CN111416937B - 图像处理方法、装置、存储介质及移动设备 - Google Patents
图像处理方法、装置、存储介质及移动设备 Download PDFInfo
- Publication number
- CN111416937B CN111416937B CN202010218980.8A CN202010218980A CN111416937B CN 111416937 B CN111416937 B CN 111416937B CN 202010218980 A CN202010218980 A CN 202010218980A CN 111416937 B CN111416937 B CN 111416937B
- Authority
- CN
- China
- Prior art keywords
- image
- original
- original image
- frame
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种图像处理方法、装置、存储介质及移动设备,该方法包括获取多帧原始图像;根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧;根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件;根据第二原始图像处理第一原始图像的清晰度,得到目标图像。通过本申请能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、存储介质及移动设备。
背景技术
随着智能终端技术的发展,移动设备(如智能手机、平板电脑等)的使用越来越普及。如今,移动设备均操作简单又便于携带,在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。智能移动终端在给人们的日常拍照带来便捷的同时,人们对拍摄的图像质量的要求也越来越高。
通常,人们在使用手持智能终端拍照时会自然地抖动,由此会引起整个拍摄画面模糊,相关技术中主要是采用通用的迭代方法去除图像模糊。
这种方式下,算法较为繁琐,耗时较长,图像去模糊的处理效果不佳。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请提出一种图像处理方法、装置、存储介质及移动设备,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
本申请第一方面实施例提出的图像处理方法,包括:获取多帧原始图像;根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧;根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件;根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像。
本申请第一方面实施例提出的图像处理方法,通过获取多帧原始图像,根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧,并根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件,以及根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
本申请第二方面实施例提出的图像处理装置,包括:获取模块,用于获取多帧原始图像;第一确定模块,用于根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧;第二确定模块,用于根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件;处理模块,用于根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像。
本申请第二方面实施例提出的图像处理装置,通过获取多帧原始图像,根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧,并根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件,以及根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
本申请第三方面实施例提出的非临时性计算机可读存储介质,当所述存储介质中的指令由移动设备的处理器被执行时,使得移动设备能够执行一种图像处理方法,所述方法包括:本申请第一方面实施例提出的图像处理方法。
本申请第三方面实施例提出的非临时性计算机可读存储介质,通过获取多帧原始图像,根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧,并根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件,以及根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
本申请第四方面实施例提出的移动设备,所述移动设备包括:壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述移动设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本申请第一方面实施例提出的图像处理方法。
本申请第四方面实施例提出的移动设备,通过获取多帧原始图像,根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧,并根据所述多帧原始图像确定第二原始图像,所述第二原始图像的清晰度符合设定条件,以及根据所述第二原始图像处理所述第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一实施例提出的图像处理方法的流程示意图;
图2是本申请另一实施例提出的图像处理方法的流程示意图;
图3为本申请实施例中图像金字塔示意图;
图4是本申请另一实施例提出的图像处理方法的流程示意图;
图5是本申请一实施例提出的图像处理装置的结构示意图;
图6是本申请另一实施例提出的图像处理装置的结构示意图;
图7是本申请一个实施例提出的移动设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本申请一实施例提出的图像处理方法的流程示意图。
本申请实施例中的图像处理方法可以应用于移动设备中。
在本申请实施例中,移动设备可以经无线接入网(Radio Access Network,RAN)与一个或多个核心网(Core Network)进行通信,移动设备可称为接入终端、用户设备(UserEquipment,UE)、用户单元、用户站、移动站、移动台、远方站、远程终端、电子设备、用户终端、终端、无线通信设备、用户代理或用户装置。
移动设备也可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol,SIP)电话、无线本地环路(Wireless Local Loop,WLL)站、个人数字处理(Personal Digital Assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备以及未来5G网络中的移动设备等。
参见图1,该方法包括:
S101:获取多帧原始图像。
本申请实施例具体是基于多帧原始图像的图像去模糊处理,需要说明的是,上述多帧原始图像,为移动设备针对同一环境对象所采集的多帧的原始图像。
其中,原始图像可以例如通过电子设备的图像传感器采集得到的未做任何处理的RAW格式图像,对此不作限制。
其中,RAW格式图像是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据,如感光度的设置、快门速度、光圈值、白平衡等。
由于在用户手持移动设备拍照时,会自然地抖动等因素的限制,移动设备在拍摄图像时,若采集单帧原始图像无法较好同时顾及到所拍摄照片中的各个细节信息,因此,本申请实施例中,可以由移动设备通过连续拍摄同一环境对象的多帧原始图像,用于图像合成,另外还可以选取连续拍摄同一环境对象的多帧原始图像中,画面清晰的图像进行合成成像,对此不作限制。
S102:根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧。
图像最基本的特征是边缘,边缘是图像性区域和另一个属性区域的交接处,是区域属性发生突变的地方,是图像中不确定性最大的地方,也是图像信息最集中的地方,图像的边缘包含着丰富的信息(图像的边缘的信息,可以被称为边缘信息),边缘信息可以例如为图像的边界强度等信息,对此不作限制。
本申请实施例中,第一原始图像为上述步骤所采集的多帧原始图像中的部分帧的原始图像,部分帧为至少两帧。
本申请实施例中是根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,更具体地,可以根据各帧原始图像的边缘信息对多帧原始图像进行排序;从排序后多帧原始图像内选取排序在前的设定帧数原始图像作为第一原始图像,第一原始图像的数量为设定帧数。
作为一种示例,本申请实施例中可以采用拉普拉斯算子检测各帧原始图像的边缘图像,并对边缘图像所包括的各个像素点的特征,对边缘图像所包括的全部像素点的特征取绝对值之和,而后,根据绝对值之和的大小对多帧原始图像排序,绝对值之和越大的原始图像排序越靠前,绝对值之和越小的原始图像排序越靠后,而后,从排序后的原始图像中选取出排序在前的设定帧数原始图像作为第一原始图像。
本申请实施例为了便于举例说明,可以在获取多帧原始图像,具体是获取M帧的原始图像,M为多帧原始图像的帧数,M为大于1的正整数,而设定帧数可以为N帧,N为小于M,且大于1的正整数,也即,从M帧的原始图像中选取出N帧的原始图像作为第一原始图像,并且,N帧的原始图像为边缘信息排序在前的原始图像。
本申请实施例由于是采用了边缘信息排序在前的N帧的原始图像作为图像去模糊处理的基础,且由于边缘信息排序在前则表明相应的原始图像具有较为明显的边缘特征,因此,能够有效保障去模糊处理的效果。
S103:根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件。
上述的第二原始图像,具体是根据多帧原始图像,并采用本申请实施例中的算法合成得到的。
作为一个更具体的示例,参见图2,图2是本申请另一实施例提出的图像处理方法的流程示意图,该方法包括:
S201:根据各帧原始图像的边缘信息对多帧原始图像进行排序。
S202:从排序后多帧原始图像内确定参考原始图像。
作为一种示例,本申请实施例中可以采用拉普拉斯算子检测各帧原始图像的边缘图像,并对边缘图像所包括的各个像素点的特征,对边缘图像所包括的全部像素点的特征取绝对值之和,而后,根据绝对值之和的大小对多帧原始图像排序,绝对值之和越大的原始图像排序越靠前,绝对值之和越小的原始图像排序越靠后,而后,将边缘信息最靠前的原始图像选为参考原始图像,参考原始图像可以表示为R(x,y),R(x,y)以平面二维的直角坐标系为基准,x和y为参考原始图像在平面二维的直角坐标系内所对应的坐标值。
S203:以参考原始图像为基准,将其它帧原始图像与参考原始图像进行对齐处理,参考原始图像和其它帧原始图像共同组成多帧原始图像。
也即,上述确定出参考原始图像之后,可以将多帧原始图像内除了参考原始图像的其它原始图像,分别与参考原始图像保持对齐,具体地,可以采用改进后的光流法对齐其它帧原始图像与参考原始图像,也即在傅里叶域确定各图像层对应的对齐向量,从而辅助进行对齐处理,由于使用了较快的对齐算法将其它帧原始图像与参考原始图像进行对齐处理,从而在有效提升去模糊效果的同时,提升算法的运算速度。
可选地,针对其它帧原始图像内的各待对齐原始图像,构建图像金字塔,图像金字塔内包括多层不同分辨率的图像层;在傅里叶域确定各图像层对应的对齐向量;根据多个对齐向量,采用LK光流法对各待对齐原始图像进行对齐处理。
本申请实施例中,将其它帧原始图像内的每一帧原始图像,均作为待对齐原始图像,在对齐处理的过程中,均作下述示例中的对齐处理,以参考原始图像R(x,y)和其余帧中的一张待对齐原始图像I(x,y)为例,采用从粗粒度到细粒度的对齐策略。
参见图3,图3为本申请实施例中图像金字塔示意图,图像金字塔内包括多层不同分辨率的图像层,即,L0、L1、L2、L3,也即,将参考原始图像R(x,y)作为第0层,根据待对齐原始图像生成不同分辨率的图像层,分别对应于L3-L1,使用基于块的对齐策略,在傅里叶域确定各图像层对应的对齐向量,对齐向量可以通过以下公式确定:
对齐向量通过下式计算:
其中,(v1,L+1,v2,L+1)是来自于图像金字塔上一层的对齐向量,(xL,yL)是金字塔中第L层图片的坐标值,(v1,v2)是第L层图片待求的对齐向量,s为构金字塔时的缩小倍数,p表示范数,n表示块的大小,为了减少计算量,本申请实施例限制(v1,v2)的搜索空间,将n设置为较小的值8,将p设置为2,p为2时可以转到傅里叶域加速上述公式的计算,也即在傅里叶域确定各图像层对应的对齐向量,第L层图片的对齐向量为:
v1,L=v1+s*v2,L+1
v2,L=v2+s*v2,L+1;
其中,初始迭代时(v1,3,v2,3)=(0,0),本申请实施例中为了增加对齐向量精度,采用LK光流法对各待对齐原始图像进行对齐处理,为了加快收敛速度迭代k次即可,k一般不超过4。
S204:根据参考图像结合对齐处理的其它帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件。
可选地,根据参考图像结合对齐处理的其它帧原始图像确定第二原始图像,包括:对参考图像进行傅里叶变换,得到参考变换图像,并对对齐处理的其它帧原始图像进行傅里叶变换,得到多帧原始变换图像;根据参考变换图像和多帧原始变换图像,结合第一预设公式确定第二原始图像。
上述的第一预设公式为:
其中,i表示原始图像的帧数,表示第i帧的原始图像,以平面二维的直角坐标系为基准,x表示第i帧的原始图像的x轴坐标值,y表示第i帧的原始图像的y轴坐标值,是的傅里叶变换,为第i帧的原始变换图像,ξ1表示第i帧的原始图像的x轴坐标值对应于傅里叶域的坐标,ξ2表示第i帧的原始图像的y轴坐标值对应于傅里叶域的坐标,p为整数值,表示范数,为确定得到的第二原始图像,M为多帧原始图像的帧数,M为大于1的正整数,i为大于或者等于1,且小于M的正整数。
上述的第一预设公式推导可以如下:
模糊图片(也即本申请实施例中对齐处理后的原始图像)通常由下述模型获得:
由离散傅里叶变换公式可知,ki的傅里叶变换ki(ξ1,ξ2)的幅值位于[0,1],由于手部抖动是随机的,ki之间通常不同,这表明u(x,y)的频谱出现了不同程衰减,因此,本申请实施例中为了有效避免图像频谱的不连续性,采用上述的第一预设公式恢复得到第二原始图像,上述恢复得到的第二原始图像可以表示为TF。
上述的参考图像和对齐处理的其它帧原始图像均可以以表示,相应的,参考图像的符号下标为1,对齐处理的其它帧原始图像的符号下标为大于1,且小于或者等于M的正整数,相应的,参考变换图像和多帧原始变换图像均可以以表示,也即参考变换图像和多帧原始变换图像分别为参考图像和对齐处理的其它帧原始图像在傅里叶域的变换。
上述的F-1表示傅里叶域的逆变换,通过采用上述公式确定清晰度符合设定条件的第二原始图像对多帧原始图像在傅里叶域进行处理,确定第二原始图像的真实频率,而后,对多帧原始图像在空域处理,确定第二原始图像的的真实信息,从而精准地识别出第二原始图像,并保证第二原始图像的清晰度符合设定条件,以辅助后续直接采用该第二原始图像对第一原始图像的清晰度进行处理。
S104:根据第二原始图像处理第一原始图像的清晰度,得到目标图像。
上述在恢复得到第二原始图像后,可以采用第二原始图像对第一原始图像进行二次去模糊和多帧降噪处理,从而处理第一原始图像的清晰度,得到目标图像,或者,也可以采用其它任意可能的处理方式处理第一原始图像的清晰度,对此不作限制。
可选地,一些实施例中,参见图4,根据第二原始图像处理第一原始图像的清晰度,得到目标图像,包括:
S401:获取各第一原始图像相对于参考原始图像的第一光流信息。
S402:获取第二原始图像的边缘信息,并获取第二原始图像相对于参考原始图像的第二光流信息。
各帧第一原始图像的边缘信息在上述排序的过程中已计算得出,由此,在图4所示实施例中不再赘述。
上述公式中frac(x)=min(mod(x,1),1-mod(x,1)),将映射到[ε,1]得到wi,samp(x,y),wi,samp(x,y)可以被称为各第一原始图像相对于参考原始图像的第一光流信息,ε是一个较小的值,由于对齐的过程中会进行插值,这降低了图片原有的清晰度,因而,本申请实施例中引入了光流信息的映射值wi,samp(x,y)进行控制,wi,samp(x,y)越大表示(x,y)处的像素被破坏的程度越低。
在具体执行的过程中,为了有效保障目标图像的边缘信息的同时,提升降噪效果,可以针对平坦区域选取较多的像素,对于纹理细节比较丰富的区域选取较少的像素,因而,本申请实施例中引入下面的参数:
上述的wi,shp(x,y)可以用于表示全部的原始图像的边缘信息,当i取值1至N时,wi,shp(x,y)称为各第一原始图像的边缘信息,当i取值N+1时,wi,shp(x,y)称为第二原始图像的边缘信息,wi,samp(x,y)可以用于表示全部的原始图像相对于参考原始图像的光流信息,当i取值1至N时,wi,samp(x,y)被称为各第一原始图像相对于参考原始图像的第一光流信息,当i取值N+1时,wi,samp(x,y)被称为第二原始图像相对于参考原始图像的第二光流信息。
也即,光流信息指的是通常意义上的图像亮度模式的表观运动,而本申请实施例中的第一光流信息指的是各第一原始图像相对于参考原始图像的光流信息的映射值,第二光流信息指的是第二原始图像相对于参考原始图像的光流信息的映射值。
S403:根据各第一光流信息、边缘信息、第二光流信息,结合第二预设公式得到中间图像。
第二预设公式为:
其中,TE(x,y)表示中间图像,TE(x,y)以平面二维的直角坐标系为基准,x表示中间图像的x轴坐标值,y表示中间图像的y轴坐标值,wi,shp(x,y)表示第i帧原始图像的边缘信息,表示第i帧的原始图像,wi,samp(x,y)表示第i帧原始图像相对于参考原始图像的光流信息,当i取值1至N时,wi,shp(x,y)表示第i帧的第一原始图像的边缘信息,wi,samp(x,y)表示第i帧的第一原始图像相对于参考原始图像的第一光流信息,当i取值N+1时,wi,shp(x,y)表示第二原始图像的边缘信息,wi,samp(x,y)表示第二原始图像相对于参考原始图像的第二光流信息,表示多帧第一原始图像和第二原始图像的边缘信息的和的绝对值,而wexp(x,y)表示的映射值,N为第一原始图像的帧数,第N+1帧原始图像为第二原始图像,i为大于或者等于1,且小于N的正整数。
需要说明的是,本申请实施例中第一预设公式和第二预设公式中的i标号并不冲突,i标号仅仅作为原始图像的索引序号使用,在不同结构的预设公式中,i的索引取值的范围可以不相同。
S404:对中间图像进行降噪处理,得到目标图像。
可选地,对中间图像进行降噪处理,得到目标图像,可以采用侧窗双边滤波器对中间图像进行降噪处理;将降噪处理得到的图像转换为YUV图像;提取YUV图像中的Y图像;对Y图像进行锐化处理,从而得到目标图像,能够有效提升图像去模糊处理的有效性。
其中,图像的亮度信号被称作Y,色度信号是由两个互相独立的信号组成,视颜色系统和格式不同,两种色度信号经常被称作U和V。在这种情况下,得到降噪处理得到的图像之后,可以通过图像信号处理器(Image Signal Processing,ISP)将降噪处理得到的图像转换为YUV图像,提取YUV图像对应的Y图像,对Y图像进行锐化处理,从而得到目标图像。
本申请实施例中可以采用侧窗双边滤波器对中间图像进行降噪处理,或者,也可以采用其它任意可能的降噪算法对中间图像进行降噪处理。
而采用侧窗双边滤波器对中间图像进行降噪处理,从而能够获得更好的图像保边性,以此保障图片去模糊效果。
在上述对Y图像进行锐化处理,从而得到目标图像,目标图像为RGB图像。
作为一种示例,对Y通道Y(x,y)的处理过程如下:
1)首先对Y通道Y(x,y)进行低通高斯滤波,得到低频图Low(x,y)。
2)低频图High(x,y)=Y(x,y)-Low(x,y)。
3)计算Mask(x,y),若High(x,y)的值大于阈值则M(x,y)为255,否则为0,阈值通常为15。
4)对Mask(x,y)进行低通高斯滤波得到Alpha(x,y)。
5)K(x,y)=Y(x,y)+amplify×H(x,y),amplify通常为1.5。
6)目标图像Final(x,y)=[K(x,y)×Alpha(x,y)+Y(x,y)×(1-Alpha(x,y))]/255。
本申请实施例中之所以仅使用Y图像是为了有效地避免色彩不一致,而Y通道处理过程中使用Mask是为了有效地解决恢复得到的图像的色彩不连续的技术问题。
本实施例中,通过获取多帧原始图像,根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧,并根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件,以及根据第二原始图像处理第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
图5是本申请一实施例提出的图像处理装置的结构示意图。
参见图5,该装置500包括:
获取模块501,用于获取多帧原始图像;
第一确定模块502,用于根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧;
第二确定模块503,用于根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件;
处理模块504,用于根据第二原始图像处理第一原始图像的清晰度,得到目标图像。
可选地,一些实施例中,参见图6,第一确定模块502,包括:
排序子模块5021,用于根据各帧原始图像的边缘信息对多帧原始图像进行排序;
第一确定子模块5022,用于从排序后多帧原始图像内选取排序在前的设定帧数原始图像作为第一原始图像,第一原始图像的数量为设定帧数。
可选地,一些实施例中,参见图6,第一确定模块502,还包括:
第二确定子模块5023,用于在根据各帧原始图像的边缘信息对多帧原始图像进行排序后,从排序后多帧原始图像内确定参考原始图像;
对齐子模块5024,用于以参考原始图像为基准,将其它帧原始图像与参考原始图像进行对齐处理,参考原始图像和其它帧原始图像共同组成多帧原始图像;
第二确定模块503,具体用于:
根据参考图像结合对齐处理的其它帧原始图像确定第二原始图像。
可选地,一些实施例中,对齐子模块5024,具体用于:
针对其它帧原始图像内的各待对齐原始图像,构建图像金字塔,图像金字塔内包括多层不同分辨率的图像层;
在傅里叶域确定各图像层对应的对齐向量;
根据多个对齐向量,采用LK光流法对各待对齐原始图像进行对齐处理。
可选地,一些实施例中,第二确定模块503,具体用于:
对参考图像进行傅里叶变换,得到参考变换图像,并对对齐处理的其它帧原始图像进行傅里叶变换,得到多帧原始变换图像;
根据参考变换图像和多帧原始变换图像,结合第一预设公式确定第二原始图像。
可选地,一些实施例中,第一预设公式为:
其中,i表示原始图像的帧数,表示第i帧的原始图像,以平面二维的直角坐标系为基准,x表示第i帧的原始图像的x轴坐标值,y表示第i帧的原始图像的y轴坐标值,是的傅里叶变换,为第i帧的原始变换图像,ξ1表示第i帧的原始图像的x轴坐标值对应于傅里叶域的坐标,ξ2表示第i帧的原始图像的y轴坐标值对应于傅里叶域的坐标,p为整数值,表示范数,为确定得到的第二原始图像,M为多帧原始图像的帧数,M为大于1的正整数,i为大于或者等于1,且小于M的正整数。
可选地,一些实施例中,参见图6,处理模块504,包括:
第一获取子模块5041,用于获取各第一原始图像相对于参考原始图像的第一光流信息;
第二获取子模块5042,用于获取第二原始图像的边缘信息,并获取第二原始图像相对于参考原始图像的第二光流信息;
第三确定子模块5043,用于根据各第一光流信息、边缘信息、第二光流信息,结合第二预设公式得到中间图像;
降噪子模块5044,用于对中间图像进行降噪处理,得到目标图像。
可选地,一些实施例中,第二预设公式为:
其中,TE(x,y)表示中间图像,TE(x,y)以平面二维的直角坐标系为基准,x表示中间图像的x轴坐标值,y表示中间图像的y轴坐标值,wi,shp(x,y)表示第i帧原始图像的边缘信息,表示第i帧的原始图像,wi,samp(x,y)表示第i帧原始图像相对于参考原始图像的光流信息,当i取值1至N时,wi,shp(x,y)表示第i帧的第一原始图像的边缘信息,wi,samp(x,y)表示第i帧的第一原始图像相对于参考原始图像的第一光流信息,当i取值N+1时,wi,shp(x,y)表示第二原始图像的边缘信息,wi,samp(x,y)表示第二原始图像相对于参考原始图像的第二光流信息,表示多帧第一原始图像和第二原始图像的边缘信息的和的绝对值,而wexp(x,y)表示的映射值,N为第一原始图像的帧数,第N+1帧原始图像为第二原始图像,i为大于或者等于1,且小于N的正整数。
可选地,一些实施例中,降噪子模块5044,具体用于:
采用侧窗双边滤波器对中间图像进行降噪处理;
将降噪处理得到的图像转换为YUV图像;
提取YUV图像中的Y图像;
对Y图像进行锐化处理,从而得到目标图像。
需要说明的是,对前述图1-图4实施例中对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置500,其实现原理类似,此处不再赘述。
本实施例中,通过获取多帧原始图像,根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧,并根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件,以及根据第二原始图像处理第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
图7是本申请一个实施例提出的移动设备的结构示意图。
参见图7,本实施例的移动设备700包括壳体701、处理器702、存储器703、电路板704和电源电路705,其中,电路板704安置在壳体701围成的空间内部,处理器702和存储器703设置在电路板704上;电源电路705,用于为移动设备700的各个电路或器件供电;存储器703用于存储可执行程序代码;处理器702通过读取存储器703中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:
获取多帧原始图像;
根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧;
根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件;
根据第二原始图像处理第一原始图像的清晰度,得到目标图像。
需要说明的是,对前述图1-图4实施例中对图像处理方法实施例的解释说明也适用于该实施例的移动设备700,其实现原理类似,此处不再赘述。
本实施例中,通过获取多帧原始图像,根据各帧原始图像的边缘信息从多帧原始图像中确定出第一原始图像,第一原始图像的数量为至少两帧,并根据多帧原始图像确定第二原始图像,第二原始图像的清晰度符合设定条件,以及根据第二原始图像处理第一原始图像的清晰度,得到目标图像,能够实现快速地对图像进行去模糊处理,降低图像处理耗时,提升图像去模糊的处理效果。
为了实现上述实施例,本申请实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例的图像处理方法。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
获取多帧原始图像;
根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧;
根据各帧所述原始图像的所述边缘信息对所述多帧原始图像进行排序,并从所述排序后所述多帧原始图像内确定参考原始图像;
以所述参考原始图像为基准,将其它帧原始图像与所述参考原始图像进行对齐处理,并根据所述参考原始图像结合对齐处理的其它帧原始图像确定第二原始图像,所述参考原始图像和所述其它帧原始图像共同组成所述多帧原始图像;
根据所述参考图像结合对齐处理的所述其它帧原始图像确定第二原始图像;
根据所述第二原始图像对所述第一原始图像进行去模糊及降噪处理以处理所述第一原始图像的清晰度,得到目标图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧,包括:
根据各帧所述原始图像的边缘信息对所述多帧原始图像进行排序;
从排序后多帧原始图像内选取排序在前的设定帧数原始图像作为所述第一原始图像,所述第一原始图像的数量为所述设定帧数。
3.如权利要求1所述的图像处理方法,其特征在于,所述以所述参考原始图像为基准,将其它帧原始图像与所述参考原始图像进行对齐处理,包括:
针对所述其它帧原始图像内的各待对齐原始图像,构建图像金字塔,所述图像金字塔内包括多层不同分辨率的图像层;
在傅里叶域确定各所述图像层对应的对齐向量;
根据多个对齐向量,采用LK光流法对各待对齐原始图像进行对齐处理。
4.如权利要求1所述的图像处理方法,其特征在于,所述根据所述参考图像结合对齐处理的其它帧原始图像确定第二原始图像,包括:
对所述参考图像进行傅里叶变换,得到参考变换图像,并对所述对齐处理的其它帧原始图像进行傅里叶变换,得到多帧原始变换图像;
根据所述参考变换图像和所述多帧原始变换图像,结合第一预设公式确定所述第二原始图像。
6.如权利要求1所述的图像处理方法,其特征在于,所述根据所述第二原始图像对所述第一原始图像进行去模糊及降噪处理以处理所述第一原始图像的清晰度,得到目标图像,包括:
获取所述第一原始图像的边缘信息,并获取各所述第一原始图像相对于所述参考原始图像的第一光流信息;
获取所述第二原始图像的边缘信息,并获取所述第二原始图像相对于所述参考原始图像的第二光流信息;
根据各所述第一光流信息、所述边缘信息、所述第二光流信息,结合第二预设公式得到中间图像;
对所述中间图像进行所述降噪处理,得到所述目标图像。
7.如权利要求6所述的图像处理方法,其特征在于,所述第二预设公式为:
其中,TE(x,y)表示中间图像,TE(x,y)以平面二维的直角坐标系为基准,x表示中间图像的x轴坐标值,y表示中间图像的y轴坐标值,wi,shp(x,y)表示第i帧原始图像的边缘信息, 表示第i帧的原始图像,wi,samp(x,y)表示第i帧原始图像相对于参考原始图像的光流信息,当i取值1至N时,wi,shp(x,y)表示第i帧的第一原始图像的边缘信息,wi,samp(x,y)表示第i帧的第一原始图像相对于所述参考原始图像的第一光流信息,当i取值N+1时,wi,shp(x,y)表示第二原始图像的边缘信息,wi,samp(x,y)表示所述第二原始图像相对于所述参考原始图像的第二光流信息,表示多帧第一原始图像和第二原始图像的边缘信息的和的绝对值,而wexp(x,y)表示的映射值,N为第一原始图像的帧数,第N+1帧原始图像为第二原始图像,i为大于或者等于1,且小于N的正整数。
8.如权利要求6所述的图像处理方法,其特征在于,所述对所述中间图像进行降噪处理,得到所述目标图像,包括:
采用侧窗双边滤波器对所述中间图像进行降噪处理;
将降噪处理得到的图像转换为YUV图像;
提取所述YUV图像中的Y图像;
对所述Y图像进行锐化处理,从而得到所述目标图像。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取多帧原始图像;
第一确定模块,用于根据各帧所述原始图像的边缘信息从所述多帧原始图像中确定出第一原始图像,所述第一原始图像的数量为至少两帧;
第二确定模块,用于根据各帧所述原始图像的边缘信息对所述多帧原始图像进行排序,并从所述排序后所述多帧原始图像内确定参考原始图像;及
以所述参考原始图像为基准,将其它帧原始图像与所述参考原始图像进行对齐处理,并根据所述参考原始图像结合对齐处理的其它帧原始图像确定第二原始图像,所述参考原始图像和所述其它帧原始图像共同组成所述多帧原始图像;及
根据所述参考原始图像结合对齐处理的所述其它帧原始图像确定第二原始图像;
处理模块,用于根据所述第二原始图像对所述第一原始图像进行去模糊及降噪处理以处理所述第一原始图像的清晰度,得到目标图像。
10.如权利要求9所述的图像处理装置,其特征在于,所述第一确定模块,包括:
排序子模块,用于根据各帧所述原始图像的边缘信息对所述多帧原始图像进行排序;
第一确定子模块,用于从排序后多帧原始图像内选取排序在前的设定帧数原始图像作为所述第一原始图像,所述第一原始图像的数量为所述设定帧数。
11.如权利要求10所述的图像处理装置,其特征在于,所述对齐子模块,具体用于:
针对所述其它帧原始图像内的各待对齐原始图像,构建图像金字塔,所述图像金字塔内包括多层不同分辨率的图像层;
在傅里叶域确定各所述图像层对应的对齐向量;
根据多个对齐向量,采用LK光流法对各待对齐原始图像进行对齐处理。
12.如权利要求11所述的图像处理装置,其特征在于,所述第二确定模块,具体用于:
对所述参考图像进行傅里叶变换,得到参考变换图像,并对所述对齐处理的其它帧原始图像进行傅里叶变换,得到多帧原始变换图像;
根据所述参考变换图像和所述多帧原始变换图像,结合第一预设公式确定所述第二原始图像。
14.如权利要求11所述的图像处理装置,其特征在于,所述处理模块,包括:
第一获取子模块,用于获取所述第一原始图像的边缘信息,并获取各所述第一原始图像相对于所述参考原始图像的第一光流信息;
第二获取子模块,用于获取所述第二原始图像的边缘信息,并获取所述第二原始图像相对于所述参考原始图像的第二光流信息;
第三确定子模块,用于根据各所述第一光流信息、所述边缘信息、所述第二光流信息,结合第二预设公式得到中间图像;
降噪子模块,用于对所述中间图像进行降噪处理,得到所述目标图像。
15.如权利要求14所述的图像处理装置,其特征在于,所述第二预设公式为:
其中,TE(x,y)表示中间图像,TE(x,y)以平面二维的直角坐标系为基准,x表示中间图像的x轴坐标值,y表示中间图像的y轴坐标值,wi,shp(x,y)表示第i帧原始图像的边缘信息,表示第i帧的原始图像,wi,samp(x,y)表示第i帧原始图像相对于参考原始图像的光流信息,当i取值1至N时,wi,shp(x,y)表示第i帧的第一原始图像的边缘信息,wi,samp(x,y)表示第i帧的第一原始图像相对于所述参考原始图像的第一光流信息,当i取值N+1时,wi,shp(x,y)表示第二原始图像的边缘信息,wi,samp(x,y)表示所述第二原始图像相对于所述参考原始图像的第二光流信息,表示多帧第一原始图像和第二原始图像的边缘信息的和的绝对值,而wexp(x,y)表示的映射值,N为第一原始图像的帧数,第N+1帧原始图像为第二原始图像,i为大于或者等于1,且小于N的正整数。
16.如权利要求14或15所述的图像处理装置,其特征在于,所述降噪子模块,具体用于:
采用侧窗双边滤波器对所述中间图像进行降噪处理;
将降噪处理得到的图像转换为YUV图像;
提取所述YUV图像中的Y图像;
对所述Y图像进行锐化处理,从而得到所述目标图像。
17.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的图像处理方法。
18.一种移动设备,所述移动设备包括壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述移动设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1-8中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010218980.8A CN111416937B (zh) | 2020-03-25 | 2020-03-25 | 图像处理方法、装置、存储介质及移动设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010218980.8A CN111416937B (zh) | 2020-03-25 | 2020-03-25 | 图像处理方法、装置、存储介质及移动设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111416937A CN111416937A (zh) | 2020-07-14 |
CN111416937B true CN111416937B (zh) | 2021-08-20 |
Family
ID=71494550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010218980.8A Active CN111416937B (zh) | 2020-03-25 | 2020-03-25 | 图像处理方法、装置、存储介质及移动设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111416937B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723603A (zh) * | 2021-01-05 | 2022-07-08 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN115546043B (zh) * | 2022-03-31 | 2023-08-18 | 荣耀终端有限公司 | 视频处理方法及其相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
CN106934769A (zh) * | 2017-01-23 | 2017-07-07 | 武汉理工大学 | 基于近景遥感的去运动模糊方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7440008B2 (en) * | 2004-06-15 | 2008-10-21 | Corel Tw Corp. | Video stabilization method |
US8390704B2 (en) * | 2009-10-16 | 2013-03-05 | Eastman Kodak Company | Image deblurring using a spatial image prior |
CN104574276A (zh) * | 2015-01-29 | 2015-04-29 | 厦门美图之家科技有限公司 | 一种基于光流法的图像对齐的方法和装置 |
US10062151B2 (en) * | 2016-01-21 | 2018-08-28 | Samsung Electronics Co., Ltd. | Image deblurring method and apparatus |
CN111275626B (zh) * | 2018-12-05 | 2023-06-23 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
CN110072051B (zh) * | 2019-04-09 | 2021-09-03 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
CN110555414B (zh) * | 2019-09-05 | 2022-09-30 | 北京市商汤科技开发有限公司 | 目标检测方法、装置、设备及存储介质 |
CN110827324B (zh) * | 2019-11-08 | 2023-05-26 | 江苏科技大学 | 一种视频目标跟踪方法 |
-
2020
- 2020-03-25 CN CN202010218980.8A patent/CN111416937B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
CN106934769A (zh) * | 2017-01-23 | 2017-07-07 | 武汉理工大学 | 基于近景遥感的去运动模糊方法 |
Non-Patent Citations (1)
Title |
---|
基于自适应超拉普拉斯先验的图像去模糊;张炳旺;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111416937A (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898567B (zh) | 图像降噪方法、装置及系统 | |
JP6169186B2 (ja) | 画像処理方法及び装置並びに撮影端末 | |
KR101367025B1 (ko) | 광학 효과들을 발생하기 위한 디지털 이미지 합성 | |
KR101901602B1 (ko) | 디지털 사진에서 노이즈를 제거하는 장치 및 방법 | |
KR102512889B1 (ko) | 이미지 융합 프로세싱 모듈 | |
CN107370958A (zh) | 图像虚化处理方法、装置及拍摄终端 | |
CN109978774B (zh) | 多帧连续等曝光图像的去噪融合方法及装置 | |
JP2004127064A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
Mangiat et al. | Spatially adaptive filtering for registration artifact removal in HDR video | |
US11334961B2 (en) | Multi-scale warping circuit for image fusion architecture | |
CN112767281A (zh) | 图像鬼影消除方法、装置、电子设备及存储介质 | |
CN112767295A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
CN106960413A (zh) | 一种图像虚化的方法及终端 | |
CN115546043B (zh) | 视频处理方法及其相关设备 | |
Buades et al. | Enhancement of noisy and compressed videos by optical flow and non-local denoising | |
WO2016026072A1 (en) | Method, apparatus and computer program product for generation of extended dynamic range color images | |
CN105338221B (zh) | 一种图像处理方法及电子设备 | |
JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
CN112435182A (zh) | 图像降噪方法及装置 | |
CN115578273A (zh) | 图像多帧融合的方法、装置、电子设备及存储介质 | |
US11798146B2 (en) | Image fusion architecture | |
Banik et al. | Transformer based technique for high resolution image restoration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |