CN111741187B - 图像处理方法、装置及存储介质 - Google Patents
图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111741187B CN111741187B CN202010514588.8A CN202010514588A CN111741187B CN 111741187 B CN111741187 B CN 111741187B CN 202010514588 A CN202010514588 A CN 202010514588A CN 111741187 B CN111741187 B CN 111741187B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- noise
- images
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 77
- 239000013598 vector Substances 0.000 claims description 68
- 230000004927 fusion Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像处理方法、装置及存储介质，能够使得在拍摄用于制作降噪图像的多帧图像时无需依赖震动控制光学平台，该方法包括：通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；从所述多帧图像中确定参考图像；将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息；根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐；将对齐后的多帧图像进行融合，以得到降噪图像。
Description
技术领域
本公开涉及图像处理领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
在图像处理领域，想要获得高质量的图像，依赖于降噪图像数据集，而相关技术对于降噪图像数据集的制作或获取存在多种限制。
例如，SIDD提出的降噪图像数据集的制作方法对图像采集的要求极为严苛，其使用了震动控制光学平台进行采集以保证了采集设备无明显位移，并且后续计算图像对齐位移也是根据震动控制光学平台标定出位移进行计算。该采集方式不适用于户外大批量真实场景数据采集，并且无法将震动控制光学平台拖动到任意场景。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
从所述多帧图像中确定参考图像；
将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息；
根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐；
将对齐后的多帧图像进行融合，以得到降噪图像。
采用上述方法，本公开实施例对于对多帧图像进行的对齐处理是基于针对参考图像和目标图像计算得到的光流信息进行对齐，而不依赖于图像拍摄时通过震动控制光学平台标定出的位移，这就使得在拍摄所述多帧图像时无需依赖震动控制光学平台，因此图像拍摄地点，以及图像拍摄方式更加灵活，例如可以采用手持或三脚架进行图像拍摄。此外，通过光流信息对齐的图像能够保留图像边缘信息得到降噪较干净的降噪图像，保证了降噪图像的质量。
可选地，所述从所述多帧图像中确定参考图像，包括：
针对每帧图像，根据拉普拉斯算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
将所述清晰度最高的图像作为所述参考图像。
采用上述方式，图像清晰度最优的图像，像素噪点也相应较少，将图像清晰度最优的图像作为参考图像，其他帧图像均与参考图像进行对齐并融合，能够保证图像融合的降噪质量。
可选地，所述确定所述参考图像与每一所述目标图像之间的光流信息，包括：
在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；
针对每一所述均值目标图像，执行如下操作：
确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息；
所述根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐，包括：
根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。两帧图像之间的光流信息用于表征两帧图像之间存在的对应关系，例如在时间间隔很小(比如连续拍摄的前后两帧图像之间)时，光流信息等同于像素点的位移。采用上述方式，基于光流信息可以将每一目标图像分别与该参考图像进行对齐。
可选地，所述将对齐后的多帧图像进行融合，以得到降噪图像，包括：
根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
对于目标图像上相对该参考图像偏移较大的像素点，直接融合可能导致融合后的图像中也存在像素噪点，因此，采用上述方式，在进行图像融合之前，去除目标图像上的像素噪点，有利于得到降噪质量更高的降噪图像。
可选地，所述光流信息包括参考图像上每一像素点相对所述目标图像上对应的像素点的偏移矢量信息，相应地，所述根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的噪点像素点，包括：
将所述偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，所述将偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点；
所述去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像，包括：
将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图；
根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
上述方式提供了一种去除像素噪点的简单快捷的实施方式，通过掩码图将图像中的像素噪点进行标记，在对多帧图像进行融合时，统一去除掩码图中标记的像素噪点，提高了得到降噪图像的效率。
可选地，所述将对齐后的多帧图像进行融合，以得到降噪图像，包括：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
采用上述方式，将通过最小二乘法计算得到的像素均值作为多帧图像融合后的像素值，使得融合得到的图像更具有鲁棒性，降低了噪声点对图像融合的影响。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
参考图像确定模块，被配置为从所述多帧图像中确定参考图像；
光流信息确定模块，被配置为将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息；
对齐模块，被配置为根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐；
融合模块，被配置为将对齐后的多帧图像进行融合，以得到降噪图像。
可选地，所述参考图像确定模块包括：
卷积子模块，被配置为针对每帧图像，根据拉普拉斯算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
将所述清晰度最高的图像作为所述参考图像。
参考图像确定子模块，被配置为将所述清晰度最高的图像作为所述参考图像。
可选地，所述光流信息确定模块包括：
第二均值处理模块，被配置为在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；
偏移矢量确定子模块，被配置为针对每一所述均值目标图像，执行如下操作：
确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息；
所述对齐模块，具体被配置为根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
可选地，所述融合模块，包括：
像素噪点确定子模块，被配置为根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
融合子模块，被配置为去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
可选地，所述光流信息包括参考图像上每一像素点相对所述目标图像上对应的像素点的偏移矢量信息，相应地，所述像素噪点确定子模块，具体被配置为将所述偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，所述将偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点；
所述融合子模块具体被配置为：
将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图；
根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
可选地，所述融合模块具体被配置为：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
从所述多帧图像中确定参考图像；
将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息；
根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐；
将对齐后的多帧图像进行融合，以得到降噪图像。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面任一项所述方法的步骤。
本公开的实施例提供的技术方案至少可以达到以下有益效果：
基于针对参考图像和目标图像计算得到的光流信息对图像进行对齐，而不依赖于图像拍摄时通过震动控制光学平台标定出的位移，这就使得在拍摄所述多帧图像时无需依赖震动控制光学平台，因此图像拍摄地点，以及图像拍摄方式更加灵活，例如可以采用手持或三脚架进行图像拍摄。此外，通过光流信息对齐的图像能够保留图像边缘信息得到降噪较干净的降噪图像，保证了降噪图像的质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的另一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种通过掩码图去像素噪点的流程图。
图4是根据一示例性实施例示出的又一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的另一种图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了使得本领域技术人员更容易理解本公开实施例提供的技术方案，下面首先对本公开涉及到的相关技术进行简单介绍：
拜耳Bayer格式：Bayer格式是相机内部的原始图片，一般后缀名为.raw。Bayer格式是伊士曼·柯达公司科学家BryceBayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像。Bayer格式图片在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以一般Bayer格式的图片绿色格式的像素是红色R和绿色G像素的和。
值得说明的是，一个像素点是有RGB三种颜色构成，而Bayer格式中，一个像素就只有一个颜色，或R或G或B，因为Bayer阵列中一个元素只有一种颜色，因此，在将bayer格式转化为RGB图时，可以借助某一个元素周围的元素对其进行插值另外两种颜色，即可得到一个像素点的像素值。
图像光流：光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。两帧图像之间的光流信息用于表征两帧图像之间存在的对应关系，例如在时间间隔很小(比如连续拍摄的前后两帧图像之间)时，光流信息等同于像素点的位移。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。相关技术中，对于图像光流信息的使用仅限于被观察者用来确定目标的运动情况。
下面对本公开提供的一种图像处理方法、装置及存储介质进行示例性的说明。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该方法用于图像处理设备中，例如移动终端，个人电脑，图像处理服务器等，本公开对此不作限定。该方法包括以下步骤。
在步骤S11中，通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的。
其中，该多帧图像可以是本方法实施例的执行主体(例如移动终端)自身拍摄得到的，也可以是拍摄设备在拍摄得到该多帧图像后发送给本方法实施例的执行主体的(例如图像处理服务器)。值得说明的是，该多帧图像的拍摄方式可以是手持拍摄也可以是采用三脚架进行的拍摄。由于拍摄方式的制约性小，进而拍摄场地也可以灵活选择。
下面举例说明上述多帧数据集的获取方式。例如，可以先将用于采集多帧图像(通常为RAW格式的图像)的工具包安装到移动终端(例如手机)上，移动终端连接到电脑端并运行编写好的自动采集多组多帧图像的脚本之后，将移动终端与电脑断开并且固定在三脚架上或手持握住，打开移动终端相机的拍照模式对焦到物体或场景上，点击拍照按钮，拍摄得到所述多帧图像。例如，可以针对白天场景使用移动终端自动采集4次的RAW图像(每一次采集的感光度ISO固定不变)，每次采集12张，即一个场景共采集48张图像，得到所述多帧图像。又例如，针对噪声强度大的夜间场景，可以使用移动终端自动采集12次RAW图像(每一次采集的感光度ISO固定不变)，每次12张，得到同一场景下的144张图像作为所述多帧图像。
在步骤S12中，从所述多帧图像中确定参考图像。
该参考图像作为后续的对齐对象，在具体实施时，可以选择该多帧图像中图像质量最优的作为参考图像。其中，图像质量最优可以是图像清晰度最优，或者图像失真度最低的图像。
在步骤S13中，将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息。
参照上述对光流信息进行的介绍，两帧图像之间的光流信息表征了两帧图像中相同位置的像素点之间的偏移矢量，基于该偏移矢量即可对两帧图像进行对齐。
本领域技术人员应该知悉，光流信息的计算可以有多种方式，本公开后续实施例会对具体的计算方式进行详细说明。
在步骤S14中，根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐。
在步骤S15中，将对齐后的多帧图像进行融合，以得到降噪图像。
采用上述方法，对多帧图像进行的对齐处理是基于针对参考图像和目标图像计算得到的光流信息进行对齐，而不依赖于图像拍摄时通过震动控制光学平台标定出的位移，这就使得在拍摄所述多帧图像时无需依赖震动控制光学平台，因此图像拍摄地点，以及图像拍摄方式更加灵活，例如可以采用手持或三脚架进行图像拍摄。此外，通过光流信息对齐的图像能够保留图像边缘信息得到降噪较干净的降噪图像，保证了降噪图像的质量。
下面针对上述步骤S12进行说明，提供一种从多帧图像中确定参考图像的一种示例性实施方法。例如，可以从所述多帧图像中，选择清晰度最高的图像作为参考图像。具体地，上述步骤S12可以包括：
针对每帧图像，根据拉普拉斯算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
将所述清晰度最高的图像作为所述参考图像。
值得说明的是，在正常图片中边界比较清晰因此方差会比较大，而在模糊图片中包含的边界信息很少，所以方差会较小，而拉普拉斯(Laplacian)算子是用来衡量图片的二阶导，能够强调图片中密度快速变化的区域，也就是边界，适用于边界检测，因此，本公开实施例采用拉普拉斯算子更有利于得到噪声更低的融合图像。
此外，考虑到本公开实施例提供的图像处理方法的执行主体可能是直接针对Bayer格式(图像原始格式)的多帧图像进行处理，因此，在计算图像清晰度之前，可以先将Bayer格式的图像转换为RGB图像，例如，将Bayer格式的图像中的所有的绿色G通道进行插值，得到由RGB三种颜色混合的像素点的颜色。在此基础上，再执行上述步骤S12，即通过Laplacian算子(例如5*5的Laplacian卷积核)对该图像进行卷积，得到图像的清晰度，并将清晰度最高的图像作为参考图像。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，该方法用于图像处理设备中，例如移动终端，个人电脑，图像处理服务器等，本公开对此不作限定。该方法包括以下步骤：
在步骤S21中，通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的。
在步骤S22中，从所述多帧图像中确定参考图像。
在步骤S23中，在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像。
在步骤S24中，针对每一所述均值目标图像，执行如下操作：确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量。
其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息。
在步骤S25中，根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
在步骤S26中，将对齐后的多帧图像进行融合，以得到降噪图像。
即与图1所示的实施例相比，相当于上述步骤S13包括：在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；并针对每一所述均值目标图像，执行如下操作：确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息。以及上述步骤S14包括：根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
具体地，对于Bayer格式的参考图像IR和Bayer格式的任一目标图像IT，首先将参考图像IR和目标图像IT转换为RGB图。即对于图像中每一个像素点在Bayer格式下的四个通道计算均值，得到该像素点的RGB值，例如，对于像素点pij，其RGB值为
其中，所述
为该像素点在Bayer格式下红色通道的值，
为像素点在Bayer格式下两个绿色通道的值，
为该像素点在Bayer格式下蓝色通道的值。在针对每一像素点进行上述处理后，可得到RGB格式的参考图像IR_gray(即上述均值参考图像)和RGB格式的目标图像IT_gray(即上述均值目标图像)。
进一步地，可以从IT_gray图像上通过稠密反向查找计算出IR_gray中每个像素点对应的光流信息。例如，该光流信息的表达式可以为flow＝{(u00,v00),(u01,v01),...,(uij,vij)}。其中，(u00,v00)表示参考图像IR_gray上坐标位置为(0，0)的像素点相对目标图像IT_gray上坐标位置(0，0)的像素点在横向上的偏移矢量u00，以及纵向上的偏移矢量v00，(uij,vij)表示参考图像IR_gray上坐标位置为(i，j)的像素点相对目标图像IT_gray上坐标位置(i，j)的像素点在横向上的偏移矢量uij，以及纵向上的偏移矢量vij。
在得到像素点之间的偏移矢量信息后，通过遍历目标图像IT_gray中的每个像素点，根据目标图像IT_gray中每一像素点的坐标，例如坐标(i,j)，计算出该像素点对齐参考图像IR_gray中的像素点的新位置(i+uij,j+vij)，也就是说，将目标图像IT_gray中坐标(i,j)的像素点移动到新位置(i+uij,j+vij)即可对齐参考图像上的像素点。
在得到像素点的新位置(i+uij,j+vij)后，根据每一像素点的新位置(i+uij,j+vij)，在目标图像IT_gray在Bayer格式下，对每一像素点对应的四个通道值(即r、g1、g2、b)进行调整，使得像素点(i,j)移动到新位置(i+uij,j+vij)，即可实现目标图像与参考图像对齐。
这样，在将每一目标图像均与参考图像对齐后，即可将对齐后的多帧图像进行融合，得到降噪图像。
图2所示的方法实施例提供了一种具体利用光流信息进行图像对齐的实施方式，从而使得图像拍摄不依赖与震动控制光学平台，因此图像拍摄地点，以及图像拍摄方式更加灵活，例如可以采用手持或三脚架进行图像拍摄。此外，通过光流信息对齐的图像能够保留图像边缘信息得到降噪较干净的降噪图像，保证了降噪图像的质量。
可选地，在上述多个示例性实施例提供的图像处理方法中，步骤将对齐后的多帧图像进行融合以得到降噪图像(即图1中的步骤S15或者图2中的步骤S26)可以包括：
根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
也就是说，对于目标图像上相对该参考图像偏移较大的像素点，直接融合可能导致融合后的图像中也存在像素噪点，采用此种融合方式，在进行图像融合之前，去除目标图像上的像素噪点，有利于得到降噪质量更高的降噪图像。
图3是根据一示例性实施例示出的一种通过掩码图去像素噪点的流程图，如图3所示。该方法包括以下步骤：
S31、将偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，将偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点。
其中，偏移矢量信息的获取具体可以参照上述对步骤S24的说明，该横向偏移矢量即为上述光流信息flow中的uij，纵向偏移矢量即为上述光流信息flow中的vij，此处不再赘述。
第一预设阈值与第二预设阈值可以相等或者不相等，具体可以根据实际需求设定，例如，若想要得到降噪程度更高的降噪图像，则可以将第一预设阈值和第二预设阈值设定较大，以去除更多的像素噪点。
S32、将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图。
例如，该第一值为0，第二值为1，则得到的掩码图上每一坐标位置即为0或者1，为0的情况下，表征该位置的像素点为像素噪点，为1的情况下，表征该位置的像素点非像素噪点。
S33、根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
图3所示的示例性实施例提供了一种去除像素噪点的简单快捷的实施方式，通过掩码图将图像中的像素噪点进行标记，在对多帧图像进行融合时，统一去除掩码图中标记的像素噪点，提高了得到降噪图像的效率。
可选地，在上述多个示例性实施例提供的图像处理方法中，步骤将对齐后的多帧图像进行融合以得到降噪图像(即图1中的步骤S15或者图2中的步骤S26)还可以包括：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
值得说明的是，理想情况下，对齐后的多帧图像中，同一坐标位置的像素点的分布应服从均值为μ方差为σ的高斯分布。因此，当多针图像经过对齐后，通常可以通过平均的方式来获取平均图像帧，例如，在滤除掉过暗和过亮的像素后，直接进行平均值的计算。而本公开上述实施例在计算平均值的基础上，使用了最小二乘法计算得到同一坐标位置的像素点的像素均值
(其中，
)，并将像素均值
作为该坐标位置处多帧图像融合后的像素点的像素值，能够使得融合后的降噪图像更具有鲁棒性，进一步起到降噪的效果。
在具体实施时，上述图像融合方式可以是在去除每一目标图像上的像素噪点后执行，使得融合后的图像的降噪效果达到最优。如图4所示，图4是根据一示例性实施例示出的一种图像处理方法的流程图，该方法包括以下步骤：
在步骤S41中，通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的。
在步骤S42中，针对每帧图像，根据拉普拉斯Laplacian算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度。
在步骤S43中，将所述清晰度最高的图像作为所述参考图像。
在步骤S44中，在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像。
在步骤S45中，针对每一所述均值目标图像，执行如下操作：确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量。
其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息。
在步骤S46中，根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
在步骤S47中，根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点。
在步骤S48中，去除所述目标图像上的像素噪点。
在步骤S49中，针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
图4所示的示例性实施例，通过光流信息对齐，以及去除像素噪点以及最小二乘法求均值进行融合等方式，使得图像采集更加灵活易行，且保证了融合后得到的降噪图像的降噪效果。
图5是根据一示例性实施例示出的一种图像处理装置50的框图。参照图5，该装置包括获取模块51，参考图像确定模块52，光流信息确定模块53，对齐模块54和融合模块55。
获取模块51，被配置为通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
参考图像确定模块52，被配置为从所述多帧图像中确定参考图像；
光流信息确定模块53，被配置为将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息；
对齐模块54，被配置为根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐；
融合模块55，被配置为将对齐后的多帧图像进行融合，以得到降噪图像。
采用上述装置，该装置对于对多帧图像进行的对齐处理是基于针对参考图像和目标图像计算得到的光流信息进行对齐，而不依赖于图像拍摄时通过震动控制光学平台标定出的位移，这就使得在拍摄所述多帧图像时无需依赖震动控制光学平台，因此图像拍摄地点，以及图像拍摄方式更加灵活，例如可以采用手持或三脚架进行图像拍摄。此外，通过光流信息对齐的图像能够保留图像边缘信息得到降噪较干净的降噪图像，保证了降噪图像的质量。
可选地，所述参考图像确定模块52包括：
卷积子模块，被配置为针对每帧图像，根据拉普拉斯Laplacian算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
参考图像确定子模块，被配置为将所述清晰度最高的图像作为所述参考图像。
值得说明的是，图像清晰度最优的图像，像素噪点也相应较少，将图像清晰度最优的图像作为参考图像，其他帧图像均与参考图像进行对齐并融合，能够保证图像融合的降噪质量。
可选地，所述光流信息确定模块53包括：
第二均值处理模块，被配置为在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；
偏移矢量确定子模块，被配置为针对每一所述均值目标图像，执行如下操作：
确定所述参考均值图像的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息所述参考均值图像的每一像素点对应的所述偏移矢量信息；
所述对齐模块54，具体被配置为根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像。
光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。两帧图像之间的光流信息用于表征两帧图像之间存在的对应关系，例如在时间间隔很小(比如连续拍摄的前后两帧图像之间)时，光流信息等同于像素点的位移。采用上述方式，基于光流信息可以将每一目标图像分别与该参考图像进行对齐。
可选地，所述融合模块55，包括：
像素噪点确定子模块，被配置为根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
融合子模块，被配置为去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
对于目标图像上相对该参考图像偏移较大的像素点，直接融合可能导致融合后的图像中也存在像素噪点，因此，采用上述方式，在进行图像融合之前，去除目标图像上的像素噪点，有利于得到降噪质量更高的降噪图像。
可选地，所述光流信息包括参考图像上每一像素点相对所述目标图像上对应的像素点的偏移矢量信息，相应地，所述像素噪点确定子模块，具体被配置为将所述偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，所述将偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点；
所述融合子模块具体被配置为：
将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图；
根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
上述方式提供了一种去除像素噪点的简单快捷的实施方式，通过掩码图将图像中的像素噪点进行标记，在对多帧图像进行融合时，统一去除掩码图中标记的像素噪点，提高了得到降噪图像的效率。
可选地，所述融合模块55具体被配置为：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
采用上述方式，将通过最小二乘法计算得到的像素均值作为多帧图像融合后的像素值，使得融合得到的图像更具有鲁棒性，降低了噪声点对图像融合的影响。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开上述任一方法实施例提供的图像处理方法的步骤。
本公开实施例还提供一种图像处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行本公开上述任一方法实施例提供的图像处理方法的步骤。
图6是根据一示例性实施例示出的一种图像处理装置60的硬件框图。例如，图像处理装置60可以是移动电话，计算机，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，图像处理装置60可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制图像处理装置60的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述任一方法实施例提供的图像处理方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在图像处理装置60的操作。这些数据的示例包括用于在图像处理装置60上操作的任何应用程序或方法的指令等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件606为图像处理装置60的各种组件提供电力。电力组件606可以包括电源管理系统，一个或多个电源，及其他与为图像处理装置60生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述图像处理装置60和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当图像处理装置60处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当图像处理装置60处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为图像处理装置60提供各个方面的状态评估。例如，传感器组件614可以检测到图像处理装置60的打开/关闭状态，组件的相对定位，例如所述组件为图像处理装置60的显示器和小键盘，传感器组件614还可以检测图像处理装置60或图像处理装置60一个组件的位置改变，用户与图像处理装置60接触的存在或不存在，图像处理装置60方位或加速/减速和图像处理装置60的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于图像处理装置60和其他设备之间有线或无线方式的通信。图像处理装置60可以接入基于通信标准的无线网络，如WiFi，2G，3G，4G或5G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，图像处理装置60可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一方法实施例提供的图像处理方法的步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由图像处理装置60的处理器620执行以完成上述任一方法实施例提供的图像处理方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述任一方法实施例提供的图像处理方法的步骤的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
从所述多帧图像中确定参考图像；
将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息，包括：在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；针对每一所述均值目标图像，执行如下操作：确定所述均值参考图像 的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息为 所述参考均值图像的每一像素点对应的所述偏移矢量信息；
根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐，包括：根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像；
将对齐后的多帧图像进行融合，以得到降噪图像。
2.根据权利要求1所述的方法，其特征在于，所述从所述多帧图像中确定参考图像，包括：
针对每帧图像，根据拉普拉斯算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
将所述清晰度最高的图像作为所述参考图像。
3.根据权利要求1或2所述的方法，其特征在于，所述将对齐后的多帧图像进行融合，以得到降噪图像，包括：
根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
4.根据权利要求3所述的方法，其特征在于，所述光流信息包括参考图像上每一像素点相对所述目标图像上对应的像素点的偏移矢量信息，相应地，所述根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的噪点像素点，包括：
将所述偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，将所述 偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点；
所述去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像，包括：
将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图；
根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
5.根据权利要求1或2所述的方法，其特征在于，所述将对齐后的多帧图像进行融合，以得到降噪图像，包括：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
6.一种图像处理装置，其特征在于，包括：
获取模块，被配置为通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
参考图像确定模块，被配置为从所述多帧图像中确定参考图像；
光流信息确定模块，被配置为将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息，具体包括：第二均值处理模块，被配置为在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；偏移矢量确定子模块，被配置为针对每一所述均值目标图像，执行如下操作：确定所述均值参考图像 的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息为 所述参考均值图像的每一像素点对应的所述偏移矢量信息；
对齐模块，被配置为根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐，具体被配置为根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像；
融合模块，被配置为将对齐后的多帧图像进行融合，以得到降噪图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述参考图像确定模块包括：
卷积子模块，被配置为针对每帧图像，根据拉普拉斯Laplacian算子对该图像进行卷积，得到该图像的高频分量，并得到的所述高频分量求和，将所述高频分量的和值作为该图像的清晰度；
参考图像确定子模块，被配置为将所述清晰度最高的图像作为所述参考图像。
8.根据权利要求6或7所述的图像处理装置，其特征在于，所述融合模块，包括：
像素噪点确定子模块，被配置为根据所述参考图像相对每一所述目标图像的光流信息，确定所述目标图像上的像素噪点；
融合子模块，被配置为去除所述目标图像上的像素噪点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述光流信息包括参考图像上每一像素点相对所述目标图像上对应的像素点的偏移矢量信息，相应地，所述像素噪点确定子模块，具体被配置为将所述偏移矢量信息中横向偏移矢量大于第一预设阈值的像素点，和/或，将所述 偏移矢量信息中纵向偏移矢量大于第二预设阈值的像素点确定为所述像素噪点；
所述融合子模块具体被配置为：
将每一帧图像上的所述像素噪点的掩码值设定为第一值，将非像素噪点的掩码值设定为第二值，得到对应该帧图像的掩码图；
根据每帧图像的所述掩码图，去除掩码图上掩码值为第一值的像素点，并将去除噪点像素点后的多帧图像进行融合，以得到所述降噪图像。
10.根据权利要求6或7所述的图像处理装置，其特征在于，所述融合模块具体被配置为：
针对对齐后的所述多帧图像，将同一位置的像素点的通过最小二乘法求取像素均值，并将所述像素均值作为融合后的降噪图像上该位置的像素值。
11.一种图像处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
通过摄像头获取多帧图像，所述多帧图像是针对同一场景拍摄得到的；
从所述多帧图像中确定参考图像；
将所述多帧图像中除所述参考图像以外的其他帧图像作为目标图像，并确定所述参考图像与每一所述目标图像之间的光流信息，包括：在Bayer格式下，对所述参考图像每一像素点对应的四个通道值进行均值处理，得到均值参考图像，以及对所述目标图像每一像素点对应的四个通道值进行均值处理，得到均值目标图像；针对每一所述均值目标图像，执行如下操作：确定所述均值参考图像 的每一像素点相对所述均值目标图像上对应的像素点的偏移矢量，其中，所述光流信息为 所述参考均值图像的每一像素点对应的所述偏移矢量信息；
根据所述光流信息将所述每一所述目标图像与所述参考图像进行图像对齐，包括：根据所述偏移矢量信息，对所述均值目标图像的每一像素点在Bayer格式下的四个通道值进行调整，以得到与所述参考图像对齐的目标图像；
将对齐后的多帧图像进行融合，以得到降噪图像。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514588.8A CN111741187B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514588.8A CN111741187B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111741187A CN111741187A (zh) | 2020-10-02 |
| CN111741187B true CN111741187B (zh) | 2022-08-26 |
Family
ID=72648552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010514588.8A Active CN111741187B (zh) | 2020-06-08 | 2020-06-08 | 图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111741187B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112700393A (zh) * | 2020-12-29 | 2021-04-23 | 维沃移动通信（杭州）有限公司 | 一种图像融合方法、装置和电子设备 |
| CN113192101B (zh) * | 2021-05-06 | 2024-03-29 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113706421B (zh) * | 2021-10-27 | 2022-02-22 | 深圳市慧鲤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632352B (zh) * | 2013-11-01 | 2017-04-26 | 华为技术有限公司 | 一种噪声图像的时域降噪方法和相关装置 |
| US9311690B2 (en) * | 2014-03-11 | 2016-04-12 | Adobe Systems Incorporated | Video denoising using optical flow |
| CN104978728B (zh) * | 2014-04-08 | 2017-11-14 | 南京理工大学 | 一种光流法的图像匹配系统 |
| CN107230192B (zh) * | 2017-05-31 | 2020-07-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
| CN108898567B (zh) * | 2018-09-20 | 2021-05-28 | 北京旷视科技有限公司 | 图像降噪方法、装置及系统 |
| CN110880184B (zh) * | 2019-10-03 | 2023-07-21 | 上海淡竹体育科技有限公司 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
-
2020
- 2020-06-08 CN CN202010514588.8A patent/CN111741187B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111741187A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
| EP3010226B1 (en) | Method and apparatus for obtaining photograph | |
| CN108154465B (zh) | 图像处理方法及装置 | |
| US10027909B2 (en) | Imaging device, imaging method, and image processing device | |
| CN111741187B (zh) | 图像处理方法、装置及存储介质 | |
| CN106131441B (zh) | 拍照方法及装置、电子设备 | |
| CN108154466B (zh) | 图像处理方法及装置 | |
| EP3816927B1 (en) | Method and apparatus for training image processing models, and storage medium | |
| CN110769147B (zh) | 拍摄方法及电子设备 | |
| CN111756989A (zh) | 控制镜头对焦的方法及装置 | |
| CN110383335A (zh) | 视频内容中基于光流和传感器输入的背景减除 | |
| CN112614064B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113313788A (zh) | 图像处理方法和装置、电子设备以及计算机可读存储介质 | |
| CN110807745B (zh) | 图像处理方法及装置、电子设备 | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN112188095B (zh) | 拍照方法、拍照装置及存储介质 | |
| CN113592733A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109447929B (zh) | 图像合成方法及装置 | |
| WO2023221119A1 (zh) | 一种图像的处理方法、装置及存储介质 | |
| CN112217989A (zh) | 图像显示方法及装置 | |
| CN118052720A (zh) | 图像融合方法及装置、电子设备、存储介质 | |
| CN118052721A (zh) | 图像融合方法及装置、电子设备、存储介质 | |
| CN116993575A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN118509706A (zh) | 图像处理方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |