CN111699511A - 图像处理方法、装置及存储介质 - Google Patents
图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111699511A CN111699511A CN201980010510.8A CN201980010510A CN111699511A CN 111699511 A CN111699511 A CN 111699511A CN 201980010510 A CN201980010510 A CN 201980010510A CN 111699511 A CN111699511 A CN 111699511A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- motion vector
- preset
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 178
- 239000013598 vector Substances 0.000 claims abstract description 156
- 238000012512 characterization method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种图像处理方法、装置及存储介质。图像处理方法包括：获取第一组图像和第二组图像，第一组图像通过第一传感器采集，第二组图像通过第二传感器采集，第一传感器和第二传感器的相对位置固定，第一传感器采集的图像的信噪比大于第二传感器采集的图像的信噪比；根据第一组图像中的第一图像与第一图像的参考图像之间的运动矢量确定第二组图像中的第二图像与第二图像的参考图像之间的运动矢量；根据第二图像与第二图像的参考图像之间的运动矢量以及第二图像的参考图像对第二组图像中的第二图像进行去噪处理。通过信噪比高的图像指导信噪比低的图像确定运动矢量，可以使得确定的运动矢量更准确，从而提升图像的去噪效果。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及存储介质。
背景技术
由于图像传感器材质、工艺水平的限制以及外界信号的干扰，导致采集的图像中往往含有噪声，对于一些分辨率较弱、信噪比较低的图像传感器，其噪声尤为明显。比如，红外传感器，因其分辨率和信噪比较低，导致采集的红外图像往往存在很多很强的噪声，使得一些低温差的物体淹没在噪声当中，降低了红外的探测能力。因此，有必要对图像降噪处理的方法加以改进，以取得更好的降噪效果。
发明内容
有鉴于此，本申请提供一种图像处理方法及装置。
根据本申请的第一方面，提供一种图像处理方法，所述方法包括：
获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
根据本申请的第二方面，提供一种图像处理装置，所述装置包括处理器、存储器以及存储于所述存储器的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
根据本申请的第三方面，提供一种图像处理装置，所述装置包括云台、第一传感器、第二传感器、处理器、存储器以及存储于所述存储器的计算机程序，所述第一图像传感器和第二图像传感器固定于所述云台，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比，所述第一图像传感器用于采集第一组图像，所述第二图像传感器用于采集第二组图像，所述处理器用于：
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
根据本申请的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任一项图像处理方法。
本申请通过相对位置固定且采集的图像信噪比不同的两个传感器分别采集第一组图像和第二组图像，其中，第一组图像的信噪比大于第二组图像，然后根据第一组图像中的第一图像和第一图像的参考图像之间的运动矢量确定第二组图像中的第二图像和第二图像的参考图像之间的运动矢量，并根据第二图像和第二图像的参考图像之间的运动矢量及其参考图像对第二图像进行去噪处理。通过采用信噪比高的图像来指导信噪比低的图像确定运动矢量，使得信噪比低的图像的运动矢量的确定更加准确，从而提升图像的去噪效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种图像处理方法的流程。
图2是本发明一个实施例提供的一种图像处理装置的逻辑结构框图。
图3是本发明一个实施例提供的一种图像处理装置的逻辑结构框图。
图4是本发明一个实施例提供的第一传感器和第二传感器固定于同一云台的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于图像传感器材质、工艺水平的限制以及外界信号的干扰，导致采集的图像中往往含有噪声，对于一些分辨率较弱、信噪比较低的图像传感器，其噪声尤为明显。比如，红外传感器，由于其红外焦平面阵列上的感光单元的响应特性存在差异，导致采集的红外图像往往存在各种条纹噪声、鬼影、黑点等，使得一些低温差的物体淹没在噪声当中，降低了红外的探测能力。
噪声的存在严重影响图像的质量，因而需要对图像进行去噪处理。相关的图像去噪技术中，多采用时域滤波技术对图像进行去噪，即结合图像传感器采集的多帧图像的像素值来确定去噪后的图像的像素值，采用这种方式对图像去噪时，通常可以选取在当前待去噪图像之前采集或者之后采集的多帧图像作为参考图像，然后可以对图像进行运动估计，确定待去噪图像与各帧参考图像之间的运动矢量，以根据运动矢量将待去噪图像上的各像素点与各帧参考图像的像素点进行匹配，然后根据待去噪图像上的像素点的像素值与各帧参考图像上的匹配像素点的像素值来确定去噪后的图像的像素值。
但是对于红外传感器、紫外传感器等一类传感器，由于其采集的图像信噪比本来就比较低，分辨率较差，因而通过这些图像进行运动估计，确定的图像之间的运动矢量不太准确，导致最终的降噪效果不理想。因此，有必要对图像降噪处理的方法加以改进，以取得更好的降噪效果。
基于此，本申请提供了一种图像处理方法，所述方法的具体流程如图1所示，包括以下步骤：
S102、获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
S104、根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
S106、根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
本申请的图像去噪方法可以用于一个包含至少两个传感器的图像采集设备，其中，两个传感器采集的图像的信噪比不一样，比如可以是一个同时包含红外传感器和可见光传感器的图像采集设备。在某些实施例中，本申请的图像处理方法也可以用于两个图像采集设备通过一定的方式固定连接组合得到的设备，每个设备包含一个传感器，传感器采集的图像信噪比各不相同。比如，可以是一个红外相机和一个可见光相机组合得到的设备。当然，本申请的图像处理方法也可以是仅仅用于只具备图像处理功能的终端设备或者云端服务器，在接收到图像采集设备采集的图像后，再进行后期的图像处理。需要指出的是，本申请的图像处理方法不限于两个传感器的场景，多于多个传感器，比如，三个甚至更多个传感器固定连接，每个传感器的采集的图像信噪比均不相同的场景同样适用，处理步骤与两个传感器的场景类似。
在采用时域滤波技术对图像进行去噪时，为了可以更加准确地确定待去噪图像与参考图像之间的运动矢量，本申请通过图像信噪比高的传感器采集的图像来指导图像信噪比低的传感器采集的图像进行运动矢量的估计，以便获得更加准确的运动矢量。因而，本申请中的第一传感器和第二传感器可以是刚性连接的，例如第一传感器和第二传感器是位置相对固定的两个传感器，可以在同一个设备上或者在不同的设备上。由于两个传感器相对位置固定，因而两个传感器采集的图像的运动变化是一致的，所以可以通过其中一个传感器采集的图像的运动矢量来确定另一个传感器采集的图像的运动矢量。比如，在某些实施例中，第一传感器和第二传感器可以固定于同一个云台上，同时随着云台的转动而转动，因此，其转动的方向和角度均是一致的。
本申请中将第一传感器采集的图像统称为第一组图像，第二传感器采集的图像统称为第二组图像。其中，第一传感器采集的图像的信噪比高于第二传感器采集的图像的信噪比，即第一组图像的信噪比高于第二组图像。比如，在某些实施例中，第一传感器为可见光传感器，相应的，第一组图像可以是可见光图像，第二传感器为红外传感器或紫外光传感器，相应的，第二组图像可以是红外图像、紫外光图像或者是飞行时间(Time-Of-Flight，TOF)图像中的一种。在某些实施例中，第一组图像可以是红外图像，第二组图像可以是可见光图像。在某些实施例中，可以根据实际情况来决策第一传感器和第二传感器的类型。例如，当满足预设的条件时，第一传感器为可见光传感器，第二传感器为红外传感器或紫外光传感器；当不满足预设的条件时，第一传感器为可见光传感器，相应的，第一传感器为红外传感器或紫外光传感器，第二传感器为可见光传感器。其中，在某些实施例中，预设的条件可以是当前时刻处于预设白天时间段或者当前环境能见度大于预设能见度阈值。举个例子，当处于白天时，光线较明亮，这时可见光传感器采集的可见光图像的信噪比明显高于红外图像、紫外光图像或者是TOF图像，这时可以用可见图像来指导红外图像、紫外光图像或者是TOF图像确定运动矢量。而当处于黑夜状态，光线较差，这时可见光传感器采集的图像的信噪比会低于红外图像，则可以用红外图像来指导可见光图像确定运动矢量。
在获取第一组图像和第二组图像后，可以根据第一组图像中的第一图像与第一图像的参考图像之间的运动矢量确定第二组图像中的第二图像与第二图像的参考图像之间的运动矢量，其中，第二图像为第二组图像中待去噪的图像，第二图像可以是一帧或多帧，第二图像的参考图像也可以是第二组图像中的一帧或多帧图像，该参考图像可以是第二传感器在采集第二图像之前采集的若干帧图像，也可以是第二传感器在采集第二图像之后采集若干帧图像，当然，也可以同时包括第二图像之前的若干帧图像以及之后的若干帧图像。
其中，第一图像和第二图像可以是第一传感器和第二传感器在同一个相对位置分别采集的图像。同样的，第一图像的参考图像和第二图像的参考图像也是第一传感器和第二传感器在同一个相对位置分别采集的图像。当然，可以是第一传感器和第二传感器在同一个相对位置同时采集，也可以是先后采集。举个例子，第一传感和第二传感器固定于一云台，当云台转动至A角度时，第一传感器采集的图像为第一图像，则云台在此位置时，第二传感器采集的图像则为第二图像。同样的，第一图像的参考图像和第二图像的参考图像则可以是云台转动至B角度，C角度等其他角度时两个传感器分别采集的图像。
由于第一传感器采集的图像的信噪比更高，因而可以用第一图像及其参考图像来确定运动矢量，并根据第一图像与其参考图像的运动矢量来确定第二图像与第二图像的参考图像之前的运动矢量。在确定第二图像与其参考图像的运动矢量后，即可以根据该运动矢量和参考图像对第二图像进行去噪处理。
在某些实施例中，在确定第一图像和第一图像的参考图像之间的运动矢量时，可以采用灰度直方图相关性匹配的方法来确定。可以分别从第一图像和第一图像的参考图像的中间位置确定多个图像区域，然后确定这多个图像区域的灰度直方图，对这多个灰度直方图进行相关性匹配，确定所述第一图像与所述第一图像的参考图像之间的运动矢量。通常情况由于图像中间位置的图像区域的图像质量往往较好，因而可以从中间位置确定图像区域，当然，也可以从图像中的其他位置确定质量较好的图像区域。在从第一图像和其参考图像确定出图像区域后，可以对于这些图像区域进行横向和纵向的直方图统计，得到第一图像和其参考图像各自在横向和纵向的直方图统计值，并根据直方图统计值进行相关性匹配，确定图像区域中各个小图像区块的互相关系数，根据互相关系数来确定第一图像与其参考图像之间的运动矢量，以及运动矢量对应的置信度水平。
当然，灰度直方图相关性匹配只是确定第一图像及其参考图像之间的运动矢量的一种方法，在某些实施例中，还可以采用特征点匹配、光流法等方法确定第一图像及其参考图像之间的运动矢量，可根据实际运用场景灵活选择，本申请对此不作限制。
由于第一传感器和第二传感的位置相对固定，当传感器的位置发生变化时，两个传感器采集的图像整体上的运动变化是一致的，即全局的运动矢量一致，反映的都是传感器的位置变化。因而第一传感器采集的图像在全局的运动矢量可以作为第二传感器采集的图像在全局的运动矢量的参考。在确定第一图像及其参考图像之间的运动矢量后，可以根据第一图像及其参考图像之间的运动矢量确定第二图像与第二图像的参考图像之间的运动矢量。由于第一传感器和第二传感器所在的位置并不一样，且某些实施例中，第一传感器和第二传感器的视场角(Field of Vision，FOV)以及分辨率也不一样，比如红外传感器的视场角通常小于可见光传感器的视场角，且红外图像的分辨率低于可见光图像的分辨率。因此，在某些实施例中，在确定第一图像与第一图像的参考图像之间的运动矢量后，可以采用预设的变换矩阵对第一图像与所述第一图像的参考图像之间的运动矢量进行矩阵映射，得到第二图像与所述第二图像的参考图像之间的运动矢量。示例性的，第一传感器和第二传感器在出厂时需要进行各自内参数矩阵与畸变参数以及二者之间旋转矩阵与平移向量等参数的标定，详细标定方法例如可以是基于张正友的棋盘格标定法或其改进。以第一传感器为可见光传感器，第二传感器为红外传感器为例，在得到以上参数后可以计算出从可见光图像像素点映射到红外图像像素点的映射矩阵。其中，变换矩阵可以预先根据第一传感器和第二传感器的位置参数、和/或第一传感器和第二传感器分辨率得到。
在某些实施例中，可以采用变换矩阵对第一图像与第一图像的参考图像之间的运动矢量进行仿射变换，以得到第二图像与所述第二图像的参考图像之间的运动矢量。在某些实施例中，可以采用变换矩阵对第一图像与第一图像的参考图像之间的运动矢量进行透视变换，以得到二图像与所述第二图像的参考图像之间的运动矢量。当然，在某些实施例中，可以同时采用变换矩阵对第一图像与述第一图像的参考图像之间的运动矢量进行仿射变换和透视变换，以得到二图像与所述第二图像的参考图像之间的运动矢量。具体的变换方式可以是根据两个传感器的位置、分辨率以及视场角等因素设置，本申请不作限制。
在确定第二图像和第二图像的参考图像之间的运动矢量后，可以根据该运动矢量以及第二图像的参考图像对第二图像进行去噪处理。在某些实施例中。可以根据第二图像与和第二图像的参考图像之间的运动矢量确定第二图像中各像素点的综合滤波系数，然后根据综合滤波系数以及第二图像的参考图像对第二图像进行去噪处理。
其中，综合滤波系数可以是在根据第二图像和其参考图像确定去噪后的图像的像素点的像素值时，第二图像或参考图像上的对应像素点的像素值所占的权重。举个例子，假设第二图像上有一像素点P0，根据第二图像与其参考图像之间的运动矢量，可以确定P0在参考图像的对应像素点P1，而第二图像进行去噪后的图像在对应像素点的像素值可以根据这两个像素点的像素值确定，这时，可以确定P0和P1的像素值在确定去噪后的像素点的像素值所占的权重，称为综合滤波系数。
综合滤波系数与图像的全局运动有关，也和图像的局部运动有关。其中，全局运动是由传感器位置发生变化带来的整体图像的运动，而局部运动是由于拍摄物体的运动引起的运动。这两者运动都会影响最终第二图像和其参考图像的像素点的匹配。由于根据第一图像和其参考图像之间的运动矢量确定的第二图像和第二图像的参考图像之间的运动矢量表征的是图像的全局运动，因而在某些实施例中，在确定综合滤波系数时可以考虑图像的局部运动。可以先根据确定的第二图像和其参考图像之间的运动矢量确定第二图像的各像素点在参考图像上的对应像素点，由于第二图像和其参考图像之间的运动矢量只考虑了全局运动，因而根据该矢量确定的对应像素点不一定准确，所以可以先根据第二图像的各像素点和该对应像素点的匹配程度确定第一滤波系数，然后再根据第二图像和第二图像的参考图像之间的运动矢量的置信度确定第二滤波系数，第二滤波系数反映的是该运动矢量的准确程度。其中，第二图像和第二图像的参考图像之间的运动矢量的置信度可以根据第一图像和第一图像的参考图像之间的运动矢量的置信度来确定。在确定第一滤波系数和第二滤波系数后，可以根据第一滤波系数和第二滤波系数确定综合滤波系数。通过这种方式，综合考虑了图像的全局运动和局部运动，使得确定出来的滤波系数会更加准确。
在某些实施例中，在根据第二图像的各像素点和对应像素点的匹配程度确定第一滤波系数时，可以根据第二图像的各像素点和对应像素点的像素值确定一个表征像素点匹配程度的表征参数。在某些实施例中，该表征参数可以是第二图像各像素点的像素值与对应像素点的像素值的差值的绝对值。在某些实施例中，表征参数也可以是第二图像上某个像素点所在的一个小图像区域上的像素点与该图像区域在参考图像的对应区域的像素点的像素值的差值的绝对值之和，即SAD(Sum of Absolute Differences)。像素值差值的绝对值或者SAD越小，说明像素点和对应像素点越匹配，即应将第一滤波系数设置得大一些，否则应将第一滤波系数设置的小一些。在某些实施例中，在确定表征第二图像的像素点与参考图像上的对应像素点匹配程度的表征参数后，可以根据表征参数，预设第一阈值、预设第二阈值以及预设最大滤波系数来确定第一滤波系数。其中，预设第一阈值和预设第二阈值为与图像噪声水平相关的阈值，且预设第一阈值小于预设第二阈值，最大滤波系数为在0-1之间的一个固定系数。
在某些实施例中，若表征参数小于预设第一阈值，则第一滤波系数等于预设最大滤波系数，若表征参数大于预设第二阈值，则第一滤波系数等于0，若表征参数大于预设第一阈值，小于预设第二阈值，则第一滤波系数等于最大滤波系数与指定系数的乘积，其中，指定系数基于预设第二阈值、表征参数以及预设第一阈值得到。举个例中，假设表征参数为H，预设第一阈值为lowthres，预设第二阈值为highthres，lowthres与highthres分别为和图像噪声水平相关的阈值，且highthres>lowthres，ratio为最大滤波系数，0<ratio<1。则可以通过公式(1)来计算第一滤波系数。
在确定第一滤波系数后，可以根据第二图像和第二图像的参考图像之间的运动矢量置信度确定第二滤波系数，然后根据第一滤波系数和第二滤波系数确定综合滤波系数。在某些实施例中，综合滤波系数可以是第一滤波系数与第二滤波系数的乘积。比如第一滤波系数为S1，第二滤波系数为S2，则综合滤波系数S＝S1*S2。
在确定第二图像中各像素点对应的各帧参考红外图像的综合滤波系数后，可以根据第二图像各像素点的像素值、参考图像中对应像素点的像素值以及综合滤波系数确定去噪后的第二图像各像素点的像素值。其中，时域滤波可采用FIR滤波，假设第二图像中坐标为(p，q)的像素点的像素值为V(p，q)，第二图像的参考图像中坐标为(p，q)的像素点对应的参考像素点的坐标为(p+dp，q+dq)，且该参考像素点的像素值为W(p+dp，q+dq)，则去噪后的第二图像中坐标为(p，q)的像素点的像素值Vo(p,q)可以通过公式(2)计算，
Vo(p,q)＝(1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq) 公式(2)
s(p,q)为综合滤波系数，dp,dq为第二图像中坐标为(p，q)的像素点的运动矢量。
当然，如果参考图像有多帧，可以针对每一帧参考图像利用公式(2)求得去噪后的像素值，再取均值作为最终的去噪后像素值。
通过采用信噪比高的图像来指导信噪比低的图像确定运动矢量，可以使得确定的信噪比低的图像的运动矢量更加准确，从而通过运动矢量对信噪比低的图像进行去噪时，可以提升去噪效果。
为了进一步解释本申请提供的图像处理方法，以下以一个具体的实施例加以解释。
红外传图像的信噪比较低，在采用时域滤波技术对红外图像进行去噪时，由于要确定当前待去噪红外图像和参考红外图像之间的运动矢量，再根据运动矢量对待去噪红外图像的像素点和参考红外图像的像素点进行匹配，确定去噪后的红外图像的像素值。由于红外图像信噪比低，因而根据红外图像确定的运动矢量不准确，导致降噪效果差。
通常在白天的时候，可见光传感器采集的图像的信噪比都要高于红外传感器，为了提升红外图像的降噪效果，本实施例中通过固定于同一个云台且相对位置固定的一个红外传感器和一个可见光传感器分别采集图像，由于可见光图像的信噪比较高，因而可以用可见光图像指导红外图像确定运动矢量，使得确定的红外图像的运动矢量更加准确，再对红外图像进行去噪。具体的去噪过程如下：
1、可见光图像的运动矢量的确定
确定待去噪红外图像及其参考红外图像对应的可见光图像及参考可见光图像，其中，待去噪红外图像和可见光图像为云台位于某个位置时，红外传感器和可见光传感器分别采集的图像，而参考红外图像和参考可见图像为云台位于其他的位置时，红外传感器和可见光传感器分别采集的图像。参考红外图像和参考可见光图像可以是一帧或多帧图像。
分别从可见光图像以及参考可见光图像的中间位置选取一感兴趣区域(Regionof Interest，ROI)，进行行方向和列方向的灰度直方图统计，得到可见光图像以及参考可见光图像各自在行方向和列方向的灰度直方图统计值，使用灰度直方图相关法进行全局运动向量的搜索，行方向和列方向分别独立进行，对灰度直方图进行相关性匹配，从而确定可见光图像与各参考可见光图像之间的运动矢量。具体过程如下：
直方图相关法在行列方向的偏置计算可归结为可见光图像以及参考可见光图像的最大互相关问题。假设直方图统计长度为x，正负向的最大可计算偏置为dx，则相关计算长度为y＝x-2*dx。计算最大互相关系数时，从参考可见光图像直方图中截取中间长度为y的区域参与互相关系数计算，可见光图像直方图在x长度上从左到右滑动截取y长度参与相关计算，共获得k＝2*dx+1个互相关系数及两组计算向量的位移偏置，最大互相关系数对应的位移偏置即为行/列方向上的位移偏置，该偏移位置即为可见光图像与参考可见光图像之间的运动矢量，并根据互相关系数的绝对值大小确定可见光图像与参考可见光图像之间的运动矢量的置信度水平。
2、红外图像的运动矢量的确定
由于红外传感器和可见光传感器的位置、分辨率以及视场角都不一样，因而两者采集的图像的运动矢量也并非完全一样。因而，可以预先根据红外传感器和可见光传感器的位置参数、分辨率以及视场角等确定一个变换矩阵，然后通过该变换矩阵对确定的可见光图像和参考可见光图像的运动矢量进行透视变换和防射变换，即可得到待去噪红外图像和各帧参考红外图像之间的运动矢量，并且可以根据可见光图像与参考可见光图像之间的运动矢量的置信度确定待去噪红外图像和各帧参考红外图像之间的运动矢量的置信度。
3、综合滤波系数的确定
综合滤波系数可以根据图像的全局运动和局部运动情况来综合决定。全局运动为由于传感器的位置变化引起的运动，局部运动为拍摄物体的运动引起的运动。由于根据可见光图像与参考可见光图像之间的运动矢量确定的待去噪红外图像和各帧参考红外图像之间的运动矢量，考虑的是图像的全局运动，没有考虑物体的局部运动。因而可以根据待去噪红外图像和各帧参考红外图像之间的运动矢量确定待去噪红外图像各像素点在参考红外图像的对应像素点，确定各像素点与参考像像素点的像素值差值的绝对值，假设为H，预先设置第一阈值lowthres，第二阈值highthres，lowthres与highthres分别为和图像噪声水平相关的阈值，且highthres>lowthres，以及最大时域滤波系数ratio，0<ratio<1。然后，可以通过公式(1)来计算第一滤波系数S1。
确定S1后，根据待去噪红外图像和各帧参考红外图像之间的运动矢量的置信度确定第二滤波系数S2，然后根据S1和S2确定综合滤波系数S。其中，S＝S1*S2。
4、红外图像的去噪处理
在确定待去噪红外图像各像素点对应的各帧参考红外图像的综合率系数后，可以根据待去噪红外图像各像素点的像素值、参考图像中对应像素点的像素值以及滤波系数确定去噪后的红外图像各像素点的像素值。时域滤波可采用FIR滤波，假设待去噪红外图像坐标为(p，q)的像素点的像素值为V(p，q)和参考红外图像坐标为(p+dp，q+dq)的像素点的像素值为W(p+dp，q+dq)，则去噪后的红外图像的对应像素点的像素值可以通过以下公式计算，
Vo(p,q)＝(1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq)
s(p，q)为综合滤波系数，dp，dq为确定的运动矢量。
另外，本申请还提供了一种图像处理装置，如图2所示，所述装置20包括处理器21、存储器22以及存储于所述存储器的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
在某些实施例中，所述处理器用于根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量时，具体包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换，得到所述第二图像与所述第二图像的参考图像之间的运动矢量，其中，所述变换矩阵基于所述第一传感器和所述第二传感器的位置参数以及分辨率得到。
在某些实施例中，所述处理器用于通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换时，具体包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行仿射变换；和/或
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行透视变换。
在某些实施例中，所述处理用于确定所述第一图像与所述第一图像的参考图像之间的运动矢量时，具体包括：
分别从所述第一图像和所述第一图像的参考图像的中间位置确定多个图像区域；
确定所述多个图像区域的灰度直方图；
对所述灰度直方图进行相关性匹配，确定所述第一图像与所述第一图像的参考图像之间的运动矢量。
在某些实施例中，所述处理器用于根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理时，具体包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数；
根据所述综合滤波系数以及所述第二图像的参考图像对所述第二图像进行去噪处理。
在某些实施例中，所述处理器用于根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数时，包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量确定所述第二图像各像素点在所述第二图像的参考图像的对应像素点；
根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量的置信度确定第二滤波系数；
根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
在某些实施例中，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
在某些实施例中，所述处理器用于根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数时，包括：
根据所述第二图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
在某些实施例中，所述表征参数包括：
所述第二图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
所述第二图像的各图像区块的像素点与所述图像区块在所述参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
在某些实施例中，所述处理器基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数时，包括：
若所述表征参数小于所述预设第一阈值，则所述第一滤波系数等于所述预设最大滤波系数；
若所述表征参数大于所述预设第二阈值，则所述第一滤波系数等于0；
若所述表征参数大于所述预设第一阈值，小于所述预设第二阈值，则所述第一滤波系数等于所述最大滤波系数与指定系数的乘积，所述指定系数基于所述预设第二阈值、所述表征参数以及所述预设第一阈值得到。
在某些实施例中，当满足预设条件时，所述第一组图像为可见光图像，所述第二组图像为红外图像、紫外光图像或TOF图像中的一种；当不满足所述预设条件时，所述第一组图像为红外图像，所述第二组图像为可见光图像。
在某些实施例中，所述预设条件为当前时刻处于预设白天时间段或者当前环境能见度大于预设能见度阈值。
在某些实施例中，所述第一传感器和所述第二传感器固定于同一个云台。
进一步地，本申请还提供一种图像处理装置，如图3所示，所述装置包括第一传感器31、第二传感器32、处理器33、存储器34以及存储于所述存储器的计算机程序，其中，第一传感器和第二传感器固定于云台，如图4所示，为本申请一个实施例中第一传感器和第二传感器固定于同一云台的示意图，第一传感器和第二传感器可以同时随着云台转动而转动，其相对位置始终保持固定，第一传感器31、第二传感器32以及云台通过总线和处理器33通信，处理器33通过总线与存储器34通信，处理器33从存储器34中读取计算机程序，然后控制第一传感器31以及第二传感器32进行图像采集，并且控制云台转动至指定位置。第一传感器采集的图像的信噪比大于第二传感器采集的图像的信噪比，第一图像传感器用于采集第一组图像，第二图像传感器用于采集第二组图像，其中，处理器33用于：
根据第一组图像中的第一图像与第一图像的参考图像之间的运动矢量确定第二组图像中的第二图像与第二图像的参考图像之间的运动矢量；
根据第二图像与第二图像的参考图像之间的运动矢量以及第二图像的参考图像对第二组图像中的第二图像进行去噪处理。
其中，具体的去噪的过程可参考上述图像处理方法的各实施例，在此不再赘述。
在某些实施例中，所述图像处理装置可以是无人机、相机、汽车、飞机或者船。比如，无人机、汽车、飞机或者船上可以设置采集的图像分辨率不同的两个传感器，比如一个红外传感器和一个可见光传感器，通过可见光传感器采集的图像指导红外传感器采集的图像进行去噪处理。当然，也可以是一个具有双传感器的相机，两个传感器采集的图像分辨率不同。
需要说明的是，图4所示云台和两个传感器的连接关系、位置关系摆放关系仅作为一种示例，在其他实现方式中，云台和两个传感器的连接关系或者位置关系、摆放关系等均可以调整。
相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中图像处理方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (29)
1.一种图像处理方法，其特征在于，所述方法包括：
获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
2.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量，包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换，得到所述第二图像与所述第二图像的参考图像之间的运动矢量，其中，所述变换矩阵基于所述第一传感器和所述第二传感器的位置参数以及分辨率得到。
3.根据权利要求2所述的图像处理方法，其特征在于，通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换，包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行仿射变换；和/或
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行透视变换。
4.根据权利要求2或3所述的图像处理方法，其特征在于，确定所述第一图像与所述第一图像的参考图像之间的运动矢量，包括：
分别从所述第一图像和所述第一图像的参考图像的中间位置确定多个图像区域；
确定所述多个图像区域的灰度直方图；
对所述灰度直方图进行相关性匹配，确定所述第一图像与所述第一图像的参考图像之间的运动矢量。
5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理，包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数；
根据所述综合滤波系数以及所述第二图像的参考图像对所述第二图像进行去噪处理。
6.根据权利要求5所述的图像处理方法，其特征在于，根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数，包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量确定所述第二图像各像素点在所述第二图像的参考图像的对应像素点；
根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量的置信度确定第二滤波系数；
根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
7.根据权利要求6所述的图像处理方法，其特征在于，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
8.根据权利要求6或7所述的图像处理方法，其特征在于，根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数，包括：
根据所述第二图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
9.根据权利要求8所述的图像处理方法，其特征在于，所述表征参数包括：
所述第二图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
所述第二图像的各图像区块的像素点与所述图像区块在所述参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
10.根据权利要求8或9所述的图像处理方法，其特征在于，基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，包括：
若所述表征参数小于所述预设第一阈值，则所述第一滤波系数等于所述预设最大滤波系数；
若所述表征参数大于所述预设第二阈值，则所述第一滤波系数等于0；
若所述表征参数大于所述预设第一阈值，小于所述预设第二阈值，则所述第一滤波系数等于所述最大滤波系数与指定系数的乘积，所述指定系数基于所述预设第二阈值、所述表征参数以及所述预设第一阈值得到。
11.根据权利要求1-10任一项所述的图像处理方法，其特征在于，当满足预设条件时，所述第一组图像为可见光图像，所述第二组图像为红外图像、紫外光图像或TOF图像中的一种；当不满足所述预设条件时，所述第一组图像为红外图像，所述第二组图像为可见光图像。
12.根据权利要求1-11任一项所述的图像处理方法，其特征在于，所述预设条件为当前时刻处于预设白天时间段或者当前环境能见度大于预设能见度阈值。
13.根据权利要求1-12任一项所述的图像处理方法，其特征在于，所述第一传感器和所述第二传感器固定于同一个云台。
14.一种图像处理装置，其特征在于，所述装置包括处理器、存储器以及存储于所述存储器的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一组图像和第二组图像，所述第一组图像通过第一传感器采集，所述第二组图像通过第二传感器采集，所述第一传感器和所述第二传感器的相对位置固定，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比；
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
15.根据权利要求14所述的图像处理装置，其特征在于，所述处理器用于根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量时，具体包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换，得到所述第二图像与所述第二图像的参考图像之间的运动矢量，其中，所述变换矩阵基于所述第一传感器和所述第二传感器的位置参数以及分辨率得到。
16.根据权利要求15所述的图像处理装置，其特征在于，所述处理器用于通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行映射变换时，具体包括：
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行仿射变换；和/或
通过预设的变换矩阵对所述第一图像与所述第一图像的参考图像之间的运动矢量进行透视变换。
17.根据权利要求15或16所述的图像处理装置，其特征在于，所述处理用于确定所述第一图像与所述第一图像的参考图像之间的运动矢量时，具体包括：
分别从所述第一图像和所述第一图像的参考图像的中间位置确定多个图像区域；
确定所述多个图像区域的灰度直方图；
对所述灰度直方图进行相关性匹配，确定所述第一图像与所述第一图像的参考图像之间的运动矢量。
18.根据权利要求14-17任一项所述的图像处理装置，其特征在于，所述处理器用于根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理时，具体包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数；
根据所述综合滤波系数以及所述第二图像的参考图像对所述第二图像进行去噪处理。
19.根据权利要求18所述的图像处理装置，其特征在于，所述处理器用于根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像确定所述第二图像各像素点的综合滤波系数时，包括：
根据所述第二图像与所述第二图像的参考图像之间的运动矢量确定所述第二图像各像素点在所述第二图像的参考图像的对应像素点；
根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量的置信度确定第二滤波系数；
根据所述第一滤波系数和所述第二滤波系数得到所述综合滤波系数。
20.根据权利要求19所述的图像处理装置，其特征在于，所述综合滤波系数等于所述第一滤波系数和所述第二滤波系数的乘积。
21.根据权利要求19或20所述的图像处理装置，其特征在于，所述处理器用于根据所述第二图像各像素点与所述对应像素点的匹配程度确定第一滤波系数时，包括：
根据所述第二图像各像素点与所述对应像素点的像素值确定所述匹配程度的表征参数；
基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数，其中，所述预设第一阈值小于所述预设第二阈值。
22.根据权利要求21所述的图像处理装置，其特征在于，所述表征参数包括：
所述第二图像各像素点与所述对应像素点的像素值差值的绝对值；和/或
所述第二图像的各图像区块的像素点与所述图像区块在所述参考图像中的对应图像区块的像素点的像素值差值的绝对值之和。
23.根据权利要求21或22所述的图像处理装置，其特征在于，所述处理器基于所述表征参数、预设第一阈值、预设第二阈值以及预设最大滤波系数确定所述第一滤波系数时，包括：
若所述表征参数小于所述预设第一阈值，则所述第一滤波系数等于所述预设最大滤波系数；
若所述表征参数大于所述预设第二阈值，则所述第一滤波系数等于0；
若所述表征参数大于所述预设第一阈值，小于所述预设第二阈值，则所述第一滤波系数等于所述最大滤波系数与指定系数的乘积，所述指定系数基于所述预设第二阈值、所述表征参数以及所述预设第一阈值得到。
24.根据权利要求14-23任一项所述的图像处理装置，其特征在于，当满足预设条件时，所述第一组图像为可见光图像，所述第二组图像为红外图像、紫外光图像或TOF图像中的一种；当不满足所述预设条件时，所述第一组图像为红外图像，所述第二组图像为可见光图像。
25.根据权利要求14-24任一项所述的图像处理装置，其特征在于，所述预设条件为当前时刻处于预设白天时间段或者当前环境能见度大于预设能见度阈值。
26.根据权利要求14-25任一项所述的图像处理装置，其特征在于，所述第一传感器和所述第二传感器固定于同一个云台。
27.一种图像处理装置，其特征在于，所述装置包括云台、第一传感器、第二传感器、处理器、存储器以及存储于所述存储器的计算机程序，所述第一图像传感器和第二图像传感器固定于所述云台，所述第一传感器采集的图像的信噪比大于所述第二传感器采集的图像的信噪比，所述第一图像传感器用于采集第一组图像，所述第二图像传感器用于采集第二组图像，所述处理器用于：
根据所述第一组图像中的第一图像与所述第一图像的参考图像之间的运动矢量确定所述第二组图像中的第二图像与所述第二图像的参考图像之间的运动矢量；
根据所述第二图像与所述第二图像的参考图像之间的运动矢量以及所述第二图像的参考图像对所述第二组图像中的所述第二图像进行去噪处理。
28.根据权利要求27所述的图像处理装置，其特征在于，所述图像处理装置包括无人机、相机、汽车、飞机或船。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-13任一项图像处理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/130858 WO2021134642A1 (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111699511A true CN111699511A (zh) | 2020-09-22 |
Family
ID=72476441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980010510.8A Pending CN111699511A (zh) | 2019-12-31 | 2019-12-31 | 图像处理方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111699511A (zh) |
| WO (1) | WO2021134642A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112565603A (zh) * | 2020-11-30 | 2021-03-26 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN113191965A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5588067A (en) * | 1993-02-19 | 1996-12-24 | Peterson; Fred M. | Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object |
| CN102201113A (zh) * | 2010-03-23 | 2011-09-28 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
| US20120051662A1 (en) * | 2010-08-24 | 2012-03-01 | Olympus Corporation | Image processing apparatus and storage medium |
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4631966B2 (ja) * | 2008-12-22 | 2011-02-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR102274320B1 (ko) * | 2014-10-16 | 2021-07-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| CN108270945B (zh) * | 2018-02-06 | 2020-10-30 | 上海通途半导体科技有限公司 | 一种运动补偿去噪方法及装置 |
-
2019
- 2019-12-31 CN CN201980010510.8A patent/CN111699511A/zh active Pending
- 2019-12-31 WO PCT/CN2019/130858 patent/WO2021134642A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5588067A (en) * | 1993-02-19 | 1996-12-24 | Peterson; Fred M. | Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object |
| CN102201113A (zh) * | 2010-03-23 | 2011-09-28 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
| US20120051662A1 (en) * | 2010-08-24 | 2012-03-01 | Olympus Corporation | Image processing apparatus and storage medium |
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112565603A (zh) * | 2020-11-30 | 2021-03-26 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN112565603B (zh) * | 2020-11-30 | 2022-05-10 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| WO2022111717A1 (zh) * | 2020-11-30 | 2022-06-02 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
| CN113191965A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
| CN113191965B (zh) * | 2021-04-14 | 2022-08-09 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021134642A1 (zh) | 2021-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8532420B2 (en) | Image processing apparatus, image processing method and storage medium storing image processing program | |
| JP6629454B2 (ja) | 画像フュージョン方法と装置、および端末装置 | |
| US10762655B1 (en) | Disparity estimation using sparsely-distributed phase detection pixels | |
| WO2020010945A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US8964041B2 (en) | System and method for video stabilization of rolling shutter cameras | |
| US10911680B2 (en) | Method and system of geolocation and attitude correction for mobile rolling shutter cameras | |
| CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| US20060119710A1 (en) | Systems and methods for de-blurring motion blurred images | |
| US20120076362A1 (en) | Coded aperture camera with adaptive image processing | |
| JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
| WO2021184302A1 (zh) | 图像处理方法、装置、成像设备、可移动载体及存储介质 | |
| US10116851B2 (en) | Optimized video denoising for heterogeneous multisensor system | |
| US20130242122A1 (en) | Image synthesis device and computer program for image synthesis | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| WO2022193288A1 (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| WO2017185265A1 (zh) | 一种图像拍摄参数的确定方法及摄像装置 | |
| CN111699511A (zh) | 图像处理方法、装置及存储介质 | |
| CN115004227A (zh) | 图像处理方法、装置及设备 | |
| WO2021230157A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| Ringaby et al. | A virtual tripod for hand-held video stacking on smartphones | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN107251089B (zh) | 用于移动检测和补偿的图像处理方法 | |
| CN102760296B (zh) | 多画面中物体的移动分析方法 | |
| CN112907704B (zh) | 一种图像融合方法、计算机设备以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200922 |