CN111968057A - 图像降噪方法、装置、存储介质及电子装置 - Google Patents
图像降噪方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN111968057A CN111968057A CN202010858746.1A CN202010858746A CN111968057A CN 111968057 A CN111968057 A CN 111968057A CN 202010858746 A CN202010858746 A CN 202010858746A CN 111968057 A CN111968057 A CN 111968057A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- target
- blocks
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000001228 spectrum Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像降噪方法、装置、存储介质及电子装置，其中，该方法包括：获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，第二图像为包括预定单色的可见光图像；确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。通过本发明，解决了相关技术中存在的降噪效果差的问题，提高了降噪效果。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种图像降噪方法、装置、存储介质及电子装置。
背景技术
图像的应用领域广泛，涉及到生物医学，军事，交通安防，机器视觉等领域。图像的质量直接影响其在这些领域应用的有效性，然而，图像在获取、处理、传输过程中，会不可避免的受到噪声的干扰。因此，滤除图像中的噪声有着极其重要的意义。
在相关技术中，主流图像降噪技术主要有空间域图像降噪：简单的有均值滤波，高斯滤波，中值滤波等算法。这类降噪算法不进行边界区域降噪和平坦区域的区域降噪。因此，在降噪的同时，会丢失很多有用的图像信息。稍微复杂的有双边滤波和非局部均值算法。但空间域算法的缺点是对于纹理的保护不是很好。频域图像降噪：主要的代表有小波，DCT(Discrete Cosine Transform，离散余弦变换)等降噪算法。这类算法是将图像变换到频域，并在频域上进行降噪。频域图像降噪的缺点是大噪声压制没有空间域降噪来的好。空间域和频域混合的图像降噪：主要包括BM3D(Block-Matching and 3D filtering，三维块匹配)，WNNM(Weighted Nuclear Norm Minimization，加权核范数最小化)等算法，该类算法将空间域和频域降噪进行组合，极大的提高了图像降噪能力。学习类的图像降噪：主要有深度学习和字典学习类的降噪算法。该类算法使用预先采集样本来训练降噪算法，取得了比较好的效果。但是计算量巨大，很难应用到实际产品中。
在相关技术中，还可以采用将红外线图像时域降噪强度和可见光时域降噪强度相结合，估计最终的时域降噪强度，对红外和可见光进行降噪。估计红外的空域降噪强度，对红外和可见光进行空域降噪。然而，用时域做参考，最大的问题就是会加重拖尾，而不是减轻拖尾。原因是不同的波段对物体的反射不同。假如某个物体在可见光中被检测到，但是在红外中没有被检测到，那么这个物体一定出现拖尾。用领域运动来进行组合，并不能有效解决这个问题。反而这样做会把红外信息做的更差，不利于图像的后处理。空域部分，使用sobel信息将红外和可见光空域降噪组合起来进行降噪，过于简单，不能发挥出红外指导的优势。
由此可知，相关技术中存在降噪效果差的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像降噪方法、装置、存储介质及电子装置，以至少解决相关技术中存在的降噪效果差的问题。
根据本发明的一个实施例，提供了一种图像降噪方法，包括：获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
根据本发明的另一个实施例，提供了一种图像降噪装置，包括：获取模块，用于获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；确定模块，用于确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；降噪模块，用于基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；组合模块，用于对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，计算得出第一图像和第二图像中对应图像块的差距信息，根据对应图像块的差距信息确定出目标图像块，再利用第一图像中的目标图像块对第二图像中的目标图像块进行降噪处理，利用块降噪的方式，有效的保护纹理边缘信息，提高了降噪效果。因此，可以解决相关技术中存在的降噪效果差的问题，提高了降噪效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像降噪方法的移动终端的硬件结构框图；
图2是根据本发明实施例的图像降噪方法的流程图；
图3是根据本发明可选实施例的计算可见光和红外线对应位置的块差距参考图；
图4是根据本发明可选实施例的al-Lum图像；
图5是根据本发明具体实施例的图像降噪系统结构图；
图6是根据本发明实施例的图像降噪装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像降噪方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像降噪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的图像降噪方法，图2是根据本发明实施例的图像降噪方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
步骤S204，确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
步骤S206，基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
步骤S208，对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
在上述实施例中，第一图像可以为红外线图像或其他频谱图，第二图像可以为灰度图等单色图，其中，该单色图可以是由彩色图分解得到的或由其他频谱图分解得到的。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，计算得出第一图像和第二图像中对应图像块的差距信息，根据对应图像块的差距信息确定出目标图像块，再利用第一图像中的目标图像块对第二图像中的目标图像块进行降噪处理，利用块降噪的方式，有效的保护纹理边缘信息，提高了降噪效果。因此，可以解决相关技术中存在的降噪效果差的问题，提高了降噪效果。
在一个可选的实施例中，确定所述第一图像和所述第二图像中对应图像块的差距信息包括：确定所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距；基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，确定所述第一图像和所述第二图像中所述对应图像块的差距融合权重值，其中，所述差距信息包括所述差距融合权重值。在本实施例中，可以利用第一图像中各个图像块的块差距和第二图像中各个图像块的块差距做权重组合，其中，以第一图像为红外线图像，第二图像为可见光图像为例，对如何计算出可见光和红外线对应位置的块差距进行说明：计算可见光和红外线对应位置的块差距参考图可参见附图3，如图3所示，R为中心块，A为正在计算的块差距。Vis是可见光，Nir是红外线。块的大小为N×N，搜索半径为R×R，块差距计算公式可以为
在一个可选的实施例中，确定所述第一图像和所述第二图像中对应图像块的差距融合权重值包括以下至少之一：基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中对应图像块的方差以确定所述差距融合权重值；基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中所述对应图像块的块差距平均值以确定所述差距融合权重值；确定所述第一图像和所述第二图像中所述对应图像块的亮度值，基于确定出的亮度值以及所述第一图像和所述第二图像中所述对应图像块的块差距确定所述差距融合权重值。在本实施例中，使用第一图像的块差距融合到第二图像的块差距中，使第二图像块匹配的误差减少，从而提高降噪后图像的质量。其中，可以利用第一图像和第二图像中对应图像块的块差距的方差、平均值、亮度等计算差距融合权重值，以第一图像为红外线图像，第二图像为可见光图像为例，利用方差计算差距融合权重值的计算公式可以为
其中，D表示方差，方差计算的半径和块的大小相关，一般为N+1(该取值仅是一种可实施方式，还可以根据块的大小设置不同的计算半径，例如，还可以取N+2，N+3等)。利用平均值计算差距融合权重值的计算公式可以为
利用亮度计算差距融合权重值的计算公式可以为
其中，
Lum为亮度，LumThr为外部配置的亮度阈值，可见光和红外线分别配置，分别为LumThrvis和LumThrnir，并假定LumMax为亮度能达到的最大值。其中，al-Lum图像可参见附图4，Lum可以是通过图像进行滤波得到的每个像素点的亮度值，滤波方式可以采用高斯滤波等，LumThr可以是人为配置的参数，可以将al-Lum图像的亮度进行划分，al是通过Lum计算出来的值，使用该参数来融合红外计算出来的diff和可见光计算出来的diff。
在一个可选的实施例中，基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块包括：对所述第一图像和所述第二图像中所述对应图像块按照差距信息由小到大的顺序进行排序；通过如下方式之一从排序后的所述对应图像块中确定出所述目标图像块：按顺序选取预定数量的所述对应图像块作为所述目标图像块；按顺序选取预定比例的所述对应图像块作为所述目标图像块；将差距信息小于第一阈值的所述对应图像块确定为所述目标图像块；按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块；基于所述对应图像块的累计方差变化选取所述目标图像块。在本实施例中，计算出块的领域内所有差距融合权重值后，可以按照差距融合权重值从小到达的顺序进行排序。
在本实施例中，可以通过如下方式在排序后的对应图像块中确定目标图像块：按顺序选取预定数量的所述对应图像块作为所述目标图像块，即选取差距融合权重值最小的K(本发明对K值不做限定，可以根据不同的图像块确定不同的K值，例如，K可以取4，还可以取3、5、10等)个块，通过此方式确定目标图像块最为简单，但效果相对较差。按顺序选取预定比例的所述对应图像块作为所述目标图像块，其中，预定比例可以为5％(该取值仅是一种可实现方式，可以根据不同的图像块确定不同的预定比例，例如，还可以取4％，10％等)，即选取前5％最小块，通过此方式确定目标图像块也较为简单，对于改变搜索范围时，有一定的自适应性，在包边能力上优于选最小的K个块。将差距信息小于第一阈值的对应图像块确定为所述目标图像块，即通过设置阈值来确定目标图像块，其中，第一阈值可以为差距融合权重值小于diffThr1，例如，排序好的图像块ABCDEFGH，差距融合权重从小到大。如果D的权重小于diffThr1，而E的权重大于diffThr1，则将ABCD确定为目标图像块。
在本实施例中，按顺序将差距信息小于第二阈值的对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块，即选择所有的匹配块，但是将差距融合权重值小于第二阈值diffThr2的匹配块(对应于上述图像块)按照预定复制份数进行复制，方法如下：假设排好序的图像块为ABCDEFGHIJK，差距融合权重值从小到大，如果F的差距融合权重值小于第二阈值diffThr2，即小于第二阈值diffThr2的图像块为ABCDEF，则将ABCDEF拷贝一份，确定的目标匹配块为AABBCCDDEEFFGHIJK，即将差距融合权重值小于diffThr2的块多拷贝一份。通过此方式确定目标图像块在噪声压制上是最优的，但是，在计算量上也是最大的。
在本实施例中，还可以基于所述对应图像块的累计方差变化选取所述目标图像块。即通过设置累计方差变化来选取目标图像块。
在本实施例中，可以通过以上方式确定目标图像块，在选择时可以根据降噪的需求或图像的质量等选择具体的方式确定目标图像块。
在一个可选的实施例中，按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块包括：确定与差距信息小于第二阈值的所述对应图像块中包括的各对应图像块的差距信息对应的复制份数，其中，差距信息越小对应的复制份数越大；按照确定的复制份数对差距信息小于第二阈值的所述对应图像块中包括的各对应图像块进行复制；对复制后的所述对应图像块按照从小到达的顺序进行排序，以得到所述目标图像块。在本实施例中，预定复制份数不仅仅限于1份，也可以多份，例如，还可以为2份、3份等。此外，也不仅仅只限制一个第二阈值diffThr2，还可以设置多个第二阈值，如diffThr3，diffThr4，diffThr5等，并满足diffThr3<diffThr4<diffThr5…。diffblend越小，拷贝份数越多，即预定复制份数越大。还也可以根据diffblend值，通过分段折线或者曲线的方式，映射出对应的拷贝份数。
在一个可选的实施例中，基于所述对应图像块的累计方差变化选取所述目标图像块包括：按顺序选取目标数量的所述对应图像块，并计算所述目标数量的所述对应图像块的第一方差，其中，所述目标数量为预先确定的最小匹配数；按顺序选取目标数量加一的所述对应图像块，并计算所述目标数量加一的所述对应图像块的第二方差；在确定所述第一方差和所述第二方差的差距大于或等于预定差距值时，将所述目标数量的所述对应图像块确定为所述目标图像块；在确定所述第一方差和所述第二方差的差距小于所述预定阈值时，重复执行选取比前一次选取数量多一个的所述对应图像块，直到后选取出的所述对应图像块的方差与前一次选取出的所述对应图像块的方差的差值大于或等于所述预定差距值位置，并将前一次选取出的所述对应图像块确定为所述目标图像块。在本实施例中，首先设定一个最小匹配数，如果块大小是N×N，那么会计算出N×N个方差，求N×N个方差的平均值，作为该块的方差。例如，对于排好序的匹配块ABCDEFGHIJK，最小目标图像块是4块，则计算ABCD对应点的方差，每个像素点对应的点有4个，即计算这4个点的方差，一共可以求出16个方差，求16个方差的平均值，作为ABCD的方差，再用相同的方差计算ABCDE的方差。如果二者方差的差距小于Dthr(对应于上述预定阈值)，那么将E也作为目标图像块。接着比较ABCDE和ABCDEF方差，如果小于Dthr，那么将F也作为目标图像块，继续比较下一块，否则停止。其中，初始最小目标图像块块数最小需要设置2块，当最小目标图像块块数为2块时会存在一定误差。在本实施例中，如果原始图像的数值范围是0-255，那么Dthr的取值范围为0-65025。Dthr一般不取很大的数，其取值大小与噪声的大小有关，本发明对Dthr的取值不做限制，对于小噪声，Dthr可以取1-10(该取值仅是一种可实现方式，例如还可以取1-20等)。
在一个可选的实施例中，基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理包括：使用向量表示所述第一图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第一矩阵，对所述第一矩阵进行中心化处理及矩阵变换处理，以得到第一变换域；使用向量表示所述第二图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第二矩阵，对所述第二矩阵进行中心化处理及矩阵变换处理，以得到第二变换域；基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像；基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪。在本实施例中，每个匹配块(对应于上述图像块)可以是方形的，先把方形的匹配块重新排列成向量，再将多个向量组合成矩阵(对应于上述第一矩阵、第二矩阵)，然后将该矩阵中心化处理及PCA处理，得到变换域。即可以使用向量来表示每一个图像块，即
其中，i是向量的序号，N×N标识元素的下标，即一个图像块的大小为N×N，则向量中具有N×N个元素，将其展开为一维向量，则元素的下标从1到N×N。组合成矩阵表示为X＝[X1X2…Xk]，其中，K为图像块的数量，对第一矩阵、第二矩阵进行中心化处理，多个向量的平均值
其中，
表示对图像块进行中心化，即对每个图像块均进行中心化处理，再使用PCA(Principal ComponentsAnalysis，主成分分析)求得变换矩阵，得到变换域(对应于上述第一变换域、第二变换域)
其中，P为变换矩阵的变换参数。
在一个可选的实施例中，基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像包括：判断所述第一图像中的各所述目标图像对应的第一变换域的值是否处于第一降噪阈值范围内；将第一变换域处于所述第一降噪阈值范围内的目标图像的第一变换域的值设为0，维持其他目标图像的第一变换域的值不变，以得到所述第一降噪图像。在本实施例中，对第一图像中的目标图像进行降噪，即对矩阵中的每个像素点进行独立判断，当第一变换域的值在第一降噪阈值范围内时，将第一变换域的值设为0，当第一变换域的值不在第一降噪阈值范围内时，第一变换域的值不变。当第一图像为红外图时，利用公式可以表示为
其中，DeNnir为降噪阈值，即第一降噪阈值范围可以为-DeNnir与DeNnir之间的范围，如果图像的值范围是0-255，则DeNnir最大值不会设置超过255，本发明对DeNnir不做限制。
在一个可选的实施例中，基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪包括：判断所述第二图像中的各所述目标图像对应的第二变换域的值与第一设定值的和是否处于第二降噪阈值范围内，其中，所述第一设定值为所述第一图像中对应的目标图像所对应的第一变换域与设定参数的乘积；将第二变换域与所述第一设定值的和处于所述第二降噪阈值范围内的目标图像的第二变换域设为0，维持其他目标图像的第二变换域的值不变，以得到所述第二降噪图像。在本实施例中，使用第一图像信息对第二图像中的目标图像进行降噪，当第二变换域的值与第一设定值的和在第二降噪阈值范围内时，将第二变换域的值设为0，当第二变换域的值与第一设定值的和不在第二降噪阈值范围内时，第二变换域的值不变。例如，当第一图像为红外线图像，第二图像为可见光图像时，利用公式可以表示为
降噪后的目标图像块为
其中，Sigma是外部配置的参数，一般在0-2之间(该取值仅是一种可实现的方式，具体可以根据红外和可见光的噪声大小确定，本发明对Sigma不做限制，例如，还可以取0-1，0-3等)，DeNvis为降噪阈值，即第二降噪阈值范围可以为-DeNvis与DeNvis之间的范围，如果图像的值范围是0-255，则DeNvis最大值不会设置超过255，本发明对DeNvis不做限制，u表示多个向量的平均值。
在一个可选的实施例中，基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪包括：将所述第二图像中的各所述目标图像对应的第二变换域的值与第二设定值的乘积作为所述目标图像的第二变换域，以得到所述第二降噪图像，其中，所述第二设定值为所述第一图像中对应的目标图像所对应方差和噪声参数的差与所述第一图像中对应的目标图像所对应方差的比值。在本实施例中，可以采用数值收缩的方法对目标图像进行降噪，例如，当第一图像为红外线图像，第二图像为可见光图像时，使用nir来导向vis数值收缩。具体含义是，如果nir的信号比较强，而噪声比较弱，那么数值收缩的就小。相反nir信号弱，而噪声大，那么数值收缩的就大。即可以利用公式
对第二图像中的目标图像进行降噪，降噪后的目标图像块为
其中，Ω(i)表示矩阵第i行像素的方差，等号前的
为降噪后的值，等号后的
为降噪前的值。σ2为噪声参数，σ2可以根据图像数据的位宽来定，最大值不超过P(i，i)，u表示多个向量的平均值。
在本实施例中，以第一图像为红外线图像，第二图像为可见光图像为例，采用阈值截断的方法来进行降噪，在可见光变换域上叠加红外变换域，能有效保护边缘，同时更加有效的压制平坦区噪点。采用红外变换域的数值大小，收缩可见光变换域数值来达到降噪的目的。
在一个可选的实施例中，对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像包括以下之一：采用确定方差值的方式对所述重叠区域进行组合以得到所述目标图像；采用确定平均值的方式对所述重叠区域进行组合以得到所述目标图像；采用中值滤波的方式所述重叠区域进行组合以得到所述目标图像；将所述重叠区域中包括的进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值进行比较，通过对选取进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值差距最小的值与未进行所述降噪处理前的图像块的值求平均来确定所述重叠区域的值，以得到所述目标图像。在本实施例中，对所有的块都降噪处理后，必然出现许多重叠的部分，因此，对重叠部分进行组合以得到目标图像，具体可以采用方差的方式对重叠区域进行组合，以第一图像为红外线图像，第二图像为可见光图像为例，计算公式可以为
其中，xij代表重叠的点进行融合后的值，i，j是图像的坐标，由于有多个降过噪的块，因此，会存在重叠，xk ij代表在坐标i，j上重叠的像素值。m表示重叠的像素个数，Dk表示所在对应块的方差。还可以采用平均的方法对重叠区域进行组合，以第一图像为红外图，第二图像为可见光图为例，计算公式可以为
另外，还可以采用中值滤波的方法对重叠区域进行组合，以第一图像为红外线图像，第二图像为可见光图像为例，计算公式可以
此外，还可以将降噪后的值和原始数据进行比较，选择其中和原始值比较接近的降噪值进行平均，即选择图像块降噪后和原始图像的像素值差距小于Bthr的值，将图像块降噪后和原始图像的像素值差距小于Bthr的值进行平均。以第一图像为红外图，第二图像为可见光图为例，计算公式可以为
其中，
v为降噪前图像的像素值，Bthr为外部配置的参数。
在一个可选的实施例中，在获取对目标场景进行拍摄后所得到的第一图像和第二图像之前，所述方法还包括：获取对目标场景进行拍摄后所得到的第三图像，其中，所述第三图像为包括至少两种颜色的可见光图像；将所述第三图像转换成至少两个所述第二图像，其中，不同的所述第二图像中包括有不同的单色；确定所述第一图像和所述第二图像中所述对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块包括：对于所述第一图像和任一个所述第二图像均执行以下操作：确定所述第一图像和所述第二图像中所述对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理包括：对于所述第一图像和任一个所述第二图像均执行以下操作：基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像包括：对于所述第一图像和任一个所述第二图像均执行以下操作：对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像；在得到所述目标图像之后，所述方法还包括：将得到的至少两个目标图像进行组合，以得到与所述第三图像对应的目标图像。在本实施例中，针对彩色图，可以简单的将灰度图像的降噪方法分别作用在彩色图的每个通道上，也可以RGB(Red Green Blue，红绿蓝)三个通道一起处理，或者转成YUV(LumaChroma，明亮度色度)三个通道一起处理。转成YUV，Y和UV通道降噪强度可以分开设置再转变成原来的模式，例如，如果原来是彩色RGB通道，那么就还原为彩色图像。或者在计算目标图像块差距时三个通道合并处理，计算方法可以是
其中，c表示RGB或者YUV通道。这样保证细节的同时，能够更加有效的滤除色噪。
在一个可选的实施例中，所述第一图像为红外线图像。在本实施例中，第一图像可以为红外线图像，还可以为其他频谱图。
下面结合具体实施例对图像降噪进行说明，以第一图像为红外线图像、第二图像为可见光图像为例，图像降噪系统结构图可参见附图5，如图5所示，该系统采用红外图来指导可见光降噪，适用于灰度图像和彩色图像，包括4个模块，分别是红外参考的块匹配模块52，最佳匹配块的选择模块54，红外参考的块降噪模块56，带权重的降噪块组合生成降噪后图像模块58。其中，红外参考的块降噪模块56每次只对匹配块(对应于上述图像块)降噪，可以通过窗口的方式，最终对所有图像块均进行降噪，即整张图像都降噪。采用参考红外信息的方式来进行块匹配，能够有效的减少误匹配。最佳匹配块的选择模块，自适应选择最佳匹配块数量，能够有效保护纹理边缘信息。使用参考红外信息对可见光进行降噪和带权重的降噪块组合生成降噪后图像模块，能够有效的保护纹理边缘信息。
灰度图像的降噪可以直接分为有4个模块。1)红外参考的块匹配模块，用来搜索相似块。红外线块和可见光块的差距做权重组合，并按照这个组合差距来进行排序。使用红外线块和可见光块的差距进行块匹配，能够有效减少误匹配。2)最佳匹配块的选择模块，使用阈值，百分比，阈值拷贝和累计方差变化来选取最佳的匹配块。能够有效调整平坦区和边缘区的降噪强度。有助于边缘保护。3)红外参考的块降噪模块，使用红外的信息来指导可见光降噪。4)带权重的降噪块组合生成降噪后图像模块，对每个降噪块都计算出一个权重，重叠的像素点按照这个权重组合，最终生成一张降完噪的图像。
针对彩色图，可以简单的将灰度图像的降噪方法分别作用在彩色图的每个通道上。也可以RGB三个通道一起处理，或者转成YUV三个通道一起处理。转成YUV，Y和UV通道降噪强度可以分开设置。这样保证细节的同时，能够更加有效的滤除色噪。
在前述实施例中，基于一张参考图像，对灰度图或者彩色图进行降噪，其中，参考图为红外图，但不仅仅只限于红外图，适用于其他任何频谱图。对灰度图或者彩色图进行降噪，但是也适用于其他任何频谱图。采用红外图作为参考来进行降噪，比单帧的降噪能更好的保护边缘，压制平坦区的噪声。使用红外的块差距融合到可见光块差距中，使可见光块匹配的误差减少，从而提高降噪后图像的质量。提出多种最佳匹配块的选择，提高了块匹配的精度。使用红外来指导可见光的降噪，能够有效保护可见光的纹理边缘。提出了多种降噪块的组合方法，能够有效保护可见光的纹理边缘，达到提高降噪效果的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像降噪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的图像降噪装置的结构框图，如图6所示，该装置包括：
获取模块62，用于获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
确定模块64，用于确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
降噪模块66，用于基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
组合模块68，用于对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
其中，所述确定模块64对应于上述红外参考的块匹配模块及最佳匹配块的选择模块，所述降噪模块66对应于上述红外参考的块降噪模块，所述组合模块68对应于上述带权重的降噪块组合生成降噪后图像模块。
在一个可选的实施例中，所述确定模块64可以通过以下方式实现确定所述第一图像和所述第二图像中对应图像块的差距信息包括：确定所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距；基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，确定所述第一图像和所述第二图像中所述对应图像块的差距融合权重值，其中，所述差距信息包括所述差距融合权重值。
在一个可选的实施例中，所述确定模块64可以通过以下至少之一实现确定所述第一图像和所述第二图像中对应图像块的差距融合权重值：基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中所述对应图像块的方差以确定所述差距融合权重值；基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中所述对应图像块的块差距平均值以确定所述差距融合权重值；确定所述第一图像和所述第二图像中对应图像块的亮度值，基于确定出的亮度值以及所述第一图像和所述第二图像中所述对应图像块的块差距确定所述差距融合权重值。
在一个可选的实施例中，所述确定模块64可以通过以下方式实现基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块：对所述第一图像和所述第二图像中所述对应图像块按照差距信息由小到大的顺序进行排序；通过如下方式之一从排序后的所述对应图像块中确定出所述目标图像块：按顺序选取预定数量的所述对应图像块作为所述目标图像块；按顺序选取预定比例的所述对应图像块作为所述目标图像块；将差距信息小于第一阈值的所述对应图像块确定为所述目标图像块；按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块；基于所述对应图像块的累计方差变化选取所述目标图像块。
在一个可选的实施例中，所述确定模块64可以通过以下方式实现按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块：确定与差距信息小于第二阈值的所述对应图像块中包括的各对应图像块的差距信息对应的复制份数，其中，差距信息越小对应的复制份数越大；按照确定的复制份数对差距信息小于第二阈值的所述对应图像块中包括的各对应图像块进行复制；对复制后的对应图像块按照从小到达的顺序进行排序，以得到所述目标图像块。
在一个可选的实施例中，所述确定模块64可以通过以下方式实现基于所述对应图像块的累计方差变化选取所述目标图像块：按顺序选取目标数量的所述对应图像块，并计算所述目标数量的所述对应图像块的第一方差，其中，所述目标数量为预先确定的最小匹配数；按顺序选取目标数量加一的所述对应图像块，并计算所述目标数量加一的所述对应图像块的第二方差；在确定所述第一方差和所述第二方差的差距大于或等于预定差距值时，将所述目标数量的所述对应图像块确定为所述目标图像块；在确定所述第一方差和所述第二方差的差距小于所述预定阈值时，重复执行选取比前一次选取数量多一个的对应图像块，直到后选取出的所述对应图像块的方差与前一次选取出的所述对应图像块的方差的差值大于或等于所述预定差距值位置，并将前一次选取出的所述对应图像块确定为所述目标图像块。
在一个可选的实施例中，所述降噪模块66可以通过以下方式实现基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理：使用向量表示所述第一图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第一矩阵，对所述第一矩阵进行中心化处理及矩阵变换处理，以得到第一变换域；使用向量表示所述第二图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第二矩阵，对所述第二矩阵进行中心化处理及矩阵变换处理，以得到第二变换域；基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像；基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪。
在一个可选的实施例中，所述降噪模块66可以通过以下方式实现基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像：判断所述第一图像中的各所述目标图像对应的第一变换域的值是否处于第一降噪阈值范围内；将第一变换域处于所述第一降噪阈值范围内的目标图像的第一变换域的值设为0，维持其他目标图像的第一变换域的值不变，以得到所述第一降噪图像。
在一个可选的实施例中，所述降噪模块66可以通过以下方式实现基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪：判断所述第二图像中的各所述目标图像对应的第二变换域的值与第一设定值的和是否处于第二降噪阈值范围内，其中，所述第一设定值为所述第一图像中对应的目标图像所对应的第一变换域与设定参数的乘积；将第二变换域与所述第一设定值的和处于所述第二降噪阈值范围内的目标图像的第二变换域设为0，维持其他目标图像的第二变换域的值不变，以得到所述第二降噪图像。
在一个可选的实施例中，所述降噪模块66还可以通过以下方式实现基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪：将所述第二图像中的各所述目标图像对应的第二变换域的值与第二设定值的乘积作为所述目标图像的第二变换域，以得到所述第二降噪图像，其中，所述第二设定值为所述第一图像中对应的目标图像所对应方差和噪声参数的差与所述第一图像中对应的目标图像所对应方差的比值。
在一个可选的实施例中，所述组合模块68可以通过以下至少之一实现对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像：采用确定方差值的方式对所述重叠区域进行组合以得到所述目标图像；采用确定平均值的方式对所述重叠区域进行组合以得到所述目标图像；采用中值滤波的方式所述重叠区域进行组合以得到所述目标图像；将所述重叠区域中包括的进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值进行比较，通过对选取进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值差距最小的值与未进行所述降噪处理前的图像块的值求平均来确定所述重叠区域的值，以得到所述目标图像。
在一个可选的实施例中，所述装置还可以用于在获取对目标场景进行拍摄后所得到的第一图像和第二图像之前，获取对目标场景进行拍摄后所得到的第三图像，其中，所述第三图像为包括至少两种颜色的可见光图像；将所述第三图像转换成至少两个所述第二图像，其中，不同的所述第二图像中包括有不同的单色；确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块包括：对于所述第一图像和任一个所述第二图像均执行以下操作：确定所述第一图像和所述第二图像中所述对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理包括：对于所述第一图像和任一个所述第二图像均执行以下操作：基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像包括：对于所述第一图像和任一个所述第二图像均执行以下操作：对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像；在得到所述目标图像之后，所述方法还包括：将得到的至少两个目标图像进行组合，以得到与所述第三图像对应的目标图像。
在一个可选的实施例中，所述第一图像为红外线图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
S2，确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
S3，基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
S4，对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
S2，确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
S3，基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
S4，对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种图像降噪方法，其特征在于，包括：
获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
2.根据权利要求1所述的方法，其特征在于，确定所述第一图像和所述第二图像中对应图像块的差距信息包括：
确定所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距；
基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，确定所述第一图像和所述第二图像中所述对应图像块的差距融合权重值，其中，所述差距信息包括所述差距融合权重值。
3.根据权利要求2所述的方法，其特征在于，确定所述第一图像和所述第二图像中对应图像块的差距融合权重值包括以下至少之一：
基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中所述对应图像块的方差以确定所述差距融合权重值；
基于所述第一图像中各图像块的块差距以及所述第二图像中各图像块的块差距，计算所述第一图像和所述第二图像中所述对应图像块的块差距平均值以确定所述差距融合权重值；
确定所述第一图像和所述第二图像中所述对应图像块的亮度值，基于确定出的亮度值以及所述第一图像和所述第二图像中所述对应图像块的块差距确定所述差距融合权重值。
4.根据权利要求1所述的方法，其特征在于，基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块包括：
对所述第一图像和所述第二图像中所述对应图像块按照差距信息由小到大的顺序进行排序；
通过如下方式之一从排序后的所述对应图像块中确定出所述目标图像块：
按顺序选取预定数量的所述对应图像块作为所述目标图像块；
按顺序选取预定比例的所述对应图像块作为所述目标图像块；
将差距信息小于第一阈值的所述对应图像块确定为所述目标图像块；
按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块；
基于所述对应图像块的累计方差变化选取所述目标图像块。
5.根据权利要求4所述的方法，其特征在于，按顺序将差距信息小于第二阈值的所述对应图像块中包括的各对应图像块按照预定复制份数进行复制，基于复制结果确定所述目标图像块包括：
确定与差距信息小于第二阈值的所述对应图像块中包括的各对应图像块的差距信息对应的复制份数，其中，差距信息越小对应的复制份数越大；
按照确定的复制份数对差距信息小于第二阈值的所述对应图像块中包括的各对应图像块进行复制；
对复制后的所述对应图像块按照从小到达的顺序进行排序，以得到所述目标图像块。
6.根据权利要求4所述的方法，其特征在于，基于所述对应图像块的累计方差变化选取所述目标图像块包括：
按顺序选取目标数量的所述对应图像块，并计算所述目标数量的所述对应图像块的第一方差，其中，所述目标数量为预先确定的最小匹配数；
按顺序选取目标数量加一的所述对应图像块，并计算所述目标数量加一的所述对应图像块的第二方差；
在确定所述第一方差和所述第二方差的差距大于或等于预定差距值时，将所述目标数量的所述对应图像块确定为所述目标图像块；
在确定所述第一方差和所述第二方差的差距小于所述预定阈值时，重复执行选取比前一次选取数量多一个的所述对应图像块，直到后选取出的所述对应图像块的方差与前一次选取出的所述对应图像块的方差的差值大于或等于所述预定差距值位置，并将前一次选取出的所述对应图像块确定为所述目标图像块。
7.根据权利要求1所述的方法，其特征在于，基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理包括：
使用向量表示所述第一图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第一矩阵，对所述第一矩阵进行中心化处理及矩阵变换处理，以得到第一变换域；
使用向量表示所述第二图像中的所述目标图像中包括的每一个图像块，将向量表示的各图像块组成第二矩阵，对所述第二矩阵进行中心化处理及矩阵变换处理，以得到第二变换域；
基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像；
基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪。
8.根据权利要求7所述的方法，其特征在于，基于所述第一变换域对所述第一图像中的所述目标图像进行降噪，以得到第一降噪图像包括：
判断所述第一图像中的各所述目标图像对应的第一变换域的值是否处于第一降噪阈值范围内；
将第一变换域处于所述第一降噪阈值范围内的目标图像的第一变换域的值设为0，维持其他目标图像的第一变换域的值不变，以得到所述第一降噪图像。
9.根据权利要求8所述的方法，其特征在于，基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪包括：
判断所述第二图像中的各所述目标图像对应的第二变换域的值与第一设定值的和是否处于第二降噪阈值范围内，其中，所述第一设定值为所述第一图像中对应的目标图像所对应的第一变换域与设定参数的乘积；
将第二变换域与所述第一设定值的和处于所述第二降噪阈值范围内的目标图像的第二变换域设为0，维持其他目标图像的第二变换域的值不变，以得到所述第二降噪图像。
10.根据权利要求8所述的方法，其特征在于，基于所述第二变换域以及所述第一降噪图像对所述第二图像中的所述目标图像进行降噪包括：
将所述第二图像中的各所述目标图像对应的第二变换域的值与第二设定值的乘积作为所述目标图像的第二变换域，以得到所述第二降噪图像，其中，所述第二设定值为所述第一图像中对应的目标图像所对应方差和噪声参数的差与所述第一图像中对应的目标图像所对应方差的比值。
11.根据权利要求1所述的方法，其特征在于，对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像包括以下之一：
采用确定方差值的方式对所述重叠区域进行组合以得到所述目标图像；
采用确定平均值的方式对所述重叠区域进行组合以得到所述目标图像；
采用中值滤波的方式所述重叠区域进行组合以得到所述目标图像；
将所述重叠区域中包括的进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值进行比较，通过对选取进行了所述降噪处理后的图像块的值与未进行所述降噪处理前的图像块的值差距最小的值与未进行所述降噪处理前的图像块的值求平均来确定所述重叠区域的值，以得到所述目标图像。
12.根据权利要求1所述的方法，其特征在于，
在获取对目标场景进行拍摄后所得到的第一图像和第二图像之前，所述方法还包括：获取对目标场景进行拍摄后所得到的第三图像，其中，所述第三图像为包括至少两种颜色的可见光图像；将所述第三图像转换成至少两个所述第二图像，其中，不同的所述第二图像中包括有不同的单色；
确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块包括：对于所述第一图像和任一个所述第二图像均执行以下操作：确定所述第一图像和所述第二图像中所述对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理包括：对于所述第一图像和任一个所述第二图像均执行以下操作：基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像包括：对于所述第一图像和任一个所述第二图像均执行以下操作：对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像；
在得到所述目标图像之后，所述方法还包括：将得到的至少两个目标图像进行组合，以得到与所述第三图像对应的目标图像。
13.根据权利要求1至12中任一项所述的方法，其特征在于，所述第一图像为红外线图像。
14.一种图像降噪装置，其特征在于，包括：
获取模块，用于获取对目标场景进行拍摄后所得到的第一图像和第二图像，其中，所述第一图像为预定频谱的不可见光图像，所述第二图像为包括预定单色的可见光图像；
确定模块，用于确定所述第一图像和所述第二图像中对应图像块的差距信息，并基于所述对应图像块的差距信息确定出所述第一图像和所述第二图像之间对应的且满足预定条件的目标图像块；
降噪模块，用于基于所述第一图像中的所述目标图像块对所述第二图像中的所述目标图像块进行降噪处理；
组合模块，用于对降噪处理后的所述第二图像中的重叠区域进行组合以得到目标图像。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至13任一项中所述的方法。
16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至13任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858746.1A CN111968057A (zh) | 2020-08-24 | 2020-08-24 | 图像降噪方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010858746.1A CN111968057A (zh) | 2020-08-24 | 2020-08-24 | 图像降噪方法、装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111968057A true CN111968057A (zh) | 2020-11-20 |
Family
ID=73390165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010858746.1A Pending CN111968057A (zh) | 2020-08-24 | 2020-08-24 | 图像降噪方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968057A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950502A (zh) * | 2021-02-26 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113191965A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
| CN113593145A (zh) * | 2021-07-28 | 2021-11-02 | 车航道(吉林)科技有限公司 | 一种基于门禁设备的智能缴费系统 |
| CN116012265A (zh) * | 2023-03-28 | 2023-04-25 | 国科天成科技股份有限公司 | 基于时空域自适应滤波的红外视频降噪方法和装置 |
| CN116391202A (zh) * | 2022-08-11 | 2023-07-04 | 上海玄戒技术有限公司 | 图像降噪方法、装置及芯片 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150248590A1 (en) * | 2014-03-03 | 2015-09-03 | Xerox Corporation | Method and apparatus for processing image of scene of interest |
| CN106529508A (zh) * | 2016-12-07 | 2017-03-22 | 西安电子科技大学 | 基于局部和非局部多特征语义高光谱图像分类方法 |
| CN106780369A (zh) * | 2016-11-28 | 2017-05-31 | 江苏宇迪光学股份有限公司 | 一种可见近红外宽波段图像噪声抑制方法 |
| CN109461168A (zh) * | 2018-10-15 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 目标对象的识别方法和装置、存储介质、电子装置 |
| CN110211082A (zh) * | 2019-05-31 | 2019-09-06 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
| CN110493532A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| CN110738166A (zh) * | 2019-10-14 | 2020-01-31 | 西南大学 | 基于PCNN和PCANet的渔政监控系统红外目标识别方法及存储介质 |
-
2020
- 2020-08-24 CN CN202010858746.1A patent/CN111968057A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150248590A1 (en) * | 2014-03-03 | 2015-09-03 | Xerox Corporation | Method and apparatus for processing image of scene of interest |
| CN106780369A (zh) * | 2016-11-28 | 2017-05-31 | 江苏宇迪光学股份有限公司 | 一种可见近红外宽波段图像噪声抑制方法 |
| CN106529508A (zh) * | 2016-12-07 | 2017-03-22 | 西安电子科技大学 | 基于局部和非局部多特征语义高光谱图像分类方法 |
| CN109461168A (zh) * | 2018-10-15 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 目标对象的识别方法和装置、存储介质、电子装置 |
| CN110493532A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| CN110211082A (zh) * | 2019-05-31 | 2019-09-06 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
| CN110738166A (zh) * | 2019-10-14 | 2020-01-31 | 西南大学 | 基于PCNN和PCANet的渔政监控系统红外目标识别方法及存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950502A (zh) * | 2021-02-26 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| WO2022179251A1 (zh) * | 2021-02-26 | 2022-09-01 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN112950502B (zh) * | 2021-02-26 | 2024-02-13 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113191965A (zh) * | 2021-04-14 | 2021-07-30 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
| CN113191965B (zh) * | 2021-04-14 | 2022-08-09 | 浙江大华技术股份有限公司 | 图像降噪方法、设备及计算机存储介质 |
| CN113593145A (zh) * | 2021-07-28 | 2021-11-02 | 车航道(吉林)科技有限公司 | 一种基于门禁设备的智能缴费系统 |
| CN116391202A (zh) * | 2022-08-11 | 2023-07-04 | 上海玄戒技术有限公司 | 图像降噪方法、装置及芯片 |
| CN116391202B (zh) * | 2022-08-11 | 2024-03-08 | 上海玄戒技术有限公司 | 图像降噪方法、装置及芯片 |
| CN116012265A (zh) * | 2023-03-28 | 2023-04-25 | 国科天成科技股份有限公司 | 基于时空域自适应滤波的红外视频降噪方法和装置 |
| CN116012265B (zh) * | 2023-03-28 | 2023-05-16 | 国科天成科技股份有限公司 | 基于时空域自适应滤波的红外视频降噪方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968057A (zh) | 图像降噪方法、装置、存储介质及电子装置 | |
| Bai et al. | Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion | |
| Galdran et al. | On the duality between retinex and image dehazing | |
| US6807300B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| US8965141B2 (en) | Image filtering based on structural information | |
| CN109658330B (zh) | 一种发色调整方法及装置 | |
| CN109214996B (zh) | 一种图像处理方法及装置 | |
| Vazquez-Corral et al. | A fast image dehazing method that does not introduce color artifacts | |
| JPWO2008093835A1 (ja) | 画像処理方法 | |
| CN110390643A (zh) | 一种车牌增强方法、装置及电子设备 | |
| Gao et al. | A novel UAV sensing image defogging method | |
| Zhang et al. | Image dehazing based on dark channel prior and brightness enhancement for agricultural remote sensing images from consumer-grade cameras | |
| Das et al. | A comparative study of single image fog removal methods | |
| CN113012061A (zh) | 降噪处理方法、装置及电子设备 | |
| CN113612996A (zh) | 一种基于时域滤波的视频降噪的方法及装置 | |
| CN116681606A (zh) | 一种水下不均匀光照图像增强方法、系统、设备及介质 | |
| CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
| CN111882565A (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| US11501404B2 (en) | Method and system for data processing | |
| Zhang et al. | Image fusion for a digital camera application | |
| WO2023215371A1 (en) | System and method for perceptually optimized image denoising and restoration | |
| CN111311610A (zh) | 图像分割的方法及终端设备 | |
| CN112334942A (zh) | 图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |