CN115205181A - 一种多聚焦图像融合方法、装置、电子设备及存储介质 - Google Patents
一种多聚焦图像融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115205181A CN115205181A CN202211121718.7A CN202211121718A CN115205181A CN 115205181 A CN115205181 A CN 115205181A CN 202211121718 A CN202211121718 A CN 202211121718A CN 115205181 A CN115205181 A CN 115205181A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- frequency
- source image
- different scales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像融合技术领域，具体提供了一种多聚焦图像融合方法、装置、电子设备及存储介质，该方法包括步骤：根据源图像、缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取不同尺度的差图；对所有差图进行焦点测量，以获取多个第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图；对第三结构显著图和第四结构显著图进行上采样操作；基于优势集成策略根据第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图生成第一决策图；根据第一决策图融合第一源图像和第二源图像以生成融合图像；该方法能够有效地提高图像融合的质量。
Description
技术领域
本申请涉及图像融合技术领域，具体而言，涉及一种多聚焦图像融合方法、装置、电子设备及存储介质。
背景技术
图像融合是用特定的算法将两幅图像融合成一幅新的图像，由于图像融合能利用两幅图像在时空上的相关性及信息上的互补性，因此图像融合得到的图像能更全面、清晰地反映拍摄场景。为了提高图像分析的准确度，现有技术一般通过多聚焦图像融合技术对源图像进行处理。
现有的多聚焦图像融合技术一般采用基于空间域的方法在空间域中直接处理源图像，但由于基于空间域的方法仅在单一尺度上对源图像进行处理，因此该方法在焦点测量时不能准确检测聚焦区域和聚焦边界，从而导致图像融合的质量下降。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种多聚焦图像融合方法、装置、电子设备及存储介质，能够有效地提高图像融合的质量。
第一方面，本申请提供了一种多聚焦图像融合方法，用于融合多聚焦的第一源图像和第二源图像，其包括以下步骤：
对上述第一源图像和上述第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
基于多尺度引导滤波分别分解上述第一源图像、上述第二源图像、上述第一缩小图像和上述第二缩小图像，以获取多个与上述第一源图像对应的不同尺度的第一低频图像、多个与上述第二源图像对应的不同尺度的第二低频图像、多个与上述第一缩小图像对应的不同尺度的第三低频图像和多个与上述第二缩小图像对应的不同尺度的第四低频图像；
根据上述第一源图像、上述第二源图像、上述第一缩小图像、上述第二缩小图像、上述第一低频图像、上述第二低频图像、上述第三低频图像和上述第四低频图像获取多个不同尺度的差图；
对所有差图进行焦点测量，以获取多个与上述第一源图像对应的不同尺度的第一结构显著图、多个与上述第二源图像对应的不同尺度的第二结构显著图、多个与上述第一缩小图像对应的不同尺度的第三结构显著图和多个与上述第二缩小图像对应的不同尺度的第四结构显著图；
对上述第三结构显著图和上述第四结构显著图进行上采样操作，以使上述第三结构显著图的大小和上述第四结构显著图的大小与上述第一结构显著图的大小相同；
基于优势集成策略根据上述第一结构显著图、上述第二结构显著图、上述第三结构显著图和上述第四结构显著图生成第一决策图；
根据上述第一决策图融合上述第一源图像和上述第二源图像以生成融合图像。
本申请提供的一种多聚焦图像融合方法，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该方法在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
可选地，上述根据上述第一决策图融合上述第一源图像和上述第二源图像以生成融合图像的步骤包括：
利用填充过滤器过滤上述第一决策图；
将上述第一源图像作为引导滤波的引导图像，将与上述源图像对应的过滤后的第一决策图作为输入图像，基于引导滤波获取第二决策图；
基于一致性操作根据上述第二决策图生成第三决策图；
根据上述第三决策图融合上述第一源图像和上述第二源图像以生成融合图像。
由于对第一决策图执行过滤、引导滤波和一致性操作的步骤能纠正第一决策图中出现错误的像素点，因此该技术方案能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
可选地，上述一致性操作的步骤包括：
以上述第二决策图中的一像素点为中心，对预设图形内的所有像素点进行求和以生成第一求和结果，若上述第一求和结果大于上述预设图形的面积的一半，则将该像素点对应的像素值修正为1；若上述第一求和结果小于等于上述预设图形的面积的一半，则将该像素点对应的像素值修正为0。
可选地，上述根据上述第一源图像、上述第二源图像、上述第一缩小图像、上述第二缩小图像、上述第一低频图像、上述第二低频图像、上述第三低频图像和上述第四低频图像获取多个不同尺度的差图的步骤包括：
根据上述第一源图像和上述第一低频图像获取多个不同尺度的第一差图；
根据上述第二源图像和上述第二低频图像获取多个不同尺度的第二差图；
根据上述第一缩小图像和上述第三低频图像获取多个不同尺度的第三差图；
根据上述第二缩小图像和上述第四低频图像获取多个不同尺度的第四差图。
可选地，上述根据上述第一源图像、上述第二源图像、上述第一缩小图像、上述第二缩小图像、上述第一低频图像、上述第二低频图像、上述第三低频图像和上述第四低频图像获取多个不同尺度的差图的步骤包括：
根据上述第一源图像和上述第二低频图像获取多个不同尺度的第一差图；
根据上述第二源图像和上述第一低频图像获取多个不同尺度的第二差图；
根据上述第一缩小图像和上述第四低频图像获取多个不同尺度的第三差图；
根据上述第二缩小图像和上述第三低频图像获取多个不同尺度的第四差图。
该技术方案利用一源图像和另一源图像对应的低频图像获取不同尺度的差图，并利用一缩小图像和另一缩小图像对应的低频图像获取不同尺度的差图，由于一源图像和另一源图像对应的低频图像具有不同的聚焦区域，一缩小图像和另一缩小图像对应的低频图像也具有不同的聚焦区域，因此该技术方案获取到的差图中的结构信息更明显，从而进一步地提高焦点测量时检测聚焦区域和聚焦边界的准确度。
可选地，上述基于优势集成策略根据上述第一结构显著图、上述第二结构显著图、上述第三结构显著图和上述第四结构显著图生成第一决策图的步骤包括：
基于优势集成策略根据上述第一结构显著图和上述第二结构显著图生成第一多尺度决策图；
基于优势集成策略根据上述第三结构显著图和上述第四结构显著图生成第二多尺度决策图；
根据上述第一多尺度决策图和上述第二多尺度决策图生成第一决策图。
可选地，上述多尺度引导滤波的引导图像与输入图像相同，上述引导图像为上述第一源图像、第二源图像、第一缩小图像或上述第二缩小图像。
第二方面，本申请还提供了一种多聚焦图像融合装置，用于融合多聚焦的第一源图像和第二源图像，其包括以下模块：
下采样模块，用于对上述第一源图像和上述第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
多尺度引导滤波模块，用于基于多尺度引导滤波分别分解上述第一源图像、上述第二源图像、上述第一缩小图像和上述第二缩小图像，以获取多个与上述第一源图像对应的不同尺度的第一低频图像、多个与上述第二源图像对应的不同尺度的第二低频图像、多个与上述第一缩小图像对应的不同尺度的第三低频图像和多个与上述第二缩小图像对应的不同尺度的第四低频图像；
差图生成模块，用于根据上述第一源图像、上述第二源图像、上述第一缩小图像、上述第二缩小图像、上述第一低频图像、上述第二低频图像、上述第三低频图像和上述第四低频图像获取多个不同尺度的差图；
结构显著图生成模块，用于对所有差图进行焦点测量，以获取多个与上述第一源图像对应的不同尺度的第一结构显著图、多个与上述第二源图像对应的不同尺度的第二结构显著图、多个与上述第一缩小图像对应的不同尺度的第三结构显著图和多个与上述第二缩小图像对应的不同尺度的第四结构显著图；
上采样模块，用于对上述第三结构显著图和上述第四结构显著图进行上采样操作，以使上述第三结构显著图的大小和上述第四结构显著图的大小与上述第一结构显著图的大小相同；
第一决策图生成模块，用于基于优势集成策略根据上述第一结构显著图、上述第二结构显著图、上述第三结构显著图和上述第四结构显著图生成第一决策图；
融合图像生成模块，用于根据上述第一决策图融合上述第一源图像和上述第二源图像以生成融合图像。
本申请提供的一种多聚焦图像融合装置，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该装置通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该装置在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，上述存储器存储有计算机可读取指令，当上述计算机可读取指令由上述处理器执行时，运行如上述第一方面提供的方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时运行如上述第一方面提供的方法中的步骤。
由上可知，本申请提供的一种多聚焦图像融合方法、装置、电子设备及存储介质，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该方法在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
附图说明
图1为本申请实施例提供的一种多聚焦图像融合方法的流程图。
图2为本申请实施例提供的一种第一源图像和第二源图像。
图3为本申请实施例提供的一种多聚焦图像融合装置的结构示意图。
图4为本申请实施例提供的一种电子设备的结构示意图。
附图标记：1、下采样模块；2、多尺度引导滤波模块；3、差图生成模块；4、结构显著图生成模块；5、上采样模块；6、第一决策图生成模块；7、融合图像生成模块；801、处理器；802、存储器；803、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，如图1和图2所示，本申请提供了一种多聚焦图像融合方法，用于融合多聚焦的第一源图像和第二源图像，其包括以下步骤：
S1、对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
S2、基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个与第一源图像对应的不同尺度的第一低频图像、多个与第二源图像对应的不同尺度的第二低频图像、多个与第一缩小图像对应的不同尺度的第三低频图像和多个与第二缩小图像对应的不同尺度的第四低频图像；
S3、根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图；
S4、对所有差图进行焦点测量，以获取多个与第一源图像对应的不同尺度的第一结构显著图、多个与第二源图像对应的不同尺度的第二结构显著图、多个与第一缩小图像对应的不同尺度的第三结构显著图和多个与第二缩小图像对应的不同尺度的第四结构显著图；
S5、对第三结构显著图和第四结构显著图进行上采样操作，以使第三结构显著图的大小和第四结构显著图的大小与第一结构显著图的大小相同；
S6、基于优势集成策略根据第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图生成第一决策图；
S7、根据第一决策图融合第一源图像和第二源图像以生成融合图像。
其中，第一源图像和第二源图像的拍摄对象相同，第一源图像和第二源图像具有不同的聚焦区域，以图2为例，图2中的左图为第一源图像，图2中的右图为第二源图像，第一源图像和第二源图像的拍摄对象相同，第一源图像的聚焦区域为高尔夫旗帜，第二源图像的聚焦区域为高尔夫球球员。步骤S1的下采样操作为现有技术，其相当于缩小源图像，步骤S1对第一源图像进行下采样操作获取第一缩小图像，并对第二源图像进行下采样操作获取第二缩小图像。
步骤S2的基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像实质为分别利用引导滤波器对第一源图像、第二源图像、第一缩小图像和第二缩小图像进行分解，以获取多个不同尺度的第一低频图像、多个不同尺度的第二低频图像、多个不同尺度的第三低频图像和多个不同尺度的第四低频图像。具体地，步骤S2的分解过程如式（1）所示：
其中，GuideFilter（I，p，r，ε）为引导滤波器，参数I为引导滤波器的引导图像，参数p为引导滤波器的输入图像，参数r为引导滤波器的空间权重，参数ε为引导滤波器的范围权重。
表示与第一源图像对应的第k个尺度的第一低频图像，
表示与第二源图像对应的第k个尺度的第二低频图像，
表示与第一缩小图像对应的第k个尺度的第三低频图像，
表示与第二缩小图像对应的第k个尺度的第四低频图像，IA表示第一源图像，IB表示第二源图像，
表示第一缩小图像，
表示第二缩小图像。由于引导滤波器的引导图像与输入图像相同，因此该实施的多尺度引导滤波可被视为边缘保持平滑算子。该实施例的r优选为15，该实施例的ε优选为3。应当理解的是，由于尺度与模糊程度相关联，因此步骤S2获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像相当于获取多个不同模糊程度的第一源图像、第二源图像、第一缩小图像和第二缩小图像。
步骤S3的工作流程为：1.利用第一源图像减去第一低频图像或第二低频图像获取多个不同尺度的第一差图；2.利用第二源图像减去第一低频图像或第二低频图像获取多个不同尺度的第二差图；3、利用第三缩小图像减去第三低频图像或第四低频图像获取多个不同尺度的第三差图；4、利用第四缩小图像减去第三低频图像或第四低频图像获取多个不同尺度的第四差图。
在获取到不同尺度的差图后，步骤S4利用现有的焦点测量算法或模型对所有差图进行焦点测量，以获取多个与第一源图像对应的不同尺度的第一结构显著图、多个与第二源图像对应的不同尺度的第二结构显著图、多个与第一缩小图像对应的不同尺度的第三结构显著图和多个与第二缩小图像对应的不同尺度的第四结构显著图。优选地，步骤S4利用拉普拉斯能量对所有差图进行焦点测量，拉普拉斯能量最大的像素点即为焦点，其公式如式（2）所示：
其中，IA表示第一源图像，IB表示第二源图像，
表示第一缩小图像，
表示第二缩小图像，
为与第一源图像对应的第k个尺度的第一结构显著图，
为与第二源图像对应的第k个尺度的第二结构显著图，
为与第一缩小图像对应的第k个尺度的第三结构显著图，
为与第二缩小图像对应的第k个尺度的第四结构显著图，H为均值滤波器，
表示卷积，
表示拉普拉斯运算符，
表示第k个尺度的第一差图，
表示第k个尺度的第二差图，
表示第k个尺度的第三差图，
表示第k个尺度的第四差图。该实施例的均值滤波器优选为尺寸为5像素*5像素的高斯滤波器。
由于在生成第一决策图时需要对大小一致的结构显著图进行比较，第一结构显著图的大小与第二结构显著图的大小相同，第三结构显著图的大小与第四结构显著图的大小相同，而第一结构显著图的大小与第三结构显著图的大小不同，因此步骤S5需要分别对所有第三结构显著图和所有第四结构显著图进行上采样操作，以使第三结构显著图的大小和第四结构显著图的大小与第一结构显著图的大小相同。步骤S5的上采样操作为现有技术，其相当于放大第三结构显著图和第四结构显著图。
步骤S6先基于优势集成策略从所有第一结构显著图和所有第二结构显著图获取显著的第一结构特征，然后基于优势集成策略从所有第三结构显著图和所有第四结构显著图获取显著的第二结构特征，最后根据第一结构特征和第二结构特征生成第一决策图。第一决策图综合了第一结构特征和第二结构特征的优势，因此步骤S6生成的第一决策图能够更准确地反映聚焦区域和聚焦边界。应当理解的是，步骤S6生成的第一决策图为二值图（即黑白图像），若第一决策图中的一像素点为黑色，则该像素点的像素值为0；若第一决策图中的一像素点为白色，则该像素点的像素值为1。
步骤S7根据第一决策图融合第一源图像和第二源图像的过程为：1.根据第一决策图分别从第一源图像或第二源图像中提取多个融合像素点；2.根据所有融合像素点生成融合图像。步骤2根据所有融合像素点生成融合图像属于现有技术，此处不再进行详细论述。具体地，步骤1获取一个融合像素点的计算公式如式（3）所示：
其中，F（x，y）表示坐标为（x，y）的融合像素点，IM（x，y）表示第一决策图在坐标为（x，y）的像素点的像素值，IA为第一源图像，IB为第二源图像。
该实施例的工作原理为：该方法根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，由于差图能反映第一源图像、第二源图像、第一缩小图像和第二缩小图像中图像强度剧烈变化的地方（即图像剧烈变化处），图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式对图像强度剧烈变化处的细节进行补充，因此该方法对所有差图进行焦点测量时能更准确地检测聚焦区域和聚焦边界，也即第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图能更准确地反映聚焦区域和聚焦边界，且该方法基于优势集成策略根据第一结构显著图、第二结构显著、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于该第一决策图综合了第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图的优势，因此第一决策图能够更准确地反映聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
本申请提供的一种多聚焦图像融合方法，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该方法在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
在一些实施例中，步骤S7包括：
S71、利用填充过滤器过滤第一决策图；
S72、将第一源图像作为引导滤波的引导图像，将第一决策图作为输入图像，基于引导滤波获取第二决策图；
S73、基于一致性操作根据第二决策图生成第三决策图；
S74、根据第三决策图融合第一源图像和第二源图像以生成融合图像。
步骤S71利用现有的填充过滤器过滤第一决策图以消除第一决策图中小于预设面积的区域，预设面积为预设值，预设面积优选为0.02与第一源图像的面积的乘积，填充过滤器优选为matlab的bwareaopen函数。具体地，步骤S71利用bwareaopen函数过滤第一决策图的公式如式（4）所示：
其中，bewareapen（BW，p）为bwareaopen函数，该函数的参数BW为输入图像，参数p为面积，该函数用于去除BW中面积小于p的区域，
表示过滤后的第一决策图，IM表示第一决策图，th表示预设面积。
步骤S72基于引导滤波对第一决策图进行处理以获取第二决策图，其中，引导滤波的引导图像为第一源图像或第二源图像，引导滤波的输入图像为经过填充滤波器过滤的第一决策图，该实施例的引导图像优选为第一源图像。具体地，步骤S72的公式如式（5）所示：
其中，GuideFilter（I，p，r，ε）为引导滤波器，I为引导滤波器的引导图像，p为引导滤波器的输入图像，r为引导滤波器的空间权重，ε为引导滤波器的范围权重。FIM表示第二决策图，IA表示第一源图像，
表示过滤后的第一决策图。该实施例的r优选为5，该实施例的ε优选为0.3。应当理解的是，步骤S72获取的第二决策图也为二值图。
步骤S73基于一致性操作对第二决策图中的所有像素点进行验证以消除过滤后的第二决策图中出现错误的像素点，第三决策图为对第二决策图进行一致性操作后得到的决策图。
步骤S74根据第三决策图融合第一源图像和第二源图像以生成融合图像的过程为：1.根据第三决策图从第一源图像或第二源图像中提取多个融合像素点；2.根据所有像素点生成融合图像。步骤2根据所有融合像素点生成融合图像属于现有技术，此处不再进行详细论述。具体地，步骤1中获取一个融合像素点的计算公式如式（6）所示：
其中，F（x，y）表示坐标为（x，y）的融合像素点，FM（x，y）表示第三决策图在坐标为（x，y）的像素点的像素值，IA为第一源图像，IB为第二源图像。
由于对第一决策图执行过滤、引导滤波和一致性操作的步骤能纠正第一决策图中出现错误的像素点，因此该实施例能够进一步地提高检测聚焦区域和聚焦边界的准确度，进而进一步地提高图像融合的质量。
在一些实施例中，一致性操作的步骤包括：
以第二决策图中的一像素点为中心，对预设图形内的所有像素点进行求和以生成第一求和结果，若第一求和结果大于预设图形的面积的一半，则将该像素点对应的像素值修正为1；若第一求和结果小于等于预设图形的面积的一半，则将该像素点对应的像素值修正为0。
第二决策图中某一像素点的颜色和与该像素点相邻的其他像素点的颜色相关联，若一半以上的其他像素点的颜色为白色，则该像素点的颜色应为白色；若一半以上的其他像素点的颜色为黑色，则该像素点的颜色应为黑色。由于第二决策图为二值图，而像素点的颜色为白色时的像素值为1，像素点的颜色为黑色时的像素值为0，因此可以先对以第二决策图中的一像素点为中心的预设图形的所有像素点的像素值进行求和，以得到第一求和结果，再通过比较第一求和结果和预设图像的面积的一半的方式对该像素点的颜色进行修正，若第一求和结果大于预设图形的面积的一半，则预设图形内有一半以上的像素点的颜色为白色，此时需要将该像素点对应的像素值修正为1，即将该像素点的颜色修正为白色；若第一求和结果小于等于预设图形的面积的一半，则预设图形内有一半以上的像素点的颜色为黑色，此时需要将该像素点对应的像素值修正为0，即将该像素点的颜色修正为黑色。例如，预设图形为边长为3的正方形，预设图形的面积为9，若第一求和结果大于4.5，则预设图形内有一半以上的像素点的颜色为白色，此时需要将该像素点对应的像素值修正为1，即将该像素点的颜色修正为白色；若第一求和结果小于等于4.5，则预设图形内有一半以上的像素点的颜色为黑色，此时需要将该像素点对应的像素值修正为0，即将该像素点的颜色修正为黑色。应当理解的是，该实施例可以重复执行至完成对第二决策图中的所有像素点的修正，从而实现基于一致性操作根据第二决策图获取第三决策图。该实施例的一致性操作如式（7）所示：
其中，FM（x，y）表示第三决策图在坐标为（x，y）的像素点的像素值，Φ表示预设图形，（a，b）为以坐标为（x，y）的像素点为中心的预设图像内的任一像素点，
表示以坐标为（x，y）的像素点为中心的预设图像内的所有像素点的第一求和结果，SΦ表示预设图形的面积。该实施例的预设图形优选为边长为19的正方形。
在一些实施例中，步骤S3包括：
S31、根据第一源图像和第一低频图像获取多个不同尺度的第一差图；
S32、根据第二源图像和第二低频图像获取多个不同尺度的第二差图；
S33、根据第一缩小图像和第三低频图像获取多个不同尺度的第三差图；
S34、根据第二缩小图像和第四低频图像获取多个不同尺度的第四差图。
该实施例的计算公式如式（8）所示：
其中，
表示第k个尺度的第一差图，
表示第k个尺度的第二差图，
表示第k个尺度的第三差图，
表示第k个尺度的第四差图，
表示与第一源图像对应的第k个尺度的第一低频图像，
表示与第二源图像对应的第k个尺度的第二低频图像，
表示与第一缩小图像对应的第k个尺度的第三低频图像，
表示与第二缩小图像对应的第k个尺度的第四低频图像，IA表示第一源图像，IB表示第二源图像，
表示第一缩小图像，
表示第二缩小图像。
在一些实施例中，步骤S3包括：
S31’、根据第一源图像和第二低频图像获取多个不同尺度的第一差图；
S32’、根据第二源图像和第一低频图像获取多个不同尺度的第二差图；
S33’、根据第一缩小图像和第四低频图像获取多个不同尺度的第三差图；
S34’、根据第二缩小图像和第三低频图像获取多个不同尺度的第四差图。
该实施例的计算公式如式（9）所示：
其中，
表示第k个尺度的第一差图，
表示第k个尺度的第二差图，
表示第k个尺度的第三差图，
表示第k个尺度的第四差图，
表示与第一源图像对应的第k个尺度的第一低频图像，
表示与第二源图像对应的第k个尺度的第二低频图像，
表示与第一缩小图像对应的第k个尺度的第三低频图像，
表示与第二缩小图像对应的第k个尺度的第四低频图像，IA表示第一源图像，IB表示第二源图像，
表示第一缩小图像，
表示第二缩小图像。
该实施例利用第一源图像和第二低频图像获取多个不同尺度的第一差图，利用第二源图像和第一低频图像获取多个不同尺度的第二差图，利用第一缩小图像和第四低频图像获取多个不同尺度的第三差图，利用第二缩小图像和第三低频图像获取多个不同尺度的第四差图，由于第一源图像与第二低频图像、第二源图像与第一低频图像、第一缩小图像与第四低频图像和第二缩小图像与第三低频图像均具有不同的聚焦区域，因此相较于上述实施例，该实施例获取到的多个不同尺度的第一差图、第二差图、第三差图和第四差图中的结构特征更明显，从而进一步地提高焦点测量时检测聚焦区域和聚焦边界的准确度。
在一些实施例中，步骤S6包括：
S61、基于优势集成策略根据第一结构显著图和第二结构显著图生成第一多尺度决策图；
S62、基于优势集成策略根据第三结构显著图和第四结构显著图生成第二多尺度决策图；
S63、根据第一多尺度决策图和第二多尺度决策图生成第一决策图。
步骤S61先分别对所有第一结构显著图在每一像素点的输出进行求和并生成多个第二求和结果，再分别对所有第二结构显著图在每一像素点的输出进行求和并生成多个第三求和结果，最后比较每一像素点的第二求和结果和每一像素点的第三求和结果，若第二求和结果大于第三求和结果，则第一多尺度决策图中的该像素点的像素值取1；若第二求和结果小于等于第三求和结果，则该第一多尺度决策图中的该像素点的像素值取0。具体地，步骤S61生成的第一多尺度决策图在坐标为（x，y）的像素点的输出如式（10）所示：
其中，
表示第k个尺度的第一结构显著图在坐标为（x，y）的像素点的输出，
表示第二求和结果，
表示第k个尺度的第二结构显著图在坐标为（x，y）的像素点的输出，
表示第三求和结果，
表示第一多尺度决策图在坐标为（x，y）的像素点的输出。
步骤S62先分别对所有第三结构显著图在每一像素点的输出进行求和并生成多个第四求和结果，再分别对所有第四结构显著图在每一像素点的输出进行求和并生成多个第五求和结果，最后比较每一像素点的第四求和结果和每一像素点的第五求和结果，若第四求和结果大于第五求和结果，则第二多尺度决策图中的该像素点的像素值取1；若第四求和结果小于等于第五求和结果，则该第二多尺度决策图中的该像素点的像素值取0。具体地，步骤S62生成的第二多尺度决策图在坐标为（x，y）的像素点的输出如式（11）所示：
其中，
表示第k个尺度的第三结构显著图在坐标为（x，y）的像素点的输出，
表示第四求和结果，
表示第k个尺度的第四结构显著图在坐标为（x，y）的像素点的输出，
表示第五求和结果，
表示第二多尺度决策图在坐标为（x，y）的像素点的输出。
步骤S63根据第一多尺度决策图和第二多尺度决策图生成第一决策图的流程为：1.获取多个第一多尺度决策图与第二多尺度决策图相等时的像素点；2.根据所有获取到的像素点生成第一决策图。步骤2根据所有像素点生成第一决策图属于现有技术，此处不再进行详细论述。步骤1获取第一多尺度决策图与第二多尺度决策图相等时的其中一个像素点的公式如式（12）所示：
其中，
表示第一决策图在坐标为（x，y）的像素点的输出，
表示第一多尺度决策图在坐标为（x，y）的像素点的输出，
表示第二多尺度决策图在坐标为（x，y）的像素点的输出。应当理解的是，若第一多尺度决策图在坐标为（x，y）的像素点的输出与第二多尺度决策图在坐标为（x，y）的像素点的输出相等，第一决策图在该像素点的输出还可以为第二多尺度决策图在该像素点的输出。
由上可知，本申请提供的一种多聚焦图像融合方法，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该方法在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
第二方面，如图3所示，本申请还提供了一种多聚焦图像融合装置，用于融合多聚焦的第一源图像和第二源图像，其包括以下模块：
下采样模块1，用于对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
多尺度引导滤波模块2，用于基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个与第一源图像对应的不同尺度的第一低频图像、多个与第二源图像对应的不同尺度的第二低频图像、多个与第一缩小图像对应的不同尺度的第三低频图像和多个与第二缩小图像对应的不同尺度的第四低频图像；
差图生成模块3，用于根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图；
结构显著图生成模块4，用于对所有差图进行焦点测量，以获取多个与第一源图像对应的不同尺度的第一结构显著图、多个与第二源图像对应的不同尺度的第二结构显著图、多个与第一缩小图像对应的不同尺度的第三结构显著图和多个与第二缩小图像对应的不同尺度的第四结构显著图；
上采样模块5，用于对第三结构显著图和第四结构显著图进行上采样操作，以使第三结构显著图的大小和第四结构显著图的大小与第一结构显著图的大小相同；
第一决策图生成模块6，用于基于优势集成策略根据第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图生成第一决策图；
融合图像生成模块7，用于根据第一决策图融合第一源图像和第二源图像以生成融合图像。
其中，本申请实施例提供的一种多聚焦图像融合装置包括下采样模块1、多尺度引导滤波模块2、差图生成模块3、结构显著图生成模块4、上采样模块5、第一决策图生成模块6和融合图像生成模块7，由于这些模块分别用于执行第一方面提供的一种多聚焦图像融合方法的步骤，因此本申请实施例提供的一种多聚焦图像融合装置的工作原理与第一方面提供的一种多聚焦融合方法的工作原理相同，此处不再进行详细论述。
本申请提供的一种多聚焦图像融合装置，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该装置通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该装置在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
第三方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器801和存储器802，处理器801和存储器802通过通信总线803和/或其他形式的连接机构（未标出）互连并相互通讯，存储器802存储有处理器801可执行的计算机程序，当计算设备运行时，处理器801执行该计算机程序，以执行时执行实施例的任一可选的实现方式中的方法，以实现以下功能：对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个与第一源图像对应的不同尺度的第一低频图像、多个与第二源图像对应的不同尺度的第二低频图像、多个与第一缩小图像对应的不同尺度的第三低频图像和多个与第二缩小图像对应的不同尺度的第四低频图像；根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图；对所有差图进行焦点测量，以获取多个与第一源图像对应的不同尺度的第一结构显著图、多个与第二源图像对应的不同尺度的第二结构显著图、多个与第一缩小图像对应的不同尺度的第三结构显著图和多个与第二缩小图像对应的不同尺度的第四结构显著图；对第三结构显著图和第四结构显著图进行上采样操作，以使第三结构显著图的大小和第四结构显著图的大小与第一结构显著图的大小相同；基于优势集成策略根据第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图生成第一决策图；根据第一决策图融合第一源图像和第二源图像以生成融合图像。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行实施例的任一可选的实现方式中的方法，以实现以下功能：对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个与第一源图像对应的不同尺度的第一低频图像、多个与第二源图像对应的不同尺度的第二低频图像、多个与第一缩小图像对应的不同尺度的第三低频图像和多个与第二缩小图像对应的不同尺度的第四低频图像；根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图；对所有差图进行焦点测量，以获取多个与第一源图像对应的不同尺度的第一结构显著图、多个与第二源图像对应的不同尺度的第二结构显著图、多个与第一缩小图像对应的不同尺度的第三结构显著图和多个与第二缩小图像对应的不同尺度的第四结构显著图；对第三结构显著图和第四结构显著图进行上采样操作，以使第三结构显著图的大小和第四结构显著图的大小与第一结构显著图的大小相同；基于优势集成策略根据第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图生成第一决策图；根据第一决策图融合第一源图像和第二源图像以生成融合图像。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory,简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable ReadOnly Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
由上可知，本申请提供的一种多聚焦图像融合方法、装置、电子设备及存储介质，先对第一源图像和第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像，并基于多尺度引导滤波分别分解第一源图像、第二源图像、第一缩小图像和第二缩小图像，以获取多个不同尺度的第一低频图像、第二低频图像、第三低频图像和第四低频图像，然后根据第一源图像、第二源图像、第一缩小图像、第二缩小图像、第一低频图像、第二低频图像、第三低频图像和第四低频图像获取多个不同尺度的差图，对所有差图进行焦点测量，以获取第一结构显著图、第二结构显著图、第三结构显著图和第四结构显著图，最后基于优势集成策略根据第一结构显著图、第二结构显著图、上采样操作后的第三结构显著图和上采样操作后的第四结构显著图生成第一决策图，并根据第一决策图融合第一源图像和第二源图像以生成融合图像，由于差图能反映图像中的图像强度剧烈变化处，图像强度剧烈变化处的细节越多，焦点测量得到的聚焦区域与聚焦边界越准确，而该方法通过获取多个不同尺度的差图的方式增加图像强度剧烈变化处的细节，因此该方法在焦点测量时能够更准确地检测聚焦区域和聚焦边界，从而有效地提高图像融合的质量。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个机器人，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以上升至一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种多聚焦图像融合方法，用于融合多聚焦的第一源图像和第二源图像，其特征在于，所述多聚焦图像融合方法包括步骤：
对所述第一源图像和所述第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
基于多尺度引导滤波分别分解所述第一源图像、所述第二源图像、所述第一缩小图像和所述第二缩小图像，以获取多个与所述第一源图像对应的不同尺度的第一低频图像、多个与所述第二源图像对应的不同尺度的第二低频图像、多个与所述第一缩小图像对应的不同尺度的第三低频图像和多个与所述第二缩小图像对应的不同尺度的第四低频图像；
根据所述第一源图像、所述第二源图像、所述第一缩小图像、所述第二缩小图像、所述第一低频图像、所述第二低频图像、所述第三低频图像和所述第四低频图像获取多个不同尺度的差图；
对所有差图进行焦点测量，以获取多个与所述第一源图像对应的不同尺度的第一结构显著图、多个与所述第二源图像对应的不同尺度的第二结构显著图、多个与所述第一缩小图像对应的不同尺度的第三结构显著图和多个与所述第二缩小图像对应的不同尺度的第四结构显著图；
对所述第三结构显著图和所述第四结构显著图进行上采样操作，以使所述第三结构显著图的大小和所述第四结构显著图的大小与所述第一结构显著图的大小相同；
基于优势集成策略根据所述第一结构显著图、所述第二结构显著图、所述第三结构显著图和所述第四结构显著图生成第一决策图；
根据所述第一决策图融合所述第一源图像和所述第二源图像以生成融合图像。
2.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述根据所述第一决策图融合所述第一源图像和所述第二源图像以生成融合图像的步骤包括：
利用填充过滤器过滤所述第一决策图；
将所述第一源图像作为引导滤波的引导图像，将所述第一决策图作为输入图像，基于引导滤波获取第二决策图；
基于一致性操作根据所述第二决策图生成第三决策图；
根据所述第三决策图融合所述第一源图像和所述第二源图像以生成融合图像。
3.根据权利要求2所述的多聚焦图像融合方法，其特征在于，所述一致性操作的步骤包括：
以所述第二决策图中的一像素点为中心，对预设图形内的所有像素点进行求和以生成第一求和结果，若所述第一求和结果大于所述预设图形的面积的一半，则将该像素点对应的像素值修正为1；若所述第一求和结果小于等于所述预设图形的面积的一半，则将该像素点对应的像素值修正为0。
4.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述根据所述第一源图像、所述第二源图像、所述第一缩小图像、所述第二缩小图像、所述第一低频图像、所述第二低频图像、所述第三低频图像和所述第四低频图像获取多个不同尺度的差图的步骤包括：
根据所述第一源图像和所述第一低频图像获取多个不同尺度的第一差图；
根据所述第二源图像和所述第二低频图像获取多个不同尺度的第二差图；
根据所述第一缩小图像和所述第三低频图像获取多个不同尺度的第三差图；
根据所述第二缩小图像和所述第四低频图像获取多个不同尺度的第四差图。
5.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述根据所述第一源图像、所述第二源图像、所述第一缩小图像、所述第二缩小图像、所述第一低频图像、所述第二低频图像、所述第三低频图像和所述第四低频图像获取多个不同尺度的差图的步骤包括：
根据所述第一源图像和所述第二低频图像获取多个不同尺度的第一差图；
根据所述第二源图像和所述第一低频图像获取多个不同尺度的第二差图；
根据所述第一缩小图像和所述第四低频图像获取多个不同尺度的第三差图；
根据所述第二缩小图像和所述第三低频图像获取多个不同尺度的第四差图。
6.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述基于优势集成策略根据所述第一结构显著图、所述第二结构显著图、所述第三结构显著图和所述第四结构显著图生成第一决策图的步骤包括：
基于优势集成策略根据所述第一结构显著图和所述第二结构显著图生成第一多尺度决策图；
基于优势集成策略根据所述第三结构显著图和所述第四结构显著图生成第二多尺度决策图；
根据所述第一多尺度决策图和所述第二多尺度决策图生成第一决策图。
7.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述多尺度引导滤波的引导图像与输入图像相同，所述引导图像为所述第一源图像、第二源图像、第一缩小图像或所述第二缩小图像。
8.一种多聚焦图像融合装置，用于融合多聚焦的第一源图像和第二源图像，其特征在于，所述多聚焦图像融合装置包括以下模块：
下采样模块，用于对所述第一源图像和所述第二源图像进行下采样操作获取对应的第一缩小图像和第二缩小图像；
多尺度引导滤波模块，用于基于多尺度引导滤波分别分解所述第一源图像、所述第二源图像、所述第一缩小图像和所述第二缩小图像，以获取多个与所述第一源图像对应的不同尺度的第一低频图像、多个与所述第二源图像对应的不同尺度的第二低频图像、多个与所述第一缩小图像对应的不同尺度的第三低频图像和多个与所述第二缩小图像对应的不同尺度的第四低频图像；
差图生成模块，用于根据所述第一源图像、所述第二源图像、所述第一缩小图像、所述第二缩小图像、所述第一低频图像、所述第二低频图像、所述第三低频图像和所述第四低频图像获取多个不同尺度的差图；
结构显著图生成模块，用于对所有差图进行焦点测量，以获取多个与所述第一源图像对应的不同尺度的第一结构显著图、多个与所述第二源图像对应的不同尺度的第二结构显著图、多个与所述第一缩小图像对应的不同尺度的第三结构显著图和多个与所述第二缩小图像对应的不同尺度的第四结构显著图；
上采样模块，用于对所述第三结构显著图和所述第四结构显著图进行上采样操作，以使所述第三结构显著图的大小和所述第四结构显著图的大小与所述第一结构显著图的大小相同；
第一决策图生成模块，用于基于优势集成策略根据所述第一结构显著图、所述第二结构显著图、所述第三结构显著图和所述第四结构显著图生成第一决策图；
融合图像生成模块，用于根据所述第一决策图融合所述第一源图像和所述第二源图像以生成融合图像。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211121718.7A CN115205181B (zh) | 2022-09-15 | 2022-09-15 | 一种多聚焦图像融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211121718.7A CN115205181B (zh) | 2022-09-15 | 2022-09-15 | 一种多聚焦图像融合方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115205181A true CN115205181A (zh) | 2022-10-18 |
| CN115205181B CN115205181B (zh) | 2022-11-18 |
Family
ID=83573153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211121718.7A Active CN115205181B (zh) | 2022-09-15 | 2022-09-15 | 一种多聚焦图像融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205181B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115358963A (zh) * | 2022-10-19 | 2022-11-18 | 季华实验室 | 基于扩展高斯差分和引导滤波的图像融合方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100254596A1 (en) * | 2007-09-26 | 2010-10-07 | Wei Xiong | Method and system for generating an entirely well-focused image of a large three-dimensional scene |
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN105913407A (zh) * | 2016-04-06 | 2016-08-31 | 昆明理工大学 | 一种基于差值图对多聚焦度图像融合优化的方法 |
| US20170024920A1 (en) * | 2014-05-09 | 2017-01-26 | Huawei Technologies Co., Ltd. | Method and Related Apparatus for Capturing and Processing Image Data |
| CN108629757A (zh) * | 2018-05-08 | 2018-10-09 | 山东理工大学 | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
| CN111462027A (zh) * | 2020-03-12 | 2020-07-28 | 中国地质大学（武汉） | 基于多尺度梯度和抠图的多聚焦图像融合方法 |
| US20210065336A1 (en) * | 2019-08-29 | 2021-03-04 | Institut Mines Telecom | Method for generating a reduced-blur digital image |
| CN113762484A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 深度蒸馏的多聚焦图像融合方法 |
| CN115035986A (zh) * | 2022-06-15 | 2022-09-09 | 佛山科学技术学院 | 一种多聚焦图像融合方法、系统及装置 |
-
2022
- 2022-09-15 CN CN202211121718.7A patent/CN115205181B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100254596A1 (en) * | 2007-09-26 | 2010-10-07 | Wei Xiong | Method and system for generating an entirely well-focused image of a large three-dimensional scene |
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| US20170024920A1 (en) * | 2014-05-09 | 2017-01-26 | Huawei Technologies Co., Ltd. | Method and Related Apparatus for Capturing and Processing Image Data |
| CN105913407A (zh) * | 2016-04-06 | 2016-08-31 | 昆明理工大学 | 一种基于差值图对多聚焦度图像融合优化的方法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN108629757A (zh) * | 2018-05-08 | 2018-10-09 | 山东理工大学 | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 |
| CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
| US20210065336A1 (en) * | 2019-08-29 | 2021-03-04 | Institut Mines Telecom | Method for generating a reduced-blur digital image |
| CN111462027A (zh) * | 2020-03-12 | 2020-07-28 | 中国地质大学（武汉） | 基于多尺度梯度和抠图的多聚焦图像融合方法 |
| CN113762484A (zh) * | 2021-09-22 | 2021-12-07 | 辽宁师范大学 | 深度蒸馏的多聚焦图像融合方法 |
| CN115035986A (zh) * | 2022-06-15 | 2022-09-09 | 佛山科学技术学院 | 一种多聚焦图像融合方法、系统及装置 |
Non-Patent Citations (4)
| Title |
|---|
| RADEK BENES ET AL: "Multi-focus thermal image fusion", 《PATTERN RECOGNITION LETTERS》 * |
| 刘先红等: "基于多尺度方向引导滤波和卷积稀疏表示的红外与可见光图像融合", 《光学学报》 * |
| 罗会兰等: "基于KL散度及多尺度融合的显著性区域检测算法", 《电子与信息学报》 * |
| 陈峰等: "基于滚动引导滤波的红外与可见光图像融合算法", 《红外技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115358963A (zh) * | 2022-10-19 | 2022-11-18 | 季华实验室 | 基于扩展高斯差分和引导滤波的图像融合方法 |
| CN115358963B (zh) * | 2022-10-19 | 2022-12-27 | 季华实验室 | 基于扩展高斯差分和引导滤波的图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115205181B (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| US20110176722A1 (en) | System and method of processing stereo images | |
| US20080100621A1 (en) | System and method for coronary segmentation and visualization | |
| CN102289803A (zh) | 图像处理设备、图像处理方法及程序 | |
| CN101996406A (zh) | 无参考结构清晰度图像质量评价方法 | |
| Lo et al. | Joint trilateral filtering for depth map super-resolution | |
| CN115205181B (zh) | 一种多聚焦图像融合方法、装置、电子设备及存储介质 | |
| CN106815869A (zh) | 鱼眼相机的光心确定方法及装置 | |
| CN110956661A (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN112149672A (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
| Wang et al. | Total generalized variation-based Retinex image decomposition | |
| Griffin | Mean, median and mode filtering of images | |
| CN117315210B (zh) | 一种基于立体成像的图像虚化方法及相关装置 | |
| Pham | Kriging-weighted laplacian kernels for grayscale image sharpening | |
| CN108805841B (zh) | 一种基于彩色图引导的深度图恢复及视点合成优化方法 | |
| CN104318518A (zh) | 基于surf匹配和边缘检测的凸集投影图像重构方法 | |
| CN111191694A (zh) | 图像立体匹配方法 | |
| CN112750156B (zh) | 光场成像系统、处理方法和装置 | |
| CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
| CN113674407B (zh) | 基于双目视觉图像的三维地形重建方法、装置及存储介质 | |
| CN113781375B (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| US8526760B2 (en) | Multi-scale representation of an out of focus image | |
| CN112116561B (zh) | 基于图像处理融合网络权值的电网传输线检测方法及装置 | |
| CN114943761A (zh) | 一种fpga中线结构光条纹中心提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |