CN115393243B - 多聚焦图像的融合方法、装置和电子设备 - Google Patents
多聚焦图像的融合方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115393243B CN115393243B CN202211330687.6A CN202211330687A CN115393243B CN 115393243 B CN115393243 B CN 115393243B CN 202211330687 A CN202211330687 A CN 202211330687A CN 115393243 B CN115393243 B CN 115393243B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- initial
- focus
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 114
- 230000004927 fusion Effects 0.000 claims abstract description 169
- 238000007499 fusion processing Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012634 optical imaging Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种多聚焦图像的融合方法、装置和电子设备，包括：获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像；对初始融合图像进行校验，以确定初始融合图像的质量是否合格；若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。本发明的融合方法得到的融合图像的质量好，精度高。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种多聚焦图像的融合方法、装置和电子设备。
背景技术
现如今的图像成像系统主要基于光学成像镜头，对于光学成像镜头而言，由于其成像原理，在一定程度上可以通过改变焦距来提升光成像系统的空间辨识率，然后由于不同场景具有一定的复杂度，摄像镜头材质也会影响镜头的聚焦效果，因此，聚焦范围受到了极大的限制，这就不可避免的会干扰图片的成像效果，也就是说仅依赖单传感器的光学成像体系无法获得一个目标场景之内全部物品都相对清楚的图片。
为了更为精确、完备的描绘某一场景之内的图像信息，人们期望获得一个目标场景之内全部物品都清楚的图像，借助多聚焦图像处理技术就能够化解这方面的难题。也就是凭借传感器对目标场景之内的各个物品给予单独聚焦，从而获得该场景之内的聚焦不同的图像序列，再依靠指定的计算方式，提取该图像序列的各个图像对应的有效信息，对这些多聚焦图像进行融合操作，进而让该场景内的全部物品都能够清楚的展现在一个图像中。采用多聚焦图像融合算法，能够把一个场景之内处于不同位置、景深的多个对象都能清楚地呈现在同一幅图像之内，这样就实现了一幅图像可以全面展现多个图像所能够展现的数据资料，让融合之后的图像更能契合人们视觉的特征，也为图像资料的后续操作（比如，特征提取、图像分割与识别、人为决策等层面）供应更为有效而优质的信息。正是这些优势使得多聚焦图像融合技术在诸多领域都能够得到较为有效的运用，基于图像融合的研究前景极为光明。
目前，传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好。
发明内容
有鉴于此，本发明的目的在于提供一种多聚焦图像的融合方法、装置和电子设备，以缓解传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好的技术问题。
第一方面，本发明实施例提供了一种多聚焦图像的融合方法，包括：
获取待融合多聚焦图像，并对所述待融合多聚焦图像进行预处理，得到预处理后的图像；
根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，得到初始融合图像，其中，所述目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格；
若所述初始融合图像的质量不合格，则将所述初始融合图像作为所述待融合多聚焦图像，返回执行对所述待融合多聚焦图像进行预处理的步骤，直至所述初始融合图像的质量合格为止；
若所述初始融合图像的质量合格，则将所述初始融合图像作为目标融合图像进行输出。
进一步的，对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格，包括：
计算所述初始融合图像的信息熵、标准差、空间频率和平均梯度；
判断所述信息熵是否在预设信息熵范围，并判断所述标准差是否在预设标准差范围，并判断所述空间频率是否在预设空间频率范围，并判断所述平均梯度是否在预设平均梯度范围；
若所述信息熵在所述预设信息熵范围，且所述标准差在所述预设标准差范围，且所述空间频率在所述预设空间频率范围，且所述平均梯度在所述预设平均梯度范围，则确定所述初始融合图像的质量合格；
若所述信息熵不在所述预设信息熵范围，或所述标准差不在所述预设标准差范围，或所述空间频率不在所述预设空间频率范围，或所述平均梯度不在所述预设平均梯度范围，则确定所述初始融合图像的质量不合格。
进一步的，计算所述初始融合图像的信息熵、标准差、空间频率和平均梯度，包括：
根据信息熵计算算式
计算所述初始融合图像的信息熵，其中，
表示所述初始融合图像的信息熵，
表示对所述待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对所述待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示信息熵基础指数；
根据标准差计算算式
计算所述初始融合图像的标准差，其中，
表示所述初始融合图像的标准差，
表示对所述待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对所述待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示像素点对应位置，
表示像素点自身所占的大小；
根据空间频率计算算式
计算所述初始融合图像的空间频率，其中，
表示所述初始融合图像的空间频率，
表示对所述待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对所述待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示传感器解析空域效率值，
表示传感器功率使用值，
表示像素点对应位置，
表示像素点自身所占的大小，
表示空域频率；
根据平均梯度计算算式
计算所述初始融合图像的平均梯度，其中，
表示所述初始融合图像的平均梯度，
表示对所述待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对所述待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示x方向上的差分值，
表示y方向上的差分值。
进一步的，若所述目标多聚焦图像融合方法为像素级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
通过对所述预处理后的图像横纵向分割的方式，对所述预处理后的图像进行像素点扩充，得到所述预处理后的图像的扩充后的像素点；
对所述扩充后的像素点进行压缩整合，得到平面像素点云，并对所述平面像素点云进行切分，得到多个平面像素点云区域；
对每个所述平面像素点云区域中的相邻的像素点进行关联，并在所述相邻的像素点之间的距离大于预设值时，在所述相邻的像素点之间进行补点操作，得到多个优化后的平面像素点云区域；
统计各个所述优化后的平面像素点云区域中像素点的数量，并统计所述预处理后的图像中对应区域中像素点的数量，其中，所述对应区域为所述预处理后的图像中与各个所述优化后的平面像素点云区域对应的区域；
根据每个所述优化后的平面像素点云区域中像素点的数量和所述预处理后的图像中对应区域中的像素点的数量确定各个所述优化后的平面像素点云区域对应的模糊程度；
将所述预处理后的图像与多个所述优化后的平面像素点云区域进行重叠比对，并基于各个所述优化后的平面像素点云区域对应的模糊程度对每个所述优化后的平面像素点云区域的像素点进行二次优化，得到多个二次优化后的平面像素点云区域；
将多个所述二次优化后的平面像素点云区域与所述预处理后的图像进行融合，得到所述初始融合图像。
进一步的，若所述目标多聚焦图像融合方法为特征级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
对所述预处理后的图像进行切分，得到多张切分子图像；
根据各所述切分子图像中的颜色确定每张所述切分子图像中的各颜色区域；
计算所述各颜色区域在对应的切分子图像中的占比；
根据所述占比在所述切分子图像中确定重点切分子图像，其中，所述重点切分子图像对应的占比大于预设占比阈值；
对所述重点切分子图像进行像素级图像融合处理，得到重点子融合图像；
对所述切分子图像中的其它非重点切分子图像进行像素级图像融合处理，得到非重点子融合图像；
将所述重点子融合图像和所述非重点子融合图像进行拼接，并对拼接位置进行像素级图像融合处理，得到所述初始融合图像。
进一步的，若所述目标多聚焦图像融合方法为决策级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
对所述预处理后的图像按照颜色进行分层，得到多个颜色分层；
对每个所述颜色分层中的颜色区域进行标记，得到颜色区域轮廓，并确定所述颜色区域轮廓的位置、面积和所述颜色区域轮廓中对应的颜色；
根据所述颜色区域轮廓的位置和面积在预设窗口中绘制所述颜色区域轮廓，并基于所述颜色区域轮廓中对应的颜色在绘制的所述颜色区域轮廓中填充目标颜色，得到局部优化图像，其中，所述目标颜色为所述颜色区域轮廓中对应的颜色的预设比例的灰度值；
将所述局部优化图像与所述预处理后的图像进行融合，得到所述初始融合图像。
进一步的，所述方法还包括：
根据用户需求将所述初始融合图像或对所述预处理后的图像进行融合处理时产生的中间图像作为所述目标融合图像进行输出。
第二方面，本发明实施例还提供了一种多聚焦图像的融合装置，包括：
获取和预处理单元，用于获取待融合多聚焦图像，并对所述待融合多聚焦图像进行预处理，得到预处理后的图像；
融合处理单元，用于根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，得到初始融合图像，其中，所述目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
校验单元，用于对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格；
返回执行单元，用于若所述初始融合图像的质量不合格，则将所述初始融合图像作为所述待融合多聚焦图像，返回执行对所述待融合多聚焦图像进行预处理的步骤，直至所述初始融合图像的质量合格为止；
设定单元，用于若所述初始融合图像的质量合格，则将所述初始融合图像作为目标融合图像进行输出。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种多聚焦图像的融合方法，包括：获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像，其中，目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；对初始融合图像进行校验，以确定初始融合图像的质量是否合格；若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。通过上述描述可知，本发明的多聚焦图像的融合方法中，会对初始融合图像的质量是否合格进行校验，若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止，最终，将质量合格的初始融合图像作为目标融合图像进行输出，这样，最终得到的目标融合图像的质量好，准确性高，即本发明的融合方法得到的融合图像的质量好，精度高，缓解了传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多聚焦图像的融合方法的流程图；
图2为本发明实施例提供的对初始融合图像进行校验的方法流程图；
图3为本发明实施例提供的一种多聚焦图像的融合装置的示意图；
图4为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好。
基于此，本发明的多聚焦图像的融合方法中，会对初始融合图像的质量是否合格进行校验，若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止，最终，将质量合格的初始融合图像作为目标融合图像进行输出，这样，最终得到的目标融合图像的质量好，准确性高，即本发明的融合方法得到的融合图像的质量好，精度高。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种多聚焦图像的融合方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种多聚焦图像的融合方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种多聚焦图像的融合方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；
在本发明实施例中，上述待融合多聚焦图像可以为任意拍摄设备拍摄的场景的未经处理的图像或来自空间卫星拍摄影像图源，上述待融合多聚焦图像可以为一张，也可以为多张，在得到待融合多聚焦图像后，建立可视化的处理窗口，将待融合多聚焦图像映射到可视化的处理窗口（其大小一般为待融合多聚焦图像的大小，每一步解析处理的结果都会映射到处理窗口，监测每次处理后的图源效果）中，对待融合多聚焦图像进行预处理，所谓的预处理为传统的一些降噪方式，用于去除待融合多聚焦图像中的杂音。
步骤S104，根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像，其中，目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
上述像素级多聚焦图像融合方法主要用于去除预处理后的图像中的干扰环境信息，将预处理后的图像分解成像素点，以像素点铺满形成像素图像；上述特征级多聚焦图像融合方法主要用于去除预处理后的图像中的干扰环境信息，将预处理后的图像中的人物、物体人物、物体轮廓虚构进行轮廓选中，通过局部颜色划分区域；上述决策级多聚焦图像融合方法主要用于去除预处理后的图像中的干扰环境信息，将预处理后的图像中的色度分级，级别高的进行轮廓选中，识别出特征明显局部区域。
下文中再对每种目标多聚焦图像融合方法进行详细介绍，在此不再赘述。
步骤S106，对初始融合图像进行校验，以确定初始融合图像的质量是否合格；
上述校验主要包括：信息熵的校验、标准差的校验、空间频率的校验和平均梯度的校验，信息熵是指初始融合图像中聚集特征所包含的信息量有多少；标准差是指初始融合图像中像素点Xi，j有多少；空间频率是指初始融合图像中每毫米具有的光栅数；平均梯度是指初始融合图像的边界或影线两侧附近灰度有明显差异。
步骤S108，若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；
步骤S110，若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。
在本发明实施例中，提供了一种多聚焦图像的融合方法，包括：获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像，其中，目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；对初始融合图像进行校验，以确定初始融合图像的质量是否合格；若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。通过上述描述可知，本发明的多聚焦图像的融合方法中，会对初始融合图像的质量是否合格进行校验，若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止，最终，将质量合格的初始融合图像作为目标融合图像进行输出，这样，最终得到的目标融合图像的质量好，准确性高，即本发明的融合方法得到的融合图像的质量好，精度高，缓解了传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好的技术问题。
上述内容对本发明的多聚焦图像的融合方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中，参考图2，上述步骤S106，对初始融合图像进行校验，以确定初始融合图像的质量是否合格，具体包括如下步骤：
步骤S201，计算初始融合图像的信息熵、标准差、空间频率和平均梯度；
步骤S202，判断信息熵是否在预设信息熵范围，并判断标准差是否在预设标准差范围，并判断空间频率是否在预设空间频率范围，并判断平均梯度是否在预设平均梯度范围；
具体的，通过初始融合图像的信息熵（即信息量）大小，与预设信息熵范围进行比对，信息熵大小越接近其中的阈值（预设信息熵范围中包含一标准的阈值，如预设信息熵范围为3-8，标准的阈值为5），证明待融合多聚焦图像解析中信息熵控制计算越真实；根据处理窗口大小计算初始融合图像中像素点xi,j对应位置的偏离标准差（待融合多聚焦图像一定会遇到因拍摄因素影响过大导致的局部的像素点解析用到像素点离散不明显甚至像素点过少，无法达到清晰的图像，在本发明的方法中设置补充像素点参数），是否接近设置的阈值（预设标准差范围中的一个标准的阈值），表示像素点分布越明显，图像间差异越大，从而达到图像越清晰；该数值越接近阈值（预设空间频率范围中的一个标准的阈值），融合的图像就越清楚，其对应的质量越理想，针对传感器数量和质量针对空间频率的频段也是我们在其算法中的优化；平均梯度越接近阈值（预设平均梯度范围中的一个标准的阈值），融合的图像就越清楚，融合结果越理想。
步骤S203，若信息熵在预设信息熵范围，且标准差在预设标准差范围，且空间频率在预设空间频率范围，且平均梯度在预设平均梯度范围，则确定初始融合图像的质量合格；
步骤S204，若信息熵不在预设信息熵范围，或标准差不在预设标准差范围，或空间频率不在预设空间频率范围，或平均梯度不在预设平均梯度范围，则确定初始融合图像的质量不合格。
在本发明的一个可选实施例中，计算初始融合图像的信息熵、标准差、空间频率和平均梯度，具体包括：
（1）根据信息熵计算算式
计算初始融合图像的信息熵，其中，
表示初始融合图像的信息熵，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示信息熵基础指数；
上述等式右侧的值都是已知的。
（2）根据标准差计算算式
计算初始融合图像的标准差，其中，
表示初始融合图像的标准差，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示像素点对应位置，
表示像素点自身所占的大小；
上述等式右侧的值都是已知的。
（3）根据空间频率计算算式
计算初始融合图像的空间频率，其中，
表示初始融合图像的空间频率，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示传感器解析空域效率值，
表示传感器功率使用值，
表示像素点对应位置，
表示像素点自身所占的大小，
表示空域频率；
上述等式右侧的值都是已知的，
，各参量的含义参考全文中其它位置的描述。
（4）根据平均梯度计算算式
计算初始融合图像的平均梯度，其中，
表示初始融合图像的平均梯度，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示x方向上的差分值，
表示y方向上的差分值。
上述等式右侧的值都是已知的。
在本发明的一个可选实施例中，若目标多聚焦图像融合方法为像素级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，具体包括如下步骤：
（1）通过对预处理后的图像横纵向分割的方式，对预处理后的图像进行像素点扩充，得到预处理后的图像的扩充后的像素点；
具体的，对预处理后的图像进行横纵向分割，就能实现对预处理后的图像的像素点扩充，该像素点扩充为三维方向的扩充，像素点扩充后，就能得到预处理后的图像的扩充后的像素点。
（2）对扩充后的像素点进行压缩整合，得到平面像素点云，并对平面像素点云进行切分，得到多个平面像素点云区域；
具体的，在进行切分时，可以根据平面像素点云中像素点的数量和平面像素点云的大小进行切分，切分后，就能得到多个平面像素点云区域。
（3）对每个平面像素点云区域中的相邻的像素点进行关联，并在相邻的像素点之间的距离大于预设值时，在相邻的像素点之间进行补点操作，得到多个优化后的平面像素点云区域；
具体的，每个平面像素点云区域内的像素点总量可以获得，每一个像素点在每个平面像素点云区域中的坐标是可以计算出来的，进而将每个坐标相邻的像素点做关联。坐标的识别过程为：每个切割的像素点在处理窗口内都是可以识别到的，然后通过像素点屏幕坐标的位置，带入矩阵计算像素点的空间坐标，这样基本就获得一个像素点的位置，那么每计算一个像素点的位置会有统计算法，一块区域中的所有像素点位置获取完，像素点数总量就已经获取到了。
（4）统计各个优化后的平面像素点云区域中像素点的数量，并统计预处理后的图像中对应区域中像素点的数量，其中，对应区域为预处理后的图像中与各个优化后的平面像素点云区域对应的区域；
具体的，如切分后的第5块优化后的平面像素点云区域中像素点的数量为100，预处理后的图像中与上述第5块优化后的平面像素点云区域对应的区域中的像素点的数量为1000。
（5）根据每个优化后的平面像素点云区域中像素点的数量和预处理后的图像中对应区域中的像素点的数量确定各个优化后的平面像素点云区域对应的模糊程度；
如上述举例中的第5块优化后的平面像素点云区域，第5块优化后的平面像素点云区域中像素点的数量为1000，预处理后的图像中与上述第5块优化后的平面像素点云区域对应的区域中的像素点的数量为100，那么可以确定第5块优化后的平面像素点云区域的模糊程度为10。
（6）将预处理后的图像与多个优化后的平面像素点云区域进行重叠比对，并基于各个优化后的平面像素点云区域对应的模糊程度对每个优化后的平面像素点云区域的像素点进行二次优化，得到多个二次优化后的平面像素点云区域；
具体的，将预处理后的图像与多个优化后的平面像素点云区域进行重叠比对后，第5块优化后的平面像素点云区域与预处理后的图像中与上述第5块优化后的平面像素点云区域对应的区域重叠，第5块优化后的平面像素点云区域的模糊程度为10，而预设的阈值为5，显然，第5块优化后的平面像素点云区域补充的像素点的数量太多，需要对其去除一些像素点，可以是将5倍的预处理后的图像中与上述第5块优化后的平面像素点云区域对应的区域中的像素点的数量（即500）的像素点占满第5块的平均区域，可以在预处理后的图像中的第5块图像中的像素点的周围补充点，直至像素点数量达到500；
而对于其它区域补充的像素点的数量不多的区域，直接将其作为二次优化后的平面像素点云区域。
（7）将多个二次优化后的平面像素点云区域与预处理后的图像进行融合，得到初始融合图像。
如果待融合多聚焦图像为2张，对每张待融合多聚焦图像进行预处理后，分别进行上述（1）-（7）的过程，分别得到两张初始融合图像，再将两张初始融合图像进行上述（6）-（7）的过程，得到最终的初始融合图像。
在本发明的一个可选实施例中，若目标多聚焦图像融合方法为特征级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，具体包括如下步骤：
（1）对预处理后的图像进行切分，得到多张切分子图像；
具体的，可以根据预处理后的图像的大小对预处理后的图像进行切分，该切分过程为平面切分的过程，切分得到多张切分子图像。
（2）根据各切分子图像中的颜色确定每张切分子图像中的各颜色区域；
如，确定每张切分子图像中的红色区域、绿色区域、蓝色区域等。
（3）计算各颜色区域在对应的切分子图像中的占比；
具体的，根据各颜色区域的面积占该块切分子图像的面积的比例，确定各颜色区域在对应的切分子图像中的占比。
（4）根据占比在切分子图像中确定重点切分子图像，其中，重点切分子图像对应的占比大于预设占比阈值；
具体的，将占比大于预设占比阈值对应的切分子图像作为确定重点切分子图像，例如，红色区域在对应的切分子图像中的占比为80%，预设占比阈值为50%，红色区域在对应的切分子图像中的占比大于预设占比阈值，那么该红色区域对应的切分子图像即为重点切分子图像。
（5）对重点切分子图像进行像素级图像融合处理，得到重点子融合图像；
上述像素级图像融合处理具体可以包括像素级多聚焦图像融合方法中的关联操作、补点操作和二次优化操作，具体过程可以参考上文中的描述，在此不再赘述。
（6）对切分子图像中的其它非重点切分子图像进行像素级图像融合处理，得到非重点子融合图像；
（7）将重点子融合图像和非重点子融合图像进行拼接，并对拼接位置进行像素级图像融合处理，得到初始融合图像。
具体的，按照重点子融合图像和非重点子融合图像在切分时的具体位置进行拼接，此处的像素级图像融合处理具体可以包括：去除重复的像素点、补点、进行拼接位置的像素级均值处理等，得到初始融合图像。
在本发明的一个可选实施例中，若目标多聚焦图像融合方法为决策级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，具体包括如下步骤：
（1）对预处理后的图像按照颜色进行分层，得到多个颜色分层；
例如，对于一个绿色背景的篮球的图像，按照颜色进行分层可以分为三层，分别是绿色背景的分层、篮球黑色线条的分层、篮球棕色瓣状的分层。
（2）对每个颜色分层中的颜色区域进行标记，得到颜色区域轮廓，并确定颜色区域轮廓的位置、面积和颜色区域轮廓中对应的颜色；
如上述举例，绿色背景的分层中没有颜色区域轮廓，篮球黑色线条的分层中的颜色区域轮廓为黑色线条的轮廓，篮球棕色瓣状的分层中的颜色区域轮廓为瓣状的轮廓。
（3）根据颜色区域轮廓的位置和面积在预设窗口中绘制颜色区域轮廓，并基于颜色区域轮廓中对应的颜色在绘制的颜色区域轮廓中填充目标颜色，得到局部优化图像，其中，目标颜色为颜色区域轮廓中对应的颜色的预设比例的灰度值；
上述预设窗口具体为上文中的处理窗口，上述目标颜色可以理解为颜色区域轮廓中对应的颜色的加深后的清楚的颜色。
如上述举例，最终得到的局部优化图像为黑色线条和橙色瓣状组成的篮球部分的局部优化图像。
（4）将局部优化图像与预处理后的图像进行融合，得到初始融合图像。
如上述举例，预处理后的图像中还包含绿色背景，将篮球部分的局部优化图像与预处理后的图像进行融合，就能得到初始融合图像。
在本发明的一个可选实施例中，该方法还包括：
根据用户需求将初始融合图像或对预处理后的图像进行融合处理时产生的中间图像作为目标融合图像进行输出。
具体的，本发明的融合方法可根据独立需求融合出不同程度图像，即可以实现多个阶段节点的实时图像提取，如，可以在像素级多聚焦图像融合方法的融合处理时，在得到平面像素点云时导出图像、也可在像素云补点操作后导出图像；结合业务在特征层级、决策层级中根据快成像低清晰度的条件中途导出图像；在局部高清晰度快成像条件下快速导出图像，业务条件可后期根据具体业务定制体现。
根据不同阶段（像素级补点后、特征级局部分层后，决策级定时产出）生成的多层图像配准校对，对图源感应器感知的非环境因素进行去噪和层级划分，不同的层级（目标多聚焦图像融合方法的不同阶段）处理不同图像结果，必要时可进行多次、多类层级的合并处理（如第一次的目标多聚焦图像融合方法为像素级多聚焦图像融合方法，第二次的目标多聚焦图像融合方法为特征级多聚焦图像融合方法）；在图源（未经处理的待融合多聚焦图像）处理到图像初步形成（初始融合图像）到最后融合图像产生，处理过程中分别在预处理结果、图像分级处理结果（即各目标多聚焦图像融合方法得到的结果）、组合分级处理结果（多种多聚焦图像融合方法得到的结果）、图像阈值外不合格图像处理结果、自定义图像处理结果的节点可进行监控、初步成像验证等等一系列的控制可以更好地为不同业务需求服务。
本发明的多聚焦图像的融合方法更改了执行顺序；增加了判定条件；控制了输出结果和输出质量；优化了图像处理的效率，实现了真正意义上的业务级的融合方法，既解决了日常图像融合中的难点难题，又应用在各种需要图像融合的系统中，成为了核心的一环；解决针对像素级进行像素点校验，像素点补充；解决针对特征级做多层分解，修复拍摄时外界剧烈环境影响导致的影像解析质量低；解决针对决策级低质量数据解析时的校验和修复，解析后的校验。
实施例二：
本发明实施例还提供了一种多聚焦图像的融合装置，该多聚焦图像的融合装置主要用于执行本发明实施例一中所提供的多聚焦图像的融合方法，以下对本发明实施例提供的多聚焦图像的融合装置做具体介绍。
图3是根据本发明实施例的一种多聚焦图像的融合装置的示意图，如图3所示，该装置主要包括：获取和预处理单元10、融合处理单元20、校验单元30、返回执行单元40和设定单元50，其中：
获取和预处理单元，用于获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；
融合处理单元，用于根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像，其中，目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
校验单元，用于对初始融合图像进行校验，以确定初始融合图像的质量是否合格；
返回执行单元，用于若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；
设定单元，用于若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。
在本发明实施例中，提供了一种多聚焦图像的融合装置，包括：获取待融合多聚焦图像，并对待融合多聚焦图像进行预处理，得到预处理后的图像；根据用户选择的目标多聚焦图像融合方法对预处理后的图像进行融合处理，得到初始融合图像，其中，目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；对初始融合图像进行校验，以确定初始融合图像的质量是否合格；若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止；若初始融合图像的质量合格，则将初始融合图像作为目标融合图像进行输出。通过上述描述可知，本发明的多聚焦图像的融合装置中，会对初始融合图像的质量是否合格进行校验，若初始融合图像的质量不合格，则将初始融合图像作为待融合多聚焦图像，返回执行对待融合多聚焦图像进行预处理的步骤，直至初始融合图像的质量合格为止，最终，将质量合格的初始融合图像作为目标融合图像进行输出，这样，最终得到的目标融合图像的质量好，准确性高，即本发明的融合装置得到的融合图像的质量好，精度高，缓解了传统的多聚焦图像的融合方法得到的融合图像的质量差，准确性不好的技术问题。
可选地，校验单元还用于：计算初始融合图像的信息熵、标准差、空间频率和平均梯度；判断信息熵是否在预设信息熵范围，并判断标准差是否在预设标准差范围，并判断空间频率是否在预设空间频率范围，并判断平均梯度是否在预设平均梯度范围；若信息熵在预设信息熵范围，且标准差在预设标准差范围，且空间频率在预设空间频率范围，且平均梯度在预设平均梯度范围，则确定初始融合图像的质量合格；若信息熵不在预设信息熵范围，或标准差不在预设标准差范围，或空间频率不在预设空间频率范围，或平均梯度不在预设平均梯度范围，则确定初始融合图像的质量不合格。
可选地，校验单元还用于：根据信息熵计算算式
计算初始融合图像的信息熵，其中，
表示初始融合图像的信息熵，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示信息熵基础指数；根据标准差计算算式
计算初始融合图像的标准差，其中，
表示初始融合图像的标准差，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示像素点对应位置，
表示像素点自身所占的大小；根据空间频率计算算式
计算初始融合图像的空间频率，其中，
表示初始融合图像的空间频率，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示传感器解析空域效率值，
表示传感器功率使用值，
表示像素点对应位置，
表示像素点自身所占的大小，
表示空域频率；根据平均梯度计算算式
计算初始融合图像的平均梯度，其中，
表示初始融合图像的平均梯度，
表示对待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示x方向上的差分值，
表示y方向上的差分值。
可选地，若目标多聚焦图像融合方法为像素级多聚焦图像融合方法，融合处理单元还用于：通过对预处理后的图像横纵向分割的方式，对预处理后的图像进行像素点扩充，得到预处理后的图像的扩充后的像素点；对扩充后的像素点进行压缩整合，得到平面像素点云，并对平面像素点云进行切分，得到多个平面像素点云区域；对每个平面像素点云区域中的相邻的像素点进行关联，并在相邻的像素点之间的距离大于预设值时，在相邻的像素点之间进行补点操作，得到多个优化后的平面像素点云区域；统计各个优化后的平面像素点云区域中像素点的数量，并统计预处理后的图像中对应区域中像素点的数量，其中，对应区域为预处理后的图像中与各个优化后的平面像素点云区域对应的区域；根据每个优化后的平面像素点云区域中像素点的数量和预处理后的图像中对应区域中的像素点的数量确定各个优化后的平面像素点云区域对应的模糊程度；将预处理后的图像与多个优化后的平面像素点云区域进行重叠比对，并基于各个优化后的平面像素点云区域对应的模糊程度对每个优化后的平面像素点云区域的像素点进行二次优化，得到多个二次优化后的平面像素点云区域；将多个二次优化后的平面像素点云区域与预处理后的图像进行融合，得到初始融合图像。
可选地，若目标多聚焦图像融合方法为特征级多聚焦图像融合方法，融合处理单元还用于：对预处理后的图像进行切分，得到多张切分子图像；根据各切分子图像中的颜色确定每张切分子图像中的各颜色区域；计算各颜色区域在对应的切分子图像中的占比；根据占比在切分子图像中确定重点切分子图像，其中，重点切分子图像对应的占比大于预设占比阈值；对重点切分子图像进行像素级图像融合处理，得到重点子融合图像；对切分子图像中的其它非重点切分子图像进行像素级图像融合处理，得到非重点子融合图像；将重点子融合图像和非重点子融合图像进行拼接，并对拼接位置进行像素级图像融合处理，得到初始融合图像。
可选地，若目标多聚焦图像融合方法为决策级多聚焦图像融合方法，融合处理单元还用于：对预处理后的图像按照颜色进行分层，得到多个颜色分层；对每个颜色分层中的颜色区域进行标记，得到颜色区域轮廓，并确定颜色区域轮廓的位置、面积和颜色区域轮廓中对应的颜色；根据颜色区域轮廓的位置和面积在预设窗口中绘制颜色区域轮廓，并基于颜色区域轮廓中对应的颜色在绘制的颜色区域轮廓中填充目标颜色，得到局部优化图像，其中，目标颜色为颜色区域轮廓中对应的颜色的预设比例的灰度值；将局部优化图像与预处理后的图像进行融合，得到初始融合图像。
可选地，该装置还用于：根据用户需求将初始融合图像或对预处理后的图像进行融合处理时产生的中间图像作为目标融合图像进行输出。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图4所示，本申请实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述多聚焦图像的融合方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述多聚焦图像的融合方法。
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
对应于上述多聚焦图像的融合方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述多聚焦图像的融合方法的步骤。
本申请实施例所提供的多聚焦图像的融合装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种多聚焦图像的融合方法，其特征在于，包括：
获取待融合多聚焦图像，并对所述待融合多聚焦图像进行预处理，得到预处理后的图像；
根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，得到初始融合图像，其中，所述目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格，其中，所述校验包括：信息熵的校验、标准差的校验、空间频率的校验和平均梯度的校验；
若所述初始融合图像的质量不合格，则将所述初始融合图像作为所述待融合多聚焦图像，返回执行对所述待融合多聚焦图像进行预处理的步骤，直至所述初始融合图像的质量合格为止；
若所述初始融合图像的质量合格，则将所述初始融合图像作为目标融合图像进行输出；
其中，若所述目标多聚焦图像融合方法为像素级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
通过对所述预处理后的图像横纵向分割的方式，对所述预处理后的图像进行像素点扩充，得到所述预处理后的图像的扩充后的像素点；
对所述扩充后的像素点进行压缩整合，得到平面像素点云，并对所述平面像素点云进行切分，得到多个平面像素点云区域；
对每个所述平面像素点云区域中的相邻的像素点进行关联，并在所述相邻的像素点之间的距离大于预设值时，在所述相邻的像素点之间进行补点操作，得到多个优化后的平面像素点云区域；
统计各个所述优化后的平面像素点云区域中像素点的数量，并统计所述预处理后的图像中对应区域中像素点的数量，其中，所述对应区域为所述预处理后的图像中与各个所述优化后的平面像素点云区域对应的区域；
根据每个所述优化后的平面像素点云区域中像素点的数量和所述预处理后的图像中对应区域中的像素点的数量确定各个所述优化后的平面像素点云区域对应的模糊程度；
将所述预处理后的图像与多个所述优化后的平面像素点云区域进行重叠比对，并基于各个所述优化后的平面像素点云区域对应的模糊程度对每个所述优化后的平面像素点云区域的像素点进行二次优化，得到多个二次优化后的平面像素点云区域；
将多个所述二次优化后的平面像素点云区域与所述预处理后的图像进行融合，得到所述初始融合图像。
2.根据权利要求1所述的方法，其特征在于，对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格，包括：
计算所述初始融合图像的信息熵、标准差、空间频率和平均梯度；
判断所述信息熵是否在预设信息熵范围，并判断所述标准差是否在预设标准差范围，并判断所述空间频率是否在预设空间频率范围，并判断所述平均梯度是否在预设平均梯度范围；
若所述信息熵在所述预设信息熵范围，且所述标准差在所述预设标准差范围，且所述空间频率在所述预设空间频率范围，且所述平均梯度在所述预设平均梯度范围，则确定所述初始融合图像的质量合格；
若所述信息熵不在所述预设信息熵范围，或所述标准差不在所述预设标准差范围，或所述空间频率不在所述预设空间频率范围，或所述平均梯度不在所述预设平均梯度范围，则确定所述初始融合图像的质量不合格。
3.根据权利要求2所述的方法，其特征在于，计算所述初始融合图像的信息熵、标准差、空间频率和平均梯度，包括：
根据信息熵计算算式
计算所述初始融合图像的信息熵，其中，
表示所述初始融合图像的信息熵，
表示对所述待融合多聚焦图像进行处理时的处理窗口的大小，i，j表示对所述待融合多聚焦图像进行处理时的处理窗口所在的位置，
表示信息熵基础指数；
根据标准差计算算式
计算所述初始融合图像的标准差，其中，
表示所述初始融合图像的标准差，
表示像素点对应位置，
表示像素点自身所占的大小；
根据空间频率计算算式
计算所述初始融合图像的空间频率，其中，
表示所述初始融合图像的空间频率，
表示传感器解析空域效率值，
表示传感器功率使用值，
表示空域频率；
根据平均梯度计算算式
计算所述初始融合图像的平均梯度，其中，
表示所述初始融合图像的平均梯度，
表示x方向上的差分值，
表示y方向上的差分值。
4.根据权利要求1所述的方法，其特征在于，若所述目标多聚焦图像融合方法为特征级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
对所述预处理后的图像进行切分，得到多张切分子图像；
根据各所述切分子图像中的颜色确定每张所述切分子图像中的各颜色区域；
计算所述各颜色区域在对应的切分子图像中的占比；
根据所述占比在所述切分子图像中确定重点切分子图像，其中，所述重点切分子图像对应的占比大于预设占比阈值；
对所述重点切分子图像进行像素级图像融合处理，得到重点子融合图像；
对所述切分子图像中的其它非重点切分子图像进行像素级图像融合处理，得到非重点子融合图像；
将所述重点子融合图像和所述非重点子融合图像进行拼接，并对拼接位置进行像素级图像融合处理，得到所述初始融合图像。
5.根据权利要求1所述的方法，其特征在于，若所述目标多聚焦图像融合方法为决策级多聚焦图像融合方法，根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，包括：
对所述预处理后的图像按照颜色进行分层，得到多个颜色分层；
对每个所述颜色分层中的颜色区域进行标记，得到颜色区域轮廓，并确定所述颜色区域轮廓的位置、面积和所述颜色区域轮廓中对应的颜色；
根据所述颜色区域轮廓的位置和面积在预设窗口中绘制所述颜色区域轮廓，并基于所述颜色区域轮廓中对应的颜色在绘制的所述颜色区域轮廓中填充目标颜色，得到局部优化图像，其中，所述目标颜色为所述颜色区域轮廓中对应的颜色的预设比例的灰度值；
将所述局部优化图像与所述预处理后的图像进行融合，得到所述初始融合图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据用户需求将所述初始融合图像或对所述预处理后的图像进行融合处理时产生的中间图像作为所述目标融合图像进行输出。
7.一种多聚焦图像的融合装置，其特征在于，包括：
获取和预处理单元，用于获取待融合多聚焦图像，并对所述待融合多聚焦图像进行预处理，得到预处理后的图像；
融合处理单元，用于根据用户选择的目标多聚焦图像融合方法对所述预处理后的图像进行融合处理，得到初始融合图像，其中，所述目标多聚焦图像融合方法包括以下任一种：像素级多聚焦图像融合方法、特征级多聚焦图像融合方法和决策级多聚焦图像融合方法；
校验单元，用于对所述初始融合图像进行校验，以确定所述初始融合图像的质量是否合格，其中，所述校验包括：信息熵的校验、标准差的校验、空间频率的校验和平均梯度的校验；
返回执行单元，用于若所述初始融合图像的质量不合格，则将所述初始融合图像作为所述待融合多聚焦图像，返回执行对所述待融合多聚焦图像进行预处理的步骤，直至所述初始融合图像的质量合格为止；
设定单元，用于若所述初始融合图像的质量合格，则将所述初始融合图像作为目标融合图像进行输出；
其中，若所述目标多聚焦图像融合方法为像素级多聚焦图像融合方法，所述融合处理单元还用于：通过对所述预处理后的图像横纵向分割的方式，对所述预处理后的图像进行像素点扩充，得到所述预处理后的图像的扩充后的像素点；对所述扩充后的像素点进行压缩整合，得到平面像素点云，并对所述平面像素点云进行切分，得到多个平面像素点云区域；对每个所述平面像素点云区域中的相邻的像素点进行关联，并在所述相邻的像素点之间的距离大于预设值时，在所述相邻的像素点之间进行补点操作，得到多个优化后的平面像素点云区域；统计各个所述优化后的平面像素点云区域中像素点的数量，并统计所述预处理后的图像中对应区域中像素点的数量，其中，所述对应区域为所述预处理后的图像中与各个所述优化后的平面像素点云区域对应的区域；根据每个所述优化后的平面像素点云区域中像素点的数量和所述预处理后的图像中对应区域中的像素点的数量确定各个所述优化后的平面像素点云区域对应的模糊程度；将所述预处理后的图像与多个所述优化后的平面像素点云区域进行重叠比对，并基于各个所述优化后的平面像素点云区域对应的模糊程度对每个所述优化后的平面像素点云区域的像素点进行二次优化，得到多个二次优化后的平面像素点云区域；将多个所述二次优化后的平面像素点云区域与所述预处理后的图像进行融合，得到所述初始融合图像。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211330687.6A CN115393243B (zh) | 2022-10-28 | 2022-10-28 | 多聚焦图像的融合方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211330687.6A CN115393243B (zh) | 2022-10-28 | 2022-10-28 | 多聚焦图像的融合方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115393243A CN115393243A (zh) | 2022-11-25 |
| CN115393243B true CN115393243B (zh) | 2023-02-24 |
Family
ID=84115131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211330687.6A Active CN115393243B (zh) | 2022-10-28 | 2022-10-28 | 多聚焦图像的融合方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393243B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116226821B (zh) * | 2023-05-04 | 2023-07-18 | 成都致学教育科技有限公司 | 一种教学数据中台管理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| KR102402677B1 (ko) * | 2021-06-15 | 2022-05-26 | (주)지큐리티 | 영상 융합 방법 및 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101717371B1 (ko) * | 2015-08-31 | 2017-03-16 | 왕용진 | 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체 |
| CN106228528B (zh) * | 2016-07-29 | 2019-09-27 | 华北电力大学 | 一种基于决策图与稀疏表示的多聚焦图像融合方法 |
| CN112200887B (zh) * | 2020-10-10 | 2023-08-01 | 北京科技大学 | 一种基于梯度感知的多聚焦图像融合方法 |
| KR102388831B1 (ko) * | 2021-02-09 | 2022-04-21 | 인천대학교 산학협력단 | 지능형 다중 초점 영상 융합 장치 및 방법 |
-
2022
- 2022-10-28 CN CN202211330687.6A patent/CN115393243B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| KR102402677B1 (ko) * | 2021-06-15 | 2022-05-26 | (주)지큐리티 | 영상 융합 방법 및 장치 |
Non-Patent Citations (7)
| Title |
|---|
| VAE-Fuse: 一种无监督的多聚焦融合模型;邬开俊;《西安电子科技大学学报》;20220928;第49卷(第6期);原文第2页 * |
| 一种基于Curvelet变换的彩色图像融合算法;高战立等;《中国计量学院学报》;20131215(第04期);全文 * |
| 一种基于像素清晰度的多聚焦图像融合方法;范文涛等;《郑州轻工业学院学报(自然科学版)》;20091215(第06期);全文 * |
| 像素级分块逼近的多聚焦图像融合方法;瞿光祥等;《计算机工程与应用》;20120721(第21期);全文 * |
| 基于分层模型的图像快速融合方法研究;魏利胜等;《系统仿真学报》;20160608;第28卷(第06期);原文第1372-1378页 * |
| 基于点扩散函数的多聚焦图像融合方法;梅益君等;《计算机工程》;20071005(第19期);全文 * |
| 多聚焦图像融合的多小波选择方法研究;周立俭等;《通信技术》;20080510(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115393243A (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Image dehazing using adaptive bi-channel priors on superpixels | |
| CN106780392B (zh) | 一种图像融合方法及装置 | |
| TWI573433B (zh) | 優化深度資訊的方法與裝置 | |
| CN109636732A (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
| CN107209931B (zh) | 颜色校正装置和方法 | |
| WO2012074361A1 (en) | Method of image segmentation using intensity and depth information | |
| US9406140B2 (en) | Method and apparatus for generating depth information | |
| CN108682039B (zh) | 一种双目立体视觉测量方法 | |
| CN104182952B (zh) | 多聚焦序列图像融合方法 | |
| KR20150116833A (ko) | 에지-보존 잡음 억제 기능을 갖는 이미지 프로세서 | |
| CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
| US20220172331A1 (en) | Image inpainting with geometric and photometric transformations | |
| CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
| JP6914734B2 (ja) | シルエット抽出装置、方法およびプログラム | |
| CN106485670A (zh) | 图像处理设备及图像处理方法 | |
| CN115393243B (zh) | 多聚焦图像的融合方法、装置和电子设备 | |
| Haq et al. | An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images | |
| CN111932601A (zh) | 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| Wu et al. | Reflectance-guided, contrast-accumulated histogram equalization | |
| CN105574844A (zh) | 辐射响应函数估计方法和装置 | |
| Dimiccoli et al. | Hierarchical region-based representation for segmentation and filtering with depth in single images | |
| CN105894068B (zh) | Fpar卡设计与快速识别定位方法 | |
| CN111476810B (zh) | 图像边缘检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |