CN116993644B - 一种基于图像分割的多聚焦图像融合方法及装置 - Google Patents
一种基于图像分割的多聚焦图像融合方法及装置 Download PDFInfo
- Publication number
- CN116993644B CN116993644B CN202311254118.2A CN202311254118A CN116993644B CN 116993644 B CN116993644 B CN 116993644B CN 202311254118 A CN202311254118 A CN 202311254118A CN 116993644 B CN116993644 B CN 116993644B
- Authority
- CN
- China
- Prior art keywords
- focus
- image
- images
- target
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000000691 measurement method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000005295 random walk Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000006978 adaptation Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请公开了一种基于图像分割的多聚焦图像融合方法及装置，方法包括：基于改进U‑2‑Net对多张待融合图像进行目标分割处理，得到二值化图像，改进U‑2‑Net的特征层包括先验知识；根据二值化图像对待融合图像进行特征点配准分析，得到目标配准图像；采用焦点测量法对目标配准图像进行不同尺度的焦点度量分析，生成焦点图；通过随机游走分析算法对焦点图进行状态概率分析，得到尺度融合决策图；根据尺度融合决策图和二值化图像进行多聚焦图像融合，得到目标融合图像。本申请能够解决焦点位置选取缺乏准确性，且对齐计算难度大，导致实际的多聚焦融合效果较差的技术问题。
Description
技术领域
本申请涉及图像分析技术领域，尤其涉及一种基于图像分割的多聚焦图像融合方法及装置。
背景技术
图像融合技术是两个或多个图像进行组合，从而产生内容丰富的、更符合人眼或视觉感知的融合图像。通过这种直观的方式表达场景内的信息，进而完成信息的分析和处理。这种方法可以从一张图片中获得需要的所有特征信息，并且排除冗余信息的干扰，从而便于人眼的观察或者后续的图像处理，比如身份鉴别、目标识别、图像增强等。但有时候我们出于特定的需要，如对物体进行跟踪，这样就可能得到一定程度模糊但目标是完整的图像。
为了保留目标的整体性，目前在相关技术的应用中，往往采用焦点选择和权重分配，多聚焦融合根据不同图片选择合适的焦点位置，并为每个位置分配适当的权重；这需要考虑到物体的位置、尺寸和重要性等因素。此外，通过图像对齐和校正，消除由于相机晃动或物体移动导致的图像偏移，准确的图像对齐和校正有助于保持物体的一致性和连续性。
自动选择焦点位置和权重分配可能受到图像质量、噪声等影响，对于多个物体或复杂背景的图像，准确选择焦点位置会变得更加困难。对于现有的图像对齐，在对模糊目标的特征点计算会有较大难度，并且可能引入伪影或失真。
发明内容
本申请提供了一种基于图像分割的多聚焦图像融合方法及装置，用于解决焦点位置选取缺乏准确性，且对齐计算难度大，导致实际的多聚焦融合效果较差的技术问题。
有鉴于此，本申请第一方面提供了一种基于图像分割的多聚焦图像融合方法，包括：
基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识；
根据所述二值化图像对所述待融合图像进行特征点配准分析，得到目标配准图像；
采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图；
通过随机游走分析算法对所述焦点图进行状态概率分析，得到尺度融合决策图；
根据所述尺度融合决策图和所述二值化图像进行多聚焦图像融合，得到目标融合图像。
优选地，所述基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识，之前还包括：
在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
优选地，所述根据所述二值化图像对所述待融合图像进行特征点配准分析，得到目标配准图像，包括：
采用高斯核函数和所述二值化图像对所述待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于所述特征向量进行计算多组特征点对应的单适应矩阵，所述多组特征点在任意两个对比的所述待融合图像中选取；
依据所述单适应矩阵计算两个所述待融合图像之间的欧氏距离，并选取最小的所述欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据所述最佳单适应矩阵确定目标配准图像。
优选地，所述采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图，包括：
采用焦点测量法对所述目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出所述协方差矩阵对应的特征值后，根据所述特征值求出不同尺度的焦点度量，所述焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，两两对比所述目标配准图像对应的所述焦点度量，生成焦点图。
优选地，所述采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图，之后还包括：
采用引导滤波器对所述焦点图进行平滑滤波操作；
对平滑滤波后的所述焦点图进行闭运算操作。
本申请第二方面提供了一种基于图像分割的多聚焦图像融合装置，包括：
目标分割单元，基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识；
配准分析单元，用于根据所述二值化图像对所述待融合图像进行特征点配准分析，得到目标配准图像；
焦点测量单元，用于采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图；
融合分析单元，用于通过随机游走分析算法对所述焦点图进行状态概率分析，得到尺度融合决策图；
聚焦融合单元，用于根据所述尺度融合决策图和所述二值化图像进行多聚焦图像融合，得到目标融合图像。
优选地，还包括：
改进训练单元，用于在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
优选地，所述配准分析单元，具体用于：
采用高斯核函数和所述二值化图像对所述待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于所述特征向量进行计算多组特征点对应的单适应矩阵，所述多组特征点在任意两个对比的所述待融合图像中选取；
依据所述单适应矩阵计算两个所述待融合图像之间的欧氏距离，并选取最小的所述欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据所述最佳单适应矩阵确定目标配准图像。
优选地，所述焦点测量单元，具体用于：
采用焦点测量法对所述目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出所述协方差矩阵对应的特征值后，根据所述特征值求出不同尺度的焦点度量，所述焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，两两对比所述目标配准图像对应的所述焦点度量，生成焦点图。
优选地，还包括：
滤波单元，用于采用引导滤波器对所述焦点图进行平滑滤波操作；
运算单元，用于对平滑滤波后的所述焦点图进行闭运算操作。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种基于图像分割的多聚焦图像融合方法，包括：基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，改进U-2-Net的特征层包括先验知识；根据二值化图像对待融合图像进行特征点配准分析，得到目标配准图像；采用焦点测量法对目标配准图像进行不同尺度的焦点度量分析，生成焦点图；通过随机游走分析算法对焦点图进行状态概率分析，得到尺度融合决策图；根据尺度融合决策图和二值化图像进行多聚焦图像融合，得到目标融合图像。
本申请提供的一种基于图像分割的多聚焦图像融合方法，采用改进U-2-Net对待融合图像进行目标分割处理，通过二值化分割使得获取的图像包含感兴趣目标区域；而且在特征层添加先验知识能够较大程度的提升目标的分割准确性；此外，基于二值化图像对待融合图像进行特征点配准分析，可以避免目标相对位置偏移导致难以准确的选取到焦点位置的问题；况且配准过程是基于图像间的特征点计算，计算过程简单易执行；而采用尺度融合决策图与二值化图像进行多聚焦图像融合操作则可以保留目标更加完整的信息，提高了目标融合图像的特征表达能力。因此，本申请能够解决焦点位置选取缺乏准确性，且对齐计算难度大，导致实际的多聚焦融合效果较差的技术问题。
附图说明
图1为本申请实施例提供的一种基于图像分割的多聚焦图像融合方法的流程示意图；
图2为本申请实施例提供的一种基于图像分割的多聚焦图像融合装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种基于图像分割的多聚焦图像融合方法的实施例，包括：
步骤101、基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，改进U-2-Net的特征层包括先验知识。
进一步地，步骤101，之前还包括：
在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
本实施例中目标分割的网络框架是U-2-Net，为了分割后得到我们关注的目标信息，所以在初始U-2-Net的特征层添加了先验知识，选择合适的大小、宽高比的先验框，这样既能满足对模糊目标物体的识别和分割，又能减少对先验知识的利用时间，从而提高计算效率。
可以理解的是，添加先验知识的U-2-Net模型也需要进行预训练操作，得到可以直接用于实际场景中的改进U-2-Net。二值化图像是黑白二值图，尺寸为（行，列，3），图像都是3通道，所以得到的二值化图像也是3通道，便于后续的分析计算。每个待融合图像都可以得到对应的二值化图像，例如本实施例中包含两张待融合图像，标记为图像A和图像B。
步骤102、根据二值化图像对待融合图像进行特征点配准分析，得到目标配准图像。
进一步地，步骤102，包括：
采用高斯核函数和二值化图像对待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于特征向量进行计算多组特征点对应的单适应矩阵，多组特征点在任意两个对比的待融合图像中选取；
依据单适应矩阵计算两个待融合图像之间的欧氏距离，并选取最小的欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据最佳单适应矩阵确定目标配准图像。
需要说明的是，由于物体在不同时间、不同角度或者不同拍摄设备的情况下，不可避免的会发生位置相对偏移，所以本实施例基于二值化图像对待融合图像进行配准分析。
高斯核函数可以自适应调整尺度参数，从而提取待融合图像中的不同尺度上的特征点；而且基于二值化图像和高斯核函数提取特征点可以设置自适应ratio；在模糊目标及其周围小部分区域降低ratio，通过二值化图像和高斯核函数获取更多的特征点；在其他区域则可以提高ratio，这样可以减少特征点匹配时间，从而尽快提取到有效特征点，得到特征向量。此外，每个待融合图像都可以通过这样的特征点提取的方法生成多个不同的特征向量。具体特征表达过程为：
；
；
其中，为二维空间下的高斯核函数，/>为当前计算的像素点位置，/>为图像尺度系数，也称作模糊系数，/>为输入图像，即待融合图像，为特征点提取处理后的结果，可以表示成不同的特征向量。
可以理解的是，以本实施例的图像A和图像B为例，每个待融合图像都可以获取到多种尺度的特征向量，配准比对的目标对象就是融合图像自身，即图像A与图像B，所以组特征点是分别从图像A对应的特征点和图像B对应的特征点表达中选取。本实施例中一组特征点为4对，以穷举法可以获取多组这样的组特征点对应的特征向量。然后，根据一组4对特征点对应的特征向量可以进行单适应矩阵计算：
；
其中，、/>是图像B中的特征点和图像A中的特征点，实质意义就是以图像A为基准，将图像B中对应位置的特征点基于单适应矩阵/>进行位置调整，得到图像A中对应特征点的位置，实现配准。在确定图像A和图像B的4对特征向量的情况下，可以计算出单适应矩阵/>；而且，不同组特征点对可以计算出多个不同的单适应矩阵/>。
对于当前计算出的单适应矩阵，将图像B的所有特征点都基于这个单适应矩阵进行特征点位置调整，将得到的新的特征点与图像A中的对应位置的特征点计算欧氏距离；若是图像A和图像B的单适应矩阵为最佳，那么基于单适应矩阵计算出的新的特征点会十分接近图像A的特征点位置，反之，则说明选取的4对特征点不匹配，不属于对应位置上的点。所有的单适应矩阵都可以基于欧氏距离分析两个待融合图像之间选取的4对特征点是否匹配，匹配程度，最后可以将最小欧氏距离对应的单适应矩阵作为最佳单适应矩阵。
最佳单适应矩阵可以反映图像A和图像B之间的点映射关系，此时待融合图像A和B即可以根据最佳单适应矩阵完成配准，以其中一个较为清晰的图像为基准，调整其他图像的点位置，实现图像矫正。配准后可以对所有的待融合图像进行分割处理，得到目标配准图像，便于后续分析计算。
步骤103、采用焦点测量法对目标配准图像进行不同尺度的焦点度量分析，生成焦点图。
进一步地，步骤103，包括：
采用焦点测量法对目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出协方差矩阵对应的特征值后，根据特征值求出不同尺度的焦点度量，焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，两两对比目标配准图像对应的焦点度量，生成焦点图。
需要说明的是，本实施例采用焦点测量法确定焦点图选取了两个代表性尺度，即小尺度和大尺度，且焦点测量是基于结构的；目标配准图像需要进行x方向和y方向上的梯度分解，得到和/>，那么焦点测量的计算过程可以表达为：
；
其中，为高斯核，是可以调整的变量，通过改变高斯核进行不同尺度的高斯计算，/>为协方差矩阵。
计算协方差矩阵的特征值后，协方差矩阵可以表达为：
；
其中，、/>为协方差矩阵的两个特征值，/>。
焦点度量的计算过程表达为：
；
对于示例待融合图像A和B，每个图像可以对应得到小尺度焦点度量和大尺度焦点度量，基于相同尺度，可以对两个图像进行对比，即小尺度焦点度量比较和大尺度焦点度量比较。比较方式表达为：
；
其中，为偏差值，/>、/>分别表示第n张和第1张图像的焦点度量，本实施例选取/>作为基准，满足条件的图像赋值为1，即保留对应图像；那么可知，小尺度和大尺度最终各自可以保留一张图，即生成的焦点图。
进一步地，步骤103，之后还包括：
采用引导滤波器对焦点图进行平滑滤波操作；
对平滑滤波后的焦点图进行闭运算操作。
为了更好的保留焦点图的边缘和细节信息，本实施例采用引导滤波器对焦点图进行平滑滤波处理，用于优化焦点图。此外，引导滤波器会不可避免的受到焦点图中错误配准或者其他检测问题的影响，所以本实施例还需要对焦点图进行形态学上的计算，即闭运算，通过闭运算可以修复主体图中的坑坑洼洼，填补小裂缝，使得图像中的目标更加完整。闭运算计算过程为：
；
其中，是输入图像，/>是结构元，结构元可以分析提取图中的特征，/>、/>分别表示膨胀运算和腐蚀运算。
步骤104、通过随机游走分析算法对焦点图进行状态概率分析，得到尺度融合决策图。
随机游走分析算法是先表达问题状态空间，在本实施例中是两个状态空间，即小尺度焦点图和大尺度焦点图，针对不同状态，定义当前状态转移到其他状态的概率分布，然后进行随机选择和迭代，继而对两种状态图进行尺度融合，得到尺度融合决策图，这也是本实施例需要得到的目标决策图。
步骤105、根据尺度融合决策图和二值化图像进行多聚焦图像融合，得到目标融合图像。
多聚焦图像融合过程可以基于示例图像A和B描述；然后基于图像A在尺度融合决策图中提取特征信息；基于图像B在尺度融合决策图中提取另一些特征信息；组合这些特征信息就可以得到目标融合图像。具体的计算是图像A与尺度融合决策图点乘；图像B与求尺度融合决策图求反的结果点乘，将两个点乘结果相加后，再分别与二值化图像和二值化图像求反结果点乘，将再次点乘的结果相加即可得到目标融合图像。这样的特征信息提取方法可以保留目标的整体信息，使得融合图像具有更加丰富的价值。
本申请实施例提供的一种基于图像分割的多聚焦图像融合方法，采用改进U-2-Net对待融合图像进行目标分割处理，通过二值化分割使得获取的图像包含感兴趣目标区域；而且在特征层添加先验知识能够较大程度的提升目标的分割准确性；此外，基于二值化图像对待融合图像进行特征点配准分析，可以避免目标相对位置偏移导致难以准确的选取到焦点位置的问题；况且配准过程是基于图像间的特征点计算，计算过程简单易执行；而采用尺度融合决策图与二值化图像进行多聚焦图像融合操作则可以保留目标更加完整的信息，提高了目标融合图像的特征表达能力。因此，本申请实施例能够解决焦点位置选取缺乏准确性，且对齐计算难度大，导致实际的多聚焦融合效果较差的技术问题。
为了便于理解，请参阅图2，本申请提供了一种基于图像分割的多聚焦图像融合装置的实施例，包括：
目标分割单元201，基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，改进U-2-Net的特征层包括先验知识；
配准分析单元202，用于根据二值化图像对待融合图像进行特征点配准分析，得到目标配准图像；
焦点测量单元203，用于采用焦点测量法对目标配准图像进行不同尺度的焦点度量分析，生成焦点图；
融合分析单元204，用于通过随机游走分析算法对焦点图进行状态概率分析，得到尺度融合决策图；
聚焦融合单元205，用于根据尺度融合决策图和二值化图像进行多聚焦图像融合，得到目标融合图像。
进一步地，还包括：
改进训练单元206，用于在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
进一步地，配准分析单元202，具体用于：
采用高斯核函数和二值化图像对待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于特征向量进行计算多组特征点对应的单适应矩阵，多组特征点在任意两个对比的待融合图像中选取；
依据单适应矩阵计算两个待融合图像之间的欧氏距离，并选取最小的欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据最佳单适应矩阵确定目标配准图像。
进一步地，焦点测量单元203，具体用于：
采用焦点测量法对目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出协方差矩阵对应的特征值后，根据特征值求出不同尺度的焦点度量，焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，两两对比目标配准图像对应的焦点度量，生成焦点图。
进一步地，还包括：
滤波单元207，用于采用引导滤波器对焦点图进行平滑滤波操作；
运算单元208，用于对平滑滤波后的焦点图进行闭运算操作。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (6)
1.一种基于图像分割的多聚焦图像融合方法，其特征在于，包括：
基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识；
根据所述二值化图像对所述待融合图像进行特征点配准分析，得到目标配准图像，特征点配准分析具体过程为：
采用高斯核函数和所述二值化图像对所述待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于所述特征向量计算多组特征点对应的单适应矩阵，所述多组特征点在任意两个对比的所述待融合图像中选取；
依据所述单适应矩阵计算两个所述待融合图像之间的欧氏距离，并选取最小的所述欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据所述最佳单适应矩阵确定目标配准图像；
采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图，焦点度量分析具体过程为：
采用焦点测量法对所述目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出所述协方差矩阵对应的特征值后，根据所述特征值求出不同尺度的焦点度量，所述焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，对比两个不同所述目标配准图像对应的所述焦点度量，生成焦点图；
通过随机游走分析算法对所述焦点图进行状态概率分析，得到尺度融合决策图；
根据所述尺度融合决策图和所述二值化图像进行多聚焦图像融合，得到目标融合图像。
2.根据权利要求1所述的基于图像分割的多聚焦图像融合方法，其特征在于，所述基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识，之前还包括：
在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
3.根据权利要求1所述的基于图像分割的多聚焦图像融合方法，其特征在于，所述采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图，之后还包括：
采用引导滤波器对所述焦点图进行平滑滤波操作；
对平滑滤波后的所述焦点图进行闭运算操作。
4.一种基于图像分割的多聚焦图像融合装置，其特征在于，包括：
目标分割单元，基于改进U-2-Net对多张待融合图像进行目标分割处理，得到二值化图像，所述改进U-2-Net的特征层包括先验知识；
配准分析单元，用于根据所述二值化图像对所述待融合图像进行特征点配准分析，得到目标配准图像，所述配准分析单元，具体用于：
采用高斯核函数和所述二值化图像对所述待融合图像进行不同尺度特征点提取，得到多个特征向量；
基于所述特征向量进行计算多组特征点对应的单适应矩阵，所述多组特征点在任意两个对比的所述待融合图像中选取；
依据所述单适应矩阵计算两个所述待融合图像之间的欧氏距离，并选取最小的所述欧氏距离对应的单适应矩阵作为最佳单适应矩阵；
根据所述最佳单适应矩阵确定目标配准图像；
焦点测量单元，用于采用焦点测量法对所述目标配准图像进行不同尺度的焦点度量分析，生成焦点图，所述焦点测量单元，具体用于：
采用焦点测量法对所述目标配准图像进行不同尺度的计算，得到协方差矩阵；
计算出所述协方差矩阵对应的特征值后，根据所述特征值求出不同尺度的焦点度量，所述焦点度量包括小尺度焦点度量和大尺度焦点度量；
在相同尺度下，对比两个不同所述目标配准图像对应的所述焦点度量，生成焦点图；
融合分析单元，用于通过随机游走分析算法对所述焦点图进行状态概率分析，得到尺度融合决策图；
聚焦融合单元，用于根据所述尺度融合决策图和所述二值化图像进行多聚焦图像融合，得到目标融合图像。
5.根据权利要求4所述的基于图像分割的多聚焦图像融合装置，其特征在于，还包括：
改进训练单元，用于在初始U-2-Net的特征层添加先验知识后，对模型进行目标分割训练，得到改进U-2-Net。
6.根据权利要求4所述的基于图像分割的多聚焦图像融合装置，其特征在于，还包括：
滤波单元，用于采用引导滤波器对所述焦点图进行平滑滤波操作；
运算单元，用于对平滑滤波后的所述焦点图进行闭运算操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254118.2A CN116993644B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像分割的多聚焦图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311254118.2A CN116993644B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像分割的多聚焦图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993644A CN116993644A (zh) | 2023-11-03 |
| CN116993644B true CN116993644B (zh) | 2024-01-19 |
Family
ID=88527016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311254118.2A Active CN116993644B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像分割的多聚焦图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993644B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564559A (zh) * | 2018-03-14 | 2018-09-21 | 北京理工大学 | 一种基于两尺度聚焦图的多聚焦图像融合方法 |
| KR20200080966A (ko) * | 2018-12-27 | 2020-07-07 | 인천대학교 산학협력단 | 다초점 이미지 융합 방법 |
| CN111462027A (zh) * | 2020-03-12 | 2020-07-28 | 中国地质大学（武汉） | 基于多尺度梯度和抠图的多聚焦图像融合方法 |
| CN116385477A (zh) * | 2022-12-15 | 2023-07-04 | 佳源科技股份有限公司 | 一种基于图像分割的杆塔图像配准方法 |
| CN116579958A (zh) * | 2023-03-10 | 2023-08-11 | 重庆邮电大学 | 区域差异先验引导的深度神经网络的多聚焦图像融合方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101220413B1 (ko) * | 2010-10-15 | 2013-01-09 | 중앙대학교 산학협력단 | 다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법 |
| CN112529951A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 扩展景深图像的获取方法、装置及电子设备 |
-
2023
- 2023-09-27 CN CN202311254118.2A patent/CN116993644B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564559A (zh) * | 2018-03-14 | 2018-09-21 | 北京理工大学 | 一种基于两尺度聚焦图的多聚焦图像融合方法 |
| KR20200080966A (ko) * | 2018-12-27 | 2020-07-07 | 인천대학교 산학협력단 | 다초점 이미지 융합 방법 |
| CN111462027A (zh) * | 2020-03-12 | 2020-07-28 | 中国地质大学（武汉） | 基于多尺度梯度和抠图的多聚焦图像融合方法 |
| CN116385477A (zh) * | 2022-12-15 | 2023-07-04 | 佳源科技股份有限公司 | 一种基于图像分割的杆塔图像配准方法 |
| CN116579958A (zh) * | 2023-03-10 | 2023-08-11 | 重庆邮电大学 | 区域差异先验引导的深度神经网络的多聚焦图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| Robust Multi-Focus Image Fusion Using Multi-Task Sparse Representation and Spatial Context;Qiang Zhang et al;《IEEE Transactions on Image Processing》;第25卷(第5期);第2045-2058页 * |
| 基于双尺度分解与随机游走的多聚焦图像融合方法;李小苗 等;《激光与光电子学进展》;第59卷(第22期);第1-8页 * |
| 基于多聚焦图像融合的小孔内表面缺陷检测;牛群遥 等;《计算机应用》;36(10);第2912-2915, 2921页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993644A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11361459B2 (en) | Method, device and non-transitory computer storage medium for processing image | |
| Li et al. | Fast multi-scale structural patch decomposition for multi-exposure image fusion | |
| Yan et al. | Attention-guided network for ghost-free high dynamic range imaging | |
| Fu et al. | Uncertainty inspired underwater image enhancement | |
| JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
| CN112200887B (zh) | 一种基于梯度感知的多聚焦图像融合方法 | |
| Ruan et al. | Aifnet: All-in-focus image restoration network using a light field-based dataset | |
| CN110147816B (zh) | 一种彩色深度图像的获取方法、设备、计算机存储介质 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| Wang et al. | Efficient video deblurring guided by motion magnitude | |
| CN113112439B (zh) | 图像融合方法、图像融合模型的训练方法、装置和设备 | |
| Geng et al. | Cervical cytopathology image refocusing via multi-scale attention features and domain normalization | |
| Shao et al. | Nonparametric blind super-resolution using adaptive heavy-tailed priors | |
| CN116993644B (zh) | 一种基于图像分割的多聚焦图像融合方法及装置 | |
| Alvarez-Gila et al. | Self-supervised blur detection from synthetically blurred scenes | |
| Zhang et al. | A two-stage restoration of distorted underwater images using compressive sensing and image registration | |
| Pei et al. | Focus measure for synthetic aperture imaging using a deep convolutional network | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 | |
| Zhu et al. | Learning Spatio-Temporal Sharpness Map for Video Deblurring | |
| CN112634298B (zh) | 图像处理方法及装置、存储介质、终端 | |
| Li et al. | Hybrid warping fusion for video frame interpolation | |
| Xue et al. | Bwin: A bilateral warping method for video frame interpolation | |
| CN107194931A (zh) | 一种基于双目图像匹配获取目标深度信息的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |