CN113012174B - 一种图像融合方法、系统及设备 - Google Patents

一种图像融合方法、系统及设备 Download PDF

Info

Publication number
CN113012174B
CN113012174B CN202110456039.4A CN202110456039A CN113012174B CN 113012174 B CN113012174 B CN 113012174B CN 202110456039 A CN202110456039 A CN 202110456039A CN 113012174 B CN113012174 B CN 113012174B
Authority
CN
China
Prior art keywords
image
focusing
images
region
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110456039.4A
Other languages
English (en)
Other versions
CN113012174A (zh
Inventor
付威威
裴融浩
张洋
姚康
张贺童
丁上上
邬丹丹
郑田莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110456039.4A priority Critical patent/CN113012174B/zh
Publication of CN113012174A publication Critical patent/CN113012174A/zh
Application granted granted Critical
Publication of CN113012174B publication Critical patent/CN113012174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像融合方法、系统及设备，其中，所述方法包括：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。本发明提供的技术方案，能够减少需要处理的数据量，从而提高图像融合的时效性。

Description

一种图像融合方法、系统及设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像融合方法、系统及设备。
背景技术
景深是光学系统中保持物体成像清晰时，最远距离和最近距离之间的差值。受到景深小的限制，当物体处于最佳聚焦平面时，会得到较清晰的成像结果。而当物体所处的位置与最佳聚焦平面有偏差，得到的成像结果可能会出现不同程度的模糊。
为了从算法层面提高镜头的景深，当前可以采用图像融合算法来提高图像的成像清晰度。其中，一种方式可以对显微图像中的各个图像块进行清晰度评价，并根据评价结果确定模糊种子块，同时利用区域生长技术对模糊区域和清晰区域完成划分，再将多幅显微图像的清晰区域按照融合规则融合。然而这种方法需要将源图像人为地分割成众多小块，然后遍历每个小块做清晰度评价与对比，这个过程的耗时无疑是漫长的。同时小块的大小将直接影响模糊区域和清晰区域的划分精度，如果小块过大，容易造成块效应和不完美边界；如果小块过小，又会极大地增加数据处理的数量。
另一种方式认为，显微图像在聚焦位置处的像素清晰度最高，亮度最小，反之，显微图像在非聚焦位置处的清晰度较低，但亮度较高。因此可以对所有源图像中的像素值进行比较，取每个像素位置处的最小像素值作为最佳像素值，依次遍历所有像素后，便得到了融合后的图像。这种方法需要对源图像中的所有像素进行遍历，其计算量无疑是巨大的，难以达到实时融合的效果。
可见，现有技术中的图像融合方法，都存在数据计算量较大，时效性较差的缺陷。
发明内容
有鉴于此，本发明实施方式提供了一种图像融合方法、系统及设备，能够减少需要处理的数据量，从而提高图像融合的时效性。
本发明一方面提供了一种图像融合方法，所述方法包括：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。
本发明另一方面还提供图像融合系统，所述系统包括：分割图像生成单元，用于获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；最佳聚焦确定单元，用于识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；融合单元，用于从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。
本发明另一方面还提供一种图像融合设备，所述图像融合设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的图像融合方法。
本发明另一方面还提供一种计算机存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的图像融合方法。
本申请提供的技术方案，针对待融合的多个源图像，可以分别识别出各个源图像中的聚焦区域，形成标记了聚焦区域的分割图像。该聚焦区域内的图像，可以认为是成像结果比较清晰的图像。而非聚焦区域内的图像，成像结果可以出现不同程度的模糊。
部分分割图像中的聚焦区域可能会出现重合的情况，为了得到整张成像结果都清晰的全聚焦图像，首先可以针对重合的聚焦子区域确定最佳聚焦区域图像，这些最佳聚焦区域图像可以被融合至基础图像中。对于基础图像中成像不清晰的部分，可以基于其它分割图像的聚焦区域对应的图像进行融合，从而保证融合后的全聚焦图像中，每个区域都具备较清晰的成像结果。
由上可见，本申请提供的技术方案，不需要对源图像中所有的像素点进行逐个分析，也不需要将源图像划分为若干个小块进行分析，从而避免了大量数据的计算过程，极大地提升了图像融合的效率。此外，在基础图像的基础上，结合最佳聚焦区域图像和其它分割图像中聚焦区域的图像，能够保证融合后的全聚焦图像中各个区域的清晰度都较高，从而保障了图像融合的效果。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明一个实施方式中图像融合方法的步骤示意图；
图2示出了本发明一个实施方式中图像融合方法的流程示意图；
图3示出了本发明一个实施方式中语义分割模型的结构示意图；
图4(a)示出了本发明一个实施方式中训练过程中准确度的曲线示意图；
图4(b)示出了本发明一个实施方式中训练过程中损失的曲线示意图；
图5示出了本发明一个实施方式中全聚焦图像的示意图；
图6示出了本发明一个实施方式中图像融合系统的功能模块示意图；
图7示出了本发明一个实施方式中图像融合设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1和图2，本申请一个实施方式提供的图像融合方法，可以包括以下多个步骤。
S1：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像。
在本实施方式中，可以采用显微镜快速位移平台，针对被观测样本，从显微镜的最佳聚焦平面以及位于最佳聚焦平面以上和/或以下的多个位置进行采集，从而得到多个待融合的源图像。每个源图像中都至少包括聚焦区域和非聚焦区域。其中，聚焦区域对应的图像可以是成像清晰的图像，而非聚焦区域对应图像都会存在一定程度的模糊。
在本实施方式中，对于不同的源图像而言，由于对应的是不同的采集位置，因此包含的聚焦区域也可能不一致。举例来说，在利用显微镜对癌细胞采集病理显微图像时，处于最佳聚焦平面上采集的图像中，聚焦区域可能位于图像的中间；而处于最佳聚焦平面上方采集的图像中，聚焦区域可能位于图像的左侧。可见，尽管是针对相同的被观测样本进行图像采集，由于采集位置的不同，从而可以得到聚焦区域不完全相同的多个源图像。
当然，以上利用显微镜对被观测样本进行源图像的采集，只是本申请一个具体应用场景中的采集方式。在实际应用中，还可以采用不同的图像采集装置，对不同的被观测样本进行源图像的采集，本申请对此并不做限定。
在本实施方式中，在采集得到多个源图像后，为了便于后续的图像融合，可以分别识别出各个源图像中的聚焦区域。具体地，可以采用语义分割模型(M-SegNet)，对源图像中的聚焦区域进行标记，从而区分出聚焦区域和非聚焦区域。请参阅图3，该语义分割模型可以是基于U-Nets网络的基本架构设计的，其结构包含编码器和解码器两部分。其中，编码器可以对输入的源图像进行特征提取和降维，通过池化层增大感受野，同时图片的维度变小。解码器可以对编码器输出的结果进行上采样和特征还原。在具体实现时，可以将轻量化的MobileNet网络的前四层作为解码器，MobileNet网络的前四层可以是深度可分卷积层，这样，在语义分割模型的解码器中能够基于深度可分卷积构建特征提取层，在保证足够精度的前提下，可以大幅提高算法效率。
如图3所示，在语义分割模型的解码器中，位于深度可分卷积层之前，还可以包含卷积层和激活函数层，其中，卷积层中可以集成补零(Zeropad)、卷积以及分布化(BatchNorm)的功能。
在实际应用中，该语义分割模型需要经过训练才能准确地对输入的源图像进行聚焦区域的识别。在训练过程中，考虑到目前并没有公开的训练样本集，因此需要自主构建训练过程中所需使用的训练样本集。在一个实施方式中，首先可以从显微镜的最佳聚焦平面以及位于所述最佳聚焦平面以上和/或以下的多个位置采集基础样本图像。例如，可以在最佳聚焦平面采集一张基础样本图像(记为B)，处于最佳聚焦平面以上的位置可以采集两张基础样本图像(记为U1和U2)，处于最佳聚焦平面以下的位置也可以采集两张基础样本图像(D1和D2)。在得到这多张基础样本图像后，可以基于不同模糊核对最佳聚焦平面上采集得到的基础样本图(B)像进行局部模糊处理，从而生成局部模糊图像。例如，可以分别采用标准差为2、4、8、16、32的高斯滤波器对处于最佳聚焦平面上的基础样本图像进行局部模糊处理，进而能够得到五张具备不同模糊程度的局部模糊图像。这样，从上述的多个位置采集得到的多张基础样本图像和生成的多张局部模糊图像，就可以作为语义分割模型在训练过程中的训练样本集。
当然，在实际应用中，为了保证训练样本集中的样本量足够多，可以选择包括淋巴结腺癌、淋巴结转移性癌、肉瘤癌、结肠类癌、直肠腺癌、肾母癌、甲状腺乳头癌等在内的30类癌细胞的病理显微图片作为基本图像数据库。每一类癌细胞都进行10个(或者更多)不同位置的显微图像采集，其中，每一个位置又包含有通过上述方式产生的10张(或者更多张)不同聚焦程度的显微图像。最终，便可以构建出样本数量足够多、样本丰富度足够大、各类样本之间分布均衡的训练样本集。
利用上述构建的训练样本集对语义分割模型进行训练，并利用训练得到的语义分割模型对输入的源图像进行预测，从而识别并标记出源图像中的聚焦区域，语义分割模型输出的就可以是标记了聚焦区域的分割图像。例如在图3中，输出图像中右侧区域便是标记出的聚集区域。
在一个具体应用示例中，为了提高模型训练精度，可以使用随机梯度下降的方式来训练模型，并使用损失函数focal loss对编码器中每个电平的输出进行深度监督。在训练过程中，可以设置batch size为16，epochs为50，学习速率为0.001。此外，还可以设置学习率下降和设置早停。其中，设置学习率下降可以指，如果val_loss三次不下降便将学习率下降为原来的10％。设置早停可以指，当发现loss相比上一个epoch训练没有下降，则经过10个epoch后停止训练。最终可以得到图4所示的训练结果。图4(a)可以表示训练和校验的准确度(Accuracy)，图4(b)可以表示训练和校验过程中的损失(loss)。其中，横坐标都是epoch，纵坐标分别是准确度和损失。可见，在经过有限的多个epoch后，训练和校验的精度会趋于在100％附近稳定，损失也趋近于0。
S2：识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像。
在本实施方式中，针对每一张源图像，都可以采用上述的方式识别其中的聚焦区域，由于每张源图像都是对相同的被观测样本拍摄得到的，因此识别出的聚焦区域可能会出现部分重合的情况。为了提高最终融合的全聚焦图像的清晰度，针对发生重合的部分，可以选用最清晰的图像(最佳聚焦区域图像)进行融合。
具体地，可以两两对比任意两张分割图像中标记出的聚焦区域，从而识别出分割图像中发生重合的聚焦子区域。需要说明的是，通过对所有的分割图像中的聚焦区域进行对比，得到的聚焦子区域的数量可能会不止一个，并且每个聚焦子区域可能会出现于2张或者多于2张的分割图像中。那么针对各个聚焦子区域，都需要确定各自的最佳聚焦区域图像。
在一个实施方式中，在确定其中任意一个聚焦子区域的最佳聚焦区域图像时，首先可以确定包含该聚焦子区域的目标分割图像，该目标分割图像的数量可以是2张或者多于2张。针对每一张目标分割图像，可以在目标分割图像中识别聚焦子区域的轮廓上包含的边缘点。
在一个实施方式中，边缘点的识别过程可以通过像素判定值来实现。具体地，针对聚焦子区域的轮廓上待识别的当前像素点，计算该当前像素点的像素判定值，该像素判定值可以基于当前像素点在邻域内的像素均值和聚焦子区域对应的像素均值之间的大小关系确定。若当前像素点的像素判定值在指定方向上大于与其相邻的其它像素点的像素判定值，判定所述当前像素点为边缘点。其中，该指定方向可以指水平方向和垂直方向。
在一个具体应用示例中，当前像素点在邻域内的水平像素均值可以表示为：
Dh(x,y)＝|f(x,y+1)-f(x,y-1)|
其中，Dh(x,y)表示当前像素点(x，y)在邻域内的水平像素均值，f(x,y+1)和f(x,y-1)表示在水平方向上与当前像素点相邻的两个像素点的像素值。
聚焦子区域对应的水平像素均值Dh-mean可以表示为：
其中，M和N表示聚焦子区域在水平方向和垂直方向的像素点数量。
如果当前像素点的Dh(x,y)大于Dh-mean，则该当前像素点就是一个候选的边缘点。该当前像素点的像素判定值Ch(x,y)可以表示为：
如果当前像素点的像素判定值Ch(x,y)比水平方向两个相邻的像素点的像素判定值{Ch(x,y-1),Ch(x,y+1)}都大，则该当前像素点就被确认为一个边缘点。边缘点Eh(x,y)的判断值可以表示为：
其中，判断值为1可以表示当前像素点为边缘点，判断值为0表示当前像素点不是边缘点。
为了检测当前边缘点是否模糊，可以确定边缘点分别在水平方向和垂直方向对应的第一判定值和第二判定值，若所述第一判定值和所述第二判定值中的较大值小于指定阈值，则可以判定所述边缘点为模糊的边缘点。
在一个具体应用示例中，基于上述的计算结果，可以定义水平方向的第一判定值BRh(x,y)为：
同理，按照上述的方式，可以得到垂直方向的第二判定值BRv(x,y)，最终，判断边缘点是否模糊的公式可以表示为：
其中，B(x,y)为1时，表征当前像素点为模糊的边缘点，B(x,y)为0时，表征当前像素点为清晰的边缘点，ThB为上述的指定阈值。
按照上述的方式，可以在目标分割图像中判断聚焦子区域的轮廓上各个边缘点是否为模糊的边缘点，并可以统计模糊的边缘点的数量在边缘点的总数量之中的占比。该占比越小，表示在目标分割图像中的边缘越清晰，聚焦子区域对应的图像的清晰度也会越高。因此，可以在占比最小的目标分割图像中，将聚焦子区域对应的图像作为确定出的最佳聚焦区域图像。
针对每个重合的聚焦子区域，都可以按照上述的方案，确定出各自的最佳聚焦区域图像，这些最佳聚焦区域图像的清晰度都是最高的，后续可以用于图像融合。
S3：从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。
在本实施方式中，在进行图像融合时，为了减少融合的数据量，可以先从分割图像中筛选出聚焦区域最大的一个基础图像(基图)，然后，可以将各个最佳聚焦区域图像融合至基础图像中。融合的过程可以理解为利用最佳聚焦区域图像覆盖基础图像中的对应区域。在将最佳聚焦区域图像融合至基础图像中之后，针对基础图像中的其它非聚焦区域，可以从除该基础图像以外的其它分割图像中查找对应的聚焦区域图像，并将查找到的聚焦区域图像融合至基础图像中，最终便可以得到融合后的全聚焦图像。在该全聚焦图像中，各个区域的成像都是清晰的。
举例来说，图5是融合后的全聚焦图像，其中，区域1和区域4是基于最佳聚焦区域图像融合后的结果，区域2是基础图像中原先的聚焦区域，区域3和区域5在基础图像中，原先是非聚焦区域。其中，区域3在第二张分割图像中是成像清晰的聚焦区域，因此可以将第二张分割图像中的这部分图像融合至基础图像中。同理，区域5在第四张分割图像中是成像清晰的聚焦区域，因此可以将第四张分割图像中的这部分图像融合至基础图像中，最终就可以得到区域1至5均清晰成像的全聚焦图像。
在实际应用中，上述的聚焦区域的识别和最佳聚焦区域图像的确定过程，与图像融合的过程可以并行处理，从而提高整体的融合效率。值得注意的是，上述实施方式以融合五幅非全聚焦的显微图像为例，但本领域技术人员应当知晓，本申请技术方案的融合对象数量实际上并不受限，融合对象的类型也不受限，理论上可以对任意类型、任意数量的待融合图像进行融合。
请参阅图6，本申请还提供一种图像融合系统，所述系统包括：
分割图像生成单元，用于获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；
最佳聚焦确定单元，用于识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；
融合单元，用于从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。
请参阅图7，本申请还提供一种图像融合设备，所述图像融合设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的图像融合方法。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请还提供一种计算机存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的图像融合方法。
本申请提供的技术方案，针对待融合的多个源图像，可以分别识别出各个源图像中的聚焦区域，形成标记了聚焦区域的分割图像。该聚焦区域内的图像，可以认为是成像结果比较清晰的图像。而非聚焦区域内的图像，成像结果可以出现不同程度的模糊。
部分分割图像中的聚焦区域可能会出现重合的情况，为了得到整张成像结果都清晰的全聚焦图像，首先可以针对重合的聚焦子区域确定最佳聚焦区域图像，这些最佳聚焦区域图像可以被融合至基础图像中。对于基础图像中成像不清晰的部分，可以基于其它分割图像的聚焦区域对应的图像进行融合，从而保证融合后的全聚焦图像中，每个区域都具备较清晰的成像结果。
由上可见，本申请提供的技术方案，不需要对源图像中所有的像素点进行逐个分析，也不需要将源图像划分为若干个小块进行分析，从而避免了大量数据的计算过程，极大地提升了图像融合的效率。此外，在基础图像的基础上，结合最佳聚焦区域图像和其它分割图像中聚焦区域的图像，能够保证融合后的全聚焦图像中各个区域的清晰度都较高，从而保障了图像融合的效果。
本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种图像融合方法，其特征在于，所述方法包括：
获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；
识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；
从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像；
针对所述聚焦子区域确定最佳聚焦区域图像包括：
确定包含所述聚焦子区域的目标分割图像，并在所述目标分割图像中识别所述聚焦子区域的轮廓上包含的边缘点；
判断所述边缘点是否模糊，并统计模糊的边缘点的数量在边缘点的总数量之中的占比；
在占比最小的目标分割图像中，将所述聚焦子区域对应的图像作为所述最佳聚焦区域图像；
在所述基础图像的基础上进行图像融合包括：
将各个所述最佳聚焦区域图像融合至所述基础图像中；
针对融合了最佳聚焦区域图像的基础图像中的非聚焦区域，从除所述基础图像以外的其它分割图像中查找对应的聚焦区域图像，并将查找到的所述聚焦区域图像融合至所述基础图像中。
2.根据权利要求1所述的方法，其特征在于，所述多个源图像分别从最佳聚焦平面以及位于所述最佳聚焦平面以上和/或以下的多个位置进行采集得到，所述源图像中至少包括聚焦区域和非聚焦区域。
3.根据权利要求1所述的方法，其特征在于，识别所述源图像各自的聚焦区域包括：
将所述源图像输入预先训练得到的语义分割模型，以通过所述语义分割模型输出所述标记了聚焦区域的分割图像；
其中，所述语义分割模型中包括编码器和解码器，所述编码器中包括基于深度可分卷积构建的特征提取层，所述编码器用于对输入的所述源图像进行特征提取和降维，所述解码器用于对所述编码器输出的结果进行上采样和特征还原。
4.根据权利要求3所述的方法，其特征在于，所述语义分割模型在训练过程中的训练样本集按照以下方式构建：
从最佳聚焦平面以及位于所述最佳聚焦平面以上和/或以下的多个位置采集基础样本图像；
基于不同模糊核对所述最佳聚焦平面上采集得到的基础样本图像进行局部模糊处理，以生成局部模糊图像；
将从所述多个位置采集得到的所述基础样本图像和生成的所述局部模糊图像，作为所述语义分割模型在训练过程中的训练样本集。
5.根据权利要求1所述的方法，其特征在于，在所述目标分割图像中识别所述聚焦子区域的轮廓上包含的边缘点包括：
针对所述聚焦子区域的轮廓上待识别的当前像素点，计算所述当前像素点的像素判定值；所述像素判定值基于所述当前像素点在邻域内的像素均值和所述聚焦子区域对应的像素均值之间的大小关系确定；
若所述当前像素点的像素判定值在指定方向上大于与其相邻的其它像素点的像素判定值，判定所述当前像素点为边缘点。
6.根据权利要求1所述的方法，其特征在于，判断所述边缘点是否模糊包括：
确定所述边缘点分别在水平方向和垂直方向对应的第一判定值和第二判定值，若所述第一判定值和所述第二判定值中的较大值小于指定阈值，判定所述边缘点为模糊的边缘点。
7.一种图像融合系统，其特征在于，所述系统包括：
分割图像生成单元，用于获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；
最佳聚焦确定单元，用于识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；具体包括：确定包含所述聚焦子区域的目标分割图像，并在所述目标分割图像中识别所述聚焦子区域的轮廓上包含的边缘点；判断所述边缘点是否模糊，并统计模糊的边缘点的数量在边缘点的总数量之中的占比；在占比最小的目标分割图像中，将所述聚焦子区域对应的图像作为所述最佳聚焦区域图像；
融合单元，用于从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像；具体包括：将各个所述最佳聚焦区域图像融合至所述基础图像中；针对融合了最佳聚焦区域图像的基础图像中的非聚焦区域，从除所述基础图像以外的其它分割图像中查找对应的聚焦区域图像，并将查找到的所述聚焦区域图像融合至所述基础图像中。
8.一种图像融合设备，其特征在于，所述图像融合设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一所述的图像融合方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6中任一所述的图像融合方法。
CN202110456039.4A 2021-04-26 2021-04-26 一种图像融合方法、系统及设备 Active CN113012174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110456039.4A CN113012174B (zh) 2021-04-26 2021-04-26 一种图像融合方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110456039.4A CN113012174B (zh) 2021-04-26 2021-04-26 一种图像融合方法、系统及设备

Publications (2)

Publication Number Publication Date
CN113012174A CN113012174A (zh) 2021-06-22
CN113012174B true CN113012174B (zh) 2024-02-09

Family

ID=76380576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110456039.4A Active CN113012174B (zh) 2021-04-26 2021-04-26 一种图像融合方法、系统及设备

Country Status (1)

Country Link
CN (1) CN113012174B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115714898A (zh) * 2021-08-19 2023-02-24 Oppo广东移动通信有限公司 图像处理芯片、方法、应用处理芯片及电子设备
CN113645500B (zh) * 2021-10-15 2022-01-07 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
WO2023102724A1 (zh) * 2021-12-07 2023-06-15 宁德时代新能源科技股份有限公司 图像的处理方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182952A (zh) * 2014-08-19 2014-12-03 中国科学院西安光学精密机械研究所 多聚焦序列图像融合方法
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN109767414A (zh) * 2019-01-18 2019-05-17 湖北工业大学 一种基于灰度中位数参照的多聚焦图像融合方法
CN110334779A (zh) * 2019-07-16 2019-10-15 大连海事大学 一种基于PSPNet细节提取的多聚焦图像融合方法
CN110738677A (zh) * 2019-09-20 2020-01-31 清华大学 相机全清晰成像方法、装置与电子设备
CN111462027A (zh) * 2020-03-12 2020-07-28 中国地质大学（武汉） 基于多尺度梯度和抠图的多聚焦图像融合方法
CN112132771A (zh) * 2020-11-02 2020-12-25 西北工业大学 一种基于光场成像的多聚焦图像融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI537875B (zh) * 2015-04-08 2016-06-11 大同大學 影像合成方法與影像處理裝置
US10186023B2 (en) * 2016-01-25 2019-01-22 Qualcomm Incorporated Unified multi-image fusion approach

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182952A (zh) * 2014-08-19 2014-12-03 中国科学院西安光学精密机械研究所 多聚焦序列图像融合方法
CN107995424A (zh) * 2017-12-06 2018-05-04 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN109767414A (zh) * 2019-01-18 2019-05-17 湖北工业大学 一种基于灰度中位数参照的多聚焦图像融合方法
CN110334779A (zh) * 2019-07-16 2019-10-15 大连海事大学 一种基于PSPNet细节提取的多聚焦图像融合方法
CN110738677A (zh) * 2019-09-20 2020-01-31 清华大学 相机全清晰成像方法、装置与电子设备
CN111462027A (zh) * 2020-03-12 2020-07-28 中国地质大学（武汉） 基于多尺度梯度和抠图的多聚焦图像融合方法
CN112132771A (zh) * 2020-11-02 2020-12-25 西北工业大学 一种基于光场成像的多聚焦图像融合方法

Also Published As

Publication number Publication date
CN113012174A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113012174B (zh) 一种图像融合方法、系统及设备
Li et al. Continuous depth map reconstruction from light fields
CN108805889B (zh) 边缘引导的精细化显著性物体分割方法与系统、设备
CN109064505B (zh) 一种基于滑动窗口张量提取的深度估计方法
EP2947627A1 (en) Light field image depth estimation
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
CN111582093A (zh) 一种基于计算机视觉和深度学习的高分辨率图像中小目标自动检测方法
CN115205636B (zh) 一种图像的目标检测方法、系统、设备及存储介质
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN116222381A (zh) 电极涂层尺寸测量方法和装置
Yang et al. Raindrop removal with light field image using image inpainting
CN115100489A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
Wang et al. Improving deep stereo network generalization with geometric priors
CN116385364A (zh) 一种基于视差辅助语义分割的多级导地线缺陷识别方法
CN113888567B (zh) 一种图像分割模型的训练方法、图像分割方法及装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN112465835B (zh) 用于翡翠图像分割的方法及模型训练方法
CN117036721A (zh) 空间站显微镜的调焦方法、装置、设备、介质和程序产品
CN112489064B (zh) 一种基于边缘放缩修正的全景分割方法
RU2718429C1 (ru) Устройство обнаружения локально-стационарных областей на изображении
CN114299012A (zh) 一种基于卷积神经网络的物体表面缺陷检测方法及系统
Mei et al. A cost effective solution for road crack inspection using cameras and deep neural networks
CN113326891A (zh) 小目标对象的检测方法、系统及装置
CN111862106A (zh) 基于光场语义的图像处理方法、计算机装置、及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant