CN117710233A - 一种内窥图像的景深扩展方法及装置 - Google Patents

Abstract

本发明公开了一种内窥图像的景深扩展方法及装置，该方法包括接收不同聚焦平面对应的原始图像；设计编码‑解码网络模型用于获取内窥图像的底层特征；利用高维空间频率对底层特征进行焦点度量分析得到初始决策图以及初始融合图像；同时确定边界区域范围并据此设计边界度量指标修复焦面边界过渡，得到最终的融合图像。该装置主要包括图像采集模块，图像融合模块，图像修复模块，图像显示模块。本发明降低了图像融合方法在实际内窥镜系统应用中对不同相机采集的图像之间的高配准要求，并且可有效地实现内窥镜系统的景深扩展，为医生临床诊断提供技术支持；本发明在景深扩展性能、处理速度和性价比等方面均优于现有景深扩展系统。

Description

一种内窥图像的景深扩展方法及装置

技术领域

本发明涉及内窥镜技术领域，具体涉及一种内窥图像的景深扩展方法及装置。

背景技术

内窥镜是现代医学中一类非常重要的医疗仪器，其高分辨率和放大倍数能够帮助医生直接清晰地看到人体目标器官和组织的形态，根据其病变情况对疾病做出快速且准确的诊断。但也是由于医学内窥镜系统对清晰度的高要求，需要外置光源以及大镜头光圈，且目标物距较短，导致了镜头景深较小的缺陷，无法对实时显示画面中器官不同深度组织同时清晰成像，这个问题会极大程度的影响到手术中医生对组织病变的判断，甚至影响手术效果。为了对场景进行全面分析和理解，医生在手术过程中，需要来回调节焦距进行观察，并且因操作者的记忆能力的不同，可能会造成来回重复观察的情况，花费大量时间。综上，研究有效的医用内窥镜景深拓展技术具有重要意义。

多聚焦图像融合是一种有效地、低代价地扩展光学镜头景深的技术，其融合图像可以等同于是使用具有无限景深的镜头拍摄的图像，从而扩展了观察景深的范围。现有的多聚焦图像融合方法对原始的待融合图像的位姿一致性要求较高，对于已预处理好的完全配准图像其融合效果理想，但在医生实际操作内窥镜的过程中，由于不可控的外界因素影响，相机采集到的图像大多存在位置偏移和亮度变化，同时内窥图像存在纹理弱的特性，导致现有的多聚焦图像融合方法并不能对实际内窥镜应用中采集的图像进行有效融合。

现有的多聚焦图像融合方法主要有：(1)对已预配准的到图像进行处理。这种假设在实际系统应用中并不适用。(2)对未配准的图像，先进行配准处理，再将其进行融合。但是针对内窥镜场景，其图像纹理特征较弱且同一特征点在不同图像中表现为实焦和虚焦的状态，特征点匹配会比较困难和耗时。(3)对存在局部小范围的未配准图像，同时进行融合和配准处理。这种方式较为高效，但其只适用于细微偏移的未配准情况，无法适合于实际内窥图像存在明显偏移的情况。综上所述，如若直接将内窥图像进行融合，其视觉效果会出现明显边界伪影或失真，无法为医生临床应用提供有效的技术支持。

发明内容

针对现有技术的不足，本发明提供了一种内窥图像的景深扩展方法及装置；解决了医生手术中存在着来回反复操作导致的治疗时间比较长的技术问题。

为实现上述目的，本发明提供了一种内窥图像的景深扩展方法，包括如下步骤：

（1）接收不同聚焦平面对应的原始内窥图像；

（2）将原始内窥图像输入编码-解码网络模型，通过训练编码-解码网络模型获取原始内窥图像的高维底层特征；

（3）利用高维空间频率对步骤（2）获得的高维底层特征进行焦点度量分析，得到初始决策图及边界区域范围；

（4）根据步骤（3）获得的初始决策图生成初始融合图像，以及根据边界区域范围生成边界区域图；

（5）根据步骤（4）获得的边界区域图设计边界度量指标，修复焦面边界过渡；得到最终的融合图像。

进一步地，所述编码-解码网络模型包含编码网络和解码网络；所述编码网络包括第一模块和第二模块，所述第一模块包含卷积层、批归一化和线性整流函数，第一模块的卷积层中使用的第一个卷积核的大小为7×7，该卷积核用于扩大感知场，第二个卷积核的大小为5×5；第二模块在第一模块的基础上添加scSE注意力机制，且第二模块采用密集连接操作；所述编码网络中不添加池化层；所述解码网络包括四个卷积层，每个卷积层利用一个大小为3×3的卷积核进行通道降维用以重建输入图像。

进一步地，所述编码-解码网络模型的损失函数的表达式为：

；

式中，、/>、/>分别表示像素损失、结构相似性损失、边缘信息损失，/>、/>、/>分别表示用来调控像素损失/>、结构相似性损失/>、边缘信息损失/>的权重；有以下表达式：

；

式中，表示图像高度，/>表示图像宽度，/>表示网络输入图像，/>表示网络输出图像，/>表示网络输入图像与网络输出图像的结构相似性指数，/>表示/>的梯度，表示/>的梯度，/>表示l1范数。

进一步地，所述步骤（3）具体为：在多通道上计算每个图像像素点的高维空间频率，对图像底层特征进行多维度焦点度量分析，得到初始决策图D及边界区域范围B；有以下表达式：

；

；

；

式中，表示空间频率，/>表示列矢量频率，/>表示行矢量频率，表示图像向量坐标，/>表示核半径，/>为滑动窗口步长，G为高维深度特征，/>和/>均表示原始内窥图像，k为阈值。

进一步地，所述步骤（4）具体为：将初始决策图与对应的原始内窥图像按位相乘，并将得到的结果进行累加，得到初始融合图像，再根据边界区域范围生成边界区域图；有以下表达式：

；

；

式中，表示初始融合图像，/>表示边界区域图。

进一步地，所述步骤（5）具体为：使初始融合图像边界区域的每个像素点与原始内窥图像的相应区域匹配，修复未配准情况下融合边界的信息以及视觉效果，得到最终的融合图像；有以下表达式：

；

其中，为待修复的区域，/>、/>均为边界区域范围生成的相关的原始图像区域图，/>为决策区域图。

为实现上述目的，本发明提供了一种内窥图像的景深扩展装置，包括：

图像采集模块，用于接收内窥镜系统不同聚焦平面对应的原始内窥图像；

图像融合模块，用于获取原始内窥图像的高维底层特征，并根据高维底层特征进行焦点度量分析，生成初始融合图像；

图像修复模块，用于对初始融合图像进行边界信息修复及视觉效果改善，生成最终的融合图像；

图像显示模块，用于实时显示内窥镜系统中的灰度或彩色的融合图像。

进一步地，所述图像采集模块包括：捕捉内窥镜系统中不同相机的图像并进行暂时性存储，判断不同相机是否有采集到同一视场下的图像，若是，则将图像输入到图像融合模块；否则重新采集图像。

进一步地，所述图像融合模块包括：

特征提取单元，用于根据编码网络获取原始内窥图像的高维底层特征；

特征焦点度量单元，用于通过高维空间频率对高维底层特征进行焦点度量分析；

错误特征点检测单元，用于剔除误判焦点小区域，得到初始决策图；

特征融合单元，将初始决策图与对应的原始内窥图像按位相乘，得到初始融合图像。

进一步地，所述图像修复模块包括：

边界区域检测单元，用于根据对比图像的高维特征频率，确定边界区域；

边界区域修复单元，用于根据边界度量指标修复焦面边界过渡效果。

相对于现有技术，本发明的有益效果如下：

1、本发明解决了现有内窥镜系统无法同时实现近景与远景同时清晰成像的问题，使得医生可以实时获得全聚焦图像，对患病部位进行全面诊查，从而辅助其进行疾病诊断。

2、本发明降低了对原始的待融合图像的位姿一致性的高要求，更符合实际应用需求，并且针对内窥图像弱纹理特征也能进行有效识别，可以快速对由于不可控的外界因素影响导致位置偏移和亮度变化的模糊内窥图像进行景深扩展，自动合成一幅清晰的内窥图像，医生无需任何额外操作，可更专注于手术本身，不仅能够降低治疗时间，还能够提高患者体验。同时该算法时间复杂度和空间复杂度都很低，实现仅需非常低的硬件成本，易于工程化推广应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种内窥图像的景深扩展方法的流程图；

图2是本发明方法中编码-解码网络框架结构图；

图3是本发明方法中第一种工况下的景深扩展结果图；

图4是本发明方法中第二种工况下的景深扩展结果图；

图5是本发明方法中第三种工况下的景深扩展结果图；

图6是本发明一种内窥图像的景深扩展装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供了一种内窥图像的景深扩展方法，包括：

S1：同时接收内窥镜系统不同聚焦平面对应的原始内窥图像；

S2：设计一个编码-解码网络模型，并将原始图像作为输入，通过训练编码-解码网络模型用于获取原始内窥图像的高维底层特征；针对于内窥镜成像，现实中很难获得大量的实验全聚焦实况图像作为真值标签进行有监督网络训练，所以设计的编码-解码网络模型为无监督学习模型，弱化对样本数据标签的依赖性。

如图2所示，编码-解码网络模型包含编码网络和解码网络。编码网络包括2个结构模块，模块一包含卷积层（Convolution）、批归一化(Batch Normalization，BN)和线性整流函数(ReLU)操作，模块一的卷积层中使用的第一个卷积核的大小是7×7，该大尺寸卷积核用于扩大感知场，第二个卷积核的大小是5×5。模块二在模块一的基础上添加了scSE注意力机制（scSE attention），scSE注意力机制可通过显式建模信道之间的相互依赖性来自适应地重新校准信道特性响应，来增强有意义的特征。并且模块二采用密集连接操作，简化编码网络传播难度并最大程度的保留特征信息。同时为了不损失内窥图像的自身特征，编码网络中没有添加任何池化层。解码网络包括4个卷积层，每层利用一个大小为3×3的卷积核进行通道降维用以重建输入图像。

编码-解码网络模型的网络训练损失函数由三部分组成，包括像素损失、结构相似性(SSIM)损失以及边缘信息损失。其中、/>、/>分别表示用来调控像素损失、结构相似性(SSIM)损失以及边缘信息损失的权重。网络训练的损失函数/>的表达式如下：

像素损失衡量了网络输入图像和输出图像之间的像素差异，通过优化像素损失可以使输入输出图像在欧氏空间上具有更近的距离。结构相似性损失/>衡量了两张图像在亮度、对比度以及结构相关性三个方面的相似程度，通过优化结构相似性损失/>可以降低输出图像视觉效果上的失真。边缘信息损失/>衡量了两张图像的纹理信息，针对内窥图像纹理弱的特性，加强纹理细节保留。有以下表达式：

式中，表示图像高度，/>表示图像宽度，/>表示网络输入图像，/>表示网络输出图像，/>表示网络输入图像与网络输出图像的结构相似性指数，/>表示/>的梯度，表示/>的梯度，/>表示l1范数。

当编码-解码网络模型通过损失函数进行网络训练完成后，仅通过网络（编码-解码网络模型）的编码器即可实时获取内窥图像的高维底层特征。

S3：利用高维空间频率对步骤S2获得的高维底层特征进行焦点度量分析；具体为：计算基于图像像素的高维空间频率，在多通道上直接计算每个像素点的高维空间频率，对图像底层特征进行多维度焦点度量分析，相比于单通道具有更丰富的特征信息，具体公式如下：

式中，表示空间频率，/>表示列矢量频率，/>表示行矢量频率，表示图像向量坐标，/>表示核半径，/>为滑动窗口步长，G为由编码器捕获的高维深度特征。

经过上述分析后，得到初始决策图D及需处理的边界区域范围B，具体公式如下：

其中，和/>均表示原始内窥图像，k为阈值，且k可根据具体内窥镜系统景深需求设计。

S4：根据步骤S3获得的初始决策图生成初始融合图像F以及边界区域范围生成边界区域图，具体为：将步骤S3得到的初始决策图与对应的原始内窥图像按位相乘，并将得到的结果进行累加，从而得到初始融合图像；同时根据步骤S3得到的边界区域范围生成相关边界区域图，公式如下：

式中，表示初始融合图像，/>表示边界区域图。

S5：根据步骤S4获得的边界区域图设计边界度量指标，修复焦面边界过渡，具体为：使初始融合图像边界区域的每个像素点与原始的清晰内窥图像的相应区域高度相似，修复未配准情况下融合边界的信息以及视觉效果，得到最终的融合图像。

优化公式如下：

其中作为待修复的区域，/>、/>均为边界区域范围生成的相关的原始内窥图像区域图，/>为决策区域图。

图3、图4、图5分别为本发明的方法在不同工况下的景深扩展结果图，从图中可以看出，本发明的方法能很好的提供等同于大景深内窥镜系统拍摄的图像，解决了医生使用内窥镜过程中存在着的来回反复操作导致无法迅速诊断病灶的技术问题。同时本发明方法的时间复杂度和空间复杂度都很低，是一种泛化能力高、融合效果好的实时融合方法。

如图6所示，本发明提供了一种内窥图像的景深扩展装置，包括：

图像采集模块10，用于接收内窥镜系统不同聚焦平面对应的原始图像。

图像融合模块20，用于获取原始内窥图像的高维底层特征，并根据高维底层特征进行焦点度量分析，生成初始融合图像。

图像修复模块30，用于对初始融合图像进行边界信息修复及视觉效果改善，生成最终的融合图像。

图像显示模块40，用于实时显示内窥镜系统大景深图像，大景深图像为最终的融合图像。

具体地，图像采集模块10包括：捕捉内窥镜系统中不同相机的图像并进行暂时性存储，判断内窥镜系统不同相机是否有采集到同一视场下的图像，如果是，则输入到图像融合模块20；如果否，则重新采集图像。

具体地，图像融合模块20包括：

特征提取单元，根据编码网络获取原始内窥图像的高维底层特征。

特征焦点度量单元，利用高维空间频率对高维底层特征进行焦点度量分析。

错误特征点检测单元，用于剔除误判焦点小区域，得到初始决策图。

特征融合单元，将初始决策图与对应的原始内窥图像按位相乘，得到初始融合图像数据。

具体地，图像修复模块30包括：

边界区域检测单元，根据对比图像高维特征频率，确定边界区域。

边界区域修复单元，根据边界度量指标修复焦面边界过渡效果。

具体地，图像显示模块40包括：根据用户需求，实时显示符合医生视觉感知的融合图像，并可选择显示灰度图像或者彩色图像，可根据用户需要进行实时冻结存储。

需要说明的是，上述装置和系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种内窥图像的景深扩展方法，其特征在于，包括如下步骤：

（1）接收不同聚焦平面对应的原始内窥图像；

（2）将原始内窥图像输入编码-解码网络模型，通过训练编码-解码网络模型获取原始内窥图像的高维底层特征；

（3）利用高维空间频率对步骤（2）获得的高维底层特征进行焦点度量分析，得到初始决策图及边界区域范围；

（4）根据步骤（3）获得的初始决策图生成初始融合图像，以及根据边界区域范围生成边界区域图；

（5）根据步骤（4）获得的边界区域图设计边界度量指标，修复焦面边界过渡；得到最终的融合图像。

2.根据权利要求1所述的内窥图像的景深扩展方法，其特征在于，所述编码-解码网络模型包含编码网络和解码网络；所述编码网络包括第一模块和第二模块，所述第一模块包含卷积层、批归一化和线性整流函数，第一模块的卷积层中使用的第一个卷积核的大小为7×7，该卷积核用于扩大感知场，第二个卷积核的大小为5×5；第二模块在第一模块的基础上添加scSE注意力机制，且第二模块采用密集连接操作；所述编码网络中不添加池化层；所述解码网络包括四个卷积层，每个卷积层利用一个大小为3×3的卷积核进行通道降维用以重建输入图像。

3.根据权利要求1所述的内窥图像的景深扩展方法，其特征在于，所述编码-解码网络模型的损失函数的表达式为：

；

式中，、/>、/>分别表示像素损失、结构相似性损失、边缘信息损失，/>、/>、/>分别表示用来调控像素损失/>、结构相似性损失/>、边缘信息损失/>的权重；有以下表达式：

；

式中，表示图像高度，/>表示图像宽度，/>表示网络输入图像，/>表示网络输出图像，表示网络输入图像与网络输出图像的结构相似性指数，/>表示/>的梯度，/>表示/>的梯度，/>表示l1范数。

4.根据权利要求1所述的内窥图像的景深扩展方法，其特征在于，所述步骤（3）具体为：在多通道上计算每个图像像素点的高维空间频率，对图像底层特征进行多维度焦点度量分析，得到初始决策图D及边界区域范围B；有以下表达式：

；

；

；

式中，表示空间频率，/>表示列矢量频率，/>表示行矢量频率，/>表示图像向量坐标，/>表示核半径，/>为滑动窗口步长，G为高维深度特征，/>和/>均表示原始内窥图像，k为阈值。

5.根据权利要求1所述的内窥图像的景深扩展方法，其特征在于，所述步骤（4）具体为：将初始决策图与对应的原始内窥图像按位相乘，并将得到的结果进行累加，得到初始融合图像，再根据边界区域范围生成边界区域图；有以下表达式：

；

；

式中，表示初始融合图像，/>表示边界区域图。

6.根据权利要求1所述的内窥图像的景深扩展方法，其特征在于，所述步骤（5）具体为：使初始融合图像边界区域的每个像素点与原始内窥图像的相应区域匹配，修复未配准情况下融合边界的信息以及视觉效果，得到最终的融合图像；有以下表达式：

；

其中，为待修复的区域，/>、/>均为边界区域范围生成的相关的原始图像区域图，/>为决策区域图。

7.一种内窥图像的景深扩展装置，其特征在于，包括：

图像采集模块，用于接收内窥镜系统不同聚焦平面对应的原始内窥图像；

图像融合模块，用于获取原始内窥图像的高维底层特征，并根据高维底层特征进行焦点度量分析，生成初始融合图像；

图像修复模块，用于对初始融合图像进行边界信息修复及视觉效果改善，生成最终的融合图像；

图像显示模块，用于实时显示内窥镜系统中的灰度或彩色的融合图像。

8.根据权利要求7所述的内窥图像的景深扩展装置，其特征在于，所述图像采集模块包括：捕捉内窥镜系统中不同相机的图像并进行暂时性存储，判断不同相机是否有采集到同一视场下的图像，若是，则将图像输入到图像融合模块；否则重新采集图像。

9.根据权利要求7所述的内窥图像的景深扩展装置，其特征在于，所述图像融合模块包括：

特征提取单元，用于根据编码网络获取原始内窥图像的高维底层特征；

特征焦点度量单元，用于通过高维空间频率对高维底层特征进行焦点度量分析；

错误特征点检测单元，用于剔除误判焦点小区域，得到初始决策图；

特征融合单元，将初始决策图与对应的原始内窥图像按位相乘，得到初始融合图像。

10.根据权利要求7所述的内窥图像的景深扩展装置，其特征在于，所述图像修复模块包括：

边界区域检测单元，用于根据对比图像的高维特征频率，确定边界区域；

边界区域修复单元，用于根据边界度量指标修复焦面边界过渡效果。