CN109840941B

CN109840941B - 一种内窥镜探测物体的表面重建方法及系统

Info

Publication number: CN109840941B
Application number: CN201910125011.5A
Authority: CN
Inventors: 尹大龙; 刘连新
Original assignee: Individual
Current assignee: Anhui Provincial Hospital First Affiliated Hospital of USTC
Priority date: 2019-02-20
Filing date: 2019-02-20
Publication date: 2023-01-24
Anticipated expiration: 2039-02-20
Also published as: CN109840941A

Abstract

本发明公开了一种内窥镜探测物体的表面重建方法及系统，涉及图像处理技术领域，用于表面重构图像，解决了现有技术中内窥镜通过进行表面重建而得到的3D图像的精度较低且无法达到实际应用要求的问题，其包括：获取3D内窥镜的探测图像；对所述探测图像进行预处理，得到预处理图像；根据已构建的多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构，得到原始图像；在所述多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督从而提高了内窥镜在进行表面重建得到的3D图像精度，并且使3D图像精度能够达到实际应用的要求。

Description

一种内窥镜探测物体的表面重建方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种内窥镜探测物体的表面重建方法及系统。

背景技术

在一些科学研究及工业应用上，经常出现有人们的视线看不到的地方而导致科学研究或工业应用无法继续的情况，而随着科技的发展，内窥镜的出现很好的解决了上述情况。

在内窥镜出现的前期，内窥镜的视野成像为2D图像，而常规2D图像的内窥镜视野有限，缺乏深度感和触觉力反馈，因此在遇到上述情况时，也会给科学研究或工业应用带来一些不便；然而现在出现了3D内窥镜，3D内窥镜提供一个目标在两个视角下的图像，从而创建一个3D模型，最终使得内窥镜能够3D成像。

然而，由于内窥镜需要探测的环境可能存在边界模糊、表现差异性大及弱纹理的情况，需要科研人员或工作人员手工设计需要获取的图像上的特征，而考虑到科研人员或工作人员的知识范围及精力等方面的原因，使得手工设计的图像上的特征很稀疏，从而使得内窥镜在进行表面重建而得到的3D图像精度较低而无法达到实际应用的要求。

发明内容

本发明的主要目的在于提供一种内窥镜探测物体的表面重建方法及系统，旨在解决现有技术中内窥镜通过进行表面重建而得到的3D图像的精度较低且无法达到实际应用的要求的技术问题。

为实现上述目的，本发明第一方面提供一种内窥镜探测物体的表面重建方法，包括：获取3D内窥镜的探测图像；对所述探测图像进行预处理，得到预处理图像；根据已构建的多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构，得到原始图像；在所述多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督。

进一步地，所述对所述探测图像进行预处理，得到预处理图像包括：根据标准图像设定阈值；根据所述阈值对所述探测图像进行矫正及标准化。

进一步地，构建所述多层次的自编码深度卷积神经网络包括：构建编码器，所述编码器用于对预处理图像进行编码，并在编码的过程中对预处理图像进行降维，得到预处理图像编码；构建解码器，所述解码器用于对预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构预处理图像的原始图像。

进一步地，所述在所述自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督包括：根据所述预处理图像生成与预处理图像相反的预测图像；根据所述多层次的自编码深度卷积神经网络对所述预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；根据所述多层次的自编码深度卷积神经网络对所述预测图像编码进行解码，并在解码的过程中进行升维操作，表面重构预测图像的原始图像；对比所述预处理图像的原始图像及所述预测图像的原始图像，对所述自编码深度卷积神经网络进行监督。

进一步地，所述构建所述多层次的自编码深度卷积神经网络还包括：将所述编码器及所述解码器之间的连接设定为跳跃连接，以使解码器的输入直接来自于编码器的输出；设定约束条件，以对所述解码器输出的不同尺度的图像进行重建约束、平滑约束及左右一致性约束。

本发明第二方面提供一种内窥镜探测物体的表面重建系统，包括：探测图像获取模块，用于获取3D内窥镜的探测图像；图像预处理模块，用于对探测图像进行预处理，得到预处理图像；图像重构模块，用于根据已构建的多层次的自编码深度卷积神经网络模块对预处理图像进行表面重构，得到原始图像；监督模块，用于在多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督。

进一步地，构建所述多层次的自编码深度卷积神经网络模块包括：编码单元，用于构建编码器对预处理图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预处理图像编码；解码单元，用于构建解码器对预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构预处理图像的原始图像。

进一步地，所述监督模块包括：预测图像生成单元，用于根据预处理图像生成与预处理图像相反的预测图像；预测图像编码单元，用于根据所述多层次的自编码深度卷积神经网络模块对预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；预测图像解码单元，用于根据所述多层次的自编码深度卷积神经网络模块对预测图像编码进行解码，并在解码的过程中进行升维操作，重构预测图像的原始图像；对比单元，用于对比预处理图像的原始图像及预测图像的原始图像，对自编码深度卷积神经网络进行监督。

本发明第三方面提供一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现上述中的任意一项所述方法。

本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述中的任意一项所述方法。

本发明提供一种内窥镜探测物体的表面重建方法及系统，有益效果在于：多层次的自编码深度卷积神经网络能够对输入的图像自动进行处理，从而在将预处理后的图像输入多层次的自编码深度卷积神经网络后，能够自动获取图像上的特征，从而无需手工设计图像上的特征，从而提高了内窥镜在进行表面重建得到的3D图像精度，并且使3D图像精度能够达到实际应用的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例内窥镜探测物体的表面重建方法的流程示意图；

图2为本发明实施例内窥镜探测物体的表面重建系统的结构示意框图；

图3为本发明实施例电子装置的结构示意框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为一种内窥镜探测物体的表面重建方法，包括：S1、获取3D内窥镜的探测图像；S2、对探测图像进行预处理，得到预处理图像；S3、根据已构建的多层次的自编码深度卷积神经网络对预处理图像进行表面重构，得到原始图像；S4、在多层次的自编码深度卷积神经网络对预处理图像进行表面重构时进行监督；在本实施例中，3D内窥镜为腹腔镜，相应地，在腹腔镜使用时有操控腹腔镜的机器人。

对探测图像进行预处理，得到预处理图像包括：根据标准图像设定阈值；根据阈值对探测图像进行矫正及标准化，得到预处理图像；在本实施例中，阈值设定为25-255对所有的探测图像进行处理，在将矫正及标准化的探测图像及标准图像的相似度在25-255内时，停止对探测图像的矫正及标准化。

构建多层次的自编码深度卷积神经网络包括：构建编码器，编码器用于对预处理图像进行编码，并在编码的过程中对预处理图像进行降维，得到预处理图像编码；构建解码器，解码器用于对预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构预处理图像的原始图像。

具体地，编码器选用VGG16及Resnet的深度卷积神经网络，深度卷积神经网络的激励函数选用ELU，通过Adam梯度下降法训练模型，从而自动学习高阶特征实现降维；解码器由14个反卷积层和Unpooling层组成，从而实现降维，表面重构原图像。

在多层次的自编码深度卷积神经网络对预处理图像进行表面重构时进行监督包括：根据预处理图像生成与预处理图像相反的预测图像；根据多层次的自编码深度卷积神经网络对预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；根据多层次的自编码深度卷积神经网络对预测图像编码进行解码，并在解码的过程中进行升维操作，表面重构预测图像的原始图像；对比预处理图像的原始图像及预测图像的原始图像，对自编码深度卷积神经网络进行监督。

在训练多层次的自编码深度卷积神经网络时，使用空间转换网络STN的双线性采样器，从预处理图像的相反图像上采样，生成具有反向映射的预测图像。

构建多层次的自编码深度卷积神经网络还包括：将编码器及解码器之间的连接设定为跳跃连接，以使解码器的输入直接来自于编码器的输出；设定约束条件，以对解码器输出的不同尺度的图像进行重建约束、平滑约束及左右一致性约束；在本实施例中，解码器输出四种不同尺度的图像。

请参阅图2，本申请提供一种内窥镜探测物体的表面重建系统，包括：探测图像获取模块1、图像预处理模块2、图像重构模块3及监督模块4；探测图像获取模块1用于获取3D内窥镜的探测图像；图像预处理模块2用于对探测图像进行预处理，得到预处理图像；图像重构模块3用于根据已构建的多层次的自编码深度卷积神经网络模块对预处理图像进行表面重构，得到原始图像；监督模块4用于在多层次的自编码深度卷积神经网络对预处理图像进行表面重构时进行监督。

构建多层次的自编码深度卷积神经网络模块包括：编码单元及解码单元；编码单元用于构建编码器对预处理图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预处理图像编码；解码单元用于构建解码器对预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构预处理图像的原始图像。

构建多层次的自编码深度卷积神经网络模块还包括：连接单元及约束单元；连接单元用于将编码器及解码器之间的连接设定为跳跃连接，以使解码器的输入直接来自于编码器的输出；约束单元用于设定约束条件，以对解码器输出的不同尺度的图像进行重建约束、平滑约束及左右一致性约束。

监督模块4包括：预测图像生成单元、预测图像编码单元、预测图像解码单元及对比单元；预测图像生成单元用于根据预处理图像生成与预处理图像相反的预测图像；预测图像编码单元用于根据多层次的自编码深度卷积神经网络模块对预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；预测图像解码单元用于根据多层次的自编码深度卷积神经网络模块对预测图像编码进行解码，并在解码的过程中进行升维操作，重构预测图像的原始图像；对比单元，用于对比预处理图像的原始图像及预测图像的原始图像，对自编码深度卷积神经网络进行监督。

图像预处理模块2包括：阈值设定模块及矫正模块；阈值设定模块用于根据标准图像设定阈值；矫正模块用于根据阈值对探测图像进行矫正及标准化，得到预处理图像。

本申请实施例提供一种电子装置，请参阅3，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的内窥镜探测物体的表面重建方法。

进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。

上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。

其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。

存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的内窥镜探测物体的表面重建方法。

进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种内窥镜探测物体的表面重建及系统的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims

1.一种内窥镜探测物体的表面重建方法，其特征在于，包括：

获取3D内窥镜的探测图像；

对所述探测图像进行预处理，得到预处理图像；

根据已构建的多层次的自编码深度卷积神经网络的编码器对所述预处理图像进行编码，并在编码的过程中对所述预处理图像进行降维，得到预处理图像编码；以及，根据所述自编码深度卷积神经网络的解码器对所述预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构所述预处理图像的原始图像；

在所述多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督。

2.根据权利要求1所述的内窥镜探测物体的表面重建方法，其特征在于，

所述对所述探测图像进行预处理，得到预处理图像包括：

根据标准图像设定阈值；

根据所述阈值对所述探测图像进行矫正及标准化，得到预处理图像。

3.根据权利要求1所述的内窥镜探测物体的表面重建方法，其特征在于，

所述在所述多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督包括：

根据所述预处理图像生成与预处理图像相反的预测图像；

根据所述多层次的自编码深度卷积神经网络对所述预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；

根据所述多层次的自编码深度卷积神经网络对所述预测图像编码进行解码，并在解码的过程中进行升维操作，表面重构预测图像的原始图像；

对比所述预处理图像的原始图像及所述预测图像的原始图像，对所述自编码深度卷积神经网络进行监督。

4.根据权利要求1所述的内窥镜探测物体的表面重建方法，其特征在于，还包括：

将所述编码器及所述解码器之间的连接设定为跳跃连接，以使解码器的输入直接来自于编码器的输出；

设定约束条件，以对所述解码器输出的不同尺度的图像进行重建约束、平滑约束及左右一致性约束。

5.一种内窥镜探测物体的表面重建系统，其特征在于，包括：

探测图像获取模块，用于获取3D内窥镜的探测图像；

图像预处理模块，用于对探测图像进行预处理，得到预处理图像；

图像重构模块，用于根据已构建的多层次的自编码深度卷积神经网络的编码器对所述预处理图像进行编码，并在编码的过程中对所述预处理图像进行降维，得到预处理图像编码；以及，根据所述自编码深度卷积神经网络的解码器对所述预处理图像编码进行解码，并在解码的过程中进行升维操作，表面重构所述预处理图像的原始图像；

监督模块，用于在多层次的自编码深度卷积神经网络对所述预处理图像进行表面重构时进行监督。

6.根据权利要求5所述的内窥镜探测物体的表面重建系统，其特征在于，

所述监督模块包括：

预测图像生成单元，用于根据预处理图像生成与预处理图像相反的预测图像；

预测图像编码单元，用于根据所述多层次的自编码深度卷积神经网络模块对预测图像进行编码，并在进行编码的过程中对预处理图像进行降维，得到预测图像编码；

预测图像解码单元，用于根据所述多层次的自编码深度卷积神经网络模块对预测图像编码进行解码，并在解码的过程中进行升维操作，重构预测图像的原始图像；

对比单元，用于对比预处理图像的原始图像及预测图像的原始图像，对自编码深度卷积神经网络进行监督。

7.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至4中的任意一项所述方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至4中的任意一项所述方法。