CN112819777B - 一种双目内窥镜辅助显示方法、系统、装置和存储介质 - Google Patents
一种双目内窥镜辅助显示方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN112819777B CN112819777B CN202110119313.9A CN202110119313A CN112819777B CN 112819777 B CN112819777 B CN 112819777B CN 202110119313 A CN202110119313 A CN 202110119313A CN 112819777 B CN112819777 B CN 112819777B
- Authority
- CN
- China
- Prior art keywords
- view
- parallax
- image
- search space
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 39
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 51
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 16
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004215 lattice model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
Abstract
本发明涉及医学辅助诊断技术领域，具体涉及一种双目内窥镜辅助显示方法、系统、装置和存储介质。其中辅助显示方法包括：实时获取待检测区域的左视图像和右视图像；分别对左视图像和右视图像进行特征提取得到左视特征图和右视特征图；将左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间，进而获取左视深度图和右视深度图，并依据左视深度图和右视深度图进行三维重建后获得3D视图。本实施例重建后的3D视图显示更加具有立体感，对于三维空间中的特征信息显示效果更好，使得医生观察更加直观且观察效果更好，对医生手术时下刀或者其他操作都有重要的参考作用。
Description
技术领域
本发明涉及医学辅助诊断技术领域，具体涉及一种双目内窥镜辅助显示方法、系统、装置和存储介质。
背景技术
三维立体内窥镜系统应用广阔市场，早在20世纪90年代国外的医疗器械公司就推出了多种不同种类的平行式双目立体内窥镜系统，目前国外的传统电子内窥镜技术比较成熟，其中比较具有代表性的有美国的Intuitive Surgical、Viking、日本的Olympus和德国的Karl Storz Richard Wolf等知名公司生产的三维立体内窥镜系统，这些系统都能为医生提供三维立体影像，但其三维成像效果有待提升。
近年来，卷积神经网络的高速发展推动了自然场景下双目视差图的发展，其可以借助含有真实视差图标签的数据集(如自动驾驶KITTI数据集、街道场景cityscapes数据集)，基于监督学习的神经网络获取图像视差，该方法由于具有精度高、速度快的优点而出现爆发式的增长。不过双目内窥镜图像资料由于获得困难、技术要求较高、需要征得病人同意等因素的影响，导致数据集非常少，因此现有的采用有监督学习获取视差的方法不适应于内窥镜图像视差的获取。并且现有的双目内窥镜或者3D内窥镜获取的图像，虽然人眼看上去是三维图像，但是这种三维仅仅是图像看起来存在立体感而已，并非真正的三维图像，因此现有的这种三维图显示不够立体，这样对于三维空间中的很多特征显示效果不好，这就使得医生在观测病变区域的检测信息时不够直观，因此目前的内窥镜显示技术对手术的辅助效果不是很好。
发明内容
本发明主要解决的技术问题是现有的内窥镜图像显示不够立体，导致观察效果不好。
一种双目内窥镜辅助显示方法,包括：
实时获取待检测区域的左视图像和右视图像；
分别对所述左视图像和右视图像进行特征提取得到左视特征图和右视特征图；
将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间；
将所述左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图；
分别根据所述左视差图和右视差图计算左视深度图和右视深度图；
根据所述左视深度图和右视深度图进行三维重建得到3D视图；
实时显示所述3D视图。
在一种实施例中，所述将所述左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图包括：
将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左初始视差图和右初始视差图；
分别对所述左初始视差图和右初始视差图进行去噪、无效视差的填充以及滤波处理，得到所述左视差图和右视差图。
在一种实施例中，所述将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间包括：
将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值；
将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所有的第二匹配代价组合得到所述右视差搜索空间。
在一种实施例中，所述卷积神经网络模型为3D-ResNet网络模型，其包括编码模块和解码模块；
所述编码模块用于对输入的左视差搜索空间和右视差搜索空间进行特征提取，以得到左视图特征信息和右视图特征信息；
所述解码模块用于对提取的左视图特征信息和右视图特征信息分别进行反卷积处理，从而得到左初始视差图和右初始视差图。
一种双目内窥镜辅助显示系统,包括：
图像获取模块，用于实时获取待检测区域的左视图像和右视图像；
特征提取模块，用于分别对所述左视图像和右视图像进行特征提取得到左视特征图和右视特征图；
特征关联单元，用于将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间；
视差图获取单元，用于将所述左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图；
深度图获取模块，用于根据所述左视差图和右视差图计算左视深度图和右视深度图；
3D构建模块，用于根据所述左视深度图和右视深度图进行三维重建得到3D视图；
显示模块，用于实时显示所述3D视图。
在一种实施例中，所述视差图获取单元包括：
初始视差获取模块，用于将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左初始视差图和右初始视差图；
视差优化模块，用于分别对所述左初始视差图和右初始视差图进行去噪、无效视差的填充以及滤波处理，得到所述左视差图和右视差图。
在一种实施例中，所述特征关联单元包括：
左视差搜索空间计算模块，用于将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所述所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值；
右视差搜索空间计算模块，用于将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所述所有的第二匹配代价组合得到所述右视差搜索空间。
在一种实施例中，所述卷积神经网络模型为3D-ResNet网络模型，其包括编码模块和解码模块；
所述编码模块用于对输入的左视差搜索空间和右视差搜索空间进行特征提取，以得到左视图特征信息和右视图特征信息；
所述解码模块用于对提取的左视图特征信息和右视图特征信息分别进行反卷积处理，从而得到左初始视差图和右初始视差图。
一种双目内窥镜辅助显示装置,包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-4中任一项所述的方法。
一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的双目内窥镜辅助显示方法,其包括：实时获取待检测区域的左视图像和右视图像；分别对左视图像和右视图像进行特征提取得到左视特征图和右视特征图；将左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间；将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图；分别根据左视差图和右视差图计算左视深度图和右视深度图；根据左视深度图和右视深度图进行三维重建得到3D视图；实时显示3D视图。本实施例中通过对左视图像和右视图像进行处理得到左、右视差搜索空间，进而获取左视深度图和右视深度图，并依据左视深度图和右视深度图进行三维重建后获得3D视图，使得重建后的3D视图显示更加具有立体感，对于三维空间中的特征信息显示效果更好，使得医生观察更加直观且观察效果更好。
附图说明
图1为本申请实施例的辅助显示方法流程图；
图2为本申请实施例的左、右视差搜索空间获取方法流程图；
图3为本申请实施例的辅助显示方法流程框图；
图4为本申请实施例的辅助显示方法的网络模型图；
图5为本申请实施例的辅助显示系统结构框图；
图6为本申请实施例的特征关联单元结构示意图；
图7为本申请实施例的视差图获取单元结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
为了克服现有的双目内窥镜图像三维显示时不够立体的技术问题，本实施例中通过对左视图像和右视图像进行处理得到左视差搜索空间和右视差搜索空间，进而获取左视深度图和右视深度图，并依据左视深度图和右视深度图进行三维重建后获得3D视图，使得重建后的3D视图显示更加具有立体感，对于三维空间中的特征信息显示效果更好，使得医生观察更加直观且观察效果更好。
进一步的，现有的内窥镜图像只是看起来具有立体感，对于三维空间中任意两个特征点之间的距离并没有准确的信息，为了解决三维立体空间中特征点之间的距离显示不准确的技术问题，如图3，本申请设计神经网络模型来获取左视差图和右视差图，进而分别根据左视差图和右视差图计算左视深度图和右视深度图，以构建3D视图，使得3D视图上任意两个特征点之间的距离关系可读，方便医生观察具体的病变情况。
进一步的，通过在初始视差获得阶段和视差优化阶段使用不同的损失函数，使得在无真实标签的情况下，最终得出了较高精度的左视差图和右视差图，并且优化后的左视差图和右视差图对于弱纹理区域和高噪声区域有较好的处理结果，最终提升三维显示的精度。
请参考图1和图4，本实施例提供一种双目内窥镜辅助显示方法,其包括：
步骤101：实时获取待检测区域的左视图像和右视图像。
本实施例采用经过校正的医用双目内窥镜分别获取待检测区域的左视图像和右视图像。
步骤102：分别对左视图像和右视图像进行特征提取得到左视特征图和右视特征图。
本实施例中分别采用两个特征提取网络来对左视图像和右视图像进行特征提取得到左视特征图和右视特征图，以提高特征提取的效率，其中左视特征图和右视特征图包括左视图像和右视图像的主要特征信息，例如包括如亮度、边缘、纹理和色彩等特征。其中，该两个特征提取网络为相同结构特征提取网络，其共享一套权值。本实施例中在步骤102中采用的特征提取网络是一个2D卷积神经网络，采用ResNet-50网络结构；两个特征提取网络之间进行权值共享，经卷积操作后，特征图的尺寸大小是原图的1/4，这样大大减少了计算复杂度，有利于提高特征提取的效率。
步骤103：将左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间。
步骤104：将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图。
步骤105：分别根据左视差图和右视差图计算左视深度图和右视深度图。
步骤106：根据左视深度图和右视深度图进行三维重建得到3D视图。
步骤107：实时显示3D视图。
本实施例中通过对左视图像和右视图像进行处理得到左视差搜索空间和右视差搜索空间，进而获取左视差图和右视差图以及其对应的深度图，并依据深度图进行三维重建后获得3D视图。本实施例获取的3D视图立体显示效果更好，由于通过三维重建技术可以得到物体的三维空间信息，这样任意两点之间的距离在三维模型中通过数学方法计算出来，使得在立体空间上可以显示任意两点之间的距离信息，方便医生观察，对医生手术时下刀或者其他操作都有重要的参考作用。
具体的，如图2，本实施例的步骤103包括：
步骤1031：将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值，匹配代价可以理解为一个立方体的点阵模型，其值为立方体包含的点的个数。以左视特征图为例，左视特征图中包括多个像素单元(也可以理解为多个特征图或者特征块)，将左视特征图中每个像素分别与右视特征图对应的像素进行匹配代价计算，预先给定的视差等级的取值为D，即最大视差值为D，那么左视特征图的每个像素都会得到D个第一匹配代价，即得到一个高度×宽度×最大视差D的匹配代价，即该匹配代价为一个立方体的点阵模型，该立方体的体积为：高度×宽度×最大视差D，其中高度和宽度的值也是立方体包含的点个数。计算完一个左视特征图的所有像素的匹配代价后，会生成一个左视差搜索空间，其体积为：高度×宽度×最大视差D×像素单元个数。
步骤1032：将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所有的第二匹配代价组合得到右视差搜索空间(即Cost Volume)。右视差搜索空间计算方法和上述左视差搜索空间计算方法相对应，即将右视特征图中每个像素分别与左视特征图对应的像素进行匹配代价计算，那么右视特征图的每个像素都会得到D个第二匹配代价，即得到一个高度×宽度×最大视差D的匹配代价。计算完一个右视特征图的所有像素的匹配代价后，会生成一个右视差搜索空间，其体积为：高度×宽度×最大视差D×像素单元个数。
其中，本实施例中将Cost Volume(例如左视差搜索空间)输入到预先设置的卷积神经网络模型中，根据卷积神经网络模型估计的视差值将右视图像映射变换到左视图像，然后利用光度重建损失、左右一致性损失、正则化损失来测量映射变换后的图像与真实图像之间的视觉差异得到左视差图。同样的，将左视图像映射变换到右视图像，然后利用光度重建损失、左右一致性损失、正则化损失来测量映射变换后的图像与真实图像之间的视觉差异，即得到右视差图。
具体，在步骤104中，本实施例采用的卷积神经网络模型为3D-ResNet网络模型，其为无监督学习神经网络，采用3D-ResNet网络模型为了捕获更广泛的特征信息，该3D-ResNet网络模型其包括编码模块和解码模块；编码模块(也可以理解为3D卷积模块)用于对输入的左视差搜索空间和右视差搜索空间进行连续下采样以及特征提取，以得到左视图特征信息和右视图特征信息；解码模块(也可以理解为3D反卷积模块)用于分别对提取的左视图特征信息和右视图特征信息进行反卷积处理，将分辨率低的高维特征恢复到与原始图像分辨率同样大小，在经过多次反复训练后使初始视差的损失函数最小化，得到左初始视差图和右初始视差图。
其中，本实施例的用于视差估计的卷积神经网络模型采用无监督学习训练得到，其中视差估计的损失函数定义为：
Loss＝λ1Linit+λ2Lref
其中，Linit表示初始视差损失，Lref表示优化视差损失，λ1、λ2分别表示初始视差损失和优化视差损失的比例系数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型，采用本实施例提供的损失函数训练后的模型，对于视差损失降到最小，这样对于视差图的预测更加准确。
左初始视差图和右初始视差图的损失函数均由光度重建损失函数、左右一致性损失函数、正则化损失函数共同组成，其中ω1、ω2、ω3分别表示光度重建损失、左右一致性损失、正则化损失之间的比例。
Linit＝ω1Lwarp+ω2Lconsist+ω3Lreg
光度重建损失函数Lwarp：IL和IR为输入左视图像和右视图像，DL和DR分别为预测左初始视差图和右初始视差图。映射变换函数F(I,D)可以基于视差图，通过双线性插值采样，将图像I映射变换到另一个视图，得到重建图像I′，其中重建左视图像表示为IL′＝F(IR,DL)，重建右视图像表示为IR′＝F(IL,DR)，最终得到的重建图像应该与原始输入图像非常相似，然后使用欧式距离和结构相似项SSIM来提升有遮挡、反射和无纹理等病态区域的鲁棒性。以左视图像为例，光度重建损失函数的定义如下：
Lwarp＝γ1SSIM(IL,IL′)+γ2|IL-IL′|+γ3|▽IL-▽IL′|
其中γ1、γ2、γ3表示各部分之间的比例系数，IL表示左视图像，IL′表示映射变换后的重建左视图像，▽表示一阶导数，SSIM是两张图像之间的结构相似性指标。
本实施例的正则化损失函数用于直接利用输入图像中的信息对局部视差进行平滑，以抑制由光度损失项引入的高频噪声。这种正则化损失是视差图的加权二阶导数之和，权重是输入图像二阶导数的指数。输入图像的二阶导数越高，视差变化的概率就越大。对于左侧，正则化损失函数定义如下：
其中N是像素数，
和
是沿X和Y轴的二阶导数。
左右一致性损失函数：可以从重建的右视图像合成左视图像IL″＝F(IR′,DL)，以及从重建的左视图像合成右视图像IR″＝F(IL′,DR)，左右一致性损失检查可以提升合成的深度图像的质量。左右一致性损失函数定义如下：
Lconsist＝|IL-IL″|+|IR-IR″|
采用本实施例的卷积神经网络模型来获取左视差图和右视差图，有效解决了在弱纹理区域难以匹配像素点以及细节特征表现效果差的问题，具有更高的计算精度和较好的鲁棒性，减少了单张图像三维显示的时间。
进一步的，在另一种实施例中，由于匹配不良而导致的误差限制了视差估计的精度，其主要原因是存在反射、遮挡和无纹理等病态区域。为了提升视差图的精度，分别将左、右视差搜索空间输入到预先设置的卷积神经网络模型中，得到左初始视差图和右初始视差图之后，再将对初始视差进行剔除噪声、遮挡区域中无效视差的填充以及采用中值滤波(即对初始视差进行平滑处理)处理，得到优化的左视差图和右视差图，再分别根据左视差图和右视差图计算左视深度图和右视深度图。
其中，视差优化时将初始视差损失函数中的正则化损失函数替换成平滑度损失函数，即视差优化时采用的损失函数包括：光度重建损失函数、左右一致性损失函数和平滑度损失函数。
其定义如下：
Lref＝θ1Lwarp+θ2Lconsist+θ3Lsmooth
θ1、θ2、θ3表示光度重建损失函数、左右一致性损失函数和平滑度损失函数之间的比例系数，Lwarp表示光度重建损失，Lconsist表示左右一致性损失，Lsmooth表示平滑度损失。
首先利用左视差图DL对右视差图DR进行映射转换，得到一个重建图像DL′＝F(DR,DL)，然后对DL和DL′之间差的绝对值设置阈值t。
平滑度损失函数定义为：
其中
和
是沿X和Y轴的二阶导数，t是阈值，fL表示来自左视图像的特征向量。
进一步的，在步骤105中，通过优化后的左视差图和右视差图、相机参数焦距和双目相机基线距离计算深度值，即计算图像每个像素点的深度值，从而获得左视深度图和右视深度图，深度图表征了每个像素点距离相机的位置。
在步骤106中，对于通过三维重建得到灰度的3D视图时需要依据左视深度图和右视深度图，当需要通过三维重建获取彩色图像时，还需要依据左视图像和右视图像的特征信息。
对于通过三维重建新合成的3D带重影的图像，通过偏光镜即可看到双目图像，偏光式眼镜利用光线有“振动方向”的原理来分解原始图像的，通过把图像分为垂直向偏振光和水平向偏振光两组画面，偏光眼镜式需在LCD面板上增加相位延迟薄膜，产生正交的偏正方向，利用偏光眼镜的解偏，左右眼睛接收到不同偏振方向的图像，合成后即形成人眼可以观察到的立体图像，使得重建后的3D视图显示更加具有立体感，对于三维空间中的特征信息显示效果更好，使得医生观察更加直观且观察效果更好。采用本实施例的方法得到的3D视图，对于3D视图上任意两个空间点，都可以显示其之间的距离信息，对于医生诊断、观察以及手术都有一定的辅助作用。
实施例二：
本实施例提供一种双目内窥镜辅助显示系统,如图5，其包括：图像获取模块201、特征提取模块202、特征关联单元203、视差图获取单元204、深度图获取模块205、3D构建模块206和显示模块207。
其中，图像获取模块201用于实时获取待检测区域的左视图像和右视图像；特征提取模块202用于分别对左视图像和右视图像进行特征提取得到左视特征图和右视特征图；特征关联单元203用于将左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间；视差图获取单元204用于将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图；深度图获取模块205用于根据左视差图和右视差图计算左视深度图和右视深度图；3D构建模块206用于根据左视深度图和右视深度图进行三维重建得到3D视图；显示模块207(例如显示屏)用于实时显示3D视图。
其中，如图6，视差图获取单元204包括：初始视差获取模块2041、视差优化模块2042。初始视差获取模块2041用于将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左初始视差图和右初始视差图；视差优化模块2042用于分别对左初始视差图和右初始视差图进行去噪、无效视差的填充以及滤波处理，得到左视差图和右视差图。
其中，如图7，特征关联单元203包括：左视差搜索空间计算模块2031、右视差搜索空间计算模块2032。其中，左视差搜索空间计算模块2031用于将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值。第二匹配代价计算模块2032用于将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所有的第二匹配代价组合得到所述右视差搜索空间。
其中，本实施例的卷积神经网络模型为3D-ResNet网络模型，其包括编码模块和解码模块；编码模块用于对输入的左视差搜索空间和右视差搜索空间进行特征提取，以得到左视图特征信息和右视图特征信息；解码模块用于对提取的左视图特征信息和右视图特征信息分别进行反卷积处理，从而得到左初始视差图和右初始视差图。
其中，本实施例中各模块中的数据处理方法和上述实施例一种相同，此处不再赘述。
本实施例中的双目内窥镜辅助显示系统，通过对左视图像和右视图像进行处理得到左、右视差搜索空间，进而获取左视深度图和右视深度图，并依据左视深度图和右视深度图进行三维重建后获得3D视图。本实施例获取的3D视图显示效果更加立体，并且在立体空间上可以显示任意两个特征点之间的距离信息，方便医生观察，对医生手术时下刀或者其他操作都有重要的参考作用。
实施例三：
本实施例提供一种双目内窥镜辅助显示装置,其包括：存储器和处理器。其中，存储器用于存储程序；处理器用于通过执行存储器存储的程序以实现如实施例一提供的双目内窥镜辅助显示方法。
实施例四：
本实施例提供一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现如实施例一提供的双目内窥镜辅助显示方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (8)
1.一种双目内窥镜辅助显示方法,其特征在于，包括：
实时获取待检测区域的左视图像和右视图像；
分别对所述左视图像和右视图像进行特征提取得到左视特征图和右视特征图；
将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间；
将所述左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图，具体包括：将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左初始视差图和右初始视差图；分别对所述左初始视差图和右初始视差图进行去噪、无效视差的填充以及滤波处理，得到所述左视差图和右视差图；
分别根据所述左视差图和右视差图计算左视深度图和右视深度图；
根据所述左视深度图和右视深度图进行三维重建得到3D视图；
实时显示所述3D视图；
其中，所述卷积神经网络模型采用损失函数训练得到，所述左初始视差图和右初始视差图的损失函数均由光度重建损失函数、左右一致性损失函数、正则化损失函数共同组成；所述正则化损失函数用于直接利用输入图像中的信息对局部视差进行平滑，以抑制由光度损失项引入的噪声。
2.如权利要求1所述的双目内窥镜辅助显示方法,其特征在于，所述将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间包括：
将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值；
将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所有的第二匹配代价组合得到所述右视差搜索空间。
3.如权利要求1所述的双目内窥镜辅助显示方法,其特征在于，所述卷积神经网络模型为3D-ResNet网络模型，其包括编码模块和解码模块；
所述编码模块用于对输入的左视差搜索空间和右视差搜索空间进行特征提取，以得到左视图特征信息和右视图特征信息；
所述解码模块用于对提取的左视图特征信息和右视图特征信息分别进行反卷积处理，从而得到左初始视差图和右初始视差图。
4.一种双目内窥镜辅助显示系统,其特征在于，包括：
图像获取模块，用于实时获取待检测区域的左视图像和右视图像；
特征提取模块，用于分别对所述左视图像和右视图像进行特征提取得到左视特征图和右视特征图；
特征关联单元，用于将所述左视特征图和右视特征图进行互相关联计算分别得到左视差搜索空间和右视差搜索空间，具体的，将左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左初始视差图和右初始视差图；分别对所述左初始视差图和右初始视差图进行去噪、无效视差的填充以及滤波处理，得到所述左视差图和右视差图；
视差图获取单元，用于将所述左视差搜索空间和右视差搜索空间输入到预先设置的卷积神经网络模型中，分别得到左视差图和右视差图；
深度图获取模块，用于根据所述左视差图和右视差图计算左视深度图和右视深度图；
3D构建模块，用于根据所述左视深度图和右视深度图进行三维重建得到3D视图；
显示模块，用于实时显示所述3D视图；
其中，所述卷积神经网络模型采用损失函数训练得到，所述左初始视差图和右初始视差图的损失函数均由光度重建损失函数、左右一致性损失函数、正则化损失函数共同组成；所述正则化损失函数用于直接利用输入图像中的信息对局部视差进行平滑，以抑制由光度损失项引入的噪声。
5.如权利要求4所述的双目内窥镜辅助显示系统,其特征在于，所述特征关联单元包括：
左视差搜索空间计算模块，用于将左视特征图中的每个像素分别与右视特征图中对应像素进行匹配代价计算，使得左视特征图中每个像素都得到D个第一匹配代价，将所有的第一匹配代价组合得到所述左视差搜索空间；其中，D为匹配代价计算时预设的最大视差值；
右视差搜索空间计算模块，用于将右视特征图中的每个像素分别与左视特征图中对应像素进行匹配代价计算，使得右视特征图中每个像素都得到D个第二匹配代价，将所有的第二匹配代价组合得到所述右视差搜索空间。
6.如权利要求4所述的双目内窥镜辅助显示系统,其特征在于，所述卷积神经网络模型为3D-ResNet网络模型，其包括编码模块和解码模块；
所述编码模块用于对输入的左视差搜索空间和右视差搜索空间进行特征提取，以得到左视图特征信息和右视图特征信息；
所述解码模块用于对提取的左视图特征信息和右视图特征信息分别进行反卷积处理，从而得到左初始视差图和右初始视差图。
7.一种双目内窥镜辅助显示装置,其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-3中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110119313.9A CN112819777B (zh) | 2021-01-28 | 2021-01-28 | 一种双目内窥镜辅助显示方法、系统、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110119313.9A CN112819777B (zh) | 2021-01-28 | 2021-01-28 | 一种双目内窥镜辅助显示方法、系统、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819777A CN112819777A (zh) | 2021-05-18 |
| CN112819777B true CN112819777B (zh) | 2022-12-27 |
Family
ID=75859884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110119313.9A Active CN112819777B (zh) | 2021-01-28 | 2021-01-28 | 一种双目内窥镜辅助显示方法、系统、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819777B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258762A (zh) * | 2021-12-10 | 2023-06-13 | 诺创智能医疗科技(杭州)有限公司 | 单探测器双目3d内窥镜图像的校正、编码方法及电子装置 |
| CN116704000B (zh) * | 2023-08-04 | 2023-10-03 | 东莞市爱培科技术有限公司 | 一种无监督学习遮挡区域的立体匹配方法 |
| CN117747056A (zh) * | 2024-02-19 | 2024-03-22 | 遂宁市中心医院 | 一种微创手术术前图像估计方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN109887019A (zh) * | 2019-02-19 | 2019-06-14 | 北京市商汤科技开发有限公司 | 一种双目匹配方法及装置、设备和存储介质 |
| CN109919993A (zh) * | 2019-03-12 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视差图获取方法、装置和设备及控制系统 |
| CN111080778A (zh) * | 2019-12-23 | 2020-04-28 | 电子科技大学 | 一种双目内窥镜软组织图像的在线三维重建方法 |
| CN111462206A (zh) * | 2020-03-24 | 2020-07-28 | 合肥的卢深视科技有限公司 | 一种基于卷积神经网络的单目结构光深度成像方法 |
| CN111696148A (zh) * | 2020-06-17 | 2020-09-22 | 中国科学技术大学 | 基于卷积神经网络的端到端立体匹配方法 |
-
2021
- 2021-01-28 CN CN202110119313.9A patent/CN112819777B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355570A (zh) * | 2016-10-21 | 2017-01-25 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
| CN109887019A (zh) * | 2019-02-19 | 2019-06-14 | 北京市商汤科技开发有限公司 | 一种双目匹配方法及装置、设备和存储介质 |
| WO2020168716A1 (zh) * | 2019-02-19 | 2020-08-27 | 北京市商汤科技开发有限公司 | 双目匹配方法及装置、设备和存储介质 |
| CN109919993A (zh) * | 2019-03-12 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视差图获取方法、装置和设备及控制系统 |
| CN111080778A (zh) * | 2019-12-23 | 2020-04-28 | 电子科技大学 | 一种双目内窥镜软组织图像的在线三维重建方法 |
| CN111462206A (zh) * | 2020-03-24 | 2020-07-28 | 合肥的卢深视科技有限公司 | 一种基于卷积神经网络的单目结构光深度成像方法 |
| CN111696148A (zh) * | 2020-06-17 | 2020-09-22 | 中国科学技术大学 | 基于卷积神经网络的端到端立体匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819777A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819777B (zh) | 一种双目内窥镜辅助显示方法、系统、装置和存储介质 | |
| EP1582074B1 (en) | Video filtering for stereo images | |
| CN108734776B (zh) | 一种基于散斑的三维人脸重建方法及设备 | |
| TWI497980B (zh) | 處理３ｄ立體影像的系統與方法 | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| CN111066065A (zh) | 用于混合深度正则化的系统和方法 | |
| CN101247530A (zh) | 增强图像的立体效果的三维图像显示设备和方法 | |
| EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
| JP5852093B2 (ja) | 映像処理装置、映像処理方法、プログラム | |
| CN111508068B (zh) | 一种应用于双目内窥镜图像的三维重建方法及系统 | |
| JP4257218B2 (ja) | 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム | |
| JP6128442B2 (ja) | 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝ | |
| Zinger et al. | View interpolation for medical images on autostereoscopic displays | |
| US11463676B2 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| JP2005521960A5 (zh) | ||
| CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
| Kao | Stereoscopic image generation with depth image based rendering | |
| Zhou et al. | Synthesis of stereoscopic views from monocular endoscopic videos | |
| CN107610070B (zh) | 基于三摄像采集的自由立体匹配方法 | |
| Vandame et al. | Pipeline for real-time video view synthesis | |
| EP3130273A1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| JP6162924B2 (ja) | 画像処理方法及び装置 | |
| CN111178501A (zh) | 双循环对抗网络架构的优化方法、系统、电子设备及装置 | |
| Shao | Generation of temporally consistent multiple virtual camera views from stereoscopic image sequences | |
| TW201509360A (zh) | 單鏡頭內視鏡立體視覺化系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |