CN114617527A - 一种腹腔镜立体成像方法及系统 - Google Patents

一种腹腔镜立体成像方法及系统 Download PDF

Info

Publication number
CN114617527A
CN114617527A CN202210253938.9A CN202210253938A CN114617527A CN 114617527 A CN114617527 A CN 114617527A CN 202210253938 A CN202210253938 A CN 202210253938A CN 114617527 A CN114617527 A CN 114617527A
Authority
CN
China
Prior art keywords
image
left image
right image
cost
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210253938.9A
Other languages
English (en)
Inventor
穆速
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Peoples Hospital of Shangqiu
Original Assignee
First Peoples Hospital of Shangqiu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Peoples Hospital of Shangqiu filed Critical First Peoples Hospital of Shangqiu
Priority to CN202210253938.9A priority Critical patent/CN114617527A/zh
Publication of CN114617527A publication Critical patent/CN114617527A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种腹腔镜立体成像方法及系统，将双目摄像头拍摄的图像进行分割，将左图的区域和右图的区域构成区域对，若左图中像素点位于所述区域对内，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure DDA0003547765000000011
代价聚合的窗口大小。本发明对腹腔镜立体成像的关键技术立体匹配进行改进，提高了立体成像的精确度，而且对于在细节多的区域能保留更多细节信息，对于细节少的区域能提高平滑性、减少噪声。

Description

一种腹腔镜立体成像方法及系统
技术领域
本发明涉及立体成像领域，尤其涉及腹腔镜立体成像方法及系统。
背景技术
微创手术也即在微小创伤下进行的手术，病人在微创手术后，能较快的恢复，微创手术已经是临床上常见的手术方式之一。在进行腹腔外科微创手术时，需要借助腹腔镜观察腹腔内情况以及手术器械的情况，腹腔镜是微创腹腔外科手术必不可少的设备。腹腔镜是采用CCD或者CMOS采集腹腔内图像，然后经过图像处理，实时显示在显示器上，但是现在的腹腔镜采集的图像都是二维的，医生无法观察到脏器的深度信息，这会导致手术精度难以再提高，也会给手术操作带来不便。
立体成像可以提供三维立体视觉，常用的三维立体成像技术有双目立体成像、红外立体成像等，双目立体成像是模拟人眼特点，采用两个相机拍摄图像，然后进行立体匹配，得到三维图像，红外立体成像是有一个红外发送器发送红外线，红外接收器接收红外，根据红外线从发射到经过物体反射，再到被红外接收器接收的时间差，计算深度。如果在腹腔镜中采用红外立体成像需要额外配准红外发射器、红外接收器，而且由于腹腔内空间狭窄，实际上红外立体成像效果并不理想。目前在腹腔镜立体成像中应用最多的是双目立体成像技术。
双目立体成像过程主要包括相机标定、图像校正、立体匹配、深度计算等，其中立体匹配是立体成像的关键，目前在腹腔镜中仍然采用通用的立体匹配方法，由于立体匹配是NP不完全问题，导致计算量较大，而且精度也不高。
发明内容
为了解决上述问题，一方面，本发明提供了一种腹腔镜立体成像方法，所述方法包括以下步骤：
步骤1，获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure BDA0003547764980000021
其中
Figure BDA0003547764980000022
表示左图区域，
Figure BDA0003547764980000023
表示右图区域，i表示区域对个数；
步骤2，若左图中像素点位于所述区域对内，则获取每个
Figure BDA0003547764980000024
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure BDA0003547764980000025
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure BDA0003547764980000026
内的像素点进行代价聚合计算，
步骤3，通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
优选地，所述步骤2还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Box filtering法。
优选地，所述根据特征点个数设置区域
Figure BDA00035477649800000215
代价聚合的窗口大小，具体为：按照公式
Figure BDA0003547764980000027
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure BDA0003547764980000028
对应的特征点个数。
优选地，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure BDA0003547764980000029
到
Figure BDA00035477649800000210
范围内的像素进行匹配代价计算；若右图中
Figure BDA00035477649800000211
到
Figure BDA00035477649800000212
范围超出了所述
Figure BDA00035477649800000213
则只保留位于所述
Figure BDA00035477649800000214
范围内的像素。
优选地，所述视差估计采用赢家通吃方法，所述视差优化采用平滑过滤方法。
另外一方面，本发明提供了一种腹腔镜立体成像系统，所述系统包括以下模块：
区域分割模块，用于获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure BDA0003547764980000031
其中
Figure BDA0003547764980000032
表示左图区域，
Figure BDA0003547764980000033
表示右图区域，i表示区域对个数；
代价计算与代价聚合模块，若左图中像素点位于所述区域对内，则获取每个
Figure BDA0003547764980000034
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure BDA0003547764980000035
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure BDA0003547764980000036
内的像素点进行代价聚合计算，
优化处理与立体成像模块，用于通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
优选地，所述代价计算与代价聚合模块还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Boxfiltering法。
优选地，所述根据特征点个数设置区域
Figure BDA0003547764980000037
代价聚合的窗口大小，具体为：按照公式
Figure BDA0003547764980000038
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure BDA0003547764980000039
对应的特征点个数。
优选地，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure BDA00035477649800000310
到
Figure BDA00035477649800000311
范围内的像素进行匹配代价计算；若右图中
Figure BDA00035477649800000312
到
Figure BDA00035477649800000313
范围超出了所述
Figure BDA00035477649800000314
则只保留位于所述
Figure BDA00035477649800000315
范围内的像素。
最后，本发明还提供了一种非易失性计算机存储介质，所述非易失性计算机存储介质中存储有指令，当其在处理器上运行时，使得处理器执行如上所述方法。
针对现有的腹腔镜立体成像过程中成像速度慢、成像质量不高的问题，本发明对立体成像的关键技术立体匹配进行了改进。具体的在计算匹配代价时，提前将左图的像素点的x坐标移动ΔL得到右图的坐标，以得到的右图坐标为中心，计算左图像素点与右图中以所述中心为中心的L长度范围内的匹配代价，提高得到同名点的精度；此外，根据左图的像素点所在的区域，设置代价聚合的窗口，实现了根据区域特点调整窗口大小，在特征点较多的区域采用小窗口，保留特征点较多区域的更多细节；在特征点较少的区域采用大窗口，提高视图差的平滑性，减少噪声的干扰。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为立体成像过程；
图2为双视目中左图和右图示意图；
图3为代价聚合中3X3窗口示意图；
图4为代价计算位移示意图。
具体实施方式
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在第一实施例中，本发明提供了一种腹腔镜立体成像方法，所述方法包括以下步骤：
步骤1，获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure BDA0003547764980000051
其中
Figure BDA0003547764980000052
表示左图区域，
Figure BDA0003547764980000053
表示右图区域，i表示区域对个数；
步骤2，若左图中像素点位于所述区域对内，则获取每个
Figure BDA0003547764980000054
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure BDA0003547764980000055
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure BDA0003547764980000056
内的像素点进行代价聚合计算，
步骤3，通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
利用双目相机进行立体成像的过程，如图1所示，包括：相机标定、立体校正、立体匹配、深度计算；相机标定主要用于获取双目相机的参数以及完成坐标的转换；立体校正又称为图像矫正、图像校正，其是为了将两幅图组织到同一个平面，且光轴相互平行，以完成极线约束；立体匹配是根据左图像素点和右图像素点计算视差图；在深度计算中利用视差图生成立体图。
双目相机具有两个摄像头，拍摄两个图像，如图2所示，通过计算两个图片中相应像素点的视差得到视差图。其中立体匹配又包括代价计算、代价聚合、视差估计、视差优化。
在本实施例中，首先对左图和右图分别进行图像分割，图像分割采用分水岭、区域生长等方法，由于左右相机距离比较近，多数情况下左右图分割的区域个数是相同的，但是也会存在分割区域个数不同的情况，分割区域个数相同是分割区域个数不同的特例，下面以分割区域个数不同为例进行说明，假设左图分割为5个区域分别为A1、A2、A3、A4、A5，右图分割为4个区域，分别为B1、B2、B3、B4，依次将左图的5个区域分别与右图的4个区域进行相似度计算，最后根据相似度计算得到区域对为<A1,B1>、<A2,B2>、<A3,B4>、、<A4,B4>，则i＝4；
若像素P位于区域A1，获取A1的特征点，并计算右图中与像素P对应极线上的像素点的匹配代价，匹配代价越低说明两个像素点越相似或者说越相关，将匹配代价最小的右图像素点作为像素P的同名点；
在计算完左图中所有像素点的代价后，对得到的同名点图像进行代价聚合，所谓代价聚合是指一个代价点不仅取决于该视差点本身，还和其周围的视差点有关。代价聚合是采用窗口的方式遍历代价值图，重新计算代价，一个3X3的窗口如图3所示。窗口的大小直接影响最后生成的视差图，若窗口过小，则细节更为丰富，但是会引入更多噪声，若窗口过大，噪声虽然减少了，但是细节会丢失。针对该问题，本发明通过区域的特征点作为区域特征，依此判断是采用小窗口还是大窗口。
虽然左右摄像头距离较近，拍摄的图像差别不大，但是也会出现左右图分割区域不相同的情况，这种情况下，由于左右图差别较大，则采用如下方式进行立体匹配：如果要计算的左图的像素点不位于所述区域对，也即右图没有对应的区域，则采用传统的立体成像方式生成，所述步骤2还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Box filtering法。
特征点越多说明区域包含的细节越多，这时候需要保留更多的细节，反之则不需要，所述根据特征点个数设置区域
Figure BDA0003547764980000061
代价聚合的窗口大小，具体为：按照公式
Figure BDA0003547764980000062
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure BDA0003547764980000063
对应的特征点个数。例如当前区域A1包括20个特征点，预设特征点数量为10个，预设窗口大为6X6，则计算得到的新窗口为：3X3。
在经过图像校正后，只需要在同一条极线上搜索同名点，由于右图相当于左图平移，为了提高代价匹配的速度和精度，在本发明的一个具体实施例中，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure BDA0003547764980000064
到
Figure BDA0003547764980000065
范围内的像素进行匹配代价计算；若右图中
Figure BDA0003547764980000066
到
Figure BDA0003547764980000067
范围超出了所述
Figure BDA0003547764980000068
则只保留位于所述
Figure BDA0003547764980000069
范围内的像素。
如图4所示，在左图极线上特征点和右图极线上特征点配准后，计算得到左图向右移动ΔL两个极线段最为相似，若L＝4，则左图的(x，y)点只需要和右图的(x+ΔL-2-，y)到(x+ΔL+2-，y)之间的像素点进行代价计算即可。
在一个具体实施例中，所述视差估计采用赢家通吃方法，所述视差优化采用平滑过滤方法。
在一个实施例中，所述步骤3具体为：判断左图中特征点个数，若特征点个数小于第二阈值，则表明当前的双目镜头观察的区域大面积是相同的，这时候不再进行视差优化，这样可以减少对资源的占用，反之，则需要进行视差优化计算。在另外一个实施例中，根据处理器的利用率判断是否视差优化，若处理器的利用率大于第三阈值，则不再进行视差优化计算，反之则需要。当然，也可以同时结合左图的特征点个数和处理器的利用率判断是否进行视差优化计算，如根据左图的特征点个数计算第一权重，根据利用率计算第二权重，然后根据第一权重和第二权重判断是否进行视差优化计算。若第一权重和第二权重的和大于第四阈值，则不进行视差优化计算。
在第二实施例中，本发明提供了一种腹腔镜立体成像系统，所述系统包括以下模块：
区域分割模块，用于获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure BDA0003547764980000071
其中
Figure BDA0003547764980000072
表示左图区域，
Figure BDA0003547764980000073
表示右图区域，i表示区域对个数；
代价计算与代价聚合模块，若左图中像素点位于所述区域对内，则获取每个
Figure BDA0003547764980000074
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure BDA0003547764980000075
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure BDA0003547764980000076
内的像素点进行代价聚合计算，
优化处理与立体成像模块，用于通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
在一个具体实施例中，所述代价计算与代价聚合模块还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Box filtering法。
在一个具体实施例中，所述根据特征点个数设置区域
Figure BDA0003547764980000077
代价聚合的窗口大小，具体为：按照公式
Figure BDA0003547764980000081
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure BDA0003547764980000082
对应的特征点个数。
在一个具体实施例中，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure BDA0003547764980000083
到
Figure BDA0003547764980000084
范围内的像素进行匹配代价计算；若右图中
Figure BDA0003547764980000085
Figure BDA0003547764980000086
到
Figure BDA0003547764980000087
范围超出了所述
Figure BDA0003547764980000088
则只保留位于所述
Figure BDA0003547764980000089
范围内的像素。
实施例三，本发明还提供了一种非易失性计算机存储介质，所述非易失性计算机存储介质中存储有指令，当其在处理器上运行时，使得处理器执行如实施例一所述方法。
以上所描述的装置实施例仅仅是示意性的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种腹腔镜立体成像方法，其特征在于，所述方法包括以下步骤：
步骤1，获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure FDA0003547764970000011
其中
Figure FDA0003547764970000012
表示左图区域，
Figure FDA0003547764970000013
表示右图区域，i表示区域对个数；
步骤2，若左图中像素点位于所述区域对内，则获取每个
Figure FDA0003547764970000014
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure FDA0003547764970000015
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure FDA0003547764970000016
内的像素点进行代价聚合计算，
步骤3，通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
2.如权利要求1所述的方法，其特征在于，所述步骤2还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Box filtering法。
3.如权利要求1所述的方法，其特征在于，所述根据特征点个数设置区域
Figure FDA0003547764970000017
代价聚合的窗口大小，具体为：按照公式
Figure FDA0003547764970000018
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure FDA0003547764970000019
对应的特征点个数。
4.如权利要求1-3任一项所述的方法，其特征在于，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure FDA00035477649700000110
到
Figure FDA00035477649700000111
范围内的像素进行匹配代价计算；若右图中
Figure FDA00035477649700000112
到
Figure FDA00035477649700000113
范围超出了所述
Figure FDA00035477649700000114
则只保留位于所述
Figure FDA0003547764970000021
范围内的像素。
5.如权利要求1-4任一项所述的方法，其特征在于，所述视差估计采用赢家通吃方法，所述视差优化采用平滑过滤方法。
6.一种腹腔镜立体成像系统，其特征在于，所述系统包括以下模块：
区域分割模块，用于获取腹腔镜中双视目拍摄的左图和右图，对所述左图和所述右图进行图像校正，使得所述左图和所述右图满足极线约束，对所述左图和所述右图进行图像分割，将所述左图分为M个区域，将所述右图分为N个区域；依次判断左图的M个区域与右图N个区域的相似度，若相似度大于第一阈值，则将左图的区域和右图的区域构成区域对
Figure FDA0003547764970000022
其中
Figure FDA0003547764970000023
表示左图区域，
Figure FDA0003547764970000024
表示右图区域，i表示区域对个数；
代价计算与代价聚合模块，若左图中像素点位于所述区域对内，则获取每个
Figure FDA0003547764970000025
的特征点，计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价；将匹配代价最小的右图像素点作为同名点；根据特征点个数设置区域
Figure FDA0003547764970000026
代价聚合的窗口大小，若所述窗口包含所述区域外的像素点，则保留位于区域
Figure FDA0003547764970000027
内的像素点进行代价聚合计算，
优化处理与立体成像模块，用于通过视差估计和视差优化得到视差图，根据视差图输出腹腔镜立体成像。
7.如权利要求6所述的系统，其特征在于，所述代价计算与代价聚合模块还包括：若左图中像素点不位于所述区域对内，则采用第一匹配代价计算方法寻找右图中的同名点；然后通过第一代价聚合；所述第一匹配方法为Census变换法或Rank变换法，所述第一代价聚合为双边滤波发或者Box filtering法。
8.如权利要求6所述的系统，其特征在于，所述根据特征点个数设置区域
Figure FDA0003547764970000028
代价聚合的窗口大小，具体为：按照公式
Figure FDA0003547764970000029
计算窗口大小W，其中P0为预设特征点数量，W0为预设窗口大小，P为与
Figure FDA00035477649700000210
对应的特征点个数。
9.如权利要求6-8任一项所述的系统，其特征在于，所述计算左图的像素点与右图的同一极线上范围L内每个像素点的匹配代价，具体为：获取所述统一极线上的特征点，将左图中的极线部分和右图中的极线部分进行配准，计算配准特征点在左图和右图中的平均偏移ΔL，获取左图中待进行匹配代价计算的像素点的坐标(x，y)，将左图中待进行匹配代价计算的像素点与右图中
Figure FDA0003547764970000031
到
Figure FDA0003547764970000032
范围内的像素进行匹配代价计算；若右图中
Figure FDA0003547764970000033
到
Figure FDA0003547764970000034
范围超出了所述
Figure FDA0003547764970000035
则只保留位于所述
Figure FDA0003547764970000036
范围内的像素。
10.一种非易失性计算机存储介质，所述非易失性计算机存储介质中存储有指令，当其在处理器上运行时，使得处理器执行如权利要求1-5任一项所述方法。
CN202210253938.9A 2022-03-15 2022-03-15 一种腹腔镜立体成像方法及系统 Withdrawn CN114617527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210253938.9A CN114617527A (zh) 2022-03-15 2022-03-15 一种腹腔镜立体成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210253938.9A CN114617527A (zh) 2022-03-15 2022-03-15 一种腹腔镜立体成像方法及系统

Publications (1)

Publication Number Publication Date
CN114617527A true CN114617527A (zh) 2022-06-14

Family

ID=81901442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210253938.9A Withdrawn CN114617527A (zh) 2022-03-15 2022-03-15 一种腹腔镜立体成像方法及系统

Country Status (1)

Country Link
CN (1) CN114617527A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630388A (zh) * 2023-07-25 2023-08-22 苏州立创致恒电子科技有限公司 基于深度学习的热成像图像双目视差估计方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630388A (zh) * 2023-07-25 2023-08-22 苏州立创致恒电子科技有限公司 基于深度学习的热成像图像双目视差估计方法及系统

Similar Documents

Publication Publication Date Title
CN111066065A (zh) 用于混合深度正则化的系统和方法
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
WO2013038833A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
CN109448036A (zh) 一种基于双目图像确定视差图的方法及装置
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN114998320B (zh) 视觉显著性检测的方法、系统、电子装置和存储介质
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
CN114617527A (zh) 一种腹腔镜立体成像方法及系统
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
CN109712230B (zh) 三维模型补充方法、装置、存储介质及处理器
CN113610908B (zh) 一种用于单目内窥镜手术中的多基线融合的深度估计方法
CN116188554A (zh) 一种基于双目立体测量内镜的三维成像方法及装置
CN113344988B (zh) 立体匹配方法、终端及存储介质
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置
Conen et al. Development and evaluation of a miniature trinocular camera system for surgical measurement applications
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220614

WW01 Invention patent application withdrawn after publication