CN111508068B - 一种应用于双目内窥镜图像的三维重建方法及系统 - Google Patents

一种应用于双目内窥镜图像的三维重建方法及系统 Download PDF

Info

Publication number
CN111508068B
CN111508068B CN202010314291.7A CN202010314291A CN111508068B CN 111508068 B CN111508068 B CN 111508068B CN 202010314291 A CN202010314291 A CN 202010314291A CN 111508068 B CN111508068 B CN 111508068B
Authority
CN
China
Prior art keywords
parallax
pixels
pixel
matching cost
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010314291.7A
Other languages
English (en)
Other versions
CN111508068A (zh
Inventor
石洪宽
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010314291.7A priority Critical patent/CN111508068B/zh
Publication of CN111508068A publication Critical patent/CN111508068A/zh
Application granted granted Critical
Publication of CN111508068B publication Critical patent/CN111508068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明公开了一种应用于双目内窥镜图像的三维重建方法及系统，所述方法包括：对拍摄的图像进行矫正处理，并划分出图像的感兴趣区域；计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值；将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内所述聚合后的匹配代价值最小时对应的视差，作为所述待匹配像素的最优视差；对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，如此，能够得到具有更高精度和覆盖率的三维重建模型。

Description

一种应用于双目内窥镜图像的三维重建方法及系统
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种应用于双目内窥镜图像的三维重建方法及系统。
背景技术
随着外科手术向微创化的方向发展，内窥镜被大量应用在临床手术中。医生只需在患者体表切开几个创口，将内窥镜伸入患者体内，在其拍摄的图像引导下操作器械即可完成手术。相比于传统的开放式手术，微创外科手术具有创口小、痛苦少、恢复快以及感染率低的优点。
微创手术中传统内窥镜拍摄的是关键部位的二维图像，此类图像往往存在畸变大、缺少深度感等缺点。因此无法为医生提供直观的三维结构信息，容易导致医生在手术过程中误判关键部位与器械的相对位置，进而操作失误造成内部器官出血。
正因上述原因，近年来双目内窥镜在微创手术中得到了大量应用。这种内窥镜使用两个图像采集单元拍摄目标，并将采集的图像传送到特殊的显示设备中，为医生提供三维影像，帮助医生判断关键部位与器械的相对位置，从而大大降低手术风险，并缩短手术时间。
目前针对双目相机拍摄图像进行三维重建的原理是：在双目相机拍摄的两张图像中，找出匹配的对应点，通过计算两张图中对应点像素位置差值得出视差，再根据相机固有参数计算出该点的深度值。但对于内窥镜拍摄的图像而言，图像往往具有反光、遮挡以及纹理特征少的特点，因此采用传统的三维重建方法获得的三维重建模型存在较大误差。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种应用于双目内窥镜图像的三维重建方法和系统，其目的在于解决现有方法重建得到的三维模型精度低的问题。
为实现上述目的，按照本发明的一个方面，提供了一种应用于双目内窥镜图像的三维重建方法，包括以下步骤：
S1：对拍摄的图像进行矫正处理，并划分出图像的感兴趣区域；
S2：计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
S3：将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内所述聚合后的匹配代价值最小时对应的视差，作为所述待匹配像素的最优视差；
S4：对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
S5：对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型。
进一步地，所述步骤S4中，所述视差优化处理依次为：
进行唯一性检验，若视差满足S(p,d)＜(1-UniquessRatio/100)*S(p,k)，为有效视差，否则，为无效视差；其中，S(p,d)为像素点p的最低匹配代价值，S(p,k)为像素点p的次低匹配代价值，d和k分别表示不同的视差值，UniquessRatio为常数参数，用于定义像素视差的唯一性水平；
再进行剔除错误视差，采用左右一致性法，若视差满足|dispR[p-d]-dispL[p]|＜dispMaxDiff，为有效视差，否则，为无效视差；其中，dispL[p]为像素点p在左视差图的视差值，dispR[p-d]为像素点p在右视差图的视差值，dispMaxDiff为常数参数，用于定义像素视差的一致性水平。
进一步地，所述方法还包括：对得到的有效视差进行亚像素插值；具体为：对最优视差的匹配代价值以及前后两个视差的匹配代价值进行二次曲线拟合，曲线的极值点所对应的视差值为新的最优视差。
进一步地，所述步骤S5中，对具有无效视差的像素进行填补包括：
当所述具有无效视差的像素的周围四个像素的视差有效时，使用四点插值的方法进行填补；或者
当所述具有无效视差的像素不满足四点插值的使用条件时，使用中值滤波的方法进行填补。
进一步地，所述步骤S1中对拍摄的图像进行矫正处理包括：
使用标定得到的相机的内参矩阵和畸变参数矩阵，根据所述畸变参数矩阵对拍摄的图像进行畸变矫正；再根据所述内参矩阵和左右相机之间的旋转矩阵和平移矩阵对图像进行极线矫正，使得左右图像的像素位于同一水平线上。
本发明另一方面提供了一种应用于双目内窥镜图像的三维重建系统，包括：
预处理单元，用于对拍摄的图像进行矫正处理，并划分出图像的感兴趣区域；
匹配代价计算单元，用于计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
匹配代价聚合单元，用于将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内所述聚合后的匹配代价值最小时对应的视差，作为所述待匹配像素的最优视差；
视差优化单元，用于对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
后处理单元，用于对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型。
进一步地，所述视差优化单元还用于，
进行唯一性检验，若视差满足S(p,d)＜(1-UniquessRatio/100)*S(p,k)，为有效视差，否则，为无效视差；其中，S(p,d)为像素点p的最低匹配代价值，S(p,k)为像素点p的次低匹配代价值，d和k分别表示不同的视差值，UniquessRatio为常数参数，用于定义像素视差的唯一性水平；
再进行剔除错误视差，采用左右一致性法，若视差满足|dispR[p-d]-dispL[p]|＜dispMaxDiff，为有效视差，否则，为无效视差；其中，dispL[p]为像素点p在左视差图的视差值，dispR[p-d]为像素点p在右视差图的视差值，dispMaxDiff为常数参数，用于定义像素视差的一致性水平。
进一步地，所述视差优化单元还用于，
对得到的有效视差进行亚像素插值；具体为：对最优视差的匹配代价值以及前后两个视差的匹配代价值进行二次曲线拟合，曲线的极值点所对应的视差值为新的最优视差。
进一步地，所述后处理单元还用于，
当所述具有无效视差的像素的周围四个像素的视差有效时，使用四点插值的方法进行填补；或者
当所述具有无效视差的像素不满足四点插值的使用条件时，使用中值滤波的方法进行填补。
进一步地，所述预处理单元还用于，
使用标定得到的相机的内参矩阵和畸变参数矩阵，根据所述畸变参数矩阵对拍摄的图像进行畸变矫正；再根据所述内参矩阵和左右相机之间的旋转矩阵和平移矩阵对图像进行极线矫正，使得左右图像的像素位于同一水平线上。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明使用Census变换对图像进行处理，并用Hamming距离作为匹配代价值，同时通过可靠的后处理方法，根据可靠性高的像素点数据对具有无效视差的像素进行空洞填补，不仅改善了三维重建模型的精度，还提高了重建点的覆盖率。
(2)通过对有效视差进行亚像素插值，避免了分层现象的出现。
(3)本发明对图片整体的明暗变化不敏感，适用于内窥镜图像场景；应用于临床手术中能够缩短手术时间，减少手术风险。
附图说明
图1为本发明提供的一种应用于双目内窥镜图像的三维重建方法的流程图；
图2为本发明提供的双目内窥镜拍摄的关键部位原图像(左相机)；
图3为本发明提供的原图像经过预处理后的输入图像(左相机)；
图4为本发明提供的未经过后处理得到的左视差图；
图5为本发明提供的经过后处理得到的左视差图；
图6为本发明提供的三维重建模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1所示为本发明提供的一种应用于双目内窥镜图像的三维重建方法的流程图；，具体包括以下步骤：
S1：对拍摄的图像进行矫正处理，并划分出图像的感兴趣区域；
具体的，对原始图像进行预处理，图2所示为双目内窥镜中左相机拍摄的关键部位原始图像。首先，使用标定得到的相机参数，对左右原始图像进行畸变矫正和极线矫正；其中，标定得到的相机参数包括内参矩阵M和畸变参数矩阵D，以左侧相机为例，其相机参数为：
Figure BDA0002458889180000061
DL＝[k1 k2 p1 p2 k3]
其中，fx,fy表示透镜的焦距，cx,cy表示投影中心相对于光心的偏移；k1,k2,k3用于计算镜头的径向畸变，p1,p2用于计算镜头的切向畸变。
左右相机之间的旋转矩阵为R，平移矩阵为T：
Figure BDA0002458889180000062
其中，r11-r33为右相机相对于左相机的旋转矩阵分量，tx,ty,tz为右相机相对于左相机的平移矩阵分量。通过上述参数，使用畸变参数矩阵对拍摄的图像进行畸变矫正，再根据内参矩阵和左右相机之间的旋转及平移矩阵对图像进行极线矫正，使得左右图像的像素都位于同一水平线上。
再对矫正后的图像进行裁剪和划分感兴趣区域。图像的周围并不是关键区域，但会为三维重建带来大量误差，因此将图像四周裁剪。另外由于内窥镜在拍摄关键部位的图像中同时存在前景和背景，但背景不需要作为输入进行三维重建，因此设定像素强度阈值Y。当像素灰度值大于阈值Y时，才会作为待匹配像素输入。经过上述处理后的图像如图3所示。
S2：计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
具体的，Census变换比较的是点的相对灰度关系，对整体的明暗变化并不敏感，即使左右影像亮度不一致，也能得到较好的匹配效果，适用于内窥镜图像场景。具体来说，Census变换是通过将邻域窗口(窗口大小为(2*n+1)×(2*m+1))内的像素灰度值与窗口中心像素的灰度值进行比较，将比较得到的布尔值映射到一个比特串中，最后用比特串的值作为中心像素的Census变换值Cs，如公式1所示：
Figure BDA0002458889180000071
其中，n和m确定邻域窗口的大小，I(u,v)表示像素点p处的灰度值，
Figure BDA0002458889180000072
表示比特位的逐位连接运算，ξ运算由公式2定义：
Figure BDA0002458889180000073
/>
再计算左图待匹配像素与右图候选像素Census变换值Cs的Hamming距离作为代价值，来衡量两个像素点的匹配程度。Hamming距离的计算方法是将两个比特串进行异或运算，再统计运算结果中比特位为1的个数，如公式3所示：
C(u,v,d)＝Ham min g(Csl(u,v),Csr(u-d,v)) (公式3)
其中，d表示视差值，通常为一个范围。因此对每个左图的待匹配像素来说，其都有多个匹配代价C(u,v,d)。
S3：将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内所述聚合后的匹配代价值最小时对应的视差，作为所述待匹配像素的最优视差；
具体的，由于步骤S2只考虑了局部的相关性，没有利用整张图像的信息，因此无法直接用来计算最优视差。步骤S3进行代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性。代价聚合采用的是全局能量最优化策略，即寻找所有像素的最优视差图D使得整张图像的全局能量函数最小。全局能量函数的定义如公式4所示：
E(D)＝Edata(D)+Esmooth(D) (公式4)
其中，D表示整个视差图，Edata(D)为数据项，反应视差图对应的总体匹配代价；Esmooth(D)是平滑项，为了让视差图满足某些条件假设的约束。对于内窥镜图像而言，一般假设关键部位表面平滑，邻域内视差相差不会太大。如果相差太大就会被惩罚，导致平滑项增大。
基于此，可以使用路径代价聚合的方法来求解视差图D，即从像素的各个方向一维聚合代价值，然后将所有方向代价值相加得到该像素聚合后的匹配代价值S(p,d)。像素p沿着某个方向r的匹配代价Lr(p,d)的计算方法如公式5所示：
Figure BDA0002458889180000081
其中，C(p,d)为步骤S2中计算的匹配代价值，Lr(p-r,i)为该方向上邻域像素的代价值，对于邻域像素视差值也为d时的代价值不进行惩罚，视差值为d±1时的代价值加上小惩罚值P1，视差值为其他时的代价值加上大惩罚值P2。对它们进行比较后取最小值代入计算，在得到所有方向的Lr(p,d)后，将其累加作为该像素点的代价值，如公式6所示：
Figure BDA0002458889180000082
对像素点p，计算出视差范围下的所有S(p,d)值，并进行比较选取S(p,d)最小时对应的视差，作为像素点p的最优视差。
S4：对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
具体的，通过上述步骤可以分别得出左右图像的视差图dispL和dispR，接下来以左视差图为例，进行视差优化，包括唯一性检验、剔除错误视差和亚像素插值。
(1)唯一性检验是检验每个像素视差对应的最低代价是否显著，只有当最低代价足够小时，才认为最低代价对应的视差值是该像素的有效视差，否则无效。具体如公式7所示：
S(p,d)＜(1-UniquessRatio/100)*S(p,k) (公式7)
其中，S(p,d)为像素点p的最低匹配代价值，S(p,k)为像素点p的次低匹配代价值，d和k分别表示不同的视差值，UniquessRatio为常数参数，用于定义像素视差的唯一性水平；
(2)剔除错误视差采用的是左右一致性法(L-R Check)，用于检验左右两张视差图是否对应匹配。具体如公式8所示：
|dispR[p-d]-dispL[p]|＜dispMaxDiff (公式8)
其中，dispL[p]为像素点p在左视差图的视差值，dispR[p-d]为像素点p在右视差图的视差值，dispMaxDiff为常数参数，用于定义像素视差的一致性水平。
(3)亚像素插值
由于上述得到的视差为整数，直接进行三维重建会导致分层现象的出现，因此本发明采用二次曲线内插的方法获得亚像素精度。具体方法是，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值为新的亚像素视差值。图4是经过视差优化得到的左侧视差图，图中点像素的灰度值由该点的视差值转换而来，因此亮暗程度与深度相关，越亮表示距离镜头越近。
S5：对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型。
具体的，对具有无效视差的像素进行填补，填补的方法根据情况分为四点插值和中值滤波：
(1)四点插值。当无效像素的周围四个像素视差有效，且视差值小于设定的阈值时，根据关键部位表面平滑的假设，使用四点插值的方法填补无效视差像素；
(2)中值滤波。在不满足四点插值的使用条件时，对无效视差像素周围更大的邻域(窗口大小为(2*n+1)×(2*m+1))使用中值滤波的方法进行填补，如公式9所示：
Figure BDA0002458889180000101
其中，t表示邻域内有效视差的个数，d(u,v)表示填补后的视差值。
经过后处理的视差图如图5所示，图中像素值由视差值转换而来。根据相机的固有参数计算像素点的深度，进而得到三维重建模型，如图6所示，图中是三维重建模型在特定角度下的视图，每个点的灰度值由二维输入图像继承而来，不代表深度，仅用做显示。运算完毕，经过与金标准对比，发现重建点的平均误差为2.56mm，覆盖率达到99.81％，相比其他方法精度和覆盖率大幅提升，可以用于临床手术中。
本发明实施例另一方面提供了一种应用于双目内窥镜图像的三维重建系统，包括：
预处理单元，用于对拍摄的图像进行矫正处理，并划分出图像的感兴趣区域；
匹配代价计算单元，用于计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
匹配代价聚合单元，用于将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内所述聚合后的匹配代价值最小时对应的视差，作为所述待匹配像素的最优视差；
视差优化单元，用于对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
后处理单元，用于对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用于双目内窥镜图像的三维重建方法，其特征在于，包括以下步骤：
S1：对拍摄的图像进行矫正处理，并将像素灰度值大于灰度阈值的像素区域划分为感兴趣区域；
S2：计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值，以使得在内窥镜图像场景下，即使左右影像亮度不一致，也能得到较好的匹配效果；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
S3：将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内全局能量函数最小时对应的视差，作为所述待匹配像素的最优视差，所述全局能量函数E(D)＝Edata(D)+Esmooth(D)，Edata(D)表示所述聚合后的匹配代价值，Esmooth(D)表示平滑项；
S4：对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
所述步骤S4中，所述视差优化处理依次为：
进行唯一性检验，若视差满足S(p,d)＜(1-UniquessRatio/100)*S(p,k)，为有效视差，否则，为无效视差；其中，S(p,d)为像素点p的最低匹配代价值，S(p,k)为像素点p的次低匹配代价值，d和k分别表示不同的视差值，UniquessRatio为常数参数，用于定义像素视差的唯一性水平；
再进行剔除错误视差，采用左右一致性法，若视差满足dispR[p-d]-dispL[p]＜dispMaxDiff，为有效视差，否则，为无效视差；其中，dispL[p]为像素点p在左视差图的视差值，dispR[p-d]为像素点p在右视差图的视差值，dispMaxDiff为常数参数，用于定义像素视差的一致性水平；
S5：对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型；
所述步骤S5中，对具有无效视差的像素进行填补包括：
当所述具有无效视差的像素的周围四个像素的视差有效时，使用四点插值的方法进行填补；或者
当所述具有无效视差的像素不满足四点插值的使用条件时，使用中值滤波的方法进行填补。
2.如权利要求1所述的应用于双目内窥镜图像的三维重建方法，其特征在于，所述方法还包括：对得到的有效视差进行亚像素插值；具体为：对最优视差的匹配代价值以及前后两个视差的匹配代价值进行二次曲线拟合，曲线的极值点所对应的视差值为新的最优视差。
3.如权利要求1所述的应用于双目内窥镜图像的三维重建方法，其特征在于，所述步骤S1中对拍摄的图像进行矫正处理包括：
使用标定得到的相机的内参矩阵和畸变参数矩阵，根据所述畸变参数矩阵对拍摄的图像进行畸变矫正；再根据所述内参矩阵和左右相机之间的旋转矩阵和平移矩阵对图像进行极线矫正，使得左右图像的像素位于同一水平线上。
4.一种应用于双目内窥镜图像的三维重建系统，其特征在于，包括：
预处理单元，用于对拍摄的图像进行矫正处理，并将像素灰度值大于灰度阈值的像素区域划分为感兴趣区域；
匹配代价计算单元，用于计算所述感兴趣区域内待匹配像素和候选像素的Census变换值的Hamming距离，作为匹配代价值，以使得在内窥镜图像场景下，即使左右影像亮度不一致，也能得到较好的匹配效果；其中，所述待匹配像素和所述候选像素为两张图像中对应的两个像素；
匹配代价聚合单元，用于将所述待匹配像素在所有路径方向上的匹配代价值相加，得到所述待匹配像素聚合后的匹配代价值；取视差范围内全局能量函数最小时对应的视差，作为所述待匹配像素的最优视差，所述全局能量函数E(D)＝Edata(D)+Esmooth(D)，Edata(D)表示所述聚合后的匹配代价值，Esmooth(D)表示平滑项；
视差优化单元，用于对每个待匹配像素的最优视差进行视差优化处理，得到有效视差和无效视差；
所述视差优化处理依次为：
进行唯一性检验，若视差满足S(p,d)＜(1-UniquessRatio/100)*S(p,k)，为有效视差，否则，为无效视差；其中，S(p,d)为像素点p的最低匹配代价值，S(p,k)为像素点p的次低匹配代价值，d和k分别表示不同的视差值，UniquessRatio为常数参数，用于定义像素视差的唯一性水平；
再进行剔除错误视差，采用左右一致性法，若视差满足dispR[p-d]-dispL[p]＜dispMaxDiff，为有效视差，否则，为无效视差；其中，dispL[p]为像素点p在左视差图的视差值，dispR[p-d]为像素点p在右视差图的视差值，dispMaxDiff为常数参数，用于定义像素视差的一致性水平；
后处理单元，用于对具有无效视差的像素进行填补，再根据相机的固有参数计算所述感兴趣区域内像素点的深度，从而得到三维重建模型；
所述对具有无效视差的像素进行填补包括：
当所述具有无效视差的像素的周围四个像素的视差有效时，使用四点插值的方法进行填补；或者
当所述具有无效视差的像素不满足四点插值的使用条件时，使用中值滤波的方法进行填补。
5.如权利要求4所述的应用于双目内窥镜图像的三维重建系统，其特征在于，所述视差优化单元还用于，
对得到的有效视差进行亚像素插值；具体为：对最优视差的匹配代价值以及前后两个视差的匹配代价值进行二次曲线拟合，曲线的极值点所对应的视差值为新的最优视差。
6.如权利要求4所述的应用于双目内窥镜图像的三维重建系统，其特征在于，所述预处理单元还用于，
使用标定得到的相机的内参矩阵和畸变参数矩阵，根据所述畸变参数矩阵对拍摄的图像进行畸变矫正；再根据所述内参矩阵和左右相机之间的旋转矩阵和平移矩阵对图像进行极线矫正，使得左右图像的像素位于同一水平线上。
CN202010314291.7A 2020-04-20 2020-04-20 一种应用于双目内窥镜图像的三维重建方法及系统 Active CN111508068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314291.7A CN111508068B (zh) 2020-04-20 2020-04-20 一种应用于双目内窥镜图像的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314291.7A CN111508068B (zh) 2020-04-20 2020-04-20 一种应用于双目内窥镜图像的三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN111508068A CN111508068A (zh) 2020-08-07
CN111508068B true CN111508068B (zh) 2023-05-30

Family

ID=71864147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314291.7A Active CN111508068B (zh) 2020-04-20 2020-04-20 一种应用于双目内窥镜图像的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN111508068B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435573B (zh) * 2021-06-07 2022-04-29 华中科技大学 内窥镜图像的视差预测模型建立方法及深度估计方法
CN114565739A (zh) * 2022-03-01 2022-05-31 上海微创医疗机器人（集团）股份有限公司 三维模型建立方法、内窥镜及存储介质
CN116129037B (zh) * 2022-12-13 2023-10-31 珠海视熙科技有限公司 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN117437350B (zh) * 2023-09-12 2024-05-03 南京诺源医疗器械有限公司 一种用于手术术前规划的三维重建系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN110992431A (zh) * 2019-12-16 2020-04-10 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831601A (zh) * 2012-07-26 2012-12-19 中北大学 基于联合相似性测度和自适应支持权重的立体匹配方法
CN102999939B (zh) * 2012-09-21 2016-02-17 魏益群 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN103868460B (zh) * 2014-03-13 2016-10-05 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN107316324B (zh) * 2017-05-18 2020-08-04 中山大学 基于cuda实现的实时立体匹配及优化的方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110060283B (zh) * 2019-04-17 2020-10-30 武汉大学 一种多测度半全局密集匹配方法
CN110569704B (zh) * 2019-05-11 2022-11-22 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN110992431A (zh) * 2019-12-16 2020-04-10 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法

Also Published As

Publication number Publication date
CN111508068A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
CN103356155B (zh) 虚拟内窥镜辅助的腔体病灶检查系统
CN111145238A (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US8593524B2 (en) Calibrating a camera system
Stoyanov Stereoscopic scene flow for robotic assisted minimally invasive surgery
CN104104937B (zh) 图像处理装置以及图像处理方法
CN102737395B (zh) 一种医用x射线系统中的图像处理方法及装置
US20180214006A1 (en) Image processing apparatus and image processing method
CN105050473A (zh) 图像处理装置、内窥镜装置、程序以及图像处理方法
JPH05108819A (ja) 画像処理装置
CN104883946A (zh) 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
US20030039405A1 (en) Image position matching apparatus and image processing apparatus
CN110992431B (zh) 一种双目内窥镜软组织图像的联合三维重建方法
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
CN112509055B (zh) 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN116029996A (zh) 立体匹配的方法、装置和电子设备
Groch et al. 3D surface reconstruction for laparoscopic computer-assisted interventions: comparison of state-of-the-art methods
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN109919988A (zh) 一种适用于三维内窥镜的立体图像处理方法
CN115294128B (zh) 一种用于消化内镜的单目结构三维成像方法及装置
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN113610908B (zh) 一种用于单目内窥镜手术中的多基线融合的深度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant