CN114565739A - 三维模型建立方法、内窥镜及存储介质 - Google Patents

三维模型建立方法、内窥镜及存储介质 Download PDF

Info

Publication number
CN114565739A
CN114565739A CN202210196082.6A CN202210196082A CN114565739A CN 114565739 A CN114565739 A CN 114565739A CN 202210196082 A CN202210196082 A CN 202210196082A CN 114565739 A CN114565739 A CN 114565739A
Authority
CN
China
Prior art keywords
matching
preset
parallax
image
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210196082.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202210196082.6A priority Critical patent/CN114565739A/zh
Publication of CN114565739A publication Critical patent/CN114565739A/zh
Priority to PCT/CN2023/078598 priority patent/WO2023165451A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种三维模型建立方法、内窥镜及存储介质，三维模型建立方法包括：获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。

Description

三维模型建立方法、内窥镜及存储介质
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种三维模型建立方法、内窥镜及存储介质。
背景技术
在内窥镜辅助下的腹腔微创手术的三维效果，一般需要医生通过佩戴3D眼睛，边观看3D显示屏边手术；或，双目内窥镜拍摄两路腹腔图像，图像分别显示在左右两个显示器中，通过左右显示器内容分别进入医生左右眼，从而实现立体效果。
传统采用双目立体匹配算法需要匹配左右相机视图中的每一个特征点，匹配特征计算时间长，达不到手术过程中的实时效果，出现；并且在双目立体匹配算法寻找特征点过程中，需要丰富的纹理图像，但腹腔内组织器官并不具有强烈的纹理信息，三维立体精度不高。
发明内容
基于此，有必要针对上述背景技术中的问题，提供一种三维模型建立方法、内窥镜及存储介质，提出新型的预设立体匹配算法，建立内窥镜照射的待测区域的三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
为解决上述技术问题，本申请的第一方面提出一种三维模型建立方法，用于建立待测区域的三维场景模型，所述方法包括：
获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；
根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；
根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。
于上述实施例中提供的三维模型建立方法中，在同一时刻获取不同结构光图案投影得到的多个原始结构图像，以增加待测区域的表面纹理，和未投影得到的原始图像；其中，不同结构光图案对应的原始结构图像不同；根据各原始结构图像采用预设立体匹配算法计算得到精度视差图，对精度视差图和原始图像采用第一预设规则获取三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
在其中一个实施例中，所述根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图，包括：
对各所述原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；
根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图。
在其中一个实施例中，所述结构图像包括处于同一平面的第一结构图像和第二结构图像，且预设点投影于所述第一结构图像的特征点与所述预设点投影于所述第二结构图像的匹配点处于同一行。
在其中一个实施例中，所述预设立体匹配算法包括第一预设算法和第二预设算法；所述根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图，包括：
根据所述第一结构图像和所述第二结构图像，采用所述第一预设算法计算得到第一匹配视差图；
根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二预设算法计算得到所述精度视差图。
在其中一个实施例中，所述根据所述第一结构图像和所述第二结构图像，采用第一预设算法计算得到第一匹配视差图，包括：
根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图；
对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图。
在其中一个实施例中，所述根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图，包括：
获取所述第一结构图像上若干个第一匹配网格点，各所述第一匹配网格点之间具有相距第一预设数量的像素点；
获取所述第一结构图像上的预设第一匹配网格点，及所述预设第一匹配网格点在所述第二结构图像上的原始视差搜索范围；
根据预设能量函数计算所述原始视差搜索范围内每一像素点的匹配代价值；
比较所述原始视差搜索范围内每一像素点的匹配代价值，确定所述原始视差搜索范围内最小匹配代价值，并将所述原始视差搜索范围内最小匹配代价值对应的像素点确定为预设第一匹配像素点；所述预设第一匹配像素点与所述预设第一匹配网格点处于同一行；
根据所述预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定所述第一结构图像内的映射第一匹配像素点。
在其中一个实施例中，所述确定所述第一结构图像内的映射第一匹配像素点，包括：
判断所述预设第一匹配像素点的最小匹配代价值是否小于预设第一匹配代价阈值；
若否，则将所述预设第一匹配网格点确定为视差空洞；
若是，则获取所述预设第一匹配像素点在所述第一结构图像上的第一视差搜索范围，并根据所述预设能量函数计算所述第一视差搜索范围内每一像素点的匹配代价值，比较所述第一视差搜索范围内每一像素点的匹配代价值，确定所述第一视差搜索范围内最小匹配代价值，并将所述第一视差搜索范围内最小匹配代价值对应的像素点确定为映射第一匹配像素点；所述映射第一匹配像素点与所述预设第一匹配像素点处于同一行。
在其中一个实施例中，所述确定所述第一结构图像内的映射第一匹配像素点之后，还包括：
根据所述预设第一匹配网格点与所述映射第一匹配像素点的间距与预设第一匹配间距的比较结果，获取所述低分辨率视差图。
在其中一个实施例中，所述获取所述低分辨率视差图，包括：
判断所述预设第一匹配网格点与所述映射第一匹配像素点间的距离是否小于预设第一匹配间距；
若大于或等于所述预设第一匹配间距，则将所述预设第一匹配网格点确定为视差空洞；
若小于所述预设第一匹配间距，则根据所述预设第一匹配网格点的水平坐标和所述预设第一匹配像素点的水平坐标，计算所述预设第一匹配网格点的视差值，并重新获取所述第一结构图像上的第一匹配网格点，计算得到所述第一结构图像上各所述第一匹配网格点的视差值，得到所述低分辨率视差图。
在其中一个实施例中，所述对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图，包括：
移除离散网格点；
根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置并采样，得到所述第一匹配视差图。
在其中一个实施例中，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用第二预设算法计算得到所述精度视差图，包括：
根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图；
对所述第二匹配视差图进行第二次优化处理，得到所述精度视差图。
在其中一个实施例中，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图，包括：
获取所述第一结构图像上若干个第二匹配网格点，各所述第二匹配网格点之间具有相距第二预设数量的像素点；
获取所述第一结构图像上的预设第二匹配网格点，并根据所述第一匹配视差图获取所述预设第二匹配网格点在所述第二结构图像上的第二视差搜索范围；
根据预设能量函数计算所述第二视差搜索范围内每一像素点的匹配代价值；
比较所述第二视差搜索范围内每一像素点的匹配代价值，确定所述第二视差搜索范围内最小匹配代价值，并将所述第二视差搜索范围内最小匹配代价对应的像素点确定为预设第二匹配像素点；所述预设第二匹配像素点与所述预设第二匹配网格点处于同一行；
根据所述预设第二匹配像素点的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定所述第一结构图像内的映射第二匹配像素点。
在其中一个实施例中，所述根据所述预设第二匹配像素点的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定所述第一结构图像内的映射第二匹配像素点，包括：
判断所述预设第二匹配像素点的最小匹配代价值是否小于预设第二匹配代价阈值；
若否，则将所述预设第二匹配网格点确定为视差空洞；
若是，则获取所述预设第二匹配像素点在所述第一结构图像上的第三视差搜索范围，并根据所述预设能量函数计算所述第三视差搜索范围内每一像素点的匹配代价值，比较所述第三视差搜索范围内每一像素点的匹配代价值，确定所述第三视差搜索范围内最小匹配代价值，并将所述第三视差搜索范围内最小匹配代价值对应的像素点确定为映射第二匹配像素点；所述映射第二匹配像素点与所述预设第二匹配像素点处于同一行。
在其中一个实施例中，确定所述第一结构图像内的映射第二匹配像素点之后，还包括：
根据所述预设第二匹配网格点与所述映射第二匹配像素点的间距与预设第二匹配间距的比较结果，获取所述第二匹配视差图。
在其中一个实施例中，所述根据所述预设第二匹配网格点与所述映射第二匹配像素点的间距与预设第二匹配间距的比较结果，获取第二匹配视差图，包括：
判断所述预设第二匹配网格点与所述映射第二匹配像素点间的距离是否小于预设第二匹配间距；
若大于或等于所述预设第二匹配间距，则将所述预设网格点确定为视差空洞；
若小于所述预设第二匹配间距，则根据所述预设第二匹配网格点的水平坐标和所述预设第二匹配像素点的水平坐标，计算所述预设第二匹配网格点的视差值，并重新获取所述第一结构图像上的第二匹配网格点，计算得到所述第一结构图像上各所述第二匹配网格点的视差值，得到所述第二匹配视差图。
在其中一个实施例中，所述对所述第二匹配视差图进行第二次优化处理，获取所述精度视差图，包括：
移除离散网格点；
根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置；
根据子像素优化技术和局部倾斜平面模型，获取所述精度视差图。
在其中一个实施例中，所述根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型，还包括：
获取内窥镜的相机标定参数；
根据所述相机标定参数，对所述精度视差图公式转换，获取三维点云图；
对所述三维点云图进行预处理，获取三维曲面模型；
对所述三维曲面模型和所述原始图像进行点云纹理贴图处理，获取所述三维场景模型。
在其中一个实施例中，所述预处理包括点云去噪处理及点云网格化处理。
在其中一个实施例中，所述获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像之前，还包括：
获取所述结构光图案，所述结构光图案包括第一结构光图案和与所述第一结构光图案的结构图案互不相同的第二结构光图案。
在其中一个实施例中，所述获取所述结构光图案包括：
获取结构画布，所述结构画布包括若干个网格，每一所述网格内均设置有斑点；所述网格与所述斑点一一对应；
获取各所述斑点的随机编码；
根据所述随机编码按照第二预设规则获取每一网格内所述斑点的编码，获取斑点图样；
根据所述斑点图样内所述斑点的编码的判断结果，获取所述结构光图案。
在其中一个实施例中，所述根据所述斑点图样内所述斑点的编码的判断结果，获取所述结构光图案，包括：
判断所述斑点图样内斑点的编码是否唯一；
若是，则将所述斑点图样确定为所述结构光图案；
若否，则重新获取所述斑点图样内斑点的编码。
本申请的第二方面提出一种内窥镜，包括：
投影模组，用于将不同结构光图案投影于待测区域；
成像模组，用于获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；不同结构光图案对应的原始结构图像不同；
图像处理装置，与所述成像模组及所述投影模组均连接，被配置为：
根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；
根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。
在其中一个实施例中，还包括：
照明模组；
摄像模组；
冷光源，用于向所述投影模组提供冷光源照明；
控制电路，被配置为：第一端与所述投影模组及所述成像模组均连接，第二端与所述图像处理装置连接，用于切换冷光源照明模式和结构光图案投影模式。
本申请的第三方面提出一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1为本申请一实施例中提供的一种三维模型建立方法的流程示意图；
图2为本申请一实施例中提供的一种获取结构光图案的流程示意图；
图3为本申请一实施例中提供的一种两种不同结构光图案的示意图；
图4为本申请一实施例中提供的一种原始图像和原始结构图像的示意图；
图5为本申请一实施例中提供的一种获取精度视差图的流程示意图；
图6为本申请一实施例中提供的一种去畸变和立体校正处理的原理示意图；
图7为本申请另一实施例中提供的一种获取精度视差图的流程示意图；
图8为本申请一实施例中提供的一种第一匹配算法的流程示意图；
图9为本申请一实施例中提供的一种第二匹配算法的流程示意图；
图10为本申请一实施例中提供的一种精度视差图的示意图；
图11为本申请一实施例中提供的一种三维模型建立方法的部分流程示意图；
图12为本申请一实施例中提供的一种三维点云图的示意图；
图13为本申请一实施例中提供的一种三维场景模型的示意图；
图14为本申请一实施例中提供的一种内窥镜的结构示意图。
附图标记说明：10、投影模组；20、成像模组；30、图像处理装置；4第一照明灯；42、第二照明灯；5第一摄像头；52、第二摄像头；60、冷光源；70、控制电路。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。
除非另有获取，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在使用本文中描述的“包括”、“具有”、和“包含”的情况下，除非使用了明确的限定用语，例如“仅”、“由……组成”等，否则还可以添加另一部件。除非相反地提及，否则单数形式的术语可以包括复数形式，并不能理解为其数量为一个。
应当理解，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如，在不脱离本申请的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
在本申请中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
现有技术使用双目立体匹配算法，如全局立体匹配算法图割(Graph Cut)、信念传播(Belief Propagation)等，需建立全局能量函数，通过最小化全局能量函数得到最优视差值，但对内存占用量大，处理速度特别慢；如局部立体匹配算法(Sum of absolutedifferences，SAD)等，通过能量最小化方法进行视差估计，每个像素并行计算，可以实时，但是局部范围的求解会带来匹配效果较差；还有一种最经典的半全局立体匹配算法SGM(Semi-global Matching)，半全局算法依旧采用全局框架，但是在计算能量函数最小化的步骤时使用高效率的一维路径聚合方法来代替全局算法中的二维最小化算法，使用一维最优来近似二维最优，可以得到较好的视差图，算法效率也有较好的提升，但是仍需要一两秒的时间来完成视差计算。
因此，本申请提出一种三维模型建立方法、内窥镜及存储介质，建立内窥镜照射的待测区域的三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
在本申请的一个实施例中提供的一种三维模型建立方法中，三维模型建立方法用于建立内窥镜照射的待测区域的三维场景模型，如图1所示，包括：
步骤S10：获取不同结构光图案投影于待测区域得到的多个原始结构图像，以及未投影于待测区域得到的原始图像；
步骤S20：根据各原始结构图像采用预设立体匹配算法计算得到精度视差图；
步骤S30：根据精度视差图和原始图像采用第一预设规则获取待测区域的三维场景模型。
于上述实施例中提供的三维模型建立方法中，在同一时刻获取不同结构光图案投影得到的多个原始结构图像，以增加待测区域的表面纹理，和未投影得到的原始图像；其中，不同结构光图案对应的原始结构图像不同；根据各原始结构图像采用预设立体匹配算法计算得到精度视差图，对精度视差图和原始图像采用第一预设规则获取三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果。
作为示例，不同结构光图案对应的原始结构图像不同；结构光图案包括散斑光图案，结构投影包括散斑投影。
作为示例，待测区域为内窥镜的照射区域，原始结构图像包括第一原始结构图像和第二原始结构图像，第一原始结构图像和第二原始结构图像具有不同的结构光图案，便于在进行第一预设算法和第二预设算法过程中，相互对应，生成高精度的三维场景模型。
在一个实施例中，步骤S10：获取不同结构光图案投影于待测区域得到的多个原始结构图像，以及未投影于待测区域得到的原始图像之前，还包括：
步骤S101：获取结构光图案，结构光图案包括第一结构光图案和与第一结构光图案的结构图案互不相同的第二结构光图案。
具体的，如图2所示，步骤S101：获取结构光图案，包括：
步骤S1011：获取结构画布，结构画布包括若干个网格，每一网格内均设置有斑点；网格与斑点一一对应；
步骤S1012：获取各斑点的随机编码；
步骤S1013：根据随机编码按照第二预设规则获取每一网格内斑点的编码，获取斑点图样；
步骤S1014：根据斑点图样内斑点的编码的判断结果，获取结构光图案。
作为示例，第二预设规则在每一次检测到斑点图样内斑点的编码不唯一，预设规则重新设定，需确保每一次执行的第二预设规则均不同，以加快每一网格内斑点编码的分配进度，从而提高三维模型建立的效率。
在一个实施例中，步骤S1014：根据斑点图样内斑点的编码的判断结果，获取结构光图案，包括：
步骤S1014a：判断斑点图样内斑点的编码是否唯一；
步骤S1014b：若是，则将斑点图样确定为结构光图案；
若否，则重新获取斑点图样内斑点的编码。
作为示例，随机编码包括每一个斑点的形状、朝向、大小、颜色、灰度，以及在对应网格内的偏移距离和偏移方向中至少一种。
作为示例，与第一原始结构图像对应的第一结构光图案中各斑点的编码和与第二原始结构图像对应的第二结构光图案中各斑点的编码互不相同；第一结构光图案中所有斑点的编码均不相同，具有全局唯一性；第二结构光图案中所有斑点的编码均不相同，具有全局唯一性。
作为示例，每一网格内具有M*M个像素，M为正整数；网格内的斑点可以占据多个像素。
为了便于理解结构光图案中的编码，图3中左图为第一结构光图案，图3中右图为第二结构光图案，需注意，图3仅作示意，结构光图案可以有无数种；只需确保第一结构光图案中所有斑点的编码与第二结构光图案中所有斑点的编码均不相同。图4中待测区域为腹腔内，图4中左图为未投影到待测区域的原始图像，图4中右图为具有结构光图案的原始结构图像；具有不同编码的结构光图案，可以为待测区域，如阴暗环境的腹腔内的组织器官，以增加特征纹理。
在一个实施例中，如图5所示，步骤S20：根据各原始结构图像采用预设立体匹配算法计算得到精度视差图，包括：
步骤S21：对各原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；
步骤S22：根据各原始结构图像采用预设立体匹配算法计算得到精度视差图。
作为示例，如图6所示，对第一原始结构图像和第二原始结构图像均依次进行去畸变和立体校正处理，将两个非共面行对准的第一原始结构图像和第二原始结构图像，校正成共面行对准，即，结构图像包括处于同一平面的第一结构图像和第二结构图像，且预设点P投影于第一结构图像的特征点PI与预设点P投影于第二结构图像的匹配点Pr处于同一行，使得在预设立体匹配算法过程中，只需搜索同一行上的匹配点即可，加快算法的效率。其中，预设点可以是空间内任意一点，且不在第一原始结构图像和第二原始结构图像上。
在一个实施例中，如图7所示，预设立体匹配算法包括第一预设算法和第二预设算法；步骤S22：根据各结构图像采用预设立体匹配算法计算得到精度视差图，包括如下步骤：
步骤S221：根据第一结构图像和第二结构图像，采用第一预设算法计算得到第一匹配视差图；
步骤S222：根据第一结构图像、第二结构图像及第一匹配视差图，采用第二预设算法计算得到精度视差图。
下面详细阐述第一预设算法：
在一个实施例中，步骤S221：根据第一结构图像和第二结构图像，采用第一预设算法计算得到第一匹配视差图，包括：
步骤S2211：根据第一结构图像和第二结构图像，采用第一匹配算法计算得到低分辨率视差图；
步骤S2212：对低分辨率视差图进行第一次优化处理，得到第一匹配视差图。
作为示例，第一匹配算法包括但不仅限于粗匹配算法。
作为示例，低分辨率的大小为第一结构图像的1/N倍，N为整数；第一结构图像与第二结构图像的大小相同。
在一个实施例中，如图8所示的第一匹配算法的流程示意图，步骤S2211：根据第一结构图像和第二结构图像，采用第一匹配算法计算得到低分辨率视差图，包括：
步骤S22111：获取第一结构图像上若干个第一匹配网格点，各第一匹配网格点之间具有相距第一预设数量的像素点；
步骤S22112：获取第一结构图像上的预设第一匹配网格点p及预设第一匹配网格点在第二结构图像上的原始视差搜索范围；
步骤S22113：根据预设能量函数计算原始视差搜索范围内每一像素点的匹配代价值；
步骤S22114：比较原始视差搜索范围内每一像素点的匹配代价值，确定原始视差搜索范围内最小匹配代价值所对应的预设第一匹配像素点q；预设第一匹配像素点q与预设第一匹配网格点p处于同一行；
步骤S22115：根据预设第一匹配像素点q的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定第一结构图像内的映射第一匹配像素点p’。
作为示例，预设能量函数包括预设匹配代价函数。
作为示例，可随机选取预设第一匹配网格点p，原始视差搜索范围较大，在后续寻找最小匹配代价值的过程中，根据每一网格点的视差值逐渐缩小范围。
作为示例，视差搜索范围是指第一结构图像上的A点，第二结构图像上的A’点，A点和A’点对应，在同一行上，以距离A’点相距40个像素，第40个像素为开始搜索点至A’点之间的范围。在第二结构图像上，在确定原始视差搜索范围内最小匹配代价值过程中，从左向右依次计算原始视差搜索范围内每一个像素点的匹配代价值。
作为示例，预设第一匹配像素点q与预设第一匹配网格点p可以处于同一列上，也可以不在同一列上；如，预设第一匹配网格点p位于10*10的网格点上，预设第一匹配像素点q位于10*4的网格点上。
在一个实施例中，预设能量函数为零均值归一化互相关函数CZNCC(x,y,d)，CZNCC(x,y,d)表达式如下：
Figure BDA0003525706480000081
其中，x,y为像素点的坐标，d为视差值，
Figure BDA0003525706480000082
为第n幅第一结构图像在(x+k，y+p)位置上的像素值强度，m为结构图对的数量，k与p的范围为[-l，l]，n的范围为[1，m]，
Figure BDA0003525706480000083
为第一结构图像以(x，y)为中心点，在预设时间内、待测区域内的像素变化强度，
Figure BDA0003525706480000084
为第一结构图像在预设空间内的平均像素强度，
Figure BDA0003525706480000085
为第二结构图像以(x-d，y)为中心点，在预设时间内、待测区域内的像素变化强度，
Figure BDA0003525706480000086
为第二结构图像在预设空间内的平均像素强度。
作为示例，保持待测区域不变，连续获取多张第一结构图像和多张第二结构图像，如预设时间为3毫秒内，每隔1毫秒依次获取3张第一结构图像和3张第二结构图像，从而结合时间域和空间域的像素信息，计算相关度值C，相关度值越大，最小匹配代价值越小。
需要说明的是，第二结构图像内的原始视差搜索范围内每一个像素点对应的匹配代价值可以并行计算，从而加快计算效率。
具体的，请继续参考图8，步骤S22115：根据预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定第一结构图像内的映射第一匹配像素点，包括：
步骤S22115a：判断预设第一匹配像素点q的最小匹配代价值是否小于预设第一匹配代价阈值；
步骤S22115b：若否，则将预设第一匹配网格点p确定为视差空洞；
步骤S22115c：若是，则获取预设第一匹配像素点q在第一结构图像上的第一视差搜索范围，并根据预设能量函数计算第一视差搜索范围内每一像素点的匹配代价值，比较第一视差搜索范围内每一像素点的匹配代价值，确定第一视差搜索范围内最小匹配代价值，并将第一视差搜索范围内最小匹配代价值对应的像素点确定为映射第一匹配像素点p’；映射第一匹配像素点p’与预设第一匹配像素点q处于同一行。
作为示例，本申请中视差空洞是指图像上网格点的视差值为预设视差值，预设视差值可以为0。
作为示例，原始视差搜索范围大于第一视差搜索范围；原始视差搜索范围和第一视差搜索范围在同一行上；第一视差搜索范围根据预设第一匹配网格点p的周围网格点的视差值动态缩小。
同上，在第一结构图像上的第一视差搜索范围内的每一个像素点的匹配代价值，可以并行计算，加快计算效率。
在一个实施例中，请继续参考图8，步骤S22116：根据预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定第一结构图像内的映射第一匹配像素点之后，还包括：
步骤S22116：根据预设第一匹配网格点p与映射第一匹配像素点p’的间距与预设第一匹配间距的比较结果，获取低分辨率视差图。
具体的，步骤S22116：根据预设第一匹配网格点p与映射第一匹配像素点p’的间距与预设第一匹配间距的比较结果，获取低分辨率视差图，包括：
步骤S22116a：判断预设第一匹配网格点p与映射第一匹配像素点间p’的距离是否小于预设第一匹配间距；
步骤S22116b：若大于或等于预设第一匹配间距，则将预设第一匹配网格点确定为视差空洞；
步骤S22116c：若小于预设第一匹配间距，则根据预设第一匹配网格点p的水平坐标Xp和预设第一匹配像素点的水平坐标Xq，计算预设第一匹配网格点p的视差值，并重新获取第一结构图像上的第一匹配网格点，计算得到第一结构图像上各第一匹配网格点的视差值，得到低分辨率视差图。
作为示例，第一结构图像上的所有第一匹配网格点的视差值均计算完毕，所有的第一匹配网格点组合形成低分辨率视差图。
作为示例，计算预设第一匹配网格点p的水平坐标Xp和预设第一匹配像素点的水平坐标Xq的差值，得到预设第一匹配网格点p的视差值d＝Xp-Xq。
作为示例，若预设第一匹配网格点p与映射第一匹配像素点间p’小于预设第一匹配间距，则认定第一结构图像的预设第一匹配网格点p和第二结构图像的预设第一匹配像素点q的视差值一致，p点和q点对应。
在一个实施例中，低分辨率视差图中视差值为0的网格点为视差空洞；步骤S2212：对低分辨率视差图进行第一次优化处理，获取第一匹配视差图，包括：
步骤S22121：移除离散网格点；
步骤S22122：根据双线性插值方法填充视差空洞和离散网格点所处的位置并采样，得到第一匹配视差图。
作为示例，双线性插值方法填充视差空洞后，采样填充得到的视差图，将填充后的视差图的尺寸恢复至第一结构图像或第二结构图像的尺寸，从而得到第一匹配视差图。
需注意，第二预设算法中预设能量函数的计算方式与第一预设算法中预设能量函数的计算方式相同，下面不再赘述；下面详细阐述第二预设算法：
在一个实施例中，步骤S222：根据第一结构图像、第二结构图像及第一匹配视差图，采用第二预设算法计算得到精度视差图，包括：
步骤S2221：根据第一结构图像、第二结构图像及第一匹配视差图，采用第二匹配算法计算得到第二匹配视差图；
步骤S2222：对第二匹配视差图进行第二次优化处理，得到精度视差图。
作为示例，第二匹配算法包括但不仅限于细匹配算法。
具体的，如图9所示，步骤S2221：根据第一结构图像、第二结构图像及第一匹配视差图，采用第二匹配算法计算得到第二匹配视差图，包括：
步骤S22211：获取第一结构图像上若干个第二匹配网格点，各第二匹配网格点之间具有相距第二预设数量的像素点；
步骤S22212：获取第一结构图像上的预设第二匹配网格点
Figure BDA0003525706480000091
并根据第一匹配视差图获取预设第二匹配网格点
Figure BDA0003525706480000092
在第二结构图像上的第二视差搜索范围；
步骤S22213：根据预设能量函数计算第二视差搜索范围内每一像素点的匹配代价值；
步骤S22214：比较第二视差搜索范围内每一像素点的匹配代价值，确定第二视差搜索范围内最小匹配代价值，并将第二视差搜索范围内最小匹配代价值对应的像素点确定为预设第二匹配像素点
Figure BDA0003525706480000093
预设第二匹配像素点
Figure BDA0003525706480000094
与预设第二匹配网格点
Figure BDA0003525706480000095
处于同一行；
步骤S22215：根据预设第二匹配像素点
Figure BDA0003525706480000096
的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定第一结构图像内的映射第二匹配像素点
Figure BDA0003525706480000101
在一个实施例中，第二视差搜索范围的表达式为：
Figure BDA0003525706480000102
其中，xq为预设第二匹配像素点q的坐标，
Figure BDA0003525706480000103
为预设窄带搜索半径，disp(q)为预设第二匹配网格点
Figure BDA0003525706480000104
的视差值。
作为示例，预设窄带搜索半径根据实际需求设定，本申请不作限定。
在一个实施例中，步骤S22215：根据预设第二匹配像素点
Figure BDA0003525706480000105
的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定第一结构图像内的映射第二匹配像素点
Figure BDA0003525706480000106
包括：
步骤S22215a：判断预设第二匹配像素点
Figure BDA0003525706480000107
的最小匹配代价值是否小于预设第二匹配代价阈值；
步骤S22215b：若否，则将预设第二匹配网格点
Figure BDA0003525706480000108
确定为视差空洞；
步骤S22215c：若是，则获取预设第二匹配像素点
Figure BDA0003525706480000109
在第一结构图像上的第三视差搜索范围，并根据预设能量函数计算第三视差搜索范围内每一像素点的匹配代价值，比较第三视差搜索范围内每一像素点的匹配代价值，确定第三视差搜索范围内最小匹配代价值，并将第三视差搜索范围内最小匹配代价值对应的像素点确定为映射第二匹配像素点
Figure BDA00035257064800001010
映射第二匹配像素点
Figure BDA00035257064800001011
与预设第二匹配像素点
Figure BDA00035257064800001012
处于同一行。
在一个实施例中，请继续参考图9，步骤S22215：根据预设第二匹配像素点
Figure BDA00035257064800001013
的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定第一结构图像内的映射第二匹配像素点
Figure BDA00035257064800001014
之后，还包括：
步骤S22216：根据预设第二匹配网格点
Figure BDA00035257064800001015
与映射第二匹配像素点
Figure BDA00035257064800001016
的间距与预设第二匹配间距的比较结果，获取第二匹配视差图。
具体的，请继续参考图9，步骤S22216：根据预设第二匹配网格点
Figure BDA00035257064800001017
与映射第二匹配像素点
Figure BDA00035257064800001018
的间距与预设第二匹配间距的比较结果，获取第二匹配视差图，包括：
步骤S22216a：判断预设第二匹配网格点
Figure BDA00035257064800001019
与映射第二匹配像素点
Figure BDA00035257064800001020
间的距离是否小于预设第二匹配间距；
步骤S22216b：若大于或等于预设第二匹配间距，则将预设网格点
Figure BDA00035257064800001021
确定为视差空洞；
步骤S22216c：若小于预设第二匹配间距，则根据预设第二匹配网格点
Figure BDA00035257064800001022
的水平坐标
Figure BDA00035257064800001023
和预设第二匹配像素点
Figure BDA00035257064800001024
的水平坐标，计算预设第二匹配网格点的视差值，并重新获取第一结构图像上的第二匹配网格点，计算得到第一结构图像上各第二匹配网格点的视差值，得到第二匹配视差图。
作为示例，作为示例，第一结构图像上的所有第二匹配网格点的视差值均计算完毕，所有的第二匹配网格点组合形成低分辨率视差图。
作为示例，计算预设第二匹配网格点
Figure BDA00035257064800001025
的水平坐标
Figure BDA00035257064800001026
和预设第二匹配像素点的水平坐标
Figure BDA00035257064800001027
的差值，得到预设第二匹配网格点
Figure BDA00035257064800001028
的视差值
Figure BDA00035257064800001029
在一个实施例中，步骤S2222：对第二匹配视差图进行第二次优化处理，获取精度视差图，包括：
步骤S22221：移除离散网格点；
步骤S22222：根据双线性插值方法填充视差空洞和离散网格点所处的位置；
步骤S22223：根据子像素优化技术和局部倾斜平面模型，获取精度视差图，如图10所示。
作为示例，第二匹配视差图中视差值为0的网格点为视差空洞。
作为示例，采用采用子像素优化技术，使用二次曲线内插的方法获得子像素，原理是该视差点及其周围两个视差点按照3点确定一条二次曲线的原理，得到过这3点的抛物线，该抛物线的顶点就是最优子像素。
作为示例，局部倾斜平面模型平滑视差图，每个局部倾斜平面用最小二乘拟合，由于每个局部区域没有相关性，所以每个局部倾斜平面的最小二乘拟合可以用并行计算的方式提高效率。
在一个实施例中，如图11所示，步骤S30：根据精度视差图和原始图像采用第一预设规则获取待测区域的三维场景模型，包括：
步骤S31：获取内窥镜的相机标定参数；
步骤S32：根据相机标定参数，对精度视差图公式转换，获取三维点云图，如图12所示；
步骤S33：对三维点云图进行预处理，获取三维曲面模型；
步骤S34：对三维曲面模型和原始图像进行点云纹理贴图处理，获取三维场景模型，如图13所示。
作为示例，图13中的左图为手术器械悬浮在组织上空，准备夹持或剪切病变位置的三维场景模型，图13中的右图为体外模拟场景的三维俯视图。
具体的，相机标定参数为内窥镜出厂前的标定参数，标定参数包括相机内参数矩阵、畸变系数矩阵、本征矩阵、基础矩阵、旋转矩阵及平移矩阵。相机标定参数的获取步骤如下：
步骤S311：获取格子板图案；
步骤S312：采集格子板的多个标定姿态；
步骤S313：寻找格子板角点，采用矩阵计算，获取相机标定参数。
作为示例，内窥镜的工作距离在距离镜头3cm-12.5cm处，所以设计大小3mm的黑白方格，宽为12个方格，长为9个方格，在镜头前4cm-12cm间标定。该距离为内窥镜的工作距离且成像最为清晰；在标定过程中旋转、倾斜、前后移动标定板，使得标定板以不同姿态出现在相机各视野处，大概拍摄15张图像。
具体的，根据相机标定参数，并结合平行双目视觉几何关系，将精度视差图，转换为空间xyz坐标信息，可以以热力图的形式可视化精度视差图，颜色越蓝，精度视差图的视差值越小，颜色越黄，精度视差图的视差值越大。
作为示例，视差的单位为像素，视差值在图像上的横坐标记为X，视差值在图像上的纵坐标记为Y，深度信息记为Z，单位为毫米。X＝(x-cx)*Z/f，Y＝(y-cy)*Z/f，Z＝(f*baseline)/disp；其中，baseline为两个相机光心之间的距离，也是基线距离；disp为视差值；f表示归一化的焦距；cx为相机光心在图像上的横坐标；cy为相机光心在图像上的纵坐标；
作为示例，预处理包括点云去噪处理及点云网格化处理；点云去噪，先对点云下采样进行数据压缩，提高算法效率，然后对每个点的邻域进行统计分析，剔除不符合一定标准的邻域点。点云网格化，使用贪心三角化法对点云进行三角化，即先将点云通过法线投影到二维坐标平面，再对投影得到的点云做平面内的三角化，得到各点的拓扑连接关系，最后根据平面内投影点的拓扑连接关系确定各原始三维点间的拓扑连接，所得三角网格即为重建得到的三维曲面模型。
作为示例，点云纹理贴图处理，将原始图像的所有颜色信息存储于纹理图上，显示时根据三维曲面模型上每个网格的纹理坐标和纹理图进行渲染，最终得到三维场景模型。
在本申请的一个实施例中，如图14所示，还提出一种内窥镜，执行如上述的三维模型建立方法，包括：投影模组10、成像模组20、图像处理装置30。投影模组10用于将不同结构光图案投影于待测区域；成像模组20用于获取不同结构光图案投影于待测区域得到的多个原始结构图像，以及未投影于待测区域得到的原始图像；图像处理装置30，与成像模组20及投影模组10均连接，被配置为：根据各原始结构图像采用预设立体匹配算法计算得到精度视差图；根据精度视差图和原始图像采用第一预设规则获取待测区域的三维场景模型。
于上述实施例中提供的内窥镜中，在同一时刻获取不同结构光图案投影得到的多个原始结构图像，以增加待测区域的表面纹理，和未投影得到的原始图像；其中，不同结构光图案对应的原始结构图像不同；根据各原始结构图像采用预设立体匹配算法计算得到精度视差图，对精度视差图和原始图像采用第一预设规则获取三维场景模型，保证三维立体精度的情况下，加快立体匹配速度，达到实时效果；并且，将微小投影模组嵌入于内窥镜中，不增加现有内窥镜体积，结构简单，装备便捷。
在一个实施例中，请继续参考图14，内窥镜还包括：照明模组、摄像模组、冷光源60及控制电路70。冷光源60用于经由导光束向投影模组10提供冷光源照明；控制电路70被配置为：第一端与投影模组10及成像模组20均连接，第二端与图像处理装置30连接，用于切换冷光源照明模式和结构光图案投影模式，控制投影频率，相机成像频率，设备小巧可实现复杂控制。
作为示例，照明模组包括于内窥镜的前端面呈对称分布的第一照明灯41和第二照明灯42；摄像模组包括第一摄像头51和第二摄像头52；其中，第一摄像头51和第二摄像头52于内窥镜的前端面呈对称分布，且均位于第一照明灯41与第二照明灯42之间。
作为示例，第一照明灯41和第二照明灯42发射可见光。
在一个实施例中，图像处理装置30还被配置为：
对各原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；结构图像包括处于同一平面的第一结构图像和第二结构图像；
根据各结构图像采用预设立体匹配算法计算得到精度视差图。
在一个实施例中，预设立体匹配算法包括第一预设算法和第二预设算法；图像处理装置30还被配置为：根据第一结构图像和第二结构图像，采用第一预设算法计算得到第一匹配视差图；根据第一结构图像、第二结构图像及第一匹配视差图，采用第二预设算法计算得到精度视差图。
具体的，图像处理装置30还被配置为：根据第一结构图像和第二结构图像，采用第一匹配算法计算得到低分辨率视差图；对低分辨率视差图进行第一次优化处理，得到第一匹配视差图。
在一个实施例中，图像处理装置30还被配置为：获取第一结构图像上若干个第一匹配网格点，各第一匹配网格点之间具有相距第一预设数量的像素点；
获取第一结构图像上的预设第一匹配网格点，并获取预设第一匹配网格点在第二结构图像上的原始视差搜索范围；
根据预设能量函数计算原始视差搜索范围内每一像素点的匹配代价值；
比较原始视差搜索范围内每一像素点的匹配代价值，确定原始视差搜索范围内最小匹配代价值，并将原始视差搜索范围内最小匹配代价值对应的像素点确定为预设第一匹配像素点；预设第一匹配像素点与预设第一匹配网格点处于同一行；
根据预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定第一结构图像内的映射第一匹配像素点。
在一个实施例中，图像处理装置30还被配置为：根据预设第一匹配网格点与映射第一匹配像素点的间距与预设第一匹配间距的比较结果，获取低分辨率视差图。
在一个实施例中，图像处理装置30还被配置为：获取第一结构图像上若干个第二匹配网格点，各第二匹配网格点之间具有相距第二预设数量的像素点；
获取第一结构图像上的预设第二匹配网格点，并根据第一匹配视差图获取预设第二匹配网格点在第二结构图像上的第二视差搜索范围；
根据预设能量函数计算第二视差搜索范围内每一像素点的匹配代价值；
比较第二视差搜索范围内每一像素点的匹配代价值，确定第二视差搜索范围内最小匹配代价值，并将第二视差搜索范围内最小匹配代价对应的像素点确定为预设第二匹配像素点；预设第二匹配像素点与预设第二匹配网格点处于同一行；
根据预设第二匹配像素点的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定第一结构图像内的映射第二匹配像素点。
在一个实施例中，图像处理装置30还被配置为：根据预设第二匹配网格点与映射第二匹配像素点的间距与预设第二匹配间距的比较结果，获取第二匹配视差图。
在本申请的一个实施例中，还提出一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述的方法的步骤。
关于上述实施例中的三维模型建立方法的具体限定可以参见上文中对于三维模型建立方法的限定，在此不再赘述。
应该理解的是，除非本文中有明确的说明，所述的步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，所述的步骤的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种三维模型建立方法，其特征在于，用于建立待测区域的三维场景模型，所述方法包括：
获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；
根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；
根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图，包括：
对各所述原始结构图像依次进行去畸变处理和立体校正处理，获取多个结构图像；
根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图。
3.根据权利要求2所述的方法，其特征在于，所述结构图像包括处于同一平面的第一结构图像和第二结构图像，且预设点投影于所述第一结构图像的特征点与所述预设点投影于所述第二结构图像的匹配点处于同一行。
4.根据权利要求3所述的方法，其特征在于，所述预设立体匹配算法包括第一预设算法和第二预设算法；所述根据各所述结构图像采用所述预设立体匹配算法计算得到所述精度视差图，包括：
根据所述第一结构图像和所述第二结构图像，采用所述第一预设算法计算得到第一匹配视差图；
根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二预设算法计算得到所述精度视差图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一结构图像和所述第二结构图像，采用第一预设算法计算得到第一匹配视差图，包括：
根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图；
对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一结构图像和所述第二结构图像，采用所述第一匹配算法计算得到低分辨率视差图，包括：
获取所述第一结构图像上若干个第一匹配网格点，各所述第一匹配网格点之间具有相距第一预设数量的像素点；
获取所述第一结构图像上的预设第一匹配网格点，及所述预设第一匹配网格点在所述第二结构图像上的原始视差搜索范围；
根据预设能量函数计算所述原始视差搜索范围内每一像素点的匹配代价值；
比较所述原始视差搜索范围内每一像素点的匹配代价值，确定所述原始视差搜索范围内最小匹配代价值，并将所述原始视差搜索范围内最小匹配代价值对应的像素点确定为预设第一匹配像素点；所述预设第一匹配像素点与所述预设第一匹配网格点处于同一行；
根据所述预设第一匹配像素点的最小匹配代价值与预设第一匹配代价阈值的比较结果，确定所述第一结构图像内的映射第一匹配像素点。
7.根据权利要求6所述的方法，其特征在于，所述确定所述第一结构图像内的映射第一匹配像素点，包括：
判断所述预设第一匹配像素点的最小匹配代价值是否小于预设第一匹配代价阈值；
若否，则将所述预设第一匹配网格点确定为视差空洞；
若是，则获取所述预设第一匹配像素点在所述第一结构图像上的第一视差搜索范围，并根据所述预设能量函数计算所述第一视差搜索范围内每一像素点的匹配代价值，比较所述第一视差搜索范围内每一像素点的匹配代价值，确定所述第一视差搜索范围内最小匹配代价值，并将所述第一视差搜索范围内最小匹配代价值对应的像素点确定为映射第一匹配像素点；所述映射第一匹配像素点与所述预设第一匹配像素点处于同一行。
8.根据权利要求7所述的方法，其特征在于，所述确定所述第一结构图像内的映射第一匹配像素点之后，还包括：
根据所述预设第一匹配网格点与所述映射第一匹配像素点的间距与预设第一匹配间距的比较结果，获取所述低分辨率视差图。
9.根据权利要求8所述的方法，其特征在于，所述获取所述低分辨率视差图，包括：
判断所述预设第一匹配网格点与所述映射第一匹配像素点间的距离是否小于预设第一匹配间距；
若大于或等于所述预设第一匹配间距，则将所述预设第一匹配网格点确定为视差空洞；
若小于所述预设第一匹配间距，则根据所述预设第一匹配网格点的水平坐标和所述预设第一匹配像素点的水平坐标，计算所述预设第一匹配网格点的视差值，并重新获取所述第一结构图像上的第一匹配网格点，计算得到所述第一结构图像上各所述第一匹配网格点的视差值，得到所述低分辨率视差图。
10.根据权利要求8所述的方法，其特征在于，所述对所述低分辨率视差图进行第一次优化处理，得到所述第一匹配视差图，包括：
移除离散网格点；
根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置并采样，得到所述第一匹配视差图。
11.根据权利要求4所述的方法，其特征在于，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用第二预设算法计算得到所述精度视差图，包括：
根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图；
对所述第二匹配视差图进行第二次优化处理，得到所述精度视差图。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第一结构图像、所述第二结构图像及所述第一匹配视差图，采用所述第二匹配算法计算得到第二匹配视差图，包括：
获取所述第一结构图像上若干个第二匹配网格点，各所述第二匹配网格点之间具有相距第二预设数量的像素点；
获取所述第一结构图像上的预设第二匹配网格点，并根据所述第一匹配视差图获取所述预设第二匹配网格点在所述第二结构图像上的第二视差搜索范围；
根据预设能量函数计算所述第二视差搜索范围内每一像素点的匹配代价值；
比较所述第二视差搜索范围内每一像素点的匹配代价值，确定所述第二视差搜索范围内最小匹配代价值，并将所述第二视差搜索范围内最小匹配代价对应的像素点确定为预设第二匹配像素点；所述预设第二匹配像素点与所述预设第二匹配网格点处于同一行；
根据所述预设第二匹配像素点的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定所述第一结构图像内的映射第二匹配像素点。
13.根据权利要求12所述的方法，其特征在于，所述根据所述预设第二匹配像素点的最小匹配代价值与预设第二匹配代价阈值的比较结果，确定所述第一结构图像内的映射第二匹配像素点，包括：
判断所述预设第二匹配像素点的最小匹配代价值是否小于预设第二匹配代价阈值；
若否，则将所述预设第二匹配网格点确定为视差空洞；
若是，则获取所述预设第二匹配像素点在所述第一结构图像上的第三视差搜索范围，并根据所述预设能量函数计算所述第三视差搜索范围内每一像素点的匹配代价值，比较所述第三视差搜索范围内每一像素点的匹配代价值，确定所述第三视差搜索范围内最小匹配代价值，并将所述第三视差搜索范围内最小匹配代价值对应的像素点确定为映射第二匹配像素点；所述映射第二匹配像素点与所述预设第二匹配像素点处于同一行。
14.根据权利要求13所述的方法，其特征在于，确定所述第一结构图像内的映射第二匹配像素点之后，还包括：
根据所述预设第二匹配网格点与所述映射第二匹配像素点的间距与预设第二匹配间距的比较结果，获取所述第二匹配视差图。
15.根据权利要求14所述的方法，其特征在于，所述根据所述预设第二匹配网格点与所述映射第二匹配像素点的间距与预设第二匹配间距的比较结果，获取第二匹配视差图，包括：
判断所述预设第二匹配网格点与所述映射第二匹配像素点间的距离是否小于预设第二匹配间距；
若大于或等于所述预设第二匹配间距，则将所述预设网格点确定为视差空洞；
若小于所述预设第二匹配间距，则根据所述预设第二匹配网格点的水平坐标和所述预设第二匹配像素点的水平坐标，计算所述预设第二匹配网格点的视差值，并重新获取所述第一结构图像上的第二匹配网格点，计算得到所述第一结构图像上各所述第二匹配网格点的视差值，得到所述第二匹配视差图。
16.根据权利要求11所述的方法，其特征在于，所述对所述第二匹配视差图进行第二次优化处理，获取所述精度视差图，包括：
移除离散网格点；
根据双线性插值方法填充所述视差空洞和所述离散网格点所处的网格点位置；
根据子像素优化技术和局部倾斜平面模型，获取所述精度视差图。
17.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型，还包括：
获取内窥镜的相机标定参数；
根据所述相机标定参数，对所述精度视差图公式转换，获取三维点云图；
对所述三维点云图进行预处理，获取三维曲面模型；
对所述三维曲面模型和所述原始图像进行点云纹理贴图处理，获取所述三维场景模型。
18.根据权利要求17所述的方法，其特征在于，所述预处理包括点云去噪处理及点云网格化处理。
19.根据权利要求1-4任一项所述的方法，其特征在于，所述获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像之前，还包括：
获取所述结构光图案，所述结构光图案包括第一结构光图案和与所述第一结构光图案的结构图案互不相同的第二结构光图案。
20.根据权利要求19所述的方法，其特征在于，所述获取所述结构光图案包括：
获取结构画布，所述结构画布包括若干个网格，每一所述网格内均设置有斑点；所述网格与所述斑点一一对应；
获取各所述斑点的随机编码；
根据所述随机编码按照第二预设规则获取每一网格内所述斑点的编码，获取斑点图样；
根据所述斑点图样内所述斑点的编码的判断结果，获取所述结构光图案。
21.根据权利要求20所述的方法，其特征在于，所述根据所述斑点图样内所述斑点的编码的判断结果，获取所述结构光图案，包括：
判断所述斑点图样内斑点的编码是否唯一；
若是，则将所述斑点图样确定为所述结构光图案；
若否，则重新获取所述斑点图样内斑点的编码。
22.一种内窥镜，其特征在于，包括：
投影模组，用于将不同结构光图案投影于待测区域；
成像模组，用于获取不同结构光图案投影于所述待测区域得到的多个原始结构图像，以及未投影于所述待测区域得到的原始图像；不同结构光图案对应的原始结构图像不同；
图像处理装置，与所述成像模组及所述投影模组均连接，被配置为：
根据各所述原始结构图像采用预设立体匹配算法计算得到精度视差图；
根据所述精度视差图和所述原始图像采用第一预设规则获取所述待测区域的三维场景模型。
23.根据权利要求22所述的内窥镜，其特征在于，还包括：
照明模组；
摄像模组；
冷光源，用于向所述投影模组提供冷光源照明；
控制电路，被配置为：第一端与所述投影模组及所述成像模组均连接，第二端与所述图像处理装置连接，用于切换冷光源照明模式和结构光图案投影模式。
24.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至21任一项所述的方法的步骤。
CN202210196082.6A 2022-03-01 2022-03-01 三维模型建立方法、内窥镜及存储介质 Pending CN114565739A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210196082.6A CN114565739A (zh) 2022-03-01 2022-03-01 三维模型建立方法、内窥镜及存储介质
PCT/CN2023/078598 WO2023165451A1 (zh) 2022-03-01 2023-02-28 三维模型建立方法、内窥镜及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210196082.6A CN114565739A (zh) 2022-03-01 2022-03-01 三维模型建立方法、内窥镜及存储介质

Publications (1)

Publication Number Publication Date
CN114565739A true CN114565739A (zh) 2022-05-31

Family

ID=81714887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210196082.6A Pending CN114565739A (zh) 2022-03-01 2022-03-01 三维模型建立方法、内窥镜及存储介质

Country Status (2)

Country Link
CN (1) CN114565739A (zh)
WO (1) WO2023165451A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165451A1 (zh) * 2022-03-01 2023-09-07 上海微创医疗机器人（集团）股份有限公司 三维模型建立方法、内窥镜及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
WO2018152929A1 (zh) * 2017-02-24 2018-08-30 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN111508068A (zh) * 2020-04-20 2020-08-07 华中科技大学 一种应用于双目内窥镜图像的三维重建方法及系统
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
CN112819777A (zh) * 2021-01-28 2021-05-18 重庆西山科技股份有限公司 一种双目内窥镜辅助显示方法、系统、装置和存储介质
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834374B2 (en) * 2017-02-28 2020-11-10 Peking University Shenzhen Graduate School Method, apparatus, and device for synthesizing virtual viewpoint images
CN114565739A (zh) * 2022-03-01 2022-05-31 上海微创医疗机器人（集团）股份有限公司 三维模型建立方法、内窥镜及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
WO2018152929A1 (zh) * 2017-02-24 2018-08-30 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN111508068A (zh) * 2020-04-20 2020-08-07 华中科技大学 一种应用于双目内窥镜图像的三维重建方法及系统
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
CN112819777A (zh) * 2021-01-28 2021-05-18 重庆西山科技股份有限公司 一种双目内窥镜辅助显示方法、系统、装置和存储介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏嘉敏: "双目相机结合结构光的三维内窥镜成像与融合技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, 15 February 2021 (2021-02-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165451A1 (zh) * 2022-03-01 2023-09-07 上海微创医疗机器人（集团）股份有限公司 三维模型建立方法、内窥镜及存储介质

Also Published As

Publication number Publication date
WO2023165451A1 (zh) 2023-09-07

Similar Documents

Publication Publication Date Title
US9367952B2 (en) 3D geometric modeling and 3D video content creation
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
US20190289284A1 (en) Light field capture and rendering for head-mounted displays
Paul Siebert et al. Human body 3D imaging by speckle texture projection photogrammetry
CN101516040B (zh) 视频匹配方法、装置及系统
US20050128196A1 (en) System and method for three dimensional modeling
CN109919876A (zh) 一种三维真脸建模方法及三维真脸照相系统
US20120242795A1 (en) Digital 3d camera using periodic illumination
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
AU2021211677B2 (en) Methods and systems for augmenting depth data from a depth sensor, such as with data from a multiview camera system
CN101198964A (zh) 使用红外图案照射创建对象的三维图像
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
WO2014027229A1 (en) Method and apparatus for converting 2d images to 3d images
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
CN108645353B (zh) 基于多帧随机二元编码光场的三维数据采集系统及方法
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
KR101411568B1 (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법
WO2023165451A1 (zh) 三维模型建立方法、内窥镜及存储介质
CN115205491A (zh) 一种手持多视图三维重建的方法及装置
US20240175677A1 (en) Measuring system providing shape from shading
Smithwick et al. Depth enhancement using a scanning fiber optical endoscope
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
CN107343151B (zh) 图像处理方法、装置和终端
CN107103620A (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination