CN107221029A - 一种三维图像重建方法 - Google Patents

一种三维图像重建方法 Download PDF

Info

Publication number
CN107221029A
CN107221029A CN201710223181.8A CN201710223181A CN107221029A CN 107221029 A CN107221029 A CN 107221029A CN 201710223181 A CN201710223181 A CN 201710223181A CN 107221029 A CN107221029 A CN 107221029A
Authority
CN
China
Prior art keywords
tongue
image
point
disparity map
reconstruction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710223181.8A
Other languages
English (en)
Inventor
周鹏
孙士松
王瑞云
裴欣欣
王学民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710223181.8A priority Critical patent/CN107221029A/zh
Publication of CN107221029A publication Critical patent/CN107221029A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种三维图像重建方法，包括步骤一：高光环境下进行图像对采集，得到标定板图像对和舌图像对；步骤二：图像预处理，满足基线约束的舌图像对，为线性增长提供初始特征点；步骤三：改进的线性种子点增长立体匹配算法，得到视差图；步骤四：视差图感兴趣区域提取及滤波，得到感兴趣区域视差图；步骤五：点云重建及模型重建，得到舌像点云图和完整舌模型。本发明有益效果是可在小于舌颤动的时间内采集舌像并实现0.1626mm的重建精度，可同时得到真实舌形状和颜色信息，为舌诊三维定量化、客观化研究提供有效科学依据并用于医学诊断。

Description

一种三维图像重建方法
技术领域
本发明涉及中医舌诊领域，尤其涉及一种三维图像重建方法。
背景技术
舌诊是中医四诊的重要组成部分，在许多中医学著作中都有舌诊的记载，其是中医辨证论治的重要方法之一，历代著名医家都非常重视舌诊的研究，使其不断完善并形成中医舌诊学系统。
中医学认为“舌为心之侯，苔乃胃之明徵”，“有诸内者必形于外”，舌体的不同区域直接或间接与人体五脏六腑相联系，舌象的变化能够更迅速地反应疾病发展程度，客观反映病情。医生是这种生理变化的解读者，通过观察舌像，以了解人内在所患疾病。由于舌像能反映人体的生理病理变化，是观察体内功能变化的一个窗口，因此在疾病诊断、早期发现、推断预后都具有重要意义。
中医舌诊客观化、定量化研究已有一定历史。回顾其发展历程，研究基础分为二维舌像和三维舌像。当前的客观化舌诊主要基于二维舌图像，可得到颜色、纹理、形态、润燥、舌苔薄厚等多个生理信息，在一定程度上能反映患者病理情况，如第二军医大学的岳小强等基于临床总结了肝癌的舌色特征，并对其形成和临床意义得出初步结论。由此可见，二维舌像客观化研究对于自动化疾病诊断和早期发现有非常重要意义，极大的推动了中医的全球化发展。但是由于二维舌像深度信息的缺失，也造成了部分生理信息的提取困难，如作为二维舌像分析基础的舌体分割，当前舌体分割方法有基于颜色的阈值分割法、Snakes、图论分割方法等，陈善超等人提出一种改进的图论分割方法，将多分辨分析与Graph-Based 方法结合进行舌体分割，韦玉科等人提出了改进的GrabCut方法，利用四叉树分解对采集的舌体初分割，然后用相似区域的颜色均值优化GrabCut算法中高斯混合模型参数，最终实现舌体分割。而三维舌像只需利用深度信息即可完成舌体分割。同时二维舌像不能反映舌表面的齿痕、点刺、裂痕等细节信息，这些结构也包含了部分生理病理信息，因此约束了舌像信息的全面性，妨碍了医生的正确诊断。此外建立三维舌模型对多个领域都有极大的益处，如掌握人类发音过程中舌头的形变规律对于头颈外科医生以及语言学家十分重要，此外在生物力学、人机交互、计算机辅助语言教学、电影制作等方面都将发挥极大的作用。因此，对于三维舌像的研究是十分必要且有价值的，已经成为当今舌诊客观化的研究热点。
因为舌的隐蔽性，对于舌像三维重建的研究始于上世纪80年代，起步晚研究少。研究者的侧重点各有不同。一部分研究者为探究舌形状与语言发音、表情的关系，因此研究重点在于基于模型的参数化舌模型建立，而另一部分研究者出发点是作为中医舌诊的医学标准化诊断，注重于形状、颜色及纹理，因此研究重点在于基于图像或图像与模型相结合的舌重建。先后有国外学者Andrew J.Lundberg、Engwall O，用超声图像、MRI图像来重建舌形状。Jiyong Ma、Mihai Daniel Ilie利用三维建模软件并参考舌体解剖学信息建立舌模型，前者在在中矢面上手动选择12个控制点来控制舌形状变化，后者根据几何特征选择五个控制点，均可实现不同字母及表情的舌形状。Zhixiang Chen在Deng的基础上提出新型肌肉控制舌模型，将舌肌肉分为内在和外在肌肉，分别控制形变和运动,对其分别建模，可实现自然舌运动及一些基本语言下的舌形状，例如舌体卷曲。未来研究方向是模型总控制机制。Chen Jiang用三维MRI图像提供的医学数据重建舌几何模型，用有限元法实现舌的生物力学，得到了较好的效果。以上研究在可视化语言应用领域得到良好的效果，但作为医学诊断依据来说缺乏舌表面的细节信息，且需要精确复杂的解剖学信息。国内的刘志提出基于多视点图像和有限元法的舌重建，满足真实舌的动态特性但不能分辨舌表面的齿痕等细微结构。吕慧娟等提出基于光度立体法的舌表面重建，能分辨舌表面细微结构，但是实验基础是基于静态舌模型。因此需要一种同时满足真实舌动态特性和高分辨率的三维舌像重建方法。
发明内容
本发明为了解决现有以医学诊断为目的的三维舌像重建方法存在的真实舌动态特性与分辨率不兼得的问题，公开了一种三维图像重建方法，解决了真实舌重建的动态特性和高分辨率不兼得的问题，并提供良好的照明环境，使得图像清晰度大大提高，可用于医学诊断。
为了实现上述目的，本发明采用如下方案：
一种三维图像重建方法，其特征在于：包括以下步骤：
步骤一、2000cd光环境下进行图像对采集，得到标定板图像和舌图像对；
步骤二、图像预处理，满足基线约束的舌图像对，为线性增长提供初始特征点；
步骤三、改进的线性种子点增长立体匹配算法，得到视差图；
步骤四、视差图感兴趣区域提取及滤波，得到感兴趣区域视差图；
步骤五、点云重建及模型重建，得到舌像点云图和完整舌模型。
进一步的，所述步骤一用到的设备有投影仪、暗箱、计算机和两部平行放置的相机；所述相机和所述投影仪放置在所述暗箱中，所述相机正对的所述暗箱侧壁上设有舌位孔和下颌托；具体操作先由所述计算机控制所述相机采集不同角度的标定板图像，并开启投影仪，再由所述计算机控制所述相机采集伸舌状态下的舌像对；所述步骤一用到的设备有投影仪、暗箱、计算机和两部平行放置的相机；所述相机和所述投影仪放置在所述暗箱中，所述相机正对的所述暗箱侧壁上设有舌位孔和下颌托；具体操作先由所述计算机控制所述相机采集不同角度的标定板图像，并开启投影仪，再由所述计算机控制所述相机采集伸舌状态下的舌像对；所述投影仪为微型投影仪；所述暗箱(6)的左右两侧壁上分别安装一个照明灯(11)；所述照明灯(11)为激光灯，且紧贴所述照明灯(11)的灯口处分别设有扩束镜，所述扩束镜与激光光束垂直；所述舌位孔左右两侧分别竖立设有一个反光镜(12)，所述反光镜(12)分别与所述两束激光光束成45度角，且经所述反光镜(12)反射后的光束正好照在所述舌位孔(8)处；所述反光镜(12)与所述舌位孔(8)之间分别设有一块毛玻璃，并且两块所述毛玻璃分别与各自对应的激光光束垂直。
进一步的，所述相机为佳能700D相机。
进一步的，所述暗箱由乳白色亚克力材料制成。
优选的，所述相机基线长度为16cm，焦距为45mm；所述相机正对的暗箱侧壁与所述相机中心的距离为1.2m；所述相机采集图像的分辨率为1920x1280，所述相机快门速度为1/200s。
进一步的，所述投影仪为纽曼PH06A微型投影仪。
优选的，所述投影仪与所述舌位孔距离为55cm。
进一步的，所述标定板图像不少于20个，且平整粘贴在标定板上。
优选的，所述标定板图像为63个；所述63个标定图像为大小为3cm的黑白相间正方形棋盘，横向9个，纵向7个。
进一步的，所述步骤二包括基线校正及边缘提取。
进一步的，所述基线校正及边缘提取具体为：基于matlab标定工具箱标定系统，利用标定结果对所述舌图像对基线校正，截取校正后舌图像对中舌体部分的图像，利用canny算子提取舌图像对的边缘特征。
进一步的，步骤三包括以下四个步骤(S1-S4)：
S1.输入经过所述图像预处理的图像，截取舌体区域；
S2.Canny算法提取舌体区域边缘特征；
S3.在唯一性、单调性等约束下根据ρδ(SSD)匹配特征点，所述δ选择为2，线性增长阈值选择为0.1；
S4.从初始种子点矩阵中，按顺序选择一对种子点，首先判断种子点右侧的点是否为初始种子点，如果不是种子点，则计算匹配相似性并判断是否满足匹配条件。如果是，则选择下一对种子点。直至完成所有初始种子点的线性增长，至此得到舌体部分稠密的所述视差图。
进一步的，所述步骤四具体为：对所述视差图横向求导，确定所述视差图导数突变位置，将左侧突变位置的左侧、右侧突变位置的右侧视差置0，即可得到感兴趣区域、双边滤波平滑所述视差图。
优选的，所述双边滤波平滑视差图的参数选择为：滤波器半宽为4，空间邻近度因子为 5，亮度相似性因子为0.1。
进一步的，所述步骤五依据所述感兴趣部分舌体视差图，根据视差测距法重建点云并粘贴纹理，利用Geomagic Studio自动修补功能拟合舌背，完成舌模型。
本发效果是基于双目立体视觉的三维重建方法，能在5分钟以内的时间中以0.1626mm 的重建精度完成真实舌表面重建和舌模型重建。相比长达数小时以MRI、CT等医学图像为基础的参数化舌模型重建方法，大大缩短了重建时间。相比刘志提出的基于多视点图像和有限元法的舌重建法，其用到三部相机，减小了重建成本，提高了重建精度。相比吕慧娟等提出基于光度立体法的舌表面重建，满足真实舌重建的动态特性。基于三维数据提取三维特征，结合二维特征为疾病诊断和早期发现提供依据。此外建立三维舌模型对多个领域都有极大的益处，如掌握人类发音过程中舌头的形变规律对于头颈外科医生以及语言学家十分重要，此外在生物力学、人机交互、计算机辅助语言教学、电影制作等方面都将发挥极大的作用。
附图说明
图1为本发明舌像重建方法流程图。
图2为本发明舌像重建系统结构图。
图3为本发明点刺舌三维点云图。
图4为本发明齿痕舌三维点云图。
图5为本发明正常舌三维点云图。
图6为本发明正常舌模型主视图。
图7为本发明正常舌模型左视图。
图中：1、计算机 2、USB数据线 3、第一佳能700D 4、第二佳能700D 5、投影仪 6、暗箱 7、U盘 8、舌位孔 9、下颌托 10、用户 11、照明灯 12、反光板
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本申请省略了已知材料、组件和工艺技术的描述，从而不使本申请的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本申请的实施例的范围的限制。
除非另外特别定义，本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、体积、面积、尺寸或者重要性，而只是用来区分不同的组成部分。此外，在本申请各个实施例中，相同或类似的参考标号表示相同或类似的构件。
如图1-2所示。一种三维图像重建方法，步骤包括：步骤一、舌图像对采集；步骤二、图像预处理，包括：基线校正及边缘提取；步骤三、改进的线性种子点增长立体匹配算法；步骤四、视差图感兴趣区域提取及滤波；步骤五、点云重建及模型重建。
一、舌图像对采集：舌像采集系统由两部平行放置的佳能700D相机(即第一佳能700D 3和第二佳能700D 4)、投影仪5、暗箱6和计算机1组成。第一佳能700D和第二佳能700D分别通过USB数据线2与计算机1连接。暗箱6使采集环境能够相对独立于外部环境，尽可能减小外部天气状况，环境光照的影响，同时也使采集环境可以随时控制和调节，其由乳白亚克力材料制成，用于均匀光照，减少反光点。相机和投影仪均按一定空间位置放置在暗箱中，相机正对的暗箱面上有成年人面部尺寸的舌位孔8和下颌托9，用户10下颌置于下颌托9上，伸舌进舌位孔8，使得用户10可在测试过程舒适且防止了外界光源对舌表面的影响。舌表面属于立体视觉中难处理的弱纹理区域且颜色相近，有效边缘仅有舌体边缘，因此利用投影仪产生黑白相间的条纹来增加舌表面的特征点，同时充当照明设备。增加相机基线长度可提高场景点深度计算精度但也会造成遮挡，因此在不遮挡的情况下并考虑相机的实际尺寸，取基线长度为16cm，场景点与相机中心距离为1.2m。45mm焦距的相机可采集真彩色、高分辨率的舌图像，同时其高帧速率和可调曝光时间解决了舌颤动问题，图像分辨率为1920x1280，快门速度1/200s。投影仪5为纽曼PH06A微型投影仪，投影仪5 与U盘7连接，可读取U盘7的数据，分辨率1280x800dpi，最小投影距离18cm。舌表面条纹的稠密和投影仪与舌的距离及投影图中条纹稠密有关，投影仪离舌近则亮度强造成舌表面平滑，距离远则舌表面条纹清晰度差，因此经实验投影仪与舌表面距离为55cm时效果最佳。此时黑条纹占8个像素，条纹间距为16个像素。计算机控制相机采集超过20张不同角度的标定板图像，打开投影仪采集伸舌状态下的被试舌像。暗箱6的左右两侧壁上分别按照一个照明灯11。照明灯11为激光灯，紧贴激光灯口处与光束垂直方向设置一个扩束镜，用以把原始激光扩大到需要的粗度的光束。在两束扩束后的激光所经位置分别设置一个反光镜12，反光镜12与各自反光的光束成45度角，经反光镜12后的光束正好照在舌位孔8处。反光镜12与舌位孔8之间分别设有一块毛玻璃，并且两块毛玻璃分别与各自对应的反射后的光束垂直。毛玻璃可以使通过它的激光束变的均匀，从而达到更好的照明效果。
舌图像对采集用于标定系统的标定板图像和用于重建的舌像对。相机中心距离设为 16cm，投影仪与舌位孔距离设为55cm。标定图像为63个大小为3cm的黑白相间正方形棋盘，横向9个，纵向7个，平整的粘贴在木质板上作为标定板。标定板由经过训练的实验人员操作，实现超过20个角度的摆放位置，每个角度不超过45°。根据中医舌诊的经验和习惯，为了保证在统一的条件下采集舌像对，规定采集的步骤和对患者的要求：
1、要求患者在拍摄前两个小时不得进食，避免饮食对舌、苔色及细微结构造成影响。
2、患者取正姿势，做吞咽动作，将口水吸干。
3、下颚放在仪器的托架上，前额顶住靠架，保持静止。
4、谢月敏提出最佳舌露出度为“人字界”(舌体占舌的前2/3，舌根占舌的后1/3，两者在舌背的分界为“人字界”)，且“人字界”定位符合舌诊的要求，能使医者全面准确地观察舌象，因此对患者进行伸舌训练。患者采用正坐位，面对前方，张口，自然的将舌伸出口外，舌体放松，舌面展平，舌尖略向下，尽量张口，以充分暴露舌体。
5、开启投影仪，计算机控制相机采集舌像对。
此步骤为后续标定工作提供标定板图像对，为重建部分提供舌图像对。
二、图像预处理：基线校正及边缘提取。利用上步所得标定板图像和Matlab中的StereoCameraCalibration工具箱标定双目立体视觉系统。因相机安装及其本身组装误差，其光心不是完全平行，因此根据标定所得参数对舌像对基线校正。为了保证舌体部分边缘提取及匹配的准确性，截取舌体部分图像，后续工作基于此图像对。采用性能优良的边缘检测技术canny算子提取舌体部分边缘特征。此步骤为后续工作提供满足基线约束的图像对，为线性增长提供初始特征点。
利用标定板图像和matlab中的StereoCameraCalibration标定系统，要求每幅图像标定误差均小于1个像素，否则重新采集标定图像。截取基线校正后舌像对中的舌体部分，首先定位舌体位置，然后截取舌体部分，尽量使两幅图像大小一致。提取边缘的canny算子灵敏度阈值选择为0.16，所得边缘特征宽度占一个像素。
三、改进的线性种子点增长立体匹配算法：由于双眼视轴间距的存在，同一场景点在左右视网膜上所形成的图像存在位置差即视差，是大脑感知物体深度的决定性信息。双目立体视觉即是基于此原理，用两相机代替人眼，寻找空间一点在两幅图像上的对应点，利用视差测距法恢复物体表面深度信息。由此可知立体匹配是立体视觉的重点所在。经过多年的发展，涌现出多种立体匹配方法。结合舌表面纹理少、深度变化连续性强的特点，本文采用线性种子点增长算法。
种子点增长算法由Otto和Chau提出，其基本思想是在视差空间中从一组初始种子点出发，在邻近区域中按照灰度相似性测度进行增长直到违反匹配唯一性约束。匹配点相似性准则采用最小平方差算法(Sum of Squared Difference,SSD)，经实验增大支持窗没有提高匹配准确性且增大了计算量，因此支持窗大小设为3*3。
为了解决抗噪性问题，本文首次采用基于ρδ(n)函数和SSD的相似性测度函数。本发明用SSD代替n得到新的立体匹配相似性测度函数ρδ(SSD)，δ选择为2。经实验效果优于SSD 算法。边缘提取所得舌表面边缘特征点稀疏且特征明显，因此首先匹配边缘特征点并作为长线性增的初始种子点。初始种子点匹配时，因为边缘特征点性质相似，所以出现错误点的匹配相似性高于正确点的相似性。在此加入区域限制，得到左图待匹配点与其最左边缘的距离，在右图距最左边缘的相应距离范围内寻找匹配点，大大提高了匹配准确性。然后选择具有准确可靠视差的边缘特征点作为初始种子点,以初始种子点的视差d作为区域生长的基本视差，因舌表面不是绝对平滑，含有舌乳头、齿痕等细微结构，因此在下一步增长过程中扩充匹配视差范围，人类能够匹配的视差梯度为2，因此将区域生长的视差扩至d-2至d+2，分别计算五个视差下的匹配相似性，在外基线、单调性等约束下，采用胜者为王算法确定最终的匹配点对及其视差，再以新得到的匹配点作为种子点在水平扫描线上进行生长，直到遇到下一个初始种子点，再以下一对初始种子点开始增长，从而得到整个舌区域的视差图。这种舌表面多个初始种子点有效防止错误匹配点的传播。
本发明立体匹配算法步骤为：
1.输入经过预处理的图像，截取舌体区域。
2.Canny算法提取舌体区域边缘特征。
3.在唯一性、单调性等约束下根据ρδ(SSD)匹配特征点，δ选择为2，线性增长阈值选择为0.1。
4.从初始种子点矩阵中，按顺序选择一对种子点，首先判断种子点右侧的点是否为初始种子点，如果不是种子点，则计算匹配相似性并判断是否满足匹配条件。如果是，则选择下一对种子点。
定义一个与图像相同大小的全零矩阵作为视差图。首先匹配边缘特征点，将左图边缘特征点存入矩阵。按顺序选择一个左图特征点，在右图相同行中从右图最左边缘点的横坐标处开始到右图倒数第二个像素分别计算其与特征点匹配相似度并将结果存入相似度矩阵，计算左图待匹配特征点据舌体最左边缘的横向距离，在相似度矩阵的相应距离范围内寻找最小值，得到其坐标值，计算其与待匹配特征点的横坐标差值，将此值赋给视差图中与待匹配特征点相同坐标的点作为此特征点的视差值。按顺序选择下一个左图边缘特征点，按上述步骤完成视差值计算，直至完成所有特征点，得到初始种子点。
根据初始种子点进行线性区域增长。按顺序从初始种子点矩阵中选取一对种子点，记其视差为d，因舌表面不是绝对平滑，含有舌乳头、齿痕等细微结构，因此在下一步增长过程中扩充匹配视差范围，人类能够匹配的视差梯度为2，因此将区域生长的视差扩至d-2至 d+2。选取左图特征点右侧的点，分别计算视差为d-2至d+2处点的匹配相似性，在单调性等约束下，采用胜者为王算法确定最终的匹配点对并判断其匹配代价是否小于线性增长阈值，若满足则此点匹配完成，将视差赋给视差图相同坐标位置的点。再以此匹配点对作为新的种子点进行增长，直至遇到此行下一个初始种子点，结束增长。选择下一个初始种子点执行上述相同步骤，直至完成所有初始种子点的线性增长，至此得到舌体部分的稠密视差图。
此步骤为三维重建提供视差图。
四、视差图感兴趣区域提取及滤波部分：截取的舌体部分还包含部分嘴角，其不属于感兴趣区域因此需要去除。伸舌状态下舌表面和嘴角不在同一平面，其视差有一定差异，因此对视差图横向求导，导数最大的两个位置就是舌体左右边缘，将视差图中左右边缘以外的视差置零，即可去除嘴角部分。为了获得较平滑的深度图，因此在重建前对视差图滤波。本发明选择具有高效的边缘保持-增强且适用于灰度图像的双边滤波算法。
去除嘴角部分，需要对视差图横向求一阶导数，寻找导数矩阵中大于0.8的点及其坐标位置，将目标点的坐标按纵坐标升序存放在矩阵中，第一列存放纵坐标，第二列及以后若干列按升序存放对应纵坐标下的横坐标值，理论上每行有三个数即第一个为纵坐标，第二、三分别为左、右侧边缘横坐标，但由于噪声的影响，在左右边缘处会出现多个满足条件的点，针对此问题对坐标矩阵做以下排除工作。如果此行有三个数则判断下一行。如果此行有四个数，判断第二与第三、第三与第四个数的差值大小，前者小于后者，则去除第二个数，取第三个数为左边界横坐标，第四个数为右边界横坐标，若前者大于后者，则去除第三个数，去第二个数为左边界横坐标，第四个数为右边界横坐标；如果此行有五个数，则求取第三至五减第二至第四个数的绝对差值并存入矩阵中，如果第一、二个差值小于3，第三个差值大于10，取原坐标矩阵中第三、四个数分别为左、右边缘，如果第一个差值大于 10，第二、三差值小于3或第一、二差值大于10，第三差值小于3，取原坐标矩阵中第一、二个数分别为左、右边缘，如差值均大于10，取原坐标矩阵中第二、三个数分别为左、右边缘；如果此行个数大于五个数则绝对差值最大的两点，将前一个数取为左边缘，后一个数取为右边缘。据此可选择出正确的左右边缘点。
双边滤波参数选择为：滤波器半宽为4，空间邻近度因子为5，亮度相似性因子为0.1。
此步骤获得平滑的感兴趣的舌体部分视差图。
五、点云重建和模型重建部分：根据上步所得视差图用视差测距法计算三维坐标得到舌像点云图,如图3-5所示，并做纹理粘贴，使其更具真实感。因为舌的生理结构，不能得到伸舌状态下的舌背图像，为了获得完整舌模型，利用逆向工程软件Geomagic Studio的自动修补功能完成舌背自动修补，如图6、7所示。三维模型可旋转、缩放全方位观察。
具体为：将原始图像中的颜色数量缩小为128，作为重建点云中的对应点的颜色。将点云数据存为txt格式文件，导入Geomagic Studio软件利用其自动修补功能中的曲率修补完成舌背的拟合，得到完整的舌模型。
此步骤得到舌像点云图和完整舌模型。
本发明的有益效果是：可在小于舌颤动的时间内采集舌像并实现0.1626mm的重建精度，可同时得到真实舌形状和颜色信息，为舌诊三维定量化、客观化研究提供有效科学依据并用于医学诊断，满足以医学诊断为目的的舌像三维重建。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化、改进或组合等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种三维图像重建方法，其特征在于：包括以下步骤：
步骤一、2000cd光环境下进行图像对采集，得到标定板图像和舌图像对；
步骤二、图像预处理；
步骤三、改进的线性种子点增长立体匹配算法，得到视差图；
步骤四、视差图感兴趣区域提取及滤波，得到感兴趣区域视差图；
步骤五、点云重建及模型重建。
2.根据权利要求1所述三维图像重建方法，其特征在于：所述步骤一用到的设备有投影仪、暗箱、计算机和两部平行放置的相机；所述相机和所述投影仪放置在所述暗箱中，所述相机正对的所述暗箱侧壁上设有舌位孔和下颌托；具体操作先由所述计算机控制所述相机采集不同角度的标定板图像，并开启投影仪，再由所述计算机控制所述相机采集伸舌状态下的舌像对；所述投影仪为微型投影仪；所述暗箱(6)的左右两侧壁上分别安装一个照明灯(11)；所述照明灯(11)为激光灯，且紧贴所述照明灯(11)的灯口处分别设有扩束镜，所述扩束镜与激光光束垂直；所述舌位孔左右两侧分别竖立设有一个反光镜(12)，所述反光镜(12)分别与所述两束激光光束成45度角，且经所述反光镜(12)反射后的光束正好照在所述舌位孔(8)处；所述反光镜(12)与所述舌位孔(8)之间分别设有一块毛玻璃，并且两块所述毛玻璃分别与各自对应的激光光束垂直。
3.根据权利要求2所述三维图像重建方法，其特征在于：所述相机正对的所述暗箱的侧壁与所述相机中心的距离为1.2m，所述投影仪与所述舌位孔距离为55cm。
4.根据权利要求2所述三维图像重建方法，其特征在于：所述标定板图像不少于20个，且平整粘贴在标定板上。优选的，所述标定板图像为63个；所述63个标定图像为大小为3cm的黑白相间正方形棋盘，横向9个，纵向7个。
5.根据权利要求1所述三维图像重建方法，其特征在于：所述步骤二包括基线校正及边缘提取。
6.根据权利要求5所述三维图像重建方法，其特征在于：所述基线校正及边缘提取具体为：基于matlab标定工具箱标定系统，利用标定结果对所述舌图像对基线校正，截取校正后舌图像对中舌体部分的图像，利用canny算子提取舌图像对的边缘特征。
7.根据权利要求1所述三维图像重建方法，其特征在于：步骤三包括以下步骤：
S1.输入经过所述图像预处理的图像，截取舌体区域；
S2.Canny算法提取舌体区域边缘特征；
S3.在唯一性、单调性等约束下根据ρδ(SSD)匹配特征点，所述δ选择为2，线性增长阈值选择为0.1；
S4.从初始种子点矩阵中，按顺序选择一对种子点，首先判断种子点右侧的点是否为初始种子点，如果不是种子点，则计算匹配相似性并判断是否满足匹配条件。如果是，则选择下一对种子点。直至完成所有初始种子点的线性增长，至此得到舌体部分稠密的所述视差图。
8.根据权利要求1所述三维图像重建方法，其特征在于：所述步骤四具体为：对所述视差图横向求导，确定所述视差图导数突变位置，将左侧突变位置的左侧、右侧突变位置的右侧视差置0，即可得到感兴趣区域、双边滤波平滑所述视差图。
9.根据权利要求8所述三维图像重建方法，其特征在于：所述双边滤波平滑视差图的参数选择为：滤波器半宽为4，空间邻近度因子为5，亮度相似性因子为0.1。
10.根据权利要求1所述三维图像重建方法，其特征在于：所述步骤五依据所述感兴趣部分舌体视差图，根据视差测距法重建点云并粘贴纹理，利用Geomagic Studio自动修补功能拟合舌背，完成舌模型。
CN201710223181.8A 2017-04-07 2017-04-07 一种三维图像重建方法 Pending CN107221029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710223181.8A CN107221029A (zh) 2017-04-07 2017-04-07 一种三维图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710223181.8A CN107221029A (zh) 2017-04-07 2017-04-07 一种三维图像重建方法

Publications (1)

Publication Number Publication Date
CN107221029A true CN107221029A (zh) 2017-09-29

Family

ID=59927554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710223181.8A Pending CN107221029A (zh) 2017-04-07 2017-04-07 一种三维图像重建方法

Country Status (1)

Country Link
CN (1) CN107221029A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947339A (zh) * 2019-03-28 2019-06-28 武汉轻工大学 抛物柱面的绘制方法、装置、设备及存储介质
CN109961417A (zh) * 2017-12-26 2019-07-02 广州极飞科技有限公司 图像处理方法、装置及移动装置控制方法
CN110141193A (zh) * 2019-05-31 2019-08-20 天津大学 一种基于球形结构的舌体三维采集系统
CN110200591A (zh) * 2019-06-05 2019-09-06 天津大学 一种基于环形布置的多目视觉舌体系统
CN110542391A (zh) * 2019-08-22 2019-12-06 成都建工第八建筑工程有限公司 一种建筑工程自动化实测实量系统
CN110738731A (zh) * 2019-10-16 2020-01-31 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和系统
CN113888700A (zh) * 2021-10-20 2022-01-04 哈尔滨理工大学 一种基于体素增长的医学图像三维重建方法
CN113959398A (zh) * 2021-10-09 2022-01-21 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质
CN117649494A (zh) * 2024-01-29 2024-03-05 南京信息工程大学 一种基于点云像素匹配的三维舌体的重建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103310421A (zh) * 2013-06-27 2013-09-18 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103310421A (zh) * 2013-06-27 2013-09-18 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭丹 等: "《基于双目立体视觉的舌重建》", 《传感技术学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961417B (zh) * 2017-12-26 2021-04-06 广州极飞科技有限公司 图像处理方法、装置及移动装置控制方法
CN109961417A (zh) * 2017-12-26 2019-07-02 广州极飞科技有限公司 图像处理方法、装置及移动装置控制方法
CN109947339A (zh) * 2019-03-28 2019-06-28 武汉轻工大学 抛物柱面的绘制方法、装置、设备及存储介质
CN110141193A (zh) * 2019-05-31 2019-08-20 天津大学 一种基于球形结构的舌体三维采集系统
CN110141193B (zh) * 2019-05-31 2021-10-22 天津大学 一种基于球形结构的舌体三维采集系统
CN110200591A (zh) * 2019-06-05 2019-09-06 天津大学 一种基于环形布置的多目视觉舌体系统
CN110542391A (zh) * 2019-08-22 2019-12-06 成都建工第八建筑工程有限公司 一种建筑工程自动化实测实量系统
CN110738731A (zh) * 2019-10-16 2020-01-31 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和系统
CN110738731B (zh) * 2019-10-16 2023-09-22 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和系统
CN113959398A (zh) * 2021-10-09 2022-01-21 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质
CN113959398B (zh) * 2021-10-09 2024-04-12 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质
CN113888700A (zh) * 2021-10-20 2022-01-04 哈尔滨理工大学 一种基于体素增长的医学图像三维重建方法
CN117649494A (zh) * 2024-01-29 2024-03-05 南京信息工程大学 一种基于点云像素匹配的三维舌体的重建方法及系统
CN117649494B (zh) * 2024-01-29 2024-04-19 南京信息工程大学 一种基于点云像素匹配的三维舌体的重建方法及系统

Similar Documents

Publication Publication Date Title
CN107221029A (zh) 一种三维图像重建方法
CN107256575A (zh) 一种基于双目立体视觉的三维舌像重建方法
Tzou et al. Comparison of three-dimensional surface-imaging systems
US9524552B2 (en) 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
Kersten-Oertel et al. An evaluation of depth enhancing perceptual cues for vascular volume visualization in neurosurgery
Giancardo et al. Textureless macula swelling detection with multiple retinal fundus images
CN109584349B (zh) 用于渲染材料属性的方法和设备
Weber Another link between archaeology and anthropology: virtual anthropology
JP2020506452A (ja) Ｈｍｄｓに基づく医学画像形成装置
WO2016003258A1 (ko) 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
CN106327479B (zh) 血管造影中介下先心病术中血管辨识的装置及方法
CN102779354B (zh) 基于光度立体技术的中医望诊信息表面三维重建方法
CN102663818A (zh) 颅颌面三维形貌模型的构建方法及其装置
Harastani et al. Methamphetamine drug abuse and addiction: Effects on face asymmetry
CN102548480B (zh) 医用图像显示设备和方法
Li et al. Segmentation and three-dimension reconstruction of Chinese digitized human cerebrum
US20220378548A1 (en) Method for generating a dental image
CN110148208A (zh) 一种基于中国数字人的鼻咽部放疗教学模型构建方法
CN108986157A (zh) 一种基于双目相机的虚拟发型交互装置及使用方法
De Oliveira An affordable and practical 3d solution for the aesthetic evaluation of breast cancer conservative treatment
Madračević et al. 3D modeling from 2D images
Ruano et al. Leveraging a realistic synthetic database to learn Shape-from-Shading for estimating the colon depth in colonoscopy images
Kwon et al. 3D segmentation for high-resolution image datasets using a commercial editing tool in the IoT environment
EP3800617A1 (en) A computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an artificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
Vigo Creation of a Virtual Atlas of Neuroanatomy and Neurosurgical Techniques Using 3D Scanning Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929