CN117649494A - 一种基于点云像素匹配的三维舌体的重建方法及系统 - Google Patents

一种基于点云像素匹配的三维舌体的重建方法及系统 Download PDF

Info

Publication number
CN117649494A
CN117649494A CN202410118475.4A CN202410118475A CN117649494A CN 117649494 A CN117649494 A CN 117649494A CN 202410118475 A CN202410118475 A CN 202410118475A CN 117649494 A CN117649494 A CN 117649494A
Authority
CN
China
Prior art keywords
tongue
point cloud
image
follows
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410118475.4A
Other languages
English (en)
Other versions
CN117649494B (zh
Inventor
费奕泓
庄建军
周作建
宋懿花
马辉
许毅宁
王雅菲
夏逸舟
唐佳俊
印明扬
王琳舒
乔一琳
裴致远
朱云卿
王若水
周晏羽
刘苏杰
丁丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Chinese Medicine
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Chinese Medicine
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Chinese Medicine, Nanjing University of Information Science and Technology filed Critical Nanjing University of Chinese Medicine
Priority to CN202410118475.4A priority Critical patent/CN117649494B/zh
Publication of CN117649494A publication Critical patent/CN117649494A/zh
Application granted granted Critical
Publication of CN117649494B publication Critical patent/CN117649494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于点云像素匹配的三维舌体的重建方法及系统，所述方法包括以下步骤：（1）将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；（2）利用摄像头拍摄舌体，获取舌体图像；（3）将得到点云图像进行特征提取；（4）构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构；本发明针对舌头设计了模型训练的损失函数，使得模型收敛速度快，鲁棒性较强，易于调整训练参数从而提升模型准确率，避免了牙齿轮廓影响面部特征的情况。

Description

一种基于点云像素匹配的三维舌体的重建方法及系统
技术领域
本发明涉及医疗卫生技术领域，具体涉及一种基于点云像素匹配的三维舌体的重建方法及系统。
背景技术
舌诊是中医观察病人舌质和舌苔的变化以诊察疾病的一种方法，属于望诊的一种，十分有效。随着通信物联网，人工智能等新一代信息技术的快速发展，使得利用AI进行舌象的辅助诊断成为可能。通过AI技术自动分析舌头能够提供提供快速、准确的诊断结果，但目前舌象的辅助诊断研究都是集中利用二维图像进行数据训练，二维图像所能提取的舌头特征有限，模型准确率受到很大限制。
舌头的三维重建方法可以被广泛用于中医诊所、医院和中医药研究机构等场所，为中医医生提供舌头的三维模型，帮助病情的诊断。同时利用舌头的三维模型提取更多舌头特征（如二维图像中难以观察到的舌头侧面齿痕），训练深度学习模型，相比于普通二维图像模型能够得到更准确的诊断结果。
发明内容
发明目的：本发明的目的是提供一种基于深度学习的三维人体舌头的重建方法及系统，为中医医生提供舌头的三维模型，帮助病情的诊断，提升诊断效率，同时利用舌头的三维模型提取更多舌头特征训练深度学习模型，得到更准确的诊断结果。
技术方案：本发明所述的一种基于点云像素匹配的三维舌体的重建方法，包括以下步骤：
（1）将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；
（2）利用摄像头拍摄舌体，获取舌体图像；
（3）将得到点云图像进行特征提取；
（4）构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。
进一步的，所述步骤（1）中，对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
进一步的，所述步骤（3）包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像，用于评估利用解码器得到的点云特征向量。
进一步的，所述步骤（4）包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。
进一步的，所述步骤（45）具体如下：训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。
本发明所述的一种基于点云像素匹配的三维舌体的重建系统，包括：
雷达采集模块：用于将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；
舌像采集模块：用于利用摄像头拍摄舌体，获取舌体图像；
点云特征提取模块：用于将得到点云图像进行特征提取；
舌像重构模块：用于构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。
进一步的，所述雷达采集模块中，对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
进一步的，所述点云特征提取模块包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像。
进一步的，所述舌像重构模块中，包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。
进一步的，舌像重构模块中，对模型进行训练，获取最优的三维图像坐标数据，完成重构具体如下：用于训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。
有益效果：与现有技术相比，本发明具有如下显著优点：针对舌头设计了模型训练的损失函数，使得模型收敛速度快，鲁棒性较强，易于调整训练参数从而提升模型准确率，避免了牙齿轮廓影响面部特征的情况。
附图说明
图1是本发明的3D舌模型重建模块及流程图；
图2是本发明的点云特征提取模型图；
图3是本发明的舌像重建模型图；
图4是本发明的损失函数计算图；
图5 本发明的舌头点云轮廓点。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明实施例提供一种基于点云像素匹配的三维舌体的重建方法，包括以下步骤：
（1）将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
（2）利用摄像头拍摄舌体，获取舌体图像；
（3）将得到点云图像进行特征提取；如图2所示，包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像，用于评估利用解码器得到的点云特征向量。
（4）构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。如图3-图5所示，包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。具体如下：训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。
本发明实施例还提供一种基于点云像素匹配的三维舌体的重建系统，包括：
雷达采集模块：用于将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
舌像采集模块：用于利用摄像头拍摄舌体，获取舌体图像；
点云特征提取模块：用于将得到点云图像进行特征提取；包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像。
舌像重构模块：用于构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。具体如下：用于训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。

Claims (10)

1.一种基于点云像素匹配的三维舌体的重建方法，其特征在于，包括以下步骤：
（1）将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；
（2）利用摄像头拍摄舌体，获取舌体图像；
（3）将得到点云图像进行特征提取；
（4）构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。
2.根据权利要求1所述的一种基于点云像素匹配的三维舌体的重建方法，其特征在于，所述步骤（1）中，对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
3.根据权利要求1所述的一种基于点云像素匹配的三维舌体的重建方法，其特征在于，所述步骤（3）包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像。
4.根据权利要求1所述的一种基于点云像素匹配的三维舌体的重建方法，其特征在于，所述步骤（4）包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。
5.根据权利要求4所述的一种基于点云像素匹配的三维舌体的重建方法，其特征在于，所述步骤（45）具体如下：训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。
6.一种基于点云像素匹配的三维舌体的重建系统，其特征在于，包括：
雷达采集模块：用于将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；
舌像采集模块：用于利用摄像头拍摄舌体，获取舌体图像；
点云特征提取模块：用于将得到点云图像进行特征提取；
舌像重构模块：用于构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。
7.根据权利要求6所述的一种基于点云像素匹配的三维舌体的重建系统，其特征在于，所述雷达采集模块中，对齐方法如下:
（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量/>；其中，
；/>；
是矩阵中的元素；/>、/>、/>表示x、y、z轴上的平移量；
（12）根据旋转矩阵与平移向量/>计算组合变换矩阵M;;
(13)计算对齐后的点云图像，其中/>，/>表示原始点云数据。
8.根据权利要求6所述的一种基于点云像素匹配的三维舌体的重建系统，其特征在于，所述点云特征提取模块包括：自动编码器和解码器两个部分组成，包括以下步骤：
（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：
；
其中，y表示点云特征向量即为所需生成的标签，E表示编码器映射函数，R表示实数，256表示y的列数；
（32）图像重建：利用解码器D将y映射回原始空间，公式如下：
；
其中，表示解码后的图像。
9.根据权利要求6所述的一种基于点云像素匹配的三维舌体的重建系统，其特征在于，所述舌像重构模块中，包括以下步骤：
（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；
（42）根据图像参数，点云特征参数计算形状参数a，公式如下：
；
（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，R表示实数，110表示编码参数p向量的大小；
（44）利用主成分分析PCA模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：
；
（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。
10.根据权利要求9所述的一种基于点云像素匹配的三维舌体的重建系统，其特征在于，舌像重构模块中，对模型进行训练，获取最优的三维图像坐标数据，完成重构具体如下：用于训练模型的舌损公式如下：
；
其中，到/>表示舌像重构模型的超参数；/>表示平滑舌损，/>表示方向舌损，/>表示范围舌损，/>表示齿痕舌损，/>表示差距舌损；
平滑舌损公式如下：
；
其中，i 和 j 分别表示源点云点集和目标点云点集/>中的点，/>表示点i到点j之间的欧式距离；
方向舌损公式如下：
；
其中，表示计算从原点到点i与点j的两个向量之间的余弦值；
范围舌损公式如下：
；
表示与去除点j的集合，l表示该集合中的点；
齿痕舌损公式如下：
;
M表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;
差距舌损公式如下：
；
其中，a表示运算模块计算出形状参数。
CN202410118475.4A 2024-01-29 2024-01-29 一种基于点云像素匹配的三维舌体的重建方法及系统 Active CN117649494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410118475.4A CN117649494B (zh) 2024-01-29 2024-01-29 一种基于点云像素匹配的三维舌体的重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410118475.4A CN117649494B (zh) 2024-01-29 2024-01-29 一种基于点云像素匹配的三维舌体的重建方法及系统

Publications (2)

Publication Number Publication Date
CN117649494A true CN117649494A (zh) 2024-03-05
CN117649494B CN117649494B (zh) 2024-04-19

Family

ID=90043715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410118475.4A Active CN117649494B (zh) 2024-01-29 2024-01-29 一种基于点云像素匹配的三维舌体的重建方法及系统

Country Status (1)

Country Link
CN (1) CN117649494B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221029A (zh) * 2017-04-07 2017-09-29 天津大学 一种三维图像重建方法
CN107256575A (zh) * 2017-04-07 2017-10-17 天津市天中依脉科技开发有限公司 一种基于双目立体视觉的三维舌像重建方法
WO2018219800A1 (en) * 2017-05-27 2018-12-06 Medicim Nv Method for intraoral scanning
CN211674190U (zh) * 2020-01-18 2020-10-16 深圳中科智美科技有限公司 一种三维面诊舌诊设备
WO2022096105A1 (en) * 2020-11-05 2022-05-12 Huawei Technologies Co., Ltd. 3d tongue reconstruction from single images
CN115578523A (zh) * 2022-11-21 2023-01-06 慧医谷中医药科技(天津)股份有限公司 一种多角度图像融合的舌部三维建模方法及系统
CN115719352A (zh) * 2022-11-15 2023-02-28 电子科技大学 基于改进UNet++的特征对齐舌像分割方法及系统
CN116051747A (zh) * 2023-01-31 2023-05-02 武汉大学 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
CN116152439A (zh) * 2023-03-02 2023-05-23 南京大学 一种基于多视角人体图像的人体三维姿态重建方法及系统
CN117274756A (zh) * 2023-08-30 2023-12-22 国网山东省电力公司电力科学研究院 基于多维特征配准的二维图像与点云的融合方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221029A (zh) * 2017-04-07 2017-09-29 天津大学 一种三维图像重建方法
CN107256575A (zh) * 2017-04-07 2017-10-17 天津市天中依脉科技开发有限公司 一种基于双目立体视觉的三维舌像重建方法
WO2018219800A1 (en) * 2017-05-27 2018-12-06 Medicim Nv Method for intraoral scanning
CN211674190U (zh) * 2020-01-18 2020-10-16 深圳中科智美科技有限公司 一种三维面诊舌诊设备
WO2022096105A1 (en) * 2020-11-05 2022-05-12 Huawei Technologies Co., Ltd. 3d tongue reconstruction from single images
CN115719352A (zh) * 2022-11-15 2023-02-28 电子科技大学 基于改进UNet++的特征对齐舌像分割方法及系统
CN115578523A (zh) * 2022-11-21 2023-01-06 慧医谷中医药科技(天津)股份有限公司 一种多角度图像融合的舌部三维建模方法及系统
CN116051747A (zh) * 2023-01-31 2023-05-02 武汉大学 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
CN116152439A (zh) * 2023-03-02 2023-05-23 南京大学 一种基于多视角人体图像的人体三维姿态重建方法及系统
CN117274756A (zh) * 2023-08-30 2023-12-22 国网山东省电力公司电力科学研究院 基于多维特征配准的二维图像与点云的融合方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
STYLIANOS PLOUMPIS 等: "3D human tongue reconstruction from single" in-the-wild" images", CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 30 December 2022 (2022-12-30) *
刘磊磊: "基于立体视觉的三维舌象重建算法的研究与实现", 中国优秀硕士学位论文全文数据库医药卫生科技辑, no. 2017, 15 November 2017 (2017-11-15), pages 056 - 2 *
孙庆科;何云涛;陈瑞强;江月松;: "基于结构光的三维点云重建方法研究", 计算机应用研究, no. 09, 30 September 2016 (2016-09-30) *
李红岩: "中医四诊智能化现状及关键技术探讨", 中医杂志, vol. 63, no. 12, 30 December 2022 (2022-12-30) *
汤哲君;: "双目视觉的三维重建技术研究", 信息通信, no. 06, 15 June 2020 (2020-06-15) *

Also Published As

Publication number Publication date
CN117649494B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Tian et al. DCPR-GAN: dental crown prosthesis restoration using two-stage generative adversarial networks
CN112200843A (zh) 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法
CN111539956B (zh) 基于脑部辅助图像的脑出血自动检测方法及电子介质
Dai et al. Locating anatomical landmarks on 2D lateral cephalograms through adversarial encoder-decoder networks
CN113052902A (zh) 牙齿治疗监测方法
CN111080676B (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
CN117745978A (zh) 一种基于人体三维重建算法的仿真质控方法、设备和介质
CN115222878A (zh) 一种应用于肺支气管镜手术机器人的场景重建方法
CN117958970A (zh) 一种基于ct与激光口扫的口腔手术实时导航方法
CN117649494B (zh) 一种基于点云像素匹配的三维舌体的重建方法及系统
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和系统
CN113780250B (zh) 一种针对小样本的端到端面部腧穴定位方法及电子设备
CN114943753B (zh) 基于局部结构矢量对齐的位姿配准方法及装置
CN115690045A (zh) 基于曲面断层片的牙周炎治疗前后骨增量定量评估方法
US20220130048A1 (en) System and method for estimating motion of target inside tissue based on surface deformation of soft tissue
JP7557425B2 (ja) 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム
WO2022183851A1 (zh) 一种基于数字人技术的肺叶分割方法
CN114708404A (zh) 基于机器学习的端到端手术穿刺路径自动规划方法及系统
CN114820730A (zh) 一种基于伪ct的ct与cbct配准方法
CN118537382B (zh) 一种基于图像和语义协同度量的肺ct配准方法
Song et al. Research on Denture Feature Matching Point Cloud Data Based on Deep Learning
CN110837751A (zh) 基于rgbd深度摄像头的人体运动捕捉与步态分析方法
CN117952995B (zh) 一种可聚焦提示调优的心脏图像分割系统
CN116012526B (zh) 一种基于二维影像的三维ct影像病灶重建方法
CN112330723B (zh) 一种物理到图像/图像到物理的自动配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant