CN112807108A - 一种正畸矫治过程中的牙齿矫治状态的检测方法 - Google Patents
一种正畸矫治过程中的牙齿矫治状态的检测方法 Download PDFInfo
- Publication number
- CN112807108A CN112807108A CN202110110421.XA CN202110110421A CN112807108A CN 112807108 A CN112807108 A CN 112807108A CN 202110110421 A CN202110110421 A CN 202110110421A CN 112807108 A CN112807108 A CN 112807108A
- Authority
- CN
- China
- Prior art keywords
- tooth
- dimensional
- teeth
- patient
- photograph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明属于数字化医疗领域中的数字化口腔正畸技术领域,特别涉及一种正畸矫治过程中的牙齿矫治状态的检测方法。本发明利用拍摄的患者牙齿照片,基于计算机二维图像处理技术和计算机三维建模技术,来低成本地检测患者的牙齿矫治状态。本发明使得患者在家中进行牙齿矫治状态检测成为可能,无需患者去医院进行口腔扫描或者牙齿咬模,大大降低了患者和医院的成本。同时,本发明方案直接利用患者在进行正畸治疗前的牙齿模型来进行患者牙齿矫治状态检测,因此能够直接复用患者之前的数字化正畸方案,大大降低了正畸的成本。
Description
技术领域
本发明属于数字化医疗领域中的数字化口腔正畸技术领域,特别涉及一种正畸矫治过程中的牙齿矫治状态的检测方法。
背景技术
正畸即矫正牙齿,通过矫治托槽、矫治牙套等利用外力牵引牙齿,将牙齿排列整齐。数字化正畸即将计算机辅助技术应用于正畸治疗,进行数字化地牙齿数据获取、储存、正畸方案设计等步骤。
患者在进行正畸治疗过程中,经常需要去医院进行复诊,检查牙齿的矫治状态。现有的牙齿矫治状态检测方法主要有3种:第一种是患者去医院,医生在现场对患者的牙齿进行检查,检测患者牙齿的矫治状态;第二种是患者去医院,利用石膏模型对患者的牙齿进行咬模,或者通过专业的口腔扫描仪对患者的牙齿进行三维建模,获取患者的牙齿三维扫描模型;第三种是患者用手机、相机等对自己的牙齿进行拍照,然后将照片发送给医生。
以上方法的缺点是,1、如果只对患者的牙齿进行拍照,则只能获取牙齿的二维信息,而不能获得患者的三维信息,无法很好地量化患者三维的牙齿矫治状态;2、如果利用石膏咬合模型进行取模,则需要患者到医院进行操作,对于医院和患者来说,成本都相对较高;3、使用专业的口腔扫描仪进行口腔模型扫描,都需要患者到医院进行操作,对于医院和患者来说,成本都相对较高;而且扫描获得口腔扫描模型,需要重新进行牙冠分割、正畸方案设计等步骤,无法直接使用原有的数字化正畸方案,费时费力。4、医生在现场对患者的牙齿进行检测,患者的矫治状态检查依赖于医生的经验,无法进行量化衡量,检查结果也无法数字化,无法复用原先的数字化正畸设计方案。
发明内容
本发明的目的是提出一种正畸矫治过程中的牙齿矫治状态检测方法,利用拍摄的患者牙齿照片,基于计算机二维图像处理技术和计算机三维建模技术,以低成本地检测患者的牙齿矫治状态。
本发明提出的正畸矫治过程中的牙齿矫治状态的检测方法,包括:
获取牙齿矫治状态信息;
对数字化口腔网格模型进行预处理,得到数字化口腔网格模型;
使用基于投影的二维-三维配准方法,对每颗牙齿的三维网格模型进行刚性变换,使得每颗牙齿的三维网格模型投影到该照片的二维平面上,将每颗牙齿的二维投影牙齿轮廓与患者牙齿轮廓进行配准,得到该照片坐标系下每颗牙齿的真实刚性变换矩阵;
根据每张照片坐标系下牙齿的真实刚性变换矩阵,获取两张照片坐标系的关联矩阵;
根据坐标系关联矩阵和刚性变换矩阵,获得整副牙齿模型,实现正畸矫治过程中的牙齿矫治状态的检测。
本发明提出的正畸矫治过程中的牙齿矫治状态的检测方法,其优点是:
本发明的正畸矫治过程中的牙齿矫治状态的检测方法,利用拍摄的患者牙齿照片,基于计算机二维图像处理技术和计算机三维建模技术,以低成本地检测患者的牙齿矫治状态。本发明方法使得患者在家中进行牙齿矫治状态检测成为可能,无需患者去医院进行口腔扫描或者牙齿咬模,大大降低了患者和医院的成本。同时,本发明方案直接利用患者在进行正畸治疗前的牙齿模型来进行患者牙齿矫治状态检测,因此能够直接复用患者之前的数字化正畸方案,大大降低了正畸的成本。
附图说明
图1是本发明提出的正畸矫治过程中的牙齿矫治状态的检测方法的流程框图。
具体实施方式
本发明提出的正畸矫治过程中的牙齿矫治状态的检测方法,包括:
获取牙齿矫治状态信息;
对数字化口腔网格模型进行预处理,得到数字化口腔网格模型;
使用基于投影的二维-三维配准方法,对每颗牙齿的三维网格模型进行刚性变换,使得每颗牙齿的三维网格模型投影到该照片的二维平面上,将每颗牙齿的二维投影牙齿轮廓与患者牙齿轮廓进行配准,得到该照片坐标系下每颗牙齿的真实刚性变换矩阵;
根据每张照片坐标系下牙齿的真实刚性变换矩阵,获取两张照片坐标系的关联矩阵;
根据坐标系关联矩阵和刚性变换矩阵,获得整副牙齿模型,实现正畸矫治过程中的牙齿矫治状态的检测。
以下结合附图,详细介绍本发明的内容:
本发明提出的正畸矫治过程中的牙齿矫治状态的检测方法,其流程框图如图1所示,包括以下步骤:
(1)获取牙齿矫治状态信息,具体过程如下:
(1-1)在隐形正畸治疗前,使用三维扫描枪对患者的牙齿进行扫描,获取患者的数字化口腔网格模型,其中数字化网格模型使用行业常用的obj(3D模型文件格式)文件格式存储,数字化口腔网格模型中存储网格模型的三维空间点、线和面的位置信息;
(1-2)从不同角度拍摄带有标签示意图的患者牙齿照片,口腔照片使用手机拍摄,患者牙齿照片为彩色的M*N二维图像,标签示意图是由黑色和白色的类似于二维码的正方形图像,M为二维图像的宽度,N为二维图像的高度;
(2)对步骤(1)的数字化口腔网格模型进行预处理,具体过程如下:
(2-1)对患者在隐形正畸前的口内扫描网格模型进行分牙操作。分牙操作为对步骤(1-1)的数字化口腔网格模型进行分割,得到每颗牙齿的三维网格模型,并根据正畸学对现实中牙齿的编号,并对每颗牙齿的三维网格模型进行编号,得到编号为j的牙冠网格模型Aj;
获取拍摄照片的相机内参数(相机内参数是与相机自身特性相关的参数,比如相机的焦距、像素大小等)。
(2-2)对步骤(1-2)的患者牙齿照片进行去畸变处理,得到去畸变处理后的患者口腔M*N二维图像;使用图像处理工具OpenCV(一个基于BSD许可发行的跨平台计算机视觉和机器学习软件库),对拍摄的每一张患者照片进行去畸变处理。
(2-3)获取步骤(1-2)中拍摄照片时的相机内参数和相机外参数;(相机外参数是在世界坐标系中的参数,比如相机的位置、旋转方向等)。在对患者牙齿进行拍照时,用定制的标签(1cm*1cm,类似于二维码)的标签贴在患者嘴唇上,使得标签能出现在照片中。根据照片中标签的位置,来获取相机的外参数,该方法为公知公用方法。
(2-4)从步骤(2-2)的去畸变处理后的患者口腔M*N二维图像中提取患者牙齿轮廓,具体过程如下:
(2-4-1)采用Canny边缘检测方法,对步骤(2-2)患者口腔M*N二维图像进行轮廓边缘检测,得到带有边缘信息的M*N二维图像;
本发明提出的低成本牙齿矫治状态检测方法中,主要使用患者拍摄的牙齿照片中的轮廓作为二维信息,来进行二维三维配准。因此需要对患者提交的牙齿照片进行轮廓提取。
关于照片中牙齿轮廓的处理,本发明使用多种图片轮廓提取方法提取照片中牙齿的轮廓,然后将这些方法的结果进行融合,获得牙齿的轮廓(牙齿轮廓指牙冠处的轮廓,不包括牙齿和牙龈交界线处的轮廓
口腔内部光线相对不足,而且患者的拍摄设备一般为手机等设备,拍摄的牙齿照片容易出现很多噪点,因为Canny算法不容易受到照片中噪点的影响,能够准确地提取边缘,所以本发明使用Canny算法对照片中的轮廓边缘进行提取。
(2-4-2)对步骤(2-2)患者口腔M*N二维图像进行Garbor滤波处理,得到带有轮廓信息的M*N二维图像;
牙齿轮廓形状是特殊的(大部分由横着或者竖着的弧线组成),而且因为患者在拍摄口内牙齿照片时,光线的变化非常大(例如有无开闪光灯、室内或室外拍摄、光源是否有遮挡等),因此提取患者的牙齿轮廓需要考虑照片拍摄时的光照。因为Garbor滤波对于光照不敏感,而且能够从频域提取空域难以提取的信息,能够选择提取轮廓的方向。因此,本发明使用Garbor滤波从0度、45度、90度、135度四种方向对患者提交的照片进行边缘轮廓提取。
(2-4-3)利用生成式边缘学习方法(Boost Edge Learning(简称BEL))对步骤(2-2)的患者口腔M*N二维图像进行处理,得到只有牙齿轮廓信息的M*N二维图像;
因为Canny算法和Garbor滤波是对照片中全局的边缘轮廓进行提取,而本发明需要提取的是患者的牙齿轮廓(不包括牙龈和牙齿的边缘)。所以需要有一种边缘轮廓提取算法,来提取患者的牙齿轮廓。因为本发明的牙齿轮廓训练数据数据量相对较少,所以本发明使用BEL方法,用概率提升树,通过少量的训练样本,来学习患者的牙齿轮廓。
BEL算法在具体实现时,对图像中的每个点独立地判断其是否是轮廓点。在判断时,以此点为中心,使用一个非常大的孔径(本发明中为49*49)作为判断的背景。在学习阶段,BEL算法选择并组合不同尺度的大量特征,以便使用概率提升树分类算法的扩展版本来学习辨别模型。
(2-4-4)采用轮廓融合提取方法,将上述步骤(2-4-1)、步骤(2-4-2)和步骤(2-4-3)得到的三张M*N二维图像进行融合,得到带有患者牙齿轮廓的M*N二维图像,包括以下步骤:
Canny算法具有良好的对噪声不敏感性和能进行准确边缘提取,但是会提取全局边缘轮廓;Garbor滤波对患者拍摄牙齿时的光照不敏感,对于轮廓的方向有很好的选择,但是也会提取边缘轮廓;BEL算法只提取患者牙齿的轮廓,但是准确性有待提高,且对噪声相对敏感。通过三种方法的融合,扬长避短,获得各个方法的优势,就可以获得较为准确的牙齿轮廓。
(2-4-4-1)设定图像中像素值的阈值,对步骤(2-4-2)的Garbor滤波后得到的M*N二维图像进行二值化处理,将该二值化处理后的二维图像中像素值高于阈值的边缘判定为边缘轮廓;
(2-4-4-2)将步骤(2-4-4-1)、步骤(2-4-1)和步骤(2-4-3)的M*N二维图像进行“交”运算,即步骤(2-4-4-1)、步骤(2-4-1)和步骤(2-4-3)同时判定为边缘轮廓的点才确定为牙齿轮廓的边缘点;
(2-5)对步骤(2-4)得到的带有患者牙齿轮廓的M*N二维图像中的每颗牙齿轮廓进行编号,即得到Bij,Bij表示第i张牙齿照片中编号为j牙齿的轮廓;
因为每个人的牙齿形状都不尽相同,且从不同角度拍摄牙齿得到的牙齿轮廓也不尽相同,所以通过机器学习来对得到的牙齿轮廓进行编号是一件相对困难的事情。而且前文提到的轮廓提取融合算法也无法做到100%的准确率,所以需要借助人工对前文轮廓提取融合算法得到的牙齿轮廓进行简单修饰并依据牙位表对牙齿轮廓进行编号。
为了确保下一步二维三维配准的精确度,在人工对牙齿轮廓进行编号时,可以舍去轮廓模糊的牙齿,而保留轮廓清晰的牙齿轮廓。虽然本步骤仍需要进行人工交互,但是和人工进行轮廓提取相比,本发明的方法已经大大简化了人工交互的复杂度,人工只需要在轮廓提取融合算法的基础上进行编号和简单修饰即可。
(3)将步骤(2-5)的患者牙齿轮廓Bij与步骤(2-1)的牙齿数字化三维模型Aj进行配准,(简称二维三维配准),即使用基于投影的二维-三维配准方法,对步骤(2-1)的每颗牙齿的三维网格模型进行刚性变换,使得每颗牙齿的三维网格模型投影到二维平面上,投影得到每颗牙齿的M*N二维投影牙齿轮廓,(该牙齿轮廓不包含牙齿牙龈交接线),将每颗牙齿的M*N二维投影牙齿轮廓与步骤(2-4)的患者牙齿轮廓进行配准,得到每颗牙齿的真实刚性变换矩阵其中,i表示步骤(2-4)中第i张照片,j表示步骤(2-4)中牙齿的编号,获取第i张照片中编号为j的牙齿的真实刚性变换矩阵包括以下步骤:
(3-1)分别对每一张照片的牙齿轮廓,以上颌面牙列和下颌面牙列为整体进行二维三维配准,即根据步骤(2-5)得到第i张照片的每颗牙齿轮廓Bij,按照牙齿所在的上颌面或下颌面,分成两个颌面的牙列轮廓,将上颌面牙列轮廓或下颌面牙列轮廓分别与步骤(2-1)得到的牙齿数字化三维模型Aj进行二维三维配准,得到第i张牙齿照片中相应颌面牙齿的刚性变换矩阵T′i,Ti表示第i张牙齿照片中颌面牙齿的刚性变换矩阵理论值,T′i为Ti的计算值;其中,上颌面牙列处理步骤和下颌面牙列处理步骤完全一致。整副牙列二维三维配准的步骤用以下公式表示:
使用第i张牙齿照片中整个颌面牙齿的刚性变换矩阵Ti,对步骤(2-1)得到的牙齿数字化三维模型Aj进行刚性变化,得到刚性变化后牙齿三维模型其中,其中Ni为牙齿照片i中上颌面或下颌面上被标出的牙齿轮廓数量;刚性变换矩阵T由六个参数构成,分别是tx、ty、tz、α、β、γ,其中,tx、ty、tz表示空间内平移量,α、β、γ表示空间内旋转角度,其中T和tx、ty、tz、α、β、γ的关系为:
整副牙列的牙齿配准过程如下:
(3-1-1)使用函数对得到的刚性变化后牙齿三维模型从三维网格模型投影到二维平面,得到二维投影图形其中,函数由步骤(2-3)获取的相机内参数和相机外参数决定;本发明中使用开放式图形库OpenGL进行投影,通过相机内参数和相机外参数,将三维网格模型投影至二维成像平面,此方法为本技术领域的公知技术。
(3-1-2)使用函数C,对得到的二维投影图形进行牙齿轮廓提取,得到投影牙齿轮廓本发明中,将步骤(3-1-1)投影得到的二维图形二值化(即背景为黑色,牙齿的投影为白色),再使用图形处理软件OpenCV进行投影牙齿轮廓提取,此轮廓提取方法也为本技术领域的公知技术。
在本发明实现中,采用最近点对的平均距离(欧几里得距离)作为两个轮廓的距离。用{xproject}表示某颗牙齿投影生成的轮廓点点集,Kproject投影轮廓点的数量;用{xreal}表示对应牙齿在照片中真实轮廓的点集,Kreal表示真实轮廓点的数量;则距离度量函数F2D可以用下式表示:
(3-1-4)遍历一副牙列上的所有牙齿,对每一颗牙齿重复上述步骤(3-1-1)、(3-1-2)和(3-1-3),得到所有每颗牙齿的度量距离,求所有每颗牙齿的度量距离的平均值,得到整副牙列的距离度量均值其中Ni为牙齿照片i中上颌面或下颌面上被标出的牙齿轮廓数量;
(3-1-5)使用最优化方法,不断调整牙列的刚性变换矩阵Ti,使得牙齿数字化三维模型Aj的投影轮廓与步骤(2-5)得到的整副牙列轮廓的度量距离最小,当度量距离最小时,得到此时的刚性变换矩阵T′i;
(3-2)根据步骤(3-1)的整副牙列刚性变换矩阵T′i,对每一颗牙齿进行二维三维配准。即根据步骤(3-1)的整副牙列刚性变换矩阵T′i,将步骤(2-5)得到第i张照片的每颗牙齿轮廓Bij和步骤(2-1)的牙齿数字化三维模型Aj,进行进一步刚性变化,得到进一步刚性变换的刚性变换矩阵T′ij,单颗牙齿二维三维配准的步骤如以下公式所示:
其中,Tij表示照片i中编号为j的牙齿,在整副牙列进行刚性变换T′i的基础上进行的刚性变换。当单颗牙齿投影和真实轮廓距离最小时,得到刚性变化矩阵T′ij;具体步骤如下:
(3-2-5)使用最优化方法,不断调整牙齿的刚性变换矩阵Tij,使得牙齿数字化三维模型Aj的投影轮廓与步骤(2-5)得到的整副牙列轮廓的度量距离最小。当度量距离最小时,得到照片i上编号为j的牙齿的刚性变换矩阵T′ij;
(3-2-6)对每颗牙齿均进行上述(3-2-1)、(3-2-2)、(3-2-3)、(3-2-4)、(3-2-5)操作,得到每颗牙齿在步骤(3-1)进行整副牙列刚性变换T′i基础上进一步刚性变换的刚性变换矩阵T′ij;
(4-1)获取照片i1和照片i2上具有相同编号的n颗牙齿,记为n颗共同牙齿;牙齿编号为口腔学通用的编号;
(4-2)在n颗共同编号牙齿中,以编号k牙齿为例,k不等于i,k不等于j,求出以编号为k牙齿为基准,在坐标系关联矩阵关联下,得到照片i1和照片i2的n颗共同牙齿的投影度量距离Dk,其中,表示从i1变换到i2坐标系的坐标系关联矩阵, 表示的逆矩阵,Dk的计算公式如下:
(4-2-7)重复步骤(4-1-2)、(4-1-3)、(4-1-4)、(4-1-5)、(4-1-6),求出以该编号k牙齿为基准,在照片i2的坐标系下,求出在照片i1中的n颗共同编号牙齿的投影到照片i1成像平台的投影平均度量距离即
(4-2-9)重复步骤(4-2-1)至(4-2-8),获得n颗共同牙齿中,以每一颗牙齿为基准的投影度量距离。
(4-3)在n颗共同牙齿中,根据步骤(4-2)得到以每一颗牙齿为基准的投影度量距离。从所有牙齿的度量距离中找到度量距离最小的牙齿编号,记为牙齿编号k,使用其(编号为k的牙齿)坐标系关联矩阵作为照片i1和照片i2的坐标系关联矩阵
通过上述方法生成牙齿模型后,可以使用数字化正畸系统中的一些计量方式进行牙齿矫治状态的检测。牙齿矫治状态的具体测量根据不同正畸公司的要求有所不同,各个公司可以根据需求对生成的模型用PAR指数、相邻牙齿间距等状态测量指标来进行牙齿矫治状态检测。
Claims (6)
1.一种正畸矫治过程中的牙齿矫治状态的检测方法,其特征在于该检测方法包括:
获取牙齿矫治状态信息;
对数字化口腔网格模型进行预处理,得到数字化口腔网格模型;
使用基于投影的二维-三维配准方法,对每颗牙齿的三维网格模型进行刚性变换,使得每颗牙齿的三维网格模型投影到该照片的二维平面上,将每颗牙齿的二维投影牙齿轮廓与患者牙齿轮廓进行配准,得到该照片坐标系下每颗牙齿的真实刚性变换矩阵;
根据每张照片坐标系下牙齿的真实刚性变换矩阵,获取两种照片坐标系的关联矩阵;
根据坐标系关联矩阵和刚性变换矩阵,获得整副牙齿模型,实现正畸矫治过程中的牙齿矫治状态的检测。
2.如权利要求1所述的检测方法,其特征在于其中所述的获取牙齿矫治状态信息,具体过程如下:
(1)在隐形正畸治疗前,对患者的牙齿进行扫描,获取患者的数字化口腔网格模型,数字化口腔网格模型中存储网格模型的三维空间点、线和面的位置信息;
(2)从不同角度拍摄带有标签示意图的患者牙齿照片,患者牙齿照片为彩色的M*N二维图像,M为二维图像的宽度,N为二维图像的高度。
3.如权利要求2所述的检测方法,其特征在于其中对步骤(1)的数字化口腔网格模型进行预处理,以得到数字化口腔网格模型,具体过程如下:
(1)对数字化口腔网格模型进行分割,得到每颗牙齿的三维网格模型,并对每颗牙齿的三维网格模型进行编号,得到编号为j的牙冠网格模型Aj;
(2)对患者牙齿照片进行去畸变处理,得到去畸变处理后的患者口腔M*N二维图像;
(3)获取拍摄照片时的相机内参数和相机外参数。
4.如权利要求1所述的检测方法,其特征在于其中所述的从去畸变处理后的患者口腔M*N二维图像中提取患者牙齿轮廓,具体过程如下:
(1)采用canny边缘检测方法,对患者口腔M*N二维图像进行轮廓边缘检测,得到带有边缘信息的M*N二维图像;
(2)对患者口腔M*N二维图像进行Garbor滤波处理,得到带有轮廓信息的M*N二维图像;
(3)利用生成式边缘学习方法对步骤(2)的患者口腔M*N二维图像进行处理,得到只有牙齿轮廓信息的M*N二维图像;
(4)采用轮廓融合提取方法,将上述步骤(1)、步骤(2)和步骤(3)得到的三张M*N二维图像进行融合,得到带有患者牙齿轮廓的M*N二维图像,包括以下步骤:
(4-1)设定图像中像素值的阈值,对步骤(2-4-2)的Garbor滤波后得到的M*N二维图像进行二值化处理,将该二值化处理后的二维图像中像素值高于阈值的边缘判定为边缘轮廓;
(4-2)将步骤(4-1)、步骤(1)和步骤(3)的M*N二维图像进行“交”运算,即步骤(4-1)、步骤(1)和步骤(3)同时判定为边缘轮廓的点才确定为牙齿轮廓的边缘点;
(5)对带有患者牙齿轮廓的M*N二维图像中的每颗牙齿轮廓进行编号,即得到Bij,Bij表示第i张牙齿照片中编号为j牙齿的轮廓。
5.如权利要求1所述的检测方法,其特征在于其中对患者牙齿轮廓Bij与步骤的牙齿数字化三维模型Aj进行二维三维配准,即使用基于投影的二维-三维配准方法,对每颗牙齿的三维网格模型进行刚性变换,使得每颗牙齿的三维网格模型投影到二维平面上,投影得到每颗牙齿的M*N二维投影牙齿轮廓,将每颗牙齿的M*N二维投影牙齿轮廓与步骤(2-4)的患者牙齿轮廓进行配准,得到每颗牙齿的真实刚性变换矩阵其中,i表示第i张照片,j表示牙齿的编号,获取第i张照片中编号为j的牙齿的真实刚性变换矩阵包括以下步骤:
(5-1)根据第i张照片的每颗牙齿轮廓Bij,按照牙齿所在的上颌面或下颌面,分成两个颌面的牙列轮廓,将上颌面牙列轮廓或下颌面牙列轮廓分别与牙齿数字化三维模型Aj进行二维三维配准,得到第i张牙齿照片中相应颌面牙齿的刚性变换矩阵T′i,Ti表示第i张牙齿照片中颌面牙齿的刚性变换矩阵理论值,T′i为Ti的计算值;整副牙列二维三维配准的步骤用以下公式表示:
使用第i张牙齿照片中整个颌面牙齿的刚性变换矩阵Ti,对步骤(2-1)得到的牙齿数字化三维模型Aj进行刚性变化,得到刚性变化后牙齿三维模型其中,其中Ni为牙齿照片i中上颌面或下颌面上被标出的牙齿轮廓数量;刚性变换矩阵T由六个参数构成,分别是tx、ty、tz、α、β、γ,其中,tx、ty、tz表示空间内平移量,α、β、γ表示空间内旋转角度,其中T和tx、ty、tz、α、β、γ的关系为:
整副牙列的牙齿配准过程如下:
(5-1-4)遍历一副牙列上的所有牙齿,对每一颗牙齿,重复上述步骤(5-1-1)、(5-1-2)和(5-1-3),得到所有每颗牙齿的度量距离,求所有每颗牙齿的度量距离的平均值,得到整副牙列的距离度量均值其中Ni为牙齿照片i中上颌面或下颌面上被标出的牙齿轮廓数量;
(5-1-5)使用最优化方法,不断调整牙列的刚性变换矩阵Ti,使得牙齿数字化三维模型Aj的投影轮廓与整副牙列轮廓的度量距离最小,当度量距离最小时,得到此时的刚性变换矩阵T′i;
(5-2)根据整副牙列刚性变换矩阵T′i,将第i张照片的每颗牙齿轮廓Bij和步骤牙齿数字化三维模型Aj进行进一步刚性变化,得到进一步刚性变换的刚性变换矩阵T′ij,单颗牙齿二维三维配准的步骤如以下公式所示:
其中,Tij表示照片i中编号为j的牙齿,在整副牙列进行刚性变换T′i的基础上进行的刚性变换。当单颗牙齿投影和真实轮廓距离最小时,得到刚性变化矩阵T′ij;具体步骤如下:
(5-2-5)使用最优化方法,不断调整牙齿的刚性变换矩阵Tij,使得牙齿数字化三维模型Aj的投影轮廓与整副牙列轮廓的度量距离最小,当度量距离最小时,得到照片i上编号为j的牙齿的刚性变换矩阵T′ij;
(5-2-6)对每颗牙齿,重复上述步骤(5-2-1)~步骤(5-2-5),得到每颗牙齿在整副牙列刚性变换T′i上进一步刚性变换的刚性变换矩阵T′ij;
(6-1)获取照片i1和照片i2上具有相同编号的n颗牙齿,记为n颗共同牙齿;
(6-2)在n颗共同编号牙齿中,以编号k牙齿为例,k不等于i,k不等于j,求出以编号为k牙齿为基准,在坐标系关联矩阵关联下,得到照片i1和照片i2的n颗共同牙齿的投影度量距离Dk,其中,表示从i1变换到i2坐标系的坐标系关联矩阵, 表示的逆矩阵,Dk的计算公式如下:
(6-2-9)重复步骤(6-2-1)至步骤(6-2-8),获得n颗共同牙齿中,以每一颗牙齿为基准的投影度量距离;
(6-3)在n颗共同牙齿中,根据步骤(6-2)得到以每一颗牙齿为基准的投影度量距离。从所有牙齿的度量距离中找到度量距离最小的牙齿编号,记为牙齿编号k,使用编号为k的牙齿的坐标系关联矩阵作为照片i1和照片i2的坐标系关联矩阵
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110110421.XA CN112807108B (zh) | 2021-01-27 | 2021-01-27 | 一种正畸矫治过程中的牙齿矫治状态的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110110421.XA CN112807108B (zh) | 2021-01-27 | 2021-01-27 | 一种正畸矫治过程中的牙齿矫治状态的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112807108A true CN112807108A (zh) | 2021-05-18 |
CN112807108B CN112807108B (zh) | 2022-03-01 |
Family
ID=75859690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110110421.XA Active CN112807108B (zh) | 2021-01-27 | 2021-01-27 | 一种正畸矫治过程中的牙齿矫治状态的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112807108B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023165505A1 (zh) * | 2022-03-01 | 2023-09-07 | 先临三维科技股份有限公司 | 牙齿矫正效果的检测方法、装置、设备和存储介质 |
WO2024088360A1 (zh) * | 2022-10-26 | 2024-05-02 | 上海时代天使医疗器械有限公司 | 牙列三维数字模型的配准方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160074138A1 (en) * | 2007-06-08 | 2016-03-17 | Align Technology, Inc. | System and method for detecting deviations during the course of an orthodontic treatment to gradually reposition teeth |
CN107924563A (zh) * | 2015-08-20 | 2018-04-17 | 阿莱恩技术有限公司 | 牙病治疗和手术的基于照片的评估 |
CN108320325A (zh) * | 2018-01-04 | 2018-07-24 | 华夏天宇(北京)科技发展有限公司 | 牙列模型的生成方法及装置 |
CN108491850A (zh) * | 2018-03-27 | 2018-09-04 | 北京正齐口腔医疗技术有限公司 | 三维牙齿网格模型的特征点自动提取方法及装置 |
US20190328489A1 (en) * | 2016-12-30 | 2019-10-31 | Carestream Dental Technology Topco Limited | Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution |
CN111388125A (zh) * | 2020-03-05 | 2020-07-10 | 深圳先进技术研究院 | 一种口腔正畸治疗前后牙齿移动量计算方法和装置 |
CN111685899A (zh) * | 2020-06-12 | 2020-09-22 | 上海银马科技有限公司 | 基于口内图像和三维模型的牙齿正畸治疗监测方法 |
CN111727022A (zh) * | 2018-02-21 | 2020-09-29 | 义获嘉伟瓦登特公司 | 用于将患者的牙列的三维模型与患者的面部图像对准的方法 |
CN112006791A (zh) * | 2020-08-31 | 2020-12-01 | 上海正雅齿科科技股份有限公司 | 牙齿矫治信息的获取方法及系统 |
-
2021
- 2021-01-27 CN CN202110110421.XA patent/CN112807108B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160074138A1 (en) * | 2007-06-08 | 2016-03-17 | Align Technology, Inc. | System and method for detecting deviations during the course of an orthodontic treatment to gradually reposition teeth |
CN107924563A (zh) * | 2015-08-20 | 2018-04-17 | 阿莱恩技术有限公司 | 牙病治疗和手术的基于照片的评估 |
US20190328489A1 (en) * | 2016-12-30 | 2019-10-31 | Carestream Dental Technology Topco Limited | Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution |
CN108320325A (zh) * | 2018-01-04 | 2018-07-24 | 华夏天宇(北京)科技发展有限公司 | 牙列模型的生成方法及装置 |
CN111727022A (zh) * | 2018-02-21 | 2020-09-29 | 义获嘉伟瓦登特公司 | 用于将患者的牙列的三维模型与患者的面部图像对准的方法 |
CN108491850A (zh) * | 2018-03-27 | 2018-09-04 | 北京正齐口腔医疗技术有限公司 | 三维牙齿网格模型的特征点自动提取方法及装置 |
CN111388125A (zh) * | 2020-03-05 | 2020-07-10 | 深圳先进技术研究院 | 一种口腔正畸治疗前后牙齿移动量计算方法和装置 |
CN111685899A (zh) * | 2020-06-12 | 2020-09-22 | 上海银马科技有限公司 | 基于口内图像和三维模型的牙齿正畸治疗监测方法 |
CN112006791A (zh) * | 2020-08-31 | 2020-12-01 | 上海正雅齿科科技股份有限公司 | 牙齿矫治信息的获取方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023165505A1 (zh) * | 2022-03-01 | 2023-09-07 | 先临三维科技股份有限公司 | 牙齿矫正效果的检测方法、装置、设备和存储介质 |
WO2024088360A1 (zh) * | 2022-10-26 | 2024-05-02 | 上海时代天使医疗器械有限公司 | 牙列三维数字模型的配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112807108B (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113509281B (zh) | 用于口内扫描的历史扫描参考 | |
US20070160957A1 (en) | Image based dentition record digitization | |
US8798346B2 (en) | Image registration | |
US8731280B2 (en) | Virtual cephalometric imaging | |
CN108470365B (zh) | 一种基于上下牙颌的牙弓线绘制方法 | |
CN111784754B (zh) | 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质 | |
CN112807108B (zh) | 一种正畸矫治过程中的牙齿矫治状态的检测方法 | |
US11244519B2 (en) | Dental model attributes transfer | |
CN113052902B (zh) | 牙齿治疗监测方法 | |
US20230206451A1 (en) | Method for automatic segmentation of a dental arch | |
CN112308895A (zh) | 一种构建真实感牙列模型的方法 | |
CN112515787B (zh) | 一种三维牙颌数据分析方法 | |
CN115457198A (zh) | 牙齿模型生成方法、装置、电子设备和存储介质 | |
WO2023185405A1 (zh) | 义齿3d打印支架的设计方法、装置及可存储介质 | |
CN107564094B (zh) | 一种基于局部坐标的牙齿模型特征点自动识别算法 | |
Hsung et al. | Image to geometry registration for virtual dental models | |
CN111461230B (zh) | 一种基于牙科stl模型和二维图像配准的牙模分类识别方法 | |
Wirtz et al. | Automatic model-based 3-D reconstruction of the teeth from five photographs with predefined viewing directions | |
CN114972360A (zh) | 牙齿的计算机断层扫描图像的分割方法 | |
Yamany et al. | Efficient free-form surface representation with application in orthodontics | |
EP3629338A1 (en) | Dental model attributes transfer | |
CN117788747A (zh) | 一种口扫数据与cbct融合的牙冠三维重建方法 | |
EP4307229A1 (en) | Method and system for tooth pose estimation | |
US20240058105A1 (en) | Augmentation of 3d surface of dental site using 2d images | |
CN117481674A (zh) | 一种融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |