CN111931843A - 一种基于图像处理的监控牙齿位置的方法 - Google Patents

一种基于图像处理的监控牙齿位置的方法 Download PDF

Info

Publication number
CN111931843A
CN111931843A CN202010787810.1A CN202010787810A CN111931843A CN 111931843 A CN111931843 A CN 111931843A CN 202010787810 A CN202010787810 A CN 202010787810A CN 111931843 A CN111931843 A CN 111931843A
Authority
CN
China
Prior art keywords
model
tooth
picture
patient
teeth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010787810.1A
Other languages
English (en)
Inventor
付益慧
付益驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aishuxiao Technology Co ltd
Original Assignee
Shenzhen Aishuxiao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aishuxiao Technology Co ltd filed Critical Shenzhen Aishuxiao Technology Co ltd
Priority to CN202010787810.1A priority Critical patent/CN111931843A/zh
Publication of CN111931843A publication Critical patent/CN111931843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明属于软件工程、图像处理，能通过手机获取的牙齿照片来监控患者的牙齿位置，其特征在于以患者原始精确的牙列模型为基准，先参考牙齿照片进行角度上的配准，再将牙列模型细划分为牙齿模型，对牙齿模型进行虚拟移动，搜索到和牙齿照片相似性程度最高的移动方式。通过两轮搜索和优化，可以得到反应患者现在的牙齿排列情况的牙列模型。上述方法可以赋能患者在家里拍照进行线上复诊，为医生提供远程监测患者牙齿位置变化的新手段。

Description

一种基于图像处理的监控牙齿位置的方法
技术领域
本发明属于软件工程、图像处理，能通过手机获取的牙齿照片结合原始的精确牙列模型来监控患者的牙齿位置。
背景技术
调查显示，恒牙初期组的错合畸形患病率高达72.97％，随着国民经济的快速增长，越来越多的人选择进行牙齿矫正。在现有的牙齿矫正过程中，医生往往只是凭自己的肉眼和经验来判断牙齿是否在按照设计轨迹来移动。要想精确的了解牙齿当下的位置，就必须使用口内扫描仪进行口腔扫描或者用传统方式采集口腔印模再将其转化成数字模型。但上述操作都要求患者必须实地来到诊室，对于上班族或者异地求学的人来说，需要较大的时间成本。在流动性增强的当下，急需一种可以打破时间和地域限制的新技术，赋能患者，也赋能医生，可以远程监测牙齿的位置变化。
发明内容
本发明提供了一种基于图像处理的监控牙齿位置的方法，其特征在于，具体包括如下步骤：
(1)原始模型获取：从市面上常见的排牙软件内导出已经分好牙的牙列模型。
(2)照片获取：获得患者现在的牙齿照片
(3)照片处理
(4)角度配准
(5)牙齿模型虚拟移动及配准
(6)配准优化
(7)模型及数据导出
其中步骤(1)获取的模型为患者原始的精确模型，来源可以是口腔扫描或者是石膏取模后扫描出来的数字模型。该模型已经预先在排牙软件内进行预处理，确定了牙弓的矢状向水平向和垂直向方向以及牙齿的近中点，远中点，颈缘线和牙齿长轴。上述处理为市面上排牙软件的基本操作。
其中步骤(2)具体包括：
患者使用手机拍摄左侧张口照，右侧张口照，正面张口照，上颌颌面照，下颌颌面照五张照片。该拍摄过程可以配合手机app使用，该app可以调用手机相机，获取相机参数，自动对焦，并且在拍照时显示相应的提示框，提示患者将牙齿纳入提示框内拍照。该拍摄过程也可以配合使用开口器，解除唇颊软组织的遮挡。
其中步骤(3)具体包括：
提取每张照片内的特征线，也就是牙齿的外轮廓线。该步骤可以通过常见的检测器实现，如高斯型的拉普拉斯算法。
其中步骤(4)具体包括：
1)初始化牙列模型的三维位置：按照右侧张口照，正面张口照，上颌颌面照，下颌颌面照这五张照片的标准位初始化牙列模型
2)将牙列模型转化为五张照片对应的二维图像，提取特征线，也就是牙齿的外轮廓线，该步骤同样可以通过常见的检测器实现。
3)对牙列模型转化的二维图像和牙齿照片两者的特征线进行相似性度量，该值用于决定下述搜索是否继续，常用的相似性度量有归一化互信息、联合熵等
4)不断调整牙列模型三维摆放的角度，重复3)，找到最接近现在牙齿照片的角度，搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略。
其中步骤(5)具体包括：
在步骤(4)找到的最相似角度下，对牙列模型中的牙齿模型挨个做虚拟移动，然后重新做相似性度量，找到牙齿模型虚拟移动后和患者现在牙齿照片相似性最高的牙列模型，搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略。
其中步骤(6)具体包括：
在步骤(5)的基础上，重新进行小幅度的角度的搜索优化，然后再在优化的角度下做小幅度的牙齿模型移动的优化。
其中步骤(7)具体包括：
导出反应患者现在的牙齿排列情况的牙列模型，以及给出牙齿在各个方向的移动量数据
所述步骤(2)还可以添加如下附加设计：
1)在开口器上设计标示点，从而给步骤(3)提供自动裁剪的参考点，裁减掉面部等信息，减少图像处理量。
2)可以设定已知颜色，亮度，对比度，饱和度，眩光的参考点，从而给步骤(3)提供更多的补充判断的信息包括：颜色，亮度，对比度，饱和度，眩光等
3)可以可以在指定牙齿上贴上定位标示点，如在中切牙，尖牙和第一磨牙，从而优化步骤(4)的角度搜索
本发明提供的技术方案的有益效果是：本发明提出的基于图像处理来监控牙齿位置的方法，可以赋能患者在家里用手机拍照进行线上复诊，为医生提供远程监测患者牙齿位置变化的新手段，打破时间和空间的限制。而且本方法最终得到的模型是原始精确模型经调整而得，精确程度高，可以用于和患者最初设计时的分步模型进行对比，得到设计效果的实现率，获得更多牙齿矫正的临床数据，为临床研究提供便利。
附图说明
图1为本发明的流程图
具体实施方式
下面结合具体实施例和附图1对本发明作进一步说明：
1)获取患者原始的牙列模型，来源可以是口腔扫描或者是石膏取模后扫描出来的数字模型。该模型已经预先在排牙软件内进行预处理，确定了牙弓的矢状向水平向和垂直向方向以及牙齿的近中点，远中点，颈缘线和牙齿长轴。
2)患者使用手机拍摄左侧张口照，右侧张口照，正面张口照，上颌颌面照，下颌颌面照五张照片。该拍摄过程可以配合手机app使用，该app可以调用手机相机，获取相机参数，自动对焦，并且在拍照时显示相应的提示框，提示患者将牙齿纳入提示框内拍照。该拍摄过程也可以配合使用开口器，解除唇颊软组织的遮挡。在开口器上可以设计标示点以及已知颜色，亮度，对比度，饱和度，眩光的参考点。也可以在指定牙齿如中切牙，尖牙和第一磨牙上贴上定位标示点
3)提取每张照片内的特征线，也就是牙齿的外轮廓线。该步骤可以通过常见的检测器实现，如高斯型的拉普拉斯算法。
4)初始化牙列模型的三维位置：按照右侧张口照，正面张口照，上颌颌面照，下颌颌面照这五张照片的标准位初始化牙列模型
5)将牙列模型转化为五张照片对应的二维图像，提取特征线，也就是牙齿的外轮廓线，该步骤同样可以通过常见的检测器实现。
6)对牙列模型转化的二维图像和牙齿照片两者的特征线进行相似性度量，该值用于决定下述搜索是否继续，常用的相似性度量有归一化互信息、联合熵等
7)不断调整牙列模型三维摆放的角度，重复6)，找到最接近现在牙齿照片的角度，搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略。
8)在步骤7)找到的最相似角度下，对牙列模型中的牙齿模型挨个做虚拟移动，然后重新做相似性度量，找到牙齿模型虚拟移动后和患者现在牙齿照片相似性最高的牙列模型，搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略。
9)在步骤8)的基础上，重新进行小幅度的角度的搜索优化，然后再在优化的角度下做小幅度的牙齿模型移动的优化
10)导出反应患者现在的牙齿排列情况的牙列模型，以及给出牙齿在各个方向的移动量
现有技术要求患者一定要到线下的口腔诊所内，才能进行数据的采集做比对，本发明可以赋能患者在家里用手机拍照进行线上复诊，为医生提供远程监测患者牙齿位置变化的新手段，打破时间和空间的限制。而且本方法最终得到的模型是原始精确模型经调整而得，精确程度高，可以用于和患者最初设计时的分步模型进行对比，得到设计效果的实现率，获得更多牙齿矫正的临床数据，为临床研究提供便利。
应当理解的是，以上描述仅为本发明的实施例，其他技术人员从上述构思出发，在不偏离本发明精神基础上所做的修改、改进或套用，以及其他未经创造性劳动而获得的其他实施例，均在本发明的技术构思内。

Claims (4)

1.一种基于图像处理的监控牙齿位置的方法，其特征在于，具体包括如下步骤：
(1)原始模型获取：从市面上常见的排牙软件内导出已经分好牙的牙列模型；
(2)照片获取：获得患者现在的牙齿照片；
(3)照片处理；
(4)角度配准；
(5)牙齿模型虚拟移动及配准；
(6)配准优化；
(7)模型及数据导出；
其中步骤(1)获取的模型为患者原始的精确模型，来源可以是口腔扫描或者是石膏取模后扫描出来的数字模型；该模型已经预先在排牙软件内进行预处理，确定了牙弓的矢状向水平向和垂直向方向以及牙齿的近中点，远中点，颈缘线和牙齿长轴；上述处理为市面上排牙软件的基本操作；
其中步骤(2)具体包括：
患者使用手机拍摄左侧张口照，右侧张口照，正面张口照，上颌颌面照，下颌颌面照五张照片；该拍摄过程可以配合手机app使用，该app可以调用手机相机，获取相机参数，自动对焦，并且在拍照时显示相应的提示框，提示患者将牙齿纳入提示框内拍照；该拍摄过程也可以配合使用开口器，解除唇颊软组织的遮挡；
其中步骤(3)具体包括：
提取每张照片内的特征线，也就是牙齿的外轮廓线；该步骤可以通过常见的检测器实现，如高斯型的拉普拉斯算法；
其中步骤(4)具体包括：
1)初始化牙列模型的三维位置：按照右侧张口照，正面张口照，上颌颌面照，下颌颌面照这五张照片的标准位初始化牙列模型；
2)将牙列模型转化为五张照片对应的二维图像，提取特征线，也就是牙齿的外轮廓线，该步骤同样可以通过常见的检测器实现；
3)对牙列模型转化的二维图像和牙齿照片两者的特征线进行相似性度量，该值用于决定下述搜索是否继续，常用的相似性度量有归一化互信息、联合熵等；
4)不断调整牙列模型三维摆放的角度，重复3)，找到最接近现在牙齿照片的角度，搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略；
其中步骤(5)具体包括：
在步骤(4)找到的最相似角度下，对牙列模型中的牙齿模型挨个做虚拟移动，然后重新做相似性度量，找到牙齿模型虚拟移动后和患者现在牙齿照片相似性最高的牙列模型；搜索策略可以采用元启发式算法，尤其是进化算法，最好能使用模拟退火策略；
其中步骤(6)具体包括：
在步骤(5)的基础上，重新进行小幅度的角度的搜索优化，然后再在优化的角度下做小幅度的牙齿模型移动的优化；
其中步骤(7)具体包括：
导出反应患者现在的牙齿排列情况的牙列模型，以及给出牙齿在各个方向的移动量数据。
2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中可以可以在开口器上设计标示点，从而给步骤(3)提供自动裁剪的参考点，裁减掉面部等信息，减少图像处理量。
3.根据权利要求1所述的方法，其特征在于：所述步骤(2)中可以设定已知颜色，亮度，对比度，饱和度，眩光的参考点，从而给步骤(3)提供更多的补充判断的信息包括：颜色，亮度，对比度，饱和度，眩光等。
4.根据权利要求1所述的方法，其特征在于：所述步骤(2)中可以可以在指定牙齿上贴上定位标示点，如在中切牙，尖牙和第一磨牙，从而优化步骤(4)的角度搜索。
CN202010787810.1A 2020-08-10 2020-08-10 一种基于图像处理的监控牙齿位置的方法 Pending CN111931843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010787810.1A CN111931843A (zh) 2020-08-10 2020-08-10 一种基于图像处理的监控牙齿位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787810.1A CN111931843A (zh) 2020-08-10 2020-08-10 一种基于图像处理的监控牙齿位置的方法

Publications (1)

Publication Number Publication Date
CN111931843A true CN111931843A (zh) 2020-11-13

Family

ID=73306986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787810.1A Pending CN111931843A (zh) 2020-08-10 2020-08-10 一种基于图像处理的监控牙齿位置的方法

Country Status (1)

Country Link
CN (1) CN111931843A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017868A (zh) * 2021-02-26 2021-06-25 西安交通大学口腔医院 一种正畸前后头颅侧位片配准方法及设备
CN113052902A (zh) * 2020-12-29 2021-06-29 上海银马科技有限公司 牙齿治疗监测方法
WO2023165505A1 (zh) * 2022-03-01 2023-09-07 先临三维科技股份有限公司 牙齿矫正效果的检测方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120015316A1 (en) * 2001-04-13 2012-01-19 Rohit Sachdeva Unified three dimensional virtual craniofacial and dentition model and uses thereof
CN108961326A (zh) * 2018-07-03 2018-12-07 雅客智慧（北京）科技有限公司 一种用于种牙手术视觉导航的配准方法及电子设备
EP3530232A1 (en) * 2018-02-21 2019-08-28 Ivoclar Vivadent AG Method for aligning a three-dimensional model of a dentition of a patent to an image of the face of the patent recorded by a camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120015316A1 (en) * 2001-04-13 2012-01-19 Rohit Sachdeva Unified three dimensional virtual craniofacial and dentition model and uses thereof
EP3530232A1 (en) * 2018-02-21 2019-08-28 Ivoclar Vivadent AG Method for aligning a three-dimensional model of a dentition of a patent to an image of the face of the patent recorded by a camera
CN108961326A (zh) * 2018-07-03 2018-12-07 雅客智慧（北京）科技有限公司 一种用于种牙手术视觉导航的配准方法及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052902A (zh) * 2020-12-29 2021-06-29 上海银马科技有限公司 牙齿治疗监测方法
CN113052902B (zh) * 2020-12-29 2024-05-14 上海银马科技有限公司 牙齿治疗监测方法
CN113017868A (zh) * 2021-02-26 2021-06-25 西安交通大学口腔医院 一种正畸前后头颅侧位片配准方法及设备
WO2023165505A1 (zh) * 2022-03-01 2023-09-07 先临三维科技股份有限公司 牙齿矫正效果的检测方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US11317999B2 (en) Augmented reality enhancements for dental practitioners
US11986369B2 (en) Methods and systems for determining a dental treatment difficulty in digital treatment planning
US20240172934A1 (en) Using an intraoral mirror with an integrated camera to record dental status, and applications thereof
CN113509281B (zh) 用于口内扫描的历史扫描参考
CN111931843A (zh) 一种基于图像处理的监控牙齿位置的方法
US20210244502A1 (en) At home progress tracking using phone camera
US8454365B2 (en) Digital dentistry
CN113260335B (zh) 用于测量牙周袋深度的系统
JP2014534866A (ja) 歯、顔弓、及び咬合器を調整するための歯科用要素又は補助器具を作成する方法
WO2017205294A1 (en) A dental mirror with an integrated camera, and applications thereof
CN104603859B (zh) 牙科补缀及赝复体数字建档与制作的方法
CN113397585B (zh) 基于口腔cbct和口扫数据的牙体模型生成方法及系统
CN117315161B (zh) 一种用于数字化牙齿模型的图像采集处理系统
Sigouin A novel method to integrate intra-oral scan models with 3D facial images
Yılmaz et al. Recent photography trends in orthodontics
EP4316415A1 (en) Intraoral scanner
JP2024029381A (ja) データ生成装置、データ生成方法、およびデータ生成プログラム
CN114664454A (zh) 一种口腔正畸过程中颌面部软组织三维模型的模拟方法
CN117045349A (zh) 一种立体视觉种植导航系统及导航方法
KR20210114221A (ko) 치아 배열 디자인 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination