CN115546413A - 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质 - Google Patents

一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质 Download PDF

Info

Publication number
CN115546413A
CN115546413A CN202211306337.6A CN202211306337A CN115546413A CN 115546413 A CN115546413 A CN 115546413A CN 202211306337 A CN202211306337 A CN 202211306337A CN 115546413 A CN115546413 A CN 115546413A
Authority
CN
China
Prior art keywords
tooth
teeth
monitoring
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211306337.6A
Other languages
English (en)
Inventor
张洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juxiang Photoelectric Technology Shanghai Co ltd
Original Assignee
Juxiang Photoelectric Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juxiang Photoelectric Technology Shanghai Co ltd filed Critical Juxiang Photoelectric Technology Shanghai Co ltd
Priority to CN202211306337.6A priority Critical patent/CN115546413A/zh
Publication of CN115546413A publication Critical patent/CN115546413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

一种基于便携摄像头的牙齿矫正效果监控方法，包括：S1:通过简易拍照装置对牙齿进行拍照，并获得至少六张照片；其中，所述六张照片包括三张咬合照片和三张张嘴照片；S2：对所述照片中的牙齿进行识别、分割，并且对每一颗牙齿进行编号；S3：根据所述牙齿的编号和分割结果，对所述照片中牙齿进行三维重建；S4：拼接多个所述牙齿数据，获得整个口内牙齿三维数据；S5：将口内所述牙齿三维数据与进度牙齿三维数据的位移量，和/或偏转量进行对比，得到所述牙齿的偏差。本发明获得至少六张牙齿照片，并对牙齿进行分割与识别，进而进行三维重建，获得整个口内牙齿三维数据，从而可以得到牙齿的偏差，具有操作简单、精度高、数据全面的特点。

Description

一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储 介质
技术领域
本发明涉及牙齿校矫正领域，具体地，涉及一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质。
背景技术
一般牙齿矫正周期需要1-2年，矫正过程需要佩戴几十副牙套不等。但是由于患者佩戴的习惯和用法差异导致牙齿没有依照既定的排牙设计轨迹移动，可能患者在佩戴下一个牙套时无法准确佩戴上去。需要患者去口腔诊所进行口内扫描复诊，再根据排牙软件重新设计牙套。这至少存在以下两个问题：
一、患者需要等到新的牙套需要佩戴时才会发现牙齿位移问题，失去及时纠正的机会；
二、重新设计牙套导致成本增加、矫正周期延长。
而现有技术中虽有针对上述问题提出的技术方案，但其适用范围有限，效果有限。
某专利提供了用于在正畸治疗期间监测对象牙齿的系统和方法。广角(例如，鱼眼)图像示出了对象牙列的两个牙弓的咬合视图，并且可以被输入到监测系统中，该监测系统被配置为将该图像与治疗计划进行比较，以确定对象牙齿的当前位置有多接近地遵循根据正畸治疗计划的预期位置或期望位置。但该专利通过2D图像进行比较的方案存在误差大的、难以提供更多细节信息的问题。
某发明公开了一种用智能手机进行口腔扫描的方法、装置和存储介质，将智能手机的摄像镜头前端连接有可用于传输口腔内牙齿图像的外接探头，通过改变手机镜头的偏移量的同时高速摄影获取患者口内一系列景深不同的图像，对采集到的图像进行处理后形成单视角深度图，将多个视角的深度图转化成点云数据后拼接并网格化后形成最终三维模型，实现将患者口腔内部牙齿的真实图像传入智能手机中还原成口腔模型。但该专利采用的共焦技术对于手机要求过高，在普通手机中难以应用。
发明内容
为此，本发明通过简易拍照装置，获得至少六张牙齿照片，并对牙齿进行分割与识别，进而进行三维重建，获得整个口内牙齿三维数据，从而可以得到牙齿的偏差，具有操作简单、精度高、数据全面的特点。
第一方面，本发明提供一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，包括如下步骤：
步骤S1:通过简易拍照装置对牙齿进行拍照，并获得至少六张照片；其中，所述六张照片包括三张咬合照片和三张张嘴照片；
步骤S2：对所述照片中的牙齿进行识别、分割，并且对每一颗牙齿进行编号；
步骤S3：根据所述牙齿的编号和分割结果，对所述照片中牙齿进行三维重建；
步骤S4：拼接多个所述牙齿数据，获得整个口内牙齿三维数据；
步骤S5：将口内所述牙齿三维数据与进度牙齿三维数据的位移量，和/或偏转量进行对比，得到所述牙齿的偏差。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述简易拍照装置可以固定于手机。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述简易拍照装置增大所述手机摄像头的焦距，缩小手机摄像头的FOV。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，在所述步骤S2中，通过深度学习的方法进行牙齿分割与识别。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述步骤S3包括：
步骤S31：根据牙齿边缘和表面纹理，对所述牙齿进行三维重建；
步骤S32：得到每颗牙齿的三维数据。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述步骤S3包括：
步骤S41：获取每颗牙齿的三维数据及编号；
步骤S42：根据所述编号匹配所述照片中的牙齿与所述三维数据；
步骤S43：根据所述照片中的牙齿边缘进行三维重建，确定每个所述牙齿的相对位置与角度；
步骤S44：用所述三维数据替换所述照片中的所述牙齿，得到三维模型。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，还包括：
步骤S6：判断所述偏差是否在预设范围内，如果不在，则输出超出所述预设范围的牙齿编号。
可选地，所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，在所述步骤S4中，以牙齿中线为基准，向两侧依次拼接所述牙齿数据。
第二方面，本发明提供一种基于便携摄像头的牙齿矫正效果监控设备，其特征在于，包括：
处理器；
存储器模块，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述的基于便携摄像头的牙齿矫正效果监控方法的步骤。
第三方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任一项所述的一种基于便携摄像头的牙齿矫正效果监控方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明通过简易拍照装置进行拍照，降低了对其他设备的依赖和要求，也大大增加了操作的便携性，降低了操作难度，提升了应用的范围，有利于促进本发明的应用推广。
本发明对牙齿进行三维重建，相比于2D平面数据更加全面，可以更加全面地评估当前的矫正状态，同时，提供的测量数据更加准确。
本发明利用至少六张照片进行拍照，在不增加患者过多操作的前提下，大大提高三维重建的精度，提升模型的重建效果，达到简易性与质量的统一。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中一种基于便携摄像头的牙齿矫正效果监控方法的步骤流程图；
图2为本发明实施例中牙齿实拍图；
图3为本发明实施例中简易拍照装置应用示意图；
图4为本发明实施例中一种牙齿重建的步骤流程图；
图5为本发明实施例中另一种牙齿重建的步骤流程图；
图6为本发明实施例中另一种基于便携摄像头的牙齿矫正效果监控方法的步骤流程图；
图7为本发明实施例中一种基于便携摄像头的牙齿矫正效果监控设备的结构示意图；
图8为本发明实施例中一种计算机可读存储介质示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明实施例提供的一种基于便携摄像头的牙齿矫正效果监控方法，旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明实施例中一种基于便携摄像头的牙齿矫正效果监控方法的步骤流程图。如图1所示，本发明实施例中一种基于便携摄像头的牙齿矫正效果监控方法包括如下步骤。
步骤S1:通过简易拍照装置对牙齿进行拍照，并获得至少六张照片。
在本步骤中，所述六张照片包括三张咬合照片和三张张嘴照片。如图2所示，三张咬合照片分别沿左、中、右拍摄；三张张嘴照片分别沿左、中、右拍摄。其中“中”是指正对口腔拍摄，牙齿呈现左右对称的状态。拍摄时，简易拍照装置的中轴线朝向口腔中部，并且简易拍照装置的中心和上牙齿与下牙齿的中线位于同一平面，以获得更佳的视角(以下简称“标准位置”)。如果拍照时的视角不是标准位置，则需要进行更多的拍照，以补齐相应角度的照片。比如，当拍照时角度过低，上牙齿可以清晰呈现，而下牙齿只能呈现出部分，则需要重新对下牙齿进行拍照，比如拍摄角度不低于前述标准位置进行拍照。
在部分实施例中，简易拍照装置是一个独立终端，不依赖于外部设备运行。简易拍照装置包括光学元件、显示屏、网络元件和处理器。光学元件用于对牙齿进行拍照。显示屏用于显示光学元件获取的图像和重建结果输出。网络元件用于与服务器端通信，获得三维数据及校正进度数据。处理器用于对光学元件获取的照片进行处理，并与网络元件接收的数据进行比对，输出牙齿的偏差。本方案可以不依赖于外部设备，具有稳定性高、操作简易的特点。
在部分实施例中，简易拍照装置固定于手机，以提高手机获得的图像的质量，从而提高三维重建效果。简易拍照装置由固定部件及光学元件组成。固定部件用于将简易拍照装置固定于手机上。光学元件用于实现手机摄像头光路的变化。目前手机摄像头的FOV较大，在拍摄口腔内的图像时，质量较低。本方案的简易拍照装置具有增距作用，即增大手机摄像头的焦距，缩小手机摄像头的FOV，从而提高图像的空间分辨力，最终提高重建精度。上下牙齿正常开口度在3.7-4.5cm之间。嘴巴宽度在4cm-6.5cm之间。手机摄像头FOV在50-70度之间。可见患者个体存在一定的差异，而手机摄像头尺寸同样存在差异。而这也是现有技术中采用共焦技术，以相机与手机摄像头具有相同的焦距的原因。但是由于牙齿有结构呈弧形，单一通过焦距的变化无法实现照片质量的有效提升，同时，对于手机摄像头过高的要求也限制了该技术的应用。本实施例通过使手机摄像头具有较大的焦距，提高景深，从而实现对牙齿的高清拍摄，并且简化了设备，提升了通用性。结合手机摄像头的尺寸，本实施例中简易拍照装置增距范围在1.3-3.4之间选取。结合临床数据，为获得最广的应用范围，本实施例的简易拍照装置采用2倍和3倍增距。图3为本发明实施例中简易拍照装置应用示意图，可以看出，本实施例的简易装置可以应用于各类手机、终端，具有广泛的适用性。
步骤S2：对所述照片中的牙齿进行识别、分割，并且对每一颗牙齿进行编号。
在本步骤中，采用深度学习方法进行牙齿分割与识别。在使用深度学习方法建立模型时，采用与步骤S1中标准位置拍摄的图片进行训练，并对每颗牙齿进行编号。在编号时，可以只对上牙齿和下牙齿的各8颗牙齿进行编号。上牙齿和下牙齿的各8颗牙齿是牙齿矫正最关键的牙齿，也是最容易获得清晰数据的牙齿，具有很高的实用价值。而其他边缘牙齿在矫正过程中位移较小，只需要跟随移动即可，并不是本发明重点关注的内容。在编号时，可以从左向右编号，也可以从中央向两侧编号。优选地，采用从中央向两侧编号的方法。
步骤S3：根据所述牙齿的编号和分割结果，对所述照片中牙齿进行三维重建。
在本步骤中，根据多张照片中牙齿的信息进行三维重建。具体地，利用多张照片中的特征进行配准，从而可以实现三维重建。由于牙齿的特征较少，且固定不变，因而可以通过本实施例所述方法进行三维重建，并保证在较长周期内具有相同的特征。
在重建时，通过如下步骤实现：
步骤S301:输入一张主图像和几张辅图像；
步骤S302：分别用网络提取出下采样四分之一的32通道的特征图；
步骤S303：采用立体匹配(即双目深度估计)里提出的cost volume的概念，将几张辅图像的特征利用单应性变换转换到主图像，在转换的过程中，类似极线搜索，引入了深度信息。
具体cost volume上一个点是所有图片在这个点和深度值上特征的方差，方差越小，说明在该深度上置信度越高。
步骤S304：利用3D卷积操作cost volume，先输出每个深度的概率，然后求深度的加权平均得到预测的深度信息，用L1或smoothL1回归深度信息，是一个回归模型。
步骤S305：利用多张图片之间的重建约束来选择预测正确的深度信息，重建成三维点云。
步骤S4：拼接多个所述牙齿数据，获得整个口内牙齿三维数据。
在本步骤中，拼接的牙齿数据是全口腔内的牙齿。如果步骤S2中只对部分牙齿进行处理，比如8颗牙齿，则步骤S3中也是部分牙齿数据，而本步骤中也仅可拼接出部分牙齿三维数据。此时，需要采用前次系统内存储的其他牙齿三维数据，对其进行拼接，从而获得所有牙齿的三维数据。比如，患者前一次在医院就诊时，扫描获得的三维数据存储在系统中，而患者本次拍照时，只对上下各8颗牙进行重建，而其他牙齿则采用系统内存储的三维数据进行拼接。
步骤S5：将口内所述牙齿三维数据与进度牙齿三维数据的位移量，和/或偏转量进行对比，得到所述牙齿的偏差。
在本步骤中，牙齿矫正有两个重要的指标：位移量和偏转量。通过计算每颗牙齿当前的位置与目标位置，可以得到牙齿的偏差。偏差值以位移量与偏转量的加权平均值计算得到。目标位置既可以是下一个周期起点时的位置，即下次更换新的牙套时的位置，也可以是根据时间计算的本周期内牙齿的预期位置。当目标位置为下一个周期起点时的位置时，可以直接用于评价是否达到更换新牙套的要求。当目标位置为根据时间计算的本周期内牙齿的预期位置时，可以用于评估当前牙套佩戴的效果，实现实时监控。
图4为本发明实施例中一种牙齿重建的步骤流程图。如图4所示，本发明实施例中一种牙齿重建的方法包括如下步骤。
步骤S31：根据牙齿边缘和表面纹理，对所述牙齿进行三维重建。
在本步骤中，以牙齿边缘为主要特征，表面纹理为辅助特征进行深度学习模型训练，得到的深度学习模型可以很好地利用牙齿边缘和表面纹理进行三维重建。本步骤能比较好的重建牙齿边缘3D数据，并在一定程度上重建牙齿表面3D数据。在2D图像上，牙齿边缘至少采用个10关键点进行表示：顶部3个，底部3个，侧面各2个。
步骤S32：得到每颗牙齿的三维数据。
在本步骤中，为每颗牙齿进行三维重建，从而得到每个牙齿的三维数据和编号。
本实施例利用牙齿边缘和表面纹理进行三维重建，相比于2D数据，可以提供更加准确和全面的三维数据，从而可以更好地评估牙齿的位移量和偏转量。
图5为本发明实施例中另一种牙齿重建的步骤流程图。如图5所示，本发明实施例中另一种牙齿重建的方法包括如下步骤。
步骤S41：获取每颗牙齿的三维数据及编号。
在本步骤中，获得的牙齿的三维数据及编号是患者在之前就诊时所采集的三维数据。如果有多次三维数据，则采用最近一次牙齿的三维数据。在本步骤中，既可以采用网络连接的方式获得牙齿的三维数据，又可以采用读取本地存储的三维数据的方式获得牙齿的三维数据。每个牙齿具有对应的的三维数据和唯一的编号。当本步骤采用网络连接的方式获得牙齿的三维数据时，需要与服务器进行网络通信，获得服务器端存储的最新的三维数据及编号。当本步骤采用读取本地存储的三维数据的方式获得牙齿的三维数据时，直接从当前设备存储中读取对应的牙齿的三维数据及编号。当然，在终端可以同时提供两种方案，以兼顾三维数据的时效性与获取的稳定性。
步骤S42：根据所述编号匹配所述照片中的牙齿与所述三维数据。
在本步骤中，编号规则与之前保持一致，以使得同一编号下的牙齿是唯一的。本步骤获得精确的牙齿三维数据，以为续的三维重建提供准确的三维数据。
步骤S43：根据所述照片中的牙齿边缘进行三维重建，确定每个所述牙齿的相对位置与角度。
在本步骤中，三维重建的具体步骤与前述实施例相机，本处不再赘述。不同于前述实施例，本步骤仅对牙齿的相对位置关系进行三维重建，即牙齿相邻部分进行重建。相比于对牙齿本体进行三维重建，本步骤中的重建部分深度差异更大，在二维和三维图像中均更加容易获得有效的数据，有利于提高重建的精度。
步骤S44：用所述三维数据替换所述照片中的所述牙齿，得到三维模型。
在本步骤中，将步骤S42中获得的牙齿的三维数据代入照片中的，并利用步骤S43中获得的相对位置与角度对牙齿进行排列，获得三维模型。
本实施例利用之前获得的牙齿精确的三维数据，减小了终端的三维重建数据量，同时也使得终端的三维重建具有更好的精度，从而可以获得更加准确的三维重建质量，对于牙齿矫正评估提供更加准确的数据支持。
图6为本发明实施例中另一种基于便携摄像头的牙齿矫正效果监控方法的步骤流程图。如图6所示，相比于前述实施例，本发明实施例中另一种基于便携摄像头的牙齿矫正效果监控方法还包括如下步骤。
步骤S6：判断所述偏差是否在预设范围内，如果不在，则输出超出所述预设范围的牙齿编号。
在本步骤中，对每个牙齿进行评估，以判断其偏差是否在预设范围内。如果超出预设范围，则表示该牙齿的矫正进度异常，则输出异常牙齿的编号，以供患者或医生及时了解当前矫正进度，为后续矫正过程提供数据支持。比如，2、3号牙齿位移量较小，则表明2、3号牙齿咀嚼过多，患者在后续的矫正过程中需要额外注意2、3号牙齿处不要用力咀嚼，从而可以保证矫正进度。
本实施例输出超范围的牙齿编号，可以使得患者和医生可以实时了解异常的牙齿位置，为后续矫正过程提供更加有针对性的矫正建议，提升矫正的成功率。
图7是本发明实施例中的一种基于便携摄像头的牙齿矫正效果监控设备的结构示意图。一种基于便携摄像头的牙齿矫正效果监控设备可以为单独设备，也可以为手机。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于便携摄像头的牙齿矫正效果监控方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于便携摄像头的牙齿矫正效果监控方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于便携摄像头的牙齿矫正效果监控方法部分中描述的根据本发明各种示例性实施方式的步骤。
图8是本发明实施例中的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，包括如下步骤：
步骤S1:通过简易拍照装置对牙齿进行拍照，并获得至少六张照片；其中，所述六张照片包括三张咬合照片和三张张嘴照片；
步骤S2：对所述照片中的牙齿进行识别、分割，并且对每一颗牙齿进行编号；
步骤S3：根据所述牙齿的编号和分割结果，对所述照片中牙齿进行三维重建；
步骤S4：拼接多个所述牙齿数据，获得整个口内牙齿三维数据；
步骤S5：将口内所述牙齿三维数据与进度牙齿三维数据的位移量，和/或偏转量进行对比，得到所述牙齿的偏差。
2.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述简易拍照装置可以固定于手机。
3.根据权利要求2所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述简易拍照装置增大所述手机摄像头的焦距，缩小手机摄像头的FOV。
4.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，在所述步骤S2中，通过深度学习的方法进行牙齿分割与识别。
5.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述步骤S3包括：
步骤S31：根据牙齿边缘和表面纹理，对所述牙齿进行三维重建；
步骤S32：得到每颗牙齿的三维数据。
6.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，所述步骤S3包括：
步骤S41：获取每颗牙齿的三维数据及编号；
步骤S42：根据所述编号匹配所述照片中的牙齿与所述三维数据；
步骤S43：根据所述照片中的牙齿边缘进行三维重建，确定每个所述牙齿的相对位置与角度；
步骤S44：用所述三维数据替换所述照片中的所述牙齿，得到三维模型。
7.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，还包括：
步骤S6：判断所述偏差是否在预设范围内，如果不在，则输出超出所述预设范围的牙齿编号。
8.根据权利要求1所述的一种基于便携摄像头的牙齿矫正效果监控方法，其特征在于，在所述步骤S4中，以牙齿中线为基准，向两侧依次拼接所述牙齿数据。
9.一种基于便携摄像头的牙齿矫正效果监控设备，其特征在于，包括：
处理器；
存储器模块，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任一项所述的基于便携摄像头的牙齿矫正效果监控方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至8任一项所述的一种基于便携摄像头的牙齿矫正效果监控方法的步骤。
CN202211306337.6A 2022-10-25 2022-10-25 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质 Pending CN115546413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211306337.6A CN115546413A (zh) 2022-10-25 2022-10-25 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211306337.6A CN115546413A (zh) 2022-10-25 2022-10-25 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115546413A true CN115546413A (zh) 2022-12-30

Family

ID=84719081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211306337.6A Pending CN115546413A (zh) 2022-10-25 2022-10-25 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546413A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563475A (zh) * 2023-07-07 2023-08-08 南通大学 一种图像数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563475A (zh) * 2023-07-07 2023-08-08 南通大学 一种图像数据处理方法
CN116563475B (zh) * 2023-07-07 2023-10-17 南通大学 一种图像数据处理方法

Similar Documents

Publication Publication Date Title
US9191648B2 (en) Hybrid stitching
US11991439B2 (en) Systems, apparatus, and methods for remote orthodontic treatment
US20110007138A1 (en) Global camera path optimization
CN111784754B (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CA3073259A1 (en) Systems and methods for analyzing cutaneous conditions
US20120069018A1 (en) Ar process apparatus, ar process method and storage medium
KR20160060574A (ko) 치과용 ct 이미지들을 이용한 3차원 이미지의 재구성 방법 및 장치
US9183634B2 (en) Image processing apparatus and image processing method
CN108320325A (zh) 牙列模型的生成方法及装置
CN115546413A (zh) 一种基于便携摄像头的牙齿矫正效果监控方法、设备及存储介质
CN111192223A (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
CN114831756A (zh) 一种口内扫描处理方法、系统、电子设备及介质
CN114708150A (zh) 一种扫描数据处理方法、装置、电子设备及介质
US20220378548A1 (en) Method for generating a dental image
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
CN112204502A (zh) 显示控制装置、程序和显示控制方法
CN109377460A (zh) 一种图像处理方法、图像处理装置及终端设备
CN114869528A (zh) 扫描数据处理方法、装置、设备及介质
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2012073930A (ja) 画像処理装置、画像処理方法及びプログラム
CN111582121A (zh) 用于捕捉面部表情特征的方法、终端设备和计算机可读存储介质
JP4814441B2 (ja) ３次元情報取得装置
US20240122463A1 (en) Image quality assessment and multi mode dynamic camera for dental images
US20240164874A1 (en) Modeling dental structures from dental scan
EP3182367A1 (en) Apparatus and method for generating and visualizing a 3d model of an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination