CN115908690A - 产生表示目标牙齿布局的数字数据集的方法 - Google Patents

产生表示目标牙齿布局的数字数据集的方法 Download PDF

Info

Publication number
CN115908690A
CN115908690A CN202111305175.XA CN202111305175A CN115908690A CN 115908690 A CN115908690 A CN 115908690A CN 202111305175 A CN202111305175 A CN 202111305175A CN 115908690 A CN115908690 A CN 115908690A
Authority
CN
China
Prior art keywords
tooth
layout
data set
target
digital data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111305175.XA
Other languages
English (en)
Inventor
彭雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Shenlai Medical Technology Co Ltd
Original Assignee
Ningbo Shenlai Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Shenlai Medical Technology Co Ltd filed Critical Ningbo Shenlai Medical Technology Co Ltd
Publication of CN115908690A publication Critical patent/CN115908690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)

Abstract

本申请的一方面提供了一种计算机执行的产生表示目标牙齿布局的数字数据集的方法，其包括：获取第一和第二三维数字模型，分别表示处于原始布局的上、下颌牙齿，其中，所述第一和第二三维数字模型是处于预定的相对位置关系；对所述第一和第二三维数字模型进行特征提取；利用经训练的基于循环神经网络的深度学习神经网络，基于所述提取到的特征，产生表示目标牙齿布局的第一数字数据集。

Description

产生表示目标牙齿布局的数字数据集的方法
技术领域
本申请总体上涉及产生表示目标牙齿布局的数字数据集的方法。
背景技术
由于美观、便捷以及利于清洁等优点，基于高分子材料的壳状矫治器越来越受欢迎。一套壳状矫治器通常包括十几个甚至几十个逐次的壳状矫治器，用于将患者牙齿从初始布局逐步地重新定位到目标布局，其中，在初始布局到目标布局之间包括从第一中间布局到最后中间布局的N个逐次的中间布局。
一种常用的壳状矫治器的制作方法是以热压膜成型工艺在一系列逐次的阳模上进行压膜制作，该一系列逐次的阳模是基于对应的一系列逐次的三维数字模型制作获得，而该一系列逐次的三维数字模型是基于表示一系列逐次的自第一中间布局至目标布局的一系列逐次的数字数据集而产生。
一种常用的获得该一系列逐次的数字数据集的方法是，先扫描获得表示患者原始牙齿布局(即进行正畸治疗前患者的牙齿布局)的三维数字模型，接着，通过人工操作该三维数字模型获得表示目标牙齿布局(即正畸治疗希望达到的牙齿布局)的三维数字模型，然后，基于这两个牙齿布局进行插值得到中间的一系列逐次的牙齿布局。
然而，人工操作表示患者原始牙齿布局的三维数字模型获得表示目标牙齿布局的三维数字模型费时费力，并且其结果高度依赖操作人员的专业水平和认知，较难保证结果的一致性。鉴于此，有必要提供一种计算机执行的产生表示目标牙齿布局的数字数据集的方法。
发明内容
本申请的一方面提供了一种计算机执行的产生表示目标布局的数字数据集的方法，其包括：获取第一和第二三维数字模型，分别表示处于原始布局的上、下颌牙齿，其中，所述第一和第二三维数字模型处于预定的相对位置关系；对所述第一和第二三维数字模型进行特征提取；利用经训练的基于循环神经网络的深度学习神经网络，基于所述提取到的特征，产生表示目标布局的第一数字数据集。
在一些实施方式中，所述预定的相对位置关系是咬合状态。
在一些实施方式中，所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法还可以包括：利用所述经训练的深度学习神经网络，基于所述提取到的特征，为所述第一和第二三维数字模型的每一牙齿产生一个从所述原始布局到所述目标布局的位移；以及基于所述位移，产生所述第一数字数据集。
在一些实施方式中，所述特征包括所各单颗牙齿的局部特征向量和所有牙齿整体的全局特征向量。
在一些实施方式中，所述深度学习神经网络包括局部特征提取模块和全局特征提取模块，所述局部特征向量由所述局部特征提取模块提取，所述全局特征向量由所述全局特征提取模块提取。
在一些实施方式中，构成所述特征的基本单元包括面片中心点和面片法向量。
在一些实施方式中，所述深度学习神经网络包括编码模块和解码模块，所述编码模块为双向循环神经网络，沿预定牙齿序列的两个相反方向对所述特征向量进行耦合，所述解码模块为单向循环神经网络，基于所述耦合得到的向量产生所述第一数字数据集。
在一些实施方式中，所述深度学习神经网络还包括注意力模块，基于所述编码模块每一步耦合得到的向量以及隐藏状态，为每一牙齿计算其他牙齿的位姿对其自身位姿的影响，所述解码模块是基于所述耦合得到的向量和所述计算得到的影响，产生所述第一数字数据集。
在一些实施方式中，所述编码模块各循环单元的输入包括向量Lt和G，其中，Lt代表编号为t的牙齿的局部特征向量，G代表所有牙齿整体的全局特征向量。
在一些实施方式中，所述解码模块各循环单元的输入包括向量TMt-1、Lt、G、Olt以及Og，其中，TMt-1代表所述牙齿序列中前一牙齿由原始位姿到目标位姿的移动向量，Olt代表所述编码模块的对应循环单元所述耦合得到的向量，Og代表所述编码模块逐步耦合得到的最后向量。
在一些实施方式中，训练所述深度学习神经网络所采用的损失函数包括以下两个分量：变换损失，表示预测的目标布局下的牙齿位姿与真值目标布局下的牙齿位姿之差；以及相对位置关系损失，表示预测的目标布局下牙齿间的相对位置关系和真值目标布局下牙齿间的相对位置关系之差。
附图说明
以下将结合附图及其详细描述对本申请的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本申请的若干示例性的实施方式，因此不应被视为是对本申请保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
图1为本申请一个实施例中的计算机执行的产生表示目标牙齿布局的数字数据集的方法的示意性流程图；以及
图2示意性地展示了本申请一个实施例中循环神经网络的结构。
具体实施方式
以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本申请的保护范围。在本申请的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本申请的主旨和保护范围。应当理解的是，在此说明并图示的本申请的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本申请的保护范围之内。
循环神经网络因其对有序数据优越的处理和生成性能，被广泛地应用于自然语言处理领域，例如，语义理解、文字生成及机器翻译。本申请的发明人通过实验和测试发现，如果将口腔内的牙齿看作有序排列的对象，那么，可以通过循环神经网络对其排列的位姿特点进行学习。牙齿的位姿包括牙齿在三维空间的位置和方向。口腔内牙齿和牙齿之间的相互位置关系犹如句子中词和词之间的相互关系，有着强相关的内在关联。一颗牙齿的位姿可以影响相邻牙齿以及其他牙齿的位姿，所以可以通过循环神经网络拟合口腔内牙齿的排列规则。
在一个实施例中，可以采用序列到序列网络模型(sequence to sequencemodel)，其被广泛运用于机器翻译。在机器翻译的情景下，网络模型的输入为由N个单词构成的句子A，输出为由M个单词构成的句子B，且A和B在不同目标翻译语言下有着相同的语义。例如，A是“hello,good morning”，则B可以是“你好，早上好”。同理，在排牙的情景下，模型的输入可以是排齐前的牙齿序列，而输出则可以是排齐后的牙齿序列。
本申请的一方面提供了一种基于循环神经网络的产生表示目标牙齿布局的数字数据集的方法。在一个实施例中，表示一个牙齿布局的数字数据集可以是牙齿位姿的数据集，结合该数字数据集与各牙齿的三维数字模型可以获得表示对应牙齿布局的三维数字模型。在又一实施例中，表示目标牙齿布局的数字数据集可以是处于目标布局的牙齿的三维数字模型。
牙科正畸治疗是把牙齿从原始布局重新定位到目标布局的过程。可以理解，目标布局是正畸治疗期望达到的牙齿布局；原始布局可以是进行正畸治疗之前患者的牙齿布局，也可以是利用本申请的方法产生目标布局时所基于的患者当前牙齿布局。
请参图1，为本申请一个实施例中的计算机执行的产生表示目标牙齿布局的数字数据集的方法100的示意性流程图。
在一个实施例中，为了使获得的目标牙齿布局中上、下颌牙齿之间的位置关系更加合理，可以把上、下颌作为一个整体进行处理，在预测目标牙齿布局时将上、下颌牙齿之间的位置关系纳入考虑。
在101中，获取第一三维数字模型和第二三维数字模型，分别表示处于原始布局的上颌牙齿与下颌牙齿。
在一个实施例中，可以通过直接扫描患者的牙颌，以获取表示处于原始布局的牙齿的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的实体模型，例如石膏模型，以获取表示处于原始布局的牙齿的三维数字模型。在又一实施例中，可以通过扫描患者牙颌的咬模，以获取表示处于原始布局的牙齿的三维数字模型。
在一个实施例中，在获得表示处于原始布局的牙齿的三维数字模型后，可以将其进行分割，使得该三维数字模型中各牙齿之间相互独立，从而可以单独移动该三维数字模型中的每颗牙齿。
在一个实施例中，为了便于计算，可以结合全局坐标系和局部坐标系来表达所述第一三维数字模型和第二三维数字模型，即每一颗牙齿拥有自己的局部坐标系，结合该牙齿在局部坐标系下的方向和局部坐标系在全局坐标系中的位置表示该牙齿的位姿。
请参图2，示意性地展示了本申请一个实施例中用于产生表示目标牙齿布局的数字数据集的深度学习神经网络200的结构。该深度学习神经网络200主要包括以下模块：输入模块201、特征提取模块203、编码模块205、解码模块207以及注意力机制模块209。下面结合图1和图2对本申请的方法进行详细说明。
在103中，对所述第一和第二三维数字模型进行特征提取。
通常，在不缺牙的情况下，人总共有32颗牙，上、下颌各16颗牙。在一个实施例中，为了便于处理，可以将牙齿按顺序编号。在一个实施例中，可以采用8-8的方式对牙齿进行编号，即将上颌牙齿从左到右按18、17…12、11、21、22…27、28的序列编号，将下颌牙齿从左到右按38、37…32、31、41、42…47、48的序列编号。
输入模块201接收上、下颌各牙齿的三维数字模型作为深度学习神经网络200的输入，其中，图2中输入模块201内的编号18、17…12、11、21、22…27、28、38、37…32、31、41、42…47、48分别代表对应的单颗牙齿的三维数字模型。
在一个实施例中，特征提取模块203包括局部特征提取模块2031和全局特征提取模块2033，前者针对单颗牙齿提取局部特征向量Lt，后者将上、下颌所有牙齿作为一个整体提取全局特征向量G。其中，t代表牙齿编号。
为了在产生表示目标牙齿布局的数字数据集时，能够把上、下颌牙齿之间的位置关系纳入考虑，由深度学习神经网络200处理的每一对上、下颌牙齿的三维数字模型需要处于预定的相对位置关系。在一个实施例中，所述预定的相对位置关系可以是咬合状态。在本申请的启示下，可以理解，除了咬合状态，所述预定的相对位置关系也可以是其他适用的相对位置关系，例如，在咬合状态下将上、下颌之一沿预定方向移动预定距离而得到的上、下颌相对位置关系。在产生表示目标牙齿布局的数字数据集时将上、下颌牙齿间的相对位置关系纳入考虑，能够使产生的目标牙齿布局具有更理想的上、下颌牙齿之间的位置关系。在以下的例子中，除非特别表明，每一对上、下颌牙齿的三维数字模型是处于咬合状态。
在一个实施例中，局部特征提取模块2031和全局特征提取模块2033可以采用动态图神经网络(Dynamic Graph CNN，简称DGCNN)的特征提取器。可以理解，除了DGCNN的特征提取器之外，可以采用任何其他适用的特征提取器，例如，基于多层感知器(MultilayerPerceptron，简称MLP)的特征提取器。
在一个实施例中，局部特征提取模块2031对每一颗牙齿的三维数字模型均匀非重复采样第一预定数量的面片(例如，800个面片，可以理解，所述第一预定数量由后续深度学习神经网络的设计决定)，若一颗牙齿的三维数字模型的面片数量少于所述第一预定数量，可以重复采样以凑齐所述第一预定数量的采样面片。然后，对每个采样面片进行特征提取。在一个实施例中，可以对每一采样面片提取以下特征：面片中心点的坐标以及面片的法向量。在本申请的启示下，可以理解，除了所述两个特征之外，还可以对面片提取其他特征，例如，面片的节点坐标等。完成一颗牙齿t的所有采样面片的特征提取之后，将提取到的特征编码形成局部特征向量Lt输出。
全局特征提取模块2033对所述第一和第二三维数字模型整体均匀非重复采样第二预定数量的面片(例如，6000个面片，同样的，可以理解，所述第二预定数量由后续深度学习神经网络的设计决定)。然后，对每个采样面片提取与以上相同的特征。完成所有采样面片的特征提取之后，将提取到的特征编码形成全局特征向量G输出。
在又一实施例中，可以对所述第一和第二三维数字模型仅进行一次采样和特征提取，即把对每一牙齿的三维数字模型的采样和特征提取的结果合并获得对所述第一和第二三维数字模型整体的采样和特征提取结果。
在105中，利用经训练的循环神经网络基于所述局部特征和全局特征为所述每一牙齿产生一个变换矩阵。
在此，可以把编码模块205、解码模块207以及注意力模块209作为一个整体，称为循环神经网络。
编码模块205是基于循环神经网络的双向编码模块。在一个实施例中，它可以是双向门控循环单元(Gated Recurrent Unit，简称GRU)模型。在本申请的启示下，可以理解，除了双向门控循环单元模型之外，编码模块205也可以是其他适用的模型，例如，双向长短时记忆(Long Short Term Memory，简称LSTM)网络。
在一个实施例中，可以先把上、下颌每颗牙齿的局部特征向量Lt分别和全局特征向量G进行拼接，再把所有牙齿的拼接特征向量按顺序进一步拼接得到一个整体的特征向量S，作为编码模块205的输入。
编码模块205按照原始输入顺序，将S内的特征向量逐步耦合在一起生成向量Og1，再按照反向顺序，将S内的特征向量重新逐步耦合一次生成向量Og2。将Og1和Og2取平均值后生成向量Og。
编码模块205在每一步正向耦合时还会生成一个向量Olt1，该向量包含了从起始位置向量到t号位置向量的特征信息，类似的，编码模块205在每一步反向耦合时也会生成一个向量Olt2，将Olt1和Olt2取平均，记为Olt输出。
简单地说，编码模块205提取各牙齿特征以及它们之间的位置关系。编码模块205分别沿牙齿序列的两个相反方向对牙齿的特征向量进行逐步耦合，对于每一牙齿而言，这样做能够充分考虑两侧牙齿对其的影响，使得后续产生的目标牙齿布局更加合理。
解码模块207是基于循环神经网络的单向解码模块。在一个实施例中，它可以是单向门控循环单元模型。在本申请的启示下，可以理解，除了单向门控循环单元模型之外，解码模块207也可以是其他适用的模型，例如，单向长短时记忆(Long Short Term Memory，简称LSTM)网络。
将TMt-1、Lt、G、Olt以及Og拼接在一起作为解码模块207的输入It，解码模块207将生成对应t号牙齿的变换矩阵TMt，其中，处于初始位姿(即原始布局下的位姿)的t号牙通过变换矩阵TMt变换将得到位于目标位姿的t号牙。
TMt-1为牙齿序列中前一编号牙齿的变换矩阵，若t＝0，则TMt-1可以采用一个固定的单位矩阵(Identity Matrix)。输入It后，单向门控循环单元模型首先将输出隐含状态(Hidden State)ht。
然后，将ht送入注意力模块209，注意力模块209将输入的ht和所有的Olt进行点乘，得到32个值，然后通过一个softmax层，将32个值拟合为一个合法的概率分布，将各牙齿对应的概率分别记为注意力值At18、At17…At47、At48(相当于各牙齿对t号牙齿目标位姿的影响权重)。接着，将这些注意力值和Olt做矩阵对应元素乘法(Element-WiseMultiplication)，得到Context Vector Ct。
在一个实施例中，Ct被输出至解码模块207，Ct和ht被拼接后，通过解码模块207内的一个线性层(Linear Layer，相当于一层的感知机，图中未示)，便可得到一个9位数的数组，前6位为变换矩阵TMt的旋转量，后3位为变换矩阵TMt的平移量。可以理解，该数组的格式并不限于以上例子，例如，它也可以是前3位为平移量，后6位为旋转量。
解码模块207逐一为每一颗牙齿生成一个变换矩阵，将位于初始布局的各牙齿通过对应的变换矩阵调整至目标位姿后，就得到了处于目标布局的上、下颌牙齿。
在该实施例中，可以把注意力模块209看作是解码模块207的一部分。
在一个实施例中，训练深度学习神经网络200采用的损失函数可以包括两个分量，一个是变换损失，记为Rloss，它表示预测的变换矩阵与真值(Ground Truth，即训练集中的变换矩阵)之差，另一个是相对位置关系损失，记为Tloss，它表示由预测的变换矩阵变换得到的牙齿布局(预测目标布局)下牙齿间的相对位置关系和由真值变换矩阵变换得到的牙齿布局(真值目标布局)下牙齿间的相对位置关系之差。因此，损失函数可以用以下等式(1)表达：
Loss＝a*Rloss+b*Tloss        等式(1)
其中，a和b分别为Rloss和Tloss的权重，在一个例子中，a和b可以都取值为1。
在一个实施例中，Tloss可以包括以下两部分：(1)预测目标布局下和真值目标布局下各牙齿与其关联牙齿的相对位置关系之差，以下称为局部相对位置关系损失；以及(2)预测目标布局下和真值目标布局下上颌牙齿整体与下颌牙齿整体的相对位置关系之差，以下称为全局相对位置关系损失。
在一个实施例中，可以采用以下方法计算局部相对位置关系损失。
首先，构建一个牙齿图(teeth graph)，记为TG，将相关联的牙齿做标记。该图中的关系可以包括：左右相邻关系；上下相邻关系；以及对称关系。例如，与14号牙齿有左右相邻关系的牙齿为13和15号牙齿，与14号牙齿有上下相邻关系的牙齿为34号牙齿，与14号牙齿有对称关系的牙齿为24号牙齿。
接着，对真值目标布局下的上、下颌的每颗牙齿t，在TG中找到与其有关系的牙齿集合Rt，然后，对Rt中的每颗牙齿r与t做以下计算：
(a)对r中的每个采样出的面片的中心点，找到t中对应的最近的点，并算出最短距离；
(b)同样地，对t中每个采样出的面片的中心点，找到r中对应的最近的点，并算出最短距离。
将所有从a和b计算出的最短距离放入集合D中。
对预测目标布局下的上、下颌牙齿执行和以上样的操作，得到距离集合D’。
接着，计算D和D’的L2距离，并将其作为牙齿t的损失。再将每颗牙齿的损失取平均值得到所述局部相对位置关系损失。
在一个实施例中，真值目标布局下和预测目标布局下上颌牙齿整体重心与下颌牙齿整体重心间的距离之差作为全局相对位置关系损失。
类似地，Tloss可以是局部相对位置关系损失和全局相对位置关系损失的加权和，在一个实施例中，可以将两者的权重分别设为0.01和0.1。
在损失函数中加入相对位置关系损失能够使深度学习神经网络200在训练时充分考虑牙齿间的相对位置关系，经如此训练的深度学习神经网络200所预测的目标牙齿布局的牙齿间位置关系更加合理。
在一个实施例中，训练集可以包括多组数据，每一组可以包括咬合状态下的处于初始布局和目标布局的上、下颌牙齿三维数字模型。可以理解，目标布局和变换矩阵是等效的，因为初始布局下的牙齿经变换矩阵变换即可得到目标布局下的牙齿。
在107中，利用所述变换矩阵对所述第一和第二三维数字模型中的对应牙齿进行位置变换，得到第三和第四三维数字模型。
其中，所述第三和第四三维数字模型分别表示处于目标牙齿布局的上颌牙齿与下颌牙齿。
深度学习神经网络200为每一牙齿预测得到一个变换矩阵，利用这些变换矩阵分别对所述第一和第二三维数字模型中的对应牙齿进行位置变换即得到处于目标布局的上颌与下颌牙齿的三维数字模型。
可以理解，除了产生变换矩阵之外，也可以把深度学习神经网络200设计成直接生成牙齿目标位姿的坐标。
尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。
同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

Claims (11)

1.一种计算机执行的产生表示目标牙齿布局的数字数据集的方法，其包括：
获取第一和第二三维数字模型，分别表示处于原始布局的上、下颌牙齿，
其中，所述第一和第二三维数字模型是处于预定的相对位置关系；
对所述第一和第二三维数字模型进行特征提取；
利用经训练的基于循环神经网络的深度学习神经网络，基于所述提取到的特征，产生表示目标牙齿布局的第一数字数据集。
2.如权利要求1所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述预定的相对位置关系是咬合状态。
3.如权利要求1所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，它还包括：
利用所述经训练的深度学习神经网络，基于所述提取到的特征，为所述第一和第二三维数字模型的每一牙齿产生一个从所述原始布局移动到所述目标布局的位移；以及
基于所述位移，产生所述第一数字数据集。
4.权利要求1所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述特征包括各单颗牙齿的局部特征向量和所有牙齿整体的全局特征向量。
5.权利要求4所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述深度学习神经网络包括局部特征提取模块和全局特征提取模块，所述局部特征向量是由所述局部特征提取模块提取，所述全局特征向量是由所述全局特征向量提取模块提取。
6.权利要求4所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，构成所述特征的基本单元包括面片中心点和面片法向量。
7.权利要求4所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述深度学习神经网络包括编码模块和解码模块，所述编码模块为双向循环神经网络，沿预定牙齿序列的两个相反方向对所述特征向量进行耦合，所述解码模块为单向循环神经网络，基于所述耦合得到的向量产生所述第一数字数据集。
8.权利要求7所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述深度学习神经网络还包括注意力模块，基于所述编码模块每一步耦合得到的向量以及隐藏状态，为每一牙齿计算其他牙齿的位姿对其位姿的影响，所述解码模块是基于所述耦合得到的向量和所述计算得到的影响，产生所述第一数字数据集。
9.权利要求7所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述编码模块各循环单元的输入包括向量Lt和G，其中，Lt代表编号为t的牙齿的局部特征向量，G代表所述全局特征向量。
10.权利要求9所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，所述解码模块各循环单元的输入包括向量TMt-1、Lt、G、Olt以及Og，其中，TMt-1代表所述牙齿序列中前一牙齿由原始位姿到目标位姿的移动向量，Olt代表所述编码模块的对应循环单元耦合得到的向量，Og代表所述编码模块逐步耦合得到的最后向量。
11.权利要求1所述的计算机执行的产生表示目标牙齿布局的数字数据集的方法，其特征在于，训练所述深度学习神经网络所采用的损失函数包括以下两个分量：变换损失，表示预测的目标布局下的牙齿位姿与真值目标布局下的牙齿位姿之差；以及相对位置关系损失，表示预测的目标布局下牙齿间的相对位置关系和真值目标布局下牙齿间的相对位置关系之差。
CN202111305175.XA 2021-08-03 2021-11-05 产生表示目标牙齿布局的数字数据集的方法 Pending CN115908690A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/393,377 2021-08-03
US17/393,377 US11759296B2 (en) 2021-08-03 2021-08-03 Method for generating a digital data set representing a target tooth arrangement

Publications (1)

Publication Number Publication Date
CN115908690A true CN115908690A (zh) 2023-04-04

Family

ID=85153453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111305175.XA Pending CN115908690A (zh) 2021-08-03 2021-11-05 产生表示目标牙齿布局的数字数据集的方法

Country Status (2)

Country Link
US (1) US11759296B2 (zh)
CN (1) CN115908690A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223140A (zh) * 2020-01-20 2021-08-06 杭州朝厚信息科技有限公司 利用人工神经网络生成牙科正畸治疗效果的图像的方法
US20230186524A1 (en) * 2021-12-15 2023-06-15 Hewlett-Packard Development Company, L.P. Object model encodings

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152731A (en) * 1997-09-22 2000-11-28 3M Innovative Properties Company Methods for use in dental articulation
US9421074B2 (en) * 2001-04-13 2016-08-23 Orametrix, Inc. Unified three dimensional virtual craniofacial and dentition model and uses thereof
US20070207441A1 (en) * 2006-03-03 2007-09-06 Lauren Mark D Four dimensional modeling of jaw and tooth dynamics
DE102012214470B4 (de) * 2012-08-14 2021-12-30 Sirona Dental Systems Gmbh Verfahren zur Registrierung einzelner dreidimensionaler optischer Aufnahmen zu einer Gesamtaufnahme einer Zahnsituation
DK3473207T3 (da) * 2012-10-18 2022-06-20 3Shape As System og fremgangsmåde til udformning af en dental komponent
US11896452B2 (en) * 2017-03-16 2024-02-13 Carestream Health, Inc. Method for virtual setup with mixed dentition
US10492892B2 (en) * 2017-05-17 2019-12-03 3M Innovative Properties Company Automatic alignment and orientation of digital 3D dental arch pairs
US10861250B2 (en) * 2017-11-29 2020-12-08 Sdc U.S. Smilepay Spv Technologies for merging three-dimensional models of dental impressions
CN111401084B (zh) * 2018-02-08 2022-12-23 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
US11278375B2 (en) * 2018-09-27 2022-03-22 Align Technology, Inc. Aligner damage prediction and mitigation
US20220084267A1 (en) * 2018-10-30 2022-03-17 Diagnocat, Inc. Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
US11464467B2 (en) * 2018-10-30 2022-10-11 Dgnct Llc Automated tooth localization, enumeration, and diagnostic system and method
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
US11735306B2 (en) * 2019-11-25 2023-08-22 Dentsply Sirona Inc. Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
US10751149B1 (en) * 2020-02-18 2020-08-25 Oxilio Ltd Method of determining deformation of gingiva
US11864970B2 (en) * 2020-11-06 2024-01-09 Align Technology, Inc. Accurate method to determine center of resistance for 1D/2D/3D problems
WO2022217269A1 (en) * 2021-04-09 2022-10-13 Align Technology, Inc. Capturing true bite and occlusion contacts

Also Published As

Publication number Publication date
US11759296B2 (en) 2023-09-19
US20230039130A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP7458711B2 (ja) ディープラーニングを用いた歯科用ｃａｄの自動化
CN115908690A (zh) 产生表示目标牙齿布局的数字数据集的方法
Fang et al. Learning pose grammar to encode human body configuration for 3d pose estimation
WO2018022752A1 (en) Dental cad automation using deep learning
KR20210050562A (ko) 딥 러닝을 이용한 자동 치열 교정치료 계획
CN108984904B (zh) 一种基于深度神经网络的家居设计方法
Zhang et al. The extraction method of tooth preparation margin line based on S‐Octree CNN
CN112200057B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111784754A (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
WO2023142651A1 (zh) 动作生成方法及相关装置、电子设备、存储介质和程序
JP2022172173A (ja) 画像編集モデルのトレーニング方法および装置、画像編集方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
Lin et al. DBGANet: dual-branch geometric attention network for accurate 3D tooth segmentation
CN114677263A (zh) Ct图像与mri图像的跨模态转换方法和装置
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
Lessard et al. Dental restoration using a multi-resolution deep learning approach
CN113298828A (zh) 一种基于卷积神经网络的颌骨自动分割方法
CN115760674A (zh) 产生表示目标牙齿布局的数字数据集的方法
CN117034142A (zh) 一种不平衡医疗数据缺失值填充方法及系统
CN115761125A (zh) 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法
KR102448395B1 (ko) 치아 영상 부분 변환 방법 및 장치
CN116189048A (zh) 一种基于深度神经网络和自注意力机制的非接触心率检测方法和系统
CN115690449A (zh) 一种基于局部特征增强和并行解码器的图像标注方法
CN114863013A (zh) 一种目标物体三维模型重建方法
CN112700430A (zh) 一种基于深度学习的正畸影像图片智能识别方法
CN113822305A (zh) 产生表示牙齿正畸治疗的目标牙齿布局的数字数据集的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication