CN114224529A - 一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 - Google Patents
一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 Download PDFInfo
- Publication number
- CN114224529A CN114224529A CN202111244821.6A CN202111244821A CN114224529A CN 114224529 A CN114224529 A CN 114224529A CN 202111244821 A CN202111244821 A CN 202111244821A CN 114224529 A CN114224529 A CN 114224529A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- module
- facial
- digital twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013507 mapping Methods 0.000 title claims abstract description 15
- 210000000214 mouth Anatomy 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 123
- 230000001815 facial effect Effects 0.000 claims abstract description 41
- 238000011282 treatment Methods 0.000 claims abstract description 35
- 108090000623 proteins and genes Proteins 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 210000003296 saliva Anatomy 0.000 claims abstract description 28
- 238000010146 3D printing Methods 0.000 claims abstract description 26
- 239000008280 blood Substances 0.000 claims abstract description 25
- 210000004369 blood Anatomy 0.000 claims abstract description 25
- 210000001519 tissue Anatomy 0.000 claims abstract description 19
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 13
- 230000008449 language Effects 0.000 claims abstract description 8
- 230000008921 facial expression Effects 0.000 claims abstract description 5
- 210000004872 soft tissue Anatomy 0.000 claims abstract description 3
- 210000000515 tooth Anatomy 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 29
- 201000010099 disease Diseases 0.000 claims description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 16
- 102000004169 proteins and genes Human genes 0.000 claims description 15
- 238000011161 development Methods 0.000 claims description 14
- 230000018109 developmental process Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 13
- 210000001847 jaw Anatomy 0.000 claims description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 12
- 230000000241 respiratory effect Effects 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 7
- 241001672694 Citrus reticulata Species 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000004513 dentition Anatomy 0.000 claims description 6
- 210000002379 periodontal ligament Anatomy 0.000 claims description 6
- 230000028327 secretion Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000036346 tooth eruption Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000009885 systemic effect Effects 0.000 claims description 4
- 208000031220 Hemophilia Diseases 0.000 claims description 3
- 208000009292 Hemophilia A Diseases 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 210000000845 cartilage Anatomy 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 206010012601 diabetes mellitus Diseases 0.000 claims description 3
- 206010015037 epilepsy Diseases 0.000 claims description 3
- 208000019622 heart disease Diseases 0.000 claims description 3
- 208000006454 hepatitis Diseases 0.000 claims description 3
- 231100000283 hepatitis Toxicity 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 201000008383 nephritis Diseases 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 208000007442 rickets Diseases 0.000 claims description 3
- 201000002859 sleep apnea Diseases 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 210000001738 temporomandibular joint Anatomy 0.000 claims description 3
- 201000008827 tuberculosis Diseases 0.000 claims description 3
- 206010009260 Cleft lip and palate Diseases 0.000 claims description 2
- 208000016653 cleft lip/palate Diseases 0.000 claims description 2
- 238000011369 optimal treatment Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000010438 heat treatment Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000012188 paraffin wax Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000011505 plaster Substances 0.000 description 2
- 239000001993 wax Substances 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010061274 Malocclusion Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 210000002455 dental arch Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003254 palate Anatomy 0.000 description 1
- 230000003239 periodontal effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003781 tooth socket Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
- A61B6/512—Intraoral means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明属于口腔数字化模型领域，具体公开了一种口腔牙颌面颈部数字孪生模型映射系统及建立方法，包括数据采集模块、数据处理模块、3D打印模块、力学分析模块、数据扫描模块、数字孪生模块以及输出模块，其中数据采集模块，采集患者的颌面部软硬组织影像数据，面部图像，呼吸的采集，发音的采集，唾液的采集、血液的采集、基因的采集；采集患者的颌面部软硬组织影像数据，包括利用CT采集患者的颌骨、面部、颈部数据，口内扫描仪扫描口内牙齿数据，面部扫描仪扫描面部软组织轮廓。本发明的孪生模型充分考虑了不同个体的三维模型数据、生化数据、语言、呼吸、面部表情变化的差异性，筛选最佳的治疗方案、可视化的遇见治疗的效果。
Description
技术领域
本发明涉及口腔数字化模型领域，具体为一种口腔牙颌面颈部数字孪生 模型映射系统及建立方法。
背景技术
随着经济发展和人们生活水平的不断提高，医疗卫生问题逐渐成为了社 会关注的焦点。近年来，数字孪生、物联网和大数据等信息技术逐步应用于 医疗行业，传统医疗正在向数字医疗、智慧医疗方向转型。智慧医疗是指通 过互联网与传统医疗相结合，运用大数据、物联网等相关技术，将医疗数据 信息化，实现患者与医护人员、医疗设备之间的信息共享，构建信息化的医 疗服务体系。
随着人们生活水平提高，选择正畸治疗的患者也越来越多。准确的测量 正畸过程中矫治器作用于牙齿的正畸力与力矩是分析正畸治疗过程中生物力 学机制的关键，形象直观的观察、预见不同矫治力加载方式对最终面型以及 牙齿排列效果，是提高正畸治疗的效果、缩短治疗周期、训练临床医生的操 作技能具有十分重要的价值。
目前在正畸治疗前，医生也会通过使用Typodont模型(蜡形牙模)来演 示和观察牙齿在石蜡中的移动过程。在Typodont模拟颌架上，我们可以通过 在模型上进行拥挤度、Bolton指数、Spee曲度等相关分析，从而制定出合适 的正畸治疗方案，做出进行拔牙矫治还是非拔牙矫治的判断，制定出整个矫 治过程所用的技术以及各个阶段所需的弓丝。通过该模型还可以进行托槽、 带环粘贴、安放和固定结扎弓丝等的训练和学习。将Typodont正畸模型模拟 颌架浸入水浴箱，就可以把整个临床矫治的过程浓缩在一起，在较短的时间内就可以清楚的观察到牙齿随着弓丝形变后而进行的移动，这会对模拟患者 的矫治过程起到非常重要的作用，从而寻找出临床矫治的一些问题。Typodont 模型是一种可在体外真实模拟正畸诊断、设计和治疗的方法，可以在体外真 实模拟各类垂直向、矢状向或横向错牙合畸形，通过粘结固定矫治器，弯制 安放弓丝，形象直观的观察不同矫治力对牙齿的作用，在短时间内完成牙齿 2-3年的移动过程。Typodont是正畸学习的重要辅助工具，是国际公认最佳 的正畸教学培训的手段。有较多学者使用不同类型的Typodont进行正畸牙齿 移动的模拟及研究，例如前牙整体后退的模拟、托槽槽沟和弓丝之间摩擦力 大小研究、舌侧矫治的研究等，都得到了较满意的研究结果。与人体实验相 比，采用Typodont模型模拟矫治过程进行科研研究的初始条件得到了严格 的控制，使得研究组间的可比性大大提高，弥补了临床研究时由于年龄、性 别、不良习惯、口腔卫生、机体反应等个体差异带来的干扰，更好地展示力 学系统在模拟牙弓上的分布及牙齿移动的趋势。
传统Typodont装置利用水浴加热使蜡变软，从而模拟正畸牙齿移动。一 般水浴温度为45-50℃左右，由于Typodont装置是利用水浴从外部加热，不 能很好的模拟口腔内牙齿实际移动的情况。之前已有学者报道改良Typodont， 该方法通过连接线将仪器与金属牙根进行连接从而控制牙根的加热，使加热 方式从由外向内加热变为由内向外，但此类型Typodont实际使用较不方便。 但Typodont模型中的蜡堤没有真正的牙周组织，与口腔内真实的生物环境相 差较大，Typodont模型实验中与口内实际条件相比，也缺乏咀嚼和咬合压力 的模拟。因此研发可替代Typodont的模型具有重要的临床意义，其中数字孪 生正畸Typodont的模型具有重要的研究潜力。
数字孪生(Digital Twin)是以数字化的方式建立物理实体的多维、多 时空尺度、多学科、多物理量的动态虚拟模型来仿真和刻画物理实体在真实 环境中的属性、行为、规则等。数字孪生的概念最初于2003年由Grieves教 授在美国密歇根大学产品生命周期管理课程上提出，早期主要被应用在军工 及航空航天领域。如美国空军研究实验室、美国国家航空航天局(NASA)基 于数字孪生开展了飞行器健康管控应用。由于数字孪生具备虚实融合与实时 交互、迭代运行与优化、以及全要素/全流程/全业务数据驱动等特点，目前 已被应用到产品生命周期各个阶段，包括产品设计、制造、服务与运维等。 数字孪生在制造业应用广泛，最早应用于航空航天，随着研究的深入，在不 同的研究方向中都得到了广泛的应用，电力、通信、汽车制造等领域均具有 报道和实用案例。
近年来，数字孪生研究领域逐渐拓展至医疗行业，陶飞等人提出数字孪 生医疗的概念，将数字孪生五维模型应用于医疗健康系统，实现人体疾病的 预判、远程治疗的实施等功能，还可进行虚拟人体训练和医护人员的培训， 可有效改变医疗卫生现状；人工智能、机器学习、大数据等方法已在医学领 域甚至正畸领域广泛应用。如人工智能应用于头部测量分析系统，人工智能 用于CT扫描数据中牙齿的自动识别与分割，及人工智能在预测牙齿矫正效果 的研究。但这类研究只能数字化预测分析牙齿的矫正效果，并不能与实际的 石膏或者石蜡模型相结合。
在传统的三维有限元模型分析中，只能分析正畸力加载后牙齿某一部位 的受力大小，并不能很好的模拟牙齿的移动效果。有限元分析的方法是创建 数字孪生模型的重要方法之一。因此，基于有限元分析、大数据、虚拟现实、 人工智能分析所创建的数字孪生模型，具有替代传统Typodont装置的潜力。 本发明拟结合实际的石膏或者石蜡模型与数字孪生模型，建立既能训练初级 医生临床操作技能又能可视化展示牙齿正畸治疗效果的系统。因此，如何构 建口腔颌面数字孪生模型系统，将传统Typodont装置与数字孪生模型相结合是目前的技术难点。
发明内容
本发明的目的在于提供一种口腔牙颌面颈部数字孪生模型映射系统及建 立方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种口腔牙颌面颈部数字 孪生模型映射系统，包括数据采集模块，用于采集患者的牙颌面颈部软硬组 织影像数据、牙齿扫描数据、面部图像数据、呼吸数据、发音数据、唾液数 据、血液数据、基因数据以及全身疾病数据，且面部图像包括二维面部照片、 三维、静态、动态图像；数据处理模块，用于对采集的图像及数据进行处理， 处理过程包括图像分割、面部提取、呼吸数据处理、发音分析处理、唾液处 理、全身疾病数据处理，数据处理模块包括颌面颈部数据处理单元、面部图 像处理单元、呼吸数据处理单元、发音数据处理单元、唾液数据处理单元、 血液数据处理单元以及基因数据处理单元；3D打印模块，用于将所分割后的 牙齿结构，3D打印成实体三维模型，三维模型包含牙齿、牙周膜、牙槽骨部 件，并通过在其上粘接托槽、弓丝结构形成牙齿模型；力学分析模块，用于 将所分割后的牙齿结构进行三维有限元分析处理，并生成三维有限元模型； 数据扫描模块，用于将带有托槽、弓丝结构的模型三维扫描，自动匹配至3D 打印模型及有限元模型中，进行力学分析、三维形变计算；数字孪生模块， 用于将数据采集信息、处理信息、3D打印信息、力学分析信息、数据扫描信 息进行统一整合，并构建数字孪生模型及运算处理；输出模块，用于输出牙 齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提示以及需要改进 的治疗点。
优选的，数据采集模块的采集过程包括：基于CT采集患者的颌骨、面部、 颈部数据，口内扫描仪扫描口内牙齿数据，面部扫描仪扫描面部软组织轮廓； 基于相机拍摄二维、三维面部照片与视频，包括静态、动态的面部轮廓及表 情变化；基于麦克风传感器采集呼吸的发音特征、频率、深浅；基于麦克风 采集患者自述一段语句的发音特征，包括翘舌音、平舌音、元音、鼻音，自 述语句包括但不限于普通话、方言、外语；基于唾液检测仪检测唾液的分泌 量、粘稠度、分泌的蛋白分子成分与含量；基于血液采集分析仪采集血液中 的蛋白分子成分与含量；基于口腔检测过程分析筛查牙根吸收、牙槽骨壁基 因；基于全身疾病采集过程筛查是否患有癫痫、风湿病、肝炎、肾炎、结核 病、糖尿病、心脏病、血友病、佝偻病。
优选的，数据处理模块处理过程中的图像分割包括分离牙齿、牙周膜、 颌骨、牙位及拥挤度、上下颌牙列关系，牙齿中线位置，气道的宽度；面部 图像处理单元的处理过程包括面部轮廓及表情特征的提取，鼻唇距离，面部 中线位置；呼吸数据处理单元的处理过程包括分析呼吸的发音特征、频率、 深浅，是否有呼吸暂停综合征；发音数据处理单元的处理过程包括提取分析 翘舌音、平舌音、元音、鼻音特征点，及普通话、方言、外语语音特征点，以及唇腭裂语音的特征点，并进行发音数据分析处理；唾液数据处理单元的 处理过程包括分析唾液的分泌量、粘稠度、分泌的蛋白分子成分与含量；血 液数据处理单元的处理过程包括分析血液中的蛋白分子成分与含量；基因数 据处理单元的处理过程包括对易于导致牙根吸收、牙槽骨壁基因的进行筛查 及分析；全身疾病数据的处理过程包括分析全身采集影像正畸治疗效果的疾 病，评估是否能进行正畸治疗。
优选的，数字孪生模块用于将上述所采集的信息基于人工智能和/或虚拟 现实和/或大数据进行统一整合，并将其输出至Matlab中，由Simulink模块 构建数字孪生模型，并进行运算处理。
优选的，输出模块输出的牙齿矫治后的软硬组织变化情况包括牙列的排 列变化，面部表情变化，呼吸语音变化，并预测发育变化，及牙根、牙槽骨 壁、颞下颌关节软骨吸收风险预警，唾液、血液中的蛋白分子变化，输出模 块输出需要改进的治疗点，包括托槽的粘接位置、弓丝的粗细及形状的改变。
优选的，数据扫描模块将带有托槽、弓丝结构的模型三维扫描，自动匹 配至3D打印模型及有限元模型中，并通过在有限元分析软件ABAQUS中导入 IGS格式的三维模型，将各部分模型进行组装配对，并对各部分进行网格划分， 输入各部分的材料参数、设置各部分间的接触关系，加载力值大小、位移大 小，进行力学分析、三维形变计算。
优选的，数据处理模块针对面部提取的过程包括：对面部采集数据进行 预处理，并将预处理后的图像数据输入卷积神经网络CNN网络数据模型进行 深度特征提取，提取的方法包括局部图像特征提取、全局图像特征提取和全 局纹理图像特征提取；并再提取后进行图像数据信息融合，即将提取的三种 特征分别归一化，然后进行级联融合，图像级联融合方法为基于模糊神经网 络的多数据特征关联算法。
本发明还提供了上述一种口腔颌面颈部数字孪生模型的建立方法，包括 如下步骤：
S1：采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描数据、面部图 像数据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾 病数据；
S2：对采集的图像及数据进行处理；
S3：3D打印个性化模型处理以及有限元模型生成；
S4：将数据采集信息、处理信息、3D打印信息、力学分析信息、数据扫 描信息进行统一整合，并构建数字孪生模型及运算处理；
S5：输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提 示以及需要改进的治疗点，并基于面部变化、矫治效果、发育变化等建立3D 打印个性模型。
与现有技术相比，本发明的有益效果是：
本发明的孪生模型充分考虑了不同个体的三维模型数据、生化数据、语 言、呼吸、面部表情变化的差异性，并整合了各种方式的优势，可以提高临 床医生的操作水平、筛选最佳的治疗方案、可视化的遇见治疗的效果。
附图说明
图1为本发明的系统模块框图；
图2为本发明的系统建立实施流程图。
图中：1、数据采集模块；2、数据处理模块；3、3D打印模块；4、力学 分析模块；5、数据扫描模块；6、数字孪生模块；7、输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种口腔牙颌面颈部数字孪生 模型映射系统，包括：
数据采集模块1，用于采集患者的牙颌面颈部软硬组织影像数据、牙齿扫 描数据、面部图像数据、呼吸数据、发音数据、唾液数据、血液数据、基因 数据以及全身疾病数据，且面部图像包括二维面部照片、三维、静态、动态 图像；
数据处理模块2，用于对采集的图像及数据进行处理，处理过程包括图像 分割、面部提取、呼吸数据处理、发音分析处理、唾液处理、全身疾病数据 处理，数据处理模块2包括颌面颈部数据处理单元、面部图像处理单元、呼 吸数据处理单元、发音数据处理单元、唾液数据处理单元、血液数据处理单 元以及基因数据处理单元；
3D打印模块3，用于将所分割后的牙齿结构，3D打印成实体三维模型， 三维模型包含牙齿、牙周膜、牙槽骨部件，模拟拔牙正畸和非拔牙正畸过程， 临床床医生在其上粘接托槽和安装弓丝、隐形牙套设计安装、附件粘结、种 植支抗植入，并通过在其上粘接托槽、弓丝结构形成牙齿模型；
力学分析模块4，用于将所分割后的牙齿结构进行三维有限元分析处理， 并生成三维有限元模型；
数据扫描模块5，用于将带有托槽、弓丝结构的模型三维扫描，自动匹配 至3D打印模型及有限元模型中，进行力学分析、三维形变计算；
数字孪生模块6，用于将数据采集信息、处理信息、3D打印信息、力学 分析信息、数据扫描信息进行统一整合，并构建数字孪生模型及运算处理；
输出模块7，用于输出牙齿矫治后(包括：口腔正畸固定矫治器、隐形矫 治器及附件加载)的软硬组织变化情况，预测发育变化，治疗风险提示以及 需要改进的治疗点。
在本实施例中，数据采集模块1的采集过程包括：
基于CT采集患者的颌骨、面部、颈部数据，口内扫描仪扫描口内牙齿数 据，面部扫描仪扫描面部软组织轮廓；基于相机拍摄二维、三维面部照片与 视频，包括静态、动态的面部轮廓及表情变化；
基于麦克风传感器采集呼吸的发音特征、频率、深浅；基于麦克风采集 患者自述一段语句的发音特征，包括翘舌音、平舌音、元音、鼻音，自述语 句包括但不限于普通话、方言、外语；
基于唾液检测仪检测唾液的分泌量、粘稠度、分泌的蛋白分子成分与含 量；
基于血液采集分析仪采集血液中的蛋白分子成分与含量；
基于口腔检测过程分析筛查牙根吸收、牙槽骨壁基因；
基于全身疾病采集过程筛查是否患有癫痫、风湿病、肝炎、肾炎、结核 病、糖尿病、心脏病、血友病、佝偻病。
在本实施例中，数据处理模块2处理过程中，使用DGCNN对口扫数据进 行临床牙冠数据的分离，再使用人工标记的CT样本对UNet神经网络特征函 数进行有监督训练，使用
作为 损失函数，对CT图像资料进行分割，建立包括分离牙齿、牙周膜、颌骨的模 型文件，并在模型文件基础上进行牙位及拥挤度、上下颌牙列关系，牙齿中 线位置；使用深度卷积神经网络CNN对X光侧位片等医学影像进行特征点定 位和回归分析，计算气道定量分析指标，确定气道的宽度；面部图像处理单 元的处理过程包括使用Sift特征子对面部轮廓及表情特征的提取，并在特征 子确定的基础上计算鼻唇距离，面部中线位置；
呼吸数据处理单元的处理过程包括分析呼吸的发音特征、频率、深浅， 是否有呼吸暂停综合征；发音数据处理单元的处理过程包括提取分析翘舌音、 平舌音、元音、鼻音特征点，及普通话、方言、外语语音特征点，以及唇腭 裂语音的特征点，使用LSTM循环神经网络对语音信号进行特征提取，并进行 发音数据分析处理；唾液数据处理单元的处理过程包括分析唾液的分泌量、 粘稠度、分泌的蛋白分子成分与含量；
血液数据处理单元的处理过程包括分析血液中的蛋白分子成分与含量； 基因数据处理单元的处理过程包括对易于导致牙根吸收、牙槽骨壁基因的进 行筛查及分析；全身疾病数据的处理过程包括分析全身采集影像正畸治疗效 果的疾病，评估是否能进行正畸治疗。
在本实施例中，数字孪生模块6用于将上述所采集的信息基于人工智能 和/或虚拟现实和/或大数据进行统一整合，并将其输出至Matlab中，由 Simulink模块构建数字孪生模型，并进行运算处理。
在本实施例中，输出模块7输出的牙齿矫治后的软硬组织变化情况包括 牙列的排列变化，面部表情变化，呼吸语音变化，并预测发育变化，及牙根、 牙槽骨壁、颞下颌关节软骨吸收风险预警，唾液、血液中的蛋白分子变化， 输出模块7输出需要改进的治疗点，包括托槽的粘接位置、弓丝的粗细及形 状的改变，隐形牙套设计、隐形牙套附件安装、及隐形牙套的力学变化。
在本实施例中，数据扫描模块5将带有托槽、弓丝结构的模型三维扫描， 自动匹配至3D打印模型及有限元模型中，并通过在有限元分析软件ABAQUS 中导入IGS格式的三维模型，将各部分模型进行组装配对，并对各部分进行 网格划分，输入各部分的材料参数、设置各部分间的接触关系，加载力值大 小、位移大小，进行力学分析、三维形变计算。
在本实施例中，数据处理模块2针对面部提取的过程包括：对面部采集 数据进行预处理，并将预处理后的图像数据输入卷积神经网络CNN网络数据 模型进行深度特征提取，提取的方法包括局部图像特征提取、全局图像特征 提取和全局纹理图像特征提取；并再提取后进行图像数据信息融合，即将提 取的三种特征分别归一化，然后进行级联融合，图像级联融合方法为基于模 糊神经网络的多数据特征关联算法。
上述一种口腔颌面颈部数字孪生模型的建立方法，包括如下步骤：
S1：采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描数据、面部图 像数据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾 病数据；
S2：对采集的图像及数据进行处理；
S3：3D打印个性化模型处理以及有限元模型生成；
S4：将数据采集信息、处理信息、3D打印信息、力学分析信息、数据扫 描信息进行统一整合，并构建数字孪生模型及运算处理；
S5：输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提 示以及需要改进的治疗点，并基于面部变化、矫治效果、发育变化等建立3D 打印个性模型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。
Claims (8)
1.一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，包括：
数据采集模块(1)，用于采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描数据、面部图像数据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾病数据，且面部图像包括二维面部照片、三维、静态、动态图像；
数据处理模块(2)，用于对采集的图像及数据进行处理，处理过程包括图像分割、面部提取、呼吸数据处理、发音分析处理、唾液处理、全身疾病数据处理，数据处理模块(2)包括颌面颈部数据处理单元、面部图像处理单元、呼吸数据处理单元、发音数据处理单元、唾液数据处理单元、血液数据处理单元以及基因数据处理单元；
3D打印模块(3)，用于将所分割后的牙齿结构，3D打印成实体三维模型，三维模型包含牙齿、牙周膜、牙槽骨部件，并通过在其上粘接托槽、弓丝结构形成牙齿模型；
力学分析模块(4)，用于将所分割后的牙齿结构进行三维有限元分析处理，并生成三维有限元模型；
数据扫描模块(5)，用于将带有托槽、弓丝结构的模型三维扫描，自动匹配至3D打印模型及有限元模型中，进行力学分析、三维形变计算；
数字孪生模块(6)，用于将数据采集信息、处理信息、3D打印信息、力学分析信息、数据扫描信息进行统一整合，并构建数字孪生模型及运算处理；
输出模块(7)，用于输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提示以及需要改进的治疗点。
2.根据权利要求1所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述数据采集模块(1)的采集过程包括：基于CT采集患者的颌骨、面部、颈部数据，口内扫描仪扫描口内牙齿数据，面部扫描仪扫描面部软组织轮廓；基于相机拍摄二维、三维面部照片与视频，包括静态、动态的面部轮廓及表情变化；基于麦克风传感器采集呼吸的发音特征、频率、深浅；基于麦克风采集患者自述一段语句的发音特征，包括翘舌音、平舌音、元音、鼻音，自述语句包括但不限于普通话、方言、外语；基于唾液检测仪检测唾液的分泌量、粘稠度、分泌的蛋白分子成分与含量；基于血液采集分析仪采集血液中的蛋白分子成分与含量；基于口腔检测过程分析筛查牙根吸收、牙槽骨壁基因；基于全身疾病采集过程筛查是否患有癫痫、风湿病、肝炎、肾炎、结核病、糖尿病、心脏病、血友病、佝偻病。
3.根据权利要求1所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述数据处理模块(2)处理过程中的图像分割包括分离牙齿、牙周膜、颌骨、牙位及拥挤度、上下颌牙列关系，牙齿中线位置，气道的宽度；面部图像处理单元的处理过程包括面部轮廓及表情特征的提取，鼻唇距离，面部中线位置；呼吸数据处理单元的处理过程包括分析呼吸的发音特征、频率、深浅，是否有呼吸暂停综合征；发音数据处理单元的处理过程包括提取分析翘舌音、平舌音、元音、鼻音特征点，及普通话、方言、外语语音特征点，以及唇腭裂语音的特征点，并进行发音数据分析处理；唾液数据处理单元的处理过程包括分析唾液的分泌量、粘稠度、分泌的蛋白分子成分与含量；血液数据处理单元的处理过程包括分析血液中的蛋白分子成分与含量；基因数据处理单元的处理过程包括对易于导致牙根吸收、牙槽骨壁基因的进行筛查及分析；全身疾病数据的处理过程包括分析全身采集影像正畸治疗效果的疾病，评估是否能进行正畸治疗。
4.根据权利要求1所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述数字孪生模块(6)用于将上述所采集的信息基于人工智能和/或虚拟现实和/或大数据进行统一整合，并将其输出至数据处理软件中构建数字孪生模型，并进行运算处理。
5.根据权利要求1所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述输出模块(7)输出的牙齿矫治后的软硬组织变化情况包括牙列的排列变化，面部表情变化，呼吸语音变化，并预测发育变化，及牙根、牙槽骨壁、颞下颌关节软骨吸收风险预警，唾液、血液中的蛋白分子变化，输出模块(7)输出需要改进的治疗点，包括托槽的粘接位置、弓丝的粗细及形状的改变。
6.根据权利要求1所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述数据扫描模块(5)将带有托槽、弓丝结构的模型三维扫描，自动匹配至3D打印模型及有限元模型中，并通过在有限元分析软件中导入IGS格式的三维模型，将各部分模型进行组装配对，并对各部分进行网格划分，输入各部分的材料参数、设置各部分间的接触关系，加载力值大小、位移大小，进行力学分析、三维形变计算。
7.根据权利要求3所述的一种口腔牙颌面颈部数字孪生模型映射系统，其特征在于，所述数据处理模块(2)针对面部提取的过程包括：对面部采集数据进行预处理，并将预处理后的图像数据输入卷积神经网络CNN网络数据模型进行深度特征提取，提取的方法包括局部图像特征提取、全局图像特征提取和全局纹理图像特征提取；并再提取后进行图像数据信息融合，即将提取的三种特征分别归一化，然后进行级联融合，图像级联融合方法为基于模糊神经网络的多数据特征关联算法。
8.根据权利要求1-7任一所述的一种口腔牙颌面颈部数字孪生模型的建立方法，其特征在于，包括如下步骤：
S1：采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描数据、面部图像数据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾病数据；
S2：对采集的图像及数据进行处理；
S3：3D打印个性化模型处理以及有限元模型生成；
S4：将数据采集信息、处理信息、3D打印信息、力学分析信息、数据扫描信息进行统一整合，并构建数字孪生模型及运算处理；
S5：输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提示以及需要改进的治疗点，并基于面部变化、矫治效果、发育变化等建立3D打印个性模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111244821.6A CN114224529B (zh) | 2021-10-26 | 2021-10-26 | 一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111244821.6A CN114224529B (zh) | 2021-10-26 | 2021-10-26 | 一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114224529A true CN114224529A (zh) | 2022-03-25 |
| CN114224529B CN114224529B (zh) | 2023-08-01 |
Family
ID=80743209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111244821.6A Active CN114224529B (zh) | 2021-10-26 | 2021-10-26 | 一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114224529B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970292A (zh) * | 2022-07-29 | 2022-08-30 | 吉林大学 | 一种数字孪生驱动增材制造的仿生产品建模系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102415916A (zh) * | 2011-07-29 | 2012-04-18 | 首都医科大学附属北京口腔医院 | 防止正畸治疗过程中牙根和颌骨应力过度集中的矫治方法 |
| CN103054658A (zh) * | 2012-12-18 | 2013-04-24 | 浙江工业大学 | 一种用于个性化三维正畸力检测的口腔模型的建模方法 |
| US20150290454A1 (en) * | 2003-11-26 | 2015-10-15 | Wicab, Inc. | Systems and methods for altering brain and body functions and for treating conditions and diseases of the same |
| US20200285788A1 (en) * | 2017-06-05 | 2020-09-10 | Umajin Inc. | Systems and methods for providing digital twin-enabled applications |
| US10943407B1 (en) * | 2019-01-25 | 2021-03-09 | Wellovate, LLC | XR health platform, system and method |
-
2021
- 2021-10-26 CN CN202111244821.6A patent/CN114224529B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150290454A1 (en) * | 2003-11-26 | 2015-10-15 | Wicab, Inc. | Systems and methods for altering brain and body functions and for treating conditions and diseases of the same |
| CN102415916A (zh) * | 2011-07-29 | 2012-04-18 | 首都医科大学附属北京口腔医院 | 防止正畸治疗过程中牙根和颌骨应力过度集中的矫治方法 |
| CN103054658A (zh) * | 2012-12-18 | 2013-04-24 | 浙江工业大学 | 一种用于个性化三维正畸力检测的口腔模型的建模方法 |
| US20200285788A1 (en) * | 2017-06-05 | 2020-09-10 | Umajin Inc. | Systems and methods for providing digital twin-enabled applications |
| US10943407B1 (en) * | 2019-01-25 | 2021-03-09 | Wellovate, LLC | XR health platform, system and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970292A (zh) * | 2022-07-29 | 2022-08-30 | 吉林大学 | 一种数字孪生驱动增材制造的仿生产品建模系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114224529B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tandon et al. | Present and future of artificial intelligence in dentistry | |
| Sarrafpour et al. | Tooth eruption results from bone remodelling driven by bite forces sensed by soft tissue dental follicles: a finite element analysis | |
| CN111274666A (zh) | 一种数字化牙齿位姿变化量的设计、模拟排牙方法及装置 | |
| CN114099016B (zh) | 基于数字孪生模型的固定矫正与隐形矫正混合治疗系统 | |
| Shaweesh et al. | Studying the relationships between the outlines of the face, maxillary central incisor, and maxillary arch in Jordanian adults by using Fourier analysis | |
| Moiduddin et al. | Computer assisted design and analysis of customized porous plate for mandibular reconstruction | |
| CN114224529B (zh) | 一种口腔牙颌面颈部数字孪生模型映射系统及建立方法 | |
| CN111265316B (zh) | 一种模拟佩戴矫治器的牙齿模型受力分析方法及装置 | |
| Kurup et al. | Dentistry and artificial intelligence | |
| CN114224528B (zh) | 基于虚拟现实交互的口腔数字孪生模型系统及建立方法 | |
| Yuan et al. | Tooth segmentation and gingival tissue deformation framework for 3D orthodontic treatment planning and evaluating | |
| Khan et al. | Artificial intelligence and 3D printing technology in orthodontics: future and scope. | |
| Wu et al. | Upper airway segmentation based on the attention mechanism of weak feature regions | |
| CN111275808B (zh) | 一种牙齿正畸模型的建立方法及装置 | |
| CN112201349A (zh) | 一种基于人工智能的正畸手术方案生成系统 | |
| CN112545679A (zh) | 一种用于正畸的牙颌有限元模型建立方法 | |
| Dai et al. | Gingival morphology‐controlled design of the complete denture baseplate | |
| Navic et al. | Facial reconstruction using 3-D computerized method: A scoping review of Methods, current Status, and future developments | |
| JP7269587B2 (ja) | セグメンテーション装置 | |
| Yumashev et al. | The use of digital technologies for teaching dentistry | |
| Naidu et al. | CAD/CAM engineering and artificial intelligence in dentistry | |
| Fawaz et al. | What is the current state of artificial intelligence applications in dentistry and orthodontics? | |
| Chen et al. | Three-dimensional reconstruction of soft palate modeling from subject-specific magnetic resonance imaging data | |
| BURLUI et al. | INTERDISCIPLINARY APPROACH IN DIGITAL DENTISTRY PLANNING. | |
| Alauddin et al. | The Modern and Digital Transformation of Oral Health Care: A Mini Review. Healthcare 2021, 9, 118 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |