CN110782974A - 预测解剖标志的方法和使用该方法预测解剖标志的设备 - Google Patents

预测解剖标志的方法和使用该方法预测解剖标志的设备 Download PDF

Info

Publication number
CN110782974A
CN110782974A CN201910686937.1A CN201910686937A CN110782974A CN 110782974 A CN110782974 A CN 110782974A CN 201910686937 A CN201910686937 A CN 201910686937A CN 110782974 A CN110782974 A CN 110782974A
Authority
CN
China
Prior art keywords
point
head side
image
medical head
side image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910686937.1A
Other languages
English (en)
Inventor
金艺贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN110782974A publication Critical patent/CN110782974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种预测解剖标志的方法，包括：接收受试者的医学头部侧面图像；使用被配置为预测所述医学头部侧面图像中的解剖标志的标志预测模型来预测所述医学头部侧面图像中的标志；以及提供标记有所述标志的图像；以及本发明提供了一种使用该方法的设备。

Description

预测解剖标志的方法和使用该方法预测解剖标志的设备
相关申请的交叉引用
本申请要求于2018年7月27日在韩国知识产权局提交的韩国专利申请号10-2018-0088078的优先权，该韩国专利申请的公开内容通过引用并入本文。
技术领域
本公开涉及一种预测解剖标志的方法和一种使用该方法预测解剖标志的设备，更具体地，涉及一种预测解剖标志的方法，该方法被配置为预测用于正畸分析的解剖学测量点，以及使用该方法的设备。
背景技术
通常，咬合不正是指一组牙齿不规则且上下牙齿异常相对的状态。这种咬合不正不仅可能引起功能性问题，例如咀嚼和发音问题或面部美学问题，还可能引起健康问题，例如龋齿和牙龈疾病。
可以将正畸治疗作为将咬合不正改变为咬合(Occlusion)的方法来进行。
对计划进行诸如测量颌面框架的尺寸、测量颌面框架的生长方向和测量成组牙齿的突出程度之类的步骤的受试者进行的正畸分析可以与正畸治疗的预后紧密连接。特别地，在准确计划正畸治疗方面，找到在解剖学上预定用于测量的解剖标志是非常重要的。为此，医务人员已经在从受试者获得的医学头部侧面图像(medical lateral head image)上可视地发现解剖标志，并且执行上述的正畸治疗前分析。然而，这种方法可能伴随着在设计治疗计划时准确度(accuracy)下降的问题，因为解剖标志的位置可能不同，这取决于医务人员的熟练程度。
由于在正畸治疗之前设计治疗计划越来越需要准确度以提高医疗服务质量，因此一直需要开发一种准确地(accurately)检测解剖标志的方法。
以上作为本公开的相关技术提供的描述将帮助理解本公开的背景。该描述不应被解释为承认该描述作为现有技术存在。
发明内容
同时，为了解决上述问题，已经出现了被配置为以编程方式执行正畸治疗前分析的正畸分析程序。然而，这些正畸分析程序对于医务人员来说可能是麻烦的，因为需要逐个输入所有解剖标志。此外，根据现有技术，由于医务人员仍然必须基于医学头部侧面图像亲自找到解剖标志，因此分析的准确性可能取决于医务人员的熟练程度。
本公开的发明人能够认识到，可以使用学习的预测模型来基于医学头部侧面图像的数据而预测用于正畸的标志，作为解决现有正畸分析程序的问题并提高正畸治疗前分析的准确性的方法。
结果，本公开的发明人已经开发了一种新的正畸分析程序，其可以通过使用预测模型预测在受试者的医学头部侧面图像中用于正畸的解剖标志的位置来提供用于正畸分析的信息。
更详细地，本公开的发明人解决了以下难题：当使用两个学习的预测模型来预测医学头部侧面图像中的侧面部区域以及预测在预测的侧面部区域中用于测量的解剖标志时，预测的准确性能够增加。
结果，可以使用被配置为预测医学头部侧面图像中的侧面部区域的预测模型和被配置为预测在预测的侧面部区域中的解剖标志的预测模型来开发正畸分析系统。
因此，本公开的目的是提供一种预测解剖标志的方法，所述方法被配置为使用标志预测模型来预测医学图像中的标志，所述标志预测模型被配置为基于所接收的医学头部侧面图像来预测用于测量的解剖标志并提供预测结果。
本公开的另一个目的是提供一种预测解剖标志的方法，所述方法被配置为使用侧面部区域预测模型来预测侧面部区域的坐标，并使用标志预测模型预测所述侧面部区域中的标志，所述侧面部区域预测模型被配置为预测医学头部侧面图像中的所述侧面部区域。
本公开的另一个目的是提供一种预测解剖标志的方法，所述方法被配置成基于预测的标志来测量选自以下中的至少一个：受试者的颌面框架(maxillofacial frame)的尺寸、所述颌面框架的生长方向和成组牙齿的突出程度。
本公开的另一个目的是提供一种用于预测解剖标志的设备，所述设备包括：接收器，其被配置为接收受试者的医学头部侧面图像；以及处理器，其可操作地与所述接收器连接以及被配置为使用各种预测模型。
本公开的目的不限于上述目的，并且本领域技术人员从以下描述中将清楚地理解其他目的。
为了实现上述目的，提供了根据本公开的实施方案的预测解剖标志的方法。所述方法包括：接收受试者的医学头部侧面图像；使用被配置为预测所述医学头部侧面图像中的解剖标志的标志预测模型来预测所述医学头部侧面图像中的标志；以及提供标记有预测的标志的图像。
根据本公开的一个方面，本公开的方法可以进一步包括使用侧面部区域预测模型来预测所述医学头部侧面图像中的侧面部区域的坐标，所述侧面部区域预测模型被配置为在预测所述标志之前预测所述医学头部侧面图像中的侧面部区域。此外，预测所述标志可以进一步包括使用所述标志预测模型预测所述侧面部区域中的标志。
根据本公开的另一方面，预测所述标志可以包括：使用所述标志预测模型，基于所述医学头部侧面图像和所预测的侧面部区域的坐标，来预测所述侧面部区域中的所述标志的x轴和y轴坐标；以及创建包括预测的标志和所述x轴和y轴坐标的xml、json或csv文件。此外，所述提供标记有预测的标志的图像进一步包括基于所述医学头部侧面图像和所述xml、json或csv文件来提供具有在所述医学头部侧面图像中标记的标志的位置的图像。
根据本公开的另一方面，所述标志预测模型可以是用于基于梯度增强算法来预测所述医学头部侧面图像中的所述标志的学习模型，并且所述侧面部区域预测模型可以是用于基于支持向量机算法(SVM)来预测所述医学头部侧面图像中的所述侧面部区域的学习模型。
根据本公开的另一方面，所述侧面部区域预测模型可以是通过以下方式学习的模型：接收用于学习的所述医学头部侧面图像，其中预先确定了侧面部区域的坐标，以及基于所述侧面部区域的坐标和用于学习的所述医学头部侧面图像的图案，预测用于学习的所述医学头部侧面图像中的所述侧面部区域。
根据本公开的另一方面，用于学习的所述医学头部侧面图像可以是通过以下获得的图像：HOG(定向梯度直方图)转换样本受试者的样本医学头部侧面图像，以及基于所述样本医学头部侧面图像中的所述侧面部区域的坐标和所述样本医学头部侧面图像的路径来标记HOG转换的样本医学头部侧面图像中的侧面部区域。
根据本公开的另一方面，本公开的方法可以进一步包括基于预测的标志来测量选自以下中的至少一个：所述受试者的所述颌面框架的尺寸、所述颌面框架的生长方向和成组牙齿的突出程度。
根据本公开的另一方面，所述方法可以进一步包括当接收的医学头部侧面图像是RGB彩色图像时，将所述医学头部侧面图像转换为单色图像(monochrome image)；以及对所述单色图像进行矢量化。
根据本公开的另一方面，所述单色图像的所述矢量化可以包括：计算选自所述单色图像的多个像素的任何像素与邻近所述预定像素的多个像素之间的亮度差值；以及将所述单色图像朝向邻近的所述多个像素中的相比所述预定像素具有最大亮度差值的像素矢量化。
根据本公开的另一方面，所述标志可以是选自以下的至少一个：A点、B点、ANS(前鼻棘点(Anterior nasal spine))、AN(角前切迹(Antegonial notch))、关节点(articulare)、颅底点、C(颈椎点)、髁顶点(condylion)、小柱(columella)、CL(体左侧(Corpus Left))、鼻背、眉间、颏顶点(gnathion)、下颌角点、下齿槽缘点(infradentale)、LICT(下切牙冠尖)、LIRT(下切牙根尖)、LMDP(下臼齿远端点)、LMMP(下臼齿近中点)、Li(下唇中点(Labrale inferius))、Ls(上唇中点(Labrale superius))、LE(下楔状隙(Lowerembrasure))、下唇、颏下点(menton)、鼻根点、鼻梁(nasal bridge)、眶点、PM点、PNS(后鼻棘点(Posterior nasal spine))、外耳门上缘中点(porion)、颏前点、Pn(鼻尖点(Pronasale))、Pt(翼点(Pterygoid point))、R1点、R3点、RD(下分支(Ramus down))、蝶鞍点(sella)、Sd(上齿槽缘点(Supradentale))、软组织A点、软组织B点、Gn'(软组织颏顶点)、Me'(软组织颏下点)、N'(软组织鼻根点)、Pg'(软组织颏前点)、Stmi(下口裂点(Stomioninferius))、Stms(上口裂点(Stomion superius))、SM点(下颌下点(Submandibularpoint))、Sn(鼻下点)、UICT(上切牙冠尖)、UIRT(上切牙根尖)、UMDP(上臼齿远端点)、UMMP(上臼齿近中点)、UE(上楔状隙(Upper embrasure))、上唇、下颌骨轮廓1、下颌骨轮廓2、下颌骨轮廓3、下颌骨轮廓4、下颌骨轮廓5、下颌骨轮廓6、上颌骨轮廓1、上颌骨轮廓2、上颌骨轮廓3、上颌骨轮廓4、上颌骨轮廓5、上颌骨轮廓6、上颌骨轮廓7、上颌骨轮廓8、上颌骨轮廓9、上颌骨轮廓10、上颌骨轮廓11、骨联合轮廓1(symphysis outline 1)、骨联合轮廓2、骨联合轮廓3和骨联合轮廓4，其预先确定为用于正畸的头部侧面测量标志。
根据本公开的另一方面，标志预测模型可以是通过以下方式学习的模型：接收用于学习的所述医学头部侧面图像，其中针对侧面部区域，预先确定了多个标志的坐标；以及基于由用于学习的所述医学头部侧面图像中的多个标志的坐标形成的形状，预测用于学习的所述医学头部侧面图像中的所述多个标志的坐标。
为了实现上述目的，提供了一种根据本公开实施方案的用于预测解剖标志的设备。所述设备包括：接收器，其被配置为接收受试者的医学头部侧面图像；以及处理器，其可操作地连接到所述接收器。所述处理器被配置为使用标志预测模型来预测所述医学头部侧面图像中的标志，所述标志预测模型被配置为预测所述医学头部侧面图像中的标志。
根据本公开的一个方面，所述处理器可以进一步被配置为使用侧面部区域预测模型来预测所述医学头部侧面图像中的侧面部区域的坐标以及使用所述标志预测模型来预测所述侧面部区域中的所述标志，所述侧面部区域预测模型被配置为预测所述医学头部侧面图像中的侧面部区域。
根据本公开的一个方面，所述处理器可以进一步被配置为：使用所述标志预测模型，基于所述医学头部侧面图像和预测的侧面部区域的坐标，预测所述侧面部区域中的所述标志的x轴和y轴坐标；创建包括预测的标志和所述x轴和y轴坐标的xml、json或csv文件；以及基于所述医学头部侧面图像和所述xml、json或csv文件来提供具有在所述医学头部侧面图像中标记的标志的位置的图像。
根据本公开的一方面，本公开的用于预测的设备可以进一步包括测量器，所述测量器被配置为基于预测的标志来测量选自以下的至少一个：所述受试者的所述颌面框架的尺寸、所述颌面框架的生长方向和成组牙齿的突出程度。
根据本公开的一方面，用于预测的设备可以进一步包括：数据预处理器，所述数据预处理器被配置为当所接收的医学头部侧面图像是RGB颜色图像时将所述医学头部侧面图像转换为单色图像以及将所述单色图像矢量化。
根据本公开的一方面，所述数据预处理器可以被配置为计算选自所述单色图像的多个像素的任何像素与邻近所述预定像素的多个像素之间的亮度差值，以及将所述单色图像朝向邻近的所述多个像素中的相比所述预定像素具有最大亮度差值的像素矢量化。
本公开具有的效果是，可以通过提供使用侧面部区域预测模型和标志预测模型来预测解剖标志的方法，以及使用所述方法的设备来为受试者的正畸分析提供信息，所述侧面部区域预测模型被配置为预测医学头部侧面图像中的侧面部区域，以及所述标志预测模型被配置为预测所述侧面部区域中的解剖标志。
更详细地，根据本公开，可以通过预测和提供作为用于正畸分析的测量点的解剖标志，在正畸之前为受试者设计准确的治疗计划。因此，本公开可以有助于提供适合于每个受试者的准确且有效的正畸方法。
例如，当提供解剖标志时，医务人员可以更准确且容易地测量颌面框架的尺寸，测量颌面框架的生长方向，以及分析成组牙齿的突出程度。
此外，本公开具有的效果是，无论医务人员的熟练程度如何，都能够高准确度地预测并提供接收的医学头部侧面图像中的解剖标志的测量位置。
本公开具有的效果是，通过处理和使用用于学习的医学头部侧面图像以学习预测模型，以便更准确地预测医学头部侧面图像中的侧面部区域，可以高准确度地提供预测信息。
本公开的效果不限于上述那些，并且说明书中包括更多种效果。
附图说明
通过以下结合附图的详细描述，将更清楚地理解本公开的上述和其他方面、特征和其他优点，其中：
图1A示出了使用根据本公开的实施方案的用于预测解剖标志的设备的正畸分析系统；
图1B示例性地示出了根据本公开的实施方案的用于预测解剖标志的设备的配置(configuration)；
图2A示出了根据本公开的实施方案的预测解剖标志的方法的过程；
图2B示例性地示出了通过根据本公开的实施方案的预测解剖标志的方法来预测医学头部侧面图像中的标志的过程；
图3A至3C示出了创建用于学习侧面部区域预测模型的医学头部侧面图像数据的过程，在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法来预测解剖标志的设备中使用该数据；
图4A至4D示出了创建用于学习标志预测模型的医学头部侧面图像数据的过程，在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法来预测解剖标志的设备中使用该数据；以及
图5示出了通过根据本公开的实施方案的预测解剖标志的方法和用于使用该方法来预测解剖标志的设备预测的标志。
具体实施方式
通过参照下面将参照附图详细描述的示例性实施方案，本公开的优点和它们的实现方法将变得清楚。然而，本公开不限于下文描述的示例性实施方案并将以各种方式实现，并且提供示例性实施方案以完成本公开的描述，使得本领域技术人员完全知道本公开的范围，并且本公开由权利要求限定。
在附图中公开的用于描述本公开的实施方案的物品的形状、尺寸、比率、角度和数量仅是示例，并且本公开不限于附图中示出的那些。此外，在本公开的描述中，将省略对公知技术的详细描述，以免因不必要的细节模糊本公开的描述。当本文使用术语“包括”、“具有”和“由......组成”时，除非使用
Figure BDA0002146653590000091
否则可以添加其他部件。当部件以单数表示时，除非另外特别说明，否则它包括复数。
在对部件的分析中，即使没有具体描述，也将其解释为包括误差范围。
本公开的实施方案的特征可以部分地或完全地组合或混合，可以以各种方式在技术上集成和驱动，以使本领域技术人员能够充分理解它们，并且可以彼此独立地或者相互关联地实现。
在下文中定义本文使用的术语以使说明书清楚。
本文使用的术语“医学头部侧面图像”可以表示包括从医学图像诊断设备接收的受试者的侧面轮廓的所有图像。优选地，本文公开的医学头部侧面图像可以是头部侧面测量射线照片，但不限于此。医学头部侧面图像可以是2-D图像、3-D图像、静止图像的分割图(cut)或由多个分割图组成的动态图像。例如，当医学头部侧面图像是由多个分割图或帧组成的动态图像时，按照根据本公开的实施方案的预测解剖标志的方法，可以针对多个医学头部侧面图像中的每一个预测标志。结果，本公开可以通过在从图像诊断设备接收医学头部侧面图像的同时执行解剖标志的预测来提供实时预测信息。
同时，本文使用的术语“解剖标志”可以表示在解剖学上预先确定为用于正畸的测量点的标志。解剖标志可以是头部侧面测量标志，但不限于此。
同时，在设计用于正畸治疗的准确治疗计划时找到解剖标志可能是非常重要的。由于要确定的解剖标志的位置可以根据医务人员的熟练程度而有所不同，因此可能发生在设计治疗计划时准确度降低的问题。
为了解决该问题，可以使用预测医学头部侧面图像中的解剖标志的学习的预测模型。
这里使用的术语“标志预测模型”可以是被配置为预测医学头部侧面图像中的用于测量的标志的位置的模型。例如，标志预测模型可以是基于梯度增强算法来预测接收的医学头部侧面图像中的标志的学习模型。更详细地，标志预测模型可以是通过以下步骤来学习的模型：基于由用于学习的医学头部侧面图像中的多个标志的坐标形成的形状，预测用于学习的医学头部侧面图像中的多个标志的坐标。
标志可以是选自以下的至少一个：A点、B点、ANS(前鼻棘点)、AN(角前切迹)、关节点、颅底点、C(颈椎点)、髁顶点(condylion)、小柱(columella)、CL(体左侧)、鼻背、眉间、颏顶点、下颌角点、下齿槽缘点、LICT(下切牙冠尖)、LIRT(下切牙根尖)、LMDP(下臼齿远端点)、LMMP(下臼齿近中点)、Li(下唇中点)、Ls(上唇中点)、LE(下楔状隙)、下唇、颏下点、鼻根点、鼻梁、眶点、PM点、PNS(后鼻棘点)、外耳门上缘中点、颏前点、Pn(鼻尖点)、Pt(翼点)、R1点、R3点、RD(下分支)、蝶鞍点、Sd(上齿槽缘点)、软组织A点、软组织B点、Gn'(软组织颏顶点)、Me'(软组织颏下点)、N'(软组织鼻根点)、Pg'(软组织颏前点)、Stmi(下口裂点)、Stms(上口裂点)、SM点(下颌下点)、Sn(鼻下点)、UICT(上切牙冠尖)、UIRT(上切牙根尖)、UMDP(上臼齿远端点)、UMMP(上臼齿近中点)、UE(上楔状隙)、上唇、下颌骨轮廓1、下颌骨轮廓2、下颌骨轮廓3、下颌骨轮廓4、下颌骨轮廓5、下颌骨轮廓6、上颌骨轮廓1、上颌骨轮廓2、上颌骨轮廓3、上颌骨轮廓4、上颌骨轮廓5、上颌骨轮廓6、上颌骨轮廓7、上颌骨轮廓8、上颌骨轮廓9、上颌骨轮廓10、上颌骨轮廓11、骨联合轮廓1、骨联合轮廓2、骨联合轮廓3和骨联合轮廓4，其预先确定为用于正畸的头部侧面测量标志。
同时，标志预测模型可以是基于医学图像来预测标志的位置的学习模型，该医学图像经裁剪仅包括作为医学头部侧面图像中的测量目标的侧面部区域。例如，标志预测模型可以是基于医学头部侧面图像和侧面部区域的坐标来预测侧面部区域中的标志的x轴和y轴坐标的学习模型。通过该学习方法，标志预测模型可以以比在被配置为预测整个医学头部侧面图像中的标志时更高的准确度来预测标志。
本文使用的术语“侧面部区域预测模型”可以是被配置为预测包括侧面面部部分的侧面部区域的模型，该侧面面部部分是医学头部侧面图像中用于正畸的待测量的目标区域。例如，侧面部区域预测模型可以是基于支持向量机算法来预测医学头部侧面图像中的侧面部区域的学习模型。更详细地，侧面部区域预测模型可以是学习模型，其接收具有侧面部区域的预定坐标的医学头部侧面图像，并且基于侧面部区域的坐标和用于学习的医学头部侧面图像的图案来预测用于学习的医学头部侧面图像中的侧面部区域。
“侧面部区域”可以具有与其他区域(例如背景区域)不同的像素值和纹理。因此，侧面部区域预测模型可以基于像素值或纹理来预测侧面部区域。
同时，医学头部侧面图像可以是使用通过以下步骤获得的图像：HOG(定向梯度直方图)转换样本受试者的样本医学头部侧面图像，以及基于样本医学头部侧面图像中的侧面部区域的坐标和样本医学头部侧面图像的路径，来标记在HOG转换的样本医学头部侧面图像中的侧面部区域。然而，用于学习的医学头部侧面图像不限于此。
如上所述，在本公开的各种实施方案中使用的预测模型可以独立地或组合地用于解剖标志的预测。
在下文中，参照图1A和1B描述使用根据本公开的实施方案的用于预测解剖标志的设备的正畸分析系统和用于预测解剖标志的设备。
图1A示出了使用根据本公开的实施方案的用于预测解剖标志的设备的正畸分析系统。图1B示例性地示出了根据本公开的实施方案的用于预测解剖标志的设备的配置。
首先，参照图1A，可以通过侧头测量射线照相装置300获得受试者的医学头部侧面图像。所获得的医学头部侧面图像可以是头部侧面测量射线照片。将受试者的侧面轮廓的医学侧面头部图像发送到根据本公开的实施方案的用于预测解剖标志的设备100。
用于预测解剖标志的设备100基于所接收的医学头部侧面图像来预测侧面部区域，并预测所预测的侧面部区域中的标志。
更详细地，参照图1B，用于预测解剖标志的设备100包括接收器110、输入单元120、输出单元130、存储单元140和处理器150。
详细地，接收器110可以被配置为从侧头测量射线照相装置300接收受试者的医学头部侧面图像。如上所述，由接收器110获得的医学头部侧面图像可以是头部侧面测量射线照片，但不限于此。同时，接收器110可以进一步被配置为将获得的医学头部侧面图像发送到下面将描述的处理器150。此外，接收器110可以从外部接收医学头部侧面图像。由接收器110获得的医学头部侧面图像可以包括侧面部区域。
输入单元120可以将设备100设置为用于预测解剖标志并指示接收器110执行上述操作。同时，输入单元120可以是键盘、鼠标或触摸屏面板，但不限于此。
另一方面，输出单元130可以在视觉上示出从接收器110获得的医学头部侧面图像。此外，输出单元130可以被配置为显示由处理器150确定的医学头部侧面图像中的侧面部区域或标志的位置信息。然而，输出单元130不限于此，并且可以被配置为显示由处理器150确定的用于预测解剖标志的各种信息项。
存储单元140可以被配置为存储由接收器110获得的受试者的医学头部侧面图像和由输入单元120设置的用于预测解剖标志的设备100的指令。此外，存储单元140被配置为存储由下面将描述的处理器150预测的结果。然而，存储单元140不限于此，并且可以存储由处理器150确定的用于预测解剖标志的各种信息项。
另一方面，处理器150可以是用于为设备100提供准确预测结果以预测解剖标志的部件。为了预测解剖标志，处理器150可以被配置为预测医学头部侧面图像中的侧面部区域并预测所预测的面部区域中的解剖标志。例如，处理器150可以被配置为使用预测从接收器110获得的受试者的医学头部侧面图像中的侧面部区域的学习的预测模型，以及预测侧面部区域中的解剖学标志的学习的预测模型。预测侧面部区域的学习模型可以基于支持向量机算法，并且预测标志的学习模型可以基于梯度增强算法，但是它们不限于此。例如，在本公开的各种实施方案中使用的预测模型可以是DNN(深度神经网络)、CNN(卷积神经网络)、DCNN(深度卷积神经网络)、RNN(递归神经网络)、RBM(限制玻尔兹曼机(RestrictedBoltzmann Machine))、DBN(深度信念网络)、SSD(单次检测器(Single Shot Detector))和YOLO(You Only Look Once)模型或基于U-net预测医学图像中的侧面部区域和标志的学习模型。
另一方面，根据本公开的各种实施方案，用于预测解剖标志的设备可以进一步包括测量器，该测量器被配置为基于由处理器150预测的标志来测量选自以下的至少一个：受试者的颌面框架的尺寸、颌面框架的生长方向和成组牙齿的突出程度。
此外，根据本公开的各种实施方案，用于预测解剖标志的设备可以进一步包括：数据预处理器，其被配置为在由接收器110接收的医学头部侧面图像是RGB彩色图像时将医学头部侧面图像转换为单色图像，然后将单色图像矢量化。
下面参照图2A和2B详细描述根据本公开的实施方案的预测解剖标志的方法。图2A示出了根据本公开的实施方案的预测解剖标志的方法。图2B示例性地示出了通过根据本公开的实施方案的预测解剖标志的方法来预测医学头部侧面图像中的解剖标志的方法。
参照图2A，根据本公开的实施方案的预测解剖标志的方法如下。首先，接收受试者的医学头部侧面图像(S210)。接下来，使用被配置为预测医学头部侧面图像中的侧面部区域的侧面部区域预测模型来预测侧面部区域(S220)。接下来，使用被配置为预测标志的标志预测模型来预测作为解剖测量点的标志(S230)。最后，提供预测结果(S240)。
例如，参照图2B，在接收医学头部侧面图像(S210)时，可以接收受试者的医学头部侧面图像212。医学头部侧面图像212可以是头部侧面测量射线照片，但不限于此。
根据本公开的实施方案，在接收医学头部侧面图像(S210)时，可以进一步接收医学头部侧面图像212，该医学头部侧面图像212已经预处理以具有预定像素，以能够快速分析医学头部侧面图像212。如果不是这样，在接收医学头部侧面图像(S210)之后，可以对所接收的医学头部侧面图像212进一步执行针对医学头部侧面图像212的预处理，该预处理调整尺寸以提供预定像素单位或调整对比度、分辨率、亮度和左右对称性。例如，当医学头部侧面图像212是RGB彩色图像时，医学头部侧面图像212可以被转换为单色图像并在预处理中被矢量化。更详细地，可以将在单色图像中转换的医学头部侧面图像212矢量化为具有多个像素的最大亮度值的像素。
作为预处理的结果，医学头部侧面图像212可具有下面将描述的预测模型所需的分辨率或尺寸，并且分辨率或尺寸可小于原始医学头部侧面图像的分辨率或尺寸，因此可以提高预测模型的处理速度。
接下来，参照图2B，在预测侧面部区域(S220)时，在接收医学头部侧面图像(S210)时获得的医学头部侧面图像212被输入到侧面部区域预测模型222中。侧面部区域预测模型222可以基于医学头部侧面图像212中的侧面部区域的坐标和医学头部侧面图像212的图案来预测侧面部区域，但是不限于此。
同时，获得具有预测的侧面部区域的医学头部侧面图像224，作为预测侧面部区域(S220)的结果。具有预测的侧面部区域的医学头部侧面图像224可以裁剪成包括侧面部区域。
接下来，参照图2B，在预测标志(S230)时，将裁剪的侧面部区域226输入到标志预测模型232中。标志预测模型232可以基于裁剪的侧面部区域226预测标志的位置，更详细地，预测x轴和y轴坐标，但不限于此。
根据本发明的实施方案，在预测标志(S230)时，可以创建包括由标志预测模型232预测的标志、x轴和y轴坐标的xml、json或csv文件。
作为预测标志(S230)的结果，可以获得具有预测标志的医学头部侧面图像234。具有预测标志的医学头部侧面图像234可以通过基于医学头部侧面图像212和在上述预测标志(S230)中创建的xml、json或csv文件来标记医学头部侧面图像212中的标志的位置来创建，但不限于此。
再次参照图2B，在提供预测结果(S240)时，可以提供在预测标志(S230)时获得的具有预测标志的医学头部侧面图像234。
在根据本公开的实施方案的预测解剖标志的方法中，可以进一步执行基于预测标志的测量位置对选自受试者的颌面框架的尺寸、颌面框架的生长方向和成组牙齿的突出程度中的至少一个的测量。
通过根据本公开的实施方案的预测解剖标志的方法，可以以高准确度预测从受试者获得的医学头部侧面图像中的解剖标志，并且可以对正畸进行准确测量。因此，本公开可以应用于基于医学头部侧面图像的正畸分析系统。
以下参照图3A至3C描述在本公开的各种实施方案中使用的侧面部区域预测模型的学习方法。图3A至3C示出了创建用于学习侧面部区域预测模型的医学头部侧面图像数据的过程，在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法预测解剖标志的设备中使用该数据。
参照图3A，首先，制备多个头部侧面测量射线照片以学习侧面部区域预测模型。接下来，在多个头部侧面测量射线照片中的矩形区域中给出包括测量点的标志的侧面部部分的坐标。接下来，制备xml文件，该xml文件包括存储多个头部侧面测量射线照片的位置(图像路径)和在每个头部测量图中形成的侧面部区域[框(box)]的坐标。更详细地，xml文件可以包括多个头部侧面测量射线照片的文件名，以及在多个头部侧面测量射线照片中针对侧面部区域形成的框(box)的位置值(顶部、左侧、宽度和高度)。
同时，参照图3B的(a)和(b)，可以对制备好的多个头部侧面测量射线照片执行诸如HOG(定向梯度直方图)转换之类的预处理。在预处理中，计算并转换头部侧面测量射线照片中的多个像素的相邻像素的亮度差值，由此可以使侧面部部分的目标的轮廓清晰。更详细地，在预处理中，可以将头部侧面测量射线照片转换成单色图像，可以计算在构成射线照片的像素中特定像素与邻近八个像素的亮度值差异，并且可以将射线照片朝向最大亮度值差异(例如，在图3B的(a)中从数字2到数字8)矢量化。结果，可以获得具有清晰轮廓的头部侧面测量射线照片。
参照图3C，基于上文参照图3A描述的包括图像路径和侧面部区域的坐标的xml文件，在参照图3B描述的HOG转换的头部侧面测量射线照片中标记侧面部区域的位置。结果，可以创建针对侧面部区域预测模型的用于学习的医学头部侧面图像，其包括侧面部区域的位置信息。
同时，侧面部区域预测模型可以基于SVM算法，被配置为通过识别用于学习的医学头部侧面图像的图案来对类别(即，侧面部区域)进行分类。
例如，侧面部区域预测模型对侧面部区域的预测可以基于[公式1]的SVM机器学习算法来执行。
[公式1]
where，yi(w·xi-b)≥1-ξi，ξi≥0，for all 1≤i≤n.
该算法可以被配置为使得
Figure BDA0002146653590000172
在[公式1]上具有最小值。
“C-值”(C)，作为确定允许机器学习中
Figure BDA0002146653590000173
错误分类的“成本(Cost)”的参数，可以是1。即，在表示[公式1]中的成本函数
Figure BDA0002146653590000174
中，“C-值”可以设置为1。此外，作为表示没有添加“成本”的宽度的参数的“epsilon”(ε)在[公式1]的成本函数中可以是0.01。
然而，输入用于学习的参数的学习因子值不受限制。
在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法预测解剖标志的设备中使用的侧面部区域预测模型可以通过采用上述算法，以高准确度预测医学头部侧面图像中的侧面部区域。然而，侧面部区域预测模型不限于此，并且可以以更多种方法学习。
以下参照图4A至4D描述在本公开的各种实施方案中使用的标志预测模型的学习方法。图4A至4D示出了创建用于学习标志预测模型的医学头部侧面图像数据的过程，在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法预测解剖标志的设备中使用该数据。
参照图4A，预先设置以学习标志预测模型的标志可以包括以下七十五个头部侧面测量标志：A点、B点、ANS(前鼻棘点)、AN(角前切迹(Antegonial notch))、关节点、颅底点、C(颈椎点)、髁顶点、小柱、CL(体左侧)、鼻背、眉间、颏顶点、下颌角点、下齿槽缘点(infradentale)、LICT(下切牙冠尖)、LIRT(下切牙根尖)、LMDP(下臼齿远端点)、LMMP(下臼齿近中点)、Li(下唇中点)、Ls(上唇中点)、LE(下楔状隙)、下唇、颏下点、鼻根点、鼻梁、眶点、PM点、PNS(后鼻棘点)、外耳门上缘中点(porion)、颏前点、Pn(鼻尖点)、Pt(翼点)、R1点、R3点、RD(下分支)、蝶鞍点(sella)、Sd(上齿槽缘点)、软组织A点、软组织B点、Gn'(软组织颏顶点)、Me'(软组织颏下点)、N'(软组织鼻根点)、Pg'(软组织颏前点)、Stmi(下口裂点)、Stms(上口裂点)、SM点(下颌下点)、Sn(鼻下点)、UICT(上切牙冠尖)、UIRT(上切牙根尖)、UMDP(上臼齿远端点)、UMMP(上臼齿近中点)、UE(上楔状隙)、上唇、下颌骨轮廓1、下颌骨轮廓2、下颌骨轮廓3、下颌骨轮廓4、下颌骨轮廓5、下颌骨轮廓6、上颌骨轮廓1、上颌骨轮廓2、上颌骨轮廓3、上颌骨轮廓4、上颌骨轮廓5、上颌骨轮廓6、上颌骨轮廓7、上颌骨轮廓8、上颌骨轮廓9、上颌骨轮廓10、上颌骨轮廓11、骨联合轮廓1、骨联合轮廓2、骨联合轮廓3和骨联合轮廓4，其在解剖学上预先确定为用于正畸的测量点。然而，解剖标志不限于此，并且可以根据受试者的面部的解剖结构和所获得的医学头部侧面图像的种类容易地改变。
参照图4B，首先，制备具有由多个头部侧面测量射线照片裁剪的侧面部区域的图像以学习标志预测模型。接下来，在多个裁剪的侧面部图像中指定多个标志的坐标。接下来，制备xml文件，该xml文件包括存储多个侧面部图像的位置(图像路径)和存在于每个射线照片中的多个标志的坐标。更详细地，所创建的xml文件可以包括多个侧面部图像文件的名称，针对多个侧面部图像形成的框(即，侧面部区域)的位置值(顶部、左侧、宽度和高度)，以及多个标志的名称和x轴和y轴坐标。
参照图4C，基于包括图像路径和多个标志的x轴和y轴坐标的xml文件，在参照图4B描述的多个侧面部图像中标记多个标志的位置。结果，可以创建针对标志预测模型的用于学习的医学头部侧面图像，其包括多个标志的位置信息。
同时，用于学习标志预测模型的用于学习的医学头部侧面图像不限于此。
例如，参照图4D的(a)，用于学习的医学头部侧面图像可以是这样的图像，其中包括包含标志的侧面部区域的图像的尺寸是随机确定的。更详细地，由最左边的点、最右边的点、最高点和最低点限定的区域(黄色框)与原始图像的最外部区域(红色框)之间的随机框区域(绿框)可以被设置为随机函数，由此它可以用作学习的图像。
参照图4D的(b)，用于学习标志预测模型的医学头部侧面图像可以以预定角度(例如，相对于相同医学头部侧面图像10度内)旋转。结果，通过改变角度可以获得几个医学头部侧面图像。更详细地，还通过改变角度来旋转xml文件的坐标，可以获得包括标志的各种位置信息项的几个医学头部侧面图像。因此，随着标志预测模型中的学习量的增加，预测水平可以提高。
参照图4D的(c)，用于学习标志预测模型的医学头部侧面图像的亮度和对比度也可以根据相同的医学头部侧面图像随机确定。结果，可以通过随机确定亮度和对比度来获得多个医学头部侧面图像。更详细地，图像的亮度值、对比度、随机伽马值(使用随机函数)进行调整，其中在用于学习的医学头部侧面图像中固定标志的坐标值。因此，标志预测模型可以经训练以根据随机纵横比(aspect ratio)预测标志。结果，标志预测模型的性能得到改善，标志预测模型可以从各种医学头部侧面图像中以高准确度预测标志。
同时，标志预测模型可以基于梯度增强算法，被配置为基于由多个标志形成的形状来预测标志的位置。
例如，标志预测模型可以基于以下[公式2]的机器学习梯度增强算法来预测标志的位置。
[公式2]
Figure BDA0002146653590000191
其中S是由多个标志的位置值形成的形状，I是用于学习的医学头部侧面图像，以及
Figure BDA0002146653590000201
是在多个预测步骤的特定预测步骤中预测的形状。通过该算法添加从在特定预测步骤之前形成的预测形状更新的矢量，可以获得下一步预测形状并预测最终由多个标志形成的形状。
“级联”表示在机器学习中连续执行预测的过程，而表示“级联”次数的“级联深度”可以是10。即，[公式2]中的t可以是10。此外，过采样量可以设置为500。
同时，作为由串联连接的k个弱学习器(weak learner)组成的算法，梯度增强算法可以表示为以下[公式3]。
[公式3]
Figure BDA0002146653590000202
其中
Figure BDA0002146653590000203
可以表示每个弱学习器。此外，表示弱学习器的学习效率的“v-值”(v)可以是0.1，以及表示弱学习器的数量的“每级联水平的树的数目”(k)可以是500。
同时，
Figure BDA0002146653590000204
的弱学习器可以是判定树的回归树，该判定树根据重要性确定比较特征的优先级并且通过根据参照重复转移过程而降低到低特征。
在标志的预测中，作为回归树的每个节点处的转移参照的比较特征是相邻两个像素之间的亮度差，以及表示回归树中从最高节点到最低节点的最长节点的数量的“树深度(Tree depth)”可以设置为5。
然而，输入用于学习的参数的学习因子值不受限制。
在根据本公开的实施方案的预测解剖标志的方法和用于使用该方法预测解剖标志的设备中使用的标志预测模型可以通过采用上述算法以高准确度预测医学头部侧面图像中的标志。然而，标志预测模型不限于此，并且可以以更多种方法学习。
实施方案1：使用侧面部区域预测模型和标志预测模型预测标志的位置。
在下文中，参照图5描述使用侧面部区域预测模型和标志预测模型的标志位置的预测结果。图5示出了通过根据本公开的实施方案的预测解剖标志的方法和用于使用该方法预测解剖标志的设备预测的标志。
参照图5，侧面部区域预测模型预测受试者的医学头部侧面图像中的侧面部区域，并且标志预测模型预测所预测的侧面部区域中的多个标志。结果，当提供具有预测的解剖标志的医学图像时，医务人员可以获得用于受试者的正畸分析的信息。然而，本公开的效果不限于此。
例如，根据本公开，可以通过预测和提供作为用于正畸分析的测量点的解剖标志，在正畸之前为受试者设计准确的治疗计划。因此，本公开可以有助于提供适合于每个受试者状况的准确且有效的正畸方法。例如，当提供解剖标志时，医务人员可以更准确且容易地测量颌面框架的尺寸，测量颌面框架的生长方向，并分析成组牙齿的突出程度。
此外，本公开具有的效果是，无论医务人员的熟练程度如何，都能够以高准确度预测并提供接收的医学头部侧面图像中的解剖标志的测量位置。
因此，本公开可以应用于基于医学头部侧面图像的正畸分析系统。
尽管参照附图更详细地描述了本公开的实施方案，但是本公开不限于这些实施方案，并且可以在不脱离本公开的范围的情况下以各种方式进行修改。因此，提供本文描述的实施方案不是仅为了限制，而是为了解释本公开的精神，并且本公开的精神不限于这些实施方案。因此，上述实施方案仅是示例，不应被解释为在所有方面都是限制性的。本公开的保护范围应该由以下权利要求来解释，并且本公开的范围和精神应该被解释为包括在本公开的专利权中。

Claims (18)

1.一种预测解剖标志的方法，所述方法包括：
接收受试者的医学头部侧面图像；
使用标志预测模型来预测所述医学头部侧面图像中的标志，所述标志预测模型被配置为预测所述医学头部侧面图像中的所述解剖标志；以及
提供标记有所述标志的图像。
2.如权利要求1所述的方法，所述方法进一步包括：使用侧面部区域预测模型来预测所述医学头部侧面图像中的侧面部区域的坐标，所述侧面部区域预测模型被配置为在预测所述标志之前预测所述医学头部侧面图像中包括侧面部位的所述侧面部区域，
其中预测所述标志进一步包括使用所述标志预测模型来预测所述侧面部区域中的所述标志。
3.如权利要求2所述的方法，其中预测所述标志包括：
使用所述标志预测模型，基于所述医学头部侧面图像和所述侧面部区域的坐标，预测所述侧面部区域中的所述标志的x轴和y轴坐标；以及
创建包括所述标志和所述x轴和y轴坐标的xml、json和csv文件中的至少一个文件，以及
其中提供标记有所述标志的图像进一步包括基于所述医学头部侧面图像和所述xml、json和csv文件中的至少一个文件，提供具有在所述医学头部侧面图像中标记的所述标志的位置的图像。
4.如权利要求2所述的方法，其中所述标志预测模型是基于梯度增强算法来预测所述医学头部侧面图像中的所述标志的学习模型，以及
所述侧面部区域预测模型是基于支持向量机算法来预测所述医学头部侧面图像中的所述侧面部区域的学习模型。
5.如权利要求2所述的方法，其中所述侧面部区域预测模型是通过以下学习的模型：接收用于学习的所述医学头部侧面图像，其中预先确定了所述侧面部区域的坐标，以及
基于所述侧面部区域的坐标和用于学习的所述医学头部侧面图像的图案，预测用于学习的所述医学头部侧面图像中的所述侧面部区域。
6.如权利要求5所述的方法，其中用于学习的所述医学头部侧面图像是通过以下获得的图像：HOG(定向梯度直方图)转换样本受试者的样本医学头部侧面图像，以及
基于所述样本医学头部侧面图像中的所述侧面部区域的坐标和所述样本医学头部侧面图像的路径，在HOG转换的所述样本医学头部侧面图像中标记所述侧面部区域。
7.如权利要求1所述的方法，所述方法进一步包括基于所述标志测量选自所述受试者的颌面框架的尺寸、所述颌面框架的生长方向和成组牙齿的突出程度中的至少一个。
8.如权利要求1所述的方法，所述方法进一步包括：
当接收的所述医学头部侧面图像是RGB彩色图像时，将所述医学头部侧面图像转换成单色图像；以及
将所述单色图像矢量化。
9.如权利要求8所述的方法，其中将所述单色图像矢量化包括：
计算选自所述单色图像的多个像素的任何像素与邻近预定像素的所述多个像素之间的亮度差值；以及
将所述单色图像朝向邻近的所述多个像素中的相比所述预定像素具有最大亮度差值的像素矢量化。
10.如权利要求1所述的方法，其中所述标志是选自以下的至少一个：A点、B点、ANS(前鼻棘点)、AN(角前切迹)、关节点、颅底点、C(颈椎点)、髁顶点、小柱、CL(体左侧)、鼻背、眉间、颏顶点、下颌角点、下齿槽缘点、LICT(下切牙冠尖)、LIRT(下切牙根尖)、LMDP(下楔状隙远端点)、LMMP(下臼齿近中点)、Li(下唇中点)、Ls(上唇中点)、LE(下楔状隙)、下唇、颏下点、鼻根点、鼻梁、眶点、PM点、PNS(后鼻棘点)、外耳门上缘中点、颏前点、Pn(鼻尖点)、Pt(翼点)、R1点、R3点、RD(下分支)、蝶鞍点、Sd(上齿槽缘点)、软组织A点、软组织B点、Gn'(软组织颏顶点)、Me'(软组织颏下点)、N'(软组织鼻根点)、Pg'(软组织颏前点)、Stmi(下口裂点)、Stms(上口裂点)、SM点(下颌下点)、Sn(鼻下点)、UICT(上切牙冠尖)、UIRT(上切牙根尖)、UMDP(上臼齿远端点)、UMMP(上臼齿近中点)、UE(上楔状隙)、上唇、下颌骨轮廓1、下颌骨轮廓2、下颌骨轮廓3、下颌骨轮廓4、下颌骨轮廓5、下颌骨轮廓6、上颌骨轮廓1、上颌骨轮廓2、上颌骨轮廓3、上颌骨轮廓4、上颌骨轮廓5、上颌骨轮廓6、上颌骨轮廓7、上颌骨轮廓8、上颌骨轮廓9、上颌骨轮廓10、上颌骨轮廓11、骨联合轮廓1、骨联合轮廓2、骨联合轮廓3和骨联合轮廓4，其预先确定为用于正畸的头部侧面测量标志。
11.如权利要求1所述的方法，其中所述标志预测模型是通过以下方式学习的模型：
接收用于学习的所述医学头部侧面图像，其中针对侧面部区域，预先确定了多个标志的坐标；以及
基于由用于学习的所述医学头部侧面图像中的所述多个标志的坐标形成的形状，预测用于学习的所述医学头部侧面图像中的所述多个标志的坐标。
12.一种用于预测解剖标志的设备，所述设备包括：
接收器，其被配置为接收受试者的医学头部侧面图像；以及
处理器，其连接到所述接收器以与所述接收器通信，
其中所述处理器被配置为使用标志预测模型来预测所述医学头部侧面图像中的标志，所述标志预测模型被配置为预测所述医学头部侧面图像中的标志。
13.如权利要求12所述的设备，其中所述处理器进一步被配置为使用侧面部区域预测模型来预测所述医学头部侧面图像中的侧面部区域的坐标以及使用所述标志预测模型来预测所述侧面部区域中的所述标志，所述侧面部区域预测模型被配置为预测所述医学头部侧面图像中的所述侧面部区域。
14.如权利要求13所述的设备，其中所述处理器进一步被配置为：使用所述标志预测模型，基于所述医学头部侧面图像和所述侧面部区域的坐标，预测所述侧面部区域中的所述标志的x轴和y轴坐标；创建包括所述标志和所述x轴和y轴坐标的xml、json和csv文件中的至少一个文件；以及基于所述医学头部侧面图像和所述xml、json和csv文件中的至少一个文件，提供具有在所述医学头部侧面图像中标记的所述标志的位置的图像。
15.如权利要求12所述的设备，所述设备进一步包括测量器，所述测量器被配置为基于所述标志来测量选自所述受试者的颌面框架的尺寸、所述颌面框架的生长方向和成组牙齿的突出程度中的至少一个。
16.如权利要求12所述的设备，所述设备进一步包括：数据预处理器，所述数据预处理器被配置为在接收的所述医学头部侧面图像为RGB彩色图像时将所述医学头部侧面图像转换为单色图像以及将所述单色图像矢量化。
17.如权利要求16所述的设备，其中所述数据预处理器被配置为分别计算选自所述单色图像的多个像素的任何像素与邻近预定像素的所述多个像素之间的亮度差值，以及将所述单色图像朝向邻近的所述多个像素中的相比所述预定像素具有最大亮度差值的像素矢量化。
18.如权利要求12所述的设备，其中所述标志预测模型是基于梯度增强算法来预测所述医学头部侧面图像中的所述标志的学习模型，以及
所述侧面部区域预测模型是基于支持向量机算法来预测所述医学头部侧面图像中的所述侧面部区域的学习模型。
CN201910686937.1A 2018-07-27 2019-07-29 预测解剖标志的方法和使用该方法预测解剖标志的设备 Pending CN110782974A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180088078A KR101952887B1 (ko) 2018-07-27 2018-07-27 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
KR10-2018-0088078 2018-07-27

Publications (1)

Publication Number Publication Date
CN110782974A true CN110782974A (zh) 2020-02-11

Family

ID=66846911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910686937.1A Pending CN110782974A (zh) 2018-07-27 2019-07-29 预测解剖标志的方法和使用该方法预测解剖标志的设备

Country Status (3)

Country Link
US (1) US11087871B2 (zh)
KR (1) KR101952887B1 (zh)
CN (1) CN110782974A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8075533B2 (en) * 2005-05-02 2011-12-13 Preventiv, Inc. Autoflush syringe
EP3380859A4 (en) * 2015-11-29 2019-07-31 Arterys Inc. AUTOMATED SEGMENTATION OF CARDIAC VOLUME
US10902598B2 (en) 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN108038877B (zh) * 2017-09-01 2022-05-20 深圳市菲森科技有限公司 一种可视化头影测量方法、系统和计算机处理设备
US11551353B2 (en) 2017-11-22 2023-01-10 Arterys Inc. Content based image retrieval for lesion analysis
WO2020142746A1 (en) * 2019-01-03 2020-07-09 Camerad Technologies Systems and methods for radiologic and photographic imaging of patients
KR102302249B1 (ko) * 2019-11-07 2021-09-16 부산대학교 산학협력단 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법
KR102379470B1 (ko) * 2019-12-11 2022-03-29 오스템임플란트 주식회사 측모두부 영상에 기초한 자동 진단 장치 및 방법
KR20210098683A (ko) * 2020-02-03 2021-08-11 (주)어셈블써클 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
US10898298B1 (en) * 2020-04-08 2021-01-26 Oxilio Ltd Systems and methods for determining orthodontic treatment
KR102334480B1 (ko) 2020-04-16 2021-12-06 이마고웍스 주식회사 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
KR102386828B1 (ko) * 2020-10-28 2022-04-14 부산대학교 산학협력단 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법
KR102438737B1 (ko) * 2021-02-16 2022-09-02 연세대학교 산학협력단 교합평면 제안 장치 및 제안 방법
CN113487597B (zh) * 2021-07-23 2023-08-29 四川大学 一种正畸术后侧貌预测方法、装置、电子设备及存储介质
KR102516945B1 (ko) * 2022-03-24 2023-04-03 주식회사 쓰리디오엔에스 인공지능 기반의 두경부 랜드마크 검출 방법 및 장치
KR102470875B1 (ko) * 2022-05-13 2022-11-25 주식회사 쓰리디오엔에스 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램
KR20230160995A (ko) * 2022-05-17 2023-11-27 주식회사 애마슈 3차원 볼륨 영상으로부터 랜드마크를 검출하기 위한 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297139A (zh) * 2000-08-08 2001-05-30 银川市口腔医院 数字化曲面全景x光机头影测量方法
CN1998022A (zh) * 2004-06-25 2007-07-11 麦迪西姆有限公司 用来驱动用于正颌手术的治疗计划的方法及其器械
US20080260219A1 (en) * 2006-12-07 2008-10-23 Jens Witte Automatically determining landmarks on anatomical structures
CN102754128A (zh) * 2009-11-25 2012-10-24 登塔尔图像科技公司 X射线图像中的标志识别和处理
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
US20180184989A1 (en) * 2016-12-30 2018-07-05 Carestream Health, Inc. Method for cephalometric analysis

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840247B2 (en) * 2002-09-16 2010-11-23 Imatx, Inc. Methods of predicting musculoskeletal disease
US9259291B2 (en) * 2007-10-03 2016-02-16 Cyber-Implants, LLC Assisted dental implant treatment and replication system
WO2013076927A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 診断支援装置および診断支援方法
JP2013162921A (ja) * 2012-02-13 2013-08-22 Tokyo Institute Of Technology 画像処理装置、画像処理方法、および画像処理プログラム
RU2530220C1 (ru) * 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
FI20145644A (fi) * 2014-07-02 2016-01-03 Nexstim Oy Asennonmäärityslaite
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
KR102475822B1 (ko) * 2015-07-10 2022-12-09 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
ES2915563T3 (es) * 2016-12-30 2022-06-23 Carestream Dental Tech Topco Ltd Reconstrucción de un volumen virtual de tomografía computarizada para seguir la evolución del tratamiento de ortodoncia
US10182771B2 (en) * 2017-02-10 2019-01-22 Siemens Healthcare Gmbh Method and system for dose-optimized computed tomography scanning of a target organ
US10373313B2 (en) * 2017-03-02 2019-08-06 Siemens Healthcare Gmbh Spatially consistent multi-scale anatomical landmark detection in incomplete 3D-CT data
CN110996785B (zh) * 2017-05-22 2023-06-23 吉尼泰西斯有限责任公司 生物电磁场中异常的机器判别
WO2019008772A1 (ja) * 2017-07-07 2019-01-10 りか 高木 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297139A (zh) * 2000-08-08 2001-05-30 银川市口腔医院 数字化曲面全景x光机头影测量方法
CN1998022A (zh) * 2004-06-25 2007-07-11 麦迪西姆有限公司 用来驱动用于正颌手术的治疗计划的方法及其器械
US20080260219A1 (en) * 2006-12-07 2008-10-23 Jens Witte Automatically determining landmarks on anatomical structures
CN102754128A (zh) * 2009-11-25 2012-10-24 登塔尔图像科技公司 X射线图像中的标志识别和处理
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
US20180184989A1 (en) * 2016-12-30 2018-07-05 Carestream Health, Inc. Method for cephalometric analysis

Also Published As

Publication number Publication date
US11087871B2 (en) 2021-08-10
US20200035351A1 (en) 2020-01-30
KR101952887B1 (ko) 2019-06-11

Similar Documents

Publication Publication Date Title
CN110782974A (zh) 预测解剖标志的方法和使用该方法预测解剖标志的设备
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
Chen et al. Machine learning in orthodontics: Introducing a 3D auto-segmentation and auto-landmark finder of CBCT images to assess maxillary constriction in unilateral impacted canine patients
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
CN103443827B (zh) 用于提供面部调节图像的方法和系统
Cevidanes et al. Cranial base superimposition for 3-dimensional evaluation of soft-tissue changes
RU2725280C1 (ru) Приспособления и методы планирования ортодонтического лечения
Bulatova et al. Assessment of automatic cephalometric landmark identification using artificial intelligence
US10339649B2 (en) Method and system for hybrid mesh segmentation
Kroon Segmentation of the mandibular canal in cone-beam CT data.
CN110612069A (zh) 动态牙弓图
Leonardi et al. Fully automatic segmentation of sinonasal cavity and pharyngeal airway based on convolutional neural networks
CN111683602A (zh) 正畸应用中的优化方法
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
KR20190107683A (ko) 두부 계측 분석 방법
EP4074259A1 (en) Method and apparatus for automatically detecting feature points of three-dimensional medical image data by using deep learning
Ahn et al. Automated analysis of three-dimensional CBCT images taken in natural head position that combines facial profile processing and multiple deep-learning models
Tanikawa et al. Objective classification of nose–lip–chin profiles and their relation to dentoskeletal traits
KR20200012707A (ko) 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
Ólafsdóttir et al. Computational mouse atlases and their application to automatic assessment of craniofacial dysmorphology caused by the Crouzon mutation Fgfr2C342Y
CN113017868B (zh) 一种正畸前后头颅侧位片配准方法及设备
KR102372962B1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
US11488305B2 (en) Segmentation device
KR102377629B1 (ko) 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법
US20230419631A1 (en) Guided Implant Surgery Planning System and Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200211