CN113487597B - 一种正畸术后侧貌预测方法、装置、电子设备及存储介质 - Google Patents

一种正畸术后侧貌预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113487597B
CN113487597B CN202110842228.5A CN202110842228A CN113487597B CN 113487597 B CN113487597 B CN 113487597B CN 202110842228 A CN202110842228 A CN 202110842228A CN 113487597 B CN113487597 B CN 113487597B
Authority
CN
China
Prior art keywords
side image
image
orthodontic
prediction
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110842228.5A
Other languages
English (en)
Other versions
CN113487597A (zh
Inventor
李沛霖
薛思言
潘珮玥
赵志河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110842228.5A priority Critical patent/CN113487597B/zh
Publication of CN113487597A publication Critical patent/CN113487597A/zh
Application granted granted Critical
Publication of CN113487597B publication Critical patent/CN113487597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请提供一种正畸术后侧貌预测方法、装置、电子设备及存储介质。该方法包括：获取患者的第一侧貌图像；其中，第一侧貌图像为患者在正畸手术前的侧貌图像；将第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域；将第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，第三侧貌图像为患者正畸手术后的侧貌预测图像。通过上述方式得到的预测结果避免了依据某个固定的软硬组织的改变比率进行预测，提高了正畸术后侧貌软组织可视化预测的精确度。

Description

一种正畸术后侧貌预测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种正畸术后侧貌预测方法、装置、电子设备及存储介质。
背景技术
美观需求是多数正畸患者初次就诊的主诉，美观不仅包括牙列的整齐，也包括颜面的美观。医生对患者正畸术后颜面变化的预判不仅直接影响了医生对方案的决策和治疗的效果，例如采取非减数或减数拔牙矫治，同时也影响了患者对方案的接受意愿。此外，常规的言语交流难以达到直观的呈现效果，导致患者和医生的预期可能存在较大的误差，成为医患纠纷的原因之一。精确预测正畸治疗后的侧貌改变，从而制定个性化的最佳正畸方案是临床难点问题。
目前的正畸疗效可视化预测方法和软件通常依据某个固定的软硬组织的改变比率进行预测，但这一比率尚无统一的结论，且个体间的差异较大，因此现有的预测方法和软件的准确率低。
发明内容
本申请实施例的目的在于提供一种正畸术后侧貌预测方法、装置、电子设备及存储介质，以改善“目前的正畸疗效可视化预测方法和软件通常依据某个固定的软硬组织的改变比率进行预测，预测准确率低”的问题。
本发明是这样实现的：
第一方面，本申请实施例提供一种正畸术后侧貌预测方法，包括：获取患者的第一侧貌图像；其中，所述第一侧貌图像为所述患者在正畸手术前的侧貌图像；将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，所述第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域；将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，所述第三侧貌图像为所述患者正畸手术后的侧貌预测图像。
在本申请实施例中，预先训练好用于识别人脸的耳部区域、鼻部区域、额部区域、眼部区域、下巴区域的面部位点识别模型，以及预先训练好用于对患者的侧貌进行预测的预测模型，进而使得当获取到患者的侧貌图像后，能够先通过面部位点识别模型对面部位点进行识别，再将识别后的侧貌图像输入至预测模型中即可完成对患者正畸术后的侧貌的预测。通过上述方式得到的预测结果避免了依据某个固定的软硬组织的改变比率进行预测，提高了正畸术后侧貌软组织可视化预测的精确度。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像，包括：将所述第一侧貌图像进行预处理，并将预处理后的第一侧貌图像输入至所述面部位点识别模型中，得到所述第二侧貌图像；其中，所述预处理后的第一侧貌图像的尺寸与所述面部位点识别模型的输入层的尺寸相同；相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：将所述第二侧貌图像进行预处理，并将预处理后的第二侧貌图像输入至所述预测模型中，得到所述第三侧貌图像；其中，预处理后的第二侧貌图像的尺寸与所述预测模型的输入层的尺寸相同，且所述预处理后的第二侧貌图像的尺寸小于所述预处理后的第一侧貌图像的尺寸。
在本申请实施例中，在获取到患者的第一侧貌图像后，对第一侧貌图像进行预处理，以使得第一侧貌图像的尺寸与面部位点识别模型的输入层的尺寸相同，通过该方式有助于面部位点识别模型对第一侧貌图像的像素点的特征提取和识别。相应的，在得到通过面部位点识别模型输出的第二侧貌图像后，对第二侧貌图像进行预处理，以使得第二侧貌图像的尺寸与预测模型的输入层的尺寸相同，通过该方式有助于预测模型对第二侧貌图像的像素点的特征提取和识别。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述第二侧貌图像进行预处理，包括：确定同时包含所述耳部区域、所述鼻部区域、所述额部区域、所述眼部区域以及所述下巴区域五个区域中的最小区域的边界；其中，所述边界包括第一X轴垂线、第二X轴垂线、第一Y轴垂线及第二Y轴垂线；所述第一X轴垂线经过该五个区域中X轴坐标最大的点，所述第二X轴垂线经过该五个区域中X轴最小的点，所述第一Y轴垂线经过该五个区域中Y轴坐标最大的点，所述第二Y轴垂线经过该五个区域中Y轴坐标最小的点；基于所述边界对所述第二侧貌图像进行分割；将分割后的第二侧貌图像的尺寸调整为所述预测模型的输入层的尺寸。
在本申请实施例中，对第二侧貌图像的预处理过程还包括对第二侧貌图像的分割，分割出主要的人脸区域来进行容貌的预测，通过该方式，避免了其他区域(如头发区域、背景区域)对后续预测的干扰，提高预测的准确性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述基于所述边界对所述第二侧貌图像进行分割，包括：将所述边界扩大预设尺寸后对所述第二侧貌图像进行分割。
本申请实施例中，是将边界扩大预设尺寸后进行的分割。通过该方式，能够避免分割主要的人脸区域时将部分临界区域切除，保证了主要的人脸区域的完整性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，在所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像之后，所述方法还包括：将所述第三侧貌图像输入至所述面部位点识别模型中，得到第四侧貌图像；其中，所述第四侧貌图像包括识别出的耳部区域和鼻部区域；以所述第四侧貌图像的耳部区域的纵坐标最小点和所述第四侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第四侧貌图像分割为上下两部分；以所述第二侧貌图像的耳部区域的纵坐标最小点和所述第二侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第二侧貌图像分割为上下两部分；将所述第四侧貌图像分割后的下部分与所述第二侧貌图像分割后的上部分进行图像融合，得到第五侧貌图像。
由于正畸过程中，主要改变的患者鼻耳连线以下的区域，而鼻耳连线以上区域通常是不会变化的，因此，在得到经预测模型的初步预测结果，即得到第三侧貌图像之后，再将第三侧貌图像输入至面部位点识别模型中，识别出耳部区域和鼻部区域的第四侧貌图像；然后以第四侧貌图像的耳部区域的纵坐标最小点和第四侧貌图像的鼻部区域的纵坐标最小点的连线，将第四侧貌图像分割为上下两部分；以及以第二侧貌图像的耳部区域的纵坐标最小点和第二侧貌图像的鼻部区域的纵坐标最小点的连线，将第二侧貌图像分割为上下两部分；最后将第四侧貌图像分割后的下部分与第二侧貌图像分割后的上部分进行图像融合，以得到更加符合正畸术后变化的第五侧貌图像。通过上述方式进一步的提高了预测患者正畸术后样貌变化的准确性和可靠性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，在所述获取患者的第一侧貌图像之后，所述方法还包括：接收用户输入的所述患者的正畸治疗方案类型；基于所述患者的正畸治疗方案类型，确定出与所述患者的正畸治疗方案类型对应的目标预测模型；相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：将所述第二侧貌图像输入至所述目标预测模型，得到所述第三侧貌图像。
在本申请实施例中，首先接收患者输入的正畸治疗方案类型，以便根据患者的正畸治疗方案类型选择对应的预测模型实现侧貌的预测。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤生成所述面部位点识别模型：获取训练样本图像；其中，所述训练样本图像为人脸侧貌图像；将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的预测识别区域；基于所述预测识别区域以及预先在所述训练样本图像上的标注区域计算损失值，并基于所述损失值对所述初始模型进行更新，生成所述面部位点识别模型。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤生成所述预测模型：获取训练样本图像；其中，所述训练样本图像为样本患者在正畸手术前的侧貌图像，且所述训练样本图像包含识别出的面部位点区域；将所述训练样本图像输入至初始模型中，得到所述训练样本图像的预测结果；基于所述预测结果以及样本患者在正畸手术后的侧貌图像计算损失值，并基于所述损失值对所述初始模型进行更新，生成所述预测模型。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述训练样本图像输入至初始模型中，得到所述训练样本图像的预测结果，包括：将所述训练样本图像以及所述样本患者的正畸治疗方案类型输入至所述初始模型中，得到所述训练样本图像的预测结果；相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：将所述第二侧貌图像以及所述患者的正畸治疗方案类型输入至所述预测模型中，得到所述第三侧貌图像。
在本申请实施例中，可以结合患者的正畸治疗方案类型数据对预测模型进行训练学习，进而使得仅通过训练好的一个预测模型即可完成对通过不同的正畸手术治疗的患者的侧貌的有效预测，而无需训练多个预测模型。
第二方面，本申请实施例提供一种正畸术后侧貌预测装置，包括：获取模块，用于获取患者的第一侧貌图像；其中，所述第一侧貌图像为所述患者在正畸手术前的侧貌图像；识别模块，用于将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，所述第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域；预测模块，用于将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，所述第三侧貌图像为所述患者正畸手术后的侧貌预测图像。
第三方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种正畸术后侧貌预测方法的步骤流程图。
图3为本申请实施例提供的另一种正畸术后侧貌预测方法的步骤流程图。
图4为本申请实施例提供的一种正畸术后侧貌预测比较图。
图5为本申请实施例提供的一种正畸术后侧貌预测装置的模块框图。
图标：100-电子设备；110-处理器；120-存储器；200-正畸术后侧貌预测装置；201-获取模块；202-识别模块；203-预测模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于目前的正畸疗效可视化预测方法和软件通常依据某个固定的软硬组织的改变比率进行预测，但这一比率尚无统一的结论，且个体间的差异较大，导致预测准确率低，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供的一种应用正畸术后侧貌预测方法及装置的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、移动上网设备(Mobile Internet Device，MID)、服务器等。在结构上，电子设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
正畸术后侧貌预测装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，正畸术后侧貌预测装置所包括的软件功能模块及计算机程序等，以实现正畸术后侧貌预测方法。处理器110可以在接收到执行指令后，执行计算机程序。
其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
应当理解，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，图2为本申请实施例提供的正畸术后侧貌预测方法的步骤流程图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的正畸术后侧貌预测方法不以图2及以下所示的顺序为限制，该方法包括：步骤S101-步骤S103。
步骤S101：获取患者的第一侧貌图像；其中，第一侧貌图像为患者在正畸手术前的侧貌图像。
步骤S102：将第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域。
步骤S103：将第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，第三侧貌图像为患者正畸手术后的侧貌预测图像。
也即，在本申请实施例中，预先训练好用于识别人脸的耳部区域、鼻部区域、额部区域、眼部区域、下巴区域的面部位点识别模型，以及预先训练好用于对患者的侧貌进行预测的预测模型，进而使得当获取到患者的侧貌图像后，能够先通过面部位点识别模型对面部位点进行识别，再将识别后的侧貌图像输入至预测模型中即可完成对患者正畸术后的侧貌的预测。通过上述方式得到的预测结果避免了依据某个固定的软硬组织的改变比率进行预测，提高了正畸术后侧貌软组织可视化预测的精确度。
以下结合具体的示例对上述正畸术后侧貌预测方法进行说明，为了便于理解该方法，首先对涉及的面部位点识别模型以及预测模型进行说明。
其中，面部位点识别模型通过如下步骤生成，包括：获取训练样本图像；其中，训练样本图像为人脸侧貌图像；将训练样本图像输入至初始模型中，得到训练样本图像中的预测识别区域；基于预测识别区域以及预先在训练样本图像上的标注区域计算损失值，并基于损失值对初始模型进行更新，生成面部位点识别模型。
需要说明的是，人脸侧貌图像可以是患者在正畸手术前的侧貌图像也可以是正常的标准人脸图像，本申请不作限定。面部位点识别模型采用的是yolov3(you only lookonce，一种目标检测算法)网络模型。建立好初始的yolov3网络模型后，输入患者的侧貌图像，模型会输出初步的识别结果(即预测识别区域)，然后将初步的识别结果与预先对图像进行标注的标注区域计算损失，并通过最小化损失值来对模型进行更新，进而得到训练完成的面部位点识别模型。
其中，训练面部位点识别模型采用的损失函数的具体表达式为：
式(1)中，表示损失值，/>表示模型输出的预测的区域(识别结果)的位置信息，ci表示预先对图像进行标注的标注区域的位置信息。
当然，上述的面部位点识别模型可以采用其他任意的具有检测功能的网络，本申请不作限定。
此外，为了有助于面部识别位点模型对输入的训练样本图像的特征提取和识别，于本申请实施例中，在将训练样本图像输入至初始模型中还包括：将训练样本图像进行预处理，并将预处理后的训练样本图像输入至初始模型中进行训练。预处理后的样本图像的尺寸与初始模型的输入层的尺寸相同。需要说明的是，输入层的尺寸可以根据实际情况设定，于本申请实施例中，该尺寸为416*416。也即，在获取到训练样本图像后，对其进行预处理，以使得训练样本图像的尺寸变成416*416的正方形图像。在其他实施例中，该尺寸还可以是640*640，本申请不作限定。
上述的预处理过程具体包括：将训练样本图像进行放缩(即采样)，然后利用黑色像素填补边缘，使之成为与初始模型的输入层的尺寸相同的图像。
需要说明的是，当训练样本图像的尺寸大于初始模型的输入层的尺寸时，上述的放缩过程即为裁剪过程；当训练样本图像的尺寸小于初始模型的输入层的尺寸时，上述的放缩过程即为插值填充过程。
其中，预测模型通过如下步骤生成，包括：获取训练样本图像；其中，训练样本图像为样本患者在正畸手术前的侧貌图像，且训练样本图像包含识别出的面部位点区域；将训练样本图像输入至初始模型中，得到训练样本图像的预测结果；基于预测结果以及样本患者在正畸手术后的侧貌图像计算损失值，并基于损失值对初始模型进行更新，生成预测模型。
需要说明的是，预测模型采用的是pix2pix(一种图像转换算法)网络模型。建立好初始的pix2pix网络模型后，输入包含面部位点区域的侧貌图像，模型会输出初步的预测结果，然后将初步的预测结果与样本患者在正畸手术后的侧貌图像计算损失值，并通过最小化损失值对模型进行更新，进而得到训练完成的预测模型。
在一实施例中，可以针对不同的正畸治疗类型构建不同的预测模型，比如，于本申请实施例中，构建四种不同的预测模块。分别对应四种正畸治疗类型。四种正畸治疗类型分别为4444、0000、4455以及4400。需要解释的是，上述的四组数字表征四种不同的正畸治疗类型。预先通过十字符号将上下牙列分为上下左右四个区，每个区域的恒牙用阿拉伯数字1～8来表示，如4400则表示第一个区域和第二个区域的第四颗牙齿进行正畸矫治，而第三区域和第四区域未进行正畸矫治。
其中，训练预测模型采用的损失函数的具体表达式为：
式(2)中，G*表示损失值，x表示输入的样本患者包含面部位点区域的侧貌图像，y表示样本患者在正畸手术后的侧貌图像；z表示引入的噪声；G(x,y)为预测模型生成的样本患者在正畸手术后的侧貌图像；D(y)表示预测模型中的判别器对于样本患者在正畸手术后的侧貌图像的识别结果；D(G(x,z))表示预测模型中的判别器对于预测模型生成的样本患者在正畸手术后的侧貌图像的识别结果。E表示期望值，具体的，Ey[logD(y)]表示logD(y)关于y的期望值，Ex,y[log(1-D(G(x,z))]表示log(1-D(G(x,z))关于x，y的期望值，Ex,y,z[||y-G(x,y))||1]表示||y-G(x,y))||1关于x，y，z的期望值；λ为一参数，其数值可以是100。
此外，为了有助于预测模型对输入的训练样本图像的特征提取和识别，于本申请实施例中，在将训练样本图像输入至初始模型中还包括：将训练样本图像进行预处理，并将预处理后的训练样本图像输入至初始模型中进行训练。预处理后的样本图像的尺寸与初始模型的输入层的尺寸相同。需要说明的是，输入层的尺寸可以根据实际情况设定，预处理后的第二侧貌图像的尺寸小于预处理后的第一侧貌图像的尺寸，于本申请实施例中，该尺寸为256*256。也即，在获取到训练样本图像后，对其进行预处理，以使得训练样本图像的尺寸变成256*256的正方形图像。在其他实施例中，该尺寸还可以是416*416，本申请不作限定。
上述的预处理过程具体包括：将训练样本图像进行放缩(即采样)，然后利用黑色像素填补边缘，使之成为与初始模型的输入层的尺寸相同的图像。
需要说明的是，当训练样本图像的尺寸大于初始模型的输入层的尺寸时，上述的放缩过程即为裁剪过程；当训练样本图像的尺寸小于初始模型的输入层的尺寸时，上述的放缩过程即为插值填充过程。
此外，为了避免在训练过程中，其他区域(如头发区域、背景区域)对预测模型训练的干扰，提高预测模型训练的可靠性，还可以对训练样本图像进行分割。具体的，由于训练样本图像包含识别出的面部位点区域，面部位点区域包括耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域，因此，可以基于五个区域的边界进行分割。具体分割过程包括：确定同时包含耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域五个区域中的最小区域的边界；其中，边界包括第一X轴垂线、第二X轴垂线、第一Y轴垂线及第二Y轴垂线；第一X轴垂线经过该五个区域中X轴坐标最大的点，第二X轴垂线经过该五个区域中X轴最小的点，第一Y轴垂线经过该五个区域中Y轴坐标最大的点，第二Y轴垂线经过该五个区域中Y轴坐标最小的点；然后基于边界对训练样本图像进行分割。
也即，在获取到训练样本图像后，先根据边界对其进行分割，然后再对其进行放缩，利用黑色像素填补边缘，使之成为与初始模型的输入层的尺寸相同的图像。
此外，为了避免分割主要的人脸区域时将部分临界区域切除，保证了主要的人脸区域的完整性。于本申请实施例中，在分割时，将边界扩大预设尺寸后对训练样本图像进行分割。比如具体的可以是以坐标最大值(包括五个区域中X轴坐标最大值、Y轴坐标最大值)与第一预设值的和以及坐标最小值(包括五个区域中X轴坐标最小值、Y轴坐标最小值)与第二预设值的差对训练样本图像进行分割。
上述的第一预设值和第二预设值均可以根据实际情况而设定，比如第一预设值为10像素尺寸，又比如第一预设值和第二预设值可以根据以五个区域中坐标最大值和坐标最小值的距离而定，具体的，第一预设阈值可以是横坐标最大值与横坐标最小值的距离的0.1倍，第二预设阈值可以是纵坐标最大值和纵坐标最小值的距离的0.1倍。当然，上述的倍数也可以是0.5倍，本申请也不作限定。
可选地，上述的预测模型在训练时还可以结合患者的正畸治疗方案类型，当结合患者的正畸治疗方案类型时，该训练过程为：将训练样本图像以及样本患者的正畸治疗方案类型输入至初始模型中，得到训练样本图像的预测结果，基于预测结果以及样本患者在正畸手术后的侧貌图像计算损失值，并基于损失值对初始模型进行更新，生成预测模型。
需要说明的是，当预测模型结合患者的正畸治疗方案类型时，需要先对患者的正畸治疗方案类型进行归一化处理。
可选地，预测模型也可以是针对一种正畸治疗方案类型所构建的。也即，可以预先训练多个不同的预测模型，每个预测模型用于对一种正畸治疗方案类型后的患者的侧貌进行预测。
在完成上述面部位点识别模型以及预测模型的训练后，即可通过两类模型对患者的正畸术后侧貌进行预测。具体的，在获取到患者在正畸手术前的第一侧貌图像后，先将该图像输入至通过上述方式训练好的面部位点识别模型中，得到识别出耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域的第二侧貌图像，然后将第二侧貌图像输入至通过上述方式训练好的预测模型中，得到对患者正畸术后的侧貌进行预测的第三侧貌图像。
可选地，在实际模型应用中，为了有助于面部位点识别模型对第一侧貌图的特征提取和识别，将第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像，具体包括：将第一侧貌图像进行预处理，并将预处理后的第一侧貌图像输入至所述面部位点识别模型中，得到第二侧貌图像；其中，预处理后的第一侧貌图像的尺寸与面部位点识别模型的输入层的尺寸相同。
相应的，为了有助于预测模型对第二侧貌图像的特征提取和识别，将第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：将第二侧貌图像进行预处理，并将预处理后的第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，预处理后的第二侧貌图像的尺寸与预测模型的输入层的尺寸相同，且预处理后的第二侧貌图像的尺寸小于预处理后的第一侧貌图像的尺寸。
由于上述的预处理过程在前述模型的训练过程中已有说明，为了避免累赘，此处不作重复赘述。
可选地，为了避免在预测模型的应用过程中，其他区域(如头发区域、背景区域)对预测模型预测的干扰，提高预测模型训练的准确性，还可以对第二侧貌图像进行分割。具体的过程包括：确定同时包含耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域五个区域中的最小区域的边界；其中，边界包括第一X轴垂线、第二X轴垂线、第一Y轴垂线及第二Y轴垂线；第一X轴垂线经过该五个区域中X轴坐标最大的点，第二X轴垂线经过该五个区域中X轴最小的点，第一Y轴垂线经过该五个区域中Y轴坐标最大的点，第二Y轴垂线经过该五个区域中Y轴坐标最小的点；然后基于边界对第二侧貌图像进行分割。
也即，在获取到第二侧貌图像后，先对其进行分割，然后再对其进行放缩，利用黑色像素填补边缘，使之成为与初始模型的输入层的尺寸相同的图像。
此外，为了避免分割主要的人脸区域时将部分临界区域切除，保证了主要的人脸区域的完整性。于本申请实施例中，在分割时，将边界扩大预设尺寸后对第二侧貌图像进行分割。比如可以是以坐标最大值(包括五个区域中X轴坐标最大值、Y轴坐标最大值)与第一预设值的和以及坐标最小值(包括五个区域中X轴坐标最小值、Y轴坐标最小值)与第二预设值的差对训练样本图像进行分割。
由于上述的分割过程在前述模型的训练过程中也已有说明，为了避免累赘，此处不作重复赘述。
综上，即可完成患者正畸术后的侧貌预测。但由于正畸过程中，主要改变的患者鼻耳连线以下的区域，而鼻耳连线以上区域通常是不会变化的，因此，在得到经上述预测模型的初步预测结果(即第三侧貌图像)后，还会对第三侧貌图像进行后处理。具体的，请参阅图3，在步骤103之后，该方法还包括步骤S104-步骤S107。
步骤S104：将第三侧貌图像输入至面部位点识别模型中，得到第四侧貌图像；其中，第四侧貌图像包括识别出的耳部区域和鼻部区域。
也即，在得到第三侧貌图像后，继续将该图像输入至面部位点识别模型中，得到识别出耳部区域和鼻部区域的第四侧貌图像。当然，此时的第四侧貌图像中同样包括识别出的眼部区域和下巴区域。
此外，需要说明的是，该步骤中的面部位点识别模型可以是通过前述实施例所训练得到的，也可以是通过其他方式训练得到的模型，比如预先训练仅用于识别耳部区域和鼻部区域的面部位点识别模型。对此，本申请不作限定。
步骤S105：以第四侧貌图像的耳部区域的纵坐标最小点和第四侧貌图像的鼻部区域的纵坐标最小点的连线，将第四侧貌图像分割为上下两部分。
然后，获取两个区域中的纵坐标最小点，并两点的连线，将第四侧貌图像分割为上下两部分。此处主要保存包含预测的侧貌变化的下半部分图像。
步骤S106：以第二侧貌图像的耳部区域的纵坐标最小点和第二侧貌图像的鼻部区域的纵坐标最小点的连线，将第二侧貌图像分割为上下两部分。
然后，以同样的方式，将输入至预测模型之前的第二侧貌图像进行分割，此处主要保存第二侧貌图像的上半部分图像。
步骤S107：将第四侧貌图像分割后的下部分与第二侧貌图像分割后的上部分进行图像融合，得到第五侧貌图像。
最后将第四侧貌图像分割后的下部分与第二侧貌图像分割后的上部分进行图像融合，即可得到更加符合正畸术后变化的第五侧貌图像。通过上述方式进一步的提高了预测患者正畸术后样貌变化的准确性和可靠性。
于本申请实施例中，上述的图像融合方式采用的是拉普拉斯金字塔融合(也称为多分辨率融合算法)。也即，我们将图像分别分解到不同的空间频带上，在各空间频率层上分别进行融合过程，这样就可以针对不同分解层的不同频带上的特征与细节，采用不同的融合算子以达到突出特定频带上特征与细节的目的。即将来自不同图像的特征与细节更好的融合在一起。
本申请实施例所提供正畸术后侧貌预测方法的效果图可以参考图4，图4中从左至右，然后从上至下，依次为患者在正畸手术前的侧貌图像、患者在正畸手术后的侧貌图像，通过步骤S101-步骤S103预测后的图像以及通过步骤S101-步骤S107预测后的图像。
下面结合两种应用场景，对本申请实施例提供的正畸术后侧貌预测方法进行正常说明。
作为第一种应用场景，首先输入患者的侧貌图像以及正畸治疗方案类型。电子设备在接收到正畸治疗方案类型后，首先，选取与该正畸治疗方案类型对应的目标预测模型。然后，先对侧貌图像进行预处理，具体为对该侧貌图像进行放缩(即采样)，并利用黑色像素填补边缘，使之变为尺寸为416*416的图像。然后，将该图像输入至面部位点识别模型中，得到识别出耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域的第二侧貌图像，接着，确定同时包含耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域五个区域中的最小区域的边界，并将该边界扩大预设尺寸后对第二侧貌图像进行分割，再将分割后的图像进行放缩(及采样)，并将其利用黑色像素填补边缘，使之成为尺寸为256*256的图像。然后将处理后的图像输入至目标预测模型中，得到初步的预测结果(即第三预测图像)。然后，再将第三侧貌图像输入至面部位点识别模型中，得到第四侧貌图像；以第四侧貌图像的耳部区域的纵坐标最小点和第四侧貌图像的鼻部区域的纵坐标最小点的连线，将第四侧貌图像分割为上下两部分；再以同样的方式，对输入到目标预测模型之前处理后的第二侧貌图分割为上下两部分；最后将第四侧貌图像分割后的下部分与第二侧貌图像分割后的上部分进行拉普拉斯金字塔融合，即可得到第五侧貌图像，并将该图像输出进行显示。
作为第二种应用场景，首先输入患者的侧貌图像以及正畸治疗方案类型。电子设备先对侧貌图像进行预处理，具体为对该侧貌图像进行放缩(即采样)，并利用黑色像素填补边缘，使之变为尺寸为416*416的图像。然后，将该图像输入至面部位点识别模型中，得到识别出耳部区域、鼻部区域、眼部区域以及下巴区域的第二侧貌图像，接着，确定同时包含耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域五个区域中的最小区域的边界，并将该边界扩大预设尺寸后对第二侧貌图像进行分割，再将分割后的图像进行放缩(及采样)，并将其利用黑色像素填补边缘，使之成为尺寸为256*256的图像。然后将处理后的图像以及预先得到的正畸治疗方案类型输入至预测模型中，得到初步的预测结果(即第三预测图像)。然后，再将第三侧貌图像输入至面部位点识别模型中，得到第四侧貌图像；以第四侧貌图像的耳部区域的纵坐标最小点和第四侧貌图像的鼻部区域的纵坐标最小点的连线，将第四侧貌图像分割为上下两部分；再以同样的方式，对输入到预测模型之前处理后的第二侧貌图分割为上下两部分；最后将第四侧貌图像分割后的下部分与第二侧貌图像分割后的上部分进行拉普拉斯金字塔融合，即可得到第五侧貌图像，并将该图像输出进行显示。
请参阅图5，基于同一发明构思，本申请实施例还提供一种正畸术后侧貌预测装置200，该装置包括：获取模块201、识别模块202以及预测模块203。
获取模块201，用于获取患者的第一侧貌图像；其中，所述第一侧貌图像为所述患者在正畸手术前的侧貌图像。
识别模块202，用于将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，所述第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域。
预测模块203，用于将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，所述第三侧貌图像为所述患者正畸手术后的侧貌预测图像。
可选地，识别模块202具体用于将所述第一侧貌图像进行预处理，并将预处理后的第一侧貌图像输入至所述面部位点识别模型中，得到所述第二侧貌图像；其中，所述预处理后的第一侧貌图像的尺寸与所述面部位点识别模型的输入层的尺寸相同。
相应的，预测模块203具体用于将所述第二侧貌图像进行预处理，并将预处理后的第二侧貌图像输入至所述预测模型中，得到所述第三侧貌图像；其中，预处理后的第二侧貌图像的尺寸与所述预测模型的输入层的尺寸相同，且所述预处理后的第二侧貌图像的尺寸小于所述预处理后的第一侧貌图像的尺寸。
可选地，识别模块202还具体用于确定同时包含所述耳部区域、所述鼻部区域、所述额部区域、所述眼部区域以及所述下巴区域五个区域中的最小区域的边界；其中，所述边界包括第一X轴垂线、第二X轴垂线、第一Y轴垂线及第二Y轴垂线；所述第一X轴垂线经过该五个区域中X轴坐标最大的点，所述第二X轴垂线经过该五个区域中X轴最小的点，所述第一Y轴垂线经过该五个区域中Y轴坐标最大的点，所述第二Y轴垂线经过该五个区域中Y轴坐标最小的点；基于所述边界对所述第二侧貌图像进行分割；将分割后的第二侧貌图像的尺寸调整为所述预测模型的输入层的尺寸。
可选地，识别模块202还具体用于将所述边界扩大预设尺寸后对所述第二侧貌图像进行分割。
可选地，该装置还包括优化模块。优化模块用于在所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像之后，将所述第三侧貌图像输入至所述面部位点识别模型中，得到第四侧貌图像；其中，所述第四侧貌图像包括识别出的耳部区域和鼻部区域；以所述第四侧貌图像的耳部区域的纵坐标最小点和所述第四侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第四侧貌图像分割为上下两部分；以所述第二侧貌图像的耳部区域的纵坐标最小点和所述第二侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第二侧貌图像分割为上下两部分；将所述第四侧貌图像分割后的下部分与所述第二侧貌图像分割后的上部分进行图像融合，得到第五侧貌图像。
可选地，该装置还包括确定模块。确定模块用于在所述获取患者的第一侧貌图像之后，接收用户输入的所述患者的正畸治疗方案类型；基于所述患者的正畸治疗方案类型，确定出与所述患者的正畸治疗方案类型对应的目标预测模型。相应的，预测模块203用于将所述第二侧貌图像输入至所述目标预测模型，得到所述第三侧貌图像。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种正畸术后侧貌预测方法，其特征在于，包括：
获取患者的第一侧貌图像；其中，所述第一侧貌图像为所述患者在正畸手术前的侧貌图像；
将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，所述第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域；
将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，所述第三侧貌图像为所述患者正畸手术后的侧貌预测图像；
在所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像之后，所述方法还包括：
将所述第三侧貌图像输入至所述面部位点识别模型中，得到第四侧貌图像；其中，所述第四侧貌图像包括识别出的耳部区域和鼻部区域；
以所述第四侧貌图像的耳部区域的纵坐标最小点和所述第四侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第四侧貌图像分割为上下两部分；
以所述第二侧貌图像的耳部区域的纵坐标最小点和所述第二侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第二侧貌图像分割为上下两部分；
将所述第四侧貌图像分割后的下部分与所述第二侧貌图像分割后的上部分进行图像融合，得到第五侧貌图像。
2.根据权利要求1所述的正畸术后侧貌预测方法，其特征在于，所述将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像，包括：
将所述第一侧貌图像进行预处理，并将预处理后的第一侧貌图像输入至所述面部位点识别模型中，得到所述第二侧貌图像；其中，所述预处理后的第一侧貌图像的尺寸与所述面部位点识别模型的输入层的尺寸相同；
相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：
将所述第二侧貌图像进行预处理，并将预处理后的第二侧貌图像输入至所述预测模型中，得到所述第三侧貌图像；其中，预处理后的第二侧貌图像的尺寸与所述预测模型的输入层的尺寸相同，且所述预处理后的第二侧貌图像的尺寸小于所述预处理后的第一侧貌图像的尺寸。
3.根据权利要求2所述的正畸术后侧貌预测方法，其特征在于，所述将所述第二侧貌图像进行预处理，包括：
确定同时包含所述耳部区域、所述鼻部区域、所述额部区域、所述眼部区域以及所述下巴区域五个区域中的最小区域的边界；其中，所述边界包括第一X轴垂线、第二X轴垂线、第一Y轴垂线及第二Y轴垂线；所述第一X轴垂线经过该五个区域中X轴坐标最大的点，所述第二X轴垂线经过该五个区域中X轴最小的点，所述第一Y轴垂线经过该五个区域中Y轴坐标最大的点，所述第二Y轴垂线经过该五个区域中Y轴坐标最小的点；
基于所述边界对所述第二侧貌图像进行分割；
将分割后的第二侧貌图像的尺寸调整为所述预测模型的输入层的尺寸。
4.根据权利要求3所述的正畸术后侧貌预测方法，其特征在于，所述基于所述边界对所述第二侧貌图像进行分割，包括：
将所述边界扩大预设尺寸后对所述第二侧貌图像进行分割。
5.根据权利要求1所述的正畸术后侧貌预测方法，其特征在于，在所述获取患者的第一侧貌图像之后，所述方法还包括：
接收用户输入的所述患者的正畸治疗方案类型；所述正畸治疗方案类型包括预先通过十字符号将上下牙列分为上下左右四个区中进行正畸治疗的牙；
基于所述患者的正畸治疗方案类型，确定出与所述患者的正畸治疗方案类型对应的目标预测模型；
相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：
将所述第二侧貌图像输入至所述目标预测模型，得到所述第三侧貌图像。
6.根据权利要求1所述的正畸术后侧貌预测方法，其特征在于，通过如下步骤生成所述面部位点识别模型：
获取训练样本图像；其中，所述训练样本图像为人脸侧貌图像；
将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的预测识别区域；
基于所述预测识别区域以及预先在所述训练样本图像上的标注区域计算损失值，并基于所述损失值对所述初始模型进行更新，生成所述面部位点识别模型。
7.根据权利要求1所述的正畸术后侧貌预测方法，其特征在于，通过如下步骤生成所述预测模型：
获取训练样本图像；其中，所述训练样本图像为样本患者在正畸手术前的侧貌图像，且所述训练样本图像包含识别出的面部位点区域；
将所述训练样本图像输入至初始模型中，得到所述训练样本图像的预测结果；
基于所述预测结果以及样本患者在正畸手术后的侧貌图像计算损失值，并基于所述损失值对所述初始模型进行更新，生成所述预测模型。
8.根据权利要求7所述的正畸术后侧貌预测方法，其特征在于，所述将所述训练样本图像输入至初始模型中，得到所述训练样本图像的预测结果，包括：
将所述训练样本图像以及所述样本患者的正畸治疗方案类型输入至所述初始模型中，得到所述训练样本图像的预测结果；所述正畸治疗方案类型包括预先通过十字符号将上下牙列分为上下左右四个区中进行正畸治疗的牙；
相应的，所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像，包括：
将所述第二侧貌图像以及所述患者的正畸治疗方案类型输入至所述预测模型中，得到所述第三侧貌图像。
9.一种正畸术后侧貌预测装置，其特征在于，包括：
获取模块，用于获取患者的第一侧貌图像；其中，所述第一侧貌图像为所述患者在正畸手术前的侧貌图像；
识别模块，用于将所述第一侧貌图像输入至面部位点识别模型中，得到第二侧貌图像；其中，所述第二侧貌图像中包括识别出的耳部区域、鼻部区域、额部区域、眼部区域以及下巴区域；
预测模块，用于将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像；其中，所述第三侧貌图像为所述患者正畸手术后的侧貌预测图像；
优化模块，用于在所述将所述第二侧貌图像输入至预测模型中，得到第三侧貌图像之后，将所述第三侧貌图像输入至所述面部位点识别模型中，得到第四侧貌图像；其中，所述第四侧貌图像包括识别出的耳部区域和鼻部区域；以所述第四侧貌图像的耳部区域的纵坐标最小点和所述第四侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第四侧貌图像分割为上下两部分；以所述第二侧貌图像的耳部区域的纵坐标最小点和所述第二侧貌图像的鼻部区域的纵坐标最小点的连线，将所述第二侧貌图像分割为上下两部分；将所述第四侧貌图像分割后的下部分与所述第二侧貌图像分割后的上部分进行图像融合，得到第五侧貌图像。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器用于存储程序；
所述处理器用于运行存储在所述存储器中的程序，执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被计算机运行时执行如权利要求1-8中任一项所述的方法。
CN202110842228.5A 2021-07-23 2021-07-23 一种正畸术后侧貌预测方法、装置、电子设备及存储介质 Active CN113487597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110842228.5A CN113487597B (zh) 2021-07-23 2021-07-23 一种正畸术后侧貌预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110842228.5A CN113487597B (zh) 2021-07-23 2021-07-23 一种正畸术后侧貌预测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113487597A CN113487597A (zh) 2021-10-08
CN113487597B true CN113487597B (zh) 2023-08-29

Family

ID=77943558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110842228.5A Active CN113487597B (zh) 2021-07-23 2021-07-23 一种正畸术后侧貌预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113487597B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640830A (zh) * 2016-07-14 2019-04-16 医视特有限公司 基于先例的超声聚焦
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
CN110490065A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 人脸识别方法及装置、存储介质、计算机设备
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111767676A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 用于预测容貌变化操作结果的方法和装置
CN112967285A (zh) * 2021-05-18 2021-06-15 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于深度学习的黄褐斑图像识别方法、系统和装置
CN113052864A (zh) * 2021-03-02 2021-06-29 四川大学 一种基于机器学习的整形手术术后体貌预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640830A (zh) * 2016-07-14 2019-04-16 医视特有限公司 基于先例的超声聚焦
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
CN110490065A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 人脸识别方法及装置、存储介质、计算机设备
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111767676A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 用于预测容貌变化操作结果的方法和装置
CN113052864A (zh) * 2021-03-02 2021-06-29 四川大学 一种基于机器学习的整形手术术后体貌预测方法
CN112967285A (zh) * 2021-05-18 2021-06-15 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于深度学习的黄褐斑图像识别方法、系统和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王弯弯等.耳朵信息对侧脸检测的影响研究.《电子学报》.2018,第46卷(第3期),646-651，摘要，第3-5章. *

Also Published As

Publication number Publication date
CN113487597A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
US11908580B2 (en) Image classification method, computer-readable storage medium, and computer device
JP2021536057A (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
CN111524106A (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CN113240661A (zh) 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
KR102267739B1 (ko) 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN114004793A (zh) 血流特性获取方法、装置、电子设备及存储介质
CN117152442B (zh) 影像靶区自动勾画方法、装置、电子设备和可读存储介质
CN110648318A (zh) 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN113888566A (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN113487597B (zh) 一种正畸术后侧貌预测方法、装置、电子设备及存储介质
CN109166114A (zh) 脊柱椎间隙识别方法、设备、存储介质及装置
CN113689355B (zh) 图像处理方法、装置、存储介质及计算机设备
CN114399494A (zh) 异常细胞检测分割方法、装置、设备及存储介质
WO2021036305A1 (zh) 数据处理方法、装置、设备及存储介质
CN113724237A (zh) 齿痕识别方法、装置、计算机设备及存储介质
CN113379770A (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器
CN113040717A (zh) 一种智能化脸部美容仪
CN117746479A (zh) 图像识别的可视化方法、装置、电子设备及介质
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant