CN116630338A - 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法 - Google Patents

基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法 Download PDF

Info

Publication number
CN116630338A
CN116630338A CN202210129011.4A CN202210129011A CN116630338A CN 116630338 A CN116630338 A CN 116630338A CN 202210129011 A CN202210129011 A CN 202210129011A CN 116630338 A CN116630338 A CN 116630338A
Authority
CN
China
Prior art keywords
tooth
patient
image
exposed
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210129011.4A
Other languages
English (en)
Inventor
沈飞鸿
郁雯科
封小霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Chaohou Information Technology Co ltd
Original Assignee
Hangzhou Chaohou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Chaohou Information Technology Co ltd filed Critical Hangzhou Chaohou Information Technology Co ltd
Priority to CN202210129011.4A priority Critical patent/CN116630338A/zh
Publication of CN116630338A publication Critical patent/CN116630338A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本申请的一方面提供了一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：获取正畸治疗前患者的露齿口部区域图像；利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。

Description

基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法
技术领域
本申请总体上涉及基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法。
背景技术
当今，越来越多的人开始了解到，牙科正畸治疗不仅利于健康，还能提升个人形象。对于不了解牙科正畸治疗的患者，如果能够在治疗前向其展示治疗完成时牙齿和面部的外观，就可以帮助其建立对治疗的信心，同时促进正畸医生与患者之间的沟通。
因此，有必要提供一种用于产生患者牙齿排齐的面部图像的方法，以模拟牙科正畸治疗的效果。
发明内容
本申请的一方面提供了一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：获取正畸治疗前患者的露齿口部区域图像；利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。
在一些实施方式中，所述口部区域图像包括鼻尖。
在一些实施方式中，所述解码器网络是以下之一：StyleGAN网络及其变种。
在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：获取正畸治疗前所述患者的露齿正脸照；以及自所述正畸治疗前患者的露齿正脸照截取所述正畸治疗前患者的露齿口部区域图像。
在一些实施方式中，所述正畸治疗前患者的露齿口部区域图像是利用经训练的第一目标检测网络自所述正畸治疗前患者的露齿正脸照截取。
在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：自所述患者牙齿排齐的口部区域图像截取唇部区域图像；以及将所述唇部区域图像覆盖至所述正畸治疗前患者的露齿正脸照的对应位置，获得所述患者牙齿排齐的露齿正脸图像。
在一些实施方式中，所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法还包括：利用泊松融合方法将所述唇部区域图像和所述正畸治疗前患者的露齿正脸照进行融合操作，得到所述患者牙齿排齐的露齿正脸图像。
在一些实施方式中，所述唇部区域图像是外包唇部区域的矩形框内的图像。
在一些实施方式中，所述唇部区域图像是由经训练的第二目标检测网络自所述牙齿排齐的口部区域图像截取。
本申请的又一方面提供了一种用于产生患者牙齿排齐的露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行所述基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的方法。
附图说明
通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本公开内容的上述和其他特征。应当理解，这些附图仅描绘了本公开内容的若干实施方式，因此不应认为是对本公开内容范围的限定，通过采用附图，本公开内容将会得到更加明确和详细地说明。
图1为本申请一个实施例中基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法的示意性流程图；
图2为本申请一个实施例中的用于产生患者牙齿排齐的露齿脸部图像的计算机程序的一个界面所展示的一个例子中的患者露齿微笑正脸照；
图3为所述计算机程序的示意性模块图；
图4A为所述计算机程序的一个界面所展示的由目标检测网络自图2所示患者露齿正脸照片截取的口部区域图像；
图4B为所述计算机程序的一个界面所展示的由解码器网络基于特征矩阵产生的牙齿排齐的口部区域图像；
图5为所述计算机程序的一个界面所展示的自图4B所示牙齿排齐的口部区域图像截取得到的嘴唇区域图像；以及
图6为所述计算机程序的一个界面所展示的将图5所示的嘴唇区域图像融合至图2所示患者露齿微笑正脸照得到的患者牙齿排齐的露齿微笑正脸图像。
具体实施方式
在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的例示说明性实施方式不意在限定。在不偏离本文所述的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。应该很容易理解，可以对本文中一般性描述的、在附图中图解说明的本公开内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都在明确设想之中，并构成本公开内容的一部分。
本申请的一方面提供了一种基于生成对抗网络(Generative AdversarialNetwork，简称GAN)产生牙科正畸治疗效果图像的方法，基于牙科正畸治疗前患者的露齿脸部照片，产生患者牙齿排齐的露齿脸部图像，以模拟牙科正畸治疗的效果。
生成对抗网络通常包括一个生成器和一个判别器，前者用于根据随机噪声数据生成逼真的随机样本，后者用于鉴别样本是真实的还是生成器生成的。
请参图1，为本申请一个实施例中的基于生成对抗网络产生牙科正畸治疗效果图像的方法100的示意性流程图。
在一个实施例中，所述基于生成对抗网络产生牙科正畸治疗效果图像的方法100由计算机执行，本申请的又一方面提供了一种用于产生牙齿排齐的患者露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行所述基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的方法100。
在101中，获取牙科正畸治疗前患者的露齿脸部照片。
由于人们通常比较在意露齿微笑时的形象，因此，在一个实施例中，牙科正畸治疗前患者的露齿脸部照片可以是患者露齿微笑时完整的脸部正面照片，相应地，所产生的将是患者牙齿排齐的露齿微笑的完整的脸部正面照片。在本申请的启示下，可以理解，牙科正畸治疗前患者露齿的脸部照片也可以是部分脸部的照片，照片的角度也可以是除正面外的其他角度，相应地，所产生的图像的范围和角度也将随之改变。
请参图2，为所述计算机程序的一个界面所展示的一个例子中的牙科正畸治疗前患者的露齿脸部照片。为保护患者隐私，将该照片中患者的眼睛部位进行遮蔽处理。
在103中，从所述牙科正畸治疗前患者的露齿脸部照片中截取口部区域图像。
相较于完整的人脸照片，口部区域图片特征较少，仅基于口部区域图片进行后续处理，能够简化运算，使后续深度神经网络更容易学习同时更加鲁棒。
在一个实施例中，口部区域图像包括鼻尖。本申请的发明人经过测试和观察发现神经网络一方面能够根据鼻尖的油光推理出环境光照情况，生成相应的牙齿光泽，另一方面还能够根据鼻尖推理出面中线的位置，使得所产生的牙齿排齐的口部区域图像的牙中线尽量与面中线对齐。
在一个实施例中，可以利用目标检测网络预测口部区域的位置，并基于此截取口部区域图像。
请参图3，为本申请一个实施例中的基于生成对抗网络的用于产生牙科正畸治疗效果图像的计算机程序200的示意性模块图，其包括目标检测网络201、编码器网络203、解码器网络205、裁剪模块207以及融合模块209。
目标检测网络201可以是任何适用的目标检测网络，例如，YOLOv5、YOLOv4、YOLOv3、SSD(Single Shot MultiBox Detector)、Faster R-CNN、DETR(DetectionTransformer)等。
在一个实施例中，所述目标检测网络201以方框选取口部区域。在一个实施例中，对于同一张患者露齿脸部照片，所述目标检测网络201产生多个口部区域预测结果，每一预测结果可以包括方框中心坐标、嘴角坐标横向差值以及置信度，并选取置信度最高的预测结果作为输出。
请参图4A，为所述计算机程序的一个界面所展示的由所述目标检测网络自图2所示患者露齿正脸照片截取的口部区域图像。
在105中，利用所述经训练的编码器网络，基于所述口部区域图像，产生特征矩阵。
在一些实施例中，所述编码器网络203可以采用e4e网络架构、pSp网络架构、GANEnsembling网络架构或任何其他适用的编码器网络。
在一个实施例中，所述口部区域图像的尺寸可以是256*256像素，其包含12种不同的特征，每种特征可以是长度为256的特征向量，相应地，所述特征矩阵是12*256的特征矩阵。可以理解，所述特征矩阵的尺寸，包括特征种类数量和每种特征的长度可以随图像尺寸和网络结构进行调整。
在107中，利用所述经训练的解码器网络，基于所述特征矩阵，产生牙齿排齐的口部区域图像。
在一个实施例中，所述解码器网络205可以是StyleGAN网络或BigGAN网络，也可以是CycleGAN网络或Pix2Pix网络。可以理解，本申请所指的StyleGAN网络包括其各种变种，例如，StyleGAN、StyleGAN2、StyleGAN3、StyleGAN2-ADA等。
请参图4B，为所述计算机程序的一个界面所展示的由所述解码器网络205基于所述特征矩阵产生的牙齿排齐的口部区域图像。
所述解码器网络205构成了生成对抗网络的生成部分(Generator)的主要部分。
在一个实施例中，可以先训练所述解码器网络205，例如，对于StyleGAN网络及其变种而言，可以采用真实的口部区域图像(例如，牙齿未排齐的口部区域图像)对所述解码器网络205进行训练。在完成所述解码器网络205的训练之后，将所述编码器网络203和解码器网络205作为一个整体，对所述编码器网络203进行训练。在一个实施例中，可以用真实的口部区域图像(例如，牙齿未排齐的口部区域图像)作为输入，训练所述编码器网络203。
此时获得的牙齿排齐的口部区域图像中嘴唇以外部分(例如，鼻子部分)的细节可能与原照片中不完全一致，若将整张牙齿排齐的口部区域图像覆盖至原照片的对应位置，可能使得合成图像的覆盖区域与周围区域衔接不够自然。因此，在一个实施例中，可以自所述牙齿排齐的口部区域图像中截取正好覆盖嘴唇区域的矩形框内的图像，用以覆盖至原照片中的对应位置。
在109中，自所述牙齿排齐的口部区域图像截取嘴唇区域图像。
所述嘴唇区域图像的截取是由所述裁剪模块207完成。在一个实施例中，所述裁剪模块207可以采用与所述目标检测网络201相同的网络。在一个实施例中，所述嘴唇区域图像是覆盖嘴唇区域的矩形框内的图像。
请参图5，为所述计算机程序的一个界面所展示的自所述牙齿排齐的口部区域图像截取得到的嘴唇区域图像。
在111中，将所述嘴唇区域图像融合进所述正畸治疗前患者露齿脸部照片。
在一个实施例中，可以将所述嘴唇区域图像覆盖至所述正畸治疗前患者露齿脸部照片的对应位置，以得到牙齿排齐的患者露齿脸部图像。
在一个实施例中，为了减少图片拼接处的违和感，可以对两张图片进行融合操作。所述融合操作由所述融合模块209实现。在一个实施例中，可以采用泊松融合算法进行所述融合操作。
请参图6，为所述计算机程序的一个界面所展示的经所述融合处理得到的牙齿排齐的露齿脸部图片。
利用本申请的方法产生的患者牙齿排齐的露齿脸部图片与实际的牙齿正畸治疗结果接近，能够有效地帮助患者建立对治疗的信心，同时促进正畸医生与患者的沟通。
在本申请的启示下，可以理解，虽然，患者牙齿排齐的完整露齿脸部图片能够让患者较好地了解治疗效果，但这并不是必需的。一些情况下，牙齿排齐的口部区域图片就足以让患者了解治疗效果。
尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。
同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

Claims (10)

1.一种计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，包括：
获取正畸治疗前患者的露齿口部区域图像；
利用经训练的编码器网络，基于所述口部区域图像，产生特征矩阵；以及
利用经训练的解码器网络，基于所述特征矩阵，产生所述患者牙齿排齐的口部区域图像，其中，所述解码器网络构成对抗生成网络的生成器的主要部分。
2.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述口部区域图像包括鼻尖。
3.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述解码器网络是以下之一：StyleGAN网络及其变种。
4.如权利要求1所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：
获取正畸治疗前所述患者的露齿正脸照；以及
自所述正畸治疗前患者的露齿正脸照截取所述正畸治疗前患者的露齿口部区域图像。
5.如权利要求4所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述正畸治疗前患者的露齿口部区域图像是利用经训练的第一目标检测网络自所述正畸治疗前患者的露齿正脸照截取。
6.如权利要求4所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：
自所述患者牙齿排齐的口部区域图像截取唇部区域图像；以及
将所述唇部区域图像覆盖至所述正畸治疗前患者的露齿正脸照的对应位置，获得所述患者牙齿排齐的露齿正脸图像。
7.如权利要求6所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，它还包括：利用泊松融合方法将所述唇部区域图像和所述正畸治疗前患者的露齿正脸照进行融合操作，得到所述患者牙齿排齐的露齿正脸图像。
8.如权利要求6所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述唇部区域图像是外包唇部区域的矩形框内的图像。
9.如权利要求8所述的计算机执行的基于对抗生成网络产生患者牙齿排齐的露齿脸部图像的方法，其特征在于，所述唇部区域图像是由经训练的第二目标检测网络自所述牙齿排齐的口部区域图像截取。
10.一种用于产生患者牙齿排齐的露齿脸部图像的计算机系统，其包括处理器和存储装置，所述存储装置存储有一计算机程序，当其被所述处理器运行后，所述处理器将执行如权利要求1所述的基于生成对抗网络产生牙齿排齐的患者露齿脸部图像的方法。
CN202210129011.4A 2022-02-11 2022-02-11 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法 Pending CN116630338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210129011.4A CN116630338A (zh) 2022-02-11 2022-02-11 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210129011.4A CN116630338A (zh) 2022-02-11 2022-02-11 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法

Publications (1)

Publication Number Publication Date
CN116630338A true CN116630338A (zh) 2023-08-22

Family

ID=87615764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210129011.4A Pending CN116630338A (zh) 2022-02-11 2022-02-11 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法

Country Status (1)

Country Link
CN (1) CN116630338A (zh)

Similar Documents

Publication Publication Date Title
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9563975B2 (en) Makeup support apparatus and method for supporting makeup
JP4085959B2 (ja) 物体検出装置、物体検出方法、および記録媒体
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
JP6910772B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
JP2009194644A (ja) 画像処理装置，画像処理方法及び撮像装置
JPWO2016002152A1 (ja) 個人情報に配慮した画像処理システム、画像処理方法及びプログラム記憶媒体
WO2018180578A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
KR20210103998A (ko) 시계의 착용자의 안면 인식을 위한 방법
US20220084653A1 (en) Method for generating image of orthodontic treatment outcome using artificial neural network
US20210267716A1 (en) Method for simulating a dental situation
WO2017173578A1 (zh) 一种图像增强方法及装置
US20230222750A1 (en) Method and device for three-dimensional reconstruction of a face with toothed portion from a single image
CN114586069A (zh) 用于生成牙科图像的方法
CN116074618B (zh) 防止人像信息泄露的智慧拍照服务方法、系统及存储介质
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN116630338A (zh) 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法
CN111083345B (zh) 独照生成装置和方法及其非易失性计算机可读媒体
CN116630149A (zh) 基于对抗生成网络生成患者牙齿排齐的露齿脸部图像的方法
CN112734657B (zh) 基于人工智能和三维模型的云合影方法、装置及存储介质
JP2019133276A (ja) 画像処理システム、端末
WO2022153340A3 (en) System and method for facial and dental photography, landmark detection and mouth design generation
EP3629301A1 (en) Rendering a dental model in an image
CN111582120A (zh) 用于捕捉眼球活动特征的方法、终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication