CN116612237A - 基于深度学习和模型配准的面部照片引导头部解剖建模方法 - Google Patents

基于深度学习和模型配准的面部照片引导头部解剖建模方法 Download PDF

Info

Publication number
CN116612237A
CN116612237A CN202310476333.0A CN202310476333A CN116612237A CN 116612237 A CN116612237 A CN 116612237A CN 202310476333 A CN202310476333 A CN 202310476333A CN 116612237 A CN116612237 A CN 116612237A
Authority
CN
China
Prior art keywords
model
image
photo
ssm
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310476333.0A
Other languages
English (en)
Inventor
王洪凯
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202310476333.0A priority Critical patent/CN116612237A/zh
Publication of CN116612237A publication Critical patent/CN116612237A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数字医疗、图像处理技术、数字化建模领域,公开了一种基于深度学习和模型配准的面部照片引导头部解剖建模方法。该方法可以自动处理输入的面部照片,使用卷积神经网络从照片中检测关键的面部特征点,然后执行2D/3D配准来变形有完整头部解剖结构的统计形状模型,以匹配双视图照片。本方法预测了头部内部解剖结构,包括骨骼、肌肉、血管、神经纤维、脂肪、腺体和大脑结构。本方法可通过患者面部照片自动重建出带有重要解剖结构的完整头部模型,实现了在整形外科术前规划中对患者头部三维解剖结构的可视化展示,为医生提供更多参考信息,提高术前规划精度,进而提升手术质量。

Description

基于深度学习和模型配准的面部照片引导头部解剖建模方法
技术领域
本发明属于数字医疗、图像处理技术、数字化建模领域,具体涉及基于深度学习和模型配准的面部照片引导头部解剖建模方法。
背景技术
三维人脸模型重建已广泛应用于电影行业、游戏开发、临床整形外科等。Chen提出的DFDN(Deep Facial Detail Net)从单个正视照片重建个性化的三维人脸模型。为了弥补单视图深度信息的不足,Bai基于NRMVS(Non-Rigid Multi-View Stereo)优化还提出了多视图照片重建方法,提高了3D空间中的重建精度。
尽管在基于照片的人脸模型重建方面取得了进展,但目前的方法只能实现人脸外观的视觉相似建模。从照片重建的人脸模型的准确性不能满足临床手术的要求,目前的研究也缺乏对人脸重建准确性的定量评估。此外,除了重建面部表皮,理想的术前规划还需要对内部解剖结构进行建模,包括多个头部解剖结构,比如骨骼、肌肉、血管、神经纤维、脂肪、腺体和大脑结构等。
为了获取面部外部形状和内部解剖结构,通常使用计算机断层扫描成像(CT)和磁共振成像(MRI)等断层成像设备。然而,断层成像昂贵且CT存在辐射,患者在术前沟通阶段可能不接受这种选择。相比之下,面部照片的获取效率要高得多。因此,基于面部照片或光学表面扫描的3D个性化头部解剖模型的估计可以显著简化术前图像采集过程,并且可以用于不需要高建模精度的场景,例如手术过程演示和近似手术结果模拟。
本发明选择面部照片作为首选,因为光学表面扫描不适合远地的患者与医生沟通。本方法使用深度学习方法来检测面部特征点,然后执行2D/3D配准,将有完整头部解剖结构的可变形统计形状模型(SSM)与正面和侧面照片相匹配。SSM是基于分割的容积CT图像构建的,它包含完整的头部解剖结构,并提供基于外部面部形状对内部结构的合理估计。本方法不仅从个人照片中重建了具有颜色纹理的视觉相似的表皮模型,而且还提供有内部解剖结构的3D模型以辅助整形手术的术前规划。
发明内容
本发明提出一种基于深度学习和模型配准的面部照片引导头部解剖建模方法,该方法可以自动处理输入的面部照片,使用卷积神经网络从照片中检测关键的面部特征点,然后执行2D/3D配准来变形有完整头部解剖结构的统计形状模型,以匹配双视图照片。本方法还预测了头部解剖结构,包括骨骼、肌肉、血管、神经纤维、脂肪、腺体和大脑结构等,实现了在整形外科的术前规划中对患者头部三维解剖结构的可视化展示。
本发明的技术方案如下:
一种基于深度学习和模型配准的面部照片引导头部解剖建模方法,包括步骤如下:
S 1、图像预处理
S 11、背景替换;
首先需要对输入的图像进行背景替换,将输入图像的背景替换成纯黑色的背景;
S12、图像剪裁;
利用卷积神经网络对背景替换后的图像进行人脸特征点检测,包括面部轮廓点和面部标志点;利用检测到的特征点在图像上绘制包围框,框出人脸,然后对图像进行剪裁将人脸部分截取出来;将剪裁后的图像像素统一为256*256;
S2、统计形状模型初始化;
S21、统计形状模型SSM;
统计形状模型SSM是基于计算机断层扫描图像的训练集构建的可变形头部图谱,可变形头部图谱包括面部肌肉、颅骨、血管、脂肪、神经、腺体和大脑等结构。统计形状模型SSM表示为平均形状加上不同形状变化模式的线性组合:
其中,X是统计形状模型SSM变形后的结果;X表示为包含k个网格顶点的三维坐标的形状向量(x1,y1,z1,x2,y2,z2,...,xk,yk,zk)T是可变形头部图谱的平均形状向量;{Φi},i=1,...,n,是形变模式;{ai},i=1,...,n是形状参数,为各种形变模式的权重;
S3、2D/3D配准;
S31、相似三角形;
2D/3D配准算法由两个步骤组成;第一步是将统计形状模型SSM投影到两个视图中,获得模型照片,然后在模型照片和人脸照片之间进行2D配准,获得2D投影空间中的变形矢量场;第二步是利用第一步投影过程中的相似三角形将2D变形向量反向投影到3D空间,并获得三维的统计形状模型SSM的变形;
S32、依次对正面照片和侧面照片进行配准;
使用2D/3D配准算法,将正面图像配准到步骤S21中获得的统计形状模型SSM以获得模型F,然后将侧面图像配准到模型F以获得模型L;最后将模型L平滑变形到统计形状模型SSM上来获得最终的重建模型;
S33、薄板样条变换和B样条变换;
由于神经网络能够准确识别正面照片中的人脸特征点,因此正面照片的2D配准采用薄板样条(TPS)变换。基于正面重建结果,进行了侧面照片配准。由于神经网络缺乏侧视图训练图像,并且在识别侧面照片特征点方面不够鲁棒,因此侧面照片2D配准使用B样条(B-spline)变换;
S4、内部解剖结构映射;
S41、变形场插值;
统计形状模型SSM中的一整套头部解剖结构是通过标准数字人体模板中的软组织映射获得的;映射过程使用非线性薄板样条变换,控制点是皮肤上的曲面顶点;使用3D空间插值将头部外表面的变形场插值到内部解剖结构,以实现内部解剖结构的个性化变形,并实现内部解剖构造和外表面模型之间的精确一致。
本发明的有益效果:一种基于深度学习和模型配准的面部照片引导头部解剖建模方法,从正面照片和侧面照片利用卷积神经网络、2D/3D配准算法和薄板样条插值算法,自动重建出有完整解剖结构的头部模型,且表皮模型具有真实的纹理和贴图,实现了在整形外科的术前规划中对患者头部三维解剖结构的可视化展示,为医生提供更多参考信息,提高术前规划的精度,进而提升手术质量。
附图说明
图1是基于深度学习和模型配准的面部照片引导头部解剖建模方法流程图。
图2是预处理结果图;(a)为背景替换前正侧面照片;(b)为背景替换后正侧面照片。
图3是特征点位置图;(a)为正面照片特征点位置图;(b)为侧面照片特征点位置图。
图4是统计形状模型SSM的平均形状模型图。
图5是相似三角形原理图。
图6是重建结果以及误差热力图;(a)为面部正面照片;(b)为面部侧面照片;(c)为表皮模型的正面显示结果;(d)为表皮模型的侧面显示结果;(e)为有完整头部解剖结构模型的正面显示结果;(f)为有完整头部解剖结构模型的侧面显示结果;(g)为误差热力图。
具体实施方式
以下以一名测试者的正侧面照片为例,结合具体实施步骤对本发明做进一步说明,如图1所示,基于深度学习和模型配准的面部照片引导头部解剖建模方法,包括如下步骤:
第一步:图像预处理;
S11、背景替换;
为了使后续特征点识别以及配准更加准确,首先需要对输入的混乱场景下的图像进行背景替换,将输入图像的背景替换成纯黑色的背景;
S12、图像剪裁;
利用卷积神经网络对背景替换后的图像进行人脸特征点检测,包括面部轮廓点和面部标志点共68个特征点;利用检测到的特征点在图像上绘制包围框,框出人脸,然后对图像进行剪裁将人脸部分截取出来;将剪裁后的图像像素统一为256*256。预处理前后的结果如图2所示,特征点位置如图3所示。
第二步:统计形状模型初始化;
S2、统计形状模型SSM;
统计形状模型SSM是基于65张计算机断层扫描图像的训练集构建的可变形头部图谱,包括46名男性和19名女性的图像;可变形头部图谱包括面部肌肉、颅骨、血管、脂肪、神经、腺体和大脑结构等218个子结构;SSM表示为平均形状加上不同形状变化模式的线性组合:
其中,X是统计形状模型SSM变形后的结果;X表示为包含k个网格顶点的三维坐标的形状向量(x1,y1,z1,x2,y2,z2,...,xk,yk,zk)T是可变形头部图谱的平均形状向量;{Φi},i=1,...,n,是形变模式;{ai},i=1,...,n是形状参数,为各种形变模式的权重;图4为统计形状模型SSM的平均形状模型图。
第三步:2D/3D配准;
S31、相似三角形;
2D/3D配准算法由两个步骤组成;第一步是将统计形状模型SSM投影到两个视图中,获得模型照片,然后在模型照片和人脸照片之间进行2D配准,获得2D投影空间中的变形矢量场;第二步是利用投影过程中的相似三角形将2D变形向量反向投影到3D空间,并获得三维的统计形状模型SSM的变形;相机模型中包括四个坐标系,分别为像素坐标系,图像坐标系,模型坐标系和世界坐标系。在计算前需要将三维坐标点统一到世界坐标系下。图5显示了反投影的原理:
其中,O为视点位置即小孔成像模型中光心的位置,F0是变形前模型照片2D像素点的世界坐标,F1是变形后模型照片2D像素点的世界坐标,M0是与变形前模型照片2D像素点相对应的模型3D点,M1是与变形后模型照片2D像素点相对应的模型3D点;
设O和F0之间的距离为m,O和M0之间的间距为n,F0和F1之间的间距是p,则可以根据相似三角形的边长关系计算M0和M1之间的距离为:
设F0的坐标为(X0,Y0,Z0),F1的坐标为(X1,Y1,Z1),的单位方向向量为:
根据M0和M1之间的距离|M0M1|以及的单位方向向量/>可以获得M1的坐标。因为/>和/>具有相同的单位方向向量,M1坐标为:
S32、依次对正面照片和侧面照片进行配准;
使用2D/3D配准算法,将正面图像配准到步骤S21中获得的统计形状模型SSM以获得模型F,然后将侧面图像配准到模型F以获得模型L;通过将模型L平滑变形到统计形状模型SSM上来获得最终重建的模型;
S33、薄板样条变换和B样条变换;
由于神经网络能够准确识别正面照片中的人脸特征点,因此正面照片的2D配准采用薄板样条(TPS)变换。TPS变换公式定义如下,
其中,t是平移向量,矩阵A没有限制,这意味着图像可以被平移、旋转、缩放,剪切,G(r)是基本函数,ck是对应于每个特征点的系数;是固定图像的特征点,在本发明中的固定图像是指S31步骤中统计形状模型SSM投影得到的模型照片;
基于正面重建结果,进行侧面图像配准;由于神经网络缺乏侧视图训练图像,并且在识别侧面图像特征点方面不够鲁棒,因此侧面图像2D配准使用B样条变换。
第四步:内部解剖结构映射;
S4、变形场插值;
统计形状模型SSM中的一整套头部解剖结构是通过标准数字人体模板中的软组织映射获得的;映射过程使用非线性薄板样条变换,控制点是皮肤上的曲面顶点;使用3D空间插值将头部外表面的变形场插值到内部解剖结构,以实现内部解剖结构的个性化变形,并实现内部解剖构造和外表面模型之间的精确一致。
热力图是一种通过对色块着色来显示数据的统计图表。本方法将三维扫描仪的人脸扫描结果作为金标准,在重建出的表皮模型上随机选取2000个顶点,从金标准中选取对应的距离最近的点,计算2000个顶点的均方根误差,并根据每个顶点的均方根误差绘制误差热力图。
图6展示了算法输入的正面和侧面照片,重建出的表皮模型,重建出的有完整解剖结构的模型,以及绘制的误差热力图。

Claims (1)

1.一种基于深度学习和模型配准的面部照片引导头部解剖建模方法,其特征在于,包括步骤如下:
S1、图像预处理;
S11、背景替换;
首先需要对输入的图像进行背景替换,将输入图像的背景替换成纯黑色的背景;
S12、图像剪裁;
利用卷积神经网络对背景替换后的图像进行人脸特征点检测,包括面部轮廓点和面部标志点;利用检测到的特征点在图像上绘制包围框,框出人脸,然后对图像进行剪裁将人脸部分截取出来;将剪裁后的图像像素统一为256*256;
S2、统计形状模型初始化;
S21、统计形状模型SSM;
统计形状模型SSM是基于计算机断层扫描图像的训练集构建的可变形头部图谱,可变形头部图谱包括面部肌肉、颅骨、血管、脂肪、神经、腺体和大脑;统计形状模型SSM表示为平均形状加上不同形状变化模式的线性组合:
其中,X是统计形状模型SSM变形后的结果;X表示为包含k个网格顶点的三维坐标的形状向量(x1,y1,z1,x2,y2,z2,…,xk,yk,zk)T是可变形头部图谱的平均形状向量;{Φi},i=1,…,n,是形变模式;{ai},i=1,…,n是形状参数,为各种形变模式的权重;
S3、2D/3D配准;
S31、相似三角形;
2D/3D配准算法由两个步骤组成;第一步是将统计形状模型SSM投影到两个视图中,获得模型照片,然后在模型照片和人脸照片之间进行2D配准,获得2D投影空间中的变形矢量场;第二步是利用第一步投影过程中的相似三角形将2D变形向量反向投影到3D空间,并获得三维的统计形状模型SSM的变形;
设定O为视点位置即小孔成像模型中光心的位置,F0是变形前模型照片2D像素点的世界坐标,F1是变形后模型照片2D像素点的世界坐标,M0是与变形前模型照片2D像素点相对应的模型3D点,M1是与变形后模型照片2D像素点相对应的模型3D点;
设O和F0之间的距离为m,O和M0之间的间距为n,F0和F1之间的间距是p,则根据相似三角形的边长关系计算M0和M1之间的距离为:
设F0的坐标为(C0,Y0,Z0),F1的坐标为(X1,Y1,Z1),的单位方向向量为:
根据M0和M1之间的距离|M0M1|以及的单位方向向量/>获得M1的坐标,因为/>和/>具有相同的单位方向向量,M1坐标为:
S32、依次对正面图像和侧面图像进行配准;
使用2D/3D配准算法,将正面图像配准到步骤S21中获得的统计形状模型SSM以获得模型F,然后将侧面图像配准到模型F以获得模型L;最后将模型L平滑变形到统计形状模型SSM上来获得最终的重建模型;
S33、薄板样条变换和B样条变换;
由于神经网络能够准确识别正面图像中的人脸特征点,因此正面图像的2D配准采用非线性薄板样条变换,TPS变换公式定义如下:
其中,t是平移向量,矩阵A没有限制,意味着图像可被平移、旋转、缩放、剪切,G(r)是基本函数,ck是对应于每个特征点的系数;是固定图像的特征点,在本方法中的固定图像是指S31步骤中统计形状模型SSM投影得到的模型照片;
基于正面重建结果,进行侧面图像配准;由于神经网络缺乏侧视图训练图像,并且在识别侧面图像特征点方面不够鲁棒,因此侧面图像2D配准使用B样条变换;
S4、内部解剖结构映射;
S41、变形场插值;
统计形状模型SSM中的一整套头部解剖结构是通过标准数字人体模板中的软组织映射获得的;映射过程使用非线性薄板样条变换,控制点是皮肤上的曲面顶点;使用3D空间插值将头部外表面的变形场插值到内部解剖结构,以实现内部解剖结构的个性化变形,并实现内部解剖构造和外表面模型之间的精确一致。
CN202310476333.0A 2023-04-28 2023-04-28 基于深度学习和模型配准的面部照片引导头部解剖建模方法 Pending CN116612237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310476333.0A CN116612237A (zh) 2023-04-28 2023-04-28 基于深度学习和模型配准的面部照片引导头部解剖建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310476333.0A CN116612237A (zh) 2023-04-28 2023-04-28 基于深度学习和模型配准的面部照片引导头部解剖建模方法

Publications (1)

Publication Number Publication Date
CN116612237A true CN116612237A (zh) 2023-08-18

Family

ID=87673843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310476333.0A Pending CN116612237A (zh) 2023-04-28 2023-04-28 基于深度学习和模型配准的面部照片引导头部解剖建模方法

Country Status (1)

Country Link
CN (1) CN116612237A (zh)

Similar Documents

Publication Publication Date Title
Mankovich et al. Surgical planning using three-dimensional imaging and computer modeling
Douglas Image processing for craniofacial landmark identification and measurement: a review of photogrammetry and cephalometry
Arridge et al. Three dimensionaldigitization of the face and skull
US9330206B2 (en) Producing a three dimensional model of an implant
Fischer et al. Ill-posed medicine—an introduction to image registration
Xia et al. Computer-assisted three-dimensional surgical planning and simulation: 3D color facial model generation
EP1872337B1 (en) Method and system for pre-operative prediction
CN110459301B (zh) 基于热力图和面部关键点的脑部神经外科导航配准方法
WO2019020048A1 (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
US20170135655A1 (en) Facial texture mapping to volume image
Jones Facial Reconstruction Using Volumetric Data.
CN107808156A (zh) 感兴趣区域提取方法
Dawant et al. Brain atlas deformation in the presence of small and large space-occupying tumors
Mankovich et al. Three-dimensional image display in medicine
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
Buchaillard et al. 3D statistical models for tooth surface reconstruction
CN115830016B (zh) 医学图像配准模型训练方法及设备
Tiddeman et al. Construction and visualisation of three-dimensional facial statistics
Enciso et al. Three-dimensional head anthropometric analysis
Pei et al. Personalized tooth shape estimation from radiograph and cast
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统
CN116612237A (zh) 基于深度学习和模型配准的面部照片引导头部解剖建模方法
Subsol et al. Automatic 3D facial reconstruction by feature-based registration of a reference head
CN114298986A (zh) 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统
Muller et al. A template-deformation method for facial reproduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination