CN110459301B - 基于热力图和面部关键点的脑部神经外科导航配准方法 - Google Patents

基于热力图和面部关键点的脑部神经外科导航配准方法 Download PDF

Info

Publication number
CN110459301B
CN110459301B CN201910686482.3A CN201910686482A CN110459301B CN 110459301 B CN110459301 B CN 110459301B CN 201910686482 A CN201910686482 A CN 201910686482A CN 110459301 B CN110459301 B CN 110459301B
Authority
CN
China
Prior art keywords
face
point cloud
key point
dimensional
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910686482.3A
Other languages
English (en)
Other versions
CN110459301A (zh
Inventor
陈莉
杨正浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910686482.3A priority Critical patent/CN110459301B/zh
Publication of CN110459301A publication Critical patent/CN110459301A/zh
Application granted granted Critical
Publication of CN110459301B publication Critical patent/CN110459301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，属于数字化医疗技术领域。该方法利用人脸关键点数据训练基于热力图提取关键点的n层堆叠沙漏神经网络；然后获取患者的头部CT三维图像或MRI三维图像，获取该图像对应的面部三维网格关键点云作为目标点云；使用双目摄像头在术中实时捕获患者的面部图像，得到患者双目面部关键点云作为源点云；最后使用奇异值分解方法对目标点云和源点云进行配准。本发明操作简便，成本低廉，配准结果准确，节约时间且不会给患者带来额外创伤。

Description

基于热力图和面部关键点的脑部神经外科导航配准方法
技术领域
本发明涉及数字化医疗技术领域，具体涉及基于热力图和面部关键点的脑部神经外科导航配准方法。
背景技术
在现代神经外科手术中，医生通常需要在手术前预先采集患者头部医学图像并对患者病变部位进行分析，进行术前手术设计，手术过程中导航系统将患者头部姿态和术前颅颌部医学影像进行配准，利用配准结果得到术中场景坐标空间与术前影像坐标空间的变换矩阵，从而根据术前设计结果对术中进行实时指导，并实时显示术中手术器械在术前医学影像中的位置。其中，配准是神经外科手术导航中至关重要的一环。
传统的神经外科手术导航设备可被分为红外定位，电磁定位，超声定位或机械定位。神经外科手术导航系统中最早采用的方法是机械定位，该方法通常在患者头部手动安装一个框架，并以此框架建立一个空间坐标系。此方法由于器械笨重，会给患者引入额外的痛苦，除此之外，该方法操作不灵活，精度低也是一大缺点。后研发的无框架机械导航系统，利用机械臂和计算机技术，来实现定位跟踪的目的，但此系统设备体积大，不容易安装。超声定位导航系统即利用超声测距的原理，计算得出手术器械的空间位置，但此方法精度不高，价格高昂且容易受到环境影响。电磁定位导航系统基于多个电磁线圈，利用电磁感应，通过产生三维低频磁场建立三维空间坐标系从而进行定位，但手术环境中的干扰电磁波容易对影响定位。红外定位导航系统通过采集主动光源信号或者反射光源信号，经过计算确定跟踪物的确定，但一旦定位光线被遮挡就容易造成定性信息缺失。除此之外，以上的各种设备价格普遍都在百万元左右，难以在普通地方医院普及。Collyer等人提出一种新颖的配准导航方法，此方法通过在病人头部植入金属标记物后，再进行CT(电子计算机断层扫描)扫描或者MRI(核磁共振成像)以获取术前影像，再通过手术过程中捕捉标记物建立映射关系从而实现配准，然而此种方法会使得病人在标记物植入时承受额外的痛苦。
在配准领域，虽然有一些使用基于患者表面特征或者附加标记物的方法提出，如使用迭代最近点方法将术前CT图像生成的源点云与术中面部点云进行配准，但这些方法往往需要比较好的初始值，否则在求解过程中容易陷入局部最优解导致非常大的配准误差，精度难以满足临床要求。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种基于热力图和面部关键点的脑部神经外科导航配准方法。本发明操作简便，成本低廉，配准结果准确，节约时间且不会给患者带来额外创伤。
本发明提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，其特征在于，包括以下步骤：
1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：
1-1)构建一个n层堆叠沙漏网络，在n堆叠沙漏网络后添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络；其中，第一层沙漏网络的输入为待分类图片，之后每一层网络的输入为前一层网络的输入及前一层网络的输出；
1-2)利用ImageNet LSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；
从ImageNet LSVRC-2010数据集中获取包含1000个类别的图片集合，该图片集合的每个类别包含1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集；
令分类网络初始学习率为0.01，每训练10次后学习率数下降90％；利用训练数据集对分类网络训练50次，分类网络预训练结束；
2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调,得到微调完毕的n层堆叠沙漏网络；具体步骤如下：
2-1)获取人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注，对人脸关键点数据集中人脸图片进行明暗度调整、旋转和水平翻转180度的操作增广人脸图片数据，得到扩增后的人脸关键点数据集；
2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分割分别获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体方法如下：
使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的n层堆叠沙漏网络，该网络根据关键点数量k对每张输入图片生成k个对应数量热力图，每个关键点对应的热力图上数值最大的点即为该关键点；
令预训练完毕的n层堆叠沙漏网络的初始学习率为10-4，每次输入人脸关键点训练集10张图片对该网络进行训练，人脸关键点训练集所有图片每完成训练15次后学习率下降90％，人脸关键点训练集中所有图片总共训练40次，得到微调完毕的4层堆叠沙漏网络；
3)获取患者的头部CT三维图像或MRI三维图像，得到CT三维图像或MRI三维图像对应的面部三维网格关键点云；具体步骤如下：
3-1)获取患者的头部CT三维图像或MRI三维图像，通过CT或MRI所有切片中的医疗数位影像传输协定DICOM标签中的模态标签筛除不属于CT或MRI的切片；再将筛选后的切片通过判断连通域除去仪器检查床，得到预处理完毕的切片；
3-2)将预处理完毕的CT或MRI切片，设置皮肤等值面的值，利用移动立方体Marching Cube)算法重建患者头部三维网格模型；
3-3)利用CT或MRI图像里的DICOM标签中的患者位置标签，将患者头部三维网格模型的面部旋转至朝向一个统一方向；并通过三维网格模型坐标轴范围，通过设置每个坐标轴的阈值删去模型中头部后半部分，留下患者面部前侧三维网格模型；
3-4)将患者面部前侧三维网格模型投影到一个平面，形成对应的二维投影人脸图像；
3-5)将二维投影人脸图像输入步骤2)微调完毕的n层堆叠沙漏网络中，该网络输出该图像对应的k张热力图，在每张热力图上选取值最大的点作为二维投影人脸图像的关键点，得到二维投影人脸图像的关键点集合；
3-6)通过光线投影，利用二维投影人脸图像的关键点反求离视点最近的对应网格点，并将网格点作为对应患者面部前侧三维网格模型的关键点，所有患者面部前侧三维网格模型的关键点组成面部三维网格关键点云；
4)使用双目摄像头在术中实时捕获患者的面部图像，并得到患者双目面部关键点云；具体步骤如下：
4-1)从双目摄像头中捕获左右视角下两张患者面部实时图像并转换为RGB格式，利用对双目摄像头进行相机标定时获得的相机内参和畸变参数进行相机去畸变；
4-2)分别将经过步骤4-1)转换后的左右视角下两张患者面部实时图像送入步骤1)预训练完毕的n层堆叠沙漏网络，重复步骤3-5)，在输出的每张热力图上选取值最大的点作为关键点，得到左右视角下两张患者面部实时图像分别对应的二维人脸关键点集合；
4-3)对步骤4-2)得到的二维人脸关键点集合中的关键点进行重建，利用下式恢复左右视角下两张患者面部实时图像中对应关键点的三维深度信息生成三维关键点：
Figure GDA0003253676020000041
Figure GDA0003253676020000042
Figure GDA0003253676020000043
其中，f为相机焦距，(X，Y，Z)为对应关键点在世界坐标系下的三维坐标，(xl，yl)为对应关键点在左摄像头图像坐标系下坐标，(xr，yr)为对应关键点在右摄像头图像坐标系下坐标，r为左摄像头相对于右摄像头的旋转矩阵，t为左摄像头相对于右摄像头的平移矩阵；
将所有对应关键点生成的三维关键点构成双目面部关键点云；
5)以步骤3)得到的面部三维网格关键点云作为目标点云，以步骤4)得到的双目面部关键点云作为源点云，使用奇异值分解SVD方法进行配准；具体步骤如下：
5-1)分别计算源点云和目标点云的中心点坐标，再利用每个点云中所有点的坐标减去该点云的中心点坐标，得到每个点对应的去中心坐标，组成该点云的去中心坐标矩阵；表达式如下：
centers＝mean(source)
centerd＝mean(dest)
source1＝source-centers
dest1＝dest-centerd
其中，source为源点云，dest为目标点云；centers为源电源的中心点坐标，centerd为目标点云的中心点坐标；source1为源点云的去中心矩阵，dest1为目标点云的去中心矩阵；
5-2)将两个点云去中心坐标矩阵进行矩阵相乘，得到3*3的结果矩阵M；表达式如下：
M＝transpose(dest1)*source1
其中transpose为转置操作；
5-3)将矩阵M进行SVD分解，分别分解出两个酉矩阵u和vt，以及一个3*3的半正定矩s；源点云到目标点云的旋转矩阵R即为u和vt对应的矩阵乘积；表达式如下：
u，s，vt＝SVD(M)
R＝u*vt
5-4)从源点云到目标点云的平移矩阵T，即为目标点云质心坐标与旋转矩阵R与源点云质心坐标的乘积的差，如下式所示：
T＝transpose(dest1)-R*source1
旋转矩阵R和平移矩阵T即为配准结果。
本发明的特点及有益效果在于：
本发明将自动提取术前CT影像重建后面部网格模型三维关键点，以及在术中利用双目摄像头实时提取人脸三维关键点，通过利用SVD方法或点云最近点匹配算法求解变换矩阵，从而实现配准。
本发明基于人体面部关键点，使用类似于鼻尖，眼角等关键点，无需手动附加外源标志物，不会因在头部植入标记物而给患者带来额外的损伤。
本发明使用堆叠沙漏网络提取面部特征，并在生成的热力图上预测关键点，相比传统基于描述子的方法，或相比于直接利用神经网络最后一层全连接层输出预测坐标的方法，本方法关键点提取精度更高。
本发明使用的源点云和目标点云均为有序点云点云顺序内三维点已知，相比于传统配准方法中使用的无序点云，配准精度更高，配准速度更快且不会陷入局部最优。
本发明预测面部三维网格关键点时先通过将面部网格模型投影成二维图像，先预测投影图片上的二维人脸关键点再得到对应面部三维网格关键点。利用大量的二维人脸数据，以及增广后的CT或MRI投影数据，本方法解决了神经网络难以直接应用在网格模型上的困境。
附图说明
图1是本发明方法的整体流程图。
图2是本发明实施例中CT图像处理后的面部网格模型示意图。
图3是本发明实施例中三维网格模型对应的二维人脸投影图像及其关键点示意图，
图4是本发明实施例中面部三维网格模型对应的面部三维网格关键点云示意图。
图5是根据本发明所使用的左目和右目摄像头所捕捉图像上二维人脸关键点提取结果示意图。
图6是本发明实施例中依据图5对应二维关键点生成的双目面部关键点云示意图。
具体实施方式
本发明提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，下面结合附图和具体实施例对本发明进一步详细说明如下。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，整体流程如图1所示，包括以下步骤：
1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：
1-1)构建一个n层堆叠沙漏网络，本实例中n为4，在4层堆叠沙漏网络后额外添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络。其中，第一层沙漏网络的输入为待分类图片，之后每一层沙漏网络的输入为前一层沙漏网络的输入及前一层沙漏网络的输出，新添加的SoftMax层的输入为最后一层沙漏网络的输入及最后一层沙漏网络的输出。
1-2)利用大型数据集ImageNet LSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；
从ImageNet LSVRC-2010数据集中获取包含1000个类别的图片集合(此分类网络的分类类别为1000)，该图片集合的每个类别包含约1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集。利用训练数据集对分类网络训练50次，且令分类网络初始学习率为0.01，每训练10次后学习率数值下降90％变为当前学习率的1/10，分类网络预训练结束，得到分类网络的初始参数。
2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调,得到微调完毕的n层堆叠沙漏网络；具体步骤如下：
2-1)获取公开(例如海伦数据集)或私有人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注；对人脸关键点数据集中人脸图片进行明暗度调整(本实施例中，放缩系数为0.8，偏置为10到70，每隔10取一个值)，旋转(本实施例中逆时针旋转负20度至正20度，每隔10度)，水平翻转180度等增广操作来增广人脸图片数据，得到一个扩增后的人脸关键点数据集(本实施例选取的原人脸关键点数据集包含1000张人脸图片，扩增后数据集包含12万张人脸图片。)。
2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分别分割获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；
将步骤1)预训练完毕的分类网络除去SoftMax层，即为实际微调使用的是预训练完毕的n层堆叠沙漏网络；使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的4层堆叠沙漏网络，网络根据预先设定的关键点数量k对每张输入图片生成k个对应数量热力图，本实例中k为68，并且热力图和关键点一一对应，每个关键点对应的热力图上数值最大的点即为该关键点。训练使用的对应真值热力图即以真值坐标点为中心生成的高斯热力图，其中方差为1，损失函数为点对点的平均均方损失。
4层堆叠沙漏网络最初的学习率为10-4，每次输入人脸关键点训练集10张图片对该网络进行训练，人脸关键点训练集所有图片每完成训练15次后学习率下降90％，人脸关键点训练集中所有图片总共训练40次，得到微调完毕的4层堆叠沙漏网络。
设置多组网络训练时参数，例如学习率，输入图像大小，训练次数等，并选择在验证集上表现最好的网络作为实际使用的4层堆叠沙漏网络，并在训练过程中避免奇怪的结果。并使用测试集来测试模型的最终性能。
3)获取患者的头部CT三维图像或MRI三维图像，得到CT三维图像或MRI三维图像对应的面部三维网格关键点云；具体步骤如下：
具体来说，由于CT或者MRI图像由一系列切片组成，包含不少冗余信息，直接使用CT重建后的面部表面配准算法复杂度较高且容易陷入局部最优，故将使用能稀疏表征人脸的关键点。此外，本方法采用的关键点由ibug团队2013年规定的。
3-1)获取患者的头部CT三维图像或MRI三维图像，通过CT或MRI所有切片中的DICOM(医疗数位影像传输协定)标签中的模态标签筛除不属于CT或MRI的切片；再将筛选后的切片通过判断连通域除去仪器检查床，得到预处理完毕的切片。
3-2)将预处理完毕的CT或MRI切片，设置皮肤等值面的值(取值为负即可，本实施例取值为-50)，利用Marching Cube(移动立方体算法)算法重建出患者头部三维网格模型。
3-3)利用CT或MRI图像里的DICOM标签中的患者位置标签，将患者头部三维网格模型的面部旋转至朝向屏幕，或朝向一个统一方向；并通过三维网格模型坐标轴范围，通过设置每个坐标轴的阈值可删去头部模型后半部分(本实施例中即删去耳部至后脑部分)，即只留下患者面部前侧三维网格模型，这样有利于减少网格模型上的冗余信息。图2即为本实施例中删去冗余信息后的面部网格模型。
本实施例中，通过将面部朝向屏幕，得到该三维网格模型在y轴的最大值以及最小值，若网格模型中某一面片y轴方向取值小于最大值和最小值之和的一半，即删去此面片。
3-4)将患者面部前侧三维网格模型投影到XOZ平面，形成一张二维投影人脸图像，或根据3-3)，可以投影到其他平面。
3-5)将二维投影人脸图像输入步骤2)微调完毕的n层堆叠沙漏网络中，该网络输出该图像对应的k张热力图(本实施例为68张)，在网络输出的对应的每张热力图上选取值最大的点作为二维投影人脸图像的关键点，得到二维投影人脸图像的关键点集合。图3即为对应投影图像上的关键点，从中可以看出本方法使用了眼角，鼻尖以及面部轮廓等关键点。
在本实例中，微调使用的数据集为头部CT或MRI图像对应投影图像，为增广数据微调使用的投影图像数据，通过在面部CT网格模型各个角度设置虚拟摄像机，进行投影，本实施例中，角度范围为负30度至正30度，角度间隔为10度。此后微调过程与步骤1.3类似。
3-6)通过光线投影，即利用已知二维投影人脸图像的关键点即可反求离视点最近的对应网格点，并以此作为对应患者面部前侧三维网格模型的关键点，所有患者面部前侧三维网格模型的关键点组成面部三维网格关键点云。图4即为本实施例提取出的面部三维网格关键点云。
4)使用双目摄像头在术中实时捕获患者的面部图像，并得到患者双目面部关键点云；具体步骤如下：
4-1)从双目摄像头中捕获左右视角下两张患者面部实时图像，通过将原始YUYV格式或其他格式转换为RGB格式，并利用对双目摄像头进行相机标定时获得的相机内参和畸变参数进行相机去畸变。
4-2)分别将经过步骤4-1)转换后的左右视角下两张患者面部实时图像送入步骤1)预训练完毕的n层堆叠沙漏网络，重复步骤3-5)，在输出的每张热力图上选取值最大的点作为关键点，得到左右视角下两张患者面部实时图像分别对应的二维人脸关键点集合。图5是本发明实施例中左目和右目摄像头所捕捉图像上二维人脸关键点提取结果示意图。
图5-a即为左目摄像头图像二维人脸关键点提取结果，图5-b即为右目摄像头图像二维人脸关键点提取结果，均提取出眼角，鼻尖等关键点。
4-3)对步骤4-2)得到的二维人脸关键点集合中的关键点(即左右两张图像上对应的二维面部关键点)进行重建，用以下公式恢复左右视角下两张患者面部实时图像中对应关键点的三维深度信息生成三维关键点：
Figure GDA0003253676020000081
Figure GDA0003253676020000082
Figure GDA0003253676020000083
其中f为相机焦距，(X，Y，Z)为对应关键点在世界坐标系下的三维坐标，(xl，yl)为对应关键点在左摄像头图像坐标系下坐标，(xr，yr)为对应关键点在右摄像头图像坐标系下坐标，r为左摄像头相对于右摄像头的旋转矩阵，t为左摄像头相对于右摄像头的平移矩阵。其中r和t可以通过双目标定获得。
所有由左右双目图像二维人脸关键点形成的三维关键点构成双目面部关键点云。图6即为本实施例生成成的双目面部关键点云。
5)以步骤3)得到的面部三维网格关键点云作为目标点云，以步骤4)得到的双目面部关键点云作为源点云，使用SVD(奇异值分解)方法进行配准。具体步骤如下：
5-1)分别计算源点云和目标点云的中心点坐标，再利用每个点云中所有点的坐标减去该点云的中心点坐标，得到每个点对应的去中心坐标，组成该点云的去中心坐标矩阵。过程如下所示，其中source和dest分别为源点云和目标点云；centers为源电源的中心点坐标，centerd为目标点云的中心点坐标；source1为源点云的去中心矩阵，dest1为目标点云的去中心矩阵。
centers＝mean(source)
centerd＝mean(dest)
source1＝source-centers
dest1＝dest-centerd
5-2)将两个点云去中心坐标矩阵进行矩阵相乘，得到3*3的结果矩阵M。表达式如下：
M＝transpose(dest1)*source1
其中transpose为转置操作。
5-3)将矩阵M进行SVD分解，分别分解出两个酉矩阵u和vt，以及一个3*3的半正定矩s；源点云到目标点云的旋转矩阵R即为u和vt对应的矩阵乘积，表达式如下：
u，s，vt＝SVD(M)
R＝u*vt
5-4)从源点云到目标点云的平移矩阵T，即为目标点云质心坐标与旋转矩阵R与源点云质心坐标的乘积的差，如下式所示：
T＝transpose(dest1)R*source1
旋转矩阵R和平移矩阵T即为配准结果。由于两点云均为有序点云，本方法配准精度高，配准速度快。
当然，本发明还有多种其他实施例，在不背离本发明精神和实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变，但这种改变都应属于本发明所附的权利要求的保护范围。

Claims (1)

1.基于热力图和面部关键点的脑部神经外科导航配准方法，其特征在于，包括以下步骤：
1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：
1-1)构建一个n层堆叠沙漏网络，在n堆叠沙漏网络后添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络；其中，第一层沙漏网络的输入为待分类图片，之后每一层网络的输入为前一层网络的输入及前一层网络的输出；
1-2)利用ImageNet LSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；
从ImageNet LSVRC-2010数据集中获取包含1000个类别的图片集合，该图片集合的每个类别包含1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集；
令分类网络初始学习率为0.01，每训练10次后学习率数下降90％；利用训练数据集对分类网络训练50次，分类网络预训练结束；
2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体步骤如下：
2-1)获取人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注，对人脸关键点数据集中人脸图片进行明暗度调整、旋转和水平翻转180度的操作增广人脸图片数据，得到扩增后的人脸关键点数据集；
2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分割分别获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体方法如下：
使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的n层堆叠沙漏网络，该网络根据关键点数量k对每张输入图片生成k个对应数量热力图，每个关键点对应的热力图上数值最大的点即为该关键点；
令预训练完毕的n层堆叠沙漏网络的初始学习率为10-4，每次输入人脸关键点训练集10张图片对该网络进行训练，人脸关键点训练集所有图片每完成训练15次后学习率下降90％，人脸关键点训练集中所有图片总共训练40次，得到微调完毕的4层堆叠沙漏网络；
3)获取患者的头部CT三维图像或MRI三维图像，得到CT三维图像或MRI三维图像对应的面部三维网格关键点云；具体步骤如下：
3-1)获取患者的头部CT三维图像或MRI三维图像，通过CT或MRI所有切片中的医疗数位影像传输协定DICOM标签中的模态标签筛除不属于CT或MRI的切片；再将筛选后的切片通过判断连通域除去仪器检查床，得到预处理完毕的切片；
3-2)将预处理完毕的CT或MRI切片，设置皮肤等值面的值，利用移动立方体MarchingCube算法重建患者头部三维网格模型；
3-3)利用CT或MRI图像里的DICOM标签中的患者位置标签，将患者头部三维网格模型的面部旋转至朝向一个统一方向；并通过三维网格模型坐标轴范围，通过设置每个坐标轴的阈值删去模型中头部后半部分，留下患者面部前侧三维网格模型；
3-4)将患者面部前侧三维网格模型投影到一个平面，形成对应的二维投影人脸图像；
3-5)将二维投影人脸图像输入步骤2)微调完毕的n层堆叠沙漏网络中，该网络输出该图像对应的k张热力图，在每张热力图上选取值最大的点作为二维投影人脸图像的关键点，得到二维投影人脸图像的关键点集合；
3-6)通过光线投影，利用二维投影人脸图像的关键点反求离视点最近的对应网格点，并将网格点作为对应患者面部前侧三维网格模型的关键点，所有患者面部前侧三维网格模型的关键点组成面部三维网格关键点云；
4)使用双目摄像头在术中实时捕获患者的面部图像，并得到患者双目面部关键点云；具体步骤如下：
4-1)从双目摄像头中捕获左右视角下两张患者面部实时图像并转换为RGB格式，利用对双目摄像头进行相机标定时获得的相机内参和畸变参数进行相机去畸变；
4-2)分别将经过步骤4-1)转换后的左右视角下两张患者面部实时图像送入步骤1)预训练完毕的n层堆叠沙漏网络，重复步骤3-5)，在输出的每张热力图上选取值最大的点作为关键点，得到左右视角下两张患者面部实时图像分别对应的二维人脸关键点集合；
4-3)对步骤4-2)得到的二维人脸关键点集合中的关键点进行重建，利用下式恢复左右视角下两张患者面部实时图像中对应关键点的三维深度信息生成三维关键点：
Figure FDA0003253676010000021
Figure FDA0003253676010000022
Figure FDA0003253676010000031
其中，f为相机焦距，(X，Y，Z)为对应关键点在世界坐标系下的三维坐标，(xl，yl)为对应关键点在左摄像头图像坐标系下坐标，(xr，yr)为对应关键点在右摄像头图像坐标系下坐标，r为左摄像头相对于右摄像头的旋转矩阵，t为左摄像头相对于右摄像头的平移矩阵；
将所有对应关键点生成的三维关键点构成双目面部关键点云；
5)以步骤3)得到的面部三维网格关键点云作为目标点云，以步骤4)得到的双目面部关键点云作为源点云，使用奇异值分解SVD方法进行配准；具体步骤如下：
5-1)分别计算源点云和目标点云的中心点坐标，再利用每个点云中所有点的坐标减去该点云的中心点坐标，得到每个点对应的去中心坐标，组成该点云的去中心坐标矩阵；表达式如下：
centers＝mean(source)
centerd＝mean(dest)
source1＝source-centers
dest1＝dest-centerd
其中，source为源点云，dest为目标点云；centers为源电源的中心点坐标，centerd为目标点云的中心点坐标；source1为源点云的去中心矩阵，dest1为目标点云的去中心矩阵；
5-2)将两个点云去中心坐标矩阵进行矩阵相乘，得到3*3的结果矩阵M；表达式如下：
M＝transpose(dest1)*source1
其中transpose为转置操作；
5-3)将矩阵M进行SVD分解，分别分解出两个酉矩阵u和vt，以及一个3*3的半正定矩s；源点云到目标点云的旋转矩阵R即为u和vt对应的矩阵乘积；表达式如下：
u，s，vt＝SVD(M)
R＝u*vt
5-4)从源点云到目标点云的平移矩阵T，即为目标点云质心坐标与旋转矩阵R与源点云质心坐标的乘积的差，如下式所示：
T＝transpose(dest1)-R*source1
旋转矩阵R和平移矩阵T即为配准结果。
CN201910686482.3A 2019-07-29 2019-07-29 基于热力图和面部关键点的脑部神经外科导航配准方法 Active CN110459301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910686482.3A CN110459301B (zh) 2019-07-29 2019-07-29 基于热力图和面部关键点的脑部神经外科导航配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910686482.3A CN110459301B (zh) 2019-07-29 2019-07-29 基于热力图和面部关键点的脑部神经外科导航配准方法

Publications (2)

Publication Number Publication Date
CN110459301A CN110459301A (zh) 2019-11-15
CN110459301B true CN110459301B (zh) 2021-11-02

Family

ID=68483714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910686482.3A Active CN110459301B (zh) 2019-07-29 2019-07-29 基于热力图和面部关键点的脑部神经外科导航配准方法

Country Status (1)

Country Link
CN (1) CN110459301B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111242952B (zh) * 2020-01-15 2023-06-30 腾讯科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置及计算设备
CN110992271B (zh) * 2020-03-04 2020-07-07 腾讯科技（深圳）有限公司 图像处理方法、路径规划方法、装置、设备及存储介质
CN111815644A (zh) * 2020-05-21 2020-10-23 艾瑞迈迪医疗科技（北京）有限公司 一种医学影像中患者皮肤面部数据的提取方法和装置
CN111652918B (zh) * 2020-06-04 2023-08-18 深圳地平线机器人科技有限公司 确定3d脸部模型的方法、装置、介质以及电子设备
CN112396600B (zh) * 2020-12-02 2023-06-30 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN112733624B (zh) * 2020-12-26 2023-02-03 电子科技大学 室内密集场景的人流密度检测方法、系统存储介质及终端
CN112634336A (zh) * 2020-12-31 2021-04-09 华科精准（北京）医疗科技有限公司 一种配准方法及系统
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
CN113112499B (zh) * 2021-04-29 2022-04-12 中国科学院深圳先进技术研究院 肝脏内部组织的位移预测方法、装置、系统及电子设备
CN113705488A (zh) * 2021-08-31 2021-11-26 中国电子科技集团公司第二十八研究所 基于局部分割与特征融合的遥感图像细粒度飞机识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法
CN109166177A (zh) * 2018-08-27 2019-01-08 清华大学 一种颅颌面外科手术的术中导航方法
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法
CN109166177A (zh) * 2018-08-27 2019-01-08 清华大学 一种颅颌面外科手术的术中导航方法
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ICP算法的手术导航三维配准技术;王君臣等;《北京航空航天大学学报》;20090415(第04期);全文 *

Also Published As

Publication number Publication date
CN110459301A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110459301B (zh) 基于热力图和面部关键点的脑部神经外科导航配准方法
CN108735279B (zh) 一种虚拟现实脑中风上肢康复训练系统及控制方法
CN105913487B (zh) 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
WO2019228473A1 (zh) 人脸图像的美化方法和装置
JP5797352B1 (ja) ３次元物体を追跡するための方法
CN113099208A (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
CN104851123A (zh) 一种三维人脸变化模拟方法
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2022088572A1 (zh) 模型训练方法、图像处理及配准方法、装置、设备、介质
CN109949349A (zh) 一种多模态三维图像的配准及融合显示方法
CN109887071A (zh) 一种3d电子内镜系统及三维重建方法
Teng et al. Interactive translation in echocardiography training system with enhanced cycle-GAN
CN104240180A (zh) 一种实现图像自动调整的方法及装置
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
CN112907642A (zh) 术前ct或核磁图像与其术中对应病灶精确配准重合的方法、系统、存储介质及设备
Zhang et al. 3D reconstruction for super-resolution CT images in the Internet of health things using deep learning
Zhi et al. Towards fast and convenient end-to-end HRTF personalization
CN103366348B (zh) 一种抑制x线图像中骨骼影像的方法及处理设备
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN109934798A (zh) 体内目标物信息标注方法及装置、电子设备、存储介质
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
Xie et al. Contextual loss based artifact removal method on CBCT image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant