CN111127305B - 基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 - Google Patents
基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 Download PDFInfo
- Publication number
- CN111127305B CN111127305B CN201910971387.8A CN201910971387A CN111127305B CN 111127305 B CN111127305 B CN 111127305B CN 201910971387 A CN201910971387 A CN 201910971387A CN 111127305 B CN111127305 B CN 111127305B
- Authority
- CN
- China
- Prior art keywords
- layer
- standard
- random
- section
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000035935 pregnancy Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001605 fetal effect Effects 0.000 title abstract description 15
- 210000003754 fetus Anatomy 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000013519 translation Methods 0.000 claims abstract description 18
- 210000003140 lateral ventricle Anatomy 0.000 claims abstract description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 77
- 238000011176 pooling Methods 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000002779 inactivation Effects 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 230000009849 deactivation Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002490 cerebral effect Effects 0.000 claims description 2
- 210000001638 cerebellum Anatomy 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 description 6
- 206010074180 Craniofacial deformity Diseases 0.000 description 3
- 208000004468 Craniofacial Abnormalities Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003793 prenatal diagnosis Methods 0.000 description 1
Images
Classifications
-
- G06T3/067—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Abstract
本发明公开了一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，旨在从胎儿三维超声容积数据中智能识别并获取对早孕期胎儿颅面部诊断极为重要的标准侧脑室水平横切面、标准小脑水平横切面，标准双眼球斜冠状切面、标准鼻后三角区冠状切面、以及标准鼻唇冠状切面，本发明包括：首先，获取早孕期胎儿三维超声容积数据和专家标注的五个二维标准切面的位置构成的数据集，然后对获取的数据集进行计算和处理以得到预处理后的数据集，然后，用预处理后的数据集训练多任务参数学习网络，学习的参数是两切面之间的平移距离和旋转角度，最后，将新的三维超声容积数据输入到训练好的多任务参数学习网络中，以得到每个三维容积中的五个二维标准切面。
Description
技术领域
本发明属于产前三维超声检查技术领域，更具体地，涉及一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法。
背景技术
超声检查作为目前产前诊断的主要手段，能够对早孕期胎儿形态和组织解剖结构进行观察。在超声检查的众多实际应用中，利用基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形已经得到了较为广泛的应用，医生可以通过对三维容积数据进行处理获得其希望得到的二维标准切面，进而帮助医生做出精确的诊断。
然而，现有基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形的方法仍然存在一些不可忽略的缺陷：第一，三维容积数据的后处理需要耗费医生大量时间，且操作过程较为复杂；第二，胎儿颅面部标准切面的获取依赖于平面的选定和角度的确定，对医生的专业水平要求非常高，从而导致该方法很难广泛用于早孕期胎儿产前检查；第三，不同水平的医生会得到不同的诊断结果，从而导致诊断准确率偏低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，该方法通过AI深度学习大量的早孕期正常和异常的胎儿颅面三维超声影像数据，实现了三维容积数据自动化、智能化快速识别一系列胎儿颅面部标准切面的方法；在医生获取胎儿颅面部三维容积后，该方法能快速分析胎儿超声影像数据，智能识别出对胎儿颅面部诊断非常重要的五个二维标准切面，自动化获取并存储智能识别出的标准切面，其中五个二维标准切面包括标准侧脑室水平横切面、标准小脑水平横切面，标准双眼球斜冠状切面、标准鼻后三角区冠状切面和标准鼻唇冠状切面，本发明能够解决现有基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形的方法中存在的三维容积数据处理费时且复杂的技术问题，以及胎儿颅面部标准切面的获取对医生专业水平要求高导致其难以广泛应用的技术问题，以及诊断准确率偏低的技术问题。。
为实现上述目的，按照本发明的一个方面，提供了一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，包括以下步骤：
(1)获取早孕期胎儿三维超声容积数据；
(2)从步骤(1)获取的早孕期胎儿三维超声容积数据中获取5个随机切面y1、y2、y3、y4、y5；其中随机切面表示为：
yi＝I(V,Hi,S)
其中yi表示第i个随机切面(其中i是1到5之间的自然数)，V表示早孕期胎儿三维超声容积数据，S表示随机切面的尺寸，I表示随机变换，Hi表示获得第i个随机切面yi所需的位置信息，并包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面yi平移的大小mi＝(mi,x,mi,y,mi,z)、以及该水平横切面相对于该第i个随机切面yi在x轴、y轴、z轴方向上的旋转角度ni＝(ni,x,ni,y,ni,z)；
(3)将步骤(2)中获取的随机切面y1，y2，y3，y4，y5输入训练好的多任务参数学习网络中，以获得推理变换参数ΔH1,ΔH2,ΔH3,ΔH4,ΔH5；
(4)将步骤(3)得到的推理变换参数与步骤(2)得到的位置信息H1、H2、H3、H4、H5分别相加得到新的位置信息H’1,H’2,H’3,H’4,H’5，将该位置信息应用到步骤(1)中的早孕期胎儿三维超声容积数据中，以得到新的随机切面y’1,y’2,y’3,y’4,y’5；
(5)针对步骤(4)中得到的新的随机切面y1',y'2,y'3,y'4,y'5，重复上述步骤(3)至(4)达10次，最终得到5个新的随机切面就是最终预测的五个二维标准切面。
优选地，多任务参数学习网络是通过以下过程训练得到的：
A、用预处理后的数据集对多任务参数学习网络进行训练；
B、用预处理后的数据集中的验证集对训练好的多任务参数学习网络进行验证，以对多任务参数学习网络进行参数更新；
C、使用预处理后的数据集中的测试集对步骤B参数更新后的多任务参数学习网络进行测试，以得到训练好的多任务参数学习网络。
优选地，步骤A中预先处理好的数据集是通过以下步骤得到的：
(a)获取初始数据集，并将该初始数据集发送给产前超声医师进行标注，以获得标注后的初始数据集，标注后的初始数据集和初始数据集共同构成数据集；
其中标注后的初始数据集是超声医师为每个早孕期胎儿三维超声容积数据手工标注的五个二维标准切面的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT，第i个(其中i是1到5之间的任意整数)二维标准切面的位置信息包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴、z轴方向上向该二维标准切面平移的大小
以及该水平横切面相对于该二维标准切面在x轴、y轴、z轴方向上的旋转角度
(b)对步骤(a)中得到的数据集进行处理，以得到预处理后的数据集，具体过程为：
(b1)从步骤(a)得到的数据集中获取一个早孕期胎儿三维超声容积数据、及其对应5个二维标准切面的位置信息，并从该早孕期胎儿三维超声容积数据中随机采样5个随机切面x1,x2,x3,x4,x5，且有xi＝I(V,Ti,S)；
其中，xi表示第i个随机切面，Ti表示获得第i个随机切面xi所需的位置变换参数，其包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面xi平移的大小ti＝(ti,x,ti,y,ti,z)、以及该水平横切面相对于该二维标准切面在x轴、y轴、z轴方向上的旋转角度qi＝(qi,x,qi,y,qi,z)；
(b2)计算步骤(b1)中得到的5个随机切面x1,x2,x3,x4,x5分别到5个二维标准切面所需要的标准变换值ΔTGT 1,ΔTGT 2,ΔTGT 3,ΔTGT 4,ΔTGT 5，从而组成一个数据对集合，其包括5个数据对(x1，ΔT1 GT)、
(x3，ΔT3 GT)、
以及(x5，ΔT5 GT)；
(b3)针对步骤(a)中得到的数据集中剩余的每个早孕期胎儿三维超声容积数据V，重复上述步骤(b1)和(b2)十次，从而得到500个数据对集合，其构成预处理后的数据集。
优选地，标准变换值是通过以下公式计算得到：
优选地，多任务参数学习网络包括5个彼此并联连接的分支网络，每个分支网络由顺次连接的一个骨干网CNN和一个分支子网构成；
对于第一个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的(x1，ΔT1 GT)数据对，并使用数据对(x1，ΔT1 GT)中的x1来预测标准侧脑室水平横切面；
对于第二个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x2来预测标准小脑水平横切面；
对于第三个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的(x3，ΔT3 GT)数据对，并使用数据对(x3，ΔT3 GT)中的x3来预测标准双眼球斜冠状切面；
对于第四个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x4来预测标准鼻后三角区冠状切面；
对于第五个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的(x5，ΔT5 GT)数据对，并使用数据对(x5，ΔT5 GT)中的x5来预测标准鼻唇冠状切面。
优选地，分支网络的骨干网CNN的网络结构为：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是第一卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用VALID模式填充，输出大小为510*510*32的矩阵；
第三层是第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为255*255*32；
第四层是第二卷积层，其卷积核尺寸为3*3*64，步长为1，该层使用VALID模式填充，输出大小为253*253*64的矩阵；
第五层是第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为126*126*64；
第六层是第三卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为124*124*128的矩阵；
第七层是第三池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为62*62*128；
第八层是第四卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为60*60*128的矩阵；
第九层是第四池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为30*30*128。
优选地，分支网络的分支子网的网络结构为：
第一层为输入层：其输入为骨干网CNN的输出矩阵，大小为30*30*128；
第二层为第一卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为28*28*512的矩阵；
第三层为第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为14*14*512；
第四层为第二卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为12*12*512的矩阵；
第五层为第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为6*6*512；
第六层为第一全连接层，该层接收第二池化层输出的大小为6*6*512的特征矩阵，其输出节点个数为1024，用于对第二池化层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为第二全连接层，该层接收第一全连接层输出的大小为1*1*1024的特征矩阵，其输出节点个数为1024，用于对第一全连接层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为第三全连接层，该层接收第二全连接层输出的大小为1*1*1024的特征矩阵，其输出节点个数为3，后接入随机失活操作，防止过拟合。3个节点表示转换当前切面在x轴、y轴、z轴所需的平移值t'＝(t1,x,t1,y,t1,z)；
第九层和第十层分别是第四、第五全连接层，并分别与第六、第七层的结构完全相同，接收第二全连接层输出的大小为6*6*512的特征矩阵，经过第四、第五全连接层后输出1024个节点；
第十一层为第六全连接层，其接收第十层输出的大小为1*1*1024的特征矩阵，输出节点个数为6，并接入Softmax激活函数，后接入随机失活操作，防止过拟合。6个节点表示当前切面向三个坐标轴(x，y，z)的正方向、反方向平移的置信度Q；
第十二、十三层为第七、八全连接层，并分别与第六、七层的结构完全相同；
第十四层为第九全连接层，其接收第十二层输出的大小为1*1*1024的特征矩阵，输出节点个数为4，后接入随机失活操作，防止过拟合。4个节点表示转换当前切面在x轴、y轴、z轴的所需的旋转角度，用q'1＝(q1,x,q1,y,q1,z)表示；
第十五、十六层为第十、十一全连接层，并分别与第六、七层的结构完全相同；
第十七层为第十二全连接层，其接收第十一全连接层输出的大小为1*1*1024的特征矩阵，输出节点个数为6，并接入Softmax激活函数，后接入随机失活操作，防止过拟合。6个节点表示当前切面向三个坐标轴(x，y，z)的顺时针、逆时针旋转的置信度P。
优选地，步骤A中对多任务参数学习网络的第j个分支网络进行训练的过程具体包括以下子步骤：
(A1)从步骤(b3)预处理后的数据集中训练集中的数据对(x1，ΔT1 GT)中取一个随机切面x1输入第一个分支网络中，以获得推理变换值ΔT1和置信度P、Q；
(A2)将步骤(A1)得到的推理变换值ΔT1、以及步骤(b2)中得到该随机切面x1到二维标准切面所需要的标准变换值ΔT1 GT一并输入第j个分支网络的损失函数Lj中，以获取损失值；
(A3)根据随机梯度下降算法并使用步骤(A2)得到的损失值对多任务参数学习网络的损失函数Lj进行优化，以对多任务参数学习网络进行更新。
(1-4)针对步骤(b3)预处理后的数据集中的训练集中的剩余数据对，重复执行上述步骤(A2)和(A3)，直到达到迭代次数为止，从而得到训练好的第j个分支网络。
优选地，损失函数是通过以下公式表示：
其中α，β，γ和δ表示损失权重。
优选地，步骤C具体包括以下子步骤：
(C1)从步骤(b3)预处理后的数据集中的测试集中的一个数据对集合中获取随机切X面(x1,x2,x3,x4,x5)、以及该随机切X面(x1,x2,x3,x4,x5)对应的位置信息T1,T2,T3,T4,T5；
(C2)将步骤(C1)得到的随机切X面(x1,x2,x3,x4,x5)输入训练好的多任务参数学习网络中，以得到推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5；
具体而言，推理变换值为：
ΔT1＝(t'1,q'1)
ΔT2＝(t'2,q'2)
ΔT3＝(t'3,q'3)
ΔT4＝(t'4,q'4)
ΔT5＝(t'5,q'5)
(C3)将步骤(C1)得到的位置信息T1,T2,T3,T4,T5和步骤(C2)中得到的推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5分别进行求和，以得到五个新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT；
(C4)将步骤(C3)得到的新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT应用到步骤(C1)中获取的随机切面(x1,x2,x3,x4,x5)所对应的早孕期胎儿三维超声容积数据中，以得到五个新的随机切面x'1,x'2,x'3,x'4,x'5；
(C5)针对步骤(C4)中得到的五个新的随机切面x'1,x'2,x'3,x'4,x'5，重复上述步骤(C2)至(C4)达10次，最终得到5个的新的随机切面就是最终预测的五个二维标准切面。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明采用了步骤(2)，其在处理三维容积数据时不是将整个容积数据输入到网络中，而是提取三维超声容积中的随机切面将其输入网络，减少了数据量，因此能够解决现有基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形的方法中存在的三维容积数据处理费时且复杂的技术问题；
(2)由于本发明采用了步骤(3)、步骤(4)和步骤(5)，其在诊断过程中无需超声医师手动截取切面，而是完全智能化、程序化的，因此能够解决现有基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形的方法中存在的胎儿颅面部标准切面的获取对医生专业水平要求高，导致其难以广泛应用的技术问题；
(3)由于本发明采用了步骤(3)、步骤(4)和步骤(5)，其在推理标准切面时不是一次迭代得到结果，而是经过十次迭代后得到结果，每次迭代都更加接近标准切面，提高了预测精确度，因此能够解决现有基于三维容积超声成像技术诊断早孕期胎儿颅面部畸形的方法中存在的诊断准确率偏低的技术问题。
(4)由于本发明中的五个二维标准切面是由专业的产前超声检查专家所标注的，包含了专家的先验知识，因此训练的网络能够学习到专家的先验知识，能够对标准切面做出准确的预测，对胎儿颅面部的诊断过程能起到可靠的数据支撑。
(5)本发明创新性的提出了一种能表示二维随机切面与二维随机切面到二维标准切面所需的转换参数之间映射关系的网络，为早孕期胎儿三维超声容积数据中提取标准切面提供了新的思路。
附图说明
图1是本发明基于早孕期胎儿颅面部三维容积自动获取标准切面的方法的流程图；
图2是本发明主动获取方法的步骤(2)中使用的多任务参数学习网络的架构图；
图3是将三维超声容积数据输入到本发明训练好的多任务参数学习网络后得到预测结果的实例图；
图4(a)至(e)是本发明的主动获取方法最终预测的五个二维标准切面，其中图4(a)是标准侧脑室水平横切面，图4(b)是标准小脑水平横切面，图4(c)是标准双眼球斜冠状切面，图4(d)是标准鼻后三角区冠状切面，图4(e)是标准鼻唇冠状切面。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明通过人工智能(Artificial intelligence，简称AI)深度学习大量的早孕期正常和异常的胎儿颅面三维超声影像数据，实现了三维容积数据自动化、智能化快速识别一系列胎儿颜面部标准切面的方法。
如图1所示，本发明提供了一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，包括以下步骤：
(1)获取早孕期胎儿三维超声容积数据；
具体而言，早孕期胎儿三维超声容积数据是从市场上主流厂商(包括迈瑞、联影、西门子等)制造的三维超声设备获取的。
(2)从步骤(1)获取的早孕期胎儿三维超声容积数据中获取5个随机切面y1、y2、y3、y4、y5；
随机切面表示为：
yi＝I(V,Hi,S)
其中yi表示第i个随机切面(其中i是1到5之间的自然数)，V表示早孕期胎儿三维超声容积数据，S表示随机切面的尺寸(在本实施方式中S＝512个像素)，I表示随机变换，Hi表示获得第i个随机切面yi所需的位置信息，并包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面yi平移的大小mi＝(mi,x,mi,y,mi,z)、以及该水平横切面相对于该第i个随机切面yi在x轴、y轴、z轴方向上的旋转角度ni＝(ni,x,ni,y,ni,z)；
(3)将步骤(2)中获取的随机切面y1，y2，y3，y4，y5输入训练好的多任务参数学习网络中，以获得推理变换参数ΔH1,ΔH2,ΔH3,ΔH4,ΔH5；
(4)将步骤(3)得到的推理变换参数与步骤(2)得到的位置信息H1、H2、H3、H4、H5分别相加得到新的位置信息H'1,H'2,H'3,H'4,H'5，将该位置信息应用到步骤(1)中的早孕期胎儿三维超声容积数据中，以得到新的随机切面y'1,y'2,y'3,y'4,y'5；
(5)针对步骤(4)中得到的新的随机切面y'1,y'2,y'3,y'4,y'5，重复上述步骤(3)至(4)达10次，最终得到5个新的随机切面就是最终预测的五个二维标准切面。
如图4(a)至(e)所示，其示出了本步骤中最终预测的5个二位标准切面，其中图4(a)是标准侧脑室水平横切面，图4(b)是标准小脑水平横切面，图4(c)是标准双眼球斜冠状切面，图4(d)是标准鼻后三角区冠状切面，图4(e)是标准鼻唇冠状切面。
具体而言，本发明中的多任务参数学习网络是通过以下过程训练得到的：
(1)用预处理后的数据集对多任务参数学习网络进行训练；
具体而言，步骤(1)中预先处理好的数据集是通过以下步骤得到的：
(a)获取初始数据集，并将该初始数据集发送给产前超声医师进行标注，以获得标注后的初始数据集，标注后的初始数据集和初始数据集共同构成数据集。
具体而言，初始数据集从市场上主流厂商(包括迈瑞、联影、西门子等)制造的三维超声设备获取的、多位进行产前超声检查的孕妇的早孕期胎儿三维超声容积数据(作为示例的，本步骤中采用了50个孕期胎儿三维超声容积数据)；标注后的初始数据集是超声医师为每个早孕期胎儿三维超声容积数据手工标注的五个二维标准切面(即标准侧脑室水平横切面、标准小脑水平横切面，标准双眼球斜冠状切面、标准鼻后三角区冠状切面、以及标准鼻唇冠状切面)的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT。
每个早孕期胎儿三维超声容积中第i个(其中i是1到5之间的任意整数)二维标准切面的位置信息包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴、z轴方向上向该二维标准切面平移的大小
以及该水平横切面相对于该二维标准切面在x轴、y轴、z轴方向上的旋转角度
(b)对步骤(a)中得到的数据集进行处理，以得到预处理后的数据集。具体过程为：
(b1)从步骤(a)得到的数据集中获取一个早孕期胎儿三维超声容积数据、及其对应5个二维标准切面的位置信息，并从该早孕期胎儿三维超声容积数据中随机采样5个随机切面x1,x2,x3,x4,x5；
随机切面表示为：
xi＝I(V,Ti,S)
其中，xi表示第i个随机切面(其中i是1到5之间的自然数)，V表示早孕期胎儿三维超声容积数据，S表示随机切面的尺寸，在本实施方式中S＝512个像素，I表示随机变换，Ti表示获得第i个随机切面xi所需的位置变换参数，其包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面xi平移的大小ti＝(ti,x,ti,y,ti,z)、以及该水平横切面相对于该二维标准切面在x轴、y轴、z轴方向上的旋转角度qi＝(qi,x,qi,y,qi,z)；
(b2)计算步骤(b1)中得到的5个随机切面x1,x2,x3,x4,x5分别到5个二维标准切面所需要的标准变换值ΔTGT 1,ΔTGT 2,ΔTGT 3,ΔTGT 4,ΔTGT 5，从而组成一个数据对集合，其包括5个数据对(x1，ΔT1 GT)、
(x3，ΔT3 GT)、
以及(x5，ΔT5 GT)；
具体而言，ΔTGT 1是第一个随机切面x1到5个二维标准切面中的标准侧脑室水平横切面所需要的标准变换值；ΔTGT 2是第二个随机切面x2到五个二维标准切面中的标准小脑水平横切面所需要的标准变换值；ΔTGT 3是第三个随机标准切面x3到五个二维标准切面中的双眼球标准斜冠状切面所需要的标准变换值；ΔTGT 4是第四个随机标准切面x4到五个二维标准切面中的标准鼻后三角区冠状切面所需要的标准变换值；ΔTGT 5是第五个随机标准切面x5到五个二维标准切面中的标准鼻唇冠状切面所需要的标准变换值。
以标准侧脑室水平横切面为例，标准变换值是通过以下公式计算得到：
同理得到ΔTGT 2,ΔTGT 3,ΔTGT 4,ΔTGT 5。
(b3)针对步骤(a)中得到的数据集中剩余的每个早孕期胎儿三维超声容积数据V，重复上述步骤(b1)和(b2)十次，从而得到500个数据对集合，其构成预处理后的数据集；
本步骤中得到的预处理后的数据集被随机划分为3部分，其中80％作为训练集(Train set)，10％作为验证集(Validation set)，10％作为测试集(Test set)。在本示例中，500个数据集对集合构成的数据集，其训练集包括400个数据对集合，其验证集包括50个数据对集合，其测试集包括50个数据对集合。
如图2所示，本发明的多任务参数学习网络包括5个彼此并联连接的分支网络，每个分支网络由顺次连接的一个骨干网CNN和一个分支子网构成，对于每个分支网络而言，其网络结构完全一致，因此以第一个分支网络为例介绍其网络结构。
对于第一个分支网络，其训练时使用的数据是步骤(b3)得到的训练集(在本示例中是400个数据对集合)中的(x1，ΔT1 GT)数据对。因此，共400个数据作为第一个分支网络的训练集。对于四个分支网络，其训练时使用的数据分别是400个数据对集合中的数据对
(x3，ΔT3 GT)、
(x5，ΔT5 GT)。
以顺次连接的第一个骨干网CNN和第一分支子网构成的第一个分支网络为例，其余四个分支网络的训练与此相同。第一个分支网络是使用步骤(b3)得到的数据集中的数据对(x1，ΔT1 GT)中的x1来预测标准侧脑室水平横切面，其余四个分支网络分别是使用步骤(b3)得到的数据集中的数据对
中的x2、(x3，ΔT3 GT)中的x3、
中的x4、以及(x5，ΔT5 GT)中的x5来预测标准小脑水平横切面，标准双眼球斜冠状切面、标准鼻后三角区冠状切面和标准鼻唇冠状切面。
对于分支网络的骨干网CNN而言，其网络结构如下：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是第一卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用VALID模式填充，输出大小为510*510*32的矩阵；
第三层是第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为255*255*32；
第四层是第二卷积层，其卷积核尺寸为3*3*64，步长为1，该层使用VALID模式填充，输出大小为253*253*64的矩阵；
第五层是第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为126*126*64；
第六层是第三卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为124*124*128的矩阵；
第七层是第三池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为62*62*128；
第八层是第四卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为60*60*128的矩阵；
第九层是第四池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为30*30*128；
对分支网络的分支子网而言，其网络结构如下：
第一层为输入层：其输入为骨干网CNN的输出矩阵，大小为30*30*128；
第二层为第一卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为28*28*512的矩阵；
第三层为第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为14*14*512；
第四层为第二卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为12*12*512的矩阵；
第五层为第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为6*6*512；
第六层为第一全连接层，该层接收第二池化层输出的大小为6*6*512的特征矩阵，其输出节点个数为1024，用于对第二池化层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活(Dropout)操作，防止过拟合；
第七层为第二全连接层，该层接收第一全连接层输出的大小为1*1*1024的特征矩阵，其输出节点个数为1024，用于对第一全连接层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为第三全连接层，该层接收第二全连接层输出的大小为1*1*1024的特征矩阵，其输出节点个数为3，后接入随机失活操作，防止过拟合。3个节点表示转换当前切面在x轴、y轴、z轴所需的平移值t'＝(t1,x,t1,y,t1,z)；
第九层和第十层分别是第四、第五全连接层，与第六、第七层完全相同，接收第二全连接层输出的大小为6*6*512的特征矩阵，经过第四、第五全连接层后输出1024个节点。
第十一层为第六全连接层，其接收第十层输出的大小为1*1*1024的特征矩阵，输出节点个数为6，并接入softmax激活函数，后接入随机失活操作，防止过拟合。6个节点表示当前切面向三个坐标轴(x，y，z)的正方向、反方向平移的置信度Q；
第十二、十三层为第七、八全连接层，并分别与第六、七层的结构完全相同。
第十四层为第九全连接层，其接收第十二层输出的大小为1*1*1024的特征矩阵，输出节点个数为4，后接入随机失活操作，防止过拟合。4个节点表示转换当前切面在x轴、y轴、z轴的所需的旋转角度，用q'1＝(q1,x,q1,y,q1,z)表示；
第十五、十六层为第十、十一全连接层，并分别与第六、七层的结构完全相同。
第十七层为第十二全连接层，其接收第十一全连接层输出的大小为1*1*1024的特征矩阵，输出节点个数为6，并接入Softmax激活函数，后接入随机失活操作，防止过拟合。6个节点表示当前切面向三个坐标轴(x，y，z)的顺时针、逆时针旋转的置信度P。
本步骤(1)中对多任务参数学习网络第j个分支网络(其中j是1到5之间的任意整数)进行训练的过程具体包括以下子步骤：
(1-1)从步骤(b3)预处理后的数据集中训练集(在本示例中是400个数据对集合)中的数据对(x1，ΔT1 GT)中取一个随机切面x1输入第一个分支网络中，以获得推理变换值ΔT1和置信度P、Q；
(1-2)将步骤(1-1)得到的推理变换值ΔT1、以及步骤(b2)中得到该随机切面x1到二维标准切面所需要的标准变换值ΔT1 GT一并输入第j个分支网络的损失函数Lj中，以获取损失值。
具体而言，训练过程中每个分支网络中所用损失函数包括两部分。第一部分：网络推理变换值ΔT和随机切面转换到标准侧脑室水平横切面所需的真实变换ΔTGT之间误差的L2范式。第二部分：将网络推理变换值的置信度Q和P作为对平移和旋转回归值的置信度度量加入到损失函数中。
第一项是随机切面的位移参数t和标准侧脑室水平横切面的位移参数tGT的L2范式，第二项是随机切面的旋转参数q和标准侧脑室水平横切面的旋转参数qGT的L2范式，而第三项和第四项是平移和旋转置信度P、Q的交叉熵损失。α，β，γ和δ是赋予损失的权重，本发明的训练过程中α＝β＝γ＝δ＝1。
(1-3)根据随机梯度下降(Stochastic Gradient Descent，简称SGD)算法并使用步骤(1-2)得到的损失值对多任务参数学习网络的损失函数Lj进行优化，以对多任务参数学习网络进行更新。
具体而言，优化过程中学习率lr＝0.001。
(1-4)针对步骤(b3)预处理后的数据集中的训练集中的剩余数据对，重复执行上述步骤(1-2)和(1-3)，直到达到迭代次数为止，从而得到训练好的第j个分支网络。
具体而言，训练过程中的迭代次数为5000。
其余四个分支网络的训练与此相同，经过训练后的五个分支网络可以分别推理出由不同的随机切面到标准侧脑室水平横切面、标准小脑水平横切面、标准双眼球斜冠状切面、标准鼻后三角区冠状切面和标准鼻唇冠状切面的变换ΔT1,ΔT2,ΔT3,ΔT4,ΔT5
(2)用步骤(b3)预处理后的数据集中的验证集对训练好的多任务参数学习网络进行验证，以对多任务参数学习网络进行参数更新；
(3)使用步骤(b3)预处理后的数据集中的测试集对步骤(2)参数更新后的多任务参数学习网络进行测试，以得到训练好的多任务参数学习网络。
本步骤(3)具体包括以下子步骤：
(3-1)从步骤(b3)预处理后的数据集中的测试集中的一个数据对集合中获取随机切X面(x1,x2,x3,x4,x5)、以及该随机切X面(x1,x2,x3,x4,x5)对应的位置信息T1,T2,T3,T4,T5；
(3-2)将步骤(3-1)得到的随机切X面(x1,x2,x3,x4,x5)输入训练好的多任务参数学习网络中，以得到推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5；
具体而言，推理变换值为：
ΔT1＝(t'1,q'1)
ΔT2＝(t'2,q'2)
ΔT3＝(t'3,q'3)
ΔT4＝(t'4,q'4)
ΔT5＝(t'5,q'5)
(3-3)将步骤(3-1)得到的位置信息T1,T2,T3,T4,T5和步骤(3-2)中得到的推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5分别进行求和，以得到五个新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT；
(3-4)将步骤(3-3)得到的新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT应用到步骤(3-1)中获取的随机切面(x1,x2,x3,x4,x5)所对应的早孕期胎儿三维超声容积数据中，以得到五个新的随机切面x'1,x'2,x'3,x'4,x'5；
具体而言，本步骤就是使用步骤(b1)中的公式进行计算。
(3-5)针对步骤(3-4)中得到的五个新的随机切面x'1,x'2,x'3,x'4,x'5，重复上述步骤(3-2)至(3-4)达10次，最终得到5个的新的随机切面就是最终预测的五个二维标准切面。
测试结果
将胎儿三维超声容积数据输入到训练好的参数学习网络中，可以自动识别出早孕期胎儿颅面部的五个二维标准切面，如图3所示。
本项目除了使用两切面中心点之间的距离和切面之间的旋转角度针对预测切面和标准切面进行评估，还使用了结构相似度(Structural similarity index，简称SSIM)和均方误差(Mean square error，简称MSE)来衡量两切面的图像相似度。其中两个切面图像是使用零归一化后的图像。训练好的模型在新的测试集上的五个二维标准切面(侧脑室水平横切面、小脑水平横切面，双眼球斜冠状切面、鼻后三角区冠状切面、以及鼻唇冠状切面)的像素相似度和像素结构相似度如下，可以看出本发明预测的切面与标准切面的结构相似度很高，且均方误差很小。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，包括以下步骤：
(1)获取早孕期胎儿三维超声容积数据；
(2)从步骤(1)获取的早孕期胎儿三维超声容积数据中获取5个随机切面y1、y2、y3、y4、y5；其中随机切面表示为：
yi＝I(V,Hi,S)
其中yi表示第i个随机切面，其中i是1到5之间的自然数，V表示早孕期胎儿三维超声容积数据，S表示随机切面的尺寸，I表示随机变换，Hi表示获得第i个随机切面yi所需的位置信息，并包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面yi平移的大小m＝(mi,x,mi,y,mi,z)、以及该水平横切面相对于该第i个随机切面yi在x轴、y轴、z轴方向上的旋转角度n＝(ni,x,ni,y,ni,z)；
(3)将步骤(2)中获取的随机切面y1，y2，y3，y4，y5输入训练好的多任务参数学习网络中，以获得推理变换参数ΔH1,ΔH2,ΔH3,ΔH4,ΔH5；
(4)将步骤(3)得到的推理变换参数与步骤(2)得到的位置信息H1、H2、H3、H4、H5分别相加得到新的位置信息H′1,H'2,H′3,H'4,H′5，将该位置信息应用到步骤(1)中的早孕期胎儿三维超声容积数据中，以得到新的随机切面y′1,y′2,y′3,y′4,y′5；
(5)针对步骤(4)中得到的新的随机切面y′1,y'2,y'3,y'4,y'5，重复上述步骤(3)至(4)达10次，最终得到5个新的随机切面就是最终预测的五个二维标准切面。
2.根据权利要求1所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，多任务参数学习网络是通过以下过程训练得到的：
A、用预处理后的数据集对多任务参数学习网络进行训练；
B、用预处理后的数据集中的验证集对训练好的多任务参数学习网络进行验证，以对多任务参数学习网络进行参数更新；
C、使用预处理后的数据集中的测试集对步骤B参数更新后的多任务参数学习网络进行测试，以得到训练好的多任务参数学习网络。
3.根据权利要求2所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，步骤A中预先处理好的数据集是通过以下步骤得到的：
(a)获取初始数据集，并将该初始数据集发送给产前超声医师进行标注，以获得标注后的初始数据集，标注后的初始数据集和初始数据集共同构成数据集；
其中标注后的初始数据集是超声医师为每个早孕期胎儿三维超声容积数据手工标注的五个二维标准切面的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT，第i个二维标准切面的位置信息包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴、z轴方向上向该二维标准切面平移的大小tGT＝(t′i,x,t′i,y,t′i,z)、以及该水平横切面相对于该二维标准切面在x轴、y轴、z轴方向上的旋转角度qGT＝(q′i,x,q′i,y,q′i,z)；
(b)对步骤(a)中得到的数据集进行处理，以得到预处理后的数据集，具体过程为：
(b1)从步骤(a)得到的数据集中获取一个早孕期胎儿三维超声容积数据、及其对应5个二维标准切面的位置信息，并从该早孕期胎儿三维超声容积数据中随机采样5个随机切面x1,x2,x3,x4,x5，且有xi＝I(V,Ti,S)；
其中，xi表示第i个随机切面，Ti表示获得第i个随机切面xi所需的位置变换参数，其包括早孕期胎儿三维超声容积数据V中过中心的水平横切面在x轴、y轴和z轴方向上向第i个随机切面xi平移的大小t＝(ti,x,ti,y,ti,z)、以及该水平横切面相对于该随机切面在x轴、y轴、z轴方向上的旋转角度q＝(qi,x,qi,y,qi,z)；
(b2)计算步骤(b1)中得到的5个随机切面x1,x2,x3,x4,x5分别到5个二维标准切面所需要的标准变换值ΔTGT 1,ΔTGT 2,ΔTGT 3,ΔTGT 4,ΔTGT 5，从而组成一个数据对集合，其包括5个数据对(x1，ΔT1 GT)、
以及
(b3)针对步骤(a)中得到的数据集中剩余的每个早孕期胎儿三维超声容积数据V，重复上述步骤(b1)和(b2)十次，从而得到500个数据对集合，其构成预处理后的数据集。
4.根据权利要求3所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，标准变换值是通过以下公式计算得到：
ΔTGT 1＝(t1 GT-t1,q1 GT-q1)
5.根据权利要求4所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，
多任务参数学习网络包括5个彼此并联连接的分支网络，每个分支网络由顺次连接的一个骨干网CNN和一个分支子网构成；
对于第一个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的(x1，ΔT1 GT)数据对，并使用数据对(x1，ΔT1 GT)中的x1来预测标准侧脑室水平横切面；
对于第二个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x2来预测标准小脑水平横切面；
对于第三个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x3来预测标准双眼球斜冠状切面；
对于第四个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x4来预测标准鼻后三角区冠状切面；
对于第五个分支网络，其训练时使用的数据是步骤(b3)得到的训练集中的
数据对，并使用数据对
中的x5来预测标准鼻唇冠状切面。
6.根据权利要求5所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，分支网络的骨干网CNN的网络结构为：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是第一卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用VALID模式填充，输出大小为510*510*32像素的矩阵；
第三层是第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为255*255*32像素；
第四层是第二卷积层，其卷积核尺寸为3*3*64，步长为1，该层使用VALID模式填充，输出大小为253*253*64像素的矩阵；
第五层是第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为126*126*64像素；
第六层是第三卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为124*124*128像素的矩阵；
第七层是第三池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为62*62*128像素；
第八层是第四卷积层，其卷积核尺寸为3*3*128，步长为1，该层使用VALID模式填充，输出大小为60*60*128像素的矩阵；
第九层是第四池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为30*30*128像素。
7.根据权利要求6所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，分支网络的分支子网的网络结构为：
第一层为输入层：其输入为骨干网CNN的输出矩阵，大小为30*30*128像素；
第二层为第一卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为28*28*512像素的矩阵；
第三层为第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为14*14*512像素；
第四层为第二卷积层，其卷积核尺寸为3*3*512，步长为1，该层使用VALID模式填充，输出大小为12*12*512像素的矩阵；
第五层为第二池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层的输出矩阵为6*6*512像素；
第六层为第一全连接层，该层接收第二池化层输出的大小为6*6*512像素的特征矩阵，其输出节点个数为1024，用于对第二池化层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为第二全连接层，该层接收第一全连接层输出的大小为1*1*1024像素的特征矩阵，其输出节点个数为1024，用于对第一全连接层的输出特征做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为第三全连接层，该层接收第二全连接层输出的大小为1*1*1024像素的特征矩阵，其输出节点个数为3，后接入随机失活操作，防止过拟合；3个节点表示转换当前切面在x轴、y轴、z轴所需的平移值t'＝(t1,x,t1,y,t1,z)；
第九层和第十层分别是第四、第五全连接层，并分别与第六、第七层的结构完全相同，接收第二全连接层输出的大小为6*6*512像素的特征矩阵，经过第四、第五全连接层后输出1024个节点；
第十一层为第六全连接层，其接收第十层输出的大小为1*1*1024像素的特征矩阵，输出节点个数为6，并接入Softmax激活函数，后接入随机失活操作，防止过拟合；6个节点表示当前切面向三个坐标轴(x，y，z)的正方向、反方向平移的置信度Q；第十二、十三层为第七、八全连接层，并分别与第六、七层的结构完全相同；
第十四层为第九全连接层，其接收第十三层输出的大小为1*1*1024像素的特征矩阵，输出节点个数为4，后接入随机失活操作，防止过拟合；4个节点表示转换当前切面在x轴、y轴、z轴的所需的旋转角度，用q′1＝(q1,x,q1,y,q1,z)表示；
第十五、十六层为第十、十一全连接层，并分别与第六、七层的结构完全相同；
第十七层为第十二全连接层，其接收第十一全连接层输出的大小为1*1*1024像素的特征矩阵，输出节点个数为6，并接入Softmax激活函数，后接入随机失活操作，防止过拟合；6个节点表示当前切面向三个坐标轴(x，y，z)的顺时针、逆时针旋转的置信度P。
8.根据权利要求7所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，步骤A中对多任务参数学习网络的第j个分支网络进行训练的过程具体包括以下子步骤，其中j是1到5之间的任意整数：
(A1)从步骤(b3)预处理后的数据集中训练集中的数据对(x1，ΔT1 GT)中取一个随机切面x1输入第一个分支网络中，以获得推理变换值ΔT1和置信度P、Q；
(A2)将步骤(A1)得到的推理变换值ΔT1、以及步骤(b2)中得到该随机切面x1到二维标准切面所需要的标准变换值ΔT1 GT一并输入第j个分支网络的损失函数Lj中，以获取损失值；
(A3)根据随机梯度下降算法并使用步骤(A2)得到的损失值对多任务参数学习网络的损失函数Lj进行优化，以对多任务参数学习网络进行更新；
(A4)针对步骤(b3)预处理后的数据集中的训练集中的剩余数据对，重复执行上述步骤(A2)和(A3)，直到达到迭代次数为止，从而得到训练好的第j个分支网络。
9.根据权利要求8所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，损失函数是通过以下公式表示：
其中第一项是随机切面的位移参数t和标准侧脑室水平横切面的位移参数tGT的L2范式，第二项是随机切面的旋转参数q和标准侧脑室水平横切面的旋转参数qGT的L2范式，而第三项和第四项是平移和旋转置信度P、Q的交叉熵损失，α，β，γ和δ表示损失权重。
10.根据权利要求9所述的基于早孕期胎儿颅面部三维容积自动获取标准切面的方法，其特征在于，步骤C具体包括以下子步骤：
(C1)从步骤(b3)预处理后的数据集中的测试集中的一个数据对集合中获取随机切面x1,x2,x3,x4,x5、以及该随机切面x1,x2,x3,x4,x5对应的位置信息T1,T2,T3,T4,T5；
(C2)将步骤(C1)得到的随机切面x1,x2,x3,x4,x5输入训练好的多任务参数学习网络中，以得到推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5；
具体而言，推理变换值为：
ΔT1＝(t′1,q′1)
ΔT2＝(t'2,q'2)
ΔT3＝(t'3,q'3)
ΔT4＝(t'4,q'4)
ΔT5＝(t'5,q'5)
(C3)将步骤(C1)得到的位置信息T1,T2,T3,T4,T5和步骤(C2)中得到的推理变换值ΔT1,ΔT2,ΔT3,ΔT4,ΔT5分别进行求和，以得到五个新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT；
(C4)将步骤(C3)得到的新的位置信息T1 GT,T2 GT,T3 GT,T4 GT,T5 GT应用到步骤(C1)中获取的随机切面x1,x2,x3,x4,x5所对应的早孕期胎儿三维超声容积数据中，以得到五个新的随机切面x′1,x'2,x'3,x'4,x'5；
(C5)针对步骤(C4)中得到的五个新的随机切面x′1,x'2,x'3,x'4,x'5，重复上述步骤(C2)至(C4)达10次，最终得到5个的新的随机切面就是最终预测的五个二维标准切面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971387.8A CN111127305B (zh) | 2019-10-14 | 2019-10-14 | 基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971387.8A CN111127305B (zh) | 2019-10-14 | 2019-10-14 | 基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127305A CN111127305A (zh) | 2020-05-08 |
| CN111127305B true CN111127305B (zh) | 2021-01-26 |
Family
ID=70495302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910971387.8A Active CN111127305B (zh) | 2019-10-14 | 2019-10-14 | 基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127305B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112155603B (zh) * | 2020-09-24 | 2023-06-09 | 广州爱孕记信息科技有限公司 | 胎儿结构特征的权重值确定方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2654611C2 (ru) * | 2012-11-20 | 2018-05-21 | Конинклейке Филипс Н.В. | Автоматическое позиционирование стандартных плоскостей для оценки сердца плода в режиме реального времени |
| CN103955698B (zh) * | 2014-03-12 | 2017-04-05 | 深圳大学 | 从超声图像中自动定位标准切面的方法 |
| US20160038125A1 (en) * | 2014-08-06 | 2016-02-11 | General Electric Company | Guided semiautomatic alignment of ultrasound volumes |
| CN106408566B (zh) * | 2016-11-10 | 2019-09-10 | 深圳大学 | 一种胎儿超声图像质量控制方法及系统 |
| CN110033020A (zh) * | 2019-03-07 | 2019-07-19 | 李胜利 | 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统 |
| CN110163907B (zh) * | 2019-05-28 | 2021-06-29 | 无锡祥生医疗科技股份有限公司 | 胎儿颈部透明层厚度测量方法、设备及存储介质 |
-
2019
- 2019-10-14 CN CN201910971387.8A patent/CN111127305B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127305A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730497B (zh) | 一种基于深度迁移学习的血管内斑块属性分析方法 | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN110232383A (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| CN110400298B (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| WO2022077888A1 (zh) | 一种光体积描计信号的散点图分类方法和装置 | |
| CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
| CA3129213A1 (en) | Neural network image analysis | |
| CN114863111A (zh) | 交互融合Transformer的超声图像量化方法 | |
| CN111127305B (zh) | 基于早孕期胎儿颅面部三维容积自动获取标准切面的方法 | |
| CN114176549B (zh) | 基于生成式对抗网络的胎心率信号数据增强方法和装置 | |
| Liu et al. | Automated classification and measurement of fetal ultrasound images with attention feature pyramid network | |
| Seetharam et al. | Clinical inference from cardiovascular imaging: paradigm shift towards machine-based intelligent platform | |
| Yong et al. | Automatic ventricular nuclear magnetic resonance image processing with deep learning | |
| Lin et al. | Method for carotid artery 3-D ultrasound image segmentation based on cswin transformer | |
| CN112992353A (zh) | 预产期精准预测方法、装置、计算机设备及存储介质 | |
| Nabavi et al. | Automatic multi-class cardiovascular magnetic resonance image quality assessment using unsupervised domain adaptation in spatial and frequency domains | |
| Wen et al. | Analysis on SPECT myocardial perfusion imaging with a tool derived from dynamic programming to deep learning | |
| Attar et al. | High throughput computation of reference ranges of biventricular cardiac function on the UK Biobank population cohort | |
| CN114010227B (zh) | 一种右心室特征信息识别方法及装置 | |
| CN114224354B (zh) | 心律失常分类方法、装置及可读存储介质 | |
| CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
| US20220092771A1 (en) | Technique for quantifying a cardiac function from CMR images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211124 Address after: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515 Patentee after: SOUTHERN MEDICAL University Patentee after: Hunan University Address before: 518028 ultrasound department, 4th floor, building 1, Shenzhen maternal and child health hospital, 2004 Hongli Road, Futian District, Shenzhen City, Guangdong Province Patentee before: Li Shengli |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230510 Address after: 518000, 6th Floor, Building A3, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province Patentee after: Shenzhen Lanxiang Zhiying Technology Co.,Ltd. Address before: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515 Patentee before: SOUTHERN MEDICAL University Patentee before: HUNAN University |
|
| TR01 | Transfer of patent right |