CN113393456B - 基于多任务的早孕期胎儿标准切面的自动质量控制方法 - Google Patents

基于多任务的早孕期胎儿标准切面的自动质量控制方法 Download PDF

Info

Publication number
CN113393456B
CN113393456B CN202110788728.5A CN202110788728A CN113393456B CN 113393456 B CN113393456 B CN 113393456B CN 202110788728 A CN202110788728 A CN 202110788728A CN 113393456 B CN113393456 B CN 113393456B
Authority
CN
China
Prior art keywords
layer
size
output
matrix
early pregnancy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110788728.5A
Other languages
English (en)
Other versions
CN113393456A (zh
Inventor
范欣欣
蒲斌
王腾
黄诗华
赵蕾
路玉欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110788728.5A priority Critical patent/CN113393456B/zh
Publication of CN113393456A publication Critical patent/CN113393456A/zh
Application granted granted Critical
Publication of CN113393456B publication Critical patent/CN113393456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，包括：获取多张早孕期胎儿超声切面图像，对多张早孕期胎儿超声切面图像进行预处理，以得到预处理后的多张早孕期胎儿超声切面图像，将获得的每张预处理后的早孕期胎儿超声切面图像输入训练好的多任务深度卷积网络中，以获得该张早孕期胎儿超声切面图像对应切面的类别及其置信度、该切面中所有关键解剖结构的类别及其置信度、以及所有关键解剖结构的位置坐标，将每张早孕期胎儿超声切面图像对应切面的类别、以及该切面中所有关键解剖结构的类别输入到训练好的SVM分类模型中。本发明能够解决现有基于人工筛查的方法工作量较大和耗时长的技术问题。

Description

基于多任务的早孕期胎儿标准切面的自动质量控制方法
技术领域
本发明属于胎儿产前检查辅助测量与诊断领域，更具体地，涉及一种基于多任务的早孕期胎儿标准切面的自动质量控制方法。
背景技术
早孕期胎儿超声检查能够对早孕期胎儿形态和组织解剖结构进行观察，能够最早发现胎儿的健康和发育状况。
早孕期胎儿超声检查的过程包括获取标准切面图像、对切面图像进行质量控制、测量和疾病诊断等步骤。切面图像的质量控制一方面是医生对抓取的切面进行质量衡量的重要手段，另一方面是测量、诊断疾病以及评估胎儿发育情况的基石。切面图像的质量控制能够提高超声切面的标准化水平，提升超声筛查准确性，为胎儿健康发育诊断提供基础和保障有着重要意义。
目前，早孕期切面图像的质量控制主要有两种，第一种是通过医生人工筛查的方式，判断切面图像是否是标准图像、切面类型是否正确，第二种是利用中晚孕期切面图像进行质量控制的方式实现对早孕期切面图像的质量控制。
然而，上述两种针对早孕期切面图像的质量控制方法均存在着一些不可忽略的缺点：
第一、基于人工筛查的方法工作量较大，耗时长；
第二、基于人工筛查的方法高度依赖于医生的技术和专业水平，而不同的医生水平不一，往往导致不同的医生得出不同的质量控制结果，从而影响超声检查结果的准确率。
第三、由于早孕期胎儿发育不完全，早孕期切面图像中的关键解剖结构的形态与中晚孕期中的相差较大，即早孕期切面中关键解剖结构的形态较小且形态变化较大更加难以识别，因此无法用现有的中晚孕期的自动质量控制方法对早孕期切面图像进行准确无误的质量控制。
第四、目前针对中晚孕期的自动质量控制方法无法给出切面图像是非标准图像的原因。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，其目的在于，解决现有基于人工筛查的方法工作量较大和耗时长、以及由于高度依赖于医生的技术和专业水平导致不同的医生得出不同的质量控制结果，从而影响超声检查结果的准确率的技术问题，以及现有利用中晚孕期切面图像进行质量控制的方法对早孕期切面图像进行准确无误的质量控制、无法给出切面图像是非标准图像的原因的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，包括以下步骤：
(1)获取多张早孕期胎儿超声切面图像；
(2)对步骤(1)获取的多张早孕期胎儿超声切面图像进行预处理，以得到预处理后的多张早孕期胎儿超声切面图像。
(3)将步骤(2)获得的每张预处理后的早孕期胎儿超声切面图像输入训练好的多任务深度卷积网络中，以获得该张早孕期胎儿超声切面图像对应切面的类别及其置信度、该切面中所有关键解剖结构的类别及其置信度、以及所有关键解剖结构的位置坐标。
(4)将步骤(3)获得的每张早孕期胎儿超声切面图像对应切面的类别、以及该切面中所有关键解剖结构的类别输入到训练好的SVM分类模型中，以判断该早孕期胎儿超声切面图像是否为标准，如果标准则过程结束，如果非标准则进入步骤(5)；
(5)根据该早孕期胎儿超声切面图像对应切面中所有关键解剖结构的类别、并参照预先设定的关键解剖结构匹配规则为该早孕期胎儿超声切面图像生成质量评估报告作为最终的质量控制结果(如图4至图7所示)，其中该质量评估报告说明了该早孕期胎儿超声切面图像是非标准早孕期胎儿超声切面图像的原因。
优选地，早孕期胎儿超声切面图像包括胎儿颈项透明层NT切面图像、胎儿头臀长CRL测量切面图像、早孕期侧脑室水平横切面图像、以及早孕期上腹部水平横切面图像；
多任务深度卷积网络包括多任务深度卷积网络骨干网、切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络，其中切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络均与多任务深度卷积网络骨干网连接。
优选地，多任务深度卷积网络骨干网的网络结构如下：
第一层是输入层，其输入大小为512*512*3的早孕期胎儿超生切面图像。
第二层是卷积层，其接收来自输入层的图像，卷积核的大小为3*3，步长为4，卷积核数量为32，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最终输出大小为128*128*32的矩阵。
第三层是卷积层，其接收来自第二层输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为64*64*32的矩阵。
第四层是卷积层，其接收来自第三层输出的大小为64*64*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为32*32*128的矩阵。
第五层是卷积层，其接收来自第四层输出的大小为32*32*128的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为256，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为16*16*256的矩阵。
第六层是卷积层，其接收来自第五层输出的大小为16*16*256的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为8*8*512的矩阵。
第七层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为4*4*512的矩阵。
第八层是卷积层，其接收来自第七层输出的大小为4*4*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理。最终输出大小为4*4*512的矩阵。
第九层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为512，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为8*8*512的矩阵。
第十层是上采样层，其接收来自第八层输出的大小为4*4*512的矩阵，该层的上采样因子为2*2，输出大小为8*8*512的矩阵。
第十一层是特征融合层，其接收来自第九层和第十层输出的矩阵，采用相加操作得到大小为8*8*512的矩阵。
第十二层是卷积层，其接收来自第十一层输出大小为8*8*512大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为8*8*256的矩阵。
第十三层是上采样层，其接收来自第十二层输出的大小为8*8*256大小的矩阵，该层的上采样因子为2*2，输出大小为16*16*256的矩阵。
第十四层是卷积层，其接收来自第五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*256的矩阵。
第十五层是特征融合层，其接收来自第十三层和第十四层输出的矩阵，采用相加操作得到大小为16*16*256的矩阵。
第十六层是卷积层，其接收来自第十五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128 的矩阵。
第十七层是上采样层，其接收来自第十六层输出的大小为16*16*128大小的矩阵，该层的上采样因子为2*2，输出大小为32*32*128的矩阵。
第十八层是卷积层，其接收来自第四层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为32*32*128的矩阵。
第十九层是特征融合层，其接收来自第十八层和第十七层输出的矩阵，采用相加操作得到大小为32*32*128的矩阵。
第二十层是卷积层，其接收来自第十九层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为32*32*64的矩阵。
第二十一层是上采样层，其接收来自第二十层输出的大小为32*32*64大小的矩阵，该层的上采样因子为2*2，输出大小为64*64*64的矩阵。
第二十二层是卷积层，其接收来自第三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵。
第二十三层是特征融合层，其接收来自第二十一层和第二十二层输出的矩阵，采用相加操作得到大小为64*64*64的矩阵。
第二十四层是卷积层，其接收来自第二十三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*32 的矩阵。
第二十五层是上采样层，其接收来自第二十层输出的大小为32*32*64大小的矩阵，该层的上采样因子为2*2，输出大小为128*128*32的矩阵。
第二十六层是卷积层，其接收来自第二层输出大小为128*128*32大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为128*128*32 的矩阵。
第二十七层是特征融合层，其接收来自第二十五层和第二十六层输出的矩阵，采用相加操作得到大小为128*128*32的矩阵。
优选地，切面类别识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为4，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
切面关键结构识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
切面关键结构定位子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
优选地，多任务深度卷积网络是通过以下步骤训练得到的：
(3-1)获取早孕期胎儿超声切面图像数据集，将该早孕期胎儿超声切面图像数据集按照8：1：1的比例划分为训练集、验证集和测试集。
(3-2)将步骤(3-1)获取的早孕期胎儿超声切面图像数据集发送给超声医师进行人工数据标注，以得到人工数据标注结果作为标注后的早孕期胎儿超声切面图像数据集；
(3-3)对步骤(3-2)得到的标注后的早孕期胎儿超声切面图像数据集中的训练集进行数据增强，以得到数据增强后的早孕期胎儿超声切面图像训练集。
(3-4)对步骤(3-3)得到的数据增强后的早孕期胎儿超声切面图像训练集先后进行标准化和归一化处理，以得到预处理后的早孕期胎儿超声切面图像训练集。
(3-5)将步骤(3-4)获取的预处理后的早孕期胎儿超声切面图像训练集中的第一批早孕期胎儿超声切面图像输入任务深度卷积网络中，以获取对应的推理输出结果，将该推理输出结果和步骤(3-2)超声医师标注后的早孕期胎儿超声切面图像数据集一并输入多任务深度卷积网络的损失函数Ld中，以获取损失值。
(3-6)使用自适应矩估计优化器和步骤(3-5)得到的损失值对多任务深度卷积网络的损失函数进行优化，以迭代更新多任务深度卷积网络中的参数；
(3-7)针对步骤(3-4)获得的预处理后的早孕期胎儿超声切面图像训练集中的剩余批次早孕期胎儿超声切面图像，重复执行上述步骤(3-5)和步骤(3-6)，直到多任务深度卷积网络收敛到最佳状态为止，从而得到训练好的多任务深度卷积网络。
优选地，多任务深度卷积网络的损失函数如下：
Ld＝Lcls+Ll+Lc
其中，Lcls表示切面类别识别子任务网络的损失函数，且有：
Figure GDA0003527461860000081
N表示早孕期胎儿超声切面图像训练集中的样本总数，K表示早孕期胎儿超声切面图像的类别个数，pi,k表示第i个样本被预测为第k个早孕期切面类别的概率pi,k，yi,k表示超声医师是否将第i个样本标注为第k个早孕期胎儿超声切面类型(如果是则取值为1，否则取值为0)，其中i∈[1，N]，k∈[1,K]。
其中，Ll表示切面关键结构定位子任务网络的损失函数，且有：
Figure GDA0003527461860000082
a表示早孕期超声切面图像中局部区域的数量，B表示在一个局部区域中预测的关键解剖结构目标框的数量；
Figure GDA0003527461860000083
表示在第v个局部区域中是否存在目标obj(存在为1，不存在为0)，(xv，yv)表示第i个局部区域预测的关键解剖结构的位置坐标，
Figure GDA0003527461860000084
表示由超声医师标注的关键解剖结构的位置坐标；
其中，Lc表示切面关键结构识别子任务网络的损失函数，且有：
Figure GDA0003527461860000085
Pu(z)表示对早孕期胎儿超声切面图像中所有的局部区域被预测为含有第z类关键解剖结构的概率，
Figure GDA0003527461860000091
表示超声医师是否将早孕期胎儿超声切面图像中的第u个局部区域标注为第z类关键解剖结构(是则取值为1，否则取值为0)，其中z∈[1，M]，M 表示K种早孕期胎儿超声标准切面图像中关键解剖结构的种类数。
优选地，SVM分类模型是通过以下步骤训练得到的：
(4-1)将步骤(3-1)获得的所有早孕期胎儿超声切面图像的类别置信度和关键解剖结构的类别置信度作为输入特征，将每张早孕期胎儿超声切面图像是否为标准作为标签，以此组装好训练数据。
(4-2)将组装好的训练数据按照7：2：1的比例划分为训练集、验证集和测试集；
(4-2)将步骤(4-1)组装好的训练集数据按列随机重排，以获得重排后的训练集。
(4-3)将步骤(4-2)获得的重排后的训练集中的第一批数据输入到SVM分类网络中，以获得对应的推理输出结果，将该推理输出结果和步骤(3-2)中与这第一批数据对应的标注后的人工数据标注结果一并输入到损失函数Cost中，以获取损失值。
(4-4)使用随机梯度下降法和步骤(4-3)得到的损失值对SVM网络的损失函数进行优化，以迭代更新SVM网络中的参数。
(4-5)针对步骤(4-2)获得的重排后的训练集中的剩余批次数据，重复执行上述步骤(4-3)和步骤(4-4)，直到SVM网络收敛到最佳状态为止，从而得到训练好的SVM 网络。
优选地，该SVM网络的损失函数为：
Figure GDA0003527461860000092
其中x表示步骤(4-2)重排后的训练集，yg表示SVM网络需要学习的目标，即通过步骤(3-2)获得的与第一批数据中的第一个对应的、标注后的人工数据标注结果；ω和b分别为SVM超平面的法向量和截距。
优选地，关键解剖结构匹配规则具体为：
(a)对于胎儿NT切面图像而言，该类型切面图像为非标准的原因为：①颈后皮肤透明层不清楚；②鼻尖及鼻前皮肤不清楚；③鼻骨不清楚；④间脑不清楚；⑤菱脑不清楚；⑥下颌骨不清楚或下颌骨呈条状；⑦上颌骨不清楚；⑧同时出现肋骨、锁骨、以及侧脑室；
(b)对于CRL测量切面图像而言，该类型切面图像为非标准的条件为：①鼻尖及鼻前皮肤不清楚；②鼻骨不清楚；③间脑不清楚；④菱脑不清楚；⑤下颌骨不清楚或下颌骨呈条状；⑥上颌骨不清楚；⑦⑧同时出现肋骨、锁骨、髂骨、以及侧脑室；
(c)对于早孕期侧脑室水平横切面而言，该类型切面图像为非标准的条件为：①颅骨光环不清楚，②大脑镰不清楚，③双侧脉络丛不清楚；
(d)对于早孕期上腹部水平横切面，该切面图像为非标准的条件为：①上腹部整体轮廓不清楚，②胃泡不清楚，③脊柱不清楚。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明采用了步骤(1)到(5)，其采用人工智能技术实现全自动化早孕期胎儿超声标准切面的质量控制，能够替代超声医师完成早孕期的切面质控工作，因此能解决现有的传统人工质量控制工作量较大、耗时长的技术问题；
(2)由于本发明采用了步骤(3)，其使用了多任务深度卷积网络，该网络的三个子任务网络分别完成早孕期胎儿超声切面类别的识别、切面关键解剖结构的识别、切面关键结构的定位，因此该网络能在识别切面类别的同时给出切面中存在的关键解剖结构的定位，并能够解决现有基于人工筛查的方法由于高度依赖于医生的技术和专业水平、不同的医生水平不一，导致不同的医生得出不同的质量控制结果，从而影响超声检查结果的准确率的技术问题；
(3)由于本发明采用了步骤(3)中的多任务深度卷积网络，该多任务深度卷积网络的骨干网中采用了编码-解码的网络结构，且网络中添加了多个特征融合层，将深层特征与浅层特征融合，能够提取多尺度的特征，能够更加适用于早孕期胎儿超声切面图像的图像特征，并使得对早孕期胎儿超声切面图像对应切面的类别、该切面中所有关键解剖结构的类别进行识别、以及对所有关键解剖结构的位置坐标进行定位的效果更准确；
(4)由于本发明采用了步骤(5)生成质量控制结果，该质量评估报告说明了该早孕期胎儿超声切面图像是非标准早孕期胎儿超声切面图像的原因，因此能够解决现有针对中晚孕期的自动质量控制方法无法给出切面图像是非标准图像原因的技术问题；
(5)由于本发明采用了步骤(4)中的SVM分类网络对早孕期胎儿超声切面图像进行标准与否的判断，因此相比于基于人工筛查的方法进行判断有更高的准确性。
附图说明
图1是本发明基于多任务的早孕期胎儿标准切面的自动质量控制方法的流程图；
图2是本发明标注后的早孕期胎儿超声切面图像的示意图，其中图2(a)是标注为标准的早孕期侧脑室水平横切面图像，图2(b)是标注为非标准的早孕期侧脑室水平横切面图像，图2(c)是标注为标准的早孕期上腹部水平横切面图像，图2(d)是标注为非标准的早孕期上腹部水平横切面图像，图2(e)是标注为标准的早孕期标准胎儿NT切面图像，图2(f)是标注为非标准的早孕期标准胎儿NT切面图像，图2 (g)是标注为标准的早孕期标准胎儿头臂长测量切面图像，图2(h)是标注为非标准的早孕期标准胎儿头臂长测量切面图像；
图3是本发明中多任务深度卷积网络的框架图；
图4是本发明中对标准胎儿NT切面的质量控制结果图；
图5是本发明对标准胎儿头臀长测量切面的质量控制结果图；
图6是本发明对标准早孕期侧脑室水平横切面的质量控制结果图；
图7是本发明对标准早孕期上腹部水平横切面的质量控制结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基本思路在于，提供一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，其具体过程为：首先采用多任务深度卷积网络一次推理获得早孕期胎儿超声切面图像的类别信息和关键解剖结构的类别和位置信息，然后由切面的类别和关键解剖结构置信度输入SVM分类网络，得到该切面是否为标准切面，若为标准切面则输出切面的类别和关键解剖结构的框图；若为非标准则根据早孕期胎儿超声切面标准规则得出非标准原因。
如图1所示，本发明提供了一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，包括以下步骤：
(1)获取多张早孕期胎儿超声切面图像；
具体而言，早孕期胎儿超声切面图像包括四种：胎儿颈项透明层(NuchalTranslucency Scan，简称NT)切面图像、胎儿头臀长(Crown-rump length，简称CRL) 测量切面图像、早孕期侧脑室水平横切面图像、以及早孕期上腹部水平横切面图像。
(2)对步骤(1)获取的多张早孕期胎儿超声切面图像进行预处理，以得到预处理后的多张早孕期胎儿超声切面图像。
具体而言，本步骤是对早孕期胎儿超声切面图像先后进行标准化和归一化处理，以得到预处理后的早孕期胎儿超声切面图像。
(3)将步骤(2)获得的每张预处理后的早孕期胎儿超声切面图像输入训练好的多任务深度卷积网络中，以获得该张早孕期胎儿超声切面图像对应切面的类别及其置信度、该切面中所有关键解剖结构的类别及其置信度、以及所有关键解剖结构的位置坐标。
如图3所示，具体而言，多任务深度卷积网络包括多任务深度卷积网络骨干网、切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络，其中切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络均与多任务深度卷积网络骨干网连接。
多任务深度卷积网络骨干网的网络结构如下：
第一层是输入层，其输入大小为512*512*3的早孕期胎儿超生切面图像。
第二层是卷积层，其接收来自输入层的图像，卷积核的大小为3*3，步长为4，卷积核数量为32，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU) 作为激活函数，最终输出大小为128*128*32的矩阵。
第三层是卷积层，其接收来自第二层输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为64*64*32的矩阵。
第四层是卷积层，其接收来自第三层输出的大小为64*64*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为32*32*128的矩阵。
第五层是卷积层，其接收来自第四层输出的大小为32*32*128的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为256，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为16*16*256的矩阵。
第六层是卷积层，其接收来自第五层输出的大小为16*16*256的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为8*8*512的矩阵。
第七层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为4*4*512的矩阵。
第八层是卷积层，其接收来自第七层输出的大小为4*4*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理。最终输出大小为4*4*512的矩阵。
第九层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为512，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为8*8*512的矩阵。
第十层是上采样层(UpSampling)，其接收来自第八层输出的大小为4*4*512的矩阵，该层的上采样因子为2*2，输出大小为8*8*512的矩阵。
第十一层是特征融合层，其接收来自第九层和第十层输出的矩阵，采用相加操作(add)得到大小为8*8*512的矩阵。
第十二层是卷积层，其接收来自第十一层输出大小为8*8*512大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为8*8*256的矩阵。
第十三层是上采样层(UpSampling)，其接收来自第十二层输出的大小为8*8*256大小的矩阵，该层的上采样因子为2*2，输出大小为16*16*256的矩阵。
第十四层是卷积层，其接收来自第五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为16*16*256的矩阵。
第十五层是特征融合层，其接收来自第十三层和第十四层输出的矩阵，采用相加操作(add)得到大小为16*16*256的矩阵。
第十六层是卷积层，其接收来自第十五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为16*16*128的矩阵。
第十七层是上采样层(UpSampling)，其接收来自第十六层输出的大小为16*16*128 大小的矩阵，该层的上采样因子为2*2，输出大小为32*32*128的矩阵。
第十八层是卷积层，其接收来自第四层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为32*32*128的矩阵。
第十九层是特征融合层，其接收来自第十八层和第十七层输出的矩阵，采用相加操作(add)得到大小为32*32*128的矩阵。
第二十层是卷积层，其接收来自第十九层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为32*32*64的矩阵。
第二十一层是上采样层(UpSampling)，其接收来自第二十层输出的大小为32*32*64 大小的矩阵，该层的上采样因子为2*2，输出大小为64*64*64的矩阵。
第二十二层是卷积层，其接收来自第三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为64*64*64的矩阵。
第二十三层是特征融合层，其接收来自第二十一层和第二十二层输出的矩阵，采用相加操作(add)得到大小为64*64*64的矩阵。
第二十四层是卷积层，其接收来自第二十三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化 (BatchNormalization)处理，最终输出大小为64*64*32的矩阵。
第二十五层是上采样层(UpSampling)，其接收来自第二十层输出的大小为32*32*64 大小的矩阵，该层的上采样因子为2*2，输出大小为128*128*32的矩阵。
第二十六层是卷积层，其接收来自第二层输出大小为128*128*32大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization) 处理，最终输出大小为128*128*32的矩阵。
第二十七层是特征融合层，其接收来自第二十五层和第二十六层输出的矩阵，采用相加操作(add)得到大小为128*128*32的矩阵。
切面类别识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为4，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
优选地，切面关键结构识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
优选地，切面关键结构定位子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为64*64*64的矩阵。
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵。
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数(Leaky ReLU)作为激活函数，最后进行批标准化(BatchNormalization)处理，最终输出大小为16*16*128的矩阵。
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵。
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
本发明中的多任务深度卷积网络是通过以下步骤训练得到的：
(3-1)获取早孕期胎儿超声切面图像数据集，将该早孕期胎儿超声切面图像数据集按照8：1：1的比例划分为训练集、验证集和测试集。
(3-2)将步骤(3-1)获取的早孕期胎儿超声切面图像数据集发送给超声医师进行人工数据标注，以得到人工数据标注结果作为标注后的早孕期胎儿超声切面图像数据集；
具体地，如图2(a)至(h)所示，针对NT切面图像标注的解剖结构有：鼻骨、鼻尖和鼻前皮肤、上颌骨、下颌骨、间脑、菱脑、颈后皮肤透明层、整体轮廓；胎儿头臀长测量切面图像标注的解剖结构有：整体轮廓、鼻尖和鼻前皮肤、鼻骨、下颌骨、上颌骨、间脑、菱脑；早孕期侧脑室水平横切面图像标注的解剖结构有：脑中线、脉络丛、颅骨光环；早孕期上腹部水平横切面图像标注的解剖结构有：整体轮廓、脐静脉、胃、脊柱。
(3-3)对步骤(3-2)得到的标注后的早孕期胎儿超声切面图像数据集中的训练集进行数据增强，以得到数据增强后的早孕期胎儿超声切面图像训练集。
具体地，数据增强包括对早孕期胎儿超声切面图像进行水平翻转、垂直翻转、缩放、随机裁剪、随机噪声、通道变换处理，以增加早孕期胎儿超声切面图像的丰富度和多样性。应该理解的是，本步骤中六种处理过程可以按照任意顺序进行。
(3-4)对步骤(3-3)得到的数据增强后的早孕期胎儿超声切面图像训练集先后进行标准化和归一化处理，以得到预处理后的早孕期胎儿超声切面图像训练集。
(3-5)将步骤(3-4)获取的预处理后的早孕期胎儿超声切面图像训练集中的第一批(每批次数量Batchsize＝8)早孕期胎儿超声切面图像输入任务深度卷积网络中，以获取对应的推理输出结果，将该推理输出结果和步骤(3-2)超声医师标注后的早孕期胎儿超声切面图像数据集一并输入多任务深度卷积网络的损失函数Ld中，以获取损失值。
具体地，多任务深度卷积网络的损失函数如下：
Ld＝Lcls+Ll+Lc
其中，Lcls表示切面类别识别子任务网络的损失函数，且有：
Figure GDA0003527461860000181
N表示早孕期胎儿超声切面图像训练集中的样本总数，K表示早孕期胎儿超声切面图像的类别个数(在步骤(1)中已经描述过，其等于4)，pi,k表示第i个样本被预测为第k个早孕期切面类别的概率pi,k，yi,k表示超声医师是否将第i个样本标注为第k个早孕期胎儿超声切面类型(如果是则取值为1，否则取值为0)，其中i∈[1，N]，k∈[1,K]。
其中，Ll表示切面关键结构定位子任务网络的损失函数：
Figure GDA0003527461860000182
a表示早孕期超声切面图像中局部区域的数量，B表示在一个局部区域中预测的关键解剖结构目标框的数量；
Figure GDA0003527461860000183
表示在第v个局部区域中是否存在目标obj(存在为1，不存在为0)；(xv，yv)表示第i个局部区域预测的关键解剖结构的位置坐标，
Figure GDA0003527461860000184
表示由超声医师标注的关键解剖结构的位置坐标。
其中，Lc表示切面关键结构识别子任务网络的损失函数：
Figure GDA0003527461860000191
Pu(z)表示对早孕期胎儿超声切面图像中所有的局部区域被预测为含有第z类关键解剖结构的概率，
Figure GDA0003527461860000192
表示超声医师是否将早孕期胎儿超声切面图像中的第u个局部区域标注为第z类关键解剖结构(是则取值为1，否则取值为0)，其中z∈[1，M]，M 表示K种早孕期胎儿超声标准切面图像中关键解剖结构的种类数。
(3-6)使用自适应矩估计优化器和步骤(3-5)得到的损失值对多任务深度卷积网络的损失函数进行优化，以迭代更新多任务深度卷积网络中的参数；
(3-7)针对步骤(3-4)获得的预处理后的早孕期胎儿超声切面图像训练集中的剩余批次早孕期胎儿超声切面图像，重复执行上述步骤(3-5)和步骤(3-6)，直到多任务深度卷积网络收敛到最佳状态为止，从而得到训练好的多任务深度卷积网络。
优选地，在训练过程中，多任务深度卷积网络的迭代训练过程中的学习率LearningRate＝0.0001，批量大小BatchSize＝8，迭代次数为80。
具体地，通过切面类别及其置信度可以得出该切面所属的具体早孕期切面类型；通过切面中存在的关键解剖结构的类型及其置信度可以得出该切面中存在的关键解剖结构的类型；通过切面中存在的关键解剖结构的位置坐标可以得出该切面中存在的关键解剖结构的目标框。
(4)将步骤(3)获得的每张早孕期胎儿超声切面图像对应切面的类别、以及该切面中所有关键解剖结构的类别输入到训练好的支持向量机(Support vector machine，简称SVM)分类模型中，以判断该早孕期胎儿超声切面图像是否为标准，如果标准则过程结束，如果非标准则进入步骤(5)；
本步骤中的SVM分类模型是通过以下步骤训练得到的：
(4-1)将步骤(3-1)获得的所有早孕期胎儿超声切面图像的类别置信度和关键解剖结构的类别置信度作为输入特征，将每张早孕期胎儿超声切面图像是否为标准作为标签，以此组装好训练数据。
(4-2)将组装好的训练数据按照7：2：1的比例划分为训练集、验证集和测试集；
(4-2)将步骤(4-1)组装好的训练集数据按列随机重排，以获得重排后的训练集。
(4-3)将步骤(4-2)获得的重排后的训练集中的第一批数据输入到SVM分类网络中，以获得对应的推理输出结果，将该推理输出结果和步骤(3-2)中与这第一批数据对应的标注后的人工数据标注结果(标准取值为1，非标准取值为0)一并输入到损失函数Cost中，以获取损失值。
具体地，该SVM网络的损失函数为：
Figure GDA0003527461860000201
其中x表示步骤(4-2)重排后的训练集，yg表示SVM网络需要学习的目标，即通过步骤(3-2)获得的与第一批数据中的第一个对应的、标注后的人工数据标注结果；ω和b分别为SVM超平面的法向量和截距，μ为可调节权重，其初始值为1.25。
(4-4)使用随机梯度下降法和步骤(4-3)得到的损失值对SVM网络的损失函数进行优化，以迭代更新SVM网络中的参数。
(4-5)针对步骤(4-2)获得的重排后的训练集中的剩余批次数据，重复执行上述步骤(4-3)和步骤(4-4)，直到SVM网络收敛到最佳状态为止，从而得到训练好的SVM 网络。
(5)根据该早孕期胎儿超声切面图像对应切面中所有关键解剖结构的类别、并参照预先设定的关键解剖结构匹配规则为该早孕期胎儿超声切面图像生成质量评估报告作为最终的质量控制结果(如图4至图7所示)，其中该质量评估报告说明了该早孕期胎儿超声切面图像是非标准早孕期胎儿超声切面图像的原因。
具体而言，关键解剖结构匹配规则具体为：
(a)对于胎儿NT切面图像而言，该类型切面图像为非标准的原因为：①颈后皮肤透明层不清楚；②鼻尖及鼻前皮肤不清楚；③鼻骨不清楚；④间脑不清楚；⑤菱脑不清楚；⑥下颌骨不清楚或下颌骨呈条状；⑦上颌骨不清楚；⑧同时出现肋骨、锁骨、以及侧脑室；
(b)对于CRL测量切面图像而言，该类型切面图像为非标准的条件为：①鼻尖及鼻前皮肤不清楚；②鼻骨不清楚；③间脑不清楚；④菱脑不清楚；⑤下颌骨不清楚或下颌骨呈条状；⑥上颌骨不清楚；⑦同时出现肋骨、锁骨、髂骨、以及侧脑室；
(c)对于早孕期侧脑室水平横切面而言，该类型切面图像为非标准的条件为：①颅骨光环不清楚，②大脑镰不清楚，③双侧脉络丛不清楚；
(d)对于早孕期上腹部水平横切面，该切面图像为非标准的条件为：①上腹部整体轮廓不清楚，②胃泡不清楚，③脊柱不清楚。
性能测试结果
以下是随机选取具有代表性的早孕期胎儿超声切面图像作为测试集对多任务深度卷积网络、SVM分类网络进行测试。使用准确率(Precision)、召回率(Recall)、平均准确率(mAP)作为评价准则来测试多任务深度卷积网络的检测结果，如下表1所示。使用检测标准早孕期超声切面的准确率(Precision)和召回率(Recall)，用来衡量SVM 分类模型的检测效果，如下表2所示。
表1
切面 准确率 召回率 mAP
胎儿NT切面 0.9223 0.8971 0.8895
胎儿头臀长(CRL)测量切面 0.9112 0.8259 0.9163
早孕期侧脑室水平横切面 0.9636 0.9262 0.9741
早孕期上腹部水平横切面 0.9437 0.9087 0.9526
表2
切面 准确率 召回率
标准胎儿NT切面 0.9215 0.8816
标准胎儿头臀长(CRL)测量切面 0.9543 0.9547
标准早孕期侧脑室水平横切面 0.9711 0.9215
标准早孕期上腹部水平横切面 0.9614 0.9472
通过上表1可以看出：本发明提供的方法对早孕期胎儿超声标准切面的检测准确率和召回率都较高，能够满足目前临床对于早孕期胎儿超声标准切面的质量控制需要。通过上表2可以看出：本发明提供的方法能够有效地筛选出更加标准和规范的早孕期胎儿超声切面。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，包括以下步骤：
(1)获取多张早孕期胎儿超声切面图像；
(2)对步骤(1)获取的多张早孕期胎儿超声切面图像进行预处理，以得到预处理后的多张早孕期胎儿超声切面图像；
(3)将步骤(2)获得的每张预处理后的早孕期胎儿超声切面图像输入训练好的多任务深度卷积网络中，以获得该张早孕期胎儿超声切面图像对应切面的类别及其置信度、该切面中所有关键解剖结构的类别及其置信度、以及所有关键解剖结构的位置坐标；多任务深度卷积网络是通过以下步骤训练得到的：
(3-1)获取早孕期胎儿超声切面图像数据集，将该早孕期胎儿超声切面图像数据集按照8∶1∶1的比例划分为训练集、验证集和测试集；
(3-2)将步骤(3-1)获取的早孕期胎儿超声切面图像数据集发送给超声医师进行人工数据标注，以得到人工数据标注结果作为标注后的早孕期胎儿超声切面图像数据集；
(3-3)对步骤(3-2)得到的标注后的早孕期胎儿超声切面图像数据集中的训练集进行数据增强，以得到数据增强后的早孕期胎儿超声切面图像训练集；
(3-4)对步骤(3-3)得到的数据增强后的早孕期胎儿超声切面图像训练集先后进行标准化和归一化处理，以得到预处理后的早孕期胎儿超声切面图像训练集；
(3-5)将步骤(3-4)获取的预处理后的早孕期胎儿超声切面图像训练集中的第一批早孕期胎儿超声切面图像输入任务深度卷积网络中，以获取对应的推理输出结果，将该推理输出结果和步骤(3-2)超声医师标注后的早孕期胎儿超声切面图像数据集一并输入多任务深度卷积网络的损失函数Ld中，以获取损失值；多任务深度卷积网络的损失函数如下：
Ld＝Lcls+Ll+Lc
其中，Lcls表示切面类别识别子任务网络的损失函数，且有：
Figure FDA0003527461850000021
N表示早孕期胎儿超声切面图像训练集中的样本总数，K表示早孕期胎儿超声切面图像的类别个数，pi,k表示第i个样本被预测为第k个早孕期切面类别的概率pi,k，yi,k表示超声医师是否将第i个样本标注为第k个早孕期胎儿超声切面类型，其中i∈[1，N]，k∈[1,K]；
其中，Ll表示切面关键结构定位子任务网络的损失函数，且有：
Figure FDA0003527461850000022
a表示早孕期超声切面图像中局部区域的数量，B表示在一个局部区域中预测的关键解剖结构目标框的数量；
Figure FDA0003527461850000023
表示在第v个局部区域中是否存在目标obj，存在为1，不存在为0，(xv，yv)表示第i个局部区域预测的关键解剖结构的位置坐标，
Figure FDA0003527461850000024
表示由超声医师标注的关键解剖结构的位置坐标；
其中，Lc表示切面关键结构识别子任务网络的损失函数，且有：
Figure FDA0003527461850000025
Pu(z)表示对早孕期胎儿超声切面图像中所有的局部区域被预测为含有第z类关键解剖结构的概率，
Figure FDA0003527461850000026
表示超声医师是否将早孕期胎儿超声切面图像中的第u个局部区域标注为第z类关键解剖结构，其中z∈[1，M]，M表示K种早孕期胎儿超声标准切面图像中关键解剖结构的种类数；
(3-6)使用自适应矩估计优化器和步骤(3-5)得到的损失值对多任务深度卷积网络的损失函数进行优化，以迭代更新多任务深度卷积网络中的参数；
(3-7)针对步骤(3-4)获得的预处理后的早孕期胎儿超声切面图像训练集中的剩余批次早孕期胎儿超声切面图像，重复执行上述步骤(3-5)和步骤(3-6)，直到多任务深度卷积网络收敛到最佳状态为止，从而得到训练好的多任务深度卷积网络；
(4)将步骤(3)获得的每张早孕期胎儿超声切面图像对应切面的类别、以及该切面中所有关键解剖结构的类别输入到训练好的SVM分类模型中，以判断该早孕期胎儿超声切面图像是否为标准，如果标准则过程结束，如果非标准则进入步骤(5)；
(5)根据该早孕期胎儿超声切面图像对应切面中所有关键解剖结构的类别、并参照预先设定的关键解剖结构匹配规则为该早孕期胎儿超声切面图像生成质量评估报告作为最终的质量控制结果，其中该质量评估报告说明了该早孕期胎儿超声切面图像是非标准早孕期胎儿超声切面图像的原因。
2.根据权利要求1所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，
早孕期胎儿超声切面图像包括胎儿颈项透明层NT切面图像、胎儿头臀长CRL测量切面图像、早孕期侧脑室水平横切面图像、以及早孕期上腹部水平横切面图像；
多任务深度卷积网络包括多任务深度卷积网络骨干网、切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络，其中切面类别识别子任务网络、切面关键结构识别子任务网络、以及切面关键结构定位子任务网络均与多任务深度卷积网络骨干网连接。
3.根据权利要求2所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，多任务深度卷积网络骨干网的网络结构如下：
第一层是输入层，其输入大小为512*512*3的早孕期胎儿超生切面图像；
第二层是卷积层，其接收来自输入层的图像，卷积核的大小为3*3，步长为4，卷积核数量为32，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最终输出大小为128*128*32的矩阵；
第三层是卷积层，其接收来自第二层输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为64*64*32的矩阵；
第四层是卷积层，其接收来自第三层输出的大小为64*64*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为32*32*128的矩阵；
第五层是卷积层，其接收来自第四层输出的大小为32*32*128的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为256，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为16*16*256的矩阵；
第六层是卷积层，其接收来自第五层输出的大小为16*16*256的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为8*8*512的矩阵；
第七层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为512，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为4*4*512的矩阵；
第八层是卷积层，其接收来自第七层输出的大小为4*4*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理；最终输出大小为4*4*512的矩阵；
第九层是卷积层，其接收来自第六层输出的大小为8*8*512的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为512，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为8*8*512的矩阵；
第十层是上采样层，其接收来自第八层输出的大小为4*4*512的矩阵，该层的上采样因子为2*2，输出大小为8*8*512的矩阵；
第十一层是特征融合层，其接收来自第九层和第十层输出的矩阵，采用相加操作得到大小为8*8*512的矩阵；
第十二层是卷积层，其接收来自第十一层输出大小为8*8*512大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为8*8*256的矩阵；
第十三层是上采样层，其接收来自第十二层输出的大小为8*8*256大小的矩阵，该层的上采样因子为2*2，输出大小为16*16*256的矩阵；
第十四层是卷积层，其接收来自第五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为256，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*256的矩阵；
第十五层是特征融合层，其接收来自第十三层和第十四层输出的矩阵，采用相加操作得到大小为16*16*256的矩阵；
第十六层是卷积层，其接收来自第十五层输出大小为16*16*256大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第十七层是上采样层，其接收来自第十六层输出的大小为16*16*128大小的矩阵，该层的上采样因子为2*2，输出大小为32*32*128的矩阵；
第十八层是卷积层，其接收来自第四层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为32*32*128的矩阵；
第十九层是特征融合层，其接收来自第十八层和第十七层输出的矩阵，采用相加操作得到大小为32*32*128的矩阵；
第二十层是卷积层，其接收来自第十九层输出大小为32*32*128大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为32*32*64的矩阵；
第二十一层是上采样层，其接收来自第二十层输出的大小为32*32*64大小的矩阵，该层的上采样因子为2*2，输出大小为64*64*64的矩阵；
第二十二层是卷积层，其接收来自第三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为64，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵；
第二十三层是特征融合层，其接收来自第二十一层和第二十二层输出的矩阵，采用相加操作得到大小为64*64*64的矩阵；
第二十四层是卷积层，其接收来自第二十三层输出大小为64*64*64大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*32的矩阵；
第二十五层是上采样层，其接收来自第二十层输出的大小为32*32*64大小的矩阵，该层的上采样因子为2*2，输出大小为128*128*32的矩阵；
第二十六层是卷积层，其接收来自第二层输出大小为128*128*32大小的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为32，该层采用SAME方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为128*128*32的矩阵；
第二十七层是特征融合层，其接收来自第二十五层和第二十六层输出的矩阵，采用相加操作得到大小为128*128*32的矩阵。
4.根据权利要求3所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，
切面类别识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵；
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵；
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵；
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为4，并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
切面关键结构识别子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵；
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵；
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵；
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
切面关键结构定位子任务网络的结构如下：
第一层为卷积层，其接收骨干网输出的大小为128*128*32的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为64，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为64*64*64的矩阵；
第二层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为32*32*64矩阵；
第三层为卷积层，其接收第二层输出的大小为32*32*64的矩阵，该层卷积核大小为3*3，步长为2，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第四层为卷积层，其接收第三层输出的大小为16*16*128的矩阵，该层卷积核大小为3*3，步长为1，卷积核数量为128，该层采用VALID方式填充，采用带泄露线性整流函数作为激活函数，最后进行批标准化处理，最终输出大小为16*16*128的矩阵；
第五层是池化层，该层使用最大池化，其池化窗口大小为2*2，步长为2，输出大小为8*8*128矩阵；
第六层为全连接层，该层接收第五层输出的大小为8*8*128的特征矩阵，其输出节点个数为1024并对该全连接层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第七层为全连接层，该层接收第六层输出的大小为1024的特征矩阵，其输出节点个数为512，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合；
第八层为全连接层，该层接收第六层输出的大小为512的特征矩阵，其输出节点个数为24，并对该池化层做一次非线性转换，以得到特征向量，后接入随机失活操作，防止过拟合。
5.根据权利要求1所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，SVM分类模型是通过以下步骤训练得到的：
(4-1)将步骤(3-1)获得的所有早孕期胎儿超声切面图像的类别置信度和关键解剖结构的类别置信度作为输入特征，将每张早孕期胎儿超声切面图像是否为标准作为标签，以此组装好训练数据；
(4-2)将组装好的训练数据按照7：2：1的比例划分为训练集、验证集和测试集；
(4-2)将步骤(4-1)组装好的训练集数据按列随机重排，以获得重排后的训练集；
(4-3)将步骤(4-2)获得的重排后的训练集中的第一批数据输入到SVM分类网络中，以获得对应的推理输出结果，将该推理输出结果和步骤(3-2)中与这第一批数据对应的标注后的人工数据标注结果一并输入到损失函数Cost中，以获取损失值；
(4-4)使用随机梯度下降法和步骤(4-3)得到的损失值对SVM网络的损失函数进行优化，以迭代更新SVM网络中的参数；
(4-5)针对步骤(4-2)获得的重排后的训练集中的剩余批次数据，重复执行上述步骤(4-3)和步骤(4-4)，直到SVM网络收敛到最佳状态为止，从而得到训练好的SVM网络。
6.根据权利要求5所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，该SVM网络的损失函数为：
Figure FDA0003527461850000111
其中x表示步骤(4-2)重排后的训练集，yg表示SVM网络需要学习的目标，即通过步骤(3-2)获得的与第一批数据中的第一个对应的、标注后的人工数据标注结果；ω和b分别为SVM超平面的法向量和截距，μ为可调节权重。
7.根据权利要求1所述的基于多任务的早孕期胎儿标准切面的自动质量控制方法，其特征在于，关键解剖结构匹配规则具体为：
(a)对于胎儿NT切面图像而言，该类型切面图像为非标准的原因为：①颈后皮肤透明层不清楚；②鼻尖及鼻前皮肤不清楚；③鼻骨不清楚；④间脑不清楚；⑤菱脑不清楚；⑥下颌骨不清楚或下颌骨呈条状；⑦上颌骨不清楚；⑧同时出现肋骨、锁骨、以及侧脑室；
(b)对于CRL测量切面图像而言，该类型切面图像为非标准的条件为：①鼻尖及鼻前皮肤不清楚；②鼻骨不清楚；③间脑不清楚；④菱脑不清楚；⑤下颌骨不清楚或下颌骨呈条状；⑥上颌骨不清楚；⑦同时出现肋骨、锁骨、髂骨、以及侧脑室；
(c)对于早孕期侧脑室水平横切面而言，该类型切面图像为非标准的条件为：①颅骨光环不清楚，②大脑镰不清楚，③双侧脉络丛不清楚；
(d)对于早孕期上腹部水平横切面，该切面图像为非标准的条件为：①上腹部整体轮廓不清楚，②胃泡不清楚，③脊柱不清楚。
CN202110788728.5A 2021-07-13 2021-07-13 基于多任务的早孕期胎儿标准切面的自动质量控制方法 Active CN113393456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110788728.5A CN113393456B (zh) 2021-07-13 2021-07-13 基于多任务的早孕期胎儿标准切面的自动质量控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110788728.5A CN113393456B (zh) 2021-07-13 2021-07-13 基于多任务的早孕期胎儿标准切面的自动质量控制方法

Publications (2)

Publication Number Publication Date
CN113393456A CN113393456A (zh) 2021-09-14
CN113393456B true CN113393456B (zh) 2022-04-19

Family

ID=77626131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110788728.5A Active CN113393456B (zh) 2021-07-13 2021-07-13 基于多任务的早孕期胎儿标准切面的自动质量控制方法

Country Status (1)

Country Link
CN (1) CN113393456B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882019B (zh) * 2022-07-01 2023-02-03 首都医科大学附属北京妇产医院 孕早期或孕中期超声图像标准化质量控制方法、系统及设备
CN116392166B (zh) * 2023-03-07 2024-02-23 广州市妇女儿童医疗中心 一种孕囊及胚芽自动测量方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110464380A (zh) * 2019-09-12 2019-11-19 李肯立 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
CN110570409A (zh) * 2019-09-05 2019-12-13 李胜利 基于混合卷积网络获取胎儿四腔心切面心动周期视频方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200060657A1 (en) * 2018-08-22 2020-02-27 General Electric Company System and method for assessing obstetric wellbeing
JP7193979B2 (ja) * 2018-10-29 2022-12-21 富士フイルムヘルスケア株式会社 医用撮像装置、画像処理装置、および、画像処理方法
US20200315569A1 (en) * 2019-04-02 2020-10-08 General Electric Company System and method for determining condition of fetal nervous system
CN111860636A (zh) * 2020-07-16 2020-10-30 无锡祥生医疗科技股份有限公司 测量信息提示方法和超声训练方法
CN112102230A (zh) * 2020-07-24 2020-12-18 湖南大学 超声切面识别方法、系统、计算机设备和存储介质
CN112070119B (zh) * 2020-08-11 2024-06-14 深圳蓝湘智影科技有限公司 超声切面图像质量控制方法、装置和计算机设备
CN112991289B (zh) * 2021-03-10 2024-03-26 深圳市鹭鸣科技有限公司 图像标准切面的处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110570409A (zh) * 2019-09-05 2019-12-13 李胜利 基于混合卷积网络获取胎儿四腔心切面心动周期视频方法
CN110464380A (zh) * 2019-09-12 2019-11-19 李肯立 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法

Also Published As

Publication number Publication date
CN113393456A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108573490B (zh) 一种针对肿瘤影像数据的智能读片系统
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN110464380B (zh) 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
CN113393456B (zh) 基于多任务的早孕期胎儿标准切面的自动质量控制方法
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN110555836A (zh) 一种超声图像中胎儿标准切面的自动识别方法和系统
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN110910404B (zh) 一种抗噪声数据的乳腺超声结节分割方法
CN110910377B (zh) 一种基于神经网络的脑梗死mri图像识别方法
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN112232407A (zh) 病理图像样本的神经网络模型训练方法、装置
CN110279433A (zh) 一种基于卷积神经网络的胎儿头围自动精确测量方法
CN112508902B (zh) 白质高信号分级方法、电子设备及存储介质
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Horgan et al. Artificial intelligence in obstetric ultrasound: A scoping review
Liu et al. Automated classification and measurement of fetal ultrasound images with attention feature pyramid network
CN117322865B (zh) 基于深度学习的颞下颌关节盘移位mri检查诊断系统
CN113011514B (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN111481233A (zh) 胎儿颈项透明层厚度测量方法
CN113362289A (zh) 一种胸部dr图像上异物自动检测的方法
CN115359002A (zh) 一种颈动脉超声图像斑块自动检测系统及方法
WO2023133929A1 (zh) 一种基于超声的人体组织对称性检测分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant