CN112102244A - 胎儿超声标准切面图像检测方法、计算机设备和存储介质 - Google Patents
胎儿超声标准切面图像检测方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112102244A CN112102244A CN202010824106.9A CN202010824106A CN112102244A CN 112102244 A CN112102244 A CN 112102244A CN 202010824106 A CN202010824106 A CN 202010824106A CN 112102244 A CN112102244 A CN 112102244A
- Authority
- CN
- China
- Prior art keywords
- convolution
- branch
- layer
- module
- fetus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003754 fetus Anatomy 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000002604 ultrasonography Methods 0.000 claims description 56
- 230000001605 fetal effect Effects 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000654 additive Substances 0.000 claims description 11
- 230000000996 additive effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 230000000542 thalamic effect Effects 0.000 description 6
- 210000001015 abdomen Anatomy 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002490 cerebral effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000001638 cerebellum Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003793 prenatal diagnosis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及一种胎儿超声标准切面图像检测方法、计算机设备和存储介质。该方法包括：获取原始胎儿超声切面图像；对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；将预处理后的胎儿超声切面图像输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。该方法能够提高胎儿超声标准切面图像检测的实用性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种胎儿超声标准切面图像检测方法、计算机设备和存储介质。
背景技术
随着超声技术的发展和广泛应用，产前超声检查已成为产前诊断的重要组成部分。胎儿超声标准切面的准确获取对胎儿生物学测量和疾病诊断至关重要在临床实践中获得这些标准平面通常是依靠手工完成的。
然而，在现有的胎儿超声标准切面图像的获取中，手动导航超声探头来找到标准平面是一项非常具有挑战性的任务，该任务需要大量的胎儿解剖学知识，对超声医师的要求相当高。而且，每次检查通常需要花费几十分钟或者更多的时间，即使对有经验的产前超声医师来说也是如此。最后，由于不同的医生水平和手法存在差异性，从而造成检查结果的准确性和一致性偏低。
为了克服现有超声检查方法所存在的不足，许多研究者基于人工智能的标准切面检测方法，主要包括：
陈浩等人提出的“采用复合神经网络框架的超声标准平面检测”中，作者采用一个复合神经网络T-RCNN，实现了对胎儿腹部标准平面、胎面轴向标准面、胎儿四腔心标准切面的检测。在图像数据上的平均精度为71.73，平均F1-score为68.13。该方法中，处理一张图像的时间达到1-2秒。
在Christian F.Baumgartner等人提出的“SonoNet:超声预留的胎儿标准扫描切面的实时检测和定位”方法中，实现了13个标准面的检测，平均精度为76.15％，平均F1-score为78.69。
在“SonoEyeNet:通过眼动跟踪进行标准化胎儿超声平面检测”论文中，作者利用眼动跟踪技术提出了SonoEyeNet网络，实现了胎儿“上腹部水平横切面”的标准、非标准的分类，精度及F1-score分别为96.5和97.8的效果。
然而，上述基于人工智能的标准切面识别方法仍然存在不可忽略的缺陷：(1)实时性难以满足临床试验要求；(2)精准度较低；(3)仅实现某一切面的抓取，辅助切面抓取意义不大。综上，当前胎儿超声标准切面图像检测的实用性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高实用性的胎儿超声标准切面图像检测方法、装置、计算机设备和存储介质。
一种胎儿超声标准切面图像检测方法，所述方法包括：
获取原始胎儿超声切面图像；
对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
一种胎儿超声标准切面图像检测装置，包括：
图像获取模块，用于获取原始胎儿超声切面图像；
预处理模块，用于对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
检测模块，用于将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取原始胎儿超声切面图像；
对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取原始胎儿超声切面图像；
对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
上述胎儿超声标准切面图像检测方法、装置、计算机设备和存储介质，将胎儿超声切面图像在预处理后，通过具深度学习的目标检测模型对胎儿超声切面图像检测模组输出图像的切面名称、标准与否信息，可以有效解决目前靠有经验的超声医师手动抓取的切面的方法需要消耗大量的人力、物力及时间的问题。同时，由于该方法是全自动化和程序化的，超声医师在使用过程中不需要停下手动截取切面，仅需操控超声探头。即，标准切面的抓取是实时的，能够解决现有标准切面的抓取方法中存在的检查时间过长的问题，从而有效提高了胎儿超声标准切面图像检测的实用性。
附图说明
图1为一个实施例中胎儿超声标准切面图像检测方法的应用环境图；
图2为一个实施例中胎儿超声标准切面图像检测方法的流程示意图；
图3为一个实施例中目标检测处理模型的结构示意图；
图4为另一个实施例中第一卷积分支的结构示意图；
图5为一个实施例中基本模块的结构示意图；
图6为一个实施例中胎儿超声切面数据的组成示意图；
图7为一个实施例中标注的切面关键位置坐标示意图；
图8为一个实施例中胎儿超声标准切面图像检测装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的胎儿超声标准切面图像检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器获取原始胎儿超声切面图像；对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。其中，终端102可以但不限于是各种B超图像采集终端，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种胎儿超声标准切面图像检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取原始胎儿超声切面图像。
具体地，通过胎儿超声切面图像采集模组采集胎儿超声切面图像。胎儿超声切面图像采集模组包括超声探测终端，所述超声探测终端应用于孕妇腹部，扫描获得胎儿超声切面图像，多个所述胎儿超声切面图像集合形成多个原始胎儿超声切面图像信息。其中，所述原始胎儿超声切面图像信息中的每一张原始胎儿超声切面图像可以是通过各不同厂商提供多种型号的二维超声设备获取。
S204，对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据。
具体地，预处理包括删除冗余信息处理、滤波去噪处理、归一化处理及图像随机增强处理等步骤。通过预处理，能够得到符合要求的胎儿超声切面图像。
在其中一个实施例中，对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据，包括：删除所述原始胎儿超声切面图像的信息中与超声设备参数相关的冗余信息，并将图像缩放，得到删除冗余信息后的胎儿超声切面图像；对删除冗余信息后的胎儿超声切面图像进行去噪，得到去噪后的胎儿超声切面图像；对去噪后的胎儿超声切面图像进行归一化处理，得到归一化后的胎儿超声切面图像；对归一化后处理后得到的胎儿超声切面图像进行随机增强处理，得到随机增强后的胎儿超声切面图像。
其中，删除冗余信息处理是指删除原始胎儿超声切面图像的信息中与超声设备参数相关的冗余信息，并将图像缩放为512*512像素大小的图像，以得到删除冗余信息后的胎儿超声切面图像。
滤波去噪处理是指使用中值滤波方法对删除冗余信息后的胎儿超声切面图像进行去噪，以得到去噪后的胎儿超声切面图像。
归一化处理是指使用线性函数对去噪后的胎儿超声切面图像进行归一化处理，以得到归一化后的胎儿超声切面图像。
图像增强处理是指对归一化后处理后得到的胎儿超声切面图像进行随机增强处理，以得到随机增强后的胎儿超声切面图像。
S206，将预处理后的胎儿超声切面图像输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
具体地，目标检测处理模型利用深度学习预先训练得到。将预处理后的胎儿超声切面图像输入利用深度学习预先训练得到目标检测处理模型，得到该胎儿超声切面图像所属切面以及该切面图像是否标准的检测结果。
上述的胎儿超声标准切面图像检测方法，将胎儿超声切面图像在预处理后，通过具深度学习的目标检测模型对胎儿超声切面图像检测模组输出图像的切面名称、标准与否信息，可以有效解决目前靠有经验的超声医师手动抓取的切面的方法需要消耗大量的人力、物力及时间的问题。同时，由于该方法是全自动化和程序化的，超声医师在使用过程中不需要停下手动截取切面，仅需操控超声探头。即，标准切面的抓取是实时的，能够解决现有标准切面的抓取方法中存在的检查时间过长的问题，从而有效提高了胎儿超声标准切面图像检测的实用性。
在另一个实施例中，将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果，包括：将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，依次通过所述目标检测处理模型的骨干网络DLA34、DLAUp模块、IDAUp模块，第一卷积模块，第二卷积模块，第三卷积模块和全连接层，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
如图3所示，目标检测处理模型的结构包括依次连接的骨干网络DLA34301、DLAUp模块302、IDAUp模块303，第一卷积模块304，第二卷积模块305，第三卷积模块306和全连接层310。
其中，所述骨干网DLA34网络结构依次逻辑设置为输入层、第一卷积块、第二卷积块、第三卷积块、第一卷积分支、第二卷积分支、第三卷积分支、第四卷积分支、第一卷积模块、第二卷积模块和第三卷积模块。
目标检测处理模型的结构还包括：连接骨干网络DLA34301的第二卷积分支和第一卷积模块的第一相加层307，连接骨干网络DLA34301的第三卷积分支和第二卷积模块的第二相加层308，以及连接骨干网络DLA34301的第四卷积分支和第三卷积模块的第三相加层309。
骨干网DLA34的网络结构如下：
所述输入层输入为512*512*3像素的矩阵；
所述第一卷积块依次设置一层卷积层、标准化层、ReLU层。该卷积层的卷积核大小为7*7，卷积核个数为16，步长为1,输出大小为512*512*16；
所述第二卷积块依次设置一层卷积层、标准化层、ReLU层。该卷积层的卷积核大小为3*3，卷积核个数为16，步长为1，输出大小为512*512*16；
所述第三卷积块依次设置一层卷积层、标准化层、ReLU层。该卷积层的卷积核大小为3*3，卷积核个数为32，步长为2，输出大小为512*512*32；
所述第一卷积分支依次设置池化层、卷积层、批标准化层、第一基本模块、第二基本模块、相加层、卷积层、批标准化层、ReLU层。其中第一基本模块和第二基本模块结构相同，第一基本模块中的卷积核个数为64，大小为3*3；第一卷积分支输出大小为128*128*64。第一卷积分支的结构如图4所示。其中，所述第一卷积分支中的第一基本模块和第二基本模块的结构相同，如图5所示，依次设置卷积层、批标准化层1、ReLU层、卷积层、批标准化层，相加层。
所述第二卷积分支由第一分支和第二分支组成。第一分支的结构与第一卷积分支的结构相同，其输出大小为64*64*128；第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中第二卷积分支的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第二卷积分支的输出大小为64*64*128；
所述第三卷积分支结构与第二卷积分支结构相同。其中第三卷积分支结构的第一分支输出大小为32*32*256；第三卷积分支结构的第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中第三卷积分支结构的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第三卷积分支结构的第二分支输出大小为32*32*256；第三卷积分支的输出大小为32*32*256；
所述第四卷积分支与第一卷积分支结构相同，其中第四卷积分支的第一基本模块和第二基本模块的卷积核个数为512，大小为3*3。该分支输出大小为16*16*512；
所述DLAUp模块由第三分支、第四分支和第五分支依次依次连接组成。其中，第三分支依次逻辑设置第一可变卷积块、反卷积层和第二可变卷积块；第四分支由两个相同的第一分支依次连接组成；第五分支由三个相同的第四分支依次连接组成。
所述DLAUp模块中第三分支的第一可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第二可变卷积块的结构与第一可变卷积块的结构相同。
所述DLAUp模块中第三分支中的反卷积层中的卷积核个数为256，大小为4*4；第四分支中的反卷积层中的卷积核个数为128，大小为4*4；第五分支中的反卷积层中的卷积核个数为64，大小为4*4。
所述IDAUp模块由第六分支和第七分支依次连接组成；第六分支依次逻辑设置第三可变卷积块、反卷积层和第四可变卷积块2；第七分支的结构与第六分支的结构相同。
所述IDAUp模块中第六分支的第三可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第四可变卷积块的结构与第三可变卷积块的结构相同。
所述IDAUp模块的第六分支中的反卷积层中的卷积核个数为64，大小为4*4；第七分支中的反卷积层中的卷积核个数为64，大小为8*8。
优选地，第一卷积模块是由第一卷积层、ReLU层和第二卷积层依次连接组成，第一卷积层和第二卷积层的卷积核个数为分别256、12，大小为3*3，1*1。
第二卷积模块的结构和第一卷积模块的结构相同；所述第二卷积模块的第一卷积层和第二卷积层的卷积核个数为分别256、2，大小为3*3，1*1；所述第三卷积模块和第二卷积模块结构相同。
所述第一相加层用于将第二卷积分支的输出和第一卷积模块的输出相加起来；
所述第二相加层用于将第三卷积分支的输出和第一卷积模块的输出相加起来；
所述第三相加层用于将第四卷积分支的输出和第三卷积模块的输出相加起来；
所述全连接层的输出矩阵为3*64。
以上所述的第一相加层、第二相加层、第三相加层以及DLAUp模块、IDAUp模块为本网络的改进部分。DLA34网络是一个带多级跳跃连接的分割网络，该跳跃连接可以更好的加深网络的表达特性和提高分辨率。所述在DLA34网络的基础上的改进具体为：
(1)在DLA34网络中添加了更多的跳跃连接，即上文所述的第一相加层、第二相加层、第三相加层；
(2)在DLAUp模块以及IADUp模块的上采样阶段将每个卷积层升级为可变卷积层，即上文所述的第一可变卷积块中使用的可变卷积层、第二可变卷积块中使用的可变卷积层。
在该改进(1)中添加的跳跃连接该改进能够将图像的深层特征和浅层特征结合起来，而底层信息有助于图像类别的判断，能够有效提高网络的分类任务；而高层信息有助于提高网络中的定位任务。在改进(2)所述的可变卷积层取代了以往方法中的标准卷积层。可变卷积层是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核在训练过程中可以扩展到很大的范围，可变卷积层仅增加了很少的模型复杂度和计算量，在网络中能显著提高识别精度。
在另一个实施例中，训练目标检测处理模型的步骤包括：获取胎儿超声切面数据训练集，所述胎儿超声切面数据包括胎儿设定部分超声切面图像，标注的切面名称面信息，标准的标准与否信息；对所训胎儿超声切面数据训练集的胎儿设定部分超声切面图像进行预处理，得到预处理后的胎儿超声切面数据训练集；根据所述预处理后的胎儿超声切面数据训练集训练目标检测网络，得到训练好的目标检测网络。如图6所示，采用超声方式对胎儿进行检测，检测获得胎儿超声切面数据110，其中胎儿超声切面数据110包括多个原始胎儿超声切面图像信息111、标注的切面名称面信息、标准与否信息113及(x1,y1)、(x2,y2)坐标115，该坐标是矩形框左上角以及矩形框右下角的坐标，矩形框的内容是该切面的关键部位，如图7所示。具体包括从市场上迈瑞、联影、西门子等主流厂商所制造的三维超声设备获取的胎儿某设定部位超声切面图像、以及医生标注的切面名称面信息、标注的标准与否信息组成训练数据集；
对胎儿超声切面数据训练集的胎儿设定部分超声切面图像，依次经过删除冗余处理、滤波去噪处理、归一化处理及图像增强处理步骤后，获得预处理胎儿超声切面数据。
具体而言，除去胎儿超声切面数据集中与超声设备参数相关的冗余信息，并将图像缩放为512*512像素大小的图像，对缩放后的胎儿超声切面数据集使用中值滤波法进行去噪处理，并使用线性函数对去噪后的超声切面数据集进行归一化处理，以得到归一化后的超声切面数据集，对归一化后的数据集进行随机增强操作，以得到随机增强后的超声切面数据集。
具体而言，预处理后的数据集按照8：1：1的比例被随机划分为三个部分，其中80％作为训练集(Train set)，10％作为验证集(Validation set)，20％作为测试集(Testset)。在本实例中，一共有65295张图像，其训练集包括52236张图像，其验证集包括6530张图像，其测试集包括6529张图像。取其中胎儿产检的6个关键切面的胎儿超声切面数据为例。6个不同的胎儿超声切面，每个切面分为标准、非标准，总共有12类。分别是丘脑水平横切面标准、丘脑水平横切面非标准、小脑水平横切面标准、小脑水平横切面非标准、上腹部横切面标准、上腹部横切面非标准、四腔心水平横切面标准、四腔心水平横切面非标准、股骨纵切面标准、股骨纵切面非标准、脊柱矢状切面标准、脊柱矢状切面非标准。
以丘脑水平横切面、小脑水平横切面、上腹部横切面、四腔心水平横切面、股骨纵切面、脊柱矢状切面为例，当所述胎儿超声切面图像检测模组15对这些切面图像进行检测时，所述切面的召回率、精准率如下表所示：
表一各切面的召回率、精准率统计表
| 切面名称 | 召回率 | 精准率 |
| 丘脑水平横切面标准 | 99％ | 98.1％ |
| 丘脑水平横切面非标准 | 96％ | 97％ |
| 小脑水平横切面标准 | 100％ | 95.6％ |
| 小脑水平横切面非标准 | 94％ | 99％ |
| 上腹部横切面标准 | 99％ | 99％ |
| 上腹部横切面非标准 | 98％ | 99％ |
| 四腔心水平横切面标准 | 98.5％ | 96.5％ |
| 四腔心水平横切面非标准 | 90.1％ | 96％ |
| 股骨纵切面标准 | 96.1％ | 97.2％ |
| 股骨纵切面非标准 | 85％ | 98％ |
| 脊柱矢状切面标准 | 93.5％ | 97.1％ |
| 脊柱矢状切面非标准 | 88.9％ | 98.1％ |
从上表可以看出，本发明方法最终能够以高准确率判断出胎儿所属的切面、属于标准图像还是非标准图像。至此，深度学习目标检测处理模型训练完成。
当然，作为上述实施方式的进一步改进，所述胎儿设定部位不仅仅局限于丘脑水平横切面、小脑水平横切面、上腹部横切面、四腔心水平横切面、股骨纵切面、脊柱矢状切面，其还可以是胎儿的其他超声切面图像等。
相较于现有技术，本申请通过获取大量胎儿设定部位的超声切面图像，用获取的数据集训练深度卷积神经网络，将胎儿设定部位超声切面图像输入到训练好的深度学习目标检测网络中，以得到每个超声切面图像的切面名称及标准与否信息，可以有效解决当前手动抓取切面的方法需要消耗大量的人力、物力及时间的问题，以及由于不同医师对胎儿各部位超声切面图像是否标准的认知不尽相同所导致的检查不规范、不稳定的问题，本申请能够辅助超声医师遴选出更加标准、质量更高的胎儿关键解剖结构的切面图像。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种胎儿超声标准切面图像检测装置，包括：
图像获取模块702，获取原始胎儿超声切面图像；
预处理模块704，对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
检测模块706，将预处理后的胎儿超声切面图像输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
在另一个实施例中，检测模块，用于将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，依次通过所述目标检测处理模型的骨干网络DLA34、DLAUp模块、IDAUp模块，第一卷积模块，第二卷积模块，第三卷积模块和全连接层，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
在另一个实施例中，胎儿超声标准切面图像检测装置还包括训练集处理模块和训练模块；
训练集处理模块，用于获取胎儿超声切面数据训练集，所述胎儿超声切面数据包括胎儿设定部分超声切面图像，标注的切好面名称面信息，标准的标准与否信息；
预处理模块，还用于对所述胎儿超声切面数据训练集的胎儿设定部分超声切面图像进行预处理，得到预处理后的胎儿超声切面数据训练集；
训练模块，用于根据所述预处理后的胎儿超声切面数据训练集训练目标检测网络，得到训练好的目标检测网络。
在另一个实施例中，骨干网络DLA34包括依次连接的输入层、第一卷积块、第二卷积块、第三卷积块、第一卷积分支、第二卷积分支、第三卷积分支、第四卷积分支、第一卷积模块、第二卷积模块、第三卷积模块和全连接层；
所述目标检测处理模型还包括：连接所述骨干网络DLA34的第二卷积分支和所述第一卷积模块的第一相加层，连接所述骨干网络DLA34的第三卷积分支和所述第二卷积模块的第二相加层，以及连接所述骨干网络DLA34的第四卷积分支和所述第三卷积模块的第三相加层；
所述输入层为512*512*3像素的矩阵；
所述第一卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为7*7，卷积核个数为16，步长为1,输出大小为512*512*16；
所述第二卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为3*3，卷积核个数为16，步长为1，输出大小为512*512*16；
所述第三卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为3*3，卷积核个数为32，步长为2,输出大小为512*512*32；
所述第一卷积分支依次设置池化层、卷积层、批标准化层、第一基本模块、第二基本模块、相加层、卷积层、批标准化层、ReLU层，其中，第一基本模块和第二基本模块中的卷积核个数为64，大小为3*3；第一卷积分支输出大小为128*128*64；
所述第二卷积分支由第一分支和第二分支组成；第一分支的结构与第一卷积分支的结构相同，其输出大小为64*64*128；第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中，所述第二卷积分支的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第二卷积分支的输出大小为64*64*128；
所述第三卷积分支结构与第二卷积分支结构相同；其中第三卷积分支结构的第一分支输出大小为32*32*256；第三卷积分支结构的第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中，所述第三卷积分支结构的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第三卷积分支结构的第二分支输出大小为32*32*256；第三卷积分支的输出大小为32*32*256；
所述第四卷积分支与第一卷积分支结构相同，其中，第四卷积分支的第一基本模块和第二基本模块的卷积核个数为512，大小为3*3，第四卷积分支输出大小为16*16*512。
在另一个实施例中，所述DLAUp模块由第三分支、第四分支和第五分支依次连接组成；其中，第三分支依次逻辑设置第一可变卷积块、反卷积层和第二可变卷积块；第四分支由两个相同的第一分支依次连接组成；第五分支由三个相同的第四分支依次连接组成；
所述DLAUp模块中第三分支的第一可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第二可变卷积块的结构与第一可变卷积块的结构相同；
所述DLAUp模块中第三分支中的反卷积层中的卷积核个数为256，大小为4*4；第四分支中的反卷积层中的卷积核个数为128，大小为4*4；第五分支中的反卷积层中的卷积核个数为64，大小为4*4。
在另一个实施例中，所述IDAUp模块由第六分支和第七分支依次连接组成；第六分支依次逻辑设置第三可变卷积块、反卷积层和第四可变卷积块2；第七分支的结构与第六分支的结构相同；
所述IDAUp模块中第六分支的第三可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第四可变卷积块的结构与第三可变卷积块的结构相同；
所述IDAUp模块的第六分支中的反卷积层中的卷积核个数为64，大小为4*4；第七分支中的反卷积层中的卷积核个数为64，大小为8*8。
在另一个实施例中，第一卷积模块是由第一卷积层、ReLU层和第二卷积层依次连接组成，第一卷积层和第二卷积层的卷积核个数为分别256、12，大小为3*3，1*1。
在另一个实施例中，第二卷积模块的结构和第一卷积模块的结构相同；所述第二卷积模块的第一卷积层和第二卷积层的卷积核个数为分别256、2，大小为3*3，1*1；
所述第三卷积模块和第二卷积模块结构相同。
关于胎儿超声标准切面图像检测装置的具体限定可以参见上文中对于胎儿超声标准切面图像检测方法的限定，在此不再赘述。上述胎儿超声标准切面图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储胎儿超声标准切面图像检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种胎儿超声标准切面图像检测方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种胎儿超声标准切面图像检测方法，所述方法包括：
获取原始胎儿超声切面图像；
对所述原始胎儿超声切面图像进行预处理，得到预处理后的胎儿超声切面数据；
将预处理后的胎儿超声切面图像输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
2.根据权利要求1所述的方法，其特征在于，将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果，包括：
将预处理后的胎儿超声切面数据输入预先训练好的目标检测处理模型，依次通过所述目标检测处理模型的骨干网络DLA34、DLAUp模块、IDAUp模块，第一卷积模块，第二卷积模块，第三卷积模块和全连接层，输出所述原始胎儿超声切面图像所属切面以及所述原始胎儿超声切面图像是否标准的检测结果。
3.根据权利要求1所述的方法，其特征在于，训练目标检测处理模型的步骤，包括：
获取胎儿超声切面数据训练集，所述胎儿超声切面数据包括胎儿设定部分超声切面图像，标注的切好面名称面信息，标准的标准与否信息；
对所述胎儿超声切面数据训练集的胎儿设定部分超声切面图像进行预处理，得到预处理后的胎儿超声切面数据训练集；
根据所述预处理后的胎儿超声切面数据训练集训练目标检测网络，得到训练好的目标检测网络。
4.根据权利要求2所述的方法，其特征在于，骨干网络DLA34包括依次连接的输入层、第一卷积块、第二卷积块、第三卷积块、第一卷积分支、第二卷积分支、第三卷积分支、第四卷积分支、第一卷积模块、第二卷积模块、第三卷积模块和全连接层；
所述目标检测处理模型还包括：连接所述骨干网络DLA34的第二卷积分支和所述第一卷积模块的第一相加层，连接所述骨干网络DLA34的第三卷积分支和所述第二卷积模块的第二相加层，以及连接所述骨干网络DLA34的第四卷积分支和所述第三卷积模块的第三相加层；
所述输入层为512*512*3像素的矩阵；
所述第一卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为7*7，卷积核个数为16，步长为1,输出大小为512*512*16；
所述第二卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为3*3，卷积核个数为16，步长为1，输出大小为512*512*16；
所述第三卷积块依次设置一层卷积层、标准化层、ReLU层，该卷积层的卷积核大小为3*3，卷积核个数为32，步长为2,输出大小为512*512*32；
所述第一卷积分支依次设置池化层、卷积层、批标准化层、第一基本模块、第二基本模块、相加层、卷积层、批标准化层、ReLU层，其中，第一基本模块和第二基本模块中的卷积核个数为64，大小为3*3；第一卷积分支输出大小为128*128*64；
所述第二卷积分支由第一分支和第二分支组成；第一分支的结构与第一卷积分支的结构相同，其输出大小为64*64*128；第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中，所述第二卷积分支的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第二卷积分支的输出大小为64*64*128；
所述第三卷积分支结构与第二卷积分支结构相同；其中第三卷积分支结构的第一分支输出大小为32*32*256；第三卷积分支结构的第二分支依次逻辑设置第一基本模块、第二基本模块、卷积层，其中，所述第三卷积分支结构的第一基本模块和第二基本模块中的卷积核个数为128，大小为3*3；第三卷积分支结构的第二分支输出大小为32*32*256；第三卷积分支的输出大小为32*32*256；
所述第四卷积分支与第一卷积分支结构相同，其中，第四卷积分支的第一基本模块和第二基本模块的卷积核个数为512，大小为3*3，第四卷积分支输出大小为16*16*512。
5.根据权利要求2所述的方法，其特征在于，所述DLAUp模块由第三分支、第四分支和第五分支依次连接组成；其中，第三分支依次逻辑设置第一可变卷积块、反卷积层和第二可变卷积块；第四分支由两个相同的第一分支依次连接组成；第五分支由三个相同的第四分支依次连接组成；
所述DLAUp模块中第三分支的第一可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第二可变卷积块的结构与第一可变卷积块的结构相同；
所述DLAUp模块中第三分支中的反卷积层中的卷积核个数为256，大小为4*4；第四分支中的反卷积层中的卷积核个数为128，大小为4*4；第五分支中的反卷积层中的卷积核个数为64，大小为4*4。
6.根据权利要求2所述的方法，其特征在于，所述IDAUp模块由第六分支和第七分支依次连接组成；第六分支依次逻辑设置第三可变卷积块、反卷积层和第四可变卷积块2；第七分支的结构与第六分支的结构相同；
所述IDAUp模块中第六分支的第三可变卷积块依次逻辑设置批标准化层，ReLU层，可变卷积层，可变卷积层的卷积核个数为27，大小为3*3；第四可变卷积块的结构与第三可变卷积块的结构相同；
所述IDAUp模块的第六分支中的反卷积层中的卷积核个数为64，大小为4*4；第七分支中的反卷积层中的卷积核个数为64，大小为8*8。
7.根据权利要求2所述的方法，其特征在于，第一卷积模块是由第一卷积层、ReLU层和第二卷积层依次连接组成，第一卷积层和第二卷积层的卷积核个数为分别256、12，大小为3*3，1*1。
8.根据权利要求8所述的方法，其特征在于，第二卷积模块的结构和第一卷积模块的结构相同；所述第二卷积模块的第一卷积层和第二卷积层的卷积核个数为分别256、2，大小为3*3，1*1；
所述第三卷积模块和第二卷积模块结构相同。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010824106.9A CN112102244A (zh) | 2020-08-17 | 2020-08-17 | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010824106.9A CN112102244A (zh) | 2020-08-17 | 2020-08-17 | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102244A true CN112102244A (zh) | 2020-12-18 |
Family
ID=73753856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010824106.9A Pending CN112102244A (zh) | 2020-08-17 | 2020-08-17 | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102244A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060079783A1 (en) * | 2004-09-30 | 2006-04-13 | Clark David W | Method and system for deriving a fetal heart rate without the use of an electrocardiogram in non-3D imaging applications |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| CN111223092A (zh) * | 2020-02-28 | 2020-06-02 | 长沙大端信息科技有限公司 | 胎儿超声切面图像自动质控系统及检测方法 |
| US20200234435A1 (en) * | 2017-07-18 | 2020-07-23 | Koninklijke Philips N.V. | Fetal ultrasound image processing |
| US20200242451A1 (en) * | 2017-10-10 | 2020-07-30 | Nokia Technologies Oy | Method, system and apparatus for pattern recognition |
-
2020
- 2020-08-17 CN CN202010824106.9A patent/CN112102244A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060079783A1 (en) * | 2004-09-30 | 2006-04-13 | Clark David W | Method and system for deriving a fetal heart rate without the use of an electrocardiogram in non-3D imaging applications |
| US20200234435A1 (en) * | 2017-07-18 | 2020-07-23 | Koninklijke Philips N.V. | Fetal ultrasound image processing |
| US20200242451A1 (en) * | 2017-10-10 | 2020-07-30 | Nokia Technologies Oy | Method, system and apparatus for pattern recognition |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN111160140A (zh) * | 2019-12-13 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种图像检测方法及装置 |
| CN111223092A (zh) * | 2020-02-28 | 2020-06-02 | 长沙大端信息科技有限公司 | 胎儿超声切面图像自动质控系统及检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 咆哮的大叔: "FairMOT理解与实现", pages 0001, Retrieved from the Internet <URL:https://blog.csdn.net/jiafeier_555/article/details/106410656> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| WO2019200753A1 (zh) | 病变监测方法、装置、计算机设备和存储介质 | |
| CN110008971B (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN112070119A (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| Lu et al. | A 3D convolutional neural network for volumetric image semantic segmentation | |
| CN107451615A (zh) | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 | |
| CN111047572A (zh) | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 | |
| CN112381164B (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| CN110570407B (zh) | 图像处理方法、存储介质及计算机设备 | |
| CN112348785B (zh) | 一种癫痫病灶定位方法及系统 | |
| CN111862044A (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| WO2023020366A1 (zh) | 一种医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
| CN113592797A (zh) | 基于多数据融合及深度学习的乳腺结节风险等级预测系统 | |
| CN111951281A (zh) | 图像分割方法、装置、设备及存储介质 | |
| Aslam et al. | Liver-tumor detection using CNN ResUNet | |
| CN110738633A (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| Uzunhisarcikli et al. | A novel classifier model for mass classification using BI-RADS category in ultrasound images based on Type-2 fuzzy inference system | |
| CN117036305A (zh) | 一种用于咽喉检查的图像处理方法、系统及存储介质 | |
| CN111681233A (zh) | 基于深度神经网络的us-ct图像分割方法、系统及设备 | |
| CN114360695B (zh) | 乳腺超声扫查分析辅助系统、介质及设备 | |
| CN112102244A (zh) | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 | |
| CN115953416A (zh) | 基于深度学习的膝骨关节核磁共振图像自动分割方法 | |
| CN112348796B (zh) | 基于多模型结合的脑出血分割方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |