CN111223092A - 胎儿超声切面图像自动质控系统及检测方法 - Google Patents
胎儿超声切面图像自动质控系统及检测方法 Download PDFInfo
- Publication number
- CN111223092A CN111223092A CN202010126511.3A CN202010126511A CN111223092A CN 111223092 A CN111223092 A CN 111223092A CN 202010126511 A CN202010126511 A CN 202010126511A CN 111223092 A CN111223092 A CN 111223092A
- Authority
- CN
- China
- Prior art keywords
- layer
- size
- fetus
- ultrasonic
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003754 fetus Anatomy 0.000 title claims abstract description 176
- 238000003908 quality control method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims description 20
- 230000001605 fetal effect Effects 0.000 claims abstract description 193
- 238000013135 deep learning Methods 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000011157 data evaluation Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 238000013441 quality evaluation Methods 0.000 claims abstract description 19
- 238000002604 ultrasonography Methods 0.000 claims description 131
- 239000011159 matrix material Substances 0.000 claims description 108
- 238000012545 processing Methods 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 42
- 230000004913 activation Effects 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 210000003484 anatomy Anatomy 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 2
- 238000005194 fractionation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000002987 choroid plexus Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 210000000211 third ventricle Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003793 prenatal diagnosis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000001103 thalamus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种胎儿超声切面图像自动质控系统，其包括胎儿超声切面数据采集模组、胎儿超声切面数据预处理模组、胎儿超声切面数据评估模组及胎儿超声切面数据反馈模组。所述胎儿超声切面数据预处理模组接收来自所述胎儿超声切面数据采集模组所采集的原始胎儿超声切面数据，并预处理后传输至所述胎儿超声切面数据评估模组。所述评估模组对预处理后的胎儿超声切面数据经深度学习分割网络输出后获得标准胎儿超声切面图像信息和非标准胎儿超声切面图像信息。所述反馈模组根据所述评估模组的评估结果反馈胎儿超声切面图像生成分数和质量评估报告。同时，本发明还提供一种采用上述胎儿超声切面图像质控系统的质控方法。
Description
技术领域
本发明涉及产前超声检查技术领域，特别的，涉及一种胎儿超声切面图像自动质控系统及检测方法。
背景技术
目前，胎儿超声检查是产前诊断与缺陷儿筛查的首选检查方法。然而，由于胎位的不确定性、母体的体重指数、医生操作手法、超声物理特性、胎儿运动等因素的影响，超声检查所获得的胎儿超声切面图像清晰度、标准度往往存在很大差异，从而极大影响了检查结果的准确性。因此，有必要对胎儿超声切面图像进行质量控制(Quality Control，简称QC)。
现有的对胎儿超声切面图像进行质量控制的方法，主要是通过医院组织大量专家对胎儿超声切面图像进行主观评价和客观评分的方式，具体是通过判断胎儿超声切面图像中关键解剖结构是否存在、以及该关键解剖结构的几何形状是否标准来定量评估切面图像。
然而，该方法存在一些不可忽略的缺陷：首先，该方法需要消耗大量的人力和物力，在实际临床中难以广泛推广应用；其次，不同医师对胎儿超声切面图像是否标准的认知不尽相同，这会导致质量控制结果出现不一致性。
发明内容
本发明目的在于提供一种对胎儿超声切面数据高速、精准检测的胎儿超声切面图像自动质控系统。
同时，还提供一种采用所述胎儿超声切面图像自动质控系统的检测方法。
一种胎儿超声切面图像自动质控系统，包括胎儿超声切面数据采集模组、胎儿超声切面数据预处理模组、具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组及胎儿超声切面数据反馈模组，所述胎儿超声切面数据采集模组用于超声检测胎儿获得原始胎儿超声切面数据，所述胎儿超声切面数据预处理模组用于接收来自所述胎儿超声切面数据采集模组的原始胎儿超声切面数据并预处理，获得预处理后的胎儿超声切面数据，所述具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组用于接收预处理后的胎儿超声切面数据并经所述深度学习分割网络U-Net模型输出评估结果，所述胎儿超声切面数据反馈模组用于依据所述胎儿超声切面数据评估模组的评估结果反馈胎儿超声切面数据的分数和质量报告。
优选的，所述原始胎儿超声切面数据包括多个胎儿超声切面图像信息、多个关键结构信息和多个位置参数信息，且所述关键结构信息和位置参数信息与所述胎儿超声切面图像信息所述原始胎儿超声切面图像信息相对应。
优选的，所述胎儿超声切面数据预处理模组对所述胎儿超声切面数据采集模组的原始胎儿超声切面数据的预处理包括依次先后设置的删除冗余处理、滤波去噪处理、归一化处理及图像增强处理。
优选的，所述胎儿超声切面数据评估模组对所述预处理后的胎儿超声切面数据的评估结果包括判定所述胎儿超声切面图像是否是标准胎儿超声切面图像。
优选的，所述深度学习分割网络U-Net数据处理模型的网络结构依次逻辑设置
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为32，步长为2，该层使用SAME模式填充，输出大小为512*512*32的矩阵；
第三层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为256*256*32；后接一层卷积层，其卷积核尺寸为3*3*3，卷积核个数为64，步长为2，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第四层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为128*128*64；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为128，步长为2，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第五层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为64*64*128；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为2，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第六层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为32*32*256；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为512，步长为2，该层使用SAME模式填充，输出大小为32*32*512的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为256，该层使用2倍上采样操作，输出大小为64*64*256的矩阵；
第七层是相加层，把第五层的结果与第六层的结果进行相加，输出矩阵大小为64*64*512；
第八层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和批量正则化(Batch Normalization，简称BN)，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第九层是卷积层，其卷积核大小为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为64*64*256的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为128，该层使用2倍上采样操作，输出大小为128*128*128的矩阵；
第十层是相加层，把第四层的结果与第九层的结果进行相加，输出矩阵大小为128*128*256；
第十一层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第十二层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为64，该层使用2倍上采样操作，输出大小为256*256*64的矩阵；
第十三层是相加层，把第三层的结果与第十二层的结果进行相加，输出矩阵大小为256*256*128；
第十四层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第十五层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为32，该层使用2倍上采样操作，输出大小为512*512*32的矩阵；
第十六层是相加层，把第二层的结果与第十五层的结果进行相加，输出矩阵大小为512*512*64；
第十七层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十八层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十九层是卷积层，其卷积核大小为1*1*1，卷积核个数为3，步长为1，后面接入Softmax激活函数，该层使用SAME模式填充，输出大小为512*521*3的矩阵。
优选的，所述胎儿超声切面数据反馈模组内预设有重合度关联表以及组织-得分映射表。
本发明还提供了一种胎儿超声切面图像自动质控系统的检测方法，包括如下步骤：
步骤S01，胎儿超声切面数据采集模组对胎儿检测获得原始胎儿超声切面数据；
步骤S02，提供胎儿超声切面数据预处理模组，对所述胎儿超声切面数据采集模组采集的原始胎儿超声切面数据预处理；
步骤S03，具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组对来自所述胎儿超声切面数据预处理模组的预处理胎儿超声切面数据，对应经所述深度学习分割网络U-Net数据处理模型处理后输出评估结果；
步骤S04，所述胎儿超声切面数据反馈模组依据所述胎儿超声切面数据评估模组输出的评估结果对应反馈胎儿超声切面图像生成分数和质量评估报告作为最终的质量控制结果。
优选的，对所述胎儿超声切面数据采集模组采集的原始胎儿超声切面数据预处理步骤还包括如下步骤：
步骤S21，删除所述胎儿超声切面数据中的胎儿超声切面图像信息中与超声设备参数相关的冗余信息，以得到删除冗余信息后的胎儿超声切面图像；
步骤S22，使用中值滤波方法对删除冗余信息后的胎儿超声切面图像进行去噪，以得到去噪后的胎儿超声切面图像；
步骤S23，使用线性函数对去噪后的胎儿超声切面图像进行归一化处理，以得到归一化后的胎儿超声切面图像；
步骤S24，对归一化处理后的胎儿超声切面图像进行随机增强处理，以得到随机增强后的胎儿超声切面图像，至此，所述胎儿超声切面数据预处理模组完成对来自所述胎儿超声切面数据采集模组所采集的原始胎儿超声切面数据的预处理。
优选的，对所述深度学习分割网络U-Net数据处理模型进行深度学习训练时，其包括如下步骤：
步骤S31，获取胎儿设定部位的超声切面图像以及医生标注的该设定部位各个解剖结构信息、位置参数信息，所述超声切面图像以及医生标注的该部位各个解剖结构信息、位置参数信息组成胎儿超声切面数据集；
步骤S32，对获取的胎儿超声切面数据集进行预处理，以得到预处理后的胎儿超声切面数据集；
步骤S33，将预处理后的胎儿超声切面数据集分为训练集、验证集、以及测试集；
步骤S34，将步骤S33中的训练集输入到深度学习分割网络U-Net数据处理模型中，以获得胎儿设定部位切面得分的推理输出，将该推理输出输入到深度学习分割网络U-Net数据处理模型中的损失函数中，以获取损失值。
步骤S35，根据随机梯度下降(Stochastic Gradient Descent，简称SGD)算法并使用步骤S34得到的损失值对深度学习分割网络U-Net中的损失函数进行优化，以更新深度学习分割网络U-Net。
步骤S36，针对步骤S33得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤S34和步骤S35，直到深度学习分割网络U-Net数据处理模型收敛到最佳为止，从而得到训练好的深度学习分割网络U-Net数据处理模型。
步骤S37,使用步骤S33中得到的数据集中的验证集对训练好的深度学习分割网络U-Net数据处理模型进行验证；
步骤S38，使用步骤S33中得到的数据集中的测试集对训练好的深度学习分割网络U-Net数据处理模型进行测试。
优选的，所述胎儿超声切面数据反馈模组内设定重合度关联表以及组织-得分映射表，步骤S04中还包括如下步骤：
步骤S41，判断步骤S03中得到的该胎儿某部位切面图像中包含的关键结构中是否包括BM，如果包括则进入步骤B，否则为该胎儿某部位切面图像设置分数0，并生成该胎儿某部位切面图像的质量评估报告；
步骤S42，获取该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与BM的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构。
步骤S43，判断步骤S42处理后的该胎儿某部位切面图像中包含的关键结构中是否包括LS，如果包括则进入步骤S44，否则直接进入步骤S45；
步骤S44，获取步骤S43处理后的该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与LS的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤S45；
步骤S45，根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数，并为该胎儿某部位切面图像生成质量评估报告，该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
与相关技术相比，首先，本发明提供的胎儿超声切面图像自动质控系统通过具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组输出评估结果，在训练完成后将不再需要人工干预，有效解决现有人工质量控制方法由于需要消耗大量的人力和物力，导致在实际临床中难以落实质量控制的问题。
其次，由于本发明中确定胎儿各部位超声切面图像是相应部位的标准胎儿超声切面图像还是非标准胎儿超声切面图像，是基于统一的质量控制标准(即预先建立的重合度关联表、以及组织-得分映射表)，因此质量控制的结果具有一致性，从而能够有效解决现有人工质量控制方法中由于不同医师对胎儿各部位超声切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题。
再者，由于本发明深度学习阶段所使用的样本均是由超声医师根据临床经验遴选和精确标注，所以本发明能够学习到最有经验的超声医师的知识，从而能够保证本发明方法能获得标准且质量好的胎儿各部位超声切面图像。
最后，由于本发明方法能够直接得出中晚孕期胎儿的各设定部位超声切面图像是否是相应部位的标准切面图像，以及相应部位的非标准切面图像中各个关键结构的得分情况，并指出该部位切面图像是相应部位非标准切面图像的原因，该结果具备客观性和说服性，且得到的相应部位的非标准切面图像中存在的低得分的情况也有助于超声医师及时改进其专业技能、严格把控超声检测质量，并减少或避免不专业的操作。
附图说明
图1是本发明所示胎儿超声切面图像自动质控系统的结构示意图；
图2是图1所示胎儿超声切面数据采集模组的结构框图；
图3是图1所示胎儿超声切面数据评估模组的结构框图；
图4是图1所示胎儿超声切面图像自动质控系统对胎儿进行检测的流程示意图；
图5是图4所示原始胎儿超声切面数据预处理步骤的流程示意图；
图6是图4所示深度学习分割网络U-Net数据处理模型进行深度学习训练流程示意图；
图7是图4所示胎儿超声切面数据反馈模组反馈质量控制结果流程示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，是本发明胎儿超声切面图像自动质控系统的结构示意图。本发明提供一种胎儿超声切面图像自动质控系统100，用以对胎儿各个部位发育成长的数据进行智能检测，以快速准确判断胎儿的发育健康情况，并适时反馈报告，特别是针对中晚期的孕期胎儿，通过胎儿超声切面图像自动质控系统100的检测，提供胎儿特定部位超声切面的实际数据，依据检测到的非标准胎儿超声切面数据对应反馈相应部位是否是标准胎儿超声切面的判断结果，以及非标准胎儿超声切面的判断逻辑，实现自动质量检测结果的控制和反馈。
所述胎儿超声切面图像自动质控系统100包括胎儿超声切面数据采集模组11、胎儿超声切面数据预处理模组13、胎儿超声切面数据评估模组15及胎儿超声切面数据反馈模组17。
请参阅图2，是图1所示胎儿超声切面数据采集模组的结构框图。所述胎儿超声切面数据采集模组11用于胎儿原始数据采集，以获得原始胎儿超声切面数据110，所述原始胎儿超声切面数据110包括多个原始胎儿超声切面图像信息111、多个关键结构信息113和多个位置参数信息115。
所述胎儿超声切面数据采集模组11包括超声探测终端，所述超声探测终端应用于孕妇腹部，扫描获得胎儿超声切面图像，多个所述胎儿超声切面图像集合形成多个原始胎儿超声切面图像信息111。其中，所述原始胎儿超声切面图像信息111中的每一张原始胎儿超声切面图像可以是通过各不同厂商提供多种型号的二维、三维超声设备获取。当获取原始胎儿超声切面图像后，在该基础上，通过人工手段或者自动智能标记手段对胎儿超声切面图像进行结构标注和位置标记，进而形成关键结构信息113和位置参数信息115。也就是说，所述胎儿超声切面数据采集模组11采集胎儿的原始胎儿超声切面图像信息111、关键结构信息113和位置参数信息115，所述原始胎儿超声切面图像信息111、关键结构信息113和位置参数信息115共同组成所述胎儿超声切面数据采集模组11的采集结果，即：原始胎儿超声切面数据110。
取其中颅脑部位的原始胎儿超声切面数据110为例，当胎儿结构部位切面图像为胎儿颅脑切面图像时，关键结构部位包括外侧裂(lateral sulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation ofseptum pellucidum，简称CSP)、第三脑室(Third ventricle，简称TV)、脑中线(Brainmiddle，简称BM)以及颅骨(Skull，简称S)。
所述胎儿超声切面数据预处理模组13接收来自所述胎儿超声切面数据采集模组11所采集的原始胎儿超声切面数据110，并依次经过冗余删除处理、滤波去噪处理、归一化处理及图像增强处理等步骤后，获得预处理胎儿超声切面数据130。
取其中颅脑部位的原始胎儿超声切面数据110为例，当对该颅脑部位原始胎儿超声切面数据110进行预处理时，其中所述冗余删除处理是指删除该颅脑部位的胎儿超声切面数据110中的原始胎儿超声切面图像信息111中与超声设备参数相关的冗余信息，以得到删除冗余信息后的胎儿超声切面图像；所述滤波去噪处理是指使用中值滤波方法对删除冗余信息后的胎儿超声切面图像进行去噪，以得到去噪后的胎儿超声切面图像；所述归一化处理是指使用线性函数对去噪后的胎儿超声切面图像进行归一化处理，以得到归一化后的胎儿超声切面图像；所述图像增强处理是指对归一化后处理后得到的胎儿超声切面图像进行随机增强处理，以得到随机增强后的胎儿超声切面图像，针对来自所述胎儿超声切面数据采集模组11所采集的所有原始胎儿超声切面数据110分别进行预处理操作后，所述多个预处理后的胎儿超声切面图像组成预处理后的胎儿超声切面数据110。
请参阅图3，是图1所示胎儿超声切面数据评估模组的结构框图。所述胎儿超声切面数据评估模组15接收来自所述胎儿超声切面数据预处理模组13预处理后的胎儿超声切面数据110，并通过深度学习分割网络U-Net数据处理模型对所述胎儿超声切面数据110进行分类及不同部位的关键结构信息153和位置参数信息155。其中，所述不同部位的关键结构信息153和位置参数信息155是对应经所述胎儿超声切面数据评估模组15分类后的胎儿超声切面数据110的关键结构信息153和位置参数信息155。
在本实施方式中，所述胎儿超声切面数据评估模组15内设置训练成功的深度学习分割网络U-Net数据处理模型157，所述胎儿超声切面数据评估模组15接收预处理后的胎儿超声切面数据110，所述深度学习分割网络U-Net数据处理模型157对该数据进行深度学习处理后，将所述预处理后的胎儿超声切面数据110分类输出标准胎儿超声切面图像信息151和非标准胎儿超声切面图像信息152，以及设定胎儿部位胎儿超声切面数据中所包含的关键结构信息153及设定胎儿部位胎儿超声切面数据中的位置参数信息155。
取胎儿颅脑作为关键部位，其中，所述深度学习分割网络U-Net数据处理模型157的网络结构依次逻辑设置的多层系统架构，具体如下：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为32，步长为2，该层使用SAME模式填充，输出大小为512*512*32的矩阵；
第三层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为256*256*32；后接一层卷积层，其卷积核尺寸为3*3*3，卷积核个数为64，步长为2，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第四层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为128*128*64；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为128，步长为2，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第五层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为64*64*128；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为2，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第六层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为32*32*256；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为512，步长为2，该层使用SAME模式填充，输出大小为32*32*512的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为256，该层使用2倍上采样操作，输出大小为64*64*256的矩阵；
第七层是相加层，把第五层的结果与第六层的结果进行相加，输出矩阵大小为64*64*512；
第八层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和批量正则化(Batch Normalization，简称BN)，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第九层是卷积层，其卷积核大小为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为64*64*256的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为128，该层使用2倍上采样操作，输出大小为128*128*128的矩阵；
第十层是相加层，把第四层的结果与第九层的结果进行相加，输出矩阵大小为128*128*256；
第十一层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第十二层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为64，该层使用2倍上采样操作，输出大小为256*256*64的矩阵；
第十三层是相加层，把第三层的结果与第十二层的结果进行相加，输出矩阵大小为256*256*128；
第十四层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第十五层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为32，该层使用2倍上采样操作，输出大小为512*512*32的矩阵；
第十六层是相加层，把第二层的结果与第十五层的结果进行相加，输出矩阵大小为512*512*64；
第十七层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十八层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十九层是卷积层，其卷积核大小为1*1*1，卷积核个数为3，步长为1，后面接入Softmax激活函数，该层使用SAME模式填充，输出大小为512*521*3的矩阵。
所述胎儿超声切面数据反馈模组17接收来自所述胎儿超声切面数据评估模组15的评估结果，并依据该评估结果对应反馈超声切面图像生成分数和质量评估报告作为最终的质量控制结果。
具体而言，所述胎儿超声切面数据反馈模组17内预先设定重合度关联表格和组织/得分表格，并以所述重合度关联表格和组织/得分表格作为所述胎儿关键部位切面图像生成分数和质量评估报告的依据，进一步的，获得最终的质量控制结果。
请参阅图4是采用图1所示胎儿超声切面图像自动质控系统对胎儿进行检测的流程示意图。当采用所述胎儿超声切面图像自动质控系统100对胎儿检测时，其包括如下步骤：
步骤S01，所述胎儿超声切面数据采集模组11对胎儿检测获得原始胎儿超声切面数据110。
在该步骤中，所述胎儿超声切面数据采集模组11采用超声方式对胎儿进行检测，检测获得原始胎儿超声切面数据110，其中所述原始胎儿超声切面数据110包括多个原始胎儿超声切面图像信息111、多个关键结构信息113和多个位置参数信息115。
步骤S02，所述胎儿超声切面数据预处理模组13对所述胎儿超声切面数据采集模组11采集的原始胎儿超声切面数据110预处理。
在该步骤中，所述胎儿超声切面数据预处理模组13接收来自所述胎儿超声切面数据采集模组11所采集的原始胎儿超声切面数据110，并依次经过删除冗余处理、滤波去噪处理、归一化处理及图像增强处理步骤后，获得预处理胎儿超声切面数据130。
请参阅图5，具体对所述原始胎儿超声切面数据110进行预处理包括如下步骤：
步骤S21，删除所述胎儿超声切面数据110中的胎儿超声切面图像信息111中与超声设备参数相关的冗余信息，以得到删除冗余信息后的胎儿超声切面图像；
步骤S22，使用中值滤波方法对删除冗余信息后的胎儿超声切面图像进行去噪，以得到去噪后的胎儿超声切面图像；
步骤S23，使用线性函数对去噪后的胎儿超声切面图像进行归一化处理，以得到归一化后的胎儿超声切面图像；
步骤S24，对步骤S23中胎儿超声切面图像进行随机增强处理，以得到随机增强后的胎儿超声切面图像，对所述多个预处理后的胎儿超声切面图像组成预处理后的胎儿超声切面数据110。
至此，完成对所述胎儿超声切面数据预处理模组对来自所述胎儿超声切面数据采集模组11所采集的原始胎儿超声切面数据110的预处理。
步骤S03，具深度学习分割网络U-Net数据处理模型157的胎儿超声切面数据评估模组15接收来自所述胎儿超声切面数据预处理模组13的预处理胎儿超声切面数据130，对应经所述深度学习分割网络U-Net数据处理模型157处理后输出评估结果。其中，所述深度学习分割网络U-Net数据处理模型157输出的评估结果是分类后的标准胎儿超声切面图像信息151和非标准胎儿超声切面图像信息152、以及设定胎儿部位胎儿超声切面数据中所包含的关键结构信息153及设定胎儿部位胎儿超声切面数据中的位置参数信息155。
在该步骤中，所述深度学习分割网络U-Net数据处理模型157是经训练好的深度学习分割网络U-Net数据处理模型，其通过获取大量设定部位胎儿超声切面图像信息，用获取的多个胎儿超声切面图像信息数据集训练深度卷积神经网络，将新的胎儿超声切面图像信息输入到训练好的深度学习分割网络U-Net数据处理模型中，以输出每个超声切面图像的质量控制结果。
所述深度学习分割网络U-Net数据处理模型157包括：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为32，步长为2，该层使用SAME模式填充，输出大小为512*512*32的矩阵；
第三层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为256*256*32；后接一层卷积层，其卷积核尺寸为3*3*3，卷积核个数为64，步长为2，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第四层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为128*128*64；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为128，步长为2，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第五层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为64*64*128；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为2，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第六层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为32*32*256；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为512，步长为2，该层使用SAME模式填充，输出大小为32*32*512的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为256，该层使用2倍上采样操作，输出大小为64*64*256的矩阵；
第七层是相加层，把第五层的结果与第六层的结果进行相加，输出矩阵大小为64*64*512；
第八层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和批量正则化(Batch Normalization，简称BN)，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第九层是卷积层，其卷积核大小为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为64*64*256的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为128，该层使用2倍上采样操作，输出大小为128*128*128的矩阵；
第十层是相加层，把第四层的结果与第九层的结果进行相加，输出矩阵大小为128*128*256；
第十一层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第十二层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为64，该层使用2倍上采样操作，输出大小为256*256*64的矩阵；
第十三层是相加层，把第三层的结果与第十二层的结果进行相加，输出矩阵大小为256*256*128；
第十四层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第十五层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为32，该层使用2倍上采样操作，输出大小为512*512*32的矩阵；
第十六层是相加层，把第二层的结果与第十五层的结果进行相加，输出矩阵大小为512*512*64；
第十七层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十八层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十九层是卷积层，其卷积核大小为1*1*1，卷积核个数为3，步长为1，后面接入Softmax激活函数，该层使用SAME模式填充，输出大小为512*521*3的矩阵。
请参阅图6，当对所述训练好的深度学习分割网络U-Net数据处理模型157进行深度学习训练时，其包括如下步骤：
步骤S31，获取训练数据集，其包括从市场上迈瑞、联影、西门子等主流厂商所制造的三维超声设备获取的胎儿某设定部位超声切面图像、以及医生标注的该设定部位各个解剖结构信息和位置参数信息，所述超声切面图像、以及医生标注的该部位各个解剖结构信息的位置参数信息组成训练数据集；
步骤S32，对步骤S31获取的训练数据集进行预处理，以得到预处理后的数据集；
具体而言，对步骤S31获取的训练数据集进行预处理的方法为：除去胎儿某设定部位超声切面数据集中与超声设备参数相关的冗余信息，对删除冗余信息后的胎儿某部位超声切面数据集使用中值滤波法进行去噪处理，并使用线性函数对去噪后的超声切面数据集进行归一化处理，以得到归一化后的超声切面数据集，对归一化后的数据集进行随机增强操作，以得到随机增强后的超声切面数据集。
步骤S33，将随机增强后的超声切面数据集分为训练集、验证集、以及测试集；
具体而言，预处理后的数据集被随机划分为三个部分，其中70％作为训练集(Train set)，10％作为验证集(Validation set)，20％作为测试集(Test set)。在本示例中，一共有80000个数据集，其训练集包括56000个数据集，其验证集包括8000个数据集，其测试集包括16000个数据集。
步骤S34，将步骤S33中的训练集输入到深度学习分割网络U-Net中，以获得胎儿设定部位切面得分的推理输出，将该推理输出输入到深度学习分割网络U-Net数据处理模型中的损失函数中，以获取损失值。
步骤S35，根据随机梯度下降(Stochastic Gradient Descent，简称SGD)算法并使用步骤S34得到的损失值对深度学习分割网络U-Net数据处理模型中的损失函数进行优化，以更新深度学习分割网络U-Net数据处理模型。
步骤S36，针对步骤S33得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤S34和步骤S35，直到深度学习分割网络U-Net数据处理模型收敛到最佳为止，从而得到训练好的深度学习分割网络U-Net数据处理模型。
步骤S37,使用步骤S33中得到的数据集中的验证集对训练好的深度学习分割网络U-Net数据处理模型进行验证；
步骤S38，使用步骤S33中得到的数据集中的测试集对训练好的深度学习分割网络U-Net数据处理模型进行测试。
以胎儿脑颅部位结构为例，当所述胎儿超声切面数据评估模组15对胎儿脑颅进行检测时，所述颅脑部位各组织检测的召回率、精准率、以及标准与否的分类准确率如下表所示：
表一 颅脑各组织检测的召回率、精准率、以及标准与否的分类准确率统计表
从上表可以看出，本发明方法最终能够以高准确率判断出胎儿颅脑切面图像是标准的胎儿颅脑切面图像还是非标准的胎儿颅脑切面图像。
通过上述方式，对深度学习分割网络U-Net数据处理模型进行训练，快速判断胎儿超声切面图像是否是标准的胎儿超声切面图像，提高获得分类后的标准胎儿超声切面图像信息151和非标准胎儿超声切面图像信息152、以及设定胎儿部位胎儿超声切面数据中所包含的多个关键结构信息153及设定胎儿部位胎儿超声切面数据中的位置参数信息155的准确率。
步骤S04，提供所述胎儿超声切面数据反馈模组17，依据所述胎儿超声切面数据评估模组15的评估结果对应反馈胎儿超声切面图像生成分数和质量评估报告作为最终的质量控制结果。
在该步骤中，于所述胎儿超声切面数据反馈模组17内预先设定重合度关联表格和组织/得分表格。对步骤S03中得到的非标准胎儿超声切面图像，直接输出“某设定部位切面非标准”结果，根据步骤S03中得到的所述胎儿设定部位超声切面图像中包含的多个关键结构信息及其位置参数信息，并参照预先设定的重合度关联表格和组织/得分表格为所述胎儿某设定部位超声切面图像生成分数和质量评估报告作为最终的质量控制结果，其中该质量评估报告反馈所述胎儿设定部位超声切面图像是非标准胎儿超声切面图像的原因。
请参阅图7，当所述胎儿超声切面数据反馈模组17依据所述胎儿超声切面数据评估模组15的评估结果对应反馈胎儿超声切面图像生成分数和质量评估报告作为最终的质量控制结果时，以所述关键部位是脑颅，其还包括如下步骤：具体而言，当胎儿某部位切面图像为胎儿颅脑切面图像时，本步骤中根据步骤S03中得到的该胎儿设定部位切面图像中包含的关键结构及其位置坐标并参照预先设定的重合度关联表格和组织-得分表格为该胎儿某部位切面图像生成分数和质量评估报告作为最终的质量控制结果，该过程具体步骤如下：
步骤S41，判断步骤S03中得到的该胎儿某部位切面图像中包含的关键结构中是否包括BM，如果包括则进入步骤B，否则为该胎儿某部位切面图像设置分数0，并生成该胎儿某部位切面图像的质量评估报告；
步骤S42，获取该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与BM的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构。
具体而言，本发明中重合度的标准是从预先建立好的重合度关联表(如下所示)中确定的，落入该重合度关联表中对应范围的重合度，才是符合标准的。
重合度关联表
例如，如果本步骤中得到的CSP和BM的重合度是80％，该重合度是落入上表的范围(即76％到99.99％)，说明该重合度满足标准。
步骤S43，判断步骤S42处理后的该胎儿某部位切面图像中包含的关键结构中是否包括LS，如果包括则进入步骤S44，否则直接进入步骤S45；
步骤S44，获取步骤S43处理后的该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与LS的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤S45；
具体而言，本发明中重合度的标准也是从上述重合度关联表中确定的，落入该重合度关联表中对应范围的重合度，才是符合标准的。
步骤S45，根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数，并为该胎儿某部位切面图像生成质量评估报告，该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
下表为本发明预先建立的组织-得分映射表。
组织-得分映射表
当然，作为上述实施方式的进一步改进，所述胎儿设定部位不仅仅局限于脑颅部位，其还可以是心脏结构超声切面图像、泌尿生殖系统结构超声切面图像、腹部结构超声切面图像等。
相较于现有技术，本发明通过获取大量胎儿设定部位的超声切面图像，用获取的数据集训练深度卷积神经网络，将新的胎儿设定部位超声切面图像输入到训练好的深度学习分割网络U-Net中，以得到每个超声切面图像的质量控制结果，解决现有人工质量控制方法由于需要消耗大量的人力和物力，导致在实际临床中难以广泛推广应用的技术问题，以及不同操作人员对胎儿超声切面图像是否标准的认知不尽相同所导致的质量控制结果出现不一致性的技术问题，本发明能够辅助超声医师遴选出更加标准、质量更高的胎儿关键解剖结构的切面图像。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种胎儿超声切面图像自动质控系统，其特征在于，所述胎儿超声切面图像自动质控系统包括：
胎儿超声切面数据采集模组，用于超声检测胎儿，获得原始胎儿超声切面数据；
胎儿超声切面数据预处理模组，用于接收来自所述胎儿超声切面数据采集模组的原始胎儿超声切面数据并预处理，获得预处理后的胎儿超声切面数据；
具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组，用于接收预处理后的胎儿超声切面数据并经所述深度学习分割网络U-Net模型输出评估结果；及
胎儿超声切面数据反馈模组，用于依据所述胎儿超声切面数据评估模组的评估结果反馈胎儿超声切面数据的分数和质量报告。
2.根据权利要求1所述的胎儿超声切面图像自动质控系统，其特征在于，所述原始胎儿超声切面数据包括多个原始胎儿超声切面图像信息、多个关键结构信息和多个位置参数信息，且所述关键结构信息和位置参数信息与所述原始胎儿超声切面图像信息相对应。
3.根据权利要求1所述的胎儿超声切面图像自动质控系统，其特征在于，所述胎儿超声切面数据预处理模组对所述胎儿超声切面数据采集模组的原始胎儿超声切面数据的预处理包括依次设置的删除冗余处理、滤波去噪处理、归一化处理及图像增强处理。
4.根据权利要求1所述的胎儿超声切面图像自动质控系统，其特征在于，所述胎儿超声切面数据评估模组对所述预处理后的胎儿超声切面数据的评估结果包括判定所述胎儿超声切面图像是否是标准胎儿超声切面图像。
5.根据权利要求1所述的胎儿超声切面图像自动质控系统，其特征在于，所述深度学习分割网络U-Net数据处理模型的网络结构包括依次逻辑设置的：
第一层是输入层，其输入为512*512*3像素的矩阵；
第二层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为32，步长为2，该层使用SAME模式填充，输出大小为512*512*32的矩阵；
第三层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为256*256*32；后接一层卷积层，其卷积核尺寸为3*3*3，卷积核个数为64，步长为2，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第四层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为128*128*64；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为128，步长为2，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第五层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为64*64*128；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为2，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第六层是最大池化2D层，池化窗口尺寸大小为3*3，长和宽的步长均为2，该层输出的矩阵为32*32*256；后接两层卷积层，其卷积核尺寸为3*3*3，卷积核个数为512，步长为2，该层使用SAME模式填充，输出大小为32*32*512的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为256，该层使用2倍上采样操作，输出大小为64*64*256的矩阵；
第七层是相加层，把第五层的结果与第六层的结果进行相加，输出矩阵大小为64*64*512；
第八层是卷积层，其卷积核尺寸为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和批量正则化(Batch Normalization，简称BN)，该层使用SAME模式填充，输出大小为64*64*256的矩阵；
第九层是卷积层，其卷积核大小为3*3*3，卷积核个数为256，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为64*64*256的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为128，该层使用2倍上采样操作，输出大小为128*128*128的矩阵；
第十层是相加层，把第四层的结果与第九层的结果进行相加，输出矩阵大小为128*128*256；
第十一层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；
第十二层是卷积层，其卷积核大小为3*3*3，卷积核个数为128，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为128*128*128的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为64，该层使用2倍上采样操作，输出大小为256*256*64的矩阵；
第十三层是相加层，把第三层的结果与第十二层的结果进行相加，输出矩阵大小为256*256*128；
第十四层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；
第十五层是卷积层，其卷积核大小为3*3*3，卷积核个数为64，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为256*256*64的矩阵；后接一层转置卷积层，其卷积核尺寸为4*4*4，转置卷积核个数为32，该层使用2倍上采样操作，输出大小为512*512*32的矩阵；
第十六层是相加层，把第二层的结果与第十五层的结果进行相加，输出矩阵大小为512*512*64；
第十七层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十八层是卷积层，其卷积核大小为3*3*3，卷积核个数为32，步长为1，后面接入RELU激活函数和BN，该层使用SAME模式填充，输出大小为512*521*32的矩阵；
第十九层是卷积层，其卷积核大小为1*1*1，卷积核个数为3，步长为1，后面接入Softmax激活函数，该层使用SAME模式填充，输出大小为512*521*3的矩阵。
6.根据权利要求4所述的胎儿超声切面图像自动质控系统，其特征在于，所述胎儿超声切面数据反馈模组内预设有重合度关联表以及组织-得分映射表。
7.一种如权利要求1所述的胎儿超声切面图像自动质控系统的质控方法，其特征在于，包括如下步骤：
步骤S01，胎儿超声切面数据采集模组对胎儿检测获得原始胎儿超声切面数据；
步骤S02，胎儿超声切面数据预处理模组对所述胎儿超声切面数据采集模组采集的原始胎儿超声切面数据预处理；
步骤S03，具深度学习分割网络U-Net数据处理模型的胎儿超声切面数据评估模组对来自所述胎儿超声切面数据预处理模组的预处理胎儿超声切面数据，对应经所述深度学习分割网络U-Net数据处理模型处理后输出评估结果；
步骤S04，所述胎儿超声切面数据反馈模组依据所述胎儿超声切面数据评估模组输出的评估结果对应反馈胎儿超声切面图像生成分数和质量评估报告作为最终的质量控制结果。
8.根据权利要求7所述的胎儿超声切面图像自动质控系统的质控方法，其特征在于，在所述步骤S02中，对所述胎儿超声切面数据采集模组采集的原始胎儿超声切面数据预处理步骤还包括如下步骤：
步骤S21，删除所述胎儿超声切面数据中的胎儿超声切面图像信息中与超声设备参数相关的冗余信息，以得到删除冗余信息后的胎儿超声切面图像；
步骤S22，使用中值滤波方法对删除冗余信息后的胎儿超声切面图像进行去噪，以得到去噪后的胎儿超声切面图像；
步骤S23，使用线性函数对去噪后的胎儿超声切面图像进行归一化处理，以得到归一化后的胎儿超声切面图像；
步骤S24，对归一化处理后的胎儿超声切面图像进行随机增强处理，以得到随机增强后的胎儿超声切面图像，至此，所述胎儿超声切面数据预处理模组完成对来自所述胎儿超声切面数据采集模组所采集的原始胎儿超声切面数据的预处理。
9.根据权利要求7所述的胎儿超声切面图像自动质控系统的检测方法，其特征在于，所述步骤S03中，所述深度学习分割网络U-Net数据处理模型进行深度学习训练时，其包括如下步骤：
步骤S31，获取胎儿设定部位的超声切面图像以及医生标注的该设定部位各个解剖结构信息、位置参数信息，所述超声切面图像以及医生标注的该部位各个解剖结构信息、位置参数信息组成胎儿超声切面数据集；
步骤S32，对获取的胎儿超声切面数据集进行预处理，以得到预处理后的胎儿超声切面数据集；
步骤S33，将预处理后的胎儿超声切面数据集分为训练集、验证集以及测试集；
步骤S34，将步骤S33中的训练集输入到深度学习分割网络U-Net数据处理模型中，以获得胎儿设定部位切面得分的推理输出，将该推理输出输入到深度学习分割网络U-Net数据处理模型中的损失函数中，以获取损失值。
步骤S35，根据随机梯度下降(Stochastic Gradient Descent，简称SGD)算法并使用步骤S34得到的损失值对深度学习分割网络U-Net数据处理模型中的损失函数进行优化，以更新深度学习分割网络U-Net数据处理模型。
步骤S36，针对步骤S33得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤S34和步骤S35，直到深度学习分割网络U-Net数据处理模型收敛到最佳为止，从而得到训练好的深度学习分割网络U-Net数据处理模型。
步骤S37,使用步骤S33中得到的数据集中的验证集对训练好的深度学习分割网络U-Net数据处理模型进行验证；
步骤S38，使用步骤S33中得到的数据集中的测试集对训练好的深度学习分割网络U-Net数据处理模型进行测试。
10.根据权利要求7所述的胎儿超声切面图像自动质控系统的检测方法，其特征在于，所述胎儿超声切面数据反馈模组内预设有重合度关联表以及组织-得分映射表，步骤S04中还包括如下步骤：
步骤S41，判断步骤S03中得到的该胎儿某部位切面图像中包含的关键结构中是否包括BM，如果包括则进入步骤B，否则为该胎儿某部位切面图像设置分数0，并生成该胎儿某部位切面图像的质量评估报告；
步骤S42，获取该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与BM的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构。
步骤S43，判断步骤S42处理后的该胎儿某部位切面图像中包含的关键结构中是否包括LS，如果包括则进入步骤S44，否则直接进入步骤S45；
步骤S44，获取步骤S43处理后的该胎儿某部位切面图像中包含的关键结构中除BM和LS外的所有关键结构对应的位置坐标，根据该位置坐标分别计算其对应的关键结构与LS的重合度，并从该胎儿某部位切面图像中包含的关键结构里删除重合度不符合标准的关键结构，以过滤掉错误检测的关键结构，然后进入步骤S45；
步骤S45，根据预先建立的组织-得分映射表，对关键结构过滤后的胎儿某部位切面图像中剩余的各个关键结构设置对应的分数，将所有关键结构对应的分数相加以得到该关键结构过滤后的胎儿某部位切面图像的分数，并为该胎儿某部位切面图像生成质量评估报告，该胎儿某部位切面图像的分数和质量评估报告共同构成最终的质量控制结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126511.3A CN111223092A (zh) | 2020-02-28 | 2020-02-28 | 胎儿超声切面图像自动质控系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126511.3A CN111223092A (zh) | 2020-02-28 | 2020-02-28 | 胎儿超声切面图像自动质控系统及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111223092A true CN111223092A (zh) | 2020-06-02 |
Family
ID=70827222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010126511.3A Pending CN111223092A (zh) | 2020-02-28 | 2020-02-28 | 胎儿超声切面图像自动质控系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223092A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
| CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
| CN112102244A (zh) * | 2020-08-17 | 2020-12-18 | 湖南大学 | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 |
| CN112155602A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿最优标准切面的确定方法及装置 |
| CN113171118A (zh) * | 2021-04-06 | 2021-07-27 | 上海深至信息科技有限公司 | 一种基于生成式对抗网络的超声检查操作引导方法 |
| CN113558661A (zh) * | 2021-08-11 | 2021-10-29 | 成都脉讯科技有限公司 | 产前超声ai智能化质控系统 |
| WO2022062460A1 (zh) * | 2020-09-24 | 2022-03-31 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
| CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909585A (zh) * | 2017-11-14 | 2018-04-13 | 华南理工大学 | 一种血管内超声影像的血管中内膜分割方法 |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| WO2019170573A1 (en) * | 2018-03-08 | 2019-09-12 | Koninklijke Philips N.V. | A system and method of identifying characteristics of ultrasound images |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN110555836A (zh) * | 2019-09-05 | 2019-12-10 | 李肯立 | 一种超声图像中胎儿标准切面的自动识别方法和系统 |
| CN110613483A (zh) * | 2019-09-09 | 2019-12-27 | 李胜利 | 一种基于机器学习检测胎儿颅脑异常的方法和系统 |
| CN110652317A (zh) * | 2019-09-24 | 2020-01-07 | 深圳度影医疗科技有限公司 | 一种产前胎儿超声容积图像中标准切面的自动定位方法 |
-
2020
- 2020-02-28 CN CN202010126511.3A patent/CN111223092A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909585A (zh) * | 2017-11-14 | 2018-04-13 | 华南理工大学 | 一种血管内超声影像的血管中内膜分割方法 |
| WO2019170573A1 (en) * | 2018-03-08 | 2019-09-12 | Koninklijke Philips N.V. | A system and method of identifying characteristics of ultrasound images |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN110555836A (zh) * | 2019-09-05 | 2019-12-10 | 李肯立 | 一种超声图像中胎儿标准切面的自动识别方法和系统 |
| CN110613483A (zh) * | 2019-09-09 | 2019-12-27 | 李胜利 | 一种基于机器学习检测胎儿颅脑异常的方法和系统 |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN110652317A (zh) * | 2019-09-24 | 2020-01-07 | 深圳度影医疗科技有限公司 | 一种产前胎儿超声容积图像中标准切面的自动定位方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102230A (zh) * | 2020-07-24 | 2020-12-18 | 湖南大学 | 超声切面识别方法、系统、计算机设备和存储介质 |
| CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
| CN112102244A (zh) * | 2020-08-17 | 2020-12-18 | 湖南大学 | 胎儿超声标准切面图像检测方法、计算机设备和存储介质 |
| WO2022062458A1 (zh) * | 2020-09-24 | 2022-03-31 | 广州爱孕记信息科技有限公司 | 一种胎儿最优标准切面的确定方法及装置 |
| CN112155602A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿最优标准切面的确定方法及装置 |
| WO2022062460A1 (zh) * | 2020-09-24 | 2022-03-31 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
| GB2614643A (en) * | 2020-09-24 | 2023-07-12 | Guangzhou Aiyunji Information Tech Co Ltd | Method and device for determining imaging quality control of fetal ultrasound image |
| GB2614643B (en) * | 2020-09-24 | 2024-01-17 | Guangzhou Aiyunji Information Tech Co Ltd | Method and Apparatus for Identification of Imaging Quality of a series of Fetal Ultrasound Images |
| CN113171118A (zh) * | 2021-04-06 | 2021-07-27 | 上海深至信息科技有限公司 | 一种基于生成式对抗网络的超声检查操作引导方法 |
| CN113171118B (zh) * | 2021-04-06 | 2023-07-14 | 上海深至信息科技有限公司 | 一种基于生成式对抗网络的超声检查操作引导方法 |
| CN113558661A (zh) * | 2021-08-11 | 2021-10-29 | 成都脉讯科技有限公司 | 产前超声ai智能化质控系统 |
| CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
| CN115082487B (zh) * | 2022-08-23 | 2022-12-13 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223092A (zh) | 胎儿超声切面图像自动质控系统及检测方法 | |
| CN110464380B (zh) | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 | |
| Omonigho et al. | Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network | |
| CN112070119A (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
| CN109191457A (zh) | 一种病理图像质量有效性识别方法 | |
| CN109671086A (zh) | 一种基于三维超声的胎儿头部全自动分割方法 | |
| CN110555836A (zh) | 一种超声图像中胎儿标准切面的自动识别方法和系统 | |
| CN104102839B (zh) | 一种基于多尺度网格曲面形状特征的阿尔茨海默病脑皮层自动分类方法 | |
| CN110613483B (zh) | 一种基于机器学习检测胎儿颅脑异常的系统 | |
| CN110279433A (zh) | 一种基于卷积神经网络的胎儿头围自动精确测量方法 | |
| CN111275706A (zh) | 一种基于剪切波弹性成像超声组学深度分析方法及系统 | |
| CN113706491A (zh) | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 | |
| CN111783792A (zh) | 一种提取b超图像显著纹理特征的方法及其应用 | |
| CN111932513A (zh) | 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统 | |
| CN112508902A (zh) | 白质高信号分级方法、电子设备及存储介质 | |
| CN113393456B (zh) | 基于多任务的早孕期胎儿标准切面的自动质量控制方法 | |
| CN111481233B (zh) | 胎儿颈项透明层厚度测量方法 | |
| CN110974302B (zh) | 一种超声图像中胎儿头部容积的自动检测方法和系统 | |
| CN116563224A (zh) | 基于深度语义特征的影像组学胎盘植入预测方法及装置 | |
| WO2023133929A1 (zh) | 一种基于超声的人体组织对称性检测分析方法 | |
| CN112927808A (zh) | 一种基于甲状腺超声图像的结节分级系统及方法 | |
| TWI836926B (zh) | 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法 | |
| CN116310604B (zh) | 一种胎盘植入分型评估工具和方法 | |
| CN114882019B (zh) | 孕早期或孕中期超声图像标准化质量控制方法、系统及设备 | |
| Khazendar | Computer-aided diagnosis of gynaecological abnormality using B-mode ultrasound images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211118 Address after: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510510 Applicant after: SOUTHERN MEDICAL University Applicant after: Hunan University Address before: 410205 room 515a266, block BCD, Lugu business center, No. 199, Lulong Road, high tech Development Zone, Changsha, Hunan (cluster registration) Applicant before: Changsha Datang Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230522 Address after: 518000, 6th Floor, Building A3, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province Applicant after: Shenzhen Lanxiang Zhiying Technology Co.,Ltd. Address before: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510510 Applicant before: SOUTHERN MEDICAL University Applicant before: HUNAN University |