CN116912229A - 一种胎儿经侧脑室横切面超声标准切面检测方法 - Google Patents
一种胎儿经侧脑室横切面超声标准切面检测方法 Download PDFInfo
- Publication number
- CN116912229A CN116912229A CN202310995638.2A CN202310995638A CN116912229A CN 116912229 A CN116912229 A CN 116912229A CN 202310995638 A CN202310995638 A CN 202310995638A CN 116912229 A CN116912229 A CN 116912229A
- Authority
- CN
- China
- Prior art keywords
- image
- section
- standard
- model
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 210000003140 lateral ventricle Anatomy 0.000 title claims abstract description 23
- 210000003754 fetus Anatomy 0.000 title claims abstract description 11
- 230000001605 fetal effect Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 210000004556 brain Anatomy 0.000 claims description 30
- 210000002987 choroid plexus Anatomy 0.000 claims description 21
- 210000003625 skull Anatomy 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 16
- 210000005240 left ventricle Anatomy 0.000 claims description 12
- 210000005241 right ventricle Anatomy 0.000 claims description 12
- 238000013210 evaluation model Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000002861 ventricular Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 4
- 210000003161 choroid Anatomy 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000003908 quality control method Methods 0.000 abstract description 2
- 230000035935 pregnancy Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001259 mesencephalon Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000012488 skeletal system development Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/02—Foetus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Quality & Reliability (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多任务卷积神经网络级联模型的自动检测胎儿经侧脑室横切面超声标准切面图像的方法，来解决胎儿超声质控中针对胎儿经侧脑室横切面标准切面检测的判断过程繁琐且耗时较大的技术问题，包括以下步骤：获取胎儿经侧脑室横切面超声图像并进行预处理；基于卷积神经网络模型，将预处理的超声图像进行人工标注；利用标注好的图像利用反向传播机制进行训练来得到最终训练好的模型；将需要检测的视频经过预处理并输入训练好的卷积神经网络模型来检测标准切面及关键点信息；在检测到标准切面评估分数高于设定阈值的图像后，系统自动存储图像及关键点信息；利用关键点信息评估系统计算关键点信息评估分数；结合标准切面检测分数和关键点信息评估分数来得到最终的标准切面评估分数及检测报告。
Description
技术领域
本发明涉及医学影像处理、医学人工智能领域，尤其涉及一种胎儿的经侧脑室横切面超声标准图像检测方法。
背景技术
超声成像具有无创性、无放射性、实时性、便捷性和扫描成本低等优势，目前被广泛用于人体腹部器官和浅表器官疾病的筛查、诊断和与治疗。尤其是针对怀孕期间的妇女，目前在妇产科学界已经达成共识，认为孕期超声检查包括多普勒检查对胎儿是安全的。
在人工智能领域，已经有多种方法用于目标检测及医学图像处理。而一些多任务网络，不仅可以进行目标检测，同时可以获得目标特征点信息。
但是面对胎儿经侧脑室横切面的超声图像的处理具有其特殊性，与普通成年人相比，新生儿颅脑并未发育成熟，骨骼发育不完善，颅骨较成人颅骨更软，且颅骨并未融合，其中胎儿经侧脑室横切面常用于筛查胎儿的颅骨畸形，由于胎儿颅骨结构更加柔软，扫查过程中很容易错过或是受到压力而得到产生形变的颅骨图像。在传统获取标准切面操作中，需要医生不断寻找标准的切面；在找到标准切面后，要在保持超声探头不动的情况下手动截图，然后再根据标准切面图像进行下一步的诊断。在此过程中，由于不可避免的会产生视觉误差或是因为手部抖动而产生的图像模糊，或因医生的按压而产生的形变等造成图像结构扭曲等问题。因此，对于胎儿经侧脑室横切面的检测而言，就会产生无法判断或是错误判断胎儿脑部发育情况的后果。
在专利申请号为CN202110788728.5的名为“基于多任务的早孕期胎儿标准切面的自动质量控制方法”的专利中，提出了一种获取多张早孕期胎儿超声切面图像并利用多任务网络并对其进行标准切面判别及分类的方法。在专利号为CN202111047127.5的名为“胎儿超声标准切面图像识别网络模型的训练方法和装置”的专利中，提出了一种胎儿超声标准切面图像识别网络模型的训练方法和装置，利用知识蒸馏方法进行网络训练。但上述技术分别存在单一深度卷积网络速度较慢，且会存在较大的误差的缺陷，无法解决在扫查的过程中实时获取标准切面图像的问题。
因此，需要一种针对胎儿经侧脑室横切面进行标准切面检测的方法，来在医生进行超声扫查的过程中实时的检测并保留胎儿经侧脑室横切面的标准切面，基于此，即便是对胎儿经侧脑室横切面进行标准切面图像判断不足，或是超声扫超经验不足的医生也可以轻松获得胎儿经侧脑室横切面图像，以方便医生针对图像进一步分析胎儿颅骨状态及病理分析。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种胎儿经侧脑室横切面超声标准切面检测方法。
为解决上述技术问题，本发明采用的解决方案是：
提供一种胎儿经侧脑室横切面超声标准切面检测方法，包括以下步骤：
(1)利用超声图像采集设备获取胎儿颅骨超声图像数据，在预处理后进行人工标注，利用标注后的图像数据建立训练数据集；
(2)构建用于检测标准切面及获取特征点信息的模型，并对其进行训练；
该模型基于卷积神经网络模型构建，是由Z-Net和Y-Net两个子网络级联构成；其中，Z-Net含有三个卷积层、一个最大池化层和一个分类器，Y-Net含有三个卷积层、两个池化层、一个全连接层和一个分类器；Z-Net以训练数据集为输入，其输出结果包括判定图像为准确切面的准确率和图像回归边框的位置坐标；根据Z-Net的输出信息对原图像进行裁剪后作为Y-Net的输入，Y-Net的输出结果包括判定图像为准确切面的准确率、图像中回归边框的位置坐标，以及脑中线、左右侧脑室内脉络丛上下端点所在位置的特征点信息；
(3)将待分析的胎儿颅骨超声检测视频输入经过训练的卷积神经网络模型，对视频进行逐帧检测，寻找标准切面并获取其特征点信息；
(4)对检获的标准切面进行评估，保存评估分数高于设定阈值的图像及其特征点信息，根据标准切面评估分数输出评估结果报告。
发明原理描述：
与现有技术相比，本发明的技术效果是：
该模型结构非常轻量化，可以在各种型号的超声仪器中添加该系统，并达到实时检测并自动存储最优的胎儿经侧脑室横切面标准切面的效果。相比于之前出现的标准切面检测模型，该模型在第一个网络模块仅使用较小的卷积神经网络，可以快速的对当前画面进行检测，只有当出现疑似经侧脑室横切面时，才会进行后续的一系列特征检查操作，以达到实时检测的目的。
该模型的分类性能较好，使用两个网络级联构成，在第一级联初步获得模型候选图像后，使用第二级联网络进行更加精细的判别，并且针对此任务，判别准确率率高，伴随着设定阈值的不同，可自由调控对分类精度的要求，并且该系统针对医师对标准图像的要求进行了特征信息判别，可以提供给医师有数据作为参考的非标准图像理由，及其可视化，使得资历较少的医师也可以轻松获取胎儿经侧脑室横切面标准切面图像。
附图说明
图1为本发明所述胎儿经侧脑室横切面超声标准切面检测方法的流程图。
图2为胎儿经侧脑室横切面超声标准切面预处理图像的示例；
图3为在图1中标准切面图像上进行标注的示例；
图4为本发明的多任务网络结构模型示意图；
图5为本发明的关键点信息评估流程示意图。
图6为符合本发明的多任务网络图片识别效果例图。
图7为本发明的脑中线特征点信息评估流程图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述。
S1：利用超声图像采集设备，获取足量的胎儿经侧脑室横切面超声图像数据集；
S2：基于获得的胎儿超声切面图像数据集进行数据预处理；
参阅图2，预处理时，需要医生按照超声检查中对胎儿经侧脑室横切面图像的临床标准，先筛选出包含标准切面的图像；再对图像进行统一的裁剪和旋转处理，使得图像中脑中线居中竖直、左右侧脑室及脑室内的脉络丛分别位于左右两侧。
S3：按照标准切面检测标准中对胎儿经侧脑室横切面的要求，将预处理后的超声图像进行人工标注(参阅图3)。包括：利用矩形边框标注颅骨光环所在位置，再利用直线标注脑中线和左右侧脑室的脉络丛上下两端的端点位置作为特征点信息。将所得图像数据作为训练数据，建立训练数据集；
S4：参阅图4，基于多任务卷积神经网络模型构建检测标准切面及获取特征点信息的卷积神经网络模型。网络模型采用两个子网络级联构成，分别为Z-Net及Y-Net。其中，Z-Net含有三个卷积层和一个最大池化层，并随后通过一个分类器判断该区域是否是经侧脑室横切面标准切面，同时使用边框回归到颅骨环所在的位置作为标准切面初步提议。Y-Net含有三个卷积层和两个池化层，并在三个卷积层结束后增加一个全连接层，从而对候选图像的筛选更加严格。在全连接层后连接一个分类器来获得该区域是经侧脑室横切面标准切面的分值，同时使用边框回归到颅骨环所在的位置，同时利用点回归到脑中线、左右侧脑室内的脉络丛上下端点所在的位置作为特征点信息。
S5：利用S3步骤中得到的训练数据集，先训练Z-Net子网络模型。
(1)首先将图像大小转变为12×12的RGB三通道图像，然后将图像输入进Z-Net子网络中，由卷积层和池化层进行特征提取。
卷积层公式：
其中*表示卷积运算，l为卷积层的层数，i表示第l-1层的第i个神经元节点，j表示第l层的第j个神经元节点，Mj为输入特征图的集合，为中间节点，表示第l-1层的输出和第l层的输入，/>表示卷积核，bj表示偏置量，f为激活函数；β为标量常数；
池化层公式：
其中，β为标量常数，q为池化层的层数，表示前一层尺寸为n×n的矩阵块的均值或最大值，也可称作平均池化或最大池化。
(2)经过卷积层和池化层提取后，子网络Z-Net得到六个输出：前两个输出为判断该图像是否为标准切面的预测值，后四个输出为标准切面回归框坐标。
(3)根据模型输出结果与真实值分别计算分类器损失值和回归框损失值；其中，分类器损失函数使用的交叉熵损失函数为：
其中，pi是该区域为经侧脑室横切面标准切面的概率为该区域真实的标签。(若为经侧脑室横切面标准切面则为1，否则为0)
边界框回归损失函数使用的欧式距离作为度量的损失函数为：
其中，为真实的边框坐标，/>为计算机预测的边框坐标。
此网络的最终损失函数利用反向传播机制，改变模型参数，来达到训练网络模型的效果。
(4)先将图像进行不同比例放缩并输入进Z-Net来获得图像的经侧脑室横切面标准切面的回归框坐标及对应的预测为侧脑室横切面标准切面的概率；保留Z-Net输出结果中预测为侧脑室横切面标准切面的概率值高于0.9的回归框。
(5)通过使用Soft-NMS(非极大值抑制)对上一步中保留的图像回归框进行筛选，去掉重叠度高于设定阈值的回归框，保留得分高于设定阈值的回归框。其中Soft-NMS就是通过迭代的形式，不断的以最大得分的框去与其他框做计算IOU操作，并对那些IOU较大(即交集较大)的框降低得分。最终保留得分高于设定阈值的回归框。其中“得分”即对应候选回归框预测为侧脑室横切面标准切面的概率值，IOU为两个候选框重合度指标，如A，B两个候选框的IOU计算公式为：
其中，SA，SB为A，B回归框的面积。Soft-NMS的计算公式为：
其中，回归框A预测为侧脑室横切面标准切面的概率值大于回归框B，pB为B回归框预测为侧脑室横切面标准切面的概率值IOU(A，B)为A，B回归框的IOU值，N为设定的阈值。
S6：根据Z-Net的输出信息对原图像进行裁剪，将其作为Y-Net的输入来训练Y-Net。
(1)Y-Net中卷积层及池化层公式与S5中卷积层及池化层公式相同。
(2)经过Y-Net网络的卷积层和池化层进行特征提取后，网络模型最终得到十八个输出，前两个输出为判断该图像是否为标准切面的预测值，后四个输出为标准切面回归框坐标，最后十二个输出为特征点信息。
(3)根据模型输出结果与真实值分别计算分类器损失值、回归框损失值和特征点损失值，其中，分类器损失函数使用的交叉熵损失函数为：
其中，pi是该区域为经侧脑室横切面标准切面的概率为该区域真实的标签。(若为经侧脑室横切面标准切面则为1，否则为0)。
边界框回归损失函数使用的以欧式距离作为度量的损失函数为：
其中为真实边框坐标，/>为计算机预测边框坐标。
特征点回归损失函数也使用以欧式距离作为度量的损失函数：
其中，为真实的特征点坐标，/>为计算机预测的特征点坐标。
此网络的最终损失函数利用反向传播机制，改变模型参数，来达到训练网络模型的效果。
S7：若为检测超声视频文件，则将需要检测的超声动态视频进行预处理，裁剪并仅保留需检测的图像并调整其大小。若实时的进行使用超声仪器对孕妇进行胎儿颅骨检查实时获取的检查视频，则直接对当前超声动态视频进行逐帧检测，寻找标准切面。
S8：将超声动态视频输入到网络中，网络会逐帧对视频进行检测，寻找标准切面。当网络检测到分类器预测概率大于0.95的图像时，网络将利用得到的回归框对图像进行裁剪及旋转，并记录其预测概率pcls及特征点坐标，随后继续检测下一帧图像直至结束。
S9：对S6中得到的候选标准切面图像及其特征点信息，利用特征点信息评估方法获得特征点信息评估分数，具体流程参照图5，首先由医生选择需要检测的特征点信息：脑中线是否连续、左右侧脑室脉络丛大小是否相近。
特征点评估方法包括以下两个方面：
(1)针对脑中线的特征评估模型：
参照图6，根据训练时使用的经侧脑室横切面标准切面图像中脑中线区域横纵比计算均值u.在评估某待评估图像时，读取待评估图像的灰度图，并连接两个脑中线特征点，计算特征点连线长度lCF，再计算得到两个脑中线特征点分别向左和向右t个像素的四个点的位置坐标，其中t＝lCF×u/2，用此四个点顺次连接得到一个长方形区域，该长方形区域即为脑中线区域，将该区域按照纵向(即上下方向)均分为20份，再分别计算20个小区域的灰度值平均值x1，x2…，x20，对这20个数据求其平均值并对x1，x2，…，xn进行归一化处理，计算归一化后的数据的方差s2，最终根据求得的/>及s2得到脑中线特征的评分：
(2)针对左右侧脑室脉络丛的特征评估模型：
根据S6步骤中网络模型给出的经侧脑室横切面候选标准切面图像中的左右侧脑室脉络丛特征点，分别计算左、右侧脑室脉络丛长度lleft，lright，再计算出左右侧脑室脉络丛评分：
其中：
S10：结合标准切面检测分数和特征点信息评估分数，得到最终的标准切面评分：
其中，wcls为S5-S6步骤中训练好的标准切面检测模型权重、w1为S9步骤中脑中线特征评估模型权重、w2为S9步骤中左右侧脑室脉络丛评估模型权重。Pcls为S5-S6步骤中训练好的标准切面检测模型对该切面检测的评分、p1为S9步骤中脑中线特征评估模型评分、p2为S9步骤中左右侧脑室脉络丛评估模型评分。k1、k2分别为是否将脑中线特征评估模型、左右侧脑室脉络丛评估模型添加到最终检测项目中的参数，若需要在截取经侧脑室横切面标准切面时参考两个模型的评分，则需要参考的模型的对应参数k取值1，否则k值取0。
S11：最终检测报告的内容：
最终的检测报告包含：最终检测评分高于0.95的裁剪后的图像，及对该图像利用特征点信息在图像中标注了脑中线、左右侧脑室脉络丛的图像，该图像的综合评分p，标准切面检测系统评估分数pcls、脑中线特征评估系统评分p1、左右侧脑室脉络丛评估系统评分p2。
参阅图7：利用本发明的模型对图片进行识别的示例，图片经过内部的预处理系统并送入网络模型中，随后得到一系列结果：输出图像中，框体为颅骨光环所在位置，即标准切面所在区域。框体中的三条直线为特征点连线，中央直线为脑中线所处位置，两侧为左右侧脑室脉络丛所在位置。
利用特别设计的卷积神经网络模型，本发明在使用个人计算机运算时，针对图片寻找并判别最优标准切面耗时约为0.4秒，若仅需检测方向为正向(脑中线于竖直方向)的标准切面图像只需要0.1秒，在检测视频文件时，可以做到不影响视频流畅度的情况下实时检测的效果，并且在利用多线程并行计算的条件下可以大幅度提升检测速度。
Claims (9)
1.一种胎儿经侧脑室横切面超声标准切面检测方法，其特征在于，包括以下步骤：
(1)利用超声图像采集设备获取胎儿颅骨超声图像数据，在预处理后进行人工标注，利用标注后的图像数据建立训练数据集；
(2)构建用于检测标准切面及获取特征点信息的模型，并对其进行训练；
该模型基于卷积神经网络模型构建，是由Z-Net和Y-Net两个子网络级联构成；其中，Z-Net含有三个卷积层、一个最大池化层和一个分类器，Y-Net含有三个卷积层、两个池化层、一个全连接层和一个分类器；Z-Net以训练数据集为输入，其输出结果包括判定图像为准确切面的准确率和图像回归边框的位置坐标；根据Z-Net的输出信息对原图像进行裁剪后作为Y-Net的输入，Y-Net的输出结果包括判定图像为准确切面的准确率、图像中回归边框的位置坐标，以及脑中线、左右侧脑室内脉络丛上下端点所在位置的特征点信息；
(3)将待分析的胎儿颅骨超声检测视频输入经过训练的卷积神经网络模型，对视频进行逐帧检测，寻找标准切面并获取其特征点信息；
(4)对检获的标准切面进行评估，保存评估分数高于设定阈值的图像及其特征点信息，根据标准切面评估分数输出评估结果报告。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，对胎儿颅骨超声图像数据进行下述预处理：按照超声检查中对胎儿经侧脑室横切面图像的临床标准，由医生筛选出包含标准切面的图像，再进行统一裁剪和旋转处理，使图像中的脑中线局中竖直、左右侧脑室及脑室内的脉络丛分别位于左右两侧。
3.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，所述人工标注的内容包括：以矩形边框标注颅骨光环所在位置，以直线标注脑中线和左右侧脑室的脉络丛上下两端的端点位置；将边框的位置坐标，以及脑中线、左右侧脑室内脉络丛上下端点所在位置坐标作为特征点信息。
4.根据权利要求1所述的方法，其特征在于，所述步骤(2)中：
将训练数据集中的图像输入Z-Net前，先转换为统一大小的RGB三通道图像；经过卷积层和池化层进行特征提取后得到六个输出，其中两个输出是判断该图像是否为标准切面的预测值，另四个输出是标准切面回归框的坐标；
根据模型输出结果与真实值分别计算分类器损失值和回归框损失值；然后利用反向传播机制改变Z-Net子网络的模型参数，来达到训练效果；其中，
分类器损失函数使用交叉熵损失函数：
其中，pi是该区域为经侧脑室横切面标准切面的概丰为该区域真实的标签；
边界框回归损失函数使用的欧式距离作为度量的损失函数为：
其中，为真实的边框坐标，/>为计算机预测的边框坐标；
Z-Net子网络的最终损失函数为
5.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，训练Z-Net子网络时，先将图像进行不同比例放缩并输入进Z-Net，获得图像的经侧脑室横切面标准切面的回归框坐标及对应的预测为侧脑室横切面标准切面的概率，并且此时仅保留预测概丰值高于0.9的回归框。
6.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，训练Z-Net于网络时，使用Soft-NMS对上一步骤中保留的的回归框进行筛选以去掉重叠度高于设定阈值的回归框，保留得分高于设定阈值的回归框。
7.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，训练Y-Net子网络时，经过卷积层和池化层进行特征提取后共输出18个结果，其中两个为判断该图像是否为标准切面的颅测值，四个为标准切面回归框坐标，十二个为特征点信息；
根据模型输出结果与真实值，利用分类器损失函数、边界框回归损失函数和特征点回归损失函数分别计算分类器损失值、回归框损失值和特征点损失值，获得模型的最终损失函数；然后利用反向传播机制改变Y-Net子网络的模型参数，来达到训练效果；其中，
分类器损失函数使用下述交叉熵损失函数：
其中，pi是该区域为经侧脑室横切面标准切面的概率为该区域真实的标签；；
边界框回归损失函数使用下述以欧式距离作为度量的损失函数：
其中，为真实边框坐标，/>为计算机预测边框坐标；
特征点回归损失函数使用下述以欧式距离作为度量的损失函数：
其中，为真实的特征点坐标，/>为计算机预测的特征点坐标；
最终损失函数为：
8.根据权利要求1所述的方法，其特征在于，所述步骤(3)中，若使用现有超声视频文件作为检测对象，需要对其进行预处理，裁剪并仅保留需检测的图像并调整其大小；若使用超声图像采集没备实时获取的检查视频，则自接对当前超声动态视频进行逐帧检测，寻找标准切面；当Z-Net子网络的分类器检获到预测概率大于0.95的图像时，利用所得回归框对原始图像进行裁剪及旋转，并将其作为候选标准切面图像，并记录其预测概率及特征点坐标；然后继续检测下一帧图像直至结束。
9.根据权利要求1所述的方法，其特征在于，所述步骤(4)中，对检获的标准切面进行评估时，包括以下内容：
(1)针对脑中线的特征评估模型：
根据训练时使用的经侧脑室横切面标准切面图像中脑中线区域横纵比，计算均值u；根据Y-Net网络模型给出的候选标准切面图像中的脑中线特征点，读取候选标准切面图像的灰度图，并连接两个脑中线特征点，计算特征点连线长度lCF；再计算得到两个脑中线特征点分别向左和向右t个像素的四个点的位置坐标，其中t＝lCF×u/2；用此四个点顺次连接得到一个长方形区域，该长方形区域即为脑中线区域；将该区域按照纵向均分为20份，再分别计算20个小区域的灰度值平均信x1，x2…，x20，对这20个数据求其平均值并对x1，x2，…，xn进行归一化处理；计算归一化后的数据的方差s2，根据/>及s2得到脑中线特征的评估得分：
(2)针对左右侧脑室脉络丛的特征评估模型：
根据Y-Net网络模型给出的候选标准切面图像中的左右侧脑室脉络丛特征点，分别计算左、右侧脑室脉络丛长度lleft，lright；再计算出左右侧脑室脉络丛评估分值：
其中：
(3)结合标准切面检测分数和特征点信息评估分数，得到最终的标准切面评估分数为：
其中，wcls、w1、w2分别为标准切面检测模型、脑中线特征评估模型、左右侧脑室脉络丛评估模型权重；pcls、p1、p2分别为标准切面检测模型、脑中线特征评估模型、左右侧脑室脉络丛评估模型对候选标准切面所给出的分数；
k1、k2分别为是否将脑中线特征评估模型、左右侧脑室脉络丛评估模型添加到最终检测项目中的参数，若需要在截取经侧脑室横切面标准切面时参考两个模型的评分，则需要参考的模型的对应参数k取值1，否则k值取0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310995638.2A CN116912229A (zh) | 2023-08-09 | 2023-08-09 | 一种胎儿经侧脑室横切面超声标准切面检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310995638.2A CN116912229A (zh) | 2023-08-09 | 2023-08-09 | 一种胎儿经侧脑室横切面超声标准切面检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912229A true CN116912229A (zh) | 2023-10-20 |
Family
ID=88351033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310995638.2A Pending CN116912229A (zh) | 2023-08-09 | 2023-08-09 | 一种胎儿经侧脑室横切面超声标准切面检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912229A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975012A (zh) * | 2024-02-07 | 2024-05-03 | 浙江大学 | 人体脉络丛分割方法、系统、存储介质及设备 |
-
2023
- 2023-08-09 CN CN202310995638.2A patent/CN116912229A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975012A (zh) * | 2024-02-07 | 2024-05-03 | 浙江大学 | 人体脉络丛分割方法、系统、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| CN111227864B (zh) | 使用超声图像利用计算机视觉进行病灶检测的装置 | |
| CN111179227B (zh) | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 | |
| TWI684997B (zh) | 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法 | |
| US20200111212A1 (en) | Chromosome Abnormality Detecting Model, Detecting System Thereof, And Method For Detecting Chromosome Abnormality | |
| CN111462049A (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN116912229A (zh) | 一种胎儿经侧脑室横切面超声标准切面检测方法 | |
| CN110543912A (zh) | 自动获取胎儿关键切面超声视频中心动周期视频的方法 | |
| CN113706491A (zh) | 基于混合注意力弱监督迁移学习的半月板损伤分级方法 | |
| Włodarczyk et al. | Spontaneous preterm birth prediction using convolutional neural networks | |
| Koprowski et al. | Assessment of significance of features acquired from thyroid ultrasonograms in Hashimoto's disease | |
| CN115429325A (zh) | 一种超声成像方法及超声成像设备 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN112508902A (zh) | 白质高信号分级方法、电子设备及存储介质 | |
| CN112862749A (zh) | 一种骨龄图像数字化处理后自动识别方法 | |
| CN111481233B (zh) | 胎儿颈项透明层厚度测量方法 | |
| Makhdoomi et al. | Machine learning techniques for medical images in PCOS | |
| CN117322865B (zh) | 基于深度学习的颞下颌关节盘移位mri检查诊断系统 | |
| CN112200794A (zh) | 一种基于卷积神经网络的多模型糖网病变自动筛查方法 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的系统和方法 | |
| CN112991289B (zh) | 图像标准切面的处理方法及装置 | |
| CN115359002A (zh) | 一种颈动脉超声图像斑块自动检测系统及方法 | |
| WO2023133929A1 (zh) | 一种基于超声的人体组织对称性检测分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |