CN117618026A - 一种应用于超声图像的胎儿头围测量方法及系统 - Google Patents

一种应用于超声图像的胎儿头围测量方法及系统 Download PDF

Info

Publication number
CN117618026A
CN117618026A CN202311592848.3A CN202311592848A CN117618026A CN 117618026 A CN117618026 A CN 117618026A CN 202311592848 A CN202311592848 A CN 202311592848A CN 117618026 A CN117618026 A CN 117618026A
Authority
CN
China
Prior art keywords
image
training
fetal head
segmentation
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311592848.3A
Other languages
English (en)
Other versions
CN117618026B (zh
Inventor
李红坚
傅明辉
张海春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202311592848.3A priority Critical patent/CN117618026B/zh
Publication of CN117618026A publication Critical patent/CN117618026A/zh
Application granted granted Critical
Publication of CN117618026B publication Critical patent/CN117618026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种应用于超声图像的胎儿头围测量方法、系统及装置，该方法包括：获取训练图像并进行标注处理，得到训练集；基于V‑net架构，引入注意力机制，构建分割模型；引入深度监督策略，基于所述训练集对所述分割模型进行训练；基于训练完成的分割模型对超声图像进行图像分割；基于图像深度计算对所述胎儿头部区域进行测量。该系统包括：训练集构建单元、模型构建单元、模型训练单元、分割单元和测量单元。该装置包括存储器以及用于执行上述胎儿头围测量方法的处理器。通过使用本发明，能够提高超声图像分割的准确性，进而提高生长参数的测量精度。本发明可广泛应用于医学图像处理领域。

Description

一种应用于超声图像的胎儿头围测量方法及系统
技术领域
本发明涉及医学图像处理领域，尤其涉及一种应用于超声图像的胎儿头围测量方法及系统。
背景技术
出生缺陷(birthdefect，BD)是指出生时就存在的结构和功能方面的异常，降低BD发生率，往往依靠于产前筛查和产前诊断，产前筛查和产前诊断手段主要是超声影像技术，临床医生通过超声设备对胎儿进行检查。超声检查是观察胎儿在母体内生长发育最常用的方法，也是检查胎儿缺陷，评估胎儿在母体内生长发育状况的重要依据。在临床中，胎儿产前超声检查的主要过程包括胎儿关键部位标准切面选取，基于标准切面进行胎儿生物学参数测量，然后根据所测得的胎儿生长参数进行胎儿孕龄和体重估计，最后评估胎儿生长发育状况。
在超声影像处理过程中，成像过程受到衰减、噪声和伪影的影响，会导致成像质量低，进而无法很好的对图像进行区域分割，进而影响参数测量的准确性。
发明内容
有鉴于此，为了解决现有超声图像测量方法中成像质量低，无法很好的分割出胎儿头部区域，进而导致测量精度不高的技术问题，本发明提出一种应用于超声图像的胎儿头围测量方法，所述方法包括以下步骤：
获取训练图像并进行标注处理，得到训练集；
基于V-net架构，引入注意力机制，构建分割模型；
引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型；
基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
在一些实施例中，所述获取训练图像并进行标注处理，得到训练集这一步骤，其具体包括：
获取训练图像；
对所述训练图像进行标注处理，得到标注后的图像；
对所述标注后的图像进行双边滤波，得到去噪后的图像；
根据所述去噪后的图像，构建训练集。
通过该优选步骤，采用双边滤波的方式对图像进行预处理，以实现去噪。
在一些实施例中，还包括：
对所述去噪后的图像进行格式统一、数据增强和数据归一化处理。
通过该优选步骤，对训练集中的图像进行格式统一，方便后续模型的输入；数据增强以实现对数据的扩充；数据归一化是为了取消各维数据之间的数量级差别，避免因为输入输出数据数量级差别大而造成网络预测误差过大。
在一些实施例中，所述基于V-net架构，引入注意力机制，构建分割模型这一步骤，其具体包括：
以V-net网络为基本架构；
使用卷积操作替代池化操作；
加入注意门控模块替代跳过连接模块，对应V-NET网络中解码器(Decoder)部分，捕获低级空间和高级上下文特征；
引入残差模块；残差模块位于编码器和解码器之间的卷积块中的每一层。在每个卷积块中，使用了残差机制，将每个阶段的输入卷积层添加到上一层的输出卷积层，从而学习残差函数。
构建分割模型。
通过该优选步骤，构建了一个VAD网络，引入了注意力机制能够筛选与分割头部图像相关的特征，抑制与分割头部图像无关的特征，从而提高了分割的准确性；引入了深度监督策略，用多个不同尺度的损失函数来监督网络学习，加速了模型的收敛速度。
在一些实施例中，还包括对残差模块进行调整，具体为：
在卷积块结尾处以组归一化代替批归一化。
通过该优选步骤，能够提高模型的学习效率和稳定性。
在一些实施例中，所述引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型这一步骤，其具体包括：
引入深度监督策略，将五层深度监督分别采用不同倍数的上采样；
基于所述训练集，计算所述分割模型的前四个尺度的输出的Dice Loss，合并得到初步混合损失；
所述初步混合损失的计算公式如下：
其中，mix_loss表示初步混合损失，β表示权重因子，lossn表示第n个尺度的DiceLoss，AreaG表示训练集中手动标注的标准区域，AreaP表示分割模型预测的分割区域。
将所述初步混合损失与第五个尺度的输出的Dice Loss相加，得到最终混合损失；
基于最终混合损失反向更新所述分割模型的模型参数，直至达到判定条件，得到训练完成的分割模型。
该优选步骤中，为了克服训练数据有限的深度神经网络训练难度，采用深度监督策略纳入网络，从而通过使用多层次特征来提高分割灵敏度；所提出的VAD网络的损失函数是通过所有五个尺度的损失之和来计算的，这与其他相关网络模型中定义的损失函数完全不同，即重构了新的损失函数来评估图像分割的效果。
在一些实施例中，还包括：
基于MIoU指标和Hausdorff距离对所述训练完成的分割模型进行性能评估。
通过该优选步骤，MIoU指标和Hausdorff距离，用于衡量两个集合之间相似度的指标，以评价分割模型的分割性能。
本发明还提出了一种应用于超声图像的胎儿头围测量系统，所述系统包括：
训练集构建单元，用于获取训练图像并进行标注处理，得到训练集；
模型构建单元，基于V-net架构，引入注意力机制，构建分割模型；
模型训练单元，引入深度监督策略，基于所述训练集对所述分割网络进行训练，得到训练完成的分割模型；
分割单元，基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
测量单元，基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
本发明还提出了一种应用于超声图像的胎儿头围测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种应用于超声图像的胎儿头围测量方法。
基于上述方案，本发明提供了一种应用于超声图像的胎儿头围测量方法、系统及装置，搭建一种端到端的网络，利用该网络对超声图像进行图像分割，以获得感兴趣的区域，通过网络的改进，以提高图像分割的效果，进而提高后续参数测量的准确度。
附图说明
图1是本发明一种应用于超声图像的胎儿头围测量方法的步骤流程图；
图2是本发明具体实施例对图像进行格式统一处理的示意图；
图3是本发明具体实施例对残差模块进行调整的示意图；
图4是本发明具体实施例分割模型的VAD网络的结构示意图；
图5是本发明具体实施例训练集和验证集的loss曲线图；
图6是本发明VAD网络与U-Net网络的DSC对比曲线图；
图7是本发明对于测试集图像的标注分割与模型分割的对比图；
图8是本发明分割模型与其他模型的性能评价对比图；
图9是本发明具体实施例的分割实例图；
图10是本发明具体实施例的头围轮廓图；
图11是本发明具体实施例的椭圆拟合参数示意图；
图12是本发明具体实施例的头围测量结果。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为本发明提出应用于超声图像的胎儿头围测量方法的一可选示例的流程示意图，该方法可以适用于计算机设备，本实施例提出的该测量方法可以包括但并不局限于以下步骤：
步骤S1、获取训练图像并进行标注处理，得到训练集；
其中，共采集1000例孕妇数据，共1000张图片，数据胎儿孕周变化范围从14周到40周，各个孕周数据数量大致保持均衡。以头围的数据为例，训练图像为800张，测试图像200张。
步骤S2、基于V-net架构，引入注意力机制，构建分割模型；
其中，该模型基于V-net架构，V-net是一种常用于医学三维图像分割的网络[14]。它由压缩路径和解压缩路径组成，在压缩路径和解压缩路径之间之间有跳跃连接。本发明在V-Net结构的基础上改进与优化。
引入了注意力机制，与标准的U-Net架构使用长跳跃连接不同，VAD网络中在压缩路径和解压缩路径之间引入注意门控模块。从而筛选与分割头部图像相关的特征，抑制与分割头部图像无关的特征，从而提高了分割的准确性。
步骤S3、引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型；
本实施例中，引入了深度监督策略，用多个不同尺度的损失函数来监督网络学习，加速了模型的收敛速度。
步骤S4、基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
步骤S5、基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
在本实施例中，利用改进后的分割模型对超声图像进行分割，得到胎儿头部区域后，再使用自带的图像深度计算进行头围测量，能够规避人工操作的主观性，有效提高测量精度。
在一些可行的实施例中，所述获取训练图像并进行标注处理，得到训练集这一步骤，其具体包括：
步骤S1.1、获取训练图像；
步骤S1.2、对所述训练图像进行标注处理，得到标注后的图像；
其中，由于医院采集的图像为胎儿头围轮廓图，需要重新对所有图像进行标注。因此，需要Labelme工具对其图像进行标注，并填充为分割掩码图。
步骤S1.3、对所述标注后的图像进行双边滤波，得到去噪后的图像；
现今，医疗图像成像的设备种类繁多，但许多的成像设备，在成像过程中，无可避免的会引入一些噪声。因此常用均值滤波、高斯滤波、双边滤波等去噪方法对医疗图像进行去噪。本技术方案使用了双边滤波的方式进行图像预处理。
其中，双边滤波也是一种非线性滤波算法，其同时考虑灰度和空间域信息的相似性，达到去除噪声效果以及保护了图像边缘数据的目的。但处理后依然会受到由于高频噪声和黑洞存在从而产生的影响，但是与高斯滤波进行对比，双边滤波对于图像边缘的处理更加准确。所以本文中将采用双边滤波的方法对超声图像进行滤波处理。
步骤S1.4、对所述去噪后的图像进行格式统一、数据增强和数据归一化处理；
在本实施例中，为保证训练数据格式统一，先将RGB彩色图和伪彩色图像统一转换为灰度图，然后为了方便节省网络运行时占用的显存，同时提高算法速度，将原图由1178×937大小裁剪成850×566的正方形，然后放缩到768×512的大小。该过程如图2所示。
本实施例采用数据增强的方式对数据进行扩增，数据增强是模型训练过程中十分重要的环节，对于解决样本少，容易过拟合问题，提升模型的泛化能力具有十分重要的意义。主要通过旋转，尺度缩放，水平翻转等策略进行数据增强。本文只对训练集800张图像中的每张图像进行扩增，测试集200张图像不做任何处理；由训练集扩增得到增强集共16,000张图像。增强集中的图像随机分为80％的训练集和20％的验证集。需要注意的是测试集主要用来评估深度学习网络的性能，通过将测试集输入网络进行预测，可以得出网络在真实数据上的表现。
在训练数据原始图片输入到网络之前，首先对原始图像进行预处理，一是减去图像均值，把输入数据分布中心化为零，具体操作就是将图片减去整个训练数据集的均值，二是归一化，将数据幅度归一化到同样的范围，图片的像素值转化为[0,1]之间的数。其目的是为了取消各维数据之间的数量级差别，避免因为输入输出数据数量级差别大而造成网络预测误差过大。
步骤S1.5、根据所述去噪后的图像，构建训练集。
在一些可行的实施例中，所述基于V-net架构，引入注意力机制，构建分割模型这一步骤，其具体包括：
S2.1、以V-net网络为基本架构；
其中，V-Net网络使用卷积操作来提取数据的特征。在每个“阶段”的末尾通过合适的步长来降低数据的分辨率。整个结构的左边是一个逐渐压缩的路径，而右边是一个逐渐解压缩的路径。最终输出的大小是和图像原始尺寸一样大的。所有的卷积操作都使用了合适的padding操作。
左边的压缩路径被分为了多个阶段，每个阶段都具有相同的分辨率。每个阶段都包含1到3个卷积层。为了使每个阶段学习一个参数函数：将每阶段的输入和输出进行相加以获得残差函数的学习。
每个阶段的卷积操作使用的卷积核大小为5x5x5。在压缩路径一端，数据经过每个阶段处理之后会通过大小为2x2x2且步长为2的卷积核进行分辨率压缩。因此，每个阶段结束之后，特征图大小减半，这与池化层起着类似的作用。因为图像分辨率降低和残差网络的形式，从而将特征图的通道数进行的翻倍。整个网络结构中，均使用PReLu非线性激活函数。
网络右边部分的功能主要是提取特征和扩展低分辨率的空间支持以组合必要的信息，从而输出一个两通道的体数据分割。这最后一个卷积层使用的卷积核大小是1x1x1，输出的大小与原输入大小一致。两个特征图通过这个卷积层来利用soft-max来生成前景和背景的分割概率图。在右边解压缩路径中每个阶段的最后，通过一个解卷积操作来恢复输入数据的大小。
总言而之，在收缩路径中每阶段的结果都会作为输入的一部分加入到右边解压缩对应的阶段中。这样就能够保留一部分由于压缩而丢失的信息，从而提高最终边界分割的准确性。同时这样有利于提高模型的收敛速度。对比U-Net网络，V-Net网络能解决使用多余的信息和计算资源，使得低级别特征在多个尺度上被重复使用的问题，并且使得图像细节分割精度进一步提高。此外，能够处理类别不平衡的数据，能够更好地处理前景和背景像素数量不平衡的情况。
S2.2、使用卷积操作替代池化操作；
其中，使用卷积操作替代池化操作，在一些特殊的实现方式下可以在训练过程中减小内存的使用。这是因为在方向传播过程中并不需要像池化操作一样去切换输入和输出之间的映射，同时也更易于理解和分析。下采样有利于在接下来的网络层中减小输入信号的尺寸同时扩大特征的感受野范围，下一层感受到的特征数量是上一层的两倍。
S2.3、加入注意门控模块替代跳过连接模块，捕获低级空间和高级上下文特征；
本实施例中，在分割模型中加入了注意门控模块进行训练，抑制了与学习和任务无关的特征，同时加强了与学习和任务相关的特征。为了细化每一层的特征，引入了深度注意模块。所提出的VAD网络使用注意模块而不是跳过连接模块来捕获低级空间和高级上下文特征。通过对低分辨率和高分辨率特征图进行过滤，恢复空间信息，融合不同分辨率级别的结构信息，逐步抑制不相关背景区域的特征响应。
引入残差模块；残差模块位于编码器和解码器之间的卷积块中的每一层。在每个卷积块中，使用了残差机制，将每个阶段的输入卷积层添加到上一层的输出卷积层，从而学习残差函数。
本实施例中，通过引入残差模块解决深度网络的退化问题(深度网络的退化问题指的是在一定条件下，增加网络的深度反而会导致模型性能的下降。深度网络退化问题的有梯度消失、梯度爆炸和过拟合等原因造成的)。残差网络利用跳跃连接来跳过一些层。在训练过程中，残差网络通过快捷连接使权重更好地适应上游层，同时减轻了跳过层的影响。随着模型对特征空间的学习，跳过的层逐渐被恢复并发挥作用，并且在训练过程中使得网络更快地收敛。研究表明[10]，快捷连接可以提高深层网络在多个图像分割任务中的性能。在本文的任务中，使用残差网络来提高分割任务的性能。
构建分割模型。
在一些的可行的实施例中，还包括对残差模块进行调整，具体为：
在卷积块结尾处以组归一化(GN)代替批归一化(BN)，以提高模型的学习效率和稳定性。调整后的残差模块如图3所示。
在一些可行的实施例中，所述引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型这一步骤，其具体包括：
S3.1、引入深度监督策略，将五层深度监督分别采用不同倍数的上采样；
本实施例中，使用了深度监督策略。本文使用的训练数据数量有限，这也是医学图像处理领域的一个常见问题。为了克服训练数据有限的深度神经网络训练难度，采用深度监督策略纳入网络，从而通过使用多层次特征来提高分割灵敏度。从残差网络学习后，将五层深度监督采用不同倍数的上采样，使不同层的输出和输入大小相同。然后，使用1×1的卷积核映射到相同的通道。sigmoid激活函数实现了前景和背景区域的概率分割。
S3.2、基于所述训练集，计算所述分割模型的前四个尺度的输出的Dice Loss，合并得到初步混合损失；
本实施例中，提出的网络的输出有五个不同尺度的分割结果，并将前四个尺度计算了loss1、loss2、loss3和loss4的Dice Loss，并将它们添加为mix_loss。为了控制这四个Dice Loss对最终图像分割结果的影响，将权重因子β(设置初始值为1)相乘，得到公式如下：
其中，Dice Loss(DL)，用于衡量预测输出和二进制真值之间的重叠程度，经常被用来评估医学图像的分割效果Dice similarity Coefficient(DSC)种重叠指数，广泛用于医学图像分割，以评估分割性能。并使用了五折交叉验证来评估模型性能。由于采用类似V-Net网络，Dice和DSC的定义如下：
AreaG为医生手动标注下的金标准区域，AreaP为网络模型预测的分割区域。
S3.3、将所述初步混合损失与第五个尺度的输出的Dice Loss相加，得到最终混合损失；
训练过程中，每个epoch衰减0.8倍。随着训练的进展，低级特征贡献的权重降低。需要注意的是，低级特征不是直接输出的，而是通过上采样过程恢复。最后，由最终混合输出层loss_all计算的Dice定义为：
loss_all＝loss0+mix_loss
注：本方案没有使用损失函数作为指标来评估本文方法的分割性能，因为所提出的VAD网络的损失函数是通过所有五个尺度的损失之和来计算的，这与其他相关网络模型中定义的损失函数完全不同，换句话说是本文重构了新的损失函数来评估图像分割的效果。
S3.4、基于最终混合损失反向更新所述分割模型的模型参数，直至达到判定条件，得到训练完成的分割模型。
在一些可行的实施例中，还包括：
基于MIoU指标和Hausdorff距离对所述训练完成的分割模型进行性能评估。
评价指标在评估分割模型的结果方面发挥着重要作用。在本实施例中，将使用MIoU(指的是平均交并比，一种用于衡量两个集合之间相似度的指标，可用于计算预测分割结果与真实分割结果之间的相似度)作为评价指标之一。MIoU计算公式如下所示：
显然Dice系数越大，说明预测分割结果越接近真实分割结果，其最大值为1。
Hausdorff距离是用来计算空间中两个集合之间的距离，是一种用来衡量两个集合相似性度量的指标。假设在空间中有两个点集，分别定义为X和Y，则点集X与点集Y之间的Hausdorff距离计算公式如下所示：
H(X,Y)＝max{min{d(X,Y)}}
由此可得，Hausdorff距离越小，则分割效果越好。
综上所述，本发明提出了一种VAD网络的分割模型，其网络结构如图4所示，其具体解释如下：
在VAD网络的压缩路径中，从图像提取相应的低分辨率特征，通过1到3个卷积层进行学习，其尺寸为3×3卷积核。选择组归一化(GN)而不是批量归一化(BN)，因为GN的准确率在大量批量大小中非常稳定，这将更适合网络的数据计算，加快训练速度并提高模型的准确性。GN在卷积层的通道方向上，组数为16。GN之后是一个整流线性单元(ReLU)激活层，以进一步提高收敛速度。最后，设置dropout层(dropout ratio为0.5)来让网络中某些隐含层神经元节点的权重不工作，可以有效防止数据过拟合并提高模型的泛化能力。在每个阶段结束时，应注意以下两个点。
首先，使用了卷积之间的残差机制。目的是将每个阶段的输入卷积层添加到最后一个卷积层的输出中，从而拉取残差函数。我们的实验表明，这些机制可以使残差信息在网络中浅层和深层具有语义意义。与没有学习残差函数的网络相比，具有残差机制的架构收敛所需的时间更少。它可以学习从边缘(浅层)到非常复杂的特征(深层)的不同抽象级别的特征，因此我们通过整个模型使用了残差机制。
其次，池化层被替换为卷积层。传统的卷积神经网络使用大量的池化层进行下采样。我们认为，在解码(上采样)分辨率时，大量使用池化层可能会丢失一些信息。对于胎儿超声图像的语义分割，传统的CNN(如U-Net)可能对分割精度有瓶颈。因此，我们将池化层替换为卷积层以降低分辨率(下采样)，但代价是计算量很小。卷积步幅设置为2[18]。
在VAD网络的解压缩路径中，每一层使用了类似于编码器的残差连接，然后使用反卷积来增加输入大小和图像分辨率。每一层都使用1到3个卷积块从数据中提取相应的特征，从而收集深度图像特征信息。不同之处在于我们添加了注意力模块并实现了深度监督策略来进一步指导网络训练。应注意以下两个点。首先，将跳跃连接替换为注意力模块。与传统的V-Net模型类似，保留了从CNN左侧提取丰富的浅层分辨率特征信息并将其合并到右侧的操作。不同之处在于我们在传统的V-Net架构中使用了多个注意力模块连接而不是跳过连接。注意力引导模块过滤低分辨率和高分辨率的特征图，通过注意力引导输出特征图(也称为校正后的特征图)，然后将注意力模块输出的特征与之前的阶段的反卷积层融合。因此，恢复空间信息，并在不同的分辨率级别融合结构信息。因此，本文可以收集编码器中丢失的细粒度细节，并通过网络训练的指导提高最终轮廓预测的质量。与此同时还观察到，使用这些连接加速了模型的收敛性。
其次，使用了深度监督策略。本文使用的训练数据数量有限，这也是医学图像处理领域的一个常见问题。为了克服训练数据有限的深度神经网络训练难度，本文将深度监督策略纳入网络，从而通过使用多层次特征来提高分割灵敏度。从残差网络学习后，将五层深度监督分别上采样16、8、4、2和1倍，使不同层的输出和输入大小相同。然后，使用1×1的卷积核映射到相同维度的通道。sigmoid激活函数(0和1分别表示胎儿头部和非胎儿头部区域)实现了前景和背景区域的概率分割。模型将在PyTorch中使用8GB的NVIDIA 3090GPU实现。
基于上述一种应用于超声图像的胎儿头围测量方法，本发明还给出了一个仿真对比实例以验证其性能，具体如下：
对于模型评估部分，需要采用相应的性能指标监督模型的训练，以便更好地发现问题及时修改，对于医学图像分割采用DSC参数监督训练的模型，以评估分割性能。并使用了五折交叉验证来评估模型性能和选择合适的超参数。
从图5和图6可知，本文采用的方法在40轮左右，曲线接近拟合，模型达到最优的效果；从左往右，随着训练次数增加，VAD模型比U-Net模型的DSC收敛速度快25轮；从上往下，能够得到模型比U-Net模型的DSC准确率高，图像分割效果显著。
利用深度学习训练好的模型对测试集的图像进行预测，获得预测的超声图像，如图7所示，(其中，图7(a)表示原始图像，图7(b)表示人工标注的分割区域，图7(c)表示模型预测的分割区域)，再与金标准图像进行公式计算得到图8的性能评价指标，从图8得出，本文采用方法比其它模型的评价指标高。从而，说明本文采用的方法图像分割效果比较好，方法也可行的。
为了更加好的显示图像，将原始图像以及分割图像进行可视化显示，如图9所示，左从图看出，图像拟合部分占比较大，从而说明了模型的图像分割效果比较良好。
以头围为例，主要使用OpenCV中的cv2.findContours()函数查找并获得轮廓图像，由于获得图像的轮廓为不规则图像，需要对头围进行椭圆拟合，需要先根据头部的准确分割结果，获取头部的轮廓位置坐标，作为最小二乘法进行椭圆拟合的数据点，提取的头围轮廓如图10所示。
椭圆拟合时，对应像素点位置视为坐标轴的横纵坐标，然后利用最小二乘法进行椭圆拟合，计算出椭圆方程通式，然后计算拟合出的椭圆相关参数，包括中心坐标(0,0)，椭圆长半轴短半轴a、b，以及夹角，椭圆参数示意如图11所示。
对头围进行椭圆拟合之后，选取椭圆周长计算公式：L＝2πb+4(a-b)，计算出椭圆周长，最后根据每个像素点物理尺寸计算出预测头围的物理尺寸，计算部分结果，如图12的表格所示。
后续根据金标准下的真实值与模型预测的结果进行计算其方差以及标准差可得到平均绝对误差为：1.89±1.72mm)，具有临床应用的潜力。
一种应用于超声图像的胎儿头围测量系统，包括：
训练集构建单元，用于获取训练图像并进行标注处理，得到训练集；
模型构建单元，基于V-net架构，引入注意力机制，构建分割模型；
模型训练单元，引入深度监督策略，基于所述训练集对所述分割网络进行训练，得到训练完成的分割模型；
分割单元，基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
测量单元，基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种应用于超声图像的胎儿头围测量装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种应用于超声图像的胎儿头围测量方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上所述一种应用于超声图像的胎儿头围测量方法。
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种应用于超声图像的胎儿头围测量方法，其特征在于，包括以下步骤：
获取训练图像并进行标注处理，得到训练集；
基于V-net架构，引入注意力机制，构建分割模型；
引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型；
基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
2.根据权利要求1所述一种应用于超声图像的胎儿头围测量方法，其特征在于，所述获取训练图像并进行标注处理，得到训练集这一步骤，其具体包括：
获取训练图像；
对所述训练图像进行标注处理，得到标注后的图像；
对所述标注后的图像进行双边滤波，得到去噪后的图像；
根据所述去噪后的图像，构建训练集。
3.根据权利要求2所述一种应用于超声图像的胎儿头围测量方法，其特征在于，还包括：
对所述去噪后的图像进行格式统一、数据增强和数据归一化处理。
4.根据权利要求1所述一种应用于超声图像的胎儿头围测量方法，其特征在于，所述基于V-net架构，引入注意力机制，构建分割模型这一步骤，其具体包括：
以V-net网络为基本架构；
使用卷积操作替代池化操作；
加入注意门控模块替代跳过连接模块，捕获低级空间和高级上下文特征；
引入残差模块，在每个卷积块中，使用残差机制；
构建分割模型。
5.根据权利要求4所述一种应用于超声图像的胎儿头围测量方法，其特征在于，还包括对残差模块进行调整，具体为：
在卷积块结尾处以组归一化代替批归一化。
6.根据权利要求1所述一种应用于超声图像的胎儿头围测量方法，其特征在于，所述引入深度监督策略，基于所述训练集对所述分割模型进行训练，得到训练完成的分割模型这一步骤，其具体包括：
引入深度监督策略，将五层深度监督分别采用不同倍数的上采样；
基于所述训练集，计算所述分割模型的前四个尺度的输出的Dice Loss，合并得到初步混合损失；
将所述初步混合损失与第五个尺度的输出的Dice Loss相加，得到最终混合损失；
基于最终混合损失反向更新所述分割模型的模型参数，直至达到判定条件，得到训练完成的分割模型。
7.根据权利要求6所述一种应用于超声图像的胎儿头围测量方法，其特征在于，所述初步混合损失的计算公式如下：
其中，mix_loss表示初步混合损失，β表示权重因子，lossn表示第n个尺度的Dice Loss，AreaG表示训练集中手动标注的标准区域，AreaP表示分割模型预测的分割区域。
8.根据权利要求1所述一种应用于超声图像的胎儿头围测量方法，其特征在于，还包括：
基于MIoU指标和Hausdorff距离对所述训练完成的分割模型进行性能评估。
9.一种应用于超声图像的胎儿头围测量系统，其特征在于，包括：
训练集构建单元，用于获取训练图像并进行标注处理，得到训练集；
模型构建单元，基于V-net架构，引入注意力机制，构建分割模型；
模型训练单元，引入深度监督策略，基于所述训练集对所述分割网络进行训练，得到训练完成的分割模型；
分割单元，基于所述训练完成的分割模型对超声图像进行图像分割，得到胎儿头部区域；
测量单元，基于图像深度计算对所述胎儿头部区域进行测量，得到测量结果。
10.一种应用于超声图像的胎儿头围测量装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述一种应用于超声图像的胎儿头围测量方法。
CN202311592848.3A 2023-11-27 2023-11-27 一种应用于超声图像的胎儿头围测量方法及系统 Active CN117618026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311592848.3A CN117618026B (zh) 2023-11-27 2023-11-27 一种应用于超声图像的胎儿头围测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311592848.3A CN117618026B (zh) 2023-11-27 2023-11-27 一种应用于超声图像的胎儿头围测量方法及系统

Publications (2)

Publication Number Publication Date
CN117618026A true CN117618026A (zh) 2024-03-01
CN117618026B CN117618026B (zh) 2024-07-02

Family

ID=90037000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311592848.3A Active CN117618026B (zh) 2023-11-27 2023-11-27 一种应用于超声图像的胎儿头围测量方法及系统

Country Status (1)

Country Link
CN (1) CN117618026B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110279433A (zh) * 2018-09-21 2019-09-27 四川大学华西第二医院 一种基于卷积神经网络的胎儿头围自动精确测量方法
CN110448335A (zh) * 2019-07-11 2019-11-15 暨南大学 一种基于超声图像的胎儿头围全自动测量方法和装置
CN113487581A (zh) * 2021-07-16 2021-10-08 武汉中旗生物医疗电子有限公司 胎儿头臀径自动测量方法、系统、设备及存储介质
CN114049339A (zh) * 2021-11-22 2022-02-15 江苏科技大学 一种基于卷积神经网络的胎儿小脑超声图像分割方法
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN114693693A (zh) * 2022-03-31 2022-07-01 四川大学华西医院 一种基于卷积神经网络的胎儿胼胝体超声图像分割方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN116934767A (zh) * 2023-06-19 2023-10-24 江苏科技大学 一种深度注意力网络的胎儿小脑超声图像分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110279433A (zh) * 2018-09-21 2019-09-27 四川大学华西第二医院 一种基于卷积神经网络的胎儿头围自动精确测量方法
CN110448335A (zh) * 2019-07-11 2019-11-15 暨南大学 一种基于超声图像的胎儿头围全自动测量方法和装置
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN113487581A (zh) * 2021-07-16 2021-10-08 武汉中旗生物医疗电子有限公司 胎儿头臀径自动测量方法、系统、设备及存储介质
CN114049339A (zh) * 2021-11-22 2022-02-15 江苏科技大学 一种基于卷积神经网络的胎儿小脑超声图像分割方法
CN114693693A (zh) * 2022-03-31 2022-07-01 四川大学华西医院 一种基于卷积神经网络的胎儿胼胝体超声图像分割方法
CN116934767A (zh) * 2023-06-19 2023-10-24 江苏科技大学 一种深度注意力网络的胎儿小脑超声图像分割方法

Also Published As

Publication number Publication date
CN117618026B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN110211140B (zh) 基于3D残差U-Net和加权损失函数的腹部血管分割方法
Balakrishna et al. Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN112950643B (zh) 基于特征融合深监督U-Net的新冠肺炎病灶分割方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN110826467A (zh) 一种电子显微镜图像重建系统及其方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114419020A (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN117392082A (zh) 基于全尺度跳跃连接的肝脏ct图像分割方法及系统
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN113554668B (zh) 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN117746042A (zh) 一种基于APA-UNet的肝脏肿瘤CT图像分割方法
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN117618026B (zh) 一种应用于超声图像的胎儿头围测量方法及系统
CN114418955A (zh) 冠脉斑块狭窄度检测系统及方法
CN118015012B (zh) 一种脑部mri图像脑微出血自动分割方法
CN117765532B (zh) 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant