CN116363081A - 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 - Google Patents

基于深度神经网络的胎盘植入mri征象检测分类方法及装置 Download PDF

Info

Publication number
CN116363081A
CN116363081A CN202310252466.XA CN202310252466A CN116363081A CN 116363081 A CN116363081 A CN 116363081A CN 202310252466 A CN202310252466 A CN 202310252466A CN 116363081 A CN116363081 A CN 116363081A
Authority
CN
China
Prior art keywords
mri
sign
symptom
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310252466.XA
Other languages
English (en)
Inventor
王平
罗登
颜鲲
马萌
陈练
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Peking University
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Peking University
Priority to CN202310252466.XA priority Critical patent/CN116363081A/zh
Publication of CN116363081A publication Critical patent/CN116363081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公布了一种基于深度神经网络的胎盘植入MRI征象检测分类方法及装置，包括：MRI图像预处理模块和MRI胎盘植入征象区域检测分类模块；其中MRI胎盘植入征象区域检测分类模块包括：特征提取模块、征象区域生成模块、假阳性区域消减模块和掩码生成模块。构建基于深度神经网络的胎盘植入MRI征象区域检测分类模型，针对医学MRI图像数据，通过少量的标注信息和数据处理作为模型输入，模型输出包含征象区域的三维包围框以及征象所属类别，可用于胎盘植入MRI征象区域的检测分类。本发明具备一定的扩展性，支持对征象类型的修改以及广泛的三维数据类型处理和分类检测。

Description

基于深度神经网络的胎盘植入MRI征象检测分类方法及装置
技术领域
本发明属于医疗信息技术领域，涉及医学影像处理、影像病症区域检测和分类技术，尤其涉及一种基于深度神经网络的胎盘植入性MRI征象检测分类方法及装置。
背景技术
在医学信息技术交叉领域，通常可采用超声造影或核磁共振成像方式获取医学影像，可用于进行辅助诊断。对胎盘植入性MRI征象进行评估，现有工作包括采用基于MRI征象的评分模型，用于对侵袭性胎盘植入和不良结局风险评估((陈练等,基于MRI征象的评分模型预测侵袭性胎盘植入和不良临床结局的价值[J].中华围产医学杂志,24(01):32-39.2021)。但是，目前基于核磁影像的评估技术依赖资深影像学医师的专业知识，难以实现高效地处理日益增长的大规模影像数据。
近期有一些工作通过对影像中的胎盘区域人工勾画，使用影像组学(Radiomics)技术对胎盘植入导致的出血量进行预测(QINGXIA WU等,Radiomics analysis ofplacenta on T2WI facilitates prediction of postpartum haemorrhage:Amulticentre study[J/OL].EBioMedicine,50:355-365.2019)。但是，该方法采取人工标注影像中的胎盘器官区域的方式，效率较低；且所提取的影像的低阶特征，通过线性模型得到预测结果，表征能力有限。还有工作采用了自动化流程进行影像处理和区域预测，首先人工勾画部分病例的胎盘区域，通过nnU-Net模型(ISENSEE JAEGER等,nnU-Net:a self-configuring method for deep learning-based biomedical image segmentation[J/OL].Nature Methods,18(2):203-211.
https://doi.org/10.1038/s41592-020-01008-z，2021)对影像器官区域进行分割；然后基于此构建影像组学预测模型，可以实现预测过程自动化，但是该工作的预测效果还有待提升。
近年来，计算机辅助医学技术领域中，基于深度卷积神经网络的图像处理方法，可利用海量影像数据，在特征提取、病灶区域检测等方向产生了许多应用。但是，目前尚没有能够自动提取胎盘植入MRI征象并进行分类的相关模型和方法。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于深度神经网络的胎盘植入MRI征象检测分类方法及其装置，包含征象预测模型构建、模型训练和模型预测技术，针对医学MRI图像数据，构建的基于深度神经网络的胎盘植入MRI征象区域检测分类模型通过少量的标注信息和简单的数据处理，模型输出包含征象区域的三维包围框以及征象所属类别，可用于胎盘植入MRI征象区域的检测分类。本发明具备一定的扩展性，支持对征象类型的修改以及广泛的三维数据类型。
本发明的技术方案如下：
一种基于深度神经网络的胎盘植入MRI征象区域检测分类方法，主要包括数据预处理，模型预测和预测结果后处理3个部分。构建基于深度神经网络的胎盘植入MRI征象区域检测分类，模型输入为预处理后的三维MRI图像，通过多层卷积神经网络构成的编码器和解码器，得到包含多尺度信息的特征；再经过多个预测模块得到征象区域预测包围框和征象类别信息；本发明方法主要包括如下步骤：
A对MRI图像进行预处理，作为模型输入；
预处理包括灰度值归一化、裁剪等操作，设置图像尺寸，且确保模型输入的图像尺寸为(1,24,128,128)(四元组分别表示：通道数，深度，高度和宽度)；
构建并训练基于深度神经网络的胎盘植入MRI征象区域检测分类模型，模型由四个主要模块构成，分别是：特征提取模块、征象区域生成模块、假阳性区域消减模块和掩码生成模块；其中征象区域生成模块、假阳性区域消减模块和掩码生成模块为预测模块。
特征提取模块的结构包括：一个基本卷积块(包含两个卷积层，记为C1)、三个最大池化层、七个带有通道注意力机制的残差卷积块(分别记为C2～C8)、三次拼接操作和三个转置卷积层。该模块的功能是实现对输入图像特征的提取和组合，得到高质量的征象特征作为其他模块的输入。将特征提取模块中对输入图像进行下采样的部分称为编码器部分(包括C1～C4卷积块和最大池化层)，对下采样后的特征进行尺寸恢复的部分称为解码器部分(包括C5～C8卷积块和转置卷积层)。
征象区域生成模块的结构包括：两个1×1卷积操作，对输入特征分别产生征象区域包围框坐标和长度预测，以及置信度预测。
假阳性区域消减模块的结构包括：一个特征图裁剪操作，兴趣区域池化层和两个并行的全连接层。兴趣区域池化层能够将不同空间形状的特征池化为相同形状，通过全连接层后产生预测征象的类别信息和对区域包围框的位置微调。
掩码生成模块的结构包括：三次特征裁剪操作，两个上采样层和两次特征拼接操作，以及最后连接的Sigmoid激活层。
模型构建并训练包括步骤B～E：
B构建MRI图像特征提取模块，提取得到胎盘植入MRI征象特征或称特征图；
本发明中，卷积神经网络主要用于提取图像特征，并对特征进行组合，产生高级语义特征。低层级特征主要是指图像纹理、角点等特征，高层级特征是指具备一定视觉含义的特征，如各种征象表示。模型训练时，输入数据通过MRI图像特征提取模块，其中基本卷积块C1提取得到图像中的低层级特征。之后通过七个带有通道注意力的残差卷积块，分别记为C2～C8，对图像特征进行组合，从而产生高层级的特征，作为后续预测模块的输入。该模块中还使用了拼接操作和转置卷积层，将不同层级的特征进行融合，达到更好的表征效果；
C构建并训练征象区域生成模块，以胎盘植入MRI征象特征为输入，获取3D包围框征象区域及对应的置信度；
征象区域生成模块以上述MRI图像特征提取模块提取得到的胎盘植入MRI征象特征图作为输入，通过两个1×1卷积操作，在输入特征的每个位置生成出6个3D包围框以及其对应的置信度，每个3D包围框由中心点坐标和长宽高6个数字表示；
D构建并训练假阳性区域消减模块，对征象区域的类别进行分类预测，并抑制掉非征象区域，还可对包围框位置和大小进行微调；
假阳性区域消减模块对上述包围框区域进一步分类，减少假阳性征象预测。具体是将上述包围框视为感兴趣区域，在较低层级的特征图(即残差卷积块C2的输出特征图)上进行裁剪，并通过兴趣区域池化(RoI Pooling)操作使其大小一致，作为全连接层的输入。在该部分对包含征象区域的包围框(也称为前景包围框)进行分类，得出所属的征象类别，并对包围框坐标和长宽高信息进行微调，得到修正后包围框；
E构建并训练掩码生成模块，通过多次上采样和拼接操作，对输入包围框内的征象形状进行分割，输出征象掩码；
为进一步提升检测精度，引入征象区域内部的灰度、形状等信息，通过图像分割的方式进行训练。掩码生成模块将修正后包围框在低层级特征(C1模块的输出特征)和输入的MRI图像上裁剪出对应区域，以原始图像像素为目标监督掩码生成模块训练。掩码生成模块利用裁剪后的特征图作为输入，产生出征象的形状掩码预测，并基于掩码产生更准确的包围框信息。
F利用训练好的胎盘植入MRI征象区域检测分类模型，输入待检测的MRI图像进行分类预测，得到胎盘植入MRI征象区域类别。
进一步，步骤A具体为：
1)遍历整个数据集中的每一个MRI图像Ii，读取医学影像DICOM格式文件中的窗宽窗位信息，记为ci和wi，对MRI图像进行灰度归一化操作；对MRI图像训练数据进行人工标注，标注包括通过包围框标注出征象区域，或通过轮廓勾画出征象形状；
2)遍历训练图像集标注，对标注包围框的位置和尺寸(即中心点坐标(z，y，x)和(d，h，w)深度、长度、宽度信息)进行分析，计算标注包围框的位置和尺寸的中位数和方差统计量；
3)通过高斯加权采样在原始图像上进行随机裁剪操作，裁剪尺寸范围为目标尺寸的0.8到1.2倍，然后进行缩放操作到目标尺寸。并且以50％的概率对裁剪后的数据区域进行水平或竖直方向的翻转。这里的目标尺寸是(1,24,128,128)，不足区域通过填充补齐。对包围框标注进行相同的操作，该步骤的目的是增广数据集，提高模型泛化能力。
进一步，步骤B具体为：
1)首先通过一个基本卷积块，由两次卷积操作以及紧随的批归一化和非线性激活层构成，该阶段提取图像中较低层级的基础特征。特征图尺寸变成(24,24,64,64)；
2)接着通过三个带有通道注意力的残差卷积块，分别标识为C2,C3,C4。每个模块由三个残差层构成。残差层中包含通道注意力机制，在通道维度对输入特征进行加权处理，以提升模型的特征组合和表征能力。
3)通过两次转置卷积操作进行上采样，并与编码器得到的中间特征进行拼接，得到包含多尺度信息的特征图，尺寸为(128,12,32,32)。
进一步，步骤C具体为：
1)基于此特征图通过两个1×1卷积操作，在每个点产生出表示预测包围框的坐标和长宽高信息，以及该包围框包含征象区域的置信度；本步骤只计算包围框是否包含征象，在步骤D中对包围框征象进一步进行分类。
2)模型训练的监督信息由预定义锚点框给出，图4展示了锚点框生成机制。具体实施时根据数据标注的分布情况设定为大小为(5,10,20,30,40,50)的六个立方体，以覆盖不同尺寸的核磁图像病症征象。依据与真实包围框的交并比情况为锚点框赋值，从而将检测问题转化为分类和回归问题；
3)对预测偏移量进行解码操作，并根据置信度抑制掉冗余框(非极大值抑制)，得出质量较高的包围框。
进一步，步骤D具体为：
1)以步骤C中产生的预测包围框作为输入，在C2之后的特征图上进行裁剪操作，由于裁剪后的特征图尺寸大小不同，使用感兴趣区域池化操作，得到固定大小的特征图，作为全连接层的输入；
2)两个全连接层根据特征输入对裁剪到的特征图进一步分类操作，该步骤下的分类阈值设定更严格，并且需要对每个包围框前景所属的具体类别给出分类；
3)该步骤可能面临样本不平衡问题，通过在线难样本挖掘技术，对样本的损失函数进行排序，将对难样本重点学习，以提高网络判别能力；
4)将该步骤得到的包围框与步骤B中的包围框的置信度取平均，得到修正后的包围框。
进一步，步骤E具体为：
1)以步骤D中得到的修正后的包围框作为输入，分别在深层特征(C8之后)、浅层特征(C1之后)和输入图像上进行裁剪操作，提取出对应区域中的特征图；
2)使用U-Net模型结构中提到的逐步上采样操作，将上述不同尺度的特征进行拼接融合处理，并逐步得到原始图像大小的输出；
3)使用原始图像的对应区域的掩码作为目标指导模型训练。如果包含人工标注的掩码信息，则利用掩码信息作为监督信号；若并未提供标注掩码信息，则将包围框所有像素均视为正样本像素，优化模型训练。因此该模型能够利用部分标注信息进行指导模型训练；
4)该步骤可以输出植入征象的掩码，包含形状信息。并且可基于此掩码的外接长方体得出更加紧致的预测包围框；
具体实施时，本发明实现了一种核磁影像胎盘植入征象检测分类装置，包括：MRI图像预处理模块、MRI胎盘植入征象区域检测分类模型模块；其中MRI胎盘植入征象区域检测分类模型模块包括：特征提取模块、征象区域生成模块、假阳性区域消减模块和掩码生成模块。其中特征提取模块主要由卷积层、归一化层和激活层构成，是模型参数的主体部分，其作用是从输入影像数据中提取特征信息。征象区域生成模块在输入特征的基础上产生大量3D包围框，以及包围框中包含征象区域的置信度。将置信度较高的包围框和对应区域的影像特征输入假阳性消减模块和掩码生成模块。假阳性消减模块对征象类别进一步预测，并抑制掉非征象区域，该模块还可以对包围框位置和大小进行微调。掩码生成模块通过多次上采样和拼接操作，对输入包围框内的征象形状进行分割，输出征象掩码。本发明提供的装置能够根据输入胎盘MRI图像，预测所包含的与胎盘植入相关的征象区域，为胎盘植入诊断提供自动化辅助。
与现有技术相比，本发明的有益技术效果：
本发明提供一种基于深度神经网络的胎盘植入MRI征象检测分类方法及其装置，通过构建基于深度卷积神经网络和高效通道注意力的核磁影像病症检测模型，基于多任务学习和多阶段集成预测，实现对胎盘植入性MRI征象三维区域的检测分类。
具体实施实现了核磁影像胎盘植入征象检测分类装置，包括：MRI图像预处理模块、MRI胎盘植入征象区域检测分类模型模块；，针对医学MRI图像数据，通过征象预测模型构建、模型训练和模型预测技术，采用少量的标注信息和简单的数据处理，输出包含征象区域的三维包围框以及征象所属类别，可用于胎盘植入MRI征象区域的检测分类，可进一步辅助疾病诊断。本发明具备一定的扩展性，支持对征象类型的修改以及对广泛的三维应用数据类型的处理和分类检测。
附图说明
图1是本发明的整体模型框架和预测流程示意图；
其中，模型输入为预处理后的三维MRI图像，通过多层卷积神经网络构成的编码器和解码器，得到包含多尺度信息的特征；经过多个预测模块得到征象区域预测包围框和征象类别信息。图中标有数字的立方体为输入图像或特征图，数字代表其在模型运行过程中的形状信息，左侧数字表示深度，左下数字表示长宽，右上数字表示通道数；若左侧未标注深度，则表示深度与长宽相等。
图2是本发明所使用的高效通道注意力模块的构成和实现示意图。
图3是本发明中残差卷积模块的结构和运行方式。
图4是本发明中模型监督信息的三维锚点框生成示意图；
其中，根据数据标注分布情况，设置在每个点产生出6个不同尺度的包围框，从而尽可能覆盖到所有的病症区域，避免漏检。
具体实施方式
下面结合附图，通过实例对本发明的具体实施方式做进一步的说明：
本发明提供一种基于深度神经网络的胎盘植入MRI征象检测分类方法及装置，利用深度学习方法对MRI图像中的关键征象区域进行检测和分类，能够提供较好的可解释性和应用价值，并可提高效率和提升准确度。
图1所示为本发明的整体模型框架和分类预测流程，本发明提供的基于深度神经网络的核磁影像区域检测分类方法可用于胎盘植入性MRI图像征象区域检测和分类，具体实施包括如下步骤：
(一)对MRI图像进行预处理；
遍历整个数据集中的每一个MRI图像Ii，读取医学影像数据DICOM格式文件中的窗宽窗位信息，记为ci和wi，对MRI图像进行灰度归一化操作。由于MRI图像灰度范围广阔，超过了人眼所能查看的范围，窗宽窗位则表明了查看当前图像时医生使用的灰度范围。将超过该灰度范围的灰度进行裁剪操作，对剩余灰度值归一化。胎盘核磁扫描图像通常尺寸为512×512，帧数在30到80左右，直接将原始尺寸的图像输入模型是不可取的，并且核磁扫描图像中也存在许多非器官区域。实际上病症区域的分布是相对集中的。对MRI图像训练数据进行人工标注，标注信息包括通过包围框标注出征象区域，或通过轮廓勾画出征象形状。
遍历MRI图像训练集的标注，根据所有标注包围框的中心点坐标信息(z，y，x)和包围框的深度、长度、宽度(d，h，w)信息，计算中位数和方差，作为高斯加权采样的均值和方差。在原始图像上进行随机裁剪操作，裁剪尺寸范围为目标尺寸的0.8到1.2倍，然后缩放到目标尺寸。对裁剪得到的数据区域以一定概率(如50％)进行水平或竖直方向的翻转，以增强图像。从输入图像中裁剪区域的目标尺寸采用(1,24,128,128)作为模型输入，能够覆盖大多数病症区域和周围的器官背景，不足区域通过填充补齐。同样，对包围框标注进行同样的随机裁剪、缩放、翻转等几何变换操作。这样能够有效扩充训练数据集(500倍左右)，提高模型泛化能力。
(二)构建图像征象区域检测分类模型，包括：特征提取模块、征象区域生成模块、假阳性区域消减模块和掩码生成模块；
首先是从预处理后的MRI图像到征象区域包围框的整体过程。实例数据为裁剪并增强后得到形状为(1,24,128,128)的图像。整体流程中的所有图像和中间特征的形状都使用上述四元组表示，代表通道数，深度，高度和宽度。输入图像首先通过一个由两层卷积构成的基本卷积块，每个卷积层操作后都紧随着一个批归一化和非线性激活层，该阶段提取图像中较低层级的基础特征。特征图尺寸变成(24,24,64,64)，这里通过在长和宽维度上对模型进行了下采样，但是深度维度上保持不变，并且将通道数量提升到24，以保证包含丰富的语义信息。之后通过由残差层构成的残差卷积块，结构如图2所示。残差卷积块不改变数据的尺寸大小，而是对通道维度进行调整。通过引入残差连接，能够缓解训练时梯度消失问题，增强表征能力。本发明使用的通道注意力模块则是在输入特征的通道维度进行加权，动态筛选出具有表征能力的通道特征，使用了一维卷积计算通道位置权重。避免了其他注意力机制中的维度缩减操作，因此有着更好的表征能力，并且一维卷积的计算效率很高。其卷积核的大小由输入的通道数决定，通过公式(1)给出。公式(1)的基本思想是确保卷积核大小k随输入通道数C单调增加。由于通道数C通常是2的次幂，因此这里使用log2进行处理。
Figure BDA0004128303730000081
其中，k为聚合通道特征的一维卷积核大小；C为输入特征通道数；log2表示底为2的对数操作；γ和b超参数，控制递增的幅度和截距；函数|·|odd表示取最相近的一个奇数。
残差卷积块之后通过最大池化操作降采样处理，将输入空间尺度降采样为输入的1/2。因此，通过编码器部分后的特征图大小为(64,3,8,8)。之后，再通过由转置卷积和残差卷积块构成的解码器部分。转置卷积可以视为卷积操作的逆操作，通过设定合适大小的步长，能够将特征图尺寸变大，实现上采样操作。这里还通过跳层连接，将编码器层的部分中间特征引入解码器，通过拼接操作组合在一起，再通过残差卷积块进行融合，使得特征图具备不同层级的语义信息。在通过两次上采样操作后，得到的特征图大小为(128,24,32,32)。
输入特征图通过两个1×1卷积操作，在特征图的每个位置生出6个包围框向量和对应的置信度标量。包围框向量由(z，y，x，d，h，w)构成，分别表示包围框(预测框)的中心点坐标和深度、长度、宽度偏移信息。因此，在本阶段征象区域生成模块预测产生共24×32×32×6＝147,456个包围框向量和置信度。征象区域生成的监督信息来自于预定义锚点框，其产生方式为：通过滑动窗口的方式，对特征图中的每个位置都产生了6个不同尺寸的立方体框，记为锚点框，并根据其与真实框的交并比进行赋值。将交并比大于0.5的设置为前景包围框，并标注对应的类别信息和回归目标，从而监督模型训练。这里监督模型训练的回归目标是中心点坐标(z，y，x)和深度、长度、宽度(d，h，w)的偏移量，其定义见公式(2)：
Figure BDA0004128303730000091
其中t.*表示网络需要预测的目标值，za，ya，xa，da，ha，wa分别表示当前锚点框的中心坐标和深度、长度、宽度，z，y，x，d，h，w表示与该锚点框匹配的真实框的中心坐标和深度、长度、宽度。目标值通过差值和取对数方式进行处理，可以使得网络更容易学习，训练也更加稳定。最后，根据预测包围框的置信度排序，抑制掉重叠部分较多的冗余框，该过程称为非极大值抑制，从而得出质量较高的包围框(预测框)。但是得到的包围框数量依然很大，在500到1000左右，并且存在大量假阳性区域，因此还需要假阳性区域消减模块行精调优化。
将此时得到的预测框作为输入，在较低层级的特征(C2模块的输出特征)上进行裁剪，并使用感兴趣区域池化操作(RoI Pooling)将裁剪后的包围框归一化到固定大小，以作为全连接分类层的输入。例如输入的包围框为(6,20,23)，RoI Pooling操作后将得到固定大小(例如(3,7,7))的输入。该模块需要对裁剪出来的区域进一步分类，给出对应的病症类别，并结合调整对应的置信度和回归偏移量信息。由于这里对目标锚点框设置了更高的阈值，因此质量更高，能够消减掉大量假阳性样本。最后将该步骤得到的包围框与输入的包围框的置信度取平均，得到修正后的预测框。在低层级特征上进行裁剪和分类操作的原因，也是确保该部分得出的结果与原始分支的结果不同，从而为征象预测带来更好的效果。
使用修正后的预测框，分别在深层特征(C8模块的输出)、浅层特征(C1模块的输出)和输入图像上进行裁剪操作，提取出对应区域中的特征图。然后再通过三次插值逐步上采样，将上述不同尺度的特征进行拼接融合处理，以得到与原始图像大小相同的输出。如果该样本包含人工标注的掩码信息，则利用掩码信息作为监督信号，辅助模型训练。若并未提供标注掩码信息，则将包围框所有像素均视为正样本像素。因此该模型能够利用部分标注信息进行指导模型训练。该阶段可输出植入征象的掩码，包含形状、体积等信息。最后可基于此掩码的外接长方体得出更加紧致的预测包围框；
(三)模型训练
给定输入标注，模型需要通过计算损失函数，并通过梯度反向传播的方式优化模型参数，该过程即为模型训练。本发明的模型中三个预测模块均共享特征提取模块产生的图像特征，并优化其中的参数，因此总体损失函数由各个模块的损失函数构成，见公式(3)。其中Lrpn、Lfpr和Lmask分别表示征象区域生成模块、假阳性区域消减分支和掩码生成分支的损失函数。
L＝Lrpn+Lfpr+Lmask (3)
其中，征象区域生成损失Lrpn和假阳性消减损失Lfpr采用相同的计算函数，共由两部分构成，分别是分类损失Lcls和回归损失Lreg。分类损失采用的是交叉熵，回归损失使用的是Smooth-L1损失函数。分别见公式(4)(5)(6)：
Figure BDA0004128303730000101
Figure BDA0004128303730000102
Figure BDA0004128303730000103
其中，pi和
Figure BDA0004128303730000107
分别表示第i个预测框的真实标注和预测概率，ti和/>
Figure BDA0004128303730000106
分别表示第i个回归项(回归偏移量)的真实值和预测值；Ncls和Lreg分别表示参与计算的分类项和回归项的总数。在本发明中，Ncls是预测框的数量，由于每个预测框包含6个回归项表示坐标信息，Lreg是Ncls的6倍。λ是用来控制分类和回归损失占总体损失权重的项。
对于掩码生成模块分支，使用的损失函数是Soft Dice损失，计算方式见公式(7)、(8)。
Figure BDA0004128303730000104
Figure BDA0004128303730000105
其中，D(mi，gi)表示对每一个预测掩码和真实掩码进行Soft Dice计算，表示两个掩码的相似程度。mi和gi表示第i个预测掩码和真实掩码。mij和gij分别表示mi和gi中的第j个位置的预测值和真实值，对应位置相同则分子部分为1，总体值越大，反之值越小。N代表的是预测包围框个数，Nv代表包围框内体素个数。本发明中，公式(8)对现有的Soft Dice损失计算过程进行了改进，本发明使用了两个参数α和β是用来调控预测值与真实值匹配时假阳性和真阳性占比，使模型更容易训练。
上述损失函数衡量了模型预测结果与真实标注的一致性程度，若一致性越高，则损失函数越小。模型的训练目标是优化模型内各模块的参数，以最小化损失函数的值。为了最小化损失函数，模型的训练方式是从该损失函数开始，逐层向输入部分的各个模块计算损失对参数的梯度信息，该步骤称为梯度反向传播。并使用梯度信息更新参数，称为参数更新。训练过程即为上述损失计算、梯度反向传播和梯度更新过程的多次重复，直至模型达到目标训练轮次，并且输出的预测结果与标注数据有较好的一致性。此外，由于本发明中的模型采用了多分支结构，不同分支的任务难度不同，且存在一定的级联关系，故在训练过程中，先训练候选区域生成分支，后训练假阳性区域消减分支，最后训练掩码区域生成分支，从而确保模型能持续产生高质量的预测结果。
(四)模型预测
模型训练完毕后，可以将模型参数固定，进入推理预测过程。对于输入任意大小的数据，如果将其强行缩放到模型训练时要求的目标大小，本例中为(1,24,128,128)，或随机裁剪出对应大小区域作为模型输入，均不能取得最好的预测效果。为了避免漏检，最大程度提升病症区域检测效果，本发明对于输入数据，采用滑动窗口的方式进行裁剪，裁剪出目标大小的输入数据，每次滑动的窗口间重叠(2,16,16)个体素。将裁剪后的数据输入模型，并对多次的预测结果进行汇总，并使用非极大值抑制消除重叠框或冗余框，从而确保预测效果是最优的。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，构建基于深度神经网络的胎盘植入MRI征象区域检测分类模型；针对医学MRI图像数据，通过数据预处理，输入预处理后的MRI图像，通过检测分类模型的多层卷积神经网络进行特征提取，得到包含多尺度信息的胎盘植入MRI征象特征；再经过检测分类模型的多个预测模块输出包含征象区域的三维包围框及征象所属类别；包括如下步骤：
1)对MRI图像进行预处理，将图像尺寸表示为四元组(通道数，深度，高度和宽度)，并设置图像尺寸；
2)构建并训练基于深度神经网络的胎盘植入MRI征象区域检测分类模型；模型包括：特征提取模块和MRI征象区域预测模块；MRI征象区域预测模块包括征象区域生成模块、假阳性区域消减模块和掩码生成模块；
特征提取模块用于对输入图像特征进行提取和组合，得到征象特征；模块结构包括：基本卷积块、最大池化层、带有通道注意力机制的残差卷积块和转置卷积层；
征象区域生成模块用于通过卷积操作，对输入的征象特征分别预测产生征象区域包围框信息，包括征象区域包围框的坐标、长度，以及置信度；
假阳性区域消减模块用于对征象区域的类别进行分类预测，并抑制掉非征象区域；还可对包围框位置和大小进行微调；模块结构包括：兴趣区域池化层和两个并行的全连接层；
掩码生成模块通过多次上采样和拼接操作，对输入包围框内的征象形状进行分割，输出征象掩码；包括：上采样层和激活层；
模型训练使用的总损失函数由征象区域生成损失、假阳性区域消减损失和掩码生成损失函数组成；其中，征象区域生成损失和假阳性消减损失均包括分类损失和回归损失；掩码生成损失基于Soft Dice损失函数进行计算；经模型训练得到训练好的胎盘植入MRI征象区域检测分类模型；
3)利用训练好的胎盘植入MRI征象区域检测分类模型，输入待检测的MRI图像，进行分类预测，得到胎盘植入MRI征象区域类别。
2.如权利要求1所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，对MRI图像进行预处理具体包括：
11)遍历数据集中的每一个MRI图像，读取医学影像DICOM格式文件中的窗宽窗位信息，对MRI图像进行灰度归一化；对MRI训练图像进行人工标注，包括标注包围框、对应征象区域或征象形状；
12)遍历训练集标注，根据标注包围框的位置进行分析，计算中位数和方差；包围框的位置包括中心点坐标和深度、长度、宽度信息；
13)通过高斯加权采样对图像进行随机裁剪，裁剪尺寸范围为目标尺寸的0.8到1.2倍，然后进行缩放到目标尺寸；并以设定概率对裁剪后的数据区域进行水平或竖直方向的翻转；不足区域通过填充补齐；对包围框标注进行相同的操作，以增广训练数据集。
3.如权利要求1所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，步骤1)对MRI图像进行预处理，图像尺寸表示为四元组(通道数，深度，高度和宽度)；模型输入图像的目标尺寸设置为(1,24,128,128)。
4.如权利要求1所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，特征提取模块的结构包括：一个包含两个卷积层的基本卷积块，记为C1；三个最大池化层、七个带有通道注意力机制的残差卷积块，分别记为C2～C8；三个转置卷积层；特征提取模块还包括三次拼接操作。
5.如权利要求4所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，模型训练时，输入图像通过MRI图像特征提取模块，其中基本卷积块提取得到图像中的低层级特征；之后通过七个带有通道注意力机制的残差卷积块，对图像特征进行组合，由此产生高层级特征；再通过拼接操作和转置卷积层，将特征进行融合。
6.如权利要求4所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，训练征象区域生成模块是以胎盘植入MRI征象特征为输入特征，通过两个1×1卷积操作，获取3D包围框征象区域及对应的置信度；具体是在输入特征的每个位置生成六个3D包围框及其对应的置信度；所述3D包围框采用中心点坐标和长宽高数据表示。
7.如权利要求6所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，通过假阳性区域消减模块对包围框区域进一步分类；具体是将征象区域生成模块得到的包围框视为感兴趣区域，在残差卷积块C2的输出特征图上进行裁剪，并通过兴趣区域池化操作使得大小一致，作为全连接层的输入；对包含征象区域的包围框进行分类，得出所属的征象类别，并对包围框坐标和长宽高信息进行微调，得到修正后包围框。
8.如权利要求6所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，掩码生成模块的激活层采用Sigmoid激活层；通过掩码生成模块将修正后包围框在C1模块输出特征和输入MRI图像上裁剪出对应区域，产生出征象的形状掩码预测，并基于征象的形状掩码预测来优化包围框信息。
9.如权利要求1所述基于深度神经网络的胎盘植入MRI征象检测分类方法，其特征是，模型训练中，征象区域生成损失和假阳性消减损失中的分类损失采用交叉熵，回归损失采用Smooth-L1损失函数；掩码生成损失具体是基于改进的Soft Dice损失函数计算掩码生成损失Lmask，表示为式(7)、(8)：
Figure FDA0004128303720000031
Figure FDA0004128303720000032
其中，D(mi，gi)表示对每一个预测掩码和真实掩码进行Soft Dice计算的两个掩码的相似程度；mi和gi表示第i个预测掩码和真实掩码；mij和gij分别表示mi和gi中的第j个位置的预测值和真实值；N代表预测包围框个数，Nv代表包围框内体素个数；参数α和β为调控预测值与真实值匹配时假阳性和真阳性占比的参数。
10.一种基于深度神经网络的核磁影像胎盘植入征象检测分类装置，其特征是，包括：MRI图像预处理模块和MRI胎盘植入征象区域检测分类模块；其中MRI胎盘植入征象区域检测分类模块包括：特征提取模块、征象区域生成模块、假阳性区域消减模块和掩码生成模块；
所述特征提取模块包括卷积层、归一化层和激活层，用于从输入影像数据中提取MRI胎盘植入征象特征信息；
所述征象区域生成模块用于根据输入MRI胎盘植入征象特征产生大量3D包围框，以及包围框中包含征象区域的置信度；并将置信度高的包围框和对应区域的影像特征输入假阳性消减模块和掩码生成模块；
所述假阳性消减模块对征象类别进一步预测，并抑制非征象区域，还可对包围框位置和大小进行微调；
所述掩码生成模块用于对输入包围框内的征象形状，通过多次上采样和拼接进行分割，输出征象掩码，即得到与胎盘植入相关的征象区域。
CN202310252466.XA 2023-03-16 2023-03-16 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 Pending CN116363081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310252466.XA CN116363081A (zh) 2023-03-16 2023-03-16 基于深度神经网络的胎盘植入mri征象检测分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310252466.XA CN116363081A (zh) 2023-03-16 2023-03-16 基于深度神经网络的胎盘植入mri征象检测分类方法及装置

Publications (1)

Publication Number Publication Date
CN116363081A true CN116363081A (zh) 2023-06-30

Family

ID=86912937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310252466.XA Pending CN116363081A (zh) 2023-03-16 2023-03-16 基于深度神经网络的胎盘植入mri征象检测分类方法及装置

Country Status (1)

Country Link
CN (1) CN116363081A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153343A (zh) * 2023-08-16 2023-12-01 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN117671284A (zh) * 2023-12-06 2024-03-08 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153343A (zh) * 2023-08-16 2023-12-01 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN117153343B (zh) * 2023-08-16 2024-04-05 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN117671284A (zh) * 2023-12-06 2024-03-08 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统
CN117671284B (zh) * 2023-12-06 2024-04-30 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN110705555B (zh) 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
Li et al. Connection sensitive attention U-NET for accurate retinal vessel segmentation
CN111814741B (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN116363081A (zh) 基于深度神经网络的胎盘植入mri征象检测分类方法及装置
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN112163599B (zh) 一种基于多尺度多层次融合的图像分类方法
CN112734748B (zh) 一种肝胆管及胆道结石的图像分割系统
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
CN116884623B (zh) 基于激光扫描成像的医疗康复预测系统
CN112381762A (zh) 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN115063435A (zh) 基于多尺度类间的肿瘤及周围器官的分割方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115457057A (zh) 一种采用深监督策略的多尺度特征融合腺体分割方法
Wang et al. SERR-U-Net: squeeze-and-excitation residual and recurrent block-based U-Net for automatic vessel segmentation in retinal image
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN115953345B (zh) 脑出血医学图像的病变合成方法、装置及存储介质
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination