CN109658377B - 一种基于多维度信息融合的乳腺mri病变区域检测方法 - Google Patents

一种基于多维度信息融合的乳腺mri病变区域检测方法 Download PDF

Info

Publication number
CN109658377B
CN109658377B CN201811293868.XA CN201811293868A CN109658377B CN 109658377 B CN109658377 B CN 109658377B CN 201811293868 A CN201811293868 A CN 201811293868A CN 109658377 B CN109658377 B CN 109658377B
Authority
CN
China
Prior art keywords
images
neural network
image
lesion
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811293868.XA
Other languages
English (en)
Other versions
CN109658377A (zh
Inventor
陈小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taige Maidi Beijing Medical Technology Co ltd
Original Assignee
Taige Maidi Beijing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taige Maidi Beijing Medical Technology Co ltd filed Critical Taige Maidi Beijing Medical Technology Co ltd
Priority to CN201811293868.XA priority Critical patent/CN109658377B/zh
Publication of CN109658377A publication Critical patent/CN109658377A/zh
Application granted granted Critical
Publication of CN109658377B publication Critical patent/CN109658377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Abstract

本发明公开一种基于多维度信息融合的乳腺MRI病变区域检测方法，包括：采用卷积神经网络，对预设图像进行特征学习，使卷积神经网络学习到预设图像中病变区域和正常组织之间的差异；获取待检测的乳腺MRI图像，其包括：同一期连续断层图像和同一断层不同期图像；根据训练后的卷积神经网络，对同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；采用循环神经网络，对同一断层不同期图像进行编码，获取同一断层不同期图像的信号强度与病变类型之间的相关信息；将一个以上候选窗口映射到相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。本发明提供的技术方案，能够更加准确地对乳腺中的病变区域进行检测。

Description

一种基于多维度信息融合的乳腺MRI病变区域检测方法
技术领域
本发明涉及磁共振成像技术领域，尤其涉及一种基于多维度信息融合的乳腺MRI病变区域检测方法。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)技术是利用氢质子的核磁共振现象进行成像的一种技术。随着磁共振成像技术近年来不断成熟，其在乳腺疾病诊断中的重要性日益增加。乳腺磁共振技术对乳房病灶性质的进一步判断较为敏感，不仅对于病变的良恶性可以做进一步的判断，同时可以帮助医生识别病灶是否多发。特别的，乳腺磁共振技术在往病人体内注入造影剂后，根据造影剂在不同组织随着时间信号强度的变化，可以对病变的良恶性做出更加准确地判断。
目标检测是计算机自动识别图像中不同的物体内容，属于图像分析领域的基础任务之一。目标检测在只给定一张图像的情况下，不依赖于其他信息，仅通过计算机，将图像中的目标通过算法检出。医疗图像的目标检测，是针对于特定的医疗图像，例如影像图片、病理图片等进行病变目标检测。医疗图像的目标检测，通过计算机自动的图像分析处理，不仅能快速完成医疗图像的病变检测任务，还能进一步提高对病变区域检测的敏感度和特异度。
迄今为止，研究者在目标检测领域提出了很多有效的方法，特别是基于深度学习的较多算法在自然图像目标检测中取得了很好的效果。根据算法的特点，基于深度学习的目标检测算法可以分成两个类别：1、基于候选区域的方法，例如RCNN、Fast RCNN、FasterRCNN等算法，该类方法基于两个步骤：首先算法生成大量的可能为目标区域的候选窗口；其次通过学习分类器，对上述候选窗口进行判别，得到最后的目标窗口和可能区域。2、基于回归的方法，例如YOLO、SSD。这类方法直接对稠密的规则产生的窗口进行单个步骤的检测，在保持较高检测精度的同时，能够非常快速地得到检测结果。
在乳腺磁共振图像目标识别中，因为标注数据的匮乏以及磁共振图像与自然图像之间的差异性，直接利用自然图像的目标检测算法不能得到一个优异的结果。目前结果较好的方法是利用显著性检测对乳腺磁共振图像进行初步的分析处理，然后再进一步的利用深度网络对显著性检测得到的候选区域进行分类判断，这种方法在肿块检测中得到了较好的结果。但是，乳腺中有一部分病变区域的图像特征在单张影像图片中与正常的组织(例如，血管断面)具有较高的相似度，采用上述现有技术很难将它们进行有效区分。并且，现有的显著性检测在提取候选窗口时，对于病变区域的特征表达不全面，容易造成病变区域目标检测召回率不高。以上问题均导致对于乳腺磁共振图像的病变区域检测结果不准确。
发明内容
本发明旨在提供一种基于多维度信息融合的乳腺MRI病变区域检测方法，能够更加准确地对乳腺中的病变区域进行检测。
为达到上述目的，本发明采用的技术方案如下：
一种基于多维度信息融合的乳腺MRI病变区域检测方法，包括：采用卷积神经网络，对预设图像进行特征学习，使所述卷积神经网络学习到所述预设图像中病变区域和正常组织之间的差异，获取训练后的卷积神经网络；获取待检测的乳腺MRI图像，所述待检测的乳腺MRI图像包括：同一期连续断层图像和同一断层不同期图像；根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；采用循环神经网络，对所述同一断层不同期图像进行编码，获取所述同一断层不同期图像的信号强度与病变类型之间的相关信息；将所述一个以上候选窗口映射到所述相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。
优选地，所述训练后的卷积神经网络为RPN网络。
优选地，所述根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取的方法为：将所述同一期连续断层图像构成多通道序列作为所述RPN网络的输入；所述同一期连续断层图像小于7层。
优选地，所述循环神经网络为长短时记忆网络。
优选地，所述同一断层不同期图像包括：同一断层未注入造影剂时的图像，同一断层注入造影剂后不同时间点的图像。
优选地，通过感兴趣区域映射，将所述一个以上候选窗口映射到所述相关信息中。
本发明实施例提供的基于多维度信息融合的乳腺MRI病变区域检测方法，采用训练后的卷积神经网络对待检测的乳腺MRI图像中同一期连续断层图像进行病变区域选取，融合了不同断层的图像信息，使病变目标检测参考了三维空间总的信息，从而能够更加准确地区分MRI图像中的病变区域和正常组织。同时，还采用了循环神经网络，对待检测的乳腺MRI图像中同一断层不同期图像进行编码，基于时序变化的图像信息分析了造影剂在不同组织中的变化内容，从而提高了不同病变之间的分类精度。可见，本发明提供的技术方案，能够更加准确地对乳腺中的病变区域进行检测。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例中同一病变区域同一断层注射造影剂后不同时期显示的图像；
图3为本发明实施例中同一病变区域连续不同断层之间的图像；
图4为本发明实施例的检测框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
在本发明中，我们采用自然图像目标检测中基于候选区域的算法，提出使用卷积神经网络分别提取不同断层与不同时序的乳腺MRI图像信息，将不同断层的图像主要用于候选区域的提取，利用不同时序期的图像，进行候选区域的进一步分类判断的方法。
图1为本发明实施例的方法流程图，具体包括以下步骤：
步骤101，采用卷积神经网络，对预设图像进行特征学习，使所述卷积神经网络学习到所述预设图像中病变区域和正常组织之间的差异，获取训练后的卷积神经网络，即RPN网络；
步骤102，获取待检测的乳腺MRI图像，所述待检测的乳腺MRI图像包括：同一期连续断层图像和同一断层不同期图像；
步骤103，根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；
本实施例中，获取候选窗口即为通过相关的算法找出可能为病变目标的区域。乳腺MRI图像在连续的不同断层中，其相互之间的组织具有解剖结构上的关联。基于这种关联，可以对病变区域和正常组织进行区分。我们使用Resnet网络对所述同一期连续断层图像搭建起RPN网络，通过卷积神经网络强大的表达能力，学习到预设的乳腺MRI图像中病变区域和正常组织之间在形态特征上的差异。通过RPN网络，将图像中所有可能为目标的位置找出来，并给定置信度。
具体地，针对In层的图像，将所述同一期连续断层图像{In-k...In-1，In，In+1...In+k}构成多通道序列作为所述RPN网络的输入。这个多通道序列可以看作乳腺在三维立体空间中的重构信息。这样，我们不只是利用In单张图像信息对乳腺MRI图像进行候选区域选取，同时利用了In层出现的组织在其上下层中结构的变化信息。
最终，我们的输入信息是与In层结构关联较大的2k+1层乳腺核磁共振图像序列{In-k...In-1，In，In+1...In+k}。由于乳腺相关联的组织结构平均相关层数一般低于7层，即所述同一期连续断层图像小于7层，因此，在本发明中，我们选择k＝3。通过RPN网络，我们得到了大量置信度较高且重叠率不大的矩形窗口位置信息，这些即为候选窗口：BBoxs＝{BBox0，BBox1，...，BBoxn}。
步骤104，采用循环神经网络，对所述同一断层不同期图像进行编码，获取所述同一断层不同期图像的信号强度与病变类型之间的相关信息；
有效的利用注射造影剂之后图像的变化趋势，是乳腺MRI图像分析的重要手段，对于病变类型的判别起着至关重要的决定。在本发明中，我们采用循环神经网络对于同一断层不同时期的图像进行编码，再通过步骤103中RPN网络得到的结果，在编码后的结果中，对候选区域的类型进行判别。
循环神经网络具有动态地捕获时序信息的能力，并且在很多任务中(例如机器翻译，图像描述自动生成等)表现出较好的性能。因此，在本发明中，我们选择使用一个一层长短时记忆网络来对时序变化进行图像编码。长短时记忆网络是一种循环神经网络。循环神经网络一般包含一个输入层x，隐藏层h和输出层o。利用隐藏层h，循环神经网络将时序数据中的历史数据保留下来，作为最后推断的依据。训练循环神经网络时，一般采用BPTT(BackPropagation Through Time)算法。但是该算法在网络学习时使用链式法则，会产生梯度消失的问题。而长短时记忆网络通过增加了一个细胞单元(cell)和三个门单元(输入门，忘记门，输出门)，解决了梯度消失的问题。
本实施例中，所述同一断层不同期图像包括：同一断层未注入造影剂时的图像，同一断层注入造影剂后不同时间点的图像。长短时记忆网络根据上述未注射造影剂时的MRI图像以及注射造影剂后不同时间点的序列图像/>将其进行编码，提取其中的信号强度变化与病变类型的相关信息，得到/>
步骤105，将所述一个以上候选窗口映射到所述相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。
本实施例中，通过感兴趣区域映射，将所述一个以上候选窗口BBoxs映射到所述相关信息E中，再通过预设的分类器进行分类判断，获取最终的病变区域检测结果。
本发明实施例提供的基于多维度信息融合的乳腺MRI病变区域检测方法，采用训练后的卷积神经网络对待检测的乳腺MRI图像中同一期连续断层图像进行病变区域选取，融合了不同断层的图像信息，使病变目标检测参考了三维空间总的信息，从而能够更加准确地区分MRI图像中的病变区域和正常组织。同时，还采用了循环神经网络，对待检测的乳腺MRI图像中同一断层不同期图像进行编码，基于时序变化的图像信息分析了造影剂在不同组织中的变化内容，从而提高了不同病变之间的分类精度。可见，本发明提供的技术方案，能够更加准确地对乳腺中的病变区域进行检测。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于多维度信息融合的乳腺MRI病变区域检测方法，其特征在于，包括：
采用卷积神经网络，对预设图像进行特征学习，使所述卷积神经网络学习到所述预设图像中病变区域和正常组织之间的差异，获取训练后的卷积神经网络，所述训练后的卷积神经网络为RPN网络；
获取待检测的乳腺MRI图像，所述待检测的乳腺MRI图像包括：同一期连续断层图像和同一断层不同期图像；
根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；所述根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取的方法为：将所述同一期连续断层图像构成多通道序列作为所述RPN网络的输入；所述同一期连续断层图像小于7层；
采用循环神经网络，对所述同一断层不同期图像进行编码，获取所述同一断层不同期图像的信号强度与病变类型之间的相关信息；
通过感兴趣区域映射，将所述一个以上候选窗口映射到所述相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。
2.根据权利要求1所述的基于多维度信息融合的乳腺MRI病变区域检测方法，其特征在于，所述循环神经网络为长短时记忆网络。
3.根据权利要求1所述的基于多维度信息融合的乳腺MRI病变区域检测方法，其特征在于，所述同一断层不同期图像包括：同一断层未注入造影剂时的图像，同一断层注入造影剂后不同时间点的图像。
CN201811293868.XA 2018-10-31 2018-10-31 一种基于多维度信息融合的乳腺mri病变区域检测方法 Active CN109658377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811293868.XA CN109658377B (zh) 2018-10-31 2018-10-31 一种基于多维度信息融合的乳腺mri病变区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811293868.XA CN109658377B (zh) 2018-10-31 2018-10-31 一种基于多维度信息融合的乳腺mri病变区域检测方法

Publications (2)

Publication Number Publication Date
CN109658377A CN109658377A (zh) 2019-04-19
CN109658377B true CN109658377B (zh) 2023-10-10

Family

ID=66110059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811293868.XA Active CN109658377B (zh) 2018-10-31 2018-10-31 一种基于多维度信息融合的乳腺mri病变区域检测方法

Country Status (1)

Country Link
CN (1) CN109658377B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490841B (zh) * 2019-07-18 2022-07-05 上海联影智能医疗科技有限公司 计算机辅助影像分析方法、计算机设备和存储介质
JP7461221B2 (ja) * 2020-05-25 2024-04-03 富士フイルムヘルスケア株式会社 医用画像処理装置、および、医用撮像装置
CN112837357B (zh) * 2021-02-25 2024-03-05 平安科技（深圳）有限公司 医学影像配准方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492097A (zh) * 2017-08-07 2017-12-19 北京深睿博联科技有限责任公司 一种识别mri图像感兴趣区域的方法及装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012297A (ko) * 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN107492097A (zh) * 2017-08-07 2017-12-19 北京深睿博联科技有限责任公司 一种识别mri图像感兴趣区域的方法及装置

Also Published As

Publication number Publication date
CN109658377A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
US9959615B2 (en) System and method for automatic pulmonary embolism detection
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
El-Baz et al. Appearance analysis for diagnosing malignant lung nodules
CN109658377B (zh) 一种基于多维度信息融合的乳腺mri病变区域检测方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
BRPI0618949A2 (pt) método e sistema para analisar uma pluralidade de dados de imagem médicos de uma região em uma anatomia, método para adquirir e analisar dados de imagem médicos mrs de uma região em uma anatomia e sistema para analisar dados de imagem médicos de uma região em uma anatomia
Bhadoria et al. Comparison of segmentation tools for multiple modalities in medical imaging
US20170238909A1 (en) Method and apparatus for video interpretation of carotid intima-media thickness
WO2016033458A1 (en) Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN104182755A (zh) 基于塔形pca的乳腺钼靶x线图像块特征提取方法
Heydarheydari et al. Auto-segmentation of head and neck tumors in positron emission tomography images using non-local means and morphological frameworks
Lavanya et al. Lung lesion detection in CT scan images using the fuzzy local information cluster means (FLICM) automatic segmentation algorithm and back propagation network classification
CN110021022A (zh) 一种基于深度学习的甲状腺核医学图像诊断方法
CN111899850A (zh) 医学影像的信息处理方法、显示方法及可读存储介质
Aruna et al. Machine learning approach for detecting liver tumours in CT images using the gray level co-occurrence metrix
CN116309551B (zh) 确定病灶取样区的方法、装置、电子设备及可读介质
Lu et al. AugMS-Net: Augmented multiscale network for small cervical tumor segmentation from MRI volumes
Liu et al. Multi‐scale discriminative network for prostate cancer lesion segmentation in multiparametric MR images
CN115797308A (zh) 一种基于dce-mri的乳腺肿瘤分割方法
Ajilisa et al. Segmentation of thyroid nodules from ultrasound images using convolutional neural network architectures
CN113838020A (zh) 一种基于钼靶影像的病变区域量化方法
Xie et al. Analysis of the diagnosis model of peripheral non-small-cell lung cancer under computed tomography images
Guo et al. Lightweight yolov4 with multiple receptive fields for detection of pulmonary tuberculosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant