CN109637629A - 一种bi-rads分级模型建立方法 - Google Patents

一种bi-rads分级模型建立方法 Download PDF

Info

Publication number
CN109637629A
CN109637629A CN201811293870.7A CN201811293870A CN109637629A CN 109637629 A CN109637629 A CN 109637629A CN 201811293870 A CN201811293870 A CN 201811293870A CN 109637629 A CN109637629 A CN 109637629A
Authority
CN
China
Prior art keywords
rads
image
dimensional convolution
building
hierarchy model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811293870.7A
Other languages
English (en)
Inventor
陈小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tegmati (beijing) Medical Technology Co Ltd
Original Assignee
Tegmati (beijing) Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tegmati (beijing) Medical Technology Co Ltd filed Critical Tegmati (beijing) Medical Technology Co Ltd
Priority to CN201811293870.7A priority Critical patent/CN109637629A/zh
Publication of CN109637629A publication Critical patent/CN109637629A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种BI‑RADS分级模型建立方法，包括：对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列；所述乳腺MRI图像包括：不同断层不同期图像；所述乳腺MRI图像具有BI‑RADS等级标注；所述图像序列中每张图像的大小相同；构建三维卷积神经网络，所述三维卷积神经网络包括用于分类的softmax层；采用所述图像序列训练所述三维卷积神经网络，获取BI‑RADS分级模型。本发明提供的技术方案，能够使建立起来的BI‑RADS分级模型对乳腺MRI多期图像进行准确地分级。

Description

一种BI-RADS分级模型建立方法
技术领域
本发明涉及医学图像分析技术领域，尤其涉及一种BI-RADS分级模型建立方法。
背景技术
基于深度学习的图像分类技术的优势之一就是可以通过组合图像的底层特征，形成更加抽象的高层表示，在这一过程中，需要提取图像内部元素之间蕴含的抽象特征信息，进而作用于计算机视觉任务中。这一优势为该技术的广泛应用提供了源动力与重要保障。基于深度学习的图像分类技术的一大重要应用领域就是医学图像分析领域。
BI-RADS(Breast Imaging Reporting and Data System)是指美国放射学会的乳腺影像报告和数据系统。BI-RADS分级标准被广泛应用于乳腺的各种影像学检查，如X线钼靶摄影、彩超、核磁共振等，是用来评价乳腺病变良恶性程度的一种评估分类法。BI-RADS分级法将乳腺病变分为0～6级，一般来说，级别越高，恶性的可能性越大。随着人们对于乳腺健康的重视程度不断提高，高效、精准地对乳腺MRI(Magnetic Resonance Imaging，磁共振成像)图像进行BI-RADS分级识别成为了医学图像分析领域之中需求量不断增加的任务之一。乳腺MRI图像分析的一种重要手段是使用动态增强，即在为病人注射造影剂后，分多期对乳腺进行MRI成像，根据造影剂在不同组织中随着时间变化产生的信号强度变化，对乳腺BI-RADS等级的分类做出判断。
由于传统的图像识别技术是作用于单张图片上的，因此，现有技术中采用的是基于空间二维卷积的深度学习方法。显然，这种方法在对乳腺MRI多期图像的识别上具有一定的局限性，从而导致现有的模型对于BI-RADS的分级不准确。因此，需要建立一种新的BI-RADS分级模型，以对上述乳腺MRI多期图像进行准确地分级。
发明内容
本发明旨在提供一种BI-RADS分级模型建立方法，以使建立起来的BI-RADS分级模型能够对乳腺MRI多期图像进行准确地分级。
为达到上述目的，本发明采用的技术方案如下：
一种BI-RADS分级模型建立方法，包括：对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列；所述乳腺MRI图像包括：不同断层不同期图像；所述乳腺MRI图像具有BI-RADS等级标注；所述图像序列中每张图像的大小相同；构建三维卷积神经网络，所述三维卷积神经网络包括用于分类的softmax层；采用所述图像序列训练所述三维卷积神经网络，获取BI-RADS分级模型。
优选地，所述对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列的方法为：根据所述BI-RADS等级标注，从所述乳腺MRI图像中截取预定大小的目标区域；根据预存的DICOM文件信息，从所述目标区域中提取同一断层不同期图像；将所述同一断层不同期图像整合为所述图像序列；每个所述图像序列具有对应的所述BI-RADS等级标注。
优选地，所述目标区域的大小为32×32；所述同一断层不同期图像的个数为7个。
优选地，所述构建三维卷积神经网络的方法为：在现有的空间二维卷积网络的基础上，增加时间维度信息，获取所述三维卷积神经网络。
优选地，所述三维卷积神经网络为多层三维卷积神经网络；所述三维卷积神经网络包括5×5×5和3×3×3的卷积核。
优选地，所述三维卷积神经网络为6层C3D网络。
本发明实施例提供的BI-RADS分级模型建立方法，通过对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列，并构建三维卷积神经网络，采用上述图像序列对三维卷积神经网络进行训练，即可获取BI-RADS分级模型。本发明结合了医学中的动态增强图像分析方法和乳腺MRI序列成像的特点，将包含多期的乳腺MRI图像数据，处理为图像序列输入到深度学习网络中(即三维卷积神经网络)，对多期图像整体进行三维特征提取，如此，可以更好地利用MRI数据的特点，大大提升学习到的特征的质量，有利于后续BI-RADS的准确分级。同时，三维卷积神经网络有效利用了时间维度信息，能够将同一断层不同期的信息进行融合，增强分析动态的效果，从而提升BI-RADS分级任务的精度。可见，本发明提供的技术方案，能够使建立起来的BI-RADS分级模型对乳腺MRI多期图像进行准确地分级。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例中同一病变区域同一断层注射造影剂后不同时期显示的图像；
图3为本发明实施例的结构示意图；
图4为现有技术中二维卷积和三维卷积的工作方式对比图；
图5为本发明实施例中C3D网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
在本发明中，首先对具有BI-RADS等级标注的乳腺MRI影像数据进行处理与整合，得到包含不同期的乳腺MRI图像序列，再针对图像序列的特点，提出三维卷积神经网络Sequence C3D，接下来使用乳腺MRI图像序列训练上述三维卷积神经网络，进而获取BI-RADS分级模型对乳腺MRI图像进行分级。图1为本发明实施例的方法流程图，具体包括以下步骤：
步骤101，对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列；所述乳腺MRI图像包括：不同断层不同期图像；所述乳腺MRI图像具有BI-RADS等级标注；所述图像序列中每张图像的大小相同。
乳腺MRI图像是由多期不同断层的图像组成的，在动态增强实验中，借助造影剂的作用，进行多次成像，每一次称为一期，将同一断层不同期的图像整合在一起，就可以展现动态增强中造影剂的信号强度随时间变化情况。故在数据处理阶段，首先根据BI-RADS等级标注，从所述乳腺MRI图像中截取预定大小的目标区域；再根据预存的DICOM文件信息，从所述目标区域中提取同一断层不同期图像；将所述同一断层不同期图像整合为所述图像序列；每个所述图像序列具有对应的所述BI-RADS等级标注。本实施例中，所述目标区域的大小为32×32。同一断层不同期图像的个数与动态增强的具体操作有关，我们使用的序列深度，即同一断层不同期图像的个数为7个，因此，可以整合为一个7×32×32大小的乳腺MRI图像序列。
通过上述操作，可以得到多个7×32×32大小的乳腺MRI图像序列，每一个图像序列都拥有一个BI-RADS等级标注。
步骤102，构建三维卷积神经网络，所述三维卷积神经网络包括用于分类的softmax层。
在乳腺BI-RADS分级任务中，需要使用动态增强序列，因此需要搭建一个可以很好的提取动态增强序列中的时间、空间维度信息的学习框架。传统的二维卷积神经网络，在应用于乳腺MRI序列识别任务时，无法挖掘和学习到完整的三维信息。为解决这一问题，本发明提出了使用基于三维卷积神经网络的学习框架，将多期乳腺MRI图像分析问题转化为三维序列学习问题，完成乳腺MRI序列图像BI-RADS分级任务。
本实施例中，构建三维卷积神经网络的方法为：在现有的空间二维卷积网络的基础上，结合数据特点(如数据分布，图像大小，序列深度等)，增加时间维度信息，获取所述三维卷积神经网络。所述三维卷积神经网络为多层三维卷积神经网络；所述三维卷积神经网络包括5×5×5和3×3×3的卷积核。
三维卷积神经网络是传统二维卷积神经网络的扩展，具体来说，二者的本质区别在于卷积方式发生了变化，二维与三维卷积的工作方式对比如图4所示，可以看出，相比于传统二维卷积，三维卷积能够在不损失对于图像内部空间特征的提取能力的前提下，增加对于同一序列不同图像之前关联性的特征提取能力。
在实际操作中，针对输入大小为7×32×32的图像序列，我们设计了大小为5×5×5、3×3×3的卷积核，并配合池化操作，搭建了一个多层三维卷积神经网络。在网络的最后，设置了用于分类的softmax层，将卷积层提取到的图像三维特征，映射到BIRADS等级上。多层三维卷积神经网络的示意图如图5所示。本实施例中，所述三维卷积神经网络为6层C3D网络。
步骤103，采用所述图像序列训练所述三维卷积神经网络，获取BI-RADS分级模型。
结合前两个主要步骤得到的数据与网络，在这一步骤中，利用处理好的乳腺MRI图像序列数据训练步骤102中得到的C3D网络，本质是在完成一个有监督学习的分类任务。训练好的模型即可作为基于三维卷积神经网络的乳腺MRI图像序列BI-RADS分级模型。
本发明实施例提供的BI-RADS分级模型建立方法，通过对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列，并构建三维卷积神经网络，采用上述图像序列对三维卷积神经网络进行训练，即可获取BI-RADS分级模型。本发明结合了医学中的动态增强图像分析方法和乳腺MRI序列成像的特点，将包含多期的乳腺MRI图像数据，处理为图像序列输入到深度学习网络中(即三维卷积神经网络)，对多期图像整体进行三维特征提取，如此，可以更好地利用MRI数据的特点，大大提升学习到的特征的质量，有利于后续BI-RADS的准确分级。同时，三维卷积神经网络有效利用了时间维度信息，一方面，作用于每个MRI图像上的卷积操作依然学习到了乳腺MRI图像目标本身的特征信息；另一方面，能够将同一断层不同期的信息进行融合，增强分析动态的效果，从而提升BI-RADS分级任务的精度。本发明提出的六层三维卷积神经网络Sequence C3D，相比于传统C3D网络，具有参数量小、速度快、易训练等优势，且传统C3D网络在内部进行了多步池化，不适用于乳腺MRI序列图像，而本发明集合数据本身特点，将三维卷积神经网络更好的应用于当前任务中，旨在运用前沿的计算机视觉技术解决医学图像分析中的实际任务。可见，本发明提供的技术方案，能够使建立起来的BI-RADS分级模型对乳腺MRI多期图像进行准确地分级。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种BI-RADS分级模型建立方法，其特征在于，包括：
对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列；所述乳腺MRI图像包括：不同断层不同期图像；所述乳腺MRI图像具有BI-RADS等级标注；所述图像序列中每张图像的大小相同；
构建三维卷积神经网络，所述三维卷积神经网络包括用于分类的softmax层；
采用所述图像序列训练所述三维卷积神经网络，获取BI-RADS分级模型。
2.根据权利要求1所述的BI-RADS分级模型建立方法，其特征在于，所述对预先采集的乳腺MRI图像进行处理，获取一个以上图像序列的方法为：
根据所述BI-RADS等级标注，从所述乳腺MRI图像中截取预定大小的目标区域；
根据预存的DICOM文件信息，从所述目标区域中提取同一断层不同期图像；
将所述同一断层不同期图像整合为所述图像序列；每个所述图像序列具有对应的所述BI-RADS等级标注。
3.根据权利要求2所述的BI-RADS分级模型建立方法，其特征在于，所述目标区域的大小为32×32；所述同一断层不同期图像的个数为7个。
4.根据权利要求1至3任意一项所述的BI-RADS分级模型建立方法，其特征在于，所述构建三维卷积神经网络的方法为：
在现有的空间二维卷积网络的基础上，增加时间维度信息，获取所述三维卷积神经网络。
5.根据权利要求4所述的BI-RADS分级模型建立方法，其特征在于，所述三维卷积神经网络为多层三维卷积神经网络；所述三维卷积神经网络包括5×5×5和3×3×3的卷积核。
6.根据权利要求5所述的BI-RADS分级模型建立方法，其特征在于，所述三维卷积神经网络为6层C3D网络。
CN201811293870.7A 2018-10-31 2018-10-31 一种bi-rads分级模型建立方法 Pending CN109637629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811293870.7A CN109637629A (zh) 2018-10-31 2018-10-31 一种bi-rads分级模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811293870.7A CN109637629A (zh) 2018-10-31 2018-10-31 一种bi-rads分级模型建立方法

Publications (1)

Publication Number Publication Date
CN109637629A true CN109637629A (zh) 2019-04-16

Family

ID=66067132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811293870.7A Pending CN109637629A (zh) 2018-10-31 2018-10-31 一种bi-rads分级模型建立方法

Country Status (1)

Country Link
CN (1) CN109637629A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675398A (zh) * 2019-10-22 2020-01-10 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN110689960A (zh) * 2019-09-24 2020-01-14 广州大学 一种乳腺癌的智能判别方法、装置、设备及存储介质
CN112614096A (zh) * 2020-12-17 2021-04-06 北京医准智能科技有限公司 一种基于序数回归的乳腺钼靶病灶良恶性分析方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
冯奇科等: "全数字化乳腺摄影联合乳腺MRI动态增强对乳腺癌的诊断价值", 《中国当代医药》 *
孔小函等: "基于卷积神经网络和多信息融合的三维乳腺超声分类方法", 《中国生物医学工程学报》 *
彭彩芹等: "应变弹性成像对BI-RADS 4A级乳腺病变分类诊断的价值", 《海军医学杂志》 *
程流泉等: "多参数MRI的BI-RADS分类对乳腺病变的诊断效能", 《中国医学影像学杂志》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689960A (zh) * 2019-09-24 2020-01-14 广州大学 一种乳腺癌的智能判别方法、装置、设备及存储介质
CN110675398A (zh) * 2019-10-22 2020-01-10 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN110675398B (zh) * 2019-10-22 2022-05-17 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN112614096A (zh) * 2020-12-17 2021-04-06 北京医准智能科技有限公司 一种基于序数回归的乳腺钼靶病灶良恶性分析方法

Similar Documents

Publication Publication Date Title
Sermesant et al. Applications of artificial intelligence in cardiovascular imaging
Khan et al. Deep neural architectures for medical image semantic segmentation
Young et al. Computational cardiac atlases: from patient to population and back
Kalra Developing fe human models from medical images
Zhang et al. Review of breast cancer pathologigcal image processing
CN109166130A (zh) 一种图像处理方法及图像处理装置
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Guo et al. Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography
Cai et al. Texture analysis for muscular dystrophy classification in MRI with improved class activation mapping
EP3080777B1 (en) Model-based segmentation of an anatomical structure
CN110197492A (zh) 一种心脏mri左心室分割方法及系统
US7471816B2 (en) Virtual resolution enhancement in diagnostic imaging using FEA
CN109637629A (zh) 一种bi-rads分级模型建立方法
Ganesh et al. MRI brain image segmentation using enhanced adaptive fuzzy K-means algorithm
CN109920538A (zh) 一种基于数据增强的零样本学习方法
Liu et al. Multimodal MRI brain tumor image segmentation using sparse subspace clustering algorithm
Bi et al. Hyper-fusion network for semi-automatic segmentation of skin lesions
Zhu et al. DualMMP-GAN: Dual-scale multi-modality perceptual generative adversarial network for medical image segmentation
Ahn et al. Multi-frame attention network for left ventricle segmentation in 3d echocardiography
CN109727197A (zh) 一种医学图像超分辨率重建方法
Xia et al. Recent advances of transformers in medical image analysis: a comprehensive review
Somasundaram et al. Fetal brain extraction from magnetic resonance image (MRI) of human fetus
Avola et al. Customized first and second order statistics based operators to support advanced texture analysis of MRI images
Lassige et al. Comparison of septal defects in 2D and 3D echocardiography using active contour models
Shaaf et al. A Convolutional Neural Network Model to Segment Myocardial Infarction from MRI Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416