CN114445328A - 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 - Google Patents

基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 Download PDF

Info

Publication number
CN114445328A
CN114445328A CN202111543746.3A CN202111543746A CN114445328A CN 114445328 A CN114445328 A CN 114445328A CN 202111543746 A CN202111543746 A CN 202111543746A CN 114445328 A CN114445328 A CN 114445328A
Authority
CN
China
Prior art keywords
query
answer
tumor
slice
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111543746.3A
Other languages
English (en)
Inventor
林格
苏志宏
陈小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ronggu Innovation Industrial Park Co ltd
Sun Yat Sen University
Original Assignee
Guangdong Ronggu Innovation Industrial Park Co ltd
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ronggu Innovation Industrial Park Co ltd, Sun Yat Sen University filed Critical Guangdong Ronggu Innovation Industrial Park Co ltd
Priority to CN202111543746.3A priority Critical patent/CN114445328A/zh
Publication of CN114445328A publication Critical patent/CN114445328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于改进Faster R‑CNN的医学影像脑肿瘤检测方法与系统。包括：从数据库中获取磁共振图像数据集；通过光流法和生成对抗网络以对数据集的图像做预处理，进行数据增强；构建改进Faster R‑CNN深度网络模型；采用得到的所述数据集训练所述构建的改进Faster R‑CNN深度网络模型；将需要预测的磁共振图像输入训练好的网络模型，输出脑肿瘤目标检测结果。本发明采用了基于光流法和生成对抗网络的数据增强方法，并设计了一个改进Faster R‑CNN目标检测网络模型，加入了图像特征金字塔结构以及卷积门控循环单元ConvGRU模块，修改了网络训练时的数据读取方式，增强了肿瘤检测结果的连续性，提升了脑肿瘤的检索精度和查全率。

Description

基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统
技术领域
本发明涉及计算机视觉，医学图像处理，机器学习技术领域，具体涉及一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统。
背景技术
脑肿瘤是现代人的高发疾病之一，但多数人对其缺乏了解，甚至有大量患者由于没有及时得到诊断和治疗而死亡。脑肿瘤可以划分为良性肿瘤和恶性肿瘤，恶性肿瘤又包括原发性恶性肿瘤和脑转移瘤。其中最常见的是脑转移瘤，良性肿瘤和原发性恶性肿瘤在临床上出现的概率稍小。脑肿瘤一般通过磁共振图像(Magnetic Resonance Imaging,MRI)来诊断，一次扫描结果(scans)能生成脑部组织的3D灰度图像。MRI对脑肿瘤的诊断比计算机断层扫描(Computed Tomography,CT)更为敏感，可发现早期病变，定位也更加准确。但是脑肿瘤通常难以辨别，且MRI的一次扫描结果一般有上百张的二维切片，故医生对单张切片的诊断往往比较困难。
近年来，深度学习(Deep learning,DL)技术快速发展，其中深度卷积神经网络(Convolutional neural network,CNN)能够有效地捕获图像的特征，已经被广泛地应用到了各种图像处理任务和计算机视觉任务中。在医学图像处理中，通过卷积神经网络可以自动地提取隐含的器官、组织等的特征，从而在医学图像的分类、检测、分割、检索、图像生成和增强等各任务中发挥重要的辅助作用。但是，现有的深度学习目标检测算法，如FasterR-CNN，面向的大多为自然图像。相比于自然图像，磁共振图像中存在病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息等特点，因此，若直接采用现有的自然图像目标检测模型，在预测结果的连续性上表现不佳，检测结果不够准确。此外，在脑肿瘤自然患者中，不同类型的肿瘤样本数目不均衡，其中良性肿瘤和原发性恶性肿瘤样本较少，导致模型对其检测效果不佳。
目前的现有技术之一，“一种基于CNN和SVM融合的脑肿瘤检测和分割方法”，该方法将CNN的Softmax分类器用支持向量机(Support Vector Machine，SVM)代替，交叉熵损失用边界函数来代替，构建出脑肿瘤和正常组织的分类器，来进行脑肿瘤的检测。该方法的缺点是网络结构过于简单，没有具体考虑医学影像中病灶区域难以区分、患病与正常数据样本数量不平衡等特点，导致容易出现模型的判别准确率较低、检测位置不准等问题。
发明内容
本发明的目的是克服现有方法的不足，提出了基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统。本发明解决的主要问题，一是脑肿瘤自然患者中不同类型的肿瘤样本数目不均衡、磁共振图像中病灶与正常部分之间差距不明显，二是现有的深度学习目标检测算法的模型连贯性差，不能达到医学检测中需要考虑多张切片之间的横向连续信息的技术要求。即如何在肿瘤样本数据不均衡、磁共振图像中病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息的条件下，使得深度学习目标检测算法的模型能够更好地把握切片的上下文信息，学习相邻切片间的联系性，从而增强预测结果的连贯性和准确性的问题。
为了解决上述问题，本发明提出了一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法，所述方法包括：
从磁共振图像数据库中获取磁共振图像数据集；
通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及卷积门控循环单元(Conv Gate Recurrent Unit，ConvGRU)模块，并修改网络训练时的数据读取方式；
采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型；
将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
优选地，所述通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强，具体为：
找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量，计算公式具体如下：
Figure BDA0003415146980000031
其中，
Figure BDA0003415146980000032
表示与Query序列相对应的长度为20的亮度值统计向量，
对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量
Figure BDA0003415146980000041
然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离：
Figure BDA0003415146980000042
其中，
Figure BDA0003415146980000043
表示与Query序列相对应的长度为20的亮度值统计向量，
Figure BDA0003415146980000044
表示与Normal序列相对应的长度为20的统计向量，
在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；
对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query以及Normal序列中的每一个切片做特征提取，然后计算va与vi之间的余弦相似度，计算公式具体如下：
Figure BDA0003415146980000045
其中，vq表示对Query做特征提取得到的值，vi表示对Normal序列中的每一个切片做特征提取得到的值，i＝1，2，...，n，
根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1，N2，...，N10，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1，f2，...，f10，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N′i，计算公式具体如下：
N′i(x′i，y′i)＝Ni(xi，yi)
x′i＝xi-fi(xi，yi，0)
y′i＝yi-fi(xi，yi，1)
其中，Ni表示选取的前10张切片，N′i表示所述切片扭转后的结果，(xi，yi)表示Ni中像素坐标，(x′i，y′i)表示N′i中像素坐标，fi表示Query到所述切片的光流，i＝1，2，...，10，
然后对N′i按Query做直方图匹配，使得N′i与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N′i与Query之间像素亮度的均方误差，计算公式具体如下：
Figure BDA0003415146980000051
误差最小的N′i即为Answer_pri；
在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i，j)在Query中的对应坐标(i′，j′)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer_temp，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，计算公式具体如下：
x1＝int(i′) y1＝int(j′)
x2＝x1 y2＝y1+1
x3＝x1+1 y3＝y1
x4＝x1+1 y4＝y1+1
u＝i′-x1 v＝j′-y1
Answer_temp(i，j)＝(1-u)(1-v)×int(Query(x1，y1))+(1-u)v×int(Query(x2，y2))+u(1-v)×int(Query(x3，y3))+uv×int(Query(x4，y4))
其中，(i，j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′，j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值，
最终的填充结果Answerwarped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，计算公式具体如下：
Answer_warped(i，j)＝0.5×Answer_pri(i，j)+0.5×Answer_temp(i，j)
其中，(i，j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′，j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值；
对Answerwarped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answerwarped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重建损失、连贯损失、对抗损失三部分，整个损失函数定义为重建损失、连贯损失、对抗损失的加权和，计算公式具体如下：
Loss＝50×recLoss+50×cohLoss+advLoss
其中，recLoss表示重建损失，cohLoss表示连贯损失，advLoss表示对抗损失。
优选地，所述构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式，具体为：
在Faster R-CNN的基础上，加入FPN结构，在Faster R-CNN的特征提取部分进行改进，以图像特征金字塔的形式提取特征，融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息；
在Faster R-CNN提取特征之后、进入RPN结构之前，加入ConvGRU模块，以此记忆切片的上下文信息；
将MRI数据集中的连续切片每3张分为一组，上下两张切片为中间切片提供3D上下文信息，然后在训练时按组读取数据，以保证每次读取的样本数据是某一个病例中的一段连续的切片。
相应地，本发明还提供了一种基于改进Faster R-CNN的医学影像脑肿瘤检测系统，包括：
磁共振图像数据集获取单元，用于从磁共振图像数据库中获取磁共振图像数据集；
数据增强单元，用于通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
改进Faster R-CNN模型构建单元，用于构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式；
改进Faster R-CNN模型训练单元，用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型；
目标检测结果输出单元，用于将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
实施本发明，具有如下有益效果：
本发明通过深度学习的方法，实现从MRI脑部医学影像中2D检索脑部肿瘤区域并对肿瘤的类别进行判断的功能，对医学诊断和研究起到辅助作用；发明中采用基于光流法和生成对抗网络的数据增强方法，能够扩充脑部MRI医学影像数据集，从而缓解该数据集中肿瘤类别不均衡的问题，将生成的“假”数据加入训练集后，模型在良性肿瘤和原发肿瘤两项上的检索精度和查全率上有显著的提升，整体的平均检索精度和平均查全率得分也更高；发明中设计了一个改进Faster R-CNN目标检测网络模型，加入了图像特征金字塔结构以及ConvGRU模块，并修改了网络训练时的数据读取方式，能够让模型学习到多尺度特征以及上下文连贯信息，增强了肿瘤检测结果的连续性，进一步提高了模型的应用效果。
附图说明
图1是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测方法的总体流程图；
图2是本发明实施例的肿瘤图像数据增强流程图；
图3是本发明实施例的构建改进Faster R-CNN深度网络模型流程图；
图4是本发明实施例的改进Faster R-CNN深度网络模型结构图；
图5是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于改进Faster R-CNN的医学影像脑肿瘤检测方法的总体流程图，如图1所示，该方法包括：
S1，从磁共振图像数据库中获取磁共振图像数据集；
S2，通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
S3，构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式；
S4，采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型；
S5，将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
步骤S1，具体如下：
S1-1，从磁共振图像数据库中获取磁共振图像数据集。
步骤S2，如图2所示，具体如下：
S2-1，找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量，计算公式具体如下：
Figure BDA0003415146980000101
其中，
Figure BDA0003415146980000102
表示与Query序列相对应的长度为20的亮度值统计向量，
对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量
Figure BDA0003415146980000103
然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离：
Figure BDA0003415146980000104
其中，
Figure BDA0003415146980000105
表示与Query序列相对应的长度为20的亮度值统计向量，
Figure BDA0003415146980000106
表示与Normal序列相对应的长度为20的统计向量，
在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；
S2-2，对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query以及Normal序列中的每一个切片做特征提取，然后计算vq与vi之间的余弦相似度，计算公式具体如下：
Figure BDA0003415146980000111
其中，vq表示对Query做特征提取得到的值，vi表示对Normal序列中的每一个切片做特征提取得到的值，i＝1，2，...，n，
根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1，N2，...，N10，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1，f2，...，f10，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N′i，计算公式具体如下：
N′i(x′i，y′i)＝Ni(xi，yi)
x′i＝xi-fi(xi，yi，0)
y′i＝yi-fi(xi，yi，1)
其中，Ni表示选取的前10张切片，N′i表示所述切片扭转后的结果，(xi，yi)表示Ni中像素坐标，(x′i，y′i)表示N′i中像素坐标，fi表示Query到所述切片的光流，i＝1，2，...，10，
然后对N′i按Query做直方图匹配，使得N′i与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N′i与Query之间像素亮度的均方误差，计算公式具体如下：
Figure BDA0003415146980000121
误差最小的N′i即为Answer_pri；
S2-3，在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i，j)在Query中的对应坐标(i′，j′)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer_temp，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，计算公式具体如下：
x1＝int(i′) y1＝int(j′)
x2＝x1 y2＝y1+1
x3＝x1+1 y3＝y1
x4＝x1+1 y4＝y1+1
u＝i′-x1 v＝j′-y1
Answer_temp(i，j)＝(1-u)(1-v)×int(Query(x1，y1))+(1-u)v×int(Query(x2，y2))+u(1-v)×int(Query(x3，y3))+uv×int(Query(x4，y4))
其中，(i，j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′，j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值，
最终的填充结果Answerwarped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，计算公式具体如下：
Answer_warped(i，j)＝0.5×Answer_pri(i，j)+0.5×Answer_temp(i，j)
其中，(i，j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′，j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值；
S2-4，对Answerwarped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answer_warped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重建损失、连贯损失、对抗损失三部分，整个损失函数定义为重建损失、连贯损失、对抗损失的加权和，计算公式具体如下：
Loss＝50×recLoss+50×cohLoss+advLoss
其中，recLoss表示重建损失，cohLoss表示连贯损失，advLoss表示对抗损失。
步骤S3，如图3、图4所示，具体如下：
S3-1，在Faster R-CNN的基础上，加入FPN结构，在Faster R-CNN的特征提取部分进行改进，以图像特征金字塔的形式提取特征，融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息；
S3-2，在Faster R-CNN提取特征之后、进入RPN结构之前，加入ConvGRU模块，以此记忆切片的上下文信息；
S3-3，将MRI数据集中的连续切片每3张分为一组，上下两张切片为中间切片提供3D上下文信息，然后在训练时按组读取数据，以保证每次读取的样本数据是某一个病例中的一段连续的切片。
步骤S4，具体如下：
S4-1，采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
步骤S5，具体如下：
S5-1，将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
相应地，本发明还提供了一种基于改进Faster R-CNN的医学影像脑肿瘤检测系统，如图5所示，包括：
磁共振图像数据集获取单元1，用于从磁共振图像数据库中获取磁共振图像数据集。
数据增强单元2，用于通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强。
具体地，找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量
Figure BDA0003415146980000141
对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量
Figure BDA0003415146980000151
然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离，在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query做特征提取得到vq，对Normal序列中的每一个切片做特征提取得到vi(i＝1，2，...，n)，然后计算va与vi之间的余弦相似度，根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1，N2，...，N10，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1，f2，...，f10，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N′i，然后对N′i按Query做直方图匹配，使得N′i与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N′i与Query之间像素亮度的均方误差，误差最小的N′i即为Answer_pri；在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i，j)在Query中的对应坐标(i′，j′)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，对Answer_warped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answer_warped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重建损失、连贯损失、对抗损失三部分，整个损失函数定义为重建损失、连贯损失、对抗损失的加权和。
改进Faster R-CNN模型构建单元3，用于构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式。
具体地，在Faster R-CNN的基础上，加入FPN结构，在Faster R-CNN的特征提取部分进行改进，以图像特征金字塔的形式提取特征，融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息；在Faster R-CNN提取特征之后、进入RPN结构之前，加入ConvGRU模块，以此记忆切片的上下文信息；将MRI数据集中的连续切片每3张分为一组，上下两张切片为中间切片提供3D上下文信息，然后在训练时按组读取数据，以保证每次读取的样本数据是某一个病例中的一段连续的切片。
改进Faster R-CNN模型训练单元4，用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
目标检测结果输出单元5，用于将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
因此，本发明通过深度学习的方法，实现从MRI脑部医学影像中2D检索脑部肿瘤区域并对肿瘤的类别进行判断的功能，对医学诊断和研究起到辅助作用；发明中采用基于光流法和生成对抗网络的数据增强方法，能够扩充脑部MRI医学影像数据集，从而缓解该数据集中肿瘤类别不均衡的问题，将生成的“假”数据加入训练集后，模型在良性肿瘤和原发肿瘤两项上的检索精度和查全率上有显著的提升，整体的平均检索精度和平均查全率得分也更高；发明中设计了一个改进Faster R-CNN目标检测网络模型，加入了图像特征金字塔结构以及ConvGRU模块，并修改了网络训练时的数据读取方式，能够让模型学习到多尺度特征以及上下文连贯信息，增强了肿瘤检测结果的连续性，进一步提高了模型的应用效果。
以上对本发明实施例所提供的基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于改进Faster R-CNN的医学影像脑肿瘤检测方法，其特征在于，所述方法包括：
从磁共振图像数据库中获取磁共振图像数据集；
通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及卷积门控循环单元ConvGRU模块，并修改网络训练时的数据读取方式；
采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型；
将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
2.如权利要求1所述的基于改进Faster R-CNN的医学影像脑肿瘤检测方法，其特征在于，所述通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强，具体为：
找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量，计算公式具体如下：
Figure FDA0003415146970000011
其中，
Figure FDA0003415146970000012
表示与Query序列相对应的长度为20的亮度值统计向量，
对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量
Figure FDA0003415146970000013
然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离：
Figure FDA0003415146970000021
其中，
Figure FDA0003415146970000022
表示与Query序列相对应的长度为20的亮度值统计向量，
Figure FDA0003415146970000023
表示与Normal序列相对应的长度为20的统计向量，
在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；
对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query以及Normal序列中的每一个切片做特征提取，然后计算vq与vi之间的余弦相似度，计算公式具体如下：
Figure FDA0003415146970000024
其中，vq表示对Query做特征提取得到的值，vi表示对Normal序列中的每一个切片做特征提取得到的值，i＝1,2,…,n，
根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1,N2,…,N10，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1,f2,…,f10，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N′i，计算公式具体如下：
N′i(x′i,y′i)＝Ni(xi,yi)
x′i＝xi-fi(xi,yi,0)
y′i＝yi-fi(xi,yi,1)
其中，Ni表示选取的前10张切片，N′i表示所述切片扭转后的结果，(xi,yi)表示Ni中像素坐标，(x′i，y′i)表示N′i中像素坐标，fi表示Query到所述切片的光流，i＝1,2,…,10，
然后对N′i按Query做直方图匹配，使得N′i与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N′i与Query之间像素亮度的均方误差，计算公式具体如下：
Figure FDA0003415146970000031
误差最小的N′i即为Answer_pri；
在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer_temp，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，计算公式具体如下：
x1＝int(i′) y1＝int(j′)
x2＝x1 y2＝y1+1
x3＝x1+1 y3＝y1
x4＝x1+1 y4＝y1+1
u＝i′-x1 v＝j′-y1
Answer_temp(i,j)＝(1-u)(1-v)×int(Query(x1,y1))+(1-u)v×int(Query(x2,y2))+u(1-v)×int(Query(x3,y3))+uv×int(Query(x4,y4))
其中，(i,j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值，
最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，计算公式具体如下：
Answer_warped(i,j)＝0.5×Answer_pri(i,j)+0.5×Answer_temp(i,j)
其中，(i,j)表示假肿瘤分布区域中的每个像素点的坐标值，(i′,j′)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值；
对Answer_warped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answer_warped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重建损失、连贯损失、对抗损失三部分，整个损失函数定义为重建损失、连贯损失、对抗损失的加权和，计算公式具体如下：
Loss＝50×recLoss+50×cohLoss+advLoss
其中，recLoss表示重建损失，cohLoss表示连贯损失，advLoss表示对抗损失。
3.如权利要求1所述的基于改进Faster R-CNN的医学影像脑肿瘤检测方法，其特征在于，所述构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式，具体为：
在Faster R-CNN的基础上，加入FPN结构，在Faster R-CNN的特征提取部分进行改进，以图像特征金字塔的形式提取特征，融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息；
在Faster R-CNN提取特征之后、进入RPN结构之前，加入ConvGRU模块，以此记忆切片的上下文信息；
将MRI数据集中的连续切片每3张分为一组，上下两张切片为中间切片提供3D上下文信息，然后在训练时按组读取数据，以保证每次读取的样本数据是某一个病例中的一段连续的切片。
4.一种基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述系统包括：
磁共振图像数据集获取单元，用于从磁共振图像数据库中获取磁共振图像数据集；
数据增强单元，用于通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
改进Faster R-CNN模型构建单元，用于构建改进Faster R-CNN深度网络模型，加入图像特征金字塔结构以及ConvGRU模块，并修改网络训练时的数据读取方式；
改进Faster R-CNN模型训练单元，用于采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型；
目标检测结果输出单元，用于将需要预测的磁共振图像输入所述训练好的改进FasterR-CNN模型，输出脑肿瘤目标检测结果。
5.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述磁共振图像数据集获取单元，需要从磁共振图像数据库中获取磁共振图像数据集。
6.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述数据增强单元，需要找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量
Figure FDA0003415146970000051
对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量
Figure FDA0003415146970000061
然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离，在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query做特征提取得到vq，对Normal序列中的每一个切片做特征提取得到vi(i＝1,2,…,n)，然后计算vq与vi之间的余弦相似度，根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1,N2,…,N10，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1,f2,…,f10，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N′i，然后对N′i按Query做直方图匹配，使得N′i与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N′i与Query之间像素亮度的均方误差，误差最小的N′i即为Answer_pri；在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i′,j′)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer_temp，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，对Answer_warped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answer_warped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重建损失、连贯损失、对抗损失三部分，整个损失函数定义为重建损失、连贯损失、对抗损失的加权和。
7.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述改进Faster R-CNN模型构建单元，需要在Faster R-CNN的基础上，加入FPN结构，在Faster R-CNN的特征提取部分进行改进，以图像特征金字塔的形式提取特征，融合具有高分辨率的浅层信息和分辨率低但语义信息丰富的深层信息；在Faster R-CNN提取特征之后、进入RPN结构之前，加入ConvGRU模块，以此记忆切片的上下文信息；将MRI数据集中的连续切片每3张分为一组，上下两张切片为中间切片提供3D上下文信息，然后在训练时按组读取数据，以保证每次读取的样本数据是某一个病例中的一段连续的切片。
8.如权利要求4所述的基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述改进Faster R-CNN模型训练单元，需要采用所述经数据增强后得到的数据集训练改进Faster R-CNN模型。
9.如权利要求7所述的基于改进Faster R-CNN的医学影像脑肿瘤检测系统，其特征在于，所述目标检测结果输出单元，需要将需要预测的磁共振图像输入所述训练好的改进Faster R-CNN模型，输出脑肿瘤目标检测结果。
CN202111543746.3A 2021-12-16 2021-12-16 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 Pending CN114445328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111543746.3A CN114445328A (zh) 2021-12-16 2021-12-16 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111543746.3A CN114445328A (zh) 2021-12-16 2021-12-16 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统

Publications (1)

Publication Number Publication Date
CN114445328A true CN114445328A (zh) 2022-05-06

Family

ID=81362924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111543746.3A Pending CN114445328A (zh) 2021-12-16 2021-12-16 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统

Country Status (1)

Country Link
CN (1) CN114445328A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049781A (zh) * 2022-05-11 2022-09-13 西南石油大学 一种基于深度学习的页岩数字岩心三维重建方法
CN115239688A (zh) * 2022-08-09 2022-10-25 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049781A (zh) * 2022-05-11 2022-09-13 西南石油大学 一种基于深度学习的页岩数字岩心三维重建方法
CN115049781B (zh) * 2022-05-11 2023-05-23 西南石油大学 一种基于深度学习的页岩数字岩心三维重建方法
CN115239688A (zh) * 2022-08-09 2022-10-25 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统
CN115239688B (zh) * 2022-08-09 2024-03-12 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
Liu et al. Attribute-aware face aging with wavelet-based generative adversarial networks
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
Zhang et al. Photoacoustic image classification and segmentation of breast cancer: a feasibility study
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
Li et al. Dilated-inception net: multi-scale feature aggregation for cardiac right ventricle segmentation
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
CN109754361A (zh) 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积
CN112132833B (zh) 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
WO2019000455A1 (zh) 图像分割的方法及系统
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN110188792A (zh) 前列腺mri三维图像的图像特征获取方法
CN114445328A (zh) 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统
Lei et al. Echocardiographic image multi‐structure segmentation using Cardiac‐SegNet
Sammouda Segmentation and analysis of CT chest images for early lung cancer detection
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN112598613A (zh) 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
Wen et al. Pulmonary nodule detection based on convolutional block attention module
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Li et al. Multi-view unet for automated GI tract segmentation
Lv et al. An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography
CN113902738A (zh) 一种心脏mri分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination