CN111968091A - 一种临床图像中病变区域的检测和分类方法 - Google Patents

一种临床图像中病变区域的检测和分类方法 Download PDF

Info

Publication number
CN111968091A
CN111968091A CN202010834609.4A CN202010834609A CN111968091A CN 111968091 A CN111968091 A CN 111968091A CN 202010834609 A CN202010834609 A CN 202010834609A CN 111968091 A CN111968091 A CN 111968091A
Authority
CN
China
Prior art keywords
image
lesion
network
neural network
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010834609.4A
Other languages
English (en)
Other versions
CN111968091B (zh
Inventor
汪彦刚
王凯妮
陈阳
周光泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tuge Medical Technology Co ltd
Original Assignee
Nanjing Tuge Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tuge Medical Technology Co ltd filed Critical Nanjing Tuge Medical Technology Co ltd
Priority to CN202010834609.4A priority Critical patent/CN111968091B/zh
Publication of CN111968091A publication Critical patent/CN111968091A/zh
Priority to EP21857734.4A priority patent/EP4198819A4/en
Priority to PCT/CN2021/113510 priority patent/WO2022037642A1/zh
Application granted granted Critical
Publication of CN111968091B publication Critical patent/CN111968091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种临床图像中病变区域的检测和分类方法，包括对原始临床图像进行预处理，得到全局图像数据集；将得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能病变区域；将检测到的可能病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；将全局图像数据集和包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。本发明方法更好的利用临床图像的多模态信息，结合原始图像的全局信息和病变区域图像的局部信息，进而提高分类的准确率。

Description

一种临床图像中病变区域的检测和分类方法
技术领域
本发明属于临床图像处理技术领域，具体涉及一种临床图像中病变区域的检测和分类方法。
背景技术
肿瘤是危害生命健康的一大杀手，具有较高的死亡率，恶性肿瘤的临床表现因其所在的器官、部位以及发展程度不同而不同，恶性肿瘤早期多无明显症状，即便有症状也常无特异性，等患者出现特异性症状时，肿瘤常已属于晚期。通常对患者的临床表现和体征进行综合分析，结合实验室检查和影像学、细胞病理学检查做出明确诊断，以便拟定治疗方案和评估预后。但目前仍缺乏理想的特异性强的早期诊断方法，尤其对深部肿瘤的早期诊断更为困难。
目前，临床检查结合病理活检是目前确认病变组织学类型的金标准，如果不进行病理检查，医师无法通过肉眼进行鉴定腺瘤和息肉。临床研究表明，很多恶性肿瘤是从已经存在的腺瘤转化而来，因此尽早发现腺瘤对早期治疗有良好的预后，发现并切除肿瘤可以避免不必要的活检，并且还可以减少活检手术引起的并发症，进一步降低死亡率。
近年来，随着深度学习方法的发展，许多学者已将深度学习应用于临床医学图像的检测和分类。卷积神经网络(CNN)是一种经典的深度学习模型，它通过模拟人类视觉系统的识别过程来提取下层边缘纹理的局部特征，并提取深层中的高维特征，具有较高的泛化性能。但是大多数当前深度学习架构通常只考虑单模态，而不能充分利用临床图像的多模态信息。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种临床图像中病变区域的检测和分类方法，可实现自动检测临床图像中的病变区域，并结合病变区域和初始临床图像的全局信息和局部信息，利用双流卷积神经网络准确的分类疾病。
为实现上述技术目的，本发明采取的技术方案为：
一种临床图像中病变区域的检测和分类方法，包括：
步骤1、对原始临床图像进行预处理，先去除原始临床图像中多余图像部分和噪声，再进行归一化和数据增强，得到全局图像数据集；
步骤2、将步骤1得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型(RCNN)中进行训练，检测图像中的可能存在的病变区域；
步骤3、将步骤2检测到的可能存在的病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；
步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤1包括：
步骤101、利用灰度阈值分割法，去除图像中的白边和过渡曝光的部分；
步骤102、根据图像垂直方向和水平方向的灰度投影直方图，获取后续算法所需要区域的长和宽，根据得到的所需要区域长和宽截取所需要的区域，以去除所需要的区域之外的多余图像部分；
步骤103、使用低通滤波器，去除图像信号中的噪声；
步骤104、通过插值将图像标准化为相同尺寸，减少计算的复杂度；
步骤105、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；
步骤106、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到全局图像数据集。
上述的步骤105使用如下公式对图像归一化：
Figure BDA0002639219330000021
其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床图像像素最大值。
上述的步骤2所述基于检测图像中目标区域的卷积神经网络模型(RCNN)包括基于Resnet网络架构的卷积神经网络、特征金字塔(FPN)网络和区域生成网络(RPN)；
所述特征金字塔网络使用具有横向连接的自顶向下架构，从单一规模的输入构建网络功能金字塔，获取不同尺寸的特征图，更完整保留图像信息；
所述区域生成网络采用滑动窗口扫描整幅图像，目的是寻找图像中所有可能存在病变的区域。
上述的步骤2包括：
步骤201、根据基于Resnet网络架构的卷积神经网络和特征金字塔网络，提取图像中的多尺度特征；
步骤202、根据提取的多尺度特征，结合区域生成网络，获得图像中所有可能存在病变区域的提取框；
步骤203、利用非最大抑制方法筛选步骤202生成目标区域，利用基于检测图像中目标区域的卷积神经网络模型对筛选后的目标区域进行回归和分类，最终判断出可能存在的病变区域。
上述的基于检测图像中目标区域的卷积神经网络模型的损失函数为：
L＝Lcls+Lbox+Lmask
其中，L是损失函数，Lcls是回归框的分类损失值，Lbox是回归框的分类损失值，Lmask是病变区域的损失值。
上述的步骤3所述切割矩形框区域得到病变区域，并对切割后得到的病变区域归一化和数据增强，包括以下步骤：
步骤301、根据步骤2检测到的可能存在的病变区域矩形框的位置，裁剪得到含有病变的区域，即病变区域；
步骤302、将病变区域图像通过插值标准化为相同尺寸，减少计算的复杂度；
步骤303、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；
步骤304、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到包含病变区域的局部图像数据集。
上述的步骤4包括：
步骤401、将全局图像数据集输入到双流卷积神经网络中的一路卷积神经网络完成卷积计算，得到全局特征图；
步骤402、将包含病变区域的局部图像数据集作为另一流输入到双流卷积神经网络完成卷积运算，得到局部特征图；
步骤403、连接双流卷积神经网络两流输出的特征图，作为最终特征输入到双流卷积神经网络的终端的全连接层，并得到最终的分类结果。
上述的双流卷积神经网络，根据Resnet的残差网络结合数据集特点修改所得，损失函数为Softmax。
上述的双流卷积神经网络为resnet50网络，resnet50网络中，网络装载初始权重，resnet50利用残差网络结构提取图像特征，其中，残差网络的公式如下：
R(x)＝F(x)+x
其中，R(x)代表残差块的输入，F(x)代表左侧主路径的输出，x代表输入；
所述双流卷积神经网络的损失函数计算公式为：
Figure BDA0002639219330000041
其中，yk是输入的预测概率值，θk是网络训练权重超参数,x是输入。
本发明具有以下有益效果：
(1)本发明的方法可实现基于深度学习下临床图像数据自动检测和分类，既可以避免费时的手工启发式学习，还能避免不必要的活检，减少由于活检手术引起的并发症
(2)本发明方法充分利用了临床图像多模态信息，双模态分类网络结合了全局特征和局部特征，从而提高了模型的泛化能力和包含病变信息的临床图像的分类准确率。
附图说明
图1是本发明方法的流程框图。
图2是本发明应用在临床内窥镜肠道图像检测和分类肠道病变的结构框图。
图3是以内窥镜肠道图像为例，经步骤101-步骤103预处理后和原始图像对比的一种结果图。
图4是以内窥镜肠道图像为例，采用三种数据增强方式后的一种结果图。
图5是以内窥镜肠道图像为例，输入图经过基于检测图像中病变区域的卷积神经网络模型后的输出结果图。
图6是Resnet中残差网络的结构图。
图7是三种内窥镜肠道图像。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示，是本发明的基于多模态深度学习的临床图像检测和分类方法的流程图，该方法包括以下步骤：
步骤1、对原始肠镜临床图像进行预处理，去除肠镜临床图像多余信息和噪声，并对其归一化和数据增强，得到全局图像数据集；
临床图像由医学成像系统所得，并依据病人病理分为不同类图像，例如良性和恶性等。
步骤2、将全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型(RCNN)中进行训练，检测图像中的可能存在的病变区域；
步骤3、将可能病变区域用矩形框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域归一化和数据增强，得到包含病变区域的局部图像数据集；
步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。
如图2所示，是本发明应用在临床内窥镜肠道图像检测和分类肠道病变的结构框图。
实施例中，在步骤1中，所述对原始图像预处理包括：
步骤101、利用灰度阈值分割法，去除图像中的白边和过渡曝光的部分；
步骤102、根据图像垂直方向和水平方向的灰度投影直方图，获取图像中肠镜区域的长和宽，根据得到的长和宽截取所需要的区域，以去除多余的信息；
步骤103、使用低通滤波器，去除图像信号中的噪声。
如图3所示，是以内窥镜肠道图像为例，经过步骤101-步骤103预处理后和原始图像对比的一种结果图。
步骤104、将临床图像通过插值标准化为相同尺寸，减少计算的复杂度；
这里，依据肠镜临床图像的大小将肠镜临床图像归一化到512×512。
步骤105、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；通过使用如下公式对图像归一化：
Figure BDA0002639219330000051
其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床图像像素最大值。
步骤106、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的数据集，得到全局图像数据集。
如图4所示，是以内窥镜肠道图像为例，是采用上述实施例三种数据增强方式后的一种结果图。
实施例中，步骤2所述基于检测图像中目标区域的卷积神经网络模型包括基于Resnet网络架构的卷积神经网络、特征金字塔网络和区域生成网络；
利用非最大抑制方法生成目标区域，利用卷积神经网络模型对生成的目标区域进行回归和分类，最终判断出的病变区域；所述区域生成网络采用滑动窗口扫描整幅图像，目的是寻找图像中所有可能存在病变的区域。
步骤2具体包括：
步骤201、根据卷积神经网络和特征金字塔网络，提取图像中的多尺度特征；
步骤202、根据多尺度特征结合区域生成网络，获得图像中所有可能存在病变区域提取框；
步骤203、利用非最大抑制方法筛选步骤202生成的目标区域，结合最终的分类回归层确定可能病变区域是否为肠道病变区域。
在步骤201中，将经过步骤1处理后的图像输入到卷积神经网络和特征金字塔里训练，这里的卷积神经网络是基于Resnet网络架构，特征金字塔使用具有横向连接的自顶向下架构，从单一规模的输入构建网络功能金字塔。使用ResNet-FPN主干架构进行特征提取，可以在精度和速度方面获得极大的提升。
在步骤202中，将步骤201提取到的特征图输入到区域生成网络(RPN)，该网络用滑动窗口扫描图像，寻找可能存在病变的区域。
在步骤203中，步骤202选出的可能存在病变的区域，但如果有多个anchor互相重叠，本发明采用非最大抑制的方法保留拥有最高前景分数的候选框，并舍弃余下的。然后可得到最终的候选框，采用ROIAlign的方法将所有候选框插值到同一个大小，这些相同大小的候选框经过分类、回归和分割网络得到最终的检测结果，最终的损失函数为：
L＝Lcls+Lbox+Lmask
其中，L是损失函数，Lcls是回归框的分类损失值，Lbox是回归框的分类损失值，Lmask是病变区域的损失值。
如图5所示，是以内窥镜肠道图像为例，基于检测图像中病变区域的卷积神经网络模型的(R-CNN)的输入输出对比图。
实施例中，步骤3具体包括：
步骤301、根据步骤2检测到的可能存在的病变区域矩形框的位置，裁剪得到含有病变的区域；
步骤302、将病变区域图像通过插值标准化为相同尺寸，减少计算的复杂度；
这里，临床图像病变区域的大小决定图像标准化大小，依据肠道病变的统计学知识，将肠镜临床图像归一化到128×128。
步骤303、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；通过使用如下公式对图像归一化：
Figure BDA0002639219330000071
其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床像素最大值。
步骤304利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的数据集，得到包含病变区域的局部图像数据集。
实施例中，步骤4具体包括：
步骤401将全局图像数据集输入到双流卷积神经网络中的一路卷积神经网络完成卷积计算，得到全局特征图；
步骤402将包含病变区域的局部图像数据集作为另一流输入到双流卷积神经网络完成卷积运算，得到局部特征图；
步骤403连接两流输出的特征图，作为最终特征输入到全连接层，并得到最终的分类结果。
步骤404根据所述训练数据集特点微调所述多模态深度学习网络模型得到最优模型。
在步骤401中，将经过步骤1处理后得到的全局图像数据集输入到resnet50网络中，网络装载初始权重，resnet50利用残差结构提取图像特征，其中，残差网络的公式如下：
R(x)＝F(x)+x
其中，R(x)代表残差块的输入，F(x)代表左侧主路径的输出，x代表输入。
如图6所示：resnet中残差网络的结构图。
在步骤402中，将经过步骤3处理后的病变区域图像，即包含病变区域的局部图像数据集输入到双流卷积神经网络中，提取局部特征，这里的双流卷积神经网络也是基于resnet，但根据输入图像大小残差网络数目有所调整，调整到输出的特征图和步骤401的输出特征图拥有相同大小。
在步骤403中，以肠镜临床图像为例，全局图像和病变区域图像大小分别是512×512，128×128分别作为输入进行卷积计算，得到的特征图拥有相同的大小，大小分别为8×8×2048和8×8×1024，将两部分的特征图融合，融合后的特征大小为8×8×3072。
将步骤403中融合后的特征图，送到全连接层进行预测和分类临床图像病变。最终的损失函数计算公式为：
Figure BDA0002639219330000081
其中，yk是输入的预测概率值，θk是网络训练权重超参数,x是输入。
本发明所述的一种基于多模态深度学习的临床图像检测和分类的方法和系统，临床图像由医学成像系统所得，并依据病人病理分为不同类图像，例如良性和恶性等。其中，例中的内窥镜肠道图像由内窥镜系统所得，共三类图像，分别为正常类，系肉类和腺瘤类。
如图7所示，三类内窥镜肠道图像。
综述，本发明的适用于自动检测和分类临床图像病变，利用临床图像的全局信息和局部信息，本发明提供了一个完整的系统准确预测病变种类，帮助临床医生快速诊断病变类型，节省诊断时间，避免手术活检，降低病人的风险率，与此同此帮助医生更好地决策下一步治疗方案。
本说明书中的实施例采用递进的方式描述，通过上述实施例逐步详细说明了本发明的具体流程及相关实施细节。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种临床图像中病变区域的检测和分类方法，其特征在于，包括：
步骤1、对原始临床图像进行预处理，先去除原始临床图像中多余图像部分和噪声，再进行归一化和数据增强，得到全局图像数据集；
步骤2、将步骤1得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能存在的病变区域；
步骤3、将步骤2检测到的可能存在的病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；
步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。
2.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤1包括：
步骤101、利用灰度阈值分割法，去除图像中的白边和过渡曝光的部分；
步骤102、根据图像垂直方向和水平方向的灰度投影直方图，获取图像中包含病变区域的矩形框位置、长和宽，根据得到的矩形框长和宽截取所需要的区域，以去除所需要的区域之外的多余图像部分；
步骤103、使用低通滤波器，去除图像信号中的噪声；
步骤104、通过插值将图像标准化为相同尺寸，减少计算的复杂度；
步骤105、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；
步骤106、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到全局图像数据集。
3.根据权利要求2所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤105使用如下公式对图像归一化：
Figure FDA0002639219320000011
其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床图像像素最大值。
4.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，步骤2所述基于检测图像中目标区域的卷积神经网络模型包括基于Resnet网络架构的卷积神经网络、特征金字塔网络和区域生成网络；
所述特征金字塔网络使用具有横向连接的自顶向下架构，从单一规模的输入构建网络功能金字塔，获取不同尺寸的特征图，更完整保留图像信息；
所述区域生成网络采用滑动窗口扫描整幅图像，目的是寻找图像中所有可能存在病变的区域。
5.根据权利要求4所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤2包括：
步骤201、根据基于Resnet网络架构的卷积神经网络和特征金字塔网络，提取图像中的多尺度特征；
步骤202、根据提取的多尺度特征，结合区域生成网络，获得图像中所有可能存在病变区域的提取框；
步骤203、利用非最大抑制方法筛选步骤202生成的提取框，利用基于检测图像中目标区域的卷积神经网络模型对筛选后的目标区域进行回归和分类，最终判断出可能存在的病变区域。
6.根据权利要求4所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述基于检测图像中目标区域的卷积神经网络模型的损失函数为：
L＝Lcls+Lbox+Lmask
其中，L是损失函数，Lcls是回归框的分类损失值，Lbox是回归框的分类损失值，Lmask是病变区域的损失值。
7.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，步骤3所述切割矩形框区域得到病变区域，并对切割后得到的病变区域归一化和数据增强，包括以下步骤：
步骤301、根据步骤2检测到的可能存在的病变区域矩形框的位置，裁剪得到含有病变的区域，即病变区域；
步骤302、将病变区域图像通过插值标准化为相同尺寸，减少计算的复杂度；
步骤303、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；
步骤304、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到包含病变区域的局部图像数据集。
8.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤4包括：
步骤401、将全局图像集输入到双流卷积神经网络中的一路卷积神经网络完成卷积计算，得到全局特征图；
步骤402、将包含病变区域的局部图像数据集作为另一流输入到双流卷积神经网络完成卷积运算，得到局部特征图；
步骤403、连接双流卷积神经网络两流输出的特征图，作为最终特征输入到双流卷积神经网络对应终端的全连接层，并得到最终的分类结果。
9.根据权利要求8所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述双流卷积神经网络，根据Resnet的残差网络结合数据集特点修改所得，损失函数为Softmax。
10.根据权利要求9所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述双流卷积神经网络为resnet50网络，resnet50网络中，网络装载初始权重，resnet50利用残差网络结构提取图像特征，其中，残差网络的公式如下：
R(x)＝F(x)+x
其中，R(x)代表残差块的输入，F(x)代表左侧主路径的输出，x代表输入；
所述双流卷积神经网络的损失函数计算公式为：
Figure FDA0002639219320000031
其中，yk是输入的预测概率值，θk是网络训练权重超参数,x是输入。
CN202010834609.4A 2020-08-19 2020-08-19 一种临床图像中病变区域的检测和分类方法 Active CN111968091B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010834609.4A CN111968091B (zh) 2020-08-19 2020-08-19 一种临床图像中病变区域的检测和分类方法
EP21857734.4A EP4198819A4 (en) 2020-08-19 2021-08-19 METHOD FOR DETECTING AND CLASSIFYING A LESION AREA IN A CLINICAL IMAGE
PCT/CN2021/113510 WO2022037642A1 (zh) 2020-08-19 2021-08-19 一种临床图像中病变区域的检测和分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010834609.4A CN111968091B (zh) 2020-08-19 2020-08-19 一种临床图像中病变区域的检测和分类方法

Publications (2)

Publication Number Publication Date
CN111968091A true CN111968091A (zh) 2020-11-20
CN111968091B CN111968091B (zh) 2022-04-01

Family

ID=73388456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010834609.4A Active CN111968091B (zh) 2020-08-19 2020-08-19 一种临床图像中病变区域的检测和分类方法

Country Status (3)

Country Link
EP (1) EP4198819A4 (zh)
CN (1) CN111968091B (zh)
WO (1) WO2022037642A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344028A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 乳腺超声序列图像分类方法及装置
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
WO2022037642A1 (zh) * 2020-08-19 2022-02-24 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN114224354A (zh) * 2021-11-15 2022-03-25 吉林大学 心律失常分类方法、装置及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743045B (zh) * 2022-03-31 2023-09-26 电子科技大学 一种基于双分支区域建议网络的小样本目标检测方法
US20240119706A1 (en) * 2022-09-30 2024-04-11 Samsung Electronics Co., Ltd. Generating images with small objects for training a pruned super-resolution network
CN116740410B (zh) * 2023-04-21 2024-01-30 中国地质大学（武汉） 双模态目标检测模型构建方法、检测方法及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292311A (zh) * 2017-08-10 2017-10-24 河南科技大学 一种基于神经网络的字符粘连验证码的识别方法
CN110705463A (zh) * 2019-09-29 2020-01-17 山东大学 基于多模态双流3d网络的视频人体行为识别方法及系统
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN111179227A (zh) * 2019-12-16 2020-05-19 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921037B (zh) * 2018-06-07 2022-06-03 四川大学 一种基于BN-inception双流网络的情绪识别方法
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110731773B (zh) * 2019-10-28 2022-10-28 浙江工业大学 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN111428066B (zh) * 2020-04-24 2021-08-24 南京图格医疗科技有限公司 一种基于卷积神经网络的病变图像的分类和分割方法
CN111968091B (zh) * 2020-08-19 2022-04-01 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292311A (zh) * 2017-08-10 2017-10-24 河南科技大学 一种基于神经网络的字符粘连验证码的识别方法
CN110705463A (zh) * 2019-09-29 2020-01-17 山东大学 基于多模态双流3d网络的视频人体行为识别方法及系统
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN111179227A (zh) * 2019-12-16 2020-05-19 西北工业大学 基于辅助诊断和主观美学的乳腺超声图像质量评价方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037642A1 (zh) * 2020-08-19 2022-02-24 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN113344028A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 乳腺超声序列图像分类方法及装置
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN114224354A (zh) * 2021-11-15 2022-03-25 吉林大学 心律失常分类方法、装置及可读存储介质
CN114224354B (zh) * 2021-11-15 2024-01-30 吉林大学 心律失常分类方法、装置及可读存储介质

Also Published As

Publication number Publication date
WO2022037642A1 (zh) 2022-02-24
EP4198819A1 (en) 2023-06-21
EP4198819A4 (en) 2024-07-03
CN111968091B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN111968091B (zh) 一种临床图像中病变区域的检测和分类方法
US11010902B2 (en) Capsules for image analysis
JP5305850B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN113261012B (zh) 处理图像的方法、装置及系统
Huang et al. Extracting keyframes of breast ultrasound video using deep reinforcement learning
JP7499364B2 (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
CN109460717A (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
van der Putten et al. Informative frame classification of endoscopic videos using convolutional neural networks and hidden Markov models
Yue et al. Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
Abbasi et al. LMBiS-Net: A Lightweight Multipath Bidirectional Skip Connection based CNN for Retinal Blood Vessel Segmentation
KR20110130288A (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
RU2668699C1 (ru) Интеллектуальный способ диагностики и обнаружения новообразований в легких
Wang et al. Organic Boundary Location Based on Color‐Texture of Visual Perception in Wireless Capsule Endoscopy Video
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
Gatoula et al. Enhanced CNN-based gaze estimation on wireless capsule endoscopy images
CN114271763A (zh) 一种基于Mask RCNN的胃癌早期识别方法、系统、装置
US12016696B2 (en) Device for the qualitative evaluation of human organs
CN117437580B (zh) 消化道肿瘤识别方法、系统及介质
CN117058467B (zh) 一种胃肠道病变类型识别方法及系统
JP2024507290A (ja) 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
田中秀和 et al. Value of artificial intelligence with novel tumor tracking technology in the diagnosis of gastric submucosal tumors by contrast-enhanced harmonic endoscopic ultrasonography
CN117830631A (zh) 一种基于transformer的肠胃道内窥镜图像分类和分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant