CN106991445A - 一种基于深度学习的超声造影肿瘤自动识别与检测方法 - Google Patents

一种基于深度学习的超声造影肿瘤自动识别与检测方法 Download PDF

Info

Publication number
CN106991445A
CN106991445A CN201710219065.9A CN201710219065A CN106991445A CN 106991445 A CN106991445 A CN 106991445A CN 201710219065 A CN201710219065 A CN 201710219065A CN 106991445 A CN106991445 A CN 106991445A
Authority
CN
China
Prior art keywords
feature
layer
video data
ultrasonic contrast
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710219065.9A
Other languages
English (en)
Inventor
周喜川
杨帆
冯玉洁
谭跃
李胜力
李坤平
赵昕
刘念
徐埌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201710219065.9A priority Critical patent/CN106991445A/zh
Publication of CN106991445A publication Critical patent/CN106991445A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于深度学习的超声造影肿瘤自动识别与检测方法，包括以下步骤：获取目标区域的特征视频数据；对所述特征视频数据进行数据预处理：将预处理后的特征视频数据进行分块得到若干视频块；将视频块作输入到3D卷积神经网络中进行数据处理得到特征图层；将特征图层输入到全连接层中进行特征分类，最终判断分类是否为肿瘤。本发明提供的方法，利用3D卷积神经网络，能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，并基于肿瘤组织与正常组织的差异性，结合了视频数据的时空特性，使用了3DCNN算法进行肿瘤分割，实现肿瘤组织的检测，比传统机器学习算法取得了更好的分割准确率。

Description

一种基于深度学习的超声造影肿瘤自动识别与检测方法
技术领域
本发明涉及图像识别技术领域，特别是一种基于深度学习的超声造影肿瘤自动识别与检测方法。
背景技术
当前面向超声造影肿瘤诊断的计算机辅助诊断方法的研究很少，通过检索相关关键词，发现近年来很少对该方法进行研究，主要研究思路是利用B超的图像和已知的肝脏病灶区域的图像作为数据，分别使用了人神经网络和决策树进行分类，实现了一定程度的准确率。但是由于病灶区形态的多样性，在应对未知类型的病灶区时，无法实现有效的预测。其中，对于组织纹理不同的肝癌组织识别准确率仅有65.2％，对于完全不同类型的肝癌组织的识别率仅有41.7％；基于现有的传统分类器如决策树、多分类的逻辑回归等，分割准确率较低，具有较高的假阳性率和假阴性率；现有的分类器在识别上无法达到较高的准确率。
超声造影肿瘤检测是现在肿瘤检测中敏感度准确度最高的检测方法之一，但是现有的超声造影肿瘤诊断都基于医生的专业知识对医生的专业水平有很高的要求，因此只有少量的高水平医院可以开展超声造影肿瘤检测。为提高超声造影肿瘤检测的自动化程度、肿瘤检测的准确度。
发明内容
本发明的目的是提出一种基于深度学习的超声造影肿瘤自动识别与检测方法。
本发明的目的是通过以下技术方案来实现的：
本发明提供的基于深度学习的超声造影肿瘤自动识别与检测方法，包括以下步骤：
获取目标区域的特征视频数据；
对所述特征视频数据进行数据预处理：
将预处理后的特征视频数据进行分块得到若干视频块；
将视频块作输入到3D卷积神经网络中进行数据处理得到特征图层；
将特征图层输入到全连接层中进行特征分类；
输出最终分类结果。
进一步，所述3D卷积神经网络按照以下公式提取特征图层：
其中，表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值；m表示i-1层与第j个特征图层所连接的特征图层的索引值；Pi和Qi分别表示第i层的卷积核的高和宽Ri表示第i层卷积核的深度；为第m个特征图层上与位于(p,q,r)点的值；bij为第j个特征图层的偏置；g()为激活函数。
进一步，所述3D卷积神经网络按照反向传播BP算法进行训练。
进一步，所述特征视频数据为从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频。
进一步，所述特征视频数据为等时长的视频数据，所述时长为从微泡注入到微泡完全充盈组织区域的时长。
由于采用了上述技术方案，本发明具有如下的优点：
本发明提供的基于深度学习的自动化超声造影肿瘤识别与检测方法。该方法利用3D卷积神经网络，能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，并基于肿瘤组织与正常组织的差异性，结合了视频数据的时空特性，使用了3DCNN算法进行肿瘤分割，实现肿瘤组织的检测，比传统机器学习算法取得了更好的分割准确率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
本发明的附图说明如下。
图1为本发明的流程图。
图2为本发明的3D卷积神经网络结构示意图。
图3a为本发明的自动识别与检测原图。
图3b为本发明的自动识别与检测效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
本实施例提供的基于深度学习的超声造影肿瘤自动识别与检测方法，包括以下步骤：
获取目标区域的特征视频数据；所述特征视频为从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频；
对所述特征视频数据进行数据预处理：
预处理：原视频为帧率100帧每秒，时长200秒的视频数据，一个视频就有2GB大小，直接处理如此大小的数据会导致训练和测试时间过长，故截取等时长的从微泡注入到充盈组织的10秒，每秒1关键帧的数据作为初步预处理得到的视频数据。其中要保证不同的样本间截取的帧从微泡注入到开始充盈组织的时长是一样的。
将预处理后的特征视频数据进行分块得到若干视频块；
分块：将上一步预处理得到的10帧的视频数据，分成若干个23*23*10的小视频块(覆盖了全部的大小，有重叠部分)
将视频块作输入到3D卷积神经网络中进行特征提取得到特征图层；
特征提取公式如下式，先经过三维卷积运算，增加偏置，然后通过激活函数，输出的结果为特征图层
将特征图层输入到全连接层中进行特征分类，全连接层的输出宽度为2，表示最终的分类结果是否为肿瘤。
所述3D卷积神经网络(见图2，其中最左边10幅图代表着10帧的23*23的视频数据)按照以下公式提取特征图层：
其中，表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值；m表示i-1层与第j个特征图层所连接的特征图层的索引值；Pi和Qi分别表示第i层的卷积核的高和宽Ri表示第i层卷积核的深度；为第m个特征图层上与位于(p,q,r)点的值；bij为第j个特征图层的偏置；g()为激活函数。
所述3D卷积神经网络按照以下方式进行训练：
训练算法采用经典的反向传播(BP)算法，即使用反向传播算法进行训练。
实施例2
本实施例提供的基于深度学习的超声造影肿瘤自动识别与检测方法，该方法利用3D卷积神经网络，能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，并基于肿瘤组织与正常组织的差异性，实现肿瘤组织的检测。该方法同时考虑到目标区域周围的空间信息和随时间变化的信息，提高了分割准确率；兼顾了周围的空间信息和连续的时间信息；有效地将纳米微泡在组织(或肿瘤)中的流动过程信息较好的用于肿瘤区域的分割。实现较高的分割准确率，具体步骤如下：
数据预处理：截取视频，从完整视频中截取同样长度的特征视频数据，特征视频主要包括从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频。视频的长度和帧率根据数据的种类和帧率进行确定，保证不同的视频数据截取后的视频长度相等。
视频分块：选取每个像素点周围一定数量的像素点的视频数据作为一个视频块，每个视频块的标签取决于视频块中是否包含肿瘤区域。将截取后的视频进行分块得到若干同样大小，同样时间长度且带有标签的视频块，这些视频块作为3D卷积神经网络的输入数据。
特征提取：将得到数据输入训练好的网络中，网络通过3D卷积层进行特征提取，每个层包含不同数量的3D卷积核，对于输入的数据进行特征提取产生不同的特征图层。每个卷积层后接一个采样层，采样层将缩小特征图层的大小以减少网络中参数的数目。
特征分类：将经过多层卷积层和采样层提取后的特征与一个全连接层相连以实现分类。全连接层的输出宽度为2，表示最终的分类结果是否为肿瘤。网络中的各项参数均使用经典的反向传播算法进行训练。网络的结构如下图2所示，其中，最左边的输入是23*23*10大小的视频块，10是指的10帧图像。经过一层三维卷积层，卷积核大小为4*4*4，生成了3个大小为20*20*7的特征图层，经过采样层特征图层大小变成了10*10*7，再经过第二层卷积层，卷积核大小为3*3*4，生成12个8*8*4的特征图层，经过第二层采样层特征图层变为4*4*4，最后通过一个4*4的二维卷积把前面特征图层拉成一个特征向量。将给向量输入到一个输入宽度为128输出宽度为2的全连接层中，最后的输出结果就是视频块是否包含肿瘤的结果。
图3a是肿瘤的标签数据，图3b是3DCNN的网络识别结果，是一个伪彩的图；前面的3D卷积神经网络实际上是完成了一个特征提取的过程，从不同的视频块中提取出了视频块的特征，然后全连接层才是最后的分类器，就相当于一般的神经网络，将前面提取到的特征进行分类，最后的输出结果就是，该视频块是否包含肿瘤部分。其中训练方法就是经典反向传播算法，根据已知的标签和数据进行训练，不断的调整卷积核的权重和每层的偏置值，全连接层的权重和偏置等。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (5)

1.一种基于深度学习的超声造影肿瘤自动识别与检测方法，其特征在于：包括以下步骤：
获取目标区域的特征视频数据；
对所述特征视频数据进行数据预处理：
将预处理后的特征视频数据进行分块得到若干视频块；
将视频块作输入到3D卷积神经网络中进行数据处理得到特征图层；
将特征图层输入到全连接层中进行特征分类；
输出最终分类结果。
2.如权利要求1所述的基于深度学习的超声造影肿瘤自动识别与检测方法，其特征在于：所述3D卷积神经网络按照以下公式提取特征图层：
v i j x y z = g ( Σ m Σ p = 0 P i - 1 Σ q = 0 Q i - 1 Σ r = 0 R i - 1 w i j m p q r v ( i - 1 ) m ( x + p ) ( y + q ) ( z + r ) + b i j ) ;
其中，表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值；m表示i-1层与第j个特征图层所连接的特征图层的索引值；Pi和Qi分别表示第i层的卷积核的高和宽Ri表示第i层卷积核的深度；为第m个特征图层上与位于(p,q,r)点的值；bij为第j个特征图层的偏置；g()为激活函数。
3.如权利要求1所述的基于深度学习的超声造影肿瘤自动识别与检测方法，其特征在于：所述3D卷积神经网络按照反向传播BP算法进行训练。
4.如权利要求1所述的基于深度学习的超声造影肿瘤自动识别与检测方法，其特征在于：所述特征视频数据为从微泡注入到微泡完全充盈组织区域后稳定一段时间的视频。
5.如权利要求1所述的基于深度学习的超声造影肿瘤自动识别与检测方法，其特征在于：所述特征视频数据为等时长的视频数据，所述时长为从微泡注入到微泡完全充盈组织区域的时长。
CN201710219065.9A 2017-04-05 2017-04-05 一种基于深度学习的超声造影肿瘤自动识别与检测方法 Pending CN106991445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710219065.9A CN106991445A (zh) 2017-04-05 2017-04-05 一种基于深度学习的超声造影肿瘤自动识别与检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710219065.9A CN106991445A (zh) 2017-04-05 2017-04-05 一种基于深度学习的超声造影肿瘤自动识别与检测方法

Publications (1)

Publication Number Publication Date
CN106991445A true CN106991445A (zh) 2017-07-28

Family

ID=59414911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710219065.9A Pending CN106991445A (zh) 2017-04-05 2017-04-05 一种基于深度学习的超声造影肿瘤自动识别与检测方法

Country Status (1)

Country Link
CN (1) CN106991445A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875931A (zh) * 2017-12-06 2018-11-23 北京旷视科技有限公司 神经网络训练及图像处理方法、装置、系统
WO2019130131A1 (en) * 2017-12-27 2019-07-04 International Business Machines Corporation Adaptive segmentation of lesions in medical images
CN109965905A (zh) * 2019-04-11 2019-07-05 复旦大学 一种基于深度学习的造影区域检测成像方法
CN110613486A (zh) * 2019-09-30 2019-12-27 深圳大学总医院 一种乳腺超声图像的检测方法及装置
CN110664426A (zh) * 2019-10-18 2020-01-10 北京深睿博联科技有限责任公司 基于深度密集卷积网络的胃部补水充盈程度判断方法
CN110730140A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于时空特性相结合的深度学习流量分类方法
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN111462049A (zh) * 2020-03-09 2020-07-28 西南交通大学 一种乳腺超声造影视频中病灶区形态自动标注方法
CN112862822A (zh) * 2021-04-06 2021-05-28 华侨大学 一种超声乳腺肿瘤检测与分类方法、装置与介质
CN113838210A (zh) * 2021-09-10 2021-12-24 西北工业大学 一种将超声图像转换为3d模型的方法及装置
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN115278360A (zh) * 2022-07-18 2022-11-01 天翼云科技有限公司 一种视频数据处理方法及电子设备
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN116705252A (zh) * 2023-06-16 2023-09-05 脉得智能科技(无锡)有限公司 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质
CN116705252B (zh) * 2023-06-16 2024-05-31 脉得智能科技(无锡)有限公司 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875931A (zh) * 2017-12-06 2018-11-23 北京旷视科技有限公司 神经网络训练及图像处理方法、装置、系统
CN108875931B (zh) * 2017-12-06 2022-06-21 北京旷视科技有限公司 神经网络训练及图像处理方法、装置、系统
WO2019130131A1 (en) * 2017-12-27 2019-07-04 International Business Machines Corporation Adaptive segmentation of lesions in medical images
GB2582882A (en) * 2017-12-27 2020-10-07 Ibm Adaptive segmentation of lesions in medical images
GB2582882B (en) * 2017-12-27 2021-03-31 Ibm Adaptive segmentation of lesions in medical images
CN109965905A (zh) * 2019-04-11 2019-07-05 复旦大学 一种基于深度学习的造影区域检测成像方法
CN109965905B (zh) * 2019-04-11 2020-02-11 复旦大学 一种基于深度学习的造影区域检测成像方法
CN110613486A (zh) * 2019-09-30 2019-12-27 深圳大学总医院 一种乳腺超声图像的检测方法及装置
CN110613486B (zh) * 2019-09-30 2022-04-22 深圳大学总医院 一种乳腺超声图像的检测方法及装置
CN110730140A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于时空特性相结合的深度学习流量分类方法
CN110730140B (zh) * 2019-10-12 2022-04-08 西安电子科技大学 基于时空特性相结合的深度学习流量分类方法
CN110664426A (zh) * 2019-10-18 2020-01-10 北京深睿博联科技有限责任公司 基于深度密集卷积网络的胃部补水充盈程度判断方法
CN110664426B (zh) * 2019-10-18 2023-04-28 北京深睿博联科技有限责任公司 基于深度密集卷积网络的胃部补水充盈程度判断方法
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN111462049A (zh) * 2020-03-09 2020-07-28 西南交通大学 一种乳腺超声造影视频中病灶区形态自动标注方法
CN111462049B (zh) * 2020-03-09 2022-05-17 西南交通大学 一种乳腺超声造影视频中病灶区形态自动标注方法
CN112862822A (zh) * 2021-04-06 2021-05-28 华侨大学 一种超声乳腺肿瘤检测与分类方法、装置与介质
CN112862822B (zh) * 2021-04-06 2023-05-30 华侨大学 一种超声乳腺肿瘤检测与分类方法、装置与介质
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN113838210A (zh) * 2021-09-10 2021-12-24 西北工业大学 一种将超声图像转换为3d模型的方法及装置
CN115278360A (zh) * 2022-07-18 2022-11-01 天翼云科技有限公司 一种视频数据处理方法及电子设备
CN115278360B (zh) * 2022-07-18 2023-11-07 天翼云科技有限公司 一种视频数据处理方法及电子设备
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN116309585B (zh) * 2023-05-22 2023-08-22 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN116705252A (zh) * 2023-06-16 2023-09-05 脉得智能科技(无锡)有限公司 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质
CN116705252B (zh) * 2023-06-16 2024-05-31 脉得智能科技(无锡)有限公司 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质

Similar Documents

Publication Publication Date Title
CN106991445A (zh) 一种基于深度学习的超声造影肿瘤自动识别与检测方法
Chen et al. Detection of rice plant diseases based on deep transfer learning
Jin et al. Cascade knowledge diffusion network for skin lesion diagnosis and segmentation
Harangi et al. Classification of skin lesions using an ensemble of deep neural networks
Zhang et al. Modified U-Net for plant diseased leaf image segmentation
Zhang et al. Identification of cucumber leaf diseases using deep learning and small sample size for agricultural Internet of Things
Zhao et al. SEV‐Net: Residual network embedded with attention mechanism for plant disease severity detection
CN106683104A (zh) 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
da Silva et al. Convolutional neural networks using enhanced radiographs for real-time detection of Sitophilus zeamais in maize grain
Ma et al. Algorithm of strawberry disease recognition based on deep convolutional neural network
Cao et al. An automated zizania quality grading method based on deep classification model
Suo et al. Casm-amfmnet: A network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases
Chen et al. IGT: Illumination-guided RGB-T object detection with transformers
Shen et al. RETRACTED: A novel Gauss-Laplace operator based on multi-scale convolution for dance motion image enhancement [EAI Endorsed Scal Inf Syst (2022), Online First]
Rehman et al. Fruit leaf diseases classification: A hierarchical deep learning framework
Prasad et al. Lung cancer detection and classification using deep neural network based on hybrid metaheuristic algorithm
Sreedevi et al. Development of weighted ensemble transfer learning for tomato leaf disease classification solving low resolution problems
Feng et al. Study on the optimization of CNN based on image identification
Nirgude et al. A robust deep learning approach to enhance the accuracy of pomegranate fruit disease detection under real field condition.
Zhu ACDNet with ASPP for camouflaged object detection
AlArfaj et al. Multi-Step Preprocessing With UNet Segmentation and Transfer Learning Model for Pepper Bell Leaf Disease Detection
Song et al. Pixel-centric context perception network for camouflaged object detection
Chelloug et al. MULTINET: A Multi-Agent DRL and EfficientNet Assisted Framework for 3D Plant Leaf Disease Identification and Severity Quantification
Gao et al. Exponential linear units-guided depthwise separable convolution network with cross attention mechanism for hyperspectral image classification
Gong et al. GRAPE LEAF DISEASE RECOGNITION BASED ON A MULTISCALE MIXED ATTENTION RESIDUAL NETWORK

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170728