CN110288597A - 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 - Google Patents
基于注意力机制的无线胶囊内窥镜视频显著性检测方法 Download PDFInfo
- Publication number
- CN110288597A CN110288597A CN201910599232.6A CN201910599232A CN110288597A CN 110288597 A CN110288597 A CN 110288597A CN 201910599232 A CN201910599232 A CN 201910599232A CN 110288597 A CN110288597 A CN 110288597A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- video
- conspicuousness
- capsule endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 239000002775 capsule Substances 0.000 title claims abstract description 20
- 230000007246 mechanism Effects 0.000 title claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000000306 recurrent effect Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims 1
- 230000008859 change Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000007812 deficiency Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000002052 colonoscopy Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
基于注意力机制的无线胶囊内窥镜视频显著性检测方法，它属于图像处理技术领域。本发明解决了采用人工方式对WCE视频进行检查易受消化道复杂环境影响、导致无法对显著性区域进行快速定位的问题。本发明通过胶囊内窥镜成像技术获取消化道内视频影像数据，对视频进行预处理后，分别对CNN分类模型和LSTM分割模型进行训练，两者相互补充，进行优化，可以快速获得WCE视频中图像的显著性检测结果，克服了人工方式无法对显著性区域进行快速定位的不足。本发明可以应用于图像处理技术领域。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种无线胶囊内窥镜视频显著性检测方法。
背景技术
由于无线胶囊内窥镜(Wireless Capsule Endoscopy，WCE)技术的无创伤性和操作方便性，使用WCE对消化道进行检查已经成为进行小肠检查的一种最常见的方案。此外，近年来，随着成像技术的发展，WCE的图像捕获速度越来越快，图像捕获角度越来越广，对每位患者的每一次检查都能获取到大量视频帧。
当今，临床上医生进行对于WCE视频的诊断主要依赖于人工对获取的完整WCE视频先进行有效帧获取，再对筛选出的有效帧进一步分析和诊断。其中对于WCE视频的有效帧的获取需要逐帧检查，且视频中的图像大多是非异常图像，而由于不同器官、不同异常的内窥镜形态上具有很多相似之处，异常区域的大小和位置多变，对于异常帧的图像检测也很大程度上依赖于医生的经验与设备的进步，医生人工对于数万张甚至数十万张视频帧的快速判断是当前WCE检查的一大难题。而且，采用人工方式对WCE视频进行检查易受消化道复杂环境影响、无法对显著性区域进行快速定位。因此，如何通过显著性检测技术对视频中的感兴趣区域进行突出的研究是很有必要的。
发明内容
本发明的目的是为解决采用人工方式对WCE视频进行检查易受消化道复杂环境影响、导致无法对显著性区域进行快速定位的问题，而提出了一种基于注意力机制的无线胶囊内窥镜视频显著性检测方法。
本发明为解决上述技术问题采取的技术方案是：基于注意力机制的无线胶囊内窥镜视频显著性检测方法，该方法包括以下步骤：
步骤一、获取完整的无线胶囊内窥镜视频影像数据，并对获取的视频影像数据进行逐帧筛查，得到视频影像数据中的全部有效帧图像；
步骤二、将步骤一得到的全部有效帧图像转换为HSV模式图像，并对转换成的HSV模式图像进行去噪处理，获得去噪处理后图像；
对去噪处理后的图像进行颜色空间变换，获得颜色空间变换后图像；
步骤三、从内窥镜语义分割数据库中选取图像数据，并对选取出的图像数据进行步骤二的处理，获得处理后的图像；
步骤四、对步骤二和步骤三获得的图像进行样本重采样，获得类别分布平衡的数据集，将获得的数据集中图像的尺寸统一后，再进行归一化操作获得归一化后图像；将获得的归一化后图像组成的数据集作为训练集；
步骤五、为CNN分类网络的每一阶段增添一个注意力分支来构建新的CNN分类网络，利用步骤四获得的训练集对构建的新的CNN分类网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration1max时停止训练，获得训练好的CNN分类网络；
步骤六、利用内窥镜视频帧序列的分割数据集(ASU-Mayo Clinic ColonoscopyVideo Data base)对LSTM循环神经网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration2max时停止训练，获得训练好的LSTM循环神经网络；
步骤七、对于待测视频序列，采用步骤二的方式对待测视频序列中的每帧图像进行处理，获得处理后的图像；
将处理后的图像按照其在待测视频序列中的顺序逐帧输入训练好的CNN分类网络，采用类激活映射方式对CNN分类网络的分类结果进行回溯，将每帧图像对应的回溯结果(显著性区域的初步检测结果)依次输入训练好的LSTM循环神经网络；
将训练好的LSTM循环神经网络的当前帧的显著性检测输出作为下一帧的显著性检测的先验融合进训练好的CNN分类模型的注意力机制中；直至全部帧图像显著性检测完成，将训练好的LSTM循环神经网络的输出作为待测视频序列的显著性检测结果。
本发明的有益效果是：本发明的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，通过胶囊内窥镜成像技术获取消化道内视频影像数据，对视频进行预处理后，分别对CNN分类模型和LSTM分割模型进行训练，两者相互补充，进行优化，可以快速获得WCE视频中图像的显著性检测结果，克服了人工方式无法对显著性区域进行快速定位的不足。
附图说明
图1是本发明构建的CNN分类网络的结构示意图；
图2是视频显著性检测网络模型的示意图；
Ft-1代表CNN分类网络输入的第t-1帧图像，St-1代表CNN分类网络输出的第t-1帧图像的预测结果，S′t-1代表LSTM显著性检测网络输出的第t-1帧图像的显著性检测结果，第t帧及第t+1帧的定义类似；
图3是本发明的一幅包含显著性区域的内窥镜视频帧的示意图；
图4是本发明的一幅不包含显著性区域的内窥镜视频帧的示意图。
具体实施方式
具体实施方式一：如图1至图4所示，本实施方式所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，该方法包括以下步骤：
步骤一、获取完整的无线胶囊内窥镜视频影像数据，并对获取的视频影像数据进行逐帧筛查，得到视频影像数据中的全部有效帧图像；
有效帧中的正常帧标记为类别0，包含异常区域的帧标记为类别1，图像类型总数为2；
步骤二、将步骤一得到的全部有效帧图像转换为HSV(Hue,Saturation,Value)模式图像，并对转换成的HSV模式图像进行去噪处理，获得去噪处理后图像；
对去噪处理后的图像进行颜色空间变换，获得颜色空间变换后图像；
步骤三、从内窥镜语义分割数据库(指本领域现有的内窥镜语义分割数据库)中选取图像数据，并对选取出的图像数据进行步骤二的处理，获得处理后的图像；
步骤四、对步骤二和步骤三获得的图像进行样本重采样，获得类别分布平衡(是指标记为正常和异常的图像的数据量相当)的数据集，将获得的数据集中图像的尺寸统一后，再进行归一化操作获得归一化后图像；将获得的归一化后图像组成的数据集作为训练集；
步骤五、为CNN分类网络的每一阶段增添一个注意力分支来构建新的CNN分类网络，利用步骤四获得的训练集对构建的新的CNN分类网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration1max时停止训练，获得训练好的CNN分类网络；
CNN分类网络的每一阶段是指每个经过下采样层之前的阶段，在每个阶段内图像尺寸不变；
步骤六、利用内窥镜视频帧序列的分割数据集(ASU-Mayo Clinic ColonoscopyVideo Data base)对LSTM循环神经网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration2max时停止训练，获得训练好的LSTM循环神经网络；
用于对LSTM循环神经网络进行训练的数据集还可以是CVC-CINIC、CVC-ColonDB；
步骤七、对于待测视频序列，采用步骤二的方式对待测视频序列中的每帧图像进行处理，获得处理后的图像；
将处理后的图像按照其在待测视频序列中的顺序逐帧输入训练好的CNN分类网络，采用类激活映射(Class Activation Mapping，CAM)方式对CNN分类网络的分类结果进行回溯，将每帧图像对应的回溯结果依次输入训练好的LSTM循环神经网络；
将训练好的LSTM循环神经网络的当前帧的显著性检测输出作为下一帧的显著性检测的先验融合进训练好的CNN分类模型的注意力机制中(第一帧使用第二帧的CNN显著性检测输出作为先验)；直至全部帧图像显著性检测完成，将训练好的LSTM循环神经网络的输出作为待测视频序列的显著性检测结果。
注意力分支使用语义分割数据集(仅进行前后景分割)进行训练，使得分类网络可以逐渐关注到视频帧中的前景区域。
步骤五中为基础CNN分类网络的每一阶段增添一个注意力分支来构建新的CNN分类网络，所述基础CNN分类网络包括输入层、卷积层、Batch-Normalization层、Pooling层、dropout层、全连接层以及输出层。卷积层可选卷积方式有深度可分离卷积、空洞卷积、可形变卷积、常规卷积。CNN分类网络优选设计如图1所示，但不局限于如图1所示的网络结构，VGG、AlexNet、ResNet、GoogLeNet等图像分类模型结构均可以应用在分类模型的构造中。
而且，在对构建的新的CNN分类网络进行训练之前，可以先进行CNN分类网络的预训练；预训练具体包括以下几个步骤：
1)、在大规模自然场景图像分类任务上进行模型的预训练(这种训练方式可能针对多分类问题)，获得预训练模型参数；
2)、用预训练模型初始化深度卷积神经网络除最后一个全连接层之外的每层的参数，其中，由于消化道内窥镜与自然场景图像分类数量不同，导致最后一个全连接层的网络参数数目不同，因此初始化的网络参数不包含最后一个全连接层的参数，最后一个全连接层的参数采用高斯均匀初始化的方式进行初始化。在此基础上进行调优训练；这种方式可以在数据集有限的情况下，让深度学习技术得以最大限度的使用；
3)、采用有监督的学习方法对预测模型进行训练，通过反向传播算法进行模型的求解，得到对于消化道内窥镜视频的每帧的类别概率预测模型。
CNN分类模型和LSTM分割模型二者结合得到的为弱监督视频显著性检测模型，解决了现有医学图像处理领域像素级标注数据集较少的问题。
本发明不是以获得疾病诊断结果或健康状况为直接目的，本发明只是属于中间的一个图像处理过程，并不能直接获得诊断结果，在本发明的基础上，如果想要获得最终诊断结果还需要经过其他一系列操作，因此，本发明不属于疾病的诊断方法。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述对获取的视频影像数据进行逐帧筛查，得到视频影像数据中的全部有效帧图像，其具体过程为：
根据无线胶囊内窥镜视频影像数据中有效帧图像和无效帧图像所包含的信息量不同，使用图像的信息量表示方式，如图像熵对整个视频影响数据进行分析；可直接采用阈值法，通过实验验证得到一个最佳的图像熵阈值；
将视频影像数据中包含信息量大于图像熵阈值的帧筛选出来作为有效帧图像，全部有效帧图像组成各个有效帧序列。
具体实施方式三：本实施方式与具体实施方式一不同的是：所述对转换成的HSV模式图像进行去噪处理所采用的方法为：均值滤波、高斯平滑滤波、拉普拉斯滤波、3D盒式滤波或3D中值滤波。
具体实施方式四：本实施方式与具体实施方式一不同的是：所述对去噪处理后的图像进行颜色空间变换是指将去噪处理后图像变换至YCbCr或RGB颜色空间。
将图像变换至合适的颜色空间有利于图像的特征的提取，如YCbCr颜色空间内内窥镜图像的颜色较为集中，这对于提取内窥镜图像的颜色特征、降低特征向量的维度是十分有利的。
具体实施方式五：本实施方式与具体实施方式一不同的是：所述步骤五中采用的损失函数为loss；
其中，损失函数loss由类别预测的交叉熵损失函数losscls和每个阶段的注意力分支的交叉熵损失函数构成，i代表第i个阶段的注意力分支，i＝1,2,…,s；为了使语义分割标签匹配每个阶段的特征图谱的分辨率，需要对语义分割数据集的标签在每个阶段进行适当的缩放。β为平衡因子，β由图像标签A中正像素A+和负像素A-的比例决定，|A|代表标签A中像素的总数，|A-|代表标签A中负像素的个数，P(aj＝1)和P(aj＝0)分别代表每个阶段的注意力分支预测的对应像素属于前景和背景的概率，y和分别代表图像的真实类别和预测类别为1的概率。
具体实施方式六：本实施方式与具体实施方式一不同的是：所述方法还包括步骤八，所述步骤八的具体过程为：
对步骤七获得的显著性检测结果进行后处理，若显著性检测结果为当前帧图像中不存在显著性区域，但在当前帧图像的前一帧和后一帧中存在响应大于阈值T的相同的显著性区域，则根据视频序列的一致性，当前帧图像中也存在显著性区域，通过对当前帧图像的前一帧和后一帧中响应大于阈值T的相同的显著性区域进行插值得到当前帧图像的显著性检测结果；
存在显著性区域的图像组成各个视频帧序列；对于每一个视频帧序列，使用异常点检测法对视频帧序列的每帧图像中的显著性响应最强的区域的中心点进行分析，若当前帧存在异常的中心点，则使用当前帧的前一帧和后一帧的插值作为当前帧修正后的显著性检测结果。
具体实施方式七：本实施方式与具体实施方式六不同的是：每一阶段的注意力分支可以并不独立，不同尺度的注意力信息之间可以相互融合，如金字塔状融合、max_out融合、map拼接融合等。
具体实施方式八：本实施方式与具体实施方式六不同的是：采用了注意力机制的CNN的训练可以分两个阶段训练，即先训练CNN分类骨架再使用分割数据集训练注意力分支；或CNN骨架与注意力分支使用多任务损失函数联合训练。
具体实施方式九：LSTM模型的上一帧中的显著性检测结果与当前帧的注意力分支的融合可以通过多种方式实现，如map拼接、map点乘或相加等方法。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (6)
1.基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，该方法包括以下步骤：
步骤一、获取完整的无线胶囊内窥镜视频影像数据，并对获取的视频影像数据进行逐帧筛查，得到视频影像数据中的全部有效帧图像；
步骤二、将步骤一得到的全部有效帧图像转换为HSV模式图像，并对转换成的HSV模式图像进行去噪处理，获得去噪处理后图像；
对去噪处理后的图像进行颜色空间变换，获得颜色空间变换后图像；
步骤三、从内窥镜语义分割数据库中选取图像数据，并对选取出的图像数据进行步骤二的处理，获得处理后的图像；
步骤四、对步骤二和步骤三获得的图像进行样本重采样，获得类别分布平衡的数据集，将获得的数据集中图像的尺寸统一后，再进行归一化操作获得归一化后图像；将获得的归一化后图像组成的数据集作为训练集；
步骤五、为CNN分类网络的每一阶段增添一个注意力分支来构建新的CNN分类网络，利用步骤四获得的训练集对构建的新的CNN分类网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration1max时停止训练，获得训练好的CNN分类网络；
步骤六、利用内窥镜视频帧序列的分割数据集对LSTM循环神经网络进行训练，直至损失函数值小于阈值或迭代次数达到设置的最大迭代次数Iteration2max时停止训练，获得训练好的LSTM循环神经网络；
步骤七、对于待测视频序列，采用步骤二的方式对待测视频序列中的每帧图像进行处理，获得处理后的图像；
将处理后的图像按照其在待测视频序列中的顺序逐帧输入训练好的CNN分类网络，采用类激活映射方式对CNN分类网络的分类结果进行回溯，将每帧图像对应的回溯结果依次输入训练好的LSTM循环神经网络；
将训练好的LSTM循环神经网络的当前帧的显著性检测输出作为下一帧的显著性检测的先验融合进训练好的CNN分类模型的注意力机制中；直至全部帧图像显著性检测完成，将训练好的LSTM循环神经网络的输出作为待测视频序列的显著性检测结果。
2.根据权利要求1所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，所述对获取的视频影像数据进行逐帧筛查，得到视频影像数据中的全部有效帧图像，其具体为：
将视频影像数据中包含信息量大于图像熵阈值的帧筛选出来作为有效帧图像。
3.根据权利要求1所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，所述对转换成的HSV模式图像进行去噪处理所采用的方法为：均值滤波、高斯平滑滤波、拉普拉斯滤波、3D盒式滤波或3D中值滤波。
4.根据权利要求1所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，所述对去噪处理后的图像进行颜色空间变换是指将去噪处理后图像变换至YCbCr或RGB颜色空间。
5.根据权利要求1所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，所述步骤五中采用的损失函数为loss；
其中，损失函数loss由类别预测的交叉熵损失函数losscls和每个阶段的注意力分支的交叉熵损失函数构成，i代表第i个阶段的注意力分支，i＝1,2,…,s；β为平衡因子，β由图像标签A中正像素A+和负像素A-的比例决定，|A|代表标签A中像素的总数，|A-|代表标签A中负像素的个数，P(aj＝1)和P(aj＝0)分别代表每个阶段的注意力分支预测的对应像素属于前景和背景的概率，y和分别代表图像的真实类别和预测类别为1的概率。
6.根据权利要求1所述的基于注意力机制的无线胶囊内窥镜视频显著性检测方法，其特征在于，所述方法还包括步骤八，所述步骤八的具体过程为：
对步骤七获得的显著性检测结果进行后处理，若显著性检测结果为当前帧图像中不存在显著性区域，但在当前帧图像的前一帧和后一帧中存在响应大于阈值T的相同的显著性区域，则根据视频序列的一致性，当前帧图像中也存在显著性区域，通过对当前帧图像的前一帧和后一帧中响应大于阈值T的相同的显著性区域进行插值得到当前帧图像的显著性检测结果；
存在显著性区域的图像组成各个视频帧序列；对于每一个视频帧序列，使用异常点检测法对视频帧序列的每帧图像中的显著性响应最强的区域的中心点进行分析，若当前帧存在异常的中心点，则使用当前帧的前一帧和后一帧的插值作为当前帧修正后的显著性检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599232.6A CN110288597B (zh) | 2019-07-01 | 2019-07-01 | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599232.6A CN110288597B (zh) | 2019-07-01 | 2019-07-01 | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288597A true CN110288597A (zh) | 2019-09-27 |
| CN110288597B CN110288597B (zh) | 2021-04-02 |
Family
ID=68020563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910599232.6A Active CN110288597B (zh) | 2019-07-01 | 2019-07-01 | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288597B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111000633A (zh) * | 2019-12-20 | 2020-04-14 | 山东大学齐鲁医院 | 一种内镜诊疗操作过程的监控方法及系统 |
| CN111242003A (zh) * | 2020-01-10 | 2020-06-05 | 南开大学 | 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法 |
| CN111274924A (zh) * | 2020-01-17 | 2020-06-12 | 厦门中控智慧信息技术有限公司 | 一种掌静脉检测模型建模方法、掌静脉检测方法及装置 |
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN112766416A (zh) * | 2021-02-10 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 一种消化内镜导航方法和系统 |
| CN112861883A (zh) * | 2021-03-18 | 2021-05-28 | 上海壁仞智能科技有限公司 | 一种图像显著性区域检测方法及装置 |
| CN112949508A (zh) * | 2021-03-08 | 2021-06-11 | 咪咕文化科技有限公司 | 模型训练方法、行人检测方法、电子设备及可读存储介质 |
| CN113569817A (zh) * | 2021-09-23 | 2021-10-29 | 山东建筑大学 | 基于图像区域定位机制的驾驶人注意力分散检测方法 |
| CN114587579A (zh) * | 2022-04-01 | 2022-06-07 | 桂林电子科技大学 | 基于lstm神经网络预测控制的磁激光内窥镜控制方法 |
| CN115393670A (zh) * | 2022-08-19 | 2022-11-25 | 珠海市圈宝网络科技有限公司 | 训练肺部内窥镜图像识别模型的方法及识别方法 |
| WO2023030520A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像分类模型的训练方法、图像分类方法和装置 |
| CN117058467A (zh) * | 2023-10-10 | 2023-11-14 | 湖北大学 | 一种胃肠道病变类型识别方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140180717A1 (en) * | 2012-12-20 | 2014-06-26 | Fuji Xerox Co., Ltd | Non-transitory computer readable medium, medical care record display apparatus, and medical care record display method |
| US20140254922A1 (en) * | 2013-03-11 | 2014-09-11 | Microsoft Corporation | Salient Object Detection in Images via Saliency |
| CN104966285A (zh) * | 2015-06-03 | 2015-10-07 | 北京工业大学 | 一种显著性区域的检测方法 |
| CN107066973A (zh) * | 2017-04-17 | 2017-08-18 | 杭州电子科技大学 | 一种利用时空注意力模型的视频内容描述方法 |
| CN107203692A (zh) * | 2017-05-09 | 2017-09-26 | 哈尔滨工业大学（威海） | 基于深度卷积神经网络的房颤检测的实现方法 |
| CN107273800A (zh) * | 2017-05-17 | 2017-10-20 | 大连理工大学 | 一种基于注意机制的卷积递归神经网络的动作识别方法 |
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| US20180075188A1 (en) * | 2016-09-09 | 2018-03-15 | D.R. Systems, Inc. | Systems and user interfaces for opportunistic presentation of functionality for increasing efficiencies of medical image review |
| CN109086797A (zh) * | 2018-06-29 | 2018-12-25 | 中国地质大学（武汉） | 一种基于注意机制的异常事件检测方法及系统 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
-
2019
- 2019-07-01 CN CN201910599232.6A patent/CN110288597B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140180717A1 (en) * | 2012-12-20 | 2014-06-26 | Fuji Xerox Co., Ltd | Non-transitory computer readable medium, medical care record display apparatus, and medical care record display method |
| US20140254922A1 (en) * | 2013-03-11 | 2014-09-11 | Microsoft Corporation | Salient Object Detection in Images via Saliency |
| CN104966285A (zh) * | 2015-06-03 | 2015-10-07 | 北京工业大学 | 一种显著性区域的检测方法 |
| US20180075188A1 (en) * | 2016-09-09 | 2018-03-15 | D.R. Systems, Inc. | Systems and user interfaces for opportunistic presentation of functionality for increasing efficiencies of medical image review |
| CN107066973A (zh) * | 2017-04-17 | 2017-08-18 | 杭州电子科技大学 | 一种利用时空注意力模型的视频内容描述方法 |
| CN107203692A (zh) * | 2017-05-09 | 2017-09-26 | 哈尔滨工业大学（威海） | 基于深度卷积神经网络的房颤检测的实现方法 |
| CN107273800A (zh) * | 2017-05-17 | 2017-10-20 | 大连理工大学 | 一种基于注意机制的卷积递归神经网络的动作识别方法 |
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN109086797A (zh) * | 2018-06-29 | 2018-12-25 | 中国地质大学（武汉） | 一种基于注意机制的异常事件检测方法及系统 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| BAISHENG DAI ET.AL: "Fundus Lesion Detection Based on Visual Attention Model", 《INTERNATIONAL CONFERENCE OF PIONEERING COMPUTER SCIENTISTS, ENGINEERS AND EDUCATORS》 * |
| TOMONORI AOKI MD ET.AL: "Automatic detection of erosions and ulcerations in wireless capsule endoscopy images based on a deep convolutional neural network", 《GASTROINTESTINAL ENDOSCOPY》 * |
| YUZHU JI ET.AL: "Salient object detection via multi-scale attention CNN", 《NEUROCOMPUTING》 * |
| 詹昌飞: "无线胶囊内窥镜图像检索及视频摘要方法研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 郑晓菊: "图像协同显著性检测方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111000633A (zh) * | 2019-12-20 | 2020-04-14 | 山东大学齐鲁医院 | 一种内镜诊疗操作过程的监控方法及系统 |
| CN111242003A (zh) * | 2020-01-10 | 2020-06-05 | 南开大学 | 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法 |
| CN111242003B (zh) * | 2020-01-10 | 2022-05-27 | 南开大学 | 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法 |
| CN111274924A (zh) * | 2020-01-17 | 2020-06-12 | 厦门中控智慧信息技术有限公司 | 一种掌静脉检测模型建模方法、掌静脉检测方法及装置 |
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN112446862B (zh) * | 2020-11-25 | 2021-08-10 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN112766416A (zh) * | 2021-02-10 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 一种消化内镜导航方法和系统 |
| CN112766416B (zh) * | 2021-02-10 | 2023-06-30 | 中国科学院深圳先进技术研究院 | 一种消化内镜导航方法和系统 |
| CN112949508A (zh) * | 2021-03-08 | 2021-06-11 | 咪咕文化科技有限公司 | 模型训练方法、行人检测方法、电子设备及可读存储介质 |
| CN112861883A (zh) * | 2021-03-18 | 2021-05-28 | 上海壁仞智能科技有限公司 | 一种图像显著性区域检测方法及装置 |
| CN112861883B (zh) * | 2021-03-18 | 2022-11-01 | 上海壁仞智能科技有限公司 | 一种图像显著性区域检测方法及装置 |
| WO2023030520A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像分类模型的训练方法、图像分类方法和装置 |
| CN113569817A (zh) * | 2021-09-23 | 2021-10-29 | 山东建筑大学 | 基于图像区域定位机制的驾驶人注意力分散检测方法 |
| CN114587579A (zh) * | 2022-04-01 | 2022-06-07 | 桂林电子科技大学 | 基于lstm神经网络预测控制的磁激光内窥镜控制方法 |
| CN114587579B (zh) * | 2022-04-01 | 2023-09-15 | 桂林电子科技大学 | 基于lstm神经网络预测控制的磁激光内窥镜控制方法 |
| CN115393670A (zh) * | 2022-08-19 | 2022-11-25 | 珠海市圈宝网络科技有限公司 | 训练肺部内窥镜图像识别模型的方法及识别方法 |
| CN117058467A (zh) * | 2023-10-10 | 2023-11-14 | 湖北大学 | 一种胃肠道病变类型识别方法及系统 |
| CN117058467B (zh) * | 2023-10-10 | 2023-12-22 | 湖北大学 | 一种胃肠道病变类型识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288597B (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288597A (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| Fu et al. | DSAGAN: A generative adversarial network based on dual-stream attention mechanism for anatomical and functional image fusion | |
| Korbar et al. | Looking under the hood: Deep neural network visualization to interpret whole-slide image analysis outcomes for colorectal polyps | |
| Ta et al. | Graph-based tools for microscopic cellular image segmentation | |
| CN110378381A (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN107527069A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN107169974A (zh) | 一种基于多监督全卷积神经网络的图像分割方法 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN111915629B (zh) | 基于边界检测的超像素分割方法 | |
| CN112183541B (zh) | 一种轮廓提取方法及装置、电子设备、存储介质 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
| Dogar et al. | Attention augmented distance regression and classification network for nuclei instance segmentation and type classification in histology images | |
| Jonnalagedda et al. | [regular paper] mvpnets: Multi-viewing path deep learning neural networks for magnification invariant diagnosis in breast cancer | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| Janneh et al. | Multi-level feature re-weighted fusion for the semantic segmentation of crops and weeds | |
| CN113362360B (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
| Khoshdeli et al. | Deep learning models delineates multiple nuclear phenotypes in h&e stained histology sections | |
| Huang et al. | Skin lesion segmentation based on deep learning | |
| Sri et al. | Detection Of MRI Brain Tumor Using Customized Deep Learning Method Via Web App | |
| Acharya et al. | MRI-based diagnosis of brain tumours using a deep neural network framework | |
| Samanta et al. | Context aggregation network for semantic labeling in histopathology images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |