CN113837989A - 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 - Google Patents
一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 Download PDFInfo
- Publication number
- CN113837989A CN113837989A CN202110572237.7A CN202110572237A CN113837989A CN 113837989 A CN113837989 A CN 113837989A CN 202110572237 A CN202110572237 A CN 202110572237A CN 113837989 A CN113837989 A CN 113837989A
- Authority
- CN
- China
- Prior art keywords
- feature
- polyp
- anchor
- frame
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000037062 Polyps Diseases 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000001575 pathological effect Effects 0.000 title claims abstract description 18
- 210000002429 large intestine Anatomy 0.000 title claims description 14
- 239000013598 vector Substances 0.000 claims abstract description 56
- 210000001072 colon Anatomy 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000007170 pathology Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 208000004804 Adenomatous Polyps Diseases 0.000 description 6
- 208000003200 Adenoma Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010001233 Adenoma benign Diseases 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 206010051589 Large intestine polyp Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000022131 polyp of large intestine Diseases 0.000 description 2
- 206010048832 Colon adenoma Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000032177 Intestinal Polyps Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000017819 hyperplastic polyp Diseases 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000022271 tubular adenoma Diseases 0.000 description 1
- 208000009540 villous adenoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无锚框的大肠内窥镜息肉检测与病理分类方法,包括如下步骤:将彩色内镜图像进行预处理;对预处理后的彩色内镜图像进行特征提取;对提取的特征进行增强并向上扩展得到更深层的扩展特征;将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码;分别从扩展特征和前景预测掩码处提取全局和局部特征向量,将全局特征向量与局部特征向量结合,通过全连接层预测息肉种类,本发明对提取的特征进行增强,并向上扩展获得更深层的扩展特征,通过无锚框检测算法对特征图进行位置解码获得息肉预测框和前景预测掩码;将前景预测掩码与对应的特征图叠加,得到局部特征图,并结合全局与局部信息预测息肉类别。
Description
技术领域
本发明属于息肉检测技术的技术领域,尤其涉及一种基于无锚框的大肠内窥镜息肉检测与病理分类方法。
背景技术
在全球,结直肠癌都是第三大常见癌症,也是导致死亡的主要癌症之一。参照《中国消化内镜活检与病理学检查规范专家共识(草案)》,对照Morson组织学分类法:将CRP分为腺瘤性息肉(管状腺瘤、绒毛状腺瘤、混合性腺瘤), 非腺瘤性息肉(炎性息肉、增生性息肉) 。其中腺瘤性最为常见也最危险。虽然只有很小一部分的腺瘤性息肉会发展成为癌症,但几乎所有的恶性息肉都由腺瘤性息肉发展而来。因此,肠息肉的检测与病理分类预测在结肠癌的预防与早筛过程中起到了至关重要的作用。
早期的大肠息肉检测与病理分类方法主要是基于手工选取的图形特征,例如形状,颜色,线条,轮廓等,由于不同种类的息肉特征接近,同时息肉和周围的正常组织也有着很相似的特征,而传统的基于手工选择图形特征的方法只能学习有限的特定特征,因此这种方法无法取得令人满意的结果。随着神经网络与深度学习的快速发展,基于卷积神经网络(convolutional neural networks: CNN)的方法被广泛应用于图像识别领域,包括医疗图像识别。近几年,该方法在大肠息肉识别与分割领域也已经得到了一定的应用。
但是目前的大肠息肉识识别方法都只能完成息肉检测的功能而不能同时做到息肉的病理分类。
发明内容
本发明目的是为了克服现有技术的不足而提供一种基于无锚框的大肠内窥镜息肉检测与病理分类方法,该方法结合无锚框检测算法和图像分类算法,从而提高息肉检出率与病理分类的准确率。
为达到上述目的,本发明采用的技术方案是:一种基于无锚框的大肠内窥镜息肉检测与病理分类方法,包括如下步骤:
将彩色内镜图像进行预处理;
对预处理后的彩色内镜图像进行特征提取;
引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征;
将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码;
从扩展特征处提取全局特征向量,从前景预测掩码处提取局部特征向量,将全局特征向量与局部特征向量结合,通过全连接层预测息肉种类。
进一步的,将彩色内镜图像进行预处理的步骤如下:
将彩色内镜图像缩放至512x512的图片分辨率,之后对彩色内镜图像进行像素均值归一化,使得数据的每一个维度具有零均值和单位方差。
进一步的,对预处理后的彩色内镜图像进行特征提取的步骤如下:
使用基于ImageNet 预训练的ResNeXt101作为骨干网络;
ResNeXt101以最大池化为界限分成 5个不同阶段:R1, R2, R3, R4, R5;
随着骨干网络加深每次池化后特征图大小缩小一半,信道数目增加一倍;
提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图。
进一步的,引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下:
使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息,得到具有深层信息的浅层特征图P2, P3, P4, P5;同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6。
进一步的,对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:
S100:训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签,实际标签的物体框信息将用于回归函数计算候选框位置;
S101:增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center-ness;
S102:对HxWx4的输出张量进行位置信息解码,
S103:对Center-ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值,来辅助特征点对于当前位置的息肉目标判定,具体公式为:
其中:min(x, y) 取x,y中最小值,同理max (x, y) 取x,y中最大值;
生成的距离热力图在训练阶段与Center-ness输出的HxWx1张量,利用二分类交叉熵函数为损失函数计算损失值;
当特征点越接近预测框中心,损失函数值越小,反之越大。
进一步的,从扩展特征处提取全局特征向量的步骤如下:
对特征金字塔的扩展特征向量采用平均池化操作,得到256x1维的全局特征向量,扩展特征度具有stride=128的步幅。
进一步的,从前景预测掩码处提取局部特征向量的步骤如下:
S200:引入前景注意力机制,将前景预测掩码与对应的特征金字塔特征图经过卷积后的输出进行叠加,之后特征图对应于前景掩码中的前景部分保留,而背景部分将被忽略,从而得到局部特征图;
S201:对所有的局部特征图应用全局平均池化操作,得到256x1维的局部特征向量。
进一步的,将局部特征向量与全局特征向量结合,通过全连接层预测息肉种类的步骤如下:
对于5个256x1维的局部特征向量,我们对其进行合并生成1280x1维的局部特征向量,再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量,最后经过全连接层预测息肉分类。
进一步的,将S102中的预测物体位置应用非极大值抑制操作,去除过多的重叠预测框。
由于上述技术方案的运用,本发明与现有技术相比具有下列优点:
本发明方案的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其利用特征金字塔模型对提取的特征进行增强,并向上扩展获得更深层的扩展特征,然后通过无锚框检测算法对特征图进行位置解码获得息肉预测框以及前景预测掩码;最后引入前景注意力机制,将前景预测掩码与对应层的特征图叠加,得到具有局部特征信息的特征图,并结合全局与局部信息,更好地预测息肉类别,提高息肉检出率与病理分类的准确率。
附图说明
下面结合附图对本发明技术方案作进一步说明:
附图1为本发明一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的流程图;
附图2为本发明一实施例中基于无锚框的大肠内窥镜息肉检测与病理分类方法的检测过程图;
附图3为本发明一实施例中病理分类为腺瘤息肉的息肉检测结果图;
附图4为本发明一实施例中病理分类为非腺瘤息肉的息肉检测结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
本发明的一实施例所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其包括如下步骤:
S001:将彩色内镜图像进行预处理,因为在实际应用中由于内窥镜的设备不同,所输出的图片分辨率也不同,为了方便后续的特征提取,首先对彩色内窥镜图像进行缩放至512x512的图片分辨率,之后对图像进行像素均值归一化,使得数据的每一个维度具有零均值和单位方差。
S002:对预处理后的彩色内镜图像进行特征提取,其具体的过程如下:使用骨干网络对图片进行特征提取,本发明中使用了基于ImageNet 预训练ResNeXt101为骨干网络,ResNeXt101以max pool(最大池化)为界限分成 5个不同阶段(R1, R2, R3, R4, R5)。
随着网络加深每次池化后特征图大小缩小一半,信道数目增加一倍,以得到具有更大视野域的抽象信息,本发明中提取R2至R5四个阶段的网络输出C2,C3,C4,C5作为后续特征金字塔网络的输入;其中骨干网络结构如附图2中的左侧部分所示。
S003:为了解决深层网络经过多次池化后语义信息增加但是对小物体不敏感,和浅层语义信息少准确率低的问题,本发明中使用了特征金字塔结构的从上至下(Top-Down)方法来增强浅层特征层的语义信息,提高浅层网络对小物体的准确率。
通过对深层特征图上采样与浅层特征图结合,将具有更大视野域的抽象信息引入浅层特征图得到具有深层信息的浅层特征图(P2, P3, P4, P5),以帮助对小物体的检测。
同时我们将特征金字塔结构网络向上扩展一层以得到更深层的语义信息(P6),帮助大息肉的检测与全局的图像分类;其中,特征金字塔结构如图2中间部分所示。
S004:将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码。
具体的,对于特征金字塔的五层输出(P2-P6),均进行S100-S103步骤的操作,且不同层的权重共享,以提升运行速度。
S100:由于在骨干网络中引入最大池化操作以降低特征图尺寸以得到更大视野域,不同层特征图的特征点会对应原图不同大小的区域,训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签;此实际标签的物体框信息将用于回归函数计算候选框位置,息肉类型的标签将用于后续步骤中使用交叉熵计算分类损失函数。
S101:对特征金字塔的五层特征图P2-P6输出通过无锚框检测算法进行解码,得到输出为HxWx4的张量,并以此计算目标的预测框,另外还得到HxWx1维的前景预测掩码。
具体的,无锚框检测算法过程如下所述:首先将P2-P6的五层特征图通过一组卷积层得到HxWx256的特征图,再经过两组不同的卷积层并分别经过4次卷积后得到两个不同的HxWx256的特征图,其中一个HxWx256特征图通过卷积操作后得到HxWx1维的前景预测掩码。
另一个HxWx256特征图再次通过两个不同的卷积得到用于位置预测的HxWx4的张量以及用以衡量当前像素偏离真实目标的中心点的程度的HxWx1的 Center-ness。
S102:预测阶段使用以下函数对用于位置预测的HxWx4的输出张量进行位置信息解码:
另外,对于所有五层特征图上的所有特征点,都会生成一个4维的位置信息,我们只保留对应前景预测掩码中相应特征点输出为前景的点的位置信息,并解码出物体位置的预测框,对这些保留下来的预测框,我们只取置信度前100的预测框,不足100则保留所有。
S103:对center-ness分支输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值,来辅助特征点对于当前位置的息肉目标判定,具体公式为:
其中:min(x, y) 取x,y中最小值,同理max (x, y) 取x,y中最大值。生成的距离热力值在训练阶段与center-ness分支输出的HxWx1张量,利用二分类交叉熵函数为损失函数计算损失值。
当特征点越接近预测框中心,损失函数值越小,反之越大,从而引导模型进行更准确的息肉位置判定。
S005:从扩展特征处提取全局特征向量,从前景预测掩码处提取局部特征向量,将全局特征向量与局部特征向量结合,通过全连接层预测息肉种类。
具体的,在S200中引入前景注意力机制,将S101得到前景预测掩码与对应的特征金字塔特征图P2-P6通过卷积后得到的HxWx256的特征图输出进行矩阵元素积的叠加;此操作后,特征图对应于前景掩码中的前景部分保留,而背景部分将被忽略,从而得到局部特征图;局部特征向量与全局特征向量结合,以提高整体的图像分类准确度。
S201对所有的局部特征应用全局平均池化操作,得到256x1维的局部特征向量。
另外,对特征金字塔的P6特征向量采用平均池化操作,得到256x1维的全局特征向量,P6特征度具有stride=128的步幅,所以具有最大的视野域,从而有着最为抽象的全局语义信息,有利于图像的分类预测。
接着,将局部特征向量与全局特征向量结合,通过全连接层预测息肉种类,对于5个256x1维的局部特征向量,我们对其进行合并生成1280x1维的局部特征向量,再经过1x1x256的卷积层降维得到256维的局部特征向量,最后将局部特征向量与全局特征向量合并为512x1维的特征向量,最后经过全连接层预测息肉分类。
最后,对经解码得到预测物体位置应用非极大值抑制(non-maximumsuppression)操作,去除过多的重叠预测框,从而得到预测的息肉框,并将预测息肉分类作为该张图片所有检测出的息肉的种类,息肉预测框与种类信息将叠加在原输入大肠内窥镜图片之上作为输出。
下面列举几个实际的检测示例图对本发明的方法进行说明。
请参阅附图3,图中的上方四张图为原始图片,下方四张图为预测出的相关息肉位置的结果图,最终左边的文字为预测的病理分类,其病理分类的最终结果为腺瘤。
请参阅附图4,图中的上方四张图为原始图片,下方四张图为预测出的相关息肉位置的结果图,最终左边的文字为预测的病理分类,其病理分类的最终结果为非腺瘤。
通过上述两张实际图片的最终结果检测,可以便捷且精准的检测出相关息肉的位置以及病理分类的准确率。
本发明的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其利用特征金字塔模型对提取的特征进行增强,并向上扩展获得更深层的扩展特征,然后通过无锚框检测算法对特征图进行位置解码获得息肉预测框以及前景预测掩码;最后引入前景注意力机制,将前景预测掩码与对应层的特征图叠加,得到具有局部特征信息的特征图,并结合全局与局部信息,更好地预测息肉类别,提高息肉检出率与病理分类的准确率。
以上仅是本发明的具体应用范例,对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案,均落在本发明权利保护范围之内。
Claims (9)
1.一种基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,包括如下步骤:
将彩色内镜图像进行预处理;
对预处理后的彩色内镜图像进行特征提取;
引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征;
将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码;
从扩展特征处提取全局特征向量,从前景预测掩码处提取局部特征向量,将全局特征向量与局部特征向量结合,通过全连接层预测息肉种类。
2.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,将彩色内镜图像进行预处理的步骤如下:
将彩色内镜图像缩放至512x512的图片分辨率,之后对彩色内镜图像进行像素均值归一化,使得数据的每一个维度具有零均值和单位方差。
3.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,对预处理后的彩色内镜图像进行特征提取的步骤如下:
使用基于ImageNet 预训练的ResNeXt101作为骨干网络;
ResNeXt101以最大池化为界限分成 5个不同阶段:R1, R2, R3, R4, R5;
随着骨干网络加深每次池化后特征图大小缩小一半,信道数目增加一倍;
提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图。
4.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下:
使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息,得到具有深层信息的浅层特征图P2, P3, P4, P5;同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6。
5.如权利要求3所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:
S100:训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签,实际标签的物体框信息将用于回归函数计算候选框位置;
S101:增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center-ness;
S102:对HxWx4的输出张量进行位置信息解码,
S103:对Center-ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值,来辅助特征点对于当前位置的息肉目标判定,具体公式为:
其中:min(x, y) 取x,y中最小值,同理max (x, y) 取x,y中最大值;
生成的距离热力图在训练阶段与Center-ness输出的HxWx1张量,利用二分类交叉熵函数为损失函数计算损失值;
当特征点越接近预测框中心,损失函数值越小,反之越大。
6.如权利要求4所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,从扩展特征处提取全局特征向量的步骤如下:
对特征金字塔的扩展特征向量采用平均池化操作,得到256x1维的全局特征向量,扩展特征度具有stride=128的步幅。
8.如权利要求7所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于,将局部特征向量与全局特征向量结合,通过全连接层预测息肉种类的步骤如下:
对于5个256x1维的局部特征向量,我们对其进行合并生成1280x1维的局部特征向量,再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量,最后经过全连接层预测息肉分类。
9.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于:将S102中的预测物体位置应用非极大值抑制操作,去除过多的重叠预测框。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110572237.7A CN113837989B (zh) | 2021-05-25 | 2021-05-25 | 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
PCT/CN2022/085841 WO2022247486A1 (zh) | 2021-05-25 | 2022-04-08 | 基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
US18/269,573 US11954857B2 (en) | 2021-05-25 | 2022-04-08 | Method for detection and pathological classification of polyps via colonoscopy based on anchor-free technique |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110572237.7A CN113837989B (zh) | 2021-05-25 | 2021-05-25 | 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113837989A true CN113837989A (zh) | 2021-12-24 |
CN113837989B CN113837989B (zh) | 2023-03-24 |
Family
ID=78962609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110572237.7A Active CN113837989B (zh) | 2021-05-25 | 2021-05-25 | 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11954857B2 (zh) |
CN (1) | CN113837989B (zh) |
WO (1) | WO2022247486A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494235A (zh) * | 2022-02-16 | 2022-05-13 | 云南白药集团医药电子商务有限公司 | 基于Dr图像实现由粗到细的多阶段骨赘集成检测方法 |
WO2022247486A1 (zh) * | 2021-05-25 | 2022-12-01 | 苏州慧维智能医疗科技有限公司 | 基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
CN115908298A (zh) * | 2022-11-10 | 2023-04-04 | 苏州慧维智能医疗科技有限公司 | 内窥镜图像中息肉的目标预测方法、模型及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237614B (zh) * | 2023-11-10 | 2024-02-06 | 江西啄木蜂科技有限公司 | 基于深度学习的湖面漂浮物小目标检测方法 |
CN118334322B (zh) * | 2024-06-12 | 2024-08-27 | 浙江大华技术股份有限公司 | 伪装目标检测方法、装置、计算机设备和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200795A (zh) * | 2020-10-23 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于深度卷积网络的大肠内窥镜息肉检测方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7558413B2 (en) * | 2004-10-12 | 2009-07-07 | Siemens Medical Solutions USA, Inc, | Method for detecting polyps in a three dimensional image volume |
US10055843B2 (en) * | 2015-03-31 | 2018-08-21 | Mayo Foundation For Medical Education And Research | System and methods for automatic polyp detection using convulutional neural networks |
WO2017027475A1 (en) * | 2015-08-07 | 2017-02-16 | Jianming Liang | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
US11308614B2 (en) * | 2018-03-20 | 2022-04-19 | EndoVigilant Inc. | Deep learning for real-time colon polyp detection |
CN111476252B (zh) * | 2020-04-03 | 2022-07-29 | 南京邮电大学 | 一种面向计算机视觉应用的轻量化无锚框目标检测方法 |
CN112200773A (zh) | 2020-09-17 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法 |
CN112102317B (zh) | 2020-11-13 | 2021-03-02 | 之江实验室 | 一种基于无锚框的多期相肝脏病灶检测方法及系统 |
CN112465800B (zh) | 2020-12-09 | 2022-07-29 | 北京航空航天大学 | 一种使用分类注意力模块校正分类错误的实例分割方法 |
CN113837989B (zh) | 2021-05-25 | 2023-03-24 | 苏州慧维智能医疗科技有限公司 | 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
US12026874B2 (en) * | 2021-08-04 | 2024-07-02 | Magentiq Eye Ltd | Systems and methods for detection and analysis of polyps in colon images |
-
2021
- 2021-05-25 CN CN202110572237.7A patent/CN113837989B/zh active Active
-
2022
- 2022-04-08 WO PCT/CN2022/085841 patent/WO2022247486A1/zh active Application Filing
- 2022-04-08 US US18/269,573 patent/US11954857B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200795A (zh) * | 2020-10-23 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于深度卷积网络的大肠内窥镜息肉检测方法 |
Non-Patent Citations (2)
Title |
---|
DECHUN WANG等: "AFP-Net: Realtime Anchor-Free Polyp Detection in Colonoscopy", 《2019 IEEE 31ST INTERNATIONAL CONFERENCE ON TOOLS WITH ARTIFICIAL INTELLIGENCE (ICTAI)》 * |
ZHI TIAN等: "FCOS:Fully Convolutional One-Stage Object Detection", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022247486A1 (zh) * | 2021-05-25 | 2022-12-01 | 苏州慧维智能医疗科技有限公司 | 基于无锚框的大肠内窥镜息肉检测与病理分类方法 |
US11954857B2 (en) | 2021-05-25 | 2024-04-09 | Highwise Co, Ltd. | Method for detection and pathological classification of polyps via colonoscopy based on anchor-free technique |
CN114494235A (zh) * | 2022-02-16 | 2022-05-13 | 云南白药集团医药电子商务有限公司 | 基于Dr图像实现由粗到细的多阶段骨赘集成检测方法 |
CN115908298A (zh) * | 2022-11-10 | 2023-04-04 | 苏州慧维智能医疗科技有限公司 | 内窥镜图像中息肉的目标预测方法、模型及存储介质 |
CN115908298B (zh) * | 2022-11-10 | 2023-10-10 | 苏州慧维智能医疗科技有限公司 | 内窥镜图像中息肉的目标预测方法、模型及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11954857B2 (en) | 2024-04-09 |
CN113837989B (zh) | 2023-03-24 |
US20240046463A1 (en) | 2024-02-08 |
WO2022247486A1 (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113837989B (zh) | 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法 | |
CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
Liu et al. | Colonic polyp detection in endoscopic videos with single shot detection based deep convolutional neural network | |
Guo et al. | Giana polyp segmentation with fully convolutional dilation neural networks | |
CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
Zhang et al. | Deep hierarchical guidance and regularization learning for end-to-end depth estimation | |
Elbakary et al. | Shadow detection of man-made buildings in high-resolution panchromatic satellite images | |
CN110751154B (zh) | 一种基于像素级分割的复杂环境多形状文本检测方法 | |
CN115131797B (zh) | 一种基于特征增强金字塔网络的场景文本检测方法 | |
CN113344932A (zh) | 一种半监督的单目标视频分割方法 | |
Yang et al. | Automatic polyp detection and segmentation using shuffle efficient channel attention network | |
Yang et al. | Directional connectivity-based segmentation of medical images | |
Puyal et al. | Polyp detection on video colonoscopy using a hybrid 2D/3D CNN | |
CN114266794A (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
CN113505670A (zh) | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 | |
Wen et al. | Review of research on the instance segmentation of cell images | |
Du et al. | Boundary-sensitive network for portrait segmentation | |
Tang et al. | SDRNet: An end-to-end shadow detection and removal network | |
CN115331024A (zh) | 一种基于深度监督和逐步学习的肠道息肉检测方法 | |
CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
Gong et al. | FRCNN-AA-CIF: An automatic detection model of colon polyps based on attention awareness and context information fusion | |
Shen et al. | Automatic polyp image segmentation and cancer prediction based on deep learning | |
Cong et al. | Sddnet: Style-guided dual-layer disentanglement network for shadow detection | |
CN105956607B (zh) | 一种改进的高光谱图像分类方法 | |
Chen et al. | Motion-appearance interactive encoding for object segmentation in unconstrained videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |