CN113724212A

CN113724212A - 一种内窥镜图像息肉区域提取方法

Info

Publication number: CN113724212A
Application number: CN202110940767.2A
Authority: CN
Inventors: 胡珂立; 赵利平; 冯晟; 彭华; 王卫星; 贾川民; 马思伟
Original assignee: Shaoxing Beida Information Technology Innovation Center
Current assignee: Shaoxing Beida Information Technology Innovation Center
Priority date: 2021-08-16
Filing date: 2021-08-16
Publication date: 2021-11-30
Anticipated expiration: 2041-08-16
Also published as: CN113724212B

Abstract

本发明是一种内窥镜图像息肉区域提取方法，包括以下步骤：给定待处理的内窥镜图像和对应的息肉区域分割图像；提取内窥镜图像反光区域并进行区域恢复；构建前后端跨层短连接的区域提取网络；以内窥镜原图像和经反光区域恢复的图像作为训练数据对该网络进行训练，使网络对两种图像均具适应性；以待检测的内窥镜图像和经反光区域恢复的相应图像作为图像对输入网络，融合检测结果获取最终的息肉区域。利用本发明的内窥镜图像息肉区域提取方法，可有效提取内窥镜图像中的息肉区域，且检测结果对反光区域不敏感。

Description

一种内窥镜图像息肉区域提取方法

技术领域

本发明属于计算机视觉领域，特别是一种内窥镜图像息肉区域提取方法。

背景技术

在临床中，息肉检测主要由医生筛查，息肉检测率主要依赖于医护人员的经验和成像质量。因此，引入了卷积神经网络，颜色、形状和时域特征等组合特征被提出作为卷积神经网络的输入；像素点邻域不同尺度深度特征被用于检测；Segnet、FCN、三维全卷积网络、融入金字塔特征估计的深度网络、分割阈值选取网络等被引入，取得了一定的检测效果。

但是，人体肠道内部基本无光源，内窥镜图像主要依赖检测设备主动投射光束获取。由于肠壁光滑，多数影像会存在反光区域，反光区域会对后续息肉区域智能提取造成影响。

发明内容：

本发明要解决的技术问题是现有算法对反光区域的适应性和抗干扰性低。

本发明提出一种内窥镜图像息肉区域提取方法，包括以下步骤：

S1,收集内窥镜图像，并对内窥镜图像息肉区域进行标记，获得对应的息肉区域分割图像；

S2,提取S1中的内窥镜图像的反光区域，对反光区域进行区域恢复，得到恢复图像A；

S3,构建前后端跨层短连接的区域提取网络；

S4,以内窥镜图像和恢复图像A作为训练数据对区域提取网络进行训练，使其对两种图像均具适应性；

S5,收集待测内窥镜图像，提取待测内窥镜图像的反光区域，对反光区域进行区域恢复，得到恢复图像B；

S6，以待测内窥镜图像和恢复图像B作为图像对输入区域提取网络进行检测，获取检测后的息肉区域。

优选的，所述步骤S2中，提取内窥镜图像反光区域的方法为：

将原图像分别转换至灰度空间、LAB空间和HSI空间，提取灰度空间的像素点强度信息、LAB空间的A通道信息、HSI空间的S通道信息，并对灰度图进行中值滤波得到经滤波后的图像P，按照公式

Sa＝{x|x∈I,A(x)＜Th₁||G(x)＞Th₂&S(x)＜Th₃||M(x)＞Th₄}

筛选反光像素点，由反光像素点组成反光区域；其中，I表示图像像素点集合，A(x)为坐标x处的A通道强度信息，G(x)为坐标x处的灰度强度信息，S(x)为坐标x处的S通道强度信息，

Th1、Th2、Th3、Th4为阈值，符号“||”表示逻辑“或”运算，符号“&”表示逻辑“与”运算。

优选的，所述Th1为0.3，Th2为0.6，Th3为0.28，Th4通过对图像M采用otsu方法求得。

优选的，所述步骤S2中，区域恢复的方法为：任选1个反光像素点，以该点为中心，从半径长度1开始，以像素点正左侧为起始，顺时针扫描一圈，之后依次扩大半径，单次步进增量设为1，按同样规则进行扫描，待扫描到的非反光像素点(含恢复的反光像素点)数量达到N之后，停止扫描，以N个像素点颜色均值填充反光像素点。待所有反光像素点填充完毕后，该图像反光区域恢复完成。

优选的，所述前后端跨层短连接的区域提取网络包括骨干网络和旁瓣网络，区域提取网络的构建方法为：

A，构造前端跨层短连接：对骨干网络的深层特征进行跨层回传，回传至第i层的各层深层特征与未回传前的第i层深层特征串联，经卷积处理后作为该层向上回传的特征；各层串联后的特征经旁瓣网络处理后，再经单通道卷积核得到相应尺度的单通道特征；

B，构造后端跨层短连接：对单通道特征进行跨层回传，回传至第i层的各层单通道特征与与未回传前的第i层单通道特征串联，经单通道卷积处理后作为该层输出的置信度矩阵结果，并将该结果作为该层向上回传的特征；

C，各层输出结果经加权融合后得到网络最终输出的置信度矩阵；

D，前后端跨层短连接的区域提取网络的网络损失函数按如下定义：

其中M为网络最终输出置信度矩阵，其中Mi为网络第i层输出置信度矩阵，Z为息肉区域分割图像，X为图像M中所有像素点的集合，Xi为图像Mi中所有像素点的集合，zj为Z中对应像素点标记值，Pr为网络置信度矩阵在对应像素点的置信度值。

优选的，所述骨干网络为VGG网络，旁瓣网络为CONVN-1、CONVN-2、CONVN-3、CONVN-4、CONVN-5、CONVN-6；CONVN-1由两层构成，均为64通道的3x3卷积核；CONVN-2由两层构成，均为64通道的3x3卷积核；CONVN-3由两层构成，均为128通道的5x5卷积核；CONVN-4由两层构成，均为256通道的5x5卷积核；CONVN-5由两层构成，均为256通道的5x5卷积核；CONVN-6由两层构成，均为256通道的7x7卷积核。

优选的，所述检验的方法为：通过公式，计算图像对中的像素点x属于息肉区域的置信度，若Conf(x)大于设定阈值P，则认为像素点x属于息肉区域，否则属于非息肉区域；其中Confs(x)为以待测内窥镜图像，经区域提取网络计算得到的像素点x属于息肉区域的置信度，Confns(x)为以经反光区域恢复的内窥镜图像输入，经区域提取网络计算得到的像素点x属于息肉区域的置信度。

优选的，所述息肉区域分割图像Z中，息肉区域值为1，非息肉区域值为0；阈值P＝0.5。

本发明同现有技术相比具有以下优点及效果：

本发明通过对不同特征的图像，自适应采用不同方式建立的hash表进行搜索，从而在保持较低的复杂度的前提下，找到更多更好的匹配块，进一步提高图像编码效率。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的提取网络的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1：一种内窥镜图像息肉区域提取方法，包括以下步骤：

步骤一：

收集内窥镜图像，并对内窥镜图像息肉区域进行人工标记，获得对应的息肉区域分割图像。

步骤二：

将原内窥镜图像分别转换至灰度空间、LAB空间和HSI空间，提取灰度空间的像素点强度信息、LAB空间的A通道信息、HSI空间的S通道信息，并对灰度图进行中值滤波得到经滤波后的图像P，计算获取反光区域像素点集合

Sa＝{x|x∈I,A(x)＜Th₁||G(x)＞Th₂&S(x)＜Th₃||M(x)＞Th₄}

其中，I表示图像像素点集合，A(x)为坐标x处的A通道强度信息，G(x)为坐标x处的灰度强度信息，S(x)为坐标x处的S通道强度信息，M(x)为中值滤波后图像P中坐标x处的信息，Th1、Th2、Th3、Th4为阈值，符号“||”表示逻辑“或”运算，符号“&”表示逻辑“与”运算。其中Th4通过对图像P采用otsu方法求得。例如，阈值Th1、Th2、Th3分别设置为0.3、0.6、0.28。

步骤三：

以反光区域内的任一点(将其定义为反光像素点x)为中心，依渐进扩张扫描恢复反光区域。以反光像素点x和扫描像素点这两个像素点横纵坐标差值绝对值的最大值为测算依据，从半径长度1开始，以像素点正左侧为起始，顺时针扫描一圈，之后依次扩大半径，单次步进增量设为1，按同样规则进行扫描，待扫描到的非反光像素点(含恢复的反光像素点)数量达到N之后，停止扫描，以N个像素点颜色均值填充反光像素点。待所有反光像素点填充完毕后，该图像反光区域恢复完成，得到恢复图像A。例如，N设置为5。

步骤四：

构建如图1所示的前后端跨层短连接的区域提取网络，该网络骨干网络为VGG网络，旁瓣网络CONVN-1、CONVN-2、CONVN-3、CONVN-4、CONVN-5、CONVN-6，例如按下表设定：

表中第一行表示旁瓣网络CONVN-1由两层构成，均为64通道的3x3卷积核；表中第二行表示旁瓣网络CONVN-2由两层构成，均为64通道的3x3卷积核；表中第三行表示旁瓣网络CONVN-3由两层构成，均为128通道的5x5卷积核；表中第四行表示旁瓣网络CONVN-4由两层构成，均为256通道的5x5卷积核；表中第五行表示旁瓣网络CONVN-5由两层构成，均为256通道的5x5卷积核；表中第六行表示旁瓣网络CONVN-6由两层构成，均为256通道的7x7卷积核。

提取网络的网络损失函数按以下公式定义：

其中M为网络最终输出置信度矩阵，其中Mi为网络第i层输出置信度矩阵，Z为息肉区域分割图像(息肉区域值为1，非息肉区域值为0)，X为置信度矩阵M中所有像素点的集合，Xi为图像Mi中所有像素点的集合，Zj为Z中对应像素点标记值，Pr为网络置信度矩阵在对应像素点的置信度值。

步骤五：

根据常规方法，以内窥镜原图像和经反光区域恢复的图像作为训练数据对该网络进行训练，获得网络模型参数，训练后的网络会对两种图像均具适应性。

步骤六：

载入网络模型参数，采用步骤三的方法对待检测的内窥镜图像提取反光区域并进行区域恢复，得到恢复图像B，以待检测的内窥镜图像和恢复图像B作为图像对输入网络，按以下公式计算待检测的内窥镜图像中像素点x属于息肉区域的置信度：

Conf(x)＝max(Conf_s(x)+Conf_ns(x))

其中Confs(x)为以待检测图像输入，经区域提取网络计算得到的像素点x属于息肉区域的置信度，Confns(x)为以经反光区域恢复的内窥镜图像输入，经区域提取网络计算得到的像素点x属于息肉区域的置信度。例如，若Conf(x)大于0.5，则认为像素点x属于息肉区域，否则属于非息肉区域。

持续对待测图像进行检测，直至结束。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种内窥镜图像息肉区域提取方法，其特征在于，包括如下步骤：

S3,构建前后端跨层短连接的区域提取网络；

2.根据权利要求1所述的内窥镜图像息肉区域提取方法，其特征在于，所述步骤S2中，提取内窥镜图像反光区域的方法为：

Sa＝{x|x∈I,A(x)＜Th₁||G(x)＞Th₂&S(x)＜Th₃||M(x)＞Th₄}

筛选反光像素点，由反光像素点组成反光区域；其中，I表示图像像素点集合，A(x)为坐标x处的A通道强度信息，G(x)为坐标x处的灰度强度信息，S(x)为坐标x处的S通道强度信息，Th₁、Th₂、Th₃、Th₄为阈值，符号“||”表示逻辑“或”运算，符号“&”表示逻辑“与”运算。

3.根据权利要求2所述的内窥镜图像息肉区域提取方法，其特征在于，所述Th₁为0.3，Th₂为0.6，Th₃为0.28，Th4通过对图像P采用otsu方法求得。

4.根据权利要求2所述的内窥镜图像息肉区域提取方法，其特征在于，所述步骤S2中，区域恢复的方法为：任选1个反光像素点，以该点为中心，从半径长度1开始，以像素点正左侧为起始，顺时针扫描一圈，之后依次扩大半径，单次步进增量设为1，按同样规则进行扫描，待扫描到的非反光像素点(含恢复的反光像素点)数量达到N之后，停止扫描，以N个像素点颜色均值填充反光像素点。待所有反光像素点填充完毕后，该图像反光区域恢复完成。

5.根据权利要求2所述的内窥镜图像息肉区域提取方法，其特征在于，所述前后端跨层短连接的区域提取网络包括骨干网络和旁瓣网络，区域提取网络的构建方法为：

其中M为网络最终输出置信度矩阵，其中Mi为网络第i层输出置信度矩阵，Z为息肉区域分割图像，X为M中所有像素点的集合，Xi为图像Mi中所有像素点的集合，zj为Z中对应像素点标记值，Pr为网络置信度矩阵在对应像素点的置信度值。

6.根据权利要求5所述的内窥镜图像息肉区域提取方法，其特征在于，所述骨干网络为VGG网络，旁瓣网络为CONVN-1、CONVN-2、CONVN-3、CONVN-4、CONVN-5、CONVN-6；CONVN-1由两层构成，均为64通道的3x3卷积核；CONVN-2由两层构成，均为64通道的3x3卷积核；CONVN-3由两层构成，均为128通道的5x5卷积核；CONVN-4由两层构成，均为256通道的5x5卷积核；CONVN-5由两层构成，均为256通道的5x5卷积核；CONVN-6由两层构成，均为256通道的7x7卷积核。

7.根据权利要求5所述的内窥镜图像息肉区域提取方法，其特征在于，所述检验的方法为：通过公式Conf(x)＝max(Conf_s(x)+Conf_ns(x))，计算图像对中的像素点x属于息肉区域的置信度，若Conf(x)大于设定阈值P，则认为像素点x属于息肉区域，否则属于非息肉区域；其中Confs(x)为以待测内窥镜图像，经区域提取网络计算得到的像素点x属于息肉区域的置信度，Confns(x)为以经反光区域恢复的内窥镜图像输入，经区域提取网络计算得到的像素点x属于息肉区域的置信度。

8.根据权利要求7所述的内窥镜图像息肉区域提取方法，其特征在于，所述息肉区域分割图像Z中，息肉区域值为1，非息肉区域值为0；阈值P＝0.5。