CN112561830A - 一种内窥镜图像高亮点修复方法及装置 - Google Patents

Abstract

本发明公开了一种内窥镜图像高亮点修复方法及装置，通过对样本块修复算法进行改进，减小搜索范围在很大程度上节约了时间成本，算法的执行效率得到了很大的提高，同时也在一定程度上减少误匹配现象的发生。

Description

一种内窥镜图像高亮点修复方法及装置

技术领域

本发明涉及修复图像技术领域，更具体的说是涉及一种内窥镜图像高亮点修复方法及装置。

背景技术

目前，内窥镜高亮点去除的方法主要有：基于滤波器的方法、基于双色反射模型的高光分解方法、基于数据的机器学习方法、低秩+稀疏矩阵(rpca)分解方法、样本块修复算法。

但是，大多数现有的方法对有线性特征和纹理的图像去除亮点能力有限，这些方法可能适用于某一种内窥镜图像，但在不同的内窥镜图像序列中，很难有效去除高光区域，鲁棒性较差。而现有技术中样本块修复算法，针对检测出的高亮点区域，基于样本块的修复算法在全局搜索候选匹配块，导致修复时间随图像分辨率提高快速增加，修复时间过长，而且易得到不合理匹配结果，导致误差积累现象。

因此，如何提供一种内窥镜图像高亮点修复方法及装置是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种内窥镜图像高亮点修复方法及装置，不仅可以很好地修复原图像高亮点区域，并在修复效率上得到了很大的提高。

为了实现上述目的，本发明采用如下技术方案：

一种内窥镜图像高亮点修复方法，包括如下步骤：

S10：检测内窥镜原图像中的高亮点，读取所述高亮点坐标图；

S20：对所述高亮点坐标图进行轮廓检测，得到轮廓集合；

S30：根据所述轮廓集合进一步确定在当前帧内的匹配块搜索范围；

S40：根据所述当前帧内的匹配块搜索范围确定在最佳帧内的匹配块搜索范围；

S50：根据所述搜索范围确定待修复高亮点边界像素点集合，并判断所述高亮点边界像素点集合是否为空；

S60：若所述高亮点边界像素点集合为空，则进一步判断所述轮廓集合内数据是否读取完毕；

S70：若所述轮廓集合内数据读取完毕，则输出高亮点修复结果图。

优选的，所述步骤S10，包括以下步骤：

S11：读取内窥镜原图像的输入帧；

S12：提取所述输入帧的B通道；

S13：对所述B通道进行二值化得到对应的二值化掩膜图像；

S14：对所述二值化掩膜图像进行膨胀处理得到掩膜图像，所述掩膜图像即为所述高亮点坐标图。

优选的，所述步骤S30，还包括确定搜索范围X，具体步骤如下：

S31：依次读取所述轮廓集合中的单个轮廓，并创建一个与所述高亮点坐标图相同的全黑图片；

S32：根据所述单个轮廓在所述全黑图片中绘制高亮点；

S33：判断所述高亮点的单个轮廓的长度是否小于距离阈值；

S34：对于单个轮廓长度小于距离阈值的高亮点，则确定所述亮点的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rihjt,y_rihjt)，并计算所述高亮点的宽度w以及高度h；

S35：根据计算得到的宽度w、高度h，以及确定的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rijht,y_rijht)，计算上下左右边界，具体如下：

上边界：up_side＝y_up-nh；

下边界：down_side＝y_down-nh；

左边界：left_side＝x_left-nw；

右边界：right_side＝x_right-nw；

式中，n为扩张系数，up_side为上边界、down_side为下边界、left_side为左边界以及right_side为右边界；

根据所述上下左右边界确定搜索范围X。

优选的，所述步骤S30，对于单个轮廓长度大于距离阈值的高亮点，通过改变所述扩张系数n来进一步确定搜索范围X。

优选的，所述步骤S30，还包括更新搜索范围X，具体步骤如下：

S36：判断所述第一搜索范围的上下左右边界是否超出所述内窥镜原图像边界；

S37：若所述第一搜索范围的上下左右边界没有超出所述内窥镜原图像边界，则重新确定所述第一搜索范围；

S38：若所述第一搜索范围的上下左右边界超出所述内窥镜原图像边界，则根据内窥镜原图像边界确定方向边界，通过所述方向边界进一步更新搜索范围X。

优选的，所述步骤S40，包括根据所述第一搜索范围确定在最佳帧内的匹配块搜索范围，具体步骤如下：

S41：读取当前帧与对比帧；

S42：根据所述B通道阈值方法检测出当前帧亮点图以及对比帧亮点图；

S43：计算所述当前帧亮点图与所述对比帧亮点图的和；

S44：根据所述亮点图之和确定当前帧亮点面积、对比帧亮点面积以及当前帧亮点与对比帧亮点重叠面积；

S45：根据重叠率公式输出重叠率：

式中，s1为原始帧亮点面积，s2为对比帧亮点面积，s为两帧亮点重叠面积；

S46：根据所述输出重叠率确定最佳帧；

S47：根据所述第一搜索范围X确定在最佳帧内的匹配块搜索范围X1。

更优的，若所述重叠率越低，则代表可用信息越多，即根据重叠率公式在所述当前帧前后各三帧内寻找当前帧亮点重叠率最低的确定为最佳帧。

优选的，所述步骤S50，若所述高亮点边界像素点集合不为空,具体步骤如下：

S51：计算所述高亮点边缘优先级；

S52：根据所述优先级找到具有最大优先级的目标块；

S52：在当前帧和最佳帧相同的搜索范围内搜索匹配块，并跳过搜索范围内其他亮点；

S53：将所述匹配块中的像素对应复制到所述目标块中的未知像素点，实现亮点边缘的更新，重新确定亮点边缘，直至高亮点边缘是信息完好区域再进行所述步骤S60。

优选的，若所述步骤S60判断所述轮廓集合内数据没有读取完毕，则返回所述步骤S30。

另一方面，本发明题提供了一种内窥镜图像高亮点修复装置，包括：

第一检测模块，用于检测内窥镜原图像中的高亮点，并读取所述高亮点坐标图；

第二检测模块，用于检测所述高亮点坐标图中轮廓，获取轮廓集合；

读取模块，用于读取所述轮廓集合内的数据；

第一判断模块，用于判断所述高亮点边界像素点集合是否为空；

第二判断模块，用于判断所述轮廓集合内的数据是否读取完毕；

输出模块，用于输出高亮点修复结果图。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种内窥镜图像高亮点修复方法及装置，通过对样本块修复算法进行改进，减小搜索范围在很大程度上节约了时间成本，算法的执行效率得到了很大的提高，同时也在一定程度上减少误匹配现象的发生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的方法流程图；

图2附图为本发明提供的高亮点检测流程图；

图3附图为本实施例1-2提供的内窥镜原图像；

图4附图为本实施例1提供的二值化掩膜图像L1；

图5附图为本实施例1提供的膨胀后的掩膜图像L2；

图6附图为本实施例1提供的亮点区域及其邻域示意图；

图7附图为本实施例1提供的改进搜索范围的Criminisi修复算法流程图；

图8附图为本发明提供的寻找最佳帧算法流程图；

图9附图为本实施例1提供的最佳帧与当前帧亮点重叠图；

图10附图为本实施例1提供的最佳帧搜索范围图；

图11附图为本实施例2提供的现有镜面反射修复方案[1]结果图；

图12附图为本实施例2提供的现有镜面反射修复方案[2]结果图；

图13附图为本实施例2提供的本发明镜面反射修复方案结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见附图1所示，本发明实施例公开了一种内窥镜图像高亮点修复方法，包括如下步骤：

S10：检测内窥镜原图像中的高亮点，读取高亮点坐标图；

S20：对高亮点坐标图进行轮廓检测，得到轮廓集合；

S30：根据所述轮廓集合进一步确定在当前帧内的匹配块搜索范围；

S40：根据所述当前帧内的匹配块搜索范围确定在最佳帧内的匹配块搜索范围；

S50：根据所述搜索范围确定待修复高亮点边界像素点集合，并判断所述高亮点边界像素点集合是否为空；

S60：若所述高亮点边界像素点集合为空，则进一步判断所述轮廓集合内数据是否读取完毕；

S70：若轮廓集合内数据读取完毕，则输出高亮点修复结果图。

参见附图2-5所示，在一个具体的实施例中，步骤S10高亮点检测流程，包括以下步骤：

S11：读取内窥镜原图像的输入帧；

S12：提取输入帧的B通道；

S13：对B通道进行二值化得到对应的二值化掩膜图像L1；

S14：对二值化掩膜图像L1进行形态学膨胀处理得到掩膜图像L2，掩膜图像L2即为高亮点坐标图L。

由于内窥镜原图像绝对的高亮点是因镜面反射或者过度曝光产生的亮点，对彩色的内窥镜图像来说，通过实验，可以发现B通道颜色在漫反射和镜面反射之间具有较大区分度，在B通道用阈值法可以容易地捡的到高亮点区域且不需要任何额外计算，因此，选择B通道作为提取高亮点的通道。

在一个具体的实施例中，参见附图6所示，Ω表示待修复的亮点区域，表示亮点区域的边界线，Ψp是以位于亮点区域边界线上的以p点为中心的待修复样本块，n_p作为p点的法线矢量，

表示p点的等照度线方向，Φ表示信息完好区域。

具体的，Criminisi算法通过在待修复区域边缘上选取优先权最高的像素点p，以p为中心构造一个n×n大小的像素块，然后在完好区域寻找与该模板块最相似的样本块，用找到的样本块最后更新已修复块中像素点的置信度，并更新模板块中的待修复信息，开始下一次迭代修复，直至修复完成。

在一个具体实施例中，参见附图7所示，步骤S30改进搜索范围的Criminisi算法流程，包还包括确定搜索范围X，具体步骤如下：

S31：依次读取轮廓集合中的单个轮廓，并创建一个与高亮点坐标图相同的全黑图片；

S32：根据单个轮廓在全黑图片中绘制高亮点；

S33：判断高亮点的单个轮廓的长度是否小于距离阈值a；

S34：对于单个轮廓长度小于距离阈值的高亮点，则确定所述亮点的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rihjt,y_rihjt)，并计算高亮点的宽度w以及高度h；

S35：根据计算得到的宽度w、高度h、扩张系数n以及确定的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rijht,y_rijht)，计算上下左右边界，具体如下：

上边界：up_side＝y_up-nh；

下边界：down_side＝y_down-nh；

左边界：left_side＝x_left-nw；

右边界：right_side＝x_right-nw；

式中，n为扩张系数，up_side为上边界、down_side为下边界、left_side为左边界以及right_side为右边界，其中，设扩张系数n＝10；

根据上下左右边界确定搜索范围X。

具体的，步骤S30，对于单个轮廓长度大于距离阈值a的高亮点，则设扩张系数n＝1，通过改变扩张系数n来进一步确定搜索范围X。

更具体的，步骤S30，还包括更新搜索范围X，具体步骤如下：

S36：判断所述搜索范围X的上下左右边界是否超出内窥镜原图像边界；

S37：若搜索范围X的上下左右边界没有超出内窥镜原图像边界，则重新确定搜索范围X；

S38：若搜索范围X的上下左右边界超出内窥镜原图像边界，则根据内窥镜原图像边界确定方向边界，通过方向边界进一步更新搜索范围X。

参见附图8-10，在一个具体的实施例中，步骤S40包括根据所述第一搜索范围X确定在最佳帧内的匹配块搜索范围X1，具体步骤如下：

S41：读取当前帧与对比帧；

S42：根据B通道阈值方法检测出当前帧亮点图以及对比帧亮点图；

S43：计算当前帧亮点图与对比帧亮点图的和；

S44：根据亮点图之和确定当前帧亮点面积、对比帧亮点面积以及当前帧亮点与对比帧亮点重叠面积；

S45：根据重叠率公式输出重叠率：

式中，s1为当前帧亮点面积，s2为对比帧亮点面积，s为两帧亮点重叠面积；

S46：根据输出重叠率确定最佳帧；

S47：根据所述第一搜索范围X确定在最佳帧内的匹配块搜索范围X1。

更具体的，若重叠率越低，则代表可用信息越多，根据重叠率公式在当前帧前后各三帧内寻找当前帧亮点重叠率最低的确定为最佳帧。

如表1所示，经试验得出，与当前帧重叠最低的是当前帧之前的第三帧，因此，确定当前帧之前的第三帧为最佳帧：

表1前后三帧与当前帧的重叠率

对比帧	重叠率
		当前帧之前第三帧	52％
当前帧之前第二帧	56.2％
		当前帧之前第一帧	61.8％
当前帧之后第一帧	67.1％
		当前帧之后第二帧	69.3％
当前帧之后第三帧	59％

具体的，再以同样方式在最佳帧与当前帧相同的搜索范围进行搜索匹配块。

在一个具体实施例中，如附图7所示，若步骤S50判断高亮点边界像素点集合不为空，具体步骤如下：

S51：计算高亮点边缘优先级；

S52：根据优先级找到具有最大优先级的目标块；

S52：在当前帧和最佳帧相同的搜索范围内搜索匹配块，并跳过搜索范围内其他亮点；

S53：将匹配块中的像素对应复制到目标块中的未知像素点，实现亮点边缘的更新，重新确定亮点边缘，直至高亮点边缘是信息完好区域再进行步骤S60。

具体的，若所述步骤S60判断所述轮廓集合内数据没有读取完毕，则返回所述步骤S30。

更具体的，本发明实施例公开了一种内窥镜图像高亮点修复装置，包括：

第一检测模块，用于检测内窥镜原图像中的高亮点，并读取高亮点坐标图；

第二检测模块，用于检测高亮点坐标图中轮廓，获取轮廓集合；

读取模块，用于读取轮廓集合内的数据；

第一判断模块，用于判断所述高亮点边界像素点集合是否为空；

第二判断模块，用于判断轮廓集合内的数据是否读取完毕；

输出模块，用于输出高亮点修复结果图。

可以得出结论，与现有技术相比，本发明提出的一种内窥镜图像高亮点修复方法及装置，通过对样本块的修复算法进行改进，减小搜索范围，在很大程度上节约了时间成本，算法的执行效率得到了很大的提升，同时也在一定程度上减少误匹配现象的发生。

实时例2

下面将本发明与现有的图像修复方法[1-2]进行比较，其中方法1是原始样本块修复算法，通过计算目标区域中色块的填充顺序，在目标区域外全局搜索最相似的纹理块来填充目标区域。方法2采用一种改进的基于样本块的图像修复方法，在搜索过程中不需要搜索已经使用过一次的源色块。附图10-附图12分别显示了现有修复方法[1-2]的结果和本发明修复结果。

根据附图11-13所示的三种修复方案与附图3所示的内窥镜原始图像进行比较的实验结果为：

(1)图像修复结果的客观评价

除了视图的视觉质量外，采用峰值信噪比(PSNR)和结构相似度指数(SSIM)对图像修复结果进行客观评价：

表2 PSNR(dB)和SSIM结果进行客观评价

由表2可知：实验结果得出本发明修复后图像的PSNR和SSIM更大，修复后图像与理想图像间的误差小，这表示图像中有用信息量更多，与[1-2]相比，本发明提升了图像质量。

(2)算法执行时间比较

表3同一分辨率下的计算的时间

由表3可知：本发明采取高亮区域依次修复的方法以减少边缘轮廓优先权计算次数，再采用自适应搜索范围减少搜索最佳匹配块过程中的扫描数据量，因此，达到了修复效率较高所耗时间较少的效果。

可以得出结论，本发明提供的一种内窥镜图像高亮点修复方法及装置，是基于自适应搜索范围的样本块修复算法来去除内窥镜镜面反射。该方法由高亮检测和高亮修复两部分组成。为了自动定位镜面反射区域，减少晕轮效应，采用了一种基于b通道阈值和形态学扩张运算的二值图像分割算法。为了提高修复算法效率，对样本块修复算法进行了改进，采取高亮区域依次修复的方法以减少边缘轮廓优先权计算次数，采用基于自适应搜索范围减少搜索最佳匹配块过程中的扫描数据量。为了提高匹配的准确性，同时在最佳帧相同搜索范围内进行搜索匹配块。根据实施例2实验结果表明，该方法能准确定位和修复内窥镜图像中的镜面反射区域。此外，该方法所用时间远远低于现有的方法，并且PSNR和SSIM高于现有的方法，所提出的镜面反射修复方案在修复效率、视觉质量和客观评价方面优于现有技术。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种内窥镜图像高亮点修复方法，其特征在于，包括如下步骤：

S10：检测内窥镜原图像中的高亮点，读取所述高亮点坐标图；

S20：对所述高亮点坐标图进行轮廓检测，得到轮廓集合；

S30：根据所述轮廓集合进一步确定在当前帧内的匹配块搜索范围；

S40：根据所述当前帧内的匹配块搜索范围确定在最佳帧内的匹配块搜索范围；

S50：根据所述搜索范围确定待修复高亮点边界像素点集合，并判断所述高亮点边界像素点集合是否为空；

S60：若所述高亮点边界像素点集合为空，则进一步判断所述轮廓集合内数据是否读取完毕；

S70：若所述轮廓集合内数据读取完毕，则输出高亮点修复结果图。

2.根据权利要求1所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S10，包括以下步骤：

S11：读取内窥镜原图像的输入帧；

S12：提取所述输入帧的B通道；

S13：对所述B通道进行二值化得到对应的二值化掩膜图像；

S14：对所述二值化掩膜图像进行膨胀处理得到掩膜图像，所述掩膜图像即为所述高亮点坐标图。

3.根据权利要求2所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S30，还包括确定搜索范围X，具体步骤如下：

S31：依次读取所述轮廓集合中的单个轮廓，并创建一个与所述高亮点坐标图相同的全黑图片；

S32：根据所述单个轮廓在所述全黑图片中绘制高亮点；

S33：判断所述高亮点的单个轮廓的长度是否小于距离阈值；

S34：对于单个轮廓长度小于距离阈值的高亮点，则确定所述亮点的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rihjt,y_rihjt)，并计算所述高亮点的宽度w以及高度h；

S35：根据计算得到的宽度w、高度h，以及确定的上极点up(x_up,y_up)、下极点down(x_down,y_down)、左极点left(x_left,y_left)、右极点right(x_rijht,y_rijht)，计算上下左右边界，具体如下：

上边界：up_side＝y_up-nh；

下边界：down_side＝y_down-nh；

左边界：left_side＝x_left-nw；

右边界：right_side＝x_right-nw；

式中，n为扩张系数，up_side为上边界、down_side为下边界、left_side为左边界以及right_side为右边界；

根据所述上下左右边界确定搜索范围X。

4.根据根据权利要求3所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S30，对于单个轮廓长度大于距离阈值的高亮点，通过改变所述扩张系数n来进一步确定搜索范围X。

5.根据权利要求3所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S30，包括更新当前帧内的匹配快搜索范围X，具体步骤如下：

S36：判断所述搜索范围X的上下左右边界是否超出所述内窥镜原图像边界；

S37：若所述搜索范围X的上下左右边界没有超出所述内窥镜原图像边界，则重新确定所述搜索范围X；

S38：若所述搜索范围X的上下左右边界超出所述内窥镜原图像边界，则根据内窥镜原图像边界确定方向边界，通过所述方向边界进一步更新搜索范围X。

6.根据权利要求1-5任一项所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S40，包括根据所述当前帧内的匹配块搜索范围X确定在最佳帧内的匹配块搜索范围X1，具体步骤如下：

S41：读取当前帧与对比帧；

S42：根据所述B通道阈值方法检测出当前帧亮点图以及对比帧亮点图；

S43：计算所述当前帧亮点图与所述对比帧亮点图的和；

S44：根据所述亮点图之和确定当前帧亮点面积、对比帧亮点面积以及当前帧亮点与对比帧亮点重叠面积；

S45：根据重叠率公式输出重叠率：

式中，s1为当前帧亮点面积，s2为对比帧亮点面积，s为两帧亮点重叠面积；

S46：根据所述输出重叠率确定最佳帧；

S47：根据所述匹配块搜索范围X确定在最佳帧内的匹配块搜索范围X1。

7.根据权利要求1所述的一种内窥镜图像高亮点修复方法，其特征在于，所述步骤S50，若所述高亮点边界像素点集合不为空，具体步骤如下：

S51：计算所述高亮点边缘优先级；

S52：根据所述优先级找到具有最大优先级的目标块；

S52：在当前帧和最佳帧相同的搜索范围内搜索匹配块，并跳过搜索范围内其他亮点；

S53：将所述匹配块中的像素对应复制到所述目标块中的未知像素点，实现亮点边缘的更新，重新确定亮点边缘，直至高亮点边缘是信息完好区域再进行所述步骤S60。

8.一种使用权利要求1至7任意一项所述方法的一种内窥镜图像高亮点修复装置，其特征在于，包括：

第一检测模块，用于检测内窥镜原图像中的高亮点，并读取所述高亮点坐标图；

第二检测模块，用于检测所述高亮点坐标图中轮廓，获取轮廓集合；

读取模块，用于读取所述轮廓集合内的数据；

第一判断模块，用于判断所述高亮点边界像素点集合是否为空；

第二判断模块，用于判断所述轮廓集合内的数据是否读取完毕；

输出模块，用于输出高亮点修复结果图。

Images