CN106650794B - 一种受物体表面高光反射影响的图像高光消除方法及系统 - Google Patents

Abstract

本发明提供一种受物体表面高光反射影响的图像高光消除方法及系统。所述方法包括：S1，基于SVM模型，对图像的高光像素进行分离；S2，利用图像具有结构相似性的临近区域对高光像素区域进行赋值修复。本发明利用统计学习的方法，基于SVM分类器，实现对内镜图像高光像素的自动分离，该方法充分利用样本学习的优势，经训练获得分离模型后，无需人工参与即可做出最优的分类结果；在图像修复方面，本发明为了充分利用全图范围内具有结构相似性邻域的有效信息，提出一种基于动态搜索及相似性测度的图像修复方法，实现高光区域的自然修复。

Description

一种受物体表面高光反射影响的图像高光消除方法及系统

技术领域

本发明涉及图像处理领域，更具体地，涉及一种受物体表面高光反射影响图像高光消除方法及系统。

背景技术

目前，微创手术相对于传统手术仅对人体组织造成非常微小的创伤，这一技术可以显著降低术后的恢复时间和死亡率。因此，微创手术及其相关辅助诊疗手段的研究成为当今医疗技术研究的热点。

内镜图像提供给临床医生一个体内环境以及器官表面的真实视角。内镜通常是指一个固定的管状相机，在相机的顶端固定有光纤光源用于照明成像。在手术过程中，外科医生可以在监视器屏幕获得手术场景的实时图像。根据需要观察的器官类型，分别有支气管镜、结肠镜、腹腔镜等多种内镜。由于成像过程中器官粘膜表面往往潮湿并有液体附着，使得器官粘膜表面对照明光源产生高光反射，这些反射光斑将对获取图像的质量造成消极影响。

另外，在工业检测领域、基于图像三维重建以及物体跟踪检测时，通过摄像设备获取的图像表面也往往存在高光现象。

为消除反射高光，现有方法在图像高光区域的分离以及高光区域的修复两个方面进行了广泛的研究。其中，G.Karapetyan等人使用一个滑动窗口遍历图像，并计算窗口内像素的强度直方图，进而在窗口内确定自适应的阈值进行高光像素的分割操作。在F.SilvaDa Queiroz等人的工作中，通过对图像进行稀疏低秩特征分解并结合人工辅助进行前景背景分割的操作可以获得高光区域的精确分割结果。Arnold等人使用颜色均衡率以及距离待修复像素一定距离处像素的颜色信息的进行填充的方法对高光区域进行修复。G.Karapetyan等人利用频率线性插值的方法对高光区域进行修复。

尽管上述方法可以得到高光区域基本的分离及视觉修复效果，但高光分离的鲁棒性及精确度以及高光消除视觉效果扔有待提高和改善。而且基于阈值的方法往往难以确定最优阈值，基于分析算法则需要人工介入束缚了算法的适用性。基于插值或者利用单一距离处的邻域像素对高光区域进行修复的方法在高光区域较大的时候往往失效。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种受物体表面高光反射影响的图像高光消除方法及系统。

根据本发明的一个方面，提供一种受物体表面高光反射影响的图像高光消除方法，包括：

S1，基于SVM模型，对图像的高光像素进行分离；

S2，利用图像具有结构相似性的临近区域对高光像素区域进行赋值修复。

进一步，所述S1进一步包括：

S1.1，提取图像的预定像素特征，并构建特征向量；

S1.2，基于特征向量及SVM分类器参数对高光像素进行分离。

进一步，S2进一步包括：

S2.1，基于多尺度动态扩展策略确定待修复高光区域；

S2.2，动态搜索结构相似性的临近区域确定候选修复区域；

S2.3，基于预定消除策略，利用多个候选修复区域对待修复高光区域进行赋值修复。

根据本发明的另一个方面，提供一种受物体表面高光反射影响的图像高光消除系统，包括高光分离模块和高光消除模块，

所述高光分离模块，用于基于SVM模型，对图像的高光像素进行分离；

所述高光消除模块，用于利用图像具有结构相似性的临近区域对高光像素进行赋值修复。

本申请提出的方法及系统，利用统计学习的方法，基于SVM分类器，实现对内镜图像高光像素的自动分离，该方法充分利用样本学习的优势，经训练获得分离模型后，无需人工参与即可做出最优的分类结果；在图像修复方面，本发明为了充分利用全图中结构相似性邻域的有效信息，提出一种基于动态搜索及相似性测度的图像修复方法，实现高光区域的自然修复。

附图说明

图1为本发明一种受物体表面高光反射影响图像高光消除方法流程图；

图2为本发明第一实施例示意图；

图3为本发明第二实施例示意图；

图4为本发明高光消除过程实施例示意图；

图5为本发明一种受物体表面高光反射影响图像高光消除系统示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，一种受物体表面高光反射影响图像高光消除方法流程图，包括：

S1，基于SVM模型，对图像的高光像素进行分离；

S2，利用图像具有结构相似性的临近区域对高光像素区域进行赋值修复。

本实施例的高光分离方法基于这样一个假设：存在一个高维空间中的超平面，可以将图像中的高光和非高光像素进行有效的分离。

在S1之前，结合现有自动分割方法以及手动修正的方法，获得图像高光区域的精确分离结果，并基于所述分离结果作为训练数据而训练出一个SVM分类器C；分类器C经过学习之后得到一个分类器参数θ。所述分类器C对给定的样本集进行分类。

在本实施例中，所述给定的样本集为图像所包含像素在N维空间中对应的点集，所述分类是指得到点集所对应的像素的高光或非高光的结果。

以下结合实施例对S1、S2进行具体说明。本发明所述方法的应用范围为获取图像时，由于受物体表面高光反射影响而在图像表面产生高光现象的图像，主要应用为医疗中微创手术的内镜图像，工业检测领域、基于图像三维重建以及物体跟踪检测通过摄像设备获取的图像，其图像表面存在高光现象的，都可以适用。本发明实施例所述图像是指微创手术中的内镜图像。

如图2所示为本发明第一实施例示意图，基于SVM模型，在S1之前实施过程为：训练图像->特征提取->训练->分离模型->预测->输出；S1的实施过程为：内镜图像->特征提取->分离模型->预测->输出。

其中的核心为：

S1.1，提取图像的预定像素特征，并构建特征向量；

S1.2，基于特征向量及SVM分类器参数对高光像素进行分离。

S1.1中所述预定像素特征包括：物理量D、物理量M、物理量Q、HSV空间亮度值V和HSV空间饱和度通道值S；

上述像素特征以图像红色通道像素值I_r，图像绿色通道像素值I_g，图像蓝色通道像素值I_b，图像在HSV空间亮度值V和图像在HSV空间饱和度通道值S为基础进行提取。

其中D、M及Q的定义如下：

M＝BVal·(1-S)² (2)

其中，I_dark＝min{I_r,I_g,I_b}，I_max＝max{I_r,I_g,I_b}，I_min＝min{I_r,I_g,I_b}，I_range＝I_max-I_min，BVal＝I_b，I_r图像红色通道像素值，I_g图像绿色通道像素值，I_b图像蓝色通道像素值；

S1.1中所述特征向量为：

其中，为像素p的特征向量，

MGI＝Morp(I_min·grad(DI))，其中DI(Damaged Image)为受损高光图像，MGI(Modified Gradient Image)为受损高光图像的改进梯度图像，MG为像素点p的改进梯度值，G(x,y)表示p处的梯度，G_x(x,y)表示p处x方向梯度值，G_y(x,y)表示p处y方向梯度值；

grad和Morp分别表示本方法所用的梯度及形态学求解操作即先后进行形态学膨胀和腐蚀的操作实现高光区域内部中空区域的填补；I_min为图像对应位置最小分量。

S1.2中的分离处理表示如下：

其中，H为像素p是否为高光像素的输出，C为SVM分类器，θ为分类器参数，为像素p的特征向量。

对像素点集中的任意点p，分类器C根据输入的像素点p的特征向量以及通过训练学习得到的分类器参数θ，判断像素点p是否高光，最后输出判断结果H。

本发明对高光像素进行判断的特征依据是：物理量D、M、Q在高光像素区域均具有很强的值，并且在高光像素区域边缘对高光变化表现出很强的敏感性，可以对高光像素的高光属性做出很好的表示。

本发明在S1.1提取图像的预定像素特征前还对图像进行非线性变换映射，使得变换后的图像高光区域的显著性获得明显增强。

如图3所示为本发明第二实施例示意图，S2进一步包括：

S2.1，基于多尺度动态扩展策略确定待修复高光区域；

S2.2，动态搜索结构相似性的临近区域确定候选修复区域；

S2.3，基于预定消除策略，利用多个候选修复区域对待修复高光区域进行赋值修复。

其中，S2.1中所述待修复高光区域须满足以下条件：

其中，Ω_NB为高光受损区域DB(Damaged Block)内正常区域面积，Ω_DB为高光受损区域DB内全面积，p为受损区域DB内的像素，β为预设阈值，PixNum函数返回区域内像素的数量，像素p为高光像素或者正常像素时函数NP(Normal Pixel)将返回0或1。

具体执行为：

遍历图像中的高光像素；

一个高光像素为中心获取8邻域图像块，计算所述图像块内正常像素的比重，并与预设阈值比较，大于预设阈值的图像块确定为待修复高光区域；

否则以像素为单位扩展所述图像块的范围，直到所述图像块内正常像素比重大于预设阈值得到待修复高光区域。

S2.2中确定候选修复区域的满足如下条件：

CBS＝Sort{SIM(NCB,NDB)} (7)

其中，CBS为选取的候选修复区域序列，NDB为高光区域正常像素部分，NCB为候选修复区域正常像素部分，SIM为结构相似性测度函数，Sort为对所得相似性值进行降序排列的函数。

本方法对多种相似性测度进行了验证，针对差值图像直方图能量(EHD)，结构相似性测度(SSIM)，互信息量(MI)，互相关(CC)以及灰度差平方和(SSD)等进行测试。经测试，差值图像直方图能量不但运算简单且在本问题中表现出较好的实验效果。

差值图像直方图能量(EHD)公式如下：

其中，H(g)是蒙片和盈片差值图像归一化的直方图分布，可以写为：

其中，是差值图像的灰度分布，δ(x,y)为：

具体执行为：

分别获取待修复高光区域与临近区域的正常像素部分；

使用结构相似性测度函数计算待修复高光区域的正常像素部分与临近区域相对应的正常像素部分的结构相似性；

使用排列函数对所计算的临近区域按相似性的特定顺序进行排列，确定候选修复区域。

可以按相似度从高到低的顺序，对所测试的临近区域进行排序；一般将排序靠前的临近区域作为候选修复区域，用所述候选修复区域的像素对待修复高光区域进行赋值填充从而消除高光。

S2.3中预定消除策略为：

获取满足高斯分布的种子点，并以种子点为中心获取相同尺寸的图像块作为候选修复区域；

计算所述待修复高光区域与所述候选修复区域的相似性，并选定若干个具有预定相似性条件的候选修复区域；

对若干个具有预定相似性条件的候选修复区域进行加权平均后赋值给待修复高光区域。

本发明利用与高光区域相似性较高的前N个候选修复区域的加权值对高光像素进行赋值修复。

然而，由此获得的修复边缘将产生明显的修复痕迹，由于修复的时候是一个图像块一个图像块进行修复的，这就会产生一种块效应，即在相邻的修复图像块之间的边缘部分会有突变。本方法采用图像融合的方法，对待修复高光区域与S2.3中已修复的待修复高光区域进行加权融合，修复S2.3中已修复的待修复高光区域的图像边缘，使修复图像边缘权重值呈高斯衰减，由此实现修复边缘的自然过渡。

其中，p(i,j)为修复后高光像素的像素值，N为选取候选修复区域个数，q^k(i,j)为第k个候选修复区域与p(i,j)相对应位置像素值。

IB＝w₁·CB+(1-w₁)·DB,w₁＝Gaussian(BlockMask) (12)

其中，IB待修复高光区域融合后结果，CB为已修复的高光受损区域，w₁为融合权重值，其为高光受损区域DB对应二值模板BlockMask经高斯平滑操作Gaussian获得的边缘渐变衰减的权重因子。

如图4为本发明高光消除过程实施例示意图，对应本方法S2的具体处理流程，如下：

S200，接收所输入的图像；

S201，遍历图像中的高光像素；

S202，获取以高光像素为中心的8邻域图像块；

S203，计算图像块内正常像素的比重P；

S204，比较P与预设阈值的大小，若P大于预设阈值，则执行S206，否则执行S205；

S205，以像素为单位扩大图像块的范围，执行S203；

以上过程用于确定待修复候选区域。

S206，以高光像素为中心，获取满足高斯分布的种子点；

S207，以种子点为中心获取相同尺寸的候选修复图像块；

S208，计算图像块与候选修复图像块的结构相似性；

S209，选择具有预定相似性条件的若干候选修改图像块；

S210，对若干候选修复图像块进行加权平均并赋值给图像块；

S211，获得高光消除图像。

以上实现了以高光像素区域临近的图像区域对高光像素区域进行赋值消除高光的过程。

如图5所示，本发明还提供了一种受物体表面高光反射影响的图像高光消除系统，包括高光分离模块和高光消除模块，

所述高光分离模块，用于基于SVM模型，对图像的高光像素进行分离；

所述高光消除模块，用于利用图像中具有结构相似性的临近区域对高光像素区域进行赋值修复。

本发明通过对现有的高光分离技术及高光消除技术进行改进，提高了鲁棒性、精确度和更自然的视觉效果。

一、在高光像素分离方面，构造特征并增强高光区域和正常区域的差异，结合现有自动分割方法以及手动修正的方法，获得高光区域的精确分离结果，进而进行基于SVM的图像分类，本方法可以克服传统基于阈值方法阈值范围确定困难、阈值鲁棒性差的问题，实现高光区域更为精确鲁棒的分离。

二、在高光消除方面，通过动态扩展的方法获得待修复区域，保证该区域有足够比例的正常像素用于替换区域的搜索；以待修复区域集合中心为中心，生成沿径向呈高斯分布的种子点；以种子点所在邻域比较和待修复区域的相似性，并利用相似性值靠前区域加权的方法对待修复区域进行融合修复。本方法克服了传统基于插值和单邻域修复技术在受损区域较大情况下失效的问题，实现了高光区域的自然修复。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种受物体表面高光反射影响的图像高光消除方法，其特征在于，包括：

S1，基于SVM模型，对图像的高光像素进行分离；

S2，利用图像具有结构相似性的临近区域对高光像素区域进行赋值修复；

其中，所述S1进一步包括：

S1.1，提取图像的预定像素特征，并构建特征向量；

S1.2，基于特征向量及SVM分类器参数对高光像素进行分离；

S1.1中所述预定像素特征包括：物理量D、物理量M、物理量Q、HSV空间亮度值V和HSV空间饱和度通道值S；

其中D、M及Q的定义如下：

M＝BVal·(1-S)²，

其中，I_dark＝min{I_r,I_g,I_b}，I_max＝max{I_r,I_g,I_b}，I_min＝min{I_r,I_g,I_b}，I_range＝I_max-I_min，BVal＝I_b，I_r图像红色通道像素值，I_g图像绿色通道像素值，I_b图像蓝色通道像素值；

S1.1中所述特征向量为：

其中，为像素p的特征向量，

MGI＝Morp(I_min·grad(DI))，其中DI为受损高光图像，MGI为受损高光图像的改进梯度图像，MG为像素点p的改进梯度值，G(x,y)表示p处的梯度，G_x(x,y)表示p处x方向梯度值，G_y(x,y)表示p处y方向梯度值；grad和Morp分别表示本方法所用的梯度及形态学求解操作即先后进行形态学膨胀和腐蚀的操作实现高光区域内部中空区域的填补；I_min为图像对应位置最小分量。

2.如权利要求1所述的方法，其特征在于，S2进一步包括：

S2.1，基于多尺度动态扩展策略确定待修复高光区域；

S2.2，动态搜索结构相似性的临近区域确定候选修复区域；

S2.3，基于预定消除策略，使用多个候选修复区域对待修复高光区域进行赋值修复。

3.如权利要求1所述的方法，其特征在于，S1.2中的分离处理表示如下：

其中，H为像素p是否为高光像素的输出，C为SVM分类器，θ为分类器参数，为像素p的特征向量。

4.如权利要求2所述的方法，其特征在于，S2.1中基于多尺度动态扩展策略包括：

遍历图像中的高光像素；

以一个高光像素为中心扩展获取8邻域图像块，计算所述图像块内正常像素的比重，并与预设阈值比较，将大于预设阈值的图像块确定为待修复高光区域。

5.如权利要求2所述的方法，其特征在于，S2.2中确定候选修复区域的具体实现包括：

分别获取待修复高光区域与临近区域的正常像素部分；

使用结构相似性测度函数计算待修复高光区域的正常像素部分与临近区域相对应的正常像素部分的结构相似性；

使用排列函数对所计算的临近区域按相似性的特定顺序进行排列，确定候选修复区域。

6.如权利要求5所述的方法，其特征在于，S2.3中预定消除策略为：

获取满足高斯分布的种子点，并以种子点为中心获取相同尺寸的图像块作为候选修复区域；

计算所述待修复高光区域与所述候选修复区域的相似性，并选定若干个具有预定相似性条件的候选修复区域；

对若干个具有预定相似性条件的候选修复区域进行加权平均后赋值给待修复高光区域。

7.如权利要求6所述的方法，其特征在于，对待修复高光区域与S2.3中已修复的待修复高光区域进行加权融合，修复S2.3中已修复的待修复高光区域的图像边缘。

8.一种受物体表面高光反射影响的图像高光消除系统，其特征在于，包括高光分离模块和高光消除模块，

所述高光分离模块，用于基于SVM模型，对图像的高光像素进行分离；

所述高光消除模块，用于利用图像中具有结构相似性的临近区域对高光像素区域进行赋值修复从而消除高光；

其中，所述高光分离模块，具体用于：提取图像的预定像素特征，并构建特征向量；基于特征向量及SVM分类器参数对高光像素进行分离；

所述预定像素特征包括：物理量D、物理量M、物理量Q、HSV空间亮度值V和HSV空间饱和度通道值S；

其中D、M及Q的定义如下：

M＝BVal·(1-S)²，

其中，I_dark＝min{I_r,I_g,I_b}，I_max＝max{I_r,I_g,I_b}，I_min＝min{I_r,I_g,I_b}，I_range＝I_max-I_min，BVal＝I_b，I_r图像红色通道像素值，I_g图像绿色通道像素值，I_b图像蓝色通道像素值；

S1.1中所述特征向量为：

其中，为像素p的特征向量，

MGI＝Morp(I_min·grad(DI))，其中DI为受损高光图像，MGI为受损高光图像的改进梯度图像，MG为像素点p的改进梯度值，G(x,y)表示p处的梯度，G_x(x,y)表示p处x方向梯度值，G_y(x,y)表示p处y方向梯度值；grad和Morp分别表示本方法所用的梯度及形态学求解操作即先后进行形态学膨胀和腐蚀的操作实现高光区域内部中空区域的填补；I_min为图像对应位置最小分量。