CN114926392A - 基于图像融合的高光区域去除方法 - Google Patents

Abstract

基于图像融合的高光区域去除方法，包括如下步骤：利用SIFT算法对基准图和辅助图进行特征点检测，生成特征描述向量，并用最近邻法对基准图和辅助图进行特征匹配；通过得到的特征匹配点，求取透视变换矩阵，采用透视变换对辅助图进行视角、尺寸调整，使其与基准图一致；根据基准图中检测到的高光区域位置，用透视变换后的辅助图相对应区域位置，对其进行纹理填补修复，进而去除基准图中的高光。本发明利用改进的OTSU二维阈值分割方法快速检测图像中的高光干扰，降低噪声的影响，使基准图中高光区域检测更加精准。

Description

基于图像融合的高光区域去除方法

技术领域

本发明涉及电网智能巡检技术领域，具体涉及一种基于图像融合的高光区域去除方法。

背景技术

随着通信技术以及人工智能技术的不断发展，带动了智能电网的快速建设。智能巡检逐渐成为当前变电站无人值守模式下的重要辅助运维手段。继电二次设备保护压板作为电力运行系统中的重要保护装置，由于其数量较多，传统人工巡检工作量大且繁杂，误检或者漏检情况时有发生，为此采用智能机器人对其巡检也成为研究热点。目前图像处理相关技术在电力系统中的应用主要集中在一次设备。而在实际生产中二次设备的运行状态切换不容易发现，需要得到关注和实时监测。

通过观察采集到的压板图像可知，由于保护柜门大多使用玻璃柜门，在光照不均的情况下压板图像存在局部高光干扰。严重情况下高光干扰会使得纹理信息严重缺失无法辨识，出现压板状态的误检漏检的情况。

变电站里出现的玻璃柜门反光原因主要有三种：

(1)：自然光透过窗户照射到玻璃柜门上形成的反光；

(2)；室内照明灯在玻璃柜门上形成的反光；

(3)：光线较暗时相机闪光灯在柜门上形成的反光。

基于二维OTSU算法的高光区域检测：

在图像阈值分割的各种算法中，最大类间方差法(OTSU)因其计算简单、性能稳定而被广泛使用。传统OTSU算法是利用双峰直方图统计图像的像素平均灰度值，将图像分割为前景区域和背景区域两类，当被分成两类的方差最大时即得到该阈值。由于一幅图像中同一区域内的像素在位置和灰度级上具有较强的一致性和相关性，而传统OTSU算法只考虑了直方图提供的灰度级信息，忽略了图像的空间位置信息。

发明内容

本发明提出了一种基于图像融合的保护压板运行状态辨识方法，用于变电站二次继电保护压板智能巡检中；该方法采用阈值分割方法来对高光区域进行检测，并在此基础上进行图像修复，有效去除继电保护压板图像中存在的光影干扰，以更好地辅助智能巡检机器人识别图像中压板的运行状态，提升其抗干扰的能力。

本发明采取的技术方案为：

基于图像融合的保护压板运行状态辨识方法，包括以下步骤：

步骤1、保护压板图像高光区域检测：

步骤1.1：智能机器人巡检继电保护压板，拍摄保护压板图像；

步骤1.2：由于在拍摄时要得到整个区域的保护压板，为此将拍摄的保护压板图像输入至计算机图像处理系统中，对保护压板图像进行筛选，删去没有拍摄到完整区域的保护压板图像，避免影响后续检测结果。对筛选后的保护压板图像进行压缩，让计算机处理图像时速度更快。

计算机图像处理系统通过Microsoft Visual Studio开发平台中配置OpenCV、python等插件来实现。

步骤1.3：对保护压板图像进行灰度化处理，扩大高光区域与背景区域差异；

步骤1.4：利用二维OTSU算法，求得最佳阈值，将保护压板灰度化图像按最佳阈值进行分割，从而快速检测出图像中的高光区域。

步骤2、基于图像融合的高光区域去除：

步骤2.1、特征点检测：

利用SIFT算法对基准图和辅助图进行特征点检测，生成特征描述向量，并用最近邻法对基准图和辅助图进行特征匹配；

步骤2.2：基于改进RANSAC算法的透视变换：

通过得到的特征匹配点，求取透视变换矩阵，采用透视变换对辅助图进行视角、尺寸调整，使其与基准图一致。

步骤2.3、图像修复：

根据基准图中检测到的高光区域位置，用透视变换后的辅助图相对应区域位置，对其进行纹理填补修复，进而去除基准图中的高光。

步骤3、保护压板状态辨识：

步骤3.1：连通区域提取：

对高光去除后的基准图进行颜色区域筛选、二值化、形态学处理，并用8连通方式对连通区域进行提取。

步骤2：有效压板区域筛选：

依据形态特征进行面积、尺寸、形状分析，从连通区域中准确提取出有效压板区域。

步骤3：压板投退状态辨识：

对筛选出的有效压板区域进行辨识，识别出有效压板投退状态后，采用重心坐标对有效压板按照从左至右、从上到下顺序进行排序，最终得到一个只含有0、1的状态序列。

步骤2.2具体步骤包括以下步骤：

步骤一：对SIFT算法提取出的有效特征点，利用最近邻法进行初始匹配，初始所选欧式距离阈值为0.6。将图像等分成4个区域，判断当前所分4个区域特征匹配点对数是否均大于4，若是则进行下一步，否则将欧式距离阈值加0.1重新匹配。

步骤二：从4个区域中各筛选出欧式距离最小的4对匹配点，一共16对，将这16对匹配点4对一组进行组合，根据组合后4对匹配点的欧式距离和从小到大进行1、2、…、N排序，选取序号前50组。

步骤三：首先按照序号顺序取序号为1的4对匹配点计算变换矩阵H，利用矩阵H对图像中的所有匹配点对进行校验，判断局内点数所占匹配点对总数比例是否大于50％，若大于50％则当前所计算出的矩阵H为最佳变换矩阵，否则按照序号顺序选取下一组4对匹配点计算变换矩阵H。

本发明一种基于图像融合的保护压板运行状态辨识方法，技术效果如下：

1)可以广泛应用于变电站继电保护压板智能巡检当中，更好地辅助巡检机器人对压板投退状态的核对，提高继电保护压板投退状态辨识准确率，降低巡检人员的劳动强度，减少电网操作中的误操作、避免经济损失，确保电网安全稳定运行。

2)本发明主要功能在于更好地辅助智能巡检机器人对压板投退状态的核对，提高继电保护压板投退状态辨识准确率，降低巡检人员的劳动强度，减少电网操作中的误操作、避免经济损失，确保电网安全稳定运行。

3)本发明计算机图像处理技术对基准图高光区域进行检测主要包括：将所采集到的基准图进行灰度化，利用改进的OTSU二维阈值分割方法快速检测图像中的高光干扰，降低噪声的影响，使基准图中高光区域检测更加精准。

4)本发明采用SIFT算法对基准图和辅助图进行特征点检测并用最近邻法匹配，引入改进的RANSAC算法去除错误匹配点和求取最佳透视变换矩阵，利用辅助图像透视变换至主图像修复其中的高光区域。在图像修复的基础上通过对压板边缘检测的倾角来判断其运行状态。本发明可有助于更好地辅助智能巡检机器人识别图像中压板的运行状态，提升其抗干扰的能力。

附图说明

图1为二维直方图。

图2为透视变换过程图。

图3为保护压板图像高光区域检测流程图。

图4为基于图像融合的高光去除流程图。

图5为基于改进RANSAC算法的透视变换步骤图。

图6为保护压板状态辨识流程图。

图7为本发明方法整体结构图。

具体实施方式

基于图像融合的保护压板运行状态辨识方法，包括：

一、基于OTSU优化算法的高光区域检测：

1.压板图像特征分析：

本发明采用阈值分割方法来对高光区域进行检测，并在此基础上进行图像修复，为压板的运行状态辨识奠定基础。

2.基于二维OTSU算法的高光区域检测:

为了更好地分割前景与背景，提升算法的抗噪声能力，本发明将传统一维OTSU算法增加维度变为二维，具体步骤如下：

步骤1：令存在图像I，设图像I(x,y)的灰度级为L级，那么图像I的领域平均灰度也为L级。

步骤2：设f(x,y)为像素点(x,y)的灰度值，g(x,y)为中心像素点(x,y)的K×K领域内的平均灰度值。令f(x,y)＝i，g(x,y)＝j，然后就形成了一个二元组(i,j)。

步骤3：设二元组(i,j)出现的次数为f_ij，求出二元组对应的概率密度P_ij，P_ij＝f_ij/N,i,j＝1,2,…,L，其中N为图像像素点总数。

步骤4：任意选取一个阈值向量(s,t)，将图像的二维直方图划分成4个区域，B、C区域代表图像的前景和背景，A、D区域代表噪声点,如图1所示。

步骤5：设背景和前景出现的概率分别为ω₁，ω₂，对应的均值矢量为μ₁，μ₂。整幅图像所对应的均值矢量为μ，公式如下：

式中:ω₁为背景出现的概率，P_ij为二元组(i,j)出现的概率密度。

式中:ω₂为前景出现的概率，P_ij为二元组(i,j)出现的概率密度。

式中:μ₁为背景对应的均值矢量。

式中:μ₂为前景对应的均值矢量。

式中:μ为整幅图像所对应的均值矢量。

步骤6：利用离散测度矩阵S_(s,t)求得图像的离散测度tr(S_(s,t))，公式如下：

S_(s,t)＝ω₁(μ₁-μ)(μ₁-μ)^T+ω₂(μ₂-μ)(μ₂-μ)^T (6)

式中:S_(s,t)为图像的离散测度矩阵。

tr(S_(s,t))＝ω₁[(μ_1i-μ_i)²+(μ_1j-μ_j)²]+ω₂[(μ_2i-μ_i)²+(μ_2j-μ_j)²] (7)

式中:tr(S_(s,t))为图像的离散测度。

步骤7：离散测度越大，类间方差就越大，最大离散测度对应的即为最佳阈值(s^*,t^*)。

(s^*,t^*)＝arg max{tr(S_(s,t))} (8)

式中:(s^*,t^*)为图像的最佳阈值。

通过以上步骤求得最佳阈值后，利用该阈值对0～255个亮度等级的灰度图像进行二值化处理，分离出前景区域和背景区域，此时的前景区域即为高光区域。

二、基于图像融合的高光区域去除：

图像融合(Image Fusion)是将采集到关于同一目标的两幅或多幅图像综合成一幅新的图像，有效提高图像信息的利用率，使得融合后得到的图像对目标有更全面、清晰的描述。

本发明针对经SIFT算法生成特征描述向量后，利用最近邻法特征匹配时存在过分依赖于预设阈值和存在错误匹配点对的问题，引入RANSAC算法，进一步剔除错误匹配点对，完成多视角的图像特征匹配和求取最佳透视变换矩阵。同时为避免传统RANSAC算法随机选取的弊端，减少不必要的迭代次数及用时，本发明对RANSAC算法进行改进，使得图像透视变换和高光去除的效果更好。

1.特征点检测：

目前在特征点描述方面最经典的是SIFT(Scale-invariant feature transform)算法即尺度不变特征变换，该算法因其具有对旋转、尺度缩放以及亮度的变化保持不变的特性而被广泛用于特征点检测和生成特征描述向量。具体步骤如下：

步骤1：令输入图像I(x,y)，对该图像进行不断降阶采样，得到一系列大小不一的图像，将这些图像由大到小、从下到上排序构成金字塔状模型。然后对每层图像利用连续变化尺度的二维高斯函数G(x,y,σ)与图像I(x,y)进行卷积，求出图像的尺度空间L(x,y,σ)。

L(x,y,σ)＝G(x,y,σ)*I(x,y) (9)

其中:*表示卷积运算，σ为尺度。

步骤2：令尺度空间内每层多张图像合称为一组，对同组相邻两层图像进行相减得到高斯差分图像。将同组除顶层和底层外的每层高斯差分图像的每个像素点与其同层8个以及上下邻层图像9×2个共26个像素点比较，当该点像素值为最大或者最小时，该像素点为极值点。高斯差分函数公式如下：

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) (11)

其中，k为固定的系数。

步骤3：由于检测到的极值点是离散空间的极值点，并不是连续空间真正的特征点，为此需对尺度空间高斯差分函数进行曲线拟合来重新计算极值点坐标，即利用Taylor公式对尺度空间高斯差分函数进行展开：

其中，D(X)为高斯差分函数，X＝(x,y,σ)^T。

求导并让方程等于零，即可得到极值点的偏移量：

对应的极值点方程的值为：

其中，

为偏移量对应极值点方程的值。

利用原极值点坐标加上偏移量即为生成的极值点新坐标，将生成的新坐标像素值与所设定的对比度阈值进行比较，剔除对比度低的极值点，此时余下的极值点即为特征点。

步骤4：为使描述符具有旋转不变性，需要为每个特征点分配方向。为此使用梯度法求取图像中特征点邻域内像素点的梯度模值和方向，梯度的模值m(x,y)和方向θ(x,y)公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (16)

其中，L所用的尺度为每个特征点各自所在的尺度。

然后利用二维直方图进行统计，并以直方图中幅值最高的方向作为该特征点的主方向。为增强匹配的鲁棒性，保留大于主方向幅值80％的幅值所在方向作为该特征点的辅方向。

步骤5：以特征点为中心取16×16个像素的窗口，并将窗口分成4×4的子域，用梯度方向直方图统计每个子域上8个方向的梯度累加幅值，此时每个子域都可以用一个8维的特征描述向量表示，最终对于每个特征点都有4×4×8＝128维的特征向量对其描述。为了使其具有光照不变性，对这128维特征向量进行归一化处理并取一阈值对梯度幅值进行限制，即可有效降低光照不均对匹配结果的影响。

当基准图和辅助图的SIFT特征向量生成后，利用最近邻法对其匹配，即设置一比例阈值，若两个特征点描述向量的最近欧式距离除以次近欧式距离小于这个比例阈值，则认为这两个特征点匹配正确。

2.基于改进RANSAC算法的透视变换：

由于在高光去除图像融合时，需要保持辅助图视角、尺寸与基准图视角、尺寸一致，

为此需利用透视变换对辅助图进行调整。透视变换公式如下：

其中，(x',y')为基准图特征匹配点的坐标值，(u,v)为辅助图对应特征匹配点的坐标值，S为图像之间的变换系数，H为3×3的变换矩阵，即：

其中，

可对图像进行旋转、缩放、扭曲变换，T₂＝[a₁₃ a₂₃]^T可对图像进行平移变换，T₃＝[a₃₁ a₃₂]可产生图像透视变换，如图2所示。

由于利用SIFT算法已经求得基准图和辅助图特征匹配点的坐标，为此只需随机选取4对特征匹配点就可求得变换矩阵H，利用变换矩阵即可对辅助图进行透视变换。变换后的辅助图像素坐标(x,y)公式如下：

其中，(x,y)为变换后的辅助图像素坐标。

由于采用最近邻法对两个特征点匹配时过分依赖于当前预先设置的阈值，阈值大小无法精确判断。当所设阈值较大时，会出现较多错误的匹配点对；当所设阈值较小时，虽然会减少错误匹配点对，但匹配点对数量明显减少，严重影响变换矩阵H的最佳选取。因此需要引入RANSAC算法，进一步去除错误匹配点对，得到最佳变换矩阵。

RANSAC算法的思想是通过随机选取数据中一组随机子集来拟合估计模型，通过估计模型去测试其它数据，若某个数据适用于估计模型，则被归类为局内点，如果有足够多的点被归类为假设的局内点，则认为估计的模型足够合理，然后用所有假设的局内点去重新估计模型，并通过估计局内点与模型的错误率来评估模型，这样的过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为它比现有的模型更好而被选用。

由于在计算变换矩阵H时只需4对匹配点，为此本发明提出了一种改进的RANSAC算法，步骤如下：

步骤1：首先对SIFT算法提取出的有效特征点利用最近邻法进行初始匹配，初始所选欧式距离阈值为0.6。

步骤2：将图像等分成4个区域，判断当前所分4个区域特征匹配点对数是否均大于4，若是则进行下一步，否则将欧式距离阈值加0.1返回上一步重新匹配。

步骤3：从4个区域中各筛选出欧式距离最小的4对匹配点，一共16对。

步骤4：将这16对匹配点4对一组进行组合，根据组合后4对匹配点的欧式距离和从小到大进行1、2、…、N排序，选取序号前50组。

步骤5：首先按照序号顺序取序号为1的4对匹配点计算变换矩阵H。

步骤6：利用矩阵H对图像中的所有匹配点对进行校验，当局内点数所占匹配点对总数比例大于50％时，则认为当前所计算出的矩阵H为最佳变换矩阵，否则返回上一步按照序号顺序选取下一组4对匹配点计算变换矩阵H。

利用最佳变换矩阵对辅助图进行调整，将其相对应区域遮罩在基准图高光区域，得到高光去除的基准图。

三、压板投退状态辨识：

为了准确辨识高光去除后基准图中的压板状态，本发明采用了一种基于图像处理与形态特征分析的继电保护压板状态识别方法。首先为了提高压板图像整体特征提取的准确性，对高光去除后的基准图进行颜色区域筛选、二值化、形态学处理，并用8连通方式对连通区域进行提取；然后依据形态特征进行面积、尺寸、形状分析，从所有区域中准确提取出有效压板区域；最后根据压板投退状态时的方向角对有效区域进行状态识别，同时采用重心坐标对有效压板进行排序，得到所有有效压板状态序列。

1.压板图像连通区域提取：

为了更好地反映图像整体和局部特征信息，准确提取压板图像连通区域，采取如下步骤：

步骤1：由于高光去除后的基准图为彩色图像，图中有效压板整体为红色和黄色，备用压板为驼色和红色，背景区域为白色，为此，可通过设置一定RGB阈值筛选出红色和黄色区域。考虑图片上可能存在的其他元件、标识等干扰因素会导致筛选有误，通过大量实验可知，红色和黄色像素点在R、G、B三通道的值中最大值与最小值之差均不小于40，为此将图像中这部分不小于40的像素保留，然后将其余部分区域设为R、G、B等值即将其变为黑色。

步骤2：为了提高运算速度，对红黄区域筛选后的基准图进行灰度化处理，利用OTSU算法求取二值化阈值，利用该阈值对灰度图像进行二值化处理。

步骤3：由于图像二值化后会产生一些不平滑边缘，并且压板连通处会存在孔洞，严重影响后续特征提取的效果。为此需要对二值图像进行形态学处理，利用膨胀和腐蚀操作对孔洞进行填充，并以8连通的方式(如果一个像素和其邻近像素在上、下、左、右、左上角、左下角、右上角或右下角相连接，则认为它们是连通的)对连通区域进行提取，将提取得到的N个连通区域编号为1、2、…、N。

2.有效压板区域筛选：

为了准确筛选出有效压板区域，从面积、尺寸、形状三方面进行形态特征分析，具体步骤如下：

步骤1：面积分析。考虑连通区域提取后的图像中可能存在无效备用压板、标识等，通过观察可知该部分所在的连通区域面积较小，为此，通过设定一面积阈值V_area-thre来去除干扰区域，公式如下:

其中，阈值V_area-thre为二值图中像素面积大小排在前5位的像素区域面积平均值乘以0.3得到的，V_area(i)为按照区域面积从大到小排列的第i个区域面积。

根据公式(20)，判定连通区域像素面积大于阈值V_area-thre的区域为备选有效压板区域，否则为干扰区域。

步骤2：尺寸分析。考虑连通区域提取后的图像中有效压板具有一定尺寸，在X、Y方向上，有效压板区域边界长度与图像的像素大小有一定的比值。所以，利用X、Y方向上的图像像素P_X、P_Y对像素尺寸阈值X_width-thre、Y_width-thre进行设定，公式如下:

根据公式(21)，判定在X、Y方向上，连通区域边界长度均大于对应阈值的区域为备选有效压板区域，否则为干扰区域。

步骤3：形状分析。考虑连通区域提取后的图像中有效压板具有一定形状，有效压板区域在图像中具有一定的等效长宽比值，同时为消除图像中存在的具有相似形状的其他干扰信息，将等效长宽比例阈值S_ratio-thre设定为2<S_ratio-thre<5，若连通区域等效长宽比值在该阈值内，则判定该区域为备选有效压板区域，否则为干扰区域。

步骤4：搜索图像中所有连通区域，重复步骤1-3，直至第N区域搜索完毕，同时被判定为备选有效压板区域的为最终有效压板区域。

3.压板投退状态识别：

为准确识别经有效压板区域筛选后的保护压板高光去除图像中压板投退状态，本发明利用压板投退状态时的方向角，即压板投入时方向角为±90°，退出时方向角为±45°，并设置±10°的裕度，判据式如下：

其中，投入状态标为1，退出状态标为0。识别出有效压板投退状态后，采用重心坐标对有效压板按照从左至右、从上到下顺序进行排序，最终得到一个只含有0、1的状态序列。

综上可以看出，本发明以智能机器人巡检所拍摄的保护压板图像为依据，采用阈值分割方法对图像中高光区域进行检测，并在此基础上进行利用图像融合的方法对图像进行修复，消除了变电站现场存在的光源干扰压板状态辨识的情况，最后在图像修复的基础上通过对压板边缘检测的倾角来判断其运行状态。更好地辅助了巡检机器人对压板投退状态的核对，提高继电保护压板投退状态辨识准确率，降低巡检人员的劳动强度，减少电网操作中的误操作、避免经济损失，确保电网安全稳定运行。

Claims (2)

1.基于图像融合的高光区域去除方法，其特征在于包括如下步骤：

步骤1、利用SIFT算法对基准图和辅助图进行特征点检测，生成特征描述向量，并用最近邻法对基准图和辅助图进行特征匹配；

步骤2、通过得到的特征匹配点，求取透视变换矩阵，采用透视变换对辅助图进行视角、尺寸调整，使其与基准图一致；

步骤3、根据基准图中检测到的高光区域位置，用透视变换后的辅助图相对应区域位置，对其进行纹理填补修复，进而去除基准图中的高光。

2.根据权利要求1所述基于图像融合的高光区域去除方法，其特征在于：步骤2具体步骤包括以下步骤：

步骤2.1：对SIFT算法提取出的有效特征点，利用最近邻法进行初始匹配，初始所选欧式距离阈值为0.6；将图像等分成4个区域，判断当前所分4个区域特征匹配点对数是否均大于4，若是则进行下一步，否则将欧式距离阈值加0.1重新匹配；

步骤2.2：从4个区域中各筛选出欧式距离最小的4对匹配点，一共16对，将这16对匹配点4对一组进行组合，根据组合后4对匹配点的欧式距离和从小到大进行1、2、…、N排序，选取序号前50组；

步骤2.3：首先按照序号顺序取序号为1的4对匹配点计算变换矩阵H，利用矩阵H对图像中的所有匹配点对进行校验，判断局内点数所占匹配点对总数比例是否大于50％，若大于50％则当前所计算出的矩阵H为最佳变换矩阵，否则按照序号顺序选取下一组4对匹配点计算变换矩阵H。

Images