CN101354785B - 一种冷凝器清洗机器人中的视觉精确定位方法 - Google Patents

Abstract

本发明公开了一种冷凝器清洗机器人中的视觉精确定位方法：首先建立了摄像机坐标系和像平面之间以及像平面和像素坐标系之间的坐标转换关系，在针孔成像模型的基础上引入非线性畸变并对畸变图像进行恢复，然后通过指数低通滤波器和同态滤波器清除了水下图像的主要噪声，再利用一种新的基于边缘检测的自适应阀值法对图像进行二值化分割并且去除边界上不完整的管口，最后通过两次扫描获得每一个管口的边缘像素坐标集合，再利用最小二乘法对管口进行拟合从而获得冷凝管管口的圆心坐标，实现了对水下冷凝管的精确定位。本发明方法定位精度高，过程简单，不需要高成本的辅助调整设备，适合冷凝器清洗机器人对冷凝管口的现场标定。

Description

一种冷凝器清洗机器人中的视觉精确定位方法

技术领域

本发明属于图像处理以及自动化技术领域，涉及一种冷凝器清洗机器人中的视觉精确定位方法。

背景技术

目前，在工业领域中应用的冷凝器一般采用水冷和风冷等方式，其中大多采用水冷，而冷却用水都是直接取自江、河、湖、海等自然水源，水源不洁净，同时由于热交换时发生化学反应等原因，必定会在冷凝器的管道上出现结垢的问题。污垢的存在会引发一系列危害：1、急剧降低了冷凝器的传热系数，导致冷凝器真空度降低，汽轮机组的出力随之降低，从而降低了汽轮发电机的效率；2、增加了冷却循环水系统的水流阻力，导致循环水泵的能耗增加；3、导致铜管堵塞，严重影响设备运行；4、冷凝器管腐蚀穿孔，容易引发事故。冷凝器是火力、原子能发电厂最重要的冷却器，其交换性能的优劣直接影响发电厂的热效率。冷凝器和热交换器热量的传导的主要限制瓶颈在管道的水侧，因此，清洗管道的水侧可以大大提高电站的效率。通常的清洗方法多采用胶球清洗或人工清洗污垢，胶球清洗收球率低，人工清洗则劳动强度大且须局部停用冷凝器，影响机组负荷。所以目前很多科研机关和公司都在研究水下智能清洗机器人实现对冷凝管的在线清洗。

冷凝管一般以正方形直列、正方形错列、正三角形错列等几种分布方式嵌于管板上，管口直径只有10—35×0.75—3mm。目前的冷凝器智能清洗设备(如冷凝器清洗机器人)大多采用高压水射流清洗技术，这就要求清洗设备的高压水喷枪必须对准冷凝管管口才可以启动射流清洗。现在人们对于冷凝管管口的定位主要利用传统的直接坐标输入法来进行定位，也就是假设管板上的每个冷凝管的位置坐标都已知，然后将喷枪按照已经输入的坐标信息移动到该坐标点儿实现管口的对准，然而实际输入与期望值之间是具有偏差的，加上每次定位过程反馈信息的缺乏和机械运动的误差都会导致定位精确度不高，随着误差的累积严重影响清洗效果。

发明内容

本发明所要解决的技术问题是，提供一种冷凝器清洗机器人中的视觉精确定位方法，从而对冷凝管管口实现自动精确定位。

本发明为解决上述技术问题所采用的技术方案是：

一种冷凝器清洗机器人中的视觉精确定位方法，其特征在于，包括以下步骤：

1)获取冷凝管管口图像，并将像平面坐标系中的各像点坐标转换为像素坐标系下的坐标；

2)对冷凝管管口图像进行畸变校正，包括以下步骤：

(a)通过直线样本图标定冷凝管图像光学中心的坐标；

(b)通过样本圆分析冷凝管图像的畸变参数；

(c)(a)通过直线样本图标定冷凝管图像光学中心的坐标；

(b)通过样本圆分析冷凝管图像的畸变参数；

(c)通过畸变参数，加上已知的理想像高H，就可得出相应的畸变值。从而可得到实际像点坐标，将计算得到的实际像点坐标与所拍图像上的像点坐标比较，找出相对应的像点值，将其更改为理想像点值。依此方法给所拍图像上每一像点坐标赋值，完成图像恢复；

3)冷凝管管口图像预处理：利用指数低通滤波器和同态滤波器清除白噪声和水粒子散射噪声；采用基于边缘检测的阀值分割法得到管口图像边缘的同时去除边界上不完整的管口，再对管口图像进行腐蚀处理；

4)获取冷凝管管口的圆心坐标以及半径值。

所述的步骤1)中的“将像平面坐标系中的各像点坐标转换为像素坐标系下的坐标”的转换公式为：Xu’＝Cx+Xu/dx，Yu’＝Cy+Yu/dy，其中(Xu’，Yu’)是理想像点在像素坐标系(O1’X’Y’)中的坐标，(Xu，Yu)是某一物点成像在像平面坐标系(O1XY)中的坐标；(Cx，Cy)为像平面坐标原点O1在像素坐标系(O1’X’Y’)中的坐标；dx和dy分别为相邻像素在水平方向和垂直方向上的间距。

所述步骤2)中的(a)步骤为：在屏幕上做等间距的平行直线作为样本图；在水平、垂直方向各取50～200组数据，分别计算坐标，通过设定一阈值得到离光学中心最近或穿过光学中心的直线，求两条直线的交点即为光心O1(Cx，Cy)；

所述(b)步骤为：首先在屏幕画一组同心圆，同心圆半径为R＝a，2a，3a，…，na；i＝1，2，…，n；a是最小圆的半径，作为畸变参数分析的样本圆；调整样本图面与光轴垂直，拍摄时使样本圆圆心成像在像平面光心处，调整样本圆中心到人瞳的距离，使得在测量误差内有r2＝2r1，则样本圆2、3、…、n的无畸变像圆半径分别为2r1、3r1、…、nr1，有

rn＝nr1+k1(nr1)³+k2(nr1)⁵

其中，rn＝r₁、r₂…、r_n为拍摄到的样本圆经过成像后得到的畸变半径，可以经测量获得，r1＝r₁为第一个圆的半径，k1和k2为畸变系数；将式rn＝nr1+k1(nr1)³+k2(nr1)⁵看作是y＝x+k1x³+k2x⁵，将未知点(x，y)分别为(3r₁，r₃)、(4r₁，r₄)…、(nr₁，r_n)的一组已知量代入y＝x+k1x³+k2x⁵，用线性最小二乘法求解得到k1，k2值。

步骤3)中的指数低通滤波器为

$H(u,v)=e^{-0.347{[D(u,v)/D_0]}^n}$

D(u，v)＝[(u-M/2)²+(v-N/2)²]^1/2

其中D(u，v)是点(u，v)到频率平面的距离，图像尺寸为M×N，D₀是一个规定的非负的量，取为100；

所述的同态滤波器为

$H(u,v)=({\mathrm{\γ}}_H-{\mathrm{\γ}}_L)[1-e^{-c(D^2(u,v)/D_0^2)}]+{\mathrm{\γ}}_L$

其中γ_L＝0.5，γ_H＝2.0，c＝1.3，D(u，v)是点(u，v)到频率平面的距离，D₀是一个规定的非负的量，取为100，常数c用来控制滤波器函数斜面的锐化，在γ_L和γ_H之间过渡；

所述基于边缘的阀值分割法为：选用sobel梯度算子对边缘点进行检测，计算出每个管口边缘点灰度均值 $T_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{f}_j$ ，取该灰度均值作为阀值对图像进行二值化分割，式中n为各管口边缘采样点个数，f_j为各个边缘采样点的灰度值；

所述去除边界上不完整的管口的方法为：首先对二值化后的图像边缘图像进行膨胀，膨胀后填充封闭区间的内部，再去除在图像边界上不完整的管口，得到完整的二值化的管口图像。

所述步骤4)中“获取冷凝管管口的圆心坐标以及半径值”的方法为：通过对预处理后的图像进行逐行逐列的扫描，确定每一个管口在图像坐标系中所在的区域，然后对每一个区域中的管口进行采样，获得每一个管口的圆周的样本集合(x_i，y_i)，然后利用该样本集合中的各样本点对每一个管口进行拟合，得到管口的圆心坐标以及半径值。

本发明的有益效果有：

(1)通过对冷凝管管口图像的处理，实现管口的精确定标，为冷凝管清洗机器人的清洗工作提供精确坐标定位，从而可以显著提高机器人的清洗效果。

(2)采取了多种方法去除水中的图像噪音，使得定标更为精确。利用指数低通滤波器和同态滤波器清除白噪声和水粒子散射噪声

(3)创造性的采用基于边缘的阀值分割法得到管口图像边缘的同时去除边界上不完整的管口；为后续的管口中心坐标的确定提供良好的基础条件。

附图说明

图1是本发明定位方法总框图；

图2是本发明针孔成像模型示意图；

图3是本发明的精确定位流程图；

图4是本发明的精确定位各步结果对比图；

图5是本发明冷凝管圆周、圆心定位图。

标号说明：1-拟合管口，2-拟合圆心。

具体实施方式

以下将结合图1～5和具体实施例作进一步详细说明。本实施例具体包括以下步骤(如图1和图3)：

1)获取图像建立畸变模型

通过高速摄像机采集冷凝管管口的图像(此时一副图像里有n个管口)。经图像采集卡把模拟图像转换为数字图像送入工控机进行处理。通常摄像机获取的图像都是采用小孔成像模型，但是实际应用中由于摄像机镜头的畸变，装配误差等影响，使得拍摄得到的冷凝管分布图像存在畸变，尤其是对于短焦距、广角镜头摄像机，在远离镜头中心的边缘有较大的畸变。镜头的几何畸变有径向和切向两类，相比径向畸变，切向畸变的影响几乎可以忽略。

理想的透镜成像是针孔模型如图2所示，摄像机坐标系(Oxyz)，像平面坐标系(O1xy)。摄像机坐标中心在O点(人瞳位置)，轴与光轴重合；像平面坐标原点O1(光学中心)是光轴与像平面的交点。当成像系统为理想的针孔成像系统时是没有畸变的，物点P(x，y，z)成像于P(Xu，Yu)。设h为物高，H为无畸变像高，根据理想摄像机模型，得到像点在像平面坐标系中的坐标为

Xu＝xf/z，Yu＝yf/z               (1)

其中f是透镜的焦距。

设O1在像素坐标系(O1’X’Y’)中的坐标为(Cx，Cy)，可得理想像点在像素坐标系中的坐标为

Xu’＝Cx+Xu/dx，Yu’＝Cy+Yu/dy        (2)

其中dx，dy为相邻像素在水平方向和垂直方向上的间距，一般dx/dy≈1。2)冷凝管图像的畸变校正过程

◆通过直线样本图标定冷凝管图像光学中心的坐标

在图像上做等间距的平行直线作为样本图。在以径向几何畸变为主的成像系统中，距光学中心最近的直线所成的像畸变最小。在水平、垂直方向各取100组数据，分别计算坐标，通过设定一阈值得到离光学中心最近或穿过光学中心的直线，两条直线的交点即为光心O1(Cx，Cy)。

◆通过样本圆分析冷凝管图像的畸变参数

由像差理论可知，对于已知结构(r，d，n)的光学系统，当物距和人瞳位置给定时，光学系统的几何畸变像差主要取决于视场。像差展开为级数形式，视场和孔径为零的情况下，像差亦为零，故展开式中不应有常数项。畸变像高H’只与无畸变像高H有关，且与H同向。当z和f一定时只与物高h有关，由于像高H’和H不取负值，故在其级数展开式中，只取H的奇次项，其展开式为

H’＝H+k1H³+k2H⁵+……           (3)

图像的畸变量为

ΔH＝H′-H＝k1H³+k2H⁵+……      (4)

式(4)中第1项为初级畸变，第2项为二级畸变，依此类推，k1，k2，分别为初级、二级畸变系数。在一般的大视场短焦距光学系统中，取到二级畸变即可满足精度要求，即

ΔH＝H′-H＝k1H³+k2H⁵         (5)

△H在像平面坐标系O1XY中可以分解到X轴和Y轴两个方向上，即

ΔX＝k1X(X²+Y²)+k2X(X²+Y²)²       (6)

ΔY＝k1Y(X²+Y²)+k2Y(X²+Y²)²       (7)

首先画一组同心圆，同心圆半径为R＝a，2a，3a，…，na；i＝1，2，…，n；a是最小圆的半径，作为畸变参数分析的样本圆。调整样本图面与光轴垂直，拍摄时使样本圆圆心成像在像平面光心处，可以得到畸变的样本圆图像。这里简称样本圆上半径为R的圆为样本圆n。因为径向畸变不改变圆的形状，并且越靠近光轴的图像畸变量越小，所以靠近光轴的像圆1(里边最小的圆)可以看成是一定误差内的无畸变成像。为了尽量减小误差，调整样本圆中心到人瞳的距离，使得在测量误差内有r2＝2r1，此时像圆1的半径r1可以看成是样本圆R1的无畸变像圆半径，这样样本圆2、3、…、n的无畸变像圆半径分别为2r1、3r1、…、nr1，由式(3)得

rn＝nr1+k1(nr1)³+k2(nr1)⁵           (8)

其中，rn＝r₁、r₂…、r_n为拍摄到的样本圆经过成像后得到的畸变半径，可以经测量获得，r1＝r₁为第一个圆的半径，k1和k2为畸变系数；将式rn＝nr1+k1(nr1)³+k2(nr1)⁵看作是y＝x+k1x³+k2x⁵，将未知点(x，y)分别为(3r₁，r₃)、(4r₁，r₄)…、(nr₁，r_n)的一组已知量代入y＝x+k1x³+k2x⁵，用线性最小二乘法求解得到k1，k2值。

得出畸变值恢复图像

此时k1，k2即为已知常数，现在只要知道了理想像高H，就可得出相应的畸变值△X，和△Y。将理想像点坐标代入式(6)，(7)求得畸变值，从而得到实际像点坐标，将计算得到的实际像点坐标与所拍图像上的像点坐标比较，找出相对应的像点值，将其更改为理想像点值。依此方法给所拍图像上每一像点坐标赋值，完成图像恢复。

3)冷凝管水下图像预处理

水下冷凝管管口图像的噪声主要有白噪声和水粒子散射噪声等，设计了两种滤波器——先用指数低通滤波器进行图像平滑，再用同态滤波器对滤波图像进行锐化增强，

在一幅图像的灰度级中，边缘和噪声在其傅里叶变换的高频分量里，因此，要去除噪声就是通过频域对一定范围的高频分量进行衰减。采用指数低通滤波器，滤去高频分量，低频信息无损地通过，其低指数低通滤波器为

$H(u,v)=e^{-0.347{[D(u,v)/D_0]}^n}---\left(9\right)$

D(u，v)＝[(u-M/2)²+(v-N/2)²]^1/2      (10)

其中D(u，v)是点(u，v)到频率平面的距离，图像尺寸为M×N，D₀是一个规定的非负的量，这里取为100。

由于滤波后的图像去除了高频，使得冷凝管管口的边缘有一定程度的模糊，于是采用同态滤波将滤波后的图像对比度增强，其滤波器形式为

$H(u,v)=({\mathrm{\γ}}_H-{\mathrm{\γ}}_L)[1-e^{-c(D^2(u,v)/D_0^2)}]+{\mathrm{\γ}}_L---\left(11\right)$

其中D(u，v)、D₀都如上所示，常数c用来控制滤波器函数斜面的锐化，在γ_L和γ_H之间过渡，这里γ_L＝0.5，γ_H＝2.0，c＝1.3。由于图像的照射分量在空间域表现为缓慢变化，在频频与低频分量相关，反射分量在空间域表现为突变，在频域与高频分量相关。同态滤波即减少低频(照度)的动态范围，增加高频(反射)的对比度，这样能锐化边缘，显示图像细节，达到图像增强的目的。

4)图像分割

经滤波后的图像再利用基于边缘检测的自适应阀值分割算法对图像进行分割。如图三所示。

1、自适应阀值分割

首先选用sobel梯度算子对边缘点进行检测，再计算出每个管口边缘点灰度均值，取其作为阀值对图像进行二值化分割， $T_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{f}_j$ ，式中n为各管口边缘采样点个数，f_j为各个边缘采样点的灰度值。即在每个管口区域边缘取n个点，取其灰度值的平均值做为该区域分割阀值，即实现了各个管口采用不同的阀值分割，

这样每个管口在进行二值化分割时选用的阀值都会根据它的边缘像素灰度值不同而不同，即实现了自适应阀值分割。

2、剔除边缘

首先对二值化后的图像边缘图像进行膨胀，膨胀后填充封闭区间的内部，即保证了管口里面的完整，去除了管口内部细节图像的干扰，因为图像边界上不完整管口的边缘分割点不是闭合的，不会被填充。利用这点去除图像边界，即去除在图像边界上不完整的管口，得到完整的二值化的管口图像，同时通过填充这步管子内部细节图像已被去除便于后面确定圆心坐标算法的实现；然后，为了使前面得到的管口边缘的图像更加规则平滑，以利于管口圆心的精确确定，对图像进行腐蚀处理。

5)精确获取冷凝管管口的圆心坐标。

如图5所示，获得图像中每一个冷凝管管口的圆心坐标。经过前面的图片的处理现在图片中的剩下的每一个管口都是一个完整的管口。本步骤的工作就是完成确定这些管口的圆心的坐标。具体步骤如下：首先通过两次扫描确定每一个管口的边缘点的坐标值，然后通过最小二乘法拟合出管口的圆形，从而确定每一个管口的圆心坐标。由于一副图像上有多个管口，如何区分哪些坐标值属于一个管口是本步骤的关键。方法如下：分两步对图片进行扫描，第一步扫描确定各管口所在的区域。如图5所示，首先确定每一行管口的行所在的区间，对图像进行逐行扫描，当第一次扫描到某行有非0像素时，记录下该行值i_n1，继续逐行扫描，当第一次扫描到某一行全为0时，记录下该行值i_n2，依此类推，每一行管口都有一个行起始行i_n1和终止行i_n2。然后在每一个行区间内进行逐列扫描。同样的当第一次扫描到某一列有非0像素时，记录下该列值j_n1。继续逐列扫描，当第一次扫描到某一列全为0时，记录下该列值j_n2，依此类推，每一个管口都有一个行起始列j_n1和终止列j_n2。由此便可将图片中的每一个管口的起始行、终止行、起始列、终止列。例如下图中第一个管口的位置为起始行为i₁₁终止行为i₁₂起始列为j₁₁终止列为j₁₂。第二步在每一个确定的管口的区域内进行逐行逐列扫描，得到管口的边缘像素的坐标值，然后利用最小二乘法对每一个管口进行拟合从而得到每一个管口的圆心坐标(x₁，y₁)。

Claims (1)

1.一种冷凝器清洗机器人中的视觉精确定位方法，其特征在于，包括以下步骤：

1)获取冷凝管管口图像，并将像平面坐标系中的各像点坐标转换为像素坐标系下的坐标；

2)对冷凝管管口图像进行畸变校正，包括以下步骤：

(a)通过直线样本图标定冷凝管图像光学中心的坐标；

(b)通过样本圆分析冷凝管图像的畸变参数；

(c)由畸变参数求得坐标畸变量(ΔX，ΔY)，将像平面坐标系(O1XY)点(X-ΔX，Y-ΔY)的像素值赋给点(X，Y)，完成对点(X，Y)的校正，对像平面坐标系中的其他点的也按照以上方法校正；

3)冷凝管管口图像预处理：利用指数低通滤波器和同态滤波器清除白噪声和水粒子散射噪声；采用基于边缘检测的阀值分割法得到管口图像边缘的同时去除边界上不完整的管口，再对管口图像进行腐蚀处理；

4)获取冷凝管管口的圆心坐标以及半径值；

所述的步骤1)中的“将像平面坐标系中的各像点坐标转换为像素坐标系下的坐标”的转换公式为：Xu’＝Cx+Xu/dx，Yu’＝Cy+Yu/dy，其中(Xu’，Yu’)是理想像点在像素坐标系(O1’X’Y’)中的坐标，(Xu，Yu)是某一物点成像在像平面坐标系(O1XY)中的坐标；(Cx，Cy)为像平面坐标原点O1在像素坐标系(O1’X’Y’)中的坐标；dx和dy分别为相邻像素在水平方向和垂直方向上的间距；

所述步骤2)中的(a)步骤为：在屏幕上做等间距的平行直线作为样本图；在水平、垂直方向各取50～200组数据，分别计算坐标，通过设定一阈值得到离光学中心最近或穿过光学中心的直线，求两条直线的交点即为光心O1(Cx，Cy)；

所述(b)步骤为：首先在屏幕画一组同心圆，同心圆半径为R＝a，2a，3a，…，na；i＝1，2，…，n；a是最小圆的半径，作为畸变参数分析的样本圆；调整样本图面与光轴垂直，拍摄时使样本圆圆心成像在像平面光心处，调整样本圆中心到人瞳的距离，使得在测量误差内有r2＝2r1，则样本圆2、3、…、n的无畸变像圆半径分别为2r1、3r1、…、nr1，有

rn＝nr1+k1(nr1)³+k2(nr1)⁵

其中，rn＝r₁、r₂…、r_n为拍摄到的样本圆经过成像后得到的畸变半径，可以经测量获得，r1＝r₁为第一个圆的半径，k1和k2为畸变系数；将式rn＝nr1+k1(nr1)³+k2(nr1)⁵看作是y＝x+k1x³+k2x⁵，将未知点(x，y)分别为(3r₁，r₃)、(4r₁，r₄)…、(nr₁，r_n)的一组已知量代入y＝x+k1x³+k2x⁵，用线性最小二乘法求解得到k1，k2值；

步骤3)中的指数低通滤波器为

$H(u,v)=e^{-0.347{[D(u,v)/D_0]}^n}$

D(u，v)＝[(u-M/2)²+(v-N/2)²]^1/2

其中D(u，v)是点(u，v)到频率平面的距离，图像尺寸为M×N，D₀是一个规定的非负的量，取为100；

所述的同态滤波器为

$H(u,v)=({\mathrm{\γ}}_H-{\mathrm{\γ}}_L)[1-e^{-c(D^2(u,v)/D_0^2)}]+{\mathrm{\γ}}_L$

其中γ_L＝0.5，γ_H＝2.0，c＝1.3，D(u，v)是点(u，v)到频率平面的距离，D₀是一个规定的非负的量，取为100，常数c用来控制滤波器函数斜面的锐化，在γ_L和γ_H之间过渡；

所述基于边缘的阀值分割法为：选用sobel梯度算子对边缘点进行检测，计算出每个管口边缘点灰度均值

取该灰度均值作为阀值对图像进行二值化分割，式中n为各管口边缘采样点个数，f_j为各个边缘采样点的灰度值；

所述去除边界上不完整的管口的方法为：首先对二值化后的图像边缘图像进行膨胀，膨胀后填充封闭区间的内部，再去除在图像边界上不完整的管口，得到完整的二值化的管口图像；

所述步骤4)中“获取冷凝管管口的圆心坐标以及半径值”的方法为：通过对预处理后的图像进行逐行逐列的扫描，确定每一个管口在图像坐标系中所在的区域，然后对每一个区域中的管口进行采样，获得每一个管口的圆周的样本集合(x_i，y_i)，然后利用该样本集合中的各样本点对每一个管口进行拟合，得到管口的圆心坐标以及半径值。

Images