CN108195472B - 一种基于轨道移动机器人的热传导全景成像方法 - Google Patents

Abstract

本发明属于机器人利用技术领域，公开了一种基于轨道移动机器人的热传导全景成像方法。本发明包括建站过程和任务巡检过程两个部分。在轨道上采集若干个标志点，隧道机器人以一定的速度在轨道上运动，当到达标志点时调整云台，使得相机对准监测的电缆，位于画面中央，然后拍摄可见光图像和红外图像，并合成采集的红外图像形成全景图。巡检机器人正常自动执行任务，匀速运动，在运动过程中动态调整云台，采集数据，生成红外全景图以供分析，无需人员干预。本发明既能整体展示隧道内电缆的温度状况，又能局部细节地提供电缆的温度数据。

Description

一种基于轨道移动机器人的热传导全景成像方法

技术领域

本发明属于机器人利用技术领域，具体涉及一种基于轨道移动机器人的热传导全景成像方法。

背景技术

当前世面上已经存在一些用于轨道巡检的移动机器人，类型多为悬挂型。在轨道上巡检的移动机器人的一个重要应用场景是在隧道中巡检电缆温度，其最重要的内容是使用红外相机进行热成像，检查电缆设备等是否有异常温度并报警。

现在的机器人巡检解决方法都未能从整体上反映隧道内电缆设备等的温度情况，给维修人员的观感是局部的、割裂的。

需要一种能够多尺度地表现隧道内电缆温度状况的技术方法。

当前全景拼接方法主要基于可见光图像，且大多基于如下假设：拍摄时相机的光心是不动的，拍摄的照片围绕着相机光心旋转。不符合实际需求。

发明内容

本发明目的是提供基于轨道移动机器人的热传导全景成像方法，既能整体展示隧道内电缆的温度状况，又能局部细节地提供电缆的温度数据。

具体地说，本发明是采用以下技术方法实现的：建站过程和任务巡检过程两个部分；

所述建站过程包括以下步骤：A1)、根据轨道的轨迹地图，在轨道轨迹上进行标记；A2)、启动巡检机器人在轨道上运动，所述巡检机器人到达标记点位置停下，调节云台使得相机对准需要拍摄的电缆目标并记录所需要的信息，所述相机包括可见光相机和红外相机，所述信息包括云台的角度、机器人机身的高度和角度、所述标记点位置、所述相机镜头到电缆的距离及当前标记点到上一标记点的距离；A3)、所述相机下发命令启动拍照，拍摄可见光图像和红外图像；A4)、在所有拍摄的可见光图像标定出需要追踪的电缆；

所述任务巡检过程包括以下步骤：：B1)、将A2)中记录的所有云台角度分段拟合成一条曲线或函数，将标记点位置的所述信息输入数据库；B2)、启动所述巡检机器人在轨道上匀速运动，巡检机器人到达标记点位置，根据B1)中云台角度分段拟合成的一条曲线或函数动态调整云台；B3)、所述巡检机器人在到达标记点位时并不停下，在任务节点下发任务拍摄可见光图像和红外图像并记录所述信息；B4)、对采集的数据后期处理并生成温度全景图。

可以理解，要想使系统成功运行，首先需要手动对目标轨道进行一次巡检收集需要的信息，这被称为建站过程。在轨道上采集若干个标志点，隧道机器人以一定的速度在轨道上运动，当到达标志点时调整云台，使得相机对准监测的电缆，位于画面中央，然后拍摄可见光图像和红外图像，并合成采集的红外图像形成全景图。自动巡检过程主要任务是巡检机器人正常自动执行任务，匀速运动，在运动过程中动态调整云台，采集数据，生成红外全景图以供分析，无需人员干预。

进一步而言，在轨道轨迹上标记若干所述标记点，相邻两个点之间要保证距离大致相同且距离要求小于红外相机的视场角。

可以理解，否则无法全覆盖。

进一步而言，所述标记点为轨道每隔若干米部署一枚磁钢片，所述磁钢片的位置为所述标记点。

进一步而言，所述信息包括此时云台的角度，机器人机身的高度和角度，标记点位置，相机镜头到电缆的距离，当前所述标记点到上一标记点的距离。

进一步而言，对所述采集的数据后期处理包括以下步骤：

C1)、对所述任务巡检过程中采集的数据，所述数据包括可见光图像和红外图像，在可见光图像上进行电缆区域定位；

C2)、将拍摄的成像平面变换为和轨道所在的水平面相垂直，包括红外图像和可见光图像，计算方法：假设云台的转动角度分别为偏向θz，俯仰θy，旋转θx，从这三个角度可以计算出3x3的离散余弦矩阵DCM1：

假定原始图像x轴、y轴上某个点坐标为(x0,y0)，相机标定好的内参矩阵为K，则变换后的点坐标(x1,y1)按以下方式确定：

x1＝x'/z'

y1＝y'/z'

其中

(cx,cy)为相机光心，(fx,fy)分别为x轴和y轴方向的焦距，则通过插值得到变换后的第二红外图像和第二可见光图像，定位的区域也被转换到新的平面上，对应的第二可见光图像上的区域定位；

C3)、预先标定好可见光相机和红外相机的相对位置关系，将第二可见光图像上的所述定位的区域转换到第二红外图像上的区域定位；

C4)、根据拍摄时的位置确定所述第二红外图像在整体全景图上的投影位置，对重叠区域要进行融合；

C5)、将获得的所述第二红外图像上的定位区域投影到轨道所在的水平面上，按列提取出温度最大值，等比例缩放后可视化填入对应位置。

进一步而言，电缆区域所述定位方法为特征匹配。

可以理解，所述特征匹配，对标定图像A和巡检图像B分别提取特征，计算A和B之间的透视变换关系，通过透视变换矩阵将A上标出的区域变换到B上得到定位区域。

进一步而言，电缆区域所述定位方法为模板匹配。

可以理解，所述模板匹配，将标定图像上标出的电缆区域作为模板，在巡检图像上滑动窗口，计算模板和巡检图像滑动窗口之间的规范化互相关系数，取得到系数最大值的窗口区域作为定位区域。

进一步而言，所述融合为加权融合，，假设在重叠区域上图像A的像素值为(x1,y1)，图像B的像素值为(x2,y2)，则合成后的像素值(x’,y’)为

其中a1+a2＝1，a1和a2为加权因子。

进一步而言，所述融合为多尺度融合，将重叠区域构造成多尺度图像金字塔，每个尺度分别加权融合，再将整个金字塔还原为一幅图像。

移动机器人沿轨道进行巡检，因此可以认为机器人监测到的电缆是沿着轨道分布的。因此为了整体展示所监测到的电缆温度，考虑画出一张从上往下的俯视的轨道地图，将每张红外图片上识别出的电缆温度转换成可见的颜色后画在对应的电缆旁边。因为每张红外照片的视场只能覆盖一段轨道，因此在轨道上采集若干个标志点，隧道机器人以一定的速度在轨道上运动，当到达标志点时调整云台，使得相机对准监测的电缆，位于画面中央，然后拍摄可见光和红外图像。在拍摄到的红外图像上提取出所关注的电缆区域，然后将区域中的温度数据投影到轨道所在的水平面上，将温度数据可视化后填充在这张图像对应的轨道的旁边。因此，从这张图上可以获得对这条电缆整体温度的一个把控。同时将拍摄到的红外图像和整体的温度全景图关联起来。因为每张图像都是在标志点上拍摄的，点击标志点，展示以这个标志点为中心的一段局部全景图，包括红外和可见光，展示所覆盖的距离由相机的视场角决定，但肯定能够覆盖两个标志点之间的长度。可见光图像的作用目前有两个：1.辅助红外图像上的定位；2.局部细节图中包含可见光图像。

本发明的有益效果如下：本发明基于轨道移动机器人的热传导全景成像方法，既能对整条电缆的整体温度状况进行了完整描述，可以整体把握情况，又能局部细节地提供电缆的温度数据。

附图说明

图1是本发明的流程图。

图2是本发明轨道温度全景示意图。

图3是本发明中红外相机和可见光相机的相对位置关系示意图。

图4是本发明中红外图像在整体全景图上的投影位置示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本发明的一个实施例，参见图1，为基于轨道移动机器人的热传导全景成像方法，采用以下技术方法实现的：建站过程和任务巡检过程两个部分。要想使系统成功运行，首先需要手动对目标轨道进行一次巡检，收集需要的信息，这被称为建站过程。在轨道上采集若干个标志点，隧道机器人以一定的速度在轨道上运动，当到达标志点时调整云台，使得相机对准监测的电缆，位于画面中央，然后拍摄可见光和红外图像，并合成采集的红外图像形成全景图。

参见图2，所述建站过程包括以下步骤：A1)、根据轨道的轨迹地图，在轨道轨迹上进行标记若干个点，相邻两个点之间要保证距离大致相同且距离要求小于红外相机的视场角，否则无法全覆盖。所述标记点为轨道每隔若干米部署一枚磁钢片，所述磁钢片的位置为所述标记点；A2)、启动巡检机器人在轨道上运动，所述巡检机器人到达标记点位置停下，调节云台使得相机对准需要拍摄的电缆目标并记录所需要的信息，所述相机包括可见光相机和红外相机，所述信息包括云台的角度、机器人机身的高度和角度、所述标记点位置、所述相机镜头到电缆的距离及当前标记点到上一标记点的距离；A3)、所述相机下发命令启动拍照，拍摄可见光图像和红外图像；A4)、在所有拍摄的可见光图像标定出需要追踪的电缆。

自动巡检过程主要任务是：巡检机器人正常自动执行任务，匀速运动，在运动过程中动态调整云台，采集数据，生成红外全景图以供分析，无需人员干预。

所述任务巡检过程包括以下步骤：：B1)、将A2)中记录的所有云台角度分段拟合成一条曲线或函数，将标记点位置的所述信息输入数据库；B2)、启动所述巡检机器人在轨道上匀速运动，巡检机器人到达标记点位置，根据B1)中云台角度分段拟合成的一条曲线或函数动态调整云台；B3)、所述巡检机器人在到达标记点位时并不停下，在任务节点下发任务拍摄可见光图像和红外图像并记录所述信息；B4)、对采集的数据后期处理并生成温度全景图。

对所述采集的数据后期处理包括以下步骤：

C1)、对所述任务巡检过程中采集的数据，所述数据包括可见光图像和红外图像，在可见光图像上进行电缆区域定位，目的是识别出自动巡检过程采集的可见光图像上电缆位置。电缆区域所述定位或采用特征匹配，所述特征匹配，对标定图像A和巡检图像B分别提取特征，计算A和B之间的透视变换关系，通过透视变换矩阵将A上标出的区域变换到B上得到定位区域。电缆区域所述定位或采用模板匹配。所述模板匹配，将标定图像上标出的电缆区域作为模板，在巡检图像上滑动窗口，计算模板和巡检图像滑动窗口之间的规范化互相关系数，取得到系数最大值的窗口区域作为定位区域；

C2)、由于机器人在拍摄过程中调节了云台，因此拍摄的成像平面和轨道所在的水平面可能是不垂直的，有一个相交的倾斜角度。设计的最终展现形式是从上往下的俯视图，因此首先需要将拍摄的成像平面变换为和轨道所在的水平面相垂直，包括红外图像和可见光图像，计算方法：假设云台的转动角度分别为偏向θz，俯仰θy，旋转θx，从这三个角度可以计算出3x3的离散余弦矩阵DCM1：

假定原始图像x轴、y轴上某个点坐标为(x0,y0)，相机标定好的内参矩阵为K，则变换后的点坐标(x1,y1)按以下方式确定：

x1＝x'/z'

y1＝y'/z'

其中

(cx,cy)为相机光心，(fx,fy)分别为x轴和y轴方向的焦距，则通过插值得到变换后的第二红外图像和第二可见光图像，定位的区域也被转换到新的平面上，对应的第二可见光图像上的区域定位。

C3)、参见图3，预先标定好可见光相机和红外相机的相对位置关系，将第二可见光图像上的所述定位的区域转换到第二红外图像上的区域定位。可见光相机拍摄照片的坐标为(x0,y0)，则对应的红外相机上坐标为(x0-L,y0)，其中L为位移距离；

C4)、参见图4，根据拍摄时的位置确定所述第二红外图像在整体全景图上的投影位置，对应的位置：每幅图对应一个标记点，然后每个标记点对应一段轨道，从而每幅图提取出的颜色和轨道相关联上，得到在整体全景图上的投影位置。注意每个标记点采集的红外图像有一定的视场角重叠，对重叠区域要进行融合，融合或采用直接加权融合或采用多尺度融合。

加权融合，假设在重叠区域上图像A的像素值为(x1,y1)，图像B的像素值为(x2,y2)，则合成后的像素值(x’,y’)为

其中a1+a2＝1，a1和a2为加权因子。

多尺度融合，将重叠区域构造成多尺度金字塔，每个尺度分别加权融合，再将整个金字塔还原为一幅图像。图像金字塔是图像技术中的一项公知技术，具体而言是图像多尺度表达的一种，代表一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

C5)、将获得的所述第二红外图像上的定位区域投影到轨道所在的水平面上，按列提取出温度最大值，等比例缩放后可视化填入对应位置。视化方法：计算一张颜色表，从0-255对应不同的颜色。将计算出的温度数组按一个范围离散到0-255内，然后从色表中取色。

假设原始可见光图像为A0，红外图像为B0，步骤C1在可见光图像上定位出区域R0；则通过步骤C2，得到新的可见光图像A1和红外图像B1，对应的A1上的区域R1；通过步骤C3，得到B1上对应的区域R2；步骤C4所述红外图像为B1；步骤C5所述红外图像和区域为B1和R2。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (7)

1.一种基于轨道移动机器人的热传导全景成像方法，其特征在于，包括建站过程和任务巡检过程两个部分；

所述建站过程包括以下步骤：A1)、根据轨道的轨迹地图，在轨道轨迹上进行标记；A2)、启动巡检机器人在轨道上运动，所述巡检机器人到达标记点位置停下，调节云台使得相机对准需要拍摄的电缆目标并记录所需要的信息，所述相机包括可见光相机和红外相机，所述信息包括云台的角度、机器人机身的高度和角度、所述标记点位置、所述相机镜头到电缆的距离及当前标记点到上一标记点的距离；A3)、所述相机下发命令启动拍照，拍摄可见光图像和红外图像；A4)、在所有拍摄的可见光图像标定出需要追踪的电缆；

所述任务巡检过程包括以下步骤：B1)、将A2)中记录的所有云台角度分段拟合成一条曲线或函数，将标记点位置的信息输入数据库；B2)、启动巡检机器人在轨道上匀速运动，巡检机器人到达标记点位置，根据B1)中云台角度分段拟合成的一条曲线或函数动态调整云台；B3)、所述巡检机器人在到达标记点位时并不停下，在任务节点下发任务拍摄可见光图像和红外图像并记录所述信息；B4)、对采集的数据后期处理合成采集的红外图像并生成温度全景图，对所述采集的数据后期处理包括以下步骤：

C1)、对所述任务巡检过程中采集的数据，所述数据包括可见光图像和红外图像，在可见光图像上进行电缆区域定位；

C2)、将拍摄的成像平面变换为和轨道所在的水平面相垂直，包括红外图像和可见光图像，计算方法：假设云台的转动角度分别为偏向θz，俯仰θy，旋转θx，从这三个角度可以计算出3x3的离散余弦矩阵DCM1：

假定原始图像x轴、y轴上某个点坐标为(x0，y0)，相机标定好的内参矩阵为K，则变换后的点坐标(x1，y1)按以下方式确定：

x1＝x’/z’

y1＝y’/z’

其中

(cx，cy)为相机光心，(fx，fy)分别为x轴和y轴方向的焦距，则通过插值得到变换后的第二红外图像和第二可见光图像，定位的区域也被转换到新的平面上，对应的第二可见光图像上的区域定位；

C3)、预先标定好可见光相机和红外相机的相对位置关系，将第二可见光图像上的所述定位的区域转换到第二红外图像上的区域定位；

C4)、根据拍摄时的位置确定所述第二红外图像在整体全景图上的投影位置，对重叠区域要进行融合；

C5)、将获得的所述第二红外图像上的定位区域投影到轨道所在的水平面上，按列提取出温度最大值，等比例缩放后可视化填入对应位置。

2.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，电缆区域所述定位方法为特征匹配。

3.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，电缆区域所述定位方法为模板匹配。

4.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，所述融合为加权融合，假设在重叠区域上图像A的像素值为(x1，y1)，图像B的像素值为(x2，y2)，则合成后的像素值(x’，y’)为

其中a1+a2＝1，a1和a2为加权因子。

5.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，所述融合为多尺度融合，将重叠区域构造成多尺度图像金字塔，每个尺度分别加权融合，再将整个金字塔还原为一幅图像。

6.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，在轨道轨迹上标记若干所述标记点，相邻两个点之间要保证距离大致相同且距离要求小于所述红外相机的视场角。

7.根据权利要求1所述的一种基于轨道移动机器人的热传导全景成像方法，其特征在于，所述标记点为轨道每隔若干米部署一枚磁钢片，所述磁钢片的位置为所述标记点。

Images