CN110084842B - 一种机器人云台伺服二次对准方法及装置 - Google Patents

Abstract

本申请公开了一种机器人云台伺服二次对准方法及装置，本申请通过单应矩阵图像投影方式，从SIFT特征匹配得到的多组配对特征点中提取出预置对数的配对特征点，并由提取出的配对特征点建立单应矩阵，通过单应矩阵进行坐标值的投影进而计算实时图像与参考图像的平移像素偏差，解决了现有的变电站巡检机器人通常采用特征点匹配的方式进行二次对准时，需要根据每一对配对特征点的平移像素偏差求出平均像素偏差，再根据平均像素偏差进行二次对准，导致的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

Description

一种机器人云台伺服二次对准方法及装置

技术领域

本申请涉及自动化控制领域，尤其涉及一种机器人云台伺服二次对准方法及装置。

背景技术

变电站设备巡检机器人是基于自主导航、精确定位、自动充电的室外全天候移动平台，集成可见光、红外、声音等传感器；基于磁轨迹和路面特殊布置的RFID标签，实现巡检机器人的最优路径规划和双向行走，将被检测设备的视频、声音和红外测温数据通过无线网络传输到监控室；巡检后台系统通过对待检设备的图像处理和模式识别等技术，结合设备图像红外专家库，实现对设备热缺陷、分合状态、外观异常的判别，以及仪表读数、油位计位置的识别的智能化巡检设备。

现有的变电站巡检机器人通常采用特征点匹配的方式进行二次对准时，需要根据每一对配对特征点的平移像素偏差求出平均像素偏差，再根据平均像素偏差进行二次对准，导致的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

发明内容

本申请提供了一种机器人云台伺服二次对准方法及装置，用于解决现有的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

有鉴于此，本申请提供了一种机器人云台伺服二次对准方法，包括：

当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

通过SIFT特征相似度匹配方式，对所述实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出所述实时图像与所述参考图像中的成对匹配的配对特征点；

筛选出预置对数的所述配对特征点，并根据筛选出的所述配对特征点建立单应矩阵，并根据所述实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出所述中心特征点在所述参考图像中的映射坐标；

根据所述参考图像的中心点坐标与所述映射坐标的差值，得到平移像素偏差，并根据所述平移像素偏差，驱动所述机器人进行位置修正。

优选地，所述单应矩阵坐标映射公式为：

式中，k为归一化算子，为单应矩阵，[x′y′]为所述实时图像投影至所述参考图像上的映射坐标，[x y]为所述实时图像的中心点坐标。

优选地，所述筛选出预置对数的所述配对特征点之前还包括：

通过RANSAC算法，对所有所述配对特征点进行去噪及无效点筛查处理。

优选地，所述当检测到机器人移动至预置位时，采集待巡检目标的实时图像之前还包括：

获取所述机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个所述预置位对应的参考图像并保存。

本申请还提供了一种机器人云台伺服二次对准装置，包括：

实时图像采集单元，用于当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

特征点匹配单元，用于通过SIFT特征相似度匹配方式，对所述实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出所述实时图像与所述参考图像中的成对匹配的配对特征点；

特征映射单元，用于筛选出预置对数的所述配对特征点，并根据筛选出的所述配对特征点建立单应矩阵，并根据所述实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出所述中心特征点在所述参考图像中的映射坐标；

偏差修正单元，用于根据所述参考图像的中心点坐标与所述映射坐标的差值，得到平移像素偏差，并根据所述平移像素偏差，驱动所述机器人进行位置修正。

优选地，所述单应矩阵坐标映射公式为：

式中，k是归一化算子，为单应矩阵，[x′ y′]为所述实时图像投影至所述参考图像上的映射坐标，[x y]为所述实时图像的中心点坐标。

优选地，还包括：

特征点预处理单元，用于通过RANSAC算法，对所有所述配对特征点进行去噪及无效点筛查处理。

优选地，还包括：

参考图像获取单元，用于获取所述机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个所述预置位对应的参考图像并保存。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种机器人云台伺服二次对准方法，包括：

当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

通过特征相似度匹配方式，对所述实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出所述实时图像与所述参考图像中的成对匹配的配对特征点；

筛选出预置对数的所述配对特征点，并根据筛选出的所述配对特征点建立单应矩阵，并根据所述实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出所述中心特征点在所述参考图像中的映射坐标；

根据所述参考图像的中心点坐标与所述映射坐标的差值，得到平移像素偏差，并根据所述平移像素偏差，驱动所述机器人进行位置修正。

本申请通过单应矩阵图像投影方式，从SIFT特征匹配得到的多组配对特征点中提取出预置对数的配对特征点，并由提取出的配对特征点建立单应矩阵，通过单应矩阵进行坐标值的投影进而计算实时图像与参考图像的平移像素偏差，解决了现有的变电站巡检机器人通常采用特征点匹配的方式进行二次对准时，需要根据每一对配对特征点的平移像素偏差求出平均像素偏差，再根据平均像素偏差进行二次对准，导致的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种机器人云台伺服二次对准方法的第一个实施例的流程图；

图2为本申请提供的一种机器人云台伺服二次对准方法的第二个实施例的流程图；

图3为本申请提供的一种机器人云台伺服二次对准装置的第一个实施例的结构图。

具体实施方式

本申请实施例提供了一种机器人云台伺服二次对准方法及装置，用于解决现有的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例提供了一种机器人云台伺服二次对准方法，包括：

101、当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

需要说明的是，在启动机器人巡检时，实时定位巡检机器人的位置信息，当检测到机器人移动至预置位时，使巡检机器人通过摄像设备采集带巡检目标的实时图像。

102、通过SIFT特征相似度匹配方式，对实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出实时图像与参考图像中的成对匹配的配对特征点；

需要说明的是，在获取到实时图像后，通过SIFT特征相似度匹配方式，对实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出实时图像与参考图像中的成对匹配的配对特征点。

103、筛选出预置对数的配对特征点，并根据筛选出的配对特征点建立单应矩阵，并根据实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出中心特征点在参考图像中的映射坐标；

需要说明的是，根据步骤102中提取出的配对特征点中筛选出预置对数的配对特征点，并利用筛选出来的配对特征点建立单应矩阵，并根据实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出中心特征点在参考图像中的映射坐标。

104、根据参考图像的中心点坐标与映射坐标的差值，得到平移像素偏差，并根据平移像素偏差，驱动机器人进行位置修正。

需要说明的是，在计算得到中心特征点在参考图像中的映射坐标后，根据参考图像的中心点坐标与映射坐标的差值，得到平移像素偏差，并根据平移像素偏差，驱动机器人进行位置修正。

本申请通过单应矩阵图像投影方式，从SIFT特征匹配得到的多组配对特征点中提取出预置对数的配对特征点，并由提取出的配对特征点建立单应矩阵，通过单应矩阵进行坐标值的投影进而计算实时图像与参考图像的平移像素偏差，解决了现有的变电站巡检机器人通常采用特征点匹配的方式进行二次对准时，需要根据每一对配对特征点的平移像素偏差求出平均像素偏差，再根据平均像素偏差进行二次对准，导致的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

以上为本申请提供的一种机器人云台伺服二次对准方法的第一个实施例的详细说明，下面为本申请提供的一种机器人云台伺服二次对准方法的第二个实施例的详细说明。

请参阅图2，本申请实施例提供了一种机器人云台伺服二次对准方法，包括：

201、获取机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个预置位对应的参考图像并保存。

需要说明的是，在实施本实施例的二次对准方法前，需要先设置用作特征匹配的参考图像，具体做法为：获取机器人在各个预置位处采集的图像数据，将获取到的各个图像数据设为各个预置位对应的参考图像并保存在机器人内置的存储介质中。

202、当检测到机器人移动至预置位时，采集待巡检目标的实时图像。

需要说明的是，在正式使用机器人巡检时，实时定位巡检机器人的位置信息，当检测到机器人移动至预置位时，使巡检机器人通过摄像设备采集带巡检目标的实时图像。

203、通过SIFT特征相似度匹配方式，对实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出实时图像与参考图像中的成对匹配的配对特征点。

需要说明的是，在获取到实时图像后，通过SIFT特征相似度匹配方式，对实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出实时图像与参考图像中的成对匹配的配对特征点。

具体过程包括，根据其特征向量的相似程度进行匹配，设E和E'分别是实时图像和参考图像的SIFT特征集合，特征点d∈E'，d'∈E，d”∈E，如果|d-d'|/|d-d”|＜α，则认为d与d'是一对匹配点。

其中，α为匹配阈值，d'是d的最邻近点，d”是d的次邻近点。

借助SIFT特征提取算法抗干扰能力，能适应变电站一般室外光照和复杂背景环境，提取出质量较高的配对特征点。

204、通过RANSAC算法，对所有配对特征点进行去噪及无效点筛查处理。

需要说明的是，由于通过SIFT特征提取出配对特征点往往含有较大的噪声或者无效点，为了提高精度，本实施例通过RANSAC算法对SIFT特征匹配后得到的配对特征点进行预处理。

205、筛选出预置对数的配对特征点，并根据筛选出的配对特征点建立单应矩阵，并根据实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出中心特征点在参考图像中的映射坐标。

需要说明的是，在对配对特征点进行预处理，排除了信号噪声和无效点后，从剩余的配对特征点中筛选出预置对数的配对特征点，并根据筛选出的配对特征点建立单应矩阵，本实施例的中的预置对数具体为至少四对匹配特征，因为要解出单应矩阵，一般需要至少四组匹配特征点。

接着，根据实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出中心特征点在参考图像中的映射坐标。

其中，本实施例的单应矩阵坐标映射公式为：

式中，k为归一化算子，为单应矩阵，[x′ y′]为实时图像投影至参考图像上的映射坐标，[x y]为实时图像的中心点坐标。

206、根据参考图像的中心点坐标与映射坐标的差值，得到平移像素偏差，并根据平移像素偏差，驱动机器人进行位置修正。

需要说明的是，最后根据参考图像的中心点坐标与映射坐标，计算平移分量恢复像素偏差[dx dy]，设参考图片的中心点坐标为[x₀ y₀]，则，dx＝x'-x₀，dy＝y'-y₀。

另外，本实施例还提供了像素偏移量换算为云台转动控制参数的方法，具体包括：

检测目标点在图像特征空间中的2维向量(映射坐标到参考图像的中心点坐标)表示为f＝[f_x,f_y]^T，f_x和f_y分别根据dx和dy取值，云台中可见光摄像头在笛卡尔坐标系(以云台中的摄像设备为原点)中位置的2维向量表示为r＝[r_x,r_y]^T，操作云台控制器改变云台可见光摄像头位置，导致图像参数的变化，通过摄像机透视投影映射关系，可以获得图像特征空间与云台可见光摄像头位置的变换关系—雅克比矩阵J_r，可得为了判断云台x轴和y轴的耦合特性，单独沿x轴方向旋转云台，通过拍摄图片y轴的像素偏差进行判定/>值。同理，单独沿y轴方向旋转云台，通过拍摄图片x轴的像素偏差进行判定/>值。

最后，根据公式和/>得到机器人位置修正量[Δr_x,Δr_y]，其中，Δf_x为f_x的距离标量，Δf_y为f_y的距离标量。

本申请通过单应矩阵图像投影方式，从SIFT特征匹配得到的多组配对特征点中提取出预置对数的配对特征点，并由提取出的配对特征点建立单应矩阵，通过单应矩阵进行坐标值的投影进而计算实时图像与参考图像的平移像素偏差，解决了现有的变电站巡检机器人通常采用特征点匹配的方式进行二次对准时，需要根据每一对配对特征点的平移像素偏差求出平均像素偏差，再根据平均像素偏差进行二次对准，导致的变电站设备巡检机器人二次对准方法计算量大，对准效率慢的技术问题。

以上为本申请提供的一种机器人云台伺服二次对准方法的第一个实施例的详细说明，下面为本申请提供的一种机器人云台伺服二次对准方法的第二个实施例的详细说明。

本申请还提供了一种机器人云台伺服二次对准装置，包括：

实时图像采集单元301，用于当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

特征点匹配单元302，用于通过SIFT特征相似度匹配方式，对实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出实时图像与参考图像中的成对匹配的配对特征点；

特征映射单元303，用于筛选出预置对数的配对特征点，并根据筛选出的配对特征点建立单应矩阵，并根据实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出中心特征点在参考图像中的映射坐标；

偏差修正单元304，用于根据参考图像的中心点坐标与映射坐标的差值，得到平移像素偏差，并根据平移像素偏差，驱动机器人进行位置修正。

进一步地，还包括：

特征点预处理单元305，用于通过RANSAC算法，对所有配对特征点进行去噪及无效点筛查处理。

进一步地，还包括：

参考图像获取单元306，用于获取机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个所述预置位对应的参考图像并保存。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种机器人云台伺服二次对准方法，其特征在于，包括：

当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

通过SIFT特征相似度匹配方式，对所述实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出所述实时图像与所述参考图像中的成对匹配的配对特征点；

筛选出预置对数的所述配对特征点，并根据筛选出的所述配对特征点建立单应矩阵，并根据所述实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出所述中心点在所述参考图像中的映射坐标；

根据所述参考图像的中心点坐标与所述映射坐标的差值，得到平移像素偏差，并根据所述平移像素偏差，驱动所述机器人进行位置修正；

所述单应矩阵坐标映射公式为：

式中，k是归一化算子，为单应矩阵，[x′ y′]为所述实时图像投影至所述参考图像上的映射坐标，[x y]为所述实时图像的中心点坐标；

所述根据所述平移像素偏差，驱动所述机器人进行位置修正具体包括：

根据所述平移像素偏差，确定检测目标点在图像特征空间中的二维向量；

以云台中的摄像设备为笛卡尔坐标系原点，根据云台中可见光摄像头与笛卡尔坐标系原点的位置关系，确定云台中可见光摄像头在笛卡尔坐标系中的二维向量；

通过摄像机透视投影映射关系，获得包含图像特征空间与云台可见光摄像头位置变换关系的雅克比矩阵；

根据所述雅克比矩阵，结合云台x轴和y轴的耦合特性数据，通过修正量计算公式，得到机器人位置修正量，其中，所述修正量计算公式为：

式中，Δf_x为f_x的距离标量，Δf_y为f_y的距离标量，f_x为检测目标点在图像特征空间的二维向量当中x轴的分向量，f_y为检测目标点在图像特征空间的二维向量中y轴的分向量，r_x为云台中可见光摄像头在笛卡尔坐标系的二维向量当中x轴的分向量，r_y为云台中可见光摄像头在笛卡尔坐标系的二维向量当中y轴的分向量。

2.根据权利要求1所述的一种机器人云台伺服二次对准方法，其特征在于，所述筛选出预置对数的所述配对特征点之前还包括：

通过RANSAC算法，对所有所述配对特征点进行去噪及无效点筛查处理。

3.根据权利要求2所述的一种机器人云台伺服二次对准方法，其特征在于，所述当检测到机器人移动至预置位时，采集待巡检目标的实时图像之前还包括：

获取所述机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个所述预置位对应的参考图像并保存。

4.一种机器人云台伺服二次对准装置，其特征在于，包括：

实时图像采集单元，用于当检测到机器人移动至预置位时，采集待巡检目标的实时图像；

特征点匹配单元，用于通过SIFT特征相似度匹配方式，对所述实时图像的特征点与预置的参考图像的特征点进行匹配，并提取出所述实时图像与所述参考图像中的成对匹配的配对特征点；

特征映射单元，用于筛选出预置对数的所述配对特征点，并根据筛选出的所述配对特征点建立单应矩阵，并根据所述实时图像的中心点坐标，通过单应矩阵坐标映射公式，计算出所述中心点在所述参考图像中的映射坐标；

偏差修正单元，用于根据所述参考图像的中心点坐标与所述映射坐标的差值，得到平移像素偏差，并根据所述平移像素偏差，驱动所述机器人进行位置修正；

所述单应矩阵坐标映射公式为：

式中，k为归一化算子，为单应矩阵，[x′ y′]为所述实时图像投影至所述参考图像上的映射坐标，[x y]为所述实时图像的中心点坐标；

所述根据所述平移像素偏差，驱动所述机器人进行位置修正具体包括：

根据所述平移像素偏差，确定检测目标点在图像特征空间中的二维向量；

以云台中的摄像设备为笛卡尔坐标系原点，根据云台中可见光摄像头与笛卡尔坐标系原点的位置关系，确定云台中可见光摄像头在笛卡尔坐标系中的二维向量；

通过摄像机透视投影映射关系，获得包含图像特征空间与云台可见光摄像头位置变换关系的雅克比矩阵；

根据所述雅克比矩阵，结合云台x轴和y轴的耦合特性数据，通过修正量计算公式，得到机器人位置修正量，其中，所述修正量计算公式为：

式中，Δf_x为f_x的距离标量，Δf_y为f_y的距离标量，f_x为检测目标点在图像特征空间的二维向量当中x轴的分向量，f_y为检测目标点在图像特征空间的二维向量中y轴的分向量，r_x为云台中可见光摄像头在笛卡尔坐标系的二维向量当中x轴的分向量，r_y为云台中可见光摄像头在笛卡尔坐标系的二维向量当中y轴的分向量。

5.根据权利要求4所述的一种机器人云台伺服二次对准装置，其特征在于，还包括：

特征点预处理单元，用于通过RANSAC算法，对所有所述配对特征点进行去噪及无效点筛查处理。

6.根据权利要求5所述的一种机器人云台伺服二次对准装置，其特征在于，还包括：

参考图像获取单元，用于获取所述机器人在各个预置位处采集的图像数据，并将获取到的各个图像数据设为各个所述预置位对应的参考图像并保存。