CN109933069B - 基于视觉和力反馈的导线探伤机器人远程控制系统及控制方法 - Google Patents

Abstract

本发明公开了一种基于视觉和力反馈的导线探伤机器人远程控制系统及控制方法，主要包括以下步骤：1）操作者通过主端控制箱远程控制从端机器人；2）从端机器人在受控完成相应动作后，一方面通过虚拟力反馈算法，获得相对预设目标点或防震锤障碍的虚拟反馈力；另一方面通过虚拟视觉反馈算法，获得准实时视频与实际位置标记；3）主端控制箱通过力反馈手柄反馈虚拟力，并通过液晶显示屏实现虚拟视觉反馈；4）操作者通过反馈信息对操作进行相应调整，完成反馈远程控制。本发明所述控制方法能有效提高远程控制精度、稳定性与操作简单直观性。

Description

基于视觉和力反馈的导线探伤机器人远程控制系统及控制 方法

技术领域

本发明涉及属于特种机器人的远程控制技术领域，特别是涉及基于视觉和力反馈的导线探伤机器人远程控制系统及控制方法。

背景技术

碳纤维复合芯导线(下简称碳纤维导线)作为一种强度高、重量轻、导电率高的新型导线在我国许多地区得到应用。而由于碳纤维导线不耐弯折，在非规范施工过程中极易受损。损伤部位长期受到导线张力以及振动疲劳损伤后，会导致导线断裂事故发生，对人民群众的日常生产生活造成影响。现有对碳纤维导线进行检测的设备多为固定式，存在于碳纤维导线的出厂检测工序中，无法对已挂线运行的碳纤维导线进行检测；而现有的电力巡检机器人多采用可见光或红外方式对导线进行检测，无法对导线的碳纤维芯棒损伤的检测。一种针对已挂线运行的碳纤维导线的缺陷检测机器人(下简称导线探伤机器人)可以解决以上问题，通过X射线无损探伤的方式实现对碳纤维复合芯导线内部碳纤维芯棒的检测，能及时发现缺陷及时采取相应措施。

本专利所述导线探伤机器人是一种针对碳纤维复合芯导线、由双轮驱动、搭载了X射线无损探伤设备、具有一定自主决策能力的机器人。该机器人在碳纤维导线上运行时，具有一定的自主运动能力，在预设参数与传感器反馈参数共同作用下，可以完成定位行走、步进行走动作，并能完成翻越防震锤、连接金具等障碍。当在发现碳纤维导线内部缺陷时，需要将导线探伤机器人运行至缺陷处进行复查，此时需要人工操作；当在导线机器人做翻越防震锤的越障运动，若单纯依靠机器人自身的决策能力，很难在越障时选择合适的速度，完成平稳越障，此时需要人工干预。

在实际运用过程中，操作者位于地面，通过控制箱对机器人进行人工干预或远程操纵。为帮助操作者做出及时且准确的决策，需要采用视觉与力反馈提高操作人员对导线探伤机器人运行状态与环境的感知。因此一种基于视觉和力反馈的远程控制系统可以实现操作人员与设备的临场感交互，使操作直观，降低操作人员的工作难度并提高控制的准确度。

现有巡线机器人与导线检测机器人均多使用普通远程控制方法，即地面控制人员简单通过按键或手柄完成对线上机器人的操纵，未使用力反馈技术提高操作的直观性和便利性。加拿大曼尼托吧大学研究人员将远程控制引入带电作业机器人，提高带电操作的安全性与简便性，但应用于机器人上方机械臂，未用于机器人本体整体运动控制。

发明内容

针对导线探伤机器人在架空碳纤维导线探伤领域对远程控制操作精度、稳定性与操作简单直观等应用要求，本发明提供了一种基于视觉和力反馈的导线探伤机器人远程控制系统及控制方法，有效提高了导线探伤机器人远程控制的控制精度与操作直观性性，为达此目的，本发明提供基于视觉和力反馈的导线探伤机器人远程控制系统，包括主端控制箱、从端机器人与通讯模块，所述主端控制箱为便携式地面控制站，包括液晶显示屏、力反馈手柄与中控计算机，所述液晶显示屏为视觉反馈部件，显示从端机器人摄像头回传的视频信息以及虚拟预测位置标记，所述力反馈手柄为力反馈触觉部件，一方面用于获得用户操作动作的位移，映射得相应电位值，另一方面根据从端机器人反馈数据，提供虚拟反馈力，所述中控计算机用于控制信号的处理发送与反馈信号的处理表达，所述从端机器人为悬挂于导线上的缺陷检测机器人，主要包括行走部件、线性定位部件与视频采集部件，所述行走部件为受电机驱动的鞍形胶轮，主要提供导线探伤机器人沿导线运动的驱动力，所述线性定位部件为与导线直接接触的编码器计米轮，提供导线探伤机器人在导线上的精确一维坐标，并能通过微分算法获得导线探伤机器人的运行速度，所述视频采集部件提供机器人视角的现场视频，所述通讯模块主要用于主端控制箱与从端机器人的通讯，一方面将主端控制信号传输给从端机器人，另一方面将从端视频信号与坐标位姿等信号传输至主端控制箱。

本发明基于视觉和力反馈的导线探伤机器人远程控制系统的控制方法，具体步骤如下：

1)主端控制箱上的力反馈手柄在操作者控制下运动，并输出相应的位置信息给中控计算机；

2)中控计算机通过计算，获得映射的速度值，并将速度控制信号通过无线传输模块发送至从端机器人；

3)从端机器人一方面通过虚拟力反馈算法，获得从端机器人相对预设目标点或防震锤障碍的虚拟反馈力，并通过无线传输模块传送至主端控制箱；另一方面通过虚拟视觉反馈算法，获得从端机器人准实时视频与实际位置标记，并通过无线传输模块传送至主端控制箱；

4)主端控制箱接收虚拟反馈力与视频信息后，分别通过力反馈手柄与液晶显示屏对操作者进行反馈；

5)操作者在获得力反馈与视觉反馈后，根据需要通过改变力反馈手柄的角度，改变从端机器人的运动状态。

作为本发明方法进一步改进，步骤三中虚拟力反馈算法包括状态机、行走线程虚拟力反馈以及越障线程虚拟力反馈三个部分，所述状态机是指通过环境输入量与控制量进行从端机器人运动状态切换的程序，所述行走线程虚拟力反馈是指在机器人行走状态下，获得针对预设目标点的虚拟反馈力的算法，用于提高远程控制精确度，所述越障线程虚拟力反馈是指在机器人越障状态下，获得针对防震锤障碍的虚拟反馈力的算法，用于帮助操作者便利地完成对机器人越障运动中输出功率的干预优化，提高越障阶段的运行平稳度。

作为本发明方法进一步改进，步骤三中所述虚拟视觉反馈算法主要包括实际位置虚拟标记与视频显示两部分，所述视频显示部分是指在液晶显示屏中显示视频信息与实际位置虚拟标记，所述实际位置虚拟标记是指通过计算获得从端机器人实际位置，并在视频中使用虚拟标记进行展示的算法，用于帮助操作者准实时地感知机器人所处的环境要素，便于操作者实现简单直观的手动操作或手动干预

本发明采用上述技术方案，具有以下有益效果：

1)将基于视觉与力反馈的远程控制技术引入到碳纤维导线探伤机器人的控制中，提高操作的简便性和直观性；

2)通过虚拟力反馈与虚拟视觉反馈算法，有效提高地面操作人员手动操作的控制精度。

附图说明

图1为本发明基于视觉与力反馈的导线探伤机器人远程控制系统结构框图；

图2为本发明虚拟力反馈算法运行流程图；

图3为本发明虚拟视觉反馈算法示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供了一种基于视觉和力反馈的导线探伤机器人远程控制系统及控制方法，有效提高了导线探伤机器人远程控制的精度与操作直观性性。

下面结合附图1～3对本发明作进一步详细说明。

参见下图1所示基于视觉和力反馈的导线探伤机器人远程控制系统，包括主端控制箱2、从端机器人4与通讯模块3。所述主端控制箱2为便携式地面控制站，包括液晶显示屏201、力反馈手柄202与中控计算机203。所述液晶显示屏201为视觉反馈部件。所述力反馈手柄202为单自由度力反馈触觉部件，一方面用于获得用户1操作动作的位移，映射得相应电位值，另一方面输出虚拟反馈力。所述中控计算机203用于控制信号的处理发送与反馈信号的处理表达。所述从端机器人4为悬挂于架空碳纤维导线上的缺陷监测机器人，主要包括行走部件402、线性定位部件401和视频采集部件403。所述行走部件401为受电机驱动的鞍形胶轮，主要提供从端机器人4沿导线501运动的驱动力。所述线性定位部件401为与导线501直接接触的编码器计米轮，提供从端机器人4在导线501上的精确一维坐标，并能通过微分算法获得从端机器人4的运行速度vs。所述视频采集部件403提供机器人视角的现场视频。所述通讯模块3主要用于主端控制箱2与从端机器人4的通讯，一方面将主端控制信号2传输给从端机器人4，另一方面将从端4视频信号与坐标位姿等信号传输至主端控制箱2。

上述基于视觉和力反馈的导线探伤机器人远程控制方法，包括以下步骤：

操作者1操作力反馈手柄202，使力反馈手柄202产生一个位移x_h，通过内部电路转化为电平信号。中控计算机203采集力反馈手柄202输出的电平信号，映射得控制速度v_m，通过通讯模块3中的LoRa扩频无线数传通道传输至从端机器人4。从端机器人4的主控模块接收控制速度v_m，通过控制行走部件402使从端机器人4沿着导线501以速度v_s运动。与从端机器人4密切相关的环境要素5主要包括导线501与防震锤502，其中导线501为运行环境，防震锤502为待越障碍。从端机器人4通过线性定位部件401获得机器人的位置信息与速度信息，通过视频采集部件403获得从端机器人4内部视角视频，并通过虚拟力反馈算法得到虚拟力f_s。通讯模块3中的2.4GHz无线图传通道用于将视频信息传输至主端控制箱，LoRa扩频无线数传通道用于传输从端机器人4的相关数据f_s、v_s。主控控制箱2接收数据后，使用虚拟力反馈算法完成数据整合后通过力反馈手柄202输出反馈力f_m，使用虚拟预测算法，对视频数据进行处理后通过液晶显示屏201完成预测视觉反馈。以上完成基于视觉和力反馈的远程控制。

上述虚拟力反馈算法，参见图2，包括以下步骤：

虚拟力反馈算法主要包括状态机、行走线程虚拟力反馈以及越障线程虚拟力反馈三个部分。所述状态机主要用于系统根据各输入量切换运行状态，所述各输入量包括控制输入量与环境输入量两部分。所述控制输入量主要是由主端控制箱2通过通讯模块3传至从端机器人4的速度控制量v_m，对速度控制量进行判定可以使系统在停止状态与行走或越障状态间切换。所述环境输入量主要是有从端机器人4上摄像头403采集的视频信号经过目标特征匹配算法后的输出量，用于判断前方是否有障碍物，使系统在行走和越障状态间切换。

所述行走线程虚拟力反馈用于提高从端机器人4远程定点操作的精确度，主要包括以下步骤：首先从通讯链路读取指定目标点坐标x_set。接着通过线性定位模块401读取从端机器人4当前坐标x_e，经过计算后获得从端机器人4到预设目标点的距离d_e。最后通过判定程序，若距离d_e小于d_per，则使用虚拟反馈力计算算法计算得到虚拟反馈力f_e，并通过通讯链路完成数据回传。

所述越障线程虚拟反馈力用于越障过程中平稳远程控制，主要包括以下步骤：首先从通讯链路读取视频信息。接着通过距离预估算法预估防震锤距离d_e。所述距离预估算法是指通过视觉方法计算给定区域内像素点分布的算法。最后通过判定程序，若距离d_e小于d_per，则使用上述虚拟反馈力计算算法计算得到虚拟反馈力f_e，并通过通讯链路完成数据传送。

上述越障线程虚拟反馈力算法，可以通过如下公式来描述：

式中，k为描述虚拟反馈力比例的常数参数，其大小决定了相同距离时的反馈力大小，依据力反馈操作时的；d_per为虚拟反馈力产生的阈值，为根据实际情况预先设置。

以上完成虚拟力反馈算法的描述。

上述预测视觉反馈主要包括实际位置虚拟标记与视频显示两部分，用于克服远程控制中的时延，便于操作者对环境产生直观感受。所述视频显示部分是指在液晶显示屏201中显示视频信息与实际位置虚拟标记，参见图3(a)、3(b)。所述实际位置虚拟标记是指，通过计算获得从端机器人实际位置，并在视频中使用虚拟标记进行展示的算法。由于视频无线传输过程中的时延，从端机器人4实际位置相对于视频位置有距离差d_d。所述距离差d_d根据如下公式计算获得：

d_d＝k_t·v_s

式中k_t为表达远程控制系统时延的常量参数，包括数据处理时延与数据传输时延。

由图3(a)到图3(b)位置，障碍距离d_e减小，虚拟反馈力f_e增大。操作者会通过准实时图像，操作力反馈手柄，使越障前期使用较大扭矩，完成上坡；在越障后期及时减速，减小下坡冲击，减小脱线的风险。

以上完成预测视觉反馈算法的描述。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.基于视觉和力反馈的导线探伤机器人远程控制系统的控制方法，所述控制系统，包括主端控制箱、从端机器人与通讯模块，其特征在于：所述主端控制箱为便携式地面控制站，包括液晶显示屏、力反馈手柄与中控计算机，所述液晶显示屏为视觉反馈部件，显示从端机器人摄像头回传的视频信息以及虚拟预测位置标记，所述力反馈手柄为力反馈触觉部件，一方面用于获得用户操作动作的位移，映射得相应电位值，另一方面根据从端机器人反馈数据，提供虚拟反馈力，所述中控计算机用于控制信号的处理发送与反馈信号的处理表达，所述从端机器人为悬挂于架空碳纤维导线上的缺陷监测机器人，主要包括行走部件、线性定位部件与视频采集部件，所述行走部件为受电机驱动的鞍形胶轮，主要提供导线探伤机器人沿导线运动的驱动力，所述线性定位部件为与导线直接接触的编码器计米轮，提供导线探伤机器人在导线上的精确一维坐标，并能通过微分算法获得导线探伤机器人的运行速度，所述视频采集部件提供机器人视角的现场视频，所述通讯模块主要用于主端控制箱与从端机器人的通讯，一方面将主端控制信号传输给从端机器人，另一方面将从端视频信号与坐标位姿等信号传输至主端控制箱，其特征在于，具体步骤如下：

1）主端控制箱上的力反馈手柄在操作者控制下运动，并输出相应的位置信息给中控计算机；

2）中控计算机通过计算，获得映射的速度值，并将速度控制信号通过无线传输模块发送至从端机器人；

3）从端机器人一方面通过虚拟力反馈算法，获得从端机器人相对预设目标点或防震锤障碍的虚拟反馈力，并通过无线传输模块传送至主端控制箱；另一方面通过虚拟视觉反馈算法，获得从端机器人准实时视频与实际位置标记，并通过无线传输模块传送至主端控制箱；

虚拟力反馈算法包括状态机、行走线程虚拟力反馈以及越障线程虚拟力反馈三个部分，所述状态机是指通过环境输入量与控制量进行从端机器人运动状态切换的程序，所述行走线程虚拟力反馈是指在机器人行走状态下，获得针对预设目标点的虚拟反馈力的算法，用于提高远程控制的精确度，所述越障线程虚拟力反馈是指在机器人越障状态下，获得针对防震锤障碍的虚拟反馈力的算法，用于帮助操作者完成对机器人越障运动中输出功率的干预优化，提高越障阶段的运行平稳度；

所述虚拟视觉反馈算法主要包括实际位置虚拟标记与视频显示两部分，所述视频显示部分是指在液晶显示屏中显示视频信息与实际位置虚拟标记，所述实际位置虚拟标记是指通过计算获得从端机器人实际位置，并在视频中使用虚拟标记进行展示的算法，用于帮助操作者准时地感知机器人所处的环境要素，便于操作者实现简单直观的手动操作或手动干预；

4）主端控制箱接收虚拟反馈力与视频信息后，分别通过力反馈手柄与液晶显示屏对操作者进行反馈；

5）操作者在获得力反馈与视觉反馈后，根据需要通过改变力反馈手柄的角度，改变从端机器人的运动状态。

Images