CN110744546B - 一种缺陷修复机器人抓取非静止导线的方法及系统 - Google Patents

Abstract

本申请公开一种缺陷修复机器人抓取非静止导线的方法及系统，方法包括：采用高速摄像机拍摄导线，得到若干图像；对图像进行目标导线的辨识，确定目标导线；对目标导线对应的图像进行特征提取，得到若干目标特征信息；确定目标导线的运动轨迹；确定在机器人坐标系中目标导线的运动范围；利用双目摄像头，得到机械手臂与目标导线的距离；通过调整机械手臂的位置，使机械手臂与目标导线的距离小于等于运动范围内最远两个轨迹点直线距离的三分之一；预测目标导线后续的运动轨迹；使机械手臂和目标导线同步运动时，对目标导线进行抓取。以解决现有作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线的问题。

Description

一种缺陷修复机器人抓取非静止导线的方法及系统

技术领域

本申请涉及一种机器人抓取导线的方法及系统，具体的涉及一种缺陷修复机器人抓取非静止导线的方法及系统。

背景技术

随着机器人技术的快速发展，为输电线路的巡检与修复提供了新的途径。利用机器人进行导线的巡检与修复作业，能够充分保障作业人员的安全，同时提高作业效率。

缺陷修复机器人是一种带电作业机器人，属于工业特种机器人，其他工业机器人的应用，如汽车工厂等，作业环境都有固定的轨道，但是，缺陷修复机器人面临的环境是多变的。例如，因为天气的原因，导致导线处于非静止的状态。由于，目前缺陷修复机器人抓取导线的方式为人工操作控制缺陷修复机器人的机械手臂抓取导线，当导线处于非静止状态时，作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线。

因此，如何提供一种缺陷修复机器人抓取非静止导线的方法，以提高机器人抓取非静止状态下导线的准确度和效率。

发明内容

本申请提供了一种缺陷修复机器人抓取非静止导线的方法及系统，以解决现有作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线的问题。

一方面，一种缺陷修复机器人抓取非静止导线的方法，包括：

采用高速摄像机拍摄待修复区段的导线，得到若干图像；

采用基于混合高斯模型的背景消减法对所述图像进行目标导线的辨识，确定目标导线，所述目标导线为非静止导线；

对所述目标导线对应的所述图像进行特征提取，得到若干目标特征信息，所述目标特征信息为所述目标导线的特征信息；

根据若干所述目标特征信息，确定所述目标导线的运动轨迹；

根据所述目标导线的所述运动轨迹，确定在机器人坐标系中所述目标导线的运动范围，所述机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，所述运动范围为所述运动轨迹中的所有轨迹点坐标的坐标范围；

利用双目摄像头，采用双目视觉定位技术，得到第一距离，所述第一距离为所述缺陷修复机器人的机械手臂与所述目标导线的距离；

通过机械手臂控制模块对所述机械手臂的位置进行调整，使所述第一距离小于等于第二距离，所述第二距离为所述运动范围内最远两个所述轨迹点直线距离的三分之一；

根据若干所述目标特征信息，预测所述目标导线后续的运动轨迹，得到预测运动轨迹；

根据所述目标导线的所述预测运动轨迹，通过所述机械手臂控制模块对所述机械手臂的控制，使所述机械手臂按照所述预测运动轨迹运动；

当所述机械手臂和所述目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定所述目标导线的位置；

根据所述目标导线的位置，通过所述机械手臂控制模块对所述机械手臂的控制，对所述目标导线进行抓取。

可选的，所述根据若干目标特征信息，确定目标导线的运动轨迹，包括：

按照所述目标导线的所述时间信息对所述位置信息进行勾连，得到所述目标导线的运动轨迹，所述目标特征信息包括所述目标导线的时间信息和位置信息；

当在不同的所述时间信息下出现相同的所述位置信息时，停止对所述位置信息的勾连，得到一条完整的所述目标导线的所述运动轨迹。

可选的，所述根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹，包括：

根据若干所述目标特征信息，得到所述目标导线运动到每个轨迹点处的时间点、坐标和速度；

根据所述目标导线运动到每个轨迹点处的时间点、坐标和速度，预测所述目标导线后续的运动轨迹，得到预测运动轨迹。

可选的，所述根据目标导线的预测运动轨迹，通过机械手臂控制模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动，包括：

通过运动规划子模块，根据所述目标导线的所述预测运动轨迹，计算在所述预测运动轨迹的每个轨迹点处所述机械手臂每个活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置；

通过指令生成子模块，根据在所述预测运动轨迹的每个轨迹点处所述机械手臂每个活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置，生成按照时间排列的多个机械手臂控制指令；

将按照时间排列的多个所述机械手臂控制指令从所述指令生成子模块传送给指令控制子模块；

根据按照时间排列的多个所述机械手臂控制指令，通过所述指令控制子模块对所述机械手臂的控制，使机械手臂按照所述预测运动轨迹运动。

另一方面，一种缺陷修复机器人抓取非静止导线的系统，所述系统包括视觉模块、机械手臂控制器和被所述机械手臂控制器控制的机械手臂，所述视觉模块和所述机械手臂控制器连接；

所述机械手臂包括：

夹爪，用于抓取非静止导线；

位于夹爪上的第一位置传感器，用于获取所述夹爪的位置信息；

机械臂，用于带动所述夹爪运动；

所述机械臂包括：

若干活动关节，所述活动关节上设置力矩传感器和第二位置传感器，所述力矩传感器用于获取所述活动关节的角度，所述第二位置传感器用于获取所述机械臂的位置信息；

所述视觉模块包括：

安装于机械手臂上的双目摄像头；

安装于缺陷修复机器人本体上的高速摄像机，用于拍摄待修复区段的导线，得到若干图像；

目标辨识模块，用于采用基于混合高斯模型的背景消减法对所述图像进行目标导线的辨识，确定目标导线，所述目标导线为非静止导线；

图像特征提取模块，用于对所述目标导线对应的所述图像进行特征提取，得到若干目标特征信息，所述目标特征信息为所述目标导线的特征信息；

定位模块，用于利用双目摄像头，采用双目视觉定位技术，得到第一距离，所述第一距离为所述缺陷修复机器人的机械手臂与所述目标导线的距离；

所述机械手臂控制器包括：

确定运动轨迹模块，用于根据若干所述目标特征信息，确定所述目标导线的运动轨迹；

确定运动范围模块，用于根据所述目标导线的所述运动轨迹，确定在机器人坐标系中所述目标导线的运动范围，所述机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，所述运动范围为所述运动轨迹中的所有轨迹点坐标的坐标范围；

机械手臂控制模块，用于对所述机械手臂的位置进行调整，使所述第一距离小于等于第二距离，所述第二距离为所述运动范围内最远两个所述轨迹点直线距离的三分之一；

运动轨迹预测模块，用于根据若干所述目标特征信息，预测所述目标导线后续的运动轨迹，得到预测运动轨迹；

所述机械手臂控制模块，还用于根据所述目标导线的所述预测运动轨迹，通过对所述机械手臂的控制，使所述机械手臂按照所述预测运动轨迹运动；

所述定位模块，还用于当所述机械手臂和所述目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定所述目标导线的位置；

所述机械手臂控制模块，还用于根据所述目标导线的位置，通过对所述机械手臂的控制，对所述目标导线进行抓取。

可选的，所述确定运动轨迹模块，包括：

运动轨迹勾连子模块，用于按照所述目标导线的所述时间信息对所述位置信息进行勾连，得到所述目标导线的运动轨迹，所述目标特征信息包括所述目标导线的时间信息和位置信息；

轨迹勾连控制子模块，用于当在不同的所述时间信息下出现相同的所述位置信息时，停止对所述位置信息的勾连，得到一条完整的所述目标导线的所述运动轨迹。

可选的，其特征在于，所述运动轨迹预测模块，包括：

轨迹点计算子模块，用于根据若干所述目标特征信息，得到所述目标导线运动到每个轨迹点处的时间点、坐标和速度；

预测轨迹子模块，用于根据所述目标导线运动到每个轨迹点处的时间点、坐标和速度，预测所述目标导线后续的运动轨迹，得到预测运动轨迹。

可选的，所述机械手臂控制模块，包括：

运动规划子模块，用于根据所述目标导线的所述预测运动轨迹，计算在所述预测运动轨迹的每个轨迹点处所述机械手臂每个所述活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置；

指令生成子模块，用于根据在所述预测运动轨迹的每个轨迹点处所述机械手臂每个所述活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置，生成按照时间排列的多个机械手臂控制指令；

指令传达子模块，用于将按照时间排列的多个所述机械手臂控制指令从所述指令生成子模块传送给指令控制子模块；

指令控制子模块，用于根据按照时间排列的多个所述机械手臂控制指令，通过对所述机械手臂的控制，使机械手臂按照所述预测运动轨迹运动。

由以上技术方案可知，本申请提供一种缺陷修复机器人抓取非静止导线的方法及系统，方法包括：采用高速摄像机拍摄待修复区段的导线，得到若干图像；采用基于混合高斯模型的背景消减法对所述图像进行目标导线的辨识，确定目标导线，所述目标导线为非静止导线；对所述目标导线对应的所述图像进行特征提取，得到若干目标特征信息；根据若干所述目标特征信息，确定所述目标导线的运动轨迹；根据所述目标导线的所述运动轨迹，确定在机器人坐标系中所述目标导线的运动范围，所述机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，所述运动范围为所述运动轨迹中的所有轨迹点坐标的坐标范围；利用双目摄像头，采用双目视觉定位技术，得到第一距离，所述第一距离为所述缺陷修复机器人的机械手臂与所述目标导线的距离；通过机械手臂控制模块对所述机械手臂的位置进行调整，使所述第一距离小于等于第二距离，所述第二距离为所述运动范围内最远两个所述轨迹点直线距离的三分之一；根据若干所述目标特征信息，预测所述目标导线后续的运动轨迹，得到预测运动轨迹；根据所述目标导线的所述预测运动轨迹，通过所述机械手臂控制模块对所述机械手臂的控制，使所述机械手臂按照所述预测运动轨迹运动；当所述机械手臂和所述目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定所述目标导线的位置；根据所述目标导线的位置，通过所述机械手臂控制模块对所述机械手臂的控制，对所述目标导线进行抓取。通过本申请的方法及系统，可以使缺陷修复机器人的机械手臂自动抓取非静止的导线，能够解决现有作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种缺陷修复机器人抓取非静止导线的方法流程图；

图2为步骤S04的详细步骤流程图；

图3为步骤S08的详细步骤流程图；

图4为步骤S09的详细步骤流程图；

图5为本申请提供的一种缺陷修复机器人抓取非静止导线的系统结构示意图；

图6为机械手臂的详细结构示意图；

图7为机械臂的详细结构示意图；

图8为夹爪的详细结构示意图；

图9为视觉模块的详细结构示意图；

图10为机械手臂控制器的详细结构示意图；

图11为确定运动轨迹模块的详细结构示意图；

图12为运动轨迹预测模块的详细结构示意图；

图13为机械手臂控制模块的详细结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着机器人技术的快速发展，为输电线路的巡检与修复提供了新的途径。利用机器人进行导线的巡检与修复作业，能够充分保障作业人员的安全，同时提高作业效率。

缺陷修复机器人是一种带电作业机器人，属于工业特种机器人，其他工业机器人的应用，如汽车工厂等，作业环境都有固定的轨道，但是，缺陷修复机器人面临的环境是多变的。例如，因为天气的原因，导致导线处于非静止的状态。由于，目前缺陷修复机器人抓取导线的方式为人工操作控制缺陷修复机器人的机械手臂抓取导线，当导线处于非静止状态时，作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线。

有鉴于此，图1为本申请提供的一种缺陷修复机器人抓取非静止导线的方法流程图，如图1所示，一方面，本申请提供一种缺陷修复机器人抓取非静止导线的方法，包括：

S01：采用高速摄像机拍摄待修复区段的导线，得到若干图像。

高速摄像机位于缺陷修复机器人的本体上，采用高速摄像机拍摄待修复区段的导线，可以得到若干图像。

S02：采用基于混合高斯模型的背景消减法对图像进行目标导线的辨识，确定目标导线，目标导线为非静止导线。

混合高斯模型是一种参数化的概率统计方法，该模型将背景、背景内的小幅度运动以及阴影等的混合信号表示成混合高斯概率统计模型，为不同的状态建立不同的高斯模型，采用最大似然概率来实现背景建模，并利用学习因子实时地更新背景高斯模型，适用于动态背景下的运动检测。背景消减法可以看作一种特殊的帧差法。基本原理是，利用当前帧图像与背景图像对应像素点的灰度差值来检测目标物体。如果当前图像的像素点和背景图像的像素点灰度值差别很大，就认为此像素点有目标物体经过；相反，如果当前图像的像素点和背景图像的像素点灰度值差别较小，在一定的阈值范围内，可以认为此像素点为背景像素点。基于混和高斯模型的背景消减法是将混和高斯模型与背景消减法结合使用，是比较常用的通过图像分析检测目标物体的方法。

采用基于混和高斯模型的背景消减法对图像进行非静止导线的辨识，首先将高速摄像机拍摄到的图像背景以及背景内的小幅度运动和阴影等的混和信号表示成混和高斯概率统计模型，对背景进行建模；再利用背景消减法检测非静止的导线，将非静止导线定义为目标导线。

S03：对目标导线对应的图像进行特征提取，得到若干目标特征信息，目标特征信息为目标导线的特征信息。

经过步骤S02辨识得到的目标导线对应着多个图像，对目标导线对应的多个图像进行特征提取，提取得到若干目标特征信息，目标特征信息可以包括目标导线的时间信息，位置信息等。

S04：根据若干目标特征信息，确定目标导线的运动轨迹。

可选的，图2为步骤S04的详细步骤流程图，如图2所示，S04：根据若干目标特征信息，确定目标导线的运动轨迹，包括：

S041：按照目标导线的时间信息对位置信息进行勾连，得到目标导线的运动轨迹，目标特征信息包括目标导线的时间信息和位置信息。

目标特征信息包括目标导线的时间信息和位置信息，目标特征信息还可以包括其他的特征信息，本申请不作具体限定。按照目标导线的时间信息对位置信息进行勾连，得到目标导线在时间轴上的运动轨迹。

S042：当在不同的时间信息下出现相同的位置信息时，停止对位置信息的勾连，得到一条完整的目标导线的运动轨迹。

当在不同的时间信息下，即不同的时间点，出现相同的位置信息，可以认为目标导线已经运动了一个周期，此时，停止对位置信息的勾连，得到一条完整的目标导线的运动轨迹。本实施例为更清楚描述得到目标导线的运动轨迹的过程，将目标导线的运动视作周期运动，但是本申请不具体限定目标导线是否做周期运动。

S05：根据目标导线的运动轨迹，确定在机器人坐标系中目标导线的运动范围，机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，运动范围为运动轨迹中的所有轨迹点坐标的坐标范围。

以缺陷修复机器人本体为原点建立机器人坐标系，将运动轨迹中每个轨迹点的位置信息转换为机器人坐标系中的坐标点，所有坐标点的坐标范围即为运动轨迹的运动范围。

S06：利用双目摄像头，采用双目视觉定位技术，得到第一距离，第一距离为缺陷修复机器人的机械手臂与目标导线的距离。

双目摄像头为安装于机械手臂上的两个摄像头，可同时对目标导线进行拍摄获取图像。双目视觉定位技术是，通过将安装于机械手臂上的两个摄像头同时拍摄得到的左图像和右图像进行立体图像匹配，经过立体图像匹配得到视差图，根据视差图可以测定得到机械手臂与目标导线的距离。

S07：通过机械手臂控制模块对机械手臂的位置进行调整，使第一距离小于等于第二距离，第二距离为运动范围内最远两个轨迹点直线距离的三分之一。

机械手臂内部设置机械手臂控制模块，用于控制机械手臂的运动。机械手臂包括机械臂和夹爪；夹爪，用于抓取非静止导线，位于夹爪上的第一位置传感器，用于获取夹爪的位置信息；夹爪包括驱动器、传动器和手指，第一位置传感器位于手指上；驱动器用于驱动手指的运动，传动器用于传递动力给手指；机械臂，用于带动夹爪运动；机械臂包括若干活动关节，活动关节上设置力矩传感器和第二位置传感器，力矩传感器用于获取活动关节的角度，第二位置传感器用于获取机械臂的位置信息。通过机械手臂控制模块控制机械臂上的活动关节、夹爪的驱动器、传动器、手指，使得机械手臂的位置得到相应调整，实现第一距离小于等于第二距离，即机械手臂与目标导线的距离小于等于运动范围内最远两个轨迹点直线距离的三分之一。本步骤的目的是，使机械手臂靠近目标导线，靠近的具体距离以运动范围内最远两个轨迹点直线距离的三分之一为限定值，以利于对于目标导线的抓取。

S08：根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹。

可选的，图3为步骤S08的详细步骤流程图，如图3所示，S08：根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹，包括：

S081：根据若干目标特征信息，得到目标导线运动到每个轨迹点处的时间点、坐标和速度。

根据若干目标特征信息，获取目标导线运动到每个轨迹点处的时间点，计算目标导线运动到每个轨迹点处的坐标和速度。

S082：根据目标导线运动到每个轨迹点处的时间点、坐标和速度，预测目标导线后续的运动轨迹，得到预测运动轨迹。

根据目标导线运动到每个轨迹点处的时间点、坐标和速度，对目标导线后续的运动轨迹进行预测，得到预测运动轨迹。

S09：根据目标导线的预测运动轨迹，通过机械手臂控制模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动。

可选的，图4为步骤S09的详细步骤流程图，如图4所示，S09：根据目标导线的预测运动轨迹，通过机械手臂控制模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动，包括：

S091：通过运动规划子模块，根据目标导线的预测运动轨迹，计算在预测运动轨迹的每个轨迹点处机械手臂每个活动关节弯曲的角度、机械臂的位置和夹爪的位置。

通过运动规划子模块，根据预测运动轨迹每个轨迹点处的时间、坐标和速度，通过逆运动学计算出在预测运动轨迹的每个轨迹点处机械手臂每个活动关节弯曲的角度、机械臂的位置和夹爪的位置。逆运动学是决定要达成所需要的姿势所要设置的关节可活动对象的参数的过程。

S092：通过指令生成子模块，根据在预测运动轨迹的每个轨迹点处机械手臂每个活动关节弯曲的角度、机械臂的位置和夹爪的位置，生成按照时间排列的多个机械手臂控制指令。

通过指令生成子模块，根据在预测运动轨迹的每个轨迹点处机械手臂每个活动关节弯曲的角度、机械臂的位置和夹爪的位置，生成按照时间排列的多个机械手臂控制指令。按照时间排列的多个机械手臂控制指令是与目标导线的预测运动轨迹的时间点相对应的指令。

S093：将按照时间排列的多个机械手臂控制指令从指令生成子模块传送给指令控制子模块。

S094：根据按照时间排列的多个机械手臂控制指令，通过指令控制子模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动。

通过指令控制子模块对机械手臂的控制，按照多个机械手臂控制指令，机械手臂按照指令进行运动，由于机械手臂控制指令是根据目标导线的预测运动轨迹得到的，所以机械手臂按照机械手臂控制指令进行的运动轨迹为预测运动轨迹，以实现机械手臂跟随目标导线进行运动。

S10：当机械手臂和目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定目标导线的位置。

当机械手臂和目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，通过测得机械手臂与目标导线的距离，确定目标导线的位置，目标导线的位置可以通过当前目标导线的坐标进行表示。

S11：根据目标导线的位置，通过机械手臂控制模块对机械手臂的控制，对目标导线进行抓取。

根据目标导线的位置，通过机械手臂控制模块对机械手臂的控制，机械手臂对目标导线进行抓取，具体的可以是机械手臂的夹爪的手指抓取目标导线。实现缺陷修复机器人的机械手臂对非静止导线的抓取。

另一方面，图5为本申请提供的一种缺陷修复机器人抓取非静止导线的系统结构示意图，如图5所示，本申请提供一种缺陷修复机器人抓取非静止导线的系统000，系统 000包括视觉模块1、机械手臂控制器2和被所述机械手臂控制器2控制的机械手臂3，视觉模块1和机械手臂控制器2连接。

需要说明的是，机械手臂控制器2可以安装于缺陷修复机器人的本体上，也可以安装于机械手臂3内部，本申请不作具体限定。

图6为机械手臂的详细结构示意图，图7为机械臂的详细结构示意图，如图6和图7所示，机械手臂3包括：

夹爪31，用于抓取非静止导线；

位于夹爪上的第一位置传感器32，用于获取夹爪的位置信息；

机械臂33，用于带动夹爪运动；

机械臂包括：

若干活动关节331，活动关节上设置力矩传感器332和第二位置传感器333，力矩传感器用于获取活动关节的角度，第二位置传感器用于获取机械臂的位置信息。

图8为夹爪的详细结构示意图，结合图6、图7和图8所示，机械手臂3包括机械臂33、夹爪31和第一位置传感器32；夹爪31，用于抓取非静止导线，位于夹爪31上的第一位置传感器32，用于获取夹爪31的位置信息；夹爪31包括驱动器311、传动器 312和手指313，第一位置传感器32位于手指313上；驱动器311用于驱动手指313的运动，传动器312用于传递动力给手指313；机械臂33，用于带动夹爪31运动；机械臂33包括若干活动关节331，活动关节331上设置力矩传感器332和第二位置传感器333，力矩传感器332用于获取活动关节331的角度，第二位置传感器333用于获取机械臂33 的位置信息。通过机械手臂控制器2控制机械臂33上的活动关节331、夹爪31的驱动器311、传动器312、手指313，使得机械手臂3的位置得到相应调整，以实现机械手臂 3的位移或者连续运动。

图9为视觉模块的详细结构示意图，如图9所示，视觉模块1包括：

安装于机械手臂上的双目摄像头11；

双目摄像头11为安装于机械手臂3上的两个摄像头，可同时对目标导线进行拍摄获取图像。双目视觉定位技术是，通过将安装于机械手臂3上的两个摄像头同时拍摄得到的左图像和右图像进行立体图像匹配，经过立体图像匹配得到视差图，根据视差图可以测定得到机械手臂3与目标导线的距离。

安装于缺陷修复机器人本体上的高速摄像机12，用于拍摄待修复区段的导线，得到若干图像；

高速摄像机12位于缺陷修复机器人的本体上，采用高速摄像机12拍摄待修复区段的导线，可以得到若干图像。

目标辨识模块13，用于采用基于混合高斯模型的背景消减法对图像进行目标导线的辨识，确定目标导线，目标导线为非静止导线；

混合高斯模型是一种参数化的概率统计方法，该模型将背景、背景内的小幅度运动以及阴影等的混合信号表示成混合高斯概率统计模型，为不同的状态建立不同的高斯模型，采用最大似然概率来实现背景建模，并利用学习因子实时地更新背景高斯模型，适用于动态背景下的运动检测。背景消减法可以看作一种特殊的帧差法。基本原理是，利用当前帧图像与背景图像对应像素点的灰度差值来检测目标物体。如果当前图像的像素点和背景图像的像素点灰度值差别很大，就认为此像素点有目标物体经过；相反，如果当前图像的像素点和背景图像的像素点灰度值差别较小，在一定的阈值范围内，可以认为此像素点为背景像素点。基于混和高斯模型的背景消减法是将混和高斯模型与背景消减法结合使用，是比较常用的通过图像分析检测目标物体的方法。

采用基于混和高斯模型的背景消减法对图像进行非静止导线的辨识，首先将高速摄像机拍摄到的图像背景以及背景内的小幅度运动和阴影等的混和信号表示成混和高斯概率统计模型，对背景进行建模；再利用背景消减法检测到非静止的导线，将非静止导线定义为目标导线。

图像特征提取模块14，用于对目标导线对应的图像进行特征提取，得到若干目标特征信息，目标特征信息为目标导线的特征信息；

经过步骤S02辨识得到的目标导线对应着多个图像，对目标导线对应的多个图像进行特征提取，提取得到若干目标特征信息，目标特征信息可以包括目标导线的时间信息，位置信息等。

定位模块15，用于利用双目摄像头11，采用双目视觉定位技术，得到第一距离，第一距离为缺陷修复机器人的机械手臂与目标导线的距离；

双目摄像头11为安装于机械手臂上的两个摄像头，可同时对目标物体进行拍摄获取图像。双目视觉定位技术是，通过将安装于机械手臂3上的两个摄像头同时拍摄得到的左图像和右图像进行立体图像匹配，经过立体图像匹配得到视差图，根据视差图可以测定得到机械手臂3与目标导线的距离。

图10为机械手臂控制器的详细结构示意图，如图10所示，机械手臂控制器2包括：

确定运动轨迹模块21，用于根据若干目标特征信息，确定目标导线的运动轨迹；

可选的，图11为确定运动轨迹模块的详细结构示意图，如图11所示，确定运动轨迹模块21，包括：

运动轨迹勾连子模块211，用于按照目标导线的时间信息对位置信息进行勾连，得到目标导线的运动轨迹，目标特征信息包括目标导线的时间信息和位置信息；

目标特征信息包括目标导线的时间信息和位置信息，目标特征信息还可以包括其他的特征信息，本申请不作具体限定。按照目标导线的时间信息对位置信息进行勾连，得到目标导线在时间轴上的运动轨迹。

轨迹勾连控制子模块212，用于当在不同的时间信息下出现相同的位置信息时，停止对位置信息的勾连，得到一条完整的目标导线的运动轨迹。

当在不同的时间信息下，即不同的时间点，出现相同的位置信息，可以认为目标导线已经运动了一个周期，此时，停止对位置信息的勾连，得到一条完整的目标导线的运动轨迹。本实施例为更清楚描述得到目标导线的运动轨迹的过程，将目标导线的运动视作周期运动，但是本申请不具体限定目标导线是否做周期运动。

确定运动范围模块22，用于根据目标导线的运动轨迹，确定在机器人坐标系中目标导线的运动范围，机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，运动范围为运动轨迹中的所有轨迹点坐标的坐标范围；

以缺陷修复机器人本体为原点建立机器人坐标系，将运动轨迹中每个轨迹点的位置信息转换为机器人坐标系中的坐标点，所有坐标点的坐标范围即为运动轨迹的运动范围。

机械手臂控制模块23，用于对机械手臂3的位置进行调整，使第一距离小于等于第二距离，第二距离为运动范围内最远两个轨迹点直线距离的三分之一；

运动轨迹预测模块24，用于根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹；

可选的，图12为运动轨迹预测模块的详细结构示意图，如图12所示，运动轨迹预测模块24，包括：

轨迹点计算子模块241，用于根据若干目标特征信息，得到目标导线运动到每个轨迹点处的时间点、坐标和速度；

根据若干目标特征信息，获取目标导线运动到每个轨迹点处的时间点，计算目标导线运动到每个轨迹点处的坐标和速度。

预测轨迹子模块242，用于根据目标导线运动到每个轨迹点处的时间点、坐标和速度，预测目标导线后续的运动轨迹，得到预测运动轨迹。

根据目标导线运动到每个轨迹点处的时间点、坐标和速度，对目标导线后续的运动轨迹进行预测，得到预测运动轨迹。

机械手臂控制模块23，还用于根据目标导线的预测运动轨迹，通过对机械手臂3的控制，使机械手臂3按照预测运动轨迹运动；

可选的，图13为机械手臂控制模块的详细结构示意图，如图13所示，机械手臂控制模块23，包括：

运动规划子模块231，用于根据所述目标导线的所述预测运动轨迹，计算在所述预测运动轨迹的每个轨迹点处所述机械手臂3每个所述活动关节331弯曲的角度、所述机械臂33的位置和所述夹爪31的位置；

根据预测运动轨迹每个轨迹点处的时间、坐标和速度，通过逆运动学计算出在预测运动轨迹的每个轨迹点处机械手臂3每个活动关节331弯曲的角度、机械臂33的位置和夹爪31的位置。逆运动学是决定要达成所需要的姿势所要设置的关节可活动对象的参数的过程。

指令生成子模块232，用于根据在所述预测运动轨迹的每个轨迹点处所述机械手臂3 每个活动关节331弯曲的角度、所述机械臂33的位置和所述夹爪31的位置，生成按照时间排列的多个机械手臂控制指令；

通过指令生成子模块，根据在预测运动轨迹的每个轨迹点处机械手臂3每个活动关节331弯曲的角度、机械臂33的位置和夹爪31的位置，生成按照时间排列的多个机械手臂控制指令。按照时间排列的多个机械手臂控制指令是与目标导线的预测运动轨迹的时间点相对应的指令。

指令传达子模块233，用于将按照时间排列的多个所述机械手臂控制指令从所述指令生成子模块传送给指令控制子模块；

指令控制子模块234，用于根据按照时间排列的多个所述机械手臂控制指令，通过对所述机械手臂的控制，使机械手臂按照所述预测运动轨迹运动。

通过指令控制子模块对机械手臂的控制，按照多个机械手臂控制指令，机械手臂按照指令进行运动，由于机械手臂控制指令是根据目标导线的预测运动轨迹得到的，所以机械手臂按照机械手臂控制指令进行的运动轨迹为预测运动轨迹，以实现机械手臂跟随目标导线进行运动。

定位模块15，还用于当机械手臂和目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定目标导线的位置；

当机械手臂3和目标导线同步运动时，利用双目摄像头11，采用双目视觉定位技术，通过测得机械手臂3与目标导线的距离，确定目标导线的位置，目标导线的位置可以通过当前目标导线的坐标进行表示。

机械手臂控制模块23，还用于根据目标导线的位置，通过对机械手臂3的控制，对目标导线进行抓取。根据目标导线的位置，通过机械手臂控制模块23对机械手臂3的控制，机械手臂3对目标导线进行抓取，具体的可以是机械手臂3的夹爪31的手指313抓取目标导线。实现缺陷修复机器人的机械手臂对非静止导线的抓取。

本申请提供一种缺陷修复机器人抓取非静止导线的方法及系统，方法包括：采用高速摄像机拍摄待修复区段的导线，得到若干图像；采用基于混合高斯模型的背景消减法对图像进行目标导线的辨识，确定目标导线，目标导线为非静止导线；对目标导线对应的图像进行特征提取，得到若干目标特征信息；根据若干目标特征信息，确定目标导线的运动轨迹；根据目标导线的运动轨迹，确定在机器人坐标系中目标导线的运动范围，机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，运动范围为运动轨迹中的所有轨迹点坐标的坐标范围；利用双目摄像头，采用双目视觉定位技术，得到第一距离，第一距离为缺陷修复机器人的机械手臂与目标导线的距离；通过机械手臂控制模块对机械手臂的位置进行调整，使第一距离小于等于第二距离，第二距离为运动范围内最远两个轨迹点直线距离的三分之一；根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹；根据目标导线的预测运动轨迹，通过机械手臂控制模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动；当机械手臂和目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定目标导线的位置；根据目标导线的位置，通过机械手臂控制模块对机械手臂的控制，对目标导线进行抓取。通过本申请的方法及系统，可以使缺陷修复机器人的机械手臂自动抓取非静止的导线，能够解决现有作业人员难以通过操作控制缺陷修复机器人的机械手臂准确高效的抓取非静止导线的问题。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (8)

1.一种缺陷修复机器人抓取非静止导线的方法，其特征在于，包括：

采用高速摄像机拍摄待修复区段的导线，得到若干图像；

采用基于混合高斯模型的背景消减法对所述图像进行目标导线的辨识，确定目标导线，所述目标导线为非静止导线；

对所述目标导线对应的所述图像进行特征提取，得到若干目标特征信息，所述目标特征信息为所述目标导线的特征信息；

按照所述目标导线的时间信息对位置信息进行勾连，得到所述目标导线的运动轨迹，所述目标特征信息包括所述目标导线的时间信息和位置信息；

根据所述目标导线的所述运动轨迹，确定在机器人坐标系中所述目标导线的运动范围，所述机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，所述运动范围为所述运动轨迹中的所有轨迹点坐标的坐标范围；

利用双目摄像头，采用双目视觉定位技术，得到第一距离，所述第一距离为所述缺陷修复机器人的机械手臂与所述目标导线的距离；

通过机械手臂控制模块对所述机械手臂的位置进行调整，使所述第一距离小于等于第二距离，所述第二距离为所述运动范围内最远两个所述轨迹点直线距离的三分之一；

根据若干所述目标特征信息，预测所述目标导线后续的运动轨迹，得到预测运动轨迹；

根据所述目标导线的所述预测运动轨迹，通过所述机械手臂控制模块对所述机械手臂的控制，使所述机械手臂按照所述预测运动轨迹运动；

当所述机械手臂和所述目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定所述目标导线的位置；

根据所述目标导线的位置，通过所述机械手臂控制模块对所述机械手臂的控制，对所述目标导线进行抓取。

2.根据权利要求1所述的方法，其特征在于，按照所述目标导线的时间信息对位置信息进行勾连，得到所述目标导线的运动轨迹，包括：

当在不同的所述时间信息下出现相同的所述位置信息时，停止对所述位置信息的勾连，得到一条完整的所述目标导线的所述运动轨迹。

3.根据权利要求1所述的方法，其特征在于，所述根据若干目标特征信息，预测目标导线后续的运动轨迹，得到预测运动轨迹，包括：

根据若干所述目标特征信息，得到所述目标导线运动到每个轨迹点处的时间点、坐标和速度；

根据所述目标导线运动到每个轨迹点处的时间点、坐标和速度，预测所述目标导线后续的运动轨迹，得到预测运动轨迹。

4.根据权利要求1所述的方法，其特征在于，所述根据目标导线的预测运动轨迹，通过机械手臂控制模块对机械手臂的控制，使机械手臂按照预测运动轨迹运动，包括：

通过运动规划子模块，根据所述目标导线的所述预测运动轨迹，计算在所述预测运动轨迹的每个轨迹点处所述机械手臂每个活动关节弯曲的角度、机械臂的位置和夹爪的位置；

通过指令生成子模块，根据在所述预测运动轨迹的每个轨迹点处所述机械手臂每个活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置，生成按照时间排列的多个机械手臂控制指令；

将按照时间排列的多个所述机械手臂控制指令从所述指令生成子模块传送给指令控制子模块；

根据按照时间排列的多个所述机械手臂控制指令，通过所述指令控制子模块对所述机械手臂的控制，使机械手臂按照所述预测运动轨迹运动。

5.一种缺陷修复机器人抓取非静止导线的系统，其特征在于，所述系统包括视觉模块、机械手臂控制器和被所述机械手臂控制器控制的机械手臂，所述视觉模块和所述机械手臂控制器连接；

所述机械手臂包括：

夹爪，用于抓取非静止导线；

位于夹爪上的第一位置传感器，用于获取所述夹爪的位置信息；

机械臂，用于带动所述夹爪运动；

所述机械臂包括：

若干活动关节，所述活动关节上设置力矩传感器和第二位置传感器，所述力矩传感器用于获取所述活动关节的角度，所述第二位置传感器用于获取所述机械臂的位置信息；

所述视觉模块包括：

安装于机械手臂上的双目摄像头；

安装于缺陷修复机器人本体上的高速摄像机，用于拍摄待修复区段的导线，得到若干图像；

目标辨识模块，用于采用基于混合高斯模型的背景消减法对所述图像进行目标导线的辨识，确定目标导线，所述目标导线为非静止导线；

图像特征提取模块，用于对所述目标导线对应的所述图像进行特征提取，得到若干目标特征信息，所述目标特征信息为所述目标导线的特征信息；

定位模块，用于利用双目摄像头，采用双目视觉定位技术，得到第一距离，所述第一距离为所述缺陷修复机器人的机械手臂与所述目标导线的距离；

所述机械手臂控制器包括：

确定运动轨迹模块，用于根据所述目标导线的时间信息对位置信息进行勾连，得到所述目标导线的运动轨迹，所述目标特征信息包括所述目标导线的时间信息和位置信息；

确定运动范围模块，用于根据所述目标导线的所述运动轨迹，确定在机器人坐标系中所述目标导线的运动范围，所述机器人坐标系为以缺陷修复机器人本体为原点建立的坐标系，所述运动范围为所述运动轨迹中的所有轨迹点坐标的坐标范围；

机械手臂控制模块，用于对所述机械手臂的位置进行调整，使所述第一距离小于等于第二距离，所述第二距离为所述运动范围内最远两个所述轨迹点直线距离的三分之一；

运动轨迹预测模块，用于根据若干所述目标特征信息，预测所述目标导线后续的运动轨迹，得到预测运动轨迹；

所述机械手臂控制模块，还用于根据所述目标导线的所述预测运动轨迹，通过对所述机械手臂的控制，使所述机械手臂按照所述预测运动轨迹运动；

所述定位模块，还用于当所述机械手臂和所述目标导线同步运动时，利用双目摄像头，采用双目视觉定位技术，确定所述目标导线的位置；

所述机械手臂控制模块，还用于根据所述目标导线的位置，通过对所述机械手臂的控制，对所述目标导线进行抓取。

6.根据权利要求5所述的系统，其特征在于，所述确定运动轨迹模块，包括：

轨迹勾连控制子模块，用于当在不同的所述时间信息下出现相同的所述位置信息时，停止对所述位置信息的勾连，得到一条完整的所述目标导线的所述运动轨迹。

7.根据权利要求5所述的系统，其特征在于，所述运动轨迹预测模块，包括：

轨迹点计算子模块，用于根据若干所述目标特征信息，得到所述目标导线运动到每个轨迹点处的时间点、坐标和速度；

预测轨迹子模块，用于根据所述目标导线运动到每个轨迹点处的时间点、坐标和速度，预测所述目标导线后续的运动轨迹，得到预测运动轨迹。

8.根据权利要求5所述的系统，其特征在于，所述机械手臂控制模块，包括：

运动规划子模块，用于根据所述目标导线的所述预测运动轨迹，计算在所述预测运动轨迹的每个轨迹点处所述机械手臂每个所述活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置；

指令生成子模块，用于根据在所述预测运动轨迹的每个轨迹点处所述机械手臂每个所述活动关节弯曲的角度、所述机械臂的位置和所述夹爪的位置，生成按照时间排列的多个机械手臂控制指令；

指令传达子模块，用于将按照时间排列的多个所述机械手臂控制指令从所述指令生成子模块传送给指令控制子模块；

指令控制子模块，用于根据按照时间排列的多个所述机械手臂控制指令，通过对所述机械手臂的控制，使机械手臂按照所述预测运动轨迹运动。

Images