CN112465899A - 基于双目视觉的导线自动剥皮定位方法 - Google Patents

Abstract

本发明提出一种基于双目视觉的导线自动剥皮定位方法，其特征在于：通过双目相机进行立体匹配计算获得导线图像的深度信息，并转换为相应的点云图像；通过对导线进行三维建模，利用ICP匹配算法将图像目标与真实目标配准，求解导线相对于机器人本体的空间位姿，实现导线剥皮位点的定位。其实现了导线准确的线径和位姿估计，为导线剥皮的自动作业提供了完备的机器视觉的解决方案，结合现有的智能机器人等技术，能够实现机械臂实现精准运动，剥皮作业，大大提高了剥皮作业的效率，自动化程度高、适用性广。

Description

基于双目视觉的导线自动剥皮定位方法

技术领域

本发明涉及电力设施维护技术领域，尤其涉及一种基于双目视觉的导线自动剥皮定位方法。

背景技术

随着社会需求对供电安全性和稳定性的不断提高，对作业人员作业质量的要求也就越来越高，作业人员很难在保证作业安全的前提下，再次提高作业质量与效率。目前人工带电作业都是采用手动工具操作，作业效率低下；作业人员在经过多次作业后对体能的消耗也较大；同时增加了作业人员的安全性，且很难保证作业的一致性。

现有市场有针对剥切电缆的手动作业工具出现。由于电缆规格繁多，作业工具需根据不同线径规格电缆进行相应的刀具更换或相应部分尺寸调节，才能完成剥皮作业，自动化程度较低；作业质量更多取决于作业人员对作业工具的熟悉程度，对新作业人员不够友好。

因此有必要设计一套导线自动剥皮的机构解决剥切电缆智能化的问题，其中，实现剥皮的机械结构部分可以通过现有的较为成熟的机器人技术实现，如操作机械臂等。但在现有技术当中，难以找到可以对导线的位姿进行准确采集的机器视觉方案，从而无法将剥皮机械臂准确地自动定位至待剥皮的工作区。

发明内容

本发明针对现有技术存在的缺陷和不足，本发明提出一种基于双目视觉的导线自动剥皮定位方法，旨在解决对待剥皮导线位置进行准确姿态估计的问题，从而为机械臂实现精准运动提供可靠的定位信息。

本发明具体采用以下技术方案：

一种基于双目视觉的导线自动剥皮定位方法，其特征在于：通过双目相机进行立体匹配计算获得导线图像的深度信息，并转换为相应的点云图像；通过对导线进行三维建模，利用ICP匹配算法将图像目标与真实目标配准，求解导线相对于机器人本体的空间位姿，实现导线剥皮位点的定位。

优选地，导线剥皮机器人的运动和执行机构通过导线的线径信息和位姿信息位移至导线剥皮的作业位；所述导线的线径信息通过导线图像的深度信息计算获得。

优选地，导线的三维模型通过输入导线的规格型号从导线三维模型数据库调取获得。

优选地，所述ICP匹配算法采用奇异值分解法进行求解，具体包括：

设点云图的点坐标集合为P，三维模型的点坐标集合为P’：P＝{p₁,…,p_n},P′＝{p′₁,…,p′_n}；按照一定约束条件，计算最优匹配参数R和t使得误差函数最小，即：

采用奇异值分解法具体包括以下步骤：

步骤S1：在目标点云P中取p_i∈P；

步骤S2：在三维模型点云P′中取p′∈P′，使得||p_i-p′_i||最小；

步骤S3：计算参数R、t，使得误差函数最小；

步骤S4：基于步骤S3步骤求得的R、t，对p_i进行变换得到p″_i；

步骤S5：计算p′_i、p″_i对应点集之间的平均距离d；

如果d小于给定阈值或大于迭代次数，则停止迭代，后者返回步骤S2，直到满足收敛条件。

优选地，所述点云图像通过随机采样或均匀采样的方法获得。

优选地，所述双目相机采用张正友标定法进行双目标定。

优选地，采用U-Net网络将导线从图像中分割出来。

优选地，对所述双目相机采集的图像通过半全局立体匹配算法获得视差图；所述半全局立体匹配中的代价匹配采用C_BT算法。

本发明及其优选方案实现了导线准确的线径和位姿估计，为导线剥皮的自动作业提供了完备的机器视觉的解决方案，结合现有的智能机器人等技术，能够实现机械臂实现精准运动，剥皮作业，大大提高了剥皮作业的效率，自动化程度高、适用性广，具有准确位姿估计的能力，同时具有较高的鲁棒性及实用价值。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1为本实施例方案当中的双目视觉模型示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：

如图1所示，在本实施例中的双目视觉系统主要利用双摄像头模拟人眼的成像原理，通过分析图像中相同目标成像的差异，依据三角测量几何关系，依据左右双目图像中，计算得到图像的深度信息。

如图1所示，(O_L,O_R)分别为左右两相机光心，T为两相机水平距离，P为导线上的一点，坐标为(X_C,Y_C,Z_C),其在左右相机中的像素坐标分别为(μ_L,ν_L)、(μ_R,ν_R)，P_L、P_R分别是P在左右图中投影点的横坐标。

依据三角测量几何关系，空间点P在左右相机的像素坐标系中的投影位置及深度关系如下所示：

整理得到距离如下：

其中e为视差，f为相机焦距，Z_c为P点到相机焦点的距离。

实际工程中，两个相机的焦距难以保证一致，同时相机的安装、镜片等不能达到理想的状态，成像存在畸变，一般进行校正补偿。

双目标定是对双目测量系统参数初始化过程，主要是求解相机内外参数及图片畸变校正的过程。基于棋盘的标定方法具有良好的鲁棒性，张正友标定法不需要标定板移动参数，可以很好满足校准对象依赖性要求。

本实施例通过两个相机多角度拍摄多张棋盘图片，使用张正友标定法。

在构造点云图的过程中，还需要考虑立体匹配与深度估计的问题：空间中一点在左右相机中分别投影，立体匹配要解决在左右图像中找到空间点在左右图像中对应的投影像素点。算法主要是建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值，其本质为最优化求解问题。依据匹配点数量来分，立体匹配算法分为稀疏匹配和稠密匹配。稀疏匹配主要是在左右图像中提取Haar角点、SIFT、SURF等特征，通过特征匹配得到稀疏视差图，经过一系列插值步骤得到稠密视差图。而稠密匹配主要是在给定图像上一点，选取该点领域内的子窗口，在另外一幅图像中，依据某种相似性寻找相似的窗口，得到的匹配窗口中对应的像素点为该像素的匹配点，进而获得稠密视差图。从最优化理论采用方式来看，立体匹配主要分为全局立体匹配、半局部立体匹配以及局部立体匹配。Scahrstein等人将立体匹配分为以下几个步骤：代价计算、代价聚合、视差优化和视差修正四个步骤。根据使用全局优化方法与否将立体匹配算法分为全局立体匹配和局部立体匹配。半全局立体匹配采用目标函数与全局一致，只是将二维优化问题转换为多个一维问题，并利用动态规划方法求解。从精度来说全局优化优于半全局，半全局优于局部；从求解时间上来看局部效率最高，半全局次之、全局最低。

基于本实施例方案对于精度和速度的要求，以及通过对立体匹配优化方法分析，其立体匹配采用半全局立体匹配算法。

具体地，半全局立体匹配中的代价匹配采用Birchfield等人提出的C_BT算法(S.Birchfield,C.Tomasi.Depth discontinuities by pixel-to-pixel stereo[C].Sixth International Conference on Computer Vision,1998,1073-1080.)；假设以双目系统的左图为参考，在右图中计算匹配点Ι_R(x_R,y)附近差值点如下：

定义匹配点和插值点的最大最小值如下：

像素点p的BT代价匹配计算如下：

C_BT(p,d_p)＝max{0,I_L(x)-I_max,I_min-I_L(x)} (7)

半局部匹配方法能量函数如下，增加了额外视差平滑约束：

其中第一项表示所有像素匹配代价综合，第二、三项为惩罚约束项，P₁、P₂分别代表N_p邻域中视差变化的匹配点P的惩罚系数。

在本实施例中，采用U-Net网络进行图像分割，该U-Net网络由下采样和上采样两个部分构成，同时在上采样阶段与下采样进行通道融合，从而提取多尺度信息；网络输入大小为572x572x1，输出为388x388x2。训练数据集通过摄像头采集导线图像信息，经过旋转、平移、拉伸、颜色空间变换等技术进行图像增强，构建丰富的训练数据集。

通过以上过程获得了导线的点云图之后，在本实施例中，通过对导线进行建模，使用最近点迭代(ICP)匹配技术进行位姿估计，即可求得导线剥皮点的位姿信息：本实施例采用ICP用来解决3D-3D的位姿估计问题。

设有一组待配对点：P＝{p₁,…,p_n},P′＝{p′₁,…,p′_n}，按照一定约束条件，计算最优匹配参数R和t使得误差函数最小，即：

通过双目视觉立体匹配计算导线的点云图，通过和数据库中3D模型(在本实施例中，数据库中3D模型可以预见直接通过导线的规格型号进行建立，因在已知导线规格型号的前提下，其形状和尺寸信息都是已知的；而考虑实际情况下，导线的位姿和形变均是在拓扑变换的框架下形成的，因此点云信息与3D建模可以形成类似投影的对应)进行特征点匹配，通过ICP计算进行配准及位姿计算，通常使用奇异值分解法来求解ICP问题，流程如下：

1)在目标点云P中取p_i∈P；

2)在3D模型点云P′中取p′∈P′，使得||p_i-p′_i||最小；

3)计算参数R、t，使得误差函数最小；

4)基于上一步骤求得的R、t，对p_i进行变换得到p″_i；

5)计算p′_i、p″_i对应点集之间的平均距离；

6)如果d小于给定阈值或大于迭代次数，则停止迭代，后者返回2)，直到满足收敛条件。

从ICP的求解过程可以看出算法主要的关键在于原始点集的采集与确定对应点集、以及变换矩阵的计算，本实施例的原始点集的采集使用随机采样、均匀采样等方法；确定对应点集一般来源于点到点、点到面的投影；计算变换矩阵常用奇异值(SVD)分解法求解。

通过上述流程计算出导线的位姿后，通过网络发送坐标信息给协作机械臂，并控制其按照坐标信息进行运动至导线剥皮作业位。启动剥皮装置进行剥皮作业。

基于现有技术当中的智能机器人技术，剥皮装置具体可以包括：移动平台、协作机械臂、双目相机；其中，机械臂安装于移动平台之上，双目相机置于机械臂末端作业工器具上。移动平台负责执行较大范围的移动，机械臂完成精确的定位移动。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于双目视觉的导线自动剥皮定位方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种基于双目视觉的导线自动剥皮定位方法，其特征在于：通过双目相机进行立体匹配计算获得导线图像的深度信息，并转换为相应的点云图像；通过对导线进行三维建模，利用ICP匹配算法将图像目标与真实目标配准，求解导线相对于机器人本体的空间位姿，实现导线剥皮位点的定位。

2.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：导线剥皮机器人的运动和执行机构通过导线的线径信息和位姿信息位移至导线剥皮的作业位；所述导线的线径信息通过导线图像的深度信息计算获得。

3.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：导线的三维模型通过输入导线的规格型号从导线三维模型数据库调取获得。

4.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：所述ICP匹配算法采用奇异值分解法进行求解，具体包括：

设点云图的点坐标集合为P，三维模型的点坐标集合为P’：P＝{p₁，…，p_n}，P′＝{p′₁，…，p′_n}；按照一定约束条件，计算最优匹配参数R和t使得误差函数最小，即：

采用奇异值分解法具体包括以下步骤：

步骤S1：在目标点云P中取p_i∈P；

步骤S2：在三维模型点云P′中取p′∈P′，使得||p_i-p′_i||最小；

步骤S3：计算参数R、t，使得误差函数最小；

步骤S4：基于步骤S3步骤求得的R、t，对p_i进行变换得到p″_i；

步骤S5：计算p′_i、p″_i对应点集之间的平均距离d；

如果d小于给定阈值或大于迭代次数，则停止迭代，后者返回步骤S2，直到满足收敛条件。

5.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：所述点云图像通过随机采样或均匀采样的方法获得。

6.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：所述双目相机采用张正友标定法进行双目标定。

7.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：采用U-Net网络将导线从图像中分割出来。

8.根据权利要求1所述的基于双目视觉的导线自动剥皮定位方法，其特征在于：对所述双目相机采集的图像通过半全局立体匹配算法获得视差图；所述半全局立体匹配中的代价匹配采用C_BT算法。

Images