CN110018163A

CN110018163A - 基于机器视觉的管片拼装测量与控制系统和方法

Info

Publication number: CN110018163A
Application number: CN201910281796.5A
Authority: CN
Inventors: 王林涛; 李济; 朱凯源
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2019-04-09
Filing date: 2019-04-09
Publication date: 2019-07-16

Abstract

本发明提供一种基于机器视觉的管片拼装测量与控制系统和方法，测量与控制系统包括：工业相机，用于采集待拼装管片和管片拼装机的末端执行器的图像；管片拼装测量系统，用于实时测量末端执行器和待拼装管片的位置和姿态，以及计算末端执行器与待拼装管片的位置和姿态之间的偏差值；管片拼装控制系统，将偏差值与精度值进行比较；若偏差值小于或等于精度值，管片拼装机进行管片拼装；若偏差值大于精度值，计算得到控制量并传输至运动控制卡；运动控制卡，用于将控制量转换为模拟量并输出至管片拼装机调节末端执行器的位置和姿态。本发明的技术方案解决了现有技术中的人工测量、手动操作管片拼装机系统和方法的效率和精度均不高的问题。

Description

基于机器视觉的管片拼装测量与控制系统和方法

技术领域

本发明涉及管片拼装系统自动化技术领域，具体而言，尤其涉及一种基于机器视觉的管片拼装测量与控制系统和方法。

背景技术

管片拼装机是一种应用于隧道掘进过程中铺设管片的设备。管片拼装系统被广泛的应用于轨道交通、引水等隧道工程建设中。

在隧道掘进的过程中，由推进油缸向前推进，同时刀盘将岩石、泥土挂落，推进到一定行程后，刀盘停止转动，推进油缸向前收缩，此时，由管片拼装系统将混凝土管片拼接在新开掘出的隧道内部，以加固隧道。拼装完成后，刀盘方可继续向前推进。因此，管片拼装效率直接影响着隧道掘进的效率。

现在，绝大部分的管片拼装系统均由人力操作完成，通过一个人对管片拼装机进行操作，周围分别站立若干人，对管片位姿进行目测，并将测量信息反馈给操作人，周而往复，直至拼装完成。因而拼装的效率与拼装的精度均不是很高，也因此而限制了隧道掘进的速度。

目前，针对管片拼装机的拼装速度，国内外学者从机电液复合控制等多角度展开了广泛的研究，设计了许多先进的算法以提高管片拼装的速度，但是鲜有人考虑到管片拼装系统的自动化。

发明内容

根据上述提出现有的人工测量、手动操作管片拼装机系统和方法的效率和精度均不高的技术问题，而提供一种基于机器视觉的管片拼装测量与控制系统和方法。本发明主要利用基于机器视觉实时测量末端执行器位姿与目标位姿的管片拼装系统，包括机器视觉测量系统与管片拼装控制系统，实现了由计算机视觉对管片位姿与目标位姿的非接触测量，避免了人工估测所引起的测量精度和测量效率低，劳动量大的缺点，可以实现管片拼装机的自动控制，提高了管片拼装的精度与效率。

本发明采用的技术手段如下：

基于机器视觉的管片拼装测量与控制系统，包括：

工业相机，用于采集待拼装管片和管片拼装机的末端执行器的图像并将图像传输至管片拼装测量系统；

管片拼装测量系统，用于识别图像中的末端执行器和待拼装管片对应的标记特征点的坐标，根据识别结果实时测量末端执行器和待拼装管片的位置和姿态，以及计算末端执行器的位置和姿态与待拼装管片的位置和姿态之间的偏差值；

管片拼装控制系统，将管片拼装系统测量的偏差值与管片拼装要求的精度值进行比较；若偏差值小于或等于精度值，即表示满足精度要求，结束拼装；若偏差值大于精度值，管片拼装控制系统根据偏差值计算得到用于用于表示控制量的管片拼装机速度值并将控制量传输至运动控制卡；

运动控制卡，用于将控制量转换为模拟量并输出至管片拼装机，使管片拼装机根据模拟量调节末端执行器的位置和姿态。

进一步地，还包括数据采集卡，用于采集管片拼装机的位移信息和回转角度信息；位移信息包括管片拼装机的平移、提升以及微调的位移。

进一步地，位移信息和回转角度信息分别通过设置于管片拼装机的位移传感器和倾角传感器进行测量。

进一步地，数据采集卡的型号为研华PCI-1710HG与PCI-1784。

进一步地，运动控制卡的型号为研华PCI-1727。

进一步地，工业相机采用单目固定焦距工业相机，工业相机固定安装于管片拼装机。

进一步地，工业相机与工控机之间采用GigE接口进行数据传输。

本发明还提供了一种基于机器视觉的管片拼装测量与控制方法，包括如下步骤：

S1：通过相机分别采集管片拼装机的末端执行器和待拼装管片的图像，并将图像传输至工控机的管片拼装测量系统；

S2：管片拼装测量系统识别图像中的末端执行器和待拼装管片对应的标记特征点的坐标，并根据识别结果分别计算末端执行器和待拼装管片的位置和姿态；

S3：通过管片拼装测量系统计算末端执行器的位置和姿态与待拼装管片的位置和姿态之间的偏差值；

S4：工控机的管片拼装控制系统将偏差值与管片拼装要求的精度值进行比较；若偏差值小于或等于精度值，即表示满足精度要求，结束拼装；若偏差值大于精度值，则进入S5；

S5：管片拼装控制系统根据偏差值计算得到用于表示控制量的管片拼装机速度值并将控制量传输至运动控制卡；

S6：运动控制卡将控制量转换为模拟量并输出至管片拼装机，管片拼装机根据模拟量调节末端执行器的位置和姿态；

S7：重复S1至S6，直至完成所有管片拼装。

进一步地，步骤S5还包括通过数据采集卡采集管片拼装机的位移信息和回转角度信息；位移信息包括管片拼装机的平移、提升以及微调的位移。

较现有技术相比，本发明具有以下优点：

本发明提供的基于机器视觉的管片拼装测量与控制系统和方法，改变了传统的管片拼装机的控制方式，以自动化控制代替了传统的人力控制，实现了对管片拼装机进行管片拼装的自动控制；引入计算机视觉，对管片位姿与待拼装位姿进行非接触测量，以代替传统的人力检测，提高了管片拼装的整体效率与拼装一致性，克服了对人力要求高，劳动量大的缺点。

综上，应用本发明的技术方案实现了由计算机视觉对管片位姿与目标位姿的非接触测量，避免了人工估测所引起的测量精度和测量效率低，劳动量大的缺点，可以实现管片拼装机的自动控制，提高了管片拼装的精度与效率。因此，本发明的技术方案解决了现有技术中的人工测量、手动操作管片拼装机系统和方法的效率和精度均不高的问题。

基于上述理由本发明可在管片拼装系统自动化等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述基于机器视觉的管片拼装测量与控制系统框架图。

图2为本发明所述管片拼装测量系统识别的标记特征点示意图。

图3为本发明所述管片拼装测量系统工作流程图。

图4为本发明所述基于机器视觉的管片拼装测量与控制系统中坐标系设置示意图。

图5为本发明所述基于机器视觉的管片拼装测量与控制方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

如图1所示，本发明提供了一种基于机器视觉的管片拼装测量与控制系统，包括：

管片拼装测量系统，用于识别图像中的末端执行器和待拼装管片对应的标记特征点的坐标，根据识别结果采用P4P位姿测量算法实时测量末端执行器和待拼装管片的位置和姿态，实现了基于视觉测量的末端执行器与待拼装管片位姿的非接触测量，以代替传统的人力测量；管片拼装测量系统还用于计算末端执行器的位置和姿态与待拼装管片的位置和姿态之间的偏差值；

其中，识别图像中的末端执行器和待拼装管片对应的如图2所示的标记特征点P_i(i表示第i个特征点)在图像坐标系下的坐标(u_i,v_i)以及测量末端执行器和待拼装管片位置和姿态的过程具体包括：

如图3所示，首先将工业相机拍摄的彩色图像转换为灰度图像，然后将得到的灰度图像转换为二值化图像，再对得到的二值化图像进行边缘检测，根据边缘检测得到的边缘大小，筛去小于标记特征点P_i的边缘，然后对得到的边缘范围内进行矩形检测，得到该范围内的所有矩形，根据得到的矩形内的汉明码，进一步判断得到的矩形内最外圈1/7是否为黑色(如图2所示)，若为黑色即是标记特征，反之则不是；至此，即可得出标记特征点P_i在图像坐标系下的坐标(u_i,v_i)；

标记特征点P_i在相机坐标系O_c归一化平面的坐标值可由公式(1)计算获得：

P_ci＝^cM_rP_ri (1)

其中，P_ci＝[x_ci y_ci z_ci 1]^T为特征点在相机坐标系O_c归一化平面的坐标值；

P_ri＝[x_ri y_ri 0 1]^T为特征点P_i在参考坐标系O_r下的坐标值；

^cM_r为相机对于参考坐标系的外参数矩阵：

根据式(1)、(2)可得：

根据相机内参数模型包括：

其中(u_i,v_i)为特征点P_i在图像上的坐标值；

矩阵为相机的内参数矩阵；

且有：

将式(3)代入式(5)可得：

每个已知点均可写出一组公式(6)所示的方程组；

写为矩阵形式有：

A₁H₁+A₂H₂＝0 (7)

式中：A₁是8×3的矩阵；

A₂是8×6矩阵；

H₁＝[n_x n_y n_z]^T

H₂＝[o_x o_y o_z p_x p_y p_z]^T

因此，有：

其中，H₁为矩阵B的最小特征值所对应的特征向量；^cM_r的第三列可以由第一列与第二列叉乘获得；

至此，就可以得到标记点在相机坐标系下的相对位置H₁、姿态^cM_r。

管片拼装控制系统，将管片拼装系统测量的偏差值与管片拼装要求的精度值进行比较；若偏差值小于或等于精度值，即表示满足精度要求，结束拼装；

若偏差值大于精度值，管片拼装控制系统根据偏差值计算得到用于表示控制量的管片拼装机速度值；

具体的，管片拼装控制系统采用基于位置视觉伺服的方法设计，管片拼装机速度值的计算过程具体包括：

如图4所示，根据视觉测量可以得到目标位姿坐标系O_b与相机坐标系O_c的变换矩阵，为^cM_b＝^cp_b+^cR_b，其中^cp_b为平移矩阵，^cR_b为旋转矩阵。

末端执行器坐标系O_s与相机坐标系O_c的变换矩阵^cM_s＝^cp_s+^cR_s，其中，^cp_s为平移矩阵，^cR_s为旋转矩阵。

上述的平移矩阵^cp_b、^cp_s分别对应于标记1、2的位置矩阵H₁，旋转矩阵^cR_b、^cR_s分别对应于标记1、2的姿态矩阵^cM_r。

因此可以得到末端执行器坐标系O_s与目标坐标系O_b之间的变换矩阵。

设：

式中：f＝[f_x f_y f_z]^T是一个空间单位向量构成的转轴，θ为转角。

选择fθ为旋转控制向量。则fθ的导数为：

式中：

V＝[v^T ω^T]^T为管片拼装机速度值，为6×1的向量；

J_ω是旋转分量的雅克比矩阵：

式中：

sinc(θ)＝sinθ/θ；I₃为3×3的单位矩阵；f_x为反对称矩阵：

对平移控制：

于是，视觉伺服的控制目标可以描述为使下式中的误差e趋向于0：

e＝[(^cp_b-^cp_s)^T f^Tθ]^T (17)

因此有：

利用下式控制律，可以使控制系统的误差指数收敛，趋向稳定：

式中：λ为收敛速度调整系数；

通过上述公式即可得到管片拼装机的速度值V，管片拼装控制系统将计算得到的用于表示控制量的管片拼装机速度值传输至运动控制卡；

运动控制卡用于将控制量转换为模拟量并经过D/A转换后输出至管片拼装机，使管片拼装机的驱动装置(电机)驱动管片拼装机机械主体根据模拟量调节末端执行器的位置和姿态。

进一步地，还包括数据采集卡，用于采集管片拼装机的位移信息和回转角度信息；位移信息包括管片拼装机的平移、提升以及微调的位移，数据采集卡能够使工作人员实时监控管片拼装机的工作状态。

进一步地，位移信息和回转角度信息分别通过设置于管片拼装机的位移传感器和倾角传感器进行测量，位移传感器和倾角传感器采集的数据在数据采集卡内经过A/D转换。

进一步地，数据采集卡的型号为研华PCI-1710HG与PCI-1784。

进一步地，运动控制卡的型号为研华PCI-1727。

进一步地，工业相机采用单目固定焦距工业相机，工业相机固定安装于管片拼装机，在一定范围内，管片与相机之间的距离随着管片提升高度的变化而变化，但无论在最高点还是在最低点，管片始终在相机视野之内，在视野之外的工作位置均是非法的工作位置。

实施例2

如图5所示，本发明还提供了一种基于机器视觉的管片拼装测量与控制方法，采用实施例1所述的述基于机器视觉的管片拼装测量与控制系统，包括如下步骤：

S5：管片拼装控制系统根据偏差值计算得到用于表示管片拼装机各自由度速度值的控制量并传输至运动控制卡；

S7：重复S1至S6，直至完成所有管片拼装。

本发明将计算机视觉引入到管片拼装机的控制中，代替传统的人力测量方法，实现了管片位姿与待拼装位姿的非接触测量，克服了以往管片拼装系统需大量人力操控的缺点；本发明所提供的基于机器视觉的管片拼装测量与控制系统和方法，可以实现管片拼装机的自动化控制，只需一名操作人员在现场看护，大大的减少了操作人员的数量，降低了管片拼装的人工成本，提高了管片拼装的效率与精度。

在本申请所提供的实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims

1.基于机器视觉的管片拼装测量与控制系统，其特征在于，包括：

2.根据权利要求1所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，还包括数据采集卡，用于采集管片拼装机的位移信息和回转角度信息；位移信息包括管片拼装机的平移、提升以及微调的位移。

3.根据权利要求2所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，位移信息和回转角度信息分别通过设置于管片拼装机的位移传感器和倾角传感器进行测量。

4.根据权利要求2所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，数据采集卡的型号为研华PCI-1710HG与PCI-1784。

5.根据权利要求1所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，运动控制卡的型号为研华PCI-1727。

6.根据权利要求1所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，工业相机采用单目固定焦距工业相机，工业相机固定安装于管片拼装机。

7.根据权利要求1所述的基于机器视觉的管片拼装测量与控制系统，其特征在于，工业相机与工控机之间采用GigE接口进行数据传输。

8.基于机器视觉的管片拼装测量与控制方法，其特征在于，包括如下步骤：

S5：管片拼装控制系统根据偏差值计算得到用于用于表示控制量的管片拼装机速度值并将控制量传输至运动控制卡；

S7：重复S1至S6，直至完成所有管片拼装。

9.根据权利要求8所述的基于机器视觉的管片拼装测量与控制方法，其特征在于，步骤S5还包括通过数据采集卡采集管片拼装机的位移信息和回转角度信息；位移信息包括管片拼装机的平移、提升以及微调的位移。

10.根据权利要求8所述的基于机器视觉的管片拼装测量与控制方法，其特征在于，位移信息和回转角度信息分别通过设置于管片拼装机的位移传感器和倾角传感器进行测量。