CN112975361A - 一种用于复杂光照环境的激光视觉融合的高精度对接方法 - Google Patents

一种用于复杂光照环境的激光视觉融合的高精度对接方法 Download PDF

Info

Publication number
CN112975361A
CN112975361A CN202110366171.6A CN202110366171A CN112975361A CN 112975361 A CN112975361 A CN 112975361A CN 202110366171 A CN202110366171 A CN 202110366171A CN 112975361 A CN112975361 A CN 112975361A
Authority
CN
China
Prior art keywords
docking
displacement sensor
laser displacement
passive
docking mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110366171.6A
Other languages
English (en)
Inventor
张沪松
楼佩煌
钱晓明
武星
王樟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Nanjing University of Aeronautics and Astronautics
Original Assignee
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics, Nanjing University of Aeronautics and Astronautics filed Critical Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority to CN202110366171.6A priority Critical patent/CN112975361A/zh
Publication of CN112975361A publication Critical patent/CN112975361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/10—Aligning parts to be fitted together
    • B23P19/102—Aligning parts to be fitted together using remote centre compliance devices
    • B23P19/105—Aligning parts to be fitted together using remote centre compliance devices using sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/003—Programme-controlled manipulators having parallel kinematics

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于复杂光照环境的激光视觉融合的高精度对接方法，包括自动对接系统，自动对接系统包括主动对接机构、被动对接机构，主动对接机构与被动对接机构对接，主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，位姿检测系统由双目相机A、双目相机B，激光位移传感器A、激光位移传感器B、伺服电缸、力传感器A、力传感器B和视觉模块组成。本发明基于计算机视觉、激光位移传感器、力传感器等传感器数据融合的高精度对接方法，解决了传统自动对接系统中设备成本高、无法应用于移动作业、无法应用于复杂光照环境作业等问题，系统设备成本低，系统的环境适应能力强，稳定性好。

Description

一种用于复杂光照环境的激光视觉融合的高精度对接方法
技术领域
本发明涉及一种高精度对接方法，特别涉及一种用于复杂光照环境的激光视觉融合的高精度对接方法，属于零部件对接技术领域。
背景技术
零件是机器组成的基本要素。机器一般包括一个或几个用来接受外界能源的传动部分，实现机器生产职能的执行部分(如机床中的刀具)，把原动机的运动和动力传递给执行部分的传动部分(如机床中的齿轮与螺旋传动机构)，保障机器中各部分协调工作的检测与控制系统(如机床中的数控系统)构成(即机器由原动部分，传动部分，执行部分，测控部分构成)，将机器进行进一步分解，可以得到各类零件。
传统的大型空间六自由度零部件对接和装配通常依靠人工完成，花费的人力和时间成本高，对接和装配的效率低，近年来有研究者开发出用于室内环境的大型零部件的自动对接和装配系统，常使用激光跟踪仪、iGPS、计算机视觉等作为自动对接中的位姿检测设备，前两者成本高昂，无法应用于室外空旷、移动的工作环境，而现有的基于计算机视觉的自动对接系统对于环境光照条件的要求都很高，无法在户外等复杂光照环境下工作。
发明内容
本发明的目的在于提供一种用于复杂光照环境的激光视觉融合的高精度对接方法，以解决上述背景技术中提出的传统的大型空间六自由度零部件对接和装配通常依靠人工完成，花费的人力和时间成本高，对接和装配的效率低的问题。
为实现上述目的，本发明提供如下技术方案：包括自动对接系统，所述自动对接系统包括主动对接机构、被动对接机构，所述主动对接机构与被动对接机构对接；
所述主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，所述位姿检测系统由双目相机A、双目相机B，激光位移传感器A、激光位移传感器B、伺服电缸、力传感器A、力传感器B和视觉模块组成，所述运动执行机构由并联机构定平台和并联机构动平台组成，所述被动对接机构由自动锁紧机构组成，所述并联机构定平台固定安装于移动平台安装面，所述并联机构动平台的两边侧分别安装有力传感器A和力传感器B，所述力传感器A和力传感器B承托主动对接体，所述主动对接体与自动锁紧机构位置对正，所述并联机构动平台的两侧分别安装有固定安装有立柱A和立柱B，所述立柱A的顶端安装有双目相机A，所述立柱B的顶端安装有双目相机B、激光位移传感器A、和激光位移传感器B，所述激光位移传感器A与立柱B固定，所述激光位移传感器B的一侧与伺服电缸的输出端连接。
作为本发明的一种优选技术方案，所述高精度对接方法包括以下步骤：
S1：将主动对接机构送至对接实施区域范围，并启动控制系统；
S2：双目相机B和激光位移传感器A开始工作，双目相机B获取图像，进行方位试探和特征提取，激光位移传感器A获取深度信息；
S3：位姿检测系统的视觉模块准确提取双目相机B视野内的被动对接机构的特征与激光位移传感器A获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为并联机构动平台的运动控制量，驱动并联机构动平台带动主动对接机构接近被动对接机构；
S4：主动对接机构与被动对接机构的已达到对准状态时，伺服电缸推动立柱B上方的激光位移传感器B，检测并计算出两者之间的位置偏差，伺服电缸收回激光位移传感器B后，控制系统驱动并联机构动平台带动主动对接机构运动完成对接，同时双目相机A开始工作，通过双目相机A(8)、激光位移传感器A(10)、力传感器A(3)、力传感器B(4)的信息特征提取判断对接过程中主动对接机构与被动对接机构间是否出现角度偏差，并及时修正并联机构动平台的运动控制量；
S5：控制系统给被动对接机构上的自动锁紧机构发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制并联机构动平台安全收回并移走。
作为本发明的一种优选技术方案，所述视觉模块中封装视觉算法和特征提取算法，所述视觉算法为：
第一步：记双目相机的左右视野间的基线长度为b，焦距均为f，图像中某个特征点在双目相机左右视野中的视差为δp，由三角测距原理易得该特征点在相机坐标系下的深度值dc为：
Figure BDA0003007097300000031
第二步：取出三个从图像中获得的特征点，分别获取其视差，计算出三点的深度信息，通过相机内参将像素坐标转换至相机坐标系，获得三点在相机坐标系下的坐标，分别记为
Figure BDA0003007097300000032
取出的特征点位于物体表面的平面上，由三点可以获得被观察物体表面的平面方程，记为：
aX+bY+cZ+d＝0
其中：
Figure BDA0003007097300000033
Figure BDA0003007097300000034
c＝(X2-X1)(Y3-Y1)-(X3-X1)(Y2-Y1)
Figure BDA0003007097300000035
第三步：根据第二步被观察物体表面的平面方程，记激光位移传感器与双目相机基线中点在相机坐标系下的安装位置偏差为δ＝(δXcl,δYcl,δZcl)，激光位移传感器测量的物体表面点在相机坐标系下的坐标为p＝(Xp,Yp,Zp)，其中Xp＝δXcl，Yp＝δYcl，于是点p＝(δXcl,δYcl,Zp)；
第四步：将点p代入平面方程：
aδXcl+bδYcl+cZp+d＝0
得点p在相机坐标系中的深度：
Figure BDA0003007097300000041
第五步：记点p由激光位移传感器测得的深度为dl，由双目相机深度估计得的同一段距离为dc，其中：
dc＝Zp-δZcl
记双目相机估计的特征点深度置信度为c，则：
Figure BDA0003007097300000042
作为本发明的一种优选技术方案，所述特征点深度置信度c高于设定的阈值，将特征点的坐标用于计算对接机构的相对位姿，所述特征点深度置信度c低于设定的阈值，丢弃此次获得的数据。
作为本发明的一种优选技术方案，所述特征提取算法包括以下步骤：
第一步：将获取的图像灰度化和畸变校正，作为原始输入；
第二步：根据视野中图像的特点，在干扰较小的方向进行全画幅的平均像素梯度获取；
第三步：根据对接机构的最大倾斜角度预先设定的窗口尺寸，以粗边界的范围为中心，按行找出每一行像素的最大梯度点，对这些点进行直线拟合，获取大致的边界直线方程；
第四步：根据新的直线方程划分新的窗口，并按边界的斜率设定横向边界寻找所需的滑动窗口高度，使滑动窗口在此区域内沿着提取的竖直边界滑动，按行寻找端部的上下边界；
第五步：在范围内划分窗口，排除背景物体的干扰，并按列找出像素梯度最大点，以获取的点拟合直线，获得上下边界；
第六步：将获取的四条边界进行交点计算获取对接机构端部的4个顶点，用于下一步的位姿计算。
作为本发明的一种优选技术方案，所述自动锁紧机构包括横杆、被动对接体、锁柱、U型连接块、滑块和电动滑轨，所述横杆底端的一侧固定安装有被动对接体，所述被动对接体的一侧开设有通孔，所述横杆底端的另一侧固定安装有电动滑轨，所述电动滑轨的表面滑动连接有滑块，所述滑块的底端固定安装有U型连接块，所述U型连接块的底部安装有锁柱，所述锁柱的一端与通孔插接。
与现有技术相比，本发明的有益效果是：
本发明一种用于复杂光照环境的激光视觉融合的高精度对接方法，基于计算机视觉、激光位移传感器、力传感器等传感器数据融合的高精度对接方法，解决了传统自动对接系统中设备成本高、无法应用于移动作业、无法应用于复杂光照环境作业等问题，系统设备成本低，系统的环境适应能力强，作业精度高，稳定性好。
附图说明
图1为本发明的结构示意图；
图2为本发明的自动对接系统框图；
图3为本发明的自动对接流程框图；
图4为本发明的视觉算法流程框图；
图5为本发明的特征提取算法流程框图；
图6为本发明自动锁紧机构结构示意图。
图中：1、并联机构定平台；2、并联机构动平台；3、力传感器A；4、力传感器B；5、主动对接体；6、立柱A；7、立柱B；8、双目相机A；9、双目相机B；10、激光位移传感器A；11、激光位移传感器B；12、伺服电缸；13、自动锁紧机构；1301、横杆；1302、被动对接体；1303、通孔；1304、锁柱；1305、U型连接块；1306、滑块；1307、电动滑轨。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供了一种用于复杂光照环境的激光视觉融合的高精度对接方法的技术方案：
根据图1、图2和图6所示，包括自动对接系统，自动对接系统包括主动对接机构、被动对接机构，主动对接机构与被动对接机构对接；
主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，位姿检测系统由双目相机A8、双目相机B9，激光位移传感器A10、激光位移传感器B11、伺服电缸12、力传感器A3、力传感器B4和视觉模块组成；
运动执行机构由并联机构定平台1和并联机构动平台2组成；
被动对接机构由自动锁紧机构13组成；
并联机构定平台1固定安装于移动平台安装面，并联机构动平台2的两边侧分别安装有力传感器A3和力传感器B4，力传感器A3和力传感器B4承托主动对接体5，主动对接体5与自动锁紧机构13位置对正，并联机构动平台2的两侧分别安装有固定安装有立柱A6和立柱B7，立柱A6的顶端安装有双目相机A8，立柱B7的顶端安装有双目相机B9、激光位移传感器A10、和激光位移传感器B11，激光位移传感器A10与立柱B7固定，激光位移传感器B11的一侧与伺服电缸12的输出端连接。
对接机构分为主动对接机构和被动对接机构，被动对接机构相对空间静止，主动对接机构由运动执行机构运送至对接实施区域范围内后完成对接动作，主动对接机构分为位姿检测系统、运动执行机构、控制系统三部分，精准对接对于位姿检测的精度、运动控制的稳定性有较高的要求，采用双目相机、激光位移传感器、力传感器等多传感器融合技术，精确地完成对接机构的空间6自由度位姿检测，使用6自由度并联机构作为运动执行机构，通过计算位姿信息到运动控制的雅可比矩阵，将对接机构的位姿信息映射为运动执行机构的运动控制量，驱动主动对接机构与被动对接机构的精准对接。
根据图3所示：高精度对接方法包括以下步骤：
S1：将主动对接机构送至对接实施区域范围，并启动控制系统；
S2：双目相机B9和激光位移传感器A10开始工作，双目相机B9获取图像，进行方位试探和特征提取，激光位移传感器A10获取深度信息；
S3：位姿检测系统的视觉模块准确提取双目相机B9视野内的被动对接机构的特征与激光位移传感器A10获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为并联机构动平台2的运动控制量，驱动并联机构动平台2带动主动对接机构接近被动对接机构；
S4：主动对接机构与被动对接机构的已达到对准状态时，伺服电缸12推动立柱B7上方的激光位移传感器B11，检测并计算出两者之间的位置偏差，伺服电缸12收回激光位移传感器B11后，控制系统驱动并联机构动平台2带动主动对接机构运动完成对接，同时双目相机A8开始工作，通过双目相机A8、激光位移传感器A10、力传感器A3、力传感器B4的信息特征提取判断对接过程中主动对接机构与被动对接机构间是否出现角度偏差，并及时修正并联机构动平台2的运动控制量；
S5：控制系统给被动对接机构上的自动锁紧机构13发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制并联机构动平台2安全收回并移走。
根据图4所示：视觉模块中封装视觉算法和特征提取算法，视觉算法为：
第一步：记双目相机的左右视野间的基线长度为b，焦距均为f，图像中某个特征点在双目相机左右视野中的视差为δp，由三角测距原理易得该特征点在相机坐标系下的深度值dc为：
Figure BDA0003007097300000081
第二步：取出三个从图像中获得的特征点，分别获取其视差，计算出三点的深度信息，通过相机内参将像素坐标转换至相机坐标系，获得三点在相机坐标系下的坐标，分别记为
Figure BDA0003007097300000082
取出的特征点位于物体表面的平面上，由三点可以获得被观察物体表面的平面方程，记为：
aX+bY+cZ+d＝0
其中：
Figure BDA0003007097300000083
Figure BDA0003007097300000084
c＝(X2-X1)(Y3-Y1)-(X3-X1)(Y2-Y1)
Figure BDA0003007097300000085
第三步：根据第二步被观察物体表面的平面方程，记激光位移传感器与双目相机基线中点在相机坐标系下的安装位置偏差为δ＝(δXcl,δYcl,δZcl)，激光位移传感器测量的物体表面点在相机坐标系下的坐标为p＝(Xp,Yp,Zp)，其中Xp＝δXcl，Yp＝δYcl，于是点p＝(δXcl,δYcl,Zp)；
第四步：将点p代入平面方程：
aδXcl+bδYcl+cZp+d＝0
得点p在相机坐标系中的深度：
Figure BDA0003007097300000091
第五步：记点p由激光位移传感器测得的深度为dl，由双目相机深度估计得的同一段距离为dc，其中：
dc＝Zp-δZcl
记双目相机估计的特征点深度置信度为c，则：
Figure BDA0003007097300000092
特征点深度置信度c高于设定的阈值，将特征点的坐标用于计算对接机构的相对位姿，特征点深度置信度c低于设定的阈值，丢弃此次获得的数据，当一侧的双目相机经过多次尝试都无法提取出足够的信息时，启动另一侧相机进行特征提取工作，对于室外作业环境，由于光线的方向性，当一侧的相机视野中光照环境较为恶劣时，另一侧的相机视野往往可以获得较好光照环境，而室内的光照环境造成的光斑往往体积小，特征明显，易于剔除，因此该视觉算法方案可以很好地适应光照复杂的工作环境。
根据图5所示：特征提取算法包括以下步骤：
第一步：将获取的图像灰度化和畸变校正，作为原始输入；
第二步：根据视野中图像的特点，在干扰较小的方向进行全画幅的平均像素梯度获取；
第三步：根据对接机构的最大倾斜角度预先设定的窗口尺寸，以粗边界的范围为中心，按行找出每一行像素的最大梯度点，对这些点进行直线拟合，获取大致的边界直线方程；
第四步：根据新的直线方程划分新的窗口，并按边界的斜率设定横向边界寻找所需的滑动窗口高度，使滑动窗口在此区域内沿着提取的竖直边界滑动，按行寻找端部的上下边界；
第五步：在范围内划分窗口，排除背景物体的干扰，并按列找出像素梯度最大点，以获取的点拟合直线，获得上下边界；
第六步：将获取的四条边界进行交点计算获取对接机构端部的4个顶点，用于下一步的位姿计算。
通过该特征提取算法，取代原有的通过使用OpenCV等开源视觉库中的通用特征提取算法进行开发，获取的特征点会非常不稳定，且难以从中区分出目标特征提取对接机构端部的边界和顶点的问题，该特征提取算法其速度快、精度高、稳定性好、抗干扰能力强，能够满足精准对接的技术要求。
根据图6所示：自动锁紧机构13包括横杆1301、被动对接体1302、锁柱1304、U型连接块1305、滑块1306和电动滑轨1307，横杆1301底端的一侧固定安装有被动对接体1302，被动对接体1302的一侧开设有通孔1303，横杆1301底端的另一侧固定安装有电动滑轨1307，电动滑轨1307的表面滑动连接有滑块1306，滑块1306的底端固定安装有U型连接块1305，U型连接块1305的底部安装有锁柱1304，锁柱1304的一端与通孔1303插接。
通过控制系统控制电动滑轨1307的工作，通过电动滑轨1307带动滑块1306移动，通过滑块1306移动带动U型连接块1305移动，通过U型连接块1305移动带动锁柱1304移动，使锁柱1304插入至通孔1303中，进行自锁。
工作原理：本发明一种用于复杂光照环境的激光视觉融合的高精度对接方法，首先主动对接机构由运动执行机构运送至对接实施区域范围，控制系统启动，立柱B7上方的双目相机B9和固定的激光位移传感器A10开始工作，位姿检测系统的视觉模块准确提取双目相机B9视野内的被动对接机构的特征，与激光位移传感器A10获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为运动执行机构的运动控制量，驱动运动执行机构带动主动对接机构接近被动对接机构，当完成接近动作后，主动对接机构与被动对接机构的已达到对准状态，此时伺服电缸12推动立柱B7上方的活动激光位移传感器B11，检测并计算出两者之间的位置偏差，伺服电缸12收回活动激光位移传感器B11后，控制系统驱动运动执行机构带动主动对接机构运动完成对接过程，在完成对接的过程中，立柱A6的上的双目相机A8开始工作，通过特征提取判断对接过程中主动与被动对接机构间是否出现角度偏差，并及时修正并联机构的运动控制量，此外，控制系统监测位激光位移传感器B11的数据，确保对接准确和安全，不会出现因数据出错导致的对接机构损坏情况，对接完成后，控制系统给被动对接机构上的自动锁紧机构13发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制运动执行机构安全收回并联机构动平台2，并移走并联机构动平台2。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于，包括自动对接系统，所述自动对接系统包括主动对接机构、被动对接机构，所述主动对接机构与被动对接机构对接；
所述主动对接机构包括位姿检测系统、控制系统和运动执行机构组成，所述位姿检测系统由双目相机A(8)、双目相机B(9)，激光位移传感器A(10)、激光位移传感器B(11)、伺服电缸(12)、力传感器A(3)、力传感器B(4)和视觉模块组成，所述运动执行机构由并联机构定平台(1)和并联机构动平台(2)组成，所述被动对接机构由自动锁紧机构(13)组成，所述并联机构定平台(1)固定安装于移动平台安装面，所述并联机构动平台(2)的两边侧分别安装有力传感器A(3)和力传感器B(4)，所述力传感器A(3)和力传感器B(4)承托主动对接体(5)，所述主动对接体(5)与自动锁紧机构(13)位置对正，所述并联机构动平台(2)的两侧分别安装有固定安装有立柱A(6)和立柱B(7)，所述立柱A(6)的顶端安装有双目相机A(8)，所述立柱B(7)的顶端安装有双目相机B(9)、激光位移传感器A(10)、和激光位移传感器B(11)，所述激光位移传感器A(10)与立柱B(7)固定，所述激光位移传感器B(11)的一侧与伺服电缸(12)的输出端连接。
2.根据权利要求1所述的一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于：所述高精度对接方法包括以下步骤：
S1：将主动对接机构送至对接实施区域范围，并启动控制系统；
S2：双目相机B(9)和激光位移传感器A(10)开始工作，双目相机B(9)获取图像，进行方位试探和特征提取，激光位移传感器A(10)获取深度信息；
S3：位姿检测系统的视觉模块准确提取双目相机B(9)视野内的被动对接机构的特征与激光位移传感器A(10)获得的距离信息融合，计算出被动对接机构和主动对接机构的相对位姿信息，经雅可比矩阵转换为并联机构动平台(2)的运动控制量，驱动并联机构动平台(2)带动主动对接机构接近被动对接机构；
S4：主动对接机构与被动对接机构的已达到对准状态时，伺服电缸(12)推动立柱B(7)上方的激光位移传感器B(11)，检测并计算出两者之间的位置偏差，伺服电缸(12)收回激光位移传感器B(11)后，控制系统驱动并联机构动平台(2)带动主动对接机构运动完成对接，同时双目相机A(8)开始工作，通过双目相机A(8)、激光位移传感器A(10)、力传感器A(3)、力传感器B(4)的信息特征提取判断对接过程中主动对接机构与被动对接机构间是否出现角度偏差，并及时修正并联机构动平台(2)的运动控制量；
S5：控制系统给被动对接机构上的自动锁紧机构(13)发送远程控制指令，完成锁紧，收到锁紧完成的信号后则控制并联机构动平台(2)安全收回并移走。
3.根据权利要求1所述的一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于：所述视觉模块中封装视觉算法和特征提取算法，所述视觉算法为：
第一步：记双目相机的左右视野间的基线长度为b，焦距均为f，图像中某个特征点在双目相机左右视野中的视差为δp，由三角测距原理易得该特征点在相机坐标系下的深度值dc为：
Figure FDA0003007097290000021
第二步：取出三个从图像中获得的特征点，分别获取其视差，计算出三点的深度信息，通过相机内参将像素坐标转换至相机坐标系，获得三点在相机坐标系下的坐标，分别记为
Figure FDA0003007097290000031
取出的特征点位于物体表面的平面上，由三点可以获得被观察物体表面的平面方程，记为：
aX+bY+cZ+d＝0
其中：
Figure FDA0003007097290000032
Figure FDA0003007097290000033
c＝(X2-X1)(Y3-Y1)-(X3-X1)(Y2-Y1)
Figure FDA0003007097290000034
第三步：根据第二步被观察物体表面的平面方程，记激光位移传感器与双目相机基线中点在相机坐标系下的安装位置偏差为δ＝(δXcl,δYcl,δZcl)，激光位移传感器测量的物体表面点在相机坐标系下的坐标为p＝(Xp,Yp,Zp)，其中Xp＝δXcl，Yp＝δYcl，于是点p＝(δXcl,δYcl,Zp)；
第四步：将点p代入平面方程：
aδXcl+bδYcl+cZp+d＝0
得点p在相机坐标系中的深度：
Figure FDA0003007097290000035
第五步：记点p由激光位移传感器测得的深度为dl，由双目相机深度估计得的同一段距离为dc，其中：
dc＝Zp-δZcl
记双目相机估计的特征点深度置信度为c，则：
Figure FDA0003007097290000041
4.根据权利要求3所述的一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于：所述特征点深度置信度c高于设定的阈值，将特征点的坐标用于计算对接机构的相对位姿，所述特征点深度置信度c低于设定的阈值，丢弃此次获得的数据。
5.根据权利要求3所述的一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于：所述特征提取算法包括以下步骤：
第一步：将获取的图像灰度化和畸变校正，作为原始输入；
第二步：根据视野中图像的特点，在干扰较小的方向进行全画幅的平均像素梯度获取；
第三步：根据对接机构的最大倾斜角度预先设定的窗口尺寸，以粗边界的范围为中心，按行找出每一行像素的最大梯度点，对这些点进行直线拟合，获取大致的边界直线方程；
第四步：根据新的直线方程划分新的窗口，并按边界的斜率设定横向边界寻找所需的滑动窗口高度，使滑动窗口在此区域内沿着提取的竖直边界滑动，按行寻找端部的上下边界；
第五步：在范围内划分窗口，排除背景物体的干扰，并按列找出像素梯度最大点，以获取的点拟合直线，获得上下边界；
第六步：将获取的四条边界进行交点计算获取对接机构端部的4个顶点，用于下一步的位姿计算。
6.根据权利要求1所述的一种用于复杂光照环境的激光视觉融合的高精度对接方法，其特征在于：所述自动锁紧机构(13)包括横杆(1301)、被动对接体(1302)、锁柱(1304)、U型连接块(1305)、滑块(1306)和电动滑轨(1307)，所述横杆(1301)底端的一侧固定安装有被动对接体(1302)，所述被动对接体(1302)的一侧开设有通孔(1303)，所述横杆(1301)底端的另一侧固定安装有电动滑轨(1307)，所述电动滑轨(1307)的表面滑动连接有滑块(1306)，所述滑块(1306)的底端固定安装有U型连接块(1305)，所述U型连接块(1305)的底部安装有锁柱(1304)，所述锁柱(1304)的一端与通孔(1303)插接。
CN202110366171.6A 2021-04-06 2021-04-06 一种用于复杂光照环境的激光视觉融合的高精度对接方法 Pending CN112975361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366171.6A CN112975361A (zh) 2021-04-06 2021-04-06 一种用于复杂光照环境的激光视觉融合的高精度对接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110366171.6A CN112975361A (zh) 2021-04-06 2021-04-06 一种用于复杂光照环境的激光视觉融合的高精度对接方法

Publications (1)

Publication Number Publication Date
CN112975361A true CN112975361A (zh) 2021-06-18

Family

ID=76339235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110366171.6A Pending CN112975361A (zh) 2021-04-06 2021-04-06 一种用于复杂光照环境的激光视觉融合的高精度对接方法

Country Status (1)

Country Link
CN (1) CN112975361A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113352345A (zh) * 2021-08-09 2021-09-07 季华实验室 快换装置的更换系统、方法、装置、电子设备及存储介质
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113814967A (zh) * 2021-10-20 2021-12-21 山东大学 基于视觉引导的全向移动机器人对接机构控制系统及方法
CN114434404A (zh) * 2021-12-03 2022-05-06 浙江省送变电工程有限公司 一种gis管道对接设备及其使用方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113352345A (zh) * 2021-08-09 2021-09-07 季华实验室 快换装置的更换系统、方法、装置、电子设备及存储介质
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113751981B (zh) * 2021-08-19 2022-08-19 哈尔滨工业大学（深圳） 基于双目视觉伺服的空间高精度装配方法和系统
CN113814967A (zh) * 2021-10-20 2021-12-21 山东大学 基于视觉引导的全向移动机器人对接机构控制系统及方法
CN113814967B (zh) * 2021-10-20 2024-02-27 山东大学 基于视觉引导的全向移动机器人对接机构控制系统及方法
CN114434404A (zh) * 2021-12-03 2022-05-06 浙江省送变电工程有限公司 一种gis管道对接设备及其使用方法

Similar Documents

Publication Publication Date Title
CN112975361A (zh) 一种用于复杂光照环境的激光视觉融合的高精度对接方法
CN108801142B (zh) 一种特大尺寸工件双移动测量机器人系统及方法
CN112945137B (zh) 一种基于单线激光雷达与测距仪装备的仓储矿堆扫描方法
US20110123135A1 (en) Method and device of mapping and localization method using the same
US8462208B2 (en) System and method for tridimensional cartography of a structural surface
CN107883929A (zh) 基于多关节机械臂的单目视觉定位装置及方法
CN104315995A (zh) 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法
CN111693050A (zh) 基于建筑信息模型的室内中大型机器人导航方法
Mi et al. A vision-based displacement measurement system for foundation pit
US20200262080A1 (en) Comprehensive model-based method for gantry robot calibration via a dual camera vision system
CN111502671B (zh) 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN114964213B (zh) 基于姿态感知和视觉扫描的建筑工程施工定位系统及方法
CN112017248A (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN113586100A (zh) 盾构施工用弧形件安装装置及其安装方法
CN116842634A (zh) 基于三维模型测量制孔理论法矢与实际法矢偏差的方法
US20240051152A1 (en) Autonomous solar installation using artificial intelligence
CN113781576A (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN116560062A (zh) 显微镜对焦防碰撞控制方法
CN214641621U (zh) 一种用于复杂光照环境的激光视觉融合的高精度对接装置
CN114998422B (zh) 一种基于误差补偿模型的高精快速三维定位系统
CN110696016A (zh) 一种适用于地铁车辆列检工作的智能机器人
CN102589421A (zh) 汽车车身尺寸钣金检测系统及其方法
CN113776515B (zh) 一种机器人导航方法、装置、计算机设备和存储介质
CN110625614B (zh) 一种列车车体门窗的2d激光定位方法
CN210879689U (zh) 一种适用于地铁车辆列检工作的智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination