基于视觉传感器的识别定位定姿系统
技术领域
本发明属于目标识别领域,特别涉及一种基于视觉传感器的识别定位定姿系统。
背景技术
装卸臂(Loading Arm)是实现运输船和接收站之间流体介质输送的连接装置,是接收站的核心设备之一。
当前,装卸臂与运输船的对接主要依靠人工操作来实现的,而装卸臂自身重量大、管道长而导致结构刚性欠佳,其采用的液压缸和钢丝绳驱动方式难以精准完成指定动作,更为重要的是运输船受海风、海浪等的影响,对接时也存在一定的浮动。这造成了人工对接难度很大,并且若操作不当易破坏密封面,甚至造成人员伤亡。
因此,自动对接技术应运而生,而为装卸臂自动对接提供运输船法兰位姿信息的视觉识别系统就显得尤为重要。
针对传统手动对接存在劳动强度大、自动化水平低等问题,结合装卸臂自动对接系统技术要求,综合分析船舶浮动情况、视觉可视范围、障碍物遮挡等工况,研究一种用于装卸臂自动对接的视觉识别系统,提供船舶集管法兰的精确位姿,以提高装卸臂自动对接成功率具有重要意义。
发明内容
本发明的目的在于提供一种基于视觉传感器的识别定位定姿系统,能够获取船舶集管法兰的精确位姿,提高装卸臂与集管法兰自动对接的精度。
实现本发明目的的技术解决方案为:基于视觉传感器的识别定位定姿系统,所述系统包括:
切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;
第一视觉识别模块,用于在所述第一切换指令的触发下实时识别定位目标法兰的位姿;
第二视觉识别模块,用于在所述第二切换指令的触发下实时识别定位目标法兰的位姿。
进一步地,所述视觉识别系统还包括:通讯模块,用于将目标法兰位姿信息传输至上位机。
进一步地,所述切换模块包括:
切换条件测量单元,用于实时测量装卸臂末端与目标法兰所在目标区域的距离;
指令生成单元,用于实时判别所述距离与预设阈值的关系,若所述距离大于预设阈值,则生成第一切换指令,否则生成第二切换指令;
指令发送单元,用于将所述第一切换指令、第二切换指令分别发送至第一视觉识别模块、第二视觉识别模块。
进一步地,所述第一视觉识别模块包括防爆壳,以及设置在防爆壳内的激光接收器、第一驱动装置、反射器、第二驱动装置、激光发射器以及第一控制处理模块;所述防爆壳上设有出光窗口,所述激光接收器、反射器的角度均可调,分别通过第一驱动装置、第二驱动装置控制;所述激光发射器的出射激光经反射器反射后通过所述出光窗口入射至目标区域,经目标区域内的物体反射后入射至所述激光接收器;所述第一控制处理模块控制所述第二驱动装置驱动反射器按照预设轨迹运动,同时控制所述第一驱动装置驱动激光接收器运动以接收经物体反射的激光,对目标区域进行扫描及成像;所述第一控制处理模块采集通过激光扫描形成的目标区域3D点云图像,从中提取目标法兰并确定其位姿。
进一步地,所述激光发射器采用点激光器。
进一步地,所述第一控制处理模块包括依次执行的:
第一数据采集单元,用于采集从激光发射器发射光到激光接收器接收光的各个周期,根据每个周期计算当前周期所扫描的目标区域某一位置点与第一视觉识别模块的距离,对目标区域进行三维成像,形成3D点云图像;
第一处理单元,用于利用Kd-Tree算法对所述3D点云图像的点云数据进行分割;
第二处理单元,用于利用法向滤波算法过滤3D点云数据;
第三处理单元,用于利用圆心拟合滤波算法过滤非圆状的3D点云数据;
第四处理单元,用于将过滤后的3D点云数据投影至空间任意平面,并利用Hough变换检测所有圆状物体;
第五处理单元,用于建立目标评分体系,识别目标法兰的所有离散点;所述目标评分体系模型为:
式中,ε为评分函数,f1(x)为ε的第一个启发函数,其输入为法兰内外径预测值及实测值,输出为内外径预测值及实测值间的拟合程度,a、k1为其对应的权值,通过经验公式或内外径样本训练求得;f2(y)为ε的第二个启发函数,其输入为法兰法向姿态预测值及实测值,输出为法向姿态预测值及实测值间的拟合程度,b、k2为其对应的权值,通过经验公式或法兰法向姿态样本训练求得;f3(z)为ε的第三个启发函数,其输入为法兰内外径及其外离散点,输出为内外径外干扰物离散程度,c、k3为其对应的权值,通过经验公式或法兰内外径及其外离散点样本训练求得;
第六处理单元,用于求取离散点最优解;
第七处理单元,用于根据所述离散点最优解解算目标法兰的位姿;
进一步地,所述第一控制处理模块还包括设置于第二处理单元与第三处理单元之间的:
第八处理单元,用于判断法向滤波次数是否大于预设次数,若是,执行第三处理单元,否则返回执行第一处理单元。
进一步地,所述第二视觉识别模块包括激光发射器组、红外相机、防爆壳支架以及第二控制处理模块;所述激光发射器组包括若干个线激光器,所述防爆壳支架设置在装卸臂末端,所述激光发射器组和红外相机设置在所述防爆壳支架上;所述第二控制处理模块控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光反射形成的3D点云图像,提取目标法兰并确定其位姿。
进一步地,所述第二控制处理模块包括依次执行的:
第二数据采集单元,用于控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光经目标法兰反射形成的目标法兰3D点云图像;
第九处理单元,用于从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息;
第十处理单元,用于将激光线分割为多条线段;
第十一处理单元,用于根据红外相机的内参以及激光平面的外参,计算每个激光点的空间坐标;
第十二处理单元,用于对每条线段进行空间直线拟合,并计算每条直线和水平面之间的夹角,之后将夹角小于预设阈值的线段剔除;
第十三处理单元,用于利用剩余的线段拟合目标法兰平面,解算法兰法向量;
第十四处理单元,用于提取每一条剩余线段的任意一个顶点作为目标法兰边界点,并将边界点投影至目标法兰平面,之后根据已知的目标法兰直径拟合目标法兰轮廓,根据轮廓求解目标法兰的位姿。
进一步地,所述第九处理单元从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息,具体采用激光降维加权循迹算法,该算法的具体过程包括:
步骤1,设定激光亮度阈值为LThres,背景光阈值为BThres;
步骤2,对于所述3D点云图像中的每一行或列,获取该行或列中最亮的像素点,并判断该像素点的亮度值Lmax是否大于所述激光亮度阈值LThres,若大于则表示该行或列为一条激光线,保留该行或列,并执行下一步;否则表示该行或列不为激光线;
步骤3,以所述最亮的像素点为起点,搜索其所在行或列中所有亮度值大于所述背景光阈值BThres的像素点;
步骤4,基于所述最亮的像素点以及步骤3搜索到的所有像素点的亮度值,利用加权算法求取对应行或列的亮度值LP;
步骤5,根据所有亮度值LP确定激光分布,并滤除其余行或列。
本发明与现有技术相比,其显著优点为:1)采用两重定位的目标识别模式,根据距离信息切换不同的目标识别模块直至完成对接过程,能实现远距离、大范围、广视角的浮动目标法兰动态识别与定位;2)每一重定位的原理并不相同,根据距离设置不同定位精度的模块,保证精度的同时避免了资源浪费;例如远距离情况下,第一视觉识别模块通过点激光扫射生成3D点云图像,通过法向滤波算法过滤错误姿态干扰物,通过圆心拟合滤波算法过滤非圆状干扰物,最终通过目标法兰特征点建立评分机制,完成目标法兰的粗定位;近距离情况下,第二视觉识别模块通过线激光发送激光生成3D点云图像,通过激光降维加权循迹算法提取激光线过滤其余像素点,通过对激光线处理拟合目标法兰轮廓,完成目标法兰的精定位,定位精度相对于粗定位更高。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于视觉传感器的识别定位定姿系统的结构示意图。
图2为一个实施例中第一视觉识别模块结构图。
图3为一个实施例中第二视觉识别模块结构图。
图4为一个实施例中第一控制处理模块的原理图。
图5为一个实施例中第二控制处理模块的原理图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
在一个实施例中,结合图1,提供了一种基于视觉传感器的识别定位定姿系统,所述系统包括:
切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;
第一视觉识别模块,用于在所述第一切换指令的触发下实时识别定位目标法兰的位姿;
这里,目标法兰为集管法兰。
第二视觉识别模块,用于在所述第二切换指令的触发下实时识别定位目标法兰的位姿。
这里优选地,所述第一视觉识别模块设置在装卸臂的立柱上,所述第二视觉识别模块设置在装卸臂末端。
由上可知,本发明是两级视觉识别。这里,还可以根据实际需求设置多个视觉识别模块,形成多级视觉识别。
进一步地,在其中一个实施例中,所述视觉识别系统还包括:通讯模块,用于将目标法兰位姿信息传输至上位机。由上位机将目标法兰信息发送至任何需要该信息的设备。
进一步地,在其中一个实施例中,所述切换模块包括:
切换条件测量单元,用于实时测量装卸臂末端与目标法兰所在目标区域的距离;
指令生成单元,用于实时判别所述距离与预设阈值的关系,若所述距离大于预设阈值,则生成第一切换指令,否则生成第二切换指令;
指令发送单元,用于将所述第一切换指令、第二切换指令分别发送至第一视觉识别模块、第二视觉识别模块。
这里,切换条件测量单元也可以是测量装卸臂末端偏离目标法兰所在目标区域的角度或其他信息,只要是能划分出多级定位识别的可行判决条件即可。
进一步地,在其中一个实施例中,结合图2,所述第一视觉识别模块包括防爆壳1-1,以及设置在防爆壳1-1内的激光接收器1-2、第一驱动装置1-3、反射器1-4、第二驱动装置1-5、激光发射器1-6以及第一控制处理模块;所述防爆壳1-1上设有出光窗口,所述激光接收器1-2、反射器1-4的角度均可调,分别通过第一驱动装置1-3、第二驱动装置1-5控制;所述激光发射器1-6的出射激光经反射器1-4反射后通过所述出光窗口入射至目标区域,经目标区域内的物体反射后入射至所述激光接收器1-2;所述第一控制处理模块控制所述第二驱动装置1-5驱动反射器1-4按照预设轨迹运动,同时控制所述第一驱动装置1-3驱动激光接收器1-2运动以接收经物体反射的激光,对目标区域进行扫描及成像;所述第一控制处理模块采集通过激光扫描形成的目标区域3D点云图像,从中提取目标法兰并确定其位姿。
这里优选地,所述激光发射器1-4采用点激光器。
进一步地,在其中一个实施例中,结合图4,所述第一控制处理模块包括依次执行的:
第一数据采集单元,用于采集从激光发射器1-4发射光到激光接收器1-5接收光的各个周期,根据每个周期计算当前周期所扫描的目标区域某一位置点与第一视觉识别模块的距离,对目标区域进行三维成像,形成3D点云图像;
第一处理单元,用于利用Kd-Tree算法对所述3D点云图像的点云数据进行分割;
第二处理单元,用于利用法向滤波算法过滤3D点云数据;
第三处理单元,用于利用圆心拟合滤波算法过滤非圆状的3D点云数据;
第四处理单元,用于将过滤后的3D点云数据投影至空间任意平面,并利用Hough变换检测所有圆状物体;
第五处理单元,用于建立目标评分体系,识别目标法兰的所有离散点;所述目标评分体系模型为:
式中,ε为评分函数,ε值越大,越接近1,表示其为目标法兰的离散点;f1(x)为ε的第一个启发函数,其输入为法兰内外径预测值及实测值,输出为内外径预测值及实测值间的拟合程度,a、k1为其对应的权值,通过经验公式或内外径样本训练求得;f2(y)为ε的第二个启发函数,其输入为法兰法向姿态预测值及实测值,输出为法向姿态预测值及实测值间的拟合程度,b、k2为其对应的权值,通过经验公式或法兰法向姿态样本训练求得;f3(z)为ε的第三个启发函数,其输入为法兰内外径及其外离散点,输出为内外径外干扰物离散程度,c、k3为其对应的权值,通过经验公式或法兰内外径及其外离散点样本训练求得;
第六处理单元,用于求取离散点最优解;
这里优选地,可以采用Nelder-Mead迭代算法求取离散点最优解。
第七处理单元,用于根据所述离散点最优解解算目标法兰的位姿;
进一步地,在其中一个实施例中,所述第一控制处理模块还包括设置于第二处理单元与第三处理单元之间的:
第八处理单元,用于判断法向滤波次数是否大于预设次数,若是,执行第三处理单元,否则返回执行第一处理单元。
采用本实施例的方案,通过多次法向滤波可以提高后续处理的精度,优选为两次。
进一步地,在其中一个实施例中,结合图3,所述第二视觉识别模块包括激光发射器组2-3、红外相机2-1、防爆壳支架2-2以及第二控制处理模块;所述激光发射器组2-3包括若干个线激光器,所述防爆壳支架2-2设置在装卸臂末端,所述激光发射器组2-3和红外相机2-1设置在所述防爆壳支架2-2上;所述第二控制处理模块控制激光发射器组2-3发射多束线激光至目标法兰,同时控制红外相机2-1采集线激光反射形成的3D点云图像,提取目标法兰并确定其位姿。
这里,激光发射器组2-3中的激光器可以是均匀分布,也可以是不均匀分布。
进一步地,在其中一个实施例中,结合图5,所述第二控制处理模块包括依次执行的:
第二数据采集单元,用于控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光经目标法兰反射形成的目标法兰3D点云图像;
第九处理单元,用于从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息;
第十处理单元,用于将激光线分割为多条线段;
这里优选地,将激光线分割为多条线段可以采用Douglas-Peucker算法,也可以采用最小二乘法。
第十一处理单元,用于根据红外相机的内参以及激光平面的外参,计算每个激光点的空间坐标;
第十二处理单元,用于利用最小二乘法对每条线段进行空间直线拟合,并计算每条直线和水平面之间的夹角,之后将夹角小于预设阈值的线段剔除;
这里,夹角小于预设阈值,可以认为该线段不属于法兰平面。
这里优选地,可以利用最小二乘法对每条线段进行空间直线拟合。
第十三处理单元,用于利用剩余的线段拟合目标法兰平面,解算法兰法向量;
第十四处理单元,用于提取每一条剩余线段的任意一个顶点作为目标法兰边界点,并将边界点投影至目标法兰平面,之后根据已知的目标法兰直径拟合目标法兰轮廓,根据轮廓求解目标法兰的位姿。
进一步地,在其中一个实施例中,所述第九处理单元从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息,具体采用激光降维加权循迹算法,该算法的具体过程包括:
步骤1,设定激光亮度阈值为LThres,背景光阈值为BThres;
步骤2,对于所述3D点云图像中的每一行或列,获取该行或列中最亮的像素点,并判断该像素点的亮度值Lmax是否大于所述激光亮度阈值LThres,若大于则表示该行或列为一条激光线,保留该行或列,并执行下一步;否则表示该行或列不为激光线;
步骤3,以所述最亮的像素点为起点,搜索其所在行或列中所有亮度值大于所述背景光阈值BThres的像素点;
步骤4,基于所述最亮的像素点以及步骤3搜索到的所有像素点的亮度值,利用加权算法求取对应行或列的亮度值LP;
步骤5,根据所有亮度值LP确定激光分布,并滤除其余行或列。
本发明的用于装卸臂自动对接的视觉识别系统,采用两重定位的目标识别模式,根据距离信息切换不同的目标识别模块直至完成对接过程,能实现远距离、大范围、广视角的浮动目标法兰动态识别与定位。此外,每一重定位的原理并不相同,根据距离设置不同定位精度的模块,保证精度的同时避免了资源浪费。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。