CN111854697A - 基于视觉传感器的识别定位定姿系统 - Google Patents

基于视觉传感器的识别定位定姿系统 Download PDF

Info

Publication number
CN111854697A
CN111854697A CN202010574674.8A CN202010574674A CN111854697A CN 111854697 A CN111854697 A CN 111854697A CN 202010574674 A CN202010574674 A CN 202010574674A CN 111854697 A CN111854697 A CN 111854697A
Authority
CN
China
Prior art keywords
laser
flange
target
processing unit
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010574674.8A
Other languages
English (en)
Other versions
CN111854697B (zh
Inventor
陈一鸣
刘志成
张彬
周鑫华
胡旭杰
孟祥慈
孟凡皓
陈睿
马文强
邵彦山
杨宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
716th Research Institute of CSIC
Original Assignee
716th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 716th Research Institute of CSIC filed Critical 716th Research Institute of CSIC
Priority to CN202010574674.8A priority Critical patent/CN111854697B/zh
Publication of CN111854697A publication Critical patent/CN111854697A/zh
Application granted granted Critical
Publication of CN111854697B publication Critical patent/CN111854697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于视觉传感器的识别定位定姿系统,该系统包括切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;第一视觉识别模块,用于在第一切换指令的触发下实时识别定位目标法兰的位姿;第二视觉识别模块,用于在第二切换指令的触发下实时识别定位目标法兰的位姿。本发明的用于装卸臂自动对接的视觉识别系统,采用两重定位的目标识别模式,根据距离信息切换不同的目标识别模块直至完成对接过程,能实现远距离、大范围、广视角的浮动目标法兰动态识别与定位。此外,每一重定位的原理并不相同,根据距离设置不同定位精度的模块,保证精度的同时避免了资源浪费。

Description

基于视觉传感器的识别定位定姿系统
技术领域
本发明属于目标识别领域,特别涉及一种基于视觉传感器的识别定位定姿系统。
背景技术
装卸臂(Loading Arm)是实现运输船和接收站之间流体介质输送的连接装置,是接收站的核心设备之一。
当前,装卸臂与运输船的对接主要依靠人工操作来实现的,而装卸臂自身重量大、管道长而导致结构刚性欠佳,其采用的液压缸和钢丝绳驱动方式难以精准完成指定动作,更为重要的是运输船受海风、海浪等的影响,对接时也存在一定的浮动。这造成了人工对接难度很大,并且若操作不当易破坏密封面,甚至造成人员伤亡。
因此,自动对接技术应运而生,而为装卸臂自动对接提供运输船法兰位姿信息的视觉识别系统就显得尤为重要。
针对传统手动对接存在劳动强度大、自动化水平低等问题,结合装卸臂自动对接系统技术要求,综合分析船舶浮动情况、视觉可视范围、障碍物遮挡等工况,研究一种用于装卸臂自动对接的视觉识别系统,提供船舶集管法兰的精确位姿,以提高装卸臂自动对接成功率具有重要意义。
发明内容
本发明的目的在于提供一种基于视觉传感器的识别定位定姿系统,能够获取船舶集管法兰的精确位姿,提高装卸臂与集管法兰自动对接的精度。
实现本发明目的的技术解决方案为:基于视觉传感器的识别定位定姿系统,所述系统包括:
切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;
第一视觉识别模块,用于在所述第一切换指令的触发下实时识别定位目标法兰的位姿;
第二视觉识别模块,用于在所述第二切换指令的触发下实时识别定位目标法兰的位姿。
进一步地,所述视觉识别系统还包括:通讯模块,用于将目标法兰位姿信息传输至上位机。
进一步地,所述切换模块包括:
切换条件测量单元,用于实时测量装卸臂末端与目标法兰所在目标区域的距离;
指令生成单元,用于实时判别所述距离与预设阈值的关系,若所述距离大于预设阈值,则生成第一切换指令,否则生成第二切换指令;
指令发送单元,用于将所述第一切换指令、第二切换指令分别发送至第一视觉识别模块、第二视觉识别模块。
进一步地,所述第一视觉识别模块包括防爆壳,以及设置在防爆壳内的激光接收器、第一驱动装置、反射器、第二驱动装置、激光发射器以及第一控制处理模块;所述防爆壳上设有出光窗口,所述激光接收器、反射器的角度均可调,分别通过第一驱动装置、第二驱动装置控制;所述激光发射器的出射激光经反射器反射后通过所述出光窗口入射至目标区域,经目标区域内的物体反射后入射至所述激光接收器;所述第一控制处理模块控制所述第二驱动装置驱动反射器按照预设轨迹运动,同时控制所述第一驱动装置驱动激光接收器运动以接收经物体反射的激光,对目标区域进行扫描及成像;所述第一控制处理模块采集通过激光扫描形成的目标区域3D点云图像,从中提取目标法兰并确定其位姿。
进一步地,所述激光发射器采用点激光器。
进一步地,所述第一控制处理模块包括依次执行的:
第一数据采集单元,用于采集从激光发射器发射光到激光接收器接收光的各个周期,根据每个周期计算当前周期所扫描的目标区域某一位置点与第一视觉识别模块的距离,对目标区域进行三维成像,形成3D点云图像;
第一处理单元,用于利用Kd-Tree算法对所述3D点云图像的点云数据进行分割;
第二处理单元,用于利用法向滤波算法过滤3D点云数据;
第三处理单元,用于利用圆心拟合滤波算法过滤非圆状的3D点云数据;
第四处理单元,用于将过滤后的3D点云数据投影至空间任意平面,并利用Hough变换检测所有圆状物体;
第五处理单元,用于建立目标评分体系,识别目标法兰的所有离散点;所述目标评分体系模型为:
Figure BDA0002550894090000021
式中,ε为评分函数,f1(x)为ε的第一个启发函数,其输入为法兰内外径预测值及实测值,输出为内外径预测值及实测值间的拟合程度,a、k1为其对应的权值,通过经验公式或内外径样本训练求得;f2(y)为ε的第二个启发函数,其输入为法兰法向姿态预测值及实测值,输出为法向姿态预测值及实测值间的拟合程度,b、k2为其对应的权值,通过经验公式或法兰法向姿态样本训练求得;f3(z)为ε的第三个启发函数,其输入为法兰内外径及其外离散点,输出为内外径外干扰物离散程度,c、k3为其对应的权值,通过经验公式或法兰内外径及其外离散点样本训练求得;
第六处理单元,用于求取离散点最优解;
第七处理单元,用于根据所述离散点最优解解算目标法兰的位姿;
进一步地,所述第一控制处理模块还包括设置于第二处理单元与第三处理单元之间的:
第八处理单元,用于判断法向滤波次数是否大于预设次数,若是,执行第三处理单元,否则返回执行第一处理单元。
进一步地,所述第二视觉识别模块包括激光发射器组、红外相机、防爆壳支架以及第二控制处理模块;所述激光发射器组包括若干个线激光器,所述防爆壳支架设置在装卸臂末端,所述激光发射器组和红外相机设置在所述防爆壳支架上;所述第二控制处理模块控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光反射形成的3D点云图像,提取目标法兰并确定其位姿。
进一步地,所述第二控制处理模块包括依次执行的:
第二数据采集单元,用于控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光经目标法兰反射形成的目标法兰3D点云图像;
第九处理单元,用于从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息;
第十处理单元,用于将激光线分割为多条线段;
第十一处理单元,用于根据红外相机的内参以及激光平面的外参,计算每个激光点的空间坐标;
第十二处理单元,用于对每条线段进行空间直线拟合,并计算每条直线和水平面之间的夹角,之后将夹角小于预设阈值的线段剔除;
第十三处理单元,用于利用剩余的线段拟合目标法兰平面,解算法兰法向量;
第十四处理单元,用于提取每一条剩余线段的任意一个顶点作为目标法兰边界点,并将边界点投影至目标法兰平面,之后根据已知的目标法兰直径拟合目标法兰轮廓,根据轮廓求解目标法兰的位姿。
进一步地,所述第九处理单元从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息,具体采用激光降维加权循迹算法,该算法的具体过程包括:
步骤1,设定激光亮度阈值为LThres,背景光阈值为BThres
步骤2,对于所述3D点云图像中的每一行或列,获取该行或列中最亮的像素点,并判断该像素点的亮度值Lmax是否大于所述激光亮度阈值LThres,若大于则表示该行或列为一条激光线,保留该行或列,并执行下一步;否则表示该行或列不为激光线;
步骤3,以所述最亮的像素点为起点,搜索其所在行或列中所有亮度值大于所述背景光阈值BThres的像素点;
步骤4,基于所述最亮的像素点以及步骤3搜索到的所有像素点的亮度值,利用加权算法求取对应行或列的亮度值LP
步骤5,根据所有亮度值LP确定激光分布,并滤除其余行或列。
本发明与现有技术相比,其显著优点为:1)采用两重定位的目标识别模式,根据距离信息切换不同的目标识别模块直至完成对接过程,能实现远距离、大范围、广视角的浮动目标法兰动态识别与定位;2)每一重定位的原理并不相同,根据距离设置不同定位精度的模块,保证精度的同时避免了资源浪费;例如远距离情况下,第一视觉识别模块通过点激光扫射生成3D点云图像,通过法向滤波算法过滤错误姿态干扰物,通过圆心拟合滤波算法过滤非圆状干扰物,最终通过目标法兰特征点建立评分机制,完成目标法兰的粗定位;近距离情况下,第二视觉识别模块通过线激光发送激光生成3D点云图像,通过激光降维加权循迹算法提取激光线过滤其余像素点,通过对激光线处理拟合目标法兰轮廓,完成目标法兰的精定位,定位精度相对于粗定位更高。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于视觉传感器的识别定位定姿系统的结构示意图。
图2为一个实施例中第一视觉识别模块结构图。
图3为一个实施例中第二视觉识别模块结构图。
图4为一个实施例中第一控制处理模块的原理图。
图5为一个实施例中第二控制处理模块的原理图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
在一个实施例中,结合图1,提供了一种基于视觉传感器的识别定位定姿系统,所述系统包括:
切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;
第一视觉识别模块,用于在所述第一切换指令的触发下实时识别定位目标法兰的位姿;
这里,目标法兰为集管法兰。
第二视觉识别模块,用于在所述第二切换指令的触发下实时识别定位目标法兰的位姿。
这里优选地,所述第一视觉识别模块设置在装卸臂的立柱上,所述第二视觉识别模块设置在装卸臂末端。
由上可知,本发明是两级视觉识别。这里,还可以根据实际需求设置多个视觉识别模块,形成多级视觉识别。
进一步地,在其中一个实施例中,所述视觉识别系统还包括:通讯模块,用于将目标法兰位姿信息传输至上位机。由上位机将目标法兰信息发送至任何需要该信息的设备。
进一步地,在其中一个实施例中,所述切换模块包括:
切换条件测量单元,用于实时测量装卸臂末端与目标法兰所在目标区域的距离;
指令生成单元,用于实时判别所述距离与预设阈值的关系,若所述距离大于预设阈值,则生成第一切换指令,否则生成第二切换指令;
指令发送单元,用于将所述第一切换指令、第二切换指令分别发送至第一视觉识别模块、第二视觉识别模块。
这里,切换条件测量单元也可以是测量装卸臂末端偏离目标法兰所在目标区域的角度或其他信息,只要是能划分出多级定位识别的可行判决条件即可。
进一步地,在其中一个实施例中,结合图2,所述第一视觉识别模块包括防爆壳1-1,以及设置在防爆壳1-1内的激光接收器1-2、第一驱动装置1-3、反射器1-4、第二驱动装置1-5、激光发射器1-6以及第一控制处理模块;所述防爆壳1-1上设有出光窗口,所述激光接收器1-2、反射器1-4的角度均可调,分别通过第一驱动装置1-3、第二驱动装置1-5控制;所述激光发射器1-6的出射激光经反射器1-4反射后通过所述出光窗口入射至目标区域,经目标区域内的物体反射后入射至所述激光接收器1-2;所述第一控制处理模块控制所述第二驱动装置1-5驱动反射器1-4按照预设轨迹运动,同时控制所述第一驱动装置1-3驱动激光接收器1-2运动以接收经物体反射的激光,对目标区域进行扫描及成像;所述第一控制处理模块采集通过激光扫描形成的目标区域3D点云图像,从中提取目标法兰并确定其位姿。
这里优选地,所述激光发射器1-4采用点激光器。
进一步地,在其中一个实施例中,结合图4,所述第一控制处理模块包括依次执行的:
第一数据采集单元,用于采集从激光发射器1-4发射光到激光接收器1-5接收光的各个周期,根据每个周期计算当前周期所扫描的目标区域某一位置点与第一视觉识别模块的距离,对目标区域进行三维成像,形成3D点云图像;
第一处理单元,用于利用Kd-Tree算法对所述3D点云图像的点云数据进行分割;
第二处理单元,用于利用法向滤波算法过滤3D点云数据;
第三处理单元,用于利用圆心拟合滤波算法过滤非圆状的3D点云数据;
第四处理单元,用于将过滤后的3D点云数据投影至空间任意平面,并利用Hough变换检测所有圆状物体;
第五处理单元,用于建立目标评分体系,识别目标法兰的所有离散点;所述目标评分体系模型为:
Figure BDA0002550894090000061
式中,ε为评分函数,ε值越大,越接近1,表示其为目标法兰的离散点;f1(x)为ε的第一个启发函数,其输入为法兰内外径预测值及实测值,输出为内外径预测值及实测值间的拟合程度,a、k1为其对应的权值,通过经验公式或内外径样本训练求得;f2(y)为ε的第二个启发函数,其输入为法兰法向姿态预测值及实测值,输出为法向姿态预测值及实测值间的拟合程度,b、k2为其对应的权值,通过经验公式或法兰法向姿态样本训练求得;f3(z)为ε的第三个启发函数,其输入为法兰内外径及其外离散点,输出为内外径外干扰物离散程度,c、k3为其对应的权值,通过经验公式或法兰内外径及其外离散点样本训练求得;
第六处理单元,用于求取离散点最优解;
这里优选地,可以采用Nelder-Mead迭代算法求取离散点最优解。
第七处理单元,用于根据所述离散点最优解解算目标法兰的位姿;
进一步地,在其中一个实施例中,所述第一控制处理模块还包括设置于第二处理单元与第三处理单元之间的:
第八处理单元,用于判断法向滤波次数是否大于预设次数,若是,执行第三处理单元,否则返回执行第一处理单元。
采用本实施例的方案,通过多次法向滤波可以提高后续处理的精度,优选为两次。
进一步地,在其中一个实施例中,结合图3,所述第二视觉识别模块包括激光发射器组2-3、红外相机2-1、防爆壳支架2-2以及第二控制处理模块;所述激光发射器组2-3包括若干个线激光器,所述防爆壳支架2-2设置在装卸臂末端,所述激光发射器组2-3和红外相机2-1设置在所述防爆壳支架2-2上;所述第二控制处理模块控制激光发射器组2-3发射多束线激光至目标法兰,同时控制红外相机2-1采集线激光反射形成的3D点云图像,提取目标法兰并确定其位姿。
这里,激光发射器组2-3中的激光器可以是均匀分布,也可以是不均匀分布。
进一步地,在其中一个实施例中,结合图5,所述第二控制处理模块包括依次执行的:
第二数据采集单元,用于控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光经目标法兰反射形成的目标法兰3D点云图像;
第九处理单元,用于从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息;
第十处理单元,用于将激光线分割为多条线段;
这里优选地,将激光线分割为多条线段可以采用Douglas-Peucker算法,也可以采用最小二乘法。
第十一处理单元,用于根据红外相机的内参以及激光平面的外参,计算每个激光点的空间坐标;
第十二处理单元,用于利用最小二乘法对每条线段进行空间直线拟合,并计算每条直线和水平面之间的夹角,之后将夹角小于预设阈值的线段剔除;
这里,夹角小于预设阈值,可以认为该线段不属于法兰平面。
这里优选地,可以利用最小二乘法对每条线段进行空间直线拟合。
第十三处理单元,用于利用剩余的线段拟合目标法兰平面,解算法兰法向量;
第十四处理单元,用于提取每一条剩余线段的任意一个顶点作为目标法兰边界点,并将边界点投影至目标法兰平面,之后根据已知的目标法兰直径拟合目标法兰轮廓,根据轮廓求解目标法兰的位姿。
进一步地,在其中一个实施例中,所述第九处理单元从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息,具体采用激光降维加权循迹算法,该算法的具体过程包括:
步骤1,设定激光亮度阈值为LThres,背景光阈值为BThres
步骤2,对于所述3D点云图像中的每一行或列,获取该行或列中最亮的像素点,并判断该像素点的亮度值Lmax是否大于所述激光亮度阈值LThres,若大于则表示该行或列为一条激光线,保留该行或列,并执行下一步;否则表示该行或列不为激光线;
步骤3,以所述最亮的像素点为起点,搜索其所在行或列中所有亮度值大于所述背景光阈值BThres的像素点;
步骤4,基于所述最亮的像素点以及步骤3搜索到的所有像素点的亮度值,利用加权算法求取对应行或列的亮度值LP
步骤5,根据所有亮度值LP确定激光分布,并滤除其余行或列。
本发明的用于装卸臂自动对接的视觉识别系统,采用两重定位的目标识别模式,根据距离信息切换不同的目标识别模块直至完成对接过程,能实现远距离、大范围、广视角的浮动目标法兰动态识别与定位。此外,每一重定位的原理并不相同,根据距离设置不同定位精度的模块,保证精度的同时避免了资源浪费。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于视觉传感器的识别定位定姿系统,其特征在于,所述系统包括:
切换模块,用于生成并发送第一切换指令或第二切换指令至第一视觉识别模块或第二视觉识别模块;
第一视觉识别模块,用于在所述第一切换指令的触发下实时识别定位目标法兰的位姿;
第二视觉识别模块,用于在所述第二切换指令的触发下实时识别定位目标法兰的位姿。
2.根据权利要求1所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述视觉识别系统还包括:通讯模块,用于将目标法兰位姿信息传输至上位机。
3.根据权利要求1所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述切换模块包括:
切换条件测量单元,用于实时测量装卸臂末端与目标法兰所在目标区域的距离;
指令生成单元,用于实时判别所述距离与预设阈值的关系,若所述距离大于预设阈值,则生成第一切换指令,否则生成第二切换指令;
指令发送单元,用于将所述第一切换指令、第二切换指令分别发送至第一视觉识别模块、第二视觉识别模块。
4.根据权利要求1所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第一视觉识别模块包括防爆壳(1-1),以及设置在防爆壳(1-1)内的激光接收器(1-2)、第一驱动装置(1-3)、反射器(1-4)、第二驱动装置(1-5)、激光发射器(1-6)以及第一控制处理模块;所述防爆壳(1-1)上设有出光窗口,所述激光接收器(1-2)、反射器(1-4)的角度均可调,分别通过第一驱动装置(1-3)、第二驱动装置(1-5)控制;所述激光发射器(1-6)的出射激光经反射器(1-4)反射后通过所述出光窗口入射至目标区域,经目标区域内的物体反射后入射至所述激光接收器(1-2);所述第一控制处理模块控制所述第二驱动装置(1-5)驱动反射器(1-4)按照预设轨迹运动,同时控制所述第一驱动装置(1-3)驱动激光接收器(1-2)运动以接收经物体反射的激光,对目标区域进行扫描及成像;所述第一控制处理模块采集通过激光扫描形成的目标区域3D点云图像,从中提取目标法兰并确定其位姿。
5.根据权利要求4所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述激光发射器(1-6)采用点激光器。
6.根据权利要求4所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第一控制处理模块包括依次执行的:
第一数据采集单元,用于采集从激光发射器发射光到激光接收器接收光的各个周期,根据每个周期计算当前周期所扫描的目标区域某一位置点与第一视觉识别模块的距离,对目标区域进行三维成像,形成3D点云图像;
第一处理单元,用于利用Kd-Tree算法对所述3D点云图像的点云数据进行分割;
第二处理单元,用于利用法向滤波算法过滤3D点云数据;
第三处理单元,用于利用圆心拟合滤波算法过滤非圆状的3D点云数据;
第四处理单元,用于将过滤后的3D点云数据投影至空间任意平面,并利用Hough变换检测所有圆状物体;
第五处理单元,用于建立目标评分体系,识别目标法兰的所有离散点;所述目标评分体系模型为:
Figure FDA0002550894080000021
式中,ε为评分函数,f1(x)为ε的第一个启发函数,其输入为法兰内外径预测值及实测值,输出为内外径预测值及实测值间的拟合程度,a、k1为其对应的权值,通过经验公式或内外径样本训练求得;f2(y)为ε的第二个启发函数,其输入为法兰法向姿态预测值及实测值,输出为法向姿态预测值及实测值间的拟合程度,b、k2为其对应的权值,通过经验公式或法兰法向姿态样本训练求得;f3(z)为ε的第三个启发函数,其输入为法兰内外径及其外离散点,输出为内外径外干扰物离散程度,c、k3为其对应的权值,通过经验公式或法兰内外径及其外离散点样本训练求得;
第六处理单元,用于求取离散点最优解;
第七处理单元,用于根据所述离散点最优解解算目标法兰的位姿。
7.根据权利要求6所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第一控制处理模块还包括设置于第二处理单元与第三处理单元之间的:
第八处理单元,用于判断法向滤波次数是否大于预设次数,若是,执行第三处理单元,否则返回执行第一处理单元。
8.根据权利要求1所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第二视觉识别模块包括激光发射器组(2-3)、红外相机(2-1)、防爆壳支架(2-2)以及第二控制处理模块;所述激光发射器组(2-3)包括若干个线激光器,所述防爆壳支架(2-2)设置在装卸臂末端,所述激光发射器组(2-3)和红外相机(2-1)设置在所述防爆壳支架(2-2)上;所述第二控制处理模块控制激光发射器组(2-3)发射多束线激光至目标法兰,同时控制红外相机(2-1)采集线激光反射形成的3D点云图像,提取目标法兰并确定其位姿。
9.根据权利要求1或8所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第二控制处理模块包括依次执行的:
第二数据采集单元,用于控制激光发射器组发射多束线激光至目标法兰,同时控制红外相机采集线激光经目标法兰反射形成的目标法兰3D点云图像;
第九处理单元,用于从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息;
第十处理单元,用于将激光线分割为多条线段;
第十一处理单元,用于根据红外相机的内参以及激光平面的外参,计算每个激光点的空间坐标;
第十二处理单元,用于对每条线段进行空间直线拟合,并计算每条直线和水平面之间的夹角,之后将夹角小于预设阈值的线段剔除;
第十三处理单元,用于利用剩余的线段拟合目标法兰平面,解算法兰法向量;
第十四处理单元,用于提取每一条剩余线段的任意一个顶点作为目标法兰边界点,并将边界点投影至目标法兰平面,之后根据已知的目标法兰直径拟合目标法兰轮廓,根据轮廓求解目标法兰的位姿。
10.根据权利要求9所述的基于视觉传感器的识别定位定姿系统,其特征在于,所述第九处理单元从所述3D点云图像中提取激光线,并滤除激光线以外的像素信息,具体采用激光降维加权循迹算法,该算法的具体过程包括:
步骤1,设定激光亮度阈值为LThres,背景光阈值为BThres
步骤2,对于所述3D点云图像中的每一行或列,获取该行或列中最亮的像素点,并判断该像素点的亮度值Lmax是否大于所述激光亮度阈值LThres,若大于则表示该行或列为一条激光线,保留该行或列,并执行下一步;否则表示该行或列不为激光线;
步骤3,以所述最亮的像素点为起点,搜索其所在行或列中所有亮度值大于所述背景光阈值BThres的像素点;
步骤4,基于所述最亮的像素点以及步骤3搜索到的所有像素点的亮度值,利用加权算法求取对应行或列的亮度值LP
步骤5,根据所有亮度值LP确定激光分布,并滤除其余行或列。
CN202010574674.8A 2020-06-22 2020-06-22 基于视觉传感器的识别定位定姿系统 Active CN111854697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010574674.8A CN111854697B (zh) 2020-06-22 2020-06-22 基于视觉传感器的识别定位定姿系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010574674.8A CN111854697B (zh) 2020-06-22 2020-06-22 基于视觉传感器的识别定位定姿系统

Publications (2)

Publication Number Publication Date
CN111854697A true CN111854697A (zh) 2020-10-30
CN111854697B CN111854697B (zh) 2021-08-10

Family

ID=72987064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010574674.8A Active CN111854697B (zh) 2020-06-22 2020-06-22 基于视觉传感器的识别定位定姿系统

Country Status (1)

Country Link
CN (1) CN111854697B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330862A (zh) * 2022-08-12 2022-11-11 哈尔滨工业大学 视觉防撞监测装置及大型球形靶室内设备防撞监测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105158769A (zh) * 2015-07-29 2015-12-16 北京理工大学 基于moems器件的双联动仿人眼激光扫描成像系统
CN105157680A (zh) * 2015-08-28 2015-12-16 北京控制工程研究所 一种全局特征与局部特征结合的视觉测量系统及测量方法
DE102015113967A1 (de) * 2014-08-25 2016-02-25 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Teilehalteanordnung, Montagesystem und Verfahren zum Positionieren eines ersten Teils
TW201800198A (zh) * 2016-06-29 2018-01-01 Pou Chen Corp 自動化穿鞋帶系統
CN207386981U (zh) * 2017-11-08 2018-05-22 连云港远洋流体装卸设备有限公司 适用于码头输油管装卸臂与船舶法兰的自动对接设备
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN208282790U (zh) * 2018-07-05 2018-12-25 杭州海康机器人技术有限公司 目标物体的3d轮廓测量装置
CN109777921A (zh) * 2017-11-14 2019-05-21 党祎贤 一种钢包吹氩自动对接机构
CN109854555A (zh) * 2019-03-11 2019-06-07 连云港杰瑞自动化有限公司 用于装卸臂的高低速驱动液压自动控制系统及其控制方法
US20200033479A1 (en) * 2014-01-31 2020-01-30 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200033479A1 (en) * 2014-01-31 2020-01-30 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures
DE102015113967A1 (de) * 2014-08-25 2016-02-25 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Teilehalteanordnung, Montagesystem und Verfahren zum Positionieren eines ersten Teils
CN105158769A (zh) * 2015-07-29 2015-12-16 北京理工大学 基于moems器件的双联动仿人眼激光扫描成像系统
CN105157680A (zh) * 2015-08-28 2015-12-16 北京控制工程研究所 一种全局特征与局部特征结合的视觉测量系统及测量方法
TW201800198A (zh) * 2016-06-29 2018-01-01 Pou Chen Corp 自動化穿鞋帶系統
CN207386981U (zh) * 2017-11-08 2018-05-22 连云港远洋流体装卸设备有限公司 适用于码头输油管装卸臂与船舶法兰的自动对接设备
CN109777921A (zh) * 2017-11-14 2019-05-21 党祎贤 一种钢包吹氩自动对接机构
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN208282790U (zh) * 2018-07-05 2018-12-25 杭州海康机器人技术有限公司 目标物体的3d轮廓测量装置
CN109854555A (zh) * 2019-03-11 2019-06-07 连云港杰瑞自动化有限公司 用于装卸臂的高低速驱动液压自动控制系统及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330862A (zh) * 2022-08-12 2022-11-11 哈尔滨工业大学 视觉防撞监测装置及大型球形靶室内设备防撞监测方法
CN115330862B (zh) * 2022-08-12 2023-08-18 哈尔滨工业大学 视觉防撞监测装置及大型球形靶室内设备防撞监测方法

Also Published As

Publication number Publication date
CN111854697B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109670411B (zh) 基于生成对抗网络的船舶点云深度图像处理方法和系统
Yan et al. Autonomous underwater vehicle vision guided docking experiments based on L-shaped light array
US20230161045A1 (en) Method and device for adjusting parameters of lidar, and lidar
CN106950572B (zh) 一种自动引导车定位方法及装置
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
EP3489895B1 (en) Industrial vehicles with point fix based localization
CN106707261B (zh) 一种大气探测激光雷达ccd成像自动对光方法
CN112098326A (zh) 针对桥梁病害的自动检测方法和系统
CN111435163A (zh) 地面点云数据过滤方法、装置、探测系统及存储介质
CN110223212B (zh) 一种运输机器人的调度控制方法和系统
CN109623815B (zh) 一种用于无人打捞船的波浪补偿双机器人系统及方法
CN109375211B (zh) 基于雷达和多光学设备的可移动无人平台目标搜索方法
CN105182991A (zh) 用于水下潜器对接的激光导引与通信装置
CN112232139B (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
CN111854697B (zh) 基于视觉传感器的识别定位定姿系统
CN117836659A (zh) 测距方法、波形检测方法、装置及相关设备
CN113790718A (zh) 一种基于无人船的信息共享系统
CN117008622A (zh) 视觉机器人水下目标识别追踪方法及其水下视觉机器人
CN111915718B (zh) 适用于船岸lng装卸臂的自动对接系统
CN114166846B (zh) 一种钢铁行业冷轧卷断面条码及缺陷检测装置
CN112093082B (zh) 高轨卫星抓捕机构的在轨抓捕导引方法和装置
CN105445744A (zh) 一种线激光目标探测系统和目标探测方法
KR102444885B1 (ko) 엣지 컴퓨팅 기반의 헤드라이트 검사 장치 및 방법
CN114217641A (zh) 一种非结构环境下无人机送变电设备巡检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201030

Assignee: JARI AUTOMATION Co.,Ltd. CHINA

Assignor: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp.

Contract record no.: X2020980007928

Denomination of invention: Recognition, positioning and attitude determination system based on vision sensor

License type: Exclusive License

Record date: 20201116

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province

Patentee after: The 716th Research Institute of China Shipbuilding Corporation

Address before: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province

Patentee before: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp.