CN112010024A - 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 - Google Patents

一种基于激光和视觉融合检测的货箱自动抓取方法及系统 Download PDF

Info

Publication number
CN112010024A
CN112010024A CN202010848263.3A CN202010848263A CN112010024A CN 112010024 A CN112010024 A CN 112010024A CN 202010848263 A CN202010848263 A CN 202010848263A CN 112010024 A CN112010024 A CN 112010024A
Authority
CN
China
Prior art keywords
target container
gripping apparatus
information
distance
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010848263.3A
Other languages
English (en)
Other versions
CN112010024B (zh
Inventor
陈宛奇
单梁
刘文倩
高业林
黄成�
王力立
李军
张永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010848263.3A priority Critical patent/CN112010024B/zh
Publication of CN112010024A publication Critical patent/CN112010024A/zh
Application granted granted Critical
Publication of CN112010024B publication Critical patent/CN112010024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B65G2201/0258—Trays, totes or bins
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/042—Sensors
    • B65G2203/044—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于激光和视觉融合检测的货箱自动抓取方法及系统，包括：步骤1，激光扫描测距目标识别及获取相对位置信息；步骤2，路径规划并改变抓具位姿；步骤3，激光扫描测距采集抓具与目标货箱之间的距离信息；步骤4，实时将得到的位置信息与目标位置进行比较，若有偏差，信息处理与控制单元则根据偏差进行路径规划，控制执行机构改变抓具的位置，最终使抓具移动到能够成功抓取目标货箱的位置上。本发明实现了货箱抓取过程的自动化，能够提高工业生产中一些抓取工作的效率以及准确率。

Description

一种基于激光和视觉融合检测的货箱自动抓取方法及系统
技术领域
本发明涉及工业自动化领域，特别是一种基于激光和视觉融合检测的货箱自动抓取方法及系统。
背景技术
随着自动控制技术的发展，解放劳动力让机械尽可能地代替人类劳动，成为当今社会发展的主要趋势。在工业生产中经常需要对货箱进行搬运，若是使用人力的方式来完成此类任务，尤其在搬运比较重的目标时，十分容易出现安全事故。应用机械手可以代替人从事单调、重复或繁重的体力劳动，实现生产的机械化和自动化，代替人在有害环境下的手工操作，改善劳动条件，保证人身安全。
目前市面上已经存在不少的货箱自动抓取方案，但是这些方案仍然存在一些不成熟的地方，例如精度不足。本发明在硬件成本较低的情况下，能够实现较为精准的货箱自动抓取。
本发明主要通过激光扫描测距传感器、视觉图像处理的检测定位实现目标货物的高精度定位，运用大功率机械臂完成货物的搬运工作。将大大缩减目标货物的搬运时间，大幅度提高搬运过程的自动化程度。
基于视觉图像处理和激光扫描测距传感器，采集位置信息数据，确定机械末端抓具和目标物体的位置状态，实现高精度定位，使机械手能够完成自动搬运的工作。激光扫描测距传感器处理算法主要用于较远距离的数据采集和检测定位；视觉图像处理算法用于当机械手末端抓具距离目标物体较近时，实现精确定位。利用外部传感器的辅助进行机械手的物体定位，应运用何种算法以提高视频图像处理的精度和速度，提高多传感器信息提高机器人在动态环境下定位的准确性和可靠性，是我们需要解决的问题。
发明内容
本发明的目的在于提供一种能够对货箱进行自动抓取、减少人力劳动并提高生产效率的基于激光和视觉融合检测的货箱自动抓取方法及系统。
实现本发明目的的技术解决方案为：
本发明公开了一种基于激光和视觉融合检测的货箱自动抓取的方法，包括：
步骤1，激光扫描测距目标识别及获取相对位置信息
首先采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，之后采集抓具与目标货箱之间的相对位置信息；
步骤2，路径规划并改变抓具位姿
根据相对位置信息进行一次路径规划，控制执行机构改变抓具的位姿，最终使抓具移动到目标货箱正前方固定距离处；
步骤3，激光扫描测距采集抓具与目标货箱之间的距离信息
当抓具移动到目标货箱正前方固定距离后，视觉定位单元采集抓具与目标货箱之间的偏移量和距离信息，同时，激光扫描测距单元采集抓具与目标货箱之间的距离信息；
步骤4，视觉定位单元传输过来的偏移量和距离信息、激光扫描测距单元传输过来的距离信息，若视觉定位单元前后两次传输过来的距离信息差低于阈值，则将视觉定位单元传输过来的偏移量和距离信息转换为抓具与目标货箱之间的相对位置信息，若距离信息差超过阈值，则用激光扫描测距单元传输过来的距离信息代替视觉定位单元传输过来的距离信息与偏移量信息结合，转换为抓具与目标货箱之间的相对位置信息，实时将得到的位置信息与目标位置进行比较，若有偏差，信息处理与控制单元则根据偏差进行路径规划，控制执行机构改变抓具的位置，最终使抓具移动到能够成功抓取目标货箱的位置上。
还包括步骤5，抓具移动到能够成功抓取目标货箱的位置后，收紧卡爪，对抓具再次进行位姿变换将货箱带离作业平面，实现抓取任务。
优选的，步骤1.1、一个MRS60003D激光传感器位于机械臂末端关节处，激光向货箱方向发射，工作区域包含目标货箱；
步骤1.2、MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集视野中n个货箱上前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而分别得到n个货箱前表面矩形的长lia、宽lib，与预设的参数la、lb进行对比，偏差不超过误差允许范围的n＝i号货箱即为目标货箱；
Figure BDA0002643824090000021
Figure BDA0002643824090000031
步骤1.3、计算目标货箱前表面左上角点(xi1,yi1,zi1)、右下角点(xi4,yi4,zi4)坐标信息的平均值
Figure BDA0002643824090000032
得到目标货箱前表面中心点在以传感器为原点的坐标系中的坐标(x0,y0,z0)，即为抓具与目标货箱之间的相对位置信息，送入STM32F103嵌入式控制器。
优选的，步骤2.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小：
步骤2.1.1、采用标准D-H法建立连杆坐标系；
步骤2.1.2、由机械臂D-H参数可以得到连杆坐标系{j}相对于坐标系{j-1}的变换矩阵
Figure BDA0002643824090000033
其中dj为沿zj轴从xj-1移动到xj的测量距离，aj为沿xj轴从zj移动到zj-1的测量距离，αj为绕xj轴从zj旋转到zj-1的角度，θj为绕zj轴从xj-1旋转到xj的角度；
Figure BDA0002643824090000034
j＝1，
Figure BDA0002643824090000035
j＝2，
Figure BDA0002643824090000036
j＝3，
Figure BDA0002643824090000041
j＝4，
Figure BDA0002643824090000042
j＝5，
Figure BDA0002643824090000043
步骤2.1.3、将连杆变换矩阵相乘，得到
Figure BDA0002643824090000044
步骤2.1.4、已知
Figure BDA0002643824090000045
求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5，其中
Figure BDA0002643824090000046
为轴o5x5、o5y5、o5z5在大地坐标系oxyz下的方向余弦，反应末端坐标系o5x5y5z5的姿态，(px,py,pz)为点o5在大地坐标系oxyz下的绝对坐标；
步骤2.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure BDA0002643824090000047
a0、a1、a2、a3为待求解的变量，θ0、θf分别表示起始点和目标点的关节角，根据θ(t0)＝θ0、θ(tf)＝θf、
Figure BDA0002643824090000048
Figure BDA0002643824090000049
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure BDA00026438240900000410
步骤2.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure BDA00026438240900000411
Figure BDA00026438240900000412
PID算法的表达式为
Figure BDA00026438240900000413
传递函数
Figure BDA00026438240900000414
其中u(t)为PID控制输出，kpe(t)为比例控制项，kp表示比例系数，
Figure BDA00026438240900000415
为积分控制项，Ti表示积分时间常数，
Figure BDA00026438240900000416
为微分控制项，TD表示微分时间常数。
优选的，步骤3.1、将一个ATK-OV7725摄像头安装在机械臂末端关节处，使抓具到达目标货箱正前方固定距离处时，目标货箱前表面上的定位十字在摄像头视野范围之内且正对摄像头；
步骤3.2、ATK-OV7725摄像头拍摄图像并将其传输至数据处理模块，利用opencv库中的算法将图像转换为灰度图像、滤波降噪、转换为二值图像、canny算子边缘检测、寻找轮廓、计算轮廓面积S及中心点坐标(x0,y0)，抓具与目标货箱之间的距离zs与轮廓面积S存在函数关系zs＝f(S)，zs随S的增大而减小，根据轮廓面积S得到抓具与目标货箱之间的距离zs，轮廓中心点坐标(x0,y0)是以到达目标位置时定位十字在摄像头视野中的位置为原点的平面直角坐标系中的坐标，因此(x0,y0)即为抓具与目标货箱之间的偏移量信息；
步骤3.3、同时，MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集目标货箱前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而得到抓具与目标货箱之间的距离信息
Figure BDA0002643824090000051
将视觉定位单元采集的偏移量(x0,y0)和距离信息zs、激光扫描测距单元采集的距离信息z0送入STM32F103嵌入式控制器。
优选的，步骤4.1、STM32F103嵌入式控制器接收视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs、激光扫描测距单元传输过来的距离信息z0后，比较视觉定位单元本次传输过来的距离信息zs(k)与上一次传输过来的距离信息zs(k-1)，若差值|zs(k)-zs(k-1)|小于设定的较小常数C，则将视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs转换为目标货箱前表面中心点在以MRS60003D激光传感器为原点的直角坐标系中的坐标(x0,y0,zs)，即抓具与目标货箱之间的相对位置信息；
步骤4.2、若偏差不在误差允许范围内，即|zs(k)-zs(k-1)|≥C时，则将视觉定位单元传输过来的偏移量信息(x0,y0)和激光扫描测距单元传输过来的距离信息z0转换为目标货箱前表面中心点在以ATK-OV7725摄像头为原点的坐标系中的坐标(x0,y0,z0)，即抓具与目标货箱之间的相对位置信息；
步骤4.3、若相对位置信息的偏差不在误差允许范围内，控制器会根据偏差进行路径规划，控制执行机构使抓具移动，直至偏差在误差允许范围内即抓具移动到了能够成功抓取目标货箱的位置上，具体如下：
步骤4.3.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小；
Figure BDA0002643824090000061
步骤4.3.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure BDA0002643824090000062
根据θ(t0)＝θ0、θ(tf)＝θf、
Figure BDA0002643824090000063
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure BDA0002643824090000064
步骤4.3.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure BDA0002643824090000065
Figure BDA0002643824090000066
PID算法的表达式为
Figure BDA0002643824090000067
传递函数
Figure BDA0002643824090000068
本发明公开了一种基于激光和视觉融合检测的货箱自动抓取系统，包括激光扫描测距单元、视觉定位单元、信息处理与控制单元和执行单元，其中：
所述激光扫描测距单元，用于采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，采集抓具与目标货箱之间的相对位置信息，并将采集的数据传输至信息处理与控制单元；所述激光扫描测距单元为安装在机械臂末端关节处的MRS60003D激光传感器、数据处理模块以及数据传输模块；所述MRS60003D激光传感器用于采集视野中各个货箱前表面四个角点在以传感器为原点的坐标系中的坐标信息；所述数据处理模块用于计算各个货箱前表面外形参数，与预设参数进行对比识别出目标货箱，并通过计算得出抓具与目标货箱之间的相对位置信息；所述数据传输模块将得到的相对位置信息发送到信息处理与控制单元；
所述视觉定位单元，用于当抓具移动到目标货箱正前方固定距离后，采集抓具与目标货箱之间的偏移量和距离信息，并将采集的数据传输至信息处理与控制单元；所述视觉定位单元为安装在机械臂末端关节处的ATK-OV7725摄像头、数据处理模块以及数据传输模块；所述ATK-OV7725摄像头用于采集图像信息；所述数据处理模块用于将摄像头采集到的图像信息转化为抓具与目标货箱之间的偏移量和距离信息；所述数据传输模块将得到的偏移量和距离信息发送到信息处理与控制单元；
所述信息处理与控制单元，首先用于接收激光扫描测距单元和视觉定位单元采集的数据进行处理并分析，得到各个时刻抓具与目标货箱之间的相对位置信息，根据相对位置信息进行路径规划，并发送相应的控制信号到执行单元；所述信息处理与控制单元为STM32F103嵌入式控制器；所述STM32F103嵌入式控制器用于通过数据传输模块接收激光扫描测距单元采集到的相对位置信息，对其进行处理并分析，并根据其进行路径规划，控制执行单元将抓具运动到目标货箱正前方固定距离，之后同时接收视觉定位单元采集到的偏移量和距离信息和激光扫描测距单元采集到的距离信息，对其进行处理并分析，实时进行路径规划，控制执行单元将抓具运动到能够成功抓取目标货箱的位置上；
所述执行单元，用于控制抓具的位置与姿态，实现抓取目标货箱的任务；所述执行单元主要包括底座、大臂、小臂、旋转关节以及抓具；所述底座用于支撑大臂、小臂、旋转关节以及抓具；所述大臂用于实现抓具较大范围较长距离的空间位置转移；所述小臂用于实现抓具较小范围较短距离的位置调整；所述旋转关节用于调整抓具在俯仰方向的姿态，使抓具与目标货箱上表面保持平行；所述抓具用于在适合抓取目标货箱的位置，收紧抓具上的卡爪，实现目标货箱的抓取。
优选的，一个3D激光传感器和一个摄像头分别安装在抓具的末端，3D激光传感器型号为MRS6000多层测距传感器，其利用激光束对周围环境的轮廓进行非接触式扫描，以二维极坐标测量周围环境；摄像头型号为ATK-OV7725；3D激光传感器采集的相对位置信息和摄像头采集的偏移量和距离信息通过数据接口送到嵌入式控制器，使用STM32F103作为主控制器。
本发明与现有技术相比，其显著优点在于：(1)精度高。激光扫描测距传感器有很高的精度，可以再一米以外实现目标物体的准确定位；而在近距离时视觉定位单元可以实现目标货物的高精度定位。(2)工艺简单。机械部分仅由机械手，摄像头，激光扫描测距传感器组成，加工安装方便。(3)实时快速，可靠性高。因为在远距离时采用激光扫描测距传感器，MRS6000可以为每个发射的测量光束评估多达四个回波信号，即使在不利的环境下也能提供可靠的测量结果。
附图说明
图1是本发明系统的结构示意图；
图2是本发明3D激光传感器和摄像头的安装示意图；
图3是本发明方法的流程图；
图4是本发明的模块结构图；
图5是本发明方法步骤2的流程图；
图6是本发明方法的连杆坐标系示意图；
图7是本发明方法的PID算法流程图；
图8是本发明方法的图像处理算法流程图；
图9是本发明的图像处理仿真图；
图10是本发明方法步骤4的流程图。
图中标号：1、底座；2、大臂；3、小臂；4、旋转关节；5、抓具；6、ATK-OV7725摄像头；7、MRS60003D激光传感器。
具体实施方式
结合图1、图2、图3，本发明一种基于激光和视觉融合检测的货箱自动抓取方法及系统，包括激光扫描测距单元、视觉定位单元、信息处理与控制单元和执行单元，其中：
所述激光扫描测距单元，用于采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，采集抓具与目标货箱之间的相对位置信息，并将采集的数据传输至信息处理与控制单元；所述激光扫描测距单元为安装在机械臂末端关节处的MRS60003D激光传感器、数据处理模块以及数据传输模块；所述MRS60003D激光传感器用于采集视野中各个货箱前表面四个角点在以传感器为原点的坐标系中的坐标信息；所述数据处理模块用于计算各个货箱前表面外形参数，与预设参数进行对比识别出目标货箱，并通过计算得出抓具与目标货箱之间的相对位置信息；所述数据传输模块将得到的相对位置信息发送到信息处理与控制单元。
所述视觉定位单元，用于当抓具移动到目标货箱正前方固定距离后，采集抓具与目标货箱之间的偏移量和距离信息，并将采集的数据传输至信息处理与控制单元；所述视觉定位单元为安装在机械臂末端关节处的ATK-OV7725摄像头、数据处理模块以及数据传输模块；所述ATK-OV7725摄像头用于采集图像信息；所述数据处理模块用于将摄像头采集到的图像信息转化为抓具与目标货箱之间的偏移量和距离信息；所述数据传输模块将得到的偏移量和距离信息发送到信息处理与控制单元。
所述信息处理与控制单元，首先用于接收激光扫描测距单元和视觉定位单元采集的数据进行处理并分析，得到各个时刻抓具与目标货箱之间的相对位置信息，根据相对位置信息进行路径规划，并发送相应的控制信号到执行单元；所述信息处理与控制单元为STM32F103嵌入式控制器；所述STM32F103嵌入式控制器用于通过数据传输模块接收激光扫描测距单元采集到的相对位置信息，对其进行处理并分析，并根据其进行路径规划，控制执行单元将抓具运动到目标货箱正前方固定距离，之后同时接收视觉定位单元采集到的偏移量和距离信息和激光扫描测距单元采集到的距离信息，对其进行处理并分析，实时进行路径规划，控制执行单元将抓具运动到能够成功抓取目标货箱的位置上。
所述执行单元，用于控制抓具的位置与姿态，实现抓取目标货箱的任务。所述执行单元主要包括底座1、大臂2、小臂3、旋转关节4以及抓具5；所述底座用于支撑大臂、小臂、旋转关节以及抓具；所述大臂用于实现抓具较大范围较长距离的空间位置转移；所述小臂用于实现抓具较小范围较短距离的位置调整；所述旋转关节用于调整抓具在俯仰方向的姿态，使抓具与目标货箱上表面保持平行；所述抓具用于在适合抓取目标货箱的位置，收紧抓具上的卡爪，实现目标货箱的抓取。
结合图2，本实例中，一个3D激光传感器和一个摄像头分别安装在抓具的末端(如图2所示位置处)，3D激光传感器型号为MRS6000多层测距传感器，其利用激光束对周围环境的轮廓进行非接触式扫描，以二维极坐标测量周围环境。该传感器的测量距离范围0.5m～200m，开启角度水平120°、垂直15°，角度分辨率水平0.13°、垂直0.625°，为扫描区域提供精细的测量点网络。MRS60003D激光传感器最多可以为每个测量光束评估四个回波信号，即使在恶劣的环境条件下也能提供可靠的测量结果。摄像头型号为ATK-OV7725，分辨率为640*480，输出速率为60帧；输出缓存为384kB。另外其使用的3.6mm镜头，带有红外滤光片，可以滤除杂光，纠正色偏，使色彩更鲜艳。
3D激光传感器采集的相对位置信息和摄像头采集的偏移量和距离信息通过数据接口送到嵌入式控制器，本实例中使用STM32F103作为主控制器。STM32F系列属于中低端的32位ARM微控制器，该系列芯片是意法半导体(ST)公司出品，其内核是Cortex-M3。由于其成本低廉且性能优良，被广泛应用于嵌入式控制领域。
结合图1，一种基于激光和视觉融合检测的货箱自动抓取方法及系统，包括以下步骤：
步骤1，激光扫描测距单元首先采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，之后采集抓具与目标货箱之间的相对位置信息，并将采集的数据传输至信息处理与控制单元，具体如下：
步骤1.1、将一个MRS60003D激光传感器安装在机械臂末端关节处，激光向货箱方向发射，工作区域水平120°垂直15°包含目标货箱；
步骤1.2、MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集视野中n个货箱上前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而分别得到n个货箱前表面矩形的长lia、宽lib，与预设的参数la、lb进行对比，偏差不超过误差允许范围的n＝i号货箱即为目标货箱；
Figure BDA0002643824090000101
Figure BDA0002643824090000102
步骤1.3、计算目标货箱前表面左上角点(xi1,yi1,zi1)、右下角点(xi4,yi4,zi4)坐标信息的平均值
Figure BDA0002643824090000103
得到目标货箱前表面中心点在以传感器为原点的坐标系中的坐标(x0,y0,z0)，即为抓具与目标货箱之间的相对位置信息，送入STM32F103嵌入式控制器。
步骤2，信息处理与控制单元接收激光扫描测距单元传输过来的抓具与目标货箱之间的相对位置信息，根据相对位置信息进行一次路径规划，控制执行机构改变抓具的位姿，最终使抓具移动到目标货箱正前方固定距离处，如图5所示，具体为：
步骤2.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小，如图6所示，具体如下：
步骤2.1.1、采用标准D-H法建立连杆坐标系，如上图所示，得到机械臂连杆参数表；
连杆 theta d a alpha offset
L1 0 95.5 -10 π/2 π/2
L2 0 0 104 π 0
L3 0 0 88.4 0 -π/2
L4 0 0 0 π/2 0
L5 0 170.4 0 0 π
步骤2.1.2、由机械臂D-H参数可以得到连杆坐标系{j}相对于坐标系{j-1}的变换矩阵
Figure BDA0002643824090000111
Figure BDA0002643824090000112
Figure BDA0002643824090000113
Figure BDA0002643824090000114
Figure BDA0002643824090000121
步骤2.1.3、将连杆变换矩阵相乘，得到
Figure BDA0002643824090000122
步骤2.1.4、已知
Figure BDA0002643824090000123
求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5；
步骤2.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure BDA0002643824090000124
根据θ(t0)＝θ0、θ(tf)＝θf、
Figure BDA0002643824090000125
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure BDA0002643824090000126
如图7所示，步骤2.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure BDA0002643824090000127
Figure BDA0002643824090000128
PID算法的表达式为
Figure BDA0002643824090000129
传递函数
Figure BDA00026438240900001210
步骤3，当抓具移动到目标货箱正前方固定距离后，视觉定位单元采集抓具与目标货箱之间的偏移量和距离信息，同时，激光扫描测距单元采集抓具与目标货箱之间的距离信息，并将采集的数据传输至信息处理与控制单元，具体如下：
步骤3.1、将一个ATK-OV7725摄像头安装在机械臂末端关节处，使抓具到达目标货箱正前方固定距离处时，目标货箱前表面上的定位十字在摄像头视野范围之内且正对摄像头；
如图8所示，步骤3.2、ATK-OV7725摄像头拍摄图像并将其传输至数据处理模块，利用opencv库中的算法将图像转换为灰度图像、滤波降噪、转换为二值图像、canny算子边缘检测、寻找轮廓、计算轮廓面积S及中心点坐标(x0,y0)，抓具与目标货箱之间的距离zs与轮廓面积S存在函数关系zs＝f(S)，zs随S的增大而减小，根据轮廓面积S得到抓具与目标货箱之间的距离zs，如图9所示，轮廓中心点坐标(x0,y0)是以到达目标位置时定位十字在摄像头视野中的位置为原点的平面直角坐标系中的坐标，因此(x0,y0)即为抓具与目标货箱之间的偏移量信息；
步骤3.3、同时，MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集目标货箱前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而得到抓具与目标货箱之间的距离信息
Figure BDA0002643824090000131
将视觉定位单元采集的偏移量(x0,y0)和距离信息zs、激光扫描测距单元采集的距离信息z0送入STM32F103嵌入式控制器。
步骤4，信息处理与控制单元接收视觉定位单元传输过来的偏移量和距离信息、激光扫描测距单元传输过来的距离信息，若视觉定位单元前后两次传输过来的距离信息相差不大，则将视觉定位单元传输过来的偏移量和距离信息转换为抓具与目标货箱之间的相对位置信息，若相差过大，则用激光扫描测距单元传输过来的距离信息代替视觉定位单元传输过来的距离信息与偏移量信息结合，转换为抓具与目标货箱之间的相对位置信息，实时将得到的位置信息与目标位置进行比较，若有偏差，信息处理与控制单元则根据偏差进行路径规划，控制执行机构改变抓具的位置，最终使抓具移动到能够成功抓取目标货箱的位置上，具体如下：
步骤4.1、STM32F103嵌入式控制器接收视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs、激光扫描测距单元传输过来的距离信息z0后，比较视觉定位单元本次传输过来的距离信息zs(k)与上一次传输过来的距离信息zs(k-1)，若差值|zs(k)-zs(k-1)|小于设定的较小常数C，则将视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs转换为目标货箱前表面中心点在以MRS60003D激光传感器为原点的直角坐标系中的坐标(x0,y0,zs)，即抓具与目标货箱之间的相对位置信息；
步骤4.2、若偏差不在误差允许范围内，即|zs(k)-zs(k-1)|≥C时，则将视觉定位单元传输过来的偏移量信息(x0,y0)和激光扫描测距单元传输过来的距离信息z0转换为目标货箱前表面中心点在以ATK-OV7725摄像头为原点的坐标系中的坐标(x0,y0,z0)，即抓具与目标货箱之间的相对位置信息；
步骤4.3、若相对位置信息的偏差不在误差允许范围内，控制器会根据偏差进行路径规划，控制执行机构使抓具移动，直至偏差在误差允许范围内即抓具移动到了能够成功抓取目标货箱的位置上，具体如下：
步骤4.3.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小；
Figure BDA0002643824090000141
步骤4.3.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure BDA0002643824090000142
根据θ(t0)＝θ0、θ(tf)＝θf、
Figure BDA0002643824090000143
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure BDA0002643824090000144
步骤4.3.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure BDA0002643824090000145
Figure BDA0002643824090000146
PID算法的表达式为
Figure BDA0002643824090000147
传递函数
Figure BDA0002643824090000148
如图10，步骤5，抓具移动到能够成功抓取目标货箱的位置后，收紧卡爪，对抓具再次进行位姿变换将货箱带离作业平面，实现抓取任务。

Claims (8)

1.一种基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于包括：
步骤1，激光扫描测距目标识别及获取相对位置信息
首先采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，之后采集抓具与目标货箱之间的相对位置信息；
步骤2，路径规划并改变抓具位姿
根据相对位置信息进行一次路径规划，控制执行机构改变抓具的位姿，最终使抓具移动到目标货箱正前方固定距离处；
步骤3，激光扫描测距采集抓具与目标货箱之间的距离信息
当抓具移动到目标货箱正前方固定距离后，视觉定位单元采集抓具与目标货箱之间的偏移量和距离信息，同时，激光扫描测距单元采集抓具与目标货箱之间的距离信息；
步骤4，视觉定位单元传输过来的偏移量和距离信息、激光扫描测距单元传输过来的距离信息，若视觉定位单元前后两次传输过来的距离信息差低于阈值，则将视觉定位单元传输过来的偏移量和距离信息转换为抓具与目标货箱之间的相对位置信息，若距离信息差超过阈值，则用激光扫描测距单元传输过来的距离信息代替视觉定位单元传输过来的距离信息与偏移量信息结合，转换为抓具与目标货箱之间的相对位置信息，实时将得到的位置信息与目标位置进行比较，若有偏差，信息处理与控制单元则根据偏差进行路径规划，控制执行机构改变抓具的位置，最终使抓具移动到能够成功抓取目标货箱的位置上。
2.根据权利要求1所述的基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于：还包括步骤5，抓具移动到能够成功抓取目标货箱的位置后，收紧卡爪，对抓具再次进行位姿变换将货箱带离作业平面，实现抓取任务。
3.根据权利要求1所述的基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于：步骤1.1、一个MRS60003D激光传感器位于机械臂末端关节处，激光向货箱方向发射，工作区域包含目标货箱；
步骤1.2、MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集视野中n个货箱上前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而分别得到n个货箱前表面矩形的长lia、宽lib，与预设的参数la、lb进行对比，偏差不超过误差允许范围的n＝i号货箱即为目标货箱；
Figure FDA0002643824080000021
Figure FDA0002643824080000022
步骤1.3、计算目标货箱前表面左上角点(xi1,yi1,zi1)、右下角点(xi4,yi4,zi4)坐标信息的平均值
Figure FDA0002643824080000023
得到目标货箱前表面中心点在以传感器为原点的坐标系中的坐标(x0,y0,z0)，即为抓具与目标货箱之间的相对位置信息，送入STM32F103嵌入式控制器。
4.根据权利要求3所述的基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于：步骤2.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小：
步骤2.1.1、采用标准D-H法建立连杆坐标系；
步骤2.1.2、由机械臂D-H参数可以得到连杆坐标系{j}相对于坐标系{j-1}的变换矩阵
Figure FDA0002643824080000024
其中dj为沿zj轴从xj-1移动到xj的测量距离，aj为沿xj轴从zj移动到zj-1的测量距离，αj为绕xj轴从zj旋转到zj-1的角度，θj为绕zj轴从xj-1旋转到xj的角度；
Figure FDA0002643824080000025
j＝1，
Figure FDA0002643824080000031
j＝2，
Figure FDA0002643824080000032
j＝3，
Figure FDA0002643824080000033
j＝4，
Figure FDA0002643824080000034
步骤2.1.3、将连杆变换矩阵相乘，得到
Figure FDA0002643824080000035
步骤2.1.4、已知
Figure FDA0002643824080000036
求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5，其中
Figure FDA0002643824080000037
为轴o5x5、o5y5、o5z5在大地坐标系oxyz下的方向余弦，反应末端坐标系o5x5y5z5的姿态，(px,py,pz)为点o5在大地坐标系oxyz下的绝对坐标；
步骤2.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure FDA0002643824080000038
a0、a1、a2、a3为待求解的变量，θ0、θf分别表示起始点和目标点的关节角，根据θ(t0)＝θ0、θ(tf)＝θf、
Figure FDA0002643824080000039
Figure FDA00026438240800000310
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure FDA00026438240800000311
步骤2.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure FDA00026438240800000312
Figure FDA0002643824080000041
PID算法的表达式为
Figure FDA0002643824080000042
传递函数
Figure FDA0002643824080000043
其中u(t)为PID控制输出，kpe(t)为比例控制项，kp表示比例系数，
Figure FDA0002643824080000044
为积分控制项，Ti表示积分时间常数，
Figure FDA0002643824080000045
为微分控制项，TD表示微分时间常数。
5.根据权利要求4所述的基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于：步骤3.1、将一个ATK-OV7725摄像头安装在机械臂末端关节处，使抓具到达目标货箱正前方固定距离处时，目标货箱前表面上的定位十字在摄像头视野范围之内且正对摄像头；
步骤3.2、ATK-OV7725摄像头拍摄图像并将其传输至数据处理模块，利用opencv库中的算法将图像转换为灰度图像、滤波降噪、转换为二值图像、canny算子边缘检测、寻找轮廓、计算轮廓面积S及中心点坐标(x0,y0)，抓具与目标货箱之间的距离zs与轮廓面积S存在函数关系zs＝f(S)，zs随S的增大而减小，根据轮廓面积S得到抓具与目标货箱之间的距离zs，轮廓中心点坐标(x0,y0)是以到达目标位置时定位十字在摄像头视野中的位置为原点的平面直角坐标系中的坐标，因此(x0,y0)即为抓具与目标货箱之间的偏移量信息；
步骤3.3、同时，MRS60003D激光传感器向目标货箱方向发射激光，根据回波采集目标货箱前表面左上角点、左下角点、右上角点、右下角点在以传感器为原点的坐标系中的坐标信息(xi1,yi1,zi1)、(xi2,yi2,zi2)、(xi3,yi3,zi3)、(xi4,yi4,zi4)，从而得到抓具与目标货箱之间的距离信息
Figure FDA0002643824080000046
将视觉定位单元采集的偏移量(x0,y0)和距离信息zs、激光扫描测距单元采集的距离信息z0送入STM32F103嵌入式控制器。
6.根据权利要求5所述的基于激光和视觉融合检测的货箱自动抓取的方法，其特征在于：步骤4.1、STM32F103嵌入式控制器接收视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs、激光扫描测距单元传输过来的距离信息z0后，比较视觉定位单元本次传输过来的距离信息zs(k)与上一次传输过来的距离信息zs(k-1)，若差值|zs(k)-zs(k-1)|小于设定的较小常数C，则将视觉定位单元传输过来的偏移量(x0,y0)和距离信息zs转换为目标货箱前表面中心点在以MRS60003D激光传感器为原点的直角坐标系中的坐标(x0,y0,zs)，即抓具与目标货箱之间的相对位置信息；
步骤4.2、若偏差不在误差允许范围内，即|zs(k)-zs(k-1)|≥C时，则将视觉定位单元传输过来的偏移量信息(x0,y0)和激光扫描测距单元传输过来的距离信息z0转换为目标货箱前表面中心点在以ATK-OV7725摄像头为原点的坐标系中的坐标(x0,y0,z0)，即抓具与目标货箱之间的相对位置信息；
步骤4.3、若相对位置信息的偏差不在误差允许范围内，控制器会根据偏差进行路径规划，控制执行机构使抓具移动，直至偏差在误差允许范围内即抓具移动到了能够成功抓取目标货箱的位置上，具体如下：
步骤4.3.1、机械臂正逆运动学分析，根据机械臂已知的连杆参数、机械臂抓具与目标货箱之间的相对位置信息(x0,y0,z0)，求解机械臂各个关节变量θ1、θ2、θ3、θ4、θ5的大小；
Figure FDA0002643824080000051
步骤4.3.2、运用三次多项式插值算法进行路径规划，令t时刻位置θ(t)为三次多项式θ(t)＝a0+a1t+a2t2+a3t3，速度
Figure FDA0002643824080000052
根据θ(t0)＝θ0、θ(tf)＝θf、
Figure FDA0002643824080000053
计算出a0、a1、a2、a3，已知机械臂关节变量θ1、θ2、θ3、θ4、θ5，可求得各个关节在t时刻的速度
Figure FDA0002643824080000054
步骤4.3.3、运用PID算法控制机械臂各个关节在t时刻的速度为
Figure FDA0002643824080000055
Figure FDA0002643824080000056
PID算法的表达式为
Figure FDA0002643824080000057
传递函数
Figure FDA0002643824080000061
7.一种使用如权利要求1-6任一所述的方法的系统，其特征在于：包括激光扫描测距单元、视觉定位单元、信息处理与控制单元和执行单元，其中：
所述激光扫描测距单元，用于采集视野中各个货箱前表面的外形参数，并将其与预设参数对比从而识别出目标货箱，采集抓具与目标货箱之间的相对位置信息，并将采集的数据传输至信息处理与控制单元；所述激光扫描测距单元为安装在机械臂末端关节处的MRS60003D激光传感器、数据处理模块以及数据传输模块；所述MRS60003D激光传感器用于采集视野中各个货箱前表面四个角点在以传感器为原点的坐标系中的坐标信息；所述数据处理模块用于计算各个货箱前表面外形参数，与预设参数进行对比识别出目标货箱，并通过计算得出抓具与目标货箱之间的相对位置信息；所述数据传输模块将得到的相对位置信息发送到信息处理与控制单元；
所述视觉定位单元，用于当抓具移动到目标货箱正前方固定距离后，采集抓具与目标货箱之间的偏移量和距离信息，并将采集的数据传输至信息处理与控制单元；所述视觉定位单元为安装在机械臂末端关节处的ATK-OV7725摄像头、数据处理模块以及数据传输模块；所述ATK-OV7725摄像头用于采集图像信息；所述数据处理模块用于将摄像头采集到的图像信息转化为抓具与目标货箱之间的偏移量和距离信息；所述数据传输模块将得到的偏移量和距离信息发送到信息处理与控制单元；
所述信息处理与控制单元，首先用于接收激光扫描测距单元和视觉定位单元采集的数据进行处理并分析，得到各个时刻抓具与目标货箱之间的相对位置信息，根据相对位置信息进行路径规划，并发送相应的控制信号到执行单元；所述信息处理与控制单元为STM32F103嵌入式控制器；所述STM32F103嵌入式控制器用于通过数据传输模块接收激光扫描测距单元采集到的相对位置信息，对其进行处理并分析，并根据其进行路径规划，控制执行单元将抓具运动到目标货箱正前方固定距离，之后同时接收视觉定位单元采集到的偏移量和距离信息和激光扫描测距单元采集到的距离信息，对其进行处理并分析，实时进行路径规划，控制执行单元将抓具运动到能够成功抓取目标货箱的位置上；
所述执行单元，用于控制抓具的位置与姿态，实现抓取目标货箱的任务；所述执行单元主要包括底座、大臂、小臂、旋转关节以及抓具；所述底座用于支撑大臂、小臂、旋转关节以及抓具；所述大臂用于实现抓具较大范围较长距离的空间位置转移；所述小臂用于实现抓具较小范围较短距离的位置调整；所述旋转关节用于调整抓具在俯仰方向的姿态，使抓具与目标货箱上表面保持平行；所述抓具用于在适合抓取目标货箱的位置，收紧抓具上的卡爪，实现目标货箱的抓取。
8.根据权利要求1所述的系统，其特征在于：一个3D激光传感器和一个摄像头分别安装在抓具的末端，3D激光传感器型号为MRS6000多层测距传感器，其利用激光束对周围环境的轮廓进行非接触式扫描，以二维极坐标测量周围环境；摄像头型号为ATK-OV7725；3D激光传感器采集的相对位置信息和摄像头采集的偏移量和距离信息通过数据接口送到嵌入式控制器，使用STM32F103作为主控制器。
CN202010848263.3A 2020-08-21 2020-08-21 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 Active CN112010024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848263.3A CN112010024B (zh) 2020-08-21 2020-08-21 一种基于激光和视觉融合检测的货箱自动抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848263.3A CN112010024B (zh) 2020-08-21 2020-08-21 一种基于激光和视觉融合检测的货箱自动抓取方法及系统

Publications (2)

Publication Number Publication Date
CN112010024A true CN112010024A (zh) 2020-12-01
CN112010024B CN112010024B (zh) 2021-09-28

Family

ID=73505431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848263.3A Active CN112010024B (zh) 2020-08-21 2020-08-21 一种基于激光和视觉融合检测的货箱自动抓取方法及系统

Country Status (1)

Country Link
CN (1) CN112010024B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001550A (zh) * 2021-03-17 2021-06-22 广东便捷神科技股份有限公司 一种基于智能无人售货机械臂的控制方法
CN113268089A (zh) * 2021-04-08 2021-08-17 成都立航科技股份有限公司 一种挂装车外挂物位姿调整方法
CN113460851A (zh) * 2021-06-02 2021-10-01 天津大学 基于单目视觉和激光的管片自动抓取和运输系统和方法
CN113635304A (zh) * 2021-08-16 2021-11-12 北京工业大学 机器人辅助激光实时探测加工或蚀除一体化装置和方法
CN114396160A (zh) * 2022-01-21 2022-04-26 武汉博雅宏科技有限公司 一种混凝土布料机及其控制方法
CN114620481A (zh) * 2022-04-21 2022-06-14 安徽巨一科技股份有限公司 一种多车型柔性无级自适应切换搬运装置及其控制方法
CN118145318A (zh) * 2024-05-13 2024-06-07 心之力智能科技(常州)有限公司 基于机器视觉技术的机器人自动上下料系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108214487A (zh) * 2017-12-16 2018-06-29 广西电网有限责任公司电力科学研究院 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN109648555A (zh) * 2018-12-18 2019-04-19 湖北航天技术研究院总体设计所 一种基于多传感器融合的自动转载机械臂控制方法
CN109910011A (zh) * 2019-03-29 2019-06-21 齐鲁工业大学 一种基于多传感器的机械臂避障方法和机械臂

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108214487A (zh) * 2017-12-16 2018-06-29 广西电网有限责任公司电力科学研究院 基于双目视觉和激光雷达的机器人目标定位和抓取方法
CN109648555A (zh) * 2018-12-18 2019-04-19 湖北航天技术研究院总体设计所 一种基于多传感器融合的自动转载机械臂控制方法
CN109910011A (zh) * 2019-03-29 2019-06-21 齐鲁工业大学 一种基于多传感器的机械臂避障方法和机械臂

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001550A (zh) * 2021-03-17 2021-06-22 广东便捷神科技股份有限公司 一种基于智能无人售货机械臂的控制方法
CN113268089A (zh) * 2021-04-08 2021-08-17 成都立航科技股份有限公司 一种挂装车外挂物位姿调整方法
CN113460851A (zh) * 2021-06-02 2021-10-01 天津大学 基于单目视觉和激光的管片自动抓取和运输系统和方法
CN113460851B (zh) * 2021-06-02 2023-03-10 天津大学 基于单目视觉和激光的管片自动抓取和运输系统和方法
CN113635304A (zh) * 2021-08-16 2021-11-12 北京工业大学 机器人辅助激光实时探测加工或蚀除一体化装置和方法
CN113635304B (zh) * 2021-08-16 2023-09-01 北京工业大学 机器人辅助激光实时探测加工或蚀除一体化装置和方法
CN114396160A (zh) * 2022-01-21 2022-04-26 武汉博雅宏科技有限公司 一种混凝土布料机及其控制方法
CN114396160B (zh) * 2022-01-21 2024-03-15 武汉博雅宏科技有限公司 一种混凝土布料机及其控制方法
CN114620481A (zh) * 2022-04-21 2022-06-14 安徽巨一科技股份有限公司 一种多车型柔性无级自适应切换搬运装置及其控制方法
CN118145318A (zh) * 2024-05-13 2024-06-07 心之力智能科技(常州)有限公司 基于机器视觉技术的机器人自动上下料系统及方法
CN118145318B (zh) * 2024-05-13 2024-07-05 心之力智能科技(常州)有限公司 基于机器视觉技术的机器人自动上下料系统及方法

Also Published As

Publication number Publication date
CN112010024B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN112010024B (zh) 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN111791239B (zh) 一种结合三维视觉识别可实现精确抓取的方法
CN108177143B (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
CN103895042A (zh) 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN112828552B (zh) 一种法兰零件智能对接方法及系统
TWI493153B (zh) 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
CN114037703B (zh) 基于二维定位和三维姿态解算的地铁阀门状态检测方法
Xia et al. Workpieces sorting system based on industrial robot of machine vision
CN116079734A (zh) 一种基于双视觉检测的协作机器人的装配控制系统及方法
CN115958605A (zh) 单目红外热成像视觉机械手抓取物体姿态估计装置及方法
CN113602799B (zh) 一种航空港行李箱搬运系统及其控制方法
CN112884848B (zh) 一种基于双目视觉的智能天车控制系统、方法、终端
CN112588621B (zh) 一种基于视觉伺服的农产品分拣方法及系统
CN113793383A (zh) 一种3d视觉识别取放系统及方法
CN114851206B (zh) 基于视觉引导机械臂抓取炉具的方法
CN109079777A (zh) 一种机械臂手眼协调作业系统
CN114926531A (zh) 基于双目视觉的大视场下工件焊缝自主定位方法及系统
CN115556102B (zh) 一种基于视觉识别的机器人分拣规划方法及规划设备
CN111452036B (zh) 一种基于线激光双目立体视觉的工件抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant