CN113666028A - 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 - Google Patents

一种基于激光雷达和相机融合的垃圾桶检测抓取方法 Download PDF

Info

Publication number
CN113666028A
CN113666028A CN202110849652.2A CN202110849652A CN113666028A CN 113666028 A CN113666028 A CN 113666028A CN 202110849652 A CN202110849652 A CN 202110849652A CN 113666028 A CN113666028 A CN 113666028A
Authority
CN
China
Prior art keywords
image
garbage
mechanical arm
handle
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110849652.2A
Other languages
English (en)
Other versions
CN113666028B (zh
Inventor
郑宇宏
曾庆喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110849652.2A priority Critical patent/CN113666028B/zh
Publication of CN113666028A publication Critical patent/CN113666028A/zh
Application granted granted Critical
Publication of CN113666028B publication Critical patent/CN113666028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00—Vehicles particularly adapted for collecting refuse
    • B65F3/02—Vehicles particularly adapted for collecting refuse with means for discharging refuse receptacles thereinto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00—Vehicles particularly adapted for collecting refuse
    • B65F3/02—Vehicles particularly adapted for collecting refuse with means for discharging refuse receptacles thereinto
    • B65F2003/0223—Vehicles particularly adapted for collecting refuse with means for discharging refuse receptacles thereinto the discharging means comprising elements for holding the receptacle
    • B65F2003/023—Gripper arms for embracing the receptacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。

Description

一种基于激光雷达和相机融合的垃圾桶检测抓取方法
技术领域
本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法，属于计算机视觉、人工智能和自动化技术领域。
背景技术
垃圾桶作为目前主要的收集和存贮垃圾的容器，对其的收集基本由垃圾车完成，具体包括通过人工倾倒和通过挂桶式垃圾车倾倒两种方式。挂桶垃圾车虽然能够自动将垃圾桶内垃圾倒入车体内，但是仍然需要人工将垃圾桶放置到车体侧的固定位置，与人工倾倒的方式相比，虽然避免了倾倒过程中的接触，但是却没有避免搬运过程中的接触，仍然存在一定的人工成本和安全隐患。
发明内容
本发明所要解决的技术问题是提供一种基于激光雷达和相机融合的垃圾桶检测抓取方法，以计算机视觉、传感器数据融合、深度学习等技术为基础，实现对垃圾桶上把手的自动检测、定位与抓取。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持；
其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色；
步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B；
步骤B.根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C；
步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D；
步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。
作为本发明的一种优选技术方案：所述步骤A中，实时针对第一图像捕获装置所捕获图像，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域；
步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2；
步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3；
步骤A3.由各个目标网格图像的组合，构成垃圾桶图像区域，即识别获得所获捕获图像中的垃圾桶图像区域。
作为本发明的一种优选技术方案：所述步骤A2中，按如下步骤i至步骤ii，实现垃圾桶图像识别模型的获得；
步骤i.收集预设第一数量、分别均包含垃圾桶图像的各个预设尺寸的样本图片，以及预设第二数量、分别不包含垃圾桶图像的各个预设尺寸的样本图片，共同构成样本图片集，然后进入步骤ii；
步骤ii.根据样本图片集中各样本图片分别所对应预设各特征类型的特征值，以及各样本图片分别所对应其是否包含垃圾桶图像的分类，以样本图像为输入，样本图像对应其是否包含垃圾桶图像的分类为输出，结合预设损失函数，针对yolov3网络模型进行训练，获得垃圾桶图像识别模型。
作为本发明的一种优选技术方案：所述步骤D中，针对机械臂前端上第二图像捕获装置实时所捕获图像，按如下步骤D-1至步骤D-2，实现对所捕获图像中垃圾桶上把手的识别；
步骤D-1.针对所捕获图像进行灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；
步骤D-2.按预设用于区别把手的灰度阈值T，针对灰度图像进行二值化处理，获得灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-3，执行所述步骤D-2获得灰度二值化图像之后，进入步骤D-3；
步骤D-3.应用中值滤波中的三阶滤波器，针对灰度二值化图像进行处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D-3中，应用中值滤波中的三阶滤波器，分别针对灰度二值化图像中的各个像素，基于横坐标偏移量k＝-1、1的全部取值，以及纵坐标偏移量l＝-1、1的全部取值，按如下公式：
Gray(i,j)＝med[{Gray(i-k,j-l)}]
进行像素处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，其中，Gray(i,j)表示图像中坐标(i,j)的像素经上述像素处理后的灰度值，(i-k,j-l)表示图像中以坐标(i,j)为中心3*3尺寸范围内的像素坐标，{Gray(i-k,j-l)}表示图像中以坐标(i,j) 为中心3*3尺寸范围内各坐标像素灰度值的集合，med[·]表示中位值函数。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-4，执行所述步骤D-3更新灰度二值化图像之后，进入步骤D-4；
步骤D-4.根据形态学处理理念，通过三次膨胀操作对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中垃圾桶上把手的内部联通，并实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-5，执行所述步骤D-4实现灰度二值化图像中垃圾桶上把手内部联通后，进入步骤D-5；
步骤D-5.首先选择Canny算子对内部联通后的垃圾桶上把手进行边缘检测，接着根据垃圾桶上把手边缘，使用累计概率霍夫变换提取把手图形边缘的直线，获得两根长直线和两根短直线，然后计算四根直线的交点，即获得垃圾桶上把手的四角顶点的坐标，最后计算获得把手的姿态、以及其质心位于图像中的位置信息，实现对所捕获图像中垃圾桶上把手的识别。
作为本发明的一种优选技术方案：所述步骤D-1中，分别针对所捕获图像中的各个像素，按如下公式：
Gray(i,j)＝(r(i,j)*0.3+g(i,j)*0.59+b(i,j)*0.11)/3
执行像素灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；其中，i表示图像中像素的横坐标，j表示图像中像素的纵坐标，r(i,j)表示图像中像素对应RGB的R色，g(i,j)表示图像中像素对应RGB的G色，b(i,j)表示图像中像素对应RGB的B色， Gray(i,j)表示图像中坐标(i,j)的像素的灰度值。
作为本发明的一种优选技术方案：所述第二图像捕获装置设置于所述机械臂前端上抓手的内部。
本发明所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明所设计一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。
附图说明
图1是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法的总体方案示意图；
图2是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法的样机示意图；
图3是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中的yolov3网络训练流程图；
图4是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中粗定位系统的安装位置示意图；
图5是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中粗定位系统的算法流程图；
图6是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中精定位系统的安装位置示意图；
图7是本发明所设计基于激光雷达和相机融合的垃圾桶检测抓取方法中精定位系统的算法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于激光雷达和相机融合的垃圾桶检测抓取方法，如图1和图2所示，基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持。
其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；具体应用中，第二图像捕获装置设置于所述机械臂前端上抓手的内部，第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色。
步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B。
实际应用当中，上述步骤A中，实时针对第一图像捕获装置所捕获图像，如图5所示，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域。
步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2。
步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3。
对于步骤A2中的垃圾桶图像识别模型，如图3所示，具体设计按如下步骤i至步骤ii，实现垃圾桶图像识别模型的获得。
步骤i.收集预设第一数量、分别均包含垃圾桶图像的各个预设尺寸的样本图片，以及预设第二数量、分别不包含垃圾桶图像的各个预设尺寸的样本图片，共同构成样本图片集，然后进入步骤ii。
步骤ii.根据样本图片集中各样本图片分别所对应预设各特征类型的特征值，以及各样本图片分别所对应其是否包含垃圾桶图像的分类，以样本图像为输入，样本图像对应其是否包含垃圾桶图像的分类为输出，结合预设损失函数，针对yolov3网络模型进行训练，获得垃圾桶图像识别模型。
步骤A3.由各个目标网格图像的组合，构成垃圾桶图像区域，即识别获得所获捕获图像中的垃圾桶图像区域。
上述即通过云台上激光测距雷达与第一图像捕获装置实现了对垃圾桶位置识别的粗定位，具体来说激光测距雷达应用单线激光雷达，第一图像捕获装置应用单目相机，单目相机作为图像处理的核心元件，用于进行垃圾桶的检测，单线激光雷达的定位精度在1mm以内，价格相对便宜，定位性能优异，但是其定位只能适用于一个平面，因此加入一个云台对单线激光雷达和单线激光雷达进行姿态的调整，确保目标位于激光雷达的定位平面内，如此将单线激光雷达+单目相机的组合识别定位系统放置于车体前顶部以避免车体行驶过程中溅起的泥沙对其的影响，如图4所示。
步骤B.如图5所示，根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C。
具体在检测到垃圾桶位置信息后，通过其位置信息调整云台的位置，如检测到垃圾桶位于图片的左上方，就移动云台向左上方移动，并实时进行检测获得垃圾桶更新过后的位置信息，直至垃圾桶位于图像的中心位置，到达激光测距雷达的测距平面内进行测距，并根据云台的姿态来解算垃圾桶相对于车体的方向，这样就能获得垃圾桶的距离和方位信息。
步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，如图6所示，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D。
步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。
实际应用中，如图7所示，上述步骤D中，针对机械臂前端上第二图像捕获装置实时所捕获图像，按如下步骤D-1至步骤D-5，实现对所捕获图像中垃圾桶上把手的识别。
步骤D-1.分别针对所捕获图像中的各个像素，按如下公式：
Gray(i,j)＝(r(i,j)*0.3+g(i,j)*0.59+b(i,j)*0.11)/3
执行像素灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；其中，i表示图像中像素的横坐标，j表示图像中像素的纵坐标，r(i,j)表示图像中像素对应RGB的R色，g(i,j)表示图像中像素对应RGB的G色，b(i,j)表示图像中像素对应RGB的B色， Gray(i,j)表示图像中坐标(i,j)的像素的灰度值。
步骤D-2.根据预设用于区别把手的灰度阈值T，按如下公式：
Figure BDA0003181946670000071
针对灰度图像进行二值化处理，获得灰度二值化图像，然后进入步骤D-3。
步骤D-3.应用中值滤波中的三阶滤波器，分别针对灰度二值化图像中的各个像素，基于横坐标偏移量k＝-1、1的全部取值，以及纵坐标偏移量l＝-1、1的全部取值，按如下公式：
Gray(i,j)＝med[{Gray(i-k,j-l)}]
进行像素处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，然后进入步骤D-4，其中，Gray(i,j)表示图像中坐标(i,j)的像素经上述像素处理后的灰度值，(i-k,j-l)表示图像中以坐标(i,j)为中心3*3尺寸范围内的像素坐标，{Gray(i-k,j-l)}表示图像中以坐标(i,j)为中心3*3尺寸范围内各坐标像素灰度值的集合，med[·]表示中位值函数。
步骤D-4.根据形态学处理理念，通过三次膨胀操作对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中垃圾桶上把手的内部联通，然后进入步骤D-5。
步骤D-5.首先选择Canny算子对内部联通后的垃圾桶上把手进行边缘检测，接着根据垃圾桶上把手边缘，使用累计概率霍夫变换提取把手图形边缘的直线，获得两根长直线和两根短直线，然后计算四根直线的交点，即获得垃圾桶上把手的四角顶点的坐标，最后计算获得把手的姿态、以及其质心位于图像中的位置信息，实现对所捕获图像中垃圾桶上把手的识别。
上述技术方案所设计基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持；
其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色；
步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B；
步骤B.根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C；
步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D；
步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。
2.根据权利要求1所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤A中，实时针对第一图像捕获装置所捕获图像，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域；
步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2；
步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3；
步骤A3.由各个目标网格图像的组合，构成垃圾桶图像区域，即识别获得所获捕获图像中的垃圾桶图像区域。
3.根据权利要求2所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤A2中，按如下步骤i至步骤ii，实现垃圾桶图像识别模型的获得；
步骤i.收集预设第一数量、分别均包含垃圾桶图像的各个预设尺寸的样本图片，以及预设第二数量、分别不包含垃圾桶图像的各个预设尺寸的样本图片，共同构成样本图片集，然后进入步骤ii；
步骤ii.根据样本图片集中各样本图片分别所对应预设各特征类型的特征值，以及各样本图片分别所对应其是否包含垃圾桶图像的分类，以样本图像为输入，样本图像对应其是否包含垃圾桶图像的分类为输出，结合预设损失函数，针对yolov3网络模型进行训练，获得垃圾桶图像识别模型。
4.根据权利要求1所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D中，针对机械臂前端上第二图像捕获装置实时所捕获图像，按如下步骤D-1至步骤D-2，实现对所捕获图像中垃圾桶上把手的识别；
步骤D-1.针对所捕获图像进行灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；
步骤D-2.按预设用于区别把手的灰度阈值T，针对灰度图像进行二值化处理，获得灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
5.根据权利要求4所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-3，执行所述步骤D-2获得灰度二值化图像之后，进入步骤D-3；
步骤D-3.应用中值滤波中的三阶滤波器，针对灰度二值化图像进行处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，然后提取灰度二值化图像中的把手，实现对所捕获图像中垃圾桶上把手的识别。
6.根据权利要求5所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D-3中，应用中值滤波中的三阶滤波器，分别针对灰度二值化图像中的各个像素，基于横坐标偏移量k＝-1、1的全部取值，以及纵坐标偏移量l＝-1、1的全部取值，按如下公式：
Gray(i,j)＝med[{Gray(i-k,j-l)}]
进行像素处理，消除灰度二值化图像中的椒盐噪声，更新灰度二值化图像，其中，Gray(i,j)表示图像中坐标(i,j)的像素经上述像素处理后的灰度值，(i-k,j-l)表示图像中以坐标(i,j)为中心3*3尺寸范围内的像素坐标，{Gray(i-k,j-l)}表示图像中以坐标(i,j)为中心3*3尺寸范围内各坐标像素灰度值的集合，med[·]表示中位值函数。
7.根据权利要求5所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-4，执行所述步骤D-3更新灰度二值化图像之后，进入步骤D-4；
步骤D-4.根据形态学处理理念，通过三次膨胀操作对灰度二值化图像内部的干扰信息进行滤波，使得灰度二值化图像中垃圾桶上把手的内部联通，并实现对所捕获图像中垃圾桶上把手的识别。
8.根据权利要求7所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D中，关于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，还包括如下步骤D-5，执行所述步骤D-4实现灰度二值化图像中垃圾桶上把手内部联通后，进入步骤D-5；
步骤D-5.首先选择Canny算子对内部联通后的垃圾桶上把手进行边缘检测，接着根据垃圾桶上把手边缘，使用累计概率霍夫变换提取把手图形边缘的直线，获得两根长直线和两根短直线，然后计算四根直线的交点，即获得垃圾桶上把手的四角顶点的坐标，最后计算获得把手的姿态、以及其质心位于图像中的位置信息，实现对所捕获图像中垃圾桶上把手的识别。
9.根据权利要求4所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述步骤D-1中，分别针对所捕获图像中的各个像素，按如下公式：
Gray(i,j)＝(r(i,j)*0.3+g(i,j)*0.59+b(i,j)*0.11)/3
执行像素灰度处理，获得所捕获图像对应的灰度图像，然后进入步骤D-2；其中，i表示图像中像素的横坐标，j表示图像中像素的纵坐标，r(i,j)表示图像中像素对应RGB的R色，g(i,j)表示图像中像素对应RGB的G色，b(i,j)表示图像中像素对应RGB的B色，Gray(i,j)表示图像中坐标(i,j)的像素的灰度值。
10.根据权利要求1至9中任意一项所述一种基于激光雷达和相机融合的垃圾桶检测抓取方法，其特征在于：所述第二图像捕获装置设置于所述机械臂前端上抓手的内部。
CN202110849652.2A 2021-07-27 2021-07-27 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 Active CN113666028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849652.2A CN113666028B (zh) 2021-07-27 2021-07-27 一种基于激光雷达和相机融合的垃圾桶检测抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849652.2A CN113666028B (zh) 2021-07-27 2021-07-27 一种基于激光雷达和相机融合的垃圾桶检测抓取方法

Publications (2)

Publication Number Publication Date
CN113666028A true CN113666028A (zh) 2021-11-19
CN113666028B CN113666028B (zh) 2022-05-20

Family

ID=78540270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849652.2A Active CN113666028B (zh) 2021-07-27 2021-07-27 一种基于激光雷达和相机融合的垃圾桶检测抓取方法

Country Status (1)

Country Link
CN (1) CN113666028B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115057139A (zh) * 2022-07-29 2022-09-16 徐州威卡电子控制技术有限公司 一种垃圾车上使用的自动垃圾桶识别系统及识别方法
CN115159149A (zh) * 2022-07-28 2022-10-11 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置
CN116175035A (zh) * 2023-03-20 2023-05-30 中国十七冶集团有限公司 一种基于深度学习的钢结构高空焊接机器人智能焊接方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5215423A (en) * 1990-09-21 1993-06-01 Edelhoff Polytechnik Gmbh & Co. System for determining the spatial position of an object by means of a video optical sensor
DE4234995C1 (en) * 1992-10-16 1993-09-23 Kellner, Rainer, 70825 Korntal-Muenchingen, De Emptiness checking device for refuse containers - performs photoelectric detection of completion of flow of material out of upturned container into vehicle.
CN107555046A (zh) * 2017-09-11 2018-01-09 太仓迭世信息科技有限公司 机器人与垃圾车配合工作的智能清理系统及其工作方法
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110817210A (zh) * 2019-11-19 2020-02-21 佛山科学技术学院 一种全封闭自动化垃圾车机械手
CN111169871A (zh) * 2020-01-13 2020-05-19 佛山科学技术学院 一种垃圾车智能机械手抓取垃圾桶方法及机械手
CN210883752U (zh) * 2019-10-21 2020-06-30 南京可信机器人研究院有限公司 一种自动化机械手及垃圾车
CN111409979A (zh) * 2020-04-28 2020-07-14 郭云美 一种便于区分不同状态垃圾回收的垃圾处理装置及实施方法
US20200339345A1 (en) * 2019-04-23 2020-10-29 The Heil Co. Refuse container engagement
US20200369468A1 (en) * 2017-08-11 2020-11-26 Bucher Municipal Pty Ltd A refuse collection system
JP2021035888A (ja) * 2020-11-19 2021-03-04 新明和工業株式会社 塵芥収集車
JP2021054551A (ja) * 2019-09-27 2021-04-08 新明和工業株式会社 塵芥収集車
CN112644922A (zh) * 2020-12-25 2021-04-13 随州武汉理工大学工业研究院 一种全自动智能抓桶机械手装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5215423A (en) * 1990-09-21 1993-06-01 Edelhoff Polytechnik Gmbh & Co. System for determining the spatial position of an object by means of a video optical sensor
DE4234995C1 (en) * 1992-10-16 1993-09-23 Kellner, Rainer, 70825 Korntal-Muenchingen, De Emptiness checking device for refuse containers - performs photoelectric detection of completion of flow of material out of upturned container into vehicle.
US20200369468A1 (en) * 2017-08-11 2020-11-26 Bucher Municipal Pty Ltd A refuse collection system
CN107555046A (zh) * 2017-09-11 2018-01-09 太仓迭世信息科技有限公司 机器人与垃圾车配合工作的智能清理系统及其工作方法
US20200339345A1 (en) * 2019-04-23 2020-10-29 The Heil Co. Refuse container engagement
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
JP2021054551A (ja) * 2019-09-27 2021-04-08 新明和工業株式会社 塵芥収集車
CN210883752U (zh) * 2019-10-21 2020-06-30 南京可信机器人研究院有限公司 一种自动化机械手及垃圾车
CN110817210A (zh) * 2019-11-19 2020-02-21 佛山科学技术学院 一种全封闭自动化垃圾车机械手
CN111169871A (zh) * 2020-01-13 2020-05-19 佛山科学技术学院 一种垃圾车智能机械手抓取垃圾桶方法及机械手
CN111409979A (zh) * 2020-04-28 2020-07-14 郭云美 一种便于区分不同状态垃圾回收的垃圾处理装置及实施方法
JP2021035888A (ja) * 2020-11-19 2021-03-04 新明和工業株式会社 塵芥収集車
CN112644922A (zh) * 2020-12-25 2021-04-13 随州武汉理工大学工业研究院 一种全自动智能抓桶机械手装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董克: "《仿造人类智能 机器人与人工智能发展》", 30 June 2004, 上海交通大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115159149A (zh) * 2022-07-28 2022-10-11 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置
WO2024021402A1 (zh) * 2022-07-28 2024-02-01 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置
CN115159149B (zh) * 2022-07-28 2024-05-24 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置
CN115057139A (zh) * 2022-07-29 2022-09-16 徐州威卡电子控制技术有限公司 一种垃圾车上使用的自动垃圾桶识别系统及识别方法
CN116175035A (zh) * 2023-03-20 2023-05-30 中国十七冶集团有限公司 一种基于深度学习的钢结构高空焊接机器人智能焊接方法

Also Published As

Publication number Publication date
CN113666028B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN113666028B (zh) 一种基于激光雷达和相机融合的垃圾桶检测抓取方法
CN109801337B (zh) 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111015662B (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN108280856A (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN111169871A (zh) 一种垃圾车智能机械手抓取垃圾桶方法及机械手
CN113643280A (zh) 一种基于计算机视觉的板材分拣系统及方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN116277025A (zh) 一种智能制造用机器人的物件分拣控制方法及系统
CN113469264A (zh) 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统
CN113602799B (zh) 一种航空港行李箱搬运系统及其控制方法
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN114029941A (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
CN117337691A (zh) 基于深度神经网络的火龙果采摘方法及采摘机器人
CN113955343B (zh) 基于三维视觉的无序垃圾智能分类设备及其分类方法
JP2022181174A (ja) 回転補正付きの物体ビンピッキング
Zheng et al. An intelligent robot sorting system by deep learning on RGB-D image
CN112233176A (zh) 一种基于标定物的目标位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant