CN115588132A - 一种垃圾分拣设备的环境感知与垃圾识判方法 - Google Patents
一种垃圾分拣设备的环境感知与垃圾识判方法 Download PDFInfo
- Publication number
- CN115588132A CN115588132A CN202211188667.XA CN202211188667A CN115588132A CN 115588132 A CN115588132 A CN 115588132A CN 202211188667 A CN202211188667 A CN 202211188667A CN 115588132 A CN115588132 A CN 115588132A
- Authority
- CN
- China
- Prior art keywords
- garbage
- depth
- rgb
- image
- judged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种垃圾分拣设备的环境感知与垃圾识判方法,该方法建立并训练深度学习神经网络模型,根据摄像机拍摄的RGB彩色图像和RGB‑D深度图像,识别出图像内待判定垃圾及其周围物体的姿态、相对坐标和距离等信号,利用CART算法构建决策树,根据待判定垃圾的姿态及其周围物体的相对位置关系等特征,实现待判定垃圾的环境感知与垃圾识判,为工作在复杂室内与户外场景中的智能垃圾分拣机器人提供图像内垃圾的种类、坐标与所处的环境信息,帮助机器人根据获得信息进行自主路径规划与避障等行为,自主到达垃圾所处位置并选取最优拾取策略进行垃圾捡拾。本发明具有智能化程度高、识别准确、检测精度高速度快的优点。
Description
技术领域
本发明涉及垃圾智能分拣领域,具体为一种垃圾分拣设备的环境感知与垃圾识判方法。
背景技术
随着人民生活水平的提高与垃圾分类相关政策在各地区的落地,垃圾的分类与分拣将日益成为生活中的重要组成部分。与此同时,在诸如大型集会、户外活动、旅游景点等场景下产生垃圾的收集、分拣与回收问题也开始浮现。室内活动、旅游景点、大型集会、会议与户外活动在结束后往往会产生大量垃圾,这些垃圾数量大、种类繁多,且往往散乱分布在各种复杂环境场景如桌上、路边与角落中,极大地提高了收集与分类难度,也使得使用人力对它们进行分类也相较其他场景更为困难费力,需要消耗大量的人力,耗费时间更长,费用高昂,不符合低碳环保、环境保护的相关政策要求。而对于这些问题,现阶段的垃圾自动分拣技术仅能识别简单的垃圾,尚无法获得此类复杂场景下垃圾的种类、坐标与环境情况,且无法根据周围环境情况来判断物体是否为可拾取垃圾,难以高鲁棒性地、高效地解决此类垃圾的收集与处理问题。因此,在当今,如何解决室内以及户外等复杂场景下垃圾的识别、判定和分类与分拣问题变得尤为重要。
在会议室、餐厅等场合,一些物体(例如矿泉水瓶、纸杯等)可能是垃圾也可能不是垃圾,这些物体称为待判定垃圾,需要根据该物体的自身状态以及它与周围物体的关系才能判断是否为可拾取的垃圾。例如:在会议室内,散落在地上的矿泉水瓶就可以判断为可拾取垃圾,而正立放在桌子上的茶杯就应判断为不可拾取物体。对于垃圾分拣设备需要根据具体情况对这些可能成为垃圾的物体进行识别和判定,确定该物体是否为可拾取垃圾或不可拾取物体。如果该物体是可拾取垃圾则获得该垃圾与垃圾分拣设备之间的相对位置,便于垃圾分拣设备规划路径和拾取策略进行垃圾捡拾。
对于此问题,本发明提出了一种基于深度学习神经网络、深度图像处理技术与决策树的垃圾分拣设备的环境感知与垃圾识别、判定、定位方法。
发明内容
本发明采用YOLOv5神经网络、RGB-D图像技术与CART决策树技术,对垃圾分拣设备摄像机获取的图像进行物体识别,计算图像范围内被识别物体与图像中心的相对坐标和与垃圾分拣设备摄像机之间的相对距离,分辨出可能成为垃圾的物体即待判定垃圾,根据待判定垃圾的姿态及其与周围物体的相对位置关系等,判定待判定垃圾是否为可拾取垃圾或不可拾取物体,获取了垃圾分拣设备摄像机图像内可拾取垃圾及环境物体的相对坐标和距离等信息,便于垃圾分拣设备规划路径和拾取策略进行垃圾捡拾,从而实现了垃圾分拣设备对图像内各个环境物体相对位置的感知与垃圾识别、判定和定位,具有智能化程度高、识别准确度高、适用范围广等特点,可用于室内与户外等各类复杂环境下垃圾分拣机器人的垃圾分拣回收工作。
本发明中垃圾分拣设备使用的RGB-D摄像机具有一个RGB摄像头和一个深度摄像头,可以同时拍摄具有相同像素高度和像素宽度的彩色RGB图像与包含各像素点深度信息的深度图像。
本发明提出了一种垃圾分拣设备的环境感知与垃圾识判方法,该方法包括以下步骤:
1、按照实际应用需求,使用RGB-D摄像机的RGB摄像头拍摄会议室、餐厅等应用场景下大量的包含各类物体的RGB图像,建立需要识别的各类物体(包括待判定垃圾及其周围物体)的RGB图像数据库。
2、使用步骤1拍摄的RGB图像数据库,通过人工标注需要识别的各类物体(包括待判定垃圾及其周围物体),建立并训练YOLOv5深度学习神经网络模型,得到训练完成的深度学习神经网络模型。在标注时,标注标签应同时包含物体种类与姿态。
3、在会议室、餐厅等应用场景下,安装在垃圾分拣设备上的RGB-D摄像机同时拍摄RGB图像与深度图像。
4、根据RGB-D摄像机上RGB摄像头与深度摄像头之间的已知间距对步骤3拍摄的RGB图像与深度图像进行裁切对齐,使得裁切对齐后的深度图像中心点O1与裁切对齐后的RGB图像中心点O2保持一致,最后,将已对齐的RGB图像与深度图像合并,把每个相同像素点的RGB数值与深度数值组合在一起,获得具有RGB颜色信息和深度信息的RGB-D彩色深度图像(简称RGB-D图像)。
5、采用步骤2已训练完成的深度学习神经网络模型,对步骤4中获得的RGB-D图像,根据其中的RGB图像信息进行目标检测识别,获得图像中被识别物体的候选框和置信度值。根据置信度条件,将置信度值低于阈值(例如0.55)的候选框过滤掉,对具有相同中心坐标的候选框进行合并以提高物体识别的准确率;同时由深度学习神经网络模型获得RGB-D图像中被识别的各个物体的候选框序号N(即被识别物体的序号),以及它们的类型标签LabelN、姿态标签PostureN和相对应的置信度值CN;之后将最后获得被识别物体的类型-姿态标签和置信度值标注在RGB-D图像内的被识别物体候选框旁边。其中N=1,2,…,n,表示为RGB-D图像中被识别物体的序号。置信度为深度学习神经网络模型执行目标检测时获得的被识别物体的判断准确度。类型标签为深度学习神经网络模型执行目标检测时获得的被识别物体的种类或名称,例如bottle(水瓶)、cup(杯子)、chair(椅子)、cabinet(柜子)等。姿态标签为深度学习神经网络模型执行目标检测时根据标注数据集获得的被识别物体的姿态,例如upright(正立的)、prostrate(倒俯的)、inverted(倒立的)、lateral(侧躺的)等。
6、以步骤5中最后获得RGB-D图像中心点O1为坐标原点、以RGB-D图像的像素为单位,获取各个被识别物体的候选框中心点PN的像素坐标(xN,YN)和候选框的长LN与宽HN。其中N=1,2,…,n,表示为RGB-D图像中被识别物体的序号。XN和YN是以像素为单位的被识别物体候选框中心点PN相对于RGB-D图像中心点O1的横向和纵向的像素坐标值。各个被识别物体候选框沿横向的像素长度和沿纵向的像素宽度分别表示为LN和HN。
7、在步骤6中获得的RGB-D图像中,分别以各个被识别物体的候选框中心点PN为几何中心、在像素长度LN和像素宽度HN的矩形区域内建立各个被识别物体的深度计算区域SN,在该深度计算区域内,每一个单位像素区域对应一个深度数据。对于RGB-D图像内的某一被识别物体,先计算该被识别物体深度计算区域内的全部深度数据的深度算数平均值,再将该被识别物体深度计算区域内的每个深度数据与该被识别物体深度计算区域的深度算术均值进行比较,将超过高阈值(例如深度摄像头测距的最大量程)或小于低阈值(例如深度摄像头测距的最小量程)的无效深度数据去除掉,同时替换为该物体深度计算区域的深度算术平均值,其余深度数据予以保留,在该被识别物体深度计算区域内形成新的深度数据。然后以此新的深度数据,计算出该被识别物体深度计算区域内深度数据的深度加权平均值作为该被识别物体的深度距离,即该被识别物体距离RGB-D摄像机的距离。如此逐一计算,可获得每一个被识别物体的深度距离。
8、针对步骤7中的各个被识别物体,建立包含被识别物体的序号、类型标签、姿态标签、被识别物体候选框的中心点像素坐标、被识别物体候选框的像素长度与像素宽度、被识别物体的深度距离信息的结构性数组A1:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],从而完成了RGB-D图像内各个物体的识别与检测定位。
9、提前收集会议室、餐厅等场景下各类待判定垃圾的姿态及其与周围物体的相对位置关系等环境信息和可被拾取垃圾的逻辑判断等信息,以这些信息建立数据库作为训练数据集D,使用决策树CART算法进行决策树学习,通过特征选取、决策树生成和修剪而构建不同环境状态下待判定垃圾的环境感知与垃圾识判决策树。该决策树可根据待判定垃圾周围物体的种类判断其所处的环境,识别待判定垃圾与周围物体的相对位置关系实现环境感知,再结合待判定垃圾的姿态与环境感知结果进行可拾取垃圾的识判。
10、从步骤8中形成的被识别物体数组A1中抽取可能成为垃圾的物体形成待判定垃圾数组A2,剩余的物体形成环境物体数组A3。以数组A2内的物体深度距离信息DepthN为排序依据,对A2数组序列进行降序排列,获得处理优先级队列,距离较近的物体将被优先进行待判定垃圾的环境感知与垃圾识判处理。
11、对于步骤10中待判定垃圾数组A2中的每一个待判定垃圾按照深度距离信息从近至远顺序依次进行以下操作:以该待判定垃圾候选框的中心PN为圆心,以5×Max(LN,HN)为半径的圆形搜索范围,在环境物体数组A3内进行搜索,查找出物体候选框的中心点像素坐标处于该搜索范围内的环境物体作为该待判定垃圾的周围物体。其中Max(LN,HN)为该待判定垃圾候选框像素长度和像素宽度中的最大值。以该待判定垃圾的姿态、与该待判定垃圾周围物体的相对位置关系等特征作为决策节点,使用步骤9建立的待判定垃圾的环境感知与垃圾识判决策树,从决策树的根节点开始,每次测试当前节点待分类项中相应的特征属性,并按照其值选择输出分支,依次沿决策树的各节点逐步进行逻辑判断和分支选择,直至到达叶子节点,叶子节点存放是本次决策的结果:该待判定垃圾为可拾取垃圾或不可拾取物体。对数组A2中的待判定垃圾逐个通过决策树进行判断,将判断为可拾取垃圾的物体都放入到可拾取垃圾数组A4中,由此完成了待判定垃圾的环境感知与垃圾识判。
12、在步骤11中获得的可拾取垃圾数组A4和在步骤10中获得的环境物体数组A3分别包含了物体的序号、类型标签、姿态标签、候选框的中心点像素坐标、候选框的像素长度与像素宽度、物体的深度距离信息:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],可作为之后分拣设备的分拣工作与路径选择等步骤的参考数据与控制信息,并用于其他需要获得垃圾环境信息的项目中。
本发明采用基于深度学习神经网络、深度图像处理的方法和技术,实现了垃圾分拣设备摄像机图像内各类物体的识别,还获取了各物体的相对位置坐标和相对距离等信息,具有智能化程度高、适用范围广等有点。本发明采用决策树技术,以待判定垃圾的姿态及其与周围物体的相对位置关系等特征作为决策节点,对待判定垃圾实现了环境感知与垃圾识判,具有速度快、识别准确度高的优点。本发明获取了垃圾分拣设备摄像机图像内可拾取垃圾及其周围物体的相对位置坐标和距离等信息,便于垃圾分拣设备规划分拣动作与路径,实现复杂环境中垃圾的识别和分拣工作,减少环境污染与人力资源利用,经济与生态效益显著。
附图说明
图1为本发明的工作原理图;
图2为本发明实施例中对水瓶进行人工标注的实例图;
图3为本发明实施例中RGB-D摄像机拍摄的RGB图像和深度图像;
图4为本发明实施例中去除低置信度候选框后的目标检测结果图像;
图5为本发明实施例中获取被识别物体的候选框中心点的像素坐标和候选框的长与宽结果的深度图像;
图6为本发明实施例中对待判定垃圾进行周围物体搜索后的深度图像;
图7为本发明实施例中决策树决策逻辑判断结果展示图。
具体实施方式
下面结合附图及实施例对本发明进一步阐述。
本发明提出了一种垃圾分拣设备的环境感知与垃圾识判方法,在本实施例中,数据采集使用Intel RealSense RGB-D摄像机(以下简称“RGB-D摄像机”),具有一个RGB摄像头和一个深度摄像头,可以同时拍摄具有相同像素高度和像素宽度的彩色RGB图像与深度图像。垃圾分拣设备使用Nvidia Jetson Nano 4GB作为主控设备,其上搭载的RGB-D摄像机与数据采集的摄像机完全相同。
如图1所示,本实施例的具体工作流程包含以下步骤:
1、按照实际应用需求,在会议室、餐厅等应用场景下进行数据采集,使用RGB-D摄像机的RGB摄像头拍摄会议室、餐厅等应用场景下大量的包含各类物体的RGB图像,形成需要识别的各类物体(包括待判定垃圾及其周围物体)的RGB图像数据库。在拍摄时物体背景复杂度不能过高,防止干扰神经网络模型的训练,且各类物体的照片数量应不低于200张,以保证训练的准确性。
2、建立YOLOv5深度学习神经网络模型,并使用预训练权重文件对该神经网络模型进行训练。预训练权重文件可以从YOLOv5官网上的GitHub仓库获得,也可以选择自行训练预训练权重文件。从步骤1建立的RGB图像数据库中,将需要识别的各类物体(包括待判定垃圾及其周围物体)的图像导入到labelimg等标注软件中,在图像中人工标注该物体的矩形边框、所属的类型和姿态(如图2所示);之后使用步骤1建立的RGB图像数据库对已进行预训练的YOLOv5深度学习神经网络进行迁移学习训练,得到完整的识别的各类物体(包括待判定垃圾及其周围物体)的深度学习神经网络模型。
3、在会议室、餐厅等应用场景下,安装在垃圾分拣设备上的RGB-D摄像机同时拍摄RGB图像与深度图像。本发明实施例中RGB-D摄像机拍摄的RGB图像(包含每个像素点的RGB值)和深度图像(包含每个像素点的深度值)如图3所示。
4、根据RGB-D摄像机上RGB摄像头与深度摄像头之间的已知间距对步骤3拍摄的RGB图像与深度图像进行裁切对齐,使得裁切对齐后的深度图像中心点O1与裁切对齐后的RGB图像中心点O2保持一致。最后,将已对齐的RGB图像与深度图像合并,把每个相同像素点的RGB数值与深度数值组合在一起,获得具有RGB颜色信息和深度信息的RGB-D图像。
5、采用步骤2已训练完成的深度学习神经网络模型,对步骤4中获得的RGB-D图像根据其中的RGB图像信息对其进行目标检测识别,获得图像中被识别物体的候选框和置信度值。根据置信度条件,将置信度低于阈值(例如0.55)的候选框过滤掉,对具有相同中心坐标的候选框进行合并以提高物体识别的准确率。将最后获得被识别物体的类型-姿态标签和置信度值标注在RGB-D图像内的被识别物体候选框旁边,其结果如图4所示。在图4的实例中,由深度学习神经网络模型获得RGB-D图像中被识别的各个物体的候选框序号N(即被识别物体的序号),以及它们的类型标签LabelN、姿态标签PostureN和相对应的置信度值CN分别为:[1,chair,upright,0.89];[2,cabinet,upright,0.78];[3,bottle,lateral,0.71];[4,cup,upright,0.83];[5,chair,upright,0.89]。
6、以步骤5中获得的RGB-D图像中心点O1为坐标原点、以RGB-D图像的像素为单位,获取各个被识别物体的候选框中心点PN的像素坐标(XN,YN)和候选框的长LN与宽HN。在深度图像中表示其结果如图5所示。
7、在步骤6中获得的RGB-D图像中,对每个被识别物体去除无效深度数据,计算该物体的深度距离。以图5中的cup为例:以cup的候选框中心点P4为几何中心、在像素长度L4和像素宽度H4的矩形区域内建立该物体的深度计算区域S4,在该深度计算区域内,每一个单位像素区域对应一个深度数据。先计算cup深度计算区域S4内的全部深度数据的深度算数平均值为Depth4(Avg)=1725mm,再将cup深度计算区域S4内的每个深度数据与深度算术均值Depth4(Avg)进行比较,将超过高阈值(例如深度摄像头测距的最大量程4000mm)或小于低阈值(例如深度摄像头测距的最小量程5mm)的无效深度数据去除掉,同时替换为cup深度计算区域S4的深度算术平均值1725mm,其余深度数据予以保留,在cup深度计算区域内形成新的深度数据。然后以此新的深度数据,计算出cup深度计算区域内深度数据的深度加权平均值1673mm作为cup的深度距离Depth4,即cup距离RGB-D摄像机的距离。如此逐一计算,可获得每一个被识别物体的深度距离。
8、针对步骤7中的各个被识别物体,建立包含被识别物体的序号、类型标签、姿态标签、被识别物体候选框的中心点像素坐标、被识别物体候选框的像素长度与像素宽度、被识别物体的深度距离信息的结构性数组A1:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],从而完成了RGB-D图像内chair1、cabinet2、bottle3、cup4、chair5的识别与检测定位。
9、提前收集会议室、餐厅等场景下各类待判定垃圾的姿态及其与周围物体的相对位置关系等环境信息和可被拾取垃圾的逻辑判断等信息,以这些信息建立数据库作为训练数据集D,使用决策树CART算法进行决策树学习,通过特征选取、决策树生成和修剪而构建不同环境状态下待判定垃圾的环境感知与垃圾识判决策树。该决策树可根据待判定垃圾周围物体的种类判断其所处的环境,识别待判定垃圾与周围物体的相对位置关系实现环境感知,再结合待判定垃圾的姿态与环境感知结果进行可拾取垃圾的识判。
10、从步骤8中形成的被识别物体数组A1中抽取可能成为垃圾的物体形成待判定垃圾数组A2(包含bottle3和cup4),剩余的物体形成环境物体数组A3(chair1、cabinet2和chair5)。以数组A2内的物体深度距离信息DepthN为排序依据,对A2数组序列进行降序排列,获得处理优先级队列,距离较近的物体(如bottle3)将被优先进行待判定垃圾的环境感知与垃圾识判处理。
11、对于步骤10中待判定垃圾数组A2中的每一个待判定垃圾按照深度距离信息从近至远顺序依次进行以下操作:以该待判定垃圾候选框的中心PN为圆心,以5×Max(LN,HN)为半径的圆形搜索范围,在环境物体数组A3内进行搜索,查找出物体候选框的中心点像素坐标处于该搜索范围内的环境物体作为该待判定垃圾的周围物体。在实施例中,待判定垃圾bottle3经周围物体搜索操作后获得的周围物体为chair1、cabinet2和chair5,其候选框中心分别为P1,P2,P5;待判定垃圾cup4经周围物体搜索操作后获得的周围物体也是chair1、cabinet2和chair5。其结果如图6所示。
使用步骤9建立的待判定垃圾的环境感知与垃圾识判决策树,对数组A2中的待判定垃圾逐个通过决策树进行判断,将判断为可拾取垃圾的物体都放入到可拾取垃圾数组A4中,由此完成了待判定垃圾的环境感知与垃圾识判。
在实施例中,由于待判定垃圾bottle3高度较低,位于地面上且位于柜子正下方和两个椅子的斜下方,同时根据其摆放的姿态为侧躺的,可以认为其是垃圾,并将其放入到可拾取垃圾数组A4中。待判定垃圾cup4位于柜子的较高区域,相对于左右两侧两个椅子,cup4的中心坐标也处于较高区域,且为正立姿态,因此可以判定其位于柜子上方,同时根据其周围物体的摆放状态可以判断其所处环境为会议室,cup4的姿态正确,可以判定其并不可拾取物体。在实施例中,决策树进行决策的具体逻辑树如附图7所示。
12、在步骤11中获得的可拾取垃圾数组A4中包含bottle3,在步骤10中获得的环境物体数组A3中包含chair1、cabinet2和chair5,这两个数组中分别包含这些物体的序号、类型标签、姿态标签、候选框的中心点像素坐标、候选框的像素长度与像素宽度、深度距离信息:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],可作为之后分拣设备的分拣工作与路径选择等步骤的参考数据与控制信息,并用于其他需要获得垃圾环境信息的项目中。
以上所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
Claims (4)
1.一种垃圾分拣设备的环境感知与垃圾识判方法,其特征在于,该方法包括以下步骤:
S1)按照实际应用需求,使用RGB-D摄像机的RGB摄像头拍摄会议室、餐厅应用场景下大量的包含各类物体的RGB图像,建立需要识别的各类物体的RGB图像数据库,其中,所述RGB-D摄像机具有一个RGB摄像头和一个深度摄像头,能够同时拍摄具有相同像素高度和像素宽度的彩色RGB图像与包含各像素点深度信息的深度图像;所述需要识别的各类物体包括待判定垃圾及其周围物体;
S2)使用步骤S1)得到的RGB图像数据库,通过人工标注需要识别的各类物体,建立并训练YOLOv5深度学习神经网络模型,得到训练完成的深度学习神经网络模型;在标注时,标注标签同时包含物体类型与姿态;
S3)在会议室、餐厅应用场景下,安装在垃圾分拣设备上的RGB-D摄像机同时拍摄RGB图像与深度图像;
S4)根据RGB-D摄像机上RGB摄像头与深度摄像头之间的已知间距对步骤S3)拍摄的RGB图像与深度图像进行裁切对齐,使得裁切对齐后的深度图像中心点O1与裁切对齐后的RGB图像中心点O2保持一致,最后,将已对齐的RGB图像与深度图像合并,把每个相同像素点的RGB数值与深度数值组合在一起,获得具有RGB颜色信息和深度信息的RGB-D彩色深度图像,简称RGB-D图像;
S5)采用步骤S2)已训练完成的深度学习神经网络模型,对步骤S4)中获得的RGB-D图像,根据其中的RGB图像信息进行目标检测识别,获得图像中被识别物体的候选框和置信度值,根据置信度条件,将置信度值低于阈值的候选框过滤掉,对具有相同中心坐标的候选框进行合并以提高物体识别的准确率;同时由深度学习神经网络模型获得RGB-D图像中被识别的各个物体的候选框序号N,也即被识别物体的序号,以及它们的类型标签LabelN、姿态标签PostureN和相对应的置信度值CN;之后将最后获得被识别物体的类型、姿态标签和置信度值标注在RGB-D图像内的被识别物体候选框旁边,其中N=1,2,…,n,表示为RGB-D图像中被识别物体的序号;
S6)以步骤S5)中最后获得RGB-D图像中心点O1为坐标原点、以RGB-D图像的像素为单位,获取各个被识别物体的候选框中心点PN的像素坐标(XN,YN)和候选框的长LN与宽HN,XN和YN是以像素为单位的被识别物体候选框中心点PN相对于RGB-D图像中心点O1的横向和纵向的像素坐标值,各个被识别物体候选框沿横向的像素长度和沿纵向的像素宽度分别表示为LN和HN;
S7)在步骤S6)中获得的RGB-D图像中,分别以各个被识别物体的候选框中心点PN为几何中心、在像素长度和像素宽度的矩形区域内建立各个被识别物体的深度计算区域SN,在该深度计算区域内,每一个单位像素区域对应一个深度数据;对于RGB-D图像内的某一被识别物体,先计算该被识别物体深度计算区域内的全部深度数据的深度算数平均值,再将该被识别物体深度计算区域内的每个深度数据与该被识别物体深度计算区域的深度算术均值进行比较,将超过高阈值或小于低阈值的无效深度数据去除掉,同时替换为该物体深度计算区域的深度算术平均值,其余深度数据予以保留,在该被识别物体深度计算区域内形成新的深度数据;然后以此新的深度数据,计算出该被识别物体深度计算区域内深度数据的深度加权平均值作为该被识别物体的深度距离,即该被识别物体距离RGB-D摄像机的距离,如此逐一计算,获得每一个被识别物体的深度距离;
S8)针对步骤S7)中的各个被识别物体,建立包含被识别物体的序号、类型标签、姿态标签、被识别物体候选框的中心点像素坐标、被识别物体候选框的像素长度与像素宽度、被识别物体的深度距离信息的结构性数组A1:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],从而完成了RGB-D图像内各个物体的识别与检测定位;
S9)提前收集会议室、餐厅场景下各类待判定垃圾的姿态及其与周围物体的相对位置关系在内的环境信息和可被拾取垃圾的逻辑判断信息,以这些信息建立数据库作为训练数据集D,使用决策树CART算法进行决策树学习,通过特征选取、决策树生成和修剪而构建不同环境状态下待判定垃圾的环境感知与垃圾识判决策树,该决策树能够根据待判定垃圾周围物体的种类判断其所处的环境,识别待判定垃圾与周围物体的相对位置关系实现环境感知,再结合待判定垃圾的姿态与环境感知结果进行可拾取垃圾的识判;
S10)从步骤S8)中形成的被识别物体数组A1中抽取可能成为垃圾的物体形成待判定垃圾数组A2,剩余的物体形成环境物体数组A3,以数组A2内的物体深度距离信息DepthN为排序依据,对A2数组序列进行降序排列,获得处理优先级队列,距离越近的物体将越被优先进行待判定垃圾的环境感知与垃圾识判处理;
S11)对于步骤S10)中待判定垃圾数组A2中的每一个待判定垃圾按照深度距离信息从近至远顺序依次进行以下操作:以该待判定垃圾候选框的中心PN为圆心,以5×Max(LN,HN)为半径的圆形搜索范围,在环境物体数组A3内进行搜索,查找出物体候选框的中心点像素坐标处于该搜索范围内的环境物体作为该待判定垃圾的周围物体,其中Max(LN,HN)为该待判定垃圾候选框像素长度和像素宽度中的最大,以该待判定垃圾的姿态、与该待判定垃圾周围物体的相对位置关系的特征作为决策节点,使用步骤S9)建立的待判定垃圾的环境感知与垃圾识判决策树,从决策树的根节点开始,每次测试当前节点待分类项中相应的特征属性,并按照其值选择输出分支,依次沿决策树的各节点逐步进行逻辑判断和分支选择,直至到达叶子节点,叶子节点存放是本次决策的结果:该待判定垃圾为可拾取垃圾或不可拾取物体,对数组A2中的待判定垃圾逐个通过决策树进行判断,将判断为可拾取垃圾的物体都放入到可拾取垃圾数组A4中,由此完成了待判定垃圾的环境感知与垃圾识判;
S12)在步骤S11)中获得的可拾取垃圾数组A4和在步骤10中获得的环境物体数组A3分别包含了物体的序号、类型标签、姿态标签、候选框的中心点像素坐标、候选框的像素长度与像素宽度、物体的深度距离信息:[N,LabelN,PostureN,(XN,YN),(LN,HN),DepthN],这些信息能够作为之后分拣设备的分拣工作与路径选择步骤的参考数据与控制信息,并用于其他需要获得垃圾环境信息的项目中。
2.根据权利要求1所述的垃圾分拣设备的环境感知与垃圾识判方法,其特征在于,所述步骤S5)中,置信度为深度学习神经网络模型执行目标检测时获得的被识别物体的判断准确度;类型标签为深度学习神经网络模型执行目标检测时获得的被识别物体的种类或名称;姿态标签为深度学习神经网络模型执行目标检测时根据标注数据集获得的被识别物体的姿态。
3.根据权利要求2所述的垃圾分拣设备的环境感知与垃圾识判方法,其特征在于,所述步骤S7)中,所述高阈值为深度摄像头测距的最大量程,所述低阈值为深度摄像头测距的最小量程。
4.根据权利要求3所述的垃圾分拣设备的环境感知与垃圾识判方法,其特征在于,所述步骤S5)中,所述阈值为0.55。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188667.XA CN115588132A (zh) | 2022-09-27 | 2022-09-27 | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211188667.XA CN115588132A (zh) | 2022-09-27 | 2022-09-27 | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115588132A true CN115588132A (zh) | 2023-01-10 |
Family
ID=84778818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211188667.XA Pending CN115588132A (zh) | 2022-09-27 | 2022-09-27 | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115588132A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117921622A (zh) * | 2024-03-25 | 2024-04-26 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
-
2022
- 2022-09-27 CN CN202211188667.XA patent/CN115588132A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117921622A (zh) * | 2024-03-25 | 2024-04-26 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
CN117921622B (zh) * | 2024-03-25 | 2024-06-04 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
Naseer et al. | Multimodal Objects Categorization by Fusing GMM and Multi-layer Perceptron | |
CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
CN106647742B (zh) | 移动路径规划方法及装置 | |
CN101813475B (zh) | 远距离障碍的自适应检测方法 | |
CN109102543A (zh) | 基于图像分割的物体定位方法、设备和存储介质 | |
CN106844614A (zh) | 一种户型图功能区域快速识别系统 | |
CN109045676B (zh) | 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法 | |
CN106022232A (zh) | 基于深度学习的车牌检测方法 | |
CN106778604A (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
CN112136505A (zh) | 一种基于视觉选择注意机制的水果采摘顺序规划方法 | |
CN107516127A (zh) | 服务机器人自主获取人穿携物品归属语义的方法及系统 | |
CN111563452A (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
CN102880729A (zh) | 基于人脸检测与识别的人物图片索引方法及装置 | |
CN112115906A (zh) | 基于深度学习目标检测和度量学习的开放性菜品识别方法 | |
CN113319013A (zh) | 一种基于机器视觉的苹果智能分拣的方法 | |
CN107665351A (zh) | 基于难样本挖掘的机场检测方法 | |
CN108629368B (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
CN114170672A (zh) | 一种基于计算机视觉的课堂学生行为识别的方法 | |
CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
CN115588132A (zh) | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |