CN111590611B - 一种基于多模态主动感知的物品分类回收方法 - Google Patents

Abstract

本发明涉及一种基于多模态主动感知的物品分类回收方法，属于机器人应用技术领域。本方法首先搭建面向目标物品的目标检测网络模型，进而得到抓取目标物品的抓取位姿，根据抓取位姿引导机械臂机械手系统主动对目标物进行捏取式抓取。机械手手指末端配备触觉传感器，抓取目标物的同时可实时获取目标物表面的触觉信号。对获取的触觉信息进行特征提取并输入到鉴别物品材质的触觉分类器，完成对目标物品的分类回收。本发明利用视觉和触觉多模态信息，通过视觉检测结果引导机器人主动以最适合的位姿对目标物品进行抓取并采集触觉信息，实现物品材质识别，完成物品分类回收。可自动识别多种不同材质的可回收物品，具有较强的通用性和实际意义。

Description

一种基于多模态主动感知的物品分类回收方法

技术领域

本发明涉及一种基于多模态主动感知的物品分类回收方法，属于机器人应用技术领域。

背景技术

随着全球人口的持续增长和不断城市化，为了实现可持续发展和资源回收的目标，有必要利用机器人来自动高效地完成物品的分类回收任务。一种常见的回收方式是将可回收物品以混合的方式收集，收集时不考虑物品的材质信息。这种回收方式可以方便居民并能降低回收成本，然而需要后续操作将混合物品按照材质进行分类回收。在机器人应用中，可以通过视觉模态，利用视觉深度学习算法检测目标物品，进而生成目标物品的抓取位姿，引导机械臂机械手系统主动对目标物品进行有效抓取。在抓取目标物品时，安装在机械手手指末端的触觉传感器可以实时获取目标物表面的触觉信号，通过对触觉信号的分析，可完成物品材质的鉴别，完成对可回收物品的分类回收。

MIT与Princeton的研究人员在2018年ICRA(国际机器人与自动化会议)上，发表题为Robotic Pick-and-Place of Novel Objects in Clutterwith Multi-AffordanceGrasping and Cross-Domain Image Matching(通过生成抓取点热力图实现机器人在堆积场景下对未知物品的拾放)的文章，该技术通过深度学习训练，提出Affordance网络，输入拾取场景的彩色深度图像，输出像素级的AffordanceMap(抓取点热力图)，避免了复杂的物品分割与识别，直接得到备选拾取位置，但该网络只能输出像素级的抓取点，不能输出机械手抓取物品的方向，因此抓取的位姿可能不适合对触觉数据的测量，从而导致触觉材质鉴别失败，已有方法无法有效地解决该问题。

深度学习，特别是卷积神经网络，在计算机领域已经取得了显著的成果，包括物体检测、物体识别以及图像语义分割等。

发明内容

本发明的目的是一种基于多模态主动感知的物品分类回收方法，面向实际需求，克服已有技术的不足之处，利用视觉检测结果引导机器人主动以最适合的位姿对目标物品进行抓取并采集触觉信息，实现物品材质鉴别，高效准确地完成物品分类回收，可自动鉴别多种不同材质的可回收物品。

本发明提出的基于多模态主动感知的物品分类回收方法，具体步骤如下：

(1)搭建一个机器人物品分类回收操作系统：

包括：一台机械臂、一个包含吸盘的机械手、一台彩色深度照相机、一个触觉传感器、一张可放置物品的操作台和物品回收容器，彩色深度照相机、触觉传感器、机械手和机械臂与控制器相连；

其中，机械臂的基座置于机械臂支架上并放置在操作台前方，彩色深度照相机用支架固定在操作台正上方，彩色深度照相机与机械臂的基座相对位置固定，物品随机摆放在操作台的台面上，与彩色深度照相机的镜头相距1至2米；建立机械臂的机械臂基坐标系为o^b-x^by^bz^b，o^b为机械臂的基座中心点，z^b为垂直于机械臂基座朝上方向，y^b为垂直指向操作台方向，x^b垂直于z^b和y^b所确定平面并且指向物品回收容器方向；建立机械手的机械手坐标系为o^h-x^hy^hz^h，o^h为机械手的手掌中心点，z^h为垂直于机械手手掌朝外方向，x^h垂直于机械手相对手指的开合方向，y^h垂直于z^b和x^b所确定平面并符合右手定则，oⁱ-xⁱyⁱ为图像坐标系，oⁱ为彩色深度照相机拍摄得到图片的左下角，xⁱ为从oⁱ向右方向，yⁱ为从oⁱ向上方向且垂直于xⁱ；

所述机械手与机械臂末端连接，机械手在机械臂的带动下运动，触觉传感器装配于机械手手指末端表面，机械手通过蓝牙方式与控制器连接，机械臂通过网线和局域网与笔记本电脑连接；

利用棋盘格标定法获取彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂机械臂基坐标系的外参矩阵

设机械臂的初始位置为P₀；

(2)训练一个检测物品的视觉目标检测网络模型，得到相对于图像坐标系机械手抓取物品的抓取位姿，具体步骤如下：

(2-1)利用在公开大规模数据集上预训练好的目标检测网络作为初始网络，采集物品的图片和目标检测标注，用采集到的物品的图片和目标检测标注对初始网络进行训练，得到检测物品的视觉目标检测器D_obj；

(2-2)将物品随机摆放在操作台的台面上，利用彩色深度照相机从物品的正上方向下拍摄，获取当前操作台面上的物品的彩色图像I_c和深度图像I_d；

(2-3)将步骤(2-2)的彩色图像I_c输入到步骤(2-1)的视觉目标检测器D_obj中，视觉目标检测器D_obj输出为物品的包络框以及与物品的包络框相对应的置信度值；设定一个置信度阈值为τ_obj，使视觉目标检测器D_obj输出所有置信度值大于τ_obj的物品包络框，对视觉目标检测器D_obj的输出进行判断，若视觉目标检测器D_obj未输出物品包络框，则返回步骤(2-2)，若视觉目标检测器D_obj输出物品包络框，则选取输出的包络框中置信度值最高的包络框B_box，并进入步骤(2-4)；

(2-4)根据步骤(2-3)中的包络框B_box的范围，对步骤(2-2)的彩色图像I_c和深度图像I_d继续剪裁，得到彩色裁剪图像I′_c和深度裁剪图像I′_d，将彩色裁剪图像I′_c和深度裁剪图像I′_d输入到Affordance网络，Affordance网络的输出为机械手抓取点热力图A_map，抓取点热力图A_map的每个像素与彩色裁剪图像I′_c和深度裁剪图像I′_d的每一个像素相对应，抓取点热力图A_map中的每个像素的像素值表示该像素位置适合被抓取的程度，像素值越大表示该位置越适合被抓取；

(2-5)将步骤(2-4)的抓取点热力图A_map中像素值最大的像素点(x_s，y_s)作为机械手吸盘吸取目标物品的吸取点，(x_s，y_s)相对于图像坐标系：

(x_s，y_s)＝argmax_(x，y)(A_map)；

(2-6)分别设定一个像素阈值上限δ_max和一个像素阈值下限δ_min，得到一个像素阈值范围[δ_min，δ_max]，从步骤(2-4)的抓取热力图A_map中提取像素值在像素阈值范围[δ_min，δ_max]内的像素点，所有像素点构成一个区域S，对区域S中的全部像素点的像素位置坐标进行主成分分析计算，得到第一主成分C₁，C₁为一个方向向量，该方向向量表示区域S中的全部像素点在C₁方向的投影最为分散，选择与C₁方向相垂直的方向C′₁作为机械手2采用捏取方式抓取目标物时手指闭合的方向，C′₁为在图像坐标系中的表示，得到相对于图像坐标系的机械手抓取物品的抓取位姿p＝[x_s，y_s，C′₁]；

(3)训练一个用于鉴别物品材质的触觉分类器，具体包括以下步骤：

(3-1)采集物品的触觉数据集，具体包括以下步骤：

(3-1-1)设物品中包含N个已知材质的物品，共包含M种材质类型；

(3-1-2)从步骤(3-1-1)的N个已知材质的物品中选取物品O放到操作台的台面上，控制机械臂运动，带动机械手到达适合抓取物品O的最佳抓取位姿，控制机械手相对的手指闭合，以捏取方式抓取物品O，机械手手指末端安装的触觉传感器与物品O表面相互接触，触觉传感器为阵列式，阵列的尺寸为m×n，触觉采样频率为ω，记触觉传感器阵列中的每个触点的传感压力为t_i，j，其中i＝1，2，...，m，j＝1，2，...，n，当机械手相对的手指逐渐闭合时，观察触觉传感压力读数，当有触点的触觉传感压力读数足够大时，认为物品O被抓取成功，这时开始记录λ时间段内阵列式触觉传感器触觉传感压力读数，共计得到T＝ω×λ个采样数据，则得到触觉时间序列m×n×T(本实施例设置λ为3秒)，此时控制机械手2松开被抓取的物品O，完成对物品O的一次触觉数据采集，对于物体O，共进行k次触觉数据采集，得到物品O的k个触觉时间序列，并记录物品O的材质标签；

(3-1-3)遍历步骤(3-1-1)中的N个已知材质的物品，重复步骤(3-1-2)，得到物品4的触觉数据集D_tac；

(3-2)对步骤(3-1-3)的物品的触觉数据集D_tac中的每个触觉时间序列m×n×T提取触觉特征，具体包括以下步骤：

(3-2-1)将阵列尺寸为m×n的触觉传感阵列的各个触觉传感压力读数取平均值，则触觉时间序列m×n×T转化为：

S＝[s₁,s₂,…,s_T]；

(3-2-2)分别计算步骤(3-2-1)的触觉时间序列S的平均值μ_s、方差

最大值max_s、最小值min_S和范围range_S：

max_S＝maximum(s_t)，

min_S＝minimum(s_t)，

range_S＝max_S-min_S；

(3-2-3)将步骤(3-2-2)中提取的特征顺次连接，得到触觉特征：

(3-3)根据步骤(3-2)的触觉特征和步骤(3-1-3)的物品触觉数据集D_tac中提供的相应材质标签，利用支持向量机SVM作为触觉分类器，以触觉特征作为支持向量机SVM的输入，材质标签作为支持向量机SVM的输出，进行训练，得到可鉴别物品材质的触觉分类器；

(4)利用步骤(2)得到的抓取位姿和步骤(3)得到的鉴别物品材质的触觉分类器完成对目标物品的分类回收，具体包括以下步骤：

(4-1)采用步骤(2-2)至步骤(2-6)的方法，对目标物品进行相应操作，得到相对于图像坐标系，用机械手抓取目标物品的吸取点(x_s,y_s)以及机械手采用捏取方式抓取目标物时手指闭合的方向C′₁；

(4-2)取步骤(4-1)中得到的吸取点(x_s,y_s)以及机械手采用捏取方式抓取目标物品时手指闭合的方向C′₁，根据步骤(1)的彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂1机械臂基坐标系的外参矩阵

将吸取点(x_s,y_s)转换至机械臂的机械臂基坐标系下得到

方向C′₁转换至机械臂基坐标系下得到

取操作台上方h处，该高度相对于基坐标系z^b轴坐标为

则用计算机控制机械臂1移动机械臂末端至

处，调整机械臂1末端位姿，令机械手手掌朝下，机械手坐标系z^h轴正方向与操作台台面垂直，绕机械手的z^h轴旋转机械手，令机械手手指的开合方向相对于基坐标系与

同方向，进入步骤(4-3)；

(4-3)利用计算机控制机械手2，首先将机械手2的吸盘推出，利用吸盘把目标物体吸起，机械手两手指之间相对，控制机械手，闭合手指以捏取的方式抓取目标物品，当机械手相对的手指逐渐闭合时，设定触觉传感压力的阈值，观察触觉传感压力读数，若有触点的触觉传感压力大于设定阈值，认为目标物品被抓取成功抓取，进入步骤(4-4)，若有触点的触觉传感压力小于或等于设定阈值，则重新获取场景图像信息，返回步骤(4-1)；

(4-4)记录λ时间段内的阵列式触觉传感器的触觉传感压力读数，得到触觉时间序列m×n×T；

(4-5)采用步骤(3-2)中的方法，从步骤(4-4)记录的触觉序列m×n×T中提取触觉特征f_tac；

(4-6)将步骤(4-5)中得到的触觉特征f_tac输入到步骤(3)的可鉴别物品材质的触觉分类器中，触觉分类器输出鉴别出的材质；

(4-7)按照步骤(4-6)中鉴别出的目标物品材质信息，操控机械臂，带动机械手移动至回收相应材质的物品回收容器，控制机械手，释放抓取的目标物品，控制机械臂的机械手系统回到初始位置P₀，完成该目标物品的分类回收；

(4-8)遍历操作台上的所有目标物品，重复步骤(4-1)-步骤(4-7)，实现全部目标物品的分类回收。

本发明提出的基于多模态主动感知的物品分类回收方法，其优点是：

本发明的基于多模态主动感知的物品材质鉴别方法，该方法首先搭建面向目标物品的目标检测网络模型，进而得到抓取目标物品的抓取位姿，根据抓取位姿引导机械臂机械手系统主动对目标物进行捏取式抓取。机械手手指末端配备触觉传感器，抓取目标物的同时可实时获取目标物表面的触觉信号。对获取的触觉信息进行特征提取并输入到鉴别物品材质的触觉分类器，完成对目标物品的分类回收。本发明利用视觉和触觉多模态信息，通过视觉检测结果引导机器人主动以最适合的位姿对目标物品进行抓取并采集触觉信息，实现物品材质识别，完成物品分类回收。本发明方法通过安装于机械手手指末端的触觉传感器阵列采集触觉信号序列，提取触觉特征，可快速准确地识别纸、塑料、玻璃和金属等常见可回收材料；本发明方法可以应用于将混合物品按材质进行分类回收，显著提升了物品分类回收的效率与自动化程度，具有较强的通用性和实际意义。

附图说明

图1是本发明方法的流程框图。

图2是本发明方法涉及的机器人物品分类回收操作系统的结构示意图。

图2中，1-机械臂，2-机械手，3-照相机，4-物品，5-操作平台，6-触觉传感器，7-物品回收容器。

图3是本发明方法中涉及的图像坐标系示意图。

具体实施方式

本发明提出的基于多模态主动感知的物品分类回收方法，其流程框图如图1所示，具体步骤如下：

(1)搭建一个如图2所示的实际机器人物品分类回收操作系统：

包括：一台机械臂1(本实施例为UniversalRobot 5)，一个包含吸盘的机械手2(如CobotCohand212款)，一台彩色深度照相机3(本实施例为KinectV2照相机)，一个触觉传感器6(本实施例为一款5×5压阻式柔性触觉传感器阵列，可采用常规型号)，一张可放置物品4的操作台5，以及物品回收容器7，彩色深度照相机3、触觉传感器6、机械手2和机械臂1与控制器相连；本发明的实施例中控制器为笔记本电脑；

其中，机械臂1的基座置于机械臂支架上并放置在操作台5前方，彩色深度照相机3用支架固定在操作台5正上方，彩色深度照相机3与机械臂1的基座相对位置固定，物品4随机摆放在操作台5的台面上，与彩色深度照相机3的镜头相距1至2米(本实施例放置于彩色深度照相机3正下方1.1米处)。建立机械臂1的机械臂基坐标系为o^b-x^by^bz^b，o^b为机械臂1的基座中心点，z^b为垂直于机械臂1基座朝上方向，y^b为垂直指向操作台5方向，x^b垂直于z^b和y^b所确定平面并且指向物品回收容器7方向，建立机械手2的机械手坐标系为o^h-x^hy^hz^h，o^h为机械手2的手掌中心点，z^h为垂直于机械手2手掌朝外方向，x^h垂直于机械手2相对手指的开合方向，y^h垂直于z^b和x^b所确定平面并符合右手定则，oⁱ-xⁱyⁱ为图像坐标系，oⁱ为彩色深度照相机3拍摄得到图片的左下角，xⁱ为从oⁱ向右方向，yⁱ为从oⁱ向上方向且垂直于xⁱ；

所述机械手2与机械臂1末端连接，机械手2在机械臂1的带动下运动，触觉传感器6装配于机械手2手指末端表面，机械手2通过蓝牙方式与控制器连接，机械臂1通过网线和局域网与笔记本电脑连接；

利用棋盘格标定法获取彩色深度照相机3的内参矩阵I_cam与彩色深度照相机3光心相对机械臂1机械臂基坐标系的外参矩阵

设机械臂1的初始位置为P₀；(本实施例要求机械臂本身在相机中不遮挡操作台台面即可)。

(2)训练一个检测物品4的视觉目标检测网络模型，得到相对于图像坐标系机械手2抓取物品4的抓取位姿，具体步骤如下：

(2-1)利用在公开大规模数据集上预训练好的目标检测网络作为初始网络(本实施例选用在COCO公开数据集上训练得到的SSD MobileNetV1目标检测网络)，采集物品4的图片和目标检测标注，用采集到的物品4的图片和目标检测标注对初始网络进行训练，得到检测物品4的视觉目标检测器D_obj；

(2-2)将物品4随机摆放在操作台5的台面上，各个物品之间没有遮挡，利用彩色深度照相机3从物品4的正上方向下拍摄(本实施例选用KinectV2照相机)，获取当前操作台面上的物品4的彩色图像I_c和深度图像I_d；

(2-3)将步骤(2-2)的彩色图像I_c输入到步骤(2-1)的视觉目标检测器D_obj中，视觉目标检测器D_obj输出为物品4的包络框以及与物品4的包络框相对应的置信度值；设定一个置信度阈值为τ_obj(本实施例中τ_obj＝0.2)，使视觉目标检测器D_obj输出所有置信度值大于τ_obj的物品包络框，对视觉目标检测器D_obj的输出进行判断，若视觉目标检测器D_obj未输出物品包络框，则返回步骤(2-2)，若视觉目标检测器D_obj输出物品包络框，则选取输出的包络框中置信度值最高的包络框B_box，并进入步骤(2-4)；

(2-4)根据步骤(2-3)中的包络框B_box的范围，对步骤(2-2)的彩色图像I_c和深度图像I_d继续剪裁，得到彩色裁剪图像I′_c和深度裁剪图像I′_d，将彩色裁剪图像I′_c和深度裁剪图像I′_d输入到Affordance网络，Affordance网络的输出为机械手抓取点热力图A_map，抓取点热力图A_map的每个像素与彩色裁剪图像I′_c和深度裁剪图像I′_d的每一个像素相对应，抓取点热力图A_map中的每个像素的像素值表示该像素位置适合被抓取的程度，像素值越大表示该位置越适合被抓取；

(2-5)将步骤(2-4)的抓取点热力图A_map中像素值最大的像素点(x_s，y_s)作为机械手吸盘吸取目标物品的吸取点，(x_s，y_s)相对于图像坐标系：

(x_s，y_s)＝argmax_(x，y)(A_map)；

(2-6)分别设定一个像素阈值上限δ_max和一个像素阈值下限δ_min，得到一个像素阈值范围[δ_min，δ_max]，从步骤(2-4)的抓取热力图A_map中提取像素值在像素阈值范围[δ_min，δ_max]内的像素点，所有像素点构成一个区域S，本实施例阈值上限δ_max＝255，阈值下限δ_min＝100，则阈值范围为[100，255]，对区域S中的全部像素点的像素位置坐标进行主成分分析计算(Principal component analysis，简称PCA)，得到第一主成分C₁，C₁为一个方向向量，该方向向量表示区域S中的全部像素点在C₁方向的投影最为分散，选择与C₁方向相垂直的方向C′₁作为机械手2采用捏取方式抓取目标物时手指闭合的方向，C′₁为在图像坐标系中的表示，得到相对于图像坐标系的机械手2抓取物品4的抓取位姿p＝[x_s，y_s，C′₁]，图像坐标系如图3所示；

(3)训练一个用于鉴别物品材质的触觉分类器，具体包括以下步骤：

(3-1)采集物品4的触觉数据集，具体包括以下步骤：

(3-1-1)物品4中包含N个已知材质的物品，共包含M种材质类型，例如本发明一个实施例中选取了塑料、纸、玻璃、金属4种材质，盒子，瓶子，罐子等共计16个物品；

(3-1-2)从步骤(3-1-1)的N个已知材质的物品4中选取物品O放到操作台5的台面上，控制机械臂1运动，带动机械手2到达适合抓取物品O的最佳抓取位姿，控制机械手2相对的手指闭合，以捏取方式抓取物品O，机械手2手指末端安装的触觉传感器6与物品O表面相互接触，触觉传感器6为阵列式，阵列的尺寸为m×n，触觉采样频率为ω，记触觉传感器阵列中的每个触点的传感压力为t_i，j，其中i＝1，2，...，m，j＝1，2，...，n，当机械手2相对的手指逐渐闭合时，观察触觉传感压力读数，当有触点的触觉传感压力读数足够大时(本实施例设置读数值大于传感器量程*5％)，认为物品O被抓取成功，这时开始记录λ时间段内阵列式触觉传感器触觉传感压力读数，共计得到T＝ω×λ个采样数据，则得到触觉时间序列m×n×T(本实施例设置λ为3秒)，此时控制机械手2松开被抓取的物品O，完成对物品O的一次触觉数据采集，对于物体O，共进行k次触觉数据采集(本实施例中k＝100)，可以得到物品O的k个触觉时间序列，并记录物品O的材质标签；

(3-1-3)遍历步骤(3-1-1)中的N个已知材质的物品，重复步骤(3-1-2)，得到物品4的触觉数据集D_tac；

(3-2)对步骤(3-1-3)的物品4的触觉数据集D_tac中的每个触觉时间序列m×n×T提取触觉特征，具体包括以下步骤：

(3-2-1)将阵列尺寸为m×n的触觉传感阵列的各个触觉传感压力读数取平均值，则触觉时间序列m×n×T转化为：

S＝[s₁，s₂，...，s_T]；

(3-2-2)分别计算步骤(3-2-1)的触觉时间序列S的平均值μ_S、方差

最大值max_S、最小值min_S和范围range_S：

max_S＝maximum(s_t)，

min_S＝minimum(s_t)，

range_S＝max_S-min_S；

(3-2-3)将步骤(3-2-2)中提取的特征顺次连接，得到触觉特征：

(3-3)根据步骤(3-2)的触觉特征和步骤(3-1-3)的物品触觉数据集D_tac中提供的相应材质标签，利用支持向量机SVM作为触觉分类器，以触觉特征作为支持向量机SVM的输入，材质标签作为支持向量机SVM的输出，进行训练，得到可鉴别物品材质的触觉分类器；

(4)利用步骤(2)得到的抓取位姿和步骤(3)得到的鉴别物品材质的触觉分类器完成对目标物品的分类回收，具体包括以下步骤：

(4-1)采用步骤(2-2)至步骤(2-6)的方法，对目标物品进行相应操作，得到相对于图像坐标系，用机械手2抓取目标物品的吸取点(x_s,y_s)以及机械手2采用捏取方式抓取目标物时手指闭合的方向C′₁；

(4-2)取步骤(4-1)中得到的吸取点(x_s,y_s)以及机械手2采用捏取方式抓取目标物时手指闭合的方向C′₁，根据步骤(1)的彩色深度照相机3的内参矩阵I_cam与彩色深度照相机3光心相对机械臂1机械臂基坐标系的外参矩阵

将吸取点(x_s,y_s)转换至机械臂1的机械臂基坐标系下得到

方向C′₁转换至机械臂基坐标系下得到

取操作台5上方h处，该高度相对于基坐标系z^b轴坐标为

则用计算机控制机械臂1移动机械臂末端至

处，调整机械臂1末端位姿，令机械手2手掌朝下，机械手坐标系z^h轴正方向与操作台台面垂直，绕机械手2的z^h轴旋转机械手，令机械手2手指的开合方向相对于基坐标系与

同方向，进入步骤(4-3)；

(4-3)利用计算机控制机械手2，首先将机械手2的吸盘推出，利用吸盘把目标物体吸起，机械手2两手指之间相对，控制机械手2，闭合手指以捏取的方式抓取目标物品，当机械手2相对的手指逐渐闭合时，设定触觉传感压力的阈值，观察触觉传感压力读数，若有触点的触觉传感压力大于设定阈值(本实施例设置读数阈值为传感器量程*5％)，认为目标物品被抓取成功抓取，进入步骤(4-4)，若有触点的触觉传感压力小于或等于设定阈值，则重新获取场景图像信息，返回步骤(4-1)；

(4-4)记录λ时间段内的阵列式触觉传感器6的触觉传感压力读数，得到触觉时间序列m×n×T；

(4-5)采用步骤(3-2)中的方法，从步骤(4-4)记录的触觉序列m×n×T中提取触觉特征f_tac；

(4-6)将步骤(4-5)中得到的触觉特征f_tac输入到步骤(3)的可鉴别物品材质的触觉分类器中，触觉分类器输出鉴别出的材质；

(4-7)按照步骤(4-6)中鉴别出的目标物品材质信息，操控机械臂1，带动机械手2移动至回收相应材质的物品回收容器7，控制机械手2，释放抓取的目标物品，控制机械臂1机械手2系统回到初始位置P₀，完成该目标物品的分类回收；

(4-8)遍历所有操作台上的目标物品，重复步骤(4-1)-步骤(4-7)实现全部目标物品的分类回收。

Claims (1)

1.一种基于多模态主动感知的物品分类回收方法，其特征在于该方法包括以下步骤：

(1)搭建一个机器人物品分类回收操作系统：

包括：一台机械臂、一个包含吸盘的机械手、一台彩色深度照相机、一个触觉传感器、一张可放置物品的操作台和物品回收容器，彩色深度照相机、触觉传感器、机械手和机械臂与控制器相连；

其中，机械臂的基座置于机械臂支架上并放置在操作台前方，彩色深度照相机用支架固定在操作台正上方，彩色深度照相机与机械臂的基座相对位置固定，物品随机摆放在操作台的台面上，与彩色深度照相机的镜头相距1至2米；建立机械臂的机械臂基坐标系为o^b-x^by^bz^b，o^b为机械臂的基座中心点，z^b为垂直于机械臂基座朝上方向，y^b为垂直指向操作台方向，x^b垂直于z^b和y^b所确定平面并且指向物品回收容器方向；建立机械手的机械手坐标系为o^h-x^hy^hz^h，o^h为机械手的手掌中心点，z^h为垂直于机械手手掌朝外方向，x^h垂直于机械手相对手指的开合方向，y^h垂直于z^b和x^b所确定平面并符合右手定则，oⁱ-xⁱyⁱ为图像坐标系，oⁱ为彩色深度照相机拍摄得到图片的左下角，xⁱ为从oⁱ向右方向，yⁱ为从oⁱ向上方向且垂直于xⁱ；

所述机械手与机械臂末端连接，机械手在机械臂的带动下运动，触觉传感器装配于机械手手指末端表面，机械手通过蓝牙方式与控制器连接，机械臂通过网线和局域网与笔记本电脑连接；

利用棋盘格标定法获取彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂基坐标系的外参矩阵

设机械臂的初始位置为P₀；

(2)训练一个检测物品的视觉目标检测网络模型，得到相对于图像坐标系机械手抓取物品的抓取位姿，具体步骤如下：

(2-1)利用在公开大规模数据集上预训练好的目标检测网络作为初始网络，采集物品的图片和目标检测标注，用采集到的物品的图片和目标检测标注对初始网络进行训练，得到检测物品的视觉目标检测器D_obj；

(2-2)将物品随机摆放在操作台的台面上，利用彩色深度照相机从物品的正上方向下拍摄，获取当前操作台面上的物品的彩色图像I_c和深度图像I_d；

(2-3)将步骤(2-2)的彩色图像I_c输入到步骤(2-1)的视觉目标检测器D_obj中，视觉目标检测器D_obj输出为物品包络框以及与物品包络框相对应的置信度值；设定一个置信度阈值为τ_obj，使视觉目标检测器D_obj输出所有置信度值大于τ_obj的物品包络框，对视觉目标检测器D_obj的输出进行判断，若视觉目标检测器D_obj未输出物品包络框，则返回步骤(2-2)，若视觉目标检测器D_obj输出物品包络框，则选取输出的物品包络框中置信度值最高的物品包络框B_box，并进入步骤(2-4)；

(2-4)根据步骤(2-3)中的物品包络框B_box的范围，对步骤(2-2)的彩色图像I_c和深度图像I_d继续剪裁，得到彩色裁剪图像I_c′和深度裁剪图像I_d′，将彩色裁剪图像I_c′和深度裁剪图像I_d′输入到Affordance网络，Affordance网络的输出为机械手抓取点热力图A_map，抓取点热力图A_map的每个像素与彩色裁剪图像I_c′和深度裁剪图像I_d′的每一个像素相对应，抓取点热力图A_map中的每个像素的像素值表示该像素位置适合被抓取的程度，像素值越大表示该像素位置越适合被抓取；

(2-5)将步骤(2-4)的抓取点热力图A_map中像素值最大的像素点(x_s，y_s)作为机械手吸盘吸取目标物品的吸取点，(x_s，y_s)相对于图像坐标系：

(x_s，y_s)＝argmax_(x，y)(A_map)；

(2-6)分别设定一个像素阈值上限δ_max和一个像素阈值下限δ_min，得到一个像素阈值范围[δ_min，δ_max]，从步骤(2-4)的抓取热力图A_map中提取像素值在像素阈值范围[δ_min，δ_max]内的像素点，所有像素点构成一个区域S，对区域S中的全部像素点的像素位置坐标进行主成分分析计算，得到第一主成分C₁，C₁为一个方向向量，该方向向量表示区域S中的全部像素点在C₁方向的投影最为分散，选择与C₁方向相垂直的方向C₁′作为机械手采用捏取方式抓取目标物时手指闭合的方向，C₁′为在图像坐标系中的表示，得到相对于图像坐标系的机械手抓取物品的抓取位姿p＝[x_s，y_s，C₁′]；

(3)训练一个用于鉴别物品材质的触觉分类器，具体包括以下步骤：

(3-1)采集物品的触觉数据集，具体包括以下步骤：

(3-1-1)设物品中包含N个已知材质的物品，共包含M种材质类型；

(3-1-2)从步骤(3-1-1)的N个已知材质的物品中选取物品O放到操作台的台面上，控制机械臂运动，带动机械手到达适合抓取物品O的最佳抓取位姿，控制机械手相对的手指闭合，以捏取方式抓取物品O，机械手手指末端安装的触觉传感器与物品O表面相互接触，触觉传感器为阵列式，阵列的尺寸为m×n，触觉采样频率为ω，记触觉传感器阵列中的每个触点的传感压力为t_i，j，其中i＝1，2，...，m，j＝1，2，...，n，当机械手相对的手指逐渐闭合时，观察触觉传感压力读数，当有触点的触觉传感压力读数足够大时，认为物品O被抓取成功，这时开始记录λ时间段内阵列式触觉传感器触觉传感压力读数，共计得到T＝ω×λ个采样数据，则得到触觉时间序列m×n×T，此时控制机械手松开被抓取的物品O，完成对物品O的一次触觉数据采集，对于物体O，共进行k次触觉数据采集，得到物品O的k个触觉时间序列，并记录物品O的材质标签；

(3-1-3)遍历步骤(3-1-1)中的N个已知材质的物品，重复步骤(3-1-2)，得到物品的触觉数据集D_tac；

(3-2)对步骤(3-1-3)的物品的触觉数据集D_tac中的每个触觉时间序列m×n×T提取触觉特征，具体包括以下步骤：

(3-2-1)将阵列尺寸为m×n的触觉传感阵列的各个触觉传感压力读数取平均值，则触觉时间序列m×n×T转化为：

S＝[s₁，s₂，...，s_T]；

(3-2-2)分别计算步骤(3-2-1)的触觉时间序列S的平均值μ_S、方差

最大值max_S、最小值min_S和范围range_S：

max_S＝maximum(s_t)，

min_S＝minimum(s_t)，

range_S＝max_S-min_S；

(3-2-3)将步骤(3-2-2)中提取的特征顺次连接，得到触觉特征：

f_tac＝[μ_S，σ_S ²，max_S，min_S，range_S]；

(3-3)根据步骤(3-2)的触觉特征和步骤(3-1-3)的物品触觉数据集D_tac中提供的相应材质标签，利用支持向量机SVM作为触觉分类器，以触觉特征作为支持向量机SVM的输入，材质标签作为支持向量机SVM的输出，进行训练，得到可鉴别物品材质的触觉分类器；

(4)利用步骤(2)得到的抓取位姿和步骤(3)得到的鉴别物品材质的触觉分类器完成对目标物品的分类回收，具体包括以下步骤：

(4-1)采用步骤(2-2)至步骤(2-6)的方法，对目标物品进行相应操作，得到相对于图像坐标系，用机械手抓取目标物品的吸取点(x_s，y_s)以及机械手采用捏取方式抓取目标物时手指闭合的方向C₁′；

(4-2)取步骤(4-1)中得到的吸取点(x_s，y_s)以及机械手采用捏取方式抓取目标物品时手指闭合的方向C₁′，根据步骤(1)的彩色深度照相机的内参矩阵I_cam与彩色深度照相机光心相对机械臂基坐标系的外参矩阵

将吸取点(x_s，y_s)转换至机械臂的机械臂基坐标系下得到

方向C₁′转换至机械臂基坐标系下得到

取操作台上方高度h处，该高度相对于机械臂基坐标系z^b轴坐标为

则用计算机控制机械臂移动机械臂末端至

处，调整机械臂末端位姿，令机械手手掌朝下，机械手坐标系z^h轴正方向与操作台台面垂直，绕机械手的z^h轴旋转机械手，令机械手手指的开合方向相对于机械臂基坐标系与

同方向，进入步骤(4-3)；

(4-3)利用计算机控制机械手，首先将机械手的吸盘推出，利用吸盘把目标物体吸起，机械手两手指之间相对，控制机械手，闭合手指以捏取的方式抓取目标物品，当机械手相对的手指逐渐闭合时，设定触觉传感压力的阈值，观察触觉传感压力读数，若有触点的触觉传感压力大于设定阈值，认为目标物品被抓取成功抓取，进入步骤(4-4)，若有触点的触觉传感压力小于或等于设定阈值，则重新获取场景图像信息，返回步骤(4-1)；

(4-4)记录λ时间段内的阵列式触觉传感器的触觉传感压力读数，得到触觉时间序列m×n×T；

(4-5)采用步骤(3-2)中的方法，从步骤(4-4)记录的触觉序列m×n×T中提取触觉特征f_tac；

(4-6)将步骤(4-5)中得到的触觉特征f_tac输入到步骤(3)的可鉴别物品材质的触觉分类器中，触觉分类器输出鉴别出的材质；

(4-7)按照步骤(4-6)中鉴别出的目标物品材质信息，操控机械臂，带动机械手移动至回收相应材质的物品回收容器，控制机械手，释放抓取的目标物品，控制机械臂的机械手系统回到初始位置P₀，完成该目标物品的分类回收；

(4-8)遍历操作台上的所有目标物品，重复步骤(4-1)-步骤(4-7)，实现全部目标物品的分类回收。

Images