CN112819135B - 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 - Google Patents
基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 Download PDFInfo
- Publication number
- CN112819135B CN112819135B CN202011519487.6A CN202011519487A CN112819135B CN 112819135 B CN112819135 B CN 112819135B CN 202011519487 A CN202011519487 A CN 202011519487A CN 112819135 B CN112819135 B CN 112819135B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- grabbing
- mechanical arm
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法,通过3D结构光相机获取物料的三维点云数据,并与ConvPoint模型相结合进行物料分拣,该方法不受物料初始位姿和外形影响,抓取目标多样,系统鲁棒性更强。与现有的深度学习方法相比,本发明利用PCA改善抓取采样,使得物料抓取的准确率明显提高,另外评估网络输入夹具内部的点云而非整个物体点云,减少了学习和推理时间,极大的提高了物料分拣的效率。此外,在ConvPoint模型训练阶段,本发明实时采集了不同种类复杂结构物料的点云数据作为训练集,并没有依赖网上开源的简单物体的数据集,实现了对不同位姿的复杂物体抓取,提高了分拣系统的智能化和自动化水平。
Description
技术领域
本发明涉及一种基于ConvPoint模型的物料分拣方法,具体是一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法。
背景技术
目前,随着消费级视觉设备的普及,由相机引导机械臂完成抓取成为热点话题。其中,生成执行机构的6D抓取位姿(即3D位置和3D方向)是任何机械臂完成抓取的关键。但是,目前的大多数研究都是基于2D图像或者2.5D深度图像。与3D点云相比,图像和深度图像缺少三维空间几何信息,数据特征不明显或者特征点比较少,有时需要复杂的手工特征才能处理数据。而机械臂的抓取非常依赖于目标的三维空间表面特征,因此基于2D图像或者2.5D深度图像的方法将缺少几何分析,往往只能垂直抓取,很难生成精确的6D抓取位姿。
针对这些问题,也有研究直接处理3D点云数据。基于点云生成抓取位姿可以分为提取特征估计目标物体位姿的传统方法和基于深度学习评估机械臂抓取位姿的方法。基于点云的传统方法获取目标位姿可以概括为点云配准,即根据原始点云和目标点云,通过提取关键点、特征描述等方法进行匹配求出变换矩阵,变换矩阵包括旋转矩阵R和平移矩阵T,并计算误差来比较匹配结果质量。点云配准产生了许多算法,包括:迭代最近点算法(Iterative Closest Point,ICP)、点对特征算法(Point Pair Features PPF)和快速点特征直方图算法(Fast Point Feature Histogram,FPFH)等。但这些算法最大的缺点是精度很大程度上受到初始位姿精度的影响,不仅如此,对于一些特征并不明显、非常稀疏的点云,求解效果并不理想。比如匹配一些对称且规则的点云,求得的变换矩阵可能会有多个。此外,点云配准的一个匹配周期只能选择一个匹配模板,因此应用于物料分拣时,只能适用于同一形状的物体,抓取目标单一。
为了克服传统方法的缺陷,目前行业内也有通过3D点云神经网络的方式生成最优抓取位姿,并且不需要估计目标的位姿。基于深度学习的方法主要分为两大部分:输入原始点云,使用基本的几何信息对抓取位姿进行采样,生成抓取候选;通过3D神经网络,对采样到的抓取位姿进行评估,筛选出最优解。但目前基于深度学习的方法,大都还是在网上公开数据集上进行训练的,比如ModelNet、ShapeNet和Npm3D等数据集,主要针对一些简单规则的生活用品,比如立方体纸盒、圆柱体罐子等。此外,输入到网络中的点云数据量庞大,在进行一次完整的前向传播时所花费的时间长,导致分拣效率较低,很难布置到工业现场。不仅如此,最初的抓取位姿采样对最终的效果有很大影响,目前的采样方法大多利用基本的启发式几何信息生成抓取候选。但在噪声比较大,或者点云稀疏的条件下很难估计目标表面法线,无法做到精准的高质量采样,比如沿着杯子的边缘结构很难生成抓取候选,因此亟需一种能够有效改善抓取位姿采样的手段。
发明内容
针对上述现有技术存在的问题,本发明提供一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法,通过3D视觉和ConvPoint模型相结合,能对不同位姿、不同结构的物料进行精准的抓取分拣,从而有效保证传送带的分拣效率。
为了实现上述目的,本发明采用的技术方案是:一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法,采用的分拣系统包括3D结构光相机、机械臂和计算机,3D结构光相机用于拍摄柔性生产线传送带上物料的图像并反馈给计算机,计算机用于对拍摄的图像进行处理后,控制机械臂对柔性生产线传送带上的不同物料进行分拣,具体步骤为:
S1、通过九点标定法获取相机坐标系与机械臂坐标系之间的空间转换矩阵,具体为:
先通过示教器控制机械臂的末端夹具移动到标定板上的M个点得到在机器人坐标系中的坐标,同时利用3D结构光相机识别标定板上的同样数量的点得到在相机坐标系下的坐标,此时能得到M组对应的坐标,从而计算出相机坐标系与机械臂坐标系之间的空间转换矩阵Tcw;
S2、3D结构光相机获取传送带上各个物料的三维点云信息,并反馈给计算机对获取的点云进行预处理,具体为:
通过3D结构光相机扫描传送带上的物料,得到原始点云信息,利用PCL点云库对点云进行直通滤波、下采样和离群点移除的预处理过程,从而获得预处理后的点云图像;
S3、将预处理后的点云图像进行下采样,利用基于八叉树的空间划分的半径内近邻算法找到每个采样点附近内的点,形成多个点云小模块,具体为:
对步骤S2预处理之后的点云图像再次进行下采样,且其使用的体素网格叶比步骤S2的下采样体素网格叶更大,获得n个采样点;利用基于八叉树的空间划分的搜索半径内近邻算法找到每个采样点附近内的点,所述搜索半径设为机械臂末端夹具最大宽度的一半;每个采样点及其对应的搜索半径内的点云重新组合形成n个点云小模块;
S4、对每一个点云小模块进行PCA主元分析,形成多个点云包络盒,每个包络盒生成一个当前局部最优抓取位姿,从而完成高质量抓取位姿的采样,具体为:
设[[a,b]]表示从a到b的整数序列,步长为1,对步骤S3获得n个点云小模块分别进行主元分析,设采样点Pi对应的点云小模块有m个点,则该点云小模块能表示为m*3的矩阵Di:
其中i∈[[0,n-1]],(xj,yj,zj),j∈[[0,m-1]]代表索引为j的点的三维空间坐标,将点云矩阵Di的每一列作均值归零处理,获得矩阵Di’:
其中μx、μy和μz分别代表点云矩阵Di中x、y和z的平均值。令每个点的质量为1,根据质心公式:
能得出点云矩阵Di对应的质心Pc(μx,μy,μz),Di均值归零处理是将点云的质心移到原点,不影响主元方向;则该点云小模块的协方差矩阵Ci表示为:Ci=Di'TDi';
根据协方差矩阵Ci求出其特征向量v1、v2和v3以及对应的特征值λ1、λ2和λ3;根据PCA理论得出,该点云小模块的主元向量为其协方差矩阵Ci的特征向量v1、v2和v3,各自保存的信息量为对应的特征值λ1、λ2和λ3;根据每个点云小模块的3个主元向量,绘制出各自对应的包络盒,比较每个包络盒各自的长宽高,计算出其中最小的一边所对应的主元向量vmin,同时求出每个包络盒对应的采样点Pi处的法线向量vn;以点Pi作为抓取点,求得机械臂末端夹具的3D抓取位置pi=Pi,令机械臂末端方向与法线向量vn相同,机械臂末端夹具平面平行于向量vmin,求得机械臂末端夹具的3D抓取方向ri,从而获得机械臂执行机构的6D抓取位姿gi=(pi,ri),最终完成高质量抓取位姿的采样;
S5、将步骤S4获得的高质量抓取位姿候选输入到提前训练好的ConvPoint模型中进行评估,在多目标抓取中将抓取位姿的实际高度也作为评估指标之一,得分最高的作为最后的全局最优抓取位姿,具体为:
设步骤S4获取的机械臂末端夹具抓取位姿为g,用s=(Wo,Mo,γo)表示抓取目标o,其中Wo、Mo和γo分别表示抓取目标o的6D位姿、几何属性以及与夹具之间的摩擦系数,为评估步骤S4采样到的抓取位姿g的质量,定义质量指标为Q(s,g)为:
Q(s,g)=αQfc(s,g)+βQgws(s,g)+γQh(s,g)
其中Qfc(s,g)为夹具与抓取目标之间摩擦力的倒数,Qgws(s,g)为夹具完成夹取任务时的宽度,Qh为抓取位姿实际的垂直高度,α、β和γ为系数常量,即当夹具与目标之间的摩擦力越小,实际夹取的宽度越窄,抓取点越高,则Q(s,g)越大,抓取位姿g的质量越高;
根据抓取位姿g以及夹具的长宽高参数,将步骤S2预处理之后的点云图像通过直通滤波操作获取夹具闭合区域内部的点云,并将该点云进行上/下采样、归一化和中心化的操作,最后输入到提前训练好的ConvPoint模型中进行质量评估;本发明并没有与输入整个目标点云,而是输入部分少数点云,大大提高了学习和推理效率。
S6、将最终得到的最优抓取位姿通过步骤S1获取的转换矩阵,变换到机械臂坐标系中,通过串口发送给机械臂,机械臂运动到最优抓取位姿处,通过夹具实现物料的抓取分拣,具体为:
根据步骤S5质量评估的输出和抓取的垂直高度进行综合评估,得分最高的作为最优抓取位姿,根据步骤S1获得的转换矩阵Tcw,再将最优抓取位姿转换到机械臂坐标系中,并将信息发送给机械臂,机械臂通过夹具实现一个物料的抓取分拣;
S7、重复S2至S6的步骤,直到传送带上的所有物料全部被分拣完毕。
进一步,所述ConvPoint模型的建立及训练过程为:
建立ConvPoint模型,设X={(pj,xj)}为点云输入,K={(ci,wi)}为卷积核,pj和ci,xj和wi分别代表空间域值和特征域值,y为卷积层输出,令X和K的基数分别为|X|和|K|,其中i,j∈|X|;C为输出通道数,|Q|为输出点云个数,k为K近邻搜索算法中搜索点个数;与图像相反,点云是非结构和无序的数据。因此,大多数为图像开发的机器学习方法无法直接转移到点云上。ConvPoint模型通过将连续卷积核替代离散核来处理点云,提出了离散卷积神经网络(CNN)的泛化。这种结构非常简单,允许任意点云作为输入,并且可以应用于设计类似于2D CNN的神经网络。最终卷积层输出y被定义为:
其中β为偏移量,为几何权重函数,将函数应用于{pj-ci},即点对于卷积核元素的相对位置的集合,同时选择求和函数作为对称函数来提取特征,这样就解决了点云的排列不变性和旋转不变性的问题,最后通过一个全连接(MLP)学习获取如图3所示,输入点云在经过5层上述卷积操作之后,逐渐减少点云的输出数量|Q|,增加输出通道C,并根据质量指标Q(s,g)进行人工标注,最后再将最终卷积层输出y输入到神经网络里面,利用标注的数据对ConvPoint模型进行训练。
进一步,所述步骤S1中的M值为9。
与现有技术相比,本发明通过3D结构光相机获取物料的三维点云数据,并与ConvPoint模型相结合进行物料分拣,该方法不受物料初始位姿和外形影响,抓取目标多样,系统鲁棒性更强。与现有的深度学习方法相比,本发明利用PCA改善抓取采样,使得物料抓取的准确率明显提高,另外评估网络输入夹具内部的点云而非整个物体点云,减少了学习和推理时间,极大的提高了物料分拣的效率。此外,在ConvPoint模型训练阶段,本发明实时采集了不同种类复杂结构物料的点云数据作为训练集,并没有依赖网上开源的简单物体的数据集,实现了对不同位姿的复杂物体抓取,提高了分拣系统的智能化和自动化水平。
附图说明
图1是本发明基于ConvPoint模型引导机械臂实现物料分拣的流程示意图;
图2是本发明中ConvPoint模型卷积层流程示意图;
图3是本发明中ConvPoint模型分类网络结构示意图;
图4是本发明中3D结构光相机采集目标原始点云数据的示意图;
图5是本发明对点云数据进行预处理之后的示意图;
图6是本发明基于ConvPoint模型的抓取位姿质量评估网络结构示意图。
具体实施方式
下面将对本发明作进一步说明。
如图所示,本发明采用的分拣系统包括3D结构光相机、机械臂和计算机,3D结构光相机用于拍摄柔性生产线传送带上物料的图像并反馈给计算机,计算机用于对拍摄的图像进行处理后,控制机械臂对柔性生产线传送带上的不同物料进行分拣,具体步骤为:
S1、通过九点标定法获取相机坐标系与机械臂坐标系之间的空间转换矩阵,具体为:
先通过示教器控制机械臂的末端夹具移动到标定板上的9个点得到在机器人坐标系中的坐标,同时利用3D结构光相机识别标定板上的同样数量的点得到在相机坐标系下的坐标,此时能得到9组对应的坐标,从而计算出相机坐标系与机械臂坐标系之间的空间转换矩阵Tcw;
S2、3D结构光相机获取传送带上各个物料的三维点云信息,并反馈给计算机对获取的点云进行预处理,具体为:
通过3D结构光相机扫描传送带上的物料,得到原始点云信息,如图4所示,利用PCL点云库对点云进行直通滤波(xyz的范围分别设定为(-70,70),(-100,100),(250,390))、下采样(体素网格叶大小为0.6*0.6*0.6)和离群点移除的预处理过程,从而获得预处理后的点云图像,如图5所示。
S3、将预处理后的点云图像进行下采样,利用基于八叉树的空间划分的半径内近邻算法(Neighbors within Radius Search)找到每个采样点附近内的点,形成多个点云小模块,具体为:
对步骤S2预处理之后的点云图像再次进行下采样,且其使用的体素网格叶比步骤S2的下采样体素网格叶更大(体素网格叶大小为15*15*15),获得n个采样点;利用基于八叉树的空间划分的搜索半径内近邻算法找到每个采样点附近内的点,所述搜索半径设为机械臂末端夹具最大宽度的一半,即12mm;每个采样点及其对应的搜索半径内的点云重新组合形成n个点云小模块;
S4、对每一个点云小模块进行主元分析,形成多个点云包络盒,每个包络盒生成一个当前局部最优抓取位姿,从而完成高质量抓取位姿的采样,主元分析(即PCA),是一种对数据进行分析的技术,最重要的应用是对原有数据进行简化,可以有效的找出数据中最“主要”的元素和结构,去除噪音和冗余。本发明将其应用在点云数据的简化上,利用PCA求出点云数据的主元向量,再根据主元向量的方向求出点云的包络盒,根据PCA理论可知,点云的主元向量为其协方差矩阵的特征向量,保存的信息量就是它对应的特征值,具体为:
设[[a,b]]表示从a到b的整数序列,步长为1,对步骤S3获得n个点云小模块分别进行主元分析,设采样点Pi对应的点云小模块有m个点,则该点云小模块能表示为m*3的矩阵Di:
其中i∈[[0,n-1]],(xj,yj,zj),j∈[[0,m-1]]代表索引为j的点的三维空间坐标,将点云矩阵Di的每一列作均值归零处理,获得矩阵Di’:
其中μx、μy和μz分别代表点云矩阵Di中x、y和z的平均值。令每个点的质量为1,根据质心公式:
能得出点云矩阵Di对应的质心Pc(μx,μy,μz),Di均值归零处理是将点云的质心移到原点,不影响主元方向;则该点云小模块的协方差矩阵Ci表示为:Ci=Di'TDi';
根据协方差矩阵Ci求出其特征向量v1、v2和v3以及对应的特征值λ1、λ2和λ3;根据PCA理论得出,该点云小模块的主元向量为其协方差矩阵Ci的特征向量v1、v2和v3,各自保存的信息量为对应的特征值λ1、λ2和λ3;根据每个点云小模块的3个主元向量,绘制出各自对应的包络盒,比较每个包络盒各自的长宽高,计算出其中最小的一边所对应的主元向量vmin,同时求出每个包络盒对应的采样点Pi处的法线向量vn;以点Pi作为抓取点,求得机械臂末端夹具的3D抓取位置pi=Pi,令机械臂末端方向与法线向量vn相同,机械臂末端夹具平面平行于向量vmin,求得机械臂末端夹具的3D抓取方向ri,从而获得机械臂执行机构的6D抓取位姿gi=(pi,ri),最终完成高质量抓取位姿的采样;
S5、将步骤S4获得的高质量抓取位姿候选输入到提前训练好的ConvPoint模型中进行评估,在多目标抓取中将抓取位姿的实际高度也作为评估指标之一,得分最高的作为最后的全局最优抓取位姿,具体为:
设步骤S4获取的机械臂末端夹具抓取位姿为g,用s=(Wo,Mo,γo)表示抓取目标o,其中Wo、Mo和γo分别表示抓取目标o的6D位姿、几何属性以及与夹具之间的摩擦系数,为评估步骤S4采样到的抓取位姿g的质量,定义质量指标为Q(s,g)为:
Q(s,g)=αQfc(s,g)+βQgws(s,g)+γQh(s,g)
其中Qfc(s,g)为夹具与抓取目标之间摩擦力的倒数,Qgws(s,g)为夹具完成夹取任务时的宽度,Qh为抓取位姿实际的垂直高度,α、β和γ为系数常量,即当夹具与目标之间的摩擦力越小,实际夹取的宽度越窄,抓取点越高,则Q(s,g)越大,抓取位姿g的质量越高;
本发明基于ConvPoint模型的抓取位姿质量评估网络结构如图6所示,根据抓取位姿g以及夹具的长宽高参数,将步骤S2预处理之后的点云图像通过直通滤波操作获取夹具闭合区域内部的点云,并将该点云进行上/下采样、归一化和中心化的操作,最后输入到提前训练好的ConvPoint模型中进行质量评估;本发明并没有与输入整个目标点云,而是输入部分少数点云,大大提高了学习和推理效率。所述ConvPoint模型的训练过程为:
建立ConvPoint模型,设X={(pj,xj)}为点云输入,K={(ci,wi)}为卷积核,pj和ci,xj和wi分别代表空间域值和特征域值,y为卷积层输出,令X和K的基数分别为|X|和|K|,且|X|=|K|,其中i,j∈|X|;在图3中,C为输出通道数,|Q|为输出点云个数,k为K近邻搜索算法中搜索点个数;与图像相反,点云是非结构和无序的数据。因此,大多数为图像开发的机器学习方法无法直接转移到点云上。ConvPoint模型通过将连续卷积核替代离散核来处理点云,提出了离散卷积神经网络(CNN)的泛化。这种结构非常简单,允许任意点云作为输入,并且可以应用于设计类似于2D CNN的神经网络。从图2中可以看出,该卷积流程与离散卷积类似,但与PointNet和PointNet++模型只输入空间域值不同的是,该模型综合考虑了空间域和特征域的值。最终卷积层输出y被定义为:
其中β为偏移量,为几何权重函数,将函数应用于{pj-ci},即点对于卷积核元素的相对位置的集合,同时选择求和函数作为对称函数来提取特征,这样就解决了点云的排列不变性和旋转不变性的问题,最后通过一个全连接(MLP)学习获取如图3所示,输入点云在经过5层上述卷积操作之后,逐渐减少点云的输出数量|Q|,增加输出通道C。最后再将卷积输出y输入到神经网络里面,并根据质量指标Q(s,g)人工对其进行标注,利用标注的数据对ConvPoint模型进行训练。
S6、将最终得到的最优抓取位姿通过步骤S1获取的转换矩阵,变换到机械臂坐标系中,通过串口发送给机械臂,机械臂运动到最优抓取位姿处,通过夹具实现物料的抓取分拣,具体为:
根据步骤S5质量评估的输出和抓取的垂直高度进行综合评估,得分最高的作为最优抓取位姿,根据步骤S1获得的转换矩阵Tcw,再将最优抓取位姿转换到机械臂坐标系中,并将信息发送给机械臂,机械臂通过夹具实现一个物料的抓取分拣;
S7、重复S2至S6的步骤,直到传送带上的所有物料全部被分拣完毕。
Claims (2)
1.一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法,其特征在于,采用的分拣系统包括3D结构光相机、机械臂和计算机,3D结构光相机用于拍摄柔性生产线传送带上物料的图像并反馈给计算机,计算机用于对拍摄的图像进行处理后,控制机械臂对柔性生产线传送带上的不同物料进行分拣,具体步骤为:
S1、通过九点标定法获取相机坐标系与机械臂坐标系之间的空间转换矩阵,具体为:
先通过示教器控制机械臂的末端夹具移动到标定板上的M个点得到在机器人坐标系中的坐标,同时利用3D结构光相机识别标定板上的同样数量的点得到在相机坐标系下的坐标,此时能得到M组对应的坐标,从而计算出相机坐标系与机械臂坐标系之间的空间转换矩阵Tcw;
S2、3D结构光相机获取传送带上各个物料的三维点云信息,并反馈给计算机对获取的点云进行预处理,具体为:
通过3D结构光相机扫描传送带上的物料,得到原始点云信息,利用PCL点云库对点云进行直通滤波、下采样和离群点移除的预处理过程,从而获得预处理后的点云图像;
S3、将预处理后的点云图像进行下采样,利用基于八叉树的空间划分的半径内近邻算法找到每个采样点附近内的点,形成多个点云小模块,具体为:
对步骤S2预处理之后的点云图像再次进行下采样,且其使用的体素网格叶比步骤S2的下采样体素网格叶更大,获得n个采样点;利用基于八叉树的空间划分的搜索半径内近邻算法找到每个采样点附近内的点,所述搜索半径设为机械臂末端夹具最大宽度的一半;每个采样点及其对应的搜索半径内的点云重新组合形成n个点云小模块;
S4、对每一个点云小模块进行主元分析,形成多个点云包络盒,每个包络盒生成一个当前局部最优抓取位姿,从而完成高质量抓取位姿的采样,具体为:
设[[a,b]]表示从a到b的整数序列,步长为1,对步骤S3获得n个点云小模块分别进行主元分析,设采样点Pi对应的点云小模块有m个点,则该点云小模块能表示为m*3的矩阵Di:
其中i∈[[0,n-1]],(xj,yj,zj),j∈[[0,m-1]]代表索引为j的点的三维空间坐标,将点云矩阵Di的每一列作均值归零处理,获得矩阵Di’:
其中μx、μy和μz分别代表点云矩阵Di中x、y和z的平均值,令每个点的质量为1,根据质心公式:
能得出点云矩阵Di对应的质心Pc(μx,μy,μz),Di均值归零处理是将点云的质心移到原点,不影响主元方向;则该点云小模块的协方差矩阵Ci表示为:Ci=Di'TDi';
根据协方差矩阵Ci求出其特征向量v1、v2和v3以及对应的特征值λ1、λ2和λ3;根据主元分析理论得出,该点云小模块的主元向量为其协方差矩阵Ci的特征向量v1、v2和v3,各自保存的信息量为对应的特征值λ1、λ2和λ3;根据每个点云小模块的3个主元向量,绘制出各自对应的包络盒,比较每个包络盒各自的长宽高,计算出其中最小的一边所对应的主元向量vmin,同时求出每个包络盒对应的采样点Pi处的法线向量vn;以点Pi作为抓取点,求得机械臂末端夹具的3D抓取位置pi=Pi,令机械臂末端方向与法线向量vn相同,机械臂末端夹具平面平行于向量vmin,求得机械臂末端夹具的3D抓取方向ri,从而获得机械臂执行机构的6D抓取位姿gi=(pi,ri),最终完成高质量抓取位姿的采样;
S5、建立ConvPoint模型,设X={(uj,fj)}为点云输入,K={(ci,wi)}为卷积核,uj和ci,fj和wi分别代表空间域值和特征域值,y为卷积层输出,令X和K的基数分别为|X|和|K|,且|X|=|K|,其中i,j∈|X|;C为输出通道数,|Q|为输出点云个数,k为K近邻搜索算法中搜索点个数;最终卷积层输出y被定义为:
其中β为偏移量,为几何权重函数,将函数应用于{uj-ci},即点对于卷积核元素的相对位置的集合,同时选择求和函数作为对称函数来提取特征,最后通过一个全连接学习获取φ,输入点云在经过5层上述卷积操作之后,逐渐减少点云的输出数量|Q|,增加输出通道C,并根据质量指标Q(s,g)进行人工标注,最后再将最终卷积层输出y输入到神经网络里面,利用标注的数据对ConvPoint模型进行训练,从而获得训练好的ConvPoint模型;
然后将步骤S4获得的高质量抓取位姿候选输入到提前训练好的ConvPoint模型中进行评估,在多目标抓取中将抓取位姿的实际高度也作为评估指标之一,得分最高的作为最后的全局最优抓取位姿,具体为:
设步骤S4获取的机械臂末端夹具抓取位姿为g,用s=(Wo,Mo,γo)表示抓取目标o,其中Wo、Mo和γo分别表示抓取目标o的6D位姿、几何属性以及与夹具之间的摩擦系数,为评估步骤S4采样到的抓取位姿g的质量,定义质量指标为Q(s,g)为:
Q(s,g)=α1Qfc(s,g)+α2Qgws(s,g)+α3Qh(s,g)
其中Qfc(s,g)为夹具与抓取目标之间摩擦力的倒数,Qgws(s,g)为夹具完成夹取任务时的宽度,Qh为抓取位姿实际的垂直高度,α1、α2和α3为系数常量;
根据抓取位姿g以及夹具的长宽高参数,将步骤S2预处理之后的点云图像通过直通滤波操作获取夹具闭合区域内部的点云,并将该点云进行上/下采样、归一化和中心化的操作,最后输入到提前训练好的ConvPoint模型中进行质量评估;
S6、将最终得到的最优抓取位姿通过步骤S1获取的转换矩阵,变换到机械臂坐标系中,通过串口发送给机械臂,机械臂运动到最优抓取位姿处,通过夹具实现物料的抓取分拣,具体为:
根据步骤S5质量评估的输出和抓取的垂直高度进行综合评估,得分最高的作为最优抓取位姿,根据步骤S1获得的转换矩阵Tcw,再将最优抓取位姿转换到机械臂坐标系中,并将信息发送给机械臂,机械臂通过夹具实现一个物料的抓取分拣;
S7、重复S2至S6的步骤,直到传送带上的所有物料全部被分拣完毕。
2.根据权利要求1所述的一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法,其特征在于,所述步骤S1中的M值为9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519487.6A CN112819135B (zh) | 2020-12-21 | 2020-12-21 | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519487.6A CN112819135B (zh) | 2020-12-21 | 2020-12-21 | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819135A CN112819135A (zh) | 2021-05-18 |
CN112819135B true CN112819135B (zh) | 2022-09-02 |
Family
ID=75853552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011519487.6A Active CN112819135B (zh) | 2020-12-21 | 2020-12-21 | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819135B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256793A (zh) * | 2021-05-31 | 2021-08-13 | 浙江科技学院 | 一种三维数据处理方法及系统 |
CN113752255B (zh) * | 2021-08-24 | 2022-12-09 | 浙江工业大学 | 一种基于深度强化学习的机械臂六自由度实时抓取方法 |
CN113420746B (zh) * | 2021-08-25 | 2021-12-07 | 中国科学院自动化研究所 | 机器人视觉分拣方法、装置、电子设备和存储介质 |
CN113920142B (zh) * | 2021-11-11 | 2023-09-26 | 江苏昱博自动化设备有限公司 | 一种基于深度学习的分拣机械手多物体分拣方法 |
CN114589698B (zh) * | 2022-04-07 | 2023-06-06 | 北京信息科技大学 | 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置 |
CN114800511B (zh) * | 2022-04-29 | 2023-11-14 | 华中科技大学 | 一种基于复用结构的双阶段机械臂抓取规划方法和系统 |
CN116844068B (zh) * | 2023-09-01 | 2023-12-26 | 山东省地质矿产勘查开发局第五地质大队(山东省第五地质矿产勘查院) | 建筑测绘方法、系统、计算机设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510062A (zh) * | 2018-03-29 | 2018-09-07 | 东南大学 | 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 |
CN110648361A (zh) * | 2019-09-06 | 2020-01-03 | 深圳市华汉伟业科技有限公司 | 一种三维目标物体的实时位姿估计方法及定位抓取系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091062B (zh) * | 2019-11-21 | 2023-07-04 | 东南大学 | 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法 |
CN111046948B (zh) * | 2019-12-10 | 2022-04-22 | 浙江大学 | 点云仿真和深度学习的工件位姿识别及机器人上料方法 |
-
2020
- 2020-12-21 CN CN202011519487.6A patent/CN112819135B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510062A (zh) * | 2018-03-29 | 2018-09-07 | 东南大学 | 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 |
CN110648361A (zh) * | 2019-09-06 | 2020-01-03 | 深圳市华汉伟业科技有限公司 | 一种三维目标物体的实时位姿估计方法及定位抓取系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112819135A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819135B (zh) | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 | |
CN112085735B (zh) | 一种基于自适应锚框的铝材质图像缺陷检测方法 | |
CN110314854B (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
Yu et al. | A vision-based robotic grasping system using deep learning for 3D object recognition and pose estimation | |
CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
US11144787B2 (en) | Object location method, device and storage medium based on image segmentation | |
Shao et al. | Suction grasp region prediction using self-supervised learning for object picking in dense clutter | |
CN111251295B (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
CN113524194A (zh) | 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 | |
CN111340754A (zh) | 一种基于飞机蒙皮表面缺陷检测和分类的方法 | |
CN107886539B (zh) | 一种工业场景下高精度齿轮视觉检测方法 | |
CN107016391A (zh) | 一种复杂场景工件识别方法 | |
Zhang et al. | Deep classification of vehicle makers and models: The effectiveness of pre-training and data enhancement | |
Hameed et al. | Pose estimation of objects using digital image processing for pick-and-place applications of robotic arms | |
CN112338898A (zh) | 物体分选系统的图像处理方法、装置及物体分选系统 | |
CN116543204A (zh) | 基于3d卷积神经网络和位移响应的金属板裂纹识别方法 | |
Lehr et al. | Automated optical inspection using anomaly detection and unsupervised defect clustering | |
CN113808206B (zh) | 一种基于视觉追踪机器人的排版系统及方法 | |
CN113681552B (zh) | 一种基于级联神经网络的机器人混杂物体五维抓取方法 | |
Hasan et al. | Model-free, vision-based object identification and contact force estimation with a hyper-adaptive robotic gripper | |
Ren et al. | A deep ensemble classifier for surface defect detection in aircraft visual inspection | |
CN113524172A (zh) | 机器人及其物品抓取方法、计算机可读存储介质 | |
Ogas et al. | Object grasping with a robot arm using a convolutional network | |
Wang et al. | Research on adhesive workpiece recognition and positioning based on machine vision | |
Li et al. | Deep learning: Excellent method at surface defect detection of industrial products |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |