CN115187748A - 一种基于点云的类别级的物体的质心与位姿估计 - Google Patents

一种基于点云的类别级的物体的质心与位姿估计 Download PDF

Info

Publication number
CN115187748A
CN115187748A CN202210854179.1A CN202210854179A CN115187748A CN 115187748 A CN115187748 A CN 115187748A CN 202210854179 A CN202210854179 A CN 202210854179A CN 115187748 A CN115187748 A CN 115187748A
Authority
CN
China
Prior art keywords
point cloud
centroid
algorithm
matrix
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210854179.1A
Other languages
English (en)
Inventor
吴继春
杨永达
张斋武
张平
范大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202210854179.1A priority Critical patent/CN115187748A/zh
Publication of CN115187748A publication Critical patent/CN115187748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于点云的类别级的物体的质心与位姿估计的算法。通过视觉算法对同一类别未见过物体的质心进行确定,即在训练时加入同一类别的一些CAD模型进行训练,但在检测时可以检测出同一个类别从未见过得实例。输入单张RGBD图片来对目标进行检测、分类及质心确定。避免了传统方法通过六边形包络盒确定质心偏差较大、无法测量未见过物体尺寸、每个物体都需要一个CAD模型对应等问题。包括：1)提出了输入单张RGBD图片来预测物体三维信息；2)解决了物体受遮挡情况下预测三维信息的问题；3)解决了已知类别未见过对象的物体的质心与位姿估计问题；4)解决了不同检测物体、不同摆放姿态、不同位置的三维信息预测问题。

Description

一种基于点云的类别级的物体的质心与位姿估计
技术领域
本发明涉及视觉领域，具体而言，涉及一种类别级的物体质心与位姿估计问题。
背景技术
对同类物体不同大小或者不同物体进行分拣,分拣系统的核心问题就是确定物体的类别与物体的质心,即确定物体在分拣时对应的分类及物体在三维空间下的坐标。传统的分拣多采用重量以及光电等传感器进行分拣,然而这种方法无法分辨出来杂质,也无法准确定心。随着深度学习的发展,2D目标检测已经运用于分拣领域,但是基于视觉分拣的方法一般是采用处理二维图片的方法来检测物体的质心并对物体进行分拣。如果光照环境有所变化可能会导致错误识别物体质心甚至无法检测到物体的情况,同时相机位置的变化可能也会对结果产生较大影响。而且二维的质心仅限于平面质心,可能无法确定物体所处的姿态,无法确定物体的高度信息,质心的计算也不准确。
发明内容
本发明的目的在于提供一种基于点云的类别级的物体的质心与位姿估计的算法，解决了以前三维检测每一个物体都需要一个CAD模型的问题，以及解决了同一个类别未见过物体的质心与位姿估计。
本发明是通过如下措施实现的：一种基于点云的类别级的物体的质心与位姿估计算法，其特征在于，包括自动编码器，通过输入同一类物体的一些CAD模型，生成了一类物体的平均先验形状。将平均先验形状，图片面片与观测到的点云输入网络中，生成了一个变形场。然后通过变形场将先验形状变形得到重建的物体的点云，并通过Umeyama算法来将观测到的点云与重建后的点云的比例，旋转矩阵以及平移矩阵，然后选取重建后的模型的9个特征(8个包围盒的顶点和1个质心)点并将其变换到观测到的实例上去，以此来计算出物体位姿，尺寸以及质心，从而确定物体的三维信息。
所述自动编码器输入为n×3(n×1×3×1：点数×长×宽×通道数)有64个1×3的卷积核,每个卷积核对点云进行卷积操作,并生成一个通道,64个卷积核共计生成64个通道。得到的结果为n×64(n×1×1×64点数×长×宽×通道数)成功将数据升维到64通道。再将n×64与128个1×1的64通道卷积核相乘,将64维升到128维。通过共享多层感知机(shared MLP)输出为n×128；然后经过最大池化将n个具有128维特征的数据转化为一个1×128的全局特征向量；然后通过将全局信息附在每一个局部点描述的后面,形成了n×256的向量；之后在经过相同的操作,通过共享多层感知机和最大池化将数据输出为1×1024的全局特征向量；再通过全连接层输出512个点云分类值；之后通过一个解码器,包括三个全连接层,输出n×3的数据,具体流程如图1所示。
所述生成变形场以及对应矩阵的网络部分部分采用图片为输入,点云以及先验形状输出为对应矩阵和变形场。第一分支输入一张H×W×3的图片,经过卷积神经网络(CNN)生成H×W×64的数据,然后规范为n×64的数据；第二分支输入一组n×3维的点云数据经过多层感知机生成为n×64的数据；将一个n×64的局部特征附在另一个n×64的局部特征后面生成一个n×128的局部特征,然后经过多层感知机以及平均池化生成一个1×1024的全局特征,将I,V生成的全局特征与Mc生成的全局特征附在n×128的局部特征后面生成了一个n×2176(1024+1024+128)的向量,经过多层感知机和softmax回归输出了一个n×m的对应矩阵；而输出先验形状部分输入m×3的数据,经过多层感知机生成为m×64的局部特征,通过多层感知机以及平均池化生成一个1×1024的全局特征；将I,V生成的全局特征与Mc生成的全局特征附在m×64的局部特征后面生成了一个n×2112(1024+1024+64)的向量；经过多层感知机输出一个m×3的变形场；网络部分流程图如图2所示。
所述点云质心的计算物体的质心Pc计算公式：
Figure BDA0003745372020000011
其中,ri＝(xi,yi,zi)；i＝1,2,…,n；mi为质点对应的质量.而计算点云质心时,令mi＝1即可,点云质心的计算公式：
Figure BDA0003745372020000021
因此,获得物体完整的点云数据就可以计算出物体的质心,再将质心进行旋转平移到实例上去,就得到了实例物体的质心。这种质心计算方法很好的提高了抓取物体的准确度,避免了一些抓取失败的情形,实用性更强。
所述Umeyama算法，该算法的目标是计算一组R,t使目标函数最优,具体公式如下：
Figure BDA0003745372020000022
从该目标函数公式上可以看出,最终的判断标准是距离的平方和.最终计算的结果为：
Figure BDA0003745372020000023
由重建后点云经过缩放计算出的九个特征点变换到观测到的点云坐标变换公式如下：
Figure BDA0003745372020000024
其中,R为旋转矩阵,T为平移矩阵。
本发明的工作原理：通过将图片进行裁剪,生成一个图像面片,然后将深度图与图片结合生成观测点云,通过自动编码器输出一个平均先验形状。将平均先验形状,图片面片与观测到的点云输入网络中,生成了一个变形场。然后通过变形场将先验形状变形得到重建的物体的点云,将重构后的点云结合对应矩阵得到NOCS下的点云，并通过Umeyama算法来将NOCS下的点云与重建后的点云的比例,旋转矩阵以及平移矩阵,然后选取重建后的模型的9个特征(8个包围盒的顶点和1个质心)点并将其变换到观测到的实例上去,以此来计算出物体位姿,尺寸以及质心,从而确定物体的三维信息。主要流程图如图3所示。
本发明的有益效果是：本发明视觉检测方面，可以将从未见过的同一类别物体三维信息恢复出来。通过RGB和深度信息估计了物体的质心与位姿。能够实现对不同类别的物体进行分类检测,并且可以对同一类别未见过物体进行检测。并且鲁棒性强,而且物体遮挡较大的情况下也能够体现出很好的性能。
附图说明
图1为本发明自动编码器原理图。
图2为本发明中提到的生成变形场以及对应矩阵的网络部分原理图。
图3为本发明实施例的流程示意图。其中，C表示图片分割以及裁剪图像面片；S表示图片与深度图合成点云；+表示矩阵加法。×表示矩阵乘法；U表示用Umeyama算法计算出两个点云之间的比例，旋转以及平移矩阵；T表示对9个特征点进行缩放，平移，旋转变换。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
本发明的工作过程：参见图3包括自动编码器，通过输入同一类物体的一些CAD模型，生成了一类物体的平均先验形状。将平均先验形状，图片面片与观测到的点云输入网络中，生成了一个变形场。然后通过变形场将先验形状变形得到重建的物体的点云，将重构后的点云结合对应矩阵得到NOCS下的点云，并通过Umeyama算法来将观测到的点云与重建后的点云的比例，旋转矩阵以及平移矩阵，然后选取重建后的模型的9个特征(8个包围盒的顶点和1个质心)点并将其变换到观测到的实例上去，以此来计算出物体位姿，尺寸以及质心，从而确定物体的三维信息。主要流程图如图3所示。
本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述，当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述的算法包括：通过将图片进行裁剪,生成一个图像面片,然后将深度图与图片结合生成观测点云,通过自动编码器输出一个平均先验形状,将平均先验形状,图片面片与观测到的点云输入网络中,生成了一个变形场,然后通过变形场将先验形状变形得到重建的物体的点云,将重构后的点云结合对应矩阵得到NOCS下的点云,并通过Umeyama算法来将NOCS下的点云与重建后的点云的比例,旋转矩阵以及平移矩阵,然后选取重建后的模型的9个特征(8个包围盒的顶点和1个质心)点并将其变换到观测到的实例上去,以此来计算出物体位姿,尺寸以及质心,从而确定物体的三维信息。
2.根据权利要求1所述的一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述自动编码器通过输入一些同一类别物体的CAD模型,经过自动编码与解码,生成了一个此类别的平均先验形状。
3.根据权利要求1所述的一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述生成变形场以及对应矩阵的网络部分采用图片为输入,点云以及先验形状输出为对应矩阵和变形场。
4.根据权利要求1所述的一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述通过变形场将先验形状变形得到重建的物体的点云,将重构后的点云结合对应矩阵得到NOCS下的点云,主要通过将变形场与先验形状做矩阵加法得到重构后的点云,通过将重构后的点云与对应矩阵做矩阵乘法得到NOCS下的点云。
5.根据权利要求1所述的一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述NOCS坐标是将物体的点云模型规范在一个单位立方体下。
6.根据权利要求1所述的一种基于点云的类别级的物体的质心与位姿估计的算法,其特征在于：所述Umeyama算法通过将观测到的点云模型与NOCS下的点云模型进行对比,计算出两者之间的大小比例、旋转与平移矩阵。
CN202210854179.1A 2022-07-14 2022-07-14 一种基于点云的类别级的物体的质心与位姿估计 Pending CN115187748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210854179.1A CN115187748A (zh) 2022-07-14 2022-07-14 一种基于点云的类别级的物体的质心与位姿估计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210854179.1A CN115187748A (zh) 2022-07-14 2022-07-14 一种基于点云的类别级的物体的质心与位姿估计

Publications (1)

Publication Number Publication Date
CN115187748A true CN115187748A (zh) 2022-10-14

Family

ID=83520324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210854179.1A Pending CN115187748A (zh) 2022-07-14 2022-07-14 一种基于点云的类别级的物体的质心与位姿估计

Country Status (1)

Country Link
CN (1) CN115187748A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245940A (zh) * 2023-02-02 2023-06-09 中国科学院上海微系统与信息技术研究所 基于结构差异感知的类别级六自由度物体位姿估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245940A (zh) * 2023-02-02 2023-06-09 中国科学院上海微系统与信息技术研究所 基于结构差异感知的类别级六自由度物体位姿估计方法
CN116245940B (zh) * 2023-02-02 2024-04-05 中国科学院上海微系统与信息技术研究所 基于结构差异感知的类别级六自由度物体位姿估计方法

Similar Documents

Publication Publication Date Title
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111429514B (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN109740665B (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN113902897A (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN111191566A (zh) 基于像素分类的光学遥感图像多目标检测方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112396655B (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN116079749B (zh) 基于聚类分离条件随机场的机器人视觉避障方法及机器人
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN115641322A (zh) 一种基于6d位姿估计的机器人抓取方法及其系统
CN115187748A (zh) 一种基于点云的类别级的物体的质心与位姿估计
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
CN114565659A (zh) 基于单深度图深度学习视图合成的食物体积估计方法
CN113536959A (zh) 一种基于立体视觉的动态障碍物检测方法
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN117422884A (zh) 三维目标检测方法、系统、电子设备及存储介质
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN117011380A (zh) 一种目标物体的6d位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination