CN109685848B - 一种三维点云与三维传感器的神经网络坐标变换方法 - Google Patents
一种三维点云与三维传感器的神经网络坐标变换方法 Download PDFInfo
- Publication number
- CN109685848B CN109685848B CN201811532208.2A CN201811532208A CN109685848B CN 109685848 B CN109685848 B CN 109685848B CN 201811532208 A CN201811532208 A CN 201811532208A CN 109685848 B CN109685848 B CN 109685848B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- neural network
- training
- coordinate transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
一种三维点云与三维传感器的神经网络坐标变换方法,涉及物体位姿三维感知领域,其特征在于,包含如下具体步骤:步骤1:针对已知物体模型点云进行数据增强处理,得到训练数据集;步骤2:使用设计的神经网络对所述训练数据集进行离线训练,得到训练完成的神经网络训练模型;步骤3:对三维传感器拍摄获得的场景点云进行预处理,得到第一场景点云,采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测,获得预测的位置姿态参数和预测的坐标变换矩阵。通过本发明的实施,能够快速、稳定、高效地基于现有三维传感器扫描的场景点云,得到目标物体的位置和姿态信息。
Description
技术领域
本发明涉及物体位姿三维感知领域,尤其涉及一种三维点云与三维传感器的神经网络坐标变换方法。
背景技术
在工业机器人自动化生产线上,工业机器人需要执行物料的上下料,装配,加工等任务。传统的办法是使用二维工业相机等进行物料的定位。但是利用二维工业相机难以对具有复杂三维几何形状的散乱零部件进行精确定位,因此需要引入环境数据的三维信息。随着现代传感器技术的进步发展,近年来涌现出种类型的三维传感器,能够采集环境中的物体三维点云数据,通过提取这类三维点云信息,可以得到三维环境中物体的完整位置信息,可以应用在各种复杂的三维工业自动化场景中。并且随着算法和硬件效率的提升,利用智能化的计算方法对三维环境中的物体进行识别和定位已经取得一定进展,能够应用在工业自动化场景中,得到生产效率的提升。
采用三维传感器进行环境物料感知的缺点是,由于三维传感器只能采集到场景物体的前半部分点云,会造成部分点云缺失,还有由于三维传感器采集原理而造成的点云噪声的增加和点云分布不均等问题。为了能够从三维传感器采集获得的点云数据中提取出物体的三维位置姿态信息,往往需要从点云数据中提取出各类复杂的特征。如2010年,德国慕尼黑工业大学提出了一种使用点对特征的三维点云坐标变换方法,可以从该特征中得到三维传感器采集的点云中的物体位置姿态信息。但是,由于手工提取点云数据中的各种特征费时费力,且难以得到最优的特征组合,因此,对于点云含有缺失、噪声、分布不均等缺陷无法进行精确的定位计算,造成最终坐标变换的误差波动较大,对各式三维传感器采集获得的点云数据缺陷的适应性不强。
神经网络是人工智能领域的重要研究方向,近年来广泛应用于二维图像、声音、文本等数字信息,进行信息处理,具有适应性强,鲁棒性高等优点。为了从部分缺失的三维点云中获取三维物体的位置和姿态,采用带有分岔支路的神经网络模型对三维传感器采集的点云进行自动特征提取。其中利用分岔支路对有部分缺失、噪声、和分布不均的缺陷场景点云进行坐标变换预测,网络主干路作为点云物体的分类预测。从整个训练过程来看,训练时输入增强后的模型点云数据,输出结果为岔路上的位置和姿态参数,并定义神经网络的训练损失为输出点云与实际点云的位置姿态偏差值与类别偏差值之和。训练完毕后使用场景点云进行输入,并由神经网络分岔支路上输出的位置和姿态参数作为输出的变换坐标,得到三维点云三维传感器间的坐标变换矩阵。
因此,本领域的技术人员致力于开发一种三维点云与三维传感器的神经网络坐标变换方法,能够快速、稳定、高效地基于现有三维传感器扫描的场景点云,得到目标物体的位置和姿态信息。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是在三维传感器采集的环境点云具有部分缺失和含有噪声的情况下,如何快速、稳定地提取物体的三维位置和姿态信息。
为实现上述目的,本发明提供了一种三维点云与三维传感器的神经网络坐标变换方法,包含如下具体步骤:
步骤1:针对已知物体模型点云进行数据增强处理,得到训练数据集;
步骤2:使用设计的神经网络对所述训练数据集进行离线训练,得到训练完成的神经网络训练模型;
步骤3:对三维传感器拍摄获得的场景点云进行预处理,得到第一场景点云,采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测,获得预测的位置姿态参数和预测的坐标变换矩阵。
进一步地,所述步骤1包括如下步骤:
步骤1.1:采用随机坐标变换法和高斯噪声扰动法,对所述物体模型点云进行变换,得到点云P′;
步骤1.2:采用点云网格平面投影法,得到所述点云P′的点云样本;
步骤1.3:重复步骤1.1和步骤1.2,得到所述物体模型点云的所述点云P′的点云样本集,通过随机取点降采样的方法,使得所述点云样本集的各个点云样本的点数相同,进而得到所述训练数据集。
进一步地,所述步骤1.1包括如下步骤:
步骤1.1.1:使用所述随机坐标变换法对所述物体模型点云进行离线数据增强,根据随机数生成器生成一个七维向量N,所述N包括三维平移向量t和四元数向量q,所述q是由正规化方程处理后的标准旋转四元数向量:
式中a、b、c为实数;
步骤1.1.2:将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数;将所述q经过计算,获得旋转矩阵R:
步骤1.1.3:根据所述R和所述t获得坐标变换矩阵T:
步骤1.1.4:采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动,得到原始点云P,使用矩阵乘法将所述原始点云P:
变换成经过坐标变换后的点云P′:
进一步地,所述步骤1.2包括如下步骤:
步骤1.2.1:使用点云网格平面投影法,在三维空间中随机生成一个距离点云中心足够远的第一平面,使点云中的所有点处于所述第一平面的一边,所述第一平面的方程:
Ax+By+Cz+D=0;
步骤1.2.2:使用间隔为1mm的栅格对所述第一平面进行均匀划分,得到划分后的网格平面,将所述点云P′的所有点(x,y,z)投影至所述网格平面上,得到所述网格平面上的三维坐标(x',y',z'):
计算所述点云P′上的点(x,y,z)到所述网格平面的距离L:
步骤1.2.3:取所述点云P′中投影至所述网格平面上同一个网格中的所有点中距离所述网格平面最近的点,作为所述网格的可视前部点,并将投影到所述网格中的其余所述点舍弃;提取所有网格的可视前部点,进而得到所述点云P′的点云样本。
进一步地,所述步骤2包括如下步骤:
步骤2.1:配置所述神经网络;
步骤2.2:设置所述神经网络的损失函数和超参数;
步骤2.3:利用所述训练数据集对所述神经网络进行训练,得到所述训练完成后的神经网络训练模型。
进一步地,所述步骤2.1中的所述神经网络的包括主干路和分岔支路,所述主干路的输出配置为点云模型的分类信息,所述分岔支路的输出配置为点云模型的位置和姿态信息,所述分岔支路从所述主干路中引出,并在输出信息后汇入所述主干路。
进一步地,所述步骤2.2中所述神经网络的所述损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和:
l=a[||t'-t||2+βmin(||q'-q2'||q'+q||2)]+lc,
式中α为位置姿态损失系数、β为旋转向量损失系数、lc为输出点云的类别和实际点云的类别偏差的交叉熵损失。
进一步地,所述步骤3中的预处理方法为通过随机取点降低采样的方法,得到所述第一场景点云,所述第一场景点云的点的数目和所述训练数据集的点云的点的数目相同。
进一步地,所述步骤3中所述坐标变换矩阵可以通过预测的所述位置姿态参数与所述场景点云进行矩阵运算获得。
进一步地,所述步骤2.2中所述超参数包括学习率、学习率衰减参数、学习率下降步数。
与现有技术相比,通过本发明的实施,可以达到以下明显的技术效果:
1)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法,具有适应三维传感器采集的环境点云部分缺失和含有噪声的工作环境,可以快速地进行三维目标物体的位置和姿态计算。
2)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法,可以用于三维物体的位置姿态校正后的分类识别,对三维物体的分类识别具有较高精度。
3)本发明提供的一种三维点云与三维传感器的神经网络坐标变换方法,引入了神经网络的方法,克服了现有方法手工提取点云数据中的各种特征费时费力,且难以得到最优的特征组合的不足,能够快速、稳定、高效地基于现有三维传感器扫描的场景点云,得到目标物体的位置和姿态信息。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明一种三维点云与三维传感器的神经网络坐标变换方法的流程图;
图2是本发明采用的一种神经网络结构示意图;
图3是本发明一个优选实施例中的坐标变换网络结构示意图;
图4是本发明一个优选实施例中点云的分类网络结构示意图;
图5是本发明一个优选实施例所用第一号物体的三维模型点云示意图;
图6是本发明一个优选实施例所用第二号物体的三维模型点云示意图;
图7是本发明一个优选实施例所用第三号物体的三维模型点云示意图;
图8是本发明一个优选实施例所用第四号物体的三维模型点云示意图;
图9是本发明一个优选实施例所用第五号物体的三维模型点云示意图;
图10是本发明一个优选实施例所用第六号物体的三维模型点云示意图;
图11是本发明一个优选实施例所用第七号物体的三维模型点云示意图;
图12是本发明一个优选实施例所用第八号物体的三维模型点云示意图;
图13是本发明实施例对图5至图8中所用物体三维模型点云进行坐标变换的结果示意图;
图14是本发明实施例对图9至图12中所用物体三维模型点云进行坐标变换的结果示意图。
其中,1-点云模型,2-卷积层,3-池化层,4-全连接层,5-坐标变换参数,6-分类参数。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
在附图中,结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸大了部件的厚度。
如图1所示,为本发明一种三维点云与三维传感器的神经网络坐标坐标变换方法的流程图,包含如下具体步骤:
步骤1、将4个物体模型点云进行点云数据增强,增强后获得每个物体的3000个点云模型的训练数据集,共计12000个物体点云模型的训练数据集。
具体步骤如下:
步骤1.1:使用随机坐标变换法对物体模型点云进行离线数据增强,根据随机数生成器生成一个七维向量N,向量N包括三维平移向量t和四元数向量q,q是由正规化方程处理后的标准旋转四元数向量:
其中a、b、c为实数;
步骤1.2:将N作为物体模型点云与三维传感器之间的坐标变换关系参数;将q经过计算,获得旋转矩阵R:
步骤1.3:根据R和t获得坐标变换矩阵T:
步骤1.4:采用高斯噪声扰动法对物体模型点云的每个点添加随机高斯噪声扰动,得到原始点云P,使用矩阵乘法将原始点云P:
变换成经过坐标变换后的点云P′:
步骤1.5:使用点云网格平面投影法,在三维空间中随机生成一个距离点云中心足够远的第一平面,使点云中的所有点处于第一平面的一边,第一平面的方程:
Ax+By+Cz+D=0;
步骤1.6:使用间隔为1mm的栅格对第一平面进行均匀划分,得到划分后的网格平面,将点云P′的所有点(x,y,z)投影至网格平面上,得到网格平面上的三维坐标(x',y',z'):
计算点云P′上的点(x,y,z)到网格平面的距离L:
步骤1.7:取点云P′中投影至网格平面上同一个网格中的所有点中距离网格平面最近的点,作为该网格的可视前部点,并将投影到该网格中的其余点舍弃;提取所有网格的可视前部点,进而得到所述点云P′的一个点云样本。
步骤1.8:重复步骤1.1和步骤1.7,得到各个物体模型点云的点云P′的点云样本集,通过随机取点降采样的方法,使得点云样本集的各个点云样本的点数相同,进而得到该物体模型的训练数据集。
通过上述方法可以获得每个物体模型的3000个点云模型的训练数据集,共计12000个物体点云模型的训练数据集。
步骤2、将训练数据集输入神经网络系统进行训练。
如图2所示,为本发明一个优选实施例的神经网络结构示意图,用于训练的神经网络包括主干路和分岔支路,图2中虚线部分是神经网络的分岔支路,其余部分是神经网络的主干路;神经网络的主干路的输出配置为点云模型的分类信息,分岔支路的输出配置为点云模型的位置和姿态信息,分岔支路从主干路中引出,并在输出信息后汇入主干路,使用分岔支路预测的变换坐标与原始三维点云运算形成校正过后的点云模型,并根据校正过后的点云模型进行神经网络分类预测。
如图3所示,为本发明一个优选实施例的训练物体模型的点云包括四个物体点云模型1;点云模型1分别通过卷积层2,池化层3和全连接层4后得到坐标变换参数5。本发明可以在对三维点云与三维传感器间的坐标变换使用神经网络进行计算求解。基于点云模型1与三维传感器的坐标变换结果如图4所示,点云模型1分别通过卷积层2,池化层3和全连接层4后得到点云分类参数6。
配置神经网络的损失函数如下:损失函数设置为输出点云与实际点云的位置姿态偏差值与类别偏差值之和:
l=a[||t'-t||2+βmin(||q'-q||2'q'+q||2)]+lc,
其中α为位置姿态损失系数、β为旋转向量损失系数、lc为输出点云的类别和实际点云的类别偏差的交叉熵损失。
配置神经网络的超参数:学习率、学习率衰减参数、学习率下降步数。
步骤3:对三维传感器拍摄获得的场景点云通过随机取点降低采样的方法,得到第一场景点云,第一场景点云的点的数目和训练数据集的点云的点的数目相同,采用所述训练完成的神经网络训练模型对第一场景点云进行预测,获得预测的位置姿态参数和预测的坐标变换矩阵。
如表1所示,表1为真实坐标变换参数的三维平移向量t,四元数向量q和神经网络预测坐标变换参数三维平移向量t’,四元数向量q’的对比数据。
表1
从获得的坐标变换参数根据下式计算出相应的旋转矩阵R:
根据预测获得的旋转矩阵R和三维平移向量获得三维点云和三维传感器的坐标变换矩阵T:
使用矩阵乘法将原始点云P:
变换成经过坐标变换后的点云P′:
图13是本发明实施例对图5至图8中所用物体三维模型点云进行坐标变换的结果示意图;图13中箭头左侧表示物体的三维模型点云与真实物体三维模型点云的初始状态,箭头右侧表示物体的三维模型点云经过所述的神经网络坐标变换方法计算后与真实物体三维模型点云的重合状态。
图14是本发明实施例对图9至图12中所用物体三维模型点云进行坐标变换的结果示意图;图14中箭头左侧表示物体的三维模型点云与真实物体三维模型点云的初始状态,箭头右侧表示物体的三维模型点云经过所述的神经网络坐标变换方法计算后与真实物体三维模型点云的重合状态。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (7)
1.一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,包含如下具体步骤:
步骤1:针对已知物体模型点云进行数据增强处理,得到训练数据集;
步骤2:使用设计的神经网络对所述训练数据集进行离线训练,得到训练完成的神经网络训练模型;
步骤3:对三维传感器拍摄获得的场景点云进行预处理,得到第一场景点云,采用所述训练完成的神经网络训练模型对所述第一场景点云进行预测,获得预测的位置姿态参数和预测的坐标变换矩阵;
所述步骤1包括如下步骤:
步骤1.1:采用随机坐标变换法和高斯噪声扰动法,对所述物体模型点云进行变换,得到点云P′;
所述步骤1.1包括如下步骤:
步骤1.1.1:使用所述随机坐标变换法对所述物体模型点云进行离线数据增强,根据随机数生成器生成一个七维向量N,所述N包括三维平移向量t和四元数向量q,所述q是由正规化方程处理后的标准旋转四元数向量:
式中a、b、c为实数;
步骤1.1.2:将所述N作为所述物体模型点云与三维传感器之间的坐标变换关系参数;将所述q经过计算,获得旋转矩阵R:
步骤1.1.3:根据所述R和所述t获得坐标变换矩阵T:
步骤1.1.4:采用高斯噪声扰动法对所述物体模型点云的每个点添加随机高斯噪声扰动,得到原始点云P,使用矩阵乘法将所述原始点云P:
变换成经过坐标变换后的点云P′:
步骤1.2:采用点云网格平面投影法,得到所述点云P′的点云样本;
所述步骤1.2包括如下步骤:
步骤1.2.1:在三维空间中随机生成一个距离点云中心足够远的第一平面,使点云中的所有点处于所述第一平面的一边,所述第一平面的方程:
Ax+By+Cz+D=0;
步骤1.2.2:使用间隔为1mm的栅格对所述第一平面进行均匀划分,得到划分后的网格平面,将所述点云P′的所有点(x,y,z)投影至所述网格平面上,得到所述网格平面上的三维坐标(x',y',z'):
计算所述点云P′上的点(x,y,z)到所述网格平面的距离L:
步骤1.2.3:取所述点云P′中投影至所述网格平面上同一个网格中的所有点中距离所述网格平面最近的点,作为所述网格的可视前部点,并将投影到所述网格中的其余所述点舍弃;提取所有网格的可视前部点,进而得到所述点云P′的点云样本;
步骤1.3:重复步骤1.1和步骤1.2,得到所述物体模型点云的所述点云P′的点云样本集,通过随机取点降采样的方法,使得所述点云样本集的各个点云样本的点数相同,进而得到所述训练数据集。
2.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,所述步骤2包括如下步骤:
步骤2.1:配置所述神经网络;
步骤2.2:设置所述神经网络的损失函数和超参数;
步骤2.3:利用所述训练数据集对所述神经网络进行训练,得到所述训练完成后的神经网络训练模型。
3.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,所述步骤2.1中的所述神经网络的包括主干路和分岔支路,所述主干路的输出配置为点云模型的分类信息,所述分岔支路的输出配置为点云模型的位置和姿态信息,所述分岔支路从所述主干路中引出,并在输出信息后汇入所述主干路。
5.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,所述步骤3中的预处理方法为通过随机取点降低采样的方法,得到所述第一场景点云,所述第一场景点云的点的数目和所述训练数据集的点云的点的数目相同。
6.如权利要求1所述的一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,所述步骤3中所述坐标变换矩阵可以通过预测的所述位置姿态参数与所述场景点云进行矩阵运算获得。
7.如权利要求2所述的一种三维点云与三维传感器的神经网络坐标变换方法,其特征在于,所述步骤2.2中所述超参数包括学习率、学习率衰减参数、学习率下降步数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532208.2A CN109685848B (zh) | 2018-12-14 | 2018-12-14 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532208.2A CN109685848B (zh) | 2018-12-14 | 2018-12-14 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685848A CN109685848A (zh) | 2019-04-26 |
CN109685848B true CN109685848B (zh) | 2023-06-09 |
Family
ID=66187549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811532208.2A Active CN109685848B (zh) | 2018-12-14 | 2018-12-14 | 一种三维点云与三维传感器的神经网络坐标变换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685848B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816050A (zh) * | 2019-02-23 | 2019-05-28 | 深圳市商汤科技有限公司 | 物体位姿估计方法及装置 |
CN110422767B (zh) * | 2019-06-27 | 2020-09-29 | 三一海洋重工有限公司 | 对吊具定位的方法、装置及系统 |
CN110363863B (zh) * | 2019-07-15 | 2023-09-12 | 上海点积实业有限公司 | 一种神经网络的输入数据生成方法和系统 |
CN111291686A (zh) * | 2020-02-10 | 2020-06-16 | 中国农业大学 | 农作物根果表型参数的提取与根果表型判别方法及系统 |
CN111708046A (zh) * | 2020-04-28 | 2020-09-25 | 上海高仙自动化科技发展有限公司 | 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质 |
CN112164115B (zh) * | 2020-09-25 | 2024-04-02 | 清华大学深圳国际研究生院 | 物体位姿识别的方法、装置及计算机存储介质 |
CN112561922B (zh) * | 2020-11-26 | 2024-03-01 | 北京大学 | 基于神经网络的畸变三维点云分割方法 |
CN112562067A (zh) * | 2020-12-24 | 2021-03-26 | 华南理工大学 | 一种生成大批量点云数据集的方法 |
CN112700455A (zh) * | 2020-12-28 | 2021-04-23 | 北京超星未来科技有限公司 | 一种激光点云数据生成方法、装置、设备及介质 |
CN112991445B (zh) * | 2021-03-03 | 2023-10-24 | 网易(杭州)网络有限公司 | 模型训练方法、姿态预测方法、装置、设备及存储介质 |
CN112966390B (zh) * | 2021-03-24 | 2022-10-28 | 清华大学 | 基于双重三维距离场的衣服处理方法以及装置 |
CN113128591B (zh) * | 2021-04-14 | 2023-12-05 | 中山大学 | 基于自监督学习的旋转鲁棒的点云分类方法 |
CN113112607B (zh) * | 2021-04-19 | 2022-09-06 | 复旦大学 | 一种生成任意帧率的三维网格模型序列的方法及装置 |
CN113192201B (zh) * | 2021-05-08 | 2023-08-01 | 上海皓桦科技股份有限公司 | 点云数据的数据拟合方法、装置及介质 |
CN114066888B (zh) * | 2022-01-11 | 2022-04-19 | 浙江大学 | 一种血流动力学指标确定方法、装置、设备及存储介质 |
CN114511745B (zh) * | 2022-02-14 | 2024-03-12 | 安徽大学 | 三维点云分类及旋转姿态预测方法及系统 |
CN114399762B (zh) * | 2022-03-23 | 2022-06-10 | 成都奥伦达科技有限公司 | 一种道路场景点云分类方法及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015188684A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
CN107092859A (zh) * | 2017-03-14 | 2017-08-25 | 佛山科学技术学院 | 一种三维模型的深度特征提取方法 |
CN107450885A (zh) * | 2017-07-21 | 2017-12-08 | 上海交通大学 | 一种工业机器人与三维传感器的坐标变换求解方法 |
WO2018036138A1 (zh) * | 2016-08-24 | 2018-03-01 | 大连理工大学 | 一种面向数字摄影获得的薄壁壳实测三维形貌点云数据处理方法 |
CN108053367A (zh) * | 2017-12-08 | 2018-05-18 | 北京信息科技大学 | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 |
CN108154552A (zh) * | 2017-12-26 | 2018-06-12 | 中国科学院深圳先进技术研究院 | 一种立体腹腔镜三维模型重建方法和装置 |
CN108596961A (zh) * | 2018-04-17 | 2018-09-28 | 浙江工业大学 | 基于三维卷积神经网络的点云配准方法 |
CN108665496A (zh) * | 2018-03-21 | 2018-10-16 | 浙江大学 | 一种基于深度学习的端到端的语义即时定位与建图方法 |
JP2018189510A (ja) * | 2017-05-08 | 2018-11-29 | 株式会社マイクロ・テクニカ | 3次元物体の位置および姿勢を推定する方法および装置 |
CN108961339A (zh) * | 2018-07-20 | 2018-12-07 | 深圳辰视智能科技有限公司 | 一种基于深度学习的点云物体姿态估计方法、装置及其设备 |
-
2018
- 2018-12-14 CN CN201811532208.2A patent/CN109685848B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015188684A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
WO2018036138A1 (zh) * | 2016-08-24 | 2018-03-01 | 大连理工大学 | 一种面向数字摄影获得的薄壁壳实测三维形貌点云数据处理方法 |
CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
CN107092859A (zh) * | 2017-03-14 | 2017-08-25 | 佛山科学技术学院 | 一种三维模型的深度特征提取方法 |
JP2018189510A (ja) * | 2017-05-08 | 2018-11-29 | 株式会社マイクロ・テクニカ | 3次元物体の位置および姿勢を推定する方法および装置 |
CN107450885A (zh) * | 2017-07-21 | 2017-12-08 | 上海交通大学 | 一种工业机器人与三维传感器的坐标变换求解方法 |
CN108053367A (zh) * | 2017-12-08 | 2018-05-18 | 北京信息科技大学 | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 |
CN108154552A (zh) * | 2017-12-26 | 2018-06-12 | 中国科学院深圳先进技术研究院 | 一种立体腹腔镜三维模型重建方法和装置 |
CN108665496A (zh) * | 2018-03-21 | 2018-10-16 | 浙江大学 | 一种基于深度学习的端到端的语义即时定位与建图方法 |
CN108596961A (zh) * | 2018-04-17 | 2018-09-28 | 浙江工业大学 | 基于三维卷积神经网络的点云配准方法 |
CN108961339A (zh) * | 2018-07-20 | 2018-12-07 | 深圳辰视智能科技有限公司 | 一种基于深度学习的点云物体姿态估计方法、装置及其设备 |
Non-Patent Citations (2)
Title |
---|
基于激光雷达的三维目标检测;刘清;《中国优秀硕士学位论文全文数据库信息科技辑》;20120715(第7期);全文 * |
基于特征匹配的三维点云配准算法研究;常江;《中国优秀硕士学位论文全文数据库信息科技辑》;20150715(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109685848A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685848B (zh) | 一种三维点云与三维传感器的神经网络坐标变换方法 | |
CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
Khumaidi et al. | Welding defect classification based on convolution neural network (CNN) and Gaussian kernel | |
CN106599830B (zh) | 人脸关键点定位方法及装置 | |
CN113065546B (zh) | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 | |
CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
CN112836734A (zh) | 一种异源数据融合方法及装置、存储介质 | |
CN110942515A (zh) | 基于点云的目标物体三维计算机建模方法和目标识别方法 | |
CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
CN111028238B (zh) | 一种基于机器人视觉的复杂异形曲面三维分割方法及系统 | |
CN114743259A (zh) | 位姿估计方法、位姿估计系统、终端、存储介质及应用 | |
CN109508707B (zh) | 基于单目视觉的机器人稳定抓取物体的抓取点获取方法 | |
CN114881955B (zh) | 基于切片的环状点云缺陷提取方法、装置、设备存储介质 | |
US20230201973A1 (en) | System and method for automatic detection of welding tasks | |
He et al. | An improved ICP registration algorithm by combining PointNet++ and ICP algorithm | |
Figueiredo et al. | Robust cylinder detection and pose estimation using 3D point cloud information | |
CN110490915B (zh) | 一种基于卷积受限玻尔兹曼机的点云配准方法 | |
CN114092553A (zh) | 基于fpfh和icp改进算法的无序抓取姿态估计方法 | |
Deng et al. | A human–robot collaboration method using a pose estimation network for robot learning of assembly manipulation trajectories from demonstration videos | |
Chen et al. | 3D object classification with point convolution network | |
Zhang et al. | 6D object pose estimation algorithm using preprocessing of segmentation and keypoint extraction | |
Jin et al. | DOPE++: 6D pose estimation algorithm for weakly textured objects based on deep neural networks | |
Fur et al. | Prediction of the configuration of objects in a bin based on synthetic sensor data | |
Filaretov et al. | The method of cutting of flexible parts using manipulators and information multiplexing from 3D vision system and CAD model | |
Kim et al. | An analysis of factors affecting point cloud registration for bin picking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |