CN112652016B - 点云预测模型的生成方法、位姿估计方法及其装置 - Google Patents
点云预测模型的生成方法、位姿估计方法及其装置 Download PDFInfo
- Publication number
- CN112652016B CN112652016B CN202011616991.8A CN202011616991A CN112652016B CN 112652016 B CN112652016 B CN 112652016B CN 202011616991 A CN202011616991 A CN 202011616991A CN 112652016 B CN112652016 B CN 112652016B
- Authority
- CN
- China
- Prior art keywords
- target object
- point cloud
- data
- dimensional image
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种点云预测模型的生成方法、位姿估计方法、装置、设备及存储介质，涉及计算机视觉、自动驾驶、机器人等技术领域。该点云预测模型的生成方法包括：获取训练数据，所述训练数据包括：目标物的二维图像数据以及所述目标物的六自由度位姿数据；其中，所述目标物的二维图像数据是以标定后的相机拍摄得到，所述二维图像数据包括所述二维图像中所述目标物的多个像素的二维坐标；所述目标物的六自由度位姿数据是通过对所述目标物进行真实尺寸的三维建模而得到；利用所述训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，所述点云预测模型的输出包括目标物的多个像素的三维坐标。
Description
技术领域
本申请涉及计算机视觉、自动驾驶、机器人技术领域，具体涉及一种点云预测模型的生成方法、位姿估计方法、装置、设备、存储介质和计算机程序产品。
背景技术
通常，计算机视觉是由获取的图像理解图像中的景物的信息处理过程，使计算机能够根据视觉信息建立对客观景物的描述，进而理解环境。摄影测量是获取对象物的图像信息进行识别并确定对象物的形状和位置的过程。对于获得的对象物的二维图像，需结合其本身及周围环境的深度信息，可构成客观完整的空间信息。应用中，双目视觉系统是从两个视点观测同一物体，基于图像视差可获取物体的三维信息。但是双目视觉系统的匹配过程存在一定难度，受此限制在实际中有些场合并不适合使用。单目视觉系统不存在多相机(或摄像机)的匹配限制，且硬件成本较低，可方便地应用在多种实际环境中。
目前，在机器人或自动驾驶等领域中，基于单目图像获取物体的六自由度位姿信息是实现机器人或自动驾驶感知的重要任务之一，例如，在自动驾驶场景中从单目图像中估计车辆的六自由度位姿，所谓的六自由度是指沿直角坐标系的三个坐标轴的移动自由度以及绕这三个坐标轴的转动自由度。相比采用双目系统或激光雷达的解决方案，采用单目系统具有成本低、易部署等优点。
但是，传统单目系统的处理方案大多是使用深度网络回归单目图像中目标物的预定义的关键点，建立像素坐标到三维点坐标的映射关系从而完成求解，处理过程运行速度慢，且运行结果的准确度偏低。此外，还有利用端到端的深度神经网络直接对车辆的空间位置进行预测，但是由于该方案无法应对不同内外参的相机模型，使得整体算法模型无法迁移，应用范围窄。
发明内容
本申请提供一种点云预测模型的生成方法、位姿估计方法、装置、设备、存储介质和计算机程序产品，用于解决以上至少一个问题。
根据本申请的第一方面，提供了一种点云预测模型的生成方法，包括：
获取训练数据，所述训练数据包括：目标物的二维图像数据以及所述目标物的六自由度位姿数据；其中，所述目标物的二维图像数据是以标定后的相机拍摄得到，所述二维图像数据包括所述二维图像中所述目标物的多个像素的二维坐标；所述目标物的六自由度位姿数据是通过对所述目标物进行真实尺寸的三维建模而得到；
利用所述训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，所述点云预测模型的输出包括目标物的多个像素的三维坐标。
根据本申请的第二方面，提供了一种位姿估计方法，所述位姿估计方法基于如上所述的点云预测模型，所述位姿估计方法包括：
获取目标物的二维图像数据，所述目标物的二维图像数据由标定后的相机拍摄得到，
将所述目标物的二维图像数据输入所述点云预测模型，得到模型输出的所述目标物的点云数据，所述点云数据包括所述目标物的多个像素的三维坐标；
基于所述目标物的点云数据以及所述相机的标定后的内外参数，利用指定算法计算得到所述目标物的六自由度位姿数据。
根据本申请的第三方面，提供了一种点云预测模型的生成装置，包括：
训练数据获取模块，用于获取训练数据，所述训练数据包括：目标物的二维图像数据以及所述目标物的六自由度位姿数据；其中，所述目标物的二维图像数据是以标定后的相机拍摄得到，所述二维图像数据包括所述二维图像中所述目标物的多个像素的二维坐标；所述目标物的六自由度位姿数据是通过对所述目标物进行真实尺寸的三维建模而得到；
训练模块，用于利用所述训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，所述点云预测模型的输出包括目标物的多个像素的三维坐标。
根据本申请的第四方面，提供了一种位姿估计装置，所述位姿估计装置基于如上所述的点云预测模型，所述位姿估计装置包括：
获取模块，用于获取目标物的二维图像数据，所述目标物的二维图像数据由标定后的相机拍摄得到，
预测模块，用于将所述目标物的二维图像数据输入所述点云预测模型，得到模型输出的所述目标物的点云数据，所述点云数据包括所述目标物的多个像素的三维坐标；
计算模块，用于基于所述目标物的点云数据以及所述相机的标定后的内外参数，利用指定算法计算得到所述目标物的六自由度位姿数据。
根据本申请的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。
根据本申请的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的第八方面，提供了一种终端设备，包括：处理器和存储器，存储器用于存储计算机程序，处理器调用并运行存储器中存储的计算机程序，执行如上所述的方法。
根据本申请的第九方面，提供了一种点云预测装置，所述点云预测装置包括如上所述的点云预测模型。
根据本申请的实施例可以对深度神经网络进行训练，通过对训练数据的合理标注，使得生成的模型能够直接预测输出二维图像中的目标物的三维坐标，即目标物的点云数据，运行处理效率高，且方案是基于单目相机实现，不需要使用多个相机构建双目系统，实际应用过程灵活便捷，成本节约。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例的点云预测模型的生成方法的流程框图；
图2是本申请实施例的位姿估计方法的流程框图；
图3是本申请实施例用到的标注工具的界面效果示意图；
图4是本申请实施例中对车辆的位姿估计处理的流程框图；
图5是本申请实施例的车辆二维图像与对应点云的效果示意图；
图6是本申请实施例中不同相机视场角下拍摄同一车辆的处理效果示意图；
图7是本申请实施例的点云预测模型的生成装置的结构框图；
图8是本申请实施例的位姿估计装置的结构框图；
图9是实现本申请实施例的点云预测模型的生成方法或者位姿估计方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了本申请实施例提供的一种点云预测模型的生成方法的流程框图，该方法包括：
S101，获取训练数据，该训练数据包括：目标物的二维图像数据以及目标物的六自由度位姿数据；其中，目标物的二维图像数据是以标定后的相机拍摄得到，二维图像数据包括二维图像中目标物的多个像素的二维坐标；目标物的六自由度位姿数据是通过对目标物进行真实尺寸的三维建模而得到；
S102，利用训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，点云预测模型的输出包括目标物的多个像素的三维坐标。
利用本申请的实施例可以对深度神经网络进行训练，其中对训练数据进行了合理标注，巧妙利用标定后的相机，通过拍摄可得到目标物的像素的二维坐标，通过构建真实尺度目标物的三维模型，能够得到目标物的三维坐标，基于上述训练数据进行深度神经网络的监督学习，生成的模型能够直接预测输出二维图像中的目标物的三维坐标，即目标物的点云数据，可免去以往解决方案中需要预定义关键点、建立像素坐标到三维坐标映射再求解的繁琐过程，能够提高运行处理效率，并且，上述过程是基于单目相机实现，不需要多个相机构建双目系统，实际应用过程灵活便捷，且硬件成本节约。
在本申请的实施例中，可选地，第一神经网络可包括Mask-RCNN神经网络。相比于激光雷达稀疏的扫描结果，基于Mask-RCNN神经网络训练生成的模型输出的点云更加稠密、准确，计算结果可靠性高。
在本申请的实施例中，可选地，二维图像中目标物的坐标系原点与目标物的三维模型的坐标系原点均为目标物的中心。如此，在训练过程中，目标物像素的二维坐标与标注的三维坐标对应的原点一致，基于此能够实现各个像素的点云回归，生成的模型预测结果准确度高。
图2示出了本申请实施例提供的一种位姿估计方法的流程框图，该方法基于图1实施例生成的点云预测模型，该方法包括：
S201，获取目标物的二维图像数据，目标物的二维图像数据由标定后的相机拍摄得到；
S202，将目标物的二维图像数据输入点云预测模型，得到模型输出的目标物的点云数据，点云数据包括目标物的多个像素的三维坐标；
S203，基于目标物的点云数据以及相机的标定后的内外参数，利用指定算法计算得到目标物的六自由度位姿数据。
利用本申请的实施例，可基于点云预测模型直接获取目标物的点云数据，能够大幅提高数据处理效率和结果准确度，基于点云数据并利用相机内外参可完成目标物的位姿求解，并且，其中点云预测模型本身独立于相机参数，在后续计算过程中仅需代入相机的具体内外参数即可得到目标物位姿数据，因此可适用于不同相机参数的场合，比较而言，已有算法中在估计物体的绝对距离时需将相机内参固化于模型之中，导致模型无法再适用于其他相机。因此本申请实施例在不同相机参数的情况下具有很好的鲁棒性，应用中的限制少，可应用于各类场合的物体位姿估计。
在本申请的实施例中，可选地，指定算法可采用透视n点投影PnP算法。这里，PnP(Perspective-n-Point，透视n点投影)求解算法是在已知n个3D空间点以及它们的投影位置时估计相机位姿的一种方法。本申请实施例中，通过前步的计算已得到目标物的点云数据(3D空间点)，其中相机的内外参数为已知量，利用PnP算法可求得目标物的六自由度位姿数据，如此即得到了目标物的真实位置及姿态，可应用与其他后续的处理中，例如自动驾驶车辆感知环境、机器人物体定位或路径规划等任务。
以上描述了本申请实施例的多种实施方式以及取得的优势。以下基于具体的例子，详细描述本申请实施例的具体处理过程。
以下以目标物为车辆为例，利用点云回归的方式实现车辆的六自由度位姿求解，以解决目前单目图像物体位姿估计的难题，主要包括以下处理。
(一)数据标注及模型训练
本申请的实施例中，获取像素级的二维到三维的映射关系是求解位姿的重要要素，具体地，就是要确定物体各二维像素点对应于物体三维模型上的三维坐标。对此，一般的处理只能通过点对点的标注获取稀疏的映射关系，而无法获得稠密的映射。本申请实施例可利用车辆变形模板生成所需形状的车辆，对于利用标定好的相机拍摄的单张图像，对图像中的辆车，选取相匹配的车型并调整其位姿，使三维模型投影与二维车辆重合，其中二维车辆的坐标系原点与三维模型的坐标系原点均为该车辆的中心(也可以为质心)，可得到二维车辆的实例分割标注以及稠密的二维像素与模型三维点的对应关系。
本申请实施例中，图3示意性地示出了标注工具的主界面，其中A区域是图像显示区，操作人员的操作可在该区域实时显示；B区域是待标注图像列表，操作人员可在此区域选择图像文件进行标注；C区域是标注实例列表，操作人员可在此区域切换标注实例；D区域是模型选择区域，操作人员可在该区域选择与图像实例相匹配的车辆模型；E区域是六自由度调整区域，六个滑动条分别控制俯仰角、偏航角、翻滚角、x、y、z六个自由度，用户可调节对应滑动进行调整，模型的投影将实时显示在A区域，当认为模型的各个部件的投影与图像相应区域重合时即完成标注。
利用标注好的训练数据，输入深度神经网络例如Mask-RCNN网络架构进行监督训练，使用L1损失函数，对输入的车辆二维图像进行二维检测、实例分割、尺度预测以及三维局部点云回归等一系列处理，训练完成后即得到对应的点云预测模型。
(二)车辆六自由度位姿估计
将待处理的车辆图像输入训练好的点云预测模型中，可得到输出的车辆点云数据。作为一个示例，参考图4，对于输入的单张图像，首先通过点云预测模型中的残差网络Resnet进行特征提取，随后对车辆前景进行预测，得出车辆的二维包围盒，提取车辆对象的特征图，并输入到三个卷积网络分支，分别预测其分割掩膜、长宽高尺寸以及局部点云坐标。
也就是，对于二维图像中车辆的各个像素ci，其像素坐标为(ui,vi)，由点云预测模型可直接预测其对应的三维模型的坐标vi＝(xi,yi,zi)，角标i表示各个像素。这里，可将该过程表示为下式：
V′＝Reressor(C)
其中，C＝{c1,c2,c3,...,cn}，V′＝{v′1,v′2,v′3,...,v′n}，Reressor表示点云预测模型。图5示意性地示出了由车辆的二维图像得到对应的点云数据的效果示意图，可以看到，左侧图像中央的车辆(带方框，非白色车)与右侧的点云数据相对应。
然后，基于计算摄影学的方法可以求解出车辆的六自由度位姿，可将该过程表达为下式：
Pose＝κ(V′,C,Kint,Kext)
其中，Kint和Kext分别代表相机的内参和外参，k代表2D-3D解析函数，可利用已知的PnP算法求解，即可得到车辆的六自由度位姿。作为一个示例，对于图5中央的车辆，可使用训练好的点云预测模型预测其中各像素二维像素坐标对应的空间坐标，可得到二维像素坐标对应的空间坐标为/>结合相机内参/>可求解出该车辆的六自由度位姿。
图6示意性地示出了在不同相机视场角(Field of view，fov)下，对道路中同一车辆进行多次拍摄获得多个二维图像(视场角fov分别有35°、40°、45°、50°、60°、70°)，利用本申请实施例分别处理上述多个二维图像，可得到多套车辆六自由度位姿，将得到的多套车辆六自由度位姿同时显示在世界坐标系下，具有较高的重合度，说明在不同相机参数下得到的结果趋于一致，模型的鲁棒性高。
以上通过多个实施例从不同角度描述了本申请实施例的具体设置和实现方式。与上述至少一个实施例的处理方法相对应地，本申请实施例还提供一种点云预测模型的生成装置100，参考图7，其包括：
训练数据获取模块110，用于获取训练数据，训练数据包括：目标物的二维图像数据以及目标物的六自由度位姿数据；其中，目标物的二维图像数据是以标定后的相机拍摄得到，二维图像数据包括二维图像中目标物的多个像素的二维坐标；目标物的六自由度位姿数据是通过对目标物进行真实尺寸的三维建模而得到；
训练模块120，用于利用训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，点云预测模型的输出包括目标物的多个像素的三维坐标。
可选地，二维图像中目标物的坐标系原点与目标物的三维模型的坐标系原点均为目标物的中心。
可选地，第一神经网络包括Mask-RCNN神经网络。
与上述至少一个实施例的处理方法相对应地，本申请实施例还提供一种位姿估计装置200，位姿估计装置基于上述点云预测模型，参考图8，该位姿估计装置200包括：
获取模块210，用于获取目标物的二维图像数据，目标物的二维图像数据由标定后的相机拍摄得到，
预测模块220，用于将目标物的二维图像数据输入点云预测模型，得到模型输出的目标物的点云数据，点云数据包括目标物的多个像素的三维坐标；
计算模块230，用于基于目标物的点云数据以及相机的标定后的内外参数，利用指定算法计算得到目标物的六自由度位姿数据。
可选地，指定算法包括PnP算法。
本申请实施例各装置中的各模块的功能可以参见上述方法实施例中的对应描述的处理，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本申请实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的点云预测模型的生成方法或者位姿估计方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的点云预测模型的生成方法或者位姿估计方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的点云预测模型的生成方法或者位姿估计方法对应的程序指令/模块。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的点云预测模型的生成方法或者位姿估计方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据搜索结果的分析处理电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至搜索结果的分析处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例的点云预测模型的生成方法或者位姿估计方法对应的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，本申请图9实施例中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与搜索结果的分析处理电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种点云预测模型的生成方法，包括：
获取训练数据，所述训练数据包括：目标物的二维图像数据以及所述目标物的六自由度位姿数据；其中，所述目标物的二维图像数据是以标定后的相机拍摄得到，所述二维图像数据包括所述二维图像中所述目标物的多个像素的二维坐标；所述目标物的六自由度位姿数据是通过对所述目标物进行真实尺寸的三维建模而得到，所述二维图像中所述目标物的坐标系原点与所述目标物的三维模型的坐标系原点均为所述目标物的中心；
利用所述训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，所述点云预测模型的输出包括目标物的多个像素的三维坐标。
2.根据权利要求1所述的方法，其中：
所述第一神经网络包括Mask-RCNN神经网络。
3.一种位姿估计方法，所述位姿估计方法基于权利要求1-2中任一项所述的方法所生成的点云预测模型，所述位姿估计方法包括：
获取目标物的二维图像数据，所述目标物的二维图像数据由标定后的相机拍摄得到，
将所述目标物的二维图像数据输入所述点云预测模型，得到模型输出的所述目标物的点云数据，所述点云数据包括所述目标物的多个像素的三维坐标；
基于所述目标物的点云数据以及所述相机的标定后的内外参数，利用指定算法计算得到所述目标物的六自由度位姿数据。
4.根据权利要求3所述的方法，其中，所述指定算法包括透视n点投影PnP算法。
5.一种点云预测模型的生成装置，包括：
训练数据获取模块，用于获取训练数据，所述训练数据包括：目标物的二维图像数据以及所述目标物的六自由度位姿数据；其中，所述目标物的二维图像数据是以标定后的相机拍摄得到，所述二维图像数据包括所述二维图像中所述目标物的多个像素的二维坐标；所述目标物的六自由度位姿数据是通过对所述目标物进行真实尺寸的三维建模而得到，所述二维图像中所述目标物的坐标系原点与所述目标物的三维模型的坐标系原点均为所述目标物的中心；
训练模块，用于利用所述训练数据对第一神经网络进行训练，达到停止条件后训练完成，得到点云预测模型，所述点云预测模型的输出包括目标物的多个像素的三维坐标。
6.根据权利要求5所述的装置，其中：
所述第一神经网络包括Mask-RCNN神经网络。
7.一种位姿估计装置，所述位姿估计装置基于权利要求1-2中任一项所述的方法所生成的点云预测模型，所述位姿估计装置包括：
获取模块，用于获取目标物的二维图像数据，所述目标物的二维图像数据由标定后的相机拍摄得到，
预测模块，用于将所述目标物的二维图像数据输入所述点云预测模型，得到模型输出的所述目标物的点云数据，所述点云数据包括所述目标物的多个像素的三维坐标；
计算模块，用于基于所述目标物的点云数据以及所述相机的标定后的内外参数，利用指定算法计算得到所述目标物的六自由度位姿数据。
8.根据权利要求7所述的装置，其中，所述指定算法包括PnP算法。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如权利要求1-4中任一项所述的方法。
11.一种终端设备，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器调用并运行所述存储器中存储的计算机程序，执行如权利要求1-4中任一项所述的方法。
12.一种点云预测装置，所述点云预测装置包括基于权利要求1-2中任一项所述的方法所生成的点云预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011616991.8A CN112652016B (zh) | 2020-12-30 | 2020-12-30 | 点云预测模型的生成方法、位姿估计方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011616991.8A CN112652016B (zh) | 2020-12-30 | 2020-12-30 | 点云预测模型的生成方法、位姿估计方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112652016A CN112652016A (zh) | 2021-04-13 |
| CN112652016B true CN112652016B (zh) | 2023-07-28 |
Family
ID=75364563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011616991.8A Active CN112652016B (zh) | 2020-12-30 | 2020-12-30 | 点云预测模型的生成方法、位姿估计方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112652016B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724330B (zh) * | 2021-09-02 | 2024-04-30 | 上海仙工智能科技有限公司 | 单目摄像头物体位姿估计方法、系统、设备及存储介质 |
| CN113706619B (zh) * | 2021-10-21 | 2022-04-08 | 南京航空航天大学 | 一种基于空间映射学习的非合作目标姿态估计方法 |
| CN114399515A (zh) * | 2021-12-24 | 2022-04-26 | 复旦大学 | 基于语言描述的类级别目标物6d位姿获取方法及存储介质 |
| CN114913287B (zh) * | 2022-04-07 | 2023-08-22 | 北京拙河科技有限公司 | 一种三维人体模型重建方法及系统 |
| CN114723796A (zh) * | 2022-04-24 | 2022-07-08 | 北京百度网讯科技有限公司 | 一种三维点云生成方法、装置及电子设备 |
| CN114952832B (zh) * | 2022-05-13 | 2023-06-09 | 清华大学 | 基于单目六自由度物体姿态估计的机械臂拼装方法及装置 |
| CN116681755B (zh) * | 2022-12-29 | 2024-02-09 | 广东美的白色家电技术创新中心有限公司 | 位姿预测方法和装置 |
| CN116052121B (zh) * | 2023-01-28 | 2023-06-27 | 上海芯算极科技有限公司 | 一种基于距离预估的多传感目标检测融合方法及装置 |
| CN116152306B (zh) * | 2023-03-07 | 2023-11-03 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
| CN116030103B (zh) * | 2023-03-07 | 2024-02-27 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
| CN116206068B (zh) * | 2023-04-28 | 2023-07-25 | 北京科技大学 | 基于真实数据集的三维驾驶场景生成与构建方法及装置 |
| CN116935375B (zh) * | 2023-08-15 | 2024-09-10 | 江苏元畅网络科技有限公司 | 一种智能生产线打包装盒检测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
| CN110490917A (zh) * | 2019-08-12 | 2019-11-22 | 北京影谱科技股份有限公司 | 三维重建方法及装置 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
| WO2020233436A1 (zh) * | 2019-05-22 | 2020-11-26 | 阿里巴巴集团控股有限公司 | 车辆速度确定方法及车辆 |
-
2020
- 2020-12-30 CN CN202011616991.8A patent/CN112652016B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233436A1 (zh) * | 2019-05-22 | 2020-11-26 | 阿里巴巴集团控股有限公司 | 车辆速度确定方法及车辆 |
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
| CN110490917A (zh) * | 2019-08-12 | 2019-11-22 | 北京影谱科技股份有限公司 | 三维重建方法及装置 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| Model-free pose estimation using point cloud data;Lim Tae W等;《Acta Astronautica》;全文 * |
| 一种基于非量测相机图像的三维模型快速重建方法研究;黄腾达;李有鹏;吕亚磊;刘洋洋;;河南城建学院学报(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112652016A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN111694429B (zh) | 虚拟对象驱动方法、装置、电子设备及可读存储 | |
| CN108830894B (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| US10948297B2 (en) | Simultaneous location and mapping (SLAM) using dual event cameras | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| US9251590B2 (en) | Camera pose estimation for 3D reconstruction | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN112184914B (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
| CN111767853B (zh) | 车道线检测方法和装置 | |
| WO2020195875A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN111401251B (zh) | 车道线提取方法、装置、电子设备及计算机可读存储介质 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| EP2851868A1 (en) | 3D Reconstruction | |
| CN116645649B (zh) | 车辆位姿及尺寸估计方法、设备及存储介质 | |
| CN112668428A (zh) | 车辆变道的检测方法、路侧设备、云控平台和程序产品 | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| JP7164589B2 (ja) | 室内測位方法、装置、機器および記憶媒体 | |
| Ram et al. | Rp-vio: Robust plane-based visual-inertial odometry for dynamic environments | |
| CN111767843B (zh) | 三维位置预测方法、装置、设备以及存储介质 | |
| CN111753739A (zh) | 物体检测方法、装置、设备以及存储介质 | |
| US11595568B2 (en) | System for generating a three-dimensional scene of a physical environment | |
| CN111784842B (zh) | 三维重建方法、装置、设备及可读储存介质 | |
| Zhou et al. | Information-efficient 3-D visual SLAM for unstructured domains | |
| CN111932611B (zh) | 物体位置获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |