CN111968235A - 一种物体姿态估计方法、装置、系统和计算机设备 - Google Patents

一种物体姿态估计方法、装置、系统和计算机设备 Download PDF

Info

Publication number
CN111968235A
CN111968235A CN202010650263.2A CN202010650263A CN111968235A CN 111968235 A CN111968235 A CN 111968235A CN 202010650263 A CN202010650263 A CN 202010650263A CN 111968235 A CN111968235 A CN 111968235A
Authority
CN
China
Prior art keywords
dimensional
image
training
dimensional image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010650263.2A
Other languages
English (en)
Other versions
CN111968235B (zh
Inventor
陈志国
冯俊涛
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202010650263.2A priority Critical patent/CN111968235B/zh
Publication of CN111968235A publication Critical patent/CN111968235A/zh
Application granted granted Critical
Publication of CN111968235B publication Critical patent/CN111968235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种物体姿态估计方法、装置、系统和计算机设备，其中，该物体姿态估计方法包括：通过获取目标物体的二维图像，将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。

Description

一种物体姿态估计方法、装置、系统和计算机设备
技术领域
本申请涉及神经网络技术领域，特别是涉及一种物体姿态估计方法、装置、系统和计算机设备。
背景技术
姿态估计问题就是确定某一三维目标物体的方位指向问题，姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用，物体的姿态也称为6D信息，即位置信息x、y、z和角度信息Pitch、Roll、Yaw，其中，pitch是围绕X轴旋转，也叫做俯仰角，yaw是围绕Y轴旋转，也叫偏航角，roll是围绕Z轴旋转，也叫翻滚角。
在相关技术中，基于热力图的物体姿态估计方法通过区域生成网络(RegionProposal Network，简称RPN网络)提取多个目标物体的候选框，通过全卷积网络(FullyConvolutional Networks，简称FCN网络)提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，然后再通过使用迭代法(Perspective-n-Point，简称PnP)计算目标物体的6D姿态估计，并通过使用3D形状数据集也就是ShapeNet作为CAD模型库来合成大量的训练数据，但是由于三维包围盒的点在目标物体的外面，使得三维包围盒的点并不能真实反映目标物体的位置，进而存在目标物体的6D姿态估计不精确的情形。
目前针对相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种物体姿态估计方法、装置、系统和计算机设备，以至少解决相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题。
第一方面，本申请实施例提供了一种物体姿态估计方法，所述方法包括：
获取目标物体的二维图像；
将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
在其中一些实施例中，所述采用训练物体的二维图像训练所述神经网络模型包括：
对所述三维模型做掩膜处理，确定所述训练物体的掩膜图像和三维坐标图；
将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型。
在其中一些实施例中，将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型包括：
建立基于物体检测算法、映射关系和PnP算法的所述神经网络模型，其中，采用物体检测算法确定所述二维图像中所述训练物体的检测框，并将所述检测框切出来生成用于训练所述映射关系的所述二维图像，通过编解码网络拟合所述二维图像到所述三维坐标图的所述映射关系，并通过所述映射关系处理所述二维图像，以获得与所述二维图像对应的预测三维坐标图，且通过所述PnP算法处理所述预测三维图，以确定与所述二维图像相对应的位姿；
根据所述二维图像训练所述物体检测算法，其中，所述掩膜图像作为监督数据；
基于所述检测框生成的所述二维图像训练所述映射关系，其中，所述三维坐标图作为监督数据。
在其中一些实施例中，确定置信度的情况下，通过所述PnP算法处理所述预测三维图，以确定与所述二维图像相对应的位姿之前，所述方法还包括：
根据所述置信度和所述掩膜图像，筛选所述预测三维坐标图，其中，用筛选后的所述预测三维坐标图通过所述PnP算法处理，以确定与所述二维图像相对应的位姿。
在其中一些实施例中，采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型包括：
将所述二维图像和所述深度图像对齐；
根据对齐后的所述二维图像和所述深度图像，利用三维重建算法重建所述二维图像中的物体模型；
根据所述训练物体修剪所述物体模型，生成所述训练物体的三维模型。
第二方面，本申请实施例提供了一种物体姿态估计装置，所述装置包括：图像获取模块和姿态生成模块；
所述图像获取模块，用于获取目标物体的二维图像；
所述姿态生成模块，用于将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
第三方面，本申请实施例提供了一种物体姿态估计系统，所述系统包括：中央处理器和相机；
所述相机，用于获取目标物体的二维图像；
所述中央处理器，用于将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
在其中一些实施例中，所述采用训练物体的二维图像训练所述神经网络模型包括：
对所述三维模型做掩膜处理，确定所述训练物体的掩膜图像和三维坐标图；
将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型。
第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种物体姿态估计。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种物体姿态估计。
相比于相关技术，本申请实施例提供的物体姿态估计方法，通过获取目标物体的二维图像，将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a是根据本申请实施例的物体姿态估计方法的流程图；
图1b是根据本申请实施例的三维包围框的示意图；
图2是根据本申请实施例的采用训练物体的二维图像训练神经网络模型方法的流程图一；
图3是根据本申请实施例的采用训练物体的二维图像训练神经网络模型方法的流程图二；
图4是根据本申请实施例的采用二维图像和训练物体的深度图像确定训练物体的三维模型方法的流程图；
图5是根据本申请实施例的物体姿态估计装置的结构框图；
图6是根据本申请实施例的物体姿态估计系统的结构框图；
图7是根据本申请实施例的计算机设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的物体姿态估计方法，通过将二维图像作为输入得到目标物体的6D姿态信息，可以适用大部分不对称不透明的物体位姿估计，本申请通过获取目标物体的二维图像，将二维图像输入神经网络模型，获得目标物体的姿态，其中，采用训练物体的二维图像和深度图像训练神经网络模型，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对训练物体的三维图像进行标注。
本实施例提供了一种物体姿态估计方法，图1a是根据本申请实施例的物体姿态估计方法的流程图，如图1a所示，该方法包括如下步骤：
步骤S101，获取目标物体的二维图像；需要说明的是，目标物体的二维图像是通过围绕目标物体拍摄视频所获得的，且二维图像是指目标物体的RGB图像，也可以称为像素图像；
步骤S102，将二维图像输入神经网络模型，获得目标物体的姿态，其中，采用训练物体的二维图像训练神经网络模型，且采用二维图像和训练物体的深度图像确定训练物体的三维模型，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对三维模型进行标注；
需要说明的是，深度图像是一种图像或图像通道，其中包含与目标物体的表面到视点的距离有关的信息，可以用于模拟的3D形状或重建目标物体，且深度图像可以通过深度相机获得，需要进一步说明的是，在训练神经网络模型的过程中，是通过二维图像和深度图像重建训练物体，由于在扫描重建的过程中不可避免的会出现训练物体的模型有缺损的情况，而且重建训练物体的位置在世界坐标系下都不一致，为了保证获得标注数据的一致性，通过根据训练物体的实际尺寸预设三维包围框，且可以手工移动三维包围框的位置，使三维包围框正好将物体包围住，进而可以适当根据三维包围框补充训练物体模型的缺损位置，而且对同一个物体的不同模型，框的朝向和物体的对应位置是一致的，这样就有了统一的标注参考；图1b是根据本申请实施例的三维包围框的示意图，如图1b所示，训练物体为人体鞋子，长方体包围框根据人体鞋子的实际尺寸预设三维包围框；
通过步骤S101至步骤S102，将二维图像输入神经网络模型，得到目标物体的6D姿态信息，且神经网络模型的训练数据是基于深度相机获取的大量二维图像和深度图像，二维图像和深度图像进行训练物体的三维模型重建，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对训练物体的三维图像进行标注，进而可以得到大量的真实的训练数据，避免了相关技术中带有标注的真实数据比较少的情况，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。
在其中一些实施例中，图2是根据本申请实施例的采用训练物体的二维图像训练神经网络模型方法的流程图一，如图2所示，该方法包括如下步骤：
步骤S201，对三维模型做掩膜处理，确定训练物体的掩膜图像和三维坐标图；需要说明的是，掩模图像是由0和1组成的一个二进制图像，当在某一功能中应用掩模时，1值对应区域被处理，被屏蔽的0值对应区域不被包括在计算中，通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模，也可以应用上述选项的任意组合作为输入来建立掩模已获得掩膜图像，掩膜也可以称为mask；
步骤S202，将二维图像作为训练数据，掩膜图像和三维坐标图作为监督数据，训练神经网络模型；
通过步骤S201至步骤S202，在训练神经网络模型中，先根据训练物体的深度图像和二维图像重建三维模型，然后对该三维模型做图像掩膜处理，以获得训练物体的掩膜图像和三维坐标图，最后将大量二维图像作为训练数据，大量掩膜图像和大量三维坐标图作为监督数据，训练神经网络模型，提高神经网络模型的精度。
在其中一些实施例中，图3是根据本申请实施例的采用训练物体的二维图像训练神经网络模型方法的流程图二，如图3所示，将二维图像作为训练数据，掩膜图像和三维坐标图作为监督数据，训练神经网络模型的情况下，该方法还包括如下步骤：
步骤S301，建立基于物体检测算法、映射关系和PnP算法的神经网络模型，其中，采用物体检测算法确定二维图像中训练物体的检测框，并将检测框切出来生成用于训练映射关系的二维图像，通过编解码网络拟合二维图像到三维坐标图的映射关系，并通过映射关系处理二维图像，以获得与二维图像对应的预测三维坐标图，且通过PnP算法处理预测三维图，以确定与二维图像相对应的位姿；
需要说明的是，编解码网络也就是encode-decode的网络，通过encode-decode的网络来拟合RGB图像到三维坐标图的变换，其中，编码部分也就是encode的部分可以采用残差网络(Residual Network，简称Resnet)或者高分辨率网络(High-ResoultionNet，简称HRnet)，解码部分也就是decode的部分可以采用上采样加卷积的形式，而且还可以加入特征金字塔网络((FeaturePyramidNetworks，简称FPN)利用多尺度的信息；
需要进一步说明的是，PnP算法，就是已知的n个空间3D点与图像2D点对应的点对，计算相机位姿、或者目标物体位姿，相机位姿和目标物体二者是等价的，因此通过神经网络模型得知了相机的位姿便是得知了目标物体的位姿；
步骤S302，根据二维图像训练物体检测算法，其中，掩膜图像作为监督数据；
需要说明的是，例如在物体姿态为人体鞋子姿态的情况下，可以使用物体检测算法也就是yolov3的方法进行脚部2D检测，以获得脚部的检测框，且可根据掩膜图像的最小包围框，得到2D脚部检测的包围框，因此可将通过掩膜图像得到的脚部包围框作为监督数据，为了减小运算量，神经网络模型的骨干网络可以采用可分离卷积也就是mobilenet系列，利用可分离卷积代替传统的卷积，可以减少参数量，为了增加神经网络模型的检测效果，在神经网络模型的最后采用多尺度的物体检测算法(Feature Pyramid Networks，简称FPN)的结构，以充分利用多尺度的信息，经过脚部的检测后，可以得到2D框，通过增加短边的长度，可以得到一个正方形的检测框，之后可将脚部图像切出来，这样参与训练的三维图像便变小，并且背景的干扰也减弱了；
步骤S303，基于检测框生成的二维图像训练映射关系，其中，三维坐标图作为监督数据；需要进一步说明的是，神经网络模型的输入为彩色的RGB图像，输出为5通道的特征图，其中前三个通道为三维坐标图，第四个通道是mask信息，第五个通道是预测三维坐标图的置信度，学习三维坐标图的损失函数为L2损失，且L2损失的收敛速度要比L1损失快得多，mask损失采用交叉熵，置信度通道也采用的L2损失，其中置信度学习的是预测三维坐标图和真实三维坐标图(监督数据中的三维坐标图)的一致性，其公式为预测三维坐标图和真实坐标图的欧式距离的平均值；
通过步骤S301至步骤S303，建立基于物体检测算法、映射关系和PnP算法的神经网络模型，并通过编解码网络拟合二维图像到三维坐标图的映射关系，也就是学习RGB图像到三维坐标图的映射，通过PnP算法计算三维坐标图到相机位姿的关系，也就是计算三维坐标图到相机位姿的映射，进而使得神经网络模型在基于二维图像的情况下得知精确的目标物体位姿。
在其中一些实施例中，根据预测三维坐标图和二维图像，确定置信度的情况下，通过PnP算法处理预测三维图，以确定与二维图像相对应的位姿之前，该方法还包括根据置信度和掩膜图像，筛选预测三维坐标图，其中，用筛选后的预测三维坐标图通过PnP算法处理，以确定与二维图像相对应的位姿；需要说明的是，采用编解码的网络形式，学习RGB图像到三维坐标图的映射，同步学习mask和预测三维坐标图的置信度，以便于通过mask和置信度筛选预测三维坐标图中质量比较高的点参与PnP算法的计算；
通过PnP算法处理预测三维图，以确定与二维图像相对应的位姿之前，通过mask和置信度筛选预测三维坐标图中质量比较高的点参与PnP算法的计算，增加姿态估计的稳定性和速度。
在其中一些实施例中，图4是根据本申请实施例的采用二维图像和训练物体的深度图像确定训练物体的三维模型方法的流程图，如图4所示，该方法包括如下步骤：
步骤S401，将二维图像和深度图像对齐；需要说明的是，由于RGB图像数据与深度图像数据的空间坐标系是不同的，前者的原点是RGB摄像头，后者的原点是红外摄像头，因此两者会有相应的误差，进而为了确保通过二维图像和深度图像所建立3D模型的准确度，需对该二维图像和三维图像对齐；
步骤S402，根据对齐后的二维图像和深度图像，利用三维重建算法重建二维图像中的物体模型；根据对齐后的二维图像和深度图像，采用三维重建(Structure FromMotion，简称SFM)的方法进行二维图像中物体的3D重建，进而得到物体的三维模型；
步骤S403，根据训练物体修剪物体模型，生成训练物体的三维模型；需要说明的是，由于根据对齐后的二维图像和深度图像，采用三维重建进行二维图像中物体的3D重建，进而得到物体的三维模型，使得三维模型中包含有除了训练物体之外的背景物体，因此在得到重建的物体模型后，会首先使用meshlab对模型进行修剪，去掉背景的点云数据，只保留待检测的物体；
通过步骤S401至步骤S403，将二维图像和深度图像对齐，进而可以消除两者之间的误差，提高通过二维图像和深度图像所建立3D模型的准确度，根据训练物体修剪物体模型，以生成训练物体的三维模型，进而可去掉背景的点云数据，只保留待检测的物体，降低背景物体数据的干扰。
在其中一些实施例中，通过根据训练物体的实际尺寸预设三维包围框，且可以手工移动三维包围框的位置，使三维包围框正好将物体包围住之后，可以首先在三维包围框内将训练物体的三维坐标进行归一化，每个轴的坐标都归一化到[-1，1]，然后对物体的三维模型烘焙得到物体的坐标图形式，这个坐标图是物体点云的另一种表示，其次可通过模拟录制数据时的相机内外参(在根据二维图像和深度图像基于三维重建(Structure FromMotion，简称SFM)的方法重建训练物体的三维模型时，记录每帧参与重建的RGB图像和其对应的相机姿态)，对烘焙的三维模型进行渲染，就可以获得很稠密的二维图像和三维坐标图的对应关系，进而可获得大量带有标注的训练数据。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种物体姿态估计装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的物体姿态估计装置的结构框图，如图5所示，该装置包括：图像获取模块50和姿态生成模块51；
图像获取模块50，用于获取目标物体的二维图像；
姿态生成模块51，用于将二维图像输入神经网络模型，获得目标物体的姿态，其中，采用训练物体的二维图像训练神经网络模型，且采用二维图像和训练物体的深度图像确定训练物体的三维模型，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对三维模型进行标注；
通过上述的物体姿态估计装置，将二维图像输入神经网络模型，得到目标物体的6D姿态信息，且神经网络模型的训练数据是基于深度相机获取的大量二维图像和深度图像，二维图像和深度图像进行训练物体的三维模型重建，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对训练物体的三维图像进行标注，进而可以得到大量的真实的训练数据，避免了相关技术中带有标注的真实数据比较少的情况，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。
在一些实施例中，姿态生成模块51执行时可实现上述各实施例提供的物体姿态估计方法中的步骤，在这里不再赘述。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请还提供了一种物体姿态估计系统，图6是根据本申请实施例的物体姿态估计系统的结构框图，如图6所示，该系统包括中央处理器60和相机61；
相机61，用于获取目标物体的二维图像；
中央处理器60，用于将二维图像输入神经网络模型，获得目标物体的姿态，其中，采用训练物体的二维图像训练神经网络模型，且采用二维图像和训练物体的深度图像确定训练物体的三维模型，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对三维模型进行标注；
通过上述的物体姿态估计系统，将二维图像输入神经网络模型，得到目标物体的6D姿态信息，且神经网络模型的训练数据是基于深度相机获取的大量二维图像和深度图像，二维图像和深度图像进行训练物体的三维模型重建，并根据训练物体的实际尺寸预设三维包围框，根据三维包围框对训练物体的三维图像进行标注，进而可以得到大量的真实的训练数据，避免了相关技术中带有标注的真实数据比较少的情况，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。
在一些实施例中，采用训练物体的二维图像训练神经网络模型包括：
对三维模型做掩膜处理，确定训练物体的掩膜图像和三维坐标图；
将二维图像作为训练数据，掩膜图像和三维坐标图作为监督数据，训练神经网络模型。
在一些实施例中，中央处理器60执行时可实现上述各实施例提供的物体姿态估计方法中的步骤，在这里不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物体姿态估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图7是根据本申请实施例的计算机设备的内部结构示意图，如图7所示，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物体姿态估计方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的物体姿态估计方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的物体姿态估计方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种物体姿态估计方法，其特征在于，所述方法包括：
获取目标物体的二维图像；
将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
2.根据权利要求1所述的方法，其特征在于，所述采用训练物体的二维图像训练所述神经网络模型包括：
对所述三维模型做掩膜处理，确定所述训练物体的掩膜图像和三维坐标图；
将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型。
3.根据权利要求2所述的方法，其特征在于，将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型包括：
建立基于物体检测算法、映射关系和PnP算法的所述神经网络模型，其中，采用物体检测算法确定所述二维图像中所述训练物体的检测框，并将所述检测框切出来生成用于训练所述映射关系的所述二维图像，通过编解码网络拟合所述二维图像到所述三维坐标图的所述映射关系，并通过所述映射关系处理所述二维图像，以获得与所述二维图像对应的预测三维坐标图，且通过所述PnP算法处理所述预测三维图，以确定与所述二维图像相对应的位姿；
根据所述二维图像训练所述物体检测算法，其中，所述掩膜图像作为监督数据；
基于所述检测框生成的所述二维图像训练所述映射关系，其中，所述三维坐标图作为监督数据。
4.根据权利要求3所述的方法，其特征在于，确定置信度的情况下，通过所述PnP算法处理所述预测三维图，以确定与所述二维图像相对应的位姿之前，所述方法还包括：
根据所述置信度和所述掩膜图像，筛选所述预测三维坐标图，其中，用筛选后的所述预测三维坐标图通过所述PnP算法处理，以确定与所述二维图像相对应的位姿。
5.根据权利要求2所述的方法，其特征在于，采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型包括：
将所述二维图像和所述深度图像对齐；
根据对齐后的所述二维图像和所述深度图像，利用三维重建算法重建所述二维图像中的物体模型；
根据所述训练物体修剪所述物体模型，生成所述训练物体的三维模型。
6.一种物体姿态估计装置，其特征在于，所述装置包括：图像获取模块和姿态生成模块；
所述图像获取模块，用于获取目标物体的二维图像；
所述姿态生成模块，用于将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
7.一种物体姿态估计系统，其特征在于，所述系统包括：中央处理器和相机；
所述相机，用于获取目标物体的二维图像；
所述中央处理器，用于将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。
8.根据权利要求7所述的系统，其特征在于，所述采用训练物体的二维图像训练所述神经网络模型包括：
对所述三维模型做掩膜处理，确定所述训练物体的掩膜图像和三维坐标图；
将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的一种物体姿态估计方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的一种物体姿态估计方法。
CN202010650263.2A 2020-07-08 2020-07-08 一种物体姿态估计方法、装置、系统和计算机设备 Active CN111968235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010650263.2A CN111968235B (zh) 2020-07-08 2020-07-08 一种物体姿态估计方法、装置、系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010650263.2A CN111968235B (zh) 2020-07-08 2020-07-08 一种物体姿态估计方法、装置、系统和计算机设备

Publications (2)

Publication Number Publication Date
CN111968235A true CN111968235A (zh) 2020-11-20
CN111968235B CN111968235B (zh) 2024-04-12

Family

ID=73360944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010650263.2A Active CN111968235B (zh) 2020-07-08 2020-07-08 一种物体姿态估计方法、装置、系统和计算机设备

Country Status (1)

Country Link
CN (1) CN111968235B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446355A (zh) * 2020-12-15 2021-03-05 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112509109A (zh) * 2020-12-10 2021-03-16 上海影创信息科技有限公司 一种基于神经网络模型的单视图光照估计方法
CN112561995A (zh) * 2020-12-09 2021-03-26 中国科学院深圳先进技术研究院 一种实时高效的6d姿态估计网络、构建方法及估计方法
CN112614184A (zh) * 2020-12-28 2021-04-06 清华大学 基于2d检测的物体6d姿态估计方法、装置及计算机设备
CN112652016A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置
CN112927308A (zh) * 2021-03-26 2021-06-08 鹏城实验室 一种三维注册方法、装置、终端及计算机可读存储介质
CN112949761A (zh) * 2021-03-31 2021-06-11 东莞中国科学院云计算产业技术创新与育成中心 三维图像神经网络模型的训练方法、装置和计算机设备
CN113139990A (zh) * 2021-05-08 2021-07-20 电子科技大学 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN113393582A (zh) * 2021-05-24 2021-09-14 电子科技大学 一种基于深度学习的三维物体重建算法
CN113616239A (zh) * 2021-08-13 2021-11-09 北京华医共享医疗科技有限公司 一种自动超声检测方法及系统
CN113724330A (zh) * 2021-09-02 2021-11-30 上海仙工智能科技有限公司 基于关键点的单目摄像头物体位姿估计方法、系统、设备及存储介质
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN113795867A (zh) * 2021-08-09 2021-12-14 百果园技术(新加坡)有限公司 物体姿态的检测方法、装置、计算机设备和存储介质
CN114119999A (zh) * 2021-12-02 2022-03-01 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114407011A (zh) * 2022-01-05 2022-04-29 中科新松有限公司 异形工件抓取规划方法、规划装置及异形工件抓取方法
CN114546125A (zh) * 2022-04-27 2022-05-27 北京影创信息科技有限公司 键盘跟踪方法及跟踪系统
CN114863573A (zh) * 2022-07-08 2022-08-05 东南大学 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN115222809A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
CN116452638A (zh) * 2023-06-14 2023-07-18 煤炭科学研究总院有限公司 位姿估计模型的训练方法、装置、设备和存储介质
CN117237544A (zh) * 2023-11-13 2023-12-15 天津云圣智能科技有限责任公司 一种训练数据的生成方法、装置、电子设备及存储介质
CN117351157A (zh) * 2023-12-05 2024-01-05 北京渲光科技有限公司 单视图三维场景位姿估计方法、系统及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137644A1 (en) * 2016-11-11 2018-05-17 Qualcomm Incorporated Methods and systems of performing object pose estimation
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
US20180268601A1 (en) * 2017-03-16 2018-09-20 Qualcomm Incorporated Three-dimensional pose estimation of symmetrical objects
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109003325A (zh) * 2018-06-01 2018-12-14 网易（杭州）网络有限公司 一种三维重建的方法、介质、装置和计算设备
CN109063301A (zh) * 2018-07-24 2018-12-21 杭州师范大学 一种基于热力图的单幅图像室内物体姿态估计方法
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110335314A (zh) * 2019-06-24 2019-10-15 华中科技大学 基于目标物体的二维图像预测目标物体实时位姿的方法
CN110766746A (zh) * 2019-09-05 2020-02-07 南京理工大学 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法
CN111260775A (zh) * 2020-01-23 2020-06-09 清华大学 基于遮挡信息多尺度感知的三维重建方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137644A1 (en) * 2016-11-11 2018-05-17 Qualcomm Incorporated Methods and systems of performing object pose estimation
US20180268601A1 (en) * 2017-03-16 2018-09-20 Qualcomm Incorporated Three-dimensional pose estimation of symmetrical objects
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109003325A (zh) * 2018-06-01 2018-12-14 网易（杭州）网络有限公司 一种三维重建的方法、介质、装置和计算设备
CN109063301A (zh) * 2018-07-24 2018-12-21 杭州师范大学 一种基于热力图的单幅图像室内物体姿态估计方法
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
CN110335314A (zh) * 2019-06-24 2019-10-15 华中科技大学 基于目标物体的二维图像预测目标物体实时位姿的方法
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
CN110766746A (zh) * 2019-09-05 2020-02-07 南京理工大学 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法
CN111260775A (zh) * 2020-01-23 2020-06-09 清华大学 基于遮挡信息多尺度感知的三维重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIRU PARK,TIMOTHY PATTEN ET AL.: "Pix2pose: Pixel-wise coordinate regression of objects for 6d pose estimation", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV), pages 1 - 3 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487979A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112487979B (zh) * 2020-11-30 2023-08-04 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112561995B (zh) * 2020-12-09 2024-04-23 中国科学院深圳先进技术研究院 一种实时高效的6d姿态估计网络、构建方法及估计方法
CN112561995A (zh) * 2020-12-09 2021-03-26 中国科学院深圳先进技术研究院 一种实时高效的6d姿态估计网络、构建方法及估计方法
CN112509109A (zh) * 2020-12-10 2021-03-16 上海影创信息科技有限公司 一种基于神经网络模型的单视图光照估计方法
CN112446355A (zh) * 2020-12-15 2021-03-05 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
WO2022126668A1 (zh) * 2020-12-15 2022-06-23 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN112446355B (zh) * 2020-12-15 2023-10-17 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN112614184A (zh) * 2020-12-28 2021-04-06 清华大学 基于2d检测的物体6d姿态估计方法、装置及计算机设备
CN112652016B (zh) * 2020-12-30 2023-07-28 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置
CN112652016A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 点云预测模型的生成方法、位姿估计方法及其装置
CN112927308B (zh) * 2021-03-26 2023-09-26 鹏城实验室 一种三维注册方法、装置、终端及计算机可读存储介质
CN112927308A (zh) * 2021-03-26 2021-06-08 鹏城实验室 一种三维注册方法、装置、终端及计算机可读存储介质
CN112949761A (zh) * 2021-03-31 2021-06-11 东莞中国科学院云计算产业技术创新与育成中心 三维图像神经网络模型的训练方法、装置和计算机设备
CN113139990A (zh) * 2021-05-08 2021-07-20 电子科技大学 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN113139990B (zh) * 2021-05-08 2022-03-15 电子科技大学 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN113393582A (zh) * 2021-05-24 2021-09-14 电子科技大学 一种基于深度学习的三维物体重建算法
CN115222809B (zh) * 2021-06-30 2023-04-25 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
CN115222809A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
WO2023273272A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
CN113795867A (zh) * 2021-08-09 2021-12-14 百果园技术(新加坡)有限公司 物体姿态的检测方法、装置、计算机设备和存储介质
WO2023015409A1 (zh) * 2021-08-09 2023-02-16 百果园技术(新加坡)有限公司 物体姿态的检测方法、装置、计算机设备和存储介质
CN113616239A (zh) * 2021-08-13 2021-11-09 北京华医共享医疗科技有限公司 一种自动超声检测方法及系统
CN113743254B (zh) * 2021-08-18 2024-04-09 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN113724330B (zh) * 2021-09-02 2024-04-30 上海仙工智能科技有限公司 单目摄像头物体位姿估计方法、系统、设备及存储介质
CN113724330A (zh) * 2021-09-02 2021-11-30 上海仙工智能科技有限公司 基于关键点的单目摄像头物体位姿估计方法、系统、设备及存储介质
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN114119999B (zh) * 2021-12-02 2024-05-14 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114119999A (zh) * 2021-12-02 2022-03-01 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114407011B (zh) * 2022-01-05 2023-10-13 中科新松有限公司 异形工件抓取规划方法、规划装置及异形工件抓取方法
CN114407011A (zh) * 2022-01-05 2022-04-29 中科新松有限公司 异形工件抓取规划方法、规划装置及异形工件抓取方法
CN114546125B (zh) * 2022-04-27 2022-08-09 北京影创信息科技有限公司 键盘跟踪方法及跟踪系统
CN114546125A (zh) * 2022-04-27 2022-05-27 北京影创信息科技有限公司 键盘跟踪方法及跟踪系统
CN114863573A (zh) * 2022-07-08 2022-08-05 东南大学 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN116452638B (zh) * 2023-06-14 2023-09-08 煤炭科学研究总院有限公司 位姿估计模型的训练方法、装置、设备和存储介质
CN116452638A (zh) * 2023-06-14 2023-07-18 煤炭科学研究总院有限公司 位姿估计模型的训练方法、装置、设备和存储介质
CN117237544A (zh) * 2023-11-13 2023-12-15 天津云圣智能科技有限责任公司 一种训练数据的生成方法、装置、电子设备及存储介质
CN117237544B (zh) * 2023-11-13 2024-01-26 天津云圣智能科技有限责任公司 一种训练数据的生成方法、装置、电子设备及存储介质
CN117351157A (zh) * 2023-12-05 2024-01-05 北京渲光科技有限公司 单视图三维场景位姿估计方法、系统及设备
CN117351157B (zh) * 2023-12-05 2024-02-13 北京渲光科技有限公司 单视图三维场景位姿估计方法、系统及设备

Also Published As

Publication number Publication date
CN111968235B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
CN109657583B (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
US11941831B2 (en) Depth estimation
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
KR20220160066A (ko) 이미지 처리 방법 및 장치
CN110287764B (zh) 姿势预测方法、装置、计算机设备和存储介质
CN113643366B (zh) 一种多视角三维对象姿态估计方法及装置
CN113689578A (zh) 一种人体数据集生成方法及装置
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110728215A (zh) 基于红外图像的人脸活体检测方法、装置
CN112287730A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
CN111915676A (zh) 图像生成方法、装置、计算机设备和存储介质
CN111105489A (zh) 数据合成方法和装置、存储介质和电子装置
CN114862866B (zh) 标定板的检测方法、装置、计算机设备和存储介质
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN116469101A (zh) 数据标注方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant