CN111815754A - 一种三维信息确定方法、三维信息确定装置及终端设备 - Google Patents

一种三维信息确定方法、三维信息确定装置及终端设备 Download PDF

Info

Publication number
CN111815754A
CN111815754A CN201910295249.2A CN201910295249A CN111815754A CN 111815754 A CN111815754 A CN 111815754A CN 201910295249 A CN201910295249 A CN 201910295249A CN 111815754 A CN111815754 A CN 111815754A
Authority
CN
China
Prior art keywords
key point
image
dimensional coordinate
dimensional
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910295249.2A
Other languages
English (en)
Other versions
CN111815754B (zh
Inventor
江若成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910295249.2A priority Critical patent/CN111815754B/zh
Priority to PCT/CN2020/079279 priority patent/WO2020207190A1/zh
Publication of CN111815754A publication Critical patent/CN111815754A/zh
Application granted granted Critical
Publication of CN111815754B publication Critical patent/CN111815754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种三维信息确定方法、三维信息确定装置及终端设备，所述方法包括：获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；识别所述第一图像中所述待检测目标的各个关键点，以确定所述待检测目标的各个关键点的第一初始二维坐标；对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请可以解决“如何获取现实世界中目标的准确三维信息”的技术问题。

Description

一种三维信息确定方法、三维信息确定装置及终端设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种三维信息确定方法、三维信息确定装置、终端设备及计算机可读存储介质。
背景技术
增强现实是图像处理的一个应用方向，增强现实可以应用在教育、娱乐、旅游等各个领域。
为了将虚拟物体准确透射到现实世界，或者得到处理效果更逼真的增强现实图像，需要终端设备获取准确的现实世界中目标的三维信息，因此，如何获取到现实世界中目标的准确三维信息，是目前亟待解决的技术问题。
发明内容
有鉴于此，本申请提供了一种三维信息确定方法、三维信息确定装置、终端设备及计算机可读存储介质，可以解决如何获取现实世界中目标的准确三维信息的技术问题。
本申请第一方面提供了一种三维信息确定方法，包括：
获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
本申请实施例的第二方面提供了一种三维信息确定装置，包括：
图像获取模块，用于获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
第一坐标确定模块，用于识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
修正坐标确定模块，用于对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
深度确定模块，用于对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
三维坐标计算模块，用于对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
本申请第三方面提供了一种终端设备，包括第一测距传感器、第二测距传感器、存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面方法的步骤。
本申请第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面方法的步骤。
由上可见，本申请提供了一种三维信息确定方法，首先，获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像，比如，获取包含待检测目标的彩色图像以及与该彩色图像对齐的深度图像；其次，识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置，对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，该步骤的目的即是用来确定各个关键点分别在上述第一图像中的位置；然后，对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值，在该步骤中，对于某个关键点，依据该关键点的修正二维坐标，在与第一图像对齐的深度图像中查找该修正二维坐标处像素点的深度值，将查找到的深度值确定为该关键点的深度值；最后，对于每个关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。本申请在确定三维坐标时，所依据的是与第一图像对齐的深度图像，因此，可以较为准确的获取各个关键点的深度值，从而使得所计算的三维坐标更加精确。因此，本申请所提供的技术方案可以解决“如何获取现实世界中目标的准确三维信息”的技术问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例一提供的一种三维信息确定方法的实现流程示意图；
图2是本申请实施例一提供的三维坐标计算过程示意图；
图3是本申请实施例二提供的另一种三维信息确定方法的实现流程示意图；
图4是本申请实施例三提供的一种三维信息确定装置的结构示意图；
图5是本申请实施例四提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请实施例提供的三维信息确定方法可以适用于终端设备，示例性地，该终端设备包括但不限于：智能手机、平板电脑、笔记本、智能可穿戴设备、桌上型计算机等。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
实施例一
下面对本申请实施例一提供的三维信息确定方法进行描述。请参阅附图1，本申请实施例一提供的三维信息确定方法包括：
在步骤S101中，获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
在本申请实施例中，上述待检测目标可以是狗、蜜蜂、人脸或者手部等，本申请并不对该待检测目标的类型进行限定。
上述第一图像为利用图像传感器采集的图像，该第一图像可以是彩色图像，也可以是灰度图像。
通常情况下，深度相机与采集灰度图或彩色图的摄像机的视角不同，因此，为了便于后续能够根据深度相机采集的图像，准确地确定第一图像中各个关键点的深度值，需要将深度相机采集的图像与第一图像进行对齐，以使得在确定第一图像中某个关键点的深度值时，能够直接根据该关键点在第一图像中的位置确定该关键点的深度值(即，若某个关键点在第一图像中的位置为X，则该关键点的深度值为深度图像中位置X处的像素点的像素值)。
在步骤S102中，识别上述第一图像中上述待检测目标的各个关键点，以确定该第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
在该步骤中，需要在上述第一图像中，识别上述待检测目标的各个关键点(若上述待检测目标为手部，则该待检测目标的各个关键点可以为关节点、指尖点、手腕点等)，并确定识别出的各个关键点在上述第一图像中的位置。请本领域技术人员注意，识别出的待检测目标的关键点数量可以是一个，也可以是多个。
此外，在本申请实施例中，对于某个识别出的关键点来说，该关键点在上述第一图像中的位置通过该关键点的第一初始二维坐标来表示。该步骤S102所述的“第一初始二维坐标”是目标二维坐标系下的二维坐标，该目标二维坐标系是与上述第一图像位于同一平面的坐标系，比如，该目标二维坐标系可以是第一图像对应的图像坐标系，也可以是第一图像对应的像素坐标系等。
具体地，若本申请实施例所述的“待检测目标”为“手部”，由于目前的手势识别技术能够准确地识别手部各个关键点的位置，因此，各个关键点的第一初始二维坐标可以通过“手势识别”来确定，也即是该步骤S102可以具体为：对第一图像进行手势识别，来确定第一图像中手部的各个关键点的第一初始二维坐标。
在步骤S103中，对于每个关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
在本申请实施例中，修正二维坐标与第一初始二维坐标是同一二维坐标系下二维坐标。比如，若第一初始二维坐标是第一图像对应的图像坐标系下的二维坐标，那么修正二维坐标也是该第一图像对应的图像坐标系下的二维坐标。
对于每个关键点来说，可以直接将该关键点的第一初始二维坐标作为该关键点的修正二维坐标。在这种情况下，在执行完上述步骤S102之后，可以跳过该步骤S103，直接执行后续步骤S104(此时，该步骤S104具体为：对于每个关键点，根据该关键点的第一初始二维坐标，在所述深度图像中查找该第一初始二维坐标对应的深度值，得到该关键点的深度值)。
此外，该步骤S103的具体实施方式还可以有其他方式，具体可参见本申请实施例二的描述，此处不再赘述。
在步骤S104中，对于每个关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
由于上述深度图像是与第一图像对齐的，因此，对于某个关键点来说，可以根据该关键点的修正二维坐标，确定该关键点的深度值，比如，若关键点A在第一图像对应的图像坐标系下的修正二维坐标为(10,20)，那么该关键点A的深度值即为：深度图像对应的图像坐标系下，该深度图像在(10,20)处的像素点的像素值。
在步骤S105中，对于每个关键点，根据该关键点的修正二维坐标以及深度值，技术该关键点的三维坐标；
在该步骤中，可以计算每个关键点在相机坐标系或者世界坐标系等三维坐标系下的三维坐标，本领域技术人员可以通过数学推导确定每个关键点的三维坐标，本申请对该步骤的详细计算过程不做详细描述。
为了使本领域技术人员更清楚本申请实施例一所述的技术方案，下面利用附图2进行简单说明。
首先，在步骤S101中，获取包含待检测目标的第一图像(如图2(a)所示的图像201)以及与该图2(a)对齐的深度图像(如图2(b)所示的图像202)。
其次，在步骤S102中，对图像201进行手势识别，确定待检测目标X的各个关键点的第一初始二维坐标，如图2(c)所示，可以确定待检测目标X的关键点A、关键点B以及关键点C在该图像201对应的图像坐标系M下的第一初始二维坐标，示意性地，如图2(c)所示，关键点A的第一初始二维坐标为(X,Y)。
再次，在步骤S103中，将关键点A的第一初始二维坐标直接确定为关键点A的修正二维坐标，将关键点B的第一初始二维坐标直接确定为关键点B的修正二维坐标，并将关键点C的第一初始二维坐标直接确定为关键点C的修正二维坐标，因此，该关键点A的修正二维坐标依然是(X,Y)。
然后，在步骤S104中，对于关键点A来说，首先，在深度图像202对应的图像坐标系N中，查找(X,Y)处像素点A’的像素值，假设该像素值为D，则关键点A的深度值为D，同理，确定关键点B以及关键点C的深度值。
最后，在步骤S105中，对于关键点A来说，根据X，Y以及D确定该关键点A的三维坐标，同理确定关键点B以及关键点C的三维坐标。
此外，在本申请实施例一中，若待检测目标为手部，则可以在上述步骤S105之后，根据计算得到的手部关键点的三维坐标后，进行手势识别以及手势追踪，具体的，可以事先训练一神经网络模型，通过该神经网络模型进行手势识别或者手势追踪。
由上可见，本申请实施例一所提供的技术方案中，在确定待检测目标各个关键点的三维坐标时，所依据的是与包含该待检测目标的第一图像对齐的深度图像，因此，可以较为准确的获取各个关键点的深度值，从而使得所计算的三维坐标更加精确。因此，本申请所提供的技术方案可以解决“如何获取现实世界中目标的准确三维信息”的技术问题。
实施例二
下面对本申请实施例二提供的另一种三维信息确定方法进行描述。请参阅附图3，本申请实施例二提供的三维信息确定方法包括：
在步骤S301中，获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
在步骤S302中，识别上述第一图像中上述待检测目标的各个关键点，以确定该第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
上述步骤S301-S302具体实施方式与实施例一中步骤S101-S102完全相同，具体可参见实施例一的描述，此处不再赘述。
在步骤S303中，获取第二图像集合，该第二图像集合中包括一张或多张第二图像，该第二图像集合中的各张第二图像为在当前时刻之前对上述待检测目标按照时间先后依次采集的图像，该当前时刻为采集上述第一图像的时刻；
在本申请实施例二中，获取当前时刻之前，对上述待检测目标采集的各张第二图像，该各张第二图像描述了该待检测目标的运动轨迹，本申请依据该各张第二图像来预测该待检测目标中各个关键点在第一图像中的位置。
在步骤S304中，根据上述第二图像集合，对各个上述关键点进行追踪，以预测每个关键点在上述第二图像中的第二初始二维坐标；
具体地，若上述待检测目标为手部，则可以依据手势跟踪算法，预测各个关键点在上述第一图像中的第二初始二维坐标。本领域技术人员容易理解，该第二初始二维坐标与上述第一初始二维坐标是同一二维坐标系下二维坐标。
在步骤S305中，对于每个关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标；
在本申请实施例中，上述修正二维坐标与上述第一初始二维坐标是同一二维坐标系下二维坐标。
对于某个所述关键点A来说，可以将该关键点A的第一初始二维坐标以及第二初始二维坐标代入二维坐标确定公式，计算该关键点A的修正二维坐标，其中，该二维坐标确定公式可以为：
[x,y]＝[w1x1+w2x2,w1y1+w2y2]
其中，w1与w2为权重，w1+w2＝1，[x,y]为该关键点A的修正二维坐标，[x1,y1]为该关键点A的第一初始二维坐标，[x2,y2]为该关键点A的第二初始二维坐标。本领域技术人员容易理解，对于每个关键点来说，该关键点的修正二维坐标可以是第一初始二维坐标与第二初始二维坐标连线的中点处的坐标。
然而，本领域技术人员容易理解，对于不同的关键点来说，上述二维坐标确定公式中的w1与w2的取值可以不同，比如，对于关键点A来说，w1＝0.3，w2＝0.7，对于关键点B来说，w1＝0.5，w2＝0.5。
此外，除了根据上述二维坐标确定公式计算关键点的修正二维坐标之外，还可以根据其他方式确定关键点的修正二维坐标，本申请并不对该步骤S305的具体执行方式进行限定。
在步骤S306中，对于每个关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
在步骤S307中，对于每个关键点，根据该关键点的修正二维坐标以及深度值，技术该关键点的三维坐标；
上述步骤S306-S307具体实施方式与实施例一中步骤S104-S105完全相同，具体可参见实施例一的描述，此处不再赘述。
通常情况下，仅仅依据第一图像，会使得所检测的各个关键点的位置存在一定偏差，因此，为了更准确的确定各个关键点在第一图像中的位置，本申请实施例二在确定各个关键点在第一图像中的位置的时候，还会考虑到依据第二图像集合所预测的关键点在第一图像中的位置，因此，本申请实施例二相比于实施例一所述的直接将第一初始二维坐标确定为修正二维坐标的方式，可以更加准确的确定各个关键点在第一图像中的位置，从而相比于实施例一，更加准确的确定各个关键点的三维坐标。
应理解，上述方法实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三
本申请实施例三提供了一种三维信息确定装置。为了便于说明，仅示出与本申请相关的部分，如图4所示，该三维信息确定装置400包括：
图像获取模块401，用于获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
第一坐标确定模块402，用于识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
修正坐标确定模块403，用于对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
深度确定模块404，用于对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
三维坐标计算模块405，用于对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
可选地，上述修正坐标确定模块403具体用于：
对于每个上述关键点，将该关键点的第一初始二维坐标作为该关键点的修正二维坐标。
可选地，上述修正坐标确定模块403包括：
图像集合获取单元，用于获取第二图像集合，该第二图像集合中包括一张或多张第二图像，该第二图像集合中的各张第二图像为在当前时刻之前对上述待检测目标按照时间先后依次采集的图像，上述当前时刻为采集上述第一图像的时刻；
预测单元，用于根据上述第二图像集合，对各个上述关键点进行追踪，以预测每个上述关键点在上述第一图像中的第二初始二维坐标；
修正单元，用于对于每个上述关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标。
可选地，上述修正单元具体用于：
对于每个上述关键点，将该关键点的第一初始二维坐标以及第二初始二维坐标代入二维坐标确定公式，计算该关键点的修正二维坐标，其中，上述二维坐标确定公式为：
[x,y]＝[w1x1+w2x2,w1y1+w2y2]
其中，w1+w2＝1，[x,y]为该关键点的修正二维坐标，[x1,y1]为该关键点的第一初始二维坐标，[x2,y2]为该关键点的第二初始二维坐标。
可选地，上述待检测目标为待检测手部；
相应地，上述第一坐标确定模块402具体用于：
对上述第一图像进行手势识别，以确定上述第一图像中上述待检测手势的各个关键点的第一初始二维坐标。
可选地，上述待检测目标为待检测手部；
相应地，上述三维信息确定模块400还包括：
手势模块，用于根据上述待检测目标中每个关键点的三维坐标，进行手势识别，和/或，手势追踪。
需要说明的是，该实施例三中的装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例四
图5是本申请实施例四提供的终端设备的示意图。该终端设备包括：处理器501、存储器502、存储在上述存储器502中并可在上述处理器501上运行的计算机程序503。上述处理器501执行上述计算机程序503时实现上述各个方法实施例中的步骤。或者，上述处理器501执行上述计算机程序503时实现上述各装置实施例中各模块/单元的功能。
示例性的，上述计算机程序503可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器502中，并由上述处理器501执行，以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序503在上述终端设备500中的执行过程。例如，上述计算机程序503可以被分割成图像获取模块、第一坐标确定模块、修正坐标确定模块、深度确定模块以及三维坐标计算模块，各模块具体功能如下：
获取包含待检测目标的第一图像以及与该第一图像对齐的深度图像；
识别上述第一图像中上述待检测目标的各个关键点，以确定上述第一图像中上述待检测目标的各个关键点的第一初始二维坐标，其中，每个关键点的第一初始二维坐标用于指示该关键点在上述第一图像中的位置；
对于每个上述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
对于每个上述关键点，根据该关键点的修正二维坐标，在上述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
本领域技术人员可以理解，图5仅仅是终端设备500的示例，并不构成对终端设备500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如上述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器501可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器502可以是上述终端设备500的内部存储单元，例如终端设备500的硬盘或内存。上述存储器502也可以是上述终端设备500的外部存储设备，例如上述终端设备500上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器502还可以既包括上述终端设备500的内部存储单元也包括外部存储设备。上述存储器502用于存储上述计算机程序以及上述终端设备所需的其它程序和数据。上述存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述各个方法实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维信息确定方法，其特征在于，包括：
获取包含待检测目标的第一图像以及与所述第一图像对齐的深度图像；
识别所述第一图像中所述待检测目标的各个关键点，以确定所述第一图像中所述待检测目标的各个关键点的第一初始二维坐标，其中，每个所述关键点的第一初始二维坐标用于指示该关键点在所述第一图像中的位置；
对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
2.如权利要求1所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，包括：
对于每个所述关键点，将该关键点的第一初始二维坐标作为该关键点的修正二维坐标。
3.如权利要求1所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标，包括：
获取第二图像集合，所述第二图像集合中包括一张或多张第二图像，所述第二图像集合中的各张第二图像为在当前时刻之前对所述待检测目标按照时间先后依次采集的图像，所述当前时刻为采集所述第一图像的时刻；
根据所述第二图像集合，对各个所述关键点进行追踪，以预测每个所述关键点在所述第一图像中的第二初始二维坐标；
对于每个所述关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标。
4.如权利要求3所述的三维信息确定方法，其特征在于，所述对于每个所述关键点，根据该关键点的第一初始二维坐标以及第二初始二维坐标，确定该关键点的修正二维坐标，包括：
对于每个所述关键点，将该关键点的第一初始二维坐标以及第二初始二维坐标代入二维坐标确定公式，计算该关键点的修正二维坐标，其中，所述二维坐标确定公式为：
[x,y]＝[w1x1+w2x2,w1y1+w2y2]
其中，w1+w2＝1，[x,y]为该关键点的修正二维坐标，[x1,y1]为该关键点的第一初始二维坐标，[x2,y2]为该关键点的第二初始二维坐标。
5.如权利要求1至4中任一项所述的三维信息确定方法，其特征在于，所述待检测目标为待检测手部；
相应地，所述识别所述第一图像中所述待检测目标的各个关键点，以确定所述第一图像中所述待检测目标的各个关键点的第一初始二维坐标，包括：
对所述第一图像进行手势识别，以确定所述第一图像中所述待检测手势的各个关键点的第一初始二维坐标。
6.如权利要求1至4中任一项所述的三维信息确定方法，其特征在于，所述待检测目标为待检测手部；
相应地，在所述对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标的步骤之后，还包括：
根据所述待检测目标中每个关键点的三维坐标，进行手势识别，和/或，手势追踪。
7.一种三维信息确定装置，其特征在于，包括：
图像获取模块，用于获取包含待检测目标的第一图像以及与所述第一图像对齐的深度图像；
第一坐标确定模块，用于识别所述第一图像中所述待检测目标的各个关键点，以确定所述第一图像中所述待检测目标的各个关键点的第一初始二维坐标，其中，每个所述关键点的第一初始二维坐标用于指示该关键点在所述第一图像中的位置；
修正坐标确定模块，用于对于每个所述关键点，根据该关键点的第一初始二维坐标，确定该关键点的修正二维坐标；
深度确定模块，用于对于每个所述关键点，根据该关键点的修正二维坐标，在所述深度图像中查找该修正二维坐标对应的深度值，得到该关键点的深度值；
三维坐标计算模块，用于对于每个所述关键点，根据该关键点的修正二维坐标以及深度值，计算该关键点的三维坐标。
8.如权利要求7所述的三维信息确定装置，其特征在于，所述修正坐标确定模块具体用于：
对于每个所述关键点，将该关键点的第一初始二维坐标作为该关键点的修正二维坐标。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201910295249.2A 2019-04-12 2019-04-12 一种三维信息确定方法、三维信息确定装置及终端设备 Active CN111815754B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910295249.2A CN111815754B (zh) 2019-04-12 2019-04-12 一种三维信息确定方法、三维信息确定装置及终端设备
PCT/CN2020/079279 WO2020207190A1 (zh) 2019-04-12 2020-03-13 一种三维信息确定方法、三维信息确定装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910295249.2A CN111815754B (zh) 2019-04-12 2019-04-12 一种三维信息确定方法、三维信息确定装置及终端设备

Publications (2)

Publication Number Publication Date
CN111815754A true CN111815754A (zh) 2020-10-23
CN111815754B CN111815754B (zh) 2023-05-30

Family

ID=72750612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910295249.2A Active CN111815754B (zh) 2019-04-12 2019-04-12 一种三维信息确定方法、三维信息确定装置及终端设备

Country Status (2)

Country Link
CN (1) CN111815754B (zh)
WO (1) WO2020207190A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686231A (zh) * 2021-03-15 2021-04-20 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备
CN112927278A (zh) * 2021-02-02 2021-06-08 深圳市杉川机器人有限公司 控制方法、装置、机器人及计算机可读存储介质
CN113733354A (zh) * 2021-08-09 2021-12-03 中科云谷科技有限公司 用于搅拌车的控制方法、处理器和控制装置
CN114066986A (zh) * 2022-01-11 2022-02-18 南昌虚拟现实研究院股份有限公司 三维坐标的确定方法、装置、电子设备及存储介质
CN114821987A (zh) * 2021-01-18 2022-07-29 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备
CN115375856A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 三维重建方法、设备以及存储介质
WO2023116620A1 (zh) * 2021-12-22 2023-06-29 北京字跳网络技术有限公司 一种手势数据的标注方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270669B (zh) * 2020-11-09 2024-03-01 北京百度网讯科技有限公司 人体3d关键点检测方法、模型训练方法及相关装置
CN112464753B (zh) * 2020-11-13 2024-05-24 深圳市优必选科技股份有限公司 图像中关键点的检测方法、检测装置及终端设备
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
CN113192189B (zh) * 2021-05-21 2023-10-27 广联达科技股份有限公司 一种修正连接关系的方法、装置、设备及可读存储介质
CN113610967B (zh) * 2021-08-13 2024-03-26 北京市商汤科技开发有限公司 三维点检测的方法、装置、电子设备及存储介质
CN113780120A (zh) * 2021-08-27 2021-12-10 深圳云天励飞技术股份有限公司 生成人体三维模型的方法、装置、服务器和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182311A1 (en) * 2009-01-19 2010-07-22 Samsung Electronics Co., Ltd. Mobile terminal for generating 3-dimensional image
JP2011039869A (ja) * 2009-08-13 2011-02-24 Nippon Hoso Kyokai <Nhk> 顔画像処理装置およびコンピュータプログラム
JP2012103115A (ja) * 2010-11-10 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> ３次元情報取得装置および３次元情報取得プログラム
CN104899563A (zh) * 2015-05-29 2015-09-09 深圳大学 一种二维人脸关键特征点定位方法及系统
CN107203962A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种利用2d图片制作伪3d图像的方法及电子设备
CN107633247A (zh) * 2017-08-16 2018-01-26 歌尔股份有限公司 图像区域的确定方法及装置
CN107749070A (zh) * 2017-10-13 2018-03-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
CN109214282A (zh) * 2018-08-01 2019-01-15 中南民族大学 一种基于神经网络的三维手势关键点检测方法和系统
CN109272543A (zh) * 2018-09-21 2019-01-25 北京字节跳动网络技术有限公司 用于生成模型的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346816B (zh) * 2014-10-11 2017-04-19 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
CN106846403B (zh) * 2017-01-04 2020-03-27 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN108170166A (zh) * 2017-11-20 2018-06-15 北京理工华汇智能科技有限公司 机器人的跟随控制方法及其智能装置
CN109102541A (zh) * 2018-07-13 2018-12-28 宁波盈芯信息科技有限公司 一种集成深度相机的智能手机的距离测量方法及装置
CN109284681B (zh) * 2018-08-20 2020-11-27 北京市商汤科技开发有限公司 位姿检测方法及装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182311A1 (en) * 2009-01-19 2010-07-22 Samsung Electronics Co., Ltd. Mobile terminal for generating 3-dimensional image
JP2011039869A (ja) * 2009-08-13 2011-02-24 Nippon Hoso Kyokai <Nhk> 顔画像処理装置およびコンピュータプログラム
JP2012103115A (ja) * 2010-11-10 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> ３次元情報取得装置および３次元情報取得プログラム
CN104899563A (zh) * 2015-05-29 2015-09-09 深圳大学 一种二维人脸关键特征点定位方法及系统
CN107203962A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种利用2d图片制作伪3d图像的方法及电子设备
CN107633247A (zh) * 2017-08-16 2018-01-26 歌尔股份有限公司 图像区域的确定方法及装置
CN107749070A (zh) * 2017-10-13 2018-03-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
CN109214282A (zh) * 2018-08-01 2019-01-15 中南民族大学 一种基于神经网络的三维手势关键点检测方法和系统
CN109272543A (zh) * 2018-09-21 2019-01-25 北京字节跳动网络技术有限公司 用于生成模型的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KUANYU JU等: "Depth propagation with tensor voting for 2D-to-3D video conversion", 《2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
冷纪岚: "人体运动姿态图像矫正识别仿真研究", 《计算机仿真》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821987A (zh) * 2021-01-18 2022-07-29 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备
CN114821987B (zh) * 2021-01-18 2024-04-30 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备
CN112927278A (zh) * 2021-02-02 2021-06-08 深圳市杉川机器人有限公司 控制方法、装置、机器人及计算机可读存储介质
CN112686231A (zh) * 2021-03-15 2021-04-20 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备
CN112686231B (zh) * 2021-03-15 2021-06-01 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备
CN113733354A (zh) * 2021-08-09 2021-12-03 中科云谷科技有限公司 用于搅拌车的控制方法、处理器和控制装置
WO2023116620A1 (zh) * 2021-12-22 2023-06-29 北京字跳网络技术有限公司 一种手势数据的标注方法及装置
CN114066986A (zh) * 2022-01-11 2022-02-18 南昌虚拟现实研究院股份有限公司 三维坐标的确定方法、装置、电子设备及存储介质
CN115375856A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 三维重建方法、设备以及存储介质
CN115375856B (zh) * 2022-10-25 2023-02-07 杭州华橙软件技术有限公司 三维重建方法、设备以及存储介质

Also Published As

Publication number Publication date
CN111815754B (zh) 2023-05-30
WO2020207190A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
EP3951721A1 (en) Method and apparatus for determining occluded area of virtual object, and terminal device
CN110909611B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN112528831B (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
CN111208783B (zh) 一种动作模仿方法、装置、终端及计算机存储介质
CN110471409B (zh) 机器人巡检方法、装置、计算机可读存储介质及机器人
CN115631305A (zh) 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN107368820B (zh) 一种精细化手势识别方法、装置及设备
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN109955244B (zh) 一种基于视觉伺服的抓取控制方法、装置和机器人
CN109726481B (zh) 一种机器人搭建的辅助方法、装置及终端设备
CN112198878B (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN111368860B (zh) 重定位方法及终端设备
CN112270242B (zh) 轨迹的显示方法、装置、可读介质和电子设备
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111368668A (zh) 三维手部识别方法、装置、电子设备及存储介质
CN111931794B (zh) 一种基于草图的图像匹配方法
CN114494960A (zh) 视频处理方法及装置、电子设备及计算机可读存储介质
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN111223139B (zh) 目标定位方法及终端设备
CN112200004A (zh) 图像检测模型的训练方法、装置及终端设备
CN112270257A (zh) 一种运动轨迹确定方法、装置及计算机可读存储介质
CN112711965B (zh) 一种绘本识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant