CN113407033A - 一种基于vr的人体关键点数据扩充的方法 - Google Patents

一种基于vr的人体关键点数据扩充的方法 Download PDF

Info

Publication number
CN113407033A
CN113407033A CN202110737054.6A CN202110737054A CN113407033A CN 113407033 A CN113407033 A CN 113407033A CN 202110737054 A CN202110737054 A CN 202110737054A CN 113407033 A CN113407033 A CN 113407033A
Authority
CN
China
Prior art keywords
camera
coordinate system
key point
human body
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110737054.6A
Other languages
English (en)
Inventor
李璇
陈恒鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110737054.6A priority Critical patent/CN113407033A/zh
Publication of CN113407033A publication Critical patent/CN113407033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于VR的人体关键点数据扩充的方法，属于信息化领域。该方法包括以下步骤：同步VR HMD与相机连接设备的时间服务，使VR HMD的传感器数据获取频率与相机的拍摄频率保持一致；建立以相机光圈中心为原点的相机坐标系，以用户正下方地面为原点的世界坐标系；将相机摆放于用户正前方，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；判断2D像素坐标(u,v)是否达到所需数据量。通过VR HMD与RGB相机，获取不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识别模型，让模型的精度、稳定性都得到极大提升。

Description

一种基于VR的人体关键点数据扩充的方法
技术领域
本发明属于信息化领域，涉及一种基于VR的人体关键点数据扩充的方法。
背景技术
利用VR技术实现的在线平台中，用户都以化身的方式存在于虚拟场景。这些化身能跟随用户移动，但具体动作需要用户主动选择，化身无法直接同步用户的动作，这种情况无疑会降低虚拟世界的沉浸感。通过深度学习的方式自动识别用户的动作，这需要动作数据作为输入，动作数据有多种模态，各有优劣。
动作识别的数据集中，根据数据模态主要分为RGB视频数据集、深度视频数据集和人体骨骼序列数据集。其中人体骨骼序列也可以被称为人体关键点，3D人体关键点可以通过深度相机获得，也可以利用双目相机和关键点提取算法获得。2D人体关键点可以通过RGB视频与关键点提取算法获得，具体数据为人体某个关键点(如脖子、左右眼)在RGB图片中的2D像素坐标。使用2D人体关键点也可以用于动作识别，但同一个动作采集的RGB视频、2D、3D关键点三种数据分别用于动作识别时，使用2D关键点的效果往往不如使用RGB视频或3D人体关键点的效果。但采用人体关键点进行动作识别，相比RGB视频的优势在于不容易受光照影响，能更好保护用户隐私。
为了提升2D关键点用作动作识别的效果，可以通过增加同一个动作以不同角度、距离拍摄图片的2D关键点的数据来实现。一般而言这需要能覆盖不同角度、距离的RGB视频。用于动作识别的RGB视频数据集可以通过收集网络视频或自行拍摄得到，不管是网络视频还是自行拍摄，都无法覆盖到所有合理拍摄角度。
在没有深度相机，但有VRHMD(虚拟现实头戴显示器)的情况下，可以利用VRHMD提供的深度信息实现2D与3D之间的坐标转换。在人体运动过程中鼻子、脖子与左右肩的深度信息与VRHMD采集的深度信息基本一致。一帧下，人体某个关键点在空间中的3D世界坐标系是固定的，但是在拍摄照片中关键点对应的2D像素坐标，根据拍摄的角度、距离，会被映射到不同位置，这种映射关系如图1所示。
发明内容
有鉴于此，本发明的目的在于提供一种基于VR的人体关键点数据扩充的方法。
为达到上述目的，本发明提供如下技术方案：
一种基于虚拟现实VR的人体关键点数据扩充的方法，该方法包括以下步骤：
S1：用户戴上虚拟现实头戴式显示器VR HMD；
S2：同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致；
S3：建立以相机光圈中心为原点Oc的相机坐标系，坐标轴为Xc、Yc和Zc；建立以用户正下方地面为原点Ow的世界坐标系，坐标轴为Xw、Yw和Zw；将相机摆放于用户正前方一定距离处，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；
S4：提取每帧的关键点2D像素坐标和HMD传感器数据；
S5：计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R；
S6：利用关键点提取方法，从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v)；
S7：使用基于标定物的相机标定方法，获取相机内参f；
S8：利用相机成像原理，通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v)，获取到对应点的世界坐标系(Xw,Yw,Zw)；
S9：计算关键点的3D世界坐标系(Xw,Yw,Zw)；
S10：计算所需拍摄角度、位置的偏移向量T和旋转矩阵R；
S11：计算新相机位置下对应关键点的2D像素坐标(u,v)，并保存；
S12：判断2D像素坐标(u,v)是否达到所需数据量；若达到，则结束程序；若没有达到，则返回S10。
可选的，所述用户动作包括趴坐、点头和起立。
可选的，所述偏移向量T的计算公式如下：
Figure BDA0003141977820000021
所述旋转矩阵R的计算公式如下：
Figure BDA0003141977820000022
R＝RxRyRz
其中，θ、
Figure BDA0003141977820000023
和σ分别为绕x、y和z轴旋转的角度，Y0为相机坐标原点Oc相对世界坐标原点Ow，Y轴方向上的距离；Z0为相机坐标原点Oc相对世界坐标原点Ow，Z轴方向上的距离。
可选的，所述世界坐标系(Xw,Yw,Zw)的计算公式如下：
Figure BDA0003141977820000031
其中，Zvr为用户运动过程中VR传感器获取到深度信息，(u0,v0)为图像分辨率的一半。
可选的，所述S11中2D像素坐标(u,v)的计算公式如下：
Figure BDA0003141977820000032
本发明的有益效果在于：通过VR HMD与普通RGB相机，获取了大量不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识别模型，让模型的精度、稳定性都得到极大提升。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为映射关系图；
图2为拍摄示意图；
图3为相机旋转后拍摄示意图；
图4为本发明流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致。
将相机摆放到合理位置。为了后续的数据增强处理，需要确保以相机光圈中心为原点Oc的相机坐标系，相对以用户正下方地面为原点Ow的世界坐标系的偏移向量T、旋转矩阵R数据已知。通常摆放于正前方一定距离处，两个坐标系保持角度一致。拍摄需要识别的用户动作，如趴坐、点头、起立。
拍摄示意图如图2所示。
偏移向量公式如下：
Figure BDA0003141977820000041
旋转矩阵R公式如下，θ，
Figure BDA0003141977820000043
σ分别为绕x，y，z轴旋转的角度：Y0为相机坐标原点Oc相对世界坐标原点Ow，Y轴方向上的距离；
Figure BDA0003141977820000042
R＝RxRyRz
利用关键点提取方法，从拍摄的RGB视频中获取人体关键点在RGB图片中的像素坐标(u，v)。
使用基于标定物的相机标定方法，获取相机内参f。
利用相机成像原理，通过鼻子、脖子和左右肩四个关键点的像素坐标(u，v)，获取到对应点的世界坐标系(Xw，Yw，Zw)。
公式如下，Zvr为用户运动过程中VR传感器获取到深度信息，(u0，v0)为图像分辨率的一半。
Figure BDA0003141977820000051
计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R。关键点的3D世界坐标系(Xw，Yw，Zw)不会改变，可通过公式计算获取到关键点所对应的新2D像素坐标(u，v)，公式如下：
Figure BDA0003141977820000052
Z0为相机坐标原点Oc相对世界坐标原点Ow，Z轴方向上的距离，虚线摄像头的Z0、Y0代表相机Oc只是相对Ow旋转了，并没有X轴、Z轴方向上的位移，与最后一个公式对应(通过关键点的3D世界坐标，获取相机旋转后拍摄图片中，关键点所对应新的2D像素坐标)。
相机旋转后的拍摄示意图如图3所示。深色的线代表初始情况下(正面)拍摄视频中提取的2D关键点数据，浅色的线代表相机旋转后拍摄RGB图片中提取的2D关键点数据(该数据通过上述公式直接获得)。
重复获取到拍摄某一帧时，相机相对世界坐标系原点Ow任意平移、旋转后，在新的拍摄位置、角度下用户肩部及以上的2D关键点像素坐标数据，实现人体关键点数据的扩充。该方案可以获取任意拍摄角度、距离下四个关键点的2D像素坐标。
本发明整体流程图如图4所示。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：该方法包括以下步骤：
S1：用户戴上虚拟现实头戴式显示器VR HMD；
S2：同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致；
S3：建立以相机光圈中心为原点Oc的相机坐标系，坐标轴为Xc、Yc和Zc；建立以用户正下方地面为原点Ow的世界坐标系，坐标轴为Xw、Yw和Zw；将相机摆放于用户正前方一定距离处，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；
S4：提取每帧的关键点2D像素坐标和HMD传感器数据；
S5：计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R；
S6：利用关键点提取方法，从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v)；
S7：使用基于标定物的相机标定方法，获取相机内参f；
S8：利用相机成像原理，通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v)，获取到对应点的世界坐标系(Xw,Yw,Zw)；
S9：计算关键点的3D世界坐标系(Xw,Yw,Zw)；
S10：计算所需拍摄角度、位置的偏移向量T和旋转矩阵R；
S11：计算新相机位置下对应关键点的2D像素坐标(u,v)，并保存；
S12：判断2D像素坐标(u,v)是否达到所需数据量；若达到，则结束程序；若没有达到，则返回S10。
2.根据权利要求1所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述用户动作包括趴坐、点头和起立。
3.根据权利要求2所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述偏移向量T的计算公式如下：
Figure FDA0003141977810000011
所述旋转矩阵R的计算公式如下：
Figure FDA0003141977810000021
R＝RxRyRz
其中，θ、
Figure FDA0003141977810000022
和σ分别为绕x、y和z轴旋转的角度，Y0为相机坐标原点Oc相对世界坐标原点Ow，Y轴方向上的距离；Z0为相机坐标原点Oc相对世界坐标原点Ow，Z轴方向上的距离。
4.根据权利要求3所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述世界坐标系(Xw,Yw,Zw)的计算公式如下：
Figure FDA0003141977810000023
其中，Zvr为用户运动过程中VR传感器获取到深度信息，(u0,v0)为图像分辨率的一半。
5.根据权利要求4所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述S11中2D像素坐标(u,v)的计算公式如下：
Figure FDA0003141977810000024
CN202110737054.6A 2021-06-30 2021-06-30 一种基于vr的人体关键点数据扩充的方法 Pending CN113407033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110737054.6A CN113407033A (zh) 2021-06-30 2021-06-30 一种基于vr的人体关键点数据扩充的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110737054.6A CN113407033A (zh) 2021-06-30 2021-06-30 一种基于vr的人体关键点数据扩充的方法

Publications (1)

Publication Number Publication Date
CN113407033A true CN113407033A (zh) 2021-09-17

Family

ID=77680592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110737054.6A Pending CN113407033A (zh) 2021-06-30 2021-06-30 一种基于vr的人体关键点数据扩充的方法

Country Status (1)

Country Link
CN (1) CN113407033A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830196A (zh) * 2022-12-09 2023-03-21 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997239A (zh) * 2016-10-13 2017-08-01 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997239A (zh) * 2016-10-13 2017-08-01 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
姚寿文等: "双Kinect自适应加权数据融合的全身运动捕捉方法", 《重庆理工大学学报(自然科学)》 *
常玉青: "人机协作中基于多Kinect的人体行为识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
涂武强: "基于人体动作识别的人机协作安全策略研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830196A (zh) * 2022-12-09 2023-03-21 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN115830196B (zh) * 2022-12-09 2024-04-05 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置

Similar Documents

Publication Publication Date Title
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN104956404B (zh) 具有功率有效深度传感器使用的实时三维重建
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
WO2018075053A1 (en) Object pose based on matching 2.5d depth information to 3d information
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
JP2018081410A (ja) コンピュータープログラム
CN113366491B (zh) 眼球追踪方法、装置及存储介质
JP2017187882A (ja) 画像処理に用いられるコンピュータープログラム
CN114219878A (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
JP2010109783A (ja) 電子カメラ
US20160275079A1 (en) Part Identification using a Photograph and Engineering Data
JP2021513175A (ja) データ処理方法及び装置、電子機器並びに記憶媒体
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN113421328A (zh) 一种三维人体虚拟化重建方法及装置
JP2013120556A (ja) 被写体姿勢推定装置および映像描画装置
CN108280807A (zh) 单目深度图像采集装置和系统及其图像处理方法
CN111435550A (zh) 图像处理方法及装置、图像设备及存储介质
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
CN113348489A (zh) 图像处理方法和装置
CN113362467B (zh) 基于点云预处理和ShuffleNet的移动端三维位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917