CN113407033A - 一种基于vr的人体关键点数据扩充的方法 - Google Patents
一种基于vr的人体关键点数据扩充的方法 Download PDFInfo
- Publication number
- CN113407033A CN113407033A CN202110737054.6A CN202110737054A CN113407033A CN 113407033 A CN113407033 A CN 113407033A CN 202110737054 A CN202110737054 A CN 202110737054A CN 113407033 A CN113407033 A CN 113407033A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- key point
- human body
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims 3
- 238000012549 training Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于VR的人体关键点数据扩充的方法,属于信息化领域。该方法包括以下步骤:同步VR HMD与相机连接设备的时间服务,使VR HMD的传感器数据获取频率与相机的拍摄频率保持一致;建立以相机光圈中心为原点的相机坐标系,以用户正下方地面为原点的世界坐标系;将相机摆放于用户正前方,使得相机坐标系和世界坐标系保持角度一致,拍摄需要识别的用户动作,获取用户动作的RGB视频;判断2D像素坐标(u,v)是否达到所需数据量。通过VR HMD与RGB相机,获取不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识别模型,让模型的精度、稳定性都得到极大提升。
Description
技术领域
本发明属于信息化领域,涉及一种基于VR的人体关键点数据扩充的方法。
背景技术
利用VR技术实现的在线平台中,用户都以化身的方式存在于虚拟场景。这些化身能跟随用户移动,但具体动作需要用户主动选择,化身无法直接同步用户的动作,这种情况无疑会降低虚拟世界的沉浸感。通过深度学习的方式自动识别用户的动作,这需要动作数据作为输入,动作数据有多种模态,各有优劣。
动作识别的数据集中,根据数据模态主要分为RGB视频数据集、深度视频数据集和人体骨骼序列数据集。其中人体骨骼序列也可以被称为人体关键点,3D人体关键点可以通过深度相机获得,也可以利用双目相机和关键点提取算法获得。2D人体关键点可以通过RGB视频与关键点提取算法获得,具体数据为人体某个关键点(如脖子、左右眼)在RGB图片中的2D像素坐标。使用2D人体关键点也可以用于动作识别,但同一个动作采集的RGB视频、2D、3D关键点三种数据分别用于动作识别时,使用2D关键点的效果往往不如使用RGB视频或3D人体关键点的效果。但采用人体关键点进行动作识别,相比RGB视频的优势在于不容易受光照影响,能更好保护用户隐私。
为了提升2D关键点用作动作识别的效果,可以通过增加同一个动作以不同角度、距离拍摄图片的2D关键点的数据来实现。一般而言这需要能覆盖不同角度、距离的RGB视频。用于动作识别的RGB视频数据集可以通过收集网络视频或自行拍摄得到,不管是网络视频还是自行拍摄,都无法覆盖到所有合理拍摄角度。
在没有深度相机,但有VRHMD(虚拟现实头戴显示器)的情况下,可以利用VRHMD提供的深度信息实现2D与3D之间的坐标转换。在人体运动过程中鼻子、脖子与左右肩的深度信息与VRHMD采集的深度信息基本一致。一帧下,人体某个关键点在空间中的3D世界坐标系是固定的,但是在拍摄照片中关键点对应的2D像素坐标,根据拍摄的角度、距离,会被映射到不同位置,这种映射关系如图1所示。
发明内容
有鉴于此,本发明的目的在于提供一种基于VR的人体关键点数据扩充的方法。
为达到上述目的,本发明提供如下技术方案:
一种基于虚拟现实VR的人体关键点数据扩充的方法,该方法包括以下步骤:
S1:用户戴上虚拟现实头戴式显示器VR HMD;
S2:同步VR HMD与相机连接设备的时间服务,设置VR HMD的传感器数据获取频率,与相机的拍摄频率保持一致;
S3:建立以相机光圈中心为原点Oc的相机坐标系,坐标轴为Xc、Yc和Zc;建立以用户正下方地面为原点Ow的世界坐标系,坐标轴为Xw、Yw和Zw;将相机摆放于用户正前方一定距离处,使得相机坐标系和世界坐标系保持角度一致,拍摄需要识别的用户动作,获取用户动作的RGB视频;
S4:提取每帧的关键点2D像素坐标和HMD传感器数据;
S5:计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R;
S6:利用关键点提取方法,从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v);
S7:使用基于标定物的相机标定方法,获取相机内参f;
S8:利用相机成像原理,通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v),获取到对应点的世界坐标系(Xw,Yw,Zw);
S9:计算关键点的3D世界坐标系(Xw,Yw,Zw);
S10:计算所需拍摄角度、位置的偏移向量T和旋转矩阵R;
S11:计算新相机位置下对应关键点的2D像素坐标(u,v),并保存;
S12:判断2D像素坐标(u,v)是否达到所需数据量;若达到,则结束程序;若没有达到,则返回S10。
可选的,所述用户动作包括趴坐、点头和起立。
可选的,所述偏移向量T的计算公式如下:
所述旋转矩阵R的计算公式如下:
R=RxRyRz
可选的,所述世界坐标系(Xw,Yw,Zw)的计算公式如下:
其中,Zvr为用户运动过程中VR传感器获取到深度信息,(u0,v0)为图像分辨率的一半。
可选的,所述S11中2D像素坐标(u,v)的计算公式如下:
本发明的有益效果在于:通过VR HMD与普通RGB相机,获取了大量不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识别模型,让模型的精度、稳定性都得到极大提升。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为映射关系图;
图2为拍摄示意图;
图3为相机旋转后拍摄示意图;
图4为本发明流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
同步VR HMD与相机连接设备的时间服务,设置VR HMD的传感器数据获取频率,与相机的拍摄频率保持一致。
将相机摆放到合理位置。为了后续的数据增强处理,需要确保以相机光圈中心为原点Oc的相机坐标系,相对以用户正下方地面为原点Ow的世界坐标系的偏移向量T、旋转矩阵R数据已知。通常摆放于正前方一定距离处,两个坐标系保持角度一致。拍摄需要识别的用户动作,如趴坐、点头、起立。
拍摄示意图如图2所示。
偏移向量公式如下:
R=RxRyRz
利用关键点提取方法,从拍摄的RGB视频中获取人体关键点在RGB图片中的像素坐标(u,v)。
使用基于标定物的相机标定方法,获取相机内参f。
利用相机成像原理,通过鼻子、脖子和左右肩四个关键点的像素坐标(u,v),获取到对应点的世界坐标系(Xw,Yw,Zw)。
公式如下,Zvr为用户运动过程中VR传感器获取到深度信息,(u0,v0)为图像分辨率的一半。
计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R。关键点的3D世界坐标系(Xw,Yw,Zw)不会改变,可通过公式计算获取到关键点所对应的新2D像素坐标(u,v),公式如下:
Z0为相机坐标原点Oc相对世界坐标原点Ow,Z轴方向上的距离,虚线摄像头的Z0、Y0代表相机Oc只是相对Ow旋转了,并没有X轴、Z轴方向上的位移,与最后一个公式对应(通过关键点的3D世界坐标,获取相机旋转后拍摄图片中,关键点所对应新的2D像素坐标)。
相机旋转后的拍摄示意图如图3所示。深色的线代表初始情况下(正面)拍摄视频中提取的2D关键点数据,浅色的线代表相机旋转后拍摄RGB图片中提取的2D关键点数据(该数据通过上述公式直接获得)。
重复获取到拍摄某一帧时,相机相对世界坐标系原点Ow任意平移、旋转后,在新的拍摄位置、角度下用户肩部及以上的2D关键点像素坐标数据,实现人体关键点数据的扩充。该方案可以获取任意拍摄角度、距离下四个关键点的2D像素坐标。
本发明整体流程图如图4所示。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于虚拟现实VR的人体关键点数据扩充的方法,其特征在于:该方法包括以下步骤:
S1:用户戴上虚拟现实头戴式显示器VR HMD;
S2:同步VR HMD与相机连接设备的时间服务,设置VR HMD的传感器数据获取频率,与相机的拍摄频率保持一致;
S3:建立以相机光圈中心为原点Oc的相机坐标系,坐标轴为Xc、Yc和Zc;建立以用户正下方地面为原点Ow的世界坐标系,坐标轴为Xw、Yw和Zw;将相机摆放于用户正前方一定距离处,使得相机坐标系和世界坐标系保持角度一致,拍摄需要识别的用户动作,获取用户动作的RGB视频;
S4:提取每帧的关键点2D像素坐标和HMD传感器数据;
S5:计算相机相对世界坐标系原点Ow平移、旋转后的偏移向量T和旋转矩阵R;
S6:利用关键点提取方法,从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v);
S7:使用基于标定物的相机标定方法,获取相机内参f;
S8:利用相机成像原理,通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v),获取到对应点的世界坐标系(Xw,Yw,Zw);
S9:计算关键点的3D世界坐标系(Xw,Yw,Zw);
S10:计算所需拍摄角度、位置的偏移向量T和旋转矩阵R;
S11:计算新相机位置下对应关键点的2D像素坐标(u,v),并保存;
S12:判断2D像素坐标(u,v)是否达到所需数据量;若达到,则结束程序;若没有达到,则返回S10。
2.根据权利要求1所述的一种基于虚拟现实VR的人体关键点数据扩充的方法,其特征在于:所述用户动作包括趴坐、点头和起立。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110737054.6A CN113407033A (zh) | 2021-06-30 | 2021-06-30 | 一种基于vr的人体关键点数据扩充的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110737054.6A CN113407033A (zh) | 2021-06-30 | 2021-06-30 | 一种基于vr的人体关键点数据扩充的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113407033A true CN113407033A (zh) | 2021-09-17 |
Family
ID=77680592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110737054.6A Pending CN113407033A (zh) | 2021-06-30 | 2021-06-30 | 一种基于vr的人体关键点数据扩充的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113407033A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830196A (zh) * | 2022-12-09 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 虚拟形象处理方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106997239A (zh) * | 2016-10-13 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
-
2021
- 2021-06-30 CN CN202110737054.6A patent/CN113407033A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106997239A (zh) * | 2016-10-13 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
Non-Patent Citations (3)
Title |
---|
姚寿文等: "双Kinect自适应加权数据融合的全身运动捕捉方法", 《重庆理工大学学报(自然科学)》 * |
常玉青: "人机协作中基于多Kinect的人体行为识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
涂武强: "基于人体动作识别的人机协作安全策略研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830196A (zh) * | 2022-12-09 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 虚拟形象处理方法及装置 |
CN115830196B (zh) * | 2022-12-09 | 2024-04-05 | 支付宝(杭州)信息技术有限公司 | 虚拟形象处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021077720A1 (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
CN104956404B (zh) | 具有功率有效深度传感器使用的实时三维重建 | |
CN104781849B (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
WO2021143282A1 (zh) | 三维人脸模型生成方法、装置、计算机设备及存储介质 | |
CN108140105A (zh) | 具有脸部表情检测能力的头戴式显示器 | |
CN108230384B (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
CN106997618A (zh) | 一种虚拟现实与真实场景融合的方法 | |
JP2018081410A (ja) | コンピュータープログラム | |
CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
JP2017187882A (ja) | 画像処理に用いられるコンピュータープログラム | |
CN114219878A (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
JP2010109783A (ja) | 電子カメラ | |
US20160275079A1 (en) | Part Identification using a Photograph and Engineering Data | |
JP2021513175A (ja) | データ処理方法及び装置、電子機器並びに記憶媒体 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN113421328A (zh) | 一种三维人体虚拟化重建方法及装置 | |
JP2013120556A (ja) | 被写体姿勢推定装置および映像描画装置 | |
CN108280807A (zh) | 单目深度图像采集装置和系统及其图像处理方法 | |
CN111435550A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
CN113348489A (zh) | 图像处理方法和装置 | |
CN113362467B (zh) | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |