CN112891922B - 一种虚拟现实体感交互方法 - Google Patents

一种虚拟现实体感交互方法 Download PDF

Info

Publication number
CN112891922B
CN112891922B CN202110289464.9A CN202110289464A CN112891922B CN 112891922 B CN112891922 B CN 112891922B CN 202110289464 A CN202110289464 A CN 202110289464A CN 112891922 B CN112891922 B CN 112891922B
Authority
CN
China
Prior art keywords
skeleton
skeleton line
somatosensory interaction
user
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110289464.9A
Other languages
English (en)
Other versions
CN112891922A (zh
Inventor
王立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shutong Intelligent Technology Co ltd
Original Assignee
Shandong Dream Vision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Dream Vision Intelligent Technology Co ltd filed Critical Shandong Dream Vision Intelligent Technology Co ltd
Priority to CN202110289464.9A priority Critical patent/CN112891922B/zh
Publication of CN112891922A publication Critical patent/CN112891922A/zh
Application granted granted Critical
Publication of CN112891922B publication Critical patent/CN112891922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟现实体感交互方法，包括：S1、采集视场内的图像信息；S2、对图像信息进行处理，提取图像信息中用户的骨骼线；S3、发出预备指令，判断用户的骨骼线是否在预定时间内执行认证动作；S4、执行体感交互，追踪S3中执行认证动作的骨骼线；S5、将骨骼线的动作特征转化为操作指令。通过增加认证动作实现对用户的绑定追踪，解决了现有的体感交互设备识别效果差，容易被非用户干扰，用户体验差，且体感交互游戏多为单人，体感交互过程单调的问题，避免非用户意外闯入干扰识别，提高了用户体验，还能够实现多人使用，增加了趣味性。

Description

一种虚拟现实体感交互方法
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实体感交互方法。
背景技术
随着体感交互技术的发展，体感游戏越来越受到人们的青睐。体感游戏是用户通过自身的肢体动作来进行游戏操作，控制屏幕上的游戏人物，相比于传统游戏通过手柄按键操作的方式，体感游戏增加了互动性和娱乐性。
然而，现有的体感交互设备识别效果较差，不能对人物进行区分，若非玩家无意中闯入识别区域，容易干扰玩家的动作识别，降低用户的使用体验。此外，现有的体感交互游戏多是针对单人的，体感交互过程显得比较单调。
发明内容
本申请实施例提出一种虚拟现实体感交互方法，解决了现有的体感交互设备识别效果差，容易被非用户干扰，用户体验差，且现有的体感交互游戏多为单人，体感交互过程单调的问题，通过增加认证动作实现对用户的绑定追踪，避免非用户意外闯入干扰识别，提高了用户体验，还能够实现多人使用，增加了趣味性。
本申请实施例提供了一种虚拟现实体感交互方法，包括：S1、采集视场内的图像信息；S2、对图像信息进行处理，提取图像信息中用户的骨骼线；S3、发出预备指令，判断用户的骨骼线是否在预定时间内执行认证动作；S4、执行体感交互，追踪S3中执行认证动作的骨骼线；S5、将骨骼线的动作特征转化为操作指令。
进一步地，S1中的图像信息通过深度相机获得，图像信息包括视场内的全部物体。
进一步地，S2包括：S21、通过前景分割技术将S1中图像信息中的用户与背景分离；S22、提取S21中用户的骨骼点，生成每个用户的骨骼线。
进一步地，S3中预备指令为倒计时指令。
进一步地，S3中预定时间为3-5s。
进一步地，S4包括：S41、获取第一帧骨骼线骨骼点的空间坐标和第二帧骨骼线骨骼点的空间坐标；S32、将两个空间坐标导入预测模型中，得到预测空间坐标；S33、将第三帧骨骼线骨骼点的空间坐标与预测空间坐标比较，当匹配度在预定阈值内时，判定第三帧骨骼线为前两帧追踪的骨骼线。
进一步地，S5将骨骼线的动作特征与预设的指令库进行比对，当匹配度达到预定阈值时，执行对应的操作指令。
本申请实施例提供的技术方案，至少具有如下技术效果或优点：
通过增加认证动作实现对用户的绑定追踪，解决了现有的体感交互设备识别效果差，容易被非用户干扰，用户体验差，且体感交互游戏多为单人，体感交互过程单调的问题，避免非用户意外闯入干扰识别，提高了用户体验，还能够实现多人使用，增加了趣味性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本申请实施例的流程图。
具体实施方式
为了更好的理解上述技术方案，下面将结合具体实施方式对上述技术方案进行详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示的一种虚拟现实体感交互方法，包括：
S1、采集视场内的图像信息：其中的图像信息通过深度相机获得，图像信息包括视场内的全部物体。
S2、对图像信息进行处理，提取图像信息中用户的骨骼线；
具体包括：
S21、通过前景分割技术将S1中图像信息中的用户与背景分离；
S22、通过Kinect的骨骼追踪技术提取S21中用户的20骨骼点，并对属于同一用户的骨骼点进行连线，以生成每个用户的骨骼线，20个骨骼点包括头部、肩部中心、左右肩、左右肘部、左右手腕、左右手、脊柱、髋部中心、左右髋、左右膝盖、左右脚踝及左右脚。
S3、发出预备指令，判断用户的骨骼线是否在预定时间内执行认证动作；
具体来说，预备指令为倒计时指令，如语音倒计时或动画倒计时；在发出预备指令后，判断用户的骨骼线是否执行了3-5s的认证动作。
S4、执行体感交互，追踪S3中执行认证动作的骨骼线；
具体包括：
S41、获取第一帧骨骼线骨骼点的空间坐标和第二帧骨骼线骨骼点的空间坐标；
S32、将两个空间坐标导入预测模型中，得到预测空间坐标；
S33、将第三帧骨骼线骨骼点的空间坐标与预测空间坐标比较，当匹配度在预定阈值内时，判定第三帧骨骼线为前两帧追踪的骨骼线。
S5、将骨骼线的动作特征转化为操作指令：将骨骼线的动作特征与预设的指令库进行比对，当匹配度达到预定阈值时，执行对应的操作指令。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
通过增加认证动作实现对用户的绑定追踪，解决了现有的体感交互设备识别效果差，容易被非用户干扰，用户体验差，且体感交互游戏多为单人，体感交互过程单调的问题，避免非用户意外闯入干扰识别，提高了用户体验，还能够实现多人使用，增加了趣味性。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本申请中的图像处理方式及骨骼追踪技术等均为现有技术，可根据实际需求进行选择。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种虚拟现实体感交互方法，其特征在于，包括：
S1、采集视场内的图像信息；
S2、对所述图像信息进行处理，提取图像信息中多个用户的骨骼线；
S3、发出预备指令，判断所述用户的骨骼线是否在预定时间内执行认证动作；
S4、执行体感交互，追踪S3中执行认证动作的骨骼线；
S5、将所述骨骼线的动作特征转化为操作指令；
其中，所述S4包括：
S41、获取第一帧骨骼线骨骼点的空间坐标和第二帧骨骼线骨骼点的空间坐标；
S42、将所述两个空间坐标导入预测模型中，得到预测空间坐标；
S43、将第三帧骨骼线骨骼点的空间坐标与预测空间坐标比较，当匹配度在预定阈值内时，判定第三帧骨骼线为前两帧追踪的骨骼线。
2.根据权利要求1所述的一种虚拟现实体感交互方法，其特征在于，S1中所述的图像信息通过深度相机获得，所述图像信息包括视场内的全部物体。
3.根据权利要求1所述的一种虚拟现实体感交互方法，其特征在于，S2包括：
S21、通过前景分割技术将S1中图像信息中的用户与背景分离；
S22、提取S21中用户的骨骼点，生成每个用户的骨骼线。
4.根据权利要求1所述的一种虚拟现实体感交互方法，其特征在于，S3中所述预备指令为倒计时指令。
5.根据权利要求1所述的一种虚拟现实体感交互方法，其特征在于，S3中所述预定时间为3-5s。
6.根据权利要求1所述的一种虚拟现实体感交互方法，其特征在于，S5将骨骼线的动作特征与预设的指令库进行比对，当匹配度达到预定阈值时，执行对应的操作指令。
CN202110289464.9A 2021-03-18 2021-03-18 一种虚拟现实体感交互方法 Active CN112891922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110289464.9A CN112891922B (zh) 2021-03-18 2021-03-18 一种虚拟现实体感交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110289464.9A CN112891922B (zh) 2021-03-18 2021-03-18 一种虚拟现实体感交互方法

Publications (2)

Publication Number Publication Date
CN112891922A CN112891922A (zh) 2021-06-04
CN112891922B true CN112891922B (zh) 2022-11-22

Family

ID=76105390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110289464.9A Active CN112891922B (zh) 2021-03-18 2021-03-18 一种虚拟现实体感交互方法

Country Status (1)

Country Link
CN (1) CN112891922B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116549956B (zh) * 2023-05-09 2023-11-07 北京维艾狄尔信息科技有限公司 一种户外体感交互方法、系统及智能终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440677A (zh) * 2013-07-30 2013-12-11 四川大学 一种基于Kinect体感设备的多视点自由立体交互系统
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN107357426A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的体感控制方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN111617464A (zh) * 2020-05-28 2020-09-04 西安工业大学 一种动作识别的跑步机健身方法
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
CN111931591A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
CN112348843A (zh) * 2020-10-29 2021-02-09 北京嘀嘀无限科技发展有限公司 调整深度图像预测模型的方法、装置和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933734B (zh) * 2015-06-26 2017-11-28 西安理工大学 一种基于多kinect的人体姿态数据融合方法
CN106249875A (zh) * 2016-07-15 2016-12-21 深圳奥比中光科技有限公司 体感交互方法以及设备
WO2019164986A1 (en) * 2018-02-20 2019-08-29 Uplift Labs, Inc. Identifying movements and generating prescriptive analytics using movement intelligence
CN108376405B (zh) * 2018-02-22 2020-11-17 国家体育总局体育科学研究所 基于双体感追踪系统的人体运动捕捉系统及捕捉方法
CN110947181A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 游戏画面显示方法、装置、存储介质及电子设备
CN111598005A (zh) * 2020-05-18 2020-08-28 北京乐元素文化发展有限公司 动捕数据处理方法、装置、电子设备及计算机存储介质
CN112270734B (zh) * 2020-10-19 2024-01-26 北京大米科技有限公司 一种动画生成方法、可读存储介质和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440677A (zh) * 2013-07-30 2013-12-11 四川大学 一种基于Kinect体感设备的多视点自由立体交互系统
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN107357426A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的体感控制方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
CN111617464A (zh) * 2020-05-28 2020-09-04 西安工业大学 一种动作识别的跑步机健身方法
CN111931591A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
CN112348843A (zh) * 2020-10-29 2021-02-09 北京嘀嘀无限科技发展有限公司 调整深度图像预测模型的方法、装置和电子设备

Also Published As

Publication number Publication date
CN112891922A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
US11052321B2 (en) Applying participant metrics in game environments
CN111191599B (zh) 姿态识别方法、装置、设备及存储介质
CN107909060A (zh) 基于深度学习的健身房健身动作识别方法及装置
CN104870063B (zh) 用于云处理和叠加远程处理应用的流式视频帧上的内容的系统和方法
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
US10509957B2 (en) System and method for human pose estimation in unconstrained video
WO2023071221A1 (zh) 一种游戏中的交互方法、装置、计算机设备、存储介质、计算机程序及计算机程序产品
Obdržálek et al. Real-time human pose detection and tracking for tele-rehabilitation in virtual reality
CN104353240A (zh) 基于Kinect的跑步机系统
Jin et al. Virtual personal trainer via the kinect sensor
KR102412553B1 (ko) 인공지능 기반 댄스 동작 비교 방법 및 장치
CN112891922B (zh) 一种虚拟现实体感交互方法
KR102356685B1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
CN112973110A (zh) 云游戏控制方法、装置、网络电视及计算机可读存储介质
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN111639615A (zh) 一种虚拟建筑物的触发控制方法及装置
CN114768246B (zh) 一种游戏人机互动方法及其系统
WO2023035725A1 (zh) 虚拟道具展示方法及装置
CN114425162A (zh) 一种视频处理方法和相关装置
CN104035560A (zh) 一种基于摄像头的人机实时交互方法
CN115061577A (zh) 手部投影交互方法、系统及存储介质
CN113842622A (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
CN208865163U (zh) 一种基于蹦床的虚拟现实交互装置
Lin et al. Space connection: a new 3D tele-immersion platform for web-based gesture-collaborative games and services

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240204

Address after: 315000, Work Station 3035, Building 0649, No. 827 Meteorology Road, Haishu District, Ningbo City, Zhejiang Province

Patentee after: Zhejiang Shutong Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 276000 Room 308, 3rd floor, national China India science and Technology International Innovation Park, 55 Volvo Road, Linyi Economic and Technological Development Zone, Shandong Province

Patentee before: Shandong Dream Vision Intelligent Technology Co.,Ltd.

Country or region before: China