CN106445176A - 基于虚拟现实技术的人机交互系统及交互方法 - Google Patents

基于虚拟现实技术的人机交互系统及交互方法 Download PDF

Info

Publication number
CN106445176A
CN106445176A CN201611109879.9A CN201611109879A CN106445176A CN 106445176 A CN106445176 A CN 106445176A CN 201611109879 A CN201611109879 A CN 201611109879A CN 106445176 A CN106445176 A CN 106445176A
Authority
CN
China
Prior art keywords
virtual reality
man
user
head
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611109879.9A
Other languages
English (en)
Other versions
CN106445176B (zh
Inventor
郭亮
陈新铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201611109879.9A priority Critical patent/CN106445176B/zh
Publication of CN106445176A publication Critical patent/CN106445176A/zh
Application granted granted Critical
Publication of CN106445176B publication Critical patent/CN106445176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

本发明公开了一种基于虚拟现实技术的人机交互系统及交互方法,人机交互系统包括:虚拟现实头显设备、控制器和体感识别装置,当用户需要与虚拟世界进行交互时,体感识别装置会捕捉用户的体感数据信息,并将体感数据信息输出至控制器,控制器将获取的体感数据集信息转换成用户运动数据处理信号,输出至虚拟现实头显设备,控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动,完成人机交互。因此,本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动,从而大大提高了沉浸式体验的真实性。

Description

基于虚拟现实技术的人机交互系统及交互方法
技术领域
本发明涉及虚拟现实技术领域,更具体的说,涉及一种基于虚拟现实技术的人机交互系统及交互方法。
背景技术
近年来,虚拟现实技术以其逼真实时的内容展现形式,受到了越来越多人的追捧,为迎合市场需求,很多热门行业如游戏、电影等公司纷纷大力开发虚拟现实世界。
目前,较为常用的虚拟现实设备是头戴式虚拟现实设备(也可称为:VR头显设备),头戴式虚拟现实设备利用佩戴在头部的显示器,将人对外界的视觉和听觉封闭,引导用户产生一种身在虚拟环境中的感觉。其显示原理是左右眼屏幕上分别显示左右眼的图像,人眼获取这种带有差异的信息后,在脑海中产生立体感。当前的头戴式虚拟现实设备主要分为两种:一种头戴式虚拟现实设备只能进行单纯的沉浸式全景交互体验,仅支持听觉和视觉的观感,无法与用户进行互动;另一种头戴式虚拟现实设备具备手柄和位移识别功能,能够根据用户的手势和位移,与用户进行简单的沉浸式全景交互。
然而,现有的虚拟现实设备均具有用户与虚拟场景互动性差的缺点,沉浸式体验的真实性较弱。
发明内容
有鉴于此,本发明公开一种基于虚拟现实技术的人机交互系统及交互方法,以实现用户能够通过体感动作与虚拟现实头显设备显示内容进行人机互动,提高沉浸式体验的真实性。
一种基于虚拟现实技术的人机交互系统,包括:虚拟现实头显设备、控制器和体感识别装置;
所述体感识别装置用于捕捉用户的体感数据信息;
所述控制器分别与所述虚拟现实头显设备和所述体感识别装置连接,所述控制器用于获取所述体感识别装置输出的所述体感数据信息,并将所述体感数据信息转换成用户运动数据处理信号,输出至所述虚拟现实头显设备;
所述虚拟现实头显设备用于接收来自所述控制器的所述用户运动数据处理信号,并控制显示的虚拟场景中的运动模型同步运动。
一种基于虚拟现实技术的人机交互系统的交互方法,所述方法包括:
接收体感识别装置发送的第一体感数据信息,所述第一体感数据信息由所述体感识别装置监测到人体信息时生成;
向虚拟现实头显设备发送视频播放指令,控制所述虚拟现实头显设备播放预设视频;
接收所述体感识别装置发送的第二体感数据信息,所述第二体感数据信息由所述体感识别装置监测到人体的动作信息时生成;
将所述第二体感数据信息转换成用户的运动数据处理信号;
将所述运动数据处理信号输出至所述虚拟现实头显设备,控制所述虚拟现实头显设备显示的虚拟场景中的运动模型同步运动。
从上述的技术方案可知,本发明公开了一种基于虚拟现实技术的人机交互系统及交互方法,人机交互系统包括:虚拟现实头显设备、控制器和体感识别装置,当用户需要与虚拟世界进行交互时,体感识别装置会捕捉用户的体感数据信息,并将体感数据信息输出至控制器,控制器将获取的体感数据集信息转换成用户运动数据处理信号,输出至虚拟现实头显设备,控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动,完成人机交互。因此,本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动,从而大大提高了沉浸式体验的真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图;
图2为本发明实施例公开的一种虚拟现实头显设备根据接收来自控制器的用户运动数据处理信号,控制显示的虚拟场景中的运动模型同步运动的方法流程图;
图3为本发明实施例公开的一种虚拟现实头显设备的产品结构示意图;
图4为本发明实施例公开的一种体感识别装置的产品结构示意图;
图5为本发明实施例公开的另一种基于虚拟现实技术的人机交互系统的结构示意图;
图6为本发明实施例公开的另一种基于虚拟现实技术的人机交互系统的结构示意图;
图7为本发明实施例公开的一种基于虚拟现实技术的人机交互方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于虚拟现实技术的人机交互系统及交互方法,以实现用户能够通过体感动作与虚拟现实头显设备显示内容进行人机互动,提高沉浸式体验的真实性。
如图1所示,本发明实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图,人机交互系统包括:虚拟现实头显设备100、控制器200和体感识别装置300。
具体的,体感识别装置300用于捕捉用户的体感数据信息,体感数据信息包括:人体的位移和肢体动作信息(如伸手、抬胳膊等),肢体动作信息具体包括身体多个部位之间的相对位置信息和运动速度。
在实际应用中,体感识别装置300可以通过设置JSSDK(Javascript SoftwareDevelopment Kit)开发页面,对用户的体感信息进行捕捉,实现对用户肢体动作的监控和识别。其中,JSSDK是硬件或软件开发商使用Javascript开发的一种SDK(SoftwareDevelopment Kit,软件开发工具包)。
控制器200分别与虚拟现实头显设备100和体感识别装置300连接,控制器200用于获取体感识别装置300输出的体感数据信息,并将体感数据信息转换成用户运动数据处理信号,输出至虚拟现实头显设备100。
控制器200采用计算机,其主要由主控芯片、内部存储器、外部存储器、显示驱动器和音频驱动器组成。
虚拟现实头显设备100用于接收来自控制器200的用户数据处理信号,并控制显示的虚拟场景中的运动模型同步运动。
需要说明的是,虚拟场景中的运动模型可以是第一人称动作模型,也可以是第三人称动作模型。其中,第三人称动作模型与第一人称动作模型的区别在于:第一人称动作模型在虚拟场景中显示的只有主角的视野,而第三人称动作模型在虚拟场景中更强调动作感,主角在虚拟场景中是可见的。在实际应用中,第一人称动作模型和第三人称动作模型之间可以相互转换。
当运动模型为第一人称动作模型时,假设虚拟现实头显设备100显示的虚拟场景为赛车场景,并展示有跑道,动作模型为赛车手模型,当用户做出赛车比赛的肢体动作,如转动方向盘时,体感识别装置300会捕捉到用户转动方向盘的体感数据信息,并输出至控制器200;控制器200将用户转动方向盘的体感数据信息转换成用户转动方向盘的运动数据处理信号,输出至虚拟现实头显设备100;虚拟现实头显设备100根据来自控制器200的用户转动方向盘的运动数据处理信号,控制赛车比赛虚拟场景中的赛车手模型同向并同步转动方向盘,实现对虚拟赛车场景中赛车运动方向的控制。
当运动模型为第三人称动作模型时,假设虚拟现实头显设备100显示的虚拟场景为枪战场景,动作模型为某一游戏角色模型。当用户做出射击的肢体动作时,体感识别装置300会捕捉到用户做出的射击动作的体感数据信息,并输出至控制器200;控制器200将用户射击的肢体动作转换成对应的运动数据处理信号,输出至虚拟现实头显设备100;虚拟现实头显设备100根据来自控制器200的用户射击的肢体动作对应的运动数据处理信号,控制虚拟场景中的对应的游戏角色模型执行相同的射击肢体动作。
综上可知,本发明公开的基于虚拟现实技术的人机交互系统,当用户需要与虚拟世界进行交互时,体感识别装置会捕捉用户的体感数据信息,并将体感数据信息输出至控制器,控制器将获取的体感数据集信息转换成用户运动数据处理信号,输出至虚拟现实头显设备,控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动,完成人机交互。因此,本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动,从而大大提高了沉浸式体验的真实性。
在一实施例中,如图2所示,本发明公开了一种虚拟现实头显设备根据接收来自控制器的用户运动数据处理信号,控制显示的虚拟场景中的运动模型同步运动的方法流程图,该方法包括步骤:
步骤S201、接收来自控制器200的用户运动数据处理信号;
步骤S202、从用户运动数据处理信号中提取出用户的位移信息、身体多个部位之间的相对位置信息和运动速度;
具体的,位移信息指的是人体的位置在运动过程中的移动信息。身体多个部位之间的相对位置信息和运动速度指的是人体的肢体动作信息,也可以认为是人体的骨骼信息。
步骤S203、根据相对位置信息和运动速度模拟得到人体的轮廓信息;
步骤S204、将轮廓信息和位移信息映射到显示的虚拟场景中的运动模型,控制运动模型同步运动。
需要说明的是,在实际应用中,虚拟现实头显设备100可以采用视频、图片、WebGL(Web Graphics Library,web图形库)等方式对用户运动数据处理信号进行处理,实现运动模型与用户同步运动的呈现。与此同时,还可以通过JavaScript开发与用户互动的逻辑。
结合图1和图3,虚拟现实头显设备具体包括:头显外壳101、头显控制单元102(参见图1)、内置于头显外壳101内部同时靠近人眼并与左右眼对应的两个立体视镜103、位于立体视镜103前端并与立体视镜103中心相同的显示屏104,绑于头显外壳101两侧与上部,用于固定在用户头部的头带105,以及显示屏插口106,显示屏104放置在显示屏插口106内。
具体的,头显外壳101靠近人脸的一侧符合人类面部工程学特征,前额、脸颊、鼻子处均有贴合人类面颊特征的凹槽,同时利用此类特征起到支撑整个面颊的作用。将头显外壳101与人类面颊接触面贴合起来,使得外界光线不得进入其中,从而使得用户可以更好地沉浸在显示屏104所提供的场景内容中。
头显控制单元102用于接收来自控制器200的用户运动数据处理信号,并控制显示屏104显示的虚拟场景中的运动模型同步运动。
立体视镜103用于将显示屏104中显示的内容以立体的形式体现出来,可以选自非球面镜片、超韧镜片、变色镜片、染色镜片、渐进多焦镜片、防辐射镜片、树脂镜片中的至少一种。例如当选用非球面镜片时,通过两个非球面镜片分别观看显示屏104的双分屏显示内容,根据双眼看到的物体角度不同,产生远近的深度,从而产生立体感。
显示屏104用于虚拟现实场景的显示,可以是智能手机、LED显示屏和平板电脑中的至少一种。
用户在使用虚拟现实头显设备100时,需要将头带105固定于头部,通过调节头带105,用户可以解放双手并且不受外界光影变化的影响,完全沉浸在显示屏104显示的画面。
其中,头显控制单元102具体包括:惯性传感器102a、处理芯片102b、供电部件102c和传输部件102d;
惯性传感器102a可以选自加速度传感器、角速度传感器、地磁计中的一种或多种,用于感测用户头部的位置变化数据和姿态变化数据。
具体的,角速度传感器用于获取用户头部在空间中的三轴角信息;
加速度传感器用于获取用户头部在空间中的三轴瞬时加速度信息。
地磁计用于感测磁通量信息。
处理芯片102b用于将惯性传感器102a感测到的原始数据,例如加速度、角速度和磁通量中的一种或多种,转换为用户头部运动时的位置信息和姿态信息,例如根据角速度传感器获取的用户头部在空间中的三轴角信息,得到三轴角增量信息,通过在时间维度上对测得的三轴角增量进行积分,即可得到每一轴的转动角度,从而得到用户头部在转动时的姿态角变化;根据加速度传感器获取的用户头部在空间中的三轴瞬时加速度信息,并结合重力信息,利用三角函数可以求得各轴与重力分量的夹角,利用该夹角可以对角速度传感器的到的三轴角进行对比和矫正;根据地磁计感测的磁通量信息,对角速度传感器进行极性偏移校正,以使得测量的结果更加准确;
供电部件102c用于为显示屏101供电,可以选用一次性电池、可充电电池等方式;
传输部件102d用于虚拟现实头显设备100和控制器200之间的数据或信号通信。
优选的,头显控制单元102还可以包括至少一个控制按键102e。当单独使用虚拟现实头显设备100进行虚拟现实场景的演示时,可以通过控制按键102e进行操控。控制按键102e可以包括方向控制按键,如上、下、左、右方向控制按键,以及功能控制按键,如选择、切换、返回控制按键。
优选的,虚拟现实头显设备100还可以包括:与头显控制单元102连接的风扇(图中未示出),风扇用于吹出模拟的自然风。本实施例中采用风扇吹出模拟的自然风,以让用户享受大自然的阵阵清风,以清风拂面的形式增强用户在虚拟场景中的临场感,并提高用户使用的舒适度和体验。
优选的,虚拟现实头显设备100还可以包括:与头显控制单元102连接的气味发生器(图中未示出),气味发生器用于调制出真实的气味。气味发生器设置在用户带上虚拟现实头显设备100时,用户鼻子对应的虚拟现实头显设备100的位置附近。气味发生器能够对头显控制单元102输出的气味信息进行转换,调制出与气味信息相匹配的真正的气味,并可经有设置在虚拟现实头显设备100上的风扇,将调制出的真正的气味进行挥发,增强用户的临场感和体验。
虚拟现实头显设备100用于为用户提供场景显示,需要长时间佩戴于用户头部,因此其重量和舒适度必须保证良好的用户体验。根据本发明的一个实施例,虚拟现实头显设备100与控制器200之间通过无线进行数据交换,此过程不仅可以传输有效数据和信号,同时还可以避免用户在运动时被连接线困扰,从而提升用户体验。
具体的,虚拟现实头显设备100和控制器200通过无线通信单元400连接,无线通信单元400可以选自蓝牙、无线WiFi、红外线、NFC(Near Field Communication,近距离无线通讯技术)、RFID(Radio Frequency Identification,射频识别技术)中的一种或多种。
如图4所示,本发明的一个具体实施例公开的一种体感识别装置的产品结构示意图,体感识别装置包括:用于固定安装在设定位置401处(如墙上)的体感摄像机301和用于设置在底板402上的感应位302,体感摄像机301用于感知人体信息,体感摄像机301的三维识别区域位于感应位302上方。体感摄像机301优选位于设定位置401的中心位置,并安装在设定位置401上,体感摄像机301带有摄像头的部分露出设定位置401少许,以便采集视频信息。
体感摄像机301包括红外发射器和摄像头,红外发射器用于发出覆盖整个可视范围的光线,其可视范围为感应位302,摄像头接收感应位302的反射光线,并根据反射光线得到体感识别信息。
体感摄像机6捕捉人体动作的原理是:首先,通过黑白光谱的方式来感知环境,纯黑代表无穷远,纯白代表无穷尽,黑白间的灰色地带对应实际物体到摄像机的物理距离,收集视野范围内的每一点,实时3D再现周围环境;其次,在图像中寻找可能是人体的移动物体,即通过从噪音中提取出有用信号的方式,将人体从背景环境中区分出来;然后,将人图像的每一个像素传送进一个辨别人体部位的机器学习系统中,以辨识某个特定像素属于哪个身体部位;最后,根据追踪到的关节点来生成一副骨架系统,从而捕捉到人体的体感数据信息。
在一实施例中,如图5所示,人机交互系统还可以包括:与虚拟现实头显设备100连接的听觉装置500,听觉装置500用于播放虚拟场景中的声音,如耳机或音响,以增强用户在虚拟场景中的临场感。
为进一步优化上述实施例,人机交互系统还可以包括:与虚拟现实头显设备100连接的声电转换装置,声电转换装置用于用户语音识别,如麦克风。
优选的,可以选用带麦克风的耳机,这样用户在收听虚拟场景中声音的同时,还可以通过麦克风向虚拟场景发出语音指令,以提高用户体验。
为进一步优化上述实施例,人机交互系统还可以包括:与控制器200连接的显示设备600,显示设备600用于对用户与虚拟场景中的互动内容进行展示。
优选的,显示设备600可以选用TFT-LCD(Thin Film Transistor-Liquid CrystalDisplay,薄膜晶体管液晶显示器),以提高立体三维显示的清晰度。
为进一步优化上述实施例,如图6所示,本发明另一实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图,该人机交互系统包括:至少两个虚拟现实头显设备,如虚拟现实头显设备A1和虚拟现实头显设备A2,与虚拟现实头显设备等数量的体感识别装置,如体感识别装置B1和体感识别装置B2,以及与各虚拟现实头显设备和各体感识别装置连接的控制器C,如控制器C分别与虚拟现实头显设备A1、虚拟现实头显设备A2、体感识别装置B1和体感识别装置B2连接,其中,每一个虚拟现实头显设备对应一个体感识别装置,如虚拟现实头显设备A1与体感识别装置B1对应,虚拟现实头显设备A2与体感识别装置B2对应,每个虚拟现实头显设备和体感识别装置的对应信息均存储在控制器C中。
与图1所示实施例不同的是,图6示出的人机交互系统可以实现多人同时进行人机互动。当多位用户同时在各自佩戴虚拟现实头显设备显示的虚拟场景进行沉浸式体验时,各用户之间的体验内容可以相互独立,这时,控制器C会将各体感识别装置捕捉的体感数据信息,转换成用户运动数据处理信号,输出至各体感识别装置对应的虚拟现实头显设备,并控制各虚拟现实头显设备显示的虚拟场景中的运动模型与对应用户同步运动。
当多位用户同时在各自佩戴虚拟现实头显设备显示的虚拟场景进行沉浸式体验时,各用户之间的体验内容也可以相关联,如多人竞技游戏。
具体的,控制器的软件部分包括:互联网数据系统。互联网系统是用户进入平台的入口,用户通过互联网登录平台,建立用户ID。互联网系统用于存储所有用户的ID、个人注册信息以及平台体验数据,通过识别不同的ID,调取虚拟场景中各ID对应的运动模型,如游戏角色、游戏角色的装备数据、等级数据等个人平台体验数据信息,实现多用户之间的互动。
需要说明的是,本实施例中人机交互系统还可以通过互联网数据系统实现多个异地用户之间的互动,具体互动原理类似当前的多人竞技游戏,此次不再赘述。
与人机交互系统相对应,本发明还公开了一种基于虚拟现实技术的人机交互方法。
如图7所示,本发明实施例公开的一种基于虚拟现实技术的人机交互方法的方法流程图,人机交互方法应用于控制器,控制器分别与虚拟现实头显设备和体感识别装置连接,人机交互方法包括步骤:
步骤S701、接收体感识别装置发送的第一体感数据信息,所述第一体感数据信息由体感识别装置监测到人体信息时生成;
具体的,体感识别装置包括:体感摄像机和感应位,体感摄像机监测人体是否进入感应位,感应位为用户所占区域,用户在此区域做出相关动作,若监测到人体进入感应位,则将监测信息转换成第一体感数据信息发送给控制器;若控制器在预设时间段内没有接收到感识别装置发送的第一体感数据信息,控制器会控制体感识别装置继续捕捉感应位内的信息。
步骤S702、向虚拟现实头显设备发送视频播放指令,控制所述虚拟现实头显设备播放视频;
具体的,控制器得到人体进入感应位的确认信息后,会向虚拟现实头显设备发送视频播放指令,控制虚拟现实头显设备播放预设视频。
步骤S703、接收所述体感识别装置发送的第二体感数据信息,所述第二体感数据信息由所述体感识别装置监测到人体的动作信息时生成;
具体的,体感摄像机监测人体是否在感应位做出动作,在监测到人体的肢体动作时生成第二体感数据信息,并将第二体感数据信息发送至控制器。若控制器在阈值时间内未获得体感摄像机发送的第二体感数据信息,则恢复到初始状态。
其中,第二体感数据信息包括:用户的位移信息、身体多个部位之间的相对位置信息和运动速度。
步骤S704、将第二体感数据信息转换成用户的运动数据处理信号;
步骤S705、将所述运动数据处理信号输出至所述虚拟现实头显设备,控制所述虚拟现实头显设备显示的虚拟场景中的运动模型同步运动。
综上可知,本发明公开的基于虚拟现实技术的人机交互方法,当用户需要与虚拟世界进行交互时,体感识别装置会捕捉用户的体感数据信息,并将体感数据信息输出至控制器,控制器将获取的体感数据集信息转换成用户运动数据处理信号,输出至虚拟现实头显设备,控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动,完成人机交互。因此,本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动,从而大大提高了沉浸式体验的真实性。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种基于虚拟现实技术的人机交互系统,其特征在于,包括:虚拟现实头显设备、控制器和体感识别装置;
所述体感识别装置用于捕捉用户的体感数据信息;
所述控制器分别与所述虚拟现实头显设备和所述体感识别装置连接,所述控制器用于获取所述体感识别装置输出的所述体感数据信息,并将所述体感数据信息转换成用户运动数据处理信号,输出至所述虚拟现实头显设备;
所述虚拟现实头显设备用于接收来自所述控制器的所述用户运动数据处理信号,并控制显示的虚拟场景中的运动模型同步运动。
2.根据权利要求1所述人机交互系统,其特征在于,所述虚拟现实头显设备具体用于:
接收来自所述控制器的所述用户运动数据处理信号;
从所述用户运动数据处理信号中提取出用户的位移信息、身体多个部位之间的相对位置信息和运动速度;
根据所述相对位置信息和所述运动速度模拟得到人体的轮廓信息;
将所述轮廓信息和所述位移信息映射到显示的所述虚拟场景中的所述运动模型,控制所述运动模型同步运动。
3.根据权利要求1所述的人机交互系统,其特征在于,所述体感识别装置包括:用于安装在设定位置处的体感摄像机和用于设置在底板上的感应位;
所述体感摄像机用于感知人体信息,其中,所述体感摄像机的三维识别区域位于所述感应位的上方。
4.根据权利要求3所述的人机交互系统,其特征在于,所述体感摄像机包括:红外发射器和摄像头;
所述红外发射器用于发出覆盖整个所述感应位的光线;
所述摄像头用于接收所述感应位的反射光线,并根据所述反射光线得到所述体感数据信息。
5.根据权利要求1所述的人机交互系统,其特征在于,所述虚拟现实头显设备包括:头显控制单元;
所述头显控制单元用于接收来自所述控制器的所述用户运动数据处理信号,并控制所述虚拟场景中的运动模型同步运动。
6.根据权利要求5所述的人机交互系统,其特征在于,所述头显控制单元包括:惯性传感器、处理芯片、供电部件和传输部件;
所述惯性传感器用于感测用户头部的位置变化数据和姿态变化数据;
所述处理芯片与所述惯性传感器连接,所述处理芯片用于将所述惯性传感器感测到的所述位置变化数据转换为用户头部运动时的位置信息,将所述姿态变化数据转换为用户头部运动时的姿态信息;
所述供电部件用于为所述显示屏提供电能;
所述传输部件分别与所述控制器和所述处理芯片连接,所述传输部件用于接收来自所述控制器的用户运动数据处理信号,并将所述用户运动数据处理信号传输至所述处理芯片。
7.根据权利要求6所述的人机交互系统,其特征在于,所述惯性传感器包括:角速度传感器和加速度传感器;
所述角速度传感器用于获取用户头部在空间中的三轴角信息;
所述加速度传感器用于获取用户头部在空间中的三轴瞬时加速度信息。
8.根据权利要求7所述的人机交互系统,其特征在于,所述惯性传感器还包括:地磁计;
所述地磁计用于感测磁通量信息。
9.根据权利要求6所述的人机交互系统,其特征在于,所述头显控制单元还包括:至少一个控制按键,所述控制按键包括:方向控制按键和功能控制按键。
10.根据权利要求5所述的人机交互系统,其特征在于,所述虚拟现实头显设备还包括:与所述头显控制单元连接的风扇,所述风扇用于吹出模拟的自然风。
11.根据权利要求5所述的人机交互系统,其特征在于,所述虚拟现实头显设备还包括:与所述头显控制单元连接的气味发生器,所述气味发生器用于对所述头显控制单元输出的气味信息进行转换,调制出与所述气味信息相匹配的真正的气味。
12.根据权利要求1所述的人机交互系统,其特征在于,还包括:连接所述虚拟现实头显设备和所述控制器的无线通信单元。
13.根据权利要求1所述的人机交互系统,其特征在于,还包括:与所述虚拟现实头显设备连接的听觉装置,所述听觉装置用于播放所述虚拟场景中的声音。
14.根据权利要求1所述的人机交互系统,其特征在于,还包括:与所述虚拟现实头显设备连接的声电转换装置,所述声电转换装置用于用户语音指令的识别。
15.根据权利要求1所述的人机交互系统,其特征在于,还包括:与所述控制器连接的显示设备,所述显示设备用于对用户与所述虚拟场景中的互动内容进行展示。
16.一种基于虚拟现实技术的人机交互系统的交互方法,其特征在于,所述方法包括:
接收体感识别装置发送的第一体感数据信息,所述第一体感数据信息由所述体感识别装置监测到人体信息时生成;
向虚拟现实头显设备发送视频播放指令,控制所述虚拟现实头显设备播放预设视频;
接收所述体感识别装置发送的第二体感数据信息,所述第二体感数据信息由所述体感识别装置监测到人体的动作信息时生成;
将所述第二体感数据信息转换成用户的运动数据处理信号;
将所述运动数据处理信号输出至所述虚拟现实头显设备,控制所述虚拟现实头显设备显示的虚拟场景中的运动模型同步运动。
CN201611109879.9A 2016-12-06 2016-12-06 基于虚拟现实技术的人机交互系统及交互方法 Active CN106445176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611109879.9A CN106445176B (zh) 2016-12-06 2016-12-06 基于虚拟现实技术的人机交互系统及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611109879.9A CN106445176B (zh) 2016-12-06 2016-12-06 基于虚拟现实技术的人机交互系统及交互方法

Publications (2)

Publication Number Publication Date
CN106445176A true CN106445176A (zh) 2017-02-22
CN106445176B CN106445176B (zh) 2018-10-23

Family

ID=58215999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611109879.9A Active CN106445176B (zh) 2016-12-06 2016-12-06 基于虚拟现实技术的人机交互系统及交互方法

Country Status (1)

Country Link
CN (1) CN106445176B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145223A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR头盔的多点交互控制系统和方法
CN107198875A (zh) * 2017-05-03 2017-09-26 深圳市恒科电子科技有限公司 Vr头显的实现方法及vr头显
CN107290972A (zh) * 2017-07-05 2017-10-24 三星电子(中国)研发中心 设备控制方法和装置
CN107336233A (zh) * 2017-06-02 2017-11-10 南京邮电大学 基于惯性动捕的人‑机器人虚实交互控制系统
CN107369354A (zh) * 2017-08-16 2017-11-21 海口椰创孵化器有限公司 基于虚拟现实技术的汽车驾驶模拟装置
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN108053487A (zh) * 2017-11-27 2018-05-18 广东畅响源教育科技有限公司 一种基于虚拟技术的真人参与娱乐方法和系统
CN108170263A (zh) * 2017-11-26 2018-06-15 安徽省司尔特肥业股份有限公司 一种农作物生长体验系统
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108227921A (zh) * 2017-12-30 2018-06-29 北京工业大学 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统
CN108255302A (zh) * 2018-01-17 2018-07-06 安徽中骄智能科技有限公司 一种虚拟现实vr控制方法
CN108319369A (zh) * 2018-02-01 2018-07-24 网易(杭州)网络有限公司 驾驶交互方法、装置、存储介质及处理器
TWI634453B (zh) * 2017-04-27 2018-09-01 拓集科技股份有限公司 在虛擬實境環境瀏覽時進行畫面切換之系統及方法,及其相關電腦程式產品
CN108536279A (zh) * 2017-03-06 2018-09-14 北京可见文化传播有限公司 在vr环境中基于头部运动进行数值调节的方法及系统
CN108803861A (zh) * 2017-04-28 2018-11-13 广东虚拟现实科技有限公司 一种交互方法、设备及系统
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN109493652A (zh) * 2018-11-05 2019-03-19 广州南洋理工职业学院 基于vr技术的实践教学系统
CN110301138A (zh) * 2017-07-14 2019-10-01 惠普发展公司,有限责任合伙企业 对耳机的耳杯内的环境条件进行调节
CN110858097A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 一种交互方法及装置
CN111818322A (zh) * 2020-03-31 2020-10-23 同济大学 基于虚拟现实技术的沉浸式行人交通行为实验平台及方法
CN111803913A (zh) * 2020-06-15 2020-10-23 北京首钢建设投资有限公司 一种基于虚拟现实的冰壶运动体验与训练系统及其装置
CN112162630A (zh) * 2020-09-14 2021-01-01 上海钦龙工贸启东有限公司 一种互动体验系统、体验平台以及互动体验方法
CN112215967A (zh) * 2020-10-15 2021-01-12 成都英泰奈特科技有限公司 一种虚拟现实系统
CN112221116A (zh) * 2020-09-22 2021-01-15 上海视天科技有限公司 一种多功能手柄、含多功能手柄的装置
CN112245910A (zh) * 2020-10-27 2021-01-22 苏州欢跳体育文化科技有限公司 一种基于Quest头显的建模、极限运动方法和系统
CN112835449A (zh) * 2021-02-03 2021-05-25 青岛航特教研科技有限公司 一种基于虚拟现实与体感设备交互的安全体感教育系统
CN113181620A (zh) * 2021-04-28 2021-07-30 上海松鼠课堂人工智能科技有限公司 基于虚拟现实的体育测评方法与系统
CN113283385A (zh) * 2021-06-17 2021-08-20 贝塔智能科技(北京)有限公司 一种基于肢体识别技术的体感交互系统和交互方法
EP3782160A4 (en) * 2018-03-19 2021-12-15 Cognifisense, Inc. COMPUTER SYSTEMS AND METHODS FOR GENERATING AND MODIFYING A MULTISENSORY EXPERIENCE TO IMPROVE HEALTH OR PERFORMANCE
CN113867523A (zh) * 2021-09-08 2021-12-31 北京工业大学 一种基于虚拟现实体感交互的现代冰壶运动模拟系统和方法
US11228828B2 (en) 2017-07-14 2022-01-18 Hewlett-Packard Development Company, L.P. Alerting users to events
US11798234B2 (en) 2019-07-19 2023-10-24 Huawei Technologies Co., Ltd. Interaction method in virtual reality scenario and apparatus
CN116933138A (zh) * 2023-07-26 2023-10-24 广州淦源智能科技有限公司 一种基于智能竞速产品的竞技控制系统
WO2024055905A1 (zh) * 2022-09-16 2024-03-21 北京字跳网络技术有限公司 数据处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104473618A (zh) * 2014-11-27 2015-04-01 曦煌科技(北京)有限公司 一种用于虚拟现实的身体数据采集反馈设备和方法
CN104699251A (zh) * 2015-04-03 2015-06-10 合肥探奥自动化有限公司 一种基于多媒体影像和体感识别运动系统相结合的协同动作模型及其连动方法
CN105031918A (zh) * 2015-08-19 2015-11-11 深圳游视虚拟现实技术有限公司 一种基于虚拟现实技术的人机交互系统
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN205210819U (zh) * 2015-11-06 2016-05-04 深圳信息职业技术学院 虚拟现实人机交互终端
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104473618A (zh) * 2014-11-27 2015-04-01 曦煌科技(北京)有限公司 一种用于虚拟现实的身体数据采集反馈设备和方法
CN104699251A (zh) * 2015-04-03 2015-06-10 合肥探奥自动化有限公司 一种基于多媒体影像和体感识别运动系统相结合的协同动作模型及其连动方法
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105031918A (zh) * 2015-08-19 2015-11-11 深圳游视虚拟现实技术有限公司 一种基于虚拟现实技术的人机交互系统
CN205210819U (zh) * 2015-11-06 2016-05-04 深圳信息职业技术学院 虚拟现实人机交互终端
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536279B (zh) * 2017-03-06 2021-08-03 北京可见文化传播有限公司 一种在虚拟现实环境中进行交互的方法及系统
CN108536279A (zh) * 2017-03-06 2018-09-14 北京可见文化传播有限公司 在vr环境中基于头部运动进行数值调节的方法及系统
CN107145223A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR头盔的多点交互控制系统和方法
TWI634453B (zh) * 2017-04-27 2018-09-01 拓集科技股份有限公司 在虛擬實境環境瀏覽時進行畫面切換之系統及方法,及其相關電腦程式產品
CN108803861B (zh) * 2017-04-28 2021-01-12 广东虚拟现实科技有限公司 一种交互方法、设备及系统
CN108803861A (zh) * 2017-04-28 2018-11-13 广东虚拟现实科技有限公司 一种交互方法、设备及系统
CN107198875A (zh) * 2017-05-03 2017-09-26 深圳市恒科电子科技有限公司 Vr头显的实现方法及vr头显
CN107336233A (zh) * 2017-06-02 2017-11-10 南京邮电大学 基于惯性动捕的人‑机器人虚实交互控制系统
CN107336233B (zh) * 2017-06-02 2020-10-09 南京邮电大学 基于惯性动捕的人-机器人虚实交互控制系统
CN107290972A (zh) * 2017-07-05 2017-10-24 三星电子(中国)研发中心 设备控制方法和装置
US11228828B2 (en) 2017-07-14 2022-01-18 Hewlett-Packard Development Company, L.P. Alerting users to events
US11228829B2 (en) 2017-07-14 2022-01-18 Hewlett-Packard Development Company, L.P. Regulating environmental conditions inside cups of headphones
CN110301138B (zh) * 2017-07-14 2022-12-30 惠普发展公司,有限责任合伙企业 对耳机的耳杯内的环境条件进行调节
CN110301138A (zh) * 2017-07-14 2019-10-01 惠普发展公司,有限责任合伙企业 对耳机的耳杯内的环境条件进行调节
CN107820593B (zh) * 2017-07-28 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN107369354A (zh) * 2017-08-16 2017-11-21 海口椰创孵化器有限公司 基于虚拟现实技术的汽车驾驶模拟装置
CN108170263A (zh) * 2017-11-26 2018-06-15 安徽省司尔特肥业股份有限公司 一种农作物生长体验系统
CN108053487A (zh) * 2017-11-27 2018-05-18 广东畅响源教育科技有限公司 一种基于虚拟技术的真人参与娱乐方法和系统
CN108227921A (zh) * 2017-12-30 2018-06-29 北京工业大学 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统
CN108255302A (zh) * 2018-01-17 2018-07-06 安徽中骄智能科技有限公司 一种虚拟现实vr控制方法
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108319369A (zh) * 2018-02-01 2018-07-24 网易(杭州)网络有限公司 驾驶交互方法、装置、存储介质及处理器
CN108319369B (zh) * 2018-02-01 2021-04-27 网易(杭州)网络有限公司 驾驶交互方法、装置、存储介质及处理器
EP3782160A4 (en) * 2018-03-19 2021-12-15 Cognifisense, Inc. COMPUTER SYSTEMS AND METHODS FOR GENERATING AND MODIFYING A MULTISENSORY EXPERIENCE TO IMPROVE HEALTH OR PERFORMANCE
CN110858097A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 一种交互方法及装置
CN109493652A (zh) * 2018-11-05 2019-03-19 广州南洋理工职业学院 基于vr技术的实践教学系统
CN109493652B (zh) * 2018-11-05 2021-12-24 广州南洋理工职业学院 基于vr技术的实践教学系统
US11798234B2 (en) 2019-07-19 2023-10-24 Huawei Technologies Co., Ltd. Interaction method in virtual reality scenario and apparatus
CN111818322A (zh) * 2020-03-31 2020-10-23 同济大学 基于虚拟现实技术的沉浸式行人交通行为实验平台及方法
CN111803913A (zh) * 2020-06-15 2020-10-23 北京首钢建设投资有限公司 一种基于虚拟现实的冰壶运动体验与训练系统及其装置
CN112162630A (zh) * 2020-09-14 2021-01-01 上海钦龙工贸启东有限公司 一种互动体验系统、体验平台以及互动体验方法
CN112221116A (zh) * 2020-09-22 2021-01-15 上海视天科技有限公司 一种多功能手柄、含多功能手柄的装置
CN112215967A (zh) * 2020-10-15 2021-01-12 成都英泰奈特科技有限公司 一种虚拟现实系统
CN112245910A (zh) * 2020-10-27 2021-01-22 苏州欢跳体育文化科技有限公司 一种基于Quest头显的建模、极限运动方法和系统
CN112245910B (zh) * 2020-10-27 2023-08-11 苏州欢跳体育文化科技有限公司 一种基于Quest头显的建模、极限运动方法和系统
CN112835449A (zh) * 2021-02-03 2021-05-25 青岛航特教研科技有限公司 一种基于虚拟现实与体感设备交互的安全体感教育系统
CN113181620A (zh) * 2021-04-28 2021-07-30 上海松鼠课堂人工智能科技有限公司 基于虚拟现实的体育测评方法与系统
CN113283385A (zh) * 2021-06-17 2021-08-20 贝塔智能科技(北京)有限公司 一种基于肢体识别技术的体感交互系统和交互方法
CN113283385B (zh) * 2021-06-17 2024-02-23 贝塔智能科技(北京)有限公司 一种基于肢体识别技术的体感交互系统和交互方法
CN113867523A (zh) * 2021-09-08 2021-12-31 北京工业大学 一种基于虚拟现实体感交互的现代冰壶运动模拟系统和方法
WO2024055905A1 (zh) * 2022-09-16 2024-03-21 北京字跳网络技术有限公司 数据处理方法、装置、设备及介质
CN116933138A (zh) * 2023-07-26 2023-10-24 广州淦源智能科技有限公司 一种基于智能竞速产品的竞技控制系统
CN116933138B (zh) * 2023-07-26 2024-03-19 广州淦源智能科技有限公司 一种基于智能竞速产品的竞技控制系统

Also Published As

Publication number Publication date
CN106445176B (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
CN106445176B (zh) 基于虚拟现实技术的人机交互系统及交互方法
EP3427103B1 (en) Virtual reality
CN105031918B (zh) 一种基于虚拟现实技术的人机交互系统
CN105915990B (zh) 一种虚拟现实头盔及其使用方法
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
CN104618712A (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
EP3008548B1 (en) Head-mountable apparatus and systems
CN104801039A (zh) 一种虚拟现实的游戏装置及场景实现方法
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
JP6481057B1 (ja) 仮想空間におけるキャラクタの制御方法
JP2018092523A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN105511632A (zh) 信号采集装置、虚拟现实设备及其控制方法
CN204442580U (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
JP6242473B1 (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN205007551U (zh) 一种基于虚拟现实技术的人机交互系统
CN109358754B (zh) 一种混合现实头戴显示系统
CN108983982A (zh) Ar头显设备与终端设备组合系统
TWI683687B (zh) 雲端虛擬實境之運動健身機系統
EP2583131B1 (en) Personal viewing devices
JP6257825B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN110038258A (zh) 一种全向跑步机及其虚拟现实实现方法
CN107870675A (zh) 一种虚拟现实显示系统
GB2517008A (en) Head-mountable apparatus and systems
CN206074913U (zh) 声控型虚拟现实眼镜

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240108

Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right