CN107885318A - 一种虚拟环境交互方法、装置、系统及计算机可读介质 - Google Patents

一种虚拟环境交互方法、装置、系统及计算机可读介质 Download PDF

Info

Publication number
CN107885318A
CN107885318A CN201610866703.1A CN201610866703A CN107885318A CN 107885318 A CN107885318 A CN 107885318A CN 201610866703 A CN201610866703 A CN 201610866703A CN 107885318 A CN107885318 A CN 107885318A
Authority
CN
China
Prior art keywords
action
configured information
equipment
portable electric
electric appts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610866703.1A
Other languages
English (en)
Inventor
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to CN201610866703.1A priority Critical patent/CN107885318A/zh
Publication of CN107885318A publication Critical patent/CN107885318A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种虚拟环境交互方法、装置、系统及计算机可读介质,用于使用者与VR设备产生的虚拟环境进行交互,该虚拟环境交互方法包括:一个便携式电子设备采集携带所述便携式电子设备的一个使用者的一个动作;所述便携式电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备,所述动作指示信息用于与所述VR设备产生的虚拟环境进行交互。一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息;所述VR设备根据所述至少一个动作指示信息形成一个交互命令;所述VR设备按照所述交互命令与所述VR设备产生的虚拟环境进行交互。本方案能够使用户更加方便地发送交互命令。

Description

一种虚拟环境交互方法、装置、系统及计算机可读介质
技术领域
本发明涉及电子信息技术领域,尤其涉及一种虚拟环境交互方法、装置、系统及计算机可读介质。
背景技术
VR(Virtual Reality,虚拟现实)技术是仿真技术的一个重要方向,通过VR技术可以创建三维动态视觉场景与实体行为相交互的虚拟环境,使用户可以沉浸到该虚拟环境,给用户一种置身于虚拟世界之中的感觉。VR技术被广泛应用于工业、医学、娱乐、教育等多个领域,比如在大型设备维修过程中可通过VR设备展现该大型设备的组装结构。
VR技术中一个重要的内容是实现VR交互。在VR交互中,由用户与模拟环境之间进行交互。目前,实现VR交互的方法主要包括:用户通过手持式按键控制器向VR设备发送操作指令,实现用户与模拟环境之间的交互。
针对于目前实现VR交互的方法,用户需要手持按键控制器,通过操作按键控制器上的按键向VR设备发送交互命令,由于在进行VR交互的过程中用户需要一直手持按键控制器,这给用户发送交互命令带来了较大的不便。
发明内容
有鉴于此,本发明提供一种虚拟环境交互方法、装置、系统及计算机可读介质,能够使用户更加方便地发送交互命令。
第一方面,本发明实施例提供一种虚拟环境交互方法,应用于便携式电子设备,包括:
一个便携式电子设备采集携带所述便携式电子设备的一个使用者的一个动作;其中,所述便携式电子设备携带在所述使用者上肢;
所述便携式电子设备生成用于表示所述动作的一个动作指示信息;
所述便携式电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备,所述动作指示信息用于与所述VR设备产生的虚拟环境进行交互。
便携式电子设备携带于使用者的上肢,可以采集使用者上肢的动作,将动作生成对应的动作指示信息后发送给VR设备,VR设备根据动作指示信息生成交互命令以与虚拟环境进行交互,由于使用者无需手持按键控制器触发相应的按键,仅需要通过上肢做出不同的动作便可以产生不同的交互命令,从而达到与虚拟环境进行交互的目的,相对于通过按键控制器发送交互命令的方法,人体上肢的动作比较敏捷,通过上肢的动作来发送交互命令使使用者与虚拟环境的交互过程更加便捷,从而可以提高使用者的体验效果。
可选地,在所述便携式电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备之后,进一步包括:
通过无线传输的方式接收来自所述VR设备的一个反馈信息,所述反馈信息用于表示所述VR设备根据所述动作指示信息形成的一个交互命令与所述虚拟环境的交互结果;
根据所述反馈信息,向所述使用者发送声音和/或振动反馈。
通过便携式电子设备的反馈,使用者可以确定所做动作对应的交互意图是否得到执行,提高了使用者与虚拟环境之间进行交互的互动性;同时通过便携式电子设备的反馈能够对使用者的动作进行矫正,对于准确的动作进行反馈,对于不准确的动作不进行反馈,经过多次反馈后,可以使使用者做出的动作更加准确,保证便携式电子设备能够准确地识别出使用者所做出的动作,提高使用者与虚拟环境进行交互的准确性。
第二方面,本发明实施例还提供了一种虚拟环境交互方法,应用于VR设备,包括:
一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,所述至少一个便携式电子设备由佩戴所述VR设备的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备采集到的;
所述VR设备根据所述至少一个动作指示信息形成一个交互命令;
所述VR设备按照所述交互命令与所述VR设备产生的虚拟环境进行交互。
由于动作指示信息由便携式电子设备根据使用者上肢的动作形成,根据动作指示信息形成交互命令后与虚拟环境进行交互,实现用户通过上肢的动作与VR设备产生的虚拟环境进行交互;在交互的过程中使用者无需手持按键控制器,只需通过上肢做出相应的动作便可以实现与虚拟环境进行交互,提高了发送交互命令的便捷性。
可选地,所述一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,包括:
所述VR设备通过无线传输的方式接收来自一个便携式电子设备的一个动作指示信息;
所述VR设备根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备生成与接收的一个所述动作指示信息对应的所述交互命令。
由于使用者的一个动作对应一个动作指定信息,一个动作指示信息对应一个交互命令,使用者上肢每做出一个动作便形成一个交互命令,使交互命令的发送更加方便和快捷。
可选地,所述一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,包括:
所述VR设备通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,所述两个便携式电子设备由佩戴所述VR设备的一个使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述VR设备根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备生成一个交互命令,所述交互命令对应于来自所述两个便携式电子设备的所述动作指示信息的组合。
通过两个上肢动作的组合形成较多的交互命令,能够产生较多数量的交互命令,可以应用于交互类型比较多的交互过程,提高该虚拟环境交互方法的适用性;另外,由于每个交互命令分别对应左上肢的一个动作和右上肢的一个动作,每个交互命令对应的动作较少,减少使用者与虚拟环境交互过程中所做动作的数量,保证使用者交互过程中操作的简便性。
可选地,所述一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,包括:
所述VR设备通过无线传输的方式连续接收来自一个便携式电子设备的至少两个动作指示信息;
所述VR设备根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备生成一个交互命令,所述交互命令与所述VR设备连续接收到的全部所述动作指示信息的排列相对应。
使用者通过一个上肢连续做出特定顺序的动作,可以形成无限数量的交互命令,适用于交互类型数量大,且需通过一个上肢进行交互的情况,以满足特定使用者单手操作的需求,提高了该虚拟环境交互方法的适用性。
可选地,所述一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,包括:
在至少两个动作采集周期中的每一个动作采集周期,所述VR设备通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,所述两个便携式电子设备由佩戴所述VR设备的一个使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述VR设备根据所述至少一个动作指示信息形成一个交互命令,包括:
针对所述至少两个动作采集周期中的每一个动作采集周期,所述VR设备生成一个组合动作指示信息,所述组合动作指示信息对应于该动作采集周期内接收到的来自两个便携式电子设备的动作指示信息的组合;所述VR设备生成一个交互命令,所述交互命令与所述至少两个动作采集周期中的每一个周期对应的组合动作指示信息的排列相对应。
将同一个动作采集周期内接收到的来自两个便携式电子设备的动作指示信息进行组合,形成一个组合动作指示信息,将至少两个动作采集周期对应的组合动作信息进行排序,形成一个对应的交命令,可以形成无限数量的交互命令;同时交互命令根据两个上肢的动作形成,在形成同样数量交互命令的前提下可以减少每个上肢的运动次数,保证使用者能够方便地发送交互命令。
可选地,
每一个所述组合动作指示信息用于指示所述交互命令包括的一个字母;
所述交互命令对应一个单词。
通过动作指示信息形成字母,通过字母的组合形成单词,单词对应交互命令。这样构建一种手势语言,实现使用者上肢与虚拟环境进行直接交互,提高交互的便捷性。
可选地,在所述VR设备按照所述交互命令与所述VR设备产生的虚拟环境进行交互之后,进一步包括:
根据所述交互命令与所述虚拟环境进行交互的结果,形成对应的反馈信息;
通过无线传输的方式将所述反馈信息发送给所述至少一个便携式电子设备中的至少一个。
根据与虚拟环境进行交互的结果,形成对应的反馈信息并发送给便携式电子设备,可以使便携式电子设备产生相应的振动/或声音反馈,以向使用者反馈交互的结果,提高使用者与虚拟环境之间进行交互的合理性,提升使用者的体验。
第三方面,本发明实施例还提供了一种便携式电子设备,携带在一个使用者的上肢上,包括:
一个动作采集模块,用于采集所述使用者的一个动作;
一个动作指示信息生成模块,用于生成表示所述动作采集模块采集到的所述动作的一个动作指示信息;
一个动作指示信息发送模块,用于通过无线传输的方式将所述动作指示信息处理模块生成的所述动作指示信息发送给所述使用者佩戴的一个VR设备,所述动作指示信息用于与所述VR设备产生的虚拟环境进行交互。
便携式电子设备可以携带在使用者的上肢上,采集上肢的动作后形成相应的动作指示信息,并可以通过无线传输的方式将动作指示信息发送给VR,以对VR设备产生的虚拟环境进行控制,实现使用者与虚拟环境之间的交互。由于便携式电子设备可以自动采集使用者的动作,使用者仅需要通过上肢做出相应的动作,并可以向VR设备发送交互命令,无需手持案件控制器,提高了使用者发送交互命令的便捷性。另外,通过无线传输的方式传输动作指示信息,没有传输线路对使用者运动造成的限制,使用者运动更加自由,提高了使用者的体验。
可选地,该便携式电子设备进一步包括:
一个反馈信息接收模块,用于通过无线传输的方式接收来自所述VR设备的一个反馈信息,所述反馈信息用于表示所述VR设备根据所述动作指示信息形成的一个交互命令与所述虚拟环境的交互结果;
一个反馈动作执行模块,用于根据所述反馈信息接收模块接收到的所述反馈信息,向所述使用者发送声音和/或振动反馈。
便携式电子设备根据VR设备发送的反馈信息产生振动或发出声音,使用者根据便携式电子设备产生振动或发出声音可以判断与虚拟环境的交互是否成功,使用者根据判断结果可以进行下一步的操作,使本发明实施例提供的虚拟环境交互方法更加合理化和人性化。
第四方面,本发明实施例还提供了一种VR设备,包括:
一个动作指示信息接收模块,用于通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,所述至少一个便携式电子设备由佩戴所述VR设备的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备采集到的;
一个交互命令生成模块,用于根据所述动作指示信息接收模块接收到的所述至少一个动作指示信息,形成一个交互命令;
一个虚拟环境形成模块,用于产生虚拟环境;
一个交互模块,用于按照所述交互命令生成模块形成的所述交互命令与所述虚拟环境形成模块产生的所述虚拟环境进行交互。
VR设备能够根据便携式电子设备发送的至少一个动作指示信息产生对应的一个交互命令,根据交互命令与其自身产生的虚拟环境进行交互。由于VR设备可以通过无线传输的方式接收来自各个便携式电子设备发送的动作指示信息,避免了有限传输动作指示信息带来的不便,提高了使用者的使用体验。
可选地,
所述动作指示信息接收模块,用于通过无线传输的方式接收来自一个便携式电子设备的一个动作指示信息;
所述交互命令生成模块,用于生成与所述动作指示信息接收模块(201)接收到的一个所述动作指示信息对应的所述交互命令。
VR设备根据接收到的每一个动作指示信息形成一个对应的交互命令,由于一个动作指示信息对应一个交互命令,使用者上肢每做出一个动作便形成一个交互命令,使交互命令的发送更加方便和快捷。
可选地,
所述动作指示信息接收模块,用于通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,所述两个便携式电子设备由所述使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述交互命令生成模块,用于生成一个交互命令,所述交互命令对应于所述动作指示信息接收模块到的来自所述两个便携式电子设备的所述动作指示信息的组合。
VR设备根据来自两个便携式电子设备的两个动作指示信息形成一个交互命令,每个便携式电子设备都可以发送一定类型数量的动作指示信息,通过来自两个便携式电子设备的两个动作指示信息的组合,可以形成多种不同的交互命令,可以应用于交互类型比较多的交互过程,提高该虚拟环境交互方法的适用性。
可选地,
所述动作指示信息接收模块,用于通过无线传输的方式连续接收来自一个便携式电子设备的至少两个动作指示信息;
所述交互命令生成模块,用于生成一个交互命令,所述交互命令与所述动作指示信息接收模块连续接收到的全部所述动作指示信息的排列相对应。
VR设备根据来自同一个便携式电子设备的至少两个动作指示信息形成一个交互命令,根据所需交互命令类型的多少,可以设定VR设备每次形成交互命令时所根据动作指示信息的数量,形成交互命令时所根据动作指示信息的数量越多,形成的交互命令的类型也越多,从而可以满足不同用户对交互命令数量的不同需求,提高了该虚拟环境交互方法的适用性。
可选地,
所述动作指示信息接收模块,用于在至少两个动作采集周期中的每一个动作采集周期,通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,所述两个便携式电子设备由所述使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述交互命令生成模块,用于针对所述至少两个动作采集周期中的每一个动作采集周期,生成一个组合动作指示信息,所述组合动作指示信息对应于该动作采集周期内所述动作指示信息接收模块接收到的来自两个便携式电子设备的动作指示信息的组合;生成一个交互命令,所述交互命令与所述至少两个动作采集周期中的每一个周期对应的组合动作指示信息的排列相对应。
VR设备将同一个动作采集周期内接收到的来自两个便携式电子设备的动作指示信息进行组合,形成一个组合动作指示信息,将至少两个动作采集周期对应的组合动作信息进行排序,形成一个对应的交命令,可以形成无限数量的交互命令;同时交互命令根据两个上肢的动作形成,在形成同样数量交互命令的前提下可以减少每个上肢的运动次数,保证使用者能够方便地发送交互命令。
可选地,
一个反馈信息生成模块,用于根据所述交互模块按照所述交互命令与所述虚拟环境进行交互的结果,形成对应的反馈信息;
一个反馈信息发送模块,用于通过无线传输的方式将所述反馈信息生成模块形成的所述反馈信息发送给所述至少一个便携式电子设备中的至少一个。
VR设备根据与虚拟环境进行交互的结果,形成对应的反馈信息并发送给便携式电子设备,可以使便携式电子设备产生相应的振动/或声音反馈,以向使用者反馈交互的结果,提高使用者与虚拟环境之间进行交互的合理性,提升使用者的体验。
第五方面,本发明实施例还提供了一种便携式电子设备,携带在一个使用者的上肢上,包括:
至少一个传感器,用于采集所述使用者的一个动作;
至少一个处理器,用于生成表示所述至少一个传感器采集到的所述动作的一个动作指示信息;
至少一个收发器,用于通过无线传输的方式将所述至少一个处理器生成的所述动作指示信息发送给所述使用者佩戴的一个VR设备,所述动作指示信息用于与所述VR设备产生的虚拟环境进行交互。
第六方面,本发明实施例还提供了一种VR设备,包括:
至少一个收发器,用于通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,所述至少一个便携式电子设备由佩戴所述VR设备的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备采集到的;
至少一个处理器,用于根据所述至少一个收发器接收到的所述至少一个动作指示信息,形成一个交互命令;按照所述交互命令与产生的所述虚拟环境进行交互。
第七方面,本发明实施例还提供了一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行上述实施例中包括的任一方法。
第八方面,本发明实施例还提供了一种虚拟环境交互系统,其特征在于,包括:
至少一个上述实施例提供的任意一个便携式电子设备以及上述实施例提供的任意一个VR设备。
附图说明
图1是本发明一个实施例提供的一种虚拟环境交互系统的示意图;
图2是本发明另一个实施例提供的一种虚拟环境交互系统的示意图;
图3是本发明一个实施例提供的一种应用于便携式电子设备的虚拟环境交互方法的流程图;
图4是本发明一个实施例提供的一种应用于VR设备的虚拟环境交互方法的第一可选流程示意图;
图5是本发明一个实施例提供的一种应用于VR设备的虚拟环境交互方法的第二可选流程示意图;
图6是本发明一个实施例提供的一种应用于VR设备的虚拟环境交互方法的第三可选流程示意图;
图7是本发明一个实施例提供的一种应用于VR设备的虚拟环境交互方法的第四可选流程示意图;
图8是本发明一个实施例提供的一种应用于VR设备的虚拟环境交互方法的第五可选流程示意图;
图9是本发明一个实施例提供的一种便携式电子设备的示意图;
图10是本发明一个实施例提供的一种VR设备的示意图;
图11是本发明一个实施例提供的另一种便携式电子设备的示意图;
图12是本发明一个实施例提供的另一种VR设备的示意图;
图13是本发明一个实施例提供的一种包括智能手机的虚拟环境交互系统的示意图;
图14是本发明一个实施例提供的使用者手腕动作的示意图;
图15是本发明一个实施例提供的使用者两个手腕动作组合的示意图。
附图标记列表:
10:便携式电子设备 20:VR设备 30:使用者上肢第一位置
40:使用者上肢第二位置 101:动作采集模块 102:动作指示信息生成模块
103:动作指示信息发送模块 104:反馈信息接收模块105:反馈动作执行模块
201:动作指示信息接收模块 202:交互命令生成模块203:虚拟环境形成模块
204:交互模块 205:反馈信息生成模块206:反馈信息发送模块
1101:传感器 1102:处理器 1103:收发器
1201:收发器 1202:处理器 1301:智能手机
13011:虚拟现实应用 13012:MQTT代理器 1302:左侧智能手表/手环
13021:加速度计 13022:陀螺仪 13023:地磁仪
1303:右侧智能手表/手环 13031:加速度计 13032:陀螺仪
13033:地磁仪
301:采集使用者上肢的一个动作
302:生成表示所述动作的动作指示信息
303:将动作指示信息发送给VR设备
304:接收VR设备发送的反馈信息并反馈
401:接收动作指示信息
402:根据动作指示信息形成交互命令
403:按照交互命令与虚拟环境进行交互
404:根据交互结果形成反馈信息并发送
501:接收来自一个便携式电子设备的一个动作指示信息
502:生成与一个动作指示信息相对应的一个交互命令
503:根据交互命令与虚拟环境进行交互
504:根据交互结果形成并发送反馈信息
601:接收来自两个便携式电子设备的两个动作指示信息
602:生成与两个动作指示信息相对应的一个交互命令
603:根据交互命令与虚拟环境进行交互
604:根据交互结果形成并发送反馈信息
701:接收来自一个便携式电子设备的至少两个动作指示信息
702:生成与至少两个动作指示信息相对应的一个交互命令
703:根据交互命令与虚拟环境进行交互
704:根据交互结果形成并发送反馈信息
801:一个动作采集周期内接收来自两个便携式电子设备的两个动作指示信息
802:生成与两个动作指示信息相对应的一个组合动作指示信息
803:根据至少两个组合动作指示信息形成一个交互命令
804:根据交互命令与虚拟环境进行交互
805:根据交互结果形成并发送反馈信息
具体实施方式
通过VR技术可以创建虚拟环境,用户可以沉浸到该虚拟环境中从而获得置身于虚拟世界的感觉,用户通过VR设备可以与虚拟环境进行交互,从而获得更加真切的体验。本发明实施例提供的虚拟环境交互方法、装置、系统及计算机可读介质,根据用户上肢的动作形成动作指示信息,根据动作指示信息生成交互命令,VR设备根据交互命令与VR设备产生的虚拟环境进行交互,从而实现用户与虚拟环境之间的交互。相对于现有技术用户通过按键控制器实现与虚拟环境进行交互的方法,本发明实施例中用户无需手持按键控制器,只需通过上肢做出相应的动作,便可以实现与虚拟环境进行交互,由于人体上肢的动作较敏捷,从而使用户能够更加方便地发送交互命令。
下面结合附图对本发明实施例提供的方法和设备进行详细说明。
如图1所示,本发明一个实施例提供了一种虚拟环境交互系统,包括:至少一个便携式电子设备10以及一个VR设备20;
至少一个便携式电子设备10携带在使用者的上肢上,VR设备20由同一个使用者佩戴;
至少一个便携式电子设备10中的每一个便携式电子设备10,用于采集使用者上肢的一个动作,生成用于表示该动作的一个动作指示信息,通过无线传输的方式将生成的动作指示信息发送给VR设备20;
VR设备20,用于通过无线传输的方式接收来自各个便携式电子设备10的动作指示信息,根据接收到的各个动作指示信息形成一个交互命令,并按照该交互命令与产生的虚拟环境进行交互。
本发明实施例提供的虚拟环境交互系统,通过至少一个便携式电子设备10采集使用者上肢的至少一个动作,根据各个动作生成对应的动作指示信息后,通过无线传输的方式将各个动作指示信息发送给VR设备20,VR设备20根据接收到的各个动作指示信息生成对应的交互命令,通过生成的交互命令与产生的虚拟环境进行交互。这样,使用者无需手持按键控制器触发相应的按键,仅需要通过上肢做出不同的动作便可以产生不同的交互命令,从而达到与虚拟环境进行交互的目的,相对于通过按键控制器发送交互命令的方法,通过上肢的动作来发送交互命令使使用者与虚拟环境的交互过程更加便捷,从而可以提高使用者的体验效果。
可选地,便携式电子设备10可以为智能手表或智能手环,VR设备20可以为VR眼镜,或者VR设备20可为具有VR功能的手机,具有VR功能的手机可放置在光学眼镜中,使光学镜片位于具有VR功能的手机与人眼之间。如图2所示,使用者的右手腕上携带智能手环10,头戴VR眼镜;使用者的右上肢从第一位置30运动至第二位置40后,右上肢产生一个向上的动作,该动作被智能手环10采集到后,形成对应于向上动作的动作指示信息,通过无线传输的方式将形成的动作指示信息发送给VR设备20,使VR环境的画面发生相应的改变,从而实现了使用者与虚拟环境进行交互。
可选地,便携式电子设备10可以设计为手表、手环或戒指等形态,相应地,便携式电子设备10可以携带在使用者的手指、手腕、小臂、大臂等上肢的不同部位,以满足不同使用者的携带需求,提高了该虚拟环境交互方法的适用性。
可选地,便携式电子设备10中设置有运动传感器和方向传感器,运动传感器可以对使用者上肢的运动状态进行检测,获取使用者上肢的运动状态参数;方向传感器可以对采集使用者上肢的运动方向进行检测,获取使用者上肢的运动方向参数;根据运动传感器采集到的运动状态参数和方向传感器采集到的运动方向参数,可以确定出使用者上肢的运动类型,比如向上运动、向下运动、向左运动、向右运动、向左旋转、向右旋转以及保持水平位置等;确定出使用上肢的运动类型后,根据不同的运动类型生成对应的运动指示信息。
运动传感器和方向传感器包括有加速度传感器、陀螺仪以及地磁仪等多种传感元件,通过运动传感器和方向传感器的结合来采集使用者上肢的运动,保证便携式电子设备10所采集到的动作与使用者所做出的动作具有较高的一致性,从而保证VR设备20所形成的交互命令是使用者所需的交互命令,提高用户与虚拟环境进行交互的准确性。
可选地,VR设备20在按照交互命令与其自身产生的虚拟环境进行交互后,根据交互的结果可以产生反馈信息,并通过无线传输的方式将产生的反馈信息发送给至少一个便携式电子设备10中的一个或多个;接收到反馈信息的便携式电子设备10,根据接收到的反馈信息,向使用者发送声音和/或振动反馈。这样,使用者通过便携式电子设备10的声音和/或振动反馈,能够确定所做出的上肢动作是否被成功采集并形成相应的交互命令,提高使用者与虚拟环境进行交互时的互动性,提高用户的体验。
下面,介绍本发明实施例提供的各虚拟环境交互方法,如无特别声明,这些方法中涉及的便携式电子设备可为前述的便携式电子设备10,这些方法中涉及的VR设备可为前述的VR设备20。
在本发明实施例提供的虚拟环境交互方法中,通过便携式电子设备采集使用者的动作并形成对应的动作指示信息,通过VR设备形成交互命令以与虚拟环境进行交互,下面对应用于便携式电子设备的虚拟环境交互方法进行详细说明。如图3所示,该方法包括以下步骤:
步骤301:一个便携式电子设备采集携带所述便携式电子设备的一个使用者的一个动作;其中,所述便携式电子设备携带在所述使用者上肢;
步骤302:所述便携式电子设备生成用于表示所述动作的一个动作指示信息;
步骤303:所述便携式电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备,所述动作指示信息用于与所述VR设备产生的虚拟环境进行交互。
本发明实施例提供了一种虚拟环境交互方法,便携式电子设备携带在使用者的上肢上,该便携式电子设备可以采集使用者的上肢的动作,生成表示该动作的动作指示信息,并通过无线传输的方式将生成的动作指示信息传输给VR设备,VR设备根据接收到的动作指示信息可以对产生的虚拟环境进行控制,从而实现使用者与虚拟环境之间的交互。由于便携式电子设备携带在使用者的上肢上,可以自动采集使用者上肢的动作,使用者无需手持按键控制器,仅需通过上肢做出相应的动作便可以与VR设备产生的虚拟环境进行交互,提高了交互的便捷性。
可选地,如图3所示,在步骤303之后进一步包括:
步骤304:通过无线传输的方式接收来自所述VR设备的一个反馈信息,所述反馈信息用于表示所述VR设备根据所述动作指示信息形成的一个交互命令与所述虚拟环境的交互结果;根据所述反馈信息,向所述使用者发送声音和/或振动反馈。
便携式电子设备在将生成的动作指示信息发送给VR设备后,通过无线传输的方式接收VR设备返回的反馈信息,反馈信息表示了VR设备根据交互命令与虚拟环境进行交互的结果,比如VR设备根据交互命令将虚拟环境中显示的设备拆解后,VR设备向便携式电子设备发送拆卸成功的反馈信息,便携式电子设备根据接收到的反馈信息产生振动反馈或发出声音反馈。这样,由于便携式电子设备携带在使用者的上肢上,当便携式电子设备发出声音和/或振动反馈时,使用者能够及时获得该反馈;使用者通过上肢做出动作形成动作指令,来与VR设备产生的虚拟环境进行交互,通过便携式电子设备的反馈能够确定发出的动作指令是否得到执行,提高了使用者与虚拟环境之间进行交互的互动性;同时通过便携式电子设备的反馈能够对使用者的动作进行矫正,对于准确的动作进行反馈,对于不准确的动作不进行反馈,经过多次反馈后,可以使使用者做出的动作更加准确,保证便携式电子设备能够准确地识别出使用者所做出的动作,提高使用者与虚拟环境进行交互的准确性。
图3所示的实施例对应用于便携式电子设备的虚拟环境交互方法进行了说明,下面对应用于VR设备的虚拟环境交互方法进行详细说明。
如图4所示,本发明一个实施例提供了一种虚拟环境交互方法,应用于VR设备,该方法包括以下步骤:
步骤401:一个VR设备通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,所述至少一个便携式电子设备由佩戴所述VR设备的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备采集到的;
步骤402:所述VR设备根据所述至少一个动作指示信息形成一个交互命令;
步骤403:所述VR设备按照所述交互命令与所述VR设备产生的虚拟环境进行交互。
本发明实施例提供了一种虚拟环境交互方法,VR设备接收来自至少一个便携式电子设备的至少一个动作指示信息,根据接收到的至少一个动作指示形成一个交互命令,根据生成的交互命令与VR设备产生的虚拟环境进行交互。动作指示信息由便携式电子设备根据使用者上肢的动作形成,根据动作指示信息形成交互命令后与虚拟环境进行交互,实现用户通过上肢的动作与VR设备产生的虚拟环境进行交互;在交互的过程中使用者无需手持按键控制器,只需通过上肢做出相应的动作便可以实现与虚拟环境进行交互,提高了发送交互命令的便捷性。
根据便携式电子设备的数量以及交互命令所对应动作指示信息的数量,VR设备对动作指示信息进行处理的过程具有如下4种不同的形式,分别为:
形式一:使用者携带一个便携式电子设备,每一个交互命令对应一个动作指示信息;
形式二:使用者携带两个便携式电子设备,每一个交互命令对应两个动作指示信息;
形式三:使用者携带一个便携式电子设备,每一个交互命令对应至少两个动作指示信息;
形式四:使用者携带两个便携式电子设备,每一个交互命令对应至少四个动作指示信息。
下面分别对4种不同形式的处理过程进行说明:
针对于形式一:
使用者携带一个便携式电子设备,便携式电子设备每采集到一个动作后形成一个对应的动作指示信息,通过无线传输的方式将该动作指示信息发送给VR设备;VR设备针对每一个接收到的动作指示信息,生成与该动作指示信息相对应的一个交互命令,通过该交互命令与虚拟环境进行交互。
VR设备通过形式一的处理方式对动作指示信息进行处理,每一个动作对应一个动作指示信息,每一个动作指示信息对应一个交互命令,因而每一个动作对应一个交互命令。比如,一个上肢做出的动作包括向上运动、向下运动、向左运动、向右运动、向左旋转、向右旋转以及保持水平位置共7个动作,每一个动作对应一个交互命令,共包括7个交互命令,可以与虚拟环境进行7种不同的交互。通常,一个上肢做出的动作数量有限,通过形式一的处理方式对动作指示信息进行处理,形成的交互命令的种类较少,主要应用于比较简单的交互过程,但是由于每一个交互命令仅对应一个动作,使用者上肢每做出一个动作便形成一个交互命令,使交互命令的发送更加方便和快捷。
针对于形式二:
使用者携带两个便携式电子设备,两个便携式电子设备分别位于使用者的两个上肢上,每一个便携式电子设备分别采集所在上肢的动作,根据采集到的动作生成对应的动作指示信息后,通过无线传输的方式将生成的动作指示信息发送给VR设备;可选地,可以预先设置动作采集周期,VR设备在同一个动作采集周期内接收两个便携式电子设备分别发送的动作指示信息,根据接收到的两个动作指示信息形成一个对应的交互命令,通过该交互命令与虚拟环境进行交互。当然,可选地,可能在一个动作采集周期内仅收到一个便携式电子设备发送的动作指示信息,若预先针对仅有一个上肢产生了对应的动作指示信息的情形,也可针对该一个上肢产生的动作指示信息生成对应的交互命令。也可能有这样的情形,即一个动作采集周期内,VR设备收到了来自一个便携式电子设备的至少两个动作指示信息,那么可以预先设定离当前时刻最近的动作指示信息有效,则按照离当前时刻最近的动作指示信息生成交互命令。
VR设备通过形式二的处理方式对动作指示信息进行处理,使用者的每一个上肢可以做出一定数量的动作,形成对应数量的动作指示信息,VR设备根据接收到的使用者两个上肢的动作对应的动作指示信息生成对应的交互命令,通过生成的交互命令与虚拟环境进行交互。比如使用者的左上肢和右上肢均能够做出向上运动、向下运动、向左运动、向右运动、向左旋转、向右旋转以及保持水平位置共7个动作,则位于使用者左上肢上的便携式电子设备可以向VR设备发送7种不同的动作指示信息,位于使用者右上肢上的便携式电子设备也可以向VR设备发送7中不同的动作指示信息,则接收到的来自两个便携式电子设备的两个动作指示信息具有49种组合,从而能够形成49种对应的交互命令。这种处理方式通过两个上肢动作的组合形成较多的交互命令,由于能够产生较多数量的交互命令,因而主要应用于交互命令的类型比较多的情形;另外,由于一个交互命令对应左上肢的一个动作和右上肢的一个动作的动作组合,每个交互命令对应的动作较少,减少使用者与虚拟环境交互过程中所做动作的数量,保证使用者交互过程中操作的简便性。
针对于形式三:
使用者携带一个便携式电子设备,便携式电子设备每采集到一个动作后形成一个对应的动作指示信息,通过无线传输的方式将该动作指示信息发送给VR设备;VR设备连续接收便携式电子设备发送的动作指示信息,并生成一个交互命令,该交互命令与VR设备连续接收到的至少两个动作指示信息的排列相对应,通过生成的交互命令与虚拟环境进行交互。VR设备通过形式三的处理方式对动作指示信息进行处理,每个交互命令对应至少两个动作指示信息,每个动作指示信息对应使用者一个上肢的一个动作,通过多个动作的排列可以形成大量的交互命令。比如,使用者的一个上肢可以做出向上运动、向下运动、向左运动、向右运动、向左旋转、向右旋转以及保持水平位置共7种动作,7种动作分别对应7种不同的动作指示信息。
可选地,可预先设置交互命令的生成周期,如果VR设备在一个生成周期内连续接收两个动作指示信息,则可以形成49种不同的交互命令;如果VR设备在一个生成周期内连续接收三个动作指示信息,则可以形成343种不同的交互命令,交互命令的数量与一个上肢所能做出动作的种类成指数关系。因而,使用者通过一个上肢连续做出特定顺序的动作,可以形成大量的交互命令,形式三的处理方式适用于交互命令的类型数量大,且需通过一个上肢进行交互的情况,以满足特定使用者单手操作的需求,提高了该虚拟环境交互方法的适用性。
或者,可选地,可预先设置一个动作指示信息接收时间阈值,VR设备在收到一个动作指示信息后启动一个定时器,该定时器的时长等于该动作指示信息接收时间阈值。若该定时器未超时前收到下一个动作指示信息,则VR设备重新启动该定时器,直至该定时器超时。VR设备将定时器超时前收到的所有动作指示信息对应生成一个交互命令。换言之,VR设备将两次定时器超时之间收到的所有动作指示信息组合,对应生成一个交互命令。
针对于形式四:
使用者携带两个便携式电子设备,两个便携式电子设备分别位于使用者的两个上肢上,每一个便携式电子设备分别采集所在上肢的动作,根据采集到的动作生成对应的动作指示信息后,通过无线传输的方式将生成的动作指示信息发送给VR设备;VR设备在每一个动作采集周期内接收两个便携式电子设备发送的动作指示信息,将同一个动作采集周期内接收到的至少两个动作指示信息进行组合生成一个组合动作指示信息;对应于至少两个动作采集周期对应的至少两个组合动作指示信息的排列,形成一个交互命令;通过形成的交互命令对虚拟环境进行交互。
可选地,VR设备在生成组合动作指示信息时,区分或不区分左右上肢。若区分左右上肢,则VR设备会区分一个动作指示信息是来自携带在左上肢上的便携式电子设备,还是来自携带在右上肢上的便携式电子设备。比如:左上肢产生动作A,左上肢上携带的便携式电子设备根据采集到的动作A,生成对应的动作指示信息A;右上肢产生动作B,右上肢产生动作B,右上肢上携带的便携式电子设备根据采集到的动作B,生成对应的动作指示信息B。对于下面第一种情形和第二种情形,VR设备生成的交互命令不同。第一种情形:动作指示信息A来自携带在左上肢上的便携式电子设备,动作指示信息B来自携带在右上肢上的便携式电子设备第一种情形;第二种情形:动作指示信息A来自携带在右上肢上的便携式电子设备,动作指示信息B来自携带在左上肢上的便携式电子设备第二种情形。若VR设备不区分左右上肢,则对于上述第一种情形和第二种情形,VR设备生成的交互命令相同。
若VR设备区分左右上肢,则VR设备能识别出收到的一个动作指示信息是来自于使用者携带在左上肢的便携式电子设备还是携带在右上肢的便携式电子设备。比如:根据便携式电子设备在发送动作指示信息时发送的该便携式电子设备的标识信息,或者根据便携式电子设备在发送动作指示信息时发送的用于指示便携式电子设备是携带在左上肢还是右上肢的指示信息。
以VR设备区分左右上肢为例。比如,使用者的一个上肢可以做出向上运动、向下运动、向左运动、向右运动、向左旋转、向右旋转以及保持水平位置共7种动作,同一个动作采集周期内VR设备接收到来自两个便携式电子设备的两个动作指示信息,将这两个动作指示信息进行组合形成一个组合动作指示信息,该组合动作指示信息相当于是一个字母;由于同一动作采集周期内两个便携式电子设备中的每一个均可以采集到7种不同的动作中的一种,将同一动作采集周期内来自两个便携式电子设备的两个动作指示信息进行组合,可以形成49种不同的组合动作指示信息,即形成49个不同的字母。
VR设备将至少两个动作采集周期对应的至少两个组合动作指示信息进行组合,可以形成大量的交互命令,即从49个字母中选择至少两个不同或相同的字母可以组成单词,一个单词即对应一个交互命令。
通过两个便携式电子设备采集使用者两个上肢的动作,将每一个动作采集周期内两个上肢动作对应的动作指示信息作为组合动作指示信息,形成表示至少两个动作采集周期对应的组合动作指示信息排序的交互命令,这种动作指示信息的处理方法可以形成无限种交互命令,同时,由于通过两个上肢的动作进行组合形成大量的交互命令,相对于形式三,在形成相同数量的交互命令时可极大减少一个上肢所做动作的数量,提高使用者与虚拟环境进行交互的简便性,适用于交互命令数量大,且能够通过两个上肢进行交互的情况。
可选地,对于前述的形式三(使用者携带一个便携式电子设备,每一个交互命令对应至少两个动作指示信息)和形式四(使用者携带两个便携式电子设备,每一个交互命令对应至少四个动作指示信息),VR设备在生成交互命令时,可以通过以下三种方式确定哪些动作指示信息对应生成一个交互命令:
方式一:
对于前述的形式三,可预先设定一个起始动作和一个终止动作,VR设备在接收到来自一个便携式电子设备的一个起始动作对应的起始动作指示信息和一个终止动作对应的终止动作指示信息后,将接收顺序位于起始动作指示信息和终止动作指示信息之间的各个动作指示信息对应生成一个交互命令。
例如,预先设定上肢向上运动为起始动作,预先设定上肢向下运动为终止动作,VR设备依次接收到来自第一便携电子设备的5个动作指示信息,其中第一个动作指示信息为对应于上肢向上运动的动作指示信息,第五个动作指示信息对应于上肢向下运动的动作指示信息,则第二个至第四个动作指示信息对应生成一个交互命令。
对于前述的形式四,可预先设定一个起始的组合动作和一个终止的组合动作,VR设备分别接收携带在使用者的左右上肢上的便携式电子设备的动作指示信息,对于同一个动作采集周期内的动作指示信息进行组合生成一个组合动作指示信息,对应一个组合动作。在获得一个起始的组合动作对应的起始的组合动作指示信息和一个终止的组合动作对应的终止的组合动作指示信息后,将接收顺序位于起始的组合动作指示信息和终止的组合动作指示信息之间的各个组合动作指示信息对应生成一个交互命令。
方式二:
对于前述的形式三,预先设定一个分割动作,VR设备连续接收一个便携式电子设备的动作指示信息,从各个动作指示信息种识别分割动作对应的分割动作指示信息,将位于相邻两个分割动作指示信息之间的动作指示信息对应生成一个交互命令。
例如,预先设定手臂保持水平位置为分割动作,VR设备顺序接收到来自同一个便携式电子设备的10个动作指示信息,其中第1个、第4个、第7个和第10个动作指示信息为分割动作指示信息,则将第2个和第3个动作指示信息对应生成一个交互命令,将第5个和第6个动作指示信息对应生成一个交互命令,将第8个和第9个动作指示信息对应生成一个交互命令。
对于前述的形式四,预先设定一个分割的组合动作,VR设备分别接收携带在使用者的左右上肢上的便携式电子设备的动作指示信息,对于同一个动作采集周期内的动作指示信息进行组合生成一个组合动作指示信息,对应一个组合动作。VR设备连续接收动作指示信息,并生成组合动作指示信息,VR设备识别分割的组合动作对应的分割的组合动作指示信息,将位于相邻两个分割的组合动作指示信息之间的组合动作指示信息对应生成一个交互命令。
方式三:
周期性生成交互命令,预先设定交互命令的生成周期。
对于前述的形式三,VR设备将在同一个生成周期内接收到来自一个便携式电子设备的动作指示信息对应生成一个交互命令。
对于前述的形式四,VR设备将在同一个生成周期内接收到的来自两个便携式电子设备的动作指示信息,对应生成一个交互命令。其中,VR设备可将一个动作采集周期内收到的分别来自两个便携式电子设备的动作指示信息进行组合生成一个组合动作指示信息,再对应于该生成周期内的所有组合动作指示信息的排列生成一个交互命令。
方式四:
对于前述的形式三,预先设定一个动作指示信息接收时间阈值,VR设备在收到一个动作指示信息后启动一个定时器,该定时器的时长等于该动作指示信息接收时间阈值。若该定时器未超时前收到下一个动作指示信息,则VR设备重新启动该定时器,直至该定时器超时。VR设备将定时器超时前收到的所有动作指示信息对应生成一个交互命令。换言之,VR设备将两次定时器超时之间收到的所有动作指示信息组合,对应生成一个交互命令。
对于前述的形式四,预先设定一个动作指示信息接收时间阈值,VR设备一个动作采集周期内若收到动作指示信息,则可在该动作采集周期结束时启动一个定时器,该定时器的时长等于该动作指示信息接收时间阈值。其中,动作指示信息接收时间阈值可以是动作采集周期的整数倍。若该定时器未超时前收到下一个动作指示信息,则VR设备在该下一个动作指示信息所在的动作采集周期结束时重新启动该定时器,直至该定时器超时。VR设备将定时器超时前收到的所有动作指示信息对应生成一个交互命令。换言之,VR设备将两次定时器超时之间收到的所有动作指示信息组合,对应生成一个交互命令。其中,将一个动作采集周期内收到的来自使用者左上肢携带的便携式电子设备的动作指示信息和来自使用者右上肢携带的便携式电子设备的动作指示信息组合生成一个组合动作指示信息,再将两次定时器超时之间生成的所有组合动作指示信息对应生成一个交互命令。
可选地,如图4所示,在步骤403之后进一步包括:
步骤404:根据所述交互命令与所述虚拟环境进行交互的结果,形成对应的反馈信息;通过无线传输的方式将所述反馈信息发送给所述至少一个便携式电子设备中的一个或多个。
VR设备在根据交互命令与其自身产生的虚拟环境进行交互之后,根据交互的结果形成对应的反馈信息,通过无线传输的方式将形成的反馈信息发送给携带在同一个使用者身上的一个或多个便携式电子设备;接收到反馈信息的便携式电子设备能够根据反馈信息产生振动/或发出声音,以对使用者进行相应的反馈。
例如,VR设备根据便携式电子设备发送的动作指示信息形成的交互命令为对大型设备的外壳进行拆卸,VR设备根据该交互命令将虚拟环境中显示的大型设备的外壳记性拆卸后,VR设备形成携带交互成功的反馈信息,通过无线传输的方式将该反馈信息发送给使用者携带的两个便携式电子设备,两个便携式电子设备发出振动,提示使用者交互成功。
为了使应用于VR设备的虚拟环境交互方法更加清楚,针对上述实施例提供的4种不同形式的动作指示信息处理过程,下面分别以4种形式的动作指示信息处理过程为例,对应用于VR设备的虚拟环境交互方法作进一步说明:
下面以使用者携带一个便携式电子设备,而且每一个交互命令对应一个动作指示信息为例,即通过上述形式一对动作指示信息处理为例,对应用于VR设备的虚拟环境交互方法进行说明,如图5所示,该方法包括以下步骤:
步骤501:通过无线传输的方式接收来自一个便携式电子设备的一个动作指示信息。
在本发明实施例中,使用者仅携带一个便携式电子设备,该便携式电子设备采集使用者一个上肢的动作,形成对应的动作指示信息,并通过无线传输的方式将形成的动作指示信息发送给使用者佩戴的VR设备。在每一次便携式电子设备与VR设备的交互过程中,VR设备通过无线传输的方式接收便携式电子设备发送的一个动作指示信息。
步骤502:生成与接收到的一个动作指示信息相对应的一个交互命令。
在本发明实施例中,VR设备每接收到一个动作指示信息,根据该动作指示信息形成一个对应的交互命令。
步骤503:根据交互命令与产生的虚拟环境进行交互。
在本发明实施例中,在生成交互命令后,VR设备根据交互命令与其自身产生的虚拟环境进行交互,比如使VR眼镜中现实的画面发生形影的变化。
步骤504:根据交互结果形成反馈信息并发送给便携式电子设备。
在本发明实施例中,VR设备根据交互命令与产生的虚拟环境进行成功交互后,可以产生一个表示交互成功的反馈信息,并通过无线传输的方式将该反馈信息发送给使用者所携带的一个便携式电子设备,以使便携式电子设备产生振动或发出声音,提示使用者交互成功。
相对于图4所示的实施例,图5所示实施例中步骤501是步骤401的一个可选实现方式,步骤502是步骤402的一个可选实现方式,步骤503是步骤403的一个可选实现方式,步骤504是步骤404的一个可选实现方式。
下面以使用者携带两个便携式电子设备,而且每一个交互命令对应来自两个便携式电子设备的两个动作指示信息为例,即通过上述形式二对动作指示信息处理为例,对应用于VR设备的虚拟环境交互方法进行说明,如图6所示,该方法包括以下步骤:
步骤601:通过无线传输的方式接收来自两个便携式电子设备的两个动作指示信息。
在本发明实施例中,使用者携带两个便携式电子设备,两个便携式电子设备分别位于使用者的两个上肢上。两个便携式电子设备分别采集使用者左上肢和右上肢的动作,并分别形成对应的动作指示信息,通过无线传输的方式将生成的动作指示信息发送给同一个使用者佩戴的VR设备。在便携式电子设备与VR设备的一次交互过程中,VR设备通过无线传输的方式接收来自两个便携式电子设备的两个动作指示信息,两个动作指示信息来自不同的便携式电子设备。
步骤602:生成与接收到的两个动作指示信息相对应的一个交互命令。
可选地,VR设备接收到来自两个便携式电子设备的两个动作指示信息后,根据接收到的两个动作指示信息形成一个对应的交互命令。
步骤603:根据交互命令与产生的虚拟环境进行交互。
在本发明实施例中,VR设备在生成交互命令后,根据交互命令与此前产生的虚拟环境进行交互,使虚拟环境中的场景发生相应的变化。
步骤604:根据交互结果形成反馈信息并发送给两个便携式电子设备中的至少一个。
在本发明实施例中,VR设备根据交互命令与产生的虚拟环境进行成功交互后,可以产生一个表示交互成功的反馈信息,并通过无线传输的方式将该反馈信息发送给使用者所携带的两个便携式电子设备中的任意一个或全部,以使便携式电子设备产生振动或发出声音,提示使用者交互成功。
相对于图4所示的实施例,图6所示实施例中步骤601是步骤401的一个可选实现方式,步骤602是步骤402的一个可选实现方式,步骤603是步骤403的一个可选实现方式,步骤604是步骤404的一个可选实现方式。
下面以使用者携带一个便携式电子设备,而且每一个交互命令对应来自同一个便携式电子设备的至少两个动作指示信息为例,即通过上述形式三对动作指示信息处理为例,对应用于VR设备的虚拟环境交互方法进行说明,如图7所示,该方法包括以下步骤:
步骤701:通过无线传输的方式接收来自一个便携式电子设备的至少两个动作指示信息。
在本发明实施例中,使用者仅携带一个便携式电子设备,该便携式电子设备采集使用者一个上肢的动作,形成对应的动作指示信息,并通过无线传输的方式将形成的动作指示信息发送给使用者佩戴的VR设备。VR设备接收来自该便携式电子设备的至少两个动作指示信息。
步骤702:生成与接收到的至少两个动作指示信息相对应的一个交互命令。
在本发明实施例中,VR设备根据接收到的至少两个动作指示信息,形成一个对应的交互命令。
步骤703:根据交互命令与产生的虚拟环境进行交互。
在本发明实施例中,在生成交互命令后,VR设备根据交互命令与其自身产生的虚拟环境进行交互,比如使VR眼镜中现实的画面发生形影的变化。
步骤704:根据交互结果形成反馈信息并发送给便携式电子设备。
在本发明实施例中,VR设备根据交互命令与产生的虚拟环境进行成功交互后,可以产生一个表示交互成功的反馈信息,并通过无线传输的方式将该反馈信息发送给使用者所携带的便携式电子设备,以使便携式电子设备产生振动或发出声音,提示使用者交互成功。
相对于图4所示的实施例,图7所示实施例中步骤701是步骤401的一个可选实现方式,步骤702是步骤402的一个可选实现方式,步骤703是步骤403的一个可选实现方式,步骤704是步骤404的一个可选实现方式。
下面以使用者携带两个便携式电子设备,而且每一个交互命令对应来自两个便携式电子设备的四个动作指示信息为例,即通过上述形式四对动作指示信息处理为例,对应用于VR设备的虚拟环境交互方法进行说明,如图8所示,该方法包括以下步骤:
步骤801:在一个动作采集周期中,通过无线传输的方式接收来自两个便携式电子设备的两个动作指示信息。
在本发明实施例中,使用者携带两个便携式电子设备,两个便携式电子设备分别位于使用者的两个上肢上。两个便携式电子设备分别采集使用者左上肢和右上肢的动作,并分别形成对应的动作指示信息,通过无线传输的方式将生成的动作指示信息发送给同一个使用者佩戴的VR设备。在一个动作采集周期中,VR设备接收来自两个便携式电子设备的两个动作指示信息,其中两个动作指示信息来自不同的便携式电子设备。
步骤802:根据同一个动作采集内接收到的两个动作指示信息,形成一个组合动作指示信息。
在本发明实施例中,针对于在同一个动作采集周期内接收到的两个动作指示信息,VR设备将该动作采集周期内接收到的两个动作指示信息进行组成,形成一个相对应的组合动作指示信息。
步骤803:根据至少两个动作采集周期对应的组合动作指示信息,形成一个交互命令。
在本发明实施例中,VR设备对应于至少两个连续的动作采集周期对应的至少两个组合动作指示信息的排列生成一个对应的交互命令。
步骤804:根据交互命令与产生的虚拟环境进行交互。
在本发明实施例中,VR设备在生成交互命令后,根据交互命令与此前产生的虚拟环境进行交互,使虚拟环境中的场景发生相应的变化。
步骤805:根据交互结果形成反馈信息并发送给两个便携式电子设备中的至少一个。
在本发明实施例中,VR设备根据交互命令与产生的虚拟环境进行成功交互后,可以产生一个表示交互成功的反馈信息,并通过无线传输的方式将该反馈信息发送给使用者所携带的两个便携式电子设备中的任意一个或全部,以使便携式电子设备产生振动或发出声音,提示使用者交互成功。
相对于图4所示的实施例,图8所示实施例中步骤801是步骤401的一个可选实现方式,步骤802及步骤803是步骤402的两个可选实现子步骤,步骤804是步骤403的一个可选实现方式,步骤805是步骤404的一个可选实现方式。
如图9所示,本发明一个实施例提供了一种便携式电子设备10,该便携式电子设备10携带在一个使用者的上肢上,该便携式电子设备10包括:
一个动作采集模块101,用于采集使用者的一个动作;
一个动作指示信息生成模块102,用于生成表示动作采集模块101采集到的动作的一个动作指示信息;
一个动作指示信息发送模块103,用于通过无线传输的方式将动作指示信息处理模块102生成的动作指示信息发送给使用者佩戴的一个VR设备,动作指示信息用于与VR设备产生的虚拟环境进行交互。
本发明实施例中,动作采集模块101执行了上述方法实施例中的步骤301,动作指示信息生成模块102执行了上述方法实施例中的步骤302,动作指示信息发送模块103执行了上述方法实施例中的步骤303。
可选地,如图9所示,便携式电子设备10还可以包括:
一个反馈信息接收模块104,用于通过无线传输的方式接收来自VR设备的一个反馈信息,反馈信息用于表示VR设备根据动作指示信息形成的一个交互命令与虚拟环境的交互结果;
一个反馈动作执行模块105,用于根据反馈信息接收模块104接收到的反馈信息,向使用者发送声音和/或振动反馈。
本发明实施例中,反馈信息接收模块104及反馈动作执行模块105共同执行了上述方法实施例中的步骤304。
该便携式电子设备10的其他可选实现方式可参考前面图3至图8所示的方法流程中便携式电子设备的实现,重复之处不再赘述。
如图10所示,本发明一个实施例提供了一种VR设备20,包括:
一个动作指示信息接收模块201,用于通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,至少一个便携式电子设备由佩戴VR设备的一个使用者携带在上肢上,每一个动作指示信息用于表示使用者的一个动作,每一个动作是由对应的便携式电子设备采集到的;
一个交互命令生成模块202,用于根据动作指示信息接收模块201接收到的至少一个动作指示信息,形成一个交互命令;
一个虚拟环境形成模块203,用于产生虚拟环境;
一个交互模块204,用于按照交互命令生成模块202形成的交互命令与虚拟环境形成模块203产生的虚拟环境进行交互。
本发明实施例中,动作指示信息接收模块201执行上述方法实施例中的步骤401,交互命令生成模块202执行是上述方法实施例中的步骤402,虚拟环境形成模块203及交互模块204共同执行了上述方法实施例中的步骤403。
可选地,如图10所示,
动作指示信息接收模块201,用于通过无线传输的方式接收来自一个便携式电子设备的一个动作指示信息;
交互命令生成模块202,用于生成与动作指示信息接收模块201接收到的一个动作指示信息对应的交互命令。
在本发明实施例中,动作指示信息接收模块201执行了上述方法实施例中的步骤501,交互命令形成模块202执行了上述方法实施例中的步骤502。
可选地,如图10所示,
动作指示信息接收模块201,用于通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,两个便携式电子设备由使用者分别携带在不同上肢上,每一个动作指示信息用于表示使用者对应上肢的一个动作;
交互命令生成模块202,用于生成一个交互命令,交互命令对应于动作指示信息接收模块201到的来自两个便携式电子设备的动作指示信息的组合。
在本发明实施例中,动作指示信息接收模块201执行了上述方法实施例中的步骤601,交互命令生成模块202执行了上述方法实施例中的步骤602。
可选地,如图10所示,
动作指示信息接收模块201,用于通过无线传输的方式连续接收来自一个便携式电子设备的至少两个动作指示信息;
交互命令生成模块202,用于生成一个交互命令,交互命令与动作指示信息接收模块201连续接收到的全部动作指示信息的排列相对应。
在本发明实施例中,动作指示信息接收模块201执行了上述方法实施例中的步骤701,交互命令生成模块202执行了上述方法实施例中的步骤702。
可选地,如图10所示,
动作指示信息接收模块201,用于在至少两个动作采集周期中的每一个动作采集周期,通过无线传输的方式分别接收来自两个便携式电子设备的动作指示信息;其中,两个便携式电子设备由使用者分别携带在不同上肢上,每一个动作指示信息用于表示使用者对应上肢的一个动作;
交互命令生成模块202,用于针对至少两个动作采集周期中的每一个动作采集周期,生成一个组合动作指示信息,组合动作指示信息对应于该动作采集周期内动作指示信息接收模块201接收到的来自两个便携式电子设备的动作指示信息的组合;生成一个交互命令,交互命令与至少两个动作采集周期中的每一个周期对应的组合动作指示信息的排列相对应。
在本发明实施例中,动作指示信息接收模块201执行了上述方法实施例中的步骤801,交互命令生成模块202执行了上述方法实施例中的步骤802及步骤803。
可选地,如图10所示,,VR设备20还包括:
一个反馈信息生成模块205,用于根据交互模块204按照交互命令与虚拟环境进行交互的结果,形成对应的反馈信息;
一个反馈信息发送模块206,用于通过无线传输的方式将反馈信息生成模块205形成的反馈信息发送给至少一个便携式电子设备中的一个或多个。
在本发明实施例中,反馈信息生成模块205及反馈信息发送模块106共同执行了上述方法实施例中的步骤805。
该VR设备20的其他可选实现方式可参考前面图3至图8所示的方法流程中VR设备的实现,重复之处不再赘述。
如图11所示,本发明一个实施例提供了另一种便携式电子设备10,该便携式电子设备携带在一个使用者的上肢上,包括:
至少一个传感器1101,用于采集使用者的一个动作;
至少一个处理器1102,用于生成表示至少一个传感器1101采集到的动作的一个动作指示信息;
至少一个收发器1103,用于通过无线传输的方式将至少一个处理器1102生成的动作指示信息发送给使用者佩戴的一个VR设备,动作指示信息用于与VR设备产生的虚拟环境进行交互。
在本发明实施例中,至少一个传感器1101执行了上述方法实施例中的步骤301,至少一个处理器1102执行了上述方法实施例中的步骤302,至少一个收发器1103执行了上述方法实施例中的步骤303及步骤304。
该便携式电子设备10的其他可选实现方式可参考前面图3至图8所示的方法流程中便携式电子设备的实现,重复之处不再赘述。
如图12所示,本发明一个实施例提供了一种VR设备20,包括:
至少一个收发器1201,用于通过无线传输的方式接收来自至少一个便携式电子设备的至少一个动作指示信息,至少一个便携式电子设备由佩戴VR设备的一个使用者携带在上肢上,每一个动作指示信息用于表示使用者的一个动作,每一个动作是由对应的便携式电子设备采集到的;
至少一个处理器1202,用于根据至少一个收发器1201接收到的至少一个动作指示信息,形成一个交互命令;按照交互命令与产生的虚拟环境进行交互。
在本发明实施例中,至少一个收发器1201执行了上述方法实施例中的步骤401,至少一个处理器1202执行了上述方法实施例中的步骤402及步骤403。
该VR设备20的其他可选实现方式可参考前面图3至图8所示的方法流程中VR设备备的实现,重复之处不再赘述。
下面以智能手机作为VR设备为例,对本发明实施例提供的虚拟环境交互系统作进一步说明,如图13所示,该系统包括:一个智能手机1301、一个携带于使用者左手腕的左侧智能手表/手环1302、一个携带于使用者右手腕的右侧智能手表/手环1303;
智能手机1031及一个光学VR眼镜构成图10所示VR设备的一种可选实现方式,智能手机1031与光学VR眼镜组合后供使用者佩戴;
左侧智能手表/手环1302及右侧智能手表/手环1303各作为图9所示便携式电子设备的一种可选实现方式,使用者的左手腕及右手腕各携带一个智能手表或智能手环,位于使用者左手腕上的智能手表或智能手环为左侧智能手表/手环1302,位于使用者右手腕上的智能手表或智能手环为右侧智能手表/手环1303。
由于左侧智能手表/手环1302与右侧智能手表/手环1303的工作过程相同,下面以左侧智能手表/手环1302为例,对使用者动作的采集过程进行说明。
如图13所示,左侧智能手表/手环1302中包括有加速度计13021、陀螺仪13022及地磁仪13023,加速度计13021、陀螺仪13022及地磁仪13023可以检测使用者左手腕的运动状态参数和运动方向参数,根据检测出的运动状态参数和运动方向参数能够获得使用者左手腕的动作,左侧智能手表/手环1302可以采集使用者左手腕的7种动作,如图14所示,7种动作分别为起始位置、向上运动、向下运动、向左旋转、向右旋转、向右运动及向左运动。
左侧智能手表/手环1302根据采集到的动作,形成对应的传感器数据,其中,不同动作对应不同的传感器数据。传感器数据为上述各个实施例中所述动作指示信息的一种可选实现方式。
左侧智能手表/手环1302形成对应于所采集动作的传感器数据后,通过MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)通信协议将形成的传感器数据以无线传输的方式发送给智能手机1301。其中,MQTT通信协议为上述各个实施例所述无线传输方式的一种可选实现方式。
与左侧智能手表/手环1302的工作原理相同,右侧智能手表/手环1303采集使用者用手玩的动作,形成对应的传感器数据后发送给智能手机1301。
如图13所示,智能手机1301包括有虚拟现实应用13011及MQTT代理器13012。MQTT代理器13012通过无线传输的方式接收左侧智能手表/手环1302及右侧智能手表/手环1303发送的传感器数据,并将接收到的传感器数据发送给虚拟现实应用13011。其中,此时MQTT代理器13012为图10所示实施例中动作指示信息接收模块201的一种可选实现方式。
虚拟现实应用13011在每个动作采集周期中接收到来自左侧智能手表/手环1302的一个传感器数据和来自右侧智能手表/手环1303的一个传感器数据,将同一个动作采集周期接收到的两个传感器数据进行顺序组合,形成一个组合传感器数据。由于传感器数据与手腕的动作相对应,所以传感器数据共有7中不同的类型,因而顺序组合形成的组合传感器数据共有49种不同的类型,如图15所示,提供了部分组合传感器数据对应的手腕动作。其中,组合传感器数据为上述各个实施例中所述组合动作指示信息的一种可选实现方式。
虚拟现实应用13011将每一个形成的组合传感器数据作为一个字母,将至少一个相邻动作采集周期对应的组合传感器数据进行排列,形成一个交互命令,即将至少一个字母进行排序,形成一个包括至少一个字母的单词,所形成的单词即为交互命令。
虚拟现实应用13011根据形成的交互命令对智能手机1301的屏幕显示的画面进行相应的控制,使用者透过光学VR眼镜观察智能手机1301的屏幕时会产生相应的变化。从而实现了使用者通过手腕动作与智能手机1301所产生虚拟环境之间的交互。
本发明还提供了一种计算机存储介质,存储用于使一机器执行如本文所述的虚拟环境交互方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构,也可以是逻辑结构,即,有些模块可能由同一物理实体实现,或者,有些模块可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
以上各实施例中,硬件单元可以通过机械方式或电气方式实现。例如,一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。

Claims (21)

1.一种虚拟环境交互方法,其特征在于,包括:
一个便携式电子设备(10)采集携带所述便携式电子设备(10)的一个使用者的一个动作;其中,所述便携式电子设备(10)携带在所述使用者上肢;
所述便携式电子设备(10)生成用于表示所述动作的一个动作指示信息;
所述便携式电子设备(10)通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备(20),所述动作指示信息用于与所述VR设备(20)产生的虚拟环境进行交互。
2.根据权利要求1所述的方法,其特征在于,
在所述便携式电子设备(10)通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个VR设备(20)之后,进一步包括:
通过无线传输的方式接收来自所述VR设备(20)的一个反馈信息,所述反馈信息用于表示所述VR设备(20)根据所述动作指示信息形成的一个交互命令与所述虚拟环境的交互结果;
根据所述反馈信息,向所述使用者发送声音和/或振动反馈。
3.一种虚拟环境交互方法,其特征在于,包括:
一个VR设备(20)通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,所述至少一个便携式电子设备(10)由佩戴所述VR设备(20)的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备(10)采集到的;
所述VR设备(20)根据所述至少一个动作指示信息形成一个交互命令;
所述VR设备(20)按照所述交互命令与所述VR设备(20)产生的虚拟环境进行交互。
4.根据权利要求3所述的方法,其特征在于,
所述一个VR设备(20)通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,包括:
所述VR设备(20)通过无线传输的方式接收来自一个便携式电子设备(10)的一个动作指示信息;
所述VR设备(20)根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备(20)生成与接收的一个所述动作指示信息对应的所述交互命令。
5.根据权利要求3所述的方法,其特征在于,
所述一个VR设备(20)通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,包括:
所述VR设备(20)通过无线传输的方式分别接收来自两个便携式电子设备(10)的动作指示信息;其中,所述两个便携式电子设备(10)由佩戴所述VR设备(20)的一个使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述VR设备(20)根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备(20)生成一个交互命令,所述交互命令对应于来自所述两个便携式电子设备(10)的所述动作指示信息的组合。
6.根据权利要求3所述的方法,其特征在于,
所述一个VR设备(20)通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,包括:
所述VR设备(20)通过无线传输的方式连续接收来自一个便携式电子设备(10)的至少两个动作指示信息;
所述VR设备(20)根据所述至少一个动作指示信息形成一个交互命令,包括:
所述VR设备(20)生成一个交互命令,所述交互命令与所述VR设备(20)连续接收到的全部所述动作指示信息的排列相对应。
7.根据权利要求3所述的方法,其特征在于,
所述一个VR设备(20)通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,包括:
在至少两个动作采集周期中的每一个动作采集周期,所述VR设备(20)通过无线传输的方式分别接收来自两个便携式电子设备(10)的动作指示信息;其中,所述两个便携式电子设备(10)由佩戴所述VR设备(20)的一个使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述VR设备(20)根据所述至少一个动作指示信息形成一个交互命令,包括:
针对所述至少两个动作采集周期中的每一个动作采集周期,所述VR设备(20)生成一个组合动作指示信息,所述组合动作指示信息对应于该动作采集周期内接收到的来自两个便携式电子设备(10)的动作指示信息的组合;所述VR设备(20)生成一个交互命令,所述交互命令与所述至少两个动作采集周期中的每一个周期对应的组合动作指示信息的排列相对应。
8.根据权利要求7所述的方法,其特征在于,
每一个所述组合动作指示信息用于指示所述交互命令包括的一个字母;
所述交互命令对应一个单词。
9.根据权利要求3至8中任一所述的方法,其特征在于,
在所述VR设备(20)按照所述交互命令与所述VR设备(20)产生的虚拟环境进行交互之后,进一步包括:
根据所述交互命令与所述虚拟环境进行交互的结果,形成对应的反馈信息;
通过无线传输的方式将所述反馈信息发送给所述至少一个便携式电子设备(10)中的至少一个。
10.一种便携式电子设备(10),其特征在于,携带在一个使用者的上肢上,包括:
一个动作采集模块(101),用于采集所述使用者的一个动作;
一个动作指示信息生成模块(102),用于生成表示所述动作采集模块(101)采集到的所述动作的一个动作指示信息;
一个动作指示信息发送模块(103),用于通过无线传输的方式将所述动作指示信息处理模块(102)生成的所述动作指示信息发送给所述使用者佩戴的一个VR设备(20),所述动作指示信息用于与所述VR设备(20)产生的虚拟环境进行交互。
11.根据权利要求10所述的便携式电子设备(10),其特征在于,进一步包括:
一个反馈信息接收模块(104),用于通过无线传输的方式接收来自所述VR设备(20)的一个反馈信息,所述反馈信息用于表示所述VR设备(20)根据所述动作指示信息形成的一个交互命令与所述虚拟环境的交互结果;
一个反馈动作执行模块(105),用于根据所述反馈信息接收模块(104)接收到的所述反馈信息,向所述使用者发送声音和/或振动反馈。
12.一种VR设备(20),其特征在于,包括:
一个动作指示信息接收模块(201),用于通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,所述至少一个便携式电子设备(10)由佩戴所述VR设备(20)的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备(10)采集到的;
一个交互命令生成模块(202),用于根据所述动作指示信息接收模块(201)接收到的所述至少一个动作指示信息,形成一个交互命令;
一个虚拟环境形成模块(203),用于产生虚拟环境;
一个交互模块(204),用于按照所述交互命令生成模块(202)形成的所述交互命令与所述虚拟环境形成模块(203)产生的所述虚拟环境进行交互。
13.根据权利要求12所述的VR设备(20),其特征在于,
所述动作指示信息接收模块(201),用于通过无线传输的方式接收来自一个便携式电子设备(10)的一个动作指示信息;
所述交互命令生成模块(202),用于生成与所述动作指示信息接收模块(201)接收到的一个所述动作指示信息对应的所述交互命令。
14.根据权利要求12所述的VR设备(20),其特征在于,
所述动作指示信息接收模块(201),用于通过无线传输的方式分别接收来自两个便携式电子设备(10)的动作指示信息;其中,所述两个便携式电子设备(10)由所述使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述交互命令生成模块(202),用于生成一个交互命令,所述交互命令对应于所述动作指示信息接收模块(201)到的来自所述两个便携式电子设备(10)的所述动作指示信息的组合。
15.根据权利要求12所述的VR设备(20),其特征在于,
所述动作指示信息接收模块(201),用于通过无线传输的方式连续接收来自一个便携式电子设备(10)的至少两个动作指示信息;
所述交互命令生成模块(202),用于生成一个交互命令,所述交互命令与所述动作指示信息接收模块(201)连续接收到的全部所述动作指示信息的排列相对应。
16.根据权利要求12所述的VR设备(20),其特征在于,
所述动作指示信息接收模块(201),用于在至少两个动作采集周期中的每一个动作采集周期,通过无线传输的方式分别接收来自两个便携式电子设备(10)的动作指示信息;其中,所述两个便携式电子设备(10)由所述使用者分别携带在不同上肢上,每一个所述动作指示信息用于表示所述使用者对应上肢的一个动作;
所述交互命令生成模块(202),用于针对所述至少两个动作采集周期中的每一个动作采集周期,生成一个组合动作指示信息,所述组合动作指示信息对应于该动作采集周期内所述动作指示信息接收模块(201)接收到的来自两个便携式电子设备(10)的动作指示信息的组合;生成一个交互命令,所述交互命令与所述至少两个动作采集周期中的每一个周期对应的组合动作指示信息的排列相对应。
17.根据权利要求12至16中任一所述的VR设备(20),其特征在于,进一步包括:
一个反馈信息生成模块(205),用于根据所述交互模块(204)按照所述交互命令与所述虚拟环境进行交互的结果,形成对应的反馈信息;
一个反馈信息发送模块(206),用于通过无线传输的方式将所述反馈信息生成模块(205)形成的所述反馈信息发送给所述至少一个便携式电子设备(10)中的至少一个。
18.一种便携式电子设备(10),其特征在于,携带在一个使用者的上肢上,包括:
至少一个传感器(901),用于采集所述使用者的一个动作;
至少一个处理器(902),用于生成表示所述至少一个传感器(901)采集到的所述动作的一个动作指示信息;
至少一个收发器(903),用于通过无线传输的方式将所述至少一个处理器(902)生成的所述动作指示信息发送给所述使用者佩戴的一个VR设备(20),所述动作指示信息用于与所述VR设备(20)产生的虚拟环境进行交互。
19.一种VR设备(20),其特征在于,包括:
至少一个收发器(1001),用于通过无线传输的方式接收来自至少一个便携式电子设备(10)的至少一个动作指示信息,所述至少一个便携式电子设备(10)由佩戴所述VR设备(20)的一个使用者携带在上肢上,每一个所述动作指示信息用于表示所述使用者的一个动作,每一个所述动作是由对应的所述便携式电子设备(10)采集到的;
至少一个处理器(1002),用于根据所述至少一个收发器(1001)接收到的所述至少一个动作指示信息,形成一个交互命令;按照所述交互命令与产生的所述虚拟环境进行交互。
20.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至9中任一所述的方法。
21.一种虚拟环境交互系统,其特征在于,包括:
至少一个权利要求10或11所述的便携式电子设备(10)以及权利要求12至17中任一所述的VR设备(20);
或,
至少一个权利要求18所述的便携式电子设备(10)以及权利要求19中所述的VR设备(20)。
CN201610866703.1A 2016-09-29 2016-09-29 一种虚拟环境交互方法、装置、系统及计算机可读介质 Pending CN107885318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610866703.1A CN107885318A (zh) 2016-09-29 2016-09-29 一种虚拟环境交互方法、装置、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866703.1A CN107885318A (zh) 2016-09-29 2016-09-29 一种虚拟环境交互方法、装置、系统及计算机可读介质

Publications (1)

Publication Number Publication Date
CN107885318A true CN107885318A (zh) 2018-04-06

Family

ID=61769057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866703.1A Pending CN107885318A (zh) 2016-09-29 2016-09-29 一种虚拟环境交互方法、装置、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN107885318A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628452A (zh) * 2018-05-08 2018-10-09 北京奇艺世纪科技有限公司 虚拟现实设备、基于虚拟现实设备的显示控制方法及装置
CN111338476A (zh) * 2020-02-25 2020-06-26 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置
CN112585662A (zh) * 2018-06-26 2021-03-30 西门子股份公司 用于自动共享过程知识的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407695A (zh) * 2014-10-31 2015-03-11 广东欧珀移动通信有限公司 一种设备输入方法及装置
CN104407697A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN105302303A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种游戏控制方法及装置和移动终端
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备
CN105955488A (zh) * 2016-05-25 2016-09-21 北京行云时空科技有限公司 一种操控终端的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407695A (zh) * 2014-10-31 2015-03-11 广东欧珀移动通信有限公司 一种设备输入方法及装置
CN104407697A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN105302303A (zh) * 2015-10-15 2016-02-03 广东欧珀移动通信有限公司 一种游戏控制方法及装置和移动终端
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备
CN105955488A (zh) * 2016-05-25 2016-09-21 北京行云时空科技有限公司 一种操控终端的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628452A (zh) * 2018-05-08 2018-10-09 北京奇艺世纪科技有限公司 虚拟现实设备、基于虚拟现实设备的显示控制方法及装置
CN108628452B (zh) * 2018-05-08 2022-02-01 北京奇艺世纪科技有限公司 虚拟现实设备、基于虚拟现实设备的显示控制方法及装置
CN112585662A (zh) * 2018-06-26 2021-03-30 西门子股份公司 用于自动共享过程知识的方法和系统
CN111338476A (zh) * 2020-02-25 2020-06-26 上海唯二网络科技有限公司 通过头戴式vr显示设备实现人机交互的方法及装置

Similar Documents

Publication Publication Date Title
EP3929703A1 (en) Animation image driving method based on artificial intelligence, and related device
JP5966208B2 (ja) 運動パラメーター確定方法、装置及び運動支援装置
CN103475754B (zh) 基于智能手表的个人信息交换装置及方法
CN104731441B (zh) 信息处理的方法、以及电子设备
CN105184218B (zh) 一种指纹录入的方法及装置
CN110119815A (zh) 模型训练方法、装置、存储介质及设备
CN108171152A (zh) 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN109091869A (zh) 虚拟对象的动作控制方法、装置、计算机设备及存储介质
KR102536425B1 (ko) 헬스 케어 장치, 시스템 및 방법
CN107106907A (zh) 用于确定用户手指位置的信号生成和检测器系统以及方法
CN109978975A (zh) 一种动作的迁移方法及装置、计算机设备
CN109117779A (zh) 一种穿搭推荐方法、装置及电子设备
CN106923839A (zh) 运动辅助装置、运动辅助方法以及记录介质
CN112198959A (zh) 虚拟现实交互方法、装置及系统
CN110115842A (zh) 应用处理系统、应用处理方法以及应用处理程序
CN106648118A (zh) 一种基于增强现实的虚拟教学方法与终端设备
CN107885318A (zh) 一种虚拟环境交互方法、装置、系统及计算机可读介质
JP2015116288A (ja) 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
CN107888904A (zh) 用于处理图像的方法和支持该方法的电子装置
CN104395875A (zh) 电子设备、方法及程序
CN110110647A (zh) 基于ar设备进行信息显示的方法、装置及存储介质
CN106774861B (zh) 智能设备及行为数据纠正方法和装置
CN109461124A (zh) 一种图像处理方法及终端设备
CN112882575A (zh) 一种全景舞蹈动作建模方法及舞蹈教学辅助系统
CN108379817A (zh) 肢体康复训练系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180406

WD01 Invention patent application deemed withdrawn after publication