CN107479701B - 虚拟现实交互方法、装置及系统 - Google Patents

虚拟现实交互方法、装置及系统 Download PDF

Info

Publication number
CN107479701B
CN107479701B CN201710633284.1A CN201710633284A CN107479701B CN 107479701 B CN107479701 B CN 107479701B CN 201710633284 A CN201710633284 A CN 201710633284A CN 107479701 B CN107479701 B CN 107479701B
Authority
CN
China
Prior art keywords
user
client
position information
operation command
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710633284.1A
Other languages
English (en)
Other versions
CN107479701A (zh
Inventor
雷添彧
刘爽
陈明洋
肖乐天
刘中海
罗威
李嘉灿
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN201710633284.1A priority Critical patent/CN107479701B/zh
Publication of CN107479701A publication Critical patent/CN107479701A/zh
Application granted granted Critical
Publication of CN107479701B publication Critical patent/CN107479701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开了一种虚拟现实交互方法、装置以及系统,用于现实用户与虚拟演播厅的交互。所述交互方法包括:识别客户端传来的用户的操作命令;当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示;将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。本发明能够模拟演播厅的真实功能,降低影视培训中影视制作系统的搭建成本。

Description

虚拟现实交互方法、装置及系统
技术领域
本发明属于虚拟现实技术领域,尤其涉及一种虚拟现实交互方法、装置以及系统。
背景技术
随着虚拟现实技术以其逼真实时的内容展现形式,受到越来越多人的追捧。目前,虚拟现实技术日渐成熟并已经成功应用到一些培训领域中。
同时,在影视培训领域,在对学员进行各种影视技术的培训时,需要购买一整套完整的影视制作设备。然而,购买一整套的高级影视制作设备,如一整套演播厅的设备,成本太高。并且,影视制作设备更新换代较快,使得影视教学培训成本太高。因此,有了将虚拟现实技术应用于影视培训领域的需求。
发明内容
有鉴于此,本发明实施例提供了一种虚拟现实交互方法、装置及系统,旨在解决现有影视培训中影视制作系统搭建成本太高的问题。
鉴于此,本发明实施例提供了一种虚拟现实交互方法,用于现实用户与虚拟演播厅的交互,所述交互方法包括:
识别客户端传来的用户的操作命令;
当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示的操作;
将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。
其中,在所述执行拿起所述连接物件的操作之后,所述交互方法还包括:
当识别到所述操作命令为释放所述连接物件时,执行将所述连接物件连接到所述接口位置信息的操作;
将第二响应结果同步至所述客户端,以便所述客户端将所述第二响应结果显示给所述用户;其中所述第二响应结果为:将所述连接物件连接到所述接口位置信息。
其中,在所述执行拿起所述连接物件的操作之后,识别到所述操作命令为释放所述连接物件之前,所述方法还包括:
输出将所述连接物件连接至所述接口位置信息之后的模拟图像;
将所述模拟图像同步至所述客户端。
其中,所述交互方法还包括:
当识别到所述操作命令为调节目标物件视角时,根据所述用户的位置信息的变化情况,确定所述目标物件的调节角度;
将所述角度赋值给所述目标物件;
将第三响应结果同步至所述客户端,以便所述客户端将所述第三响应结果显示给所述用户,所述第三响应结果为:将所述角度赋值给所述目标物件。
其中,所述连接物件包括:插线头或摄像机;所述目标物件包括:射灯或摄像机。
其中,所述识别客户端传来的用户的操作命令,具体包括:
接收客户端传来的所述用户在所述虚拟演播厅中的位置信息;
根据所述位置信息和所述虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件;
若存在,则根据所述物件的功能属性,确定所述用户的操作指令。
相应地,本发明实施例还提供一种虚拟现实交互装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的虚拟现实交互方法的步骤。
最后,本发明实施例还提供一种虚拟现实交互系统,用于现实用户与虚拟演播厅的交互,所述交互系统包括:
客户端,用于接收用户的操作命令并传输给服务器;
所述服务器,用于识别所述客户端传来的用户的操作命令,当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示;以及将将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。
其中,所述系统还包括:
所述手柄,用于接收用户发来的操作命令并传输给头盔显示器;
所述头盔显示器,用于将接收到的所述操作命令传输给所述客户端。
其中,所述系统还包括:
至少两个动捕相机,用于采集用户的图像信息并发送给相机服务器;
所述相机服务器,用于对所述图像信息进行处理,得到所述用户的三维位置信息并发送至所述客户端。
本发明实施例与现有技术相比存在的有益效果是:
在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示的操作,以及将响应结果同步至所述客户端,以便客户端能够将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。并且,本发明实施例的方法在无需购买影视设备便可以搭建虚拟演播厅,模拟出演播厅的真实功能,可以降低搭建演播厅的成本,降低教学成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的虚拟现实交互方法的第一实施例的流程示意图;
图2是本发明提供的界面交互的实施例的示意图;
图3是本发明提供的虚拟现实交互方法的第二实施例的流程示意图;
图4是本发明提供的界面交互的实施例的示意图;
图5是本发明提供的虚拟现实交互方法的第三实施例的流程示意图;
图6是本发明提供的界面交互的实施例的示意图;
图7是本发明提供的界面交互的实施例的示意图;
图8是本发明提供的界面交互的实施例的示意图;
图9是本发明提供的界面交互的实施例的示意图;
图10是本发明提供的虚拟现实交互装置的实施例的结构框图;
图11是本发明提供的虚拟现实交互系统的实施例的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
在描述本发明的具体实施例之前,先对虚拟现实交互流程进行简单说明,以便于更好地理解本发明。虚拟现实的交互流程一般是:虚拟场景服务器接收虚拟场景客户端传来的用户的动捕数据,根据动捕数据确定用户在虚拟场景中的位置信息,然后根据接收到的用户的操作命令以及用户在虚拟场景中的位置信息,进行相应的交互响应,并将响应结果同步至虚拟场景客户端。虚拟场景客户端在接收到响应结果之后,便可将响应结果显示给用户。虚拟场景客户端将响应结果显示给用户的操作方式一般是:根据响应结果和自身对应用户的视角,进行相应虚拟场景的调整,然后将调整后的虚拟场景通过用户所戴的头盔显示给用户。
需要说明的一点是,在虚拟交互过程中,虚拟场景服务器需要对接收到的用户的操作命令进行识别,操作命令不同,相应的响应方式也不一样。另外一点是,虚拟场景客户端传给虚拟场景服务器的动捕数据的采集方式可以有多种,例如惯性动捕、激光动捕或光学动捕,在本发明后续的实施例中,将以光学动捕为例进行说明。
本发明实施例的虚拟现实交互具体是基于光学动捕的虚拟现实交互。在基于光学动捕技术的虚拟现实交互中,可以利用光学成像系统(多个动捕相机)识别被观察对象(1个或多个,人或各种物件)上附着的光学标记点,通过动捕相机的图像采集系统处理计算出标记点的坐标位置信息,然后经网络(有线,无线,USB等)传输给动捕相机的服务器(简称相机服务器)。相机服务器接收来自动捕相机的坐标位置信息(该坐标位置信息为用户在物理场景中的位置信息),根据该位置坐标信息识别被观察对象,获取用户的位置信息,实现对用户进行定位。可以理解的是,若相机服务器要对用户进行定位,那么接收到的同一用户的图像信息必须来自于两个不同的动捕相机。
具体地,相机服务器根据接收到的位置坐标信息确定某一用户在物理场景中的三维位置信息之后,还将该三维位置信息发送给对应用户的虚拟场景客户端。即是说,虚拟场景客户端接收到的是动捕相机采集的,经相机服务器处理后的用户在物理场景中的三维位置信息。虚拟场景客户端可以将该三维位置信息映射至虚拟场景中的某一位置,从而确定该用户在虚拟场景中的位置信息。虚拟场景客户端在确定用户在虚拟场景中的位置信息之后,会将该位置信息上传至虚拟场景服务器。
由于交互是一个持续的过程,因此上述位置信息的上传以及响应结果的同步也是一个持续的过程。也即是说,虚拟场景服务器会持续收到虚拟场景客户端上传的对应用户在虚拟场景中的位置信息。同时,虚拟场景服务器也会持续将响应结果同步至客户端。在虚拟现实交互中,虚拟场景客户端的数量与用户数量相同。在本发明实施例中,虚拟场景具体为虚拟演播厅。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明提供的虚拟现实交互方法的第一实施例的流程示意图,该虚拟现实交互方法具体用于现实用户与虚拟演播厅的交互。为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
步骤101,接收客户端传来的用户在虚拟演播厅中的位置信息。
具体实施中,本发明实施例的执行主体可以是虚拟演播厅的服务端,如虚拟演播服务器(后文简称服务器)。根据前文的描述可知,一个用户对应一个虚拟演播客户端(后文简称客户端),那么在交互时,服务器会持续接收到客户端上传的对应用户在虚拟场景中的位置信息。
步骤102,识别客户端传来的用户的操作命令。
其中,操作命令是客户端传来的。例如,用户通过自身携带的手柄发送一个操作命令,该用户所戴的头盔显示器接收到该操作命令之后,通过有线或无线方式发给用户对应的客户端。客户端接收到该操作命令之后通过网络将该操作命令传输给服务器。其中,用户输入的操作命令可以是拿起虚拟演播厅中的连接物件,例如拿起虚拟演播厅中的插线头或摄像机。用户可以对虚拟演播厅的连接物件操作,以搭建一个虚拟演播厅。
操作命令的具体识别方式例如可以是:
根据接收到的客户端传来的所述用户在所述虚拟演播厅中的位置信息和虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件。具体操作时,可以根据用户的位置信息确定用户的碰撞体积,然后判断用户的碰撞体积与虚拟演播厅中预设距离内某个物件的碰撞体积是否产生交错,若产生交错,则确定存在与所述用户产生碰撞的物件,若没有交错,则不存与所述用户产生碰撞的物件。
在确定存在与用户产生碰撞的物件之后,再根据该物件的功能属性,确定用户的操作命令。例如,若是连接物件,则确定用户的操作命令是:拿起连接物件。若是连接接口,则确定用户的操作命令是:释放连接物件,若是射灯或摄像机,则确定用户的操作命令是调整目标物件的视角。当然,具体识别方式可以根据实际需要做相应调整。
步骤103,当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示的操作。
步骤104,将响应结果同步至所述客户端,以便所述客户端将所述接口位置信息的提示显示给所述用户。
由于用户的操作命令会对虚拟演播厅中的物件产生影响,因此服务器在响应用户的操作命令时,需要根据虚拟演播厅中用户的位置信息进行相应响应。在响应操作命令时,还需要根据操作命令的具体类型做相应的响应,例如,如果识别到操作命令是拿起连接物件,则响应结果为:拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。其中,接口位置信息的提示方式可以有多种,例如通过一些文字提示信息标识出来,或者通过一些带颜色的图形信息标识出来,如图2所示,则用绿色圆圈2标识摄像机的接口位置信息。
服务器还将响应结果(拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示)同步至客户端。这样客户端在接收到响应结果之后,便可根据该响应结果以及对应用户的视角信息调整虚拟演播厅的场景,并将调整后的虚拟演播厅的场景显示给用户。例如,客户端将该调整后的虚拟演播厅的场景通过用户头戴的头盔显示给用户,以便用户能够根据该场景中显示的接口位置信息调整自己在虚拟演播厅中的位置信息,更快地搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。
另外,客户端可以是背包主机,使用时可以由用户背在背上,这样用户在进行虚拟交互时便可摆脱传统线材的束缚,扩展了活动空间。
本发明实施例的虚拟现实交互方法,在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示的操作,以及将响应结果同步至所述客户端,以便客户端能够将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。并且,本发明实施例的方法在无需购买影视设备便可以搭建虚拟演播厅,模拟出演播厅的真实功能,可以降低搭建演播厅的成本,降低教学成本。
另外,可以理解的是,在发出拿起连接物件的操作命令,并执行拿起所述连接物件的操作之后,用户还可能发出释放连接物件的操作命令,以便能够实现连接物件的连接。并且,步骤103中输出的连接物件的接口位置信息还可能有多个,此时用户便可根据提示调节自身在虚拟演播厅中的位置信息,以便从该多个接口位置中选择一个位置信息连接物件。下面将通过图3所示的实施例进行详细描述。
图3是本发明提供的虚拟现实交互方法的第二实施例的流程示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
步骤301,接收客户端传来的用户在虚拟演播厅中的位置信息。
步骤302,识别客户端传来的用户的操作命令。
步骤303,当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示的操作。
步骤304,将步骤303的响应结果同步至所述客户端,以便所述客户端所述响应结果显示给所述用户。
步骤305,在所述执行拿起所述连接物件的操作之后,当识别到所述操作命令为释放所述连接物件时,执行将所述连接物件连接到所述接口位置信息的操作。
步骤306,将步骤305的响应结果同步至所述客户端,以便所述客户端将所述响应结果显示给所述用户。步骤305的响应结果是将所述连接物件连接到所述接口位置信息。
本发明实施例与图1所示的实施例的区别在于,在执行拿起连接物件的操作之后,用户可以根据提示的接口位置信息调整自身在虚拟演播厅中的位置信息,然后发出释放连接物件的操作命令。若接收到用户通过客户端传来的释放连接物件的操作命令,则响应该操作命令。
可以理解的是,步骤303中输出的连接所述连接物件的接口位置信息有多个,那么在执行步骤304之后,执行步骤305之前,用户可以根据输出的接口位置信息的提示调整自己在虚拟演播厅中的位置。当用户在虚拟演播厅中的位置信息发生变化之后,服务器也可以做出相应的响应,例如执行:
步骤307,输出将所述连接物件连接至所述接口位置信息之后的模拟图像,并将模拟图像同步至客户端。该模拟图像可以是将连接物件连接至距所述连接物件最近的接口位置信息之后的效果图,其用于标识:若用户此时发出释放连接物件的操作命令,则连接物件只会连接到该接口位置信息上。其中,输出的模拟图像可以用颜色与虚拟演播厅中的实际连接物件进行区分,如图4所示。图4中,41表示的接口上连接上摄像机之后的模拟图像,42表示摄像机在虚拟演播厅中的当前位置。
本发明实施例的虚拟现实交互方法,在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示,以及将响应结果同步至所述客户端,以便能够客户端将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。在执行拿起连接物件的操作之后,释放连接物件之前,输出将所述连接物件连接至所述接口位置信息之后的模拟图像,以便提示用户将该连接物件连接至该接口上的效果,进一步提升了虚拟交互的友好性。
可以理解的是,在现实用户与虚拟演播厅交互的虚拟交互过程中,除了搭建虚拟演播厅时需要连接虚拟演播厅中的物件之外,用户可能还需要对虚拟演播厅中的某些物件进行视角调整。下面,将通过图5所示的实施例进行详细描述。
如图5所示,是本发明提供的虚拟现实交互方法的第三实施例的流程示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
步骤501,接收客户端传来的用户在虚拟演播厅中的位置信息。
步骤502,识别客户端传来的用户的操作命令。
步骤503,当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示的操作。
步骤504,将步骤503的响应结果同步至所述客户端,以便所述客户端将所述响应结果显示给所述用户。
步骤505,在所述执行拿起所述连接物件的操作之后,当识别到所述操作命令为释放所述连接物件时,执行将所述连接物件连接到所述接口位置信息的操作。
步骤506,将步骤505的响应结果同步至所述客户端,以便所述客户端将所述响应结果显示给所述用户。
本发明实施例与图3所示的实施例的区别在于,在将连接物件连接好,搭建好虚拟演播厅之后,还可能涉及对虚拟演播厅中的某些物件的视角的调节,例如,对虚拟演播厅中的射灯的视角进行调节,对摄像机的视角进行调节。因此,本实施例的方法还可以包括:
步骤507,当识别到所述操作命令为调节目标物件视角时,根据用户在所述虚拟演播厅中的位置信息和运动信息,确定目标物件的调节角度。
步骤508,将角度赋值给所述目标物件,并将响应结果同步至所述客户端,以便所述客户端将响应结果显示给所述用户,该响应结果具体为:将角度赋值给所述目标物件。
在具体执行步骤507至步骤508中,在识别操作命令为调节目标物件视角时,具体可以是:当识别到预设距离范围内与所述用户产生碰撞的物件为摄像机的摇杆或灯光控制器的摇杆时,则确定当前用户输入的是调节摄像机视角或射灯视角的操作命令,如图6和7所示。图6中表示的是调节摄像机的摇杆6,图7中表示的是调节灯光控制器的摇杆7。此时,服务器便可根据用户在所述虚拟演播厅中的位置信息的变化情况,确定目标物件的调节角度。然后根据确定出的调节角度进行相应调节,具体是将确定出的角度值赋值给目标物件(摄像机或射灯),然后再将结果同步至客户端,如图8和图9所示。图8所示的是调节前射灯的视角,图9所示的是调后射灯的视角。
需要说明的是,用户在输入调节目标物件视角的操作命令之后,会有相应的位置信息变化,根据该位置信息变化,可以确定目标物件的调节角度。例如,可以建立用户某一方向的位置信息变化量与调节角度之间的映射关系,根据位置信息变化量即可确定出角度调节量。需要说明的是,还可以设置角度调节的最大值,当角度值超过预设的最大值时,此时即使用户的位置信息继续朝该方向发生变化,那么角度值仍然维持该方向的最大值。
本发明实施例的虚拟现实交互方法,在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示,以及将响应结果同步至所述客户端,以便客户端能够将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。并且,在搭建虚拟演播厅之后,还可以对虚拟演播厅中的目标物件进行视角调节,进一步模拟真实演播厅的真实功能,在不搭建真实演播厅的情况下便可实现真实演播厅的功能,从而可以降低搭建演播厅的成本。
上述各个实施例对虚拟现实交互方法进行了详细的描述,下面将结合附图,对采用上述虚拟现实交互方法的装置进行详细描述,需要说明的是,关于一些术语的描述与定义,若在虚拟现实交互方法中已经进行了详细的描述的,在装置实施例中将不再赘述。
为了实现上述虚拟现实交互方法,本发明实施例还提供了一种虚拟现实交互装置,用于现实用户与虚拟演播厅的交互。如图10所示,该交互装置100包括:存储器101、处理器102以及存储在所述存储器中并可在所述处理器上运行的计算机程序103。
其中,处理器102在执行所述计算机程序103时,实现如下步骤:
识别客户端传来的用户的操作命令;
当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示;
将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。
本发明实施例的虚拟现实交互装置100,在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示,以及将响应结果同步至所述客户端,以便客户端能够将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。并且,本发明实施例的方法在无需购买影视设备便可以搭建虚拟演播厅,模拟出演播厅的真实功能,可以降低搭建演播厅的成本,降低教学成本。
需要说明的是,在执行拿起所述连接物件的操作的步骤之后,处理器102还执行如下步骤:
当识别到所述操作命令为释放所述连接物件时,执行将所述连接物件连接到所述接口位置信息的操作;将第二响应结果同步至所述客户端,以便所述客户端将所述第二响应结果显示给所述用户;其中所述第二响应结果为:执行将所述连接物件连接到所述接口位置信息的操作。
并且,在所述执行拿起所述连接物件的操作之后,识别到所述操作命令为释放所述连接物件之前,处理器102还执行如下步骤:
输出将所述连接物件连接至所述接口位置信息之后的模拟图像;以及将所述模拟图像同步至所述客户端。
并且,处理器102还可以执行如下步骤:当识别到所述操作命令为调节目标物件视角时,根据所述用户的位置信息的变化情况,确定所述目标物件的调节角度;
将所述角度赋值给所述目标物件;
将第三响应结果同步至所述客户端,以便所述客户端将所述第三响应结果显示给所述用户,所述第三响应结果为:将所述角度赋值给所述目标物件。其中,连接物件包括:插线头或摄像机等;所述目标物件包括:射灯或摄像机等。
在识别客户端传来的用户的操作命令,所述处理器102具体执行:接收客户端传来的所述用户在所述虚拟演播厅中的位置信息;根据所述位置信息和所述虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件;若存在,则根据所述物件的功能属性,确定所述用户的操作指令。
本发明实施例的虚拟现实交互装置100,在识别到用户拿起连接物件的操作命令之后,会根据用户在虚拟演播厅中的位置信息,执行拿起所述连接物件的操作并相应输出连接所述连接物件的接口位置信息的提示,以及将响应结果同步至所述客户端,以便客户端能够将所述接口位置信息的提示显示给所述用户,使得用户在连接虚拟演播厅中的连接物件时,可以根据提示的接口位置信息相应调节自己在虚拟演播厅中的位置信息,以便更快搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。并且,在搭建虚拟演播厅之后,还可以对虚拟演播厅中的目标物件进行视角调节,进一步模拟真实演播厅的真实功能,在不搭建真实演播厅的情况下便可实现真实演播厅的功能,从而可以降低搭建演播厅的成本。
相应地,本发明实施例还提供了一种虚拟现实交互系统,用于现实用户与虚拟演播厅的交互。如图11所示,该交互系统110包括:服务器111,客户端112,手柄113,头盔显示器114、至少两个动捕相机115以及相机服务器116。
该交互系统工作时,动捕相机115识别被观察对象(1个或多个,人或各种物件)上附着的光学标记点,通过动捕相机的图像采集系统处理计算出标记点的坐标位置信息,然后经网络(有线,无线,USB等)传输给相机服务器116。相机服务器116接收来自动捕相机115的坐标位置信息(该坐标位置信息为用户在物理场景中的位置信息),根据该位置坐标信息识别被观察对象,获取用户的位置信息,实现对用户进行定位。
具体地,相机服务器115根据接收到的位置坐标信息确定某一用户在物理场景中的三维位置信息之后,还将该三维位置信息发送给对应用户的客户端112。即是说,客户端112接收到的是动捕相机115采集的,经相机服务器116处理后的用户在物理场景中的三维位置信息。客户端112可以将该三维位置信息映射至虚拟场景中的某一位置,从而确定该用户在虚拟场景中的位置信息。客户端112在确定用户在虚拟场景中的位置信息之后,会将该位置信息上传至服务器111。
另一方面,用户通过自身携带的手柄113发送一个操作命令,该用户所戴的头盔显示器114接收到该操作命令之后,通过有线或无线方式发给用户对应的客户端112。客户端112接收到该操作命令之后通过网络将该操作命令传输给服务器111。其中,用户输入的操作命令可以是拿起虚拟演播厅中的连接物件,例如拿起虚拟演播厅中的插线头或摄像机。用户可以对虚拟演播厅的连接物件操作,以搭建一个虚拟演播厅。
由于用户的操作命令会对虚拟演播厅中的物件产生影响,因此服务器111在响应用户的操作命令时,需要根据虚拟演播厅中用户的位置信息进行相应响应。在响应操作命令时,还需要根据操作命令的具体类型做相应的响应,例如,如果识别到操作命令是拿起连接物件,则响应结果为:执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。其中,接口位置信息的提示方式可以有多种,例如通过一些文字提示信息标识出来,或者通过一些带颜色的图形信息标识出来,如图2所示,则用绿色圆圈2标识摄像机的接口位置信息。
服务器111还将响应结果(执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示)同步至客户端112。这样客户端112在接收到响应结果之后,便可根据该响应结果以及对应用户的视角信息调整虚拟演播厅的场景,并将调整后的虚拟演播厅的场景显示给用户。例如,客户端将该调整后的虚拟演播厅的场景通过用户头戴的头盔显示给用户,以便用户能够根据该场景中显示的接口位置信息调整自己在虚拟演播厅中的位置信息,更快地搭建虚拟演播厅,提升虚拟交互的友好型与沉浸感。
需要说明的是,服务器111可以为图10中的交互装置100。在交互过程中,还执行上述方法实施例中描述的释放连接物件以及调节目标物件视角的操作,在此不再重复描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实交互方法,其特征在于,用于现实用户与虚拟演播厅的交互,所述交互方法包括:
接收客户端传来的用户在虚拟演播厅中的位置信息,一个所述用户对应一个虚拟演播客户端;
识别客户端传来的用户的操作命令,所述操作命令的具体识别方式为:
根据接收到的所述客户端传来的所述用户在所述虚拟演播厅中的位置信息和所述虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件;
确定存在与所述用户产生碰撞的物件之后,根据所述物件的功能属性,确定所述用户的操作命令;
当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示的操作;
将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。
2.根据权利要求1所述的虚拟现实交互方法,其特征在于,在所述执行拿起所述连接物件的操作之后,所述交互方法还包括:
当识别到所述操作命令为释放所述连接物件时,执行将所述连接物件连接到所述接口位置信息的操作;
将第二响应结果同步至所述客户端,以便所述客户端将所述第二响应结果显示给所述用户;其中所述第二响应结果为:将所述连接物件连接到所述接口位置信息。
3.根据权利要求2所述的虚拟现实交互方法,其特征在于,在所述执行拿起所述连接物件的操作之后,识别到所述操作命令为释放所述连接物件之前,所述方法还包括:
输出将所述连接物件连接至所述接口位置信息之后的模拟图像;
将所述模拟图像同步至所述客户端。
4.根据权利要求1至3中任一项所述的虚拟现实交互方法,其特征在于,所述交互方法还包括:
当识别到所述操作命令为调节目标物件视角时,根据所述用户的位置信息的变化情况,确定所述目标物件的调节角度;
将所述角度赋值给所述目标物件;
将第三响应结果同步至所述客户端,以便所述客户端将所述第三响应结果显示给所述用户,所述第三响应结果为:将所述角度赋值给所述目标物件。
5.根据权利要求4所述的虚拟现实交互方法,其特征在于,所述连接物件包括:插线头或摄像机;所述目标物件包括:射灯或摄像机。
6.根据权利要求1所述的虚拟现实交互方法,其特征在于,所述识别客户端传来的用户的操作命令,具体包括:
接收客户端传来的所述用户在所述虚拟演播厅中的位置信息;
根据所述位置信息和所述虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件;
若存在,则根据所述物件的功能属性,确定所述用户的操作指令。
7.一种虚拟现实交互装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
8.一种虚拟现实交互系统,其特征在于,用于现实用户与虚拟演播厅的交互,所述交互系统包括:
客户端,用于接收用户的操作命令并传输给服务器;
所述服务器,用于接收客户端传来的用户在虚拟演播厅中的位置信息,一个所述用户对应一个虚拟演播客户端;用于识别所述客户端传来的用户的操作命令,所述操作命令的具体识别方式为:根据接收到的所述客户端传来的所述用户在所述虚拟演播厅中的位置信息和所述虚拟演播厅中的物件信息,确定预设距离范围内是否存在与所述用户产生碰撞的物件;确定存在与所述用户产生碰撞的物件之后,根据所述物件的功能属性,确定所述用户的操作命令;当识别到所述操作命令为拿起连接物件时,根据所述用户在所述虚拟演播厅中的位置信息和所述操作命令,执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示;以及将将第一响应结果同步至所述客户端,以便所述客户端将所述第一响应结果显示给所述用户;所述第一响应结果为:执行拿起所述连接物件的操作并输出连接所述连接物件的接口位置信息的提示。
9.如权利要求8所述的虚拟现实交互系统,其特征在于,所述系统还包括:
手柄,用于接收用户发来的操作命令并传输给头盔显示器;
所述头盔显示器,用于将接收到的所述操作命令传输给所述客户端。
10.如权利要求9所述的虚拟现实交互系统,其特征在于,所述系统还包括:
至少两个动捕相机,用于采集用户的图像信息并发送给相机服务器;
所述相机服务器,用于对所述图像信息进行处理,得到所述用户的三维位置信息并发送至所述客户端。
CN201710633284.1A 2017-07-28 2017-07-28 虚拟现实交互方法、装置及系统 Active CN107479701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710633284.1A CN107479701B (zh) 2017-07-28 2017-07-28 虚拟现实交互方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710633284.1A CN107479701B (zh) 2017-07-28 2017-07-28 虚拟现实交互方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107479701A CN107479701A (zh) 2017-12-15
CN107479701B true CN107479701B (zh) 2020-10-02

Family

ID=60597118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710633284.1A Active CN107479701B (zh) 2017-07-28 2017-07-28 虚拟现实交互方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107479701B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320608A (zh) * 2018-02-11 2018-07-24 北京猫眼视觉科技有限公司 一种虚拟现实培训系统及方法
WO2020056692A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技(深圳)有限公司 一种信息交互方法、装置及电子设备
CN109816773A (zh) * 2018-12-29 2019-05-28 深圳市瑞立视多媒体科技有限公司 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备
CN112331001A (zh) * 2020-10-23 2021-02-05 螺旋平衡(东莞)体育文化传播有限公司 一种基于虚拟现实技术的教学系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503539A1 (de) * 2003-07-31 2005-02-02 Siemens Aktiengesellschaft Verfahren zum Ermitteln eines Abrechnungstarifs zum Abrechnen einer Datenübertragung
CN105872575A (zh) * 2016-04-12 2016-08-17 乐视控股(北京)有限公司 基于虚拟现实的直播方法及装置
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置
CN106569605A (zh) * 2016-11-03 2017-04-19 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503539A1 (de) * 2003-07-31 2005-02-02 Siemens Aktiengesellschaft Verfahren zum Ermitteln eines Abrechnungstarifs zum Abrechnen einer Datenübertragung
CN105872575A (zh) * 2016-04-12 2016-08-17 乐视控股(北京)有限公司 基于虚拟现实的直播方法及装置
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置
CN106569605A (zh) * 2016-11-03 2017-04-19 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置

Also Published As

Publication number Publication date
CN107479701A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
CN107479701B (zh) 虚拟现实交互方法、装置及系统
US10692288B1 (en) Compositing images for augmented reality
US9710972B2 (en) Immersion photography with dynamic matte screen
EP3910905B1 (en) Viewing a virtual reality environment on a user device
US11132845B2 (en) Real-world object recognition for computing device
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
CN107469343B (zh) 虚拟现实交互方法、装置及系统
US20160234475A1 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
CN106730815B (zh) 一种易实现的体感互动方法及系统
US10701344B2 (en) Information processing device, information processing system, control method of an information processing device, and parameter setting method
CN105429989A (zh) 虚拟现实设备的模拟旅游方法及系统
CN112198959A (zh) 虚拟现实交互方法、装置及系统
US10977869B2 (en) Interactive method and augmented reality system
JP2015502584A (ja) 可搬装置、仮想現実システムおよび方法
US11375559B2 (en) Communication connection method, terminal device and wireless communication system
JP2013061937A (ja) ステレオカメラ及びステレオディスプレイを組み合わせたやり取り
US9304603B2 (en) Remote control using depth camera
WO2020020102A1 (zh) 生成虚拟内容的方法、终端设备及存储介质
WO2018112695A1 (zh) 一种画面显示的方法及移动终端
CN106980378B (zh) 虚拟显示方法和系统
US11587284B2 (en) Virtual-world simulator
CN112204958B (zh) 用于无线电模拟的增强现实的方法、设备
KR20200143293A (ko) 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치
CN108845669B (zh) 一种ar/mr交互方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant