CN107957774B - 虚拟现实空间环境中的交互方法及装置 - Google Patents

虚拟现实空间环境中的交互方法及装置 Download PDF

Info

Publication number
CN107957774B
CN107957774B CN201610909499.7A CN201610909499A CN107957774B CN 107957774 B CN107957774 B CN 107957774B CN 201610909499 A CN201610909499 A CN 201610909499A CN 107957774 B CN107957774 B CN 107957774B
Authority
CN
China
Prior art keywords
virtual reality
layer
user
environment
space environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610909499.7A
Other languages
English (en)
Other versions
CN107957774A (zh
Inventor
郝力滨
王茂
胡浪宇
郭俊
胡晓航
费义云
李军舰
周莅
苏起扬
代登科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610909499.7A priority Critical patent/CN107957774B/zh
Publication of CN107957774A publication Critical patent/CN107957774A/zh
Application granted granted Critical
Publication of CN107957774B publication Critical patent/CN107957774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Abstract

本申请实施例公开了虚拟现实空间环境中的数据对象交互方法及装置,包括:客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;确定用户视线焦点位置;当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。通过本申请实施例,能够提升用户体验。

Description

虚拟现实空间环境中的交互方法及装置
技术领域
本申请涉及虚拟现实空间环境中的交互技术领域,特别是涉及虚拟现实空间环境中的交互方法及装置。
背景技术
在现有的电子商务交易系统中,通常都是基于PC机、笔记本、移动终端设备等与用户进行交互,用户在线上购物的过程,实际上就是从一系列的商品图片列表中挑选符合自己购物需求的商品,然后进行线上的下单购买等操作。虽然线上购物使得用户足不出户即可完成购物,但是,相当于实际到商场中进行购物而言,这种线上购物的过程往往会显得不够生动。
因此,如何使得线上购物流程更接近真实的线下购物,是需要本领域技术人员解决的技术问题。
发明内容
本申请提供了虚拟现实空间环境中的数据对象交互方法及装置,能够提升用户体验。
本申请提供了如下方案:
一种虚拟现实空间环境中的交互方法,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;
确定用户视线焦点位置;
当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
一种虚拟现实空间环境中的交互方法,包括:
服务器保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
一种虚拟现实空间环境中的视线焦点确定方法,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
一种虚拟现实空间环境中的视线焦点确定方法,包括:
服务器保存虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
一种虚拟现实空间环境中的功能菜单唤起方法,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
一种虚拟现实空间环境中的功能菜单唤起方法,包括:
服务器提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
一种虚拟现实空间环境中的操作控件处理方法,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
一种虚拟现实空间环境中的操作控件处理方法,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
一种虚拟现实空间环境中的操作控件处理方法,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
一种虚拟现实空间环境中的操作控件处理方法,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
一种虚拟现实空间环境中的操作控件处理方法,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
一种虚拟现实空间环境中的操作控件处理方法,包括:
服务器提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
一种虚拟现实空间环境中的操作区域处理方法,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
一种虚拟现实空间环境中的操作区域处理方法,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
一种增强现实环境中的交互方法,包括:
客户端获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;
确定用户视线焦点;
当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
一种增强现实环境中的交互方法,包括:
服务器保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
一种虚拟现实空间环境中的交互装置,应用于客户端,包括:
第二虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;
第二视线焦点确定单元,用于确定用户视线焦点位置;
第二内容提供单元,用于当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
一种虚拟现实空间环境中的交互装置,应用于服务器,包括:
第二虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
第二虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
一种虚拟现实空间环境中的视线焦点确定装置,应用于客户端,包括:
第三虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
位移确定单元,用于在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
第三视线焦点确定单元,用于根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
可交互对象确定单元,用于根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
一种虚拟现实空间环境中的视线焦点确定装置,应用于服务器,包括:
第三虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第三虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
一种虚拟现实空间环境中的功能菜单唤起装置,应用于客户端,包括:
第四虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
菜单唤起单元,用于当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
一种虚拟现实空间环境中的功能菜单唤起装置,应用于服务器,包括:
第四虚拟现实环境数据保存单元,用于提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
一种虚拟现实空间环境中的操作控件处理装置,应用于客户端,包括:
第五虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
第五视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
选中状态确定单元,用于当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
一种虚拟现实空间环境中的操作控件处理装置,应用于服务器,包括:
第五虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
第五虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
一种虚拟现实空间环境中的操作控件处理装置,应用于客户端,包括:
第六虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
第六视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
连续响应单元,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
一种虚拟现实空间环境中的操作控件处理装置,应用于服务器,包括:
第六虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
第六虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
一种虚拟现实空间环境中的操作控件处理装置,应用于客户端,包括:
第七虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
UI移动单元,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
一种虚拟现实空间环境中的操作控件处理装置,应用于服务器,包括:
第七虚拟现实环境数据保存单元,用于提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
一种虚拟现实空间环境中的操作区域处理装置,应用于客户端,包括:
第八虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
交互区域范围处理单元,用于如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
一种虚拟现实空间环境中的操作区域处理装置,应用于服务器,包括:
第八虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
一种增强现实环境中的交互装置,应用于客户端,包括:
第二模型获得单元,用于获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
第二交互区域信息提供单元,用于在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;
第九视线焦点确定单元,用于确定用户视线焦点;
第二交互响应提供单元,用于当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
一种增强现实环境中的交互装置,应用于服务器,包括:
第二模型保存单元,用于保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
第二模型提供单元,用于将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,可以提供虚拟现实空间环境,这样,用户可以获得置身于三维空间环境中的体验,并且,具体的交互流程可以通过“视线熔断机制”来实现,对于用户而言,只需要通过转动头部即可实现交互,无需借助于外接的手柄等输入设备,因此,可以使得虚拟现实空间环境更接近于实体空间,提升用户体验。
另外,在交互过程中,还针对多种问题提供了一系列的解决方案,可以使得交互流程更为顺畅。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统架构示意图;
图2是本申请实施例提供的第一方法的流程图;
图3-1、3-2是本申请实施例提供的第一界面示意图;
图4-1至4-3是本申请实施例提供的第二界面示意图;
图5是本申请实施例提供的第三界面示意图;
图6-1至6-8是本申请实施例提供的第四界面示意图;
图7是本申请实施例提供的控件位置示意图;
图8是本申请实施例提供的菜单位置示意图;
图9至图27是本申请实施例提供的其他方法流程图;
图28至图47是本申请实施例提供的各装置示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,为了使得用户的线上购物流程更逼近实际在线下实体店铺中的购物体验,可以通过虚拟现实的方式提供店铺对象内部空间环境,其中可以包括多个可交互的数据对象(例如,商品对象等),用户可以在这种虚拟现实空间环境中进行数据对象的浏览,并进行交互。由于虚拟现实空间环境具有三维立体的效果,因此,用户看到的数据对象不再是简单的数据对象列表,而是像线下的实体店铺中一样,可以看到三维立体的空间,其中具有货架等,数据对象可以摆放在货架上,用户可以从货架上取下具体的数据对象进行查看其详情,等等,因此,可以更接近实际在线下实体店铺中购物的体验。另外,在本申请实施例中,为了进一步提升用户体验,在用户与系统进行交互的过程中,可以不必使用手柄等外部输入设备,而是可以捕捉用户的视线焦点,然后通过一种“视线熔断”机制来判断用户的意图,并进而实现与用户之间的互动,这样,在无手柄等外部输入设备辅助的情况下,可以使得用户获得更接近线下实体店铺中购物的体验,增强用户的沉浸感。
为了实现上述技术方案,在软件方面,可以通过服务器-客户端的架构来实现,其中,服务器主要用于提供数据支持,例如,可以实现多个店铺对象的虚拟现实内部空间环境数据,并提供给客户端。客户端主要用于数据的前端展示,以及与用户之间进行互动。其中,该客户端可以是独立的应用程序,或者,还可以是一些综合性应用程序中的功能模块等,例如,可以是”手机淘宝”、“淘宝”等移动终端App中的功能模块,等等。
在硬件方面,首先可以用到一种虚拟现实设备,这种虚拟现实设备可以是集存储、计算、屏显等功能为一体的“一体式”虚拟现实设备,或者,还可以是仅具有屏显功能的“外接式”或者“移动式”虚拟现实设备。其中,对于一体式虚拟现实设备而言,由于其本身带有存储、计算等功能,因此,可以直接将前述客户端程序安装或者内置于这种虚拟现实设备中。而对于“外接式”虚拟现实设备而言,由于在实现时依赖于外接的PC(个人计算机)机等设备,因此,可以将客户端程序安装与这种PC机中,再将外接式虚拟现实设备连接到该PC机上,实现虚拟现实空间环境及互动。另外,对于“移动式”虚拟现实设备而言,在实现时需要与手机等智能移动终端设备配合使用,例如,“VR眼镜盒子”等,在使用时,可以将手机等智能移动终端设备放入眼镜盒子中,具体的存储、计算等功能由智能移动终端设备完成,“VR眼镜盒子”仅用于实现屏显的相关功能。因此,参见图1,对于这种虚拟现实设备,可以将客户端程序安装或者内置与智能移动终端设备中,再将这种智能移动终端设备与移动式虚拟现实设备进行连接,两者相互配合实现本申请实施例中的功能。
下面首先从前述客户端的角度,对本申请实施例提供的具体实现方案进行详细介绍。
实施例一
在该实施例一中,首先提供了一种虚拟现实空间环境中的数据对象交互方法,参见图2,该方法可以包括以下步骤:
S201:客户端提供虚拟现实店铺对象内部空间环境,所述店铺对象内部空间环境中包括至少一个可交互数据对象;
其中,所谓的店铺对象可以是指商家等在在线销售平台中开设的“店铺”,在本申请实施例中,这种店铺对象在线下还可以关联有实体店铺,例如,超市、服装专卖店等等。具体实现时,可以通过建模的方式,模拟线下店铺中的布局、商品陈列方式等,生成模拟的店铺内部空间环境,或者,为了进一步提升环境的真实性体验,还可以通过到线下实体店铺中进行录制视频的方式,来建立店铺对象内部空间环境,在虚拟现实设备中向用户提供店铺内部空间环境时,可以通过播放这种视频的方式来进行,从而使得用户可以获得更接近现实的购物体验。
具体的,由于提供给用户观看的虚拟现实空间环境是通过录制的视频提供的,而录制的视频中,画面具有整体性,也即,每一帧画面都是一个整体,因此,为了使得用户能够与画面中的数据对象进行互动,以实现后续的查看详情、购买等流程,还可以对录制好的视频进行处理。具体的处理过程,也就是对视频中出现的数据对象进行标记,例如,在视频画面中出现某中商品的位置,可以通过鼠标点击等方式,输入该商品的ID等标识信息,这样,后续在与用户进行互动的过程中,可以通过后台保存的数据库,确定出该商品ID对应的详情信息等内容。这样,通过这种标记操作处理,可以使得视频画面中出现的数据对象具有可交互性。在向用户提供店铺对象内部空间环境时,可以在数据对象所在的位置提供标记点,例如,可以在商品上显示蓝色圆点等,通过这种标记点可以提示用户,对应的数据对象是可以交互的,同时可以提示用户,在需要与某数据对象进行交互时,可以将视线对准该数据对象的标记点,以使得系统能够识别出用户的意图。
具体的实现时,为了实现对上述标记点信息的展示,参见图3-1,在本申请实施例中,可以在环境层与屏幕层的中间提供一个操作层,也即,用户视域范围内实际包括三个层,最下面一层是环境层,关于店铺对象内部的视频画面等在环境层进行展示。环境层上面的操作层,关于对数据对象添加的标记点,以及后续对交互操作的响应信息展示等,都可以在该操作层来实现,并且,操作层相对于环境层是静止的,也即两者之间的相对位置关系并不会发生变化,以使得操作层的标记信息能够始终准确的展示在环境层中对应的数据对象上。当然,在具体实现时,除了显示有标记点等信息的部分之外,操作层的其他区域可以是透明的,也就是说,对于用户而言,可以不必感知该操作层的存在。
另外,在本申请实施例中,为了能够提供关于数据对象的360度的立体图像,并且使得立体图像具有真实性的展示效果,前期的数据处理操作还可以包括:将具体的数据对象对应的货品从多个拍摄角度进行拍照,并保存多个拍摄角度拍摄的照片,这样,后续在用户具有查看多个角度的立体图像的需求时,可以根据保存的多张照片来提供。例如,在一种实现方式下,每个数据对象可以保存60张照片,使得用户可以从多个角度查看到数据对象的图片细节。
S202:确定用户视线焦点位置;
在进入到店铺对象内部的空间环境后,就可以识别用户的意图,进而实现与用户之间的交互。具体在识别用户意图时,本申请实施例可以不必借助手柄等外部输入设备,也不需要通过VR设备发射某种射线等方式来确定,而是可以通过识别用户视线焦点位置来识别用户的意图。
具体实现时,可以在前述屏幕层的预置位置处设置“瞄准点”,该瞄准点的位置相对于屏幕层是不变的,可以代表用户的视线焦点。例如,图3-1中所示,可以在屏幕层的中心点等位置设置瞄准点,需要说明的是,在通常情况下,VR设备是通过模拟人眼的“双目视觉”来构造出“景深”,从而呈现出三维立体的展示效果。也即,人之所以能够看到立体的景物,是因为人类的双眼可以各自独立看东西,左右两眼有间距,造成两眼的视角有些细微的差别,而这样的差别会让两眼个别看到的景物有一点点的位移。而左眼与右眼图像的差异称为视差,人类的大脑很巧妙地将两眼的图像融合,产生出有空间感的立体视觉效果在大脑中。因此,本申请实施例中的屏幕层也可以分为左右两个部分(将终端设备屏幕横向划分为左右两部分),每个部分的中心点位置都可以设置一个瞄准点。另外,具体实现时,可以引导用户横置手机,将屏幕上画面分为2屏,分别显示左右眼对应的画面,再通过VR眼镜盒子的凸透镜投射到人眼中,使人所看到的东西呈现出立体感。由于屏幕层会随着用户的上下左右各方向的头部转动而发生位置变化,因此,瞄准点也可以跟踪该变化,操作层就可以通过捕捉瞄准点的位移,来确定出用户的视线方向,进而映射到操作层上具体的某个位置,该位置就可以作为用户的视线焦点。
下面对一种具体实现方式下,确定用户视线焦点的实现方法进行详细介绍。
首先,仍然假设虚拟现实设备属于移动式的VR眼镜盒子等设备,可以与手机等移动终端设备配合使用,客户端安装在移动终端设备中。其中,所有图形呈现在手机屏幕上,图形内容包括:虚拟现实场景(环境层)、GUI(操作层)和客户端控件(屏幕层)。
其中,环境层在立体球面上;操作层是在场景中用于显示信息和操作的控件,通过绘制而成,叠加在场景的指定坐标上面,可绑定功能函数,触发相应动作;环境层是绘制在手机应用中最上层的控件,与虚拟现实的场景无关,与手机屏幕和头部相对静止。
对线下实体店铺拍摄的实景视频通过球面映射到球形空间上,在这个球形中可以建立三维坐标系,则视频中每一帧的每一个像素都有固定的三维坐标。另外,操作层中包括信息面板、按钮、商品标记点等,它们出现时定位在上述三维坐标系中。比如,绘制数据对象标记点前,先获取场景中的该数据对象,以其中心点的坐标作为数据对象标记点的坐标,等等。屏幕层中包括位于屏幕中心的视线瞄准点、返回按钮和其它设置按钮等。其中,最重要的是视线瞄准点,它相对屏幕静止,在手机置入VR眼镜盒子后,它跟随头部转动而移动。
为了确定视线焦点,手机等终端设备中可以配备有头部追踪模块,该模块是为了追踪手机屏幕中心视线瞄准点的位置,利用手机的陀螺仪或加速计即可完成(现有的智能手机中通常都配备有相应的功能)。其中,陀螺仪就是手机内部有一个陀螺,它的轴由于陀螺效应始终与初始方向平行,这样就可以通过与初始方向的偏差计算出实际方向。陀螺仪测量的参考标准是内部中间在与地面垂直的方向上进行转动的陀螺。通过设备与陀螺的夹角得到结果。因为手机运动的加速度不高,精确度也没有太大的要求,因此,用加速计替代陀螺仪也可以。
陀螺仪能起到的作用就是随时可以感知到用户头部在三维空间中的位置和角度的偏移,然后经过计算把这些数据作用于画面,做出相应的调整。简而言之,如果用户向左转头了,基于旋转角度和转的速度曲线,把这个结果传给程序,程序就会把画面做出相应角度和速度的位移。
这样,假设手机屏幕上的视觉瞄准点与环境球的距离为r,初始时,视线聚焦的点坐标的默认值为P0(x0,y0,z0),当头向左转α角度时,根据r和α的值,可以计算出当前视线在环境中的聚焦点P的坐标值:
x=x0-r*sinα
y=y0
z=z0-r*sinα*tanα
程序根据P的坐标可以准确判断该点是否进入可交互数据对象的交互区域范围,若已进入,则触发相应的进程。每个所述可交互数据的对象在所述交互区域范围(可以为矩形区域)中的位置对应一组坐标,一组坐标包括四个坐标点,若所述视线瞄准点的聚焦位置坐标位于一组所述坐标的范围内,则对应的数据对象为被选择的数据对象。
关于立体视觉的实现可以通过专门的引擎来完成,总之,只需要将手机放入VR眼镜盒子,即可通过盒子产生立体沉浸视觉。VR眼镜盒子里的镜片通过对焦和二次成像来修正每个眼睛看到的图像,改变2D图像的角度来模仿立体3D影像的模样,并最终使手机屏幕的影像,通过头戴设备展示出来。
由于在传统的计算机图形技术中,视场的改变是通过鼠标或键盘来实现的,用户的视觉系统和运动感知系统是分离的,而本申请实施例中利用头部跟踪来改变图像的视角,用户的视觉系统和运动感知系统之间就可以联系起来,可以使得用户的感觉更逼真。
另外,由于虚拟现实空间环境与传统的手机等设备中平面形式的用户界面具有很大的不同,在虚拟现实空间环境中,屏幕下面的环境是广阔的三维空间,用户可以通过移动或者转动虚拟现实设备,来转换屏幕中显示的环境内容,因此,用户看到的内容可能会在不断的变化。但这可能会造成一种不太积极的后果—用户在进入空间环境中一段时间后,由于看到的内容过于丰富庞杂,可能会忘记该如何操作。为避免出现该情况,在本申请实施例中,还可以在屏幕层提供跟随式任务引导信息,该引导信息与瞄准点相对静止,也即,无论用户如何转动VR设备,该引导信息都在用户的视域范围内,永远可见。例如,如图3-2所示,301所示的“瞄准(标记点),查看商品详情”,等等。这种方式适合于虚拟环境空间,是因为,在本申请实施例中,虚拟空间的交互通过瞄准点来完成,因此,与瞄准点相对静止的引导信息不会干扰到正常的交互,同时,这种引导又可以避免用户在广阔的环境中迷失,随时可以知晓自己下一步该做什么。
S203:当所述视线焦点位置进入目标数据对象的交互区域范围内,且停留的时间达到预置时间阈值时,提供与该目标数据对象关联的信息内容。
在发现用户的视线焦点进入到某目标数据对象的交互区域范围内时,就可以触发“熔断”机制,也即,可以通过一个计时器开始进行计时,如果在该交互区域范围内的停留时间达到某时间阈值(例如,3S),则可以将其确定为用户希望交互的对象,并提供出与该目标数据对象关联的信息内容,例如,可以是目标数据对象的详情信息等等。
可见,通过本申请实施例,可以通过虚拟现实的方式提供店铺对象内部空间环境,其中可以包括多个可交互的数据对象,并且,可以通过用户视线焦点的捕捉以及时间熔断机制来确定用户的交互意图,而不需要借助于手柄等外部输入设备,从而使得用户获得更接近于在实体店铺中购物的体验。
需要说明的是,在实际应用中,在前述步骤S101之前,还可以进行一些前期的准备工作。例如,以“移动式”虚拟现实设备(例如,VR眼镜盒子)为例,可以在手机等移动终端设备中安装本申请实施例提供的客户端,然后,将手机放入VR眼镜盒子中。另外,在实际应用中,还可能存在一些登录、输入收货地址等前期的配置操作,在本申请实施例中,为了保证用户能够在带上VR眼镜盒子以后,顺畅地购物,可以将复杂的配置操作前置在用户带上眼镜之前,可以包括:登录、添加收货地址等。例如,用户通过手机上的“手机淘宝”客户端查看“双11会场”页面时,发现其中包括相关的虚拟现实入口,则可以通过该入口进入,此时,可以判断用户是否登录,是否已经添加收货地址等,如果没有,则可以引导用户执行登录、添加收货地址的操作。另外,还可以提醒用户将手机横向放置,并且,还可以显示预置的小动画。需要说明的是,在实际应用中,除了判断用户是否登录等,还可以判断用户使用的手机等移动终端设备的机型是否支持,如果不支持,则可以进行提示。另外,还可以判断当前的客户端版本是否支持,如果不支持,可以引导用户进行客户端版本的升级,等等。在该流程的最后一步,可以将手机放入VR眼镜盒子。
由于具有以虚拟现实方式进行展示的店铺对象可能有多个,因此,手机置入VR眼镜盒子之后,还可以首先进入主导航空间,也即,用于选择店铺对象的空间环境。它相当于网站的首页,但不同的是,该体系中主导航空间是个三维空间,用户可以通过上下左右转动头部探索它。其中,在一种具体的实现方式下,如图4-1所示,在该主导航空间中,视线初始的位置可以是一堵照片墙,墙上每个动态的照片代表世界上某个国家某个城市某条街上的一家店铺,动态照片中展示的内容同样可以是真实录制的店面视频,例如,包括店铺门面外的街景等。
为了使得用户能够从主导航空间中选择目标店铺对象,同样可以在这种主导航空间的环境层与屏幕层之间添加操作层。如图4-2所示,在该操作层中,可以设定有分别与各个店铺对象的动态图片的位置和大小相对应的“包围盒”,并将这种“包围盒”作为对应店铺对象的交互区域范围,这样,用户可以通过将视线聚焦在某个店铺对象对应的交互区域范围内并停留一段时间等方式,来触发进入该店铺对象的内部空间环境。
需要说明的是,由于采用了时间熔断机制,因此,从用户视线焦点进入交互区域范围到实际触发进入目标店铺对象,需要经历一段预置长度的时间,例如,3秒等,在此过程中,为了使得用户感知到其关注的目标店铺已经被系统捕捉到,还可以在所述视线焦点位置进入目标店铺对象的交互区域范围内时,开始在所述交互区域范围内播放预置的进度状态变化动画,直到达到所述预置时间阈值时,所述进度状态变化为完成状态。例如,如图4-3所示,在用户视线焦点进入到某目标店铺对象的交互范围内时,可以开始在目标店铺对象的交互区域范围内展示“注水动画”,注入的“水量”会随着时间的推移而增多,直到到达熔断机制中设置的阈值时间长度,“水量”注满,并触发进入该目标店铺对象的内部空间。通过这种方式,可以使得用户直接的发现即将进入的目标店铺对象,而不会在时间阈值到达之前将视线移开。
在到达时间阈值,并触发进入某目标店铺对象后,可以在主导航空间环境的操作层,该目标店铺对象对应的位置,提供前往该店铺对象的提示信息,例如,“前往日本-秋叶原”,等等,当然,在实际应用中,还可以显示更多的语料,例如,显示出对应线下实体店铺实际的地理位置信息,等等。
触发进入目标店铺对象后,客户端可以向服务器请求获取该目标店铺对象的虚拟现实空间环境数据,并进行解析渲染等操作,因此,从触发进入目标店铺,到实际展示出该目标店铺内部空间环境界面,可能会经历一段时间。在本申请实施例中,在该时间内,还可以主导航空间环境切换为与所述选定的店铺对象关联的过场视频,其中,所述过场视频用于展示去往该选定的店铺对象对应的线下实体店铺途中所能观看到的景物。例如,可以展示出“时空穿梭”效果,用户可以感觉到从当前的导航房间来到交通工具上,又来到具体店铺外的街上,最后进入店门,等等。其中,对于不同的店铺对象,由于对应的线下实体店铺所在的地理位置各有不同,因此,可以各自对应不同的过场视频,使得用户可以获得更加真实的体验。
在店铺对象内部空间环境渲染完成后,用户可以查看到三维立体空间内展示的多个可交互数据对象,为了便于用户交互,可以在可交互对象所在的显示位置提供标记点,如图3中,操作层上展示的一些小圆点,用户视线焦点进入这种标记点区域内,且停留的时间达到预置时间阈值时,则可以提供与该目标数据对象关联的信息内容。
需要说明的是,在实际应用中,为了避免对数据对象造成遮挡,这种标记点的面积通常会比较小,尤其是在数据对象在离用户视觉起点比较远时,这种标记点的面积可能会更小。因此,为了使得用户其视线焦点处的数据对象实际已经被系统感知到,只不过在等待经历熔断机制中的预订时间到达才会触发交互,可以在所述视线焦点位置对准目标数据对象的标记点时,将所述标记点放大,并在放大后的标记点所在的区域范围内提供进度状态变化动画,直到达到所述预置时间阈值时,所述进度状态变化为完成状态。
具体实现时,如图5所示,每个标记点可以带有矩形包围盒(包围盒比标记点面积更大,但对于用户可以是不可见的,也即该包围盒可以是透明的),其中,图5中左一为初始状态;当用户视线焦点进入该包围盒时(如图5中左二所示),则该标记点放大,占满该包围盒,例如,显示为左三的状态,并触发熔断进程,熔断一定时间(例如,1s等)之后,系统判定用户有查看该数据对象详情的意图,则可以展示给数据对象的详情信息。其中,在熔断过程中,同样可以在放大后的标记点所在的区域范围内提供进度状态变化动画(例如,如图5中右一所示,可以播放注水动画等),直到达到所述预置时间阈值时,所述进度状态变化为完成状态。
具体在提供目标数据对象的相关信息时,可以是指目标数据对象的详情信息,例如,在一种具体实现方式下,可以包括目标数据对象的立体图像信息,以及文字性质的描述信息。如图6-1所示,还可以展示出详情信息从该数据对象的标记点位置呈“发散状”由小变大的过程。并且,这些详情信息可以是以所述立体图像信息为中心,所述文字性质的描述信息显示在所述立体图像的周围。也就是说,可以将立体图像信息与文字信息分开进行展示,并且,还可以提供用于对所述立体图像进行旋转的第一操作控件,这样,当用户视线焦点进入到所述第一操作控件所在的区域范围时,可以将所述立体图像进行旋转操作,可以展示出该数据对象多个视角的立体图像。并且,这种第一操作控件可以包括用于向不同方向旋转的多个操作控件,例如,可以是顺时针和逆时针两个旋转方向,等等。
例如,如图6-2所示,其为用户视线焦点对准某闹钟后,呈现出的该闹钟的详情信息(分为左右两幅画面,对应人眼的双目视觉),可见,详情信息中包括该闹钟的立体图像,其位于中央位置601处,周围602处可以展示出数据对象的名称、价格等多项详情信息。并且,在中央的立体图像下方,还提供了两个旋转控件603,分别用于向顺时针方向和逆时针方向旋转立体图像。需要说明的是,关于该图6-2中具体现实的详情信息内容,本申请实施例中并不进行限定,因此,图中显示文本或者图片信息的清晰程度不会影响本申请实施例的保护范围。
如前文所述,详情信息中展示的数据对象的立体图像可以是通过对实际货品进行拍照获得的照片生成的,实拍的照片可以是从多个视角拍摄的多张照片,合成得到三维立体的展示效果,并且可以通过旋转该立体图像改变视角,从多个角度全方位的了解数据对象的详情。
需要说明的是,在实际应用中,上述关于目标数据对象的详情信息在进行展示时,可以首先生成第一信息面板,然后将详情信息展示在该第一信息面板内。该信息面板的面积可以小于用户视域范围的面积,为了便于退出当前数据对象的详情信息的展示,本申请实施例中还提供了相应的实现方式。具体的,同样可以对用户的视线焦点进行跟踪,当用户视线焦点位置从所述信息面板移开时,则可以将所述信息面板关闭,相应的,当前数据对象的详情信息不再展示,用户可以继续浏览其他的数据对象。也就是说,在这种方式下,可以不必在信息面板中设置“关闭按钮”等操作控件,用户只需要将视线焦点从该信息面板所在的区域内移开,即可触发信息面板的关闭,从而可以更加方面用户的操作。
另外,在提供数据对象信息详情时,还可以提供用于对所述目标数据对象执行购买操作的第二操作控件,如图6-2中604处所示的“立即购买”按钮等。当用户视线焦点进入到所述第二操作控件所在的区域范围内,且停留的时间达到预置时间阈值时,则可以提供与订单确认相关的信息内容。也就是说,如果用户在查看目标数据对象的详情后,认为该数据对象满足自己的需求,则会产生购买该数据对象的意图,此时,用户可以将视线焦点对准该第二操作控件所在的区域范围,并在视线焦点停留一定时间后,系统即可识别出用户的该意图,并提供用于进行订单确认的相关信息。
其中,对于上述第二操作控件,由于属于主流程控件,因此,在本申请实施例中,对于这种操作控件还可以进行特殊设计,使得其在交互过程中更加明显。具体的,所述第二操作控件可以为在景深方向上排布的多层结构,当所述用户视线焦点进入到所述第二操作控件所在的区域范围时,所述多层结构在景深方向上向靠近视觉起点的方向(也即人眼方向)移动,以便所述第二操作控件在视觉效果上被放大,并使得控件与环境更加融合,具有空间立体感。
例如,如图6-3所示,操作空间为多层UI(用户界面)组成,并在景深方向上依次排布,假设景深方向靠近视觉起点的方向为正向,远离视觉起点的方向为负向,则正向最顶层可以用于显示具体的文本,例如,“立即购买”等。当系统监测到用户视线焦点进入控件范围时,如图6-4所示,顶层UI立即向正方向移动距离k1毫米,底下各层依次向正方向移动,呈现出的效果是控件立即放大,且文字跃然眼前,整个控件的层叠非常明显。其中,在多层UI移动时,最顶层UI移动的位移可以是最大的,其余各层的位移逐级减小。也即,k1>k2>k3>k4。该立体控件在对视线聚焦做出反馈的同时,若视线未移开,则开始熔断进程,一定时间(例如,3S)后触发立即购买,进入“下单”页面。
所谓的“下单”页面也就是承载订单确认信息的页面,该页面可以通过第二信息面板来进行展示。其中,在进行订单确认时,可以确定多方面的信息,具体可以包括确定收货地址、购买的数据对象数量、是否使用某种“优惠券”等虚拟资源,等等。因此,在该页面中可以分别提供用于确认各项信息的操作控件。
其中,可以包括用于对订单相关信息进行修改的第三操作控件,例如,假设用户需要对当前默认的收货地址进行修改,则可以通过该第三操作控件进行触发。具体的,在本申请实施例中,同样可以通过视线熔断的方式来进行触发。也就是说,当用户视线焦点进入到所述第三操作控件所在的区域范围内,且停留的时间达到预置时间阈值时,提供第三信息面板,并在所述第三信息面板中提供用于修改所述订单相关信息的内容。其中,如果用户选择了其他的收货地址,则第三信息面板自动关闭,如果用户在浏览了各收货地址后,不需要修改,则可以通过该第三信息面板中的关闭按钮等操作空间,来关闭该第三信息面板,此时,继续进行第二信息面板的展示。针对上述特点,在本申请实施例中,还可以将这种第二信息面板与第三信息面板之间的关系定义为“父面板”与“子面板”之间的关系,也就是说,“子面板”的展示需要从“父面板”中触发,在“子面板”退出后,仍然回到“父面板”进行展示。针对这种情况,可以对面板展示效果进行设定,具体的,在提供所述第三信息面板时,在将所述第二信息面板在景深方向上远离视觉起点的方向移动,并将所述第三信息面板显示在最顶层,在完成信息修改或者所述第三信息面板被关闭后,还原所述第二信息面板的现实状态。也就是说,参见图6-5,通过视线熔断触发子面板出现时,父面板在纵深方向上向远处推移,并且可以逐渐变模糊,子面板出现在最顶层,使得子面板的面积大于父面板,父面板可以处于部分被遮挡的状态。退出该子面板后,父面板再向景深的正向推移,还原对父面板的展示。
订单页面中还可以包括用于确定数据对象数量的操作控件,也就是说,用于对目标数据对象数量进行增加/减少操作的第四操作控件,如图6-6所示,当所述视线焦点位置进入所述第四操作控件,且停留的时间达到预置时间阈值时,将所述目标数据对象的数量在原值基础上执行加一/减一操作。在实际应用中,可能具有购买多件的需求,此时,用户需要对这种第四操作控件连续操作多次,如果不做特殊处理,则用户需要先将视线焦点对准该第四操作控件,停留3S后,数据对象数量加1,然后将视线焦点从该控件移开,然后再进入该控件,以此类推,需要重复执行多次,显然,这会占用较多的时间,并且也会使用户觉得不够方便。
为此,在本申请实施例中,还可以进行以下特殊处理:如果所述视线焦点位置进入所述第四操作控件,且停留的时间达到预置时间阈值后仍未离开,则继续对所述目标数据对象的数量执行加一/减一操作,且继续执行加一/减一操作时,执行的时间间隔小于所述预置时间阈值。也就是说,用户视线聚焦在这种第四操作控件(例如,执行“增加”操作的控件)上时,触发第一次熔断过程,经历预置的时间阈值之后,将数据对象数量在原来的基础上加1,之后,如果视线未离开,则触发第二次熔断,每次熔断后,数据对象数量都在原来基础上再加1,并且,后续每次熔断过程经历的时间可以有所缩短,例如,第一次为3S,第二次可以为2S,第三次可以为1S,以此类推。当然,还可以对最短的熔断时间进行限制,例如,最短不能短于1S,则意味着第四次以及后续各次熔断过程都可以是经历1S的时间。
另外,订单页面中还可能包括用于执行二选一操作的第五操作控件,例如,用户账户中可能存在一些可用的“优惠券”等虚拟资源,通常,用户可以选择在当前订单中使用或者不使用这种优惠券,此时,就需要用户执行一次二选一的选择。在现有技术中,通常可以提供“滑块”式的选择方式,用户可以通过鼠标或者在触摸屏上拖动滑块的方式来在两个选项之间做出选择。但是,在虚拟空间环境下,由于不能将滑块的游程设置的过长(否则会对其他信息造成遮挡),因此,很难通过视线焦点的连续变化来模拟滑块被拖动的过程。为此,在本申请实施例中,也提供了相应的解决方案。具体的,可以这种用于进行二选一的第五操作控件可以包括第一交互区域范围以及第二交互区域范围,分别对应两种可选的选项,且第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,在默认状态下,第一交互区域范围为选中状态。也就是说,从视觉上看上去,该第五操作控件类似于横向放置的“沙漏”,如图6-7所示,在初始状态下,其中一侧为选中状态,在所述视线焦点位置进入所述第二交互区域范围内时,如图6-8所示,可以提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,所述第二交互区域范围完全变为选中状态。通过这种方式,可以使得第五操作控件与指示物完美结合,既可以直观标识被选中的选项,又可以用动画的方式表征触发该操作还需要多长时间,从而提升用户体验。
在完成订单页面中各项信息的确认操作后,就可以提交订单,进入到后续的付款等操作流程。关于付款流程,这里不再详述。
需要说明的是,在用户在店铺对象内部空间环境中进行浏览的过程中,还可以在该空间环境中“移动”,也即,可以呈现出在店铺中行走的效果。为了达到该目的,可以在店铺对象内部空间环境中进行移动的第六操作控件,当所述视线焦点位置进入所述第六操作控件的交互区域范围内时,可以按照预置的行进轨道更新店铺对象内部空间环境中展示的可交互数据对象。具体的,如果内部空间环境是通过录制视频的方式实现的,则用户的向前移动操作,可触发视频的向前播放,以此实现用户按照既定的视频拍摄路线“行走”。其中,这种第六操作控件可以成对出现,方向相反,分别用于在所述店铺对象内部空间环境中正向或者反向移动,当视线从这种第六操作控件上离开时,可以暂停视频的播放,使得虚拟空间环境中展示出静态的画面,此时,用户就可以对画面中出现的可交互数据对象进行视线聚焦,执行查看详情等操作。
为了使得用户在正常视野范围内只能看到一个第六操作控件,视域范围转换到可以反向移动的场景时,看到另一个,可以对第六操作控件的显示位置进行设定。具体的,由于三维立体空间通常为球形环境,因此,可以将第六操作控件显示在所述球形环境的南半球,与赤道面形成第一预置角度(例如,25度)的位置,如图7所示。
另外需要说明的是,在用户进入到某目标店铺对象的内部空间环境中之后,在各种状态下都可能会具有返回主界面等需求,因此,可以为用户提供相应的功能。但是,在虚拟现实空间环境下,应尽可能保持视野开阔,减少用户界面干扰,否则可能会造成用户无法完全沉浸在虚拟环境中,因此,一般常规的应用或网站的菜单或导航方式在虚拟空间环境中并不适用。为此,在本申请实施例中,还可以提供以下特殊的处理方式:参见图8,当视线焦点位置进入球形环境的南半球,与赤道面的夹角超过第二预置角度(例如,45度等)时,提供主菜单,并且可以在主菜单中提供多种功能选项,包括返回主界面,等等。也就是说,由于虚拟现实空间环境实际上是个球面,利用率最高的是赤道附近的画面,南北纬度30度左右的范围为最容易被用户看到的区域。基于该特点,本申请实施例设定了上述方式,也即,当视线处在南半球,且与赤道所成夹角超过45度时,在南半球45度位置出现主菜单。如果视线继续下移,则菜单纬度不变;视线反向移动,与赤道夹角少于45°时,菜单消失。由于南半球与赤道面的角度大于45度时,用户的视线基本会落在“地面”上,因此,可以将这种菜单称为“地面菜单”。通过这种方式,可以在保证视野开阔的前提下,快速唤起主菜单,因此,可以进一步提高用户的体验,增强用户的沉浸感。
总之,通过本申请实施例,可以提供虚拟现实店铺对象内部空间环境,这样,用户可以获得置身于三维空间环境中的体验,并且,具体的交互流程可以通过“视线熔断机制”来实现,对于用户而言,只需要通过转动头部即可实现交互,无需借助于外接的手柄等输入设备,因此,可以使得虚拟现实空间环境更接近于线下实体店铺,提升用户体验。
另外,在交互过程中,还针对多种问题提供了一系列的解决方案,可以使得交互流程更为顺畅。
实施例二
该实施例二是与实施例一相对应的,从服务器的角度,对本申请实施例提供的具体方案进行介绍。
具体的,参见图9,该实施例二提供了一种虚拟现实空间环境中的数据对象交互方法,该方法可以包括以下步骤:
S901:服务器保存虚拟现实店铺对象内部空间环境数据,所述店铺对象内部空间环境数据中包括至少一个可交互数据对象,所述可交互数据对象对应有交互区域范围,并关联有预置的信息内容;
具体实现时,服务器可以采集实体店铺中的相关视频数据等,并进行标注等处理操作,生成虚拟现实店铺对象内部空间环境数据,并进行保存。
S902:将所述虚拟现实店铺对象内部空间环境数据提供给客户端,以便所述客户端提供虚拟现实店铺对象内部空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入目标数据对象的交互区域范围内,且停留的时间达到预置时间阈值时,提供与该目标数据对象关联的信息内容。
服务器可以将生成的虚拟现实店铺对象内部空间环境数据直接提供给客户端,或者,也可以在接收到客户端的请求时,再将相关的数据提供给客户端,客户端在获得相应的数据后,便可以提供虚拟现实空间环境,并基于该环境实现与用户之间的交互,可以实现完整的购物流程。
关于该实施例二中其他的具体实现可以参见前述实施例一中的介绍,这里不再赘述。
实施例三
前述实施例一以及实施例二主要结合“线上购物”这一应用场景,对虚拟现实空间环境中对数据对象进行详情查看、购买等流程,对本申请实施例进行了详细介绍。而在上述交互过程中,一些具体的解决方式实际上也能够应用于虚拟现实空间环境的其他应用场景,例如,可以包括游戏等。
其中,对于现有的虚拟现实技术,为了实现用户与系统之间的交互,通常需要借助于一些输入设备,例如,可以包括按键式的手柄,通过这种手柄,用户与系统的互动类似于通过鼠标操作普通的平面式页面,但是,这会造成用户的沉浸感不强等情况。另一种方式,可以在虚拟现实设备中安装能够发射某种射线的仪器,通过这种射线来代表用户视线,进而确定用户意图。但是,这种额外的仪器显然会产生增加成本等问题。另外,还有的现有技术可以通过眼动仪等设备,来跟踪用户的眼球运动,以此来获得用户的视线焦点,并进行交互操作的触发。这显然也会造成设备成本的提高。
而本申请实施例中提供了的基于“视线熔断机制”的交互方式,由于可以不需要依赖手柄、射线发射仪器、眼动仪等其他的外接设备,因此,可以解决现有技术中存在的上述问题。
具体的,本申请实施例三还提供了一种虚拟现实空间环境中的交互方法,参见图10,该方法可以包括以下步骤:
S1001:客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;
S1002:确定用户视线焦点位置;
S1003:如果所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值,则提供与该目标可交互对象关联的响应内容。
也就是说,在该实施例三中,针对虚拟现实空间环境的各种应用场景,都可以采用“视线熔断机制”来实现用户与系统之间的交互。
其中,为了确定用户视线焦点,在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,其中,所述操作层用于标记所述交互区域范围信息,且操作层与环境层相对静止;所述屏幕层的预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动。具体在确定用户视线焦点时,可以确定所述瞄准点的相对于所述操作层发生的位移,然后根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。通过这种实现方式,还可以在环境层提供跟随式任务引导信息,直到任务完成,这样可以避免用户在虚拟现实空间环境中迷失,知道自己需要如何操作。
其中,根据具体的应用场景,可交互对象可以有多种具体的形式。例如,在在线购物的场景中,该可交互对象可以包括可选择的店铺对象,此时,如果所述视线焦点位置进入到目标店铺对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标店铺对象内部空间环境,所述目标店铺对象内部空间环境中包括至少一个可交互数据对象。
或者,所述可交互对象包括可选择的数据对象,此时,如果所述视线焦点位置进入到目标数据对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标数据对象的详情信息。
另外,所述可交互对象包括用于执行预置类型操作的操作控件,此时,如果所述视线焦点位置进入到目标操作控件的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标操作控件关联的响应信息。
其中,所述操作控件包括用于执行主流程操作的操作控件,该操作控件可以在景深方向上排布的多层结构,当所述用户视线焦点进入到该操作控件所在的区域范围时,所述多层结构在景深方向上向靠近视觉起点的方向移动,以便该操作控件在视觉效果上被放大。
或者,所述操作控件包括存在连续多次重复操作需求的操作控件,例如,用于增加或减少数据对象数量的控件,等等。此时,如果所述视线焦点位置进入该操作控件,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息,且继续响应时,每次响应的时间间隔小于所述预置时间阈值。
操作控件也可以包括:用于执行二选一操作的操作控件,在本申请实施例中,该操作控件可以包括第一交互区域范围以及第二交互区域范围,且第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,在默认状态下,第一交互区域范围为选中状态。这样,当所述视线焦点位置进入所述第二交互区域范围内时,可以提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,所述第二交互区域范围完全变为选中状态。
再者,所述操作控件还可以包括:用于在所述虚拟现实空间环境中进行移动的操作控件;此时,当所述视线焦点位置进入该操作控件的交互区域范围内时,可以按照预置的行进轨道更新所述虚拟现实空间环境中展示的可交互对象。
其中,所述用于在所述虚拟现实空间环境中进行移动的操作控件可以包括方向相反的两个操作控件,分别用于在所述虚拟现实空间环境中正向或者反向移动,其中,在用户视域范围内仅显示其中一个操作控件,当检测到转身操作时,显示另一个操作控件。
为了达到上述目的,在所述虚拟现实空间环境为球形环境的情况下,所述用于在所述虚拟现实空间环境中进行移动的操作控件可以显示在所述球形环境南半球,与赤道面形成第一预置角度的位置。
另外,当视线焦点位置进入球形环境的南半球,与赤道面形成大于第二预置角度的位置,且停留的时间达到预置时间阈值时,可以唤起预置的功能菜单,这样,可以在避免对视域范围造成遮挡的前提下,快速唤起某项功能。
实施例四
该实施例四是与实施例三相对应的,从服务器角度进行介绍。
具体的,参见图11,该实施例四提供了一种虚拟现实空间环境中的交互方法,该方法可以包括以下步骤:
S1101:服务器保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
S1102:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
该实施例四是与实施例三相对应的,因此,相关的具体实现可以参见实施例三中的介绍,这里不再赘述。
前述实施例中提到的交互处理流程中,涉及到一些具体的处理细节,相对于现有技术中都具有明显的改进点,而这些改进点在其他的虚拟现实空间环境中也可以使用。也就是说,即使不是在虚拟店铺中的数据对象交互过程,或者不是采用“视线熔断”机制来识别用户意图,也可以使用上述改进点来实现与用户之间的交互。下面分别进行具体的介绍。
实施例五
首先,在该实施例五中,提供了一种虚拟现实空间环境中的视线焦点确定方法,参见图12,该方法可以包括以下步骤:
S1201:提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
S1202:在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
S1203:根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
S1204:根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
也就是说,在确定了视线焦点位置后,可以根据该视线焦点位置来确定用户的意图,包括确定用户需要关注的可交互对象等,进而可以通过视线熔断等机制,来触发对应响应内容的提供,等等。例如,前述实施例一中所述的,当用户视线焦点进入到虚拟现实空间环境中的目标数据对象所在的交互区域范围,并且停留一定的时间阈值之后,可以提供该目标数据对象的详情信息,等等。
在具体实现时,还可以在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
实施例六
该实施例六是与实施例五相对应的,从服务器角度提供的一种虚拟现实空间环境中的视线焦点确定方法,参见图13,该方法可以包括:
S1301:服务器包括虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
S1302:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
实施例七
在该实施例七中,对前述实施例中关于“地面菜单”这一改进点进行介绍。也就是说,当本申请实施例的应用场景扩展到其他各种具体的虚拟显示空间环境中,并且不一定采用本申请实施例中所述的确定用户视线焦点的方法,也可以使用这一改进点,达到在不会对空间环境内的主体内容造成干扰,保持视野开阔的前提下,实现预置功能菜单的快速唤起。
具体的,参见图14,该实施例七提供了一种虚拟现实空间环境中的功能菜单唤起方法,该方法可以包括以下步骤:
S1401:客户端提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
S1402:在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
S1403:当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
其中,具体实现时,在唤起预置的功能菜单时,可以在所述球形环境的南半球且与赤道面的夹角为所述预置角度(例如,45度等)的位置提供所述功能菜单,这样可以实现用户向虚拟现实空间站的“地面”角度看的效果,由于该“地面”区域通常不会用户展示主要的可交互对象,因此,当用户视线焦点进入该区域时,可以认为用户需要唤起预置的功能菜单。这样,在正常交互状态下,可以不必展示该功能菜单,也不必展示用于唤起该功能菜单的操作控件等任何可视对象,只需要通过识别用户视线方向,即可快速唤起预置的功能菜单,因此,可以在不会对空间环境内的主体内容造成干扰,保持视野开阔的前提下,实现预置功能菜单的快速唤起。
具体实现时,在唤起预置的功能菜单之后,还可以继续对用户视线焦点进行跟踪,如果用户视线焦点位置进入所述功能菜单所在的区域范围内,且继续向南移动,则说明用户可能需要通过该功能菜单执行进一步的操作,因此,可以保持所述功能菜单的位置不变。进而,如果采用“视线熔断”机制,则可以在所述用户视线焦点在所述功能菜单区域所在的范围内停留时间达到预置阈值时,执行对应的功能,例如,返回主界面等等。另外,在所述唤起预置的功能菜单之后,如果用户视线焦点位置向北移动,则可以将所述功能菜单移出到用户视域范围之外,也即,功能菜单消失,用户可以继续与虚拟现实空间环境中的可交互对象进行交互。
实施例八
该实施例八是与实施例七相对应的,从服务器的角度提供了一种虚拟现实空间环境中的功能菜单唤起方法,具体的,参见图15,该方法可以包括以下步骤:
S1501:服务器提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
S1502:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
实施例九
在该实施例九中,主要针对存在“二选一操作控件”的情况提供的改进点进行介绍,在该实施例九中,同样可以不必限定具体的应用场景,以及如何确定视线焦点,都可以在任何场景下存在使用“二选一操作控件”时,通过本申请实施例提供的方式来实现。
具体的,参见图16,该实施例九提供了一种虚拟现实空间环境中的操作控件处理方法,该方法可以包括以下步骤:
S1601:客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
S1602:在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
S1603:当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
具体实现时,所述第一交互区域范围与第二交互区域范围之间可以具有视觉上的连通性,则为了使得用户直观的感觉到“熔断”所需经历的时间,可以在所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,将所述第二交互区域范围的进度状态完全变为选中状态。
实施例十
该实施例十是与实施例九相对应的,从服务器的角度提供了一种虚拟现实空间环境中的操作控件处理方法,参见图17,该方法可以包括以下步骤:
S1701:服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
S1702:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
实施例十一
该实施例十一针对“存在连续多次重复操作需求的操作控件”的改进点进行介绍,也即,在各种应用场景下,无论采用何种确定用户视线焦点位置的方法,都可以通过本申请实施例十一提供的方式进行处理,以此可以在节省时间成本以及用户操作路径的情况下,快速实现某种连续性质的操作,例如,设置数据对象数目等。
具体的,参见图18,该实施例提供了一种虚拟现实空间环境中的操作控件处理方法,包括:
S1801:客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
S1802:在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
S1803:如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
具体实现时,在执行所述继续响应的操作时,每次响应的时间间隔小于所述预置时间阈值。
实施例十二
该实施例十二是与实施例十一相对应的,从服务器的角度提供了一种虚拟现实空间环境中的操作控件处理方法,参见图19,该方法可以包括:
S1901:服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
S1902:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
实施例十三
在该实施例十三中,针对虚拟现实空间环境中的存在的一些操作控件,可以通过“多层UI”的方式来实现,并在捕捉到用户视线焦点后,可以进行多层UI的移动,同样,该改进点可以应用于多种应用场景中,也即,只要虚拟现实空间环境中保存一些操作控件,通常是主流程控件,都可以采用本申请实施例提供的方式来实现。
具体的,本申请实施例提供了一种虚拟现实空间环境中的操作控件处理方法,具体的,参见图20,该方法可以包括以下步骤:
S2001:客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
S2002:在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
S2003:如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
其中,所述多层UI结构移动时,最顶层UI移动的位移最大,其余各层UI的位移逐级减小。
实施例十四
该实施例十四是与实施例十三相对应的,从服务器角度进行的介绍,具体的,参见图21,该实施例十四提供了一种虚拟现实空间环境中的操作控件处理方法,包括:
S2101:服务器提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
S2102:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
实施例十五
在该实施例十五中,由于虚拟现实空间环境中可能存在一些可交互对象的操作区域范围信息,例如,对于可交互对象的标记点等,通常是一些面积比较小的“圆点”等图案来进行标识,在用户与系统进行互动的过程中,可以通过将视线焦点放在该“圆点”的区域范围内,来触发对对应可交互对象的操作。但是,为了避免对具体的可交互对象造成遮挡,保持视野范围内视线的开阔,这种“圆点”的面积通常会比较小,使得用户操作过程中,必须将视线焦点指向某个较小的区域范围内,在需要采用视线熔断等机制的情况下,需要用户将视线焦点停留在该区域范围内一段时间,这对于用户而言可能会造成视觉疲劳,也会使得用户不确定其视线焦点是否已经被系统捕获到,另外,对于系统而言,也容易造成系统判断失误。为此,在本申请实施例中,可以为同一可交互对象设定两种操作区域范围,在初始状态下,可以在虚拟现实空间环境中提供面积较小的第一区域范围信息,在发现用户视线焦点进入该第一区域范围内时,可以提供出面积较大的第二区域范围信息,这样,可以解决上述问题。下面对具体的实现方式进行介绍。
参见图22,该实施例十五提供了一种虚拟现实空间环境中的操作区域处理方法,该方法可以包括:
S2201:客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
S2202:在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
S2203:如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
具体实现时,所述第一区域范围以及所述第二去与范围均为圆形区域,具体在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围时,可以是在所述虚拟现实空间环境中,与所述第一区域范围的圆心所在位置为圆心,提供所述目标可交互对象对应的第二区域范围,以便提供出所述第一区域范围被放大的显示效果。
另外,还可以在所述第二区域范围内提供进度状态变化动画,直到用户视线焦点在所述第二区域范围内的停留时间达到预置时间阈值时,所述进度状态变化为完成状态。
实施例十六
该实施例十六是与实施例十五相对应的,从服务器的角度,提供了一种虚拟现实空间环境中的操作区域处理方法,参见图23,该实施例十六具体可以包括:
S2301:服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
S2302:将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
需要说明的是,关于实施例五至实施例十六,具体的实现以及相关的技术效果等,可以参见前述实施例一中的记载,这里不再赘述。
实施例十七
前述各实施例均是基于虚拟现实技术提供了各种具体的解决方案,而在具体实现时,还可以基于增强现实技术来实现。其中,关于虚拟现实与增强现实技术之间的区别,可以简单的理解为:虚拟现实环境中,“环境层”显示的内容是通过模拟或者预先对实体空间拍摄视频等方式提供的虚拟环境,“操作层”的信息,包括对可交互对象操作范围的标注、对交互响应信息的展示等,是基于这种虚拟的环境层中展示的内容来实现的;而增强现实环境中,“环境层”显示的内容是实体空间中实际的内容,“操作层”中的信息,包括对货品操作区域范围的标注信息等,可以是基于预先建立的三维空间模型进行标注,在实际显示时,首先将实体空间与三维空间模型进行空间匹配,然后再通过AR设备的计算机视觉能力进行定位,将三维空间模型中保存的标注信息等,展示在AR设备的视域范围内,用户实际透过AR设备看到的内容包括实体空间内的环境,以及叠加在该环境之上的“增强”的信息。
因此,在本申请实施例中,如果是基于增强现实技术来提供相应的技术方案,则可以预先针对线下的实体店铺进行创建三维空间模型,然后,基于该三维空间模型实现与用户的信息交互。
其中,为了建立三维空间模型,具体的实现方式可以有多种,例如,在其中一种方式下,可以由工作人员佩戴AR眼镜等AR设备进入到实体的店铺内部空间中,并在店铺内行走。由于AR设备带有摄像头等传感设备,因此,可以在行走的过程中,利用这种传感设备对店铺及其内部布局进行扫描。在得到扫描结果后,可以导入到开发环境中。这种开发环境通常可以支持对扫描结果进行标注,因此,可以由工作人员对扫描结果进行标注。例如,如果店铺中包括多个货架,每个货架上用于放置具体的存放对象(例如,“货品”等),则可以对货架的编号、货品对应的数据对象标识(例如商品ID等)信息等进行标注。标注完成之后,系统可以保存各个货架的编号、对应的货品信息等信息,同时,关于各个货架、货品的位置坐标等信息,系统可以自动生成并保存,以此生成该店铺对应的三维空间模型。另外,关于具体在与用户进行交互的过程中,需要提供出的数据对象详情等信息,可以预先建立数据对象详情信息数据库,在进行标注时,也可以根据具体货品对应的数据对象在该数据库中的ID等标识进行标注,这样,就可以将增强现实空间中的货品与数据库中保存的数据对象的详情信息之间建立起关联。
具体实现时,为了实现本申请实施例中提供的交互功能,在软件层面上,可以预先实现相关的客户端(包括应用程序,或者相关的功能模块等)。客户端可以通过多种形式与AR设备进行配合使用。具体的,对于一体式的AR设备(也即,由AR设备独立承担屏显、计算、存储等任务)而言,可以直接将该客户端安装在AR设备中,使得AR设备具有本申请实施例中的交互功能。或者,对于移动式AR设备而言,由于移动式的AR设备通常仅承担屏显任务,在使用时,通常需要将手机等移动终端设备与该AR设备连接,因此,在这种情况下,也可以将客户端安装在手机等移动终端设备中,这样,安装了该客户端的移动终端设备被放置在AR设备中后,就可以使得AR设备具有本申请实施例中所述的交互功能。另外,三维空间模型生成后,可以直接保存到客户端所在的终端设备中,或者,也可以存储到服务器中,客户端在需要进行交互时,再从服务器中进行下载当前店铺对应的三维空间模型。总之,客户端无论是直接将客户端安装在AR设备中,还是安装在移动终端设备中,都可以使得AR设备基于这种客户端,结合前述生成的三维空间模型,实现具体的交互。
具体的,参见图24,该实施例十七提供了一种增强现实环境中的数据对象交互方法,该方法可以包括以下步骤:
S2401:客户端获得实体店铺内部空间环境的三维空间模型;所述实体店铺内部包括多件货品;
S2402:在通过预置的增强现实AR设备将所述三维空间模型与所述实体店铺进行空间匹配后,在所述AR设备的用户视域范围内提供所述货品对应的交互区域范围信息;
在消费者等用户需要到实体店铺中进行购物时,可以佩戴相关的AR设备(包括一体式的AR设备,或者连接了移动终端设备的移动式AR设备),进入到实体店铺内,之后,可以启动相关的客户端。客户端被启动后,可以首先进行初始化处理,具体可以包括,将所述三维空间模型与所述实体店铺进行空间匹配。所谓的空间匹配,也就是说,可以将三维空间模型与实际的实体店铺进行匹配,使得三维空间中的位置与实体店铺中的位置、方向等相对应,这样才能够使得“增强”的信息准确的显示在视域范围内对应货品所在的位置。
具体进行空间匹配的方法可以有多种,例如,在一种方式下,可以是预先在三维空间模型中保存一些特征点,例如,空间内的四个墙角位置等等,消费者用户佩戴AR眼镜等AR设备进入到实体店铺后,首先启动应用程序,之后,可以在佩戴着AR眼镜的状态下在存放空间环顾一周,AR眼镜的传感器设备可以对存放空间进行扫描,之后,便可以利用特征点以及扫描结果,将特征点与存放空间中实际位置的点进行匹配,以便确定出三维空间模型的位置、方向等,从而完成空间匹配,最终使得三维空间模型中各个点的位置,与对应到实体店铺中的实际位置、方向一致。当然,在具体实现时,还可以通过其他方式实现空间匹配,例如,可以实现自动的匹配,等等,这里不再一一详述。
在完成空间匹配后,就可以在所述AR设备的用户视域范围内提供所述货品对应的交互区域信息,例如,可以通过在视域范围内增加“操作层”等方式,在视域范围内展示出货品的可操作区域,例如,在每个货品所在的位置显示一“蓝色圆点”,等等。
S2403:确定用户视线焦点;
S2404:当所述视线焦点位置进入目标货品的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标数据对象的交互响应信息。
在提供出货品对应的交互区域信息后,后续的具体的交互过程中,关于用户视线焦点的确定,各种交互响应信息的提供,以及各类型操作控件的提供及其交互方式相对于现有技术的改进,功能菜单的唤起方式,等等,均可以与虚拟现实空间中的实现方式类似,这里不再赘述。
实施例十八
该实施例十八是与实施例十七相对应的,从服务器角度进行的介绍,具体的,参见图25,该实施例提供了一种增强现实环境中的数据对象交互方法,该方法可以包括:
S2501:服务器保存实体店铺内部空间环境的三维空间模型,所述实体店铺内部包括多件货品,各自对应的交互区域范围信息,以及与各交互区域范围关联的数据对象的交互响应信息;
S2502:将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体店铺进行空间匹配后,在所述AR设备的用户视域范围内提供所述货品对应的交互区域,并确定用户视线焦点,当所述视线焦点位置进入目标货品的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标数据对象的交互响应信息。
实施例十九
该实施例十九也是基于增强现实AR技术提供了一种增强现实环境中的交互方法,只不过该方法不再局限于实体店铺内的货品交互,而是可以实现任意存放空间内,与存放对象的之间的信息交互。
具体的,参见图26,该实施例十九提供了一种增强现实环境中的交互方法,该方法可以包括:
S2601:客户端获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
S2602:在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;
S2603:确定用户视线焦点;
S2604:当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
实施例二十
该实施例二十是与实施例十九相对应的,从服务器的角度提供了一种增强现实环境中的交互方法,参见图27,该方法可以包括以下步骤:
S2701:服务器保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
S2702:将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
关于上述实施例十七至实施例二十,具体的信息交互过程中涉及到的实现细节,包括相对于现有技术中的改进点等等,均可以参见前述各个实施例中的记载,这里不再赘述。
与实施例一相对应,本申请实施例还提供了一种虚拟现实空间环境中的数据对象交互装置,参见图28,该装置应用于客户端,包括:
第一虚拟现实环境提供单元2801,用于提供虚拟现实店铺对象内部空间环境,所述店铺对象内部空间环境中包括至少一个可交互数据对象;
第一视线焦点确定单元2802,用于确定用户视线焦点位置;
第一内容提供单元2803,用于当所述视线焦点位置进入目标数据对象的交互区域范围内,且停留的时间达到预置时间阈值时,提供与该目标数据对象关联的信息内容。
具体实现时,所述第一虚拟现实环境提供单元2801还用于:
在所述提供虚拟现实店铺对象内部空间环境之前,提供用于选择店铺对象的空间环境;
所述第一内容提供单元2803还用于:
当所述视线焦点位置进入目标店铺对象的交互区域范围内,且停留的时间达到预置时间阈值,则将该目标店铺对象确定为选定的店铺对象。
其中,所述用于选择店铺对象的空间环境中,所述店铺对象的交互区域范围内展示有关于对应店铺对象的动态图片。
该装置还可以包括:
动画提供单元,用于当所述视线焦点位置进入目标店铺对象的交互区域范围内时,开始在所述交互区域范围内播放预置的进度状态变化动画,直到达到所述预置时间阈值时,所述进度状态变化为完成状态。
其中,所述店铺对象对应有线下实体店铺,在确定出所述选定的店铺对象之后,所述装置还包括:
视频提供单元,用于将所述用于选择店铺对象的空间环境切换为与所述选定的店铺对象关联的过场视频,所述过场视频用于展示去往该选定的店铺对象对应的线下实体店铺途中所能观看到的景物。
其中,所述店铺对象内部空间环境中显示有可交互数据对象对应有标记点,所述第一内容提供单元具体可以用于:
当所述视线焦点位置对准目标数据对象的标记点,且停留的时间达到预置时间阈值时,提供与该目标数据对象关联的信息内容。
具体实现时,该装置还可以包括:
标记点放大处理单元,用于当所述视线焦点位置对准目标数据对象的标记点时,将所述标记点放大,并在放大后的标记点所在的区域范围内提供进度状态变化动画,直到达到所述预置时间阈值时,所述进度状态变化为完成状态。
具体实现时,所述第一内容提供单元具体可以用于:
提供所述目标数据对象的详情信息。
其中,所述目标数据对象的详情信息包括所述目标数据对象的立体图像信息,以及文字性质的描述信息。
具体的,第一内容提供单元具体可以用于:
以所述立体图像信息为中心,所述文字性质的描述信息显示在所述立体图像的周围。
另外,该装置还可以包括:
第一操作控件提供单元,用于提供用于对所述立体图像进行旋转的第一操作控件;
旋转操作单元,用于当用户视线焦点进入到所述第一操作控件所在的区域范围时,将所述立体图像进行旋转操作。
其中,所述第一操作控件包括用于向不同方向旋转的多个操作控件。
其中,所述立体图像根据对对应的实体对象进行实拍得到的照片生成。
另外,所述第一内容提供单元具体可以用于:
提供第一信息面板,并在所述第一信息面板中提供所述目标数据对象的详情信息。
此时,该装置还可以包括:
面板关闭单元,用于当用户视线焦点位置从所述信息面板移开时,将所述信息面板关闭。
另外,该装置还可以包括:
第二操作控件提供单元,用于提供用于对所述目标数据对象执行购买操作的第二操作控件;
订单内容提供单元,用于当用户视线焦点进入到所述第二操作控件所在的区域范围内,且停留的时间达到预置时间阈值时,提供与订单确认相关的信息内容。
其中,所述第二操作控件为在景深方向上排布的多层用户界面UI结构,当所述用户视线焦点进入到所述第二操作控件所在的区域范围时,所述多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述第二操作控件在视觉效果上被放大。
在所述多层UI结构移动时,最顶层UI移动的位移最大,其余各层UI的位移逐级减小。
其中,订单内容提供单元具体可以用于:
提供第二信息面板,并在所述第二信息面板中提供与订单确认相关的信息内容。
其中,所述订单确认相关的信息内容包括:用于对订单相关信息进行修改的第三操作控件;
所述装置还包括:
第三面板提供单元,用于当用户视线焦点进入到所述第三操作控件所在的区域范围内,且停留的时间达到预置时间阈值时,提供第三信息面板,并在所述第三信息面板中提供用于修改所述订单相关信息的内容。
另外,该装置还包括:
面板移动单元,用于在提供所述第三信息面板时,在将所述第二信息面板在景深方向上远离视觉起点的方向移动,并将所述第三信息面板显示在最顶层;
还原单元,用于在完成信息修改或者所述第三信息面板被关闭后,还原所述第二信息面板的显示状态。
其中,所述与订单确认相关的信息内容包括:用于对目标数据对象数量进行增加/减少操作的第四操作控件,所述装置还包括:
加减操作单元,用于当所述视线焦点位置进入所述第四操作控件,且停留的时间达到预置时间阈值时,将所述目标数据对象的数量在原值基础上执行加一/减一操作。
其中,该装置还包括:
连续加减操作单元,用于如果所述视线焦点位置进入所述第四操作控件,且停留的时间达到预置时间阈值后仍未离开,则继续对所述目标数据对象的数量执行加一/减一操作,且继续执行加一/减一操作时,执行的时间间隔小于所述预置时间阈值。
其中,所述与订单确认相关的信息内容包括:用于执行二选一操作的第五操作控件,所述第五操作控件包括第一交互区域范围以及第二交互区域范围,且第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,在默认状态下,第一交互区域范围为选中状态;
所述装置还包括:
动画提供单元,用于当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,所述第二交互区域范围完全变为选中状态。
另外,该装置还可以包括:
第六操作控件提供单元,用于提供用于在所述店铺对象内部空间环境中进行移动的第六操作控件;
更新单元,用于当所述视线焦点位置进入所述第六操作控件的交互区域范围内时,按照预置的行进轨道更新店铺对象内部空间环境中展示的可交互数据对象。
其中,所述第六操作控件包括方向相反的两个操作控件,分别用于在所述店铺对象内部空间环境中正向或者反向移动,在用户视域范围内仅显示其中一个操作控件,当视域范围转换到可以反向移动的场景时,显示另一个操作控件。
其中,所述店铺对象内部空间环境为球形环境,所述第六操作控件显示在所述球形环境的南半球,与赤道面形成第一预置角度的位置。
其中,所述店铺对象内部空间环境为球形环境,所述装置还包括:
主菜单提供单元,用于当视线焦点位置进入球形环境的南半球,与赤道面的夹角超过第二预置角度时,提供主菜单。
其中,所述店铺对象内部空间环境根据预先在对应的线下实体店铺中录制的视频生成。
其中,在提供虚拟现实店铺对象内部空间环境时,在环境层的上层提供操作层,所述操作层的上层提供屏幕层,所述操作层用于标记所述交互区域范围信息,且操作层与环境层相对静止;所述屏幕层的预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
所述第一视线焦点确定单元可以:
位移确定子单元,用于确定所述瞄准点的相对于所述操作层发生的位移;
位置确定子单元,用于根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
另外,该装置还可以包括:
引导信息提供单元,用于在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
与实施例二相对应,本申请实施例还提供了一种虚拟现实空间环境中的数据对象交互装置,参见图29,应用于服务器,包括:
第一虚拟现实环境数据保存单元2901,用于保存虚拟现实店铺对象内部空间环境数据,所述店铺对象内部空间环境数据中包括至少一个可交互数据对象,所述可交互数据对象对应有交互区域范围,并关联有预置的信息内容;
第一虚拟现实环境数据提供单元2902,用于将所述虚拟现实店铺对象内部空间环境数据提供给客户端,以便所述客户端提供虚拟现实店铺对象内部空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入目标数据对象的交互区域范围内,且停留的时间达到预置时间阈值时,提供与该目标数据对象关联的信息内容。
与实施例三相对应,本申请实施例还提供了一种增强现实环境中的数据对象交互装置,参见图30,应用于客户端,包括:
第一模型获得单元3001,用于获得实体店铺内部空间环境的三维空间模型;所述实体店铺内部包括多件货品;
第一交互区域信息提供单元3002,用于在通过预置的增强现实AR设备将所述三维空间模型与所述实体店铺进行空间匹配后,在所述AR设备的用户视域范围内提供所述货品对应的交互区域范围信息;
第一视线焦点确定单元3003,用于确定用户视线焦点;
第一交互响应提供单元3004,用于当所述视线焦点位置进入目标货品的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标数据对象的交互响应信息。
与实施例四相对应,本申请实施例还提供了一种增强现实环境中的交互装置,参见图31,应用于服务器,包括:
第一模型保存单元3101,用于保存实体店铺内部空间环境的三维空间模型,所述实体店铺内部包括多件货品,各自对应的交互区域范围信息,以及与各交互区域范围关联的数据对象的交互响应信息;
第一模型提供单元3102,用于将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体店铺进行空间匹配后,在所述AR设备的用户视域范围内提供所述货品对应的交互区域范围信息,并确定用户视线焦点,当所述视线焦点位置进入目标货品的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标数据对象的交互响应信息。
与实施例五相对应,本申请实施例还提供了一种虚拟现实空间环境中的交互装置,参见图32,应用于客户端,包括:
第二虚拟现实环境提供单元3201,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;
第二视线焦点确定单元3202,用于确定用户视线焦点位置;
第二内容提供单元3203,用于当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
其中,在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,其中,所述操作层用于标记所述交互区域范围信息,且操作层与环境层相对静止;所述屏幕层的预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
所述第二视线焦点确定单元,包括:
位移确定子单元,用于确定所述瞄准点的相对于所述操作层发生的位移;
位置确定子单元,用于根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
具体实现时,该装置还可以包括:
引导信息提供单元,用于在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
其中,所述可交互对象包括可选择的店铺对象,所述第二内容提供单元具体用于:
如果所述视线焦点位置进入到目标店铺对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标店铺对象内部空间环境,所述目标店铺对象内部空间环境中包括至少一个可交互数据对象。
或者,所述可交互对象包括可选择的数据对象,所述第二内容提供单元具体用于:
如果所述视线焦点位置进入到目标数据对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标数据对象的详情信息。
或者,所述可交互对象包括用于执行预置类型操作的操作控件,所述第二内容提供单元具体用于:
如果所述视线焦点位置进入到目标操作控件的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标操作控件关联的响应信息。
其中,所述操作控件包括用于执行主流程操作的操作控件,该操作控件在景深方向上排布的多层结构,当所述用户视线焦点进入到该操作控件所在的区域范围时,所述多层结构在景深方向上向靠近视觉起点的方向移动,以便该操作控件在视觉效果上被放大。
其中,所述操作控件包括存在连续多次重复操作需求的操作控件,所述装置还包括:
连续响应单元,用于如果所述视线焦点位置进入该操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息,且继续响应时,每次响应的时间间隔小于所述预置时间阈值。
所述操作控件包括:用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,且第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,在默认状态下,第一交互区域范围为选中状态;
所述第二内容提供单元具体用于:
当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,所述第二交互区域范围完全变为选中状态。
所述操作控件包括:用于在所述虚拟现实空间环境中进行移动的操作控件;
所述第二内容提供单元具体用于:
当所述视线焦点位置进入该操作控件的交互区域范围内时,按照预置的行进轨道更新所述虚拟现实空间环境中展示的可交互对象。
所述用于在所述虚拟现实空间环境中进行移动的操作控件包括方向相反的两个操作控件,分别用于在所述虚拟现实空间环境中正向或者反向移动,其中,在用户视域范围内仅显示其中一个操作控件,当检测到转身操作时,显示另一个操作控件。
具体实现时,所述虚拟现实空间环境为球形环境,所述用于在所述虚拟现实空间环境中进行移动的操作控件显示在所述球形环境南半球,与赤道面形成第一预置角度的位置。
在所述店铺对象内部空间环境为球形环境时,所述装置还包括:
菜单唤起单元,用于当视线焦点位置进入球形环境的南半球,与赤道面的夹角超过第二预置角度时,唤起预置的功能菜单。
与实施例六相对应,本申请实施例还提供了一种虚拟现实空间环境中的交互装置,参见图33,应用于服务器,包括:
第二虚拟现实环境数据保存单元3301,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
第二虚拟现实环境数据提供单元3302,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围,且停留的时间达到预置时间阈值时,提供与该目标可交互对象关联的响应内容。
与实施例七相对应,本申请实施例还提供了一种虚拟现实空间环境中的视线焦点确定装置,参见图34,应用于客户端,包括:
第三虚拟现实环境提供单元3401,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
位移确定单元3402,用于在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
第三视线焦点确定单元3403,用于根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
可交互对象确定单元3404,用于根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
其中,该装置还可以包括:
任务引导信息提供单元,用于在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
与实施例八相对应,本申请实施例还提供了一种虚拟现实空间环境中的视线焦点确定装置,参见图35,应用于服务器,包括:
第三虚拟现实环境数据保存单元3501,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第三虚拟现实环境数据提供单元3502,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
与实施例九相对应,本申请实施例还提供了一种虚拟现实空间环境中的功能菜单唤起装置,参见图36,应用于客户端,包括:
第四虚拟现实环境提供单元3601,用于提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四视线焦点确定单元3602,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
菜单唤起单元3603,用于当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
其中,菜单唤起单元3603具体用于:
在所述球形环境的南半球且与赤道面的夹角为所述预置角度的位置提供所述功能菜单。
所述唤起预置的功能菜单之后,还包括:
位置保持单元,用于如果用户视线焦点位置进入所述功能菜单所在的区域范围内,且继续向南移动,则保持所述功能菜单的位置不变。
执行单元,用于如果所述用户视线焦点在所述功能菜单区域所在的范围内停留时间达到预置阈值,则执行对应的功能。
菜单隐藏单元,用于如果用户视线焦点位置向北移动,则将所述功能菜单移出到用户视域范围之外。
与实施例十相对应,本申请实施例还提供了一种虚拟现实空间环境中的功能菜单唤起装置,参见图37,应用于服务器,包括:
第四虚拟现实环境数据保存单元3701,用于提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四虚拟现实环境数据提供单元3702,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
与实施例十一相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图38,应用于客户端,包括:
第五虚拟现实环境提供单元3801,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
第五视线焦点确定单元3802,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
选中状态确定单元3803,用于当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
其中,所述第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,所述装置还包括:
动画提供单元,用于当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,将所述第二交互区域范围的进度状态完全变为选中状态。
与实施例十二相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图39,应用于服务器,包括:
第五虚拟现实环境数据保存单元3901,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;
第五虚拟现实环境数据提供单元3902,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围内,并停留预置时间阈值时,将所述第二交互区域范围对应的选项确定为选中状态。
与实施例十三相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图40,应用于客户端,包括:
第六虚拟现实环境提供单元4001,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
第六视线焦点确定单元4002,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
连续响应单元4003,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
与实施例十四相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图41,应用于服务器,包括:
第六虚拟现实环境数据保存单元4101,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
第六虚拟现实环境数据提供单元4102,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息。
与实施例十五相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图42,应用于客户端,包括:
第七虚拟现实环境提供单元4201,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七视线焦点确定单元4202,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
UI移动单元4203,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
与实施例十六相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作控件处理装置,参见图43,应用于服务器,包括:
第七虚拟现实环境数据保存单元4301,用于提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七虚拟现实环境数据提供单元4302,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
与实施例十七相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作区域处理装置,参见图44,应用于客户端,包括:
第八虚拟现实环境提供单元4401,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八视线焦点确定单元4402,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
交互区域范围处理单元4403,用于如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
其中,所述多层UI结构移动时,最顶层UI移动的位移最大,其余各层UI的位移逐级减小。
与实施例十八相对应,本申请实施例还提供了一种虚拟现实空间环境中的操作区域处理装置,参见图45,应用于服务器,包括:
第八虚拟现实环境数据保存单元4501,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八虚拟现实环境数据提供单元4502,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
与实施例十九相对应,本申请实施例还提供了一种增强现实环境中的交互装置,参见图46,应用于客户端,包括:
第二模型获得单元4601,用于获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
第二交互区域信息提供单元4602,用于在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;
第九视线焦点确定单元4603,用于确定用户视线焦点;
第二交互响应提供单元4604,用于当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
与实施例二十相对应,本申请实施例还提供了一种增强现实环境中的交互装置,参见图47,应用于服务器,包括:
第二模型保存单元4701,用于保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
第二模型提供单元4702,用于将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内,且停留的时间达到预置时间阈值时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的虚拟现实空间环境中的数据对象交互方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (52)

1.一种虚拟现实空间环境中的交互方法,其特征在于,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
确定所述瞄准点的相对于所述操作层发生的位移;
根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
当所述视线焦点位置进入到目标可交互对象的交互区域范围时,提供与该目标可交互对象关联的响应内容。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
3.根据权利要求1所述的方法,其特征在于,所述可交互对象包括可选择的店铺对象,所述提供与该目标可交互对象关联的响应内容,包括:
如果所述视线焦点位置进入到目标店铺对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标店铺对象内部空间环境,所述目标店铺对象内部空间环境中包括至少一个可交互数据对象。
4.根据权利要求1所述的方法,其特征在于,所述可交互对象包括可选择的数据对象,所述提供与该目标可交互对象关联的响应内容,包括:
如果所述视线焦点位置进入到目标数据对象的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标数据对象的详情信息。
5.根据权利要求1所述的方法,其特征在于,所述可交互对象包括用于执行预置类型操作的操作控件,所述提供与该目标可交互对象关联的响应内容,包括:
如果所述视线焦点位置进入到目标操作控件的交互区域范围,且停留的时间达到预置时间阈值,则提供该目标操作控件关联的响应信息。
6.根据权利要求5所述的方法,其特征在于,所述操作控件包括用于执行主流程操作的操作控件,该操作控件在景深方向上排布的多层结构,当所述用户视线焦点进入到该操作控件所在的区域范围时,所述多层结构在景深方向上向靠近视觉起点的方向移动,以便该操作控件在视觉效果上被放大。
7.根据权利要求5所述的方法,其特征在于,所述操作控件包括存在连续多次重复操作需求的操作控件,所述方法还包括:
如果所述视线焦点位置进入该操作控件对应的操作区域,且停留的时间达到预置时间阈值后仍未离开,则继续对提供该操作控件关联的响应信息,且继续响应时,每次响应的时间间隔小于所述预置时间阈值。
8.根据权利要求5所述的方法,其特征在于,所述操作控件包括:用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,且第一交互区域范围与第二交互区域范围之间具有视觉上的连通性,在默认状态下,第一交互区域范围为选中状态;
所述提供该目标操作控件关联的响应信息包括:
当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画,并在达到预置时间阈值时,所述第二交互区域范围完全变为选中状态。
9.根据权利要求5所述的方法,其特征在于,所述操作控件包括:用于在所述虚拟现实空间环境中进行移动的操作控件;
所述提供该目标操作控件关联的响应信息包括:
当所述视线焦点位置进入该操作控件的交互区域范围内时,按照预置的行进轨道更新所述虚拟现实空间环境中展示的可交互对象。
10.根据权利要求9所述的方法,其特征在于,所述用于在所述虚拟现实空间环境中进行移动的操作控件包括方向相反的两个操作控件,分别用于在所述虚拟现实空间环境中正向或者反向移动,其中,在用户视域范围内仅显示其中一个操作控件,当检测到转身操作时,显示另一个操作控件。
11.根据权利要求10所述的方法,其特征在于,所述虚拟现实空间环境为球形环境,所述用于在所述虚拟现实空间环境中进行移动的操作控件显示在所述球形环境南半球,与赤道面形成第一预置角度的位置。
12.根据权利要求10所述的方法,其特征在于,所述空间环境为球形环境,所述方法还包括:
当视线焦点位置进入球形环境的南半球,与赤道面的夹角超过第二预置角度时,唤起预置的功能菜单。
13.一种虚拟现实空间环境中的交互方法,其特征在于,包括:
服务器保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围时,提供与该目标可交互对象关联的响应内容;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
14.一种虚拟现实空间环境中的视线焦点确定方法,其特征在于,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
15.根据权利要求14所述的方法,其特征在于,还包括:
在所述环境层提供跟随式任务引导信息,直到任务完成,所述任务引导信息与所述环境层相对静止。
16.一种虚拟现实空间环境中的视线焦点确定方法,其特征在于,包括:
服务器保存虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
17.一种虚拟现实空间环境中的功能菜单唤起方法,其特征在于,包括:
客户端提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
18.根据权利要求17所述的方法,其特征在于,所述唤起预置的功能菜单,包括:
在所述球形环境的南半球且与赤道面的夹角为所述预置角度的位置提供所述功能菜单。
19.根据权利要求18所述的方法,其特征在于,所述唤起预置的功能菜单之后,还包括:
如果用户视线焦点位置进入所述功能菜单所在的区域范围内,且继续向南移动,则保持所述功能菜单的位置不变。
20.根据权利要求19所述的方法,其特征在于,还包括:
如果所述用户视线焦点在所述功能菜单区域所在的范围内停留时间达到预置阈值,则执行对应的功能。
21.根据权利要求18所述的方法,其特征在于,所述唤起预置的功能菜单之后,还包括:
如果用户视线焦点位置向北移动,则将所述功能菜单移出到用户视域范围之外。
22.一种虚拟现实空间环境中的功能菜单唤起方法,其特征在于,包括:
服务器提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
23.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;所述第一交互区域范围与第二交互区域范围之间具有视觉上的连通性;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画。
24.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;所述第一交互区域范围与第二交互区域范围之间具有视觉上的连通性;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画。
25.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
在与所述可交互对象进行交互的过程中,确定所述瞄准点的相对于所述操作层发生的位移;
根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
如果所述视线焦点位置进入所述操作控件对应的操作区域,则继续对提供该操作控件关联的响应信息。
26.根据权利要求25所述的方法,其特征在于,在执行所述继续响应的操作时,每次响应的时间间隔小于预置时间阈值。
27.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则继续对提供该操作控件关联的响应信息;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
28.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
29.根据权利要求28所述的方法,其特征在于,所述多层UI结构移动时,最顶层UI移动的位移最大,其余各层UI的位移逐级减小。
30.一种虚拟现实空间环境中的操作控件处理方法,其特征在于,包括:
服务器提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
31.一种虚拟现实空间环境中的操作区域处理方法,其特征在于,包括:
客户端提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
32.根据权利要求31所述的方法,其特征在于,所述第一区域范围以及所述第二区域范围均为圆形区域,所述在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围,包括:
在所述虚拟现实空间环境中,与所述第一区域范围的圆心所在位置为圆心,提供所述目标可交互对象对应的第二区域范围,以便提供出所述第一区域范围被放大的显示效果。
33.根据权利要求32所述的方法,其特征在于,所述在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围时,还包括:
在所述第二区域范围内提供进度状态变化动画,直到用户视线焦点在所述第二区域范围内的停留时间达到预置时间阈值时,所述进度状态变化为完成状态。
34.一种虚拟现实空间环境中的操作区域处理方法,其特征在于,包括:
服务器保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
35.一种增强现实环境中的交互方法,其特征在于,包括:
客户端获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;在提供内部空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随AR设备屏幕的运动而运动;
确定所述瞄准点的相对于所述操作层发生的位移;
根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
当所述视线焦点位置进入目标存放对象的交互区域范围内时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
36.一种增强现实环境中的交互方法,其特征在于,包括:
服务器保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息;在提供内部空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随AR设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
37.一种虚拟现实空间环境中的交互装置,其特征在于,应用于客户端,包括:
第二虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括至少一个可交互对象;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第二视线焦点确定单元,用于确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
第二内容提供单元,用于当所述视线焦点位置进入到目标可交互对象的交互区域范围时,提供与该目标可交互对象关联的响应内容。
38.一种虚拟现实空间环境中的交互装置,其特征在于,应用于服务器,包括:
第二虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据中包括至少一个可交互对象,所述可交互对象对应有交互区域范围,并关联有预置的响应内容;
第二虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端提供虚拟现实空间环境,并确定用户视线焦点位置,当所述视线焦点位置进入到目标可交互对象的交互区域范围时,提供与该目标可交互对象关联的响应内容;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
39.一种虚拟现实空间环境中的视线焦点确定装置,其特征在于,应用于客户端,包括:
第三虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境中包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
位移确定单元,用于在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移;
第三视线焦点确定单元,用于根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
可交互对象确定单元,用于根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
40.一种虚拟现实空间环境中的视线焦点确定装置,其特征在于,应用于服务器,包括:
第三虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,所述虚拟现实空间环境数据包括环境层、操作层以及屏幕层,其中,所述环境层中包括至少一个可交互对象,所述操作层位于环境层的上层,且与环境层相对静止,用于对可交互对象的交互区域范围进行标记;所述屏幕层位于所述操作层的上层,并在预置位置设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第三虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在虚拟现实设备跟随用户头部运动时,确定所述瞄准点的相对于所述操作层发生的位移,根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置,根据所述用户视线焦点位置确定用户关注的可交互对象,以便提供关联的响应内容。
41.一种虚拟现实空间环境中的功能菜单唤起装置,其特征在于,应用于客户端,包括:
第四虚拟现实环境提供单元,用于提供虚拟现实空间环境,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
菜单唤起单元,用于当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
42.一种虚拟现实空间环境中的功能菜单唤起装置,其特征在于,应用于服务器,包括:
第四虚拟现实环境数据保存单元,用于提供虚拟现实空间环境数据,所述虚拟现实空间环境为球形环境,其中包括至少一个可交互对象;
第四虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当视线焦点位置进入球形环境的南半球,且与赤道面的夹角超过预置角度时,唤起预置的功能菜单。
43.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于客户端,包括:
第五虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;所述第一交互区域范围与第二交互区域范围之间具有视觉上的连通性;
第五视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
选中状态确定单元,用于当所述视线焦点位置进入所述第二交互区域范围内时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画。
44.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于服务器,包括:
第五虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括用于执行二选一操作的操作控件,该操作控件包括第一交互区域范围以及第二交互区域范围,在默认状态下,第一交互区域范围对应的选项为选中状态;所述第一交互区域范围与第二交互区域范围之间具有视觉上的连通性;
第五虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,当所述视线焦点位置进入所述第二交互区域范围时,提供将选中状态逐渐从第一交互区域范围向所述第二交互区域范围转移的进度状态变化动画。
45.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于客户端,包括:
第六虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第六视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
连续响应单元,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,则继续对提供该操作控件关联的响应信息。
46.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于服务器,包括:
第六虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括存在连续多次重复操作需求的操作控件;
第六虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则继续对提供该操作控件关联的响应信息;在提供虚拟现实空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
47.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于客户端,包括:
第七虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
UI移动单元,用于如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
48.一种虚拟现实空间环境中的操作控件处理装置,其特征在于,应用于服务器,包括:
第七虚拟现实环境数据保存单元,用于提供虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象包括操作控件,所述操作控件为在景深方向上排布的多层用户界面UI结构;
第七虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置,如果所述视线焦点位置进入所述操作控件对应的操作区域,则将所述操作控件的多层UI结构在景深方向上向靠近视觉起点的方向移动,以便所述操作控件在视觉效果上被放大。
49.一种虚拟现实空间环境中的操作区域处理装置,其特征在于,应用于客户端,包括:
第八虚拟现实环境提供单元,用于提供虚拟现实空间环境,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八视线焦点确定单元,用于在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;
交互区域范围处理单元,用于如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
50.一种虚拟现实空间环境中的操作区域处理装置,其特征在于,应用于服务器,包括:
第八虚拟现实环境数据保存单元,用于保存虚拟现实空间环境数据,其中包括至少一个可交互对象,所述可交互对象对应有操作区域范围信息,所述操作区域范围信息包括第一区域范围以及第二区域范围,其中,所述第一区域范围小于第二区域范围,在初始状态下,在所述虚拟现实空间环境中提供所述第一区域范围信息;
第八虚拟现实环境数据提供单元,用于将所述虚拟现实空间环境数据提供给客户端,以便所述客户端在与所述可交互对象进行交互的过程中,确定用户视线焦点位置;如果所述视线焦点位置进入目标可交互对象对应的第一区域范围,则在所述虚拟现实空间环境中提供所述目标可交互对象对应的第二区域范围。
51.一种增强现实环境中的交互装置,其特征在于,应用于客户端,包括:
第二模型获得单元,用于获得实体存放空间内部空间环境的三维空间模型;所述实体存放空间内部包括多件存放对象;
第二交互区域信息提供单元,用于在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;在提供内部空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;
第九视线焦点确定单元,用于确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置;
第二交互响应提供单元,用于当所述视线焦点位置进入目标存放对象的交互区域范围内时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息。
52.一种增强现实环境中的交互装置,其特征在于,应用于服务器,包括:
第二模型保存单元,用于保存实体存放空间内部空间环境的三维空间模型,所述实体存放空间内部包括多件存放对象,各自对应的交互区域范围信息,以及与各交互区域范围关联的可交互对象的交互响应信息;
第二模型提供单元,用于将所述三维空间模型提供给客户端,以便所述客户端在通过预置的增强现实AR设备将所述三维空间模型与所述实体存放空间进行空间匹配后,在所述AR设备的用户视域范围内提供所述存放对象对应的交互区域范围信息;确定用户视线焦点,当所述视线焦点位置进入目标存放对象的交互区域范围内时,在所述AR设备的用户视域范围内提供与该交互区域范围关联的目标可交互对象的交互响应信息;在提供内部空间环境时,在环境层的上层提供操作层,在所述操作层的上层提供屏幕层,操作层与环境层相对静止;所述屏幕层设置有瞄准点,所述瞄准点相对于所述屏幕层的位置不变,所述屏幕层跟随虚拟现实设备屏幕的运动而运动;所述确定用户视线焦点位置,包括:确定所述瞄准点的相对于所述操作层发生的位移;根据所述位移确定用户视线方向,并根据所述用户视线方向映射到所述操作层对应的位置,将该位置确定为用户视线焦点位置。
CN201610909499.7A 2016-10-18 2016-10-18 虚拟现实空间环境中的交互方法及装置 Active CN107957774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610909499.7A CN107957774B (zh) 2016-10-18 2016-10-18 虚拟现实空间环境中的交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610909499.7A CN107957774B (zh) 2016-10-18 2016-10-18 虚拟现实空间环境中的交互方法及装置

Publications (2)

Publication Number Publication Date
CN107957774A CN107957774A (zh) 2018-04-24
CN107957774B true CN107957774B (zh) 2021-08-31

Family

ID=61954372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610909499.7A Active CN107957774B (zh) 2016-10-18 2016-10-18 虚拟现实空间环境中的交互方法及装置

Country Status (1)

Country Link
CN (1) CN107957774B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563395A (zh) * 2018-05-07 2018-09-21 北京知道创宇信息技术有限公司 3d视角交互方法及装置
CN109753145B (zh) * 2018-05-11 2020-07-21 北京字节跳动网络技术有限公司 一种过渡动画的展示方法和相关装置
CN108829247B (zh) * 2018-06-01 2022-11-15 北京市商汤科技开发有限公司 基于视线跟踪的交互方法及装置、计算机设备
CN110595441B (zh) * 2018-06-13 2021-10-12 杭州海康微影传感科技有限公司 瞄具
WO2020003054A1 (en) * 2018-06-26 2020-01-02 Alcon Inc. Binocular system for entering commands
CN109144256B (zh) * 2018-08-20 2019-08-23 广州市三川田文化科技股份有限公司 一种虚拟现实行为互动方法及装置
CN109254660B (zh) 2018-08-31 2020-11-17 歌尔光学科技有限公司 内容显示方法、装置及设备
CN109343705A (zh) * 2018-09-14 2019-02-15 广州越维信息科技有限公司 Ar辅助办税方法与系统
CN109710061B (zh) * 2018-12-04 2019-12-13 三弦文旅(北京)科技有限公司 影像的动感反馈系统和动感反馈方法
CN109726954B (zh) * 2018-12-11 2021-01-08 维沃移动通信有限公司 一种信息处理方法、装置及移动终端
CN109782920A (zh) * 2019-01-30 2019-05-21 上海趣虫科技有限公司 一种用于扩展现实的人机交互方法及处理终端
CN109766012B (zh) * 2019-02-02 2022-04-29 京东方科技集团股份有限公司 视线计算方法及装置
CN109963120B (zh) * 2019-02-26 2020-10-09 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制系统及方法
CN111752425B (zh) * 2019-03-27 2022-02-15 北京外号信息技术有限公司 用于选择在设备的显示媒介上的交互对象的方法
CN110244839B (zh) * 2019-05-20 2022-11-18 联想(上海)信息技术有限公司 控制方法、电子设备和存储介质
CN111127627B (zh) * 2019-11-20 2020-10-27 贝壳找房(北京)科技有限公司 一种三维房屋模型中的模型展示方法及装置
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN110941389A (zh) * 2019-11-27 2020-03-31 北京新势界科技有限公司 一种焦点触发ar信息点的方法及装置
CN111813230B (zh) * 2020-09-14 2021-03-19 芋头科技(杭州)有限公司 一种ar眼镜上的交互方法及装置
CN112232897B (zh) * 2020-09-25 2022-04-22 北京五八信息技术有限公司 一种数据处理方法及装置
CN112465971B (zh) * 2020-12-03 2022-05-13 贝壳技术有限公司 模型中点位的引导方法和装置、存储介质、电子设备
CN112732391B (zh) * 2021-01-20 2024-01-16 维沃移动通信有限公司 界面显示方法及装置
CN113722644B (zh) * 2021-09-03 2023-07-21 如你所视(北京)科技有限公司 基于外接设备在虚拟空间选取浏览点位的方法及其装置
EP4250061A1 (en) * 2022-03-25 2023-09-27 Nokia Technologies Oy User control in augmented reality
CN115562496B (zh) * 2022-11-04 2023-12-15 浙江舜为科技有限公司 Xr设备及基于xr设备的字符输入方法和字符修改方法
CN115793848B (zh) * 2022-11-04 2023-11-24 浙江舜为科技有限公司 虚拟现实信息交互方法、虚拟现实设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102246310B1 (ko) * 2013-12-31 2021-04-29 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
US10256859B2 (en) * 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
CN104536579B (zh) * 2015-01-20 2018-07-27 深圳威阿科技有限公司 交互式三维实景与数字图像高速融合处理系统及处理方法
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技(天津)有限公司 虚拟现实的交互控制方法及装置
CN205562967U (zh) * 2016-04-29 2016-09-07 上海渺视光学科技有限公司 一种虚拟现实眼镜

Also Published As

Publication number Publication date
CN107957774A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
CN107957774B (zh) 虚拟现实空间环境中的交互方法及装置
CN107957775B (zh) 虚拟现实空间环境中的数据对象交互方法及装置
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US11651563B1 (en) Dockable billboards for labeling objects in a display having a three dimensional perspective of a virtual or real environment
US10863168B2 (en) 3D user interface—360-degree visualization of 2D webpage content
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
US11003305B2 (en) 3D user interface
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
US20140181630A1 (en) Method and apparatus for adding annotations to an image
CN105393284A (zh) 基于人类身体数据的空间雕刻
CN105074623A (zh) 在增强的现实图像中呈现对象模型
US20150331242A1 (en) Head mounted display device displaying thumbnail image and method of controlling the same
WO2022022449A1 (zh) 用于空间定位的方法和装置
CN104969264A (zh) 用于将注解添加到全光光场的方法和设备
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
US10846901B2 (en) Conversion of 2D diagrams to 3D rich immersive content
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
US10623713B2 (en) 3D user interface—non-native stereoscopic image conversion
Cho et al. Multi-scale 7DOF view adjustment
US20230377279A1 (en) Space and content matching for augmented and mixed reality
US20150365657A1 (en) Text and graphics interactive display
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
TWI759764B (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體
Chippendale et al. VENTURI–immersiVe ENhancemenT of User-woRld Interactions
CN115861509A (zh) 虚拟车展实现方法、计算机装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1254224

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant