CN110866940A - 虚拟画面的控制方法、装置、终端设备及存储介质 - Google Patents

虚拟画面的控制方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN110866940A
CN110866940A CN201911073067.7A CN201911073067A CN110866940A CN 110866940 A CN110866940 A CN 110866940A CN 201911073067 A CN201911073067 A CN 201911073067A CN 110866940 A CN110866940 A CN 110866940A
Authority
CN
China
Prior art keywords
virtual content
virtual
tracked
motion
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911073067.7A
Other languages
English (en)
Other versions
CN110866940B (zh
Inventor
胡永涛
于国星
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201911073067.7A priority Critical patent/CN110866940B/zh
Publication of CN110866940A publication Critical patent/CN110866940A/zh
Application granted granted Critical
Publication of CN110866940B publication Critical patent/CN110866940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Abstract

本申请公开了一种虚拟画面的控制方法、装置、终端设备及存储介质,涉及显示技术领域。该虚拟画面的控制方法应用于终端设备,方法包括:获取包含有待跟踪物体的多个目标图像;根据所述多个目标图像获取所述待跟踪物体的运动轨迹;当所述运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;根据所述待跟踪物体的运动轨迹获取第二虚拟内容,并将所述第一虚拟内容切换显示为所述第二虚拟内容。本方法利用待跟踪物体的运动轨迹可以实现对虚拟内容简单快速的切换。

Description

虚拟画面的控制方法、装置、终端设备及存储介质
技术领域
本申请涉及计算机技术领域,更具体地,涉及一种虚拟画面的控制方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在AR/VR技术中,对虚拟画面的控制较为繁琐。
发明内容
本申请实施例提出了一种虚拟画面的控制方法、装置、终端设备及存储介质,实现对虚拟内容的快速切换,操作简单且更智能化。
第一方面,本申请实施例提供了一种虚拟画面的控制方法,应用于终端设备,方法包括:获取包含有待跟踪物体的多个目标图像;根据多个目标图像获取待跟踪物体的运动轨迹;当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
第二方面,本申请实施例提供了一种虚拟画面的控制装置,应用于终端设备,装置包括:目标图像获取模块、运动轨迹获取模块、内容确定模块以及目标切换模块,其中,目标图像获取模块用于获取包含有待跟踪物体的多个目标图像;运动轨迹获取模块用于根据多个目标图像获取待跟踪物体的运动轨迹;内容确定模块用于当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;目标切换模块用于根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
第三方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述第一方面提供的虚拟画面的控制方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的虚拟画面的控制方法。
本申请实施例提供的方案,终端设备可以获取包含有待跟踪物体的多个目标图像,然后根据其获取到的多个目标图像获取待跟踪物体的运动轨迹,而当待跟踪物体的运动轨迹满足预设轨迹时,终端设备可以确定当前显示的虚拟画面中待切换的第一虚拟内容,最后终端设备可以根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容,即本申请可以利用待跟踪物体的运动轨迹实现对虚拟内容的快速切换,且在进行虚拟内容切换操作时不仅操作简单而且更加智能化。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图;
图2示出了本申请一个实施例提供的虚拟画面的控制方法的流程图;
图3示出了本申请一个实施例提供的虚拟画面的控制方法中触发手势示意图;
图4示出了本申请一个实施例提供的虚拟画面的控制方法中单指滑动手势示意图;
图5示出了本申请一个实施例提供的虚拟画面的控制方法中多指滑动手势示意图;
图6示出了本申请一个实施例提供的虚拟画面的控制方法中拖拽手势示意图;
图7示出了本申请另一个实施例提供的虚拟画面的控制方法的流程图;
图8示出了本申请另一个实施例提供的虚拟画面的控制方法中步骤S240的流程图;
图9示出了本申请另一个实施例提供的虚拟画面的控制方法中利用待跟踪物体的运动方向获取第二虚拟内容的示意图;
图10示出了本申请另一个实施例提供的虚拟画面的控制方法中利用待跟踪物体的运动方向和运动距离获取第二虚拟内容的示意图;
图11示出了本申请另一个实施例提供的虚拟画面的控制方法中通过候选对象的使用频率获取第二虚拟内容的示意图;
图12示出了本申请另一个实施例提供的虚拟画面的控制方法中通过候选对象的功能属性获取第二虚拟内容的示意图;
图13示出了本申请又一个实施例提供的虚拟画面的控制方法的流程图;
图14示出了本申请又一个实施例提供的虚拟画面的控制方法中步骤S330的流程图;
图15示出了本申请一个实施例提供的虚拟画面的控制装置的框图;
图16示出了本申请一个实施例提供的虚拟画面的控制装置中目标切换模块440的框图;
图17示出了本申请一个实施例提供的虚拟画面的控制装置中内容确定模块430的框图;
图18是本申请实施例的用于执行根据本申请实施例的虚拟画面的控制方法的终端设备的框图;
图19是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟画面的控制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在AR/VR技术中,对虚拟内容的调整或者切换与是必不可少的操作,例如,根据用户的需求切换不同的虚拟界面,或者根据用户的需求对虚拟界面中某些特定的虚拟物体进行切换。传统的虚拟内容切换通常需要显示独立的切换窗口,而后再由用户选取目标虚拟内容进行切换,显然,用户在进行虚拟内容切换时其操作较为复杂,如此也导致了虚拟内容的切换非常繁琐。
发明人经过研究,提出了本申请实施例中的虚拟画面的控制方法、装置、终端设备及存储介质,可以降低虚拟内容切换的繁琐程度。
下面对本申请实施例提供的虚拟画面的控制方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的一种显示系统,包括终端设备100以及交互装置200。
在一些实施例中,终端设备100可以是头戴显示装置、手机、平板电脑、个人计算机等,其中,头戴显示装置可以为一体式头戴显示装置,也可以为与外置电子设备连接的头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端,即终端设备100可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,通过头戴显示装置对虚拟内容300进行显示。
在一些实施例中,虚拟内容300可以是虚拟界面,也可以是虚拟界面中的窗口,或者是虚拟界面中的某些虚拟物体,而虚拟物体则可以是虚拟人物或者是与虚拟人物适配的某些虚拟道具,例如,枪机游戏中的枪支或者弹药等都可以被称为虚拟物体,即虚拟物体可以包括游戏配件,本申请实施例中的终端设备100在接收到交互装置200传输的切换指令时,可以根据切换指令对不同的虚拟内容300进行切换。
在一些实施例中,用户可通过交互装置200与终端设备100显示的虚拟内容300进行交互,其中,交互装置200可以是键盘、平板电脑、鼠标、手柄等电子设备,但不限于此。作为一种方式,交互装置200上可以设有至少一个交互区域,用户可以通过交互区域对虚拟内容300进行相关控制和交互。其中,交互区域可以包括按键、滚轮和触摸屏等中的至少一种,本申请实施例中交互装置的具体形态结构及尺寸大小不受限制,可以是各种形状,例如正方形、圆形,也可以是各种形态的。作为另一种实施方式,用户也可以通过手势等与虚拟内容300进行交互,此时,终端设备100可以接收用户的手势指令,并根据该手势指令对虚拟内容300进行相应的控制。
在一些实施例中,终端设备100与交互装置200可以通过蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBEE(紫峰技术)等无线通信方式连接,也可以通过数据线等进行有线通信连接,当然,终端设备100与交互设备的连接方式在本申请实施例中并不限定。
请参阅图2,本申请实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法可以包括:
步骤S110:获取包含有待跟踪物体的多个目标图像。
在一种实施方式中,终端设备可以获取包含有待跟踪物体的多个目标图像,而这些目标图像可以是终端设备利用其自身配置的图像采集装置获取的,也可以是通过外置图像采集装置获取的,外置图像采集装置采集到多个目标图像后可以通过有线或者无线的方式传输至终端设备,以供终端设备使用。本申请实施例中不管是终端设备自身配置的图像采集装置还是外置图像采集装置其均可以用于采集现实物体的图像以及采集目标场景的场景图像,且这二者既可以是红外相机也可以是可见相机,具体类型在本申请实施例中并不作为限定。
在一些实施例中,待跟踪物体可以是交互装置也可以是用户手势,其中,交互装置又可以包括鼠标、手柄以及平板电脑等电子设备。当待跟踪物体为交互装置时,用户可以通过操作交互装置来控制终端设备中显示的虚拟内容,而当待跟踪物体为用户手势时,用户则可以通过移动或者变化不同的手势来控制终端设备中显示的虚拟内容。可选地,手势可以包括触发手势、滑动手势和拖拽手势等,终端设备可以通过获取手部关节位置在预设时间内的停留情况或移动情况来确定手势属于哪一种。其中,触发手势主要是为了进行功能选择或者场景确认等目的而进行的交互行为,触发手势可以分为单指触发手势和多指触发手势,单指触发手势只有一个手指向前其余手指为拳状,如图3(a)中的手势即为单指触发手势,与单指触发手势不同多指触发手势指至少两个手指向前其余手指为拳状,如图3(b)中的手势即为多指触发手势;滑动手势主要是为了进行功能切换、场景切换或者物体移动等目标而进行的交互行为,与触发手势类似滑动手势也可以分为单指滑动手势和多指滑动手势,根据滑动方向的不同本申请实施例又可以将单指滑动手势分为单指向左滑动手势和单指向右滑动手势,如图4(a)为单指向左滑动手势图,而图4(b)则为单指向右滑动的手势图,同理,可以将多指滑动手势分为多指向左滑动手势和多指向右滑动手势,图5(a)即为多指向左滑动手势,而图5(b)则为多指向右滑动手势,显然,本申请实施例可以根据手指滑动的方向对滑动手势进行分为,手指滑动方向不同则其对应的滑动手势也可能不相同,具体情况这里就不进行详细赘述;拖拽手势又可以称为拖动操作,其主要为了对虚拟物体进行拖拽、缩放或者旋转等目的而进行的交互行为,拖拽手势如图6所示,从图6可以看出拖拽手势中食指与拇指相互触碰,即通过对食指和拇指动作的识别即可判断手势是否为拖拽手势,根据拖拽方环境的不同可以将拖拽手势分为前后拖拽手势、左右拖拽手势、上下拖拽手势以及混合拖拽手势等。需要说明的是,不论待跟踪物体是交互装置还是用户手势,终端设备都可以对其进行跟踪,且跟踪的方式可以相同也可以不同,显然,为了实现对待跟踪物体的跟踪目的终端设备获取的目标图像中必须包含有待跟踪物体图像。
另外,目标图像中除了包含有待跟踪物体之外还包括其他物体,这些物体可以与待跟踪物体相关,也可以与待跟踪物体无关。例如,当待跟踪物体为交互装置时,该交互装置上可以设置有标记物,该标记物即与待跟踪物体相关,本申请实施例中标记物可以是具有拓扑结构的图案也可以是光点式的标记,终端设备通过对该标记物的追踪可以获取交互装置的相对位置、姿态等空间位置信息,进而可实现对交互装置的定位及追踪。与待跟踪物体无关的物体可以称为干扰物体,该干扰物体可以是现实场景中与虚拟内容显示无关的人或者物,具体是哪些人和物这里就不进行详细赘述。
步骤S120:根据多个目标图像获取待跟踪物体的运动轨迹。
在一种实施方式中,终端设备获取到多个目标图像后可以通过对这些目标图像的识别与分析来获取目标图像中待跟踪物体的运动轨迹,其中,待根据物体的运动轨迹可以包括待跟踪物体的运动方向、待跟踪物体的运动距离、待跟踪物体的运动速率以及待跟踪物体的运动方向发生变化的位置点等。其中,运动方向发生变化的位置点指的是待跟踪物体在运动时其运动方向发生改变的位置信息,如待跟踪物体在A时间段的运动方向是水平向右,而在B时刻其运动方向变为垂直向上运动,则B时刻对应的位置信息即为待跟踪物体的运动方向发生变化的位置点。获取待跟踪物体的运动轨迹的具体过程可以包括:在待跟踪物体上设置有标记物,终端设备通过对标记物的识别与跟踪即可获取到待跟踪物体的运动轨迹。
在一个具体实施方式中,可以在待跟踪物体上设置有光点和惯性测量单元(Inertial measurement unit,IMU),终端设备可以通过图像采集装置获取待跟踪物体上的光点图像,并通过惯性测量单元获取测量数据,根据该光点图像和测量数据即可确定待跟踪物体与终端设备之间的相对空间位置信息,根据该相对空间位置信息的变化可以获取到待跟踪物体的运动轨迹,实现对待跟踪物体的定位及追踪。其中,待跟踪物体上设置的光点可以是可见光点或者红外光点,光点的数量可以是一个或者由多个光点组成的光点序列。本申请实施例中惯性测量单元上可以设置有加速度传感器和陀螺仪,即待跟踪物体可以通过加速度传感器获取加速度信息,以及通过陀螺仪获取其角速度信息,其中,加速度信息为待跟踪物体三个方向的加速度值,分别为X、Y和Z轴的加速度值,角速度信息为陀螺仪获取的角速度值。测量数据可以包括加速度信息和角速度值,待跟踪物体可以根据该加速度信息和角速度信息获取待跟踪物体的姿态信息,而后待跟踪物体可以将获取的姿态信息发送至终端设备,终端设备可以结合该姿态信息和其采集的光点图像得到待跟踪物体的运动轨迹。
在另一种实施方式中,终端设备也可以利用人工智能算法对其获取到的多个目标图像进行分析与识别,进而获取到待跟踪物体的运动轨迹,具体的,终端设备可以采用帧间差分法、背景减除法或光流法等目标检测方法检测到每一张图像中待跟踪物体的坐标框,然后采用全局目标关联,一次性地对所有目标图像中的待跟踪物体进行关联,以得到关联矩阵,进而通过关联矩阵获取待跟踪物体的运动轨迹。
步骤S130:当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容。
在一个实施例中,终端设备获取到待跟踪物体的运动轨迹时可以将该运动轨迹与预设运动轨迹进行匹配,并确定其获取的运动轨迹是否满足预设轨迹,如果待跟踪物体的运动轨迹满足预设轨迹,则确定当前显示的虚拟画面中待切换的第一虚拟内容。终端设备中可以存储有多个预设轨迹,这些预设轨迹可以根据实际需要进行设定,预设轨迹不相同则其对应的第一虚拟内容也不相同,即预设轨迹和第一虚拟内容通过一定的对应的关系存储于映射表中。换句话说,当待跟踪物体的运动轨迹满足预设轨迹时,终端设备可以从存储器中获取预设轨迹与第一虚拟内容之间的映射表,并基于映射表,根据预设轨迹获取其对应的第一虚拟内容,在映射表中,不同的预设轨迹对应着不同的第一虚拟内容。如映射表可设置为:预设轨迹为A,其对应的待切换的第一虚拟内容则为a;预设轨迹为B,其对应的待切换的第一虚拟内容则为b;预设轨迹为C,其对应的待切换的第一虚拟内容则为c;预设轨迹为D,其对应的待切换的第一虚拟内容则为d。
为了更加清楚的说明运动轨迹、预设轨迹以及待切换的第一虚拟内容这三者之间的关系,现给出一个具体的实施例,在该示例中待跟踪物体为手势,终端设备通过对多个目标图像中手势的分析与识别获取到手势的运动轨迹为水平向右滑动,而终端设备中存储的预设轨迹可包括:水平向右滑动、水平向左滑动、垂直向上滑动以及垂直向下滑动等。终端设备中存储有与运动轨迹匹配的预设轨迹,即运动轨迹满足预设轨迹,此时终端设备可以根据该预设轨迹确定当前显示的虚拟画面中待切换的第一虚拟内容,本申请实施例中水平向右滑动的预设轨迹对应的待切换的第一虚拟内容是游戏装备;水平向左滑动的预设轨迹对应的待切换的第一虚拟内容是游戏场景;垂直向上滑动的预设轨迹对应的待切换的第一虚拟内容是游戏人物;垂直向下滑动的预设轨迹对应的是游戏奖励等。其中,待切换的第一虚拟内容也可以是更加具体的物体,例如,游戏装备可以包括枪支、锤子、鞭子、斧头、刀以及爪等。
在另一些实施方式中,预设轨迹可以是预先设置好并存储于终端设备中的,也可以通过对用户的行为习惯分析后获取的,如用户在利用待跟踪物体对虚拟内容进行操作时习惯对待跟踪物体执行水平向右的滑动操作,同时该用户在进行战斗游戏时喜欢使用枪支,此时则可以将预设轨迹设置为水平向右滑动,而与其对应的待切换的第一虚拟内容则是枪支。需要说明的是,预设轨迹可以是固定不变的,也可以根据实际情况不断进行优化。例如,在第一时间段内终端设备由用户A使用,则可以根据用户A的操作习惯获取到第一预设轨迹a,在第二时间段内终端设备由用户B使用,则可以根据用户B的操作习惯获取到第二预设轨迹b,此时预设轨迹可以是最新获取的第二预设轨迹b,也可以是结合第一预设轨迹a和第二预设轨迹b综合获取的第三预设轨迹等。预设轨迹具体如何设置这里就不进行详细赘述,而当终端设备确定当前显示的虚拟画面中待切换的第一虚拟内容后即可进入步骤S140。另外,第一虚拟内容也可以是系统预先设置好的,其与待跟踪物体的运动轨迹无关,当终端设备执行虚拟画面切换操作时可以直接根据待跟踪物体的运动轨迹获取第二虚拟内容,而后将系统预先设置的第一虚拟内容切换显示为第二虚拟内容即可。
步骤S140:根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
待跟踪物体的运动轨迹可以包括待跟踪物体的运动方向、运动距离以及运动速率等运动参数,当终端设备获取到这些运动参数时即可根据这些运动参数确定第二虚拟内容。第二虚拟内容可用于替换虚拟画面中的第一虚拟内容,第一虚拟内容与第二虚拟内容相互对应,第二虚拟内容与第一虚拟内容不同,但可属于同类型的内容,例如,第一虚拟内容及第二虚拟内容为不同的视频,或是为不同的菜单窗口,或是为不同的应用道具等。
在一种实施方式中,第一虚拟内容位于当前显示的虚拟画面中,第一虚拟内容在终端设备中的状态是“运行状态”。第二虚拟内容可以位于当前显示的虚拟画面中,也可以未处于当前显示的虚拟画面中,第二虚拟内容在终端设备终端的状态是“未运行状态”或者是“待运行状态”,任意一个第二虚拟内容均可以代替当前显示的第一虚拟内容。例如,当前显示的虚拟画面中待切换的第一虚拟内容为游戏装备中的枪支A,根据待跟踪物体的运动轨迹获取的第二虚拟内容为枪支B,其中,枪支A正在被游戏人物a使用,即枪支A所处的状态是“运行状态”,而根据运动轨迹获取第二虚拟内容枪支B与枪支A相匹配,此时枪支A可以被切换成枪支B。
在一些实施例中,当终端设备中有多个候选对象时,可以基于不同的运动轨迹选取不同的第二虚拟内容,即不同的运动轨迹对应不同的第二虚拟内容。例如,第一虚拟内容枪支A具有两个候选对象,这两个候选对象分别是枪支B和枪支C,当待跟踪物体的运动方向为向左时则选择枪支B作为第二虚拟内容,当待跟踪物体的运动方向为向右时则选择枪支C作为第二虚拟内容。
终端设备根据待跟踪物体的运动轨迹得到第二虚拟内容,并可以将第一虚拟内容切换显示为第二虚拟内容,具体的,终端设备可以获取目标切换指令,该目标切换指令可以是用户通过待跟踪物体输入至终端设备的;终端设备根据目标切换指令分别获取第一虚拟内容对应的第一标识和第二虚拟内容对应的第二标识;将第一虚拟内容对应的第一标识修改为第二虚拟内容对应的第二标识,进而可以将第一虚拟内容切换显示为第二虚拟内容。
本申请实施例提供的虚拟画面的控制方法中终端设备通过分析包含待跟踪物体的多个目标图像来获取待跟踪物体的运动轨迹,然后通过对待跟踪物体运动轨迹的确认终端设备可以快速获取第一虚拟内容和第二虚拟内容,其中,第一虚拟内容处于当前显示的虚拟画面中,而第二虚拟内容则用于替换该第一虚拟内容,通过运动轨迹的确认本申请实施例可以准确有效的将第一虚拟内容切换为第二虚拟内容,其切换操作简单且容易实现更加符合用户对虚拟内容的操作需求。
请参阅图7,本申请另一实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法可以包括:
步骤S210:获取包含有待跟踪物体的多个目标图像。
步骤S220:根据多个目标图像获取待跟踪物体的运动轨迹。
步骤S230:当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容。
步骤S240:根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
其中,如图8所示步骤S240可以包括步骤S241至步骤S242。
步骤S241:获取与第一虚拟内容匹配的一个或多个候选对象。
在一种实施方式中,终端设备获取待切换的第一虚拟内容,第一虚拟内容可对应有一个或多个候选对象,候选对象可指的是可用于替换第一虚拟内容的对象。具体的,终端设备可以获取待跟踪物体发送的候选对象获取指令,并根据该候选对象获取指令查找终端设备中是否存储有与第一虚拟内容匹配的一个或多个候选对象,如果终端设备中存储有与第一虚拟内容匹配的一个或多个候选对象,终端设备则获取其查找的这些候选对象,如果未查找到终端设备中存储有与第一虚拟内容匹配的候选对象,则表明第一虚拟内容不包含有候选对象,进而可以表明终端设备无法对第一虚拟内容进行虚拟内容切换操作。
本申请实施例中候选对象与第一虚拟内容具有相似的属性及功能,即候选对象和第一虚拟内容属于同一类别,且与第一虚拟内容匹配的候选对象可以是一个也可以是多个,具体多少个候选对象需根据实际情况来设置。例如,游戏场景比较复杂时,与第一虚拟内容匹配的候选对象较多,而如果游戏场景比较简单,则与第一虚拟内容对应的候选对象的数量则较少。又如,游戏道具比较重要时,与第一虚拟内容匹配的候选对象的数量则较多,而如果游戏道具作用不是很重要,则与第一虚拟内容匹配的候选对象的数量较少。候选对象的数量具体是多少这里不进行明确限制,可以根据实际情况进行设置。
在另一种实施方式中,第一虚拟内容与一个或多个候选对象之间可以根据一定的对应关系存储于终端设备中,当获取到第一虚拟内容后,终端设备即可以根据该对应关系获取到一个或多个候选对象,而当第一虚拟内容未存储有对应的候选对象时,则无法成功获取候选对象,此时终端设备可以发出提示信息,该提示信息的形式可以是语音或者图像等,通过该提示信息用户可以快速知晓待切换的第一虚拟内容无法被切换。除了利用提示信息来通知用户无法对待切换的第一虚拟内容进行切换外,终端设备也可以不发出任何提示,即当用户确定待切换的第一虚拟内容后,可以判断在预设时间段内当前显示的虚拟画面是否发生改变,如果在预设时间段内当前显示的虚拟画面未发生任何改变,则表明第一虚拟内容不存在候选对象。
步骤S242:根据待跟踪物体的运动轨迹从候选对象中选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
在一种实施方式中,终端设备可以根据待跟踪物体的运动轨迹获取待跟踪物体的运动方向,并从多个候选对象中选取一个与该运动方向匹配的第二虚拟内容,而后可以将第一虚拟内容显示为选取的第二虚拟内容。当与第一虚拟内容匹配的候选对象有多个时,终端设备可以获取待跟踪物体的运动方向,并根据该运动方向确定一个目标候选对象,该目标候选对象可以作为第二虚拟内容。本申请实施例中待跟踪物体的运动方向可以包括相对终端设备向左、向右、向下和向上等,运动方向不相同则对应的候选对象也不相同。如图9所示,终端设备获取到与第一虚拟内容匹配的候选对象分别是枪支201和枪支202,当运动方向是向右时第二虚拟内容即为枪支201,而当运动方向为向左时第二虚拟内容即为枪支202,而后可以将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施方式中,终端设备可以获取候选对象的数量,并判断候选对象的数量是否大于预设阈值,如果该数量大于预设阈值,终端设备则可以根据待跟踪物体的运动轨迹获取待跟踪物体的运动距离和运动方向,之后可以根据运动距离和运动方向从多个候选对象中选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
作为一种方式,候选对象的数量可以是某一个运动方向上候选对象的数量,而每个运动方向上候选对象的数量可以相同也可以不相同,当每个运动方向上候选对象的数量不相同时,多个候选对象的数量指的是候选对象数量最大的那个方向的候选对象的数量,当运动方向上候选对象的数量相同时,则多个候选对象的数量指的是任意一个运动方向上候选对象的数量。
作为一种方式,候选对象的数量也可为第一虚拟内容的所有候选对象的数量,即候选对象的数量是不同方向上候选对象数量的总和。在一个具体实施例中,候选对象的数量指的是终端设备中某一方向上候选对象的数量,具体的,当终端设备确定待跟踪物体的运动方向后,可以确定该运动方向上存在哪些候选对象,并根据确定结果获取该运动方向上所有候选对象的数量。终端设备根据待跟踪物体的运动方向获取到候选对象的数量后,可以判断该数量是否大于预设阈值,如果大于预设阈值则获取待跟踪物体的运动距离,并根据运动距离从多个候选对象中获取第二虚拟内容。如图10所示,待跟踪物体的运动方向是水平向右时,候选对象的数量为3,其大于预设阈值2,而后获取待跟踪物体的运动距离,并根据该运动距离确定第二虚拟内容,从图10可以看出当运动距离是d1时第二虚拟内容可以是枪支203;当运动距离是d2时第二虚拟内容可以是枪支204;当运动距离是d3时第二虚拟内容可以是枪支205,因此,可以通过待跟踪物体的运动方向和运动距离获取第二虚拟内容,而后可以将第一虚拟内容切换显示为选取的第二虚拟内容。同时,也可以根据待跟踪物体的运动速率从多个候选对象中选取第二虚拟内容,待跟踪物体的运动速率不同则其对应的候选对象也不相同。
在一个实施例中,终端设备也可以先获取第一虚拟内容对应的所有候选对象的数量,并判断该候选对象的数量是否大于预设阈值,如果所有候选对象的数量大于预设阈值,则可以获取待跟踪物体的运动方向和运动距离,并结合该运动方向和运动距离从多个候选对象中选取第二虚拟内容。
在另一种实施方式中,终端设备可以获取每个候选对象的使用频率,并根据其获取的使用频率对所有的候选对象进行排序,当每次检测到待跟踪物体的运动轨迹满足预设轨迹时,可以根据候选对象的使用频率从高到低依次选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。如图11所示,终端设备中与第一虚拟内容匹配的候选对象有三个分别是枪支301、枪支302以及枪支303,当终端设备确定第一虚拟内容对应的候选对象时,终端设备获取到枪支301的使用频率为55%,枪支302的使用频率为12%,枪支303的使用频率为33%,对这三个枪支的使用频率进行从高到低的排序得到的是枪支301、枪支303以及枪支302。终端设备每次检测到待跟踪物体的运动轨迹满足预设轨迹时,也即用户每次对第一虚拟内容进行切换时,可从高到低依次选取第二虚拟内容,例如,检测到交互装置第一次向左运动时,将第一虚拟内容切换为枪支301,交互装置第二次向左运动时,将枪支301切换为枪支303,交互装置第三次向左运动时,将枪支303切换为枪支302,依次进行切换。
在一些实施例中,终端设备也可以获取每个候选对象的功能属性,得到每个候选对象的功能值,并根据该功能值对所有的候选对象进行排序,当每次检测到待跟踪物体的运动轨迹满足预设轨迹时,根据候选对象的功能值从高到低依次选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。其中,候选对象的功能属性可以包括候选对象的作用、优势以及缺陷等,候选对象的种类不同则其对应的功能属性也不相同。例如,当候选对象为游戏角色时,其功能属性可以包括力量、智力、敏捷、精神以及体质等,又如,当候选对象为枪支时,其功能属性可以包括物攻、速度、暴击、属攻以及精准度等。每个候选对象的功能值可以是所有功能属性值的总和,也可以是所有功能属性值的平均,具体指的什么这里不进行明确限制,而后终端设备可以根据其获取的功能值对其获取的所有候选对象进行从高到低的排序并显示,当每次检测到待跟踪物体的运动轨迹满足预设轨迹时,用户可以根据终端设备的显示结果从高到低依次选取第二虚拟内容,最后可以将第一虚拟内容切换显示为选取的第二虚拟内容。如图12所示,终端设备中与第一虚拟内容匹配的候选对象有三个分别是枪支304、枪支305以及枪支306,当终端设备确定第一虚拟内容对应的候选对象时,终端设备获取到枪支304的功能值为455,枪支305的功能值为165,枪支306的使用频率为371,对这三个枪支的功能值进行从高到低的排序得到的是枪支304、枪支306以及枪支305。终端设备每次检测到待跟踪物体的运动轨迹满足预设轨迹时,也即用户每次对第一虚拟内容进行切换时,可从高到低依次选取第二虚拟内容,例如,检测到交互装置第一次向右运动时,将第一虚拟内容切换为枪支304,交互装置第二次向右运动时,将枪支304切换为枪支306,交互装置第三次向右运动时,将枪支306切换为枪支305,依次进行切换。
本申请实施例提供的虚拟画面的控制方法中终端设备通过分析包含待跟踪物体的多个目标图像来获取待跟踪物体的运动轨迹,然后通过对待跟踪物体运动轨迹的确认终端设备可以快速获取第一虚拟内容和第二虚拟内容,其中,第一虚拟内容处于当前显示的虚拟画面中,而第二虚拟内容则用于替换该第一虚拟内容,本申请实施例中第二虚拟内容是从多个候选对象中选取得到的,在对第二虚拟内容进行确定时,不仅可以参考待跟踪物体的运动方向和运动距离,而且可以借助候选对象的使用频率和功能属性等,如此可以使第二虚拟内容的获取更加快速有效,且内容切换操作简单易实现更加符合用户对虚拟内容的操作需求。
请参阅图13,本申请又一实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法可以包括:
步骤S310:获取包含有待跟踪物体的多个目标图像。
步骤S320:根据多个目标图像获取待跟踪物体的运动轨迹。
在一种实施方式中,待跟踪物体可以是目标手势,而根据多个目标图像获取待跟踪物体的运动轨迹包括:对多个目标图像中的目标手势进行识别,得到目标手势识别结果;根据目标手势识别结果获取目标手势的运动轨迹。具体的,终端设备可以利用其内置的图像采集装置获取包含用户手势的多个目标图像,而后可以对这些目标图像中的手势动作进行识别与分析,得到手势动作的运动轨迹。可选地,待跟踪物体的多个目标图像也可以由外置图像采集装置获取,当外置图像采集装置获取到这些目标图像后其可以利用人工智能算法对多个目标图像中的手势进行分析与识别,进而得到手势的运动轨迹,而后外置图像采集装置可通过有线或者无线的方式将其获取到手势的运动轨迹发送至终端设备。
在另一种实施方式中,待跟踪物体可以是交互装置,根据多个目标图像获取待跟踪物体的运动轨迹包括:根据多个目标图像获取不同时刻交互装置的位置及姿态信息;对交互装置的位置及姿态信息进行分析,得到交互装置的运动轨迹。本申请实施例中交互装置上可以设置有惯性测量单元和光点,交互装置利用惯性测量单元可以获取到其自身的加速度信息和角速度信息,结合这两个信息交互装置可以直接分析获取到其运动轨迹。另外,交互装置也可以将其获取的加速度信息和角速度信息直接发送至终端设备,终端设备通过结合其获取的光点图像、加速度信息以及角速度信息得到交互装置的运动轨迹。
步骤S330:当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容。
其中,如图14所示步骤S330可以包括步骤S331至步骤S332。
步骤S331:获取用户身份信息,并根据用户身份信息读取用户个人数据。
在一种实施方式中,用户的身份信息可以包括用户身份标识和登录密码等,终端设备可以从智能卡或芯片中获取用户身份信息,其中,智能卡可以包括用户识别模块(SIM)卡;也可以从无线网络中获取用户身份信息等。用户身份信息和用户个人数据通过一一对应的方式存储于终端设备或者云端,当获取到用户的身份信息后,即可以根据该身份信息查找到与其对应的用户个人数据,用户个人数据可以包括用户的基础数据、操作数据以及状态数据等。其中,基础数据指的是用户的个人基础信息,如用户的性别、年龄、爱好等;操作数据指的是用户使用终端设备时惯用的一些操作,如用户在利用终端设备玩游戏时,其习惯通过按压操作来实现枪支类型的切换;状态数据则指的是终端设备所处的状态以及该状态所对应的时间,常见的状态包括在线、离线、隐身以及勿打扰等。
步骤S332:当运动轨迹满足预设轨迹时,根据用户个人数据确定当前显示的虚拟画面中与运动轨迹对应的待切换的第一虚拟内容。
终端设备通过用户的身份信息获取到其对应的用户个人数据后,可以对用户的个人数据进行分析,得到个人数据分析结果,而后可以根据其获取的个人数据分析结果确定当前显示的虚拟画面中运动轨迹对应的待切换的第一虚拟内容。对于相同的运动轨迹,不同的用户所切换的第一虚拟内容可以是相同的也可以是不同的,而每个用户都具有自己特有的行为习惯,因此,终端设备可以根据不同用户的行为习惯制定不同的虚拟内容切换方案。在一种实施方式中,可以利用终端设备的内置图像采集装置或者外置的图像采集装置获取不同时刻包括用户行为动作的图像,而后可以对这些不同时刻的图像进行特征提取、识别以及分析,进而可以得到用户的行为习惯,而根据该行为习惯即可确定当前显示的虚拟画面中与运动轨迹对应的第一虚拟内容。
步骤S340:根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
本申请实施例提供的虚拟画面的控制方法中终端设备通过分析包含待跟踪物体的多个目标图像来获取待跟踪物体的运动轨迹,然后通过对待跟踪物体运动轨迹的确认终端设备可以快速获取第一虚拟内容和第二虚拟内容,其中,第一虚拟内容处于当前显示的虚拟画面中,该第一虚拟内容可以通过用户的个人数据获取,其中,用户的个人数据包括用户的行为习惯数据,该行为习惯数据可以借助人工智能算法获取,本申请实施例通过用户的行为习惯数据获取第一虚拟内容,可以使虚拟画面的控制更加智能化,其不仅操作简单而且更符合用户对虚拟内容的操作需求。
请参阅图15,其示出了本申请实施例提供的一种虚拟画面的控制装置400的结构框图,该装置可以包括:目标图像获取模块410、运动轨迹获取模块420、内容确定模块430以及目标切换模块440,其中,目标图像获取模块410用于获取包含有待跟踪物体的多个目标图像;运动轨迹获取模块420用于根据多个目标图像获取待跟踪物体的运动轨迹;内容确定模块430用于当运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;目标切换模块440用于根据待跟踪物体的运动轨迹获取第二虚拟内容,并将第一虚拟内容切换显示为第二虚拟内容。
在一些实施例中,如图16所示目标切换模块440可以包括候选对象获取单元441和虚拟内容切换单元442。其中,候选对象获取单元441用于获取与第一虚拟内容匹配的一个或多个候选对象;虚拟内容切换单元442用于根据待跟踪物体的运动轨迹从候选对象中选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施方式中,虚拟内容切换单元442用于根据运动轨迹获取待跟踪物体的运动方向,并从候选对象中选取与运动方向匹配的第二虚拟内容;将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施方式中,虚拟内容切换单元442还用于当候选对象的数量大于预设阈值时,则根据运动轨迹获取待跟踪物体的运动距离和运动方向;根据运动距离和运动方向从候选对象中选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施方式中,虚拟内容切换单元442还用于获取每个候选对象的使用频率,并根据使用频率对候选对象进行排序;当每次检测到待跟踪物体的运动轨迹满足预设轨迹时,根据候选对象的使用频率从高到低依次选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施方式中,虚拟内容切换单元442还用于获取每个候选对象的功能属性,得到每个候选对象的功能数值,并根据功能数值对候选对象进行排序;当每次检测到待跟踪物体的运动轨迹满足预设轨迹时,根据候选对象的功能数值从高到低依次选取第二虚拟内容,并将第一虚拟内容切换显示为选取的第二虚拟内容。
在一些实施例中,如图17所示内容确定模块430可以包括个人数据获取单元431和虚拟内容确定单元432。其中,个人数据获取单元431用于获取用户身份信息,并根据用户身份信息读取用户个人数据;虚拟内容确定单元432用于当运动轨迹满足预设轨迹时,根据用户个人数据确定当前显示的虚拟画面中与运动轨迹对应的待切换的第一虚拟内容。
本申请实施例提供的虚拟画面的控制方法中终端设备通过分析包含待跟踪物体的多个目标图像来获取待跟踪物体的运动轨迹,然后通过对待跟踪物体运动轨迹的确认终端设备可以快速获取第一虚拟内容和第二虚拟内容,其中,第一虚拟内容处于当前显示的虚拟画面中,而第二虚拟内容则用于替换该第一虚拟内容,通过运动轨迹的确认本申请实施例可以准确有效的将第一虚拟内容切换为第二虚拟内容,其切换操作简单且容易实现更加符合用户对虚拟内容的操作需求。
请参考图18,其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备800可以是头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备800可以包括一个或多个如下部件:处理器810、存储器820,其中存储器820中存储有一个或多个应用程序,一个或多个应用程序被配置为由一个或多个处理器810执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个终端设备800内的各个部分,通过运行或执行存储在存储器820内的指令、程序、代码集或指令集,以及调用存储在存储器820内的数据,执行终端设备800的各种功能和处理数据。可选地,处理器810可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器810中,单独通过一块通信芯片进行实现。
存储器820可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备800在使用中所创建的数据等。
在本申请实施例中,图像采集装置830主要用于采集现实物体的图像以及采集目标场景的场景图像。图像采集装置830可以为红外摄像头、彩色摄像头等,图像采集装置830的具体类型在本申请实施例中并不作为限定。另外,图像采集装置830也可以包括图像传感器,图像传感器可以是CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)传感器,或者CCD(Charge-coupled Device,电荷耦合元件)传感器等等。
在一个实施例中,终端设备为头戴显示装置,除了包括上述的处理器、存储器及图像采集装置外,还可包括如下一个或多个部件:显示模组、光学模组、通信模块以及电源。
显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像,然后将该显示图像显示并投射至光学模组上,使用户能够通过光学模组观看到虚拟内容。其中,显示模组可以是显示屏或投射装置等,可用于显示图像。
光学模组可采用离轴光学系统或波导光学系统,显示模组显示的显示图像经光学模组后,能够被投射至用户的眼睛。用户在通过光学模组看到显示模组投射的显示图像的同时。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的增强现实效果。
通信模块可以是蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBEE(紫峰技术)等模块,头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置,可以与终端设备进行信息以及指令的交互。例如,头戴显示装置可以通过通信模块接收终端设备的发送的图像数据,根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。
电源可为整个头戴显示装置进行供电,保证头戴显示装置各个部件的正常运行。
请参考图19,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
该计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟画面的控制方法,其特征在于,应用于终端设备,所述方法包括:
获取包含有待跟踪物体的多个目标图像;
根据所述多个目标图像获取所述待跟踪物体的运动轨迹;
当所述运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;
根据所述待跟踪物体的运动轨迹获取第二虚拟内容,并将所述第一虚拟内容切换显示为所述第二虚拟内容。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待跟踪物体的运动轨迹获取第二虚拟内容,并将所述第一虚拟内容切换显示为所述第二虚拟内容,包括:
获取与所述第一虚拟内容匹配的一个或多个候选对象;
根据所述待跟踪物体的运动轨迹从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待跟踪物体的运动轨迹从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容,包括:
根据所述运动轨迹获取所述待跟踪物体的运动方向,并从所述候选对象中选取与所述运动方向匹配的第二虚拟内容;
将所述第一虚拟内容切换显示为选取的第二虚拟内容。
4.根据权利要求2所述的方法,其特征在于,所述根据所述待跟踪物体的运动轨迹从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容,包括:
当所述候选对象的数量大于预设阈值时,则根据所述运动轨迹获取所述待跟踪物体的运动距离和运动方向;
根据所述运动距离和运动方向从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容。
5.根据权利要求2所述的方法,其特征在于,所述根据所述待跟踪物体的运动轨迹从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容,包括:
获取每个所述候选对象的使用频率,并根据所述使用频率对所述候选对象进行排序;
当每次检测到所述待跟踪物体的运动轨迹满足预设轨迹时,根据所述候选对象的使用频率从高到低依次选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容。
6.根据权利要求2所述的方法,其特征在于,所述根据所述待跟踪物体的运动轨迹从所述候选对象中选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容,包括:
获取每个所述候选对象的功能属性,得到每个所述候选对象的功能数值,并根据所述功能数值对所述候选对象进行排序;
当每次检测到所述待跟踪物体的运动轨迹满足预设轨迹时,根据所述候选对象的功能数值从高到低依次选取第二虚拟内容,并将所述第一虚拟内容切换显示为选取的第二虚拟内容。
7.根据权利要求1所述的方法,其特征在于,所述当所述运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容,包括:
获取用户身份信息,并根据所述用户身份信息读取用户个人数据;
当所述运动轨迹满足预设轨迹时,根据所述用户个人数据确定当前显示的虚拟画面中与所述运动轨迹对应的待切换的第一虚拟内容。
8.一种虚拟画面的控制装置,其特征在于,应用于终端设备,所述装置包括:
目标图像获取模块,用于获取包含有待跟踪物体的多个目标图像;
运动轨迹获取模块,用于根据所述多个目标图像获取所述待跟踪物体的运动轨迹;
内容确定模块,用于当所述运动轨迹满足预设轨迹时,确定当前显示的虚拟画面中待切换的第一虚拟内容;
目标切换模块,用于根据所述待跟踪物体的运动轨迹获取第二虚拟内容,并将所述第一虚拟内容切换显示为所述第二虚拟内容。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,存储有一个或多个应用程序;
所述一个或多个应用程序被配置为由所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN201911073067.7A 2019-11-05 2019-11-05 虚拟画面的控制方法、装置、终端设备及存储介质 Active CN110866940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911073067.7A CN110866940B (zh) 2019-11-05 2019-11-05 虚拟画面的控制方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911073067.7A CN110866940B (zh) 2019-11-05 2019-11-05 虚拟画面的控制方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110866940A true CN110866940A (zh) 2020-03-06
CN110866940B CN110866940B (zh) 2023-03-10

Family

ID=69653292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911073067.7A Active CN110866940B (zh) 2019-11-05 2019-11-05 虚拟画面的控制方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN110866940B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111388997A (zh) * 2020-04-14 2020-07-10 网易(杭州)网络有限公司 游戏中的天气控制方法及系统、可读存储介质及电子设备
CN111831770A (zh) * 2020-06-30 2020-10-27 中国人民解放军战略支援部队信息工程大学 一种高速测控目标视图控制方法及装置
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195561A1 (en) * 2004-03-08 2005-09-08 Smith Renato L. Wall-mountable computer having an integrated keyboard
US20060098403A1 (en) * 2004-03-08 2006-05-11 Originatic Llc Electronic device having a movable input assembly with multiple input sides
US20120122585A1 (en) * 2010-11-14 2012-05-17 Nguyen Binh T Peripheral Management Device for Virtual Game Interaction
CN102707876A (zh) * 2011-03-10 2012-10-03 微软公司 界面控件的按压个性化
CN103502920A (zh) * 2011-01-05 2014-01-08 雷蛇(亚太)私人有限公司 使用可显示的键盘、辅助键盘和/或其它用户输入设备管理、选择和更新可视界面内容的系统及方法
CN105898346A (zh) * 2016-04-21 2016-08-24 联想(北京)有限公司 控制方法、电子设备及控制系统
CN107077216A (zh) * 2016-12-19 2017-08-18 深圳市阳日电子有限公司 一种画面显示的方法及移动终端
CN107071556A (zh) * 2017-04-18 2017-08-18 腾讯科技(深圳)有限公司 一种界面渲染方法和装置
CN107168530A (zh) * 2017-04-26 2017-09-15 腾讯科技(深圳)有限公司 虚拟场景中的对象处理方法和装置
CN108700957A (zh) * 2017-06-30 2018-10-23 广东虚拟现实科技有限公司 用于虚拟环境中文本输入的电子系统和方法
CN108837506A (zh) * 2018-05-25 2018-11-20 网易(杭州)网络有限公司 一种竞速游戏中虚拟道具的控制方法、装置及存储介质
CN108874136A (zh) * 2018-06-13 2018-11-23 北京百度网讯科技有限公司 动态图像生成方法、装置、终端和存储介质
CN109313483A (zh) * 2017-01-22 2019-02-05 广东虚拟现实科技有限公司 一种与虚拟现实环境进行交互的装置
CN109701274A (zh) * 2018-12-26 2019-05-03 网易(杭州)网络有限公司 信息处理方法及装置、存储介质、电子设备
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN110115838A (zh) * 2019-05-30 2019-08-13 腾讯科技(深圳)有限公司 虚拟环境中生成标记信息的方法、装置、设备及存储介质
CN110124310A (zh) * 2019-05-20 2019-08-16 网易(杭州)网络有限公司 游戏中的虚拟道具信息分享方法、装置、设备
CN110209276A (zh) * 2019-05-28 2019-09-06 网易(杭州)网络有限公司 虚拟现实中的对象选择方法及装置、电子设备、存储介质
US10429923B1 (en) * 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195561A1 (en) * 2004-03-08 2005-09-08 Smith Renato L. Wall-mountable computer having an integrated keyboard
US20060098403A1 (en) * 2004-03-08 2006-05-11 Originatic Llc Electronic device having a movable input assembly with multiple input sides
US20120122585A1 (en) * 2010-11-14 2012-05-17 Nguyen Binh T Peripheral Management Device for Virtual Game Interaction
CN103502920A (zh) * 2011-01-05 2014-01-08 雷蛇(亚太)私人有限公司 使用可显示的键盘、辅助键盘和/或其它用户输入设备管理、选择和更新可视界面内容的系统及方法
CN102707876A (zh) * 2011-03-10 2012-10-03 微软公司 界面控件的按压个性化
US10429923B1 (en) * 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
CN105898346A (zh) * 2016-04-21 2016-08-24 联想(北京)有限公司 控制方法、电子设备及控制系统
CN107077216A (zh) * 2016-12-19 2017-08-18 深圳市阳日电子有限公司 一种画面显示的方法及移动终端
CN109313483A (zh) * 2017-01-22 2019-02-05 广东虚拟现实科技有限公司 一种与虚拟现实环境进行交互的装置
CN107071556A (zh) * 2017-04-18 2017-08-18 腾讯科技(深圳)有限公司 一种界面渲染方法和装置
CN107168530A (zh) * 2017-04-26 2017-09-15 腾讯科技(深圳)有限公司 虚拟场景中的对象处理方法和装置
CN108700957A (zh) * 2017-06-30 2018-10-23 广东虚拟现实科技有限公司 用于虚拟环境中文本输入的电子系统和方法
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN108837506A (zh) * 2018-05-25 2018-11-20 网易(杭州)网络有限公司 一种竞速游戏中虚拟道具的控制方法、装置及存储介质
CN108874136A (zh) * 2018-06-13 2018-11-23 北京百度网讯科技有限公司 动态图像生成方法、装置、终端和存储介质
CN109701274A (zh) * 2018-12-26 2019-05-03 网易(杭州)网络有限公司 信息处理方法及装置、存储介质、电子设备
CN110124310A (zh) * 2019-05-20 2019-08-16 网易(杭州)网络有限公司 游戏中的虚拟道具信息分享方法、装置、设备
CN110209276A (zh) * 2019-05-28 2019-09-06 网易(杭州)网络有限公司 虚拟现实中的对象选择方法及装置、电子设备、存储介质
CN110115838A (zh) * 2019-05-30 2019-08-13 腾讯科技(深圳)有限公司 虚拟环境中生成标记信息的方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEX KREILINGER 等: "Switching between manual control and brain-computer interface using long term and short term quality measures", 《ORIGINAL RESEARCH ARTICLE》 *
史乾坤: "儿童教育类玩具虚拟化功能研究与设计开发", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111388997A (zh) * 2020-04-14 2020-07-10 网易(杭州)网络有限公司 游戏中的天气控制方法及系统、可读存储介质及电子设备
CN111831770A (zh) * 2020-06-30 2020-10-27 中国人民解放军战略支援部队信息工程大学 一种高速测控目标视图控制方法及装置
CN111831770B (zh) * 2020-06-30 2023-02-03 中国人民解放军战略支援部队信息工程大学 一种高速测控目标视图控制方法及装置
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质

Also Published As

Publication number Publication date
CN110866940B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US10814221B2 (en) Method for locking target in game scenario and terminal
CN109918975B (zh) 一种增强现实的处理方法、对象识别的方法及终端
CN110866940B (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN111580652B (zh) 视频播放的控制方法、装置、增强现实设备及存储介质
US9691179B2 (en) Computer-readable medium, information processing apparatus, information processing system and information processing method
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
CN111766937A (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
CN110442245A (zh) 基于物理键盘的显示方法、装置、终端设备及存储介质
CN103106388B (zh) 图像识别方法和系统
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
CN110941337A (zh) 虚拟形象的控制方法、终端设备及计算机可读存储介质
CN111273777A (zh) 虚拟内容的控制方法、装置、电子设备及存储介质
CN111766936A (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN111913674A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN110688018B (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN111913639B (zh) 虚拟内容的交互方法、装置、系统、终端设备及存储介质
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN114546103A (zh) 扩展现实中通过手势的操作方法和头戴式显示器系统
CN109753140B (zh) 基于虚拟现实的操作指令获取方法、装置
CN110750193A (zh) 一种基于人工智能的场景拓扑确定方法和装置
CN111744207B (zh) 一种游戏中的组队方法、装置、电子设备及存储介质
EP4345760A1 (en) Interaction method and apparatus in three-dimensional space, storage medium, and electronic apparatus
CN112534379B (zh) 媒体资源推送装置、方法、电子设备及存储介质
CN112328164B (zh) 操控方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant