CN111258423A - 组件显示方法、装置、存储介质及增强现实显示设备 - Google Patents

组件显示方法、装置、存储介质及增强现实显示设备 Download PDF

Info

Publication number
CN111258423A
CN111258423A CN202010039736.5A CN202010039736A CN111258423A CN 111258423 A CN111258423 A CN 111258423A CN 202010039736 A CN202010039736 A CN 202010039736A CN 111258423 A CN111258423 A CN 111258423A
Authority
CN
China
Prior art keywords
component
display
mouse
interface
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010039736.5A
Other languages
English (en)
Other versions
CN111258423B (zh
Inventor
王凯迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Mobile Communication Co Ltd
Original Assignee
Huizhou TCL Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Mobile Communication Co Ltd filed Critical Huizhou TCL Mobile Communication Co Ltd
Priority to CN202010039736.5A priority Critical patent/CN111258423B/zh
Publication of CN111258423A publication Critical patent/CN111258423A/zh
Application granted granted Critical
Publication of CN111258423B publication Critical patent/CN111258423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种组件显示方法、装置、存储介质及增强现实显示设备。该方法包括:在播放视频文件时,获取用户头部的偏转信息;判断所述偏转信息是否满足预设条件;若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。本方案中,在特定显示界面,只有当用户头部转动幅度超过一定范围时,鼠标才会显示;停止转动超过一定时间以后,鼠标会被隐藏,提高鼠标显示的智能性。

Description

组件显示方法、装置、存储介质及增强现实显示设备
技术领域
本申请涉及终端技术领域,尤其涉及一种组件显示方法、装置、存储介质及增强现实显示设备。
背景技术
AR(Augmented Reality,增强现实)是一种将虚拟信息与真实世界巧妙融合的技术,广泛应用了多媒体、实时跟踪、显示、传感器等多种技术手段,将真实物体和虚拟物体相互叠加和补充,从而提供超越现实的感官体验。其中增强现实显示技术是其中重要的内容,通常增强现实系统有一个头盔式显示器或者眼镜,半透明屏幕显示的内容与屏幕后面的真实场景叠加在一起。
相关技术中,AR设备模拟鼠标的交互方式,在大多数场景中鼠标一直显示在屏幕上。然而在某些特殊的场景时,比如播放全屏视频时,一直显示鼠标会影响用户的观看体验。
发明内容
本申请实施例提供一种组件显示方法、装置、存储介质及增强现实显示设备,可以提升鼠标组件显示的智能性。
第一方面,本申请实施例提供一种基于增强现实的组件显示方法,应用于增强现实显示设备,包括:
在播放视频文件时,获取用户头部的偏转信息;
判断所述偏转信息是否满足预设条件;
若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
在一实施方式中,所述功能组件还包括至少一个界面组件,所述根据所述目标位置在当前播放界面上显示对应的功能组件,包括:
基于所述目标位置在当前播放界面上显示所述鼠标组件;
当检测到所述鼠标组件的显示位置变化时,按照预设位置在当前播放界面上显示所述界面组件。
在一实施方式中,该方法还包括:
确定所述鼠标组件和所述界面组件之间的显示位置关系;
当所述鼠标组件位于所述界面组件的显示区域内时,监控所述鼠标组件在所述显示区域内的停留时长;
当所述停留时长达到预设时长时,执行与所述界面组件对应的操作指令。
在一实施方式中,所述根据所述偏转信息在当前视频文件的播放界面上确定目标位置,包括:
获取所述显示设备对应显示界面的尺寸、以及鼠标组件在所述显示界面上一次显示时的历史位置;
根据所述偏转信息确定所述鼠标组件的位置偏移量;
基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置。
在一实施方式中,基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置,包括:
在当前视频文件的播放界面上,相对于所述历史位置移动所述位置偏移量的距离,得到移动后的位置;
若移动后的位置在所述显示界面的尺寸范围内,则将移动后的位置作为所述目标位置;
若移动后的位置在显示界面的尺寸范围外,则根据所述移动后的位置的坐标信息,在所述显示界面的边缘区域确定目标位置。
在一实施方式中,该方法还包括:
当所述偏转信息不满足预设条件时,获取当前时间点与上一次所述鼠标组件显示时的历史时间点之间的时间差值;
判断所述时间差值是否达到预设阈值;
若否,则基于上一次所述鼠标组件显示时的历史位置,在当前播放界面上显示所述鼠标组件。
在一实施方式中,该方法还包括:
当检测到所述鼠标组件在当前位置的显示时长超过指定时长时,隐藏所述鼠标组件。
第二方面,本申请实施例提供了一种基于增强现实的组件显示装置,应用于增强现实显示设备,包括:
获取单元,用于在播放视频文件时,获取用户头部的偏转信息;
判断单元,用于判断所述偏转信息是否满足预设条件;
确定单元,用于若判断单元判定为是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
显示单元,用于根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
第三方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述的基于增强现实的组件显示方法。
第四方面,本申请实施例还提供了一种增强现实显示设备,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,处理器用于执行上述的基于增强现实的组件显示方法。
本申请实施中,在播放视频文件时,获取用户头部的偏转信息;判断所述偏转信息是否满足预设条件;若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。本方案中,在特定显示界面,只有当用户头部转动幅度超过一定范围时,鼠标才会显示;停止转动超过一定时间以后,鼠标会被隐藏,提高鼠标显示的智能性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的基于增强现实的组件显示方法的一流程示意图。
图1b是本申请实施例提供的基于增强现实的组件显示方法的应用场景图。
图2是本申请实施例提供的基于增强现实的组件显示方法的另一流程示意图
图3是本申请实施例提供的基于增强现实的组件显示装置的一结构示意图。
图4是本申请实施例提供的基于增强现实的组件显示装置的另一结构示意图。
图5是本申请实施例提供的增强现实显示设备的一结构示意图。
图6是本申请实施例提供的增强现实显示设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种组件显示方法、装置、存储介质及增强现实显示设备。以下将分别进行详细说明。
在一实施例中,提供一种基于增强现实的组件显示方法,应用于AR眼镜、AR头盔等具有显示功能的增强现实显示设备。参考图1a,该基于增强现实的组件显示方法的具体流程可以如下:
101、在播放视频文件时,获取用户头部的偏转信息。
具体的,本申请实施例针对的是增强现实显示设备,采用增强现实技术进行视频文件的播放。
增强现实技术也被称为扩增现实,其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中。两种信息互为补充,从而实现对真实世界的“增强”。增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。
增强现实技术不仅能够有效体现出真实世界的内容,也能够促使虚拟的信息内容显示出来,这些细腻内容相互补充和叠加。在视觉化的增强现实中,用户需要在头盔显示器的基础上,促使真实世界能够和电脑图形之间重合在一起,在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段,增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。
在本实施例中,可以通过AR眼镜、AR头盔等进行视频文件播放。具体实施时,需在AR眼镜、AR头盔等增强现实显示设备中内置陀螺仪、加速度传感器等运动传感器器件。用户可佩带AR眼镜、AR头盔等增强现实显示设备,通过内置的运动传感器件,以检测用户的运动数据,实现设备对用户状态的实时监控。
具体的,可以在增强现实显示设备内置陀螺仪,实时监控用户头部的运动信息,并将检测到的运动信息发送至处理器进行处理。参考图1b,陀螺仪传感器的每组数据可以包含三个方向的值,分别为绕X轴、Y轴、Z轴的旋转速率。
102、判断偏转信息是否满足预设条件。若是,执行步骤103,否则结束流程。
具体的,处理器在获取数据后将从中筛选有效数值进行条件判断。例如,该偏转信息可以包括偏转角度,当偏转角度达到一定幅度时,可以判定满足预设条件。
实际应用中,可以只使用绕X轴、Y轴旋转速率的数据,通过这些数据来计算用户的偏转角度。
103、根据偏转信息在当前视频文件的播放界面上确定目标位置。
具体的,用户头部的偏转信息满足预设条件时,根据偏转信息在当前视频文件的播放界面上确定目标位置。具体的,步骤“根据偏转信息在当前视频文件的播放界面上确定目标位置”,可以包括以下流程:
(11)获取显示设备对应显示界面的尺寸、以及鼠标组件在显示界面上一次显示时的历史位置;
(12)根据偏转信息确定鼠标组件的位置偏移量;
(13)基于位置偏移量、历史位置和显示界面的尺寸,在当前视频文件的播放界面上确定目标位置。
其中,显示界面的尺寸可以是预先进行设定的,用户可以基于增强现实显示设备的硬件配置,进行相应显示界面尺寸的配置。
在确定鼠标组件的位置偏移量时,可以基于预先设定的偏移量换算规则,结合该偏转信息,计算得到鼠标的位置偏移量。具体的,可以从上述获取的陀螺仪数据中提取绕X轴、Y轴旋转速率的数据,将它乘以一个指定系数,作为鼠标显示位置的变化量。其中,系数越大,标识鼠标的移动速度越快;反之则标识移动速度越慢。该系数的值可以根据实际需要进行调整,如该系数可以设定为25、30等值。
在一些实施例中,在基于位置偏移量、历史位置和显示界面的尺寸,在当前视频文件的播放界面上确定目标位置时,可以包括以下步骤:
(131)在当前视频文件的播放界面上,相对于历史位置移动该位置偏移量的距离,得到移动后的位置;
(132)若移动后的位置在显示界面的尺寸范围内,则将移动后的位置作为目标位置;
(133)若移动后的位置在显示界面的尺寸范围外,则根据移动后的位置的坐标信息,在显示界面的边缘区域确定目标位置。
具体的,显示模块在初始化时,获取AR显示设备的显示屏幕的长宽尺寸,并且把鼠标的位置设为屏幕的最中间。每当接收到处理器发送的位置偏移量,将在显示屏幕上更新鼠标的位置,并且计算是否超过了显示屏幕的边界。一旦超出了显示屏幕边界,则会将鼠标位置重置到边界区域(如最边缘位置)进行显示。
例如,以屏幕(矩形)左下角顶点为原点建立二维坐标系,若鼠标的位置横坐标和纵坐标均小于零,则将横坐标或纵坐标设为零;若鼠标位置的横坐标大于屏幕宽度,则把其位置的横坐标设置为屏幕宽度值,若鼠标位置的纵坐标大于屏幕高度,则把其位置的纵坐标设置屏幕高度值。
104、根据目标位置在当前播放界面上显示对应的功能组件,该功能组件至少包括鼠标组件。
具体的,根据上述确定的目标位置,在该目标位置处至少显示鼠标组件。
在一些实施例中,该功能组件还包括至少一个界面组件。本实施例中,界面组件(或界面控件)指可在窗体上放置的可视化图形“元件”,如按钮、文件编辑框等。其中大多数是具有执行功能或通过“事件”引发代码运行并完成响应的功能。而由于鼠标组件所具备的指令触发功能,通过鼠标对界面组件的操作可触发实现相应功能。
则在根据目标位置在当前播放界面上显示对应的功能组件时,具体可以基于目标位置在当前播放界面上显示鼠标组件;且当检测到鼠标组件的显示位置变化时,由于鼠标显示后位置发生变化,一定程度上可表示用户需要使用鼠标进行操作。因此,此时可按照预设位置在当前播放界面上显示界面组件,以使用户可以通过鼠标组件对界面组件进行操控。
在一些实施例中,在需要通过鼠标对界面组件进行操控实现相应功能时,可以通过两者的位置显示关系来确定鼠标组件的操作范围。也即,该组件显示方法还可以包括:
(21)确定鼠标组件和界面组件之间的显示位置关系;
(22)当鼠标组件位于界面组件的显示区域内时,监控鼠标组件在该显示区域内的停留时长;
(23)当停留时长达到预设时长时,执行与界面组件对应的操作指令。
具体的,通过检测鼠标组件与界面组件之间的显示位置关系,确定界面组件是否在鼠标组件的有效操作范围内。为避免误操作,在界面组件在鼠标组件的有效操作范围内后,可通过监控界面组件在鼠标组件有效操作范围内的时长(即监控鼠标的有效操作时长),并在该时长达到执行条件时,触发该现实设备执行该界面组件对应的操作指令,以实现指定功能。
本实施例中,为了不影响视频播放的显示效果,当检测到鼠标组件在当前位置的显示时长超过指定时长时,可认为用户当前无需操作鼠标,此时可以隐藏鼠标组件。需要说明的是,该当前位置具体指的是除界面组件显示位置外的其他区域内的位置。
在一些实施例中,鼠标组件在显示后隐藏,为避免鼠标组件误隐藏、或用户突然又想要使用鼠标,还可以通过鼠标组件的停止显示的时间间隔来进一步确定。也即,参考图2,当偏转信息不满足预设条件时,该组件显示方法还可以包括以下流程:
105、获取当前时间点与上一次鼠标组件显示时的历史时间点之间的时间差值;
106、判断时间差值是否达到预设阈值;若是,接收流程;否则执行步骤107;
107、基于上一次鼠标组件显示时的历史位置,在当前播放界面上显示鼠标组件。
具体的,当用户的头部发生偏转、但偏转幅度较小时,若当前时刻与上一次鼠标组件显示时间点之间的时间差大于预设值,则可认为用户还需使用鼠标。此时,则可以将鼠标组件再次显示在当前播放界面上,具体可以在上一次鼠标组件显示时的历史位置处继续显示该鼠标组件,从而使用户可正常操作鼠标。
由上可知,本实施例提供的基于增强现实的组件显示方法,在播放视频文件时,获取用户头部的偏转信息;判断所述偏转信息是否满足预设条件;若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。本方案中,在特定显示界面,只有当用户头部转动幅度超过一定范围时,鼠标才会显示;停止转动超过一定时间以后,鼠标会被隐藏,提高鼠标显示的智能性。
在本申请又一实施例中,还提供一种基于增强现实的组件显示装置,该基于增强现实的组件显示装置可以软件或硬件的形式集成增强现实显示设备中,该增强现实显示设备具体可以包括AR眼镜、AR头盔等具备显示功能的增强现实穿戴设备。如图3所示,该基于增强现实的组件显示装置300可以包括:检测单元301、确定单元302和第一处理单元303,其中:
信息获取单元301,用于在播放视频文件时,获取用户头部的偏转信息;
第一判断单元302,用于判断所述偏转信息是否满足预设条件;
位置确定单元303,用于若判断单元判定为是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
显示单元304,用于根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
在一些实施例中,所述功能组件还包括至少一个界面组件,显示单元304可以用于:
基于所述目标位置在当前播放界面上显示所述鼠标组件;
当检测到所述鼠标组件的显示位置变化时,按照预设位置在当前播放界面上显示所述界面组件。
参考图4,在一些实施例中,组件显示装置300还可以包括:
关系确定单元305,用于确定所述鼠标组件和所述界面组件之间的显示位置关系;
监控单元306,用于当所述鼠标组件位于所述界面组件的显示区域内时,监控所述鼠标组件在所述显示区域内的停留时长;
处理单元307,用于当所述停留时长达到预设时长时,执行与所述界面组件对应的操作指令。
在一些实施例中,位置确定单元303可用于:
获取所述显示设备对应显示界面的尺寸、以及鼠标组件在所述显示界面上一次显示时的历史位置;
根据所述偏转信息确定所述鼠标组件的位置偏移量;
基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置。
在一些实施例中,目标位置确定单元303进一步可以用于:
在当前视频文件的播放界面上,相对于所述历史位置移动所述位置偏移量的距离,得到移动后的位置;
若移动后的位置在所述显示界面的尺寸范围内,则将移动后的位置作为所述目标位置;
若移动后的位置在显示界面的尺寸范围外,则根据所述移动后的位置的坐标信息,在所述显示界面的边缘区域确定目标位置。
在一些实施例中,该基于增强现实的组件显示装置300还可以包括:
差值获取单元,用于当所述偏转信息不满足预设条件时,获取当前时间点与上一次所述鼠标组件显示时的历史时间点之间的时间差值;
第二判断单元,用于判断所述时间差值是否达到预设阈值;
显示单元304,还可以用于若第二判断单元判定为否,则基于上一次所述鼠标组件显示时的历史位置,在当前播放界面上显示所述鼠标组件。
在一些实施例中,该基于增强现实的组件显示装置300还可以包括:
隐藏单元,用于当检测到所述鼠标组件在当前位置的显示时长超过指定时长时,隐藏所述鼠标组件。
由上可知,本申请实施例提供的基于增强现实的组件显示装置,在播放视频文件时,获取用户头部的偏转信息;判断所述偏转信息是否满足预设条件;若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。本方案中,在特定显示界面,只有当用户头部转动幅度超过一定范围时,鼠标才会显示;停止转动超过一定时间以后,鼠标会被隐藏,提高鼠标显示的智能性。
在本申请又一实施例中还提供一种增强现实显示设备,如可以是AR眼镜等具有显示功能的智能穿戴设备。如图5所示,该增强现实显示设备400包括处理器401和存储器402。其中,处理器401与存储器402电性连接。
处理器401是增强现实显示设备400的控制中心,利用各种接口和线路连接整个增强现实显示设备的各个部分,通过运行或加载存储在存储器402内的应用,以及调用存储在存储器402内的数据,执行增强现实显示设备的各种功能和处理数据,从而对增强现实显示设备进行整体监控。
在本实施例中,增强现实显示设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用,从而实现各种功能:
在播放视频文件时,获取用户头部的偏转信息;
判断所述偏转信息是否满足预设条件;
若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
在一些实施例中,所述功能组件还包括至少一个界面组件。在根据目标位置在当前播放界面上显示对应的功能组件时,处理器401还执行以下步骤:
基于所述目标位置在当前播放界面上显示所述鼠标组件;
当检测到所述鼠标组件的显示位置变化时,按照预设位置在当前播放界面上显示所述界面组件。
在一些实施例中,处理器401还执行以下步骤:
确定所述鼠标组件和所述界面组件之间的显示位置关系;
当所述鼠标组件位于所述界面组件的显示区域内时,监控所述鼠标组件在所述显示区域内的停留时长;
当所述停留时长达到预设时长时,执行与所述界面组件对应的操作指令。
在一些实施例中,在根据所述偏转信息在当前视频文件的播放界面上确定目标位置时,处理器401还执行以下步骤:
获取所述显示设备对应显示界面的尺寸、以及鼠标组件在所述显示界面上一次显示时的历史位置;
根据所述偏转信息确定所述鼠标组件的位置偏移量;
基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置。
在一些实施例中,基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置时,处理器401还执行以下步骤:
在当前视频文件的播放界面上,相对于所述历史位置移动所述位置偏移量的距离,得到移动后的位置;
若移动后的位置在所述显示界面的尺寸范围内,则将移动后的位置作为所述目标位置;
若移动后的位置在显示界面的尺寸范围外,则根据所述移动后的位置的坐标信息,在所述显示界面的边缘区域确定目标位置。
在一些实施例中,处理器401还执行以下步骤:
当所述偏转信息不满足预设条件时,获取当前时间点与上一次所述鼠标组件显示时的历史时间点之间的时间差值;
判断所述时间差值是否达到预设阈值;
若否,则基于上一次所述鼠标组件显示时的历史位置,在当前播放界面上显示所述鼠标组件。
在一些实施例中,处理器401还执行以下步骤:
当检测到所述鼠标组件在当前位置的显示时长超过指定时长时,隐藏所述鼠标组件。
存储器402可用于存储应用和数据。存储器402存储的应用中包含有可在处理器中执行的指令。应用可以组成各种功能模块。处理器401通过运行存储在存储器402的应用,从而执行各种功能应用以及基于增强现实的组件显示。
在一些实施例中,如图6所示,增强现实显示设备400还包括:显示屏403、控制电路404、射频电路405、输入单元406、传感器408以及电源409。其中,处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、摄像头407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及增强现实显示设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路404与显示屏403电性连接,用于控制显示屏403显示信息。
射频电路405用于收发射频信号,以通过无线通信与增强现实显示设备或其他增强现实显示设备建立无线通讯,与服务器或其他增强现实显示设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
摄像头407可用于采集图像信息。其中,该摄像头可以是具有一个镜头的单摄像头,也可以具有两个或多个镜头。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。在本实施例中,该传感器可以为陀螺仪,当用户穿戴增强现实显示设备时,通过陀螺仪获取三个方向的运动数据,并发送至处理器401进行处理。
电源409用于给增强现实显示设备400的各个部件供电。在一些实施例中,电源409可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图6中未示出,增强现实显示设备400还可以包括扬声器、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供的增强现实显示设备,在播放视频文件时,获取用户头部的偏转信息;判断所述偏转信息是否满足预设条件;若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。本方案中,在特定显示界面,只有当用户头部转动幅度超过一定范围时,鼠标才会显示;停止转动超过一定时间以后,鼠标会被隐藏,提高鼠标显示的智能性。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质中存储有多条指令,该指令适于由处理器加载以执行上述任一基于增强现实的组件显示方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本申请实施例所提供的基于增强现实的组件显示方法、装置、存储介质及增强现实显示设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于增强现实的组件显示方法,应用于增强现实显示设备,其特征在于,包括:
在播放视频文件时,获取用户头部的偏转信息;
判断所述偏转信息是否满足预设条件;
若是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
2.根据权利要求1所述的基于增强现实的组件显示方法,其特征在于,所述功能组件还包括至少一个界面组件,所述根据所述目标位置在当前播放界面上显示对应的功能组件,包括:
基于所述目标位置在当前播放界面上显示所述鼠标组件;
当检测到所述鼠标组件的显示位置变化时,按照预设位置在当前播放界面上显示所述界面组件。
3.根据权利要求2所述的基于增强现实的组件显示方法,其特征在于,还包括:
确定所述鼠标组件和所述界面组件之间的显示位置关系;
当所述鼠标组件位于所述界面组件的显示区域内时,监控所述鼠标组件在所述显示区域内的停留时长;
当所述停留时长达到预设时长时,执行与所述界面组件对应的操作指令。
4.根据权利要求1所述的基于增强现实的组件显示方法,其特征在于,所述根据所述偏转信息在当前视频文件的播放界面上确定目标位置,包括:
获取所述显示设备对应显示界面的尺寸、以及鼠标组件在所述显示界面上一次显示时的历史位置;
根据所述偏转信息确定所述鼠标组件的位置偏移量;
基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置。
5.根据权利要求4所述的基于增强现实的组件显示方法,其特征在于,基于所述位置偏移量、所述历史位置和所述显示界面的尺寸,在当前视频文件的播放界面上确定目标位置,包括:
在当前视频文件的播放界面上,相对于所述历史位置移动所述位置偏移量的距离,得到移动后的位置;
若移动后的位置在所述显示界面的尺寸范围内,则将移动后的位置作为所述目标位置;
若移动后的位置在显示界面的尺寸范围外,则根据所述移动后的位置的坐标信息,在所述显示界面的边缘区域确定目标位置。
6.根据权利要求1-5任一项所述的基于增强现实的组件显示方法,其特征在于,还包括:
当所述偏转信息不满足预设条件时,获取当前时间点与上一次所述鼠标组件显示时的历史时间点之间的时间差值;
判断所述时间差值是否达到预设阈值;
若否,则基于上一次所述鼠标组件显示时的历史位置,在当前播放界面上显示所述鼠标组件。
7.根据权利要求1-5任一项所述的基于增强现实的组件显示方法,其特征在于,还包括:
当检测到所述鼠标组件在当前位置的显示时长超过指定时长时,隐藏所述鼠标组件。
8.一种基于增强现实的组件显示装置,应用于增强现实显示设备,其特征在于,包括:
获取单元,用于在播放视频文件时,获取用户头部的偏转信息;
判断单元,用于判断所述偏转信息是否满足预设条件;
位置确定单元,用于若判断单元判定为是,则根据所述偏转信息在当前视频文件的播放界面上确定目标位置;
显示单元,用于根据所述目标位置在当前播放界面上显示对应的功能组件,所述功能组件至少包括鼠标组件。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1-7任一项所述的基于增强现实的组件显示方法。
10.一种增强现实显示设备,其特征在于,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;所述处理器用于执行权利要求1-7任一项所述的基于增强现实的组件显示方法。
CN202010039736.5A 2020-01-15 2020-01-15 组件显示方法、装置、存储介质及增强现实显示设备 Active CN111258423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010039736.5A CN111258423B (zh) 2020-01-15 2020-01-15 组件显示方法、装置、存储介质及增强现实显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010039736.5A CN111258423B (zh) 2020-01-15 2020-01-15 组件显示方法、装置、存储介质及增强现实显示设备

Publications (2)

Publication Number Publication Date
CN111258423A true CN111258423A (zh) 2020-06-09
CN111258423B CN111258423B (zh) 2021-10-22

Family

ID=70945232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010039736.5A Active CN111258423B (zh) 2020-01-15 2020-01-15 组件显示方法、装置、存储介质及增强现实显示设备

Country Status (1)

Country Link
CN (1) CN111258423B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287949A (zh) * 2020-11-02 2021-01-29 杭州灵伴科技有限公司 一种基于多个特征信息的ar信息显示方法及ar显示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030222925A1 (en) * 2002-05-31 2003-12-04 Stephen John Regelous Field control method and system
CN102402315A (zh) * 2010-09-17 2012-04-04 联想(北京)有限公司 鼠标指针控制方法、系统及控制设备
CN103197832A (zh) * 2012-01-09 2013-07-10 国际商业机器公司 快速光标定位方法和系统
US20140211408A1 (en) * 2013-01-28 2014-07-31 Hewlett-Packard Development Company, L. P. Disable Home Key
CN107122148A (zh) * 2017-03-17 2017-09-01 广州视源电子科技股份有限公司 远程协作方法及系统
CN107995965A (zh) * 2016-09-29 2018-05-04 深圳市柔宇科技有限公司 控制方法、控制装置及智能穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030222925A1 (en) * 2002-05-31 2003-12-04 Stephen John Regelous Field control method and system
CN102402315A (zh) * 2010-09-17 2012-04-04 联想(北京)有限公司 鼠标指针控制方法、系统及控制设备
CN103197832A (zh) * 2012-01-09 2013-07-10 国际商业机器公司 快速光标定位方法和系统
US20140211408A1 (en) * 2013-01-28 2014-07-31 Hewlett-Packard Development Company, L. P. Disable Home Key
CN107995965A (zh) * 2016-09-29 2018-05-04 深圳市柔宇科技有限公司 控制方法、控制装置及智能穿戴设备
CN107122148A (zh) * 2017-03-17 2017-09-01 广州视源电子科技股份有限公司 远程协作方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287949A (zh) * 2020-11-02 2021-01-29 杭州灵伴科技有限公司 一种基于多个特征信息的ar信息显示方法及ar显示装置

Also Published As

Publication number Publication date
CN111258423B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US9224237B2 (en) Simulating three-dimensional views using planes of content
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN108694073B (zh) 虚拟场景的控制方法、装置、设备及存储介质
CN111308707B (zh) 画面显示调节方法、装置、存储介质及增强现实显示设备
CN110716685B (zh) 图像显示方法,图像显示装置、系统及其实体对象
US20210041942A1 (en) Sensing and control method based on virtual reality, smart terminal, and device having storage function
EP3547265A1 (en) Method, storage medium and apparatus for generating environment model
WO2023103615A1 (zh) 虚拟对象的切换方法、装置、设备、介质及程序产品
EP3991142A1 (en) Fast hand meshing for dynamic occlusion
CN111258423B (zh) 组件显示方法、装置、存储介质及增强现实显示设备
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
CN111240483A (zh) 操作控制方法、头戴式设备及介质
CN110717993A (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
EP3574387A1 (en) Projecting inputs to three-dimensional object representations
CN117111742A (zh) 图像交互方法、装置、电子设备及存储介质
CN117883776A (zh) 游戏队伍配置方法、装置、头显设备和存储介质
CN115328423A (zh) 显示方法、装置、系统、存储介质及电子设备
KR100817647B1 (ko) 변형될 수 있는 장치를 사용하는 인간-컴퓨터간 인터페이스
CN114470763A (zh) 显示交互画面的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant