CN117311507A - 应用画布的调整方法、装置、电子设备及存储介质 - Google Patents
应用画布的调整方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117311507A CN117311507A CN202311286357.6A CN202311286357A CN117311507A CN 117311507 A CN117311507 A CN 117311507A CN 202311286357 A CN202311286357 A CN 202311286357A CN 117311507 A CN117311507 A CN 117311507A
- Authority
- CN
- China
- Prior art keywords
- user
- application canvas
- position range
- condition
- display position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 82
- 230000002452 interceptive effect Effects 0.000 claims abstract description 67
- 230000006399 behavior Effects 0.000 claims description 115
- 230000009467 reduction Effects 0.000 claims description 26
- 230000003542 behavioural effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 208000018747 cerebellar ataxia with neuropathy and bilateral vestibular areflexia syndrome Diseases 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供的应用画布的调整方法、装置、电子设备及存储介质,属于显示技术领域,应用于HMD设备,所述方法包括:在所述HMD设备显示应用画布的情况下,获取用户的行为特征;判断所述行为特征是否满足干扰用户视野条件;在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
Description
技术领域
本公开属于显示技术领域,特别涉及一种应用画布的调整方法、装置、电子设备及存储介质。
背景技术
头戴式显示器(HMD,Head-Mounted Display),是一种通过各种头显,向眼睛发送光学信号的显示设备,可以实现MR(Mixed Reality,混合现实)、VR(Virtual Reality,增强显示)、AR(Augmented Reality,增强现实)等多种显示效果,MR设备是一种兼具AR和VR的特点的技术,在MR设备开启VR模式时,MR设备通过屏蔽物理世界的内容构建纯虚拟世界,然后在虚拟世界内容中叠加数字内容,为用户提供沉浸式的世界体验,例如在显示画面中构建出与现实世界的相同的户外湖泊场景画面,然后在虚拟的户外湖泊场景画面中叠加电视画面,来向用户展示数字内容。MR设备开启AR模式时,MR设备在物理世界基础上叠加数字内容,为用户提供虚拟和现实的融合体验。
相关技术中HMD设备通常会通过虚拟构建的应用画布来显示数字内容,但是应用画布的往往会遮挡用户的视野,若用户需要看清眼前的事物,就需要脱掉HMD设备,这样的应用画布显示方式显然难以满足用户使用HMD设备的便捷性。
发明内容
本公开提供的一种应用画布的调整方法、装置、电子设备及存储介质。
本公开一些实施例提供一种应用画布的调整方法,应用于HMD设备,所述方法包括:
在所述HMD设备显示应用画布的情况下,获取用户的行为特征;
判断所述行为特征是否满足干扰用户视野条件;
在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
可选地,所述用户的行为特征至少包括:佩戴所述HMD设备的用户的注视点位置;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征还包括:佩戴所述HMD设备的用户的移动速度;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
在确定所述移动速度大于第一速度阈值时,判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征至少包括:目标对象的对象位置范围;
所述获取用户的行为特征,包括:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述应用画布的显示位置范围是否与所述对象位置范围重合;
在所述应用画布的显示位置范围与所述对象位置范围不重合,确认所述行为特征不满足干扰用户视野条件;
在所述应用画布的显示位置范围与所述对象位置范围重合,确认所述行为特征满足干扰用户视野条件。
可选地,所述行为特征至少包括:佩戴所述HMD设备的用户的注视点位置、目标对象的对象位置范围;
所述获取用户的行为特征,包括:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述注视点位置是否落入所述应用画布的显示范围之内,且所述注视点位置是否落入所述目标对象的对象位置范围之内;
在所述注视点位置未落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件;
在所述注视点位置落入所述显示位置范围之内,或者所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
可选地,所述按照目标方式对所述应用画布进行调整,包括:
将所述应用画布的显示位置范围向远离所述注视点位置的方向调整。
可选地,所述按照目标方式对所述应用画布进行调整,包括:
缩小所述应用画布的显示尺寸。
可选地,所述行为特征至少包括:用户移动速度;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述用户移动速度是否大于第二速度阈值;
在所述用户移动速度大于第二速度阈值时,确认所述行为特征满足干扰用户视野条件;
在所述用户移动速度小于第二速度阈值时,确认所述行为特征不满足干扰用户视野条件。
可选地,所述行为特征还包括:用户移动方向;
所述按照目标方式对所述应用画布进行调整,包括:
将所述应用画布的显示位置范围向远离所述用户移动方向调整。
可选地,所述将所述应用画布的显示向远离所述用户移动方向调整,包括:
根据所述用户移动速度计算所述应用画布的偏移角度,其中,所述用户移动速度和所述偏移角度呈正相关关系;
将所述应用画布的显示位置范围向远离所述用户移动方向移动所述偏移角度。
可选地,所述按照目标方式对所述应用画布进行调整,包括:
根据所述用户移动速度计算所述应用画布的缩小比例,其中,所述用户移动速度和所述缩小比例呈正相关关系;
将所述应用画布的显示尺寸按照所述缩小比例进行调整。
可选地,所述行为特征包括:用户姿态;
所述按照目标方式对所述应用画布进行调整,包括:
在所述用户姿态为走路状态时,将所述应用画布的显示位置范围调整至第一显示位置范围;
在所述用户姿态为跑步状态时,将所述应用画布的显示位置范围调整至第二显示位置范围;
在所述用户姿态为骑行状态时,将所述应用画布的显示位置范围调整至第三显示位置范围;
在所述用户姿态为驾车状态时,将所述应用画布的显示位置范围调整为第四显示位置范围;
其中,干扰所述视野的面积从小到大依次为:所述第一显示位置范围、所述第二显示位置范围、所述第三显示位置范围、所述第四显示位置范围。
可选地,所述方法还包括:
查询与所述行为特征相匹配的目标应用程序;
在所述应用画布中显示所述目标应用程序的界面。
本公开一些实施例提供一种应用画布的调整装置,应用于HMD设备,所述装置包括:
采集模块,用于在所述HMD设备显示应用画布的情况下,获取用户的行为特征;
判断模块,用于判断所述行为特征是否满足干扰用户视野条件;
调整模块,用于在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
可选地,所述用户的行为特征至少包括:佩戴所述HMD设备的用户的注视点位置;
所述判断模块,还用于:
判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征还包括:佩戴所述HMD设备的用户的移动速度;
所述判断模块,还用于:
在确定所述移动速度大于第一速度阈值时,判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征至少包括:目标对象的对象位置范围;
所述采集模块,还用于:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断模块,还用于:
判断所述应用画布的显示位置范围是否与所述对象位置范围重合;
在所述应用画布的显示位置范围与所述对象位置范围不重合,确认所述行为特征不满足干扰用户视野条件;
在所述应用画布的显示位置范围与所述对象位置范围重合,确认所述行为特征满足干扰用户视野条件。
可选地,所述行为特征至少包括:佩戴所述HMD设备的用户的注视点位置、目标对象的对象位置范围;
所述采集模块,还用于:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断模块,还用于:
判断所述注视点位置是否落入所述应用画布的显示范围之内,且所述注视点位置是否落入所述目标对象的对象位置范围之内;
在所述注视点位置未落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件;
在所述注视点位置落入所述显示位置范围之内,或者所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
可选地,所述调整模块,还用于:
将所述应用画布的显示位置范围向远离所述注视点位置的方向调整。
可选地,所述调整模块,还用于:
缩小所述应用画布的显示尺寸。
可选地,所述行为特征至少包括:用户移动速度;
所述判断模块,还用于:
判断所述用户移动速度是否大于第二速度阈值;
在所述用户移动速度大于第二速度阈值时,确认所述行为特征满足干扰用户视野条件;
在所述用户移动速度小于第二速度阈值时,确认所述行为特征不满足干扰用户视野条件。
可选地,所述行为特征还包括:用户移动方向;
所述调整模块,还用于:
将所述应用画布的显示位置范围向远离所述用户移动方向调整。
可选地,所述调整模块,还用于:
根据所述用户移动速度计算所述应用画布的偏移角度,其中,所述用户移动速度和所述偏移角度呈正相关关系;
将所述应用画布的显示位置范围向远离所述用户移动方向移动所述偏移角度。
可选地,所述调整模块,还用于:
根据所述用户移动速度计算所述应用画布的缩小比例,其中,所述用户移动速度和所述缩小比例呈正相关关系;
将所述应用画布的显示尺寸按照所述缩小比例进行调整。
可选地,所述行为特征包括:用户姿态;
所述调整模块,还用于:
在所述用户姿态为走路状态时,将所述应用画布的显示位置范围调整至第一显示位置范围;
在所述用户姿态为跑步状态时,将所述应用画布的显示位置范围调整至第二显示位置范围;
在所述用户姿态为骑行状态时,将所述应用画布的显示位置范围调整至第三显示位置范围;
在所述用户姿态为驾车状态时,将所述应用画布的显示位置范围调整为第四显示位置范围;
其中,干扰所述视野的面积从小到大依次为:所述第一显示位置范围、所述第二显示位置范围、所述第三显示位置范围、所述第四显示位置范围。
本公开一些实施例提供一种计算处理设备,包括:
存储器,其中存储有计算机可读代码;
一个或多个处理器,当所述计算机可读代码被所述一个或多个处理器执行时,所述计算处理设备执行如上述的应用画布的调整方法。
本公开一些实施例提供一种非瞬态计算机可读介质,存储计算机可读代码,当所述计算机可读代码在计算处理设备上运行时,导致所述计算处理设备执行上述的应用画布的调整方法。
本公开提供的一种应用画布的调整方法、装置、电子设备及存储介质,通过在用户使用HMD设备时对用户的行为特征进行识别,在确认所显示的应用画布对用户视野造成干扰时,自动调整应用画布的显示方式来减少应用画布的对于用户视野的遮挡面积,尽可能减少应用画布对于用户视野的干扰,使得HMD设备使用更加便捷。
上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的流程示意图;
图2示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之一;
图3示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之二;
图4示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之三;
图5示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之四;
图6示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之五;
图7示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之六;
图8示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之七;
图9示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之八;
图10示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之九;
图11示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之十;
图12示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之十一;
图13示意性地示出了本公开一些实施例提供的一种应用画布的调整方法的效果示意图之十二;
图14示意性地示出了本公开一些实施例提供的一种应用画布的调整装置的结构示意图;
图15示意性地示出了用于执行根据本公开一些实施例的方法的计算处理设备的框图;
图16示意性地示出了用于保持或者携带实现根据本公开一些实施例的方法的程序代码的存储单元。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1示意性地示出了本公开提供的一种应用画布的调整方法的流程示意图,应用于HMD设备,所述方法包括:
步骤101,在所述HMD设备显示应用画布的情况下,获取用户的行为特征。
在本公开实施例中,应用画布是指HMD设备所显示的数据内容画面,与其相对的是HMD设备所显示画面中还包含的背景内容画面,通常背景内容画面可以现实世界场景,当然还可以根据实际需求设置其他内容作为背景内容画面。该应用画布在HMD设备的整个显示画面中可以存在一个或者多个,以使得用户可以根据自身的实际需求选择同时获取一个或者多个应用画布提供的数据内容画面。
具体的,用户在佩戴并开启HMD设备之后,HMD设备首先屏蔽物理世界的内功构建虚拟世界,该虚拟世界可以是基于用户所处的实际环境生成的虚拟场景画面,然后HMD设备开始对佩戴HMD设备的用户的行为特征进行采集。采集行为特征的方式可以是通过与HMD设备连接的摄像头对用户进行拍摄,通过分析用户图像来获知用户的姿势、体态、位置等可以表征用户当前行为的图像特征,当然还可以通过HMD设备中安装的中央陀螺仪来采集用户的移动方向、或者是速度传感器来获取用户的移动速度来作为行为特征,或者是通过穿戴在用户身上的智能手表、关节点传感器来获取用户的肢体活动轨迹来作为行为特征,凡是可以表征用户行为的特征数据采集方式均可适用于本公开实施例,此处不做限定。
步骤102,判断所述行为特征是否满足干扰用户视野条件。
在本公开实施例中,用户视野是指用户在佩戴HMD设备时,人眼可以观测到的视觉范围。考虑到用户在使用HMD设备时,可能暂时不观看应用画布所显示的虚拟数字内容,例如:在一种应用场景中,在用户使用HMD设备同时,旁边出现其他人员想要与其交谈,此时若用户在不脱掉HMD设备,想要看到与其交谈的人员的话,应用画布则可能遮挡用户视野,导致用户无法看到或者是完整看到旁边的人;在另一种应用场景中,用户在佩戴和使用HMD设备的同时,需要暂时前往某地,此时用户显示需要查看脚下的地形和路况才能正常行走,此时若用户不脱掉HMD设备,其所显示应用画面则可能遮挡用户查看脚下地形和路况。可见,用户在佩戴和使用HMD设备的同时,应用画布是否干扰用户视野,与用户当前行为有关,因此可以通过用户采集到的行为特征进行分析,来判别应用画布是否会对用户视野造成干扰。
示例性的,可通过摄像头对用户进行拍摄,通过对用户图像进行识别来确定用户是否在移动,若用户移动则可确认应用画布干扰到了用户的视野,若用户未移动则可确认应用画布未干扰用户视野;或者是通过摄像头对用户所在的周围环境进行拍摄,通过对周围环境进行拍摄来识别是否有人员闯入,若存在用户闯入的情况,则确认应用画布干扰了用户的视野,若不存在用户闯入的情况,则确认应用画布未干扰用户视野;或者是通过麦克风对用户语音进行采集,通过对语音信息进行语义分析来确认用户是否在与他人交谈,若确认与他人交谈,则可确认应用画布干扰了用户视野,若未检测到用户语音,则可确认应用画布未干扰用户视野。当然此时仅是示例性描述,具体如何根据用户的行为特征判别应用画布是否干扰用户视野的方式可以根据实际需求设置,此处不做限定。
步骤103,在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
在本公开实施例中,若基于用户的行为特征确认应用画布干扰到了用户视野,则HMD设备可以按照目标方式通过对应用画面的显示参数进行调整来减少应用画布在用户视野中的显示效果,以尽量减少应用画布对于用户视野的遮挡面积。干扰用户视野条件是用于描述应用画布遮挡用户视野时,用户的行为特征所需满足的条件,该干扰用户视野条件可以是系统默认设置,也可以是用户自行设置的。可以理解,系统可以预先设置干扰用户视野条件,来自动对一些应用画布遮挡用户视野的场景进行识别,例如用户开车、用户行走、用户与他人交谈的场景,当然用户还可以根据自身需求针对一些自身所需调整应用画布的场景,设置干扰用户视野条件,具体可以根据实际需求设置,此处不做限定。
示例性的,该目标方式可以是可通过将应用画布的显示位置范围往用户视野的边缘调整,来减少应用画面对用户正前方视野的干扰;或者该目标方式可以是通过增大应用画布的透明度,来减少应用画布对于所遮挡用户视野的遮挡效果;或者该目标方式可以是通过暂时关闭或者隐藏应用画布,来将应用画布从用户视野中移除。当然此处仅是示例性说明,调整应用画布的目标方式可以根据实际需求设置,此处不做限定。
进一步的,在本公开的一些实施例中,在调整应用画布之后,若确认应用画布未干扰视野,可将应用画布调整回应用画布的原始状态,也可以自动调整至其他状态,只要可以使得用户可重新查看应用画布即可是用于本公开实施例,具体可以根据实际需求设置,此处不做限定。
本公开实施例通过在用户使用HMD设备时对用户的行为特征进行识别,在确认所显示的应用画布对用户视野造成干扰时,自动调整应用画布的显示方式来减少应用画布的对于用户视野的遮挡面积,尽可能减少应用画布对于用户视野的干扰,使得HMD设备使用更加便捷。
可选地,所述行为特征至少包括:佩戴所述HMD设备的用户的注视点位置,所述步骤102,包括:
步骤1021A,判断所述注视点位置是否落入所述应用画布的显示范围之内。
步骤1022A,在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
步骤1023A,在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
在本公开实施例中,注视点位置是指用户的双眼聚焦的位置,可通过眼动仪或者其他光学检测设备对用户的双眼进行检测确定。在实际应用中,若用户的注视点未落在应用画布上时,可以判定用户在观看应用画布以外的画面,此时即可确认应用画布已经干扰了用户视野。具体的,可通过对的注视点位置进行检测,然后将注视点位置与应用画布的显示位置范围进行比对,若注视点位置位落入应用画布的显示位置范围之内,即可确定应用画布干扰了用户视野,若注视点位置处于应用画布之外的其他画面位置,则确定应用画布未干扰到用户视野。
参照图2,其中在用户视野中存在3个应用画布,分别是应用1、应用2、应用3,当用户的注视点落在应用2上时,则可确定注视点位置落入应用画布的显示位置范围之内,此时即可确定应用画布并未干扰用户视野。进一步的,参照图3,当用户的注视点位置落在应用1和应用2之间的人物对象上时,则可注视点位置未落入应用画布的显示范围之内,此时即可确定应用画布干扰用户视野,即可通过图4所示的方式将应用1和应用2的显示位置范围向远离对象人物的两侧移动,从而减少应用画布对于用户视野的干扰程度。
本公开实施例通过基于用户的注视点位置是否落入应用画布的显示位置范围之内来判定应用画布是否干扰用户视野,从而在用户观看应用画布以外画面的是否可以及时对应用画布的显示位置范围进行调整,提高了用户观看意图识别的准确性。
可选地,所述用户的行为特征还包括:佩戴所述HMD设备的用户的移动速度;
所述步骤102,包括:
步骤1021B,在确定所述移动速度大于第一速度阈值时,判断所述注视点位置是否落入所述应用画布的显示范围之内.
步骤1022B,在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
步骤1023B,在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
在本公开实施例中,考虑到佩戴HMD设备的用户在进行移动时,需要查看前方的道路的情况,因此可基于佩戴HMD设备的用户的移动速度确认是否开启视野干扰检测。基于显示位置范围和注视点位置的应用画布干扰视野检测可以参照步骤1021A~步骤1023A中的描述,此处不在赘述。
可选地,所述行为特征至少包括:注视点位置,所述步骤101,包括:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围。
在本公开实施例中,目标对象可以是现实世界中的人、动物、汽车等任何事物,具体可以根据实际需求设置,此处不做限定。考虑到用户视野中若出现目标对象时,用户需要转移视线去看时,应用画布可能干扰用户视野,此时则需要通过获取用户关注点位置来确定用户是否在看目标对象,以及将应用画布调整至哪个位置才不会干扰用户视野。
可选地,所述步骤102,包括:
步骤1021C,判断所述注视点位置是否落入所述应用画布的显示范围之内,且所述注视点位置是否落入所述目标对象的对象位置范围之内。
步骤1022C,在所述注视点位置未落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
步骤1023C,在所述注视点位置落入所述显示位置范围之内,或者所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
在本公开实施例中,考虑到即使应用的注视点位置未落入应用画布的显示位置范围之内时,也可能仅是短暂的视线偏移,并不是为了观看场景中出现的目标对象,因此若在目标对象出现时直接对应用画布进行调整,会影响用户正常观看应用画布。因此可以将用户的注视点位置与应用画布的显示位置范围、对象位置范围同时进行比对,仅在用户的注视点位置脱离应用画布的显示位置范围,且注视点位置落入对象位置范围的情况下,确认应用画布干扰用户视野。
进一步的,在所述注视点位置落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认应用画布未干扰用户视野;在所述应用画布的显示位置范围与注视点位置重合,且目标对象的对象位置范围与注视点位置不重合的情况下,确认应用画布未干扰用户视野;在所述注视点位置落入所述显示位置范围之内,且所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
参照图5,在对象位置范围和注视点位置重合,且应用画布的显示位置范围与应用2的显示位置范围重合时,则可确定应用画布干扰了用户视野,参照可如图6所示,将应用1、2、3的显示位置范围向注视点位置两侧进行移动,以减少应用画布对于用户视野的干扰。
本公开实施例通过将用户的注视点位置与对象位置范围、应用画布的显示位置范围同时进行比对来判别应用画布是否干扰用户视野,确保了用户在实际需要观看目标对象的情况下才对应用画布进行调整,避免了应用画布误判影响用户观看体验的情况出现。
可选地,所述步骤102,包括:
步骤1021D,判断所述应用画布的显示位置范围是否与所述对象位置范围重合。
步骤1022D,在所述应用画布的显示位置范围与所述对象位置范围不重合,确认所述行为特征不满足干扰用户视野条件。
步骤1023D,在所述应用画布的显示位置范围与所述对象位置范围重合,确认所述行为特征满足干扰用户视野条件。
在本公开实施例中,通常若佩戴HMD设备的用户的身边场景出现目标对象时,用户需要观察该目标对象,此时多应用画布的显示位置范围与该目标对象的对象位置范围重合,则会导致用户无法观察目标对象,此时即可通过判断显示位置范围与对象位置范围是否重合来确认应用画布是否遮挡用户视野。具体的,若显示位置范围与对象位置范围重合,则可确认应用画布干扰佩戴HMD设备的用户的视野,可自动对应用画布进行调整,若显示位置范围与对象位置范围不重合,则可确认应用画布未干扰视野,此时可不做处理。
可选地,所述步骤103,包括:
步骤1031A,将所述应用画布的显示位置范围向远离所述注视点位置的方向调整。
在本公开实施例中,远离注视点位置的方向可以是所述注视点位置的上方、下方、左边、右边等等,只要可以使得应用画布的显示位置范围与所述注视点位置的距离增大的方向均可适用于本公开实施例,此处不做限定。
本公开实施例通过在应用画布干扰用户视野的情况下,将应用画布的显示位置范围向远离注视点位置的方向移动,可以减少应用画布对于用户注视点位置的干扰,保证用户可以观看注视点位置的事物。
可选地,所述步骤103,包括:
步骤1031B,缩小所述应用画布的显示尺寸。
在本公开实施例中,应用画布的显示尺寸是指应用画布的宽高,通过按照特定比例缩小应用画布,从而使得应用画布遮挡用户视野的面积减少,从而减少应用画布对于用户视野的干扰。该显示尺寸的缩小比例可以是用户设置的,也可以是用户自行设置的,具体可以根据实际需求设置,此处不做限定。
可选地,所述行为特征至少包括:用户移动速度,步骤102,包括:
步骤1021C,判断所述用户移动速度是否大于第二速度阈值。
步骤1022C,在所述用户移动速度大于第二速度阈值时,确认所述行为特征满足干扰用户视野条件。
步骤1023C,在所述用户移动速度小于第二速度阈值时,确认所述行为特征不满足干扰用户视野条件。
在本公开实施例中,用户移动速度可以是通过利用摄像头对用户进行拍摄,依据拍摄到的用户图像进行逐帧比对计算得到的,也可以通过速度传感器或者红外传感器对用户位置进行检测计算得到,也可以是通过定位模块对用户位置进行监控得到。考虑到用户在移动时,需要查看所移动方向的路况,才能避免摔倒,因此此时应用画布可能会遮挡到用户查看移动方向的路况画面。则可对用户移动速度进行判别,若移动速度大于第二速度阈值则确认应用画布干扰用户视野,调整应用画布;若移动速度小于第二速度阈值则确认应用画布未干扰用户视野,不调整应用画布。第二速度阈值可以是0、1、2m/s等等,具体可以根据实际需求设置,此处不做限定。
本公开实施例通过判别用户移动速度是否大于第二速度阈值来确认应用画布是否干扰用户视野,使得用户在移动时应用画布可以及时进行调整,保证了应用画布调整的准确性。
可选地,所述行为特征还包括:用户移动方向,所述步骤103,包括:
步骤1031C,将所述应用画布的显示位置范围向远离所述用户移动方向调整。
在本公开实施例中,通常用户在移动时需要查看自身所要移动方向的路况,而若此时应用画面的显示位置范围位于该用户移动方向上,就会干扰用户看移动方向上的路况,因此可以通过将应用画布的显示位置范围向远离该用户移动方向的位置进行调整,例如向用户移动方向左右两侧、上下两侧进行移动,均可实现应用画布远离用户移动方向的调整,具体可以根据实际需求设置,此处不做限定。
参照图7,其中已经确定用户移动方向,此时显然应用画布已经遮挡了用户移动方向的路况画面,可以如图8所示,将应用1、2、3的应用画布的显示位置范围向远离用户移动方向移动,从而减少应用画布对于用户视野的干扰。
可选地,在应用画布即将移动到用户视野的之外时,可以通过缩小应用画布的尺寸,保证应用画布在移动的过程中不会超出用户视野,例如参照图9,应用1的应用画布的尺寸在移动的过程中被缩小。
可选地,应用画布也可以在在移动到用户视野之外,可以通过缩小应用画布的尺寸,减少应用画布的渲染计算量,参照图10,其中应用1的应用画布已经被移动到用户视野之外,并且应用画布的尺寸也被缩小。
本公开实施例通过在应用画布干扰用户视野的情况下,将应用画布向远离用户移动方向的位置进行调整,避免应用画布在对于用户查看移动方向路况画面的干扰,保证了应用画布调整的准确性。
可选地,所述步骤1031C,包括:
步骤1031C1,根据所述用户移动速度计算所述应用画布的偏移角度,其中,所述用户移动速度和所述偏移角度呈正相关关系。
步骤1031C2,将所述应用画布的显示位置范围向远离所述用户移动方向移动所述偏移角度。
在本公开实施例中,偏移角度是指应用画布的显示位置范围相对于用户移动方向的远离角度。考虑到用户移动速度越快,其需要查看的用户移动方向上的路况画面越多,因此可以基于用户移动速度计算应用画布远离用户移动方向的偏移角度。可通过设置用户移动速度和偏移角度呈正相关关系的计算函数来将用户移动速度作为输入值,即可输出相对应的偏移角度,由于正相关关系,则用户移动速度越大,偏移角度也越大,用户移动速度越小,偏移角度越小,用户速度为0时,偏移角度也为0。
示例性的,参照图11,当用户的移动速度为静止时,应用画布的偏移角度为A1;
当用户的移动速度为低速时,应用画布的偏移角度为A2;
当用户的移动速度为中速时,应用画布的偏移角度为A3;
当用户的移动速度为高速时,应用画布的偏移角度为A4;
其中,A1<A2<A3<A4,A1=0。
当然上述仅是示例性描述,具体的偏移角度计算方式可以根据实际需求设置,此处不做限定。
可选地,所述步骤1031B,包括:
步骤1031B1,根据所述用户移动速度计算所述应用画布的缩小比例,其中,所述用户移动速度和所述缩小比例呈正相关关系。
步骤1031B2,将所述应用画布的显示尺寸按照所述缩小比例进行调整。
在本公开实施例中,缩小比例是指应用画布的初始尺寸与调整后的尺寸之间的比例。考虑到用户的移动速度越快,所需查看到移动方向的路况画面越多,因此应用画布对于用户视野的干扰程度就越大。此时为了尽可能减少应用画布对于用户视野的干扰程度,可以基于用户移动速度与缩小比例呈正相关的函数计算,缩小比例,用户移动速度越快,缩小比例越大,用户移动速度越慢,缩小比例越小,用户移动速度为0时,缩小比例也为0。
示例性的,参照图12,当用户的移动速度为静止时,应用画布的缩小比例为X1;
当用户的移动速度为低速时,应用画布的缩小比例为X2;
当用户的移动速度为中速时,应用画布的缩小比例为X3;
当用户的移动速度为高速时,应用画布的缩小比例为X4;
其中,X1<X2<X3<X4,X1=0。
当然上述仅是示例性描述,具体的缩小比例计算方式可以根据实际需求设置,此处不做限定。
可选地,步骤1031B1~步骤1031B2所示的实施例可以与步骤1031C1~步骤1031C2所示的实施例结合使用。
参照图13,当用户的移动速度为静止时,应用画布的缩小比例为X1,应用画布的偏移角度为A1;
当用户的移动速度为低速时,应用画布的缩小比例为X2,应用画布的偏移角度为A2;
当用户的移动速度为中速时,应用画布的缩小比例为X3,应用画布的偏移角度为A3;
当用户的移动速度为高速时,应用画布的缩小比例为X4,应用画布的偏移角度为A4;
其中,A1<A2<A3<A4,A1=0,X1<X2<X3<X4,X1=0。
可选地,所述行为特征至少包括:用户姿态,所述步骤102,包括:
1021D,在所述用户姿态为走路状态时,将所述应用画布的显示位置范围调整至第一显示位置范围;
1022D,在所述用户姿态为跑步状态时,将所述应用画布的显示位置范围调整至第二显示位置范围;
1023D,在所述用户姿态为骑行状态时,将所述应用画布的显示位置范围调整至第三显示位置范围;
1024D,在所述用户姿态为驾车状态时,将所述应用画布的显示位置范围调整为第四显示位置范围;
其中,干扰所述视野的面积从小到大依次为:所述第一显示位置范围、所述第二显示位置范围、所述第三显示位置范围、所述第四显示位置范围。
在本公开实施例中,用户姿态可以是通过利用摄像头对用户图像进行采集,然后利用姿态识别模型对用户图像进行识别来获取用户的各种姿态,此处列举出四种姿态,分别是走路状态、跑步状态、骑行状态和驾车状态,针对每种状态,设置有与其相对应的显示位置范围。考虑到走路状态的速度小于跑步状态,跑步状态的速度小于骑行状态,骑行状态的速度小于驾车状态,因此分别按照速度的大小,给速度快的用户姿态设置干扰用户视野的面积更小的显示位置范围,更速度慢的用户姿态设置干扰用户视野的面积更大的显示位置范围。
本公开实施例基于用户的不同姿态为应用画面设置不同的显示位置范围,从而可以基于用户姿态快速地对应用画布的显示位置范围进行调整,提高了应用画布调整的效率。
可选地,所述方法还包括:
步骤201,查询与所述行为特征相匹配的目标应用程序;
步骤202,在所述应用画布中显示所述目标应用程序的界面。
在本公开实施例中,应用画布所显示目标应用程序可以基于用户的行为特征自动开启,例如在用户跑步时,应用画布中自动开启健身应用程序,在用户开车时,应用画布中自动开启导航应用程序,在用户演讲时,应用画布中自动开启提词器应用程序等等。行为特征与应用程序之间的映射关系可以预先设置并存储在HMD设备中,从而在获取到行为特征时,自动查询相对应的目标应用程序即可,该映射关系可以是系统默认设置的,也可以是用户自行设置的,具体可以根据实际需求设置,此处不做限定。
在查询到与行为特征相对应的目标应用程序时,即可在应用画布开启该目标应用程序的程序界面即可,若未查询到与行为特征相对应的目标应用程序,则不做处理。
本公开实施例通过基于用户的行为特征自动在应用画布中开启对应的目标应用程序,提高了应用程序开启的便捷性。
图14示意性地示出了本公开提供的一种应用画布的调整装置30的结构示意图,应用于HMD设备,所述装置包括:
采集模块301,用于在所述HMD设备显示应用画布的情况下,获取用户的行为特征;
判断模块302,用于判断所述行为特征是否满足干扰用户视野条件;
调整模块303,用于在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
可选地,所述用户的行为特征至少包括:佩戴所述HMD设备的用户的注视点位置;
所述判断模块302,还用于:
判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征还包括:佩戴所述HMD设备的用户的移动速度;
所述判断模块302,还用于:
在确定所述移动速度大于第一速度阈值时,判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
可选地,所述用户的行为特征至少包括:目标对象的对象位置范围;
所述采集模块301,还用于:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断模块302,还用于:
判断所述应用画布的显示位置范围是否与所述对象位置范围重合;
在所述应用画布的显示位置范围与所述对象位置范围不重合,确认所述行为特征不满足干扰用户视野条件;
在所述应用画布的显示位置范围与所述对象位置范围重合,确认所述行为特征满足干扰用户视野条件。
可选地,所述行为特征至少包括:佩戴所述HMD设备的用户的注视点位置、目标对象的对象位置范围;
所述采集模块301,还用于:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断模块302,还用于:
判断所述注视点位置是否落入所述应用画布的显示范围之内,且所述注视点位置是否落入所述目标对象的对象位置范围之内;
在所述注视点位置未落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件;
在所述注视点位置落入所述显示位置范围之内,或者所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
可选地,所述调整模块303,还用于:
将所述应用画布的显示位置范围向远离所述注视点位置的方向调整。
可选地,所述调整模块303,还用于:
缩小所述应用画布的显示尺寸。
可选地,所述行为特征至少包括:用户移动速度;
所述判断模块302,还用于:
判断所述用户移动速度是否大于第二速度阈值;
在所述用户移动速度大于第二速度阈值时,确认所述行为特征满足干扰用户视野条件;
在所述用户移动速度小于第二速度阈值时,确认所述行为特征不满足干扰用户视野条件。
可选地,所述行为特征还包括:用户移动方向;
所述调整模块303,还用于:
将所述应用画布的显示位置范围向远离所述用户移动方向调整。
可选地,所述调整模块303,还用于:
根据所述用户移动速度计算所述应用画布的偏移角度,其中,所述用户移动速度和所述偏移角度呈正相关关系;
将所述应用画布的显示位置范围向远离所述用户移动方向移动所述偏移角度。
可选地,所述调整模块303,还用于:
根据所述用户移动速度计算所述应用画布的缩小比例,其中,所述用户移动速度和所述缩小比例呈正相关关系;
将所述应用画布的显示尺寸按照所述缩小比例进行调整。
可选地,所述行为特征包括:用户姿态;
所述调整模块303,还用于:
在所述用户姿态为走路状态时,将所述应用画布的显示位置范围调整至第一显示位置范围;
在所述用户姿态为跑步状态时,将所述应用画布的显示位置范围调整至第二显示位置范围;
在所述用户姿态为骑行状态时,将所述应用画布的显示位置范围调整至第三显示位置范围;
在所述用户姿态为驾车状态时,将所述应用画布的显示位置范围调整为第四显示位置范围;
其中,干扰所述视野的面积从小到大依次为:所述第一显示位置范围、所述第二显示位置范围、所述第三显示位置范围、所述第四显示位置范围。
本公开实施例通过在用户使用HMD设备时对用户的行为特征进行识别,在确认所显示的应用画布对用户视野造成干扰时,自动调整应用画布的显示方式来减少应用画布的对于用户视野的遮挡面积,尽可能减少应用画布对于用户视野的干扰,使得HMD设备使用更加便捷。
需要声明的,本公开上述的一些实施例中所使用的关于用户图像、声音、视频等用户隐私数据是在经过用户授权使用之后方可采集。
以上所描述的设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本公开的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的计算处理设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在非瞬态计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图15示出了可以实现根据本公开的方法的计算处理设备。该计算处理设备传统上包括处理器410和以存储器420形式的计算机程序产品或者非瞬态计算机可读介质。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有用于执行上述方法中的任何方法步骤的程序代码431的存储空间430。例如,用于程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个程序代码431。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图16所述的便携式或者固定存储单元。该存储单元可以具有与图15的计算处理设备中的存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括计算机可读代码431’,即可以由例如诸如410之类的处理器读取的代码,这些代码当由计算处理设备运行时,导致该计算处理设备执行上面所描述的方法中的各个步骤。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本公开的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (16)
1.一种应用画布的调整方法,其特征在于,应用于HMD设备,所述方法包括:
在所述HMD设备显示应用画布的情况下,获取用户的行为特征;
判断所述行为特征是否满足干扰用户视野条件;
在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
2.根据权利要求1的方法,其特征在于,所述用户的行为特征至少包括:佩戴所述HMD设备的用户的注视点位置;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述注视点位置是否落入所述应用画布的显示范围之内;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
3.根据权利要求2所述的方法,其特征在于,所述用户的行为特征还包括:佩戴所述HMD设备的用户的移动速度;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
在确定所述移动速度大于第一速度阈值时,判断所述注视点位置是否落入所述应用画布的显示范围之内;
在确定所述移动速度小于第一速度阈值时,对所述应用画布不做调整处理;
在所述注视点落入所述显示位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件;
在所述注视点未落入所述显示位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件。
4.根据权利要求1所述的方法,其特征在于,所述用户的行为特征至少包括:目标对象的对象位置范围;
所述获取用户的行为特征,包括:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述应用画布的显示位置范围是否与所述对象位置范围重合;
在所述应用画布的显示位置范围与所述对象位置范围不重合,确认所述行为特征不满足干扰用户视野条件;
在所述应用画布的显示位置范围与所述对象位置范围重合,确认所述行为特征满足干扰用户视野条件。
5.根据权利要求1所述的方法,其特征在于,所述行为特征至少包括:佩戴所述HMD设备的用户的注视点位置、目标对象的对象位置范围;
所述获取用户的行为特征,包括:
在佩戴所述HMD的用户的视野中出现目标对象时,获取所述目标对象的对象位置范围;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述注视点位置是否落入所述应用画布的显示范围之内,且所述注视点位置是否落入所述目标对象的对象位置范围之内;
在所述注视点位置未落入所述显示位置范围之内,且所述注视点位置落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征满足干扰用户视野条件;
在所述注视点位置落入所述显示位置范围之内,或者所述注视点位置未落入所述目标对象的对象位置范围之内的情况下,确认所述行为特征不满足干扰用户视野条件。
6.根据权利要求1~5中任一所述的方法,其特征在于,所述按照目标方式对所述应用画布进行调整,包括:
将所述应用画布的显示位置范围向远离所述注视点位置的方向调整。
7.根据权利要求1~5中任一所述的方法,其特征在于,所述按照目标方式对所述应用画布进行调整,包括:
缩小所述应用画布的显示尺寸。
8.根据权利要求1所述的方法,其特征在于,所述行为特征至少包括:用户移动速度;
所述判断所述行为特征是否满足干扰用户视野条件,包括:
判断所述用户移动速度是否大于第二速度阈值;
在所述用户移动速度大于第二速度阈值时,确认所述行为特征满足干扰用户视野条件;
在所述用户移动速度小于第二速度阈值时,确认所述行为特征不满足干扰用户视野条件。
9.根据权利要求8所述的方法,其特征在于,所述行为特征还包括:用户移动方向;
所述按照目标方式对所述应用画布进行调整,包括:
将所述应用画布的显示位置范围向远离所述用户移动方向调整。
10.根据权利要求9所述的方法,其特征在于,所述将所述应用画布的显示向远离所述用户移动方向调整,包括:
根据所述用户移动速度计算所述应用画布的偏移角度,其中,所述用户移动速度和所述偏移角度呈正相关关系;
将所述应用画布的显示位置范围向远离所述用户移动方向移动所述偏移角度。
11.根据权利要求9所述的方法,其特征在于,所述按照目标方式对所述应用画布进行调整,包括:
根据所述用户移动速度计算所述应用画布的缩小比例,其中,所述用户移动速度和所述缩小比例呈正相关关系;
将所述应用画布的显示尺寸按照所述缩小比例进行调整。
12.根据权利要求1所述的方法,其特征在于,所述行为特征包括:用户姿态;
所述按照目标方式对所述应用画布进行调整,包括:
在所述用户姿态为走路状态时,将所述应用画布的显示位置范围调整至第一显示位置范围;
在所述用户姿态为跑步状态时,将所述应用画布的显示位置范围调整至第二显示位置范围;
在所述用户姿态为骑行状态时,将所述应用画布的显示位置范围调整至第三显示位置范围;
在所述用户姿态为驾车状态时,将所述应用画布的显示位置范围调整为第四显示位置范围;
其中,干扰所述视野的面积从小到大依次为:所述第一显示位置范围、所述第二显示位置范围、所述第三显示位置范围、所述第四显示位置范围。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
查询与所述行为特征相匹配的目标应用程序;
在所述应用画布中显示所述目标应用程序的界面。
14.一种应用画布的调整装置,其特征在于,应用于HMD设备,所述装置包括:
采集模块,用于在所述HMD设备显示应用画布的情况下,获取用户的行为特征;
判断模块,用于判断所述行为特征是否满足干扰用户视野条件;
调整模块,用于在所述行为特征满足干扰用户视野条件的情况下,按照目标方式对所述应用画布进行调整,所述目标方式用于减少所述应用画布对于所述视野的遮挡。
15.一种计算处理设备,其特征在于,包括:
存储器,其中存储有计算机可读代码;
一个或多个处理器,当所述计算机可读代码被所述一个或多个处理器执行时,所述计算处理设备执行如权利要求1-13中任一项所述的应用画布的调整方法。
16.一种非瞬态计算机可读介质,其特征在于,存储计算机可读代码,当所述计算机可读代码在计算处理设备上运行时,导致所述计算处理设备执行如权利要求1-13中任一项的所述的应用画布的调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311286357.6A CN117311507A (zh) | 2023-09-28 | 2023-09-28 | 应用画布的调整方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311286357.6A CN117311507A (zh) | 2023-09-28 | 2023-09-28 | 应用画布的调整方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117311507A true CN117311507A (zh) | 2023-12-29 |
Family
ID=89236809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311286357.6A Pending CN117311507A (zh) | 2023-09-28 | 2023-09-28 | 应用画布的调整方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117311507A (zh) |
-
2023
- 2023-09-28 CN CN202311286357.6A patent/CN117311507A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111602140B (zh) | 分析由头戴式设备的相机记录的图像中的对象的方法 | |
US11281288B2 (en) | Eye and head tracking | |
US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
EP3047361B1 (en) | A method and device for displaying a graphical user interface | |
US7944454B2 (en) | System and method for user monitoring interface of 3-D video streams from multiple cameras | |
US7787011B2 (en) | System and method for analyzing and monitoring 3-D video streams from multiple cameras | |
US8223207B2 (en) | System for tracking a moving object, by using particle filtering | |
US6539100B1 (en) | Method and apparatus for associating pupils with subjects | |
KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
CN108200334B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN107395957B (zh) | 拍照方法、装置、存储介质及电子设备 | |
WO2020231401A1 (en) | A neural network for head pose and gaze estimation using photorealistic synthetic data | |
CN111095364A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2007074033A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
CN110765828A (zh) | 视觉识别方法及其系统 | |
JP2006155238A (ja) | 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体 | |
US20200042105A1 (en) | Information processing apparatus, information processing method, and recording medium | |
KR101395388B1 (ko) | 증강 현실 표현 장치 및 방법 | |
KR20200144196A (ko) | 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법 | |
US11410398B2 (en) | Augmenting live images of a scene for occlusion | |
TWI718410B (zh) | 目標物資訊的預載顯示方法及裝置 | |
CN117311507A (zh) | 应用画布的调整方法、装置、电子设备及存储介质 | |
JP2014085845A (ja) | 動画処理装置、動画処理方法、プログラム、および集積回路 | |
CN114207669A (zh) | 一种人脸光照图像生成装置及方法 | |
CN112558767A (zh) | 多个功能界面处理的方法和系统及其ar眼镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |