CN116204068B - 增强现实显示设备及其显示方法、车辆、移动终端、介质 - Google Patents
增强现实显示设备及其显示方法、车辆、移动终端、介质 Download PDFInfo
- Publication number
- CN116204068B CN116204068B CN202310497935.4A CN202310497935A CN116204068B CN 116204068 B CN116204068 B CN 116204068B CN 202310497935 A CN202310497935 A CN 202310497935A CN 116204068 B CN116204068 B CN 116204068B
- Authority
- CN
- China
- Prior art keywords
- user
- augmented reality
- display
- display screen
- wearing part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 161
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 154
- 230000033001 locomotion Effects 0.000 claims abstract description 110
- 238000012552 review Methods 0.000 claims description 71
- 238000006073 displacement reaction Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims 2
- 239000000758 substrate Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 210000003128 head Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及增强现实技术领域,具体提供一种增强现实显示设备及其显示方法、车辆、移动终端、介质,旨在解决提高增强现实显示设备在移动场景中显示效果的问题。本发明提供的方法包括在用户佩戴增强现实显示设备且处于可移动载体对应的3D移动空间时,根据佩戴部位与可移动载体之间相对运动的信息,判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面;若是,则控制显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内;若否,则控制显示画面在3D移动空间的设定区域内显示。通过上述方法,可以根据用户的意图自适应地切换显示画面的控制方式,显著提高了设备的显示效果。
Description
技术领域
本发明涉及增强现实技术领域,具体涉及一种增强现实显示设备及其显示方法、车辆、移动终端、介质。
背景技术
增强现实显示设备主要是利用增强现实(Augmented Reality,AR)技术将计算机生成的虚拟世界信息与真实世界信息进行融合并显示,用户可以通过穿戴增强现实显示设备(比如AR眼镜)观看其显示的画面。
随着增强现实技术的不断发展,增强现实显示设备的应用场景也随之增加。例如,用户可以在驾乘交通工具时通过增强现实显示设备观看导航信息或娱乐视频等。但是,在用户驾乘交通工具等移动场景中,目前增强现实显示设备的显示方法通常会控制画面一直处于用户视野中,即该画面会一直跟随用户的移动而移动。比如,用户向左侧移动则该画面也会同步地向左移动。而画面跟随用户移动,这样就可能导致原本位于左侧的一些设备等显示的信息,被同步移动过来的画面遮挡上,使得用户既无法看清画面上显示的信息,也无法看清原本位于左侧的设备显示的信息。为了避免这种问题,只能尽量减少画面显示的信息,但这会极大地降低用户的体验感。
虽然,在室内观影等非移动场景中目前的显示方法可以控制画面在一些方向上相对用户自由移动,但是将这种方法应用于移动场景时很容易发生画面切边的问题,影响用户的观看体验。具体地,增强现实显示设备在移动场景中的视场角(Field Of View,FOV)大小是有限的,在用户发生轻微运动(比如变换位姿)时如果控制画面相对用户自由移动,很可能导致一部分画面不在视场角内(画面切边),使得用户无法观看这部分画面。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决提高增强现实显示设备在用户驾乘交通工具等移动场景中的显示效果,以提高用户体验感的技术问题的增强现实显示设备及其显示方法、车辆、移动终端、介质。
在第一方面,提供一种增强现实显示设备的显示方法,包括:
在用户佩戴增强现实显示设备且处于可移动载体对应的3D移动空间时,根据佩戴部位与可移动载体之间相对运动的信息,判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面;
若是,则控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使所述显示画面始终位于由佩戴部位的位置确定的用户视野内;
若否,则控制所述显示画面在3D移动空间的设定区域内显示,所述设定区域是在佩戴部位与可移动载体之间未发生相对运动时由佩戴部位的位置确定的用户视野对应的区域。
在上述增强现实显示设备的显示方法的一个技术方案中,“判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面”的步骤具体包括:
根据所述相对运动的信息,获取佩戴部位与可移动载体之间沿空间坐标轴,相对平移运动时产生的相对位移和/或相对旋转运动时产生的相对旋转幅度;
根据所述相对位移和/或所述相对旋转幅度,判断用户是否意图观看所述显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,“根据所述相对位移和/或所述相对旋转幅度,判断用户是否意图观看所述显示画面”的步骤具体包括:
获取预设的各空间坐标轴对应的幅度阈值和/或位移阈值;
判断是否至少有一个空间坐标轴的相对旋转幅度大于相应的幅度阈值和/或是否至少有一个空间坐标轴的相对位移大于相应的位移阈值;
若是,则判定用户意图观看所述显示画面;
若否,则判定用户未意图观看所述显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,预设的各空间坐标轴对应的幅度阈值和位移阈值分别通过下列方式得到:
获取当前用户使用增强现实显示设备的第一历史信息;
根据所述第一历史信息训练第一阈值模型,并采用训练好的第一阈值模型获取与当前用户匹配的各空间坐标轴对应的幅度阈值和位移阈值;
其中,第一历史信息包括佩戴部位与可移动载体之间相对运动的信息以及相应的真实观看结果,所述真实观看结果包括当前用户观看了显示画面和当前用户未观看显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,在控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动的过程中,所述方法还包括:对所述显示画面进行防抖处理;
和/或,在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
对位于用户视野内的视野画面进行防抖处理,用户视野由佩戴部位的位置确定,所述视野画面包括所述显示画面的至少一部分画面和/或在当前增强现实显示设备以外其他设备在3D移动空间内显示的画面。
在上述增强现实显示设备的显示方法的一个技术方案中,在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
根据佩戴部位的位置,判断用户是否意图回看所述显示画面;
若是,则重新控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内;
若否,则继续控制所述显示画面在3D移动空间的设定区域内显示。
在上述增强现实显示设备的显示方法的一个技术方案中,“根据佩戴部位的位置,判断用户是否意图回看所述显示画面”的步骤具体包括:
根据佩戴部位的位置,确定当前的用户视野;
根据当前的用户视野在3D移动空间中对应的视野区域与所述设定区域,判断用户是否意图回看所述显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,“根据当前的用户视野在3D移动空间中对应的视野区域与所述设定区域,判断用户是否意图回看所述显示画面”的步骤具体包括:
判断所述视野区域与所述设定区域是否重合;
若是,则判定用户意图回看所述显示画面;
若否,则判定用户未意图回看所述显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,“判断所述视野区域与所述设定区域是否重合”的步骤包括:获取所述视野区域与所述设定区域之间的区域重合度,判断所述区域重合度是否大于预设的重合度阈值;若是,则判定重合;若否,则判定未重合;
或者,“判断所述视野区域与所述设定区域是否重合”的步骤包括:判断所述区域重合度是否大于预设的重合度阈值以及持续时长是否达到预设的第一时长阈值;若是,则判定重合;若否,则判定未重合。
在上述增强现实显示设备的显示方法的一个技术方案中,预设的重合度阈值和预设的第一时长阈值分别通过下列方式得到:
获取当前用户使用增强现实显示设备的第二历史信息;
根据所述第二历史信息训练第二阈值模型,并采用训练好的第二阈值模型分别获取与当前用户匹配的重合度阈值和第一时长阈值;
其中,第二历史信息包括在控制所述显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,所述真实回看结果包括当前用户回看了显示画面和当前用户未回看显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,“根据佩戴部位的位置,判断用户是否意图回看所述显示画面”的步骤还包括:
根据佩戴部位的位置,获取佩戴部位与可移动载体之间相对运动的信息;
根据所述信息,判断用户是否意图回看所述显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,“根据所述信息,判断用户是否意图回看所述显示画面”的步骤具体包括:根据所述信息,判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面;
或者,“根据所述信息,判断用户是否意图回看所述显示画面”的步骤具体包括:根据所述信息判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态以及持续时长是否达到预设的第二时长阈值;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,预设的第二时长阈值通过下列方式得到:
获取当前用户使用增强现实显示设备的第三历史信息;
根据所述第三历史信息训练第三阈值模型,并采用训练好的第三阈值模型获取与当前用户匹配的第二时长阈值;
其中,第三历史信息包括在控制所述显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,所述真实回看结果包括当前用户回看了显示画面和当前用户未回看显示画面。
在上述增强现实显示设备的显示方法的一个技术方案中,在控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动的过程中,和/或在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
响应于接收到的显示异常处理指令,强制控制所述显示画面在所述设定区域内显示,
再控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动。
在上述增强现实显示设备的显示方法的一个技术方案中,所述方法还包括通过下列方式判断用户是否佩戴增强现实显示设备:
判断是否接收到与所述增强现实显示设备配合使用的画面信息输出设备反馈的第一信息,以及是否接收到增强现实显示设备在检测到其被佩戴在所述佩戴部位之后反馈的第二信息,所述第一信息为所述画面信息输出设备检测到与所述增强现实显示设备建立通信后生成;
若是,则判定用户佩戴了增强现实显示设备;
若否,则判定用户未佩戴增强现实显示设备。
在上述增强现实显示设备的显示方法的一个技术方案中,所述方法还包括通过下列方式获取佩戴部位与可移动载体之间相对运动的信息:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,获取所述相对运动的信息;
和/或,“控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动”的步骤包括:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使所述显示画面始终位于由佩戴部位的位置确定的用户视野内;
和/或,“控制所述显示画面在3D移动空间的设定区域内显示”的步骤具体包括:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制所述显示画面在3D移动空间的设定区域内显示。
在第二方面,提供一种增强现实显示设备,该设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述增强现实显示设备的显示方法的技术方案中任一项技术方案所述的方法。
在上述增强现实显示设备的一个技术方案中,增强现实显示设备为增强现实眼镜、眼罩或头盔。
在第三方面,提供一种车辆,该车辆包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述增强现实显示设备的显示方法的技术方案中任一项技术方案所述的方法。
在第四方面,提供一种移动终端,该移动终端包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述增强现实显示设备的显示方法的技术方案中任一项技术方案所述的方法。
在第五方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述增强现实显示设备的显示方法的技术方案中任一项技术方案所述的方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的方法的一个技术方案中,可以根据佩戴部位与可移动载体之间相对运动的信息,准确地判断出用户是否意图观看(想要去观看)增强现实显示设备的显示画面。若判定用户想要去观看,那么可以控制显示画面在可移动载体对应的3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内。通过这种控制方式可以保证显示画面完全跟随用户,确保用户能够清晰、完整地观看显示画面的内容。此外,即使用户发生轻微运动,只要判断出其想要观看显示画面,就可以继续控制画面完全跟随佩戴部位的运动而运动,避免了发生画面切边的问题。若判定用户不想去观看,则可以控制显示画面在3D移动空间的设定区域内显示,以避免干扰用户。通过这种方式,还可以避免现有技术中信息相互遮挡的问题,从而可以充分利用3D移动空间显示不同设备提供的画面信息。
在实施本发明提供的方法的另一个技术方案中,可以在控制增强现实显示设备显示画面的过程中对显示画面进行防抖处理,从而防止用户在观看显示画面的过程中看不清楚画面,甚至产生头晕的情况发生。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的增强现实显示设备的显示方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的判断用户是否意图观看显示画面的方法的主要步骤流程示意图;
图3是根据本发明的一个实施例的根据用户是否意图回看显示画面的判断结果进行画面显示控制的方法的主要步骤流程示意图;
图4是根据本发明的一个实施例的增强现实显示设备中处理器与存储装置的示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
申请人处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
申请人非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
下面对增强现实显示设备的显示方法实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的增强现实显示设备的显示方法的主要步骤流程示意图。如图1所示,本发明实施例中的增强现实显示设备的显示方法主要包括下列步骤S101至步骤S104。
步骤S101:在用户佩戴增强现实显示设备且处于可移动载体对应的3D移动空间时,获取佩戴部位与可移动载体之间相对运动的信息。
可移动载体是指能够承载用户且可以移动的物体,可移动载体包括但不限于车辆、飞机、轮船和自行车等交通工具。
3D移动空间是指根据可移动载体的位置在3D物理空间中形成的一个能够至少包围可移动载体的局部空间,这个局部空间会随着可移动载体的移动而移动。对于具有外壳的可移动载体(比如汽车),可以将外壳包围的空间作为3D移动空间;对于没有外壳的可移动载体(比如自行车),可以将距离可移动载体的位置在预设范围(比如2米)内的空间作为3D移动空间。需要说明的是,本领域技术人员可以根据实际需求灵活地设定3D移动空间的大小,本发明实施例不作具体限定。
相对运动是指佩戴部位的位置相对于可移动载体的位置发生变化的运动,相对运动的信息可以是位置的变化量。
步骤S102:根据相对运动的信息,判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面;若用户意图观看,则转至步骤S103;否则,转至步骤S104。
具体地,可以根据相对运动的信息大小,来判断用户是否意图观看显示画面(用户是否产生观看显示画面的意图)。若相对运动的信息较大,则判定用户意图观看显示画面;否则,判定用户未意图观看显示画面。
增强现实显示设备可以在3D移动空间内显示一个画面,此时本发明要进行显示控制的显示画面就是当前显示的这个单一画面。
增强现实显示设备也可以在3D移动空间内同时显示多个不同的画面,这些画面分布在3D移动空间的不同位置处。在此情况下,本发明要进行显示控制的显示画面可以是上述多个不同画面中的一部分或全部。例如,可以先确定用户视野的中央区域,再根据各画面的位置获取位于上述中央区域的画面作为本发明要进行显示控制的显示画面。需要说明的是,在增强现实显示设备同时显示多个不同的画面的情况下,本领域技术人员可以根据实际需求灵活地选择要进行显示控制的画面,本发明实施例对此不作具体限定,只要能够从多个画面中选取到要控制的画面即可。
步骤S103:控制显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内。用户视野即用户视线覆盖的范围,在确定用户视野时可以以佩戴部位为原点,重新确定3D移动空间内各空间点的3D位置,根据各空间点的3D位置确定用户视野。在此步骤的控制下显示画面不能相对佩戴部位自由地移动,因此在此步骤的控制下增强现实显示设备处于显示画面的零自由度(Degrees OfFreedom,DOF)控制模式。
步骤S104:控制显示画面在3D移动空间的设定区域内显示,设定区域是在佩戴部位与可移动载体之间未发生相对运动时由佩戴部位的位置确定的用户视野对应的区域。设定区域可以是用户视野的中央区域。在控制显示画面在设定区域显示时,显示画面的画面中心、设定区域的中心和用户视野的中心可以分别重合。在此步骤的控制下显示画面可以相对佩戴部位在至少一个方向上自由地移动,因此在此步骤的控制下增强现实显示设备处于显示画面的多自由度控制模式。
在一些实施方式中,在增强现实显示设备上电之后首次启动该设备显示画面时可以优先执行步骤S103,进而再转至步骤S101并正常执行后续的步骤S102至步骤S104。此外,也可以先执行步骤S104,进而再转至步骤S101并正常执行后续的步骤S102至步骤S104。
基于上述步骤S101至步骤S104所述的方法,可以根据用户是否意图观看显示画面,自适应地在零自由度控制模式与多自由度控制模式之间进行切换。在零自由度控制模式下,显示画面会完全跟随佩戴部位运动,使得用户能够清晰、完整地观看显示画面的内容。在多自由度控制模式下,显示画面不会完全跟随佩戴部位运动,这样在用户想要观看其他事物(比如观看车窗外的景色)时显示画面不会对用户产生干扰。在多自由度控制模式下,还可以充分利用3D移动空间的不同区域显示不同的信息,避免了由于显示画面随佩戴部位运动导致不同区域显示的信息相互遮挡的问题。此外,在使用增强现实显示设备的过程中即使佩戴部位发生轻微运动,只要判定出用户没有意图观看显示画面,就会控制显示画面会完全跟随佩戴部位运动,避免了画面切边的情况发生。
在基于上述方法实施例的一个应用场景中,用户可以在车辆中使用增强现实显示设备且该设备的佩戴部位为用户的头部。具体地,在检测到用户头部佩戴增强现实显示设备之后,先控制显示画面在车辆的3D移动空间内跟随头部的运动而运动,并在此过程中实时检测头部与可移动载体之间相对运动的信息。当用户变换坐姿或车辆转弯时,头部与可移动载体之间相对运动的信息比较小,表明用户仍然想要观看显示画面,因而继续控制显示画面在车辆的3D移动空间内跟随头部的运动而运动。当用户偏头看向窗外的景色时,头部与可移动载体之间相对运动的信息比较大,表明用户此时不想观看显示画面,因而控制显示画面在3D移动空间的设定区域内显示,以避免干扰用户的视线。
下面分别对上述方法实施例的步骤S101至步骤S104进行说明。
一、对步骤S101进行说明。
在上述步骤S101的一些实施方式中,可以通过下列方式判断用户是否已经佩戴了增强现实显示设备,以便在确认用户佩戴好增强现实显示设备之后再执行其他步骤。
具体地,可以判断是否接收到与增强现实显示设备配合使用的画面信息输出设备反馈的第一信息,以及是否接收到增强现实显示设备在检测到其被佩戴在佩戴部位之后反馈的第二信息,其中,第一信息可以为画面信息输出设备检测到与增强现实显示设备建立通信后生成。若同时接到第一信息与第二信息,则判定用户佩戴了增强现实显示设备;否则,判定用户未佩戴增强现实显示设备。
画面信息输出设备可以是安装在可移动载体上的设备,该设备与增强现实显示设备可以进行有线通信,也可以进行无线通信。比如,可以通过USB接口进行有线通信,也可以通过蓝牙进行无线通信。
增强现实显示设备上可以预设有检测部件,通过该检测部件检测其是否其被佩戴在佩戴部位。例如,增强现实显示设备上设置有红外传感器,通过红外传感器检测用户是否位于设定范围内,若是则增强现实显示设备被佩戴在佩戴部位,否则未被佩戴在佩戴部位。
在上述步骤S101的一些实施方式中,可以根据增强现实显示设备的传感器数据,获取佩戴部位与可移动载体之间相对运动的信息,也可以根据可移动载体的传感器数据获取上述相对运动的信息。此外,还可以同时根据增强现实显示设备与可移动载体的传感器数据进行获取。
例如,在无法单独地根据增强现实显示设备或可移动载体的传感器数据获取上述信息时可以同时根据二者的传感器数据进行获取。又例如,由于增强现实显示设备和可移动载体的传感器数据都会或多或少的存在一些误差,为了避免由于这些误差降低上述信息的准确性,可以同时根据二者的传感器数据进行获取。例如,可以分别根据二者的传感器数据获取相对运动的信息,再对分别获取到信息求取平均值,将平均值作为最终的相对运动的信息。
在本实施方式中上述传感器数据包括但不限于惯性测量单元(InertialMeasurement Unit,IMU)的测量数据。
二、对步骤S102进行说明。
参阅附图2,在上述步骤S102的一些实施方式中,可以通过下列步骤S1021至步骤S1022,判断用户是否意图观看显示画面。
步骤S1021:根据相对运动的信息,获取佩戴部位与可移动载体之间沿空间坐标轴,相对平移运动时产生的相对位移和/或相对旋转运动时产生的相对旋转幅度。
空间坐标轴可以是3D移动空间的坐标轴,其包括X轴、Y轴和Z轴三个坐标轴。佩戴部位与可移动载体之间可以沿着至少一个坐标轴进行相对平移运动,也可以沿着至少一个坐标轴进行相对旋转运动。
步骤S1022:根据相对位移和/或相对旋转幅度,判断用户是否意图观看显示画面。
具体地,可以根据相对位移和/或相对旋转幅度大小,来判断用户是否意图观看显示画面。若相对位移和/或相对旋转幅度较大,则判定用户意图观看显示画面;否则,判定用户未意图观看显示画面。
基于上述步骤S1021至步骤S1022所述的方法,可以采用相对位移和相对旋转幅度中的一种或多种准确地判断出用户是否想要去观看显示画面,有利于提高对增强现实显示设备进行零自由度控制模式与多自由度控制模式切换的准确性,提高用户观看画面的观看体验。
下面对上述步骤S1022作进一步说明。
在上述步骤S1022的一些实施方式中,可以预先设定好幅度阈值和/或位移阈值,通过阈值比较的方式判断相对位移和相对旋转幅度的大小。若相对位移大于位移阈值则相对位移较大,否则相对位移较小;若相对旋转幅度大于幅度阈值则相对旋转幅度较大,否则相对旋转幅度较小。
基于此,在本实施方式中可以通过下列11至步骤12快速且准确地判断用户是否意图观看显示画面。
步骤11:获取预设的各空间坐标轴对应的幅度阈值和/或位移阈值。在此步骤中,幅度阈值和位移阈值可以是同时适用于不同用户的一个固定阈值,即针对不同用户采用相同的幅度阈值和位移阈值。幅度阈值和位移阈值也可以是分别适用于不同用户的可变阈值,即针对不同的用户自适应地将阈值切换成适用于当前用户的阈值。
步骤12:判断是否至少有一个空间坐标轴的相对旋转幅度大于相应的幅度阈值和/或是否至少有一个空间坐标轴的相对位移大于相应的位移阈值;若是,则判定用户意图观看显示画面;若否,则判定用户未意图观看显示画面。
基于上述步骤11至步骤12所述的方法,可以根据不同空间坐标轴的阈值和相对运动的信息,准确地判断出用户是否意图观看显示画面。
在上述步骤11中,当幅度阈值或位移阈值采用同时适用于不同用户的固定阈值时,本领域技术人员可以根据实际需求灵活地设定这个固定阈值的数值大小,本发明实施例不作具体限定。
在上述步骤11中,当幅度阈值或位移阈值采用分别适用于不同用户的可变阈值时,可以根据各用户观看显示画面的习惯分别设定适用于各用户的阈值大小。在一些优选实施方式中可以采用大数据训练模型,使用训练好的模型来获取阈值。具体而言,针对各用户,可以获取当前用户使用增强现实显示设备的第一历史信息,根据第一历史信息训练第一阈值模型,并采用训练好的第一阈值模型获取与当前用户匹配的各空间坐标轴对应的幅度阈值和位移阈值。第一历史信息可以包括佩戴部位与可移动载体之间相对运动的信息以及相应的真实观看结果,真实观看结果可以包括当前用户观看了显示画面和当前用户未观看显示画面。
基于上述实施方式中,可以利用第一历史信息训练得到专门适用于当前用户的第一阈值模型,通过该模型可以获取到专门适用于当前用户的阈值。需要说明的是,在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法,利用第一历史信息训练得到第一阈值模型,本发明实施例不对模型训练方法作具体限定,只要能够得到具备获取幅度阈值和位移阈值的能力的模型即可。
三、对步骤S103进行说明。
在上述步骤S103的一些实施方式中,可移动载体在移动过程中可能会发生抖动,在可移动载体抖动时用户也可能会随着可移动载体的抖动而抖动,这就导致用户佩戴的增强现实显示设备也发生抖动,最终导致显示画面也随之抖动。当显示画面发生抖动时很可能导致用户看不清楚画面内容,甚至还会使用户产生头晕。对此,在控制显示画面跟随佩戴部位的运动而运动的过程中,还可以对显示画面进行防抖处理。具体地,可以根据增强现实显示设备的运动状态来调整显示画面在3D移动空间内的位置,使得显示画面相对于用户设定区域基本上保持不变,其中,用户设定区域可以是用户的眼睛。
在上述步骤S103的一些实施方式中,可以响应于接收到的显示异常处理指令,强制控制显示画面在设定区域内显示,再控制显示画面在3D移动空间内跟随佩戴部位的运动而运动。显示异常处理指令可以是在检测到显示画面发生异常时自动生成的,也可以是通过人机交互部件接收到的。人机交互部件包括但不限于设置于虚拟现实显示设备上的物理按键或虚拟现实显示设备的触控屏幕显示的虚拟按键等,用户可以触发上述物理按键或虚拟按键发出显示异常处理指令。例如,用户可以双击触控屏幕上用于熄屏的虚拟按键。需要说明的是,在控制显示画面在3D移动空间内跟随佩戴部位的运动而运动之后,仍然可以正常地执行前述步骤S101至步骤S104中的各步骤。
在上述步骤S103的一些实施方式中,可以根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内。与前述步骤S101中的相关方法类似,在无法单独地根据增强现实显示设备或可移动载体的传感器数据控制显示画面时可以同时根据二者的传感器数据进行控制,或者为了避免由于传感器数据的误差导致显示画面控制的准确性降低时,也可以同时根据二者的传感器数据进行控制。
四、对步骤S104进行说明。
在上述步骤S104的一些实施方式中,在控制显示画面在3D移动空间的设定区域内显示时,由佩戴部位确定的用户视野内还可能会存在一部分显示画面,这部分显示画面如果发生抖动同样会对用户产生干扰。此外,用户视野内其他设备在3D移动空间内显示的画面也可能发生抖动,进而对用户产生干扰。对此,在控制显示画面在3D移动空间的设定区域内显示的过程中,可以对位于用户视野内的视野画面进行防抖处理,视野画面可以包括显示画面的至少一部分画面和/或在当前增强现实显示设备以外其他设备在3D移动空间内显示的画面。对于视野画面包含的显示画面,可以采用与前述步骤S103相同的方法进行防抖处理。对于视野画面包含的其他设备显示的画面,可以根据这些其他设备的运动状态来调整其显示的画面在3D移动空间内的位置,使得画面相对于用户设定区域基本上保持不变,用户设定区域可以是用户的眼睛。
在上述步骤S104的一些实施方式中,在控制显示画面在3D移动空间的设定区域内显示时,用户还可能想要重新回看显示画面。对此,可以通过图3所示的下列步骤S1041至步骤S1044进行回看控制。
步骤S1041:获取根据佩戴部位的位置。
步骤S1042:根据位置,判断用户是否意图回看显示画面;若是,则转至步骤S1043;若否,则转至步骤S1044。
步骤S1043:重新控制显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内。也就是说,将增强现实显示设备由多自由度控制模式切换至零自由度控制模式。
步骤S1044:继续控制显示画面在3D移动空间的设定区域内显示。也就是说,控制增强现实显示设备继续处于多自由度控制模式。
基于上述步骤S1041至步骤S1044所述的方法,可以及时地判断出用户是否想要重新去观看显示画面,并根据判断结果选择性地对显示画面的控制模式进行切换,进一步提高了用户观看显示画面的观看体验。
下面对上述步骤S1042作进一步说明。
在上述步骤S1042的一些实施方式中可以根据佩戴部位的位置,确定当前的用户视野或者获取佩戴部位与可移动载体之间相对运动的信息,进而根据上述用户视野或信息,判断用户是否意图回看显示画面。下面分别对这两种判断方法进行说明。
(一)根据用户视野判断用户是否意图回看显示画面。
在本发明实施例中,在根据佩戴部位的位置确定当前的用户视野之后,可以根据当前的用户视野在3D移动空间中对应的视野区域与设定区域,判断用户是否意图回看显示画面。若视野区域与设定区域相同或相近,则表明用户的视野已经转回到了设定区域,因此可以判定用户想要重新回看显示画面;否则,判定用户不想重新回看显示画面。
在一些优选实施方式中,可以判断视野区域与设定区域是否重合;若重合,则判定用户意图回看显示画面;若不重合,则判定用户未意图回看显示画面。进一步,在判断两个区域是否重合时可以通过下面两种方法中的任意一种方法进行判断。
1、第一种判断方法
可以获取视野区域与设定区域之间的区域重合度,判断区域重合度是否大于预设的重合度阈值;若是则重合;若否则未重合。
2、第二种判断方法
可以获取视野区域与设定区域之间的区域重合度,判断区域重合度是否大于预设的重合度阈值以及持续时长是否达到预设的第一时长阈值;若是则重合;若否则未重合。其中,持续时长是指区域重合度大于重合度阈值的持续时长。
在上述两种判断方法中,重合度阈值和第一时长阈值可以是同时适用于不同用户的一个固定阈值。对此,本领域技术人员可以根据实际需求灵活地设定这个固定阈值的数值大小,本发明实施例对此不作具体限定。
重合度阈值和第一时长阈值也可以是分别适用于不同用户的可变阈值,即针对不同的用户自适应地将阈值切换成适用于当前用户的阈值。对此,可以根据各用户观看显示画面的习惯分别设定适用于各用户的重合度阈值和第一时长阈值大小。在一些优选实施方式中可以采用大数据训练模型,使用训练好的模型来获取阈值。
具体而言,针对各用户,可以获取当前用户使用增强现实显示设备的第二历史信息,根据第二历史信息训练第二阈值模型,并采用训练好的第二阈值模型分别获取与当前用户匹配的重合度阈值和第一时长阈值。第二历史信息可以包括在控制显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,真实回看结果可以包括当前用户回看了显示画面和当前用户未回看显示画面。
基于上述实施方式中,可以利用第二历史信息训练得到专门适用于当前用户的第二阈值模型,通过该模型可以获取到专门适用于当前用户的阈值。需要说明的是,在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法,利用第二历史信息训练得到第二阈值模型,本发明实施例不对模型训练方法作具体限定,只要能够得到具备获取重合度阈值和第一时长阈值的能力的模型即可。
(二)根据相对运动的信息判断用户是否意图回看显示画面。
在本发明实施例中,在根据佩戴部位的位置,获取佩戴部位与可移动载体之间相对运动的信息之后,可以根据该信息判断用户是否意图回看显示画面。基于上述相对运动的信息可以判断出用户的视野是否转回到显示画面附近或转回到设定区域附近,若转回则表明用户想要回看显示画面,否则表明用户不想回看显示画面。
进一步,在根据上述相对运动的信息判断用户是否意图回看显示画面时可以通过下面两种方法中的任意一种方法进行判断。
1、第一种判断方法
可以根据上述相对运动的信息判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面。
具体地,佩戴部位与可移动载体之间未发生相对运动时相对运动的信息基本为零,即处于静止状态。而在发生相对运动时该信息远大于零,即处于非静止状态。在执行步骤S104时二者正处于非静止状态,若根据相对运动的信息检测二者变换成静止状态,则表明用户的视野转回了显示画面附近或设定区域附近,可以判定用户意图回看显示画面。
2、第二种判断方法
可以根据上述相对运动的信息,判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态以及持续时长是否达到预设的第二时长阈值;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面。其中,持续时长是指静止状态的持续时长。
在上述第二种判断方法中,第二时长阈值可以是同时适用于不同用户的一个固定阈值。对此,本领域技术人员可以根据实际需求灵活地设定这个固定阈值的数值大小,本发明实施例不作具体限定。
第二时长阈值也可以是分别适用于不同用户的可变阈值,即针对不同的用户自适应地将阈值切换成适用于当前用户的阈值。对此,可以根据各用户观看显示画面的习惯分别设定适用于各用户的第二时长阈值。在一些优选实施方式中可以采用大数据训练模型,使用训练好的模型来获取阈值。
具体而言,针对各用户,可以获取当前用户使用增强现实显示设备的第三历史信息,根据第三历史信息训练第三阈值模型,并采用训练好的第三阈值模型获取与当前用户匹配的第二时长阈值。第三历史信息可以包括在控制显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,真实回看结果可以包括当前用户回看了显示画面和当前用户未回看显示画面。
基于上述实施方式中,可以利用第三历史信息训练得到专门适用于当前用户的第三阈值模型,通过该模型可以获取到专门适用于当前用户的阈值。需要说明的是,在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法,利用第三历史信息训练得到第三阈值模型,本发明实施例不对模型训练方法作具体限定,只要能够得到具备获取第二时长阈值的能力的模型即可。
在上述步骤S104的一些实施方式中,可以响应于接收到的显示异常处理指令,强制控制显示画面在设定区域内显示,再控制显示画面在3D移动空间内跟随佩戴部位的运动而运动。此步骤的控制方法与前述步骤S103中的相关方法相同,在此不再赘述。
在上述步骤S104的一些实施方式中,可以根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制显示画面在3D移动空间的设定区域内显示。与前述步骤S103中的相关方法类似,在无法单独地根据增强现实显示设备或可移动载体的传感器数据控制显示画面时可以同时根据二者的传感器数据进行控制,或者为了避免由于传感器数据的误差导致显示画面控制的准确性降低,也可以同时根据二者的传感器数据进行控制。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些调整之后的方案与本发明中描述的技术方案属于等同技术方案,因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种增强现实显示设备。
参阅附图4,在根据本发明的一个增强现实显示设备的实施例中,增强现实显示设备包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的增强现实显示设备的显示方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的增强现实显示设备的显示方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,其他部分可参见前述方法实施例。在一些实施方式中,增强现实显示设备为增强现实眼镜、眼罩或头盔。
在一些可能的实施方式中,增强现实显示设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的增强现实显示设备的显示方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的增强现实显示设备的显示方法,即每个处理器分别执行上述方法的不同步骤,来共同实现上述方法。
进一步,本发明还提供了一种车辆。
在根据本发明的一个车辆的实施例中,车辆可以包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的增强现实显示设备的显示方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的增强现实显示设备的显示方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,其他部分可参见前述方法实施例。在一些实施方式中,车辆可以是自动驾驶车辆、无人车等车辆。此外,按照动力源类型划分,本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。
在一些可能的实施方式中,车辆可以包括多个存储装置和多个处理器。而执行上述方法实施例的增强现实显示设备的显示方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的增强现实显示设备的显示方法,即每个处理器分别执行上述方法的不同步骤,来共同实现上述方法。
进一步,本发明还提供了一种移动终端。
在根据本发明的一个移动终端的实施例中,移动终端可以包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的增强现实显示设备的显示方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的增强现实显示设备的显示方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,其他部分可参见前述方法实施例。在一些实施方式中,移动终端可以是手机、平板电脑、智能手表等。
在一些可能的实施方式中,移动终端可以包括多个存储装置和多个处理器。而执行上述方法实施例的增强现实显示设备的显示方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的增强现实显示设备的显示方法,即每个处理器分别执行上述方法的不同步骤,来共同实现上述方法。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的增强现实显示设备的显示方法的程序,该程序可以由处理器加载并运行以实现上述增强现实显示设备的显示方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (22)
1.一种增强现实显示设备的显示方法,其特征在于,所述方法包括:
在用户佩戴增强现实显示设备且处于可移动载体对应的3D移动空间时,根据佩戴部位与可移动载体之间相对运动的信息,判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面;
若是,则控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使所述显示画面始终位于由佩戴部位的位置确定的用户视野内;
若否,则控制所述显示画面在3D移动空间的设定区域内显示,所述设定区域是在佩戴部位与可移动载体之间未发生相对运动时由佩戴部位的位置确定的用户视野对应的区域;
其中,所述可移动载体包括交通工具。
2.根据权利要求1所述的方法,其特征在于,“判断用户是否意图观看增强现实显示设备在3D移动空间内的显示画面”的步骤具体包括:
根据所述相对运动的信息,获取佩戴部位与可移动载体之间沿空间坐标轴,相对平移运动时产生的相对位移和/或相对旋转运动时产生的相对旋转幅度;
根据所述相对位移和/或所述相对旋转幅度,判断用户是否意图观看所述显示画面。
3.根据权利要求2所述的方法,其特征在于,“根据所述相对位移和/或所述相对旋转幅度,判断用户是否意图观看所述显示画面”的步骤具体包括:
获取预设的各空间坐标轴对应的幅度阈值和/或位移阈值;
判断是否至少有一个空间坐标轴的相对旋转幅度大于相应的幅度阈值和/或是否至少有一个空间坐标轴的相对位移大于相应的位移阈值;
若是,则判定用户意图观看所述显示画面;
若否,则判定用户未意图观看所述显示画面。
4.根据权利要求3所述的方法,其特征在于,预设的各空间坐标轴对应的幅度阈值和位移阈值分别通过下列方式得到:
获取当前用户使用增强现实显示设备的第一历史信息;
根据所述第一历史信息训练第一阈值模型,并采用训练好的第一阈值模型获取与当前用户匹配的各空间坐标轴对应的幅度阈值和位移阈值;
其中,第一历史信息包括佩戴部位与可移动载体之间相对运动的信息以及相应的真实观看结果,所述真实观看结果包括当前用户观看了显示画面和当前用户未观看显示画面。
5.根据权利要求1所述的方法,其特征在于,
在控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动的过程中,所述方法还包括:对所述显示画面进行防抖处理;
和/或,
在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
对位于用户视野内的视野画面进行防抖处理,用户视野由佩戴部位的位置确定,所述视野画面包括所述显示画面的至少一部分画面和/或在当前增强现实显示设备以外其他设备在3D移动空间内显示的画面。
6.根据权利要求1所述的方法,其特征在于,在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
根据佩戴部位的位置,判断用户是否意图回看所述显示画面;
若是,则重新控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使显示画面始终位于由佩戴部位的位置确定的用户视野内;
若否,则继续控制所述显示画面在3D移动空间的设定区域内显示。
7.根据权利要求6所述的方法,其特征在于,“根据佩戴部位的位置,判断用户是否意图回看所述显示画面”的步骤具体包括:
根据佩戴部位的位置,确定当前的用户视野;
根据当前的用户视野在3D移动空间中对应的视野区域与所述设定区域,判断用户是否意图回看所述显示画面。
8.根据权利要求7所述的方法,其特征在于,“根据当前的用户视野在3D移动空间中对应的视野区域与所述设定区域,判断用户是否意图回看所述显示画面”的步骤具体包括:
判断所述视野区域与所述设定区域是否重合;
若是,则判定用户意图回看所述显示画面;
若否,则判定用户未意图回看所述显示画面。
9.根据权利要求8所述的方法,其特征在于,
“判断所述视野区域与所述设定区域是否重合”的步骤包括:获取所述视野区域与所述设定区域之间的区域重合度,判断所述区域重合度是否大于预设的重合度阈值;若是,则判定重合;若否,则判定未重合;
或者,
“判断所述视野区域与所述设定区域是否重合”的步骤包括:判断所述区域重合度是否大于预设的重合度阈值以及持续时长是否达到预设的第一时长阈值;若是,则判定重合;若否,则判定未重合。
10.根据权利要求9所述的方法,其特征在于,预设的重合度阈值和预设的第一时长阈值分别通过下列方式得到:
获取当前用户使用增强现实显示设备的第二历史信息;
根据所述第二历史信息训练第二阈值模型,并采用训练好的第二阈值模型分别获取与当前用户匹配的重合度阈值和第一时长阈值;
其中,第二历史信息包括在控制所述显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,所述真实回看结果包括当前用户回看了显示画面和当前用户未回看显示画面。
11.根据权利要求6所述的方法,其特征在于,“根据佩戴部位的位置,判断用户是否意图回看所述显示画面”的步骤还包括:
根据佩戴部位的位置,获取佩戴部位与可移动载体之间相对运动的信息;
根据所述信息,判断用户是否意图回看所述显示画面。
12.根据权利要求11所述的方法,其特征在于,
“根据所述信息,判断用户是否意图回看所述显示画面”的步骤具体包括:根据所述信息,判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面。
13.根据权利要求11所述的方法,其特征在于,
“根据所述信息,判断用户是否意图回看所述显示画面”的步骤具体包括:根据所述信息判断佩戴部位与可移动载体是否处于未发生相对运动的静止状态以及持续时长是否达到预设的第二时长阈值;若是,则判定用户意图回看显示画面;若否,则判定用户未意图回看显示画面。
14.根据权利要求13所述的方法,其特征在于,预设的第二时长阈值通过下列方式得到:
获取当前用户使用增强现实显示设备的第三历史信息;
根据所述第三历史信息训练第三阈值模型,并采用训练好的第三阈值模型获取与当前用户匹配的第二时长阈值;
其中,第三历史信息包括在控制所述显示画面在3D移动空间的设定区域内显示的过程中佩戴部位的位置以及相应的真实回看结果,所述真实回看结果包括当前用户回看了显示画面和当前用户未回看显示画面。
15.根据权利要求1所述的方法,其特征在于,在控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动的过程中,和/或在控制所述显示画面在3D移动空间的设定区域内显示的过程中,所述方法还包括:
响应于接收到的显示异常处理指令,强制控制所述显示画面在所述设定区域内显示,
再控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动。
16.根据权利要求1所述的方法,其特征在于,所述方法还包括通过下列方式判断用户是否佩戴增强现实显示设备:
判断是否接收到与所述增强现实显示设备配合使用的画面信息输出设备反馈的第一信息,以及是否接收到增强现实显示设备在检测到其被佩戴在所述佩戴部位之后反馈的第二信息,所述第一信息为所述画面信息输出设备检测到与所述增强现实显示设备建立通信后生成;
若是,则判定用户佩戴了增强现实显示设备;
若否,则判定用户未佩戴增强现实显示设备。
17.根据权利要求1至16中任一项所述的方法,其特征在于,
所述方法还包括通过下列方式获取佩戴部位与可移动载体之间相对运动的信息:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,获取所述相对运动的信息;
和/或,
“控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动”的步骤包括:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制所述显示画面在3D移动空间内跟随佩戴部位的运动而运动,以使所述显示画面始终位于由佩戴部位的位置确定的用户视野内;
和/或,
“控制所述显示画面在3D移动空间的设定区域内显示”的步骤具体包括:根据增强现实显示设备的传感器数据和/或可移动载体的传感器数据,控制所述显示画面在3D移动空间的设定区域内显示。
18.一种增强现实显示设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至17中任一项所述的增强现实显示设备的显示方法。
19.根据权利要求18所述的增强现实显示设备,其特征在于,所述增强现实显示设备为增强现实眼镜、眼罩或头盔。
20.一种车辆,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至17中任一项所述的增强现实显示设备的显示方法。
21.一种移动终端,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至17中任一项所述的增强现实显示设备的显示方法。
22.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至17中任一项所述的增强现实显示设备的显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310497935.4A CN116204068B (zh) | 2023-05-06 | 2023-05-06 | 增强现实显示设备及其显示方法、车辆、移动终端、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310497935.4A CN116204068B (zh) | 2023-05-06 | 2023-05-06 | 增强现实显示设备及其显示方法、车辆、移动终端、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116204068A CN116204068A (zh) | 2023-06-02 |
CN116204068B true CN116204068B (zh) | 2023-08-04 |
Family
ID=86519485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310497935.4A Active CN116204068B (zh) | 2023-05-06 | 2023-05-06 | 增强现实显示设备及其显示方法、车辆、移动终端、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116204068B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9411412B1 (en) * | 2014-06-17 | 2016-08-09 | Amazon Technologies, Inc. | Controlling a computing device based on user movement about various angular ranges |
WO2018122600A2 (en) * | 2016-12-28 | 2018-07-05 | Quan Xiao | Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination |
CN109426345A (zh) * | 2017-08-31 | 2019-03-05 | 北京网秦天下科技有限公司 | Vr设备及其自适应显示方法 |
KR20190104946A (ko) * | 2019-08-23 | 2019-09-11 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
CN111897425A (zh) * | 2014-07-31 | 2020-11-06 | 三星电子株式会社 | 可穿戴眼镜和利用其提供信息的方法 |
CN113223129A (zh) * | 2020-01-20 | 2021-08-06 | 华为技术有限公司 | 一种图像渲染方法、电子设备及系统 |
CN115857698A (zh) * | 2022-12-26 | 2023-03-28 | 歌尔科技有限公司 | 混合现实交互显示装置及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150112754A1 (en) * | 2013-10-17 | 2015-04-23 | Ebay Inc. | User intent tracking streams |
US10437323B2 (en) * | 2015-05-31 | 2019-10-08 | Fieldbit Ltd. | Controlling a head mounted device |
WO2021006401A1 (ko) * | 2019-07-11 | 2021-01-14 | 엘지전자 주식회사 | 자율주행시스템에서 차량의 제어 방법 및 그 장치 |
KR20210062955A (ko) * | 2019-11-22 | 2021-06-01 | 엘지전자 주식회사 | 사용자인식에 기반한 디바이스의 제어 |
US20220044510A1 (en) * | 2020-08-07 | 2022-02-10 | International Business Machines Corporation | Edge computing to determine augmented reality content associated with a transportation infrastructure |
TWI790727B (zh) * | 2021-08-27 | 2023-01-21 | 亮聲科技股份有限公司 | 降血壓訓練設備 |
-
2023
- 2023-05-06 CN CN202310497935.4A patent/CN116204068B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9411412B1 (en) * | 2014-06-17 | 2016-08-09 | Amazon Technologies, Inc. | Controlling a computing device based on user movement about various angular ranges |
CN111897425A (zh) * | 2014-07-31 | 2020-11-06 | 三星电子株式会社 | 可穿戴眼镜和利用其提供信息的方法 |
WO2018122600A2 (en) * | 2016-12-28 | 2018-07-05 | Quan Xiao | Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination |
CN109426345A (zh) * | 2017-08-31 | 2019-03-05 | 北京网秦天下科技有限公司 | Vr设备及其自适应显示方法 |
KR20190104946A (ko) * | 2019-08-23 | 2019-09-11 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
CN113223129A (zh) * | 2020-01-20 | 2021-08-06 | 华为技术有限公司 | 一种图像渲染方法、电子设备及系统 |
CN115857698A (zh) * | 2022-12-26 | 2023-03-28 | 歌尔科技有限公司 | 混合现实交互显示装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116204068A (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106951316B (zh) | 虚拟模式与现实模式的切换方法、装置及虚拟现实设备 | |
JP6479199B2 (ja) | 情報処理装置 | |
CN108369752B (zh) | 信息处理装置和警告呈现方法 | |
US20100189413A1 (en) | Electronic Device and Recording Medium | |
JPWO2015136874A1 (ja) | 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体 | |
JP6348665B2 (ja) | ヘッドマウントディスプレイ、表示制御方法及びプログラム | |
KR20150122975A (ko) | Hmd 및 그 제어 방법 | |
EP3506082B1 (en) | Audio rendering for augmented reality | |
US20140375778A1 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
KR20140141100A (ko) | 시력 보호 방법 및 장치 | |
JP6433850B2 (ja) | ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 | |
EP3379736B1 (en) | Antenna control device, head-mounted display, antenna control method, and program | |
US11375170B2 (en) | Methods, systems, and media for rendering immersive video content with foveated meshes | |
CN103595984A (zh) | 3d眼镜、3d显示系统及3d显示方法 | |
WO2018198499A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
CN105474070A (zh) | 头戴式显示设备及其控制方法 | |
US20220012922A1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
US20230061649A1 (en) | Head-mountable display system and methods | |
EP3619685A1 (en) | Head mounted display and method | |
CN116204068B (zh) | 增强现实显示设备及其显示方法、车辆、移动终端、介质 | |
JP6522092B1 (ja) | 表示システム及び表示方法 | |
US20200160600A1 (en) | Methods, Apparatus, Systems, Computer Programs for Enabling Consumption of Virtual Content for Mediated Reality | |
US20210089121A1 (en) | Using spatial information for dynamic dominant eye shifts | |
JP2019197478A (ja) | プログラム、及び情報処理装置 | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |