CN110637276A - 用于便携式设备的定向估计的方法 - Google Patents

Abstract

公开一种用于根据便携式设备的空间定向来显示视觉信息的方法，其中，该便携式设备配备有用于检测定向信息的至少一个第一传感器以及加速度传感器，其中，基于所检测的定向信息估计便携式设备的空间定向，并且其中，借助由加速度传感器检测的传感器测量数据对所述定向估计进行修正，其中，根据所检测的传感器测量数据求取便携式设备处于静止阶段还是运动阶段，其中，基于在静止阶段中求取的定向估计以及加速度传感器的在该静止阶段中检测的传感器测量数据求取定向估计的误差，其中，在静止阶段中，分别将当前的定向估计不改变地作为视觉信息的显示的基础，其中，在接下来的运动阶段中，在定向估计时考虑并且逐渐地修正在静止阶段中求取的误差，其中，在运动阶段中，分别将当前的经修正的定向估计作为视觉信息的显示基础。

Description

用于便携式设备的定向估计的方法

技术领域

本发明涉及一种根据便携式设备的空间定向来显示视觉信息的方法，其中，该设备配备有用于检测定向信息的至少一个第一传感器以及加速度传感器，本发明还涉及一种用于执行这种方法的便携式设备。

背景技术

用于显示视觉信息的便携式设备(尤其在显示虚拟现实或增强现实的情况下)通过固定在头部的成像设备向使用者示出虚拟显示的图像，或者借助(例如关于被观察对象的)附加信息来对实际的图像拍摄进行补充。在使用者的头部运动时，便携式设备中的图像相应于头部运动而移位。为了正确地进行匹配，必须随时确定头部的定向。这通常通过转速传感器和三轴加速度传感器来实现。然而，转速传感器的测量大多是有误差的，使得实际的定向可能与所计算的定向不同。为了能够计算修正值，需获悉加速度传感器的数据。然而，加速度传感器通常无法区分重力加速度和在便携式设备的运动过程中产生的加速度。此外，每个传感器都经受永久的背景噪声，这附加地使测量值失真。为了修正这些传感器测量数据，需要对数据进行开销大的过滤，以及需要其他复杂计算以及需要将经修正的传感器测量数据反馈到显示上。在此，频繁地对显示进行修正可能引起高的能量消耗。尤其当使用者保持在一个固定的位置中时，连续的修正可能使使用者感到受干扰。

发明内容

本发明所基于的任务可以视为，提出一种方法以及一种便携式设备，所述方法和所述便携式设备能够实现：借助传感器高效地、节能地以及节省数据地对设备在空间中的定向估计进行修正。

该任务借助独立权利要求的相应主题解决。每个从属权利要求的主题是本发明的有利构型。

根据本发明一方面，提供一种根据便携式设备的空间定向来显示视觉信息的方法。便携式设备配备有用于检测定向信息的至少一个第一传感器以及加速度传感器。在便携式设备中，基于所检测的定向信息估计便携式设备的空间定向，并且借助由加速度传感器检测的传感器测量数据对该定向估计进行修正。根据本发明，根据所检测的传感器测量数据求取便携式设备处于静止阶段还是处于运动阶段，并且基于在静止阶段中求取的定向估计以及加速度传感器的在该静止阶段检测的测量数据来求取定向估计的误差。在静止阶段中，分别将当前的定向估计不改变地作为视觉信息的显示的基础。根据本发明，在本方法中，在接下来的运动阶段中，在定向估计时考虑并且逐渐地(sukzessive)修正在静止阶段中求取的误差，并且在运动阶段中，将当前的经修正的定向估计作为视觉信息的显示的基础。

在静止阶段中，使用者的头部以及布置在使用者头部的便携式设备静止地保持在一个位置中。在静止阶段期间，不对定向估计以及视觉信息的显示执行修正。相比于快速实施运动的情况，尤其当头部保持在一个位置中或缓慢运动时，使用者能够更清楚地感知到定向估计的修正以及基于定向估计的视觉信息显示的修正。在静止阶段期间，测量加速度传感器的传感器测量数据，并且求取重力加速度的测量矢量。随后，借助重力加速度的加速度传感器的测量矢量或所测量的传感器测量数据，可以求取定向估计的误差。根据重力加速度的测量矢量与重力加速度的由定向估计得到的矢量之间的偏差来进行误差的计算。

相反地，在运动阶段中，使用者使其头部以及便携式设备运动。例如，便携式设备可以向上或向下或向一侧旋转。在此，由运动导致的加速度叠加在重力加速度的测量上。在运动阶段中可以禁用加速度传感器或使加速度传感器的测量速度变得更慢。替代地，在运动阶段中，可以以所求取的和所存储的修正值对定向估计和基于该定向估计的视觉信息的显示(例如图像)进行修正。在此，定向估计的修正可以尽可能慢地完成。“慢”应理解为：以小的步、不突然改变显示地执行对基于定向估计的视觉信息显示的匹配，从而使用者在运动中不能感知到修正。

通过该方法充分利用相应阶段的优点。在静止阶段中，可以精确地测量重力加速度，而不会受到(由于使用者头部运动引起的)便携式设备的线性加速度的干扰，使得能够提高重力加速度的矢量的测量的准确性。由此，还可以提高修正值的准确性。如果使用者的头部停留在一个位置，则图像也不能运动，因为人眼在头部静止的位置中已经可以注意到图像的转向(Wegdrehen)或抖动。

在运动阶段期间，使用者可能很难感觉到显示的匹配或移位。尽管如此，可以如此迅速地对定向进行匹配，使得防止显示的较长延迟或图像的“压缩(Nachziehen)”。显示的延迟会导致使用者头晕。与已知方法相反，不需要连续地求取加速度传感器的传感器测量数据，而是仅需在静止阶段中测量和分析处理加速度传感器的传感器测量数据。通过将定向估计的修正分为静止阶段和运动阶段，便携式设备可以通过该方法特别计算高效且节能地工作。

根据该方法的一种实施例，使用摄像机、转速传感器、麦克风和/或磁传感器来检测定向信息。由此，可以通过多个可能的传感器来求取定向信息。尤其光学传感器(例如摄像机)也可以检测传感器测量数据，并且例如通过分析多个图像来提供关于便携式设备的运动的信息和关于便携式设备在空间中的取向的信息。

根据该方法的另一实施例，基于用于检测定向信息的至少一个第一传感器的传感器测量数据和/或基于至少一个加速度传感器的传感器测量数据来确定静止阶段和运动阶段。例如，可以使用转速传感器的归一化信号来实现静止阶段与运动阶段之间的切换。例如，如果传感器测量值高于确定的阈值，则可以认为便携式设备处于运动中，否则可以认为便携式设备处于静止阶段中。替代地或附加地，可以使用加速度传感器的信号来进行识别。例如，如果当前的加速度值与(例如最后100毫秒的)平均加速度值之间的差大于定义的阈值，则可以认为便携式设备处于运动中，否则可以认为便携式设备处于静止阶段中。也可以一起使用上面提及的两个条件和传感器的组合。然而，替代地或附加地，也可以借助摄像机系统来确定定向。

根据该方法的另一实施例，基于在静止阶段中求取的误差来确定至少一个修正值，所述至少一个修正值用于在接下来的运动阶段中逐渐地补偿误差值。在运动阶段期间或头部运动期间，可以以修正值的形式逐渐地对定向估计进行修正。修正值在每个时间步骤中都会影响定向估计。例如，可以以如下旋转角的形式定义修正值：为了进行修正，必须将所估计的定向转过该旋转角。选择修正值的目的是对定向估计的现有估计误差进行温和修正(weiche Korrektur)，以便避免使用者感知到该修正。修正值例如可以是实际的估计误差的一小部分或因子。可以在多个时间步骤上或显示的更新步骤上，借助修正值对定向估计进行修正以及对显示进行修正，直到实际的估计误差已完全被修正。如果在运动阶段期间已完全修正估计误差，则可以将修正值设置为等于零，使得直到下一静止阶段前不进行其他修正。

根据该方法的另一实施例，将当前的修正值分别匹配于便携式设备的运动。为了使使用者尽可能不注意到定向估计的修正，可以通过修正值取决于运动地进行修正。可以将所需的修正或修正值与便携式设备的运动或使用者的头部运动叠加。为此，不是只要便携式设备处于运动中就直接完全地执行误差修正，而是取决于设备的运动强度来对误差修正进行选择，并且分多个步骤执行误差修正。例如，可以将修正值定义为：与加速度传感器的传感器测量数据减去重力加速度所得的差成比例。

根据该方法的另一实施例，在对修正值进行匹配时考虑便携式设备的转速。由此，修正值可以与转速传感器的传感器测量数据线性相关或与转速传感器的传感器测量数据的平方成比例，并且基于使用者头部的旋转运动，可以将逐渐修正的定向估计作为视觉信息的显示的基础。

根据该方法的另一实施例，与在静止阶段中相比，使加速度传感器在运动阶段中以更低的采样率运行。在此，在运动阶段中可以辅助地(hilfsweise)接通加速度传感器。通过这种措施尤其可以降低便携式设备的能量消耗，因为加速度传感器不必连续地求取传感器测量数据，并且因此不必连续地给加速度传感器提供电能。

根据该方法的另一实施例，在运动阶段中将加速度传感器禁用。仅当便携式设备处于静止阶段中时，才需要对加速度传感器的传感器测量数据进行读取以及对所估计的定向的误差进行计算。因此，借助该方法可以对定向估计执行高效节能的修正。优选地，可以在运动阶段中将加速度传感器完全关断。这导致：加速度传感器只能在静止阶段中以高准确度求取数据。因此，静止阶段的所收集的数据不受在运动阶段中可能收集的数据的影响，运动阶段中所收集的数据可能由于线性加速度而失真。此外，通过在运动阶段中关断加速度传感器，可以显著减少数据量。

根据本发明的另一方面提供一种便携式设备，该便携式设备用于按照根据本发明的上述方面的方法、根据其定向来显示视觉信息。该便携式设备包括用于检测定向信息的至少一个第一传感器并且包括加速度传感器。

优选地，该便携式设备布置或固定在使用者的头部上或头部处。取决于头部的运动，可以求取便携式设备处于静止阶段还是运动阶段。例如，如果使用者的头部很少运动或不运动，则可以根据至少一个传感器和/或加速度传感器的传感器测量数据求取出处于静止阶段。在静止阶段期间，根据加速度传感器的传感器测量数据，通过与实际的重力加速度进行比较来确定加速度传感器的误差。在静止阶段期间，可以将该误差存储在存储器中。如果例如识别出便携式设备处于运动阶段，则可以基于所存储的误差计算经修正的定向估计，可以将该经修正的定向估计用作视觉信息的经修正的显示的基础。加速度传感器例如可以在运动阶段期间被禁用或求取较少的传感器测量数据。由此，可以节能地实施便携式设备。此外，产生较少的必须对其进行分析处理的传感器测量数据，由此可以降低便携式设备的计算能力。

附图说明

以下根据高度简化的示意图更详细地阐述本发明的优选实施例。

在此示出：

图1示出根据第一实施例的方法的示意图；

图2示出根据第二实施例的方法的示意性流程图；

图3示出用于执行根据第一实施例的方法的便携式设备的示意图。

具体实施方式

图1示出根据第一实施例的方法1的示意图或方框图。在此，进行定向估计2来使图像匹配于使用者的头部运动。借助不同的运动传感器数据来计算使用者的头部运动。根据该实施例，使用三轴转速传感器6来产生用于定向估计2的传感器测量数据8。转速传感器6用作在图3中示出的用于执行方法1的便携式设备G的定向估计2的主要信息源。如果已知便携式设备G的初始位置，则能够通过对所测量的转速10(所测量的转速是传感器测量数据8的组成部分)进行数值积分来计算便携式设备G的定向2。这在小的时间间隔内完成，以便使所估计的定向2的延迟保持得尽可能小。由于偏移或偏置，转速传感器6的传感器测量数据10是有误差的，使得在长时间使用便携式设备G时，便携式设备G的实际定向和所计算的定向2可能不同。这种偏移或偏置可能是导致误差值12的原因。为了计算误差值12，使用三轴加速度传感器4的传感器测量数据14来计算误差值12。因此，误差值12由所测量的重力加速度16与重力加速度g的从所计算的定向2中提取的估计矢量的偏差得出。然而，加速度传感器4的传感器测量数据14由于使用者的头部运动的线性加速度而失真。此外，在静止阶段20中，便携式设备G的图像显示中的修正被使用者注意到，并且此外还可能引起使用者的头晕。因此，在通过加速度传感器4对重力加速度进行测量16之前，首先执行运动识别18。替代地或附加地，也可以通过转速传感器6或另一传感器来进行运动识别18。运动识别18可以区分为：使用者的头部运动的静止阶段20和运动阶段22。根据转速传感器6的测量数据10和加速度传感器4的测量数据14，运动识别18求取：便携式设备G处于静止阶段20还是运动阶段22。

如果通过运动识别18识别出静止阶段20，则通过加速度传感器4对重力加速度16进行测量，并且求取针对所估计的重力加速度g的误差值12。接下来，根据误差值12将用于对借助便携式设备G传输的图像进行匹配的修正值24存储在误差存储器26中。

如果运动识别18识别出运动阶段22，则根据修正值24由误差存储器26求取修正因子28。根据一种实施例，根据便携式设备G的运动强度来确定修正因子28。接下来，将修正因子28与修正值24相乘，并且将结果30用于便携式设备G的定向估计2，使得计算出经修正的定向估计32，并且因此可以以图像的经修正的取向的形式来将图像、视觉信息33的显示匹配于45使用者的头部运动。在进行修正30之后，将存储在误差存储器26中的修正值24以用于修正30的修正因子28减小。可以重复通过修正因子28的修正30，直到误差存储器26中的修正值24等于零。通过对定向估计2的缓慢修正30以及对便携式设备G的图像的逐渐匹配34，可以实现温和修正，这种温和修正在运动阶段22期间不会被使用者注意到。

由使用者头部的正交于重力加速度g方向的运动所引起的定向估计的误差或偏差(即所谓的“朝向，Heading”H)是无法通过加速度传感器4修正的。为此，方法1使用三轴磁传感器36。磁传感器36检测在图3示出的地球的磁北极N，并且可以确定设备G围绕“朝向”H的旋转偏差38或误差38。借助该所确定的误差38又能够计算针对“朝向”H的修正因子40。现在可以将修正因子40附加地用于对定向估计2进行修正30。在使用磁传感器36的情况下，对于便携式设备G的正交于重力加速度g方向的运动而言，划分成静止阶段20和运动阶段22以及使用误差存储器26是可选的，因为磁传感器36的测量仅轻微地受到便携式设备G的运动和加速度的影响。然而，为了防止使用者感知到修正，应仅在运动阶段中执行该修正。

图2借助示意性的流程图说明根据第二实施例的方法1。方法1可以迭代地执行。在第一步骤中，根据传感器测量数据8、10、14求取：可以将便携式设备G分配到静止阶段20还是运动阶段22。如果可以根据传感器测量数据8、10、14求取出静止阶段20，则基于定向估计2和在该静止阶段20中所检测的传感器测量数据8、10、14来求取定向估计2的误差12。接下来，将误差值12存储在误差存储器26中，以用于下一运动阶段22。原则上，静止阶段20之后是运动阶段22。在静止阶段20期间不改变或修正定向估计2。而是基于未改变的定向估计2输出视觉信息33的显示。相反地，如果确定处于运动阶段22，则根据在静止阶段20期间所求取的误差值12来对定向估计2进行修正30。在此逐渐地进行修正30，使得能够尽可能地不被使用者注意到地执行定向估计2。相应地，根据定向估计2的已执行的修正30来对存储在误差存储器26中的修正值24进行匹配27。例如可以将存储在误差存储器26中的修正值24以一个因子或一个值减小。基于所执行的定向估计2的修正30，求取经修正的定向估计32。在运动阶段22期间，将经修正的定向估计32用作视觉信息33的显示的基础。

在另一时间步骤中，可以替代地或附加地将经修正的定向估计作为借助第一传感器6(或根据该实施例借助转速传感器6)求取定向估计2的基础。例如可以将经修正的定向估计32用作对转速传感器6的转速进行时间积分的初始值。

图3示出用于执行根据第一实施例的方法1的便携式设备G的示意图。根据该实施例，便携式设备G具有能够固定在使用者的头部的保持件42。该保持件42可以通过弹性带44匹配于并且固定在使用者的头部。保持件42具有成像设备48。保持件42具有未示出的光学器件并且配备有电子器件和传感器。保持件42具有加速度传感器4、旋转轴传感器6和磁传感器36。使用者头部的正交于重力加速度g方向的运动或围绕便携式设备G的旋转轴R的运动是“朝向”H。磁传感器36可以记录磁北极N并且可以识别便携式设备G与磁北极N的旋转偏差。

Claims (9)

1.一种用于根据便携式设备(G)的空间定向来显示视觉信息(33)的方法(1)，其中，所述便携式设备(G)至少配备有用于检测定向信息的第一传感器(6)并且配备有加速度传感器(4)，

其中，基于所检测的定向信息来估计(2)所述便携式设备(G)的空间定向，并且

其中，借助由所述加速度传感器(4)检测的传感器测量数据(8)来对所述定向估计(2)进行修正，

其特征在于，

根据所检测的传感器测量数据(8)求取所述便携式设备(G)处于静止阶段(20)还是处于运动阶段(22)，

基于在静止阶段(20)中求取的定向估计以及所述加速度传感器(4)的在所述静止阶段(20)中检测的传感器测量数据(8，14，16)来求取所述定向估计的误差(12)，

在静止阶段(20)中，分别将当前的定向估计不改变地作为所述视觉信息(33)的显示的基础，

在接下来的运动阶段(22)中，在所述定向估计时考虑并且逐渐地修正在静止阶段(20)中求取的误差(12)，

在运动阶段(22)中，分别将当前的经修正的定向估计作为所述视觉信息(33)的显示的基础。

2.根据权利要求1所述的方法，其中使用摄像机、转速传感器(6)、麦克风和/或磁传感器来检测定向信息。

3.根据权利要求1或2所述的方法，其特征在于，基于用于检测定向信息的所述至少一个第一传感器(6)的和/或所述至少一个加速度传感器(4)的传感器测量数据(8，10)来确定静止阶段(20)和运动阶段(22)。

4.根据权利要求1至3中任一项所述的方法，其特征在于，基于在静止阶段(20)中求取的误差(12)来确定至少一个修正值(24)，所述至少一个修正值用于在接下来的运动阶段(22)中逐渐地补偿所述误差(12)。

5.根据权利要求4所述的方法，其特征在于，分别将当前的修正值(24)匹配于所述设备(G)的运动。

6.根据权利要求5所述的方法，其特征在于，在对所述修正值(24)进行匹配时考虑所述便携式设备(G)的转速。

7.根据权利要求1至6中任一项所述的方法，其特征在于，与在静止阶段(20)中相比，使所述加速度传感器(4)在运动阶段(22)中以更低的采样率运行。

8.根据权利要求1至6中任一项所述的方法，其特征在于，在运动阶段(22)中将所述加速度传感器(4)禁用。

9.一种便携式设备(G)，所述便携式设备用于按照根据上述权利要求中任一项所述的方法(1)、根据所述便携式设备的空间定向(2)来显示视觉信息，所述便携式设备至少包括：

用于检测定向信息的第一传感器(6)，和

加速度传感器(4)。