CN113065572A - 多传感器融合的数据处理方法、定位装置及虚拟现实设备 - Google Patents

Abstract

本发明公开了一种多传感器融合的数据处理方法、定位装置及虚拟现实设备。该数据处理方法包括以下步骤：在第一定位周期利用至少一组传感器组的数据，计算出物理中心的位姿；根据物理中心的位姿的惯性导航得到预测的物理中心位姿；在第二定位周期计算各传感器组的三维坐标位姿；基于三维坐标位姿，计算各传感器组在第二定位周期的第三惯性导航数据；通过第三惯性导航数据和各传感器到物理中心的位姿关系，分别得到转化后的物理中心位姿；基于转化后的物理中心位姿，获得各传感器组的预测位姿。本发明可以降低传感器带来的误差；减小IMU积累误差，而且传感器数量少，计算方法简单，实现了成本控制。

Description

多传感器融合的数据处理方法、定位装置及虚拟现实设备

技术领域

本发明涉及一种多传感器融合的数据处理方法、定位装置及虚拟现实设备，属于虚拟现实技术领域。

背景技术

现有的室内定位技术包括电磁定位、WiFi定位、超声定位和惯性导航(InertialNavigation)定位等。其中，惯性导航技术主要应用于VR(虚拟现实)定位设备的位置姿态测量，根据外界定位数据(如视觉slam、lighthouse等)与IMU(惯性器件)测量得到的载体相对惯性空间的角速度和加速度数据做数据融合，提供高频率更新的位置和姿态。惯性器件包括加速度计和陀螺仪，其中加速度计输出载体的绝对加速度，陀螺仪输出载体相对惯性空间的角速度或角增量。加速度和角速度包含了载体的全部信息，所以惯性导航系统仅靠系统本身的惯性器件就能获得导航用的全部信息。

但是，现有的惯性导航系统也有局限性，其需要数量较多的传感器以及传感器各角度的覆盖、或通过较高处理性能的计算单元进行视觉分析，但是实际应用场景中对定位器的体积、功耗、成本等有大幅限制，就需要用最少的传感器以及性能不太高的相对便宜的处理器来实现惯性导航定位。

发明内容

本发明所要解决的首要技术问题在于提供一种多传感器融合的数据处理方法；

本发明所要解决的另一技术问题在于提供一种使用上述数据处理方法的定位装置；

本发明所要解决的又一技术问题在于提供一种使用上述数据处理方法的虚拟现实设备。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种多传感器融合的数据处理方法，包括以下步骤：

位姿计算步骤：在第一定位周期利用至少一组传感器组的数据，计算出物理中心的位姿；

预测物理中心位姿的步骤：根据物理中心的位姿的惯性导航得到预测的物理中心位姿；

获得第二定位周期的三维坐标的步骤：在第二定位周期计算各传感器组的三维坐标位姿；

计算第三惯性导航数据的步骤：基于所述三维坐标位姿，计算所述各传感器组在第二定位周期的第三惯性导航数据；

计算转化后的物理中心位姿的步骤：通过所述第三惯性导航数据和所述各传感器到所述物理中心的位姿关系，分别得到转化后的物理中心位姿；

预测各传感器组位姿的步骤：基于所述转化后的物理中心位姿，获得所述各传感器组的预测位姿。

其中较优地，所述位姿计算步骤包括以下步骤：

步骤1：利用所述获得三维坐标的至少一组传感器数据进行惯性导航，得到第一惯性导航数据；

步骤2：利用所述第一惯性导航数据推导出所述物理中心的位姿；

步骤3：利用推导出所述物理中心的位姿计算出未获得三维坐标的传感器组的位姿。

其中较优地，进一步包括如下步骤：将所述预测物理中心位姿的步骤中得到的所述预测的物理中心位姿，与所述计算转化后的物理中心位姿的步骤获得的所述转化后的物理中心位姿进行对比，选出与所述预测的物理中心位姿误差最小的所述转化后的物理中心位姿，作为下一定位周期的所述预测物理中心位姿的步骤中的所述物理中心的位姿。

其中较优地，进一步包括如下步骤：基于所述预测的物理中心位姿误差最小的所述转化后的物理中心位姿，推导出其余传感器组的位姿，并以纠正所述各传感器组的所述第三惯性导航数据。

其中较优地，所述各传感器组包括激光传感器和超声传感器；

所述获得第二定位周期的三维坐标的步骤中，获得所述各传感器组的极坐标方法计算得到的三维坐标位姿；

所述计算第三惯性导航数据的步骤，包括利用所述极坐标方法计算得到的三维坐标位姿，进行惯性导航处理，得到所述各传感器组在所述第二定位周期的第三惯性导航数据。

其中较优地，利用所述极坐标方法计算得到的三维坐标位姿，是所述各个传感器组的所述三维坐标位姿；

所述第三惯性导航数据，是基于所述各个传感器组的所述三维坐标位姿进行独立的惯性导航得到的。

其中较优地，所述位姿计算步骤中，是利用获得三维坐标的所述至少一组传感器组的数据，计算出所述物理中心的位姿以及未获得三维坐标的传感器组的位姿。

其中较优地，在所述计算第三惯性导航数据的步骤中，先获得惯性器件提供的其所在位置的加速度和角速度，再根据所述惯性器件所在位置的角速度和加速度，得到其余传感器组的角速度和加速度。

根据本发明实施例的第二方面，提供一种定位装置，包括刚性本体、处理器、存储器以及固定在所述本体上的多个传感器组和惯性器件；

所述定位装置具有物理中心；

所述处理器读取所述存储器中的计算机程序，用于执行上述多传感器融合的数据处理方法。

根据本发明实施例的第三方面，提供一种虚拟现实设备，包括处理器、存储器、定位装置以及成像装置，其中所述定位装置安装在头戴式显示设备的外壳上，所述处理器读取所述存储器中的计算机程序，用于执行上述多传感器融合的数据处理方法。

本发明通过利用各组传感器本身的惯性导航进行各传感器位姿预测，可以降低激光传感器或者超声传感器带来的误差；而且利用误差最小的物理中心位姿的惯性导航数据以保证物理中心的位置姿态误差最小，并以此结果进一步纠正每组传感器的惯性导航的误差，减小积累误差，克服IMU的不足。本发明采用的传感器数量少，计算方法简单，所以本发明的虚拟现实设备没有增加体积或功耗，而且无需选用高性能处理器，实现了成本控制。

附图说明

图1为本发明中，虚拟现实设备的结构示意图；

图2为本发明中，定位装置的传感器组示意图；

图3为本发明所提供的多传感器融合的数据处理方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

本发明实施例所提供的多传感器融合的数据处理方法，使用尽量少的传感器，从而减小定位设备的体积和功耗；采用新的计算方法，实现一定信号覆盖范围下的较低计算量的位置与姿态解算；而且通过对传感器接收到的数据的迭代处理，减少了定位误差。本发明还提供了采用上述数据处理方法的定位装置及虚拟现实设备。

如图1所示，本发明实施例提供的虚拟现实设备100，包括定位装置10以及成像装置4。其中，定位装置10安装在头戴式显示设备的外壳(未图示)上。定位装置10包括刚性的本体(未图示)、处理器1、存储器2以及固定在本体上的多个传感器组和惯性器件3。定位装置10用于检测位姿变化，并将检测数据发送处理器1。存储器2用于存储本发明所提供的多传感器融合的数据处理方法。处理器1对检测数据进行计算后，得到定位装置10的位姿变化，定位装置10安装在头戴式显示设备上，并可和头戴式显示设备进行数据传输，将定位装置10的位姿变化发送给虚拟现实设备100，由于定位装置10安装在虚拟现实设备100上，两者的位姿变化应该是同步的，所以虚拟现实设备100再根据位姿变化计算出新的图像显示内容，然后发给成像装置4进行显示。

传感器组和惯性器件3的位置如图2所示。每组传感器组分别包括不同的传感器，图中左侧第一组传感器(A组)包括两个激光传感器以及位于激光传感器中间的超声传感器；图中位于中间的第二组传感器(B组)包括三个传感器，其中靠近第一组的激光传感器、位于中间的超声传感器以及靠近第三组传感器的IMU惯性器件。定位装置具有物理中心，B组传感器组是最靠近该物理中心的传感器组。换言之，IMU惯性器件位于最靠近物理中心的位置。处理器可以读取存储器中的计算机程序，用于执行本发明所提供的多传感器融合的数据处理方法。

如图2所示，本发明实施例提供的定位装置10包括刚性的本体(未图示)、处理器1、存储器2以及固定在本体上的多个传感器(组)和IMU惯性器件3。图中显示，每组传感器组分别包括不同的传感器，图中左侧第一组传感器(A组)包括两个激光传感器(图中为两个，实际可以为1个)以及位于激光传感器中间的超声传感器(三角形表示激光传感器；方形表示超声传感器)；图中位于中间的第二组传感器(B组)包括三个传感器，其中靠近第一组的激光传感器、位于中间的超声传感器以及靠近第三组传感器的IMU惯性器件；图中位于右侧的第三组传感器(C组)与第一组传感器相似，包括两个激光传感器以及位于激光传感器中间的超声传感器。图中的数量和传感器排布方式只是举例，不构成对本发明的限制。可见，本发明的定位装置中设置的多组传感器组中均包含激光传感器和超声传感器，但是只是其中一组传感器组中包含IMU惯性部件。本领域普通技术人员也可以理解，在每一组传器组中设置IMU惯性部件，也是可以的。只是定位装置的成本、能耗及体积均可能增加。IMU芯片用于测量物体加速度角速度。在定位装置中，IMU可以是设计在定位装置内部。图2中，星形表示定位装置整体(包含定位装置本体及传感器组)的物理中心(例如重心、光学中心等)。

本发明实施例所提供的定位装置及虚拟现实设备中，处理器1读取存储器2中的计算机程序，用于执行本发明所提供的多传感器融合的数据处理方法。如图3所示，该数据处理方法包括以下步骤：

1.位姿计算步骤：在第一定位周期利用至少一组传感器组的数据，计算出物理中心的位姿

在第一定位周期，处理器利用获得三维坐标的至少一组传感器组的数据，可以计算出物理中心的位姿，也可以计算出未获得三维坐标的传感器组的位姿。具体步骤如下：

步骤1：利用一组传感器数据进行惯性导航，得到第一惯性导航数据

已知A组、B组、C组传感器的三维坐标位姿以及定位装置的物理中心S的位置。在一个定位周期内，三组传感器中可能有一组或两组因遮挡等原因未能获得三维坐标，则利用已获得三维坐标的一组传感器进行惯性导航，得到第一惯性导航数据。(例如只有C组获得三维坐标C1，对C1进行惯性导航后得到C组传感器的第一惯性导航数据C1’)。本领域普通技术人员可以理解，本发明也可以顺序逐一选择一组传感器的三维坐标位姿进行计算，也可以对各组传感器对三维坐标位姿均进行计算。

步骤2：利用第一惯性导航数据推导出物理中心S的位姿S1

根据获得三维坐标的C组传感器的第一惯性导航数据C1’，基于对应的传感器与物理中心的位姿关系，得到物理中心的位姿S1。

物理中心S点位姿，可以根据C组传感器的第一惯性导航数据C1’以及C组传感器与物理中心S之间的位置偏移量做姿态旋转得到。

步骤3：利用推导出物理中心S的位姿S1计算出未获得三维坐标的传感器组的位姿

对物理中心的位姿S1进行惯性导航处理，得到第二惯性导航数据S1’。通过第二惯性导航数据S1’以及物理中心S与A/B传感器组的位置关系(刚体的位置关系相对固定)，推导出未获得三维坐标的传感器组A组传感器和B组传感器的位姿A1和B1。

2.预测物理中心位姿的步骤

对物理中心位姿S1的第二惯性导航数据S1’，得到预测的物理中心位姿S2。

3.获得第二定位周期的三维坐标的步骤：在第二定位周期计算各传感器组的极坐标方法计算得到的三维坐标位姿

在第二定位周期，通过A/B/C三组传感器得到这三组传感器各自相对于基站的使用极坐标方法计算得到的三维坐标。

每一组传感器均可根据激光传感器和超声传感器检测的数据，得到该组相对于基站的位置A传感器组三维坐标A2、B传感器组三维坐标B2、C传感器组三维坐标C2(通常以超声传感器的位置为该组的位置)。利用传感器组得到三维坐标的具体方法，可参考中国专利申请第CN201610917518.0号。类似的，可能因为遮挡等原因，各组传感器中有未能获取三维坐标的一组或多组，则仅以已获得三维坐标的传感器组进行计算。

4.计算第三惯性导航数据的步骤：计算所述各传感器组在第二定位周期的第三惯性导航数据

对第三步得到的A/B/C三组传感器的三维坐标进行惯性导航处理，得到各传感器组在第二定位周期的第三惯性导航数据A2’、B2’、C2’。

通过位于B组的IMU，得到B点的加速度和角速度(IMU也可以位于A点或者C点，本发明不受此限制)，再根据B组传感器的角速度和加速度，得到A组传感器和C组传感器的角速度和加速度。

具体方法是：由于多组传感器是固定在刚体上，刚体上任意一点的角速度都相等。例如：A点加速度为B点加速度+B点角速度带来的A点离心力A+B点角加速度带来的A点额外加速度。同理可求得C点的加速度。得到A/B/C三处的加速度和角速度后，结合第一步得到的三维坐标，进行惯性导航的数据融合，得到更高的更新频率(高于声光传感器数据更新频率)的位置姿态数据A2’、B2’、C2’。例如声光传感器数据更新频率为60Hz，惯性导航处理后更新频率为120Hz。

由上述方法，我们可以得到三组独立的惯性导航结果，各传感器组在下个定位周期(第二定位周期)的第三惯性导航数据A2’、B2’、C2’。利用各组传感器本身的惯性导航进行各传感器位姿预测，可以降低激光传感器或者超声传感器带来的误差。

5.计算转化后的物理中心位姿的步骤：通过所述第三惯性导航数据和所述各传感器到所述物理中心S的位姿关系，分别得到转化后的物理中心位姿SA、SB、SC

SA点位姿为A点位置加上传感器组A与物理中心S的位置偏移量，做姿态旋转得到；SB点位姿为B点位置加上传感器组B与物理中心S的位置偏移量，做姿态旋转得到；SC点位姿为传感器组C点位置加上传感器组C与物理中心S位置偏移量，做姿态旋转得到。

6.预测各传感器组位姿的步骤：基于转化后的物理中心位姿，获得各传感器组的预测位姿

比较预测的物理中心位姿与转化的物理中心，选定误差最小的转化的物理中心，再基于这个误差最小的转化的物理中心计算得到各传感器组的预测位姿。利用物理中心位姿的惯性导航数据，选用误差最小的一组以保证物理中心的位置姿态最小，以此结果进一步纠正每组传感器的惯性导航的误差，减小积累误差。

使用IMU导航的主要缺点是它们会不断的将检测计算出的位置结果加到原有的位置信息上，会积累误差,包括Abbe误差。尽管在测量时的误差很小,但这些误差从一个位置点到另一个位置点不断积累，导致“漂移”,或者系统认为的所在地和实际位置的区别越来越大。本发明通过选择误差最小的转化的物理中心，控制了误差范围，使得迭代过程中这样的误差不会累加。

将第2步得到的物理中心位姿S2和第3～5步得到的预测的物理中心位姿SA、SB、SC进行对比，得到SA、SB、SC中误差最小的一组作为物理中心的位姿，对比的方法是通过比较转化后的物理中心位姿SA、SB、SC和预测的物理中心位姿S2的差值，差值的绝对值最小，则认为该组为误差最小的一组。例如SB误差最小，则以SB作为物理中心的位姿，进行惯性导航后得到SB’，利用SB’推导出A和C组传感器的位姿Anew、Cnew，并以Anew、Cnew纠正第四步得到的各传感器组的第三惯性导航数据。对于第三步因遮挡等未能获取三维坐标的情况，则可以利用Anew、Cnew进行补全。

本发明所提供的数据处理方法中，在每个定位周期重复上述步骤，获得全部传感器组的位姿。具体而言，返回第1步位姿计算步骤；并经第2－5步得到的物理中心位姿SA2、SB2、SC2；在第6步对物理中心SB’进行惯性导航，得到预测的物理中心位姿S3，将S3和第三定位周期的通过第3－5步得到的物理中心位姿SA2、SB2、SC2进行对比，选出物理中心位姿SA2、SB2、SC2中与S3误差最小的，作为接下来一定位周期预测和惯性导航的基础，即，作为下一定位周期的预测物理中心位姿的步骤中的物理中心的位姿。在下一定位周期的预测物理中心位姿的步骤中，基于该物理中心的位姿进行惯性导航，从而预测物理中心的位姿，并且纠正或补全各个传感器组的位姿。

这样，不断进行循环重复，通过物理中心的惯性导航更新，得到误差最小的A、B、C三组传感器的位姿数据。

采用本发明所提供的数据处理方法，不仅可以补全由于遮挡或损坏等造成的某组传感器的位姿数据，还可以纠正每组传感器的位姿数据的误差，避免误差积累。这是因为，本发明通过利用各组传感器本身的惯性导航进行各传感器位姿预测，可以降低激光传感器或者超声传感器带来的误差；而且利用物理中心位姿的惯性导航数据，选用误差最小的一组以保证物理中心的位置姿态误差最小，以此结果进一步纠正每组传感器的惯性导航的误差，减小积累误差，克服IMU的不足。

需要说明的是，本发明所提供的多传感器融合的数据处理方法、定位装置以及虚拟现实设备，不仅可以适用于移动端VR，也可以适用于PC端VR或者一体式VR。根据2017年4月6日发布的《虚拟现实头戴式显示设备通用规范》，虚拟现实头戴式显示设备包括外接式、一体式和外壳式，均适用本发明所提供的技术方案。

由于本发明的技术方案中采用的传感器数量少，计算方法简单，所以本发明所提供的虚拟现实设备没有增加体积或功耗，而且无需选用高性能处理器，所以实现了成本控制。

上面对本发明所提供的多传感器融合的数据处理方法、定位装置及虚拟现实设备进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种多传感器融合的数据处理方法，其特征在于包括以下步骤：

位姿计算步骤：在第一定位周期利用至少一组传感器组的数据，计算出物理中心的位姿；

预测物理中心位姿的步骤：根据物理中心的位姿的惯性导航得到预测的物理中心位姿；

获得第二定位周期的三维坐标的步骤：在第二定位周期计算各传感器组的三维坐标位姿；

计算第三惯性导航数据的步骤：基于所述三维坐标位姿，计算所述各传感器组在第二定位周期的第三惯性导航数据；

计算转化后的物理中心位姿的步骤：通过所述第三惯性导航数据和所述各传感器到所述物理中心的位姿关系，分别得到转化后的物理中心位姿；

预测各传感器组位姿的步骤：基于所述转化后的物理中心位姿，获得所述各传感器组的预测位姿。

2.如权利要求1所述的多传感器融合的数据处理方法，其特征在于：

所述位姿计算步骤包括以下子步骤：

步骤1：利用所述获得三维坐标的至少一组传感器数据进行惯性导航，得到第一惯性导航数据；

步骤2：利用所述第一惯性导航数据推导出所述物理中心的位姿；

步骤3：利用推导出所述物理中心的位姿计算出未获得三维坐标的传感器组的位姿。

3.如权利要求1所述的多传感器融合的数据处理方法，其特征在于进一步包括：

将所述预测物理中心位姿的步骤中得到的所述预测的物理中心位姿，与所述计算转化后的物理中心位姿的步骤获得的所述转化后的物理中心位姿进行对比，选出与所述预测的物理中心位姿误差最小的所述转化后的物理中心位姿，作为下一定位周期的所述预测物理中心位姿的步骤中的所述物理中心的位姿。

4.如权利要求3所述的多传感器融合的数据处理方法，其特征在于进一步包括：

基于所述预测的物理中心位姿误差最小的所述转化后的物理中心位姿，推导出其余传感器组的位姿，并以纠正所述各传感器组的所述第三惯性导航数据。

5.如权利要求1或3所述的多传感器融合的数据处理方法，其特征在于：

所述各传感器组包括激光传感器和超声传感器；

所述获得第二定位周期的三维坐标的步骤中，获得所述各传感器组的极坐标方法计算得到的三维坐标位姿；

所述计算第三惯性导航数据的步骤，包括利用所述极坐标方法计算得到的三维坐标位姿，进行惯性导航处理，得到所述各传感器组在所述第二定位周期的第三惯性导航数据。

6.如权利要求5所述的多传感器融合的数据处理方法，其特征在于：

利用所述极坐标方法计算得到的三维坐标位姿，是所述各个传感器组的所述三维坐标位姿；

所述第三惯性导航数据是基于所述各个传感器组的所述三维坐标位姿进行独立的惯性导航得到的。

7.如权利要求6所述的多传感器融合的数据处理方法，其特征在于：

所述位姿计算步骤中，利用获得三维坐标的所述至少一组传感器组的数据，计算出所述物理中心的位姿以及未获得三维坐标的传感器组的位姿。

8.如权利要求6所述的多传感器融合的数据处理方法，其特征在于：

在所述计算第三惯性导航数据的步骤中，先获得惯性器件提供的其所在位置的加速度和角速度，再根据所述惯性器件所在位置的角速度和加速度，得到其余传感器组的角速度和加速度。

9.一种定位装置，其特征在于包括刚性的本体、处理器、存储器以及固定在所述本体上的多个传感器组和惯性器件；

所述定位装置具有物理中心；

所述处理器读取所述存储器中的计算机程序，用于执行权利要求1～8中任意一项所述的多传感器融合的数据处理方法。

10.一种虚拟现实设备，包括定位装置以及成像装置，其中所述定位装置安装在头戴式显示设备的外壳上，其特征在于：

所述定位装置包括刚性的本体、处理器、存储器以及固定在所述本体上的多个传感器组和惯性器件；

所述定位装置具有物理中心；

所述处理器读取所述存储器中的计算机程序，用于执行权利要求1～8中任意一项所述的多传感器融合的数据处理方法。

Images