CN109785381A - 一种光学惯性融合空间定位方法、定位设备及定位系统 - Google Patents

Abstract

本发明涉及空间定位领域，具体涉及一种光学惯性融合空间定位方法、定位设备及定位系统。所述方法具体为：在待定位空间中布设红外特征点，基于布设方式编码；对所述红外特征点进行标定，获取所述红外特征点的精准三维坐标，并存储于计算单元；目标物佩戴红外相机，基于目标物佩戴的红外相机拍摄红外特征点的图像信息和红外相机自身集成的传感器数据，通过光学与惯性融合算法，对目标物进行定位。所述定位系统包括红外特征点、红外相机和计算单元。本发明采用光学与惯性融合的定位方法，既避免了光学定位抗遮挡性差，惯性定位无法长时间精准定位的缺陷，又通过减少系统布设相机数量，降低了系统成本。

Description

一种光学惯性融合空间定位方法、定位设备及定位系统

技术领域

本发明涉及空间定位领域，具体涉及一种光学惯性融合空间定位方法、定位设备及定位系统。

背景技术

随着LBS、VR等领域的火热发展，空间定位技术近年来也备受关注且发展迅速。目前主流的室内空间定位技术包括激光定位技术，红外光学定位等。

激光定位技术通过激光发射器每秒发射若干次的激光线面扫描定位空间，实现光敏传感器位置追踪。激光定位技术依靠马达带动激光线面旋转扫描定位空间，因此其帧率受限于马达转数。同一定位空间需要布设多台激光发射器以使得激光线面覆盖整个定位空间，为了实现激光发射信号的编码并且避免不同激光信号的干扰，激光定位技术采用多站分时扫描的方法，即同一定位空间中的不同激光发射器分时扫描，进一步限制了激光发射器的有效帧率。

红外光学定位，在定位空间中布设多台红外相机，目标物佩戴可以自行发射红外光或者可以反射红外光的定位标识点来实现空间定位。红外光光学定位一直备受诟病的问题是成本过高，为了使得红外相机视角可以覆盖整个定位空间，一个定位空间中需要安装多台红外相机，而红外相机造价非常昂贵。

为此，本发明提出了一种基于光学惯性融合的空间定位技术，该技术帧率高，成本低，适用于场地较大、单位面积中头显数量较多、成本敏感的空间定位场景。

发明内容

本发明主要解决上述激光定位技术、红外光学定位技术存在的帧率受限、造价昂贵等问题，从而提供了一种帧率高、成本低的光学惯性融合空间定位方法。基于目标物佩戴的红外相机拍摄红外特征点的图像信息和红外相机自身集成的传感器数据，通过光学与惯性融合算法，对目标物进行定位。

为实现上述目的，本发明提出如下技术方案：

一种光学惯性融合空间定位方法，所述方法包括以下步骤：

(S1)在待定位空间中布设红外特征点，基于布设方式编码；

(S2)通过对所述红外特征点进行标定，获取所述红外特征点的精准三维坐标，并存储于计算单元；

(S3)红外相机实时获取所述红外特征点的图像信息，并上传至计算单元；

(S4)红外相机中惯性传感器实时获取目标物惯性数据，初步计算后上传至计算单元；

(S5)计算单元基于图像信息，匹配识别所拍摄到红外特征点的编码及其精准三维坐标，基于两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，从而获得光学位置信息；

(S6)计算单元将所述光学位置信息及所述惯性数据基于卡尔曼滤波器进行融合，获得目标物在所述定位空间中的位置。

步骤(S4)只要在步骤(S6)之前完成即可，不一定非要是第四步。

作为一种优选的方案，所述方法还包括：

(S7)获取目标物的实时位置信息后，计算单元再利用平滑滤波进行处理，从而输出平滑的目标物轨迹信息，进行应用。

作为一种优选的方案，在步骤(S7)中，采用的平滑滤波包括但不限于双指数滤波。

作为一种优选的方案，在步骤(S1)中，所述红外特征点布设成多条直线等间距横纵相交的阵列式形态，具体如下：

取相邻交点间的线段为一组红外特征点，每一组红外特征点数目固定，通过控制特征点之间的间距，使得该红外特征点组具有唯一的编码；

同一条横直线或者同一条纵直线上，重复排布同一组红外特征点组；不同横直线、不同纵直线上排布不同的红外特征点组；保证每一条横直线、纵直线均具有唯一的编码。

作为一种优选的方案，在步骤(S2)中，采用外部测量的方法对所述红外特征点进行标定；

所述红外特征点的标定需要在定位空间搭建好后一次性标定完成，红外空间特征点实际位置不变，则不再另行标定。

作为一种优选的方案，在步骤(S4)中，所述初步计算包括温飘校正、内参标定计算。

作为一种优选的方案，在步骤(S6)中，所述卡尔曼滤波器包括扩展卡尔曼滤波器EKF、无迹卡尔曼滤波器UKF、平方根容积卡尔曼滤波SCKF。

作为一种优选的方案，步骤(S5)包括：

(S5-1)计算单元对获取的图像信息进行特征点匹配处理，识别红外特征点编码，将图像信息所拍摄到的红外特征点与定位空间中实际存在的红外特征点对应起来；在计算单元自身存储的红外特征点标定结果中取出对应的红外特征点三维坐标；

(S5-2)计算单元基于三角定位原理，根据两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，从而获得光学位置信息。

在待定位空间中布设红外特征点。红外特征点可以发射红外光，且按照特殊的方式布设于定位空间中，从而实现自身的编码。在定位空间搭建好后，需要通过标定获取定位空间内红外特征点的精准三维坐标。红外特征点的标定方法不限，可以采用三维测距仪等外部方法获取红外特征点的精准三维坐标。标定完成后，红外空间特征点实际位置不变，则不再另行标定。但考虑到长时间建筑物结构、位置的变化，可以定期标定红外空间特征点三维坐标信息，以确保红外空间特征点三维坐标信息的准确性。红外特征点标定结果存储于计算单元内，用于后续的空间定位计算。

目标物佩戴集成有惯性传感器的红外相机，这里的目标物一般指虚拟现实头戴式显示器。集成有惯性传感器的红外相机，既可以实时拍摄获取定位空间中红外特征点的图像信息也可以实时获取惯性数据，并将两种数据上传至计算单元。计算单元基于图像信息中拍摄到红外特征点的图像，根据不同红外特征点的排布方式解析红外特征点编码，从而将图像中所拍摄到的红外特征点与实际红外特征点相对应，进而根据已存储的标定结果获取所述拍摄到的红外特征点的精准三维坐标，再基于两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，也即获得光学位置信息。

计算单元将计算获得的光学位置信息以和惯性数据，基于卡尔曼滤波器进行融合计算，解算出相机在所述定位空间中的位置，进而计算出与微型相机绑定在一起的目标物的位置信息。采用的卡尔曼滤波器可以包括但不限于扩展卡尔曼滤波器(EKF)，无迹卡尔曼滤波器(UKF)、平方根容积卡尔曼滤波(SCKF)等。获取目标物的实时位置信息后，计算单元再利用平滑滤波进行处理，从而输出平滑的目标物轨迹信息，输入到虚拟现实头戴式显示器中显示。所采用的平滑滤波可以但不限于双指数滤波。

本发明的第二个目的是提供一种光学惯性融合定位设备，用于为红外相机提供定位信标，对所述目标物进行定位。光学惯性融合空间定位设备由多个红外特征点组成，且红外特征点以特殊的布设方式固定，如下：

红外特征点布设成多条直线等间距横纵相交的阵列式形态。取相邻交点间的线段(包括横纵两种)为一组红外特征点，每一组红外特征点数目固定(例如每组包含3个或者4个特征点)，通过控制特征点之间的间距，使得该红外特征点组具有唯一的编码。同一条横直线或者同一条纵直线上，重复排布同一组红外特征点组；不同横直线、不同纵直线上排布不同的红外特征点组，从而保证每一条横直线、纵直线均具有唯一的编码。

作为一种优选的方案，其中，所述光学惯性融合空间定位设备布设于定位空间的顶部和侧面。

本发明的第三个目的是提供一种光学惯性融合定位系统，所述系统包括红外特征点(101)、红外相机(102)和计算单元(103)；所述红外特征点(101)以特殊的布设方式布设于定位空间中，系统对所述红外特征点进行标定，获取精准三维坐标并存储于所述计算单元；所述红外相机(102)用于实时获取的图像信息，并上传至所述计算单元；所述红外相机(102)内部集成有惯性传感器，实时获取目标物惯性数据，并上传至所述计算单元；所述计算单元(103)与红外相机通信，用于实现光学数据与惯性数据的融合计算，从而获取目标物空间位置信息。

光学惯性融合定位系统，用于对定位空间中的目标物进行定位，该定位系统包括：定位空间的顶部和侧面需要布设所述光学惯性融合空间定位设备，采用外部辅助方式对红外特征点进行标定，获取精准三维坐标并存储到计算单元中。目标物佩戴红外相机，红外相机将实时获取的图像信息和惯性数据上传到计算单元，计算单元基于图像信息，匹配识别所拍摄到红外特征点的编码及其精准三维坐标，基于两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，将这个位置信息与惯性数据基于卡尔曼滤波器进行融合，获得目标物的实时空间位置，再基于平滑滤波处理，输出平滑的目标物轨迹信息。

作为一种优选的方案，在光学惯性融合定位系统中，红外相机与计算单元通信，通信方式可以支持有线或者无线两种方式。有线通信方式包括但不限于USB连接；无线通信方式包括但不限于2.4G。

相对于现有技术，本发明的有益效果如下：

本发明采用光学与惯性融合的定位方法，既避免了光学定位抗遮挡性差，惯性定位无法长时间精准定位的缺陷，又通过减少系统布设相机数量，降低了系统成本，因此本发明提供了一种帧率高，成本低，抗遮挡性强的空间定位技术，适用于场地较大、单位面积中头显数量较多、成本敏感的空间定位场景。

附图说明

图1是本发明的光学惯性融合定位系统示意图；

图2是本发明的光学惯性融合定位设备的红外特征点布设示意图；

图3是本发明的光学惯性融合定位设备的红外特征点组结构示意图；

图4是本发明的光学惯性融合定位设备的布设场景示意图；

图5是本发明的光学惯性融合定位方法的实现流程。

具体实施方式

以下结合附图更详细地描述对本发明的优选实施例。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被此处阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本发明提出了一种光学惯性融合空间定位方案，下面将就本发明的定位方案的具体实施例场景进行说明。

如图1所示，本发明所述的一种光学惯性融合定位系统示意图。系统通常由红外特征点101，红外相机102，计算单元103组成。其中，红外特征点101按照特定的方式布设于定位空间中；红外相机102内部集成有惯性传感器，可以实时获取目标物惯性数据；计算单元103与红外相机通信，用于实现光学数据与惯性数据的融合计算从而获取目标物空间位置信息。

首先，定位空间中需要按照一定方式布设红外特征点。在定位空间中架设横纵等间距交错的网格式电路板，如图2所示，将红外特征点以特定的方式固定在电路板上。其中，横向网格的顶点横坐标依次为1,2,3,4,5,6，纵向网格的顶点纵坐标依次为A,B,C,D,E,F。每一个相邻交点间的线段成为一个组，例如图中的点(1，A)到点(1，B)即为一个组，再例如图中的点(1，A)到点(2，A)也为一个组。

红外特征点所固定的电路板可以通电为红外特征点供电，从而控制红外特征点的亮灭。红外特征点正常工作状态为常亮，可以发射红外光，例如850nm红外光。相对应的，红外相机中也需要通过滤光片滤掉除850nm红外光外的其他波段光，以减少系统的干扰。

在定位空间中，为了保证定位的有效性，一般会在定位空间的顶部和侧上部布设红外特征点。图4向我们展示了红外特征点布设场景示意图。

红外特征点的编码以每组为单位实现。每一组红外特征点数目固定(例如每组包含4个特征点)，通过控制特征点之间的间距，使得该红外特征点组具有唯一的编码。同一条横直线或者同一条纵直线上，重复排布同一组红外特征点组；不同横直线、不同纵直线上排布不同的红外特征点组，从而保证每一条横直线、纵直线均具有唯一的编码。如图2网格中，每一条横线上的等长线段编码相同，每一条纵线上的等长线段编码相同，但是不同横线、纵线上的编码均不相同。

每一组红外特征点基于点的位置进行编码，这里举一示例来说明，如图3：

在该示例中每一组包含4个特征点(其中A、D两点处于线段交点位置，为公用点)。编码即按照A、B、C、D四个特征点之间的位置而实现。这里，以特征点间距离的交比值作为编码，即：

即每一组特征点都有一个这样的交比值，同一条横直线或者同一条纵直线上不同线段的交比值相同，不同横直线或者不同纵直线上不同线段的交比值不同，从而实现编码。

空间特征点布设完成后，需要对其进行空间位置的标定。红外特征点的标定方法不限，可以采用三维测距仪等外部方法获取红外特征点的精准三维坐标。标定完成后，红外空间特征点实际位置不变，则不再另行标定。但考虑到长时间建筑物结构、位置的变化，可以定期标定红外空间特征点三维坐标信息，以确保红外空间特征点三维坐标信息的准确性。红外特征点标定结果及对应的编码存储于计算单元103内，用于后续的空间定位计算。

目标物上绑定红外相机102，这里的红外相机内置有惯性传感器，以实时获取目标物的惯性数据并上传至计算单元103进行融合计算。如图5向我们展示了光学惯性融合定位方法的处理流程图，包括如下几个步骤：

红外相机获取实时图像信息，并上传至计算单元。

红外相机中惯性传感器获取惯性数据，并进行初步计算。这里的计算包括温飘校正、内参标定等计算。初步计算后上传至计算单元。

计算单元对获取的图像信息进行处理，包括特征点匹配等处理，识别红外特征点编码，将图像信息所拍摄到的红外特征点与定位空间中实际存在的红外特征点对应起来。此时在自身存储的红外特征点标定结果中取出对应的红外特征点三维坐标。

计算单元基于三角定位原理，根据两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，从而获得光学位置信息。

计算单元将光学位置信息与惯性数据通过卡尔曼滤波进行融合计算，解算出相机在所述定位空间中的位置，进而计算出与微型相机绑定在一起的目标物的位置信息。

这里采用的卡尔曼滤波器可以包括但不限于扩展卡尔曼滤波器(EKF)，无迹卡尔曼滤波器(UKF)、平方根容积卡尔曼滤波(SCKF)等。

获取目标物的实时位置信息后，计算单元再利用平滑滤波进行处理，从而输出平滑的目标物轨迹信息，进行应用。

所采用的平滑滤波可以但不限于双指数滤波。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种光学惯性融合空间定位方法，其特征在于，所述方法包括如下步骤：

(S1)在待定位空间中布设红外特征点，基于布设方式编码；

(S2)通过对所述红外特征点进行标定，获取所述红外特征点的精准三维坐标，并存储于计算单元；

(S3)红外相机实时获取所述红外特征点的图像信息，并上传至计算单元；

(S4)红外相机中惯性传感器实时获取目标物惯性数据，初步计算后上传至计算单元；

(S5)计算单元基于图像信息，匹配识别所拍摄到红外特征点的编码及其精准三维坐标，基于两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，从而获得光学位置信息；

(S6)计算单元将所述光学位置信息及所述惯性数据基于卡尔曼滤波器进行融合，获得目标物在所述定位空间中的位置。

2.根据权利要求1所述的光学惯性融合空间定位方法，其特征在于，所述方法还包括：

(S7)获取目标物的实时位置信息后，计算单元再利用平滑滤波进行处理，从而输出平滑的目标物轨迹信息，进行应用。

3.根据权利要求2所述的光学惯性融合空间定位方法，其特征在于，在步骤(S7)中，采用的平滑滤波为双指数滤波。

4.根据权利要求1所述的光学惯性融合空间定位方法，其特征在于，在步骤(S1)中，所述红外特征点布设成多条直线等间距横纵相交的阵列式形态，具体如下：

取相邻交点间的线段为一组红外特征点，每一组红外特征点数目固定，通过控制特征点之间的间距，使得该红外特征点组具有唯一的编码；

同一条横直线或者同一条纵直线上，重复排布同一组红外特征点组；不同横直线、不同纵直线上排布不同的红外特征点组；保证每一条横直线、纵直线均具有唯一的编码。

5.根据权利要求1所述的光学惯性融合空间定位方法，其特征在于，在步骤(S2)中，采用外部测量的方法对所述红外特征点进行标定；

所述红外特征点的标定需要在定位空间搭建好后一次性标定完成，红外空间特征点实际位置不变，则不再另行标定。

6.根据权利要求1所述的光学惯性融合空间定位方法，其特征在于，在步骤(S6)中，所述卡尔曼滤波器包括扩展卡尔曼滤波器EKF、无迹卡尔曼滤波器UKF、平方根容积卡尔曼滤波SCKF。

7.根据权利要求1所述的光学惯性融合空间定位方法，其特征在于，步骤(S5)包括：

(S5-1)计算单元对获取的图像信息进行特征点匹配处理，识别红外特征点编码，将图像信息所拍摄到的红外特征点与定位空间中实际存在的红外特征点对应起来；在计算单元自身存储的红外特征点标定结果中取出对应的红外特征点三维坐标；

(S5-2)计算单元基于三角定位原理，根据两个或者多个红外特征点的三维坐标确定红外相机在定位空间中的位置，从而获得光学位置信息。

8.一种光学惯性融合空间定位设备，用于为红外相机提供定位信标，对目标物进行定位，其特征在于，所述定位设备由多个红外特征点以特殊的布设方式固定组成；所述红外特征点为发射红外光的器件，固定于控制电路上，所述控制电路控制红外特征点的亮灭；

所述红外特征点布设成多条直线等间距横纵相交的阵列式形态，具体如下：

取相邻交点间的线段为一组红外特征点，每一组红外特征点数目固定，通过控制特征点之间的间距，使得该红外特征点组具有唯一的编码；

同一条横直线或者同一条纵直线上，重复排布同一组红外特征点组；不同横直线、不同纵直线上排布不同的红外特征点组；保证每一条横直线、纵直线均具有唯一的编码。

9.一种光学惯性融合定位系统，用于对定位空间中的目标物进行定位，其特征在于，所述系统包括红外特征点(101)、红外相机(102)和计算单元(103)；所述红外特征点(101)以特殊的布设方式布设于定位空间中，系统对所述红外特征点进行标定，获取精准三维坐标并存储于所述计算单元；所述红外相机(102)用于实时获取的图像信息，并上传至所述计算单元；所述红外相机(102)内部集成有惯性传感器，实时获取目标物惯性数据，并上传至所述计算单元；所述计算单元(103)与红外相机通信，用于实现光学数据与惯性数据的融合计算，从而获取目标物空间位置信息。

10.根据权利要求9所述的光学惯性融合空间定位系统，其特征在于，所述红外相机与所述计算单元通信，将实时获取的图像信息和惯性数据上传至计算单元；其中，所述红外相机与所述计算单元间的通信支持有线或者无线两种方式；

有线通信方式包括USB连接；无线通信方式包括2.4G。