CN108496057A - 基于照明源定位 - Google Patents

Abstract

一种方法，包括：A）使用移动设备的相机捕获第一图像；B）通过参考出现在第一图像中的第一照明源，确定移动设备的第一朝向信息；C）随着移动设备移动到第二位置，使用移动设备的一个或多个惯性传感器来推算移动设备的多个所推算第一候选位置以及相应的第一候选朝向；D）在第二位置处，使用相机来捕获第二图像；E）通过参考出现在第二所捕获图像中的第二照明源，确定移动设备的多个第二候选位置以及相应的第二候选朝向；以及F）基于所推算第一候选位置和朝向与第二候选位置和朝向的比较，确定移动设备的至少一个所估计位置和相应的朝向。

Description

基于照明源定位

技术领域

本公开涉及基于在所捕获图像中检测照明源而对移动设备定位（置位）。

背景技术

在诸如室内定位系统的置位系统中，可以相对于包括多个无线参考节点（在一些情况下也称为锚节点）的位置网络来确定诸如移动用户终端的无线设备的位置。这些锚点是其位置先验已知的无线节点，通常记录在位置数据库中，该位置数据库可以被查询以查找节点的位置。因此锚节点充当用于置位的参考节点。对在移动设备与多个锚节点之间传输的信号进行测量，例如相应信号的RSSI（接收信号强度指示器）、ToA（到达时间）和/或AoA（到达角度）。给定来自多个节点的这种测量，然后可以使用诸如三边测量、多点定位、三角测量或指纹识别（fingerprinting）之类的技术来相对于位置网络确定移动终端的位置。给定移动终端的相对位置和锚节点的已知位置，这转而允许以更绝对的方式确定移动设备的位置，例如，相对于地球或地图或建筑平面图确定移动设备的位置。

存在各种原因可能期望能够检测无线设备的位置，诸如提供基于位置的服务。例如，定位系统的一个应用是帮助用户在建筑物或其他室内和/或室外综合体（complex）（例如校园）内导航。另一个应用是自动为无线移动设备提供对基于位置的服务的访问，例如，在发现移动设备位于与照明设施或其他设施相关联的特定空间区域或范围中的条件下，控制诸如照明系统的设施。基于位置的服务或功能的其他示例包括基于位置的广告、服务提醒或其他位置相关信息的提供、用户跟踪、资产跟踪或进行道路收费的支付或其他取决于位置的支付。

现在，室内或室外置位还可以使用照明源（灯或灯具）而不是专用的RF锚节点作为参考节点来执行。在这种情况下，可以使用编码光技术（有时称为可见光通信（VLC））将编码调制到由照明源发射的光中。移动设备然后可以捕获照明源的图像，并且也可以从在移动设备处接收到的那些照明源发射的光中提取编码。来自照明源的光的接收强度或ToF给出离那个照明源的距离，并且相应的编码标识照明源，以便允许查找其位置。因此，照明源可以以与上述方式类似的方式用于置位。如果相机视图中同时存在不止一个VLC照明源，则可以获得准确的设备朝向（heading）。注意：如果使用了点检测器，那么为了明确的解将需要离三个节点的距离（三个圆圈的交叉给出单个点，而仅两个圆圈的交叉给出两个点）。然而，对于也捕获空间分布的图像，那么如果图像中仅出现两个照明源并且两者的VLC编码（ID）都是可检测的，则仅需要最少这两个节点来消除不明确性（例如，考虑发射第一编码的源出现在图像的左手侧中并且发射第二编码的源出现在右手侧中的情况—这与发射第二编码的源出现在图像左手侧中并且发射第一编码的源出现在右手侧中的情况是可区分的）。即移动设备的朝向方向连同在所捕获图像内的两个光源的位置将解决不明确性。

US 8752761示出了如何可以在给定光源高度的情况下确定移动设备相对于光源的方位。

发明内容

然而，并不总是两个照明源同时出现在相同的所捕获图像中的情况。为了克服这个问题，本公开提供了用于将惯性传感器的使用与基于照明源的定位相组合的特定技术。

根据本文所公开的一个方面，提供了一种方法，包括：A）在第一位置处，使用移动设备的相机来捕获其中出现第一照明源的第一图像；B）通过参考如出现在第一图像中的第一照明源，确定移动设备的第一朝向信息；C）随着移动设备从第一位置移动到第二位置，使用移动设备的一个或多个惯性传感器从该第一朝向信息以及从移动设备的第一方位信息推算以生成移动设备的多个所推算第一候选位置以及移动设备的多个相应的所推算第一候选朝向；D）在第二位置处，使用移动设备的相机来捕获其中出现第二照明源的第二图像，其中直到移动设备已经从第一位置到达第二位置，第二照明源才出现在相机的视场内；E）通过参考如出现在第二所捕获图像中的第二照明源，确定移动设备的多个第二候选位置以及移动设备的多个相应的第二候选朝向；以及F）基于所推算第一候选位置和朝向与第二候选位置和朝向的比较，确定移动设备的至少一个所估计位置和相应的朝向。

在实施例中，步骤B）可以包括：通过参考如出现在第一图像中的第一照明源，确定移动设备的多个第一候选位置以及移动设备的多个相应的第一候选朝向。并且步骤C）可以包括：随着移动设备跟随捕获第一图像而移动到第二位置，使用移动设备的一个或多个惯性传感器以从第一候选位置和朝向推算，从而生成移动设备的多个所推算第一候选位置和相应的所推算第一候选朝向。

在实施例中，该方法还可以包括：G）随着移动设备跟随捕获第二图像而从第二位置移动到第三位置，使用移动设备的一个或多个惯性传感器以从第二候选位置和朝向推算，从而生成移动设备的多个所推算第二候选位置和相应的所推算第二朝向；H）在第三位置处，使用移动设备的相机来捕获其中出现第三照明源的第三图像；I）通过参考如出现在第三图像中的第三照明源，确定移动设备的多个第三候选位置以及移动设备的多个相应的第三候选朝向；以及J）基于所推算第二候选位置和朝向与第三候选位置和朝向的比较，确定移动设备的更新的所估计位置和相应的朝向。

在实施例中，步骤F）可以包括向第二候选位置和朝向分配相对权重，其中步骤J）可以考虑相对权重。

在实施例中，替代使用多个第一候选朝向和位置，步骤B）可以包括：识别移动设备的已知第一位置，并且通过参考第一图像，识别与已知第一位置相对应的相应的朝向；并且步骤C）可以包括从所述已知位置和相应的朝向推算以生成多个所推算第一位置和相应的所推算第一朝向。例如，已知第一位置可以从下列中的一个获得：-用户输入，-来自随后丢失的另一个置位系统的定位（fix），-当移动设备的用户（6）通过入口时的RF标签，或-最初同时出现在相机的视场中的两个照明源。

无论哪种方式，是否使用多个第一候选朝向和位置或是否替代地使用所述第一已知位置，在实施例中，所述推算可以包括在生成一个、一些或全部的所推算第一候选位置和/或朝向中包括随机化；和/或在生成一个、一些或全部的所推算第二候选位置和/或朝向中包括随机因子。

在实施例中，第一、第二和/或第三候选位置和朝向的生成可以包括基于附加信息来限制第一、第二和/或第三候选方位和相应的朝向的数量。例如，所述附加信息可以包括第一、第二和/或第三照明源具有非圆形和非球形形状的知识，限制基于所述形状来执行。

在实施例中，第一、第二和/或第三候选位置和相应的朝向的确定可以包括使用移动设备的一个或多个传感器来检测相机的取向，并且在确定中考虑取向，例如与照明源的位置和高度的知识一起（参见下文）。

在实施例中，第一、第二（以及在适用情况下的第三）照明源是更大量照明源中的一些照明源，并且所估计位置和朝向的确定可以进一步基于指示照明源的位置的地图。在实施例中，所估计位置和朝向的确定可以进一步基于第一和第二（以及在适用情况下的第三）照明源的已知高度。

在实施例中，第一和第二照明源是位置由预定地图给出的更大量照明源中的一些照明源。在实施例中，可以在步骤F）之前识别第一照明源，但是在步骤F）之前不需要识别第二照明源，在这种情况下，可以基于所述预定地图执行步骤F），根据第一光源的标识以及光源相对于彼此的相对位移给出至少第一光源的位置。可替换地，可以在步骤F）之前识别第二照明源，但是在步骤F）之前不需要识别第一照明源，在这种情况下，可以基于所述预定地图执行步骤F），根据第二光源的标识以及光源相对于彼此的相对位移给出至少第二光源的位置。例如，第一或第二照明源可以基于分别嵌入由第一或第二照明源发射的照明中的相应编码来识别。作为另一个示例，可以基于用户输入来识别第一或第二照明源。

在实施例中，基于行人航位推测模型执行步骤C）和G）的推算，其中该方法还包括基于如步骤C）中估计的所估计方位和/或朝向来适配行人航位推测模型的一个或多个参数，并且其中所适配模型用于在步骤G）中执行推算。

根据本文所公开的另一方面，提供了一种计算机程序产品，其体现在计算机可读存储器上并被配置成使得当在一个或多个处理单元上运行时执行根据本文所公开的任意实施例的方法。

根据本文所公开的另一个方面，提供了包括置位模块的装置，其中置位模块被配置为执行根据本文所公开的任意实施例的操作。该装置可以包括移动设备、布置成与移动设备通信的服务器或包括移动设备和服务器的系统。

附图说明

为了帮助理解本公开并为了示出可以如何实施实施例，通过示例的方式参考附图，在附图中：

图1a是发现多个照明源和一移动设备的环境的示意图示；

图1b是照明源和移动设备的示意性框图；

图2a是估计移动设备的初始朝向时经历的问题的示意图示；

图2b是使用“照明斑点”估计移动设备的方位时经历的问题的示意图示；

图3是当利用慢的移动设备捕获时丢失帧的示意图示；

图4是如何可以由于图像丢失而发生定位误差的示意图示；

图5是移动设备相对于照明源的方位以及还有由移动设备捕获的图像视图的示意图示；

图6是具有移动设备的朝向的粒子的初始播种（seeding）的示意图示；

图7是当在相机视图中没有照明源时，从多个候选方位开始，遵循行人航位推算（PDR）路径的图6的粒子的传播的示意图示；

图8是来自图6和7的粒子的比较以及基于此选择一个粒子的示意图示；

图9是当在相机视图中没有照明源时，从已知位置开始，遵循PDR路径的粒子的传播的示意图示；

图10是相对于正方形照明源的粒子初始生成的示意图示；

图11是粒子相对于移动设备的朝向的相对移动方向的示意图示；

图12a图示了需要知道第一和第二照明源两者的位置以便解决多个可能的解之间的不明确性的场景；以及

图12b图示了仅需要第一或第二照明源但不必是两者的位置以找到明确的解的场景。

具体实施方式

下面公开了基于可见光通信（VLC）和基于行人航位推算（PDR）的室内定位解决方案的融合的定位系统和方法（例如室内定位系统和方法）。在实施例中，这使用基于粒子过滤器的方法来进行PDR到基于VLC的室内定位系统的融合。通过应用这种方法，与仅基于VLC的室内定位解决方案相比，可以提高精度、可靠性和覆盖范围。例如，示出了如何可以导出初始设备位置和朝向，以及利用所公开的融合方法的连续室内定位。

该方法为采用行人航位推算和调制照明光的多模式定位系统提供路径选择。该方法开始于使用移动设备上的相机检测第一光源，并且基于相机捕获的第一图像建立相对于第一光源的第一方位和相对于第一光源的第一移动设备朝向。然后生成一组路径种子，路径种子具有基于检测的、相对于光源方位的初始路径方位并且具有基于相机朝向的、对应头的初始路径朝向。使用路径种子和来自行人航位推测系统的以步检测的形式的输入，可以使用步进方向和步长来传播与路径种子对应的一组路径。然后当使用移动设备上的相机检测到第二光源时，该方法基于由相机捕获的第一图像建立相对于第一光源的第二方位和相对于第一光源的第二移动设备朝向。利用第一光源或第二光源的已知方位与包括第一光源和第二光源方位的地图信息相组合，然后可以从一组路径中选择与检测到的数据最佳匹配的路径。在实施例中，所检测的数据包括：相对于第一光源的第一方位和相对于第一光源的第一移动设备朝向，以及相对于第二光源的第二方位和相对于第二光源的第二移动设备朝向。

图1a示出了可以采用本文的教导的示例场景。在图1a中，多个照明源4设置在环境2内的不同方位处，诸如整个建筑物的内部或建筑物的部分、或跨过诸如公园的室外空间、或诸如校园的室内和室外空间的组合。在环境2中还存在用户6，该用户随身携带移动设备8，例如，将该移动设备持有在手中。例如，移动设备可以采取便携式用户终端的形式，诸如智能电话、平板电脑、智能手表或智能眼镜的形式。

照明源4被布置成为了照明的目的将可见光发射到环境2中，使得人们可以在环境内看见。每个照明源4采取灯具或单个灯（灯指的是单个照明元件，而灯具指的是包括一个或多个灯加上任何相关联的壳体、插座和/或支撑件的单元）的形式。照明源可以采取各种形式并且可以以许多可能的方式安装或放置成例如天花板安装的灯具或安装在灯杆上的灯具。

图1b示出了照明源4和移动设备6的另外的细节。所有照明源中的一些可以根据图1b进行配置。如图所示，照明源4包括编码器10、驱动器12和至少一个灯14。编码器10耦合到驱动器12并且驱动器12耦合到（多个）灯14。编码器被配置为生成标识相应光源4的ID形式的编码，并且通过以基本上超出人类感知的频率调制所发射照明以控制驱动器12使得此编码被嵌入由（多个）灯14发射的照明中。例如，该编码可以采取特征调制频率、或使用线路编码或其他编码技术（诸如曼彻斯特编码）编码到光中的数字值的形式。用于将信号编码到可见光中的各种技术本身对于本领域技术人员而言将是熟悉的。

编码器10可以以体现在照明源4的存储器（包括一个或多个存储器单元中的一个或多个存储介质）上的软件的形式实现，并且被布置成在照明源4的处理装置（包括一个或多个处理单元）上运行。可替换地，不排除编码器可以以专用硬件电路、或可配置的或可重配置的硬件（诸如PGA或FPGA）、或软件和硬件的任意组合的形式实现。

移动设备8包括相机16、置位模块18、一个或多个惯性传感器22（例如一个或多个陀螺仪和/或一个或多个加速度计，诸如三轴加速度计）以及可选地无线接口20（至少用于无线发送，并且在实施例中用于无线发送和接收两者）。相机16耦合到置位模块18，（多个）惯性传感器2耦合到置位模块18，并且可选地置位模块18耦合到无线接口20。

置位模块18可以以体现在移动设备8的存储器（包括一个或多个存储器单元中的一个或多个存储介质）上的软件的形式实现，并且被布置为在移动设备8的处理装置（包括一个或多个处理单元）上运行。可替换地，不排除编码器可以以专用硬件电路、或可配置的或可重配置的硬件（诸如PGA或FPGA）、或软件和硬件的任意组合的形式实现。

在实施例中，置位模块18被配置为基于所捕获的那些照明源4的图像解码来自照明源的照明的编码，并且根据所公开的技术来执行置位（即定位）操作。可替换地，这些职责中的一个或两个可以被卸载到服务器24。在后一种情况下，移动设备8上的置位模块18收集图像并且经由无线接口20将它们发送到服务器24（针对此的各种合适的通信技术本身对于本领域技术人员而言将是熟悉的）。然后，通过在服务器24上运行的置位模块18'来执行编码的一些或全部解码和/或置位。一般来说，将理解，本文所公开的技术可以在移动设备6中实现，和/或以基于设备和基于服务器的功能的任意组合卸载到服务器24。

与相机检测相组合的可见光通信（VLC）通常能够提供准确且可靠的室内定位性能。当在相机视图中存在VLC光源4并且VLC中的编码可以由配备有相机16的设备8正确解码时，这尤其是确实的。如果在相机视图中同时存在不止一个VLC光源4，则可以获得准确的设备朝向。

然而，在实践中，即使在相机视图中存在VLC源，也可能发生并不总是存在VLC数据的连续检测。这可能是因为图像中的VLC源4存在太少时间或太小覆盖区，或因为设备8中存在承担图像处理任务的有限的计算能力而发生。为了处理这些问题，可以采用基于粒子过滤器的方法。在这种方法中，人们不一定需要检测每个单独光源4中的编码。相反，对于一些照明源，仅需要检测“光斑点”的存在，即图像中的照明源形状和强度（以及可选地还有颜色）的性质而不是调制，或换种说法，图像中照明源4的可见外观或覆盖区（与VLC覆盖区相反）。基于对照明源4的地图的预定知识，已经可能估计移动设备8的方位。这种基于粒子过滤器的方法的另一个功能是人们可以通过为每个粒子分配不同的移动方向并且然后选择与VLC编码或光斑点的检测相匹配的最佳粒子来相当精确地估计移动设备8的朝向。

行人航位推算（PDR）是室内定位的另一种不同的方法。PDR使用移动设备8内的各种传感器（例如，诸如加速计和/或陀螺仪的惯性传感器22、或诸如磁力计的其他传感器）以便基于关于用户6应用的步检测来跟踪设备8的相对移动。只要从外部提供初始方位，PDR就可以独立工作而无需事先的系统部署。处理来自诸如惯性传感器22或磁力计之类的传感器的传感器数据所需的计算能力也显著低于VLC。然而，PDR的准确性和可靠性水平也显著低于基于VLC的解决方案。由磁力计提供的朝向方向也可能受到场中各种磁扰的严重影响。

PDR的性能遭受许多因素的影响。

首先，在系统层面上，PDR只给出了相对移动的指示，所以一些初始的绝对方位信息需要从外部各方提供。

其次，目前大多数PDR解决方案使用磁力计来导出设备的朝向信息。然而，由于环境中的各种磁干扰，磁力计的准确性和可靠性通常是受限的。需要针对每种类型的设备8承担一些校准过程，以处理来自移动设备8内部的其他附近组件的磁干扰。并且，对于用户6甚至更麻烦的是，对于每个地点，磁场分布也可能受到各种磁干扰源的影响，并且干扰甚至常常是动态的。

而且，不同的人具有不同的行走行为。例如，针对不同性别和跨过不同年龄组的步长差异很大。由于各种传感器噪声和干扰以及还有人类行为的复杂性，仅从惯性传感器22导出准确的步长几乎是不可能的。通常，采用某种启发式步长模型，其不能跨过一般用户组而可靠地应用。

由于人类活动的复杂性以及还由于各种传感器噪声和干扰，步检测的准确性在实践中也受到限制。

基于VLC的定位也存在问题。

通常，如果VLC光源4或光斑点从相机视图中缺失，则不可能得到室内方位定位。除了这个一般性问题之外，还有一些更微妙但也是非常重要的问题，其中一些问题在下面进行描述。

对于基于VLC的室内定位解决方案的初始朝向检测，如果不止一个VLC光源4同时出现在相机视图中并且检测到来自多个这样的源4的编码，则人们可以得到准确的设备朝向。然而，这种情况在实践中可能并不总是发生。下列情况非常经常发生：检测到仅来自第一VLC光源4i的编码，并且然后移动设备8移动到靠近第二VLC光源4ii的区域并检测来自第二VLC光源4ii的编码，但是不能再检测第一个。在这种情况下，根据本公开，采用粒子过滤器方法以便在检测来自第二VLC光源4ii的编码时确定设备朝向。由于没有在第一VLC光源4i和第二VLC光源4ii之间的轨迹的知识，所以一个近似将假设用户6简单地在它们之间沿着直线行走。如果VLC启用的光源4存在相对密集的部署，这通常是良好的近似。然而，不可能在任何地方都存在密集部署的VLC光源4，并且移动设备8可能无法在实践中成功地检测前两个VLC光源4i、4ii的编码。当在第一检测到的VLC光源4i和第二检测到的VLC光源4ii之间存在相对大的距离时，用户6实际上可以采取除直线之外的一些不同的移动轨迹。如果发生这样的非直线轨迹，则基于直线近似将对设备朝向作出错误估计。在设备朝向中的误差的情况下，与采用斑点检测相组合，则很可能会导致后续定位误差，并且在可以纠正此初始朝向误差前可能甚至花费长的时间。需要来自两个不同的VLC光源4i、4ii的编码的至少另外两次成功检测。图2a图示了这个问题，其中实际的移动轨迹和朝向由粗黑色实线图示，且所估计的移动轨迹和朝向由粗黑色虚线图示。

除了初始朝向之外，即使设备朝向已经准确地获得，在连续室内定位过程期间也可能遇到另一个问题。也就是说，当用户6从靠近第一VLC光源4i的区域行走到靠近被检测为光斑点的第二光源4ii的区域中时，当移动设备8在相机视图中不具有任何VLC光源或光斑点时，可能存在时间中的间隙。在这种情况下，从VLC的角度来看，再次可以假设在这个间隙期间采取了简单的直线轨迹。基于这个假设，室内定位系统可以继续。然而，在实践中，用户6可能在间隙期间采取任何任意的轨迹，并且因为这样可能导致定位误差。图2b图示了这种误差的一个示例。

在图2b所图示的示例中，当用户6沿着三个轨迹中的任何轨迹行走时，光斑点将从完全相同的角度和相同的距离出现在相机视图中。如果假设采取了最短路径（图2b中的中间路径），则如果用户6实际采取了任何其他轨迹中的一个轨迹，将导致定位误差。跟随此误差，还可能发生后续定位误差。然后可能花费长的时间来检测误差，直到获得成功的VLC编码接收。

而且，在上面的示例中，已经假设存在从相机16可获得的连续图像流。然而，在实践中，可能存在来自相机传感器16的图像缺失。这可能发生在例如具有有限的处理能力的设备8的情况下。在那种情况下，在第二图像已被相机16捕获之前，可能无法完成处理第一图像和VLC检测相关的处理。人们也不能简单地保持降低图像捕获速率。所以然后发生的是新图像必须被缓冲。缓冲区保持增长，并且当缓冲区满时，一些图像将不得不被丢弃。所以基本上，一些图像将从流中丢失。这个问题在时序图图3中进行了图示，其中（随着时间左到右运行），顶部序列中的棒表示从缓冲区输出的帧，并且下部序列中的棒表示接收到的帧。标记为L的帧在处理期间丢失。在实践中也可能发生的是相机16可能会被阻挡一段时间。从室内定位的角度来看，由于这种丢失帧的问题，可能导致定位误差，如图4所图示。这里，用户6从第一照明源4i沿着由箭头所图示的轨迹行走。当相机视图中应该出现居间的照明源4x时，一些图像丢失。然后一段时间后，一些图像被良好地捕获，并在图像中出现光斑点。新的光斑点是出现在图像中的第二照明源4ii，但实际上是该行中的第三照明源。由于意外缺失的图像，定位算法仍然认为此光斑点对应于居间照明源4x。所以，由于这个问题导致定位误差。再次，后续的定位误差是可能的，直到有效的VLC编码被成功地解码。注意，这种丢弃图像的问题在实践中也可以有意地引入，仅仅是为了节省移动设备8的电池电力。

本公开的实施例提供了室内定位系统（或实际上其他种类的定位系统），包括：

•VLC光源4；

•具有相机16和惯性传感器22（加速度计和/或陀螺仪，但不是磁力计）的移动设备8；以及

•下列功能块：

- VLC检测

- 光斑点检测

- PDR块，包括步检测、步进方向、步长计算

- 基于VLC定位和PDR定位之间的融合的设备位置估计

- 基于VLC定位和PDR定位之间的融合的设备朝向估计

过程要素包括：

•检测第一VLC光编码；

•当检测步时，使用PDR以给出相对的步进方向和步长；

•如果在（a）第二VLC光或光斑点检测与（b）第一VLC检测之间存在图像间隙，则使用VLC以得到初始朝向和方位；

•使用PDR来估计步长、错步、缺失步、朝向估计等；

•在诸如下列的情况中，PDR帮助VLC提高准确性和可靠性：

- 在视图中没有照明源时填补间隙，

- 填补由处理限制造成的间隙，

- 节省电池电力，

- 为了更好的VLC室内定位而检测高度变化，和/或

- 移除由错误的VLC数据造成的错误的方位变化等。

在下文中，假设该方法具有对在其上每个照明源4的ID映射到地图上的那个照明源4的相应位置的地图的访问。例如在室内空间的情况下，地图可以包括建筑平面图。地图可以被本地存储在移动设备8上或服务器24上。还假设照明源4的高度是已知的（这可以在地图上指示，或可以简单地假设为固定的、常见高度，例如天花板高度）。此外，当照明源4的任何给定的一个照明源出现在由相机16捕获的图像中时，则该方法能够确定相机16离光源的距离，例如，基于接收到的、来自那个光源的光的强度与已知的所发射强度相比较，或基于飞行时间（或实际上基于随着光行进的距离而变化的光的任何性质，例如如果随着光通过诸如空气的介质传播，光谱的不同组分的强度不同地衰减，那么这可以用来估计距离）。此外，当捕获照明源4的图像时，该方法能够检测嵌入从那个照明源发射的可见光中的独特编码，其中此编码是相应照明源4的ID或至少映射到相应照明源4的ID。因此照明源的位置可以通过查找地图中的ID来确定。编码本身可以通过许多技术中的任一种来嵌入，这些技术本身对于本领域技术人员而言将是熟悉的。例如，编码可以采取调制光的独特调制频率、或使用诸如曼彻斯特编码的编码嵌入的数字编码、或甚至是光的独特光谱的形式。在另一个变型中，编码可以被编码到与可见照明一起由相同源4发射的、在不可见光谱（例如IR或UV）中发射的光中。

当移动设备8使用设备相机16而检测第一VLC光源4i的编码时，所公开的定位解决方案开始。然后，获得移动设备8的位置的粗略估计。由于几何不明确性，仍然还不能获得移动设备的朝向和精确位置。然后生成许多“粒子”，代表候选位置。在每个相应候选方位的假设下，每个粒子还被分配了代表移动设备8的朝向方向的方向。

作为示例在图5中示出。这里，从顶视图和侧视图描绘了诸如智能电话的移动设备8的方位。还示出了包括照明源4的相机视图I。然后，图6中图示了粒子的生成，对应于图5中描绘的示例。US8752761示出了如何可以在给定光源的高度的情况下相对于光源确定移动设备的方位，并且特别地，此参考示出了光源高度关于圆直径的相关性。参考US8752761的图3和图6。对应的角度α、β、γ在本公开的图5上标记出。

当第一照明源4i仍在相机视图I内时，粒子基于相机视图内的照明源的位置的移动而传播。由于几何结构中的对称性，人们仍然具有圆形形状的所有可能方位，直到照明源4i由于移动设备8的移动而离开相机视图。然后不可能基于VLC光源4i连续地导出移动设备8的候选方位和朝向。然而，根据本公开，基于来自PDR的输入进一步导出移动设备8的候选方位和朝向。候选方位的连续导出被实现为粒子的传播。也就是说，（多个）初始传感器22用于推算（投影）移动设备8的可能的更新方位和朝向。

与其中使用磁力计来导出相对于地面北方的绝对设备朝向的正常PDR解决方案相比，本文所公开的技术不采用磁力计，并且仅采用诸如加速度计和/或陀螺仪的惯性传感器来导出相对移动方向。PDR连续工作，并给出相对于设备朝向的相对步长和步进方向的指示。也就是说，使用惯性传感器22来检测每步，并且假设每步的某个步长，这给出了行进的距离。此外，还可以基于来自诸如加速度计的惯性传感器22的输入来检测方向的变化。对于每个检测到的步，每个粒子根据相对方向和步长移动。

假定用户6正持有移动设备8（例如电话）并且正沿着移动设备朝向行走，如最常见的情况。用户6首先向前走几步，并且然后向左转并向前移动几步。图7图示了粒子的传播，遵循由PDR提供的相对路径。在传播期间，也可以考虑一些随机化。

这个粒子传播过程持续，直到相机16利用VLC编码检测捕获相机视图中的第二照明源4ii。注意，这里我们以在第一和第二照明源4i、4ii中的VLC编码两者都被成功解码为例。在实践中（如后面将更详细讨论的），这种条件可以放宽，诸如我们只需要解码VLC编码之一。在照明源4的某些特殊几何分布的情况下，该技术甚至可以良好地工作而不解码两个照明源4i、4ii的任何编码。这可能是明确的地图布局的结果，例如，用户6进入走廊并且相机16看到已知的光源4i，并且然后当用户6沿着相同的走廊移动时，沿着走廊的光源4的已知拓扑提供了关于期待什么的附加信息。

在捕获第二光源4ii时，比较粒子，并且选择与相机16的视场中的光源4ii的几何情况最佳匹配的粒子。在那个此点处，可以基于第二照明源4ii以及移动设备8和第二照明源4ii之间的几何关系来从粒子中决定哪个是最佳匹配粒子。

匹配标准的示例如下。当第二照明源4ii出现在相机视图中时，基于传播的历史，每个粒子具有某个方位，对于第n个粒子由P1,n表示。同时，基于每个粒子的设备朝向角度和相机视图中的光源位置，每个粒子的方位也可以从几何上导出，并且对于第n个粒子结果由P2,n表示。如期待的那样，P2,n应该位于第二光源4ii周围的圆上。然后可以计算所估计方位P1,n与所估计方位P2,n之间的距离。这个距离由dn表示。对于每个粒子，可以计算这样的距离。此距离被用作比较标准，并且最佳匹配粒子选择为具有在两个所估计方位之间的最小距离的粒子。图8图示了这样的原理，其中图示了第m个和第n个两个粒子。可以看出，dn明显小于dm，并且因此第n个粒子比第m个粒子更好地匹配。然后，可以将移动设备8的实际方位和朝向确定为图8中的第n个粒子的实际方位和朝向。

在第二照明源4ii进入视图之后，人们具有移动设备8的所确定方位和朝向。从此，该方法可以保持导出移动设备8的接下来的候选方位。这也以粒子过滤器的形式实现。在实践中，一旦已经获得初始方位和设备朝向定位，该方法可以继续保留许多活动（living）粒子，并为每个粒子分配权重因子，权重因子反映了每个粒子的P1和P2之间的不同距离。此后，权重还确定未来的粒子生成（用于当移动设备到达第三照明源时使用，依此类推）。

因此概括而言，如所指示的，本公开涉及将航位推测与基于编码光的置位组合。并且，因为使用相机图像而不是比如二极管检测器，所以朝向信息可以是相对于光源4的，并且这可以在系统中使用。航位推算（建立相对于初始起点的步及其方向）可以帮助提高首次定位的初始速度以及提高准确性。当存在有限的可用光源4时和/或当相机图像丢弃时（由于处理问题），可能期望提高准确度。

所公开的技术通过使用移动设备8检测光源4而工作，并且由此建立移动设备8在那个光源周围的圆上。例如，如果光源4的高度（例如在办公室中）是已知的，则这适用。如果光源4是编码光源，则可以在地图上查找。

然而，无法知道移动设备8在圆上的什么地方。为了处理这个问题，系统使用所谓的粒子过滤器；即它生成许多“粒子”，其中一粒子对应于以圆上一方位和一朝向的形式的假设。

使用来自光源4的图像信息而播种粒子朝向。

接下来，如果用户6移动，则通过使用加速度计和/或陀螺仪（不是磁力计）的行人航位推测来跟踪此移动。

接下来基于检测到的运动来传播粒子，并且重复此直到移动设备8在其视场内碰上另一个光源4ii。

此时，当遇到第二光源4ii时，人们可以再次确定移动设备8落在其上的圆以及基于图像数据的朝向。

利用来自在圆上的第一方位和朝向的附加信息以及用户6（并且因此移动设备8）已经行进的路径，可以选择一条路径并且因此可以知道设备8的朝向和方位。

否则可能由磁力计提供的方向性被相对于照明源4的更可靠的朝向替代。此外，通过PDR和VLC的组合，（一旦用户的方位已知，则在初始定位之后）基于PDR更可靠地更新方位变得可能；因为基于尚未看到的光源4的VLC标识符难以推算用户6的行进方向。

现在解释上述技术的一些进一步的变型和扩展。

已知照明源的数量：如所提及，上述实施例已经假设第一和第二光源4i、4ii两者的标识是已知的（以及实际上第三光源等）。该方法可以访问将光源4的标识映射到地图上的它们相应的位置的地图（例如建筑平面图）。因此，可以看出，一旦执行了上述过程以找到最佳匹配轨迹，那么这与第一和第二光源的已知标识（以及因此已知位置）组合可以给出移动设备8的近似方位。

然而，通常（但不是普遍地）可能仅用来自检测到的光源4i、4ii中的一个的编码来进行处理（manage），并且其他光源仅被识别为“光斑点”（即，光源的外观被检测到，但没有检测到其嵌入的编码）。

以比较的方式，图12a示出了这是不可能的情况。如果光源4以规则的间隔以规则的格子布置，并且只有一个光源（比如第二光源4ii）的位置是已知的；那么存在不明确的解。例如，对于正方形格子，真实轨迹T不能与旋转九十度的相应轨迹T'区分开来。在这种情况下，将需要两个照明源4i、4ii的位置。

然而，如果光源4没有如图12b所示那样规则地间隔开，那么即使一个光源（例如4ii）的位置是已知的，也只有一个可能的解。 在这种情况下，该方法替代地利用关于地图（例如建筑平面图）上的布局光源4的预定知识，即只有一个离已知光源4ii具有正确的距离的知识。

因此，如果所有光源4的位置先验已知，则在给定光源4的拓扑以及还有用户6的移动路径的情况下，非常经常足以看到图像中的光源4以确定它实际上是地图上的哪个光，而不明确解码VLC ID。这就是“光斑点”的含义。基本上，“光斑点”是图像中没有解码VLC编码的光。在开始室内定位系统时，通常需要解码两个VLC编码以具有可靠的起始方位和朝向估计。然而，在照明拓扑和/或移动轨迹的某些存在中，仅解码一个VLC编码可能是足够的。

如上文所解释，在室内定位系统开始后，在只能看到图像中的“光斑点”的情况下，室内定位系统在实践中运行良好。也就是说，当用户6在不解码编码的情况下从一“光斑点”移动到另一个“光斑点”时，用户6仍然可以被良好地定位，因为不明确性通过组合照明地图和用户移动路径而被解决。例如，用户6进入走廊并且相机16看到已知的光源4i，并且然后当用户6沿着相同的走廊移动时，沿着走廊的光源4的已知拓扑提供了关于期待什么的附加信息。

识别（多个）光源：此外，不需要基于VLC来检测第一和/或第二光源4i、4ii的（多个）已知位置。总是需要至少一个位置，但那个位置不必须从VLC获得。相反，例如，如果用户知道他或她在地图上的什么地方，则用户可以将此输入到移动设备8，并且基于此，该方法可以确定移动设备8当前一定正在观看哪个光源4。或者，如果用户知道他或她正将他或她的相机移动设备8的相机16指向的光源之一（例如因为这一个光源4被指定为特定的已知参考）的实际ID，则用户6可以直接将其输入。

作为另一个示例，当用户6首次行走通过房间、建筑物或其他区域的入口（例如门道）时，例如基于当用户6通过门或入口时检测到的RF标签（其中RF标签和阅读器中的一个被包括在移动设备8中并且它们中的另一个在入口附近），它可以被检测到。如果从地图（例如建筑平面图）也知道当行走通过入口时光源4i中的特定一个光源是可见的，则这可以足以识别第一光源4i。

从已知方位开始：图9图示了当从已知方位和朝向开始、而不是从在第一光源4i周围的圆上的多个候选位置开始时，所公开的定位方法的变型如何工作。在这种情况下，仅需要第一光源4i的图像以便获得初始朝向，而不是初始方位。

相反，例如通过在相机视图中看到两个光源，从上面说明的过程中可以获得初始方位的预定知识。它也可以通过用户输入或上述的连续过程来获得。作为另一个示例，初始的已知位置可以是来自一定位，其来自随后丢失的另一个置位系统，例如来自在用户进入室内时丢失的、诸如GPS或伽利略的基于卫星的位置系统。或作为又一个示例，当用户6通过门或其他入口时可以基于RF标签来检测初始位置（其中RF标签和阅读器中的一个被包括在移动设备8中并且它们中的另一个在入口附近）。

根据移动设备的已知方位和设备朝向，我们可以基于由PDR提供的相对移动信息进一步传播粒子，如图9所图示。在实践中，我们也可以考虑一些随机化并生成来自一个粒子的许多粒子。在我们看到第二盏灯后，在解码或不解码灯的VLC编码的情况下，我们已经可以在活动粒子之间进行比较和选择，并从而确定移动设备的当前方位和设备朝向。

如图9所示，根据移动设备9的已知方位和设备朝向，可以基于由PDR提供的相对移动信息进一步传播粒子。在实践中，也可以考虑一些随机化，以便生成来自一个粒子的许多粒子。在看到第二照明源4ii之后，在解码或不解码那个照明源4ii的VLC编码的情况下，已经可能在活动粒子之间进行比较和选择，并从而确定移动设备8的当前方位和设备朝向。

照明源形状的几何结构：在上面描述中，我们使用照明源4的圆形对称形状的示例来进行说明，并且因此使用由照明源4投射到图像上的“光斑点”的示例来进行说明。基于此，初始粒子以圆形形状生成。然而，在实践中，可能存在具有不同形状（其中这可能指的是例如灯具壳体的整体形状、或诸如漫射器元件的灯具4的元件的形状、或单个灯的形状）的照明源4。例如，可能存在具有正方形形状的照明源4，其中只有90度的不明确性。或对于具有线性形状的照明源4，只有180度的不明确性。在这些情况下，粒子不需要以圆形形状生成。相反，只需要涵盖由照明源形状引起的不明确性的角度。图10图示了相对于正方形照明源4的粒子的初始生成。此外，当第二照明源4ii出现在相机视图中时，并且如果它也是正方形形状，则基于如图8所图示的第二照明源4ii的P2的生成也将基于此形状进行适配。

更一般地，种子粒子可以以均匀或不均匀的方式生成。在第一光源4i是未知光源的情况下，以均匀的方式在圆上创建粒子。然而，如果更多的信息已经可用，例如朝向的指示，则需要创建更少的粒子，因为可能“削减”粒子的数量。例如，这样的信息可以由用户输入，或基于对房间或建筑物中的照明源的布局的预定知识而被假设等。

相对于设备朝向的移动方向：在上面描述中，已经说明了移动方向沿着设备朝向（移动设备的相机16指向的方向）的示例。通常情况确实如此。然而，也可以发生的是移动方向与设备朝向不完全一致。作为另一个示例，如果用户以横向模式而不是纵向模式持有移动设备8，则在设备朝向与用户的移动方向之间存在90度的差异。PDR可以在实践中处理这种情况。原因是因为PDR采用来自移动设备内的传感器22的数据。传感器相对于设备朝向的放置从设备8是已知的。因此，PDR能够给出用户6相对于设备朝向的相对移动。图11图示了遵循用户6的相同移动轨迹的移动设备8的纵向和横向持有模式之间的粒子的传播的差异。注意，图11仅是说明的示例，并且在设备朝向和用户移动方向之间的角度在实践中可以是任何任意的角度。

适配PDR模型：一旦基于PDR传播和第一和第二光源4i、4ii两者的图像获得所估计方位，这给出移动设备8的方位和朝向的相当准确的估计—事实上比仅使用PDR将获得的方位和朝向更准确。在实施例中，这可以被利用来适配PDR模型的一个或多个参数，例如，步尺寸。

该过程开始于用户6巡视的方式的默认或至少不被良好的个性化模型—即PDR模型。这包括诸如步尺寸的参数（这种模型的可能参数本身对于本领域技术人员而言将是熟悉的）。具有参数的默认值或初始值的PDR模型用于在移动设备到达第二光源4ii时获得移动设备的方位和朝向的估计，其中此估计基于PDR与所描述的光源4i、4ii的图像的使用的融合。然后，可以将PDR轨迹T的终点（即将仅基于PDR获得的方位估计）与如使用融合方法估计的（更准确的）所估计方位和/或朝向进行比较。这给出了一差值，该差值可以反馈到PDR模型中，以便精细调整PDR模型的一个或多个参数的值。例如，如果所讨论的参数是步尺寸，那么该方法可以确定轨迹与更准确的所估计方位的总距离，并将此除以检测到的步的数量。注意可以采用更复杂的步尺寸模型，例如，替代固定步尺寸，步尺寸被估计为步频的函数。这种功能的参数最初可以选择为非个性化的，并且然后在PDR轨迹终点处进行细化。

然后，当基于第二和随后的第三光源（未示出）重复相同的方法以获得移动设备的方位和朝向时，则可以使用具有（多个）所调整参数的所适配模型来估计新的方位和朝向，从而给出甚至更好的估计。

将理解的是，上面实施例仅通过示例的方式进行了描述。

例如，尽管实施例可以已经如此描述，但是本公开的范围不限于室内定位并且可以更一般地应用于基于照明源的任何定位系统。

此外，如所提及，所描述的计算不限于在移动设备8本身处执行。在实施例中，置位中涉及的计算可以替代地被部分地或全部地卸载到服务器24（其可以包括在一个或多个地理位置处的一个或多个服务器单元）。

此外，本文公开的原理不一定需要使用粒子过滤器来体现。例如，也可以使用其他贝叶斯过滤技术。通常，可以使用将所推算候选与从新出现的光源获得的候选进行比较的任何方法。例如，估计可以被视为最优化问题，其中：（i）从第一光源4i开始，选择移动设备（8）的朝向的初始值；（ii）选择移动设备（8）的方位的对应初始值；（iii）使用（多个）惯性传感器22（例如PDR）以获得从第一方位和朝向延伸的路径（轨迹）；（iv）当移动设备到达第二光源4ii时确定第二朝向和方位；然后（v）在轨迹的终点与第二方位和朝向之间的差异给出差值；并且（vi）应用最优化算法来搜索使差值最小化的候选朝向或方位的值。作为又一种可能性，人们可以列举所有可能的轨迹并搜索这个空间以得到最佳匹配（“蛮力”方法）。

还注意，本文使用的术语“推算”不一定意味着推算到未来本身。事实上，如从上面实施例中显而易见的是，在实施例中发生的是随着移动设备行进，该方法估计关于过去中可能已经发生了什么的可能性。此外，术语推算不一定意味着任何具体的数学意义，并且使用（多个）惯性传感器来生成所传播候选位置和朝向的任何方式都可以落入本公开的范围内。

通过研究附图、公开内容和所附权利要求，本领域技术人员在实践要求保护的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一（a或an）”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项目的功能。在相互不同的从属权利要求中记载了某些措施的纯粹事实并不指示这些措施的组合不能被有利地使用。计算机程序可以存储/分布在合适的介质上，诸如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质，但也可以以其他形式（诸如经由因特网或其他有线或无线电信系统）分布。权利要求中的任何附图标记不应被解释为限制范围。

Claims (14)

1.一种方法，包括：

A）在第一位置处，使用移动设备（8）的相机（16）来捕获其中出现第一照明源（4i）的第一图像；

B）通过参考如出现在所述第一图像中的所述第一照明源，确定所述移动设备的第一朝向信息；

C）随着所述移动设备（8）从第一位置移动到第二位置，使用所述移动设备的一个或多个惯性传感器（22）从所述第一朝向信息以及从所述移动设备的第一方位信息推算以生成所述移动设备的多个所推算第一候选位置以及所述移动设备的多个相应的所推算第一候选朝向；

D）在所述第二位置处，使用所述移动设备的相机（16）来捕获其中出现第二照明源（4ii）的第二图像，其中直到所述移动设备已经从所述第一位置到达所述第二位置，所述第二照明源才出现在所述相机的视场内；

E）通过参考如出现在所述第二所捕获图像中的所述第二照明源，确定所述移动设备的多个第二候选位置以及所述移动设备的多个相应的第二候选朝向；以及

F）基于所述所推算第一候选位置和朝向与所述第二候选位置和朝向的比较，确定所述移动设备的至少一个所估计位置和相应的朝向。

2.根据权利要求1所述的方法，其中：

步骤B）包括：通过参考如出现在所述第一图像中的所述第一照明源（4i），确定所述移动设备（8）的多个第一候选位置以及所述移动设备的多个相应的第一候选朝向；

步骤C）包括：随着所述移动设备跟随捕获所述第一图像而移动到所述第二位置，使用所述移动设备的一个或多个惯性传感器（22）以从所述第一候选位置和朝向推算，从而生成所述移动设备的所述多个所推算第一候选位置和相应的所推算第一候选朝向。

3.根据权利要求2所述的方法，其中所述方法还包括：

G）随着所述移动设备跟随捕获所述第二图像而从所述第二位置移动到第三位置，使用所述移动设备的一个或多个惯性传感器（22）以从所述第二候选位置和朝向推算，从而生成所述移动设备的多个所推算第二候选位置和相应的所推算第二朝向；

H）在所述第三位置处，使用所述移动设备的相机（16）来捕获其中出现第三照明源的第三图像；

I）通过参考如出现在所述第三图像中的所述第三照明源，确定所述移动设备的多个第三候选位置以及所述移动设备的多个相应的第三候选朝向；以及

J）基于所述所推算第二候选位置和朝向与所述第三候选位置和朝向的比较，确定所述移动设备的更新的所估计位置和相应的朝向。

4.根据权利要求3所述的方法，其中步骤F）包括向所述第二候选位置和朝向分配相对权重，并且其中步骤J）考虑所述相对权重。

5.根据权利要求1所述的方法，其中步骤B）包括：识别所述移动设备（8）的已知第一位置，并且通过参考所述第一图像，识别与所述已知第一位置相对应的相应的朝向；并且其中步骤C）包括从所述初始已知位置和相应的朝向推算以生成所述多个所推算第一位置和相应的所推算第一朝向；其中所述已知第一位置从下列中的一个获得：

- 用户输入，

- 来自随后丢失的另一个置位系统的定位，

- 当所述移动设备的用户（6）通过入口时的RF标签，或

- 最初同时出现在所述相机的视场中的两个照明源。

6.根据前述权利要求中任一项所述的方法，其中所述推算包括在生成一个、一些或全部的所述所推算第一候选位置和/或朝向中包括随机化；和/或在生成一个、一些或全部的所述所推算第二候选位置和/或朝向中包括随机因子。

7.根据前述权利要求中任一项所述的方法，其中所述第一、第二和/或第三候选位置和朝向的生成包括基于附加信息来限制第一、第二和/或第三候选方位和相应的朝向的数量。

8.根据权利要求7所述的方法，其中所述附加信息包括所述第一、第二和/或第三照明源具有非圆形和非球形形状的知识，所述限制基于所述形状来执行。

9.根据前述权利要求中任一项所述的方法，其中所述第一、第二和/或第三候选位置和相应的朝向的确定包括使用所述移动设备（8）的一个或多个传感器（22）来检测所述相机（16）的取向，并且在确定中考虑所述取向。

10. 根据前述权利要求中任一项所述的方法，其中所述第一和第二照明源（4i、4ii）是位置由预定地图给出的更大量的照明源（4）中的一些照明源，并且其中：

在步骤F）之前识别所述第一照明源（4i），但在步骤F）之前不识别所述第二照明源（4ii），并且基于所述预定地图执行步骤F），根据所述第一光源的标识以及光源相对于彼此的相对位移给出至少所述第一光源的位置；或

在步骤F）之前识别所述第二照明源，但在步骤F）之前不识别所述第一照明源，并且基于所述预定地图执行步骤F），根据所述第二光源的标识以及光源相对于彼此的相对位移给出至少所述第二光源的位置。

11. 根据权利要求10所述的方法，其中基于下列来识别所述第一或第二照明源：

分别嵌入由所述第一或第二照明源发射的照明中的相应编码，或

用户输入。

12.根据权利要求3或从属于其的任何其他权利要求所述的方法，其中基于行人航位推测模型执行步骤C）和G）的推算，其中所述方法还包括基于如步骤C）中估计的所估计方位和/或朝向来适配行人航位推测模型的一个或多个参数，并且其中所适配模型用于在步骤G）中执行所述推算。

13.一种计算机程序产品，其体现在计算机可读存储器上并被配置成使得当在一个或多个处理单元上运行时执行根据前述权利要求中任一项所述的方法。

14.包括置位模块（18、18'）的装置，其中所述置位模块被配置为执行根据权利要求1至12中任一项所述的操作；其中所述装置包括所述移动设备（8）、或布置成与所述移动设备通信的服务器（24）、或包括所述移动设备和服务器的系统。