CN106462265A - 基于编码光定位便携式设备 - Google Patents

基于编码光定位便携式设备 Download PDF

Info

Publication number
CN106462265A
CN106462265A CN201580017159.7A CN201580017159A CN106462265A CN 106462265 A CN106462265 A CN 106462265A CN 201580017159 A CN201580017159 A CN 201580017159A CN 106462265 A CN106462265 A CN 106462265A
Authority
CN
China
Prior art keywords
light source
orientation
portable set
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580017159.7A
Other languages
English (en)
Other versions
CN106462265B (zh
Inventor
C.P.M.J.巴格根
P.霍伊科斯特拉
B.J.沃斯
B.范蒂伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN106462265A publication Critical patent/CN106462265A/zh
Application granted granted Critical
Publication of CN106462265B publication Critical patent/CN106462265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本发明涉及使用编码光定位便携式设备的位置的设备、系统和方法，该便携式设备包括图像传感器和惯性测量单元，该方法包括：从图像传感器获得包括编码光源的第一图像，并且基本同时地从惯性测量单元获得指示该便携式设备或该图像传感器的取向的取向信息；获得光源具体信息，其形式为：允许检索该编码光源的三维位置的标识符，或该编码光源的三维位置；以及基于所述取向信息、该便携式设备或图像传感器的预先确定的高度估计以及所述光源具体信息，计算该便携式设备或图像传感器的位置。

Description

基于编码光定位便携式设备
技术领域
本发明总地涉及位置（location）系统的领域，并且更具体地涉及用于基于编码光的定位的方法、设备和系统。
背景技术
首先随着低成本GPS设备的引入，并且之后随着具有导航功能性的智能电话的几乎全球范围的采用，位置系统在过去的二十年中已经成为主流设备。
近来，室内位置系统正得到越来越多的关注。若干室内位置系统是已知的，这些系统是基于红外（IR）、超声、视频监控和RF信号的。
多模态（multi-modal）系统也似乎吸引了相当多的关注，诸如在Zheng Sun等人所著的“Headio: Zero-Configured Heading Acquisition for Indoor Mobile DevicesThrough Multimodal Context Sensing”中提出的“Headio”系统。这后一种系统将来自在智能电话中找到的重力传感器和磁力计传感器的信息与随其捕获的摄像机数据组合。在Headio系统中，前置摄像机用于对天花板成像，天花板常常具有直的边缘，其可以被用作用于取向（orientation）的另外模态。
然而，并不是所有天花板都具有这样的“清晰可见的边缘”，而在缺少这些边缘的情况中，该系统可能表现不太良好。
发明内容
本发明脱离了使用RF定位作为主要手段来确立便携式设备位置的定位系统。替代的，本发明专注于使用广泛可用的光源。更具体的，本发明提出利用具有登记的三维位置的光源作为定位的主要手段。有利地，所讨论的光源是编码光源。本文的编码光指的是对于主要用于照明目的的可见光的调制。通过恰当地调制这种光，调制可以保持对裸眼基本不可见，但是可以向布置有合适的编码光接收器的便携式设备提供信息。
根据本发明的第一方面，提供一种使用第一光源定位便携式设备的位置的方法，该便携式设备包括图像传感器和惯性测量单元，该方法包括：从图像传感器获得包括第一光源的第一图像，并且基本同时地从惯性测量单元获得指示便携式设备或图像传感器的取向的取向信息；确立第一光源的三维位置；并且基于取向信息、第一图像内的第一光源的方位（position）、便携式设备或图像传感器的预先确定的高度估计、以及第一光源的三维位置，计算便携式设备或图像传感器的位置。
值得注意的是，惯性测量单元（IMU）提供便携式设备或图像传感器两者中任意一个的取向，在IMU提供便携式设备的取向的情况下，这可以用来确定图像传感器的取向。图像传感器进而又提供图像传感器的视野的第一图像。当光源在此视野内可见时，其将由图像传感器成像，从而登记图像传感器相对于该光源的相对方位的信息。
接下来，我们需要确立第一光源的三维位置。在一个实施例中，这可以通过让用户在地图上指出哪个具体的发光体被成像并且随后从数据库检索它的三维位置而完成。
在特别有利的实施例中，光源自身可以直接或间接地提供此信息。当光源在编码光信号中传输它的三维位置时，三维位置信息的直接提供是可能的。当光源在编码光信号中提供允许从数据库检索三维位置信息的光源具体信息时，三维位置信息的间接提供是可能的。
一旦三维位置信息可用，该信息就可以被用来提供便携式设备的位置的估计。为了这样做，我们还假定便携式设备处在预先确定的高度，此高度可以被设置为预先确定的高度值，其可以针对设备的主要用户而定制，和/或甚至可以随时间而被校正，如将在本文下面讨论的。
通过使用所收集的数据和预先确定的高度估计，我们可以计算相对于编码光源的位置，并且基于光源的已知位置从而估计便携式设备的位置。
在另外的优选实施例中，编码光源提供光源具体信息，其使得能检索编码光源的三维位置。值得注意的是，这可以简化编码光源的调试过程，因为光源不需要利用它的精确的方位来进行编程，而是实际上只需要传输允许从数据库检索位置的（本地）独特的标识符。
在优选的实施例中，取向信息是基于多个输入模态的，其中相应的输入模态的贡献基于一个或多个控制准则而被加权。第一输入模态是磁罗盘数据，这在没有运动时在起动处是有用的信息，然而当覆盖相当大的距离时，它不如加速计和/或陀螺仪数据可靠。第二输入模态可以是三维加速计数据。加速计数据典型地被使用，因为它比罗盘数据和陀螺仪数据更可靠。另外的模态是三维陀螺仪数据。当存在便携式设备的相当大的移动时，可以使用陀螺仪数据，然而陀螺仪数据初始不可靠并且倾向于当存在小的运动时发生漂移。相应数据的更优选的使用是基于以下形式的准则，即相应模态的可靠性测量。
在优选的实施例中，一旦便携式设备已经确立它的相对于编码光源的方位，则便携式设备为了定位还可以使用其它光源，更具体地是非编码光源。为此，该方法还包括获得指示便携式设备在水平面内的取向的前进方向（heading）信息，获得包括第二光源的第二图像。值得注意的是，第二光源可以传输编码光，但不是必需传输编码光。如果第二光源发射编码光，那么有可能使用上文描述的信息来确定设备的位置。通过将新计算的位置与之前计算的位置相组合，可以获得更准确的位置。
如果第二光源不发射编码光，则仍然有可能使用所述光源的检测与之前计算的位置以及来自IMU的信息相组合地来计算可靠的位置更新。为此，先前描述的方法可以通过以下操作而被延伸，即：访问包括三维位置数据的第二地图信息，提供光源的另外的三维位置；基于便携式设备或图像传感器的计算的位置、在第二图像中的第二光源的方位以及所述前进方向信息，确立被包括在第二地图信息中的候选光源；以及在第二图像内的光源对应于候选光源的假定下，使用取向信息、第二图像中的第二光源的方位、第二图像中的候选光源的位置、便携式设备或图像传感器的预先确定的高度估计、和由第二地图信息所标识的候选光源的位置，计算便携式设备或图像传感器的更新的位置。因为在这种方法中，编码光源和非编码光源两者都可以被使用，所以这种方法使得能够针对现存位置以减少的成本使用编码光进行定位，因为只有这些光源中的一些光源需要被编码光光源取代。
在优选的实施例中，定位的方法使用粒子滤波（particle filter）合并计算（consolidate）位置和取向，并且其中多个粒子被保持，每一个粒子反映便携式设备的不同的可能状态，每一个状态包括便携式设备的可能取向和可能位置，并且其中该方法牵涉到：针对每一个粒子，通过将相应粒子的取向和位置与所获得的取向信息以及所计算的位置相匹配，为该粒子确定权重，其中当匹配更好时，权重更高；通过基于该权重产生新的粒子，而对粒子重新取样，其中在具有更高权重的粒子附近选择更大数量的新粒子；以及通过对经加权的粒子或经重新取样的粒子取平均，计算便携式设备或图像传感器的合并计算的位置和取向。更可选的，所述取平均可以被限于最高权重粒子的子集，或者可以甚至需要选择最高权重的粒子。通过保持和跟踪多个粒子，有可能在所确定的对位置和取向的估计中考虑不确定性。
在优选的实施例中，定位的方法使用多个假设跟踪来合并计算位置和取向，其中多个假设被保持，每一个假设反映便携式设备的不同的可能状态，每一个状态包括便携式设备的可能取向和可能位置，并且其中该方法牵涉到：针对每一个假设，通过将相应假设的取向和位置与所获得的取向信息和所计算的位置相匹配，为该假设确定度量，其中当匹配更好时所述度量更低；将每一个假设分支成相似的后代，为每一个后代计算度量，并且为下一个迭代保留预先确定的数量的幸存者；以及基于相应的度量，通过挑选最佳假设，计算便携式设备或图像传感器的合并计算的位置。通过保持和跟踪多个假设，有可能在所确定的对位置和取向的估计内考虑不确定性。
在第一方面的优选实施例中，该方法还包括：在来自图像传感器的第三图像中检测到多个光源，其中该多个光源被包括在第一或第二地图信息中；基于多个光源的相应位置，计算便携式设备或图像传感器的候选位置；以及校正下述的至少一项：预先确定的高度估计和/或取向信息。以此方式，使用图像传感器确定的可靠的位置信息可以被使用于对例如罗盘偏差和/或陀螺仪漂移的校正。
在另外的实施例中，光源具体信息包括该第一光源的三维位置，并且其中所述计算包括：基于下述项计算便携式设备的一个或多个候选位置，即：取向信息、第一图像中的第一光源的方位、便携式设备或图像传感器的预先确定的高度估计、以及被包括在光源具体信息内的第一光源的三维位置。通过直接提供编码光源的三维位置，具有建筑物的地图的便携式设备可以在该建筑物内导航，而不需要用于检索位置信息的反向通道。
一旦设备的位置被知道，设备的位置就可以被传送给设备的用户。另外，应注意的是，当在使用中时，设备的位置一般将与设备用户的位置基本一致。有利的是，本发明实施例还可以包括通过下述方式来呈现与该便携式设备或图像传感器的所计算的位置对应的视觉指示符，即：在便携式设备的显示器上呈现便携式设备的附近地区的二维地图，以及提供与所计算的位置对应的视觉指示符。
优选地，向用户呈现的地图的取向被旋转成使得如果显示器是基本水平的并且便携式设备或图像传感器的所计算的取向是正确的，那么显示器上的地图的取向与物理世界的取向对齐。
优选地，可视化还包括呈现对应于一个或多个光源的一个或多个视觉指示符。
优选地，编码光源被使用与表示不发射编码光的光源的视觉指示不同的视觉指示符来指示。
优选地，可视化包括对被用于计算便携式设备或图像传感器的位置的一个或多个光源的与众不同的视觉指示符。
优选地，可视化包括关于在显示器上提供的便携式设备或图像传感器的位置的可靠性的视觉指示符。
根据本发明的第二方面，提供一种计算机程序产品，其从通信网络可下载和/或存储于计算机可读取介质和/或微处理器可执行介质上，其特征在于，它包括用于实现本文上面描述的方法的程序代码指令。
本文中，计算机可读取介质和/或处理器可执行介质被认为至少包括非易失性存储设备，比如固态存储设备、光盘、硬盘和本领域技术人员知道的其它计算机可读取存储介质。
根据本发明的第三方面，提供一种便携式设备，该设备被安排成使用第一光源定位它的位置，该便携式设备包括：图像传感器、惯性测量单元和第一处理单元，第一处理单元被安排成：从图像传感器获得第一图像，与从图像传感器获得第一图像基本同时地从惯性测量单元获得取向信息；当第一图像包括第一光源时，确立第一光源的三维位置；以及基于取向信息、第一图像中的第一光源的方位、便携式设备或图像传感器的预先确定的高度估计、以及第一光源的三维位置，计算便携式设备或图像传感器的位置。
根据第三方面的设备可以被使用于建筑物内的室内导航。而且，当第一光源是编码光源时，第一光源可以直接地或间接地提供它的三维位置信息。值得注意的是，当三维位置信息被直接提供、或便携式设备具有将光源标识符链接到方位的本地地图信息时，那么编码光源和非编码光源可以被用于使用多个光源的独立式室内导航。
如果地图信息被远程地存储，那么便携式设备还可以包括双向无线通信单元，比如WiFi、GSM、3G、LTE、802.15.4和/或Zigbee单元，以用于传送包括对应于光源的三维位置数据的地图信息。
根据本发明的第四方面，提供一种被安排成基于编码光进行定位的系统，该系统包括：包括第一光源的多个光源；便携式设备，其包括：图像传感器、惯性测量单元、无线收发器和第一计算单元；主机设备，其包括：无线收发器和第二计算单元，该系统被安排成：从图像传感器获得第一图像，与从图像传感器获得第一图像基本同时地从惯性测量单元获得取向信息；当第一图像包括第一光源时，确立第一光源的三维位置；以及基于取向信息、第一图像中的第一光源的方位、便携式设备或图像传感器的预先确定的高度估计、以及第一光源的三维位置，计算便携式设备或图像传感器的位置。
为了“自举（bootstrap）”上面的系统，用户可以例如将检测到的光源与光源地图链接，从而将地图链接到所成像的现实。更有利的，编码光可以自动地提供这样的链接。
上面的系统高于独立的便携式设备实现方式的优点是，其使得由移动设备检测的相关数据能够通过使用无线接口而与主机设备共享，并且还允许主机设备计算便携式设备的位置且随后与便携式设备共享此信息。这减少了便携式设备的计算负担。而且，当间接方式被用于访问三维光源位置信息时，这另外允许了光源标识符的换新（renewal）而不需要分布式数据库的详尽的更新。另外，当编码光在被管理的照明环境中使用时，可能不期望与第三方共享映射建筑物内的所有光源的信息。
本发明的这些和其它的方面、特征和优点将会从下文描述的实施例中显而易见，并且将会参考下文描述的实施例予以阐述。值得注意的是，本发明涉及权利要求中记载的特征的所有可能的组合。
附图说明
现在将参考示出本发明的（多个）实施例的附图，更详细地描述本发明的这些和其他方面。
图1图示编码光照明系统；
图2图示根据编码光照明系统的光源；
图3A-3C图示将图像映射到方位的过程；
图4示出背投影的示例的顶视视图；
图5示出描绘用于控制本发明实施例中的粒子滤波的状态机的图；
图6A示出示例性便携式设备的前视图；
图6B示出示例性便携式设备的方框图；
图7示出示例性系统的方框图；
图8A-8D示出在便携式设备上显示的示例性图像；
图9A-9C示出定位便携式设备的方法的流程图；以及
图10A-10B图示校正IMU误差的过程。
具体实施方式
现在将参考附图在下文中更完整地描述本发明。下面的实施例以示例的方式提供，以便向本领域技术人员传递本发明的范围。同样的数字自始至终指的是同样的元件。
编码光系统就其本身而言是已知的。图1图示了包括至少一个光源的照明系统1，该光源由参考符号2示意性地表示。所述至少一个光源2可以是照明器和/或是照明控制系统的一部分。如通过箭头6示意性地图示的，每一个光源2能够发射编码光。因此，照明系统1可以被表示为编码光照明系统。照明器可以包括至少一个光源2。术语“光源”指的是被用于在房间内提供光以便照亮房间内的物体的设备。在本上下文中，房间典型地是公寓房间或办公室房间、健身房、公共场所中的房间或室外环境的一部分，比如街道的一部分。可选地，还存在从接收器4到光源2的返回通道8，例如其形式为Zigbee RF通道。
光源2能够发射编码光，所发射的光因此包括与含有信息序列的编码光相关联的调制部分。所发射的光也可以包括与照明贡献相关联的未调制的部分。每一个光源2可以与多个照明设置相关联，尤其是与光源的照明贡献有关的照明设置，比如所发射的光的颜色、色温和强度。概括地说，光源的照明贡献可以被定义为光源2发射的光的经时间平均的输出。将参考图2 进一步描述光源2。
如上面提到的，至少一个光源2可以经由可见光6发射一个或多个信息序列。值得注意的是，信息序列可以随着时间而改变。照明系统1还可以包括被安排来控制至少一个光源2和/或向至少一个光源2提供信息的其它设备10。
图2依据多个功能方框，而示意性地图示光源2。光源2 包括用于发射编码光的发射器14。发射器14可以包括一个或多个LED，但是其可以替代地或附加地包括一个或多个FL或HID光源等等。一般地，编码方案可以利用多个光源。例如，3级编码方案可以具有两个LED，其中对于级别“-A”使用映射(OFF, OFF)，对于级别“0”使用映射(ON, OFF)，以及对于级别“+A”使用映射(ON, ON)。
发射器由光驱动器18控制。光驱动器18可以包括信息编码器16，或者是信息编码器16的一部分，信息编码器可以使用比如中央处理单元（CPU）之类的处理器来实现。
同样地，光驱动器18可以包括接收器20和调制器/传输器24。接收器20可以被安排成接收设置值、控制信息、代码参数等等。接收器20可以是被配置成接收编码光的接收器。接收器20可以包括用于接收红外光的红外接口。替换地，接收器20可以是用于接收无线传输的信息的射频（RF）接收器。仍替换地，接收器20可以包括用于接收通过导线传输的信息的连接器。导线可以是电力线路电缆。导线可以是计算机电缆。与设置值、控制信息、代码参数等等有关的信息可以存储于存储器22中。光驱动器18可以经由接收器20接收信息，该信息是关于要由光源2借助于编码光传输的信息序列的。
尽管图1中描绘的编码光接收器4示出光敏二极管，但并不必需是这种情形，在过去的15年中，已经想出了多种多样的编码光系统。这些系统中的某一些系统利用专用传感器来接收编码光，其它的系统利用专门的摄像机，而另外的系统被设计成允许使用如可以在膝上型电脑、平板电脑、智能电话和其它消费者设备上找到的低成本卷帘式快门摄像机。
在追溯到1999年的US 6198230 B1中，提供了一种使用可见光来用于照明和数据传输两者的编码光系统的示例。更近的公布WO 2011086501 A1公开了不同的调制方法，其中数据传输使用摄像机来检测。WO 2012127439 A1进而又描述了一种调制技术，其中使用卷帘式快门摄像机来捕获数据。
定位便携式设备
在讨论基于摄像机图像定位便携式设备之前，重要的是认识到，三维空间内的坐标是参考某坐标系（frame）而定义的。为了组合来自相应的空间的信息，可能必须将坐标从一个坐标系变换到另一坐标系。四元数代表了将坐标从一个坐标系变换到另一坐标系的非常高效的方式。
图3C示出四个坐标系统并且图示了相应坐标系统内的坐标可以如何变换。这些变换实际上允许地图信息的相关（correlation），比如建筑物地图上的建筑物内照明器的空间方位与使用移动设备的图像传感器捕获的图像的相关。
地图坐标系（map frame）对应于地图数据的坐标系统，“真北世界坐标系（worldframe）”相对于在本文中为真北的参考方向，对应于世界坐标系中的坐标。电话“参考”坐标系对应于在例如时间t=0的“参考”实例处的坐标系统。当前电话坐标系（phone frame）进而对应于基于电话的当前方位和取向的坐标系统。
如在图3C中图示的，有可能使用四元数q_map_to_true，通过乘法，将坐标从地图坐标系变换到世界坐标系。
图3C示出有可能通过使用q_map_to_phone四元数乘法，乘以地图坐标，将来自地图坐标系的坐标映射到当前电话坐标系。使用此变换，照明器的空间方位可以被变换为当前电话坐标系的空间方位。此坐标变换进而可以被视为从地图坐标系到（真北）世界坐标系、从世界坐标系到电话参考坐标系以及从电话参考坐标系到当前电话坐标系的变换的组合。
以上面的方式，有可能把由电话捕获的比如照明器这样的物体的空间方位与诸如在地图坐标系中存在的照明器的多个空间方位之类的信息相关起来。可替换地，同样有可能将空间坐标从当前电话坐标系映射到地图坐标系。
为了图示本发明可以如何使用，我们使用如图3A和3B所示的基于针孔摄像机模型和简化的几何设置的简化示例。
图3A示出三维空间中的针孔摄像机的侧视图。此处使用的摄像机模型是针孔摄像机，其中入射到针孔的光在摄像机后部成像。该侧视图对应于经过经灯和摄像机针孔的垂直线的平面。一般而言，图像由各种像素组成，其中像素(0,0)对应于摄像机的光轴，并且对应于光源的像素对应于(p,q)。在我们的简化的设置中，我们假定，摄像机的取向使得q=0。根据p的值，我们可以计算θ的正切并且因此计算θ自身。
根据便携式设备的IMU，我们获得摄像机的取向信息（即，简化的设置中的phi），我们可以使用该取向信息将θ变换为地图坐标系。在我们的简化设置中，这对应于围绕与图3A的平面成直角的轴的旋转。我们计算θ' = θ + phi，所以我们达到图3B所示的情况。
根据图3B，直观的是，我们可以通过使用如Δr/(alt_lamp-alt_camera)=tan θ'的初等三角函数计算摄像机和灯之间的水平距离Δr。
以相似的方式，我们也可以处理其它的或更一般的摄像机旋转。
下面包括的是用于将摄像机的像素坐标变换为地图坐标系中的计量的短示范性matlab代码。
如通过使用上面的针孔摄像机示例所证明的，有可能使用来自便携式设备/摄像机的IMU的取向信息、由摄像机捕获的图像信息中的第一光源的方位、以及便携式设备的高度(alt_camera)的近似，来确定便携式设备相对于光源的位置。当被成像的光源的位置也被知道时，例如因为光源发射了它的方位，则所有信息可用于近似便携式设备的位置。
本领域技术人员应清楚的是，所计算的位置的准确度将受到取向信息的准确度和高度近似的准确度的影响。
取向的校正
实践中，可能发生以下情况，即：作为漂移的结果，传感器平台的北和地图上的北之间存在差异，如图10B指出的。
当多个编码光光源是单个图像中的图像时，这样的取向误差也可以被量化或减少。为了量化此误差，我们可以根据基于传感器平台的当前位置和取向，计算被图像传感器成像的光源/灯的理论位置。这些理论位置对应于地图坐标系中的灯的方位(x,y)，其位于我们认为它代表的灯的相同高度（即，典型地位于天花板高度）。
如在图10A中指出的，这样的计算可以为我们提供两个斑点（blob）；即对应于灯1的斑点 1和对应于灯2的斑点2。斑点和对应的灯之间的不同是取向中的误差的指示。通过使用此信息，我们可以校正由传感器平台造成的误差，更具体是来自在地图上的斑点对和灯对之间的角度的误差，我们可以一次地或更渐进地校正惯性传感器平台的前进方向。
当灯和/或灯中的光源具有细长的形状或者指示灯或光源取向的形状，可能有益的是，不但提供相应光源的方位信息，而且还提供取向信息。例如，在管灯（tube light）的情况中，管子的端部可以用于与图10A所示的两个分立的灯相似的效果。
如对本领域技术人员来说将清楚的，光源的取向信息可以以不同的方式编码，例如在管状光源的情况下，可以使用两个端点的3D方位把光源编码在建筑物数据库中。可替换的，重心方位和取向可以被编码，重心、取向和长度，或更替换地重心和光源形状轮廓可被编码。方位，比如重心的方位，是最相关的。可以添加诸如形状和/或取向之类的另外的信息。例如，在管状光源的情况下，重心将对应于所要求的方位参数，然而当也对取向编码时，光源的取向可以如上文描述那样用于校正漂移。
此外，当光源的物理尺寸已知时，例如由于光源的物理尺寸被编码于光源输出中，或者由于在光源类型信息被编码于光源输出中时光源的物理尺寸可以基于该光源类型信息而被检索，那么替换地，此信息可以在将光源标识符链接到方位和光源类型的光源数据库中提供。所捕获的图像中的光源基底面（footprint）可以与便携式设备的已知取向相组合地被使用来近似到光源的距离(Δl)。
在其最简单的形式中，Δl的近似可以基于在所捕获的图像中的光源基底面的最大对角线，或替换地可以与所捕获的图像中的像素的数量（即基底面的尺寸）相联系；例如，考虑天花板图像中的嵌顶灯具（downlighter）的尺寸；即光源越近，基底面越大。然而，对于具有更复杂的几何形状的光源来说，近似可牵涉到再现三维光源模型，以及比较图像基底面的尺寸与所再现的三维光源模型的尺寸。假定我们已经计算了距离Δr（见图3B），并且我们可以近似Δl（即，灯和摄像机之间的距离），那么我们可以使用基本几何学来近似便携式设备/摄像机的高。随后，新估计的便携式设备的高/高度可被用于计算便携式设备的位置。
粒子滤波
尽管有可能基于上面的方法计算便携式设备的位置，但最后得到的数据的质量取决于如从惯性测量单元获得的取向信息的精确度和确立合适的光源的成功与否。例如，在已经读取来自嵌顶灯具的编码光ID、已经定位光源的方位、以及已经计算便携式设备相对于嵌顶灯具的相对方位之后，便携式设备方位被获知为位于围绕编码光ID的圆上。当可靠的取向数据可用时，便携式设备的方位被获知；但是甚至在不准确的取向数据可用时，也可以随着时间的过去而使用多个测量来提供更可靠的指示，发明人已经发现，特别是当使用低成本IMU时，可以通过实现所谓的粒子滤波而大大改进结果。
在优选的实施例中，便携式设备的位置的计算还牵涉到粒子滤波。粒子滤波理论大约在1993年被提出并且从那时起已经大大完善。粒子滤波的理论分析被提供于在Aerospace and Electronic Systems Magazine第25卷第7版中发表的、由FredrikGustafsson所著的“Particle Filter Theory and Practice with PositioningApplications”中，其通过引用合并于本文中。
粒子滤波实际上设法为复杂问题的不同的可能解（粒子）建模并且基于与测量的现实的符合性评估这些解。在不存在解的先验知识的情况下，个体的粒子可以在解空间上随机地或均匀地分布。
经常地，粒子的集合可通过基于它们被感知的与现实的匹配来将权重归于相应的粒子而被评估。接下来，粒子被重新取样；即，考虑到时间的流逝而产生新粒子，例如通过考虑加速度数据和随后基于粒子的权重而对粒子重新取样；也就是，新的粒子基于相应的权重被分布在解空间上；即，在具有高权重/概率的旧粒子附近将会有更多的新粒子，并且在具有低权重/概率的旧粒子附近将会有相对较少的新粒子。替代分布粒子，该方法可以通过复制粒子来被简化。
当转化到本发明时，被保持的粒子每一个都反映便携式设备的可能状态；即，便携式设备的可能取向和该便携式设备的可能位置。在粒子滤波的加权阶段，通过比较相应的粒子状态与从IMU获得的取向信息和计算的位置信息而对多个粒子加权。总之，这对应于数据的评估，并且匹配越接近，即相应位置和相应取向之间的区别越小，则匹配越好并且权重越高。
在权重产生之后，基于计算的权重来对粒子重新取样。
为了合并计算取向和位置两者，发明人提出，或通过平均旧粒子的加权状态或通过平均重新取样的粒子的状态，将那些粒子合并计算到单个的状态值（即，取向和位置）中。
值得注意的是，为了移除异常值，有可能在粒子状态的子集上取平均，只考虑预先确定的数量的粒子。在极端情况下，该子集可以是单个元素，在此情况中，选择具有最高权重的粒子。
通过合并计算来自大数量粒子上的粒子滤波的取向和位置信息，可以获得愈加鲁棒的和时间愈加稳定的取向和位置。
通过使用图5所示的状态机，计算便携式设备的合并计算的取向和位置的特别有利的方式是可能的。图5中的状态机描述了被用来以鲁棒的方式初始化和更新粒子滤波的动作和事件。
ST1表示状态机的初始状态，在此阶段，便携式设备的取向和/或位置的任一个均没有“置信度”。在编码光标识符被检测到并且我们因此知道我们当前位置的时刻，我们跟随转移T5从ST1到ST2，到达“方位置信度”的状态，并且我们基于便携式设备的初始计算的位置，初始化一组粒子。典型地，这些粒子对应于等距的围绕编码光源的一组点（除非我们获得例如形式为单个图像中的多个光源的更多信息）。每当我们读取编码光标识符时，我们跟随转移T6，我们更新权重并对粒子重新取样，然后我们返回到ST2。
如果在该过程中，便携式设备被移动并且我们捕获到来自不同角度的编码光，那么取向置信度可以增加。如果预先确定的第一置信度阈值被超过，则我们跟随转移T7从ST2到ST4，ST4是“全置信度”的状态。只要我们处于状态ST4并且我们找到期望的光源（编码或非编码光），我们就跟随转移T9，即，我们更新权重并且对粒子重新取样，并且可选地排除异常值（其超过某距离阈值），然后我们返回到ST4。
如果在此阶段，位置置信度下降到低于预先确定的第二置信度阈值，例如因为我们看到与当前粒子相冲突的光源标识符，那么我们跟随转移T4并且向ST3移动，ST3是“取向置信度”的状态。从这里，当我们检测到恢复了我们的位置置信度的编码光标识符时，我们可以跟随T8并且再次回到ST4。在该过程中，我们也初始化粒子。如果在T4中，取向置信度下降到低于预先确定的第三阈值，那么我们跟随转移T3从ST4到ST2。
最后，如果在状态ST4中，位置置信度下降到低于预先确定的第二阈值，并且取向置信度下降到低于预先确定的第三阈值，那么我们跟随转移T2，其将我们带到ST1。
遵循上面的途径，经合并计算的状态，即便携式设备的经合并计算的取向信息和经合并计算的位置，对应于更新之后的所有粒子的平均方位和平均取向。
为粒子滤波校正取向信息
通过特别是在具有已知的三维位置的两个光源被成像在同一个图像中时，使从正被成像的多个光源中获得的信息相关，对定位过程的另外的改进是可能的。这将参考图4进一步解释。图4示出具有L1和L2两个编码光源的房间的顶视图。接下来，一个持有便携式设备的人进入该房间；便携式设备检测到编码光源L1，并且基于此确定了具有一定的不准确度的位置和取向。结果，我们可以具有可对应于我们的当前方位的多个高权重粒子，在此显现为O1、O2和O3。
如果在此阶段，我们检测到也具有已知方位的第二光源L2，我们可以基于上面的粒子将该光源的重心的方位投射回天花板上，导致三个点PL2,O1，PL2,O2和PL2,O3。如可见到的，PL2,O1的投影最接近于L2的已知方位，并且因此粒子O1表现为最佳候选。
上面提出的机制可以被用于在粒子方法中加权粒子。
多假设跟踪
多假设跟踪或MHT是对于上文描述的粒子滤波方法的替换。MHT为此目的使用假设。在MHT中，我们同时保持跟踪固定数量的M个最有希望的假设。在我们的室内定位的应用中，每一个假设Hi的特征在于某些假定，诸如当前使用的灯、地图上的当前方位、当前前进方向等等。如果新的图像帧（摄像机的图像）到达，这些假设中的每一个假设通过使用摄像机帧的视觉信息和电话的惯性平台的取向信息而被更新。
对于这些假设中的每一个假设，我们（例如通过将距当前灯相邻的灯考虑为候选）计算多个有希望的后代。对于这些后代中的每一个后代，计算一个度量，其中该度量反映了该后代是真实假设的概率。最后，基于它们的度量，我们选择最佳的M个后代，称作幸存者，作为下一轮的M个最有希望的假设。
每一个假设Hi的特征在于状态向量SMHT(i)，其中SMHT(i)保持跟踪Hi的重要变量，诸如：
-当前方位依据其而被计算的当前灯索引
-地图上的电话坐标
-在当前时间步调的Hi的度量
-各种卡尔曼（Kalman）滤波相关的变量，诸如当前方位、速度和P矩阵，以及
-当前前进方向校正（对应于水平面内的取向）。
卡尔曼滤波由预测阶段和测量校正阶段组成。在计算每一个后代的状态时，我们首先使用用于预测新方位、速度和前进方向校正的卡尔曼预测阶段。卡尔曼预测（特别是，使用当前的取向四元数的预测的灯方位）然后通过图像传感器和地图上已知的灯方位与实际测量的灯方位相比较。根据这些比较，我们可以为每一个后代在方位、速度和前进方向校正上做出卡尔曼测量校正。最后，根据预测和测量之间的差别，我们为每一个后代推导：
-相关于当前的后代对应于真实假设的概率的度量，
-用于校正陀螺仪漂移或用于校正改变的磁偏差的、对于当前前进方向的校正。
如上面提到的，我们选择后代的M个最佳（度量样的，metric-wise）的幸存者作为下一轮的假设。
当便携式设备和/或图像传感器的位置已经被确定时，此信息可以被用来向便携式设备的用户提供视觉反馈。在进行各种类型的视觉反馈之前，我们将首先讨论根据本发明的便携式设备和/或包括便携式设备的系统的结构方面。
参考图6A，此图示出根据本发明的示例性便携式设备100的前视图。该便携式设备包括用于向设备用户提供反馈的显示器120和前置的图像传感器110。
图6B示出便携式设备100的方框图。便携式设备100包括图像传感器110、IMU 150和第一处理单元140。该设备还包括连接到第一处理单元的存储器130。第一处理单元被安排成获得来自图像传感器的图像，其可以在总线105之上被传递。在应用中，图像传感器（或摄像机）可以被用来对光源成像，以使得能够例如通过对安装在天花板上的光源成像而定位便携式设备。
该便携式设备还包括IMU 150，其被安排成在总线125上将便携式设备的取向信息传送到第一处理单元140。当用于定位目的时，应该与从图像传感器获得图像基本同时地捕获取向信息。因为对于导航来说，存在与便携式设备的正常使用相关联的物理限制，所以“基本同时地”不必被解释为处于微秒范围内。优选地，在本文“同时地”指的是处于彼此的0.5秒内，或更优选的处于彼此的0.1秒之内。以此方式，由于运动而被引入的误差仍然在界限内。
该便携式设备还被安排成从编码光接收器获取来自编码光的光源具体信息。值得注意的是，此信息可以在图像传感器获取图像之前、同时或之后获取。有利地，用于传输光源具体信息的调制是使得其可以被图像传感器检测。替代地，编码光可以通过使用专用光敏传感器（未示出）而被检测。
第一处理单元140还安排成：基于取向信息、便携式设备或图像传感器的预先确定的高度估计、图像中的光源的位置、以及光源具体信息，计算便携式设备或图像传感器的位置。
一旦计算出便携式设备的位置，便携式设备就可以在显示器120上向便携式设备的用户呈现图像，指出便携式设备相对于例如相应的光源的位置和/或另外的特征。为了能够再现这样的图像，便携式设备可以在存储器130内包括地图信息，其可以用于在显示器上图形地可视化地图，并且其可以在便携式设备的所计算的方位处通过对应于便携式设备的视觉指示加以补充。
便携式设备100有利地是智能电话或平板电脑，其被适当地配置以用于计算便携式设备的位置。如果要使用标准智能电话或平板电脑硬件来检测位置，那么编码光需要被选择为与相应的硬件特征兼容。旨在实现这个的示范性调制类型是例如在还未公布的EP专利申请14155278.6（代理人案卷编号2014PF00151）中描述的，其通过引用合并于本文。
当使用上述调制时，常规的平板电脑可以被使用，其通过使用可下载应用（又称为“App”）而被配置成接收编码光。为此，便携式设备优选地被提供以无线收发器180，其可以是用于使用诸如互联网之类的无线链路145而连接到网络170的802.11、802.15.4、Zigbee、GPRS、UMTS或LTE收发器，并且便携式设备可以从应用商店190下载App。
参考图7，图7示出根据本发明的示例性系统的方框图。所描绘的系统包括便携式设备100，但是在此情况中，便携式设备位置的实际计算由主机设备200进行。所描绘的系统290被安排用于基于编码光定位便携式设备100，系统290包括：多个光源，其中该多个光源中的至少一个光源被安排成使用编码光传输光源具体信息。为了简便，在这里只描绘了单个的编码光源2。系统290还包括便携式设备100，其包括图像传感器110、IMU 150和第一处理单元140。该设备还包括通过存储器总线连接到该第一处理单元140的存储器130，该设备还包括用于与主机设备200通信的无线收发器180。
主机设备200进而同样包括用于与便携式设备通信的无线通信单元210。这些设备在网络170上连接，网络170可以是无线的网络，或者是混合的部分无线、部分有线的网络。主机设备还包括第二计算单元220，其通过总线225连接到存储单元230。
系统290被安排成从图像传感器110获得图像，并且与从图像传感器获得图像基本同时地从IMU 150获得取向信息。便携式设备100随后通过无线连接与主机设备200共享此信息。同样地，便携式设备100从编码光接收器——或者形式为图像传感器、或者借助专用的传感器——获得光源具体信息。再次地，此信息被传送到主机设备200，从而允许主机设备的第二处理单元220基于取向信息、便携式设备或图像传感器的预先确定的高度估计、图像中的光源的位置、以及光源具体信息来计算该便携式设备100的位置。
要注意的是，当图像传感器110和便携式设备100的取向之间的关系固定且已知时，正如对于在例如移动电话上牢固安装的图像传感器来说是通常的，那么便携式设备的取向可以被十分容易地变换为图像传感器的取向。
一旦便携式设备的取向和位置被知道，此信息就可以被用来向便携式设备的用户提供视觉反馈。图8A示出由使用本发明的应用显示的示例性图像，用于向便携式设备的用户提供关于她/他的相对于室内地点的地图信息的方位的视觉反馈。此图像示出房间的一部分的自上而下视图的示范性图像，在该房间中安装有1个编码光源和2个常规光源。图像中还有两件家具，其形式为固定安装的椅子310和固定安装的桌子320。另外，图像还示出了由带有“L”的圆圈指示的两个安装在天花板上的发光体，和由带有“C”的圆圈指示的一个编码光。
在示出的图像中，便携式设备的位置通过标有“U”的圆圈而可视化。另外，存在围绕编码光的虚线330，其突出了被用于计算当前方位的光源。值得注意的是，替换物是可能的，例如，形式为采用圆形色块形式的视觉指示符。值得注意的是，圆圈的颜色还可以用来向用户指示光源当前是否正被图像传感器成像；例如，亮绿色可以指示编码光当前正在被成像，而浅灰色可以指示发光体不再被成像。
图8B进一步示出实现的另外的图像，其中显示器上的图像被旋转成使得如果显示器被基本水平地持握并且便携式设备或图像传感器的所计算的取向正确，那么显示器上的地图的取向与物理世界对齐。这是特别有利的，因为它允许用户手中拿着便携式设备行走，并且便于编码光源或可以用于导航目的的其它光源的定位。
图8C示出实现的另外的图像，其中提供了视觉指示符，用于指示所确立的方位的可靠性。在所示图像中，可靠性低于图8B的图像中的可靠性，这被通过以下方式可视化，即：分裂圆和增加圆直径以便可视化降低的可靠性。值得注意的是，如果正使用粒子滤波/多假设跟踪，那么圆的尺寸可以被选择成与若干粒子/假设的方位一致。值得注意的是，替代分裂圆，例如通过随着减少的置信度而使方位指示符的颜色逐渐褪色为背景色，而存在替换项。
图8D示出另外的图像，其中方位指示符的形状不再是圆，而是改而使用了圆环片段，其与从所估计的取向信息的不准确度产生的可能的替代方位一致。
图9A示出了根据本发明的、关于使用编码光定位便携式设备的位置的方法的流程图。该方法包括步骤S410，用于从图像传感器获得包括编码光源的图像，并且基本同时地从IMU获得指示便携式设备或图像传感器的取向的取向信息。这后随步骤S420，用于获得光源具体信息，其形式或为允许检索编码光源的三维位置的标识符，或为编码光源的三维位置。最后的步骤S430涉及到基于取向信息、便携式设备或图像传感器的预先确定的高度估计以及光源具体信息来计算便携式设备或图像传感器的位置。
图9B示出根据本发明的、关于使用编码光定位便携式设备的位置的另外方法的流程图。该方法起始于使用如在上文参考图9A描述的步骤S410、S420和S430。所描绘的方法所针对的随后的步骤被用于校正动作，当在单个图像中发现多个光源时这些校正动作变为可行，其中多个光源的位置是已知的。因此，流程图的第四步骤S490包括检测来自图像传感器的第三图像中的多个光源，其中该多个光源被包括在第一或第二地图信息中。步骤S500包括基于多个光源的位置计算便携式设备或图像传感器的候选位置，由于两个光源在一个图像中可见并且两个光源的三维位置已知，所以有可能确定便携式设备的位置，并且从而例如针对罗盘偏差和/或陀螺仪漂移，校正下述之一：预先确定的高度估计或取向信息。
图9C示出根据本发明的、关于使用编码光定位便携式设备的位置的另外方法的流程图，其中与上文的图9A一致，一开始检测编码光源，且其中随后使用非编码光源继续进行便携式设备定位。
为此，该方法包括第四步骤S440，用于获得指示便携式设备在前进方向上的运动的前进方向信息；第五步骤S450，用于获得包括不传输编码光的光源的第二图像。该步骤后随另外的步骤S460，访问包括三维位置数据的第二地图信息，提供光源的另外的三维位置；和步骤S460，基于便携式设备或图像传感器的计算的位置和前进方向信息，确立被包括在第二地图信息中的候选光源；以及步骤S470，用于在第二图像中的光源对应于候选光源的假定下，使用下述项计算便携式设备或图像传感器的更新位置：
-取向信息，
-第二图像中的候选光源的位置，
-便携式设备或图像传感器的预先确定的高度估计，以及
-由第二地图信息标识的候选光源的位置。
值得注意的是，根据本发明的方法的另外的有利实施例在权利要求中描述。
对于本领域技术人员来说将清楚的是，上文提出的处理单元可以以各种各样的方式实现。这样的处理单元可以使用单个的专用集成电路(ASIC)或多个ASIC来实现，或者使用包括一个或多个数字信号处理器和/或加速器或甚至是通用处理器的可编程平台来实现。此外，尽管不必明确地提及，但这样的设备可以包括集成的存储器和/或可以利用外部存储器。特别地，当使用可编程硬件时，由处理单元执行的方法步骤可以部分在软件中和部分在硬件中实现。
在上面的描述中，创造性概念是参考用于编码光源检测的（低成本）摄像机的应用而描述的，但不应被限制于该应用。尽管大多数示例明显地涉及基于摄像机的实现，但另外要注意到的是，对于光变化敏感的其它传感器也被设想到。
上面已经描述了根据在所附权利要求中限定的本发明的光检测系统的实施例。这些实施例应该视为仅仅是非限制性的示例。如本领域技术人员所了解的，在本发明范围内的许多修改和替换性实施例是可能的。
要注意的是，为了本申请的目的，并且特别是对于所附权利要求，词语“包括”不排除其它元素或步骤，词语“一”或“一个”（“a”或“an”）不排除复数，这本身对本领域技术人员来说将是显而易见的。

Claims (15)

1.使用第一光源定位便携式设备的位置的方法，所述便携式设备包括图像传感器和惯性测量单元，所述方法包括：
- 从所述图像传感器获得包括第一光源的第一图像，并且基本同时地从所述惯性测量单元获得指示所述便携式设备或所述图像传感器的取向的取向信息；
- 确立所述第一光源的三维位置；并且
- 基于所述取向信息、所述第一图像内的所述第一光源的方位、所述便携式设备或图像传感器的预先确定的高度估计、以及所述第一光源的三维位置，计算所述便携式设备或图像传感器的位置。
2.根据权利要求1所述的方法，其中所述第一光源是编码光源，并且其中确立所述第一光源的三维位置包括：
从来自所述第一光源的编码光获得光源具体信息，其形式为：
- 允许检索所述编码光源的三维位置的标识符，或
- 所述编码光源的三维位置。
3.根据权利要求2所述的方法，其中所述光源具体信息是使得能检索所述第一光源的三维位置的标识符，并且其中所述计算包括：
- 访问包括三维位置数据的第一地图信息，将一个或多个编码光源的光源具体信息联系到相应的一个或多个位置，
- 基于下述项计算所述便携式设备或图像传感器的一个或多个候选位置：
- 所述取向信息，
- 所述第一图像内的所述第一光源的方位，
- 所述便携式设备或图像传感器的预先确定的高度估计，
- 所述第一图像内的所述光源的位置，以及
- 被包括在所述第一地图信息中的由所述光源具体信息标识的所述第一光源的位置。
4.根据权利要求1-3的任一项所述的方法，其中所述取向信息是基于多个模态，所述模态包括：
- 磁罗盘数据，
- 三维加速计数据，以及
- 三维陀螺仪数据，
并且其中相应源的贡献能基于一个或多个控制准则而加权。
5.根据权利要求1-4的任一项所述的方法，所述方法还包括
- 获得指示所述便携式设备在水平面内的取向的前进方向信息，
- 获得包括第二光源的第二图像，
- 访问包括三维位置数据的第二地图信息，从而提供光源的另外的三维位置，
- 基于所述便携式设备或图像传感器的计算的位置、所述第二图像中的所述第二光源的方位和所述前进方向信息，确立包括在所述第二地图信息中的候选光源，以及
- 在所述第二图像中的光源对应于所述候选光源的假定下，使用下述项计算所述便携式设备或图像传感器的更新位置：
- 所述取向信息，
- 所述第二图像中的所述第二光源的方位，
- 所述第二图像中的所述候选光源的位置，
- 所述便携式设备或图像传感器的预先确定的高度估计，以及
- 由所述第二地图信息所标识的所述候选光源的位置。
6.根据权利要求1、2或5所述的方法，其中使用粒子滤波来确定所述位置和取向，并且其中多个粒子被保持，每一个粒子反映了所述便携式设备的不同的可能状态，每一个状态包括所述便携式设备的可能取向和可能位置，并且其中所述方法牵涉到：
- 针对每一个粒子，通过将相应粒子的取向和位置与所获得的取向信息和所计算的位置相匹配，为所述粒子确定权重，其中当匹配更好时，所述权重更高；
- 基于所述权重，通过产生新的粒子，对所述粒子重新取样，其中在具有更高权重的粒子附近选择更大数量的新粒子，以及
- 通过对经加权的粒子或对经重新取样的粒子取平均，计算所述便携式设备或图像传感器的合并计算的位置和取向。
7.根据权利要求1、2或5所述的方法，其中保持多个假设，每一个假设反映所述便携式设备的不同的可能状态，每一个状态包括所述便携式设备的可能取向和可能位置，并且其中所述方法牵涉到：
- 针对每一个假设，通过将相应假设的取向和位置与所获得的取向信息和所计算的位置相匹配，而为假设确定度量，其中当匹配更好时所述度量更低；
- 将每一个假设分支成相似的后代，为每一个后代计算所述度量，并且为下一个迭代保留预先确定数量的幸存者；以及
- 基于相应的度量，通过挑选最佳假设，计算所述便携式设备或图像传感器的合并计算的位置。
8.根据权利要求1-7的任一项所述的方法，还包括：
- 在来自所述图像传感器的第三图像中检测多个光源，其中所述多个光源被包括在所述第一或第二地图信息中，
- 基于所述多个光源的相应位置，计算所述便携式设备或图像传感器的候选位置，以及
- 校正下述的至少一项：
- 预先确定的高度估计和/或
- 取向信息。
9.根据权利要求2所述的方法，其中所述光源具体信息包括所述第一光源的三维位置，并且其中所述计算包括：
- 基于下述项计算所述便携式设备的一个或多个候选位置：
- 所述取向信息，
- 所述第一图像中的所述第一光源的方位，
- 所述便携式设备或图像传感器的预先确定的高度估计，以及
- 被包括在所述光源具体信息内的所述第一光源的三维位置。
10.根据权利要求1-9的任一项所述的方法，还包括通过下述步骤来呈现与所述便携式设备或图像传感器的所计算的位置相对应的视觉指示符：
- 在所述便携式设备的显示器上呈现所述便携式设备的附近地区的二维地图以及，
- 提供与所计算的位置相对应的视觉指示符。
11.计算机程序产品，其能从通信网络下载和/或存储于计算机可读介质和/或微处理器可执行介质上，其特征在于，它包括用于实现根据权利要求1-10的任一项所述的方法的程序代码指令。
12.一种便携式设备，其被安排成使用第一光源定位其位置，所述便携式设备包括：
- 图像传感器，
- 惯性测量单元
- 第一处理单元，
所述第一处理单元被安排成：
- 从所述图像传感器获得第一图像，
- 与从所述图像传感器获得所述第一图像基本同时地从所述惯性测量单元获得取向信息；
- 当所述第一图像包括所述第一光源时，确立所述第一光源的三维位置；以及
- 基于所述取向信息、所述第一图像中的所述第一光源的方位、所述便携式设备或图像传感器的预先确定的高度估计、以及所述第一光源的三维位置，计算所述便携式设备或图像传感器的位置。
13.根据权利要求12所述的便携式设备，其中所述第一光源是编码光源，并且其中通过所述第一处理单元确立第一光源的三维位置包括基于来自所述第一光源的编码光信号而从编码光接收器获得光源具体信息，所述光源具体信息包括：
- 允许检索所述编码光源的三维位置的标识符，或
- 所述编码光源的三维位置。
14.一种被安排用于使用第一光源进行定位的系统，所述系统包括：
- 包括所述第一光源的多个光源，
- 便携式设备，其包括：
- 图像传感器，
- 惯性测量单元，
- 无线收发器，和
- 第一计算单元，
- 主机设备，其包括：
- 无线收发器，和
- 第二计算单元，
所述系统被安排成：
- 从所述图像传感器获得第一图像，
- 与从所述图像传感器获得所述第一图像基本同时地从所述惯性测量单元获得取向信息；
- 当所述第一图像包括所述第一光源时，确立所述第一光源的三维位置；以及
- 基于所述取向信息、所述第一图像中的所述第一光源的方位、所述便携式设备或图像传感器的预先确定的高度估计、以及所述第一光源的三维位置，计算所述便携式设备或图像传感器的位置。
15.根据权利要求14所述的系统，其中所述第一光源是编码光源，并且其中通过所述第一处理单元确立第一光源的三维位置包括基于来自所述第一光源的编码光信号而从编码光接收器获得光源具体信息，所述光源具体信息包括：
- 允许检索所述编码光源的三维位置的标识符，或
- 所述编码光源的三维位置。
CN201580017159.7A 2014-03-28 2015-03-19 基于编码光定位便携式设备 Active CN106462265B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14162494.0 2014-03-28
EP14162494 2014-03-28
PCT/EP2015/055779 WO2015144553A1 (en) 2014-03-28 2015-03-19 Locating a portable device based on coded light

Publications (2)

Publication Number Publication Date
CN106462265A true CN106462265A (zh) 2017-02-22
CN106462265B CN106462265B (zh) 2019-08-20

Family

ID=50473040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017159.7A Active CN106462265B (zh) 2014-03-28 2015-03-19 基于编码光定位便携式设备

Country Status (5)

Country Link
US (1) US10062178B2 (zh)
EP (1) EP3123289B8 (zh)
JP (1) JP6685234B2 (zh)
CN (1) CN106462265B (zh)
WO (1) WO2015144553A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019141177A1 (zh) * 2018-01-16 2019-07-25 京东方科技集团股份有限公司 基于维诺图的室内空间定位
CN110892280A (zh) * 2017-07-19 2020-03-17 昕诺飞控股有限公司 用于向设备提供物体的空间信息的系统和方法
CN110914698A (zh) * 2017-07-20 2020-03-24 昕诺飞控股有限公司 用于将信息定位在图像中位置的设备
CN110914701A (zh) * 2017-07-26 2020-03-24 昕诺飞控股有限公司 用于经由光源传送设备的存在的系统
US10769836B2 (en) 2017-12-27 2020-09-08 Industrial Technology Research Institute Method and apparatus for establishing coordinate system and data structure product
CN114136306A (zh) * 2021-12-01 2022-03-04 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140167A (zh) * 2015-10-02 2018-06-08 飞利浦照明控股有限公司 电子货架标签的基于摄像机的位置调试
CN108496057B (zh) * 2016-01-19 2022-06-28 昕诺飞控股有限公司 基于照明源定位
US10739142B2 (en) * 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US20190005677A1 (en) * 2017-06-28 2019-01-03 Intel IP Corporation Light source estimation
CN111052021A (zh) * 2017-09-07 2020-04-21 昕诺飞控股有限公司 室内移动物体定位系统
WO2019118969A1 (en) * 2017-12-17 2019-06-20 Ap Robotics, Llc Multi-dimensional measurement system for precise calculation of position and orientation of a dynamic object
CN110274594B (zh) 2018-03-14 2021-04-23 京东方科技集团股份有限公司 一种室内定位设备及方法
CN109358316B (zh) * 2018-11-05 2022-04-22 南开大学 基于结构单元编码和多假设跟踪的线激光全局定位方法
ES2934637T3 (es) 2019-02-18 2023-02-23 Signify Holding Bv Método y sistema para la comunicación mediante señales luminosas
JP7096449B1 (ja) * 2019-07-01 2022-07-05 シグニファイ ホールディング ビー ヴィ 存在検出のための１つ以上のパラメータを決定するための可視光信号の使用
JP7006714B2 (ja) * 2020-03-23 2022-01-24 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1171560A (zh) * 1996-05-20 1998-01-28 松下电器产业株式会社 光学编码器及位置检测方法
US20120203453A1 (en) * 2011-02-09 2012-08-09 SenionLab AB Method and device for indoor positioning
CN102967307A (zh) * 2012-11-23 2013-03-13 清华大学 基于室内照明的定位导航系统
US20140084050A1 (en) * 2012-09-21 2014-03-27 Symbol Technologies, Inc. Locationing using mobile device, camera, and a light source

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185417A (ja) * 2007-01-29 2008-08-14 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009060181A (ja) * 2007-08-29 2009-03-19 Nakagawa Kenkyusho:Kk 位置情報取得システム及び受信端末
US9229089B2 (en) * 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
US8994799B2 (en) * 2011-07-26 2015-03-31 ByteLight, Inc. Method and system for determining the position of a device in a light based positioning system using locally stored maps
CN106888357B (zh) * 2012-05-24 2019-09-17 松下电器（美国）知识产权公司 信息通信方法、信息通信装置及记录介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1171560A (zh) * 1996-05-20 1998-01-28 松下电器产业株式会社 光学编码器及位置检测方法
US20120203453A1 (en) * 2011-02-09 2012-08-09 SenionLab AB Method and device for indoor positioning
US20140084050A1 (en) * 2012-09-21 2014-03-27 Symbol Technologies, Inc. Locationing using mobile device, camera, and a light source
CN102967307A (zh) * 2012-11-23 2013-03-13 清华大学 基于室内照明的定位导航系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892280A (zh) * 2017-07-19 2020-03-17 昕诺飞控股有限公司 用于向设备提供物体的空间信息的系统和方法
CN110892280B (zh) * 2017-07-19 2023-11-28 昕诺飞控股有限公司 用于向设备提供物体的空间信息的系统和方法
CN110914698A (zh) * 2017-07-20 2020-03-24 昕诺飞控股有限公司 用于将信息定位在图像中位置的设备
CN110914701A (zh) * 2017-07-26 2020-03-24 昕诺飞控股有限公司 用于经由光源传送设备的存在的系统
US10769836B2 (en) 2017-12-27 2020-09-08 Industrial Technology Research Institute Method and apparatus for establishing coordinate system and data structure product
WO2019141177A1 (zh) * 2018-01-16 2019-07-25 京东方科技集团股份有限公司 基于维诺图的室内空间定位
CN114136306A (zh) * 2021-12-01 2022-03-04 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
CN114136306B (zh) * 2021-12-01 2024-05-07 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法

Also Published As

Publication number Publication date
US10062178B2 (en) 2018-08-28
JP2017519184A (ja) 2017-07-13
US20170178360A1 (en) 2017-06-22
JP6685234B2 (ja) 2020-04-22
EP3123289A1 (en) 2017-02-01
WO2015144553A1 (en) 2015-10-01
CN106462265B (zh) 2019-08-20
EP3123289B1 (en) 2019-02-27
EP3123289B8 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
CN106462265B (zh) 基于编码光定位便携式设备
Cortés et al. ADVIO: An authentic dataset for visual-inertial odometry
US11676307B2 (en) Online sensor calibration for autonomous vehicles
CN105358938B (zh) 用于距离或者位置确定的设备和方法
CN105371847B (zh) 一种室内实景导航方法及系统
US10162057B2 (en) Portable distance measuring device and method for capturing relative positions
CN108496057B (zh) 基于照明源定位
CN109724603A (zh) 一种基于环境特征检测的室内机器人导航方法
JP4142460B2 (ja) 運動検出装置
CN109059895A (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
JP2012507761A (ja) ポータブル・デバイス上での画像アノテーション
US20060120601A1 (en) System and method for map and position-determination enhancement
US9712234B1 (en) Location aware communication system using visible light transmission
CN104322052A (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
JP2014509384A (ja) 水平角を使用する位置決定
JP6383439B2 (ja) 認識されたオブジェクトを用いてセンサのキャリブレーションを行うための方法およびシステム
CN106133477A (zh) 根据光覆盖区对照明装置的光源的位置估计
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
Liu et al. Enabling context-aware indoor augmented reality via smartphone sensing and vision tracking
RU2571300C2 (ru) Способ дистанционного определения абсолютного азимута целевой точки
Liang et al. LedMapper: Toward efficient and accurate LED mapping for visible light positioning at scale
Liu et al. Simultaneous localization and mapping related datasets: A comprehensive survey
CN109636850A (zh) 面向室内智能灯下的可见光定位方法
CN111369622B (zh) 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
JP7291251B2 (ja) 環境地図管理装置、環境地図管理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Eindhoven

Patentee after: Signify Holdings Ltd.

Address before: Eindhoven

Patentee before: Philips Lighting Holdings