CN105378503B - 确定取向 - Google Patents

确定取向 Download PDF

Info

Publication number
CN105378503B
CN105378503B CN201480037885.0A CN201480037885A CN105378503B CN 105378503 B CN105378503 B CN 105378503B CN 201480037885 A CN201480037885 A CN 201480037885A CN 105378503 B CN105378503 B CN 105378503B
Authority
CN
China
Prior art keywords
light
light source
camera
image
symmetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480037885.0A
Other languages
English (en)
Other versions
CN105378503A (zh
Inventor
K.J.G.霍尔特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48747390&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105378503(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN105378503A publication Critical patent/CN105378503A/zh
Application granted granted Critical
Publication of CN105378503B publication Critical patent/CN105378503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/165Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21SNON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00Lighting devices intended for fixed installation
    • F21S8/04Lighting devices intended for fixed installation intended only for mounting on a ceiling or the like overhead structures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了一种用于使用在基于照相机所采集的天花板可安装照明器的图像确定照相机的取向中的天花板可安装照明器。天花板可安装照明器包括光源,该光源具有其中它发射光的接通状态和其中它不发射光的关断状态,并且具有带有关断状态中的对称性的形状。天花板可安装照明器还包括控制器,其被配置成控制光源以发射具有破坏所述对称性的照明效果的接通状态中的所述光。设备包括从照相机接收光源的图像,并且通过基于光源的图像而执行几何视角计算来确定照相机相对于光源的取向。通过检测由光源发射的光中的非对称性来解决取向中的歧义性。

Description

确定取向
技术领域
本公开涉及基于由照相机所采集的光源的图像来确定照相机相对于该光源的取向。
背景技术
存在用于使诸如移动电话或者平板电脑之类的设备确定其位置的若干方式。常规技术包括使用诸如GPS(全球定位系统)之类的基于卫星的定位系统或者基于在设备与蜂窝网络的多个基站之间传递的信号的三边测量。
在WO 2013/016439中描述了另一技术。根据该技术,给定位置中的多个光源各自以调制到从该光源发射的光中的编码光信号的形式广播相应的标识符。然后,诸如移动电话之类的设备可以使用其内置照相机读取编码到来自这样的源的光中的标识符,并且该标识符可以被用于查找光源的坐标。因此,设备可以确定其粗略地处于该光源的坐标的附近。当多个源在其所有标识符已知的情况下出现在照相机的视场中时,那么可以执行三角测量的形式以确定照相机并且从而设备的更细粒度的位置。
发明内容
照相机常常可能仅能够看到单个光源,例如当在室内并且面向上使用时,和/或因为内置到像电话或平板电脑这样的设备中的典型照相机可能仅具有有限的视场。在这样的情况中,这意味着不能执行光源之间的三角测量。将期望的是,提供不一定依赖于处于视图内的多个不同光源的可替换技术。
如本文所公开的,这可以使用分析如出现在所采集的图像中的给定照明器的视角失真形状的几何视角(perspective)计算来实现。然而,一种阻碍在于典型的光源往往具有对称形状,例如在诸如光源将安装于其上的天花板之类的表面的平面中对称。例如,形状可以具有旋转对称性(旋转对称的阶是二或更多)或者镜像对称性(轴对称)。这将歧义性引入计算,例如正方形从四个不同的角度看起来相同。因此,基于常规照明器,编码光检测器将需要在其视场中具有至少两个照明器以便从图像知晓其取向。根据本公开,可以将光效果引入到由光源发射的光以便破坏对称性,优选地对人眼而言不可感知的效果,诸如以高频调制到光中的非对称编码光分布。当光源的图像由照相机采集时,几何视角计算可以在图像上执行以基于非对称光分布确定照相机相对于光源的取向。
因此,根据本文所公开的一方面,提供了一种用于使用在基于照相机所采集的照明器的图像确定照相机的取向中的照明器。照明器包括具有其中它发射光的接通状态和其中它不发射光的关断状态的光源,光源具有带有对称性的形状并且在关断状态中看起来具有所述对称性。照明器还包括被配置成控制光源以发射具有破坏所述对称性的照明效果的接通状态中的所述光的控制器。
优选地,所述照明效果对人类视觉而言不可感知并且对照相机而言可感知。光源因而发射具有对人类而言对称的外观的光,而照明效果在由照相机检测到时破坏对称性。
在优选应用中,照明器用于安装在诸如天花板、地板或墙壁之类的限定平面的表面上,并且对称性处于所述表面的平面中。在实施例中,用于破坏对称性的照明效果在所述表面的平面中不具有对称性。
为了实现非对称性,可以将光源分成非对称区段,并且控制器可以被配置成通过从不同区段不同地发射光来产生所述照明效果。
控制器可以被配置成使用编码光产生所述照明效果。
控制器可以被配置成通过从每一个所述区段不同地发射编码光或者从一个区段发射编码光而同时从另一区段发射非编码光来产生所述照明效果。
根据本文所公开的另一方面,提供了一种用于基于从照相机所接收的图像数据来确定照相机的取向的设备,图像数据包括发射光并且具有带有对称性的形状的光源的图像。设备包括被配置成通过基于光源的图像而执行几何视角计算来确定照相机相对于光源的取向的图像分析模块。图像分析模块被配置成通过检测破坏所述对称性的光源所发射的光中的照明效果来解决取向中的歧义性。
取向是指照相机从其面对光源的方向的任何度量。例如,可以根据适合的方向参考系中的两个角度或者单位向量来表达方向。适合的方向参考系的一个示例是其中正Z轴面向上并且正X轴面向地平线上的北方的3D坐标系。适合的方向参考系的另一示例是将灯或灯壳的几何中心当作(0,0,0)原点坐标并且将灯或灯壳外部的两个预确定的物理标记当作例如(1,0,0)单位向量和(0,1,0)单位向量点通过的点的3D坐标系。在实施例中,几何视角计算还可以基于光源的所采集图像来确定照相机相对于该光源的距离。距离是坐标系中的照相机与光源之间的空间幅度的度量。组合地,取向和距离给出照相机的位置的度量,例如,其可以根据相对于(方向)参考系中的固定点的向量或者坐标来表达,要么是相对于光源要么是平移到某个其他参考点或参考系。因此,图像分析模块可以被配置为一起使用所确定的距离和取向来确定照相机相对于所讨论的光源的位置。例如,相对于光源的位置可以被确定为3D(x,y,z)坐标系中的坐标,其中灯处于位置(0,0,0)处,以米为单位,负Z轴指向下,并且正X轴指向地平线上的北方。
在另外的实施例中,如果设备还具有地图或地球上的光源的绝对位置的知识,则其还可以通过将关于光源的绝对位置的信息与照相机相对于光源的位置组合来确定照相机的绝对位置。该确定还可能要求例如以灯的几何形状为根据的方向参考系关于地图或者地球的北/南/东/西/上/下参考系如何取向的知识。
在优选的应用中,设备包括照相机,照相机安置在设备中或者物理地安装在设备上,或者以其他方式基本上共同定位和附接以便与设备一同移动。例如,设备可以是诸如移动电话或者平板电脑之类的移动终端。在这样的实例中,可以假定设备的取向基本上是照相机的取向。然而,不排除设备与设备分离,例如通过接线、无线链路或者网络连接,并且期望的是远程地确定照相机的取向。
尽管可以可选地使用多个光源的图像,但是技术不依赖于处于视场内的多个光源并且可以基于来自一个上部的任何数目光源来确定距离信息。
根据本文所公开的另外的方面,可以提供用于执行本文所公开的照明器和/或设备的操作的对应方法和/或计算机程序产品。
附图说明
为了更好理解本文所公开的实施例并且示出其可以如何付诸实践,以示例的方式对附图做出参考,其中:
图1示意性地图示了诸如包括至少一个照明装置的房间之类的空间;
图2是采用编码光传输的照明装置的示意性框图;
图3是具有用于采集照明装置的图像的照相机的设备的示意性框图;
图4示出了安装在天花板上的照明装置的图像,其与如出现在图像中的照明装置的视角失真形状的示意性图示重叠;
图5示意性地图示了安装在诸如房间之类的空间中的照明装置的透视图;
图6给出了图5的照明装置的示意性自上而下(或者自下而上)视图;
图7示意性地图示了具有对称破裂剖面的光源;
图8示出了安装在天花板上的照明装置的图像,其与类似于图7的那些的对称破裂剖面的示意性图示重叠;
图9示意性地图示了具有对称破裂剖面的另一光源;
图10示意性地图示了具有对称破裂剖面的又一光源;
图11示意性地图示了具有用于创建对称破裂剖面的可替换装置的光源;以及
图12示意性地图示了具有用于创建对称破裂剖面的另一可替换装置的光源。
具体实施方式
以下描述具有照相机的设备可以通过其基于编码光检测与几何分析的组合检测其取向、地点或位置的技术。还描述了对于基于编码光的定位特别有益的编码光启用的照明装置。技术包括对编码光解码以获得源的标识符(ID)、获得与光源相关联的物理尺寸、以及使用几何视角计算来从照相机图像中的光源的外观确定照相机的位置。在优选的实施例中,编码光被用于使光源与照相机非对称地出现,同时其保持与人眼对称的外观。由于光源与人类用户在外观上对称,同时其以非对称方式发射编码光,因而这可以在不中断照明的用户体验的情况下改进其作为位置信标的有用性。在实施例中,以下所公开的教导甚至适用于其中仅具有对称外观的单个编码光源在照相机的视野内的情况。
图1示出了其中可以部署本文所公开的实施例的示例空间或者环境5。例如,空间5可以包括办公室、家、学校、医院、博物馆或者其他室内空间的一个或多个房间和/或走廊;或者诸如停车场、街道、体育场等等的室外空间;或者诸如露台或者车辆内部之类的另一空间。空间5安装有照明系统,其包括以一个或多个照明装置的形式的一个或多个照明设备4。出于说明性目的,示出了三个照明装置4i、4ii和4iii,但是将理解到,可以存在其他数目。可以在中央控制下或者作为分离的独立单元而实现照明装置4。在空间5中还存在用户终端6,优选地诸如智能电话或者平板电脑之类的移动设备。
图2给出了如可以用于实现一个或多个照明装置4中的一个、一些或全部的照明装置的框图。照明装置4包括光源12,其包括诸如LED、LED阵列或荧光管之类的一个或多个发光元件。照明装置4还包括耦合到照明源12的驱动器10和耦合到驱动器10的控制器8。控制器8被配置为将信号输出给驱动器10以便驱动光源12来发射期望的光输出。控制器8可以以代码的形式实现,该代码存储在计算机可读存储介质或媒体上并且被布置为在包括一个或多个处理单元的处理器上执行。可替换地,不排除在诸如FPGA之类的可重新配置的电路或者专用硬件电路中实现控制器8中的一些或全部。控制器8可以本地实现在照明装置4处或者可以与一个或多个其他照明装置4共享的中央控制器处,或者这些的组合。一般地,部件8、10和12可以或可以不集成到相同外壳中。
控制器8被配置为控制由光源12所发射的光以利用编码光分量进行调制。编码光是指借以将信号嵌入由照明装置所发射的可见光中的技术。因此,光包括用于光照诸如房间之类的目标环境(典型地,光的主要目的)的可见光照贡献和用于将信息提供到环境中的嵌入式信号二者。为了做到这一点,以一个或多个特定调制频率(典型地调制对于人类视觉不可觉察的足够高的频率)调制光。例如,调制可以采取正弦、矩形波或者其他波形的形式。典型地,调制频率是指调制的单个或者基本频率,即波形在其之上重复的时段的频率。在一些最简单的情况中,信号可以包括调制到来自给定照明装置的光中的单个色调。在其他情况中,可以将包括更复杂的数据的信号嵌入光中。例如,使用频率键控,给定照明装置可操作为在两个(或两个以上)不同的调制频率上发射并且通过在不同的调制频率之间切换而传送数据位(或者更一般地符号)。在实施例中,相同空间5中的多个照明装置4中的每一个可以被布置为发射利用充当相应照明装置的标识符(ID)的不同相应编码光分量调制的光,使得可以基于ID区分光所来自的照明装置4。ID至少在特定空间5(例如在特定房间或建筑)中的那些照明装置之中是唯一的。在编码光分量是单个色调的情况中,不同的照明装置4可以被布置为发射具有充当ID的不同相应调制频率的光。可替换地,可以例如使用频率键控将ID编码在数据中。在另外的实施例中,可以将可替换的或者附加的数据编码到光中。
图3给出了移动设备6的框图。设备6包括具有二维图像采集元件的照相机14和耦合到照相机14的编码光检测模块15。编码光检测模块15被配置为处理由图像采集元件所采集的信号并且检测从其采集图像的光中的编码光分量。设备6还包括耦合到照相机14的图像分析模块16,其被配置为基于由该照相机14所采集的光源的图像来确定照相机14相对于一个照明装置4i的光源12的位置。而且,设备可以包括耦合到图像分析模块16的位置确定模块17,其被配置为将从图像分析模块所确定的位置与光源4i的位置组合以确定照相机14的绝对位置。这可以是相对于地球表面的绝对地理位置或者诸如城镇地图或者建筑平面图之类的地图上的绝对位置。如果照相机14安置在与设备相同的外壳内或者物理地安装在其外壳上以便与设备6一同移动(与仅通过比如说柔性电缆附接相反),那么可以将照相机14的位置或地点当作设备6的位置或地点。
编码光检测模块15、图像分析模块16和/或位置确定模块17可以以代码的形式实现,该代码存储在计算机可读存储介质或媒体上并且被布置为在包括一个或多个处理单元的处理器上执行。可替换地,不排除在诸如FPGA之类的可重新配置的电路或者专用硬件电路中实现这些部件中的一些或全部。一般地,部件14、15、16和/或17可以或可以不集成到相同外壳中。而且,不排除编码光检测模块15(唯一地或者附加地)耦合到与照相机14不同的编码光灵敏检测器,例如第二照相机还可用于移动设备6或者光电二极管可用于移动设备6,并且这可以用作以下检测编码光的可替换方式。
一个或多个照明装置4被配置为将光发射到空间5中并且从而光照该环境的至少一部分。移动设备6的用户能够将设备的照相机16指向一个照明装置4的光源12,比如说以图示的方式标示4i的照明装置。因此,照相机14可以采集光源12的图像。如本文所描述的光源12可以是指包括一个或多个发光元件的照明装置4(例如4i)的可见部分。这将具有特定形状,例如正方形、长方形或圆形。例如,这可以是单个暴露发光元件的形状(例如,荧光管的形状)、发光元件的阵列(例如,LED的阵列)的形状、一个或多个发光元件安置在其后面的扩散材料的形状、或者一个或多个照明元件的装配或周围的形状(光源的形状不严格地限于仅被视为一个或多个单独的照明元件的形状,尽管这是一种可能性)。当由照相机14从远处并且典型地还以某一角度观看,然后投影到图像采集元件的二维平面上时,根据视角的效果,光源12的形状(其大小和/或相对比例)看起来失真。例如,如果安装在天花板上,则可以从下面观看光源,例如参见图4。
图像分析模块16可以使用该视角失真形状以基于几何视角计算确定照相机14与光源12的距离。图像分析模块16还可以在视角失真形状上执行几何视角计算以便确定照相机14相对于光源12的取向(例如,作为照相机的视场的中心轴线的向量或者二维或三维角度)。距离和取向的组合可以用于给出照相机14的位置(例如,地板和/或天花板的平面中的二维位置或者甚至三维位置)。在实施例中,这可以被当作设备6自身的位置。用于分析诸如正方形、长方形和圆形之类的几何形状的视角失真外观的适合的计算的细节对于技术人员而言将是已知的。
然而,为了执行该计算,图像分析模块16将要求关于光源12的一个或多个实际尺寸的一些信息,以便将实际尺寸与如其在光源12的所采集图像中出现的尺寸相比较。根据本公开,可以基于嵌入来自由照相机14观看的照明装置4i的光源12的光中的编码光信号而获得该信息。
在实施例中,这可以基于嵌入来自相应光源12的光中的照明装置4(例如4i)的ID而完成。在该情况中,ID可以用于查找适合的数据仓库中的相应光源12的一个或多个所要求的尺寸,所述数据仓库包括将ID映射到关于(多个)对应光源尺寸的信息的数据库或者查找表。例如,数据仓库可以预存储在设备6自身内的本地存储中,或者可以实现在诸如本地网络或者像因特网这样的广域网之类的网络上。设备6的编码光检测模块15处理由照相机所采集的光样本以便检测编码到光中的ID,并且然后使用诸如本地无线连接(例如,Wi-fi或者蓝牙)或者蜂窝无线连接(例如,3GPP)之类的适合的网络接口来访问数据仓库。因此,编码光检测模块15能够将ID提交给数据仓库,接收回关于(多个)对应光源尺寸的信息并且将该信息传递给图像分析模块16以用于在视角计算中使用。
在可替换的或者附加的实施例中,控制器8可以被配置为将关于相关光源12的一个或多个尺寸的信息明确地编码到由相应照明装置4i的光源12所发射的光中。在该情况中,编码光检测模块15能够直接从由相关光源12所发射的光检索信息,并且将该信息传递给图像分析模块16以用于在视角计算中使用。
在任一情况中,有利地,设备6基于照相机所观看的相同对象的相同图像而获得光源12的(多个)实际尺寸以便获得(多个)明显的视角失真尺寸。
关于光源12的一个或多个尺寸的信息可以足以确定照相机14距该光源12的距离。例如,信息可以包括光源12是圆形的指示以及其半径、直径和圆周的指示。这将允许图像分析模块16确定距光源12的距离。类似地,如果光源12是正方形,那么可以从正方形的侧边的指示和形状是正方形的指示来确定距离,或者如果光源12是长方形,那么可以从两侧或一侧和两侧的比例的指示以及形状是长方形或者矩形的指示来确定距离。如果针对特定环境预先设计,则图像分析模块16可以甚至被预配置为假定形状是比如说圆形或正方形,或者可以被配置为从视角失真图像估计形状的类型,在该情况中,作为最低限度,图像分析模块16仅需要提供有例如半径或者边缘的单个测量结果。
然而,应当指出,许多光源的形状将具有对称性。例如,形状可以具有旋转对称,即至少为二的旋转对称的阶。旋转对称的阶是在关于某个轴旋转通过全360度圆周或等效地关于围绕该轴全360度观看时形状将匹配或者重复自身的次数。阶1不表示旋转地对称。注意,这也不意指光源12实际上必须能够旋转,仅意指如果旋转或等效地从不同角度观看,则形状将具有该性质。光源的形状还可以或者可替换地具有镜像对称(还被称为反射对称或者线对称)。即,如果关于对称的一个或多个线反射或翻转,则形状将与自身相同(再次注意,这不一定意指光源实际上必须物理地翻转,仅意指如果翻转,则形状将具有该性质)。在典型的应用中,光源12将安装在诸如天花板或者可能地墙之类的表面上,并且对称性是该表面的平面中的对称性。如果期望知道照相机14相对于光源的取向,则这样的对称性将引入歧义性到计算中。
为了说明这一点,如果如图4中所示的长方形照明装置发射具有嵌入其中的其ID的编码光,则具有如图4中所示的视点的编码光检测器将能够(从ID)确定其靠近哪个照明装置。假定编码光沿着其光源的长度基本上一致地发射,那么就涉及编码光检测器而言,照明装置将具有180度旋转对称。类似地,正方形照明装置将具有90度旋转对称,或者圆形照明装置将从任何角度看起来相同。因此,基于该信息,检测器可以“知道”其靠近哪个照明装置并且潜在地其离照明装置多远,但是将不知道其面向哪个方向。典型地,因为光源轮廓具有对称外观,所以存在光源轮廓从其将看起来这样的房间中的多个候选位置。针对图5和6中示意性地90度旋转对称的情况图示这一点。给定图4中的图像数据和光源12的(多个)已知尺寸,检测器可以将它从其观看光源的可能位置的数目限制为关于光源12的房间中的四个位置(或者取向),由图5(透视图)和6(自上而下视图)中的A、B、C和D中指示。对于镜像对称光源而言,一般地,将存在不能消除歧义的两个位置,例如图5中的位置A和B。
因此,在没有其他修改的情况下,编码光检测器将需要具有其视场中的至少两个这样的照明装置以便从图像知道其取向,或者以其它方式取向将必须由可替换装置获得。
为了解决这一点,本公开提供在关闭时对称但是在开启时非对称地发射光的光源。为了实现这一点,光源可以分为不同的区段,其不同地发射光以便破坏对称性。优选地,非对称性对于照相机14是可察觉的,但是对于人类视觉是不可察觉的。这可以实现为具有编码光的非对称分布的编码光启用的照明装置。
图8图示了编码光启用的照明装置——从内部区段内发射的光(由叠加在图像上的内部矩形线示意性地示出)与由照明装置所发射的光的其余部分是可区分的。
例如,在具有两个或两个以上管的照明装置中,管可以被布置为发射相互不同的编码光,或者仅一个管发射编码光。许多其他实施例是可能的,例如如以下所讨论的。因此,编码光检测模块15可以将该信息传递给图像分析模块16,其由于缺乏对称性而因此可能在几何视角计算中明白地确定照相机的取向——甚至是仅一个照明装置4i处于其视场中时。
考虑如由面向上的智能电话类型照相机所采集的图4和图8中的灯的图像。在这两个图像中,仅单个(接通的)光源在视场中是可见的。这些光源发射以编码光的形式的ID。位置确定如下进行。
图像分析模块16分析图像以定位光源12。而且,编码光检测模块15对由光源12所发射的编码光解码以获得该光源的ID。编码光检测模块15使用ID获得几何数据,其可以包括光源12(的可见部分)的形状和可选地源在建筑中的位置。在可替换的实施例中,几何数据直接编码在编码光中。总之,编码光检测模块15将几何数据传递给图像分析模块16。图像分析模块16识别图像中的形状。例如,可以利用边缘检测识别轮廓,例如参见叠加在图8中所示的图像上的外线。
通过使用轮廓的已知大小并且在其出现于图像中时将其匹配到视角失真形状,可以确定到光源的距离和角度。典型地,因为光源轮廓具有对称外观,所以存在光源轮廓从其将看起来这样的房间中的多个候选位置。此处,轮廓具有2个对称轴,这导致房间中的四个可能位置A、B、C和D。参见图5和6。
为了在这些可能的位置之间消除歧义,图像分析模块16使用光源配备有破坏对称性的编码光生成装置这一事实。例如,如图7(光源的底视图)中所示,源的发光部分被分为两个分区或者区段1和2。区段1发射编码光,而区段2不发射,或者发射另一编码光代码,或者相同的代码但是以使得可以将两个区段区分的方式进行编码。为了消除歧义,确定编码光发射的一个区段的位置或形状,例如参见叠加在如图8中所示的图像上的内线。将这与已经确定的其他几何方面相比较。最终结果是,可以明白地确定照相机关于光源12的位置和因此房间(并且通过扩展,建筑)中的设备的位置。
为了关于哪个不同的非对称视图对应于哪个原本有歧义的方向而通知图像分析模块16,关于照明器4i的非对称配置的信息还可以基于编码光而传递到设备6。例如,编码光检测模块可以在其发射的编码光中检测照明器4i的ID,并且使用它来查找将ID映射到尺寸的本地或远程数据仓库中的不同区段1,2的某些特征尺寸(类似于关于获取照明器的(多个)总体尺寸所描述的技术)。在另一示例中,信息可以显式编码到从照明器4i发射的编码光中,并且由编码光检测模块15直接从编码光检索。可替换地,图像分析模块16可以预配置有关于预期非对称性的信息,如果其意图与照明器的特定设计一同工作或者在特定环境中工作的话。
图9和10示出了用于实现具有圆形发射开口的光源中的非对称编码光的可替换选项,以及因此旋转对称。图9示意性地图示了从较宽圆形光源的中心偏移的内部圆形区段1,即具有不同的中心。第二区段2是未由区段1占据的圆形光源区域的其余部分。在图10中,区段1是圆的楔形或者“扇形”,并且区段2是圆的其余部分。与图7的示例类似,两个区段1、2中的一个发射编码光而另一个不发射,或者两个区段不同地发射编码光。
图11给出了另一示例。此处,图示了LED照明装置的下侧,其中光扩散材料被切除和单独的LED元件被示为小圆18。LED分为不同的非对称区段。可以利用编码光驱动分区1中的LED,而可以利用“正常”光或不同地编码光驱动分区2中的其余LED。
在另一示例中,图12示出了具有改型编码光发射器(小正方形)19的荧光管照明装置的下侧。通过将发射器放在非对称位置中,这提供实现非对称编码光输出的另一方式。
一旦已经确定照相机6的距离和取向,则位置确定模块17可以使用该信息来微调照相机16或设备6的位置估计。例如,位置确定模块可以被配置为通过获得所观看的照明装置4i的位置来获得设备的绝对位置的粗略估计。例如,这可以通过从由该照明装置的光源12所发射的编码光检测照明装置4i的ID并且查找将ID映射到照明装置坐标的数据仓库中的照明装置的ID而完成,或者可以将坐标直接编码到由该照明装置的光源所发射的编码光中。然后,相对于照明装置4i的设备6的位置可以与照明装置的绝对位置组合,例如添加向量,以获得设备6的绝对位置。
这样的技术可以例如适于诸如基于位置的广告或者人类或者机器人的室内导航之类的位置系统。
将理解到,已经仅以示例的方式描述以上所阐述的实施例。
一般地,可以相互独立或一起使用距照明装置的距离和相对于照明装置的取向的确定。而且,信息不是必须用于最终确定照相机16或设备6的绝对位置。例如,仅从光源的图像获得照相机16的取向可以是有用的。例如,设备可以从诸如GPS之类的其它构件确定其坐标但是不具有其取向的度量,在这种情况下,其可以从光源12的图像确定取向并且将它与GPS坐标组合,例如以向地图应用上的位置指示符添加方向箭头。在另一示例中,比方说在室内导航应用中,用户可能只是希望知道沿走廊走哪条路。另外,在其中非对称光发射用于破坏光源中的对称性的情况下,这可以使用除编码光之外的其它措施来实现。例如,光源12的不同区段可以布置成以非对称方式发射不同偏振的光。另外,非对称光发射破坏所有对称性(例如旋转对称的所有阶)可能并不总是必要的。例如,如果光源是矩形的并且仅希望能够分辨出照相机16或设备6沿走廊面对哪条路,则光可以仅破坏沿走廊长度的对称性。在以上示例中,已经将对称性描述为通过将光源分成不同空间区段1或2来破坏。在另外的实施例中,想法不限于将光源分成仅两个不同区段或者所说明的特定配置,并且可以基于使得能够解决所不希望的歧义性的任何数目区段而使用其它配置。另外,在其它实施例中,想法不限于使用光源的不同空间区段来破坏对称性。例如,光源可以被配置成以不同角度发射不同光,例如发射编码有沿走廊的一个方向的一个代码的光和编码有沿走廊的另一方向的另一代码的光。
在另外的实施例中,分析还可以使用出现在图像中的其他对象以进一步改善几何视角计算。例如,其可以在其计算中使用天花板(例如,具有可见边缘的天花板)的其他对象的几何特征。
通过研究附图、说明书和随附权利要求书,本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中,词语“包括”不排除其他元件或者步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或者其他单元可以实现权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定措施的仅有事实并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在诸如连同其他硬件一起或者作为其一部分提供的光学存储介质或者固态介质之类的适合的介质上,而且可以以诸如经由因特网或其他有线或无线电信系统之类的其他形式分布。权利要求中的附图标记不得被解释为对范围的限制。

Claims (15)

1.一种用于光照环境并且用于在基于照相机所采集的天花板可安装照明器的图像来确定照相机(14)的取向中使用的天花板可安装照明器(4i),天花板可安装照明器包括:
具有其中其发射光的接通状态和其中其不发射光的关断状态的光源(12),光源具有带有对称性的形状,并且光源在关断状态中看起来具有所述对称性;
控制器(8),其被配置成利用所述光源的不同区段中的不同调制来控制所述光源以发射具有照明效果的接通状态中的所述光,所述照明效果具有非对称照明分布。
2.权利要求1的天花板可安装照明器,其中所述照明效果对人类视觉而言不可感知并且对照相机(14)而言可感知,光源(12)布置成发射具有对人类而言可见的所述对称性的所述光,而非对称照明分布由照相机来检测。
3.权利要求1或2的天花板可安装照明器,其中所述天花板可安装照明器用于安装在限定平面的表面上,对称性处于所述表面的平面中。
4.权利要求3的天花板可安装照明器,其中照明效果在所述表面的平面中不具有对称性。
5.权利要求1或2的天花板可安装照明器,其中控制器(8)被配置成使用编码光来产生所述照明效果。
6.权利要求1或2的天花板可安装照明器,其中将光源(12)分成非对称区段,并且控制器(8)被配置成通过从不同区段不同地发射光来产生所述照明效果。
7.权利要求6的天花板可安装照明器,其中控制器(8)被配置成通过从每一个所述区段不同地发射编码光或者从一个区段发射编码光而同时从另一区段发射非编码光来产生所述照明效果。
8.一种用于基于从照相机所接收的图像数据来确定照相机的取向的设备,包括:
用于从照相机(14)接收图像数据的输入,图像数据包括发射光并且具有带有对称性的形状的光源(12)的图像;
图像分析模块(16),其被配置成通过基于光源的图像而执行几何视角计算来确定照相机相对于光源的取向;
其中图像分析模块被配置成通过检测光源所发射的光中的照明效果来解决取向中的歧义性,所述照明效果破坏所述对称性的外观。
9.权利要求8的设备,其中所述照明效果包括使用编码光来破坏所述对称性的外观,并且设备包括编码光检测模块(15)以检测所述编码光,图像分析模块(16)被配置成检测所述照明效果并且从而基于由编码光检测模块所检测的编码光来解决歧义性。
10.权利要求8或9的设备,其中图像分析模块(16)还被配置成作为几何视角计算的部分而检测照相机(14)相对于光源(12)的距离,所述距离和取向一起给出照相机相对于光源的定位。
11.权利要求10的设备,包括位置确定模块(17),其被配置为获得光源(12)的地理位置并且基于与照相机相对于光源的定位组合的光源的地理位置来确定照相机(14)的地理位置。
12.权利要求8或9的设备,其中图像数据包括单个光源(12)的图像,图像分析模块(16)被配置为通过执行几何视角计算以将单个光源的一个或多个所检索物理尺寸与单个光源的图像的一个或多个外观尺寸相比较来确定照相机(14)距所述光源的距离。
13.权利要求8或9的设备,其中图像数据还包括一个或多个其他对象的图像,并且图像分析模块(16)被配置为还在几何视角计算中包括一个或多个其他对象的图像。
14.权利要求8或9的设备,其中设备(6)包括照相机(14)。
15.一种用于基于从照相机所接收的图像数据来确定照相机的取向的装置,包括处理器以及存储计算机程序产品的存储器,其中所述计算机程序产品配置为在处理器上运行时执行以下操作:
从照相机(14)接收图像数据,图像数据包括发射光并且具有带有对称性的形状的光源(12)的图像;
通过基于光源的图像而执行几何视角计算来确定照相机相对于光源的取向;以及
通过检测光源所发射的光中的照明效果来解决取向中的歧义性,所述照明效果破坏所述对称性的外观。
CN201480037885.0A 2013-07-04 2014-06-26 确定取向 Active CN105378503B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13175096.0 2013-07-04
EP13175096 2013-07-04
PCT/EP2014/063464 WO2015000772A1 (en) 2013-07-04 2014-06-26 Determining orientation

Publications (2)

Publication Number Publication Date
CN105378503A CN105378503A (zh) 2016-03-02
CN105378503B true CN105378503B (zh) 2018-08-10

Family

ID=48747390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480037885.0A Active CN105378503B (zh) 2013-07-04 2014-06-26 确定取向

Country Status (7)

Country Link
US (1) US9885775B2 (zh)
EP (1) EP3017317B2 (zh)
JP (1) JP2016526675A (zh)
CN (1) CN105378503B (zh)
CA (1) CA2917092A1 (zh)
RU (1) RU2678689C2 (zh)
WO (1) WO2015000772A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106133477B (zh) * 2014-02-26 2019-04-09 飞利浦灯具控股公司 根据光覆盖区对照明装置的光源的位置估计
US9948391B2 (en) * 2014-03-25 2018-04-17 Osram Sylvania Inc. Techniques for determining a light-based communication receiver position
US10134064B2 (en) * 2014-06-27 2018-11-20 Ledvance Llc Lighting audit and LED lamp retrofit
DE102015205220A1 (de) 2015-03-23 2016-09-29 Osram Gmbh Tracking-System und Verfahren zum Tracken eines Trägers einer mobilen Kommunikationseinheit
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US9736910B2 (en) * 2015-09-30 2017-08-15 Osram Sylvania Inc. Lighting system that self detects the relative physical arrangement of its sources
EP3356732B1 (en) * 2015-10-02 2020-11-04 PCMS Holdings, Inc. Digital lampshade system and method
DE102016204140B3 (de) * 2016-03-14 2017-04-06 pmdtechnologies ag Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera
WO2018015187A1 (en) 2016-07-21 2018-01-25 Philips Lighting Holding B.V. Detecting signals embedded in visible light
WO2018015272A1 (en) * 2016-07-21 2018-01-25 Philips Lighting Holding B.V. Detecting signals embedded in visible light
EP3488667A1 (en) * 2016-07-21 2019-05-29 Signify Holding B.V. Lamp with coded light functionality
US20180145749A1 (en) * 2016-11-18 2018-05-24 Abl Ip Holding Llc Light fixtures and/or light fixture installations with differing visible light communication capabilities
US20190005677A1 (en) * 2017-06-28 2019-01-03 Intel IP Corporation Light source estimation
US10495467B2 (en) * 2017-07-28 2019-12-03 Qualcomm Incorporated Positioning with interleaved VLC signals
US10529074B2 (en) * 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
CN110044334B (zh) * 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
JP2019132673A (ja) * 2018-01-31 2019-08-08 沖電気工業株式会社 端末装置及び位置検出システム
KR102650306B1 (ko) * 2018-10-16 2024-03-22 주식회사 에이치엘클레무브 차량 제어 시스템, 차량 제어 방법
US11270668B1 (en) * 2020-11-30 2022-03-08 Stmicroelectronics (Research & Development) Limited System and method for detecting screen orientation of a device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283272A (zh) * 1997-12-05 2001-02-07 北方数字股份有限公司 用于测定物体的空间位置和取向的系统
CN101156044A (zh) * 2005-04-11 2008-04-02 Faro科技有限公司 三维坐标测量设备
CN101405684A (zh) * 2006-03-15 2009-04-08 皇家飞利浦电子股份有限公司 遥控指向技术
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
EP2169421A1 (fr) * 2008-09-26 2010-03-31 Thales Système de détection optique de position et/ou d'orientation d'objets comprenant au moins deux capteurs coplanaires
CN102656425A (zh) * 2009-12-17 2012-09-05 波音公司 利用移动数据的方位和取向确定
CN102803990A (zh) * 2009-06-23 2012-11-28 莱卡地球系统公开股份有限公司 跟踪方法和具有激光跟踪器的测量系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
DE4429016A1 (de) 1994-08-16 1996-02-22 Linde Ag Navigation für fahrerlose Fahrzeuge
US5856844A (en) * 1995-09-21 1999-01-05 Omniplanar, Inc. Method and apparatus for determining position and orientation
WO1999043150A1 (de) 1998-02-18 1999-08-26 Gmd - Forschungszentrum Informationstechnik Gmbh Kamera tracking system für ein virtuelles fernseh- oder videostudio
US6417836B1 (en) * 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US7358929B2 (en) * 2001-09-17 2008-04-15 Philips Solid-State Lighting Solutions, Inc. Tile lighting methods and systems
US8100552B2 (en) * 2002-07-12 2012-01-24 Yechezkal Evan Spero Multiple light-source illuminating system
JP5056009B2 (ja) * 2004-03-03 2012-10-24 日本電気株式会社 測位システム、測位方法、及びそのプログラム
WO2006069748A1 (de) 2004-12-23 2006-07-06 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtungen zur vermessung eines objektes und verfahren zur verwendung einer derartigen vorrichtung
US9052161B2 (en) 2005-12-19 2015-06-09 Raydon Corporation Perspective tracking system
US10539311B2 (en) * 2008-04-14 2020-01-21 Digital Lumens Incorporated Sensor-based lighting methods, apparatus, and systems
US7969297B2 (en) * 2008-05-14 2011-06-28 Sony Ericsson Mobile Communications Ab System and method for determining positioning information via modulated light
DE102010031629B4 (de) 2010-07-21 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Ermitteln einer Position eines beweglichen Objekts, Anordnung von Allgemeinbeleuchtungs-LED und Lichtsensor für eine Positionsermittlung eines beweglichen Objekts
US8411258B2 (en) * 2010-12-22 2013-04-02 Intel Corporation Systems and methods for determining position using light sources
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
US8436896B2 (en) * 2011-07-26 2013-05-07 ByteLight, Inc. Method and system for demodulating a digital pulse recognition signal in a light based positioning system using a Fourier transform
EP2737779B1 (en) 2011-07-26 2020-02-19 ABL IP Holding LLC Self identifying modulated light source
US8944662B2 (en) * 2012-08-13 2015-02-03 3M Innovative Properties Company Diffractive luminaires
US9699856B2 (en) * 2015-03-25 2017-07-04 Cree, Inc. Upgradeable lighting fixture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283272A (zh) * 1997-12-05 2001-02-07 北方数字股份有限公司 用于测定物体的空间位置和取向的系统
CN101156044A (zh) * 2005-04-11 2008-04-02 Faro科技有限公司 三维坐标测量设备
CN101405684A (zh) * 2006-03-15 2009-04-08 皇家飞利浦电子股份有限公司 遥控指向技术
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
EP2169421A1 (fr) * 2008-09-26 2010-03-31 Thales Système de détection optique de position et/ou d'orientation d'objets comprenant au moins deux capteurs coplanaires
CN102803990A (zh) * 2009-06-23 2012-11-28 莱卡地球系统公开股份有限公司 跟踪方法和具有激光跟踪器的测量系统
CN102656425A (zh) * 2009-12-17 2012-09-05 波音公司 利用移动数据的方位和取向确定

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LED Location Beacon System Based on Processing of Digital Images;Grantham K. H. Pang等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20010930;第2卷(第3期);135-149 *

Also Published As

Publication number Publication date
EP3017317B8 (en) 2019-04-10
CN105378503A (zh) 2016-03-02
US20160154088A1 (en) 2016-06-02
US9885775B2 (en) 2018-02-06
RU2016103481A (ru) 2017-08-09
JP2016526675A (ja) 2016-09-05
CA2917092A1 (en) 2015-01-08
EP3017317B1 (en) 2019-02-13
WO2015000772A1 (en) 2015-01-08
RU2016103481A3 (zh) 2018-06-09
RU2678689C2 (ru) 2019-01-31
EP3017317B2 (en) 2022-06-15
EP3017317A1 (en) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105378503B (zh) 确定取向
CN105358938B (zh) 用于距离或者位置确定的设备和方法
US10771935B2 (en) Device locating using angle of arrival measurements
EP3045016B1 (en) Methods and apparatus for automated commissioning of coded light sources
US11143509B2 (en) Positioning based on illumination sources
Hassan et al. Indoor positioning using visible led lights: A survey
US6865347B2 (en) Optically-based location system and method for determining a location at a structure
CN106462265B (zh) 基于编码光定位便携式设备
CN107063266A (zh) 基于室内led灯和智能手机摄像头实现室内定位的方法
JPWO2017154806A1 (ja) 位置検索システム、位置検索方法、発信装置、位置検出装置および設備機器
RU2689142C2 (ru) Обнаружение кодированного света
US20150215744A1 (en) System and method for indoor positioning, navigation and location specific services
US20220066407A1 (en) Light fixture of building automation system
KR102018532B1 (ko) 위치 측정을 위한 장치 및 방법
Vieira et al. Wayfinding in complex buildings using visible light communication
Vieira et al. Indoor wayfinding using visible light communication
JP2006050422A (ja) 位置確認システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170313

Address after: Eindhoven

Applicant after: KONINKL PHILIPS N.V.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Eindhoven

Patentee after: Signify Holdings Ltd.

Address before: Eindhoven

Patentee before: Philips Lighting Holdings

CP01 Change in the name or title of a patent holder