CN110892280B

CN110892280B - 用于向设备提供物体的空间信息的系统和方法

Info

Publication number: CN110892280B
Application number: CN201880047805.8A
Authority: CN
Inventors: B.M.范德斯勒伊斯; D.V.阿利亚克赛尤; M.T.厄伦; D.V.R.恩格伦
Original assignee: Signify Holding BV
Current assignee: Signify Holding BV
Priority date: 2017-07-19
Filing date: 2018-07-10
Publication date: 2023-11-28
Anticipated expiration: 2038-07-10
Also published as: WO2019016020A1; EP3655793A1; CN110892280A; US20200211223A1

Abstract

公开了一种向设备（100）提供物体（110）的空间信息的方法（600）。方法（600）包括：由设备（100）检测（602）与物体（110）相关联的光源（112）发射的光（118），该光（118）包括代表具有相对于物体（110）的预定义位置的二维或三维形状的嵌入代码，获得（604）物体（110）相对于设备（100）的位置，并且基于形状相对于物体（110）的预定义位置和基于物体（110）相对于设备（100）的位置，确定（606）形状相对于设备（100）的位置。

Description

用于向设备提供物体的空间信息的系统和方法

技术领域

本发明涉及向设备提供物体的空间信息的方法。本发明还涉及用于执行该方法的计算机程序产品。本发明还涉及用于接收物体的空间信息的设备。

背景技术

随着增强现实（AR）、自动驾驶车辆、机器人和无人机的出现，对有关环境中物体的空间信息的需求不断增加。目前，AR系统和自主车辆依赖于传感器信息，传感器信息用于确定其附近物体的空间特性。用于确定例如环境中物体的尺寸和距离的技术的示例是LIDAR或雷达。其他技术使用相机或3D/深度相机来确定环境中物体的空间特性。这些现有技术的缺点是它们依赖于它们视野中的东西，并且需要基于这些东西来估计空间特性。

发明内容

本发明的一个目的是为要求关于其环境中物体的空间信息的设备提供附加的空间信息。

该目的通过向设备提供物体的空间信息的方法来实现，该方法包括：

- 由所述设备检测由与所述物体相关联的光源发射的光，所述光包括代表二维或三维形状的嵌入代码，所述二维或三维形状具有相对于所述物体的预定义位置，

- 获得物体相对于设备的位置，以及

- 基于形状相对于物体的预定义位置和基于物体相对于设备的位置来确定形状相对于设备的位置。

二维（2D）或三维（3D）形状可以例如代表被物体遮盖的二维区域或者物体的三维模型或者围绕物体定义的安全体积。该设备可以检测包括代表形状的嵌入代码的光，并且从光中取回（retrieve）嵌入代码，并且基于嵌入代码取回形状。关于形状的形状信息可以被包括在嵌入代码中，或者嵌入代码可以包括到形状信息的链接。通过获得物体相对于设备的位置，设备能够确定形状的位置，因为形状具有相对于物体的预定义位置。这是有益的，因为除了知道物体的位置，设备还可以访问关于物体空间特性的附加信息：其形状。

该形状可以代表物体的三维模型。（虚拟）3D模型可以是物体表面的数学表示，例如3D空间中的多边形模型、曲线模型或点的集合。（虚拟）3D模型基本上匹配物体的物理3D模型。换句话说，3D模型指示被物体占据的空间。这是有益的，因为它使设备能够精确地确定被物体占据了哪个3D空间。

该形状可以代表被物体遮盖的二维区域。（虚拟）2D模型可以是物体的2D表面的数学表示，例如2D空间中的多边形模型、曲线模型或点的集合。二维区域可以是水平面上的区域，该区域代表在水平面上被物体占据的空间。对于某些目的而言，物体的二维区域信息就足够了（与更复杂的3D模型相比）。这使得设备能够精确地确定空间中的哪个区域被物体占据。

该形状可以代表物体的包围体（bounding volume）。3D包围体可以是例如具有（虚拟地）封装物体的3D形状的形状（例如，盒子、球体、囊、圆柱体等）。包围体可以是数学表示，例如3D空间中的多边形模型、曲线模型或点的集合。包围体的一个好处是它没有3D模型那么细致，从而显著降低了计算被物体占据的空间所要求的计算能力。

该形状可以代表物体的包围区域。术语“包围区域”是指3D包围体的2D变体。换句话说，包围区域是2D平面中的一个区域，例如水平面，它封装了被物体占据的2D空间。包围区域的一个好处是，它没有被物体所遮盖的2D区域那么细致，从而显著降低了计算被物体占据的空间所要求的计算能力。

获得物体相对于设备的位置可以以不同的方式来实现。

获得物体相对于第一个的位置的步骤可以包括：接收代表该设备的位置的第一组坐标，接收代表该物体的位置的第二组坐标，以及基于第一和第二组坐标确定物体相对于设备的位置。这是有益的，因为通过比较第一和第二组坐标，可以计算物体相对于设备的位置，而不依赖于任何距离/图像传感器读数。

获得物体相对于设备的位置的步骤可以包括：由设备的发射器发射感测信号，接收从物体反射的感测信号的反射，以及基于感测信号的反射确定物体相对于设备的位置。由设备的发射器发射感测信号（例如光信号、无线电信号、（超）声音信号等）。该设备可以包括多个发射器（和用于接收从物体反射的感测信号的接收器），以确定设备周围物体的距离/位置。这使得能够确定物体相对于设备的精确距离和位置。

获得物体相对于设备的位置的步骤可以包括：捕获物体的图像、分析图像，以及基于分析的图像确定物体相对于设备的位置。该设备可以包括用于捕获环境的一个或多个图像的一个或多个图像捕获设备（相机、3D相机等）。可以分析一个或多个图像来识别物体，并确定其相对于设备的位置。

光源可以具有相对于物体的预定位置，并且获得物体相对于设备的位置的步骤可以包括：确定光源相对于设备的位置，并且基于光源相对于物体的预定位置来确定物体相对于设备的位置。光源相对于设备的位置可以基于从光传感器接收的信号来确定。光强度或光中嵌入的码的信噪比例如可以指示光源的距离。替代地，光源相对于设备的位置可以通过分析捕获的物体和第一光源的图像来确定。嵌入代码可以进一步代表光源相对于物体的预定位置。这使得设备能够确定物体相对于其位置已经确定的光源的位置。

该设备可以包括图像捕获设备和图像呈现设备，并且该方法可以进一步包括：由图像捕获设备捕获物体的图像，确定物体在图像中的位置，确定图像中形状相对于物体的位置，确定图像中虚拟物体相对于形状的虚拟位置，并且在图像呈现设备上将虚拟物体呈现为虚拟位置处的在物理环境上的覆盖物（overlay）。将虚拟内容定位为物理环境之上的覆盖物是已知。目前，这是通过分析捕获的物理环境的图像来完成的，这要求大量的计算能力。因此，如果设备知道物体的（3D）形状是有益的，因为这提供了关于被物体占据的（3D）空间的信息。这提供了一种确定在何处定位虚拟物体的简化和更精确的方式，并因此改善了用虚拟物体（增强现实）增强物理环境。在实施例中，虚拟物体可以是虚拟环境，并且虚拟环境可以围绕物体呈现。因此，这也改善了用（物理）物体（增强的虚拟性）来增强虚拟环境。

该设备可以是车辆。附加地，物体可以是道路使用者（例如，配备有光源的车辆、行人、骑自行车的人等）或道路基础设施（例如，配备有光源的灯柱、建筑物、植物/树等）。例如，设备和物体可以是车辆。第二车辆可以包括发射代表第二车辆的3D模型的代码的光源。第一车辆可以确定其相对于第二车辆的位置（例如基于GPS坐标、基于来自LIDAR/雷达系统的传感器读数等），检测由第二车辆的光源发射的光，从光中取回嵌入代码，并使用嵌入代码取回形状。这是有益的，因为除了知道第二车辆的位置之外，第一车辆还可以访问关于第二车辆的空间特性的附加信息，例如其3D形状。该信息例如可以由自主驾驶的车辆使用来确定何时换道是安全的、评估超越另一车辆所需的时间、在哪里以及如何停车等。

形状的尺寸、形式和/或相对于物体的位置可以基于物体的移动速度、指示对尺寸和/或形式的选择的用户输入、用户简档、物体的当前状态和/或天气、道路和/或能见度状况。动态可调形状的好处可能例如对于自主车辆是有益的。例如，当第二车辆的速度增加时，形状的尺寸可以增加，从而通知检测到嵌入由与第二车辆相关联的光源发出的光中的代码的其他车辆，它们应该保持更远的距离。

嵌入代码可以进一步代表物体表面的表面特性。表面特性提供关于物体表面的至少一部分的信息。表面特性的示例包含但不限于颜色、透明度、反射率和材料类型。当分析物体的图像时，可以使用表面特性信息，以便改善图像分析和物体识别过程。表面特性信息也可以用于确定如何将虚拟物体呈现为（物理）物体处或（物理）物体附近的覆盖。

该方法还可以包括以下步骤：

- 捕获物体的图像，

- 识别图像中物体的一个或多个特征，

- 基于一个或多个特征确定物体的二维或三维形状，

- 检测由附近光源发射的光，该附近光源在物体附近，该光包括嵌入代码，该嵌入代码包括附近光源的光源标识符，

- 基于嵌入代码识别附近光源，以及

- 将附近光源和物体的二维或三维形状之间的关联存储在存储器中。

物体的特征（例如物体的边缘、物体的照明/阴影特性、物体颜色的差异、3D深度信息等）可以通过分析物体的图像来取回。该图像可以是2D图像，或者由3D相机捕获的图像。基于这些特征，可以进行二维或三维形状的估计。在实施例中，从物体的不同方向捕获的多个图像可以拼接在一起，并用于确定物体的二维或三维形状。可以基于被包括在由光源发射的光中的嵌入代码来识别物体附近的光源。这使得能够创建物体（及其形状）和光源之间的关联。

根据本发明的第二方面，该目的通过用于计算设备的计算机程序产品来实现，该计算机程序产品包括当计算机程序产品在计算设备的处理单元上运行时执行任何上述方法的计算机程序代码。

根据本发明的第三方面，该目的通过一种用于接收物体的空间信息的设备来实现，该设备包括：

- 光检测器，被配置为检测由与物体相关联的光源发射的光，该光包括代表二维或三维形状的嵌入代码，该二维或三维形状具有相对于物体的预定义位置，以及

- 处理器，被配置为获得物体相对于设备的位置，并且基于形状相对于物体的预定义位置和基于物体相对于设备的位置来确定形状相对于设备的位置。

根据本发明的第四方面，该目的通过用于向设备提供其空间信息的物体来实现，该物体包括：

- 光源，被配置为发射光，该光包括代表二维或三维形状的嵌入代码，该二维或三维形状具有相对于物体的预定义位置。

设备和物体可以是系统的一部分。应当理解，该设备、物体和系统可以具有与要求保护的方法相似和/或相同的实施例和优点。

根据本发明的另一方面，该目的通过将物体的二维或三维形状与光源相关联的方法来实现，该方法包括：

- 捕获物体的图像，

- 识别图像中物体的一个或多个特征，

- 基于一个或多个特征确定物体的二维或三维形状，

- 基于嵌入代码识别附近光源，以及

该形状可以代表物体的三维模型、物体遮盖的二维区域、物体的包围体或物体的包围区域。物体的特征（例如物体的边缘、物体的照明/阴影特性、物体颜色的差异、3D深度信息等）可以通过分析物体的图像来取回。该图像可以是2D图像，或者由3D相机捕获的图像。基于这些特征，可以进行二维或三维形状的估计。在实施例中，从物体的不同方向捕获的多个图像可以用于确定物体的二维或三维形状。可以基于被包括在由光源发射的光中的嵌入代码来识别物体附近的光源。这使得能够创建物体（及其形状）和光源之间的关联。

附图说明

参考附图，通过以下对设备和方法的实施例的说明性而非限制性的详细描述，将更好地理解所公开的物体、设备和方法的上述以及附加的目的、特征和优点，其中：

图1示意性地示出了包括用于接收物体空间信息的设备的系统的实施例；

图2示意性地示出了车辆的3D模型、2D区域、包围体和包围区域的示例；

图3示意性地示出了向车辆提供道路使用者的空间信息的示例；

图4a和4b示意性地示出了用于将物体的二维或三维形状与光源相关联的移动设备的示例；

图5示意性地示出了用于接收物体的空间信息的设备的示例，其中该物体是房间；

图6示意性示出了向设备提供物体的空间信息的方法；和

图7示意性示出了将物体的二维或三维形状与光源相关联的方法。

所有的附图都是示意性的，不一定按比例绘制，并且一般地仅示出为了阐明本发明所必需的部分，其中其他部分可以省略或仅被建议。

具体实施方式

图1图示了包括用于接收物体110的空间信息的设备100的系统。设备100包括光检测器102，其被配置为检测由与物体110相关联的光源112发射的光118，该光118包括代表具有相对于物体110的预定义位置的二维或三维形状的嵌入代码。设备100还包括处理器104，处理器104被配置为获得物体110相对于设备100的位置，并基于形状相对于物体110的预定义位置和基于物体110相对于设备100的位置来确定形状相对于设备100的位置。

物体110与例如LED/OLED光源的光源112相关联，其被配置成发射包括嵌入代码的光118。光源112可以附接到物体110上/与物体110共处一处（co-locate）。光源112可以照射物体110。该代码可以通过将代码嵌入光中的任何已知原理来创建，例如通过控制到光源112的时变调制电流以产生光输出的变化、通过调制光脉冲的幅度和/或占空比等来创建。

物体110还可以包括处理器114，用于控制光源112，使得其发射包含嵌入代码的光118。处理器114可以与光源112共处一处并耦合到光源112。

物体110可以是具有集成光源112的物体（例如，车辆、灯柱、具有指示器LED的电子设备等）。替代地，光源112（以及可选地，处理器114和/或通信单元116）可以是可经由任何已知的附接方式附接到物体110（例如，人类、电子设备、车辆、建筑/道路基础设施、机器人等）。替代地，光源112可以照射物体110（例如灯照射桌子）。替代地，光源112可以位于物体110内部（例如，灯位于诸如房间（一部分）的环境内部）。

设备100的光检测器102被配置成检测光118和嵌入其中的代码。设备100的处理器104还可以被配置成从光检测器102检测到的光118中取回嵌入代码。处理器104还可以被配置成基于取回的代码取回物体110的形状。在实施例中，关于形状的形状信息可以包括在代码中，并且处理器104可以被配置成从代码中取回形状信息，以便取回物体110的形状。在实施例中，嵌入代码可以包括到关于物体110的形状的信息的链接，并且关于物体110的形状的信息可以例如从运行在设备100上的软件应用或者从远程服务器130取回。

设备100还可以包括通信单元106，用于与远程服务器130通信，例如从远程服务器的存储器中取回形状信息。设备100可以经由网络、互联网等与远程服务器通信。

物体110可以进一步包括处理器114，或者处理器114可以包括在另一个设备中，诸如远程服务器130中。物体110可以进一步包括通信单元116。物体110的处理器114可以例如被配置成控制物体110的光源112，使得光源112发射包括嵌入代码的光118。处理器114可以被配置为取回关于物体110的形状的信息，并基于此控制光源112，例如通过将形状信息嵌入由光源112发射的光118中，或者通过将物体110的标识符或到形状信息的链接嵌入光118中，使得设备100的处理器104可以识别物体110并基于此取回形状信息。物体110还可以包括用于与例如远程服务器130通信的通信单元116，以向远程服务器提供关于物体110的信息。该信息可以例如包括物体110的标识信息、形状信息或任何其他信息，诸如物体110的属性。

设备100的处理器104（例如电路、微芯片、微处理器）被配置为获得物体110相对于设备100的位置。获得物体110相对于设备100的位置可以以不同的方式实现。

处理器104可以例如被配置成接收代表设备100的位置的第一组坐标和代表物体110的位置的第二组坐标。处理器104还可以被配置为基于第一和第二组坐标来确定物体110相对于设备100的位置。坐标组可以例如从室内定位（诸如基于射频（RF）的信标系统或可见光通信（VLC）通信系统）或室外（全球）定位系统取回。这使得处理器104能够确定物体110相对于设备100的位置。

物体110的位置可以经由光源112发射的光118传送给设备100。包含在光118中的嵌入代码可以进一步包括关于物体110的位置的信息。

附加地或替代地，设备100可以包括被配置为发射感测信号的发射器。设备100还可以包括接收器，该接收器被配置为接收从物体110反射的感测信号的反射。处理器104可以进一步被配置成控制发射器和接收器，并且基于感测信号的反射来确定物体110相对于设备100的位置。设备100可以例如使用LIDAR。发射器可以发射脉冲激光，并用光传感器测量反射的光脉冲。然后，激光返回时间和波长中的差异可以用来制作物体110的数字3D表示。附加地或替代地，设备100可以使用雷达。发射器可以发射无线电波，并且接收器可以接收物体110的反射的雷达波，以确定物体110的距离。

附加地或替代地，设备100可以包括被配置为捕获物体110的一个或多个图像的图像捕获设备。图像捕获设备可以是例如相机、3D相机、深度相机等。处理器104可以被配置成分析一个或多个图像，并且基于所分析的一个或多个图像来确定物体110相对于设备100的位置。

附加地或替代地，与物体110相关联的光源112可以具有相对于物体110的预定位置（例如，在物体的中心、在物体的特定角落等）。处理器104可以被配置为确定光源112相对于设备100的位置，并且基于光源112相对于物体110的预定位置来确定物体相对于设备100的位置。处理器104可以基于从光传感器（例如光检测器102）接收的信号来确定光源112相对于设备100的位置。光强或嵌入光118中的代码的信噪比可以指示光源的距离。这使得处理器104能够确定设备100和光源112之间的距离，并且由于光源112具有相对于物体110的预定位置，因此能够随之确定物体110相对于设备100的位置。替代地，光源112相对于设备100的位置可以通过分析捕获的第一光源100的图像来确定。嵌入代码可以进一步代表光源112相对于物体110的预定位置。设备100的处理器104可以基于嵌入代码来确定物体110相对于光源112的位置。

形状可以是任何2D或3D形状。该形状可以是由用户指定的形状，或者由3D扫描仪扫描到的形状，或者基于由一个或多个（3D）相机捕获的物体110的多个图像的形状。替代地，可以基于例如物体110的CAD（计算机辅助设计）模型来预定义形状。在一些实施例中，该形状可以封装物体110的至少一部分。在一些实施例中，该形状可以在2D平面或3D空间中封装物体110。在实施例中，形状可以远离物体110定位。如果希望在物体110的位置方面“愚弄”（“fool”）设备100，这可能是有益的。以高速驾驶的救护车可以例如包括发射光的光源，该光包括指示被定位于救护车前面的形状的代码，以便通知（自主）车辆它们应该避开救护车前面的空间。

形状可以具有第一原点（例如，该形状的中心点），并且该物体可以具有第二原点（例如，该物体的中心点）。第二原点的位置（以及随之物体110的位置）可以被传送到设备100。第二原点的位置可以例如对应于物体110的位置的一组坐标，或者它可以对应于光源112在物体处的位置。第一原点（即形状的原点）的位置可以对应于第二原点的位置。替代地，第一原点（即形状的原点）的位置可以相对于第二原点的位置偏移。嵌入代码可以进一步代表有关形状的第一原点相对于物体110的第二原点的信息。

图2图示了物体210的形状的多个示例。物体210包括光源212，光源212被配置成发射包含代表形状的嵌入代码的光。

形状220可以代表物体210的包围体220。3D包围体220可以例如是（虚拟地）封装物体220的具有3D形状/形式的形状（例如，盒子、球体、囊、圆柱体等）。图2图示了车辆210的包围体220的示例。

替代地，形状222可以代表物体210的包围区域222。术语“包围区域”是指3D包围体的2D变体。换句话说，包围区域222是2D平面（例如水平面或垂直面）中的区域，其封装了由物体210占据的2D空间。图2图示了车辆210在水平面上的包围区域222的示例。

形状224可以代表物体210的三维模型224。（虚拟）3D模型224可以是物体210的表面的数学表示，例如3D空间中的多边形模型、曲线模型或点的集合。（虚拟）3D模型224基本上匹配物体210的物理3D模型。换句话说，（虚拟）3D模型224指示3D空间中被物体占据的空间。图2图示了车辆210的3D模型224的示例。

形状226可以代表被物体遮盖的二维区域226。二维区域226可以例如是水平面中的区域，该区域代表水平面中被物体占据的空间。图2图示了车辆210的二维区域226的示例。

处理器104还被配置为基于形状相对于物体110的预定义位置和基于物体110相对于设备100的位置来确定形状相对于设备100的位置。这在图3中进一步图示。在图3中，设备300（第一车辆）可以获得物体（第二车辆）310的位置。现在，设备300知道物体310的位置。设备300的处理器（未示出）可以从物体310的光源312发射的光318中取回嵌入代码，该代码代表形状314（形状314可以例如是物体310的3D模型）。因为物体310相对于设备300的位置是已知的，并且物体310的形状314具有相对于该物体310的预定义位置，所以设备300的处理器能够确定形状314相对于设备300的位置（在该示例中，其与物体310是相同的位置）。在图3中的另一个示例中，设备300的处理器可以从另一个物体320的光源322发射的光328中取回嵌入代码，该代码代表形状324（形状324可以例如是围绕物体320的2D区域）。因为物体320相对于设备300的位置是已知的，并且物体320的形状324具有相对于该物体320的预定义位置，所以设备300的处理器能够确定形状324相对于设备300的位置。在该示例中，形状324的中心和物体320的中心具有相同的位置。

车辆300的处理器（图3中未示出）可以进一步被配置用于将形状的位置传送给车辆300的自动驾驶系统。自动驾驶系统可以被配置成控制车辆300，使得其远离该形状的位置。

在图2和图3的示例中，设备100和物体110是车辆/道路用户，但是第一个和物体也可以是其他类型的物体或设备。例如，设备100可以是诸如包括图像呈现设备的智能手机、平板电脑、智能手表、智能眼镜等设备。处理器104可以被配置成在图像呈现设备上呈现虚拟物体（例如虚拟角色、虚拟环境、文档、虚拟接口等）。设备100可以进一步包括图像捕获设备（例如（深度）相机）。图像呈现设备可以是显示器，并且处理器可以在显示器上呈现由图像捕获设备捕获的图像，并且将虚拟物体呈现为在这些图像之上的覆盖物。替代地，图像呈现设备可以是投影仪，其被配置为将虚拟物体投影到例如智能眼镜上，或者直接投影到用户的视网膜上，作为设备100位于其中的物理环境上的覆盖物。

图像捕获设备可以被配置为捕获物体110的图像。处理器104可以被配置为确定物体在图像中的位置以及在该图像中取回的形状（例如物体110的3D模型）相对于物体110的位置。基于形状的这个位置，处理器104可以进一步确定图像中虚拟物体相对于该形状的虚拟位置，并且在图像呈现设备上在虚拟位置处将虚拟物体呈现为物理环境上的覆盖物。作为结果，处理器104在图像呈现设备上将虚拟物体/虚拟内容定位在相对于物体110的形状且随之相对于物体110的位置处。虚拟物体例如可以是在物理物体之上的覆盖物，以改变物体110的外观，例如其颜色，这将使用户能够看到物体110在那种颜色中看起来如何。替代地，虚拟物体可以是例如物体110的物体信息，其被呈现在物体110的旁边/作为在物体110之上的覆盖物。替代地，虚拟物体可以例如是位于物体110上或相对于物体110移动的虚拟角色。

形状的尺寸、形式和/或其相对于物体110的位置可以动态确定。物体110的处理器114可以被配置成基于环境参数和/或物体110的参数/作为环境参数和/或物体110的参数的函数来改变形状。替代地，形状可以由远程服务器130的控制器改变。物体110还可以包括用于检测环境参数和/或物体110的参数的传感器。替代地，环境参数和/或物体110的参数可以由外部传感器确定，并被传送到处理器114和/或远程服务器。

该形状可以例如取决于物体110的移动速度。当物体110是以一定速度移动的车辆或另一道路使用者时，增加形状的尺寸，使得其他车辆可以通过远离由（新）形状遮盖的位置来为此早做准备可能是有益的。如果物体110（诸如车辆）正在加速，则该形状可以位于车辆前方，使得其他车辆可以通过远离由（新）形状遮盖的位置来为此早做准备。

附加地或替代地，形状的尺寸、形式和/或相对于物体110的位置可以由用户确定。用户可以提供用户输入来设置尺寸、形式和/或相对于物体110的位置。

附加地或替代地，形状的尺寸、形式和/或相对于物体110的位置可以基于用户简档来确定。用户简档可以例如包括关于操作物体110（例如车辆）的用户的年龄、视力、驾驶经验水平等的信息。

附加地或替代地，形状的尺寸、形式和/或相对于物体110的位置可以基于物体110的当前状态来确定。物体110的每个状态/设置可以与具体形状相关联。物体110（例如自主车辆）可以具有自主设置和手动设置，并且形状的尺寸可以依赖其来设置。在另一个示例中，清洁机器人的形状可以依赖于需要清洁的区域，该区域可以随着清洁机器人清洁空间而随时间减少。

附加地或替代地，形状的尺寸、形式和/或相对于物体110的位置可以依赖于天气状况（例如雪/雨/阳光）、道路状况（例如滑/干、崎岖/光滑）和/或能见度状况（例如有雾/晴朗、白天/夜晚）。物体110可以包括检测这些状况的传感器，或者物体110可以从诸如远程服务器130的另一设备获得这些条件。当物体110是以一定速度移动的车辆或另一道路使用者时，增加形状的尺寸，使得其他车辆可以通过远离由（新）形状遮盖的位置以为此早做准备可能是有益的。

物体110的处理器114可以进一步被配置成控制光源，使得代码进一步代表物体的表面特性。表面特性的示例包含但不限于物体110的表面的颜色、透明度、反射率和材料类型。当分析物体110的图像时，表面特性信息可以由设备100的处理器104使用，以便改善图像分析和物体识别过程。表面特性信息也可用于确定如何将虚拟物体呈现为（物理）物体110处或（物理）物体110附近的物理环境之上的覆盖物。

图4a和4b示意性示出了用于将物体410的二维或三维形状与光源412相关联的设备400的示例。设备400可以包括显示器402，用于呈现由设备400的图像捕获设备，例如（3D）相机捕获的图像。设备400可以被配置为捕获物体410的一个或多个图像。设备400还可以包括处理器（未示出），该处理器被配置为分析物体410的一个或多个图像，并且在一个或多个图像中取回/识别物体410的一个或多个物体特征，并且基于该一个或多个特征确定物体410的二维或三维形状。这些特征可以例如是物体的边缘（例如图4a中的桌子410的边缘），并且可以被检测为3D空间中的点/线/面/体。可以用于确定物体410形状的其他特征是阴影、高光、对比度差异等。

这些特征还可以用于识别物体410（在该示例中为桌子），并且可选地，基于物体的识别，从存储器（例如，存储多个桌子的数据库，每个桌子与相应的3D模型相关联）中取回物体410的二维或三维形状。取回的二维或三维形状可以被映射到所捕获图像中的物体上，以便确定物体在空间中的朝向/位置，并随之确定其在空间中的形状。

如图4a所图示的，检测到的形状可以是例如物体410的精确形状420a，或者如图4b所图示的，（仅）可以检测物体410的具体元素，例如仅物体410的特征点420b（例如边缘/角点）。

设备400还可以包括光检测器（未示出）（例如相机或光电二极管），其被配置为检测由附近光源412发射的光，该附近光源412位于物体410附近。由附近光源412发射的光可以包括代表附近光源412的光源标识符的嵌入代码。处理器还可以被配置成从嵌入代码中取回光源标识符，并且通过基于光源标识符来识别该附近光源412。这使得处理器能够在物体410的形状420a、420b和光源412之间创建关联。处理器还可以被配置成将该关联存储在存储器中。存储器可以位于设备400中，或者存储器可以位于远程位置，例如位于外部服务器中，并且处理器可以被配置为将关联传送到远程存储器。

处理器可以被配置成检测由附近光源发射的光，该附近光源在物体附近。处理器可以被配置成通过分析由图像捕获设备捕获的图像，从多个光源中选择附近光源。处理器可以被配置成基于物体和（一个或多个）光源之间的（一个或多个）光源的（一个或多个）距离来选择附近光源。替代地，处理器可以被配置为基于哪个光源照射物体来选择附近光源。处理器可以被配置成检测哪个光（以及随之哪个光源）照射物体。替代地，处理器可以被配置为选择包含在物体中的光源（例如房间中的灯）或者附接到物体上的光源（例如车辆的前灯）作为附近光源。

将关联存储在存储器中使得（其他）设备100能够在设备100检测到由光源112发射的光时，当光118包括代表具有相对于物体110的预定义位置的二维或三维形状的嵌入代码时，取回物体110的形状。当物体110的形状相对于设备100的位置正被确定时，设备100的处理器104可以使用光源112作为锚点。

物体110可以是环境（例如室内/室外基础设施）（的一部分）。物体110可以是房间、建筑物、建筑物基础设施、道路基础设施、花园等。这使得设备100能够从与该环境相关联的光源112发射的光118中取回形状（例如，3D建筑模型或深度图）。光源112可以位于环境内部。图5示意性地示出了用于接收物体510的空间信息的设备500的示例，其中物体510是房间510。设备500还可以包括光检测器（未示出），诸如被配置为检测由与环境510相关联的光源512发射的光的相机，该光包括代表具有相对于房间510的预定义位置的二维或三维形状的嵌入代码。设备500还可以包括处理器，该处理器被配置为获得环境510相对于设备500的位置，并基于形状相对于环境510的预定义位置和基于物体110相对于设备100的位置来确定环境510的形状相对于设备500的位置。这使得处理器能够确定设备500位于环境510中何处。这可能有利于例如（室内）定位或AR目的。设备500可以被配置成在设备500的显示器502上呈现虚拟物体。环境510的形状信息可用于确定在哪里呈现虚拟物体，诸如虚拟角色520、虚拟家具、虚拟文档或虚拟接口，作为在物理环境之上的覆盖物。

该系统可以包括多个光源，且每个光源可以安装在环境中，并且每个光源可以与环境的不同部分相关联。第一光源可以与环境的第一部分相关联，并且第一光源可以发射包括环境的第一部分（第一物体）的形状信息的光。第二光源可以与环境的第二部分相关联，并且第二光源可以发射包括环境的第二部分（第二物体）的形状信息的光。因此，当用户与设备100一起进入环境的第一部分时，设备100可以检测由第一光源发射的光，并且设备100的处理器104可以从第一光源的光中取回环境的第一部分的形状信息。当用户与设备100一起进入环境的第二部分时，设备100可以检测由第二光源发射的光，于是设备100的处理器104可以从第二光源的光中取回环境的第二部分的形状信息。这例如出于AR的目的是有益的，因为处理器104将仅取回环境在设备100的视野中的相关形状信息。当设备100被配置为在特定的物理位置处将虚拟物体呈现为在物理环境之上的覆盖物时，这可能是相关的，其中物体的形状信息（诸如（部分）环境的3D模型）被用作虚拟物体的锚。选择性地取回/下载环境的一些部分可以减少处理器将物体（例如环境）的形状（例如3D模型）映射到物理物体所要求的缓冲器大小和计算能力。

图6示意性示出了向设备100提供物体110的空间信息的方法600。方法600包括以下步骤：

- 由设备100检测602由物体110的光源112发射的光118，该光118包括代表具有相对于物体110的预定义位置的二维或三维形状的嵌入代码，

- 获得604物体110相对于设备100的位置，以及

- 基于形状相对于物体110的预定义位置和基于物体110相对于设备100的位置，确定606形状相对于设备100的位置。

当计算机程序产品在计算设备的处理单元（诸如设备100的处理器104）上运行时，方法600可以由计算机程序产品的计算机程序代码来执行。

图7示意性示出了将物体的二维或三维形状与光源相关联的方法700。该方法700可以是方法600的步骤的附加或替代。方法700包括：

- 捕获702物体110的图像，

- 识别704图像中物体110的一个或多个特征，

- 基于一个或多个特征确定706物体110的二维或三维形状，

- 检测708由附近光源发射的光，该附近光源在物体110附近，该光包括嵌入代码，该嵌入代码包括附近光源的光源标识符，

- 基于嵌入代码识别710附近光源，以及

- 在存储器中存储712附近光源和物体110的二维或三维形状之间的关联。

当计算机程序产品在计算设备的处理单元（诸如设备100的处理器104）上运行时，方法700可以由计算机程序产品的计算机程序代码来执行。

应当注意，上述实施例说明而不是限制本发明，并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计许多替代实施例。

在权利要求中，放置于括号中间的任何附图标记不应被解释为限制权利要求。动词“包括”及其变化形式的使用不排除权利要求中所述之外的元件或步骤的存在。元件前面的冠词“a”或“an”（“一”或“一个”）不排除多个这样的元件的存在。本发明可以借助于包括几个不同元件的硬件以及借助于适当编程的计算机或处理单元来实现。在列举了几个装置的设备权利要求中，这些装置中的几个可以由同一个硬件来实现。仅仅是在相互不同的从属权利要求中引用某些措施的事实并不表示这些措施的组合不能被有利地使用。

本发明的各方面可以在计算机程序产品中实现，该计算机程序产品可以是存储在可以由计算机执行的计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以采用任何可解释或可执行的代码机制，包含但不限于脚本、可解释程序、动态链接库（DLL）或Java类。指令可以作为完整的可执行程序、部分可执行程序、对现有程序的修改（例如更新）或针对现有程序的扩展（例如插件）来提供。此外，本发明的处理的一些部分可以分布在多个计算机或处理器上。

适用于存储计算机程序指令的存储介质包括所有形式的非易失性存储器，包含但不限于EPROM、EEPROM和闪存设备、磁盘诸如内部和外部硬盘驱动器、可移动盘和CD-ROM盘。计算机程序产品可以分布在这样的存储介质上，或者可以被提供用于通过HTTP、FTP、电子邮件或者通过连接到诸如因特网的网络的服务器下载。

Claims

1.一种向设备(100)提供物体(110)的空间信息的方法(600)，所述方法(600)包括：

-由所述设备(100)检测(602)由与所述物体(110)相关联的光源(112)发射的光(118)，所述光(118)包括代表二维或三维形状的嵌入代码，所述二维或三维形状具有相对于所述物体(110)的预定义位置，

-获得(604)所述物体(110)相对于所述设备(100)的位置，并且

-基于所述形状相对于所述物体(110)的预定义位置和基于所述物体(110)相对于所述设备(100)的位置，确定(606)所述形状相对于所述设备(100)的位置，

其中所述光源(112)具有相对于所述物体(110)的预定位置，并且其中获得所述物体(110)相对于所述设备(100)的位置的步骤包括：

-确定所述光源(112)相对于所述设备(100)的位置，和

-基于所述光源(112)相对于所述物体(110)的预定位置确定所述物体(110)相对于所述设备(100)的位置。

2.根据权利要求1所述的方法(600)，其中所述形状代表：

-所述物体(110)的三维模型，

-被所述物体(110)遮盖的二维区域，

-所述物体(110)的包围体，或

-所述物体(110)的包围区域。

3.根据权利要求1或2所述的方法(600)，其中获得所述物体(110)相对于所述设备(100)的位置的步骤还包括：

-接收代表所述设备(100)的位置的第一组坐标，

-接收代表所述物体(110)的位置的第二组坐标，和

-基于所述第一和第二组坐标，确定所述物体(110)相对于所述设备(100)的位置。

4.根据权利要求1或2所述的方法(600)，其中所述获得所述物体(110)相对于所述设备(100)的位置的步骤还包括：

-由所述设备(100)的发射器发射感测信号，

-接收从所述物体(110)反射的感测信号的反射，和

-基于所述感测信号的反射，确定所述物体(110)相对于所述设备(100)的位置。

5.根据权利要求1或2所述的方法(600)，其中所述获得所述物体(110)相对于所述设备(100)的位置的步骤还包括：

-捕获所述物体(110)的图像，

-分析所述图像，和

-基于所分析的图像确定所述物体(110)相对于所述设备(100)的位置。

6.根据权利要求1所述的方法(600)，其中所述嵌入代码还代表所述光源(112)相对于所述物体(110)的预定位置。

7.根据前述权利要求中任一项所述的方法(600)，其中所述设备(100)包括图像捕获设备和图像呈现设备，并且其中所述方法(600)还包括：

-由所述图像捕获设备捕获所述物体(110)的图像，

-确定所述物体(110)在所述图像中的位置，

-确定在所述图像中所述形状相对于所述物体(110)的位置，

-确定在所述图像中虚拟物体(110)相对于所述形状的虚拟位置，和

-在所述图像呈现设备上将所述虚拟物体(110)呈现为虚拟位置处的物理环境上的覆盖物。

8.根据前述权利要求的任一项所述的方法(600)，其中所述设备(100)是车辆。

9.根据权利要求8所述的方法(600)，其中所述物体(110)是道路使用者或道路基础设施。

10.根据前述权利要求的任一项所述的方法(600)，其中所述形状的尺寸、形式和/或相对于所述物体(110)的位置是基于以下中的至少一项而确定的：

-所述物体(110)的移动速度，

-指示对所述尺寸和/或所述形式的选择的用户输入，

-用户简档，

-所述物体(110)的当前状态，

-天气、道路和/或能见度状况。

11.根据前述权利要求的任一项所述的方法(600)，还包括以下步骤：

-捕获所述物体(110)的图像，

-识别(704)所述图像中所述物体(110)的一个或多个特征，

-基于所述一个或多个特征，确定(706)所述物体(110)的二维或三维形状，

-检测(708)由附近光源发射的光，所述附近光源在所述物体(110)的附近，所述光包括包含所述附近光源的光源标识符的嵌入代码，

-基于所述嵌入代码识别(710)所述附近光源，和

-在存储器中存储(712)所述附近光源和所述物体(110)的二维或三维形状之间的关联。

12.一种用于计算设备的计算机存储介质，该计算机存储介质上存储计算机程序产品，所述计算机程序产品包括当所述计算机程序产品在所述计算设备的处理单元上运行时用来执行如权利要求1-11所述的方法(600)的计算机程序代码。

13.一种用于接收物体(110)的空间信息的设备(100)，所述设备(100)包括：

-光检测器(102)，被配置成检测由与所述物体(110)相关联的光源(112)发射的光(118)，所述光(118)包括代表二维或三维形状的嵌入代码，所述二维或三维形状具有相对于所述物体(110)的预定义位置，和

-处理器(104)，被配置成获得所述物体(110)相对于所述设备(100)的位置，并基于所述形状相对于所述物体(110)的预定义位置和基于所述物体(110)相对于所述设备(100)的位置确定所述形状相对于所述设备(100)的位置，

其中所述光源(112)具有相对于所述物体(110)的预定位置，处理器被配置成通过以下方式获得所述物体(110)相对于所述设备(100)的位置：

-确定所述光源(112)相对于所述设备(100)的位置，和

-基于所述光源(112)相对于所述物体(110)的预定位置，确定所述物体(110)相对于所述设备(100)的位置。