CN107889531A - 多图像场景中的元数据 - Google Patents

Abstract

确定物理空间的第一区域的第一图像和该物理空间的第二区域的第二图像之间的空间关系；以及由此将第一图像和第二图像拼接在一起成为包括分别从第一图像和第二图像导出的第一区块和第二区块的合成图像。此外，检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入照射物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据。基于检测到的元数据，将效果应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系，将效果应用于延伸超出所述第一区块的、该合成图像的第二区块的至少一部分。

Description

多图像场景中的元数据

技术领域

本公开涉及将元数据包括在场景的图像中，并且特别是将之包括在使用图像处理技术从拼接在一起的多个单独捕获的图像创建的合成图像中。

背景技术

街景服务是捕获公共道路等周围的风景的图像以便使这些图像在线可用的服务。这些服务为用户提供了遍历真实世界的虚拟化视图的能力。典型地，安装在小汽车和诸如自行车等的潜在其他行进方式上的图像捕获设备被用于系统地收集贯穿世界某个部分——诸如给定的城镇、城市、县郡、州或甚至整个国家——的道路周围的风景的多个图像。为构建虚拟化视图，使用已知的全景图像处理技术将所收集的图像中相邻的图像“拼接”在一起。典型地，使这种虚拟化视图（经由互联网）在线可用。

例如，由街景服务的图像收集车捕获的每个图像典型地与记录该图像被捕获处的定位的相应定位数据（例如，在GPS坐标方面）相联系，并且该定位数据可以进而与在线地图绘制服务的地图相联系。这允许使该虚拟化视图通过地图绘制服务作为前端可访问。然后，用户可以通过在他或她的智能电话、平板电脑、膝上型计算机或台式计算机等上运行的浏览器或专用app访问地图绘制服务来访问虚拟化视图。例如用户可以将图标拖放到在线地图上显示的街道上的具体位置上，并且作为响应，在线服务然后向用户呈现从所选择的位置开始的周围环境的可导航虚拟视图。此外，定位数据允许在虚拟化视图中添加附加信息，例如作为覆盖图像。当前这被用于向用户显示拍摄图像处的坐标，以及显示图像中可见的建筑物的街道地址或名称。

在各种管辖中，应用了隐私或其他规定，要求对例如牌照和面部的图像进行模糊化。因此，为符合这样的管辖中的各种隐私规定，对图像进行处理以自动检测牌照和面部并使这些模糊。另外，由于国家安全和其他原因，某些建筑物或细节将不会被捕获或将基于人工请求而在稍后阶段被删除。此外，用户可以请求虚拟化视图中的元素被审查或移除。一个示例将是其尸体在街景服务中可见的被谋杀孩子的父母，或者在从齐眼高度（eye level）不可见、但被图像收集车上的高架摄像机等捕获的在其装有大门的后院中的日光浴者等。

为移除或模糊化街景服务的虚拟化视图中的对象，可以自动分析图像以检测某些预定类型的对象，诸如牌照和人脸。此外，可以人工核查和审查图像，或者可以基于比如定位的元数据（例如，基于所捕获的GPS坐标）将图像标记为被审查的，使得服务自动遮蔽或移除与相关元数据相关联的任何图像。

发明内容

然而，这些方法中的每一种方法都具有一个或多个缺点，诸如资金成本、成功率（误报和/或漏报）、对产品的影响、对当地规则的遵守等。例如，当前的被用于使牌照和面部模糊化的自动图像处理工具并不完美。因未能遵守而导致的可能的罚款以及对用户请求的人工处理的成本是不期望的。因此，现有技术是低效、易于出错和/或非用户友好的。

然而，对隐私越来越多的需求驱使公民要求更多的隐私保护。同时，街景服务的附加价值是明显的，并且越来越多数量的人利用这些服务。对于企业，这些服务提供了向（潜在）客户提供信息的有价值的替代方案。

因此，期望提供用于处理在公共空间等中捕获的图像数据的更先进的方法。

根据本文公开的一个方面，提供了包括拼接模块的图像处理设备（例如服务器），其中拼接模块被配置为接收物理空间的第一区域的第一图像和所述物理空间的第二区域的第二图像，并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块和从第二图像导出的第二区块的合成图像（注：第一区块和第二区块通常将部分重叠）。该图像处理设备还包括信号检测模块，其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据。优选地，信号检测模块通过从第一图像本身检测嵌入的信号（即，在第一图像中捕获该信号并从中提取该信号）来做到这一点，但是替代地可以通过使用与第一图像的捕获相关联地操作的单独光传感器来检测该信号。用任意方式，信号检测模块被配置为：基于检测到的元数据，将效果应用于合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系， 将效果应用于延伸超出第一区块的、该合成图像的第二区块的至少一部分（即，不与第一区块重叠的部分）。

因此，本发明提供了一种用户友好的方式用于提供与由图像处理设备捕获的物理空间相关的元数据，其允许一个或多个优点，诸如更有效的数据处理、用户的更强大的控制和/或更低的应用元数据时的故障率。该系统使用诸如编码光的光通信技术来传送与物理空间有关的元数据。这可以因多个原因中的一个或多个而是有益的。例如，相比于使用射频信标（例如，蓝牙、Wi-Fi、RFID等）它可以是有益的，因为它导致更少的RF污染，并且相比于使用公开（overtly）的可见标记（例如，QR码）它也可以是有益的，因为它可以要求较低分辨率的图像捕获和/或可以较少地依赖于可见标记对于图像捕获设备的位置。此外，在实施例中，编码光可以由被用来捕获图像的相同摄像机捕获，避免了对附加传感器的需要。

在实施例中，基于元数据而应用的效果可以包括移除或遮蔽（例如模糊化）合成图像的第一区块和第二区块的这些部分。可替换地，所述效果可以包括：如果合成图像包含第一区块和第二区块的所述部分中的任何一个，则防止存储、转移或复制合成图像。

作为另一替代方案，该效果不需要用于隐私，而是向观看者提供信息或以其他方式增强合成图像。因此，所述效果可以包括将图形元素覆盖在合成图像的第一区块和第二区块的所述部分上，和/或与第一区块和第二区块的所述部分相关联地将图形元素覆盖在合成图像上。例如该效果可以包括覆盖在合成图像的相关区块上方或附近的诸如“出售”标志或企业名称之类的消息，和/或可以包括突出显示所讨论的区块。

在实施例中，信号检测模块可以被配置为检测生成所述光的光源的位置，并基于所检测到的光源的位置、以及基于所确定的第一图像和第二图像之间的空间关系，确定元数据在合成图像内应用至哪个范围，并由此确定第一区块和第二区块的所述部分。

例如，元数据可以指定图像处理模块要遮蔽或移除显示所述物理空间内距离所述光源的位置在指定半径内的任何东西的该合成图像的部分（例如使光源位置的10m或20m半径内的全部对象和其他景色模糊化）。在这种情况下，图像处理模块被配置为将合成图像中的所述范围（即，元数据所应用的范围）确定为对应于所述物理空间内距离光源位置的指定半径的范围。

在实施例中，拼接模块被配置为基于物理空间的第一区域和第二区域之间的空间关系来确定所述第一图像和第二图像之间的所述空间关系。例如，拼接模块可以被配置为基于在第一图像和第二图像被捕获时由定位系统检测到的第一图像和第二图像被捕获处的位置（例如，基于由摄像机或搭载摄像机的车辆所捕获的GPS坐标）来确定物理空间的第一区域和第二区域之间的空间关系。

可替换地或附加地，拼接模块可以被配置为基于应用到第一图像和第二图像的图像识别（即，通过将第一图像和第二图像中的可识别对象的部分彼此匹配）来确定第一图像和第二图像之间的所述空间关系。

在特别优选的应用中，图像处理设备可以被布置为使得包括所述效果的合成图像作为街景服务的一部分在线可用。

在另外的实施例中，拼接模块和/或信号检测模块可以视情况被配置为执行根据本文公开的任何图像处理特征的操作。

根据本文公开的另一方面，提供了一种系统，其包括根据本文公开的任何实施例的图像处理设备，并且还包括被配置为捕获第一图像和第二图像的摄像机。在实施例中，摄像机可以安装在诸如小汽车的车辆上，车辆游动并系统地收集包括第一图像和第二图像在内的它周围环境的图像，并随着它行走而记录这些图像被捕获处的相应定位（例如，GPS坐标）。所收集的图像和相关联定位然后可以被拼接模块用于创建合成图像。

根据本文公开的另一方面，提供了一种方法，包括：接收物理空间的第一区域的第一图像和所述物理空间的第二区域的第二图像；确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块和从第二图像导出的第二区块的合成图像；检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；以及基于检测到的元数据，将效果应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系， 将效果应用于延伸超出第一区块的、该合成图像的第二区块的至少一部分。

根据本文公开的另一方面，提供了一种计算机程序产品，其包括体现在计算机可读存储介质上和/或可从计算机可读存储介质下载的代码，所述代码被配置为使得当在信号处理设备上运行时执行以下操作：接收物理空间的第一区域的第一图像和所述物理空间的第二区域的第二图像；确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块和从第二图像导出的第二区块的合成图像；检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；以及基于检测到的元数据，将效果应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系，将效果应用于延伸超出所述第一区块的、该合成图像的第二区块的至少一部分。

在实施例中，所述方法可以包括操作或计算机程序可以被配置为执行根据本文公开的任何图像处理特征的操作。

附图说明

为帮助理解本公开内容，并为了示出可以如何将实施例付诸实现，作为例子参考附图，在附图中：

图1是用于捕获和拼接图像的系统的示意图，

图2是场景的两个单独捕获的图像的示意图，

图3是从两个单独捕获的图像拼接在一起的合成图像的示意图，

图4是基于相关于合成图像检测到的元数据而被模糊化的合成图像的示意图，以及

图5是合成图像的示意图，具有基于相关于合成图像检测到的元数据而被覆盖的信息。

具体实施方式

下面描述使用朝向图像捕获设备发射的编码光来向图像捕获设备提供元数据（比如隐私设置）的系统和方法。此元数据然后被用于对捕获的图像的处理。然而，单个场景（例如，特定道路的左侧）不是在单个图像中被捕获。相反，拍摄多个较小的图像，然后“拼接”这些图像以创建包含该场景的较大图像。为适应这一点，该方法包括：（i）捕获物理空间中第一区域的第一图像数据，第一图像数据包括编码光，（ii）捕获物理空间中的第二区域的第二图像数据，第二区域与第一区域不同（并且其可能是部分重叠的）；（iii）基于第一区域和第二区域之间的空间关系来确定第一图像数据和第二图像数据之间的空间关系；（iv）从编码光中提取与至少第二区域有关的元数据；以及（v）基于提取的元数据和所确定的第一区域和第二区域之间的空间关系来处理至少第二图像数据。

图1示出了根据本公开的实施例的系统。该系统包括一起工作的三个组成部分：（a）用于发射编码光的照明设备102；（b）用于捕获摄影图像的图像捕获设备104；以及（c）用于处理图像的图像处理设备106，并且在实施例中使它们作为街景服务的一部分可用。

照明设备102被部署为包括一个或多个对象101的场景100（即，物理空间）的一部分，用户希望将元数据与对象101相关联。例如，一个或多个对象101可以包括一个或多个建筑物，并且用户可以是建筑物的所有者。如稍后将更详细地讨论的，借助于被嵌入在由照明设备102发射的光中的信号来包括元数据。元数据可以包括用户希望街景服务遵守的某种程度的隐私的指示，例如希望当（多个）建筑物101出现在街景服务中时使之模糊化。可替换地，元数据可以包括用户希望在（多个）建筑物或（多个）对象101被通过街景服务观看时与之相关联地显示的信息，例如建筑物101在出售的事实。

图像捕获设备104采用安装在由人或计算机操作者驾驶的车辆105上的摄像机单元的形式。例如车辆可以采用诸如小汽车、面包车、摩托车之类的汽车的形式；或者可以采用诸如自行车或手摇车之类的靠人力做动力的车辆的形式。可替换地，摄像机单元104可以由乘坐在车辆105上或步行的人类操作者个人随身携带。车辆105和/或人类操作者可以是由街景服务的提供商运行或委托的操作的一部分。在这种情况下，将典型地指令车辆105或操作者系统地穿过感兴趣的环境中（例如，在某个城镇或城市中）的道路系统。在这种系统性的旅程期间，摄像机104被布置为在沿每条道路的不同的相应位置处捕获多个图像（照片），并随着它/他/她行走而将这些图像提交给街景服务。可替换地，摄像机104的操作者可以是与街景服务没有特别关联、但是自愿地在即兴的（ad hoc）基础上提交图像的用户（如果足够多的用户这样做，则街景服务可以逐步建立充足的图像数据库）。

无论哪种方式，图像被提交给具有街景服务的服务器形式的图像处理设备106（注意，本文提及的服务器是指可以包括位于一个或多个地理地点处的一个或多个服务器单元的逻辑或功能实体）。此外，在实施例中，摄像机104（或与其相结合地工作的伴随的设备）配备有定位系统的客户端，其被布置为使用定位系统来检测每一个图像被捕获处的定位。例如，定位系统可以是基于卫星的定位系统，比如GPS（全球定位系统）。摄像机104（或伴随的设备）由此被布置为与每个图像相关联地记录每个相应图像被捕获处的相应地理位置，并且将其与每个相应图像相关联地提交给服务器106。

服务器106包括拼接模块108，其被布置为基于其本身在本领域中公知的全景图像处理技术将图像中的相邻图像拼接在一起成为全景图像。在实施例中，拼接模块被配置为基于在捕获时采集的图像的地理定位（例如，GPS坐标）来实现这一点。可替换地或附加地，可以基于对象识别技术来执行拼接，即如果拼接模块108识别出一个对象的一侧或一部分以及在另一图像中识别出同一对象的（优选地重叠的）另一侧或另一部分，则该识别可以被用于将包含该对象的那些部分的相邻图像拼接在一起。拼接模块108可以用软件来实现，所述软件存储在服务器106的一个或多个存储器设备（例如像硬盘之类的磁存储器设备或像闪存之类的电子存储设备）上，并被布置为在服务器106的一个或多个处理器上（或更一般地在图像处理设备上）运行。可替换地，不排除拼接模块108可以在专用硬件电路或可配置或可重新配置的硬件（例如，PGA或FPGA）或硬件和软件的任何组合中实现。

服务器106被布置为使得通过拼接创建的最终所得到的全景图以经由诸如互联网112的广域网可访问的虚拟视图的形式对于公众可用。也就是说，诸如智能电话、平板电脑、膝上型计算机或台式计算机的用户终端114的用户可以经由互联网112（例如使用在用户终端114上运行的web浏览器或专用app）与服务器106连接，并由此观看作为由拼接模块108执行的拼接的结果而创建的全景虚拟视图并且优选地通过该全景虚拟视图来导航他们的路线。例如，街景服务的提供商也可以是在线地图服务的提供商，使城镇、城市、县郡、州、国家乃至全世界的道路地图经由互联网112可用。在这种情况下，用户在他或她的用户终端114上运行web浏览器或专用app，其操作用户终端114来经由互联网112从服务器106访问在线地图绘制服务。因此，用户终端114向用户显示地图（或其一部分）。用户然后能够选择地图上的一个特定点，例如沿特定道路的一个特定点。作为响应，地图绘制服务利用所选择的定位链接到街景服务，并且街景服务经由互联网112向用户终端114提供与该定位相对应的、要经由用户终端114的屏幕显示的虚拟视图。然后，用户可以使用用户终端114上的用户界面而诸如通过改变角度、移动到不同的位置和/或放大或缩小来导航虚拟视图。

因此，基于以上概述的系统，摄像机104将捕获其周围（或在道路的单侧等）的物理定位上的多个图像，让每个图像与物理空间中的一个区域有关。例如，小汽车105每向前移动一米就拍摄一个图像。图像之间将很可能存在重叠，这对于图像处理步骤是有利的，因为它允许各个图像的更好的拼接以创建覆盖多个区域的较大图像。如果没有关于捕获设备104在拍摄照片之间已经移动多远的信息，则可以基于这些图像的至少重叠部分从图像中提取空间数据。无论哪种方式，之后可使最终所得到的虚拟视图以街景服务等形式对于用户可用。

参考图2，为了说明，考虑包括一个或多个建筑物101的场景100（即，物理空间），其中场景100被摄像机104在从不同的位置拍摄的两个（或更多）不同的图像200a、200b上捕获，使得图像200a、200b在一定程度上重叠但不完全重合。例如，场景100可以包括由给定方拥有或租赁的、或者作为由给定方运营的企业的场所的建筑物或建筑物复合体101（诸如学校）。然而，尽管事实上建筑物或复合体101可能落入单方的所有权、责任或利益内，但它足够大以至于它出现在由街景服务捕获的多个图像200a、200b之中，即建筑物或复合体101没有作为整体完全落入图像200a、200b中的任何给定的一个图像内。

然而，如图3所示，由拼接模块108将不同的相邻图像200a、200b拼接在一起成为合成图像300，其包括对应于第一捕获图像200a的第一区块300a和对应于第二捕获图像300b的第二区块300b（注意，合成图像的第一区块300a和第二区块300b优选地重叠以便辅助拼接）。因此，整个建筑物或复合体101确实出现在合成图像300上，并将以这种形式通过街景服务对公众可见。可能的是，对建筑物或复合体101感兴趣的一方（例如所有者）希望应用与建筑物或复合体101的图像相关的元数据，并且为此在合成图像300的、显示所讨论的建筑物或复合体101的所有部分上、而不仅仅是单独一个图像200a中的部分上应用元数据。例如，该方可能希望在街景服务中对整个建筑物或复合体101进行审查（例如模糊化），或者可能希望将整个建筑物或复合体101突出显示为在出售。

根据本公开的实施例，希望应用元数据的那方把照明设备102部署到场景100中，将之附连到所讨论的建筑物或复合体101、部署在其内部或在其附近。例如，照明设备102可以是固定到建筑物或复合体101的外表面的照明器，或者是放置在建筑物或复合体101的地面中的固定式或独立式（free-standing）照明器，或甚至是位于建筑物或复合体内部、但通过窗户或其他开口可见的照明器。照明设备102被配置为在其发射的可见光中包括嵌入的信号，该信号包括与建筑物或复合体101有关的元数据。照明设备102可以是通用照明系统的一部分，其主要用途是照亮建筑物或复合体101或场景100，使得嵌入的信号被嵌入到通用照明中。可替换地，照明设备102可以是具有借助于光来发射信号的专门用途的专用设备。

用于发射嵌入的信号的照明设备其本身在本领域是已知的。一个示例是使用编码光，由此由光源102发射的光的强度以足够高的频率被调制成对于人眼是不可见的（或至少是可忍受的）。在实施例中，调制可以包括单音（single tone）（正弦曲线）或单个振荡波形（例如矩形波），并且音调或波形的频率充当嵌入的代码（即，不同的光源各自发射具有不同的唯一（在所讨论的系统内唯一）调制频率的光）。然后可以借助于在接收侧执行的查找将该代码映射到预定的意义。可替换地，为了嵌入更复杂的数据，更复杂的调制方案是可能的。例如，可以改变调制频率以根据频率键控方案表示数据，或者可以改变调制频率的相位以根据相位键控方案表示数据，或者可以改变调制的幅度以根据幅度键控方案表示数据（例如曼彻斯特码）。在这种情况下，要传达的信息可以被明确地嵌入到光中，或者再次地可以基于接收到的代码在接收侧查找。

将信号嵌入光中的其他形式可以包括使用光的光谱组成来传达信息，或者将不引人注目的空间图案嵌入到照亮建筑物或复合体101或场景100的照明中。

通过任何这样的手段，照明设备102可以因此被配置为发射嵌入信号的光，该信号传达与物理定位100（比如在该定位处的特定建筑物或复合体101）有关的任何期望的元数据。这样的元数据可以是与隐私相关的数据，比如用户已经选择了什么隐私设置，例如：使显示人或人脸的图像数据模糊，或不捕获光源三米内的任何图像，或使光源周围20米（=BL_20_CTR）模糊。可替换地，元数据可以包括其他数据，以便比如提供与场景100相关的信息，例如“物业出售”、“将在1月2日到来的庭院出售”或“位于该建筑物中的商店名称是‘休的药店’、‘超级汉堡’[等]”）。

图像捕获设备104可以采用本领域已知的任何合适的形式。它被配置为当它经过时既捕获场景100的图像200a、200b，也捕获编码光，优选地作为已捕获图像本身的一部分。例如，摄像机104可以采用卷帘快门摄像机的形式，其中图像传感器的像素被分组成多行（line）（例如水平行），并且摄像机104通过在稍微不同的连续时间处顺序地逐行曝光每行来捕获图像。因此，每行在稍微不同的时间并因此在调制的不同相位处捕获来自光源102的光。如果行速率（line rate）相对于调制频率足够高，则因此这使能在图像200a中检测该调制。如果代码相对于帧中的行数足够短，则可以在单个帧中检测代码；否则可以在视频图像的多个帧上检测代码。此外，如果摄像机不是卷帘式快门摄像机，而是立即暴露整个帧的全局快门摄像机，那么如果帧速率相对于调制频率足够高，则仍然可以从视频图像中检测编码光。合适的编码光技术本身将是本领域技术人员熟悉的。

图像处理模块106包括编码光检测模块110，其被布置为从由摄像机104捕获并提交的图像中提取编码的光信号。编码光检测模块110可以用存储在服务器106的一个或多个存储器设备（例如像硬盘之类的磁存储器设备或像闪存之类的电子存储设备）上的软件来实现，并且其被布置为在服务器106的一个或多个处理器上（或更一般地在图像处理设备上）运行。可替换地，不排除编码光检测模块110可以在专用硬件电路或可配置或可重新配置的硬件（例如，PGA或FPGA）或硬件和软件的任何组合中实现。

一旦已经提取了编码光，就可以确定元数据和相关动作。在实施例中，这将包括将图像300修改为通过街景服务使之可用。例如，元数据可导致视图在某个建筑物或复合体周围、或光源102周围的某个半径被模糊化。

因此，街景服务的图像捕获设备104将捕获出现在第一图像200a中的编码光元数据，并且相应地调整视图300以使之对公众可用。

在所示出的示例中，光源102出现在第一图像200a中。已知使用编码光作为用于对场景加水印的手段，因此捕获编码光的任何给定图像将包含水印（例如，在先前的应用中，使得未经授权的图像可以在以后被以适于法庭的方式（forensically）标识）。然而，以前没有认识到，在覆盖场景100的第一区域的第一图像200a中检测到的编码光实际上也可能打算覆盖仅出现在第二图像200b中的场景100的第二区域，即使编码光在第二图像200b中可能不是十分必然地可检测的。

根据本文的实施例，这通过使用由拼接模块106确定的空间关系来解决，以便将在一个图像200a中检测到的编码光元数据应用于另一相邻图像200b。也就是说，编码光检测模块110被配置为基于从第一捕获图像200a检测到的元数据来修改合成图像300以应用某种效果401（例如参见图4和图5），其中该效果不是仅应用于从第一捕获图像200a（或从其一部分）导出的合成图像300的区块300a，还应用于从第二捕获图像200b（或再次地从其一部分）导出的合成图像300的区块300b。

如所讨论的，诸如安装在街景服务的小汽车105上的摄像机单元的图像捕获设备104将捕获其周围（或在道路的单侧等）的物理定位的多个图像。每个图像与物理空间中的区域有关，例如小汽车每向前移动一米就拍摄一个图像，并且图像之间将很可能存在重叠，这有利于帮助单独图像200a、200b的“拼接”以创建覆盖多个区域的较大图像300。

作为捕获图像的一部分，也捕获由照明设备102发射的编码光。在各种情景中，可以直接在图像200a中捕获照明设备102（即，可以精确定位编码光的源），或者可以直接接收编码光，但照明设备102不可见（例如，照明设备位于房间中，而光通过朝向摄像机104的窗口出射），或者编码光可以被间接地接收（即，光反射离开对象而朝向摄像机104）。

图像处理设备106现在具有与各个区域相关的多个图像。在捕获至少一个图像200a的过程中，已经捕获了编码光（注意，编码光的捕获可以是与捕获图像200a相同的步骤的一部分，或者它可以是恰好在图像200a被捕获之前或之后（例如在同一瞬间）的单独步骤；且尽管可以使用相同的传感器（即摄像机104），但这不是必须要求的）。元数据被从编码光中提取，并可以用于对图像200a、200b中的多个图像进行处理。（多个）图像处理设备106将使用拍摄的图像200a和200b以及从编码光中提取的元数据，并确定第一图像200a和第二图像200b之间的关系。第一图像200a与物理空间的第一区域有关，其中（作为拍摄该相同图像的一部分或在单独步骤中）捕获编码光数据。第二图像与第二区域有关。在第一区域和第二区域之间存在空间关系，并且通过确定该关系也确定了第一图像和第二图像200a、200b之间的空间关系。然后可以将在第一区域中捕获的编码光数据应用于（多个）第二（或另外的）图像200b。

嵌入在由光源发射的编码光中的元数据可以指各种类型的请求或信息。例如，元数据可以指定应当使图像（或其一些部分）模糊，例如“使这个房子模糊”或“BL_20_CTR”（=使光源周围20米模糊”；指令图像处理设备106确定拼接图像中的光源102的定位，基于空间信息确定半径，并使光源102的20米内模糊）。可替换地，元数据可以指定要与图像（或其一些部分）相关联地显示信息，例如“出售”、“在街景服务上显示商家名称”或诸如“较低楼层=主街5a；较高楼层=主街5b”的地址数据。

假使编码光应用的带宽有限，则这样的信息不需要被直接编码，而是替代地被编码的元数据可以是对网站或在线服务的引用，该引用链接到该数据。到元数据的链接可以本身包括到进一步的信息的链接，例如允许将内部照片链接到建筑的外部视图。

在实施例中，元数据被链接到第一图像200a，并且进一步的处理在被捕获之后、在后一阶段由另一设备进行，该设备诸如是具有比摄像机104更大计算能力的服务器106。可替换地，元数据甚至可以使得捕获设备（摄像机）104直接执行所述请求。

作为示例性使用情形，房屋可以在多个图像200a、200b中被捕获，多个图像200a、200b被拼接在一起以创建单个图像300，单个图像300于是包括完整的家庭。仅针对单个图像200a捕获编码光，但由于图像200a、200b在空间上相关（并且这是拼接的基础），所以处理被跨两个（或更多个）图像200a、200b来应用。例如由照明设备102发射的编码光从第一图像200a中被提取出来，并指定应当使房屋模糊。作为图像处理的一部分，在合成图像300中识别房屋，并对图像300的包括房屋的那些部分执行模糊化，那些部分跨越分别从第一捕获图像200a和第二捕获图像22b二者导出的区块300a、300b二者中都被示出的房屋的那些部分。

图4中图示了更复杂的示例。这里，元数据没有指定房屋或复合体101本身应当被模糊化，而是声明对应于编码光源102周围的指定半径（比如说10米）的区域应当被模糊化。现在需要空间信息来确定哪些像素与该10米的地带相关。例如，街景服务可以使用基于激光的距离测量来捕获这样的信息，并将该信息标记到被捕获的图像200a、200b；或提取这样的空间信息的其他选项包括：使用立体图像，使两个摄像机以已知的距离分开且成已知的角度，或者基于已识别的特定对象的已知尺寸（例如，门的宽度）来确定图像中的对象的尺度，或任何其他合适的图像识别技术。基于该信息，图像处理设备106（例如服务器）上的编码光检测模块110将模糊效果401应用于和物理空间100中距光源102（接近）10米半径相对应的拼接图像300的一些部分。如果照明设备102在图像200a、300中不可见（例如，其被隐藏和/或仅捕获到光的反射），则可能需要额外的处理。例如，照明设备102的近似位置可以基于所捕获的光的方向、在图像中可见的光的阴影或暗淡（fading）等来确定。

图5中图示了另一示例。这里，元数据指定要与某一建筑物相关地显示的信息。在这种情况下，添加到合成图像300的效果401包括在图像上覆盖信息。例如，效果401可以包括在合成图像300内突出显示所讨论的建筑物，和/或添加诸如“出售”的消息。例如，为了突出显示，建筑物的边界可以由关于物理空间100内的地理坐标的元数据来指定，并且编码光检测模块110可以将这些转换为合成图像300中的坐标。类似地，为了消息的目的，元数据可以指定例如相对于物理空间100用于显示该消息的位置，比如某一组地理坐标，并且这些可以被转换成图像的坐标。可替换地，元数据可以指定“应用于该建筑物”，并且编码光检测模块110可以另外应用图像识别技术来识别最接近编码光的源102的建筑物，并且通过这种手段在图像300内的适当地方应用突出显示和/或消息。

应当理解，上述实施例仅作为示例来描述。

例如，本公开的适用性不限于街景服务。此外，图像处理设备106不限于在服务器中实现。例如本文公开的技术还可用于将元数据应用于在个人计算机单元上创建的全景图像，所述个人计算机单元诸如是通过其来捕获作为组成部分的被捕获的图像的个人摄像机单元或智能电话或平板电脑、或捕获的图像被下载到的台式计算机或膝上型计算机。在这些情况下，包括拼接模块108和编码光检测模块110的图像处理设备106可以在个人计算机单元而不是服务器106上实现。可替换地，即使全景图像是供个人使用，该处理也可以被卸载到在服务器上实现的图像处理设备106，但是是作为用于用户自己的个人图像的个人全景图像处理服务，而不是作为公共街景服务的一部分。

此外，元数据可以指定其他类型的审查效果，而不仅仅是模糊化或其他这样形式的遮蔽。例如，元数据可以指定：如果图像包含与元数据隐私设置相关的任何部分，则应当根本不允许捕获图像，使得包含与元数据相关的任何部分（例如某个建筑物或复合体101的任何部分）的任何图像200a、200b、300在捕获后不允许以任何非易失性形式存储，而作为替代应当被立即删除。在这种情况下，图像处理设备106被实现为捕获摄像机单元104的一部分；并且图像处理设备106的编码光检测模块110被布置为：通过从违规图像临时保持在其中的任何临时逻辑（例如RAM、寄存器或锁存器）中立即删除违规图像，而自动地按元数据指定的隐私设置起作用。

作为另一示例，元数据可以指定包含与元数据相关的任何部分（例如，某个建筑物或复合体101的任何部分）的任何图像200a、200b、300不被允许转移到任何其他外部目的地，诸如另一个外部计算机单元（或不允许被转移到一个或多个特别指定的禁止目的地，或仅允许被转移到一个或多个特别指定的批准目的地）。在这种情况下，图像处理设备106可以再次被实现为捕获摄像机单元104的、或可能潜在地接收和散布这样的图像的任何其他计算单元（例如单独的用户终端或服务器）的一部分；并且图像处理设备106的编码光检测模块110被布置为通过自动阻断违规图像被接收和/或被转发而自动地按由元数据指定的隐私设置起作用。

作为又一个示例，元数据可以指定包含与元数据相关的任何部分（例如，某个建筑物或复合体101的任何部分）的任何图像200a、200b，300不允许上载到任何社交媒体服务或其他这样的公共服务（或不允许上载到一个或多个特别指定的禁止服务，或只允许上载到一个或多个特别指定的批准服务）。在这种情况下，图像处理设备106可以再次被实现为捕获摄像机单元104的、或可能潜在地接收和散布这样的图像的任何其他计算单元（例如单独的用户终端）的、或宿有（host）可能潜在地发布所述图像的公共服务的任何服务器的一部分；并且图像处理设备106的编码光检测模块110被布置为通过自动阻断违规图像被上载和/或被接受用于发布而自动地按由元数据指定的隐私设置起作用。

此外，本公开的范围不限于应用关于建筑物或建筑物的复合体101的元数据。通常，元数据可以涉及可包括例如一个或多个特定建筑物、人、植物、艺术设施和/或展览等的任何场景（任何物理空间）。

此外，本文的教导的适用性不限于两个相邻图像。通常，可以使用任何两个或更多个图像之间的空间关系来从与一个图像相关联地检测到的任何嵌入的光信号中取得元数据，并将该元数据应用于任何其它一个或多个空间相关图像或其（多个）部分。

此外，本公开的范围不限于静止图像，并且在其他实施例中，类似技术可以被用于将相邻视频图像拼接在一起，并且将从一个这样的图像中检测到的基于光的元数据应用于另一图像。

根据对附图、本公开内容和所附权利要求的研究，本领域的技术人员在实践所要求保护的本发明时可以理解并实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“a（一）”或“an（一个）”不排除多个。单个处理器或其他单元可以实现权利要求中陈述的若干项目的功能。在相互不同的从属权利要求中陈述某些措施的纯粹事实并不表明这些措施的组合不能被用于获益。计算机程序可以储存在合适的介质上/在合适的介质上分发，合适的介质是诸如和其它硬件一起提供的或作为其它硬件的一部分提供的光学存储介质或固态介质，但是也可以用其它形式分发，诸如经由互联网或其它有线或无线电信系统分发。权利要求中的任何参考标记不应当被解释为限制范围。

Claims (15)

1. 一种图像处理设备（106），包括：

拼接模块（108），其被配置为接收物理空间（100）的第一区域的第一图像（200a）和所述物理空间的第二区域的第二图像（200b），并确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块（300a）和从第二图像导出的第二区块（300b）的合成图像（300）；以及

信号检测模块（110），其被配置为检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；

其中所述信号检测模块被配置为基于检测到的元数据，将效果（401）应用于所述合成图像的第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间确定的空间关系，将所述效果应用于延伸超出所述第一区块的、所述合成图像的第二区块的至少一部分。

2.根据权利要求1所述的图像处理设备，其中信号检测模块（110）被配置为从第一图像（200a）检测所述嵌入的信号。

3.根据权利要求1或2所述的图像处理设备，其中信号检测模块（110）被配置为检测生成所述光的光源（102）的位置，并基于所检测到的所述光源的位置、以及基于所确定的第一图像（200a）和第二图像（200b）之间的空间关系，确定元数据在合成图像（300）内应用至哪个范围，并由此确定第一区块和第二区块（300a、300b）的所述部分。

4.根据任一前述权利要求所述的图像处理设备，其中所述效果（401）包括遮蔽或移除所述合成图像（300）的所述第一区块和第二区块（300a、300b）的所述部分。

5.根据权利要求4所述的图像处理设备，其中所述效果包括：通过使所述部分模糊来遮蔽所述合成图像（300）的所述第一区块和第二区块（300a、300b）的所述部分。

6.根据权利要求3和权利要求4或5所述的图像处理设备，其中元数据指定图像处理模块（110）要遮蔽或移除所述合成图像的、显示所述物理空间（100）内距离所述光源（102）的位置在指定半径内的任何东西的部分，并且其中图像处理模块被配置为将合成图像（300）中的所述范围确定为对应于所述物理空间内距离光源位置的指定半径的范围。

7.根据权利要求1至3中任一项所述的图像处理模块，其中所述效果包括如果合成图像（300）包含第一区块和第二区块（300a、300b）的所述部分中的任何一个，则防止所述合成图像（300）被存储、转移或复制。

8.根据权利要求1至3中任一项所述的图像处理设备，其中所述效果（401）包括将图形元素重叠在合成图像（300）的第一区块和第二区块（300a、300b）的所述部分上，和/或将图形元素与第一区域和第二区域（300a、300b）的所述部分相关联地重叠在合成图像（300）上。

9.根据任一前述权利要求所述的图像处理设备，其中拼接模块（108）被配置为基于物理空间（100）的第一区域和第二区域之间的空间关系确定第一图像和第二图像（200a、200b）之间的所述空间关系。

10.根据权利要求9所述的图像处理设备，其中拼接模块（108）被配置为基于在第一图像和第二图像（200a、200b）被捕获时由定位系统检测到的、第一图像和第二图像（200a、200b）被捕获处的位置来确定物理空间（100）的第一区域和第二区域之间的空间关系。

11.根据任一前述权利要求所述的图像处理设备，其中拼接模块（108）被配置为基于应用到第一图像和第二图像的图像识别来确定第一图像和第二图像（200a、200b）之间的所述空间关系。

12.根据任一前述权利要求所述的图像处理设备，其中图像处理设备（106）被布置为使得包括所述效果的合成图像作为街景服务的一部分而在线可用。

13.一种包括任一前述权利要求所述的图像处理设备以及被配置为捕获第一图像和第二图像（200a、200b）的摄像机（104）的系统。

14.一种方法，包括：

接收物理空间（100）的第一区域的第一图像（200a）和所述物理空间的第二区域的第二图像（200b）；

确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块（300a）和从第二图像导出的第二区块（300b）的合成图像（300）；

检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；以及

基于检测到的元数据，将效果（401）应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系，将效果应用于延伸超出所述第一区块的、所述合成图像的第二区块的至少一部分。

15.一种计算机程序产品，其包括体现在计算机可读存储介质上和/或可从计算机可读存储介质下载的代码，所述代码被配置为使得当在信号处理设备上运行时执行以下操作：

接收物理空间（100）的第一区域的第一图像（200a）和所述物理空间的第二区域的第二图像（200b）；

确定第一图像和第二图像之间的空间关系，并由此将第一图像和第二图像拼接在一起成为包括从第一图像导出的第一区块（300a）和从第二图像导出的第二区块（300b）的合成图像（300）；

检测嵌入的信号，所述嵌入的信号在第一图像的捕获时已经被嵌入到照亮所述物理空间的所述第一区域的至少一部分的光中，所述嵌入的信号传达与所述物理空间的至少一部分有关的元数据；以及

基于检测到的元数据，将效果（401）应用于所述合成图像的所述第一区块的至少一部分，并且还基于检测到的元数据以及基于所确定的第一图像和第二图像之间的空间关系，将所述效果应用于延伸超出所述第一区块的、所述合成图像的第二区块的至少一部分。