CN106664349A - 通过记录、共享和处理与广角图像相关联的信息的对系统行为或用户体验的自动化定义 - Google Patents

Abstract

根据本发明的系统和方法允许对与图像和它们的成像器相关联的不同参数的自动记录、共享和传送以定义显示设备或算法单元的特定系统行为。信息的示例包括成像器参数、环境参数、图像处理和增强参数、广角场景图像内容的区段的坐标、显示参数、所定义的用户体验、所定义的系统行为或要被记录、共享和传送的任何信息。为了避免信息的丢失，使用标记将信息直接编码在图片中。这样，将信息从成像器稳健地传递到显示单元。根据所述信息，可以在显示之前自动地修正和增强最终图像，不同的相关联的参数可以被显示在最终图像上或者被与另一输出一起使用。因此可以定义或再产生最终用户体验或系统行为。

Description

通过记录、共享和处理与广角图像相关联的信息的对系统行 为或用户体验的自动化定义

相关申请的交叉引用

本申请要求提交于2014年3月25日、标题是“Automated Identification ofPanoramic Imagers for Appropriate and Efficient Panoramic Image DistortionProcessing System（用于适当且高效的全景图像失真处理系统的全景成像器的自动化标识）”、当前未决的美国临时专利申请号61/970,159的益处，其整体内容被通过引用并入本文中。

背景技术

本发明涉及记录、共享和传送与成像器相关联的信息来定义系统行为。其包括如何通过广角成像器创建被编码有信息的广角图像或视频以及如何自动地解码和应用信息和图像处理或显示。信息最后被用来基于参数定义特定系统行为或用户体验。

使用图像或视频，用户可以记录、共享或传送信息。除了图像或视频内容之外，还存在许多与内容相关联的信息。该信息是以成像器参数的形式，诸如但绝不限于广角设备参数、环境参数、图像处理、增强或显示参数、系统行为、用户体验或者要被记录、共享或传送的任何其他信息。

用以将一些重要参数从成像器传递到最终用户的现有公知方法是使用元数据等。元数据是通常写在数字图像文件的头部中的文本信息。该头部是在实际图像数据之前或之后的文件的一部分，因每个文件格式而异。然而，元数据在图像或视频文件被转换成另一格式时或者在其被通过不同介质（诸如因特网）传递时遭受信息损失。通过经打印或扫描的图像来传递元数据也是不可能的。因此，使用元数据等不是用以传递与广角图像或视频相关联的信息的稳健方法。

与广角图像或视频相关联的一种重要信息是成像器参数。广角成像器通过将对象重新映射到图像而从真实世界环境产生二维（2D）图像，在所产生的图像中造成失真或不连续。不论使用什么种类的广角成像器，从镜头到反射折射系统以及包括将一些窄角图像拼接在一起的成像器或产生分离的未经拼接的窄角图像的成像器，最终的广角图像将总是包括一些失真或图像重新映射以在2D平面中呈现环境。图像重新映射的结果是图像以这样的方式变形：取决于成像器的类型，对象环境中的直线在广角图像中看起来是弯曲的、分段线性的或不连续的。

为了向用户或者向算法适当地显示图像的一部分，通常如在针对线性失真的美国专利号RE44,087 E1或者分别针对自定义对称和自定义非对称失真的美国专利号6,844,990 B2和6,865,028 B2中那样完成失真的修正。为了适当地修正失真，算法必须知晓成像器的不同参数，包括准确的失真简档、视场、图像的光心位置以及广角成像器的空间定向。然而，利用上面的现有技术，失真处理算法要么与具有被预编码在其内部的参数的单个广角成像器关联，要么要求来自最终用户的对不同参数的手动选择。最终用户常常不具有参数的准确知识，使得失真处理冗长且有缺陷，并且传递被要求的参数的过程被要求。

在立体图像处理的情况下，在美国专利号8,358,329 B2中提出了使用被添加在组合两个被要求的图像以用于立体视觉的图像文件的边缘中的条形码来存储来自成像器的信息，比如所使用的立体图像的类型和两个图像的视点之间的距离。然而，被编码在条形码内部的所传输的数据包括仅针对通过图像合成单元在软件级别处组合的立体图像的非常有限的参数。

在美国专利号5,461,440 A和美国专利号6,707,998 B2中还提出了在使用模拟胶片（film）而不是数字传感器来捕获图像的相机中的使用条形码的镜头标识。然而，静态的编码的数据仅虑及镜头标识而不能被动态地使用或者用于传输取决于特定用户应用而改变的成像器信息。类似地，在使用条形码或二进制码的其他系统中，被编码在条形码或二进制码内部的数据由相机制造商出于非常特定的目的而设置。输出被关联到单一使用，其不能依靠存在于经编码的数据中的参数的种类或者依靠特定用户需要而改变输出。更进一步地，这些系统是静态的并且不能用于动态地编码或传输改变的成像器参数。由于所有这些原因，经编码的数据不能用于依靠原始场景的特定信息来定义不同系统行为或用户体验。为了最佳的广角图像处理并且为了允许依靠参数来定义不同的系统行为或用户体验，可以实时地在成像器级别处添加信息以计及动态地改变的镜头、相机、设备或环境参数，诸如定向、所传输图像的子区域、日期、地理位置或甚至如在美国专利公开号2012/0314065 A1中提出的动态失真。

在国际专利公开号WO 2007/110697 A3中，提出了用以物理地标记光学系统或在图像平面中光学地添加标记以允许标识广角光学系统的系统。然而，如果在镜头上使用物理标记，则该系统仍需要在成像器处对参数的手动用户外部输入，诸如镜头标识号或设备定向等。当光学标记被用来显现在图像平面上时，系统是静态的并且非常受限，因为其不能包括比如定向或所传输的图像的子区域的广角成像器参数的动态编码。其不能传输取决于特定用户应用的适应性成像器信息，并且因此不能用于定义不同的用户体验或系统行为。更进一步地，另一缺点在于镜头必须从开始被设计成包括这样的标记并且该方法不能被扩展至已经存在的广角成像器。

除了广角设备参数之外，本发明还提供用以记录、共享或传送与图像或视频相关联的所有种类的镜头、相机、设备或环境信息的方案。该方案可以用在宽得多的范围的应用中。于是，主要创新在于能够通过依靠特定参数指示输出什么以及如何输出来自动地定义不同的用户体验或系统行为。更进一步地，一些信息是动态的，诸如实时相机定向、实时用户体验、实时系统行为和在上面的专利中不能通过静态方式记录的动态信息。

发明内容

为了克服所有先前提及的问题，当前发明的实施例提出了用以记录、共享或传送与图像或视频相关联的所有种类的成像器参数的方案。这些成像器参数包括与镜头、相机、整个设备或设备周围的环境相关联的所有种类的信息。取决于所共享的场景的特定信息，创建特定用户体验或系统行为以用于最终的显示设备或算法单元。这允许最终用户的设备标识所有的成像器参数或所使用的其他信息并基于所接收的信息应用正确种类的用户体验或系统行为。可以为最终用户创建的特定的用户体验或系统行为的一些示例包括图像失真修正、图像增强或信息供应以用于进一步处理。在最终用户不具有设备的成像器参数的任何知识的情况下，所有这些可以被自动地完成。

由系统创建的用户体验影响人类-系统的交互并且由成像器参数定义。用户的感知和响应由对系统的使用和/或预期使用引起。用户体验包括在使用系统之前、期间和之后发生的情绪、信仰、偏好、感知、身体和心理响应、行为和实现。用户体验是品牌形象、呈现、功能、系统性能、交互式系统的交互式行为和辅助能力、由在先体验引起的用户的内在和身体状态、态度、技能和个性以及使用的背景的结果。

系统行为是由系统结合它们自身（自主的）或它们的环境做出的动作或处理的范围，所述环境包括其他系统、系统用户、生物体、人造实体或物理环境。其是系统对各种刺激或输入的响应，不论是内部的或外部的、有意识的或下意识的、公然的或隐蔽的以及自愿的或非自愿的。

在这里，广角成像器是能够生成广角图像或广角图像的部分的任何设备，包括但不限于广角镜头、多镜头系统、反射折射系统或由任何图像处理单元生成的广角图像。在一些实施例中，成像器包含至少一个被配置成捕获图像的相机模块。

共享参数的想法是在成像器设备内部在图像上添加可视标记以编码与场景相关联的不同信息。因为其被电子地添加，所以标记可以被动态地更新并且包括关于成像器的实时参数，诸如空间定向、地理定位、日期和时间、传感器操作模式、实时用户体验或系统行为，解决了先前建议的标记的静态问题。更进一步地，被编码在标记内部的准确信息可以取决于最终用户的应用要求什么而变化，并且取决于呈现的信息，最终用户体验或系统行为将是不同的。

更特别地，在本发明的至少一些实施例中，相关联的参数全部被编码在位于图像区域内部的标记内。广角图像常常具有在场景图像内容外部的在数字图像的角落中的区域，在那里没相关于环境的信息。这些角落通常在这些图像中显现黑色，因为在这些位置处没有光到达传感器平面。在这些情况下，将经编码的标记放置在角落中对场景图像内容没有影响。在其中来自环境的场景图像内容充满整个图像的其他情况下，当在等矩形投影的广角图像中时，图像可以被放大以添加放置该经编码的标记的边缘。将具有经编码的参数的标记放置在图像内部但在场景图像内容区域外部允许对整个广角图像以及所有相关联的信息的稳健的传递而在图像文件被处理、在线流式传输、重新编码、缩放或打印/扫描时没有任何损失。

附加地，在本发明的至少一些实施例中，通过广角成像器添加到广角图像内部的编码的标记是公知的快速响应码（QR码）。在其他实施例中，编码的标记可以是包含经编码的信息的任何其他种类的标志。

在本发明的至少一些实施例中，被编码在标记中的信息允许最佳失真处理。该信息可以包括而不限于以下参数：唯一镜头成像器标识码、以表格或多项式形式的广角图像的完整失真简档、总视场、图像中的环境足迹、广角成像器空间定向以及地理定位坐标和/或图像中的光心的位置。在其他实施例中，被编码在标记中的信息可以包括而不限于：广角设备参数、环境参数、图像处理参数、增强参数、显示参数、用户体验或系统行为参数或要被记录、共享和在成像设备与最终用户之间传送的任何信息。

在本发明的一些实施例中，当仅传递完整广角图像的一部分以减小被要求的带宽或最大化传感器和显示器的帧速率时存在优势。在该情况下，标记还可以包括所传递的完整广角图像的子区段的坐标。这允许失真处理算法知晓图像的所传递部分来自哪个方向并且然后允许最佳失真处理。

通过传递图像内部的所有这些潜在成像器参数，我们确保最终用户的设备可以在最终用户不要求特定知识的情况下自动地修正、处理和增强图像。这相比于其中所有参数要求从不具有被要求的信息的最终用户的手动输入的现有失真处理或图像处理系统来说是有利的。此外，也可以根据被编码在标记中的特定信息以及根据应用来创建用以在显示设备或算法单元上输出的特定的用户体验或系统行为。

在本发明的一些实施例中，所生成的用户体验或系统行为仅包括向最终用户显示设备输出经处理的图像。在一些其他实施例中，为最终用户生成的输出取决于经编码的参数并且可以被输出到算法单元或者可以被输出为图像、参数的文本值、光指示符、触觉反馈或声音等中的至少一个的任何组合。

在本发明的一些实施例中，使用规则的视场成像器而不是广角成像器存在优势。在该情况下，标记还可以包括被最终用户的应用要求的与该成像器相关的特定参数，并且取决于呈现的信息，最终用户体验或系统行为将是不同的。

附图说明

前述概要以及本发明的优选实施例的以下详细描述在被结合附图阅读时将被更好地理解。出于说明的目的，在图中示出了目前优选的实施例。然而应理解的是，本发明不被限于所示的精确布置和手段。

在图中：

图1是用于通过共享介质传递成像器参数以定义用户体验或系统行为的系统的示意图；

图2是用于本地地传递成像器参数的系统的示意图；

图3是详述在成像器设备处创建被标记的图像的示意图；

图4是详述在图像处理单元处处理被标记的图像的示意图；

图5A是具有被编码在图像内部的成像器参数的有着椭圆场景图像内容的来自全景成像器的广角图像的示例；

图5B是具有被编码在图像内部的成像器参数的有着圆形场景图像内容的来自鱼眼成像器的广角图像的示例；

图5C是具有被编码在被添加在图像内部的边缘中的成像器参数的在等矩形投影中的广角图像的示例；

图5D是具有被编码在图像内部的成像器参数的在立方体投影中的广角图像的示例；

图5E是具有被编码在图像内部的成像器参数的以还未被拼接形式的广角图像的示例；

图5F是具有被编码在图像内部的成像器参数的完整广角图像的子区段的示例；以及

图5G是将来自多种广角成像器的内容组合在具有被编码在图像内部的成像器参数的广角图像中的示例。

具体实施方式

仅出于便利在以下描述中使用某些术语，但其不是限制性的。术语包括上面列出的词语、其衍生词以及类似含义的词语。附加地，如在权利要求中以及在说明书的对应部分中使用的词语“一”和“一个”意味着“至少一个”。

用以定义用户体验或系统行为的系统可以用于在多个设备之间或本地地在单个设备内部共享被标记的图像。在图1和2处分别地图示化了这两个情况。

图1示出了用于通过共享介质传递成像器参数以定义用户体验或系统行为的系统的示意图。过程包括以下步骤。利用广角成像器105构建捕获设备100。捕获设备100是可以在其上添加广角成像器以添加广角成像特征的任何装置，包括例如但绝不限于移动电话、平板、汽车、机器人、TV、路由器、GPS单元、因特网盒子、家庭监控相机、安全相机、汽车相机、内诊镜、可穿戴设备、手表等。当广角成像器105被集成在捕获设备100中时，该设备能够捕获广角图像110。

在这里，广角成像器105是能够从广角环境捕获图像或图像的部分的任何设备。得到的广角环境优选地产生广角视场。可以用在过程中的广角成像器105的一些示例是但绝不限于广角镜头、反射折射成像器、多个窄视场相机、计算机生成的广角图像等。将关于图5A-G解释不同的广角成像器105的一些示例性输出。

广角成像器105通过构造且取决于它如何被使用而具有一些固有和非固有的广角成像器参数。这些参数的一些示例是但绝不限于失真简档，成像视场，一些局部光学象差或像点展开（spread）功能，横向颜色，三轴定向和位置，来自单个广角成像器或不同成像器的多个被标记的图像之间的交叉引用信息，地理定位，周围的光照、湿度或温度条件，相机Bayer模式，信噪比，曝光参数，每秒帧数，颜色空间参数，中央光轴在图像内部的位置，针对非对称广角图像的图像足迹的定向，完整的全景的一个或多个窄视场部分的定向和坐标，镜头的相对照度，针对广角镜头的用以检索其失真简档的唯一标识码，来自数据库（即，被本地或远程地存储的表格、列表、电子表格等）的局部相对照度等。

除了广角成像器参数之外，还存在与图像相关联的其他种类的参数，包括但绝不限于相机模块标识，优选的处理的图像视点坐标（例如，摇摄（Pan）、倾斜（Tilt）和变焦（Zoom）），版权数据，行人检测、跟踪和识别，面部检测、跟踪和识别，设备的速度和加速度，道路车道偏离，危险标识，3D位置跟踪，3D重构等。

所有这些参数和可以用于在显示设备或算法单元处针对最终用户定义特定的用户体验或系统行为的任何其他信息是被包含在标记130中的成像器参数的部分。

虽然成像器参数的完整知识对于最终用户或他的设备来说是有用的以生成最佳用户体验或系统行为，但是在传统上该数据中的许多在广角成像器105和最终用户之间丢失，本发明的实施例解决了这点。

以将关于图3进一步解释的方式，广角成像器105输出被标记的图像115，其在图像帧内部包括来自所捕获的广角图像110的场景图像内容120和与图像相关联的所有成像器参数被编码在其中的标记130两者的组合。

标记130是被有目的地添加到图像的一部分以包含成像器参数并允许传递性质的任何标记。标记的一些示例是但绝不限于人类可读标记、诸如包括快速响应码（QR码）的1D或2D条形码之类的计算机可读标记、水印等。被标记的图像可以包含单个或多个标记。在多个标记的情况下，它们可以全部具有不同的互补参数，或者替换地可以为了期望的冗余在多个标记中重复一些参数。

当在图1中所示的多个设备之间共享中，然后跨共享介质140（例如，“云”）共享从广角成像器输出且包含场景图像内容120和标记130的被标记的图像115。在这里，共享介质140是表示任何种类的图像共享过程的概念，包括但绝不限于通过因特网传递数字图像，经由TCP-IP协议、HDMI、USB、火线、存储器、插座传递、使用如软盘、光盘、磁盘、usb驱动、硬盘的物理介质传递，或者通过物理地打印图像并然后将其扫描回到数字文件中来传递图像等。

从共享介质140，任何显示设备170、175或180或者算法单元185（包括图像处理单元165）可以接收被标记的图像115。以将在图4中进一步解释的方式，图像处理单元165使用被编码在标记130内部的成像器参数来修正或增强图像190、显示在图像190上组合的或分离地在另一显示器上的被编码在标记130中的信息、产生声音或光指示符输出、产生触觉反馈，或向最终用户创建被编码在标记130内部的所定义的用户体验或系统行为。

经处理的图像190是由图像处理单元165使用被编码在标记130内部的成像器参数处理的原始场景图像内容120的版本。在当前创新的优选实施例中，经处理的图像190使用来自广角成像器105的失真信息和定向信息来产生完整广角图像120的子区段的经最佳地处理的图像。在其他实施例中，完成其他失真处理。失真处理是数字地修正、控制、修改和/或移除来自图像或图像的区段的失真的动作。在图像处理单元165实时地知晓广角成像器105的准确定向的情况下，最佳地以以下（但绝不限于其的）方式来处理场景图像内容120中的失真是可能的：独立于捕获设备100的移动地保持经处理的图像190以环境的特定位置为中心或定义适当的导航参考，以允许根据用户命令计算下一被处理图像。这些特定的用户体验或系统行为仅在将它们从标记130解码之后它们的被要求的成像器参数可用于图像处理设备165时是可能的。因此，成像器设备定义了可以在最终用户设备处使用哪些特定的用户体验或系统行为。

在本发明的另一实施例中，代替在显示设备170、175或180上显示经处理的图像190，在进一步的算法单元185内部使用经处理的图像190，所述算法单元185处理经处理的图像以提取相关信息，包括但绝不限于行人检测、跟踪和识别，面部检测，道路车道偏离，危险标识，3D位置跟踪，3D重构等。

参考图2，示出了用于在单个本地设备200内部传递信息的系统的实施例。本地设备200在这里是包括广角成像器220和显示单元250二者的任何物理设备，用以修正、增强图像260和在图像260上或通过设备的另一输出系统（比如声音、光指示符或触觉反馈）显示相关联的信息。还可以记录图像并且稍后可以利用设备再产生特定的用户体验或系统行为。设备可以是但绝不限于移动电话、膝上型计算机、平板、个人计算机、包括本地客户端的服务器、汽车、数字静物相机、摄像机、可穿戴设备、手表等。

在本地设备200中，过程从广角成像器220沿着系统总线210传递输出。如图1的多设备情况下那样，广角成像器220的输出是广角图像235以及相关联的信息被编码在其中的标记237，并且被沿着总线与存储器230交换。图像处理单元240存在于总线210上以从存储器230接收图像235和标记237并产生经修正和增强的图像260、解码相关联的信息或在显示器250上再产生用户体验或系统行为。然后将最终的经处理的图像260和相关联的信息、用户体验或系统行为发送到本地显示单元250用以显示或者发送到本地算法单元270用以使用经处理的图像。

在图1中针对多个设备的和在图2中针对单个本地设备示出的自动标识过程包括成像器和图像处理单元。

图3示出了在分别来自图1和2的广角成像器105和220内部的详细操作。在广角成像器300内部，存在相机模块310，其将广角环境信息捕获到图像文件中。在优选实施例中，相机模块310是被组合到电子图像传感器（如CCD或CMOS图像传感器）的广角镜头。来自该相机模块的输出是被发送到编码单元340的场景图像内容312以及被发送到相机模块参数单元330的相机模块参数314。在本发明的其他实施例中，相机模块可以是任何种类的，包括但绝不限于反射折射镜头、若干窄角相机模块、从虚拟环境生成场景图像内容的广角成像器等。

在本发明的一些实施例中，添加可选的外部参数320以允许任何用户本地或远程添加要被编码在图像内部的如图1中提及的一些相关联的信息、用户体验或系统行为，包括但绝不限于相机模块标识、优选的经处理的图像视点坐标（例如，摇摄、倾斜和变焦）、导航路径、版权数据、设备的速度或加速度、生物计量参数（比如持有成像器的用户的心跳）、图像中的感兴趣或危险区、设备的其他组件的状态等。通过链路324将该外部信息传递到编码单元340以被包括在标记364内部。

相机模块参数单元330经由可选链路314从相机模块310或者经由可选链路322从外部参数320接收关于场景图像内容的一些标识信息。在标识了产生广角图像的相机模块310的情况下，相机模块参数单元330将相机模块参数332输出到编码单元340。这些相机模块参数包括关于成像器的固有信息，包括但绝不限于以表格或多项式形式的相机模块中的广角镜头的失真简档、图像的视场、中央光轴在图像内部的位置、针对非对称广角图像的图像足迹的定向、完整的场景的一个或多个窄视场部分的定向和坐标、镜头的相对照度、针对广角镜头的用以从数据库（即，被本地或远程地存储的表格、列表、电子表格等）检索其失真简档、视场或者局部相对照度的唯一标识码等。

在当前发明的实施例中，广角成像器300还包括附加传感器单元350，其可以将传感器单元参数352发送至编码单元340以被包括在经编码的标记364中。这些非固有参数包括但绝不限于广角成像器空间定向，指南针信息，地理定位，周围的光、温度、压力和湿度信息等。

编码单元340然后将相机模块参数332、可选的外部参数324以及可选的传感器单元参数352编码在标记364内部。然后将标记364与相机模块场景图像内容312组合以创建广角成像器300的最终输出，其是包括场景图像内容362和标记364的被标记的图像360。

在本发明的优选实施例中，相机模块场景图像内容312是来自相机模块内的广角镜头的图像并且与所输出的场景图像内容362相同。稍后将关于图5A、5B和5F在图像裁剪被在相机模块级别处完成以增加相机帧速率时的实例中解释该情况。

在本发明的另一实施例中，所输出的场景图像内容362是如在图5E和5G中那样被直接地放在一起的多个相机模块场景图像内容312的组合，或者用以产生期望的投影的相机模块场景图像内容312的经处理的结果，如在图5C、5D和5F中在图像裁剪被在编码单元级别处完成以限制带宽时的实例中那样。

图4示出了在分别来自图1和2的图像处理单元165和240内部的详细操作。在图像处理单元400内部，存在标记检测器420，其通过链路416接收包含场景图像内容412和标记414的被标记的图像410。标记检测器420的作用是找出在被标记的图像410内部的标记414并仅提取标记以通过链路422将其输出到标记解码器430。

标记解码器430读取来自链路422的标记并通过链路432将先前被编码在广角成像器300内部的所有解码的成像器参数输出到失真处理和图像增强单元440。

失真处理和图像增强单元440使用来自被标记的图像410的通过418接收的场景图像内容412以及相关联的信息432来输出经修正、增强的图像442。也可以在图像442上显示或再产生经编码的信息、用户体验或系统行为。

在本发明的优选实施例中，通过使用成像器参数432，失真处理和图像增强单元440可以数字地修正、控制、修改和/或移除来自场景图像内容或场景图像内容的区段的失真以便提供不具有对于观察者来说不愉快的几何失真的经处理的图像442。

在本发明的其他实施例中，通过使用信息432，失真处理和图像增强单元440可以执行其他增强，包括但绝不限于镜头阴影补偿、横向颜色补偿、颜色修正、白平衡、去噪、锐化、动态扩展、虚拟曝光、像素插值、像素二次抽样等。

在本发明的其他实施例中，失真处理和图像增强单元440还可以可选地通过链路452接收外部输入450。外部输入450的一些示例是但绝不限于用户选择的观看定向以及坐标、图像中的导航路径、数字变焦级别、优选的感兴趣点、图像增强参数、图像亮度、对比度、饱和度、色温等。

然后如先前关于图1和2解释的那样由显示设备460或者算法单元470使用经处理的图像442。

可以以硬件和软件的任何组合来实现本文中描述的系统的组件。例如，每个组件可以被实现为专用处理器、控制器、ASIC等。替换地，组件可以被实现为在单个控制器或处理器中的软件、固件等。组合也是可能的。

在图5A-G处示出了可以是广角成像器的取决于相机模块性质和广角成像器设置的不同实施例的得到的输出的所输出的被标记的图像的七个示例。

图5A示出了在其中广角成像器内部的相机模块是产生非对称相机模块场景图像内容的广角镜头的情况下的示例被标记的图像510，所述场景图像内容被准确地再产生到场景图像内容512。在这种相机模块在广角成像器内部的情况下，在图像中存在黑色角落516，并且通常将标记514添加到那里以确保不更改场景图像内容512。

图5B示出了在其中广角成像器内部的相机模块是产生对称相机模块场景图像内容的广角镜头的情况下的示例被标记的图像520，所述场景图像内容被准确地再产生到场景图像内容522。在这种相机模块在广角成像器内部的情况下，在图像中存在黑色角落526，并且通常将标记524添加到那里以确保不更改场景图像内容522。

图5C示出了其中通过已知投影显示场景图像内容532的示例被标记的图像530。在该示例的准确情况下，所示投影为等矩形投影，但是可以使用其他投影，如圆柱形、直线、墨卡托、正弦曲线的投影等。从相机模块场景图像内容提供的内容由编码单元变换成该投影。在图5C的该等矩形投影的情况下，场景图像内容覆盖整个图像并且必须添加额外的黑色边缘536以包括标记534。为了最小化额外的边缘尺寸，在该情况下可以将标记重新布置在一个像素或几个像素行或列上。

图5D示出了其中通过已知投影显示场景图像内容542的示例被标记的图像540。在该示例的准确情况下，所示投影为立方体投影，但是可以使用其他投影。从相机模块场景图像内容提供的内容由编码单元变换成该投影。在该立方体投影的情况下，场景图像内容覆盖整个图像并且必须添加额外的黑色边缘546以包括标记544。为了最小化额外的边缘尺寸，在该情况下可以将标记重新布置在一个或几个像素行或列上。

图5E示出了其中场景图像内容552是若干窄角图像的组合的示例被标记的图像550，所述若干窄角图像可以稍后被拼接到一起以形成连续的广角图像。从相机模块场景图像内容提供的内容可以是若干相机模块或以不同定向使用的单个相机模块的结果。由编码单元确定每个窄角图像被排序（order）的方式，并且将每个窄角图像的参数包括在标记554内部。标记554被添加在现有黑色区域或额外的边缘556中。为了最小化额外的边缘尺寸，在该情况下可以将标记重新布置在一个或几个像素行或列上。

图5F示出了其中场景图像内容562是在由编码单元进行的图像裁剪之后的完整的相机模块场景图像内容的子区域或者在由相机模块进行的图像裁剪之后的完整的全景的子区域的示例被标记的图像560。取决于所使用的子区域，可能存在或不存在黑色边缘566，并且如果必要的话可以添加一个以包括标记564而不更改场景图像内容。在该特定示例中，被编码在标记564内部的广角成像器参数将还包括该子区域与完整场景图像内容相比的定向、坐标和变焦级别。为了最小化额外边缘尺寸，在该情况下可以将标记重新布置在一个或几个像素行或列上。

图5G示出了其中多个场景图像内容572和578被一起添加在同一被标记的图像570上的示例。产生每个相机模块场景图像内容的相机模块可以相同，如在被捕获的两个半球形场景图像内容一起形成完整的球的情况下那样，或者不同，如在其中来自窄角相机的两个高细节图像被组合到低细节广角相机的图示情况下那样。然后将由进行组合的编码单元来选择要添加标记574的黑色区域576。

在所有上面的图中，通过被标记的图像将成像器参数从成像器传递到图像处理单元，并且使用成像器参数来为最终用户定义特定的用户体验或系统行为。在这里解释取决于成像器参数的特定用户体验或系统行为的一些示例。这些是用以更好地理解本创新的基本示例并且绝不应该限制本发明的范围和精神。

第一示例是在便携式或可穿戴设备中发现的成像器，所述便携式或可穿戴设备比如智能电话、平板、智能手表、使用户穿或被绑到用户的个人视频记录设备零件等。除了记录用户周围的场景的视频图像之外，成像器还可以记录用户的一些生物计量数据，比如心跳、步调、步数以及定向和地理定位参数。其还可以将信息自动地包括在来自附近的其他用户的被链接的设备或者由用户使用的被链接的运输装置上，所述运输装置比如智能跑鞋、自行车或汽车。在该情况下的特定用户体验将允许从视频读取被标记的图像的最终用户回顾所记录的场景图像内容并使用适当的图像失真修正在其中导航而不具有创建失真图像的成像器的准确型号的知识。这在原始用户在因特网上更新了视频并且最终用户将另外不具相关于所使用的成像器的准确型号的信息的情况下尤其有用。更进一步地，被编码在标记中的成像器设备的实时定向可以用于显示器处的图像稳定以将视图（view）锁定在特定的感兴趣点上，即使设备正在活动期间移动。在该示例中的另一特定用户体验将是该设备的用户帮助回顾物理训练活动，比如跑步或骑自行车。最终用户可以使用来自被标记的图像的信息来将活动期间与示出背景（道路倾斜、地形类型、天气条件）的视频图像的心跳进行比较。用户还可以使用地理定位参数来绘制他的活动的地图，其具有场景图像内容的可选显示，如果期望的话。来自运输装置（智能跑鞋或自行车）的链接的设备或来自友好用户的信息可以用来自动地日志记录物理活动类型或给活动中的朋友加标签而用户不必每次都手动地输入它。另一用户体验可以是该可穿戴成像器被包括在执法官员的衣物中的情况。在介入之后，官员的场景图像内容、地理定位和生物计量数据可以有助于在关键事件发生后更好地重建它。

第二示例针对在家庭监控安全成像器中发现的成像器。该设备可以是安全相机、网络摄像头、智能电子家电等。该设备除了记录场景图像内容之外还可以将一些参数编码在标记内部，所述一些参数比如日期和时间、定向、在其处由算法单元自动地检测移动的感兴趣区、使用智能锁定系统的门锁的状态或者警报系统的状态、图像中的被标识的用户的姓名和位置、隐私区等。特定用户体验可以将允许远程用户实时地观看安全视频并能够在移除了失真的情况下在经处理的图像内部导航而不必手动地输入成像器参数，比如镜头失真简档或设备的定向。由于在用户界面上的最终用户导航取决于成像器在天花板、墙壁还是地面定向上而优选地不同，定向参数的该自动传递允许最终用户具有最佳导航而不必手动地输入参数。另一用户体验或系统行为可以用于希望在盗窃之后看一些参数的保险公司，但是出于隐私原因其不能具有对场景图像内容的完全访问。它们然后可以显示具有日期和时间的门锁或警报系统的状态以确定在盗窃期间的情况。可以由成像器参数定义的另一类型的用户体验或系统行为可以是隐私区。可以对整个视频馈送进行加密并然后仅有具有正确口令的给定的显示设备才可以显示视频馈送。在该显示设备上，可以对具有不同的用户名和口令的不同用户示出场景图像内容的不同区，其中仅针对不具有所要求的特权的用户移除隐私区场景内容。

第三示例针对包括多个相机模块的成像器，每个模块具有它们自己的镜头。这可以是具有有着超过180°的视场的被以背靠背位置配置以对成像器周围的完整球形场景成像的两个广角镜头的设备，或者这可以是具有在所有不同的方向中的大量窄角镜头以覆盖成像器周围的完整球形场景的全部或部分的成像器。在该示例的一个情况下，成像器可以创建被标记的图像，其中来自所有相机模块的场景图像内容已经被合并到一起以形成具有完整球形场景内容的单个图像，并且标记可以包含与在组合图像时所使用的特定投影相关的成像器参数或者可以由最终用户使用的任何其他成像器参数。在该示例的另一情况下，成像器的输出可以是来自多个相机的多个被标记的图像。在该情况下的标记将用于一起交叉引用所有被标记的图像。可以利用图像序列号或日期和时间来完成时间引用。可以通过定义每个相机模块朝向其他相机模块或朝向成像器中的固定位置和定向参考坐标的位置和定向来完成空间引用。在该示例中，特定的用户体验可以是如由最终用户期望的那样显示或者球形场景中的感兴趣定向上指向的原始图像或者替换地显示其中用户可以通过使用来自被标记的图像的成像器参数在场景内部自由地导航的完整球形场景视图。替换地，完整球形场景内容可以用于显示在特定感兴趣点上的稳定视图，以锁定视图的定向，即使成像器在捕获期间通过使用被编码在标记内部的成像器的定向参数而移动。在另一用户体验中，可以同时显示完整球形场景和窄图像两者，完整球形场景被用来通过使用被编码在标记内部的所有交叉引用信息在原始窄图像内部导航。一个最后的用户体验或系统行为可以是其中最终用户仅接收到原始较窄被标记的图像中的一些或全部并且想要使用被编码在标记内部的位置和定向信息来组合它们的情况。

一个最后的示例针对在道路上驾驶的机动车辆（比如汽车）或在天空中的靶机或机器人化的机器上发现的成像器。该成像器可以是具有人类驾驶者的经典汽车、由远程的人类控制的靶机、无人驾驶汽车或自引导靶机。在智能自主系统的最后两个情况下，最终用户是人工智能单元、计算机或设备本身。在这些机动车辆的情况下，成像器可以从汽车或靶机前面的视图记录场景图像内容以及许多成像器参数。这些参数可以包括天气参数（外部温度、风、冰雹和湿度）、日期和时间、地理定位、高度、所检测的危险或所检测的道路车道在场景图像内容上的位置、具有机动车设备的速度和加速度的参数、驾驶者和乘客的标识、刹车或挡风玻璃雨刷的状态、所检测的路标等。在该情况下的特定用户体验将是在事故之后看所记录的场景图像内容和其他参数以帮助更好地理解发生了什么。在该情况下，成像器参数可以包括成像器失真简档以允许最佳图像处理以移除失真。一个显示器然后可以示出经处理的场景图像内容，以示出在事故之前、期间和之后发生了什么。另一用户体验或系统行为可以是在不看图像的情况下显示设备的一些参数，比如日期和时间、速度和加速度、雨刷和刹车的状态或外部天气。这对于在出于隐私原因场景图像内容不能被透露时希望确定导致事故的准确条件的保险公司来说可以是有用的。另一用户体验可以是实时地向驾驶者显示由算法单元所检测的一些信息。该信息可以是所检测的道路车道偏离、路标或危险。在该情况下，输出可以是以文本参数、符号、声音、光指示符、触觉反馈或警报的形式。在智能自主系统的情况下的一个特定系统行为将是通过被标记的图像向计算机或人工智能单元提供重要的成像器参数以用于自引导。在该情况下，特定的系统行为是人工智能单元或计算机系统能够通过标记提供给其子系统的参数以及其可以如何基于这些参数适配引导。

上面的所有是可以由被编码在来自成像器的被标记的图像内部的成像器参数定义的特定用户体验或系统行为的图和示例。在所有这些示例中，成像器可以具有任何视场，从非常窄的到极度的广角。它们不意图是穷举列表或意图限制本发明的范围和精神。由本领域那些技术人员将领会的是，可以对上面描述的实施例做出改变而不脱离其宽的发明概念。因此，要理解的是，本发明不被限于所公开的特定实施例，而是其意图覆盖在如由所附权利要求限定的本发明的精神和范围内的修改。

Claims (26)

1.一种用于使用被标记的图像自动地定义与场景图像内容相关的用户体验或系统行为的系统，系统包括：

（a）成像器，其被配置成捕获或生成场景图像内容；以及

（b）编码单元，其被配置成从成像器接收场景图像内容并将场景图像内容与至少一个标记组合以创建被标记的图像，标记对由显示设备或算法单元使用以自动地定义用户体验或系统行为的至少一个成像器参数编码。

2.根据权利要求1所述的系统，其中成像器包括至少一个相机模块，其被配置成捕获图像。

3.根据权利要求2所述的系统，其中至少一个成像器参数包括至少一个相机模块参数或外部参数，系统进一步包括将至少一个相机模块参数或外部参数传递到编码单元的相机模块参数单元以及能够将附加的外部参数直接地提供到编码单元的外部单元。

4.根据权利要求3所述的系统，其中外部单元包括传感器单元并且外部参数是传感器参数。

5.根据权利要求1所述的系统，其中成像器是广角成像器。

6.根据权利要求1所述的系统，其中成像器参数是以下中的至少一个：成像器的定向、场景图像内容位置、定向和大小、成像器型号、成像器的速度或加速度、感兴趣区或进入点。

7.根据权利要求1所述的系统，其中标记是人类可读代码、机器可读代码或水印中的一个。

8.根据权利要求7所述的系统，其中标记是QR码。

9.根据权利要求1所述的系统，其中用户体验或系统行为进一步包括根据至少一个成像器参数处理所捕获的图像的失真，至少一个成像器参数包括以下中的至少一个：镜头失真简档、失真图像的视场、中央光轴在失真图像内部的位置、图像足迹的定向、一个或多个窄视场的定向和坐标、镜头的相对照度、数字变焦级别、优选的感兴趣点或图像增强参数。

10.根据权利要求1所述的系统，其中用户体验或系统行为进一步包括根据至少一个成像器参数处理所捕获的图像的失真，至少一个成像器参数包括与包含失真简档、视场或成像器的镜头的局部相对照度中的至少一个的数据库相关的唯一标识码。

11.根据权利要求1所述的系统，其中成像器参数包括在场景图像内容中的导航路径。

12.根据权利要求1所述的系统，其中标记位于被标记的图像的角落中或被标记的图像的被添加的边缘中。

13.根据权利要求2所述的系统，其中相机模块至少包括镜头以及被配置成捕获通过镜头接收的图像的图像传感器。

14.根据权利要求2所述的系统，其中相机模块是被配置成从虚拟环境捕获图像的数字处理器。

15.根据权利要求2所述的系统，其中通过分析由相机模块捕获的场景图像内容而自动地生成相机模块参数的至少一部分。

16.根据权利要求1所述的系统，其中被标记的图像被分成多个图像部分，多个图像部分中的每个包括相应的标记，并且其中用于处理被标记的图像的数据包括多个图像部分的交叉引用。

17.一种用于使用被标记的图像自动地定义与通过成像器捕获的场景图像内容相关的用户体验或系统行为的系统，被标记的图像包括场景图像内容和至少一个标记，系统包括：

（a）图像处理单元，其被配置成根据所定义的用户体验或系统行为处理场景图像；

（b）标记检测器，其被配置成从被标记的图像标识并提取标记；以及

（c）标记解码器，其被配置成对标记解码并输出被编码在标记中的成像器参数，成像器参数至少包括由图像处理单元使用以自动地定义用户体验或系统行为的数据。

18.根据权利要求17所述的系统，其中图像处理单元进一步从系统外部的源接收数据，图像处理单元被配置成进一步部分地基于外部数据来处理场景图像内容。

19.根据权利要求17所述的系统，其中成像器参数包括以下中的至少一个：用户选择的观看定向和坐标、数字变焦级别、优选的感兴趣点、图像增强参数、图像亮度、图像对比度、饱和度或色温。

20.根据权利要求17所述的系统，其中标记是人类可读代码、机器可读代码或水印中的一个。

21.根据权利要求20所述的系统，其中标记是QR码。

22.根据权利要求17所述的系统，其中所定义的用户体验或系统行为包括根据成像器参数处理场景图像内容的失真，成像器参数包括与包含失真简档、视场或镜头的局部相对照度中的至少一个的数据库相关的唯一标识码。

23.根据权利要求17所述的系统，其中所定义的用户体验或系统行为包括根据成像器参数处理场景图像内容的失真，成像器参数包括以下中的至少一个：镜头失真简档、失真图像的视场、中央光轴在失真图像内部的位置、图像足迹的定向、一个或多个窄视场的定向和坐标、镜头的相对照度、数字变焦级别、优选的感兴趣点或图像增强参数。

24.根据权利要求17所述的系统，其中图像处理单元被配置成进一步部分地基于以下中的至少一个来处理场景图像内容：镜头阴影补偿、横向颜色补偿、颜色修正、白平衡、去噪、锐化、动态扩展、虚拟曝光、像素插值、像素二次抽样或自定义裁剪区。

25.根据权利要求17所述的系统，其中标记是位于被标记的图像的角落中或者被提供在被标记的图像的被添加的边缘中的一个。

26.一种用于使用被标记的图像自动地定义与通过成像器捕获的场景图像内容相关的用户体验或系统行为的系统，被标记的图像包括场景图像内容和标记，系统包括：

（a）图像处理单元，其被配置成处理被标记的图像并输出成像器参数或基于成像器参数的指示符

（b）标记检测器，其被配置成从被标记的图像标识并提取标记；以及

（c）标记解码器，其被配置成对标记解码并输出被编码在标记中的成像器参数，成像器参数至少包括由图像处理单元使用以自动地定义用户体验或系统行为的数据。