CN113079337B - 注入附加数据的方法 - Google Patents

Abstract

本公开涉及注入附加数据的方法。具体地，本发明公开了一种在图像传感器设备中的一个或多个图像传感器帧中注入附加数据的方法。该方法包括：提供(801)数字序列形式的附加数据、控制(802)一个或多个图像传感器帧中的连续的消隐间隔的长度来表示数字序列以及从图像传感器设备传送一个或多个图像传感器帧。可以向图像处理器(12、72)传送一个或多个图像传感器帧。还公开了图像处理器(12、72)以及包括图像处理器(12、72)的系统(1、7)的示例。

Description

注入附加数据的方法

技术领域

本发明涉及将附加数据添加到图像传感器数据的领域。

背景技术

图像传感器设备是成像领域中的基本部件。图像传感器设备包括硬件部件(即图像传感器)，以及将来自图像传感器的读出转换为表示图像传感器数据的信号的处理部件。来自图像传感器数据的读出被称作图像传感器帧，其中，一个图像传感器帧表示图像传感器的一个读出周期。电子图像传感器的公知示例包括CCD和CMOS传感器。

存在多种图像传感器硬件，包括常用标准传感器和常常被适配为特定技术领域的特别设计的传感器。例如，存在具有额外的传感器行或列的传感器硬件，图像传感器设备可以使用该额外的传感器行或列来用于添加关于图像特性的数据。关于此类非标准传感器的问题是，它们可能是特别昂贵的，并且需要修改接收用于处理的图像传感器帧的图像处理器的适配以便正确地解译接收的数据。

成像通常广泛地应用于多个领域，例如监测/监视领域、医学检查领域以及建筑领域。在多个应用中，重要的是能够信任图像传感器数据。例如，按照推测的视频的实时视图实际上是实时的并且没有延迟或图像是由推测的图像传感器记录的并且并不是从另一个图像传感器交换的或来自于该另一个图像传感器。为此目的，图像的检验是有用的。当干预图像传感器数据的方法越来越常见时，考虑这方面变得越来越重要。而且，随着图像质量提高，图像传感器数据的处理时间也可以增加，具有更高的延迟风险。显然地，需要用于帮助检验图像传感器数据的方法和设备。

发明内容

本发明的目标是提供用于在图像传感器数据的检验中使用的方法。检验的目的可以是验证实时视图并且验证图像或视频的真实性。

根据第一方面，通过在图像传感器设备中的一个或多个图像传感器帧中注入附加数据的方法来全部或至少部分地实现这些和其他目的，该方法包括：

提供数字序列形式的附加数据，以及

控制所述图像传感器设备中的一个或多个图像传感器帧中的连续的消隐间隔的长度来表示所述数字序列，以及

从所述图像传感器设备传送所述一个或多个图像传感器帧。

因此本发明是通过在较早阶段(意指已经在从图像传感器设备传送一个或多个图像传感器帧之前)将附加数据注入在对应的一个或多个图像传感器帧中来将附加数据与图像传感器数据相关联的方法。注入是通过控制包括有效图像传感器数据中的一个或多个图像传感器帧的连续的消隐间隔的长度来实现的。有效图像传感器数据意指与从图像传感器读取的像素值相对应并且与从场景接收到的光的量相对应的数据。每个图像传感器帧也可以例如包括边缘边界像素值、同步数据、帧头、帧脚等等。图像传感器位于图像传感器设备中，该图像传感器设备包括用于读取和传送图像传感器数据的必要的电路。

根据定义消息(即连续的消隐间隔的长度变化的序列的意义)的预先确定的通信协议来执行长度的控制。通信协议的精确形式对本发明不是必要的，并且如何设计运行协议，对本领域技术人员是众所周知的。

因此，本发明中注入的实现运用了标准化技术。不需要特别设计的传感器硬件。而且，不必为了实现注入附加数据的目的而修改或扩展有效图像传感器数据。因而，能够由处理设备或存储设备(诸如图像处理器)以标准方式(即在没有关于如何解译有效图像传感器数据的特殊设计或适配的情况下)来解译有效图像传感器数据。对于被要求能够接收数字序列的处理设备或存储设备的适配是不影响有效图像传感器数据的接收的过程。而是，可以通过在接收一个或多个图像传感器帧时确定连续的消隐间隔的长度来接收数字序列。可以通过对每个连续的消隐间隔的时钟周期的数量进行计数来确定长度，其中，时钟周期的数量对应于消隐间隔的长度。确定连续的消隐间隔的长度的其他方式可以是可能的。

在已知通信协议(即如何在连续的消隐间隔的长度中对数字序列进行成形和表示)的情况下，处理设备或存储设备能够接收和理解数字序列。通信协议可以被图像传感器设备和处理设备或存储设备两者已知。

消隐间隔是图像传感器的技术领域内的公知术语。消隐间隔是在有效图像传感器数据的传送的时段之后并且在下一行或下一图像传感器帧的图像传感器读出之前出现的延迟时段。本发明可以包括控制连续的水平消隐间隔或连续的垂直消隐间隔的长度。连续的消隐间隔意指从图像传感器设备一个接一个传送的单个或成组的消隐间隔。连续的消隐间隔的位置不需要在一个或多个图像传感器帧中相邻。然而，可以以与数字序列相同的顺序对连续的消隐间隔进行长度控制，即，第一连续的间隔具有与数字序列中的第一值相对应的长度，第二连续的间隔具有与数字序列中的第二值相对应的长度，等等。

连续的消隐间隔可以位于单个图像传感器帧内。在这样的实施例中，优选的是，对连续的水平消隐间隔作出长度的控制。替换地，连续的消隐间隔可以位于多个(即一个以上)图像传感器帧中。在这样的实施例中，连续的消隐间隔可以在不同的图像传感器帧之间变化，即第一图像传感器帧中的第一组连续的消隐间隔具有相同的第一长度，第二图像传感器帧中的第二组连续的消隐间隔具有相同的第二长度，等等。换句话说，对于每个图像传感器帧，可以根据数字序列使消隐间隔长度变化。通过接收图像传感器帧的序列、消隐间隔长度的变化，并且因此也能够接收数字序列。当对连续的垂直消隐间隔作出长度的控制时，这是优选的实施例。

如将详细地公开的，能够以各种方式进行控制消隐间隔的长度的步骤。例如，可以通过用于水平同步或垂直同步的信号的定时来控制长度。

根据一个实施例，由能够是图像处理器的处理设备或存储设备来接收一个或多个图像传感器帧。通过确定连续的消隐间隔的长度以识别数字序列来得出附加数据。例如通过对在例如行的最后的图像传感器数据与下一行的第一图像传感器数据之间的延迟时段中有多少时钟周期进行计数来确定长度。在用于传送图像传感器帧的一些协议中，消隐间隔例如通过以预定义的方式被表示在一个数据流中是可识别的。

图像处理器或其他处理设备或存储设备可以与图像传感器设备位于相同的设备中。因此，通过传送一个或多个图像传感器数据可以意指在相同的设备内(例如在相同设备的处理不同功能的不同的硬件和/或软件电路之间)进行传送。公用设备可以是包括具有图像传感器电路(即图像传感器板)的图像传感器和图像处理芯片两者的照相机的光学单元，其中，从图像传感器板向图像处理芯片传送图像帧。

已经意识到，有益的是，将附加数据包括或嵌入在接收的一个或多个图像传感器帧的有效图像传感器数据中。可以将附加数据包括在一个或多个图像传感器帧的所有或选择中的有效图像传感器数据中。

通过将附加数据包括到有效图像传感器数据中，附加数据将具有与有效图像传感器数据的较强关联，并且当被向前地传送时在其相关联的有效图像传感器数据之后。为了这些目的，该方法可以进一步包括：

在接收传送的一个或多个图像传感器帧的同时确定连续的消隐间隔的长度(即时钟周期的数量)，以识别表示附加数据的数字序列，

将接收的一个或多个图像传感器帧中的有效图像传感器数据修改为纳入附加数据。

如所公开的，处理设备或存储设备可以拥有定义如何插入附加数据(即被长度控制的一个或多个图像传感器帧的哪些消隐间隔)的通信协议的知识，使得能够读取附加数据。在其中处理设备或存储设备执行长度的控制的实施例中，处理设备或存储设备具有该协议的知识便即足够，而并不需要图像传感器设备具有该协议的知识。替换地，另一个设备(例如，图像传感器设备)可以控制长度。在这样的实施例中，通信协议与处理设备或存储设备共享。

在修改有效图像传感器数据之前，可以将数字序列变换为与附加数据的类型相关联的格式。例如，如果附加数据形成时间戳，则将数字序列变换为时间格式，诸如[小时：分钟：秒]。如果附加数据形成文本，则将数字序列变换为文本格式。为此目的，方法的实施例可以包括步骤：在修改有效图像传感器数据之前，将数字序列变换为与附加数据的类型相关联的格式。

可以将任何表示的附加数据作为覆盖或作为嵌入信号包括在有效图像传感器数据中。例如，可以将文本或时间戳的形式的附加数据作为字母/数字的覆盖包括。当被显示时，覆盖优选地对于用户是可见的。然而，嵌入信号可以优选地或多或少地隐藏在所显示的有效图像传感器数据中。可以通过根据以预先确定的方式改变有效图像传感器数据的一部分中的像素值来实现嵌入信号。可以通过直接地或间接地从处理设备或存储设备接收有效图像传感器数据的评估设备来解译嵌入信号。

替换地，可以纳入加数据作为有效图像传感器数据的(例如，JPEG图像文件的报头中的)元数据，并且例如将其传送到诸如显示设备之类的评估设备。

关于附加数据，这些可以对获得一个或多个图像传感器帧时的时间点的当前状况进行指示。例如，图像传感器设备的时间、日期、位置或图像传感器特性(包括图像传感器的唯一的图像传感器指纹或软件/硬件版本)。当前状况可以频繁地改变，如时间和位置；可以是静态的或很少改变，如软件版本(很少改变)、图像传感器序列号(静态的)以及图像传感器特性(静态的或很少改变)。

可以在例如图像处理器的处理设备或存储设备中提供附加数据。在这样的实施例中，由处理设备或存储设备来控制连续的消隐间隔的长度。该实施例中的优点是，不要求修改图像传感器设备，以及，不需要在处理设备或存储设备外部共享以上所讨论的通信协议。这些优点中的每一个导致低复杂度以及容易实施的解决方案。

在特定实施例中，其中图像处理器可以充当处理设备或存储设备，可以经由例如控制信号、水平同步信号或垂直同步信号来控制连续的消隐间隔。这些信号是已知的并且被实施在通过图像处理器控制图像传感器设备的各种标准实施方式中。

在替换实施例中，附加数据被提供在图像传感器设备中，并且由图像传感器设备来控制连续的消隐间隔的长度。

不管附加数据被提供在哪个设备中，可以由全球或本地系统时钟或GNSS设备(诸如GPS设备)来输送或从其取出附加数据。

关于数字序列，能够将这作为二进制序列来提供。该实施例的优点是，连续的消隐间隔的长度的改变相对于彼此不超过一个以上长度单元(即，一个时钟周期)。这允许对消隐间隔的长度的最小影响，并且最小化对于完整的图像传感器帧的传送采用的时钟周期的总量的影响。可以优选的是，图像传感器帧的传送花费相同的时钟周期数。因此，有益的是，通过目前的方法减少消隐间隔的长度变化的大小。

为了图像传感器帧的每个传送提供恒定数量的必需的时钟周期的目的，该方法可以进一步包括，对除连续的消隐间隔之外的其他一个或多个消隐间隔的长度进行修改以用于补偿。换句话说，为了补偿的目的来修改一些消隐间隔(这不是为了注入附加信息的目的而被修改)。补偿消隐间隔优选地位于(为了注入附加信息的目的而被修改的)连续的消隐间隔之间，并且优选地被适配为逐渐地补偿连续的消隐间隔的变化。

根据本发明的第二方面，提供一种图像处理器，被适配为通过控制一个或多个图像传感器帧中的连续的消隐间隔的长度来表示数字序列，来将以数字序列形式提供的附加数据注入在一个或多个图像传感器帧中。通常可以在具有随同优点的情况下、以与第一方面的方法相同的方式来体现第二方面的图像处理器。例如，图像处理器可以进一步被适配为：在从图像传感器设备接收一个或多个图像传感器帧的同时确定连续的消隐间隔的长度，以识别表示附加数据的数字序列；将所接收的有效图像传感器数据修改为纳入附加数据，并且将所接收的一个或多个图像传感器帧中的有效图像传感器数据修改为纳入附加数据。

根据本发明的第三方面，提供一种包括图像传感器设备和图像处理器的系统，其中，根据第二方面来配置图像处理器。图像传感器设备和图像处理器可以是单个设备(例如，照相机设备)的数个部分或是单独的通信地耦合的设备的数个部分。

系统可以进一步包括例如显示设备形式的评估设备。图像处理器可以被适配为向评估设备传送一个或多个图像传感器帧的(修改的)有效图像传感器数据，其中，所包括的附加数据采用获得一个或多个图像传感器帧时的时间或位置的形式。评估设备可以被适配为确定附加数据的时间或位置与当前时间或当前位置的差是否超过预先确定的阈值，并且如果是，则被适配为触发警报动作向用户指示接收的有效图像传感器数据是旧的，即比预先确定的期限(例如，1秒)旧。这是一种特定系统配置，被适配为当基于由图像传感器设备(例如照相机设备)所捕捉的图像或视频作出安全性重要决定时增加安全性。此类系统的非限制性示例包括公共汽车门控制、车辆照相机(具体是后部照相机)以及医学检查。

触发警报动作的步骤可以包括：触发以下动作中的一个或多个：阻止或取消在显示器上显示所接收的修改后的有效图像传感器数据、以闪光方式在显示器上显示修改后的有效图像传感器数据、在显示器上显示指示、激活照明器以及通过扬声器播放声音。显示器、照明器和/或扬声器可以是评估设备的一部分。

根据在下面给出的具体实施方式，本发明的应用的进一步范围将变得明显。然而，应当理解，具体实施方式和特定示例在指示本发明的优选的实施例时是仅仅作为说明被给出，这是因为根据该具体实施方式，在本发明的范围内的各种改变和修改将对那些本领域技术人员变得明显。

因此，应当理解，本发明不局限于所描述的设备的特定部件部分或所描述的方法的步骤，照此设备和方法可以改变。也将理解的是，在本文使用的术语仅仅用于描述特定实施例的目的并且不意图进行限制。必须指出，如在说明书和所附权利要求中使用的，冠词“一”、“该”和“所述”意图意指存在一个或多个要素，除非该上下文清楚地另外指示其他。因此，例如对“对象”或“该对象”的引用可以包括若干对象，等等。此外，词“包括”不排除其他要素或步骤。

附图说明

现在将通过示例并且参考所附示意性的附图来更详细地描述本发明，在附图中：

图1是具有图像传感器设备和图像处理器的系统的概览。

图2图示出图像传感器帧。

图3至图5图示出可以如何传送图像传感器帧。

图6图示出根据不同的实施例的、具有所包括的附加数据的有效图像传感器数据。

图7图示出被实施在公共汽车中的根据实施例的系统。

图8图示出根据本发明的实施例的方法。

如在图中所图示出的，区域的尺寸被夸大以用于说明目的，并且因此，被提供以图示出通用结构。

具体实施方式

现在将参考图1和图8来公开本发明的整体构思的概览。

图1图示出图像捕捉系统1的一部分，包括图像传感器设备10、图像处理器12、可选的控制器14以及可选的外部数据提供者16。图8图示出在例如图像传感器设备10的图像传感器设备中在一个或多个图像传感器帧中注入附加数据的方法8。

本发明基于这样的认识：可以有益的是，在早期将附加数据添加到一个图像传感器帧或一组图像传感器帧，以及可以通过修改一个或多个图像传感器帧的消隐间隔来注入附加数据。现在将公开能够如何进行此。

首先，提供附加数据801。附加数据是数字序列形式。该步骤(801)之前的步骤可以是：以初始格式(例如，时间格式或日期格式)来提供附加数据以及将附加数据从其初始格式变换为数字序列。可以通过系统1的任何适当的部分来执行这些在前的步骤。附加数据被提供801在图像传感器10、图像处理器12中或控制器14中。更具体地，附加数据被提供801在控制附加数据在一个或多个图像传感器帧中的注入的图像捕捉系统1的部分中。可以通过图像传感器10、图像处理器12或通过在这里由控制器14表示的外部设备来执行控制。

与附加数据的提供801并行地，并且根据图像传感器设备10的正常操作，借助于图像传感器设备10中的图像传感器来捕捉有效图像传感器数据。图像传感器具有常规结构和功能。因而，图像传感器将来自视场的接收的光变换为形成有效图像传感器数据的电信号。图像传感器典型地具有限定了其尺寸的多个行和列的矩形形状。图像传感器的主要部分可以被配置为生成有效图像传感器数据，并且图像传感器还可以包括一个或多个边缘区域，该一个或多个边缘区域用于描绘视场中的场景之外的其他目的。

图2图示出存在于水平(H)和垂直(V)轴的坐标系统中的图像传感器帧20的示例。图像传感器帧20由多个水平行和垂直列形成。图像传感器帧20包括具有有效图像传感器数据的主区域22以及边缘区域24。主区域22包括稍后将形成对应的图像帧的可视部分的像素值，并且可以具有(例如)H1920×V1080的尺寸。边缘区域24包括可以用于补色、光分析、图像稳定，等等的像素值。图像传感器帧20还包括消隐区域26，其包括水平和垂直消隐间隔(分别是HBLANK和VBLANK)的区域。该一般示例的图像传感器帧20遵循图像传感器帧20的常规结构。请注意，其他常规形式的图像传感器帧是可能的。例如，不同于以上提供的示例，边缘区域24可以具有不同尺寸和/或包括其他信息。

返回到图1，从图像传感器设备10向图像处理器12传送作为图像传感器的读出的结果的图像传感器帧20，如通过100所指示的。本发明的整体构思包括：在传送图像传感器帧20之前，当读取图像传感器时，将附加数据包括在图像传感器帧20中。通过将附加数据的表示注入在图像传感器帧20中来进行此，将稍后更详细地公开这。通过在这样的早期将附加数据与(主区域22的有效图像传感器数据)相关联，提供一种用于帮助图像传感器数据(具体是有效图像传感器数据)的检验和真实性检查的强有力的工具。可以根据目的来注入不同类型的附加数据，将在本文示范出这一点。

深入图像传感器帧20的形成的细节，将进一步参考图3至图5来公开这部分。通过读取图像传感器设备10的图像传感器来执行图像传感器帧20的形成。

图3图示出用于从图像传感器进行完整读出(即用于读取完整的图像传感器帧20)的周期。根据图像传感器设备的常规结构，逐行地(水平)读取像素值，并且将像素值与关于例如图像传感器特性、光数据等等的数据一起传送到图像处理器12。传送是受信号控制的。第一信号VSYNC控制垂直读出并且触发读出周期。第二信号HSYNC控制垂直读出周期内的行的读出。每个HSYNC信号触发下一行的读出。因此，如在图3中所图示的，多个HSYNC周期存在于一个VSYNC周期期间。在第一部分31的HSYNC周期期间，可以读取并且传送帧级数据(诸如光或色彩特性)。在第二部分32的HSYNC周期期间，读取并且传送激活传感器像素值的形式的图像传感器数据。最后的部分33的HSYNC周期形成垂直消隐间隔，也被称为垂直消隐或VBLANK。垂直消隐间隔形成帧的最后线(即，来自图像传感器设备10的数据输出的最终值)和下一图像传感器帧的第一线的开始之间的延迟时间段。

图4图示出在单个HSYNC周期中(例如在第二时段32的HSYNC周期之一期间)传送什么。HSYNC周期持续多个时钟(CLK)周期。根据常规配置、通过图像传感器设备10的像素时钟来定义CLK周期的长度。在第一时段41的CLK周期期间，读取并且传送同步和/或虚拟数据。在第二时段42的CLK周期期间，读取并且传送图像传感器的单个行的有效像素值。通过图像传感器设备10中的寄存器来控制读出，该寄存器指示对于每个行应当读取多少图像传感器像素以及对于每个图像传感器帧应当读取多少行。可以以常规的方式实施和使用寄存器。

每个HSYNC周期中的最后时段43的CLK周期形成水平消隐间隔(也被称为水平消隐或HBLANK)，其具有与如上所述的垂直消隐间隔类似的功能。水平消隐间隔形成在一个行的最后的图像传感器像素与下一行的第一图像传感器像素的读出之间。最后和第一图像传感器像素可以是有效或未有效。可以通过指示下一HSYNC周期的开始的信号来指示下一行的开始。

图5在高级别图示出多个图像传感器帧的读出以及从图像传感器设备10到图像处理器12的传送。图像传感器帧1、图像传感器帧2、图像传感器帧3和图像传感器帧4被指示。在帧之间，存在垂直消隐间隔51、垂直消隐间隔52、垂直消隐间隔53存在。

现在，当已经公开了图像传感器帧的读出的结构时，现在将公开将附加数据注入在图像传感器帧中的细节。如在图8中所图示出的，方法的下一步骤是控制802一个或多个图像传感器帧的连续的消隐间隔的长度来表示数字序列，该数字序列进而表示附加数据。涉及的消隐间隔能够是垂直消隐间隔33或水平消隐间隔43，形成本发明的不同的实施例。

深入其中控制连续的水平消隐间隔的长度的实施例的细节，这是其中可以在一个VSYNC周期期间(即在单个帧的传送期间)传送数字序列的实施例。可以由图像传感器设备10本身、由图像处理器12(通过常规HSYNC控制信号或由图1中的103所指示的其他控制信号)或由外部控制器14来执行控制。通过控制连续的水平消隐间隔的长度意指将预先确定的连续的HSYNC周期中的每个最后时段43的CLK周期控制为具有特定长度，即特定数量的CLK周期。通过连续的HSYNC周期来意指紧跟彼此的、但不一定邻近的周期。例如，可以在单个VSYNC周期内每5行地对于HSYNC周期编号5、10、15、20，等等来控制水平消隐间隔。连续的消隐间隔之间的中间行的数量不需要相同。例如，可以在单个VSYNC周期内对于HSYNC周期编号47、48、105、328、350，等等来控制水平消隐间隔。通过配置和目的已经在以上被讨论的通信协议来限定(即预先确定)将控制哪些水平消隐间隔。应当理解，根据关于单个图像传感器帧的相同的原理，被控制的连续的消隐间隔的序列可以在多个图像传感器帧上扩展。

控制水平消隐间隔来表示数字序列。例如，在二进制序列[111110011101000100001010]形式的数字序列的情况下，连续的水平消隐间隔可以是通过根据数字序列添加某数量的CLK周期被控制为表示数字序列的长度。换句话说，对于前5个连续的水平消隐间隔，添加一个额外的CLK周期，对于接下来两个连续的水平消隐间隔，不添加额外的CLK周期，等等。因而，通过在单个图像传感器帧内在该例证实施例中修改连续的水平消隐间隔的长度来将数字序列注入到图像传感器帧中。

可以随着消隐间隔长度相对于基准值的变化来执行连续的消隐间隔的长度控制。例如，在10个时钟周期的基准值的情况下，可以通过控制第一和第二连续的消隐间隔每个均具有+1时钟周期(即10+1＝11时钟周期)，并且控制第三和第四连续的消隐间隔每个均具有+0时钟周期(即10+0＝10时钟周期)来注入数字序列[1100]。在一个实施例中，基准值可以是0。在其他的实施例中，可能由于其他长度改变机制，基准值可以在消隐间隔之间变化。本领域技术人员拥有当实施本发明构思时如何处理此类情况的知识。

实施控制连续的水平消隐间隔的一种方式是控制何时向图像传感器设备10发送HSYNC信号，并且因此指示下一行的读出的开始。通过延迟HSYNC周期，构成水平消隐间隔43的延迟时段延长。因此，控制HSYNC信号的定时，即开始下一行的读出的指示符的定时，以便控制水平消隐间隔的长度。

进入其中连续的垂直消隐间隔33被长度控制的其他实施例，这是其中优选地将数字序列注入在多个图像传感器帧中的实施例。对于每个帧，控制其中的垂直消隐间隔33具有特定长度，使得所传送的图像传感器帧的一部分上的连续的消隐间隔对应于数字序列。在图5中，能够注意到，根据该实施例，垂直消隐间隔51、垂直消隐间隔52、垂直消隐间隔53具有不同的长度。

可以以与水平消隐间隔相同的方式(即通过控制触发下一图像传感器帧的读出的开始的VSYNC信号的定时)来控制垂直消隐间隔。

可以同时地利用在单个实施例内的对水平消隐间隔和垂直消隐间隔的控制。可以有益的是，更快地传送一些快速改变的附加数据(例如时间戳)，对于其水平消隐间隔的长度控制是适当的，而其他较缓慢改变的或静态的附加数据，通过垂直消隐间隔的长度控制进行注入便足够。例如，能够通过对水平消隐间隔进行长度控制来注入数值(二元)序列在以上例证的时间戳，而可以通过对垂直消隐间隔进行长度控制来诸如通过例如18122020的数字序列所表示的日期戳(2020年12月18日)。

在一个实施例中，该方法进一步包括，除为了传送附加数据的目的被长度控制的连续的消隐间隔之外，对在本文称作补偿消隐间隔的消隐间隔进行长度控制。对补偿消隐间隔进行长度控制，以便补偿不同的图像传感器帧之间的总时钟周期的差，换句话说采取多少时钟周期来传送不同的帧。有益的是，保持每图像传感器帧的时钟周期的总数量恒定或至少努力保持每图像传感器帧的时钟周期的总数量的最小偏差。为此目的，引入对补偿消隐间隔的长度控制。补偿消隐间隔可以位于连续的消隐间隔的序列之后，并且被长度控制以补偿该序列的总修改。在一个实施例中，补偿消隐间隔位于图像传感器帧中的所有连续的消隐间隔之后，并且被长度控制以补偿该图像传感器帧中的所有连续的消隐间隔引起的时钟周期的累积改变。在替换实施例中，实施多个补偿消隐间隔。优选地，它们位于连续的消隐间隔之间并且被适配为逐渐地补偿连续的消隐间隔的变化。换句话说，每个连续的消隐间隔之后是补偿消隐间隔，该补偿消隐间隔被长度控制的以补偿该连续的消隐间隔的长度的改变。利用该实施例，实现渐进的补偿，其在不同的图像传感器帧之间将图像传感器帧的每帧片段的时钟周期的数量维持为基本上恒定的水平。

向前进，方法8的下一步骤是接收803图像传感器帧20的传送。可以根据常规传送协议(例如MIPI协议)来执行传送(图1中的100)。为了接收附加数据，图像处理器12确定连续的消隐间隔的长度，这是通过以上讨论的通信协议已知的。通过在接收和存储用于处理的图像传感器帧20的图像传感器数据时对每一个连续的消隐间隔中的时钟信号的数量进行计数来执行确定。可以应用确定连续的消隐间隔的长度的其他常规方式。

可以将确定的长度(即数字序列)存储在专用处理器存储器中。因而，已经向图像处理设备12传送了数字序列并且图像处理设备12主动地接收了数字序列。

接下来，图像处理设备12可以将数字序列变换804为附加数据的格式，例如文本或数值表示。例如通过在通信协议中被预定义，格式可以被预先已知。

接下来，图像处理设备12根据常规图像处理设备的正常操作来处理有效图像传感器数据以及可能接收的其它数据。处理可以进一步包括将有效图像传感器数据修改805为纳入附加数据。可以以其初始或变换的格式、通过数字序列来表示附加数据。附加数据因此变为有效图像传感器数据的组成部分。可以以各种已知方式纳入附加数据，将在下文参考图6来示范这。

在第一示例中，纳入附加数据作为对通过有效图像传感器数据形成的图像62的覆盖63。在该示例中，覆盖63是示出获得有效图像传感器数据时的日期戳和时间戳的文本域。可以为用户显示图像62，该用户能够读取和使用在覆盖63中提供的信息用于检验有效图像传感器数据或用于其他目的。

在第二示例中，纳入附加数据作为二进制码指示符65。将附加数据变换为二进制格式，并且将有效图像传感器数据中的像素值68修改为表示二进制附加数据。可以例如修改像素值68以将二进制格式的附加数据表示为黑色像素(每个表示二进制0)和白色像素(每个表示二进制1)。修改的像素值68形成二进制码指示符65。二进制码指示符65可以占据例如单个行的25个像素的区域。应当注意到，为了说明性目的而夸大了图6中的二进制码指示符65的大小。因此将附加数据以嵌入方式插入通过有效图像传感器数据形成的图像64中，并且可以使其非常分散并且甚至不为人眼所注意。

通过图像66的强度移位的像素69来图示出如何纳入附加数据的第三示例。在图像66的指示符域67中，将像素的强度值(例如，灰度强度的或RGB值的强度移位)移位以形成附加数据的代码或视觉表示。

在其他实施例中，可以纳入附加数据作为有效图像传感器数据的(例如，JPEG图像文件的报头中的)元数据。

因此，如何形成覆盖、修改像素值、形成指示符域，并且将附加数据作为元数据或类似的数据来添加被本领域技术人员所了解并且可以由其来实施。因此将不提供附加数据的包括的进一步详情。

返回到图8，下一步骤是，向另一个设备传送807修改后的有效图像传感器数据，如由图1中的102所指示的。修改后的有效图像传感器数据可以是编码或非编码格式。修改的图像传感器数据可以伴随其他数据，诸如来源于图像处理的图像数据。因而，图像处理器12可以具有用于在进一步传送之前对修改后的有效图像传感器数据进行编码的编码能力。替换地，可以从图像处理器12向编码器(未图示)传送修改后的有效图像传感器数据以用于编码。

最终，可以将编码的修改后的有效图像传感器数据与其他数据一起来向评估设备(在该实施例中是显示设备的形式)传送807。评估设备可以包括用于对修改后的有效图像传感器数据进行解码的解码器和其他处理器并且显示将其显示给用户。根据应用，可以不同地配置评估设备。

替换地，可以将编码的修改后的有效图像传感器数据存储在存储器中以提供用于稍后检验查看的可能性。可以通过评估设备来执行检验。

不管在图像处理器12之后如何处理修改后的有效图像传感器数据，在所图示出的实施例中，将附加数据包括在修改后的有效图像传感器数据中，并且因此如果有效图像传感器数据和附加数据不主动分开则在彼此之后。可以在不丢失在有效图像传感器数据中的附加数据的信息的情况下执行有效图像传感器数据的任何可能的转换、拼接、校正或其他处理。

返回到其中向显示设备形式的评估设备传送807修改后的有效图像传感器数据的实施例，下一步骤可以是，显示设备关于作为输入的附加数据来执行分析，并且基于分析的结果来采取适当的动作。例如，分析可以是检验出以下的有效图像传感器数据的检验：由于例如传送延迟，数据不是太旧或数据来自预期图像传感器。最初提供801的附加数据的种类适合于将被执行的分析。如果分析适合于检验出有效图像传感器数据不是太旧，例如检验出推测的实时视图实际上是实时的并且没有延迟到视图不能用于进行关键决定的程度，附加数据可以是获得包括了讨论中的有效图像传感器数据的图像传感器帧时提供801的时间戳的形式。在显示设备，可以通过将时间戳与当前时间(源自例如本地或全球时钟的相同的时间提供者，作为时间戳)相比较来分析时间戳，并且如果其不同超过预先确定的阈值，则采取808动作来向用户警告或通知该状况。替换地，附加数据可以是获得图像传感器帧时提供的位置的形式。在这样的实施例中，显示设备可以通过将附加数据中的位置与可以从外部数据提供者接收或请求的当前位置相比较来分析附加数据。如果所比较的位置之间的距离超过预先确定的阈值，则可以采取将该状况通知给用户的警告的动作。

在另一个实施例中，附加数据可以指示图像传感器的序列号。显示设备可以通过将序列号与预期已经获得了图像数据的图像传感器的序列号相比较来分析附加数据以检验所接收的修改后的有效图像传感器数据的真实性。该实施例可以被转换为具有用于检验有效图像传感器数据的表示静态(不改变的)信息的附加数据的类似的实施例。预期到附加数据偏离什么，可以触发警报动作来向用户警告该偏离。

在所有以上公开示例中，可以通过外部数据提供者16向图像传感器设备10、向图像处理器12，和/或向控制器14提供附加数据，如由106所指示的。在一些实施例中还向以上讨论的诸如显示设备之类的设备传送附加数据，用于评估所接收的修改后的有效图像传感器数据。因此，根据应用，在不同的设备中提供附加数据。外部数据提供者16被适配为提供特定实施方式所必需的附加数据。为了提供时间戳的形式的附加数据，外部数据提供者16可以是时钟设备。为了提供位置形式的附加数据，外部数据提供者16可以是GNSS设备。为了提供静态信息，外部数据提供者16可以包括数据库和用于提供附加数据的处理能力。在外部数据提供者16作出发起时或在外部数据提供者16从图像传感器设备10、图像处理器12或控制器14接收到请求时，可以提供附加数据。外部数据提供者16的替换是数据提供者(未图示)，其被包括在图像传感器设备10、图像处理器12或控制器14中。

现在将参考图7来公开特定实施例，图7图示出用于公共汽车驾驶员的(具体是用于关闭公共汽车78的公共汽车门71的情形的)基于照相机的支持系统7。该场景表示各种情形之一，其中由于安全原因重要的是，在每个图像在预先确定的并且可接受的最大延迟时段内被显示的意义上，检验实时视图实际上是实时的。用于车辆驾驶员的基于照相机的支持系统变得更常见，包括用于公共汽车的门照相机和汽车中的后部照相机。这对于安全性是关键的，驾驶员能够信任来自照相机的显示的图像以便能够对不冒险伤害其他人的动作采取决定。在图7中图示出的实施例中，位于驾驶员的座位73的公共汽车驾驶员使用支持系统7，用于确定公共汽车门71周围的区域何时没有人和阻挡物，并且能够在不伤害某人或造成其他损坏的情况下关闭公共汽车门71。

根据实施例，一种包括图像传感器设备70的照相机设备位于公共汽车门71，并且被适配为获得公共汽车门区域的图像。照相机设备连接到图像处理设备72，该图像处理设备72包括图像处理器和编码器。从时钟设备74，能够向图像处理设备72提供时间信号，如由704所指示的。时钟设备74可以是本地的或全球的。按照常规数据通信结构，系统7的设备内的连接可以是有线或无线的。

根据本发明构思，通过时间信号从时钟设备74获得时间戳的形式的附加数据。获得与获得图像传感器帧的时间相对应的时间戳。将附加数据(包括时间戳)注入在一个或多个图像传感器帧中并且从图像传感器设备70传送到图像处理设备72(通过701来指示)。接收附加数据并且通过修改有效图像传感器数据来将附加数据包括在有效图像传感器数据中。在编码之后，从图像处理设备72向显示设备76传送修改后的有效图像传感器数据，如由702所指示的。显示设备76包括解码器。在解码之后，可选地与在显示器75上显示附加数据用于由驾驶员查看并行地，对附加数据进行分析。显示设备76察觉到附加数据如何被包括到修改后的有效图像传感器数据中，并且具有解译包括的数据的能力。可能当向显示设备76传送修改后的有效图像传感器数据(如由702所指示的)时或甚至将该知识作为修改后的有效图像传感器数据的一部分的信息，可以由图像处理设备72向显示设备76提供该知识。

在该实施例中，将附加数据的时间戳与从时钟设备74(可选地根据请求)接收的当前时间戳相比较。在附加数据的时间与当前时间之间的差超过预先确定的阈值时，显示设备76触发警报动作用于向驾驶员指示所接收的修改后的有效图像传感器数据是旧的。通过旧来意指超过预先确定的期限，其在该实施例中能够是十分之几秒或大约秒的数量级。警报动作可以包括动作的以下非限制性示例中的一个或组合：

阻止显示修改后的有效图像传感器数据的图像，

取消修改后的有效图像传感器数据的图像的显示，

以闪光方式或利用特定颜色的覆盖(例如，半透明红色覆盖)来显示接收的修改的图像传感器数据，

在显示器75上显示指示修改后的有效图像传感器数据的图像当前不是实时的指示，

通过连接到显示设备76的扬声器77来播放声音，

激活连接到显示设备73的照明器79。

因此，为公共汽车78的驾驶员提供支持系统7，该支持系统7增加安全性并且提供用于做出重要决定的更可靠系统。在其他的实施例中，系统7可以包括一个以上图像传感器设备，诸如包括图像传感器设备的后部照相机77。在这样的系统中，显示设备73可以接收和检验来自不同的图像传感器设备源的图像传感器数据，用于例如作为多个视图在显示器75上向驾驶员显示。

尽管所图示的实施例示出显示设备76，但这不应当被解译为限制本发明。其他实施例包括没有显示器的评估设备，其中，评估设备被适配为分析到设备的附加数据来确定相关联的图像传感器数据是否有效。因此，显示器并不是为了执行此类评估而必要的。在一个实施例中，其中从处理设备或存储设备将附加数据作为元数据来发送，评估设备需要仅仅接收元数据以便执行评估。因此，可以排除有效图像传感器数据或向另一个设备(诸如显示设备)发送以用于显示。评估设备可以因此是相比显示设备而言的单独的设备。

可以将本发明的系统7或其他实施例的通用结构变换为用于具有类似的安全挑战的场景的其他系统。基于在本文的描述和常识，本领域技术人员能够实现此类变换。

本发明可以对于其有益的应用的非限制性示例包括：

远程医疗应用

远程医学治疗/外科/检查

运输应用，例如桥的远程控制或航空塔功能的远程控制

远程技术辅助和技术服务，例如用于技术装备的维护的远程辅助

图像文档的检验，例如通过研究附加信息中的位置坐标来检验为推测的对象所拍摄的图像来进行此

医学检查，诸如胃镜检查或结肠镜检查。

在以上，已经主要地参考有限数量的示例描述了本发明构思。然而，本领域技术人员容易地理解，以上公开的示例之外的其他示例同等地可能在如所附权利要求所限定的本发明构思的范围内。

Claims (15)

1.一种在图像传感器设备中的一个或多个图像传感器帧中注入附加数据的方法，所述方法包括：

提供(801)数字序列形式的附加数据，

控制(802)图像传感器设备中的一个或多个图像传感器帧中的包括连续的水平消隐间隔和连续的垂直消隐间隔中的一者或两者的连续的消隐间隔的长度来表示所述数字序列，以及

从所述图像传感器设备传送所述一个或多个图像传感器帧。

2.根据权利要求1所述的方法，进一步包括：

在接收(803)所传送的一个或多个图像传感器帧的同时确定所述连续的消隐间隔的所述长度，以识别表示所述附加数据的所述数字序列，

将所接收的一个或多个图像传感器帧中的有效图像传感器数据修改(805)为包括所述附加数据。

3.根据权利要求2所述的方法，其中，由图像处理器来执行接收(803)所传送的一个或多个图像传感器帧和修改(805)有效图像传感器数据的步骤。

4.根据权利要求2所述的方法，进一步包括：在修改(805)有效图像传感器数据之前，将所述数字序列变换(804)为与附加数据的类型相关联的格式。

5.根据权利要求2所述的方法，其中，修改(805)所接收的一个或多个图像传感器帧中的有效图像传感器数据的步骤包括：纳入所述附加数据作为覆盖或作为嵌入信号。

6.根据权利要求1所述的方法，其中，所述附加数据指示获得所述一个或多个图像传感器帧时的时间点的当前状况。

7.根据权利要求6所述的方法，其中，所述附加数据指示时间、日期或位置。

8.根据权利要求1所述的方法，其中，所述附加数据被提供在图像处理器中，并且其中，由所述图像处理器来控制所述连续的消隐间隔的长度。

9.根据权利要求1所述的方法，其中，所述数字序列是二进制序列。

10.根据权利要求1所述的方法，进一步包括：对除所述连续的消隐间隔之外的其他一个或多个消隐间隔的长度进行控制以用于补偿，使得图像传感器帧的传送花费相同的时钟周期数。

11.一种图像处理器(12，72)，被适配为通过控制一个或多个图像传感器帧中的包括连续的水平消隐间隔和连续的垂直消隐间隔中的一者或两者的连续的消隐间隔的长度来表示数字序列，从而将以所述数字序列形式提供的附加数据注入在所述一个或多个图像传感器帧中。

12.根据权利要求11所述的图像处理器(12，72)，进一步被适配为：

在从图像传感器设备(10，70)接收所述一个或多个图像传感器帧的同时确定所述连续的消隐间隔的长度，以识别表示所述附加数据的所述数字序列，以及

将所接收的一个或多个图像传感器帧中的有效图像传感器数据修改为纳入所述附加数据。

13.一种包括图像传感器设备(10，70)和根据权利要求11所述的图像处理器(12，72)的系统(1，7)，其中，所述图像传感器设备(10，70)被适配为向所述图像处理器(12，72)传送作为所述图像传感器设备(10，70)的读出的结果的一个或多个图像传感器帧。

14.根据权利要求13所述的系统，进一步包括评估设备，其中，所述图像处理器(72)进一步被适配为向所述评估设备传送修改后的有效图像传感器数据，并且其中，所纳入的附加数据采用获得所述一个或多个图像传感器帧时的时间或位置的形式，

其中，所述评估设备被适配为确定所述附加数据的时间或位置与当前时间或当前位置的差是否超过预先确定的阈值，并且如果是，则触发警报动作来向用户指示所接收的修改后的有效图像传感器数据是旧的。

15.根据权利要求14所述的系统，其中，触发警报动作的步骤包括触发以下动作中的一个或多个：阻止或取消在显示器(75)上显示所接收的修改后的有效图像传感器数据、以闪光方式在显示器(75)上显示所接收的修改后的有效图像传感器数据、在显示器(75)上显示指示、激活照明器(79)以及通过扬声器(77)播放声音。

Images