CN109906609A - 用于监测图像传感器的方法和设备 - Google Patents

Abstract

本发明涉及一种用于监测图像传感器(102)的方法，其中，所述图像传感器(102)具有用于与外部监测单元(106)进行通信的通信接口(104)。在所述方法中，通过所述通信接口(104)读取由所述监测单元(106)产生的请求信号(108)；在使用所述请求信号(108)的情况下修改由所述图像传感器(102)产生的测试图案(204)；并且将所述经修改的测试图案输出给所述通信接口(104)，以便能够通过所述监测单元(106)分析处理所述经修改的测试图案。

Description

用于监测图像传感器的方法和设备

技术领域

本发明从根据独立权利要求的类别的一种设备或一种方法出发。本发明的主题也是一种计算机程序。

背景技术

机动车中的基于视频的系统可以用于对于安全重要相关的功能。在此，图像传感器可以用于使光学信息数字化，而微处理器承担所数字化的图像的进一步处理。

已知用于内部监测这种图像传感器的不同方法：例如通过奇偶检验或错误检查和纠正(ECC)的存储保护或者使用专用配置循环冗余校验码(CRC)或计数器。

发明内容

在所述背景下，借助在此提供的方案提出根据独立权利要求的一种用于监测图像传感器的方法，此外还提出一种使用所述方法的设备，以及最后提出一种相应的计算机程序。通过在从属权利要求中列举的措施，能够实现在独立权利要求中说明的设备的有利的扩展方案和改善方案。

提出一种用于监测图像传感器的方法，其中，图像传感器具有用于与外部监测单元进行通信的通信接口，其中，该方法包括如下步骤：

通过通信接口读取由监测单元产生的请求信号；

在使用该请求信号的情况下修改由图像传感器产生的测试图案，以便获得经修改的测试图案；

将经修改的测试图案输出给通信接口，以便可以通过监测单元分析处理经修改的测试图案。

“图像传感器”例如可以理解为CCD传感器或CMOS传感器。“外部监测单元”例如可以理解为微控制器形式的或微处理器形式的处理单元。“请求信号”可以理解为挑战——即相应位模式的问题或任务。视实施方式而定，“测试图案”可以理解为由图像传感器产生的图像中的测试图案部分——例如图像的至少一行或一列，或者“测试图案”也可以理解为单独的测试图像。为了产生测试图案，图像传感器例如可以给图像添加一些图像行或图像列作为测试图案。经修改的测试图案可以涉及应答——即对于挑战的相应回答位模式(Antwortbitmuster)形式的回答。图像传感器例如可以基于请求信号来执行内部措施(例如计算)，这些内部措施促使生成测试图案的修改形式的应答。可以将所述应答发送回监测单元并且通过该监测单元检查所述应答，该监测单元认识或者也可以创建唯一正确的应答。

在此提出的方案基于如下认知：可以基于挑战-应答方法来实现图像传感器的外部监测，其中，例如微控制器或微处理器可以将挑战传输给图像传感器。通过这种方法，可以通过如下方式扩展典型的应答生成：根据分别发送的挑战动态地改变图像的测试图案部分。因此，可以改善图像传感器的监测并且可以实现更高的安全等级——例如更高的ASIL(ASIL＝汽车安全性完整等级)。

在此提出的方案的优点在于图像传感器的外部监测，其方式是：这种外部监测能够实现关于多个部件的使用的安全性论证。由此，即使对于图像处理中的更高的应用层来说，也能够实现作用链(Wirkkette)的全面监测。

根据一种实施方式，在输出的步骤中，可以将经修改的测试图案作为由图像传感器产生的图像的一部分输出。由此可以确保：将经修改的测试图案与由图像传感器产生的图像同时输出。

根据另一实施方式，在修改的步骤中，可以逐段地产生经修改的测试图案。相应地，在输出的步骤中，可以输出经修改的测试图案的区段。例如可以逐行地或逐列地或者不仅逐行地而且逐列地产生经修改的测试图案。在输出的步骤中，例如可以与图像传感器的图像发送时钟同步地输出经修改的测试图案的区段。通过该实施方式，可以省去用于缓存经修改的测试图案的缓存器。

此外有利的是：在修改的步骤中，在使用处理规则的情况下，从起始值出发顺序地产生经修改的测试图案。“处理规则”例如可以理解为逻辑——例如状态机(StateMachinie)或状态自动机。“起始值”例如可以理解为逻辑的种子值。由此，可以特别高效地产生经修改的测试图案。

此外，所述方法可以包括根据图像传感器的图像发送时钟产生请求信号的步骤。由此，可以以高的效率监测图像传感器。

在此，在产生的步骤中，可以与图像发送时钟同步地产生请求信号。例如可以对于由图像传感器产生的每个单个图像产生请求信号。替代地，例如也可以对于由图像传感器产生的每第n个图像产生请求信号。通过这种实施方式，可以进一步提高图像传感器的监测的效率。

还有利的是：在分析处理的步骤中，例如在使用请求信号的情况下分析处理经修改的测试图案。在此，在禁用的步骤中，如果在分析处理时将经修改的测试图案重复地识别为错误的，则可以禁用图像传感器。由此可以避免：一次错误的测试图案生成就导致图像传感器立即关断。

根据另一实施方式，在输出的步骤中，可以在使用请求信号的情况下输出一个另外的回答信号，以便还能够通过监测单元分析处理另外的回答信号。另外的回答信号可以涉及附加的应答。由此可以提高方法的可靠性。

有利的是：在输出的步骤中，在使用图像传感器的至少一个安全机构的情况下输出另外的回答信号。“安全机构”可以理解为用于自检查图像传感器的机构。视实施方式而定，图像传感器可以具有多个不同的安全机构。由此，可以将安全机构集成到经修改的测试图案形式的应答的生成中。因此，可以实现特别高的监测质量。

此外，所述方法可以包括在使用经修改的测试图案的情况下检查监测单元的功能有效性的步骤。由此，可以使用经修改的测试图案来附加地对监测单元进行监测。

该方法例如可以以软件实现或以硬件实现或以软件与硬件的混合形式(例如在控制设备中)实现。

此外，在此提出的方案提出一种设备，所述设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案的步骤。通过本发明的设备形式的实施变型方案，也可以快速并且高效地解决本发明所基于的任务。

为此，所述设备可以具有：至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个用于从传感器读取传感器信号或用于将数据信号或控制信号输出到执行器的至传感器或执行器的接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或类似物，其中，所述存储单元例如可以是闪存、EPROM或磁性存储单元。通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口例如可以电学地或光学地从相应数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。

在此，设备可以理解为电设备，所述电设备处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有可以以硬件形式和/或软件形式构造的接口。在硬件形式的构造中，所述接口例如可以是所谓的系统专用集成电路的一部分，该部分包含所述设备的各种各样的功能。然而也能够实现，所述接口是独立的集成电路或至少部分地由分立的构件组成。在软件形式的构造中，所述接口可以是软件模块，所述软件模块例如和另外的软件模块存在于微控制器上。

在一种有利的构型中，通过该设备实现车辆的控制。为此，该设备例如可以访问传感器信号——例如加速度传感器信号、压力传感器信号、转向角度传感器信号或周围环境传感器信号。通过执行器(例如车辆的制动执行器或转向执行器或马达控制装置)实现操控。

也有利的是一种计算机程序产品或具有程序代码的计算机程序，所述程序代码能够存储在机器可读的载体或存储介质上——例如半导体存储器、硬盘存储器或光学存储器，并且用于尤其当所述计算机程序产品或计算机程序在计算机或设备上实施时执行、实现和/或操控根据上述实施方式中任一项所述的方法的步骤。

附图说明

本发明的实施例在附图中示出并且在以下描述中更详细地阐述。附图示出：

图1示出根据一种实施例的设备的示意图；

图2示出由根据一种实施例产生的图像的示意图；

图3示出根据一种实施例的方法的流程图；

图4示出根据一种实施例的图像传感器的示意图；

图5示出根据一种实施例的图像传感器的示意图；

图6示出根据一种实施例的监测单元的示意图。

具体实施方式

在本发明的有利的实施例的以下描述中，对于在不同附图中示出的并且起相似作用的元素使用相同的或相似的附图标记，其中，省去对所述元素的重复性描述。

图1示出根据一种实施例的设备100的示意图。设备100包括图像传感器102，所述图像传感器具有通信接口104，所述通信接口与用于监测图像传感器102的监测单元106耦合。监测单元106(例如微控制器或微处理器)构造用于产生请求信号108(也称为挑战)并且将该请求信号发送给通信接口104。图像传感器102构造用于读取请求信号108并且处理该请求信号用于修改由图像传感器102产生的测试图案。在此，根据通过请求信号108代表的位模式实现所述修改。因此，如此修改的测试图案也可以称为应答，其中，图像传感器102通过通信接口104将相应的回答信号112形式的经修改的测试图案发送回监测单元106。监测单元106使用回答信号112，以便通过分析经修改的测试图案来检查图像传感器102的功能有效性。

图像传感器102例如构造用于数字地检测光。在此，监测单元106可以实现成用于更高的图像处理层的硬件。图像传感器102和监测单元106例如通过可能多部件的通信系统彼此连接，其中，通信接口104可以是通信系统的一部分。视实施例而定，通信系统包括Reeder MIPI总线或其他通信连接。典型的功能场景例如是：在启动系统时，监测单元106将配置数据发送给图像传感器102，以便配置该图像传感器。然后在运行中，图像传感器102将图像数据以适当的形式发送给监测单元106。

根据一种实施例，如图2所示，图像数据如此示出，使得总图像由图像内容和测试图案组成。在此，测试图案例如使用总图像的几行或几列。

图像传感器102通过通信系统获得请求信号108形式的挑战。在图像传感器102中，分析处理挑战——即首先识别为挑战。在此，在图像传感器102的相应部件中，辨识挑战的涉及测试图案的修改的部分，并且将所述部分传递给用于产生经修改的测试图案的另一部件，所述另一部件产生由挑战修改的测试图案。为此，在负责的部件中例如执行默认方法，借助所述默认方法，即使当不存在挑战时，也无论如何产生测试图案。然后，将经修改的测试图案传递给用于发送经修改的测试图案的部件。在此，将经修改的测试图案要么单独地(例如作为独立图像)发送、要么嵌入到结构中(如其在图2中所示那样)地发送。在所述结构中，经修改的测试图案是图像的一部分。

在此，特别高效的是：将图像并且因此也将代表经修改的测试图案的图像部分分段地(例如以行的形式)发送。类似于此，有利的是：同样以相应的区段尺寸(例如逐行地)来产生经修改的测试图案，由此，可以省去大规模的缓存器。在此，应该使经修改的测试图案的产生与图像的传输如此同步，使得在图像的发送时钟中提供相应的区段。

图2示出由根据一种实施例的图像传感器产生的图像200的示意图。图像200例如已经由(如之前根据图1所描述的)图像传感器所产生。根据该实施例，该图像包括第一部分202和第二部分204，该第一部分代表实际图像内容，该第二部分代表图像200的一个或多个列或行形式的测试图案。例如由图像传感器202在使用请求信号的情况下对测试图案形式的第二部分204进行修改，以便获得经修改的测试图案。视实施例而定，将回答信号形式的经修改的测试图案要么单独地、要么作为组合图像的一部分(类似于图2示出的图像那样)发送给监测单元。

图3示出根据一种实施例的方法300的流程图。例如可以在使用如之前根据图1和图2所描述的设备的情况下执行用于监测图像传感器的方法300。在图3中示例性地示出方法300的基本流程。在此，监测单元在步骤310中将请求信号形式的挑战发送给图像传感器的通信接口，该图像传感器通过通信接口读取该请求信号。通过请求信号代表的挑战对于图像传感器而言不是已知的。但是，在图像传感器中存储有：对于任何一个任意的挑战应如何做出反应。因此在另一步骤320中，图像传感器发起对于挑战的反应。在步骤330中，图像传感器根据挑战修改测试图案，该测试图案例如作为对于挑战的反应在图像中一并发送。在此，测试图案的修改以几乎任意的形式实现：例如通过测试图案关于由挑战计算出的值的简单循环移位、通过替换测试图案的几排或几行、或者通过将测试图案替换为完全不同的测试图案。高效的是：为了创建新的测试图案，不需要大规模的硬件。对于监测单元而言，这种新的测试图案应该至少原则上是已知的。在步骤340中，通过通信接口将经修改的测试图案输出给监测单元，其中，在步骤350中，监测单元通过分析处理经修改的测试图案检查：经修改的测试图案是否相应于其期望。最后，在步骤360中，根据步骤350的结果决定：允许图像传感器的继续运行还是存在错误。例如如果在步骤350中已将经修改的测试图案识别为错误的，则在步骤360中禁用图像传感器。

方法300可以称为用于监测电子部件(尤其例如也用于进行相互监测)的挑战-应答方法或问-答方法。方法300的特征在于，监测单元给图像传感器发送挑战或问题——通常合适的位模式，并且图像传感器基于该问题执行内部措施(例如计算)，所述内部措施还导致应答或回答的生成。将所述回答发送回监测单元，该监测单元可以检查回答的正确性，因为该监测单元可以认出或者也可以创建唯一正确的回答。

为了高效地实现步骤330，例如有利的是：顺序地(例如逐行地或逐字地)产生测试图案的位模式作为逻辑的输出，并且不由存储器读取所述位模式。该逻辑例如是状态机，该状态机在每x个时钟周期生成新的值(例如新的行)。视实施例而定，逻辑仅需要例如从挑战直接获得的一个种子值，并且随后产生不断继续的值，直至产生行。然后，前一值或前一行是下一值或下一行的起始值。因此，为了生成完整的测试图案仅需要逻辑、种子值以及行的数量。

特别有利的是：挑战与图像的发送同步。例如如此发送挑战，使得图像数据的下一系列或再下一(或再再下一等)系列包括测试图案数据的相应改变。这例如通过如下方式实现：以距上一图像固定时间间隔或距下一图像固定时间间隔发送挑战。在定义时间区间上具有可变界限的可变时间间隔可以示出这种同步性。这种时间耦合或同步性还使得能够在有限的范围内使用图像传感器来监测监测单元：如果在期望的时间窗中没有出现挑战或者挑战不合法——也就是说不满足能够简单检查的标准，则例如通过图像传感器采取错误反应。

替代地，在每个图像或在每第n个图像发送相应的挑战。尤其当在图像传感器内部耗费相对较多的时间来根据挑战产生经修改的测试图案时，这是有益的。

根据另一实施例，以生成附加的应答扩展方法300，所述附加的应答除了测试图案的变化以外一起被添加。为此，图像传感器除了经修改的测试图案之外将至少另一明确的消息发送给监测单元。有利的是：例如每个挑战(例如在挑战之后的固定时间区间内)发送一个消息。这能够在监测单元中实现简单的时间监测——即关于是否在正确时间提供应答的简单检查。

此外有利的是：使应答的内容与挑战如此关联，使得图像传感器内部的安全机构和监测机构集成到应答的生成中，并且因此监测单元从应答也获得关于如下的证据：图像传感器内部的安全机构和监测机构是否是激活的并且未发现错误。这例如以以下参照图5的方式更详细地描述。

可选地，防反跳机构嵌入到基于挑战的步骤300中，使得例如错误的测试图案生成或错误的应答不立即引起图像传感器的硬关断。替代地，例如在两个或三个错误的测试图案或应答之后才启动关断。这具有如下优点：即使在如下运行中也可以进行测试：在所述运行中，有时会故意地发送错误的结果。

为了实现方法300，例如使用具有图4中示出的部件的图像传感器。

图4示出根据一种实施例的图像传感器102(例如之前根据图1至图3描述的图像传感器)的示意图。图像传感器102包括用于读取请求信号108的通信接口104，所述请求信号通过分析处理单元410分析处理，以便启动对于通过请求信号108代表的挑战的反应。修改单元420构造用于响应于反应的启动产生回答信号112形式的经修改的测试图案。输出单元430构造用于又通过通信接口104发送回答信号112。

图5示出根据一种实施例的图像传感器102的示意图。与图4不同，根据该实施例的图像传感器102实现有多个安全机构SM1至SMn以及应答生成单元RG。在此，应答生成单元RG构造用于在使用由安全机构提供的结果的情况下产生回答信号112。

安全机构SM1至SMn例如以如此形式实现，使得这些安全机构分别提供结果E1至En。这例如在周期性测试中实现，其方式是：相应的测试结果“通过”或“失败”是例如由计数器的或时间戳的所使用的测试数据的结果的一部分。在近似连续运行的软件合理性检验中，这可以是代码中的写入到存储器中的预设图案顺序，或者也可以是流程中发生的步骤顺序规定，其中，如果顺序被识别为“正确的”，则测试视为通过。可以集成有如下各个安全机构：该安全机构如此实现，使得该安全机构提供能够显示在存储器中的结果。现在决定性的是：安全机构的结果取决于挑战。

在最简单的情况下，这是通过还借助挑战(例如通过XOR)修改最初提供的结果来完成的。然而在此，无法识别最初提供的结果的冻结(Festfrieren)。取决于相应的安全机构，例如在测试时通过挑战影响所使用的测试数据或测试数据的或部分测试的顺序。在软件情况下，例如对包含在结果中的内部(计数器)变量产生影响。分析处理单元410构造用于辨识挑战的对于相应安全机构有效的那部分，并且将所述部分以适当的形式提供给安全机构。然后在应答生成单元RG中，将不同结果E1至En组合、必要时压缩并且提供给监测单元。由此确保：由内部安全机构探测到的错误表现为相应的“错误”应答。在所期望的与所接收的应答不同的情况下，例如通过监测单元采取错误反应。

根据一种实施例，挑战也由应答生成单元RG本身集成，其方式例如是：在对不同结果E1至En进行互联的情况下，考虑与挑战相关的顺序、选择或关联形式。

图6示出根据一种实施例的监测单元106(例如之前根据图1至图5描述的监测单元)的示意图。根据该实施例，监测单元106包括产生单元610，该产生单元构造用于根据图像传感器的图像发送时钟(尤其例如与图像发送时钟同步地)产生请求信号108并且将该请求信号传输给图像传感器的通信接口。此外，监测单元106包括分析处理单元620，该分析处理单元构造用于在使用回答信号112的情况下分析处理经修改的测试图案。分析处理单元620例如构造用于，如果在分析处理经修改的测试图案时重复得出经修改的测试图案是错误的——即经修改的测试图案与对于监测单元106已知的测试图案不一致，则禁用图像传感器。

可选地，分析处理单元620构造用于除了回答信号112之外分析处理由图像传感器在使用请求信号108的情况下输出的至少一个另外的回答信号622，以便检查图像传感器的功能有效性。另外的回答信号622例如代表在使用图像传感器的至少一个安全机构的情况下产生的信号。

根据另一实施例，分析处理单元620构造用于在使用回答信号112的情况下检查监测单元106的功能有效性。为此，例如还在测试图案上实施在正常图像上运行的算法。由于在测试图案上的结果是已知的，所以这也可以用于检查运行有相应算法的硬件。

如果一种实施例包括第一特征与第二特征之间的“和/或”连接，则这应该如此解读：所述实施例根据一种实施方式不仅具有第一特征而且具有第二特征并且根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (13)

1.一种用于监测图像传感器(102)的方法(300)，其中，所述图像传感器(102)具有用于与外部监测单元(106)进行通信的通信接口(104)，其中，所述方法(300)包括如下步骤：

通过所述通信接口(104)读取(310)由所述监测单元(106)产生的请求信号(108)；

在使用所述请求信号(108)的情况下修改(330)由所述图像传感器(102)产生的测试图案(204)，以便获得经修改的测试图案；

将所述经修改的测试图案输出给所述通信接口(104)，以便能够通过所述监测单元(106)分析处理所述经修改的测试图案。

2.根据权利要求1所述的方法(300)，在所述方法中，在所述输出(340)的步骤中，将所述经修改的测试图案作为由所述图像传感器(102)产生的图像(200)的一部分输出。

3.根据上述权利要求中任一项所述的方法(300)，在所述方法中，在所述修改(330)的步骤中，逐段地产生所述经修改的测试图案，其中，在所述输出(340)的步骤中，输出所述经修改的测试图案的区段。

4.根据上述权利要求中任一项所述的方法(300)，在所述方法中，在所述修改(330)的步骤中，在使用处理规则的情况下，从起始值出发顺序地产生所述经修改的测试图案。

5.根据上述权利要求中任一项所述的方法(300)，所述方法具有根据所述图像传感器(102)的图像发送时钟产生所述请求信号(108)的步骤。

6.根据权利要求5所述的方法(300)，在所述方法中，在所述产生的步骤中，与所述图像发送时钟同步地产生所述请求信号(108)。

7.根据上述权利要求中任一项所述的方法(300)，所述方法具有分析处理(350)所述经修改的测试图案的步骤，其中，在禁用(360)所述图像传感器(102)的步骤中，如果在分析处理(350)时将所述经修改的测试图案重复地识别为错误的，则禁用所述图像传感器(102)。

8.根据上述权利要求中任一项所述的方法(300)，在所述方法中，在所述输出(340)的步骤中，在使用所述请求信号(108)的情况下输出至少一个另外的回答信号(622)，以便还能够通过所述监测单元(106)分析处理所述另外的回答信号(622)。

9.根据权利要求8所述的方法(300)，在所述方法中，在所述输出(340)的步骤中，在使用所述图像传感器(102)的至少一个安全机构(SM1，SMn)的情况下输出所述另外的回答信号(622)。

10.根据上述权利要求中任一项所述的方法(300)，所述方法具有在使用所述经修改的测试图案的情况下检查所述监测单元(106)的功能有效性的步骤。

11.一种具有单元(102，104，106；410，420，430；SM1，SMn，RG；610，620)的设备(100)，所述单元构造用于实施和/或操控根据上述权利要求中任一项所述的方法(300)。

12.一种计算机程序，所述计算机程序构造用于实施和/或操控根据权利要求1至10中任一项所述的方法(300)。

13.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求12所述的计算机程序。