CN112334945A - 用于确定彼此对应的像点的方法、用于执行该方法的SoC、具有SoC的摄像机系统、控制设备和车辆 - Google Patents

Abstract

一种用于连续地确定第一摄像机图像与第二摄像机图像之间的彼此对应的像点的方法，所述方法具有以下步骤：检测(10)所述第一摄像机图像(101)；检测(11)所述第二摄像机图像(102)；根据所述第一摄像机图像(101)求取(40)第一签名矩阵(201)的至少一个第一签名矩阵元素(203)，在签名值位置表(300)中将第一坐标分配(60)给所述第一签名矩阵元素(203)的所求取的签名值；根据所述第二摄像机图像(102)求取(70)第二签名矩阵(202)的第二签名矩阵元素(203)的至少一个签名值，所述至少一个第二签名矩阵元素具有第二坐标；根据所述签名值位置表(300)、所述第二签名矩阵元素(203)的在时钟中所求取的签名值、所述第二签名矩阵元素(203)的第二坐标来确定(80)对应性矩阵(500，501，502)的至少一个元素(503)，其中，根据第一签名矩阵(201)和签名值位置表(300)来求取(50)级联矩阵(400)的至少一个级联矩阵元素(403)，并且附加地根据所求取的级联矩阵(400)、所述第一摄像机图像(101)和所述第二摄像机图像(102)来确定(80)所述对应性矩阵(500，501，502)的元素(503)。

Description

用于确定彼此对应的像点的方法、用于执行该方法的SoC、具 有SoC的摄像机系统、控制设备和车辆

技术领域

本发明涉及一种用于连续地确定第一摄像机图像与第二摄像机图像之间的彼此对应的像点的方法。本发明还涉及一种用于执行该方法的片上系统(SoC，System-on-a-chip)以及具有该SoC的摄像机系统。本发明还涉及一种用于执行该方法的控制设备。本发明还涉及一种具有该摄像机系统或该控制设备的车辆。

背景技术

为了部分自主或自主地引导车辆，应该至少在小于约0.2秒的时间跨度内识别出车辆的关键行驶情况(例如碰撞风险)。该时间跨度相应于人类的平均反应时间。更有利的是比人类反应更快的反应时间、例如0.1秒的反应时间。换句话说，对于自主或部分自主行驶，识别像点的或对象的运动和运动方向需要小于或等于0.2秒的识别时间跨度。

例如可以根据光流的确定和/或对象的识别或对象跟踪来执行：求取所检测的摄像机图像序列中的像点的运动或运动方向。与计算两个图像之间的流失量相比，仅在一个图像中识别对象可以借助较少的运算并且因此更快地执行。尽管如此，根据对象识别来求取像点的运动及其运动方向原则上总是比确定光流矢量更慢，因为首先必须在没有摄像机的运动参数的情况下识别所检测的摄像机图像中的对象，然后才根据多个摄像机图像的序列来求取所识别的对象的运动或运动方向的变化。此外，利用借助训练数据训练过的神经网络执行对象识别，该神经网络基于经验地识别对象。因此，必要时并非在所有情况下都能可靠地识别所有对象。与此不同，可以与训练数据无关地执行光流的确定，并且光流的确定原则上是分析性的。然而，在确定光流情况下的挑战在于从不同摄像机图像中快速且可靠地求取彼此对应的像点，其中，摄像机图像具有高分辨率，并且优选以快速的检测速率来检测摄像机图像。

文献DE 103 51 778 A1公开一种用于处理运动场景的图像数据的方法。为此，在各个时间上彼此相继的图像数据组中辨识出彼此对应的像点或图像区域。在第一步骤中，借助签名运算符(Signaturoperator)对待比较的图像数据组进行变换，或者说为每个像素计算签名串(Signaturstring)或签名值。签名串与像点坐标一起存储在分配给各个图像数据组的签名表中。然后，为在两个表中都能够找到的签名串生成对应性假设。

本发明的任务在于，对第一摄像机图像与第二摄像机图像之间的彼此对应的像点的求取进行优化。

发明内容

根据独立权利要求1、11、12、13和14解决上述任务。

本发明涉及一种用于确定第一摄像机图像与第二摄像机图像之间的彼此对应的像点的方法。针对摄像机图像的对应的像点，尤其分别求取从第一摄像机图像的像点到第二摄像机图像中的所分配的像点的像点光流矢量、即运动方向和运动速度。替代地，可以通过三角计算的方法根据对应的像点来确定例如车辆与车辆周围环境中的对象之间的距离。

在根据本发明的方法中，首先检测第一摄像机图像，其中，优选以预给定的检测速率或帧率连续地更新第一摄像机图像。检测速率有利地大于或等于每秒5个摄像机图像，并且特别优选大于或等于每秒60个摄像机图像。此外检测第二摄像机图像，其中，同样优选以第一摄像机图像的预给定检测速率连续地更新第二摄像机图像。有利地，借助摄像机与第一摄像机图像在时间上偏移地检测第二摄像机图像，其中，该摄像机不仅检测第一摄像机图像而且检测第二摄像机图像，并且第一摄像机图像与第二摄像机图像之间的时间偏移为正或负。换句话说，摄像机优选以预给定的检测速率检测摄像机图像的序列。可选地，例如将所检测的摄像机图像的序列如此缓存在电子存储器中，使得除了当前正在检测的或者说最新检测的第一和/或第二摄像机图像之外，还将之前拍摄的最后16个摄像机图像存储在电子存储器中。原则上，该方法可以应用于存储在电子存储器中的摄像机图像序列中的第一和第二摄像机图像形式的任何摄像机图像对。特别优选地，第一和第二摄像机图像至少包括最新的或当前检测的摄像机图像。换句话说，可以在时间上在第一摄像机图像之后或第一摄像机图像之前检测第二摄像机图像。在检测第一摄像机图像和第二摄像机图像之后可选地设置，对第一摄像机图像和第二摄像机图像进行匹配。优选地，通过可选的匹配将第一摄像机图像和第二摄像机图像变换为灰度值图像，其中，可以线性地或非线性地将摄像机图像变换为灰度值图像。替代地或附加地，可以通过缩放第一摄像机图像的尺寸或分辨率以及第二摄像机图像的尺寸来执行可选的匹配。有利地，以预给定的时钟频率(也就是说以预给定的顺序在时钟频率的每个时钟中或者说逐像点地)进行这种匹配。随后，针对每个时钟并且以预给定的时钟频率根据第一摄像机图像求取第一签名矩阵的至少一个第一签名矩阵元素，该第一签名矩阵元素具有第一坐标。尤其通过SoC(片上系统)或控制设备来预给定时钟频率。换句话说，针对每个时钟分别求取第一签名矩阵的第一签名矩阵元素的签名值。预给定的时钟频率或计算时钟频率优选比第一和第二摄像机图像的检测速率快至少六个数量级。第一签名矩阵的第一签名矩阵元素的每个所求取的签名值分别表示第一摄像机图像的像点的周围环境。换句话说，第一签名矩阵中的所求取的第一签名矩阵元素的第一坐标具有至第一摄像机图像的像点的坐标固定分配。第一签名矩阵元素的签名值通过所分配的像点的计算上的环境描述来表征分别分配的像点。优选地，通过一个或多个简单的运算操作分别从所分配的像点的相邻像点内容中求取签名值，例如通过对直接相邻或位于附近的像点的多个灰度值进行多次求差和/或求和来进行求取。然后，在另一方法步骤中，将第一坐标分配给签名值位置表中的所求取的签名值。换句话说，在签名值位置表中，给在当前时钟中求取的签名值分配在当前时钟中求取的第一签名矩阵元素在第一签名矩阵中的位置，该位置通过第一坐标表示。因此在所求取的或所匹配的签名值位置表中，给签名值分配第一签名矩阵的具有该签名值的上一个求取的第一签名矩阵元素的第一坐标。该方法还具有：根据第一签名矩阵和签名值位置表来求取级联矩阵(Verkettungsmatrix)的级联矩阵元素。优选地，在每次求取第一签名矩阵的第一签名矩阵元素的下一个时钟中或者在覆盖签名值位置表中的分配给签名值位置表的签名值的第一坐标的上一个时钟中，求取级联矩阵的级联矩阵元素。尤其通过以下方式求取级联矩阵：将在签名值位置表中分配给在当前时钟中求取的签名值的上一个签名值第一坐标存储到具有当前时钟的第一坐标的级联矩阵元素中。因此，在求取或匹配签名值位置表之前，也就是说，在签名值位置表中将第一坐标分配给第一签名矩阵元素的签名值之前，确定级联矩阵元素。因此，有利地将在当前时钟中和在之前时钟中确定的签名值的上一个第一坐标存储在级联矩阵中。在另一方法步骤中，根据第二摄像机图像针对每个时钟求取第二签名矩阵的第二签名矩阵元素的至少一个签名值，其中，所求取的签名值分别表示第二摄像机图像的像点的周围环境。同样以预给定的时钟频率并且以预给定的顺序连续地或按顺序地求取第二签名矩阵的签名值，针对每个时钟分别求取一个签名值。在随后的方法步骤中，通过在分别具有相同签名值的第一坐标与第二坐标之间构造差，根据所确定的签名值位置表、第二签名矩阵的所求取的签名值、所求取的级联矩阵、第一摄像机图像和第二摄像机图像来确定至少一个对应性矩阵(Korrespondenzmatrix)。换句话说，例如为了确定对应性矩阵，在当前时钟中确定的第二签名矩阵元素的第二坐标与签名值位置表中的第一坐标(该第一坐标被分配给针对该第二签名矩阵元素求取的签名值)之间构造差，或者说，在当前时钟中确定的第二签名矩阵元素的第二坐标与级联矩阵中的分配给这些第一坐标的较旧的第一坐标之间构造差。

换句话说，在当前时钟中，在当前时钟的第二坐标与根据分配给当前时钟的第二签名矩阵的签名值的并且从第一级联矩阵中读取的第一坐标的选择之间、或者在当前时钟的第二坐标与根据分配给签名值的并且从签名值矩阵表中读取的第一坐标的选择之间构造差，其中，根据分别分配给第一坐标和第二坐标的像点的特性进行选择。像点的该特性包括：相应像点的颜色、周围环境描述和/或相应像点在相应坐标处的历史。对应性矩阵有利地表示彼此对应的像点以及第一摄像机图像与第二摄像机图像之间的相应求取的光流矢量。尤其同样以预给定的时钟频率连续地确定或匹配对应性矩阵——针对每个时钟分别确定或匹配一个矩阵元素。优选地，针对每个空间方向或图像维度分别求取至少一个对应性矩阵。可选地，可以在驾驶员辅助方法的另一方法步骤中进一步使用对应性矩阵和/或例如可以将对应性矩阵以颜色编码的方式显示给使用者。随后，可选地作为驾驶员辅助方法步骤，例如根据对应性矩阵来操控车辆的制动器。该方法的优点在于，即使在第一和第二摄像机图像具有高分辨率的情况下，也能够以很少的存储需求快速计算出对应性矩阵，其中，对于摄像机图像中的多个像点而言，彼此对应的像点的分配是可靠的。因此，借助该方法以高品质且快速地求取两个摄像机图像中的彼此对应的像点以及所属的光流矢量。产生这些优点的原因在于：根据签名值(即相应像点的周围环境)并且根据相应像点的特性来确定第一摄像机图像与第二摄像机图像之间的彼此对应的像点。

在一种优选扩展方案中，第一和第二签名矩阵的所求取的签名值具有预给定长度，该预给定长度大于或等于8比特且小于或等于32比特、特别优选为14至18比特。通过该扩展方案减少了用于求取第一签名矩阵元素和第二签名矩阵元素的签名值以及用于求取对应性矩阵的运算操作数量或计算时间。

在一种构型中可以设置，检测相对于第二摄像机图像分别具有不同的时间偏移的多个第一摄像机图像。随后，在时钟中针对这些所检测的第一摄像机图像中的每个并行地进行该方法，使得对于每个时钟分别确定与偏移相关的对应性矩阵的多个元素。该构型的优点在于，不同的对应性矩阵表示彼此相关联的像点的不同速度假设。有利地，可以根据与偏移相关的对应性矩阵来执行(例如驾驶员辅助方法中的)接下来的方法步骤，由此更可靠地识别关键驾驶情况。

在另一构型中可以设置，检测相对于第一摄像机图像分别具有不同的时间偏移的多个第二摄像机图像。随后，在时钟中针对这些所检测的第二摄像机图像中的每个并行地进行该方法，使得对于每个时钟分别确定与偏移相关的对应性矩阵的多个元素。该另外的构型具有与上述构型相同的优点，并且此外具有以下优点：仅针对第一摄像机图像求取签名值位置表和级联矩阵。因此，在该另外的构型中节省了资源，因为签名值位置表和级联矩阵可以共同用于确定与偏移相关的对应性矩阵。

然后可选地，根据所求取的与偏移相关的对应性矩阵的彼此之间的比较或者根据所求取的与偏移相关的对应性矩阵与先前确定的对应性矩阵的比较来求取合并的(konsolidiert)对应性矩阵。这样的优点在于：对速度假设或与偏移相关的对应性矩阵进行可信度检验，以及考虑第一与第二摄像机图像之间的像点的不同速度假设。第一与第二摄像机图像之间的不同像点的不同速度例如由于以下事实导致：车辆周围环境中的对象的距离不同，因此，对象与车辆之间的相对速度或像点彼此之间的相对速度发生改变。与单个求取的与偏移相关的对应性矩阵相比，由此提高了合并的对应性矩阵中的所求取的对应性矩阵元素的可靠性。

在另一扩展方案中可以设置，根据第一摄像机图像来执行对第一附加特征矩阵的求取，其中，该第一附加特征矩阵的附加特征元素表示第一摄像机图像的像点的特性。附加特征元素例如表示所分配的像点的或像点的周围环境的颜色值、和/或像点周围环境的颜色值改变、和/或所分配的像点的周围环境中的噪声值、和/或第一摄像机图像中的分配给像点的所识别的对象或片部段、和/或过去所分配的像点的特性。尤其以预给定的时钟频率连续地求取附加特征矩阵的附加特征元素。可选地，在该扩展方案中，根据第二摄像机图像求取第二附加特征矩阵，其中，第二附加特征矩阵的附加特征元素表示第二摄像机图像的所分配的像点的特性。第二附加特征矩阵的附加特征元素例如相应地同样表示所分配的像点或像点的周围环境的颜色值、和/或像点的周围环境中的颜色值改变、和/或所分配的像点的周围环境中的噪声值、和/或第二摄像机图像中的分配给像点的所识别的对象或部段、和/或过去所分配的像点的特性。有利地，同样以预给定的时钟频率分别连续地求取第二附加特征矩阵的附加特征元素——针对每个时钟分别求取一个附加特征元素。在该扩展方案中，附加地根据第一附加特征矩阵和第二附加特征矩阵求取对应性矩阵。由此得到以下优点：在第一与第二摄像机图像之间的两个对应的像点之间的分配更可靠。

在一种优选构型中，可以为所检测的第一摄像机图像的第一签名矩阵确定多个签名值位置表和/或多个级联矩阵，其中，每个签名值位置表和/或每个级联矩阵分别表示第一签名矩阵的部分区域。换句话说，通过该构型，第一摄像机图像与第二摄像机图像之间的彼此对应的像点的所检查的图像区域被限制在第一摄像机图像的或所分配的第一签名矩阵的相应部分区域上。

由此有利地实现：根据第二签名矩阵的在当前时钟求取的签名值的第二坐标、以及分配给相应于第二坐标的第一坐标的签名值位置表、或分配给相应于第二坐标的第一坐标的级联矩阵来求取对应表。彼此对应的像点的确定因此能够更快并且更有效地进行。通过该构型能够增大检测第一和第二像点的检测速率，因为更快并且更高效地求取了对应的像点。

在一种特别优选的构型中，根据预给定的搜索区域来确定对应性矩阵。优选根据当前时钟的第二坐标和/或根据时间上先前确定的对应性矩阵来求取所述预给定的搜索区域。通过时间上先前确定的对应性矩阵或像点的先前求取的光流矢量，例如可以估计这些像点在未来的运动或确定搜索区域。搜索区域还可以具有多个签名值位置表和/或级联矩阵。换句话说，在该构型中，有利地在多个签名值位置表中辨识第二签名矩阵的签名矩阵元素的当前求取的签名值的所分配的一个或多个第一坐标，以便确定对应性矩阵，其中，随后根据分配到一个或多个签名值位置表中的第一坐标来求取对应性矩阵，第一坐标位于搜索区域中。在搜索区域中存在多个合适的第一坐标的情况下，附加地根据第一摄像机图像和第二摄像机图像中的相应像点的特性和/或相应像点的第一和/或第二附加特征来求取对应性矩阵。通过该构型提高了所求取的彼此对应的像点的可靠性。此外，通过该构型加速了该方法。

在一种实施方案中可以设置，用于求取第二签名矩阵的签名矩阵元素的当前的第一坐标位置与用于求取第一签名矩阵的签名矩阵元素的当前的第二坐标位置不同。优选地，用于求取第二签名矩阵的签名矩阵元素的第二坐标位置是如下坐标位置：该坐标位置是在用于求取第一签名矩阵的签名矩阵元素的至少十个时钟之前处理的坐标位置。换句话说，第一签名矩阵的签名矩阵元素的在当前时钟中处理的坐标位置与第二签名矩阵的签名矩阵元素的在当前时钟中处理的坐标位置彼此偏移。通过该构型提高了所求取的彼此对应的像点的可靠性。

在一种扩展方案中，根据对应性矩阵元素的周围环境中的对应性矩阵元素和/或根据时间上先前确定的对应性矩阵来执行该对应性矩阵的对应性矩阵元素的匹配。由此产生以下优点：后续对所求取的对应性矩阵或光流矢量或彼此分配的像点进行滤波或可信度检验。这种扩展方案尤其在所检测的摄像机图像具有高分辨率时、尤其是在具有增大的结构重复的摄像机图像的区域中(例如示出的栅栏或示出的天空)是有利的，以便后续校正第一和第二摄像机图像的像点之间的错误分配(Fehlzuordnung)。

本发明还涉及一种用于执行根据本发明的方法的SoC、即片上系统(System-on-a-Chip)。SoC设置用于借助摄像机来检测第一摄像机图像，其中，尤其以预给定的检测速率或帧速率连续地更新第一摄像机图像。SoC此外设置用于借助摄像机来检测第二摄像机图像，其中，有利地以预给定的检测速率或帧速率连续地更新第二摄像机图像。SoC有利地具有至少一个预给定的时钟频率，其中，该时钟频率比第一和第二摄像机图像的检测速率快至少六个数量级。SoC还设置用于根据所检测的第一摄像机图像和所检测的第二摄像机图像来确定至少一个对应性矩阵，并且根据所确定的对应性矩阵来产生输出信号。输出信号尤其表示第一摄像机图像与第二摄像机图像之间的、分配给第二摄像机图像的像点的坐标的光流矢量。根据本发明的SoC具有以下优点：在摄像机图像的高分辨率和摄像机图像的快速检测速率的情况下，以高品质有效地求取第一摄像机图像与第二摄像机图像之间的彼此对应的像点。如仅短期地计算或存储在该方法中求取的第一签名矩阵的和/或第二签名矩阵的和/或级联矩阵的元素，则导致对于SoC的特别小的电存储需求，并且一旦确定不再访问相应的存储器位置，则释放该存储器位置用于新计算的值。

本发明还涉及一种具有至少一个摄像机的摄像机系统。该摄像机系统设置成用于以预给定的检测速率连续地检测第一摄像机图像和第二摄像机图像，该第二摄像机图像尤其在时间上相对于第一摄像机图像偏移。该摄像机系统还具有根据本发明的SoC。

本发明还涉及一种用于执行根据本发明的方法的控制设备。

本发明还涉及一种具有根据本发明的摄像机系统或根据本发明的控制设备的车辆。

附图说明

从以下参考附图从对实施例的描述中得到其他优点。

图1示出以方框图的形式示出所述方法的流程图；

图2示出摄像机图像；

图3示出签名矩阵；

图4示出签名值位置表中的一部分；

图5示出级联矩阵；

图6示出对应性矩阵；

图7示出将第一签名矩阵划分为部分区域以及搜索区域；

图8示出片上系统(SoC)。

具体实施方式

在图1中以方框图的形式示出所述方法的流程图。该方法开始于检测10第一摄像机图像，其中，以预给定的检测速率更新第一摄像机图像。然后，在步骤11中检测第二摄像机图像。第一和第二摄像机图像具有预给定的分辨率。此外，第一摄像机图像的检测10和第二摄像机图像的检测11分别以预给定的检测速率进行，其中，第一摄像机图像和第二摄像机图像例如分别借助摄像机检测并且彼此具有预给定的时间偏移。例如以每秒60个摄像机图像来进行检测10和11，其中，第一和第二摄像机图像分别具有至少一个XGA分辨率，即，每个所检测的摄像机图像包括至少1024×768个像点。有利地，所检测的第一和第二摄像机图像分别具有1920×1080个像点的全HD分辨率，并且特别优选分别具有3840×2160个像点的4K UHD分辨率。可以以计算时钟或以SoC或控制设备的所使用的计算单元的预给定时钟频率(例如1GHz)来求取在检测10第一摄像机图像之后的所有方法步骤。在此优选针对每个时钟分别求取矩阵的一个元素。各个所求取的矩阵元素分别存储在存储器中，其中，一些所求取的矩阵元素仅暂时地存储用于当前时钟的后续方法步骤或者说可选地在后续时钟中被覆盖。首先可选地在步骤20中设置，匹配所检测的第一摄像机图像和/或所检测的第二摄像机图像，例如将相应的RGB彩色图像转换为灰度值图像和/或缩放第一和第二摄像机图像。在同样可选的步骤31中，针对第一摄像机图像的每个像点，根据第一摄像机图像求取附加特征，并将该附加特征分配给第一附加特征矩阵的附加特征元素。第一附加特征矩阵表示第一摄像机图像的像点的另一特性。步骤31可以包括：求取相应像点的颜色值和/或相应像点的周围环境的噪声值、和/或在第一摄像机图像中在第一坐标处识别对象和/或部段，该第一坐标在第一附加特征矩阵中分别分配给相应的像点。在另一可选步骤32中，针对第二摄像机图像的每个像点，根据第二摄像机图像求取附加特征，并将该附加特征分配给第二附加特征矩阵的附加特征元素。第二附加特征矩阵表示第二摄像机图像的像点的另一特性。步骤32可以包括：求取相应像点的颜色值和/或相应像点周围环境的噪声值、和/或在第二摄像机图像中在第二坐标处识别对象和/或部段，第二坐标在第二附加特征矩阵中分别分配给相应的像点。在步骤40中，在当前的第一坐标处求取第一签名矩阵或第一签名矩阵的签名矩阵元素的签名值。在步骤50中，根据第一签名矩阵求取级联矩阵，或将针对在步骤40中求取的签名值而存储在签名值位置表中的坐标分配到级联矩阵的具有当前第一坐标的级联矩阵元素中。在步骤60中，根据第一签名矩阵匹配签名值位置表，或在签名值位置表中将当前的第一坐标分配给在步骤40中求取的签名值。在步骤70中，在当前的第二坐标处求取第二签名矩阵或第二签名矩阵的签名矩阵元素的签名值。第二坐标有利地与第一坐标不同。换句话说，第二坐标有利地以固定坐标偏移落后于第一坐标。在步骤80中，根据第二签名矩阵和签名值位置表、以及根据级联矩阵以及第一和第二摄像机图像来确定至少一个对应性矩阵。可选地，还附加地根据第一附加特征矩阵和/或第二附加特征矩阵来确定对应性矩阵。通过在第二坐标与在签名值位置表中的、分配给第二签名矩阵的签名矩阵元素的在步骤70中所求取的签名值的第一坐标之间构造差，或通过在第二坐标与通过分配给在步骤70中所求取的签名值的第一坐标而存储在级联矩阵中的第一坐标之间构造差，来确定对应性矩阵。为了确定对应性矩阵而在步骤80中待执行的对于用于构造差的第一坐标的选择根据以下特性进行：在第一摄像机图像中在相应的第一坐标处的像点的特性和/或在第二摄像机图像中在第二坐标处的像点的特性。在可选的步骤90中可以设置，通过对所求取的对应性矩阵元素进行可信度检验来匹配所求取的对应性矩阵。在可选的继续进行的步骤99中可以设置，根据对应性矩阵来警告车辆的驾驶员，和/或，部分自主的或自主的驾驶辅助方法根据所求取的对应性矩阵来执行驾驶操作。持续重复地或连续地以预给定的时钟频率或计算时钟执行该方法，其中，在每个时钟中以预给定顺序匹配当前的第一坐标和当前的第二坐标。如果相应的第一摄像机图像或第二摄像机图像的检测10和11以预给定的顺序按顺序从左上到右下依次逐行地进行，则求取40第一签名矩阵、求取70第二签名矩阵的签名矩阵元素的签名值和求取对应性矩阵有利地同样具有该预给定的顺序。换句话说，在这种情况下，有利地按顺序并且以预给定的顺序从左上到右下逐行地求取第一签名矩阵、级联矩阵、第二签名矩阵以及对应性矩阵。第一签名矩阵的和第二签名矩阵的分别求取的签名值尤其仅暂时存储用于当前时钟的后续方法步骤，并且在后续的时钟中被覆盖，使得减少该方法的存储需求。

在该方法的一种构型中，可以检测多个第一摄像机图像，所述多个第一摄像机图像分别相对于第二摄像机图像具有不同的时间偏移。随后针对所检测的第一摄像机图像中的每个在时钟中并行地执行该方法，并且因此对于每个所检测的第一摄像机图像求取至少一个与偏移相关的对应性矩阵。在该方法的一种替代构型中，可以检测多个第二摄像机图像，所述多个第二摄像机图像分别相对于第一摄像机图像具有不同的时间偏移。随后，针对所检测的第二摄像机图像中的每个在时钟中并行地执行该方法，并且因此对于每个所检测的第二摄像机图像求取至少一个与偏移相关的对应性矩阵。随后，在可选的步骤95中求取合并的对应性矩阵。合并的对应性矩阵的求取通过以下方式进行：根据所求取的对应性矩阵的彼此之间的比较和/或根据所求取的对应性矩阵与先前确定的对应性矩阵的比较，针对不同的第一或第二摄像机图像选择相应的与偏移相关的对应性矩阵的物理上正确的元素。与偏移相关的对应性矩阵表示第二摄像机图像的像点与第一摄像机图像中的相关联的像点之间的不同速度假设。在对分配给第二坐标的不同速度假设或对与偏移相关的对应性矩阵进行可信度检验之后，得到合并的对应性矩阵。由此提高合并的对应性矩阵中的可靠求取的对应性矩阵元素的份额。

此外在图1中示出时间范围1、2和3。在第一时间范围1中，以预给定的检测速率更新摄像机图像的检测10和11，该检测速率例如通过用于检测10、11第一和第二摄像机图像101、102的摄像机特性预给定。在第二时间范围2中，在不同的方法步骤中进行运算操作，以确定具有预给定时钟频率或具有SoC或控制设备的计算时钟的对应性矩阵。替代地，可以将第二摄像机图像102的检测11分配给第二时间范围2，这意味着，在第二摄像机图像102的所检测的仅一个像素中就已经可以执行第二签名矩阵元素的签名值的求取70以及后续的方法步骤。在第二时间范围2中或在第三时间范围3中进行对应性矩阵的匹配90、合并的对应性矩阵的求取95以及步骤99，其中，可以分别以彼此不同的特定重复率执行步骤90、95和99。

图1中所示的方法的存储需求以及因此SoC所需的硅面积主要受到签名值的预给定长度的影响。相比于签名值的32比特的预给定长度，在8比特的预给定长度的情况下，在时间变化过程中为签名值位置表中的相应签名值更频繁地分配新的第一坐标，因为签名值的32比特的预给定长度更准确地表征在当前时钟中所求取的像点的相应周围环境并且通常相应地出现频率更低。然而，相比于签名值的8比特的预给定长度，对于32比特的预给定长度而言，签名值位置表的尺寸更长，并且32比特的预给定长度相应地以2³²个位置比8比特的预给定长度情况下的2⁸个位置大得多。

在图2中示出具有多个像点103或像素的所检测的摄像机图像101或102、例如第一摄像机图像101或第二摄像机图像102，其中，为了清楚起见，图1中所示的分辨率被选择为仅具有7×7个像点。有利地，第一摄像机图像101和第二摄像机图像102具有至少64×64个像点的显著更高的分辨率、特别优选至少具有1024×768个像点(XGA)的分辨率(这在总体上具有786432个单个的像点)。在图1中例如给摄像机图像101、102的每个像点103分配特定的第一坐标或第二坐标，或者说分配取决于摄像机图像101、102的行编号y1、y2、y3、y4、y5、y6或y7等以及列编号x1、x2、x3、x4、x5、x6、x7等的坐标对，例如给像点103a分配第一或第二坐标(x4；y4)。第一摄像机图像101和第二摄像机图像102例如作为RGB彩色图像被检测，也就是说，给具有相应的第一或第二坐标的相应摄像机图像101、102的每个像点分配红色分量、绿色分量和蓝色分量。在检测10或11之后，可以将作为彩色图像检测的第一和/或第二摄像机图像101、102转换或匹配为灰度值图像，由此给每个像点103分配一个灰度值。例如可以根据RGB颜色值确定(有利地存储为12比特的)灰度值。因此，针对每个像素，灰度值处于0至4095之间。第一摄像机图像101和第二摄像机图像102的检测速率例如分别为每秒60个摄像机图像或60Hz。第一摄像机图像101和第二摄像机图像102例如是摄像机(其一60Hz检测摄像机图像)的两个彼此相继地或时间上偏移地检测的摄像机图像，从而第一摄像机图像101和第二摄像机图像102通常仅彼此略微不同。第一摄像机图像101与第二摄像机图像102之间的差异例如由以下事实引起：摄像机布置在车辆上，其中，车辆在行驶方向上运动。相应地，取决于车辆的自身运动、车辆与对象之间的距离以及车辆周围环境中的对象的运动，摄像机的第一摄像机图像101例如与时间上偏移地检测的第二摄像机图像102有所不同。

在图3中示例性地示出针对第一摄像机图像101的第一签名矩阵201或针对第二摄像机图像102的第二签名矩阵202。根据第一摄像机图像101或第一摄像机图像101的第一灰度值图像来求取签名矩阵201，其中，为每个签名矩阵元素203确定一个签名值204。签名值204表示相应的摄像机图像101或102的分配给签名矩阵元素203的像点103的周围环境，并且签名值例如可以作为8比特、16比特或32比特的值被存储。例如，具有16比特的签名值具有0至65535之间的值。每个签名矩阵元素203的签名值204例如可以通过分别围绕所分配的像点的3×3矩阵中的灰度值的求和/或求差来确定。替代地，能够对相应像点的签名值进行更复杂的计算。可以设置，在摄像机图像的直接的图像边缘处不确定签名值，因为在该示例中需要3×3矩阵来确定签名值，因此，例如将第一和/或第二签名矩阵的在距图像边缘处例如1像素宽度内的、具有第一或第二坐标的第一和/或第二签名矩阵元素的签名值标记为无效(未示出)。为签名矩阵201、202的具有签名值204的每个签名矩阵元素203分配特定的第一或第二坐标或取决于签名矩阵201、202的行编号211y1、y2、y3、y4、y5、y6或y7与列编号210x1、x2、x3、x4、x5、x6、x7的坐标对，所述坐标对分别表示摄像机图像101、102的在所述或所分配的第一或第二坐标处的相应的像点。有利地，针对签名矩阵元素203，以SoC或控制设备的计算时钟来确定签名矩阵201和202，其中，各个签名元素203的求取的顺序和求取的时钟频率是预给定的。例如，签名矩阵201和202的签名矩阵元素203是从上到下并且从左到右逐行求取的——尤其针对每个时钟分别求取矩阵的一个元素。计算时钟可以处于1MHz至10GHz的范围内。在图3中，这通过在当前时钟中求取的具有签名值3333和第一或第二坐标(x3；y5)的签名矩阵元素203a表示。在上一个时钟中已经求取到具有签名值7356以及第一或第二坐标(x2；y5)的签名矩阵元素203，而在下一个时钟中求取到具有第一或第二坐标(x4；y5)的签名矩阵元素203。通过图3中的方向箭头205示出以计算时钟计算签名矩阵元素203的顺序。签名矩阵201或202中的签名矩阵元素203的替代计算顺序是可能的，例如以时钟逐列地从右到左以及从上到下进行计算。第一签名矩阵201和第二签名矩阵202在当前时钟中优选具有彼此不同的第一和第二坐标。换句话说，在每个时钟中(尤其以预给定的顺序)匹配时钟的当前工作坐标(即第一坐标和第二坐标)，其中，在步骤70中用于求取第二签名矩阵70的第二坐标有利地以固定的或可变的坐标偏移落后(hinterherlaufen)于在步骤40中使用的当前的第一坐标。在可变的坐标偏移的情况下，例如根据第一和/或第二坐标来匹配坐标偏移。例如，第一坐标与第二坐标之间的坐标偏移在竖直方向上可以是+30像素，换句话说，当开始根据第二摄像机图像求取第二签名矩阵时，第一坐标比第二坐标领先(vorauslaufen)30个时钟。在处理的进程中，坐标偏移可以缓慢地增加到在竖直方向上为+70像素，或者减少到在竖直方向上+10像素甚至-10像素，其中，可变的坐标偏移由以下事实导致：并非在任意时刻都在相同的时钟中求取第一签名矩阵和第二签名矩阵的签名矩阵元素的签名值，而是将两个求取40、70中的一个暂时地暂停，而使另一个求取40、70继续。特别有利的是：在逐行处理的情况下所述暂停持续时间不超过一行。坐标偏移可以为负、为正或为零，并且所述坐标偏移的符号也可以在图像对处理进程中发生改变。可变的坐标偏移特别有利于对搜索区域进行移位。

图4示出签名值位置表300中的一部分。在签名值位置表300中，所有相应于预给定字长(例如16比特)的原则上可能的签名值204都作为地址而存在。签名值位置表300的匹配或求取在时钟中进行，其中，在当前时钟中，在签名值位置表300中为第一签名矩阵201的在步骤40中求取的签名值204分配：所求取的签名值204的签名矩阵元素203的第一坐标或当前工作坐标对210、211，或者说相应像点103的坐标。因此，在签名值位置表300中为每个可能的签名值204分配如下第一坐标：在这些第一坐标处，在当前时钟中或最后一次地求取到签名值204。在该方法的进程中，可能导致覆盖签名值位置表300中的分配给签名值204的第一坐标，由此，丧失了借助签名值对第一与第二摄像机图像101、102之间的对应像点的分配的唯一明确性(Eindeutigkeit)。在这种情况下，在第一签名矩阵201中求取到具有相同签名值的多个第一坐标。例如，在第一签名矩阵201的在当前时钟中为签名矩阵元素203a求取的签名值204中(在该示例中是指签名值3333)，在签名值位置表300中分配签名矩阵元素203a的相应坐标(在该示例中是指坐标(x3；y5)或列坐标210x3和行坐标211y5)。然而，在该签名值位置表300中，在8个时钟之前，已经为该签名值3333分配了坐标(x2；y4)，因为在那里所求取的签名值3333是最后一次出现。为了不会由于签名矩阵元素203a的当前坐标的覆盖而丢失作为信息的上一个坐标(x2；y4)，求取级联矩阵400。

在图5中示出图3中的第一签名矩阵201的级联矩阵400。在求取50级联矩阵400的情况下，在步骤60中将签名值位置表300中的第一签名矩阵201的签名矩阵元素203a的在当前时钟中存在的第一坐标(x3；y5)分配给相应的签名值204之前，将签名值位置表300中的针对签名值204存储的上一个第一坐标(x2；y4)与签名矩阵元素203a的当前第一坐标一起写入到相应的级联矩阵元素403a中。因此，上一个第一坐标(x2；y4)(其通过将当前第一坐标(x3；y5)输入到签名值位置表300中而被覆盖)被存储在级联矩阵400中并因此被保留。在图5中在级联矩阵400的另外的级联矩阵元素403中示出针对签名值3333的之前时钟的相应输入项。在图5中还通过箭头421、422和423说明针对存储在级联矩阵中的、在之前时钟中或之前求取的相同签名值的相应坐标参考。这种同样在计算时钟中求取的级联矩阵400构成一种在根据本发明的方法中避免信息丢失的有效可能性。因此，根据级联矩阵400求取80对应性矩阵使由于签名值位置表300中的覆盖而导致的像点错误分配显著减少。

在图6中示出对应性矩阵500、501、502。对应性矩阵500在对应性矩阵元素503中(例如在对应性矩阵元素503a(2；2)中)具有坐标差，或者说，对应性矩阵在第二签名矩阵202的第二坐标或对应性矩阵500的第二坐标与分配给签名值位置表300中的相应签名值的第一坐标之间具有光流矢量。例如，在第二签名矩阵202的第二坐标(x5；y3)处确定以下签名值9305(未示出)：该签名值通过签名值位置表300被分配给第一坐标(x3；y1)，因为第一签名矩阵201在第一坐标(x3；y1)处具有该签名值9305。针对图6中标注出的具有第二坐标(x5；y3)的对应性矩阵元素503a，通过第二坐标(x5；y3)与第一坐标(x3；y1)之间的坐标差得到光流矢量(2；2)。因此，通过求取对应性矩阵500，在第一摄像机图像与第二摄像机图像之间确定彼此对应的像点，以及确定这些对应的像点之间的光流矢量。可以设置，求取与方向相关的对应性矩阵501、502，使得为相应的对应性矩阵501和502的每个对应性矩阵元素503分配仅一个一维的值。首先，通过在签名值位置表300中读取分配给第二签名矩阵202的当前签名矩阵元素的所求取的签名值的第一坐标来确定对应性矩阵。然后，根据这些所分配的第一坐标来读取至少一个级联矩阵元素403。优选地，根据所分配的第一坐标和分别存储在那里的第一坐标来读取级联矩阵元素的序列、例如读取三个级联矩阵元素或坐标，这通过图5中的箭头421和422表明，其中，对于这些所读取的第一坐标分别已经求取了相同的签名值。然后，求取或读取具有当前时钟的第二签名矩阵的第二坐标的第二摄像机图像的像点的附加特性、例如颜色值。接下来，将这些所读取的附加特性与第一摄像机图像的在所读取的第一坐标处的像点的相应特性进行比较。然后，根据该比较确定对应性矩阵的对应性矩阵元素，也就是说，通过以下方式来确定对应性矩阵：在第二签名矩阵的当前求取的签名元素的第二坐标与签名值位置表中的、分配给该签名值的第一坐标之间构造差，或者，在第二签名矩阵的当前求取的签名元素的第二坐标与根据相应像点的所求取的附加特性从至少一个级联矩阵读取的第一坐标之间构造差。

在图7中示出将第一签名矩阵划分为三个部分区域A、B和C。对于第一签名矩阵的部分区域A、B和C中的每个，分别求取单独的签名值位置表300a、300b、300c和/或分别求取单独的级联矩阵400a、400b、400c。在步骤80中，为了求取对应性矩阵500，首先根据在步骤70中处理的当前的第二坐标来选择所匹配的签名值位置表300a、300b、300c和/或所匹配的级联矩阵400a、400b、400c。接下来，为了求取对应性矩阵，在所选择的或分配给当前的第二坐标的签名值位置表300a、300b或300c中，从具有关于该签名值的另外的第一坐标的所匹配的级联矩阵400a、400b或400c中读取分配给签名值的第一坐标和/或相应分配的级联矩阵元素。在一种可选的扩展方案中，可以对部分区域A，B和C的形状和/或大小进行匹配，以便根据车辆的所检测的速度(车辆具有用于执行该方法的SoC或控制设备)和/或根据第一附加特征矩阵来求取签名值位置表300a、300b、300c和/或级联矩阵400a、400b、400c。在图7中，搜索区域750还作为具有3×3像素的第一签名矩阵201中的子矩阵示出。可以根据当前的第二坐标和/或根据在之前时刻求取的对应性矩阵来求取搜索区域750。搜索区域750具有一个或多个部分区域A，B和C。搜索区域750例如关于当前的第二坐标(x5；y4)对称，这例如在图7中通过双线框示出。替代地，也能够想到搜索区域750的关于当前的第二坐标(x5；y4)不对称的位置。此外，可选地可以根据光流矢量和当前的第二坐标或过去的对应性矩阵来求取搜索区域750。搜索区域750限制所求取的签名值的从签名值位置表300a、300b、300c和/或级联矩阵400a、400b、400c读取的第一坐标，以便求取对应性矩阵或在该搜索区域750中的坐标方面构造差。在一种可选的扩展方案中，根据车辆的所检测的速度和/或根据过去的对应性矩阵和/或根据第一和/或第二附加特征矩阵和/或根据在第一和/或第二摄像机图像101、102中所识别的对象和/或所识别的部段来对搜索区域750的形状和/或大小进行匹配。

可能出现的是，针对第二摄像机图像102中的像点未求取到可靠的对应性。例如，以下各项均无法实现第一摄像机图像的像点与第二摄像机图像的像点之间的可靠分配：在步骤80中根据在步骤70中求取的签名值在签名值位置表中读取的第一坐标、通过级联矩阵分配给该签名值的第一坐标、第一和第二摄像机图像的分别分配给第一坐标的像点的特性、和/或第一附加特征矩阵的和/或第二附加特征矩阵的相应元素。在缺乏这种可靠分配的情况下，可以将相应的第二坐标处的对应性矩阵置于虚拟值(Dummy-Wert)、例如置于零。因此，该方法即使在缺乏分配的情况下也确保：在预给定数量的时钟周期之后，根据时钟频率求取到对应性矩阵，由此能够实现具有实时功能的硬件实现方式。

在图8中示出用于执行根据本发明的方法的SoC 800。SoC 800检测第一摄像机图像101和第二摄像机图像102，其中，优选借助摄像机来检测第一摄像机图像101和第二摄像机图像102。此外，SoC可以可选地检测车辆速度801和/或车辆的偏航率和/或车辆的俯仰率和/或侧倾率，以匹配部分区域A、B和C。SoC 800设置用于产生输出信号，该输出信号表示对应性矩阵500或对应性矩阵501、502。可选地，SoC 800此外可以设置用于产生另一输出信号，该另一输出信号表示对应性矩阵500或对应性矩阵501和502的评估矩阵801。通过输出评估矩阵810，例如可以随后在控制设备中执行对应性矩阵500的匹配90。可选地，SoC 800还可以设置用于输出原始图像数据820，该原始图像数据表示第一摄像机图像101和第二摄像机图像102。例如可以将该原始图像数据820显示给车辆的驾驶员。SoC具有1MHz至10GHz之间的时钟频率以及1MB至5GB之间的电存储器。

Claims (14)

1.一种用于连续地确定第一摄像机图像与第二摄像机图像之间的彼此对应的像点的方法，其中，所述方法具有至少一个预给定的时钟频率，所述方法包括以下方法步骤：

检测(10)所述第一摄像机图像(101)；

检测(11)所述第二摄像机图像(102)；

针对预给定的时钟频率的每个时钟，根据所述第一摄像机图像(101)求取(40)第一签名矩阵(201)的至少一个第一签名矩阵元素(203)，所述至少一个第一签名矩阵元素具有第一坐标，其中，所述第一签名矩阵元素(203)的所求取的签名值分别表示所述第一摄像机图像(101)的像点的周围环境；

在签名值位置表(300)中将时钟的所述第一坐标分配(60)给第一签名矩阵元素(203)的所求取的签名值；

针对预给定的时钟频率的每个时钟，根据所述第二摄像机图像(102)求取(70)第二签名矩阵(202)的第二签名矩阵元素(203)的至少一个签名值，所述第二签名矩阵元素具有第二坐标，其中，所述第二签名矩阵元素(203)的所求取的签名值表示所述第二摄像机图像(102)的像点的周围环境；

根据所述签名值位置表(300)、所述第二签名矩阵元素(203)的在时钟中求取的签名值、所述第二签名矩阵元素(203)的第二坐标来确定(80)对应性矩阵(500，501，502)的至少一个元素(503)；

其特征在于，执行以下步骤：

针对每个时钟，根据所述第一签名矩阵(201)和所述签名值位置表(300)求取(50)级联矩阵(400)的至少一个级联矩阵元素(403)；

附加地根据所求取的级联矩阵(400)、所述第一摄像机图像(101)和所述第二摄像机图像(102)来确定(80)所述对应性矩阵(500，501，502)的元素(503)。

2.根据权利要求1所述的方法，其特征在于，所述第一签名矩阵(201)的和所述第二签名矩阵(202)的所求取的签名值具有小于或等于16比特的预给定的长度。

3.根据以上权利要求中任一项所述的方法，其特征在于，执行以下方法步骤，

检测(10)多个第一摄像机图像(101)，所述多个第一摄像机图像分别相对于所述第二摄像机图像具有不同的时间偏移，其中，接下来在时钟中针对所检测的第一摄像机图像(101)中的每个并行地执行所述方法，使得在步骤(80)中针对每个时钟分别确定与偏移相关的对应性矩阵(500，501，502)的多个元素(503)。

4.根据以上权利要求中任一项所述的方法，其特征在于，执行以下方法步骤：

检测(11)多个第二摄像机图像(102)，所述多个第二摄像机图像分别相对于所述第一摄像机图像(101)具有不同的时间偏移，其中，接下来在时钟中针对所检测的第二摄像机图像(101)中的每个并行地执行所述方法，使得在步骤(80)中针对每个时钟分别确定与偏移相关的对应性矩阵(500，501，502)的多个元素(503)。

5.根据权利要求3或4所述的方法，其特征在于，执行以下方法步骤：

根据所求取的与偏移相关的对应性矩阵(500，501，502)的彼此之间的比较或者根据所求取的与偏移相关的对应性矩阵与先前确定的对应性矩阵的比较来求取(95)合并的对应性矩阵。

6.根据以上权利要求中任一项的方法，其特征在于，执行以下步骤：

针对每个时钟根据所述第一摄像机图像(101)求取(31)第一附加特征矩阵的附加特征元素，其中，所述附加特征元素表示所述第一摄像机图像(101)的所分配的像点的特性和/或表示所分配的像点的周围环境的特性，和/或，

针对每个时钟根据所述第二摄像机图像(102)求取(32)第二附加特征矩阵的附加特征元素，其中，所述附加特征元素表示所述第二摄像机图像(102)的所分配的像点的特性和/或表示所分配的像点的周围环境的特性；

附加地根据所述第一附加特征矩阵和/或所述第二附加特征矩阵确定(80)所述对应性矩阵(500，501，502)。

7.根据以上权利要求中任一项所述的方法，其特征在于，针对所述第一签名矩阵(201)确定多个签名值位置表(300a，300b，300c)和/或多个级联矩阵(400a，400b，400c)，其中，每个签名值位置表(201)和/或级联矩阵分别表示所述第一签名矩阵(201)的部分区域(A，B，C)。

8.根据以上权利要求中任一项所述的方法，其特征在于，根据预给定的搜索区域(750)确定(80)所述对应性矩阵(500，501，502)，其中，根据所述时钟的第二坐标求取所述预给定的搜索区域(750)。

9.根据以上权利要求中任一项所述的方法，其特征在于，在所述时钟中，所述第二坐标与所述第一坐标具有坐标偏移，其中，所述第二坐标尤其以预给定的时钟频率连续地以固定的或可变的坐标偏移落后于所述第一坐标。

10.根据以上权利要求中任一项所述的方法，其特征在于，执行以下步骤：

根据所述对应性矩阵元素的周围环境中的对应性矩阵元素来匹配(90)所述对应性矩阵(500，501，502)的对应性矩阵元素。

11.一种SoC(800)，所述SoC设置用于执行根据权利要求1至10中任一项所述的方法，其中，所述SoC(800)设置用于，

检测第一摄像机图像(101)；

检测第二摄像机图像(102)；

根据所检测的第一摄像机图像(101)和所检测的第二摄像机图像(102)来确定至少一个对应性矩阵(500，501，502)；

根据所确定的对应性矩阵(500，501，502)产生输出信号，其中，所述输出信号尤其表示所述第一摄像机图像与所述第二摄像机图像(101，102)之间的光流矢量。

12.一种摄像机系统，所述摄像机系统具有：

至少一个摄像机，所述至少一个摄像机设置用于以预给定的检测速率连续地检测第一摄像机图像(101)和第二摄像机图像(102)；

根据权利要求11所述的SoC(800)。

13.一种控制设备，所述控制设备用于执行根据权利要求1至10中任一项所述的方法。

14.一种车辆，所述车辆具有根据权利要求12所述的摄像机系统或根据权利要求13所述的控制设备。

Images