CN111937036A

CN111937036A - 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质

Info

Publication number: CN111937036A
Application number: CN201980026426.5A
Authority: CN
Inventors: S·斯坦迈尔; M·穆西亚尔; C·德格; T·巴格多纳特; T·格拉夫
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-04-18
Filing date: 2019-03-27
Publication date: 2020-11-13
Also published as: EP3782117A1; US11935250B2; WO2019201565A1; DE102018205879A1; US20210158544A1

Abstract

用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质。在第一步骤中，通过摄像机来检测（20）摄像机图像。此外，通过至少一个3D传感器来检测（21）3D测量点。可选地，对这些摄像机图像中的至少一个摄像机图像进行分割（22）。接着，通过数据融合单元将这些摄像机图像与这些3D测量点融合（23）成虚拟传感器的数据。最后，输出（24）所得到的数据，用于进一步处理。

Description

用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质

技术领域

本发明涉及一种用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质。本发明还涉及一种机动车，在该机动车中使用按照本发明的方法或按照本发明的设备。

背景技术

如今，现代机动车已经具有大量用于各种各样的第2级（Level-2）辅助系统（半自动化系统）的传感器。

例如，DE 10 2011 013 776 A1描述了一种用于检测或跟踪车辆周围环境中的对象的方法。从光流中依据对至少两张图像中的对应的图像点的确定来检测这些对象。在此，从该光流中依据对所述至少两张图像中的对应的图像点的确定来确定这些对象的距离。不考虑如下那些对象，所述那些对象处在测距传感器的检测区域内并且所述那些对象的从该光流中所确定的距离小于借助于该测距传感器所确定的距离值。

DE 10 2017 100 199 A1描述了一种用于检测行人的方法。在第一步骤中，接收车辆附近的区域的图像。在使用第一神经网络的情况下对该图像进行处理，以便确定行人可能在该图像之内所处的位置。接着，在使用第二神经网络的情况下对该图像的所确定的位置进行处理，以便确定是否有行人在场。在有行人在场的情况下，向驾驶辅助系统或自动化驾驶系统发出通知。这些神经网络可包括深度卷积网络。

对于第3级以及更高级的系统（高度自动化和自主系统）来说，所建造的传感器的数目将进一步升高。在这种情况下，出于安全原因将存在冗余的检测区域，这些冗余的检测区域由多个传感器以不同的测量原理来覆盖。

在这种情况下，摄像机传感器、雷达扫描仪和激光扫描仪起到至关重要的作用。尤其应假定：在关键区域存在至少一个摄像机传感器和至少一个3D传感器，它们覆盖这些关键区域。3D传感器的示例是具有高程测量的雷达扫描仪或激光扫描仪。

在传统系统中存在所谓的对象跟踪，该对象跟踪建立对象假设，这些对象假设通过新的传感器测量来被确认并更新。传统上，在此使用所谓的“预测校正滤波器”、诸如卡尔曼滤波器。如果有新的测量抵达，则借助于动态模型将所有对象都预测到该新的测量的测量时间点。紧接着尝试将该测量分配给现有对象。如果这成功，则对踪迹进行更新。如果这失败，则建立新的对象假设、也就是说新的踪迹。

在该背景下，DE 10 2011 119 767 A1描述了一种用于合并摄像机数据和距离传感器数据的方法，以便在车辆中利用具有摄像机和距离传感器的传感器子系统并且利用车载计算机来跟踪至少一个外部对象。基于由车辆的传感器子系统所接收到的输入，车载计算机确定新对象的对应于该对象的数据可用。车载计算机对新对象的数据进行记录并且按照预测算法来估计该对象的所预期的位置和所预期的外观，以便生成针对该对象所预测的轨迹。车载计算机还分析该对象的运动，包括将所预测的轨迹与被分配给该对象并且存储在车载计算机的数据库中的现有轨迹进行比较。

在传统的对象跟踪的情况下，尤其是在关联步骤中要考虑一系列挑战，以便避免歧义。例如，动态状态并不能始终良好地被估计：视踪迹的测量和状态而定，常常并不知道笛卡尔速度矢量。只能通过较长时间的观察来估计加速度。这可能导致在预测步骤中的重大误差。对象还可能表现得与动态模型相反，例如由于突然制动而表现得与动态模型相反。这种异常行为同样可能导致预测误差。

另外，不同传感器之间常常存在系统性测量误差：例如，激光扫描仪特别好地感知强烈反射的表面，如牌照或猫眼，而涂成黑色的车辆能以探测到。而雷达传感器良好地感知雷达截面大的金属对象，如尾灯、弯曲板材等等。那么，在这种情况下由于这些传感器而一个对象的不同的点变得合适，这些点必要时彼此离得远，但是应被分配给同一对象。此外，一些传感器、例如雷达传感器的选择性比较小，使得这里歧义问题加剧。

对歧义的错误处理可能导致错误关联，在所述错误关联的情况下，对象踪迹与错误的测量数据关联并且被更新。这可能有不愉快的后果。例如，横向速度可能错误地被分配给路边建筑物。于是，路边建筑物显得动态并且进入行驶包络线（Fahrschlauch）。这可能造成由于“幽灵对象”而引起的紧急制动。同样可能发生：路边建筑物、例如借助于激光扫描仪所测量的警示桩（Poller）被分配给附近的动态对象、例如刚好经过该警示桩的车辆。这阻碍了警示桩本身及时被识别，由此可能导致与路边建筑物的碰撞。

发明内容

本发明的任务是：阐明用于处理传感器数据的解决方案，这些解决方案允许减少在对象跟踪时出现的问题。

该任务通过具有权利要求1的特征的方法、通过根据权利要求12所述的具有指令的计算机可读存储介质并且通过具有权利要求13的特征的设备来解决。本发明的优选的设计方案是从属权利要求的主题。

按照本发明的第一方面，用于处理传感器数据的方法包括如下步骤：

- 通过摄像机来检测摄像机图像；

- 通过至少一个3D传感器来检测3D测量点；并且

- 将这些摄像机图像与这些3D测量点融合成虚拟传感器的数据。

按照本发明的另一方面，计算机可读存储介质包含如下指令，这些指令在通过计算机来实施时促使该计算机实施如下步骤来对处理传感器数据：

- 通过摄像机来检测摄像机图像；

- 通过至少一个3D传感器来检测3D测量点；并且

术语计算机在此应宽泛地来理解。尤其是，该计算机也包括控制设备和其它基于处理器的数据处理设备。

按照本发明的另一方面，用于处理传感器数据的设备具有：

- 输入端，用于接收摄像机的摄像机图像以及3D传感器的3D测量点；和

- 数据融合单元，将这些摄像机图像与这些3D测量点融合成虚拟传感器的数据。

在用于分析传感器数据的预处理步骤的框架内、尤其是在对象跟踪的框架内，引入虚拟传感器的概念。该虚拟传感器在较早的测量点层面对摄像机和3D传感器的测量数据进行融合，并且因此对各个传感器进行抽象化。由虚拟传感器所得到的数据可以在随后的对象跟踪的情况下被聚类成高质量的对象假设，因为这些数据包含范围广泛的信息，以便分隔不同的类别。通过按照本发明的解决方案，防止了：具有系统性误差的不同传感器的对象假设随时间被融合在共同的模型中，其中容易出现关联错误。由此能够实现鲁棒的周围环境感知，该周围环境感知允许高度自动化以及自主驾驶功能。

按照本发明的一个方面，将图像数据与3D测量点融合成虚拟传感器的数据包括：

- 根据至少一个第一摄像机图像和至少一个第二摄像机图像来计算光流；并且

- 基于该光流来确定在这些摄像机图像中的至少一个摄像机图像中的应在测量的时间点被分配给这些3D测量点之一的像素。

借助于所计算出的光流来使这些3D测量点与这些摄像机图像同步。这一点特别有利，因为光流自动地正确考虑外来以及自身运动。可能会引起误差的动态模型不被寄存。

按照本发明的一个方面，对在这些摄像机图像中的至少一个摄像机图像中的应在测量的时间点被分配给这些3D测量点之一的像素的确定包括：

- 基于光流来对与3D传感器的测量时间点在时间上接近的摄像机图像进行换算；并且

- 将这些3D测量点投影到经换算的摄像机图像中。

借助于光流，可以将整个摄像机图像换算到3D传感器的测量时间点上。然后，紧接着可以将这些3D测量点从深度测量传感器投影到该摄像机图像中。为此，例如可以将这些像素视为与3D测量点相交的无限长的光束。

- 基于光流和搜索方法，确定在该摄像机图像中的应在测量的时间点被分配给这些3D测量点的那些像素；并且

- 将这些3D测量点投影到该摄像机图像中的这样被确定的位置上。

借助于光流和搜索方法，确定在该摄像机图像中的应在测量的时间点被分配给这些3D测量点的那些像素是可能的。这尤其是在激光雷达（Lidar）系统的情况下有用，在该激光雷达系统处，由于扫描作用，每个测量点都具有它自己的时间戳。基于搜索方法的方案与针对每个测量点都对整个图像进行换算相比，在计算上花费少得多。

按照本发明的一个方面，针对这些摄像机图像的像素，从光流中确定直至碰撞的时间。接着，根据直至碰撞的时间、光流和针对3D测量点的测距，可以计算该3D测量点的笛卡尔速度矢量。该笛卡尔速度矢量例如可以被用于区分同一类别的重叠对象。为了进行这种区分，到目前为止的传感器必须随时间借助于动态和关联模型来跟踪对象，这相对容易出错。

按照本发明的一个方面，根据径向相对速度和测距来从3D测量中确定直至碰撞的时间。接着，根据直至碰撞的时间和光流，可以计算该3D测量点的笛卡尔速度矢量。该方案具有如下优点：如果径向相对速度例如来自雷达传感器，则对直至碰撞的时间的测量特别精确。此外，在图像中可以相当精确地不仅水平地而且垂直地（光流）观察对象运动。因而，所得到的速度矢量通常比仅根据该图像来估计直至碰撞的时间的情况更准确。

按照本发明的一个方面，使这些3D测量点扩展来自这些摄像机图像中的至少一个摄像机图像的属性。这些属性例如可以是在来自摄像机图像的一个或多个所属的像素的图像空间内的（平均）光流或者位置。同样可以添加速度矢量、多普勒速度、反射率或雷达截面或者置信度。这些附加的属性允许实现更鲁棒的对象跟踪或者也允许更好的分割。

按照本发明的一个方面，对接近3D测量的测量时间点的摄像机图像进行分割。可选地，在该分割之前，借助于光流将3D传感器的测量点准确地投影到图像中并且将这些测量点的测量属性存放在其它维度中。这能够实现跨传感器的分割。

在此，优选地通过神经网络来进行该分割。通过该分割，一方面避免了关联错误，另一方面可以分辨两个类别之间的歧义。由该分割所得到的类别信息或标识符优选地同样作为属性被添加给这些3D测量点。

按照本发明的一个方面，将对象跟踪算法应用于虚拟传感器的数据。该算法优选地进行积累式传感器数据融合。该积累式传感器数据融合能够实现随时间对数据的过滤并且因而能够实现可靠的对象跟踪。

特别有利地，按照本发明的方法或按照本发明的设备被用在车辆、尤其是机动车中。

附图说明

本发明的其它特征结合附图从随后的描述以及附上的权利要求书中可见。

图1示意性地示出了传统的对象跟踪的流程；

图2示意性地示出了用于处理传感器数据的方法；

图3示意性地示出了将摄像机图像与3D测量点融合成虚拟传感器的数据；

图4示出了用于处理传感器数据的设备的第一实施方式；

图5示出了用于处理传感器数据的设备的第二实施方式；

图6示意性地示出了机动车，在该机动车中实现按照本发明的解决方案；

图7示意性地示出了虚拟传感器的概念；以及

图8示意性地示出了具有分类器的虚拟传感器的概念。

具体实施方式

为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方式。易于理解的是：本发明并不限于这些实施方式而且所描述的特征也可以组合或者修改，而不脱离本发明的保护范围，如该保护范围在附上的权利要求书中限定的那样。

图1示意性地示出了传统的对象跟踪的流程。用于对象跟踪的输入参量是传感器数据E和被变换到测量空间中的踪迹状态。在第一步骤10中，尝试将测量与踪迹进行关联。紧接着，检查11该关联是否成功。如果情况如此，则更新12相对应的踪迹。然而，如果该关联失败，则初始化13新的踪迹。针对所有测量，重复该做法。还针对所有踪迹检查14相应的踪迹是否长时间未曾被更新。删除15对此做出肯定回答的踪迹。对象跟踪的输出参量是对象列表A。所属的踪迹被预测16到下一个测量时间点，并且所得到的踪迹状态再次被变换17到测量空间中，以用于对象跟踪的下一次延续。

图2示意性地示出了用于处理传感器数据的方法。在第一步骤中，通过摄像机来检测20摄像机图像。此外，3D测量点通过至少一个3D传感器来被检测21。可选地，例如通过神经网络，可以对这些摄像机图像中的至少一个摄像机图像进行分割22。接着，通过数据融合单元将这些摄像机图像与这些3D测量点融合23成虚拟传感器的数据。在这种情况下，确定光流，该光流被用于使图像测量点和3D测量点同步。在此，可以使这些3D测量点扩展来自这些摄像机图像中的至少一个摄像机图像的属性。最后，输出24所得到的数据，用于进一步处理。在该进一步处理的情况下，例如可以将对象跟踪算法应用于虚拟传感器的数据。该算法例如可以进行积累式传感器数据融合。还可以对虚拟传感器的数据进行分割。在此，该分割又可以通过神经网络来进行。

图3示意性地示出了将摄像机图像与3D测量点融合成虚拟传感器的数据。在第一步骤中，根据至少一个第一摄像机图像和至少一个第二摄像机图像来计算30光流。可选地，针对这些摄像机图像的像素，可以从光流中确定31直至碰撞的时间。此外，根据直至碰撞的时间、光流和针对3D测量点的测距，可以计算该3D测量点的速度矢量。替选地，可以根据径向相对速度和测距来从3D测量中确定直至碰撞的时间。接着，根据直至碰撞的时间和光流，可以计算该3D测量点的笛卡尔速度矢量。最后，基于光流来确定32在这些摄像机图像中的至少一个摄像机图像中的被分配给这些3D测量点之一的像素。为此，首先可以基于光流来对与3D传感器的测量时间点在时间上接近的摄像机图像进行换算。接着，可以将这些3D测量点投影到经换算的摄像机图像中。

图4示出了用于处理传感器数据的设备40的第一实施方式的简化示意图。设备40具有输入端41，经由该输入端可以接收摄像机61的摄像机图像I1、I2以及至少一个3D传感器62、64的3D测量点MP。可选地，设备40还具有分割器42，用于例如借助于神经网络来对至少一个摄像机图像或至少一个利用其它测量来丰富的摄像机图像I1、I2进行分割。通过数据融合单元43，将摄像机图像I1、I2与3D测量点MP融合成虚拟传感器的数据VS。在此，可以使这些3D测量点MP扩展来自这些摄像机图像I1、I2中的至少一个摄像机图像的属性。为了进行该融合，数据融合单元43可以在第一步骤中根据至少一个第一摄像机图像I1和至少一个第二摄像机图像I2来计算光流。可选地，针对这些摄像机图像I1、I2的像素，可以从光流中确定直至碰撞的时间。接着，根据直至碰撞的时间、光流和针对给定的3D测量点MP的测距，可以计算该3D测量点MP的速度矢量。替选地，可以根据径向相对速度和测距来从3D测量中确定直至碰撞的时间。接着，根据直至碰撞的时间和光流，可以计算该3D测量点MP的笛卡尔速度矢量。最后，数据融合单元43基于光流来确定在这些摄像机图像I1、I2中的至少一个摄像机图像中的被分配给这些3D测量点MP之一的像素。为此，首先可以基于光流来对与3D传感器62、64的测量时间点MP在时间上接近的摄像机图像I1、I2进行换算。接着，可以将这些3D测量点MP投影到经换算的摄像机图像中。

同样可选的对象跟踪器44可以基于虚拟传感器的数据VS来执行对象跟踪。对象跟踪器44例如可以进行积累式传感器数据融合。不过，同样可以在设备40之外进行该积累式传感器数据融合。经由设备40的输出端47，输出虚拟传感器的数据VS或者对象跟踪或分割的结果，用于进一步处理。

分割器42、数据融合单元43和对象跟踪器44可以由控制单元45来控制。必要时，可以经由用户界面48来改变分割器42、数据融合单元43、对象跟踪器44或者控制单元45的设置。在设备40中累积的数据可以在需要时被存放在设备40的存储器46中，例如为了稍后的分析或为了由设备40的组件来使用而被存放在设备20的存储器26中。分割器42、数据融合单元43、对象跟踪器44以及控制单元45可以被实现为专用硬件，例如被实现为集成电路。但是，它们当然也可以部分地或者完全地组合或者被实现为在适当的处理器上、例如在GPU或CPU上运行的软件。输入端41和输出端47可以实现为分开的接口或者可以实现为组合式双向接口。

图5示出了用于处理传感器数据的设备50的第二实施方式的简化示意图。设备50具有处理器52和存储器51。例如，该设备50是计算机或者控制设备。在存储器51中存放有指令，所述指令在由处理器52实施时促使设备50实施按照所描述的方法之一的步骤。因此，存放在存储器51中的指令表现为能通过处理器52实施的程序，该程序实现了按照本发明的方法。设备50具有用于接收信息、尤其是传感器数据的输入端53。由处理器52生成的数据经由输出端54来被提供。这些数据还可以被存放在存储器51中。输入端53和输出端54可以组合成双向接口。

处理器52可包括一个或多个处理器单元，例如微处理器、数字信号处理器或者它们的组合。

所描述的实施方式的存储器46、51不仅可具有易失性存储区而且可具有非易失性存储区，而且可包括各种各样的存储设备和存储介质，例如硬盘、光学存储介质或者半导体存储器。

图6示意性地示出了机动车50，在该机动车中实现按照本发明的解决方案。机动车60具有用于检测摄像机图像的摄像机61以及用于检测3D测量点的雷达传感器62。机动车60还具有用于处理传感器数据的设备40，借助于该设备来将摄像机图像与3D测量点融合成虚拟传感器的数据。机动车60的其它组件是用于周围环境检测的超声传感器63和激光雷达（Lidar）系统64、数据传输单元65以及一系列辅助系统66，示范性地示出了这些辅助系统中的一个辅助系统。这些辅助系统可以使用由设备20提供的数据，例如用于对象跟踪。借助于数据传输单元65，可以建立与服务提供商的连接，例如用于调用导航数据。为了存储数据，存在存储器67。通过网络68来实现机动车50的不同组件之间的数据交换。

随后，应该依据图7至8来描述本发明的优选的实施方式。

替代在共同的模型中随时间对具有系统性误差的不同传感器的测量数据进行融合（其中容易出现关联错误），引入虚拟传感器的概念。该虚拟传感器在较早的测量点层面对摄像机和3D传感器的测量数据进行融合，并且因此对各个传感器进行抽象化。

图7示意性地示出了虚拟传感器的概念，作为积累式传感器数据融合的基础。用于通过数据融合单元43来进行传感器融合的输入参量是3D传感器（雷达62）的3D测量点以及摄像机61的摄像机图像。摄像机61可以已经进行对这些摄像机图像的处理，以便例如确定光流、在分割的框架内对图像点进行分类或者借助于SfM算法（SfM：Structure fromMotion；运动恢复结构）来从这些摄像机图像中提取点。但是，对这些摄像机图像的这种处理也可以通过数据融合单元43来进行。此外，摄像机61可以传送关于摄像机位置的说明。其它可能的数据来源是超声传感器63或激光雷达系统64。通过数据融合单元43，在很短的时间段内对数据进行融合。紧接着，将来自数据融合单元42的3D点转交给积累式传感器数据融合44，该积累式传感器数据融合能够实现随时间的过滤。

数据融合的主要挑战在于：传感器61、62在不同的时间点进行测量。因而，需要对不同传感器61、62的数据的准确同步。对于传感器61、62的同步，优选地使用根据这些摄像机图像所确定的光流。随后，首先应该阐述同步的基础。在更下面详细地描述如何对出现的各种坐标系进行处理。

给出如下3D测量点，这些3D测量点是在时间点t被记录的。现在，使用至少两个摄像机图像，例如在测量时间点t之前和之后的摄像机图像，以便首先计算光流o。

优选地，使用如下图像，该图像的拍摄时间点t最接近3D传感器的测量时间点。该图像的拍摄时间点与测量之间的时间差为Δt。在图像空间（极空间）内对光流o进行测量。

具有位置p和光流o的像素现在按如下地被预测：

（1）

在考虑用TTC来表示的直至碰撞的时间（Time to collision）的情况下（对该直至碰撞的时间的确定在更下面被阐述），还可以对该公式进行完善：

（2）

利用该算式（Ansatz），可以将整个图像换算到3D传感器的测量时间点t上。紧接着，可以将这些3D测量点轻易从深度测量传感器投影到该图像中。为此，可以将这些像素视为与3D测量点相交的无限长的光束。

不过，在激光雷达系统的情况下，由于扫描作用，每个测量点都具有它自己的时间戳。在这种情况下，可以针对每个测量点来对整个图像进行换算，但是这在计算上花费高。一个替选可能性是：在原始图像中搜索具有位置p的那些像素，所述那些像素对于具有图像坐标p'的3D测量点来说满足上述等式（1）。

为此，可以使用各种各样的算法。一方面，可以利用线性算法来对所有光流矢量进行渲染，使得在每个像素中都指定矢量的边界框（“Bounding Box”）。如果在一个像素中有多个流矢量相交，则该边界框相对应地被增大为使得两个矢量包含在该框中。紧接着的搜索算法现在只须考虑其中必须包含被搜索的像素的边界框。

另一可能性在于实现搜索树、例如Quadtrees（四叉树），类似于碰撞识别。

3D测量点大多具有角度不确定性，例如由于光束扩展而引起的角度不确定性。因而，优选地考虑在该不确定性附近的所有像素，以便使3D测量点扩展来自该图像的属性。这些属性例如可以是在图像空间内的平均光流o(o_x, o_y)或者位置p(p_x, p_y)。

由于在借助于“[Deep] Convolutional Neuronal Networks (CNN)”（[深度]卷积神经网络）的图像处理领域的最新进展，利用相对应的计算能力能够对图像进行像素精确的分割。如果这些摄像机图像中的至少一个摄像机图像通过这种神经网络被分割，则可以附加地使这些3D测量点扩展由该分割所得到的类别以及所属的标识符。

由虚拟传感器所得到的点可以被聚类成高质量的对象假设，因为这些点包含范围广泛的信息，以便对类别进行分隔。这尤其是来自该分割以及该笛卡尔速度矢量的类别信息和标识符，该笛卡尔速度矢量例如在同一类别的对象有重叠的情况下有用。

来自虚拟传感器的经扩展的3D测量点或者聚类或这些聚类紧接着被转交给积累式传感器数据融合，该积累式传感器数据融合能够实现随时间的过滤。在一些当前的神经网络的情况下可能的是：这些神经网络形成所谓的实体。应作为示例给出一排具有停下的车辆的停车场，这些停下的车辆由摄像机倾斜地来检测。那么，尽管在图像中有重叠，最新方法仍可以将不同的车辆分开。如果神经网络形成实体，则当然可以在积累式传感器数据融合中将这些实体用作聚类信息。

只要由于对这些摄像机图像的分割而存在关于图像片段的信息，必要时就可以省去对光流的完整计算。作为替代，通过适当的算法，也可以确定各个图像片段随时间的变化，这可以特别高效地被实现。

从图像空间内的光流o可以确定直至碰撞的时间。该直至碰撞的时间描述了点何时穿透摄像机光学系统的主平面。

利用在图像中的两个相关点p₁、p₂在两个时间点t₁、t₂的距离b = p₁ - p₂或利用在一个时间点的距离以及所属的光流o₁、o₂，可以计算TTC：

（3）。

在下文，针对数学表示，使用针孔摄像机模型。根据图像位置p_x、p_y（以像素为单位）、TTC（以s为单位）、光流o（以像素/s为单位）和朝着摄像机传感器的图像平面的方向的测距d（以m为单位），可以确定用于3D测量的笛卡尔速度矢量

（以m/s为单位），该笛卡尔速度矢量是在摄像机坐标系中相对于自身运动而言。应注意：在图像空间内指定光流o和像素位置p，而在摄像机坐标系中确定速度

。

除了测量属性之外，需要摄像机常数K，该摄像机常数考虑了成像系统的图像宽度b（以m为单位）和分辨率D（像素每m）。接着，速度按如下地来得到：

（4）

（5）

如果3D测量点应该来自雷达传感器，则可以附加地使用径向相对速度（多普勒速度），以便使测量稳定：借助于该相对速度和测距，可以通过求商来确定替选的TTC。这尤其是在摄像机的扩展点附近的特征的情况下有用，因为在那里只存在着微小的光流。即，这涉及行驶包络线内的对象。然而，该行驶包络线大多被特别多的传感器覆盖，使得信息通常可用。

图8示意性地示出了具有分类器的虚拟传感器的概念。该概念在很大程度上对应于从图7已知的概念。目前，为了进行图像分类而常常使用卷积神经网络。如果可能，这些卷积神经网络需要能在本地关联的数据，这些能在本地关联的数据毫无疑问存在于一个图像中。相邻像素常常属于同一对象，并且描述在极图像空间中的相邻。

不过，这些神经网络优选地不仅仅依赖于图像数据，这些图像数据在恶劣的照明条件下几乎不提供数据并且也使得距离估计普遍困难。因此，在其它维度，将其它摄像机的、尤其是来自激光测量和雷达测量的测量数据投影到状态空间中。在此，为了良好的性能，有用的是：借助于光流来使测量数据同步，以便这些神经网络可以良好地利用数据局部性。

在此，可以以如下方式来进行同步。出发点是摄像机图像，该摄像机图像的拍摄时间点尽可能接近所有传感器数据。除了像素信息之外，现在对其它数据进行注释：在第一步骤中，这包括在图像中的偏移、例如借助于光流的偏移。借助于更上面已经描述的预测步骤，再次对像素进行标识，这些像素按照像素偏移来与可用的3D测量数据、例如来自激光测量或雷达测量的可用的3D测量数据关联。因为在这些测量的情况下存在光束扩展，所以这里大多涉及到多个像素。使所关联的像素扩展其它维度并且相对应地录入测量属性。可能的属性例如是：除了根据激光、雷达或超声的测距之外，还有雷达的多普勒速度、反射率或雷达截面或者也包括置信度。

现在，利用分类器或分割器42、优选地利用卷积神经网络来对经同步的并且被扩展测量属性的摄像机图像进行分类。在这种情况下，现在可以生成所有信息，就像这在更上面结合图7所描述的那样。

随后，应该详细阐述数学背景，该数学背景对于这些摄像机图像和这些3D测量点的同步来说是必需的。在此，假定如下摄像机，该摄像机可以被建模为针孔摄像机。该假定仅仅用于使变换能更易于操作。如果所使用的摄像机不能合适地被建模为针孔摄像机，则作为替代可以使用失真模型，以便生成满足针孔摄像机模型的视图。在这些情况下，必须在随后的等式中使用虚拟针孔摄像机模型的参数。

首先，必须限定坐标系和在这些坐标系之间的变换。总共限定了五个坐标系：

- C_W是3D世界坐标系

- C_V是本车的3D坐标系

- C_C是摄像机的3D坐标系

- C_S是3D传感器的3D坐标系

- C_I是2D图像坐标系。

摄像机、3D传感器、图像和本车的坐标系彼此紧密关联。因为本车相对于世界坐标系运动，所以限定在这些坐标系之间的下列四种变换：

-

是如下变换，该变换将世界坐标系内的3D点变换到本车的3D坐标系中。因为本车随时间运动，所以该变换取决于时间t。-

是如下变换，该变换将本车的3D坐标系内的3D点变换到3D传感器的3D坐标系中。-

是如下变换，该变换将本车的3D坐标系内的3D点变换到摄像机的3D坐标系中。-

是如下变换，该变换将摄像机的3D坐标系内的3D点投影到2D图像坐标系中。

在世界坐标系中运动的世界点、例如车辆上的点可以通过x_w(t)来被描述。

该点由摄像机在时间点t₀检测并且由3D传感器在时间点t₁检测。摄像机以齐次坐标观察所属的图像点x_i(t₀)：

（6）

3D传感器观察所属的点x_s：

（7）

等式（6）和（7）通过本车的运动和世界点的运动来彼此关联。关于本车的运动的信息存在，而世界点的运动未知。

因而，需要确定关于世界点的运动的信息。

应给出摄像机在时间点t₂的第二测量：

（8）

现在，可以将等式（6）和（8）彼此组合：

（9）

在本车的坐标系中，通过如下等式来给出所观察的点x_v(t)：

（10）

如果将这应用于等式（10），则获得：

（11）

等式（11）建立了光流矢量与世界点的运动矢量之间的关系。Δx_i(t₀, t₂)就是在时间t₀与t₂拍摄的摄像机图像之间的光流矢量，而Δx_v(t₀, t₂)是世界点的用C_V表达的对应的运动矢量。因此，光流矢量是运动矢量在3D空间内的投影。

摄像机和3D传感器的测量并不能彼此直接组合。首先，必须引入如下附加假定：在图像平面内的运动在时间点t₀与t₂之间是线性的。在该假定的情况下，通过如下等式来确定属于世界点的图像点：

（12）

根据等式（11），清楚的是：世界点的运动以及本车的运动必须都是线性的。

可以使用根据等式（7）的关于3D传感器的变换，以便在摄像机的坐标系C_C中确定在C_S中在时间点t₁被测量的3D测量点：

（13）

还可以借助于等式（6）来确定世界点的如下像素坐标，该世界点在时间点t₁所拍摄的虚拟摄像机图像中会具有这些像素坐标：

（14）

如果将等式（13）应用于等式（14），则获得：

（15）

否则，可以根据等式（12）来确定x_i(t₁)：

（16）

等式（16）建立了摄像机的测量与3D传感器的测量之间的关系。如果世界点在世界坐标系中被明确限定，时间点t₀、t₁和t₂以及在两个摄像机图像中的图像坐标和3D传感器的测量都已知，则等式（16）建立完整的关系，也就是说不存在未知参量。

即使不知道3D传感器与摄像机的测量之间的正确对应关系，也可以利用这种情形。如果存在3D传感器在时间点t₁的测量，则可以将该测量变换到虚拟摄像机图像、也就是说摄像机会在时间点t₁检测到的摄像机图像中。关于此的虚拟像素坐标是x_i(t₁)。现在，借助于光流矢量v_i(t₀, t₂)，可以搜索对其来说

等于或者至少非常接近x_i(t₁)的像素x_i(t₀)。

附图标记列表

10 将测量与踪迹关联

11 检查该关联是否成功

12 更新相对应的踪迹

13 初始化新的踪迹

14 有关上一次更新的时间点来对踪迹进行检查

15 删除踪迹

16 将踪迹预测到下一个测量时间点

17 将踪迹状态变换到测量空间中

20 检测摄像机图像

21 检测3D测量点

22 对至少一个摄像机图像进行分割

23 将摄像机图像与3D测量点进行融合

24 输出虚拟传感器的数据

30 计算光流

31 确定直至碰撞的时间

32 确定被分配给这些3D测量点之一的像素

40 设备

41 输入端

42 分割器

43 数据融合单元

44 对象跟踪器

45 监控单元

46 存储器

47 输出端

48 用户界面

50 设备

51 存储器

52 处理器

53 输入端

54 输出端

60 机动车

61 摄像机

62 雷达传感器

63 超声传感器

64 激光雷达系统

65 数据传输单元

66 辅助系统

67 存储器

68 网络

A 对象列表

E 传感器数据

FL 光流

I1、I2 摄像机图像

MP 测量点

TTC 直至碰撞的时间

VS 虚拟传感器的数据

Claims

1.一种用于处理传感器数据的方法，所述方法具有如下步骤：

- 通过摄像机（61）来检测（20）摄像机图像（I1、I2）；

- 通过至少一个3D传感器（62、64）来检测（21）3D测量点（MP）；并且

- 将所述摄像机图像（I1、I2）与所述3D测量点（MP）融合（23）成虚拟传感器的数据（VS）。

2.根据权利要求1所述的方法，其中将图像数据与所述3D测量点融合成虚拟传感器的数据包括：

- 根据至少一个第一摄像机图像（11）和至少一个第二摄像机图像（12）来计算（30）光流（FL）；并且

- 基于所述光流（FL）来确定（32）在所述摄像机图像（I1、I2）中的至少一个摄像机图像中的应在测量的时间点被分配给所述3D测量点（MP）之一的像素。

3.根据权利要求2所述的方法，其中对在所述摄像机图像（I1、I2）中的至少一个摄像机图像中的应在测量的时间点被分配给所述3D测量点（MP）之一的像素的确定（32）包括：

- 基于所述光流（FL）来对与所述3D传感器（62、64）的测量时间点在时间上接近的摄像机图像（I1、I2）进行换算；并且

- 将所述3D测量点（MP）投影到经换算的摄像机图像中。

4.根据权利要求2所述的方法，其中对在所述摄像机图像（I1、I2）中的至少一个摄像机图像中的应在测量的时间点被分配给所述3D测量点（MP）之一的像素的确定（32）包括：

- 基于所述光流（FL）和搜索方法，确定在所述摄像机图像（I1、I2）中的应在测量的时间点被分配给所述3D测量点（MP）的那些像素；并且

- 将所述3D测量点（MP）投影到所述摄像机图像（I1、I2）中的这样被确定的位置上。

5.根据权利要求2至4中任一项所述的方法，其中针对所述摄像机图像的像素，从所述光流（FL）中确定（31）直至碰撞的时间（TTC），而且根据所述直至碰撞的时间（TTC）、所述光流（FL）和针对3D测量点（MP）的测距，计算所述3D测量点（MP）的笛卡尔速度矢量。

6.根据权利要求5所述的方法，其中所述直至碰撞的时间根据所述3D传感器（62、64）的测量来被确定（31），而不是从所述光流中被确定。

7.根据上述权利要求中任一项所述的方法，其中使所述3D测量点扩展来自所述摄像机图像(I1、I2）中的至少一个摄像机图像的属性。

8.根据上述权利要求中任一项所述的方法，其中对接近所述3D传感器（62、64）的测量时间点的至少一个摄像机图像（I1、I2）进行分割。

9.根据权利要求8所述的方法，其中所述分割除了图像信息之外也考虑所述3D传感器（62、64）的测量。

10.根据上述权利要求中任一项所述的方法，其中将对象跟踪算法应用于所述虚拟传感器的数据（VS）。

11.根据权利要求10所述的方法，其中所述对象跟踪算法进行积累式传感器数据融合。

12.一种计算机可读存储介质，所述计算机可读存储介质具有如下指令，所述指令在由计算机实施时促使所述计算机实施根据权利要求1至11中任一项所述的用于处理传感器数据的方法的步骤。

13.一种用于处理传感器数据的设备（20），所述设备具有：

- 输入端（41），用于接收摄像机（61）的摄像机图像（I1、I2）以及3D传感器（62、64）的3D测量点（MP）；和

- 数据融合单元（43），用于将所述摄像机图像（I1、I2）与所述3D测量点（MP）融合（23）成虚拟传感器的数据（VS）。

14.一种机动车（60），其特征在于，所述机动车（60）具有根据权利要求13所述的设备（40）或者被设立为实施根据权利要求1至11中任一项所述的用于处理传感器数据的方法。