CN103002277B - 对机动车拍摄的图像数据进行处理的方法和机动车 - Google Patents

Abstract

本发明涉及一种用于对利用机动车中的光学传感器、特别是摄像机拍摄的图像数据进行图像处理的方法，所述图像数据包括以特定图像拍摄速率连续拍摄的图像，其中由所述图像数据确定一光流并由该光流通过至少一个汽车系统特别是驾驶员辅助系统确定可用的信息，其中在压缩所述图像数据期间确定所述光流和/或由在压缩所述图像数据期间获取的流信息确定所述光流。

Description

对机动车拍摄的图像数据进行处理的方法和机动车

技术领域

本发明涉及一种用于对利用在机动车中的光学传感器特别是摄像机拍摄的图像数据进行图像处理的方法，所述图像数据包括以特定图像拍摄速率连续/依次拍摄的图像，其中由所述图像数据确定一光流（optischer Fluss）并通过至少一个汽车系统特别是驾驶员辅助系统由该光流确定可用的信息。此外本发明还涉及一种机动车。

背景技术

已知在机动车中设置有持续监控机动车环境的摄像机。为此该摄像机以特定图像速率拍摄图像。这些图像可以通过在机动车中相应的控制设备进行分析，以通过驾驶员辅助系统和其它汽车系统确定例如环境模型和类似形式的必需信息。

用于汽车系统、特别是驾驶员辅助系统的当今的图像处理的一个重要部分在于确定光流。光流是指最终说明图像的子区域亦即例如像点（像素）或多个像素在哪个方向上及以何种速度运动的矢量场。该光流例如用于区分运动和不运动的物体等。确定光流时的问题在于，其确定需要较大的资源量，因此耗费很大。必须提供大的计算能力，这种计算能力是机动车中系统硬件成本的重要组成部分。

之前已经建议，在机动车中中心实施图像处理，从而所述图像数据必须特别是通过专用通信连接由摄像机以高传输带宽传输给特别是中心控制设备。

发明内容

本发明的目的在于提供一种在机动车中进行图像处理的低消耗和节省成本的可能性。

为了实现上述目的，根据本发明可以基于开始所述类型的方法，在压缩所述图像数据期间和/或由在压缩所述图像数据时获取的流信息（Flussinformationen）确定所述光流。

因此本发明基于这样的认识，即在压缩图像数据时总是要确定光流或者至少确定其基础。（由于）用于以特定图像拍摄速率连续拍摄的图像数据的第一压缩方法仅限于粗略说明连续图像中的变化在哪儿发生，而更新的方法的基础是说明所述变化的方向和速度，因此实际上作为“副产品”产生运动矢量场形式的光流。所述压缩最后“聚集”图像到图像区域中，其中所述图像区域的大小最终取决于须承受多大或多小的损失。被压缩图像数据流中最终相应具体或粗略地也包括作为运动矢量场的光流，其中这些信息通常在解码所述图像数据之后又被丢弃。

本发明现在建议同样一起读出这些信息。如果在压缩时确定的运动矢量场已经足够精确，则可以用其直接作为光流。但是在本发明范围内也可以使用所述流信息作为输入数据用作初始化用于所述光流的计算方法。就是说，由所述压缩方法提取的流信息可以用于作为预处理初始化具体的流计算方法。由此也可以实现非常具体的流计算方法，但是可以节省这种算法的第一步骤中的计算时间。

原则上也可以设想单独为了确定所述光流而压缩所述图像数据。因此例如可以在分析所述图像数据的控制设备中设置一特别为有效实施所述压缩而构造的微芯片。专用芯片具有用于有效实施为确定光流所需的计算步骤的特定指令组，使用这种专用芯片对其本身而言是合理的，因为这种“压缩芯片”已经可以在交易中买到并且通过其此处用于新目的的使用可以减少对其它图像处理的处理器硬件的需求。因此可以使用此处较小功率且经济的处理器硬件，同时也可以通过有效的计算节省计算时间和能量消耗。

但是，特别有利且在本发明范围内优选的是，当经由传输路径传输所述图像数据时，在经由所述传输路径的所述传输之前进行所述压缩。所述图像数据的传输需要高传输带宽，如前所述，该传输带宽当今经常使用昂贵的传输介质实现，因此通信连接成本过高。但是此处也可以使用图像数据的适当压缩，从而这种压缩在本发明范围内因此最终使用“两次”，就是说一次用于图像数据更经济的传输，另一次还用于确定光流。因此在本发明范围内进一步利用来自驾驶员辅助系统中用于图像处理的图像压缩的中间结果的协同效应。为此可以具体地在所述传输路径之后读出被压缩的图像数据和由于压缩而被一起传送的运动矢量。除了解码的图像还可以从传输的数据流中读出压缩方法的运动矢量场。由此提取的光流可以一方面直接代替迄今明确为图像处理而计算的运动矢量，或者也可以代替涉及图像内容移动的识别的类似参量而用于多种功能。因此可以显著减少所需的计算时间，如前所述，这可以实现使用更经济的处理器和组件，由此还可以积极改变整个图像处理装置的重量和能量平衡。

总之通过本发明实现的优点为，可以提高能量效率和减少重量，以及还能减少图像处理装置的单个元件的购买成本。

优选为了进行压缩而使用一特别为有效实施所述压缩而设计的微芯片。如上所述，这种如今已经基本上已知的芯片包括特定的指令组用于有效实施所述压缩。

有利的是可以使用H264-方法或者MJPEG-方法作为压缩方法。优选使用H264-方法。但是也可以在MJPEG（Motion JPEG）中确定运动矢量场。

除了上述方法本发明还涉及一种机动车，其包括一光学传感器、特别是一摄像机，和一种用于对利用所述摄像机拍摄的图像数据进行图像处理的装置，该装置构造用于实施根据本发明的方法。关于根据本发明的方法的完整实施可以类似地平移到根据本发明的机动车上，因此利用该机动车可以实现同样的优点。特别是该用于图像处理的装置包括特别为有效实施所述压缩而构造的微芯片（“压缩芯片”）。

当为所述摄像机后接设置有一用于压缩所述图像数据的芯片和一用于将所述被压缩的图像数据传输给进行进一步图像处理的控制设备的传输路径时，可以获得特别的优点。然后通过使该压缩方法既用于图像数据的更经济的传输也用于光流的确定，可以得到特别的协同效应。作为传输路径例如可以设置专用线路，此外有利的是所述控制设备是用于图像处理的中心控制设备，该控制设备然后特别通过总线将确定的信息分配给其它汽车系统。

附图说明

本发明的其它优点和细节由下述实施例及借助附图得出。其中：

图1示出根据本发明的机动车的原理图；

图2示出根据本发明的方法的原理图。

具体实施方式

图1示出了根据本发明的机动车1的原理图。该机动车具有至少一个摄像机2，该摄像机以特定的图像拍摄速率拍摄该机动车1的环境图像，所述图像然后由对利用所述摄像机2拍摄的图像进行图像处理的图像处理装置3进一步处理。该图像处理装置3与所述摄像机2相邻地在图像数据的传送方向上后接地包括根据H264-方法压缩该图像数据的芯片4。如此被压缩的图像数据经由一传输路径5（此处为专用线路）被继续传送至控制设备6以进一步进行图像处理。像在现有技术中基本上已知的一样，在那里由用于其它汽车系统7、特别是用于驾驶员辅助系统的图像数据获得可用的信息。

图像处理装置3现在被构造成用于实施根据本发明的方法，该方法在图2中进行详细阐述。首先摄像机2的图像数据8在一步骤9中按照H264-方法在芯片4中进行压缩。然后形成被压缩的图像数据10，这些图像数据也包括说明所观察的图像区域向哪儿及多快运动的运动矢量场11。

被压缩的图像数据10经由传输路径5而被传送，其中这些图像数据一方面通常在一步骤12中被解码，从而在必要时取决于压缩方法的精确度以极小的损失再次获得图像数据8，然而还额外地在一步骤13中由被压缩的图像数据10提取并进一步分析运动矢量场11。为此存在两种可能性。一方面，当运动矢量场11足够精确时，例如在压缩方法中观察到小图像区域时，该运动矢量场可以直接作为光流在至少一部分需要其的功能和汽车系统7中使用（见步骤14）。但是也可以设想使用运动矢量场11作为流信息，以初始化一用于光流的较精确的计算方法（见步骤15）。

因此该压缩方法在步骤9中有两次应用，就是说一次用于图像数据的传输，另一次用于确定光流或至少作为预处理步骤用于确定光流。

Claims (9)

1.一种用于对利用机动车中的光学传感器拍摄的图像数据进行图像处理的方法，所述图像数据包括以特定图像拍摄速率连续拍摄的图像，其中由所述图像数据确定一光流并通过至少一个汽车系统由该光流确定可用的信息，

其特征在于，

由在压缩所述图像数据期间获取的流信息确定所述光流，

其中，使用所述流信息作为输入数据以初始化用于所述光流的计算方法。

2.根据权利要求1所述的方法，其特征在于，所述光学传感器是摄像机。

3.根据权利要求1所述的方法，其特征在于，所述汽车系统是驾驶员辅助系统。

4.根据权利要求1至3中任一项所述的方法，其特征在于，当经由传输路径传输所述图像数据时，在经由所述传输路径进行所述传输之前进行所述压缩。

5.根据权利要求4所述的方法，其特征在于，在所述传输路径之后读出被压缩的图像数据和由于所述压缩而被一起传送的运动矢量。

6.根据权利要求1至3中任一项所述的方法，其特征在于，为了进行压缩而使用特别为有效实施所述压缩而设计的微芯片。

7.根据权利要求1至3中任一项所述的方法，其特征在于，使用H264-方法或者MJPEG-方法作为压缩方法。

8.一种机动车，包括摄像机和用于对利用所述摄像机拍摄的图像数据进行图像处理的装置，该装置设计为用于实施前述权利要求之一所述的方法。

9.根据权利要求8所述的机动车，其特征在于，为所述摄像机后接设置有用于压缩所述图像数据的芯片和用于将被压缩的图像数据传输给进行进一步图像处理的控制设备的传输路径。