CN101198031A - 用于处理车辆周围环境的图像的设备和方法 - Google Patents

用于处理车辆周围环境的图像的设备和方法 Download PDF

Info

Publication number
CN101198031A
CN101198031A CNA2007101946909A CN200710194690A CN101198031A CN 101198031 A CN101198031 A CN 101198031A CN A2007101946909 A CNA2007101946909 A CN A2007101946909A CN 200710194690 A CN200710194690 A CN 200710194690A CN 101198031 A CN101198031 A CN 101198031A
Authority
CN
China
Prior art keywords
image
described image
equipment
processor
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101946909A
Other languages
English (en)
Other versions
CN101198031B (zh
Inventor
U·莫尔
M·斯蒂芬
A·施蒂格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN101198031A publication Critical patent/CN101198031A/zh
Application granted granted Critical
Publication of CN101198031B publication Critical patent/CN101198031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

提供了一种用于处理车辆(10)周围环境的图像的设备(12)和方法。该设备包括配置用于产生图像的图像产生器(14a，14b)，该图像至少具有第一(200)和第二(202)部分。第一(200)和第二(202)部分彼此不同，并且图像的第一(200)部分比图像的第二(202)部分更早地被产生以进行进一步处理。另外，该设备包括图像处理器(16)，其配置用于处理图像的第一(200)和第二(202)部分以便处理图像，并且其中图像处理器(16)还被配置用于在图像的第二(202)部分还对图像处理器(16)不可用的同时处理图像的第一(200)部分。

Description

用于处理车辆周围环境的图像的设备和方法
技术领域
本发明涉及一种图像处理系统。特别是，本发明涉及一种用于为驾驶员处理和显示车辆周围环境的图像的设备和方法。
背景技术
现代车辆为车辆的驾驶员提供了完善的功能。最近在讨论中的系统是，在车辆驾驶室中小显示器上为驾驶员提供车辆周围环境的图像。举例来说，这在车辆中的驾驶员位置不允许视觉上集合所有相关信息的情形中尤其是有帮助的。驶进停车场可以是这种情况的一种实例，其中在车辆的后方安装摄像机并将摄像机的图像提供给驾驶室中的显示器可以很好的帮助驾驶员快速到达停放位置。另一个实例可以是，在由于雾而视线模糊的情况下捕捉车辆之前的道路图像，或者为了正在逼近的车辆而监督道路后方部分。在显示这种图像之前，图片数据能因此被处理以便改善对雾中的对象的识别。在车辆驾驶室中的显示器上显示这种图片将提供以下优点：即能较早地辨认道路上的障碍，从而使得例如能够及时调整车辆速度。然而，处理和/或显示这种图片一般说来需要图像的模/数变换(或者直接的数字捕获)。此外，因为常规系统利用整体视频图像方法工作，所以这种图像的传送和显示具有高时延。这意思指，仅仅完整的视频图像才被传感器连续地捕获并且作为完整图像处理或者传送。
这种处理整体图像的常规方法可以在图6中看出。在图6的纵坐标，描述了不同的流水线阶段(举例来说，图象生成(阶段1)，图象传送(阶段2)，图像处理(阶段3)，图像显示(阶段n)，等等)。在图6的横坐标，描述了持续时间。如根据图6可以看出，在阶段1生成第一图像(图像1)，这可以根据位于第一位置600的图像1来推断。然而，可以根据图6的横坐标来推断，在第一位置600生成图像1花费时间tp。随后，图像1被传送到阶段2，然后在随后时刻处理图像1(参见图6中位置602)。阶段1生成新的图像，现在表示为图像2(参见图6中的位置604)。当阶段2已经完成对图象1的处理时，图像1被传送到阶段3并且图像2被从阶段1传送到阶段2。此外，一个新的图像即图像3，在阶段1中生成。在图像的处理(分别的生成)中包含儿个阶段的情况下，很明显的是，图像被完全地处理的时延可以由公式ttotal＝tp*n来计算。该总时延ttotal在图6的横坐标上进行描述。
更确切地说，给定捕获频率f，需要花费1/f的时间得到完整图像。即使在处理或者显示的步骤可以被加快很多的情形中，由于传感器仅仅以1/f的图像速率提供图像，因而也不可能增加图像速率。常规传感器(即摄像机)的典型图像速率为以f＝25/s的图像速率提供图像，这导致40ms的图像时延。当还要考虑用于显示或者处理的时延时，常规系统的时延会轻易地增加至80ms以上。与此相反，应当提到的是，人类视觉系统具有低得多的时延，从而使得如果驾驶室中的显示器上显示的图像具有超过80ms的时延，这将会使车辆驾驶员感到很恼火。反过来，由于驾驶员的注意被交通情况转移，这就会降低车辆的安全性。
因此，在现有技术中存在一种对提供改善方法的需要，用于处理车辆中的图像，尤其是用于处理车辆周围环境的图像的改善的设备和方法。
发明内容
根据本发明，这种需要由根据权利要求1所述的设备和根据权利要求24所述的方法来阐明。独立权利要求定义了本发明的优选或有益的实施方式。
根据本发明的一个方面，用于处理车辆周围环境的图像的设备包含下列特征：
-图像产生器，被配置用于产生图像，该图像至少具有第一和第二部分，第一和第二部分彼此不同，并且图像的第一部分比图像的第二部分更早地进行进一步处理；以及
-图像处理器，被配置来处理图像的第一和第二部分以便处理该图像，其中该图像处理器还被配置用于在所述图像的所述第二部分对图像处理器还不可用的同时处理所述图像的所述第一部分。
注意，图像产生器可以是摄像机或类似装置，并且图像处理器可以包括例如，微控制器和/或显示器单元。因此，由于显示也是处理接收数据的一种形式，因此术语“图像处理器”不局限于微计算机或微控制器，而且包括各利显示器。
本发明基于发现当不是首先产生完整图像(分别捕获的)并且后来处理该完整图像的数据，而是划分该图像的产生因此仅仅产生图像的一部分然后仅仅将该部分图像传送到图像处理器时，会显著减少因为产生和处理图像带来的时延。然后图像处理器能处理图像的首先接收的部(部分)，而图像产生器仍致力于获得图像的其它不同部。随后，图像产生器将图像的其它不同部分传送给图像处理器，然后图像处理器或许已经完成了对图像第一部分的处理，而且已经将比如图像第一部分的处理形式传送至进一步的处理阶段。因而，有可能部分地、而非以完整的图像来处理图像，因此(假定图像各个部分的处理时间比生成图像所述部分的时间要短)可以实现时延的显著减少。这些时延的减少比处理阶段使用的要大得多。以下进一步给出更详细的解释。
在本发明特定实施方式中，图像处理器被配置用于显示第一和第二部分，而且图像处理器被进一步地配置用于在图像的第二部分还没有由图像产生器提供给图像处理器时显示图像的第一部分。图像处理器的这种执行有下列好处即，车辆驾驶员可以及时地辨认显示器上的图像因此可以避免由捕获与显示图像之间的高时延引起的高度刺激。另外，因为人类识别系统不能立即预期显示信息而是逐步地从显示图像选择相关信息，可以充分地考虑到驾驶员的人类视觉系统。因此，无需整个地显示图像；不断地显示图像各部分就是完全足够的。
根据本发明另一个实施方式，图像产生器被配置用于生成图像的水平片段(slice)作为图像的第一或者第二部分。因为人眼习惯于以水平线捕获信息，因而生成图像的水平部份这将使驾驶员能从显示器快速地得到有关信息。另外，常规摄像机以行方式捕获图像，因此由于在图像产生器中不需要困难地形成图像各部分，因而图像的水平片段可以由低成本的图像捕获系统轻易地实现。
此外，图像产生器可以被配置用于提供图像的片段作为图像的第一和第二部分，其中图像的第一部分表示位于由图像第二部分表示的区域上方的图像中的图像区域。这种从不同连续部分生成图像的自顶向下方法提供了以下优点：图像不同部分的处理(尤其显示)可以连续的方式执行，而不必强制驾驶员的眼睛在显示器上的不同图像区域之间扫视。因此，这种自顶向下方法有助于不会将驾驶员的注意力过分吸引到显示器上，而是给他足够时间谨慎地观察交通状况。
在本发明进一步的实施方式中，第一与第二部分还可以表示图像的邻接区域。在这样的情形中，分别生成图像的单独部分的捕获处理可以被通常简化为，图像产生器逐行提供各部分的数据，因而仅仅第一组多个行的数据被提供作为图像的第一部分，其中紧随其后的各行被分到一起作为第二部分。另外，图像处理可以被简化为例如在从图像的第一部分延伸入第二部分中的对象的情况下，可以更快地执行对该对象的检测，好像第三偏移部分被提供给图像处理器，其不表示位于与第一部分覆盖的区域邻接的图像区域。
在本发明另一个实施方式中，第一和第二部分覆盖了图像的共同区域(common area)。这提供了以下优点：图像处理器可以更加轻易地发觉越过第一和第二部分边界的对象。这是因为以下事实：对象可以通过第一和第二部分重叠区中的完全相同的图案以及直接与重叠区域中完全相同的图案相联系的第一和第二部分中各个图案识别出。因此，图像处理器可以清楚地区别一方面并未扩展到邻接部分中的对象，另一方面，延伸越过第一和第二部分之间的边界的对象。
然而，在本发明的替换实施方式中，第一和第二部分不包含图像的任何共同区域。本发明的这种配置提供以下优点：图像处理器不需要再次处理图像数据，因此会减少处理时间。
当图像的第一和第二部分具有基本上相等的大小时这将产生另外的优点。在这种情况下，图像处理器可以为了处理相等大小的数据分组而被优化，类似于使用FFT代替离散的傅里叶变换，由于采用特别适合的算法，其将再次使处理时间减少。
根据本发明进一步的实施方式，图像产生器可以被配置用于生成图像的彼此不同的n个部分，n是自然数而且图像的n个部分是一个接一个地连续生成的，而且其中图像处理器被配置用于在处理图像的第(n-1)部分之后处理图像的第n个部分。这种配置提供以下优点：图像产生器可以将图像分割成连续的部分，因此可以以部分方式执行对完整图像的快速处理。与仅仅处理第一和第二部分对比，将完整图像分割成多个部分增加了处理速度，而处理完整图像所需的时间与图像被分裂成的份数成正比。
然而，如果图像产生器被配置用于生成不超过八个部分的图像，就是有益的。这是以以下事实为依据：如果图像产生器将图像分裂成的部分超过八个，那么用于识别这些部分中的每个部分的信令开销将增加。反过来，在信令开销方而的增加需要大量数据的传送并增加了从帧结构拆取图像数据所需的工作量，其分别导致更高的处理时间，更高的时延。
根据本发明另一个实施方式，图像处理器被配置成，从包含在图像的第一或第二部分中的对象提取对象信息。本发明的这种实施方式有利地结合了图像处理的不同功能，作为实例，仅仅快速显示捕获到的图像部分的方式以及一些有关安全的功能，作为实例，当汽车运行时识别汽车之前的障碍。因而，本发明的这种配置的实施方式具有另外的优点，不仅向驾驶员快速显示车辆的周围环境，而且也向驾驶员提供有关也许是危险交通状况的及时信息。
另外，在本发明的实施方式中，图像处理器还可以被配置成使用提取到的对象信息以便向图像的第一或第二部分中添加另外的对象。这提供以下优点：驾驶员的注意力可被指引到发觉的对象上，尤其当增加的对象的形状明显不同于在车辆周围可以预期的正常形状时。
更确切地说，图像处理器可以被配置用于在图像的第一或第二部分中发觉的对象周围添加圆、三角形或者矩形作为另外的对象。通过选择矩形、圆或者三角形作为被发觉的对象周围添加的对象，驾驶员的注意力尤其可以被吸引到这些发觉的对象上。这是由于以下事实：这种几何形状首先在车辆周围的正常图像中非常罕见，其次这些几何形状非常类似于交通标志，而驾驶员通常对此给予足够的注意。
另外，在本发明进一步的实施方式中，图像处理器还可以被配置成以与在图像的第一或第二部分中发觉的对象不同的颜色添加另外的对象。这额外增加了被发觉的对象的感知度，因为通过添加的对象与发觉对象之间颜色上的差别对比，驾驶员的注意力被带领到被发觉的对象上。
另外，图像处理器可配置来提取包含在图像的第一和第二部分中的对象信息，其中第一和第二部分是图像的邻接部分。这提供了以下优点：延伸越过两个部分的较大对象也容易被发觉。因而，即使为了增大处理速度而将图像分割成很多部分，快速生成(分别地处理)图像部分的方面同样可以与较高的辨认大对象的能力相结合。
根据本发明进一步的实施方式，图像产生器可以通过以下方式与图像处理器同步：当图像产生器生成图像的第一部分时，所述第一部分由图像处理器无延迟地进行处理。这种配置有下列好处即，处理车辆周围环境的图像的时延可以进一步地减少。这是由于以下事实：如果比如图像产生器提供图像的顶部片段，而且图像处理器的显示仍然忙于显示之前图像的最低部的片段，那么图像的生成的顶部片段不得不被同时保存。这种存储导致额外的时延，如果图像产生器以以下方式与图像处理器同步：比如如果图像的顶部片段生成后立即由图像处理器(分别地显示)处理(或者显示)，则可以避免额外的时延。
此外，图像产生器还可以通过以下方式与图像处理器同步：当图像产生器生成图像的第二部分时，所述第二部分由图像处理器无时延地进行处理。该同步作用确保了不仅立即显示特殊部分，而且后续部分都被立即类似地进行显示，使得图像产生器和图像处理器之间的完全同步可被保证。
图像处理器此外可以被配置用于处理图像的第一部分，因此在图像产生器已经提供了图像的第一部分之后，再经过20至40ms时延之后提供图像的第一部分的经处理的形式。这保证了，时延不会变长到能被人眼辨别出，时延长到能被人眼辨别出的情况会反过来吸引驾驶员过多的注意以观察显示器中的图像构成并将它与现实图像相比较。
此外，图像产生器可以是CMOS图像传感器。使用这样的图像产生器提供以下优点，即能使用非常便宜并且可靠的传感器，其减少本发明此实施方式的总成本。
同样，图像处理器可以包含LCD显示器，用于显示图像的第一和第二部分。这将再次提供以下优点，即可使用便宜且可靠的组件，以便减少这样构造的系统的总成本。
在进一步的实施方式中，图像产生器可以被配置成用于变换数字表示形式的图像第一和第二部分，并且用于将图像的第一和第二部分的数字表示传送到图像处理器。这提供了以下优点：图像部分的数字形式被传送，其在发送期间可更稳固地应对破坏。另外，可以在图像产生器中执行模拟-数字换算，其反过来减轻图像处理器的负担，并且从而使图像处理器能更快地执行自己本来的任务。
此外，图像产生器还可以被配置成用于经由车辆的光串行总线将图像的第一和第二部分的数字表示传送至图像处理器。这种用于在图像产生器和图像处理器之间进行数据传送的装置有下列优点，即，它很轻、便宜并且具有高传输容量，其非常合乎在如车辆的成批产品中实现的需要。
在本发明的特定实施方式中，图像产生器是后视摄像机(backview camera)，用于提供车辆的后部视域(back view)。图像产生器的这种配置使得驾驶员能够比如及时识别高速接近的车辆。此外，这种后视摄像机作为图像产生器还可以在驾驶员想要在狭窄的停车位中泊车时帮助驾驶员。
除上述的设备之外，本发明还可以包含用于处理车辆周围环境的图像的方法，包含以下步骤：
-产生至少具有第一和第二部分的图像，第一和第二部分彼此不同并且图像的第一部分比图像的第二部分更早地被提供；以及
-处理图像的第一和第二部分，以便处理图像，其中图像处理器还被配置用于在所述图像的所述第二部分对于图像处理器仍不可用的同时处理所述图像的所述第一部分。
由这种方法实现的优点与可以由各个设备获得的优点相同。
本发明的主要应用范围是对车辆的周围环境成像。然而，很明显，本发明还可以应用在不同的图像处理技术领域中。
附图说明
根据以下通过参考附图对优选或者有益的实施方式进行的详细说明，本发明另外的特征和优点将变得更加容易理解。
图1示出了根据本发明的实施方式用于处理车辆周围的图像的设备的示意性框图。
图2示出由图像产生器生成的图像的实例，其中所述图像包括几个部分。
图3示出了根据本发明的实施方式，在不同的处理或者生成阶段中如何处理图像的不同部分的示意性方案。
图4示出一种由图像产生器生成的图像的示意图，所述图像具有重叠和不相重叠的部分并且其中可以根据生成的图像部分执行对象检测。
图5示出了根据本发明的一种实施方式用于处理车辆周围环境的图像的方法的流程图。
图6示出了根据常规的图像处理方法，如何在不同的处理或者生成阶段处理不同的图像的示意性方案。
具体实施方式
图1公开了一种示意图，在车辆10(举例来说是一部汽车)中，如何执行本发明的实施方式。设备12包括了至少一个图像产生器14a或14b。在图1中公开的本发明的实施方式具有两个图像产生器14，举例来说，后视摄像机14a和前视摄像机14b。然而，也可能仅仅使用一个图像产生器，举例来说仅仅使用后视摄像机14a。另外，在图1中公开的设备12包含图像处理器16以及显示器18，显示器18适于向车辆10的驾驶员20显示图像。设备12的元件，即后视摄像机14a、前视摄像机14b、图像处理器16和显示器18由总线22彼此连通，所述总线可以通过用于串行发送编码数据的光纤来实现。此外，车辆10的驾驶员20也可以拨动显示器的开关以便弄清楚在显示器18上显示的是由后视摄像机14a生成的图像还是由前视摄像机14b生成的图像。
设备12的功能可以描述成如下这样。当后视摄像机14a生成图像时，该图像没有整个地经由总线22传送至图像处理器16。相反地，生成的图像被分成此图像的水平片段。这种方法需要图像传感器的这样一种功能，即不整个捕获图像而是以分段的方式，举例来说以分行的方式来捕获图像。图2公开了后视摄像机14a的这种图片的一个实例。此图像高度为576像素而宽度为720像素。当捕获此图片时，后视摄像机14a可能已经将此图片分割成6个片段，各个片段的高度为96像素。关于这一点，必须要提到的是，图像的水平分片法仅仅是为了解释的目的，因此本发明不局限于图像的水平分片法。在第一(上面的)图像片段200的数据被完全地捕获之后，所述第一图像片段200的数据经由总线22发送至图像处理器16。然后当后视摄像机14a可能已经捕获到图像的第二片段202的数据时，图像处理器16可能已经开始处理第一图像片段200。在图像的第二片段202的数据被后视摄像机14a完全地捕获之后，所述第二片段202的数据然后也经由总线22传送至图像处理器16。图像处理器16可能已经完成了对图像的第一片段200的处理，因此图像的第一片段200可能已经经由总线22发送至显示器18。随后，当后视摄像机14a捕获图像的第三片段204的数据时，图像处理器16可能进一步地处理图像的第二片段202的数据。这种处理可以被重复直到所述图像被完全处理，即图像的所有片段已经分别由图像处理器16处理。
图3在类似于图6的图中示出创造性方法。与图6的图对比，可以清楚地从图3认识到，本发明的总计时延ttotal比常规方法的总计时延ttotal低得多。这是由于改善很大的并行处理结构，如图像1的第一片段200可能已在阶段2中被处理，同时还在阶段1生成图像1的第二片段202。因而，当使用高数目的图像片段时，创造性方法将起到很好的作用。根据创造性方法的总计时延ttotal可以根据公式ttotal＝(n-1)*ts+tp来计算，ts是用于捕获(分别地处理)图像片段的时间，tp是用于处理整体图像的时间。唯一需要次要注意的是，必须注意到，当前考虑的事项以以下假定为基准：用于捕获图像片段的时间几乎等于处理此图像片段的时间。然而，此假定并不是实现本发明的先决条件并且仅仅为了解释的目的而使用的。因而，能够看出，对时延的改进可以由因子(n-1)*ts来表示，因此希望在图像中具有很大数目的片段。不过存在的图像片段应该不超过六个至八个，否则用于辨认这些片段的信令开销将变得非常大，这反过来会减少处理速度。
分成片段200、202和204的分段可以在图4中看得更加清楚。所述片段可以被选择成，或者是导致它们不覆盖所述图像的共同区域，就是说它们如片段200、202和204那样没有重叠部分，或者是导致它们如片段400和402这样具有重叠部分。选择不相重叠的片段有下列好处，即所述图片可以更快地被捕获和处理，因为没有数据被处理两次。另一方面，当处理器可以使用在片段的边界区域处的对象轮廓来相互调整所述片段以便检测时，对于处理器处理图像数据而言更为容易，所述处理举例来说是从所述片段的图像数据提取对象信息。用这种方法，所述图像处理器可能更容易发觉延伸越过一个以上的片段的大对象。为了示范目的，在图4中示出比如电线杆404。在图像片段重叠的情形中，存在可用于调整片段位置以便电线杆404可能实际上完全被发觉而非仅仅被解释为一个片段之内对象的图像区域406。此外，所述图像没有必要被唯一地分割成不相重叠的片段或者重叠片段。相反地，本发明也可能根据进一步的实施方式来实现，其中使用了重叠和不相重叠的片段。特别是在所述图像的中间部分，使用重叠片段是有帮助的，因为中间部分一般是图片的最重要的部分，因此应该为这个部分提供高度的检测准确度，其可以利用重叠片段来实现。由于图像的其它部分通常不包含与图像的中间部分同样多的相关信息，因此通常无需使用重叠片段实现这些部分，所述重叠片段需要比使用不相重叠的片段更高的数据处理能力。
另外，即使在所述片段不重叠的情况下也能够检测到越过所述边界的更复杂的对象(如汽车408)。然而，更复杂的情况是：当图象处理器没有得到任何关于对象在片段边界是否结束以及在相对片段是否设置有新的不同对象这种信息时检测这种对象，因此所述片段边界不仅仅是虚拟假想的边界而且还是两个分离对象的物理边界。如果可以分辨出经过两个或更多片段的完整对象的轮廓，例如通过将检测到的轮廓与保存在存储器中的已知轮廓相相配，则仅仅能够执行目标检测。作为本发明实施方式的附加特征如图4所示，图像处理器16能够在所述片段中绘出像矩形、圆圈或者三角形这样的附加对象410，这些附加对象设置在被识别出对所述车辆的安全性很重要性的检测到对象周围。所述附加对象能够例如被画上不同的颜色以便引起车辆驾驶员的注意。在如图4所示实施方式中，检测到在车辆10前方的汽车408，因此例如与所述汽车408的距离能够由图像处理器来计算，作为另一个特征。对于这种处理，根据轮廓来检测汽车408的类型以及从所述存储器提供有关检测到的汽车408的实际尺寸的信息是有帮助的。随后，所述车辆10与在所述车辆前方的汽车408之间的距离能够根据分辨的汽车的类型的尺寸来计算。这提供了附加的优点：本发明实施方式的这种配置还可以例如用于在所述车辆10运行时作为距离报警器。同样，在此情形中，本发明的主要方面还能够在以下事实中被分辨：本发明具有极低时延，以致在可能发生险境以前能够足够早地为驾驶员提供警告。
图5示出当作为方法实施时本发明实施方式的流程图。这种方法包含作为第一步骤的步骤502，该步骤产生具有至少第一和第二部分的图像。这些部分可以是例如，不相重叠的片段200、202、204或者重叠片段400或者402。在随后方法步骤504中，执行了对图像的第一和第二部分的处理，使得所述图像可以以低时延显示或者可以根据所述图像和不同片段的数据来检测对象。产生步骤502或者处理步骤504可以如上述那样实现以便达到前面描述的优点。
概述本发明不得不提到：即使独立处理步骤工作地显著比实时的(处理花费＜＜1/f)快，当使用完整图画方法时，仍然无法将时延减少到小于1/f。根据本发明实施方式，本发明描述了如何通过对n个子图像(部分)的加工，以便仅仅通过实际处理的速度而非通过直到整体图像可用时所需的时间来限制，来减少延迟的处理。如果将所述图像分成n个子图像，则这导致时延减少到因数n。作为本发明的一个方面，完整视频处理流水线不对完整图片而是对图像的子集进行加工，例如所述图像被分成一组散点图，仅仅包含例如所述图像的几行。图像的划分取决于捕获系统：所述图像应该以这种方式来划分，以便散点图比整体图片更早地可用。在如上所述的实例中，捕获系统将从顶到底地捕获视频图像，因此，所述图像的第一行比下面的行开始可用的时间要早得多。
第一个散点图一生效，所述处理就可以开始，而无需等待图像的其余部分。即使第一阶段(例如捕获处理)还不完整，这也使视频流水线的第二阶段能够开始。

Claims (24)

1.用于处理车辆(10)周围环境的图像的设备(12)，包括下列特征：
图像产生器(14a，14b)，被配置用于产生图像，所述图像至少具有第一(200)和第二(202)部分，所述第一(200)和第二(202)部分彼此不同，并且所述图像的第一(200)部分比所述图像的第二(202)部分更早地被产生以供进一步处理；以及
图像处理器(16)，被配置来处理所述图像的第一(200)和第二(202)部分以便处理所述图像，其中所述图像处理器(16)还被配置用于在所述图像的所述第二(202)部分对所述图像处理器(16)还不可用的同时处理所述图像的所述第一(200)部分。
2.根据权利要求1所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于显示所述第一(200)和第二(202)部分，并且其中，所述图像处理器(16)还被配置用于在所述图像的第二(202)部分还未由所述图像产生器(14a，14b)提供给所述图像处理器(16)的同时显示所述图像的第一(200)部分。
3.根据权利要求1或2所述的设备(12)，其特征在于，所述图像产生器(14a，14b)被配置用于产生所述图像的水平片段，作为所述图像的第一(200)或者第二(202)部分。
4.根据权利要求3所述的设备(12)，其特征在于，所述图像产生器(14a，14b)产生所述图像的片段作为所述图像的第一(200)和第二(202)部分，其中，所述图像的第一(200)部分表示位于由所述图像的第二(202)部分表示的区域上方的图像中的图像区域。
5.根据权利要求4所述的设备(12)，其特征在于，所述第一(200)和第二(202)部分表示所述图像的邻接区域。
6.根据权利要求4所述的设备(12)，其特征在于，所述第一(400)和第二(402)部分覆盖所述图像的共同区域。
7.根据权利要求4或5所述的设备(12)，其特征在于，所述第一(200)和第二(202)部分不包括所述图像的任何共同区域。
8.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像的第一(200)和第二(202)部分具有基本上相等的大小。
9.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像产生器(14a，14b)被配置用于产生彼此不同的所述图像的n个部分，n是自然数，并且所述图像的n个部分是一个接一个地连续产生的，并且其中所述图像处理器(16)被配置用于在处理所述图像的第(n-1)个部分之后处理所述图像的所述第n个部分。
10.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像产生器(14a，14b)被配置用于产生的所述图像包括不超过八个部分。
11.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像处理器(16)被配置成从包含在所述图像的第一(200)或者第二(202)部分中的对象提取对象信息。
12.根据权利要求11所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于使用所述提取的对象信息，以便将另外的对象添加到所述图像的第一(200)或者第二(202)部分中。
13.根据权利要求12所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于在所述图像的第一(200)或者第二(202)部分中检测到的对象周围添加圆、三角形或者矩形作为另外的对象。
14.根据权利要求12或13所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于以与所述图像的第一(200)或者第二(202)部分中检测到对象不同的颜色来添加所述另外的对象。
15.根据权利要求11至14中任一项所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于提取包括在所述图像的第一(200)和第二(202)部分中的对象信息，其中，所述第一(200)和第二(202)部分是所述图像的邻接部分。
16.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像产生器(14a，14b)是通过以下方式与所述图像处理器(16)同步的：当所述图像的第一(200)部分由所述图像产生器(14a，14b)产生时，所述第一(200)部分由所述图像处理器(16)无延迟地进行处理。
17.根据权利要求16所述的设备(12)，其特征在于，所述图像产生器(14a，14b)进一步通过以下方式与所述图像处理器(16)同步：当所述图像的第二(202)部分由所述图像产生器(14a，14b)提供时，所述第二(202)部分由所述图像处理器(16)无延迟地进行处理。
18.根据权利要求15或17所述的设备(12)，其特征在于，所述图像处理器(16)被配置用于处理所述图像的第一(200)部分，使得在所述图像产生器(14a，14b)已经提供了所述图像的第一(200)部分之后再经过20至40ms的时延后，提供所述图像的第一(200)部分的处理后的形式。
19.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像产生器(14a，14b)是CMOS图像传感器。
20.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像处理器(16)包括用于显示所述图像的第一(200)和第二(202)部分的LCD显示器。
21.根据前述权利要求之一所述的设备(12)，其特征在于，所述图像产生器(14a，14b)被配置用于将所述图像的第一(200)和第二(202)部分变换为其数字表示，以及用于将所述图像的第一(200)和第二(202)部分的数字表示传送至所述图像处理器(16)。
22.根据权利要求20所述的设备(22)，其特征在于，图像产生器(14a，14b)被配置用于经由所述车辆(10)的光串行总线将所述图像的第一(200)和第二(202)部分的数字表示传送至所述图像处理器(16)。
23.根据前述权利要求之一所述的设备(12)，其特征在于，图像产生器(14a)是后视摄像机，用于提供所述车辆(10)的后部视域。
24.用于处理车辆(10)周围环境的图像的方法，包含下列步骤：
产生(502)至少具有第一(200)和第二(202)部分的图像，所述第一(200)和第二(202)部分彼此不同并且所述图像的第一(200)部分比所述图像的第二(202)部分更早地被提供；以及
处理(504)所述图像的第一(200)和第二(202)部分以便处理所述图像，其中所述图像处理器还被配置用于在所述图像的所述第二(202)部分对所述图像处理器还不可用的同时处理所述图像的所述第一(200)部分。
CN2007101946909A 2006-12-04 2007-12-04 用于处理车辆周围环境的图像的设备和方法 Active CN101198031B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06025032.1 2006-12-04
EP06025032.1A EP1931147B1 (en) 2006-12-04 2006-12-04 Apparatus and method for processing an image of a surrounding of a vehicle

Publications (2)

Publication Number Publication Date
CN101198031A true CN101198031A (zh) 2008-06-11
CN101198031B CN101198031B (zh) 2012-11-28

Family

ID=38138061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101946909A Active CN101198031B (zh) 2006-12-04 2007-12-04 用于处理车辆周围环境的图像的设备和方法

Country Status (6)

Country Link
US (1) US8160297B2 (zh)
EP (1) EP1931147B1 (zh)
JP (1) JP5600236B2 (zh)
KR (1) KR20080051066A (zh)
CN (1) CN101198031B (zh)
CA (1) CA2612395C (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428494A (zh) * 2009-05-19 2012-04-25 奥托立夫开发公司 汽车视觉系统和方法
CN102271976B (zh) * 2009-01-02 2014-11-05 罗伯特·博世有限公司 用于检测车辆周围环境的摄像机装置和方法
CN108112271A (zh) * 2016-01-29 2018-06-01 谷歌有限责任公司 检测图像中的运动
CN108205829A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 一种行车记录仪的图像处理方法、装置及电子设备
CN108297864A (zh) * 2018-01-25 2018-07-20 广州大学 驾驶员与车辆主动安全技术联动的控制方法及控制系统
CN112706758A (zh) * 2019-10-11 2021-04-27 丰田自动车株式会社 车辆驻车辅助装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8380009B2 (en) * 2010-03-11 2013-02-19 Microsoft Corporation Resolution adjustment of an image that includes text undergoing an OCR process
US20120050520A1 (en) * 2010-08-24 2012-03-01 Raytheon Company Method and Apparatus for Anti-Biofouling of Optics in Liquid Environments
US8445864B2 (en) 2011-08-26 2013-05-21 Raytheon Company Method and apparatus for anti-biofouling of a protected surface in liquid environments
US9776219B2 (en) 2013-01-17 2017-10-03 Raytheon Company Method and apparatus for removing biofouling from a protected surface in a liquid environment
KR101897800B1 (ko) * 2018-06-14 2018-09-13 (주)벨류데이터 카메라를 이용하여 차량의 속도 측정이 가능한 과속 안내 장치 및 그 동작 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4896210A (en) * 1987-11-16 1990-01-23 Brokenshire Daniel A Stereoscopic graphics display terminal with image data processing
US5087969A (en) * 1989-07-20 1992-02-11 Fujitsu Limited Unmanned vehicle control system with guide line detection
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH07147636A (ja) * 1993-11-22 1995-06-06 Sony Corp 符号化装置及び復号化装置
US5615046A (en) * 1995-01-23 1997-03-25 Cyber Scientific Inc. Stereoscopic viewing system
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
US7221777B2 (en) * 2002-07-02 2007-05-22 Honda Giken Kogyo Kabushiki Kaisha Image analysis device
EP1637837A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Stereo camera system and stereo optical module
JP4655473B2 (ja) * 2003-12-02 2011-03-23 日産自動車株式会社 車両周囲画像変換装置
JP3814609B2 (ja) * 2003-12-12 2006-08-30 キヤノン株式会社 撮像装置、及び撮像装置の駆動方法
JP3952305B2 (ja) 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP4586416B2 (ja) * 2004-05-20 2010-11-24 日産自動車株式会社 運転支援装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271976B (zh) * 2009-01-02 2014-11-05 罗伯特·博世有限公司 用于检测车辆周围环境的摄像机装置和方法
US8913132B2 (en) 2009-01-02 2014-12-16 Robert Bosch Gmbh Camera system and method for detecting the surroundings of a vehicle
CN102428494A (zh) * 2009-05-19 2012-04-25 奥托立夫开发公司 汽车视觉系统和方法
CN108112271A (zh) * 2016-01-29 2018-06-01 谷歌有限责任公司 检测图像中的运动
CN108112271B (zh) * 2016-01-29 2022-06-24 谷歌有限责任公司 用于检测图像中的运动的方法和计算机可读装置
US11625840B2 (en) 2016-01-29 2023-04-11 Google Llc Detecting motion in images
CN108205829A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 一种行车记录仪的图像处理方法、装置及电子设备
CN108297864A (zh) * 2018-01-25 2018-07-20 广州大学 驾驶员与车辆主动安全技术联动的控制方法及控制系统
CN112706758A (zh) * 2019-10-11 2021-04-27 丰田自动车株式会社 车辆驻车辅助装置

Also Published As

Publication number Publication date
US8160297B2 (en) 2012-04-17
EP1931147B1 (en) 2019-07-10
KR20080051066A (ko) 2008-06-10
US20080211643A1 (en) 2008-09-04
CA2612395C (en) 2014-11-04
JP5600236B2 (ja) 2014-10-01
JP2008140395A (ja) 2008-06-19
EP1931147A1 (en) 2008-06-11
CA2612395A1 (en) 2008-06-04
CN101198031B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN101198031B (zh) 用于处理车辆周围环境的图像的设备和方法
CN109941286A (zh) 用于评估车辆行驶表面的方法和设备
EP1077161A3 (en) Multi-functional on-vehicle camera system and image display method for the same
CN105857180B (zh) 雾霾天车辆驾驶辅助系统及其方法
WO2011108218A1 (ja) 車両の周辺監視装置
JP2011175468A (ja) 区画線検出装置
WO2012141053A1 (ja) 画像処理装置
EP1975673A3 (en) Display for an automotive night vision system
CN102855774A (zh) 车辆周围监视装置
CN104875681A (zh) 一种基于应用场景进行车载摄像头动态控制的方法
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
CN112896159A (zh) 行车安全预警方法及系统
US11159736B2 (en) Camera device and method for capturing a region surrounding a vehicle in a surroundings-adapted manner
CN107077715B (zh) 车辆周边图像显示装置、车辆周边图像显示方法
CN205273305U (zh) 鱼眼摄像头倒车并线辅助系统
JPH06215294A (ja) 交差点情報伝達装置
JP2009126493A (ja) 障害物検出装置
JP4615536B2 (ja) 表示装置
JP2012035723A (ja) 駐車枠の横線検出方法及び駐車支援装置
CN108608944A (zh) 一种智能夜视控制方法和系统
CN114582146A (zh) 红绿灯剩余时长智能提醒方法、系统、存储介质及汽车
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
KR101543119B1 (ko) 합성된 주행 영상 제공방법
JP5479438B2 (ja) 車両周辺監視装置
CN114979417A (zh) 车内驾驶干扰物的处理方法、装置、车机系统及车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant