CN104285238A - 车载摄像头的图像处理方法及相应的处理装置 - Google Patents

Abstract

本发明涉及一种针对安装在车辆4上的车载摄像头2的图像处理方法，其目的在于向驾驶员显示平面俯瞰视图以便于辅助操作。随着操作车辆的移动，通过由车载摄像头拍摄的不同图像来产生对应于俯瞰视图的累加虚拟图像。累加虚拟图像被存储在相对车辆四周固定的参考系中。沿对应于车辆位置的轮廓从累加虚拟图像提取以车辆为中心的俯瞰图像。本发明还涉及能够实施所述方法的装置6。这些措施能够在处理图像时限制计算的操作次数，且还能使图像的质量损失最小化。

Description

车载摄像头的图像处理方法及相应的处理装置

发明领域

本发明涉及一种用于车辆驾驶的视觉辅助系统，其使用屏幕来显示如车辆行驶环境的俯瞰视图的视图。更具体地，本发明涉及一种用于处理来自车载摄像头的图像的方法。更具体地，本发明涉及一种用于处理来自车载摄像头的图像的方法，其用于产生对应于俯瞰视图(例如，以车辆为中心的俯瞰视图)的虚拟图像。本发明还涉及一种能够实施该方法的装置以及包括这种装置的车辆。

背景技术

在驾驶员进行操作时，其视野由于车辆死角而被减小，这防碍他观察其周围环境。例如，在他执行倒车操作时，他看不到在他的后保险杠正后方的物体。为了辅助驾驶员，已知的方法是在死角位置处安放至少一个摄像头并在安放于驾驶员视野内的屏幕上显示图像。显示的图像可对应于由摄像头拍摄的实际图像，或对应于加工过的呈现车辆环境的平面视图或俯瞰视图的虚拟图像。该平面视图为确定邻近障碍物的位置提供了较直观的表示。

为了在表示驾驶员环境时进一步改善辅助驾驶和帮助驾驶员，使显示区域延伸超出摄像头的视野是可能的。为此，使用之前存储的虚拟图像的历史记录，从中提取该摄像头视野边界的邻近区域。该虚拟环境的构成需要较大的内存以存储所有必要信息。而且，信息的实时处理生成大量的计算，这独占了车载电脑的容量。

先前技术描述了能够在内存中保留之前存储的环境的图像的辅助泊车的方法。

文件US2008/0129539描述了车辆环境的俯瞰图像的生成方法，即自车辆上方的视点垂直看过去的图像。该方法基于由摄像头拍摄的然后被转换成俯瞰视图的图像。图像被设置有用作它们在内存中的存储的判据的拍摄日期。对于具有足够久远日期的图像，图像的存储是有时效的。保存期限取决于它们的资历。提供给车辆驾驶员的俯瞰图像基于瞬时图像和存储的图像，瞬时图像和存储的图像的相应部分以较低能见度被显示。该方法能够生成车辆环境并减少视图摄取张数和用于存储它们所需的内存。然而，在持久操作的情况下，该方法趋于删除可能有用的图像。一种解决方法是增加存储期限，但这会增大所需内存。

文件FR2945491提供一种能够在屏幕上显示比车辆装配的摄像头的视野更加延伸的区域的辅助驾驶的方法和设备。向驾驶员提供的图像或视图表示出地面的虚拟正交投影。其包括由摄像头拍摄的实际图像11R投影而生成的虚拟图像12V。虚拟图像12V被连续生成并用于实现累加虚拟图像13V。如果虚拟图像12V与被整合到累加虚拟图像13V的先前和上一个虚拟图像12V充分不同，则不将虚拟图像12V整合到累加虚拟图像13V。基于兴趣点估算该差异，并计算兴趣点的距离。一旦距离超出一定阈值，存储超出先前虚拟图像12V的虚拟图像12V的区域。再次使用兴趣点以能够将虚拟图像12V叠加在累加虚拟图像13V上。接下来，向驾驶员显示的虚拟图像12V从摄像头是可见的，并删除摄像头不再可见的一部分累加虚拟图像13V。该方法呈现的优点在于减少了存储环境的所需内存。兴趣点的使用减少了在虚拟图像之间的对比计算。然而，车辆的长途行驶要求大量内存，以保留累加虚拟图像13V的集合，除非通过减少像素数量来降低质量。另外的缺点是在车辆移动时显现的。累加虚拟图像13V应该跟随车辆且根据该移动被定向。或者该定向要求独占了车载电脑的计算容量的计算。而且，尽管通常在多个相邻像素中插入新像素，但是这些计算降低了图像的质量。车辆的较小程度的旋转和平移也要求一系列的计算。自某一阶段起，图像模糊且无法用于生成驾驶员可使用的一部分图像。随着时间的推移，图像的质量被劣化。

发明内容

本发明的目的在于提供一种处理来自车载摄像头的图像的方法，其能够解决至少一种前面提及的问题。更具体地，本发明的目的在于提供一种处理来自车载摄像头的图像的方法，其用于实时辅助车辆驾驶并且能够减少生成至少一个虚拟图像的必要计算。本发明的目的还在于提供一种图像处理方法，其能够在车辆移动时保留虚拟图像的质量。本发明的目的还在于减小存储虚拟图像的所需内存。

本发明的目的在于提供一种在车辆移动时处理来自车载摄像头的图像的方法，所述方法包括如下迭代步骤：(a)摄像头拍摄实际图像；(b)用实际图像创建对应于俯瞰视图的局部虚拟图像；(c)通过将局部虚拟图像与前面迭代的累加虚拟图像进行匹配来构成累加虚拟图像；(d)用累加虚拟图像构成显示图像；其特征之处在于，基于所述车辆的至少一部分移动，按照相对车辆环境固定的参考系，累加虚拟图像保留其定向；以及通过提取累加虚拟图像的一部分来构成显示图像，根据车辆相对其环境的位置来选定所述部分。

避免累加虚拟图像的旋转是有利的，这是因为其避免了图像质量的损失，尤其是在多次旋转操作之后。事实上，旋转必然涉及对应非整数数量像素的移动，这易于在图像处产生模糊。而且，该类型的操作特别耗费机器资源。

根据本发明的另一有利实施方式，在图像处理方法的第一次迭代时，累加虚拟图像包括第一局部虚拟图像。

车辆的位置可来自如GPS系统的绝对定位系统。它也可以是相对的，例如在车辆移动时，通过方向盘偏转角度和行进距离来知晓。

根据本发明的有利实施方式，基于车辆给出的移动，在没有移动被所述累加虚拟图像覆盖的区域的情况下，完成累加虚拟图像的该部分的提取，优选地，该部分的轮廓对应于以车辆为中心的俯瞰视图。车辆给出的位移不是零值，优选地大于或等于50mm，更优选地大于或等于100mm，再更优选地大于或等于150mm。

根据本发明的另一有利的实施方式，累加虚拟图像的尺寸至少在一个方向上大于显示的图像，优选地在横向于车辆移动的平均方向上。

根据本发明的又一有利实施方式，在车辆的移动超过给定值时，由累加虚拟图像覆盖的区域被移动，优选地仅平移移动，更优选地沿整数数量的图像像素平移。该给定值是非零值，优选地大于或等于50mm，更优选地大于或等于100mm，再更优选地大于或等于150mm。当车辆的移动超过给定值时，由累加虚拟图像覆盖的区域将被旋转地和平移(如有必要)移动。该解决方法呈现的优点在于：在提取时使图像残余最小化，并因此使要存储的累加图像的尺寸最小化。

根据本发明的又一有利实施方式，步骤(c)将局部虚拟图像的一部分的轮廓加入前面迭代的累加虚拟图像，并且步骤(d)包括累加虚拟图像的提取和局部虚拟图像的变形。显示图像还由对应于累加图像的提取的第一部分和对应于局部虚拟图像的第二部分构成。该构成显示图像的方法通过利用实时来自摄像头的图像而使图像的实施最大化，同时通过利用最简单的存储累加图像的方法而使所需的物质资源最小化。

根据本发明的又一有利实施方式，步骤(d)包括累加虚拟图像的提取和局部虚拟图像的部分的变形，用于包含在给定地区内的车辆位置的集合，在车辆驶出所述周边地区时，不移动由累加虚拟图像覆盖的区域，所述移动优选地为平移整数数量的图像像素。在本方法迭代时，在步骤(c)中与累加虚拟图像相对应的局部虚拟图像因此不被系统地整合和存储在累加虚拟图像中。

根据本发明的又一有利实施方式，基于车辆的全部移动，按照相对车辆环境固定的参考系，累加虚拟图像的定向是不变的。

根据本发明的又一有利实施方式，按照相对车辆环境固定的参考系，步骤(c)包括局部虚拟图像的平移和/或旋转，以便于结合到前面迭代的累加虚拟图像。

本发明的目的还在于一种用于处理来自车载摄像头的图像的装置，特征在于其被配置用于实施根据本发明的方法。

所述装置可包括：

-图像处理方法的激活处理装置，

-图像获取模块，

-在车辆移动过程中的图像移动计算装置，

-人机界面(IHM)的形成装置，

-人机界面的图像显示装置。

本发明的目的还在于一种车辆，所述车辆包括车载摄像头、用于处理来自摄像头的图像的装置和来自处理装置的图像的显示器，特征在于所述装置符合本发明。

本发明能够提供一种处理来自车载摄像头的图像的方法，其用于在驾驶员以较低可视度执行操作时，对其进行帮助，该方法能够改善显示的图像质量和减小用于处理的所需内存。本发明能够只存储累加虚拟图像的有用区域，以减小用于对其进行存储的内存的需求。累加虚拟图像被裁剪而无变形，以跟随车辆的移动。通过多个阶段来执行累加虚拟图像的裁剪，以减小独占车载电脑的计算容量的操作次数。

本发明的优点还在于，其适配于像素和像素大小。可根据整数数量的像素的平移来执行累加虚拟图像的裁剪，以避免在每次移动时要重新计算的各个像素，这能够保留将显示给驾驶员的部分图像的锐度。

附图说明

参照附图，并借由以下以举例方式给出的详细描述，本发明的其它特征和优点将被更好地理解，在附图中：

-图1为根据本发明的可视辅助驾驶系统的示意性表示；

-图2为通过根据本发明的可视辅助系统来处理泊车位图像的操作的示意性表示；

-图3为在实际参考系中的车辆坐标的示意性表示；

-图4为在虚拟参考系中定义的累加虚拟图像的示意性表示；

-图5为在实际参考系中定义且对应于图4的累加虚拟图像的区域的示意性表示；

-图6为图4和5的累加虚拟图像的示意性表示，并且在内部，覆盖车辆位置(在视图中心)的周边被包括在累加虚拟图像的范围内；

-图7为累加虚拟图像的平移过程的示意性表示；

-图8为累加虚拟图像的移动的示意性表示；

-图9为根据本发明第一实施方式的方法的功能框图的示意性表示；

-图10为根据本发明第二实施方式的方法的功能框图的示意性表示。

具体实施方式

图1表示出视觉辅助驾驶系统，尽管死角的呈现减小了驾驶员的可见度，但是视觉辅助驾驶系统使得能够在狭窄环境中准确地操作车辆4。视觉辅助系统装配有至少一个摄像头2。有利地，摄像头2被布置在车辆的后部和/或前部。优选地，视觉辅助系统装配有两个摄像头2。优选地，摄像头2被布置在车辆的前部和后部。根据本发明的有利实施方式，视觉辅助系统设置有被安置在车辆4的四个侧边的四个摄像头。

根据本发明的有利实施方式，摄像头2中的一个被安装在车辆4的后部，例如在标志的位置处，在车辆4的后备箱挡板和车顶之间的连结处。在车辆呈现出完全在车辆高度上延伸的竖直挡板时，可安装摄像头2，以使其视野与竖直挡板的表面完全符合。该安装允许得到位于后保险杠正下方的地面的直接可视性。图像的存储使得能够在内存中保留车辆行驶过的地面，和例如通报希望避免的坑洞或可能的障碍物。

在车辆具有倾斜后视镜和/或纵向延伸到超出镜子的后备箱挡板的情况下，这些车身组件阻挡了摄像头2的视野。该摄像头2在标志位置处的安装不能够监视位于后保险杠正下方的地面。由于图像的历史记录，本发明将能够重新生成缺少的区域和车辆下方的区域。

可视辅助系统包括图像处理装置6，还被称为通过摄像头图像的历史记录帮助操作的装置6。图像处理装置6能够实施图像处理方法。通过激活界面20来激活图像处理装置6，激活界面20可根据如下参数启动图像处理方法：

-阈值速度，和/或

-车辆倒退的启动，和/或

-呈现在驾驶员环境中的按钮的启动。

图像处理装置6包括：

-一个/多个摄像头的数据获取模块10，

-移动计算模块16，

-图像并置模块12，

-人机界面(IHM)形成模块18，

-IHM显示模块14。

这些模块可被安装在车载电脑中。

一个/多个摄像头2的数据获取模块10能够拍摄实际图像继而进行处理。其通过实际图像生成局部虚拟图像。根据摄像头的执行高度和其可视角度执行该生成。通过本领域技术人员已知的计算，在摄像头的执行位置和其拍摄像素的基础上得到虚拟俯瞰图像。

车辆移动计算模块16借助于数据获取模块10的信息来执行处理。其对比连续的局部虚拟图像。作为补充，移动计算模块可将其结果与连接于车轮或发动机组部件的传感器的数据进行相交。

图像并置模块12根据来自数据获取模块10和移动计算模块16的数据来创建累加虚拟图像。累加虚拟图像包括虚拟俯瞰图像的集合。使用它们以将驾驶员的可视区域延展到由一个或多个实时摄像头2提供的区域之外。

图像并置模块12还能够构成表示以车辆为中心的俯瞰视图的显示图像。显示图像包括车辆的当前位置和其部分环境。为了构成显示图像，图像并置模块12识别其需要的各个像素。第一像素集合直接来自对应于摄像头2实时拍摄的实际图像的局部虚拟图像。因该摄像头2不能拍摄车辆的下方和车辆另一侧的环境，故图像并置模块12使用来自累加虚拟图像的第二像素集合。该第二集合被记录在沿车辆定位和定向的轮廓中。为此，轮廓经历平移和/或旋转。在其位置上，累加虚拟图像的像素被变形以能够在空间上对应于显示图像的像素。

显示图像可包括两个部分。向驾驶员显示的第一部分包括以车辆为中心的俯瞰视图，而第二部分包括由车辆的一个摄像头拍摄的实际图像30。摄像头可对应于实时覆盖车辆移动的摄像头。

IHM形成模块18构成虚拟显示图像。其处理显示图像并在图像中加入车辆示意图(如有需要)，或仅表示车轮。IHM形成模块18还可加入沿车辆方向盘方向的定向箭头。该箭头能够呈现车辆4的移动方向。

IHM显示模块14转录IHM形成模块18的数据，以绘制与图形界面相兼容的图像。其将显示图像的数码像素适配于图形界面的物理像素。

辅助系统还包括的人机界面(IHM)带有：

-图像显示器22或复原屏幕22或图形界面22，

-控制界面24或触摸屏。

图像显示器22向驾驶员显示来自IHM显示模块14的显示图像。图像显示器22呈现的环境包括摄像头2的可视部分和摄像头2不可视的以车辆为中心的俯瞰视图部分。

控制界面24或触摸屏给出控制IHM形成模块18的可能性，以调节例如希望得到的图像尺寸。

图2为通过辅助驾驶系统的摄像头2拍摄的地面段的复原示意图。地面段为泊车区，其上通过漆条带44实现了多个划定的泊车位28。地面被视为大致平面的表面。

连接于车辆的摄像头2使车辆4的一段环境可见并复原了对应其安装角度的实际图像30。在该实际图像30上，观察到漆条带44的排列被改变，它们不再如现实中平行地显现。该变形关联于摄像头2的定向，摄像头2不与地面垂直。漆条带44被引向没影点。连续拍摄或根据给定速率拍摄实际图像30。

辅助视觉系统能够根据实际图像30生成局部虚拟图像32。该局部虚拟图像32对应于一部分实际图像30的人工正交投影，部分实际图像30由定位于相关泊车位28正上方的虚拟俯瞰摄像头26拍摄。局部虚拟图像32能够重新创建环境的平面视图或俯瞰视图。优选地，该俯瞰视图为实际地面的位似，且不改变实际物体的角度。在局部虚拟图像32上，观察到漆条带44重新变得如其在现实中一样的平行。这实施了对驾驶员辅助泊车，以使其在操作时不偏移环境。

由于俯瞰摄像头26的复原，局部虚拟图像32包括对应于摄像头2的范围之外的区域的盲区38。孤立地，局部虚拟图像不能再人为地重新创建缺乏源数据的范围之外的区域。

在视觉辅助系统的激活时刻，累加虚拟图像只包括在该时刻计算的局部虚拟图像32。随着车辆4的移动，局部虚拟图像32被拍摄、转换然后重新定向，以能够被并置，进而通过局部虚拟图像32的并置来形成累加虚拟图像。累加虚拟图像形成驾驶员读取的图卡，以估算障碍物的距离。累加虚拟图像继续迭代地放大，直到达到特定阈值。通过连结局部虚拟图像32来执行对其的并置，它们的相对再定位例如根据使用兴趣点的方法来执行，兴趣点根据用于编码的原色或亮度来呈现局部极值。还可通过图像稳定方法实施虚拟图像的并置。这些方法由本领域技术人员公知。

为了逐渐构成累加虚拟图像，虚拟图像的处理方法在每一阶段结合局部虚拟图像32的一部分。该部分42为虚拟兴趣区域42，其对应于实际兴趣区域40。实际兴趣区域40对应于靠近车辆4的横向带条。有利地，该带条位于对应于已被连结的最后一幅局部虚拟图像32的边缘的距离处。

带条可为长方形的。变形之后，实际兴趣区域的长方形形状变为梯形。相反地，从使长方形的虚拟兴趣区域42成形来看，可以将梯形形状给予实际兴趣区域40。如果车辆4在右侧线上移动，可连结虚拟兴趣区域42，尽管这些侧被视为与累加虚拟图像平行。反之，如果车辆开始转弯，则必须旋转和裁剪虚拟兴趣区域42。

本发明的优点在于，其选择通过较大尺寸的多边形完成累加虚拟图像，以限定重叠的操作次数，在识别兴趣点和其相交时，重叠操作要求较大的计算容量。虚拟兴趣区域42的平均长度大于0.10m，优选地大于0.30m，更优选地，大于1.00m。虚拟兴趣区域42的平均长度可为车辆长度的数量级。沿车辆的纵向测量虚拟兴趣区域42的平均长度。

在这点上实施折衷，这是因为虚拟兴趣区域42越长，由于远处的像素表示较大面积，所拍摄的虚拟兴趣区域42越不精确。因此，虚拟兴趣区域42的平均长度小于10.00m，优选地小于8.00m，更优选地小于6.00m。用像素带加工的优点在于，在每个添加阶段控制处理的数据量，由此避免使车载电脑的计算容量饱和。

减小虚拟兴趣区域42的平均长度的行为能够得到亮度、对比度和色彩上的最佳均匀性。而且，累加虚拟图像保持一致的外观且不呈现可视带条。同样将改善累加虚拟图像的感知质量。

图3示意性示出了车辆4在其环境中的空间位置。该位置以激活辅助系统时创建的实际参考系或实际标记为参考。实际参考系相对车辆环境是不变的。实际参考系包括对应于参考点的原点，例如在方法的激活时刻的车辆4的后轮轴的中心位置处。实际参考系点还包括两条相交轴线。这些轴线为横坐标轴X和纵坐标轴Y。横坐标轴X对应于在辅助驾驶系统的激活时刻的车辆的纵向轴线。优选地，轴线是相垂直的。在该参考系中定义的正旋转方向为逆时针方向。该旋转方向能够定义相对横坐标轴X的车辆瞬时定向角度β。

在实际参考系中，车辆4的坐标具有横坐标X_v和纵坐标Y_v，其角度为β_v。在激活时刻，所有这些参数被固定为零。在车辆4的移动期间连续地重复计算其位置。

车辆4拥有其自己的移动参考系，其能够定义和定位相对汽车底盘的实际图像数据。该移动参考系用作用于根据实际图像30来执行生成局部虚拟图像的计算的基础。

图4表示包括沿行和列的网格排列的像素35的累加虚拟图像34。累加虚拟图像34包括H₁行像素35和W₁列像素35。累加虚拟图像34包括用于构成在实际环境中的车辆位置的集合的显示图像的像素35。累加虚拟图像34的尺寸受限于希望分配给它的存储器的内存。像素35越细，用于存储相同图像需要的内存越大。像素35越粗，对于相同的存储空间来说，可以覆盖越大的图像，但图像细度越低。

在辅助视觉系统的激活时刻，定义虚拟参考系或虚拟标记。虚拟参考系可能受到第一局部虚拟图像或累加虚拟图像的影响。虚拟参考系相对于车辆环境是不动和固定的。其相对累加虚拟图像同样是固定的。因此，虚拟参考系在实际参考系中保持固定，这能够简化关联于参考系变化和用于构成累加虚拟图像34的局部虚拟图像32交叠的不同计算。

虚拟参考系包括两条相交轴线。预设为横坐标轴U和纵坐标轴V。横坐标轴U和纵坐标轴V相互垂直。根据本发明的有利实施方式，横坐标轴U平行于横坐标轴X且定向于相同方向。纵坐标轴V平行于纵坐标轴Y。这些特征还能够简化关联于用于构成累加虚拟图像34的局部虚拟图像32的交叠的不同计算。

根据本发明的可选方式，虚拟参考系相对实际参考系是移动的。该虚拟参考系跟随车辆的移动。然而，在车辆移动过程中，无论车辆在实际参考系中的角度如何，横坐标轴U和纵坐标轴V保持它们的定向。在虚拟参考系移动时，只执行整数数量像素的平移。

在虚拟参考系中，车辆4的坐标具有横坐标U_v和纵坐标V_v。在图像处理方法的激活时刻，初始化所有这些参数。横坐标初始值为U＝W₁/2，且纵坐标初始值为V＝H₁/2。该特征使得为累加虚拟图像的像素分配正值，以简化其在一些配置中的处理。在虚拟参考系中连续重复计算车辆的位置。

关联于车辆的移动参考系、实际参考系和虚拟参考系具有可以不相同的原点、定向和标度。改变标记或改变参考系的操作使得能够从一个参考系转向另一个。操作顾及到车辆的不同起点和位置的改变。改变参考系的相应数学公式由本领域技术人员公知且不再详细描述。改变参考系的操作用于确定虚拟轮廓，虚拟轮廓围绕从需要构成显示图像的累加虚拟图像提取的像素。事实上，根据车辆参考系来表达显示图像和局部虚拟图像，累加虚拟图像取决于虚拟参考系。视觉辅助系统最初依据局部虚拟图像的像素，以扣除用于生成显示图像的缺少的像素。这些缺少的像素表示了车辆参考系中表现的缺少的形状。通过由移动参考系变向虚拟参考系的参考系变化，对应于缺少的形状的累加虚拟图像的像素被识别。由表达于虚拟参考系上的虚拟轮廓界定这些像素。接下来，使用与前述相反的参考系改变能够从虚拟参考系变换到移动参考系。其能够变换在移动参考系中的虚拟轮廓的像素。关联于从移动参考系向虚拟参考系的参考系改变使用了中间参考系改变，中间参考系改变关联于实际参考系。事实上，实际参考系能够根据车辆的移动使移动参考系与虚拟参考系发生联系。

本发明的特征为，在车辆4的移动过程中，虚拟参考系保持固定且累加虚拟图像的像素保持不变。车辆在虚拟参考系上移动且不会朝反方向移动。将可理解的是，无论车辆的位置如何，该特征能够减少更新累加虚拟图像34的计算。这些计算要求繁琐的处理，以在每次移动时确定每个新像素。本发明的第二优点在于，保留了累加虚拟图像34的质量和精细度。事实上，减少更新计算的行为避免了根据多个先前像素计算新像素的要求。如果新像素不准确地对应于先前像素，重新创建的新像素包括基础像素的加权平均。图片的这种情况是最常见的，像素不断经历变形，变形损坏了原始像素的初始外观并减小了其精确度。由于执行插入图像，累加虚拟图像34变得模糊以至于其像素相靠近。

以长方形表示累加虚拟图像34。其可选地具有由像素界定的圆形或多边形形状。

图5表示对应于累加虚拟图像34的覆盖区域46。这两个实体就位置来说是相关联的。覆盖区域46被定义在实际参考系中。它对应于实际表面。覆盖区域46具有相对实际参考系定义的长度W米和宽度H米。优选地，长度W和宽度H大于车辆的相应尺寸。

应指明，根据变形T₁，在累加虚拟图像34和覆盖区域46之间存在相关性：

H＝H₁*T₁

W＝W₁*T₁

T₁对应于累加虚拟图像34的标度。

尺寸W和H能够确定希望覆盖的区域。它们关联于数据H₁和W₁，且关联用于存储像素的分配内存。参数T₁因此能够在分配的内存大小和累加虚拟图像34的表示精细度之间作出折衷。以举例的方式，参数T₁＝0.02为适用于辅助操作的应用的值，该辅助操作以慢速显现车辆4周围的至少2.00m的邻近环境。该参数还与在辅助驾驶系统中采用的像素35的当前大小相一致。

图6表示出覆盖区域46，在覆盖区域46中表示出地区48。具体地说，地区48对应于实际表面，在实际表面中，视觉辅助系统能够提供自车辆4的边缘到摄像头2的范围边界的地面表示。该提取取决于车辆的当前位置和已经被连结在累加虚拟图像中的局部虚拟图像。

如果车辆4在周边48之外，其不再被累加虚拟图像34覆盖，且根据本发明的对适当驾驶的辅助不能被提供给驾驶员。应该适配累加虚拟图像34。

图7表示出力求将车辆4纳入地区48中的覆盖区域46的平移。根据图6，沿横坐标轴X的地区48的平移使得车辆能够返回周边地区48。因此执行沿该轴线的平移。覆盖区域和累加虚拟图像被关联，还沿累加虚拟图像被关联的横坐标轴U移动累加虚拟图像。

覆盖区域46的平移距离优选地大于地区48相距车辆4的距离。如图6所示，平移距离对应于覆盖区域46的边界和地区48的边界之间的间隔。带条的平移距离为对应于拐角和距车辆的后轮轴中心最远处的显示图像之间的虚拟距离的最小距离。平移距离能够再次覆盖前带条54。

注意到平移距离对应于前带条的宽度54。

根据本发明的可选方式，覆盖区域46的平移距离可为固定值或根据车辆4的速度选定。例如，车辆速度越高，覆盖区域46的移动距离越大。尽管本发明的目的在于减小关联于平移的计算频率，但是在速度提高的情况下选择较大的平移距离是有利的。这可通过车辆以较高的速度更快速经过前带条54的事实来进行解释。其速度还是其整个穿越前带条54的标志。

根据本发明的有利实施方式，累加虚拟图像包括整数个竖直列，竖直列的宽度等于前带条54的宽度。本发明的该方面能够将累加虚拟图像裁切成整数个竖直列，这有利于累加虚拟图像的管理，这是因为在每次移动时，图像处理方法只需要管理预先定义的列。

根据本发明的另一有利实施方式，累加虚拟图像包括整数个水平列，水平列的厚度对应于覆盖区域46的边界和地区48的边界之间的空间。

水平列和竖直列可具有相同厚度。

图8表示能够包含根据新位置的车辆的累加虚拟图像34的裁剪。

本发明的优点在于，在裁剪过程中，累加虚拟图像34被平移整数个像素。即使实际需要累加虚拟图像的移动停止在两个像素之间，迫使将该像素添加在累加虚拟图像中。将更好地理解的是，达到整数个像素移动的优点能够避免插入将跨越两个先前像素的新像素。应估算的新像素致使前面提及的图像的损坏。

为了能够平移累加虚拟图像34，应该在其中添加一部分虚拟兴趣区域或多个虚拟兴趣区域42，其能够覆盖车辆4的覆盖区域。虚拟兴趣区域42应该事先被表示为根据虚拟参考系的网格组织的像素，还应该以适当的方式转动和平移虚拟兴趣区域42，以匹配累加虚拟图像34的一个或多个边界。

地区48的移动能够覆盖带有累加虚拟图像34的足够大表面，同时控制用于存储的内存大小。累加虚拟图像34就像素来说符合最大尺寸。最大尺寸可由如长方形或所有类型的多边形的虚拟周界限定。在车辆移动时，虚拟周界也移动，同时保留固定形状。

在地区48移动时，覆盖区域46重新覆盖新的前带条54，并退出记录于车辆先前位置的地区内的后带条52。

根据本发明的可选方式，视觉辅助系统可设置为：一旦车辆超出阈值速度S2，即移动虚拟周界并从而移动地区48。

根据本发明的可选方式，视觉辅助系统可设置为：在车辆4的移动方向超过相对横坐标轴X测量的阈值角度S3时，移动虚拟周界并从而移动地区48。

根据本发明的可选方式，视觉辅助系统可设置为：在角度β_v超过阈值S4时移动虚拟周界和并从而移动地区48。

在视觉辅助系统只使用单个摄像头用于车辆前侧和后侧的情况下，这些可选方式是特别明智的。这些可选方式能够有利地预测累加虚拟图像34的裁剪需求。

图9为呈现了根据本发明的第一实施方式的图像处理方法的步骤的功能框图的示意性表示。

框图的第一步骤包括在激活处理方法时就实施的初始步骤100。在该步骤中，删除用于存储累加虚拟图像34而被分配的内存。在该步骤中，还创建虚拟参考系和实际参考系。在该激活时刻，根据车辆的定向来定义其轴线的原点和定向。

第二步骤为借助车辆4的摄像头2拍摄实际图像30的步骤102。该图像为瞬时图像。

第三步骤为根据实际图像30创建局部虚拟图像32的步骤104。创建步骤104能够将实际视图30的一部分贴覆在表示地面和车辆环境的虚拟竖直视图上。

第四步骤为保存局部虚拟图像32的步骤106，局部虚拟图像32采用累加虚拟图像34的原状。考虑到局部虚拟图像32的尺寸足够大，以清楚地示出车辆的环境，进而使驾驶员以充分的可见性来执行精确的操作。该配置可满足车辆在开放空间中行驶。

在该情况下，方法能够创建用于引导驾驶员的累加虚拟图像34。以不动的参考系表示像素，在车辆移动的情况下将不再重新计算这些像素。本发明的该方面限定了像素经历的操作次数。另一优点为在一个步骤中得到累加虚拟图像34。该特征能够减少与局部虚拟图像32的裁剪和重新定位相关联的计算。

然而，该方法必须在单个阶段保存和处理较大表面，其所有结果不一定会被使用。而且，在区域呈现凹进处的情况下，在一个步骤中的图像的拍摄是不太可靠的。提供另一实施方式以与这些特征相匹配。

图10表示根据本发明的第二实施方式的图像处理方法的功能框图。

该框图重新采用本方法的第一实施方式的前三个步骤。接继第三步骤，框图提供在两种可选方式之间的选择。

在步骤108处，框图对局部虚拟图像32是否被首先生成进行检验。如果是这种情况，则根据本方法的第一实施方式的第四步骤，局部虚拟图像32成为累加虚拟图像34。其从而被保存在视觉辅助系统的内存中。

在相反的情况下，已存在累加虚拟图像34。那么本方法执行选择步骤110，其包括在局部虚拟图像32的像素中选定要被添加到累加虚拟图像34用于对其进行补充的像素。通常涉及虚拟兴趣区域42(图2)，虚拟兴趣区域42可被直接连结或如果希望适配于转弯而经历修剪。

接续的步骤为适配步骤112，其目的在于使局部虚拟图像32与累加虚拟图像34的虚拟周界相符。尽管在激活时车辆4可相对其定向转动，但是应该首先回转局部虚拟图像32。接下来，相对作为构成累加虚拟图像34的车辆最后位置平移车辆，应平移局部虚拟图像32。这样，后者可以匹配虚拟周界。

局部虚拟图像32还应该与累加虚拟图像34的网格相兼容。为此，重新计算其像素以与累加虚拟图像34的网格相一致。

将可理解的是，如此，总是可仅通过两种像素计算成功地创建累加虚拟图像34：

-第一种用于将实际图像转变成局部虚拟图像32，

-第二种用于将局部虚拟图像32转变成累加虚拟图像34。

接下来的步骤为累加步骤114或构成步骤114，在该步骤中选定的局部虚拟图像32的像素被添加到累加虚拟图像34中。同时，在适配步骤112时，如果累加虚拟图像已达到其应该符合的虚拟周界的尺寸，则可删除累加虚拟图像34的一部分。根据它的新外观来保存新累加虚拟图像34。

现在，所述方法到达了保存步骤106也到达的变形阶段。其可按照至少两条途径来继续进行。

第一途径为结束步骤118，如果确认了预先设定的标准即到达该步骤。标准可为车辆速度、由驾驶员启动的速度比、由驾驶员对命令的按动、又或车辆的熄火。可选地，结束步骤可直接返回初始步骤100。

第二途径引向车辆位置的控制步骤122。如果车辆4在地区48内，考虑到实际图像30的处理和被添加到累加虚拟图像34，图像处理方法回到实际图像30的拍摄步骤102。连续执行该添加过程。

在第二途径中，如果车辆离开地区48，则在实际参考系中执行覆盖区域46的滑动步骤120。在滑动步骤120之后执行裁剪步骤116，裁剪步骤116对应于移动累加虚拟图像34的虚拟周界的需要，以根据车辆位置的变化来适应车辆的需要。累加虚拟图像的裁剪能够允许将像素的保存记录在它占用的新空间内。累加虚拟图像外的像素不被保存，这减少了被保存的数据。连续执行来自局部虚拟图像的新像素的保存操作。可重叠两个局部虚拟图像的像素。如果累加虚拟图像没有被裁剪，则当车辆在覆盖区域46的边缘时，将不保存通过所述方法拍摄的新像素。

可选地，滑动步骤120和裁剪步骤116可在以下情况下被启动：

-当车辆速度达到阈值时，或

-当车辆相对横坐标轴U的定向超过一定角度时，或

-当车辆相对横坐标轴U的移动方向超过一定角度时。

一旦执行裁剪步骤116，循环运行图像处理方法。重新开始利用瞬时的实际图像30以完成累加虚拟图像34的拍摄步骤102。所述方法以迭代的方式继续，直到根据结束步骤118，有事件中断所述方法。可通过车辆的最小前进来调节重新执行实际图像的拍摄步骤102的行为。该最小前进可以对应于像素的数量、或虚拟兴趣区域42的长度。该距离应能够容许在虚拟兴趣区域42之间的联结，虚拟兴趣区域42被添加到累加虚拟图像，以不保留未被查询的区域。

本方法的第二实施方式能够处理大量优化的像素。在一定比例上执行添加虚拟兴趣区域42，同时优化了数据的使用和操作次数。添加足够尺寸的虚拟兴趣区域42以不需要重新开始频繁的添加操作且不会经常加重视觉辅助系统的计算容量载荷。虚拟兴趣区域42的添加符合有很大可能对视觉辅助系统有用的景深。

Claims (10)

1.一种用于处理来自安装在所述车辆(4)的摄像头(2)的图像的方法，所述方法包括车辆(4)移动时的如下迭代步骤：

(a)所述摄像头(2)拍摄实际图像(30)(102)；

(b)用所述实际图像(30)创建对应于俯瞰视图的局部虚拟图像(32)(104)；

(c)通过将所述局部虚拟图像(32)与先前的迭代累加虚拟图像(34)进行匹配来构成所述累加虚拟图像(34)(106、114)；

(d)用所述累加虚拟图像(34)构成显示图像；

其特征在于，基于所述车辆(4)的至少一部分移动，按照相对所述车辆周围环境固定的参考系，所述累加虚拟图像(34)保留其定向；以及

通过提取所述累加虚拟图像(34)一部分来构成所述显示图像，根据所述车辆(4)相对其周围环境的位置选定所述部分。

2.根据权利要求1所述的方法，其特征在于，基于所述车辆给出的移动，在没有移动被所述累加虚拟图像(34)覆盖的所述区域的情况下，执行所述累加虚拟图像(34)的所述部分的所述提取，优选地，所述部分的轮廓对应于以所述车辆为中心的俯瞰视图。

3.根据权利要求1到2中的一项所述的方法，其特征在于，所述累加虚拟图像(34)的尺寸沿至少一个方向大于所述显示图像，优选地，在横向于所述车辆的移动的平均方向上。

4.根据权利要求1到3中的一项所述的方法，其特征在于，当所述车辆的所述位移超出给定值时，被所述累加虚拟图像(34)覆盖的所述区域被移动，优选地仅平移，再更优选地沿整数数量的像素平移。

5.根据权利要求1到4中的一项所述的方法，其特征在于，所述步骤(c)将所述局部虚拟图像(32)的一部分(42)的所述轮廓加入前面迭代的所述累加虚拟图像(34)，以及所述步骤(d)包括所述累加虚拟图像(34)的提取和所述局部虚拟图像(32)的所述部分(42)的变形。

6.根据权利要求1到5中的一项所述的方法，其特征在于，所述步骤(d)包括所述累加虚拟图像(34)的提取和所述局部虚拟图像(32)的一部分(42)的变形，用于包含在给定周边(48)内的所述车辆(4)的位置的集合，在所述车辆驶出所述周边地区(48)时，不移动由所述累加虚拟图像(34)覆盖的所述区域，优选地为平移，再更优选地为整数数量的像素的平移。

7.根据权利要求1到6中的一项所述的方法，其特征在于，基于所述车辆的全部移动，按照相对所述车辆(4)的所述环境固定的所述参考系，所述累加虚拟图像(34)的所述定向是不变的。

8.根据权利要求1到7中的一项所述的方法，其特征在于，按照相对所述车辆(4)的所述环境固定的所述参考系，所述步骤(c)包括所述局部虚拟图像(32)的平移和/或旋转，以便于结合到前面迭代的所述累加虚拟图像(34)。

9.一种来自安装在车辆(4)的摄像头(2)的图像的处理装置(6)，其特征在于，其被配置用于实施根据权利要求1到8所述的方法。

10.一种包括嵌载的摄像头(2)、来自所述摄像头(2)的图像的处理装置(6)和来自所述处理装置(6)的图像的显示器(22)的车辆(4)，其特征在于，所述装置遵照权利要求9。