CN101808236A - 车辆周边显示设备 - Google Patents

Abstract

公开了一种用于车辆(10)的车辆周边显示设备。所述设备包括：成像装置(6)，其用于拍摄周边图像；存储介质(5)，其用于存储历史数据，所述历史数据包括周边图像和关于周边中物体的信息中的一个，存储介质(5)中预先存储了车辆图像；显示屏(8)，其具有实时显示部分(20)和历史显示部分(30)，所述实时显示部分(20)用于在其上显示失真未经修正的周边图像，所述历史显示部分(30)用于在其上显示车辆图像和历史图像，所述历史图像基于所述历史数据生成；以及绘图部(4)，其配置成以叠加的方式绘制车辆图像和历史图像，其中所述车辆图像和历史图像具有周边图像所具有的失真，以使在历史图像中显示的周边中物体被连续地连接至周边图像中显示的周边中物体。

Description

车辆周边显示设备

技术领域

本发明涉及一种用于显示车辆周边情况的车辆周边显示设备。

背景技术

已知一种用于显示车辆周边图像的技术，其中所述图像由两个图像合成：一个是照相机拍摄到的图像，其实时显示车辆周边的情况，另一个是合成图像，其由车辆的图像和由于车辆向后运动而覆盖当前位于照相机视场外的区域的图像合成。这种技术例如描述在JP-2003-189291A和JP-2006-327498A中。

根据JP-2003-189291A中描述的技术，由照相机拍摄到的图像的数据通过被投影在地面坐标系上而进行转换，因而接连地产生取自预定视点(对应于照相机的位置)的鸟瞰视图。由于上述处理，所要显示的图像不同于具有特性失真的原始图像。基于照相机的先前拍摄画面所形成的第一鸟瞰视图根据车辆的运动而移动，从而形成移动后鸟瞰视图。合成的鸟瞰视图由所述移动后鸟瞰视图和第二鸟瞰视图合成，所述第二鸟瞰视图基于照相机最新拍摄的画面而形成。此外，合成的鸟瞰视图被转换为投影图像，以使投影图像看起来像是照相机拍摄到的图像。投影图像利用监视器来显示。

根据JP-2006-327498A中描述的技术，绘图处理器对广角镜头引起的当前拍摄图像和先前拍摄图像的失真进行修正，以使经过校正的图像没有失真。绘图处理器从经修正的先前拍摄到的图像中仅仅提取表示车辆附近区域的数据，因而形成用于图像合成的过去图像的数据。此外，过去的图像被转换为取自位于车辆后轴中心上方的虚拟视点的图像。

绘图处理器从经修正的当前拍摄到的图像中仅仅提取表示远离车辆的区域的数据，因而形成用于图像合成的当前图像的数据。此外，绘图处理器以预定的压缩比对当前图像的数据进行压缩，以产生减少的数据。绘图处理器将当前图像的减少的数据叠加至视点已经转换的过去图像数据的合成区域上，由此形成合成图像，并将该合成图像显示在显示屏上。此外，绘图处理器根据虚拟视点变换车辆宽度延长线和后轮线，并且将变换后的车辆宽度延长线和变换后的后轮线显示在显示屏上。

本申请的发明人已经发现，上述传统技术存在下列困难。因为上述传统技术对照相机拍摄到的图像进行多种图像处理(例如，失真校正、视点变换、压缩等操作)，所以计算中涉及大量的数据，并且微型计算机需要具有大的计算能力。此外，因为传统技术修正了照相机拍摄到的图像并且显示了无失真的图像，所以所显示的无失真图像可能易于在屏幕上观看，然而不利的是，所显示的图像覆盖的区域变小。

发明内容

鉴于以上所述，本发明的目的在于提供一种车辆周边显示设备，其能够确保车辆周边的可视性，并减少对产生车辆周边图像进行的计算。

根据本发明的一个方面，提供了一种用于车辆的车辆周边显示设备。该车辆周边设备包括成像装置、存储介质、显示屏和绘图部。成像装置配置成拍摄周边图像，所述周边图像示出了车辆的周边以及周边中物体。周边中物体位于车辆的周边中。周边中物体包括路面标记和路上物体中的至少一个。存储介质配置成存储历史数据，所述历史数据包括周边图像和关于周边中物体的信息中的至少其中之一。关于周边中物体的信息提取自周边图像，或者是从配备在车辆中的传感器中获得。表示车辆的车辆图像预先存储在存储介质中。显示屏具有：实时显示部分，其用于显示示出了车辆周边的当前情况的周边图像，其中周边图像的失真未被修正；以及历史显示部分，其用于显示车辆图像和和基于历史数据形成的历史图像。历史显示部分与实时显示部分邻接。绘图部配置成在显示屏的历史显示部分上以叠加的方式绘制均取自于预定视点的车辆图像和历史图像，以使：车辆图像和历史图像含有周边图像所具有的失真；并且历史图像中显示的周边中物体被连续地连接至周边图像中显示的周边中物体。

根据上述车辆周边显示设备，因为含有未经修正的失真的周边图像显示在实时显示部分上，所以周边图像所覆盖的区域变得大于失真已经修正的图像所覆盖的区域。因此，能够为驾驶员提供更多的关于车辆周边的信息。此外，因为历史显示部分上显示的周边中物体含有周边图像所具有的失真，并且因为历史显示部分上显示的周边中物体被连续地连接至实时显示部分上显示的周边中物体，所以，能够通过在视觉上组合以下图像来提供视觉呈现：(i)实时显示部分上的周边图像(例如，原始图像)，其示出了车辆周边的当前状况，以及(ii)历史显示部分上的历史图像，其示出了当前位于成像装置的视场外的区域。因此，能够确保车辆周边的可视性，并且能够减少用于生成图像所进行的计算。在上述内容中，周边中物体可以是车辆周边中的标记或物体，比如沟渠、台阶、路缘、行人、其他车辆、停车线(例如，指示停车空间的白线)或类似物。

附图说明

通过参照附图阅读以下的详细描述，本发明的上述及其他目的、特征和优点将变得更加显而易见。在附图中：

图1是示出了车辆后方显示设备的示意性结构的示意图；

图2是示出了车辆和照相机之间的位置关系的示意图；

图3是主流程图，示出了根据第一实施例的车辆后方显示设备的驾驶辅助操作；

图4是示出了图像处理子程序的流程图；

图5是示出了显示在整个窗口上的原始图像的视图，所述原始图像由照相机拍摄到；

图6是示出了当根据第一实施例，变速杆位于倒档位置时所显示的窗口的视图；

图7是示出了窗口的历史显示部分上的经过修正的白线的视图；

图8是主流程图，示出了根据第二实施例的车辆后方显示设备的驾驶辅助操作；

图9是示出了当根据第二实施例，变速杆位于倒档位置时所显示的窗口的视图；以及

图10是示出当满足了预定条件时所显示的放大图像的视图。

具体实施方式

下面将参照附图描述示例性实施例。在下面的描述中，相似的附图标记表示相似的部件。

(第一实施例)

根据本发明实施例的车辆周边显示设备能够在显示屏上显示车辆周边情况，并且使得车辆驾驶员能够观察显示屏，从而帮助车辆驾驶员进行驾驶。在第一实施例中，车辆后方显示设备将在下面作为车辆周边显示设备的一个示例来描述。

车辆后方显示设备能够在显示屏上显示车辆后部周围的情形，并且使得驾驶员能够观察显示屏，从而为泊车时车辆的倒车运动提供帮助。在显示屏上，车辆后方显示设备能够显示合成图像，该合成图像合成自(i)显示车辆后方当前情况的实际图像和(ii)基于过去捕捉到的图像的数据而生成的图像，所述图像显示车辆和车辆的周边，以使车辆后方的当前情况的实际图像连续地连接至车辆和车辆周边的图像。通过告知驾驶员车辆的精确位置，本实施例的车辆后方显示设备能够在泊车时为车辆的倒车运动提供有效的帮助。

如图1所示，车辆后方显示设备包括：用于捕捉车辆后方(即，车辆后方区域)的图像的照相机6；用于在其上显示照相机6捕捉到的图像的显示屏8；用于绘制要在显示屏8上显示的图像的绘制电路4；用于将来自照相机6的模拟信号转换为数字信号、并将该数字信号输出至绘图电路4的NTSC(国家电视系统委员会)解码器7；用于存储照相机6拍摄到的图像的数据的存储器5；用于控制显示屏8上的显示的微型计算机1；车辆位移检测器2；以及车辆状态检测器3。

如图2所示，照相机6安装在车辆10的后保险杠10a上方。车辆后方的照相机6的视场可以通过描述为预定距离和预定视角(例如车辆后方180度范围内)。照相机6拍摄覆盖车辆后方大范围区域的后方图像，能够用作成像设备或装置。存储器5将来自NTSC解码器7的图像信号作为图像数据存储。由照相机6在过去拍摄的图像的数据作为历史数据存储在存储器5中。显示车辆1的后部的后部图像被预先存储在存储器5中。所述后部图像是被绘制为与所捕捉到的后方图像具有精确的位置关系的图像。预先存储在存储器5中的所述后部图像包括车辆10的后保险杠10a及类似物的图像。作为后部图像的一个示例，本实施例采用了形成为计算机图形的、取自预定视点的图像。形成为计算机图形的后部图像也称作车辆CG(车辆计算机图形)。预定视点配置为车辆10上方的位置。数据能够在存储器5和微型计算机1之间以及在存储器5和绘图电路4之间传输。存储器5能够用作存储介质。

当车辆10的变速装置的变速杆处于倒档位置(R)时，显示屏8显示后方图像。当车辆10向后移动时，彼此邻接的后方图像显示部分20(其是周边图像显示部分的示例)和历史显示部分30设置在显示屏8上。照相机6拍摄到的后方图像实时显示在后方图像显示部分20上，且后方图像的失真未被修正。在历史显示部分30上，显示基于历史数据产生的图像。

显示屏8可以是液晶显示(LCD)屏。显示屏8可以设置在方向盘的前方，或者设置在仪表板上位于中部的部分。可替代地，显示屏8可以位于仪表板上比仪表板的其他部分更靠近挡风玻璃的部分。根据该替代性构造，驾驶员能够在看向车辆前方的时候从视觉上识别后方图像，而无需看向刚刚位于驾驶员前方并位于方向盘附近的区域。可替代地，显示屏8可以以竖立位置设置在仪表板的车辆宽度方向中心位置，或者可以是车辆导航装置的LCD屏。

车辆位移检测器2基于轮胎或类似物的转数检测车辆10相对于车辆10的某一状态的运动距离，并且基于转向角或类似参数检测车辆10在该运动过程中的转动方向，从而检测车辆10的位移。指示检测到的位移的信号从车辆位移检测器2输出至微型计算机1。可替代地，包括运动距离和转向角度的位移可以通过图像变换来获得。图像变换可以包括将显示车辆当前位置和过去位置的图像转换为鸟瞰视图图像，并且通过计算匹配鸟瞰视图图像。车辆状态检测器3接收表示车辆10的各种状态的信号。在本实施例中，车辆状态检测器3至少具有接收表示变速杆位置的信号并将所述信号输出至微型计算机1的功能。

绘图电路4可以用作绘图部或装置，用于将要显示的图像输出至显示装置8。绘图电路4能够与微型计算机1通信。绘图电路4输出照相机6拍摄到的车辆后方的原始图像，并且使显示屏8在后方图像显示部分20上显示原始图像。此外，在历史显示部分30上，绘图电路4以迭加的方式绘制取自预定视点的周边中物体和车辆CG图像，并且将周边中物体和车辆CG输出到显示装置8。周边中物体是路上物体或路面标记。路上物体可以由车辆10的超声波声纳或类似装置检测，并且例如可以是其他车辆(即，除车辆10以外的车辆)、墙壁或行人。路面标记例如是障碍物，比如沟渠、凸起、台阶、路缘和类似物，或者是绘制成用于指示停车空间的白线的停车线。路面标记可以放置在期望车辆10倒车所要进入的区域内。路面标记能够作为车辆周边中的标记。在历史显示部分30上显示车辆10的轴11的位置和轮胎12的位置中的至少其中之一可能更好。

绘图电路4绘制要显示在历史显示部分30上的图像，使得：所述图像包含后方图像显示部分20上的后方图像所具有的失真；历史显示部分30中显示的周边中物体连续地连接至后方图像显示部分20中显示的后方图像中的周边中物体。

微型计算机1可以用作控制器。微型计算机1接收来自车辆位移检测器2或车辆状态检测器3的信号，执行预定的计算，并且基于计算结果将图像数据输出到绘图电路4。微型计算机1包括ROM(只读存储器)和RAM(随机存取存储器)。ROM存储用于计算及类似用途的程序。RAM用作计算的工作区域。

可以使用多种方法作为利用历史数据检测路上物体或路面标记的方法。作为一个示例，下面描述用于检测作为停车线的白线的方法，所述白线是路面标记的一个示例。存储器在其内存储包括后方图像的历史数据，所述后方图像是在过去于车辆10运动期间捕捉的。微型计算机1从存储历史数据的存储器5处读取后方图像中的亮度变化，并且在设于窗口上的虚拟二维坐标系中绘制出这种变化，从而检测窗口上白线的存在。

更具体地说，所述二维坐标系上的Y轴坐标值固定为特定值，通过仅仅改变X轴坐标值来提取图像的亮度变化。因此，获取了通过X轴坐标值的改变而获得的亮度分布。通过X轴坐标值改变而获得的亮度分布在对应于白线的部分比在其他部分具有较大的亮度。这是因为在后方图像中，路面以比用作路面标记的白线暗的颜色(例如，像沥青颜色一样的黑色)显示。提取亮度比周边大的部分，使得所提取的部分是连续的，并且在X轴方向上具有对应于白线宽度的长度。

利用上述方法，通过改变Y轴坐标值提取并生成通过X轴坐标值的改变而获得的多个亮度分布。随着用于提取亮度分布的Y轴坐标值的数量增加，所提取的具有较高亮度的部分能够在图像上形成更类似于实际白线的形状。然而，在一个实施例中，如图6所示，在历史显示部分30上绘制出白线31、以使白线31连续地连接至后方图像显示部分20上的白线就足够了。因此，要提取和绘制的亮度分布的数量可以远小于将白线形成为连续的线所需要的数量。

从上面能够看到，微型计算机1通过识别图像上的白线不是“线”而是“绘制的多个点”来执行白线检测。因此，能够显著地减少数据处理过程中涉及的数据量、用于数据处理的工作区以及数据处理时间。由于本实施例的车辆后方显示设备采用上述方式来检测白线，因此能够减少所需要的存储容量以及所需要的计算能力，车辆后方显示设备可以不需要高计算能力处理器，例如，车辆导航装置的处理器。例如，用于控制仪表板的控制器足以用作车辆后方显示设备的控制器。

可替代地，白线检测可以这样进行：从二维坐标系上的亮度分布中，只提取对应于白线21边缘的部分，并且记录所述边缘的坐标。根据此方案，能够进一步减少处理过程中涉及的数据量、处理所需工作区以及处理所需时间。

当车辆倒入停车空间时，车辆后方显示设备执行如图3和4所示的驾驶辅助工作。下面参照图3和4描述驾驶辅助工作。需要指出的是，图3和4的流程图中的过程可以通过或利用微型计算机1来执行，微型计算机1用作控制车辆后方显示设备的操作的控制器。

响应于微型计算机1的通电，微型计算机1开始执行图3所示的主流程图的过程。在S10，显示屏8上显示用于正常操作的图像。用于正常操作的图像不同于用于车辆倒车辅助操作的图像。在S20，微型计算机1判定车辆状态检测器3是否接收到指示车辆10的变速杆处于倒档(R)位置的信号。微型计算机1循环地执行S20，直到车辆状态检测器3接收到表示车辆10的变速杆处于倒档(R)位置的信号。当确定车辆状态检测器3接收到了表示车辆10的变速杆处于“R”位置的信号时(对应于S20中的”是”)，程序前进到S30。在S30，微型计算机1执行图像处理子程序，用于生成要输出至显示屏8的图像。在该图像处理子程序中，绘图电路4在图像处理子程序的S301至S306绘制图像，并且将图像输出至显示屏8。在图像处理子程序后，过程前进到S40。在S40，微型计算机1显示包含后方图像显示部分20和历史显示部分30的窗口。

在S50，微型计算机1判定车辆状态检测器3是否接收到表示车辆10的变速杆处于非″R″的位置的信号。当在S50判定车辆状态检测器3接收到表示车辆10的变速杆不处于非″R″位置的信号时(对应于S50的″否″)，过程返回到S30。在此情况下，在微型计算机1在S20识别出变速杆处于″R″位置后，通过S30和S40接连地捕捉、绘制和显示图像。微型计算机1一直显示后方图像显示部分20和历史显示部分30上彼此连续相连的图像，直到确定变速杆处于非″R″的位置。在上述过程中，后方图像显示部分20上的图像实时显示了车辆10后方的当前情况。当判定变速杆处于非″R″位置时(对应于S50中的″是″)，过程返回到S10，从而结束显示用于车辆倒车辅助操作的图像。当泊车完成，车辆10的点火开关转至关闭时，响应于微型计算机1的电源被切断，图3的主流程图所示的驾驶辅助操作结束。

下面将参照图4描述图像处理子程序。在S301，照相机6获取后方图像的数据，所捕捉的后方图像覆盖包含车辆10预定部分的区域。随后，表示照相机6拍摄到后方图像的信号经由NTSC解码器7和绘图电路4输入到存储器5和微型计算机1。在上述过程中，对应于车辆10的运动，投影在窗口的虚拟坐标系上的图像的数据被记录并累积在存储器5中。虽然获得的图像数据实际上可能不显示在显示屏8上，但是，如果绘制在显示屏8上，那么图5中示出的图像将被显示。图5中的图像是这样的，即，后方图像位于显示屏的上半部，车辆10的后部位于显示屏的下半部。图5示出了照相机6拍摄到的原始图像全屏显示的情况。

在S302，绘图电路4执行生成历史显示部分30和后方图像显示部分20的过程，并且将所述部分20和30设置在窗口上。如图6所示，后方图像显示部分20设置在窗口的上部，历史显示部分30设置在窗口的下部，并与后方图像显示部分20邻接。图6是示出车辆倒退以便泊车时要显示的窗口的图。在S303，微型计算机1读取传输到存储器5的图像的数据，并且采用上述白线检测方法或类似方法来检测路面标记及类似物(在此示例中，假定该路面标记为用作停车线的白线)。以投影到窗口上的虚拟坐标系上的多个绘图的形式对白线21进行检测。在S304，投影在虚拟坐标系上的白线21被传输至存储器5，并且由微型计算机1记录在存储器5中作为历史数据。

在S305，绘图电路4读取预先存储在存储器5内的车辆CG，并且在S302中生成的历史显示部分30上绘制取自预定视点的车辆CG。在上述绘制过程中，绘图电路4使车辆CG具有与后方图像显示部分20上的原始图像相同的失真。需要指出的是，绘图电路4大胆地使车辆CG失真，并且绘制已失真的车辆CG。

在S306，绘图电路4读取记录在存储器5中的白线21(其充当路面标记)，并且在S302中生成的历史显示部分30上绘制取自预定视点的白线31。在上述绘制过程中，绘图电路4执行已知的视点转换操作，以将白线31的视点转换为与车辆CG相同的视点。此外，绘图电路4使白线31具有与后方图像显示部分20上的原始图像相同的失真。需要指出的是，与车辆CG的情况一样，绘图电路4大胆地使白线21失真，并且绘制已失真的白线21。

例如，下面的过程可以用作S305和S306中用于为图像提供失真的过程。首先，在照相机6过去拍摄到的图像的数据上执行校正过程，用于去除图像的变形。因而，图像数据被转换为三维坐标系中的数据。根据车辆的运动，基于与车辆运动相关的信号(例如位移量、转动等)，通过旋转、平移等操作对三维坐标系中的数据进行变换。然后，被转换为三维坐标系的图像数据投影到窗口上的虚拟坐标系上，从而生成二维图像。执行将失真提供至二维图像的过程。通过上述方式，具有和原始图像相同的失真的车辆CG和白线31能够绘制在历史显示部分30上。

在S40，执行对来自用于后方图像显示部分20的图像和用于历史显示部分30的图像的合成图像进行合成的过程，并且，用于上述两个显示部分20和30的图像作为合成图像被输出到显示屏8，并显示在显示屏8上。在上述过程中，用于后方图像显示部分20的图像是例如在图6和7的上部示出的后方图像。用于历史显示部分30的图像是在S305和S306中绘制的图像。

通过上述图像处理子程序，后方图像显示部分20上的原始图像的白线21和历史显示部分30上的白线31被显示成在两个显示部分20和30的边界处彼此连续地连接，如图6所示。在上述过程中，白线31被绘制成使得白线31和白线21在边界处具有基本相同的宽度和颜色，并且白线21和白线31相互匹配。换句话说，当前位于照相机6的视场外的白线31和当前位于照相机6的视场内的白线21整体地显示在显示屏8上。通过上述方式，过去的图像能够包含标记(例如，白线31)，从而所述标记能够为驾驶员提供信息，以精确地识别车辆10的位置。此外，能够在视觉上为驾驶员提供过去图像和当前图像作为一个合成图像，同时对过去图像和当前图像之间的边界进行区别显示。因此，本实施例能使驾驶员清楚、精确地理解车身、车身周边的路面标记以及车身后方的当前情况之间的位置关系。

此外，绘图电路4可以绘制出期望的行驶路线、车辆宽度延长线等，使得这些线叠加在用于后方图像显示部分20的图像上。期望的行驶路线是基于车辆宽度和转向角来预测倒车路线的指示器。车辆宽度延长线是对正在倒车的车辆的侧面的位置进行预测的指示器。所判定的行驶路线和车辆宽度延长线被绘制成不同的颜色，易于驾驶员进行区分。

此外，如图7所示，绘图电路4可以执行要显示在历史显示部分30上的白线31A或刻度线32A的修正程序。在修正过程中，通过减少变形的影响，绘图电路4将与显示部分20和30之间的边界相距一定距离或更远的一部分白线31A或一部分刻度线32A变换为直线形状。当执行上述修正程序时，白线31被显示为：在两个显示部分20和30之间的边界处的一部分白线31A连续地连接至后方图像显示部分20上的原始图像的白线21，并与之集成在一起；并且，刻度线32A或白线31A的其他部分以近似非弯曲线的形式显示。

下面将描述车辆后方显示设备的操作及优点。

当接收到表示车辆向后运动的信号时，车辆后方显示设备显示车辆周边图像。根据此方面，车辆后方显示设备被构造成包括：照相机6；存储器5；显示屏8；以及绘图电路4。照相机6被构造成捕捉示出了车辆后方(车辆后方的区域)的后方图像。照相机6在过去拍摄到的后方图像的数据作为历史数据存储在存储器5中。示出了车辆后部并且要被绘制成与拍摄到的周边图像具有精确位置关系的车辆图像被预先存储在存储器5中。显示屏具有后方图像显示部分20和历史显示部分30。后方图像显示部分20用于在其上显示示出了车辆后方的当前情况的后方图像。历史显示部分30用于在其上显示基于历史数据生成的历史图像。绘图电路4配置成以迭加的方式绘制取自预定视点的车辆图像和历史图像，其中历史图像包含从历史数据中提取的白线31(该白线31为路上物体或路面标志的一个示例)的图像。绘图电路4为车辆图像和历史图像提供周边图像所具有的失真。绘图电路4在历史显示部分30上绘制白线31，以使历史显示部分30上的白线31连续地连接至后方图像显示部分20上的后方图像中的白线21。

根据上述车辆后方显示设备，因为具有失真的后方图像显示在后方图像显示部分20上，所以所显示的后方图像能够具有例如180度的视角。因此，与失真已经被修正的后方图像相比，提供了覆盖更大区域的后方图像。驾驶员可以获得更多关于车辆周边情况的信息。此外，因为用于历史显示部分30的图像被大胆地设有后方图像所具有的失真，并且基于历史数据生成且在历史显示部分30上显示的白线31连续地连接至后方图像显示部分20上的后方图像中的白线21，所以，能够提供视觉呈现，其中，示出了当前情况的后方图像(其可以是原始图像)与历史图像在视觉上集成在一起，所述历史图像示出了当前位于照相机6的视场外的区域。因此，车辆后方显示设备可以减少控制器的图像处理量，并且使得驾驶员能够精确地识别出车辆10的位置，并改善泊车辅助性能。

此外，车辆后方显示设备将检测目标设定为路面标记，比如白线21(例如，表示停车空间的停车线)，并且显示检测目标，以使检测目标在当前图像(即，用于后方图像显示部分20的图像)和过去图像(即，基于历史数据生成的用于历史显示部分30的图像)中连续地延续。根据上述方式，因为非三维物体的路面标记是利用拍摄到的后方图像来检测的，所以，与检测三维物体存在的情况相比，能够减少图像处理装置和检测装置所需的计算能力和计算时间。因此，能够以低成本提供装置。

此外，绘图电路4绘制路上物体或路面标记(例如，白线31A)，使得与显示部分20和30之间的边界相距预定距离的部分被修正为具有直线形状。

根据上述方式，白线31A或类似物被绘制成连续地连接在显示部分20和30之间的边界处，并且远离所述边界的部分被绘制具有直线形状，其中去除了历史显示部分30的图像失真。因此，在历史显示部分30上，在车辆10附近，所显示的白线31或类似物能够近似与车辆10平行。因此，能够去除由于历史显示部分30上的图像失真所导致的差的可见度，同时保持用于后方图像显示部分20的图像和用于历史显示部分30的图像之间的边界处的连续性。

此外，绘图电路4在历史显示部分30上绘制刻度线32，用于指示与车辆相距的距离。根据该方式，因为在历史显示部分30上，白线31(其是路上物体和路面标记的一个示例)和刻度线32绘制在车辆10的周围，所以车辆后方显示设备使得驾驶员能够详细地理解车辆10和车辆10周围的路上物体(例如，路上物体、路面标记)之间的位置关系。

绘图电路4可以这样显示图像，即，历史显示部分30所显示的图像只有车辆CG和白线31，它们具有与后方图像显示部分20上的原始图像具有的失真相同的失真。

根据该方式，因为历史显示部分30显示的图像只有车辆CG和白线31，并且其他图像未显示在历史显示部分30上，所以车辆后方显示设备使得驾驶员能够直接、清楚地理解车辆10和标志(例如，白线31或类似物)之间的位置关系。此外，因为以上述方式缩小了要绘制的信息，所以能够抑制图像处理量。

车辆后方显示设备可以被配置这样，即，用于历史显示部分30的图像的背景部分被绘制成不同于后方图像显示部分20上的后方图像的路面颜色的颜色。背景部分可以是除车辆CG、路上物体、路面标记和刻度线以外的部分。通过以上述方式给背景部分着色，能够使后方图像显示部分20上的图像和历史显示部分30上的图像之间的边界变得显著。此外，虽然后方图像显示部分20上的图像和历史显示部分30上的图像被集成在合成图像之中，但是驾驶员能够容易地识别出显示屏上部的图像是示出了当前情况的原始图像，并且显示屏下部的图像是示出了当前位于照相机6的视场以外的区域在过去的图像。例如，历史显示部分30的背景部分的颜色可以绘制成黑色、蓝色或类似颜色，从而不同于路面的实际颜色以及车辆CG的颜色。此示例使得能够更好地区分出显示屏上的两个图像是不同的显示部分20和30上的图像。车辆CG、路上物体、路面标记、刻度线等类似物能够更加区分地可见。

绘图电路4可以在历史显示部分30上绘制路面标记，比如白线31和类似物，以使历史显示部分30上路面标记的颜色变得类似于后方图像显示部分20上的路面标记的颜色。根据此方式，路面标记可以连续地、整体地显示，从而以可靠的方式在后方图像显示部分20和历史显示部分30中延伸。

绘图电路4可以在历史显示部分30上绘制路面标记，比如白线31等类似物，以使路面标记一直具有预定的颜色深度，即使提取自历史数据的路面标记不清楚或者是不确定的线也是如此。根据此方式，即使由于路面存在颜色磨损部分、缺失部分或类似情况而使一部分路面标记不能成像，路面标记也能够可靠地显示，从而连续、整体地在后方图像显示部分20和历史显示部分30中延伸。

绘图电路4可以由控制器控制，所述控制器控制仪表板的操作。在此情况下，控制绘图电路4的控制器可以具有相对较小的存储容量和相对较低的计算能力。根据本实施例，图像处理量和存储容量减少这方面的优点可以更加显著。

显示屏8可以配置在仪表板的一部分上。根据此结构，因为车辆后方图像可以配置在车辆的指示器上方，所以驾驶员能够以类似于观察指示器的感觉确认车辆后方图像，无需大范围地移动他或她的眼睛观察方向。

基于单个照相机6拍摄到的大区域图像，可以在显示屏8上显示大区域图像和小区域图像。根据此结构，因为可以显示大区域图像，以及通过从单个照相机拍摄到的大区域图像中提取小区域图像来显示小区域图像，所以能够可以减少系统的部件数量并降低系统成本。

绘图电路4可以由控制器控制，所述控制器控制仪表板的操作，并且，显示屏8可以安装在车辆驾驶室内的仪表板上方。根据此结构，因为车辆后方图像大约显示在与驾驶员眼睛高度相同的高度，所以驾驶员可以在无需大范围地移动其眼睛观察方向的情况下确认车辆后方图像。

历史显示部分30上要显示的车辆图像可以包含关于车辆10的轴11和车轮12的位置的信息。根据这种显示，因为显示了轴11和车轮12的位置，所以能够告知驾驶员轴和轮胎相对于车辆周边情况的位置。可以提供作为驾驶指引的图像。

(第二实施例)

在第二实施例中，车辆泊车期间显示在显示屏8上的图像在车辆运动过程中在大区域图像和小区域图像之间切换。大区域图像覆盖车辆10后方具有例如180度视角的大区域。小区域图像覆盖车辆10后方具有例如120度视角的小区域。因此，在第二实施例中，在泊车过程中显示在显示屏8上的图像可能并不一直是大区域图像。图8所示的主流程图示出了根据第二实施例的驾驶辅助工作情况。图9所示的图示出了根据第二实施例的大区域图像。图10所示的图示出了根据第二实施例的放大的图像(即，小区域图像)。当车辆移动泊车时，可以显示大区域图像和放大的图像。

图8所示的主流程图中的S10至S40与图3中的相同。如图8所示，在S40，如第一实施例中所描述，微型计算机1分别在后方图像显示部分20和历史显示部分30上显示大区域图像。在此实施例中，如图9所示，绘图电路4绘制期望的行驶路线23，使得期望的行驶路线23叠加在后方图像显示部分20的图像上。期望的行驶路线23可以作为引导线，其基于车辆宽度和车辆的转向角预测向后行驶的车辆的期望行驶路线。以不同于图像的路面颜色的颜色来绘制期望的行驶路线23，这易于驾驶员进行区分。

在S41，微型计算机1判定是否满足显示图像放大的预定条件。在车辆的向后运动期间，显示图像放大的预定条件决定了将显示从大区域图像切换至小区域图像的时间点。

下面更具体地说明显示图像放大的预定条件。当变速杆换至倒档位置以泊车时，并且当车辆倒车时，车辆接近障碍物，比如位于停车空间附近的车轮止动器22、路缘、围栅、墙壁等类似物。在此实施例中，当车辆和障碍物之间的距离小于或等于预定距离时，确定满足了显示图像放大的预定条件。为了作出上述判定，车辆装备有声纳。声纳可以作为检测设备或检测装置，用于检测车辆与位于车辆周边的三维物体或类似物之间的距离。声纳可以包括多个超声传感器。声纳将表示所检测到的距离的信号输入到微型计算机1。预定数量的超声传感器能够以预定间隔安装至车辆后部的外表面。例如，各个超声传感器可以嵌入后保险杠内，同时超声传感器的检测部分从后保险杠暴露出。声纳的探测范围40覆盖车辆周边的预定区域，如图10中的虚线所示。需要指出的是，在图10中绘制的限定检测器范围40的虚线仅仅是用于描述目的，实际上可能不显示在显示屏8上。

当确定通过声纳检测到的距离障碍物的距离小于或等于预定距离时(对应于S42中的″是″)，微型计算机1确定车辆靠近停车空间，并且过程前进到S42。在S42，微型计算机1通过绘图电路4将显示从大区域图像切换至小区域图像。例如，微型计算机1将显示从图9中所示的大区域图像切换为图10中所示的小区域图像。在切换至小区域图像过程中，绘图电路4不绘制期望的行驶路线23。因此，在显示屏8的后方图像显示区域20上显示不具有期望的行驶路线23的小区域图像。在此实施例中，绘图电路4切取照相机6拍摄到的图像的一部分，并且将该切除部分放大，从而生成小区域图像，即，放大的图像，如图10所示。

当确定不满足显示图像放大的预定条件时(对应于S41中的″否″)，过程前进到S50，以保持例如图9所示的显示。当确定满足显示图像放大的预定条件时(对应于S41中的″是″)，过程前进到S42，以执行提供例如图10所示的放大显示的过程。然后，当在S50中确定结果为″是″时，过程返回到S10，从而结束显示车辆后方图像。例如，当泊车结束后点火开关转至关闭时，控制器的电源供应被切断，主流程图的驾驶辅助操作结束。

可以通过如下方式描述本实施例的车辆后方显示设备的操作和优点。

车辆后方显示设备的绘图电路4通过后方图像显示部分20上的后方图像上进行叠加而绘制期望的行驶路线23。在车辆的向后运动期间，当满足预定条件时，后方图像显示部分20上的图像和历史显示部分30上的图像被放大，并且绘图电路4禁止显示期望的行驶路线23。

根据上述方式，在车辆的向后运动期间，当需要确认车辆后方的详细图像时，在显示屏上显示放大的图像，而期望的行驶路线则不显示。例如，在泊车运动的后半程，因为车辆的运动可能变小，所以显示期望的行驶路线23的需求也可能变得更低，并且，相对于确认期望的行驶路线23而言，可能更需要详细地了解车辆后方的情况。因此，上述方式能够提供不影响车辆后方的可视性的视觉呈现，同时为驾驶员提供了关于车辆后方的详细信息。因此，能够为泊车提供更有用的辅助。

(变型例)

上述实施例能够以多种方式进行修改，下面描述其中的示例。

在上述实施例中，车辆后方显示设备被示为车辆周边显示设备的示例。关于显示屏上的图像，车辆周边显示设备可以(i)在显示屏的周边图像显示部分上显示示出了车辆周边当前情况的图像，以及(ii)在显示屏的历史显示部分上显示示出了当前位于照相机的视场外的区域的图像。例如，车辆的前部(即，车辆的前方区域)可以显示为车辆的周边。

在上述实施例中，白线(例如，停车线)被示为提取标记的示例，并且将其绘制在历史显示部分30上的图像上。可替代地，也可以提取其他的路面标记和路上物体，比如沟渠、台阶、路缘和类似物。与上述白线检测方法相类似的方法可以用作路面标志和路上物体的检测方法。

在上述实施例中，单个照相机6拍摄要在显示屏8上显示的图像。可替代地，多个摄像机可以分别拍摄显示屏8上显示的多个图像，作为组合图像显示。

在第二实施例中，拍摄到的示出了车辆后方的图像是由单个照相机6拍摄到的图像。可替代地，车辆后方显示设备可以包括第一照相机和第二照相机，其中所述第一照相机用于拍摄具有例如180度的视场的大区域图像，所述第二照相机用于拍摄具有例如120度的视场的小区域图像，并且，车辆后方显示设备可以采用大区域图像和小区域图像作为要在显示屏上显示的图像。根据此结构，因为第一和第二照相机分别拍摄大区域图像和小区域图像，所以能够减少计算，比如图像处理量、计算时间，并且能够减小用于存储图像的存储器容量。

在第二实施例中，基于车辆和障碍物之间的距离设定显示图像放大的预定条件。可替代地，可以基于车辆的向后位移来设定用于显示图像放大的预定条件。

在上述实施例和变型中，车辆后方显示设备是车辆周边显示设备的示例。微型计算机1是控制器的示例。绘图电路4是绘图部或装置的示例。存储器5是存储介质的示例。照相机6是成像装置或装置的示例。显示屏8的后方图像显示部分20是周边图像显示部分或实时显示部分的示例。路面标记和路上物体，例如，白线21和31，是周边中物体的示例。

根据本发明的一个方面，提供了一种车辆周边显示设备。该车辆周边装置包括成像装置6、存储介质5、显示屏8和绘图部4。成像装置6配置成拍摄周边图像，所述周边图像示出了车辆的周边和位于车辆周边的周边中物体。周边中物体包括路面标记和路上物体中的至少一个。存储介质5配置成存储历史数据，所述历史数据包括周边图像和关于周边中物体的信息中的至少其中之一。关于周边中物体的信息提取自周边图像，或者是从配备在车辆中的传感器获取的。表示车辆的车辆图像预先存储在存储介质5内。显示屏8具有：实时显示部分20，其用于显示示出了车辆周边的当前情况的周边图像，所述周边图像的失真未被修正；以及历史显示部分30，其用于显示所述车辆图像和历史图像，所述历史图像基于所述历史数据形成。历史显示部分30邻接实时显示部分20。绘图部4配置成在显示屏8的历史显示部分30上以叠加的方式绘制取自预定视点的车辆图像和历史图像，以使：车辆图像和历史图像具有周边图像所具有的失真；并且，历史图像中显示的周边中物体被连续地连接至周边图像中显示的周边中物体。

根据上述车辆周边显示设备，因为含有未经修正的失真的周边图像显示在实时显示部分20上，所以周边图像所覆盖的区域变得大于失真已经修正的图像所覆盖的区域。因此，能够为驾驶员提供更多的关于车辆周边的信息。此外，因为历史显示部分30上显示的周边中物体具有周边图像所具有的失真，并且历史显示部分30上显示的周边中物体被连续地连接至实时显示部分20上显示的周边中物体，所以，能够通过在视觉上组合以下图像来提供视觉呈现：(i)实时显示部分20上的周边图像(即，原始图像)，其示出了车辆周边的当前情况，以及(ii)历史显示部分30上的历史图像，其示出了当前位于成像装置6的视场外的区域。因此，能够确保车辆周边的可视性，并且减少用于图像生成的计算量。在上述过程中，周边中物体可以是车辆周边的标记或物体，比如沟渠、台阶、路缘、行人、其他车辆、停车线(例如，表示停车空间的白线)或类似物。

上述车辆周边显示设备可以配置成这样：绘图部4配置成在历史显示部分30上绘制周边中物体，以使历史显示部分上的周边中物体的一部分被修正为具有直线形状，所述部分位于与实时显示部分20和历史显示部分30之间的边界相距预定距离或更远处。根据此结构，当历史显示装置上的周边中物体的一部分位于车辆附近时，可以将其绘制成与车辆平行。因此，由于成像装置6镜头引起的失真所导致的可视性变差能够得到改善。

上述车辆周边显示设备可以配置成这样：绘图部4配置成进一步在历史显示部分30上绘制刻度线，用于指示距车辆10的距离。根据此结构，显示屏8的历史显示部分30可以在其上环绕车辆的区域显示周边中物体和刻度线。因此，能够使驾驶员精确地识别车辆相对于例如停车空间的位置。

上述车辆周边显示设备可以配置成这样：预先存储在存储介质5中的车辆图像是计算机图形图像，其形成为计算机图形；历史图像仅代表提取自历史数据的周边中物体；并且，在历史显示部分30上，绘图部4只绘制车辆图像和路上物体图像，其中车辆图像和周边中物体图像具有与所拍摄到的周边图像所具有的失真相同的失真。

根据此结构，显示屏8的历史显示部分30能够在其上仅显示车辆图像(其可以形成为计算机图形)和车辆周边中物体图像，而不显示其他信息。因此，能够使驾驶员清楚地了解车辆和周边中物体之间的位置关系。此外，由于以上述方式减少了要显示的信息，所以能够减少图像处理量，并且减少图像生成所需的计算能力。

上述车辆周边显示设备可以配置成这样：绘图部4配置成在历史显示部分30上绘制路面标记，以使历史显示部分30上的路面标记的颜色与实时显示部分20上的路面标记的颜色基本上相同。根据此方案，周边中物体能够连续地、整体地显示，从而在实时显示部分20和历史显示部分30上延伸。因此，能够为驾驶员提供高的可视性。

上述车辆周边显示设备可以配置成这样：即使提取自历史数据的路面标记是不确定的，绘图部4也在历史显示部分30上绘制路面标记，以使所显示的路面标记具有恒定的颜色深度。根据此方案，即使由于路面标记存在颜色磨损部分、缺失部分或类似情况而使路面标记的一部分未被成像，路面标记也能够可靠地显示，作为在实时显示部分20和历史显示部分30上连续、整体延伸的标记。因此，即使路上物体条件较差，也可以为驾驶员提供泊车辅助。

上述车辆周边显示设备可以配置成这样：绘图部4配置成将期望的行驶路线叠加在实时显示部分20上的周边图像上，期望的行驶路线表示期望的车辆10行驶路径；在车辆10的运动期间，当满足预定条件时，绘图部4放大周边图像、历史图像和车辆图像，并且禁止显示期望的行驶路线。根据此结构，在车辆运动期间，当满足用于图像放大的预定条件时，显示放大的图像，不显示期望的行驶路线。例如，在停车运动的最后半程之后，因为车辆的运动可能变小，所以显示期望的行驶路线的需求可能变低，并且，相对于确认期望的行驶路线，可能更需要详细地了解车辆后方的情况。因此，在为驾驶员提供详细信息的同时，上述结构可以提供不影响可视性的视觉呈现。

上述车辆周边显示设备可以配置成这样：绘图部4进一步在历史显示部分30上绘制车辆10的车轴和车辆10的车轮中的至少其中之一。根据此结构，能够通知驾驶员车轴的位置或车轮的位置，因此，可以改善驾驶操作辅助性能。

上述车辆周边显示设备可以配置成这样：车辆进一步配备有车辆仪表板控制器；并且绘图部4由所述控制器控制。根据此结构，控制绘图部4的控制器是仪表板控制器，其典型的计算能力和存储容量相对来说不大。因此，能够更显著地展示出在提供视觉呈现方面减少所需计算能力和存储容量的优点，其中周边图像(其可以是在车辆周边显示部分上示出了当前情况的原始图像)在视觉上被连接至历史图像和车辆图像(显示在历史显示部分30上)，它们示出了当前位于成像装置6的当前视场外的区域。

上述车辆周边显示设备可以配置成这样，即，将显示屏8设置在仪表板的一部分上。根据此结构，因为车辆周边图像可以配置成高于车辆的测量仪表，所以驾驶员能够以类似于观察测量仪表的方式确认车辆周边图像，无需改变他或她的眼睛观察方向。

上述车辆周边显示设备可以配置成这样：成像装置6对车辆10后方的区域进行成像，以拍摄周边图像；示出了车辆10后方区域当前情况的周边图像显示在实时显示部分20上，其中周边图像的失真未被修正。根据此结构，因为包含失真的周边图像显示在显示屏8上的实时显示部分20上，所以所显示的包含失真的周边图像所能够覆盖的区域大于已经进行失真修正的周边图像所能够覆盖的区域。因此，可以为驾驶员提供诸多关于车辆周边的信息。此外，因为历史图像含有周边图像具有的失真，并且因为历史图像显示在实时显示部分20上，以使历史图像中示出的路上物体被连续地连接至周边图像中示出的路上物体，因此车辆周边显示设备能够提供视觉呈现，其中实时显示部分20上的周边图像(其可以是示出了当前情况的原始图像)在视觉上被连接至历史图像和车辆图像(显示在历史显示部分30上)，所述历史图像和车辆图像都示出了位于成像装置6的当前视场外的区域。因此，车辆周边显示设备使驾驶员能够精确地识别车辆的位置。因此，能够确保车辆周边的可视性，并减少生成车辆周边图像所需的图像处理量。在上述过程中，实时显示部分20上的周边图像覆盖了车辆10周边中当前位于成像装置6的视场内的区域。历史显示部分30上的历史图像覆盖了车辆10周边中当前位于成像装置6的视场外的另一区域。

尽管上面已经参照本发明的各种实施例对本发明进行了描述，但是，应当理解的是，本发明并不限于上述实施例和结构。本发明旨在覆盖各种改进方案以及等同的设置。此外，尽管上述各种组合和构造被构想用来实施本发明，但是包括更多部件、更少部件或只有单个部件的其他组合和构造同样也认为处于实施例的范围之内。

此外，对以上描述的程序、过程、步骤或装置的各种组合或任意组合，可以实现为软件部分或单元(例如子程序)和/或硬件部分或单元(例如，电路或集成电路)，它们包括或不包括相关装置的功能；此外，硬件部分或单元可以构建在微型计算机内。

此外，软件部分或单元，或者多个软件部分或单元的任何组合，可以包括在计算机程序产品中，所述计算机程序产品存储在计算机可读存储介质中。

Claims (11)

1.一种用于车辆(10)的车辆周边显示设备，包括：

成像装置(6)，其配置成拍摄周边图像，其中所述周边图像示出了车辆(10)的周边和周边中物体，其中所述周边中物体位于所述车辆(10)的周边中，其中所述周边中物体包括路面标记和路上物体中的至少一个；

存储介质(5)，其配置成存储历史数据，所述历史数据包括周边图像和关于周边中物体的信息中的至少其中之一，其中所述关于周边中物体的信息提取自所述周边图像、或者从配备于所述车辆(10)中的传感器获得，其中表示所述车辆(10)的车辆图像被预先存储在所述存储介质(5)中；

显示屏(8)，其具有

实时显示部分(20)，用于在其上显示示出了所述车辆(10)的周边的当前情况的周边图像，且所述周边图像的失真未被修正，和

历史显示部分(30)，用于在其上显示所述车辆图像和历史图像，所述历史图像基于所述历史数据生成，其中所述历史显示部分(30)邻接所述实时显示部分(20)；以及

绘图部(4)，其配置成在所述显示屏(8)的所述历史显示部分(30)上以叠加的方式绘制各自取自预定视点的所述车辆图像和历史图像，以使：

所述车辆图像和历史图像具有所述周边图像所具有的失真；并且

所述历史图像中显示的周边中物体连续地连接至所述周边图像中显示的周边中物体。

2.根据权利要求1所述的车辆周边显示设备，其中：

所述绘图部(4)配置成在所述历史显示部分(30)上绘制所述周边中物体，使得所述历史显示部分(30)上的周边中物体的一部分被修正为具有直线形状，所述的一部分位于与所述实时显示部分(20)和历史显示部分(30)之间的边界相距预定距离或更远的位置。

3.根据权利要求1所述的车辆周边显示设备，其中：

所述绘图部(4)配置成进一步在所述历史显示部分(30)上绘制刻度线，用于指示距车辆(10)的距离。

4.根据权利要求1所述的车辆周边显示设备，其中：

预先存储在所述存储介质(5)中的所述车辆图像是计算机图形图像，其形成为计算机图形；

所述历史图像仅表示提取自所述历史数据的周边中物体；并且

在所述历史显示部分(30)上，所述绘图部(4)仅绘制所述车辆图像和路上物体图像，且所述车辆图像和周边中物体图像具有拍摄到的周边图像所具有的失真。

5.根据权利要求4所述的车辆周边显示设备，其中：

所述绘图部(4)配置成在所述历史显示部分(30)上绘制所述路面标记，使得所述历史显示部分(30)上的路面标记的颜色与所述实时显示部分(20)上的路面标记的颜色基本相同。

6.根据权利要求1所述的车辆周边显示设备，其中：

即使提取自所述历史数据的路面标记是不确定的，所述绘图部(4)也在所述历史显示部分(30)上绘制路面标记，使得所显示的路面标记具有恒定的颜色深度。

7.根据权利要求1所述的车辆周边显示设备，其中：

所述绘图部(4)配置成将期望的行驶路线叠加在所述实时显示部分(20)上的周边图像之上，所述期望的行驶路线表示期望的车辆(10)行驶路线；并且

在所述车辆(10)运动期间，当满足预定条件时，所述绘图部(4)放大所述周边图像、历史图像和车辆图像，并且禁止显示所述期望的行驶路线。

8.根据权利要求1所述的车辆周边显示设备，其中：

所述绘图部(4)进一步在所述历史显示部分(30)上绘制所述车辆(10)的车轴和所述车辆(10)的车轮的至少其中之一。

9.根据权利要求1所述的车辆周边显示设备，其中：

所述车辆(10)进一步配备有车辆(10)的仪表板的控制器；并且

所述绘图部(4)由所述控制器控制。

10.根据权利要求9所述的车辆周边显示设备，其中：

所述显示屏(8)设置在所述仪表板的一部分上。

11.根据权利要求1至10中任一项所述的车辆周边显示设备，其中：

所述成像装置(6)对所述车辆(10)后方的区域进行成像，以拍摄所述周边图像；并且

示出了所述车辆(10)的后方区域的当前情况的周边图像显示在所述实时显示部分(20)上，且所述周边图像的失真未被修正。

Images