CN101102482A - 车辆图像显示系统以及图像显示方法 - Google Patents

Abstract

当图像处理装置使车载摄像机拍摄的图像改变视点，并且将图像结合成俯视图图像，并将掩盖重叠在俯视图图像的各结合部上以在显示器上显示其作为被监视的图像时，在预定条件建立后，俯视图图像的掩盖部被突出显示直到经过预定时间。因此，只有当需要将掩盖部显示给车辆使用者的时候，掩盖部能够被使得醒目，并且能够显示很容易被看见的俯视图图像，同时防止掩盖部的警示有效性的降低。

Description

车辆图像显示系统以及图像显示方法

技术领域

本发明涉及一种车辆图像显示系统以及图像显示方法，其用于拼接多个车载摄像机拍摄的多幅图像以形成一幅合成图像，然后将该合成图像显示在车厢内的显示设备上。

背景技术

当前已有广泛应用的一种技术是拼接多个车载摄像机拍摄的多幅图像以形成一幅合成图像，然后将该合成图像显示在车厢内的显示设备上以扩大驾驶员的视野，从而增加了汽车驾驶的安全性。在许多情况下，由于在结合部图像连续性的丧失，通过拼接多幅图像形成的合成图像不能精确地反映实际的环境。在这些情况下，如日本专利公开申请文本第2003-67735号中所揭示的方法，通过将图像结合部掩盖起来表示结合部位图像的不精确性，从而为车辆的使用者提供警示作用。

然而，按照传统技术，掩盖部总是以一定的显示形式重叠在合成图像的结合部上。因此，例如，当车辆使用者习惯了这种显示的时候，掩盖部失去可视性，造成警示有效性的减弱。

发明内容

本发明的开发就是为了解决传统技术的上述问题，并且本发明的一个目的是提供一种车辆图像显示系统和一种图像显示方法，能够显示很容易就被看到的合成图像同时防止掩盖部警示有效性的降低。

按照本发明，当拼接由车载摄像机拍摄的多幅图像以形成合成图像，并且掩盖部在合成图像上重叠以覆盖多幅图像之间的结合部并被显示出来时，通过在预定条件建立后将合成图像的掩盖部突出预定时间，车辆图像显示系统以及图像显示方法解决了这个问题。

附图说明

图1是显示根据本发明的车辆图像显示系统的配置框图。

图2是显示4个车载摄像机的安装位置和拍摄区域的具体实例的示意图。

图3是显示通过改变视点和拼接由安装在车辆上的四个车载摄像机拍摄的图像所形成的俯视图图像的示意图。

图4A到4C是显示由图像处理装置的图像合成单元执行的视点改变过程的示意图：图4A显示了真实摄像机和虚拟摄像机之间的位置和拍摄区域之间的关系，图4B显示了由真实摄像机拍摄的拍摄区域的图像(视点改变之前的图像)，图4C显示了由虚拟摄像机拍摄的拍摄区域的图像(视点改变之后的图像)。

图5是显示将掩盖部重叠起来以覆盖俯视图图像中的图像连接部分的状态的示意图。

图6是显示在显示器上显示的图像的屏幕配置方式的实例的示意图。

图7是显示在本实施例的车辆图像显示系统中在汽车的点火开关打开之后由图像处理装置执行的掩盖显示控制的过程的具体实例的流程图。

具体实施方式

下面将会描述根据本发明的一个实施例的一种车辆图像显示系统的具体实例，该系统能够显示从车辆上方的一个虚拟视点向下观察的车辆周围的合成图像。本发明的车辆图像显示系统包括由汽车的四个车载摄像机拍摄车辆周围的四个方向的图像，和在车厢内的显示器上显示多幅监视图像作为监视的图像同时根据车辆使用者的操作切换图像的功能。车辆图像显示系统包括改变由车载摄像机拍摄的原始图像的视点改变成纵览图像，并将图像拼接起来形成从车辆上方的虚拟视点来观察车辆周围的合成图像，然后将合成图与车载摄像机拍摄的原始图像中的一张结合起来并且在视点之前改变为将要显示在车厢的显示器上监视的图像的功能。

图1显示了本发明的车辆图像显示系统的结构图。该车辆图像显示系统包括作为主要部件的四个车载摄像机1a到1d、图像处理装置2以及车厢内的显示器3。点火器4、摄影机开关5、车速传感器6、反位开关7、图像变化开关8以及侧盲开关(side blind switch)9连接到图像处理装置2。

车载摄像机1a到1d安装在车辆的前、后、左、右侧，用于拍摄车辆四周的图像。例如，如图2所示，车载摄像机1a安装在车辆前侧的一个预定位置，例如靠近前侧栅格的位置以便拍摄车辆前侧的预定拍摄区域SP1的图像(下文中称为前视图图像)。车载摄像机1b安装在车辆左侧的一个预定位置，例如靠近左侧后视镜的位置以便拍摄车辆左侧的预定拍摄区域SP2的图像(下文中称为左视图图像)。车载摄像机1c安装在车辆后侧的一个预定位置，例如靠近顶棚阻流板的位置以便拍摄车辆后侧的预定拍摄区域SP3的图像(下文中称为后视图图像)。车载摄像机1d安装在车辆右侧的一个预定位置，例如靠近右侧后视镜的位置以便拍摄车辆右侧的预定拍摄区域SP4的图像(下文中称为右视图图像)。车载摄像机1a到1d拍摄的图像数据在需要的时候被送到图像处理装置2中。

图像处理装置2包括用于形成从车辆上方的虚拟视点俯视车辆四周形成的合成图像(下文中称为俯视图图像)的图像合成单元11，用于在由图像合成单元11形成的俯视图图像上叠加掩盖部的掩盖重叠单元12，用于控制由掩盖重叠单元12叠加的掩盖部的显示形式的掩盖控制单元13，以及用于选择在显示器3中显示为被监视图像的图像的图像选择单元14。

图像合成单元11通过使用描述转换前后的图像之间的图像地址的相关性的转换表将车载摄像机1a至1d拍摄的前视图图像、左侧视图图像、后视图图像、以及右侧视图图像视点改变成纵览图像，然后将这些图形拼接起来以形成与图3所示的相似的俯视图图像。图像合成单元11的视点改变过程意味着把与通过如以图4A的真实摄像机21所在的安装位置设为视点拍摄预定拍摄区域SP的图4B中所示的图像相似的图像，转换成与当使用图4A的虚拟摄像机22作为视点拍摄预定的拍摄区域SP时图4C中的纵览图像相似的纵览图像(在汽车中心的正上方的拍摄区域俯视的图像)的过程。转换前后图像之间的关系由车载摄像机的镜头参数以及安装角度唯一决定。因此，只需要按照转换表15将图像内存进行坐标转换就可实现图像合成单元11的视点改变过程。图像合成单元11为车载摄像机1a至1d拍摄的前视图图像、左视图图像、后视图图像以及右视图图像执行视点改变过程，将获得的纵览图像中必需的部分剪切掉并将图像拼接形成与图3所示的图像相似的俯视图图像。

在图3的图像实例中，图形区域A1是将车载摄像机1a拍摄的前视图图像进行视点改变后形成的纵览图像的一部分的剪裁，图形区域A2是将车载摄像机1b拍摄的左视图图像进行视点改变后形成的纵览图像的一部分的剪裁，图形区域A3是将车载摄像机1c拍摄的后视图图像进行视点改变后形成的纵览图像的一部分的剪裁，图形区域A4是将车载摄像机1d拍摄的右视图图像进行视点改变后形成的纵览图像的一部分的剪裁。在图3的图像实例中，图像中心的阴影部分表示车辆的位置。

掩盖重叠单元12在掩盖控制单元的控制之下，将俯视图上的掩盖部M重叠以覆盖由图像合成单元11形成的俯视图图像的A1到A4的相邻图像之间的结合部分。由图像合成单元11形成的俯视图图像是通过前述的视点改变过程将各纵览图像结合起来形成的图像。因此，由于视点改变的影响而造成的图像失真集中在图像区域A1至A4的各结合部，也就是纵览图像的结合部，从而失去图像的连续性。特别地，当路上的一个固态物体出现在俯视图图像的图像区域A1至A4的各结合部中时，由于图像连续性的丧失，对该物体的识别是困难的。因此，例如，如在图5中所示，掩盖重叠单元12重叠掩盖部M在由图像合成单元11形成的俯视图图像的相邻图像区域A1到A4的结合部分上，从而使车辆使用者能够意识到引起图像准确度缺乏的结合区域的存在。在图5的图像实例中，图像中心的车辆V是叠在俯视图图像上的一幅计算机合成图(CG)，以使车辆使用者知道车辆所在的位置。

如前所述，掩盖部M在俯视图图像上重叠以覆盖结合部分，并且这些部位的不精确图像被呈现给车辆使用者以给出警示。然而，如果掩盖部M一直以固定的显示形式重叠，例如，当车辆使用者习惯了这种显示样式的时候，就有可能导致对掩盖部M失去可视性从而造成警示有效性的减弱。

因此，本发明的车辆图像显示系统包括位于图像处理装置12之中的掩盖控制单元13。掩盖控制单元13能够合理的改变重叠在俯视图图像上的掩盖部M的显示形式。特别地，掩盖控制单元13控制掩盖部M的显示形式，从而在预设的条件建立后俯视图图像的掩盖部M能突出显示预定时间段。预设的条件指的是需要通过掩盖部M对车辆使用者发出警示的一些特定情况，例如，在点火器4打开后，通过摄像机开关5的操作使俯视图图像首先显示在显示器3上的时候。对预设条件来说，除了点火器4打开后俯视图图像首先显示在显示器3这种条件之外，还能按照经验和市场需求设定其他不同的条件。预定时间长度的设置应能引起车辆使用者对俯视图中的掩盖M的足够注意，比如说，7秒钟。

一种突出显示掩盖部M的实例是改变掩盖部M的显示颜色。换句话说，掩盖部M仅仅在预设的条件触发后并在预定的时间过去之前显示醒目的颜色比如黄色以给予警示，然后呈一种相对而言不太醒目的颜色比如黑色。即使在相同颜色的情况下，也可以在预设的条件出发后并在预定的时间过去之前采用一种亮度加亮显示掩盖部M并随后采用比第一种亮度低的亮度显示掩盖部M，从而到达相同的效果。在相同颜色的情况下，还可以在预设的条件触发后并在预定的时间过去之前使掩盖部M闪烁显示并随后继续稳定显示掩盖部M，同样可以达到前述的效果。进一步，如果在预设的条件建立后掩盖部M采用醒目的颜色比如黄色进行闪烁而显示预定时间，并随后采用相对不太醒目的颜色比如黑色并连续地显示掩盖部M，警示的效果会得到加强。

根据车辆使用者的开关操作，通过使用突出显示的控制为有效作为条件的设定执行掩盖控制单元13的掩盖部M的突出显示控制。因此，车辆使用者可以选择是否执行掩盖部M的突出显示控制，从而解决了车辆使用者由于对不必要的控制的执行而感到恼火的问题。

在掩盖部M的突出显示控制中，在预设的条件建立后并在预定的时间过去之后，掩盖部M由突出显示状态变成正常状态。掩盖部M的这种显示变化优先地缓慢地执行，持续一定的时间，如2秒钟。从而，能减少因为掩盖部M的显示形式的突变而造成的不舒服感。

如前述，掩盖控制单元13主要控制掩盖部M的突出显示从而防止对车辆使用者的警示效果的降低。此外，还能够控制掩盖部M的显示形式比如颜色或者亮度按照环境比如车厢里的明亮度等的改变而发生改变。特别的，例如，还可以按照以下方式实现控制：掩盖部M在白天显示黑色，而通过车灯的On/OFF信号或者自动灯光感应器的信号而在夜晚时显示成白色或者黑白闪烁的形式。因此，通过对掩盖部M的显示形式按照环境的变化执行控制并优化其改变方式，就有可能有效的减少俯视图图像的掩盖部M可见性的降低。

根据从车辆速度传感器6、反位开关7、图像改变开关8以及侧盲开关9输入的不同信号，图像选择单元14从由车载摄像机1a拍摄的前视图图像、由车载摄像机1b拍摄的左侧侧视图、由车载摄像机1c拍摄的后视图图像、由车载摄像机1d的拍摄的右视图图像以及由图像合成单元形成的俯视图图像中选择一幅图像作为监视图像显示在显示器3上，图像上还有掩盖重叠单元12形成的重叠的掩盖部M。

图6显示了被监视的显示器3上显示的一幅图像的屏幕配置结构。在图6的例子中，对需要在被监视的显示器3上显示的图像而言，整个屏幕分成左右两侧。俯视图图像可以显示在屏幕左侧的显示区域SA1，前视图图像、左视图图像、后视图图像、右视图图像中的任何一个都可以显示在屏幕右侧显示区域SA2中。

在图6所示的被监视图像的屏幕配置实例中，关于识别通过摄像机开关5的操作在显示器3中显示的被监视图像，图像选择单元14首先选择其上具有重叠掩盖部M的俯视图图像作为屏幕左侧的显示区域SA1中的显示图像，将前视图图像作为在屏幕右侧的显示区域SA2中的显示图像。然后，当车辆使用者操作屏幕转换开关8，图像选择单元14按照一定的顺序改变在屏幕右侧的显示区域SA2中显示的图像，依次为前视图图像->右视图图像->后视图图像->左视图图像->前视图图像……接受到反向信号表示反位开关7将转换位置的配置反向了，图像选择单元14随之将在屏幕右侧的显示区域SA2中显示的图像转换成后视图图像而不考虑前面提到的转换次序。

当车辆使用者操作侧盲开关9时，图像选择单元14将在屏幕左侧的显示区域SA1中显示的图像从俯视图图像转换成右视图图像。然后，当再一次操作侧盲开关9，在屏幕左侧的显示区域SA1中显示的图像从右视图图像转换成俯视图图像。在车速小于某个预定值的条件下，进行被监视图像的显示。当基于由车辆速度传感器6返回信号判定汽车行进速度等于或者大于该预定值时，将在显示器3中显示的图像从监视图像转换回原始图像，如，在操作摄像机开关5被操作开始显示被监视图像之前，显示器3中显示的导航图像或者电视图像。

下一步，参考图7中的流程图，将描述按照前述方式配置的本实施例的车辆图像显示系统的操作，重点说明作为本发明的特色的掩盖部M的显示控制。图7的流程图显示了在本实施例的车辆图像显示系统中在车辆点火开关4打开之后由图像处理装置2执行的掩盖部M的显示控制过程的一个具体的实例，假设点火器4打开之后，俯视图图像第一次显示，俯视图图像的掩盖部M被突出显示作为一个条件，并且突出显示方法将掩盖部M显示成黄色。在图像处理装置2中，选取由车载摄像机1a到1d拍摄的前视图图像、左视图图像、后视图图像以及右视图图像以保存图像和从这些图像形成俯视图图像的过程是与图7所示的过程并行执行的。

一旦打开车辆点火开关4，图像处理装置2首先在步骤S1监视摄像机开关5的打开操作。当车辆使用者打开摄像机开关5以从其输入“ON”信号时，图像处理装置2在步骤S2检查摄像机开关次数是否为0。摄像机开关次数表示在点火开关4处于打开状态时，摄像机开关5打开的次数。初始值为0，每打开一次摄像机开关5就增加1。因此，当在点火开关4打开之后，第一次打开摄像机开关5时，摄像机开关次数为0。

图像处理装置2根据摄像机开关5的ON操作在显示器3上显示包括俯视图图像的被显示的图像。在这种情况下，如果在步骤S2中的判断结果显示摄像机开关次数＝0，下一步骤S3中，用于计算预设时间(例如7秒钟)的计时器开始计时。在步骤S4中，摄像机开关次数增加到1。然后，在步骤S5中，选择黄色作为俯视图图像的掩盖部M的显示颜色，具有重叠其上以覆盖图像各结合部的黄色掩盖部M的俯视图图像作为被监视图像显示在显示器3中。

直到步骤3中启动的计时器计数结束，只要摄像机开关5被打开并且在汽车行进速度小于预定值时，持续采用黄色作为掩盖部M的显示颜色以突出俯视图图像。一旦在步骤S6中判定计时器的计数，程序进行到步骤S9，将俯视图图像的掩盖部M的显示颜色由黄色转换成黑色。

如果在步骤S3中启动的计时器的累计以前，在步骤S7中检测到摄像机开关5的关闭操作，流程执行到步骤S12，将显示器3中显示的图像由监视图像转换到诸如导航图像和电视图像之类的原始图像。如果在步骤S3中启动的计时器的累计以前，在步骤S8中基于车速传感器6传来的信号而判定车辆行进速度等于或者大于预定值，程序执行到步骤S12，将显示器3中显示的图像由监视图像转换成原始图像。

在点火开关4处于打开状态时，当摄像机开关5的打开和关闭操作重复多次时，每次摄像机开关5打开时，图像处理装置2在显示器3中显示包括俯视图图像的监视图像。在这种情况下，当摄像机开关次数为非0值时，步骤S2的判断结果为NO。此时，在步骤S9中，图像处理装置2选择黑色作为俯视图图像的掩盖部M的显示颜色，并将具有重叠在其上以覆盖图像结合部的黑色掩盖部M的俯视图图像作为被监视视图显示在显示器3上。只要摄像机5处于打开状态并且车辆行进速度小于预定值，监视图像就持续显示。在步骤S10中，如果检测到摄像机开关5的关闭操作，或者如果在步骤S11中，基于车速传感器6传回的信号判定汽车行进速度等于或者大于预定值，程序执行到步骤S12，将显示器3中显示的图像由当前监视图像转换成原始图像。

随后，在步骤S13中，图像处理装置2监控车辆点火开关4从打开到关闭的切换。如果点火开关4处于打开状态，则步骤S1以及其后的步骤都重复执行。如果点火开关4被关闭，则在步骤S14，摄像机开关次数被重置成0，此系列操作结束。

如上所述通过具体的实例，根据本实施例的汽车图像显示系统，当图像处理装置2使车载摄像机1a至1d拍摄的图像改变视点，将图像结合成俯视图图像，并将掩盖部M重叠在俯视图图像的各结合部上以将图像作为被监视图像显示在显示器3上时，例如，在如点火开关启动后俯视图图像首次显示的时间的预定条件建立后俯视图图像的掩盖部M被突出显示预定时间。因此，掩盖部M能够非常醒目的显示出来，特别是在需要利用掩盖部M对车辆的使用者给予警示的情况下，并且很容易看到的俯视图图像在显示器3中显示为监视图像，同时防止掩盖部M的警示有效性的降低。

于2006年7月6日提出的日本专利申请文本第P2006-186719号和于2007年6月15日提出的日本专利申请文本第P2007-158647号的全部内容以引用的形式结合到本文档中。

尽管本发明参考某些特定发明的实施例在前面进行了描述，但本发明不限于上述实施例。在本文档的指导下，对于本领域的技术人员，对前面描述的实施例的修改和变化是容易实现的。参考以下权利要求对本发明涉及的范围进行定义。

Claims (11)

1.一种车辆图像显示系统，其特征在于，包括：

多个车载摄像机，该多个车载摄像机用于拍摄车辆周围环境；

图像合成单元，该图像合成单元用于将由所述多个车载摄像机拍摄的图像拼接成合成图像；

掩盖重叠单元，该掩盖重叠单元用于重叠在所述合成图像上的掩盖部以覆盖多幅图像的结合部；

显示单元，该显示单元用于显示其上具有重叠的掩盖部的合成图像；以及

掩盖控制单元，该掩盖控制单元用于在预定条件建立后，突出所述合成图像的掩盖部直到经过一预定时间。

2.如权利要求1所述的车辆图像显示系统，其特征在于，其中在预定条件触发后，所述掩盖控制单元通过使合成图像的掩盖部闪烁直到经过预定时间来突出所述掩盖部，并且在预定时间经过后，继续所述掩盖部的显示。

3.如权利要求1所述的车辆图像显示系统，其特征在于，其中在预定条件建立后，所述掩盖控制单元采用第一显示颜色显示所述掩盖部来突出所述合成图像的掩盖部直到经过预定时间，在预定时间经过后，采用第二显示颜色显示所述掩盖部。

4.如权利要求3所述的车辆图像显示系统，其特征在于，其中所述第一显示颜色为黄色，所述第二显示颜色为黑色。

5.如权利要求2所述的车辆图像显示系统，其特征在于，其中在预定条件建立后，所述掩盖控制单元采用第一显示颜色闪烁合成图像的掩盖部来突出所述掩盖部直到经过预定时间，在预定时间经过后，利用第二显示颜色继续所述掩盖部的显示。

6.如权利要求5所述的车辆图像显示系统，其特征在于，其中所述第一显示颜色为黄色，所述第二显示颜色为黑色。

7.如权利要求1所述的车辆图像显示系统，其特征在于，其中在预定条件建立后，掩盖控制单元通过采用第一亮度来突出合成图像的掩盖部直到经过预定时间，在预定时间经过后，采用第二亮度显示掩盖部。

8.如权利要求1所述的车辆图像显示系统，其特征在于，其中当车辆点火开关打开后，合成图像首次显示时，所述掩盖控制单元突出合成图像的掩盖部直到经过预定时间。

9.一种车辆图像显示系统，包括：

多个车载摄像机，该多个车载摄像机用于拍摄车辆周围的环境；

图像合成单元，该图像合成单元用于将由所述多个车载摄像机拍摄的图像拼接成合成图像；

掩盖重叠单元，该掩盖重叠单元用于重叠在合成图像上的掩盖部以覆盖多幅图像的结合部；

显示单元，该显示单元用于显示其上具有重叠的掩盖部的合成图像；以及

掩盖控制单元，当车辆点火开关打开后，合成图像首次显示时，采用黄色突出合成图像的掩盖部直到经过预定时间，在预定时间经过后，采用黑色继续地显示掩盖部。

10.一种车辆图像显示系统，包括：

对车辆周围环境进行拍摄的拍摄手段；

将所述拍摄手段拍摄的多幅图像拼接起来以形成合成图像的手段；

将合成图像上的掩盖部重叠起来以覆盖多幅图像之间的结合部的手段；

将其上具有重叠的掩盖部的合成图像显示出来的手段；以及

在预定条件建立后，突出合成图像的掩盖部直到经过预定时间的手段。

11.一种图像显示方法，用于将多个车载摄像机拍摄的车辆周围的多幅图像拼接成合成图像，重叠在合成图像上的掩盖部以覆盖多幅图像之间的结合部，并在显示单元中显示合成图像，包括如下过程：

在预定条件建立后，执行用于突出合成图像的掩盖部直到经过预定时间的掩盖显示控制。

Images