CN110945866B - 车辆周边图像显示装置及车辆周边图像显示方法 - Google Patents

Abstract

本发明提供一种使驾驶员以更容易理解的方式识别停车操作时的停车框与本车辆的偏离的车辆周边图像显示装置及车辆周边图像显示方法。包括：连续输入由多个拍摄设备拍摄到的停车场中的本车辆的周边图像，存储所述周边图像，在所输入的周边图像中，用所存储的图像来补偿缺失的图像部分，并将补偿的图像与所述输入的周边图像进行合成，根据合成后的所述周边图像来生成从所述本车辆的顶部观察到的顶视图像，生成包含了所述顶视图像的显示图像，显示所生成的显示图像。

Description

车辆周边图像显示装置及车辆周边图像显示方法

技术领域

本发明涉及车辆周边图像显示装置及车辆周边图像显示方法，尤其涉及停车操作时对驾驶员的操作援助。

下记专利文献1中的现有技术是一种车辆周边观察系统，其对图像进行转换并显示，以使得侧视摄像机所显现的影像像是从驾驶员看到的自然角度一样，就像从驾驶员的视角看到的一样，从而使驾驶员识别轮胎的角度和边界线的状况。

下记专利文献2的现有技术是一种车辆周边图像显示装置，其将前方、后方的摄像机影像作为履历信息进行保留，根据履历信息将倒车时等会成为死角的部分拼凑成图像，并显示当前在图像的哪个部分。

现有技术文献

专利文献

专利文献1：日本专利特许第5134504号公报

专利文献2：日本专利特开2015－154125号公报

发明内容

发明所要解决的技术问题

专利文献1所涉及的现有技术是对影像进行加工，以使得驾驶员容易识别当前的轮胎和边界线的角度等然而，存在如下问题：根据所显现的车体和轮胎，驾驶员难以了解整个车体相对于边界线的倾斜情况。

专利文献2所涉及的现有技术试图根据由前方和后方的摄像机得到的图像的履历信息来识别位于周围的障碍物。然而，存在如下问题：不使用侧视摄像机，而使用由侧视摄像机和后视摄像机等的图像得到的从车辆顶部看到的车辆图像即顶视图像等合成图像，难以提高驾驶员对其的识别度。

并且，专利文献2所涉及的现有技术中，对位于周围的移动物体及障碍物进行识别，但对于停车操作时的边界线不进行任何处理。因而，无法将停车操作时边界线与本车辆的偏离以易于理解的方式告知驾驶员。

本发明的目的在于提供一种以更容易理解的方式使驾驶员识别停车操作时的停车框与本车辆的偏离的车辆周边图像显示装置及车辆周边图像显示方法。

解决技术问题所采用的技术方案

本发明是一种车辆周边图像显示装置，包括：多个拍摄设备，该多个拍摄设备对停车场中本车辆的周边进行拍摄；图像信号输入部，该图像信号输入部连续输入由多个所述拍摄设备拍摄到的所述本车辆的周边图像的图像信号；履历存储部，该履历存储部针对每个所述拍摄设备将输入至所述图像信号输入部的图像信号作为周边图像进行存储；图像补偿处理部，该图像补偿处理部在输入到所述图像信号输入部的周边图像中，用在所述履历存储部中存储的图像来补偿缺失的图像部分，并将所补偿的图像和输入到所述图像信号输入部的周边图像进行合成；顶视图像生成部，该顶视图像生成部根据合成后的所述周边图像来生成从所述本车辆的顶部观察到的顶视图像；显示图像生成部，该显示图像生成部生成包含有由所述顶视图像生成部生成的顶视图像的显示图像；以及显示装置，该显示装置对由所述显示图像生成部生成的显示图像进行显示。

发明效果

本发明提供一种车辆周边图像显示装置及车辆周边图像显示方法，在输入到图像信号输入部的周边图像中，用在履历存储部中存储的图像来补偿缺失的图像部分，并将所补偿的图像和输入到图像信号输入部的周边图像进行合成，根据合成后的周边图像来生成顶视图像，并显示于显示装置，从而以更容易理解的方式使驾驶员识别停车操作时的停车框与本车辆的偏离。

附图说明

图1是表示本发明的车辆周边图像显示装置的结构的一个示例的框图。

图2是示出本发明的车辆周边图像显示装置的安装于本车辆的各摄像机的设置例的图。

图3是本发明的实施方式1的向后并列式停车操作时及实施方式3的纵列式停车操作时的动作流程图。

图4是本发明的实施方式1的向后并列式停车操作时的本车辆周围的示意图。

图5是示出本发明的实施方式1的向后并列式停车操作时的顶视图像的一个示例的图。

图6是示出本发明的实施方式1的向后并列式停车操作时的顶视图像中停车框部分透视可见的情况的图。

图7是示出本发明的实施方式1的不在停车模式时的后视摄像机的拍摄图像的显示图像的一个示例的图。

图8是示出本发明的实施方式1的停车模式时的后视摄像机的拍摄图像的显示图像的一个示例的图。

图9是本发明的实施方式2的向前并列式停车操作时的动作流程图。

图10是本发明的实施方式2的向前并列式停车操作时的本车辆周围的示意图。

图11是示出本发明的实施方式2的向前并列式停车操作时的顶视图像的一个示例的图。

图12是示出本发明的实施方式2的向前并列式停车操作时的顶视图像中停车框部分透视可见的情况的图。

图13是示出本发明的实施方式2的不在停车模式时的前视摄像机的拍摄图像的显示图像的一个示例的图。

图14是示出本发明的实施方式2的停车模式时的前视摄像机的拍摄图像的显示图像的一个示例的图。

图15是本发明的实施方式3的纵列式停车操作时的本车辆周围的示意图。

图16是示出本发明的实施方式3的纵列式停车操作时的顶视图像的一个示例的图。

图17是示出本发明的实施方式3的纵列式停车操作时的顶视图像中停车框部分透视可见的情况的图。

图18是示出本发明的实施方式3的不在停车模式时的侧视摄像机的拍摄图像的显示图像的一个示例的图。

图19是示出本发明的实施方式3的停车模式时的侧视摄像机的拍摄图像的显示图像的一个示例的图。

图20是表示本发明的车辆周边图像显示装置的控制部的硬件结构的一个示例的图。

具体实施方式

本发明提供一种使驾驶员以容易理解的方式识别停车操作时的停车框与本车辆的偏离的车辆周边图像显示装置及车辆周边图像显示方法。

例如，驾驶员在停车场进行停车操作时，利用从左右的侧视摄像机和前后的摄像机拍摄到的影像获得的顶视图像等图像，使驾驶员能根据图像容易地理解本车辆与停车框以怎样的程度倾斜。

此外，在进行停车操作时，从驾驶员看的死角区域实时地进行变化，因此通过不仅利用摄像机图像，还利用顶视图像等，从而在视觉上容易理解停车框与本车辆的倾斜偏离。

并且，对于在顶视图像和各摄像机图像中难以由本车辆的图像识别路面的状态的部分，通过使本车辆部分的图像透视，并将其与路面的图像重叠，从而使驾驶员容易识别成为驾驶员死角的部分。

下面，使用附图并按照各实施方式来对本发明所涉及的车辆周边图像显示装置以及车辆周边图像显示方法进行说明。此外，在各实施方式中，用相同标号表示相同或相当部分，并省略重复说明。

图1是表示本发明的车辆周边图像显示装置的结构的一个示例的框图。本发明中，在本车辆的前方安装前视摄像机2FO、在左右侧安装侧视摄像机2LE、2RI，在后方安装后视摄像机2RE。前视摄像机2FO安装在能拍摄本车辆前方的预定的设定角度范围的位置。侧视摄像机2LE、2RI安装于能从一般停车场的通路看到左右边界线的左右的预定的设定角度范围的位置。后视摄像机2RE安装在能拍摄后方的预定的设定角度范围的位置。在图2中示出各摄像机2FO、2LE、2RI、2RE在本车辆100上的安装位置的示例。只要是满足上述的拍摄设定角度范围的位置，即使将摄像机安装在图2所示的位置以外也没有问题。

各摄像机2FO、2LE、2RI、2RE分别构成拍摄设备。

将来自各摄像机2FO、2LE、2RI及2RE的本车辆的周边信息输入图1的图像生成显示控制部30。并且，对周边图像实施预定的处理，在构成显示装置的显示监视器6上显示使驾驶员以更容易理解的方式识别停车操作时的停车框与本车辆的偏离的显示。图像生成显示控制部30具备图像生成显示处理部10和图像显示控制输入部21。

图像生成显示处理部10包括：图像信号输入部11、停车位置路面图像提取部12、边界线挡轮器检测部13、图像补偿处理部14、顶视图像生成部15、显示图像生成部16、图像透视处理部17、停车状态检测部18、以及履历存储部20。

图像显示控制输入部21从装置外部输入以下信号。

通过驾驶员操作H/I(人机界面)7来输入所输入的显示切换指令等。

此外，输入包含有本车辆的速度、方向盘转角、档位信息、侧向制动器信息等的车辆信息CAI。

对于本发明的车辆周边图像显示装置的处理进行说明。

首先，在停车场内找停车位置时，利用侧视摄像机2LE、2RI拍摄停车框部分。所拍摄到的本车辆的周边图像的图像信号通过图像信号输入部11输入。对于每个摄像机，将所输入的图像信号作为周边图像保存于履历存储部20。持续拍摄直到本车辆完全停在停车框中。保存于履历存储部20的周边信息包括：所拍摄到的停车框、更详细地说停车框的边界线及挡轮器的至少一个、以及路面的影像，进行更新使得始终保存过去的设定期间内的图像数据。

通过图像生成显示处理部10的控制，在显示监视器6上显示从本车辆的顶部观察到的顶视图像及各摄像机2FO、2LE、2RI、2RE的周边图像。由顶视图像生成部15生成顶视图像。显示监视器6的显示方式可根据通过驾驶员操作H/I7来输入的显示切换指令进行变更。在停车操作时，利用图像补偿处理部14和图像透视处理部17等对图像实施补偿处理、透视处理，本车辆部分在透视的状态下进行透视显示。除了停车操作时以外，本车辆部分不透视地显示。

边界线挡轮器检测部13根据所拍摄到的图像，检测停车框的边界线和挡轮器，用以决定本车辆要停入的停车框。若没有边界线和挡轮器，则检测位于停车方向的图6中用W表示的墙壁等障碍物。

显示图像生成部16根据所输入的本车辆的车辆信息CAI及显示切换指令、图像生成显示处理部10的处理状态，对顶视图像及各摄像机的图像、进一步分别实施了补偿处理、透视处理后的图像进行切换或合成，生成显示于显示监视器6的显示图像。在由边界线挡轮器检测部13检测到判断为停车框的对象的情况下，显示图像生成部16在显示顶视图像及各摄像机的图像时，在摄像机的图像的停车框的部分进行边界线检测的显示。

停车状态检测部18判断此时本车辆是否在进行停车操作。停车状态检测部18在向前并列式停车的情况下，在前视摄像机2FO所显现的停车框的边界线与本车辆的位置缩短到预定的阈值以下的距离时，判断为本车辆处于停车操作状态。在进行向后并列式停车时，车辆信息CAI示出置于用“R”表示的倒车档位的情况时，判断为本车辆处于停车操作状态。

在进行纵列式停车时，与向后并列式停车时相同，停车状态检测部18在车辆信息CAI示出置于倒车“R”的档位时，判断为本车辆处于停车操作状态。向后并列式停车时与纵列式停车时的处理除了显示于显示监视器6的影像外都相同。

此外，停车状态检测部18在边界线挡轮器检测部13检测到停车框时，根据拍摄到的图像，求出本车辆与要停入的停车框的边界线或挡轮器之间的距离。各摄像机的图像不断被更新，因此根据1帧前的图像与当前的图像判断为本车辆朝向停车框时，判断为本车辆处于停车操作状态。

在转移至停车操作时，如后述的图8、14所例示，由显示图像生成部16在各摄像机的图像中实时地重叠显示并更新本车辆的车轮的位置100a。该位置100a分别在各摄像机原始图像、各摄像机鸟瞰图图像、顶视图像中被重叠显示。

此外，本发明的车辆周边图像显示装置具有在停车操作时利用前视摄像机2FO或后视摄像机2RE检测挡轮器的功能。停车状态检测部18计算从本车辆到后述的图4所例示的挡轮器STP为止的距离、角度。并且，在被本车辆的车体等遮住而肉眼和摄像机无法观察到的情况下，由图像透视处理部17使本车辆透视可见，由显示图像生成部16生成显示图像，使得驾驶员能确认挡轮器的位置。

在停车操作时的各摄像机的周边图像和顶视图像进行显示时，也由边界线挡轮器检测部13进行边界线、挡轮器的检测，显示图像生成部16将边界线、挡轮器的检测结果显示在显示监视器6的画面上。而且，在进行停车操作时，根据该边界线或挡轮器与从车辆信息CAI获得的本车辆的轮胎的朝向以及方向盘转角，将本车辆与边界线的偏离显示于画面上。

由此，驾驶员能识别停车框与本车辆的倾斜情况，因此停车操作时的折回等次数减少，驾驶员的负担变小。

以下，对本发明的各实施方式的停车操作时的车辆周边图像显示装置的基本动作进行说明。

实施方式1﹒

向后停车操作时的情况

图3是本发明的实施方式1的向后并列式停车操作时及实施方式3的纵列式停车操作时的动作流程图。图4是本发明的实施方式1的向后并列式停车操作时的本车辆周围的示意图。在图4中，100表示本车辆，101R表示本车辆的行进方向，102RE表示后视摄像机2RE的拍摄范围，110表示停放着的其他车辆，120表示停车框和边界线。

根据图3，在图像生成显示处理部10中，若从车辆信息CAI得到的本车辆100的车速例如为20km/h以下，侧视摄像机2LE、2RL的图像中并列有多台其他车辆(步骤S1)，则边界线挡轮器检测部13处于停车框检测状态(步骤S2)。

显示图像生成部16在显示监视器6上显示顶视图像或各摄像机图像(步骤S3)。驾驶员能通过H/I7随时变更该显示监视器6的显示形式。

履历存储部20随时保存各摄像机2FO、2LE、2RI及2RE的图像(步骤S4)。

在进行向后停车操作时的情况下，停车状态检测部18检测到本车辆在进行停车操作时将档位置于倒车档位“R”(步骤S5)，并转移至停车操作模式(步骤S6)。

并且，利用显示图像生成部16和顶视图像生成部15，停车操作模式时的显示监视器6的画面基本上用顶视图像来显示。而且，利用停车位置路面图像提取部12、图像补偿处理部14、以及图像透视处理部17，使本车辆部分透视，进行本车辆的下侧的路面部分透视可见的显示。由此，驾驶员能确认本车辆下方的路面部分。此时，组合履历存储部20的图像与实际状况的摄像机的图像，并在顶视图像中进行透视显示(步骤S7)。驾驶员能任意地变更图像。此外，各摄像机2FO、2LE、2RI及2RE的图像也同样地进行透视处理并显示(步骤S8)。

驾驶员能通过H/I7的操作任意地变更显示于显示监视器6的图像，例如：“顶视图像”->“后视摄像机鸟瞰图图像”->“后视摄像机原始图像”。顶视图像和后视摄像机鸟瞰图图像通过使本车辆部分成为透视图像来进行显示，使得被本车辆遮住的路面部分透过本车辆可见。

然后，停车操作结束，本车辆的档位成为停车档“P”，若施加侧向制动，则停车状态检测部18判断为停车操作(步骤S9)。

图5是本发明的实施方式1的向后并列式停车操作时的顶视图像的一个示例的图。图6是本发明的实施方式1的向后并列式停车操作时的顶视图像中停车框部分透视可见的情况的图。本车辆100的部分透视，从而在图6中，本车辆100的部分下方的边界线120透视可见。

图7是本发明的实施方式1的不在停车模式时的后视摄像机的拍摄图像显示图像的一个示例的图。图8是本发明的实施方式1的停车模式时的后视摄像机的拍摄图像的显示图像的一个示例的图。图7的图像的上下部分IV从本车辆是看不到的。向后并列式停车操作时,是看不到空的停车框的。对此，图8中，使图像的上下部分PE透视显示，容易看到空停车框的边界线120。显示图像生成部16可以显示本车辆的车轮的位置100a。

实施方式2﹒

向前停车操作时的情况

图9是本发明的实施方式2的向前并列式停车操作时的动作流程图。图10是实施方式2的向前并列式停车操作时的本车辆周围的示意图。在图10中，100表示本车辆，101F表示本车辆的行进方向，102FO表示前视摄像机2FO的拍摄范围，110表示停放着的其他车辆，120表示停车框和边界线。

在向前停车操作时的情况下，在图9的步骤S5a中，停车状态检测部18在本车辆100与停车框的边界线120的距离缩短到预定的阈值以下的距离时，转移至停车模式。而且，停车模式时的显示监视器6的画面显示与向后停车操作时相同，基本上以顶视图像进行显示，进行使本车辆100的部分透视从而路面部分透视可见的显示，从而能确认本车辆下方的路面部分。

图11是本发明的实施方式2的向前并列式停车操作时的顶视图像的一个示例的图。图12是本发明的实施方式2的向前并列式停车操作时的顶视图像中停车框部分透视的情况的图。本车辆100的部分透视，从而在图12中，显示为本车辆100部分下方的边界线120透视可见。

图13是示出本发明的实施方式2的不在停车模式时的前视摄像机2FO的拍摄图像的显示图像的一个示例的图。图14是示出本发明的实施方式2的停车模式时的前视摄像机的拍摄图像的显示图像的一个示例的图。图13的图像的下部IV从本车辆是看不到的。向前并列式停车操作时，是看不到空的停车框的。对此，图14中，使图像的下部PE透视显示，容易看到空停车框的边界线120。显示图像生成部16可以显示本车辆的车轮的位置100a。

实施方式3﹒

纵列式停车操作时的情况

本发明的实施方式3中的纵列式停车操作时的动作流程图与图3相同。图15是本发明的实施方式3的纵列式停车操作时的本车辆周围的示意图。在图15中，100表示本车辆，101R表示本车辆的行进方向，102RE表示后视摄像机2RE的拍摄范围，102LE表示右侧的侧视摄像机2LE的拍摄范围，110表示停放着的其他车辆，120表示停车框和边界线。

纵列式停车操作的情况下，与实施方式1的向后停车操作时相同，停车状态检测部18在步骤S5中检测到本车辆在停车操作时将档位置于倒车档位“R”，并转移至停车操作模式。

由显示图像生成部16显示于显示监视器6的图像除了向后停车操作时的图像以外，还追加显示侧视摄像机2LE、2RI的图像。这是为了应对在纵列式停车操作时的后退时因不知道与前面车辆之间的距离而可能发生碰撞的情况，因此还显示侧视摄像机2LE、2RI的图像。

在显示侧视摄像机2LE、2RI的图像的情况下，利用显示图像生成部16来进行处理，将侧视摄像机2LE、2RI的图像转换成驾驶员容易观察识别的角度。通过角度转换处理，在一眼看到侧视摄像机的图像时，容易理解本车辆与对方车辆之间的距离、角度以及位置的状况，停车的难度降低。

图16是示出本发明的实施方式3的纵列式停车操作时的顶视图像的一个示例的图。图17是示出本发明的实施方式3的纵列式停车操作时的顶视图像中停车框部分透视的情况的图。本车辆100部分透视，从而在图17中，显示为本车辆100部分下方的边界线120透视可见。

图18是示出本发明的实施方式3的不在停车模式时的侧视摄像机的拍摄图像的显示图像的一个示例的图。图19是示出本发明的实施方式3的停车模式时的侧视摄像机的拍摄图像的显示图像的一个示例的图。图18的图像的下部IV从本车辆是看不到的。纵列式停车操作时，是看不到空的停车框的。对此，图19中，使图像的下部PE透视显示，容易看到空停车框的边界线120。

本发明中，根据以上的实施方式，提供一种车辆周边图像显示装置及车辆周边图像显示方法，在由周边监视用的摄像机的鸟瞰图图像等形成的顶视图像及各摄像机图像中，通过对本车辆部分进行透视处理，并用摄像机图像来补偿进行了透视处理的部分并重叠，来显示摄像机的图像内所显现的被本车辆部分变成死角的路面的边界线及本车辆下方的状况，从而能使驾驶员容易识别本车辆与停车框周围的状态，使得在进行本车辆的停车操作时，边界线与本车辆的位置的偏离得以消除。

构成拍摄设备的各个摄像机2FO、2LE、2RI、2RE对停车场中的本车辆的周边进行拍摄。图像信号输入部11连续输入用多个拍摄设备2拍摄到的本车辆的周边图像的图像信号。履历存储部20针对每个拍摄设备2，将输入到图像信号输入部11的图像信号作为周边图像进行存储。图像补偿处理部14在输入到图像信号输入部11的周边图像中，用在履历存储部20中存储的图像来补偿缺失的图像部分，并将所补偿的图像和输入到图像信号输入部11的周边图像进行合成。顶视图像生成部15根据合成后的周边图像来生成从本车辆的顶部观察到的顶视图像。显示图像生成部16生成包含有由顶视图像生成部15生成的顶视图像的显示图像。并且，显示监视器6对由显示图像生成部16生成的显示图像进行显示。

此外，由图像补偿处理部14补偿的图像部分是包含有停车框的边界线或挡轮器的部分，图像透视处理部17对图像进行透视处理，使得停车框的边界线或挡轮器能够透过在停车操作时所补偿的图像部分挡轮器可见。

这里，对顶视图像的情况进行举例，图像补偿处理部14在输入到图像信号输入部11的周边图像中，用在履历存储部20中存储的以前的图像来补偿缺失的例如图6所示的周边图像的中心的本车辆100部分的图像。而且，将所补偿的图像与输入至图像信号输入部11的周边图像进行合成。顶视图像生成部15根据合成后的周边图像来生成顶视图像。而且，图像透视处理部17对图像进行透视处理，以使停车框的边界线或挡轮器能够透过所补偿的图像部分挡轮器可见。即，进行透视处理，以使得图6所示的保留了本车辆100部分的周围的轮廓100e的内侧部分，包含通过补偿得到的本车辆下方的停车框的边界线120等的路面部分透视可见。由此，驾驶员能根据显示监视器6的画面显示确认本车辆100与边界线120的倾斜。

此外，边界线挡轮器检测部13根据拍摄到的图像检测停车框的边界线或挡轮器以决定本车辆要停入的停车框时，停车状态检测部18根据拍摄到的图像，求出本车辆与要停入的停车框的边界线或挡轮器之间的距离。由此，显示图像生成部16生成包含本车辆与所述停车框的边界线或挡轮器之间的距离的显示图像。

停车位置路面图像提取部12基于边界线挡轮器检测部13和停车状态检测部18的检测结果，从拍摄到的图像中提取要停入的停车框的路面的图像。

由图像补偿处理部14根据停车位置路面图像提取部12的提取图像进行补偿处理，由图像透视处理部17进行透视处理，显示图像生成部16利用以要停入的停车框的路面的图像进行了补偿及透视处理后得到的顶视图像或由多个拍摄设备2拍摄到的周边图像来生成显示图像。

履历存储部20将多个拍摄设备2拍摄到的周边图像作为履历进行保存，边界线挡轮器检测部13根据履历存储部20的周边图像来检测本车辆要停入的停车框的边界线或挡轮器。

边界线挡轮器检测部13在寻找本车辆要停入的停车框时，通过检测由多个拍摄设备2拍摄到的各方向的周边图像中的停车框、本车辆的方向盘转角、档位信息、以及检测出停车框内有本车辆宽度以上的空间从而成为停车目标的边界线，并且检测停车框内的挡轮器，或者若没有挡轮器则检测位于停车方向的障碍物。

多个拍摄设备2由安装于本车辆的前、后、左、右的摄像机构成。

另外，在上述各实施方式中，由图1所示的各功能块表示的图像生成显示控制部30可以由各个控制电路构成，或者也可以由1个控制电路以汇总方式构成。

关于这一点，实现上述功能的处理电路可以是专用硬件，也可以是执行存储于存储器的程序的CPU(也称为CentralProcessingUnit、中央处理装置、处理装置、运算装置、微处理器、微机、处理器、DSP)来构成。

图20中的(a)简要表示由硬件来构成了上述功能的情况下的硬件结构，图20中的(b)简要表示由软件构成了上述功能的情况下的硬件结构。

在由图20中的(a)所示的硬件构成了上述各部分的功能的情况下，处理电路1000相当于例如单一电路、复合电路、编程处理器、并联编程处理器、ASIC、FPGA或它们的组合。上述各部分的功能可以分别用处理电路来实现，也可以汇总各部分的功能由处理电路来实现。

在上述各部分的功能由图20中的(b)所示的CPU构成的情况下，上述各部分的功能通过软件、固件、或软件和固件的组合来实现。软件、固件记述为程序，存储于存储器2100中。作为处理电路的处理器2000读取存储于存储器2100的程序并加以执行，从而实现各部分的功能。也可以说这些程序是使计算机执行上述各部的步骤、方法的程序。此处，存储器2100例如指RAM、ROM、闪存、EPROM、及EEPROM等非易失性或易失性的半导体存储器、或磁盘、软盘、光盘、压缩磁盘、小型磁盘、以及DVD等。

另外，对于上述各部分的功能，可以用专用硬件来实现一部分功能，并用软件或固件来实现一部分功能。

由此，处理电路可以利用硬件、软件、固件或它们的组合来实现上述各功能。

另外，在硬件构成的情况下将处理所需的各种信息预先设定于电路，另外在软件构成的情况下将处理所需的各种信息预先存储于存储器。

工业上的实用性

本发明的车辆周边图像显示装置及车辆周边图像显示方法可适用于各种领域、各种形式的车辆。

标号说明

2FO 前视摄像机

2RE 后视摄像机

2LE、2RI 侧视摄像机

6 显示监视器

7 H/I(人机界面)

10 图像生成显示处理部

11 图像信号输入部

12 停车位置路面图像提取部

13 边界线挡轮器检测部

14 图像补偿处理部

15 顶视图像生成部

16 显示图像生成部

17 图像透视处理部

18 停车状态检测部

20 履历存储部

21 图像显示控制输入部

30 图像生成显示控制部

100 本车辆

120 边界线(停车框)

1000 处理电路

2000 处理器

2100 存储器。

Claims (7)

1.一种车辆周边图像显示装置，其特征在于，包括：

多个拍摄设备，该多个拍摄设备对停车场中的本车辆的周边进行拍摄；

图像信号输入部，该图像信号输入部连续输入由多个所述拍摄设备拍摄到的所述本车辆的周边图像的图像信号；

履历存储部，该履历存储部针对每个所述拍摄设备，将输入至所述图像信号输入部的图像信号作为周边图像进行存储；

图像补偿处理部，该图像补偿处理部在输入到所述图像信号输入部的周边图像中，用在所述履历存储部中存储的图像来补偿缺失的图像部分，并将补偿的图像和输入到所述图像信号输入部的周边图像进行合成；

顶视图像生成部，该顶视图像生成部根据合成后的所述周边图像来生成从所述本车辆的顶部观察到的顶视图像；

显示图像生成部，该显示图像生成部生成包含有由所述顶视图像生成部所生成的顶视图像的显示图像；

显示装置，该显示装置对由所述显示图像生成部所生成的显示图像进行显示；

图像透视处理部，由所述图像补偿处理部补偿的图像部分是包含有停车框的边界线或挡轮器的部分，所述图像透视处理部对图像进行透视处理，以使得停车框的边界线或挡轮器能够透过停车操作时被补偿的图像部分而可见；

边界线挡轮器检测部，该边界线挡轮器检测部为了决定本车辆要停入的停车框，根据所拍摄到的图像，检测停车框的边界线或挡轮器；以及

停车状态检测部，该停车状态检测部根据拍摄到的图像，求出本车辆与要停入的停车框的边界线或挡轮器之间的距离，

所述显示图像生成部将本车辆与所述停车框的边界线或挡轮器之间的距离包含在内地生成显示图像，

所述边界线挡轮器检测部在寻找本车辆要停入的停车框时，通过检测由多个所述拍摄设备拍摄到的各方向的周边图像中的停车框、本车辆的方向盘转角、档位信息、以及检测出在停车框内有本车辆宽度以上的空间从而成为停车目标的边界线，并进一步检测停车框内的挡轮器，或者没有挡轮器的情况下进一步检测位于停车方向的障碍物。

2.如权利要求1所述的车辆周边图像显示装置，其特征在于，

还包括停车位置路面图像提取部，该停车位置路面图像提取部基于所述边界线挡轮器检测部和所述停车状态检测部的检测结果，从拍摄到的图像中提取要停入的停车框的路面的图像。

3.如权利要求2所述的车辆周边图像显示装置，其特征在于，

利用所述停车位置路面图像提取部的提取图像，由所述图像补偿处理部进行补偿处理，由所述图像透视处理部进行透视处理，

由所述显示图像生成部基于利用要停入的停车框的路面的图像进行了补偿及透视处理后得到的所述顶视图像或由多个所述拍摄设备拍摄到的周边图像，来生成显示图像。

4.如权利要求1至3中任一项所述的车辆周边图像显示装置，其特征在于，

所述履历存储部将多个所述拍摄设备拍摄到的周边图像作为履历进行保存，

所述边界线挡轮器检测部根据所述履历存储部的周边图像来检测本车辆要停入的停车框的边界线或挡轮器。

5.如权利要求1至3中任一项所述的车辆周边图像显示装置，其特征在于，

多个所述拍摄设备由安装于本车辆的前、后、左、右的摄像机构成。

6.如权利要求4所述的车辆周边图像显示装置，其特征在于，

多个所述拍摄设备由安装于本车辆的前、后、左、右的摄像机构成。

7.一种车辆周边图像显示方法，其特征在于，包括：

连续输入由多个拍摄设备拍摄到的停车场中的本车辆的周边图像；

存储所述周边图像；

在所输入的周边图像中，用所存储的图像来补偿缺失的图像部分，并将补偿的图像与输入的所述周边图像进行合成；

根据合成后的所述周边图像来生成从所述本车辆的顶部观察到的顶视图像；

生成包含了所述顶视图像的显示图像；

显示所生成的显示图像；

补偿的图像部分是包含有停车框的边界线或挡轮器的部分，对图像进行透视处理，以使得停车框的边界线或挡轮器能够透过停车操作时被补偿的图像部分而可见；

为了决定本车辆要停入的停车框，根据所拍摄到的图像，检测停车框的边界线或挡轮器；

根据拍摄到的图像，求出本车辆与要停入的停车框的边界线或挡轮器之间的距离；

将本车辆与所述停车框的边界线或挡轮器之间的距离包含在内地生成显示图像；

在寻找本车辆要停入的停车框时，通过检测由多个所述拍摄设备拍摄到的各方向的周边图像中的停车框、本车辆的方向盘转角、档位信息、以及检测出在停车框内有本车辆宽度以上的空间从而成为停车目标的边界线，并进一步检测停车框内的挡轮器，或者没有挡轮器的情况下进一步检测位于停车方向的障碍物。

Images