CN110877572A - 周边监视装置 - Google Patents

Abstract

本发明提供一种能够进行如下显示的周边监视装置：在显示俯瞰图像的情况下，使周边物体的歪斜、伸长或模糊等难以显眼，并能够提高周边物体的识别性。周边监视装置包括：俯瞰图像生成部，该俯瞰图像生成部由对车辆的周边进行拍摄而得到的拍摄图像生成俯瞰图像；标识控制部，该标识控制部将表示能够使车辆移动的目标区域的目标区域标识、表示存在于车辆的周围的立体物的立体物标识及表示接近车辆的接近物的接近物标识中的至少一个标识以强调形态重叠于俯瞰图像上；以及显示调整部，在将车辆向目标区域引导时，该显示调整部降低辉度值和彩度中的至少任意一个来显示重叠了标识的俯瞰图像中的基于拍摄图像的图像区域。

Description

周边监视装置

技术领域

本发明的实施方式涉及周边监视装置。

背景技术

以往，已知有如下的技术：通过设置于车辆的多个拍摄部(相机)分别在不同的方向上对车辆周围的状况进行拍摄，对拍摄到的多个图像进行图像处理(例如视点转换处理)，并且将各图像连接而生成例如俯瞰图像。而且，已提出有一种周边监视装置，该周边监视装置通过向驾驶员提示所生成的俯瞰图像而容易进行车辆周边的监视。

专利文献1：日本专利第5321267号公报

但是，在如上述那样生成俯瞰图像时，要对拍摄到的图像进行视点转换等处理。其结果是，在所生成的俯瞰图像中显现的周边物体(例如其他车辆、行人、壁等障碍物)相对于现实的物体歪斜、伸长或模糊，从而容易成为伴有不协调感的图像。另外，俯瞰图像一般生成为以本车辆为中心而显示该车辆的周围，但在拍摄的图像中只能显现本车辆的一部分，因此难以在俯瞰图像上基于拍摄到的图像来显示本车辆。因此，有时显示预先准备的本车图标。在该情况下，由于形状规整的本车图标和存在歪斜、伸长或模糊等的周边物体混合存在于俯瞰图像上，因此图像中的不协调感变得明显。另外，当正在视觉辨认这样的俯瞰图像的情况下车辆(本车)移动时，本车图标与存在歪斜、伸长或模糊等的周边物体会相对地移动，因此存在不协调感进一步增大的问题。

发明内容

因此，本发明的目的是提供一种周边监视装置，该周边监视装置能够进行如下这样的显示：即使在显示俯瞰图像的情况下，也不易使周边物体的歪斜、伸长或模糊等显眼，且能够提高周边物体的识别性。

本发明的实施方式所涉及的周边监视装置包括例如：俯瞰图像生成部，该俯瞰图像生成部由对车辆的周边进行拍摄而得到的拍摄图像生成俯瞰图像；标识控制部，该标识控制部将表示能够使上述车辆移动的目标区域的目标区域标识、表示存在于上述车辆的周围的立体物的立体物标识以及表示接近上述车辆的接近物的接近物标识中的至少一个标识在所述俯瞰图像上以强调形态重叠；以及显示调整部，在将上述车辆向上述目标区域引导时，该显示调整部降低辉度值和彩度中的至少任意一个来显示重叠了上述标识的上述俯瞰图像中的基于上述拍摄图像的图像区域。根据该方案，例如在将车辆向目标区域引导时，俯瞰图像中的基于拍摄图像的图像区域以降低了辉度值、彩度的形态被显示，因此，在俯瞰图像上发生了歪斜、伸长或模糊的存在于本车周边的例如目标区域、立体物、接近物等会变得不显眼，能够降低对俯瞰图像的不协调感。另一方面，由于将目标区域、立体物、接近物等由标识以强调形态显示，因此容易掌握本车与由标识表示的目标区域、立体物、接近物等的相对位置关系及其存在，能够容易进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述俯瞰图像生成部也可以例如根据执行上述车辆的周边监视时的处理阶段而将上述俯瞰图像的显示区域的广度在以上述车辆为中心的规定范围的第一俯瞰显示区域与比上述第一俯瞰显示区域更广的第二俯瞰显示区域之间变更。根据该结构，例如在包含当进行周边监视时希望使用者识别的目标区域、立体物、接近物等这样的显示范围内提示俯瞰图像。其结果是，能够容易进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述显示调整部例如也可以在上述俯瞰图像的辉度值为规定值以上的情况下执行使上述辉度值降低的显示处理。根据该结构，例如在本车的周边本来就暗且目标区域、立体物、接近物等的歪斜、伸长或模糊等难以显眼的情况下，能够抑制使俯瞰图像没有必要地变暗。其结果是，能够容易进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述显示调整部例如也可以以使上述俯瞰图像的平均辉度值成为规定的目标辉度值的方式执行使上述辉度值降低的显示处理。根据该结构，例如，能够使俯瞰图像的辉度值的降低大致恒定，不论车辆周围的亮度如何(例如不论昼夜、室内外等)，都能够显示同样视觉表现的降低了辉度值的俯瞰图像。其结果是，能够容易进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述显示调整部例如也可以使用规定的恒定值对上述俯瞰图像的辉度值执行使上述辉度值降低的显示处理。根据该方案，例如，不论车辆周围的亮度如何，都能够使显示处理前后的辉度变化明显，能够容易使使用者认识到执行了使辉度值降低的处理。其结果是，容易使使用者实际感受到已易于进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述显示调整部例如也可以使基于上述拍摄图像的图像区域的辉度值降低，并且对于上述目标区域标识、上述立体物标识及上述接近物标识中的至少一个上述标识使辉度值不降低。根据该结构，例如，能够维持标识的视觉辨认性，容易使使用者实际感受到已易于进行基于俯瞰观察的本车周围的状况掌握(周边监视)。

本发明的实施方式所涉及的周边监视装置的上述显示调整部例如也可以在上述车辆直至上述目标区域为止的引导已结束的情况下，使上述图像区域中在引导时降低了的辉度值或彩度恢复。根据该结构，容易使使用者认识到引导已结束。

附图说明

图1是表示对搭载实施方式的周边监视装置的车辆的车室的一部分进行了透视的状态的例示性立体图。

图2是搭载实施方式的周边监视装置的车辆的例示性俯视图。

图3是包括实施方式的周边监视装置的周边监视系统的构成的例示性框图。

图4是例示性地表示以由周边监视系统的CPU实现的周边监视部为中心的构成的框图。

图5是说明由各拍摄部拍摄的被拍摄区域及其重复区域的一例的俯瞰示意图。

图6是表示在实施方式所涉及的周边监视装置中作为处理对象的原始图像的辉度分布和关注区域(ROI：Region of Interest)的设定位置的一例的示意图。

图7是例示性地说明在实施方式所涉及的周边监视装置中执行的辉度调整处理的一部分的图，是表示将车辆的前方的被拍摄区域的关注区域的辉度修正为目标辉度并与该修正对应的直线插值式的示意图。

图8是说明执行利用通过图7的直线插值式而设定的辉度进行的修正的情况的图，是表示车辆前方的被拍摄区域的修正前后的辉度状态的变化例的示意图。

图9是例示性地说明实施方式所涉及的周边监视装置的处理的一部分的图，是表示将车辆的侧方的被拍摄区域的关注区域的辉度修正为目标辉度并与该修正对应的直线插值式的示意图。

图10是表示对车辆周围的被拍摄区域进行了辉度修正的情况下生成的俯瞰图像的辉度状态的一例的示意图。

图11是表示在实施方式所涉及的周边监视装置中将在第一俯瞰显示区域中示出的俯瞰图像和车辆前方的实际图像显示于显示装置的画面中的状态的例示性示意图。

图12是表示在实施方式所涉及的周边监视装置中将在第二俯瞰显示区域中示出的俯瞰图像和车辆前方的实际图像显示于显示装置的画面中的状态的例示性示意图。

图13是表示在实施方式所涉及的周边监视装置中将在降低辉度值而显示的俯瞰图像上重叠显示有强调形态的标识的俯瞰图像和车辆前方的实际图像显示于显示装置的画面中的状态的例示性示意图。

图14是表示在实施方式所涉及的周边监视装置中车辆的引导开始后的显示装置的显示状态的图，是将在降低辉度值而显示的俯瞰图像上重叠显示有包含接近物标识的强调形态的标识的俯瞰图像和车辆前方的实际图像显示于显示装置的画面中的状态的例示性示意图。

图15是例示性地说明由实施方式所涉及的周边监视装置进行的俯瞰图像的显示以及引导车辆的一系列处理的流程的流程图。

符号说明

1车辆、1a本车图标、12显示装置、13转向操纵系统、14ECU、14a CPU、15、15a、15b、15c、15d拍摄部、16、17测距部、18制动系统、23驱动系统、30获取部、32周边状况检测部、34标识控制部、36通知部、38行驶辅助部、38a目标区域设定部、38b路径获取部、38c引导控制部、40周边监视部、42俯瞰图像生成部、44显示调整部、44a目标辉度变更部、44b辉度变换部、46关注区域设定部、48第一设定部、50第二设定部、50a线性插值部、50b个别辉度设定部、52显示区域变更部、66显示画面、66a实际图像画面、66b俯瞰图像画面、100周边监视系统。

具体实施方式

以下，公开本发明的例示性的实施方式。以下所示的实施方式的构成、以及由该构成带来的作用、结果以及效果是一个例子。本发明也能够通过以下的实施方式中所公开的构成以外的构成来实现，并且能够获得基于基本构成的各种效果、以及派生的效果中的至少一个。

如图1所示，在本实施方式中，搭载周边监视装置(周边监视系统)的车辆1可以是例如以未图示的内燃机为驱动源的汽车即内燃机汽车，也可以是以未图示的电动机为驱动源的汽车即电动汽车、燃料电池汽车等。另外，可以是将它们双方作为驱动源的混合动力汽车，也可以是具有其他驱动源的汽车。另外，车辆1能够搭载各种变速装置，并能够搭载驱动内燃机或者电动机所需要的各种装置例如系统、部件等。另外，作为车辆1的驱动方式来说，既能够构成为向全部四个车轮3传递驱动力并将四个车轮全部作为驱动轮使用的四轮驱动车辆，也可以是前轮驱动方式或后轮驱动方式。车轮3的驱动所涉及的装置的方式、数量、布局等能够进行各种设定。

车身2构成供未图示的乘员乘车的车室2a。在车室2a内，以面临作为乘员的驾驶员的座位2b的状态设置有转向操纵部4、加速操作部5、制动操作部6、变速操作部7等。转向操纵部4例如是从仪表板24突出的方向盘，加速操作部5例如是位于驾驶员脚下的油门踏板，制动操作部6例如是位于驾驶员脚下的制动踏板，变速操作部7例如是从中央控制台突出的变速杆。此外，转向操纵部4、加速操作部5、制动操作部6、变速操作部7等并不限定于这些。

另外，在车室2a内设置有作为显示输出部的显示装置8、作为声音输出部的声音输出装置9。显示装置8例如是LCD(liquid crystal display：液晶显示器)、OELD(organicelectroluminescent display：有机电致发光显示器)等。声音输出装置9例如是扬声器。另外，显示装置8例如被触摸面板等透明的操作输入部10覆盖。乘员能够经由操作输入部10来视觉辨认显示于显示装置8的显示画面上的图像。另外，乘员通过在与显示于显示装置8的显示画面的图像对应的位置用手指等对操作输入部10触摸、按压或移动来进行操作，能够执行操作输入。这些显示装置8、声音输出装置9、操作输入部10等例如设置在位于仪表板24的车宽方向即左右方向的中央部的监视装置11。监视装置11能够具有开关、拨盘、操纵杆、按钮等未图示的操作输入部。另外，既能够在与监视装置11不同的车室2a内的其他位置设置未图示的声音输出装置，也能够从监视装置11的声音输出装置9和其他声音输出装置输出声音。此外，监视装置11例如能够兼用作导航系统或音频系统。

另外，如图3所示，在车室2a内设置有与显示装置8分开的显示装置12。显示装置12例如设置于仪表板24的仪表盘部25(参照图1)，能够在仪表盘部25的大致中央位于速度显示部与转速显示部之间。显示装置12的画面的大小也可以比显示装置8的画面的大小小。在该显示装置12中，例如在车辆1的周边监视、停车辅助功能等各种功能正在进行动作的情况下，作为辅助信息，能够显示由指示器、标记、文字信息等表示控制状态的图像。由显示装置12显示的信息量可以少于由显示装置8显示的信息量。显示装置12例如是LCD、OELD等。此外，也可以在显示装置8显示由显示装置12显示的信息。

另外，如图1、图2所示，车辆1例如是四轮汽车，具有左右两个前轮3F和左右两个后轮3R。这些四个车轮3均可构成为能够转向。如图3所示，车辆1具有对至少两个车轮3进行转向操纵的转向操纵系统13。转向操纵系统13具有致动器13a和转矩传感器13b。转向操纵系统13由ECU14(电子控制单元)等进行电控制，使致动器13a动作。转向操纵系统13例如是电动助力转向系统、SBW(steer by wire：线控转向)系统等。另外，转矩传感器13b例如检测驾驶员对转向操纵部4施加的转矩。

另外，如图2所示，在车身2上，作为多个拍摄部15，设置有例如四个拍摄部15a～15d。拍摄部15例如是内置有CCD(charge coupled device：电荷耦合器件)或CIS(CMOSimage sensor：互补金属氧化物半导体图像传感器)等拍摄元件的数字照相机。拍摄部15能够以规定的帧率输出动态图像数据(拍摄图像数据)。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°至220°的范围。另外，也有朝向斜下方设定拍摄部15的光轴的情况。因此，拍摄部15也可以将车辆1能够移动的路面、标注于路面上的停止线、停车框线、划分线等非立体物以及存在于车辆1的周边的物体(例如壁、树木、人、自行车、车辆等立体物体、接近物等也有时称为“障碍物”)作为留意对象而逐次拍摄，也能够作为拍摄图像数据进行输出。

拍摄部15a例如位于车身2的后侧的端部2e，设置于后备箱的门2h的后窗的下方的壁部。拍摄部15b例如位于车身2的右侧的端部2f，设置于右侧的后视镜2g。拍摄部15c例如位于车身2的前侧、即车辆前后方向的前方侧的端部2c，设置于前保险杠或前格栅等。拍摄部15d例如位于车身2的左侧即车宽方向的左侧的端部2d，设置于左侧的后视镜2g。ECU14基于通过多个拍摄部15而获得的拍摄图像数据来执行运算处理、图像处理，生成更广的视野角的图像或者生成从上方观察车辆1的虚拟的俯瞰图像。此外，在各拍摄部15拍摄的拍摄图像数据(图像)中设置有相互重复的重复区域，以使之在拼接图像时不产生遗漏区域。例如，拍摄部15c拍摄到的拍摄图像数据(前方图像)的车宽方向左侧的端部区域与拍摄部15d拍摄到的拍摄图像数据的车辆前后方向中的前方侧的端部区域重复。并且，执行将两个图像连接(合成)的处理。同样地，对于前方图像和右侧方图像、左侧方图像和后方图像、后方图像和右侧方图像，也设置有重复区域，并执行将两个图像连接(合成)的处理。

如图1、图2所例示的那样，在车身2上，作为多个测距部16、17，设置有例如四个测距部16a～16d和八个测距部17a～17h。测距部16、17例如是发射超声波并捕捉其反射波的声纳。声纳也可称为声纳传感器或超声波探测器、超声波声纳。在本实施方式中，测距部16、17设置在车辆1的车高方向上较低的位置、例如设置在前后的保险杠上。并且，ECU14能够根据测距部16、17的检测结果而测定位于车辆1的周围的障碍物等物体的有无、到该物体的距离。即，测距部16、17是检测物体的检测部的一例。此外，测距部17例如可用于检测较近距离的物体，测距部16例如可用于检测比测距部17远的较长距离的物体。另外，测距部17例如可用于检测车辆1的前方以及后方的物体，测距部16可用于检测车辆1的侧方的物体。

另外，如图3所例示的那样，在周边监视系统100(周边监视装置)中，除了ECU14、监视装置11、转向操纵系统13、测距部16和17等之外，还有制动系统18、转向角传感器19、油门传感器20、挡位传感器21、车轮速度传感器22、驱动系统23等经由作为电通信线路的车内网络26而电连接。车内网络26例如构成为CAN(controller area network：控制器局域网络)。ECU14通过车内网络26发送控制信号，由此能够控制转向操纵系统13、制动系统18、驱动系统23等。另外，ECU14能够经由车内网络23而接受转矩传感器13b、制动传感器18b、转向角传感器19、测距部16和17、油门传感器20、挡位传感器21、车轮速度传感器22等的检测结果、操作输入部10等的操作信号。

ECU14具有例如CPU14a(central processing unit：中央处理单元)、ROM 14b(read only memory：只读存储器)、RAM 14c(random access memory：随机存取存储器)、显示控制部14d、声音控制部14e、SSD 14f(solid state drive：固态驱动器、闪存)等。CPU14a例如能够执行与在显示装置8、12显示的图像相关联的图像处理的运算处理以及控制。另外，CPU14a能够对通过拍摄部15得到的广角图像的拍摄图像数据(弯曲的图像的数据)执行失真校正处理，该失真校正处理实施运算处理、图像处理来校正失真，或者CPU14a能够基于拍摄部15拍摄到的拍摄图像数据而创建将表示车辆1的本车图标显示于例如中心位置的俯瞰图像(周边图像)并使该俯瞰图像显示于显示装置8。CPU14a例如根据用于周边监视的图像处理的处理阶段而使要生成的俯瞰图像的视点的高度变化，从而能够变更视野(显示区域)的广度。另外，CPU14a能够执行俯瞰图像的色调调整处理(例如亮度调整处理)等。CPU14a能够根据由拍摄部15提供的拍摄图像数据来识别标示于车辆1的周边路面上的划分线等而执行行驶辅助。例如，CPU14a对划分(例如停车划分线等)进行检测(提取)，能够设定车辆1能够移动的目标区域(例如目标停车区域)、获取用于将车辆1引导至该目标区域的引导路径、或者执行通过完全自动、半自动、手动(例如基于声音的操作引导)将车辆1引导至目标区域的引导控制。

CPU14a能够读出安装并存储于ROM14b等非易失性存储装置中的程序，并根据该程序来执行运算处理。RAM14c暂时存储在CPU14a中的运算中所使用的各种数据。另外，显示控制部14d主要执行ECU14的运算处理中的由显示装置8显示的图像数据的合成等。另外，声音控制部14e主要执行ECU14的运算处理中的由声音输出装置9所输出的声音数据的处理。SSD14f是能够进行改写的非易失性的存储部，即使在ECU14的电源被断开了的情况下也能够存储数据。此外，CPU14a、ROM14b、RAM14c等能够集成在同一封装体内。另外，ECU14也可以构成为代替CPU14a，而使用DSP(digital signal processor：数字信号处理器)等其他的逻辑运算处理器、逻辑电路等。另外，既可以代替SSD14f而设置HDD(hard disk drive：硬盘驱动器)，也可以与ECU14分开设置SSD14f或HDD。

制动系统18例如是抑制制动器的锁死的ABS(anti-lock brake system：防抱死制动系统)、抑制转弯时的车辆1的侧滑的防侧滑装置(ESC：electronic stability control：电子稳定控制)、使制动力增强(执行制动辅助)的电动制动系统、BBW(brake by wire：线控制动)等。制动系统18经由致动器18a给予车轮3进而给予车辆1制动力。另外，制动系统18能够根据左右的车轮3的旋转差等来检测制动器的锁死、车轮3的空转、侧滑的征兆等，从而执行各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。制动传感器18b能够检测作为可动部的制动踏板的位置。制动传感器18b包含位移传感器。CPU14a能够根据基于制动传感器18b的检测结果计算出的制动力的大小和车辆1的当前车速来算出制动距离。

转向角传感器19例如是检测方向盘等转向操纵部4的转向操纵量的传感器。转向角传感器19例如使用霍尔元件等来构成。ECU14从转向角传感器19获取基于驾驶员的转向操纵部4的转向操纵量、或例如在执行停车辅助的情况下的自动转向操纵时的各车轮3的转向操纵量等，从而执行各种控制。此外，转向角传感器19检测转向操纵部4所包含的旋转部分的旋转角度。转向角传感器19是角度传感器的一个例子。

油门传感器20例如是检测加速操作部5的可动部的位置的传感器。油门传感器20能够检测作为可动部的油门踏板的位置。油门传感器20包括位移传感器。

挡位传感器21例如是检测变速操作部7的可动部的位置的传感器。挡位传感器21能够检测作为可动部的手柄、臂、按钮等的位置。挡位传感器21既可以包括位移传感器，也可以构成为开关。

车轮速度传感器22是检测车轮3的旋转量或者每单位时间的转速的传感器。车轮速度传感器22配置于各车轮3，并输出表示在各车轮3检测出的转速的车轮速度脉冲数作为传感器值。车轮速度传感器22能够使用例如霍尔元件等来构成。ECU14基于从车轮速度传感器22获取到的传感器值来对车辆1的移动量等进行运算，执行各种控制。CPU14a在基于各车轮速度传感器22的传感器值来算出车辆1的车速时，基于四轮中传感器值最小的车轮3的速度来决定车辆1的车速，执行各种控制。另外，在四轮中存在传感器值比其他车轮3的传感器值大的车轮3的情况下、例如在存在单位期间(单位时间或单位距离)的转速比其他车轮3多规定量以上的车轮3的情况下，CPU14a视为该车轮3为打滑状态(空转状态)，执行各种控制。此外，也有车轮速度传感器22设置于省略了图示的制动系统18的情况。该情况下，CPU14a可以经由制动系统18而获取车轮速度传感器22的检测结果。

驱动系统23是作为驱动源的内燃机(发动机)系统、电动机系统。驱动系统23根据由油门传感器20检测出的驾驶员(使用者)的要求操作量(例如油门踏板的踏入量)来控制发动机的燃料喷射量、进气量以及控制电动机的输出值。另外，不论驾驶员的操作如何，都能够根据车辆1的行驶状态而与转向操纵系统13、制动系统18的控制协作来控制发动机、电动机的输出值。

此外，上述的各种传感器、致动器的结构、配置、电连接方式等是一个例子，能够进行各种设定(变更)。

在本实施方式中，CPU14a通过对拍摄部15拍摄到的拍摄图像数据(图像)实施图像处理等来生成俯瞰图像并使其显示于显示装置8。此时，变更俯瞰图像的显示区域、或者降低俯瞰图像的辉度值和彩度中的至少任意一个来显示、或者在车辆1的周围存在目标区域、立体物、接近物等的情况下将表示它们的标识以强调形态进行显示。其结果是，容易掌握本车与由标识表示的目标区域、立体物、接近物等注视对象的相对位置关系、注视对象的存在，从而容易进行基于俯瞰观察的本车周围的状况掌握(周边监视)。此外，在本实施方式中，对在执行使车辆1自动地停泊在所指定的目标区域(例如目标停车区域)的处理时以如上所述的方案提供俯瞰图像的例子进行说明。

图4是在ECU14所包含的CPU14a中用于实现本实施方式的图像处理以及用于实现作为用于使车辆1移动的行驶辅助的一个例子的停车辅助的构成的例示性框图。此外，在CPU14a中，除执行本实施方式的图像处理和停车辅助以外的构成省略了图示。CPU14a具备各种模块，该各种模块用于执行上述那样的停车辅助处理并执行基于俯瞰图像的周边监视。各种模块通过CPU14a读出安装并存储于ROM14b等存储装置中的程序并执行该程序来实现。例如，如图4所示，CPU14a具备获取部30、周边状况检测部32、标识控制部34、通知部36、行驶辅助部38、周边监视部40等。

获取部30逐次获取由拍摄部15输出的对车辆1的周围进行拍摄而得到的拍摄图像数据以及由测距部16、17输出的表示车辆1的周围物体的有无和距离的测距数据。拍摄图像数据主要被提供给周边状况检测部32、行驶辅助部38、周边监视部40等，测距数据主要被提供给周边状况检测部32、标识控制部34等。

周边状况检测部32通过对由获取部30提供的拍摄图像数据执行公知的图像处理、模式匹配处理等，来检测存在于车辆1的周围的立体物、接近物等并且执行显示于路面上的白线等的检测处理，执行目标区域(例如目标停车区域)的检测。另外，周边状况检测部32基于由获取部30提供的测距数据来检测立体物或接近物、能够使车辆1移动的区域(例如停车区域)等的有无，并且在检测到它们的情况下，将距离信息关联起来获取与车辆1的相对位置关系。

标识控制部34例如从ROM14b或SSD14f获取与由周边状况检测部32检测出的立体物、接近物、目标区域(例如目标停车区域)对应的标识。将所获取的标识重叠显示在由周边监视部40生成的俯瞰图像上。另外，在如后述那样降低辉度值和彩度中的至少任意一个而显示了俯瞰图像的情况下，标识控制部34将要重叠的标识以与标准时(未执行有意地降低俯瞰图像的辉度值、彩度的处理时)相比强调形态进行显示。作为强调形态的显示，例如能够提高标识的辉度、使标识闪烁显示或者执行两者的组合。

通知部36控制：在显示有俯瞰图像的情况下对其状况进行说明的消息的显示、以及在执行后述的行驶辅助的过程中发生了障碍物的接近、引导路径与实际移动路径的背离的情况等下要输出的警报、消息等的选择及执行。

行驶辅助部38控制转向操纵系统13、制动系统18、驱动系统23等，从而执行使车辆1完全自动地移动到所指定的目标区域的完全自动行驶、通过部分行驶控制例如只依靠转向操纵系统13的自动控制来进行引导的半自动行驶以及提供基于声音、显示的操作引导来使驾驶员执行全部行驶操作的手动行驶中的任意一种。

作为用于执行行驶辅助的模块，行驶辅助部38例如包括目标区域设定部38a、路径获取部38b、引导控制部38c等。

目标区域设定部38a基于获取部30所获取的拍摄图像数据来设定能够使车辆1移动的目标区域。目标区域设定部38a能够设定可供车辆1停车的目标停车区域。例如，在车辆1以低速(例如车速＝5km/h以下)行驶的情况下，获取部30也如上述那样从拍摄部15a～15d逐次获取对车辆1的周围进行拍摄而得到的拍摄图像数据以及从测距部16、17逐次获取与车辆1的周围相关的测距数据。并且，周边状况检测部32逐次检测车辆1的周边状况。目标区域设定部38a基于周边状况检测部32检测出的周边状况和车辆1的车宽、车长等，在车辆1的周围搜索可容纳车辆1的候选空间(该情况下为目标停车区域候选)。目标区域设定部38a当能够在多处搜索到目标停车区域候选的情况下，在后述的俯瞰图像上提示那些候选，使驾驶员选择所希望的目标停车区域。在目标停车区域候选为一处的情况下，提示该位置。另外，目标区域设定部38a也可以基于车辆1的周围的状况(例如，距停车场入口的距离、周围的停车状况、存在建筑物的情况下距建筑物的入口的距离等)，来从多个目标停车区域候选中提示要推荐的目标停车区域。在该情况下，目标区域设定部38a可以从外部的信息中心获取车辆1当前所存在的位置的信息(例如停车场信息等)，来选择要推荐的目标停车区域。

路径获取部38b基于车辆1的当前位置和由目标区域设定部38a设定的目标区域(例如目标停车区域)，来获取能够将车辆1例如以最小折返次数从当前位置引导到目标停车区域的引导路径。引导路径既可以在路径获取部38b中运算来获取，也可以通过如下来获取：将车辆1的位置和目标停车区域的位置发送至外部的处理装置(例如停车场的管理装置等)，路径获取部38b接收在那里运算出的引导路径。引导路径的算出能够利用公知的技术，省略详细的说明。

引导控制部38c在经由操作输入部10等而获取了请求车辆1的引导开始的操作信号的情况下，按照路径获取部38b所获取的引导路径来将车辆1引导到目标区域(目标停车区域)。例如，在按完全自动行驶来进行引导的情况下，引导控制部38c对转向操纵系统13、制动系统18、驱动系统23等进行控制。另外，例如在为仅对转向操纵进行自动控制的半自动行驶的情况下，将使驾驶员操作的油门踏板和制动踏板的操作量、操作时机显示于显示装置8、显示装置12，或者使它们从声音输出装置9输出。同样地，在使车辆手动行驶的情况下，使方向盘的转向方向及转向量、油门踏板和制动踏板的操作量及操作时机显示于显示装置8、显示装置12，或者使它们从声音输出装置9输出。

如上所述，周边监视部40生成用于向驾驶员等提供车辆1的周围状况的俯瞰图像，并且执行如下的图像处理：根据执行周边监视时的处理阶段来变更俯瞰图像的显示范围、或变更俯瞰图像的显示色调。为了执行这样的图像处理，周边监视部40包括俯瞰图像生成部42、显示调整部44等模块。另外，作为详细模块，俯瞰图像生成部42包括关注区域设定部46、第一设定部48、第二设定部50、显示区域变更部52等模块。

如上所述，拍摄部15a～15d分别对车辆1的后方图像、右侧方图像、前方图像、左侧方图像逐次进行拍摄。因此，为了使俯瞰图像生成部42生成俯瞰图像，需要进行拍摄到的各图像(后方图像、右侧方图像、前方图像、左侧方图像)的视点转换并且将相邻的区域拼接的图像处理。然而，由于各拍摄部15(15a～15d)的安装位置、拍摄(拍摄)方向、拍摄时间段、前照灯点亮的有无、每个拍摄部15的光圈调整的程度差等，有时由各拍摄部15拍摄的图像的亮度(辉度)会产生偏差。在该情况下，拼接生成的俯瞰图像的亮度有时根据原图像而不同。其结果是，有时在拼接的位置处辉度差显眼，导致所生成的俯瞰图像成为有不协调感的图像。因此，俯瞰图像生成部42在生成俯瞰图像时进行各图像的辉度调整。首先，对在以下将图像拼接时执行的辉度调整进行说明。

获取部30获取的各拍摄部15(15a～15d)的拍摄图像数据(图像)能够对图5所示那样的被拍摄区域54进行拍摄。并且，各被拍摄区域54包括分别与如上所述相邻的被拍摄区域54部分重叠的重复区域56。被拍摄区域54中的车辆1的前方的被拍摄区域54F的车宽方向左侧和车辆1的左侧方的被拍摄区域54SL的车辆前方侧形成重复区域56FL。被拍摄区域54中的被拍摄区域54SL的车辆后方侧和车辆1的后方的被拍摄区域54R的车宽方向左侧形成重复区域56RL。被拍摄区域54中的被拍摄区域54R的车宽方向右侧和车辆1的右侧方的被拍摄区域54SR的车辆后方侧形成重复区域56RR。并且，被拍摄区域54中的被拍摄区域54SR的车辆前方侧和被拍摄区域54F的车宽方向右侧形成重复区域56FR。各拍摄部15可以对拍摄到的拍摄图像数据附加每个拍摄部15的识别符号并输出到获取部30，也可以在获取部30侧对已获取的每个拍摄图像数据附加用于识别输出源的识别符号。

此外，在本实施方式中，例如在进行着眼于被拍摄区域54F的处理的情况下，有时将夹着车辆1而分离的一对被拍摄区域54(例如被拍摄区域54F和被拍摄区域54R)中的一个(例如被拍摄区域54F)称为第一被拍摄区域。另外，有时将与第一被拍摄区域相邻的一对被拍摄区域54(例如被拍摄区域54SL和被拍摄区域54SR)中的一个称为第二被拍摄区域(例如被拍摄区域54SL)。并且，有时将第一被拍摄区域与第二被拍摄区域重叠的重复区域56(重复区域56FL)称为第一重复区域。同样地，有时将与第一被拍摄区域相邻的一对被拍摄区域54(例如被拍摄区域54SL和被拍摄区域54SR)中的另一个称为第三被拍摄区域(例如被拍摄区域54SR)。并且，有时将第一被拍摄区域与第三被拍摄区域重叠的重复区域56(重复区域56FR)称为第二重复区域。此外，也可以将夹着车辆1而分离的一对被拍摄区域54设为例如被拍摄区域54SL和被拍摄区域54SR。在该情况下，第二被拍摄区域成为被拍摄区域54F和被拍摄区域54R中的任意一个，第三被拍摄区域成为另一个。

如图6所示，关注区域设定部46在获取部30所获取的拍摄图像数据的被拍摄区域54的每个重复区域56设定在进行辉度调整时参照的关注区域58(58FL、58RL、58RR、58FR)。关注区域58是在车辆1的车宽方向以及前后方向上具有规定的长度的例如矩形的区域，关注区域58的辉度是关注区域58中所包含的各像素的辉度的例如平均值。另外，在本实施方式中确定关注区域58的位置时，该位置例如设为关注区域58的中心位置(车宽方向和前后方向的中点)。

此外，各拍摄部15在拍摄时自动进行光圈调整(增益调整)，完成各被拍摄区域54的亮度调整(辉度调整)。其结果是，在被拍摄区域54存在较多的明亮区域的情况下，光圈值变大，拍摄亮度已被抑制的发暗的图像。相反，在被拍摄区域54中存在较多的黑暗区域的情况下，光圈值变小，拍摄亮度被提高了的发亮的图像。因此，如图6所示，例如在重叠区域56FL中所包含的关注区域58FL中，有时在与被拍摄区域54F侧的关注区域58FL对应的部分和与被拍摄区域54SL侧的关注区域58FL对应的部分间亮度(辉度)不同。例如，在图6中，在将辉度用0～255这256个灰度(“0”为黑暗、“255”为明亮)表示的情况下，例如就在重复区域56FL中所包含的关注区域58FL而言，被拍摄区域54F侧的辉度明亮，为“250”，被拍摄区域54SL侧的辉度为“100”，比被拍摄区域54F侧暗。此外，在图6中，用“100”等标记的数字表示辉度。另外，在另一图中，标记于关注区域58中的数字有时也表示辉度。此外，关注区域设定部46可以将关注区域58的设定位置设定在预先已确定的位置，也可以根据被拍摄区域54的辉度分布来变更设定位置。

第一设定部48用规定的值来对关注区域58的辉度进行修正。例如，考虑夹着车辆1而分离的一对被拍摄区域54(例如被拍摄区域54F和被拍摄区域54R)中的一个即第一被拍摄区域(例如被拍摄区域54F)。第一设定部48对第一重复区域(例如重复区域56FL)中所包含的第一关注区域(例如关注区域58FL)的辉度进行修正，该第一重复区域(例如重复区域56FL)是第一被拍摄区域(例如被拍摄区域54F)和与该第一被拍摄区域相邻的一对被拍摄区域54中的一个即第二被拍摄区域(例如被拍摄区域54SL)重叠的区域。同样地，第一设定部48对第二重复区域(例如重复区域56FR)中所包含的第二关注区域(例如关注区域58FR)的辉度进行修正，该第二重复区域(例如重复区域56FR)是第一被拍摄区域(例如被拍摄区域54F)和与该第一被拍摄区域相邻的另一个被拍摄区域54即第三被拍摄区域(例如被拍摄区域54SR)重叠的区域。同样地，第一设定部48对关注区域58RL以及关注区域58RR的辉度进行修正。

在本实施方式的情况下，第一设定部48在用规定的值来对关注区域58的辉度进行修正时，例如能够通过两种方法来进行。例如，第一设定部48决定使其变为作为规定的值而已确定的目标辉度那样的修正值，然后进行辉度的修正。第一设定部48例如使用使关注区域58的辉度变为预先通过实验等导出的、不论周围的明暗环境如何而视觉辨认性都视为最好的目标辉度(例如256灰度中的“200”)那样的修正值来进行修正。

另外，第一设定部48在算出了用于对被拍摄区域54中所包含的关注区域58的辉度进行修正的目标辉度的情况下，对目标辉度加上作为规定值而已确定的调整值，由此对被拍摄区域54的辉度均匀地进行上升修正。例如，就被拍摄区域54F而言，在车宽方向左侧的关注区域58FL的辉度为“150”、车宽方向右侧的关注区域58FR的辉度为“100”的情况下，使用至少一个辉度来决定目标辉度。例如，将关注区域58FL与关注区域58FR的平均辉度“125”作为目标辉度。当在用该目标辉度进行了修正的情况下判定为被拍摄区域54F整体的亮度不足时，第一设定部48加上作为规定值而已确定的调整值。例如，加上作为预先通过实验等确定的调整值的“调整辉度值＝50”，来均匀地提高整个被拍摄区域54F的亮度。

第二设定部50根据相邻的关注区域58各自的修正值来设定其间的辉度。作为用于执行该处理的详细模块，第二设定部50包括线性插值部50a、个别辉度设定部50b等。例如在将被拍摄区域54F的车宽方向左侧的关注区域58FL作为第一关注区域的情况下，例如将修正为由第一设定部48设定的固定的目标辉度的修正值作为第一修正值。同样地，在将被拍摄区域54F的车宽方向右侧的关注区域58FL作为第二关注区域的情况下，例如将修正为由第一设定部48设定的固定的目标辉度的修正值作为第二修正值。在该情况下，线性插值部50a使用第一修正值和第二修正值来生成用于进行线性插值的例如直线插值式(连接第一修正值和第二修正值的直线)。然后，基于所生成的线性插值式(例如直线插值式)来对两个关注区域58之间的区域的辉度进行修正。

此外，在由线性插值部50a生成的线性插值式的斜率为规定的限制值以上的情况下，也可以修正直线插值式的斜率。例如，在相邻的关注区域58中的一方的辉度大大背离由第一设定部48设定的目标辉度的情况下，线性插值部50a生成的直线插值式的斜率会变大。其结果是，例如在关注区域58的周边比关注区域58暗的部分也有时会受到关注区域58的辉度的修正的影响而向更明亮的方向修正。其结果是，进行了辉度过度地变高这样的修正，有时会发生所谓的“高光溢出”。在该情况下，利用预先设定的曲线来修正由线性插值部50a生成的线性插值式的斜率。该曲线例如具备如下特性：在线性插值式的斜率小于限制值的情况下不进行修正，在斜率为规定以上的情况下对斜率进行减少修正。此外，该曲线也可以具备如下特性：在斜率为比限制值更大的界限值以上的情况下，斜率成为预先设定的规定的值(固定值)。

如上所述，作为一例，线性插值部50a通过用直线连接针对相邻的两个关注区域58的修正值来生成直线插值式。在该情况下，根据修正值，在中间部分的辉度修正中，有时修正量过小而会产生图像的“暗部缺失”，或者相反，有时修正量过大而会产生图像的“高光溢出”。因此，线性插值部50a可以针对第一关注区域(例如关注区域58FL)的辉度算出作为第一目标辉度的曲线式的第一γ曲线的第一系数。同样地，线性插值部50a可以针对第二关注区域(例如关注区域58FR)的辉度算出作为第二目标辉度的曲线式而已算出的第二γ曲线的第二系数。然后，线性插值部50a可以生成基于所算出的第一系数和第二系数的线性插值式(直线插值式)，按照通过该线性插值式而算出的修正值(γ曲线系数)来设定第一关注区域与第二关注区域之间的区域的辉度。在该情况下，γ曲线式是必定包含以256灰度表示辉度的情况下的最低辉度值“0”和最高辉度值“255”的曲线，因此，通过使用γ曲线的系数，能够使图像的暗部缺失(过暗的修正)或高光溢出(过亮的修正)难以产生。其结果是，能够抑制暗部缺失、高光溢出等信息丢失，能够生成容易识别的周边图像。

个别辉度设定部50b基于由线性插值部50a生成的线性插值式(例如直线插值式)，来设定对第一关注区域(例如关注区域58FL)与第二关注区域(例如关注区域58FR)之间的区域的辉度进行修正的个别修正值。在由线性插值部50a生成的线性插值式是与车辆1的前方的被拍摄区域54F相关的线性插值式的情况下，个别辉度设定部50b按照该线性插值式而对被拍摄区域54F中的车辆前后方向的区域也同样地进行辉度修正。因此，在为被拍摄区域54F的情况下，车辆前后方向的区域以同样的修正值(修正量)执行辉度的修正。

接着，作为具体例子，对通过第一设定部48设定作为规定的值而预先设定的目标辉度的情况下执行的辉度修正进行说明。

首先，在CPU14a请求了生成以车辆1为中心的俯瞰图像的时机(例如驾驶员对操作输入部10进行操作而周边监视(停车辅助)的开始的情况下，获取部30获取各拍摄部15拍摄的被拍摄区域54的图像(拍摄图像数据)。

接着，关注区域设定部46对所获取的各图像的被拍摄区域54进行关注区域58的设定。在各被拍摄区域54的关注区域58中的辉度例如如图6所示那样的情况下，第一设定部48对各关注区域58设定作为规定的值而已确定的目标辉度(例如按256灰度为“200”)，并且设定用于进行修正以使关注区域58的辉度成为目标辉度(例如“200”)的修正值。图7是对车辆1的前方的被拍摄区域54F的辉度进行修正的例子。在为被拍摄区域54F的情况下，是车宽方向(X轴方向)左侧的关注区域58FL的辉度按256灰度为“250”、车宽方向右侧的关注区域58FR的辉度按256灰度为“150”的例子。与此相对，在第一设定部48所设定的目标辉度按256灰度为“200”的情况下，在被拍摄区域54F中，对于关注区域58FL，设定“-50”的修正值作为辉度值M，对于关注区域58FR，设定“+50”的修正值。

线性插值部50a使用第一设定部48所设定的关注区域58FL的修正值(N＝-50)和关注区域58FR的修正值(N＝+50)来生成直线插值式60(60F)。其结果是，关注区域58FL与关注区域58FR之间的车宽方向(X轴方向)的辉度的修正量由直线插值式60F表示。然后，个别辉度设定部50b基于通过所生成的直线插值式60F算出的修正值(个别修正值)，来修正(设定)关注区域58FL与关注区域58FR之间的区域的辉度。同样地，在被拍摄区域54F中，以同样的修正值设定(修正)车辆前后方向(Z轴方向)的区域的辉度。其结果是，如图8所示，修正前的被拍摄区域54F被修正成车宽方向左侧(关注区域58FL的部分)的辉度例如从“250”变暗到“200”、车宽方向右侧(关注区域58FR的部分)的辉度例如从“150”变亮到“200”。

CPU14a对全部画面执行上述那样的修正处理。例如，关注区域设定部46、第一设定部48、第二设定部50对车辆1的后方的被拍摄区域54R执行与上述同样的处理。其结果是，如图9所示，修正前的被拍摄区域54R被修正成车宽方向左侧(关注区域58RL的部分)的辉度从“50”变亮到“200”、车宽方向右侧(关注区域58RR的部分)的辉度从“50”变亮到“200”。

同样地，如图9所示，关注区域设定部46、第一设定部48、第二设定部50对车辆1的左侧方的被拍摄区域54SL和右侧方的被拍摄区域54SR也进行同样的修正。例如，在为被拍摄区域54SL的情况下，车辆前后方向(Z轴方向)的前方侧的关注区域58FL的辉度按256灰度为“100”，后方侧的关注区域58RL的辉度按256灰度为“50”。与此相对，在第一设定部48所设定的目标辉度按256灰度为“200”的情况下，在第一设定部48中，对于关注区域58FL，设定“+100”的修正值作为辉度值M，对于后方侧的关注区域58RL，设定“+150”的修正值。线性插值部50a使用第一设定部48所设定的关注区域58FL的修正值(N＝+100)和关注区域58RL的修正值(N＝+50)来生成直线插值式60L。同样地，在为被拍摄区域54SR的情况下，车辆前后方向(Z轴方向)的前方侧的关注区域58FR的辉度按256灰度为“100”，后方侧的关注区域58RR的辉度按256灰度为“50”。与此相对，在第一设定部48所设定的目标辉度按256灰度为“200”的情况下，在第一设定部48中，对于关注区域58FR，设定“+100”的修正值作为辉度值M，对于后方侧的关注区域58RR，设定“+150”的修正值。线性插值部50a使用第一设定部48所设定的关注区域58FR的修正值(N＝+100)和关注区域58RR的修正值(N＝+150)来生成直线插值式60R。

其结果是，被拍摄区域54SL中的关注区域58FL与关注区域58RL之间的车辆前后方向(Z轴方向)的辉度的修正量由直线插值式60L表示，被拍摄区域54SR中的关注区域58FR与关注区域58RR之间的车辆前后方向(Z轴方向)的辉度的个别修正量由直线插值式60R表示。然后，个别辉度设定部50b基于直线插值式60L，来对关注区域58FL与关注区域58RL之间的区域的辉度和被拍摄区域54SL中的车宽方向(X轴方向)的区域的辉度以同样的个别修正量进行修正。并且，个别辉度设定部50b基于直线插值式60R，来对关注区域58FR与关注区域58RR之间的区域的辉度和被拍摄区域54SR中的车宽方向(X轴方向)的区域的辉度以同样的个别修正量进行修正。

当对所有的图像(被拍摄区域54F、被拍摄区域54R、被拍摄区域54SL、被拍摄区域54SR的图像)完成修正处理时，CPU14a生成将各图像拼接的俯瞰图像，并使其显示于显示装置8，在下一个处理周期中重复进行同样的图像处理，由此进行俯瞰图像的更新。在该情况下，如图10所示，能够生成各关注区域58(58FL、58RL、58RR、58FR)的辉度按256灰度为“200”、将各被拍摄区域54(54F、54SL、54R、54SR)平滑地进行了拼接的俯瞰图像62。并且，各关注区域58之间的辉度也通过直线插值式60进行修正，因此，过亮的部分和过暗的部分的生成得到抑制，在俯瞰图像62的任意部分都容易识别图像内容。

返回到图4，显示区域变更部52根据执行周边监视时的处理阶段而变更已生成的俯瞰图像的显示区域的广度。例如在为了使车辆1停泊在目标停车区域而目标区域设定部38a要提示多处目标停车区域候选的情况下，需要生成视野更广的俯瞰图像、也就是视点转换时的视点位置被设定在更高的位置的俯瞰图像。另外，在设定有对车辆1进行停车的目标停车区域并将车辆1向此处引导时，优选生成如下的俯瞰图像：具备能够显示路径获取部38b所获取的引导路径和所设定的目标停车区域这两者这样的显示区域。因此，显示区域变更部52将俯瞰图像的显示区域的广度在以车辆1为中心的规定范围的第一俯瞰显示区域(第一俯瞰图像)与比第一俯瞰显示区域更广的第二俯瞰显示区域(第二俯瞰图像)之间变更。在该情况下，第一俯瞰显示区域(第一俯瞰图像)能够设定为详细地示出以车辆1(与车辆1对应的本车图标)为中心的车辆1的周边(例如车辆1的周边1～2m左右)的俯瞰图像。因此，第二俯瞰显示区域(第二俯瞰图像)适当地显示比第一俯瞰显示区域更广的区域。例如，在要提示多处目标停车区域候选的情况下的第二俯瞰显示区域有时会比显示引导路径和目标停车区域这两者的情况更广，也有时会比其更窄，但不论在哪一种情况下，与第一俯瞰显示区域相比，显示区域都更广，能够显示到与驾驶员想要关注的车辆1已分离的位置。

在图11中示出了在请求周边监视(停车辅助)时显示于显示装置8的显示画面66的一例。显示画面66例如由实际图像画面66a和俯瞰图像画面66b这两分割画面构成。在目标区域设定部38a搜索目标区域(目标停车区域)的候选的情况下，在实际图像画面66a例如能够显示基于由拍摄部15a拍摄到的车辆1的前方图像(前方拍摄图像数据)的实际图像。在实际图像中摄入有简易区分已停留在车辆1的周围的多辆其他车辆W和停车场的路锥P、区分停车区域的停车框线Q等。另外，在俯瞰图像画面66b显示有由俯瞰图像生成部42生成的第一俯瞰图像。在第一俯瞰图像中摄入有与车辆1对应的本车图标1a、对其他车辆W俯瞰观察而得到的俯瞰其他车辆Wa以及俯瞰观察到的停车划分线Qa。此外，本车图标1a是由标识控制部34从ROM14b等获取的预先准备的图标。通过显示对第一俯瞰图像进行显示的俯瞰图像画面66b，能够容易使驾驶员等认识到当前的控制状态(执行周边监视时的处理阶段)是周边监视(停车辅助)请求状态。此外，在该情况下，通知部36可以在消息画面66c显示“请直接确认车辆周边。”等希望使驾驶员识别的消息。

在图12中示出了如下的状态：通过显示区域变更部52来根据执行周边监视时的处理阶段而变更俯瞰图像的显示区域的广度，从而在俯瞰图像画面66b显示了显示区域比第一俯瞰图像更广的第二俯瞰图像。在图12的情况下，将显示区域进行了放大以便能够显示由目标区域设定部38a搜索到的多个目标停车区域候选S。在该情况下，显示区域变更部52基于目标区域设定部38a搜索到的目标停车区域候选的数量、位置(距车辆1的距离)，来决定要生成的俯瞰图像的视点高度等，然后在俯瞰图像生成部42中实施坐标转换，由此能够适当生成显示区域不同的俯瞰图像。此外，在图12中，由于将显示区域进行了放大，因此会显示对在图11的第一俯瞰图像中存在于显示区域外的路锥P俯瞰观察而得到的俯瞰立体物Pa、和与在图11的第一俯瞰图像中存在于显示区域外的其他车辆W对应的俯瞰其他车辆Wa等。因此，驾驶员能够通过操作输入部10等的操作来从在放大后的显示区域中示出的多个目标停车区域候选S中选择所希望的位置的目标停车区域。在该情况下，通知部36可以在消息画面66c例如显示“请在左画面触摸所希望的停车位置。”等表示当前所需的操作内容的消息。另外，通知部36也可以经由声音输出装置9来用声音输出同样的消息。此外，在该情况下，标识控制部34既可以对目标停车区域候选、应注视的其他车辆或障碍物等附加标识，也可以如后述那样以强调形态显示标识。在该情况下，能够容易使使用者进行目标停车区域候选的选择、障碍物的识别。

此外，在通过目标区域设定部38a搜索到多个目标停车区域候选S的情况下，显示距当前的车辆1的位置极端远的位置的目标停车区域候选S是不合理的。因此，显示区域变更部52可以按如下方式决定第二俯瞰图像的显示区域的广度：显示以当前的车辆1的位置为基准的规定范围以内(例如，车辆1的前后10m以内)的目标停车区域候选S。另外，在该范围内不存在目标停车区域候选S的情况和较少存在的情况下，可以例外地扩大显示区域的广度，也可以通过通知部36而在消息画面66c提示如下这样的消息：由于车辆1的周边不存在(较少存在)目标停车区域候选S，因此使车辆1移动而在另外的区域中搜索目标停车区域候选S。

此外，在生成俯瞰图像时，要通过设置于车辆1的周围的拍摄部15来对拍摄到的图像进行视点转换等处理。其结果是，在所生成的俯瞰图像中显现的周边物体(例如其他车辆、行人、壁等障碍物)如图12(显示有俯瞰其他车辆Wa、俯瞰立体物Pa)所示那样与现实的物体相比发生歪斜或伸长，从而容易成为伴有不协调感的图像。另外，虽然俯瞰图像一般生成为以本车辆(车辆1)为中心而显示该车辆的周围，但在拍摄的图像中只能显现本车辆的一部分，因此难以在俯瞰图像上基于拍摄到的图像来显示本车辆。因此，有时显示预先准备的本车图标1a。因此，形状规整的本车图标1a和存在歪斜、伸长等的周边物体会混合存在于俯瞰图像上。在视觉辨认这样的俯瞰图像时，由歪斜或伸长等引起的图像的不协调感增大。另外，当车辆(本车)移动时，本车图标1a与存在歪斜、伸长等的周边物体会相对地移动，因此存在不协调感进一步增大的情况。而且，在将俯瞰图像的显示区域放大时，远方的分辨率低的部分的模糊、图像的锯齿感会变得显眼，不协调感进一步增加。因此，在本实施方式的情况下，当在显示有俯瞰图像的状态下车辆1移动时，降低辉度值或彩度中的至少任意一个来显示俯瞰图像，从而使周边物体的歪斜、伸长或模糊等不显眼。在本实施方式的以下的说明中，将降低辉度值或彩度中的至少任意一个来进行显示的情况称为“降调形态”的显示。即，所谓降调形态的显示，表示以使俯瞰图像中的(根据由拍摄部15拍摄到的拍摄图像数据生成的)图像区域的辉度值或彩度降低的形态进行显示。并且，在该降调形态中，使图像区域的辉度值降低，另一方面，不使重叠于俯瞰图像上的本车图标1a、其他标识(目标区域标识、立体物标识、接近物标识等)的辉度值降低，因此掌握本车辆与其他标识的位置关系变得容易。并且，本实施方式设定为对重叠于俯瞰图像上的本车图标1a、其他标识(目标区域标识、立体物标识、接近物标识等)实施强调显示的例子。

但是，在该情况下，若驾驶员无法识别周边物体的存在、与车辆1的位置关系，则有可能使驾驶员怀有不安感。因此，标识控制部34使用标识来在俯瞰图像上以强调形态显示由周边状况检测部32检测出的存在于车辆1的周围的周边物体。该情况下的标识可以设定为例如表示能够使车辆1移动的目标区域(例如目标停车区域)的目标区域标识、表示存在于车辆1的周围的立体物(例如停车车辆、壁、柱、路锥等)的立体物标识以及表示接近车辆1的接近物(例如其他车辆、行人等)的接近物标识中的至少一个。由标识控制部34重叠显示的标识优选为难以识别出歪斜、伸长或模糊等的形状规整的那种，例如，如图13所示，能够设定为例如由圆形(或者圆形的一部分形状)的其他车辆标记Na、矩形(或者矩形的一部分形状)的目标区域标记Nb等构成的标识N。在该情况下，不论在俯瞰图像中显示的形状如何，都能够容易地识别有无周边物体、相对于本车图标1a的相对距离。此外，在另一实施方式中，标识控制部34可以基于周边状况检测部32的检测结果，并根据识别出的周边物体的种类来使标识的形态(形状)变化。例如，在检测出的周边物体是其他车辆的情况下，也可以设定为车辆形状的标识。另外，在检测出的周边物体是行人的情况下，也可以设定为行人形状的标识。另外，在检测出的周边物体是壁的情况下，也可以设定为壁形状的标识。此外，在以强调形态显示标识时，能够使标识例如以比以降调形态显示的俯瞰图像的辉度高的辉度显示。另外，也可以通过以高辉度且闪烁显示等使显示形态变化，来进一步提高强调效果。

显示调整部44使如上所述周边物体由强调形态的标识表示的俯瞰图像中的、基于各拍摄部15拍摄到的拍摄图像的图像区域以降调形态显示。在以降调形态显示俯瞰图像时，例如，通过使俯瞰图像的辉度降低，能够使摄入俯瞰图像中的发生了歪斜、伸长或模糊的周边物体在俯瞰图像上变得不显眼。另一方面，即使在以降调形态显示俯瞰图像的情况下，周边物体也由以强调形态显示的标识来表现，由此，容易在俯瞰图像上识别周边物体的存在、相对于本车图标1a的相对距离。

返回到图4，显示调整部44使俯瞰图像(除了本车图标1a以外)以降调形态显示。例如，能够通过降低俯瞰图像的辉度进行降调。但是，在俯瞰图像生成部42所生成的俯瞰图像的辉度原本较低的情况下，若进一步进行降调，则俯瞰图像画面66b的内容会变得无法识别，即使在周边物体通过标识而被强调显示的情况下，也有可能对视觉辨认俯瞰图像的驾驶员等带来不安感。因此，显示调整部44在俯瞰图像的辉度值为规定值以上的情况下，执行降调形态的显示处理。换言之，在请求了周边监视时的俯瞰图像的辉度值小于规定值的情况下，降调处理(执行降调形态的显示的处理)不被实施，以此时的辉度继续进行俯瞰图像的显示。在该情况下，由于俯瞰图像的辉度原本较低，因此表示周边物体的以强调形态示出的标识能够被视觉辨认为十分显眼且存在于俯瞰图像上的存在歪斜、伸长或模糊等的周边物体也难以带有不协调感的程度，能够实现基于标识的周边物体的视觉辨认性的提高和可以大概掌握周边物体是何物的安心感的维持。

显示调整部44在变更俯瞰图像的降调形态时，例如能够利用两种方法执行处理。例如，目标辉度变更部44a能够以俯瞰图像的平均辉度值成为规定的目标辉度值的方式执行降调形态的显示处理。如上所述，在俯瞰图像生成部42生成俯瞰图像时，为了抑制因由各拍摄部15所拍摄到的图像拍摄时的亮度的差异而在拼接部分产生辉度差，实施了辉度调整。因此，目标辉度变更部44a指令目标辉度，以使第一设定部48作为规定的值而确定的目标辉度成为已降调的辉度值。也就是说，第一设定部48在将多个图像拼接来生成辉度差被减少而平滑地连接的俯瞰图像时，一并执行降调处理。其结果是，能够高效地执行一系列的俯瞰图像的生成处理，能够有助于处理负荷的减轻。

另外，作为其他方法，显示调整部44中所包含的辉度变换部44b能够使用规定的恒定值来对所生成的俯瞰图像的辉度值进行降调处理。辉度变换部44b例如能够以一定比率(例如50％)对所生成的俯瞰图像的辉度进行降调。另外，在另一例中，辉度变换部44b能够以恒定值(例如辉度减算值＝-80)对所生成的俯瞰图像的辉度进行降调。例如，在由目标辉度变更部44a执行降调处理时，在拍摄时的图像的辉度与为了进行降调处理而设定的目标辉度之差较小的情况下，有时驾驶员等难以认识到是否已实施降调处理。另一方面，在由辉度变换部44b以恒定值执行降调处理时，能够在由俯瞰图像生成部42生成的俯瞰图像被显示在显示装置8上一次之后，对同一显示区域的俯瞰图像进行降调。其结果是，能够使驾驶员等明确地认识到进行了降调处理。另外，由于以恒定值执行降调处理，因此容易识别降调处理前后的状态。此外，在以恒定值执行降调处理时，优选预先设定下限值，以免进行过度的降调。

图13是显示有降调处理被执行后的俯瞰图像画面66b的显示画面66的一例。此外，在图13的情况下，为了作图方便，通过附加上点来表现已被降调。通过对俯瞰图像画面66b进行降调，在俯瞰图像上发生了歪斜、伸长或模糊的俯瞰其他车辆Wa等变得难以显眼，能够降低俯瞰图像画面66b整体的不协调感。另一方面，表示俯瞰其他车辆Wa等的以强调形态显示的标识N显眼，容易掌握俯瞰其他车辆Wa的有无，并且容易掌握与本车图标1a的相对位置关系。在图13的情况下，作为以强调形态显示的标识N，也一并显示有表示由目标区域设定部38a设定的目标区域(目标停车区域)的目标区域标记Nb、表示路径获取部38b所获取的引导路径的引导路径标识Nc。此外，引导路径标识Nc以如下方式显示：沿着引导路径而连接本车图标1a的引导基准位置G(例如与车辆1的后轮轴的车宽方向的中央位置对应的位置)和目标区域标记Nb中的引导完成位置T(引导路径的终点位置)。因此，对以降调形态显示的俯瞰图像画面66b进行视觉辨认的驾驶员等通过以强调形态显示的其他车辆标记Na、目标区域标记Nb、引导路径标识Nc，从而容易识别存在于车辆1的周围的障碍物、车辆1的移动路径、车辆1从此开始应该被引导的目的位置等而没有不协调感。此外，在如图12所示想使使用者选择目标停车区域候选等想使使用者判断周围状况这样的情况下，显示区域变更部52可以不实施降调处理，使使用者易于进行设定操作等。

图14是开始周边监视(停车辅助)并且正在通过引导控制部38c执行车辆1的引导时的显示画面66(实际图像画面66a、俯瞰图像画面66b)的显示例。在该情况下，维持俯瞰图像画面66b的降调形态的显示以及各标识N的强调形态的显示。另外，在根据周边状况检测部32的检测结果而能够确认到在车辆1的引导移动中其他车辆、行人等接近物向车辆1已接近过来的情况下，标识控制部34可以将表示接近物的存在的接近物标识Nd(例如表示接近方向的箭头标记)重叠显示于俯瞰图像画面66b上的对应的位置。在该情况下，也通过降调形态的显示，使在俯瞰图像上包含歪斜、伸长或模糊等的其他车辆Wa等变得不显眼，因此能够提高表示接近物的接近物标识Nd的视觉辨认性，并且不易给驾驶员等带来歪斜、伸长或模糊等不协调感。此外，接近物标识Nd基于周边状况检测部32检测的测距数据而逐次更新显示位置、显示方向。在图15所示的例子中，在以完全自动行驶方式开始了停车辅助的情况下，将俯瞰图像画面66b中的(根据由拍摄部15拍摄到的拍摄图像数据生成的)图像区域以降调形态进行显示。即，在以完全自动行驶方式进行车辆1的引导的期间，由于不需要基于驾驶员的驾驶操作，因此对于驾驶员而言，与车辆1周围的细微的状况相比，车辆1是否正在接近目标区域标识、以及车辆1与障碍物的位置关系成为更高的关注事项。因此，在本实施方式中，在以完全自动行驶方式进行车辆1的引导的期间，使图像区域的辉度值降低，以使对于驾驶员而言重要的标识(目标区域标识、立体物标识、接近物标识等)容易被掌握。

此外，图4所示的模块构成是一个例子，只要能够进行同样的处理，则能够适当地进行功能的分割、合并。

使用图15的流程图来对由以上那样构成的周边监视装置(周边监视部40)进行的俯瞰图像的显示以及引导车辆1的一系列处理的流程的一例进行说明。此外，在图15的流程图中示出车辆1的引导以完全自动行驶方式实施的例子。

获取部30在车辆1的电源已接通的情况下，不论有无行驶，始终从各拍摄部15获取拍摄图像数据(周边图像)(S100)。另外，周边状况检测部32基于在S100中获取的拍摄图像数据以及获取部30从测距部16、17获取的测距数据，来获取在车辆1的周边处的周边物体信息(周边物体的有无以及在存在的情况下到周边物体的距离等)(S102)。俯瞰图像生成部42监视是否经由操作输入部10等进行了周边监视(停车辅助)的请求操作(S104)，在未进行请求操作的情况下(S104的“否”)，暂时结束该流程，等待请求操作的输入。

在S104中进行了周边监视(停车辅助)的请求操作的情况下(S104的“是”)，俯瞰图像生成部42基于获取部30获取到的各拍摄部15的拍摄图像数据而生成具备第一俯瞰显示区域的第一俯瞰图像，如图11所示，使俯瞰图像画面66b与实际图像画面66a一起显示于显示装置8(S106)。接着，目标区域设定部38a基于获取部30所获取的拍摄图像数据和测距数据而获取能够使车辆1移动的目标区域候选(目标停车区域候选)(S108)。然后，显示区域变更部52在获取了目标区域候选(目标停车区域候选)的情况下，如图12所示，为了生成具备第二俯瞰显示区域的第二俯瞰图像而该第二俯瞰显示区域包含目标区域候选(目标停车区域候选)，进行显示区域的变更(S110)，进而生成第二俯瞰图像。

在经由操作输入部10而由驾驶员等选择(决定)了使车辆1移动的目标区域(目标停车区域)的情况下(S112的“是”)，路径获取部38b基于车辆1的当前位置和所选择的目标区域，来获取能够使车辆1最高效地移动的引导路径(S114)。另一方面，在未选择目标区域(目标停车区域)的情况下(S112的“否”)，行驶辅助部38使处理转移至S108，通过目标区域设定部38a来执行目标区域候选的再搜索。

当在S114中获取引导路径时，显示区域变更部52在能够显示所选择的目标区域(目标停车区域)和引导路径的整体的第二俯瞰图像的第二俯瞰显示区域进行俯瞰图像画面66b的显示区域的合理化(视野变更)(S116)。

接着，在生成的第二俯瞰图像的辉度值为规定值以上的情况下(S118的“是”)，显示调整部44使用目标辉度变更部44a或辉度变换部44b来执行第二俯瞰图像的降调处理(S120)。然后，如图13所示，标识控制部34将表示第二俯瞰图像中所包含的目标区域(目标停车区域)的目标区域标识、表示立体物的立体物标识、以及表示接近车辆1的接近物的接近物标识(参照图14)中的至少一个标识N以强调形态重叠于第二俯瞰图像上(S122)。其结果是，在俯瞰图像画面66b中包含歪斜、伸长或模糊等的俯瞰其他车辆Wa等变得难以显眼且以强调形态显示的标识N的识别性提高。此外，在S118中第二俯瞰图像的辉度值小于规定值的情况下(S118的“否”)，跳过S120的处理来抑制俯瞰图像极端变暗。

在驾驶员等经由操作输入部10等进行了引导开始的请求的情况下(S124的“是”)，引导控制部38c根据路径获取部38b获取到的引导路径而对转向操纵系统13、制动系统18、驱动系统23等进行协同控制，开始车辆1的引导(S126)。当开始车辆1的引导时，如图14所示，实际图像画面66a和俯瞰图像画面66b在移动状况下会发生变化，但维持俯瞰图像画面66b的降调形态的显示和标识N的强调形态的显示。其结果是，即使在车辆1的引导中，在俯瞰图像画面66b中也维持包含歪斜、伸长或模糊等的俯瞰其他车辆Wa等难以显眼且以强调形态显示的标识N的识别性已被提高的状态，能够在自动行驶过程中难以使视觉辨认俯瞰图像画面66b的驾驶员等怀有不协调感、不安感。

由引导控制部38c进行的车辆1的引导持续至对应于车辆1的引导基准位置(本车图标1a的引导基准位置G)的位置与引导完成位置(相当于目标区域标记Nb中的引导完成位置T的位置)一致为止(S128的“否”)。然后，在引导基准位置与引导完成位置已一致的情况下(S128的“是”)，显示区域变更部52使俯瞰图像画面66b的降调形态的显示结束并使其恢复为标准图像(S130)。例如，使俯瞰图像画面66b恢复为显示降调形态的第一俯瞰图像的画面。另外，在另一例中，使其恢复为仅显示实际图像画面66a的画面、显示导航画面和音频画面的画面等。其结果是，容易使使用者认识到引导已结束。

这样，根据本实施方式的周边监视系统100，在标识N重叠了的俯瞰图像中，将基于各拍摄部15的拍摄图像的图像区域在将车辆1向目标区域(目标停车区域)引导时以降调形态进行显示。其结果是，能够显示如下这样的没有不协调感的俯瞰图像：使俯瞰图像中所包含的存在歪斜、伸长、模糊等的周边物体不易显眼，并且通过以强调形态显示的标识N而使周边物体的识别性提高。

此外，在以完全自动行驶方式引导车辆1的情况下，在俯瞰图像上目标区域、立体物、接近物等的实际的图像信息的需要性低，因此也可以提高降调的效果而提高周边物体显眼的难度。相反，在以半自动行驶或手动行驶方式引导车辆1的情况下，在俯瞰图像上能够在一定程度上识别出目标区域、立体物、接近物等的实际的图像信息，有时可以给予驾驶员安心感。因此，在以半自动行驶或手动行驶方式引导车辆1的情况下，与以完全自动行驶方式进行引导的情况相比，可以降低降调的效果。即使在这样的情况下，与不进行降调处理的情况相比，也能够使周边物体的歪斜、伸长或模糊等变得难以显眼，因此能够提供没有不协调感的俯瞰图像。

在上述的实施方式中，示出了通过后退行驶将车辆1引导至目标区域(例如目标停车区域)的情况，但例如在通过前进行驶来引导车辆1的情况下也能够应用同样的控制，能够获得同样的效果。另外，在平行停车、靠边移动等中也能够同样地应用，能够获得同样的效果。

另外，在上述的实施方式中，示出了在以降调形态显示俯瞰图像时进行使辉度降低的处理的例子，但只要俯瞰图像的显示被降调即可，例如，也可以通过使透过率增加来降低俯瞰图像的彩度，能够获得与上述的实施方式同样的效果。

在本实施方式的CPU14a中执行的用于周边监视处理的程序可以构成为，以可安装的形式或可执行的形式的文件记录在CD-ROM、软盘(FD)、CD-R、DVD(DigitalVersatileDisk：数字多功能光盘)等计算机可读取的记录介质中来提供。

并且，也可以构成为，通过将周边监视处理程序存储在与因特网等网络连接的计算机上并经由网络下载该程序来提供。另外，也可以构成为，经由因特网等网络提供或发布在本实施方式中执行的周边监视处理程序。

虽然对本发明的实施方式以及变形例进行了说明，但这些实施方式以及变形例是作为示例而提出的，并非旨在限定发明的范围。这些新的实施方式能够以其他各种方式实施，能够在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围和主旨中，并且包含在发明请求保护的范围所记载的发明及其均等的范围内。

Claims (7)

1.一种周边监视装置，包括：

俯瞰图像生成部，该俯瞰图像生成部由对车辆的周边进行拍摄而得到的拍摄图像生成俯瞰图像；

标识控制部，该标识控制部将表示能够使所述车辆移动的目标区域的目标区域标识、表示存在于所述车辆的周围的立体物的立体物标识及表示接近所述车辆的接近物的接近物标识中的至少一个标识以强调形态重叠在所述俯瞰图像上；以及

显示调整部，在将所述车辆向所述目标区域引导时，该显示调整部降低辉度值和彩度中的至少任意一个来显示重叠了所述标识的所述俯瞰图像中的基于所述拍摄图像的图像区域。

2.根据权利要求1所述的周边监视装置，其中，

所述俯瞰图像生成部根据执行所述车辆的周边监视时的处理阶段而将所述俯瞰图像的显示区域的广度在以所述车辆为中心的规定范围的第一俯瞰显示区域与比所述第一俯瞰显示区域更广的第二俯瞰显示区域之间变更。

3.根据权利要求1或2所述的周边监视装置，其中，

在所述俯瞰图像的辉度值为规定值以上的情况下，所述显示调整部执行使所述辉度值降低的显示处理。

4.根据权利要求3所述的周边监视装置，其中，

所述显示调整部执行使所述辉度值降低的显示处理，以使所述俯瞰图像的平均辉度值成为规定的目标辉度值。

5.根据权利要求3所述的周边监视装置，其中，

所述显示调整部使用规定的恒定值对所述俯瞰图像的辉度值执行使所述辉度值降低的显示处理。

6.根据权利要求1至5中任一项所述的周边监视装置，其中，

所述显示调整部使基于所述拍摄图像的图像区域的辉度值降低，并且对于所述目标区域标识、所述立体物标识及所述接近物标识中的至少一个所述标识使辉度值不降低。

7.根据权利要求1至6中任一项所述的周边监视装置，其中，

在所述车辆到达所述目标区域的引导已结束的情况下，所述显示调整部使所述图像区域中在引导时降低了的辉度值或彩度恢复。

Images