CN101676148B - 车辆周围监视装置 - Google Patents

车辆周围监视装置 Download PDF

Info

Publication number
CN101676148B
CN101676148B CN2009101764454A CN200910176445A CN101676148B CN 101676148 B CN101676148 B CN 101676148B CN 2009101764454 A CN2009101764454 A CN 2009101764454A CN 200910176445 A CN200910176445 A CN 200910176445A CN 101676148 B CN101676148 B CN 101676148B
Authority
CN
China
Prior art keywords
image
vehicle
leading line
parking
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101764454A
Other languages
English (en)
Other versions
CN101676148A (zh
Inventor
大岛健一
三枝重信
川越浩行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN101676148A publication Critical patent/CN101676148A/zh
Application granted granted Critical
Publication of CN101676148B publication Critical patent/CN101676148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种帮助驾驶员视认车辆周围而增强便利性的车辆周围监视装置(10)，其包括：对车外周边区域摄像并输出图像的各摄像机(11a、11b、11c、11d)；合成各摄像机(11a、11b、11c、11d)输出的图像并输出合成图像的图像处理部(42)；使图像处理部(42)输出的合成图像显示在显示装置(19)中的显示控制部(45)。图像处理部(42)提取在各摄像机(11a、11b、11c、11d)输出的图像数据上设定的规定提取范围内的各提取图像(PF、PR、PSL、PRL)并合成而生成合成图像，此外，还根据后视镜的展开、收拢状态改变提取范围，改变构成合成图像的提取图像彼此之间的分界位置。

Description

车辆周围监视装置
技术领域
本发明涉及一种车辆周围监视装置。 
背景技术
现有技术中，公知有如下一种处理装置：对多个摄像区域各不相同的车载摄像机所输出的影像进行合成，模拟性地生成从车辆上方俯视所看到的俯视图影像(例如，参照专利文献1)。 
此外，现有技术中还公知有如下一种车辆用图像显示装置：在从如车辆的后视镜上设置的摄像机输出的图像中切割出用于显示的区域时，根据后视镜的展开和收拢状态，改变切割区域，由此，不管后视镜是处于展开状态还是收拢状态，都在显示画面中显示被认为是车辆周围的同一摄影方向的图像(例如，参照专利文献2)。 
专利文献1：日本发明专利公开公报特开2007-43607号 
专利文献2：日本发明专利公开公报特开2004-306670号 
然而，就所述现有技术的车辆用图像显示装置而言，仅仅是根据后视镜的展开和收拢状态来改变设置在后视镜上的摄像机所输出的图像的切割区域，因此，当后视镜展开时的摄像机的摄像区域和后视镜收拢时的摄像机的摄像区域之间重复的区域小于切割区域时，则会出现不可显示的区域。 
因此，当将在所述现有技术的车辆用图像显示装置中记载的技术适用于所述现有技术的处理装置，通过从多个摄像机输出的影像，模拟性地生成从车辆上方俯视所看到的俯视图影像时，随着后视镜的展开和收拢，会出现不能获得合适的影像这样的问题。 
发明内容
本发明是鉴于上述情况而作出的，目的在于提供一种这样的车辆周围监视装置，在驾驶员对车辆周围进行确认时能适当地给与辅助，方便驾驶员。 
为了解决上述问题，本发明第一实施方式的车辆周围监视装置包括：多个摄像装置(如实施方式中的各摄像机11a、11b、11c、11d)，用于对车外周边区域进行摄像并输出图像；设置在车厢内的显示装置(如实施方式中的显示装置19)；图像合成机构(如实施方式中的图像处理部42)，用于对所述多个摄像装置输出的所述图像进行合成并将合成图像输出；显示控制机构(如实施方式中的显示控制部45)，用于将所述图像合成机构输出的所述合成图像显示在所述显示装置中，其中，所述多个摄像装置中的至少一个所述摄像装置设置在车辆的既可展开又可收拢的后视镜(如实施方式中的左、右后视镜ML、MR)上，所述图像合成机构根据按每隔图像所设定的规定提取范围，从所述多个摄像装置输出的各个所述图像中提取出提取图像，并将所述提取图像合成以生成所述合成图像，在所述后视镜的展开、收拢时，所述图像合成机构根据所述后视镜的展开、收拢状态改变所述提取范围，并调整构成所述合成图像的所述提取图像彼此之间的分界位置。 
【发明效果】 
通过采用本发明的车辆周围监视装置，根据后视镜的展开、收拢状态，改变提取图像的提取范围，由此，不管后视镜是处于展开状态还是收拢状态，都可对车辆周围中所期望的显示区域保持为同一区域。此外，根据后视镜的展开、收拢状态，改变用于构成合成图像的各提取图像彼此之间的分界位置，由此，随着后视镜的展开或收拢，摄像装置的摄像区域发生变化，致使提取图像上出现无法提取的区域时，也可通过其他摄像装置的提取图像来增补该无法提取的区域，这样，不管后视镜是处于展开状态还是收拢状态，都可生成表示同样的合成图像。 
附图说明
图1是本发明一实施方式的车辆周围监视装置的结构图。 
图2是表示本发明一实施方式的车辆周围监视装置的外部摄像机的配置的图。 
图3是表示与本发明一实施方式的车辆周围监视装置的显示范围相对应的规定外部区域的图。 
图4是表示通过本发明一实施方式的车辆周围监视装置的后摄像机拍摄到的图像数据RP、通过对图像数据RP视角变换而获得的变换图像RCP的一个例子的图。 
图5是表示本发明一实施方式的车辆周围监视装置的与左、右后视镜ML、MR的开闭状态相对应的大视角GV的图像的图。 
图6是表示本发明一实施方式的车辆周围监视装置在左、右后视镜ML、MR的开闭状态下的图。 
图7中(A)是本发明一实施方式的车辆周围监视装置在左、右后视镜ML、MR的展开状态下的大视角GV的图像；图7中(B)是本发明一实施方式的对比例的车辆周围监视装置在左、右后视镜ML、MR的收拢状态下的大视角GV的图像。 
图8是表示从本发明一实施方式的车辆周围监视装置的图像处理部输出的各变化图像的例子的图。 
图9是表示从本发明一实施方式的车辆周围监视装置的显示画面的例子的图。 
图10中(A)是表示本发明一实施方式的车辆周围监视装置的显示画面的例子的图；图10中(B)是表示本发明一实施方式的对比例的车辆周围监视装置的显示画面的例子的图。 
图11是表示本发明一实施方式的车辆周围监视装置的显示画面所显示的导向显示的例子的图。 
图12是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有预测导向线EL的例子的图。 
图13是表示在本发明一实施方式的车辆周围监视装置的显示画 面的大视角GV的图像上重叠有预测导向线EL的例子的图。 
图14是表示在本发明一实施方式的车辆周围监视装置的显示画面的前方区域FV和后方区域RV的各图像上重叠有预测导向线EL的例子的图。 
图15是表示在本发明一实施方式的车辆周围监视装置的显示画面的前方区域FV和后方区域RV的各图像上重叠有预测导向线EL的例子的图。 
图16是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有基准导向线DL的例子的图。 
图17是表示在本发明一实施方式的车辆周围监视装置的显示画面的后方区域RV的图像上重叠有基准导向线DL的例子的图。 
图18是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有纵向停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图19是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有纵向停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图20是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有车尾进停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图21是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有车尾进停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图22是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有纵向停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图23是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有车尾进停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图24是表示在本发明一实施方式的车辆周围监视装置的显示画面中所显示的停车导向线菜单的例子的图。 
图25是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有纵向停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图26是表示与本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像一起显示的帮助显示HELP的例子的图。 
图27是表示在本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像上重叠有车尾进停车的初始位置确定导向线PLA和切回开始位置确定导向线PLB的例子的图。 
图28是表示与本发明一实施方式的车辆周围监视装置的显示画面的大视角GV的图像一起显示的帮助显示HELP的例子的图。 
附图标记说明
10：车辆周围监视装置，11：外部摄像机，11a：前摄像机(摄像装置)，11b：后摄像机(摄像装置)，11c：左摄像机(摄像装置)，11d：右摄像机(摄像装置)，13：车辆状态传感器，19：显示装置，20：图像处理装置，42：图像处理部(图像合成机构)，45：显示控制部(显示控制机构)。 
具体实施方式
下面，参照附图对本发明一实施方式的车辆周围监视装置进行说明。 
本实施方式的车辆周围监视装置10设置在车上，如图1所示，包括：可对车外进行拍摄的外部摄像机11；近红外线LED12；车辆状态传感器13；导航装置14；操作开关15；切换开关16；收拢开关17；后视镜执行机构18；显示装置19；由包括CPU等的电子电路构成的图像处理装置20。 
如图2所示，外部摄像机11位于车外，包括：以前方周边区域 作为摄像区域的前摄像机11a；以后方周边区域作为摄像区域的后摄像机11b；以左侧周边区域作为摄像区域的左摄像机11c；以右侧周边区域作为摄像区域的右摄像机11d。该外部摄像机11可从如可见光至近红外线区域进行拍摄，然后，对各摄像机11a、11b、11c、11d所拍摄到的图像进行规定的图像处理，如过滤或二值化处理等，生成由二维像素构成的图像数据，然后将该图像数据输出给图像处理装置20。 
此外，前摄像机11a例如设置在车辆的前格栅上；后摄像机11b例如设置在车辆的后背门或后挡板等上；左摄像机11c和右摄像机11d例如分别设置在车辆的左、右后视镜ML0、MR的下端等上。 
近红外线LED12例如设置在车辆的副驾驶座侧的后视镜(如左侧的后视镜ML)上，并受图像处理装置20控制而点亮，例如在夜间等时候与前照灯(省略图示)同时点亮，从而照射副驾驶座侧的规定区域(如，副驾驶座侧的外部摄像机11的摄像区域，即，作为左摄像机11c的摄像区域的车辆左方的周边区域)。 
车辆状态传感器13例如包括如下机构，以检测自身车辆的车辆状态量，这些机构为，车轮速度传感器31，其对驱动轮的转速(车轮速度)进行检测；转角传感器32，其对方向盘转角(如驾驶员转动方向盘时的转角大小和方向)或与方向盘转角所对应的实际转向角(轮胎的转向角)进行检测；档位传感器33等，其对驾驶员操作换挡杆(省略图示)对变速机构(省略图示)的状态作出切换时，检测与之相对应的档位。 
导航装置14根据车辆的当前位置和预先存储的地图数据执行地图匹配处理，还针对如根据操作员的输入操作等而设定的目的地执行路线探索和路线引导等处理，向显示装置19和扬声器(省略图示)发出控制指令，让其动作。 
操作开关15根据驾驶员的输入操作输出各种指令信号，如在显示装置19的显示画面上进行的各种菜单项目的选择指示等。 
切换开关16根据驾驶员的输入操作，输出在显示装置19的显示 画面上进行的各种显示切换的指令信号等。 
收拢开关17根据驾驶员的输入操作将各种指令信号输出给后视镜执行机构18，由该后视镜执行机构18使车辆的左、右后视镜ML、MR收拢、展开以及改变角度等。 
显示装置19根据图像处理装置20的控制进行各种显示。例如，在显示装置19的显示画面上，不仅可显示外部摄像机11输出的各图像数据，还可在这些图像数据上叠加显示自身车辆的位置和各种导向显示等。 
图像处理装置20例如包括LED控制部41、图像处理部42、存储部44以及显示控制部45。 
LED控制部41对近红外线LED 12进行控制，例如使其在夜间等时候与前照灯(省略图示)同时点亮，还例如使其在显示装置19的显示画面中显示有后述的侧方区域SV的图像时点亮。 
图像处理部42根据外部摄像机11的各摄像机11a、11b、11c、11d输出的图像数据，例如通过规定的变换处理等，生成与预设的规定显示范围所相对应的变换图像，并将其输出。 
此外，规定的显示范围例如为：图3中(A)所示的车辆前方区域的显示区域(前方区域FV)；图3中(B)所示的车辆后方区域的显示区域(后方区域RV)；图3中(C)所示的车辆左、右侧前方区域的显示区域(侧方区域SV)；图3中(D)所示的车辆两侧后方区域的显示区域，即，将左、右后视镜ML、MR中映照出的区域虚拟地再现出的显示区域(镜像区域MV)；图3中(E)所示的车辆前方区域中将显示区域朝左右方向扩展后的显示(前方盲区区域FBV)；图3中(F)所示的俯视车辆周边区域的显示区域(大视角GV)等。 
例如在生成大视角GV图像时，如图4所示，图像处理部42对图像的变形等进行修正并改变视点位置，将各摄像机11a、11b、11c、11d输出的图像数据(如图4所示的车辆后方区域的图像数据RP)变为从车辆的垂直方向上方的规定视点位置BP向下看所看到的图 像(如图4所示的变换图像RCP)。接下来，从通过该变换处理获得的各变换图像中，根据设定的规定视角提取每个变换图像中的图像(如前方提取图像PF、后方提取图像PR、左侧提取图像PSL、右侧提取图像PSR)，以调整各图像的分界位置。接下来，如图5中(A)、(B)所示，合成这些图像(各提取图像PF、PR、PSL、PSR)来生成合成图像，并将该合成图像作为大视角GV的图像输出。此外，该合成图像中，在相邻的提取图像各自的分界处设置规定的分界线ML(mask line)。 
此外，当外部摄像机11中的左摄像机11c和右摄像机11d分别设置在车辆的左、右后视镜ML、MR的下端时，左摄像机11c和右摄像机11d的摄像区域会随着左、右后视镜ML、MR的开闭(即，展开或收拢)而发生变换。因此，图像处理部42要根据左、右后视镜ML、MR的开闭状态来改变视点变换的处理内容，并改变在各变换图像上设定的规定的视角范围(即，用于从各变换图像中提取各提取图像PF、PR、PSL、PSR的提取范围)。此外，通过改变用于构成合成图像的各图像(即，各提取图像PF、PR、PSL、PSR)彼此之间的分界位置，从而，无论左、右后视镜ML、MR是处于展开状态还是收拢状态，都可生成表示同一规定周边区域的全视角GV的图像。 
如图6中(A)～(D)所示，当左、右后视镜ML、MR从展开状态移动到收拢状态时，后视镜ML、MR在水平方向上的倾斜角度会发生变换，且后视镜ML、MR的端部朝垂直方向上方升起，此时，在左、右后视镜ML、MR的展开状态下对车辆左、右侧周边区域进行拍摄的各摄像机11c、11d，在左、右后视镜ML、MR的收拢状态下，其摄像区域朝车辆后方移位，导致图像中含有不必要的车身左侧部分和车身右侧部分。 
这样，若采用与用于在左、右后视镜ML、MR的展开状态下来生成全视角GV的图像(如图7中(A)所示的展开状态下的全视角GV的图像)的处理相同的处理(即，使同一视点变换、用于提取各 提取图像PSL、PSR的提取范围、以及构成合成图像的各提取图像PF、PR、PSL、PSR彼此之间的分界位置相同的处理)，生成在左、右后视镜ML、MR的收拢状态下的全视角GV的图像(如图7中(B)所示的收拢状态下的全视角GV的图像)，则不能获得从规定视点位置BP俯视而看到的图像，也不能显示车辆左、右侧的规定周边区域，此外，用于构成合成图像的其他各提取图像PF、PR之间的分界位置会错位。 
为此，图像处理部42首先根据左、右后视镜ML、MR的开闭状态来改变视点变换的处理内容，并改变在各变换图像上设定的规定的视角范围(即，用于从各变换图像中提取各提取图像PF、PR、PSL、PSR的提取范围)。这样，无论左、右后视镜ML、MR是处于展开状态还是收拢状态，都可将从规定视点位置BP俯视而看到的适当且显示了车辆左、右侧的同一规定周边区域的各提取图像PSL、PSR提取出。 
此外，与左、右后视镜ML、MR处于展开状态的情况相比，当左、右后视镜ML、MR处于收拢状态时，各摄像机11c、11d的摄像区域会朝车辆后方移位，由此会出现不能摄像的区域，相应地，与如图5中(A)所示的左、右后视镜ML、MR处于展开状态的情况相比，在如图5中(B)所示的左、右后视镜ML、MR处于收拢状态的情况下，尤其会改变合成图像中各提取图像PF、PSL、PSR彼此之间的分界位置，前方提取图像PF与左侧提取图像PSL和右侧提取图像PSR之间的分界位置朝车辆后方移位。图像处理部42根据该分界位置的改变，预先改变用于从各变换图像中提取各提取图像PF、PR、PSL、PSR的提取范围。 
在如图5中(A)所示的左、右后视镜ML、MR的展开状态下，用于表示前方提取图像PF与左侧提取图像PSL和右侧提取图像PSR之间的分界位置的分界线ML，相对于车辆的左右方向朝前方倾斜规定的第一角度α，与此相对，在如图5中(B)所示的左、右后视镜ML、MR的展开状态下，用于表示前方提取图像PF与左侧提取图像 PSL和右侧提取图像PSR之间的分界位置的分界线ML，相对于车辆的左右方向朝前方倾斜规定的第二角度β(＜α)，该第二角度β小于第一角度α。这样，与左、右后视镜ML、MR处于展开状态的情况相比，在左、右后视镜ML、MR处于收拢状态的情况下，对前方提取图像PF的提取区域扩大，而对左侧提取图像PSL和右侧提取图像PSR的提取区域缩小。 
显示控制部45将与导航装置14的各种动作相关的导航画面显示在显示装置19的显示画面中。 
此外，显示控制部45按照预设的规定组合，或者与操作开关15或切换开关16输出的指令信号相对应的规定组合，或者与车辆状态传感器13输出的检测信号相对应的规定组合，将图像处理部42输出的各变换图像显示在显示装置19中，该各变换图像例如为：图8中(A)所示的前方区域FV；图8中(B)所示的后方区域RV；图8中(C)、(D)所示的侧方区域SV；图8中(E)、(F)所示左、右镜像区域MV；图8中(G)所示的前方盲区区域FBV；以及图8中(H)所示的全视角GV。 
此外，在将图像处理部42输出的各变换图像显示在显示装置19的显示画面上时，显示控制部45获得存储在存储部44中的各种信息和各种图像，将其显示在显示装置19的显示画面中，并将用于帮助驾驶员驾驶的各种导向显示(例如，图8中(A)～(F)、(H)所示的与车辆周边规定位置相关的基准导向线DL，以及图8中(A)、(H)所示的与车辆的行驶轨迹相关的预测导向线EL等)叠加显示在各变换图像上。 
例如，当与车辆状态传感器13的车轮速度传感器31输出的检测信号相对应的车辆速度(车速)为规定的低速判断阈值Vth以下，且根据档位传感器33输出的检测信号判断出档位为倒车档之外的档位(如向前驱动等)时，显示控制部45从预设的多个显示方式中，选择如图9中(A)所示的前方区域FV和全视角GV的组合、图9中(B)所示的前方盲区区域FBV、图9中(C)所示的左、右侧方 区域SV的组合、图9中(D)所示的左侧方区域SV这四种显示方式，并按照可根据如切换开关16输出的指令信号等进行切换的方式，将这些显示方式中的任何一种状态显示在显示装置19的显示画面中。 
此时，显示控制部45不仅在显示装置19中显示图像处理部42输出的各变换图像，还显示从存储部44中获得的例如如下信息：显示方式指示图像IP，用于表示可切换的显示方式；摄像区域指示图像CP，用于示意性地表示与正在显示的变换图像相对应的外部摄像机11的摄像区域；各种信息(如“请一边直接确认周围状况一边驾驶”等)、菜单显示以及帮助显示等。 
显示方式指示图像IP例如为，表示前方区域FV和全视角GV的组合的图像(F·G)；表示前方盲区区域FBV的图像(FB)；表示左、右侧方区域SV的组合或者仅左侧方区域SV的图像(S)；表示后方区域RV和全视角GV的组合的图像(R·G)；以及表示后方区域RV和左、右镜像区域MV的组合的图像(R·M)。如图9中(A)～(D)所示，与其他可切换的显示方式所对应的显示方式指示图像IP相比，与显示装置19的显示画面中正在显示的显示方式相对应的显示方式指示图像IP例如通过增大对比度或增大尺寸或让显示颜色变化等方式而着重显示。 
如图9中(C)、(D)所示，显示控制部45着重显示作为显示方式指示图像IP的图像(S)，该图像(S)表示左、右侧方区域SV的组合或只是左侧方区域SV，此时，还显示第一、第二辅助显示方式指示图像IPa、IPb，该第一、第二辅助显示方式指示图像IPa、IPb指示可相互切换的显示方式(即，左、右侧方区域SV的组合的显示方式，或者只是左侧方区域SV的显示方式) 
该第一辅助显示方式指示图像IPa表示，例如通过长按操作开关15(长按：“左”键)，可从左、右侧方区域SV的组合的显示方式向只有左侧方区域SV的显示方式切换。该第二辅助显示方式指示图像IPb表示，例如通过长按操作开关15(长按：“左”、“右”键)， 可从只有左侧方区域SV的显示方式向左、右侧方区域SV的组合的显示方式切换。 
针对前方区域FV和全视角GV的组合，如图9中(A)所示，显示控制部45将前方区域FV的图像和全视角GV的图像左右并列地显示在显示装置19的显示画面中。 
此外，针对后方区域RV和全视角GV的组合，显示控制部45将后方区域RV的图像和全视角GV的图像左右并列地显示在显示装置19的显示画面中。 
此外，针对左、右侧方区域SV的组合，如图9中(C)所示，显示控制部45将左侧方区域SV的图像和右侧方区域SV的图像左右并列地显示在显示装置19的显示画面中。 
此外，在根据如档位传感器33输出的检测信号判断出档位为倒车档时，选择的是后区域RV和左、右镜像区域MV的组合，对于该组合，如图10中(A)所示，将左镜像区域MV的图像和右镜像区域MV的图像左右并列地设置在上层，将后方区域RV设置在下层，像这样显示在显示装置19的显示画面中。该情况下，与图10中(B)所示的设置方式相比，即与将后方区域RV设置在上层且将左、右镜像区域MV的图像设置在下层的设置方式相比，可防止驾驶员对显示方式不自然感产生，提高了可视性。 
此外，在车辆前进时与前方区域FV组合的全视角GV的图像和在车辆后退时与后方区域RV组合的全视角GV的图像相同(即，构成全视角GV的图像的各提取图像PF、PR、PSL、PSR的画面角度范围和各提取图像彼此之间的分界位置等没有变换，为相同的显示方式)。 
如图11所示，在将图像处理部42输出的各变换图像显示在显示装置19的显示画面中时，显示控制部45根据操作开关15输出的指令信号，将用于辅助驾驶员驾驶的各种导向显示重叠在各变换图像(如，前方区域FV、后方区域RV、侧方区域SV、镜像区域MV、大视角GV各图像)上。 
导向显示例如为预测导向线EL、基准导向线DL、停车导向线PL。 
预测导向线EL是表示根据如转角传感器32输出的检测信号而预测的车辆行驶轨迹的导向线。当转角传感器32检测到的转角或转角所对应的实际转向角为规定值以上时，预测导向线EL重叠在大视角GV、前方区域FV以及后方区域RV各图像上，并使其显示颜色与后述的基准导向线DL的显示颜色不同。此外，当执行后述的停车动作时(例如在最大限度地转动了方向盘来后退时，即，转角或与转角对应的实际转向角为位于最大值附近的规定值以上)，禁止对预测导向线EL进行显示。 
例如重叠在大视角GV的图像上的预测导向线EL具有显示起始点PO，该显示起始点PO相对于与车辆的行驶状态相对应的基准点具有规定的边距m。在如图12中(A)、(B)和图13中(A)所示的前进时的左转弯和右转弯的情况下，预测导向线EL为以保险杠外端P1和内环上的后胎外端P2为基准点而显示的两条导向线。在如图12中(C)、(D)和图13中(B)所示的后退时的左转弯和右转弯的情况下，预测导向线EL为以左右的后胎外端P3、P4为基准点而显示的两条导向线。 
此外，如图14中(A)和图15中(A)所示，例如重叠在前方区域FV的图像上的预测导向线EL为如下这样一条导向线：从相对于基准点即保险杠外端P1具有规定边距m的显示起始点PO开始一直显示到与车辆前端间隔规定距离fm的前方位置。如图14中(B)和图15中(B)所示，例如重叠在后方区域RV的图像上的预测导向线EL为如下这样的框状导向线：从相对于基准点即左右的后胎外端P3、P4具有规定边距m的显示起始点PO开始一直显示到与车辆后端间隔规定距离的后方位置。 
基准导向线DL显示在与车辆外端(如：前端、后端、侧端(左侧、右侧))间隔预设的规定距离的位置上，基准导向线DL的显示颜色与预测导向线EL的显示颜色不同。 
此外，当执行后述的停车动作时(如，最大限度地转动了方向盘来后退时)，禁止对基准导向线DL进行显示。 
此外，当档位为倒车档而车辆后退时，在转角传感器32检测出的转角或转角所对应的实际转向角为规定值以上而显示有预测导向线EL的情况下，禁止对基准导向线DL进行显示。 
根据如档位传感器33输出的检测信号判断档位是否为倒车档，并根据该信息来切换基准导向线DL的显示位置。 
当档位为倒车档以外的档位时，如图16中(A)所示，例如重叠在大视角GV的图像上的基准导向线DL为如下这样的框状导向线：在车辆前方，具体而言，显示在与车辆前端间隔规定距离fa且与车辆两端(两侧)间隔规定距离sa的位置上。此外，当档位为倒车档时，如图16中(B)所示，例如重叠在大视角GV的图像上的基准导向线DL为如下这样的框状导向线：在车辆后方，具体而言，显示在与车辆后端间隔规定距离ra且与车辆两端(两侧)间隔规定距离sa的位置上。 
此外，如图17所示，例如重叠在后方区域RV的图像上的基准导向线DL为多条导向线DL0～DL3和两条导向线DLs。其中，导向线DL0～DL3的长度大致与车宽相同，分别位于如下两个位置，即，在车辆的后背门或后挡板打开的状态下与最后部间隔规定距离r0的后方位置，以及与车辆后端间隔多个不同规定距离r1、r2、r3的后方位置；导向线DLs位于与车辆两侧间隔规定距离sa的位置，从车辆后端向后延伸。 
此外，基准导向线DL不仅可重叠在大视角GV、前方区域FV以及后方区域RV上，还可重叠在左、右侧方区域SV的各图像和左、右镜像区域MV的各图像上。 
停车导向线PL为对车辆进行停车时用于帮助驾驶员停车的导向线，例如包括：与停车动作开始时的车辆初始位置相关的初始位置确定导向线PLA；与切回动作的开始位置相关的切回开始位置确定导向线PLB，该初始位置确定导向线PLA和切回开始位置确定导向 线PLB的显示颜色互不相同。停车导向线PL重叠在大视角GV上。此外，作为车辆的停车动作，例如设定有纵向停车和车尾进停车。 
如图18中(A)、(B)所示，作为停车动作，当执行向左、向右的纵向停车时，在车辆后方的左、右规定位置上，显示规定线那样的初始位置确定导向线PLA和由如下移动轨迹的一部分构成的切回开始位置确定导向线PLB，该移动轨迹是指，在最大限度地向左、向右转动了方向盘而使车辆后退时，外环上的后胎(或相对于外环上的后胎具有规定边距的位置)的移动轨迹(即，与向左的纵向停车对应的最大限度地向右转动了方向盘时的移动轨迹，和与向右的纵向停车对应的最大限度地向右转动了方向盘时的移动轨迹)。 
如图19中(A)所示，纵向停车的初始位置确定导向线PLA为需要以含有规定四边形的停车框PW的拐角部中离车最近的拐角部PWa的方式而被确定位置的导向线，在停车框PW上离车最近的拐角部PWa位于该初始位置确定导向线PLA上的任何位置时，车辆的位置成为纵向停车的停车动作的初始位置。 
此外，如图19中(B)所示，在最大限度地转动了方向盘(即，在向左纵向停车的情况下，最大限度地向左了转动方向盘，在向右纵向停车的情况下，最大限度地向右转动了方向盘)而使车辆从初始位置开始后退时，纵向停车的切回开始位置确定导向线PLB为需要按照接近规定四边形的停车框PW中最靠里侧的长边PWb的方式而被确定位置的导向线。在该切回开始位置确定导向线PLB接近停车框PW中最靠里侧的长边PWb时，车辆的位置成为纵向停车的停车动作的切回位置。 
这样，如图19中(C)所示，通过切回动作最大限度地转动方向盘(即，向左纵向停车的情况下，最大限度地向右转动方向盘，向右纵向停车的情况下，最大限度地向左转动方向盘)使车辆从切回位置开始后退，由此将车辆收纳在停车框PW中。 
如图20中(A)、(B)所示，作为停车动作，当执行向左、向右的车尾进停车时，在车辆两侧的左右规定位置上，会显示规定框 状的初始位置确定导向线PLA和由如下移动轨迹的一部分构成的切回开始位置确定导向线PLB，该移动轨迹是指，在最大限度地向左、向右转动了方向盘而后退时，两后胎(或相对于两后胎具有规定边距的位置)的移动轨迹(即，与向左的车尾进停车对应的最大限度地向左转动了方向盘时的移动轨迹，和与向右的车尾进停车对应的最大限度地向右转动了方向盘时的移动轨迹)。 
此外，框状的初始位置确定导向线PLA的内部也可被填充。 
如图21中(A)所示，该车尾进停车的初始位置确定导向线PLA，为需要按照设置到规定四边形的停车框PW的大致中部的方式而被确定位置的导向线，在将该初始位置确定导向线PLA设置到停车框PW的大致中部时，车辆的位置成为车尾进停车的停车动作的初始位置。 
此外，如图21中(B)所示，在最大限度地转动了方向盘(即，在向左车尾进停车的情况下，最大限度地向右转动了方向盘，在向右纵向停车的情况下，最大限度地向左转动了方向盘)而使车辆从初始位置开始前进时，切回开始位置确定导向线PLB为需要按照其后端位置PLBr被设置到规定四边形的停车框PW中的方式而被确定位置的导向线。在该切回开始位置确定导向线PLB的后端位置PLBr被设置到停车框PW中时，车辆的位置成为车尾进停车的停车动作的切回位置。 
这样，如图21中(C)所示，通过切回动作最大限度地转动方向盘(即，向左车尾进停车的最大限度地向左转动方向盘，以及向右车尾进停车的最大限度地向右转动方向盘)而使车辆从切回位置开始后退，由此将车辆收纳在停车框PW中。 
各停车动作中，初始位置确定导向线PLA总是重叠在大视角GV的图像上，当通过转角传感器32检测出的规定方向的转角或转角所对应的实际转向角为最大限度地转动了方向盘的规定值以上时，切回开始位置确定导向线PLB重叠在大视角GV的图像上。 
如图22中(A)、(B)所示的向左的纵向停车的大视角GV的 图像，当从停车动作中车辆处于初始位置且档位设定在倒车档的状态(图22中(A)所示的状态)向左转动方向盘，使转角或转角所对应的实际转向角为最大限度地转动了方向盘的规定值以上时(图22中(B)所示的状态)，将切回开始位置确定导向线PLB重叠在大视角GV的图像上。 
此外，如图23中(A)、(B)所示的向左的车尾进停车的大视角GV的图像，当从停车动作中车辆处于初始位置且档位设定在倒车档以外的档位的状态(图23中(A)所示的状态)向右转动方向盘，使转角或转角所对应的实际转向角为最大限度地转动了方向盘的规定值以上时(图23中(B)所示的状态)，将切回开始位置确定导向线PLB重叠在大视角GV的图像上。 
此外，继续对重叠在大视角GV的图像上的切换开始位置确定导向线PLB进行显示，直到停车动作结束时。 
显示控制部45根据操作开关15输出的指令信号，对导向指示的有无进行切换和对显示内容进行切换。 
如图9中(A)所示，通常在显示装置19的显示画面中显示大视角GV的图像时(即，未将各种导向显示重叠在大视角GV的图像上时)，显示控制部45根据对操作开关15进行的规定操作(如，旋转操作)，将表示可对规定的停车导向线菜单进行显示的指示图像PP(停车菜单)显示在显示画面中。此外，当操作者对操作开关15进行规定操作(如，旋转操作)时，将图24所示的规定的停车导向线菜单显示在显示画面中。 
该停车导向线菜单例如包括：控制预测导向线EL和基准导向线DL的显示的选择菜单(基准/预测导向线)，和控制与向左、向右的纵向停车或向左、向右的车尾进停车相对应的停车导向线PL的显示的各选择菜单(向左的车尾进停车导向线、向右的车尾进停车导向线、向左的纵向停车导向线、向右的纵向停车导向线)。 
此外，在停车导向线菜单显示在显示画面中的状态下，通过对操作开关15进行规定操作(如，旋转操作和按下操作)，可对各选择 菜单的选择和与各选择菜单相对应的导向线进行显示。 
例如，在显示画面中显示从通常的前方区域FV和大视角GV的组合的显示方式被切换后的停车导向线菜单(如，图24所示的停车导向线菜单)的状态下，通过对操作开关15进行规定操作，控制与向左的纵向停车相对应的停车导向线PL的显示的选择菜单(向左的纵向停车导向线)，从而，如图25中(A)所示，将显示画面的显示向前方区域FV和大视角GV的组合的显示方式切换。此时，若转角或转角所对应的实际转向角不足规定值，且档位为倒车档之外的档位时，则在前方区域FV的图像上重叠基准导向线DL，在大视角GV的图像上重叠基准导向线DL和初始位置确定导向线PLA。此时，通过对操作开关15进行规定操作(如，按下操作)，还在显示画面上显示指示图像PHa(使用方法)，该指示图像PHa表示，可显示对停车导向线PL的使用方法进行指示的帮助显示。 
此外，当操作者对操作开关15进行规定操作(如，按下操作)时，可将如图26中(A)所示那样的规定的帮助显示HELP与大视角GV图像一起显示在显示画面中。此时，通过对操作开关15进行规定操作(如，按下操作)，还可在显示画面中显示指示图像PHb(使用方法OFF)，该指示图像PHb表示，可结束对帮助显示HELP的显示。 
该帮助显示HELP包括多个操作工序的各指示信息Ha(如，“1.使导向线与停车框的角部重合”、“2.通过最大限度地向左转动方向盘来使车辆在导向线达到路肩前一直后退”、“3.通过最大限度地向右转动方向盘来使车辆在达到停车框内前一直后退”等)和模式图像Hb，其中，该多个操作工序用于构成如在执行向左的纵向停车的停车动作时的完整的驾驶操作；该模式图像Hb对应于各指示信息Ha而示意性地显示停车框PW与车辆和停车导向线PL之间的位置关系。根据执行停车动作时车辆的实际状态(如，通过档位传感器33检测出的档位，和通过转角传感器32检测出的转角或转角所对应的实际转向角的大小)，即，根据构成执行停车动作时的完整的驾 驶操作的多个操作工序，依次着重显示各指示信息Ha和各模式图像Hb。此外，着重显示是通过如增大对比度、增大显示尺寸或改变显示颜色等方式而进行的。 
此外，在构成执行停车动作时的完整的驾驶操作的多个操作动作中，对应的各指示信息Ha和各模式图像Hb的显示颜色相同，多个操作动作之间，对应的各指示信息Ha彼此的显示颜色不同，对应的模式图像Hb彼此的显示颜色也不同。 
在如图25中(A)和图26中(A)所示的显示画面中，在执行向左的纵向停车的停车动作时，档位为倒车档以外的档位，该状态下，当转角或转角所对应的实际转向角不足规定值时，相应地，在大视角GV的图像上重叠初始位置确定导向线PLA，帮助显示HELP中，着重显示指示信息Ha(“1.使导向线与停车框的角部重合”)和与该指示信息Ha相对应的模式图像Hb，该指示信息Ha用于指示将车辆设定到停车动作的初始位置的情况。在向左的纵向停车的停车动作的车辆初始位置，将档位杆从该状态设定为倒车档，此外，向左转动方向盘，使转角或转角所对应的实际转向角为最大限度地转动了方向盘的规定值以上，此时，如图25中(B)和图26中(B)所示的显示画面，在后方区域RV和大视角GV的组合的显示方式下，在大视角GV的图像上重叠有初始位置确定导向线PLA和切回开始位置确定导向线PLB，帮助显示HELP被切换到着重显示指示信息Ha(“2.通过最大限度地向左转动方向盘来使车辆在导向线达到路肩前一直后退”、“3.通过最大限度地向右转动方向盘来使车辆在达到停车框内前一直后退”)和与这些指示信息Ha相对应的模式图像Hb的状态，该指示信息Ha指示的情况为：通过最大限度地转动方向盘使车辆从初始位置开始后退，然后通过向反方向最大限度地转动方向盘使车辆从切回位置开始后退。 
此外，例如，在显示画面中显示从通常的前方区域FV和大视角GV的组合的显示方式被切换后的停车导向线菜单(如，图24所示的停车导向线菜单)的状态下，通过对操作开关15进行规定操作， 来选择对与向左的车尾进停车相对应的停车导向线PL的显示进行控制的选择菜单(向左的车尾进停车导向线)，从而，如图27中(A)所示，将显示画面的显示向前方区域FV和大视角GV的组合的显示方式切换。 
此时，若转角或转角所对应的实际转向角为规定值以上，且档位为倒车档之外的档位时，则在前方区域FV的图像上重叠基准导向线DL，在大视角GV的图像上重叠基准导向线DL、初始位置确定导向线PLA以及切回开始位置确定导向线PLB。此时，通过对操作开关15进行规定操作(如，按下操作)，还在显示画面上显示指示图像PHa(使用方法)，该指示图像PHa表示，可对指示停车导向线PL的使用方法的帮助显示进行显示。 
此外，当操作者对操作开关15进行规定操作(如，按下操作)时，如图28中(A)所示那样的规定的帮助显示HELP与大视角GV图像一起显示在显示画面中。此时，通过对操作开关15进行规定操作(如，按下操作)，还在显示画面中显示指示图像PHb(使用方法OFF)，该指示图像PHb表示，可结束对帮助显示HELP的显示。 
该帮助显示HELP包括多个操作动作的各指示信息Ha(如，“1.使(初始位置确定导向线PLA的)标记与停车框的中部对应”、“2.通过最大限度地向右转动方向盘来使车辆前进到导向线收纳在停车框内的状态”、“3.通过最大限度地向左转动方向盘来使车辆在达到停车框内前一直后退”等)和模式图像Hb，其中，该多个操作动作用于构成如在执行向左的车尾进停车的停车动作时的完整的驾驶操作；该模式图像Hb对应于各指示信息Ha而示意性地显示停车框PW与车辆和停车导向线PL之间的位置关系。根据执行停车动作时车辆的实际状态(如，通过档位传感器33检测出的档位，和通过转角传感器32检测出的转角或转角所对应的实际转向角的大小)，即，根据构成执行停车动作时的完整的驾驶操作的多个操作工序，依次着重显示各指示信息Ha和各模式图像Hb。此外，着重显示是通过如增大对比度、增大显示尺寸或改变显示颜色等方式而进行的。 
在如图27中(A)和图28中(A)所示的显示画面中，在执行向左的车尾进停车的停车动作时，档位为倒车档以外的档位，该状态下，当转角或转角所对应的实际转向角不足规定值时，相应地，在大视角GV的图像上重叠有基准导向线DL、初始位置确定导向线PLA和切回开始位置确定导向线PLB，帮助显示HELP中，着重显示指示信息Ha(“1.使(初始位置确定导向线PLA的)标记与停车框的中部对应”、“2.通过最大限度地向右转动方向盘来使车辆前进到导向线收纳在停车框内的状态”)和与这些指示信息Ha相对应的模式图像Hb，该指示信息Ha指示的情况为：将车辆设定到停车动作的初始位置，以及通过最大限度地转动方向盘来使车辆从初始位置开始后退而设定到切回位置。在向左的车尾进停车的停车动作的车辆切回位置，将档位杆从该状态设定为倒车档，此外，向左转动方向盘，使转角或与转角所对应的实际转向角(转角)为最大限度地转动了方向盘的规定值以上，此时，如图27中(B)和图28中(B)所示，在后方区域RV和大视角GV的组合的显示方式下，初始位置确定导向线PLA和切回开始位置确定导向线PLB重叠在大视角GV的图像上，帮助显示HELP被切换到着重显示指示信息Ha(“3.通过最大限度地向左转动方向盘来使车辆在达到停车框内前一直后退”)和与该指示信息Ha相对应的模式图像Hb，该指示信息Ha指示的情况为：通过向反方向最大限度地转动方向盘使车辆从切回位置开始后退。 
如上所述，通过采用本实施方式的车辆周围监视装置10，根据左、右后视镜ML、MR的展开、收拢状态，改变用于提取各提取图像PSL、PSR的提取范围，由此，不管左、右后视镜ML、MR是处于展开状态还是收拢状态，都可对车辆周围中所期望的显示区域保持为同一区域。此外，根据左、右后视镜ML、MR的展开、收拢状态，改变用于构成合成图像的各提取图像PF、PSL、PSR彼此之间的分界位置，由此，随着左、右后视镜ML、MR的展开或收拢，摄像机的摄像区域发生变化，致使左摄像机11c和右摄像机11d的各 提取图像PSL、PSR上出现无法提取的区域，即使在该情况下，也可通过所述摄像机11a的提取图像PF来增补该无法提取的区域，这样，不管左、右后视镜ML、MR是处于展开状态还是收拢状态，都可生成表示同样的规定车辆周边区域的合成图像。 

Claims (1)

1.一种车辆周围监视装置，
包括：
多个摄像装置，用于对车外周边区域进行摄像并输出图像；
显示装置，其设置在车厢内；
图像合成机构，用于对所述多个摄像装置输出的所述图像进行合成，并将合成图像输出；
显示控制机构，用于将所述图像合成机构输出的所述合成图像显示在所述显示装置中，其特征在于，
所述多个摄像装置中的至少一个所述摄像装置设置在车辆的既可展开又可收拢的后视镜上，
所述图像合成机构根据按每个图像所设定的规定提取范围，从所述多个摄像装置输出的各个所述图像中提取出提取图像，并将所述提取图像合成以生成所述合成图像，在所述后视镜的展开、收拢时，所述图像合成机构根据所述后视镜的展开、收拢状态改变所述提取范围，并调整构成所述合成图像的所述提取图像彼此之间的分界位置。
CN2009101764454A 2008-09-16 2009-09-15 车辆周围监视装置 Active CN101676148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008236883A JP5112998B2 (ja) 2008-09-16 2008-09-16 車両周囲監視装置
JP2008-236883 2008-09-16
JP2008236883 2008-09-16

Publications (2)

Publication Number Publication Date
CN101676148A CN101676148A (zh) 2010-03-24
CN101676148B true CN101676148B (zh) 2011-12-14

Family

ID=41202861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101764454A Active CN101676148B (zh) 2008-09-16 2009-09-15 车辆周围监视装置

Country Status (5)

Country Link
US (1) US8675069B2 (zh)
EP (1) EP2163431B1 (zh)
JP (1) JP5112998B2 (zh)
CN (1) CN101676148B (zh)
DE (1) DE602009000226D1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP2011131678A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5522492B2 (ja) * 2010-06-15 2014-06-18 アイシン精機株式会社 運転支援装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
CN102343871B (zh) * 2010-07-26 2013-10-30 浙江吉利汽车研究院有限公司 智能后视镜系统
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
DE102010042026B4 (de) * 2010-10-06 2020-11-26 Robert Bosch Gmbh Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
KR20120106033A (ko) * 2011-03-17 2012-09-26 현대모비스 주식회사 차량 정보를 이용한 후진 주행 궤적선 제공 장치 및 그 방법
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
US11021136B1 (en) * 2011-08-29 2021-06-01 The Boeing Company Methods and systems for providing a remote virtual view
CN102431499A (zh) * 2011-11-29 2012-05-02 奇瑞汽车股份有限公司 一种消除汽车驾驶员视障的外后视镜系统
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
FR2985350B1 (fr) * 2012-01-04 2014-01-24 Peugeot Citroen Automobiles Sa Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant
CN104041018A (zh) * 2012-01-12 2014-09-10 日立建机株式会社 自行式工业机械的周围监视装置
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
KR20140039820A (ko) * 2012-09-25 2014-04-02 엘지이노텍 주식회사 디스플레이 룸미러 시스템
JP6223685B2 (ja) * 2013-01-30 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
KR101426468B1 (ko) * 2013-05-07 2014-08-05 현대모비스 주식회사 Avm 상에서의 차량의 주차 안내 방법
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
DE102014213279A1 (de) * 2014-07-09 2016-01-14 Conti Temic Microelectronic Gmbh System zum Erfassen einer Fahrzeugumgebung eines Kraftfahrzeuges
US9403491B2 (en) * 2014-08-28 2016-08-02 Nissan North America, Inc. Vehicle camera assembly
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
US9449390B1 (en) * 2015-05-19 2016-09-20 Ford Global Technologies, Llc Detecting an extended side view mirror
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US9908472B2 (en) 2015-08-14 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Heads up display for side mirror display
US10486600B1 (en) 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle
JP6658054B2 (ja) * 2016-02-16 2020-03-04 トヨタ車体株式会社 車体部品の施工部位判定システム及び施工部位判定方法
CN105644429B (zh) * 2016-03-22 2018-04-06 盐城工业职业技术学院 基于视觉的智能驾驶辅助系统及辅助方法
CN105946720A (zh) * 2016-07-12 2016-09-21 辽宁工程技术大学 汽车前置影像系统
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP2019080238A (ja) * 2017-10-26 2019-05-23 シャープ株式会社 車両運転支援装置及び車両運転支援プログラム
JP7201315B2 (ja) 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
JP2019154018A (ja) * 2018-03-06 2019-09-12 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
DE102018207756B3 (de) * 2018-05-17 2019-09-05 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer vorgegebenen Abbildung von einer Fahrzeugumgebung eines Kraftfahrzeugs, Kamerasystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem derartigen Kamerasystem
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置
DE102019121502A1 (de) * 2019-08-09 2021-02-11 Bayerische Motoren Werke Aktiengesellschaft Fehlerrobuste Erfassung einer Fahrzeugumgebung
JP7448203B2 (ja) 2020-06-16 2024-03-12 株式会社ニックス 配管固定具
KR20220029064A (ko) * 2020-09-01 2022-03-08 현대자동차주식회사 차량 및 그 제어 방법
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム
JP7366982B2 (ja) * 2021-11-24 2023-10-23 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1378746A (zh) * 1999-10-12 2002-11-06 松下电器产业株式会社 监视系统、摄像机调整方法以及车辆监视系统
EP1562147A1 (en) * 2004-02-06 2005-08-10 Sharp Kabushiki Kaisha Mobile body surrounding surveillance
DE102006016673A1 (de) * 2006-04-08 2007-10-11 Bayerische Motoren Werke Ag Fahrzeugsichtsystem

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
JP2002325250A (ja) * 2001-02-16 2002-11-08 Ki Sun Kim 車両の映像及び音声記録装置
JP3854499B2 (ja) * 2001-12-03 2006-12-06 株式会社村上開明堂 カメラ内蔵型アウター用バックミラー
JP2003320898A (ja) * 2002-04-26 2003-11-11 Sony Corp 車両用サイドミラー装置
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4742733B2 (ja) 2005-08-05 2011-08-10 日産自動車株式会社 画像つなぎ目処理装置および画像つなぎ目処理方法
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP2007096638A (ja) * 2005-09-28 2007-04-12 Nissan Motor Co Ltd 車両周囲映像提供装置
JP4640238B2 (ja) * 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
US7602276B2 (en) 2007-01-17 2009-10-13 Visteon Global Technologies, Inc. Variable blind spot warning system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1378746A (zh) * 1999-10-12 2002-11-06 松下电器产业株式会社 监视系统、摄像机调整方法以及车辆监视系统
EP1562147A1 (en) * 2004-02-06 2005-08-10 Sharp Kabushiki Kaisha Mobile body surrounding surveillance
DE102006016673A1 (de) * 2006-04-08 2007-10-11 Bayerische Motoren Werke Ag Fahrzeugsichtsystem

Also Published As

Publication number Publication date
EP2163431A1 (en) 2010-03-17
DE602009000226D1 (de) 2010-11-04
US8675069B2 (en) 2014-03-18
JP2010069944A (ja) 2010-04-02
CN101676148A (zh) 2010-03-24
EP2163431B1 (en) 2010-09-22
JP5112998B2 (ja) 2013-01-09
US20100066833A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
CN101676148B (zh) 车辆周围监视装置
CN101676149B (zh) 车辆驾驶辅助装置
CN101676152B (zh) 车辆周围监视装置
KR101354068B1 (ko) 차량주변화상생성장치
KR101375944B1 (ko) 주차 지원 장치
US8294563B2 (en) Vehicle-surrounding image display apparatus and vehicle-surrounding image display method
JP5747181B2 (ja) 駐車支援装置
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP4914458B2 (ja) 車両周辺表示装置
JP4364471B2 (ja) 車両の画像処理装置
JP5032424B2 (ja) 車両運転支援装置
JP2003054340A (ja) 駐車支援装置
JP2010069916A (ja) 車両運転支援装置
CN102416906A (zh) 用于将车辆倒进停车场的停车支持设备及其方法
JP2006050246A (ja) 車両周辺視認装置
KR101818540B1 (ko) 영상을 이용한 주차 지원 시스템 및 이의 주차 지원 방법
JP4552525B2 (ja) 車両の画像処理装置
JP2003259356A (ja) 車両周辺監視装置
JP2007302238A (ja) 車両の画像処理装置
CN111480337B (zh) 车辆周边监视装置和车辆周边监视方法
JP2012166689A (ja) 運転支援装置
JP3928660B2 (ja) 車両周辺監視装置
JP2007030564A (ja) 駐車支援方法及び駐車支援装置
JP5144443B2 (ja) 車両運転支援装置
JP2009232331A (ja) 車両運転支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant