CN102812704B - 车辆周边监视装置 - Google Patents

车辆周边监视装置 Download PDF

Info

Publication number
CN102812704B
CN102812704B CN201180014522.1A CN201180014522A CN102812704B CN 102812704 B CN102812704 B CN 102812704B CN 201180014522 A CN201180014522 A CN 201180014522A CN 102812704 B CN102812704 B CN 102812704B
Authority
CN
China
Prior art keywords
eye view
image
view image
viewing area
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180014522.1A
Other languages
English (en)
Other versions
CN102812704A (zh
Inventor
三好英彦
长岭升
三浦健次
山本欣司
后藤谦二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN102812704A publication Critical patent/CN102812704A/zh
Application granted granted Critical
Publication of CN102812704B publication Critical patent/CN102812704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种在不损害将俯瞰图像显示在监视器上的有效性的状态下能够通过监视器来掌握障碍物的位置的装置。俯瞰图像生成单元基于多个摄像头拍摄而得到的拍摄图像来生成俯瞰图像，并将该俯瞰图像显示在监视器21的副显示区域21B中。在障碍物检测部检测出在车辆附近存在的障碍物X的情况下，特定信息输出单元强调显示存在障碍物X的俯瞰图像的分割区域D2的外侧的框状部F2。在进行了该强调显示的状况下，通过用手指等接触副显示区域21B，将拍摄到障碍物X的图像放大显示在副显示区域21B中。

Description

车辆周边监视装置
技术领域
本发明涉及车辆周边监视装置，详细来说，涉及将摄像头拍摄而得到的拍摄图像显示在监视器上并使驾驶人员通过显示在该监视器上的拍摄图像来识别出障碍物的技术。
背景技术
作为如上述那样构成的车辆周边监视装置，在专利文献1中记载有如下的处理方式，即：基于多个摄像头拍摄而得到的拍摄图像来生成车辆周边的俯瞰图像并将其显示在监视器（文献中是显示器）上，并且将该俯瞰图像中的车辆周边区域分割成多个区域，在用户通过触摸面板选择了该多个区域中的某个区域的情况下，将选择的区域的俯瞰图像放大显示在监视器上的处理方式。
在该专利文献1中，还记载有如下技术，即：在监视器上分别独立地设定用于显示俯瞰图像的区域和用于显示放大图像的区域，能够选择对俯瞰图像进行放大而作为放大图像的模式和对拍摄选择的区域的摄像头拍摄而得到的拍摄图像（摄像头视点的图像）进行放大而作为放大图像的模式。
另外，作为如上述那样构成的车辆周边监视装置，在专利文献2中记载有如下的处理方式，即：基于多个摄像头拍摄而得到的拍摄图像来生成车辆周边的俯瞰图像并将其显示在监视器（文献中是显示装置）上，并且在通过车辆所具备的障碍物传感器来检测出障碍物的情况下，通过提取包含车辆的一部分和障碍物的图像来生成注意图像，将其显示在俯瞰图像中的与障碍物位置相当的位置。
现有技术文献
专利文献
专利文献1：日本特开2009-239674号公报
专利文献2：日本特开2006-131166号公报
发明内容
发明要解决的问题
例如，在将车辆移动到停车位置上的情况或在存在障碍物或停车状态的车辆的路面上移动车辆的情况下，需要确认车辆和车辆的附近的障碍物等之间的位置关系。相对于此，在专利文献1及专利文献2所述的技术中，能够通过俯瞰图像来掌握包含相对于驾驶人员的位置而成为死角的区域的车辆周边的整个区域的状况。
然而，在进行俯瞰显示的装置中，即使在监视器上显示了障碍物，也会因障碍物的显示尺寸小而导致难以视觉辨认障碍物，另外，还难以掌握车辆和障碍物之间的间隔，因而存在改善的余地。
相对于这样的不良情况，在专利文献1所述的技术中，对驾驶人员所指定的区域进行放大并将其显示在监视器上，由此能够通过对障碍物和车体之间的位置关系等进行放大而得到的图像来容易地确认障碍物。然而，在监视器上显示的多个区域的尺寸比较小，而且，需要驾驶人员从该多个区域中选择并指定存在障碍物的区域的操作，因而花费功夫，存在改善的余地。
另外，在专利文献2中，在检测出障碍物的情况下，针对存在障碍物的区域，自动打开新窗口来显示障碍物，通过显示该窗口能够掌握障碍物和车体之间的位置关系。然而，在驾驶人员已掌握了障碍物的位置关系的情况下，因显示该窗口而导致其附近的路面等被窗口覆盖，进而导致不能以视觉辨认路面的状况，招致不良情况。
本发明的目的在于，合理地构成在不会损害将在监视器上显示俯瞰图像的有效性的状态下能够掌握障碍物的位置的装置。
用于解决问题的手段
本发明的车辆周边监视装置的特征在于，该车辆周边监视装置具有：多个摄像头，它们拍摄包含车辆周边的路面的区域，图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上，障碍物检测单元，其检测车辆周边的障碍物；所述图像处理部具有：俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆周边的俯瞰图像，并将该俯瞰图像显示在被分割成多个分割区域来进行管理的所述监视器的俯瞰图像显示区域中，特定信息输出单元，其在通过所述障碍物检测单元检测出障碍物时，通过强调显示所述多个分割区域中的通过所述障碍物检测单元检测出存在障碍物的分割区域的外周的框状部，来将该障碍物的检测出位置显示在所述监视器上。
根据该结构，在监视器上显示俯瞰图像，并在通过障碍物检测单元检测出障碍物的情况下，通过特定信息输出单元来强调显示存在该障碍物的分割区域的外周的框状部。通过这样强调显示，能够掌握多个分割区域中的存在障碍物的区域。
其结果，构成了在不损害将俯瞰图像显示在监视器上的有效性的状态下能够掌握障碍物的位置的装置。
本发明也可以构成为：所述特定信息输出单元，提高所述框状部的亮度，或者，将所述框状部的色彩切换为不同的色彩，来进行所述强调显示。
这样一来，通过提高框状部的亮度或切换框状部的色彩，能够容易地确定与该框状部相对应的分割区域。
本发明也可以构成为：在所述监视器的显示面上具有触摸面板；该车辆周边监视装置还具有放大显示单元，该放大显示单元，在所述特定信息输出单元进行了所述框状部的强调显示的状况下，在通过触摸面板检测出接触了所述俯瞰图像显示区域时，在保持所述特定信息输出单元进行所述框状部的强调显示的状态下，将进行了所述强调显示的分割区域的图像放大显示在所述监视器上。
这样一来，即使不进行为了选择分割画面而用手指接触的操作，也能够仅通过用手指等接触俯瞰图像显示区域来将包含障碍物的图像放大成放大显示区域的尺寸，由此确认障碍物。
本发明也可以构成为：所述放大显示单元，将显示在所述特定信息输出单元进行了所述框状部的所述强调显示的分割区域中的俯瞰图像，设定为作为要被放大的图像的放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。
这样一来，通过放大分割区域的俯瞰图像，能够通过视觉掌握包含障碍物的区域。另外，以渐渐放大分割区域尺寸的俯瞰图像的方式，将该俯瞰图像放大到放大显示区域的尺寸来进行显示，由此能够容易地掌握放大了哪个分割区域的俯瞰图像。
本发明也可以构成为：所述放大显示单元，将对所述特定信息输出单元进行了所述框状部的所述强调显示的分割区域进行拍摄的摄像头的拍摄图像，设定为作为要被放大的图像的放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。
这样一来，通过对拍摄包含障碍物的区域的摄像头的拍摄图像进行放大，能够以从摄像头的视点观察包含障碍物的区域的状态，以视觉来掌握障碍物。另外，以渐渐放大分割区域尺寸的拍摄图像的方式，将该拍摄图像放大到放大显示区域的尺寸来进行显示，由此能够容易地掌握放大了与哪个分割区域相对应的拍摄图像。
本发明也可以构成为：所述放大显示单元，在被切换到所述障碍物检测单元未检测出障碍物的状态时，取代所述放大显示单元进行的放大显示，在所述俯瞰图像显示区域中显示所述俯瞰图像。
这样一来，在车辆完全通过了存在障碍物的区域的情况下，将原来的俯瞰图像显示在俯瞰图像显示区域中，因而不通过人为操作也能够返回能够掌握整个车辆周边状态的状态。
附图说明
图1是示出了车辆的概要结构的俯视图。
图2是示出了车辆的结构的局部切口立体图。
图3是控制系统的模块回路（电路）图。
图4是车辆周边监视处理的流程图。
图5是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。
图6是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。
图7是连续示出了在主显示区域中放大分割区域的俯瞰图像的处理的图。
图8是连续示出了在监视器的整个画面上放大分割区域的俯瞰图像的处理的图。
具体实施方式
下面，基于附图，对本发明的实施方式进行说明。
在本实施方式中，具有车辆周边监视装置，该车辆周边监视装置，根据利用车辆1所具备的多个摄像头拍摄而得到的拍摄图像，生成从上方俯瞰车辆1周边的方式的俯瞰图像，并将其显示到监视器21上。特别地，该车辆周边监视装置执行控制（下面，称之为放大处理），在检测出车辆附近位置的障碍物X时，将显示在监视器21上的俯瞰图像分割成多个而设定分割区域D1～D4，并进行用于确定包含障碍物X的分割区域D1～D4的强调显示，并且将存在障碍物X的区域的图像放大显示在监视器21上。下面，对这样的控制方式和控制结构进行说明。
[基本结构]
如图1及图2所示，乘用车的车辆1具有左右前车轮2和左右后车轮3。在车辆1的前部位置具有通过铰链（折页）开闭自如的左前部车门4和右前部车门5，并且在车辆1的后部位置具有以滑动式开闭自如的左后部车门6和右后部车门7，而在车辆1的后端具有掀背（hatchback）式的背门（backdoor）8。
在车体1的车室内具有驾驶座13、副驾驶座14及多个后部坐席15。在驾驶座13的前方位置具有方向盘16，在该方向盘16的前部配置有具有仪表类的面板。驾驶座13的（驾驶员）脚下配置有油门踏板17和操作前车轮2及后车轮3的制动装置BK的制动踏板18，并且在驾驶座13的侧部配置有实现变速的变速杆19。
在驾驶座13附近的仪表板的上部位置，具有在显示面上形成有触摸面板21T的监视器21。监视器21是具有背光灯（backlight）的液晶监视器。显然，也可以是等离子显示类或CRT类。另外，触摸面板21T由将手指等的接触位置作为位置数据来输出的压力感应类或静电类指示输入装置构成。在监视器21的外壳21H上还具有扬声器22，但扬声器22也可以设置在车门内侧等其他位置。另外，将监视器21兼做导航系统的显示装置来使用，但为了显示车辆周边监视显示也可以具有专用的监视器。
在左前部车门4上具有左侧后视镜23，在右前部车门5上具有右侧后视镜24。在左侧后视镜23上具有左侧摄像头25，在右侧后视镜24上具有右侧摄像头26。在车辆1的前端具有前部摄像头27，在车辆1的后端具有后部摄像头28。
特别地，左侧摄像头25和右侧摄像头26被设定为拍摄方向朝向下方，在拍摄区域中包含有车辆1的一部分。前部摄像头27和后部摄像头28设定为拍摄方向朝向斜下方，拍摄区域中包含有车辆1的一部分和路面。
作为这些拍摄装置的摄像头是内置CCD（chargecoupleddevice：电荷耦合器件）或CIS（CMOSimagesensor：互补金属氧化物半导体型图像传感器）等拍摄器件的数码摄像头，实时输出拍摄而得到的信息作为动画（视频）信息。这些摄像头通过具有广角镜头而确保了宽广的视角。
监视器21在导航模式控制中显示导航信息，但在将变速杆19操作到倒退（后退、倒车）挡位上时，显示后部摄像头28的拍摄图像。特别地，后部摄像头28拍摄而得到的拍摄图像通过镜面翻转左右而形成左右交换的图像，能够以与通过车室内后视镜来确认后方时的像相同的感觉来以视觉辨认监视器21的显示内容。
在车辆前部具有将方向盘16的旋转操作力传递给前车轮2来进行驱动操向（操舵）的动力转向单元PS。另外，在车辆前部具有发动机E和对从该发动机E输出的动力进行变速并将其传递至前车轮2的由液力变矩器CVT等构成的变速机构T。变速机构T通过变速杆19的操作来切换前进和后退，并且对行驶速度进行变速。
在车辆1上具有用于检测驾驶操作及车辆1的移动状态的各种传感器。若具体说明，则在方向盘16的操作系统中具有对转向操作方向（操舵方向）和操作量（操舵量）进行计测的转向传感器S16。在变速杆19的操作系统中具有判别挡位的挡位传感器S19。在油门踏板17的操作系统中具有对操作量进行计测的油门传感器S17，在所述制动踏板18的操作系统中具有检测操作有无的制动传感器S18。
在后车轮3附近具有根据后车轮3的旋转量来对车辆1的移动量进行计测的光断续器类（photo-interruptertype）或拾波器类（pickuptype）移动距离传感器S3。另外，也可以使用根据变速机构T内部的传动系统的旋转量来获取移动量的移动距离传感器S3。另外，移动距离传感器S3也可以对前车轮2的旋转量进行计测。并且，也可以通过对前部摄像头27或者后部摄像头28拍摄而得到的拍摄图像进行图像处理来检测出车辆1的移动量和转向量。
[控制结构]
在车辆1的中央部配置有ECU（电子控制装置）30以作为本发明的车辆周边监视装置。如图3所示，该ECU30具有由传感器输入接口31和通信接口32构成的接口，并且具有图像输出模块33和语音输出模块34。
在该ECU30中，具有对经由接口取得的信息进行处理的微处理器以及DSP（digitalsignalprocessor微处理器）等处理系统，处理结果从图像输出模块33输出至监视器21，另外，从语音输出模块34将语音信息输出至扬声器22。
在该ECU30中具有实现导航模式控制的导航控制部35、向导航控制部35提供地图信息的地图数据保存部36、实现停车支援模式控制的停车支援控制部37、检测车辆附近的障碍物X的障碍物检测部38（障碍物检测单元的一个例子）以及实现车辆周边监视处理的图像处理部39。
导航控制部35，在行驶时从GPS单元41获取用经度信息和纬度信息表示的自身车辆位置，并且获取与该自身车辆位置相对应的地图数据并将其显示在监视器21上。然后，将向目的地引导的导航信息显示在监视器21上，并且从扬声器22用语音输出引导信息。地图数据保存部36进行将与自身车辆位置相对应的地图数据提供给导航控制部35的处理。
停车支援控制部37，在通过图像处理部39而在监视器21上显示的图像上，重叠显示用于将车辆1引导至停车位置的预想行进路线图像Y（参照图6的（a）部分）。驾驶人员基于显示在监视器21上的预想行进路线图像Y进行转向操作，由此能够将车辆1容易地导入至停车目标位置上。
图像处理部39，在车辆周边监视处理中，在监视器21上以图5的（a）部分所示的布局来配置主显示区域21A和副显示区域21B（俯瞰图像显示区域的一个例子），并且在主显示区域21A的上部位置显示表示拍摄了该区域的图像的摄像头的摄像头图标21C。
另外，图像处理部39具有：俯瞰图像生成单元39A，其根据前述的多个摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆1的方式的俯瞰图像；分割区域管理单元39B，其将显示在监视器21上的俯瞰图像分割成多个分割区域D1～D4进行管理；特定信息输出单元39C，其强调显示多个框状部F1～F4中的与存在障碍物X的分割区域D相对应的框状部F，以作为用于从多个分割区域D1～D4中确定显示有障碍物X的区域；放大模式设定单元39D，其设定放大对象图像和放大显示区域；放大显示单元39E，其将放大对象图像放大到放大显示区域中。如图5的（a）部分示出那样，分割区域D1和分割区域D2分别与车辆前部的左侧和右侧相对应，分割区域D3和分割区域D4分别与车辆后部的左侧和右侧相对应。与此同样地，如图5的（a）部分示出那样，框状部F1～F4也与分割区域D1～D4相对应。另外，将分割区域D1～D4的上位概念表示为分割区域D，将框状部F1～F4的上位概念表示为框状部F。
ECU30由电路构成，也可以在这样的电路中包含接口及输出系统的一部分或全部。另外，ECU30具有构成处理系统的电路，或者具有由存储器或记录器等构成的存储部来作为其他元件，通过数据总线、地址总线、控制总线等进行信息的输入输出。
传感器输入接口31从转向传感器S16、挡位传感器S19、油门传感器S17、制动传感器S18及移动距离传感器S3接收驾驶操作信息以及用于检测移动状态的信息。
通信接口32经由通信线路与动力转向单元PS、变速机构T、制动装置BK、GPS单元41进行通信。并且，该通信接口32从触摸面板21T、左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28获取信息。
图像输出模块33向监视器21输出图像，语音输出模块34向扬声器22输出语音。
[控制方式]
在图4的流程图中示出了车辆周边监视显示处理的处理方式，并且图5～图8中示出了执行该处理时显示在监视器21上的显示内容。
即，在选择了车辆周边监视处理的状态下变速杆19被设定在前进位置上时，如图5的（a）部分示出那样，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是前部摄像头27拍摄而得到的拍摄图像的摄像头图标21C，在副显示区域21B中显示俯瞰图像。与此相反，在变速杆19被设定在后退位置上时，如图6的（a）部分那样，在主显示区域21A显示后部摄像头28拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是后部摄像头28拍摄而得到的拍摄图像的摄像头图标21C，并且在副显示区域21B中显示俯瞰图像（#101、#102步骤）。
作为具体的处理方式，在变速杆19被设定在前进位置上时，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。相对于此，在变速杆19被设定在后退位置上时，获取后部摄像头28拍摄而得到的拍摄图像，并生成对该拍摄图像进行了左右交换的镜面翻转图像，并且将该图像显示在监视器21上。
俯瞰图像生成单元39A获取由左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28拍摄而得到的拍摄图像，并将这些拍摄图像变换为从上方俯瞰的方式的投影图像，再通过将这些投影图像映射绘制（mapping）在包围车辆图像的位置的假想平面上，来生成配置在路面上的单一的俯瞰图像，以作为在副显示区域21B中显示的俯瞰图像。
如通过用虚线表示的分区线L进行分区那样，将这样显示的俯瞰图像分割成四个分割区域D1～D4来进行管理。另外，虽然在图6的（a）部分中没有将分区线L显示在画面上，但也可以设定为将该分区线L显示在画面上的处理方式。
特别地，显示在副显示区域21B上的俯瞰图像是基于四个摄像头拍摄而得到的拍摄图像来生成的，但用分区线L分区的四个分割区域D1～D4上的每个俯瞰图像是通过合成两个摄像头拍摄而得到的拍摄图像来生成的。即，在车辆1的前后位置的角部的外侧位置上形成由两个摄像头拍摄而得到的拍摄图像的重复区域W（参照图1），因而对该重复区域W进行合成处理而使边界部位不醒目。并且，在这样合成的俯瞰图像被设定为放大对象图像时，将该俯瞰图像放大成放大显示区域的尺寸。
另外，在变速杆19被设定在后退位置上时，也能够与停车支援控制一同执行，在这样执行停车支援控制时，如图6的（a）部分所示，在主显示区域21A和副显示区域21B上重叠显示预想行进路线图像Y。
预想行进路线图像Y是表示在以当前的转向量使车辆1后退时车辆1移动的路线的图像，该预想行进路线图像Y是以与显示在监视器21上的拍摄图像相对应的纵深感而在与路面相同的假想平面上生成的。该行进路线预想图像，由与车辆1的宽度相同的宽度的一对车宽线Ya和表示在车辆1后退了设定量时所到达的位置的多个距离线Yb而形成为框状。
前述的障碍物检测部38构成为软件，该软件用于从在左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28的拍摄区域中重复的重复区域W的图像中提取产生视差的立体物来作为障碍物X。能够如下说明这样提取立体物的处理的概要。即，将两个摄像头拍摄而得到的拍摄图像中的重复区域W的图像投影变换在同一背景的假想平面上，使投影变换后的各图像以相同背景一致的位置关系重叠。在这样重叠时不一致的图像为立体物，由此将该立体物推定为障碍物X，并确定障碍物X的位置。
这样的两个摄像头的拍摄区域的重复区域W也是对驾驶人员来说成为死角的区域，因而仅将存在于该区域的障碍物X作为检测对象是合理的。另外，为了放大该障碍物X的检测区域，也可以在车辆上安装四个以上的摄像头。并且，该障碍物检测部38也可以是通过光流法的技术来检测障碍物X的软件。
特别地，也可以将超声波式等的障碍物传感器作为障碍物检测部38安装在车辆1的前端或后端等多个部位上。为了这样检测障碍物X，使用障碍物传感器来构成障碍物检测部38，由此能够检测车辆1全周的障碍物X。
在通过障碍物检测部38检测出障碍物X的情况下，具体来说，在分割区域D1～D4中，在如图5示出那样在分割区域D2中存在障碍物X的情况下，指定分割区域D2（包含所检测出的障碍物X的分割区域D），并强调显示该分割区域D2的外周的框状部F2（在图中用影线示出），与此同时，变更存在障碍物X的分割区域D2的色调，并从扬声器22输出警报音（#103、#104步骤）。此外，也可以不变更D2的色调。此时，也可以仅变更中间图像的色调。
在该处理中，针对由分割区域管理单元39B管理的分割区域D1～D4中的存在障碍物X的分割区域D2，由特定信息输出单元39C对框状部F2提高亮度、提高色度、或将其变更为不同的色彩，由此实现强调显示。也可以与这样的强调显示一起将框状部F2的显示变更为闪烁显示。另外，作为将存在障碍物X的分割区域D2的色调变更为不同的色调的处理，例如可考虑对分割区域D2的图像的各像素的三原色中的B（蓝）的成分提高亮度或降低亮度的这样的处理。并且，从扬声器22输出的警报音不仅可以采用电子音，还可以是人的语言的消息。
接着，在检测出驾驶人员的手指等接触副显示区域21B的接触操作的情况下，进行如下处理：将该接触操作作为契机，将已指定的分割区域D2的图像（俯瞰图像或摄像头拍摄而得到的拍摄图像）作为放大对象图像，并将放大对象图像放大到放大显示区域中（#105、#106步骤）。
在该处理中，按照由放大模式设定单元39D设定的放大模式，由放大显示单元39E进行放大处理。在该放大模式中，设定放大对象图像和放大显示区域。将在存在障碍物X的分割区域D2中显示的俯瞰图像和正在拍摄该障碍物X的摄像头的拍摄图像（成为摄像头视点的图像）中的任意一个图像，设定为放大对象图像。另外，设定以下模式中的任意一个模式，这些模式是：将副显示区域21B设定为放大显示区域的通常放大模式、将主显示区域21A设定为放大显示区域的其他画面放大模式、将监视器21的整个画面设定为放大显示区域的整个画面放大模式。
作为设定该放大模式的方法，通过将模式设定画面显示在监视器21上，通过人为操作来预先设定放大模式。
[控制方式：通常放大模式]
放大显示单元39E，在通常放大模式中进行放大处理时，设定放大对象图像（图中是分割区域D的俯瞰图像），并设定图5及图6所示的副显示区域21B作为放大显示区域，并且在分割区域D2/D3（图5中表示D2、图6中表示D3）和放大显示区域（副显示区域21B）之间设定放大显示轨迹（未图示）。
接着，如图5的（b）部分及图6的（b）部分所示，通过放大分割区域D2/D3的图像（俯瞰图像），来生成尺寸比该分割区域D2/D3尺寸稍微大的尺寸的中间图像M，并在整体覆盖作为显示起点的分割区域D2/D3（因存在障碍物X而被指定的分割区域D）的位置上，在副显示区域21B的俯瞰图像上重叠显示该中间图像M。在刚刚进行了该处理之后，如图5的（c）部分及图6的（c）部分如所示，通过进一步放大分割区域D2/D3的图像（俯瞰图像），来生成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。此时，删除之前显示的中间图像M而显示下一个中间图像M，在该通常放大模式中，以整体覆盖之前显示的中间图像M的位置关系，在副显示区域21B的俯瞰图像上重叠显示下一个中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图5的（d）部分及图6的（d）部分所示，将放大分割区域D2/D3的图像（俯瞰图像）而成的放大图像显示在整个副显示区域21B的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，将区域图标21D设定为表示摄像头的拍摄区域的形状，并且，将其尺寸设定为不会使其重叠在路面上（重叠在车辆图像上的尺寸），能够根据该区域图标21D来识别出放大对象图像的原来的位置。
[控制方式：其他画面放大模式]
放大显示单元39E，在其他画面放大模式中进行放大处理时，设定放大对象图像（在图7中是分割区域D3的俯瞰图像），将主显示区域21A设定为放大显示区域，并且在分割区域D3和放大显示区域（主显示区域21A）之间设定放大显示轨迹（未图示）。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3（在图中用影线示出）。
接着，如图7的（a）部分所示，通过放大分割区域D3的图像（俯瞰图像），来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3（因存在障碍物X而被指定的分割区域D）的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图7的（b）部分所示，通过进一步放大分割区域D3的图像（俯瞰图像），来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图7的（c）部分所示，将放大分割区域D3的图像（俯瞰图像）而成的放大图像显示在整个主显示区域21A的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。
在该其他画面放大模式中，由于放大显示区域（主显示区域21A）和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个主显示区域21A的区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。
[控制方式：全面放大模式]
放大显示单元39E，在整个画面放大模式中进行放大处理时，设定放大对象图像（在图8中是分割区域D3的俯瞰图像），将监视器21的显示区域设定为放大显示区域，并且在分割区域D3和放大显示区域（监视器21的显示区域）之间设定放大显示轨迹（未图示）。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3（在图中用影线示出）。
接着，如图8的（a）部分所示，通过放大分割区域D3的图像（俯瞰图像），来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3（因存在障碍物X而被指定的分割区域D）的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图8的（b）部分所示，通过进一步放大分割区域D3的图像（俯瞰图像），来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图8的（c）部分所示，将放大分割区域D3的图像（俯瞰图像）而成的放大图像显示在整个监视器21的显示区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。
在该整个画面放大模式中，也由于放大显示区域（监视器21的显示区域）和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个监视器21的显示区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。
无论以何种放大模式进行放大处理，都通过以分割区域D的位置作为起点而使中间图像M的显示位置沿放大显示轨迹移动的方式（在图5及图6的通常放大模式中，中间图像M的角的位置不移动）进行放大，从而使被放大的原图像的位置（存在障碍物X的分割区域D的位置）明显（清楚）的同时以推摄（zoomup）方式实现放大。并且，通过在放大图像的角上显示区域图标21D，或者根据区域图标21D的显示位置，也能够识别出放大图像是哪个区域的图像。
另外，无论以何种放大模式进行放大处理，都通过进行针对动画层（animationlayer）来形成中间图像M的处理来实现重叠显示，因而在重叠显示的状态下，无论是在俯瞰图像中还是在拍摄图像中，均能够实时显示车辆1和障碍物X之间的位置关系的变化。另外，如下面的说明那样在删除放大图像而返回原来的显示的情况下，只要删除动画层的图像即可。
接着，在检测出驾驶人员的手指等接触监视器21的任何区域的接触操作的情况下，或者，在障碍物检测部38处于未检测出障碍物X的状态的情况下，通过删除放大图像，并转移至#101步骤的处理，来控制返回至在监视器21的主显示区域21A上显示拍摄图像并在副显示区域21B中显示俯瞰图像（#107～#109步骤）。
然后，继续进行该车辆周边监视显示处理，直至进行了中止该控制的选择为止（#110步骤）。
这样在本发明中，在要将车辆1导入至停车位置的情况，或者，在存在围栏或停车状态的车辆等障碍物X的路面上移动车辆1的情况下，在监视器21的主显示区域21A中显示摄像头的拍摄图像，并在监视器21的副显示区域21B中显示俯瞰图像。由此，即使障碍物X处于驾驶人员的死角的位置上，也能够确认车辆1和车辆的附近的障碍物X之间的位置关系。
另外，在接近障碍物X的情况下，通过进行强调显示，即，提高俯瞰图像的分割区域D1～D4中存在障碍物X的分割区域D的外周的框状部F1～F4中的所对应的框状部F的亮度，并与该显示处理同时进行变更存在障碍物X的分割区域D的色调的显示，从扬声器22输出警报音，由此能够掌握存在障碍物X的区域。
这样在能够掌握障碍物X的存在位置的状态下，通过将手指等接触到副显示区域21B上，将分割区域D1～D4中的存在障碍物X的分割区域D放大显示在放大显示区域中，由此能够通过放大图像来确认障碍物X和车辆1之间的位置关系。
特别地，在将多个分割区域D1～D4中的某个图像放大显示在放大显示区域中时，以存在障碍物X的分割区域D为起点，以使不同尺寸的多个中间图像M从小尺寸向大尺寸过渡的方式沿着放大显示轨迹依次移动，以此方式进行显示。通过这样进行放大，来在使被放大的原图像的位置（存在障碍物X的分割区域D的位置）明显（清楚）的同时以推摄的方式进行放大。
并且，放大显示存在障碍物X的区域的俯瞰图像或者拍摄了障碍物X的摄像头的拍摄图像，其结果，能够根据放大的图像来掌握障碍物X和车辆1之间的位置关系，从而能够以避免与障碍物X接触的方式实现车辆1的移动。
[其他实施方式]
本发明除了上述实施方式以外，也可以如下构成。
（a）在将俯瞰图像分割成多个分割区域D来进行管理时，也可以如分割成两个或六个那样分割成四个以外的个数来进行管理。特别地，也可以构成为能够由用户任意设定该分割个数。另外，在分割成多的个数的情况下，能够识别出障碍物X接近相对于车辆1周边的局部区域的障碍物X的接近，并且能够放大显示该部位。
（b）作为用于执行对存在障碍物X的分割区域D的图像进行放大的放大处理的操作，也可以设定通过用手指灯接触监视器21的显示区域的任何部位都会开始进行放大处理的控制方式，还可以在监视器21上显示用于开始放大处理的放大按钮等。与此同样地，也可以在监视器21上显示用于结束放大显示的专用的按钮。
（c）在通过放大模式设定单元39D的放大处理来设定放大对象图像时，在车辆1之前侧检测出障碍物X的情况（障碍物X存在于车辆前侧的分割区域D中的情况）下，将俯瞰图像设定为放大对象图像。与此相反地，在车辆1之后侧检测出障碍物X的情况（障碍物X存在于车辆后侧的分割区域D中的情况）下，将摄像头拍摄而得到的拍摄图像设定为放大对象图像。
其理由如下：在车辆1的前端侧存在障碍物X的情况下，驾驶人员能够通过摆出探出身子的姿势来进行视觉辨认，对于这样能够视觉辨认的障碍物X，通过将俯瞰图像设定为放大对象图像来显示从与驾驶人员通过眼睛看到的障碍物X的方向不同的方向观察到的障碍物X更为有效。另外，在车辆1的后端侧存在障碍物X的情况下，驾驶人员大多看不到障碍物X，从而以直接观察摄像头拍摄而得到的拍摄图像的感觉接近的图像的拍摄图像设定为放大对象图像更为有效。
（d）在通过放大模式设定单元39D的放大处理来设定放大对象图像时，能够通过障碍物检测部38来对障碍物X的高度进行计测，在高度超过设定值的情况（比较高的情况）下，以能够识别高度的方式将摄像头拍摄而得到的拍摄图像设定为放大对象图像。与此相反地，在高度小于设定值的情况（比较低的情况）下，因不需识别高度而将俯瞰图像设定为放大对象图像。通过这样选择放大对象图像，能够容易地掌握障碍物X的高度。
（e）在前述的其他实施方式（c）及（d）中，在将摄像头拍摄而得到的拍摄图像设定为放大对象图像时，在判断为方向盘16的操作方向是使车辆1的行进方向向障碍物X接近的方向的情况下，将侧部摄像头（左侧摄像头25或右侧摄像头26）拍摄而得到的拍摄图像设定为显示对象图像。在判断为车辆1的行进方向是从障碍物X离开的方向的情况下，将车辆1端部的摄像头（前部摄像头27或后部摄像头28）拍摄而得到的拍摄图像设定为显示对象。
这样通过基于转向方向来选择获取拍摄图像的摄像头，即使在将车辆1向接近障碍物X的方向稍微移动的情况下，也能够通过侧部摄像头（左侧摄像头25或右侧摄像头26）拍摄而得到的拍摄图像，容易地掌握障碍物X和车辆1之间的相对位置关系的变化。另外，在车辆1向从障碍物X离开的方向移动的情况下，能够通过车辆1端部的摄像头拍摄而得到的拍摄图像，在监视器21上显示车辆1的行进方向的宽广的区域而确定行进方向。
（f）另外，检测“接触了俯瞰图像显示区域（副显示区域）”的处理，可以通过检测从未接触触摸面板21T（俯瞰图像区域）的状态向接触的接触状态的状态变化来进行，也可以通过检测从手指等接触触摸面板21T（俯瞰图像区域）的状态到手指等离开的状态的状态变化来进行。
产业上的可利用性
本发明能够用于具有如下的图像处理系统的所有的车辆上，其中，该图像处理系统是根据车辆所具备的多个摄像头拍摄而得到的拍摄图像来生成俯瞰图像并将其显示在监视器上的图像处理系统。
附图标记的说明
1车辆
21监视器
21B俯瞰图像显示区域（副显示区域）
21T触摸面板
25摄像头（左侧摄像头）
26摄像头（右侧摄像头）
27摄像头（前部摄像头）
28摄像头（后部摄像头）
38障碍物检测单元（障碍物检测部）
39图像处理部
39A俯瞰图像生成单元
39C特定信息输出单元
39E放大显示单元
D分割区域
F框状部
M中间图像
X障碍物

Claims (5)

1.一种车辆周边监视装置，其特征在于，
具有：
多个摄像头，它们拍摄包含车辆周边的路面的区域，
图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上，
障碍物检测出单元，其检测车辆周边的障碍物；
所述图像处理部具有：
俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆周边的俯瞰图像，并将该俯瞰图像显示在被分割成多个分割区域来进行管理的所述监视器的俯瞰图像显示区域中，
特定信息输出单元，其在通过所述障碍物检测出单元检测出障碍物时，通过强调显示所述多个分割区域中的通过所述障碍物检测出单元检测出存在障碍物的分割区域的外周的框状部，来将该障碍物的检测出位置显示在所述监视器上；
在所述监视器的显示面上具有触摸面板，
该车辆周边监视装置还具有放大显示单元，该放大显示单元，在进行了所述强调显示的状况下，在通过触摸面板检测出接触了所述俯瞰图像显示区域时，将进行了所述强调显示的分割区域的图像放大显示在所述监视器上；
所述放大显示单元，将显示在进行了所述强调显示的分割区域中的俯瞰图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像；
在所述中间图像被放大至所述放大显示区域的尺寸而生成了放大图像时，在该放大图像的一部分显示区域图标，该区域图标用于示出所述放大对象图像的原来的位置；
所述图像处理部，对所述监视器配置主显示区域和俯瞰图像显示区域，使得能够通过人为操作来将所述主显示区域和所述俯瞰图像显示区域中的一方设定为所述放大显示区域，将所述放大对象图像放大至所述放大显示区域的尺寸后将其显示在所述放大显示区域，所述主显示区域用于显示由多个所述摄像头中的任意一个摄像头而得到的拍摄图像，所述俯瞰图像显示区域用于显示所述俯瞰图像。
2.如权利要求1所述的车辆周边监视装置，其特征在于，
提高所述框状部的亮度，或者，将所述框状部切换的色彩为不同的色彩，来进行所述强调显示。
3.如权利要求1所述的车辆周边监视装置，其特征在于，
所述放大显示单元，在被切换到所述障碍物检测出单元未检测出障碍物的状态时，取代所述放大显示单元进行的放大显示，在所述俯瞰图像显示区域中显示所述俯瞰图像。
4.一种车辆周边监视装置，其特征在于，
具有：
多个摄像头，它们拍摄包含车辆周边的路面的区域，
图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上，
障碍物检测出单元，其检测车辆周边的障碍物；
所述图像处理部具有：
俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆周边的俯瞰图像，并将该俯瞰图像显示在被分割成多个分割区域来进行管理的所述监视器的俯瞰图像显示区域中，
特定信息输出单元，其在通过所述障碍物检测出单元检测出障碍物时，通过强调显示所述多个分割区域中的通过所述障碍物检测出单元检测出存在障碍物的分割区域的外周的框状部，来将该障碍物的检测出位置显示在所述监视器上；
在所述监视器的显示面上具有触摸面板，
该车辆周边监视装置还具有放大显示单元，该放大显示单元，在进行了所述强调显示的状况下，在通过触摸面板检测出接触了所述俯瞰图像显示区域时，将进行了所述强调显示的分割区域的图像放大显示在所述监视器上；
所述放大显示单元，将对进行了所述强调显示的分割区域进行拍摄的摄像头的拍摄图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像；
在所述中间图像被放大至所述放大显示区域的尺寸而生成了放大图像时，在该放大图像的一部分显示区域图标，该区域图标用于示出所述放大对象图像的原来的位置；
所述图像处理部，对所述监视器配置主显示区域和俯瞰图像显示区域，使得能够通过人为操作来将所述主显示区域和所述俯瞰图像显示区域中的一方设定为所述放大显示区域，将所述放大对象图像放大至所述放大显示区域的尺寸后将其显示在所述放大显示区域，所述主显示区域用于显示由多个所述摄像头中的任意一个摄像头而得到的拍摄图像，所述俯瞰图像显示区域用于显示所述俯瞰图像。
5.如权利要求4所述的车辆周边监视装置，其特征在于，
所述放大显示单元，在被切换到所述障碍物检测出单元未检测出障碍物的状态时，取代所述放大显示单元进行的放大显示，在所述俯瞰图像显示区域中显示所述俯瞰图像。
CN201180014522.1A 2010-03-26 2011-02-02 车辆周边监视装置 Active CN102812704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010072325A JP2011205513A (ja) 2010-03-26 2010-03-26 車両周辺監視装置
JP2010-072325 2010-03-26
PCT/JP2011/052135 WO2011118260A1 (ja) 2010-03-26 2011-02-02 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN102812704A CN102812704A (zh) 2012-12-05
CN102812704B true CN102812704B (zh) 2016-04-06

Family

ID=44672834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180014522.1A Active CN102812704B (zh) 2010-03-26 2011-02-02 车辆周边监视装置

Country Status (6)

Country Link
US (2) US9403481B2 (zh)
EP (1) EP2555519B1 (zh)
JP (1) JP2011205513A (zh)
KR (1) KR101446897B1 (zh)
CN (1) CN102812704B (zh)
WO (1) WO2011118260A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
CN103043000A (zh) * 2011-10-13 2013-04-17 能晶科技股份有限公司 障碍物侦测系统及其障碍物侦测方法
EP2797793B1 (en) * 2011-12-29 2019-03-06 Intel Corporation Systems and methods for proximal object awareness
KR101905872B1 (ko) * 2012-06-01 2018-10-08 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 표시 방법
SE536586C2 (sv) * 2012-07-02 2014-03-11 Scania Cv Ab Anordning och förfarande för att bedöma olycksrisk vid framförande av ett fordon
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6060910B2 (ja) * 2013-03-28 2017-01-18 アイシン精機株式会社 周辺監視装置、及びプログラム
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
EP3029602A1 (en) * 2014-12-04 2016-06-08 Conti Temic microelectronic GmbH Method and apparatus for detecting a free driving space
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160314559A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Electronic apparatus and method
US9902267B2 (en) 2015-05-12 2018-02-27 Bendix Commercial Vehicle Systems Llc Predicted position display for vehicle
KR102309316B1 (ko) * 2015-06-02 2021-10-05 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 구비한 차량
CN105128742A (zh) * 2015-08-31 2015-12-09 刘丰 一种立体摄影倒车系统
JP6675082B2 (ja) * 2015-09-30 2020-04-01 パナソニックＩｐマネジメント株式会社 見守り装置、見守り方法、およびコンピュータプログラム
JP6317315B2 (ja) * 2015-12-22 2018-04-25 本田技研工業株式会社 標識情報表示装置及び方法
JP6390645B2 (ja) * 2016-03-07 2018-09-19 マツダ株式会社 車両周辺画像表示装置
RU2715876C1 (ru) * 2016-04-14 2020-03-03 Ниссан Мотор Ко., Лтд. Способ и оборудование отображения окрестностей мобильного тела
CN108432242A (zh) * 2016-05-10 2018-08-21 Jvc 建伍株式会社 车辆用显示装置、车辆用显示方法以及程序
KR20170133743A (ko) 2016-05-26 2017-12-06 현대자동차주식회사 사용자 입력 기반 차량 제어 시스템 및 그 방법
SE539981C2 (en) * 2016-06-28 2018-02-20 Scania Cv Ab Method and control unit for a digital mirror
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
WO2018045577A1 (zh) * 2016-09-09 2018-03-15 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统
CN112519678B (zh) * 2016-12-22 2023-11-17 康奈可关精株式会社 图像显示控制装置
JP6946652B2 (ja) * 2017-02-02 2021-10-06 株式会社アイシン 駐車支援装置
JP6859216B2 (ja) 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
DE102017218090A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
DE102017218074A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
WO2019239725A1 (ja) * 2018-06-14 2019-12-19 日立オートモティブシステムズ株式会社 車両制御装置
CN208745890U (zh) * 2018-07-19 2019-04-16 汪玉华 太阳能无线倒车可视系统
CN109435852B (zh) * 2018-11-08 2021-11-02 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
JP7232089B2 (ja) * 2019-03-19 2023-03-02 ヤマハ発動機株式会社 船舶用の表示装置、船舶および船舶用の画像表示方法
JP7257200B2 (ja) 2019-03-19 2023-04-13 ヤマハ発動機株式会社 船舶および操船支援装置
CN112208438B (zh) * 2019-07-10 2022-07-29 台湾中华汽车工业股份有限公司 行车辅助影像产生方法及系统
US20210110433A1 (en) * 2019-10-10 2021-04-15 Ford Global Technologies, Llc Vehicle caching of local business data
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN111409554A (zh) * 2020-03-10 2020-07-14 浙江零跑科技有限公司 一种车辆前方通过性检测系统
DE102020213473A1 (de) 2020-10-27 2022-04-28 Continental Automotive Gmbh Kamerasystem sowie Verfahren zur Anzeige von Widgets für ein Kamerasystem

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101041342A (zh) * 2006-03-22 2007-09-26 高田株式会社 对象物检测系统、驱动装置、车辆
CN101269644A (zh) * 2007-03-22 2008-09-24 株式会社电装 车辆外部显示系统和显示控制装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7124359B2 (en) * 1996-01-11 2006-10-17 Canon Kabushiki Kaisha Image edit device adapted to rapidly lay-out photographs into templates with means for preview and correction by user
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP4354085B2 (ja) * 2000-05-09 2009-10-28 本田技研工業株式会社 車両用ヘッドアップディスプレイ装置
US20030112354A1 (en) * 2001-12-13 2003-06-19 Ortiz Luis M. Wireless transmission of in-play camera views to hand held devices
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP3855814B2 (ja) * 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
JP4379681B2 (ja) * 2003-04-04 2009-12-09 ソニー株式会社 携帯型情報処理装置、情報送信制御方法及び情報通信システム
CN100340960C (zh) * 2003-05-20 2007-10-03 英特莱格公司 用于操纵三维对象的数字表示的方法和系统
JP4151964B2 (ja) * 2003-09-30 2008-09-17 株式会社東芝 情報表示システムおよび情報表示方法
JP4573242B2 (ja) 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP3908249B2 (ja) * 2005-01-21 2007-04-25 松下電器産業株式会社 表示制御装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP2006273190A (ja) * 2005-03-30 2006-10-12 Alpine Electronics Inc 車載用ナビゲーション装置
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4807104B2 (ja) * 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP5032798B2 (ja) * 2006-03-24 2012-09-26 富士フイルム株式会社 情報提供装置、情報提供システムおよび情報提供方法
CN101438590B (zh) * 2006-05-09 2011-07-13 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
WO2008068837A1 (ja) * 2006-12-05 2008-06-12 Fujitsu Limited 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
JP5042651B2 (ja) * 2007-01-31 2012-10-03 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US20090073271A1 (en) * 2007-02-16 2009-03-19 Wesley Grenlund Extended look instrument
US20080231740A1 (en) * 2007-03-21 2008-09-25 Mcintyre Dale F Camera with multiple displays
JP5160114B2 (ja) * 2007-03-26 2013-03-13 本田技研工業株式会社 車両の通り抜け判断装置
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
JP5347279B2 (ja) * 2008-02-13 2013-11-20 ソニー株式会社 画像表示装置
US8624977B2 (en) * 2008-02-20 2014-01-07 Clarion Co., Ltd. Vehicle peripheral image displaying system
JP4973564B2 (ja) * 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
US20090305682A1 (en) * 2008-06-09 2009-12-10 Karin Spalink System and method for webpage display in a portable electronic device
US8972893B2 (en) * 2008-06-27 2015-03-03 Microsoft Technology Licensing, Llc Notification area that persistently rearranges elements
DE102008046214A1 (de) * 2008-09-08 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
US8532346B2 (en) * 2009-03-11 2013-09-10 Sony Corporation Device, method and computer program product
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
JP5143235B2 (ja) * 2009-10-07 2013-02-13 パナソニック株式会社 制御装置および車両周囲監視装置
US8441460B2 (en) * 2009-11-24 2013-05-14 Mediatek Inc. Apparatus and method for providing side touch panel as part of man-machine interface (MMI)
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101041342A (zh) * 2006-03-22 2007-09-26 高田株式会社 对象物检测系统、驱动装置、车辆
CN101269644A (zh) * 2007-03-22 2008-09-24 株式会社电装 车辆外部显示系统和显示控制装置

Also Published As

Publication number Publication date
KR101446897B1 (ko) 2014-10-06
US20160185294A1 (en) 2016-06-30
US9862319B2 (en) 2018-01-09
EP2555519A1 (en) 2013-02-06
JP2011205513A (ja) 2011-10-13
EP2555519B1 (en) 2019-11-27
US20130010118A1 (en) 2013-01-10
US9403481B2 (en) 2016-08-02
KR20120118074A (ko) 2012-10-25
EP2555519A4 (en) 2016-12-07
CN102812704A (zh) 2012-12-05
WO2011118260A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
CN102812704B (zh) 车辆周边监视装置
CN105774656B (zh) 车辆周边监视装置
US8878934B2 (en) Image display device
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
CN102474597B (zh) 车辆周围图像生成装置
JP4956915B2 (ja) 映像表示装置及び映像表示方法
WO2018105417A1 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP5825323B2 (ja) 車両周辺監視装置
WO2019073938A1 (ja) 駐車支援装置
JP2020088697A (ja) 周辺監視装置
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
CN114619965A (zh) 车辆显示控制装置以及车辆显示控制方法
JP2021007255A (ja) 撮像装置、画像処理装置、表示システム、および車両
JP7007438B2 (ja) 撮像装置、画像処理装置、表示装置、表示システム、および車両
JP2022040223A (ja) 表示制御装置及び車両

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant