CN112477758A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN112477758A
CN112477758A CN202010962500.9A CN202010962500A CN112477758A CN 112477758 A CN112477758 A CN 112477758A CN 202010962500 A CN202010962500 A CN 202010962500A CN 112477758 A CN112477758 A CN 112477758A
Authority
CN
China
Prior art keywords
vehicle
image
display
virtual
vehicle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010962500.9A
Other languages
English (en)
Inventor
山本欣司
渡边一矢
平田诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN112477758A publication Critical patent/CN112477758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供在检测到需要注意的物体的情况下，使利用者容易直观地掌握该物体与车辆的位置关系的周边监视装置。实施方式的周边监视装置例如具备：获取部，获取车辆的当前的转向角；图像获取部，从拍摄车辆的周边的拍摄部获取拍摄图像；探测部，获取车辆的周边的物体的探测信息；以及控制部，使合成图像显示于显示部，该合成图像包括表示车辆的车辆图像和基于拍摄图像的表示车辆的周边的周边图像，当在车辆以当前的转向角前进规定距离的情况下的路线上探测到物体时，控制部在合成图像内使表示车辆的形状的虚拟的虚拟车辆图像重叠显示于以车辆图像所示的车辆的位置为基准的到物体为止的路线上。

Description

周边监视装置
技术领域
本发明的实施方式涉及周边监视装置。
背景技术
提出一种基于由拍摄部拍摄车辆的周边而获得的拍摄图像来检测存在于车辆的周边的物体(障碍物等)，并且计算车轮的预期路线，在物体存在于预期路线上的情况下进行报告的技术。
专利文献1：日本特开2008－90655号公报
当发现有可能与车辆接触的物体(需要注意的物体)时，如果能够不仅进行报告，还将车辆保持原样地行进的情况下的物体与车辆的位置关系以利用者(驾驶员等)能够更直观地识别的状态来提供，则容易更顺畅且安全地执行避免接触等。
发明内容
因此，实施方式的课题之一在于提供一种在检测到需要注意的物体的情况下，使利用者容易直观地掌握该物体与车辆(本车)的位置关系的周边监视装置。
实施方式的周边监视装置例如具备：获取部，获取车辆的当前的转向角；图像获取部，从拍摄车辆的周边的拍摄部获取拍摄图像；探测部，获取车辆的周边的物体的探测信息；以及控制部，使合成图像显示于显示部，合成图像包括表示车辆的车辆图像和基于拍摄图像的表示车辆的周边的周边图像，当在车辆以当前的转向角前进规定距离的情况下的路线上探测到物体时，控制部在合成图像内使表示车辆的形状的虚拟的虚拟车辆图像重叠显示于以车辆图像所示的车辆的位置为基准的到物体为止的路线上。根据该结构，例如能够进行根据虚拟车辆图像是否被显示在合成图像中，而使利用者容易直观地识别出在车辆以当前的转向角前进的情况下，在其路线上是否存在需要注意的物体的显示。
另外，也可以：在实施方式的周边监视装置中，虚拟车辆图像例如能够从车辆的位置朝向物体的位置移动。根据该结构，例如，能够进行使驾驶员容易识别虚拟车辆图像的存在的显示，换句话说，能够进行容易识别在路线上存在需要注意的物体的显示。另外，通过虚拟车辆图像朝向物体移动，从而能够进行更容易识别物体的位置的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在虚拟车辆图像内使与物体接触的部分图像的显示方式变化，并且在合成图像内，在车辆与物体接触的位置或者前进到车辆与物体接触的近前的位置后的位置处，使虚拟车辆图像的移动停止。根据该结构，例如，能够进行基于虚拟车辆图像，使驾驶员容易识别车辆的车体中的与物体接触的位置或者接触的近前的位置，容易驾驶车辆的那样的显示。另外，由于在与物体接触的位置或者其近前的位置使虚拟车辆图像停止，所以可以进行更容易识别物体的位置的显示，能够进行容易避免探测到的物体与车辆的接触的显示。
另外，也可以：实施方式的周边监视装置的虚拟车辆图像例如是由多边形构成的表示车辆的形状的图像，部分图像是构成虚拟车辆图像的多边形中的与物体接触的部分的多边形。根据该结构，例如，能够进行基于虚拟车辆图像，使驾驶员容易识别车辆的车体中的物体有可能接触的位置，容易驾驶车辆的那样的显示。另外，能够进行容易避免探测到的物体与车辆的接触的显示。
另外，也可以：实施方式的周边监视装置的控制部例如根据物体的位置与虚拟车辆图像所示的车辆的位置之间的距离来改变部分图像的显示方式。根据该结构，例如，可以通过确认部分图像的显示方式的变化，更详细地掌握车辆与物体的位置关系，能够更容易使驾驶员执行车辆不与探测到的物体接触的驾驶。
另外，也可以：实施方式的周边监视装置的控制部例如在距离为规定值以下的情况下，将部分图像的显示方式改变为示意接触的第一显示方式，在从距离为规定值以下的状态变化为超过规定值的情况下，将显示方式从第一显示方式改变为示意接触避免的第二显示方式。根据该结构，例如，能够进行使车辆的驾驶员容易进行有可能与物体接触还是不接触的判断的显示。
另外，也可以：在实施方式的周边监视装置中，车辆图像例如是车辆的俯瞰图像。根据该结构，例如，能够进行使驾驶员容易正确地掌握车辆与其周边的物体的位置关系的显示。
另外，也可以：在实施方式的周边监视装置中，虚拟车辆图像例如是表示车辆的三维形状的图像。根据该结构，例如能够将更有真实感的虚拟车辆图像显示于显示部。
另外，也可以：在实施方式的周边监视装置中，虚拟车辆图像例如是表示车辆的形状的半透明的图像。根据该结构，例如，能够进行使驾驶员容易区别虚拟车辆图像与车辆图像的显示。另外，能够进行使驾驶员容易直观地识别虚拟车辆图像是表示车辆的未来的位置的图像的显示。
另外，也可以：在实施方式的周边监视装置中，虚拟车辆图像例如是强调显示了车辆的轮廓的图像。根据该结构，例如，能够进行基于虚拟车辆图像，使驾驶员容易识别车辆的未来的位置的显示。另外，可以视觉确认与虚拟车辆图像重叠的部分，容易抑制周围状况的可视性降低。
另外，也可以：在实施方式的周边监视装置中，虚拟车辆图像例如是随着从车辆的轮廓朝向内侧而透过率变高的图像。根据该结构，例如能够进行基于虚拟车辆图像，使驾驶员容易识别车辆的未来的位置的显示。另外，可以视觉确认与虚拟车辆图像重叠的部分，容易抑制周围状况的可视性降低。
另外，也可以：实施方式的周边监视装置的控制部例如在由探测部探测到物体的情况下，与探测到物体之前的显示状态相比，放大显示合成图像。根据该结构，例如，能够进行通过放大显示，使驾驶员容易直观地识别探测到物体而需要对周围的状况加以注意的显示。另外，能够进行通过放大显示，使驾驶员容易确认周围状况的细节，容易给予安心感的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在执行放大显示时，在车辆为能够后退的状态的情况下，与能够后退的状态以外的情况相比，减小放大显示的程度。根据该结构，例如，能够进行在车辆为能够后退的情况下，通过放大显示，容易直观地识别物体的检测的显示，并且能够进行与后退以外的情况相比，扩大车辆的周围的显示范围，容易进行广范围的确认的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在对合成图像进行放大显示的情况下，执行错开显示，在错开显示中，在与基于当前的转向角的转弯方向相反的方向上错开地显示车辆图像的显示位置。根据该结构，例如，能够进行由于转弯方向的显示区域增加，所以使驾驶员容易进行从此以后将要朝向的方向的状况掌握的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在车辆为能够后退的状态的情况下，设为不执行错开显示。根据该结构，例如，能够进行在车辆为能够后退的状态的情况下，使驾驶员容易进行与车辆的周围全部区域有关的状况的识别的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在设为不显示虚拟车辆图像的情况下，使合成图像恢复至探测到物体之前的显示状态。根据该结构，例如，能够进行使驾驶员容易识别虚拟车辆图像的显示结束的显示。另外，能够进行使驾驶员容易直观地识别与物体接触的可能性减少或者消除这一情况的显示。
另外，也可以：实施方式的周边监视装置的控制部例如将虚拟车辆图像的显示设为暂时不显示，并且在满足规定的条件的情况下，解除不显示。根据该结构，例如，在不需要虚拟车辆图像的显示的情况下，能够不显示，并且，能够抑制不显示的状态继续。
另外，也可以：实施方式的周边监视装置的控制部例如在将虚拟车辆图像的显示设为暂时不显示的情况下，设为仅在不显示期间中能够执行再显示。根据该结构，例如，即使在不显示虚拟车辆图像的情况下，也可以根据需要进行再显示，能够提高使用的便利性。
另外，也可以：实施方式的周边监视装置的控制部例如在车辆与物体接触的位置或者车辆与物体接触的近前的位置处使虚拟车辆图像的移动停止后，从当前的转向角起改变转向角，并且设为在车辆变得与物体不接触的情况下，能够沿按照改变后的转向角的方向再开始虚拟车辆图像的移动。根据该结构，例如能够更清楚地使驾驶员识别能够通过改变转向角来消除与物体的接触的情况，以及与物体的接触已消除的情况。另外，能够进行对于更先前的区域，容易一边注视与其它物体的接触可能性一边继续行驶的显示。此外，也可以在能够确认出不与物体接触的情况下，在规定期间后，不显示虚拟车辆图像。
另外，也可以：实施方式的周边监视装置例如还具备操作开关，操作开关能够切换是否将虚拟车辆图像显示于显示部，当在车辆以当前的转向角前进规定距离的情况下的路线上未探测到物体时，并且当根据操作开关的操作而虚拟车辆图像能够显示于显示部时，控制部使车辆图像的显示方式变化。根据该结构，例如，即使是在路线上探测到物体之前的状态，也能够使车辆图像的显示方式变化，并且显示是虚拟车辆图像的显示待机状态。因此，能够进行在路线上探测到物体的情况下，使驾驶员容易识别是通过虚拟车辆图像立即通知的状态，容易给予安心感的显示。
另外，也可以：实施方式的周边监视装置的控制部例如在显示虚拟车辆图像的情况下，使虚拟车辆图像的车长方向的长度和车宽方向的长度中的至少一方与车辆图像的对应长度相比放大显示。根据该结构，例如，比车辆图像大地显示被显示的虚拟车辆图像的大小。换句话说，在考虑到物体(例如障碍物)而使车辆移动的情况下，能够以包含安全且适当的富余距离(安全余量)的状态进行虚拟车辆图像的显示。其结果是，能够进行容易避免与物体接触或过于接近的显示。另外，反之，能够实现容易抑制取必要以上的富余距离的显示。
另外，也可以：实施方式的周边监视装置的控制部例如仅放大虚拟车辆图像的车宽方向的长度。例如，在使车辆前进以及转弯的情况下，具有容易识别车辆长度方向的安全余量，另一方面，与车辆长度方向相比，车宽方向的安全余量难以识别的趋势。根据该结构，例如，在使车辆前进的情况下以及转弯的情况下，对于车宽方向，可以确保必要最小限度并且安全且适当的富余距离，能够进行容易提示驾驶员更适当的移动路径的显示。
附图说明
图1是表示透视搭载实施方式所涉及的周边监视装置的车辆的车厢的一部分的状态的例示且示意性的立体图。
图2是搭载实施方式所涉及的周边监视装置的车辆的例示且示意性的俯视图。
图3是表示包括本实施方式所涉及的周边监视装置的车辆的控制系统的功能构成的例示且示意性的框图。
图4是例示且示意性地表示实施方式所涉及的周边监视装置的结构的框图。
图5是基于第一实施方式所涉及的周边监视装置的显示图像的例示且示意性的图。
图6是基于第一实施方式所涉及的周边监视装置的其它显示画面的例示且示意性的图。
图7是说明基于第一实施方式所涉及的周边监视装置的虚拟车辆图像的显示方法的一个例子的例示且示意性的图。
图8是用于说明基于第一实施方式所涉及的周边监视装置的以多边形显示车辆图像的情况下的显示方法的例示且示意性的图。
图9是说明基于第一实施方式所涉及的周边监视装置的构成虚拟车辆图像的多边形的颜色的决定方法的例示且示意性的图。
图10是说明基于第一实施方式所涉及的周边监视装置的虚拟车辆图像的显示的例示且示意性的图。
图11是说明通过第一实施方式所涉及的周边监视装置强调显示部分图像的处理的例示且示意性的图。
图12是说明通过第一实施方式所涉及的周边监视装置强调显示部分图像的处理的例示且示意性的图。
图13是基于第二实施方式所涉及的周边监视装置的显示画面的例示且示意性的图。
图14是基于第二实施方式所涉及的周边监视装置的其它显示画面的例示且示意性的图。
图15是表示基于图14所示的周边监视装置的接近物指标的显示的例示且示意性的图。
图16是表示基于图14所示的周边监视装置的接近物指标的其它显示的例示且示意性的图。
图17是基于第三实施方式所涉及的周边监视装置的显示画面的例示且示意性的图。
图18是表示使基于第三实施方式所涉及的周边监视装置的显示画面的显示方式在车辆能够后退的状态时和除此以外时变化的例示且示意性的图。
图19是基于第三实施方式所涉及的周边监视装置的表示能够使虚拟车辆图像不显示和再显示的显示画面的例示且示意性的图。
图20是在本实施方式的周边监视装置中与选择车辆图像的显示的有无的主开关(操作开关)的操作状态对应的显示画面的例示且示意性的图。
图21是表示在本实施方式的周边监视装置中在显示虚拟车辆图像时改变大小，确保相对于物体(例如障碍物)的富余距离(安全余量)的显示图像的例示且示意性的图。
图22是基于变形例所涉及的周边监视装置的显示画面的例示且示意性的图。
附图标记说明：1…车辆，8…显示装置，10…操作输入部，10a…主开关，14…ECU，14a…CPU，14b…ROM，14c…RAM，14d…显示控制部，14f…SSD，15…拍摄部，16…雷达，17…声纳，400…图像获取部，401…获取部，402…探测部，403…控制部。
具体实施方式
以下，公开本发明的例示的实施方式。以下所示的实施方式的结构、及通过该结构带来的作用、结果以及效果是一个例子。本发明能够通过以下的实施方式所公开的结构以外来实现，并且能够得到基于基本结构的各种效果、派生效果中的至少一个。
(整体系统的说明)
图1是透视搭载实施方式所涉及的周边监视装置的车辆1的车厢2a的一部分的状态的例示且示意性的立体图。搭载本实施方式所涉及的周边监视装置的车辆既可以是将内燃机(发动机)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(马达)作为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是将它们双方作为驱动源的汽车(混合动力汽车)。另外，车辆能够搭载各种变速装置、内燃机或者电动机的驱动所需的各种装置(系统、部件等)。另外，车辆中的车轮的驱动相关的装置的方式、个数、布局等能够进行各种设定。
如图1所例示那样，车辆1的车体2构成未图示的乘客乘车的车厢2a。在车厢2a内，在面向作为乘客的驾驶员的座椅2b的状态下，设置有转向操纵部4、加速操作部5、制动操作部6以及变速操作部7等。转向操纵部4例如是从仪表板24突出的方向盘。加速操作部5例如是位于驾驶员的脚下的加速踏板。制动操作部6例如是位于驾驶员的脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。
另外，在车厢2a内设置有显示装置(显示部)8、作为声音输出部的声音输出装置9。显示装置8例如是LCD(liquid crystal display：液晶显示器)、OELD(organicelectroluminescent display：有机电致发光显示器)等。声音输出装置9例如是扬声器。另外，显示装置8例如被触摸面板等透明的操作输入部10覆盖。乘客(利用者)能够经由操作输入部10视觉确认显示于显示装置8的显示画面的图像。另外，乘客能够在与显示于显示装置8的显示画面的图像对应的位置利用手指等进行触摸、按压或者移动来操作操作输入部10，从而执行操作输入。这些显示装置8、声音输出装置9、操作输入部10等例如被设置于位于仪表板的车宽方向即左右方向的中央部的监视器装置11。监视器装置11能够具有开关、拨号盘、操纵杆、按钮等未图示的操作输入部。另外，能够在与监视器装置11不同的车厢2a内的其它的位置设置未图示的声音输出装置，能够从与监视器装置11的声音输出装置9不同的声音输出装置输出声音。此外，监视器装置11例如能够兼为导航系统、音频系统。
图2是搭载本实施方式所涉及的周边监视装置的车辆1的例示且示意性的俯视图。如图1以及图2所示，车辆1是四轮汽车等，具有左右两个前轮3F和左右两个后轮3R。四个车轮3的全部或者一部分能够转向。
在车体2例如设置有四个拍摄部15a～15d作为多个拍摄部15。拍摄部15例如是内置CCD(charge coupled device：电荷耦合器件)、CIS(CMOS image sensor：CMOS图像传感器)等拍摄元件的数字相机。拍摄部15能够以规定的帧速率输出视频数据。拍摄部15分别具有广角透镜或者鱼眼透镜，在水平方向例如能够拍摄140°～220°的范围。另外，拍摄部15的光轴设定为朝向斜下方。由此，拍摄部15能够依次拍摄包括车辆1能够移动的路面、车辆1能够停车的区域的车体2的周边的外部的环境，并作为拍摄图像数据输出。
拍摄部15a例如位于车体2的后侧的端部2e，设置于后备箱的门2h的后视窗的下方的壁部，拍摄车辆1的后方区域的状况。拍摄部15b例如位于车体2的右侧的端部2f，设置于右侧的后视镜2g，拍摄包括车辆1的右前方、右侧方、右后方的区域的状况。拍摄部15c例如位于车体2的前侧、即车辆前后方向的前方侧的端部2c，设置于前保险杠等，拍摄车辆1的前方区域的状况。拍摄部15d例如位于车体2的左侧、即车宽方向的左侧的端部2d，设置于作为左侧的突出部的后视镜2g，拍摄包括车辆1的左前方、左侧方、左后方的区域的状况。构成周边监视装置的ECU14(参照图3)能够基于由多个拍摄部15得到的拍摄图像数据执行运算处理、图像处理，生成更宽的视场角的图像，或者生成从上方观察车辆1的虚拟的俯瞰图像。
另外，车辆1具有多个雷达16作为能够计测与存在于车辆1的外部的物体的距离的测距部。雷达16例如是毫米波雷达等，能够计测与存在于车辆1的行进方向的物体的距离。在本实施方式中，车辆1具有多个雷达16a～16d。雷达16a例如设置于车辆1的后保险杠的左侧的端部，能够计测与存在于车辆1的左后方的物体的距离。另外，雷达16b设置于车辆1的后保险杠的右侧的端部，能够计测与存在于车辆1的右后方的物体的距离。雷达16c设置于车辆1的前保险杠的右侧的端部，能够计测与存在于车辆1的右前方的物体的距离。另外，雷达16d设置于车辆1的前保险杠的左侧的端部，能够计测与存在于车辆1的左前方的物体的距离。
另外，车辆1具有能够使用超声波计测与存在于离车辆1比较近的距离的外部的物体的距离的声纳17。在本实施方式中，车辆1具有多个声纳17a～17h。声纳17a～17d设置于车辆1的后保险杠，能够计测与存在于车辆的后方的物体的距离。声纳17e～17h设置于车辆1的前保险杠，能够计测与存在于车辆1的前方的物体的距离。
图3是表示包括本实施方式所涉及的周边监视装置的车辆1的控制系统100的功能构成的例示且示意性的框图。如图3所例示那样，在控制系统100中，除了ECU14、监视器装置11、转向操纵系统13、雷达16、声纳17等之外，还有制动系统18、转向角传感器19、加速传感器20、换档传感器21、车轮速度传感器22、GPS(Global Positioning System：全球定位系统)接收机25、方向指示器26等经由作为电通信线路的车内网络23电连接。车内网络23例如构成为CAN(controller area network：控制器局域网)。ECU14能够通过经由车内网络23送出控制信号，来控制转向操纵系统13、制动系统18等。另外，ECU14能够经由车内网络23接受转矩传感器13b、制动传感器18b、转向角传感器19、雷达16、声纳17、加速传感器20、换档传感器21、车轮速度传感器22、GPS接收机25等的检测结果、操作输入部10或方向指示器26的操作杆的操作信号等。
转向操纵系统13是电动助力转向系统、SBW(Steer By Wire：线控转向)系统等。转向操纵系统13具有促动器13a以及转矩传感器13b。而且，转向操纵系统13被ECU14等电控制，使促动器13a动作，对转向操纵部4附加转矩以补充转向操纵力，从而使车轮3转向。转矩传感器13b检测驾驶员给予转向操纵部4的转矩，并将该检测结果发送至ECU14。
制动系统18包括控制车辆1的制动器的抱死的ABS(Anti-lock Brake System：防抱死制动系统)、抑制转弯时的车辆1的侧滑的防侧滑装置(ESC：Electronic StabilityControl：电子稳定控制)、使制动力增强来辅助制动的电动制动系统、以及BBW(Brake ByWire：线控制动)。制动系统18具有促动器18a以及制动传感器18b。制动系统18被ECU14等电控制，经由促动器18a给予车轮3制动力。制动系统18根据左右的车轮3的旋转差等，检测制动器的抱死、车轮3的空转以及侧滑的征兆等，执行抑制制动器的抱死、车轮3的空转以及侧滑的控制。制动传感器18b是检测作为制动操作部6的可动部的制动踏板的位置的位移传感器，将制动踏板的位置的检测结果发送给ECU14。
转向角传感器19是检测方向盘等转向操纵部4的转向操纵量的传感器。转向角传感器19由霍尔元件等构成，检测转向操纵部4的旋转部分的旋转角度作为转向操纵量，并将其检测结果发送至ECU14。加速传感器20是检测作为加速操作部5的可动部的加速踏板的位置的位移传感器，将其检测结果发送至ECU14。
换档传感器21是检测变速操作部7的可动部(杆、臂、按钮等)的位置的传感器，将其检测结果发送至ECU14。车轮速度传感器22具有霍尔元件等，是检测车轮3的旋转量或者每个单位时间的车轮3的转数的传感器，并将其检测结果发送至ECU14。GPS接收机25基于从人工卫星接收到的电波来获取车辆1的当前位置。方向指示器26例如设置于左右的后视镜2g。驾驶员操作的可动部(操作杆等)的操作信号被发送至ECU14，并且被发送至方向指示器26，通过闪烁或者点亮，将车辆1从此将要转弯的方向通知给周围。
此外，上述的各种传感器、促动器的结构、配置、电连接方式等是一个例子，能够进行设定(改变)。
ECU14由计算机等构成，通过硬件与软件配合，来负责车辆1的控制整体。具体而言，ECU14具有CPU(central processing unit：中央处理器)14a、ROM(read only memory：只读存储器)14b、RAM(random access memory：随机存取存储器)14c、显示控制部14d、声音控制部14e以及SSD(solid state drive：固态硬盘)14f等。CPU14a、ROM14b以及RAM14c也可以设置在同一电路基板内。
CPU14a能够读出安装并存储于ROM14b等非易失性的存储装置的程序，并根据该程序执行运算处理。CPU14a例如能够执行与显示装置8所显示的图像相关连的图像处理的运算以及控制。另外，CPU14a能够执行对由拍摄部15得到的广角图像的拍摄图像数据(弯曲的图像的数据)实施运算处理、图像处理来修正失真的失真修正处理，或者基于拍摄部15拍摄到的拍摄图像数据生成例如在中心位置显示表示车辆1的车辆图像(本车图标)的俯瞰图像(周边图像)并使其显示于显示装置8。另外，CPU14a在生成俯瞰图像时，能够改变虚拟视点的位置，生成如从正上方面向车辆图像那样的俯瞰图像、从斜方向面向车辆图像那样的俯瞰图像。
CPU14a能够执行如下处理：在车辆1以当前的转向角前进规定距离的情况下的路线上通过拍摄图像数据的解析、基于雷达16或声纳17的测距数据的解析等探测到物体的情况下，使能够以车辆图像所示的车辆1的位置为基准移动的、表示车辆1的形状的虚拟的虚拟车辆图像重叠显示于俯瞰图像内。另外，在其它实施方式中，在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体的情况下，CPU14a也可以使虚拟车辆图像重叠显示于路线上的物体的位置与在俯瞰图像内(后述的合成图像内)车辆图像所示的车辆1的位置之间。换句话说，在探测到物体的情况下，也可以进行在路线上的规定的位置(例如，相当于车辆1的前方2m的位置)出现虚拟车辆图像那样的显示。此外，车辆1前进规定距离的情况下的路线无需与实际的车辆1的移动轨迹完全一致，例如也可以设为具有规定量的余量(误差或富余)的路线。
ROM14b存储各种程序以及该程序的执行所需的参数等。RAM14c暂时存储CPU14a中的运算所使用的各种数据。显示控制部14d主要执行ECU14的运算处理中的对从拍摄部15获取并输出到CPU14a的图像数据的图像处理、使从CPU14a获取到的图像数据转换为显示于显示装置8的显示用的图像数据等。声音控制部14e主要执行ECU14的运算处理中的从CPU14a获取并使其输出到声音输出装置9的声音的处理。SSD14f是能够改写的非易失性的存储部，即使在ECU14的电源断开的情况下，也继续存储从CPU14a获取的数据。此外，CPU14a、ROM14b、RAM14c等能够集成于同一封装体内。另外，ECU14也可以为使用DSP(digitalsignal processor：数字信号处理器)等其它的逻辑运算处理器或者逻辑电路等来代替CPU14a的结构。另外，可以代替SSD14f而设置HDD(hard disk drive：硬盘驱动器)，也可以与ECU14分开设置SSD14f或者HDD。
图4是例示且示意性地表示通过CPU14a实现实施方式所涉及的周边监视装置的情况下的结构的框图。如图4所示，CPU14a具备图像获取部400、获取部401、探测部402以及控制部403。CPU14a通过执行储存于ROM14b或者SSD14f等存储介质内的周边监视程序，来实现图像获取部400、获取部401、探测部402以及控制部403的功能。此外，也可以通过电路等硬件来构成图像获取部400、获取部401、探测部402以及控制部403中的一部分或者全部。另外，在图4中，虽然省略图示，但CPU14a也可以实现车辆1的行驶所需的各种模块。
图像获取部400获取由拍摄部15拍摄车辆1的周边而获得的拍摄图像。获取部401获取车辆1的当前的转向角。获取部401获取由转向角传感器19检测到的转向操纵量，作为车辆1的当前的转向角。
探测部402能够获取有可能与车辆1接触的物体的探测信息。具体而言，探测部402基于由拍摄部15拍摄车辆1的行进方向而获得的拍摄图像、由雷达16计测到的距离(车辆1与存在于该车辆1的行进方向上的物体之间的距离)等，探测在车辆1以当前的转向角前进规定距离的情况下的路线上有可能与车辆1接触的物体。探测部402能够获取(探测)静止物、向车辆1接近并有可能接触的移动体这两方的探测信息，作为有可能与车辆1接触的物体。
例如，探测部402通过针对利用拍摄部15的拍摄而获得的拍摄图像的图像处理(例如，光流：Optical flow)，探测有可能与车辆1接触的物体。或者，探测部402基于由雷达16计测到的距离的变化来探测有可能与车辆1接触的物体。
探测部402基于通过拍摄部15的拍摄而获得的拍摄图像或者雷达16对距离的计测结果来探测有可能与车辆1接触的物体，但也可以探测存在于距车辆1比较近的距离的物体。该情况下，能够基于声纳17对距离的计测结果来探测有可能与车辆1接触的物体。
探测部402根据车辆1具有的未图示的探测开始开关的操作，向动作状态(接通)或非动作状态(断开)迁移。此处，动作状态是探测与车辆1接触的物体的状态。另一方面，非动作状态是不探测与车辆1接触的物体的状态。
探测部402根据探测开始开关的操作向动作状态或非动作状态迁移，但不限定于此。例如，也可以当基于车轮速度传感器22对车轮3的转速的检测结果等的车辆1的速度成为预先设定的速度(例如12km/h)以下时，探测部402自动地(不依赖于探测开始开关的操作地)迁移为动作状态。另外，也可以当车辆1的速度比预先设定的速度快时，探测部402自动地(不依赖于探测开始开关的操作地)迁移为非动作状态。
控制部403经由显示控制部14d使显示画面显示于显示装置8，该显示画面包括通过拍摄部15拍摄车辆1的行进方向而获得的拍摄图像、和包括车辆图像以及周边图像的合成图像。在本实施方式中，虽然控制部403使包括合成图像和拍摄图像的显示画面显示在显示装置8上，但只要使至少包括合成图像的显示画面显示于显示装置8即可。
此处，车辆图像是表示车辆1的图像。车辆图像是从上方俯视车辆1得到的俯瞰图像。由此，能够正确掌握车辆1与其周边的物体的位置关系。车辆图像可以是位图形式的图像，也可以是由多个多边形构成的表示车辆的形状的图像。此处，由多个多边形构成的车辆图像是指通过多个多边形(例如，三角形的多边形)表现出的立体的车辆1的形状。
另外，周边图像是基于通过拍摄部15拍摄车辆1的周围获得的拍摄图像而生成的、表示车辆1的周边(周围)的图像。周边图像是从上方俯视车辆1的周边(周围)得到的俯瞰图像。另外，周边图像是以车辆图像的例如后轮轴的中央为中心的车辆1的周边的俯瞰图像。
另外，当通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体时，控制部403使能够以车辆图像所示的位置为基准移动的、表示车辆1的形状的虚拟的虚拟车辆图像重叠显示于合成图像内。例如，图像获取部400能够进行从车辆图像的位置起沿着基于当前的转向角的路线使虚拟车辆图像移动规定距离那样的显示。另一方面，当通过探测部402未在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体时，控制部403使得不显示虚拟车辆图像。由此，车辆1的驾驶员能够基于在显示于显示装置8的显示画面上是否包含虚拟车辆图像，来容易识别在车辆1以当前的转向角前进的情况下的路线上是否存在有可能接触的物体。此外，也可以如前述那样，在通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体的情况下，控制部403使得在路线上的规定的位置出现虚拟车辆图像。
此处，规定距离是预先设定的距离，例如可以设为1.0～2.0m，但可以适当地改变设定。另外，当前的转向角是车辆1的当前位置处的转向角。控制部403获取由获取部401获取的转向角，作为车辆1的当前位置处的转向角。
另外，虚拟车辆图像能够设为由多个多边形构成的表示车辆1的形状的虚拟的图像。由多个多边形构成的虚拟车辆图像是指通过多个多边形(例如，三角形的多边形)显示出的立体的车辆1的形状(车辆1的三维形状)。由此，能够使更有真实感的虚拟车辆图像显示于显示装置8。
虽然控制部403将由多个多边形构成的表示车辆1的形状的图像作为虚拟车辆图像包含在合成图像中，但例如也可以将位图形式的表示车辆1的形状的图像作为虚拟车辆图像包含在合成图像中。
在探测部402处于动作状态且通过换档传感器21检测出变速操作部7的位置处于D档的情况下，并且在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体的情况下，控制部403使虚拟车辆图像显示于车辆1的前方。例如，沿着由当前的转向角决定的路线，使虚拟车辆图像以从车辆图像脱离的方式移动。由此，能够实现使驾驶员容易识别存在于车辆1的前方的路线上的物体的显示。
同样地，在探测部402处于动作状态且通过换档传感器21检测出变速操作部7的位置处于R档的情况下，并且在车辆1以当前的转向角后退规定距离的情况下的路线上探测到物体的情况下，控制部403使虚拟车辆图像显示于车辆1的后方。由此，能够实现使驾驶员容易识别存在于车辆1的后方的路线上的物体的显示。
另一方面，当通过探测部402在车辆1前进规定距离的情况下的路线上未探测到接触的物体时，控制部403在合成图像内不显示虚拟车辆图像。即，控制部403能够实现示意在车辆1以当前的转向角前进规定距离的情况下的路线上不存在有可能与车辆1接触的物体的显示。此外，虽然后述，但是有在虚拟车辆图像已经被显示的状态下，在路线上不存在物体的情况，例如是改变转向角或物体本身移动的情况。该情况下，虚拟车辆图像也可以不立即不显示，而在经过规定期间后不显示。通过使虚拟车辆图像显示规定期间，能够避免在路线周边存在物体的情况下，进行在短时间内反复切换虚拟车辆图像的不显示和显示那样的复杂的显示。
另外，在通过探测部402探测到与车辆1接触的物体的情况下，控制部403也可以在虚拟车辆图像内使与被探测到的物体接触的部分的图像(以下，称为部分图像)的显示方式变化。另外，控制部403也可以使部分图像闪烁，或者使显示颜色变化，或者强调显示部分图像的轮廓，来使部分图像变化为和虚拟车辆图像的其它部分不同的显示方式。另外，在虚拟车辆图像由多边形构成的情况下，控制部403能够确定构成虚拟车辆图像的多边形中的与物体接触的部分的多边形作为部分图像。而且，控制部403也可以使所确定的多边形的显示方式变化。
由此，能够进行使车辆1的驾驶员容易从所显示的虚拟车辆图像识别以当前的转向角行驶的情况下车辆1的车体中的哪个部分与物体接触的显示。其结果是，能够进行易于执行避免探测到的物体与车辆1的接触的行驶操作的显示。
另外，在探测到与车辆1接触的物体的情况下，控制部403能够在合成图像内，使虚拟车辆图像移动到车辆1与物体接触的接触位置后，从该接触位置开始，不使虚拟车辆图像移动。换句话说，在为能够进行虚拟车辆图像的移动的规定距离以下的情况下，控制部403也在与物体的接触位置使虚拟车辆图像停止。在探测到与车辆1接触的物体的情况下，控制部403在合成图像内不使虚拟车辆图像从车辆1与物体接触的接触位置移动而使其固定，但并不限于此。例如，控制部403也可以在接触位置的近前的位置使虚拟车辆图像的移动停止，不使虚拟车辆图像从该位置移动而使其固定。即，控制部403使虚拟车辆图像重叠显示车辆1与物体接触的接触位置或者前进到接触前的位置的情况下的位置，作为车辆1前进的情况下的位置。由此，车辆1的驾驶员能够容易地识别在基于当前的转向角的路线上的哪个位置车辆1与物体接触。
另外，假设在探测到与车辆1接触的物体，使虚拟车辆图像在接触位置固定(停止)后，改变当前的转向角来改变车辆1的行进方向，并通过探测部402在新的路线上未探测到与车辆1接触的物体(不与物体接触)。该情况下，控制部403也可以解除在转向角改变前在接触位置被固定(停止)的虚拟车辆图像的固定。而且，也可以控制部403能够沿着按照改变后的转向角的路线再开始虚拟车辆图像的移动。其结果是，控制部403能够伴随着车辆1的转向角的改变，使合成图像内的虚拟车辆图像的位置移动。由此，能够进行使驾驶员容易更清楚地识别出能够通过改变转向角消除与物体的接触、以及消除了接触的可能性的显示。另外，容易对于更先前的区域，一边注视与其它物体的接触可能性，一边继续车辆1的行驶。此外，也可以在能够确认出通过转向角的改变或物体(移动体)的移动而车辆1与物体不接触的情况下，不显示虚拟车辆图像。该情况下，例如，也可以从确认出车辆1与物体不接触开始经过规定期间后，例如经过规定时间后或行驶了规定距离后，不显示虚拟车辆图像。
并且，也可以在通过探测部402探测到相对于车辆1前进规定距离的情况下的路线逐渐接近的物体的情况下，控制部403相对于合成图像内的车辆图像所示的车辆1的行进方向，使接近物指标(方向指标)显示。由此，车辆1的驾驶员能够基于显示于显示装置8的显示画面上是否包括接近物指标，而基于显示于显示装置8的显示画面容易地识别存在与车辆1接近的物体以及其接近方向。
此处，接近物指标是能够识别出物体相对于车辆1逐渐接近的方向(以下称为接近方向)的指标。接近物指标是指示接近方向的例如箭头。另外，接近物指标是能够识别出有可能与车辆1接触的物体中的移动体的接近方向的指标。
而且，在通过探测部402探测到与车辆1接近的物体的情况下，控制部403改变接近物指标的显示方式。由此，车辆1的驾驶员通过视觉确认显示方式被改变的接近物指标，能够容易地识别出有可能与车辆1接触的物体是从哪个方向接近。控制部403也可以通过改变接近物指标的颜色或者使其闪烁，使接近物指标的显示方式在未探测到与车辆1接近的物体的情况下和探测到与车辆1接近的物体的情况下不同。
在上述的例子中，在静止物作为有可能与车辆1接触的物体被探测出的情况下，控制部403改变虚拟车辆图像内的部分图像的显示方式。在移动体作为有可能与车辆1接触的物体被探测出的情况下，控制部403改变接近物指标的显示方式。在其它实施方式中，也可以在移动体作为有可能与车辆1接触的物体被探测出的情况下，改变虚拟车辆图像内的部分图像的显示方式。该情况下，控制部403可以将接近物指标包含在合成图像中，也可以不将接近物指标包含在合成图像中。
接下来，使用图5～图12，对通过控制部403在显示装置8上显示的显示画面的具体例进行说明。
(第一实施方式)
图5是表示基于第一实施方式所涉及的周边监视装置的显示画面的例示且示意性的图。在图5中，对通过换档传感器21检测出变速操作部7的位置处于D档的情况下的显示画面的显示处理进行说明。在第一实施方式中，控制部403使显示画面G显示于显示装置8，该显示画面G包含包括车辆图像G1以及周边图像G2的合成图像G3、和通过拍摄部15拍摄车辆1的行进方向(例如，车辆1的前方)而获得的拍摄图像G4。
而且，在探测部402处于动作状态的情况下，并且在车辆1以由获取部401获取到的当前的转向角前进规定距离的情况下的路线上探测到物体的情况下，控制部403在周边图像G2内使虚拟车辆图像G5以前进的方式重叠显示于以车辆图像G1表示的位置为基准且车辆1以当前位置P1的转向角例如前进规定距离的情况下的位置P2处。此处，如图5所示，虚拟车辆图像G5是表示车辆1的形状的半透明的图像。由此，能够容易区别虚拟车辆图像G5和车辆图像G1，并且能够使车辆1的驾驶员直观地识别出虚拟车辆图像G5是表示车辆1的未来的位置P2的图像。
此外，控制部403也可以将随着从车辆1的轮廓朝向内侧而提高透过率的图像作为虚拟车辆图像G5并显示。通过该显示，能够进行能够更容易区别虚拟车辆图像G5和车辆图像G1，并且使车辆1的驾驶员直观地识别虚拟车辆图像G5是表示车辆1的未来的位置的图像的显示。
并且，控制部403也可以使虚拟车辆图像G5的轮廓以与该虚拟车辆图像G5的其它部分不同的显示方式(例如，不同的颜色、闪烁、框线的重叠)来显示，使该轮廓强调显示。由此，虚拟车辆图像G5的可视性提高，能够进行使驾驶员容易识别车辆1的未来的位置的显示。
这样，通过针对虚拟车辆图像G5进行半透明显示，或进行轮廓显示，从而即使是与虚拟车辆图像G5重叠的部分(合成图像G3)，也能够视觉确认该位置，容易抑制周围状况的可视性降低。
另外，也可以在探测部402处于动作状态的情况下，如图5所示，控制部403在周边图像G2内使接近物指标G6显示于车辆图像G1的行进方向上(例如，相当于车辆1的前方1m的左右的位置)。此时，在通过探测部402未探测到物体的情况下，控制部403以灰色标度显示接近物指标G6。
图6是表示基于第一实施方式所涉及的周边监视装置的显示画面的其它显示例的图。当通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上未探测到物体时，控制部403在周边图像G2内不显示虚拟车辆图像G5。另一方面，当通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到与车辆1接触的物体O(例如，墙壁、墙根)的情况下，如图6所示，控制部403在周边图像G2内使虚拟车辆图像G5从车辆图像G1移动到与被探测到的物体O接触的接触位置P3。之后，即使车辆1保持当前的转向角进行移动，控制部403也不使虚拟车辆图像G5从接触位置P3移动而使其固定。
此时，如图6所示，控制部403使在虚拟车辆图像G5内与探测到的物体O接触的部分图像PG的显示方式不同于虚拟车辆图像G5的其它部分的显示方式。例如，在物体O与虚拟车辆图像G5的距离为规定值以下的情况下，将部分图像PG的显示方式改变为示意接触的第一显示方式。例如，控制部403用红色显示部分图像PG，用白色显示虚拟车辆图像G5内的部分图像PG以外的部分。由此，车辆1的驾驶员能够掌握在以当前的转向角使车辆1行驶的情况下，车辆1的车体2中的哪个部分与被探测到的物体O接触。其结果是，能够进行使驾驶员容易判断为了使车辆1不与被探测到的物体O接触而进行哪种驾驶操作较好的显示。
另外，控制部403也能够根据被探测到的物体O的位置与虚拟车辆图像G5的位置之间的距离来改变部分图像PG的显示方式。由此，通过确认部分图像PG的显示方式的变化，能够更详细地掌握车辆1与物体O的位置关系。具体而言，随着被探测到的物体O的位置与虚拟车辆图像G5所示的位置之间的距离变短，控制部403例如增加用红色显示的部分图像PG的红的程度，或使部分图像PG闪烁，强调显示部分图像PG。其结果是，更容易使驾驶员增强对物体的注意。
反之，随着被探测到的物体O的位置与虚拟车辆图像G5所示的位置的距离变长，控制部403减少虚拟车辆图像G5的部分图像PG的红的程度，或变化为红色以外的例如黄色，或延长部分图像PG的闪烁的间隔，以解除部分图像PG的强调显示。在车辆1的驾驶员对转向操纵部4进行转向操纵来改变车辆1的行进方向，并通过探测部402未探测到与车辆1接触的物体O的情况下，控制部403使部分图像PG的显示方式返回到与虚拟车辆图像G5的其它部分相同的显示方式。并且，控制部403解除接触位置P3处的虚拟车辆图像G5的固定，再次伴随着车辆1的移动，使合成图像G3内的虚拟车辆图像G5的位置移动。其结果是，能够清楚地使驾驶员识别出消除了与物体O的接触，并且，还能够进行针对先前的区域，容易一边注视与其它物体的接触可能性，一边继续行驶的显示。此外，在图6的情况下，在确认出在车辆1以改变后的转向角前进规定距离的情况下的路线上未探测到物体的情况下，也可以在规定期间后，例如经过规定时间后、行驶规定距离后不显示虚拟车辆图像G5。
此处，由于假设由探测部402探测到的物体O为墙壁、墙根等静止物，所以控制部403使虚拟车辆图像G5内的部分图像PG的显示方式变化，但不改变接近物指标G6的显示方式。换句话说，车辆1的驾驶员通过确认接近物指标G6的显示状态，能够识别出由探测部402探测到的物体是静止的物体还是朝向车辆1逐渐接近的移动体。
在图6的情况下，控制部403以灰色标度显示接近物指标G6的显示方式，该灰色标度是通过探测部402未探测到有可能与车辆1接触的移动体时的接近物指标G6的显示方式。但是，在由探测部402探测到的物体为其它车辆、行人等移动体的情况下，控制部403改变周边图像G2所包含的接近物指标G6中的被探测到的移动体存在的方向上的接近物指标G6的显示方式。此时，也可以控制部403改变接近物指标G6的显示方式，并且，当车辆1以当前的转向角前进规定距离的情况下的路线上存在移动体时，改变在虚拟车辆图像G5内与被探测到的移动体接触的部分图像PG的显示方式。
此外，在由探测部402探测到的物体为朝向车辆1逐渐接近的移动体的情况下，控制部403如上述那样，改变接近物指标G6中的存在于被探测到的物体逐渐接近的方向上的接近物指标G6的显示方式。例如，控制部403将存在于被探测到的物体逐渐接近的方向上的接近物指标G6的颜色改变为黄色等，或使接近物指标G6闪烁。或者，在各接近物指标G6包括多个箭头的情况下，也可以显示为控制部403以从远离虚拟车辆图像G5的箭头开始依次改变显示方式的动画显示在被探测到的移动体存在的方向上所显示的接近物指标G6包含的多个箭头来使其滚动。
图7以及图8是用于说明基于第一实施方式所涉及的周边监视装置的虚拟车辆图像的显示方法的一个例子的图。在图7中，X轴是与车辆1的车宽方向对应的轴，Z轴是与车辆1的行进方向对应的轴，Y轴是与车辆1的高度方向对应的轴。在虚拟车辆图像G5由多个多边形PL构成的情况下，如图7以及图8所示，控制部403求出各多边形PL具有的顶点V1、V2、V3的法线矢量n在Y轴方向(与路面垂直的方向)上的值(以下称为Y成分)。而且，控制部403基于法线矢量n的Y成分来决定多边形PL的透过率。
具体而言，控制部403求出多边形PL具有的顶点V1、V2、V3的法线矢量n的Y成分。接下来，控制部403基于顶点V1、V2、V3的法线矢量n的Y成分来决定多边形PL所包含的像素。此时，控制部403随着法线矢量n的Y成分增大而提高透过率。换句话说，控制部403能够提高与地面平行的位置(车顶部、机罩部等)的透过率。其结果是，能够显示随着从车辆1的轮廓朝向内侧而透过的图像作为虚拟车辆图像G5。在本实施方式中，将构成多边形PL的像素的颜色设为白色，但不限于此，例如也可以设为车辆1的车体的颜色等任意颜色。
图9是用于说明基于第一实施方式所涉及的周边监视装置的构成虚拟车辆图像的多边形的颜色的决定方法的一个例子的图。在图9中，横轴表示构成形成虚拟车辆图像G5的多边形具有的顶点的颜色的种类(例如，RGB)，纵轴表示构成形成虚拟车辆图像G5的多边形具有的顶点的颜色的值(例如，RGB值)。在本实施方式中，当在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体并显示虚拟车辆图像G5时，并且在物体与虚拟车辆图像G5的距离为规定值以下的情况下，控制部403在虚拟车辆图像G5内使与物体接触的部分图像PG的显示方式不同于虚拟车辆图像G5的其它部分的显示方式。
具体而言，当虽然在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体，但物体与虚拟车辆图像G5的距离大于规定值的情况下，如图9所示，控制部403使构成虚拟车辆图像G5的多边形具有的各顶点的RGB各色的值相等。而且，控制部403基于多边形具有的各顶点的RGB各色的值，通过线性插值等对由各顶点围起的多边形内的区域的颜色进行插值，来决定多边形整体的颜色。由此，控制部403能够用白色显示虚拟车辆图像G5。
另一方面，在路线上探测到的物体与虚拟车辆图像G5的距离为规定值以下的情况下，如图9所示，控制部403使构成虚拟车辆图像G5的多边形中的构成部分图像的多边形具有的各顶点的例如GB的值小于该各顶点的R的值。该情况下，控制部403也基于多边形具有的各顶点的RGB各色的值，通过线性插值等对由该各顶点围起的多边形内的区域的颜色进行插值，来决定多边形整体的颜色。由此，控制部403能够用红色显示部分图像PG。
在本实施方式中，控制部403通过使构成部分图像PG的多边形具有的各顶点的GB的值小于该各顶点的R的值而用红色显示部分图像，从而强调显示部分图像PG，但并不限于此。例如，控制部403也可以通过使构成部分图像PG的多边形具有的各顶点的RB的值小于该各顶点的G的值而用绿色显示部分图像PG，从而强调显示部分图像PG。
此时，控制部403也可以随着探测到的物体的位置与虚拟车辆图像G5的位置之间的距离缩短，减小构成虚拟车辆图像G5的部分图像PG的多边形具有的各顶点的GB的值。由此，控制部403增加部分图像PG的红的程度，强调显示部分图像PG。由此，能够更容易识别车辆1的车体的哪个位置与物体接触，并且，能够更容易识别使车辆1移动时的注意的程度。此外，控制部403一直使构成虚拟车辆图像G5的多边形中的除部分图像PG以外的多边形具有的各顶点的RGB各色的值相等。由此，控制部403能够用白色显示部分图像PG以外的多边形。
图10是表示基于第一实施方式所涉及的周边监视装置的显示画面的一个例子的图。例如，如图10所示，在时刻t1，当通过探测部402探测到在车辆1以当前的转向角前进规定距离的情况下的路线上存在的物体O(静止物)时，控制部403使虚拟车辆图像G5按照以车辆图像G1的位置为基准前进到规定距离的方式重叠显示于周边图像G2上。而且，伴随着虚拟车辆图像G5的前进，与探测到的物体O的距离缩小，在成为规定值以下的情况下，将与物体O接触的虚拟车辆图像G5的部分图像PG改变为示意与物体O的接触的第一显示方式(例如红色的强调显示)。此外，在图10中，引导线m是在车辆1以当前的转向角移动的情况下所预测的车辆图像G1的移动预期轨迹，例如，被显示在相对于车辆图像G1的车宽具有规定的余量的位置。此外，引导线m也可以不显示。
具体而言，控制部403求出与路面平行的XZ平面(参照图7)中的从构成部分图像PG的多边形的各顶点至物体O为止的欧式距离。接下来，控制部403根据构成部分图像PG的多边形的各顶点与物体O之间的欧式距离，使各顶点的GB的值小于各顶点的R的值。而且，控制部403基于构成部分图像PG的多边形的各顶点的RGB值，通过片段着色器决定构成部分图像PG的多边形所包含的像素的颜色。另外，控制部403基于多边形具有的各顶点的RGB各色的值，通过线性插值等对由各顶点围起的多边形内的区域的颜色进行插值，决定多边形整体的颜色。由此，控制部403用红色显示部分图像PG。另外，也可以在计算构成虚拟车辆图像的多边形的RGB值时，根据该多边形具有的各顶点与物体之间的距离，同时计算构成部分图像的多边形的RGB值。由此，能够不分开地生成虚拟车辆图像G5以及部分图像PG。
之后，车辆1继续移动，在时刻t1之后的时刻t2，虚拟车辆图像G5到达与物体O接触的接触位置P3或者其跟前的位置的情况下，控制部403在接触位置P3使虚拟车辆图像G5暂时停止，并且继续该位置的显示。该情况下，如时刻t2所示那样，也可以根据距物体O的距离使部分图像PG的显示色变化。例如，也可以增强部分图像PG的色调(增强红的程度)，以示意更接近物体。或者，也可以对距物体O的距离为规定值以下的位置增强红色的色调，对距离超过规定值的位置增强黄色的色调。
而且，在时刻t2之后的时刻t3，示出改变车辆1的转向角，车辆1不再有与物体O接触的可能性的情况，即，在基于改变后的转向角的路线上通过探测部402未检测到物体O的情况。在时刻t3，可以避免物体O与虚拟车辆图像G5的接触，如图10所示，控制部403解除接触位置P3处的虚拟车辆图像G5的固定，在以时刻t3的车辆图像G1b表示的车辆1的位置为基准而前进规定距离的情况下的位置P2显示虚拟车辆图像G5。即，允许虚拟车辆图像G5的移动的再开始。其结果是，进行对于更先前的区域，容易一边注视与其它物体的接触可能性一边继续行驶的显示。
此时，控制部403也可以使虚拟车辆图像G5内的部分图像PG从示意物体O与虚拟车辆图像G5的接触的第一显示方式的例如红色变化为示意接触避免的第二显示方式的黄色。另外，在其它的实施方式中，也可以解除用红色显示的强调显示。即，在时刻t3，控制部403使虚拟车辆图像G5内的部分图像PG的显示方式返回到与虚拟车辆图像G5的其它部分相同的显示方式(例如白色)。由此，能够向车辆1的驾驶员提供表示通过车辆1的当前的转向角(改变后的转向角)能够避免与物体O的接触的显示。
图11以及图12是用于说明通过第一实施方式所涉及的周边监视装置强调显示部分图像PG的处理的一个例子的图。若通过探测部402探测到物体O，则如图11所示，控制部403首先求出构成虚拟车辆图像G5内的部分图像PG的多边形具有的各顶点V相对于XZ面1100(图7所示的通过X轴以及Z轴定义的平面)的垂线1101与XZ面1100相交的点V′。接下来，控制部403求出XZ面1100中的点V′与物体O的位置的欧式距离L。
接下来，控制部403根据图12所示的强度分布1200，确定与求出的欧式距离L对应的强调显示的程度。此处，强度分布1200是强调显示部分图像时的强调显示的程度的分布，随着欧式距离L缩短，强调显示的程度增大。
在本实施方式中，强度分布1200是以物体O的位置为中心，随着欧式距离L变远，较小地降低强调显示的程度的同心圆状的强度分布。例如，强度分布1200通过当欧式距离L为预先设定的距离(例如1.7～3.0m)以下时，强调显示的程度急剧上升的高阶曲线表示。例如，强度分布1200是在欧式距离L为预先设定的距离以下时，GB的值急剧下降并且R被强调的强度分布。
由此，如图12所示，在构成虚拟车辆图像G5的多边形中，越是到物体O的欧式距离L越接近的多边形，则控制部403越以红色强调显示。其结果是，如图12所示，控制部403能够通过红色强调显示构成虚拟车辆图像G5的多边形中的构成部分图像PG的多边形。
这样，根据第一实施方式所涉及的车辆1，能够进行使驾驶员基于在显示于显示装置8的显示画面上是否包含虚拟车辆图像G5，容易识别出在车辆1以当前的转向角前进规定距离的情况下的路线上是否存在物体O的显示。
(第二实施方式)
第二实施方式是取代通过拍摄部拍摄车辆的行进方向而获得的拍摄图像，使包含车辆的周边的三维图像的显示画面显示于显示装置的例子。在以下的说明中，对于与第一实施方式相同的结构，省略说明。
图13以及图14是表示基于第二实施方式所涉及的车辆1具有的周边监视装置的显示画面的一个例子的图。在第二实施方式中，如图13所示，控制部403使显示画面G显示于显示装置8，该显示画面G包括合成图像G3、和车辆1及其周边的三维图像(以下，称为三维周边图像)G7。由此，除了合成图像G3之外，还视觉确认三维周边图像G7，由此能够容易更详细地掌握车辆1与其周边的物体的位置关系。
此处，如上述所述，三维周边图像G7是车辆1及其周边的三维图像。在本实施方式中，三维周边图像G7是将通过拍摄部15拍摄车辆1的周边而获得的图像粘贴于碗状或者圆筒状的三维的面而生成的图像。另外，在本实施方式中，如图13所示，在三维周边图像G7中包含车辆1的三维图像即三维车辆图像G8。在本实施方式中，三维车辆图像G8和虚拟车辆图像G5同样地由多个多边形构成，是表示车辆1的三维形状的图像。
另外，在本实施方式中，控制部403针对三维周边图像G7内的路面，使能够识别三维车辆图像G8的位置的车辆位置信息I显示。例如，车辆位置信息I是在三维周边图像G7内的路面上，通过灰色标度或包围三维车辆图像G8存在的位置的线(例如虚线)显示三维车辆图像G8存在的位置的信息。
而且，如图14所示，与第一实施方式同样地，控制部403使接近物指标G6显示于周边图像G2内，并且，针对三维周边图像G7，也使接近物指标G9显示。此时，如图14所示，控制部403用灰色标度显示三维周边图像G7所包含的接近物指标G9。为了容易掌握车辆图像G1和周围的物体的位置关系，所以控制部403在三维周边图像G7中不显示虚拟车辆图像G5，但不限定于此，也可以针对三维周边图像G7显示虚拟车辆图像G5。
图15以及图16是表示基于第二实施方式所涉及的周边监视装置的显示画面的一个例子的图。在本实施方式中，在通过探测部402探测到与车辆1逐渐接近的物体(例如，从车辆1的行进方向的左侧逐渐接近的物体)的情况下，如图15所示，控制部403改变周边图像G2所包含的接近物指标G6以及三维周边图像G7所包含的接近物指标G9中的在被探测到的物体接近的方向(例如，左侧)上所存在的接近物指标G6、G9的显示方式。
另外，在通过探测部402探测到从车辆1的行进方向的左右两方逐渐接近的情况下，如图16所示，控制部403将在车辆1的行进方向(例如前方)的左右两方上存在的接近物指标G6、G9的显示方式的颜色改变为黄色等，或者使该接近物指标G6、G9闪烁。或者，在接近物指标G6、G9包含多个箭头的情况下，控制部403也可以以从远离虚拟车辆图像G5的箭头开始依次改变显示方式的动画显示在探测到的移动体存在的方向上被显示的接近物指标G6、G9包含的多个箭头来使其滚动。
在第二实施方式中，在探测部402处于动作状态的情况下，并且在未探测到与车辆1逐渐接近的物体的情况下，通过灰色标度等预先显示接近物指标G6、G9，由此可以进行表示通过探测部402探测到与车辆1逐渐接近的物体的显示。另外，在探测到与车辆1逐渐接近的物体的情况下，接改变近物指标G6、G9的显示方式。通过改变其显示方式，车辆1的驾驶员能够容易地识别出探测到与车辆1逐渐接近的物体。在第二实施方式中，控制部403使虚拟车辆图像G5以及接近物指标G6、G9两方显示于显示画面G，但至少显示虚拟车辆图像G5即可。
这样，根据第二实施方式所涉及的周边监视装置，除了合成图像G3之外，还视觉确认三维周边图像G7，由此能够更详细地掌握车辆1与其周边的物体的位置关系。
(第三实施方式)
第三实施方式是使上述的虚拟车辆图像G5以及车辆图像G1的周围的状况以更容易识别的状态进行显示的例子。在以下的说明中，对于与第一实施方式同样的结构，省略说明。
在第三实施方式中，当通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O时，与探测到物体O之前相比，控制部403放大显示(放大)合成图像G3。合成图像G3的放大例如能够通过使虚拟视点接近车辆图像G1来执行。通过执行放大显示，车辆1的驾驶员容易直观地识别出探测到有可能与车辆1接触的物体O，需要对周围的状况加以注意。另外，通过放大显示，更清楚地显示车辆图像G1、虚拟车辆图像G5的周围状况的细节。其结果是，能够向车辆1的驾驶员提供容易确认周围状况、容易给予安心感的显示。
另外，在第三实施方式中，在合成图像G3被放大显示的情况下，控制部403执行在与基于当前的转向角的转弯方向相反的方向上错开显示显示位置(例如，车辆图像G1的显示位置)的错开显示。例如，使虚拟视点的位置在与转弯方向相反的方向上移动，使合成图像G3的显示错开。在显示装置8的有限的显示区域中执行合成图像G3的放大显示的情况下，容易识别车辆图像G1或虚拟车辆图像G5的周围的细节，但是以车辆图像G1或虚拟车辆图像G5为中心的显示范围(视场)变窄。在车辆1转弯的情况下，关于与转弯方向相反的方向，如果能够确认出不与已经探测到的物体O接触，则车辆1可以通过。另一方面，在转弯方向上有可能存在其它物体。因此，控制部403在与转弯方向相反的方向上，使车辆图像G1的显示位置错开，扩大转弯方向的显示范围(视场)，能够进行更广范围的显示。
另外，在第三实施方式中，控制部403在执行合成图像G3的放大显示的情况下，在远离物体O的情况下，解除放大显示(例如返回到放大前的显示尺寸)，并且，可以不显示虚拟车辆图像G5。通过使车辆图像G1恢复(缩小)至原始的显示尺寸，并且不显示虚拟车辆图像G5，由此合成图像G3整体产生显著的变化，能够进行车辆1的驾驶员容易识别虚拟车辆图像G5的显示结束的显示。另外，能够进行车辆1的驾驶员容易直观地识别出减少或者消除与物体O的接触的可能性。此外，虽然后述，但放大显示中的虚拟车辆图像G5也可以通过驾驶员的操作而暂时不显示。
图17是表示基于第三实施方式所涉及的车辆1的周边监视装置的显示画面的一个例子的图。在图17的时刻t1是通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O之前的状态，示出执行放大显示前的通常尺寸的显示状态。在路线上探测到物体前，在合成图像G3的大致中央以非放大的状态显示车辆图像G1。
时刻t2是车辆图像G1(车辆1)从时刻t1起前进，在路线上探测到物体O，开始虚拟车辆图像G5的显示，并且执行车辆图像G1以及虚拟车辆图像G5的放大显示的状态。该情况下，包括车辆图像G1以及虚拟车辆图像G5的合成图像G3的放大率例如是“2”。在该情况下，控制部403例如以车辆图像G1为基准使虚拟视点靠近车辆图像G1。其结果是，执行放大作为俯瞰图像的合成图像G3那样的显示改变。另外，此时，控制部403执行基于获取部401获取到的车辆1的当前的转向角，使虚拟视点向与转弯方向相反的方向，在图17的情况下，向图中左方向错开，改变车辆图像G1或虚拟车辆图像G5以及物体O的显示位置、即合成图像G3的显示位置的错开显示。通过执行放大显示处理，能够更容易识别车辆图像G1以及虚拟车辆图像G5的周围状况，例如与物体O的距离等。另外，通过执行错开显示处理，按照车辆图像G1以及虚拟车辆图像G5的当前的转向角的转弯方向亦即图中右方向的显示区域扩大，能够进行容易确认转弯方向上的其它的物体的有无等的显示。
此外，控制部403放大合成图像G3(包括车辆图像G1或虚拟车辆图像G5等的图像)时的倍率可以如上述那样是固定值，也可以根据物体O与虚拟车辆图像G5(车辆图像G1)的距离而变化。例如，也可以虚拟车辆图像G5(车辆图像G1)越远离物体O，则使放大率越小。放大率越小，则可以确保越宽的视场，能够进行更容易掌握车辆图像G1以及虚拟车辆图像G5的周围整体的状况的显示。另一方面，虚拟车辆图像G5(车辆图像G1)越接近物体O，则放大率越大。该情况下，视场变窄，但是由于被放大显示，所以，能够进行与位于远方的情况相比，容易掌握车辆图像G1或虚拟车辆图像G5的最近的状况的显示。其结果是，驾驶员容易对物体O加以注意并且决定用于避免与物体O的接触的转向的方向或转向角量。
另外，控制部403也可以根据车辆1的车速使放大合成图像G3时的倍率变化。例如，在低速接近物体O的情况下(例如，在为了停车而接近墙壁等的情况下等)，越接近物体O，则使放大率越大，容易更详细地识别出与物体O的位置关系。另一方面，在远离物体的位置使车辆1以规定速度以上(例如，12km/h以上)行驶的情况下，减小放大率，显示较宽的视场的合成图像G3。该情况下，能够进行可以确保更宽的视场，比低速时(放大率较大的情况下)更容易掌握行进方向的状况，容易给予安心感的显示。
另外，时刻t2示出物体O与虚拟车辆图像G5的距离为规定值以下，有可能与物体O接触的虚拟车辆图像G5的部分画面PG的显示方式被改变为示意与物体O的接触的第一显示方式(例如，红色)的状态。该情况下，进行使驾驶员容易识别在以当前的转向角使车辆1行驶的情况下，车辆1的哪个位置有可能与物体O接触的显示。
图17的时刻t3与图10所说明的非放大的情况同样，虚拟车辆图像G5是随着与物体O的距离变短，增加用红色显示的部分图像PG的红的程度，使驾驶员容易识别物体O的接近的例子。另外，示出与时刻t2相比，虚拟车辆图像G5更接近物体O，进一步集中于虚拟车辆图像G5与物体O有可能接触的虚拟车辆图像G5上的位置，接触的可能性较高的位置增加更红的程度的显示的状态。这样，合成图像G3被放大显示，并且，使接触的可能性较高的部分区域PG的显示方式变化，能够使驾驶员更详细地识别相对于物体O的接近状态。
在时刻t4，显示通过改变转向角，从而表示车辆图像G1的移动预测轨迹的引导线m与物体O相比更向近前移动的状态。该情况下，示出虚拟车辆图像G5也由于基于转向角的改变的路线改变而远离物体O，移至接触避免的状态(可通过的状态)的样子。该情况下，也放大显示合成图像G3，从而成为使驾驶员容易识别物体O与虚拟车辆图像G5(车辆图像G1)接触的可能性减少的显示。另外，在时刻t4，示出通过改变转向角，物体O与虚拟车辆图像G5的距离超过规定值，避免了接触的状态。该情况下，在时刻t3被显示的、虚拟车辆图像G5的部分图像PG的显示色从示意接触的第一显示方式(例如红色)改变为示意接触避免的第二显示方式(例如白色)。也根据虚拟车辆图像G5的部分图像PG的显示方式变化，使驾驶员容易识别能够根据当前的转向角(改变后的转向角)避免与物体O的接触。
时刻t5是表示通过维持当前的转向角(改变后的转向角)，避免与探测部402探测到的物体O的接触，可以继续行驶的显示例。该情况下，解除合成图像G3的放大显示。该情况下，能够以广范围(宽的视场)显示车辆图像G1以及虚拟车辆图像G5的周边。控制部403解除合成图像G3的放大显示，返回到缩小(与时刻t1相同的放大率“1”)。其结果是，驾驶员能够更清楚地识别出通过改变转向角能够消除与物体O的接触，并且消除了与物体O的接触。另外，通过继续虚拟车辆图像G5的显示，对于更先前的区域，容易一边注视与其它物体的接触可能性一边继续行驶。在该状态下，物体O与虚拟车辆图像G5的距离超过规定值并扩大，所以虚拟车辆图像G5的部分图像PG以示意避免了接触的第二显示方式(例如，白色)被显示。因此，进行也能够根据虚拟车辆图像G5的部分图像PG的显示色而使驾驶员容易识别出避免了与物体O的接触的显示。此外，该情况下，错开显示处理可以设定为解除，也可以设定为不解除。
在时刻t5，也可以在车辆1的速度为规定的速度例如12km/h以上的情况下或避免物体O的接触后，在已经过了规定的期间的情况下、例如经过规定时间后(例如经过2秒后)、行驶了规定的距离(例如5m)的情况下，结束虚拟车辆图像G5的显示，不进行显示。换句话说，也可以示出在车辆1以当前的转向角(改变后的转向角)前进规定距离的情况下的路线上不存在有可能接触的物体。此外，在路线上新探测到物体的情况下，如时刻t2所示那样，显示虚拟车辆图像G5，并且针对合成图像G3进行放大显示以及错开显示等。
图18示出根据车辆1的变速操作部7的换档状态，使合成图像G3(包括车辆图像G1、虚拟车辆图像G5等的图像)的显示方式变化的例子。
中央所示的场景S1是当通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上未探测到物体O的非探测的情况下，未放大显示合成图像G3(包括车辆图像G1的图像)的状态(放大率“1”)。另一方面，场景S2是变速操作部7为前进(D)档或者停车(P)档的情况下，换句话说，车辆1不是能够后退行驶的状态的情况下，例如向右进行转向操纵而车辆1要基于当前的转向角右转弯的状态。而且，是通过探测部402在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O的例子。在这样右转弯前进行驶的情况下，驾驶员主要需要注视的区域是与转弯方向相反的方向的车辆左前端部的区域，特别是与物体O的相对距离。因此，在这样的情况下，如图17所示，控制部403将合成图像G3例如以较高的放大率例如放大率“2”放大显示。在此基础上，驾驶员也需要对有可能存在于转弯方向的其它物体加以注意。因此，控制部403执行使合成图像G3的显示位置向与由转向角确定的转弯方向相反的方向错开的、错开显示处理。该情况下，控制部403可以决定错开量，例如以使得探测到的物体O和车辆图像G1以及虚拟车辆图像G5收敛至显示区域内，也可以以它们收敛那样的预先决定的放大率执行处理。其结果是，车辆1的驾驶员能够一边确认与前方的物体O的距离(接触的有无)被放大的图像，一边对转弯方向较宽的区域加以注意并继续行驶。
另一方面，场景S3是变速操作部7为后退(R)档的情况下，换句话说，车辆1为能够后退行驶的状态的情况下，例如向右进行转向操纵，而车辆1基于当前的转向角一边要右转弯一边后退的状态。而且是通过探测部402在车辆1以当前的转向角前进(后退)规定距离的情况下的路线上探测到物体O(例如柱子)，在车辆1的左侧方探测到物体O(例如墙壁)的例子。在这样右转弯后退行驶的情况下，驾驶员主要需要注视的区域为与转弯方向相反的方向的区域的车辆左前端部以及转弯方向上车辆右后端部的区域。换句话说，需要注视车辆图像G1(虚拟车辆图像G5)的前后的对角方向的区域。因此，如图18的场景S3所示，控制部403将合成图像G3的放大率例如设为比前进时小的“1.5”等来进行放大显示。另外，在车辆1能够后退行驶时，不执行错开显示处理，大致均等地确保车辆图像G1的左右的显示区域。通过这样的抑制放大率以及不执行错开显示处理，从而能够执行对于车辆图像G1(虚拟车辆图像G5)的周围(左侧以及右侧)，以比前进时更宽的范围(宽的视场)确认周围，并且容易后退行驶的显示。
另外，如上述那样，在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体的情况下，以车辆图像G1的位置为基准显示虚拟车辆图像G5，并进一步沿着路线使其移动，从而有容易注视有可能接触的物体的效果。另一方面，如果连续显示虚拟车辆图像G5，则一次识别出路线上的物体的驾驶员有时感到烦恼。另外，在物体与虚拟车辆图像G5的距离较小的情况下，有时由于虚拟车辆图像G5而难以确认物体的周围的详细。另外，若由于接近物体而将部分图像PG改变为强调色，则物体的周边的细节有时难以确认。因此，控制部403能够将虚拟车辆图像G5的显示设为暂时不显示。例如，如图19的场景S4所示，控制部403能够将虚拟车辆图像G5的不显示开关30(例如，Ghost Off开关)重叠显示于与正显示的虚拟车辆图像G5相关的位置例如虚拟车辆图像G5上。驾驶员在判断为不需要虚拟车辆图像G5的显示的情况下，例如，已经掌握物体O的存在，或识别出物体O与虚拟车辆图像G5(车辆图像G1、车辆1)的相对的位置关系。该情况下，通过操作(按下)不显示开关30，能够使虚拟车辆图像G5暂时不显示，提高物体O的周边的可视性。此外，不显示开关30的显示位置可以是显示画面G上的任意的位置，也可以设置于显示画面G以外的位置，但优选设置于与虚拟车辆图像G5相关的位置。例如通过与虚拟车辆图像G5重叠地显示不显示开关30，使驾驶员识别出虚拟车辆图像G5的存在，即存在将要接触的物体，可以进行使虚拟车辆图像G5不显示的操作，能够有效地利用虚拟车辆图像G5，并且提高物体的周边的可视性。
通过操作(按下)不显示开关30，被放大显示的合成图像G3(包括车辆图像G1、虚拟车辆图像G5的图像)可以如图19的场景S5所示，返回到非放大状态，也可以保持放大状态而仅不显示虚拟车辆图像G5。另外，在放大显示时执行错开显示处理的情况下，也解除错开显示处理，车辆图像G1返回到合成图像G3的大致中央的位置，返回到车辆图像G1的周边整体大致均匀的能够确认的显示。
在通过操作不显示开关30，使虚拟车辆图像G5不显示的情况下，在满足规定的条件的情况下，解除虚拟车辆图像G5的不显示。换句话说，在车辆1以当前的转向角前进规定距离的情况下的路线上持续存在物体的情况下，再次显示虚拟车辆图像G5。例如，在确认出车辆1的停止的情况下，例如，在通过变速操作部7改变了换档状态的情况下，例如选择了“换档P”的情况下，通过操作不显示开关30而变为不显示之后经过规定期间后，例如经过规定时间的情况下、行驶规定距离的情况下等，使虚拟车辆图像G5再显示。换句话说，能够使驾驶员再识别将要接触的物体的存在。这样，即使在不显示开关30被操作的情况下，通过满足规定条件，虚拟车辆图像G5恢复为能够显示的状态。其结果是，例如，能够避免虚拟车辆图像G5恒久地成为不显示的状态。
此外，示出以显示有虚拟车辆图像G5为条件而能够利用不显示开关30的例子，但也可以设为从显示虚拟车辆图像G5之前的阶段能够利用。例如，也存在熟知停车的情况等后方的状况的情况。另外，驾驶员有时也已知显示出虚拟车辆图像G5的定时。这样的情况下，可以在显示虚拟车辆图像G5前，能够暂时取消虚拟车辆图像G5的显示。该情况下，基于不显示开关30的操作的虚拟车辆图像G5的不显示也是暂时的，在满足规定的条件的情况下，使虚拟车辆图像G5返回到能够显示的状态，能够避免恒久的不显示。
另外，可以设置恢复开关32(例如，Ghost ON开关)，该恢复开关32在通过操作不显示开关30，使虚拟车辆图像G5不显示的情况下，如图19的场景S5所示，限于虚拟车辆图像G5的不显示期间中，能够执行虚拟车辆图像G5的再显示。恢复开关32能够例如从不显示虚拟车辆图像G5到通过变速操作部7改变换档为止，例如重叠显示在车辆图像G1上。通过设置恢复开关32，能够使不显示的虚拟车辆图像G5在所希望的定时恢复，容易再开始使用了虚拟车辆图像G5的周围状况的确认。此外，恢复开关32的显示位置可以是显示画面G上的任意的位置，也可以设置于显示画面G以外的位置，但通过设置于与车辆图像G1相关的位置，能够顺畅地进行用于虚拟车辆图像G5的再显示的作业。此外，在场景5的情况下，不显示虚拟车辆图像G5，并且，车辆图像G1返回到非放大的状态。在其它的实施方式中，也可以与恢复开关32分开设置进行合成图像G3的放大显示的放大开关。该情况下，能够进行在不显示虚拟车辆图像G5的状态下容易进行车辆图像G1与物体O的位置关系的确认的显示。
这样，根据第三实施方式的周边监视装置，根据车辆1的行进方向来决定合成图像G3(包括车辆图像G1、虚拟车辆图像G5等图像)的放大率、错开显示处理的执行的有无。另外，能够通过驾驶员的操作，进行虚拟车辆图像G5的显示的暂时不显示或再显示。其结果是，能够实现根据车辆1的行驶状态或驾驶员的操作，可以进行适合此时的状况的周围的确认的显示，容易提高驾驶员的安心感。
在上述的实施方式中，示出在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O的情况下，开始显示虚拟车辆图像G5的例子。在其它实施方式中，CPU14a也可以基于切换是否使虚拟车辆图像G5显示于合成图像G3(俯瞰图像)的虚拟显示用的主开关10a(操作开关)的操作状态来决定。如图3所例示那样，主开关10a例如可以设定为在监视器装置11中设定的操作输入部10(触摸传感器式的开关)的一部分，也可以设置为另外的机械式的物理开关。CPU14a在车辆1以当前的转向角前进规定距离的情况下的路线上未探测到物体O的情况下，并且通过主开关10a的操作能够将虚拟车辆图像G5显示于显示装置8的情况下(主开关接通的情况下)，将车辆图像G1以与主开关10a断开的情况不同的方式显示。例如，使图20所示车辆图像G1的显示色从与车辆1对应的车色变化为其它的颜色(例如，绿色)，或闪烁显示，以显示虚拟车辆图像G5是显示待机状态。该情况下的显示方式的改变只要能够使驾驶员等识别出虚拟车辆图像G5为显示待机状态即可，也可以改变车辆图像G1的显示亮度或改变显示透过率，显示方式能够适当地改变。另外，在基于主开关10a为接通状态，改变车辆图像G1的显示方式的情况下，可以将报告是虚拟车辆图像G5的显示待机状态的消息显示于合成图像G3或其它显示区域，也可以输出声音或报告音，来使得驾驶员能够识别。这样，通过基于主开关10a的操作状态使车辆图像G1的显示方式变化，从而在路线上探测到物体O的情况下，能够进行使驾驶员容易识别是立即通过虚拟车辆图像G5通知物体O的存在的状态，容易给予安心感的显示。此外，在图19说明的不显示开关30的情况下，即使在通过操作不显示开关30而使虚拟车辆图像G5不显示的情况下，如果满足规定条件，则恢复为能够显示的状态。另一方面，在主开关10a断开的情况下，不管路线上的物体O的存在的有无，都不显示虚拟车辆图像G5。该情况下，可以进行按照驾驶员的期望的虚拟车辆图像G5的不显示，能够提供简单的合成图像G3。
另外，在本第三实施方式中，示出控制部403通过与探测到物体O前相比放大显示(放大)合成图像G3，从而在易于识别的状态下显示车辆图像G1的周围状况、虚拟车辆图像G5的周围状况等的例子。然而，在驾驶员实际使车辆1行驶的情况下，需要进行转向操纵，以使得移动时的车辆1能够相对于存在于周围的物体O安全且顺畅地通过。换句话说，需要进行转向，以使得虚拟车辆图像G5相对于物体O能够确保必要充分的富余距离(安全余量)。若富余距离不足，则产生过于接近物体O或接触的不良状况。反之，若将富余距离过度取为必要以上，则产生从适当的移动路径分歧这样的不良状况。另外，该情况下，在与考虑到富余距离的方向相反侧，富余距离也有时减少，在相反侧，也有时接触的可能性增加，或不会从较窄的空间脱离。这样，富余距离的适当的确保有时被驾驶员的经验、技能等左右，在不能够适当地设定富余距离的情况下，有时成为给予驾驶员不安感的原因。另外，存在在拍摄生成合成图像G3的情况下所使用的图像的拍摄部15存在安装误差的情况，或由于路面的倾斜状态等而在周边图像G2的显示位置产生误差的情况。这样的情况也成为不能够适当地设定富余距离的原因，有时成为给予驾驶员不安感的原因。
因此，控制部403在显示虚拟车辆图像G5的情况下，执行与当前显示中的车辆图像G1对应的长度相比放大虚拟车辆图像G5的车长方向的长度和车宽方向的长度的至少一方并进行显示的余量放大处理。在这种情况下，可以按照车型，预先通过实验等决定差值放大率，能够设定为与车辆1的大小对应地被显示的车辆图像G1的例如1.3倍等。该差值放大率是一个例子，驾驶员等可以能够适当地进行设定改变。此外，余量放大处理是与合成图像G3中所显示的车辆图像G1或周边图像G2独立地仅放大虚拟车辆图像G5的处理。
图21是说明针对显示中的车辆图像G1，执行对虚拟车辆图像G5的余量放大处理的例示且示意性的图。图21所示的场景S6是在合成图像G3仅显示车辆图像G1的状态。即，车辆图像G1和周边图像G2以相同的放大率被显示。
当在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O的情况下，并且显示虚拟车辆图像G5的情况下，如场景S7所示，控制部403基于规定放大率放大虚拟车辆图像G5的车长方向的长度L1和车宽方向的长度W1的至少一方(图21的场景S7的情况下，为两方)。例如，在将余量放大处理前的车辆图像G1的车长方向的长度设为L0的情况下，将虚拟车辆图像G5的车长方向的长度例如放大到1.3倍的长度L1。同样地，在将余量放大处理前的车辆图像G1的车宽方向的长度设为W0的情况下，将虚拟车辆图像G5的车宽方向的长度例如放大到1.3倍的长度W1。该情况下，车辆图像G1与周边图像G2所包含的物体O的距离关系被显示为大体与实际的距离关系对应。另一方面，与车辆图像G1相比在车长方向以及车宽方向上放大显示虚拟车辆图像G5。因此，在为了不与物体O接触而移动虚拟车辆图像G5的情况下，在含有(考虑)规定的安全余量的状态下，显示虚拟车辆图像G5。其结果是，如果驾驶员决定转向角以使得引导线m(参照图12等)不与物体O接触，则不管驾驶员的经验、技能、拍摄部15的安装状态、路面的倾斜状态等，都实现适当地确保安全余量的状态。换句话说，在避开物体O通过的情况下，避免过于接近物体O，反之过于远离这样的不良状况，能够进行容易给予驾驶员安心感的显示。
此外，在控制部403进行余量放大处理的情况下，车长方向的放大基点例如可以设为车辆图像G1(车辆1)的前后方向上的中心位置。同样地，车宽方向的放大基点例如可以设为车辆图像G1(车辆1)中的车宽方向的中心位置。另外，如场景S7那样，在进行车长方向以及车宽方向的放大的情况下，能够设为车辆图像G1(车辆1)中的前后左右的中心位置。
然而，例如，当物体O存在于车辆图像G1(车辆1)的右前方，并且一边避开物体O一边使车辆图像G1(车辆1)右转弯的情况下，如果至少能够确保车辆图像G1(车辆1)中的左前角部与物体O的富余距离，则可以避开物体O。另外，在使车辆1前进以及转弯的情况下，车辆长度方向的安全余量容易识别，另一方面，与车辆1的长度方向相比，车宽方向的安全余量趋于难以识别。因此，在一边避开物体O一边使车辆图像G1(车辆1)转弯的情况下的余量放大处理如图21的场景S8所示，可以仅放大车宽方向的长度。即，虚拟车辆图像G5的车长方向的长度一直设为维持余量放大处理前的车辆图像G1的车长方向的长度L0的长度L0。另一方面，车宽方向的长度设为比余量放大处理前的车辆图像G1的车宽方向的长度W0例如放大1.3倍的长度W2。其结果是，能够抑制在转弯时在车辆图像G1(车辆1)的周围(前后方向)过度取安全余量。
此外，在车辆图像G1(车辆1)前进的情况下，控制部403可以仅在虚拟车辆图像G5的前方实施车长方向上的余量放大处理。同样地，在车辆图像G1(车辆1)后退的情况下，控制部403可以仅在虚拟车辆图像G5的后方实施车长方向上的余量放大处理。另外，对于车宽方向的安全余量，也可以根据车辆的行进方向(转弯方向)等，仅在必要的方向上实施。
在由控制部403执行虚拟车辆图像G5的余量放大处理的情况下，虚拟车辆图像G5可以瞬时放大到目标的大小，但为了使驾驶员等容易识别正在执行余量放大处理，而优选缓缓地执行放大处理。
另外，在执行虚拟车辆图像G5的余量放大处理的情况下，可以一边使虚拟车辆图像G5在车辆1前进规定距离的情况下的路线上移动一边放大到目标的大小，但为了使驾驶员等容易识别正在执行余量放大处理，而优选在余量放大处理完成之后再开始虚拟车辆图像G5的移动。
另外，如图17等所示，在放大显示合成图像G3的情况下，控制部403可以在合成图像G3的放大处理完成之后执行针对虚拟车辆图像G5的余量放大处理，也可以在执行合成图像G3的放大处理时同时执行虚拟车辆图像G5的余量放大处理。该情况下，以与车辆图像G1以及周边图像G2不同的放大率放大虚拟车辆图像G5。
在执行针对虚拟车辆图像G5的余量放大处理的情况下，控制部403可以使虚拟车辆图像G5的显示方式与余量放大处理的不执行时不同。例如，可以进行显示色的改变或进行闪烁显示来使驾驶员识别余量放大处理的执行。
此外，在上述的实施方式好，示出当在车辆1前进规定距离的情况下的路线上探测到物体O时显示虚拟车辆图像G5，此时执行余量放大处理的例子。在变形例中，不管有无物体O(障碍物)，都可以通过驾驶员使用主开关10a等的操作，在任意的定时显示虚拟车辆图像G5。而且，此时也可以执行余量放大处理。
另外，在上述的实施方式中，示出执行放大合成图像G3的处理，还执行G5的余量放大处理的例子。在其它的实施方式中，可以不执行合成图像G3的放大处理，而仅执行虚拟车辆图像G5的余量放大处理。该情况下，也进行适当地确保相对于在合成图像G3上显示的路线上的物体O的富余距离(安全余量)的显示，能够获得同样的效果。
(变形例)
在上述的各实施方式的情况下，示出当在车辆1以当前的转向角前进规定距离的情况下的路线上探测到物体O时，显示虚拟车辆图像G5的例子。在图22所示的变形例中，不管转向角，在使用方向指示器26(参照图3)的情况下，都可以显示虚拟车辆图像G5。例如，在从道路外的区域来到道路的情况下等，驾驶员在通过转向操纵部4(方向盘)的操作决定转向角前操作方向指示器26。换句话说，能够预先推定转向操纵部4的操作方向。因此，在方向指示器26被操作的情况下，获取部401在操转向角“0”(中立位置)与方向指示器26的指示方向的最大转向角之间进行物体的搜索。换句话说，从此之后针对车辆1有可能行驶的区域，依次设定路线，进行物体的搜索。其结果是，在探测到物体的情况下，如图22所示，不管当前的转向角，都设定包括被探测到的物体的路径，并按照该路径，从车辆图像G1开始使虚拟车辆图像G5移动。而且，进行在与物体接触的位置或者其近前的位置使虚拟车辆图像G5停止那样的显示。该情况下，如上述那样，放大显示车辆图像G1或虚拟车辆图像G5，并且在与由方向指示器26指示的方向相反的方向上执行错开显示处理。另外，也可以根据虚拟车辆图像G5与物体的距离使部分图像PG的显示颜色例如变化为红色。
例如，在通过设置在路边的护栏的缝隙来到道路的情况下，需要决定转向角，以便不接触护栏的端部。如图22所示的显示例那样，在通过转向操纵部4的操作决定转向角前，虚拟车辆图像G5开始移动，在与探测到的物体的接触位置(例如，与护栏的端部的接触位置)使虚拟车辆图像G5的显示固定。其结果是，使驾驶员容易识别不与物体接触而来到道路所需的转向角。换句话说，操作转向操纵部4，在成为与被显示的虚拟车辆图像G5对应的转向角前的位置决定转向角即可。该情况下，也可以与通过方向指示器26的操作而被显示的虚拟车辆图像G5分开显示与通过转向操纵部4的操作而变化的转向角对应的虚拟车辆图像G5。该情况下，通过调整转向角以使得在先前被显示的虚拟车辆图像G5上不重叠与转向角对应的虚拟车辆图像G5，从而能够决定可以避免与物体的接触的转向角。其结果是，能够进行避免了与物体的接触的顺畅的起步。
此外，也可以将与通过方向指示器26的操作而被显示的虚拟车辆图像G5对应的转向角通知驾驶员。例如，也可以通过显示或声音提示不与物体接触那样的最大转向角，以使驾驶员操作，或者通过自动转向操纵决定转向操纵部4的操作量。另外，如图5所示，也可以一并显示接近物指标G6，对于逐渐接近车辆1的物体例如行人、自行车、其它车等，以驾驶员容易识别的状态显示其存在或接近方向。此外，在将要通过方向指示器26的操作来显示虚拟车辆图像G5的情况下，即使搜索到最大转向角但没有探测到有可能接触的物体的情况下，虚拟车辆图像G5可以显示为在与最大转向角对应的方向上移动，也可以不显示。该情况下，例如可以输出“即使以最大转向角操作，与物体的接触的可能性也较低。”等显示、消息。另外，如图21所说明那样，也可以对虚拟车辆图像G5一并执行余量放大处理。该情况下，能够进行容易提高一边大转弯一边行驶时的驾驶员的安心感的显示。
在本实施方式的CPU14a上执行的周边监视程序也可以构成为以可安装的形式或者可执行的形式的文件记录于CD－ROM、软盘(FD)、CD－R、DVD(Digital Versatile Disk：数字通用盘)等计算机可读取的记录介质中来提供。
并且，也可以构成为通过储存于与因特网等网络连接的计算机上，并经由网络进行下载来提供周边监视程序。另外，也可以构成为经由因特网等网络提供或者分发在本实施方式中所执行的周边监视程序。
虽然对本发明的实施方式以及变形例进行了说明，但这些实施方式以及变形例是作为例子提示的实施方式，并不对发明的范围进行限定。这些新的实施方式能够以其它的各种方式实施，能够在不脱离发明的主旨的范围内进行各种省略、置换、改变。这些实施方式、其变形包含于发明的范围、主旨，并且包含于权利要求所记载的发明及其同等的范围。

Claims (20)

1.一种周边监视装置，具备：
获取部，获取车辆的当前的转向角；
图像获取部，从拍摄上述车辆的周边的拍摄部获取拍摄图像；
探测部，获取上述车辆的周边的物体的探测信息；以及
控制部，使合成图像显示于显示部，上述合成图像包括表示上述车辆的车辆图像和基于上述拍摄图像的表示上述车辆的周边的周边图像，
当在上述车辆以上述当前的转向角前进规定距离的情况下的路线上探测到上述物体时，上述控制部在上述合成图像内使表示上述车辆的形状的虚拟的虚拟车辆图像重叠显示于以上述车辆图像所示的上述车辆的位置为基准的到上述物体为止的路线上。
2.根据权利要求1所述的周边监视装置，其中，
上述虚拟车辆图像能够从上述车辆的位置朝向上述物体的位置移动。
3.根据权利要求2所述的周边监视装置，其中，
使在上述虚拟车辆图像内与上述物体接触的部分图像的显示方式变化，并且在上述合成图像内，在上述车辆与上述物体接触的位置或者前进到上述车辆与上述物体接触的近前的位置后的位置处，使上述虚拟车辆图像的移动停止。
4.根据权利要求3所述的周边监视装置，其中，
上述虚拟车辆图像是由多边形构成的表示上述车辆的形状的图像，
上述部分图像是构成上述虚拟车辆图像的上述多边形中的与上述物体接触的部分的上述多边形。
5.根据权利要求3或者权利要求4所述的周边监视装置，其中，
上述控制部根据上述物体的位置与上述虚拟车辆图像所示的上述车辆的位置之间的距离来改变上述部分图像的显示方式。
6.根据权利要求5所述的周边监视装置，其中，
在上述距离为规定值以下的情况下，上述控制部将上述部分图像的上述显示方式改变为示意接触的第一显示方式，在从上述距离为上述规定值以下的状态变化为超过上述规定值的情况下，上述控制部将上述显示方式从上述第一显示方式改变为示意接触避免的第二显示方式。
7.根据权利要求1～权利要求6中的任意一项所述的周边监视装置，其中，
上述车辆图像是上述车辆的俯瞰图像。
8.根据权利要求1～权利要求6中的任意一项所述的周边监视装置，其中，
上述虚拟车辆图像是表示上述车辆的三维形状的图像。
9.根据权利要求1～权利要求8中的任意一项所述的周边监视装置，其中，
上述虚拟车辆图像是表示上述车辆的形状的半透明的图像。
10.根据权利要求1～权利要求9中的任意一项所述的周边监视装置，其中，
上述虚拟车辆图像是强调显示了上述车辆的轮廓的图像。
11.根据权利要求1～权利要求10中的任意一项所述的周边监视装置，其中，
上述虚拟车辆图像是随着从上述车辆的轮廓朝向内侧而透过率变高的图像。
12.根据权利要求1～权利要求11中的任意一项所述的周边监视装置，其中，
在由上述探测部探测到上述物体的情况下，与探测到上述物体之前的显示状态相比，上述控制部放大显示上述合成图像。
13.根据权利要求12所述的周边监视装置，其中，
在执行上述放大显示时，在上述车辆为能够后退的状态的情况下，与上述能够后退的状态以外的情况相比，上述控制部减小上述放大显示的程度。
14.根据权利要求12或者权利要求13所述的周边监视装置，其中，
在对上述合成图像进行上述放大显示的情况下，上述控制部执行错开显示，在上述错开显示中，在与基于上述当前的转向角的转弯方向相反的方向上错开地显示上述车辆图像的显示位置。
15.根据权利要求14所述的周边监视装置，其中，
在上述车辆为能够后退的状态的情况下，上述控制部设为不执行上述错开显示。
16.根据权利要求12～权利要求15中的任意一项所述的周边监视装置，其中，
在设为不显示上述虚拟车辆图像的情况下，上述控制部使上述合成图像恢复至探测到上述物体之前的显示状态。
17.根据权利要求1～权利要求16中的任意一项所述的周边监视装置，其中，
上述控制部将上述虚拟车辆图像的显示设为暂时不显示，并且在满足规定的条件的情况下，解除上述不显示。
18.根据权利要求17所述的周边监视装置，其中，
上述控制部在将上述虚拟车辆图像的显示设为暂时不显示的情况下，设为仅在不显示期间中能够执行再显示。
19.根据权利要求2～权利要求18中的任意一项所述的周边监视装置，其中，
上述控制部在上述车辆与上述物体接触的位置或者上述车辆与上述物体接触的近前的位置处使上述虚拟车辆图像的移动停止后，从上述当前的转向角起改变上述转向角，并且设为在上述车辆变得与上述物体不接触的情况下，能够沿按照改变后的转向角的方向再开始上述虚拟车辆图像的移动。
20.根据权利要求1～权利要求19中的任意一项所述的周边监视装置，其中，
上述周边监视装置还具备操作开关，上述操作开关能够切换是否将上述虚拟车辆图像显示于上述显示部，
当在上述车辆以上述当前的转向角前进规定距离的情况下的路线上未探测到上述物体时，并且当根据上述操作开关的操作而上述虚拟车辆图像能够显示于上述显示部时，上述控制部使上述车辆图像的显示方式变化。
CN202010962500.9A 2019-09-12 2020-09-14 周边监视装置 Pending CN112477758A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-166660 2019-09-12
JP2019166660A JP7443705B2 (ja) 2019-09-12 2019-09-12 周辺監視装置

Publications (1)

Publication Number Publication Date
CN112477758A true CN112477758A (zh) 2021-03-12

Family

ID=72470249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962500.9A Pending CN112477758A (zh) 2019-09-12 2020-09-14 周边监视装置

Country Status (4)

Country Link
US (1) US11620834B2 (zh)
EP (1) EP3800111A1 (zh)
JP (1) JP7443705B2 (zh)
CN (1) CN112477758A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
US20220292841A1 (en) * 2021-03-12 2022-09-15 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed
JP7264930B2 (ja) * 2021-03-23 2023-04-25 本田技研工業株式会社 表示装置
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions
CN117104179A (zh) * 2023-02-16 2023-11-24 荣耀终端有限公司 一种车辆控制系统、方法、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012061989A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
CN102667888A (zh) * 2009-11-27 2012-09-12 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
US20130010117A1 (en) * 2010-03-26 2013-01-10 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
JP2017114218A (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018184091A (ja) * 2017-04-26 2018-11-22 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法およびプログラム
JP2018203031A (ja) * 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807330B2 (ja) 2002-03-05 2006-08-09 日産自動車株式会社 車両周辺監視装置
JP3894322B2 (ja) 2003-07-23 2007-03-22 松下電工株式会社 車両用視界モニタシステム
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
JP2008090655A (ja) 2006-10-03 2008-04-17 Denso Corp 運転支援装置
JP5182137B2 (ja) 2009-02-12 2013-04-10 株式会社デンソー 車両周辺表示装置
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
JP5605606B2 (ja) 2010-03-12 2014-10-15 アイシン精機株式会社 駐車支援装置
DE102012024930A1 (de) * 2012-12-20 2014-06-26 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeug mit Entfernungsüberwachungseinrichtung
JP5855622B2 (ja) 2013-10-04 2016-02-09 本田技研工業株式会社 駐車支援装置
JP5825323B2 (ja) 2013-11-01 2015-12-02 アイシン精機株式会社 車両周辺監視装置
JP5995931B2 (ja) * 2014-09-12 2016-09-21 アイシン精機株式会社 駐車支援装置、駐車支援方法及び制御プログラム
US9902267B2 (en) 2015-05-12 2018-02-27 Bendix Commercial Vehicle Systems Llc Predicted position display for vehicle
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
WO2017110144A1 (ja) 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6524922B2 (ja) * 2016-01-12 2019-06-05 株式会社デンソー 運転支援装置、運転支援方法
JP6711151B2 (ja) 2016-06-07 2020-06-17 アイシン精機株式会社 運転支援装置
JP2018110328A (ja) 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP2019060616A (ja) 2017-09-25 2019-04-18 アイシン精機株式会社 運転支援装置
JP7172309B2 (ja) * 2018-09-06 2022-11-16 株式会社アイシン 周辺監視装置
JP7119798B2 (ja) 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
JP7283059B2 (ja) 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
JP7222254B2 (ja) 2019-01-25 2023-02-15 株式会社アイシン 周辺表示制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667888A (zh) * 2009-11-27 2012-09-12 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
US20130010117A1 (en) * 2010-03-26 2013-01-10 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
JP2012061989A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
JP2017114218A (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置
JP2018184091A (ja) * 2017-04-26 2018-11-22 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法およびプログラム
JP2018203031A (ja) * 2017-06-02 2018-12-27 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
JP7443705B2 (ja) 2024-03-06
JP2021044751A (ja) 2021-03-18
EP3800111A1 (en) 2021-04-07
US20210081684A1 (en) 2021-03-18
US11620834B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
JP6806156B2 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
EP2981077B1 (en) Periphery monitoring device and program
CA3069114C (en) Parking assistance method and parking assistance device
JP5995931B2 (ja) 駐車支援装置、駐車支援方法及び制御プログラム
US8633811B2 (en) Driving assist apparatus
CN112477758A (zh) 周边监视装置
JP7069548B2 (ja) 周辺監視装置
US11787335B2 (en) Periphery monitoring device
US20190244324A1 (en) Display control apparatus
EP3792868A1 (en) Image processing device
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
WO2019073938A1 (ja) 駐車支援装置
JP2016060235A (ja) 運転支援装置及び運転支援システム
US20200164920A1 (en) Traction assist apparatus
US20200035207A1 (en) Display control apparatus
JP2017094922A (ja) 周辺監視装置
JP2018034659A (ja) 駐車支援装置
JP7172309B2 (ja) 周辺監視装置
CN111094083B (zh) 停车辅助装置
JP6977318B2 (ja) 周辺表示装置
JP2019069719A (ja) 駐車支援装置
JP7130923B2 (ja) 表示制御装置
JP2019046086A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination