CN109691088B - 图像处理设备、图像处理方法、以及程序 - Google Patents

图像处理设备、图像处理方法、以及程序 Download PDF

Info

Publication number
CN109691088B
CN109691088B CN201780050402.4A CN201780050402A CN109691088B CN 109691088 B CN109691088 B CN 109691088B CN 201780050402 A CN201780050402 A CN 201780050402A CN 109691088 B CN109691088 B CN 109691088B
Authority
CN
China
Prior art keywords
image
vehicle
display
obstacle
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780050402.4A
Other languages
English (en)
Other versions
CN109691088A (zh
Inventor
大场英史
阿川知典
吉村匡平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109691088A publication Critical patent/CN109691088A/zh
Application granted granted Critical
Publication of CN109691088B publication Critical patent/CN109691088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开的目的是提供一种有关车辆周围环境的信息的可见性得到提高的图像显示的图像处理设备。输入拍摄所述车辆周围环境的摄像头所拍摄的图像。基于输入的所述图像，生成俯视图像、车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像，所述车辆移动方向是所述车辆的左侧或者右侧。将生成的所述图像显示在显示单元上。例如，根据所述车辆的行驶方向和方向盘的旋转方向信息生成或者更新显示图像。在所述车辆逆时针后退的情况下，生成并且显示所述俯视图像、所述车辆后方图像、和车辆左侧图像。在所述车辆顺时针后退的情况下，生成并且显示所述俯视图像、所述车辆后方图像、和车辆右侧图像。

Description

图像处理设备、图像处理方法、以及程序
技术领域
本公开涉及一种图像处理设备、图像处理方法、以及程序。具体地，本公开涉及一种图像处理设备、图像处理方法、以及程序，利用它们来将车辆上安装的摄像头所拍摄的图像和基于拍摄图像的合成图像显示在驾驶者可以观察到的显示单元(监视器)上，从而使驾驶者能够检查车辆周围情况。
背景技术
在从驾驶者座椅无法直接从视觉上识别出在汽车行驶方向上的状态(例如，诸如汽车的正前方、侧方、或者后方)的情况下，会存在汽车可能会碰到在行驶方向上存在的隐藏障碍物的风险。避免这种风险的其中一种系统是基于安装在汽车的前方、后方和侧方的多个广角摄像头拍摄的图像生成虚拟图像并且将其显示在驾驶者座椅的显示单元上的图像呈现系统，该虚拟图像示出了从汽车上方观察到的视图。
应该注意，示出了从汽车上方观察到的视图的图像称为“环视(around-view，注册商标)图像”、“俯视图像”、“鸟瞰图图像”等。在下文中，在本说明书中，示出了从汽车上方观察到的视图的图像会被描述为“俯视图像”。
也已经生产有用于进一步将示出了在车辆行驶方向上的视图的图像显示在示出了从汽车上方观察到的视图的图像(俯视图像)中的配置，例如，用于将所拍摄的后部的图像显示在汽车倒车(后退)时的俯视图像旁边的系统。
在北美，限定了合法的安全标准，这些安全标准是有关向驾驶者呈现示出了在后退方向上的视图的图像，该图像是有关当车辆后退时的行驶方向的信息。用于如上所述的呈现示出了在行驶方向上的视图的图像的配置至关重要。
然而，例如，在停车库等中停车时在画出大曲线的同时后退的情况下，仅利用示出了从车辆上方观察到的视图的图像和示出了在后方向(其是行驶方向)上的视图的图像，不足以检查到在车辆的左侧或者右侧上的障碍物。因此，存在车辆的侧面可能会碰到障碍物的风险。
俯视图像包括车辆周围预定范围的图像，这些图像示出了在车辆前、后、左和右方向上的视图。当在生成俯视图像时在图像转换处理中采用在路面上直立的立体物体的图像时，所采用的图像被认为是通常在路面上的图案，而不考虑图像的原始三维形状，并且将捕获的图像虚拟地转换成路面的俯视图像，作为路面上的图案。因此，使路面上不存在的立体物体的图像失真。因此，驾驶者难以准确地掌握在示出了从上方观察到的视图的该俯视图像中显示的各个显示物体(物体)的高度以及感知的离该物体的水平距离。
生成俯视图像，作为由安装在车辆外周中的多个摄像头拍摄的图像的合成图像，例如，由安装在车辆的前、后、左和右部分上的四个摄像头拍摄的图像的合成图像。
安装在车辆的外周中的摄像头分别利用诸如鱼眼镜头等广角镜头，以便从很近的距离拍摄很宽视角区域的图像。然而，与当我们通常观看物体时直接看到的图像相比，在不使用中心投影方法的情况下通过广角镜头拍摄的图像会导致更大的图像失真。具体地，在将捕获的图像转换成在不同视点处的图像并且在其存在于特定空间平面上的假设下观看所捕获的图像的情况下，投影图像在世界空间中三维扩张的任意目标物体导致较大的失真。
在生成称为俯视图像的图像的转换中，假设捕获的周围空间在车身的车轮所在的平面上在车身的周围环境中延伸，生成由安装在车身上的摄像头位置处的相应摄像头拍摄的俯视图像，并且通过对多个摄像头所拍摄的这些相应图像执行图像校正处理(诸如合成)来生成要显示的俯视图像。
应该注意，例如，专利文献1(日本专利申请特开2015-119225号公报)已经公开了一种关于俯视图像生成处理的常规技术。专利文献1已经公开了一种用于通过对安装在车辆的外周中的图像拾取设备所拍摄的图像执行俯视转换以将这些图像相组合来生成示出了从汽车上方观察到的视图的合成图像的配置。专利文献1采用了如下配置：针对两个俯视图像(是要组合的目标)的组合区域，带状地交替显示两个校正图像。
然而，与远心光学系统真实地从车辆上方捕获的图像不同，该图像示出了在从上方实际观看时的立体物体，在通过将安装在车辆的侧面上的广角摄像头捕获的图像转换成示出了从车辆上方虚拟地观察到的视图的俯视图像而得到的显示图像的情况下，所包括的各个物体的形状的图像发生失真。因此难以准确地判断离车身的感知距离。具体地，难以准确地掌握离车身的感知距离，该距离取决于物体的高度。在一些情况下，驾驶者无法准确地判断车辆可能会碰到俯视图像中显示的各个显示物体(物体)的风险。
引文列表
专利文献
专利文献1：日本专利申请特开2015-119225号公报
专利文献2：日本专利申请特开2005-339313号公报
发明内容
技术问题
例如，鉴于上面提到的问题，已经提出了本公开，并且本公开旨在提供一种图像处理设备、图像处理方法、以及程序，利用它们来将车辆上安装的摄像头所拍摄的图像和基于拍摄图像的合成图像显示在驾驶者可以观察到的显示单元(监视器)上，从而使驾驶者能够更无疑地检查车辆周围情况。
问题的解决方案
根据本公开的第一方面，
一种图像处理设备，其包括：
图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，其中
图像处理单元：
接收拍摄车辆周围环境的摄像头所拍摄的图像，
基于接收到的拍摄图像，生成：
车辆行驶方向图像，以及
对应于车辆移动方向的车辆侧面侧图像，该车辆移动方向是车辆的左侧或者右侧，并且
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元。
另外，根据本公开的第二方面，
一种待由图像处理设备执行的图像处理方法，该图像处理设备包括图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，该图像处理方法包括：
通过图像处理单元，
接收拍摄车辆周围环境的摄像头所拍摄的图像，
基于接收到的拍摄图像，生成车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像，该车辆移动方向是车辆的左侧或者右侧；并且
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元
另外，根据本公开的第三方面，
一种使图像处理在图像处理设备中被执行的程序，该图像处理设备包括图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，该程序使图像处理单元执行：
接收拍摄车辆周围环境的摄像头所拍摄的图像的处理；
基于接收到的拍摄图像生成车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像的处理，该车辆移动方向是车辆的左侧或者右侧；以及
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元的处理。
应该注意，例如，本公开的程序是可以通过以计算机可读的方式提供的存储介质或者通过通信介质被提供至能够执行各种程序代码的图像处理设备或者计算机系统的程序。通过以计算机可读的方式提供这种程序，在信息处理设备或者计算机系统中执行根据该程序的处理。
本公开的另外其它目的、特点和优点将通过基于稍后待述的本发明的实施例和附图的更详细描述而变得清楚。应该注意，本文阐释的术语“系统”是多个设备的逻辑复杂配置并且具有多种配置的设备并不一定设置在相同的外壳中。
发明的有益效果
根据本公开的实施例的配置，实现了一种有关车辆周围环境的信息的可见性得到提高的图像显示的图像处理设备。
根据本发明的配置，实现了一种实现有关车辆周围环境的信息的可见性得到提高的图像显示的图像处理设备。
应该注意，本文阐释的效果仅仅是示例性的，不是限制性的，并且可以提供另外的效果。
附图说明
[图1]描述了车辆的显示单元上的图像显示示例的图。
[图2]描述了将摄像头安装到车辆上的示例的图。
[图3]描述了通过使用广角镜头拍摄的图像的示例的图。
[图4]描述了是通过使用广角镜头拍摄的图像的校正示例的俯视转换的图。
[图5]描述了是通过使用广角镜头拍摄的图像的校正示例的俯视转换的图。
[图6]描述了是通过使用广角镜头拍摄的图像的校正示例的俯视转换的图。
[图7]描述了车辆的道路和车辆周围环境中的障碍物的示例的图。
[图8]描述了在车辆的显示单元上的图像显示示例中的问题的图。
[图9]描述了在车辆的显示单元上的图像显示示例中的问题的图。
[图10]描述了在本公开的显示单元上的图像显示示例的图。
[图11]描述了显示单元的显示图像的示例的图。
[图12]描述了显示单元的显示图像的示例的图。
[图13]描述了显示单元的显示图像的示例的图。
[图14]描述了显示单元的显示图像的示例的图。
[图15]描述了显示单元的显示图像的示例的图。
[图16]描述了显示单元的显示图像的示例的图。
[图17]描述了取决于车辆状况的显示单元的显示图像的偏移处理示例的图。
[图18]描述了显示单元的显示图像的示例的图。
[图19]描述了显示单元的设置示例的图。
[图20]描述了显示单元的显示图像的示例的图。
[图21]描述了显示单元的显示图像的示例的图。
[图22]描述了显示单元的显示图像的示例的图。
[图23]描述了显示单元的显示图像的示例的图。
[图24]描述了取决于车辆状况的显示单元的显示图像的偏移处理示例的图。
[图25]描述了取决于车辆状况的显示单元的显示图像的偏移处理示例的图。
[图26]描述了图像处理设备的配置示例的图。
具体实施方式
在下文中，将参照附图详细描述本公开的图像处理设备、图像处理方法、以及程序。应该注意，将根据以下各项来进行对其的描述。
1.关于车辆的显示单元的显示图像的示例
2.关于在基于从车辆上方的虚拟视点的观察图像(俯视图像)中的问题
3.关于车辆行驶时的安全性得到改进的图像显示配置
4.关于显示单元上的其它图像显示示例
4-1.其它图像显示示例1
4-2.其它图像显示示例2
5.关于其它实施例
6.关于图像处理设备的配置示例
7.本公开的配置的总结
[1.关于车辆的显示单元的显示图像的示例]
首先，将描述车辆的显示单元的显示图像的示例。
图1是示出了在位于汽车座椅上的驾驶者前方的仪表板的配置的示例以及要显示在设置于该仪表板中的显示单元1上的显示图像的图。
显示单元1设置在汽车的驾驶者在开车时能看到的位置处。
如图1所示，
俯视图像2，其是示出了从汽车上方观察到的视图的图像，以及
行驶方向图像3(＝后方图像)，其是示出了在汽车的行驶方向上的视图的图像，都设置并且显示在显示单元1上。
应该注意，图1所示的显示单元1的显示图像示例是在汽车后退(即，向后行驶)的情况中的图像显示示例，并且是显示后方图像作为行驶方向图像3的示例。
俯视图像2是通过将多个俯视图像相组合而生成的合成图像，这些俯视图像是通过对安装在多个点(诸如，汽车的前方、后方、左侧和右侧)处的摄像头拍摄的各个图像执行俯视转换而生成的，并且俯视图像2是对应于从汽车上方观察汽车及其周围环境的情况的虚拟图像。
应该注意，俯视图像2包括不合逻辑地生成的图像，该图像示出了自己的车辆的形状，并且使驾驶者能够检查自己的车辆的周围情况。
例如，行驶方向图像3(＝后方图像)是通过对安装在汽车后面的摄像头拍摄的图像执行俯视转换、剪切处理等而生成的图像。
在车辆内部的图像处理单元处执行对所拍摄的图像的这种图像处理。
将参照图2描述为显示单元1生成显示图像所需的拍摄图像的摄像头的安装示例。
图2是将摄像头安装在车辆上的安装示例的示例的图。
如图2所示，在车辆10上安装四个摄像头，例如，处于前方、后方、左侧和右侧相应的位置。
这四个摄像头如下安装：
摄像头F21安装在车辆10的前表面上；
摄像头L22安装在车辆10的左表面上；
摄像头R23安装在车辆10的右表面上；以及
摄像头B24安装在车辆10的后表面上。
如在图2的(B)的摄像头布置中示出的，各个摄像头F21至R24包括广角镜头，诸如鱼眼镜头，例如，并且配置为通过使用向下方向(地面方向)或者相对于处于包括该地面方向的视角的车身的倾斜横向方向作为拍摄方向在一个很宽的范围内拍摄地面以及地面上的立体物体等。
与通常熟悉的对照片进行中心投影的投影方法相比，在通过使用广角镜头拍摄的图像中引起除了光轴之外的图像的失真。将参照图3描述通过使用广角镜头拍摄的示出了垂直下部区域的视图的拍摄图像的示例。
图3的(A)示出了拍摄环境。要拍摄的物体是水平面地面上绘制的格子图案。通过将广角鱼眼摄像头30设置在要拍摄的物体31的中心上方，同时使摄像头的光轴垂直朝下，来执行拍摄。
例如，摄像头30是具有诸如鱼眼镜头等广角镜头的摄像头。
在图3的(b)中示出的拍摄图像是在图3的(a)所示的拍摄环境中通过使用鱼眼镜头拍摄的图像的示例。
如在图3的(b)的拍摄图像中所示的，拍摄图像中的地面的格子图案具有呈桶形弯曲的失真。
这是由使用广角鱼眼镜头拍摄所导致的图像的失真。
为了通过去除图3的(b)中示出的拍摄图像的失真来生成具有与路面上要拍摄的物体相似的形状的图像，必须假设摄像头捕获的目标图像都位于对应的虚拟路面上并且在虚拟路面上存在图像的假设下基于在投影图像之间的对应关系(取决于鱼眼镜头上的入射角度)来执行俯视转换。应该注意，例如在专利文献2(日本专利申请特开2005-339313号公报)中描述了这种俯视转换处理的示例。
将参照图4和随后的图描述这种校正处理示例。
图4示出了与图3的(b)相似的“(b)拍摄图像”以及通过对拍摄图像进行校正处理(俯视转换)而生成的“(c)校正图像(俯视图像)。”虽然在该图中未示出，但广角鱼眼摄像头的光轴不必需要指向垂直方向，并且可以指向相对于车身的倾斜横向方向。此处，在路面上存在立体物体并且该立体物体的位置与摄像头的位置在垂直于路面的方向上不同的情况下，从侧面倾斜地观看直立物体。
将参照图5和图6中示出的图(d)至(i)简要描述其问题。在摄像头正下方的外周区域中存在直立物体35。通过在广角鱼眼摄像头捕获的整个图像是路面的图案的假设下执行转换，使位于路面上的直立物体的图案偏向画面的外周。然后，通过进一步对具有桶形失真的图像执行俯视转换，将其推离光轴。因此，当从路面上方一定距离观看时，基于拍摄图像的俯视图像如图(g)或者(i)中所示。然而，直立物体35变成通过将广角鱼眼摄像头的部分剪切图像(该部分剪切图像是从路面的相邻位置处的拍摄图像获得的)用作俯视图像来执行虚拟转换而失真(如图5(e)或者42(h)中那样变形)的图像，如图5的(f)所示。根据图像的变形程度，图像观察者变得难以识别出直立物体35，并且明显降低了视觉可识别性。
应该注意，将示出了从上方观察到的视图的图像称为“俯视图像”，并且将执行转换到“俯视图像”的图像校正处理称为“俯视转换”。图4的(c)中示出的校正图像是“俯视图像”。从图4中的(b)拍摄图像生成(c)校正图像的校正处理等效于“俯视转换”。
图4中的(c)校正图像(俯视图像)是具有与上面描述的在图3的(a)的拍摄环境中要拍摄的物体31的格子图案相似的格子图案的图像，并且，当从上方看地面时，是作为中心投影的正确俯视图像。地面的格子图案是重现了要拍摄的实际物体的形状的格子图案。
通过对安装在如图2所示的车辆10的前方、后方、左侧和右侧相应位置处的四个摄像头所拍摄的图像执行图像校正处理(包括前面提到的俯视转换)并且进一步执行将相应图像彼此相组合的合成处理，来生成图1所示的俯视图像2。
应该注意，例如，可以通过使用安装在如图2所示的车辆10的后部的摄像头B 24拍摄的图像，通过图像校正处理和图像剪切处理，来获取图1所示的行驶方向图像3(＝后方图像)。应该注意，必须将行驶方向图像3(＝后方图像)的视点方向设置成行驶方向(向后)，而不是如俯视图像2中的向下方向，并且可以通过执行将视点方向设置成行驶方向(向后)的图像转换来获得行驶方向图像3(＝后方图像)。
应该注意，可以采用如下配置：除了安装在如图2所示的车辆10的前方、后方、左侧和右侧相应位置处的四个摄像头，还安装有用于拍摄后方的广角摄像头或者作为用于拍摄后方的摄像头的普通摄像头，并且通过使用该用于拍摄后方的摄像头所拍摄的图像来获取如图1所示的行驶方向图像3(＝后方图像)并且显示该行驶方向图像3(＝后方图像)。
[2.关于在基于从车辆上方的虚拟视点的观察图像(俯视图像)中的问题]
如上面参照图2至图4所描述的，生成俯视图像(其是示出了从上方观察到的视图的图像)，作为安装在车辆的外周中的多个摄像头所拍摄的图像的合成图像，例如安装在车辆的前方、后方、左侧和右侧的四个摄像头所拍摄的图像的合成图像。
如上面描述的，安装在车辆的外周中的摄像头分别利用诸如鱼眼镜头等广角镜头，以便从很近的距离拍摄很宽区域的图像。然而，广角镜头所拍摄的图像导致较大的图像失真。具体地，在图像周围区域中生成较大的失真。
通过执行用于克服这些失真的校正处理以及图像校正处理(诸如，多个摄像头所拍摄的图像的合成)来生成要显示的俯视图像。
然而，由于这种图像校正，在一些情况下，在显示图像中直立在路面上的物体(其不存在于假设的转换的和投影的平面的路面上)的形状与实际物体的形状不同，具体地，接近图像合成区域的物体的形状非常有可能会改变。
因此，驾驶者难以准确地掌握在显示单元上显示的俯视图像中显示的各个物体的具体形状，尤其是该物体的高度以及离车身的相对距离。在一些情况下，驾驶者无法准确地判断车辆可能会碰到俯视图像中的显示物体的风险。
将参照图7和随后的图描述具体的示例。
图7示出了在停车场的停车位处后退停车的车辆41。
通过将方向盘向右转动(旋转)，使车辆41后退，以根据该图中示出的箭头进入停车空间。
然而，如该图所示，在车辆41的左侧存在障碍物(物体)42，即，“垃圾桶”。
因为障碍物(物体)42的高度低于车辆的高度，所以无法直接从驾驶者观察到障碍物(物体)42的高度。
此时，图8中示出了在车辆41的显示单元上显示的图像的示例。
图8所示的显示单元1的显示图像是与上面参照图1描述的显示图像相似的图像。
如图8所示，
俯视图像2，其是示出了从汽车上方观察到的视图的图像，以及
行驶方向图像3(＝后方图像)，其是示出了在汽车的行驶方向上的视图的图像，都设置并且显示在显示单元1上。
障碍物(物体)图像42，即，“垃圾桶”的图像显示在俯视图像2中。然而，如上面描述的，由于俯视图像生成过程中的各种类型的校正处理等，变形较大，该图像不是清楚得能判断出是垃圾桶并且具有维持了垃圾桶形状的形状的图像。
具体地，关于离车身的感知距离(取决于障碍物(物体)图像42的高度)，则根本无法判断。存在如下可能性：因为障碍物(物体)图像42的形状被显示为与从侧面直观看到的形状存在失真和变形的形状，所以驾驶者不会注意到它。进一步地，即使驾驶者注意到了显示的东西，也存在如下可能性：驾驶者将其判断为地板的污点、地板上的垃圾等。进一步地，在平坦壁面等的情况下，甚至很难判断其是墙壁还是路面。
当驾驶者基于这种错误的判断像原来那样向后移动车辆41时，车身后退，同时由于在转动时前后外侧车轮所沿的轨迹之间的差异(外侧车轮差异)，绘制出在存在障碍物的侧面方向中延伸的掠过轨迹。结果，如接下来的图9所示，存在的担心是车辆41的侧表面可能会碰到障碍物(物体)42(即，“垃圾桶”)，并且汽车和“垃圾桶”都可能会受到损坏。
当车辆通过操作方向盘发生弯曲时，前车轮的轨迹与后车轮的轨迹不同。即，在后退的时候，由于外侧车轮的差异，引起了在后车轮轨迹与车身前部轨迹之间的差异。
如图7至图9所示，当通过向右侧转动方向盘来使车辆后退时，前车轮的轨迹被绘制在对应后车轮的轨迹外面。即，在使车辆前部的轨迹相较于车辆后部的轨迹向外扩张的同时，使车辆前部转动。结果，存在如下可能性：车辆的左表面在车辆前部处碰到或者撞到障碍物，在车辆后部处不会碰到。
[3.关于车辆行驶时的安全性得到改进的图像显示配置]
接下来，将解决上面提到的问题并且将描述本公开的配置，即，车辆行驶时的安全性得到改进的图像显示配置。
图10是示出了根据本公开的实施例的显示单元100的图像显示示例的图。
图10所示的显示单元100的显示图像包括以下三种类型的图像：
(a)俯视图像101；
(b)行驶方向图像(后方图像)102B；以及
(c)车辆侧面侧图像(左侧图像)103L。
应该注意，除非另一说明，否则垂直侧面侧图像可以是根据半中心投影方法通过将车身侧表面用作视角得到的包括从摄像头安装位置看到的前车轮和车身前部的图像、根据半中心投影方法通过将车身侧表面用作视角得到的在车辆向前行驶的情况下从摄像头安装位置看到的后车轮和车身后部的图像、或者后视镜替代物(称为上述的摄像头监视器系统)的摄像头图像的一部分。
这两个图像，即(a)俯视图像101和(b)行驶方向图像(后方图像)102B，是与上面参照图1描述的图像相似的图像。
应该注意，如图所示，在图10中心处的俯视图像101中，图10所示的显示单元100的显示图像的示例是在向右转动方向盘来使车辆逆时针地(向左)后退以进入车辆停车空间的状态下显示单元100的显示图像的示例。
在车辆的左侧，存在“垃圾桶”，其是与参照图7描述的障碍物(物体)相似的障碍物(物体)。
在图10中心处的俯视图像101中，显示有与上面参照图8描述的障碍物图像(物体图像)相似的障碍物图像(物体图像)111a。
然而，会担心驾驶者即使在看到障碍物时也无法准确地识别出该障碍物图像(物体图像)111a的形状和高度并且会判断不存在车辆撞击可能性。
(C)图10所示的车辆侧面侧图像(左侧图像)103L是参照图1描述的显示图像中未包括的新的附加图像。
车辆侧面侧图像(左侧图像)103L是车辆的左侧的图像。
如上面描述的，当通过向右侧转动方向盘来使车辆逆时针地(向左)后退的情况下，前车轮的轨迹被绘制在对应后车轮的轨迹外面。即，由于外车轮差异，在使车辆前部的轨迹相较于车辆后部的轨迹向外扩张的同时，使车辆前部转动。结果，存在如下可能性：车辆的左表面在车辆前部处碰到或者撞到障碍物，在车辆后部处不会碰到。
按照这种方式，生成由于外车轮差异而导致的在车辆前部的轨迹与后部的轨迹之间的差异。
图10所示的车辆侧面侧图像(左侧图像)103L是示出了由于该外车轮差异而存在碰撞可能性的位置处的视图的图像，即，示出了车辆要移动的方向上的视图的图像。示出了在车辆移动方向上的视图的该图像被显示在显示单元上作为车辆侧面侧图像(左侧图像)103L。
图10所示的车辆侧面侧图像(左侧图像)103L包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线112(引导线)。
通过检查失真较小的中心投影图像(如图10所示)的车辆侧面侧图像(左侧图像)103L和车辆移动方向显示线112，驾驶者可以准确地掌握在车辆的移动方向上存在什么障碍物以及该障碍物的高度和离车辆的距离并且可以准确地做出有关车辆撞击可能性的判断。
在图10所示的车辆侧面侧图像(左侧图像)103L中，清楚地显示了障碍物图像(物体图像)111b，即，“垃圾桶”的图像，无失真。驾驶者可以无疑地识别到在车辆左侧存在车辆能碰到或者撞到的“垃圾桶”。另外，可以从该侧检查到在立体物体与车身之间的相对关系。
因此，驾驶者可以停止使车辆行驶，对方向盘等执行操作，改变车辆行驶方向以避开障碍物，并且使车辆安全地行驶。
应该注意，在俯视图像101或者行驶方向图像(后方图像)102B中还显示有指示汽车的行驶方向的引导线。
俯视图101中的箭头以及车身最前部的左右车轮或者保险杠角落的预计轨迹(在行驶方向图像(后方图像)102B中被示作虚线)被显示为指示汽车的行驶方向的引导线。
应该注意，图10所示的示例是在通过向右转动车辆的方向盘使车辆逆时针地(向左)后退的情况下的图像示例。如上面描述的，由于外车轮差异，在使车辆的前侧的轨迹相较于后侧的轨迹向左扩张的同时，使车辆的前侧转动。
即，车辆前侧在左方向上移动。显示图10所示的车辆侧面侧图像(左侧图像)103L的图像，作为示出了在该移动方向上的视图的图像。
相反，在通过向左转动车辆的方向盘使车辆顺时针地(向右)后退的情况下，在使车辆的前侧的轨迹相较于后侧的轨迹向右扩张的同时，使车辆的前侧转动。
即，车辆前侧在右方向上移动。在这种情况下，显示车辆的右侧的图像，而不是图10所示的车辆侧面侧图像(左侧图像)103L，作为示出了在该移动方向上的视图的图像。应该注意，后面会描述该图像的显示示例。
在图10所示的图像显示示例中，将车辆侧面侧图像(左侧图像)103L设置为显示在中心处显示的俯视图像101的左前区域中。
其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)103L是车辆的左前侧的图像的图像布局。
将参照图11更详细地描述以下两个图像，这两个图像是图10所示的显示单元100的显示图像，即：
车辆侧面侧图像(左侧图像)103L；以及
行驶方向图像(后方图像)102B。
在图11的中心处，用于描述车辆的移动方向和显示图像区域的图被示作(参考图)。
将车辆设置为通过向右转动方向盘来使车辆倒车(后退)。
在该设置中，车辆会向后移动，如在向后的(参考图)中的双线箭头所示，并且随后，车辆的前一半会在左方向上移动，如双线箭头所示。
图11所示(参考图)中的双线箭头所示的车辆的后方图像是图11的右侧上示出的行驶方向图像(后方图像)102B。
进一步地，车辆的左侧的图像(如(参考图)中的双线箭头所示)是图11的左侧上示出的车辆侧面侧图像(左侧)103L。
(参考图)中的扇形区域B对应于行驶方向图像(后方图像)102B的图像区域(大体上在图11的右侧示出)并且(参考图)中的扇形区域L对应于车辆侧面侧图像(左侧)103L的图像区域(大体上在图11的左侧示出)。
在图11的左侧上示出的车辆侧面侧图像(左侧)103L中，显示了车辆移动方向显示线112，其与该图像重叠。
该车辆移动方向显示线112是指示车辆的移动方向的线，车辆的移动方向是根据车辆的方向盘操作确定的。
图像处理单元输入车辆的方向盘操作信息，基于所输入的车辆的方向盘操作信息计算车辆的移动方向，根据车辆的移动方向确定绘制线(该移动方向是根据计算结果确定的)，将车辆移动方向显示线112重叠在图像上，并且输出它们。绘制线的坐标可以形成在车身所掠过的路面上的最外点处绘制出轨迹的线，或者可以形成考虑到了某个安全边缘(例如，10cm)的边缘的扩张轨迹线。可以采用像车辆的最外端部的掠过空间的VR虚拟显示112a一样的设置。进一步地，可以另外地显示或者可以替代地显示取决于方向盘的转动量的绘制线或者在最大程度地转动方向盘时的轨迹。另外，可以使车辆中安装的图像处理设备执行中空坐标算术处理，显示目标物体坐标作为中空坐标，在碰撞位置处执行中空空间的颜色改变处理或者通过绘制出如在图11中的障碍物局部区域图像111c中一样的图案来执行强调显示。
进一步地，将车辆侧面侧图像(左侧)103L设置为包括车辆的侧面区域的图像，即，车辆侧面侧图像113。
通过按照这种方式向显示图像提供车辆侧面侧图像113，变得可以准确地掌握从车辆到障碍物的距离以及障碍物的大小。
应该注意，采用了也向如图11所示的行驶方向图像(后方图像)102B提供车辆保险杠图像114(其是车辆的后部的一部分)的设置。
通过按照这种方式向显示图像提供车辆保险杠图像114(其是车辆本身的端部区域图像)，变得可以准确地掌握从车辆到障碍物的距离以及障碍物的大小。
应该注意，可以按照如下方式来获取图10和图11中示出的车辆侧面侧图像(左侧)103L和行驶方向图像(后方图像)102B：车辆内部的图像处理单元输入如上面参照图2描述的由安装在车辆的前方、后方、左侧和右侧相应位置处的四个摄像头所拍摄的图像，并且通过应用这些输入的图像执行图像校正处理(诸如俯视转换)和图像剪切处理。
可替代地，可以采用如下配置：在车辆上安装拍摄在图10和图11中示出的车辆侧面侧图像(左侧)103L和行驶方向图像(后方图像)102B的专用摄像头并且通过使用这些摄像头拍摄的图像来生成要显示的图像。
即，可以采用如下配置：在车辆上安装广角摄像头或者普通摄像头作为专用摄像头，其是拍摄从车辆的侧面侧到前方的区域的摄像头和拍摄车辆后方的摄像头，并且车辆内部的图像处理设备输入这些摄像头所拍摄的图像，并且生成且显示在图10和图11中示出的车辆侧面侧图像(左侧)103L和行驶方向图像(后方图像)102B。
已经参照图10和图11描述的显示单元100的图像显示示例是通过向右转动车辆的方向盘来使车辆逆时针地(向左)后退的情况下的图像示例，如从图10的中心和图11的(参考图)处的俯视图像101所理解的。
接下来，将参照图12描述在通过向左转动车辆的方向盘来使车辆顺时针地(向右)后退的情况下显示单元100的显示图像的示例。
如图12所示，显示单元100的显示图像包括以下三种类型的图像：
(a)俯视图像101；
(b)行驶方向图像(后方图像)102B；以及
(c)车辆侧面侧图像(右侧图像)103R。
这两个图像，即(a)俯视图像101和(b)行驶方向图像(后方图像)102B，是与上面参照图10描述的图像相似的图像。
在图12所示的示例中，障碍物图像(物体图像)111a显示在俯视图像101中所示的车辆的右侧。
然而，驾驶者即使在看到障碍物时也无法识别出该障碍物图像(物体图像)111a的形状和高度并且会判断不存在车辆撞击可能性。
(C)图12所示的车辆侧面侧图像(右侧图像)103R是车辆的右侧的图像。
在通过向左侧转动方向盘来使车辆顺时针地(向右)后退的情况下，前车轮的轨迹被绘制在对应后车轮的轨迹外面。即，在使车辆前部的轨迹相较于车辆后部的轨迹向外扩张的同时，使车辆前部转动。结果，存在如下可能性：车辆的右表面在车辆前部处碰到或者撞到障碍物，在车辆后部处不会碰到。
即，生成由于外车轮差异而导致的在车辆前部的轨迹与后部的轨迹之间的差异。
图12所示的车辆侧面侧图像(右侧图像)103R是示出了由于该外车轮差异而存在碰撞可能性的位置处的视图的图像，即，示出了车辆要移动的方向的图像。该图像显示在显示单元上。
在图12所示的车辆侧面侧图像(右侧图像)103R中，显示有车辆移动方向显示线112，该车辆移动方向显示线112包括车辆本身的右侧图像并且指示车辆的移动方向。
通过观看图12所示的车辆侧面侧图像(右侧图像)103R和车辆移动方向显示线112，驾驶者可以准确地掌握在车辆的移动方向上存在什么障碍物以及该障碍物的高度和离车辆的距离并且可以准确地做出有关车辆撞击可能性的判断。
在图12所示的车辆侧面侧图像(右侧图像)103R中，清楚地显示了障碍物图像(物体图像)111b，即，“垃圾桶”的图像。驾驶者可以无疑地识别到在车辆右侧存在车辆能碰到或者撞到的“垃圾桶”。
因此，驾驶者可以停止使车辆行驶，对方向盘等执行操作，改变车辆行驶方向以避开障碍物，并且使车辆安全地行驶。
应该注意，图12所示的显示单元100的三个图像的布局与上面描述的图10中的图像布局不同。
即，在图12所示的显示单元100的图像显示示例中，将车辆侧面侧图像(右侧图像)103R设置为显示在俯视图像101的右前区域中。
其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(右侧图像)103R是车辆的右前侧的图像的图像布局。
将参照图13更详细地描述以下两个图像，这两个图像是图12所示的显示单元100的显示图像，即：
车辆侧面侧图像(右侧图像)103R；以及
行驶方向图像(后方图像)102B。在图13的中心处，用于描述车辆的移动方向和显示图像区域的图被示作(参考图)。
将车辆设置为通过向左转动方向盘来使车辆倒车(后退)。
在该设置中，车辆会向后移动，如在(参考图)中的双线箭头所示，并且随后，车辆的前一半会在右方向上移动，如双线箭头所示。
图13所示(参考图)中的双线箭头所示的车辆的后方图像是图13的左侧上示出的行驶方向图像(后方图像)102B。
进一步地，车辆的右侧的图像(如(参考图)中的双线箭头所示)是图13的右侧上示出的车辆侧面侧图像(右侧)103R。
(参考图)中的扇形区域B对应于行驶方向图像(后方图像)102B的图像区域(大体上在图13的左侧示出)并且(参考图)中的扇形区域R对应于车辆侧面侧图像(右侧)103R的图像区域(大体上在图13的右侧示出)。
在图13的左侧上示出的车辆侧面侧图像(右侧)103R中，显示了车辆移动方向显示线112，其与该图像重叠。
该车辆移动方向显示线112是指示车辆的移动方向的线，车辆的移动方向是根据车辆的方向盘操作确定的。
图像处理单元输入车辆的方向盘操作信息，基于所输入的车辆的方向盘操作信息计算车辆的移动方向，根据车辆的移动方向确定绘制线(该移动方向是根据计算结果确定的)，将车辆移动方向显示线112重叠在图像上，并且输出它们。
进一步地，将车辆侧面侧图像(右侧)103R设置为包括车辆的侧面区域的图像，即，车辆侧面侧图像113。
通过按照这种方式向显示图像提供车辆侧面侧图像113，变得可以准确地掌握从车辆到障碍物的距离以及障碍物的大小。
应该注意，采用了也向如图13所示的行驶方向图像(后方图像)102B提供车辆保险杠图像114(其是车辆的后部的一部分)的设置。
通过按照这种方式向显示图像提供车辆保险杠图像114，变得可以准确地掌握从车辆到障碍物的距离以及障碍物的大小。
参照图10至图13描述的图像显示示例是在通过向右或者向左转动方向盘使车辆发生弯曲的同时使车辆向后后退的情况下的图像显示示例。
在这种情况下，除了后方图像之外，另外显示了左侧的图像或者右侧的图像，作为示出了在车辆的移动方向上的视图的图像。
然而，在不转动方向盘的前向行驶的情况下，车辆仅在前后方向上移动并且不会在左右方向上移动。因此，不执行左侧图像和右侧图像的显示处理。
图14示出了在车辆在后方向上线性地倒车的情况下显示单元100的显示图像示例。
在显示单元上仅显示俯视图像101和行驶方向图像(后方图像)102B。
在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
图15示出了在车辆在前方向上线性地向前行驶的情况下显示单元100的显示图像示例。如该图中的俯视图像101所示，车辆直线行驶，而车辆的前部面朝停车空间。
在这种设置中，在显示单元上仅显示俯视图像101和行驶方向图像(前方图像)102F。
同样，在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
图16示出了在车辆的驾驶者座椅前方的仪表板配置和要在仪表板中设置的显示单元100上显示的显示图像的示例。
显示单元100设置在使汽车的驾驶者在开车时能看到的区域中。
图16所示的显示单元100的显示示例是上面参照图10描述的显示示例，并且是显示了如下三种类型的显示图像的示例：
(a)俯视图像101；
(b)行驶方向图像(后方图像)102B；以及
(c)车辆侧面侧图像(左侧图像)103L。
根据车辆的移动方向来切换要在显示单元100上显示的图像。车辆内部的图像处理设备输入车辆信息，具体地，车辆的移动方向(向前行驶或者向后行驶)、方向盘的转动方向、转动角度信息等，并且根据这种车辆信息执行显示单元100的显示图像的切换处理。
将参照图17描述显示单元100的显示图像的偏移示例。
图17示出了在以下四种车辆状态中显示单元的显示图像示例：(S01)直线向前行驶；
(S02)直线向后行驶(直线后退)；
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)；以及
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)。
在(S01)直线向前行驶的情况下，在显示单元上仅显示俯视图像101和行驶方向图像(前方图像)102F，如上面参照图15描述的。
在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
同样，在(S02)直线向后行驶(直线后退)的情况下，在显示单元上仅显示俯视图像101和行驶方向图像(后方图像)102B，如上面参照图14描述的。
同样，在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
在(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)的情况下，在显示单元上显示三个图像，即俯视图像101、行驶方向图像(后方图像)102B和车辆侧面侧图像(左侧图像)103L，如上面参照图10描述的。
在这种情况下，车辆前部在左方向上移动。车辆侧面侧图像(左侧图像)103L是示出了在该移动方向上的视图的图像。该图像显示在俯视图像101的左前区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)103L是车辆的左前侧的图像的图像布局。
应该注意，车辆侧面侧图像(左侧图像)103L包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
在(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)的情况下，在显示单元上显示三个图像，即俯视图像101、行驶方向图像(后方图像)102B和车辆侧面侧图像(右侧图像)103R，如上面参照图12描述的。
在这种情况下，车辆前部在右方向上移动。车辆侧面侧图像(右侧图像)103R是示出了在该移动方向上的视图的图像。该图像显示在俯视图像101的右前区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(右侧图像)103R是车辆的右前侧的图像的图像布局。
应该注意，车辆侧面侧图像(右侧图像)103R包括车辆本身的右侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
图17所示的四个图像显示示例是取决于车辆状态的代表性图像的显示示例。
例如，在图17所示的以下车辆状态下显示俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(左/右侧图像)，即：
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)，以及
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)。按照取决于方向盘的转动角度的方式来改变这些图。
进一步地，也按照取决于方向盘的转动角度的方式来顺序地更新指示汽车的行驶方向或者移动方向的引导线(在相应图像中示出)。
汽车内部的图像处理设备顺序地输入车辆信息(诸如方向盘的转动角度和汽车速度信息)，基于这种输入的信息计算汽车的行驶方向或者移动方向，并且执行各个图像中示出的引导线的绘制处理或者更新处理。
[4.关于显示单元上的其它图像显示示例]
接下来，将描述用于显示单元的其它图像显示示例。
[4-1.其它图像显示示例1]
在上面参照图17描述的示例中，描述的是在通过向左或者向右转动方向盘而后退的情况下，即在图17所示的以下设置中的任何一种设置中：
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)；以及
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)，
显示以下三种类型的图像的示例：
(a)俯视图像；
(b)行驶方向图像(后方图像)；以及
(c)车辆侧面侧图像(左/右侧图像)。
然而，没必要将这三种类型的图像都显示在显示单元上。可以采用以下配置：仅显示这三种类型的图像中的任何一个图像或者它们的任何两个相组合的图像。
图18是在以下设置中：
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)；以及
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)，
不显示(a)俯视图像，
而仅显示以下两种图像的示例：
(b)行驶方向图像(后方图像)；以及
(c)车辆侧面侧图像(左/右侧图像)。
图18的(1)是在“方向盘向右转动向后行驶(逆时针地(向左)后退)”中显示图像的示例。
在显示单元上，车辆侧面侧图像(左侧图像)显示在显示单元的左侧上对应于车辆的向前移动方向的位置处，并且行驶方向图像(后方图像)显示在右侧。
图18的(2)是在“方向盘向左转动向后行驶(顺时针地(向右)后退)”中显示图像的示例。
在显示单元上，车辆侧面侧图像(右侧图像)显示在显示单元的右侧上对应于车辆的向前移动方向的位置处，并且行驶方向图像(后方图像)显示在左侧。
用于省略俯视图像的显示并且仅显示如上所描述的行驶方向图像(后方图像)和车辆侧面侧图像(左/右侧图像)的设置以及用于显示其它图像的组合或者仅显示一个图像的设置也都是可能的。
[4-2.其它图像显示示例2]
将应用于上面提到的图像显示示例的显示单元100设置为在水平方向上较长。
车辆中安装的显示单元不限于在水平方向上较长的设置并且可以被设置为在垂直方向上较长。
例如，如图19所示，在垂直方向上较长的显示单元100设置在汽车的仪表板的使驾驶者能够检查到的位置处。
图20中示出了在图19所示的在垂直方向上较长的显示单元100上的图像显示示例。
图20示出了在以下两种车辆状态下的显示示例，作为在垂直方向上较长的显示单元100上的图像显示示例：
(1)方向盘向右转动向后行驶(逆时针地(向左)后退)；以及
(2)方向盘向左转动向后行驶(顺时针地(向右)后退)。
(1)方向盘向右转动向后行驶(逆时针地(向左)后退)
在该车辆状态的情况下，在显示单元100上显示三个图像：俯视图像101、行驶方向图像(后方图像)102B、和车辆侧面侧图像(左侧图像)103L，如图20的(1)所示。
俯视图像101和车辆侧面侧图像(左侧图像)103L显示在显示单元的上部区域中，并且行驶方向图像(后方图像)102B显示在下部区域中。
车辆侧面侧图像(左侧图像)103L显示在俯视图像101的左前区域中。该显示图像布局是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)103L是车辆的左前侧的图像的图像布局。
应该注意，车辆侧面侧图像(左侧图像)103L包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
(2)方向盘向左转动向后行驶(顺时针地(向右)后退)
在该车辆状态的情况下，在显示单元100上显示三个图像：俯视图像101、行驶方向图像(后方图像)102B、和车辆侧面侧图像(右侧图像)103R，如图20的(2)所示。
俯视图像101和车辆侧面侧图像(右侧图像)103R显示在显示单元的上部区域中，并且行驶方向图像(后方图像)102B显示在下部区域中。
车辆侧面侧图像(右侧图像)103R显示在俯视图像101的右前区域中。该显示图像布局是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)103L是车辆的左前侧的图像的图像布局。
应该注意，车辆侧面侧图像(右侧图像)103R包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
图21是在垂直方向上较长的显示单元100上的另一显示示例并且是示出了与图20的图像显示示例不同的图像显示示例的图。
与在图20中一样，图21示出了在以下两种车辆状态下的显示示例：
(1)方向盘向右转动向后行驶(逆时针地(向左)后退)；以及
(2)方向盘向左转动向后行驶(顺时针地(向右)后退)。
(1)方向盘向右转动向后行驶(逆时针地(向左)后退)
在该车辆状态的情况下，如图21的(1)中示出的，在显示单元100上显示三个图像：俯视图像100、行驶方向图像(后方图像)102B、和车辆侧面侧图像(左侧图像)103L。
俯视图像101显示在显示单元的上部区域中并且车辆侧面侧图像(左侧图像)103L重叠地显示在俯视图像101的车辆区域的左前区域中。行驶方向图像(后方图像)102B显示在下部区域中。
图21中示出的示例是将车辆侧面侧图像(左侧图像)103L重叠和显示在俯视图像101的车辆区域上的示例。
利用该显示图像，驾驶者可以更无疑地检查在车辆的移动方向上是否存在障碍物。
该示例将车辆侧面侧图像(左侧图像)103L重叠和显示在俯视图像101的车辆区域的左前部分上，并且是使得可以向驾驶者通知必须注意该位置这一事实的图像。
(2)方向盘向左转动向后行驶(顺时针地(向右)后退)
在该车辆状态的情况下，在显示单元100上显示三个图像：俯视图像101、行驶方向图像(后方图像)102B、和车辆侧面侧图像(右侧图像)103R，如图21的(2)所示。
俯视图像101显示在显示单元的上部区域中并且车辆侧面侧图像(右侧图像)103R重叠地显示在俯视图像101的车辆区域的右前区域中。行驶方向图像(后方图像)102B显示在下部区域中。
图21的(2)中示出的示例将车辆侧面侧图像(右侧图像)103R重叠和显示在俯视图像101的车辆区域的右前部分上，并且是使得可以向驾驶者通知必须注意该位置这一事实的图像。
[5.关于其它实施例]
接下来，将描述上面提到的实施例的修改示例。
在上面提到的实施例中，将参照图17描述的显示模式的切换偏移配置为通过检测车辆信息，诸如，由于倒挡而在车辆的行驶方向上的状态、行驶方向确定状态、和转向方向，例如，并且利用该检测到的信息来执行。
这种显示模式切换可以配置为执行根据操作者的按钮操作的循环切换、根据通过触摸面板对期望要显示在俯视图像上的布置位置的操作的切换、以及根据通过手势进行的方向指示操作等的显示模式的切换。
进一步地，在上面的实施例中已经描述了在显示单元上显示车辆前侧面侧图像以及示出了在车辆后退时在车辆行驶方向上(在车辆的后方)的视图的图像。然而，当车辆向前行驶时，也有利地采用显示车辆后侧面侧图像的配置。
通过执行这种显示处理，如果通过转动方向盘在前方向上行驶的情况下，可以使驾驶者检查在车辆后面的左或者右方向上的障碍物。
将参照图22和图23描述当车辆向前行驶时在通过转动方向盘使车辆发生弯曲的同时向前行驶的情况下显示单元100的显示图像的示例。
图22示出了在通过向左转动车辆的方向盘使车辆向前且逆时针地(向左)行驶的情况下显示单元100的显示图像的示例。
如图22所示，显示单元100的显示图像包括以下三种类型的图像：
(a)俯视图像101；
(b)行驶方向图像(前方图像)102F；以及
(c)车辆后侧面侧图像(左后侧图像)103Lb。
在图22所示的示例中，障碍物图像(物体图像)显示在俯视图像101中所示的车辆的左后侧。
然而，存在如下可能性：即使当驾驶者看到障碍物图像(物体图像)时，驾驶者也无法识别出该障碍物图像(物体图像)的形状和高度并且会判断不存在车辆撞击可能性。
(C)图22所示的车辆后侧面侧图像(左后侧图像)103Lb是车辆的左后侧的图像。
在通过向左侧转动方向盘来使车辆向前且逆时针地(向左)行驶的情况下，后车轮的轨迹被绘制在对应前车轮的轨迹内部。即，在使车辆前部通过的同时，使车辆后部转动。结果，存在如下可能性：车辆的左表面在车辆后部处碰到或者撞到障碍物，在车辆前部处不会碰到。
即，生成由于在转动时前后内车轮所沿的轨迹之间的差异(内车轮差异)而导致的在车辆前部的轨迹与后部的轨迹之间的差异。
图22所示的车辆后侧面侧图像(左后侧图像)103Lb是示出了由于该内车轮差异而存在碰撞可能性的位置处的视图的图像，即，示出了车辆要移动的方向的图像。该图像显示在显示单元上。
图22所示的车辆后侧面侧图像(左后侧图像)103Lb包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线112(引导线)。
通过观看图22所示的车辆后侧面侧图像(左后侧图像)103Lb和车辆移动方向显示线，驾驶者可以准确地掌握在车辆的移动方向上存在什么障碍物以及该障碍物的高度和离车辆的距离并且可以准确地做出有关车辆撞击可能性的判断。
在图22所示的车辆后侧面侧图像(左后侧图像)103Lb中，清楚地显示了障碍物图像(物体图像)。驾驶者可以无疑地识别到在车辆左侧存在车辆能碰到或者撞到的障碍物。
因此，驾驶者可以停止使车辆行驶，对方向盘等执行操作，改变车辆行驶方向以避开障碍物，并且使车辆安全地行驶。
应该注意，在图22所示的显示单元100的三个图像的布局中，采用将车辆后侧面侧图像(左后侧图像)103Lb显示在俯视图像101的左后区域中的设置。
其是使观看显示单元100的驾驶者易于直观地掌握车辆后侧面侧图像(左后侧图像)103Lb是车辆的左后侧的图像的图像布局。
图23示出了在通过向右转动车辆的方向盘使车辆向前且顺时针地(向右)行驶的情况下显示单元100的显示图像的示例。
如图23所示，显示单元100的显示图像包括以下三种类型的图像：(a)俯视图像101；
(b)行驶方向图像(前方图像)102F；以及
(c)车辆后侧面侧图像(右后侧图像)103Rb。
在图23所示的示例中，障碍物图像(物体图像)显示在俯视图像101中所示的车辆的右后侧。
然而，存在如下可能性：即使当驾驶者看到障碍物图像(物体图像)时，驾驶者也无法识别出该障碍物图像(物体图像)的形状和高度并且会判断不存在车辆撞击可能性。
(C)图23所示的车辆侧面侧图像(右后侧图像)103Rb是车辆的右后侧的图像。
在通过向右侧转动方向盘来使车辆向前且顺时针地(向右)行驶的情况下，后车轮的轨迹被绘制在对应前车轮的轨迹内部。
即，在使车辆前部通过的同时，使车辆后部转动。结果，存在如下可能性：车辆的右表面在车辆后部处碰到或者撞到障碍物，在车辆前部处不会碰到。
即，生成由于内车轮差异而导致的在车辆前部的轨迹与后部的轨迹之间的差异。
图23所示的车辆后侧面侧图像(右后侧图像)103Rb是示出了由于该内车轮差异而存在碰撞可能性的位置处的视图的图像，即，示出了车辆要移动的方向的图像。该图像显示在显示单元上。
图23所示的车辆后侧面侧图像(右后侧图像)103Rb包括车辆本身的右侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线112(引导线)。
通过观看图23所示的车辆后侧面侧图像(右后侧图像)103Rb和车辆移动方向显示线，驾驶者可以准确地掌握在车辆的移动方向上存在什么障碍物以及该障碍物的高度和离车辆的距离并且可以准确地做出有关车辆撞击可能性的判断。
在图23所示的车辆后侧面侧图像(右后侧图像)103Rb中，清楚地显示了障碍物图像(物体图像)。驾驶者可以无疑地识别到在车辆右侧存在车辆能碰到或者撞到的障碍物。
因此，驾驶者可以停止使车辆行驶，对方向盘等执行操作，改变车辆行驶方向以避开障碍物，并且使车辆安全地行驶。
应该注意，在图23所示的显示单元100的三个图像的布局中，采用将车辆后侧面侧图像(右后侧图像)103Rb显示在俯视图像101的右后区域中的设置。
其是使观看显示单元100的驾驶者易于直观地掌握车辆后侧面侧图像(右后侧图像)103Lb是车辆的右后侧的图像的图像布局。
根据车辆的移动方向来切换要在显示单元100上显示的图像。车辆内部的图像处理设备输入车辆信息，具体地，车辆的移动方向(向前行驶或者向后行驶)、方向盘的转动方向、转动角度信息等，并且根据这种车辆信息执行显示单元100的显示图像的切换处理。
将参照图24描述显示单元100的显示图像的偏移示例。
图24示出了在以下六种车辆状态中显示单元的显示图像示例：
(S01)直线向前行驶；
(S02)直线向后行驶(直线后退)；
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)；
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)；
(S05)方向盘向左转动向前行驶(逆时针地向前行驶)；以及
(S06)方向盘向右转动向前行驶(逆时针地向前行驶)。
在(S01)直线向前行驶的情况下，在显示单元上仅显示俯视图像和行驶方向图像(前方图像)。
在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
同样，在(S02)直线向后行驶(直线后退)的情况下，在显示单元上仅显示俯视图像和行驶方向图像(后方图像)。
同样，在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
在(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)的情况下，在显示单元上显示三个图像，即俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(左侧图像)。
在这种情况下，车辆前部在左方向上移动。车辆侧面侧图像(左侧图像)是示出了在该移动方向上的视图的图像。该图像显示在俯视图像的左前区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)是车辆的左前侧的图像的图像布局。
应该注意，车辆侧面侧图像(左侧图像)包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
在(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)的情况下，在显示单元上显示三个图像，即俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(右侧图像)。
在这种情况下，车辆前部在右方向上移动。车辆侧面侧图像(右侧图像)是示出了在该移动方向上的视图的图像。该图像显示在俯视图像的右前区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(右侧图像)是车辆的右前侧的图像的图像布局。
应该注意，车辆侧面侧图像(右侧图像)包括车辆本身的右侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
在(S05)方向盘向左转动向前行驶(逆时针地向前行驶)的情况下，在显示单元上显示三个图像，即俯视图像、行驶方向图像(前方图像)和车辆侧面侧图像(左侧图像)。
在这种情况下，车辆后部在左方向上移动。车辆侧面侧图像(左侧图像)是示出了在该移动方向上的视图的图像。该图像显示在俯视图像的左后区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(左侧图像)是车辆的左后侧的图像的图像布局。
应该注意，车辆侧面侧图像(左侧图像)包括车辆本身的左侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
在(S06)方向盘向右转动向前行驶(顺时针地向前行驶)的情况下，在显示单元上显示三个图像，即俯视图像、行驶方向图像(前方图像)和车辆侧面侧图像(右侧图像)。
在这种情况下，车辆后部在右方向上移动。车辆侧面侧图像(右侧图像)是示出了在该移动方向上的视图的图像。该图像显示在俯视图像的右后区域中。其是使观看显示单元100的驾驶者易于直观地掌握车辆侧面侧图像(右侧图像)是车辆的右后侧的图像的图像布局。
应该注意，车辆侧面侧图像(右侧图像)包括车辆本身的右侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。
图24所示的这六个图像显示示例是取决于车辆状态的代表性图像的显示示例。
例如，在图24所示的以下车辆状态下显示俯视图像、行驶方向图像(后/前方图像)和车辆侧面侧图像(左/右侧图像)，即：
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)，
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)，
(S05)方向盘向左转动向前行驶(逆时针地向前行驶)，以及
(S06)方向盘向右转动向前行驶(逆时针地向前行驶)。按照取决于方向盘的转动角度的方式来改变这些图。
进一步地，也按照取决于方向盘的转动角度的方式来顺序地更新指示汽车的行驶方向或者移动方向的引导线(在相应图像中示出)。
汽车内部的图像处理设备顺序地输入车辆信息(诸如方向盘的转动角度和汽车速度信息)，基于这种输入的信息计算汽车的行驶方向或者移动方向，并且执行各个图像中示出的引导线的绘制处理或者更新处理。
应该注意，在如图24所示的(S05)或者(S06)中一样向前行驶的同时使车辆转动的情况下，可以进行以下设置。在这种设置中，关于车辆侧面侧图像(左/右侧图像)，在低速行驶期间或者在从开始出发过去某个时间为止显示后车轮的附近区域的水平向后和向下图像，并且，对应于摄像头监测系统模式(CMS)的图像，即，在高于某个速度的高速度下行驶期间或者在开始出发过去某个时间之后具有后视镜的视角的合法显示范围。
图25中示出了列举了参照图24描述的(S1)至(S6)的图像显示模式的表。
如图25所示，
在(S01)直线向前行驶的情况下，显示俯视图像和行驶方向图像(前方图像)。在(S02)直线向后行驶(直线后退)的情况下，显示俯视图像和行驶方向图像(后方图像)。在(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)的情况下，显示俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(左前侧图像)。
在(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)的情况下，显示俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(右前侧图像)。
在(S05)方向盘向左转动向前行驶(逆时针地向前行驶)的情况下，显示俯视图像、行驶方向图像(前方图像)和车辆侧面侧图像(左后侧图像)。
在(S06)方向盘向右转动向前行驶(逆时针地向前行驶)的情况下，显示俯视图像、行驶方向图像(前方图像)和车辆侧面侧图像(右后侧图像)。
应该注意，如在图25中的字段“侧面侧图像的显示模式”中所示，在车辆向前行驶的情况下，通过将由于内车轮差异而存在涉及碰撞风险的区域用作半中心投影的后向图像来显示侧面侧图像。
进一步地，在车辆向后行驶(后退)的情况下，通过将由于外车轮差异而存在涉及碰撞风险的区域用作半中心投影的后向图像来显示侧面侧图像。
应该注意，可以将从广角摄像头所拍摄的图像剪切出来的图像用作侧面侧图像，并且有利的是，将该图像转换成具有较少失真的中心投影方法的图像(比如，眼睛直接观察到的图像)并且显示该图像。
进一步地，上面的实施例中已经描述了将垂直侧面侧图像的显示位置设置为布置在俯视图像的左侧和右侧的示例。然而，对于图像的显示位置，可以进行各种设置。
例如，虽然可以由图像处理单元唯一地确定车辆侧面侧上的画面的详细布置，但操作者可以被允许细微地调节这种布置，同时，考虑到具体的特性(诸如车辆类型以及内车轮差异和外车轮差异特点)以及操作者在虚拟检查等中的习惯，维持最方便识别的子画面的位置和可以直观地理解该调节的情况。另一方面，对于由于特定驾驶者的检查习惯而使进入汽车的不同操作者会错误地识别目视检查位置的布置，可以提供警告或者可以禁止布置调节。
另外，可以采用车辆包括周围障碍物识别处理和移动物体识别处理的执行单元的配置。进一步地，可以采用如下配置：根据来自这些处理执行单元的输入，在显示图像上显示警告标记，闪烁地显示指示障碍物区域或者主体区域的画面框，并且显示沿着画面框的浓淡流图案，并且输出声音警报。
[6.关于图像处理设备的配置示例]
接下来，将参照图26描述要安装在车辆中的图像处理设备的配置示例。
图26是示出了执行根据上面提到的实施例的处理的图像处理设备200的配置示例的图。
如图26所示，图像处理设备200包括图像处理单元201、摄像头F 202F、摄像头L202L、摄像头R 202R、摄像头B 202B、显示控制单元203、显示单元204、输入单元205、车辆信息获取单元206、存储单元207和控制单元210。
摄像头F 202F对应于设置在图2所示的车辆10的前表面上的摄像头F21。
摄像头L 202L对应于设置在图2所示的车辆10的左表面上的摄像头L22。
摄像头R 202R对应于设置在图2所示的车辆10的右表面上的摄像头R23。
摄像头B 202B对应于设置在图2所示的车辆10的背表面上的摄像头B24。
这些摄像头都是包括广角镜头(诸如鱼眼镜头)的摄像头，例如，并且按照预定帧速率对移动图像执行拍摄并且将拍摄的图像输出至图像处理单元201。
应该注意，这种摄像头设置示例是示例，并且可以采用，例如，包括用于拍摄车辆的后部以及相应的车辆侧面侧(左侧和右侧)的专用普通摄像头和广角摄像头的配置。
同样，在包括这些摄像头的情况下，将这些摄像头所拍摄的图像都输入到图像处理单元201中。
图像处理单元201输入在车辆上安装的摄像头所拍摄的图像，并且生成并输出要在显示单元204上显示的图像。要生成的图像是参照图10和其它图描述的以下相应图像，例如：
(a)俯视图像101；
(b)行驶方向图像(后方图像)102B；以及
(c)车辆侧面侧图像(左/右侧图像)103L/R。
图像处理单元201通过对例如摄像头F 202F至摄像头B 202B所拍摄的相应图像执行俯视转换来生成四个俯视图像，并且进一步生成要显示的俯视图像，作为组合了这四个图像的合成图像，要显示的俯视图像是示出了从车辆上方观察到的视图并且具有被设置在中心处的车辆的示意图的图像。
应该注意，车辆侧面侧图像(左/右侧图像)103L/R和行驶方向图像(后方图像)102B由图像处理单元201对摄像头F 202F至摄像头B 202B所拍摄的图像执行图像校正处理(诸如俯视转换)和图像剪切处理而生成。
经由显示控制单元203将图像处理单元201生成的图像显示在显示单元204上。
显示控制单元203对要显示在例如显示单元204上的以下相应图像执行布置控制等，即：
(a)俯视图像101，
(b)行驶方向图像(后方图像)102B，以及
(c)车辆侧面侧图像(左/右侧图像)103L/R。
例如，执行的是显示控制处理，在该显示控制处理中，当显示车辆侧面侧图像(左侧图像)103L时，将车辆侧面侧图像(左侧图像)103L布置且显示在俯视图像101的左上方，并且当显示车辆侧面侧图像(右侧图像)103R时，将车辆侧面侧图像(右侧图像)103R布置且相似在俯视图像101的右上方。
图像处理单元201进一步执行生成和绘制要重叠地显示在以下相应图像上的指示车辆移动方向的箭头等的引导线的处理、更新引导线的处理等：
(a)俯视图像101；
(b)行驶方向图像(后方图像)102B；以及
(c)车辆侧面侧图像(左/右侧图像)103L/R。
经由控制单元210将车辆信息和其它输入信息输入至图像处理单元201或者显示控制单元203。
输入单元205包括，例如，用于输入用户的输入信息的开关、各种键、触摸面板等，并且能够根据例如集成有显示单元204的触摸面板的操作执行处理，诸如显示图像的移动和放大。
显示控制单元203根据从输入单元205输入的信息执行图像的显示控制。例如，执行图像的放大、图像大小的减小、图像显示位置的改变等。应该注意，输入单元205可以配置为包括操作者的手势识别单元的输入单元。进一步地，可以使用高级输入系统，诸如，头部运动和手部手势识别、使用了另一飞行时间传感器(TOF传感器)、立体摄像头、和图像的手势分析处理等等。
车辆信息获取单元206获取关于车辆的各种类型的车辆信息，诸如，车辆的速度、行驶方向、方向盘设置信息等。
经由控制单元210将这种车辆信息输入至图像处理单元201或者显示控制单元203。
例如，控制单元210根据存储单元207中存储的程序执行各种类型的数据处理。
具体地，例如，输入由车辆信息获取单元206获取的关于车辆的各种类型的车辆信息，诸如，车辆的速度、行驶方向、方向盘设置信息等。确定待由图像处理单元201生成的图像的图像模式。进一步地，显示控制单元202执行关于要设置的图像布局模式的确定处理等。
另外，执行对线位置、形状等的计算处理等，以便设置要绘制在图像处理单元201生成的图像中的指示汽车移动方向的引导线。
这种计算处理是提前根据存储单元207中存储的算法程序来执行的。
图像处理单元201和显示控制单元203输入控制单元210的计算结果并且根据输入的信息执行图像的生成和显示控制。
存储单元207存储关于要在控制单元210、图像处理单元201、显示控制单元203等处执行的数据处理的程序、参数等。另外，存储单元207被用作各个数据处理单元的工作区。具体地，存储单元207包括RAM、ROM等。
例如，如上面参照图17、图24和图25所描述的，图像处理单元201和显示控制单元203控制要输出至显示单元204的显示图像的配置和布置，构成该显示图像，并且按照取决于车辆状态是以下状态中的哪一种状态的方式将其输出至显示单元204，即，车辆处于：
(S01)直线向前行驶；
(S02)直线向后行驶(直线后退)；
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)；
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)；
(S05)方向盘向左转动向前行驶(逆时针地向前行驶)；以及
(S06)方向盘向右转动向前行驶(逆时针地向前行驶)。
例如，在车辆处于(S01)直线向前行驶或者(S02)直线向后行驶(直线后退)的情况下，在显示单元上仅显示俯视图像和行驶方向图像(后方图像)，如上所述。
在这种情况下，车辆不在左右方向上移动，并且即使在车辆的左侧或者右侧存在障碍物，也不存在车辆会碰到或者撞到障碍物的可能性。因此，不执行左侧图像和右侧图像的显示处理。
另一方面，在车辆状态是以下中的一种的情况下：
(S03)方向盘向右转动向后行驶(逆时针地(向左)后退)，或者
(S04)方向盘向左转动向后行驶(顺时针地(向右)后退)，
在显示单元上显示三个图像：俯视图像、行驶方向图像(后方图像)和车辆侧面侧图像(左/右前侧图像)，如上所述。
在这种情况下，车辆前部在左或者右方向上移动。
在车辆前部在左方向上移动的情况下，车辆侧面侧图像(左前侧图像)显示在俯视图像的左前区域中。
在车辆前部在右方向上移动的情况下，车辆侧面侧图像(右前侧图像)显示在俯视图像的右前区域中。
通过执行这种显示处理，变得可以合适地向驾驶显示单元100的驾驶者呈现驾驶者应该注意的车辆位置和该位置的障碍物信息。
应该注意，车辆侧面侧图像(左/右侧图像)包括车辆本身的侧面侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。利用这些图像，驾驶者可以准确地掌握障碍物的存在/不存在以及离障碍物的距离，并且可以使车辆安全地行驶。
另一方面，在车辆状态是以下中的一种的情况下：
(S05)方向盘向左转动向前行驶(逆时针地向前行驶)，或者
(S06)方向盘向右转动向前行驶(逆时针地向前行驶)，
在显示单元上显示三个图像：俯视图像、行驶方向图像(前方图像)和车辆侧面侧图像(左/右后侧图像)，如上所述。
在这种情况下，车辆后部在左或者右方向上移动。
在车辆后部在左方向上移动的情况下，车辆侧面侧图像(左后侧图像)显示在俯视图像的左后区域中。
在车辆后部在右方向上移动的情况下，车辆侧面侧图像(右后侧图像)显示在俯视图像的右后区域中。
通过这种显示处理，变得可以合适地向驾驶显示单元100的驾驶者呈现驾驶者应该注意的车辆位置和该位置的障碍物信息。
应该注意，车辆侧面侧图像(左/右后侧图像)包括车辆本身的侧面侧图像，并且进一步显示了指示车辆的移动方向的车辆移动方向显示线。利用这些图像，驾驶者可以准确地掌握障碍物的存在/不存在以及离障碍物的距离，并且可以使车辆安全地行驶。
按照这种方式，本公开的图像处理设备输入由拍摄车辆周围环境的摄像头所拍摄的图像，基于输入的图像生成俯视图像、车辆行驶方向图像、和对应于车辆移动方向(其是车辆的左侧或者右侧)的车辆侧面侧图像，并且将生成的图像显示在显示单元上。例如，根据车辆的行驶方向和方向盘的旋转方向信息生成或者更新显示图像。在车辆逆时针后退的情况下，生成并且显示俯视图像、车辆后方图像、和车辆左侧图像。在车辆顺时针后退的情况下，生成并且显示俯视图像、车辆后方图像、和车辆右侧图像。
利用这种图像显示处理，实现了有关车辆周围环境的信息的可见性得到提高的图像显示。
[7.本公开的配置的总结]
已经参照具体实施例详细描述了本公开的而实施例。然而，明显的是，在不脱离本公开的主旨的情况下，本领域的技术人员可以进行本实施例的修改和更换。即，本文仅以图示的目的描述了本公开，并且不应该排他地理解本公开。为了确定本公开的主旨，应该将随附权利要求书纳入考虑。
应该注意，本说明书中公开的技术可以采用以下配置。
(1)一种图像处理设备，其包括：
图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，其中
图像处理单元：
接收拍摄车辆周围环境的摄像头所拍摄的图像，
基于接收到的拍摄图像，生成：
车辆行驶方向图像，以及
对应于车辆移动方向的车辆侧面侧图像，该车辆移动方向是车辆的左侧或者右侧，并且
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元。
(2)根据(1)的图像处理设备，其中
图像处理单元：基于摄像头所拍摄的图像，进一步生成俯视图像，该俯视图像是示出了从车辆上方或者从车辆斜上方观察到的视图的虚拟图像，并且
使显示单元同时连同车辆行驶方向图像和车辆侧面图像一起显示生成的俯视图像。
(3)根据(1)或者(2)的图像处理设备，其中
图像处理单元：
接收车辆信息，该车辆信息包括有关至少车辆的行驶方向或者方向盘的旋转方向的信息，并且根据接收到的车辆信息生成或者更新显示图像。
(4)根据(3)的图像处理设备，其中
图像处理单元：
接收方向盘的旋转方向信息作为车辆信息，并且根据接收到的方向盘的旋转方向信息生成或者更新显示图像。
(5)根据(4)的图像处理设备，其中
图像处理单元：
按照取决于方向盘的旋转方向信息是指示右旋转还是左旋转的方式，使得车辆左侧图像或者车辆右侧图像被选择性地显示作为车辆侧面侧图像。
(6)根据(5)的图像处理设备，其中
图像处理单元：
接收车辆的行驶方向信息和方向盘的旋转方向信息作为车辆信息，并且如果基于车辆的行驶方向信息和方向盘的旋转方向信息确定车辆向后且逆时针地行驶，
则生成车辆后方图像作为车辆行驶方向图像，
生成车辆左侧图像作为车辆侧面侧图像，并且
使显示单元显示生成的车辆后方图像和生成的车辆左侧图像。
(7)根据(6)的图像处理设备，其中
图像处理单元：基于摄像头所拍摄的图像，进一步生成俯视图像，该俯视图像是示出了从车辆上方观察到的视图的虚拟图像，并且
在车辆左侧图像被设置在俯视图像的左侧且与车辆的行驶方向相对的一侧上的状态下，使显示单元显示车辆左侧图像。
(8)根据(5)的图像处理设备，其中
图像处理单元：
接收车辆的行驶方向信息和方向盘的旋转方向信息作为车辆信息，并且如果基于车辆的行驶方向信息和方向盘的旋转方向信息确定车辆向后且顺时针地行驶，
则生成车辆后方图像作为车辆行驶方向图像，
生成车辆右侧图像作为车辆侧面侧图像，并且
使显示单元显示生成的车辆后方图像和生成的车辆右侧图像。
(9)根据(8)的图像处理设备，其中
图像处理单元：基于摄像头所拍摄的图像，进一步生成俯视图像，该俯视图像是示出了从车辆上方观察到的视图的虚拟图像，并且
在车辆右侧图像被设置在俯视图像的右侧且与车辆的行驶方向相对的一侧上的状态下，使显示单元显示车辆右侧图像。
(10)根据(1)至(9)中任一项的图像处理装置，其中，
图像处理单元：
生成车辆侧面侧图像，从而使车辆自身的侧面区域图像被包括在车辆侧面侧图像中。
(11)根据(1)至(10)中任一项的图像处理装置，其中，
图像处理单元：
生成车辆侧面侧图像，在该车辆侧面侧图像中，基于摄像头所拍摄的图像将指示车辆的移动方向的引导线、指示在道路空间中车辆主体的最外部分的掠过空间的引导线、或者车轮轨迹引导线中的至少任何一个重叠在生成的图像上。
(12)根据(2)的图像处理设备，其中
图像处理单元：
将警告碰撞风险的指示重叠在车辆行驶方向图像、车辆侧面侧图像、或者俯视图像中的至少任何一个上。
(13)根据(1)至(12)中任一项的图像处理装置，其中，
车辆行驶方向图像包括车辆自身的端部区域图像。
(14)根据(1)至(13)中任一项的图像处理装置，其中，
图像处理单元：基于摄像头所拍摄的图像，进一步生成俯视图像，该俯视图像是示出了从车辆上方或者从车辆斜上方观察到的视图的虚拟图像，并且
当车辆侧面侧图像被重叠在生成的俯视图上时，使显示单元显示车辆侧面侧图像。
(15)一种待由图像处理设备执行的图像处理方法，该图像处理设备包括图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，该图像处理方法包括：
通过图像处理单元，
接收拍摄车辆周围环境的摄像头所拍摄的图像，
基于接收到的拍摄图像，生成车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像，该车辆移动方向是车辆的左侧或者右侧；并且
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元。
(16)一种使图像处理在图像处理设备中被执行的程序，该图像处理设备包括图像处理单元，该图像处理单元针对显示单元生成显示图像，该显示图像可被车辆操作者从视觉上识别出来，该程序使图像处理单元执行：
接收拍摄车辆周围环境的摄像头所拍摄的图像的处理；
基于接收到的拍摄图像生成车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像的处理，该车辆移动方向是车辆的左侧或者右侧；以及
将生成的车辆行驶方向图像和生成的车辆侧面侧图像输出至显示单元的处理。
进一步地，可以通过硬件、软件、或者它们的组合配置来执行本文描述的一系列处理。当通过软件来执行处理时，可以将其中记录有处理序列的程序安装在嵌入专用硬件中的计算机内的存储器中并且执行，或者可以将程序安装在可以执行各种类型的处理的通用计算机中并且执行。例如，可以提前将程序记录在记录介质中。不仅可以将程序从记录介质安装到计算机，也可以经由网络(诸如，局域网(LAN)或者互联网)接收程序并且将其安装在记录介质(诸如，内置硬盘)中。
应该注意，可以按照本描述的顺序按照时间先后顺序来执行本文描述的各种类型的处理，或者可以按照取决于执行处理的装置的处理能力的方式或者按照取决于需要的方式以并行的或者单独的方式执行本文描述的各种类型的处理。进一步地，本文阐释的术语“系统”是多个设备的逻辑复杂配置并且具有相应配置的设备并不一定设置在相同的外壳中。
工业实用性
如上面描述的，根据本公开的实施例的配置，实现了一种有关车辆周围环境的信息的可见性得到提高的图像显示的图像处理设备。具体地，例如，输入拍摄车辆周围环境的摄像头所拍摄的图像。基于输入的图像，生成俯视图像、车辆行驶方向图像和对应于车辆移动方向的车辆侧面侧图像，该车辆移动方向是车辆的左侧或者右侧。将生成的所述图像显示在显示单元上。例如，根据车辆的行驶方向和方向盘的旋转方向信息生成或者更新显示图像。在车辆逆时针后退的情况下，生成并且显示俯视图像、车辆后方图像、和车辆左侧图像。在车辆顺时针后退的情况下，生成并且显示俯视图像、车辆后方图像、和车辆右侧图像。
利用该配置，实现了实现有关车辆周围环境的信息的可见性得到提高的图像显示的图像处理设备。
附图标记列表
1 显示单元
2 俯视图像
3 行驶方向图像
10 车辆
21至24 摄像头
30 广角摄像头
31 要拍摄的物体
41 车辆
42 障碍物
42a 障碍物图像
101 俯视图像
102 行驶方向图像
103 车辆侧面侧图像
111a 障碍物图像
112 车辆移动方向显示线
113 车辆侧面侧图像
114 车辆保险杠图像
201 图像处理单元
202 摄像头
203 显示控制单元
204 显示单元
205 输入单元
206 车辆信息获取单元
207 存储单元
210 控制单元。

Claims (15)

1.一种图像处理设备，其包括：
图像处理单元，所述图像处理单元针对显示单元生成显示图像，所述显示图像可被车辆操作者从视觉上识别出来，其中
所述图像处理单元被配置为：
接收拍摄车辆周围环境的摄像头所拍摄的图像；
接收车辆信息，所述车辆信息包括所述车辆的方向盘的旋转方向以及所述车辆的行驶方向信息，其中所述车辆的所述方向盘的旋转方向指示所述车辆是顺时针方向行驶还是逆时针方向行驶；
基于接收到的所拍摄的图像，生成车辆行驶方向图像、车辆侧面侧图像、俯视图像以及障碍物的物体图像，其中
所述车辆侧面侧图像对应于向所述车辆的左侧或者右侧的车辆移动方向，并且
所述俯视图像是示出了在垂直方向或者相对于所述车辆的倾斜横向方向上从所述车辆上方观察到的视图的虚拟图像；
生成被配置为显示车辆主体的最外部分与所述物体图像中的所述障碍物之间的掠过空间的虚拟图像，其中该虚拟图像是在所述车辆侧面侧图像指示在所述障碍物与车辆前方部分之间存在碰撞可能性的情况下生成的；
在所述车辆侧面侧图像指示在所述障碍物的特定区域与所述车辆前方部分之间存在碰撞可能性的情况下，生成障碍物局部区域图像；
在所述物体图像中的所述障碍物的所述特定区域处，将所生成的障碍物局部区域图像重叠在所述物体图像上；
基于所述车辆的所述方向盘的旋转方向以及所述车辆的行驶方向信息来确定所述俯视图像和所述车辆侧面侧图像在所述显示单元上的显示位置，其中基于顺时针方向行驶的所述显示位置不同于基于逆时针方向行驶的所述显示位置；以及
基于所确定的所述显示位置，控制所述显示单元同时显示所述俯视图像、所述车辆行驶方向图像以及所述车辆侧面侧图像，其中所述车辆侧面侧图像包括：
所述物体图像，在所述物体图像上重叠有所生成的障碍物局部区域图像；以及
所述虚拟图像，包括所述掠过空间。
2.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
根据接收到的所述车辆信息生成或者更新所述俯视图像、所述车辆行驶方向图像以及所述车辆侧面侧图像。
3.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
根据所述方向盘的所述旋转方向生成或者更新所述俯视图像、所述车辆行驶方向图像以及所述车辆侧面侧图像。
4.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
基于所述方向盘的所述旋转方向，控制所述显示单元选择性地显示车辆左侧图像或者车辆右侧图像作为所述车辆侧面侧图像。
5.根据权利要求4所述的图像处理设备，其中
所述图像处理单元还被配置为：
基于所述车辆的所述行驶方向信息和所述方向盘的所述旋转方向，确定所述车辆向后且逆时针方向行驶，
基于所述确定，生成车辆后方图像作为所述车辆行驶方向图像，
基于所述确定，生成所述车辆左侧图像作为所述车辆侧面侧图像，并且
控制所述显示单元显示生成的所述车辆后方图像和生成的所述车辆左侧图像。
6.根据权利要求5所述的图像处理设备，其中
所述图像处理单元被配置为
控制所述显示单元将所述车辆左侧图像显示在所述俯视图像的左侧。
7.根据权利要求4所述的图像处理设备，其中
所述图像处理单元还被配置为：
基于所述车辆的所述行驶方向信息和所述方向盘的所述旋转方向，确定所述车辆向后且顺时针方向行驶，
基于所述确定，生成车辆后方图像作为所述车辆行驶方向图像，
基于所述确定，生成所述车辆右侧图像作为所述车辆侧面侧图像，并且
控制所述显示单元显示生成的所述车辆后方图像和生成的所述车辆右侧图像。
8.根据权利要求7所述的图像处理设备，其中，
所述图像处理单元还被配置为
控制所述显示单元将所述车辆右侧图像显示在所述俯视图像的右侧。
9.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
生成所述车辆侧面侧图像，从而使所述车辆自身的侧面区域图像被包括在所述车辆侧面侧图像中。
10.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
生成所述车辆侧面侧图像，从而将指示所述车辆的所述车辆移动方向的引导线重叠在所生成的所述车辆侧面侧图像上。
11.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
将警告碰撞风险的指示重叠在所述车辆行驶方向图像、所述车辆侧面侧图像、或者所述俯视图像中的至少一个上。
12.根据权利要求1所述的图像处理设备，其中
所述车辆行驶方向图像还包括所述车辆自身的端部区域图像。
13.根据权利要求1所述的图像处理设备，其中
所述图像处理单元还被配置为
将所述车辆侧面侧图像重叠在所述俯视图像上。
14.一种图像处理方法，其由图像处理设备执行，所述图像处理设备包括图像处理单元，所述图像处理单元针对显示单元生成显示图像，所述显示图像可被车辆操作者从视觉上识别出来，所述图像处理方法包括：
通过所述图像处理单元，
接收拍摄车辆周围环境的摄像头所拍摄的图像，
接收车辆信息，所述车辆信息包括所述车辆的方向盘的旋转方向以及所述车辆的行驶方向信息，其中所述车辆的所述方向盘的旋转方向指示所述车辆是顺时针方向行驶还是逆时针方向行驶；
基于接收到的所拍摄的图像，生成车辆行驶方向图像、车辆侧面侧图像、俯视图像以及障碍物的物体图像，其中
所述车辆侧面侧图像对应于向所述车辆的左侧或者右侧的车辆移动方向，并且
所述俯视图像是示出了在垂直方向或者相对于所述车辆的倾斜横向方向上从所述车辆上方观察到的视图的虚拟图像；
生成被配置为显示车辆主体的最外部分与所述物体图像中的所述障碍物之间的掠过空间的虚拟图像，其中该虚拟图像是在所述车辆侧面侧图像指示在所述障碍物与车辆前方部分之间存在碰撞可能性的情况下生成的；
在所述车辆侧面侧图像指示在所述障碍物的特定区域与所述车辆前方部分之间存在碰撞可能性的情况下，生成障碍物局部区域图像；
在所述物体图像中的所述障碍物的所述特定区域处，将所生成的障碍物局部区域图像重叠在所述物体图像上；
基于所述车辆的所述方向盘的旋转方向以及所述车辆的行驶方向信息来确定所述俯视图像和所述车辆侧面侧图像在所述显示单元上的显示位置，其中基于顺时针方向行驶的所述显示位置不同于基于逆时针方向行驶的所述显示位置；以及
基于所确定的所述显示位置，控制所述显示单元同时显示所述俯视图像、所述车辆行驶方向图像以及所述车辆侧面侧图像，其中所述车辆侧面侧图像包括：
所述物体图像，在所述物体图像上重叠有所生成的障碍物局部区域图像；以及
所述虚拟图像，包括所述掠过空间。
15.一种存储有程序的非暂时性计算机可读介质，该程序使图像处理在图像处理设备中被执行，所述图像处理设备包括图像处理单元，所述图像处理单元针对显示单元生成显示图像，所述显示图像可被车辆操作者从视觉上识别出来，所述程序使所述图像处理单元执行如下处理：
接收拍摄车辆周围环境的摄像头所拍摄的图像，
接收车辆信息，所述车辆信息包括所述车辆的方向盘的旋转方向以及所述车辆的行驶方向信息，其中所述车辆的所述方向盘的旋转方向指示所述车辆是顺时针方向行驶还是逆时针方向行驶；
基于接收到的所拍摄的图像，生成车辆行驶方向图像、车辆侧面侧图像、俯视图像以及障碍物的物体图像，其中
所述车辆侧面侧图像对应于向所述车辆的左侧或者右侧的车辆移动方向，并且
所述俯视图像是示出了在垂直方向或者相对于所述车辆的倾斜横向方向上从所述车辆上方观察到的视图的虚拟图像；
生成被配置为显示车辆主体的最外部分与所述物体图像中的所述障碍物之间的掠过空间的虚拟图像，其中该虚拟图像是在所述车辆侧面侧图像指示在所述障碍物与车辆前方部分之间存在碰撞可能性的情况下生成的；
在所述车辆侧面侧图像指示在所述障碍物的特定区域与所述车辆前方部分之间存在碰撞可能性的情况下，生成障碍物局部区域图像；
在所述物体图像中的所述障碍物的所述特定区域处，将所生成的障碍物局部区域图像重叠在所述物体图像上；
基于所述车辆的所述方向盘的旋转方向以及所述车辆的行驶方向信息来确定所述俯视图像和所述车辆侧面侧图像在所述显示单元上的显示位置，其中基于顺时针方向行驶的所述显示位置不同于基于逆时针方向行驶的所述显示位置；以及
基于所确定的所述显示位置，控制所述显示装置同时显示所述俯视图像、所述车辆行驶方向图像以及所述车辆侧面侧图像，其中所述车辆侧面侧图像包括：
所述物体图像，在所述物体图像上重叠有所生成的障碍物局部区域图像；以及
所述虚拟图像，包括所述掠过空间。
CN201780050402.4A 2016-08-22 2017-07-21 图像处理设备、图像处理方法、以及程序 Active CN109691088B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016161826 2016-08-22
JP2016-161826 2016-08-22
PCT/JP2017/026413 WO2018037789A1 (ja) 2016-08-22 2017-07-21 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN109691088A CN109691088A (zh) 2019-04-26
CN109691088B true CN109691088B (zh) 2022-04-15

Family

ID=61245845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050402.4A Active CN109691088B (zh) 2016-08-22 2017-07-21 图像处理设备、图像处理方法、以及程序

Country Status (3)

Country Link
US (1) US11528413B2 (zh)
CN (1) CN109691088B (zh)
WO (1) WO2018037789A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
US20190098226A1 (en) * 2017-09-26 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Smart field of view (fov) adjustment for a rearview display system in a motor vehicle
US10965866B2 (en) * 2018-03-20 2021-03-30 Panasonic Intellectual Property Management Co., Ltd. Image generation system, image display system, image generation method, and moving vehicle
JP7154817B2 (ja) * 2018-05-07 2022-10-18 フォルシアクラリオン・エレクトロニクス株式会社 画像出力装置、画像出力システム及び画像出力装置の制御方法
EP3793191A4 (en) * 2018-05-08 2021-04-14 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM
US11128764B2 (en) * 2018-05-17 2021-09-21 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory computer readable medium
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
US11902496B2 (en) * 2018-12-05 2024-02-13 Fotonation Limited Depth sensing camera system
KR20210100608A (ko) * 2018-12-11 2021-08-17 소니그룹주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
CN110901527A (zh) * 2019-11-29 2020-03-24 长城汽车股份有限公司 一种车辆报警方法和装置
JP6920407B2 (ja) * 2019-12-13 2021-08-18 本田技研工業株式会社 運転支援システム
JP2021101515A (ja) * 2019-12-24 2021-07-08 株式会社Ｊｖｃケンウッド 表示装置、表示方法及び表示プログラム
CN112046470A (zh) * 2020-07-29 2020-12-08 北汽福田汽车股份有限公司 控制后视图像显示的方法、装置、介质、控制器及车辆
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN113276768B (zh) * 2021-04-21 2023-04-07 上海阅瞳科技有限公司 泊车辅助装置及方法
JP2023023175A (ja) * 2021-08-04 2023-02-16 トヨタ自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019804A (ja) * 2005-07-07 2007-01-25 Nissan Motor Co Ltd 車両周辺表示装置及び方法
CN101489117A (zh) * 2005-06-07 2009-07-22 日产自动车株式会社 图像显示装置和方法
WO2012043184A1 (ja) * 2010-09-28 2012-04-05 アイシン精機株式会社 駐車支援装置
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN103101496A (zh) * 2011-11-14 2013-05-15 现代摩比斯株式会社 利用图像的泊车引导系统及该泊车引导方法
CN104517096A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 环景监视系统的图像处理方法和系统
CN105580358A (zh) * 2013-09-27 2016-05-11 日产自动车株式会社 信息提示系统

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4723703B2 (ja) 1999-06-25 2011-07-13 富士通テン株式会社 車両の運転支援装置
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
JP3803021B2 (ja) * 2000-10-02 2006-08-02 松下電器産業株式会社 運転支援装置
US20030137586A1 (en) * 2002-01-22 2003-07-24 Infinite Innovations, Inc. Vehicle video switching system and method
US20060061008A1 (en) * 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
US10144353B2 (en) * 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
JP2005339313A (ja) 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
JP4615980B2 (ja) * 2004-12-07 2011-01-19 株式会社ホンダロック 車両の視界補助装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP4847051B2 (ja) * 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
JP2007124097A (ja) * 2005-10-26 2007-05-17 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
CN100578148C (zh) * 2007-05-25 2010-01-06 财团法人车辆研究测试中心 一种防车侧碰撞警示装置的检测方法
US8340870B2 (en) 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
EP2168815B1 (en) 2008-09-24 2014-06-04 Robert Bosch GmbH Method and device for detecting possibly colliding objects in a blind spot area
JP2011051403A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 駐車支援装置
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
US8655579B2 (en) * 2010-03-16 2014-02-18 Toyota Jidosha Kabushiki Kaisha Driving assistance device
JP5454934B2 (ja) 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP2012166689A (ja) * 2011-02-15 2012-09-06 Panasonic Corp 運転支援装置
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US20140285666A1 (en) * 2011-11-01 2014-09-25 Magna Mirrors Of America, Inc. Vision system with door mounted exterior mirror and display
JP5938222B2 (ja) * 2012-02-07 2016-06-22 日立建機株式会社 運搬車両の周囲監視装置
JP5696679B2 (ja) 2012-03-23 2015-04-08 富士通株式会社 半導体装置
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置
SE536586C2 (sv) * 2012-07-02 2014-03-11 Scania Cv Ab Anordning och förfarande för att bedöma olycksrisk vid framförande av ett fordon
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9815409B2 (en) * 2013-05-09 2017-11-14 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
GB2518187A (en) 2013-09-12 2015-03-18 Ford Global Tech Llc Collision warning for a driver controlled vehicle
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
JP6232994B2 (ja) 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
JP6361986B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
US20170374287A1 (en) * 2016-06-23 2017-12-28 Werner Lang System for Visually Depicting Fields of View of a Commercial Vehicle
EP3389026A1 (en) * 2017-04-12 2018-10-17 Volvo Car Corporation Apparatus and method for road vehicle driver assistance
US10899385B2 (en) * 2017-10-23 2021-01-26 Magna Electronics Inc. Vehicle and trailer backup guidance system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489117A (zh) * 2005-06-07 2009-07-22 日产自动车株式会社 图像显示装置和方法
JP2007019804A (ja) * 2005-07-07 2007-01-25 Nissan Motor Co Ltd 車両周辺表示装置及び方法
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
WO2012043184A1 (ja) * 2010-09-28 2012-04-05 アイシン精機株式会社 駐車支援装置
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN103101496A (zh) * 2011-11-14 2013-05-15 现代摩比斯株式会社 利用图像的泊车引导系统及该泊车引导方法
CN105580358A (zh) * 2013-09-27 2016-05-11 日产自动车株式会社 信息提示系统
CN104517096A (zh) * 2013-10-08 2015-04-15 现代自动车株式会社 环景监视系统的图像处理方法和系统

Also Published As

Publication number Publication date
WO2018037789A1 (ja) 2018-03-01
US20190174060A1 (en) 2019-06-06
US11528413B2 (en) 2022-12-13
CN109691088A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109691088B (zh) 图像处理设备、图像处理方法、以及程序
KR101354068B1 (ko) 차량주변화상생성장치
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7069548B2 (ja) 周辺監視装置
JP5914013B2 (ja) 運転支援装置
WO2007015446A1 (ja) 車両周囲監視装置及び車両周囲監視方法
US10703275B2 (en) Image generation apparatus
JP2004240480A (ja) 運転支援装置
WO2018070298A1 (ja) 表示制御装置
CN108473090B (zh) 用于示出车辆的后向的外部区域的方法
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US11601621B2 (en) Vehicular display system
JP6730613B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP4192680B2 (ja) 移動体周辺監視装置
JP2010028432A (ja) 駐車支援装置および画像表示方法
JP2020088697A (ja) 周辺監視装置
WO2018061261A1 (ja) 表示制御装置
JP2021013072A (ja) 画像処理装置および画像処理方法
JP2006238131A (ja) 車両周辺監視装置
US20200193183A1 (en) Periphery monitoring device
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
CN110945866B (zh) 车辆周边图像显示装置及车辆周边图像显示方法
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Sony Corp.

Address before: Japan's Tokyo port harbor 1-7-1

Applicant before: Sony Corp.

GR01 Patent grant
GR01 Patent grant