CN102474595B - 图像产生设备和图像显示系统 - Google Patents

图像产生设备和图像显示系统 Download PDF

Info

Publication number
CN102474595B
CN102474595B CN201080029901.3A CN201080029901A CN102474595B CN 102474595 B CN102474595 B CN 102474595B CN 201080029901 A CN201080029901 A CN 201080029901A CN 102474595 B CN102474595 B CN 102474595B
Authority
CN
China
Prior art keywords
vehicle
image
composograph
display
generating device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080029901.3A
Other languages
English (en)
Other versions
CN102474595A (zh
Inventor
尾崎行辅
大野恭裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102474595A publication Critical patent/CN102474595A/zh
Application granted granted Critical
Publication of CN102474595B publication Critical patent/CN102474595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

当在车辆行驶速度低于预定阈值的情况下显示周边图像时，可以无需切换显示模式地向用户提供车辆周边所需区域的状况。在图像显示系统中，当车辆(9)的行驶速度变得低于预定阈值并且模式改变到前方模式(M1)时，在前方模式(M1)开始时，使用高适用性的前方/侧面模式(M11)，其中可以同时显示车辆(9)的前方区域和侧面区域。在前方/侧面模式(M11)中呈现的屏幕可以对应于各种设想的状态，比如当车辆接近十字路口、靠近另一车辆通过、向路边移动等的时候，等等，从而，用户无需切换显示模式就可以确认车辆(9)周边的所需区域的状况。

Description

图像产生设备和图像显示系统
技术领域
本发明涉及用于产生要在安装于车辆上的显示设备上显示的图像的技术。
背景技术
相关技术的图像产生设备安装在比如轿车之类的车辆上，并且借助于车载摄像机来产生车辆周边的图像。在图像产生设备中产生的图像被显示在车辆内部的显示器上。通过这种方式，几乎实时地为驾驶员提供车辆周边的图像。
例如，驾驶员座位另一侧的前挡板外侧区域很容易看不到。因而，通过车载摄像机进行图像拍摄来产生显示前挡板外侧区域的图像，并将该图像显示在车辆内部的显示器上。因此，在朝路边移动车辆或其它情况下，驾驶员能够容易地监视驾驶员座位另一侧的车体与障碍物之间的空隙。
专利文献1公开了一种设备，其用于通过使用借助于多个车载摄像机拍摄车辆周边的图像而得到的多个拍摄图像来产生一个合成图像，并且将该合成图像提供给驾驶员，其中该合成图像显示了从车辆正上方或后方的虚拟视点观看到的车辆的周边。
相关技术
专利文献
专利文献1：日本专利公开No.3300334
发明内容
本发明要解决的问题
在需要专门监视车辆周边来进行驾驶操作的大多数情况下，比如接近十字路口、靠近另一车辆通过、和朝路边移动车辆，此时驾驶员减小车辆的行驶速度。如果车辆的行驶速度降到预定的阈值以下，驾驶员需要监视车辆的周边。因此，考虑将显示车辆周边的周边图像自动显示在车辆内部的显示器上。
但是，需要驾驶员专门监视的车辆周边区域取决于驾驶员减小车辆行驶速度的情况而不同。例如，当接近十字路口时，驾驶员需要专门监视车辆的前方区域。当靠近另一车辆通过或者朝路边移动车辆时，驾驶员需要专门监视车辆的侧面区域。
因此，当车辆的行驶速度降到预定阈值以下时，如果显示模式无条件地切换到用于仅显示前方区域或仅显示侧面区域的显示模式，则可能显示了与驾驶员想监视的区域不同的区域。例如，在驾驶员试图接近十字路口的情况下，需要监视车辆的前方区域。然而，可能存在显示模式自动切换到用于显示车辆侧面区域的显示模式的情况。在该情况下，驾驶员应当将该显示模式切换到用于显示前方区域的显示模式。在需要专门监视车辆周边的情况下改变显示模式会使得操作复杂并且不方便。
已经考虑到上述情况而做出了本发明，本发明的一个目的是提供一种这样的技术，当在车辆行驶速度降到预定阈值以下的情况中显示周边图像时，其无需切换显示模式地为用户提供所需的车辆周围区域的状况。
解决问题的手段
本发明的目的通过下述构造来实现。
(1)一种图像产生设备，其产生要在车辆上安装的显示设备上显示的图像，所述图像产生设备包括：获取部件，其获取车辆的行驶速度；显示控制部件，其在行驶速度低于第一阈值时使显示设备对示出车辆周边的图像进行显示；和模式切换部件，其响应于用户操作来将用于使显示设备显示图像的显示模式切换到从多个显示模式当中选出的一个显示模式，所述多个显示模式彼此不同，其中，所述模式切换部件在行驶速度下降到低于第一阈值时将显示模式切换到用于使显示设备对包括彼此并列的第一图像和第二图像的图像进行显示的特定显示模式，并且所述显示控制部件开始使显示设备显示该图像，所述第一图像示出车辆的前方区域，所述第二图像示出车辆的侧面区域。
(2)如(1)所述的图像产生设备，还包括产生部件，其基于由多个摄像机拍摄的车辆周边的多个图像来产生示出从虚拟视点观看的车辆和车辆周边的合成图像，其中第二图像是由所述产生部件产生的合成图像。
(3)如(2)所述的图像产生设备，还包括输入部件，其输入车辆的驾驶员作出的方向指示，其中当所述输入部件输入了方向指示时，所述产生部件产生这样的合成图像作为第二图像：其中由方向指示所指示的车辆的一个侧面区域的显示尺寸大于车辆的另一个侧面区域的显示尺寸。
(4)如(3)所述的图像产生设备，其中当所述输入部件从行驶速度下降到低于第一阈值之时输入方向指示时，产生部件产生这样的合成图像作为第二图像：其中由方向指示所指示的车辆的一个侧面区域的显示尺寸大于车辆的另一个侧面区域的显示尺寸，并且，所述显示控制部件开始使所述显示设备显示该合成图像。
(5)如(2)至(4)中任一个所述的图像产生设备，其中所述产生部件在所述图像产生设备启用期间的任何时刻都产生合成图像。
(6)如(2)至(4)中任一个所述的图像产生设备，其中所述产生部件仅在使显示设备显示合成图像时产生合成图像。
(7)如(2)至(4)中任一个所述的图像产生设备，其中所述产生部件在行驶速度下降到低于第二阈值时产生合成图像，其中第二阈值比第一阈值高。
(8)如(1)至(7)中任一个所述的图像产生设备，其中除所述特定显示模式以外的其它显示模式是用于使显示设备对仅示出车辆前方区域和车辆侧面区域中之一的图像进行显示的显示模式。
(9)一种安装于车辆上的图像显示系统，所述图像显示系统包括：如上述(2)至(8)中任一个所述的图像产生设备；和显示设备，其显示由所述图像产生设备产生的图像。
根据上述(1)至(9)中所述的构造，在行驶速度下降到第一阈值以下之时显示了一种特定显示模式，该模式同时显示车辆的前方区域和侧面区域并且具有高度普遍适用性，并且开始进行使显示设备显示周边图像的操作。因此，可以无需切换显示模式地向用户提供必要区域的状况。
根据上述(2)所述的构造，第二图像为产生部件产生的合成图像，从而可以提供从特定虚拟视点观看的车辆周边图像。因此，可以提供具有较高普遍适用性的信息。
根据上述(3)所述的构造，主要显示了驾驶员预期方向上的侧面区域，该区域中很可能存在车辆移动时可能与车辆接触的物体。因此，可以容易地发现可能与车辆接触的物体，从而可以有效避免轻微的车辆碰撞事故。
根据上述(4)所述的构造，从开始显示周边图像的操作之时起就主要地显示驾驶员预期的方向上的侧面区域。因此，可以快速发现可能与车辆接触的物体。
根据上述(5)所述的构造，在图像产生设备启用期间连续地产生合成图像。因此，可以在行驶速度下降到第一阈值以下时立即显示合成图像。
根据上述(6)所述的构造，仅在使得显示设备显示合成图像时产生合成图像，从而可以减小功耗。
根据上述(7)所述的构造，在行驶速度下降到第二阈值以下之时开始产生合成图像，从而可以减小功耗，并且在行驶速度下降到第一阈值以下时可以快速显示合成图像。
根据上述(8)所述的构造，除了具有高度普遍适用性的特定显示模式以外，还可以提供适用于各种驾驶状况的显示模式。
附图说明
图1是示出图像显示系统的构造的框图。
图2是示出在车辆上的车载摄像机的位置的示图。
图3是用于说明产生合成图像的方法的示图。
图4是示出图像显示系统的操作模式的转换的示图。
图5是示出在前方模式下的显示模式的转换的示图。
图6是示出前方/侧面模式的屏幕的一个示例的示图。
图7是用于说明在前方/侧面模式下呈现的视野范围的示图。
图8是用于说明在靠近通过模式下呈现的视野范围的示图。
图9是用于说明在侧面摄像机模式下呈现的视野范围的示图。
图10是示出在实施例1中的图像显示系统的基本操作的流程的示图。
图11是示出在前方/侧面模式下的屏幕状态转换的示图。
图12是示出虚拟视点的位置的转换的示图。
图13是示出在实施例2中的图像显示系统的基本操作的流程的示图。
图14是示出在实施例3中的图像显示系统的基本操作的流程的示图。
具体实施方式
下面将参照附图描述本发明的实施例。
<1.实施例1>
<1-1.构造>
图1是示出实施例1的图像显示系统100的构造的框图。图像显示系统100安装在车辆上(在实施例1中为一辆轿车)，并且具有拍摄该车辆周边的图像以产生周边图像并将该图像显示在车辆内部的功能。使用该图像显示系统100的用户(以驾驶员作为代表性示例)通过使用该图像显示系统100能够容易地监视车辆的周边。
如图1所示，图像显示系统100包括拍摄车辆周边的图像的图像拍摄部件5、产生示出车辆周边的周边图像的图像产生设备10、和向操作该车辆的用户提供各种信息的导航设备20。图像产生设备10由具有图像产生功能的ECU(电子控制单元)构成，并被设置于车辆的预定位置处。
导航设备20为用户提供航行指引。导航设备20包括诸如具有触摸板功能的液晶屏之类的显示器21、由用户操作的操作部件22、和对该设备进行整体控制的控制部件23。导航设备20设置于车辆的仪表板上，以使得用户可以看见显示器21的屏幕。来自用户的各种指令由操作部件22和作为触摸板的显示器21所接收。控制部件23由配备了CPU、RAM、ROM等的计算机构成。CPU根据预定程序执行计算处理，使得执行包括导航功能在内的各种功能。
导航设备20可通信地连接到图像产生设备10，并且能够与图像产生设备10进行对各种控制信号的发送和接收，或者能够接收在图像产生设备10中产生的周边图像。在正常情况下，显示器21在控制部件23的控制之下基于作为独立单元的导航设备20的功能来显示图像。不过，在预定条件下，显示器21对图像产生设备10中产生的周边图像进行显示以示出车辆的周边。因此，导航设备20还用作对图像产生设备10中产生的周边图像进行接收并显示所述图像的显示设备。
图像拍摄部件5电连接到图像产生设备10并基于来自图像产生设备10的信号而操作。图像拍摄部件5包括车载摄像机，即前方摄像机51、侧面摄像机52和后方摄像机53。车载摄像机51、52和53包括镜头和图像拍摄元件，并电子地获取图像。
图2是示出车载摄像机51、52和53在车辆9上的位置的示图。如图2所示，前方摄像机51设置于车辆9前端处的车号牌的位置附近。前方摄像机51的光轴51a指向车辆9的前进方向。侧面摄像机52分别设置于左门镜和右门镜93上。侧面摄像机52的光轴52a与前进方向正交地指向车辆9的外侧方向。后方摄像机53设置于车辆9后端处的车号牌的位置附近。后方摄像机53的光轴53a指向车辆9的前进方向的反方向。前方摄像机51或者后方摄像机53优选地设置于基本处在左右方向的中央，但是也可以定位于朝左方或右方稍微偏离左右方向的中央。
对于车载摄像机51、52和53的镜头，可以采用鱼眼镜头或其它镜头。车载摄像机51、52和53具有至少180°的视角α。因此，如果使用了四个车载摄像机51、52和53，则可以拍摄车辆9的整个周边状况的图像。
回到图1，图像产生设备10包括整体地控制该设备的控制部件1、对图像拍摄部件5获取的拍摄图像执行处理并产生用于显示的周边图像的图像处理部件3、与导航设备20通信的导航通信部件42、和从用户接收指令以切换显示内容的切换开关43。
通过导航设备20的操作部件22或显示器21从用户接收的各种指令被导航通信部件42接收作为控制信号，并将其输入到控制部件1中。还从切换开关43将代表用户指令的信号输入到控制部件1中。因此，图像产生设备10可以执行操作以便既响应于用户对导航设备20的操作，又响应于用户对切换开关43的操作。
图像处理部件3由能够处理各种图像的硬件电路构成，并且包括作为主要功能的拍摄图像调节部件31和合成图像产生部件32。拍摄图像调节部件31对已经在图像拍摄部件5中获取的拍摄图像执行调节。拍摄图像调节部件31执行对拍摄图像的图像质量(比如亮度或对比度)的调节以及对图像的失真校正等等。合成图像产生部件32基于已经从图像拍摄部件5的多个车载摄像机51、52和53获取的多个拍摄图像来产生从车辆9周围的特定虚拟视点观看到的合成图像。将在下文中描述合成图像产生部件32如何产生从一个虚拟视点观看到的合成图像。在将拍摄图像或合成图像调节为用于显示的图像之后，通过导航通信部件42将此图像输出到导航设备20。通过这种方式，导航设备20的显示器21显示了示出车辆周边的周边图像。
控制部件1由配备了CPU、RAM、ROM等的计算机构成。CPU根据预定程序执行计算处理以便执行各种控制功能。如上所述而实现的控制部件1的功能包括对图像处理部件3所执行的图像处理进行控制的功能以及其它功能。通过控制部件1的功能来指示在合成图像产生部件32中产生合成图像所需的各种参数。
图像产生设备10还包括与控制部件1连接的非易失性存储器40、卡读取部件44和信号输入部件41。
非易失性存储器40由即使在断开电源时也能维持所存储内容的闪速存储器构成。非易失性存储器40预先存储了产生合成图像所需的各种数据。例如，非易失性存储器40预先存储了可以根据车辆9的车辆型号来应用的针对车辆型号的数据7。控制部件1控制对非易失性存储器40中存储的数据的读取或记录。
卡读取部件44读取存储卡61，存储卡是便携式读取介质。卡读取部件44具有插入存储卡61的卡插槽，并且对卡插槽中插入的存储卡61中记录的数据进行读取。由卡读取部件44所读取的数据被输入到控制部件1中。
存储卡61由能够存储各种数据的闪速存储器以及其它存储器构成。图像产生设备10可以使用存储在存储卡61中的各种数据。例如，存储卡61中存储了程序，并读取该程序，从而可以更新实现控制部件1的功能的程序(固件)。另外，在存储卡61中存储了与非易失性存储器40中存储的针对车辆型号的数据7不同的针对车辆型号的数据7，读取存储卡61中的该数据7以将所读取的数据7存储在非易失性存储器40中，从而可以将图像显示系统100应用于不同型号的车辆。
信号输入部件41输入来自提供于车辆9中的各种设备的信号。来自图像显示系统100外部的信号通过信号输入部件41输入到控制部件1。具体地，表示各种信息的信号从换档传感器81、车速传感器82、方向指示器83等输入到控制部件1。从换档传感器81输入了车辆9的变速箱中的变速杆的操作位置，即比如“P(停车)”、“D(驾驶)”、“N(空档)”、或“R(倒车)”的档位。从车速传感器82输入了车辆9当下的行驶速度(km/h)。
从方向指示器83输入了基于方向指示灯开关的操作的方向指示，即表示了车辆9的驾驶员所期望的方向指示的转向信号。当操作方向指示灯开关时，产生转向信号。转向信号表示所操作的方向(左方或右方)。当方向指示灯开关处在中间位置时，转向信号关闭。
<1-2.图像变换处理>
接下来将描述图像处理部件3的合成图像产生部件32如何基于已从图像拍摄部件5得到的多个拍摄图像来产生对从特定虚拟视点观看到的车辆9的周边进行显示的合成图像。当产生合成图像时，使用预先存储在非易失性存储器40中的针对车辆型号的数据7。图3是用于说明产生合成图像的方法的示图。
当拍摄部件5的前方摄像机51、侧面摄像机52和后方摄像机53同时拍摄图像时，获取了分别对车辆9的前方、左侧和右侧以及后方进行显示的四个拍摄图像P1至P4。即，从图像拍摄部件5获取的四个拍摄图像P1至P4包括了表示拍摄时刻车辆9的整体周边状况的信息。
此后，将四个拍摄图像P1至P4的每个像素投影到虚拟三维空间中的一个三维曲面SP上。例如，该三维曲面SP大致上为半球形(碗形)。三维曲面SP的中部(碗的底部)被设置为车辆9的位置。预先确定了拍摄图像P1至P4中包括的每个像素的位置与三维曲面SP的每个像素的位置之间的对应关系。因此，可以基于该对应关系和拍摄图像P1至P4中包括的每个像素的值来确定三维曲面SP的每个像素的值。
拍摄图像P1至P4中包括的每个像素的位置与三维曲面SP的每个像素的位置之间的对应关系取决于四个车载摄像机51、52和53在车辆9上的位置(相互之间的距离、离地面的高度、光轴、角度等)。相应地，在非易失性存储器40中存储的针对车辆型号的数据7中包括了表示该对应关系的表数据。
还使用了多边形数据，其表示车体的形状或尺寸并且包括在针对车辆型号的数据7中。以示出车辆9的三维形状的一个多边形模型来虚拟地构造出车辆图像。在设置了三维曲面SP的三维空间中，所构造的车辆图像布置在被设置为车辆9的位置的大致半球形(碗形)的中部。
由控制部件1对存在该三维曲面SP的三维空间设置一个虚拟视点VP。以视点位置和视野方向来定义虚拟视点VP，并且将该虚拟视点VP设置在三维空间中与车辆9的周边相对应的朝向特定视野方向的特定虚拟视点位置处。
根据所设置的虚拟视点VP，截取三维曲面SP上的必要区域作为图像。预先确定虚拟视点VP与三维曲面SP上的必要区域之间的关系，并将其作为表数据预先存储在非易失性存储器40等中。根据所设置的虚拟视点VP，执行对以多边形构造的车辆图像的呈现。从该呈现得到的二维车辆图像与已被截取的图像相重叠。从而，产生了示出从特定虚拟视点观看到的车辆9和车辆9的周边的合成图像。
例如，在设置虚拟视点VP1的情况下，其中该视点位置大致位于车辆9的位置的中央的正上方，并且视野方向大致朝向正下方，产生的合成图像CP1示出了在从车辆9的大致正上方向下看时的车辆9(实际上为车辆图像)和车辆9的周边。如同一附图所示，在设置了虚拟视点VP2的情况下，其中视点位置位于车辆9的左后方，并且视野方向大致朝向车辆9的前方，产生的合成图像CP2示出了在从车辆9的左后方观看车辆9的整个周边时的车辆9(实际上为车辆图像)和车辆9的周边。
当实际产生合成图像时，无需确定三维曲面SP的所有像素的值。基于所拍摄的图像P1至P4，仅需确定与所设置虚拟视点VP相对应的必要区域的像素的值，从而提高处理速度。
<1-3.操作模式>
下面将描述图像显示系统100的操作模式。图4是示出图像显示系统100的操作模式的转换的示图。在图像显示系统100中，操作模式在导航模式M0与前方模式M1之间自动切换。同时，图像显示系统100还可以包括后方模式作为操作模式，后方模式显示了当变速杆操作为“R”时示出车辆9的后方区域的周边图像。
导航模式M0是通过导航设备20的功能在显示器21上显示用于航行指引之类的地图图像的操作模式。在导航模式M0中，不使用图像拍摄部件5和图像产生设备10的功能。通过作为独立单元的导航设备20的功能来执行各种显示。因此，如果导航设备20具有接收和显示TV无线电广播的功能，则可以显示TV广播屏幕而不显示用于航行指引的地图图像。
前方模式M1是一种通过使用图像拍摄部件5和图像产生设备10的功能在显示器21上几乎实时地显示示出车辆9周边状况的周边图像的操作模式。在前方模式M1中，显示了示出车辆9行进时车辆9的前方或侧面区域的周边图像。
在导航模式M0中，当从车速传感器82输入的行驶速度降到预定阈值(在实施例1中为10km/h)以下时，在控制部件1的控制下，操作模式自动切换到前方模式M1。在前方模式M1中，当行驶速度至少达到预定阈值(在实施例1中为10km/h)时，在控制部件1的控制下，操作模式自动切换到导航模式M0。
如果车辆9的行驶速度相对较高，则释放前方模式M1，从而使得驾驶员能够专注于驾驶，并且操作模式变成导航模式M0。相反，如果车辆9的行驶速度相对较低，则很可能是驾驶员正在执行尤其需要监控车辆9周边的驾驶操作，例如接近视界有限的十字路口、靠近相向驶来的另一车辆而通过、或者朝路边移动车辆。因此，当行驶速度相对较低时，操作模式自动切换到主要示出车辆9的前方或侧面区域的前方模式M1。
另外，用于将导航模式M0切换到前方模式M1的阈值可以与用于将前方模式M1切换到导航模式M0的阈值不同。即使在用户已经作出了明确操作指令的情况下，也可以在导航模式M0与前方模式M1之间切换操作模式。
<1-4.前方模式>
接下来将描述在前方模式M1下的车辆9的周边的显示示象(aspect)。图5是示出在前方模式M1下的显示模式转换的示图。前方模式M1包括三个显示模式，即前方/侧面模式M11、靠近通过模式M12、和侧面摄像机模式M13。这些显示模式在显示示象上不同。每当用户按下切换开关43时，在控制部件1的控制下，以前方/侧面模式M11、靠近通过模式M12、和侧面摄像机模式M13的次序来切换显示模式。在侧面摄像机模式M13中，当按下切换开关43时，显示模式返回前方/侧面模式M11。
前方/侧面模式M11在显示器21上并排显示包含前方图像FP1和合成图像FP2的屏幕，前方图像FP1是从前方摄像机51所拍摄的图像得到的，合成图像FP2示出了从虚拟视点VP看到的车辆9的侧面区域。在前方/侧面模式M11中，在同一屏幕上显示了两个图像，即示出车辆9的前方区域的前方图像FP1和示出车辆9的侧面区域的合成图像FP2。
靠近通过模式M12在显示器21上显示了仅包含从虚拟视点VP观看到的一个合成图像FP3的屏幕。侧面摄像机模式M13在显示器21上显示了仅包含从侧面摄像机52所拍摄的图像得到的一个侧面图像FP4的屏幕。
<1-4-1.前方/侧面模式>
图6是示出了在前方/侧面模式M11中要在显示器21上示出的屏幕的一个示例的示图。如图6所示，在前方/侧面模式M11中的屏幕上，前方图像FP1位于上部，合成图像FP位于下部。前方图像FP1不是从虚拟视点VP观看到的合成图像，而是通过图像调节部件31将已经从在前方摄像机51进行图像拍摄而得到的拍摄图像调节为显示图像的方式所获得的显示图像。合成图像FP2是主要示出从车辆9的后方位置的虚拟视点VP朝向车辆9的前方观看到的车辆9的侧面区域的合成图像。
图7是用于说明在前方/侧面模式M11中呈现的车辆9周围的视野范围的示图。在图7中，由虚线表示的范围FV1是在前方图像FP1中呈现的视野范围。由双点划线表示的范围FV2是在合成图像FP2中呈现的视野范围。视野范围FV1和FV2在它们的边界处的区域A1彼此部分地重叠。
在前方图像FP1中，将车辆9的前方区域处的在左右方向上延伸并且具有180°水平角度的区域设置为视野范围FV1。用户观看前方图像FP1，从而他/她能够监视在车辆9的前方区域处在左右方向上延伸的区域中所出现的、当接近视界有限的十字路口时很容易看不到的物体。
在合成图像FP2中，包括了从车辆9前端的前方到车辆9后端的后方的车辆9左右侧区域、以及车辆9的后方区域的范围被设置为视野范围FV2。用户观看合成图像FP2，从而他/她能够监视在侧面区域或后方区域中出现的物体。视野范围FV2还包括从驾驶员座位容易看不到的区域，即在门镜93上看不到的前挡板94外侧附近的区域。
在前方/侧面模式M11中，用户无需切换屏幕就可以同时观看到视野范围FV1和FV2的两个图像FP1和FP2(见图6)。因此，用户可以同时监视车辆9的前方区域和侧面区域。
合成图像FP2的虚拟视点VP的视点位置被设置到车辆9的后方位置。视野方向被设置为车辆9的前方。因此，如图6所示，合成图像FP2示出了在从车辆9的后方位置向前方观看车辆9的状况下的车辆9的周边、以及车辆9的图像。由于前方图像FP1的视野方向、合成图像FP2的视野方向、和用户的视野方向大致相同，所以用户不会弄不清出现在显示器21的屏幕上的物体的朝向。用户无需作出诸如通过想象进行坐标转换之类的复杂思考，从而用户能够直观地识别显示器21上显示的物体与车辆9之间的位置关系。
<1-4-2.靠近通过模式>
回到图5，将描述靠近通过模式M12中的显示示象。靠近通过模式M12考虑了在狭窄道路上靠近相向驶来的车辆而通过的情况，并且是该情况下的指定显示模式。显示器21显示了仅包含合成图像FP3的屏幕。合成图像FP3的虚拟视点VP的视点位置被设置到车辆9的后端的正上方的位置。视野方向大致朝向车辆9的中央。因此，合成图像FP3示出了在从车辆9上方向下看车辆9时车辆9的左右侧区域。
图8是用于说明在靠近通过模式M12中呈现的车辆9周围的视野范围的示图。在图8中，由双点划线表示的范围FV3是合成图像FP3中呈现的视野范围。在合成图像FP3中，包括了从车辆9前端的前方到车辆9后端的后方的车辆9左右侧区域、以及车辆9的后方区域的范围被设置为视野范围FV3。
图7与图8的比较示出，合成图像FP3的视野范围FV3与前方/侧面模式M11中的合成图像FP2的视野范围FV2彼此类似。然而，与视野范围FV2相比，视野范围FV3向车辆9的前方延伸。包括在视野范围FV3中且处于视野范围FV2之外的区域包括在前方图像FP1的视野范围FV1中。即，靠近通过模式M12的视野范围FV3包括在前方/侧面模式M11的两个视野范围FV1和FV2之一中。
在狭窄道路上靠近相向驶来的车辆而通过等的情况下用户既需要监视与相向驶来的车辆之间的空隙，又需要监视车体与处于车辆侧面的物体之间的空隙。换句话说，从车辆9前端的前方到车辆9的后端的车辆9左右两侧均需要监视。另外，在靠近相向驶来的车辆而通过的情况下，不必监视前方/侧面模式M11的前方图像FP1中呈现的在车辆9的前方区域处向左右延伸的区域。在靠近通过模式M12中，显示器21显示了包括仅仅显示车辆9左右侧区域的合成图像FP3的屏幕，从而用户在靠近相向驶来的另一车辆而通过的情况下能够容易地监视他/她想要监视的区域。
<1-4-3.侧面摄像机模式>
回到图5，将描述侧面摄像机模式M13中的显示示象。侧面摄像机模式M13考虑了车辆向路边移动等情况，并且是在该情况下的指定显示模式。显示器21仅显示侧面图像FP4。
图9是用于说明在侧面摄像机模式M13中呈现的车辆9周围的视野范围的示图。在图9中，由双点划线表示的范围FV4是在合成图像FP2中呈现的视野范围。驾驶员座位(车辆9中的右侧)另一侧(车辆9中的左侧)的车辆9前挡板94的外侧区域被设置为视野范围FV4。侧面摄像机模式M13的视野范围FV4包括在图7所示的前方/侧面模式M11的合成图像FP2的视野范围FV2中。
在车辆向路边移动的情况下，需要监视向路边移动的车体与车辆侧面的物体之间的空隙。一般而言，驾驶员座位的另一侧向路边移动。驾驶员座位另一侧的侧面区域，尤其是车辆9的前挡板94的外侧区域很容易看不到。在侧面摄像机模式M13中，显示器21显示了包含仅示出驾驶员座位另一侧的前挡板94外侧区域的侧面图像FP4的屏幕。由于该区域被放大显示，所以用户在将车辆向路边移动的情况下能够容易地监视他/她需要监视的区域。
<1-5.基本操作>
如上所述，在靠近通过模式M12中，显示了仅包含对在靠近相向驶来的另一车辆而通过的情况下的指定侧面区域进行显示的一个周边图像的屏幕。在侧面摄像机模式M13中，显示了仅包含对在车辆向路边移动的情况下的指定侧面区域进行显示的一个周边图像的屏幕。
在前方/侧面模式M11中，显示了既包含示出车辆9前方区域的图像也包含示出车辆9侧面区域的图像的屏幕。换句话说，在前方/侧面模式M11中，可以同时监视车辆9的前方区域和侧面区域。在前方/侧面模式M11的两个视野范围FV1和FV2的任一个中，包括了靠近通过模式M12的视野范围FV3和侧面摄像机模式M13的视野范围FV4。因此，前方/侧面模式M11可以用于所有情况，比如接近十字路口、靠近另一车辆而通过、和向路边移动车辆。换句话说，前方/侧面模式M11是提供了在其它显示模式中最大视野范围的显示模式，具有最大普遍适用性。
如上所述，在图像显示系统100中，当减小行驶速度时，操作模式自动切换到前方模式M1。在该情况下，驾驶员预期的状况可能是接近十字路口、靠近另一车辆而通过、和向路边移动车辆中的任一种。在图像显示系统100中，为了响应于任何状况，在车辆9的行驶速度下降到预定阈值以下时，将显示模式切换到前方/侧面模式M11以用于显示彼此并列的前方图像FP1和合成图像FP2，并且开始使导航设备20显示周边图像。在行驶速度减小从而操作模式自动切换到前方模式M1并且开始显示周边图像的操作之后，紧接着显示模式就变成具有高度普遍适用性的前方/侧面模式M11。即，显示模式从开始显示周边图像操作的时刻起就变成前方/侧面模式M11。
下面将描述图像显示系统100的操作。通过ACC开关从车辆9中配备的电池向图像显示系统100供电。当ACC开关开启从而进行供电时，图像显示系统100启用。当ACC开关关闭时，图像显示系统100停止。图10是示出在图像显示系统100启用期间图像显示系统100的基本操作的流程的示图。
当图像显示系统100启用时，控制部件1执行各种起动处理。例如，在起动处理中，从非易失性存储器40读取针对车辆型号的数据7并将其存储在控制部件1的RAM中，从而该数据处于可用于后续处理的状态下(S11)。
当完成起动处理时，控制部件1持续监视车辆9的行驶速度(S12)。当车辆9的行驶速度至少为10km/h时(S12中的否)，操作模式在控制部件1的控制之下变成导航模式M0，并且通过作为独立单元的导航设备20的功能来在显示器21上执行各种显示(S13)。
当车辆9的行驶速度低于10km/h时(S12中的是)，操作模式在控制部件1的控制之下变成前方模式M1，并且此时合成图像产生部件32开始产生合成图像(S14)。此后，在直到车辆9的行驶速度达到至少10km/h之前(S19中为否的期间)，都执行在显示器21上显示示出车辆9周边的周边图像，从而几乎实时地向用户(以驾驶员作为代表性示例)提供车辆9的周边状况。
在车辆9的行驶速度下降到10km/h以下从而操作模式变成前方模式M1之后，紧接着，在控制部件1的控制下显示模式被设置为具有高度普遍适用性的前方/侧面模式M11(S15)。因此，从开始前方模式M1的时刻起，显示模式就变成前方/侧面模式M11，从而显示器21同时显示车辆的前方区域和侧面区域。
在前方模式M1中，当按下切换开关43时(S17中的是)，在控制部件1的控制下以前方/侧面模式M11、靠近通过模式M12、和侧面摄像机模式M13的次序来切换显示模式(S18)。因此，用户通过使用具有高度普遍适用性的前方/侧面模式M11来监视他/她想要监视的区域。如果用户想看他/她预期状况下指定的屏幕，则用户按下切换开关43来将显示模式切换到靠近通过模式M12或侧面摄像机模式M13。
在前方模式M1中，当车辆9的行驶速度达到至少10km/h时(S19中的是)，合成图像产生部件32停止产生合成图像(S20)。处理返回S12以再次监视车辆9的行驶速度是否下降到10km/h以下。
如上所述，在图像显示系统100中，在车辆9的行驶速度下降到预定阈值以下从而操作模式变成前方模式M1，并且开始进行显示周边图像的操作以后，紧接着，显示模式就变成前方/侧面模式M11，其能够同时显示车辆9的前方区域和侧面区域，并且具有高度普遍适用性。即，显示模式从开始前方模式M1的时刻起就变成前方/侧面模式M11。在前方/侧面模式M11中呈现的屏幕可以响应于各种状况，比如接近十字路口、靠近另一车辆而通过、和向路边移动车辆。因此，用户无需切换显示模式就可以监视车辆9周围的必要区域的状况。
<1-6.方向指示器装置的操作的交互>
在前方/侧面模式M11中，响应于驾驶员对方向指示器83的方向指示灯开关的操作，合成图像FP2的虚拟视点VP的视点位置在控制部件1的控制下移动。
图11是示出在前方/侧面模式M11中的屏幕状态转换的示图。图12是示出虚拟视点VP的位置转换的示图。如果从方向指示器83输入的转向信号关闭，即没有方向指示，则将虚拟视点VP的视点位置设置为大致处在车辆9后方的左右方向的中央的位置VPC(参见图12)，并且视野方向被设置为车辆9的前方。因此，如图11的状态STC所示，产生的合成图像FP2大致相等地包括车辆9的左侧区域和右侧区域。
如果从方向指示器83输入的转向信号开启，即存在方向指示，则虚拟视点VP的视点位置移动到由转向信号所指示的方向的位置，在该状态下视野方向朝向车辆9的前方。
具体地，如果转向信号指示左方，则虚拟视点VP的视点位置设置为车辆9的左侧的位置VPL(参见图12)。因此，如图11的状态STL所示，产生了示出由转向信号所指示的左方的侧面区域的尺寸大于右方的侧面区域的尺寸的合成图像，并将其显示在显示器21上。在该情况下，合成图像FP2还示出在从车辆9的后方位置向车辆9的前方观看车辆9的状态下的车辆9的周边。
如果转向信号指示右方，则虚拟视点VP的视点位置设置为车辆9的右侧的位置VPR(参见图12)。因此，如图11的状态STR中所示，产生了示出由方向指示器83的转向信号所指示的右方的侧面区域的尺寸大于左方的侧面区域的尺寸的合成图像FP2，并将其显示在显示器21上。在该情况下，合成图像FP2还示出在从车辆9的后方位置向车辆9的前方观看车辆9的状态下的车辆9的周边。
在由方向指示器83所指示的方向上，很可能存在当车辆9改变方向移动或朝路边移动之时可能接触到的物体。主要显示由方向指示器83所指示的方向上的侧面区域，以使得用户(以驾驶员作为代表性示例)能够将其注意力放在车辆9可能接触的该物体上。因此，车辆9能够有效避免接触该物体。当释放方向指示时，如图11的状态STC所示，显示了大致相等地包括车辆9的左右侧面区域的合成图像FP2。
如上所述，在图像显示系统100中，当车辆9的行驶速度低于10km/h从而操作模式切换到前方模式M1时，显示模式从开始前方模式M1的时刻起就自动变成前方/侧面模式M11。如果从方向指示器83输入的转向信号开启，即存在方向指示，则在车辆9的行驶速度低于10km/h的时刻，产生主要示出由方向指示器83所指示的方向上的侧面区域的合成图像FP2，并将其显示在显示器21上。
具体地，如果在行驶速度低于10km/h时转向信号指示左方，则显示状态从前方/侧面模式M11开始的时刻变成图11的状态STL中所示的状态。如果在行驶速度低于10km/h时转向信号指示右方，则显示状态从前方/侧面模式M11开始的时刻变成图11的状态STR中所示的状态。
如上所述，如果存在方向指示，从开始前方模式M1的时刻起，主要显示由方向指示器83所指示的方向上的侧面区域，即开始进行显示周边图像的操作。因此，用户(以驾驶员作为代表性示例)能够快速地将其注意力放在很容易接触车辆的物体上。
<2.实施例2>
接下来将描述实施例2。实施例2中的图像显示系统的构造和处理与实施例1中的构造和处理部分不同但大致相同。下面，将基于实施例1与实施例2之间的差异来描述实施例2。
在实施例1中，合成图像产生部件32在操作模式变成前方模式M1之时产生合成图像。由于仅在显示合成图像时产生合成图像，所以不执行不必要的图像处理，从而减小了功耗。然而，在开始产生合成图像之前耗费了一些时间，然后在显示器21上显示合成图像。因此，在操作模式变成前方模式M1之时可能存在合成图像不能快速显示在显示器21上的情况。在实施例2中，在图像产生设备10启用期间，持续地产生合成图像。
图13是示出在实施例2的图像显示系统100启用期间的基本操作的流程的示图。图像显示系统100也是在ACC开关开启从而被供电时启用，并在ACC开关关闭时停止。
当图像显示系统100启用时，控制部件1执行各种起动处理(S21)。当起动处理完成时，合成图像产生部件32开始产生合成图像(S22)。此后，持续产生合成图像，直到图像显示系统100停止。即，在图像显示系统100启用的期间持续产生合成图像。
一旦开始产生合成图像，控制部件1就持续地监视车辆9的行驶速度(S23)。当车辆9的行驶速度至少为10km/h时(S23中的否)，操作模式变成导航模式M0(S24)。
当车辆9的行驶速度低于10km/h时(S23中的是)，操作模式变成前方模式M1，并且显示模式被设置为前方/侧面模式M11(S25)。并且将合成图像显示在显示器21上(S26)。由于在此时已经执行了对合成图像的产生，所以可以几乎在操作模式变成前方模式M1的同时在显示器21上显示合成图像。
此后，执行在显示器21上显示示出车辆9周边的周边图像，一直到车辆9的行驶速度达到至少10km/h(在S29为否的期间)(S26)。在该期间，一旦在前方模式M1中按下切换开关43(S27中的是)，显示模式被切换(S28)。
当车辆9的行驶速度达到至少10km/h时(S29中的是)，处理返回S22，以再次监视车辆9的行驶速度是否变成10km/h以下。此时，合成图像产生部件32持续产生合成图像。
如上所述，在实施例2的图像显示系统100中，在该系统启用的期间持续产生合成图像。因此，当需要显示合成图像时，可以立即显示合成图像。
<3.实施例3>
接下来将描述实施例3。实施例3中的图像显示系统的构造和处理与实施例1中的构造和处理部分不同但大致相同。下面将基于实施例1与3之间的差异来描述实施例3。
在实施例1中，由于合成图像产生部件32在操作模式变成前方模式M1之时开始产生合成图像，因此减小了功耗。在实施例2中，由于在图像产生设备10启用的期间持续产生合成图像，所以在需要显示合成图像时能够快速产生合成图像。
在实施例3中，车辆9的行驶速度被设置为比用于显示周边图像的第一阈值(例如10km/h)高的第二阈值(例如20km/h)。在车辆9的行驶速度下降到第二阈值以下时产生合成图像。因此，可以在减小功耗的同时快速显示合成图像。换句话说，实施例3实现了功耗与快速显示之间的平衡，从而实现了实施例1和2的优点。
图14是示出在实施例3的图像显示系统100启用期间的基本操作的流程的示图。图像显示系统100也是在ACC开关开启从而被供电时启用，并在ACC开关关闭时停止。
一旦图像显示系统100启用，控制部件1就首先执行各种起动处理(S31)。
当起动处理完成时，控制部件持续监视车辆9的行驶速度(S32)。当车辆9的行驶速度为第二阈值20km/h以下时(S32中的是)，合成图像产生部件32产生合成图像(S33)。当车辆9的行驶速度至少为第二阈值20km/h时(S32中的否)，合成图像产生部件32停止产生合成图像(S34)。
控制部件1监视车辆9的行驶速度(S35)。当车辆9的行驶速度至少为10km/h时(S35中的否)，操作模式变成导航模式M0(S36)，并且处理返回S32。即，在导航模式M0中，控制部件1分别地监视车辆9的行驶速度是否下降到第二阈值(20km/h)以下以及车辆9的行驶速度是否下降到第一阈值(10km/h)以下。
在车辆9的行驶速度下降到第二阈值(20km/h)以下之时开始产生合成图像(S32和S33)。在车辆9的行驶速度下降到第一阈值(10km/h)以下之时操作模式变成前方模式M1(S35中的是)。从而，操作模式变成前方模式M1，并且显示模式被设置为前方/侧面模式M11(S37)。在将合成图像显示在显示器21上之时(S38)，已经在执行产生合成图像的操作了。因此，可以在操作模式变成前方模式M1时快速地在显示器21上显示合成图像。
此后，执行在显示器21上显示示出车辆9周边的周边图像，直到车辆9的行驶速度达到至少10km/h(在S41为否的期间)(S38)。在该期间，当在前方模式M1中按下切换开关43时(S39中的是)，显示模式被切换(S40)。
当车辆9的行驶速度达到至少10km/h时(S41中的是)，处理返回S32，并且将车辆9的行驶速度与第二阈值(20km/h)相比较。持续产生合成图像一直到车辆9的行驶速度达到第二阈值(20km/h)。如果车辆9的行驶速度至少达到第二阈值(20km/h)，则停止产生合成图像。
如上所述，在实施例3的图像显示系统100中，在车辆9的行驶速度下降到第二阈值(20km/h)以下之时开始产生合成图像。因此，当车辆9的行驶速度下降到第一阈值(10km/h)以下时，可以快速显示合成图像。当车辆9的行驶速度至少为第二阈值时，停止产生合成图像。因此可以有效减小功耗。从而，在需要显示合成图像时可以快速显示合成图像，而同时减小了功耗。
<4.修改实施例>
已经描述了本发明的实施例。然而，本发明不限于已经描述的实施例。可以作出本发明的各种改型。下面将描述本发明的修改实施例。当然，可以将下文所述的改型适当地结合。
在已经描述的实施例中，图像产生设备10和导航设备20是不同的。然而，可以将导航设备20和图像产生设备10布置在相同的外壳中以构造一个集成的设备。
在已经描述的实施例中，对图像产生设备10中产生的图像进行显示的显示设备是导航设备20。然而，显示设备可以是不具有诸如导航功能之类特殊功能的普通显示设备。
在已经描述的实施例中，由图像产生设备10的控制部件1实现的功能的一部分可以由导航设备20的控制部件23来实现。
来自换档传感器81、车速传感器82和方向指示器83的信号被输入图像产生设备10中。然而，这些信号的部分或全部可以输入到导航设备20。在该情况下，可以通过通信部件42将这些信号的部分或全部输入到图像产生设备10的控制部件1中。
在已经描述的实施例中，驾驶员预期的方向指示是从方向指示器83输入的。然而，方向指示还可以通过其它手段输入。例如，根据通过拍摄驾驶员眼睛的图像而得到的图像来检测驾驶员的视点的移动。根据检测的结果，可以输入驾驶员预期的方向指示。
在已经描述的实施例中，在前方/侧面模式M11中，采用合成图像来作为示出侧面区域的图像。然而，还可以采用根据侧面摄像机52所拍摄的车辆左右两侧或一侧的图像而得到的侧面图像。不过，优选采用合成图像，因为其可以提供从特定虚拟视点观看到的车辆周边图像以及具有高度普遍适用性的信息。
在已经描述的实施例中，除了前方/侧面模式M11之外，其它显示模式都显示仅示出侧面区域的图像。然而，这些显示模式还可以仅示出前方区域(比如前方图像FP1)的图像。即，除了前方/侧面模式M11之外的其它显示模式优选地显示仅针对特定状况示出前方区域和侧面区域中之一的图像。
在已经描述的实施例中，通过由CPU根据程序执行计算处理来以软件实现各种功能。然而，部分功能可以通过硬件电路来实现。反之，以硬件电路实现的功能的一部分也可以由软件实现。
本发明基于2009年7月2日提交的日本专利申请(日本专利申请No.2009-157368)，其公开通过引用合并于此。
参考数字描述
1控制部件
5图像拍摄部件
9车辆
10图像产生设备
21显示器
32合成图像产生部件
40非易失性存储器
43切换开关

Claims (8)

1.一种图像产生设备，其产生要在车辆上安装的显示设备上显示的图像，所述图像产生设备包括：
获取部件，其获取车辆的行驶速度；
显示控制部件，其在行驶速度低于第一阈值时使显示设备对示出车辆周边的图像进行显示；
产生部件，其基于由多个摄像机拍摄的车辆周边的多个图像来产生示出从虚拟视点观看到的车辆和车辆周边的合成图像；和
模式切换部件，其响应于用户操作来将用于使显示设备显示图像的显示模式切换到从多个显示模式当中选出的一个显示模式，所述多个显示模式彼此不同，
其中，所述模式切换部件在行驶速度下降到低于第一阈值时将显示模式切换到用于使显示设备对包括彼此并列的第一图像和第二图像的图像进行显示的特定显示模式，并且所述显示控制部件开始使显示设备显示所述包括第一图像和第二图像的图像，所述第一图像示出车辆的前方区域，所述第二图像示出车辆的侧面区域，
其中所述第二图像是由所述产生部件产生的合成图像。
2.如权利要求1所述的图像产生设备，还包括输入部件，其输入车辆驾驶员作出的方向指示，
其中当所述输入部件输入了方向指示时，所述产生部件产生这样的合成图像作为第二图像：其中由方向指示所指示的车辆的一个侧面区域的显示尺寸大于车辆的另一个侧面区域的显示尺寸。
3.如权利要求2所述的图像产生设备，
其中当所述输入部件从行驶速度下降到低于第一阈值之时输入方向指示时，所述产生部件产生这样的合成图像作为第二图像：其中由方向指示所指示的车辆的一个侧面区域的显示尺寸大于车辆的另一个侧面区域的显示尺寸，并且，所述显示控制部件开始使所述显示设备显示该合成图像。
4.如权利要求1所述的图像产生设备，其中所述产生部件在所述图像产生设备启用期间的任何时刻都产生合成图像。
5.如权利要求1所述的图像产生设备，其中所述产生部件仅在使显示设备显示合成图像时产生合成图像。
6.如权利要求1所述的图像产生设备，其中所述产生部件在行驶速度下降到低于第二阈值时产生合成图像，其中第二阈值比第一阈值高。
7.如权利要求1所述的图像产生设备，其中除所述特定显示模式以外的其它显示模式是用于使显示设备对仅示出车辆前方区域和车辆侧面区域中之一的图像进行显示的显示模式。
8.一种安装于车辆上的图像显示系统，所述图像显示系统包括：
如权利要求1所述的图像产生设备；和
显示设备，其显示由所述图像产生设备产生的图像。
CN201080029901.3A 2009-07-02 2010-06-08 图像产生设备和图像显示系统 Active CN102474595B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009157368A JP5087051B2 (ja) 2009-07-02 2009-07-02 画像生成装置及び画像表示システム
JP2009-157368 2009-07-02
PCT/JP2010/059692 WO2011001794A1 (ja) 2009-07-02 2010-06-08 画像生成装置及び画像表示システム

Publications (2)

Publication Number Publication Date
CN102474595A CN102474595A (zh) 2012-05-23
CN102474595B true CN102474595B (zh) 2014-11-26

Family

ID=43410874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080029901.3A Active CN102474595B (zh) 2009-07-02 2010-06-08 图像产生设备和图像显示系统

Country Status (5)

Country Link
US (1) US8836787B2 (zh)
JP (1) JP5087051B2 (zh)
KR (1) KR101342033B1 (zh)
CN (1) CN102474595B (zh)
WO (1) WO2011001794A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5743576B2 (ja) * 2011-02-02 2015-07-01 スタンレー電気株式会社 物体検出システム
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
KR101376210B1 (ko) 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
JP6099333B2 (ja) 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP6202240B2 (ja) * 2013-02-05 2017-09-27 スズキ株式会社 俯瞰画像提示装置
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
JP5844329B2 (ja) * 2013-10-04 2016-01-13 本田技研工業株式会社 駐車支援装置
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
CN106233184B (zh) * 2014-03-31 2019-12-20 伟雷股份公司 透过汽车挡风玻璃显示信息的方法及其实施装置
JPWO2015151485A1 (ja) * 2014-04-01 2017-04-13 パナソニックＩｐマネジメント株式会社 後方視界確認装置と、それを搭載した自動車
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
WO2015173961A1 (ja) * 2014-05-16 2015-11-19 富士通株式会社 モニタ装置及び表示画像切替用コンピュータプログラム
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
CN108136907B (zh) * 2015-10-09 2019-06-21 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
CA3002628C (en) * 2015-10-22 2022-03-08 Nissan Motor Co., Ltd. Display control method and display control device
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6383376B2 (ja) * 2016-03-31 2018-08-29 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
JP6809113B2 (ja) * 2016-10-12 2021-01-06 日産自動車株式会社 車両用周辺監視方法及び車両用周辺監視装置
DE102017223399B4 (de) * 2017-12-20 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Anzeigebaugruppe für ein Fortbewegungsmittel
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107316485A (zh) * 2017-07-07 2017-11-03 深圳中泰智丰物联网科技有限公司 道路通行状态的提示方法、提示装置及终端设备
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
DE102019217733A1 (de) * 2019-11-18 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug
CN112758104B (zh) * 2021-01-13 2022-08-23 广州小马慧行科技有限公司 自动驾驶车辆的人机交互界面的控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078907A (ja) * 2001-08-30 2003-03-14 Tokai Rika Co Ltd 車両用監視装置
CN1670784A (zh) * 2005-03-25 2005-09-21 上海百太信息科技有限公司 一种由加速度信号触发的数码图像拍摄系统
JP2006270586A (ja) * 2005-03-24 2006-10-05 Aisin Aw Co Ltd 車両周辺視認装置
JP2008056080A (ja) * 2006-08-31 2008-03-13 Alpine Electronics Inc 車両周辺画像表示装置及び表示方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP4537537B2 (ja) 2000-05-25 2010-09-01 パナソニック株式会社 運転支援装置
JP3269056B2 (ja) * 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
US7253833B2 (en) * 2001-11-16 2007-08-07 Autonetworks Technologies, Ltd. Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP2007022176A (ja) 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP4889360B2 (ja) * 2006-04-18 2012-03-07 アルパイン株式会社 車載用画像表示装置
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP4893421B2 (ja) 2007-03-30 2012-03-07 アイシン精機株式会社 車両用の死角画像表示装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP5072576B2 (ja) * 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078907A (ja) * 2001-08-30 2003-03-14 Tokai Rika Co Ltd 車両用監視装置
JP2006270586A (ja) * 2005-03-24 2006-10-05 Aisin Aw Co Ltd 車両周辺視認装置
CN1670784A (zh) * 2005-03-25 2005-09-21 上海百太信息科技有限公司 一种由加速度信号触发的数码图像拍摄系统
JP2008056080A (ja) * 2006-08-31 2008-03-13 Alpine Electronics Inc 車両周辺画像表示装置及び表示方法

Also Published As

Publication number Publication date
US8836787B2 (en) 2014-09-16
KR101342033B1 (ko) 2013-12-16
WO2011001794A1 (ja) 2011-01-06
JP2011015174A (ja) 2011-01-20
JP5087051B2 (ja) 2012-11-28
KR20120023139A (ko) 2012-03-12
US20120105643A1 (en) 2012-05-03
CN102474595A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
CN102474595B (zh) 图像产生设备和图像显示系统
CN102448774B (zh) 图像生成设备及图像显示系统
US8941737B2 (en) Image generating apparatus and image display system
KR101562877B1 (ko) 운전 지원 장치 및 운전 지원 방법
JP6946652B2 (ja) 駐車支援装置
EP2794353B1 (en) Vehicle rear monitoring system
US9077861B2 (en) Image processing apparatus, electronic apparatus, and image processing method
CN102934427A (zh) 图像处理装置、图像处理系统和图像处理方法
JP6512016B2 (ja) 車両用表示装置
CN102958754A (zh) 图像处理装置、图像处理系统和图像处理方法
US20060187238A1 (en) Vehicle-periphery viewing apparatus
CN102714712A (zh) 图像处理设备、图像处理系统和图像处理方法
US20100201818A1 (en) Vehicle periphery displaying apparatus
CN102821267A (zh) 图像生成装置以及图像生成方法
JP2005136561A (ja) 車両周辺画像表示装置
JP6130118B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP2017058600A (ja) 表示制御装置、画像表示システム、及び、表示制御方法
US20200406819A1 (en) Driver-assisting system for an industrial vehicle
KR100849615B1 (ko) 차량 통합 관리 시스템
KR20130049947A (ko) 주차 보조 시스템
JP2007015663A (ja) 車両用監視モニタシステム
JP3574299B2 (ja) 車両用監視装置
JP2020145612A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2012237725A (ja) 車両用表示装置
CN207241574U (zh) 一种前后双录的智能后视镜及汽车

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant