CN102202214A - 图像生成装置、图像显示系统及图像生成方法 - Google Patents

图像生成装置、图像显示系统及图像生成方法 Download PDF

Info

Publication number
CN102202214A
CN102202214A CN2011100381283A CN201110038128A CN102202214A CN 102202214 A CN102202214 A CN 102202214A CN 2011100381283 A CN2011100381283 A CN 2011100381283A CN 201110038128 A CN201110038128 A CN 201110038128A CN 102202214 A CN102202214 A CN 102202214A
Authority
CN
China
Prior art keywords
vehicle
photographs
lighting fixture
illuminating state
occasion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100381283A
Other languages
English (en)
Other versions
CN102202214B (zh
Inventor
山田正博
松冈梓
谷口奖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102202214A publication Critical patent/CN102202214A/zh
Application granted granted Critical
Publication of CN102202214B publication Critical patent/CN102202214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种图像生成装置、图像显示系统及图像生成方法，提供一种用于减少因灯光装置的点亮引起的在合成图像中所产生的缺陷的技术。在图像显示系统中，可合成被配置在车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示车辆的周边状况的合成图像。然后，根据灯光装置的点亮状态来变更与能通过多个车载摄像机中的2个车载摄像机进行重复摄影的区域相对应的合成图像的重复部分中所使用的摄影图像的数据量(步骤S13、S15)。从而，能够减少因灯光装置的点亮引起的在合成图像的重复部分产生的缺陷。

Description

图像生成装置、图像显示系统及图像生成方法
技术领域
本发明涉及用于生成由搭载于车辆上的显示装置显示的图像的技术。
背景技术
以往，公知一种被搭载于汽车等车辆上的、将用车载摄像机拍摄车辆周边所得到的图像显示于车室内的显示器上的图像显示系统。通过利用该图像显示系统，从而驾驶员能够近于实时地掌握车辆的周边状况。
例如，对于处于驾驶席相反侧的前挡板的外侧区域，其从驾驶席的角度观看时容易成为死角，且驾驶员难以掌握车体与障碍物之间的间隙。与此相对，如果利用图像显示系统，则通过车载摄像机的摄影即可得到表示前挡板的外侧区域的图像，且该图像被显示在车室内的显示器上。由此，在进行车辆尽量靠边等场合下，驾驶员能够容易地确认驾驶席相反侧的车体和障碍物之间的间隙。
另外，近年来，也提议一种利用被配置在车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从车辆正上方等虚拟视点观看到的表示车辆周边状况的合成图像，并显示在显示器上的图像显示系统(例如，参照专利文献1)。
由此，在生成从虚拟视点观看到的合成图像的图像显示系统中，例如在车辆的前方、左右侧方及后方分别配置有车载摄像机，合成由这些4个车载摄像机得到的4个摄影图像，来生成合成图像。在生成该合成图像之际，在将4个摄影图像用规定的边界线简单地连接起来的场合下，在摄影图像彼此之间的边界部分发生被摄物体的像不连续这样的问题。为此，难以识别在摄影图像彼此之间的边界部分所对应的区域中存在的、或者通过该区域的物体。
为了与此对应，使得在与相邻配置的2个车载摄像机所拍摄到的区域上具有重复的区域。并且，也提议一种利用规定的比例来混合该2个车载摄像机的摄影图像并由此来生成合成图像中的摄影图像彼此之间的边界部分(例如，参照专利文献2)。由此，缓和了摄影图像彼此之间的边界部分中被摄物体的像不连续的问题，且能够容易识别处于边界部分所对应的区域中的物体。
专利文献1：日本特开2007-36668号公报
专利文献2：日本特开2002-354468号公报
但是，一般生成合成图像所用到的多个车载摄像机是分别独立地进行曝光控制的。
在夜间等车辆的周边环境较暗且点亮了车辆前灯的场合下，被配置在车辆前方的车载摄像机，其基于由前灯照得比较明亮的区域来进行曝光控制。另一方面，被配置在车辆侧方的车载摄像机，其基于无照明的非常暗的区域来进行曝光控制。为此，在侧方的车载摄像机和前方的车载摄像机进行了完全不同的曝光控制，在侧方的车载摄像机中，与前方的车载摄像机相比较，执行使图像朝较明亮的方向进行曝光控制。因此，在由前方的车载摄像机得到的摄影图像和由侧方的车载摄像机得到的摄影图像中，可重复摄影的区域中存在的同一被摄物体的像的明亮度会变得完全不同。
由此，为了生成在前方的车载摄像机和侧方的车载摄像机可重复摄影的区域所对应的合成图像的重复部分(摄影图像彼此之间的边界部分)，一旦混合了这些摄影图像，就混合了明亮度完全不同的被摄物体的像。其结果，在合成图像的重复部分产生白斑及混色等缺陷，处于该重复部分的被摄物体的像的可视性变得较差。
发明内容
本发明是鉴于上述课题进行开发的，其目的在于提供一种能够减少因灯光装置的点亮引起的在合成图像中产生的缺陷的技术。
为了解决上述课题，技术方案1的发明涉及一种图像生成装置，其生成由被搭载于车辆上的显示装置显示的图像，具备：生成单元，其合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；接收单元，其接收表示所述车辆所具备的灯光装置的点亮状态的信号；以及变更单元，其根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量。
另外，技术方案2的发明是在技术方案1所述的图像生成装置的基础上，与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元增加所述2个车载摄像机中光轴朝向点亮状态的所述灯光装置所照明的区域的第1车载摄像机的摄影图像的数据量，减少了另一方的第2车载摄像机的摄影图像的数据量。
另外，技术方案3的发明是在技术方案2所述的图像生成装置的基础上，与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元扩大所述合成图像的重复部分中的使用所述第1车载摄像机的摄影图像的范围，缩小使用所述第2车载摄像机的摄影图像的范围。
另外，技术方案4的发明是在技术方案3所述的图像生成装置的基础上，所述变更单元，在所述灯光装置处于点亮状态的场合下，在所述合成图像的重复部分只使用所述第1车载摄像机的摄影图像。
另外，技术方案5的发明是在技术方案2所述的图像生成装置的基础上，与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元缩小对所述第1车载摄像机的摄影图像和所述第2车载摄像机的摄影图像进行混合的区域。
另外，技术方案6的发明是在技术方案2所述的图像生成装置的基础上，与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元提高在对所述第1车载摄像机的摄影图像和所述第2车载摄像机的摄影图像进行混合的区域中的所述第1车载摄像机的摄影图像的混合比例。
另外，技术方案7的发明涉及一种图像显示系统，其被搭载于车辆上，具备：生成单元，其合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；接收单元，接收表示所述车辆所具备的灯光装置的点亮状态的信号；变更单元，根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量；以及显示装置，显示在所述生成单元生成的图像。
另外，技术方案8的发明涉及一种图像生成方法，用于生成由被搭载在车辆上的显示装置显示的图像，包括：步骤a，合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；步骤b，接收表示所述车辆所具备的灯光装置的点亮状态的信号；以及步骤c，根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量。
另外，技术方案9的发明是在技术方案8所述的图像生成方法的基础上，与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，在所述步骤c中，增加所述2个车载摄像机中的、光轴朝向点亮状态的所述灯光装置所照明的区域的第1车载摄像机的摄影图像的数据量，减少另一方的第2车载摄像机的摄影图像的数据量。
(发明效果)
根据技术方案1至9的发明，由于根据灯光装置的点亮状态来变更合成图像的重复部分中所使用的摄影图像的数据量，故能够降低因灯光装置的点亮引起的在合成图像的重复部分所发生的缺陷。
另外，特别是根据技术方案2及技术方案9的发明，由于增加了明亮度适当的第1车载摄像机的摄影图像的数据量，另一方面减少了第2车载摄像机的摄影图像的数据量，故能够有效地降低在合成图像的重复部分所发生的缺陷。
另外，特别是根据技术方案3的发明，由于扩大了使用明亮度适当的第1车载摄像机的摄影图像的范围，另一方面缩小了使用第2车载摄像机的摄影图像的范围，故能够有效地降低在合成图像的重复部分所产生的缺陷。
另外，特别是根据技术方案4的发明，由于缩小了对第1车载摄像机的摄影图像和第2车载摄像机的摄影图像进行混合的区域，故能够有效地降低在合成图像的重复部分所发生的缺陷。
另外，特别是根据技术方案5的发明，由于在合成图像的重复部分只使用明亮度适当的第1车载摄像机的摄影图像，故能够有效地降低在合成图像的重复部分所发生的缺陷。
另外，特别是根据技术方案6的发明，由于提高了明亮度适当的第1车载摄像机的摄影图像的混合比例，故能够有效地降低在合成图像的重复部分所发生的缺陷。
附图说明
图1是表示图像显示系统的构成的框图。
图2是表示车载摄像机被配置在车辆上的位置的图。
图3是表示图像显示系统的动作模式转变的图。
图4是用于说明生成合成图像的方法的图。
图5是表示在立体曲面中摄影图像所对应的范围的图。
图6是说明平时导出重复部分的像素值的导出方法的图。
图7是表示点亮前灯的状态的图。
图8是表示点亮刹车灯的状态的图。
图9是说明在前灯点亮时导出重复部分的像素值的导出方法的图。
图10是说明在刹车灯点亮时导出重复部分的像素值的导出方法的图。
图11是说明在前灯及刹车灯点亮时导出重复部分的像素值的导出方法的图。
图12是表示图像显示系统显示合成图像的处理的流程图。
图13是说明第2实施方式中导出重复部分的像素值的导出方法的图。
图14是说明第3实施方式中导出重复部分的像素值的导出方法的图。
符号说明：
1    控制部
11    图像控制部
32    合成图像生成部
51    前置摄像机
52    后置摄像机
53    左侧摄像机
54    右侧摄像机
84    灯光控制装置
98    前灯
99    刹车灯
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
<1.第1实施方式>
<1-1.系统构成>
图1是表示第1实施方式的图像显示系统120的构成的框图。该图像显示系统120被搭载在车辆(在本实施方式中为汽车)上，具有拍摄车辆周边来生成图像并在车室内显示的功能。图像显示系统120的用户(作为代表的是驾驶员)通过利用该图像显示系统120，从而能够近似于实时地掌握该车辆的周边状况。
如图1所示，图像显示系统120主要具备：生成用于表示车辆周边的图像的图像生成装置100、及用于向乘座在车辆上的用户显示各种信息的导航装置20。通过图像生成装置100所生成的图像被显示在导航装置20上。
导航装置20对用户进行导航引导，其具备：有触屏功能的液晶显示器等的显示器21、用户进行操作的操作部22、及用于控制整个装置的控制部23。为使用户在视觉上可辨别显示器21的画面，导航装置20被设置在车辆的仪表盘等。通过操作部22和作为触屏的显示器21进行接受来自用户的各种指示。控制部23例如是具备CPU、RAM及ROM等的计算机。CPU按照规定的程序进行运算处理，从而实现了包括导航功能在内的控制部23的各种功能。
导航装置20以可与图像生成装置100进行通信的方式实现连接，在与图像生成装置100之间可进行各种控制信号的收发、进行在图像生成装置100生成的图像的接收。在显示器21中，通过控制部23的控制，通常显示基于导航装置20单体功能的图像，但是在规定条件下也可显示由图像生成装置100生成的表示车辆周边状况的图像。由此，导航装置20也可作为接收并显示由图像生成装置100生成的图像的显示装置起作用。
图像生成装置100具备：其具有生成图像的功能的ECU(Electronic Control Unit：电子式控制单元)即本体部10。本体部10被配置在车辆的规定位置。图像生成装置100具备拍摄车辆周边的摄影部5，且基于由该摄影部5拍摄车辆周边得到的摄影图像来生成从虚拟视点观看到的合成图像。
摄影部5与本体部10电连接，并基于来自本体部10的信号而动作。摄影部5具备：作为车载摄像机的前置摄像机51、后置摄像机52、左侧摄像机53及右侧摄像机54。各车载摄像机51～54具备透镜和摄像元件，并以电子方式取得图像。
另外，各车载摄像机51～54基于光轴方向的区域的明亮度，以在光轴方向存在的被摄物体的像在摄影图像中成为适当明亮度的方式进行曝光控制。例如，在光轴方向的区域比较明亮的场合下，执行使摄影图像朝变暗的方向进行曝光控制。具体而言，执行减小光圈的开口径、缩短曝光时间、减少自动增益控制的增益等的控制。另外，相反地，在光轴方向的区域比较暗的场合下，执行使摄影图像朝变明亮的方向进行曝光控制。具体而言，执行增大光圈的开口径、延长曝光时间、增大自动增益控制的增益等的控制。这样的曝光控制在多个车载摄像机51～54的每一个中独立地执行。
这些多个车载摄像机51～54被分别配置在车辆的不同位置。图2是表示车载摄像机51～54被配置在车辆9上的位置的图。
如图2所示，前置摄像机51被设置在处于车辆9前端的汽车牌照安装位置的附近，其光轴51a朝向车辆9的直行方向。后置摄像机52被设置在处于车辆9后端的汽车牌照安装位置的附近，其光轴52a朝向车辆9直行方向的相反方向。这些前置摄像机51及后置摄像机52的安装位置优选在左右大致中央，但也可以是自左右中央向左右方向稍微偏移的位置。
另外，左侧摄像机53被设置在左侧的后视镜93，其光轴53a沿着车辆9的左右方向(与直行方向垂直的方向)朝向车辆9的左侧。另一方面，右侧摄像机54被设置在右侧的后视镜93，其光轴54a沿着车辆9的左右方向朝向车辆9的右侧。
作为这些车载摄像机51～54的透镜采用了鱼眼镜头等，车载摄像机51～54具有180度以上的视角α。因此，通过利用4个车载摄像机，可拍摄车辆9的整个周围。另外，在图中阴影线所示的区域LA1～LA4，成为相邻配置的2个车载摄像机可重复摄影的车辆9的周边区域。具体而言，车辆9的前方左侧的区域LA1是前置摄像机51及左侧摄像机53可重复摄影的区域。另外，车辆9的前方右侧的区域LA2是前置摄像机51及右侧摄像机54可重复摄影的区域。另外，车辆9的后方左侧的区域LA3是后置摄像机52及左侧摄像机53可重复摄影的区域。另外，车辆9的后方右侧的区域LA4是后置摄像机52及右侧摄像机54可重复摄影的区域。
返回到图1，图像生成装置100的本体部10主要具备：用于控制整个装置的控制部1、用于处理在摄影部5取得的摄影图像来取得显示用图像的图像生成部3、在与导航装置20之间进行通信的导航通信部42。
通过导航装置20的操作部22及显示器21所接受到的来自用户的各种指示，其作为控制信号而被导航通信部42所接受并输入到控制部1。由此，图像生成装置100可响应用户对导航装置20的操作而进行动作。
图像生成部3例如是可进行各种图像处理的硬件电路，作为主要的功能而具备有摄影图像调整部31及合成图像生成部32。
摄影图像调整部31以摄影部5取得的摄影图像作为对象，进行用于显示的调整。具体而言，摄影图像调整部31对摄影图像进行失真补正、放大缩小及切取等图像处理。
合成图像生成部32基于在摄影部5的多个车载摄像机51～54分别取得的多个摄影图像来生成下述合成图像，该合成图像表示从车辆周边任意的虚拟视点所观看到的车辆周边的至少一部分的区域。关于合成图像生成部32生成合成图像的方法见后述。
被摄影图像调整部31调整后的摄影图像或由合成图像生成部32生成的合成图像进一步被调整成显示用的图像，然后通过导航通信部42输出至导航装置20。由此，作为被摄物体，包括车辆周边区域的图像被显示在导航装置20的显示器21上。
控制部1例如是具备CPU、RAM及ROM等的计算机。CPU按照规定的程序进行运算处理，从而实现了控制部1的各种控制功能。图中所示的图像控制部11表示由此实现的控制部1的功能中的一部分。
图像控制部11控制由图像生成部3执行的图像处理。例如，图像控制部11指示合成图像生成部32用于生成合成图像所需的各种参数等。
另外，图像生成装置100的本体部10还具备非易失性存储器40、卡读取部44及信号接收部41，这些单元与控制部1相连接。
非易失性存储器40例如是即使在电源断开时也可维持存储内容的闪存等。在非易失性存储器40中存储有车类别数据4a等。车类别数据4a是与合成图像生成部32生成合成图像之际所需的车辆类别相应的数据。
卡读取部44进行对作为移动式记录介质的存储卡MC的读取。卡读取部44具备可安装存储卡MC的卡槽，且读取安装于其卡槽上的存储卡MC所记录的数据。在卡读取部44所读取出的数据被输入至控制部1。
存储卡MC具备可存储各种数据的闪存等。图像生成装置100能利用存储卡MC中所存储的各种数据。例如，通过使存储卡MC存储程序并从该存储卡MC中读取程序，从而可更新实现控制部1功能的程序(固件)。另外，通过使存储卡MC存储与非易失性存储器40存储的车类别数据4a不同类别的车辆相应的车类别数据，并读取该车类别数据而存储至非易失性存储器40，从而可使图像显示系统120对应不同类别的车辆。
另外，信号接收部41接收来自被设置在车辆上的各种装置的信号。经由该信号接收部41，来自图像显示系统120外部的信号被输入至控制部1。具体而言，信号接收部41接收从变速传感器81、车速度传感器82及灯光控制装置84等送出的表示各种信息的信号，并将其输入到控制部1。
变速传感器81发送车辆的变速装置的变速杆的操作的位置、即“P(停车)”、“D(前进)”、“N(中立)”、“R(后退)”等表示变速位置点的信号。车速度传感器82发送表示此时刻的车辆9的行驶速度(km/h)的信号。
灯光控制装置84进行控制，进行被标准地设置在车辆上的、前灯(前照灯)或刹车灯(制动灯)等车辆通常行驶所利用的行驶用的灯光装置的控制。灯光控制装置84响应驾驶员的操作以点亮前灯，在由驾驶员踏踩制动器的场合下点亮刹车灯。灯光控制装置84发送这样表示灯光装置的点亮状态的信号。
<1-2.动作模式>
接着，对图像显示系统120的动作模式进行说明。图3是表示图像显示系统120的动作模式转变的图。图像显示系统120具有导航模式M1、前置模式M2及后置模式M3共3个动作模式。这些动作模式根据驾驶员的操作或车辆9的行驶状态，通过控制部1的控制进行切换。
导航模式M1是根据导航装置20的功能，主要将导航引导用的地图图像NP显示在显示器21上的动作模式。在导航模式M1中，不利用图像生成装置100的功能，而利用导航装置20单体的功能进行各种显示。
与此相对，前置模式M2及后置模式M3是利用图像生成装置100的功能，将摄影图像PP、合成图像CP显示在显示器21上以实时地向用户显示车辆9的周边状况的动作模式。
前置模式M2是显示在前进时所需的、主要表示车辆9的前方或侧方的图像的动作模式。例如，如图所示，从车辆9正上方的虚拟视点观看到的表示车辆9及其周边状况的合成图像(俯瞰图像)CP和由前置摄像机51拍摄得到的摄影图像PP，同时被显示在显示器21上。该合成图像CP的虚拟视点的位置不限于车辆9的正上方，也可以根据用户的操作切换至车辆9的后方侧等处。
另外，后置模式M3是显示在后退时所需的、主要表示车辆9的后方的图像的动作模式。例如，如图所示，从车辆9的正上方的虚拟视点观看到的表示车辆9及其周边状况的合成图像(俯瞰图像)CP和由后置摄像机52拍摄得到的摄影图像PP，同时被显示在显示器21上。该合成图像CP的虚拟视点的位置并不限于车辆9的正上方，也可根据用户的操作切换至车辆9的前方侧等处。
在导航模式M1中，当导航装置20的操作部22进行了规定操作时，被切换至前置模式M2。另外，在前置模式M2中，当导航装置20的操作部22进行了规定操作时，被切换至导航模式M1。此外，导航模式M1和前置模式M2也可根据来自车速度传感器82的信号所示的行驶速度进行切换。
另外，在导航模式M1或前置模式M2的场合下，在来自变速传感器81的信号所示的变速位置点成为“R(后退)”时，被切换至后置模式M3。即、在变速位置点为“R(后退)”的场合下，由于是车辆9后退的状态，故被切换至主要表示车辆9后方的后置模式M3。另外，在后置模式M3的场合下，在变速位置点在“R(后退)”以外时，返回至被切换为后置模式M3的前一动作模式。
<1-3.合成图像的生成>
接着，关于图像生成部3的合成图像生成部32基于摄影部5得到的多个摄影图像来生成从任意的虚拟视点观看到的表示车辆9周边状况的合成图像的方法进行说明。在生成合成图像之际，利用了预先存储在非易失性存储器40的车类别数据4a。图4是用于说明生成合成图像的方法的图。
如果摄影部5的4个车载摄像机51～54同时进行摄影，则通过前置摄像机51取得表示车辆9前方的摄影图像P1，通过后置摄像机52取得表示车辆9后方的摄影图像P2，通过左侧摄像机53取得表示车辆9左侧方的摄影图像P3，通过右侧摄像机54取得表示车辆9右侧方的摄影图像P4。在这些4个摄影图像P1～P4中含有表示摄影时刻的车辆9的全周围的信息。
接着，4个摄影图像P1～P4的各像素被投影至虚拟的三维空间的立体曲面SP上。立体曲面SP例如呈大致半球状(碗形状)，其中心部分(碗的底部分)被规定为车辆9存在的位置。摄影图像P1～P4含有的各像素的位置和该立体曲面SP的各像素的位置被预先规定了对应关系。因此，立体曲面SP的各像素的值能够基于该对应关系和摄影图像P1～P4含有的各像素的值来进行确定。
关于摄影图像P1～P4的各像素的位置和立体曲面SP的各像素的位置之间的对应关系，其依赖于车辆9中的4个车载摄像机51、52、53的配置(相互间距离、地面高度、光轴角度等)。因此，表示该对应关系的表格数据被包括在非易失性存储器40存储的车类别数据4a中。
另外，利用车类别数据4a中含有的表示车体的形状及尺寸的多边形数据，虚拟构成表示车辆9三维形状的多边形模型即车辆像90。所构成的车辆像90，在设定了立体曲面SP的三维空间中，被配置在规定了车辆9位置的大致半球状的中心部分。
此外，对于立体曲面SP存在的三维空间，由控制部1的图像控制部11设定虚拟视点VP。虚拟视点VP以视点位置和视野方向进行规定，被设定为与三维空间中的车辆9周边相当的任意视点位置并朝向任意的视野方向。
并且，根据所设定的虚拟视点VP，将立体曲面SP中必要的区域作为图像进行切取。预先规定虚拟视点VP和立体区域SP中必要的区域之间的关系，并作为表格数据而预先存储至非易失性存储器40等。另一方面，根据所设定的虚拟视点VP，关于由多边形构成的车辆像90，其被进行透视处理(rendering)而得到作为结果的二维车辆像90，并对切取出的图像叠加该二维车辆像90。由此，生成了从任意的虚拟视点观看到的表示车辆9及其周边状况的合成图像。
例如，在设定了视点位置为车辆9位置的大致中央的正上方位置、视野方向为大致正下方方向的虚拟视点VP1的场合下，为使从车辆9大致正上方俯视车辆9，而生成了表示车辆9(实际上为车辆像90)及其周边状况的合成图像(俯瞰图像)CP1。另外，如图所示，在设定了视点位置为车辆9位置的左后方、视野方向为车辆9的大致前方的虚拟视点VP2的场合下，为使从车辆9左后方眺望其整个周边，而生成了表示车辆9(实际上的车辆像90)及其周边状况的合成图像CP2。
此外，在实际生成合成图像的场合下，无需确定立体曲面SP所有像素的值，而基于摄影图像P1～P4，只确定对应于所设定的虚拟视点VP在生成合成图像时所需的区域的像素值，就能够提高处理速度。
如前述，存在着在相邻配置的2个车载摄像机可重复摄影的区域LA1～LA2(参照图2)。在立体曲面SP中，存在着与可重复摄影的区域LA1～LA2对应的部分。对于该部分，由于与2个摄影图像重复对应，故以下称为“重复部分”。由于合成图像是切取立体曲线SP的一部分而生成的，故可以说该立体曲线SP的重复部分是合成部分的重复部分。
图5是表示在立体曲面SP中4个摄影图像P1～P4分别对应的范围的图。在图5中，将4个摄影图像P1～P4分别对应的范围，用赋予了与该摄影图像相同的符号的箭头进行表示。
如图5所示，在立体曲面SP中存在着4个重复部分OA1～OA4。具体而言，车辆像90的前方左侧的重复部分OA1对应于车辆9的前方左侧的区域LA1，包括在前方的摄影图像P1的范围和左侧方的摄影图像P3的范围双方中。另外，车辆像90的前方右侧的重复部分OA2对应于车辆9的前方右侧的区域LA2，包括在前方的摄影图像P1的范围和右侧方的摄影图像P4的范围双方中。另外，车辆像90的后方左侧的重复部分OA3对应于车辆9的后方左侧的区域LA3，包括在后方的摄影图像P2的范围和左侧方的摄影图像P3的范围双方中。另外，车辆像90的后方右侧的重复部分OA4对应于车辆9的后方右侧的区域LA4，包括在后方的摄影图像P2的范围和右侧方的摄影图像P4的范围双方中。
关于这些立体曲面SP的重复部分OA1～OA4的像素的值，组合使用所分别对应的2个摄影图像的像素的值来加以导出。此外，由于关于重复部分OA1～OA4的图像处理呈左右对称，故在以下说明中以左侧的重复部分OA1、OA3为例具体说明处理的内容，但是也可对右侧的重复部分OA2、OA4左右翻转来进行同样的处理。
图6是说明平时导出立体曲面SP的重复部分OA1～OA4的像素值的方法的图。在图6中，将分别使用了4个摄影图像P1～P4的范围，用赋予了与该摄影图像相同的符号的箭头进行表示。
在重复部分OA1中，以相对于车辆像90的左右方向呈45°的角度从车辆像90的前方左角延伸的线段作为基准线CL1。并且，直到以前方左角为基点从基准线CL1向左旋转方向倾斜30°的线段EL1的范围为止，使用前方的摄影图像P1。另一方面，在从基准线CL1向右旋转方向倾斜30°的线段EL2的范围为止，使用左侧方的摄影图像P3。
因此，关于在重复部分OA1中的比线段EL1更靠后的后侧的区域NA1的像素值，只使用左侧方的摄影图像P3，关于比线段EL2更靠右的右侧的区域NA2的像素值，只使用前方的摄影图像P1。并且，线段EL1和线段EL2所夹的区域BA1的像素值，是用相同的比例(0.5∶0.5)对前方的摄影图像P1的像素值和左侧方的摄影图像P3的像素值进行α混合而导出的。
另外，在重复部分OA3中，以相对车辆像90的左右方向呈45°的角度从车辆像90的后方左角延伸的线段作为基准线CL2。并且，直到以后方左角为基点从基准线CL2向右旋转方向倾斜30°的线段EL3的范围为止，使用后方的摄影图像P2。另一方面，直到从基准线CL2向左旋转方向倾斜30°的线段EL4的范围为止，使用左侧方的摄影图像P3。
因此，关于在重复部分OA3中的比线段EL3更靠前的前侧的区域NA3的像素值，只使用左侧方的摄影图像P3，关于比线段EL4更靠右的右侧的区域NA4的像素值，只使用后方的摄影图像P2。并且，线段EL3和线段EL4所夹的区域BA2的像素值，是用相同的比例(0.5∶0.5)对后方的摄影图像P2的像素值和左侧方的摄影图像P3的像素值进行α混合而导出的。
<1-4.由灯光装置的点亮引起的缺陷>
当灯光装置点亮时，摄影图像P1～P4的亮度也发生变化。其结果，也影响到使用摄影图像P1～P4所生成的合成图像。以下，对由灯光装置的点亮产生的对合成图像的影响进行说明。
图7是表示点亮车辆9的前灯98的状态的图。在图中阴影线所示的区域HA表示前灯98照明的区域。如图所示，在2个车载摄像机可重复摄影的前方的2个区域LA1、LA2，通过前灯98进行照明。
在此，在夜间等车辆9周边环境暗的场合下，对在点亮了前灯98的状态下生成合成图像的场合进行假设。
前置摄像机51的光轴51a朝向前灯98所照明的区域。因此，在前置摄像机51中，以前灯98所照明的区域中存在的被摄物体的像成为适当明亮度的方式执行曝光控制。由于区域LA1也是由前灯98照明的，故前置摄像机51取得的摄影图像P1含有的区域LA1中存在的被摄物体的像成为适当明亮度。
另一方面，左侧摄像机53的光轴53a朝向前灯98未照明的车辆9的左侧。因此，在左侧摄像机53中，以无照明的非常暗的区域中存在的被摄物体的像成为适当明亮度的方式，执行尽量使摄影图像朝变明亮的方向进行曝光控制。另一方面，由于前灯98对区域LA1照得较亮，故左侧摄像机53取得的摄影图像P3含有的区域LA1中存在的被摄物体的像也变得过亮，从而产生白斑。
利用包括这样的摄影图像P1及摄影图像P3的摄影图像P1～P4，假设用图6所示的方法来导出立体曲面SP的重复部分OA1的像素值。这种场合下，在重复部分OA1中的比线段EL2更靠右的右侧的区域NA2中，由于只使用前方的摄影图像P1，故成为适当明亮度。但是，在比线段EL1更靠后的后侧的区域NA1中，由于只使用左侧方的摄影图像P3，故处于产生白斑的状态。进而，在线段EL1和线段EL4所夹的区域BA1中，α混合了亮度极端不同的摄影图像P1和摄影图像P3的像素值，从而会产生混色。其结果，在包括该重复部分OA1的合成图像中，该重复部分OA1中所存在的被摄物体的像的可视性变得较差。这种现象对于重复部分OA2也同样产生。
图8是表示点亮车辆9的刹车灯99的状态的图。在图中阴影线所示的区域RA表示刹车灯99照明的区域。如图所示，关于在2个车载摄像机可重复摄影的后方的2个区域LA3、LA4，其通过刹车灯99进行照明。
在此，在夜间等车辆9周边环境暗的场合下，对在点亮了刹车灯99的状态下生成合成图像的场合进行假设。
后置摄像机52的光轴52a朝向刹车灯99所照明的区域。因此，在后置摄像机52中，以刹车灯99照明的区域中存在的被摄物体的像成为适当明亮度的方式来执行曝光控制。由于区域LA3也由刹车灯99所照明，故后置摄像机52得到的摄影图像P2含有的区域LA3中存在的被摄物体的像成为适当明亮度。
另一方面，左侧摄像机53的光轴53a朝向刹车灯99未照明的车辆9的左侧。因此，在左侧摄像机53中，以无照明的非常暗的区域中存在的被摄物体的像成为适当明亮度的方式，执行尽量使摄影图像变明亮的方向进行曝光控制。另一方面，由于刹车灯99也对区域LA3照明得较亮，故左侧摄像机53取得的摄影图像P3含有的区域LA3中存在的被摄物体的像变得过亮，从而产生白斑。
利用包括这样的摄影图像P2及摄影图像P3的摄影图像P1～P4，假设用图6所示的方法导出了立体曲面SP的重复部分OA3的像素值。这种场合下，在重复部分OA3中的比线段EL4更靠右的右侧的区域NA4中，由于只使用后方的摄影图像P2，故成为适当明亮度。但是，在比线段EL3更靠前的前侧的区域NA3中，由于只使用左侧方的摄影图像P3，故处于产生白斑的状态。进而，在线段EL3和线段EL4所夹的区域BA2中，α混合了亮度极端不同的摄影图像P2和摄影图像P3的像素值，从而会产生混色。其结果，在包括该重复部分OA3的合成图像中，该重复部分OA3中存在的被摄物体的像的可视性变得较差。这样的现象对于重复部分OA4也同样产生。
<1-5.缺陷的降低>
在本实施方式的图像显示系统120中，在灯光装置处于非点亮状态的场合下，用图6所示的方法导出立体曲面SP的重复部分OA1～OA4的像素值。但是，在点亮了灯光装置的场合下，为了降低由点亮产生的上述合成图像的缺陷，故用与图6所示的方法的一部分不同的方法来导出立体曲面SP的重复部分OA1～OA4的像素值。
图9是用于说明导出在前灯98点亮时所采用的立体曲面SP的重复部分OA1～OA4的像素值的方法的图。即使在图9中，也将分别使用的4个摄影图像P1～P4的范围，用赋予了与该摄影图像相同的符号的箭头进行表示。
在图9所示的方法中，与图6所示的方法进行比较，最大限度地扩大了使用明亮度适当的摄影图像P1的范围，另一方面，缩小了使用产生白斑的摄影图像P3的范围。换言之，增加了其光轴朝向前灯98所照明的区域的前置摄像机51的摄影图像P1的数据量，减少了其光轴不朝向前灯98所照明的区域的左侧摄像机53的摄影图像P3的数据量。
具体而言，在重复部分OA1中，以相对于车辆像90的左右方向呈25°的角度从车辆像90的前方左角延伸的线段作为基准线CL1。并且，直到以前方左角为基点从基准线CL1向左旋转方向倾斜30°的线段EL1的范围为止，使用前方的摄影图像P1。另一方面，直到从基准线CL1向右旋转方向倾斜30°的线段EL2的范围为止，使用左侧方的摄影图像P3。
由此，与图6所示的方法比较，线段EL1和线段EL2所夹的区域BA1向左旋转方向发生移动。由此，只使用前方的摄影图像P1的区域NA2增加了，只使用左侧方的摄影图像P3的区域NA1变无。因此，在重复部分OA1中，能扩大明亮度适当的区域，并且能消除产生白斑的区域。其结果，在包括重复部分OA1的合成图像中，能够提高该重复部分OA1中存在的被摄物体的像的可视性。此外，在图9所示的方法中，对于车辆像90的后方的重复部分OA3、OA4采用与图6所示的方法相同的方法。
图10是用于说明导出在刹车灯99点亮时所采用的立体曲面SP的重复部分OA1～OA4的像素值的方法的图。即使在图10中，也将分别使用的4个摄影图像P1～P4的范围，用赋予了与该摄影图像相同的符号的箭头进行表示。
在图10所示的方法中，与图6所示的方法进行比较，最大限度地扩大了使用明亮度适当的摄影图像P2的范围，另一方面，缩小了使用产生白斑的摄影图像P3的范围。换言之，增加了其光轴朝向刹车灯99所照明的区域的后置摄像机52的摄影图像P2的数据量，减少了其光轴不朝向刹车灯99所照明的区域的左侧摄像机53的摄影图像P3的数据量。
具体而言，在重复部分OA3中，以相对于车辆像90的左右方向呈25°的角度从车辆像90的后方左角延伸的线段作为基准线CL2。并且，直到以后方左角为基点从基准线CL2向右旋转方向倾斜30°的线段EL3的范围为止，使用后方的摄影图像P2。另一方面，从基准线CL2向左旋转方向倾斜30°的线段EL4的范围为止，使用左侧方的摄影图像P3。
由此，与图6所示的方法比较，线段EL3和线段EL4所夹的区域BA2向右旋转方向发生移动。由此，只使用后方的摄影图像P2的区域NA4增加了，只使用左侧方的摄影图像P3的区域NA3变无。因此，在重复部分OA3中，能够扩大明亮度适当的区域，并且能够消除产生白斑的区域。其结果，在包括重复部分OA3的合成图像中，能够提高该重复部分OA3中存在的被摄物体的像的可视性。此外，在图10所示的方法中，关于车辆像90的前方的重复部分OA1、OA2而采用与图6所示的方法相同的方法。
另外，在前灯98和刹车灯99双方都点亮的场合下，如图11所示，关于车辆像90的前方的重复部分OA1、OA2而采用图9所示的方法，关于车辆像90的后方的重复部分OA3、OA4而采用图10所示的方法。
<1-6.处理流程>
接着，对图像显示系统120根据灯光装置的点亮状态来变更导出重复部分OA1～OA4的像素值的方法的处理流程进行说明。图12是表示图像显示系统显示合成图像的处理流程的图。该处理是通过控制部1的控制而反复执行的。
首先，判定是否是在显示器21上显示用于表示车辆9周边状况的合成图像的状态(步骤S11)。具体而言，判定动作模式是前置模式M2还是后置模式M3。在动作模式是导航模式M1的场合下(步骤S11为“否”)，由于不显示合成图像，故直接结束处理。
在动作模式是前置模式M2或后置模式M3的场合下(步骤S11为“是”)，接着判定是否点亮了前灯98(步骤S12)。基于来自灯光控制装置84的信号来判断前灯98的点亮状态。在未点亮前灯98的场合下(步骤S12为“否”)，处理进入到步骤S14。
另一方面，在点亮了前灯98的场合下，立体曲面SP中车辆像90的前方的重复部分OA1、OA2所涉及的像素值的导出方法，其通过图像控制部11从图6所示的方法被变更为图9所示的方法。即、与前灯98未点亮时比较，增加重复部分OA1、OA2所使用的前置摄像机51的摄影图像P1的数据量，另一方面，减少左侧摄像机53的摄影图像P3的数据量(步骤S13)。
接着，判定是否点亮了刹车灯99(步骤S14)。基于来自灯光控制装置84的信号来判断刹车灯99的点亮状态。在未点亮刹车灯99的场合下(步骤S14为“否”)，处理进入到步骤S16。
另一方面，在点亮了刹车灯99的场合下，立体曲面SP中车辆像90的后方的重复部分OA3、OA4所涉及的像素值的导出方法，其通过图像控制部11从图6所示的方法被变更为图10所示的方法。即、与刹车灯99未点亮时比较，增加重复部分OA3、OA4所用到的后置摄像机52的摄影图像P2的数据量，减少左侧摄像机53的摄影图像P3的数据量(步骤S15)。
接着，通过根据灯光装置的点亮状态所变更后的方法，导出立体曲面SP的各像素的值，生成合成图像(步骤S16)。然后，所生成的合成图像被显示在显示器21上(步骤S17)。
如上所述，在本实施方式的图像显示系统120中，根据前灯98及刹车灯99的点亮状态，来变更在与多个车载摄像机中的2个车载摄像机可重复摄影的车辆9周边区域相对应的合成图像的重复部分中所用到的摄影图像的数据量。因此，能够降低由前灯98及刹车灯99的点亮引起的、在合成图像的重复部分所产生的缺陷。
另外，由于增加了光轴朝向灯光装置所照明的区域而明亮度适当的车载摄像机的摄影图像的数据量，减少了光轴不朝向灯光装置所照明的区域的车载摄像机的摄影图像的数据量，故能够有效地降低在合成图像的重复部分产生的缺陷。
另外，由于增加了使用光轴朝向灯光装置所照明的区域而明亮度适当的车载摄像机的摄影图像的范围，减少了使用光轴不朝向灯光装置所照明的区域的车载摄像机的摄影图像的范围，故能够有效地降低在合成图像的重复部分所产生的缺陷。
<2.第2实施方式>
接着，对第2实施方式进行说明。第2实施方式中的图像显示系统的构成与处理，和第1实施方式几乎相同，由于只有一部分不同，故以下以与第1实施方式不同的不同点为中心进行说明。在第2实施方式中，与未点亮灯光装置的场合相比，在点亮了灯光装置的场合，缩小了α混合摄影图像的区域。
图13是用于说明导出第2实施方式中的灯光装置处于点亮状态的场合时的立体曲面SP的重复部分OA1～OA4的像素值的方法的图。即使在图13中，也将分别使用的4个摄影图像P1～P4的范围，用赋予了与该摄影图像相同符号的箭头进行表示。此外，图13例示了前灯98和刹车灯99双方都点亮的场合，但是在只点亮前灯98的场合下只对车辆像90的前方的重复部分OA1、OA2采用该方法，在只点亮刹车灯99的场合下只对车辆像90的后方的重复部分OA3、OA4采用该方法即可。
在重复部分OA1中，以相对于车辆像90的左右方向呈10°的角度从车辆像90的前方左角延伸的线段作为基准线CL1。并且，直到以前方左角为基点从基准线CL1向左旋转方向倾斜15°的线段EL1的范围为止，使用前方的摄影图像P1。另一方面，直到从基准线CL1向右旋转方向倾斜15°的线段EL2的范围为止，使用左侧方的摄影图像P3。
由此，与图9所示的方法比较，线段EL1和线段EL2所夹的α混合摄影图像P1、P2的区域BA1变窄，只使用前方的摄影图像P1的区域NA2进一步增加。因此，在重复部分OA1中，能够扩大明亮度适当的区域，并且能够减少产生混色的区域。
另外，即使在重复部分OA3中，以相对于车辆像90的左右方向呈10°的角度从车辆像90的后方左角延伸的线段作为基准线CL2。并且，直到以后方左角为基点从基准线CL2向右旋转方向倾斜15°的线段EL3的范围为止，使用后方的摄影图像P2。另一方面，直到从基准线CL2向左旋转方向倾斜15°的线段EL4的范围为止，使用左侧方的摄影图像P3。
由此，与图10所示的方法比较，线段EL3和线段EL4所夹的α混合摄影图像P2、P3的区域BA2变窄，只使用后方的摄影图像P2的区域NA4进一步增加。因此，在重复部分OA3中，能够扩大明亮度适当的区域，并且能够减少产生混色的区域。
<3.第3实施方式>
接着，对第3实施方式进行说明。第3实施方式中的图像显示系统的构成与处理，和第1实施方式几乎相同，由于只有一部分不同，故以下以与第1实施方式不同的不同点为中心进行说明。在第3实施方式中，在点亮了灯光装置的场合下，在重复部分只使用光轴朝向灯光装置所照明的区域的车载摄像机的摄影图像(即、被摄物体的像为适当明亮度的摄影图像)。
图14是用于说明导出在第3实施方式中的灯光装置处于点亮状态的场合时的立体曲面SP的重复部分OA1～OA4的像素值的方法的图。即使在图14中，也将分别使用的4个摄影图像P1～P4的范围，用赋予了与该摄影图像相同的符号的箭头进行表示。此外，图14例示了前灯98和刹车灯99双方都点亮的场合，但是在只点亮前灯98的场合下只对车辆像90的前方的重复部分OA1、OA2采用该方法，在只点亮刹车灯99的场合下只对车辆像90的后方的重复部分OA3、OA4采用该方法即可。
在重复部分OA1中，对摄影图像P1、P3进行α混合的区域BA1变无，成为只使用前方的摄影图像P1的区域NA2。因此，在重复部分OA1中，也可以不使用左侧方的摄影图像P3。由此，在重复部分OA1中，能够只使用明亮度适当的区域，并且能够消除白斑及混色。
即使在重复部分OA3中，对摄影图像P2、P3进行α混合的区域BA2变无，成为只使用后方的摄影图像P2的区域NA4。因此，在重复部分OA3中，不使用左侧方的摄影图像P3。由此，在重复部分OA3中，能够只使用明亮度适当的区域，能够消除白斑及混色。
<4.变形例>
以上，对本发明的实施方式进行了说明，但是本发明并不限定于此，也可进行各种变形。以下，对这样的变形例进行说明。包括在上述实施方式中说明过的方式及在以下说明的方式在内的所有方式，都可进行适当的组合。
在上述实施方式中，进行α混合的区域BA1、BA2中的混合比例在光轴朝向灯光装置所照明的区域的车载摄像机的摄影图像和光轴不朝向灯光装置所照明的区域的车载摄像机的摄影图像中，是相同的比例。与此相对，与灯光装置处于非点亮状态的场合相比，在灯光装置处于点亮状态的场合，也可提高光轴朝向灯光装置所照明的区域的车载摄像机的摄影图像的混合比例。例如，考虑将光轴朝向灯光装置所照明的区域的车载摄像机的摄影图像和光轴不朝向灯光装置所照明的区域的车载摄像机的摄影图像的比例设为0.7∶0.3。由此，能够增加光轴朝向灯光装置所照明的区域而明亮度适当的车载摄像机的摄影图像的数据量，能够减少光轴不朝向灯光装置所照明的区域的车载摄像机的摄影图像的数据量。其结果，能够有效地降低在进行α混合的区域BA1、BA2中产生的混色。另外，在采用变更该混合比例的方法的场合下，也可将进行α混合的区域BA1、BA2的位置一直如图6所示，也可在图9～图11、图13中说明过的方法中组合变更混合比例的方法。
另外，在上述第2实施方式中，与灯光装置处于非点亮状态的场合相比，在灯光装置处于点亮状态的场合，在移动了基准线CL1、CL2之后，并缩小了进行α混合的区域BA1、BA2。与此相对，也可在不移动基准线CL1、CL2的场合下缩小进行α混合的区域BA1、BA2。由此，能够有效地降低在进行α混合区域BA1、BA2中产生的混色。
另外，在上述实施方式中，虽然只考虑前灯98及刹车灯99的点亮而进行了处理，但是也可考虑除前灯98及刹车灯99以外的车辆9所具备的灯光装置的点亮状态。
另外，在上述实施方式中，虽然说明了图像生成装置100和导航装置20是不同的装置，但是也可以将图像生成装置100和导航装置20配置在同一框体内，来构成为一体型的装置。
另外，在上述实施方式中，虽然说明了对图像生成装置100生成的图像进行显示的显示装置是导航装置20，但是也可是不具有导航功能等特殊功能的一般显示装置。
另外，在上述实施方式中，由图像生成图像100的控制部1实现的已经说明过的功能的一部分，也可通过导航装置20的控制部23来实现。
另外，在上述实施方式中，信号接收部41接收的已经说明过的信号的一部分或全部，也可由导航装置20接收。在这样的场合下，只要导航通信部42还接收导航装置20接收到的信号，并输入到图像生成装置100的控制部1中即可。
另外，在上述实施方式中，虽然说明了通过符合程序的CPU的运算处理以软件的方式实现各种功能，但是这些功能中的一部分也可以通过电气硬件电路来实现。另外，相反地，由硬件电路实现的功能中的一部分，也可以软件的方式实现。

Claims (9)

1.一种图像生成装置，生成由被搭载于车辆上的显示装置显示的图像，其特征在于，具备：
生成单元，其合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；
接收单元，其接收表示所述车辆所具备的灯光装置的点亮状态的信号；以及
变更单元，其根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量。
2.根据权利要求1所述的图像生成装置，其特征在于，
与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元增加所述2个车载摄像机中光轴朝向点亮状态的所述灯光装置所照明的区域的第1车载摄像机的摄影图像的数据量，减少另一方的第2车载摄像机的摄影图像的数据量。
3.根据权利要求2所述的图像生成装置，其特征在于，
与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元扩大所述合成图像的重复部分中的使用所述第1车载摄像机的摄影图像的范围，缩小使用所述第2车载摄像机的摄影图像的范围。
4.根据权利要求3所述的图像生成装置，其特征在于，
所述变更单元，在所述灯光装置处于点亮状态的场合下，在所述合成图像的重复部分只使用所述第1车载摄像机的摄影图像。
5.根据权利要求2所述的图像生成装置，其特征在于，
与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元缩小对所述第1车载摄像机的摄影图像和所述第2车载摄像机的摄影图像进行混合的区域。
6.根据权利要求2所述的图像生成装置，其特征在于，
与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，所述变更单元提高在对所述第1车载摄像机的摄影图像和所述第2车载摄像机的摄影图像进行混合的区域中的所述第1车载摄像机的摄影图像的混合比例。
7.一种图像显示系统，被搭载于车辆上，其特征在于，具备：
生成单元，其合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；
接收单元，其接收表示所述车辆所具备的灯光装置的点亮状态的信号；
变更单元，其根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量；以及
显示装置，其显示通过所述生成单元生成的图像。
8.一种图像生成方法，生成由被搭载在车辆上的显示装置显示的图像，其特征在于，包括：
步骤a，合成被配置在所述车辆的不同位置处的多个车载摄像机的多个摄影图像，来生成从虚拟视点观看到的表示所述车辆的周边状况的合成图像；
步骤b，接收表示所述车辆所具备的灯光装置的点亮状态的信号；以及
步骤c，根据所述点亮状态来变更与能通过所述多个车载摄像机中的2个车载摄像机进行重复摄影的所述车辆的周边区域相对应的所述合成图像的重复部分中所使用的所述2个车载摄像机的2个摄影图像的数据量。
9.根据权利要求8所述的图像生成方法，其特征在于，
与所述灯光装置处于非点亮状态的场合相比，在所述灯光装置处于点亮状态的场合，在所述步骤c中，增加所述2个车载摄像机中光轴朝向点亮状态的所述灯光装置所照明的区域的第1车载摄像机的摄影图像的数据量，减少另一方的第2车载摄像机的摄影图像的数据量。
CN2011100381283A 2010-03-25 2011-02-12 图像生成装置、图像显示系统及图像生成方法 Active CN102202214B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010070312A JP5548002B2 (ja) 2010-03-25 2010-03-25 画像生成装置、画像表示システム及び画像生成方法
JP2010-070312 2010-03-25

Publications (2)

Publication Number Publication Date
CN102202214A true CN102202214A (zh) 2011-09-28
CN102202214B CN102202214B (zh) 2013-09-18

Family

ID=44655991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100381283A Active CN102202214B (zh) 2010-03-25 2011-02-12 图像生成装置、图像显示系统及图像生成方法

Country Status (3)

Country Link
US (1) US8780202B2 (zh)
JP (1) JP5548002B2 (zh)
CN (1) CN102202214B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103477634A (zh) * 2011-09-30 2013-12-25 松下电器产业株式会社 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示系统
CN110654303A (zh) * 2015-04-10 2020-01-07 麦克赛尔株式会社 图像投射装置和图像投射方法
CN111038384A (zh) * 2018-10-15 2020-04-21 现代自动车株式会社 车辆及用于控制车辆的方法
CN113859123A (zh) * 2021-10-08 2021-12-31 上汽通用汽车有限公司 车辆前视系统显示控制方法、存储介质及电子设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US8994825B2 (en) * 2011-07-28 2015-03-31 Robert Bosch Gmbh Vehicle rear view camera system and method
US20130082606A1 (en) * 2011-10-04 2013-04-04 Yehiel Viner Device and method for automatic calibration of illumination system and energy saving
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
TWI578268B (zh) * 2012-02-22 2017-04-11 能晶科技股份有限公司 鳥瞰影像系統及其補償方法
TW201345247A (zh) * 2012-04-27 2013-11-01 Altek Autotronics Corp 鳥瞰圖擷取系統及其鳥瞰圖擷取方法
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
JP2015070280A (ja) * 2013-09-26 2015-04-13 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
EP3065390B1 (en) * 2013-10-29 2019-10-02 Kyocera Corporation Image correction parameter output device, camera system, and correction parameter output method
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CN109565573A (zh) * 2016-08-08 2019-04-02 株式会社小糸制作所 使用多个摄像机的车辆监控系统
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10486594B2 (en) * 2017-09-19 2019-11-26 Ford Global Technologies, Llc Systems and methods for determining vehicle wireless camera latency
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
EP3972238A4 (en) * 2019-05-16 2023-10-25 Canon Kabushiki Kaisha ARRANGEMENT DETERMINATION APPARATUS, SYSTEM, ARRANGEMENT DETERMINATION METHOD AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067879A (zh) * 2007-05-28 2007-11-07 戴宏 机动车日夜行驶观察记录装置
US20070282501A1 (en) * 2006-05-31 2007-12-06 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus
JP2008017197A (ja) * 2006-07-06 2008-01-24 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968867B2 (ja) 1998-04-24 2007-08-29 日産自動車株式会社 表示処理装置
JP4815677B2 (ja) 2001-02-20 2011-11-16 ソニー株式会社 自動車用ビデオカメラシステム及び自動車用アウトサイドミラー
JP2002354468A (ja) 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
EP1688883B1 (en) * 2002-12-11 2009-04-01 FUJIFILM Corporation Image correction apparatus and image pickup apparatus
JP2004266376A (ja) * 2003-02-25 2004-09-24 Matsushita Electric Ind Co Ltd 映像合成装置
EP1646240B1 (en) * 2003-07-11 2009-09-16 Hitachi, Ltd. Image processing camera system and image processing camera control method
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP2006287513A (ja) * 2005-03-31 2006-10-19 Nissan Motor Co Ltd 車両外状況提示システム
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
US8182125B2 (en) * 2006-11-07 2012-05-22 Rosco Inc. External safety illumination for a bus with light mounted to mirror arm
JP4823938B2 (ja) 2007-02-14 2011-11-24 アルパイン株式会社 画面切り替え判定装置、車両周辺監視装置および画面切り替え判定方法
JP4927647B2 (ja) 2007-06-08 2012-05-09 アルパイン株式会社 車両周辺監視装置
JP5020792B2 (ja) * 2007-12-04 2012-09-05 アルパイン株式会社 合成画像生成装置および合成画像生成方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2011049735A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺画像提供装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070282501A1 (en) * 2006-05-31 2007-12-06 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus
JP2008017197A (ja) * 2006-07-06 2008-01-24 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
CN101067879A (zh) * 2007-05-28 2007-11-07 戴宏 机动车日夜行驶观察记录装置
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103477634A (zh) * 2011-09-30 2013-12-25 松下电器产业株式会社 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
CN103477634B (zh) * 2011-09-30 2016-11-23 松下知识产权经营株式会社 俯瞰图像生成装置和俯瞰图像生成方法
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示系统
CN110654303A (zh) * 2015-04-10 2020-01-07 麦克赛尔株式会社 图像投射装置和图像投射方法
CN111038384A (zh) * 2018-10-15 2020-04-21 现代自动车株式会社 车辆及用于控制车辆的方法
CN113859123A (zh) * 2021-10-08 2021-12-31 上汽通用汽车有限公司 车辆前视系统显示控制方法、存储介质及电子设备
CN113859123B (zh) * 2021-10-08 2024-05-17 上汽通用汽车有限公司 车辆前视系统显示控制方法、存储介质及电子设备

Also Published As

Publication number Publication date
US20110234801A1 (en) 2011-09-29
JP5548002B2 (ja) 2014-07-16
JP2011205375A (ja) 2011-10-13
US8780202B2 (en) 2014-07-15
CN102202214B (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
CN102202214B (zh) 图像生成装置、图像显示系统及图像生成方法
CN102198818B (zh) 车载照明装置、图像处理装置、图像显示系统及照明方法
JP5523954B2 (ja) 画像表示システム
CN102205811B (zh) 图像生成装置、图像显示系统及图像生成方法
US10558866B2 (en) System and method for light and image projection
CN109552315B (zh) 全视野摄像头主机控制系统
CN108650495B (zh) 一种车用全景环视系统及其自适应补光方法
JP2011015174A (ja) 画像生成装置及び画像表示システム
CN103201137A (zh) 车辆用照明装置以及车辆用前照灯的控制方法
JP2004231178A (ja) 道路を変調照明する方法およびこの方法を実行するための車両用ヘッドライト
CN104249644A (zh) 前照灯控制装置
JP2004189223A (ja) 車両用ヘッドランプの方向を制御するためのシステムおよびその方法
CN208479822U (zh) 一种车用全景环视系统
CN107878300A (zh) 通过机动车辆的投影系统投射图像的方法和相关联的投影系统
CN110087946A (zh) 车辆用照明系统和车辆
JP2012240530A (ja) 画像処理装置
KR20190011697A (ko) 차량용 간접 시야 시스템
CN111347969A (zh) 一种多媒体影像的投影系统、方法及车辆
JP6748947B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
CN110399672B (zh) 无人驾驶车辆的街景仿真方法、装置和电子设备
JP7021134B2 (ja) 車両周辺モニタ装置
JP6847781B2 (ja) 画像処理装置
JP2010198454A (ja) 車両用表示装置及び車両用表示方法
JP6151569B2 (ja) 周囲環境判定装置
JP2011008459A (ja) 車載カメラ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant