CN110027552A - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN110027552A
CN110027552A CN201811547768.5A CN201811547768A CN110027552A CN 110027552 A CN110027552 A CN 110027552A CN 201811547768 A CN201811547768 A CN 201811547768A CN 110027552 A CN110027552 A CN 110027552A
Authority
CN
China
Prior art keywords
mentioned
image
vehicle
composograph
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811547768.5A
Other languages
English (en)
Other versions
CN110027552B (zh
Inventor
志土地由香
浅井五朗
杉原邦泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110027552A publication Critical patent/CN110027552A/zh
Application granted granted Critical
Publication of CN110027552B publication Critical patent/CN110027552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

本发明涉及图像显示装置，即使在车辆向左右一侧行进的情况下也可生成乘员能够适当掌握车辆的周围状况的合成图像。图像显示装置具备：合成单元(132)，将由能够拍摄车辆(1)的后方的后方拍摄单元(11B)拍摄到的后方图像(111B)和由左右一侧的能够拍摄车辆的后侧方的第一后侧方拍摄单元(11BL、11BR)拍摄到的第一后侧方图像(111BL、111BR)合成来生成合成图像；和显示单元(14)，显示合成图像，合成单元在生成合成图像时，基于与第一方向指示器(121L、121R)有关的第一信息来变更后方图像及第一后侧方图像在合成图像中所占的区域的比例，上述第一方向指示器能够为了通知车辆向左右一侧行进而工作。

Description

图像显示装置
技术领域
本发明涉及对搭载于车辆的多个拍摄单元拍摄到的图像进行合成并能够显示所合成的图像的图像显示装置的技术领域。
背景技术
这样的图像显示装置的一个例子记载于专利文献1至专利文献2。具体而言，专利文献1中记载有一种如下所述的图像显示装置：通过如成为从虚拟视点远望本车辆的周围后方的图像那样在本车辆的周围后方没有缝隙地将能够拍摄本车辆的后侧方区域的照相机拍摄到的后侧方图像和能够拍摄本车辆的后方区域的照相机拍摄到的后方图像合成来生成合成图像，并能够在车厢内后视镜具有的显示装置显示所生成的合成图像。专利文献2中记载有一种如下所述的图像显示装置：根据到正在本车辆的后方行驶的后方车辆为止的距离来裁剪能够拍摄本车辆的右后侧方区域的照相机拍摄到的右后侧方图像和能够拍摄本车辆的左后侧方区域的照相机拍摄到的左后侧方图像，并将裁剪出的左后侧方图像以及右后侧方图像合成来生成合成图像，能够显示所生成的合成图像。
专利文献1：日本特开2008-230558号公报
专利文献2：日本特开2006-338566号公报
专利文献1所记载的图像显示装置不考虑本车辆的行进方向而对后侧方图像和后方图像进行合成。因此，专利文献1所记载的图像显示装置具有在本车辆向左右一侧前进(例如，右转或左转、或者变更车道)的情况下，有可能无法生成乘员能够适当地掌握车辆的周围状况的合成图像这一技术问题。
发明内容
本发明的课题在于，提供将搭载于车辆的多个拍摄单元分别拍摄到的多个图像合成来生成合成图像的图像显示装置，且该图像显示装置在车辆向左右一侧前进的情况下也能够生成乘员可适当地掌握车辆的周围状况的合成图像。
本发明的第一方式的图像显示装置具备：合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄到的第一后侧方图像合成来生成合成图像；以及显示单元，显示上述合成图像，上述合成单元在生成上述合成图像时，基于与第一方向指示器有关的第一信息来变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例，上述第一方向指示器能够为了通知上述车辆向左右一侧行进工作。
本发明的第二方式的图像显示装置具备：合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄第一后侧方图像合成来生成合成图像；以及显示单元，显示上述合成图像，上述合成单元在生成上述合成图像时，基于与第一方向指示器有关的第一信息来变更上述合成图像中的与上述后方图像对应的第一图像部分以及与上述第一后侧方图像对应的第二图像部分中的至少一方的视场角，上述第一方向指示器能够为了通知上述车辆向左右一侧行进而工作。
附图说明
图1是表示本实施方式的车辆的构成的框图。
图2(a)是表示本实施方式的车辆中的后方照相机、左后侧方照相机以及右后侧方照相机各自的设置位置以及拍摄范围的俯视图，图2(b)是表示本实施方式的车辆中的后方照相机、左后侧方照相机以及右后侧方照相机各自的设置位置以及拍摄范围的侧视图。
图3是表示由本实施方式的图像合成处理生成的合成图像的俯视图。
图4是表示本实施方式的图像显示动作的流程的流程图。
图5是示意性地表示后图像视场角的俯视图。
图6(a)是表示与通常视场角对应的左后侧方图像的俯视图，图6(b)是表示与放大视场角对应的左后侧方图像的俯视图。
图7(a)是表示与通常视场角对应的右后侧方图像的俯视图，图7(b)是表示与放大视场角对应的右后侧方图像的俯视图。
图8(a)是方向指示器未工作的情况下生成的合成图像的一个例子的俯视图，图8(b)是表示右指示器正工作的情况下生成的合成图像的一个例子的俯视图。
图9(a)以及图9(b)分别是表示转向操纵角与放大视场角的关系的图表。
图10是表示车辆左转的情况下被调整了的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围、车辆右转的情况下被调整了的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围、和车辆既不右转也不左转的情况下被调整了的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围的俯视图。
图11是表示在车辆左转的情况下所选择的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围、车辆右转的情况下所选择的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围、和车辆既不右转也不左转的情况下所选择的后方照相机、左后侧方照相机以及右后侧方照相机的拍摄范围的俯视图。
图12(a)至图12(b)分别是表示合成图像的一个例子的俯视图。
具体实施方式
以下，参照附图对图像显示装置的实施方式进行说明。以下，使用搭载有图像显示装置的实施方式的车辆1进行说明。
(1)车辆1的构成
首先，参照图1以及图2(a)至图2(b)对本实施方式的车辆1的构成进行说明。图1是表示本实施方式的车辆1的构成的框图。图2(a)是表示本实施方式的车辆1中的后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR的设置位置以及拍摄范围的俯视图，图2(b)是表示本实施方式的车辆1中的后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR的设置位置以及拍摄范围的侧视图。其中，在以下的说明中，在没有特殊标注的情况下，右、左以及后方分别是指相对于车辆1的行进方向的右、左以及后方。另外，在以下的说明中，根据需要，使用右侧与+Y侧对应、左侧与-Y侧对应、后方侧与-X侧对应、前方侧与+X侧对应、上侧与+Z侧对应并且下侧与-Z侧对应的XYZ坐标系来进行说明。
如图1所示，车辆1具备作为后述的附注中的“后方拍摄单元”的一个具体例子的后方照相机11B、作为后述的附注中的“第一以及第二后侧方拍摄单元的任意一方”的一个具体例子的左后侧方照相机11BL、作为后述的附注中的“第一以及第二后侧方拍摄单元的任意另一方”的一个具体例子的右后侧方照相机11BR、方向指示器121、转向操纵角传感器122、ECU(Electrical Control Unit：电子控制单元)13、以及作为后述的附注中的“显示单元”的一个具体例子的显示器14。
如图2(a)以及图2(b)所示，后方照相机11B是拍摄位于车辆1的后方(特别是正后方)的后方区域的拍摄设备。后方区域是包括当假设为在车辆1的车厢内设置有后视镜的情况下映现于该后视镜的区域的至少一部分的区域。换句话说，在本实施方式中，后方照相机11B构成代替设置于车辆1的车厢内的后视镜的所谓电子镜的一部分。为了拍摄车辆1的后方区域，后方照相机11B的拍摄中心位于车辆1的正后方。换句话说，后方照相机11B所具备的镜头等光学系统的光轴从车辆1朝向正后方延伸。结果，后方照相机11B的拍摄范围(或者视场角)IRB被设定为包括后方区域。
如图2(a)以及图2(b)所示，左后侧方照相机11BL是拍摄位于车辆1的后方(特别是，左侧方的后方(换句话说，左后侧方))的左后侧方区域的拍摄设备。左后侧方区域是包括当假设为在位于车辆1的左侧的左门设置有门镜的情况下在左门处于关闭状态的状况下设置于该左门的门镜中映出的区域的至少一部分的区域。换句话说，在本实施方式中，左后侧方照相机11BL构成代替设置于车辆1的左门的门镜的所谓电子镜的一部分。为了拍摄车辆1的左后侧方区域，左后侧方照相机11BL的拍摄中心位于从车辆1的后方起的左侧。换言之，左后侧方照相机11BL的拍摄中心位于比后方照相机11B的拍摄中心靠左侧。换句话说，左后侧方照相机11BL所具备的镜头等光学系统的光轴在比上述的后方照相机11B所具备的光学系统的光轴靠左侧的空间中朝向后方延伸。结果，左后侧方照相机11BL的拍摄范围(或者视场角)IRBL被设定为包括左后侧方区域。此外，拍摄范围IRBL也可以一部分与拍摄范围IRB重复。
如图2(a)以及图2(b)所示，右后侧方照相机11BR是拍摄位于车辆1的(特别是，右侧方的后方(换句话说，右后侧方))的右后侧方区域的拍摄设备。右后侧方区域是包括当假设为在位于车辆1的右侧的右门设置有门镜的情况下在右门处于关闭状态的状况下设置于该右门的门镜中映出的区域的至少一部分的区域。换句话说，在本实施方式中，右后侧方照相机11BR构成代替设置于车辆1的右门的门镜的所谓电子镜的一部分。为了拍摄车辆1的右后侧方区域，右后侧方照相机11BR的拍摄中心位于从车辆1的后方起的右侧。换言之，右后侧方照相机11BR的拍摄中心位于比后方照相机11B的拍摄中心靠右侧。换句话说，右后侧方照相机11BR所具备的镜头等光学系统的光轴在比上述的后方照相机11B所具备的光学系的光轴靠右侧的空间中，朝向后方延伸。结果，右后侧方照相机11BR的拍摄范围(或者视场角)IRBR被设定为包括右后侧方区域。此外，拍摄范围IRBR也可以一部分与拍摄范围IRB重复。
方向指示器121是在车辆1向左方或者右方行进(例如，车辆1右转、左转或者变更车道)时工作以便将车辆1的行进方向通知给车辆1的周围的装置。方向指示器121包括车辆1向左方前进的情况下工作的左指示器121L和车辆1向右方前进的情况下工作的右指示器121R。在本实施方式中，左指示器121L是设置于车辆1的相对左侧的灯。并且，右指示器121R是设置于车辆1的相对右侧的灯。该情况下，在车辆1右转或者向右方变更车道的情况下，右指示器121R闪烁而左指示器121L熄灭。另一方面，在车辆1左转或者向左方变更车道的情况下，左指示器121L闪烁而右指示器121R熄灭。其中，与左指示器121L的工作状态有关的信息从左指示器121L对ECU13输出。同样，与右指示器121R的工作状态有关的信息从右指示器121R对ECU13输出。
转向操纵角传感器122检测方向盘的旋转角度亦即转向操纵角。为了控制车辆1的行进方向而由车辆1的乘员操作方向盘。若乘员操作了方向盘，则车辆1的转向轮根据方向盘的旋转而转向。因此，转向操纵角与转向轮的转向角等效。与转向操纵角传感器122的检测结果有关的信息(换句话说，与转向操纵角有关的信息)从转向操纵角传感器122对ECU13输出。
ECU13控制车辆1的整体动作。在本实施方式中，特别是ECU13进行用于在显示器14显示后方照相机11B拍摄到的图像(换句话说，表示后方区域的状况的图像)、左后侧方照相机11BL拍摄到的图像(换句话说，表示左后侧方区域的状况的图像)、以及右后侧方照相机11BR拍摄到的图像(换句话说，表示右后侧方区域的状况的图像)的显示动作。以下，为了方便说明，将后方照相机11B拍摄到的图像称为“后方图像111B”，将左后侧方照相机11BL拍摄到的图像称为“左后侧方图像111BL”，将右后侧方照相机11BR拍摄到的图像称为“右后侧方图像111BR”。为了进行图像显示动作，作为在ECU13的内部逻辑实现的处理块，ECU13具备图像获取部131和作为后述的附注中的“合成单元”的一个具体例子的图像合成部132。
图像获取部131从后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR分别获取后方图像111B、左后侧方图像111BL以及右后侧方图像111BR。
图像合成部132通过进行将后方图像111B、左后侧方图像111BL以及右后侧方图像111BR合成的图像合成处理来生成合成图像111C。具体而言，图像合成部132通过裁剪后方图像111B，来从后方图像111B提取与后方图像111B的至少一部分的图像部分相当的后方图像112B。并且，图像合成部132通过裁剪左后侧方图像111BL，来从左后侧方图像111BL提取与左后侧方图像111BL的至少一部分的图像部分相当的左后侧方图像112BL。并且，图像合成部132通过裁剪右后侧方图像111BR，来从右后侧方图像111BR提取与右后侧方图像111BR的至少一部分的图像部分相当的右后侧方图像112BR。然后，图像合成部132生成左后侧方区域位于后方区域的左侧并且右后侧方区域位于后方区域的右侧的合成图像111C。换句话说，如图3所示，图像合成部132生成左后侧方图像112BL与后方图像112B的左侧相邻并且右后侧方图像112BR与后方图像112B的右侧相邻的合成图像111C。
并且，图像合成部132控制显示器14以显示所生成的合成图像111C。此外，显示器14设置于车辆1的车厢内，对于处于车厢内的车辆1的乘员显示合成图像111C。
(2)图像显示动作的流程
接着，参照图4更详细地对本实施方式的图像显示动作的流程进行说明。图4是表示本实施方式的图像显示动作的流程的流程图。
如图4所示，图像合成部132判定左指示器121L是否正工作(步骤S11)。换句话说，图像合成部132判定左指示器121L是否正闪烁(步骤S11)。
在步骤S11的判定结果是判定为左指示器121L正工作(换句话说，正闪烁)的情况下(步骤S11：是)，图像合成部132判定转向操纵角是否大于规定的阈值TH1(步骤S12)。步骤S12中使用的转向操纵角是指以处于中立状态的方向盘为基准而表示方向盘向左(换句话说，将转向轮向左方转向的方向)旋转多少的旋转角度。阈值TH1被设定为能够根据转向操纵角来区别乘员具有使车辆1左转的意图的状况和乘员具有使车辆1向与当前行驶的行驶车道的左侧相邻的行驶车道变更车道的意图的适当的值。在乘员具有使车辆1左转的意图的情况下，与乘员具有使车辆1变更车道的意图的情况相比，转向操纵角变大的可能性很高。因此，转向操纵角大于阈值TH1的状况相当于乘员具有使车辆1左转的意图的可能性相对高的状况。另一方面，转向操纵角小于阈值TH1的状况相当于乘员具有使车辆1变更车道的意图的可能性相对高的状况。
在步骤S12的判定结果是判定为转向操纵角大于阈值TH1的情况下(步骤S12：是)，推断为乘员具有使车辆1左转的意图。该情况下，图像合成部132将作为与后方图像112B有关的参数的后图像视场角θB设定为规定的通常视场角θB_N(步骤S15)。并且，图像合成部132将作为与左后侧方图像112BL有关的参数的左后图像视场角θBL设定为后述的大于规定的通常视场角θBL_N的规定的放大视场角θBL_L(步骤S15)。并且，图像合成部132将作为与右后侧方图像112BR有关的参数的右后图像视场角θBR设定为零(步骤S15)。
后图像视场角θB是用于以从某个虚拟视点起的角度表示在后方图像112B映现出的景象的范围的参数。如后述那样，若考虑后方图像112B是后方图像111B的至少一部分这一情况，则也可以说后图像视场角θB是用于以从某个虚拟视点起的角度表示从后方图像111B提取后方图像112B的提取范围的参数。具体如图5所示，后方图像112B相当于后方图像111B的至少一部分的图像部分。换句话说，后方图像112B相当于裁剪了后方图像111B的至少一部分后残留的图像部分。该后方图像112B的提取范围(换句话说，在后方图像112B映现出的景象的范围)能够由从虚拟视点P沿该提取范围的外缘延伸的虚拟的线或者面所成的角度来表现。该角度相当于后图像视场角θB。如图5所示，通常来说，后图像视场角θB包括从虚拟视点P沿着后方图像112B的提取范围中的沿垂直方向延伸的一对外缘延伸的虚拟的线或者面所成的角度(换句话说，水平方向的角度)θBh、以及从虚拟视点P沿着后方图像112B的提取范围中的沿水平方向延伸的一对外缘延伸的虚拟的线或者面所成的角度(换句话说，垂直方向的角度)θBv。在本实施方式中，后图像视场角θB是指相当于水平方向的角度的后图像视场角θBh。但是，后图像视场角θB也可以除了后图像视场角θBh或者代替后图像视场角θBh，还指相当于垂直方向的角度的后图像视场角θBv。在后图像视场角θB是指后图像视场角θBh以及后图像视场角θBv双方的情况下，步骤S15中的“将后图像视场角θB设定为通常视场角θB_N”的动作是指将后图像视场角θBh设定为与水平方向对应的通常视场角θBh_N并且将后图像视场角θBv设定为与垂直方向对应的通常视场角θBv_N。
左后图像视场角θBL以及右后图像视场角θBR都与后图像视场角θB相同。换句话说，左后图像视场角θBL是用于通过从某个虚拟视点起的角度(在本实施方式中为水平方向的角度)表示从左后侧方图像111BL提取左后侧方图像112BL的提取范围(换言之，在左后侧方图像112BL映现出的景象的范围)的参数。同样，右后图像视场角θBR是用于通过从某个虚拟视点起的角度(在本实施方式中为水平方向的角度)表示从右后侧方图像111BR提取右后侧方图像112BR的提取范围(换言之，在右后侧方图像112BR映现出的景象的范围)的参数。
再次返回到图4，另一方面，在步骤S12的判定结果是判定为转向操纵角为阈值TH1以下的情况下(步骤S12：否)，推断为乘员具有使车辆1变更车道的意图。或者，根据情况，推断为尽管乘员不具有使车辆1向左方行进的意图但乘员错误地使左指示器121L工作。该情况下，图像合成部132将后图像视场角θB设定通常视场角θB_N(步骤S17)。并且，图像合成部132将左后图像视场角θBL设定为规定的通常视场角θBL_N(步骤S17)。并且，图像合成部132将右后图像视场角θBR设定为规定的通常视场角θBR_N(步骤S17)。
另一方面，在步骤S11的判定结果是判定为左指示器121L未工作(换句话说，熄灭)的情况下(步骤S11：否)，图像合成部132判定右指示器121R是否正工作(步骤S13)。换句话说，图像合成部132判定右指示器121R是否正闪烁(步骤S13)。
在步骤S13的判定结果是判定为右指示器121R正工作(换句话说，正闪烁)的情况下(步骤S13：是)，图像合成部132判定转向操纵角是否大于规定的阈值TH2(步骤S14)。步骤S14中使用的转向操纵角是指以处于中立状态的方向盘为基准，表示方向盘向右(换句话说，将转向轮向右方转向的方向)旋转多少的旋转角度。阈值TH2被设定为能够根据转向操纵角来区别乘员具有使车辆1右转的意图的状况和乘员具有使车辆1向与当前行驶的行驶车道的右侧相邻的行驶车道变更车道的意图的状况的适当的值。在乘员具有使车辆1右转的意图的情况下，与乘员具有使车辆1变更车道的意图的情况相比，转向操纵角变大的可能性高。因此，转向操纵角大于阈值TH2的状况相当于乘员具有使车辆1右转的意图的可能性相对高的状况。另一方面，转向操纵角小于阈值TH2的状况相当于乘员具有使车辆1变更车道的意图的可能性相对高的状况。这样的阈值TH2通常与上述的阈值TH1相同。但是，作为阈值TH2，也可以使用与阈值TH1不同的值。
在步骤S14的判定结果是判定为转向操纵角大于阈值TH2的情况下(步骤S14：是)，推断为乘员具有使车辆1右转的意图。该情况下，图像合成部132将后图像视场角θB设定为通常视场角θB_N(步骤S16)。并且，图像合成部132将左后图像视场角θBL设定为零(步骤S16)。并且，图像合成部132将右后图像视场角θBR设定为比上述的通常视场角θBR_N大的规定的放大视场角θBR_L(步骤S16)。
另一方面，在步骤S14的判定结果是判定为转向操纵角是阈值TH2以下的情况下(步骤S14：否)，推断为乘员具有使车辆1变更车道的意图。或者，根据情况，推断为尽管乘员不具有使车辆1向右方行进的意图但乘员错误地使右指示器121R工作。该情况下，图像合成部132将后图像视场角θB、左后图像视场角θBL以及右后图像视场角θBR分别设定为通常视场角θB_N、通常视场角θBL_N以及通常视场角θBR_N(步骤S17)。
另一方面，在步骤S13的判定结果是判定为右指示器121R未工作(换句话说，熄灭)的情况下(步骤S13：否)，图像合成部132也将后图像视场角θB、左后图像视场角θBL以及右后图像视场角θBR分别设定为通常视场角θB_N、通常视场角θBL_N以及通常视场角θBR_N(步骤S17)。
然后，图像合成部132从后方图像111B提取与在步骤S15至S17的任一步骤中设定的后图像视场角θB对应的图像部分作为后方图像112B(步骤S21)。此外，在图4所示的例子中，后图像视场角θB被设定为通常视场角θB_N。因此，从后方图像111B提取与通常视场角θB_N对应的图像部分作为后方图像112B。
并且，图像合成部132从左后侧方图像111BL提取与在步骤S15至S17的任一步骤中设定的左后图像视场角θBL对应的图像部分作为左后侧方图像112BL(步骤S21)。例如，在左后图像视场角θBL被设定为通常视场角θBL_N的情况下，如图6(a)所示，从左后侧方图像111BL提取与通常视场角θBL_N对应的相对较小的图像部分作为左后侧方图像112BL。例如，在左后图像视场角θBL设定为放大视场角θBL_L的情况下，如图6(b)所示，从左后侧方图像111BL提取与放大视场角θBL_L对应的相对较大的图像部分作为左后侧方图像112BL。例如，在左后图像视场角θBL设定为零的情况下，不从左后侧方图像111BL提取左后侧方图像112BL。
优选图像合成部132在左后侧方图像111BL中，以与放大视场角θBL_L对应的左后侧方图像112BL的左侧的边(换句话说，形成与后方图像112B的边界的右侧的边的相反一侧的边)1121_L的位置位于比与通常视场角θBL_N对应的左后侧方图像112BL的左侧的边1121_N的位置靠左方的方式提取左后侧方图像112BL。结果，在与放大视场角θBL_L对应的左后侧方图像112BL中映出出比与通常视场角θBL_N对应的左后侧方图像112BL映现出的景象靠左方的景象。另一方面，图像合成部132在左后侧方图像111BL中，以与放大视场角θBL_L对应的左后侧方图像112BL的右侧的边(换句话说，形成与后方图像112B的边界的边)1122_L的位置和与通常视场角θBL_N对应的左后侧方图像112BL的右侧的边1122_N的位置相同或者不同的方式提取左后侧方图像112BL。
并且，图像合成部132从右后侧方图像111BR提取与在步骤S15至S17的任一步骤中设定的右后图像视场角θBR对应的图像部分作为右后侧方图像112BR(步骤S21)。例如，在右后图像视场角θBR被设定为通常视场角θBR_N的情况下，如图7(a)所示，从右后侧方图像111BR提取与通常视场角θBR_N对应的相对较小的图像部分作为右后侧方图像112BR。例如，在右后图像视场角θBR被设定为放大视场角θBR_L的情况下，如图7(b)所示，从右后侧方图像111BR提取与放大视场角θBR_L对应的相对较大的图像部分作为右后侧方图像112BR。例如，在右后图像视场角θBR被设定为零的情况下，不从右后侧方图像111BR提取右后侧方图像112BR。
优选图像合成部132在右后侧方图像111BR中，以与放大视场角θBR_L对应的右后侧方图像112BR的右侧的边(换句话说，形成与后方图像112B的边界的左侧的边的相反一侧的边)1123_L的位置位于比与通常视场角θBR_N对应的右后侧方图像112BR的右侧的边1123_N的位置靠右方的方式提取右后侧方图像112BR。结果，在与放大视场角θBR_L对应的右后侧方图像112BR中映现出比在与通常视场角θBR_N对应的右后侧方图像112BR映现出的景象靠右方的景象。另一方面，图像合成部132在右后侧方图像111BR中，以与放大视场角θBR_L对应的右后侧方图像112BR的左侧的边(换句话说，形成与后方图像112B的边界的边)1124_L的位置和与通常视场角θBR_N对应的右后侧方图像112BR的左侧的边1124_N的位置相同或者不同的方式提取右后侧方图像112BR。
然后，图像合成部132使用在步骤S21中提取出的后方图像112B、左后侧方图像112BL以及右后侧方图像112BR，生成左后侧方图像112BL与后方图像112B的左侧相邻并且右后侧方图像112BR与后方图像112B的右侧相邻的合成图像111C(步骤S22)。但是，如上所述，在左后图像视场角θBL被设定为零的情况下，不提取左后侧方图像112BL。该情况下，图像合成部132生成右后侧方图像112BR与后方图像112B的右侧相邻但不包含左后侧方图像112BL的合成图像111C。同样，如上所述，在右后图像视场角θBR被设定为零的情况下，不提取右后侧方图像112BR。该情况下，图像合成部132生成左后侧方图像112BL与后方图像112B的左侧相邻但不包含右后侧方图像112BR的合成图像111C。
在生成合成图像111C的过程中，图像合成部132可以进行视点转换处理、图像旋转处理、放大缩小处理以及图像形成处理的至少一个作为图像合成处理的一部分，以使后方图像112B、左后侧方图像112BL以及右后侧方图像112BR在合成图像111C中无缝地连接。视点转换处理是转换后方图像111B以及112B、左后侧方图像111BL以及112BL、和右后侧方图像111BR以及112BR中的至少一个的视点的处理。图像旋转处理是使后方图像111B以及112B、左后侧方图像111BL以及112BL、和右后侧方图像111BR以及112BR中的至少一个旋转的处理。放大缩小处理是将后方图像111B以及112B、左后侧方图像111BL以及112BL、和右后侧方图像111BR以及112BR的至少一个放大或者缩小的处理。图像形成处理是转换后方图像111B以及112B、左后侧方图像111BL以及112BL、和右后侧方图像111BR以及112BR的至少一个的形状的处理。
在左后图像视场角θBL被设定为放大视场角θBL_L的情况下，与左后图像视场角θBL被设定为通常视场角θBL_N的情况相比较，左后侧方图像112BL相对变大。因此，在左后图像视场角θBL被设定为放大视场角θBL_L的情况下，与左后图像视场角θBL被设定为通常视场角θBL_N的情况相比，图像合成部132以左后侧方图像112BL在合成图像111C中所占的区域的比例变大的方式生成合成图像111C。换句话说，图像合成部132以左后图像视场角θBL越大则左后侧方图像112BL在合成图像111C中所占的区域的比例越大的方式生成合成图像111C。根据相同的理由，图像合成部132以右后图像视场角θBR越大则右后侧方图像112BR在合成图像111C中所占的区域的比例越大的方式生成合成图像111C。其中，图8(a)表示在后图像视场角θB、左后图像视场角θBL以及右后图像视场角θBR分别被设定为通常视场角θB_N、θBL_N以及θBR_N的情况下生成的合成图像111C的一个例子。另一方面，图8(b)表示在后图像视场角θB、左后图像视场角θBL以及右后图像视场角θBR分别被设定为通常视场角θB_L、零以及放大视场角θBR_L的情况(换句话说，车辆1右转的情况)下生成的合成图像111C。
然后，显示器14显示在步骤S22中生成的合成图像111C(步骤S23)。
此外，在上述的说明中，在步骤S12的判定结果是判定为转向操纵角与阈值TH1相同的情况下，进行在判定为转向操纵角小于阈值TH1的情况下进行的处理，但也可以进行在判定为转向操纵角大于阈值TH1的情况下进行的处理。同样，在上述的说明中，在步骤S14的判定结果是判定为转向操纵角与阈值TH2相同的情况下，进行在判定为转向操纵角小于阈值TH2的情况下进行的处理，但也可以进行在判定为转向操纵角大于阈值TH2的情况下进行的处理。
(3)技术效果
如以上说明那样，根据本实施方式的图像显示动作，与不管方向指示器121的工作状态如何，后图像视场角θB、左后图像视场角θBL以及右后图像视场角θBR都被固定并且后方图像112B、左后侧方图像112BL以及右后侧方图像112BR在合成图像111C中所占的区域的比例被固定的比较例的图像显示动作相比较，能够在车辆1右转或者左转的情况下生成乘员能够适当地掌握车辆1的周围的状况的合成图像111C。
具体而言，在车辆右转的情况(换句话说，推断为乘员具有使车辆1右转的意图的情况、即右指示器121R工作并且转向操纵角大于阈值TH2的情况)下，优选乘员更多注意车辆的右后侧方的状况。在本实施方式中，在车辆1右转的情况下，与车辆1不右转的情况相比较，右后图像视场角θBR变大。若右后图像视场角θBR相对变大，则如图8(b)所示，在与右后图像视场角θBR对应的右后侧方图像112BR中映现出更宽范围的景象。换句话说，右后侧方图像112BR的死角(换句话说，在右后侧方图像112BR不映出的死角)相对变小。结果，若不变更右后图像视场角θBR则包含于右后侧方图像112BR的死角的物体(例如，行人等)包含于右后侧方图像112BR的可能性相对变高。因此，乘员易于掌握车辆1的右后侧方的状况。换句话说，乘员能够更多地注意车辆1的右后侧方的状况。因此，在车辆1右转的情况下，能够生成乘员可适当地掌握车辆1的周围的状况(特别是，车辆1的右后侧方的状况)的合成图像111C。
并且，在车辆1右转的情况下，与车辆1不右转的情况相比，右后侧方图像112BR在合成图像111C中所占的区域的比例变大。换句话说，如图8(b)所示，在合成图像111C中以相对较大的显示区域显示右后侧方图像112BR。若以相对较大的显示区域显示右后侧方图像112BR，则乘员能够更多地注意车辆1的右后侧方的状况。因此，在车辆1右转的情况下，可生成乘员能够适当地掌握车辆1的周围的状况(特别是车辆1的右后侧方的状况)的合成图像111C。
此外，在车辆1左转的情况(换句话说，推断为乘员具有使车辆1左转的意图的情况、即左指示器121L工作并且转向操纵角大于阈值TH1的情况)下，也根据与车辆1右转的情况相同的理由，可生成乘员能够适当地掌握车辆1的周围的状况(特别是车辆1的左后侧方的状况)的合成图像111C。
并且，在本实施方式中，能够适当地防止乘员对于合成图像111C的显示内容的意外变更(例如，从图8(a)所示的显示内容向图8(b)所示的显示内容的变更)感觉烦恼。具体而言，如上所述，在尽管左指示器121L正工作但转向操纵角为阈值TH1以下的情况下，推断为车辆1变更车道或者乘员错误地使左指示器121L工作。换句话说，推断为乘员不具有使车辆1左转的意图。在这样的情况下，若仅以左指示器121L正在工作为理由而判定为乘员具有使车辆1左转的意图并变更左后图像视场角θBL以及右后侧方图像112BR在合成图像111C中所占的区域的比例，则尽管乘员没有使车辆1左转的意图，合成图像111C的显示内容也切换为乘员能够适当地掌握车辆1的左后侧方的状况那样的显示内容。因此，乘员有可能对违反乘员的意图的合成图像111C的显示内容的变更感觉烦恼。然而，在本实施方式中，当虽然左指示器121L正在工作但推断为乘员不具有使车辆1左转的意图的情况(换句话说，转向操纵角为阈值TH1以下的情况)下，左后图像视场角θBL维持通常视场角θBL_N并且右后侧方图像112BR在合成图像111C中所占的区域的比例也维持与通常视场角θBL_N对应的比例。因此，能够适当地防止由于违反乘员的意图地变更合成图像111C的显示内容而乘员感觉烦恼这一情况。此外，在虽然右指示器121R正在工作但推断为乘员不具有使车辆1右转的意图的情况(换句话说，转向操纵角为阈值TH2以下的情况)下也可以相同。
并且，在本实施方式中，在车辆1左转的情况下，生成不包括右后侧方图像112BR的合成图像111C。因此，与生成包括右后侧方图像112BR的合成图像111C的情况相比较，能够生成左后侧方图像112BL在合成图像111C中所占的区域的比例更大的合成图像111C。换句话说，能够在更大的显示区域显示左后侧方图像112BL。因此，在车辆1左转的情况下，可生成乘员能够进一步适当地掌握车辆1的周围的状况(特别是，车辆1的左后侧方的状况)的合成图像111C。此外，在车辆1右转的情况下，生成不包括左后侧方图像112BL的合成图像111C。因此，在车辆1右转的情况下，也根据与车辆1左转的情况相同的理由，可生成乘员能够进一步适当地掌握车辆1的周围的状况(特别是，车辆1的右后侧方的状况)的合成图像111C。
(4)变形例
接着，对图像显示动作的变形例进行说明。
(4-1)图像显示动作的第一变形例
图像合成部132也可以根据转向操纵角(特别是，这里以处于中立状态的方向盘为基准，表示方向盘向左旋转多少的旋转角度)，来变更放大视场角θBL_L的大小。具体如图9(a)至图9(b)所示，图像合成部132也可以按照转向操纵角越大则放大视场角θBL_L越大的方式变更放大视场角θBL_L的大小。其中，图9(a)示出放大视场角θBL_L连续变大的例子，图9(b)示出放大视场角θBL_L分阶段变大的例子。该情况下，越是为了使车辆1左转而方向盘向左旋转，则左后图像视场角θBL越大。因此，能够根据车辆1的左转进行多少，来将映现出适当的范围的景象的左后侧方图像112BL显示到适当的大小的显示区域。
根据相同的理由，图像合成部132也可以根据转向操纵角(特别是，这里以处于中立状态的方向盘为基准，表示方向盘向右旋转多少的旋转角度)，来变更放大视场角θBR_L的大小。
(4-2)图像显示动作的第二变形例
在上述的说明中，图像合成部132为了生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C(换句话说，包括与左后图像视场角θBL以及右后图像视场角θBR分别对应的左后侧方图像112BL以及右后侧方图像112BR的合成图像111C)，而变更从左后侧方图像111BL以及右后侧方图像111BR提取左后侧方图像112BL以及右后侧方图像112BR的提取范围。换句话说，图像合成部132通过对左后侧方图像111BL以及右后侧方图像111BR实施基于左后图像视场角θBL以及右后图像视场角θBR的图像处理，来生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C。然而，图像合成部132也可以使用其他的方法，来生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C。以下，对用于生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C的其他方法的一个例子进行说明。
图像合成部132可以通过控制左后侧方照相机11BL以及右后侧方照相机11BR来生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C。例如，图像合成部132可以通过控制左后侧方照相机11BL以及右后侧方照相机11BR的光学参数以使拍摄范围IRBL以及IRBR改变来生成与左后图像视场角θBL以及右后图像视场角θBR对应的合成图像111C。该情况下，左后侧方照相机11BL以及右后侧方照相机11BR的光学参数的变更分别与左后图像视场角θBL以及右后图像视场角θBR的变更等效。作为光学参数的一个例子，可举出左后侧方照相机11BL以及右后侧方照相机11BR各自具备的光学系统(例如，镜头等)的焦距作为一个例子。该情况下，图像合成部132可以在车辆1左转的情况下，如图10的左下所示，控制左后侧方照相机11BL以使左后侧方照相机11BL的拍摄范围IRBL成为与放大视场角θBL_L对应的相对较大的拍摄范围IRBL_L。另一方面，图像合成部132可以在车辆1右转的情况下，如图10的右下所示，控制右后侧方照相机11BR以使右后侧方照相机11BR的拍摄范围IRBR成为与放大视场角θBR_L对应的相对较大的拍摄范围IRBR_L。另一方面，图像合成部132可以在车辆1既不左转也不右转的情况下，如图10的上部所示，控制左后侧方照相机11BL以及右后侧方照相机11BR，以使左后侧方照相机11BL的拍摄范围IRBL成为与通常视场角θBL_N对应的拍摄范围IRBL_N、右后侧方照相机11BR的拍摄范围IRBR成为与通常视场角θBR_N对应的拍摄范围IRBR_N。该情况下，左后侧方照相机11BL拍摄到的左后侧方图像111BL实际上与左后侧方图像112BL一致。同样，右后侧方照相机11BR拍摄到的右后侧方图像111BR实际上与右后侧方图像112BR一致。
此外，由于在上述的说明中后方图像视场角θB总是被设定为通常视场角θB_N，所以在图10所示的例子中，后方照相机11B的拍摄范围IRB总是被设定为与通常视场角θB_N对应的拍摄范围IRB_N。然而，在如后述那样变更后方图像视场角θB的情况下，后方照相机11B的拍摄范围IRB也可以根据后方图像视场角θB变更。
或者，在车辆1具备拍摄范围IRBL不同的多个左后侧方照相机11BL的情况下，图像合成部132可以通过基于方向指示器121的工作状态以及转向操纵角从多个左后侧方照相机11BL中选择实际拍摄左后侧方图像111BL的一个左后侧方照相机11BL，来生成与左后图像视场角θBL对应的合成图像111C。该情况下，所使用的左后侧方照相机11BL的变更与左后图像视场角θBL的变更等效。具体而言，车辆1可以具备拍摄范围IRBL成为与通常视场角θBL_N对应的拍摄范围IRBL_N的左后侧方照相机11BL_N和拍摄范围IRBL成为与放大视场角θBL_L对应的拍摄范围IRBL_L的左后侧方照相机11BL_L。该情况下，图像合成部132在车辆1左转的情况下，如图11的左下所示，左后侧方照相机11BL_L拍摄左后侧方图像111BL，在车辆1不左转也不右转的情况下，如图11的上部所示，可以控制左后侧方照相机11BL_N以及左后侧方照相机11BL_L以使左后侧方照相机11BL_N拍摄左后侧方图像111BL。
同样，在车辆1具备拍摄范围IRBR不同的多个右后侧方照相机11BR的情况下，图像合成部132可以通过基于方向指示器121的工作状态以及转向操纵角从多个右后侧方照相机11BR中选择实际拍摄右后侧方图像111BR的一个右后侧方照相机11BR，来生成与右后图像视场角θBR对应的合成图像111C。该情况下，所使用的右后侧方照相机11BR的变更与右后图像视场角θBR的变更等效。具体而言，车辆1可以具有拍摄范围IRBR为与通常视场角θBR_N对应的拍摄范围IRBR_N的右后侧方照相机11BR_N和拍摄范围IRBR为与放大视场角θBR_L对应的拍摄范围IRBR_L的右后侧方照相机11BR_L。该情况下，图像合成部132可以控制右后侧方照相机11BR_N以及右后侧方照相机11BR_L，以便在车辆1右转的情况下，如图11的右下所示，右后侧方照相机11BR_L拍摄右后侧方图像111BR，而在车辆1既不左转也不右转的情况下，如图11的上部所示，右后侧方照相机11BR_N拍摄右后侧方图像111BR_N。该情况下，右后侧方照相机11BR拍摄到的右后侧方图像111BR实际上与右后侧方图像112BR一致。
此外，在上述的说明中，由于后方图像视场角θB总是被设定为通常视场角θB_N，所以在图11所示的例子中，拍摄范围IRB为与通常视场角θB_N对应的拍摄范围IRB_N的后方照相机11B拍摄后方图像111B。然而，如后述那样后方图像视场角θB被变更的情况下，也可以从车辆1具备的多个后方照相机11B中选择实际拍摄后方图像111B的一个后方照相机11B。
(4-3)图像显示动作的第三变形例
在上述的说明中，在车辆1右转的情况下，图像合成部132将右后图像视场角θBR设定为放大视场角θBR_L，并且右后侧方图像112BR在合成图像111C中所占的区域的比例也扩大。然而，在车辆1右转的情况下，图像合成部132也可以保持右后图像视场角θBR固定不变，将右后侧方图像112BR在合成图像111C中所占的区域的比例放大。该情况下，如图12(a)所示，图像合成部132在将右后侧方图像112BR沿左右方向拉伸后，使用拉伸后的右后侧方图像112BR来生成合成图像111C。或者，在车辆1右转的情况下，图像合成部132也可以保持右后侧方图像112BR在合成图像111C中所占的区域的比例固定不变，将右后图像视场角θBR设定为放大视场角θBR_L。该情况下，如图12(b)所示，图像合成部132可以将右后侧方图像112BR沿左右方向缩小，之后使用缩小了的右后侧方图像112BR，来生成合成图像111C。该情况下，也通过右后图像视场角θBR的变更或者右后侧方图像112BR在合成图像111C中所占的区域的比例的变更，显示包括映现出相对宽范围的景象的右后侧方图像112BR的合成图像111C或者使用相对较大的区域来显示右后侧方图像112BR的合成图像111C。因此，由于乘员能够更多地注意车辆1的右后侧方的状况这一点没有改变，所以能够相应地获得与上述的效果相同的效果。车辆1左转的情况下的合成图像111C也相同。
(4-4)其他的变形例
在上述的说明中，图像合成部132在车辆1左转的情况下，将右后图像视场角θBR设定为零。然而，图像合成部132也可以在车辆1左转的情况下，将右后图像视场角θBR设定为大于零的值。例如，图像合成部132可以将右后图像视场角θBR设定为比通常视场角θBR_N小的规定的缩小视场角θBR_S。同样，在上述的说明中，图像合成部132在车辆1右转的情况下，将左后图像视场角θBL设定为零。然而，图像合成部132也可以在车辆1右转的情况下，将左后图像视场角θBL设定为大于零的值。例如，图像合成部132可以将左后图像视场角θBL设定为比通常视场角θBL_N小的规定的缩小视场角θBL_S。
在上述的说明中，图像合成部132在车辆1左转或者右转的情况下，将后图像视场角θB设定为通常视场角θB_N。然而，图像合成部132在车辆1左转或者右转的情况下，既可以将后图像视场角θB设定为大于通常视场角θB_N的规定的放大视场角θB_L，也可以设定为小于通常视场角θB_N的规定的缩小视场角θB_S。此外，该情况下，图像合成部132也可以根据后图像视场角θB的变更来变更后方图像112B在合成图像111C中所占的区域的比例。
在上述的说明中，即使在左指示器121L正工作的情况下，当转向操纵角是阈值TH1以下时，图像合成部132也不将左后图像视场角θBL设定为放大视场角θBL_L。然而，也可以在左指示器121L正工作的情况下，即使当转向操纵角是阈值TH1以下时，图像合成部132也将左后图像视场角θBL设定为放大视场角θBL_L。同样，在上述的说明中，即使在右指示器121R正工作的情况下，当转向操纵角是阈值TH2以下时，图像合成部132也不将右后图像视场角θBR设定为放大视场角θBR_L。然而，也可以在右指示器121R工作的情况下，即使当转向操纵角是阈值TH2以下时，图像合成部132也将右后图像视场角θBR设定为放大视场角θBR_L。
在上述的说明中，与转向操纵角比较的阈值TH1被设定为能够区别乘员具有使车辆1左转的意图的状况和乘员具有使车辆1向与当前行驶的行驶车道的左侧相邻的行驶车道变更车道的意图的状况的适当的值。然而，在车辆1向与当前行驶的行驶车道的左侧相邻的行驶车道变更车道时，也优选乘员更加相应地注意车辆的左后侧方的状况这一点没有改变。因此，阈值TH1也可以被设定为能够区别乘员具有使车辆1向左方行进(例如，左转或者使车辆1向与当前行驶的行驶车道的左侧相邻的行驶车道变更车道)的意图的状况和乘员不具有使车辆1向左方行进的意图(例如，具有使车辆1直行的意图)的状况的适当的值。结果，除了车辆1左转的情况以外，在车辆1变更车道的情况下，也可生成乘员能够适当地掌握车辆1的周围的状况(特别是，车辆1的左后侧方的状况)的合成图像111C。根据相同的理由，与转向操纵角比较的阈值TH2也可以被设定为能够区别乘员具有使车辆1向右方行进(例如，右转或者使车辆1向与当前行驶的行驶车道的右侧相邻的行驶车道变更车道)的意图的状况和乘员不具有使车辆1向右方行进的意图(例如，具有使车辆1直行的意图)状况的适当的值。
(5)附注
对于以上说明的实施方式，进一步公开以下的附注。
(5-1)附注1
附注1所记载的图像显示装置的特征在于，具备：合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像与由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄到的第一后侧方图像合成来生成合成图像；以及显示单元，显示上述合成图像，上述合成单元在生成上述合成图像时，基于与为了通知上述车辆向左右一侧行进而能够工作的第一方向指示器有关的第一信息，变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例。
第一方向指示器在车辆向左右一侧行进(例如，车辆右转或者左转、或者变更车道)的情况下工作。因此，根据附注1所记载的图像显示装置，与不基于第一信息来变更后方图像以及第一后侧方图像在合成图像中所占的区域的比例(换句话说，保持固定)的比较例的图像显示装置相比较，在车辆向左右一侧行进的情况下，也可生成乘员能够适当地掌握车辆的周围的状况的合成图像。
(5-2)附注2
附注2所记载的图像显示装置基于附注1所记载的图像显示装置，其特征在于，在上述第一信息表示上述第一方向指示器正工作的情况下，与上述第一信息表示上述第一方向指示器未工作的情况相比，上述合成单元变更上述第一后侧方图像在上述合成图像中所占的区域的比例，以使上述第一后侧方图像在上述合成图像中所占的区域的比例变大。
优选在车辆向左右一侧行进的情况下，车辆的乘员更多地注意左右一侧中的车辆的后侧方的状况。根据附注2所记载的图像显示装置，在第一方向指示器正工作的情况下，第一后侧方图像在合成图像中所占的区域的比例相对变大。结果，乘员能够更多地注意左右一侧中的车辆的后侧方的状况。
(5-3)附注3
附注3所记载的图像显示装置基于附注1或者2所记载的图像显示装置，其特征在于，上述合成单元变更上述第一后侧方图像在上述合成图像中所占的区域的比例，以使上述车辆的转向轮向左右一侧的转向角越大，则上述第一后侧方图像在上述合成图像中所占的区域的比例越大。
根据附注3所记载的图像显示装置，可根据车辆向左右一侧的行进状况来调整第一后侧方图像在合成图像中所占的区域的比例。因此，在合成图像中，第一后侧方图像被显示在与车辆向左右一侧的行进状况对应的适当大小的显示区域。
(5-4)附注4
附注4所记载的图像显示装置基于附注1～3中任一项所记载的图像显示装置，其特征在于，在上述车辆的转向轮向左右一侧的转向角大于规定的第一阈值的情况下，上述合成单元基于上述第一信息来变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例，在上述转向角小于上述第一阈值的情况下，不变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例。
根据附注4所记载的图像显示装置，能够适当地防止由于违反乘员的意图地变更合成图像的显示内容而使乘员感觉烦恼。
(5-5)附注5
附注5所记载的图像显示装置基于附注1～4中任一项所记载的图像显示装置，其特征在于，上述合成单元将上述后方图像、上述第一后侧方图像、以及由左右另一侧的能够拍摄上述车辆的后侧方的第二后侧方拍摄单元拍摄到的第二后侧方图像合成来生成上述合成图像，上述合成单元在生成上述合成图像时，基于上述第一信息以及与为了通知上述车辆向左右另一侧行进而能够工作的第二方向指示器有关的第二信息，变更上述后方图像、上述第一后侧方图像以及上述第二后侧方图像在上述合成图像中所占的区域的比例，在上述第一信息表示上述第一方向指示器正工作而上述第二信息表示上述第二方向指示器未工作的情况下，上述合成单元变更上述第二后侧方图像在上述合成图像中所占的区域的比例，以使上述第二后侧方图像在上述合成图像中所占的区域的比例为零。
根据附注5所记载的图像显示装置，在第一方向指示器正工作而第二方向指示器未工作的情况下，合成图像中不包含第二后侧方图像。结果，与在合成图像中第二后侧方图像所占的区域的比例不为零(换句话说，合成图像中包含有第二后侧方图像)的情况相比较，合成单元能够进一步增大第一后侧方图像在合成图像中所占的区域的比例。
(5-6)附注6
附注6所记载的图像显示装置基于附注1～5中任一项所记载的图像显示装置，其特征在于，上述合成单元在生成上述合成图像时，基于上述第一信息来变更上述合成图像中的与上述后方图像对应的第一图像部分以及与上述第一后侧方图像对应的第二图像部分的至少一方的视场角。
根据附注6所记载的图像显示装置，与不基于第一信息来变更第一图像部分以及第二图像部分的视场角(换句话说，保持固定不变的)比较例的图像显示装置相比较，在车辆向左右一侧行进的情况下，也可生成乘员能够适当地掌握车辆的周围的状况的合成图像。其中，附注中的“某个图像部分的视场角”是指用于以从某个虚拟视点起的角度表示在显示单元所显示的某个图像部分映现出的景象的范围的指标值。
(5-7)附注7
附注7所记载的图像显示装置的特征在于，具备：合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄到的第一后侧方图像合成来生成合成图像；以及显示单元，显示上述合成图像，上述合成单元在生成上述合成图像时，基于与为了通知上述车辆向左右一侧行进而能够工作的第一方向指示器有关的第一信息，来变更上述合成图像中的与上述后方图像对应的第一图像部分以及与上述第一后侧方图像对应的第二图像部分的至少一方的视场角。
根据附注7所记载的图像显示装置，与不基于第一信息来变更第一图像部分以及第二图像部分的视场角的比较例的图像显示装置相比较，在车辆向左右一侧行进的情况下，也可生成乘员能够适当地掌握车辆的周围的状况的合成图像。
(5-8)附注8
附注8所记载的图像显示装置基于附注6或者7所记载的图像显示装置，其特征在于，在上述第一信息表示上述第一方向指示器正工作的情况下，与上述第一信息表示上述第一方向指示器未工作的情况相比，上述合成单元变更上述第二图像部分的视场角以使上述第二图像部分的视场角变大。
根据附注8所记载的图像显示装置，在第一方向指示器正工作的情况下，第二图像部分的视场角相对变大。若第二图像部分的视场角相对变大，则在第二图像部分映现出更宽范围的景象(换句话说，第二图像部分的死角相对变小)。结果，能够更多地注意左右一侧中的车辆的后侧方的状况。因此，图像显示装置在车辆向左右一侧行进的情况下，可生成乘员能够适当地掌握车辆的周围的状况的合成图像。
(5-9)附注9
附注9所记载的图像显示装置基于附注6～8中任一项所记载的图像显示装置，其特征在于，上述合成单元变更上述第二图像部分的视场角，以使上述车辆的转向轮向左右一侧的转向角越大，则上述第二图像部分的视场角越大。
根据附注9所记载的图像显示装置，车辆根据向左右一侧的行进状况来调整第二图像部分的视场角。因此，在合成图像中，显示与车辆向左右一侧的行进状况对应的适当的视场角的第二图像部分。
(5-10)附注10
附注10所记载的图像显示装置基于附注6～9中任一项所记载的图像显示装置，其特征在于，上述合成单元变更上述第一图像部分以及第二图像部分的至少一方的视场角，以使在上述第一信息表示上述第一方向指示器正工作的情况下生成的上述合成图像中包含有比在上述第一信息表示上述第一方向指示器未工作的情况下生成的上述合成图像所包含的第一景象靠左右一侧的侧方的第二景象。
根据附注10所记载的图像显示装置，能够生成包括表示左右一侧中的车辆的后侧方的更宽范围的状况的第二图像部分的合成图像。
(5-11)附注11
附注11所记载的图像显示装置基于附注6～10中任一项所记载的图像显示装置，其特征在于，上述合成单元变更上述第二图像部分的视场角，以使上述车辆的转向轮向左右一侧的转向角越大，则从上述第一景象向左右一侧的侧方越远离的位置的上述第二景象包含于上述合成图像。
根据附注11所记载的图像显示装置，可根据车辆的向左右一侧的行进状况来调整第二图像部分所包含的景象的范围。因此，在合成图像中，可显示与车辆向左右一侧的行进状况对应的适当的视场角的第二图像部分。
(5-12)附注12
附注12所记载的图像显示装置基于附注6～11中任一项所记载的图像显示装置，其特征在于，在上述车辆的转向轮向左右一侧的转向角大于规定的第二阈值的情况下，上述合成单元基于上述第一信息来变更上述第一图像部分以及第二图像部分的至少一方的视场角，在上述转向角小于上述第二阈值的情况下，不变更上述第一图像部分以及第二图像部分的视场角。
根据附注12所记载的图像显示装置，能适当地防止由于违反乘员的意图地变更合成图像的显示内容而使乘员感觉烦恼。其中，第二阈值既可以与上述的第一阈值相同，也可以不同。
(5-13)附注13
附注13所记载的图像显示装置基于附注6～12中任一项所记载的图像显示装置，其特征在于，上述合成单元将上述后方图像、上述第一后侧方图像、以及由左右另一侧的能够拍摄上述车辆的后侧方的第二后侧方拍摄单元拍摄到的第二后侧方图像合成来生成上述合成图像，上述合成单元在生成上述合成图像时，基于上述第一信息以及与为了通知上述车辆向左右另一侧前进而能够工作的第二方向指示器有关的第二信息，变更上述第一图像部分、上述第二图像部分以及上述合成图像中的与上述第二后侧方图像对应的第三图像部分的至少一个的视场角，上述合成单元在上述第一信息表示上述第一方向指示器正工作而上述第二信息表示上述第二方向指示器未工作的情况下，变更上述第三图像部分的视场角以使上述第三图像部分的视场角为零。
如上述那样，优选在第一方向指示器正工作而第二方向指示器不工作的情况下，与左右另一侧中的车辆的后侧方的状况相比，乘员更多地注意左右一侧中的车辆的后侧方的状况。根据附注13所记载的图像显示装置，在第一方向指示器正工作而第二方向指示器未工作的情况下，第三图像部分的视场角为零。换句话说，合成图像中不包含第二后侧方图像。结果，与第三图像部分的视场角不为零(换句话说，合成图像中包含有第二后侧方图像)的情况相比较，合成单元能够使第二图像部分的视场角更大。因此，图像显示装置在车辆左右转的情况下，可生成乘员能够适当地掌握车辆的周围的状况的合成图像。
(5-14)其他
附注14所记载的图像显示装置基于附注7～13中任一项所记载的图像显示装置，其特征在于，上述合成单元保持上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例固定不变，变更上述第一图像部分以及第二图像部分的至少一方的视场角。
附注15所记载的图像显示装置基于附注6～14中任一项所记载的图像显示装置，其特征在于，上述合成单元提取作为上述后方图像中的至少一部分的上述第一图像部分以及作为上述第一后侧方图像中的至少一部分的上述第二图像部分，并将上述第一图像部分以及第二图像部分合成来生成上述合成图像，上述合成单元通过基于上述第一信息变更从上述后方图像提取上述第一图像部分的提取范围以及从上述第一后侧方图像提取上述第二图像部分的提取范围的至少一方，来变更上述第一图像部分以及第二图像部分的至少一方的视场角。
附注16所记载的图像显示装置基于附注6～15中任一项所记载的图像显示装置，其特征在于，上述合成单元通过基于上述第一信息控制上述后方拍摄单元以及上述第一后侧方拍摄单元的至少一方以变更上述后方拍摄单元以及上述第一后侧方拍摄单元的至少一方的拍摄范围，来变更上述第一图像部分以及第二图像部分的至少一方的视场角。
附注17所记载的图像显示装置基于附注6～16中任一项所记载的图像显示装置，其特征在于，上述车辆具备拍摄范围不同的多个上述后方拍摄单元，上述合成单元通过基于上述第一信息选择上述多个后方拍摄单元的任意一个作为对为了生成上述合成图像而使用的上述后方图像进行拍摄的一个上述后方拍摄单元，来变更上述第一图像部分的视场角。
附注18所记载的图像显示装置基于附注6～17中任一项所记载的图像显示装置，其特征在于，上述车辆具备拍摄范围不同的多个上述第一后侧方拍摄单元，上述合成单元通过基于上述第一信息选择上述多个第一后侧方拍摄单元中的任意一个作为对为了生成上述合成图像而使用的上述第一后侧方图像进行拍摄的一个上述第一后侧方拍摄单元，来变更上述第二图像部分的视场角。
本发明能够在不违反可从技术方案以及说明书整体读取出的发明的主旨或者思想的范围内适当地变更，伴有这样的变更的图像显示装置也包含于本发明的技术思想。
附图标记说明
1...车辆；11B...后方照相机；11BL、11BL_N、11BL_L...左后侧方照相机；11BR、11BR_N、11BR_L...右后侧方照相机；121...方向指示器；121L...左指示器；121R...右指示器；122...转向操纵角传感器；13...ECU；131...图像获取部；132...图像合成部；14...显示器；111B、112B...后方图像；111BL、112BL...左后侧方图像；111BR、112BR...右后侧方图像；111C...合成图像；IRB、IRB_N、IRBL、IRBL_N、IRBL_L、IRBR、IRBR_N、IRBR_L...拍摄范围；后图像视场角...θB、θBh、θBh；左后图像视场角...θBL；右后图像视场角...θBR；通常视场角...θB_N、θBL_N、θBR_N；放大视场角...θBL_L、θBR_L。

Claims (13)

1.一种图像显示装置，其特征在于，具备：
合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄到的第一后侧方图像合成来生成合成图像；以及
显示单元，显示上述合成图像，
上述合成单元在生成上述合成图像时，基于与第一方向指示器有关的第一信息来变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例，上述第一方向指示器能够为了通知上述车辆向左右一侧行进而工作。
2.根据权利要求1所述的图像显示装置，其特征在于，
在上述第一信息表示上述第一方向指示器正工作的情况下，与上述第一信息表示上述第一方向指示器未工作的情况相比，上述合成单元变更上述第一后侧方图像在上述合成图像中所占的区域的比例，以使上述第一后侧方图像在上述合成图像中所占的区域的比例变大。
3.根据权利要求1或者2所述的图像显示装置，其特征在于，
上述合成单元变更上述第一后侧方图像在上述合成图像中所占的区域的比例，以使上述车辆的转向轮向左右一侧的转向角越大，则上述第一后侧方图像在上述合成图像中所占的区域的比例越大。
4.根据权利要求1～3中任一项所述的图像显示装置，其特征在于，
上述合成单元在上述车辆的转向轮向左右一侧的转向角大于规定的第一阈值的情况下，基于上述第一信息来变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例，在上述转向角小于上述第一阈值的情况下，不变更上述后方图像以及上述第一后侧方图像在上述合成图像中所占的区域的比例。
5.根据权利要求1～4中任一项所述的图像显示装置，其特征在于，
上述合成单元将上述后方图像、上述第一后侧方图像、以及由左右另一侧的能够拍摄上述车辆的后侧方的第二后侧方拍摄单元拍摄到的第二后侧方图像合成来生成上述合成图像，
上述合成单元在生成上述合成图像时，基于上述第一信息以及与第二方向指示器有关的第二信息，来变更上述后方图像、上述第一后侧方图像以及上述第二后侧方图像在上述合成图像中所占的区域的比例，上述第二方向指示器能够为了通知上述车辆向左右另一侧行进而工作，
上述合成单元在上述第一信息表示上述第一方向指示器正工作而上述第二信息表示上述第二方向指示器未工作的情况下，变更上述第二后侧方图像在上述合成图像中所占的区域的比例，以使上述第二后侧方图像在上述合成图像中所占的区域的比例为零。
6.根据权利要求1～5中任一项所述的图像显示装置，其特征在于，
上述合成单元在生成上述合成图像时，基于上述第一信息来变更上述合成图像中的与上述后方图像对应的第一图像部分以及与上述第一后侧方图像对应的第二图像部分中的至少一方的视场角。
7.一种图像显示装置，其特征在于，具备：
合成单元，将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由左右一侧的能够拍摄上述车辆的后侧方的第一后侧方拍摄单元拍摄到的第一后侧方图像合成来生成合成图像；以及
显示单元，显示上述合成图像，
上述合成单元在生成上述合成图像时，基于与第一方向指示器有关的第一信息，变更上述合成图像中的与上述后方图像对应的第一图像部分以及与上述第一后侧方图像对应的第二图像部分中的至少一方的视场角，上述第一方向指示器能够为了通知上述车辆向左右一侧行进而工作。
8.根据权利要求6或者7所述的图像显示装置，其特征在于，
在上述第一信息表示上述第一方向指示器正工作的情况下，与上述第一信息表示上述第一方向指示器未工作的情况相比，上述合成单元变更上述第二图像部分的视场角以使上述第二图像部分的视场角变大。
9.根据权利要求6～8中任一项所述的图像显示装置，其特征在于，
上述合成单元变更上述第二图像部分的视场角，以使上述车辆的转向轮向左右一侧的转向角越大，则上述第二图像部分的视场角越大。
10.根据权利要求6～9中任一项所述的图像显示装置，其特征在于，
上述合成单元变更上述第一图像部分以及第二图像部分中的至少一方的视场角，以使在上述第一信息表示上述第一方向指示器正工作的情况下生成的上述合成图像中包含比上述第一信息表示上述第一方向指示器未工作的情况下生成的上述合成图像所包含的第一景象靠左右一侧的侧方的第二景象。
11.根据权利要求10所述的图像显示装置，其特征在于，
上述合成单元变更上述第二图像部分的视场角，以使上述合成图像中包含上述车辆的转向轮向左右一侧的转向角越大则越从上述第一景象向左右一侧的侧方远离的位置的上述第二景象。
12.根据权利要求6～11中任一项所述的图像显示装置，其特征在于，
上述合成单元在上述车辆的转向轮向左右一侧的转向角大于规定的第二阈值的情况下，基于上述第一信息来变更上述第一图像部分以及第二图像部分的至少一方的视场角，在上述转向角小于上述第二阈值的情况下，不变更上述第一图像部分以及第二图像部分的视场角。
13.根据权利要求6～12中任一项所述的图像显示装置，其特征在于，
上述合成单元将上述后方图像、上述第一后侧方图像、以及由左右另一侧的能够拍摄上述车辆的后侧方的第二后侧方拍摄单元拍摄到的第二后侧方图像合成来生成上述合成图像，
上述合成单元在生成上述合成图像时，基于上述第一信息以及与第二方向指示器有关的第二信息来变更上述第一图像部分、上述第二图像部分以及上述合成图像中的与上述第二后侧方图像对应的第三图像部分中的至少一方的视场角，上述第二方向指示器能够为了通知上述车辆向左右另一侧行进而工作，
上述合成单元在上述第一信息表示上述第一方向指示器正工作而上述第二信息表示上述第二方向指示器未工作的情况下，变更上述第三图像部分的视场角，以使上述第三图像部分的视场角为零。
CN201811547768.5A 2017-12-27 2018-12-18 图像显示装置 Active CN110027552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-250901 2017-12-27
JP2017250901A JP7106859B2 (ja) 2017-12-27 2017-12-27 画像表示装置

Publications (2)

Publication Number Publication Date
CN110027552A true CN110027552A (zh) 2019-07-19
CN110027552B CN110027552B (zh) 2022-05-10

Family

ID=64746297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811547768.5A Active CN110027552B (zh) 2017-12-27 2018-12-18 图像显示装置

Country Status (7)

Country Link
US (2) US11336839B2 (zh)
EP (1) EP3505398B1 (zh)
JP (1) JP7106859B2 (zh)
KR (1) KR102151654B1 (zh)
CN (1) CN110027552B (zh)
BR (1) BR102018077105A2 (zh)
RU (1) RU2707696C1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110562141A (zh) * 2019-08-27 2019-12-13 中国第一汽车股份有限公司 一种流媒体后视镜及其显示方法
CN111968184A (zh) * 2020-08-24 2020-11-20 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN112009371A (zh) * 2020-09-08 2020-12-01 恒大新能源汽车投资控股集团有限公司 车内后视镜全视野动态显示方法、存储介质及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
JP7159801B2 (ja) 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7159802B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
US10926715B1 (en) * 2019-06-13 2021-02-23 Vidal M. Soler Vehicle camera system
GB2586803B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Control system and method
JP7353111B2 (ja) * 2019-09-18 2023-09-29 株式会社Subaru 車外モニタ装置
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
WO2012153978A2 (en) * 2011-05-09 2012-11-15 Lg Innotek Co., Ltd. Parking camera system and method of driving the same
KR20130071842A (ko) * 2011-12-21 2013-07-01 에스엘 주식회사 차량의 주변 정보 제공 장치 및 방법
KR20130124762A (ko) * 2012-05-07 2013-11-15 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
WO2017022497A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 運転者に支援画像を提示する装置及びその方法
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
US5956181A (en) * 1997-07-18 1999-09-21 Lin; William Two way mirror with dual functions of rear view mirror and video displayer
US6882917B2 (en) * 1999-07-30 2005-04-19 Oshkosh Truck Corporation Steering control system and method
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2002036954A (ja) 2000-05-18 2002-02-06 Suekage Sangyo Kk 車両周辺監視装置および車両周辺監視システム
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
KR20040033675A (ko) * 2002-10-15 2004-04-28 여태순 자동차용 후방 감시 장치
JP4468859B2 (ja) 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4762698B2 (ja) 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
DE112009001602A5 (de) 2008-04-29 2011-03-31 Magna Electronics Europe Gmbh & Co.Kg Vorrichtung und Verfahren zum Erfassen und Anzeigen des Rückwärtigen und/oder seitlichen Umfeldes eines Kraftfahrzeugs
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
JP5035321B2 (ja) * 2009-11-02 2012-09-26 株式会社デンソー 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
RU2432276C1 (ru) * 2010-07-07 2011-10-27 Осман Мирзаевич Мирза Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты)
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
KR101417383B1 (ko) * 2012-10-31 2014-07-08 현대자동차주식회사 룸미러 영상 제어 장치 및 방법
DE102013002111B4 (de) * 2013-02-08 2021-11-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
JP6247450B2 (ja) * 2013-03-31 2017-12-13 株式会社村上開明堂 運転支援装置
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN112866566B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及驾驶辅助装置搭载车辆
WO2015193851A1 (en) * 2014-06-19 2015-12-23 Iveco S.P.A. Back vision system for assisting vehicle driving
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
JP6641762B2 (ja) * 2015-07-31 2020-02-05 市光工業株式会社 車両周辺視認装置
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
US10347129B2 (en) * 2016-12-07 2019-07-09 Magna Electronics Inc. Vehicle system with truck turn alert
DE102016015363A1 (de) * 2016-12-17 2018-06-21 Wabco Gmbh Verfahren zum Überwachen einer Fahrzeugumgebung eines Fahrzeug-Gespanns, sowie Überwachungssystem
KR102007228B1 (ko) * 2017-11-10 2019-08-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
WO2012153978A2 (en) * 2011-05-09 2012-11-15 Lg Innotek Co., Ltd. Parking camera system and method of driving the same
KR20130071842A (ko) * 2011-12-21 2013-07-01 에스엘 주식회사 차량의 주변 정보 제공 장치 및 방법
KR20130124762A (ko) * 2012-05-07 2013-11-15 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
WO2017022497A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 運転者に支援画像を提示する装置及びその方法
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110562141A (zh) * 2019-08-27 2019-12-13 中国第一汽车股份有限公司 一种流媒体后视镜及其显示方法
CN111968184A (zh) * 2020-08-24 2020-11-20 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN111968184B (zh) * 2020-08-24 2024-04-02 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN112009371A (zh) * 2020-09-08 2020-12-01 恒大新能源汽车投资控股集团有限公司 车内后视镜全视野动态显示方法、存储介质及电子设备
WO2022052789A1 (zh) * 2020-09-08 2022-03-17 恒大新能源汽车投资控股集团有限公司 车内后视镜全视野动态显示方法、存储介质及电子设备
CN112009371B (zh) * 2020-09-08 2022-05-31 恒大新能源汽车投资控股集团有限公司 车内后视镜全视野动态显示方法、存储介质及电子设备

Also Published As

Publication number Publication date
US20220210344A1 (en) 2022-06-30
US20190199940A1 (en) 2019-06-27
CN110027552B (zh) 2022-05-10
RU2707696C1 (ru) 2019-11-28
JP7106859B2 (ja) 2022-07-27
KR20190079485A (ko) 2019-07-05
EP3505398B1 (en) 2021-07-14
KR102151654B1 (ko) 2020-09-04
JP2019118016A (ja) 2019-07-18
US11336839B2 (en) 2022-05-17
EP3505398A1 (en) 2019-07-03
BR102018077105A2 (pt) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110027552A (zh) 图像显示装置
JP6806156B2 (ja) 周辺監視装置
JP6497158B2 (ja) 表示装置、移動体
WO2012096058A1 (ja) 画像生成装置
WO2012172923A1 (ja) 車両周辺監視装置
WO2012169355A1 (ja) 画像生成装置
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JP5692403B2 (ja) 障害物警報装置
JP5495071B2 (ja) 車両周辺監視装置
JP2008230296A (ja) 車両用運転支援システム
JP5516998B2 (ja) 画像生成装置
JP2010114618A (ja) 車両周辺監視システム
JP4970379B2 (ja) 車両用表示装置
WO2013065341A1 (ja) 障害物警報装置
WO2018169003A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
CN109941194A (zh) 图像显示装置
JP2007237785A (ja) 車載用情報提示システム
CN109474803A (zh) 图像显示装置
JP5500392B2 (ja) 車両周辺監視装置
JP2012257106A (ja) 画像生成装置
JP2012001126A (ja) 車両用周辺監視装置
JP2006279511A (ja) 周辺監視システム
JP2014209272A (ja) 車両用表示装置
JP5704416B2 (ja) 障害物警報装置
JP2009087228A (ja) 画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant