CN105191297B - 图像显示控制装置及图像显示系统 - Google Patents

图像显示控制装置及图像显示系统 Download PDF

Info

Publication number
CN105191297B
CN105191297B CN201480012945.3A CN201480012945A CN105191297B CN 105191297 B CN105191297 B CN 105191297B CN 201480012945 A CN201480012945 A CN 201480012945A CN 105191297 B CN105191297 B CN 105191297B
Authority
CN
China
Prior art keywords
image
vehicle
indication range
display control
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480012945.3A
Other languages
English (en)
Other versions
CN105191297A (zh
Inventor
桥本淳邦
龟嶋保
肥后孝之
梶谷直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105191297A publication Critical patent/CN105191297A/zh
Application granted granted Critical
Publication of CN105191297B publication Critical patent/CN105191297B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

实施方式所涉及的图像显示控制装置，作为一例，具备：区域确定部，其将车内图像当中与窗对应的第一区域以及除该第一区域以外的第二区域加以区分；图像创建部，其至少针对显示装置所显示的显示范围来创建包含合成图像以及第一区域的车外图像在内的图像，该合成图像是以设定的比率将第二区域的车内图像和与第二区域对应的车外图像进行叠加而得到的；显示范围决定部，其能变更显示范围；以及显示控制部，其控制显示装置，使得该显示装置以由显示范围决定部决定的显示范围来显示由图像创建部创建的图像。

Description

图像显示控制装置及图像显示系统
技术领域
本发明的实施方式涉及图像显示控制装置以及图像显示系统。
背景技术
现有技术中，创建从车内的视线看来车柱透明的图像并予以显示的车辆的图像处理装置是公知的。
现有技术文献
专利文献
专利文献1：JP特开2003－196645号公报
发明内容
发明要解决的课题
在这种装置中，作为一例，优选能适当变更车体透明的图像的显示形态。
用于解决课题的手段
本发明的实施方式所涉及的图像显示控制装置，作为一例，具备：区域确定部，其将车内图像当中与窗对应的第一区域以及除该第一区域以外的第二区域加以区分；图像创建部，其至少针对显示装置所显示的显示范围来创建包含合成图像以及上述第一区域的车外图像在内的图像，上述合成图像是以设定的比率将上述第二区域的上述车内图像和与上述第二区域对应的车外图像进行叠加而得到的；显示范围决定部，其能变更上述显示范围；以及显示控制部，其控制上述显示装置，使得该显示装置以由上述显示范围决定部决定的上述显示范围来显示由上述图像创建部创建的图像。因此，根据本实施方式，作为一例，能变更图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述显示范围决定部基于通过车辆的驾驶操作而得到的信号来变更上述显示范围。因此，作为一例，能根据操作者的驾驶操作来变更图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述显示范围决定部根据由检测转向角的转向角检测部检测到的转向角来变更上述显示范围。因此，作为一例，易得到与转向角对应的图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述显示范围决定部根据由检测车辆的位置的车辆位置获取部获取到的上述车辆的位置来变更上述显示范围。因此，作为一例，易得到与车辆的位置对应的图像的显示形态。
另外，上述图像显示控制装置中，作为一例，上述显示范围决定部根据由检测车外的物体的物体检测部检测到的上述物体的位置来变更上述显示范围。因此，作为一例，易得到与物体的位置对应的图像的显示形态。
另外，上述图像显示控制装置，作为一例，具备对比率进行变更的比率变更部。因此，作为一例，能进一步变更图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述比率变更部基于通过车辆的驾驶操作而得到的信号来变更上述比率。因此，作为一例，能根据操作者的驾驶操作来变更图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述比率变更部根据由检测转向角的转向角检测部检测到的转向角来变更上述比率。因此，作为一例，易得到与转向角对应的图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述比率变更部根据由检测车辆的位置的车辆位置获取部获取到的上述车辆的位置来变更上述比率。因此，作为一例，易得到与车辆的位置对应的图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，上述比率变更部根据由检测车外的物体的物体检测部检测到的上述物体的位置来变更上述比率。因此，作为一例，易得到与物体的位置对应的图像的显示形态。
另外，在上述图像显示控制装置中，作为一例，还具备物体位置判断部，该物体位置判断部判断在车内图像中的窗框内作为图像而被确定的物体是位于车内还是车外，上述区域确定部使由上述物体位置判断部判断为位于车内的上述物体的上述窗框内的图像包含在上述第二区域中，并使由上述物体位置判断部判断为位于车外的上述物体的图像包含在上述第一区域中。因此，作为一例，能精度更良好地显示图像。
另外，本发明的实施方式所涉及的图像显示系统，作为一例，具备：上述图像显示控制装置；显示装置，其由上述图像显示控制装置进行控制；第一摄像部，其拍摄车内图像；以及第二摄像部，其拍摄车外图像。因此，作为一例，能变更图像的显示形态。
另外，本发明的实施方式所涉及的图像显示控制装置，作为一例，具备：区域确定部，其将车内图像当中与窗对应的第一区域以及除该第一区域以外的第二区域加以区分；图像创建部，其针对显示装置至少显示合成图像的显示范围来创建该合成图像，该合成图像是以设定的比率对上述第二区域的上述车内图像叠加车外图像而得到的；显示范围决定部，其能变更上述显示范围；以及显示控制部，其控制上述显示装置，使得该显示装置以由上述显示范围决定部决定的上述显示范围来显示由上述图像创建部创建的图像。因此，根据本实施方式，作为一例，能变更图像的显示形态。
附图说明
图1是实施方式所涉及的图像显示系统的一例的概略构成图。
图2是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像，透过度＝0)的一例。
图3是实施方式所涉及的图像显示系统的摄像部的摄像范围的一例的俯视图。
图4是实施方式所涉及的图像显示系统的摄像部的摄像范围的一例的侧视图。
图5是实施方式所涉及的图像显示系统的摄像部的摄像范围的另一例的俯视图。
图6是实施方式所涉及的图像显示系统的摄像部的摄像范围的另一例的侧视图。
图7是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在透过度为0的状态下的图。
图8是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在透过度大于0且小于1的状态下的图。
图9是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在透过度为1的状态下的图。
图10是表示实施方式所涉及的图像显示系统中所得到的车外图像的全域和显示范围的一例的说明图。
图11是实施方式所涉及的图像显示系统中所含的ECU的功能框图的一例。
图12是表示实施方式所涉及的图像显示系统的处理过程的一例的流程图。
图13是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在进行车道变更前的状态下的图。
图14是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在进行车道变更的状态下的图。
图15是实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例，是在进行车道变更的状态下在车外检测到物体的情况下的图。
图16是表示停车时的车辆的位置和该位置处的实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例的概念图，是在开始停车前的状态下的图。
图17是表示停车时的车辆的位置和该位置处的实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例的概念图，是在车辆到达停车目标位置前的状态下的图。
图18是表示停车时的车辆的位置和该位置处的实施方式所涉及的图像显示系统的显示装置所显示的图像(输出图像)的一例的概念图，是在车辆较之于图17更接近停车目标位置的状态下的图。
图19是应用了变形例所涉及的图像显示系统的车辆的侧视图。
图20是表示应用了变形例所涉及的图像显示系统的车辆的车内的构成的一例的示意图。
具体实施方式
＜实施方式＞
以下的实施方式以及变形例含有同样的构成要素。因此，以下，对这些同样的构成要素赋予公共的附图标记，并省略重复的说明。
在本实施方式中，作为一例，车辆1所装载的图像显示系统100如图1所示，具备对显示装置10所显示的图像进行控制的ECU11(electronic controlunit(电子控制单元)，控制部，图像显示控制装置)。显示装置10例如可以是取代设置于车内(车室内)的前部上方的后方视觉辨识用的室内镜(后视镜)而设置的显示面板。在此情况下，在显示装置10中显示与由设置于车内以及车外(车室外)的摄像部12摄像出的图像左右相反的图像。另外，在此情况下，能在显示装置10的显示画面(未图示)的表面侧(车辆前后方向的后方侧)设置半反射镜。但并不限于此，显示装置10可以是在前窗或车内的屏幕等中映照出图像的装置，还可以是车内的前部的仪表板(座舱模块、仪表面板、fascia，未图示)或中央控制台等处所设置的显示面板。显示装置10作为一例，能构成为LCD(liquid crystal display；液晶显示器)、OELD(organic electro-luminescent display；有机电致发光显示器)或投影装置等。
另外，在本实施方式中，作为一例，在显示装置10中显示从车内的较前方的位置观察后方的情况下的图像。在本实施方式所涉及的图像显示系统100中，在显示装置10所显示的图像(输出图像Im)中，作为一例，如图2所示，包含车内图像Imi(除了车柱、车门、座椅、内饰、车顶等之外，还包含乘坐者、行李、物品等的车内的图像)以及表示与窗1c(窗框1a内)对应的部分的车外的情景的车外图像Imo。如图3、5所示，车内图像Imi由设置于车内的摄像部12I(12)获取。摄像部12例如是内置CCD(charge coupled device；电荷耦合器件)或CIS(CMOS image sensor；CMOS图像传感器)等摄像元件的数码相机。摄像部12能以给定的帧频来输出图像数据(运动图像数据、帧数据)。另外，在本实施方式中，作为一例，由车内的摄像部12I(12)对车内的较宽的范围进行摄像，以使在显示装置10中能针对车内的较宽范围的各位置来显示车内图像Imi。车内的摄像部12I(12)既可以是一个，也可以是多个。车内的摄像部12I(12)作为一例，设置于车内的前部，能设置于显示装置10的旁边，或者与显示装置10一体设置。此外，在车内设置多个摄像部12的情况下，ECU11(控制部)将这些多个摄像部12获取到的图像进行合成。
车外图像Imo由车外的多个摄像部12获取。ECU11将这些多个摄像部12获取到的图像通过公知的技术进行合成来得到一系列的车外图像Imo(全景图像，参照图10)。在本实施方式中，作为一例，由车外的多个摄像部12对车辆1的后方的较宽的范围进行摄像，以使在显示装置10中能针对较宽的范围的各位置来显示车外图像Imo。在图3、4的例子中，车外的摄像部12不仅设置于车辆1(车体)的两侧部(作为一例，左右的车门后视镜)的各侧部，还设置于车辆1的后端部1b。另外，在图5、6的例子中，车外的摄像部12不仅设置于车辆1的后端部1b的两侧部(作为一例，车辆1的后方侧的角部的较上方)的各侧部，而且设置于车辆1的后端部1b。另外，能使摄像部12的各自的摄像范围上下不同。
另外，在本实施方式中，作为一例，ECU11将车内图像Imi与车外图像Imo进行叠加(合成)，来创建透过车内的构成(车柱、车门、座椅、内饰、车顶、乘坐者、行李、物品等)而呈现车外的情景的合成图像Ims(参照图8)。另外，如图7～9所示，ECU11能创建透过度α(比率)不同的合成图像Ims。在图7中示出(α＝0)的合成图像Ims(＝车内图像Imi)，在图8中示出(0＜α＜1)的合成图像Ims，在图9中示出(α＝1)的合成图像Ims(＝车外图像Imo)。在较简单的例子中，针对车内图像Imi与车外图像Imo彼此位置对齐的状态下的各点，车内图像Imi的亮度为x1，车外图像Imo的亮度为x2，透过度为α(0≤α≤1)的情况下，该各点的叠加后的合成图像Ims的亮度x能够是x＝(1－α)×x1+α×x2。此外，从图7～9也可以明确，该图像的合成是针对除窗1c以外的区域(存在车内的构造物或物体等的区域)执行的，并不针对与窗1c对应的区域(不存在车内的构造物或物体等，经由窗1c而呈现车外的情景的区域)执行(仅车外图像Imo成为输出图像Im)。车外图像Imo在窗1c的内侧和外侧均具有一系列的形状，但有时车外图像Imo的亮度在窗1c的内侧与外侧不同。此外，透过度α能设定为任意的值。
进而，在本实施方式中，作为一例，ECU11能变更车内图像Imi以及车外图像Imo中的显示范围Ad。作为一例，如图10所示，ECU11能从由摄像部12获取到的较宽的范围的车外图像Imo中决定(移动)该显示范围Ad。此外，关于车内图像Imi，也同样能变更显示范围。
另外，在本实施方式中，作为一例，ECU11能根据车辆1的状况来变更透过度α或显示范围Ad。ECU11能使用各种传感器的检测结果来作为对透过度α或显示范围Ad进行变更的触发(信号、数据)。具体而言，例如，ECU11能根据从图1所示的非接触计测装置13、转向角传感器14(前轮用)、后轮转向系统15的转向角传感器15a、GPS16(global positioningsystem；全球定位系统)、车轮速传感器17、刹车系统18的刹车传感器18a、油门传感器19、前轮转向系统20的扭矩传感器20a、位移传感器21、方向指示器22等获取到的检测结果、或者信号、数据，操作输入部24b(监视器装置24)等的指示信号(控制信号、切换信号、操作信号、输入信号、数据)、物体检测部112(参照图11)的检测结果、由车辆位置获取部115(参照图11)获取的车辆1的位置等，来变更透过度α或显示范围Ad。如图1所示，图像显示系统100中所含的电气部件(即，非接触计测装置13、转向角传感器14、转向角传感器15a、GPS16、车轮速传感器17、刹车传感器18a、油门传感器19、扭矩传感器20a、位移传感器21、方向指示器22、操作输入部24b等)作为一例，能经由车内网络23(例如CAN(controller area network；控制器局域网))进行电连接。此外，各电气部件可以通过CAN以外来进行电连接。
非接触计测装置13(测距部、物体检测装置)例如是发射超声波或电波来捕捉其反射波的声纳(声纳传感器、超声波探知器)或雷达等。ECU11根据非接触计测装置13的检测结果，能测量位于车辆1的周围的物体B(障碍物，参照图15)的有无或距离。即，非接触计测装置13是物体检测部的一例。
转向角传感器14是对转向部(作为一例，方向盘，未图示)的转向量(转动角度)进行检测的传感器，作为一例，使用霍尔元件等来构成。另外，转向角传感器15a是对后轮2R(参照图4)的转向量(转动角度)进行检测的传感器，作为一例，使用霍尔元件等来构成。
车轮速传感器17是对车轮2(参照图4，前轮2F或后轮2R)的旋转量或每单位时间的转数进行检测的传感器，作为一例，使用霍尔元件等来构成。ECU11能基于从车轮速传感器17获取到的数据来运算车辆1的移动量等。车轮速传感器17有时也设置于刹车系统18。
刹车系统18是对刹车的锁死进行抑制的ABS(anti-lock brake system；防抱死刹车系统)、对转弯时的车辆1的侧滑进行抑制的侧滑防止装置(ESC：electronic stabilitycontrol；电子稳定控制)、使制动力增强的(执行制动辅助的)电动刹车系统或BBW(brakeby wire；线控制动)等。刹车系统18通过致动器(未图示)对车轮2(车辆1)赋予制动力。刹车传感器18a是对刹车踏板的操作量进行检测的传感器。
油门传感器19是对油门踏板的操作量进行检测的传感器。扭矩传感器20a检测驾驶者对转向部施加的扭矩。位移传感器21作为一例，是对变速操作部的可动部(杆、臂、按钮等，未图示)的位置进行检测的传感器(开关)，使用位移传感器等来构成。此外，上述的各种传感器或致动器的构成、配置、电气式连接形态等终归只是一例，能进行各种设定(变更)。方向指示器22输出对方向指示用的灯的点亮(闪烁)进行指示的信号。
另外，在车内设置有与显示装置10分开设置的显示装置24a、声音输出装置24c。显示装置24a例如是LCD、OELD等。声音输出装置24c例如是扬声器。进而，显示装置24a被透明的操作输入部24b(例如，触控面板等)覆盖。乘坐者等能对经由操作输入部24b而显示于显示装置24a的显示画面的影像(图像)进行视觉辨识。另外，乘坐者等能在与显示于显示装置24a的显示画面的影像(图像)对应的位置处用手指等触摸或按压或移动操作输入部24b以进行操作，来执行操作输入(指示输入)。而且，这些显示装置24a、操作输入部24b、声音输出装置24c等设置于位于仪表板的车宽方向(左右方向)的中央部的监视器装置24。监视器装置24能具有开关、刻度盘、操纵杆、按钮等操作输入部(未图示)。监视器装置24能兼用作导航系统和音频系统。此外，能在监视器装置24的显示装置24a中显示与显示装置10中同样的图像。
ECU11作为一例，具有CPU11a(central processing unit；中央处理单元)、ROM11b(read only memory；只读存储器)、RAM11c(random access memory；随机存取存储器)、SSD11d(solid state drive，闪速存储器)、显示控制部11e、声音控制部11f等。CPU11a能执行各种运算。CPU11a能读出ROM11b或SSD11d等非易失性的存储装置中所存储的(安装的)程序，并遵照该程序来执行运算处理。RAM11c临时存储CPU11a的运算中所使用的各种数据。另外，SSD11d是可改写的非易失性的存储部，即使在ECU11的电源断开的情况下也能存储数据。另外，显示控制部11e，在ECU11执行的运算处理当中，主要执行利用由摄像部12得到的图像数据的图像处理、显示装置10、24a所显示的图像数据的图像处理(作为一例，合成等)等。另外，声音控制部11f，在ECU11执行的运算处理当中，主要执行由声音输出装置24c输出的声音数据的处理。此外，CPU11a、ROM11b、RAM11c等能集成于同一封装体内。另外，ECU11可以构成为不使用CPU11a而使用DSP(digital signal processor；数字信号处理器)等其他逻辑运算处理器或逻辑电路等。另外，既可以取代SSD11d来设置HDD(hard disk drive；硬盘驱动器)，也可以与ECU11分开单独地设置SSD11d、HDD。
另外，在本实施方式中，作为一例，在显示装置10中，通过ECU11的图像处理，能显示与室内镜的成像对应的(相似的、适合的、匹配的、位置对齐的)输出图像Im。在此情况下，进行从车外图像Imo或车内图像Imi(还包含合成多个图像而成的图像)向与室内镜的成像对应的输出图像Im的座标变换的函数(变换式、变换矩阵等)、系数、常数、数据等，能通过实际获取在车外或车内实际配置的多个标记在室内镜的成像中的位置(进行基于摄像的校准)或进行几何学上的运算而得到。
另外，在本实施方式中，作为一例，ECU11通过硬件与软件(程序)的协作来作为图像显示控制装置的至少一部分发挥功能(动作)。即，在本实施方式中，作为一例，如图11所示，ECU11除了作为显示控制部11e(参照图1)以及声音控制部11f(参照图1)发挥功能之外，还作为车外图像创建部110、区域确定部111、物体检测部112、物体位置判断部113、图像创建部114、车辆位置获取部115、比率变更部116、显示范围决定部117、追加图像创建部118等发挥功能(动作)。此外，在程序中，作为一例，能包含与图11所示的各块对应的模块。另外，图像处理除了在显示控制部11e中执行之外，还能在CPU11a中执行。
车外图像创建部110，作为一例，针对由车外的摄像部12摄像得到的多个(在本实施方式中，作为一例，三个)图像，将它们的交界部分通过交叠来相连，从而创建一系列的车外图像Imo(全景图像)。此时，车外图像创建部110通过对车外图像Imo进行座标变换等，来创建视觉上与车内图像Imi位置对齐的，即，与来自车内的摄像部12的视线接近的车外图像Imo。此外，关于位置对齐，基于预先获取到的实验结果等，将从摄像部12得到的车外图像Imo的座标变换成与车内图像Imi对应的座标。另外，关于车外图像Imo中的物体B的图像Imb的大小等，能使用非接触计测装置13得到的至物体B为止的距离的测量结果来进行校正。
区域确定部111作为一例，通过对车内图像Imi进行图像处理，来区别(区分、确定)车内图像Imi当中与窗1c(窗框内)对应的第一区域A1以及车内图像Imi当中该第一区域A1以外的(与窗框外对应的)第二区域A2。具体而言，区域确定部111例如基于像素的亮度值(明度)、颜色、运动的有无的差异等来进行图像处理，能区分第一区域A1与第二区域A2。另外，通过将预先获取到的窗框1a(第一区域A1与第二区域A2的交界)的位置或者在前次的运算定时判明的窗框1a的位置存储至SSD11d等的存储部，能在该位置的附近更高效地检测第一区域A1与第二区域A2的交界，即，能区分第一区域A1与第二区域A2。此外，在乘坐者或行李等物体与窗重叠的情况下，除该物体以外的区域成为第一区域A1。
物体检测部112作为一例，通过对车外图像Imo(例如，由车外图像创建部110创建的车外图像Imo)进行图像处理，来检测车外的物体B(车辆或人等)。在物体B的检测之际，能使用图案匹配等。另外，物体检测部112既能从由非接触计测装置13得到的数据来检测车外的物体B，也能从对车外图像Imo进行图像处理后的结果以及由非接触计测装置13得到的数据来检测车外的物体B。另外，物体检测部112还能从对车外图像Imo进行图像处理后的结果或者由非接触计测装置13得到的数据来获取从车辆1到物体B的距离。
物体位置判断部113作为一例，通过对车内图像Imi进行图像处理来检测车内图像Imi中所含的人或行李等物体，并判断(决定)该检测出的物体是位于车内还是位于车外。例如，在窗框1a的位置存储于存储部的情况下，检测出的物体的图像仅存在于窗框1a内时，物体位置判断部113能判断为检测出的物体位于车外。另一方面，在检测出的物体的图像跨窗框1a存在的情况下，物体位置判断部113能判断为检测出的物体位于车内。而且，在物体位置判断部113判断为检测出的物体位于车外的情况下，区域确定部111将该车外的物体的图像所在的区域设为第一区域A1，在判断为检测出的物体位于车内的情况下，区域确定部111将该车内的物体的图像所在的区域设为第二区域A2。
图像创建部114作为一例，至少针对显示装置10所显示的显示范围Ad来创建包含合成图像Ims(框外图像)以及第一区域A1的车外图像Imo(框内图像)在内的输出图像Im，该合成图像Ims是以设定的透过度α(比率)来对第二区域A2的车内图像Imi以及与该车内图像Imi位置对齐后的第二区域A2对应的车外图像Imo进行叠加而得到的。
车辆位置获取部115作为一例，能从来自GPS16的数据、非接触计测装置13的检测结果、由车轮速传感器17检测到的车轮速、由转向角传感器14、15a检测到的转向角、摄像部12所获取的车外图像Imo的图像处理结果等，获取车辆1的位置。
比率变更部116作为一例，能根据从非接触计测装置13、转向角传感器14、15a、GPS16、车轮速传感器17、刹车传感器18a、油门传感器19、扭矩传感器20a、位移传感器21、方向指示器22等获取到的检测结果、或信号、数据、操作输入部24b等的指示信号、物体检测部112的检测结果、由车辆位置获取部115获取到的车辆1的位置等，来变更透过度α。
显示范围决定部117作为一例，能根据从非接触计测装置13、转向角传感器14、15a、GPS16、车轮速传感器17、刹车传感器18a、油门传感器19、扭矩传感器20a、位移传感器21、方向指示器22等获取到的检测结果、或信号、数据、操作输入部24b等的指示信号、物体检测部112的检测结果、由车辆位置获取部115获取到的车辆1的位置等，来变更显示范围Ad。
追加图像创建部118作为一例，能将追加图像Ima(例如，由物体检测部112检测到的物体的增强显示(例如，框等)、车道或停车边线等的线的显示(例如，线等)等，人工图像)追加至输出图像Im中。
本实施方式所涉及的图像显示系统100作为一例，能通过图12所示那样的过程来执行处理。首先，ECU11获取从非接触计测装置13、转向角传感器14、15a、GPS16、车轮速传感器17、刹车传感器18a、油门传感器19、扭矩传感器20a、位移传感器21、方向指示器22等获取到的检测结果、或信号、数据、操作输入部24b等的指示信号、物体检测部112的检测结果等，与各自的参照值进行比较，来判断是否满足变更透过度α的条件(步骤S1)。在满足变更透过度α的条件的情况下，ECU11作为比率变更部116发挥功能，并变更为与该条件相应的透过度α(步骤S2)。此外，关于步骤S2的例子将后述。接下来，ECU11获取从非接触计测装置13、转向角传感器14、15a、GPS16、车轮速传感器17、刹车传感器18a、油门传感器19、扭矩传感器20a、位移传感器21、方向指示器22等获取到的检测结果、或信号、数据，操作输入部24b等的指示信号、物体检测部112的检测结果、由车辆位置获取部115获取到的车辆1的位置等，与各自的参照值进行比较，来判断是否满足变更显示范围Ad的条件(步骤S3)。在满足变更显示范围Ad的条件的情况下，ECU11作为显示范围决定部117发挥功能，并将显示范围Ad变更为与该条件相应的位置或大小(步骤S4)。而且，ECU11不仅作为车外图像创建部110、区域确定部111、物体检测部112、物体位置判断部113等发挥功能，还作为图像创建部114发挥功能，创建与所设定(变更)的透过率α以及显示范围Ad对应的输出图像Im(步骤S5)。此外，在步骤S5中，能创建包含追加图像的输出图像Im。而且，显示控制部11e对显示装置10进行控制以使其显示所创建的输出图像Im(步骤S6)。
在图13、14中，作为一例，示出了车辆1向左侧的行车道进行车道变更的情况下的输出图像Im(显示装置10所显示的图像)。在图13中，车辆1处于直行状态，但在该状态下，输出图像Im的显示范围Ad窄，几乎笔直地朝向后方，透过度α为0(零)。比率变更部116以及显示范围决定部117获取在车辆1的车道变更动作时由各部得到的检测结果、或信号、数据，在它们满足预先设定的条件的情况下，变更透过度α以及显示范围Ad。在图14中，例如在得到了方向指示器22的指示向左侧方向移动的信号(伴随驾驶者执行的驾驶操作而得到的信号)、车辆1的与车道变更对应的各部(例如，转向角传感器14、15a、车轮速传感器17、扭矩传感器20a等)的值(例如，各车轮2的转向角、车辆1的位置、车辆1的速度等)的情况下，显示范围决定部117使输出图像Im的显示范围Ad横向(左右方向)扩大，并使显示范围Ad向进行移动的行车道的方向(左侧)滑动(移动)。因此，根据本实施方式，作为一例，驾驶者更容易掌握车辆1的周围或行进方向的车外的状况。进而，在图14中，比率变更部116提高在第二区域A2的透过度α，例如提高至0.6左右。因此，根据本实施方式，作为一例，车辆1的车柱、车顶、座椅、内饰等的构造物透明，因此驾驶者将进一步更容易掌握车辆1的周围或行进方向的车外的状况。另外，如图15所示，在物体检测部112于车辆1的左侧后方的给定距离以内检测到接近的物体B(车辆)的情况下，显示范围决定部117，作为一例，能将显示范围Ad决定为包含该物体B的图像Imb。另外，在图15的情况下，比率变更部116作为一例，能将透过度α设定得比未检测出物体B的情况下更高。由此，驾驶者不仅易于视觉辨识物体B，而且易于掌握物体B与车辆1相隔的距离或相对位置。进而，在图15中，作为一例，追加图像创建部118不仅在检测出的物体B的图像Imb中追加包围该图像Imb的框状的增强显示Imf1，而且在路面的车道L的图像Iml中追加与该图像Iml重叠的带状的增强显示Imf2。因此，根据本实施方式，作为一例，驾驶者进一步容易视觉辨识车辆1的周围、行进方向的车外的状况、物体B等。此外，上述的控制在向反方向(右方向)进行车道变更的情况下也能同样实施。
在图16～18中，作为一例，示出了车辆1向左侧转弯的同时后退至停车目标位置P为止的停车(所谓的车辆入库)的情况下的输出图像Im(显示装置10所显示的图像)。在图16中，车辆1处于直行状态，但在该状态下，输出图像Im的显示范围Ad窄，几乎笔直地朝向后方，透过度α为0(零)。比率变更部116以及显示范围决定部117获取在车辆1的停车动作时在各部得到的检测结果、或信号、数据，在它们满足预先设定的条件的情况下，变更透过度α以及显示范围Ad。在图17中，例如，在得到了来自位移传感器21的反转(反向)模式被选择的信号(伴随驾驶者执行的驾驶操作而得到的信号)、车辆1的转弯的同时进行给定速度以下的后退所对应的各部(例如，转向角传感器14、15a、车轮速传感器17、扭矩传感器20a等)的值(例如，各车轮2的转向角、车辆1的位置、车辆1的速度等)的情况下，显示范围决定部117使输出图像Im的显示范围Ad横向(左右方向)扩大，而且使显示范围Ad向转弯的方向(左侧)滑动(移动)。因此，根据本实施方式，作为一例，驾驶者更容易掌握车辆1的周围或行进方向的车外的状况。进而，在图17中，比率变更部116提高在第二区域A2的透过度α，例如设为0.6左右。因此，根据本实施方式，作为一例，车辆1的车柱、车顶、座椅、内饰等的构造物透明，因此驾驶者进一步更容易掌握车辆1的周围或行进方向的车外的状况。另外，在图17中，作为一例，追加图像创建部118在检测出的物体B的图像Imb中追加包围该图像Imb的框状的增强显示Imf1，并在路面的框线L的图像Iml中追加与该图像Iml重叠的带状的增强显示Imf2，追加表示停车目标位置P的图像Imf3，进而，追加了表示根据停车目标位置P、转向角等所预想的移动路径的线状的图像Imf4。因此，根据本实施方式，作为一例，驾驶者更容易掌握车辆1的周围、行进方向的车外的状况、停车目标位置P、今后的移动路径等。进而，在图18中，车辆1处于与停车目标位置P接近的状态，但在该状态下，比率变更部116作为一例，进一步提高在第二区域A2的透过度α，例如设为1。因此，根据本实施方式，作为一例，车辆1的车柱、车顶、座椅、内饰等构造物完全透明，因此驾驶者将更容易视觉辨识周围的物体B(障碍物、车辆、人等)的图像Imb，而且容易掌握车辆1与该车辆1的周围的障碍物(物体B)或停车目标位置P的距离或者相对位置。另外，在本实施方式中，作为一例，按照在车外图像Imo中包含车辆1的车体的一部分(在图18的例子中，保险杠)的方式进行了摄像，因此即使在透过度α变为1的情况下，驾驶者也能进一步更容易地掌握车辆1与该车辆1的周围的障碍物(物体B)或停车目标位置P的距离或者相对的位置关系。此外，上述的控制在向反方向(右方向)转弯的同时进行停车的情况下也能同样地实施。
另外，在本实施方式中，作为一例，在物体位置判断部113判断为车内图像Imi中含有与车辆1(车体)的构造物不同的物体B(人、行李、物品等)的图像Imb的情况下，图像创建部114能从输出图像Im中删除该物体B的图像Imb。在此情况下，能任意地设定是否删除物体B的图像Imb、从多个物体B当中删除哪个物体B的图像Imb等。另外，图像创建部114能以车内不存在物体B的状态下的车内图像Imb(初始图像)来填埋车内图像Imi当中删除了物体B的图像Imb的区域。该车内不存在物体B的状态下的车内图像Imb预先存储于SSD11d等存储部。如此，在删除了车内的物体B的图像Imb的情况下，作为一例，较之于包含车内的物体B的图像Imb的输出图像Im，有时窗框1a内的区域即对车外图像Imo进行显示的区域变宽，视觉辨识性易于进一步提高。此外，物体位置判断部113通过利用对设置于车内的物体B本身进行检测的传感器(作为一例，红外线传感器等，未图示)的检测结果，能进一步提高物体B的判断的精度。
如以上说明，在本实施方式中，作为一例，在图像显示系统100(图像显示装置)中，图像创建部114至少针对显示装置10所显示的显示范围Ad来创建包含第一区域A1的车外图像Imo以及第二区域A2的合成图像Ims在内的输出图像Im(图像)。第二区域A2的合成图像Ims是以设定的透过度α(比率)来对车内图像Imi与车外图像Imo进行叠加而得到的图像，该车外图像Imo与该车内图像Imi位置对齐，并与第二区域A2对应。而且，显示范围决定部117能变更显示范围Ad。另外，比率变更部116能变更透过度α(比率)。即，根据本实施方式，作为一例，在第二区域A2中作为包含以设定的透过度α将车内图像Imi与车外图像Imo进行叠加而得到的图像在内的输出图像Im的显示形态，能变更显示范围Ad以及透过度α当中至少一者。此外，显示范围Ad的变更的方法(移动量、移动方向、扩大、缩小量等)、透过度α的变更的方法(变更量、值等)能以各种方式设定。
另外，在本实施方式中，作为一例，基于通过车辆1的驾驶操作而得到的信号，显示范围决定部117能变更显示范围Ad，比率变更部116能变更透过度α。因此，作为一例，能根据驾驶操作来变更显示形态(输出图像Im的显示范围Ad或透过度α)。因此，作为一例，驾驶者更容易或者更可靠地易进行驾驶操作。此外，伴随驾驶者的驾驶操作而得到的信号可以是伴随针对上述的方向指示器22以及变速杆以外的操作部的操作而得到的信号，该操作部例如是方向盘、换挡开关、刹车踏板、离合器踏板、油门踏板等，用于进行驾驶操作。另外，能将针对操作部的操作的显示形态的变更(变化)进行各种设定。作为一例，能根据刹车踏板的操作来提高透过度α或者扩大显示范围Ad。
另外，在本实施方式中，作为一例，根据由转向角传感器14、15a(转向角检测部)检测到的转向角，显示范围决定部117能变更显示范围Ad，比率变更部116能变更透过度α。因此，作为一例，易得到与转向角对应的输出图像Im的显示形态(显示范围Ad或透过度α)。因此，作为一例，驾驶者更容易或者更可靠地易进行驾驶操作。
另外，在本实施方式中，作为一例，根据由车辆位置获取部115获取到的车辆1的位置，显示范围决定部117能变更显示范围Ad，比率变更部116能变更透过度α。因此，作为一例，易得到与车辆1的位置对应的输出图像Im的显示形态(显示范围Ad或透过度α)。因此，作为一例，驾驶者更容易或者更可靠地易进行驾驶操作。
另外，在本实施方式中，作为一例，根据由物体检测部112检测到的物体B的位置，显示范围决定部117能变更显示范围Ad，比率变更部116能变更透过度α。因此，作为一例，易得到与物体B的位置对应的输出图像Im的显示形态(显示范围Ad或透过度α)。因此，作为一例，驾驶者更容易或者更可靠地易进行驾驶操作。
另外，在本实施方式中，作为一例，具备物体位置判断部113，其判断在车内图像Imi中的窗框1a内作为图像而被确定的物体B(对应的图像Imb)是位于车内还是位于车外，区域确定部111使由物体位置判断部113判断为位于车内的物体B的窗框1a内的图像Imb包含在第二区域A2中，使由物体位置判断部113判断为位于车外的物体B的图像Imb包含在第一区域A1中。因此，根据本实施方式，作为一例，能进一步高精度地显示输出图像Im(图像)。
另外，物体位置判断部113在与上述实施方式不同的以下的各变形例中能判断与窗框1a重叠的物体B是位于车内还是位于车外。
＜第1变形例＞(灯照射)
在本变形例中，如图19所示，在车辆1设置从车外向窗1c照射光的发光部25(灯)。由此，车内图像Imi当中与窗1c的区域对应的第一区域A1(参照图2)不管有无车外的物体都变白(曝光过度的状态)。因此，能抑制物体位置判断部113将车外的物体误认为车内的物体。此外，发光部25作为一例，设置于不被摄像部12摄像的位置(成为车体的背阴，图像中不不被摄入的位置)。另外，发光部25能构成为可折叠(能在沿车体的位置与突出的位置之间移动)。
＜第2变形例＞(曝光切换)
在本变形例中，对车内图像Imi进行摄像的摄像部12I(12)构成为能切换曝光设定，车内图像Imi中的窗1c的区域(窗框1a内)被设定为曝光过度。在此情况下同样，不管有无车外的物体，车内图像Imi当中与窗1c的区域对应的第一区域A1变白(曝光过度的状态)。因此，能抑制物体位置判断部113将车外的物体误认为车内的物体。此外，物体位置判断部113能空出间隔(例如，预定的固定帧间隔)来实施该处理。在此情况下，能随时应对状况的变化，因此判断的精度易提高。此外，还存在ECU11通过在图像处理中调整明度和对比度也得到同样的结果(效果)的情况。
＜第3变形例＞(标记的使用)
在本变形例中，如图20所示，在车内的窗1c与车内构造的交界部分(窗框1a、窗1c的缘)设置标记26。物体位置判断部113能将跨标记26的物体B的图像Imb判断为位于车内。标记26例如能够是发光物或荧光物、镜面构件等。标记26能构成为在车内图像Imi中易于与其他(周围)区分的形态(明度、颜色等)。另外，标记26例如能够是窗1c的饰条。
＜第4变形例＞(骨架检测)
在本变形例中，物体位置判断部113将人体的骨架图案用于物体B的图像Imb的检测。物体位置判断部113针对车内图像Imi进行骨架检测，从而易于从车内图像Imi中确定与人的形状对应的图像。另外，物体位置判断部113还能利用人体中有运动这一事实，将经时地运动的物体B的图像Imb与车辆1的构造物的图像加以区分。
＜第5变形例＞(图案匹配)
在本变形例中，物体位置判断部113针对车内图像Imi，能通过与人脸的图案匹配来确定人脸的图像。进而，物体位置判断部113，作为一例，还能根据车内图像Imi中的与该确定出的人脸相连的人体(脖子以下)的图像的有无，来判断与窗1c重叠的物体B是位于车内还是位于车外。
尽管以上例示了本发明的实施方式，但上述实施方式以及变形例终归只是一例，并非意图限定发明的范围。这些实施方式或变形例能以其他各种方式来实施，能在不脱离发明的主旨的范围内进行各种省略、置换、组合、变更。另外，实施方式或变形例的构成或形状还能部分替换来加以实施。另外，各构成或形状等的规格(构造、种类、方向、形状、大小、长度、宽度、厚度、高度、数量、配置、位置、材质等)能适当变更来加以实施。
附图标记的说明
1…车辆，1c…窗，10…显示装置，11…ECU(图像显示控制装置)，11e…显示控制部，12…摄像部(第二摄像部)，12I(12)…摄像部(第一摄像部)，14、15a…转向角传感器(转向角检测部)，100…图像显示系统，111…区域确定部，112…物体检测部，113…物体位置判断部，114…图像创建部，115…车辆位置获取部，116…比率变更部，117…显示范围决定部，A1…第一区域，A2…第二区域，Ad…显示范围，B…物体，Imi…车内图像，Imo…车外图像，Ims…合成图像，Im…输出图像(图像)。

Claims (12)

1.一种图像显示控制装置，其特征在于，具备：
区域确定部，其将车内图像当中与窗对应的第一区域以及除该第一区域以外的第二区域加以区分；
图像创建部，其至少针对显示装置所显示的显示范围来创建包含合成图像以及所述第一区域的车外图像在内的图像，所述合成图像是以设定的比率将所述第二区域的所述车内图像和与所述第二区域对应的车外图像进行叠加而得到的；
显示范围决定部，其能变更所述显示范围；
显示控制部，其控制所述显示装置，使得该显示装置以由所述显示范围决定部决定的所述显示范围来显示由所述图像创建部创建的图像；以及
物体位置判断部，该物体位置判断部判断在车内图像中的窗框内作为图像而被确定的人或行李是位于车内还是车外，
所述区域确定部使由所述物体位置判断部判断为位于车内的人或行李的所述窗框内的图像包含在所述第二区域中，并使由所述物体位置判断部判断为位于车外的人或行李的图像包含在所述第一区域中。
2.根据权利要求1所述的图像显示控制装置，其特征在于，
所述显示范围决定部基于通过车辆的驾驶操作而得到的信号来变更所述显示范围。
3.根据权利要求1或2所述的图像显示控制装置，其特征在于，
所述显示范围决定部根据由检测转向角的转向角检测部检测到的转向角来变更所述显示范围。
4.根据权利要求1所述的图像显示控制装置，其特征在于，
所述显示范围决定部根据由获取车辆的位置的车辆位置获取部获取到的所述车辆的位置来变更所述显示范围。
5.根据权利要求1所述的图像显示控制装置，其特征在于，
所述显示范围决定部根据由检测车外的物体的物体检测部检测到的所述物体的位置来变更所述显示范围。
6.根据权利要求1所述的图像显示控制装置，其特征在于，
所述图像显示控制装置还具备比率变更部，该比率变更部变更所述比率。
7.根据权利要求6所述的图像显示控制装置，其特征在于，
所述比率变更部基于通过车辆的驾驶操作而得到的信号来变更所述比率。
8.根据权利要求6所述的图像显示控制装置，其特征在于，
所述比率变更部根据由检测转向角的转向角检测部检测到的转向角来变更所述比率。
9.根据权利要求6所述的图像显示控制装置，其特征在于，
所述比率变更部根据由获取车辆的位置的车辆位置获取部获取到的所述车辆的位置来变更所述比率。
10.根据权利要求6所述的图像显示控制装置，其特征在于，
所述比率变更部根据由检测车外的物体的物体检测部检测到的所述物体的位置来变更所述比率。
11.一种图像显示系统，其特征在于，具备：
权利要求1所述的图像显示控制装置；
显示装置，其由所述图像显示控制装置进行控制；
第一摄像部，其拍摄车内图像；以及
第二摄像部，其拍摄车外图像。
12.一种图像显示控制装置，其特征在于，具备：
区域确定部，其将车内图像当中与窗对应的第一区域以及除该第一区域以外的第二区域加以区分；
图像创建部，其针对显示装置至少显示合成图像的显示范围来创建该合成图像，该合成图像是以设定的比率对所述第二区域的所述车内图像叠加车外图像而得到的；
显示范围决定部，其能变更所述显示范围；
显示控制部，其控制所述显示装置，使得该显示装置以由所述显示范围决定部决定的所述显示范围来显示由所述图像创建部创建的图像；以及
物体位置判断部，该物体位置判断部判断在车内图像中的窗框内作为图像而被确定的人或行李是位于车内还是车外，
所述区域确定部使由所述物体位置判断部判断为位于车内的人或行李的所述窗框内的图像包含在所述第二区域中，并使由所述物体位置判断部判断为位于车外的人或行李的图像包含在所述第一区域中。
CN201480012945.3A 2013-03-29 2014-03-17 图像显示控制装置及图像显示系统 Expired - Fee Related CN105191297B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-074916 2013-03-29
JP2013074916A JP6056612B2 (ja) 2013-03-29 2013-03-29 画像表示制御装置および画像表示システム
PCT/JP2014/057199 WO2014156786A1 (ja) 2013-03-29 2014-03-17 画像表示制御装置および画像表示システム

Publications (2)

Publication Number Publication Date
CN105191297A CN105191297A (zh) 2015-12-23
CN105191297B true CN105191297B (zh) 2018-07-10

Family

ID=51623767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012945.3A Expired - Fee Related CN105191297B (zh) 2013-03-29 2014-03-17 图像显示控制装置及图像显示系统

Country Status (5)

Country Link
US (1) US10032298B2 (zh)
JP (1) JP6056612B2 (zh)
CN (1) CN105191297B (zh)
DE (1) DE112014001764T5 (zh)
WO (1) WO2014156786A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10179544B2 (en) * 2014-05-29 2019-01-15 Koito Manufacturing Co., Ltd. Vehicle exterior observation device and imaging device
US9690292B1 (en) * 2015-01-13 2017-06-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for transitioning between autonomous and manual modes of vehicle operations
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
CN105946521A (zh) * 2016-05-13 2016-09-21 京东方科技集团股份有限公司 一种汽车遮光板、图像显示方法及汽车
JP6597518B2 (ja) * 2016-08-15 2019-10-30 株式会社デンソー 情報処理装置及びプログラム
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
JP6707007B2 (ja) * 2016-09-27 2020-06-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP6876236B2 (ja) * 2016-09-30 2021-05-26 株式会社アイシン 表示制御装置
US11321951B1 (en) 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
JP6658643B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
DE102017217592A1 (de) 2017-10-04 2019-04-04 Audi Ag Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP7076976B2 (ja) * 2017-10-10 2022-05-30 マツダ株式会社 車両用表示装置
JP2020024560A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP7128096B2 (ja) * 2018-11-26 2022-08-30 本田技研工業株式会社 映像表示装置
JP7200645B2 (ja) * 2018-12-11 2023-01-10 トヨタ自動車株式会社 車載装置、プログラム、及び車両
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP7198966B2 (ja) * 2020-03-27 2023-01-04 株式会社Ｎｔｔドコモ 測位システム
US11610342B2 (en) * 2020-09-17 2023-03-21 Ford Global Technologies, Llc Integrated augmented reality system for sharing of augmented reality content between vehicle occupants
CN115115666A (zh) * 2022-01-14 2022-09-27 长城汽车股份有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
JP7550823B2 (ja) 2022-09-12 2024-09-13 本田技研工業株式会社 情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
CN101953163A (zh) * 2008-02-20 2011-01-19 歌乐牌株式会社 车辆周边图像显示系统
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示系统和车辆用死角影像显示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
US7914187B2 (en) * 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US20090168185A1 (en) * 2007-12-27 2009-07-02 Motorola, Inc. Electrochromic Windshield with Computer Vision Control
JP5118605B2 (ja) * 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
JP5077307B2 (ja) * 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
JP5560852B2 (ja) * 2010-03-31 2014-07-30 株式会社デンソー 車外撮影画像表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
CN101953163A (zh) * 2008-02-20 2011-01-19 歌乐牌株式会社 车辆周边图像显示系统
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示系统和车辆用死角影像显示方法

Also Published As

Publication number Publication date
WO2014156786A1 (ja) 2014-10-02
DE112014001764T5 (de) 2015-12-17
US20160042543A1 (en) 2016-02-11
JP2014200018A (ja) 2014-10-23
US10032298B2 (en) 2018-07-24
CN105191297A (zh) 2015-12-23
JP6056612B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
CN105191297B (zh) 图像显示控制装置及图像显示系统
CN105073499B (zh) 图像显示控制装置、图像显示系统及显示单元
US10475242B2 (en) Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image
US8502860B2 (en) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US9156402B2 (en) Wide view vehicle periphery image generation apparatus
US20120169875A1 (en) Rearward view assistance apparatus
JP5143235B2 (ja) 制御装置および車両周囲監視装置
CN102812703A (zh) 图像显示装置
US20170305345A1 (en) Image display control apparatus and image display system
CN107878327A (zh) 周边监视装置
US11787335B2 (en) Periphery monitoring device
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
CN107950022A (zh) 车辆用图像处理装置
JP4715718B2 (ja) 車両用表示装置
JP2007158426A (ja) 車両周辺画像表示装置
JP2008168693A (ja) 車両用表示装置
JP2016043778A (ja) 画像表示制御装置および画像表示システム
CN107298067A (zh) 车门打开评估
JP2022023870A (ja) 表示制御装置
US20220161718A1 (en) Peripheral image generation device and display control method
CN107925747B (zh) 车辆用图像处理装置
CN114619965A (zh) 车辆显示控制装置以及车辆显示控制方法
US20190027041A1 (en) Display control device
CN109311423A (zh) 驾驶辅助装置
JP7159599B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180710

Termination date: 20210317