CN109314765A - 车辆用显示控制装置、车辆用显示系统、车辆用显示控制方法以及程序 - Google Patents

车辆用显示控制装置、车辆用显示系统、车辆用显示控制方法以及程序 Download PDF

Info

Publication number
CN109314765A
CN109314765A CN201780032520.2A CN201780032520A CN109314765A CN 109314765 A CN109314765 A CN 109314765A CN 201780032520 A CN201780032520 A CN 201780032520A CN 109314765 A CN109314765 A CN 109314765A
Authority
CN
China
Prior art keywords
image
confirmation request
vehicle
camera
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780032520.2A
Other languages
English (en)
Other versions
CN109314765B (zh
Inventor
森俊夫
照内拓之
浅山学
里见恒夫
菅田章典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN109314765A publication Critical patent/CN109314765A/zh
Application granted granted Critical
Publication of CN109314765B publication Critical patent/CN109314765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

包括：影像数据获取部(51)，获取来自对车辆(V)的前后左右进行拍摄的多个俯瞰影像用相机的影像数据以及对车辆(V)的左右侧后方进行拍摄的侧后方相机的影像数据；俯瞰影像生成部(53)，通过对影像数据获取部(51)获取的俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；确认请求检测部(52)，用于检测车辆(V)的左右状况确认请求；以及显示控制部(59)，当确认请求检测部(52)检测出确认请求时，使检测出的确认请求方向上所具有的侧部监视器显示侧后方相机中的确认请求方向的影像以及俯瞰影像生成部(53)生成的俯瞰影像中的与确认请求方向对应的方向的影像。

Description

车辆用显示控制装置、车辆用显示系统、车辆用显示控制方法 以及程序
技术领域
本发明涉及车辆用显示控制装置、车辆用显示系统、车辆用显示控制方法以及程序。
背景技术
已知有以下技术：由设置于车辆周围的相机拍摄车辆周边，并使监视器显示作为对所拍摄的影像进行视点变换处理的俯瞰影像。另外，已知有以下技术：基于换档位置、驱动范围的改变使俯瞰影像与侧方的影像一起显示(例如，参照专利文献1)。
在先技术文献
专利文献
专利文献1：特开2012-066700号公报。
发明内容
发明所要解决的问题
例如存在以下情况：在车辆停车时、左转时或右转时等，驾驶员希望针对前方以外的方向更可靠地确认车辆的周边。此时，驾驶员使用侧部监视器确认侧后方。然而，侧部监视器与以往的光学式的侧视镜相比有可能难以掌握进深。
由于俯瞰影像对掌握车辆与周围的相对位置关系有用，因此通过使用俯瞰影像，能够掌握与进深对应的车辆与周围的相对位置关系。但是，显示俯瞰影像的监视器被配置于车厢前方的中央部。因此，当一边对配置于车厢前方的车宽方向的外侧的侧部监视器进行确认一边目视确认中央部的监视器时，视线的移动变大。
本发明是鉴于上述而完成的，其目的在于能够进行适当的车辆周边的确认。
为了解决上述问题、实现目的，本发明涉及的车辆用显示控制装置，其特征在于，包括：影像数据获取部，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；俯瞰影像生成部，通过对所述影像数据获取部获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；确认请求检测部，用于检测所述车辆的左右状况确认请求；以及显示控制部，当所述确认请求检测部检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及所述俯瞰影像生成部生成的俯瞰影像中与确认请求方向对应的方向的影像。
本发明涉及的车辆用显示系统，其特征在于，包括：上述的车辆用显示控制装置；以及所述俯瞰影像用相机、所述侧后方相机、所述显示部中的至少任一个。
本发明涉及的车辆用显示控制方法，包括：影像数据获取步骤，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；俯瞰影像生成步骤，通过对在所述影像数据获取步骤中获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；确认请求检测步骤，检测所述车辆的左右状况确认请求；以及显示控制步骤，当在所述确认请求检测步骤中检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及在所述俯瞰影像生成步骤中生成的俯瞰影像中与确认请求方向对应的方向的影像。
本发明涉及的程序用于使作为车辆用显示控制装置而动作的计算机执行以下步骤：影像数据获取步骤，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；俯瞰影像生成步骤，通过对在所述影像数据获取步骤中获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；确认请求检测步骤，检测所述车辆的左右状况确认请求；以及显示控制步骤，当在所述确认请求检测步骤中检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及在所述俯瞰影像生成步骤中生成的俯瞰影像中的与确认请求方向对应的方向的影像。
发明效果
根据本发明，能够起到以下效果：能够进行适当的车辆周边的确认。
附图说明
图1是示出第一实施方式涉及的车辆用显示系统的构成例的框图；
图2是示出第一实施方式涉及的车辆用显示系统的侧后方相机与俯瞰影像用相机的构成例的示意图；
图3是示出第一实施方式涉及的车辆用显示系统的右侧后方相机的构成例的示意图；
图4是示出第一实施方式涉及的车辆用显示系统的监视器的构成例的示意图；
图5是示出在第一实施方式涉及的车辆用显示系统中显示在右侧部监视器中的影像的一例的图；
图6是示出在第一实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图；
图7是示出在第二实施方式涉及的车辆用显示系统中生成的俯瞰影像的一例的图；
图8是在第二实施方式涉及的车辆用显示系统中显示在右侧部监视器中的影像的一例的图；
图9是示出在第二实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图；
图10是示出在第三实施方式涉及的车辆用显示系统中显示在右侧部监视器中的影像的一例的图；
图11是示出在第三实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图。
具体实施方式
以下参照附图对本发明涉及的车辆用显示控制装置40、车辆用显示系统1、车辆用显示控制方法以及程序的实施方式进行详细地说明。此外，并不是通过以下的实施方式限定本发明。
第一实施方式
车辆用显示系统1被搭载于车辆V，对车辆周边进行显示。图1是示出第一实施方式涉及的车辆用显示系统的构成例的框图。
如图1所示，车辆用显示系统1具有后方相机11、右侧后方相机(侧后方相机)12、左侧后方相机(侧后方相机)13、俯瞰影像用相机单元20、信息娱乐监视器31、后视监视器32、右侧部监视器(显示部)33、左侧部监视器(显示部)34以及车辆用显示控制装置40。以下，从各相机获取的影像数据例如是由每秒30～60帧的连续影像构成的动态图像的数据，各监视器显示的影像是基于动态图像的影像。
如图2所示，后方相机11被配置于车辆V的后方，对车辆V的后方进行拍摄。图2是示出第一实施方式涉及的车辆用显示系统的侧后方相机与俯瞰影像用相机的构成例的示意图。后方相机11对包含基于后视监视器32的确认范围的范围进行拍摄。后方相机11对包含右侧后方相机12以及左侧后方相机13的死角的范围进行拍摄。后方相机11的水平方向的视角例如是90～180°，上下方向的视角例如是45～90°。后方相机11将所拍摄的影像数据输出到车辆用显示控制装置40的影像数据获取部51。
如图2、图3所示，右侧后方相机12被配置于车辆V的右侧方，对车辆V的右侧方进行拍摄。图3是示出第一实施方式涉及的车辆用显示系统的右侧后方相机的构成例的示意图。右侧后方相机12对基于右侧部监视器33的确认范围进行拍摄。右侧后方相机12的水平方向的视角例如是15～45°，上下方向的视角例如是15～45°。安装有右侧后方相机12的支承部件能够向车辆V的方向折叠。右侧后方相机12将所拍摄的影像数据输出给车辆用显示控制装置40的影像数据获取部51。
返回到图2，左侧后方相机13被配置于车辆V的左侧方，对车辆V的左侧方进行拍摄。左侧后方相机13对基于左侧部监视器34的确认范围进行拍摄。左侧后方相机13的水平方向的视角例如是15～45°，上下方向的视角例如是15～45°。安装有左侧后方相机13的支承部件能够向车辆V的方向折叠。左侧后方相机13将所拍摄的影像数据输出到车辆用显示控制装置40的影像数据获取部51。
俯瞰影像用相机单元(多个俯瞰影像用相机)20具有前方俯瞰相机21、后方俯瞰相机22、右侧方俯瞰相机23以及左侧方俯瞰相机24。
前方俯瞰相机21被配置于车辆V的前方，对以车辆V的前方为中心的周边进行拍摄。前方俯瞰相机21例如对180°程度的拍摄范围进行拍摄。前方俯瞰相机21将所拍摄的影像输出到车辆用显示控制装置40的影像数据获取部51。
后方俯瞰相机22被配置于车辆V的后方，对以车辆V的后方为中心的周边进行拍摄。后方俯瞰相机22例如对180°程度的拍摄范围进行拍摄。后方俯瞰相机22将所拍摄的影像输出到车辆用显示控制装置40的影像数据获取部51。
如图2、图3所示，右侧方俯瞰相机23被配置于车辆V的右侧方，对以车辆V的右侧方为中心的周边进行拍摄。右侧方俯瞰相机23例如对180°程度的拍摄范围进行拍摄。右侧方俯瞰相机23将所拍摄的影像输出到车辆用显示控制装置40的影像数据获取部51。
返回到图2，左侧方俯瞰相机24被配置于车辆V的左侧方，对以车辆V的左侧方为中心的周边进行拍摄。左侧方俯瞰相机24例如对180°程度的拍摄范围进行拍摄。左侧方俯瞰相机24将所拍摄的影像输出到车辆用显示控制装置40的影像数据获取部51。
由包含这样的前方俯瞰相机21、后方俯瞰相机22、右侧方俯瞰相机23以及左侧方俯瞰相机24的俯瞰影像用相机单元20来对车辆V的全方位进行拍摄。
如图4所示，信息娱乐监视器31例如是包含液晶显示器(LCD：Liquid CrystalDisplay)或者有机EL(Organic Electro-Luminescence，有机电致发光)显示器的显示器。图4是示出第一实施方式涉及的车辆用显示系统的监视器的构成例的示意图。信息娱乐监视器31基于从车辆用显示系统1的车辆用显示控制装置40输出的影像信号显示例如俯瞰影像。信息娱乐监视器31可以是专用于车辆用显示系统1的，也可以例如是与包含导航系统的其他系统共同地使用的。信息娱乐监视器31被配置在从驾驶员容易目视确认的位置。在本实施方式中，信息娱乐监视器31被配置于仪表盘D的车宽方向的中央部的中央控制台C。
后视监视器32作为一例是电子室内后视镜。将后视监视器32用作电子室内后视镜的情况，与有无用于通过光学反射来确认后方的半反射镜无关。后视监视器32例如是包含液晶显示器或者有机EL显示器等的显示器。后视监视器32基于从车辆用显示控制装置40输出的影像信号显示车辆V的后方影像。后视监视器32被配置在从驾驶员容易目视确认的位置。在本实施方式中，后视监视器32被配置于挡风玻璃S的车宽方向的中央上部。
右侧部监视器33例如是包含液晶显示器或者有机EL显示器等的显示器。右侧部监视器33基于从车辆用显示控制装置40的显示控制部59输出的影像信号显示车辆V的右侧后方影像。右侧部监视器33被配置在从驾驶员容易目视确认的位置。在本实施方式中，右侧部监视器33被配置在仪表盘D的车宽方向的右侧。
左侧部监视器34例如是包含液晶显示器或者有机EL显示器的显示器。左侧部监视器34基于从车辆用显示控制装置40的显示控制部59输出的影像信号显示车辆V的左侧后方影像。左侧部监视器34被配置在从驾驶员容易目视确认的位置。在本实施方式中，左侧部监视器34被配置在仪表盘D的车宽方向的左侧。
返回到图1，车辆用显示控制装置40具有控制部50和存储部60。
控制部50例如是由CPU(Central Processing Unit，中央处理器)等构成的运算处理装置。控制部50包含影像数据获取部51、确认请求检测部52、俯瞰影像生成部53以及显示控制部59。控制部50执行存储于存储部60的程序所包含的指令。
影像数据获取部51获取来自对车辆V的前后左右进行拍摄的俯瞰影像用相机单元20的影像数据以及来自对车辆V的左右侧后方进行拍摄侧后方相机的影像数据。影像数据获取部51获取来自俯瞰影像用相机单元20的周边影像数据。影像数据获取部51获取来自后方相机11的影像数据。影像数据获取部51获取来自右侧后方相机12以及左侧后方相机13的影像数据。影像数据获取部51将所获取的这些影像数据输出到俯瞰影像生成部53和显示控制部59。
确认请求检测部52从CAN(Controller Area Network，控制器局域网)、感知车辆V状态的各种传感器等获取表示车辆V的左右状况确认请求(确认请求)的例如车辆V的方向指示器、转向盘、车门的操作信息。确认请求检测部52可以获取表示车辆V的左右状况确认请求的导航信息。确认请求检测部52例如可以通过红外线传感器、超声波传感器、毫米波传感器、基于图像识别的传感器等检测障碍物，并获取表示车辆V的左右状况确认请求的障碍物信息。确认请求检测部52在获取到表示车辆V的左右状况确认请求的操作信息的情况下，将检测出确认请求的情况与确认请求方向一起输出到俯瞰影像生成部53。确认请求检测部52在没有获取表示车辆V的左右状况确认请求的操作信息的情况下，将未检测出确认请求的情况输出到俯瞰影像生成部53。
车辆V的左右状况确认请求是指驾驶员请求确认车辆V的右方和左方的至少任一方向的车辆V周围的状况、或者驾驶员需要的内容。将驾驶员请求确认的车辆V的右方、左方称为确认请求方向。
例如，当车辆V后退时，确认请求检测部52基于档位被设为了“倒车”的操作信息，检测确认请求方向是右方和左方的左右状况确认请求。
例如，当车辆V的车道改变时，确认请求检测部52基于导航信息、转向角信息，检测确认请求方向是车道改变方向、是右方或者左方的左右状况确认请求。
例如，当车辆V的右车门或者左车门的打开操作时，确认请求检测部52基于右车门或者左车门的打开信息，检测确认请求方向是打开操作方向、是右方或者左方的左右状况确认请求。
例如，在操作方向指示器时，确认请求检测部52基于方向指示器的操作信息，检测确认请求方向是操作方向指示器的方向、是右方或者左方的左右状况确认请求。
例如，当车辆V后退时，在右侧方或者左侧方或者后方的附近存在障碍物的情况下，确认请求检测部52基于由传感器的检测信息或者图像处理的图像分析的分析结果获得的障碍物信息，检测确认请求方向是传感器的检测方向或者拍摄障碍物的相机的方向、是右方或者左方的左右状况确认请求。此外，当在后方检测出了障碍物的情况下，确认请求方向设为右方以及左方。
俯瞰影像生成部53针对影像数据获取部51所获取的周边影像执行视点变换处理、切出处理、合成处理。俯瞰影像生成部53生成俯瞰影像，该俯瞰影像在所合成的影像的中央部显示仿照车辆V的大小和形态等的自身车辆图标。
俯瞰影像生成部53具有视点变换处理部531、切出处理部532以及合成处理部533。
视点变换处理部531针对由影像数据获取部51获取的周边影像数据进行视点变换处理，使得从上方俯视车辆V。更详细而言，视点变换处理部531基于由俯瞰影像用相机单元20拍摄的周边影像数据来生成进行视点变换处理的影像。视点变换处理方法可以是公知的任意方法，并不进行限定。视点变换处理部531将进行了视点变换处理的周边影像数据输出到切出处理部532。
切出处理部532进行切出处理，该切出处理从进行了视点变换处理的周边影像数据切出预定范围的影像。将哪个范围设为切出范围被预先登记存储。切出处理部532将进行了切出处理的影像的影像数据输出到合成处理部533。
合成处理部533进行合成处理，该合成处理对进行了切出处理的影像数据进行合成。合成处理部533生成将自身车辆图标显示在所合成的影像中的俯瞰影像。
显示控制部59使信息娱乐监视器31显示由俯瞰影像生成部53生成的俯瞰影像。显示控制部59使后视监视器32显示影像数据获取部51获取的由后方相机11拍摄的影像。显示控制部59使右侧部监视器33显示影像数据获取部51获取的由右侧后方相机12拍摄的影像。显示控制部59使左侧部监视器34显示影像数据获取部51获取的由左侧后方相机13拍摄的影像。
当确认请求检测部52检测出确认请求时，显示控制部59使所检测出的确认请求方向上所具有的右侧部监视器33或者左侧部监视器34(以下，称为“确认请求方向的侧部监视器”。)显示侧后方影像100(参照图5)以及俯瞰影像110(参照图5)，该侧后方影像100由右侧后方相机12以及左侧后方相机13中的确认请求方向的侧后方相机拍摄而得，该俯瞰影像110是俯瞰影像生成部53生成的俯瞰影像中的与确认请求方向对应的方向的影像110。
与确认请求方向对应的方向是指与确认请求方向相同的方向或者与确认请求方向相反方向。在本实施方式中，与确认请求方向对应的方向设为与确认请求方向相同的方向。
显示控制部59切出俯瞰影像生成部53生成的俯瞰影像中的与确认请求方向对应的方向并生成俯瞰影像110。
显示控制部59在确认请求方向的侧部监视器的车宽方向的内侧显示侧后方影像100，在车宽方向的外侧显示俯瞰影像110。或者，显示控制部59可以在确认请求方向的侧部监视器的车宽方向的外侧显示侧后方影像100，在车宽方向的内侧显示俯瞰影像110。
例如，当确认请求检测部52检测出将右方为确认请求方向的确认请求(以下，称为“右方确认请求”。)时，显示控制部59将由右侧后方相机12拍摄的右侧后方的侧后方影像100显示在右侧部监视器33的左侧，并且作为与确认请求方向对应的方向的影像，将切出俯瞰影像生成部53生成的俯瞰影像中的右方的俯瞰影像110显示在右侧部监视器33的右侧。
例如，当确认请求检测部52检测出将左方为确认请求方向的确认请求(以下，“左方确认请求”。)时，显示控制部59将由左侧后方相机13拍摄的左侧后方的侧后方影像100显示在左侧部监视器34的右侧，并且作为与确认请求方向对应的方向的影像，将切出俯瞰影像生成部53生成的俯瞰影像中的左方的俯瞰影像110显示在左侧部监视器34的左侧。
例如，当确认请求检测部52检测出将右方以及左方为确认请求方向的状况确认请求时，显示控制部59执行检测出上述的右方确认请求时的处理和检测出左方确认请求时的处理。
使用图5，说明当确认请求检测部52检测出右方确认请求时显示在右侧部监视器33的影像。图5是示出在第一实施方式涉及的车辆用显示系统中显示在右侧部监视器中的影像的一例的图。在右侧部监视器33中，右侧的侧后方影像100与俯瞰影像110在车宽方向上并排显示。
右侧的侧后方影像100是由右侧后方相机12拍摄的车辆V的右侧后方的影像。右侧的侧后方影像100包括与以往的光学式右侧视镜同样的范围。在右侧的侧后方影像100中有映入车辆V的右侧方的车身101的范围。在本实施方式中，右侧的侧后方影像100被显示在车辆V侧。
俯瞰影像110是从由俯瞰影像生成部53生成的俯瞰影像中切出右侧方影像的影像。在本实施方式中，俯瞰影像110是切出由俯瞰影像生成部53生成的俯瞰影像中的右侧一半的范围的影像。俯瞰影像110包含前方影像111、后方影像112以及右侧方影像113。在本实施方式中，前方影像111和后方影像112包含有与到自身车辆图标114的车宽方向的中央部为止对应的范围。在俯瞰影像110的左侧显示有自身车辆图标114。自身车辆图标114表示自身车辆的右侧一半的形态和大小。俯瞰影像110被显示在右侧的侧后方影像100的车宽方向的外侧。
在图5中，为了说明而图示有倾斜的虚线，该倾斜的虚线表示前方影像111、后方影像112以及右侧方影像113的边界，但实际上被显示在右侧部监视器33中的俯瞰影像110中，该虚线可以被显示，也可以不被显示。其他的图也是同样的。
存储部60用于存储车辆用显示控制装置40中的各种处理所需要的数据以及各种处理结果。存储部60例如是RAM、ROM、闪存等半导体存储器元件，或者是硬盘、光盘、经由网络的外部存储装置等存储装置。
接着，使用图6对控制部50处理的流程进行说明。图6是示出第一实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图。作为图6所示的处理的前提，是在右侧部监视器33的整个面上显示由右侧后方相机12拍摄的侧后方影像100、在左侧部监视器34的整个面上显示由左侧后方相机13拍摄的侧后方影像100的状态。与此时有无向信息娱乐监视器31显示俯瞰影像无关。
控制部50判断有无状况确认请求(步骤S11)。更详细而言，控制部50判断是否由确认请求检测部52检测出状况确认请求。控制部50在判断为没有检测出状况确认请求的情况(在步骤S11中为“否”)下，再次执行步骤S11的处理。控制部50在判断为检测出状况确认请求的情况下(在步骤S11中为“是”)，进入到步骤S12。
控制部50生成或者获取俯瞰影像(步骤S12)。在本实施方式中，控制部50获取由俯瞰影像生成部53生成的俯瞰影像数据。当在步骤S11中为“是”时，在俯瞰影像生成部53继续生成俯瞰影像的情况下，步骤S12的处理获取该俯瞰影像，在俯瞰影像生成部53没有生成俯瞰影像的情况下，步骤S12的处理在开始俯瞰影像的生成后获取俯瞰影像。控制部50进入到步骤S13。
控制部50将与俯瞰影像的确认请求方向对应的方向的影像以及确认请求方向的侧后方相机影像一起显示在确认请求方向的侧部监视器(步骤S13)。控制部50可以按照每帧从俯瞰影像生成部53生成的俯瞰影像数据中切出确认请求方向的影像并进行显示，也可以从俯瞰影像数据中仅使用确认请求方向的影像数据来进行显示。在本实施方式中，控制部50通过显示控制部59使右侧部监视器33显示由右侧后方相机12拍摄的右侧的侧后方影像100以及从由俯瞰影像生成部53生成的俯瞰影像中切出了右侧的俯瞰影像110。控制部50进入到步骤S14。
控制部50判断状况确认请求是否已被结束(步骤S14)。更详细而言，控制部50在继续检测到状况确认请求的情况下，判断为状况确认请求没有结束(在步骤S14中为“否”)，再次执行步骤S14的处理。控制部50在未检测到状况确认请求的情况下，判断为状况确认请求结束(在步骤S14中为“是”)，结束处理。
如此，当检测出状况确认请求时，车辆用显示系统1使检测出的确认请求方向的侧部监视器显示侧后方影像100和俯瞰影像110，该侧后方影像100由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110是俯瞰影像生成部53生成的俯瞰影像中的确认请求方向的影像。
如上所述，在本实施方式中，当检测出状况确认请求时，使检测出的确认请求方向的侧部监视器显示侧后方影像100以及俯瞰影像110，该侧后方影像100由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110是从俯瞰影像生成部53生成的俯瞰影像中切出了确认请求方向而得。在本实施方式中，通过确认请求方向的侧部监视器能够确认侧后方影像100以及切出了确认请求方向的俯瞰影像110。即，从检测到状况确认请求到结束为止的期间，在确认请求方向的侧部监视器上，除了侧后方影像100之外，确认请求方向的俯瞰影像同时作为动态图像被显示。由此，本实施方式能够更可靠地进行车辆V周边的安全确认。如此，本实施方式能够进行适当的车辆V周边的确认。
例如，在将俯瞰影像显示在信息娱乐监视器31的情况下，由于一边在侧部监视器确认侧后方影像100一边在信息娱乐监视器31确认俯瞰影像110，因此视线的移动变大。
与此相对，本实施方式能够通过确认请求方向的侧部监视器对确认请求方向的侧后方影像100和确认请求方向的俯瞰影像110进行确认。由此，本实施方式能够抑制驾驶员的视线移动。
第二实施方式
参照图7至图9，对本实施方式涉及的车辆用显示系统1进行说明。图7是示出在第二实施方式涉及的车辆用显示系统中生成的俯瞰影像的一例的图。图8是示出在第二实施方式涉及的车辆用显示系统中显示在右侧部监视器中的影像的一例的图。图9是示出第二实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图。车辆用显示系统1的基本构成与第一实施方式的车辆用显示系统1相同。在以下的说明中，对于与车辆用显示系统1相同的构成要素，标注相同的符号或者对应的符号，并省略其详细说明。本实施方式的车辆用显示系统1的车辆用显示控制装置40的控制部50中的处理与第一实施方式的车辆用显示系统1不同。
当确认请求检测部52检测出确认请求时，俯瞰影像生成部53使用来自俯瞰影像用相机单元20中的前方俯瞰相机21和后方俯瞰相机22的影像以及来自与确认请求方向对应的方向的俯瞰相机的影像生成俯瞰影像。在本实施方式中，当确认请求检测部52检测出确认请求时，俯瞰影像生成部53针对影像数据获取部51获取的周边影像中的来自前方俯瞰相机21和后方俯瞰相机22的影像以及来自确认请求方向的俯瞰相机的影像执行视点变换处理、切出处理以及合成处理来生成俯瞰影像。
例如，当确认请求检测部52检测出右方确认请求时，俯瞰影像生成部53针对影像数据获取部51获取的来自右侧方俯瞰相机23、前方俯瞰相机21以及后方俯瞰相机22的周边影像执行视点变换处理、切出处理以及合成处理来生成俯瞰影像110A。
例如，当确认请求检测部52检测出左方确认请求时，俯瞰影像生成部53针对影像数据获取部51获取的来自左侧方俯瞰相机24、前方俯瞰相机21以及后方俯瞰相机22的周边影像执行视点变换处理、切出处理以及合成处理来生成俯瞰影像110A。
例如，当确认请求检测部52检测出将右方以及左方为确认请求方向的确认请求时，俯瞰影像生成部53执行检测出上述的右方确认请求时的处理和检测出了左方确认请求时的处理。
当确认请求检测部52检测出确认请求时，视点变换处理部531基于俯瞰影像用相机单元20中的、来自与确认请求方向对应的方向的俯瞰相机的影像，生成进行了视点变换处理的影像。在本实施方式中，当确认请求检测部52检测出确认请求时，视点变换处理部531基于来自确认请求方向的俯瞰相机的影像生成进行了视点变换处理的影像。
当确认请求检测部52检测出确认请求时，切出处理部532进行切出处理，该切出处理从来自与进行了视点变换处理的确认请求方向对应的俯瞰相机的影像中切出预定范围的影像。在本实施方式中，当确认请求检测部52检测出确认请求时，切出处理部532进行切出处理，该切出处理从来自进行了视点变换处理的确认请求方向的俯瞰相机的影像中切出预定范围的影像。在本实施方式中，前方影像111A和后方影像112A切出与到自身车辆图标114A的左侧端部为止对应的范围。
当确认请求检测部52检测出确认请求时，合成处理部533进行合成处理，该合成处理对来自进行了切出处理的与确认请求方向对应的方向的俯瞰相机的影像进行合成。在本实施方式中，当确认请求检测部52检测出确认请求时，合成处理部533进行合成处理，该合成处理对来自进行了切出处理的确认请求方向的俯瞰相机的影像进行合成。合成处理部533生成在所合成的影像上显示了自身车辆图标114A的俯瞰影像110A。
当确认请求检测部52检测出确认请求时，显示控制部59使检测出的确认请求方向的侧部监视器显示侧后方影像100A和俯瞰影像110A，该侧后方影像100A由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110A使用来自俯瞰影像用相机单元20中的与确认请求方向对应的方向的俯瞰相机的影像来生成。在本实施方式中，当确认请求检测部52检测出确认请求时，显示控制部59使检测出的确认请求方向的侧部监视器显示侧后方影像100A和俯瞰影像110A，该侧后方影像100A由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110A使用来自确认请求方向的俯瞰相机的影像来生成。
例如，当确认请求检测部52检测出右方确认请求时，显示控制部59使右侧部监视器33显示侧后方影像100A和俯瞰影像110A，该侧后方影像100A是由右侧后方相机12拍摄而得的右侧后方的影像，该俯瞰影像110A是根据来自右侧方俯瞰相机23、前方俯瞰相机21以及后方俯瞰相机22的周边影像生成的影像。
例如，当确认请求检测部52检测出左方确认请求时，显示控制部59使左侧部监视器34显示侧后方影像100A和俯瞰影像110A，该侧后方影像100A是由左侧后方相机13拍摄而得的左侧后方的影像，该俯瞰影像110A是根据来自左侧方俯瞰相机24、前方俯瞰相机21以及后方俯瞰相机22的周边影像生成的影像。
例如，当确认请求检测部52检测出将右方以及左方为确认请求方向的确认请求时，显示控制部59执行检测出上述的右方确认请求时的处理和检测出左方确认请求时的处理。
使用图7，说明当确认请求检测部52检测出右方确认请求时由俯瞰影像生成部53生成的俯瞰影像110A。
俯瞰影像110A是使用来自俯瞰影像用相机单元20中的确认请求方向的俯瞰相机的影像来生成的影像。在本实施方式中，是针对影像数据获取部51获取的、来自右侧方俯瞰相机23、前方俯瞰相机21以及后方俯瞰相机22的周边影像进行视点变换处理、切出处理以及合成处理而生成的影像。俯瞰影像110A包含前方影像111A、后方影像112A以及右侧方影像113A。在本实施方式中，前方影像111A和后方影像112A包含与到自身车辆图标114A的左侧端部为止对应的范围。自身车辆图标114A表示自身车辆的整体的形态和大小。
使用图8，说明当确认请求检测部52检测出右方确认请求时显示在右侧部监视器33中的影像。在右侧部监视器33上，右侧的侧后方影像100A和俯瞰影像110A在车宽方向上并排显示。右侧的侧后方影像100A是与第一实施方式的右侧的侧后方影像100相同的。俯瞰影像110A是与图7相同的影像。
接着，使用图9，对控制部50处理的流程进行说明。步骤S21、步骤S24进行与步骤S11、步骤S14相同的处理。
控制部50生成不使用与确认请求方向相反侧的俯瞰相机的影像的俯瞰影像(步骤S22)。更详细而言，控制部50在俯瞰影像生成部53针对影像数据获取部51获取的周边影像中的来自与确认请求方向相反侧的俯瞰相机的影像以外的影像执行视点变换处理、切出处理以及合成处理，并生成俯瞰影像110A。控制部50进入到步骤S23。
控制部50将在步骤S22中生成的俯瞰影像110A与确认请求方向的侧后方影像100A一起显示在确认请求方向的侧部监视器上(步骤S23)。在本实施方式中，控制部50通过显示控制部59使右侧部监视器33显示由右侧后方相机12拍摄的右侧的侧后方影像100A和在步骤S22中生成的俯瞰影像110A。控制部50进入到步骤S24。
如上所述，在本实施方式中，当检测出确认请求时，使检测出的确认请求方向的侧部监视器显示侧后方影像100A和俯瞰影像110A，该侧后方影像100A由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110A不使用来自与确认请求方向相反侧的俯瞰相机的影像、而使用来自确认请求方向的俯瞰相机的影像来生成。本实施方式能够通过确认请求方向的侧部监视器确认侧后方影像100A以及使用来自确认请求方向的俯瞰相机的影像所生成的俯瞰影像110A。由此，本实施方式能够更可靠地进行车辆V周边的安全确认。如此，本实施方式能够可靠地进行适当的车辆V周边的确认。
第三实施方式
参照图10、图11对本实施方式涉及的车辆用显示系统1进行说明。图10是示出在第三实施方式涉及的车辆用显示系统中显示右侧部监视器中的影像的一例的图。图11是示出在第三实施方式涉及的车辆用显示系统的车辆用显示控制装置中处理的流程的流程图。车辆用显示系统1的基本构成与第一实施方式的车辆用显示系统1相同。本实施方式的车辆用显示系统1的车辆用显示控制装置40的控制部50中的处理与第一实施方式的车辆用显示系统1不同。
当确认请求检测部52检测出确认请求时，俯瞰影像生成部53生成将虚拟视点位置改变到车辆前方或者车辆后方的俯瞰影像110B。在本实施方式中，当确认请求检测部52检测出确认请求时，俯瞰影像生成部53生成将虚拟视点位置改变到车辆后方的俯瞰影像110B。
当确认请求检测部52检测出确认请求时，视点变换处理部531针对俯瞰影像用相机单元20中的来自确认请求方向的俯瞰相机的周边影像将虚拟视点位置改变到车辆前方或者车辆后方来进行视点变换处理。在本实施方式中，当确认请求检测部52检测出确认请求时，视点变换处理部531针对来自确认请求方向的俯瞰相机的周边影像将虚拟视点位置改变到车辆后方来进行视点变换处理。
当确认请求检测部52检测出确认请求时，显示控制部59使检测出的确认请求方向的侧部监视器显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110B是将虚拟视点位置改变到车辆前方或者车辆后方来进行了视点变换处理的影像。在本实施方式中，当确认请求检测部52检测出确认请求时，显示控制部59使检测出的确认请求方向的侧部监视器显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110B是将虚拟视点位置改变到车辆后方而进行了视点变换处理的影像。
例如，当确认请求检测部52检测出右方确认请求时，显示控制部59使右侧部监视器33显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B是由右侧后方相机12拍摄而得的右侧后方的影像，该俯瞰影像110B是针对来自右侧方俯瞰相机23、前方俯瞰相机21以及后方俯瞰相机22的周边影像将虚拟视点位置改变到车辆前方或者车辆后方的影像。
例如，当确认请求检测部52检测出左方确认请求时，显示控制部59使左侧部监视器34显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B是由左侧后方相机13拍摄而得的左侧后方的影像，该俯瞰影像110B是针对来自左侧方俯瞰相机24、前方俯瞰相机21以及后方俯瞰相机22的周边影像将虚拟视点位置改变到车辆前方或者车辆后方的影像。
使用图10，说明当确认请求检测部52检测出右方确认请求时在右侧部监视器33显示的影像。在右侧部监视器33中显示有右侧的侧后方影像100B和俯瞰影像110B。
右侧的侧后方影像100B是与第一实施方式的右侧的侧后方影像100相同的。
俯瞰影像110B是将虚拟视点位置改变到车辆后方的俯瞰影像。俯瞰影像110B包含如从车辆前方俯视的前方影像111B、后方影像112B以及右侧方影像113B。在本实施方式中，前方影像111B和后方影像112B包含与到自身车辆图标114B的车宽方向的中央为止对应的范围。自身车辆图标114B模拟出从车辆前方俯视的自身车辆的形态。
接着，使用图11对控制部50处理的流程进行说明。步骤S31、步骤S34进行与步骤S11、步骤S14相同的处理。
控制部50生成或者获取改变了虚拟视点位置的俯瞰影像(步骤S32)。在本实施方式中，控制部50在俯瞰影像生成部53针对影像数据获取部51获取的周边影像中的来自确认请求方向的俯瞰相机的影像将虚拟视点位置改变到车辆后方而执行视点变换处理、切出处理以及合成处理，并生成俯瞰影像110B。控制部50进入到步骤S33。
控制部50将在步骤S32生成的俯瞰影像110B中切出确认请求方向，并与确认请求方向的侧后方相机影像一起显示到确认请求方向的侧部监视器(步骤S33)。在本实施方式中，控制部50通过显示控制部59使右侧部监视器33显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B是由右侧后方相机12拍摄的右侧的影像，该俯瞰影像110B是在步骤S32生成的、改变了虚拟视点位置的影像。控制部50进入到步骤S34。
如上所述，在本实施方式中，当检测出确认请求时，使检测出的确认请求方向的侧部监视器显示侧后方影像100B和俯瞰影像110B，该侧后方影像100B由确认请求方向的侧后方相机拍摄而得，该俯瞰影像110B是将虚拟视点位置改变到车辆前方或者车辆后方的影像。在本实施方式中，能够通过确认请求方向的侧部监视器确认侧后方影像和改变了虚拟视点位置的确认请求方向的俯瞰影像。由此，本实施方式能够更可靠地进行车辆V周边的安全确认。如此，本实施方式能够进行适当的车辆V周边的确认。
图示的车辆用显示系统1的各构成要素是功能概念的，可以未必在物理上如图示那样构成。即，各装置的具体的形态不限于图示的情况，可以根据各装置的处理负担、使用状况等将其全部或者一部分以任意的单位在功能上或者物理上分散或者统合。
车辆用显示系统1的构成例如作为软件通过加载到存储器的程序等实现。在上述实施方式中，作为通过这些硬件或者软件协作而实现的功能块而进行了说明。即，关于这些功能块，能够仅通过硬件、仅通过软件或者这些的组合以各种形式实现。
在上述记载的构成要素中包含本领域技术人员能够容易想到的内容、实质上相同的内容。并且，上述所记载的构成能够适当地组合。另外，在不脱离本发明的主旨的范围内能够进行构成的各种省略、置换或者改变。
当确认请求检测部52检测出确认请求时，显示控制部59使检测出的确认请求方向的侧部监视器交替地切换由确认请求方向的侧后方相机拍摄的侧后方影像10与俯瞰影像生成部53生成的俯瞰影像110中的确认请求方向的影像以及与确认请求方向相反侧的影像例如可以以亮灭的方式显示。
并且，显示控制部59也可以仅限于在确认请求检测部52检测出的确认请求是由检测出障碍物引起的情况，交替切换地显示确认请求方向的影像和与确认请求方向相反侧的影像。由此，能够进行更适当的车辆V周边的确认。
显示控制部59即使是检测出确认请求的情况、在车辆V的车速为预定速度以上的情况下，可以不进行使所检测出的确认请求方向的侧部监视器显示俯瞰影像110处理。这是为了在高速行驶时以通常时的宽度保持侧后方影像100的显示范围。
显示控制部59为了较宽地显示俯瞰影像110中的前方影像111或者后方影像112，可以将切出范围向前方侧或者后方侧错开。由此，能够显示对驾驶员更有用的信息。
当在侧部监视器上显示俯瞰影像110时，显示控制部59可以在侧后方影像100和俯瞰影像110的边界上显示线。或者，当在侧部监视器显示俯瞰影像110时，显示控制部59可以将俯瞰影像110以预定透明度的半透明着色来显示。或者，当显示俯瞰影像110时，显示控制部59可以进行改变侧后方影像100和俯瞰影像110的亮度或明亮度的显示，也可以使任一个亮灭来显示。通过设为如此，在本实施方式中，能够容易识别在侧部监视器上显示有俯瞰影像110的情况。
当开始针对侧部监视器显示俯瞰影像110时，显示控制部59可以使侧部监视器以俯瞰影像110从外侧滑动而进入屏幕的方式显示影像，并当结束显示时，可以使侧部监视器以俯瞰影像110向外侧滑动而离开屏幕的方式显示影像。由此，在本实施方式中，能够容易地识别在侧部监视器显示有俯瞰影像110的情况。
符号的说明
1 车辆用显示系统
11 后方相机
12 右侧后方相机(侧后方相机)
13 左侧后方相机(侧后方相机)
20 俯瞰影像用相机单元(多个俯瞰影像用相机)
21 前方俯瞰相机(俯瞰影像用相机)
22 后方俯瞰相机(俯瞰影像用相机)
23 右侧方俯瞰相机(俯瞰影像用相机)
24 左侧方俯瞰相机(俯瞰影像用相机)
31 信息娱乐监视器
32 后视监视器
33 右侧部监视器(显示部)
34 左侧部监视器(显示部)
40 车辆用显示控制装置
50 控制部
51 影像数据获取部
52 确认请求检测部
53 俯瞰影像生成部
531 视点变换处理部
532 切出处理部
533 合成处理部
59 显示控制部
100 侧后方影像
110 俯瞰影像。

Claims (9)

1.一种车辆用显示控制装置，包括：
影像数据获取部，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；
俯瞰影像生成部，通过对所述影像数据获取部获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；
确认请求检测部，检测所述车辆的左右状况确认请求；以及
显示控制部，当所述确认请求检测部检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及所述俯瞰影像生成部生成的俯瞰影像中与确认请求方向对应的方向的影像。
2.如权利要求1所述的车辆用显示控制装置，其中，
当所述确认请求检测部检测出确认请求时，所述显示控制部从所述俯瞰影像生成部生成的俯瞰影像中显示使用了确认请求方向的影像的俯瞰影像，作为所述俯瞰影像生成部生成的俯瞰影像中与确认请求方向对应的方向的影像。
3.如权利要求1所述的车辆用显示控制装置，其中，
当所述确认请求检测部检测出确认请求时，所述俯瞰影像生成部使用来自构成所述俯瞰影像用相机的前方俯瞰相机和后方俯瞰相机的至少任一个的影像以及来自右侧方俯瞰相机和左侧方俯瞰相机中的确认请求方向的相机的影像来生成俯瞰影像。
4.如权利要求1至3中任一项所述的车辆用显示控制装置，其中，
当所述确认请求检测部检测出确认请求时，所述俯瞰影像生成部生成将虚拟视点位置改变到所述车辆前方或者所述车辆后方的俯瞰影像。
5.如权利要求1至4中任一项所述的车辆用显示控制装置，其中，
当所述确认请求检测部检测出确认请求时，所述显示控制部使检测出的确认请求方向上所具有的显示部交替切换地显示所述侧后方相机中的确认请求方向的影像、以及所述俯瞰影像生成部生成的俯瞰影像中的确认请求方向的影像和与确认请求方向相反方向的影像。
6.如权利要求5所述的车辆用显示控制装置，其中，
所述确认请求是基于所述车辆周边的障碍物的确认请求。
7.一种车辆用显示系统，其特征在于，包括：
权利要求1至6中任一项所述的车辆用显示控制装置；以及
所述俯瞰影像用相机、所述侧后方相机、所述显示部中的至少任一个。
8.一种车辆用显示控制方法，其特征在于，包括：
影像数据获取步骤，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；
俯瞰影像生成步骤，通过对在所述影像数据获取步骤中获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；
确认请求检测步骤，检测所述车辆的左右状况确认请求；以及
显示控制步骤，当在所述确认请求检测步骤中检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及在所述俯瞰影像生成步骤中生成的俯瞰影像中与确认请求方向对应的方向的影像。
9.一种程序，用于使作为车辆用显示控制装置而动作的计算机执行以下步骤：
影像数据获取步骤，获取来自多个俯瞰影像用相机的影像数据以及来自侧后方相机的影像数据，所述多个俯瞰影像用相机对车辆的前后左右进行拍摄，所述侧后方相机对所述车辆的左右侧后方进行拍摄；
俯瞰影像生成步骤，通过对在所述影像数据获取步骤中获取的所述俯瞰影像用相机的影像进行视点变换处理以及合成处理来生成俯瞰影像；
确认请求检测步骤，检测所述车辆的左右状况确认请求；以及
显示控制步骤，当在所述确认请求检测步骤中检测出确认请求时，使检测出的确认请求方向上所具有的显示部显示所述侧后方相机中的确认请求方向的影像以及在所述俯瞰影像生成步骤中生成的俯瞰影像中与确认请求方向对应的方向的影像。
CN201780032520.2A 2017-02-28 2017-10-31 车辆用显示控制装置、显示系统、显示控制方法以及程序 Active CN109314765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-036659 2017-02-28
JP2017036659A JP6730614B2 (ja) 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
PCT/JP2017/039422 WO2018159017A1 (ja) 2017-02-28 2017-10-31 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109314765A true CN109314765A (zh) 2019-02-05
CN109314765B CN109314765B (zh) 2020-08-18

Family

ID=63370825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032520.2A Active CN109314765B (zh) 2017-02-28 2017-10-31 车辆用显示控制装置、显示系统、显示控制方法以及程序

Country Status (5)

Country Link
US (1) US10723266B2 (zh)
EP (1) EP3493537B1 (zh)
JP (1) JP6730614B2 (zh)
CN (1) CN109314765B (zh)
WO (1) WO2018159017A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965666A (zh) * 2019-02-13 2022-01-21 Jvc建伍株式会社 车辆用影像控制装置、车辆用影像系统、影像控制方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6618045B2 (ja) * 2017-10-10 2019-12-11 マツダ株式会社 車両用表示装置
JP6976298B2 (ja) * 2019-10-28 2021-12-08 三菱電機株式会社 車両用周囲監視装置および車両用周囲監視方法
JP7299193B2 (ja) * 2020-04-16 2023-06-27 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
KR20230091870A (ko) * 2020-10-23 2023-06-23 소니그룹주식회사 카메라 모듈, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 장치
US11351932B1 (en) 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
FR3121901A1 (fr) * 2021-04-14 2022-10-21 Psa Automobiles Sa Procédé de gestion du fonctionnement d’un appareillage de surveillance de l’environnement de conduite d’un véhicule automobile, système et véhicule automobile associés

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194596A1 (en) * 2009-02-03 2010-08-05 Denso Corporation Display apparatus for vehicle
CN103587469A (zh) * 2013-11-19 2014-02-19 浙江吉利汽车研究院有限公司 一种汽车夜间转弯辅助装置及方法
CN103828351A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统以及作业车辆
CN105730337A (zh) * 2014-12-26 2016-07-06 丰田自动车株式会社 电子反光镜装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3916958B2 (ja) * 2002-01-24 2007-05-23 クラリオン株式会社 車両後方モニタシステムおよびモニタ装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
JP5209578B2 (ja) * 2009-07-28 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5187369B2 (ja) 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
JP2015032936A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP6365238B2 (ja) 2014-10-29 2018-08-01 株式会社デンソー 駐車支援装置
US10187590B2 (en) * 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194596A1 (en) * 2009-02-03 2010-08-05 Denso Corporation Display apparatus for vehicle
CN103828351A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统以及作业车辆
CN103587469A (zh) * 2013-11-19 2014-02-19 浙江吉利汽车研究院有限公司 一种汽车夜间转弯辅助装置及方法
CN105730337A (zh) * 2014-12-26 2016-07-06 丰田自动车株式会社 电子反光镜装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965666A (zh) * 2019-02-13 2022-01-21 Jvc建伍株式会社 车辆用影像控制装置、车辆用影像系统、影像控制方法和程序

Also Published As

Publication number Publication date
EP3493537B1 (en) 2020-02-12
EP3493537A4 (en) 2019-06-12
JP6730614B2 (ja) 2020-07-29
US20190100143A1 (en) 2019-04-04
US10723266B2 (en) 2020-07-28
JP2018142885A (ja) 2018-09-13
EP3493537A1 (en) 2019-06-05
CN109314765B (zh) 2020-08-18
WO2018159017A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
CN109314765A (zh) 车辆用显示控制装置、车辆用显示系统、车辆用显示控制方法以及程序
US9288446B2 (en) Vehicle video system
KR100785724B1 (ko) 주차 지원 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 주차 지원 장치, 주차 지원 화면
US20150131857A1 (en) Vehicle recognizing user gesture and method for controlling the same
US11433813B2 (en) Vehicular electronic mirror system
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5495071B2 (ja) 車両周辺監視装置
CN103987578A (zh) 用于车辆的虚拟显示系统
CN108116315A (zh) 车辆镜系统
JP5471141B2 (ja) 駐車支援装置及び駐車支援方法
CN108473090B (zh) 用于示出车辆的后向的外部区域的方法
JP5548069B2 (ja) 画像処理装置、及び、画像処理方法
CN108463998A (zh) 驾驶辅助装置以及驾驶辅助方法
JP2004240480A (ja) 運転支援装置
CN108737778A (zh) 利用反射器从车辆下侧对车轮进行监测的遮挡摄像机
JP2000242896A (ja) モニタ装置
JP2014197817A (ja) 画像生成装置、画像表示システム及び画像生成方法
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP5811623B2 (ja) 車両用監視装置
JP2019188855A (ja) 車両用視認装置
US10857941B2 (en) E-mirror automatic position adjustment system
JP2006160193A (ja) 車両運転支援装置
CN109068091A (zh) 图像传送装置、图像诊断装置以及图像诊断系统
US11661008B2 (en) Device for displaying lateral rear images of vehicle and method therefor
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant