JP2019185119A - 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム - Google Patents

車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム Download PDF

Info

Publication number
JP2019185119A
JP2019185119A JP2018071004A JP2018071004A JP2019185119A JP 2019185119 A JP2019185119 A JP 2019185119A JP 2018071004 A JP2018071004 A JP 2018071004A JP 2018071004 A JP2018071004 A JP 2018071004A JP 2019185119 A JP2019185119 A JP 2019185119A
Authority
JP
Japan
Prior art keywords
video
vehicle
display control
monitor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018071004A
Other languages
English (en)
Other versions
JP7006460B2 (ja
Inventor
徳幸 中沢
Tokuyuki Nakazawa
徳幸 中沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018071004A priority Critical patent/JP7006460B2/ja
Priority to PCT/JP2019/002429 priority patent/WO2019193819A1/ja
Publication of JP2019185119A publication Critical patent/JP2019185119A/ja
Priority to US16/851,159 priority patent/US11170234B2/en
Application granted granted Critical
Publication of JP7006460B2 publication Critical patent/JP7006460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/171Vehicle or relevant part thereof displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/173Reversing assist
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/184Displaying the same information on different displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】警告対象物の位置関係を適切に把握する。【解決手段】車両用表示制御装置は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、検出部が検出した警告対象物の第一映像における位置に基づき俯瞰映像における自車両映像からの方向を算出する方向算出部と、第一映像を第一モニタに表示させ、俯瞰映像生成部が生成した俯瞰映像に加えて、方向算出部が算出した警告対象物の方向を、自車両映像における第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、を備える。【選択図】図1

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラムに関する。
車両の周辺の障害物を検知し、運転者に警告する技術が知られている。
例えば、特許文献1には、自車両の左右の側後方ならびに後方の画像において、障害物が検出された方向に警告表示を行う技術が開示されている。例えば、特許文献2には、俯瞰映像上に検出した障害物を表示させる技術が開示されている。
特開2013−3641号公報 特開2015−182670号公報
車両の後退時に、車両の後方に歩行者や、他車両などが存在することを検出し警告された場合、運転者は、まず電子リヤビューモニタまたは電子サイドモニタを確認することが多い。しかしながら、警告対象が、電子リヤビューモニタまたは電子サイドモニタに映る範囲でない場合、特許文献1の技術では、運転者に混乱を生じさせる可能性がある。特許文献2には、俯瞰映像上に検出した障害物を表示させる技術も開示されているが、俯瞰映像用カメラで撮影した範囲の障害物が対象であり、電子リヤビューモニタまたは電子サイドモニタの死角に存在する障害物には対応していない。
本発明は、警告対象物の位置関係を適切に把握することができる車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラムを提供することを課題とする。
本発明の第一の態様の車両用表示制御装置は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、前記第二映像取得部が取得した前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、前記第一映像取得部が取得した前記第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、前記検出部が検出した前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出する方向算出部と、前記第一映像を第一モニタに表示させ、前記俯瞰映像生成部が生成した前記俯瞰映像に加えて、前記方向算出部が算出した前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、を備える。
本発明の第二の態様の車両用表示システムは、本発明の第一の態様の車両用表示制御装置と、前記第一カメラユニットと、前記第二カメラユニットと、前記第二モニタと、前記第一モニタと、を備える。
本発明の第三の態様の車両用表示制御方法は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、を含む。
本発明の第四の態様のプログラムは、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、を車両用表示制御装置のコンピュータに実行させる。
本発明によれば、警告対象物の位置関係を適切に把握することができる。
図1は、本発明の第一実施形態に係る車両用表示システムの構成を示すブロック図である。 図2は、第一カメラユニットと、第二カメラユニットの搭載位置を説明するための図である。 図3は、本発明の第一実施形態に係る車両用表示システムの構成を示す概略図である。 図4は、第一カメラユニットの撮影範囲と、第一モニタの表示範囲を説明するための図である。 図5は、警告対象物を検出する範囲を説明するための図である。 図6は、本発明の第一実施形態に係る車両用表示制御装置の第二モニタが表示する画像の一例を示す図である。 図7は、本発明の第一実施形態に係る車両用表示制御装置の動作の流れの一例を示すフローチャートである。 図8は、本発明の第二実施形態に係る車両用表示制御装置の第二俯瞰映像用モニタが表示する画像の一例を示す図である。 図9は、本発明の第二実施形態に係る車両用表示制御装置の動作の流れの一例を示すフローチャートである。 図10は、本発明の第三実施形態に係る車両用表示制御装置の第二俯瞰映像用モニタが表示する画像の一例を示す図である。 図11は、本発明の第三実施形態に係る車両用表示制御装置の流れの一例を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、各図において同一または相当する部分には同一の符号を付して適宜説明は省略する。
[第一実施形態]
図1と、図2と、図3とを用いて、本発明の第一実施形態に係る車両用表示システム1について説明する。図1は、本発明の第一実施形態に係る車両用表示システム1の構成を示すブロック図である。図2は、第一カメラユニットと、第二カメラユニットの搭載位置を説明するための図である。図3は、本発明の第一実施形態に係る車両用表示システムの構成を示す概略図である。
図1に示すように、車両用表示システム1は、第一カメラユニット10と、第二カメラユニット20と、後方確認用のモニタユニットである第一モニタ30と、俯瞰映像を表示させるモニタである第二モニタ50と、車両用表示制御装置100とを備える。
第一カメラユニット10は、後方カメラ11と、左側後方カメラ12と、右側後方カメラ13とを有する。
第二カメラユニット20は、前俯瞰映像用カメラ21と、後俯瞰映像用カメラ22と、左俯瞰映像用カメラ23と、右俯瞰映像用カメラ24とを有する。
第一モニタ30は、リヤビューモニタ31と、左サイドモニタ32と、右サイドモニタ33とを有する。リヤビューモニタ31と、左サイドモニタ32および右サイドモニタ33とは、各々別体のモニタであっても、単体のモニタで構成されてもよい。
図2を参照して、後方カメラ11と、左側後方カメラ12と、右側後方カメラ13と、前俯瞰映像用カメラ21と、後俯瞰映像用カメラ22と、左俯瞰映像用カメラ23と、右俯瞰映像用カメラ24とが設けられる位置について説明する。
後方カメラ11は、車両の後方に後方を向いて配置され、車両の後方を撮影する。後方カメラ11は、水平方向の画角が例えば90〜135°、上下方向の画角が例えば45〜90°である。後方カメラ11は、リヤビューモニタ31に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ31を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ31に表示する。後方カメラ11は、撮影した後方映像データを映像取得部110へ出力する。
左側後方カメラ12は、自車両Mの左側方MLに設けられた左カメラ支持部60に後方を向いて配置され、車両の左側後方を撮影する。左カメラ支持部60は、自車両Mのサイドミラーであってもよい。左側後方カメラ12は、左サイドモニタ32による確認範囲を撮影する。左側後方カメラ12は、水平方向の画角が例えば15〜45°、上下方向の画角が例えば15〜45°である。左側後方カメラ12は、左サイドモニタ32に表示させる範囲より広い範囲の映像を撮影可能であるが、左サイドモニタ32を用いて車両の運転者が適切に後方を認識できるような範囲を切出して左サイドモニタ32に表示する。左側後方カメラ12は、撮影した左側後方映像データを映像取得部110へ出力する。
右側後方カメラ13は、自車両Mの右側方MRに設けられた右カメラ支持部70に後方を向いて配置され、車両の右側後方を撮影する。右カメラ支持部70は、自車両Mのサイドミラーであってもよい。右側後方カメラ13は、右サイドモニタ33による確認範囲を撮影する。右側後方カメラ13は、水平方向の画角が例えば15〜45°、上下方向の画角が例えば15〜45°である。右側後方カメラ13は、右サイドモニタ33に表示させる範囲より広い範囲の映像を撮影可能であるが、右サイドモニタ33を用いて車両の運転者が適切に後方を認識できるような範囲を切出して右サイドモニタ33に表示する。右側後方カメラ13は、撮影した右側後方映像データを映像取得部110へ出力する。
後方カメラ11と、左側後方カメラ12と、右側後方カメラ13とによって撮影された映像は、第一映像とも呼ばれる。
前俯瞰映像用カメラ21は、俯瞰映像用カメラである。前俯瞰映像用カメラ21は、自車両Mの前方に配置され、自車両Mの前方を中心とした周辺を撮影する。前俯瞰映像用カメラ21は、例えば、180°程度の範囲を撮影する。前俯瞰映像用カメラ21は、撮影した映像を映像取得部110へ出力する。
後俯瞰映像用カメラ22は、俯瞰映像用カメラである。後俯瞰映像用カメラ22は、自車両Mの後方に配置され、自車両Mの後方を中心とした周辺を撮影する。後俯瞰映像用カメラ22は、例えば、180°程度の範囲を撮影する。後俯瞰映像用カメラ22は、撮影した映像を映像取得部110へ出力する。
左俯瞰映像用カメラ23は、俯瞰映像用カメラである。左俯瞰映像用カメラ23は、左カメラ支持部60に配置され、自車両Mの左側方を中心とした周辺を撮影する。左俯瞰映像用カメラ23は、例えば、180°程度の範囲を撮影する。左俯瞰映像用カメラ23は、撮影した映像を映像取得部110へ出力する。
右俯瞰映像用カメラ24は、俯瞰映像用カメラである。右俯瞰映像用カメラ24は、右カメラ支持部70に配置され、自車両Mの右側方を中心とした周辺を撮影する。右俯瞰映像用カメラ24は、例えば、180°程度の範囲を撮影する。右俯瞰映像用カメラ24は、撮影した映像を映像取得部110へ出力する。
車両用表示システム1は、前俯瞰映像用カメラ21と、後俯瞰映像用カメラ22と、左俯瞰映像用カメラ23と、右俯瞰映像用カメラ24とによって、自車両Mの全方位を撮影する。
図3を参照して、リヤビューモニタ31と、左サイドモニタ32と、右サイドモニタ33と、第二モニタ50との概略について説明する。
リヤビューモニタ31は、一例としては電子ルームミラーである。リヤビューモニタ31を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。リヤビューモニタ31は、車両用表示制御装置100の表示制御部160から出力された映像信号に基づき、車両の後方映像を表示する。そのため、リヤビューモニタ31は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ31は、ウィンドシールドの車幅方向の中央上部に配置されている。または、リヤビューモニタ31は、ダッシュボードやヘッドライナーに埋め込まれていてもよい。リヤビューモニタ31には、タッチパネルが設けられていてもよい。
リヤビューモニタ31は、大きさ、形状は限定されない。例えば、リヤビューモニタ31は、従来の光学式のルームミラーと同様な大きさ、形状であってもよい。または、例えば、リヤビューモニタ31は、従来の光学式のルームミラーに比べて車幅方向の幅が広くてもよい。または、例えば、リヤビューモニタ31は、従来の光学式のルームミラーに比べて縦方向の幅が広くてもよい。
左サイドモニタ32は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。左サイドモニタ32は、車両用表示制御装置100の表示制御部160から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドモニタ32は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ32は、ダッシュボードの車幅方向の左側に配置されている。左サイドモニタ32にはタッチパネルが設けられていてもよい。また、左サイドモニタ32をリヤビューモニタ31の左側に一体的に設けてもよい。
右サイドモニタ33は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。右サイドモニタ33は、車両用表示制御装置100の表示制御部160から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドモニタ33は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ33は、ダッシュボードの車幅方向の右側に配置されている。右サイドモニタ33には、タッチパネルが設けられていてもよい。また、右サイドモニタ33をリヤビューモニタ31の左側に一体的に設けてもよい。
第二モニタ50は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。第二モニタ50は、車両用表示制御装置100の表示制御部160から出力された映像信号に基づき、自車両Mの周辺の俯瞰映像を表示する。第二モニタ50は、運転者から視認容易な位置に配置されている。本実施形態では、第二モニタ50は、例えば、センターコンソール40に配置されている。
再び図1を参照する。車両用表示制御装置100は、映像取得部110と、俯瞰映像生成部120と、切出処理部130と、検出部140と、方向算出部150と、表示制御部160と、記憶部170とを備える。車両用表示制御装置100は、CPU(Central Processing Unit)を含む電子的な回路で実現することができる。
映像取得部110は、第一映像取得部111と、第二映像取得部112とを有する。
第一映像取得部111は、後方カメラ11と、左側後方カメラ12と、右側後方カメラ13とによって撮影された映像を第一映像として取得する。第一映像取得部111は、取得した第一映像を切出処理部130と、検出部140とに出力する。
第二映像取得部112は、前俯瞰映像用カメラ21と、後俯瞰映像用カメラ22と、左俯瞰映像用カメラ23と、右俯瞰映像用カメラ24とによって撮影された映像を第二映像として取得する。第二映像取得部112は、取得した第二映像を俯瞰映像生成部120に出力する。
俯瞰映像生成部120は、第二映像取得部112から受けた第二映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、自車両Mの周辺を表示する表示範囲の俯瞰映像を生成する。俯瞰映像生成部120は、生成した俯瞰映像を表示制御部160に出力する。俯瞰映像生成部120は、視点変換処理部121と、俯瞰切出処理部122と、合成処理部123とを有する。
視点変換処理部121は、第二映像に対して、自車両Mを上方から見下ろすように視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部121は、視点変換処理を行った周辺映像を俯瞰切出処理部122に出力する。
俯瞰切出処理部122は、視点変換処理を行った周辺映像から所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。俯瞰切出処理部122は、切出処理を行った映像の映像データを合成処理部123に出力する。
合成処理部123は、切出処理を行った映像データを合成する合成処理を行う。合成処理部123は、合成した映像に自車両映像である車両アイコンを表示した俯瞰映像を生成する。
切出処理部130は、第一映像取得部111が取得した第一映像の少なくとも一部を切出す。具体的には、切出処理部130は、第一映像からリヤビューモニタ31と、左サイドモニタ32と、右サイドモニタ33に表示させるための映像を切出す。切出処理部130は、第一映像を横方向に切出してもよいし、縦方向に切出してもよい。切出処理部130は、切出した映像を表示制御部160に出力する。
図4を用いて、切出処理部130が映像を切出す範囲について説明する。図4は、第一カメラユニット10の撮影範囲と、第一モニタ30の表示範囲を説明するための図である。
範囲Aは、左側後方カメラ12の撮影範囲である。切出処理部130は、範囲Aのうち、左サイドモニタ32に表示させる映像として範囲A1の映像を切出す。切出処理部130は、範囲A1の映像を、左側後方表示用映像データとして表示制御部160に出力する。
範囲Bは、右側後方カメラ13の撮影範囲である。切出処理部130は、範囲Bのうち、右サイドモニタ33に表示させる映像として範囲B1の映像を切出す。切出処理部130は、範囲B1の映像を、右側後方表示用映像データとして表示制御部160に出力する。
範囲Cは、後方カメラ11の撮影範囲である。切出処理部130は、範囲Cのうち、リヤビューモニタ31に表示させる映像として範囲C1の映像を切出す。切出処理部130は、範囲C1の映像を、後方表示用映像データとして表示制御部160に出力する。
検出部140は、第一映像取得部111が取得した第一映像に対して物体認識処理を行い、警告対象物を検出する。警告対象物は、人物、車両などの障害物であり、運転に支障をきたすおそれのある物体である。検出部140は、例えば、自車両Mが後退している場合や、縦列駐車している場合には、自車両Mの両側の警告対象物を検出する。検出部140は、例えば、自車両Mが右左折する場合には、曲がり始める前は曲がる方向のみの警告対象物を検出し、曲がり始めたら自車両Mの両側の警告対象物を検出するようにしてもよい。検出部140は、例えば、車のみ、歩行者のみなど、特定の警告対象物のみを検出するようにしてもよい。検出部140は、例えば、左側通行である場合は、左側は車両と歩行者を検出し、右側は車のみを検出するようにしてもよい。すなわち、検出部140は、自車両Mの運転状況に応じて、検出条件を変えることができる。検出部140が警告対象物を検出する物体認識処理には、周知の技術を用いればよい。検出部140は、警告対象物を検出すると、警告対象物が検出されたことを示す信号を方向算出部150に出力する。
図5を用いて、警告対象物を検出する範囲について説明する。図5は、警告対象物を検出する範囲を説明するための図である。
図5には、左側後方カメラ12の撮影範囲である範囲Aと、左サイドモニタ32の表示範囲である範囲A1が示されている。図5に示すように、検出部140は、第一映像に基づいて警告対象物を検出しているので、左サイドモニタ32の表示範囲外であっても警告対象物として人物Uを検出することができる。
方向算出部150は、検出部140が検出した警告対象物の第一映像における位置に基づいて、俯瞰映像における自車両から警告対象物の方向を算出する。具体的には、方向算出部150は、第一映像における座標計算によって俯瞰映像における自車両から警告対象物の方向を算出する。方向算出部150は、例えば、左サイドモニタ32の表示範囲である範囲A1を基点とすることによって、自車両Mから警告対象物の方向を算出する。方向算出部150は、自車両Mから警告対象物の方向を示す信号を表示制御部160に出力する。
表示制御部160は、後方表示用映像データをリヤビューモニタ31に表示させる。表示制御部160は、左側後方表示用映像データを左サイドモニタ32に表示させる。表示制御部160は、右側後方表示用映像データを右サイドモニタ33に表示させる。
表示制御部160は、俯瞰映像生成部120が生成した俯瞰映像を第二モニタ50に表示させる。表示制御部160は、例えば、後退時や、右左折時に俯瞰映像を第二モニタ50に表示させる。表示制御部160は、例えば、交差点で所定の速度以下に減速された場合や、信号待ちで停車している場合に俯瞰映像を第二モニタ50に表示させる。表示制御部160は、走行している場所が交差点であることを、例えば、カーナビゲーション装置から取得した位置情報に基づいて検出する。表示制御部160は、俯瞰映像において警告対象物のアイコンを表示させるとともに、自車両から警告対象物までの方向を表示させる。
表示制御部160は、例えば、シフトポジションがリバースであることを示す信号を受けることで、自車両Mが後退していることを検出する。表示制御部160は、例えば、シフトポジションがリバースから解除された信号を受けた場合に、第二モニタ50に俯瞰映像を表示させる動作を終了する。
表示制御部160は、例えば、カーナビゲーション装置によって右左折を指示していることを検出することによって、自車両Mが右左折することを検出する。
表示制御部160は、例えば、俯瞰映像を第二モニタ50に表示させるとともに、左サイドモニタ32または右サイドモニタ33に警告対象物が検知されたことを示す警告表示を表示してもよい。これにより、表示制御部160は、運転者に対して第二モニタ50を見るよう促す。
表示制御部160は、例えば、警告対象物が検出された場合に、左サイドモニタ32または右サイドモニタ33に表示させる左側後方映像または右側後方映像の表示範囲を切り替えてもよい。具体的には、表示制御部160は、左サイドモニタ32または右サイドモニタ33に表示させる表示範囲を広くしてもよい。表示制御部160は、例えば、左サイドモニタ32または右サイドモニタ33に設けられたタッチパネルの操作や、他のインターフェースによる操作によって、左サイドモニタ32または右サイドモニタ33に表示させる表示範囲を広くする。表示制御部160は、例えば、車両用表示制御装置100にマイクロフォンが設けられており、マイクロフォンによって運転者から指示された場合に左サイドモニタ32または右サイドモニタ33に表示させる表示範囲を広くする。
図6を用いて、表示制御部160が第二モニタ50に表示させる俯瞰映像の一例について説明する。図6は、表示制御部160が第二モニタ50に表示させる俯瞰映像の一例を示す図である。
図6に示す俯瞰映像300には、前俯瞰映像用カメラ21が撮影した前方映像400と、後俯瞰映像用カメラ22が撮影した後方映像500と、左俯瞰映像用カメラ23が撮影した左側映像600と、右俯瞰映像用カメラ24が撮影した右側映像700が含まれている。俯瞰映像300の中心には、自車両MのアイコンIが示されている。
表示制御部160は、警告対象物である人物Uと、方向Vとを俯瞰映像300に表示させることで、運転者に警告対象物が検出されてことを報知する。図6では、左側後方カメラ12によって人物Uが撮影された場合を示している。この場合、表示制御部160は、左側後方カメラ12の位置を基準位置とした、警告対象物の方向を表示させる。表示制御部160は、人物、車両、自転車など警告対象物の種類に応じて表示させるアイコンを変えてもよい。表示制御部160は、警告対象物のアイコンの代わりに、撮影した警告対象物を縮小して表示させてもよい。表示制御部160は、少なくとも警告対象物までの方向Vを表示させればよく、人物Uのアイコンは表示させなくてもよい。表示制御部160は、例えば、危険度に応じて方向を太くして表示させてもよいし、色を変化させて表示させてもよい。危険度は、例えば、検出部140が検出した警告対象物の第一映像における位置に基づいて設定すればよい。
表示制御部160は、後方カメラ11で警告対象物が撮影された場合には、後方カメラ11の位置を基準位置とした警告対象物の方向を表示させる。表示制御部160は、右側後方カメラ13で警告対象物が検出された場合には、右側後方カメラ13の位置を基準位置とした警告対象物の方向を表示させる。
再び図1を参照する。記憶部170は、車両用表示制御装置100が車両用表示制御装置100の各部を制御するためのプログラムを記憶している。記憶部170は、例えば、検出部140が警告対象物を検出するための辞書データを記憶している。記憶部170は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置である。
図7を用いて、車両用表示制御装置100の動作について説明する。図7は、車両用表示制御装置100の動作の流れを示すフローチャートである。
まず、車両用表示制御装置100は、第一カメラユニット10から第一映像を取得し、第二カメラユニット20から第二映像を取得する(ステップS101)。そして、車両用表示制御装置100は、ステップS102に進む。
車両用表示制御装置100は、第二映像に基づいて俯瞰映像を生成する(ステップS102)。そして、車両用表示制御装置100は、ステップS103に進む。
車両用表示制御装置100は、第一映像の少なくとも一部を切出す(ステップS103)。そして、車両用表示制御装置100は、ステップS104に進む。
車両用表示制御装置100は、第一映像に基づいて、警告対象物を検出する(ステップS104)。そして、車両用表示制御装置100は、ステップS105に進む。
警告対象物が検出された場合(ステップS105の「Yes」)、車両用表示制御装置100は、ステップS106に進み、俯瞰映像における自車両から警告対象物までの方向を算出する(ステップS106)。そして、車両用表示制御装置100は、ステップS107に進む。一方、警告対象物が検出されなかった場合(ステップS105の「No」)、車両用表示制御装置100は、図7の処理を終了する。
車両用表示制御装置100は、ステップS103で切出した第一映像は、常時、第一モニタ30に表示させている。また、車両用表示制御装置100は、警告対象物の方向を第二モニタ50に表示させる(ステップS107)。そして、車両用表示制御装置100は、図7の処理を終了する。
上述のとおり、本実施形態は、自車両の後方の警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
[第二実施形態]
次に、図8を参照して、本発明の第二実施形態に係る車両用表示制御装置100の動作について説明する。図8は、本発明の第二実施形態に係る車両用表示制御装置100の第二モニタ50が表示する画像の一例を示す図である。本発明の第二実施形態に係る車両用表示制御装置100の構成は、本発明の第一実施形態に係る車両用表示制御装置100と同じである。
図8に示す俯瞰映像300には、警告対象物として、第一人物U1と、第二人物U2と、第三人物U3と、第四人物U4とが含まれている。すなわち、第二実施形態に係る車両用表示制御装置100の検出部140は、複数の警告対象物を検出する。この場合、方向算出部150は、第一人物U1の方向V1を算出する。方向算出部150は、第二人物U2の方向V2を算出する。方向算出部150は、第三人物U3の方向V3を算出する。方向算出部150は、第四人物U4の方向V4を算出する。
表示制御部160は、第一人物U1の方向V1と、第二人物U2の方向V2と、第三人物U3の方向V3と、第四人物U4の方向V4を俯瞰映像300に表示させることで、運転者に警告対象物が検出されてことを報知する。表示制御部160は、第一人物U1の方向V1と、第二人物U2の方向V2と、第三人物U3の方向V3と、第四人物U4の方向V4とをそれぞれ変化させて表示させてもよい。表示制御部160は、例えば、距離や移動方向などの危険度に応じて方向を太くして表示させてもよいし、色を変化させて表示させてもよい。表示制御部160は、複数の警告対象物のうち、所定の危険度を超えたものがある場合には、その警告対象物の方向のみを表示するようにしてもよい。
図9を用いて、第二実施形態に係る車両用表示制御装置100の動作について説明する。図9は、第二実施形態に係る車両用表示制御装置100の動作の流れの一例を示すフローチャートである。
ステップS201からステップS204は、ステップS101からステップS104と同じなので、説明は省略する。
警告対象物が検出された場合(ステップS205の「Yes」)、車両用表示制御装置100は、ステップS206に進み、警告対象物が複数検出されたか否かを判定する(ステップS206)。一方、警告対象物が検出されない場合(ステップS205の「No」)、車両用表示制御装置100は、図9の処理を終了する。
警告対象物が複数検出された場合(ステップS206の「Yes」)、車両用表示制御装置100は、ステップS207に進み、俯瞰映像における自車両から各警告対象物の方向を算出する(ステップS207)。そして、車両用表示制御装置100は、ステップS208に進む。
車両用表示制御装置100は、ステップS203で切出した第一映像を第一モニタ30に表示させ、各警告対象物の方向を第二モニタ50に表示させる(ステップS208)。そして、車両用表示制御装置100は、ステップS209に進む。
車両用表示制御装置100は、自車両からの距離に応じて表示させた各警告対象物の表示を変化させる(ステップS209)。そして、車両用表示制御装置100は、図9の処理を終了する。なお、ステップS209の処理は省略してもよい。
一方、ステップS206において、警告対象物が複数検出されなかった場合(ステップS206の「No」)、車両用表示制御装置100は、ステップS210に進み、俯瞰映像における自車両から警告対象物までの方向を算出する(ステップS210)。そして、車両用表示制御装置100は、ステップS211に進む。
車両用表示制御装置100は、ステップS203で切出した第一映像を第一モニタ30に表示させ、警告対象物の方向を第二モニタ50に表示させる(ステップS211)。そして、車両用表示制御装置100は、図9の処理を終了する。
上述のとおり、本実施形態は、第一モニタ30に表示されていない複数の警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の各警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
また、本実施形態は、各警告対象物の危険度に応じて方向の表示を変化させることができる。これにより、運転者は、各警告対象物の危険度を把握することができるので、より安全に運転することができるようになる。
[第三実施形態]
次に、図10を参照して、本発明の第三実施形態に係る車両用表示制御装置100の動作について説明する。図10は、本発明の第三実施形態に係る車両用表示制御装置100の第二モニタ50が表示する画像の一例を示す図である。本発明の第三実施形態に係る車両用表示制御装置100の構成は、本発明の第一実施形態に係る車両用表示制御装置100と同じである。
図10に示す俯瞰映像300には、左サイドモニタ32が表示する左側後方映像の範囲である範囲A1が示されている。すなわち、本実施形態では、表示制御部160は、方向算出部150が算出した人物Uの方向と、左サイドモニタ32の表示範囲と対応付けて表示させる。
本実施形態では、検出部140は、第一映像取得部111が取得した第一映像のうち、左サイドモニタ32が表示する後方映像の範囲外に対して物体認識処理を行い、警告対象物を検出してもよい。検出部140は、警告対象物の少なくとも一部が、左サイドモニタ32が表示する後方映像の範囲外にある場合にも警告対象物として検出してもよい。
図11を用いて、第三実施形態に係る車両用表示制御装置100の動作について説明する。図11は、第三実施形態に係る車両用表示制御装置100の動作の流れの一例を示すフローチャートである。
ステップS301からステップS306は、ステップS101からステップS106と同じなので説明は省略する。
車両用表示制御装置100は、検出された警告対象物の方向がステップS303で切出した映像に含まれているか判定する(ステップS307)。そして、車両用表示制御装置100は、ステップS308に進む。
警告対象物が切出した映像に含まれている場合(ステップS308の「Yes」)、車両用表示制御装置100は、図11の処理を終了する。
一方、警告対象物が切出した映像に含まれていない場合(ステップS308の「No」)、車両用表示制御装置100は、ステップS303で切出した第一映像を第一モニタ30に表示させ、警告対象物の方向を第二モニタ50に第一モニタ30と対応付けて表示させる(ステップS309)。そして、車両用表示制御装置100は、図11の処理を終了する。
上述のとおり、本実施形態は、第一モニタ30に表示されていない警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
1 車両用表示システム
10 第一カメラユニット
11 後方カメラ
12 左側後方カメラ
13 右側後方カメラ
20 第二カメラユニット
21 前俯瞰映像用カメラ
22 後俯瞰映像用カメラ
23 左俯瞰映像用カメラ
24 右俯瞰映像用カメラ
30 第一モニタ
31 リヤビューモニタ
32 左サイドモニタ
33 右サイドモニタ
50 第二モニタ
60 左カメラ支持部
70 右カメラ支持部
100 車両用表示制御装置
110 映像取得部
111 第一映像取得部
112 第二映像取得部
120 俯瞰映像生成部
121 視点変換処理部
122 俯瞰切出処理部
123 合成処理部
130 切出処理部
140 検出部
150 方向算出部
160 表示制御部
170 記憶部
300 俯瞰映像
400 前方映像
500 後方映像
600 左側映像
700 右側映像

Claims (8)

  1. 車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、
    前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、
    前記第二映像取得部が取得した前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、
    前記第一映像取得部が取得した前記第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、
    前記検出部が検出した前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出する方向算出部と、
    前記第一映像を第一モニタに表示させ、前記俯瞰映像生成部が生成した前記俯瞰映像に加えて、前記方向算出部が算出した前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、
    を備える、車両用表示制御装置。
  2. 前記表示制御部は、前記第二モニタに、前記方向算出部が算出した警告対象物の方向と、前記第一モニタの表示範囲とを対応付けて表示させる、
    請求項1に記載の車両用表示制御装置。
  3. 前記第一映像取得部が取得した前記第一映像を、少なくとも一部を切出す切出処理部をさらに備え、
    前記表示制御部は、前記切出処理部が切出した前記第一映像を前記第一モニタに表示させ、前記警告対象物の方向が前記第一モニタに表示されていない範囲に対応する方向であるときに、前記第二モニタに、前記方向算出部が算出した警告対象物の方向を表示させる、
    請求項1または2に記載の車両用表示制御装置。
  4. 前記表示制御部は、前記警告対象物が検出された場合、前記第一モニタに警告表示を表示させる、請求項1から3のいずれか一項に記載の車両用表示制御装置。
  5. 前記表示制御部は、前記警告対象物が複数検出された場合、前記第二モニタに、複数の前記警告対象物の方向を、それぞれ、前記自車両からの距離に応じて表示形態を変化させて表示する、
    請求項1から4のいずれか一項に記載の車両用表示制御装置。
  6. 請求項1から5のいずれか一項に記載の車両用表示制御装置と、
    前記第一カメラユニットと、
    前記第二カメラユニットと、
    前記第二モニタと、
    前記第一モニタと、を備える、
    車両用表示システム。
  7. 車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、
    前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、
    前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、
    前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、
    前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、
    切出した前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、
    を含む車両用表示制御方法。
  8. 車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、
    前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、
    前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、
    前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、
    前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、
    前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、
    を車両用表示制御装置のコンピュータに実行させるためのプログラム。
JP2018071004A 2018-04-02 2018-04-02 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム Active JP7006460B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018071004A JP7006460B2 (ja) 2018-04-02 2018-04-02 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
PCT/JP2019/002429 WO2019193819A1 (ja) 2018-04-02 2019-01-25 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
US16/851,159 US11170234B2 (en) 2018-04-02 2020-04-17 Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018071004A JP7006460B2 (ja) 2018-04-02 2018-04-02 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019185119A true JP2019185119A (ja) 2019-10-24
JP7006460B2 JP7006460B2 (ja) 2022-01-24

Family

ID=68100434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018071004A Active JP7006460B2 (ja) 2018-04-02 2018-04-02 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11170234B2 (ja)
JP (1) JP7006460B2 (ja)
WO (1) WO2019193819A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735051B2 (en) * 2020-03-27 2023-08-22 Toyota Research Institute, Inc. Detection of bicyclists near ego vehicles
JP2022094063A (ja) * 2020-12-14 2022-06-24 パナソニックIpマネジメント株式会社 安全確認支援システム及び安全確認支援方法
KR20230055722A (ko) * 2021-10-19 2023-04-26 현대모비스 주식회사 차량의 타겟 감지 시스템 및 방법
CN114913473B (zh) * 2022-03-21 2023-08-15 中国科学院光电技术研究所 一种轻量化单体式成像的接触网安全巡检仪

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2013136258A (ja) * 2011-12-28 2013-07-11 Fujitsu General Ltd 車載カメラ装置及び車載カメラシステム
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP2017162015A (ja) * 2016-03-07 2017-09-14 マツダ株式会社 車両周辺画像表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
JP5927784B2 (ja) 2011-06-13 2016-06-01 日産自動車株式会社 車両用障害物警告装置
JP6274936B2 (ja) 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
JP6548459B2 (ja) 2015-05-29 2019-07-24 キヤノン株式会社 情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2013136258A (ja) * 2011-12-28 2013-07-11 Fujitsu General Ltd 車載カメラ装置及び車載カメラシステム
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP2017162015A (ja) * 2016-03-07 2017-09-14 マツダ株式会社 車両周辺画像表示装置

Also Published As

Publication number Publication date
US20200242374A1 (en) 2020-07-30
WO2019193819A1 (ja) 2019-10-10
US11170234B2 (en) 2021-11-09
JP7006460B2 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
WO2019193819A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP5099451B2 (ja) 車両周辺確認装置
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
JP4557302B2 (ja) 車両運転支援装置
JP2008013015A (ja) 車両周辺画像生成装置および画像切替方法
JP2018144526A (ja) 周辺監視装置
JP2007221200A (ja) 車両周辺監視装置
JP2020088415A (ja) 車両用電子ミラーシステム
US20190315228A1 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP6554866B2 (ja) 画像表示制御装置
JP2006054662A (ja) 運転支援装置
JP2010184588A (ja) 車両周辺監視装置
JP4857159B2 (ja) 車両運転支援装置
JP2019188855A (ja) 車両用視認装置
JP3988551B2 (ja) 車両周囲監視装置
JP2007025739A (ja) 車両用画像表示装置
JP2019116220A (ja) 車両用視認装置
JP6552285B2 (ja) 車載表示装置及び車両後方映像表示方法
JP2005057536A (ja) 映像提示装置
JP2018085685A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2005182305A (ja) 車両走行支援装置
JP5294756B2 (ja) 車両周囲画像提供装置および車両周囲画像提供方法
JP2011182254A (ja) 車両用運転支援装置
JP2007178293A (ja) 車両用表示装置
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150