JP2022161066A - 表示制御システム、表示制御方法及びプログラム - Google Patents

表示制御システム、表示制御方法及びプログラム Download PDF

Info

Publication number
JP2022161066A
JP2022161066A JP2021065591A JP2021065591A JP2022161066A JP 2022161066 A JP2022161066 A JP 2022161066A JP 2021065591 A JP2021065591 A JP 2021065591A JP 2021065591 A JP2021065591 A JP 2021065591A JP 2022161066 A JP2022161066 A JP 2022161066A
Authority
JP
Japan
Prior art keywords
vehicle
moving object
blind spot
information
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021065591A
Other languages
English (en)
Other versions
JP7552484B2 (ja
Inventor
幹鐘 弘畑
Mikikane Hirohata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021065591A priority Critical patent/JP7552484B2/ja
Priority to CN202210306317.2A priority patent/CN115195602A/zh
Priority to US17/708,610 priority patent/US20220324387A1/en
Priority to EP22165416.3A priority patent/EP4071741A1/en
Publication of JP2022161066A publication Critical patent/JP2022161066A/ja
Application granted granted Critical
Publication of JP7552484B2 publication Critical patent/JP7552484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】車両の周辺に障害物があったとしても、障害物により死角となる死角領域に関する死角情報を車両に表示することが可能となる表示制御システムを提供する。【解決手段】表示制御システム1は、インフラセンサ情報取得部114と、死角情報生成部170と、表示制御部180とを有する。インフラセンサ情報取得部114は、道路の周辺に設けられたインフラセンサが道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得する。死角情報生成部170は、インフラセンサ情報に基づいて、車両から見たときに障害物により死角となる死角領域に関する死角情報を生成する。表示制御部180は、死角情報が前記車両に表示されるように制御を行う。【選択図】図3

Description

本発明は、表示制御システム、表示制御方法及びプログラムに関し、特に、車両に情報が表示されるように制御を行う表示制御システム、表示制御方法及びプログラムに関する。
特許文献1は、自車による死角の存在が原因で発生する交通事故を未然に、かつ効果的に防止することを目的とした交通安全支援装置を開示する。特許文献1にかかる技術では、自車の前面、後面、左側面、右側面にそれぞれ表示部を有し、それぞれの表示部を目視する視点から死角になる視野を自車に設けられたカメラにより撮像し、得られた画像を表示部で自車の周辺に対して表示する。そして、特許文献1にかかる技術では、監視処理部で上記得られた画像から車両、二輪車、歩行者などを検出して、得られた情報を表示部で自車の周辺に対して表示する。
特開2002-087188号公報
特許文献1にかかる技術では、車両の周辺に障害物がある場合、車両に設けられたカメラによって得られた画像は、障害物により死角となる死角領域を表すことができないおそれがある。したがって、車両の周辺に障害物がある場合、車両に設けられたカメラによって得られた画像を車両の表示部に表示しても、死角領域の状況を把握することができないおそれがある。
本発明は、車両の周辺に障害物があったとしても、障害物により死角となる死角領域に関する死角情報を車両に表示することが可能となる表示制御システム、表示制御方法及びプログラムを提供するものである。
本発明にかかる表示制御システムは、道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得するインフラセンサ情報取得部と、前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成する死角情報生成部と、前記死角情報が前記車両に表示されるように制御を行う表示制御部と、を有する。
また、本発明にかかる表示制御方法は、道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得し、前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成し、前記死角情報が前記車両に表示されるように制御を行う。
また、本発明にかかるプログラムは、道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得するステップと、前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成するステップと、前記死角情報が前記車両に表示されるように制御を行うステップと、をコンピュータに実行させる。
本発明においては、インフラセンサ情報を用いて死角情報が生成されるので、車両の周辺に障害物があったとしても、その障害物によって死角となる領域に関する死角情報を、適切に生成することができる。したがって、本発明は、車両の周辺に障害物があったとしても、障害物により死角となる死角領域に関する死角情報を車両に表示することが可能となる。
また、好ましくは、前記車両に搭載された車両センサから見たときの前記障害物が前記車両の周辺に存在するか否かを判定する障害物判定部、をさらに有し、前記表示制御部は、前記車両の周辺に前記障害物が存在すると判定された場合に、前記死角情報が前記車両に表示されるように制御を行う。
このように、車両の周辺に障害物が存在する場合に死角情報が車両に表示されるようにすることで、必要な場合だけ死角情報が表示されるようにすることができる。したがって、処理負荷を低減することが可能となる。
また、好ましくは、前記表示制御部は、前記車両の周辺に前記障害物が存在しないと判定された場合に、前記車両センサによって検出された情報である車両センサ情報が前記車両に表示されるように制御を行う。
障害物が存在しない場合には、車両センサは、車両自身によって死角となっている領域を、有効に検出(撮影)することができる。この場合、車両センサによって得られた車両センサ情報を、有効に使用することができる。したがって、車両センサ情報を有効に使用できる場合には車両センサ情報を車両に表示させるようにすることで、車両センサとインフラセンサとの連携を図ることが可能となる。
また、好ましくは、前記車両の周辺を走行する移動体を検出する移動体検出部と、検出された前記移動体の位置に応じて、前記車両の表面において情報が表示される表示位置を決定する表示位置決定部と、をさらに有し、前記表示制御部は、決定された前記表示位置に、情報が表示されるように制御を行う。
このように構成されていることにより、車両の周辺を走行する移動体から見やすい位置に、情報を表示させることが可能となる。
また、好ましくは、前記表示制御部は、前記死角領域に移動物体が存在すると判定される場合に、前記死角情報が前記車両の表面に表示されるように制御を行う。
このように構成されていることにより、死角領域に存在する移動物体に関する死角情報を、車両の表面に表示させることができる。したがって、車両の周辺に対して、死角領域に移動物体が存在することを知らせることが可能となる。
また、好ましくは、前記表示制御部は、前記車両の周辺を走行する移動体と前記死角領域に存在する移動物体とが衝突する可能性があると判定される場合に、前記死角情報が前記車両の表面に表示されるように制御を行う。
このように構成されていることにより、移動体の運転者等に対して、移動体が移動物体に衝突する可能性があることを、より適切に警告することが可能となる。
また、好ましくは、前記死角情報は、前記死角領域に存在する前記移動物体の画像を含み、前記死角情報生成部は、前記死角情報が前記車両の表面に表示される際に、前記移動物体の画像の移動方向が、前記車両の周辺を走行する移動体の視点から実際の前記移動物体を見たと仮定した場合の実際の前記移動物体の移動方向に対応するように画像処理が施された、前記死角情報を生成し、前記表示制御部は、前記画像処理が施された前記死角情報が、前記車両の表面に表示されるように制御を行う。
このように構成されていることにより、インフラセンサ情報に示された移動物体の画像をそのまま表示する場合と比較して、死角情報が車両の表面に表示される際の移動物体の画像の移動方向を、より適切な方向とすることが可能となる。
本発明によれば、車両の周辺に障害物があったとしても、障害物により死角となる死角領域に関する死角情報を車両に表示することが可能となる表示制御システム、表示制御方法及びプログラムを提供できる。
実施の形態1にかかる表示制御システムを示す図である。 実施の形態1にかかる表示制御システムのハードウェア構成を示す図である。 実施の形態1にかかる表示制御システムの構成を示す機能ブロック図である。 、実施の形態1にかかる表示制御システムによって実行される表示制御方法を示すフローチャートである。 実施の形態1にかかる表示制御システムによって実行される処理を説明するための図である。 実施の形態2にかかる表示制御システムの構成を示す機能ブロック図である。 実施の形態2にかかる表示制御システムによって実行される表示制御方法を示すフローチャートである。 実施の形態2にかかる表示制御システムによって実行される処理を説明するための図である。 実施の形態3にかかる表示制御システムの構成を示す機能ブロック図である。 実施の形態3にかかる表示制御システムによって実行される表示制御方法を示すフローチャートである。 実施の形態3にかかる、インフラセンサ情報を用いた画像処理の方法を説明するための図である。 実施の形態3にかかる、インフラセンサ情報を用いた画像処理の方法を説明するための図である。 実施の形態3にかかる、コンピュータグラフィックスによる画像処理の方法を説明するための図である。 実施の形態4にかかる表示制御システムを示す図である。 実施の形態4にかかる表示制御システムによって実行される表示制御方法を示すフローチャートである。 実施の形態4にかかる表示制御システムによって実行される処理を説明するための図である。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、実質的に同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図1は、実施の形態1にかかる表示制御システム1の構成を示す図である。実施の形態1にかかる表示制御システム1は、管理装置50と、複数のインフラセンサ10と、車両20とを有する。車両20には、車両センサ22、表示装置24及び車両装置30が設けられている。管理装置50と、複数のインフラセンサ10と、車両20に設けられた各装置とは、有線又は無線のネットワーク2を介して通信可能に接続されている。さらに、複数のインフラセンサ10が、互いにネットワーク2を介して通信可能に接続されていてもよい。なお、ネットワーク2は、1つとは限らない。例えば、管理装置50とインフラセンサ10とを接続するネットワーク2は、管理装置50と車両20に設けられた各装置とを接続するネットワーク2と異なっていてもよい。
インフラセンサ10は、互いに異なる位置に配置されている。例えば、インフラセンサ10は、道路の周辺に設置されている。また、例えば、インフラセンサ10は、道路の近傍に、50m~100mの間隔で設置されてもよい。インフラセンサ10は、例えばカメラ又はセンサ等を含む物体検出装置である。例えば、インフラセンサ10は、インフラセンサ10が設置された位置に対応する所定の領域(撮像領域)を撮像(撮影)する。撮像領域は、インフラセンサ10の画角(視野;撮像範囲)に対応する。なお、インフラセンサ10は、可視光カメラであってもよいし、ライダ(LiDAR:Light Detection and Ranging)等の三次元カメラ(点群カメラ)であってもよいし、赤外線カメラであってもよい。
インフラセンサ10は、物体、特に、移動可能な物体である移動物体(移動体)を検出する。インフラセンサ10によって検出される移動物体(移動体)は、例えば、歩行者等の人、自転車等の軽車両、自動車又はバイク等の車両である。また、インフラセンサ10は、インフラセンサ10の周辺の固定物体(構造物、郵便ポスト、電柱、標識、建物等)を検出してもよい。
インフラセンサ10は、検出された物体を示す情報であるインフラセンサ情報を生成する。インフラセンサ10は、生成されたインフラセンサ情報を、管理装置50に送信する。インフラセンサ10がカメラである場合、インフラセンサ情報は、例えば、検出された物体の画像を示す画像情報であってもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。また、「画像」は、静止画像及び動画像を含む。
また、インフラセンサ10は、物体検出処理及び物体認識処理(以下、単に物体認識処理と称する)を行ってもよい。その場合、インフラセンサ情報は、検出された物体の種別(人又は自転車等)、検出された物体の位置である物体位置、及び、検出された物体の移動方向及び移動速度を示してもよい。インフラセンサ10は、例えばディープラーニング等の機械学習アルゴリズムを用いて、物体認識等を行ってもよい。また、物体認識処理は、管理装置50によって実行されてもよい。
ここで、「種別」は、物体認識処理において判定された、物体(移動物体)のカテゴリ(クラス)である。物体の種別は、インフラセンサ10によって撮影された画像から抽出された特徴量を用いて判定され得る。また、インフラセンサ10は、物体の種別として、車両の車種を検出してもよい。「車種」は、例えば、特徴量と車種とを対応付けた認識辞書を用いて判定され得る。また、「車種」は、例えば、OCR(Optical Character Recognition)によって抽出された車体ナンバーを用いて、判定されてもよい。
また、「物体位置」は、物体認識処理が行われたときの移動物体の地理上の位置を示す。位置は、例えば緯度経度であってもよいし、衛星測位システム(GNSS:Global Navigation Satellite System等)によって定められた座標であってもよい。物体位置は、例えば、インフラセンサ10によって撮像された画像における物体に対応する画素の位置から算出され得る。例えば、インフラセンサ10によって撮像された画像における画素の位置と、道路上の位置とを予め対応付けておくことで、物体位置を算出してもよい。
「移動方向」は、物体認識処理が行われたときの移動物体の移動方向(例えば東西南北)を示す。移動方向は、例えば、インフラセンサ10によって撮像された画像における方向と、方位とを予め対応付けておき、移動物体が画像上のどの方向に移動したかを検出することで、算出され得る。「移動速度」は、物体認識処理が行われたときの移動物体の移動速度を示す。移動速度は、例えば、インフラセンサ10によって撮像された画像における画素の位置と道路上の位置とを予め対応付けておき、移動物体の単位時間あたりの道路上の位置の差分を算出することで、算出され得る。
車両20は、インフラセンサ10が設置された道路に存在し得る。車両20は、例えば、バス、トラック、乗用車等である。なお、本実施の形態では、車両20は、インフラセンサ10が設置された道路に停止しているとする。しかしながら、車両20は、道路を走行していてもよい。車両20において、車両センサ22、表示装置24及び車両装置30は、有線又は無線により、互いに通信可能に接続されている。
車両センサ22は、例えば車両20の前面、後面、及び側面に設けられており、その車両センサ22が設けられた面の側の物体を検出する。あるいは、全周カメラ等によって、1つの車両センサ22が、車両20の全周を検出してもよい。車両センサ22は、車両20の周辺の物体、特に、移動可能な物体である移動物体(移動体)を検出する。車両センサ22は、例えば、カメラ又はセンサ等を含む物体検出装置である。車両センサ22は、例えば、車載カメラである。車両センサ22によって検出される移動物体(移動体)は、例えば、歩行者等の人、自転車等の軽車両、自動車又はバイク等の車両である。また、車両センサ22は、車両20の周辺の固定物体(構造物、郵便ポスト、電柱、標識、建物等)を検出する。
車両センサ22は、検出された物体を示す情報である車両センサ情報を生成する。車両センサ22は、生成された車両センサ情報を、車両装置30に送信する。車両センサ22がカメラである場合、車両センサ情報は、例えば、検出された物体の画像を示す画像情報であってもよい。また、車両センサ22は、物体検出処理及び物体認識処理を行ってもよい。その場合、車両センサ情報は、検出された物体の種別(建物、人又は自転車等)、検出された物体の位置である物体位置、及び、検出された物体の移動方向及び移動速度を示してもよい。なお、物体位置、移動方向及び移動速度を算出する方法は、上述したインフラセンサ10による方法と同じであってもよい。なお、管理装置50又は車両装置30が、物体認識処理を行ってもよい。
表示装置24は、例えばディスプレイである。実施の形態1では、表示装置24は、車両20の外面に設けられている。例えば、表示装置24は、車両20の前面、後面、及び側面(右側面及び左側面)に設けられている。後述するように、表示装置24は、例えば、車両センサ22によって生成された車両センサ情報を表示してもよい。あるいは、表示装置24は、例えば、インフラセンサ10によって生成されたインフラセンサ情報を表示してもよい。詳しくは後述する。
車両装置30は、例えばコンピュータである。車両装置30は、車両センサ22から車両センサ情報を受信して、車両センサ情報を表示装置24に表示させるように制御を行ってもよい。また、車両装置30は、インフラセンサ10からインフラセンサ情報を受信して、インフラセンサ情報を表示装置24に表示させるように制御を行ってもよい。詳しくは後述する。
管理装置50は、例えばコンピュータである。管理装置50は、例えばサーバである。管理装置50は、例えばクラウドサーバであってもよい。管理装置50は、インフラセンサ10で生成された情報であるインフラセンサ情報を管理する。したがって、管理装置50は、複数のインフラセンサ10を管理する、管理システムとして機能する。管理装置50は、インフラセンサ情報を格納するデータベース(DB)を有する。また、管理装置50は、以下に説明するダイナミックマップを管理してもよい。
ダイナミックマップは、時間変化の少ない静的情報と、時間とともに変化する位置特定可能な動的情報とを、例えばレイヤ形式で対応付けている。静的情報は、例えば3次元地図情報(3次元マップ)であり、路面、車線、及び構造物等を示す。動的情報は、管理交通規制予定及び道路工事予定などを示す準静的データと、事故及び渋滞などを示す準動的データと、歩行者、周辺車両及び信号情報などを示す動的データとを含む。なお、ダイナミックマップにおいて、静的情報と動的情報とが対応付けられる際に、静的情報における位置データと動的情報における位置データとが、互いに対応するようになっている。したがって、ダイナミックマップにおいてある位置を指定すると、その位置に対応する静的情報及び動的情報が得られ得る。
また、ダイナミックマップは、インフラセンサ10の位置情報を含む。そして、管理装置50は、インフラセンサ10によって検出された物体(移動物体)の位置を、ダイナミックマップ上の位置に対応付ける。同様に、管理装置50は、車両センサ22によって検出された物体(移動物体)の位置を、ダイナミックマップ上の位置に対応付けてもよい。これにより、管理装置50は、ダイナミックマップ上における、インフラセンサ10及び車両センサ22によって検出された物体(移動物体、移動体)の位置、及び、検出された物体の周囲の状況を、把握することができる。また、管理装置50は、ダイナミックマップ上の任意の位置における、インフラセンサ10及び車両センサ22によって検出された物体(移動物体、移動体)を把握することができる。
管理装置50は、車両センサ22から車両センサ情報を受信して、車両センサ情報を表示装置24に表示させるように制御を行ってもよい。また、管理装置50は、インフラセンサ10からインフラセンサ情報を受信して、インフラセンサ情報を表示装置24に表示させるように制御を行ってもよい。詳しくは後述する。
図2は、実施の形態1にかかる表示制御システム1のハードウェア構成を示す図である。表示制御システム1は、情報処理装置100と、インフラセンサ10と、車両センサ22と、表示装置24とを有する。情報処理装置100は、インフラセンサ10、車両センサ22及び表示装置24と、有線又は無線によって、通信可能に接続されている。
情報処理装置100は、図1に示した管理装置50及び車両装置30に設けられ得る。また、インフラセンサ10及び車両センサ22が画像認識処理等を行う場合、情報処理装置100は、インフラセンサ10及び車両センサ22に設けられてもよい。情報処理装置100は、後述するような処理を行って、車両20に情報が表示されるための処理を行う。実施の形態1では、情報処理装置100は、車両20の表面に設けられた表示装置24に情報を表示させるための制御を行う。詳しくは後述する。
情報処理装置100は、主要なハードウェア構成として、CPU102(Central Processing Unit)と、ROM104(Read Only Memory)と、RAM106(Random Access Memory)と、インタフェース部108(IF;Interface)とを有する。CPU102、ROM104、RAM106及びインタフェース部108は、データバスなどを介して相互に接続されている。
CPU102は、制御処理及び演算処理等を行う演算装置としての機能を有する。ROM104は、CPU102によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。RAM106は、処理データ等を一時的に記憶するための機能を有する。RAM106は、データベースを有してもよい。これにより、情報処理装置100は、データベースを実現してもよい。インタフェース部108は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部108は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。
図3は、実施の形態1にかかる表示制御システム1の構成を示す機能ブロック図である。表示制御システム1は、地図情報格納部112と、インフラセンサ情報取得部114と、車両センサ情報取得部116と、地図情報管理部118とを有する。また、表示制御システム1は、障害物判定部120と、移動物体判定部130と、移動体検出部140と、表示位置決定部150と、死角情報生成部170と、表示制御部180とを有する。
これらの構成要素は、図2に示した情報処理装置100によって実現され得る。なお、これらの構成要素は、物理的に1つの装置によって実現されることに限定されず、複数の装置によって実現されてもよい。これらの構成要素は、例えばクラウドコンピューティング等により、複数の装置で実現されてもよい。また、これらの構成要素は、例えば、管理装置50及び車両装置30の両方によって実現されてもよい。なお、これらのことは、他の実施の形態においても同様である。
また、これらの構成要素は、例えば、CPU102がROM104に記憶されたプログラムを実行することによって実現可能である。また、各構成要素は、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにして、実現されるようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、表示制御システム1の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。なお、これらのことは、他の実施の形態においても同様である。
地図情報格納部112は、地図情報を格納する。具体的には、地図情報格納部112は、上述したダイナミックマップを格納する。地図情報格納部112は、図2に示したROM104によって実現され得る。
インフラセンサ情報取得部114は、インフラセンサ情報を取得する。具体的には、インフラセンサ情報取得部114は、ネットワーク2を介して、インフラセンサ10からインフラセンサ情報を受信する。インフラセンサ情報取得部114は、図2に示したインタフェース部108によって実現され得る。なお、インフラセンサ情報取得部114は、インフラセンサ10が道路にある車両20の周辺を検出することによって得られたインフラセンサ情報を取得する。
車両センサ情報取得部116は、車両センサ情報を取得する。具体的には、車両センサ情報取得部116は、ネットワーク2を介して、車両センサ22から車両センサ情報を受信する。車両センサ情報取得部116は、図2に示したインタフェース部108によって実現され得る。
地図情報管理部118は、地図情報を管理する。具体的には、地図情報管理部118は、取得されたインフラセンサ情報及び車両センサ情報を用いて、ダイナミックマップを更新する。さらに具体的には、地図情報管理部118は、インフラセンサ情報を用いて、車両20の位置を、ダイナミックマップ上の位置に対応付ける。なお、地図情報管理部118は、車両20に搭載された位置検出装置(衛星測位システム等)によって検出された車両20の位置を、ダイナミックマップ上の位置に対応付けてもよい。
また、地図情報管理部118は、インフラセンサ情報を用いて、インフラセンサ10によって検出された物体(移動物体)の位置を、ダイナミックマップ上の位置に対応付ける。なお、インフラセンサ10が物体認識処理等を行わず、単に周囲を撮影するのみの場合、地図情報管理部118は、画像情報であるインフラセンサ情報を用いて、上述した物体認識処理を行ってもよい。例えば、地図情報管理部118は、インフラセンサ10の位置と、画像における物体(移動物体)に対応する画素の位置とに応じて、物体位置を算出してもよい。
また、地図情報管理部118は、車両センサ情報を用いて、車両センサ22によって検出された物体(移動物体、移動体)の位置を、ダイナミックマップ上の位置に対応付けてもよい。なお、車両センサ22が物体認識処理を行わず、単に周囲を撮影するのみの場合、地図情報管理部118は、画像情報である車両センサ情報を用いて、上述した物体認識処理を行ってもよい。
このようにして、地図情報管理部118は、ダイナミックマップにおける、検出された物体(移動物体)の位置情報を取得する。そして、地図情報管理部118は、ダイナミックマップにおける、検出された物体(車両20及び移動物体等)の位置に、その物体をマッピングする。これにより、ダイナミックマップは、現実の道路状況を模擬した仮想空間を形成し得る。
障害物判定部120は、車両20の周辺に障害物が存在するか否かを判定する。具体的には、障害物判定部120は、車両20からの距離が予め定められた閾値以下(例えば数メートル以下)の位置に存在する静止物体(固定物体)を、障害物と判定してもよい。なお、この閾値は、静止物体の大きさに応じて異なっていてもよい。つまり、閾値は、静止物体の大きさが大きいほど長くなるように設定されてもよい。したがって、比較的大きな静止物体は、車両20からの距離が比較的遠くても障害物と判定されてもよい。一方、比較的小さな静止物体は、車両20からの距離が比較的近くても障害物と判定されなくてもよい。障害物判定部120は、車両センサ情報、インフラセンサ情報及びダイナミックマップの少なくとも1つを用いて、障害物を判定する。
なお、好ましくは、障害物判定部120は、車両センサ22から見たときの障害物が車両20の周辺に存在するか否かを判定する。具体的には、障害物判定部120は、車両センサ22からの距離が予め定められた閾値以下である静止物体を、障害物と判定する。あるいは、車両センサ情報が画像を示す場合、障害物判定部120は、車両センサ22からの距離が閾値以下であって、車両センサ情報の画像において予め定められた割合(例えば30%)以上を占める静止物体を、障害物と判定してもよい。
また、障害物判定部120は、車両20の位置がマッピングされたダイナミックマップにおいて、車両センサ22からの距離が予め定められた閾値以下の静止物体を判定してもよい。また、障害物判定部120は、ダイナミックマップに車両センサ22の画角に応じた撮影領域をさらにマッピングすることで、車両センサ情報の画像において予め定められた割合以上を占めると推定される静止物体を判定してもよい。また、障害物判定部120は、障害物として判定された静止物体を、障害物としてダイナミックマップにマッピングしてもよい。
移動物体判定部130は、車両20から見たときに障害物により死角となる死角領域に移動物体が存在するか否かを判定する。具体的には、移動物体判定部130は、車両20の視点から見たときに、障害物によって遮蔽される領域を、死角領域として算出する。移動物体判定部130は、算出された死角領域に移動物体が存在するか否かを判定する。
好ましくは、移動物体判定部130は、車両センサ22から見たときに障害物により死角となる死角領域に移動物体が存在するか否かを判定する。この場合、移動物体判定部130は、車両センサ22の視点から見たときに、障害物によって遮蔽される領域を、死角領域として算出する。
なお、移動物体判定部130は、ダイナミックマップを用いて、死角領域を算出してもよい。移動物体判定部130は、ダイナミックマップにマッピングされた車両センサ22の画角に応じた撮影領域において、車両センサ22からの視点から障害物によって撮影され得ない領域を、死角領域と算出してもよい。移動物体判定部130は、ダイナミックマップに死角領域をマッピングする。
そして、移動物体判定部130は、ダイナミックマップにマッピングされた死角領域に、歩行者又は自転車等の移動物体がマッピングされているか否かを判定する。死角領域に移動物体がマッピングされている場合、移動物体判定部130は、死角領域に移動物体が存在すると判定する。なお、移動物体判定部130の処理における「移動物体」は、物体認識処理において、「歩行者」又は「自転車」といった移動可能な所定の種別の物体と認識された物体であってもよい。あるいは、移動物体判定部130の処理における「移動物体」は、種別は不明だが、画像上で移動している何らかの物体であってもよい。
移動体検出部140は、車両20の周辺を走行する移動体を検出する。さらに具体的には、移動体検出部140は、車両20の周辺において、車両20に対して障害物とは反対側を走行する移動体を検出してもよい。移動体検出部140は、車両20に対する、移動体の位置及び移動方向を検出する。なお、検出される移動体は、例えば、自動車又はバイク等の車両である。
移動体検出部140は、ダイナミックマップを用いて、移動体を検出してもよい。この場合、移動体検出部140は、移動体及び車両20がマッピングされたダイナミックマップにおいて、車両20の周辺を走行する移動体を検出する。そして、移動体検出部140は、ダイナミックマップ上における、車両20に対する移動体の位置及び移動方向を検出する。なお、移動方向は、ダイナミックマップにマッピングされていてもよい。
例えば、移動体検出部140は、車両20が存在する道路において、車両20の前方又は後方から予め定められた距離以内の位置を車両20の方に向かって走行している移動体を検出する。また、移動体検出部140は、車両20の側面から予め定められた距離以内(例えば2m以内)の位置を走行している移動体を検出する。なお、上記の「予め定められた距離」は、移動体の移動速度に応じて変更されてもよい。例えば、「予め定められた距離」は、移動体の移動速度が速いほど、長くなってもよい。そして、例えば、移動体検出部140は、車両20の後方に存在する移動体を検出する。そして、移動体検出部140は、その移動体が、車両20の後方から右側面の側に向かって走行していると検出する。
また、移動体検出部140は、車両センサ情報を用いて、移動体を検出してもよい。例えば、移動体検出部140は、車両センサ情報を生成した車両センサ22が車両20に設置されている位置から、車両20に対する移動体の位置及び移動方向を検出してもよい。例えば、移動体を検出したことを示す車両センサ情報を生成した車両センサ22が車両20の後方に設置されている場合、移動体検出部140は、車両20の後方で移動体が走行していると検出してもよい。また、例えば、その車両センサ情報において移動体が車両20に接近していることが示されている場合、移動体検出部140は、車両20の後方から移動体が車両20に向かって走行していると検出してもよい。
表示位置決定部150は、検出された移動体の位置に応じて、車両20の表面において情報が表示される表示位置を決定する。具体的には、表示位置決定部150は、検出された移動体の車両20に対する相対位置に応じて、表示位置を決定する。さらに具体的には、表示位置決定部150は、車両20の表面における、車両20に対する移動体の相対位置の側の位置を、表示位置と決定する。ここで、表示位置決定部150は、車両20の表面における、移動体(車両の運転者)の視点から移動体の走行方向の側に見える位置を、表示位置と決定する。
例えば、車両20の後方の位置に移動体が検出された場合に、表示位置決定部150は、車両20の後面を、表示位置と決定する。そして、表示位置決定部150は、車両20の後面に設置された表示装置24に、情報を表示させると決定する。また、例えば、車両20の後方から右側面の側に向かって走行している移動体が検出された場合、表示位置決定部150は、車両20の右側面を、表示位置と決定する。そして、表示位置決定部150は、車両20の右側面に設置された表示装置24に、情報を表示させると決定する。
死角情報生成部170は、インフラセンサ情報に基づいて、死角領域に関する死角情報を生成する。死角情報は、表示装置24に表示され得る情報である。死角情報は、死角領域に存在する移動物体の画像を示してもよい。この場合、死角情報生成部170は、インフラセンサ情報に示された、死角領域に存在する移動物体の画像を示す、死角情報を生成する。なお、インフラセンサ情報が移動物体を撮影した撮影画像を示す場合、死角情報生成部170は、移動物体の撮影画像を抽出して、その移動物体の撮影画像を示す死角情報を生成してもよい。
あるいは、死角情報生成部170は、インフラセンサ情報に示された、死角領域に存在する移動物体の種別(歩行者又は自転車等)に対応する、抽象的画像を示す死角情報を生成してもよい。抽象的画像は、例えば、イラストレーション画像、アイコン、ピクトグラム等である。死角情報生成部170は、例えばコンピュータグラフィックスによって、抽象的画像を生成してもよい。また、死角情報生成部170は、例えば、移動物体の種別に対応付けて予め準備された抽象的画像を用いて、死角情報を生成してもよい。あるいは、死角情報生成部170は、例えば、移動物体の特徴に類似する抽象的画像を生成してもよい。
あるいは、死角情報生成部170は、文字情報を含む死角情報を生成してもよい。例えば、車両20がバスであり、死角領域に歩行者が存在する場合、死角情報生成部170は、「バスの向こうに歩行者がいます。注意してください」といった文字情報を生成してもよい。
表示制御部180は、死角情報が車両20に表示されるように制御を行う。具体的には、表示制御部180は、表示装置24を制御する。そして、表示制御部180は、死角情報を表示装置24に表示させるための制御を行う。さらに具体的には、表示制御部180は、表示位置決定部150によって決定された表示装置24に、死角情報とその死角情報を表示する旨の命令とを含む信号を送信する。表示装置24は、その信号を受信すると、死角情報を表示する。
なお、表示制御部180は、上記の判定結果によっては、死角情報を表示させるように制御を行わなくてもよい。また、表示制御部180は、上記の判定結果によっては、死角情報以外の情報を表示させるように制御を行ってもよい。表示制御部180は、上記の判定結果に応じて、表示装置24に表示させる情報を決定してもよい。
図4は、実施の形態1にかかる表示制御システム1によって実行される表示制御方法を示すフローチャートである。インフラセンサ情報取得部114は、上述したように、インフラセンサ情報を取得する(ステップS110)。車両センサ情報取得部116は、上述したように、車両センサ情報を取得する(ステップS112)。地図情報管理部118は、上述したように、インフラセンサ情報及び車両センサ情報に示された物体を、ダイナミックマップにマッピングする(ステップS114)。
障害物判定部120は、上述したように、車両20の周辺に障害物が存在するか否かを判定する(ステップS116)。車両20の周辺に障害物が存在しないと判定された場合(S116のNO)、表示制御部180は、車両センサ情報を表示装置24に表示させると決定する(ステップS118)。つまり、表示制御部180は、車両20の周辺に障害物が存在しない場合に、インフラセンサ情報に基づいて生成される死角情報を表示させないと決定する。そして、表示制御部180は、車両センサ22によって検出された情報である車両センサ情報が、車両20に表示されるように制御を行う。この場合、表示制御部180(又は移動物体判定部130)は、車両センサ情報が移動物体を検出したことを判定してもよい。移動物体が検出された場合、表示制御部180は、後述するS124及びS132と実質的に同様の処理を行うことによって決定された表示装置24に、車両センサ情報に対応する車両センサ表示情報を表示させるように制御を行ってもよい。車両センサ表示情報は、死角情報と実質的に同様の処理によって生成されてもよい。
一方、車両20の周辺に障害物が存在すると判定された場合(S116のYES)、表示制御部180は、車両センサ情報ではなく、死角情報を車両20に表示させるための制御を行う。そして、表示制御システム1は、後述するように、死角情報を表示するか否かの判定を行う。
移動物体判定部130は、上述したように、死角領域に移動物体が存在するか否かを判定する(ステップS120)。死角領域に移動物体が存在しないと判定された場合(S120のNO)、表示制御部180は、死角情報を車両20に表示させないと判定する(ステップS122)。一方、死角領域に移動物体が存在すると判定された場合(S120のYES)、表示制御部180は、死角情報を車両20に表示させると判定する。なお、表示制御部180は、後述するS124の処理によって移動体が検出されなかった場合に、死角情報を表示させるための制御を行わなくてもよい。
移動体検出部140は、上述したように、車両20の周辺を走行する移動体を検出する(ステップS124)。表示位置決定部150は、上述したように、検出された移動体の位置に応じて、車両20の表面において情報を表示する表示位置を決定する(ステップS132)。死角情報生成部170は、上述したように、インフラセンサ情報に基づいて、死角領域に関する死角情報を生成する(ステップS140)。表示制御部180は、上述したように、死角情報を車両20に表示させるように制御を行う(ステップS142)。
図5は、実施の形態1にかかる表示制御システム1によって実行される処理を説明するための図である。図5は、実施の形態1にかかる、車両20と、静止物体60(障害物)と、移動物体70と、移動体80との相対的な位置関係を、例示している。また、図5は、実施の形態1にかかる、車両20と、静止物体60と、移動物体70と、移動体80とがマッピングされたダイナミックマップを、例示していると言える。
図5の例において、道路の左側の路側の近傍に車両20が停止している。なお、路側は、例えば、歩道、路肩又は路側帯である。車両20の左側面には、車両20の左方を検出(センシング、撮影)する車両センサ22A、及び、車両20の左方に情報を表示する表示装置24Aが設けられている。また、車両20の後面には、車両20の後方を検出(センシング、撮影)する車両センサ22B、及び、車両20の後方に情報を表示する表示装置24Bが設けられている。また、車両20の右側面には、車両20の右方を検出(センシング、撮影)する車両センサ22C、及び、車両20の右方に情報を表示する表示装置24Cが設けられている。また、車両20の前面には、車両20の前方を検出(センシング、撮影)する車両センサ22D、及び、車両20の前方に情報を表示する表示装置24Dが設けられている。
また、図5の例において、路側には、インフラセンサ10が設置されている。インフラセンサ10は、路側から道路の方を検出(センシング、撮影)する。車両20は、インフラセンサ10によって検出され得る。インフラセンサ10は、管理装置50と通信可能に接続されている。
また、路側には、静止物体60が存在している。静止物体60は、車両20の左側の近傍に位置している。そして、静止物体60の少なくとも一部は、車両センサ22Aの撮影領域Araに位置している。また、路側には、歩行者等の移動物体70が存在している。移動物体70は、静止物体60に対して車両20と反対側に位置している。特に、移動物体70は、静止物体60に対して車両センサ22Aと反対側に位置している。したがって、移動物体70は、静止物体60によって遮られることによって、車両センサ22Aによって検出されない位置に存在している。一方、移動物体70は、インフラセンサ10によって検出され得る位置に存在している。したがって、移動物体70は、インフラセンサ10によって検出され得る。また、静止物体60は、インフラセンサ10及び車両センサ22Aの少なくとも一方によって検出され得る。
また、車両20が存在する道路には、バイク等の移動体80が存在している。移動体80は、車両20の後方から、矢印D1で示すように、車両20の右側面の側に向かって走行している。移動体80は、インフラセンサ10及び車両センサ22Bの少なくとも一方によって検出され得る。
インフラセンサ情報取得部114は、車両20、移動物体70及び静止物体60を示すインフラセンサ情報を取得する(S110)。車両センサ情報取得部116は、静止物体60及び移動体80を示す車両センサ情報を取得する(S112)。また、地図情報管理部118は、インフラセンサ10から取得されたインフラセンサ情報及び車両センサ22から取得された車両センサ情報を用いて、ダイナミックマップを更新する(S114)。したがって、地図情報管理部118は、図5に例示した各物体を、ダイナミックマップにマッピングする。そして、地図情報管理部118は、図5に例示した各物体の位置関係を認識する。
また、障害物判定部120は、静止物体60を、障害物と判定する(S116のYES)。また、移動物体判定部130は、例えばダイナミックマップを用いて、車両センサ22Aの視点から見たときに、静止物体60(障害物)によって遮蔽される死角領域Ba1(図5においてハッチングされた領域)を算出する。そして、移動物体判定部130は、例えばダイナミックマップを用いて、死角領域Ba1に移動物体70が存在すると判定する(S120のYES)。
移動体検出部140は、移動体80を検出する(S124)。そして、移動体検出部140は、移動体80が、車両20の後方から車両20の右側面の側に向かって走行していることを検出する。表示位置決定部150は、移動体80の位置に応じて、移動体80から視認し得る位置にある表示装置24B及び表示装置24Cに、死角情報を表示させると決定する(S132)。死角情報生成部170は、死角領域Ba1に存在する移動物体70に関する情報である死角情報を生成する(S140)。表示制御部180は、死角情報を表示装置24B及び表示装置24Cに表示させるように制御を行う(S142)。
なお、図3に示した構成要素の全てが、管理装置50に設けられた情報処理装置100によって実現されてもよい。あるいは、図3に示した構成要素のうち、地図情報格納部112、インフラセンサ情報取得部114、地図情報管理部118及び移動物体判定部130及び死角情報生成部170が、管理装置50に設けられた情報処理装置100によって実現されてもよい。そして、残りの構成要素、つまり車両センサ情報取得部116、障害物判定部120、移動体検出部140、表示位置決定部150及び表示制御部180が、車両装置30に設けられた情報処理装置100によって実現されてもよい。この場合、障害物判定部120によって障害物が存在すると判定されたときに、車両装置30は、管理装置50に対して、死角領域に移動物体が存在するか否かを問い合わせてもよい。そして、車両装置30は、死角領域に移動物体が存在する場合に、死角情報を管理装置50から受信するようにしてもよい。これらのことは、他の実施の形態においても同様である。
上述したように、実施の形態1にかかる表示制御システム1は、インフラセンサ情報に基づいて、車両20から見たときに障害物により死角となる死角領域に関する死角情報を生成して、車両20に表示させるように制御を行うように構成されている。ここで、インフラセンサ情報を用いて死角情報が生成されるので、車両20の周辺に障害物があったとしても、その障害物によって死角となる領域に関する死角情報を、適切に生成することができる。すなわち、障害物によって遮蔽されることにより車両センサ22が死角領域の物体を検出できない場合であっても、死角情報を適切に生成することができる。したがって、実施の形態1にかかる表示制御システム1は、車両20の周辺に障害物があったとしても、障害物により死角となる死角領域に関する死角情報を車両に表示することが可能となる。
また、実施の形態1にかかる表示制御システム1は、車両20に搭載された車両センサ22から見たときの障害物が前記車両の周辺に存在すると判定された場合に、死角情報が車両20に表示されるように制御を行うように構成されている。このように、車両20の周辺に障害物が存在する場合に死角情報が車両20に表示されるようにすることで、必要な場合だけ死角情報が表示されるようにすることができる。言い換えると、車両20の周辺に障害物が存在しない場合には、死角情報を車両20に表示させることが不要となる。したがって、処理負荷を低減することが可能となる。特に、表示制御システム1の構成要素が管理装置50及び車両装置30の両方で実現される場合、車両20の周辺に障害物が存在しないときは、車両装置30が管理装置50から死角情報を受信することが不要となるので、通信負荷及びデータ処理負荷を低減することが可能となる。
また、実施の形態1にかかる表示制御システム1は、車両20の周辺に障害物が存在しないと判定された場合に、車両センサ22によって検出された情報である車両センサ情報が車両20に表示されるように制御を行うように構成されている。ここで、障害物が存在しない場合には、車両センサ22は、車両20自身によって死角となっている領域を、有効に検出(撮影)することができる。この場合、車両センサ22によって得られた車両センサ情報を、有効に使用することができる。したがって、車両センサ情報を有効に使用できる場合には車両センサ情報を車両20に表示させるようにすることで、車両センサ22とインフラセンサ10との連携を図ることが可能となる。
また、実施の形態1にかかる表示制御システム1は、死角領域に移動物体が存在すると判定される場合に、死角情報が車両20の表面に表示されるように制御を行うように構成されている。このような構成により、死角領域に存在する移動物体に関する死角情報を、車両20の表面に表示させることができる。したがって、車両20の周辺に対して、死角領域に移動物体が存在することを知らせることが可能となる。
また、実施の形態1にかかる表示制御システム1は、車両の周辺を走行する移動体を検出し、検出された移動体の位置に応じて決定された表示位置に、情報が表示されるように制御を行うように構成されている。このような構成によって、車両20の周辺を走行する移動体から見やすい位置に、情報を表示させることが可能となる。また、これにより、移動体の運転者等に対して、車両20の向こう側に移動物体が存在することを、適切に警告することが可能となる。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2においては、死角領域に存在する移動物体と車両20の周辺を走行する移動体とが衝突する可能性を判定する点で、実施の形態1と異なる。なお、実施の形態2にかかる表示制御システム1の構成及びハードウェア構成については、それぞれ図1及び図2に示したものと実質的に同様であるので、説明を省略する。
図6は、実施の形態2にかかる表示制御システム1の構成を示す機能ブロック図である。実施の形態1と同様に、表示制御システム1は、地図情報格納部112と、インフラセンサ情報取得部114と、車両センサ情報取得部116と、地図情報管理部118とを有する。また、実施の形態1と同様に、表示制御システム1は、障害物判定部120と、移動物体判定部130と、移動体検出部140と、表示位置決定部150と、死角情報生成部170と、表示制御部180とを有する。さらに、実施の形態2にかかる表示制御システム1は、衝突可能性判定部246を有する。衝突可能性判定部246以外の構成要素の機能は、実施の形態1にかかるものと実質的に同様であるので、適宜、説明を省略する。
衝突可能性判定部246は、車両20の周辺を走行する移動体と死角領域に存在する移動物体とが衝突する可能性があるか否かを判定する。具体的には、衝突可能性判定部246は、移動体の移動方向と移動物体の移動方向とに応じて、移動体と移動物体とが衝突する可能性があるか否かを判定する。
さらに具体的には、衝突可能性判定部246は、死角領域に存在する移動物体の移動方向を算出する。衝突可能性判定部246は、ダイナミックマップ又はインフラセンサ情報を用いて、移動物体の移動方向を算出してもよい。衝突可能性判定部246は、ダイナミックマップ又はインフラセンサ情報に示されている、死角領域に存在する移動物体の「移動方向」から、その移動物体の移動方向を算出してもよい。衝突可能性判定部246は、ダイナミックマップに、その移動物体の移動方向をマッピングしてもよい。なお、地図情報管理部118によって移動物体の移動方向がダイナミックマップにマッピングされている場合、衝突可能性判定部246は、ダイナミックマップを用いて移動物体の移動方向を算出してもよい。なお、上述した移動物体判定部130が、移動物体の移動方向を判定してもよい。なお、移動体の移動方向は、移動体検出部140によって算出されている。
また、衝突可能性判定部246は、移動体検出部140によって検出された移動体の移動方向と、移動物体の移動方向とが、交差するか否かを判定する。具体的には、衝突可能性判定部246は、移動体の移動方向と移動物体の移動方向とがマッピングされたダイナミックマップを用いて、移動体の移動方向と移動物体の移動方向とが交差するか否かを判定する。さらに具体的には、衝突可能性判定部246は、ダイナミックマップ上で、移動体の位置からその移動体の移動方向に向かって伸びた軌跡(直線)と、移動物体の位置からその移動物体の移動方向に向かって伸びた軌跡(直線)とが、交差するか否かを判定する。
また、衝突可能性判定部246は、移動体の移動方向と移動物体の移動方向とが交差する場合、移動体及び移動物体それぞれが、移動体の移動方向と移動物体の移動方向とが交差する交差地点に到達すると推測される時間を算出する。具体的には、衝突可能性判定部246は、移動体の移動速度と、移動体の位置から交差地点までの距離とから、移動体が交差地点に到達すると推測される時間T1を算出する。同様に、衝突可能性判定部246は、移動物体の移動速度と、移動物体の位置から交差地点までの距離とから、移動物体が交差地点に到達すると推測される時間T2を算出する。そして、衝突可能性判定部246は、時間T1と時間T2との差分が予め定められた閾値以下である場合に、移動体と移動物体とが衝突する可能性があると判定する。なお、衝突可能性判定部246は、単に、移動体の移動方向と移動物体の移動方向とが交差する場合に、移動体と移動物体とが衝突する可能性があると判定してもよい。
図7は、実施の形態2にかかる表示制御システム1によって実行される表示制御方法を示すフローチャートである。インフラセンサ情報取得部114は、実施の形態1と同様に、インフラセンサ情報を取得する(ステップS210)。車両センサ情報取得部116は、実施の形態1と同様に、車両センサ情報を取得する(ステップS212)。地図情報管理部118は、実施の形態1と同様に、インフラセンサ情報及び車両センサ情報に示された物体を、ダイナミックマップにマッピングする(ステップS214)。
障害物判定部120は、実施の形態1と同様に、車両20の周辺に障害物が存在するか否かを判定する(ステップS216)。車両20の周辺に障害物が存在しないと判定された場合(S216のNO)、表示制御部180は、車両センサ情報を表示装置24に表示させると決定する(ステップS218)。車両センサ情報を表示装置24に表示させる場合の処理については、実施の形態1の場合と同様であるので、説明を省略する。
一方、車両20の周辺に障害物が存在すると判定された場合(S216のYES)、表示制御部180は、車両センサ情報ではなく、死角情報を車両20に表示させるための制御を行う。そして、表示制御システム1は、後述するように、死角情報を表示するか否かの判定を行う。
移動物体判定部130は、実施の形態1と同様に、死角領域に移動物体が存在するか否かを判定する(ステップS220)。死角領域に移動物体が存在しないと判定された場合(S220のNO)、表示制御部180は、死角情報を車両20に表示させないと判定する(ステップS222)。一方、死角領域に移動物体が存在すると判定された場合(S220のYES)、移動体と移動物体との衝突可能性が判定される。
移動体検出部140は、実施の形態1と同様に、車両20の周辺を走行する移動体を検出する(ステップS224)。衝突可能性判定部246は、上述したように、車両20の周辺を走行する移動体と死角領域に存在する移動物体とが衝突する可能性があるか否かを判定する(ステップS226)。移動体と移動物体とが衝突する可能性がないと判定された場合(S226のNO)、表示制御部180は、死角情報を車両20に表示させないと判定する(S222)。
一方、移動体と移動物体とが衝突する可能性があると判定された場合(S226のYES)、表示制御部180は、死角情報を車両20に表示させると判定する。この場合、表示位置決定部150は、実施の形態1と同様に、検出された移動体の位置に応じて、車両20の表面において情報を表示する表示位置を決定する(ステップS232)。死角情報生成部170は、実施の形態1と同様に、インフラセンサ情報に基づいて、死角領域に関する死角情報を生成する(ステップS240)。
なお、死角情報生成部170は、文字情報を含む死角情報を生成してもよい。例えば、車両20がバスであり、死角領域に存在する歩行者(移動物体)が移動体の移動方向の側に移動している場合、死角情報生成部170は、「バスの向こうから歩行者が飛び出してきます。注意してください」といった文字情報を生成してもよい。そして、表示制御部180は、実施の形態1と同様に、死角情報を車両20に表示させるように制御を行う(ステップS242)。
図8は、実施の形態2にかかる表示制御システム1によって実行される処理を説明するための図である。図8は、実施の形態2にかかる、車両20と、静止物体60(障害物)と、移動物体70と、移動体80との相対的な位置関係を、例示している。また、図8は、実施の形態2にかかる、車両20と、静止物体60と、移動物体70と、移動体80とがマッピングされたダイナミックマップを例示していると言える。なお、以下、主に、図5との相違点について説明する。ここで、車両20と、静止物体60と、移動体80との相対的な位置関係については、実施の形態1の場合と実質的に同様である。
路側には、歩行者等の移動物体70が存在している。移動物体70は、静止物体60に対して車両20と反対側に位置している。そして、移動物体70は、矢印D2で示すように、車両20の前を左側から右側に向かって移動している。言い換えると、移動物体70は、路側つまり車両20の左前方側から、道路の中央側つまり車両20の右前方側に向かって移動している。つまり、移動物体70は、移動体80の移動方向の側に向かって移動している。なお、移動物体70の移動方向は、インフラセンサ10によって検出され得る。
移動物体判定部130は、例えばダイナミックマップを用いて、死角領域Ba1に移動物体70が存在すると判定する(S120のYES)。そして、移動体検出部140は、移動体80を検出する(S124)。そして、移動体検出部140は、移動体80が、車両20の後方から車両20の右側面の側に向かって走行していることを検出する。
また、衝突可能性判定部246は、死角領域Ba1において、移動物体70が、車両20の左前方側から車両20の右前方側に向かって移動していると判定する。そして、衝突可能性判定部246は、移動体80と移動物体70とが衝突する可能性があるか否かを判定し(S226)、移動体80と移動物体70とが衝突する可能性があると判定する(S226のYES)。したがって、表示制御部180は、図5の例と同様に、死角情報を表示装置24B及び表示装置24Cに表示させるように制御を行う(S242)。
実施の形態2にかかる表示制御システム1は、車両20の周辺を走行する移動体と死角領域に存在する移動物体とが衝突する可能性があると判定される場合に、死角情報を車両20の表面に表示させるように制御を行うように構成されている。このような構成により、移動体の運転者等に対して、移動体が移動物体に衝突する可能性があることを、より適切に警告することが可能となる。すなわち、移動体が移動物体に衝突する可能性がより高い場合に、移動体の運転者等に対して移動物体が飛び出して来ることを警告することで、移動体の運転者等の注意をより引くことが可能となる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3においては、死角領域に存在する移動物体の移動方向に応じて画像処理が行われる。なお、実施の形態3にかかる表示制御システム1の構成及びハードウェア構成については、それぞれ図1及び図2に示したものと実質的に同様であるので、説明を省略する。
図9は、実施の形態3にかかる表示制御システム1の構成を示す機能ブロック図である。実施の形態1及び実施の形態2と同様に、表示制御システム1は、地図情報格納部112と、インフラセンサ情報取得部114と、車両センサ情報取得部116と、地図情報管理部118とを有する。また、実施の形態1及び実施の形態2と同様に、表示制御システム1は、障害物判定部120と、移動物体判定部130と、移動体検出部140と、表示位置決定部150と、死角情報生成部170と、表示制御部180とを有する。また、実施の形態2と同様に、表示制御システム1は、衝突可能性判定部246を有する。さらに、実施の形態3にかかる表示制御システム1は、画像処理部360を有する。画像処理部360以外の構成要素の機能は、実施の形態1及び実施の形態2にかかるものと実質的に同様であるので、適宜、説明を省略する。
画像処理部360は、死角情報が車両20の表面に表示される際に、移動物体の画像の移動方向が、車両20の周辺を走行する移動体の視点から実際の移動物体を見たと仮定した場合の実際の移動物体の移動方向に対応するように、画像処理を行う。例えば、移動体の視点から実際の移動物体を見たと仮定した場合の実際の移動物体の移動方向が、移動体の視点から見て右方向である場合、画像処理部360は、死角情報における移動物体の画像が右方向に移動するように、画像処理を行う。なお、移動体と移動物体との間には、車両20及び障害物が存在するので、実際には、移動体から移動物体を視認できない可能性が高い。しかしながら、実施の形態3では、あたかも車両20及び障害物が存在しないかのように、移動物体の画像(死角情報)を車両20の表面に表示させる。画像処理部360の具体的な処理については、図10等を用いて後述する。なお、画像処理部360の機能は、死角情報生成部170が有していてもよい。
図10は、実施の形態3にかかる表示制御システム1によって実行される表示制御方法を示すフローチャートである。表示制御システム1は、上述したS210~S232と実質的に同様の処理を行う(ステップS312)。なお、上述したように、S214等の処理によって、車両20の位置と、障害物の位置と、移動物体の位置及び移動方向と、移動体の位置及び移動方向とが、ダイナミックマップにマッピングされ得る。
画像処理部360は、移動物体、移動体、車両20及び障害物の相対的な位置関係を算出する(ステップS314)。具体的には、画像処理部360は、ダイナミックマップを用いて、移動物体、移動体、車両20及び障害物の相対的な位置関係を算出してもよい。ここで、ダイナミックマップにおいて、移動物体の位置、移動体の位置、車両20の位置及び障害物の位置がマッピングされているので、画像処理部360は、移動物体、移動体、車両20及び障害物の相対的な位置関係を算出することができる。
画像処理部360は、移動体から見た場合の実際の移動物体の移動方向を判定する(ステップS316)。具体的には、画像処理部360は、ダイナミックマップを用いて、移動体の視点から実際の移動物体を見たと仮定した場合の実際の移動物体の移動方向を判定する。ここで、ダイナミックマップにおいて、実際の道路における、移動物体の位置及び移動方向と、移動体の位置及び移動方向とがマッピングされているので、画像処理部360は、移動体から見た場合の実際の移動物体の移動方向を判定することができる。さらに具体的には、画像処理部360は、ダイナミックマップにおける移動物体の移動方向が、移動体の視点から見てどの方向に見えるかを判定する。
例えば、画像処理部360は、移動体の視点から見た場合の移動物体の移動方向が、右方向、左方向、接近する方向、及び遠ざかる方向のいずれかに対応するかを判定する。また、例えば、画像処理部360は、移動体の視点から見た場合の移動物体の移動方向が、右方向、左方向、接近する方向、及び遠ざかる方向のいずれかの組み合わせに対応するかを判定する。例えば、図8の例において、移動体80が車両20の後方に位置している場合、画像処理部360は、移動体の視点から見た場合の移動物体の移動方向が、右方向であると判定する。また、図8の例において、移動体80が車両20の右側面の近傍に位置している場合、画像処理部360は、移動体80の視点から見た場合の移動物体の移動方向が、右側において接近する方向であると判定する。
画像処理部360は、表示装置24に表示される表示画面において、移動物体の画像の移動方向が、移動体の方向から見た場合の実際の移動物体の移動方向に対応するように、画像処理を行う(ステップS318)。言い換えると、画像処理部360は、移動体からの視点から、あたかも障害物及び車両が存在しない状態で、移動物体が移動して見える画像が生成されるように、画像処理を行う。ここで、画像処理部360は、移動物体の画像を示すインフラセンサ情報を用いて画像処理を行ってもよい。あるいは、画像処理部360は、コンピュータグラフィックスによって、抽象的画像を生成してもよい。詳しくは後述する。
そして、死角情報生成部170は、画像処理部360によって画像処理が施された死角情報を生成する(ステップS340)。そして、表示制御部180は、上述した実施の形態と同様に、死角情報を車両20に設けられた表示装置24に表示させるように制御を行う(ステップS342)。
図11及び図12は、実施の形態3にかかる、インフラセンサ情報を用いた画像処理の方法を説明するための図である。図11は、インフラセンサ情報で示されるインフラセンサ画像ImIを例示する図である。ここで、図11に示したインフラセンサ画像ImIは、図8に例示したインフラセンサ10の視点から、インフラセンサ10が移動物体70を撮影して得られた画像に対応する。また、図12は、後述する画像処理が施された表示画像ImD1を例示する図である。
インフラセンサ画像ImIにおいて、移動物体70の画像である移動物体画像70Imの移動方向は、矢印Dim1で示すように、左方向である。これに対し、上述したように、移動体80が車両20の後方に位置している場合の、移動体80の視点から見た実際の移動物体70の移動方向は、右方向である。したがって、インフラセンサ画像ImIにおける移動物体画像70Imの移動方向は、移動体80が車両20の後方に位置している場合の移動体80の視点から見た実際の移動物体70の移動方向とは、逆方向である。
ここで、インフラセンサ10が死角領域に存在する移動物体を撮影可能な視点は、障害物に対して車両20とは反対側にあることが多い。この場合、インフラセンサ10の視点から見たときの移動物体の移動方向は、車両20及び障害物に対してインフラセンサ10とは反対側の視点から見たときの移動物体の移動方向とは逆方向となることがある。図8の例では、インフラセンサ10が、死角領域Ba1を撮影可能な視点から移動物体70を撮影し、移動体80が、車両20及び障害物(静止物体60)に対してインフラセンサ10とは反対側に位置している。この場合、インフラセンサ画像ImIにおける移動物体画像70Imの移動方向は、移動体80の視点から見た移動物体70の移動方向とは逆方向となる。
このような場合、画像処理部360は、図12に示すように、インフラセンサ画像ImIから移動物体画像70Imを抽出して左右反転するような画像処理を行って、表示画像ImD1を生成する。ここで、左右反転された移動物体画像70Imは、表示画像ImD1において、矢印Dim2で示すように、右方向に移動する。したがって、表示画像ImD1における移動物体画像70Imの移動方向は、車両20の後方に位置している移動体80の視点から見た移動物体70の移動方向と対応することとなる。なお、画像処理部360は、インフラセンサ画像ImIから移動物体画像70Imを抽出せずに、単にインフラセンサ画像ImIを左右反転してもよい。また、画像処理部360は、遠近法を考慮して、移動物体が存在する位置に応じて移動物体画像70Imの大きさを変更してもよい。つまり、画像処理部360は、移動物体と移動体(又は車両20)との間の実際の距離が大きいほど、表示される移動物体画像70Imの大きさを小さくしてもよい。
さらに、画像処理部360は、車両20及び障害物(静止物体60)がない状態で移動体80の視点から移動物体70の方を見たときの3次元画像を、ダイナミックマップから取得してもよい。そして、画像処理部360は、取得された3次元画像に、左右反転された移動物体画像70Imを重畳することによって、表示画像ImD1を生成してもよい。なお、表示画像ImD1は、実際には、移動体80から視認可能な表示装置24Bに表示される。したがって、画像処理部360は、表示装置24Bからの視点からの3次元画像に、左右反転された移動物体画像70Imを重畳してもよい。その際に、画像処理部360は、遠近法を考慮して、移動物体が存在する位置に応じて移動物体画像70Imの大きさを変更してもよい。このようにして画像処理が行われて生成された表示画像は、車両20の後方に設置された表示装置24Bに表示される。
図13は、実施の形態3にかかる、コンピュータグラフィックスによる画像処理の方法を説明するための図である。上述したように、図8の例において、移動体80が車両20の右側面の近傍に位置している場合、移動体80の視点から見た場合の移動物体の移動方向は、接近する方向に対応する。ここで、ある視点に向かって移動物体が接近する場合、その視点からは、移動物体が、徐々に大きくなるように見える。さらに、その視点に対して、移動物体は、当該移動物体の前側を向けていることが多い。このような場合、図11及び図12を用いて説明したインフラセンサ画像の移動物体画像を反転する方法では、移動体からの視点に対応するような表示画像が適切に生成されない可能性がある。
このような場合、画像処理部360は、コンピュータグラフィックスによって、移動物体70に対応する抽象的画像72Imを生成する。抽象的画像72Imは、移動物体70が正面を向いた画像に対応する。なお、抽象的画像72Imは、移動物体の種別(歩行者又は自転車等)に対応付けて予め準備されたものであってもよいし、移動物体70の特徴に類似するものであってもよい。そして、画像処理部360は、時間の経過とともに、表示画像ImD2における抽象的画像72Imが大きくなるように、画像処理を行う。つまり、画像処理部360は、抽象的画像72Imを、移動体80の視点から移動物体70を見たときの実際の動きに合わせて動作させるように、画像処理を行う。その際に、図12の例と同様に、画像処理部360は、車両20及び障害物(静止物体60)がない状態で、移動体80の視点から移動物体70の方を見たときの3次元画像を、ダイナミックマップから取得してもよい。そして、画像処理部360は、取得された3次元画像に、抽象的画像72Imを重畳することによって、表示画像ImD2を生成してもよい。また、画像処理部360は、抽象的画像72Imが歩行動作に対応する動作をするように、画像処理を行ってもよい。
図13の例において、表示画像が、表示画像ImD2-1、表示画像ImD2-2及び表示画像ImD2-3の順で、表示されるとする。この場合、図13に例示するように、表示画像ImD2-2における抽象的画像72Imの大きさは、表示画像ImD2-1における抽象的画像72Imの大きさよりも大きい。そして、表示画像ImD2-3における抽象的画像72Imの大きさは、表示画像ImD2-2における抽象的画像72Imの大きさよりも大きい。したがって、表示画像ImD2における抽象的画像72Imの移動方向は、表示画像ImD2において奥側から手前側に向かう方向、つまり接近する方向に対応することとなる。したがって、表示画像ImD2における抽象的画像72Imの移動方向は、図8の例において、車両20の右側面に位置している移動体80の視点から見た移動物体70の移動方向と対応することとなる。そして、表示画像ImD2は、車両20の右側面に設置された表示装置24Cに表示される。
なお、図11及び図12を用いて説明した例では、画像処理部360は、移動体の視点から見た移動物体の移動方向が、インフラセンサ画像における移動物体の画像の移動方向と逆方向である場合に、インフラセンサ10から得られた移動物体の画像を左右反転するような画像処理を行うとした。しかしながら、このような構成に限られない。画像処理部360は、移動体の視点から見た移動物体の移動方向が、インフラセンサ画像における移動物体の画像の移動方向と逆方向である場合に、移動物体70に対応する抽象的画像72Imを生成してもよい。そして、画像処理部360は、移動体の視点から見た移動物体の移動方向に、抽象的画像72Imが移動するように、画像処理を行うようにしてもよい。このような構成は、インフラセンサ情報が画像を示していない場合に、特に有効である。
また、図13を用いて説明した例では、画像処理部360は、移動体の視点から見た移動物体の移動方向が、接近する方向である場合に、移動物体70に対応する抽象的画像72Imを生成するとした。しかしながら、このような構成に限られない。画像処理部360は、インフラセンサ画像における移動物体の画像を解析して、移動物体の正面の画像を生成するように、画像処理を行ってもよい。そして、画像処理部360は、インフラセンサ画像から生成された移動物体の正面の画像が、時間の経過とともに徐々に大きくなるように、画像処理を行ってもよい。
実施の形態3にかかる表示制御システム1は、死角情報が車両の表面に表示される際に、移動物体の画像の移動方向が、移動体の視点から実際の移動物体を見たと仮定した場合の実際の移動物体の移動方向に対応するように画像処理を行うように構成されている。これにより、インフラセンサ情報に示された移動物体の画像をそのまま表示する場合と比較して、死角情報が車両の表面に表示される際の移動物体の画像の移動方向を、より適切な方向とすることが可能となる。
ここで、図11及び図12の例では、インフラセンサ画像における移動物体の画像の移動方向は、移動体の視点からの移動物体の実際の移動方向とは逆方向である。この場合、インフラセンサ画像をそのまま表示させてしまうと、移動体の運転者等は、移動物体が移動体と衝突しない方向に移動していると誤認する可能性がある。この場合、車両20の表示装置24に死角情報を表示させても、移動体の運転者等に対して、移動体が移動物体に衝突する可能性があることを適切に警告できない可能性がある。これに対し、実施の形態3では、表示装置24に表示される死角情報では、移動物体の画像の移動方向が、移動体の視点から見た場合の実際の移動物体の移動方向に対応している。したがって、移動体の運転者等にとってより臨場感のある画像を、車両20の表面に表示させることができる。したがって、より効果的に、移動体が移動物体に衝突する可能性があることを警告することが可能となる。
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4においては、車両20が表示装置24を有しない点で、上述した他の実施の形態と異なる。
図14は、実施の形態4にかかる表示制御システム1を示す図である。実施の形態4にかかる表示制御システム1は、管理装置50と、複数のインフラセンサ10と、複数の表示装置16と、車両20とを有する。ここで、上述した実施の形態と異なり、車両20には、車両センサ、表示装置及び車両装置が設けられていなくてもよい。したがって、車両20は、管理装置50等と通信可能に接続されていなくてもよい。なお、管理装置50及びインフラセンサ10の構成は、上述した実施の形態のものと実質的に同様であるので、適宜、説明を省略する。
また、実施の形態4にかかる表示制御システム1の構成要素については、図8に示したものと実質的に同様であるので、適宜、説明を省略する。ここで、実施の形態4にかかる表示制御システム1の構成要素は、管理装置50の情報処理装置100によって実現され得る。また、実施の形態4にかかる表示制御システム1は、車両センサ情報取得部を有さなくてもよい。
表示装置16は、互いに異なる位置に配置されている。例えば、表示装置16は、道路の周辺に設置されている。また、例えば、表示装置16は、道路の近傍に、50m~100mの間隔で設置されてもよい。表示装置16は、管理装置50と有線又は無線を介して通信可能に接続されている。なお、表示装置16は、インフラセンサ10と有線又は無線を介して通信可能に接続されていてもよい。
表示装置16は、例えばプロジェクタ等の投影装置である。表示装置16は、物体に向かって映像を投影することによって、その物体の表面に映像を表示する。特に、表示装置16は、付近の車両20に向かって映像を投影することによって、その車両20の表面に映像を表示する。また、表示装置16は、付近の投影目標の物体に向かって映像を投影するために、投影方向(仰角及び方位角等)を変更することができる。例えば、表示装置16は、管理装置50からの制御によって、投影方向を調整することができる。
図15は、実施の形態4にかかる表示制御システム1によって実行される表示制御方法を示すフローチャートである。インフラセンサ情報取得部114は、上述した実施の形態と同様に、インフラセンサ情報を取得する(ステップS410)。地図情報管理部118は、上述した実施の形態と同様に、インフラセンサ情報に示された物体を、ダイナミックマップにマッピングする(ステップS414)。
障害物判定部120は、車両20の周辺に障害物が存在するか否かを判定する(ステップS416)。ここで、実施の形態4では、障害物判定部120は、車両センサ情報を用いないで、障害物を判定する。障害物判定部120は、インフラセンサ情報を用いて車両20の位置がマッピングされたダイナミックマップにおいて、車両センサ22からの距離が予め定められた閾値以下の静止物体を判定してもよい。つまり、実施の形態4では、インフラセンサ10を用いて、障害物の有無が判定され得る。なお、上述したように、この閾値は、静止物体の大きさに応じて異なっていてもよい。つまり、閾値は、静止物体の大きさが大きいほど長くなるように設定されてもよい。
車両20の周辺に障害物が存在しないと判定された場合(S416のNO)、表示制御部180は、死角情報を車両20に表示させないと決定してもよい(ステップS418)。一方、車両20の周辺に障害物が存在すると判定された場合(S416のYES)、移動物体判定部130は、上述した実施の形態と同様に、死角領域に移動物体が存在するか否かを判定する(ステップS420)。
上述したように、移動物体判定部130は、車両20の視点から見たときに、障害物によって遮蔽される領域を、死角領域として算出する。ここで、実施の形態4においても、移動物体判定部130は、ダイナミックマップを用いて、死角領域を算出してもよい。移動物体判定部130は、ダイナミックマップに死角領域をマッピングする。
ここで、実施の形態4では、移動物体判定部130は、障害物に対して車両20とは反対側の領域を、死角領域と算出してもよい。あるいは、移動物体判定部130は、車両20のある視点から見たときに障害物により遮蔽される領域を、死角領域と算出してもよい。この場合、移動物体判定部130は、車両20において障害物に最も近い点から見たときに障害物により遮蔽される領域を、死角領域と算出してもよい。あるいは、移動物体判定部130は、車両20の運転席の視点から見たときに障害物により遮蔽される領域を、死角領域と算出してもよい。
そして、実施の形態1等と同様に、移動物体判定部130は、ダイナミックマップにマッピングされた死角領域に、歩行者又は自転車等の移動物体がマッピングされているか否かを判定する。死角領域に移動物体がマッピングされている場合、移動物体判定部130は、死角領域に移動物体が存在すると判定する。
死角領域に移動物体が存在しないと判定された場合(S420のNO)、表示制御部180は、死角情報を車両20に表示させないと判定する(ステップS418)。一方、死角領域に移動物体が存在すると判定された場合(S420のYES)、移動体と移動物体との衝突可能性が判定される。
移動体検出部140は、車両20の周辺を走行する移動体を検出する(ステップS424)。ここで、実施の形態4では、移動体検出部140は、車両センサ情報を用いないで、移動体を検出する。移動体検出部140は、インフラセンサ情報を用いて、車両20の周辺を走行する移動体を検出する。そして、移動体検出部140は、移動体検出部140は、ダイナミックマップを用いて、移動体を検出してもよい。移動体検出部140は、インフラセンサ情報を用いて移動体がマッピングされたダイナミックマップ上における、車両20に対する移動体の位置及び移動方向を検出する。
衝突可能性判定部246は、上述したように、車両20の周辺を走行する移動体と死角領域に存在する移動物体とが衝突する可能性があるか否かを判定する(ステップS426)。移動体と移動物体とが衝突する可能性がないと判定された場合(S426のNO)、表示制御部180は、死角情報を車両20に表示させないと判定する(S418)。
一方、移動体と移動物体とが衝突する可能性があると判定された場合(S426のYES)、表示制御部180は、死角情報を車両20に表示させると判定する。この場合、表示位置決定部150は、実施の形態1等と同様に、検出された移動体の位置に応じて、車両20の表面において情報を表示する表示位置を決定する(ステップS432)。ここで、実施の形態4では、車両20に表示装置が設けられていないので、表示位置決定部150は、死角情報を投影させる車両20の面を決定する。
なお、表示位置決定部150は、表示位置に対応する面に死角情報の映像を投影可能な表示装置16を決定してもよい。例えば、表示位置決定部150は、ダイナミックマップを用いて、表示位置に対応する面に映像を投影する表示装置16を決定してもよい。例えば、表示位置決定部150は、表示位置に対応する面に最も近く、かつ、表示位置に対応する面との間に物体がない表示装置16を、表示位置に対応する面に映像を投影する表示装置16であると決定してもよい。なお、表示装置16の決定は、表示制御部180が行ってもよい。
画像処理部360は、車両20に投影させる画像を生成するための画像処理を行う(ステップS434)。具体的には、画像処理部360は、上述した図10のS314~S318の処理を行う。これにより、車両20の表面に投影される死角情報を生成するための画像処理が行われる。詳しくは後述する。なお、表示位置に対応する面が複数(例えば2つ)ある場合は、画像処理部360は、その複数の面で構成される形状を考慮して、それらの面に投影される映像に関する画像処理を行ってもよい。その際に、画像処理部360は、プロジェクションマッピングの技法を使用して、画像処理を行ってもよい。なお、複数の面で構成される形状は、その面を検出したインフラセンサ10によるインフラセンサ情報を用いて、認識可能である。また、ダイナミックマップに、車両20の3次元形状がマッピングされている場合は、そのダイナミックマップを用いて、複数の面で構成される形状を認識することができる。
そして、死角情報生成部170は、画像処理部360によって画像処理が施された死角情報を生成する(ステップS440)。そして、表示制御部180は、死角情報を車両20の面に表示させるように制御を行う(ステップS442)。具体的には、表示制御部180は、死角情報を投影すると決定された表示装置16を制御して、表示位置に対応する面に、死角情報に対応する映像を投影(表示)させる。つまり、表示制御部180は、その表示装置16に死角情報を送信して、表示位置に対応する面に死角情報に対応する映像を投影(表示)させる。その際に、表示制御部180は、表示位置に対応する面に表示装置16の投影方向が向くように、表示装置16を制御する。
図16は、実施の形態4にかかる表示制御システム1によって実行される処理を説明するための図である。図16は、実施の形態4にかかる、車両20と、静止物体60(障害物)と、移動物体70と、移動体80との相対的な位置関係を、例示している。また、図16は、実施の形態4にかかる、車両20と、静止物体60と、移動物体70と、移動体80とがマッピングされたダイナミックマップを例示していると言える。なお、以下、主に、図8との相違点について説明する。ここで、車両20と、静止物体60と、移動物体70と、移動体80との相対的な位置関係については、実施の形態1等の場合と実質的に同様である。
上述したように、車両20には、車両センサ22及び表示装置24が設けられていない。そして、車両20は、左側面20aと、後面20bと、右側面20cと、前面20dとによって、周囲を囲まれるような形状を有している。
道路の左側の路側には、インフラセンサ10Aが設置されている。インフラセンサ10Aは、左側の路側から道路の方を検出(センシング、撮影)する。また、道路の右側の路側には、インフラセンサ10Bが設置されている。インフラセンサ10Bは、右側の路側から道路の方を検出(センシング、撮影)する。また、道路の右側の路側には、表示装置16が設置されている。表示装置16は、車両20の右後方の位置に設置されている。インフラセンサ10A,10B及び表示装置16は、管理装置50と通信可能に接続されている。
ここで、車両20は、インフラセンサ10A,10Bによって検出され得る。また、静止物体60は、少なくともインフラセンサ10Aによって検出され得る。また、移動物体70は、少なくともインフラセンサ10Aによって検出され得る。また、移動体80は、インフラセンサ10Bによって検出され得る。
インフラセンサ情報取得部114は、車両20、静止物体60、移動物体70及び移動体80が示されたインフラセンサ情報を取得する(S410)。また、地図情報管理部118は、インフラセンサ10から取得されたインフラセンサ情報を用いて、ダイナミックマップを更新する(S414)。したがって、地図情報管理部118は、図16に例示した各物体を、ダイナミックマップにマッピングする。そして、地図情報管理部118は、図16に例示した各物体の位置関係を認識する。
また、障害物判定部120は、静止物体60を、障害物と判定する(S416のYES)。また、移動物体判定部130は、例えばダイナミックマップを用いて、車両20において静止物体60(障害物)に近い点である視点V1から見たときに、静止物体60(障害物)によって遮蔽される死角領域Ba1を算出する。そして、移動物体判定部130は、例えばダイナミックマップを用いて、死角領域Ba1に移動物体70が存在すると判定する(S420のYES)。
また、移動体検出部140は、移動体80が、車両20の後方から車両20の右側面の側に向かって走行していることを検出する(S426)。衝突可能性判定部246は、移動体80と移動物体70とが衝突する可能性があると判定する(S226のYES)。表示位置決定部150は、移動体80の位置に応じて、移動体80から視認し得る位置にある、車両20の後面20b及び右側面20cに、死角情報を表示すると決定する(S432)。その際に、表示位置決定部150は、車両20の後面20b及び右側面20cの近傍に設置された表示装置16に、死角情報を投影させると決定する。
画像処理部360は、画像処理によって、車両20の後面20b及び右側面20cに表示させる画像を生成する(S434)。ここで、画像処理部360は、図11及び図12を用いて説明したように、インフラセンサ10Aによって取得されたインフラセンサ画像から、移動物体70を撮影した画像である移動物体画像を抽出してもよい。そして、画像処理部360は、抽出された移動物体画像を用いて、上述したような画像処理を行ってもよい。あるいは、画像処理部360は、図13を用いて説明したように、コンピュータグラフィックスによって、移動物体70に対応する抽象的画像を、移動体80の視点から移動物体70を見たときの実際の動きに合わせて動作させるように、画像処理を行ってもよい。また、画像処理部360は、車両20及び障害物(静止物体60)がない状態で、移動体80の視点から移動物体70の方を見たときの3次元画像を、ダイナミックマップから取得してもよい。そして、画像処理部360は、取得された3次元画像に、抽出された移動物体画像又は抽象的画像を重畳することによって、表示画像を生成してもよい。
なお、画像処理部360は、車両20の後面20b及び右側面20cで構成される形状を考慮して、プロジェクションマッピングの技法を用いて、画像処理を行ってもよい。この場合、画像処理部360は、後面20b及び右側面20cで構成される形状を考慮して、あたかも車両20及び障害物(静止物体60)が存在しないかのような映像が投影されるように、画像処理を行ってもよい。
そして、表示制御部180は、表示装置16に、上記の画像処理が施された死角情報を送信する。そして、表示制御部180の制御により、表示装置16は、車両20の後面20b及び右側面20cに、死角情報に対応する映像を投影(表示)する。
実施の形態4にかかる表示制御システム1では、車両20の外部に設置された投影装置(表示装置16)が、車両20の表面に死角情報を投影するように構成されている。このような構成により、車両20に表示装置が設けられていない場合であっても、車両20の表面に死角情報を表示させることが可能となる。また、表示装置が設置された車両20の面の全体の面積は、その表示装置の面積よりも大きい可能性が高い。そして、実施の形態4では、車両20のある面の全体に、死角情報を表示させることができる。したがって、上述した実施の形態と比較して、移動体から見やすい大きな画像を表示させることが可能となる。
ここで、実施の形態3では、車両20に設けられた各表示装置24に異なる画像が表示され得る。したがって、実施の形態3では、複数の表示装置24に画像が表示される場合、それらの画像の空間的なつながりは考慮されていない可能性がある。また、上述したように、車両20に設置された表示装置24の面積は、その設置された車両20の面の全体の面積と比較すると小さい可能性がある。したがって、車両20の隣り合う2つの面にそれぞれ設置された表示装置24は、互いに接していない可能性がある。例えば、図8の例で、車両20の、右後部の角を挟んで互いに隣り合う後面及び右側面にそれぞれ設置された表示装置24B及び表示装置24Cは、互いに接していない可能性がある。以上のことから、例えば移動体の視点から2つの表示装置24を同時に見たときに、それら2つの表示装置24に互いに物理的につながりのない画像が表示されているように見える可能性がある。また、上述したように表示装置24の大きさはそれほど大きくないので、移動体の視点からでは、表示装置24に表示された画像が見辛い可能性がある。
これに対し、実施の形態4にかかる表示制御システム1は、車両20の複数の面に画像を表示させる際に、複数の面にわたって1つの同じ映像を投影することができる。したがって、上述した実施の形態の場合と比較して、車両20のより広い範囲に、1つの画像を表示させることができる。これにより、移動体の運転者等にとってさらに臨場感のある画像を、車両20の表面に表示させることができる。したがって、上述した実施の形態よりもさらに効果的に、移動体が移動物体に衝突する可能性があることを警告することが可能となる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した複数の実施の形態のそれぞれは、互いに適用可能である。例えば、上述した実施の形態3は、実施の形態2を修正したように記載されているが、実施の形態3の構成は、実施の形態1に適用されてもよい。また、上述した実施の形態4は、実施の形態3を修正したように記載されているが、実施の形態4の構成は、実施の形態1又は実施の形態2に適用されてもよい。
また、上述したフローチャートの各ステップの順序は、適宜、変更可能である。また、フローチャートの各ステップの1つ以上は、省略されてもよい。例えば、図4において、S110及びS112の処理の順序は、逆であってもよい。また、図4において、S112の処理は、省略されてもよい。つまり、実施の形態1において、車両センサ22は必須の構成ではない。この場合、S118の処理の代わりに、S122の処理が行われてもよい。
また、上述した実施の形態では、死角情報を車両20の表面(外面)に表示させるとしたが、このような構成に限られない。車両20の内部に死角情報を表示させてもよい。例えば、車両20の運転席から視認可能なディスプレイに、死角情報を表示させてもよい。これにより、死角情報を、車両20の運転者等が把握することができる。
また、実施の形態4では、車両20に車両センサが設けられていないとしたが、このような構成に限られない。車両20に車両センサ22が設けられている場合であっても、車両20の外部に設けられた投影装置(表示装置16)によって、車両20の表面に死角情報を表示させてもよい。この場合、図15に示したフローチャートにおいて、車両センサ情報を取得する処理があってもよい。また、この場合、図15のフローチャートにおいて、S434以前の処理は、実施の形態2にかかる処理(図7のS210~S232)と実質的に同様であってもよい。
また、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 表示制御システム
2 ネットワーク
10 インフラセンサ
16 表示装置
20 車両
22 車両センサ
24 表示装置
30 車両装置
50 管理装置
60 静止物体
70 移動物体
80 移動体
100 情報処理装置
112 地図情報格納部
114 インフラセンサ情報取得部
116 車両センサ情報取得部
118 地図情報管理部
120 障害物判定部
130 移動物体判定部
140 移動体検出部
150 表示位置決定部
170 死角情報生成部
180 表示制御部
246 衝突可能性判定部
360 画像処理部

Claims (9)

  1. 道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得するインフラセンサ情報取得部と、
    前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成する死角情報生成部と、
    前記死角情報が前記車両に表示されるように制御を行う表示制御部と、
    を有する表示制御システム。
  2. 前記車両に搭載された車両センサから見たときの前記障害物が前記車両の周辺に存在するか否かを判定する障害物判定部、
    をさらに有し、
    前記表示制御部は、前記車両の周辺に前記障害物が存在すると判定された場合に、前記死角情報が前記車両に表示されるように制御を行う、
    請求項1に記載の表示制御システム。
  3. 前記表示制御部は、前記車両の周辺に前記障害物が存在しないと判定された場合に、前記車両センサによって検出された情報である車両センサ情報が前記車両に表示されるように制御を行う、
    請求項2に記載の表示制御システム。
  4. 前記車両の周辺を走行する移動体を検出する移動体検出部と、
    検出された前記移動体の位置に応じて、前記車両の表面において情報が表示される表示位置を決定する表示位置決定部と、
    をさらに有し、
    前記表示制御部は、決定された前記表示位置に、情報が表示されるように制御を行う、
    請求項1から3のいずれか1項に記載の表示制御システム。
  5. 前記表示制御部は、前記死角領域に移動物体が存在すると判定される場合に、前記死角情報が前記車両の表面に表示されるように制御を行う、
    請求項1から4のいずれか1項に記載の表示制御システム。
  6. 前記表示制御部は、前記車両の周辺を走行する移動体と前記死角領域に存在する移動物体とが衝突する可能性があると判定される場合に、前記死角情報が前記車両の表面に表示されるように制御を行う、
    請求項1から4のいずれか1項に記載の表示制御システム。
  7. 前記死角情報は、前記死角領域に存在する前記移動物体の画像を含み、
    前記死角情報生成部は、前記死角情報が前記車両の表面に表示される際に、前記移動物体の画像の移動方向が、前記車両の周辺を走行する移動体の視点から実際の前記移動物体を見たと仮定した場合の実際の前記移動物体の移動方向に対応するように画像処理が施された、前記死角情報を生成し、
    前記表示制御部は、前記画像処理が施された前記死角情報が、前記車両の表面に表示されるように制御を行う、
    請求項5又は6に記載の表示制御システム。
  8. 道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得し、
    前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成し、
    前記死角情報が前記車両に表示されるように制御を行う、
    表示制御方法。
  9. 道路の周辺に設けられたインフラセンサが前記道路にある車両の周辺を検出することによって得られたインフラセンサ情報を取得するステップと、
    前記インフラセンサ情報に基づいて、前記車両から見たときに障害物により死角となる死角領域に関する死角情報を生成するステップと、
    前記死角情報が前記車両に表示されるように制御を行うステップと、
    をコンピュータに実行させるプログラム。
JP2021065591A 2021-04-08 2021-04-08 表示制御システム、表示制御方法及びプログラム Active JP7552484B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021065591A JP7552484B2 (ja) 2021-04-08 2021-04-08 表示制御システム、表示制御方法及びプログラム
CN202210306317.2A CN115195602A (zh) 2021-04-08 2022-03-25 显示控制系统、显示控制方法以及非临时性存储介质
US17/708,610 US20220324387A1 (en) 2021-04-08 2022-03-30 Display control system, display control method, and non-transitory storage medium
EP22165416.3A EP4071741A1 (en) 2021-04-08 2022-03-30 Display control system, display control method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021065591A JP7552484B2 (ja) 2021-04-08 2021-04-08 表示制御システム、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022161066A true JP2022161066A (ja) 2022-10-21
JP7552484B2 JP7552484B2 (ja) 2024-09-18

Family

ID=80999650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021065591A Active JP7552484B2 (ja) 2021-04-08 2021-04-08 表示制御システム、表示制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20220324387A1 (ja)
EP (1) EP4071741A1 (ja)
JP (1) JP7552484B2 (ja)
CN (1) CN115195602A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7517252B2 (ja) * 2021-06-04 2024-07-17 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087188A (ja) 2000-09-18 2002-03-26 Toshiba Corp 交通安全支援装置
JP5208203B2 (ja) * 2008-03-27 2013-06-12 パナソニック株式会社 死角表示装置
JP2013541915A (ja) * 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
US20150180178A1 (en) * 2013-12-20 2015-06-25 Jac Products, Inc. Fastener Assembly For Use With Vehicle Article Carrier
JP6318864B2 (ja) * 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
GB2538572B (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
JP6371329B2 (ja) * 2016-05-16 2018-08-08 トヨタ自動車株式会社 車両の運転支援制御装置
EP3496033A4 (en) * 2016-10-07 2019-10-23 Aisin Aw Co., Ltd. DISPLACEMENT ASSISTING DEVICE AND COMPUTER PROGRAM
JP6699615B2 (ja) * 2017-04-06 2020-05-27 トヨタ自動車株式会社 燃料電池車両
JP2019202589A (ja) 2018-05-22 2019-11-28 日本精機株式会社 表示装置
IT201800009792A1 (it) * 2018-10-25 2020-04-25 Ambarella Inc Obstacle detection in vehicle using wide angle camera and radar sensor fusion

Also Published As

Publication number Publication date
CN115195602A (zh) 2022-10-18
US20220324387A1 (en) 2022-10-13
JP7552484B2 (ja) 2024-09-18
EP4071741A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
US9672446B1 (en) Object detection for an autonomous vehicle
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
CN113841100A (zh) 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法
US12033338B2 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation
US12046049B2 (en) Automatically detecting traffic signals using sensor data
JP2019519051A (ja) 知的照明システム、照明デバイス、車両、車載端末、車両運転支援システム及び車両運転支援方法
KR102415620B1 (ko) 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템
JP7552484B2 (ja) 表示制御システム、表示制御方法及びプログラム
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
US12026956B1 (en) Object bounding contours based on image data
WO2023021755A1 (ja) 情報処理装置、情報処理システム、モデル及びモデルの生成方法
CN114842455A (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN114527735A (zh) 用于控制自动驾驶车辆的方法和装置、车辆及存储介质
US20240127603A1 (en) Unified framework and tooling for lane boundary annotation
TW202020733A (zh) 移動載具全周障礙迴避之方法
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20240265707A1 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
WO2024214409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023248613A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240317222A1 (en) Systems and methods for high precision lane-keeping by autonomous vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240819

R150 Certificate of patent or registration of utility model

Ref document number: 7552484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150