JP2021162602A - 表示制御装置、表示制御システム、及び表示制御方法 - Google Patents

表示制御装置、表示制御システム、及び表示制御方法 Download PDF

Info

Publication number
JP2021162602A
JP2021162602A JP2020060560A JP2020060560A JP2021162602A JP 2021162602 A JP2021162602 A JP 2021162602A JP 2020060560 A JP2020060560 A JP 2020060560A JP 2020060560 A JP2020060560 A JP 2020060560A JP 2021162602 A JP2021162602 A JP 2021162602A
Authority
JP
Japan
Prior art keywords
display
display control
image
guest
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020060560A
Other languages
English (en)
Inventor
将仁 大石
Masahito Oishi
忠宏 打越
Tadahiro Uchikoshi
耕司郎 小野
Koshiro Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020060560A priority Critical patent/JP2021162602A/ja
Priority to PCT/JP2021/012217 priority patent/WO2021200467A1/ja
Priority to DE112021002044.7T priority patent/DE112021002044T5/de
Publication of JP2021162602A publication Critical patent/JP2021162602A/ja
Priority to US17/953,730 priority patent/US20230012768A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/182Distributing information between displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45579I/O management, e.g. providing access to device drivers or storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45591Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の表示装置による画像の表示の安定性を向上させることができる。【解決手段】報知制御装置50は、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、第1OS及び第2OSの実行を制御するハイパーバイザ70と、を備える。【選択図】図2

Description

本開示は、表示制御装置、表示制御システム、及び表示制御方法に関する。
特許文献1には、車両に設けられる複数の表示装置のうち、運転者の視線方向に設けられた表示装置に、車両周辺に存在する物体を運転者に知らせるための注意喚起画像を表示させる技術が開示される。
特開2016−91055号公報
しかしながらこの種の従来技術は、1つのOS(Operating System)だけを用いてナビゲーション装置、電子ミラーなどの複数の表示装置を制御する。そのため、例えば、制御時において複数の表示装置全てによる画像の表示が同時に不安定になる虞がある。
本開示の非限定的な実施例は、複数の表示装置による画像の表示の安定性を向上させることが可能な、表示制御装置、表示制御システム、及び表示制御方法の提供に資する。
本開示の一実施例に係る表示制御装置は、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、を備える。
本開示の一実施例に係る表示制御装置システムは、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、を備える。
本開示の一実施例に係る表示制御方法は、表示制御装置において実行される表示制御方法であって、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を第1OSが制御するステップと、前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を第2OSが制御するステップと、プロセッサ上で実行されるハイパーバイザが前記第1OS及び前記第2OSの実行を制御するステップと、を含む。
本開示の一実施例によれば、複数の表示装置による画像の表示の安定性を向上させることができる表示制御装置、表示制御システム、及び表示制御方法を構築できる。
本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び/又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、1つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の実施の形態に係る表示制御システム100の構成例を示す図 本開示の実施の形態に係る表示制御システム100の構成例を説明するための図 ハードウェア上にハイパーバイザのレイヤを構築し、その上に2つのゲストOSのレイヤを構築する例を示す図 ハードウェア上にホストOSを構築し、その上にハイパーバイザを構築する例を示す図 この場合における表示制御システム100の動作を説明するためのシーケンスチャート 表示装置30AのゲストOS30A1に障害が発生したときの表示制御システム100の動作を説明するための図 図6における動作を説明するためのシーケンスチャート 表示装置30AのゲストOS30A1に障害が発生したときの表示制御システム100の動作を説明するための図 図8における動作を説明するためのシーケンスチャート ハイパーバイザ70が各ゲストOSを監視する場合における表示制御システム100の動作例を説明するためのシーケンスチャート 当該監視ゲストOS90が各ゲストOSの状態を監視する場合における表示制御システム100の動作例を説明するためのシーケンスチャート 表示制御システム100において各ゲストOSがそれぞれ互いの状態を監視する場合の動作例を示すシーケンスチャート
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(実施の形態)
まず、本開示に係る実施形態を創作するに至った背景について説明する。公知技術(例えば特許文献1に記載の技術など)では、1つのOSだけを用いて、例えば1以上のナビゲーション装置及び1以上の電子ミラーなどの複数の表示装置を制御する。そのため、例えば、制御時において複数の表示装置全てによる画像の表示が同時に不安定になる虞がある。例えば、注意喚起画像が表示されるナビゲーション装置に対応するソフトウェアに障害が生じてナビゲーション装置の制御が不能になった場合、障害がOSに波及したり、又は、他のソフトウェアに波及することにより、共倒れ的に他の表示装置(例えば、車載メータパネル又は電子ミラーなど)に対する制御が不能になる虞がある。そこで、複数の表示装置それぞれによる表示の安定性を向上可能であることが望まれる。以下、本開示に係る実施形態について説明する。
図1は本開示の実施の形態に係る表示制御システム100の構成例を示す図である。表示制御システム100は、例えば乗用車、貨物車、乗合車などの車両に搭載される。表示制御システム100は、車両の運転者の視線を逐次検出する視線検出装置10と、車両の周辺に存在する物体を監視する周辺監視装置20と、複数の表示装置30A〜30Cと、音声出力装置40と、報知制御装置50とを備える。以下では、複数の表示装置30A〜30Cを区別しない場合、「表示装置30」と称する。
(視線検出装置10の構成)
視線検出装置10は、本開示に係る第1検出装置の一例である。視線検出装置10は、車両の運転者の視線方向を検出することが可能である。図1に示すように、視線検出装置10は、例えば、画像撮影部11、画像処理部12、視線検出部13、及び視線情報出力部14を備える。
画像撮影部11は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両内部を撮像する内部撮像部である。画像撮影部11は、運転者の顔を撮影可能な位置に設けられ、運転者の顔を含む画像を撮影し、撮影した画像の内容を表す情報である画像情報を画像処理部12に逐次出力する。
画像処理部12は、画像情報を入力すると、画像撮影部11で撮像された画像を二値化処理することにより二値画像を得る。画像処理部12は、二値画像の内容を示す情報である二値画像情報を視線検出部13に入力する。
視線検出部13は、二値画像情報に基づき視線を検出する。例えば、視線検出部13は、二値画像を解析することによって運転者の眼球領域を特定すると共に、眼球形状を立体視してその曲率から眼球中心座標を求める。視線検出部13は、眼球領域から黒目(瞳孔)領域を特定して黒目中心座標を求め、上記の眼球中心座標から黒目中心座標へと向かう方向を視線方向(視線ベクトル)として定める。視線検出部13は、眼球位置を始点として、当該始点から視線方向へ延びる直線を視線として特定し、特定した視線を示す情報である視線情報を視線情報出力部14に入力する。視線情報出力部14は、視線情報を報知制御装置50の情報入力部51に対して出力する。
(周辺監視装置20の構成)
周辺監視装置20は、本開示に係る第2検出装置の一例である。周辺監視装置20は、車両の周辺に存在する物体を検出することが可能である。図1に示すように、周辺監視装置20は、例えば、周辺映像撮影部21、画像処理部22、物体検出センサ23、対象物検出部25、及び検出情報出力部26を備える。
周辺映像撮影部21は、CCD、CMOSなどの撮像素子を備え、車両周辺の映像を撮像する全方向カメラ、パノラマカメラなどの外部撮像部である。以下では車両周辺の映像を、「周辺映像」と称する。周辺映像は、例えば、車両の前方の風景、車両の側方(車両の運転席ドア側又は車両の助手席ドア側)の風景、車両の後方の風景などである。風景には、例えば、車両が走行中の車道に存在する物体が含まれる。車道に存在する物体は、例えば、車両、建築物、工作物(広告、道路標識、信号機、電信柱など)、人、動物などである。
周辺映像撮影部21は、例えば、車外の風景を撮像できる位置に配置される。当該位置は、フロントグリル、サイドミラー、天井、リアバンパーなどである。周辺映像撮影部21は、撮影した周辺映像の内容を表す情報である周辺映像情報を画像処理部22に入力する。
画像処理部22は、周辺映像情報に基づき、車両周辺に存在する物体の中から、予め設定された検出対象の物体を検出するための画像処理を行う。以下では、予め設定された検出対象の物体を、「対象物」と称する。対象物は、例えば、乗用車、バイク、バス、タクシー、自転車、歩行者、動物などである。画像処理は、例えばエッジ検出処理などである。画像処理部22は、検出対象物の画像の内容を表す対象画像情報を対象物検出部25に入力する。
物体検出センサ23は、車両周辺に存在する物体の位置を検出するためのセンサであり、例えばソナーである。ソナーが例えば一定周波数のパルス状の音波を発振し、パルス状の音波が車両周辺の物体などに当たると反射し、パルス状の音波の一部がソナーに戻る。車両から物体までの距離が長くなるほど、ソナーからパルス状の音波が発振されてからその一部がソナーに戻るまでの時間が長くなる。この関係性を利用して、ソナーは、パルス状の音波を発振してから、物体で反射したエコーがソナーに戻るまでの往復時間を測定することにより、物体までの距離を推定し、推定した距離に基づき、車両を基準にした物体の位置を検出する。物体検出センサ23は、検出した物体の位置を示す情報である物体位置情報を対象物検出部25に入力する。
対象物検出部25は、対象画像情報と物体位置情報とに基づき、例えば次の様な判定を行う。
(1)対象物検出部25は、対象物検出情報に含まれる情報(先行車の方向、先行車までの距離などに関する情報)を用いることで、例えば検出対象の先行車の後端が、車両の前方に存在し、かつ、当該後端から車両の先端までの距離が相対速度に応じて変化する所定の値(例えば数m〜数十m)以上の場合、衝突リスク無し、と判定する。
(2)対象物検出部25は、対象物検出情報に含まれる情報を用いることで、例えば検出対象の先行車の後端が、車両の前方に存在し、かつ、上記の所定の値未満の場合、衝突リスク有り、と判定する。
このように対象物検出部25は、車両に衝突し得る対象物(先行車など)を検出し、車両に衝突し得る対象物を検出したことを示す情報である対象物検出情報を生成し、検出情報出力部26に入力する。検出情報出力部26は、対象物検出情報を報知制御装置50に対して出力する。対象物検出情報には、対象物が存在する方向を示す情報、車両から対象物までの距離を示す情報などが含まれる。
(報知制御装置50の構成)
報知制御装置50は、本開示に係る表示制御装置の一例である。報知制御装置50は、第1OSと、第2OSと、ハイパーバイザと、を備える。ここで、当該第1OSは、複数の表示装置30A〜30Cのうちの第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する。当該第2OSは、複数の表示装置30A〜30Cのうちの第2表示装置に表示される第2表示画像を生成する。また、ハイパーバイザは、プロセッサ上で実行され、当該第1OS及び当該第2OSの実行を制御する。
例えば、報知制御装置50は、まず、複数の表示装置30A〜30Cのうちの、車両の運転者の視線方向に存在する何れかの表示装置を、視線検出装置10による検出結果に基づいて特定する。そして、報知制御装置50に備えられている複数のOSのうちの、該当の表示装置に対応する少なくとも1つのOSは、周辺監視装置20による検出結果に基づいて、検出された物体の存在を運転者に知らせるための注意喚起画像を該当の表示装置に表示させる。当該複数のOSは、少なくとも上記第1OS及び上記第2OSを含む。
例えば、ハイパーバイザは、複数の表示装置30A〜30C間(又は、当初の表示装置だけ)において、当該注意喚起画像が当初の表示位置から、該当の物体の存在位置に対応する表示位置まで順次移動するように、少なくとも当初の表示装置に対応するOSを含む1以上のOSを制御する。
以下、このような報知制御装置50の機能構成の例についてより詳細に説明する。図1に示すように、報知制御装置50は、例えば、情報入力部51、記憶部52、表示画像特定部53、情報入力部54、注意喚起画像作成部55、及び画像情報出力部56を備える。ここで、情報入力部51、記憶部52、表示画像特定部53、情報入力部54、注意喚起画像作成部55、及び画像情報出力部56は、それぞれアプリケーションとして構成されてよい。また、注意喚起画像作成部55は、本開示に係る第1アプリケーション及び第2アプリケーションの一例である。また、報知制御装置50は、注意喚起画像作成部55を2つ以上備えてもよい。
情報入力部51は、視線情報出力部14が出力した視線情報を入力し、表示画像特定部53へ転送する。記憶部52は、座標データを記憶している。座標データは、複数の表示装置30のそれぞれの表示面の車両内における位置を表すデータである。
表示画像特定部53は、視線情報と座標データとに基づき、運転者の視線が向かう方向に存在する表示装置30を特定する。例えば、表示画像特定部53は、座標データを用いることで、例えば車載メータパネルの正面を基準位置として、運転者の視線上に存在する表示装置30を特定できる。表示画像特定部53は、特定した表示装置30の識別ID(Identifier)を画像情報出力部56に入力する。
なお、視線が、複数の表示装置30の何れの表示面とも交差しない場合、表示画像特定部53は、視線から最も近い位置に存在する表示装置30を、運転者の視線が向かう方向に存在する表示装置30として特定し、特定した表示装置30の識別IDを画像情報出力部56に入力するように構成してもよい。
また、表示画像特定部53は、空間データを参照することにより、運転者の視線が向かう小領域に存在する表示装置30を、運転者の視線が向かう方向に存在する表示装置30として特定するように構成してもよい。空間データは、運転者の前方空間を、複数の小領域に分割した車両内空間に関するデータである。空間データは、例えば、表示画像特定部53や記憶部52などに予め設定される。
情報入力部54は、検出情報出力部26が出力した対象物検出情報を入力し、注意喚起画像作成部55へ転送する。
注意喚起画像作成部55は、対象物検出情報に基づき注意喚起画像情報を生成し、画像情報出力部56に入力する。注意喚起画像情報は、衝突し得る対象物が車両周辺に存在することを、運転者に注意喚起するための画像を表す情報である。以下では注意喚起するための画像を、「注意喚起画像」と称する。注意喚起画像は、例えば「!」などの記号を含んでもよいし、「衝突危険」などの文字メッセージを含んでもよい。
画像情報出力部56は、注意喚起画像作成部55で生成された注意喚起画像情報を、識別IDに対応する表示装置30に対して出力する。
(表示装置30の構成)
表示装置30Aは、情報入力部31、元画像生成部32、画像重畳部33、及び画像表示部34を備える。表示装置30B及び表示装置30Cのそれぞれは、表示装置30Aと同様に構成される。表示装置30A、表示装置30B及び表示装置30Cはそれぞれ、本開示に係る第1表示装置又は第2表示装置の一例である。また、元画像生成部32及び画像重畳部33はそれぞれ、本開示に係る第1アプリケーション又は第2アプリケーションの一例である。
表示装置30Aは、例えば車室内に設けられる例えばセンターディスプレイである。表示装置30Bは、例えば運転席前に設けられる車載メータパネルである。表示装置30A及び表示装置30Bは、例えば、車室内に配置されているダッシュボードに配置されている。表示装置30Cは、例えばヘッドアップディスプレイである。なお、車両に設けられる表示装置30の数は3つに限定されず、2つでもよいし、4つ以上でもよい。また、車両に設けられる表示装置30の種類は、これらに限定されるものではなく、例えば、車載カメラとディスプレイを組み合わせた電子ミラー(例えば、電子ルームミラーや電子サイドミラーなど)などを含んでもよい。
情報入力部31は、画像情報出力部56が出力した注意喚起画像情報を入力し、画像重畳部33に転送する。
元画像生成部32は、元画像情報を生成し、画像重畳部33へ入力する。元画像情報は、衝突し得る対象物が車両周辺に存在しないときに、画像表示部34に表示される画像(元画像)の内容を表す情報である。
表示装置30Aの画像表示部34に表示される元画像は、例えば地図、オーディオ機器の操作画面などの画像である。
表示装置30Bの画像表示部34に表示される元画像は、例えばスピードメータ、油圧計、燃料残量計などの画像である。
表示装置30Cの画像表示部34に表示される元画像は、例えば、車速を示す画像、車両進行方向を示す画像などである。
画像重畳部33は、元画像情報と注意喚起画像情報とに基づき、元画像に注意喚起画像を重畳させた画像を表す重畳画像情報を生成し、画像表示部34に入力する。画像表示部34は、重畳画像情報に基づき重畳画像を生成し、重畳画像を画像表示部34の画面に表示する。重畳画像は、本開示に係る第1表示画像又は第2表示画像の一例である。
これにより、例えば、走行中の車両において、運転者が表示装置30Aの画面(例えばオーディオ機器の操作画面)を注視しているときに、先行車との車間距離が狭くなった場合、表示装置30Aの元画像に注意喚起画像が重畳表示される。このため、視線から遠い場所に位置する、表示装置30A以外の他の表示装置(例えばヘッドアップディスプレイなど)に注意喚起画像が表示される場合に比べて、車両が車両周辺の物体に衝突し得る状況であることを運転者に早く知らせることができ、運転者は即座に急ブレーキ、操舵などの衝突回避行動をとることができる。
(音声出力装置40の構成)
音声出力装置40は、アンプ41及びスピーカ42を備える。アンプ41は、画像情報出力部56が出力した操作案内音声を表す音声信号を増幅してスピーカ42に入力する。スピーカ42はアンプ41からの音声信号を音声に変換して出力する。
図2は本開示の実施の形態に係る表示制御システム100の構成例を説明するための別の図である。表示制御システム100は、ハードウェア60、ハイパーバイザ70、視線検出装置10、周辺監視装置20、報知制御装置50、及び複数の表示装置30を備える。複数の表示装置30は、車両に搭載される第1表示装置及び第2表示装置を含む。
ハードウェア60は、不図示のCPU(Central Processing Unit)又はECU(Electronic Control Unit)等を有するプロセッサを含み、複数のコンピュータプログラムの実行環境を提供する。なお、ハードウェア60は、1つのプロセッサを含んで構成されてもよいし、複数のプロセッサを含んで構成されてもよい。複数のプロセッサは、本実施の形態に係る表示制御システムを構成し得る。
ハードウェア60上にハイパーバイザ70の仮想化レイヤが作成される。ハイパーバイザ70は、ハードウェア60上で実行され、複数のゲストOS101〜30C1の実行を制御する仮想化ソフトウェアであり得る。なお、複数のゲストOS101〜30C1は、本開示に係る第1OS又は第2OSの一例である。ハイパーバイザ70により、ハードウェア60上に異なる複数のゲストOSを仮想化して搭載できる。すなわち1つの情報処理装置上に複数の仮想的な情報処理装置(バーチャルマシン)を実現できる。なお、ハイパーバイザ型の仮想化ソフトの一例として、「COQOS Hypervisor SDK」「QNX Hypervisor」などがあり、本実施の形態ではこれらを利用できるが、仮想化ソフトはこれらに限定されない。
ゲストOS101は、視線検出装置10が視線検出情報を生成するアプリケーションの実行を制御するOSである。当該アプリケーションには例えばASIL(Automotive Safety Integrity Level)−Bが適用される。ASILの詳細については後述する。
ゲストOS201は、周辺監視装置20が対象物検出情報を生成するアプリケーションの実行を制御するOSである。当該アプリケーションには例えばASIL−Bが適用される。
ゲストOS501は、報知制御装置50が画像情報を生成するアプリケーションの実行を制御するOSである。当該アプリケーションには例えばASIL−Bが適用される。ゲストOS501は、本開示に係る第1OS又は第2OSの一例である。また、当該アプリケーションは、本開示に係る第1アプリケーション又は第2アプリケーションの一例である。なお、図2では、報知制御装置50が、ゲストOS501を1つ有する例を示しているが、本開示はかかる例に限定されない。報知制御装置50は、ゲストOS501を2つ以上有してもよい。この場合、2以上のゲストOS501のうちの第1のゲストOS501は、複数の表示装置30のうちのいずれか1つの種類と対応付けられており、2以上のゲストOS501のうちの第2のゲストOS501は、複数の表示装置30のうちの別のいずれか1つの種類と対応付けられていてもよい。
又は、報知制御装置50は、ゲストOS501だけでなく、ゲストOS501とは種類が異なる別のOS502を1以上有してもよい。このOS502は、ゲストOSであってもよいし、ゲストOSでなくてもよい。なお、OS502は、本開示に係る第1OS又は第2OSの一例である。また、ゲストOS501は、複数の表示装置30のうちのいずれか1つの種類と対応付けられており、OS502は、複数の表示装置30のうちの別のいずれか1つの種類と対応付けられていてもよい。
ゲストOS30A1は、表示装置30Aが画像を表示するアプリケーションの実行を制御するOSである。当該アプリケーションには例えばASIL−Dが適用される。
ゲストOS30C1は、表示装置30Cが画像を表示するアプリケーションの実行を制御するOSである。当該アプリケーションには例えばASIL−QMが適用される。
ASILは、自動車業界向けの機能安全規格であるISO26262に規定された、自動車の安全性要求と安全性対策を指定する指標である。ASILには、D、C、B、A、QMという5段階の安全性レベルが定められており、安全性の基準が高い順に、D、C、B、A、QMとなっている。例えば、エアバッグ、アンチロックブレーキシステム、パワーステアリングなどは、故障に伴うリスクが最も高いため、これらの機構には、安全を確保するための最も厳しい要件であるASIL−Dが適用される。なお、バックライトにはASIL−A、ヘッドライト、ブレーキランプなどにはASIL−B、クルーズコントロールにはASIL−Cが適用される。この場合、ゲストOSの安全性の基準が高い順は、例えば、ゲストOS30A1、ゲストOS501、ゲストOS30C1の順になり得る。
本実施の形態に係る表示制御システム100は、ハイパーバイザ70により、複数のバーチャルマシンを並行して動作させることができる。そのため、例えば、複数の表示装置30のうちのいずれか1つのアプリケーションに障害が生じた場合でも、障害が生じていない他の表示装置30のアプリケーションに、上記の障害による影響を与えることなく、安全性要求レベルが高い表示装置30Aの動作を継続できる。
なお、表示制御システム100の構成は図2の例に限定されず、図3及び図4のように構成されてもよい。図3はハードウェア上にハイパーバイザのレイヤを構築し、その上に2つのゲストOSのレイヤを構築する例を示す図である。図4はハードウェア上にホストOSを構築し、その上にハイパーバイザを構築する例を示す図である。ホストOSは例えば車両の走行制御用のアプリケーションの実行を制御するOSである。なお、ホストOSは、本開示に係る第1OS又は第2OSの一例である。
(動作)
次に表示制御システム100の動作を説明する。まず図5を参照して、運転者の視線が向かう方向に存在する表示装置30AのゲストOS30A1に障害が発生していないときにおける表示装置30Aに注意喚起画像を表示させる場合の動作を説明する。
図5は、この場合における表示制御システム100の動作を説明するためのシーケンスチャートである。ハイパーバイザ70は、周辺機器(例えば画像撮像部11)から送信される画像情報を受信すると(ステップS1)、受信した画像情報を視線検出装置10のゲストOS101へ送信する(ステップS2)。画像情報を受信したゲストOS101は、視線情報を生成してハイパーバイザ70へ送信する(ステップS3)。ハイパーバイザ70は、受信した視線情報を報知制御装置50のゲストOS501へ送信する(ステップS4)。
ハイパーバイザ70は、周辺機器(例えば周辺映像撮影部21)から送信される周辺映像情報を受信すると(ステップS5)、受信した周辺映像情報を周辺監視装置20のゲストOS201へ送信する(ステップS6)。周辺映像情報を受信したゲストOS201は、対象物検出情報を生成してハイパーバイザ70へ送信する(ステップS7)。
ハイパーバイザ70は、受信した対象物検出情報を報知制御装置50のゲストOS501へ送信する(ステップS8)。報知制御装置50の注意喚起画像作成部55は、視線情報と対象物検出情報に基づき、例えば表示装置30Aの画像表示部34に表示される注意喚起画像情報を生成する。そして、ゲストOS501は、注意喚起画像情報を、ハイパーバイザ70に送信する(ステップS9)
ハイパーバイザ70は、受信した注意喚起画像情報を、表示装置30AのゲストOS30A1に送信する(ステップS10)。表示装置30Aの画像重畳部33は、受信された注意喚起画像情報に基づいて重畳画像情報を生成する。そして、ゲストOS30A1は、当該重畳画像情報をハイパーバイザ70に送信する(ステップS11)。ハイパーバイザ70は、受信した重畳画像情報を周辺機器(例えば表示装置30Aの画像表示部34)に送信する(ステップS12)。
次に、図6及び図7を参照して、運転者の視線が向かう方向に存在する表示装置30AのゲストOS30A1に障害が発生し、その後、ゲストOS30A1がハイパーバイザ70の制御により復旧する場合の動作を説明する。図6は表示装置30AのゲストOS30A1に障害が発生したときの表示制御システム100の動作を説明するための図である。図7は図6における動作を説明するためのシーケンスチャートである。
ハイパーバイザ70は、例えば図5に示す報知制御装置50のゲストOS501から送信される注意喚起画像情報を受信したとき、受信した注意喚起画像情報を、運転者の視線が向かう方向に存在する表示装置30AのゲストOS30A1に送信する(ステップS21)。
ゲストOS30A1が注意喚起画像情報を受信すると、図6の上側に示すように、表示装置30Aの画像重畳部33は、受信された注意喚起画像情報に基づいて重畳画像を生成する。そして、ゲストOS30A1は、生成された重畳画像を表示装置30Aの画像表示部34に表示させる(ステップS22)。
例えば、S21〜S22の間において、注意喚起画像情報を受信していない表示装置30Bの元画像生成部32は、元画像を生成する。そして、表示装置30BのゲストOS30B1は、表示装置30Bの画像表示部34に当該元画像を表示させる(ステップS23)。
ハイパーバイザ70は、例えば一定周期でゲストOS30A1などの各ゲストOSの状態を監視するための監視信号を各ゲストOSへ送信する(ステップS24)。そして、例えばゲストOS30A1などの各ゲストOSから一定周期以内に、監視信号に対する応答信号が返信されない場合、ハイパーバイザ70は、該当のゲストOSにおいて障害が発生したと判断する(ステップS25)。
ゲストOS30A1に障害が発生した場合、ハイパーバイザ70は、ゲストOS30A1に対してリセット信号を送信する(ステップS26)。リセット信号を受信すると、ゲストOS30A1は、当該リセット信号に基づいて障害の復旧処理を行う。障害が復旧すると、ゲストOS30A1は、障害が復旧したことを示す復旧通知をハイパーバイザ70に送信する(ステップS27)。
復旧通知を受信したハイパーバイザ70は、ゲストOS30A1に対して再び注意喚起画像情報を送信する(ステップS28)。ゲストOS30A1が注意喚起画像情報を受信すると、図6の下側に示すように、表示装置30Aの画像重畳部33は、受信された注意喚起画像情報に基づいて重畳画像を生成する。そして、ゲストOS30A1は、生成された重畳画像を表示装置30Aの画像表示部34に再度表示させる(ステップS29)。
次に、図8及び図9を参照して、運転者の視線80が向かう方向に存在する表示装置30AのゲストOS30A1に障害が発生し、その後、ハイパーバイザ70の制御によりゲストOS30A1の復旧が完了する前に視線80が表示装置30Aから表示装置30Bに移動した場合の動作を説明する。
図8は表示装置30AのゲストOS30A1に障害が発生したときの表示制御システム100の動作を説明するための図である。図9は図8における動作を説明するためのシーケンスチャートである。なお、以下では、図7に示す処理と同様の処理については説明を省略し、図7に示す処理と異なる処理について説明する。
ゲストOS30A1に障害が発生した後、ハイパーバイザ70がゲストOS30A1に対してリセット信号を送信する前に、図8の上側に示すように、運転者の視線が表示装置30Aから表示装置30Bに移動したとする。この場合、注意喚起画像情報の送信先は、表示装置30Aではなく、運転者の現在の視線方向に位置する表示装置30Bとなる。従って、ハイパーバイザ70は、図5に示す報知制御装置50のゲストOS501から送信される注意喚起画像情報を受信したとき、受信した注意喚起画像情報を、表示装置30BのゲストOS30B1に送信する(ステップS30)。
ゲストOS30B1が注意喚起画像情報を受信すると、表示装置30Bの画像重畳部33は、受信された注意喚起画像情報に基づいて重畳画像を生成する。そして、ゲストOS30B1は、図8の下側に示すように、表示装置30Bの画像表示部34に当該重畳画像を表示させる(ステップS31)。
その後、表示装置30AのゲストOS30A1が、ステップS26で受信したリセット信号により復旧したとする。このとき、ゲストOS30A1は、注意喚起画像情報を受信していない。そこで、表示装置30Bの元画像生成部32は、元画像を生成し、そして、ゲストOS30A1は、表示装置30Aの画像表示部34に元画像を表示させる(ステップS32)。
(ゲストOSの監視処理の例1)
次に図10から図12を参照して、各ゲストOSの監視処理動作について説明する。
図10は、ハイパーバイザ70が各ゲストOSを監視する場合における表示制御システム100の動作例を説明するためのシーケンスチャートである。ステップS41〜S48において、ハイパーバイザ70による各ゲストOSの監視処理が行われる。具体的には、まず、ハイパーバイザ70が各ゲストOSに対して監視信号を送信する。そして、当該監視信号に対する各ゲストOSの応答をハイパーバイザ70が各ゲストOSから受信することにより、各ゲストOSの状態を監視する。
ステップS49においてゲストOS30A1に監視信号が送信された後に、ゲストOS30A1に障害が発生したとする。この場合、ハイパーバイザ70は、ゲストOS30A1に対してリセット信号を送信する(ステップS50)。ゲストOS30A1が当該リセット信号により復旧すると、ゲストOS30A1は、障害が復旧したことを示す復旧通知をハイパーバイザ70に送信する(ステップS51)。
(ゲストOSの監視処理の例2)
なお、変形例として、表示制御システム100は監視ゲストOS90を備えており、そして、各ゲストOSの監視は、ハイパーバイザ70が行う代わりに、監視ゲストOS90が行ってもよい。ここで、監視ゲストOS90は、本開示に係る第3OSの一例である。監視ゲストOS90は、各ゲストOSの何れかに関連する障害の発生を検出する所定の監視アプリケーションの実行を制御することが可能である。なお、監視ゲストOS90は、報知制御装置50に備えられてもよいし、又は、表示制御システム100内の他の装置に備えられてもよい。
図11は、当該監視ゲストOS90が各ゲストOSの状態を監視する場合における表示制御システム100の動作例を説明するためのシーケンスチャートである。図11では、例えば報知制御装置50が、ゲストOS501とともに監視ゲストOS90を備えているものとする。図11に示すように、ステップS41〜S49では、監視ゲストOS90による各ゲストOSの監視処理が行われる。具体的には、まず、監視ゲストOS90が各ゲストOSに対して監視信号を送信する。そして、当該監視信号に対する各ゲストOSの応答を監視ゲストOS90が各ゲストOSから受信することにより、各ゲストOSの状態を監視する。
いずれかのゲストOSにおける障害の発生が検出されたとき、監視ゲストOS90は、当該ゲストOSを復旧させるためのリセット信号を生成するアプリケーションの実行を制御する。図11に示した例では、ステップS49の後で、ゲストOS30A1において障害が発生したとする。この場合、監視ゲストOS90は、ゲストOS30A1に対してリセット信号を送信する(ステップS50)。ゲストOS30A1が当該リセット信号により復旧すると、ゲストOS30A1は、障害が復旧したことを示す復旧通知を監視ゲストOS90に送信する(ステップS51)。この変形例によれば、監視ゲストOS90が監視処理を行うので、ハイパーバイザ70の処理負荷を軽減することができる。また、ハイパーバイザ70のプログラムを簡略化することもできる。
(ゲストOSの監視処理の例3)
別の例では、各ゲストOSの監視は、各ゲストOSがそれぞれ互いの状態を監視することも可能である。例えば、報知制御装置50に含まれるゲストOS501は、報知制御装置50に含まれる別のOS502に関連する障害の発生を検出する第4アプリケーションの実行を制御してよい。また、OS502は、ゲストOS501に関連する障害の発生を検出する第5アプリケーションの実行を制御してよい。
図12は、表示制御システム100において各ゲストOSがそれぞれ互いの状態を監視する場合の動作例を示すシーケンスチャートである。図12に示した例では、複数のゲストOS30A1〜101は、それぞれ互いの状態を監視するアプリケーションの実行を制御することが可能とする。図12に示すように、ステップS61〜S67では、複数のゲストOS30A1〜101の各々による、互いの状態の監視処理が行われる。例えば、ゲストOS30A1は、ゲストOS201の状態を監視するアプリケーション、及び、ゲストOS101の状態を監視するアプリケーションの実行をそれぞれ制御する。また、ゲストOS201は、ゲストOS101の状態を監視するアプリケーション、及び、ゲストOS30A1の状態を監視するアプリケーションの実行をそれぞれ制御する。
その後、例えばゲストOS30A1において障害が発生したとする。この場合、ゲストOS201は、当該障害の発生を検知し、そして、ゲストOS30A1に対してリセット信号を送信する(ステップS68)。ゲストOS30A1が当該リセット信号により復旧すると、ゲストOS30A1は、障害が復旧したことを示す復旧通知をゲストOS201に送信する(ステップS69)。この例によれば、監視専用の監視ゲストOS90を用意しなくても、既存のゲストOSを改良することで各ゲストOSの状態監視を実現できる。
(効果)
以上に説明したように本実施の形態に係る報知制御装置50は、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、を備える。
これによりハイパーバイザ70が複数のゲストOSを並行して動作させることができるため、複数のゲストOSのうちのいずれかに障害が発生した場合、障害の影響範囲が、当該OSに対応する表示装置のみに留まり得るので、当該複数のゲストOSのうちの他のそれぞれのOSに対応する各表示装置が共倒れ的に動作不能になることを抑制できる。従って、例えば、安全性要求レベルが低いナビゲーション装置に対応するOSに障害が発生した場合でも、報知制御装置50は、他のゲストOSによる正常な処理を継続することができるので、安全性要求レベルが高い車載メータパネルなどの動作が不能になることを防止できる。また、例えば、ナビゲーション装置の画面上の注意喚起画像の表示も途切れた場合でも、視線が移動した先の車載メータパネルなどに注意喚起画像を表示させることができるため、運転者の安全運転に寄与する。
(変形例)
なお、例えば、以下のような態様も本開示の技術的範囲に属するものと了解される。
(1)車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、を備える表示制御装置が提供されてもよい。
(2)前記第1表示装置及び前記第2表示装置を含む複数の表示装置のうち、第1検出装置(例えば視線検出装置10など)により検出された、車両の運転者の視線方向に基づいて特定される、何れかの表示装置には、車両の周辺に存在する物体を検出する第2検出装置(例えば周辺監視装置20など)により検出された物体の存在を、運転者に知らせるための注意喚起画像が、第1OS及び第2OSを含む複数のOSのうち、当該表示装置に対応する少なくとも1つのOSによる制御に基づいて表示されてもよい。
(3)前記複数の表示装置のうち、前記視線方向に基づいて定まる何れかの表示装置には、前記複数のOSのうち、少なくとも当該表示装置に対応するOSに対する前記ハイパーバイザによる制御に基づいて、前記注意喚起画像が順次移動しながら表示されてもよい。
(4)前記ハイパーバイザから送信される前記注意喚起画像に対応するデータを受信した第1OSにより制御される第1アプリケーションは、前記注意喚起画像を含む第1表示画像を生成し、前記ハイパーバイザから前記データを受信した前記第1OSにより制御される前記第2アプリケーションは、前記注意喚起画像を含む前記第2表示画像を生成するように構成してもよい。
(5)前記第1表示装置及び前記第2表示装置は、前記車両の運転席に着座中の運転者が目視可能な位置に配置されていてもよい。
(6)前記第1OSの種類は、前記第2OSの種類と異なってもよい。
(7)前記第1OS及び前記第2OSの何れかは、仮想OSであってもよい。
(8)前記第1OSの種類は前記第1表示装置の種類と対応付けられており、前記第2OSの種類は前記第2表示装置の種類と対応付けられていてもよい。
(9)前記第1OSの種類は、前記第1表示装置に要求される表示信頼度に応じて定められ、前記第2OSの種類は、前記第2表示装置に要求される表示信頼度に応じて定められてもよい。表示信頼度は、例えば安全要求(ASIL)と同様に、故障に伴うリスクに応じて決まる指標である。例えば、メータパネルには、例えば表示信頼度の高い(リアルタイム性の高い)リアルタイムOSが採用され、センターディスプレイには、例えばメータパネルより表示信頼度は低いが汎用性の高いLinux(登録商標)などが採用される。
(10)さらに、前記ハイパーバイザは、前記第1OS及び前記第2OSの何れかに関連する障害の発生を検出してもよい。
(11)前記ハイパーバイザは、前記第1OS及び前記第2OSの何れかのOSに関連する障害の発生を検出したとき、当該OSを復旧させるための処理を当該OSに対して行ってもよい。
(12)前記表示制御装置は、前記第1OS及び前記第2OSの何れかに関連する障害の発生を検出する第3アプリケーションの実行を制御する第3OSをさらに備えてもよい。
(13)上記の第3アプリケーションは、前記障害の発生を検出したとき、前記障害を発生したOSを復旧させるための処理を当該OSに対して行ってもよい。
(14)前記第1OSは、前記第2OSに関連する障害の発生を検出する第4アプリケーションの実行をさらに制御し、前記第2OSは、前記第1OSに関連する障害の発生を検出する第5アプリケーションの実行をさらに制御してもよい。
(15)前記第4アプリケーションは、前記第2OSに関連する障害の発生を検出したとき、前記第2OSを復旧させるための処理を前記第2OSに対して行い、前記第5アプリケーションは、前記第1OSに関連する障害の発生が検出したとき、前記第1OSを復旧させるための処理を前記第1OSに対して行ってもよい。
(16)前記表示制御装置は、前記第1OS及び前記第2OSのうちの何れか一方のOSの種類の堅牢性能は、前記第1OS及び前記第2OSのうちの何れか他方のOSの種類の堅牢性能よりも高くてもよい。堅牢性能は、例えば、エラーの発生のし難さや、セキュリティ性能の高さなどを表す指標である。
(17)前記表示制御装置は、前記第1OS及び前記第2OSのうちの何れか一方のOSの種類のリアルタイム性能は、前記第1OS及び前記第2OSのうちの何れか他方のOSの種類のリアルタイム性能よりも高くてもよい。リアルタイム性能は、例えば、OSが特定の処理を所定の期間までに完了する性能や能力などを表す指標である。
(18)前記表示制御装置は、上記のプロセッサをさらに備えてもよい。
(19)車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、プロセッサ上で実行され、第1OS及び第2OSの実行を制御するハイパーバイザと、を備える表示制御システムが提供されてもよい。
(20)表示制御装置において実行される表示制御方法であって、車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を第1OSが制御するステップと、車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を第2OSが制御するステップと、プロセッサ上で実行されるハイパーバイザが第1OS及び第2OSの実行を制御するステップと、を含む表示制御方法が提供されてもよい。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本開示の一実施例は、表示制御装置及び表示制御システムに好適である。
10 視線検出装置
20 周辺監視装置
30A,30B,30C 表示装置
50 報知制御装置
70 ハイパーバイザ
100 表示制御システム

Claims (20)

  1. 車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、
    前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、
    プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、
    を備える表示制御装置。
  2. 前記第1表示装置及び前記第2表示装置を含む複数の表示装置のうち、第1検出装置により検出された、前記車両の運転者の視線方向に基づいて特定される、何れかの表示装置には、
    前記車両の周辺に存在する物体を検出する第2検出装置により検出された前記物体の存在を、前記運転者に知らせるための注意喚起画像が、
    前記第1OS及び前記第2OSを含む複数のOSのうち、当該表示装置に対応する少なくとも1つのOSによる制御に基づいて表示される、請求項1に記載の表示制御装置。
  3. 前記複数の前記表示装置のうち、前記視線方向に基づいて定まる何れかの表示装置には、
    前記複数のOSのうち、少なくとも当該表示装置に対応するOSに対する前記ハイパーバイザによる制御に基づいて、
    前記注意喚起画像が順次移動しながら表示される、請求項2に記載の表示制御装置。
  4. 前記ハイパーバイザから送信される前記注意喚起画像に対応するデータを受信した前記第1OSにより制御される前記第1アプリケーションは、前記注意喚起画像を含む前記第1表示画像を生成し、前記ハイパーバイザから前記データを受信した前記第1OSにより制御される前記第2アプリケーションは、前記注意喚起画像を含む前記第2表示画像を生成する、請求項2又は3に記載の表示制御装置。
  5. 前記第1表示装置及び前記第2表示装置は、前記車両の運転席に着座中の運転者が目視可能な位置に配置されている、請求項1〜4の何れか一項に記載の表示制御装置。
  6. 前記第1OSの種類は、前記第2OSの種類と異なる、請求項1〜5の何れか一項に記載の表示制御装置。
  7. 前記第1OS及び前記第2OSの何れかは、仮想OSである、請求項1〜6の何れか一項に記載の表示制御装置。
  8. 前記第1OSの種類は、前記第1表示装置の種類と対応付けられており、
    前記第2OSの種類は、前記第2表示装置の種類と対応付けられている、請求項1〜7の何れか一項に記載の表示制御装置。
  9. 前記第1OSの種類は、前記第1表示装置に要求される表示信頼度に応じて定められ、
    前記第2OSの種類は、前記第2表示装置に要求される表示信頼度に応じて定められる、請求項8に記載の表示制御装置。
  10. さらに、前記ハイパーバイザは、前記第1OS及び前記第2OSの何れかに関連する障害の発生を検出する、請求項1〜9の何れか一項に記載の表示制御装置。
  11. 前記ハイパーバイザは、前記第1OS及び前記第2OSの何れかのOSに関連する障害の発生を検出したとき、当該OSを復旧させるための処理を当該OSに対して行う、請求項10に記載の表示制御装置。
  12. 前記第1OS及び前記第2OSの何れかに関連する障害の発生を検出する第3アプリケーションの実行を制御する第3OSをさらに備える、請求項1〜9の何れか一項に記載の表示制御装置。
  13. 前記第3アプリケーションは、前記障害の発生を検出したとき、前記障害を発生したOSを復旧させるための処理を当該OSに対して行う、請求項12に記載の表示制御装置。
  14. 前記第1OSは、前記第2OSに関連する障害の発生を検出する第4アプリケーションの実行をさらに制御し、
    前記第2OSは、前記第1OSに関連する障害の発生を検出する第5アプリケーションの実行をさらに制御する、請求項1〜9の何れか一項に記載の表示制御装置。
  15. 前記第4アプリケーションは、前記第2OSに関連する障害の発生を検出したとき、前記第2OSを復旧させるための処理を前記第2OSに対して行い、
    前記第5アプリケーションは、前記第1OSに関連する障害の発生が検出したとき、前記第1OSを復旧させるための処理を前記第1OSに対して行う、請求項14に記載の表示制御装置。
  16. 前記第1OS及び前記第2OSのうちの何れか一方のOSの種類の堅牢性能が、前記第1OS及び前記第2OSのうちの何れか他方のOSの種類の堅牢性能よりも高い、請求項1〜15の何れか一項に記載の表示制御装置。
  17. 前記第1OS及び前記第2OSのうちの何れか一方のOSの種類のリアルタイム性能が、前記第1OS及び前記第2OSのうちの何れか他方のOSの種類のリアルタイム性能よりも高い、請求項1〜16の何れか一項に記載の表示制御装置。
  18. 前記プロセッサをさらに備える、請求項1〜17の何れか一項に記載の表示制御装置。
  19. 車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を制御する第1OSと、
    前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を制御する第2OSと、
    プロセッサ上で実行され、前記第1OS及び前記第2OSの実行を制御するハイパーバイザと、
    を備える表示制御システム。
  20. 表示制御装置において実行される表示制御方法であって、
    車両に搭載される第1表示装置に表示される第1表示画像を生成する第1アプリケーションの実行を第1OSが制御するステップと、
    前記車両に搭載される第2表示装置に表示される第2表示画像を生成する第2アプリケーションの実行を第2OSが制御するステップと、
    プロセッサ上で実行されるハイパーバイザが前記第1OS及び前記第2OSの実行を制御するステップと、
    を含む表示制御方法。
JP2020060560A 2020-03-30 2020-03-30 表示制御装置、表示制御システム、及び表示制御方法 Pending JP2021162602A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020060560A JP2021162602A (ja) 2020-03-30 2020-03-30 表示制御装置、表示制御システム、及び表示制御方法
PCT/JP2021/012217 WO2021200467A1 (ja) 2020-03-30 2021-03-24 表示制御装置、表示制御システム、及び表示制御方法
DE112021002044.7T DE112021002044T5 (de) 2020-03-30 2021-03-24 Anzeigesteuervorrichtung, Anzeigesteuersystem und Anzeigesteuerverfahren
US17/953,730 US20230012768A1 (en) 2020-03-30 2022-09-27 Display control apparatus, display control system, and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020060560A JP2021162602A (ja) 2020-03-30 2020-03-30 表示制御装置、表示制御システム、及び表示制御方法

Publications (1)

Publication Number Publication Date
JP2021162602A true JP2021162602A (ja) 2021-10-11

Family

ID=77928808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020060560A Pending JP2021162602A (ja) 2020-03-30 2020-03-30 表示制御装置、表示制御システム、及び表示制御方法

Country Status (4)

Country Link
US (1) US20230012768A1 (ja)
JP (1) JP2021162602A (ja)
DE (1) DE112021002044T5 (ja)
WO (1) WO2021200467A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136374A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136369A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 차량용 디스플레이 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015479A1 (en) * 2013-07-15 2015-01-15 Lg Electronics Inc. Mobile terminal and control method thereof
JP2018008688A (ja) * 2016-07-01 2018-01-18 三星電子株式会社Samsung Electronics Co.,Ltd. 車両の制御システム及びそのための方法並びに第1車両
US20190042066A1 (en) * 2016-02-05 2019-02-07 Samsung Electronics Co., Ltd. Electronic device comprising multiple displays and method for operating same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3637197B1 (fr) 2018-10-12 2021-05-19 Blancpain SA Dispositif de reglage d'un affichage retrograde d'horlogerie

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015479A1 (en) * 2013-07-15 2015-01-15 Lg Electronics Inc. Mobile terminal and control method thereof
US20190042066A1 (en) * 2016-02-05 2019-02-07 Samsung Electronics Co., Ltd. Electronic device comprising multiple displays and method for operating same
JP2018008688A (ja) * 2016-07-01 2018-01-18 三星電子株式会社Samsung Electronics Co.,Ltd. 車両の制御システム及びそのための方法並びに第1車両

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136369A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 차량용 디스플레이 장치
WO2023136374A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
KR20230110759A (ko) * 2022-01-13 2023-07-25 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
KR102581600B1 (ko) 2022-01-13 2023-09-21 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Also Published As

Publication number Publication date
DE112021002044T5 (de) 2023-06-07
US20230012768A1 (en) 2023-01-19
WO2021200467A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2021200467A1 (ja) 表示制御装置、表示制御システム、及び表示制御方法
JP4517393B2 (ja) 運転支援装置
JP6795618B2 (ja) 車両周辺情報取得装置および車両
JP6084598B2 (ja) 標識情報表示システム及び標識情報表示方法
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2017086000A1 (ja) 運転支援装置
WO2018105136A1 (ja) 車両周辺情報取得装置および車両
US20160042645A1 (en) Vehicle driving assistance apparatus (as amended)
JP2003123196A (ja) 車両の周辺監視装置及びプログラム
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
CN111246160A (zh) 信息提供系统和方法、服务器、车载装置以及存储介质
JP2018074286A (ja) 運転支援装置
WO2020026461A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5443930B2 (ja) 車両の走行安全装置
WO2022224754A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
WO2022130743A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2020250520A1 (ja) 外部環境認識装置
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
JP7411961B2 (ja) 走行支援装置、走行支援システム、及び走行支援方法
JP7560921B2 (ja) 表示制御装置、表示制御システム及び表示制御方法
WO2022210171A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
EP4246488A1 (en) Information prompt system and method
JP7428161B2 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
WO2022250117A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240206