JP2022081218A - 移動体搭載映像装置 - Google Patents

Abstract

【課題】運転手以外の乗員がユーザとしてＨＭＤを装着した場合でも、移動体の安全性をより確実に確保できる移動体搭載映像装置を提供する。【解決手段】映像装置１０は、車両１００の運転手１０２以外の乗員であるユーザ１１０の頭部に装着され、前記ユーザ１１０の視界を覆った状態で前記ユーザ１１０に映像を提供するＨＭＤ１２と、前記ＨＭＤ１２の表示を制御する表示コントローラ１４と、前記運転手１０２の覚醒状態を監視する監視装置１８と、を備え、前記表示コントローラ１４は、前記監視装置１８での監視結果に基づいて、前記運転手１０２が覚醒していない非覚醒状態であると判断された場合には、前記ＨＭＤ１２を介して前記ユーザ１１０に、前記運転手１０２に接触して運転手を覚醒させる対策動作を促すガイド映像６２を提供し、前記ガイド映像６２は、前記運転手１０２と前記ユーザ１１０との現実の位置関係を認識できる映像を含む。【選択図】図２

Description

本明細書では、移動体の運転手以外の乗員である同乗者に臨場感のある映像を提供できる移動体搭載映像装置を開示する。

近年、臨場感のある映像体験を可能にするために、ヘッドマウントディスプレイ（以下「ＨＭＤ」という）を利用することが多い。ヘッドマウントディスプレイは、ユーザの頭部に装着され、前記ユーザの視界を覆った状態で前記ユーザに映像を提供する映像出力装置である。映像を構成する画像は、ユーザの眼前に設定された表示エリアに表示される。こうしたＨＭＤは、ユーザの視界を覆っているため、ユーザは、ＨＭＤを介して提供される映像に集中することができ、高い臨場感を得ることができる。

こうしたＨＭＤを、車両等の移動体でも利用することが一部で提案されている。例えば、特許文献１には、車両の乗員に、ＨＭＤを装着させ、車両の動きに連動した映像を表示させる技術が開示されている。かかる技術によれば、乗員は、高い臨場感を持って映像を視聴できる。

特開２０１７－１４６９６３号公報

ここで、ＨＭＤは、ユーザの視界を覆うため、当該ユーザは、映像の視聴中、周辺環境の変化を把握しづらい。そのため、移動体において、運転手以外の同乗者がＨＭＤを装着した場合、当該同乗者は、移動体の運転手の異変（例えば、居眠り等）に、早期に気づくことができないおそれがあった。

そこで、本明細書では、運転手以外の乗員がユーザとしてＨＭＤを装着した場合でも、移動体の安全性をより確実に確保できる移動体搭載映像装置を開示する。

本明細書で開示する移動体搭載映像装置は、移動体の運転手以外の乗員であるユーザの頭部に装着され、前記ユーザの視界を覆った状態で前記ユーザに映像を提供するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの表示を制御する表示コントローラと、前記運転手の覚醒状態を監視する監視装置と、を備え、前記表示コントローラは、前記監視装置での監視結果に基づいて、前記運転手が覚醒していない非覚醒状態であると判断された場合には、前記ヘッドマウントディスプレイを介して前記ユーザに、前記運転手に接触して運転手を覚醒させる対策動作を促すガイド映像を提供し、前記ガイド映像は、前記運転手と前記ユーザとの現実の位置関係を認識できる映像を含む、ことを特徴とする。

かかる構成とすることで、ユーザは、ヘッドマウントディスプレイを外すことなく、運転手に近づいて、運転手を覚醒させることができる。結果として、早期に運転手を覚醒でき、移動体の安全性をより確実に確保できる。

この場合、前記ガイド映像は、前記ユーザが、前記ヘッドマウントディスプレイを外した際に得られる前記ユーザの視界と同等の映像を含んでもよい。

かかる構成とすることで、ユーザは、運転手と自身の相対位置関係を明確に把握できるため、運転手をより早期に、かつ、確実に、起こすことができる。

また、さらに、非覚醒状態の前記運転手に対して、意識回復のための刺激を付与する刺激付与装置を備え、前記表示コントローラは、前記ガイド映像の提供と並行して前記刺激付与装置による刺激の付与を実行してもよい。

かかる構成とすることで、運転手がより早期に覚醒状態に復帰できる。

本明細書で開示する移動体搭載映像装置によれば、移動体の安全性をより確実に確保できる。

映像装置の利用の様子を示すイメージ図である。 映像装置の構成を示すブロック図である。 ガイド映像の一例を示す図である。 映像装置の処理の流れを示すフローチャートである。 他の映像装置の構成を示すブロック図である。

以下、図面を参照して移動体搭載映像装置１０（以下「映像装置１０」と略す）の構成について説明する。図１は、映像装置１０の使用状態を示すイメージ図である。また、図２は、映像装置１０の構成を示すブロック図である。

この映像装置１０は、移動体である車両１００に搭載される。車両１００は、その走行の過程で運転手１０２からの操作入力が必要な車両である。したがって、車両１００は、全ての運転タスクを運転手１０２が実行する完全手動運転車両でもよい。また、車両１００は、一部の運転タスクを車両側で実行する運転支援機能を有してもよい。さらに、車両１００は、全ての運転タスクを車両側で実行するものの、走行の過程で車両側から運転手１０２に対して所定の操作を求める条件付き自動運転車両でもよい。いずれにしても、運転手１０２は、運転の状況を確認し、必要に応じて適切な操作を行う必要がある。

映像装置１０は、ヘッドマウントディスプレイ（以下「ＨＭＤ１２」と略す）を用いて、利用者に、臨場感の高い映像を提供する。ここで、上述した通り、本例の車両１００では、運転手１０２は、運転の状況を確認する必要がある。したがって、この映像装置１０は、運転手１０２以外の乗員により利用される。

映像装置１０は、図２に示すように、ＨＭＤ１２と、表示コントローラ１４と、監視装置１８と、を有している。ＨＭＤ１２は、ユーザ１１０の頭部に装着され、ユーザ１１０の視界を覆った状態でユーザ１１０に映像を提供する表示装置である。なお、ここで、「映像」とは、少なくとも画像で構成されるコンテンツであり、本例で扱う「映像」は、画像と、当該画像に連動した音声と、で構成される。

このＨＭＤ１２は、装着された際、当該ユーザ１１０の眼の周囲を完全に覆う非透過型のＨＭＤである。そのため、ユーザ１１０は、当該ＨＭＤ１２を装着すると、自身の眼で直接、外の様子を見ることはできない。かかるＨＭＤ１２は、表示器３６と、ヘッドホン３８と、動きセンサ４０と、視点カメラ４２を有している。表示器３６は、ユーザ１１０の眼前に設定された表示エリアに映像を表示する。この表示器３６は、例えば、表示エリアそのものが映像表示機能を有するディスプレイでもよいし、表示エリアに映像を投影するプロジェクタでもよい。この表示器３６で表示する画像データは、後述する表示コントローラ１４から提供される。

ヘッドホン３８は、ユーザ１１０の耳付近に設けられ、表示コントローラ１４から提供される音声を出力する。このヘッドホン３８は、ユーザ１１０の両耳を覆う。そのため、ユーザ１１０は、ＨＭＤ１２を装着すると、周囲環境で発生している音が聞こえない、または、聞こえづらい状況となる。

動きセンサ４０は、ＨＭＤ１２の動きを検出するセンサであり、例えば、加速度センサ、ジャイロセンサ、地磁気センサの少なくとも一つを含む。動きセンサ４０での検出値は、表示コントローラ１４に出力される。表示コントローラ１４は、この動きセンサ４０での検出値に基づいて、ＨＭＤ１２、ひいては、ユーザ１１０の頭部の動きを算出する。

視点カメラ４２は、ＨＭＤ１２に搭載されたカメラである。この視点カメラ４２は、ユーザ１１０がＨＭＤ１２を装着していない場合に、ユーザ１１０の視界と同等の画像を撮像する。したがって、視点カメラ４２は、ＨＭＤ１２のうち、ユーザ１１０の目の近傍、かつ、ユーザ１１０の目と同じ向きに、配置される。なお、視点カメラ４２は、一つでもよいし、複数でもよい。また、ユーザ１１０の視界と同等の画像が得られるのであれば、視点カメラ４２は、ＨＭＤ１２ではなく、他の箇所、例えば、車室天井等に設けられてもよい。さらに、ＨＭＤ１２は、通信Ｉ／Ｆ（図示せず）を有しており、表示コントローラ１４と有線または無線で通信できる。

表示コントローラ１４は、ＨＭＤ１２の表示を制御する。この表示コントローラ１４は、例えば、プロセッサ２２と記憶装置２４と通信Ｉ／Ｆ２６とビデオコントローラ２８とを有するコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

記憶装置２４は、各種データやプログラムを記憶する。この記憶装置２４も、物理的に一つの要素である必要はなく、物理的に離れた位置に存在する複数のメモリで構成されてもよい。また、記憶装置２４は、半導体メモリ（例えばＲＡＭ、ＲＯＭ、ソリッドステートドライブ等）、磁気ディスク（例えば、ハードディスクドライブ等）および、これらの組み合わせで構成されてもよい。

通信Ｉ／Ｆ２６は、表示コントローラ１４の外部の様々な機器との通信を可能にする。この通信Ｉ／Ｆ２６は、複数種類の通信規格に対応してもよい。例えば、通信Ｉ／Ｆ２６は、例えば、ＵＳＢのような有線通信、ブルートゥース（登録商標）等の近距離無線通信、Ｗｉ－Ｆｉ（登録商標）等の無線ＬＡＮ、携帯電話会社等がサービス提供するモバイルデータ通信、の少なくとも一つを行うための通信設備を有している。ビデオコントローラ２８は、プロセッサ２２の制御の下でＨＭＤ１２の表示を制御する。

なお、図２では、表示コントローラ１４を単一のコンピュータとして図示しているが、表示コントローラ１４は、物理的に分離された複数のコンピュータで構成されてもよい。したがって、表示コントローラ１４は、複数のプロセッサ２２を有してもよい。また、表示コントローラ１４は、車両１００の駆動を制御する車両ＥＣＵであってもよい。

監視装置１８は、ユーザ１１０に替わって、運転手１０２の状態を監視する。すなわち、上述した通り、ＨＭＤ１２を装着した際、ユーザ１１０は、目や耳が覆われるため、その周囲の状態を把握できない。その結果、ＨＭＤ１２を利用している期間中に、運転手１０２が意識消失した「非覚醒状態」になったとしても、ユーザ１１０は、こうした異変に気付くことができない。そこで、監視装置１８は、ＨＭＤ１２を利用するユーザ１１０に替わって、運転手１０２の覚醒状態を監視する。監視装置１８は、例えば、運転手１０２の顔付近を撮像する監視カメラ５０を有しており、撮像された画像データを監視結果として表示コントローラ１４に出力する。また、別の形態として、監視装置１８は、監視カメラ５０に替えてまたは加えて、運転手１０２が行う運転操作（例えば、ステアリングホイールの回動量等）を検出するセンサを有し、当該センサの検出結果を監視結果として表示コントローラ１４に出力する。表示コントローラ１４は、これら監視結果に基づいて、運転手１０２が、覚醒している覚醒状態か、意識消失している非覚醒状態か、を判断する。

次に、こうした映像装置１０の動作について説明する。運転手１０２以外の乗員であるユーザ１１０は、当該映像装置１０を利用することで、車両１００の走行中、娯楽映像６０（図１参照）を楽しむことができる。具体的には、ユーザ１１０は、ＨＭＤ１２を装着したうえで、入力装置（図示せず）を操作し、希望の娯楽映像６０を選択する。表示コントローラ１４は、ユーザ１１０により選択された娯楽映像６０を構成する画像データおよび音声データを、表示器３６およびヘッドホン３８に出力する。ここで、娯楽映像６０は、ユーザ１１０の頭部と連動しない単純な映像コンテンツでもよいし、ユーザ１１０の頭部の動きに連動して映像内の視点の向きが変化する仮想現実映像でもよい。また、娯楽映像６０は、入力装置を介したユーザ１１０の操作入力が不要な受動的な映像（例えば映画等）でもよいし、入力装置を介したユーザ１１０の操作入力を必要とする能動的な映像（例えばゲーム等）でもよい。さらに、娯楽映像６０の内容は、車両１００の動きに連動して変化するものでもよい。例えば、娯楽映像６０が、ユーザ１１０が宇宙船に乗って宇宙を旅する仮想現実映像である場合、車両１００が、右折した際には、娯楽映像６０内の宇宙船も右折するように映像を変化させてもよい。いずれにしても、ＨＭＤ１２を利用して娯楽映像６０を提供した場合、ユーザ１１０の眼および耳がＨＭＤ１２で覆われているため、ユーザ１１０は、ＨＭＤ１２に提供される娯楽映像６０に集中することができ、高い臨場感を得ることができる。

その一方で、ＨＭＤ１２を装着した場合、ユーザ１１０は、その周囲の状況、特に、運転手１０２の状況を把握することができない。そのため、運転手１０２が居眠りや病気等により意識消失した非覚醒状態になった場合に、ユーザ１１０が迅速に対応できないおそれがある。そこで、本例では、監視装置１８を設け、ユーザ１１０に替わって、映像装置１０側で、運転手１０２が非覚醒状態になったか否かを監視している。

ここで、非覚醒態とは、上述した通り、運転手１０２が意識消失した状態であり、例えば、居眠り状態や失神状態等を含む。こうした非覚醒態か否かは、運転手１０２を撮像した画像や、運転手１０２による運転操作の内容等に基づいて判断される。

表示コントローラ１４は、監視装置１８による監視の結果、運転手１０２が非覚醒状態であると判断された場合には、ＨＭＤ１２を介してユーザ１１０に、運転手１０２に接触して運転手１０２を覚醒させる対策動作を促すガイド映像６２を提供する。図３は、ガイド映像６２の一例を示す図である。ガイド映像６２は、運転手１０２とユーザ１１０との現実の位置関係を認識できる視点映像を含んでいる。図２の例では、視点映像は、ユーザ１１０がＨＭＤ１２を装着していない場合に得られるユーザ１１０の視界と同等の映像である。かかる視点映像は、視点カメラ４２で撮影した画像から生成することができる。ガイド映像６２は、さらに、図２に示すように、現在の運転手１０２の状況や、ユーザ１１０がとるべき動作内容等を説明する説明文を含んでもよい。

こうしたガイド映像６２を表示することで、ユーザ１１０は、ＨＭＤ１２を取り外すことなく、非覚醒状態の運転手１０２に近づいて、接触することができる。そして、これにより、運転手を早期に意識回復させることができる。結果として、車両の安全性をより確実に確保できる。

図４は、映像装置１０による処理の流れを示すフローチャートである。ＨＭＤ１２を装着したユーザ１１０から娯楽映像６０の提供を指示された場合、表示コントローラ１４は、娯楽映像６０をＨＭＤ１２に提供する（Ｓ１０）。その間、表示コントローラ１４は、運転手１０２が、意識消失した非覚醒状態であるか否かを判断する（Ｓ１２）。非覚醒状態でない場合、表示コントローラ１４は、ユーザ１１０から、終了の指示が入力されるまで、娯楽映像６０の提供を継続する（Ｓ１４）。一方、運転手１０２が非覚醒状態であると判断された場合（Ｓ１２でＹｅｓ）、表示コントローラ１４は、娯楽映像６０の提供を終了し、ＨＭＤ１２を介して、ユーザ１１０に、ガイド映像６２を提供する（Ｓ１６）。このガイド映像６２を見たユーザ１１０は、ＨＭＤ１２を装着した状態のまま、運転手１０２に近づき、運転手を起こすために当該運転手１０２を揺り動かす。換言すれば、ＨＭＤ１２を取り外す手間が無いため、ユーザ１１０は、運転手１０２を起こす動作を、迅速に開始できる。

ガイド映像６２を提供した後も、表示コントローラ１４は、監視装置１８による運転手１０２の監視を継続する（Ｓ１８）。そして、監視の結果、非覚醒状態が継続されている場合（Ｓ１８でＮｏ）、表示コントローラ１４は、ガイド映像６２の提供を継続する。一方、監視の結果、運転手１０２の意識が回復した覚醒状態になれば（Ｓ１８でＹｅｓ）、表示コントローラ１４は、その旨をユーザ１１０に通知したうえで、ガイド映像６２の提供を終了（Ｓ２０）し、処理を終了する。

このように、本例では、娯楽映像６０を提供している期間中、運転手１０２の覚醒状態を監視し、運転手１０２が非覚醒状態になれば、ガイド映像６２を表示し、運転手１０２の意識回復のための動作をユーザ１１０に促す。これにより、運転手１０２を、非覚醒状態から覚醒状態へ、早期に移行させることができ、安全性をより迅速に確保できる。

次に、映像装置１０の変形例について、図５を参照して説明する。この映像装置１０は、刺激付与装置６６を有する点で、図２の映像装置１０と相違する。刺激付与装置６６は、運転手１０２が意識消失した場合に、当該運転手に対して何らかの刺激を付与することで、運転手１０２の意識の回復を試みる装置である。かかる刺激付与装置６６は、運転手１０２に対して何らかの刺激を付与するものであれば、その構成は限定されない。したがって、刺激付与装置６６は、例えば、比較的大音量の音声を出力するスピーカー、運転席やステアリングホイールを振動させる振動発生器、運転席のリクライニングを変化させるモータ、運転手１０２に対して強い光を放射するライト、およびこれらの組み合わせを含んでもよい。表示コントローラ１４は、ガイド映像６２の表示と並行して、この刺激付与装置６６による刺激の付与も実行させる。これにより、運転手１０２の意識をより早期に回復でき、ひいては、安全性をより迅速に確保できる。

なお、ここまで説明した構成は、一例であり、少なくとも、ＨＭＤ１２を利用する映像装置において、運転手１０２が覚醒していない非覚醒状態であると判断された場合に、ＨＭＤ１２を介してユーザ１１０に、運転手１０２に接触して運転手を覚醒させる対策動作を促すガイド映像６２を提供するのであれば、その他の構成は、変更されてもよい。例えば、上記の説明では、車両１００に搭載される映像装置を例に挙げたが、映像装置は、運転手１０２により運転される移動体であれば、車両１００に限らず、他の移動体、例えば、船舶や航空機等に搭載されてもよい。

１０ 映像装置、１２ ＨＭＤ（ヘッドマウントディスプレイ）、１４ 表示コントローラ、１８ 監視装置、２２ プロセッサ、２４ 記憶装置、２６ 通信Ｉ／Ｆ、２８ ビデオコントローラ、３６ 表示器、３８ ヘッドホン、４０ 動きセンサ、４２ 視点カメラ、５０ 監視カメラ、６０ 娯楽映像、６２ ガイド映像、６６ 刺激付与装置、１００ 車両、１０２ 運転手、１１０ ユーザ。

Claims (1)

1. 移動体の運転手以外の乗員であるユーザの頭部に装着され、前記ユーザの視界を覆った状態で前記ユーザに映像を提供するヘッドマウントディスプレイと、
   前記ヘッドマウントディスプレイの表示を制御する表示コントローラと、
   前記運転手の覚醒状態を監視する監視装置と、
   を備え、前記表示コントローラは、前記監視装置での監視結果に基づいて、前記運転手が覚醒していない非覚醒状態であると判断された場合には、前記ヘッドマウントディスプレイを介して前記ユーザに、前記運転手に接触して運転手を覚醒させる対策動作を促すガイド映像を提供し、
   前記ガイド映像は、前記運転手と前記ユーザとの現実の位置関係を認識できる映像を含む、
   ことを特徴とする移動体搭載映像装置。
   

Images