JP2022071801A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2022071801A
JP2022071801A JP2021020129A JP2021020129A JP2022071801A JP 2022071801 A JP2022071801 A JP 2022071801A JP 2021020129 A JP2021020129 A JP 2021020129A JP 2021020129 A JP2021020129 A JP 2021020129A JP 2022071801 A JP2022071801 A JP 2022071801A
Authority
JP
Japan
Prior art keywords
vehicle
display
window
control unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021020129A
Other languages
English (en)
Other versions
JP7122408B2 (ja
Inventor
正史 程塚
Masashi Hodotsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Research Institute Ltd
Original Assignee
Japan Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Research Institute Ltd filed Critical Japan Research Institute Ltd
Publication of JP2022071801A publication Critical patent/JP2022071801A/ja
Priority to JP2022126460A priority Critical patent/JP7340078B2/ja
Application granted granted Critical
Publication of JP7122408B2 publication Critical patent/JP7122408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Television Signal Processing For Recording (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ARコンテンツを好適に表示することができる情報処理装置等を提供する。【解決手段】情報処理装置1は、車両の窓を表示領域として画像を表示する表示部と、前記車両の状況を示すデータを取得する第1取得部と、前記窓に表示するオブジェクトを取得する第2取得部と、前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部とを備える。【選択図】図1

Description

本発明は、情報処理装置及び情報処理方法に関する。
に関する。
車両に乗車する人物が視認する景色に画像を重畳する拡張現実(AR;Augmented Reality)の表示技術がある。例えば特許文献1では、車両のフロントガラスにオブジェクトを投影するヘッドアップディスプレイシステムにおいて、車両の動作方向に応じてオブジェクトを補正する画像処理装置が開示されている。
特開2019-202698号公報
しかしながら、特許文献1に係る発明は運転支援を目的としたオブジェクトをフロントガラスに投影するのみで、運転支援以外のコンテンツを乗車人物に提示するに至っていない。
一つの側面では、ARコンテンツを好適に表示することができる情報処理装置等を提供することを目的とする。
一つの側面に係る情報処理装置は、車両の窓を表示領域として画像を表示する表示部と、前記車両の状況を示すデータを取得する第1取得部と、前記窓に表示するオブジェクトを取得する第2取得部と、前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部とを備える。
一つの側面では、ARコンテンツを好適に表示することができる。
オブジェクト表示システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 車載装置の構成例を示すブロック図である。 コンテンツDB、車両DB、表示テーブルのレコードレイアウトの一例を示す説明図である。 車両内部を示す模式図である。 目的地に応じたオブジェクトの表示例を示す説明図である。 周辺構造物に応じたオブジェクトの表示例を示す説明図である。 周辺移動体に応じたオブジェクトの表示例を示す説明図である。 車速に応じたオブジェクトの表示例を示す説明図である。 他の車両からのメッセージの表示例を示す説明図である。 車載装置が実行する処理手順の一例を示すフローチャートである。 車載装置が実行する処理手順の一例を示すフローチャートである。 実施の形態2の概要を示す説明図である。 実施の形態2に係る車載装置が実行する処理手順の一例を示すフローチャートである。 実施の形態3の概要を示す説明図である。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、オブジェクト表示システムの構成例を示す説明図である。本実施の形態では、所定のARコンテンツに係るオブジェクトを、車両4の窓(以下、「車窓」と記載)に表示するオブジェクト表示システムについて説明する。オブジェクト表示システムは、サーバ1と、車両4に搭載された車載装置2(情報処理装置)とを含む。各装置は、ネットワークNを介して通信接続されている。
サーバ1は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ1に相当する装置はパーソナルコンピュータ等であってもよい。サーバ1は、車載装置2に配信するARコンテンツを管理するサーバコンピュータであり、ネットワークNを介して車載装置2にARコンテンツを配信する。
車両4は、本システムのユーザが利用する車両である。車両4は、例えば自動運転車であるが、自動運転機能を有しない手動運転車両であってもよい。車両4には車載装置2が搭載され、ARコンテンツをユーザに提示する。なお、図1では車両4を一台しか図示していないが、サーバ1は複数の車両4と通信可能に接続されている。
車載装置2は、サーバ1から配信されたARコンテンツに係るオブジェクトの表示を制御する装置である。なお、車載装置2は、ECU(Electronic Control Unit)のように車両4に組み込まれた装置であってもよく、又は車両4に外付けされた装置であってもよい。車載装置2は、車両4の車窓を表示領域とした表示手段を備え、車窓に画像を表示する。詳しくは後述するように、車載装置2は、車両4のフロントガラス、フロントドアガラス、リアドアガラス、ルーフガラス等の複数の車窓を表示領域として、いずれかの車窓にオブジェクトを表示する(図5参照)。
本実施の形態において車載装置2は、車両4の状況に応じて、車窓におけるオブジェクトの表示を制御する。詳しくは後述するように、車載装置2は、車両4の目的地、車両4の周辺に存在する周辺物、車両4に乗車しているユーザ(人物)の感情、車両4の走行速度(以下、「車速」と記載)等に応じて、オブジェクトを表示する車窓、その車窓におけるオブジェクトの表示位置等を制御する。
図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサを有し、補助記憶部14に記憶されたプログラムP1を読み出して実行することにより、種々の情報処理を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP1、その他のデータを記憶している。また、補助記憶部14は、コンテンツDB141、車両DB142を記憶している。コンテンツDB141は、車載装置2に配信するコンテンツを格納するデータベースである。車両DB142は、コンテンツの配信対象とする車両4の情報を格納するデータベースである。
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、非一時的なコンピュータ読取可能な記録媒体1a(Non-Transitory Computer-Readable Storage Medium)を読み取る読取部を備え、記録媒体1aからプログラムP1を読み込んでもよい。
図3は、車載装置2の構成例を示すブロック図である。車載装置2は、制御部21、主記憶部22、通信部23、表示部24、測位部25、周辺撮像部26、車内撮像部27、音声入力部28、音声出力部29、車速検出部30、及び補助記憶部31を備える。
制御部21は、一又は複数のCPU等のプロセッサを有し、補助記憶部31に記憶されたプログラムP2を読み出して実行することにより、種々の情報処理を行う。主記憶部22は、RAM等の一時記憶領域であり、制御部21が演算処理を実行するために必要なデータを一時的に記憶する。通信部23は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
表示部24は、車窓を表示領域として画像(オブジェクト)を表示する表示手段である。具体的には後述するように、表示部24は、車窓をスクリーンとして画像を投影する投影装置、又は車窓自体をディスプレイ画面とした透明ディスプレイ等である。測位部25は、車両4の現在位置を示す位置情報を取得するモジュールであり、例えばGPS(Global Positioning System)座標値を受信するモジュールである。
周辺撮像部26は、車外を撮像範囲として画像を撮像するカメラであり、車両4周辺を撮像する。車内撮像部27は、車内を撮像範囲として画像を撮像するカメラであり、車内を撮像する。好適には、周辺撮像部26及び/又は車内撮像部27は、レーザ光等を用いた距離センサ付きのカメラ、又は複眼カメラであり、画像に写る物体との距離を取得可能に構成されている。
音声入力部28は音声を集音するマイクであり、車内の音声を取得する。音声出力部29は音声を出力するスピーカであり、車内に音声を出力する。車速検出部30は、車両4の車速を検出するセンサである。
補助記憶部31は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部21が処理を実行するために必要なプログラムP2、その他のデータを記憶している。また、補助記憶部31は、地図データM、表示テーブル311を記憶している。地図データMは、地図上の各位置における位置情報(GPS座標値)が付された地図データである。表示テーブル311は、サーバ1から配信されるコンテンツに係るオブジェクトの表示規則を格納するテーブルである。
なお、車載装置2は、非一時的なコンピュータ読取可能な記録媒体2a(Non-Transitory Computer-Readable Storage Medium)を読み取る読取部を備え、記録媒体2aからプログラムP2を読み込んでもよい。
図4は、コンテンツDB141、車両DB142、表示テーブル311のレコードレイアウトの一例を示す説明図である。
コンテンツDB141は、コンテンツID列、オブジェクトID列、オブジェクト列を含む。コンテンツID列は、各コンテンツを識別するためのコンテンツIDを記憶している。オブジェクトID列は、コンテンツIDと対応付けて、コンテンツ内の各オブジェクトを識別するためのオブジェクトIDを記憶している。オブジェクト列は、オブジェクトIDと対応付けて、オブジェクトの表示データ(2D画像、3D画像等)を記憶している。
車両DB142は、車両ID列、ユーザ名列、ユーザ属性列、アバター列、視聴履歴列を含む。車両ID列は、コンテンツの配信対象である各車両4を識別するための車両IDを記憶している。ユーザ名列、ユーザ属性列、アバター列、及び視聴履歴列はそれぞれ、車両IDと対応付けて、車両4に乗車するユーザの氏名、ユーザの属性情報(性別、年齢等)、後述のメッセージの送受信時に用いるアバター画像、及びユーザによるコンテンツの視聴履歴を記憶している。
表示テーブル311は、コンテンツID列、オブジェクトID列、表示条件列、位置列、感情列、及び動作列を含む。コンテンツID列は、各コンテンツを識別するためのコンテンツIDを記憶している。オブジェクトID列、表示条件列、及び位置列はそれぞれ、コンテンツIDと対応付けて、コンテンツ内の各オブジェクトを識別するためのオブジェクトID、オブジェクトの表示条件(出現条件)、及び実空間におけるオブジェクトの仮想的な配置位置(デフォルト値)を記憶している。感情列、並びに動作列はそれぞれ、オブジェクトIDと対応付けて、オブジェクトを視聴したユーザの感情(反応)のパターン、並びに各パターンの感情に応じたオブジェクトの表示動作及び表示時間を記憶している。
例えば、オブジェクトID「Elephant 101」のオブジェクトは、所定の表示条件を満たした場合に、車両4からの距離が300mで、かつ、車両4の直進方向を0°として「-30°」(左側30°)の方向に表示される。当該オブジェクトを視聴したユーザの感情が「興奮」であった場合、「雄たけび」の表示動作が「30秒」継続される。表示テーブル311に基づくオブジェクトの表示制御について、詳しくは後述する。
図5は、車両4内部を示す模式図である。図5では、後部座席から見た車両4内部の様子を模式的に図示している。図5に基づき、本実施の形態に係る車両4について説明する。
本実施の形態に係る車両4は、車窓周辺のボディ面積が極力小さくなり、車窓の面積が極力大きくなるように構成されている。具体的には、車両4の各ピラー(Aピラー、Bピラー、Cピラー、ルーフピラー等。図5に太線で図示)が細長に形成され、ピラーによって遮られる視認範囲が狭くなるように構成されている。車両4には、各ピラーの間に各車窓(フロントガラス、フロントドアガラス、リアドアガラス等)が設けられている。また、本実施の形態に係る車両4は天井全面がルーフガラスで構成されている。
上述の如く、車両4は、車窓を表示領域とする表示手段を備え、車窓に画像を表示する。具体的には、車両4は、フロントガラス、フロントドアガラス、リアドアガラス、ルーフガラス、リアガラス等、複数の車窓それぞれに画像を表示する。当該表示手段は、例えば車窓をスクリーンとするプロジェクタであるが、車窓自体を透明ディスプレイとして構成してもよく、その具体的な表示手段は特に限定されない。また、例えばルーフ部分は車窓(ガラス)とせずに遮蔽し、ルーフに画像を表示(投影)するだけであってもよい。
また、車両4には、車内外を撮像するカメラが設置されている。例えば図5に示すように、車両4のルーフピラーには、車内撮像用のカメラ(車内撮像部27)が3つ設置されている。図示は省略するが、同様にして車外撮像用のカメラ(周辺撮像部26)も複数台設置され、車両周辺(例えば車両の前方、側方、後方及び/又は上方)を撮像する。
なお、以下の説明では便宜上、車内撮像部27が撮像する画像を「車内画像」と呼び、周辺撮像部26が撮像する画像を「周辺画像」と呼んで区別する。
そのほか、車両4には車内の音声を集音するマイク(音声入力部28)、車内に音声を出力するスピーカ(音声出力部29)が設置されている(いずれも不図示)。
以上の通り、車両4はユーザが視認可能な景色が極力大きくなるように構成されている。車載装置2は、ARコンテンツに係るオブジェクトを各車窓に表示することで、ユーザが視認する景色にオブジェクトを重畳表示する。このように、本システムでは、視認範囲を極力大きくした車窓を通して見える景色にオブジェクトを重畳表示することで、車両4の車内を、ARコンテンツを体験する空間として提供する。
なお、図5に示す車両4の構成は例示であって、本実施の形態はこれに限定されるものではない。例えば車内撮像用のカメラはピラー以外の箇所に設置されてもよく、オブジェクトを表示する車窓はフロントガラスのみであってもよい。
以下では、車両4がユーザ所望の目的地(例えば動物園)に向かう場合を一例にして、具体的なオブジェクトの表示方法について説明する。
図6は、目的地に応じたオブジェクトの表示例を示す説明図である。例えば車載装置2はまず、走行を開始する場合に、ユーザから目的地の設定入力を受け付ける。目的地の設定手段は、例えばユーザからの音声入力で行う。あるいは車載装置2は、手動操作入力手段(例えばタッチパネルディスプレイ)を別途設け、手動操作で目的地の設定入力を受け付けるようにしてもよい。
なお、上記の操作入力手段は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置2は、ユーザの手の動作(ジェスチャ)を車内画像から認識することで、ユーザの手の動作に基づく操作入力を受け付けるようにしてもよい。具体的には、車載装置2は、車内撮像部27を距離センサ付きのカメラとして構成し、各画素に対し距離の測定値が対応付けられた距離画像を車内画像として取得して、距離画像からユーザの手の動作を認識する。あるいは車載装置2は、車内撮像部27を複眼カメラとして構成し、複数の車内画像からユーザの手の動作を認識してもよい。例えば車載装置2は、目的地設定用の操作画面を車窓に表示すると共に、ユーザの手の動作を認識することで、指差し動作等によって当該画面に対する目的地の設定入力を受け付ける。このように、車両4は、ユーザの手の動作を車内画像から認識することで目的地の設定入力を受け付けるようにしてもよい。以降の操作入力時も同様である。
目的地の設定入力を受け付けた場合に、車載装置2は、当該目的地に向かうユーザ向けのコンテンツをサーバ1から取得する。例えば目的地が動物園である場合、車載装置2は、当該動物園の画像(例えば正面玄関の写真)や、種々の動物の3D画像などの表示オブジェクトをコンテンツとして取得する。
なお、本実施の形態では目的地に応じてコンテンツ(オブジェクト)が用意されているものとして説明するが、コンテンツは目的地と無関係なものであってもよい。
目的地の設定入力を受け付けた場合、車載装置2は、目的地を表すオブジェクト(例えば動物園の正面玄関の写真)を車窓に表示する。具体的には、車載装置2は、車両4に乗車しているユーザから見て、実際に目的地が所在する位置に当該オブジェクトが常に視認されるように表示する。
例えば車載装置2は、設定された目的地の所在位置(例えばGPS座標値)を地図データMから特定する。そして車載装置2は、特定した目的地の所在位置を、車窓から視認可能な実空間においてオブジェクトを仮想的に配置する配置位置に決定する。次に車載装置2は、車両4の位置情報を測位部25により取得する。車載装置2は、取得した位置情報が示す車両4の現在位置に基づき、上記で決定した配置位置(所在位置)にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。すなわち、車載装置2は、目的地が所在する方向にオブジェクトが表示されるように制御する。車載装置2は、上記の表示位置にオブジェクトを表示する。
車載装置2は、車両4の走行中、車両4の位置情報を逐次取得する。そして車載装置2は、逐次取得する位置情報が示す車両4の現在位置に基づき、目的地が所在する方向に常にオブジェクトが視認されるように、オブジェクトの表示位置を逐次変更する。これにより、ユーザは目的地の所在方向をリアルタイムで視認することができる。
なお、以降も目的地に到着するまで当該オブジェクトが常に表示されるが、以下の図面(表示例)では便宜上、当該オブジェクトの図示を省略する。
また、図6の例ではフロントガラスにオブジェクトが表示される様子を図示しているが、オブジェクトの配置位置(目的地の方向)によっては、フロントドアガラスやリアドアガラス等、他の車窓にオブジェクトを表示する。例えば車載装置2は、実空間におけるオブジェクトの配置位置と、車両4の位置及び向き(直進方向)とに基づき、車内のユーザから目的地(配置位置)が視認される車窓を特定し、特定した車窓にオブジェクトを表示する。このように、本実施の形態では複数の車窓に跨ってオブジェクトを表示可能とすることで、車両4の全方位をAR空間として提示することができる。オブジェクトの配置位置に応じてフロントガラス以外の車窓にオブジェクトを表示する点は以下の説明でも同様である。
図7は、周辺構造物に応じたオブジェクトの表示例を示す説明図である。車両4の出発後、車載装置2は、車両4の状況に応じて種々のオブジェクトを車窓に出現(表示)させ、ユーザにARコンテンツを体験させる。
例えば車載装置2は、表示テーブル311で規定する各オブジェクトの表示条件をクリアした場合、オブジェクトを表示する。表示条件は、例えば特定エリアへの車両4の進入、出発後の経過時間、時間帯、天候、車窓から視認可能な景色、車両4に乗車しているユーザの感情、発話、動作、属性等に応じて、オブジェクト毎に規定されている。車載装置2は、これらの情報に応じて各オブジェクトの表示条件をクリアしたか否かを逐次判定する。
なお、上記の表示条件は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置2は、ユーザの過去のコンテンツの視聴履歴から表示するオブジェクトを選択し、車窓に表示するようにしてもよい。例えば車載装置2は、オブジェクトと対応付けて、後述するように車内画像から推定されるユーザの感情をユーザDB142に記憶しておくことで、ポジティブな感情を誘起するオブジェクト(コンテンツ)を優先的に選択し、表示するようにする。このように、車載装置2は、コンテンツの視聴履歴等も表示条件の基準としてもよく、その判定方法は特に問わない。
表示条件をクリアしたと判定した場合、車載装置2は、表示条件をクリアしたオブジェクトを車窓に表示する。図7では一例として、動物の3D画像が表示される様子を図示している。この場合に車載装置2は、車両4の周辺物に応じてオブジェクトの表示位置を制御する。
例えば車載装置2は、周辺撮像部26により撮像した周辺画像から、車両4の周辺に存在する周辺物を逐次検出(認識)している。周辺物は、例えば車両4の周辺に存在する構造物や自然物(山、海、樹木等)などの物体、あるいは車両4の周辺に存在する移動体などである。例えば車載装置2は、周辺画像から各周辺物の位置及び形状を検出する。具体的には、車載装置2は、車内撮像部27と同様に周辺撮像部26を距離センサ付きのカメラとして構成し、距離画像を周辺画像として取得する。そして車載装置2は、画像から周辺物を認識すると同時に、認識した周辺物の位置(距離、方向)及び形状を検出する。
図7では周辺物として、車両4の周辺に存在する構造物を検出した場合を図示している。構造物とは、実空間の一定の位置に存在する物体であり、例えば建物、ガードレール、信号機等の人工物を指す。図7の例では、建物の陰、及びガードレール上にオブジェクトが表示される様子を図示している。車載装置2は、周辺画像から検出した構造物の位置及び形状に応じて、オブジェクトの表示位置を制御する。
例えば表示テーブル311には、実空間にオブジェクトを配置する際の配置位置のデフォルト値であって、車両4を基準とする相対位置が予め規定されている。詳しくは図4のオブジェクトID「Elephant 101」の行に示したように、表示テーブル311には、オブジェクトを配置する車両4からの距離及び方向が規定されている。
車載装置2は、周辺画像から検出した構造物の位置と、表示テーブル311で規定されているオブジェクトの相対位置とを比較して、当該相対位置に構造物が存在するか否か、すなわち、オブジェクト及び構造物が重複するか否かを判定する。具体的には、車載装置2は、周辺画像から検出した構造物の距離及び方向と、表示テーブル311で規定されているオブジェクトの距離及び方向とが同一又は近似するか否かを判定する。表示テーブル311で規定されている相対位置に構造物が存在しないと判定した場合、車載装置2は、当該相対位置をオブジェクトの配置位置に決定し、当該配置位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。
構造物が存在すると判定した場合、車載装置2は、オブジェクトの配置位置を規定の相対位置から変更し、構造物と重複しないように調整する。例えば車載装置2は、構造物に載置される形で、構造物の上を配置位置に決定する。図7の例では、規定の相対位置にガードレールが存在するため、ガードレール上にオブジェクトが表示されている
車載装置2は、上記で決定した配置位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。具体的には上述の如く、車載装置2は、構造物の上を配置位置に決定した場合は、構造物の上にオブジェクトを表示する。
また、車載装置2は、オブジェクトを配置する方向が構造物の方向と略同一であるが、オブジェクトの距離が構造物の距離よりも長い場合、その構造物の形状に応じて、オブジェクトの一部又は全部が構造物に被覆されるように非表示とする。図7の例では、ビルの陰にオブジェクト(動物)の一部が隠れる形で、ビルの背後にオブジェクトが表示されている。このように、車載装置2はオブジェクト及び構造物の距離から両者の前後関係を定義し、その前後関係に応じて、オブジェクトの全部を表示するか、あるいはオブジェクトの一部又は全部を非表示とする。
なお、上記の表示方法は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置2は、オブジェクト及び構造物が重複する場合、オブジェクトを非表示としてもよい。また、上記では構造物に載置する形で、オブジェクトを配置する高さを変更したが、オブジェクトを配置する距離又は方向を変更してもよい。また、例えば車載装置2は、高層建築物(ビル)の上にオブジェクトが表示されることは不自然なため、構造物の高さが一定以上である場合は構造物の上にオブジェクトを配置(載置)せずに非表示とし、高さが一定以下の場合のみ構造物の上にオブジェクトを表示するようにしてもよい。また、例えば車載装置2は、オブジェクトの全部が構造物の背後に隠れてしまう場合、オブジェクトを表示する方向をデフォルト値から微調整(変更)し、少なくともオブジェクトの一部が視認できるようにしてもよい。このように、上記の表示方法は一例であって、種々の変更が考えられる。
なお、上記では周辺画像から検出する物体として構造物を挙げたが、例えば山、海、樹木等の自然物を検出するようにしてもよい。すなわち、車載装置2は、一定の位置に存在する物体を検出可能であればよく、その対象物体は構造物に限定されない。
また、上記では周辺画像から構造物を検出するものとしたが、本実施の形態はこれに限定されるものではない。例えば地図データMを3次元の立体地図として、車両4の現在の位置情報から、車両4の周辺に存在する構造物の位置及び形状を地図データMから取得(検出)するようにしてもよい。このように、車載装置2は車両4の周辺に存在する構造物を検出可能であればよく、その検出手段は画像認識に限定されない。
上述の如く、車載装置2はARコンテンツに係るオブジェクトを表示する。さらに車載装置2は、当該オブジェクトを視聴したユーザの反応に応じて、オブジェクトの表示を制御する。
具体的には、車載装置2は、車内撮像部27により撮像された車内画像、及び/又は音声入力部28により取得した車内音声から、オブジェクトを視聴したユーザの感情を推定する。例えば車載装置2は、車内画像から認識可能なユーザの表情、動作、及び/又は車内音声から認識可能なユーザの発話(個々のユーザの発言、あるいはユーザ同士の会話)から感情を推定する。なお、ユーザの感情はパターンマッチングで推定してもよく、あるいは機械学習モデルを用いて推定してもよい。
なお、上記では車内画像及び/又は音声からユーザの反応を推定したが、本実施の形態はこれに限定されるものではない。例えば車載装置2は、ユーザの生体情報(体温、呼吸、脈拍、心電等)を計測する生体センサを備え、生体情報からユーザの反応を推定してもよい。
車載装置2は表示テーブル311を参照して、推定したユーザの感情に応じてオブジェクトの表示を制御する。具体的には、車載装置2は、ユーザの感情に応じてオブジェクトの表示動作を制御すると共に、オブジェクトの表示時間を制御する。図7の例では、車載装置2は、ユーザの感情が「興奮」である場合、動物が雄たけびを上げる演出表示を「30秒」継続する。一方で、ユーザの感情が「怯え」である場合、車載装置2は、動物が退出する演出表示を「10秒」で行う。これにより、ユーザはARコンテンツを好適に体験することができる。
図8は、周辺移動体に応じたオブジェクトの表示例を示す説明図である。図8では周辺物として、車両4の周辺に存在する移動体を検出してオブジェクトを表示する場合を図示している。
本実施の形態において車載装置2は、ユーザが指定した移動体(例えば自車両と並走する他の車両)を対象として、ユーザが指定したオブジェクトを表示する。移動体及びオブジェクトの指定方法は特に問わないが、例えば車載装置2は、ユーザの手の動作に基づき移動体及びオブジェクトの指定入力を受け付ける。車載装置2は、ユーザが周辺の移動体を指差す動作を車内画像から認識し、指差し動作で指し示された移動体を周辺画像から特定する。そして車載装置2は、ARコンテンツとして予め用意されている複数のオブジェクトを車窓に表示し、当該複数のオブジェクトからいずれかを選択する指差し動作を認識する。
車載装置2は、上記で指定された移動体の位置に基づき、実空間におけるオブジェクトの配置位置を決定する。例えば車載装置2は、図8に示すように、移動体の上部(例えば車両のルーフやトランクの上)をオブジェクトの配置位置に決定する。車載装置2は、決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する。
その後、車載装置2はオプティカルフロー等の方法で、周辺画像から移動体の動きを追跡(トラッキング)する。そして車載装置2は、移動体に対するオブジェクトの相対位置が変わらないように、移動体の動きに応じてオブジェクトの表示位置を逐次変更する。これにより、車載装置2は、移動体に追従する形でオブジェクトを表示する。なお、例えば車載装置2は図7と同様に、当該オブジェクトを視聴したユーザの感情に応じて、オブジェクトの表示を制御する。
なお、上記の表示方法は一例であって、移動体の位置に応じた位置にオブジェクトを配置可能であればよい。例えば車載装置2は、移動体から所定距離だけ離れた位置にオブジェクトを配置することで、オブジェクト(動物)が移動体と共に移動する(走る)ように表示してもよい。また、例えば車載装置2は、移動体自体がオブジェクト(動物)として視認されるように、移動体全体にオブジェクトを重畳表示してもよい。
また、本実施の形態ではユーザが指定した場合に移動体に応じたオブジェクトを表示するものとしたが、車載装置2は、周辺画像から移動体を検出した場合に自動的にオブジェクトを選択し、移動体に対応する位置にオブジェクトを表示してもよい。
また、上記では移動体として並走車両を挙げたが、例えば歩道を走行する自転車、又は周辺画像に写る航空機など、その他の移動体であってもよい。すなわち、車載装置2は、車窓から視認可能な実空間に存在する移動体に対してオブジェクトを表示可能であればよく、その移動体は車両に限定されない。
図9は、車速に応じたオブジェクトの表示例を示す説明図である。図9では、車両が横断歩道で停止した場合に、オブジェクトが車窓に出現する様子を図示している。
図4のオブジェクトID「Otter 101」の行に示したように、表示テーブル311にはオブジェクトに応じて、表示条件として車速が規定されている。なお、車速に加えて、オブジェクトを出現させるエリア、時間帯等を表示条件として規定しておいてもよい。車載装置2は、車速検出部30により車速を逐次検出し、表示テーブル311で規定されている特定の速度以下になったか否かを判定する。具体的には、車載装置2は、車両4が停止、又は停止状態に近似できるほど十分低速になったか否かを判定する。
特定の速度以下になったと判定した場合、車載装置2は、表示テーブル311で規定されている相対位置(車両4からの距離及び方向)をオブジェクトの配置位置に決定し、オブジェクトを車窓に表示する。図9の例では、車両4の左斜め前方にオブジェクトが表示されている。
この場合、車載装置2は、オブジェクトの配置位置を固定し、当該位置にオブジェクトが固定して視認されるように、車両4の発進後の車窓における表示位置を制御する。図9の例では車両4は横断歩道で停止したため、車両4は前方に進行する。この場合、車載装置2は、フロントガラスの左側から左フロントドアガラス、左リアドアガラスへとオブジェクトを移動させる。このように、車載装置2は、特定の速度以下になった場合に実空間の所定位置にオブジェクトを出現させ、その後の車両4の移動に応じてオブジェクトの表示位置を複数の車窓に跨って変更する。このように、車載装置2は、車両4の運転状況(車速)に応じてARコンテンツを表示してもよい。
図10は、他の車両4からのメッセージの表示例を示す説明図である。本実施の形態に係る車載装置2は、上記のARコンテンツの表示機能のほかに、本システムに接続された他の車両4との間のメッセージ共有機能を有する。図10では、他の車両4から受信したメッセージが車窓に表示される様子を図示している。
例えば他の車両4の車載装置2は、音声入力等によってメッセージの入力を受け付け、サーバ1を介して、送信対象の車両4にメッセージを送信する。送信対象の車両4の車載装置2は、当該メッセージを受信する。なお、メッセージには本文(テキスト)だけでなく画像等も含まれていてもよい。
メッセージを受信した場合、車載装置2はまず、メッセージを受信した旨をユーザに通知する。例えば車載装置2は、所定のアイコンを車窓に表示してもよく、又はメッセージを受信した旨の音声を出力してもよい。
車載装置2は、通知したメッセージを表示するか否か、ユーザから選択入力を受け付ける。例えば車載装置2は、ユーザの特定の動作(例えばアイコンへの指差し動作)を車内画像から認識するようにしてもよく、又はメッセージを表示させる特定の発話音声の入力を受け付けるようにしてもよい。
メッセージを表示する旨の選択入力を受け付けた場合、車載装置2は、受信したメッセージを車窓に表示する。具体的には図10に示すように、車載装置2は、メッセージの送り主である他のユーザのアバターを表示すると共に、吹き出しの形でメッセージを表示する。これにより、例えば目的地に同行する他の車両4がある場合などに、メッセージを共有することができる。
なお、上記ではメッセージを表示するものとしたが、例えばメッセージ(テキスト)を音声に変換して再生するようにしてもよい。
また、例えば車載装置2は、メッセージを表示するだけでなく、メッセージの内容に応じたナビゲーションを行ってもよい。図10の例で説明すると、車載装置2は、メッセージから特定の地名(「××サービスエリア」)を認識し、当該地名に対応する位置を地図データMから特定して、中間の目的地に設定して、図6と同様に当該目的地のオブジェクトを車窓に表示するようにしてもよい。これにより、ユーザを好適に支援することができる。
以上より、本実施の形態1によれば、車載装置2は車両4の状況(車両4の目的地、周辺物、車速等)に応じてオブジェクトの配置位置を決定し、車窓を介して当該配置位置にオブジェクトが視認されるように、複数の車窓におけるオブジェクトの表示を制御する。これにより、車両4の車内をARコンテンツの体験空間として、ARコンテンツをユーザに好適に体感させることができる。
図11及び図12は、車載装置2が実行する処理手順の一例を示すフローチャートである。図11及び図12に基づき、車載装置2が実行する処理内容について説明する。
車載装置2の制御部21は、目的地の設定入力を受け付ける(ステップS11)。制御部21は、目的地に応じたコンテンツをサーバ1から取得する(ステップS12)。なお、既に述べたように、コンテンツは目的地と無関係なコンテンツであってもよい。
制御部21は、設定された目的地の所在位置を地図データMから特定する(ステップS13)。制御部21は、目的地の所在位置を、目的地に対応するオブジェクトを実空間に配置する配置位置に決定する(ステップS14)。制御部21は、測位部25により車両4の位置情報を取得し、位置情報が示す車両4の現在位置に基づき、ステップS14で決定した配置位置にオブジェクトが視認されるようにオブジェクトを表示する(ステップS15)。以降の処理では、制御部21は車両4の位置情報を逐次取得して、車窓におけるオブジェクトの表示位置を逐次変更する。
制御部21は、周辺撮像部26により車両4周辺を撮像する(ステップS16)。制御部21は、車両4周辺を撮像した周辺画像から、周辺物を検出する(ステップS17)。具体的には、制御部21は、距離センサ付きのカメラ等で撮像した周辺画像(距離画像)から車両4周辺に存在する構造物、移動体等を認識すると共に、センサで計測した距離から各周辺物の位置及び形状を検出する。
制御部21は、所定の表示条件をクリアしたか否かを判定する(ステップS18)。表示条件をクリアしたと判定した場合(S18:YES)、制御部21は、表示テーブル311で予め規定されているオブジェクトの位置(車両4からの距離及び方向)と、ステップS17で検出した構造物の位置とに基づき、実空間におけるオブジェクトの配置位置を決定する(ステップS19)。具体的には、制御部21は、オブジェクトを配置する車両4からの相対位置を規定する表示テーブル311を参照して、当該相対位置に構造物が存在するか否かを判定する。構造物が存在しないと判定した場合、制御部21は、表示テーブル311で規定されている相対位置をオブジェクトの配置位置に決定する。構造物が存在すると判定した場合、制御部21は、オブジェクトの配置位置を、デフォルトの相対位置から変更する。例えば制御部21は、構造物の形状に応じて、構造物の上を配置位置に決定する。
制御部21は、ステップS19で決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する(ステップS20)。具体的には、制御部21は、構造物の上を配置位置に決定した場合は、構造物の上にオブジェクトを表示する。また、制御部21は、オブジェクトの車両4からの距離が構造物の車両4からの距離よりも長い場合、構造物の形状に応じて、オブジェクトの一部又は全部が構造物に隠れるように非表示とする。
制御部21は、オブジェクトを視聴したユーザの感情を推定する(ステップS21)。例えば制御部21は、車内撮像部27により撮像した車内画像、及び/又は音声入力部28により取得した車内音声から、ユーザの感情を推定する。なお、制御部21は、車内画像及び車内音声に加えて、又は車内画像及び車内音声に代えて、ユーザの生体情報から感情を推定してもよい。制御部21は表示テーブル311を参照して、推定したユーザの感情に応じてオブジェクトの表示を制御する(ステップS22)。具体的には、制御部21は、ユーザの感情に応じてオブジェクトの動作を制御すると共に、オブジェクトの表示時間を変更する。
ステップS22の処理を実行後、又はステップS18でNOの場合、制御部21は、オブジェクトと、当該オブジェクトの表示対象とする移動体とを指定する指定入力をユーザから受け付けたか否かを判定する(ステップS23)。オブジェクト及び移動体の指定入力を受け付けたと判定した場合(S23:YES)、制御部21は、指定された移動体の上部等を、指定されたオブジェクトの配置位置に決定する(ステップS24)。制御部21は、決定した配置位置にオブジェクトが視認されるようにオブジェクトを表示する(ステップS25)。以降の処理では、制御部21は周辺画像から移動体の動きを追跡し、移動体に対するオブジェクトの相対位置が変わらないように、移動体の動きに応じてオブジェクトの表示位置を逐次変更する。
制御部21は、オブジェクトを視聴したユーザの反応を推定する(ステップS26)。制御部21は、推定したユーザの反応に応じてオブジェクトの表示を制御する(ステップS27)。
ステップS27の処理を実行後、又はステップS23でNOの場合、制御部21は、車速検出部30により車速を検出する(ステップS28)。制御部21は、車速が特定の速度以下になったか否かを判定する(ステップS29)。
特定の速度以下になったと判定した場合(S29:YES)、制御部21は表示テーブル311を参照して、実空間におけるオブジェクトの配置位置を決定する(ステップS30)。制御部21は、決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する(ステップS31)。制御部21は、ステップS30で決定した位置にオブジェクトの配置位置を固定し、車両4の発進後も実空間の該当位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を逐次変更する。
ステップS31の処理を実行後、又はステップS29でNOの場合、制御部21は、他の車両4からメッセージを受信したか否かを判定する(ステップS32)。メッセージを受信したと判定した場合(S32:YES)、制御部21は、メッセージを受信した旨をユーザに通知する(ステップS33)。例えば制御部21は、メッセージを表す所定のアイコンを車窓に表示してもよく、又はメッセージを受信した旨の音声を出力してもよい。
制御部21は、メッセージを表示するか否かの選択入力をユーザから受け付ける(ステップS34)。例えば制御部21は、ユーザの特定の動作を車内画像から認識するようにしてもよく、又はメッセージを表示させる特定の発話音声の入力を受け付けるようにしてもよい。メッセージを表示する旨の選択入力を受け付けた場合、制御部21は、他車両からのメッセージを表示する(ステップS35)。例えば制御部21は、他の車両4のユーザに対応するアバターを表示すると共に、メッセージ(テキスト)を表示する。
ステップS35の処理を実行後、又はステップS32でNOの場合、制御部21は、車両4の位置情報から目的地に到着したか否かを判定する(ステップS36)。目的地に到着していないと判定した場合(S36:NO)、制御部21は処理をステップS16に戻す。目的地に到着したと判定した場合(S36:YES)、制御部21は一連の処理を終了する。
以上より、本実施の形態1によれば、目的地、周辺物(構造物、移動体)、車速等の車両4の状況に応じてオブジェクトの配置位置を決定し、当該配置位置にオブジェクトが視認されるように車窓におけるオブジェクトの表示を制御することで、ARコンテンツをユーザに好適に体感させることができる。
(実施の形態2)
本実施の形態では、ユーザが着座する車両4の座席の位置に応じて、車窓におけるオブジェクトの表示位置を制御する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図13は、実施の形態2の概要を示す説明図である。図13Aでは、車両4の座席とオブジェクトの配置位置との位置関係を概念的に示す車両4の俯瞰図を図示している。図13Bでは、座席位置に応じて車窓(フロントガラス)におけるオブジェクトの表示位置が変更される様子を概念的に図示している。図13に基づき、本実施の形態の概要を説明する。
図13Aにおいて、太線は車窓を表し、太線で囲まれた矩形領域は車両4の室内を表す。また、矩形領域内に位置する白抜きの丸は座席(運転席及び助手席)を表し、矩形領域外に位置するハッチング付きの丸はオブジェクトの配置位置を表す。
図13Aに示すように、実空間の同一位置を各座席から視認した場合、当該位置に対応する車窓上の位置は異なる。例えば図13Aに示すように、運転席前方の位置は、助手席から見れば右斜め前に位置する。
ここで、例えば助手席に着座しているユーザ向けにARコンテンツを提示する場合、運転席を基準(視点位置)として車窓におけるオブジェクトの表示位置を定めた場合、実際に表示すべき位置からオブジェクトがずれることになる。例えば、子供向けのARコンテンツを提示する場合において、子供が助手席に着座しているにも関わらず運転席を基準にオブジェクトの表示位置を定めた場合、本来景色に重畳したい位置とはずれてオブジェクトが表示されることになる。
そこで本実施の形態では、車載装置2は、コンテンツ(オブジェクト)の表示対象とするユーザの座席の位置に応じて、車窓におけるコンテンツの表示位置を制御する。例えば車載装置2は、コンテンツの表示を開始する前に、表示対象とするユーザの座席を指定する指定入力を受け付ける。なお、例えば車載装置2は、コンテンツの表示対象とするユーザの属性(年齢、性別等)を規定しておき、表示対象のユーザ属性に該当するユーザを車内画像から認識して、対象ユーザの座席を自動的に特定してもよい。また、例えば各ユーザ(家族等)が普段着座する座席を予めユーザDB142に登録しておき、コンテンツの表示対象とするユーザ属性に該当するユーザの座席を自動的に特定してもよい。
車載装置2は、実施の形態1と同様に、各オブジェクトの実空間における配置位置を決定する。本実施の形態において車載装置2は、決定した配置位置と、上記で指定(特定)された対象ユーザの座席の位置とに基づき、車窓におけるオブジェクトの表示位置を決定する。具体的には図13Aに示すように、車載装置2は、オブジェクトの配置位置と、対象ユーザの座席の位置とを結ぶ直線と交差する車窓上の位置を、オブジェクトの表示位置に決定する。車載装置2は、決定した表示位置にオブジェクトを表示する。これにより、図13Bに示すように、ユーザが着座する座席の位置に応じて、オブジェクトの表示位置が好適に制御される。
図14は、実施の形態2に係る車載装置2が実行する処理手順の一例を示すフローチャートである。サーバ1からコンテンツを取得した後(ステップS12)、車載装置2は以下の処理を実行する。
車載装置2の制御部21は、コンテンツ(オブジェクト)の表示対象とするユーザの座席を特定する(ステップS201)。例えば制御部21は、表示対象とするユーザの座席を指定する指定入力を受け付ける。オブジェクトを表示する場合(ステップS15、S20、S25、及び/又はS31)、制御部21は、オブジェクトの配置位置と、対象ユーザの座席の位置とに基づき、車窓におけるオブジェクトの表示位置を決定する。
以上より、本実施の形態2によれば、コンテンツを視聴するユーザが着座する座席に応じて、車窓におけるオブジェクトの表示位置を制御することで、ARコンテンツをより好適に提示することができる。
(実施の形態3)
本実施の形態では、車両4の運転状況に応じて、車窓におけるオブジェクトの表示を制限する形態について説明する。
図15は、実施の形態3の概要を示す説明図である。図15では、車窓(フロントガラス)が、オブジェクトを表示可能な表示可能領域A1と、オブジェクトの表示が禁止される表示禁止領域A2とに区分される様子を概念的に図示している。図15に基づき、本実施の形態の概要を説明する。
本実施の形態において車載装置2は、車両4の運転状況に応じて、車窓におけるオブジェクトの表示を制限する。具体的には、車載装置2は、オブジェクトの表示を禁止する表示禁止領域A2を設定する。例えば車載装置2は、車両4が運転中である(動いている)か、又は停止中である(動いていない)かを判定する。車両4が停止中である場合、車載装置2は表示禁止領域A2を設定せず、車窓の全領域にオブジェクトを表示可能とする。一方で、車両4が運転中であると判定した場合、車載装置2は一定の視野を確保するため、表示禁止領域A2を設定して当該領域におけるオブジェクトの表示を禁止する。
なお、「運転中」とは自動運転中及び手動運転中を指すが、手動運転時のみ表示禁止領域A2を設定するようにして、自動運転中は車窓の全領域でオブジェクトを表示可能としてもよい。また、上記の運転状況の判定基準は一例であって、例えば車載装置2は、車両4の車速、車両4の運転方向(ステアリングの角度)、走行している場所(一般車道であるか高速道路であるか等)など、その他の運転状況に応じて表示禁止領域A2を設定するか否かを判定してもよい。また、車載装置2は、例えば車速が速いほど表示禁止領域A2を大きくするなど、車速、運転方向等に応じて、車窓に占める表示禁止領域A2の面積、位置等を変更してもよい。
例えば図15に示すように、車載装置2は、車窓周縁に沿う一部領域を表示可能領域A1に設定する。そして車載装置2は、表示可能領域A1以外の車窓中央の領域を表示禁止領域A2に設定する。なお、図15に示す表示禁止領域A2は一例であって、表示禁止領域A2の位置及び形状は特に限定されない。例えば車載装置2は、車窓の下端縁から上方に向かって一定範囲を表示禁止領域A2に設定するなどしてもよい。
また、図15ではフロントガラスの例を図示しているが、フロントドアガラス、リアガラス等についても同様に表示禁止領域A2を設定してもよい。この場合に、車載装置2は、車窓の種類に応じて、表示禁止領域A2を設定する車窓を選択するようにしてもよい。例えば、フロントガラス、フロントドアガラス等は視野を確保するため表示禁止領域A2を設定する一方、視野を確保する必要性が低いリアドアガラス、ルーフガラス等は表示禁止領域A2を設定しないようにしてもよい。また、車載装置2は、車窓の種類に応じて、各車窓に占める表示禁止領域A2の面積、位置等を変更するなどしてもよい。
なお、上記では表示禁止領域A2を設定することでオブジェクトの表示を制限したが、本実施の形態はこれに限定されるものではない。例えば車載装置2は、表示禁止領域A2の設定に加えて、又は表示禁止領域A2の設定に代えて、車窓に表示するオブジェクトを半透明オブジェクトに変更するようにしてもよい。例えば車載装置2は、車両4が運転中である場合、オブジェクトの透過率を上げる。これにより、ユーザの視野を確保することができる。このように、車載装置2は車両4の運転状況に応じてオブジェクトの表示を制限可能であればよく、オブジェクトの表示制限手段は表示禁止領域A2の設定に限定されない。
車両4の運転状況に応じてオブジェクトの表示が制限される点以外は実施の形態1と同様であるため、本実施の形態ではフローチャート等の詳細な説明は省略する。
以上より、本実施の形態3によれば、ARコンテンツの表示を行いつつ、ユーザの視野を確保することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 サーバ
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P1 プログラム
2 車載装置(情報処理装置)
21 制御部
22 主記憶部
23 通信部
24 表示部
25 測位部
26 周辺撮像部
27 車内撮像部
28 音声入力部
29 音声出力部
30 車速検出部
31 補助記憶部
P2 プログラム
M 地図データ
311 表示テーブル
一つの側面に係る情報処理装置は、車両の窓を表示領域として画像を表示する表示部と、前記車両の状況を示すデータを取得する第1取得部と、前記窓に表示するオブジェクトを取得する第2取得部と、前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部とを備え、前記第1取得部は、前記車両の目的地を取得し、前記第2取得部は、前記目的地に応じたオブジェクトを取得し、前記決定部は、オブジェクト毎に該オブジェクトを配置する前記車両からの相対位置を規定するテーブルを参照して、前記オブジェクトを配置する前記車両からの相対位置を決定し、前記第1取得部は、前記実空間に存在する周辺物の位置及び形状を検出した検出結果を取得し、前記表示制御部は、前記実空間において前記相対位置に存在する前記周辺物の位置及び形状に基づき、前記オブジェクトの表示を制御する

Claims (12)

  1. 車両の窓を表示領域として画像を表示する表示部と、
    前記車両の状況を示すデータを取得する第1取得部と、
    前記窓に表示するオブジェクトを取得する第2取得部と、
    前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、
    前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部と
    を備える情報処理装置。
  2. 前記第1取得部は、前記実空間に存在する周辺物の位置を検出した検出結果を取得し、
    前記決定部は、前記周辺物の位置に応じて前記オブジェクトの配置位置を決定する
    請求項1に記載の情報処理装置。
  3. 前記周辺物は、一定の位置に存在する物体を含み、
    前記オブジェクトを配置する前記車両からの相対位置を規定するテーブルを参照して、前記相対位置に前記物体が存在するか否かを判定し、
    前記物体が存在しないと判定した場合、前記決定部は、前記相対位置を前記オブジェクトの配置位置に決定し、
    前記物体が存在すると判定した場合、前記決定部は、前記オブジェクトの配置位置を前記相対位置から変更する
    請求項2に記載の情報処理装置。
  4. 前記第1取得部は、前記物体の位置及び形状を検出した検出結果を取得し、
    前記表示制御部は、前記配置位置の前記車両からの距離が前記物体の前記車両からの距離よりも長い場合、前記物体の形状に応じて、前記オブジェクトの一部又は全部を非表示とする
    請求項3に記載の情報処理装置。
  5. 前記周辺物は、前記車両の周辺に存在する移動体を含み、
    検出された前記移動体の動きを追跡する追跡部を備え、
    前記表示制御部は、前記移動体の動きに応じて前記オブジェクトの表示位置を逐次変更する
    請求項2~4のいずれか1項に記載の情報処理装置。
  6. 前記第1取得部は、前記車両の目的地を取得し、
    前記車両の位置情報を逐次取得する位置取得部を備え、
    前記決定部は、前記目的地の所在位置を前記オブジェクトの配置位置に決定し、
    前記表示制御部は、前記配置位置と、逐次取得する前記位置情報が示す前記車両の現在位置とに基づき、前記目的地が所在する方向に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を逐次変更する
    請求項1~5のいずれか1項に記載の情報処理装置。
  7. 前記第1取得部は、前記車両の走行速度を取得し、
    前記走行速度が特定の速度以下になったか否かを判定する速度判定部を備え、
    前記特定の速度以下になったと判定した場合、前記決定部は前記オブジェクトの配置位置を決定し、
    前記表示制御部は、決定した前記配置位置に前記オブジェクトが固定して視認されるように、前記窓における前記オブジェクトの表示位置を制御する
    請求項1~6のいずれか1項に記載の情報処理装置。
  8. 前記車両に乗車している人物の感情を推定する推定部を備え、
    前記表示制御部は、前記オブジェクトの表示後における前記人物の感情に応じて、前記オブジェクトの表示を制御する
    請求項1~7のいずれか1項に記載の情報処理装置。
  9. 前記第1取得部は、前記車両の運転状況を示すデータを取得し、
    前記表示制御部は、前記運転状況に応じて、前記窓において前記オブジェクトの表示を禁止する表示禁止領域を設定、又は前記オブジェクトを半透明オブジェクトに変更する
    請求項1~8のいずれか1項に記載の情報処理装置。
  10. 前記オブジェクトの表示対象である人物が着座している前記車両内の座席を特定する特定部を備え、
    前記表示制御部は、特定した前記座席の位置と、前記オブジェクトの配置位置とに基づき、前記窓における前記オブジェクトの表示位置を制御する
    請求項1~9のいずれか1項に記載の情報処理装置。
  11. 前記表示部は、前記車両の複数の前記窓に画像を表示し、
    前記表示制御部は、前記オブジェクトの配置位置に応じて、いずれかの前記窓に前記オブジェクトを表示させる
    請求項1~10のいずれか1項に記載の情報処理装置。
  12. 車両の状況を示すデータを取得し、
    前記車両の窓を表示領域とする表示部に表示するオブジェクトを取得し、
    前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定し、
    前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する
    処理をコンピュータに実行させるプログラム。
JP2021020129A 2020-10-28 2021-02-10 情報処理装置及び情報処理方法 Active JP7122408B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022126460A JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063106453P 2020-10-28 2020-10-28
US63/106,453 2020-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022126460A Division JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2022071801A true JP2022071801A (ja) 2022-05-16
JP7122408B2 JP7122408B2 (ja) 2022-08-19

Family

ID=81593853

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2021020124A Active JP7236478B2 (ja) 2020-10-28 2021-02-10 情報処理システム、コンピュータプログラム、及び表示方法
JP2021020129A Active JP7122408B2 (ja) 2020-10-28 2021-02-10 情報処理装置及び情報処理方法
JP2021020125A Pending JP2022071797A (ja) 2020-10-28 2021-02-10 車両及び表示方法
JP2021020126A Active JP7157188B2 (ja) 2020-10-28 2021-02-10 情報処理方法、情報処理システム及びプログラム
JP2021020128A Pending JP2022071800A (ja) 2020-10-28 2021-02-10 情報処理装置及び感情誘導方法
JP2021020127A Active JP7170076B2 (ja) 2020-10-28 2021-02-10 情報処理方法及び情報処理システム
JP2022126460A Active JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム
JP2022178790A Active JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021020124A Active JP7236478B2 (ja) 2020-10-28 2021-02-10 情報処理システム、コンピュータプログラム、及び表示方法

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2021020125A Pending JP2022071797A (ja) 2020-10-28 2021-02-10 車両及び表示方法
JP2021020126A Active JP7157188B2 (ja) 2020-10-28 2021-02-10 情報処理方法、情報処理システム及びプログラム
JP2021020128A Pending JP2022071800A (ja) 2020-10-28 2021-02-10 情報処理装置及び感情誘導方法
JP2021020127A Active JP7170076B2 (ja) 2020-10-28 2021-02-10 情報処理方法及び情報処理システム
JP2022126460A Active JP7340078B2 (ja) 2020-10-28 2022-08-08 情報処理装置及びプログラム
JP2022178790A Active JP7470171B2 (ja) 2020-10-28 2022-11-08 情報処理装置及び感情誘導方法

Country Status (1)

Country Link
JP (8) JP7236478B2 (ja)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JP2002267470A (ja) * 2001-03-14 2002-09-18 Toyota Motor Corp 情報提示システム及び情報提示方法
JP2003143477A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および方法
JP2005098916A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2005207776A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2005208159A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2009290842A (ja) * 2008-06-02 2009-12-10 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
WO2017046937A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法
US20180066956A1 (en) * 2016-09-02 2018-03-08 Lg Electronics Inc. Vehicle user interface apparatus and vehicle
JP2019184962A (ja) * 2018-04-17 2019-10-24 株式会社Nttドコモ コンテンツ表示装置、コンテンツ提供サーバー装置及びコンテンツ表示装置の調光制御方法
JP2020142792A (ja) * 2017-03-17 2020-09-10 マクセル株式会社 Ar表示装置
WO2021192469A1 (ja) * 2020-03-23 2021-09-30 パナソニックIpマネジメント株式会社 表示装置、表示方法、及び車両

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09183334A (ja) * 1995-12-28 1997-07-15 Fujita Corp 移動式オフィス
FR2806042B1 (fr) * 2000-03-13 2002-07-12 Renault Planche de bord a tablette pour vehicule automobile
WO2003020572A1 (en) * 2001-08-31 2003-03-13 Johnson Controls Technology Company Stowable steering wheel
JP2004212160A (ja) 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd 経路検索装置及び車輌内環境変化用装置
JP2005010664A (ja) 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd 車載用コンテンツ再生システム
FR2861657B1 (fr) * 2003-11-04 2007-01-19 Peugeot Citroen Automobiles Sa Poste de conduite d'un vehicule automobile
JP4525926B2 (ja) * 2005-11-29 2010-08-18 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4525925B2 (ja) * 2005-11-29 2010-08-18 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4332813B2 (ja) * 2007-07-23 2009-09-16 株式会社デンソー 自動車用ユーザーもてなしシステム
JP5152570B2 (ja) * 2008-03-06 2013-02-27 株式会社デンソー 自動車用ユーザーもてなしシステム
JP2011055250A (ja) 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
JP2012019895A (ja) * 2010-07-13 2012-02-02 Kokuyo Co Ltd 天板及び天板付家具
JP2012243007A (ja) 2011-05-18 2012-12-10 Toshiba Corp 映像表示装置及びそれを用いた映像領域選択方法
JP5703194B2 (ja) 2011-11-14 2015-04-15 株式会社東芝 ジェスチャ認識装置、その方法、及び、そのプログラム
JP6021488B2 (ja) 2012-07-19 2016-11-09 キヤノン株式会社 制御装置、制御方法、および制御プログラム
WO2014032822A2 (de) 2012-08-29 2014-03-06 Johnson Controls Gmbh Vorrichtung und verfahren zur steuerung von fahrzeugfunktionen durch detektion der interaktionen eines benutzers
JP6382721B2 (ja) * 2012-11-27 2018-08-29 サターン ライセンシング エルエルシーSaturn Licensing LLC 表示装置及び表示方法、並びにコンピューター・プログラム
JP6031972B2 (ja) 2012-11-27 2016-11-24 富士通株式会社 知覚反応分析装置,その方法及びプログラム
EP2746833A1 (en) * 2012-12-18 2014-06-25 Volvo Car Corporation Vehicle adaptation to automatic driver independent control mode
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US9440660B2 (en) 2014-07-22 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
JP6384869B2 (ja) 2015-01-23 2018-09-05 アルパイン株式会社 情報処理システム及びコンピュータプログラム
JP6115577B2 (ja) * 2015-01-29 2017-04-19 マツダ株式会社 車両用乗員感情対応制御装置
KR101687543B1 (ko) 2015-04-27 2016-12-19 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
JP6690649B2 (ja) 2015-09-18 2020-04-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10578864B2 (en) 2015-10-09 2020-03-03 Maxell, Ltd. Head-up display device
JP6556643B2 (ja) * 2016-02-19 2019-08-07 ヒュンダイ・モービス・カンパニー・リミテッド ヘッドアップディスプレイ装置
WO2018013192A2 (en) * 2016-04-18 2018-01-18 Massachusetts Institute Of Technology Extraction of features from physiological signals
JP6402136B2 (ja) * 2016-05-17 2018-10-10 オートリブ ディベロップメント エービー サイドエアバッグ装置
JP7067482B2 (ja) 2016-11-04 2022-05-16 ソニーグループ株式会社 制御装置、記録媒体、およびプログラム
US10257582B2 (en) 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
JP6683163B2 (ja) * 2017-03-29 2020-04-15 マツダ株式会社 車両運転支援システム
WO2019044400A1 (ja) 2017-08-28 2019-03-07 株式会社日立産機システム モータドライブシステム
JP6819539B2 (ja) * 2017-10-20 2021-01-27 株式会社デンソー ジェスチャ入力装置
JP2019113407A (ja) 2017-12-22 2019-07-11 トヨタ自動車株式会社 映像表示装置
EP3508381B1 (en) 2018-01-04 2021-03-03 Harman International Industries, Incorporated Moodroof for augmented media experience in a vehicle cabin
JP2019124601A (ja) * 2018-01-17 2019-07-25 トヨタ自動車株式会社 車両用表示装置
JP6973141B2 (ja) * 2018-02-07 2021-11-24 トヨタ自動車株式会社 車両用表示装置
JP2019140571A (ja) 2018-02-13 2019-08-22 三菱電機株式会社 コンテンツ再生制御装置、コンテンツ再生システムおよびプログラム
JP2019159867A (ja) 2018-03-14 2019-09-19 日本精機株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラム
JP7124367B2 (ja) * 2018-03-20 2022-08-24 トヨタ自動車株式会社 作業支援システム、情報処理方法およびプログラム
US10592197B2 (en) * 2018-04-24 2020-03-17 Adobe Inc. Gesture-based alignment methodology to extend the viewport on adjacent touch screen devices
JP2019208576A (ja) * 2018-05-31 2019-12-12 株式会社デンソー 感情データ取得装置および感情操作装置
JP2020003953A (ja) 2018-06-26 2020-01-09 日産自動車株式会社 画像照射方法及びユーザインタフェース装置
JP2020053795A (ja) * 2018-09-26 2020-04-02 株式会社Jvcケンウッド 表示制御装置、映像管理サーバ装置、表示システム、表示制御方法およびプログラム
CA3143234A1 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
JP7163732B2 (ja) 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP6741746B2 (ja) 2018-12-26 2020-08-19 株式会社ポケモン プログラム、ゲームサーバ、情報処理端末、方法およびゲームシステム
JP7028228B2 (ja) 2019-01-16 2022-03-02 株式会社デンソー 表示システム、表示制御装置及び表示制御プログラム
CN113348451A (zh) 2019-01-30 2021-09-03 索尼集团公司 信息处理系统、信息处理方法和信息处理设备
JP7172705B2 (ja) * 2019-02-18 2022-11-16 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
WO2020183893A1 (ja) * 2019-03-14 2020-09-17 ソニー株式会社 情報処理装置及び情報処理方法、並びに移動体装置
JP2020170345A (ja) * 2019-04-03 2020-10-15 トヨタ自動車株式会社 車両の運転アドバイス提供システム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JP2002267470A (ja) * 2001-03-14 2002-09-18 Toyota Motor Corp 情報提示システム及び情報提示方法
JP2003143477A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および方法
JP2005098916A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 車両用情報提供装置
JP2005207776A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2005208159A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2009290842A (ja) * 2008-06-02 2009-12-10 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
WO2017046937A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法
US20180066956A1 (en) * 2016-09-02 2018-03-08 Lg Electronics Inc. Vehicle user interface apparatus and vehicle
JP2020142792A (ja) * 2017-03-17 2020-09-10 マクセル株式会社 Ar表示装置
JP2019184962A (ja) * 2018-04-17 2019-10-24 株式会社Nttドコモ コンテンツ表示装置、コンテンツ提供サーバー装置及びコンテンツ表示装置の調光制御方法
WO2021192469A1 (ja) * 2020-03-23 2021-09-30 パナソニックIpマネジメント株式会社 表示装置、表示方法、及び車両

Also Published As

Publication number Publication date
JP7157188B2 (ja) 2022-10-19
JP2022071798A (ja) 2022-05-16
JP2022171655A (ja) 2022-11-11
JP7340078B2 (ja) 2023-09-06
JP7470171B2 (ja) 2024-04-17
JP7170076B2 (ja) 2022-11-11
JP2022071799A (ja) 2022-05-16
JP2022071797A (ja) 2022-05-16
JP7236478B2 (ja) 2023-03-09
JP2022071800A (ja) 2022-05-16
JP7122408B2 (ja) 2022-08-19
JP2022071796A (ja) 2022-05-16
JP2023027783A (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
US10585471B2 (en) Systems and methods to provide an interactive space based on predicted events
CN107074110B (zh) 显示控制装置以及记录了显示控制程序的记录介质
JP6834704B2 (ja) 走行支援装置及びコンピュータプログラム
US11256104B2 (en) Intelligent vehicle point of focus communication
US10460186B2 (en) Arrangement for creating an image of a scene
JP2005138755A (ja) 虚像表示装置およびプログラム
JP6946963B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2008056233A (ja) 車両内のナイトビューシステムを動作させる方法および対応するナイトビューシステム
JP7250547B2 (ja) エージェントシステム、情報処理装置、情報処理方法、およびプログラム
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
KR20220083675A (ko) 표시 시스템, 표시 장치, 표시 방법 및 이동 장치
JP2010185761A (ja) ナビゲーションシステム、道路地図表示方法
CN109774723A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
JP7014205B2 (ja) 表示制御装置および表示制御プログラム
JP2001235343A (ja) 情報出力装置
JP4253918B2 (ja) エージェント装置
JP7340078B2 (ja) 情報処理装置及びプログラム
JP7217090B2 (ja) 情報提供装置及び情報提供方法
JP2022043996A (ja) 表示制御装置及び表示制御プログラム
CN115534850B (zh) 界面显示方法、电子设备、车辆及计算机程序产品
JP2020009075A (ja) 車載用ロボット
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
JP7088643B2 (ja) 情報提供装置及び情報提供方法
US20240087339A1 (en) Information processing device, information processing system, and information processing method
US20240087334A1 (en) Information process system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7122408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150