JP2017151981A - 車両インフォマティクス及び仮想現実のための能動ウィンドウ - Google Patents

Abstract

【課題】普段は情報提示のために使用されない車両の窓ガラスに能動的に情報を表示する表示装置を提供する。【解決手段】車両２０１上のカメラ６６が周囲環境の画像２０８を取り込み、ＯＬＥＤディスプレイ又は透明なＬＣＤディスプレイなどの透明なディスプレイによって構築された車両のウィンドウ内に画像を提示する。車両に対するカメラの角度に従ってディスプレイ５０上にカメラからの画像を提示して、ウィンドウ上の画像が車両の乗員に、ウィンドウを通じて画像内の物体を見ている乗員に見えると思われる周囲環境に対して実質的に同じ相対的位置に見えるようにする。データベースからの画像を、ウィンドウを通じて見える背景的物体に重ね合わせてウィンドウ上に提示してもよい。【選択図】図２

Description

本出願は、一般に車両の能動ウィンドウに関する。

車両は、かなりの量の表面積が窓ガラスによって占められている。例えば、車両は、比較的大きなフロントガラス、サイドウィンドウ、リヤウィンドウ及びサンルーフを有する。

本明細書で理解されるように、車両の窓ガラスは受動的なものであり、普段は情報提示のために使用されない。また、やはり本明細書で理解されるように、能動的な車両窓ガラスは、望む通りに透明又は不透明であるための能力を保持する一方で、ビデオ、画像、テキスト及びその他の情報を提示することもできる。

従って、装置が、車両の周囲環境を取り込むために取り付けられたカメラから画像を受け取るように少なくとも１つのプロセッサによって実行可能な命令を含む、一時的信号ではない少なくとも１つのコンピュータメモリを含む。この命令は、車両に対するカメラの向きを表すデータにアクセスし、この車両に対するカメラの向きを表すデータに少なくとも部分的に基づいて、車両のディスプレイ上に物体を提示するように実行することができる。

本発明の実施形態では、方法が、車両ガラスの傾斜及び角度を内部の乗員のために補正するように表示画像を処理するステップを含む。このようにすると、車両の乗員には、ウィンドウ上の画像が実質的に画像を真っ直ぐ見ているかのように見える。

ある例では、ディスプレイが車両のウィンドウである。ディスプレイは、透明な有機発光ダイオード（ＯＬＥＤ）ディスプレイとすることができる。或いは、ディスプレイは、透明な液晶ディスプレイ（ＬＣＤ）とすることもできる。さらに、ディスプレイは、車両のウィンドウではなく、車両のドーム屋根又は車両のフロントのダッシュボード又はサイドパネルなどの不透明なものとすることもできる。

画像は、カメラによって生成することができる。他の実施形態では、画像がカメラによって生成されず、代わりにカメラからの少なくとも１つの画像内の少なくとも１つの物体についての物体認識を用いてデータベースから選択される。さらに別の実施形態では、画像がカメラによって生成され、いくつかの物体及びシーンが画像内で合成される。結果として得られる画像は、外部環境と合成物体とを融合させたものである。

他の実施形態では、画像がカメラによって生成されず、景色及びパノラマのデータベースから選択される。画像は、景色及びパノラマを通じて車両の動きを反映するように変化することができる。

別の態様では、方法が、カメラを用いて車両の周囲環境を撮像して少なくとも１つの画像を生成するステップと、車両に対するカメラの角度に従って車両の少なくとも１つのウィンドウ上に画像を提示するステップとを含む。このようにすると、車両の乗員には、ウィンドウ上の画像が、ウィンドウを通じて物体を見ている乗員に見えると思われる周囲環境に対して実質的に同じ相対的位置に見える。

別の態様では、アセンブリが、自動車と、車両上に取り付けられた少なくとも１つのカメラと、乗員の目の高さで車両に取り付けられた少なくとも１つのディスプレイとを含む。少なくとも１つのプロセッサが、車両に対するカメラの向きを表す少なくとも１つの配向データを含むデータを受け取る命令で構成される。プロセッサは、これに基づいてディスプレイ上に少なくとも１つの画像を提示するように構成される。

別の態様では、装置が、車両ウィンドウの曲率及び輪郭に一致するように構成されたディスプレイを含む。ディスプレイは、車両内の乗員に対してテキスト、ビデオ及び画像を表示することができる。ディスプレイは、透明な有機発光ダイオード（ＯＬＥＤ）、又は透明な液晶ディスプレイ（ＬＣＤ）である。

本出願の詳細は、その構造及び動作の両方に関し、同じの要素を同じ参照符号で示す添付図面を参照することで最も良く理解することができる。

本原理による例を含むシステム例のブロック図である。 ウィンドウディスプレイ上に提示される画像と、ウィンドウを通じて見えると思われる物理的物体とを示し、ディスプレイ領域を破線で示す、車両内のウィンドウディスプレイの概略図である。 １つの実施形態によるロジック例のフローチャートである。 拡張表示を選択するためのユーザインターフェイス（ＵＩ）例のスクリーンショットである。 別の実施形態によるロジック例のフローチャートである。

本開示は、一般に、消費者電子（ＣＥ）デバイスを含むことができるコンピュータネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、互いにデータを交換できるようにネットワークを介して接続されたサーバコンポーネント及びクライアントコンポーネントを含むことができる。クライアントコンポーネントは、ポータブルテレビ（例えば、スマートＴＶ、インターネット対応ＴＶ）、ラップトップコンピュータ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートフォン及び後述するさらなる例を含むその他のモバイルデバイスを含む１又は２以上のコンピュータデバイスを含むことができる。これらのクライアントデバイスは、様々な動作環境で動作することができる。例えば、クライアントコンピュータの一部は、一例として、Ｍｉｃｒｏｓｏｆｔ社製のオペレーティングシステム、又はＵｎｉｘオペレーティングシステム、又はＡｐｐｌｅ社又はＧｏｏｇｌｅ社製のオペレーティングシステムを使用することができる。これらの動作環境を用いて、Ｍｉｃｒｏｓｏｆｔ社又はＧｏｏｇｌｅ社又はＭｏｚｉｌｌａ又はその他のブラウザプログラムによって作製された、後述するインターネットサーバによってホストされるウェブサイトにアクセスできるブラウザなどの１又は２以上のブラウジングプログラムを実行することができる。

サーバ及び／又はゲートウェイは、インターネットなどのネットワークを介してデータを送受信するようにサーバを構成する命令を実行する１又は２以上のプロセッサを含むことができる。或いは、ローカルイントラネット又は仮想プライベートネットワークを介してクライアントとサーバを接続することもできる。サーバ又はコントローラは、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（商標）などのゲーム機、パーソナルコンピュータなどによって例示することもできる。

クライアントとサーバとの間では、ネットワークを介して情報を交換することができる。この目的及びセキュリティのために、サーバ及び／又はクライアントは、ファイヤウォール、ロードバランサ、一時記憶デバイス、及びプロキシ、並びに信頼性及びセキュリティを高めるその他のネットワークインフラを含むことができる。

本明細書で使用する命令とは、システム内で情報を処理するためのコンピュータ実行ステップのことを意味する。命令は、ソフトウェア、ファームウェア、又はハードウェアに実装することができ、システムのコンポーネントが行うあらゆるタイプのプログラムステップを含むことができる。

プロセッサは、アドレス回線、データ回線及び制御回線などの様々な回線、並びにレジスタ及びシフトレジスタによってロジックを実行できるいずれかの従来の汎用シングルチップ又はマルチチッププロセッサとすることができる。

フローチャートによって説明するソフトウェアモジュール、及び本明細書におけるユーザインターフェイスは、様々なサブルーチン、手続きなどを含むことができる。本開示を限定することなく、特定のモジュールによって実行されるものとして開示するロジックは、他のソフトウェアモジュールに再分配し、及び／又は単一のモジュールに組み合わせ、及び／又は共有可能なライブラリ内で利用することもできる。

本明細書で説明する本原理は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせとして実装することができ、従って例示的なコンポーネント、ブロック、モジュール、回路及びステップについては、これらの機能面から説明する。

上記で示唆したものに加え、以下で説明する論理ブロック、モジュール及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）などの他のプログラマブル論理デバイス、離散ゲート又はトランジスタロジック、離散ハードウェアコンポーネント、又は本明細書で説明する機能を実行するように設計されたこれらのいずれかの組み合わせで実装し、又はこれらの組み合わせによって実行することができる。プロセッサは、コントローラ、状態機械、又はコンピュータデバイスの組み合わせによって実装することができる。

以下で説明する機能及び方法は、ソフトウェアで実装した場合、限定するわけではないが、Ｃ＃、Ｃ＋＋などの適当な言語で書くことができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能プログラム可能リードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、又はデジタル多用途ディスク（ＤＶＤ）などの他の光ディスクストレージ、磁気ディスクストレージ、又は取り外し可能なサムドライブなどを含む他の磁気ストレージデバイスなどのコンピュータ可読記憶媒体に記憶し、又はこれらを通じて伝送することができる。ある接続は、コンピュータ可読媒体を構築することができる。このような接続は、一例として、光ファイバ、同軸線、デジタル加入者回線（ＤＳＬ）及びツイストペア線を含む有線ケーブルを含むことができる。

１つの実施形態に含まれるコンポーネントを、他の実施形態においていずれかの適当な組み合わせで使用することもできる。例えば、本明細書において説明する及び／又は図に示す様々なコンポーネントのいずれかは、組み合わせ、置き換え、又は他の実施形態から除外することができる。

「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム（同様に、「Ａ、Ｂ又はＣのうちの少なくとも１つを有するシステム」、及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又はＡとＢとＣ全てなどを有するシステムを含む。

ここで図１を具体的に参照すると、本原理による、上述してさらに以下で説明する、１又は２以上のデバイス例を含むことができるエコシステム例１０を示している。システム１０に含まれる第１のデバイス例は、一次ディスプレイデバイス例として構成された消費者電子（ＣＥ）デバイスであり、図示の実施形態では、限定するわけではないが、（ＴＶを制御するセットトップボックスに相当する）ＴＶチューナを有するインターネット対応ＴＶなどのオーディオビデオディスプレイデバイス（ＡＶＤＤ）１２である。また、ＡＶＤＤ１２は、例えば、コンピュータ化されたインターネット対応（「スマート」）電話機、タブレットコンピュータ、ノートブックコンピュータ、コンピュータ化されたインターネット対応腕時計などのコンピュータ化されたウェアラブルデバイス、コンピュータ化されたインターネット対応ブレスレット、その他のコンピュータ化されたインターネット対応デバイス、コンピュータ化されたインターネット対応音楽プレーヤ、コンピュータ化されたインターネット対応ヘッドホン、埋め込み型皮膚装着デバイスなどのコンピュータ化されたインターネット対応埋め込み型デバイスなどとすることもできる。いずれにせよ、ＡＶＤＤ１２及び／又は本明細書で説明する他のコンピュータは、本原理を実施する（例えば、他のＣＥデバイスと通信して本原理を実施し、本明細書で説明するロジックを実行し、本明細書で説明する他のいずれかの機能及び／又は動作を実行する）ように構成されると理解されたい。以下でさらに説明するように、図１に示すコンポーネントの一部又は全部を含むＡＶＤＤ１２は、車両内に取り付けて又は統合することができる。車両は、人が車両を運転するためのハンドルを有する車又はトラックなどの自動車とすることも、或いは人が車両を制御するためのハンドル又はその他の手段を有していない電動無人車両とすることもできる。

従って、ＡＶＤＤ１２は、このような原理を実施するために、図１に示すコンポーネントの一部又は全部によって構築することができる。例えば、ＡＶＤＤ１２は、高精細又は超高精細「４Ｋ」又はそれよりも高精細なフラットスクリーンによって実装できる、ディスプレイへのタッチを介してユーザ入力信号を受け取るタッチ対応とすることができる１又は２以上のディスプレイ１４を含むことができる。ＡＶＤＤ１２は、本原理に従ってオーディオを出力する１又は２以上のスピーカ１６、及び、例えばＡＶＤＤ１２に可聴コマンドを入力してＡＶＤＤ１２を制御する、オーディオ受信機／マイクなどの少なくとも１つの追加の入力デバイス１８を含むことができる。ＡＶＤＤ例１２は、１又は２以上のプロセッサ２４の制御下でインターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を介して通信する１又は２以上のネットワークインターフェイス２０を含むこともできる。従って、インターフェイス２０は、限定するわけではないが、メッシュネットワークトランシーバなどの無線コンピュータネットワークインターフェイスの一例であるＷｉ−Ｆｉトランシーバとすることができる。プロセッサ２４は、画像を提示するようにディスプレイ１４を制御することや、ディスプレイ１４からの入力を受け取ることなどの、本明細書で説明するＡＶＤＤ１２の他の要素を含めて本原理を実施するようにＡＶＤＤ１２を制御すると理解されたい。さらに、ネットワークインターフェイス２０は、例えば、有線又は無線モデム又はルータ、或いは無線電話トランシーバ、又は上述したようなＷｉＦｉトランシーバなどの他の適当なインターフェイスとすることもできる。

ＡＶＤＤ１２は、上述の内容に加えて、（有線接続などを用いて）別のＣＥデバイスに物理的に接続するための高品位マルチメディアインターフェイス（ＨＤＭＩ）ポート又はＵＳＢポートなどの１又は２以上の入力ポート２６、及び／又はＡＶＤＤ１２からヘッドホンを通じてユーザに音声を提示できるようにＡＶＤＤ１２にヘッドホンを接続するためのヘッドホンポートを含むこともできる。例えば、入力ポート２６は、有線又は無線を介してオーディオビデオコンテンツのセルブロードキャスト、ケーブル又は衛星ソース２６ａに接続することができる。従って、ソース２６ａは、例えば独立型又は一体型セットトップボックス、或いは衛星受信機とすることができる。或いは、ソース２６ａは、ユーザが以下でさらに説明するチャネル割り当てのためのお気に入りと見なすことができるコンテンツを含むゲーム機又はディスクプレーヤとすることもできる。

ＡＶＤＤ１２は、場合によってはスタンドアロンデバイスとして、又はＡＶＤＤのシャーシ内部又は外部のＡＶ番組を再生するパーソナルビデオ録画デバイス（ＰＶＲ）又はビデオディスクプレーヤとして、或いは取り外し可能な記憶媒体としてＡＶＤＤのシャーシ内に具体化された、一時的信号ではないディスク型ストレージ又は固体ストレージなどの１又は２以上のコンピュータメモリ２８をさらに含むことができる。また、いくつかの実施形態では、ＡＶＤＤ１２が、以下に限定するわけではないが、例えば、少なくとも１つの衛星又は携帯電話タワーから地理的位置情報を受け取ってプロセッサ２４に提供するように構成された、及び／又はＡＶＤＤ１２が配置されている高度をプロセッサ２４と協働して特定するように構成された、携帯電話受信機、ＧＰＳ受信機及び／又は高度計３０などの位置又は場所受信機を含むこともできる。しかしながら、本原理に従って携帯電話受信機、ＧＰＳ受信機及び／又は高度計以外の別の好適な位置受信機を用いて、例えば３次元全てでＡＶＤＤ１２の場所を特定することもできると理解されたい。

ＡＶＤＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤＤ１２が、例えば熱探知カメラ、ウェブカメラなどのデジタルカメラ、及び／又はＡＶＤＤ１２に一体化され、本原理に従って写真／画像及び／又はビデオを収集するようにプロセッサ２４によって制御可能なカメラとすることができる１又は２以上のカメラ３２を含むこともできる。ＡＶＤＤ１２は、Ｂｌｕｅｔｏｏｔｈ及び／又は近距離無線通信（ＮＦＣ）技術をそれぞれ用いて他のデバイスと通信するＢｌｕｅｔｏｏｔｈトランシーバ３４及びその他のＮＦＣ要素３６を含むこともできる。ＮＦＣ要素の例としては、無線周波数識別（ＲＦＩＤ）要素を挙げることができる。

さらに、ＡＶＤＤ１２は、プロセッサ２４に入力を提供する１又は２以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、車輪回転記録器、磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／又は歩調センサ、（ジェスチャコマンドなどを感知するための）ジェスチャセンサなどのモーションセンサ）を含むこともできる。ＡＶＤＤ１２は、プロセッサ２４に入力を提供するＯＴＨ ＴＶ放送を受信する無線ＴＶ放送ポート３８を含むこともできる。上述の内容に加え、ＡＶＤＤ１２は、ＩＲデータ通信協会（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信機及び／又はＩＲ受信機及び／又はＩＲトランシーバ４２を含むこともできる。ＡＶＤＤ１２に給電を行うバッテリ（図示せず）を提供することもできる。

引き続き図１を参照すると、システム１０は、ＡＶＤＤ１２に加えて、図示のＡＶＤＤ１２のコンポーネントの一部又は全部を含むことができる１又は２以上の他のコンピュータデバイスタイプを含むことができる。１つの例では、第１のデバイス４４を内蔵車両コンピュータシステムによって実装することができる。第２のデバイス４６は、ＡＶＤＤ１２又は第１のデバイス４４と同様のコンポーネントを含むことができ、従って詳細には説明しない。図に示すものより少ない又は多くのデバイスを使用することもできる。

図示の例では、本原理を説明するために、３つのデバイス１２、４４、４６全てが、例えば破線で示す車両４８内のローカルネットワークのメンバーであると仮定する。

非限定的な第１のデバイス例４４は、ディスプレイへのタッチを介してユーザ入力信号を受け取るようにタッチ式とすることができる１又は２以上のディスプレイ５０を含むことができる。ディスプレイ５０は、車両４８のウィンドウのうちの１つとして構成された透明な能動ディスプレイとすることができる。

１つの例では、ディスプレイ自体が、関連する車両法規に適した安全ガラスとして構成される。他の実施形態では、ディスプレイ５０を、標準的な車両ウィンドウ上に重ね合わせた可撓性の有機発光ダイオード（ＯＬＥＤ）ディスプレイとすることができる。透明な液晶ディスプレイ（ＬＣＤ）を使用することもできる。透明な投影スクリーンを使用することもできる。

第１のデバイス４４は、本原理に従ってオーディオを出力する１又は２以上のスピーカ５２、及び、例えば第１のデバイス４４に可聴コマンドを入力してデバイス４４を制御する、オーディオ受信機／マイクなどの少なくとも１つの追加の入力デバイス５４を含むことができる。第１のデバイス例４４は、エンジン制御モジュール（ＥＣＭ）などの１又は２以上の車両プロセッサ５８の制御下でネットワーク２２を介して通信を行うための１又は２以上のネットワークインターフェイス５６を含むこともできる。従って、インターフェイス５６は、限定するわけではないが、無線コンピュータネットワークインターフェイスの一例である、メッシュネットワークインターフェイスを含むＷｉ−Ｆｉトランシーバとすることができる。プロセッサ５８は、画像を提示するようにディスプレイ５０を制御することや、ディスプレイ５０からの入力を受け取ることなどの、本明細書で説明する第１のデバイス４４の他の要素を含めて本原理を実施するように第１のデバイス４４を制御すると理解されたい。さらに、ネットワークインターフェイス５６は、例えば有線又は無線モデム又はルータ、或いは無線電話トランシーバ、又は上述したＷｉ−Ｆｉトランシーバなどの他の適当なインターフェイスとすることもできる。

第１のデバイス４４は、上述の内容に加えて、（有線接続などを用いて）別のコンピュータデバイスに物理的に接続するためのＨＤＭＩポート又はＵＳＢポートなどの１又は２以上の入力ポート６０、及び／又は第１のデバイス４４からヘッドホンを通じてユーザに音声を提示できるように第１のデバイス４４にヘッドホンを接続するためのヘッドホンポートを含むこともできる。第１のデバイス４４は、ディスク型ストレージ又は固体ストレージなどの１又は２以上の有形コンピュータ可読記憶媒体６２をさらに含むことができる。また、いくつかの実施形態では、第１のデバイス４４が、以下に限定するわけではないが、例えば、少なくとも１つの衛星及び／又は携帯電話タワーから三角測量法を用いて地理的位置情報を受け取ってデバイスプロセッサ５８に提供するように構成された、及び／又はデバイス４４が配置されている高度をデバイスプロセッサ５８と協働して特定するように構成された、携帯電話受信機及び／又はＧＰＳ受信機及び／又は高度計６４などの位置又は場所受信機を含むこともできる。しかしながら、本原理に従って携帯電話受信機及び／又はＧＰＳ受信機及び／又は高度計以外の別の好適な位置受信機を用いて、例えば第１のデバイスの場所を例えば３次元全てにおいて特定することもできると理解されたい。

第１のデバイス４４の説明を続けると、いくつかの実施形態では、第１のデバイス４４が、例えば、熱探知カメラ、ウェブカムなどのデジタルカメラなどとすることができる１又は２以上のカメラ６６、及び／又は第１のデバイス４４が含まれる車両４８に一体化され、本原理に従って写真／画像及び／又はビデオを収集するようにデバイスプロセッサ５８によって制御できるカメラを含むこともできる。第１のデバイス４４は、Ｂｌｕｅｔｏｏｔｈ及び／又は近距離無線通信（ＮＦＣ）技術をそれぞれ用いて他のデバイスと通信するＢｌｕｅｔｏｏｔｈトランシーバ６８及びその他のＮＦＣ要素７０を含むこともできる。ＮＦＣ要素の例としては、無線周波数識別（ＲＦＩＤ）要素を挙げることができる。

さらに、第１のデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１又は２以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、車輪回転記録器、磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／又は歩調センサ、（ジェスチャコマンドなどを感知するための）ジェスチャセンサなどのモーションセンサ）を含むこともできる。第１のデバイス４４は、デバイスプロセッサ５８に入力を提供する１又は２以上の気候センサ７４（例えば、気圧計、湿度センサ、風力センサ、光センサ、温度センサなど）及び／又は１又は２以上の生体センサ７６などのさらに他のセンサを含むこともできる。上述の内容に加え、いくつかの実施形態では、第１のデバイス４４が、ＩＲデータ通信協会（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信機及び／又はＩＲ受信機及び／又はＩＲトランシーバ４２を含むこともできる。第１のデバイス４４に給電を行う車両バッテリなどのバッテリ（図示せず）を提供することもできる。デバイス４４は、上述した通信モード及び関連するコンポーネントのうちのいずれかを通じてＡＶＤＤ１２と通信することができる。

車両内デバイス４４のコンポーネントは、共通ハウジング内に封入しても、又はしなくてもよい。

第２のデバイス４６は、上述したコンポーネントの一部又は全部を含むことができる。

次に、上述した少なくとも１つのサーバ８０を参照すると、このサーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスク型ストレージ又は固体ストレージなどの搬送波でなくてもよい少なくとも１つの有形のコンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御下でネットワーク２２を介して図１の他のデバイスと通信することを可能にし、実際には本原理に従ってサーバとクライアントデバイスとの間の通信を容易にすることができる少なくとも１つのネットワークインターフェイス８６とを含む。なお、ネットワークインターフェイス８６は、例えば、有線又は無線モデム又はルータ、ＷｉＦｉトランシーバ、或いは無線電話トランシーバなどの他の適当なインターフェイスとすることもできる。

従って、いくつかの実施形態では、サーバ８０をインターネットサーバとすることができ、またサーバ８０は、実施形態例ではシステム１０のデバイスがサーバ８０を介して「クラウド」環境にアクセスするように、「クラウド」機能を含んでこの機能を実行することができる。或いは、図１に示す他のデバイスと同じ室内の、又は近くのゲーム機又は他のコンピュータによってサーバ８０を実装することもできる。

能動ディスプレイ５０は、単独で又は他のデバイスと共に動作する上述したコンポーネント１２、４４、４６、８０のうちのいずれか１つによって制御することができる。例えば、ＡＶＤＤ１２からＥＣＭプロセッサ５８に、例えばＷｉＦｉ又はＢｌｕｅｔｏｏｔｈを介して画像を通信してウィンドウ様ディスプレイ５０上に提示することができる。或いは、ＥＣＭプロセッサ５８は、車両カメラ６６からの入力を用いて画像を提示することもできる。さらに、ウィンドウ様ディスプレイ上に提示する画像をサーバ８０から抽出し、ＷｉＦｉ又は無線電話送信を用いてＥＣＭプロセッサ５８に送信してウィンドウ様ディスプレイ５０上に提示することもできる。

本明細書で理解されるように、能動ディスプレイは、車両ウィンドウに適した曲率、形状、サイズ及び厚みを有するように構成することができる。車両ウィンドウ上に画像を提示することは、空間を通じた車両のナビゲーションに車両の乗員が誰も注意を払う必要がない自動運転車の出現によって特に有利になり得る。従って、図１に示す車両４８は、自動運転車とすることができる。

ウィンドウ様ディスプレイ５０は、映画などのビデオ及び／又はウェブページを、まるでディスプレイがコンピュータ画面又はタブレットであるかのように提示することができる。

本明細書でさらに理解されるように、ウィンドウ様ディスプレイ５０上に提示されるコンテンツは、透明ディスプレイ５０を通じて見える自然の光景を増強するように「仮想化」することができる。例えば、視野内のランドマーク及び関心を引く要素を識別するように、屋外の画像にテキストを重ね合わせることができる。外部の世界を「仮想現実」で表して、外部の世界のナビゲーションを単純化することもできる。例えば、２つの木又は岩の間から恐竜が覗いている画像を提示し、或いは砂漠の風景に草、湖及び花の画像を重ね合わせ、そこを車両４８が通過する様子が透明ディスプレイ５０を通じて車両の乗員に見えるようにして、ウィンドウ様ディスプレイ５０を通じて見える「現実感」を、楽しいことが起きるように強化することができる。ウィンドウディスプレイ５０を通じて見える自然の物体に重ね合わせてウィンドウディスプレイ５０上に提示できる他の画像例としては、自然の山に重ね合わせたスキーヤーの画像、又はテキストを表示するバナーを点灯して旋回する小型飛行船の画像が挙げられる。

いくつかの実施形態では、ＡＶＤＤカメラ３２又は車両デバイスカメラ６６を用いて車両４８の外部の画像を取り込み、例えば車両プロセッサ５８により、カメラが画像を取り込んだ時に向いていた方位及び高度に対応するディスプレイ５０上の位置に画像を表示することができる。必要に応じて、ウィンドウディスプレイ上に提示する前に、車両プロセッサ３８又はＡＶＤＤプロセッサ２４によって画像を処理して「強化」することもできる。

図２に、上記原理の例を示す。図示の非限定的な例では、図１に示すカメラ６６を１又は２以上のモータ２００に結合して、カメラが配置された車両２０１に対してカメラ６６を動かし、ウィンドウディスプレイ５０が車両のフロントガラスを構築する。１又は２以上のウィンドウディスプレイ５０は、同様に車両のリヤウィンドウ及びサイドウィンドウを構築し、本原理に従って動作することもできる。

１又は２以上のモータ２００は、矢印２０２によって示す水平次元又は方位次元で、及び／又は矢印２０４によって示す垂直次元又は高度次元でカメラを回転させることができる。例えば１又は２以上のモータ２００に結合された１又は２以上のエンコーダにより、例えば車両２０１の進行方向に対するカメラの角度をこれらの次元の一方又は両方において検出して車両プロセッサ５８に送信することができる。或いは、カメラが車両内に特定の仰角及び方位角で固定して取り付けられている場合には、これらの角度をプロセッサ５８内にプログラムすることもできる。カメラを車両の上部に取り付けて、車両の周囲３６０度全部の景色を取り込むこともできる。車内からの景色は上向きに調整される。プロセッサ５８によって方位角を追跡することもできる。

図２に示すように、ウィンドウディスプレイ５０は、透明なＯＬＥＤ又はＬＣＤ又はその他のタイプの能動ディスプレイで構成されているので、車両の乗員は、ウィンドウディスプレイ５０を通じて、図示の山２０６などの車両周囲の物理的環境内の背景的な物理的物体を見ることができる。プロセッサ５８は、後述する技術のうちの１つ又は２つ以上に従って、ウィンドウディスプレイ５０の領域２１０内に、スキーヤーの画像例２０８などの画像を物理的物体２０６に重なり合って見えるように提示することができる。画像２０８が提示される領域２１０は、車両に対するカメラの向きを表すデータに少なくとも部分的に基づくことができる。しかしながら、以下でさらに示すように、カメラ６６は、画像２０８を生成することも、又は生成しないこともできる。

図３に、本明細書におけるプロセッサのうちのいずれか１つ又は２つ以上により、カメラ６６を用いて画像２０８を生成するように実行できるロジックを示す。ブロック３００から開始し、カメラを用いて車両の物理的環境を撮像し、画像２０８などの、物理的環境内の少なくとも１つの物理的物体の少なくとも１つの画像を生成する。ブロック３０２において、方位次元及び／又は高度次元における車両２０１に対するカメラ６６の向きにアクセスする。ブロック３０４において、この向きをウィンドウ領域２１０に関連付ける。

ある実施形態では、ウィンドウ領域２１０が、カメラ６６の場所に存在して車両に対して同じ角度方向でウィンドウの外を見ている観察者に見えるウィンドウディスプレイ５０の領域となるように決定される。他の実施形態では、想定される観察者の位置を運転席又は助手席からの位置とし、領域２１０を選択するために使用する角度方向を、想定される観察者の位置と実際のカメラの位置との間の視差を考慮するようにオフセットし、これをプロセッサ５８にプログラムすることができる。

想定される観察者の位置は、例えば車両内のシートセンサからの信号を用いて動的に選択することができる。シートベルト警告信号のために車両シートに人が座っているかどうかをＥＣＭに知らせるものと同じシートセンサを使用することができる。従って、運転席のみに人がいると示された場合には、想定される観察者の位置を運転席とすることができるのに対し、運転席及び助手席の両方に人がいる場合には、想定される観察者の位置を、車両の乗員がそうでないことを示すようにデフォルト指定を変更しない限り助手席にデフォルト指定することができる。さらに、運転席の後部のいずれかのシートに人がいる場合には、想定される観察者のデフォルトの位置を、人が乗っている後部シートからのものとすることができる。

ブロック３０４からブロック３０６に進み、ブロック３０２でアクセスした車両に対するカメラの角度に従って、車両の少なくとも１つのウィンドウ上に、好ましくは領域２１０内に画像２０８を提示する。このようにすると、車両の乗員には、ウィンドウディスプレイ５０上の画像２０８が、ウィンドウを通じて画像内の物体を見ている乗員に見えると思われる周囲環境２０６に対して実質的に同じ相対的位置に見える。別の実施形態では、カメラ６６を車両の上部に取り付けて、周囲３６０度の画像を提供する。この実施形態では、ウィンドウディスプレイ５０内の画像２０８が、特に車両のすぐ近くの風景ではわずかに上に変位して見えることがある。

図４は、本明細書で開示した様々な動作を選択するようにディスプレイ１４を含む本明細書に示すディスプレイのいずれかに提示できるユーザインターフェイスのスクリーンショット例である。これらの選択は、ウィンドウディスプレイ５０を制御するプロセッサに通信することができる。

４００に示すように、ユーザには、本明細書のロジックを無効にし、代わりにウィンドウディスプレイ５０を専ら透明なウィンドウとして使用してディスプレイ上に画像を提示しないようにするオプションを与えることができる。ユーザには、図３のロジックを有効にすることによってビデオ画像を提示するビデオセレクタ４０２、及び図３のロジックを有効にすることによって写真の静止画像を提示する写真セレクタ４０４を提供することもできる。ユーザには、図５のロジックを有効にするファンセレクタ４０６を提供することもできる。

従って、ここで図５を参照すると、ブロック５００において、カメラ６６からの画像を受け取ることができる。必要に応じ、ブロック５０２において、車両の進行方向に対するカメラの向きを受け取ることもできる。ブロック５０４において、カメラからの画像内の１又は２以上の物体に対して物体認識を実行することができる。

１つの実施形態では、ブロック５０６においてさらなる処理のために選択される物体が、境界認識によって決定される画像内の最も大きな物体である。別の実施形態では、選択される物体を、ヒストグラム解析によって示される最も明るい物体又はその中の最も色の豊富な物体とすることができる。或いは、画像内の真ん中の物体を選択することもできる。

物体を選択すると、ロジックはブロック５０８に進む。ブロック５０８において、物体の名前又はその他の記述をルックアップテーブル又はその他のデータ構造などへの入力引数として用いて、物体に対応する画像を選択することができる。例えば、選択された物体が「山」である場合、データ構造は、これをスキーヤーの画像、又は山頂越しに覗いている恐竜の画像に関連付けることができる。さらに、画像は、山の名前及びその他の特徴のテキストとすることもできる。物体に複数の画像が相関付けられている場合、プロセッサは、１つをランダムに選択することができる。次に、ブロック５１０において、カメラ角度に対応するウィンドウディスプレイ５０の増強すべき領域２１０内に、ウィンドウを通じて見える物理的物体に重ね合わせて奇想的な形又は情報提供の形で画像を提示する。

或いは、「ライブ」画像を強調するように、ゾーン及びセグメントを有効にしてウィンドウディスプレイを通じて外部から直接光を取り込むこともできる。

ウィンドウディスプレイ５０の外部から受け取られる光は、表示画素によって若干塞がれることもあるが、ディスプレイは「透明な」ままであり、多くの人々は自分の車のガラスをそのままかなり暗い色にしているので、これは許容可能とすることができる。

上記の開示では、車両のウィンドウとして具体化されたディスプレイ５０に焦点を当てたが、同様に車両の他の表面も透明なディスプレイ材料で構成し、例えば観察者が車両の床を見下ろしてその方向の景色に対応すると思われる画像を見ることができるようにシームレスな光景を形成することもできる。

別の実施形態では、車両に透明なウィンドウを全く設けないこともできる。代わりに、通常であれば透明なウィンドウが配置される位置に不透明なディスプレイを取り付け、車両に配置した複数のカメラ６６によって車両の周囲の実質的に３６０度を撮像し、車両内部に「外部の世界」の画像を表示する画像を不透明なディスプレイ上に生成することもできる。車の内側ドーム全てをディスプレイとして、湾曲したディスプレイガラスとすることも、又はそこに画像を投影することもできる。

実際に、車両が自動運転車である場合には、このような車両を人が運転できないこともある。このような環境では、たとえ安全上の理由であっても、車両内に実際の環境を表示する必要が全くない場合もある。従って、車両の物理的物体の画像を表示する必要はない。代わりに、乗員室を取り囲む、通常はウィンドウである不透明なディスプレイ上に、架空の画像又は動画を提示することができる。例えば、頭上に迫りくる星、地球、太陽及び火星の画像が不透明なディスプレイ上に表示される「火星接近」プログラムを選択することができる。付随する音響により、火星軌道位置への到着が「Ｘ」マイルに差し迫っていることを乗員に知らせることができる。

このような仮想シナリオは、全てが旅行に関するものである必要はない。例えば、透明なウィンドウの代わりに不透明なディスプレイを有する自動運転車に乗っている間、鳥がさえずっている場所の小川のほとりに座っている人に見えるようなビデオを再生したり、又は別の自然の光景を再生したりすることもできる。

上記の方法は、プロセッサ、好適に構成された特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュールによって実行されるソフトウェア命令として、或いは当業者が理解すると思われる他のいずれかの便利な形として実装することができる。ソフトウェア命令は、使用する場合、ＣＤ ＲＯＭ又はフラッシュドライブなどの非一時的デバイスに具体化することができる。ソフトウェアコード命令は、無線信号又は光信号などの一時的構成に、或いはインターネットを介したダウンロードを通じて具体化することもできる。

いくつかの実施形態例を参照しながら本原理について説明したが、これらの実施形態は、限定的であることを意図するものではなく、本明細書において特許請求する主題は、様々な別の構成を用いて実装することもできると理解されるであろう。

Claims (18)

1. 装置であって、
   一時的信号ではない、命令を含む少なくとも１つのコンピュータメモリを備え、前記命令は、少なくとも１つのプロセッサにより、
   車両上のカメラから前記車両の背景環境の画像を受け取り、
   前記車両に対する前記カメラの向きを表すデータにアクセスし、
   前記車両に対する前記カメラの向きを表す前記データに少なくとも部分的に基づいて、前記車両のディスプレイ上に物体を提示する、
   ように実行可能である、
   ことを特徴とする装置。
2. 前記ディスプレイは、前記車両のウィンドウである、
   請求項１に記載の装置。
3. 前記ディスプレイは、透明な有機発光ダイオード（ＯＬＥＤ）ディスプレイ及び透明な液晶ディスプレイ（ＬＣＤ）の一方である、
   請求項２に記載の装置。
4. 前記ディスプレイは、前記車両のサンルーフである、
   請求項１に記載の装置。
5. 前記ディスプレイは、前記車両のウィンドウではない、
   請求項１に記載の装置。
6. 前記画像は、前記カメラによって生成される、
   請求項１に記載の装置。
7. 前記画像は、前記カメラによって生成されない、
   請求項１に記載の装置。
8. 前記少なくとも１つのプロセッサを備える、
   請求項１に記載の装置。
9. カメラを用いて車両の周囲環境を撮像して少なくとも１つの画像を生成するステップと、
   前記車両に対する前記カメラの角度に従って前記車両の少なくとも１つのウィンドウ上に前記画像を提示して、前記ウィンドウ上の前記画像が前記車両の乗員に、前記ウィンドウを通じて前記画像内の物体を見ている前記乗員に見えると思われる前記周囲環境に対して実質的に同じ相対的位置に見えるようにするステップと、
   を含むことを特徴とする方法。
10. 前記ウィンドウは、透明な有機発光ダイオード（ＯＬＥＤ）ディスプレイを含む、
    請求項９に記載の方法。
11. 前記ウィンドウは、透明な液晶ディスプレイ（ＬＣＤ）を含む、
    請求項９に記載の方法。
12. 前記車両に対する前記カメラの仰角に従って、前記車両の少なくとも１つのウィンドウ上に前記画像を提示するステップを含む、
    請求項９に記載の方法。
13. 前記車両に対する前記カメラの方位角に従って、前記車両の少なくとも１つのウィンドウ上に前記画像を提示するステップを含む、
    請求項９に記載の方法。
14. 前記車両に対する前記カメラの方位角に従って、前記車両の少なくとも１つのウィンドウ上に前記画像を提示するステップを含む、
    請求項１２に記載の方法。
15. 装置であって、
    車両ウィンドウの曲率及び輪郭に一致するように構成されたディスプレイを備え、
    前記ディスプレイは、前記車両の車室内の乗員にテキスト、ビデオ及び画像を表示することができ、
    前記ディスプレイは、透明な有機発光ダイオード（ＯＬＥＤ）及び透明な液晶ディスプレイ（ＬＣＤ）の一方である、
    ことを特徴とする装置。
16. 前記ディスプレイ内のガラスは、規制安全指針に準拠する、
    請求項１５に記載の装置。
17. 前記画像は、前記車両上の少なくとも１つのカメラによって生成される、
    請求項１５に記載のアセンブリ。
18. 前記画像の少なくとも一部は、前記車両に取り付けられたカメラによって生成されず、前記車両に取り付けられた前記カメラからの少なくとも１つの画像内の少なくとも１つの物体についての物体認識を用いてデータベースから選択される、
    請求項１５に記載のアセンブリ。

Images