JP2015162901A - ライブ映像を有する仮想透過型インストルメントクラスタ - Google Patents

Abstract

【課題】ライブ映像を有する仮想透過型インストルメントクラスタの提供。【解決手段】本明細書に開示される少なくとも１つの実施形態は、車両外部領域の映像の三次元表現を含む三次元映像出力を生成することと、三次元映像出力を車両内に配置された三次元ディスプレイ上に表示することとを含む。ライブ映像を車両内に表示するための方法であって、車両の外部にある領域の映像を前記車両の運転者の視線に基づいて撮像することと、前記車両内に配置された三次元ディスプレイ上に表示される前記映像の表現を生成することとを備える、ライブ映像を車両内に表示するための方法を提供する。【選択図】図５

Description

背景技術
従来、運転者から見た車両前方領域の視界は、インストルメント制御パネル、ボンネット、および車両の下部部品によって遮られている。そのため、物体などが車両の前にあっても、運転者や車両のその他の乗客はそれらを見ることができない。

本明細書に開示される少なくとも１つの実施形態は、車両外部領域の映像の三次元表現を含む三次元映像出力を生成するステップと、三次元映像出力を車両内に配置された三次元ディスプレイ上に表示するステップとを備える。

例えば、本願発明は以下の項目を提供する。
（項目１）
ライブ映像を車両内に表示するための方法であって、
車両の外部にある領域の映像を上記車両の運転者の視線に基づいて撮像することと、
上記車両内に配置された三次元ディスプレイ上に表示される上記映像の表現を生成することと
を備える、ライブ映像を車両内に表示するための方法。
（項目２）
上記車両の外部にある上記領域の少なくとも一部分が、上記運転者の視界から遮られている、上記項目に記載の方法。
（項目３）
上記映像を撮像することが、
上記運転者の上記視線を検出することと、
上記運転者の上記視線と一致するように、カメラに上記映像を撮像させることと
を備える、上記項目のいずれか一項に記載の方法。
（項目４）
上記運転者の上記視線が変化したことを判定することと、
上記運転者の上記変化した視線と一致するように、連続する映像のフレームを撮像することと
をさらに備える、上記項目のいずれか一項に記載の方法。
（項目５）
複数の計器を含む車両インストルメントクラスタの三次元表現を生成することと、
上記車両インストルメントクラスタの上記三次元表現を第１の奥行きレベルで出力することと、
上記映像の上記表現を第２の奥行きレベルで出力することと
をさらに備える、上記項目のいずれか一項に記載の方法。
（項目６）
上記映像の上記表現内に表示された物体と上記運転者との間の距離が、上記物体と上記車両との間の距離に基づく、上記項目のいずれか一項に記載の方法。
（項目７）
処理装置によって実行されると上記処理装置にライブ映像を車両内へ表示させる命令を含む、コンピュータ可読記憶媒体であって、
上記車両の運転者の視野角を検出するステップと、
上記視野角に基づいて、車両の外部にある領域の映像を撮像するステップと、
上記映像を上記車両内に配置されたディスプレイ上に表示させるステップと
を実行することによって、上記処理装置にライブ映像を車両内へ表示させる命令を含む、コンピュータ可読記憶媒体。
（項目８）
上記運転者の上記視野角における変化を検出することと、
上記運転者の上記変化した視野角と一致するように上記映像を撮像するカメラを調節することと
をさらに備える、上記項目に記載のコンピュータ可読記憶媒体。
（項目９）
上記カメラを調節する前に、上記視野角における上記変化の振れ幅が指定された閾値を超えているかを判定すること
をさらに備える、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
（項目１０）
上記映像が、三次元映像として出力される、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
（項目１１）
上記運転者の上記視野角が、上記運転者の頭部の向きに基づく、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
（項目１２）
上記映像と上記運転者との距離が、一式の運転者の好みの設定に基づく、上記項目のいずれか一項に記載のコンピュータ可読記憶媒体。
（項目１３）
ライブ映像を車両内に表示するためのシステムであって、
１つまたは２つ以上のコンピュータプロセッサと、
上記車両の運転者の視線に基づいて、車両の外部にある領域の映像を撮像するように構成される少なくとも１つのカメラと、
上記映像の表現を出力するように構成されるディスプレイと
を備える、ライブ映像を車両内に表示するためのシステム。
（項目１４）
上記ディスプレイが、立体表示であり視差効果を有する三次元ディスプレイを備える、上記項目に記載のシステム。
（項目１５）
上記少なくとも１つのカメラが、
上記車両のフロントバンパー上に取り付けられた２つのロボット式パンティルトシフトカメラのうちの少なくとも１つと、
上記車両の上記フロントバンパー上に取り付けられた複数の固定カメラからなるアレイと
を備える、上記項目のいずれか一項に記載のシステム。
（項目１６）
上記少なくとも１つのカメラが、上記２つのロボット式パンティルトシフトカメラを備え、上記１つまたは２つ以上のコンピュータプロセッサが、
上記運転者の上記視線を検出し、
上記一式のカメラ中の各カメラを調節して、上記運転者の上記視線と一致するように上記映像を撮像する
ように構成される、上記項目のいずれか一項に記載のシステム。
（項目１７）
上記一式のカメラが、上記固定カメラからなるアレイを備え、上記１つまたは２つ以上のコンピュータプロセッサが、
上記運転者の上記視線を検出し、
上記固定カメラからなるアレイの撮像を調節して、上記運転者の上記視線と一致するように上記映像を撮像する
ように構成される、上記項目のいずれか一項に記載のシステム。
（項目１８）
上記固定カメラからなるアレイの上記撮像を調節することが、
上記複数の固定カメラのうちの２つを選択することと、
上記複数の固定カメラのうちの２つによって撮像された画像データのサブセットを用いて、上記複数の固定カメラのうちの上記２つの合成視界を生成すること
のうちの少なくとも１つを備える、上記項目のいずれか一項に記載のシステム。
（項目１９）
上記運転者の上記視線を検出するように構成される一式の運転者に向けられたセンサをさらに備える、上記項目のいずれか一項に記載のシステム。
（項目２０）
上記１つまたは２つ以上のコンピュータプロセッサが、
上記運転者の上記視線が変化したことを判定し、
上記運転者の上記変化した視線に基づいて映像を撮像するように、上記少なくとも１つのカメラを修正する
ように構成される、上記項目のいずれか一項に記載のシステム。

（摘要）
本明細書に開示される少なくとも１つの実施形態は、車両外部領域の映像の三次元表現を含む三次元映像出力を生成することと、三次元映像出力を車両内に配置された三次元ディスプレイ上に表示することとを含む。

上述した態様が達成され、かつ詳細に理解され得るように、上に簡単に要約された本開示の実施形態のより詳細な説明は、添付の図面を参照することにより理解され得る。

しかしながら、添付の図面は、本開示の典型的な実施形態のみを示しており、したがって、本開示はその他の等しく効果的な実施形態を認めることから、本発明の範囲を限定しているものとみなされるべきではないことに注意されたい。

本発明の様々な実施形態による、車両からの種々の視界を示す略図である。 本発明の様々な実施形態による、車両からの種々の視界を示す略図である。 本発明の様々な実施形態による、車両からの種々の視界を示す略図である。 本発明の様々な実施形態による、車両からの種々の視界を示す略図である。 本発明の様々な実施形態による、車両からの種々の視界を示す略図である。 本発明の様々な実施形態による、ライブ映像を有する仮想かつ部分的に透過型のインストルメントクラスタを備えるシステムを示す略図である。 本発明の様々な実施形態による、ライブ映像を有する仮想かつ部分的に透過型のインストルメントクラスタを備えるシステムを示す略図である。 本発明の様々な実施形態による、ライブ映像を有する仮想かつ部分的に透過型のインストルメントクラスタを備えるシステムを示す略図である。 本発明の様々な実施形態による、視点依存カメラを有する車両を示す略図である。 本発明の様々な実施形態による、視点依存カメラを有する車両を示す略図である。 本発明の様々な実施形態による、ライブ映像を有する仮想透過型インストルメントクラスタを生成するように構成されるシステムを示す図である。 本発明の様々な実施形態による、ライブ映像を有する仮想透過型インストルメントクラスタを生成するための方法ステップを示す流れ図である。 本発明の様々な実施形態による、ライブ映像を有するインストルメント制御パネルの３Ｄレンダリングを修正するための方法ステップを示す流れ図である。 本発明の様々な実施形態による、車両運転者のために運転環境を計算するための方法ステップを示す流れ図である。 本発明の様々な実施形態による、運転者の視線を反映するようにビデオカメラを調節するための方法ステップを示す流れ図である。

本明細書に開示される実施形態は、車両外部領域のライブ映像の三次元レンダリングを、車両内の立体表示であり視差効果を有する三次元ディスプレイ（本明細書において「３Ｄディスプレイ」と呼ぶ）上に提供する。一実施形態では、車両外部領域は、車両のボンネットで遮られた「死角」であり、一般に運転者が見ることはできない。しかしながら、映像は、任意の車両外部領域であり得る。３Ｄディスプレイ上にレンダリングされた３Ｄ映像は、３Ｄ映像が運転者の現在の視線（または視野角）に基づくような、視点依存であり得る。例えば、限定するものではないが、運転者が前方を見ている場合には、前向きの視界が３Ｄ映像で３Ｄディスプレイ上に出力され得る。また一方、運転者が頭を左に向け、内側に移動する場合には、カメラは、運転者の視線の移動を反映するように映像を撮像し得る。したがって、３Ｄ出力は、左向き視点で及び左向き視点方向に拡大された視界を反映し得る。

加えて、システムはまた、三次元インストルメント制御パネルを、これが運転者により近く見えるように出力する一方で、３Ｄ映像を運転者からさらに離れた深度に出力して、部分的に透過型のインストルメント制御パネルを外界の３Ｄ映像の上に提供し得る。しかしながら、ユーザは、３Ｄ映像と、インストルメント制御パネルにある要素のうちの１つまたは２つ以上とが、運転者の顔に対して近く、またはさらに離れて見えるように、各層の奥行きの位置決めを制御し得る。ユーザは、物理的なコントローラ、スライダ、ボタン、または３Ｄディスプレイ（またはセンタコンソールディスプレイ）上のデジタルの設定項目を含む任意の実現可能な方法によって、奥行きの位置決めを制御し得る。さらに、各ユーザは、３Ｄディスプレイ上に表示される種々の項目の好ましい配置、順番および外観を示す、好みの設定一式を定義し得る。さらに、システムは、層の重なる順番を調節することも、また異なる要素を適切な時に修正することもできる。

例えば、限定するものではないが、路上で検出された異質な物体は、映像（および物体）が運転者の顔に対して近づけられる可能性がある。そのような例では、限定するものではないが、３Ｄインストルメント制御パネルは、より透明にされる、または完全に消えるのであってもよい。別の例として、運転者の速さが現在の速度制限値を超えたならば、システムは、速度計の３Ｄレンダリングを、運転者の顔に近づけ、速度計に追加的な強調（異なる色または際立った濃淡など）を与えることによって修正して、現在の運転環境下での速度計の重要性を指摘し得る。「運転環境」は、本明細書で用いられる場合、任意の方法で移動または変更されるべき、３Ｄディスプレイ上に表示される１つまたは２つ以上の要素または層を識別するために用いられる環境を指す。運転環境は、限定されるものではないが、車両の速さ、車両の位置、車両の特性または状態（ガソリン残量、液量、またはタイヤ圧など）、車両の位置における関係する法令、気象条件、トリガとなる事象などを含み得る。その他の実施形態では、システムは、運転者の視線を検出して、運転者が見ているインストルメントを運転者の顔に近づけ得る。例えば、限定するものではないが、運転者はタコメータを見ているとシステムが判定した場合、システムは、タコメータを運転者の顔に近づけるのであってもよい。

三次元ディスプレイ上に表示するために出力されるすべての項目は、奥行き（またはｚ軸）成分を含む。図面は、３Ｄディスプレイによって生成された三次元出力を二次元で再現したものであり、三次元出力の奥行きまたはｚ軸を適切に捉えていない場合があるため、本開示を限定するものとみなされるべきではない。

図１Ａは、本発明の様々な実施形態による、車両内の運転者の種々の視界の略図１００である。従来、車両１１３の運転者（図示せず）は、通常の視界１１１を見ている。通常の視界１１１は、車両１１１の運転席に座っている運転者が見た視野を示している。しかしながら、通常の視界１１１は、一般に、車両のボンネット（および下部にあるエンジンおよびその他の部品）によって遮られている。本明細書に開示される実施形態は、しかしながら、１つまたは２つ以上のカメラ１１５を用いて、追加の視界１１２を含む外界の三次元映像を撮像する。追加の視界１１２は、車両１０１内の３Ｄディスプレイ上に表示されて、運転者に通常の視界１１１および追加の視界１１２の両方を提供し得る。映像を撮像するために用いられるカメラ１１５は、ピクセル当たりの奥行き情報も取得する二次元ＲＧＢカメラである場合もあり、奥行き情報は、撮像された映像の３Ｄレンダリングを生成するための３Ｄモデルを含むシステムによって用いられる。別の実施形態では、３Ｄカメラが用いられて、後に３Ｄモデルとしてシステムによって用いられる３Ｄ映像を撮像する場合もある。さらに別の実施形態では、車両１１３のバンパーに取り付けられた固定されたカメラアレイが映像を撮像するのであってもよい。カメラアレイのカメラのうちの２つまたは３つ以上を選択することにより、これらはそれぞれが広角レンズを有するのであるが、３Ｄディスプレイ１０１は、選択されたレンズのそれぞれから画像データのサブセットを選択することにより合成画像を生成し得る。カメラは、運転者の頭部の位置および視野角に基づいて選択され得る。

図１Ｂは、本発明の様々な実施形態による、車両内の運転者の種々の視界の略図１１０である。図示のように、運転者は、通常の視界１１１を見たままであるが、カメラ１１５によって、運転者は、拡張された視界１１２を見ることができるようになっている。通常の視界１１１と拡張された視界１１２とを合わせて、運転者は、車両の前にいる動物１１６の全体的で連続的な光景を見ることができる。

図１Ｃは、本発明の様々な実施形態による、車両内の運転者の種々の視界の略図１２０である。図示のように、運転者は、通常の視界１１１を見たままであるが、カメラ１１５によって、運転者は、拡張された視界１１２を見ることができるようになっている。拡張された視界１１２のおかげで、運転者は、そうでなければ猫１１７は運転者の視界から見えない猫１１７をここで見ることができるが、拡張された視界１１２を持たない車両に衝突してしまったかもしれない。

図１Ｄは、本発明の様々な実施形態による、車両内の拡張ユーザインターフェース１３０の略図である。人には、風防１１１越しに、車両が走行している道路１１２を含む従来の外界の視界が見える。先述のように、車両の前にあるが、車両自体に遮られている道路１１２の領域を運転者が見ることができないという点において、運転者の視界は限られている。しかしながら、図示のように、車両のダッシュボードにあるディスプレイ表面１０１は、外界の拡大された視界を表示し得る。図示のように、ディスプレイ表面１０１は、車両外部で撮像された映像の三次元映像１０５を表示する。運転者が頭または目を動かして、視線を変化させると、表示される映像１０５は、運転者の新しい視線に一致するように変更され得る、または動き得る。映像１０５を撮像する１つまたは２つ以上のカメラ１１５は、運転者の視線に一致する視点から映像を撮像するために、ロボットにより６自由度で動き得る。したがって、図示のように、運転者が見ることのできない道路１１２の一部分は、ここでディスプレイ表面１０１上に表示される。ディスプレイ表面１０１は視点依存であることから、３Ｄディスプレイの出力は、運転者の現在の視線（または現在の視線に関係する視野角）に一致する。したがって、図１Ｄにおいてディスプレイ表面１０１上に表示された映像１０５は、運転者がほぼ前向きの視線を有する場合の道路１１２の視界を反映し得る。しかしながら、運転者が頭を著しく右に向けた場合、道路の黄色い線１１４はカメラ１１５で撮像されず、続いて、ディスプレイ表面１０１上の映像１０５の一部分として表示するために出力されない場合もある。

一部の実施形態では、ディスプレイ表面１０１は、立体表示であり視差効果を有する視点依存三次元ディスプレイ（３Ｄディスプレイとも呼ぶ）である。ディスプレイ表面１０１の立体表示機構は、フレームごとに２つの異なる画像を、１つの画像を右目用、もう１つの画像を左目用として出すことによって、見ている者に、本物の物体と同様の三次元の奥行きを有する画像を見せることができる。それぞれの目のための画像は、２つの目に由来する知覚の差を伝達するために、わずかに異なり得る。少なくとも一部の実施形態では、ディスプレイ表面１０１は、少なくとも１２０Ｈｚのリフレッシュレートを有する。

ディスプレイ表面１０１はまた、視点依存レンダリングを提供し、これは、出力を生成する際に運転者の現在の視点を考慮することによって、表示された画像のよりリアルな３Ｄ知覚を可能にする。視点依存レンダリングを実装するために、ユーザに向けられたセンサ（図示せず）が、運転者の現在の視線に一致する物体の三次元レンダリングをもたらすために、運転者の頭および目の両方、またはいずれか一方を追跡する。したがって、運転者が頭または目を動かすと、ディスプレイ表面１０１の出力は、運転者の現在の視線（または現在の視線に関係する視野角）に基づいて変更される。ユーザに向けられたセンサは、情景解析および頭部追跡のために、コンピュータビジョンソフトウェア（ローカルまたはリモート）に接続され得る。ユーザに向けられたセンサは、それらがユーザに面している限り、車両の内側に取り付けられてもよいし、外側に取り付けられてもよい。本明細書に説明されるシステムによってその向きが制御される、単一のセンサ、複数のセンサ、またはパンティルトアセンブリ上に取り付けられたセンサが用いられ得る。三次元ディスプレイ１０１の視差運動効果は、本当の物体の奥行きの感覚を見る者にもたらし、そこでは、見る者の近くの物体は、左右に動く場合、遠くの物体よりも速く動くように見える。

一実施形態では、立体画像（一方が左目用、もう一方が右目用）を復号し、拡張ユーザインターフェース１１０を見るために、ユーザは、３Ｄメガネ（図示せず）を装着する。メガネは、パッシブ方式もしくはアクティブ方式、シャッター方式もしくは偏光方式などを含む、任意のタイプの３Ｄメガネであり得る。左目と右目とに異なるレンズを有するメガネは、それぞれの目用の画像のみがその目に送達され得る。したがって、メガネは、右目用の画像を右目のみに、また左目用の画像を左目のみに送達するだけである。一実施形態では、ディスプレイ表面１０１は、レンチキュラーオーバーレイに基づいてメガネなしで用いられ得る。メガネとユーザに向けられたセンサとを有するディスプレイ表面１０１の一例は、ｚＳｐａｃｅ，Ｉｎｃ（登録商標）製のｚＳｐａｃｅ Ｓｙｓｔｅｍ（登録商標）である。

図１Ｅは、本発明の様々な実施形態による、車両内の拡張ユーザインターフェース１４０の略図である。図示のように、ディスプレイ表面１０１は、外界の映像１０５を含む。映像１０５は、道路１１２および黄色の線１１４の光景を含んでいる。猫１１７などのカメラの視界にある任意の物体が映像１０５に含まれ得る。ここでも同様に、映像１０５は視点依存レンダリングであり、したがって、運転者の視線（または視線に関係する視野角）に基づいている。したがって、図１Ｄにおける視界１０５は、ほぼ前向きの視線を表している。

図２Ａは、本発明の様々な実施形態による、システム２００の略図であり、限定するものではないが、要素２１０〜２１４を含む仮想透過型インストルメントクラスタと、三次元映像１０５とを含む。図示のように、運転者２２０は、車両のハンドル２２１のところに座っている。運転者２２０は、３Ｄメガネ２２２を装着して、各フレームの立体画像が正しい目に送られ得るようにする。ディスプレイ表面１０１は、車両のダッシュボード（図示せず）など、ハンドル２２１の後方に配置されている。しかしながら、３Ｄディスプレイは、ハンドル２２１上に取り付けられてもよいし、あるいは運転者２２０により視認され得る任意のその他の位置に配置されてもよい。ディスプレイ表面１０１は、情報を出力するように構成され、その情報は、運転者２２０によって、任意の数の異なる奥行きレベルで確認される。図示のように、３Ｄディスプレイは、３つの異なる層２０２〜２０４を出力し、これらのそれぞれは、運転者２２０には、運転者２２０とディスプレイ表面１０１との間にあるように見えている。各層は、ディスプレイ表面１０１によってレンダリングされた１つまたは２つ以上のディスプレイ要素２１０〜２１４および３Ｄ映像１０５を有する。図示のように、映像１０５は、例えば、限定するものではないが、車両の前にいる猫１１７を含むが、そうなければ運転者の従来の視界１１１から遮られる。システム２００は、３つの層２０２〜２０４および要素２１０〜２１４を含むとして示されているが、システム２００は、任意の数の要素を任意の数の層上に出力することができるのであり、本明細書における層および要素の特定の描写は、本開示を限定するものとみなされるべきではない。

最も後部に位置する層２０２は、その位置が３つの層のうち運転者２２０から最も離れているために不透明であり得るが、三次元映像１０５を含む。三次元映像１０５は、いくつかの異なる要素（建物、樹木、道路、および任意のその他の物体など）を含み、要素のそれぞれは、それ自体の個別の深度を有する。中間層は、３Ｄディスプレイにより運転者のために出力されるその他の情報のための要素２１２〜２１４を含む。例えば、限定するものではないが、要素２１２〜２１４は、ナビゲーション指示、計器制御手段、またはその他の通知およびメッセージを含み得る。要素２１２〜２１４は、それぞれ、それ自体の形状、寸法、色、または深度を有し、運転者２２０には、最も後部に位置する層２０２と最上層２０４との間にあるように見えるのであってよい。中間層２０３にあるディスプレイ要素は、運転者が映像１０５を見ることができるようにするために、若干透明であり得る。最上層２０４は、速度計２１０およびタコメータ２１１を含み、これらのそれぞれは、任意の形状、形態、色、または深度を有し得る。最上層２０４にあるディスプレイ要素は、運転者２２０が中間層２０３および最も後部に位置する層２０２にあるディスプレイ要素を見ることができるようにするために、極めて透明であり得る。一般に、任意の数の制御手段、通知などが各層２０２〜２０４に、または異なる層にわたって表示され得、図２Ａに示される特定の構成は、本開示を限定するものとみなされるべきではない。加えて、ユーザの好みの設定は、初期の層２０２〜２０４の順番、ならびに要素２１０〜２１４および３Ｄ映像１０５のどれがこれらの層に現れるのかを指定し得る。

図２Ｂは、本発明の様々な実施形態による、システム２３０の略図であり、限定するものではないが、三次元映像１０５を含む。図示のように、図２Ｂは、ディスプレイ表面１０１がハンドル２２１上に取り付けられた構成を示している。この時システム２３０は「透過型モード」にあるため、図示のように、３Ｄ映像１０５だけが表示されて、インストルメントクラスタが映像１０５に関する運転者の視界を遮らないように視界から除かれている。映像１０５は、ネガティブ視差を有して、猫１７などの映像内の物体が、運転者２２０の視点からハンドル２２１の後方に見えるようにする。概して、ディスプレイ表面１０１は、任意の合理的な構成で配置され得る。一部の実施形態では、映像１０５およびその中にある物体は、それらがディスプレイ表面１０１の後方にあるように、ネガティブ視差で見える。しかしながら、映像１０５、またはその中にある物体が重要であり、運転者によって確認されるべきであると運転環境またはその他の要因が示している場合、映像１０５またはその中にある物体は、よりポジティブ視差を有するように運転者に近づけられ得る。

図２Ｃは、本発明の様々な実施形態による、システム２４０の略図であり、限定するものではないが、要素２１０〜２１４を含む仮想透過型インストルメントクラスタと、三次元映像１０５とを含む。図示のように、図２Ｃは、３Ｄディスプレイがハンドルに取り付けられておらず、異なる視差効果を含む実施形態を示している。例えば、限定するものではないが、層２０２の映像１０５は、ネガティブ視差効果を有して、これ（および猫１１７）が運転者２２０の視点からはディスプレイ表面１０１の後方に見えるようにする。中間層および最上層２０３〜２０４は、しかしながら、ポジティブ視差効果を有して、速度計２１０、およびタコメータ２１１、ならびにその他の要素２１２〜２１４が運転者２２０の視点からはディスプレイ表面１０１の前方に見えるようにする。

図２Ａ〜図２Ｃは、３Ｄディスプレイ１０１が異なる位置に取り付けられている実施形態を示しているが、３Ｄディスプレイ１０１の特定のハードウェア構成および位置は、一般的に、運転者の視点から物体がレンダリングされる具体的な位置を制御しない。しかしながら、３Ｄディスプレイ１０１の位置は、レンダリングされた物体がポジティブ視差効果を有するのか、ネガティブ視差効果を有するのかに影響を与え得る。例えば、限定するものではないが、要素２１０を運転者の顔から５０センチメートルの距離にレンダリングする必要がある場合、このことは、３Ｄディスプレイ１０１の物理的な位置とは関係なくソフトウェアによって達成され得る。３Ｄディスプレイ１０１が運転者の顔から５５センチメートルに取り付けられた場合、要素２１０は、ポジティブ視差効果を有する。しかしながら、３Ｄディスプレイが運転者の顔から４０センチメートルに取り付けられた場合、要素２１０は、ネガティブ視差効果を有する。しかしながら、どちらの場合であっても、要素２１０は、運転者にはそれが運転者の顔から５０センチメートル離れたところにあるかのように見える。さらに、映像１０５中の物体は、それらの実際の現実の車両からの距離に対応するネガティブ視差を有し得る。したがって、多くの実施形態では、猫１１７などの映像１０５中の物体は、ネガティブ視差でレンダリングされる。概して、映像１０５中の物体は、物体と車両１１３との間の距離に対応する運転者からの距離で表示される。例えば、限定するものではないが、バスケットボール（図示せず）が車両１１３から猫よりも１１７遠くにある場合、猫１１７は、運転者の顔に対して、バスケットボールよりも近くにレンダリングされる。

図３Ａ−１は、本発明の様々な実施形態による、２つの視点依存カメラ３３３を有する車両１１３の略図である。図３Ａ−１に示されるように、カメラ３３３は、車両のフロントバンパー上に取り付けられている。視点依存カメラ３３３は、少なくとも１つの実施形態では、最大６自由度を備え、パン動作、ティルト動作、および三次元シフト動作が可能である。一部の実施形態では、視点依存カメラ３３３は、３自由度、すなわち、パン動作、ティルト動作、および一次元水平シフト動作を有する。したがって、図３Ａ−２に示されるように、運転者３０１が頭を右に動かすと、カメラ３３３もまた、構成３１０に示されるように、運転者の視線を一致するように水平に（例えば、リニアアクチュエータによりレールまたはスライダ上で）移動する。同様に、図３Ａ−３に示されるように、運転者３０１が頭を左に動かすと、構成３１２に示されるように、カメラもまた、視点依存の映像を提供するためにそれらの視点を移動する。１つまたは２つ以上のセンサ（図示せず）が、運転者が装着し得るメガネ２２２から反射する信号を発することによって、運転者の視線を追跡し得る。センサが運転者の視線（または運転者の視野角）の移動を検出すると、カメラ３３３がそれに応じて調節される。

図３Ｂ−１は、固定カメラ３５１からなるアレイ３３５を有する車両１１３の略図である。各カメラ３５１は、車両１１３に固定されており、動かない。アレイ３３５は任意の数のカメラを含み得るが、この例では、アレイ３３５は、６台のカメラ３５１を含む。カメラ３５１のそれぞれは、広角レンズ３４０を含む。ソフトウェアが用いられて、サブセット３４１として示される、各カメラ３５１の全広角視野の合成視界を作成し得る。サブセット３４１は、運転者３５１の視線に対応しており、図３Ｂ−１では、真っ直ぐ前を向いている。しかしながら、図３Ｂ−２に示されるように、運転者３０１が視線を右に向ける場合、視界３５０は、対応するカメラ３５２および３５４の視界のサブセットから取得され得る。同様に、図３Ｂ−３に示されるように、運転者３０１が視線を左に向ける場合、視界３６０は、カメラ３５２および３５４の視界のサブセットから取得され得る。加えて、運転者３０１の視線に応じて、アレイ３３５中の異なるカメラ３５１が映像を撮像するために用いられてもよい。

図４は、本発明の様々な実施形態による、車両の運転者に表示するための要素２１０〜２１４および三次元映像１０５を含む、仮想透過型インストルメントクラスタを生成するためのシステム４００を示している。一実施形態では、コンピュータ４０２は、自動車、トラック、バス、またはバンなどの車両内にある。車両は、１つまたは２つ以上の情報配信システム（車載用インフォテインメント（ＩＶＩ）システムとも呼ばれる）を搭載し得る。コンピュータ４０２はまた、その他のコンピュータにネットワーク４３０を介して接続され得る。概して、ネットワーク４３０は、電気通信ネットワークおよび広域ネットワーク（ＷＡＮ）の両方、またはいずれか一方であり得る。特定の実施形態では、ネットワーク４３０は、インターネットである。図示のように、ネットワーク４３０は、コンピュータ４０２とクラウドコンピューティング環境４６０との間の通信を助ける。

コンピュータ４０２は、概して、メモリ４０６と、ネットワークインターフェース装置４１８と、記憶装置４０８と、入力装置４２２と、出力装置４２４とにバス４２０を介して接続されるプロセッサ４０４を含む。コンピュータ４０２は、概して、オペレーティングシステム（図示せず）の制御下にある。オペレーティングシステムの例には、ＵＮＩＸ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムのバージョン、およびＬｉｎｕｘ（登録商標）オペレーティングシステムのディストリビューションが含まれる。（ＵＮＩＸ（登録商標）は、米国およびその他の国におけるＴｈｅ Ｏｐｅｎ Ｇｒｏｕｐの登録商標である。ＭｉｃｒｏｓｏｆｔおよびＷｉｎｄｏｗｓ（登録商標）は、米国、その他の国、またはこれら両方におけるＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの商標である。Ｌｉｎｕｘ（登録商標）は、米国、その他の国、またはこれら両方におけるＬｉｎｕｓ Ｔｏｒｖａｌｄｓの登録商標である。）より一般的には、本明細書に開示される機能に対応する任意のオペレーティングシステムが用いられ得る。プロセッサ４０４は、単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵなどを表すものとして含められている。ネットワークインターフェース装置４１８は、コンピュータ４０２がその他のコンピュータとネットワーク４３０を介して通信するのを可能にする任意のタイプのネットワーク通信装置であり得る。

記憶装置４０８は、永続的記憶装置であり得る。記憶装置４０８は単一の装置として示されているが、記憶装置４０８は、固定ディスクドライブ、ソリッドステートドライブ、ＳＡＮストレージ、ＮＡＳストレージ、リムーバブルメモリカード、または光記憶装置などの、固定およびリムーバブルの両方、またはいずれか一方の記憶装置の組み合わせであってもよい。メモリ４０６および記憶装置４０８は、複数の主記憶装置および補助記憶装置にわたる１つの仮想アドレス空間の部分であってもよい。

入力装置４２２は、入力をコンピュータ４０２に提供するための任意の装置であり得る。例えば、限定するものではないが、キーボードおよびマウスの両方、またはいずれか一方、タッチスクリーンインターフェース、あるいはジョイスティックなどのコントローラが用いられ得る。出力装置４２４は、出力をコンピュータ４０２のユーザに提供するための任意の装置であり得る。例えば、限定するものではないが、出力装置４２４は、任意の従来型のディスプレイスクリーンまたはスピーカ一式であり得る。入力装置４２２とは分離して図示されているが、出力装置４２４および入力装置４２２は、組み合され得る。例えば、限定するものではないが、タッチスクリーン一体型のディスプレイスクリーンが用いられ得る。全地球測位システム（ＧＰＳ）４１１は、ＧＰＳ技術を用いて車両の位置を追跡するように構成されるモジュールである。

カメラ４２７は、外界のリアルタイム３Ｄビデオストリームを取得するために用いられる。概して、３Ｄ映像は、車両前方にある運転者の死角などの車両外領域のリアルな拡張現実効果を提供する。カメラ４２７は、任意の実現可能な映像撮像方法を実装する１つまたは２つ以上のカメラであり得る。例えば、限定するものではないが、２つのカメラ４２７は、車両の前に人間の瞳孔間距離で並べて取り付けられて、立体カメラになり得る。立体カメラは、わずかに異なる視点からの２つのビデオストリームを伝え得、これは、ディスプレイスイッチングハードウェアと同期されると、左カメラフレームは運転者の左目のみに伝えられ、他方、右カメラフレームは運転者の右目のみに伝えられる。この構成は、運転者にリアルな奥行き感を有する３Ｄ立体映像を提供する。

別の実施形態では、カメラ４２７は、それぞれの撮像されたピクセルに対して奥行き情報を提供する、車両の前に取り付けられた奥行き対応のＲＧＢカメラ（飛行時間型、立体照明、またはその他の実現可能な手法を実装する）であり得る。さらに別の実施形態では、カメラ４２７は、固定カメラからなるアレイを含み得、それらの画像データは、固定カメラのうちの２つまたは３つ以上の視界から合成画像を作成するために用いられる。次いで、システムは、奥行き情報を用いて、車両の前にある物体を表す変形によりコンピュータが生成した３Ｄ物体（例えば、運転者に対して略垂直な薄いまたは平坦な仮想投影面）を変形し得る。この投影面を生成した後、ＲＧＢカメラからの画像は、投影面上にテクスチャとして投影されて、車両の前にある物体の実際の視覚表示を伝える。奥行き情報は、カメラ４２７の一部であるセンサ、またはカメラの外部にあるセンサによって撮像され得る。

運転者の頭部（または目）の振れ幅および車両が有するカメラに応じて、システムは、多くの方法で表示を変え得る。例えば、限定するものではないが、固定カメラが用いられて、運転者の頭の動き（円運動または左右への移動）に基づく変化が最小限からほとんどないようにし得る。概して、頭部または目の振れ幅が閾値を超えなければ、システムは、そのような最小限の運転者の動きを反映するようには表示を変化させない場合もある。ある程度の頭部の回転が許容される場合、カメラ４２７は、カメラ４２７の水平方向の回転を可能にするパンアセンブリ上に配置され得る。ある程度の頭部の移動（左および右）が許容される場合、カメラ４２７は、システムによって制御されるロボット式のインラインスライド機構上に配置されて、運転者の頭部の動きを反映するカメラの水平移動を可能にし得る。ある程度の頭部の自由度（左右への回転および上下への回転など）および頭部の移動が望ましい場合、組み合わせた方法であるスライドとパンティルトとのアセンブリが、カメラ４２７を動かすために用いられ得る。例えば、限定するものではないが、カメラ４２７のパン動作は、「首を横に振る」、すなわち運転者の頭の左／右の動きに結び付けられ得、他方、カメラの傾きは、「首を縦に振る」、すなわち運転者の頭の上／下の動きに対応し得る。

さらに、コンピュータビジョン処理が実装されて、視点依存レンダリングを提供し得る。例えば、限定するものではないが、広角レンズを有するカメラおよびコンピュータビジョン処理が用いられて、ゆがみを修正し、運転者の頭部の位置および向きを考慮し得る。別の例として、複数のカメラアレイおよびコンピュータビジョン処理は、運転者の現在の頭部の位置および向きに基づいて、運転者の視点をもっとも良く表す１つまたは２つ以上のカメラのフレームを撮像し得る。

図示のように、メモリ４０６は、３Ｄアプリケーション４１２を含み、これは、３Ｄモデルに基づいて、インストルメント制御パネルの立体三次元レンダリングおよび車両の外部のライブ映像を、車両の３Ｄディスプレイ４２５上に生成および出力するように概して構成されるアプリケーションである。３Ｄアプリケーション４１２は、必要な場合、３Ｄディスプレイ４２５上に表示される３Ｄ出力を連続的に修正するようにさらに構成される。例えば、そして限定するものではないが、運転者が１つまたは２つ以上の入力源４２２を通じて、映像が運転者の顔にもっと近づけられるべきであると指定したならば、３Ｄアプリケーション４１２は、３Ｄディスプレイ４２５の出力を更新して、３Ｄ映像が運転者の顔のより近くになるようにする。３Ｄアプリケーション４１２は、計算された運転環境、事象、ユーザの好みの設定、または運転者の視線もしくは視野角を検出することを含む、任意の数のその他の要因にも同様に基づいて３Ｄディスプレイの出力を修正し得る。３Ｄアプリケーション４１２は、１つまたは２つ以上のセンサ４２６を用いて運転者の視線または視野角を検出し得る。センサ４２６は、視覚または熱撮像素子、飛行時間型センサ、赤外線および超音波センサ、レーザベースのセンサなどを含む、任意のタイプのセンサであり得る。３Ｄアプリケーション４１２はまた、情景解析および頭部追跡を提供するために、運転者が装着する３Ｄメガネに接続されるコンピュータビジョンソフトウェアを含み得る。一部の実施形態では、３Ｄアプリケーション４１２は、スマートフォン、スマートウォッチ、またはリモートサーバ（例えばクラウド４６０内）などの、システム４００に含まれていない装置の処理能力を、無線ネットワークを介して利用し得る。３Ｄアプリケーション４１２はまた、本明細書に説明される３Ｄレンダリングを生成するために、図示されていないが、グラフィック処理装置（ＧＰＵ）とインターフェースし得る。

図示のように、記憶装置４０８のユーザデータ４１４は、ユーザの好みの設定などを含み得る。例えば、限定するものではないが、ユーザデータ４１４は、３Ｄディスプレイ４２５上に表示される各項目に対して好ましいカラースキーム、順番、層の位置などを指定する、異なる運転者に対する入力を含み得る。３Ｄアプリケーション４１２は、ユーザデータ４１４における好みの設定を使用して、それが３Ｄディスプレイ４２５上に表示する出力に影響を及ぼし得る。記憶装置４０８はまた、インストルメントクラスタ（ＩＣ）データ４１７を含み、これは、インストルメント制御パネルのための既定のテンプレートのリポジトリであり得る。ＩＣデータ４１７は、個々の計器制御手段、全ての制御手段の層、および複数の制御手段の層を含み得る。ＩＣデータ４１７は、計器制御手段に関して様々な形状、寸法、および色を含み得る。またさらに、ＩＣデータ４１７は、各ディスプレイ要素、３Ｄ映像、およびその他の計器制御手段に対して、既定の座標を含み得る。

クラウドコンピューティング環境４６０は、その他のリソースの中でも、ユーザデータ４１４と、その他のデータ４１５とを含む。その他のデータ４１５は、制限速度、法律、およびその他の運転に関する規則などの場所固有のデータを含み得る。一実施形態では、その他のデータ４１５はまた、記憶装置４０８に含まれる。クラウドコンピューティング環境４６０はまた、３Ｄアプリケーション４１２のインスタンスを含み、これは、必要な場合にインターネット上のその他の情報にアクセスするために用いられて、コンピュータ１０２内の３Ｄアプリケーション４１２のインスタンスを助け得る。例えば、限定するものではないが、コンピュータ１０２内の３Ｄアプリケーション４１２のインスタンスがローカルでは運転環境を完全に計算できない場合、コンピュータ１０２内の３Ｄアプリケーション４１２にどのように進めるかを通知するために、クラウド４６０にある３Ｄアプリケーション４１２が追加的なデータにアクセスし得る。

図５は、本発明の様々な実施形態による、仮想透過型インストルメントクラスタを生成するための方法ステップの流れ図である。本方法ステップは図１〜図４のシステムに関して説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法５００はステップ５１０で開始し、そこでは、プロセッサ４０４上で実行されている３Ｄアプリケーション４１２が、ユーザプリファレンスデータを受信する。ユーザプリファレンスデータは、３Ｄディスプレイ４２５上に表示するために出力される異なるディスプレイ要素について、運転者の好む色、位置、およびその他の特性を示す、カスタマイズされた設定を含み得る。例えば、限定するものではないが、ユーザは、速度計およびタコメータがほぼ同じ奥行きで並べて表示されるのを好む場合もある。

ステップ５２０において、３Ｄアプリケーション４１２は、インストルメント制御パネルの３Ｄレンダリングを生成し、出力する。概して、インストルメント制御パネルの３Ｄレンダリングは、速度計、タコメータ、走行距離計、燃料計、および車両のインストルメント制御パネル上に表示され得る任意のその他の計器を含み得る。ステップ５３０において、図８を参照して詳述されるが、３Ｄアプリケーション４１２は、車両外部の３Ｄ映像を撮像し、出力する。３Ｄ映像は、車両上またはその内部に取り付けられた１つまたは２つ以上のカメラにより撮像される任意の領域を反映し得る。一実施形態では、３Ｄ映像は、従来運転者の視界から隠されていた領域、すなわち、道路の車両のボンネット／エンジン部品に遮られている部分を表示する。運転者の視点から３Ｄ映像を撮像するためにカメラが移動し得るという点で、３Ｄ映像は視点依存である。一実施形態では、インストルメント制御パネルの３Ｄレンダリングが運転者に対してより近くに、３Ｄ映像が運転者から離れて見える状態で表示される。このような実施形態では、インストルメント制御パネルは、運転者が映像を透かし見ることができるようにするために、より透明である。しかしながら、ユーザプリファレンスにより、インストルメント制御パネルの要素の一部（またはすべて）よりも、映像を運転者に近づけて配置するように指定し得る。一部の実施形態では、３Ｄ映像のみが３Ｄディスプレイ４２５上に表示される。

ステップ５４０において、図６を参照して詳述されるが、３Ｄアプリケーション４１２は、インストルメント制御パネルおよび映像の３Ｄレンダリングを修正する。３Ｄアプリケーション４１２は、事象、ユーザ入力、運転環境、または運転者の視線（または視野角）に応答して、インストルメント制御パネルおよび映像の３Ｄレンダリングを修正し得る。例えば、限定するものではないが、車両のライトがもはや機能していない場合、ライトに関する新しい通知がインストルメント制御パネルに運転者の近くの位置で追加され得る。別の例として、動作中に車両の燃料残量が減ってくると、燃料計が、運転者の注意を引くために、明るくかつ濃くなりながら遠景から前景に移動し得る。概して、３Ｄアプリケーション４１２は、３Ｄレンダリングを車両の運転中に何度でも修正し得る。

図６は、仮想透過型インストルメントクラスタを修正するための方法ステップの流れ図である。本方法ステップは図１〜図４のシステムに関して説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法６００はステップ６１０で開始し、そこでは、プロセッサ４０４上で実行されている３Ｄアプリケーション４１２は、車両内の３Ｄディスプレイ４２５を通じて関係する通知を運転者に対して出力する。例えば、限定するものではないが、通知は、ナビゲーション指示またはその他のナビゲーション情報、車両に関する通知（タイヤ圧低下など）、またはＳＭＳ警報、電子メールなどの任意のその他のタイプの通知を含み得る。

ステップ６２０において、図７を参照して詳述されるが、３Ｄアプリケーション４１２は、現在の運転環境を計算する。運転環境は、限定されるものではないが、車両の速さ、車両の位置、車両の特性または状態（ガソリン残量、液量、またはタイヤ圧など）、車両の位置における関係する法令、気象条件、トリガとなる事象などを含み得る。例えば、限定するものではないが、３Ｄアプリケーション４１２は、無線データ接続を用いて、車両のＧＰＳ座標に基づいて、現在の速度制限値が時速６５マイルであることを判定し得る。車両が時速８５マイルの速さで走行している場合、運転環境は、運転者がスピード違反をしていることを示し得る。さらに、３Ｄアプリケーション４１２は、運転環境のために、速度計の関連度または重要度が高められており、調節されるか、運転者の注意を引くために強調されるかすべきであることを識別し得る。３Ｄアプリケーション４１２は、周期的に、あるいはタイヤの破裂などのなんらかの事象を検出したことに応じて、運転環境を計算し得る。

ステップ６３０において、３Ｄアプリケーション４１２は、計算された運転環境および１つまたは２つ以上のディスプレイ要素の関連度に基づいて１つまたは２つ以上のディスプレイ要素の位置を修正または調節し得る。１つまたは２つ以上のディスプレイ要素は、同じまたは異なる奥行きに存在し得る。例えば、限定するものではないが、３Ｄ映像が、異なる奥行きに動かされるのであってもよいし、あるいは速度計が、ある奥行きから別の奥行きに移動するのであってもよい。

ステップ６４０において、３Ｄアプリケーション４１２は、要素（または要素からなる層全体）の位置を修正または調節するためのユーザ入力を受信するのに応じて、要素またはその位置を修正する。ユーザ入力は、調光コントローラに似た物理的な回転式のコントローラ、物理的なスライダ、ボタン一式、車両インフォテインメントシステムを通じたデジタル設定などを含む、任意の実現可能な入力源から受信され得る。ステップ６５０において、３Ｄアプリケーション４１２は、運転者の視線変化を検出すると、ディスプレイ要素または層の奥行きを調節する。例えば、限定するものではないが、運転者が運転者から離れた層にある走行距離計を注視していると視線追跡センサが判定した場合、３Ｄアプリケーション４１２は、走行距離計を運転者の近くに移動し得る。加えて、３Ｄアプリケーション４１２は、走行距離計の外観を修正して、その色、不透明の度合い、および寸法を変えるなど、運転者に見やすくし得る。

図７は、本発明の様々な実施形態による、車両運転者のために運転環境を計算するための方法ステップの流れ図である。本方法ステップは図１〜図４のシステムに関して説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法７００はステップ７１０で開始し、そこでは、プロセッサ４０４上で実行されている３Ｄアプリケーション４１２は、ＧＰＳ座標を用いて車両位置を識別し、また速度計データを用いて車両速度を識別する。ステップ７２０において、３Ｄアプリケーション４１２は、制限速度、駐車規則、追い越し規則などの車両の現在の位置に関するあらゆる関連用例を識別する。例えば、限定するものではないが、車両が追い越し禁止ゾーンにいる場合、３Ｄアプリケーション４１２は、他の車両を追い越しすることは禁じられていると指摘する通知を出力し得る。法令は、車両内にローカルに記憶されるのであってもよいし、車両内の無線データ通信を用いて遠隔地から取得するのであってもよい。ステップ７３０において、３Ｄアプリケーション４１２は、燃料残量、現在の速度、タイヤ圧、最終オイル交換からの走行距離などの１つまたは２つ以上の車両属性の状態を識別する。例えば、限定するものではないが、車両が１０、０００マイルを越えてオイル交換されていない場合、システムは、オイル交換するようにとの通知を運転者に出力し得る。ステップ７４０において、３Ｄアプリケーション４１２は、現在および保留中のナビゲーションシステム指示および通知を含む、現在のナビゲーション環境を識別する。例えば、限定するものではないが、３Ｄアプリケーション４１２は、向こう１０マイルの間は表示用のナビゲーション指示がないことを判定して、ナビゲーションシステムに関係しない要素を表示するためにシステムシステムが利用し得る追加のスペースを運転者の近くに残し得る。ステップ７６０において、３Ｄアプリケーション４１２は、運転環境を計算し、返し得る。運転環境は、１つまたは２つ以上のディスプレイ要素（速度計、走行距離計など）、層、またはナビゲーションシステムを、関連度または重要度が高いとして指定し得る。それに応じて、３Ｄアプリケーション４１２は、特定された要素または層の位置または外観を修正し得る。

図８は、本発明の様々な実施形態による、運転者の視線を反映するようにビデオカメラを調節するための方法ステップの流れ図である。本方法ステップは図１〜図４のシステムに関して説明されているが、当業者であれば、本方法ステップを実行するように構成される任意のシステムが、いかなる順番であっても、本発明の範囲内に属することを理解するであろう。

図示のように、方法８００はステップ８１０で開始し、そこでは、１つまたは２つ以上のカメラ４２７が、車両外部領域の映像を撮像する。先述のように、限定するものではないが、可動カメラ、奥行き撮像素子およびＲＧＢカメラ、ならびに固定カメラからなるアレイを含む、任意のタイプのカメラが用いられ得る。ステップ８２０において、プロセッサ４０４上で実行されている３Ｄアプリケーション４１２は、撮像された映像を３Ｄディスプレイ４２５上にレンダリングし、表示する。ステップ８３０において、３Ｄアプリケーション４１２は、視点依存映像を撮像し、３Ｄディスプレイ４２５上に表示するために、運転者の視線を監視する。３Ｄアプリケーション４１２は、ステップ８３０において、追加的または代替的に、運転者の視野角を監視し得る。ステップ８４０において、３Ｄアプリケーション４１２は、変化した運転者の視線を反映するために、ビデオカメラ４２５の位置を調節する。３Ｄアプリケーション４１２は、運転者の視線を監視し続け、運転者の視線に一致するようにカメラの焦点を変更し、また撮像された映像を３Ｄディスプレイ４２５上に出力し得る。

本明細書に開示された実施形態は、従来運転者の視界から遮られていた領域を運転者が見ることを可能にする「透過型」インストルメントクラスタを提供する。車両外部領域の映像を表示することによって、本明細書に開示された実施形態は、従来型の視界から遮られた視界まで拡大する完全な物体を含むように、また運転者の視界から完全に遮られていた物体を含むように運転者の視界を拡張する。

有利なことに、本明細書に開示された実施形態は、より広い可視領域を車の前に提供する。より広い可視領域は、運転中、駐車中、またはそのたの運転動作中に、車両の前にある物体を検出する可能性をもたらす。視点依存で３Ｄ映像を撮像することはまた、運転者の現在の視座にしたがって映像が撮像されることから、運転者の体験を改善する。３Ｄインストルメントクラスタには、従来型の二次元のインストルメントクラスタよりもリアルな外観と感覚が与えられている。

本発明の一実施形態は、コンピュータシステムで用いるためのプログラム製品として実装され得る。プログラム製品のプログラム（複数可）は、（本明細書に説明される方法を含む）実施形態の機能を定義し、様々なコンピュータ可読記憶媒体上に収容され得る。例示的なコンピュータ可読記憶媒体には、限定されるものではないが、（ｉ）情報が永続的に記憶される書き込み不可記憶媒体（例えば、ＣＤ−ＲＯＭドライブで読み出し可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）ディスク、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）チップまたは任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリ装置）、および（ｉｉ）変更可能な情報が記憶される書き込み可能記憶媒体（例えば、ディスケットドライブまたはハードディスクドライブ内のフロッピー（登録商標）ディスクあるいは任意のタイプのソリッドステートランダムアクセス半導体メモリ）が含まれる。

ここまで、本発明は、具体的な実施形態を参照しながら説明されてきた。しかしながら、当業者であれば、添付の特許請求の範囲に説明される本発明の広範な精神および範囲から逸脱することなしに、ここに様々な修正および変更がなされ得ることを理解するであろう。上記の説明および図面は、したがって、限定的な意味ではなく、説明的な意味で考慮されるべきである。

Claims (20)

1. ライブ映像を車両内に表示するための方法であって、
   車両の外部にある領域の映像を前記車両の運転者の視線に基づいて撮像することと、
   前記車両内に配置された三次元ディスプレイ上に表示される前記映像の表現を生成することと
   を備える、ライブ映像を車両内に表示するための方法。
2. 前記車両の外部にある前記領域の少なくとも一部分が、前記運転者の視界から遮られている、請求項１に記載の方法。
3. 前記映像を撮像することが、
   前記運転者の前記視線を検出することと、
   前記運転者の前記視線と一致するように、カメラに前記映像を撮像させることと
   を備える、請求項１に記載の方法。
4. 前記運転者の前記視線が変化したことを判定することと、
   前記運転者の前記変化した視線と一致するように、連続する映像のフレームを撮像することと
   をさらに備える、請求項３に記載の方法。
5. 複数の計器を含む車両インストルメントクラスタの三次元表現を生成することと、
   前記車両インストルメントクラスタの前記三次元表現を第１の奥行きレベルで出力することと、
   前記映像の前記表現を第２の奥行きレベルで出力することと
   をさらに備える、請求項１に記載の方法。
6. 前記映像の前記表現内に表示された物体と前記運転者との間の距離が、前記物体と前記車両との間の距離に基づく、請求項１に記載の方法。
7. 処理装置によって実行されると前記処理装置にライブ映像を車両内へ表示させる命令を含む、コンピュータ可読記憶媒体であって、
   前記車両の運転者の視野角を検出するステップと、
   前記視野角に基づいて、車両の外部にある領域の映像を撮像するステップと、
   前記映像を前記車両内に配置されたディスプレイ上に表示させるステップと
   を実行することによって、前記処理装置にライブ映像を車両内へ表示させる命令を含む、コンピュータ可読記憶媒体。
8. 前記運転者の前記視野角における変化を検出することと、
   前記運転者の前記変化した視野角と一致するように前記映像を撮像するカメラを調節することと
   をさらに備える、請求項７に記載のコンピュータ可読記憶媒体。
9. 前記カメラを調節する前に、前記視野角における前記変化の振れ幅が指定された閾値を超えているかを判定すること
   をさらに備える、請求項８に記載のコンピュータ可読記憶媒体。
10. 前記映像が、三次元映像として出力される、請求項７に記載のコンピュータ可読記憶媒体。
11. 前記運転者の前記視野角が、前記運転者の頭部の向きに基づく、請求項７に記載のコンピュータ可読記憶媒体。
12. 前記映像と前記運転者との距離が、一式の運転者の好みの設定に基づく、請求項７に記載のコンピュータ可読記憶媒体。
13. ライブ映像を車両内に表示するためのシステムであって、
    １つまたは２つ以上のコンピュータプロセッサと、
    前記車両の運転者の視線に基づいて、車両の外部にある領域の映像を撮像するように構成される少なくとも１つのカメラと、
    前記映像の表現を出力するように構成されるディスプレイと
    を備える、ライブ映像を車両内に表示するためのシステム。
14. 前記ディスプレイが、立体表示であり視差効果を有する三次元ディスプレイを備える、請求項１３に記載のシステム。
15. 前記少なくとも１つのカメラが、
    前記車両のフロントバンパー上に取り付けられた２つのロボット式パンティルトシフトカメラのうちの少なくとも１つと、
    前記車両の前記フロントバンパー上に取り付けられた複数の固定カメラからなるアレイと
    を備える、請求項１３に記載のシステム。
16. 前記少なくとも１つのカメラが、前記２つのロボット式パンティルトシフトカメラを備え、前記１つまたは２つ以上のコンピュータプロセッサが、
    前記運転者の前記視線を検出し、
    前記一式のカメラ中の各カメラを調節して、前記運転者の前記視線と一致するように前記映像を撮像する
    ように構成される、請求項１５に記載のシステム。
17. 前記一式のカメラが、前記固定カメラからなるアレイを備え、前記１つまたは２つ以上のコンピュータプロセッサが、
    前記運転者の前記視線を検出し、
    前記固定カメラからなるアレイの撮像を調節して、前記運転者の前記視線と一致するように前記映像を撮像する
    ように構成される、請求項１５に記載のシステム。
18. 前記固定カメラからなるアレイの前記撮像を調節することが、
    前記複数の固定カメラのうちの２つを選択することと、
    前記複数の固定カメラのうちの２つによって撮像された画像データのサブセットを用いて、前記複数の固定カメラのうちの前記２つの合成視界を生成すること
    のうちの少なくとも１つを備える、請求項１７に記載のシステム。
19. 前記運転者の前記視線を検出するように構成される一式の運転者に向けられたセンサをさらに備える、請求項１３に記載のシステム。
20. 前記１つまたは２つ以上のコンピュータプロセッサが、
    前記運転者の前記視線が変化したことを判定し、
    前記運転者の前記変化した視線に基づいて映像を撮像するように、前記少なくとも１つのカメラを修正する
    ように構成される、請求項１５に記載のシステム。