JP2020537390A - 乗り物操作のための合成イメージと実イメージの結合 - Google Patents

Abstract

様々な表示システムでは、複数のソースからの合成イメージの結合が有効である。例えば、乗り物操作用の表示システムでは、合成イメージと実イメージとの結合が有効である。方法は、プロセッサによって、ユーザの位置に基づき内部ビデオ画像を取得することを含む。その方法は、前記プロセッサによって、ユーザの位置に基づき外部ビデオ画像を取得することも含む。その方法は、さらに、前記内部ビデオ画像と前記外部ビデオ画像とを結合し、前記ユーザ用の結合された単一のビューを形成することを含む。その方法は、さらに、前記結合された単一のビューをユーザのディスプレイに提供することを含む。

Description

様々な表示システムにおいては、複数のソースからの合成イメージの結合が有効である。例えば、乗り物操作用の表示システムにおいては、合成イメージと実イメージとの結合が有効である。

１９２０年代以来、航空機メーカーは、視界不良、または視界ゼロの状況において、航空機の操作を可能にするため、様々な機器を航空機に取り入れてきた。従来、これらの機器は、計器盤に設けられていた。従って、それらの機器を使用して飛行状況を確認するためには、パイロットは、航空機の窓から視線をそらす必要があった。

最近では、合成画像ディスプレイにより、計器盤上に外の視野が表示される。また、Ｆ１８のようなある種の軍用機では、ヘッドアップディスプレイ（ＨＵＤ)によって、機体の姿勢、高度等の航空機の特定のパラメータを視覚的に表示することが可能である。さらに、眼鏡型ディスプレイによって、ＨＵＤのようなイメージをユーザに提供できる場合もある。

ＨＵＤを取り付けるためには航空機の大規模な変更が必要である。確実に取り付けるためには、通常前方に照準を合わせなければならず、また、ビューイングボックスは非常に限定されている可能性がある。合成画像ディスプレイでは、パイロットは、アプローチの際に機器を見下ろし、滑走路の環境を見るためフロントガラスを照合確認しなければならない。画像の大きさは限定されており、パイロットの焦点距離は、近くから遠くへ、後方から近くへ等変更を要する。眼鏡型ディスプレイは、外の環境と焦点距離を同じにするため、画像を平行にしなければならず、そうしなければ、画像がぼやけることがある。

課題を解決しようとする手段

ある実施例によれば、方法は、プロセッサによって、ユーザの位置に基づいて内部ビデオ画像を取得することを含む。その方法は、前記プロセッサによって、前記ユーザの位置に基づき外部ビデオ画像を取得することも含む。その方法は、さらに、前記内部ビデオ画像と前記外部ビデオ画像を結合し、前記ユーザ用の結合された単一のビューを形成することを含む。その方法は、加えて、前記結合された単一のビューを前記ユーザのディスプレイに供給することを含む。

ある実施例においては、装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを有する少なくとも１つのメモリを有している。その少なくとも１つのメモリとコンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、ユーザの位置に基づき、内部ビデオ画像を取得させるよう構成されている。また、前記少なくとも1つのメモリと前記コンピュータプログラムコードは、少なくとも１つのプロセッサにより、前記装置に、少なくとも、前記ユーザの位置に基づき、外部ビデオ画像を取得させるよう構成されている。前記少なくとも１つのメモリと前記コンピュータプログラムコードは、さらに、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、前記内部ビデオ画像と前記外部ビデオ画像を結合させ、前記ユーザ用の結合された単一のビューを形成させるよう構成されている。加えて、前記少なくとも１つのメモリと前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、前記結合された単一のビューをユーザのディスプレイに提供させるよう構成されている。

ある実施例においては、装置は、プロセッサによってユーザの位置に基づき内部ビデオ画像を取得する手段を有する。また、その装置は、前記プロセッサによって、前記ユーザの位置に基づき、外部ビデオ画像を取得する手段を有する。その装置はさらに、前記内部ビデオ画像と前記外部ビデオ画像を結合し、前記ユーザ用の結合された単一のビューを形成する手段を有する。その装置は、加えて、前記結合された単一のビューを前記ユーザのディスプレイに供給する手段を有する。

ある実施例に係るシステムは、ユーザの周囲の短焦点ビューを提供するよう構成されている第１のカメラを有する。そのシステムは、前記ユーザの周囲の長焦点ビューを提供するよう構成されている第２のカメラを有する。そのシステムは、さらに、前記短焦点ビューと前記長焦点ビューに基づき、前記周囲の結合されたビューを提供するよう構成されているプロセッサを有する。そのシステムは、加えて、前記ユーザに対し、前記結合されたビューを表示するよう構成されたディスプレイを有する。

図１は、本発明のある実施例に係るマーカーを示す図である。 図２は、本発明のある実施例に係るマスク領域のマッピングを示す図である。 図３は、本発明のある実施例に係る眼鏡型ディスプレイを示す図である。 図４は、本発明のある実施例に係る、窓にマッピングされた合成画像を示す図である。 図５は、本発明のある実施例に係る、窓にマッピングされたカメラ画像を示す図である。 図６は、本発明のある実施例に係るシステムを示す図である。 図７は、本発明のある実施例に係る方法を示す図である。 図８は、本発明のある実施例に係る別のシステムを示す図である。

発明を適切に理解できるように添付の図面を参照する。

本発明のある実施例は、オブスキュレーションによる視界不良に直面している乗り物の操作者が外部環境及び乗り物の機器／内部の確認を維持するための機構、システム、及び方法に関する。このオブスキュレーションは、例えば、雲、煙、霧、夜間、雪等によるものである。

ある実施例によれば、計器盤上だけでなくフロントガラスの領域にも合成画像を表示してもよい。この合成画像は、パイロットには、従来の合成画像よりも大きく見えてもよい。さらに、パイロットは、計器盤とフロントガラスを相互にチェックしなくてもよい、または限定的に行えばよい。

合成画像は、フルカラーで表示でき、すべての主要な特徴を含むことが可能である。さらに、計器盤と内部も視認可能である。さらに、コリメーティング光学機器は設けなくてもよい。すべてのイメージをユーザに対し同じ焦点距離で提示できる。

ある実施例においては、合成画像をコックピットの環境に合わせてもよい。エッジ及び／またはオブジェクト検出を行って、画像の配置を自動的に更新することができる。

ある実施例は、航空機のような飛行体に適用できる。それにかかわらず、他の実施例は、船舶等の他のカテゴリーの乗り物、ホバークラフト等の水陸両用の乗り物、車、トラック等の車輪のある乗り物、またはスノーモービル等の履帯車両に適用してもよい。

本発明のある実施例は、外部環境のリアルタイム合成画像とリアルタイムビデオイメージを結合する装置及び方法を提供する。以下に説明するように、システムの構成要素には、システムプロセッサ、マーカー、及び眼鏡型ディスプレイが含まれる。

図１は、本発明のある実施例に係るマーカーを示す図である。図１に示すように、マーカーは、コックピット内の固定位置に設けることができる。これらのマーカーは、事前に決められた特定の配置、色、模様、または反射性を有するマーカーのような認識可能な形の任意のマーカーを選択できる。図示のように、コックピット全体の所定の位置に複数のマーカーを配置できる。例としてコックピットを挙げているが、船若しくはヨットのブリッジ、または車の運転席エリアのような他の場所にも同様に設けることが可能である。マーカーは、乗り物の操作者（例えば、パイロット）の目視領域全体にわたって配置可能である。よって、マーカーの位置は、乗り物の操作中に操作者の視界内で少なくとも1つのマーカーが通常視認可能であるように分散して配置することができる。

図２は、本発明のある実施例に係るマスク領域のマッピングを示す図である。図２に示すように、マスク領域は、コックピット領域内のフロントガラス及び他の窓に対応する。

眼鏡型ディスプレイは、内蔵ビデオカメラ、赤外線エミッター、及び３軸角速度ジャイロを備える。通常は航空機や車等の乗り物用に適用される。

図３は、本発明のある実施例に係る眼鏡型ディスプレイを示す図である。図３に示すように、前方を向いている眼鏡型ディスプレイにビデオカメラを取り付けることが可能であり、近傍（内部）処理及び遠方（外部）処理用の合焦イメージを提供できる。

眼鏡型ディスプレイは、赤外線（ＩＲ）エミッターを備えることもできる。ＩＲエミッターは、特にＩＲ光を十分に反射するように構成されているマーカーを照明するために使用可能である。眼鏡型ディスプレイは、微小電気機械センサ（ＭＥＭＳ)等のような、速度ジャイロまたは他の運動感知装置も備えている。

図４は、本発明のある実施例に係る、窓にマッピングされた合成画像を示す図である。図４に示すように、合成画像は、図２に示すようなマスク領域にのみマッピング可能である。１つの画像を示しているが、それぞれの目がわずかに異なる画像を見るような、立体画像を任意に提示することもできる。

図５は、本発明のある実施例に係る、窓にマッピングされたカメラ画像を示す図である。図４に示すように、カメラ画像は、図２に示されているようなマスク領域にのみマッピング可能である。１つの画像を示しているが、それぞれの目がわずかに異なる画像を見るような、立体画像を任意に提示することもできる。

図６は、本発明のある実施例に係るシステムを示す図である。図６に示すように、当該システムは、短焦点カメラ及び長焦点カメラを有する。各カメラのうち１つしか示されていないが、複数のカメラを設け、例えば、立体画像あるいは望遠オプションを提供することもできる。

長焦点カメラは、外部映像を外部画像マスキング部に提供する。外部画像マスキング部は、グラフィックプロセッサのようなプロセッサにおいて実装可能である。外部映像とは、航空機の周囲の状況のような乗り物の外部に対応する映像のことである。

短焦点カメラは、内部画像マスキング部に内部映像を提供する。内部画像マスキング部は、グラフィックプロセッサのようなプロセッサにおいて実装可能である。このプロセッサは、外部映像マスキング部用のプロセッサと同じプロセッサでもよいし、異なるプロセッサでもよい。このシステムは、マルチコアプロセッサを備えている場合もあり、内部画像マスキング部と外部画像マスキング部は、マルチコアプロセッサの異なるコア上の異なるスレッドで実装可能である。

内部映像とは、航空機のコックピットのような乗り物の内部に対応する映像のことである。この内部映像は、マーカー検出位置特定部にも提供可能である。図示しないが、外部映像も任意にこの同じマーカー検出位置特定部に提供可能である。前記外部映像の焦点がコックピットの内壁よりも長く設定されている場合は、マーカーの焦点が合わなくなる可能性があるため、この外部映像はマーカーの検出及び位置特定には有用ではない。マーカー検出位置特定部は、上記と同じプロセッサまたは異なるプロセッサにおいて実装可能である。また、このシステムの各処理部は、任意に１つまたは多数のプロセッサにおいて実装されてもよく、また、このプロセッサの１つまたは多数のスレッドにおいて実装されてもよい。読み易くするため、ここで、言及する各「部」は、以下の説明において明確に述べられていない場合であっても、単独、または他の特定の部のいずれかとの組み合わせにおいても同様に具現化できるものとする。

ＭＥＭＳデバイスのような３軸角速度ジャイロ又は同様の加速度計は、積分角度変位部に速度データを提供する。積分角度変位部は、クロックソースから時間データも受信可能である。クロックソースは、ローカルクロックソース、ラジオクロックソース、または全地球測位システム（ＧＰＳ)ソースからのクロックデータのような他のクロックソースであってもよい。

ＧＰＳデータ及びエアデータは、乗り物ジオリファレンスデータ部に入力可能である。乗り物ジオリファレンスデータ部は、緯度、経度、高度、ピッチ、横揺れ、機首方位等の情報を含む航空機の位置及び方向についての詳細な情報を提供する。上記情報には、これらの現在値、及びこれらそれぞれに関する速度または加速度情報も含まれる。

乗り物ジオリファレンスデータ部からの情報は、外部合成画像生成部に提供される。外部合成画像生成部は、合成画像データベースからデータを受信する。合成画像データベースは、ローカルデータベースまたはリモートデータベースでもよい。ローカル合成画像データベースは、任意に航空機または他の乗り物のごく近傍に関するデータを格納することができる。例えば、１時間分または１つの燃料タンクの範囲分のすべての合成画像データがローカルに格納され、一方、追加の合成画像データは航空機によってリモートで格納及び検索できる。

乗り物地図データベースは、内部マスクデータをフレーム内部マスク変換部に提供できる。また、乗り物地図データベースは、外部マスクデータをフレーム外部マスク変換部に提供することもできる。乗り物地図データベースは、さらに、マーカー検出位置特定部とユーザ視界方向部にマーカー位置を提供することが可能である。

乗り物地図データベース及び合成画像データベースの各々、または両方は、１つ以上のメモリを使用して実装できる。上記メモリは、ＣＤ−ＲＯＭやＤＶＤ等の光記憶装置、テープドライブやフロッピーディスク記憶装置等の磁気記憶装置、またはフラッシュランダムアクセスメモリ（ＲＡＭ)やソリッドステートドライブ（ＳＳＤ)等の固体記憶装置等、いかなる形式のコンピュータ記憶装置でもよい。任意のコンピュータで読み取り可能な非一時的媒体を使用してデータベースを記憶してもよい。上記と同様の、または他のコンピュータで読み取り可能な非一時的媒体を使用してコンピュータコマンド等のコンピュータ命令を記憶し、ここで説明する様々な演算部を実現してもよい。データベース記憶部は、コンピュータコマンド記憶部と別体でも一体でもよい。リダンダント・アレイ・オブ・インエクスペンシブ・ディスクズ（ＲＡＩＤ）のような、メモリ安全性技術を使用してもよい。メモリのバックアップは、ローカルに実行しても良いし、クラウドシステムで実行しても良い。図示しないが、システムのメモリは、フライトレコーダーと通信可能であり、システムの動作状態の詳細をフライトレコーダーに提供することができる。

マーカー検出位置特定部は、短焦点カメラ及びマーカーの位置に基づく情報をユーザ視界方向部に提供する。ユーザ視界方向部は、積分角度変位部からの積分角度変位データも受信可能である。ユーザ視界方向部は、次に、ユーザが見ている現在の方向に関する情報を、フレーム内部マスク変換部、フレーム外部マスク変換部、及び外部合成画像生成部に提供する。

フレーム内部マスク変換部は、内部マスクデータに基づく内部マスク変換データ及びユーザの視界方向データを提供する。内部マスク変換データは、内部画像マスキング部に提供される。内部画像マスキング部は、短焦点カメラから内部映像を受信する。内部画像マスキング部は、内部画像マスキングデータを内部外部画像結合部に提供する。

外部合成画像生成部は、乗り物ジオリファレンスデータ部、合成画像データベース、及びユーザ視界方向部からのデータに基づき、外部合成画像を合成画像マスキング部に提供する。

合成画像マスキング部は、外部合成画像及びフレーム外部マスク変換に基づき、被マスク合成画像データを生成し、このデータを外部画像混合部に提供する。

外部画像マスキング部は、フレーム外部マスク変換データ及び外部映像を受信し、被マスク外部画像を生成する。被マスク外部画像は、外部画像混合部及びエッジ／オブジェクト検出部にも提供される。エッジ／オブジェクト検出部は、自動透明度部に対して出力を行い、次に当該自動透明度部は、外部画像混合部に透明度情報を提供する。オーバーレイ記号生成部は、外部画像混合部にオーバーレイ記号を提供する。

それらが多数入力されると、外部画像混合部は、外部画像を内部外部画像結合部に提供する。内部外部画像結合部は、内部画像と外部画像を結合し、結合した画像を眼鏡型ディスプレイに送る。

図６及び上記の説明から分かるように、本発明のある実施例におけるシステムプロセッサは、乗り物ジオリファレンスデータ、合成イメージデータベース、並びに合成画像生成部及び映像／画像データを操作し、表示するための構成要素を備える。

マーカーは、乗り物内部の、ユーザの通常の視界内に位置する。当該マーカーは、支柱のような自然の特徴、または意図的に設置された基準でもよい。これらのマーカーは、内部の視覚上の障害物に対して固定された位置に設けられている特徴であってもよい。図１は、同様のマーカーの例を示している。

プロセッサは、ビデオ画像においてマーカーを特定し、この情報を使用して乗り物の構造に対するユーザの視界方向を判定する。ユーザの視界方向は、頭の動き、座席の変更等で変わる可能性がある。

設置時に、固定されたマーカーを使用することにより、乗り物の構造に対して外部マスクと内部マスクが決定できる。通常、外部マスクは、フロントガラス及び窓であるが、外部マスクは、所望であれば、任意に定義できる。図２は、外部マスクの例を示している。内部マスクは、外部マスクと逆にすることも可能である。

つまり、内部マスクは、通常、窓領域以外のすべてであってもよい。内部マスクも任意に定義できる。通常、内部マスクは、乗り物内部の計器盤、制御装置、及びその他のものを含む。外部マスク、内部マスク、及びマーカーの位置は、乗り物地図データベースに記憶することができる。

強調イメージは、外部マスクにのみ選択的に表示でき、ユーザの視界方向に合わせることができる。画像強調のレベルは、図５に示すリアルタイム映像、図４に示す完全な合成イメージ、あるいはそれらの組み合わせによって異なっていてもよい。乗り物パラメータ、障害物、交通のような追加情報も強調イメージにおけるオーバーレイとして含まれてもよい。強調のレベルは、自動的に、またはユーザにより選択可能である。

リアルタイムビデオイメージは、常に内部マスクに表示されてもよく、ユーザの視界方向に合わせてもよい。

プロセッサは、カメラ画像フレーム内において固定マーカーの位置を特定することにより、乗り物の構造に対するマスクの向き及び配置を維持できる。ユーザの頭が動くと、マスクは逆の方向に動くことが可能である。

ユーザの視界方向、ジオリファレンスデータ及び合成画像データベースを使用してリアルタイム合成イメージを生成できる。

乗り物用のジオリファレンスデータは、緯度、経度、姿勢（ピッチ、横揺れ）、機首方位（揺首）、及び高度のいずれかを含んでいてもよい。このようなデータは、例えば、ＧＰＳ、姿勢ジャイロ、及びエアーデータセンサによって提供される。

ユーザの視界方向の長時間の方向付けは、乗り物内のマーカーの位置特定に基づいて行うことができる。これは、ＩＲエミッター信号の反射、あるいは画像分析によるオブジェクト検出等多くの方法で行うことができる。視界方向を短期的に安定させるためには、３軸速度ジャイロ（又はそれに類する）データを用いることができる。

速度ジャイロデータの積分により、総角度変位量が得られる。これは、設置時のマーカーの位置を特徴付けるのに有益である。以前から周知のように、マーカーの動きはユーザの実際の視界方向と相互に関連付けることが可能である。

マーカーの特徴付けのためのデータは、眼鏡型ディスプレイを装着し、操作者の位置からの視界方向の許容範囲全体をスキャンすることによって収集することが可能である。例えば、眼鏡型ディスプレイは、完全に左、右、上、下に向けることが可能である。結果として、球形または半球形のパノラマ画像が得られる。

マーカーが一旦特徴づけられると、外部マスクと内部マスクが決定できる。これらのマスクは任意であり、いくつかの方法で定義できる。例えば、ソフトウェアツールを使用してパノラマ画像を編集することができる。他の選択肢としては、窓または他の領域に緑色の布を用い、緑色の領域を自動的にマスク領域として検出するクロマキー法を使用することである。さらに別の選択肢としては、乗り物が明るい昼光の中にあるとき、明るい領域を検出してフィルタにかけることである。

フレームマスク変換は、様々な方法で行うことが可能である。変換ベクトルは、乗り物地図データベースにおけるマーカーを、ユーザの視界方向に基づき検出されたマーカー位置に最も適切に動かすベクトルとして算出できる。フレーム外部マスクとフレーム内部マスクは、変換ベクトル、外部マスク、及び内部マスクを用いて算出できる。フレーム外部マスクは、外部映像と合成画像をクロップするために使用できる。フレーム内部マスクは、内部映像をクロップするために使用できる。乗り物の外部マスクと内部マスクは変更する必要がない。システムは、外部マスクと内部マスクの境界を、境界がはっきりと分からないようにまたは目立たないようにディザリングすることができる。

変数である透明度を使用することにより、外部被マスク映像及び合成被マスク映像を混合または結合することによる強調画像の生成が可能になる。透明度比率は、アナログ値であってもよく、ユーザまたは自動アルゴリズムによって決定できる。自動アルゴリズムは、エッジ検出用の被マスク外部映像データを処理できる。エッジの鮮明度が高いほど、外部被マスク映像が優勢になる。逆に、エッジの鮮明度が低いほど、合成被マスク映像が優勢になる。

上記のように、内部マスクは、外部マスクと逆にすることができる。従って、フレーム内部被マスク画像は、各画素の単純最大値演算により強調画像と結合することができる。これにより、ユーザは、乗り物の内部及び外部環境の両方と整合しているイメージ（実イメージ及び強調イメージ）を得ることができる。

視認可能な特徴のエッジ／オブジェクト検出によって、合成画像を外部環境と合わせることができる。これは、ユーザの入力なしで継続して行われる。

視界方向に対する太陽の位置が周知である。よって、画像内で太陽を追跡し、その輝度を下げることにより太陽のまぶしさを軽減する及び/またはなくしてもよい。

図７は、本発明のある実施例に係る方法を示す。 図７に示すように、当該方法では、７１０において、プロセッサにより、ユーザの位置に基づく内部ビデオ画像を取得する。内部ビデオ画像は、ライブカメラフィード、例えば、前述の例のように、コックピット内部のライブビデオ映像であってもよい。

当該方法では、７２０において、プロセッサにより、ユーザの位置に基づく外部ビデオ画像を取得する。外部ビデオ画像の取得は、７２４においてライブカメラフィード、合成画像、またはライブカメラフィードと合成画像の結合から選択することを含む。当該方法では、７２６において、ライブカメラフィードと合成画像の結合用の透明度を選択する。また、当該方法では、７２２において、ユーザの位置に基づき合成画像を生成する。上記のように、合成画像の配置は、内部ビデオ画像からのエッジ検出または画像検出の少なくとも１つに基づいて決定される。エッジ検出及び／又はオブジェクト検出は、合成画像、ライブビデオ画像、またはそれらの何らかの結合を選択するかどうかを決定するために使用可能である。

当該方法ではさらに、７３０において、内部ビデオ画像と外部ビデオ画像を結合し、ユーザ用の結合された単一のビューを形成する。結合された単一のビューは、上記に述べたように、計器盤ビュー及びウィンドウビューを含むコックピットのライブビデオ画像である。当該方法では、さらに、７４０において、結合された単一のビューをユーザのディスプレイに提供する。ディスプレイは、航空機のパイロットが装着する眼鏡であってもよい。ディスプレイは、さらに、方向情報に類似する追加情報がヘッドアップディスプレイ上に重畳されるよう構成することができる。

図８は、本発明のある実施例に係るシステムの例を示している。なお、図７に例示された方法の各ブロックは、ハードウェア、ソフトウェア、ファームウェア、１つ以上のプロセッサ及び／又は回路構成のような様々な手段またはそれらの組み合わせによって実行されてもよい。本発明の一実施例においては、システムは例えば、装置８１０、及びディスプレイ装置８２０のようないくつかの装置を含む。例示のためには、各１つしか図示しないが、このシステムは、２つ以上のディスプレイ装置８２０及び２つ以上の装置８１０を含んでいてもよい。装置８１０は、アビオニクスシステムの列線交換可能なユニットのような任意の適切なアビオニクスハードウェアであってもよい。ディスプレイ装置８２０は、眼鏡型ディスプレイのような、任意の所望のディスプレイ装置であってもよく、単一の画像又は、一対の対応した立体画像を供給してもよい。

装置８１０は、符号８１４として示されている、少なくとも１つのプロセッサ、又は、制御ユニット若しくはモジュールを備えていてもよい。装置８１０には、符号８１５として示されている、少なくとも１つのメモリが備えられていてもよい。メモリ８１５は、上記に述べたように、例えば本発明の実施例を実行するためのコンピュータプログラム命令又はそれに包含されるコンピュータコードを有していてもよい。１つ以上の送受信機８１６が設けられ、装置８１０は、符号８１７として図示されているアンテナも備えていてもよい。１つのアンテナしか示されていないが、多数のアンテナ及び多重アンテナ素子が装置８１０に設けられていてもよい。例えば、装置８１０は他の構成を有していてもよい。装置８１０は、例えば、無線通信に加え又は無線通信の代わりに、（ディスプレイ装置８２０との接続が図示されているように）有線通信用に構成されていてもよい。この場合、アンテナ８１７は、アンテナのみに限定されず、任意の形態の通信ハードウェアでもよい。

送受信機８１６は、送信機、受信機、若しくは送信機及び受信機の両方であってもよく、又は、送信及び受信の両方用に構成されているユニット若しくは装置であってもよい。

プロセッサ８１４は、中央演算処理装置（ＣＰＵ)、デジタル信号プロセッサ（ＤＳＰ)、特定用途向け集積回路（ＡＳＩＣ)、プログラマブルロジックデバイス（ＰＬＤ)、フィールドプログラマブルゲートアレイ（ＦＰＧＡ)、デジタル強調回路、若しくは、同等の装置、又はそれらの組み合わせのような、いかなる演算処理装置、又はデータ処理装置によって具現化されてもよい。プロセッサ８１４は、１つのコントローラ、または複数のコントローラ若しくは複数のプロセッサとして実装されてもよい。さらに、プロセッサ８１４は、ローカル構成、クラウド構成、又はその組み合わせにおけるプロセッサのプールとして実装されてもよい。「回路構成」という用語は、１つ以上の電気回路又は電子回路を指す。「プロセッサ」という用語は、コンピュータを駆動する指令に応え及び処理するロジック回路構成のような回路構成を指す。

ファームウェア又はソフトウェアの場合、その実装には、少なくとも１つのチップセットのモジュール又はユニット（例えば、手順、関数等）を含んでもよい。メモリ８１５は、コンピュータで読み取り可能な非一時的媒体等の、任意の適切な記憶装置であってもよい。ハードディスクドライブ（ＨＤＤ)、ランダムアクセスメモリ（ＲＡＭ)、フラッシュメモリ、又は他の適切なメモリを使用してもよい。メモリ８１５は、プロセッサである単一の集積回路上に組み合わせられてもよく、又は単一の集積回路と別体でもよい。さらに、メモリ８１５に記憶され、プロセッサ８１４によって処理されるコンピュータプログラム命令は、任意の適切な形態のコンピュータプログラムコードであってよい。例えば、任意の適切なプログラミング言語で記述された、コンパイル済み又は解釈済みコンピュータプログラムであってよい。メモリ８１５又はデータ記憶エンティティは、通常内部に設けられているが、サービスプロバイダーから追加の記憶容量を得るような場合には、外部に設けられてもよく、又は内部と外部の組み合わせでもよい。メモリは、固定でもよいし、取り外し可能であってもよい。

メモリ８１５及びコンピュータプログラム命令は、特定の装置用のプロセッサ８１４によって、装置８１０のようなハードウェア装置に上記の処理（例えば、図１及び２を参照）のいずれかを行わせるよう構成されていてもよい。よって、本発明のある実施例においては、コンピュータで読み取り可能な非一時的媒体は、ハードウェアで実行されると、ここで述べた１つ以上の処理のようなある処理を行うコンピュータ命令または１つ以上のコンピュータプログラム（追加、若しくは更新されたソフトウェアルーティン、アプレット、又はマクロ等）によってエンコードされてもよい。コンピュータプログラムは、任意のプログラミング言語によって暗号化されてもよい。プログラミング言語は、オブジェクティブＣ，Ｃ，Ｃ＋＋，Ｃ＃，Ｊａｖａ等の高水準プログラミング言語、又は機械言語等の低水準プログラミング言語若しくはアセンブラーでもよい。或いは、本発明のある実施例は、その全体をハードウェア内において実施されてもよい。

上記実施例の更なる変形も可能である。例えば、各種フィルタを実イメージと合成イメージの両方に適用し、例えば、バランス若しくはコントラスト強調を行い、注目オブジェクトを強調表示する、又は視覚的に注意をそらすものを抑制してもよい。ある実施例においては、左目のビューは、右目のビューとは異なる画像の組み合わせを有していてもよい。例えば、右目のビューは、純粋にライブビデオ画像であり、一方左目のビューは、合成外部ビデオ画像を有していてもよい。或いは、片目のビューは単に眼鏡を透明に通過してもよい。

当業者は、上記の発明が、異なる順番のステップ及び/又は開示された構成とは異なる構成のハードウェア要素によって実施されてもよいことを容易に理解するであろう。従って、好ましい実施例に基づいて発明を説明したが、当業者は、発明の趣旨及び範囲を逸脱しない限り、特定の変形、変更及び代替構成が明白であることは明らかであろう。

Claims (20)

1. プロセッサによって、ユーザの位置に基づき、内部ビデオ画像を取得し、
   前記プロセッサによって、前記ユーザの位置に基づき、外部ビデオ画像を取得し、
   前記内部ビデオ画像と前記外部ビデオ画像を結合し、前記ユーザ用の結合された単一のビューを形成し、
   前記結合した単一のビューを前記ユーザのディスプレイに供給する方法。
2. 前記内部ビデオ画像は、ライブカメラフィードを含む、請求項１に記載の方法。
3. 前記外部ビデオ画像の取得は、ライブカメラフィード、合成画像、または前記ライブカメラフィードと前記合成画像の結合から選択することを含む、請求項１に記載の方法。
4. さらに、前記ライブカメラフィードと前記合成画像の結合用の透明度を選択することを含む、請求項３に記載の方法。
5. さらに、前記ユーザの位置に基づき、前記合成画像を生成することを含む、請求項３に記載の方法。
6. 前記合成画像の配置は、前記内部ビデオ画像からのエッジ検出又は画像検出の少なくとも1つに基づいて決定される、請求項５に記載の方法。
7. 前記結合された単一のビューは、計器盤ビューとウィンドウビューを含むコックピットのライブビデオ画像を含む、請求項１に記載の方法。
8. 少なくとも１つのプロセッサと、
   コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置において、
   前記少なくとも１つのメモリと、前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に、少なくとも、
   ユーザの位置に基づき、内部ビデオ画像を取得させ、
   前記ユーザの位置に基づき、外部ビデオ画像を取得させ、
   前記内部ビデオ画像と前記外部ビデオ画像とを結合させ、前記ユーザ用の結合された単一のビューを形成させ、
   前記結合された単一のビューを、前記ユーザのディスプレイに提供させるよう構成されている装置。
9. 前記内部ビデオ画像は、ライブカメラフィードを含む、請求項８に記載の装置。
10. 前記少なくとも１つのメモリと前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に、少なくとも、ライブカメラフィード、合成画像、または前記ライブカメラフィードと前記合成画像の結合から選択することによって前記外部ビデオ画像を取得させるよう構成されている、請求項８に記載の装置。
11. 前記少なくとも１つのメモリと、前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に、少なくとも、前記ライブカメラフィードと前記合成画像の結合用の透明度を選択させるよう構成されている、請求項１０に記載の装置。
12. 前記少なくとも１つのメモリと、前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に、少なくとも、前記ユーザの位置に基づいて前記合成画像を生成させるよう構成されている、請求項１０に記載の装置。
13. 前記合成画像の配置は、前記内部ビデオ画像からのエッジ検出又は画像検出の少なくとも１つに基づいて決定される、請求項１２に記載の装置。
14. 前記結合された単一のビューは、計器盤ビューとウィンドウビューを含むコックピットのライブビデオ画像を含む、請求項８に記載の装置。
15. ユーザの周囲の短焦点ビューを提供するよう構成されている第１のカメラと、
    前記ユーザの周囲の長焦点ビューを提供するよう構成されている第２のカメラと、
    前記短焦点ビューと前記長焦点ビューに基づき、前記周囲の結合されたビューを提供するよう構成されたプロセッサと、
    前記ユーザに対し前記結合されたビューを表示するよう構成されたディスプレイと、を備えるシステム。
16. 前記短焦点ビューは、ライブカメラフィードを含む、請求項１５に記載のシステム。
17. 前記結合されたビューの提供は、ライブカメラフィード、合成画像、又は前記ライブカメラフィードと前記合成画像との結合からの選択を含む、請求項１５に記載のシステム。
18. 前記プロセッサは、前記ライブカメラフィードと前記合成画像との結合用の透明度を選択するよう構成されている、請求項１７に記載のシステム。
19. 前記プロセッサは、前記ユーザの位置に基づき、前記合成画像を生成するよう構成されている、請求項１７に記載のシステム。
20. 前記プロセッサは、前記合成画像を、前記短焦点ビューからのエッジ検出又は画像検出の少なくとも1つに基づいて配置するよう構成されている、請求項１７に記載のシステム。
    

Images