JP2007221179A - 画像表示装置および画像表示方法 - Google Patents

Abstract

【課題】三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することができ、また、複数台のカメラ間の距離に起因するデッドゾーンの影響を小さくすることのできる画像表示装置および画像表示方法を提供する。
【解決手段】移動体上に搭載された複数台のカメラから入力された映像を表示する画像表示装置において、
前記複数台のカメラの撮影タイミングを制御するタイミング制御部と、
前記映像を仮想面上に写像する演算を行う映像処理部と、
写像した結果をストアするメモリと、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする。
【選択図】図１

Description

本発明は、航空機や車両などの移動体に搭載され、これら移動体を基準とした全方向画像を表示する画像表示装置および画像表示方法に関し、詳しくは、３次元の全方向の範囲で任意の方向の外界映像を出力する画像表示装置および画像表示方法に関するものである。

従来、適切な航行措置をとるために、航空機や車両などの移動体にカメラを搭載して機体周囲の映像情報を取得し操縦者に提示するものがある。
また、無人ヘリコプターの遠隔操作において、無人ヘリコプターに全方位カメラを搭載して撮像された映像を受信し、操縦者側の操縦システムで任意方向の映像を切り出し操縦者に提示するものがある（例えば、特許文献１参照。）。

特開２００３−２６７２９５号公報

図１１は、従来の画像表示装置における航空機上のカメラの概略配置例を示した図である。図１１（ａ）は、機首に可動型カメラを配置した状態を示している。図１１（ａ）において、可動型カメラ１１２の可動範囲で機体１１１周辺を撮影する。図１１（ｂ）は、機体１１１に複数のカメラを配置したもので、図１１（ｂ）においてカメラ１１３は機首に配置され機体前方を撮影し、カメラ１１４は機体後部に配置され機体後方を撮影する。

図１２は、特許文献１に記載の従来の画像表示装置の一例を示す構成図である。
図１２において、無人ヘリコプター１２０に搭載された全方位カメラ１２１は、３６０°全方位の映像を取得し、映像送信器１２２は、この映像信号を操縦システム１２３内の映像受信器１２４へ送信する。映像受信器１２４は、映像信号を映像切り出し部１２５に送り、映像切り出し部１２５は、操縦者の視線方向を検出する角度センサ１２６からの信号に基づき変換テーブルを用いて映像信号の内で任意方向の映像部分を切り出す。ヘッドマウントディスプレイなどの表示部１２７は、切り出された映像を操縦者に提示する。

しかし、上述の可動型カメラを使用した場合には、応答速度は遅い、メカニカルの機構が必要になる、可動範囲が制限される、などの問題がある。また、複数の固定カメラを使用した場合は、映像が別々の系統になるので、切替えが必要になり、使いにくいという欠点がある。さらに、全方位カメラを使用し、任意の角度の映像を切り出して表示系統に送るものでは、地上や風景などの限られた視野の範囲を見るには有効であるが、三次元で全方向の映像を見ることはできないという問題があった。

また、複数台のカメラを実装してそれぞれの画像を合成する場合には、すべてのカメラの光学中心が共通の一点に存在すれば画像の合成に何ら問題は生じないが、現実には全てのカメラを同じ位置に取り付けることはできないため、各カメラ間には距離が生じる。そのため、カメラ間の光学中心は同一とはならず、画像の合成の際に以下に説明するような不都合が生じる。

図１３は複数台のカメラを実装した場合の光学中心の位置を示す図である。図１３において、１３０および１３１はカメラ、Ａ１３０はカメラ１３０の光学中心、Ａ１３１はカメラ１３１の光学中心である。カメラ１３０はθ１，カメラ１３１はθ２の範囲の画像を撮影することができるものとする（θ１＝θ２＝９０°）。

ｄは光学中心Ａ１３０およびＡ１３１の間の距離である。カメラ１３０および１３１の光学中心が距離ｄだけ離れているために、撮影範囲θ１およびθ２のどちらにも含まれない領域Ｄのように、どちらのカメラからも撮影されない領域（以下この領域をデッドゾーンと呼ぶ。）が生じてしまう。

図１４はカメラの位置とデッドゾーンを見込む角度の関係を示す図である。図中、光学中心Ａ１３０およびＡ１３１の中間点を点Ｏとする。θ１，θ２が正確に９０°である場合には、デッドゾーンの幅ｄは無限遠まで不変である。したがって、撮影する対象物が遠方にあればあるほど、点Ｏからデッドゾーンを見込む角度は小さくなる。

すなわち、点Ｏから距離Ｌ１におけるデッドゾーンを見込む角度をφ１、距離Ｌ２におけるデッドゾーンを見込む角度をφ２とすると、
φ１＝２ｔａｎ^−１（ｄ／２Ｌ１）
φ２＝２ｔａｎ^−１（ｄ／２Ｌ２）
となり、距離Ｌが大きくなればなるほど、φは小さくなり、Ｌ→∞（無限大）ではφ→０（ゼロ）となる。

よって、複数台のカメラを実装してそれぞれの画像を合成する場合には、カメラ間の距離ｄに比べて遠方の画像を見る場合には問題を生じないが、近距離の対象物を見る場合には距離ｄの幅に含まれる領域の情報が欠落してしまうという問題がある。

本発明は、このような従来の画像表示装置および画像表示方法が有していた問題を解決しようとするものであり、三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することができ、また、複数台のカメラ間の距離に起因するデッドゾーンの影響を小さくすることのできる画像表示装置および画像表示方法を提供することを目的とする。

上記のような目的を達成するために、本発明の請求項１では、移動体上に搭載された複数台のカメラから入力された映像を表示する画像表示装置において、
前記複数台のカメラの撮影タイミングを制御するタイミング制御部と、
前記映像を仮想面上に写像する演算を行う映像処理部と、
写像した結果をストアするメモリと、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする。

請求項２では、請求項１に記載の画像表示装置において、前記タイミング制御部は、前記複数台のカメラそれぞれの撮影時の光学中心がすべて共通の一点となるように、前記移動体の移動速度および移動方向や前記カメラの配置に応じて撮影タイミングを制御することを特徴とする。

請求項３では、移動体上に搭載された複数台のカメラから入力された映像を表示する画像表示装置において、
前記映像を仮想面上に写像する演算を行う映像処理部と、
写像した結果をストアするメモリと、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
前記表示用の映像を表示する表示部と、
を有し、
前記映像処理部は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記カメラが撮影した映像から、前記カメラそれぞれの撮影時の光学中心がすべて共通の一点となるような映像を選択し、その映像を用いて写像することを特徴とする。

請求項４では、請求項１乃至３のいずれかに記載の画像表示装置において、前記仮想面は球面体であることを特徴とする。

請求項５では、請求項１乃至３のいずれかに記載の画像表示装置において、前記仮想面は正多面体であることを特徴とする。

請求項６では、請求項１乃至５のいずれかに記載の画像表示装置において、前記複数台のカメラは、３次元の全方位の映像を出力するように配置されることを特徴とする。

請求項７では、請求項１乃至６のいずれかに記載の画像表示装置において、前記移動体は航空機であることを特徴とする。

請求項８では、請求項７に記載の画像表示装置において、前記表示処理部は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づいて表示用の映像を生成することを特徴とする。

請求項９では、請求項７に記載の画像表示装置において、前記表示処理部は、予め設定された目標物を表示する映像であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示する映像を生成することを特徴とする。

請求項１０では、移動体上に搭載され、３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
個々の前記カメラごとに定められた固有のタイミングで撮影を行う工程と、
前記複数台のカメラの映像を仮想面上に写像する工程と、
写像した結果をメモリにストアする工程と、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
を有することを特徴とする。

請求項１１では、請求項１０に記載の画像表示方法において、前記カメラごとに定められた固有のタイミングで撮影を行う工程は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記複数台のカメラそれぞれの撮影時の光学中心がすべて共通の一点となるようなタイミングで撮影を行うことを特徴とする。

請求項１２では、移動体上に搭載され、３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
個々の前記カメラごとに定められた固有のタイミングで撮影を行う工程と、
前記複数台のカメラの映像を仮想面上に写像する工程と、
写像した結果をメモリにストアする工程と、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
を有し、
前記複数台のカメラの映像を仮想面上に写像する工程は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記カメラが撮影した映像から、前記カメラそれぞれの撮影時の光学中心がすべて共通の一点となるような映像を選択し、その映像を用いて写像することを特徴とする画像表示方法。

請求項１３では、請求項１０乃至１２のいずれかに記載の画像表示方法において、前記複数台のカメラの映像を仮想面上に写像する工程は、前記複数台のカメラの映像を球面体上に写像することを特徴とする。

請求項１４では、請求項１０乃至１２のいずれかに記載の画像表示方法において、前記複数台のカメラの映像を仮想面上に写像する工程は、前記複数台のカメラの映像を正多面体上に写像することを特徴とする。

本発明によれば、応答速度が速く、メカニカルの機構やカメラの切り替えが不要で、３次元の全方向の範囲で任意の方向の映像出力を得ることができる画像表示装置および画像表示方法が実現できる。

適切な航行措置をとるために、航空機や車両などの移動体の周囲の映像情報を取得し、操縦者に任意の方向の映像を提示することができる。さらに、機体の方向を検知するセンサの出力信号を使用して表示映像を生成することにより、機体の向きに応じたカメラ映像を得ることができ、また、機体の向きに係わらず常に地上あるいは空間上の一方向を向いたままロックした画像を出力することができる。

複数台のカメラで取得した画像を合成するときに、各カメラの光学中心を合わせることができ、近距離の対象物を見る場合でも情報の欠落を防止することができる。

このように、カメラで撮影した映像を仮想面上に正規化して表示映像の生成を行うことにより、三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することができ、また、複数台のカメラ間の距離に起因するデッドゾーンの影響を小さくすることのできる画像表示装置および画像表示方法を提供することができる。

以下、図面を用いて本発明の画像表示装置および画像表示方法を説明する。

図１は、本発明の画像表示装置および画像表示方法の一実施例を示す構成図である。図１において、カメラ１ａから１ｆは、図２（ａ）に示すように、それぞれ航空機の６軸方向に取り付けられた広角カメラであって、６軸方向の映像信号を出力する。図２（ａ）は、機体に取り付けられたカメラの配置例を示した図である。
図２（ｂ）および（ｃ）は、（ａ）に示したカメラの配置を単純化し、模式的に示した図であり、ａ〜ｆはカメラ１ａ〜１ｆの取り付け位置を示している。図２（ｂ）は航空機の胴体部分を側面から見た図であり、図２（ｃ）は航空機を前面から見た図である。

図１に戻り、Ａ／Ｄ変換器２ａから２ｆは、各カメラから出力された映像信号をデジタルデータに変換して出力する。メモリ３ａから３ｆは、各Ａ／Ｄ変換器から出力されたデジタルデータを格納する。機体Ｉ／Ｆ部４は、機体の姿勢等の機体情報を入力するインターフェースであって、機体の向き、高度、速度などのデータを出力する慣性航法システム（図示せず）に接続されている。

タイミング制御部１１は、ＣＰＵ（演算装置）５の制御により、カメラ１ａ〜１ｆに対し、映像の取得するタイミングを制御するトリガ信号を出力する。ＣＰＵ５は、機体Ｉ／Ｆ部４を介して機体システムから得られる速度情報を元にトリガ信号を出力するタイミングを計算する。

ＣＰＵ５は、バス９を介してメモリ３ａから３ｆのデータを取得し、後述する三次元への写像演算を行うと共に任意の部分を切り出した映像データを生成する。その際には、機体Ｉ／Ｆ部４を介して出力された機体情報を用いて計算を行う。

写像用メモリ６には、ＣＰＵ５が演算した写像データが格納され、表示用メモリ１０には、ＣＰＵ５が生成した表示用の映像データが格納される。同期信号生成回路７およびＤ／Ａ変換器８は出力ビデオの輝度信号を生成するビデオインタフェースである。同期信号生成回路７は、出力ビデオ信号の同期信号を生成し、Ｄ／Ａ変換器８は、表示用メモリ１０に格納された映像データからビデオ信号を生成して、表示器により操縦者に提示する。

図２（ｂ），（ｃ）において、各カメラ間の距離を、図に示すようにＤ_ａ−ｂ，Ｄ_ｂ−ｃ，Ｄ_ａ−ｆ，Ｄ_ａ−ｅ，Ｄ_ｂ−ｅ，Ｄ_ｅ−ｄのように定義する。距離Ｄの添え字はどのカメラ間の距離であるかを示すものであり、たとえば、Ｄ_ａ−ｂはカメラ１ａとカメラ１ｂ間の距離を示すものとする。

通常、航空機は前後に長い流線型の形状をしているため、カメラ間の距離のうち、上下方向のカメラ間距離（Ｄ_ｂ−ｅ，Ｄ_ｅ−ｄ）や左右方向のカメラ間距離（Ｄ_ａ−ｆ，Ｄ_ａ−ｅ）よりも、前後方向のカメラ間距離（Ｄ_ａ−ｂ，Ｄ_ｂ−ｃ）が非常に大きくなる。前述のデッドゾーンはカメラ間の距離に起因して発生するものであるため、デッドゾーンの幅も機体の前後方向において非常に大きくなる。

図３は各カメラの画角と撮影の範囲を示した図である。ａ〜ｆはカメラ１ａ〜１ｆの取り付け位置である。位置ａに配置されたカメラ１ａは、機体の前方（進行方向）の映像を撮影し、等価的にＡで示す平面の範囲の画像を取得する。同様に、位置ｂに配置されたカメラ１ｂは、機体の上方の映像を撮影し、平面Ｂの範囲の画像を取得する。さらに、カメラ１ｃ…１ｆが画像を取得する範囲をそれぞれ平面Ｃ…平面Ｆとする。

理想的には、平面Ａ〜平面Ｆによりこれらを６面とする立方体を構成し、３次元の全空間をカバーする映像が得られるが、現実には各カメラ間には距離Ｄ_ａ−ｂ，Ｄ_ｂ−ｃ，Ｄ_ａ−ｆ，Ｄ_ａ−ｅ，Ｄ_ｂ−ｅ，Ｄ_ｅ−ｄが存在するため、この距離を幅とするデッドゾーンを生じる。

本実施例では、これらのデッドゾーンのうち、特に影響の大きい前後方向のデッドゾーン、すなわち、Ｄ_ａ−ｂ，Ｄ_ｂ−ｃの幅を持つデッドゾーンの影響を低減することを目的とする。

図４は、カメラ１ａ〜１ｆが取得する映像と機体の位置の関係を示す図である。図４（ａ）は前方に向かって航行中の航空機のある時刻ｔ＝ｔ_０における機体の位置を示したものである。また、図４（ｂ）は時刻ｔ＝ｔ_１における機体の位置、図４（ｃ）は時刻ｔ＝ｔ_２における機体の位置を示している。

ａ_０〜ｆ_０は時刻ｔ＝ｔ_０におけるカメラ１ａ〜１ｆの取り付け位置を示す。同様に、ａ_１〜ｆ_１は時刻ｔ＝ｔ_１におけるカメラ１ａ〜１ｆの取り付け位置を示し、ａ_２〜ｆ_２は時刻ｔ＝ｔ_２におけるカメラ１ａ〜１ｆの取り付け位置を示す。本実施例では、カメラ１ｂ、１ｄ、１ｅ、１ｆは、機体を前後に分断する同一平面上に取り付けられているものとする。

時刻ｔ_１は、機体が時刻ｔ_０の位置から前進し、ｂ_１、ｄ_１、ｅ_１、ｆ_１の水平方向の座標が時刻ｔ_０におけるａ_０の座標と一致した時刻とする。また、時刻ｔ_２は、機体が時刻ｔ_１の位置からさらに前進し、ｃ_２の水平方向の座標がａ_０の座標と一致した時刻とする。

図４（ａ）ｔ＝ｔ_０の時にカメラ１ａ…１ｆで取得される画像をそれぞれ平面Ａ_０…Ｆ_０とする。同じく、図４（ｂ）ｔ＝ｔ_１の時にカメラ１ａ…１ｆで取得される画像をそれぞれ平面Ａ_１…Ｆ_１とし、図４（ｃ）ｔ＝ｔ_２の時にカメラ１ａ…１ｆで取得される画像をそれぞれ平面Ａ_２…Ｆ_２とする。

ｔ＝ｔ_０における平面Ａ_０およびｔ＝ｔ_１における平面Ｂ_１、Ｄ_１、Ｅ_１、Ｆ_１、さらにｔ＝ｔ_２における平面Ｃ_２を合成すると図４（ｄ）のようになる。このように合成すると、機体の前後方向の画像である平面Ａ_０と平面Ｃ_２の光学中心を合わせることができ、影響の大きかった前後方向のデッドゾーンを見かけ上なくすことができる。

ｔ_１およびｔ_２は以下の式で計算することができる。
Δｔ_１０＝ｔ_１−ｔ_０＝Ｄ_ａ−ｂ／Ｖ_ａ
Δｔ_２１＝ｔ_２−ｔ_１＝Ｄ_ｂ−ｃ／Ｖ_ａ
ここで、Ｖ_ａは機体の前後方向の速度である。

図５は１ａ〜１ｆで画像を取得するタイミングを示す図である。Ｓｉ（ｉ＝０，１，２…）は撮影期間、Ｔｉ（ｉ＝０，１，２…）は撮影した画像を出力（伝送）する期間を示す。ＣＰＵ５で上記計算式からカメラ１ａ〜１ｆで画像を取得するタイミングを計算し、タイミング制御部１１にトリガ信号を出力する。この信号を受けて、タイミング制御部１１はカメラ１ａ〜１ｆに画像を取得するトリガ信号を出力する。

まず、ｔ＝ｔ_０で、タイミング制御部１１はカメラ１ａにトリガ信号を出力し、カメラ１ａはこの信号を受けてＳ_０の期間撮影を行い、Ｔ_０の期間出力動作を行う。次に、Δｔ_１０後にカメラ１ｂ、１ｄ、１ｅ、１ｆに対しトリガ信号を出力し、Ｓ_１の期間撮影を行い、Ｔ_１の期間に出力動作を行う。さらに、Δｔ_２１後にカメラ１ｃに対してトリガ信号を出力し、Ｓ_２の期間撮影を行い、Ｔ_２の期間出力動作を行う。

このようにして、カメラ１ａが画像を取得するタイミングを基準として、カメラ１ｂ、１ｄ、１ｅ、１ｆのグループおよびカメラ１ｃに対して、Δｔ_１０およびΔｔ_２１の時間差のある画像を取得でき、これらの画像を合成することにより、図４（ｄ）に示したような、前後方向のデッドゾーンをなくした画像を得ることができる。この一連の動作を連続して繰り返すことにより、カメラ間の距離に起因するデッドゾーンの影響の小さい、自機を中心とした３次元の全方向の範囲の映像を生成することができる。

図６は映像の正規化に係る説明図である。ＣＰＵ５は、カメラの位置（機体と等価とみなす）を中心点として、取得した６面の画像を中心点の周囲の仮想面上に写像する。図６は画像を写像する仮想面のモデルを示しており、（ａ）は外界を球面と考えたモデル、（ｂ）は外界を正多面体である正２０面体と考えたモデルである。カメラから周囲を見た映像を（ａ）あるいは（ｂ）の仮想面上に投影し、映像の正規化を行う。

なお、写像する正多面体の仮想面としては正６面体なども考えられるが、正２０面体の方が、ある方向を表示するために同時に必要とする面積を少なくすることができる。そのため写像メモリからデータ伝送を行う際のデータ伝送量が抑えられ、処理の負荷を軽減することができるという利点がある。また、正２０面体は各面が３角形で構成されるが、３角形をベースとしたポリゴンに分解して映像情報をテクスチャとして貼り付ける汎用の３Ｄグラフィック技術を用いることができ、表示処理装置を容易に低価格で製作することができる利点もある。

自機を中心とした全方向の映像がすべて既知ならば、仮想的にカメラの方向を決めれば、任意の方向に投影した映像を決定することができる。ＣＰＵ５は、写像用メモリ６内の写像データから表示するべき方向の写像データを抽出し、抽出した写像データから表示に適した平面へ写像を行い、表示用の映像データを生成する。

したがって、仮想面上の全方向の映像が既知である場合には、仮想的なカメラがどの方向を向いても、その映像を切り出して映像を再現することが可能である。その結果、任意の方向のカメラ映像が得られる。つまり、見たい部分の映像をあたかもカメラが存在するかのように操縦者に提示することができる。

写像データの演算および表示データ生成の際は、図１の機体Ｉ／Ｆ部４を介して得られた機体情報を用いて計算を行う。具体的には、機体Ｉ／Ｆ部４を通じて、機体に装備されている慣性航法システム等のセンサから姿勢情報を入力し、ＣＰＵ５の演算に使用する。

また、航空機が外界（地球）に対して姿勢を変えても、カメラの方向を決定する時に自機の姿勢情報を加えて演算することにより、常に地上あるいは空間上の一方向を向いたままロックした画像を出力することも可能である。

前記実施例１では、カメラ１ａ〜１ｆで画像を取得するタイミングを制御することによってカメラの光学中心を共通させ、機体の前後方向のデッドゾーンの影響を低減した。しかし、カメラの撮影タイミングを制御する代わりに、各カメラには常に映像を取得させ、仮想面上への写像演算の際に各カメラの映像の中から光学中心が共通するように時間差をもって画像を選択することにより、デッドゾーンを極小とするような３次元の全方向の映像を生成することも可能である。

このような制御とすれば、デッドゾーンを極小とする画像の選択はＣＰＵ５での写像演算の処理に一体化することができ、図１の構成からタイミング制御部１１を省略することが可能である。

実施例２では、全体の構成は図１からタイミング制御部１１を省略したものとなり、カメラ１ａ〜１ｆの取り付け位置や、取得した画像を仮想面上に写像し、正規化を行う処理以後は実施例１と同じとなる。

カメラ１ａ〜１ｆは常時外部の映像を撮影する。ＣＰＵ５は、各カメラで撮影された映像をメモリ３ａ〜３ｆから読み出して仮想面上への写像の演算を行う。その際、メモリ３ａからはある時刻ｔ_０での映像を読み出し、メモリ３ｂ、３ｄ、３ｅ、３ｆからはｔ_０からΔｔ_１０後に撮影された映像を読み出し、メモリ３ｃからはさらにΔｔ_２１後に撮影された映像を読み出す。このように時間差のある映像を読み出して写像することにより、実施例１と同様に機体の前後方向のデッドゾーンの影響を低減することができる。

前記実施例１および２では、機体に取り付けるカメラは６台で構成し、図２に示すように取り付けたが、カメラの台数や取り付け位置はこの限りでなく、それぞれのカメラの位置に応じた計算を行えば、本発明を実施することが可能である。

図７は、本発明による画像表示装置の他の実施例を示す構成図である。図７（ａ）は航空機の機体の側面図、（ｂ）はこの航空機の胴体部分を側面から見た模式図、（ｃ）は前面から見た模式図、（ｄ）は背面から見た模式図であり、ｊ〜ｏはカメラの取り付け位置を示す。現実の航空機では、たとえば先端にはレーダーが、後部にはエンジンが実装される等の条件のため、これらの位置にカメラを実装することが困難な場合がある。図７は、そのような場合に対応してカメラを配置した例である。

図８は機体に取り付けられたカメラの光軸（撮影の方向）を示す図である。図中Ｊ〜Ｏはそれぞれ位置ｊ〜ｏに取り付けられたカメラの光軸である。また、図９は各カメラの映像が形成する立方体の方向を示す図であり、（ａ）は機体を上から見た図、（ｂ）は背面から見た図、（ｃ）は側面から見た図である。

図７や図８に示すように位置ｊ〜ｏにカメラが取り付けられると、位置ｊ、ｋ、ｌに取り付けられたカメラは機体前方に、位置ｍ、ｎ、ｏに取り付けられたカメラは機体後方に位置するため、図７（ｂ）に示すように、前後方向のカメラ間の距離Ｄ_ｊ−ｍに起因するデッドゾーンの影響が大きくなる。そこで、距離Ｄ_ｊ−ｍによるデッドゾーンをキャンセルするため、カメラごとにタイミングをずらして画像を取得する。

図１０は、位置ｊ〜ｏに取り付けられたカメラが取得する映像と機体の位置の関係を示す図であり、（ａ）は前方に向かって航行中の航空機のある時刻ｔ＝ｔ_０における機体の位置、（ｂ）は時刻ｔ＝ｔ_１における機体の位置である。ｊ_０〜о_０は時刻ｔ＝ｔ_０におけるカメラの取り付け位置、ｊ_１〜о_１は時刻ｔ＝ｔ_１におけるカメラの取り付け位置を示す。

時刻ｔ_１は、機体が時刻ｔ_０の位置から前進し、ｍ_１、ｎ_１、ｏ_１の水平方向の座標が時刻ｔ_０におけるｊ_０、ｋ_０、ｌ_０座標と最も近くなる時刻とする。

図１０（ａ）ｔ＝ｔ_０の時に各カメラで取得される映像をそれぞれ平面Ｊ_０…Ｏ_０とし、図１０（ｂ）ｔ＝ｔ_１の時に取得される映像をそれぞれ平面Ｊ_１…Ｏ_１とする。

図１０（ｃ）は、ｔ＝ｔ_０における平面Ｊ_０、Ｋ_０、Ｌ_０およびｔ＝ｔ_１における平面Ｍ_１、Ｎ_１、Ｏ_１を合成した様子を示したものである。このように合成すると、機体の前後方向の画像の光学中心を非常に近づけることができるため、影響の大きかった前後方向のデッドゾーンを見かけ上なくすことができる。

本実施例におけるｔ_１は以下の式で計算することができる。
Δｔ_１０＝ｔ_１−ｔ_０＝Ｄ_ｊ−ｍ／Ｖ_ａ
ここで、Ｖ_ａは機体の前後方向の速度である。

取得した画像を仮想面上に写像し、正規化を行う処理以後は、実施例１と同様である。このように、カメラは機体の形状や条件に合わせて配置することが可能であり、新たな配置に応じて正規化の計算式やその他の処理を行うことにより、さまざまな形状の機体に対して応用可能である。

図１は本発明による画像表示装置および画像表示方法の一実施例を示す構成図。 図２は機体に取り付けられたカメラの配置例を示す図。 図３は各カメラの画角と撮影の範囲を示す図。 図４はカメラ１ａ〜１ｆが取得する映像と機体の位置の関係を示す図。 図５はカメラ１ａ〜１ｆで画像を取得するタイミングを示す図。 図６は写像データの正規化に係る説明図。 図７は本発明による画像表示装置の他の実施例を示す構成図。 図８は機体に取り付けられたカメラの光軸を示す図。 図９は各カメラの映像が形成する立方体の方向を示す図。 図１０は位置ｊ〜ｏに取り付けられたカメラが取得する映像と機体の位置の関係を示す図。 図１１は従来の画像表示装置における航空機上のカメラの概略配置例を示した図。 図１２は従来の画像表示装置の一例を示す構成図。 図１３は複数台のカメラを実装した場合の光学中心の位置を示す図。 図１４はカメラの位置とデッドゾーンを見込む角度の関係を示す図。

符号の説明

１ａ〜１ｆ カメラ
２ａ〜２ｆ Ａ／Ｄ変換器
３ａ〜３ｆ メモリ
４ 機体Ｉ／Ｆ部
５ ＣＰＵ
６ 写像用メモリ
７ 同期信号発生回路
８ Ｄ／Ａ変換器
９ バス
１０ 表示用メモリ
ａ〜ｆ カメラ１ａ〜１ｆの取り付け位置
Ａ〜Ｆ カメラ１ａ〜１ｆが取得する画像の範囲

Claims (14)

1. 移動体上に搭載された複数台のカメラから入力された映像を表示する画像表示装置において、
   前記複数台のカメラの撮影タイミングを制御するタイミング制御部と、
   前記映像を仮想面上に写像する演算を行う映像処理部と、
   写像した結果をストアするメモリと、
   前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
   前記表示用の映像を表示する表示部と、
   を有することを特徴とする画像表示装置。
2. 前記タイミング制御部は、前記複数台のカメラそれぞれの撮影時の光学中心がすべて共通の一点となるように、前記移動体の移動速度および移動方向や前記カメラの配置に応じて撮影タイミングを制御することを特徴とする請求項１に記載の画像表示装置。
3. 移動体上に搭載された複数台のカメラから入力された映像を表示する画像表示装置において、
   前記映像を仮想面上に写像する演算を行う映像処理部と、
   写像した結果をストアするメモリと、
   前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
   前記表示用の映像を表示する表示部と、
   を有し、
   前記映像処理部は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記カメラが撮影した映像から、前記カメラそれぞれの撮影時の光学中心がすべて共通の一点となるような映像を選択し、その映像を用いて写像することを特徴とする画像表示装置。
4. 前記仮想面は球面体であることを特徴とする請求項１乃至３のいずれかに記載の画像表示装置。
5. 前記仮想面は正多面体であることを特徴とする請求項１乃至３のいずれかに記載の画像表示装置。
6. 前記複数台のカメラは、３次元の全方位の映像を出力するように配置されることを特徴とする請求項１乃至５のいずれかに記載の画像表示装置。
7. 前記移動体は航空機であることを特徴とする請求項１乃至６のいずれかに記載の画像表示装置。
8. 前記表示処理部は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づいて表示用の映像を生成することを特徴とする請求項７に記載の画像表示装置。
9. 前記表示処理部は、予め設定された目標物を表示する映像であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示する映像を生成することを特徴とする請求項７に記載の画像表示装置。
10. 移動体上に搭載され、３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
    個々の前記カメラごとに定められた固有のタイミングで撮影を行う工程と、
    前記複数台のカメラの映像を仮想面上に写像する工程と、
    写像した結果をメモリにストアする工程と、
    前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
    前記表示用の映像を表示する工程と、
    を有することを特徴とする画像表示方法。
11. 前記カメラごとに定められた固有のタイミングで撮影を行う工程は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記複数台のカメラそれぞれの撮影時の光学中心がすべて共通の一点となるようなタイミングで撮影を行うことを特徴とする請求項１０に記載の画像表示方法。
12. 移動体上に搭載され、３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
    個々の前記カメラごとに定められた固有のタイミングで撮影を行う工程と、
    前記複数台のカメラの映像を仮想面上に写像する工程と、
    写像した結果をメモリにストアする工程と、
    前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
    前記表示用の映像を表示する工程と、
    を有し、
    前記複数台のカメラの映像を仮想面上に写像する工程は、前記移動体の移動速度および移動方向や前記カメラの配置に応じて、前記カメラが撮影した映像から、前記カメラそれぞれの撮影時の光学中心がすべて共通の一点となるような映像を選択し、その映像を用いて写像することを特徴とする画像表示方法。
13. 前記複数台のカメラの映像を仮想面上に写像する工程は、前記複数台のカメラの映像を球面体上に写像することを特徴とする請求項１０乃至１２のいずれかに記載の画像表示方法。
14. 前記複数台のカメラの映像を仮想面上に写像する工程は、前記複数台のカメラの映像を正多面体上に写像することを特徴とする請求項１０乃至１２のいずれかに記載の画像表示方法。
    

Images