JP2016039390A - 画像生成方法および装置 - Google Patents

Abstract

【課題】移動・回転するカメラにより撮影された連続画像から、モザイク画像を生成する方法において、歪みの少ない高精度なモザイク画像を、高速に生成する手段を提供する。【解決手段】カメラから時系列的に連続した複数の撮影画像を入力し、画像対選択部においてキー画像を設定し、さらにキー画像と各画像に紐付けられた画像撮影時点のカメラ搭載のセンサ情報に基づいて、モザイク画像の歪みの低減に必要最低限の画像対を選択し、対応点探索部で各画像対における対応点を検出し、画像位置調整部において、対応点に基づいてモザイク画像上の各画像の位置を調整することで、高速に歪みの少ないモザイク画像を生成する。【選択図】図６

Description

本発明は、移動・回転するカメラによって撮影した複数枚の時系列画像データから、複数の画像を張り合わせて高精細な広域画像を生成するモザイク画像生成方法に関する。特に高速にモザイク画像を生成する方法に関する。

まず本発明の背景を説明する。

近年、被災地での情報収集や鉱山、農耕地、山林などの管理のために航空機による情報収集が利用されている。航空機が収集する情報の中でも特に地上を撮影した画像情報はさまざまな用途に利用される。中でも複数の撮影画像を繋ぎ合わせることで生成できるモザイク画像は、撮影地域全体を俯瞰する事ができるため、撮影地域全体の状況把握に有効である。

そのため、航空機に搭載したカメラで撮影した複数の撮影画像を繋ぎ合わせて、広域かつ高解像度な広域モザイク画像を生成する技術が重要となっている。なおモザイク画像生成技術の用途は広範囲の空撮画像生成に限らず、風景画像を合成したパノラマ画像生成などにも利用でき、応用範囲は広い。

次に一般的なモザイク画像の生成方法を説明する。

図１は一般的なモザイク画像生成処理の概念を示す図である。
モザイク画像生成では、まず図１（ａ）に示す通りカメラで撮影した画像に対してコーナー特徴などの画像的特徴を利用して特徴点を検出する。特徴点は、図１（ａ）中の点線１０１で囲まれた位置にある。次に、同一領域を撮影した全ての画像間で、図１（ｂ）に示す通り、二枚の画像のそれぞれの特徴点情報から、特徴点同士の対応付け１０２を行い、対応する特徴点のペアを対応点とする。

ここで、画像は所定時間間隔で撮影した静止画像でもよいし、連続的に撮影した動画像から所定フレームをキャプチャしたものでもよい。

次に、バンドル調整法と呼ばれる技術を用いて、各画像間の対応点の再投影誤差が最小になるように、各画像のモザイク画像内での位置を調整する。

このとき、モザイク画像内での各画像の位置として一般的に利用されるのは平面間の透視投影変換を表すホモグラフィ行列で、画像ｎ内の各座標をそれぞれ[un vn]としたときに、対応するモザイク画像内の座標[u v]は数１で表すことができる。

また、各画像間の再投影誤差は、ある二つの画像のモザイク画像内での位置が決定した場合に、以下の数２によって二つの画像間の各対応点の再投影誤差を求める事ができる。

バンドル調整法では、レーベンバーグ・マーカート（Levenberg-Marquardt）法などを用いて、この再投影誤差の総和を最小化するような各画像の位置を求める。最後に、バンドル調整法によって求めた各画像のモザイク画像内での位置を表すホモグラフィ行列に従って各画像を変形させて重ね合せることで、モザイク画像の生成を行う。

図２は、バンドル調整法によるモザイク画像の誤差の補正を表した図である。
図２では、カメラは画像２０１ａを出発点にしてループするように一周して撮影を行い、最終的には画像２０１ｂで同じ領域を撮影している。ここでループとは、出発点画像２０１ａに含まれる被写体（例えば道路２０２）が、その後の画像に含まれなくなり、再度、画像２０１ｂに同じ被写体（例えば道路２０２）が含まれることをいう。

バンドル調整を用いない場合は、図２（ａ）に示すようにカメラが同じ領域を撮影しているにも関わらず画像が繋がらないなど、モザイク画像には大きな歪みが生じてしまう。

これは、画像間の対応点のマッチングミスや特徴点の検出精度に起因した誤差が蓄積し、画像枚数が増えるごとに誤差が大きくなっていき、最終的に大きな歪みとなってしまう事が原因である。

一方、バンドル調整を用いた場合は、図２（ｂ）に示すように同じ領域を撮影した画像同士が繋がるように全画像の位置を調整するため、歪みの少ないモザイク画像が得られる。

ただし、バンドル調整で歪みを補正できるのは図２のように、画像がループしている場合で、画像がループしていない場合は誤差を補正できない。

そのため、モザイク画像生成では、画像のループを作れることが、歪みの少ないモザイク画像を作成する上で非常に重要な要件となっている。

先に述べた通り、歪みの少ないモザイク画像を作成するためには、全画像内にループが作られている事が重要である。

画像の撮影領域がループしている場合、全画像間で画像同士の対応点を求め、対応点数の多かった２つの画像が同一領域を撮影していると判定することで、ループを作ってバンドル調整を行うことができる。

しかし、全画像間で対応点を求めると、画像間の関係数は取得した画像の枚数の二乗に比例して増加するため、対応点検出処理に膨大な時間が掛かってしまう。

これは、三次元形状復元などモザイク画像生成以外でバンドル調整を行う画像解析分野でも問題となっている。非特許文献１などでは、異なる領域を撮影した画像間での対応関係を求めない様に、事前に全画像間で画像の類似度を求め、その類似度に基づいて、似ている画像間でのみ対応関係を求めるという施策が取られている。

しかし、この方法では、異なる領域でも画像が似ていた場合には、誤った画像関係が求まってしまう。また、撮影された画像がどれも似通っている場合などは、結局多数の画像間で対応関係を求める必要が生じてしまう場合がある。特にカメラを移動させながら同じ領域を複数回撮影するモザイク画像生成では、このような問題が生じやすい。

「オンライン撮影に適した実用的なSfMシステム」電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ９６−Ｄ Ｎｏ．８ ｐｐ。１７５３−１７６３

本発明は上記の問題を鑑みて行われたもので、大量の撮影画像からバンドル調整に適した画像間でのみ対応点を求める事で、バンドル調整を用いた歪みの少ないモザイク画像を高速に作成しようとするものである。

図２４に本発明の概念図を示す。図中各矩形が撮影した複数の画像を示す。

本発明は、時系列的に連続した複数の画像内から画像特徴に基づいて特徴点を検出し、画像間で特徴点を対応付ける。このとき、一定のルールに基づいて各画像をキー画像１０００と通常画像１００１のどちらかに設定しておく。特徴点の対応付けの際には、キー画像と所定の位置関係にある画像の対応点を求める。

例えば、キー画像１０００ａと、所定範囲１００２内の画像との対応点を求めることになる。

本発明のより具体的な構成例は、カメラによって時間的に連続する複数の画像を撮像し、複数の画像から単一の画像を生成する画像生成方法である。この方法では、複数の画像毎に、撮影条件データと画像データを対応付けて記憶する。また、複数の画像から、複数の代表画像を選定する。さらに、撮影条件データを基に、代表画像毎に、所定の関係を有する画像を関連画像として選定し、代表画像と当該代表画像と所定の関係を有する関連画像を、画像ペアとして記憶する。そして、画像ペア毎に、画像ペアの画像内の同一点の組である対応点を求める。そして、対応点を用いて前記複数の画像を合成し、単一の画像を生成する。

キー画像設定においては、複数の画像を時系列順に処理し、直近に設定した代表画像から現画像までのフレーム数が所定閾値の場合に、現画像を代表画像に設定する。あるいは、複数の画像を時系列順に処理し、直近に設定した代表画像と現画像の位置関係を、撮影条件データを基に計算し、両者の位置が所定閾値以上離れている場合に、現画像を代表画像に設定する。あるいは、キー画像設定と対応点検索をシーケンシャルな処理とし、複数の画像を時系列順に処理するように構成しておき、キー画像設定処理に対応点検索処理から対応点の数をフィードバックする。そしてフィードバックされる対応点の数が、所定閾値以下になった場合に、処理されている画像を代表画像に設定する。

本発明の他の側面はである画像生成装置は、所定の撮影範囲の被写体を撮影して画像データを取得するカメラであって、複数の画像データを取得した際に、任意の１つの画像データが他の複数の画像データと同じ被写体を含むように構成されたカメラを有する。また、画像データから特徴点を抽出する特徴点抽出部と、特徴点の情報を前記画像データと対応付けて記憶する特徴データベースと、カメラが前記画像データを取得した際に、カメラの位置、速度、加速度、および姿勢のうちの、少なくとも一つに関連するセンサ情報を取得するセンサを有する。さらに、複数の画像データから複数の代表画像を選択するとともに、センサ情報に基づいて代表画像毎に関連画像を選択し、代表画像と関連画像の組からなる画像対を生成する画像対選択部と、画像対の画像データに含まれる特徴点同士が同じ被写体であると判定した場合、特徴点同士の対応付けを行い、対応点情報を生成する対応点検索部とを有する。そして、対応点情報に基づいて、複数の画像の位置の調整情報を生成する画像位置調整部と、調整情報に基づいて、前記複数の画像から単一の画像を生成する画像合成部、を有する。

代表画像の選定条件、あるいは、関連画像の選定条件の、少なくとも一つは、状況に応じて変更可能にすることが望ましい。例えば、オペレータによる制御端末からの入力に従って制御可能とすることができる。

以上の構成の各処理は、入力装置、出力装置、処理装置、記憶装置を備える単体のコンピュータで動作する、ソフトウエアで実現することができる。あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。

本発明によると、大量の時系列画像を撮影した場合でも、より少ない画像間で対応点を検出するため、歪みの少ないモザイク画像を高速に生成することができる。

一般的なモザイク画像生成処理の概念を示す概念図。 バンドル調整法によるモザイク画像の誤差の補正を表した概念図。 モザイク画像生成装置の運用形態の一例を示す模式図。 モザイク画像生成装置の構成を示すブロック図。 特徴点抽出部の構成を示したブロック図。 特徴ＤＢの構造を示したテーブル図。 画像対選択部を示した構成図。 画像設定ＤＢの構造を示したテーブル図。 機体情報ＤＢの構造を示したテーブル図。 キー画像設定処理のフローを示した流れ図。 画像対生成処理のフローを示した流れ図。 対応点探索処理のフローを示した流れ図。 対応点ＤＢの構造を示したテーブル図。 バンドル調整の概要に関して説明する模式図。 画像合成部の構成を示したブロック図。 画像対生成部の構成を示したブロック図。 キー画像設定処理のフローを示した流れ図。 キー画像設定処理のフローを示した流れ図。 モザイク画像生成装置の構成を示すブロック図。 画像対ＦＩＦＯの構成を示すブロック図。 画像対生成部の構成を示したブロック図。 画像対生成処理のフローを示した流れ図。 対応点探索処理の処理負荷調整の効果を示したグラフ図。 本発明の概念図。 対応点数判定処理の概念図。

以下、実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものでは、ない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものでは、ない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

以下に本発明の実施の形態の一例を示す。

図３は本装置の運用形態の一例を表した模式図である。
本装置の運用形態の一例として、航空機１００にカメラを搭載し、モザイク画像生成装置と表示装置を地上局１１０に設置する構成が考えられる。航空機は飛行機だけでなく、ヘリコプター、人工衛星等でも適用可能である。

なお、モザイク画像生成装置は航空機１００側に搭載する構成のほか、モザイク画像生成装置の機能を航空機１００側と地上局１１０側に分けて搭載してもよい。また、地上局１１０と、これとネットワークで接続されたサーバーに分けて搭載してもよい。

また、本発明は航空機による空撮画像に限定されるものでは、なく、移動するカメラ、または撮影方向が変化するカメラによって連続的に撮影された画像であれば適用可能である。例えば、可動アームの先端に取り付けられ、３次元的に移動可能なカメラによる撮影でもよい。また、カメラの取り付け位置は固定であり、所定軸を中心に回転可能なカメラによる撮影でもよい。また、通常の撮影に限らず、顕微鏡や望遠鏡を併用して、微小あるいは遠隔地の対象を撮影してもよい。

図４はモザイク画像生成装置の構成を示す図である。
本発明によるモザイク画像生成装置２００は、特徴点抽出部２１０、特徴ＤＢ２２０、画像対選択部２３０、画像対ＦＩＦＯ２４０、対応点探索部２５０、対応点ＤＢ２６０、画像位置調整部２７０、フレームバッファ２８０と画像合成部２９０を備える。

カメラ３００は任意の時間間隔で対象の画像を撮影し、特徴点抽出部２１０に撮影画像４００を送出し、同時にフレームバッファ２８０に撮影画像４００を書き込む。なお、カメラ３００で撮影した画像を、一度記憶装置に格納し、その後、特徴点抽出部２１０に撮影画像を入力してもよい。

特徴点抽出部２１０は、カメラ３００から撮影画像４００を入力し、画像内から特徴点を抽出、特徴情報４１０として特徴ＤＢ２２０に書き込む。

特徴ＤＢ２２０は、画像番号と紐付けて特徴情報４１０を記憶しており、必要に応じて画像対選択部２３０に対象画像の特徴情報４２０を、対応点探索部２５０に対象画像の特徴情報４３０を出力する。

画像対選択部２３０は、特徴ＤＢ２２０から特徴情報４３０を、装置外部の機体センサ３２０からセンサ情報４４０を、対応点探索部２５０から対応情報４５０を入力し、画像対ＦＩＦＯ２４０に画像対情報をＰＵＳＨする。

画像対ＦＩＦＯ２４０は、画像対選択部２３０から画像対情報４６０を入力し、画像対情報４６０を内部でバッファリングして、対応点探索部２５０に画像対情報４６１を出力する。

対応点探索部２５０は、画像対ＦＩＦＯ２４０から画像対情報４６１を入力し、画像対情報４６１で規定された画像間において特徴点同士の対応付けを行い、画像間の対応点情報４７０を対応点ＤＢ２６０に、対応情報４５０を画像対選択部２３０に出力する。

対応点ＤＢ２６０は、対応点探索部２５０から入力した各画像間の対応点情報４７０を記憶し、必要に応じて画像位置調整部２７０に対応点情報４８０を出力する。

画像位置調整部２７０は、対応点ＤＢ２６０から入力した各画像間の対応点情報４８０から、各画像間の関係に矛盾が無くなる様に全画像位置を調整し、画像位置情報４９０を画像合成部２９０に出力する。

フレームバッファ２８０は、カメラ３００から入力した撮影画像４００をバッファリングし、必要に応じて画像合成部２９０に撮影画像５００を出力する。

画像合成部２９０は、画像位置調整部２７０から入力した画像位置情報４９０と、フレームバッファ２８０内の撮影画像５００から、モザイク画像５１０を合成して表示装置３１０に出力する。

表示装置３１０は入力したモザイク画像５１０をユーザに提示する。

制御端末３２１はキーボード等の入力装置から、オペレータが種々のコマンドを入力できるように構成される。

図５は、特徴点抽出部２１０の構成を示した図である。
特徴点抽出部２１０は、特徴点検出部６００と特徴記述部６１０によって構成される。

特徴点検出部は、カメラ３００から撮影画像４００を入力して、撮影画像４００内から公知のFeatures from Accelerated Segment Test（ＦＡＳＴ）特徴量に基づいて特徴点を検出し、検出した特徴点の情報を特徴点情報６２０として特徴記述部６１０に出力する。

特徴記述部６１０は、特徴点情報６２０を特徴点検出部６００から入力し、公知のBinary Robust Independent Elementary Features（ＢＲＩＥＦ）特徴記述により周辺の濃淡パタン等を特徴記述子とし、撮影画像毎に一意に付与される画像番号と特徴点情報６２０と特徴記述情報を合せて特徴情報４１０として特徴ＤＢ２２０に出力する。

なお、本実施の形態では、特徴点検出部６００でＦＡＳＴ特徴を、特徴点記述部６１０では、ＢＲＩＥＦ特徴記述を用いているが、画像特徴を検出しその特徴を記述できる方法であればこれに限らない。

図６は特徴ＤＢ２２０のデータ構造を示した図である。
特徴ＤＢ２２０は、特徴点抽出部２１０から入力した特徴情報４１０を記録し、画像対選択部２３０と対応点探索部２５０の要求に応じて特徴情報４２０および特徴情報４３０を出力する。

画像番号７００は、撮影画像毎に一意に付与される番号で、これにより対象の特徴点情報６２０および特徴記述情報７１０が、どの撮影画像４００の特徴かを特定することができる。

最も簡単な画像番号７００の付け方としては、撮影開始から昇順に番号を付けていく方法などが考えられる。

特徴点情報６２０は、特徴点の座標やコーナーの向きなど、各特徴点自体に関わる情報であり、特徴点を特定する。

特徴記述情報７１０は、特徴点の周辺濃淡状況等を表した複数次元の数列で、ＢＲＩＥＦ特徴記述では、１２８次元や２５６次元の要素数を持っている。特徴記述情報７１０は、特徴点周辺の画像の特徴を反映する。

なお、本実施の形態では、特徴ＤＢ２２０はＦＡＳＴ特徴量とＢＲＩＥＦ特徴記述を記憶する構成となっているが、特徴点抽出部２１０から出力される特徴情報４１０を記録できるものであればこれに限らない。

図７は画像対選択部２３０を示した構成図である。
画像対選択部２３０は、キー画像設定部８００、画像対生成部８３０、画像設定ＤＢ８１０、機体情報ＤＢ８２０によって構成される。

キー画像設定部８００は、特徴ＤＢ２２０から画像毎の特徴情報４３０、対応点探索部２５０から対応情報、画像設定ＤＢ８１０から画像設定情報８５０を入力し、キー画像設定処理に基づいて現在の画像をキー画像にするかしないかを判定し、判定結果を画像設定情報８５０として画像設定ＤＢ８１０に出力する。

画像設定ＤＢ８１０は、キー画像設定部８００から画像設定情報８５０を入力し、内部に記憶したら、画像対生成部８３０の要求に応じて画像設定情報８６０を出力する。

画像対生成部８３０は、画像設定ＤＢ８１０から画像設定情報８６０、機体情報ＤＢ８２０から機体情報８８０を入力して、画像対生成処理を行い、結果を画像対情報４６０として画像対ＦＩＦＯ２４０に出力する。

機体情報ＤＢ８２０は、機体センサ３２０から各画像撮影時点のセンサ情報４４０を入力し、画像番号とセンサ情報４４０を機体情報として内部に記憶し、画像対生成部８３０の要求に応じて機体情報８８０を出力する。

機体情報としては、理想的にはカメラ自体に関する情報を取得することが望ましい。ただし、例えばカメラが飛行機に搭載されている場合、カメラの移動速度は飛行機の移動速度と同じとみなせるので、飛行機の移動速度を機体情報としてもよい。高度や加速度などの他の情報も同様である。

カメラの角度の情報については、例えば飛行機内にｘｙｚ軸を固定しておき、当該ｘｙｚ軸に対するカメラの角度を求めておく。さらに、例えば地表上にｘｙｚ軸を定義し、当該ｘｙｚ軸に対する飛行機の姿勢を検出する。得られたカメラの角度と飛行機の姿勢から、幾何学的な演算により、カメラと地表の角度関係が求まる。

図８は画像設定ＤＢ８１０のデータ構造を示した図である。
画像設定ＤＢ８１０は、画像番号と、キー画像設定部８００から入力した画像設定情報８５０を記録し、画像対生成部８３０の要求に応じて画像設定情報８６０を出力する。

画像番号９００は撮影画像毎に一意に付与される番号で、特徴ＤＢ２２０に格納されるものと同一の番号である。

画像設定情報８６０は、当該画像がキー画像設定部８００によりキー画像に設定されたのか、通常画像に設定されたのかを示す情報である。

図９は機体情報ＤＢ８２０の構造を示した図である。
機体情報ＤＢ８２０は、画像番号１０００と、機体センサ３２０から入力した機体情報８８０を記録し、画像対生成部８３０の要求に応じて機体情報８８０を出力する。

画像番号１０００は撮影画像毎に一意に付与される番号で、特徴ＤＢ２２０および画像設定ＤＢ８１０に格納されるものと同一の番号である。

機体情報８８０は、機体センサ３２０から入力した各種センサのセンサ情報４４０で、ここでは、ＧＰＳ計測による緯度・経度の情報である。

本発明の実施の形態では、機体情報８８０はＧＰＳ計測による緯度・経度であるが、他にもＧＰＳ計測による高度、ジャイロによる三軸角速度・角加速度、気圧計による対地高度や速度など、キー画像設定処理および画像対生成処理に使用するセンサ情報であれば記憶する情報の内容はこれに限らない。

次にキー画像設定処理について説明する。

キー画像設定部８００は、特徴ＤＢ２２０から特徴情報４３０を、対応点探索部２５０から対応点数を、画像設定ＤＢ８１０から画像設定情報８５０を入力し、画像設定ＤＢ８１０に画像設定情報８５０を出力する。

図１０はキー画像設定部８００における、キー画像設定処理のフローを示した図である。

キー画像設定処理は、まず特徴点数判定処理１１００を実施する。

特徴点数判定処理１１００では、特徴点抽出部２１０から入力した特徴情報４３０の特徴点数が特徴点数閾値ＴＦ以上であれば対応点数判定処理１１１０を実行する。特徴点数が特徴点数閾値ＴＦ未満であれば処理を終了する。所定の量の特徴点を持たない画像は、対応点の探索に適さないため、その後の処理には用いないこととする。特徴点数判定処理１１００は、処理する画像の特性によっては、省略することもできる。また、特徴点数判定処理１１００は、対応点探索処理の前に行えば、対応点探索処理量を削減する効果があるので、対応点数判定処理１１１０の後に行ってもよい。

キー画像選定の考え方としては、それぞれが異なる特徴を持つ画像を選定することが効率的である。類似する画像は地理的に重複する画像である可能性がある。このような画像をキー画像として対応点を検索すると、処理量が無駄に増えることになる。

対応点数判定処理１１１０では、対応点探索部２５０から入力した対応点数が対応点数閾値ＴＰ以上であればキー画像判定処理１１２０を実行する。対応点数が対応点数閾値ＴＰ未満であればキー画像設定処理１１４０を実行する。後に図１２で説明する対応点検索部２５０では、画像対選択部２３０で生成された画像対同士で対応点を探索する。対応点数が閾値ＴＰ未満に減少している場合は、対応点検索の頻度を上げることが望ましい。そこで、このような状態になった場合には、画像をキー画像として対応点検索の頻度を上げる。

キー画像判定処理１１２０では、画像設定ＤＢ８１０から画像設定情報８５０を入力し、時系列順で直近に設定したキー画像から現画像までのフレーム数が、キー画像判定閾値ＴＫ以上ならばキー画像設定処理１１４０を実行し、キー画像判定閾値ＴＫ未満であれば通常画像設定処理１１３０を実行する。

キー画像として適する画像の例としては、距離的に離れた画像を安定して抽出することが望ましい。直近のキー画像からのフレーム数が閾値ＴＫ以上になっている場合は、画像対の画像が距離的に離れた画像であると推測できる。そこで、このような状態になった場合には、無条件に画像をキー画像として、画像対の出現頻度を増やす。

図２５で対応点数判定処理１１０１の例を説明する。図中の矩形は、例えば航空機から撮影された地表面上の複数の画像領域を示す。各画像で特徴点が均一に分布していると仮定した場合、対応点数は画像同士が重なる面積と相関がある。図２５（ａ）は画像相互の間隔が短い場合、（ｂ）は画像相互の間隔が長い場合を示す。例えば、飛行機から所定時間間隔で撮影を行っている場合、（ａ）は速度が遅い場合、（ｂ）は速度が速い場合に相当する。

キー画像判定処理１１２０で、キー画像判定閾値ＴＫが３とすると、斜線で示すキー画像２５０１は図で示すような間隔で設定される。ここで、キー画像が隣接画像と重なる領域２５０２ａ、２５０２ｂは、（ａ）では、広く、（ｂ）では、狭くなる。キー画像判定閾値ＴＫが３のままだと、（ｂ）では、キー画像の間隔が広くなり過ぎ、画像のループが構成できない可能性がある。そこで、対応点数が対応点数閾値ＴＰ未満になった場合、キー画像設定処理１１４０を実行し、画像２５０３をキー画像とする。

対応点数判定処理１１０１は、画像の間隔が安定している場合には省略することも可能である。この場合には、図４の対応点検索２５０からのフィードバック経路は不要となる。図４の構成では、一連の処理を連続的に行っているが、フィードバック経路を省略した場合には、バッチ的に構成することも可能である。例えば、一度画像対を選択し、データを格納し、その後データを読み出して対応点検索処理を行うことも可能である。

通常画像設定処理１１３０では、画像設定情報８５０を通常画像として出力して、キー画像設定処理を終了する。

キー画像設定処理１１４０では、画像設定情報８５０をキー画像として出力して、キー画像設定処理を終了する。

なお、特徴点数閾値ＴＦ、キー画像判定閾値ＴＫおよび対応点数ＴＰはモザイク画像生成装置外部から例えばオペレータにより設定されるものとする。

なお、キー画像設定処理の内容は、上記に限るものでは、ない。また、図１０に示したフローにおいて、対応点数判定処理１１１０、キー画像判定処理１１２０の処理の順番は入れ替え可能である。また、条件によっては、対応点数判定処理１１１０、キー画像判定処理１１２０のいずれか片方は省略可能である。

次に画像対生成処理について説明する。

画像対生成部８３０は、画像設定ＤＢ８１０から画像設定情報８６０を入力し、機体情報ＤＢ８２０から機体情報８８０を入力し、画像対情報４６０を画像対ＦＩＦＯ２４０に出力する。

図１１は画像対生成部８３０における画像対生成処理のフローを示した図である。このフローでは、例えば、画像番号の昇順に処理が行われる。

画像対生成処理では、まず画像種類判定処理１２００を実行する。

画像種類判定処理１２００では、画像設定ＤＢ８１０から画像設定情報８６０を入力し、現画像がキー画像ならばキー画像画像対選択処理１２２０を、通常画像ならば通常画像画像対選択処理１２１０を実行する。

キー画像画像対選択処理１２２０では、画像設定情報８６０と機体情報８８０から、撮影位置が現フレームの一定範囲内に存在する通常画像を通常画像画像対候補として選択しキー画像画像対出力処理１２４０を実行する。

キー画像画像対出力処理１２４０では、通常画像画像対候補の数がキー画像画像対数ＴＮＫより大きければ、位置情報で近い順にキー画像画像対数ＴＮＫ分選択する。

この時、位置が同じ画像が複数存在するなら時系列順で近い画像を優先する。

さらに、通常画像画像対候補それぞれの画像ＩＤとキー画像の画像ＩＤを合わせて画像対情報４６０とし、画像対ＦＩＦＯ２４０に出力する。

通常画像画像対選択処理１２１０では、画像設定情報８６０と機体情報８８０から、現画像から一定範囲内のキー画像をキー画像画像対候補として選択し通常画像画像対出力処理１２３０を実行する。

通常画像画像対出力処理１２３０では、キー画像画像対候補の数が通常画像画像対数ＴＮＮより大きければ、位置情報で近い順に通常画像画像対数ＴＮＮ分選択する。

この時、位置が同じ画像が複数存在するなら時系列順で近い画像を優先する。

さらに、キー画像画像対候補それぞれの画像ＩＤと通常画像の画像ＩＤを合わせて画像対情報４６０として画像対ＦＩＦＯ２４０に出力する。

なお、キー画像画像対数ＴＮＫおよび通常画像画像対数ＴＮＮはモザイク画像生成装置外部より設定されるものとする。

また、上記の説明では、キー画像画像対選択処理１２２０では、通常画像を通常画像画像対候補として選択し、通常画像画像対選択処理１２１０では、キー画像をキー画像画像対候補として選択しているが、キー画像画像対選択処理１２２０では、キー画像と通常画像を区別せずに候補を選択してもよい。キー画像同士で画像対を作成する事で、演算量は増えるが、大域的な歪みがさらに削減される可能性がある。

従来手法では、全画像間で対応点探索処理を行う必要があったが、本発明の実施形態によるキー画像設定処理と画像対生成処理により、複数の空撮画像列から所定枚数以下の間隔でキー画像を、キー画像以外の画像を通常画像として設定し、キー画像同士およびキー画像と通常画像でのみ対応点を検出することで、後述の対応点探索処理に要する時間を大幅に削減する事ができる。

これは、複数のキー画像間で大局的な対応関係を求め、通常画像は関連するキー画像との間でのみ位置関係を求める事を意味しており、通常画像同士の対応点探索を省くことができる。

対応点探索部２５０は、画像対ＦＩＦＯ２４０から画像対情報４７０を入力し、特徴ＤＢ２２０から画像対情報４７０に含まれる当該画像の特徴情報４２０を入力し、特徴情報６３０に基づいて対応点を検出し、画像対情報４７０と対応点を対応点情報４７０として対応点ＤＢ２６０に出力する。

図１２は対応点探索部２５０における、対応点探索処理のフローを示した図である。

対応点探索処理は、まず特徴入力処理１３００を実行する。

特徴入力処理１３００は、前段の画像対ＦＩＦＯ２４０から画像対情報４７０を入力し、画像対情報４７０で指定される二つの画像ＩＤに一致する画像の特徴情報４２０を、特徴ＤＢ２２０から入力し、対応点検出処理１３１０を行う。

対応点検出処理１３１０では、入力した二つの画像の特徴記述情報７１０が最も似ている特徴点同士を対応付け、対応点として出力し，対応点探索処理を終了する。

以下，画像対｛Ｎ，Ｍ｝間での対応点検出処理の処理を説明する。

画像Ｎの特徴記述情報７１０に対して、ハミング距離が最短となる画像Ｍの特徴記述情報７１０を検索する。

一方、画像Ｍの特徴記述情報７１０に対しても同様に、ハミング距離が最短となる画像Ｎの特徴記述情報７１０を検索する。

この時、画像Ｎから画像Ｍ、画像Ｍから画像Ｎ、双方向から検索した結果が一致した特徴点ペアのみを対応点として扱う。

さらに、画像対｛Ｎ，Ｍ｝間で検出された対応点数が設定された対応点閾値ＴＭ以上であれば、画像対｛Ｎ，Ｍ｝は同一箇所を撮影した画像であると判断する。このとき、画像対｛Ｎ，Ｍ｝および画像対｛Ｎ，Ｍ｝間で検出された対応点全てを対応点情報４７０として、画像対選択部２３０および対応点ＤＢ２６０に出力する。また、検出された対応点数を対応情報４５０として画像対選択部２３０に出力する。

なお，対応点数閾値ＴＭは、モザイク画像生成装置外部からオペレータなどにより設定されるものとする。

対応点ＤＢ２６０には、対応点探索部２５０から出力された対応点情報４７０が記録され、必要に応じて画像位置調整部２７０に対応点情報４８０として出力される。

図１３は対応点ＤＢ２６０の構造を表す図である。
画像対情報１４００は、対応点を見つけた画像対の画像番号を表しており、｛０，１｝の場合は画像番号０と１の画像対の間の対応点という意味となる。

画像対情報｛０，１｝は｛１，０｝と同じ意味になる為、｛Ｎ，Ｍ｝は常にＮ＜Ｍとなる様に設定する。

特徴点座標対１４１０は、対応点の座標を表しており、画像Ｎ内の特徴点座標と画像Ｍ内の特徴点座標が対として記録されている。たとえば、画像番号０の（１００,２０）の座標の特徴点と、画像番号１の（２００,３００）の座標の特徴点は、類似の特徴記述情報７１０を有しており、同じ対象物であることが推定される。

画像位置調整部２７０は、対応点ＤＢ２６０から対応点情報を入力し、バンドル調整法によりモザイク画像内における各画像の位置を計算して、画像合成部２９０に画像位置情報４９０を出力する。

図１４は画像位置調整部２７０で実行するバンドル調整の概要に関して説明する概念図である。

図１４（ａ）に示す通り、画像位置調整部２７０のバンドル調整法では、画像Ｉｉの位置をホモグラフィ行列Ｇｉとして定義する。

この時、ホモグラフィ行列の8パラメータを未知のパラメータとして、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法にて各画像間の誤差を最小化するホモグラフィ行列Ｇｉを求め画像位置情報４９０として出力する。

画像対｛Ｎ，Ｍ｝間の誤差は，対応点の各画像内の座標をＢｎおよびＢｍとした場合に、モザイク画像内の対応点の位置ＰｎおよびＰｍは以下の式で計算される。

図１４（ｂ）に示す通り、画像Ｎと画像Ｍ間の誤差は、画像Ｎと画像Ｍ間の全ての対応点に関して、モザイク画像内の対応点の位置ＰｎおよびＰｍ間のＬ２距離Ｅｎｍとする。

ただし、１枚目の画像の画像位置を基準とするために、Ｇ０は単位行列として固定とする。

画像合成部２９０はフレームバッファ２８０から撮影画像５００，画像位置調整部２７０から画像位置情報４９０を入力して、表示装置３１０にモザイク画像５１０を出力する。

図１５は画像合成部２９０の構成を示した図である。

画像合成部２９０は画像変形部１５００と画像重畳部１５１０によって構成される。

画像変形部１５００では、画像位置調整部２７０から画像位置情報４９０を、フレームバッファ２８０から空撮画像５００を入力し、画像位置情報４９０に従って画像を変形し，変形画像１５５０として画像重畳部１５１０に出力する。

画像重畳部１５１０では、画像変形部１５００から入力した変形画像１５１０を重畳してモザイク画像を生成し、モザイク画像５１０を表示装置３１０に出力する。

フレームバッファ２８０は、カメラ３００から空撮画像４００を入力し、内部のバッファに記録したら、画像合成部２９０からの要求に応じて、空撮画像５００を画像合成部２９０に出力する。

従来手法では、多くの画像間で対応点探索を行う必要があったが、本実施例によれば、画像対選択部２３０にて対応点探索を行う画像対を絞り込むことができるため、対応点探索処理に要していた膨大な時間を大幅に削減する事ができる。

以下に本発明の実施の形態の一例を示す。

本実施例におけるモザイク画像生成装置２００は、画像対選択部２３０以外は実施例１と同じため説明を省く。

図１６は画像対選択部２３０の他の構成を示した図である。図7の例と同じ構成には同じ番号を付して説明を省略し、異なる点を主に説明する。

本発明の実施の形態における機体情報ＤＢ１６２０は、キー画像設定部１６００の要求に応じて機体情報１６７０を出力する。データ構造は、実施例１と同じため説明を省く。

キー画像設定部１６００は、機体情報ＤＢ１６２０から機体情報１６７０を入力し，内部処理に利用する。

図１７はキー画像設定部１６００における、キー画像設定処理のフローを示した図である。図１０の例と同じ構成には同じ番号を付している。

キー画像設定処理は、まず特徴点数判定処理１１００を実施する。

特徴点判定処理１１００では、特徴点抽出部２１０から入力した特徴情報４３０の特徴点数が特徴点数閾値ＴＦ以上であれば対応点数判定処理１１１０を実行し，特徴点数が特徴点数閾値ＴＦ未満であれば処理を終了する。

対応点数判定処理１１１０では、対応点探索部２５０から入力した対応点数４５０が対応点数閾値ＴＰ以上であれば機体情報判定処理１７２０を実行、対応点数４５０が対応点数閾値ＴＰ未満であればキー画像設定処理１１４０を実行する。

機体情報判定処理１７２０では、機体情報ＤＢ１６２０から機体情報１６７０を、画像設定ＤＢ８１０から画像設定情報８５０を入力する。現画像の撮影位置が時系列順で直前のキー画像の撮影位置と位置閾値ＴＬ以上離れているのであれば、キー画像設定処理１１４０を実行し、位置閾値ＴＬ未満であれば通常画像設定処理１１３０を実行する。

通常画像設定処理１１３０では、画像設定情報８５０を通常画像として出力して，キー画像設定処理を終了する。

キー画像設定処理１１４０では、画像設定情報８５０をキー画像として出力して，キー画像設定処理を終了する。

本発明の実施形態は、機体情報１６７０を用いてキー画像判定を行うことで、同じ領域を撮影しており画像の変化が乏しいにもかかわらず、キー画像が新たに設定されることを、削減するものである。利用できる機体情報としては、撮影されている画像が異なる領域であるかどうかの判断材料になる情報であれば、制限はない。また、撮影位置を示す指標も種々のものが考えられる。

例えば、用いる機体情報をGPS等から得られる位置情報とし、現画像の撮影位置が直前のキー画像の撮影位置と、緯度・経度で閾値以上離れている場合、キー画像設定処理１７４０を実行する。

あるいは、用いる機体情報を速度情報と時刻情報とし、速度と時刻の情報から計算される現画像の撮影位置が直前のキー画像の撮影位置と、閾値以上離れている場合、キー画像設定処理１７４０を実行する。

あるいは、用いる機体情報を高度とし、現画像の撮影高度が直前のキー画像の撮影高度と閾値以上異なる場合、キー画像設定処理１７４０を実行する。

あるいは、用いる機体情報を機体の傾きとし、現画像の撮影状況が直前のキー画像の撮影状況とで、傾きが閾値以上異なる場合、キー画像設定処理１７４０を実行する。

あるいは、カメラの向きが機体に対して可動な場合は、機体に対するカメラの角度を機体情報とし、現画像の撮影状況が直前のキー画像の撮影状況とで、角度が閾値以上異なる場合、キー画像設定処理１７４０を実行する。

また、これらの機体情報を組み合わせて判断することも可能である。

なお、特徴点数閾値ＴＦ，対応点数閾値ＴＰ，位置閾値ＴＬはモザイク画像生成装置外部より設定されるものとする。

実施例１では、例えば、複数の空撮画像列から所定枚数以下の間隔でキー画像を設定する。しかし、飛行速度が遅い場合や、滞空飛行していた場合には、同じ領域を撮影する可能性がある。よって、画像変化が乏しい場合でも新たなキー画像が設定されてしまう可能性がある。本実施例によれば、飛行速度が遅い場合や、滞空飛行している場合においても、機体情報１６７０を用いることで、同じ領域を撮影しており画像の変化が乏しいにも関わらず新たなキー画像が設定されることを防ぐ事ができる。よって、より少ない画像間でのみ対応点探索処理を行うため、対応点探索処理の処理時間を実施例１に比べてより削減する事ができる。

以下に本発明の実施の形態の一例を示す。

本実施例におけるモザイク画像生成装置は、画像対選択部以外は実施例２と同じため説明を省く。

キー画像設定部１６００は、特徴点抽出部２１０から特徴情報４３０を、対応点探索部２５０から対応点数４５０を、画像設定ＤＢ８１０から画像設定情報８５０を入力し、機体情報ＤＢ１６２０からは機体情報１６７０を入力し、画像設定ＤＢ８１０に画像設定情報８５０を出力する。

図１８はキー画像設定部１６００における、キー画像設定処理のフローを示した図である。図１７と同じ構成には同じ符号をつけて説明を省略する。

対応点数判定処理１１１０では、対応点探索部２５０から入力した対応点数４５０が対応点数閾値ＴＰ以上であれば対応点数が閾値調整処理１８２０を実行、対応点数閾値ＴＰ未満であればキー画像判定処理１１４０を実行する。

閾値調整処理１８２０では、機体情報ＤＢ１６２０から機体情報１６７０を入力し，現画像の撮影高度に応じて位置閾値ＴＬを調整し，機体情報判定処理１８３０を実行する。

位置閾値ＴＬの調整方法は、撮影高度が高くなった場合は、それに応じて撮影範囲も広がっているはずであるから、撮影高度に比例して位置閾値ＴＬを大きくする。一方で、撮影高度が低くなった場合は、それに応じて撮影範囲は狭まっているはずであるから、撮影高度に比例して位置閾値ＴＬを小さくしている。

機体情報判定処理１７２０では、機体情報ＤＢ１６２０から機体情報１６７０を、画像ＤＢ８１０から画像設定情報８５０を入力する。現画像の撮影位置が時系列順で直前のキー画像の撮影位置と位置閾値ＴＬ以上離れているのであれば、キー画像設定処理１１４０を実行し、位置閾値ＴＬ未満離れているのであれば通常画像設定処理１１３０を実行する。

本実施例は、機体情報判定処理１７２０における判定用閾値を、機体情報１６７０を用いて自動調整することで、同じ領域を撮影しており画像の変化が乏しいにもかかわらずキー画像が新たに設定されることを防ぐものである。

例えば、機体情報判定１７２０において、機体情報１６７０のうち高度情報を用い、高度が高度変化閾値以上変化した場合に新たなキー画像を設定する場合を検討する。閾値調整処理１８２０では、高度変化閾値を画角情報に反比例して大きく設定する。すなわち、カメラの画角が大きいほど、高度変化による撮影範囲の変化が大きいため、高度変化閾値をカメラの画角に反比例して小さくしている。逆に、カメラの画角が小さければ高度変化しても撮影範囲は大きく変わらないため，高度変化閾値を画角情報に反比例して大きくする。

別の例としては、姿勢情報を用いて姿勢が姿勢変化閾値以上変化した場合に新たなキー画像を設定する場合、姿勢変化閾値をカメラの画角情報に応じて設定する。すなわち、画角が大きければ姿勢変化しても撮影範囲は大きく変わらないため，姿勢変化閾値を画角情報に比例して大きくする。逆に、画角が小さければ姿勢変化すると撮影範囲は大きく変わるため，姿勢変化閾値を画角情報に比例して小さくする。

実施例２では、機体情報１６７０を用いることで、実施例１と比較して、同じ領域を撮影しており画像の変化が乏しいにも関わらず新たなキー画像が設定される事例を削減する事ができる。しかし、飛行高度やカメラの画角が変化した場合に，画像変化が乏しい場合でも新たなキー画像を設定してしまったり、逆にキー画像間の画像変化が大きすぎてキー画像同士で対応点を検出できずバンドル調整が上手く機能せず，モザイク画像が歪んでしまう可能性がある。本実施例では、飛行高度や画角など機体情報の変化に応じて，機体情報判定処理１７２０の閾値を自動的に調整する。これにより、キー画像を適切に設定する事が出来るため、画像位置調整処理が機能するために望ましい画像間でのみ対応点探索処理を行う事ができる。よって、トレードオフの関係にある対応点探索処理の処理時間と出力結果であるモザイク画像の歪みの少なさを、実施例１や実施例２に比べて、より適切に調整する事が可能である。

以下に本発明の実施の形態の一例を示す。

図１９はモザイク画像生成装置１９００の構成を示す図である。
本発明によるモザイク画像生成装置１９００は、特徴点抽出部２１０，特徴ＤＢ２２０，画像対選択部１９１０，画像対ＦＩＦＯ１９２０，対応点探索部２５０，対応点ＤＢ２６０，画像位置調整部２７０，フレームバッファ２８０と画像合成部２９０を備える。

なお、本発明の実施の形態におけるモザイク画像生成装置１９００は画像対選択部１９１０と画像対ＦＩＦＯ１９２０以外は実施例３と同じため説明を省く。

画像対選択部１９１０は、特徴ＤＢ２２０から特徴情報４３０を、装置外部の機体センサ３２０からセンサ情報４４０を、画像対ＦＩＦＯ１９２０からバッファ情報１９５０を，対応点探索部２５０から対応情報４５０を入力し、表示装置５１０にバッファ警告情報１９６０を出力し,画像対ＦＩＦＯに画像対情報４６０を出力する。

画像対ＦＩＦＯ１９２０は、画像対選択部１９１０から画像対情報４６０を入力し，画像対情報４６０を内部でバッファリングして、対応点探索部２５０に画像対情報４７０を、画像対選択部１９１０にバッファ情報４６０を出力する。

画像対ＦＩＦＯ１９２０は、画像対選択部１９１０から画像対情報４６０を入力し、対応点探索部２５０に画像対情報４７０を、画像対選択部１９１０にバッファ情報４６０を出力する。

図２０は画像対ＦＩＦＯ１９２０の構成を示す図である。
本発明による画像対ＦＩＦＯ１９２０は、バッファ管理部２０００と画像対情報格納バッファ２０１０を備える。

バッファ管理部２０００は、画像対選択部１９１０から画像対情報４６０が入力する毎に、画像対情報格納バッファ２１０に書込位置情報２０２０を出力し、書込位置情報２０２０を更新し、対応点探索部２５０へ画像対情報４７０を出力する毎に、画像対情報格納バッファ２０１０に読み込み位置情報２０３０を出力し、読み込み位置情報２０３０を更新する。

バッファ管理部２０００は、書込位置情報２０２０と読込位置情報２０３０が更新される毎に、バッファ情報１９５０を更新して画像対選択部１９１０へ出力する。

画像対情報格納バッファ２０１０は２０１０，画像対選択部１９１０から入力した画像対情報４６０を、バッファ管理部２０００から入力した書込位置情報２０２０の示す領域に記憶し、バッファ管理部２０００から入力した読込位置情報２０３０の示す領域に記憶している画像対情報４７０を対応点探索部２５０へ出力する。

[数５]
ＷＰ＝ＷＰ＋１ （（ＷＰ＋１）＜ＭＰ）
ＷＰ＝０ （（ＷＰ＋１）＝ＭＰ）
バッファ管理部２０００は、画像対情報格納バッファ２０１０で記憶できる画像対情報の最大数をＭＰとし、直前の書込位置情報２０２０をＷＰとすると、数５の計算により書込位置情報２０２０を更新する。

[数６]
ＲＰ＝ＲＰ＋１ （（ＲＰ＋１）＜ＭＰ）
ＲＰ＝０ （（ＲＰ＋１）＝ＭＰ）
バッファ管理部２０００は、画像対情報格納バッファ２０１０に記憶できる画像対情報の最大数をＭＰとし、直前の読込位置情報２０３０をＲＰとすると、数６の計算により読込位置情報２０３０を更新する。

[数７]
ＢＩ＝ＲＰ−ＷＰ （ＷＰ＜＝ＲＰ）
ＲＰ＝ＭＰ−（ＷＰ−ＲＰ） （ＷＰ＞ＲＰ）
バッファ情報１９５０は、画像対情報格納バッファ２０１０に残り何個の画像対情報が格納できるかを示した値であり、
バッファ管理部２０００におけるバッファ情報２０１０の更新は、画像対情報格納バッファ２０１０に記憶できる画像対情報の最大数をＭＰとし、バッファ情報１９５０をＢＩとすると、数７に従って計算する。

図２１は画像対選択部１９１０の構成を示した図である。
画像対選択部１９１０は、キー画像設定部２１００、画像対生成部２１３０，画像設定ＤＢ２１１０，機体情報ＤＢ２１２０によって構成される。

キー画像設定部２１００は、特徴点抽出部２１０から画像毎の特徴点情報４３０，対応点探索部２５０から対応情報４５０，画像設定ＤＢ２１１０から画像情報２１５０を入力し、機体情報ＤＢ２１２０から機体情報２１７０を入力し、キー画像設定処理に基づいて現在の画像をキー画像にするかしないかを判定し、判定結果を画像設定情報２１５０として画像設定ＤＢ２１１０に出力する。

画像設定ＤＢ２１１０は、キー画像設定部２１００から画像設定情報２１５０を入力し、内部に記憶したら、画像対生成部２１３０の要求に応じて画像設定情報２１６０を出力する。

画像対生成部２１３０は、画像設定ＤＢ２１１０から画像設定情報２１６０，画像対ＦＩＦＯ２１１０からバッファ情報１９５０，機体情報ＤＢ２１２０から機体情報２１８０を入力して、画像対生成処理を行い、選択結果を画像対情報４６０として画像対ＦＩＦＯ２４０に、画像対ＦＩＦＯ２４０にバッファオーバーフローの危険がある場合にバッファ警告２２００を表示装置３１０に出力する。

機体情報ＤＢ２１２０は、機体センサ３２０から各画像撮影時点のセンサ情報４４０を入力し、画像番号とセンサ情報４４０を機体情報として内部に記憶し、キー画像設定部２１００の要求に応じて機体情報２１７０，画像選択部２１３０の要求に応じて機体情報２１８０を出力する。

画像対生成部２１３０は、画像設定ＤＢ２１１０から画像設定情報２１６０，画像対ＦＩＦＯ２４０からバッファ情報１９５０，機体情報ＤＢ２１２０から機体情報２１８０を入力し、画像対情報４６０を画像対ＦＩＦＯ２４０に出力する。

図２２は画像対生成部２１３０における画像対生成処理のフローを示した図である。

画像対生成処理では、まずバッファ警告判定処理２３００を実行する。

バッファ警告判定処理２３００では、バッファ情報１９５０ＢＩがバッファ警告閾値ＴＢＷ以上であれば閾値調整処理２３２０を、バッファ情報１９５０ＢＩがバッファ警告閾値ＴＢＷ未満であればバッファ警告処理２３１０を実行する。

バッファ警告処理２３１０では、対応点探索処理負荷が間に合わずリアルタイム処理に支障が出ている事を警告するエラーコードと、キー画像設定部２１００における各設定値の推奨値を示した情報や、対応点探索部２５０の演算資源を増やすよう推奨する文字列などを、バッファ警告２２００として表示装置３１０に出力し、閾値調整処理２３２０を実行する。

なお、本発明の実施の形態におけるバッファ警告２２００は、対応点探索部２５０の演算資源が不足している事を警告し、その対策方法を装置外部に示す事を目的としており、この目的に沿う情報であればこれに限らない。

閾値調整処理２３２０では、画像対ＦＩＦＯ２４０からバッファ情報１９５０を入力し、バッファ情報１９５０ＢＩの大きさに応じてキー画像対数ＴＮＫと通常画像対数ＴＮＮを設定し，画像種類判定処理２３３０を実行する。

画像種類判定処理２３３０では、画像設定ＤＢ２１１０から画像設定情報２１６０を入力し、現画像がキー画像ならばキー画像画像対処理２３５０を，通常画像ならば通常画像対処理２３４０を実行する。

キー画像画像対処理２３５０では、画像設定ＤＢ２１１０から画像設定情報２１６０を機体情報ＤＢ２１２０から機体情報２１８０を入力し，撮影位置が現フレームの一定範囲内に存在する通常画像を通常画像画像対候補として選択しキー画像画像対出力処理２３７０を実行する。

キー画像画像対出力処理２３７０では、通常画像画像対候補の数がキー画像画像対数ＴＮＫより大きければ，位置情報で近い順にキー画像画像対数ＴＮＫ分選択する。

この時、位置が同じ画像が複数存在するなら時系列順で近い画像を優先する。

さらに、通常画像画像対候補それぞれの画像ＩＤとキー画像の画像ＩＤを合わせて画像対情報４６０として画像対ＦＩＦＯ２４０に出力する。

通常画像画像対処理２３４０では、画像対設定ＤＢ２１１０から画像設定情報２１６０を機体情報ＤＢ２１２０から機体情報２１８０を入力し、現画像から一定範囲内のキー画像をキー画像画像対候補として選択し通常画像画像対出力処理２３６０を実行する。

通常画像画像対出力処理２３６０では、キー画像画像対候補の数が通常画像画像対数ＴＮＮより大きければ、位置情報で近い順に通常画像画像対数ＴＮＮ分選択する。

この時、位置が同じ画像が複数存在するなら時系列順で近い画像を優先する。

さらに、キー画像画像対候補それぞれの画像ＩＤと通常画像の画像ＩＤを合わせて画像対情報４６０として画像対ＦＩＦＯ２４０に出力する。

次に、キー画像対数設定方法の例について説明する。

閾値調整処理２３２０において、キー画像対数ＴＮＫは、キー画像対数係数ＡＴＮＫ，キー画像対数定数ＣＴＮＫ，バッファ情報１９５０ＢＩにより式で計算する。

[数８]
ＴＮＫ＝ＡＴＮＫ＊ＢＩ＋ＣＴＮＫ
本実施の形態によるキー画像対数ＴＮＫの計算式は、対応点探索処理が間に合わず、画像対ＦＩＦＯの残りバッファ容量が減少し、バッファ情報１９５０ＢＩが小さな値となる場合には、キー画像対数ＴＮＫも小さな値となり、対応点探索処理の負荷を削減する事を意図している。

また、キー画像対数定数ＣＴＮＫはモザイク画像の画質を保つために最低限必要な現画像であるキー画像と現画像周辺の通常画像との画像対数を意図している。

次に、通常画像対数設定方法について説明する。

閾値調整処理２３３０において、通常画像対数ＴＮＮは，通常画像対数係数ＡＴＮＮ，通常画像対数定数ＣＴＮＮ，バッファ情報ＢＩにより式で計算する。

[数９]
ＴＮＮ＝ＡＴＮＮ＊ＢＩ＋ＣＴＮＮ
本実施の形態による通常画像対数ＴＮＮの計算式は、対応点探索処理が間に合わず、画像対ＦＩＦＯの残りバッファ容量が現状し、バッファ情報１９５０ＢＩが小さな値となる場合には、通常画像対数ＴＮＮも小さな値となり、対応点探索処理の負荷を削減する事を意図している。

また、通常画像対数定数ＣＴＮＮはモザイク画像の画質を保つために最低限必要な現画像である通常画像と現画像周辺のキー画像との画像対数を意図している。

以上の式は例示であり、残りバッファ容量が減少した場合、処理すべき通常画像対、キー画像対の数を減らす制御であればよい。また、通常画像対数とキー画像対数の一方のみを制御してもよい。

図２３は本発明の実施例による対応点探索処理の、処理負荷調整の効果を示したグラフ図である。

図２３の縦軸は、対応点探索処理量を示しており、バッファ情報ＢＩに比例した値である。図２３の横軸はフレーム数を表しており、図２３のグラフは、フレーム毎の対応点探索処理量の増減を表している。

図２３は左から通常状態２４００，キー画像追加状態２４１０，演算リソース不足状態２４２０，通常状態２４３０と遷移している。通常状態２４００では、割り当て可能演算量上限２４４０を超えない。キー画像追加状態２４１０では、キー画像設定により一時的に対応点探索処理負荷が増えた場合でも、本発明の実施例における画像対生成処理により、後に続く通常画像において選択される画像対数が動的に制限される。よって、キー画像設定による処理量増加分を賄い、対応点探索処理を、割当可能演算量上限を下回る演算量で実行できる事を示している。

実施例１〜実施例３では、リソースの処理能力によっては、キー画像設定などに起因し、画像対生成処理によって画像対ＦＩＦＯ２４０に出力される画像対の数が増加した場合に、対応点探索処理２５０の処理負荷が増加することにより処理が間に合わず、リアルタイムでのモザイク画像生成が実行できなくなる可能性があった。

本発明の実施の形態による対応点探索処理の処理負荷調整により、一時的に対応点探索処理の処理負荷が増加した場合でも、後の画像における対応点探索処理を削減することで、全体としての処理負荷平均を一定以下に保つように調整し、リアルタイムでのモザイク画像生成実行を実現している。また、装置の設定や演算資源の制限などにより、処理不可調整が間に合わないと判断できる場合は，装置外部にバッファ警告２２００を出力する事により、ユーザに警告と対策方法を示す事を実現している。

本実施例中、ソフトウエアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウエアでも実現できる。そのような態様も本願発明の範囲に含まれる。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。

航空機１００，
地上局１１０，
モザイク画像生成装置２００，
特徴抽出部２１０，
特徴ＤＢ２２０，
画像対選択部２３０，
画像対ＦＩＦＯ２４０，
対応点探索部２５０，
対応点ＤＢ２６０，
対応点ＤＢ２６０，
画像位置調整部２７０，
フレームバッファ２８０，
画像合成部２９０，
カメラ３００，
表示装置３１０，
機体センサ３２０，
制御端末３２１，
撮影画像４００，
特徴情報４１０，
特徴情報４２０，
特徴情報４３０，
センサ情報４４０，
対応情報４５０，
画像対情報４６０，
画像対情報４６１，
対応点情報４７０，
対応点情報４８０，
画像位置情報４９０，
撮影画像５００，
モザイク画像５１０，
特徴点検出部６００，
特徴記述部６１０，
特徴点情報６２０，
特徴情報６３０，
画像番号７００，
特徴記述情報７１０，
キー画像設定部８００，
画像設定ＤＢ８１０，
機体情報ＤＢ８２０，
画像対生成部８３０，
画像設定情報８５０，
画像設定情報８６０，
機体情報８８０，
画像番号９００，
画像設定情報９１０，
画像番号１０００，
機体情報８８０，
特徴点数判定処理１１００，
対応点数判定処理１１１０，
キー画像判定処理１１２０，
通常画像設定処理１１３０，
キー画像設定処理１１４０，
画像種類判定処理１２００，
通常画像画像対処理１２１０，
キー画像画像対処理１２２０，
通常画像対出力処理１２３０，
キー画像対出力処理１２４０，
特徴入力処理１３００，
対応点検出処理１３１０，
画像対情報１４００，
特徴点座標対１４１０，
画像変形部１５００，
画像重畳部１５１０，
変形画像１５５０，
キー画像設定部１６００，
画像設定ＤＢ１６１０，
機体情報ＤＢ１６２０，
画像対生成部１６３０，
特徴点判定処理１７００，
対応点数判定処理１７１０，
機体情報判定処理１７２０，
通常画像設定処理１７３０，
キー画像設定処理１７４０，
特徴点判定処理１８００，
対応点数判定処理１８１０，
閾値調整処理１８２０，
機体情報判定処理１８３０，
通常画像設定処理１８４０，
キー画像設定処理１８５０，
モザイク画像生成装置１９００，
画像対選択部１９１０，
画像対ＦＩＦＯ１９２０，
バッファ情報１９５０，
バッファ管理部２０００，
画像対情報格納バッファ２０１０，
書込位置情報２０２０，
読込位置情報２０３０，
バッファ警告判定処理２３００，
バッファ警告処理２３１０，
閾値調整処理２３２０，
画像種類判定処理２３３０，
通常画像画像対処理２３４０，
キー画像画像対処理２３５０，
通常画像画像対出力処理２３６０，
キー画像画像対出力処理２３７０，
通常状態２４００，
キー画像追加状態２４１０，
演算リソース不足状態２４２０，
通常状態２４３０

Claims (10)

1. カメラによって時間的に連続する複数の画像を撮像し、当該複数の画像から単一の画像を生成する画像生成方法であって、
   前記複数の画像毎に、撮影条件データと画像データを対応付けて記憶する、記憶ステップと、
   前記複数の画像から、複数の代表画像を選定する、キー画像設定ステップと、
   前記撮影条件データを基に、前記代表画像毎に、所定の関係を有する画像を関連画像として選定し、代表画像と当該代表画像と所定の関係を有する関連画像を、画像ペアとして記憶する、画像対選択ステップと、
   前記画像ペア毎に、当該画像ペアの画像内の同一点の組である対応点を求める、対応点検索ステップと、
   前記対応点を用いて前記複数の画像を合成し、前記単一の画像を生成する、画像合成ステップと、
   を有する画像生成方法。
2. 前記キー画像設定ステップは、
   前記複数の画像を時系列順に処理し、直近に設定した前記代表画像から現画像までのフレーム数が所定閾値の場合に、前記現画像を代表画像に設定する、
   請求項１記載の画像生成方法。
3. 前記キー画像設定ステップは、
   前記複数の画像を時系列順に処理し、直近に設定した前記代表画像と現画像の位置関係を、前記撮影条件データを基に計算し、両者の位置が所定閾値以上離れている場合に、前記現画像を代表画像に設定する、
   請求項１記載の画像生成方法。
4. 前記キー画像設定ステップおよび前記対応点検索ステップは、
   前記複数の画像を時系列順に処理し、
   前記キー画像設定ステップは、
   前記対応点検索ステップからフィードバックされる対応点の数が、所定閾値以下になった場合に、処理されている画像を代表画像に設定する、
   請求項１記載の画像生成方法。
5. 所定の撮影範囲の被写体を撮影して画像データを取得するカメラであって、複数の画像データを取得した際に、任意の１つの画像データが他の複数の画像データと同じ被写体を含むように構成されたカメラと、
   前記画像データから特徴点を抽出する特徴点抽出部と、
   前記特徴点の情報を前記画像データと対応付けて記憶する特徴データベースと、
   前記カメラが前記画像データを取得した際に、前記カメラの位置、速度、加速度、および姿勢のうちの、少なくとも一つに関連するセンサ情報を取得するセンサと、
   前記複数の画像データから複数の代表画像を選択するとともに、前記センサ情報に基づいて該代表画像毎に関連画像を選択し、代表画像と関連画像の組からなる画像対を生成する画像対選択部と、
   前記画像対の画像データに含まれる前記特徴点同士が同じ被写体であると判定した場合、当該特徴点同士の対応付けを行い、対応点情報を生成する対応点検索部と、
   前記対応点情報に基づいて、前記複数の画像の位置の調整情報を生成する画像位置調整部と、
   前記調整情報に基づいて、前記複数の画像から単一の画像を生成する画像合成部、
   を有する画像生成装置。
6. 前記カメラは、前記カメラを移動させる移動体、あるいは、前記カメラの姿勢を変化させる駆動機構に搭載され、
   前記センサは、前記移動体または駆動機構の位置、速度、加速度、および姿勢のうち少なくとも一つの情報を取得する、
   請求項５記載の画像生成装置。
7. 前記画像データは、連続して撮影された画像データであって、撮影順に前記画像対選択部に入力され、
   前記画像対選択部は、代表画像間の画像数が所定閾値以上にならないように、前記複数の画像データから複数の代表画像を選択するキー画像設定部を有する、
   請求項５記載の画像生成装置。
8. 前記画像データは、連続して撮影された画像データであって、撮影順に前記画像対選択部に入力され、
   前記画像対選択部は、前記画像データと前記センサ情報を対応付けて記録するセンサ情報データベースと、
   前記センサ情報に基づいて画像データ間の位置関係を計算し、代表画像間の位置関係が所定閾値以上離れないように、前記複数の画像データから複数の代表画像を選択するキー画像設定部を有する、
   請求項５記載の画像生成装置。
9. 前記閾値を前記センサ情報に基づいて調整する閾値調整部を有する、
   請求項８記載の画像生成装置。
10. 前記画像対選択部における代表画像の選定条件、あるいは、関連画像の選定条件の、少なくとも一つは、
    制御端末からの入力に従って制御可能である、請求項５記載の画像生成装置。

Images