JP2001052152A5

JP2001052152A5 -

Info

Publication number: JP2001052152A5
Application number: JP1999230476A
Authority: JP
Filing date: 1999-08-17
Publication date: 2006-10-05
Anticipated expiration: 2019-08-17

Description

【特許請求の範囲】
【請求項１】少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力手段と、前記複数の画像同士の位置関係から得られるパラメータを生成するパラメータ生成手段と、写像方式を入力する写像方式入力手段と、前記パラメータと前記入力された写像方式に対応した画像の座標変換処理を行い、前記複数の画像の合成画像を出力する画像合成手段とを備えた事を特徴とする画像合成装置。
【請求項２】前記写像方式入力手段は写像方式を変更する変更手段を備え、前記画像合成手段は、前記写像方式の変更に応じて前記座標変換処理を変更し、前記複数の画像の合成画像を出力する事を特徴とする請求項１に記載の画像合成装置。
【請求項３】前記パラメータ生成手段は前記合成画像の基準位置を任意に設定する基準位置設定手段を備え、前記基準位置設定手段で設定した基準位置に応じて、前記パラメータを生成する事を特徴とする請求項１乃至２のいずれか一項に記載の画像合成装置。
【請求項４】前記パラメータには、少なくとも隣接する画像同士の位置関係を示す座標空間変換パラメータと、前記隣接する画像間の階調を一致させる階調補正パラメータと、前記隣接する画像同士のつなぎ目位置のいずれかを備える事を特徴とする請求項１乃至３のいずれか一項に記載の画像合成装置。
【請求項５】更に前記パラメータと前記基準位置を記憶する記憶手段を備え、前記写像方式、前記基準位置及び前記つなぎ目位置の設定または変更・修正に応じて前記パラメータと前記基準位置を記憶し、前記記憶した各状態での合成画像を出力可能な事を特徴とする請求項１乃至４のいずれか一項に記載の画像合成装置。
【請求項６】少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力工程と、前記複数の画像同士の位置関係から得られるパラメータを生成するパラメータ生成工程と、写像方式を入力する写像方式入力工程と、前記パラメータと前記入力された写像方式に対応した画像の座標変換処理を行い、前記複数の画像の合成画像を出力する画像合成工程とを備えた事を特徴とする画像合成方法。
【請求項７】前記写像方式入力工程は写像方式を変更する変更工程を備え、前記画像合成工程は、前記写像方式の変更に応じて前記座標変換処理を変更し、前記複数の画像の合成画像を出力する事を特徴とする請求項６に記載の画像合成方法。
【請求項８】前記パラメータ生成工程は前記合成画像の基準位置を任意に設定する基準位置設定工程を備え、前記基準位置設定工程で設定した基準位置に応じて、前記パラメータを生成する事を特徴とする請求項６乃至７のいずれか一項に記載の画像合成方法。
【請求項９】前記パラメータには、少なくとも隣接する画像同士の位置関係を示す座標空間変換パラメータと、前記隣接する画像間の階調を一致させる階調補正パラメータと、前記隣接する画像同士のつなぎ目位置のいずれかを備える事を特徴とする請求項６乃至８のいずれか一項に記載の画像合成方法。
【請求項１０】更に前記パラメータと前記基準位置を記憶する記憶工程を備え、前記写像方式、前記基準位置及び前記つなぎ目位置の設定または変更・修正に応じて前記パラメータと前記基準位置を記憶し、前記記憶した各状態での合成画像を出力可能な事を特徴とする請求項６乃至９のいずれか一項に記載の画像合成方法。
【請求項１１】コンピュータが読み込み実行することで、請求項６乃至１０のいずれかに記載の画像合成方法を実行させるためのコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本出願に係る発明の画像合成装置は、少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力手段と、前記複数の画像同士の位置関係から得られるパラメータを生成するパラメータ生成手段と、写像方式を入力する写像方式入力手段と、前記パラメータと前記入力された写像方式に対応した画像の座標変換処理を行い、前記複数の画像の合成画像を出力する画像合成手段とを備えた事を特徴とする。

また、本出願に係る発明である画像合成方法は、少なくとも２つの画像間には重複領域が存在する複数の画像を入力する画像入力工程と、前記複数の画像同士の位置関係から得られるパラメータを生成するパラメータ生成工程と、写像方式を入力する写像方式入力工程と、前記パラメータと前記入力された写像方式に対応した画像の座標変換処理を行い、前記複数の画像の合成画像を出力する画像合成工程とを備えた事を特徴とする。

Ｓ５０３においては、抽出した対応点情報を基に画像間の座標空間変換パラメータの算出を行う。例として第６図を用いて座標空間変換パラメータ算出の概略を示す。

図６は図２におけるパン撮影においてＹ＝０のＸＺ断面を示したものである。６０１及び６０２は隣接する撮影画像に対応したセンサ面を示している。センサ面６０１に対応したＸＹＺ座標の原点をＯ、センサ面６０２に対応したＸ’Ｙ’Ｚ’座標の原点をＯ’とすると、座標空間変換パラメータは座標系ＸＹＺと座標系Ｘ’Ｙ’Ｚ’の関係を表わすものである。Ｓ５０２の対応点抽出処理により得られた対応点を点Ｐ及び点Ｐ’とすると、この２点間の関係は図６の回転パラメータＲ及び並進パラメータＴにより
Ｐ′＝Ｒ・Ｐ＋Ｔ・・・（１）
となる。ここで、Ｒは各軸回りの回転成分（θ，φ，ψ）により得られる回転マトリクスであり、以下のように表される。

Ｓ５０５においては、生成した座標空間変換パラメータあるいは階調補正パラメータを用いて隣接する画像間のつなぎ目位置の設定を行う。つなぎ目位置は、座標空間変換パラメータを基にリサンプリングした画素間の差分あるいは相関値を用いて設定する。

図７は、合成画像を円筒写像変換して生成する場合を示している。図７（ａ）において７１０は、円筒写像によるパノラマ合成画像である。ここで、７１０上の画素Ｉｋを生成する処理により、画像変換部７０５における処理の概略を示す。図７（ｂ）は、各撮影位置でのセンサ面７１２及び７１３間の関係を模式的に示したもので、７１１は合成画像７１０をＹ＝Ｙｋ断面により表したものである。なお、簡単に考える為に、前述の並進成分Ｔは無い図となっている。

点ＰをＸ’Ｙ’Ｚ’座標系の点Ｐ’（ｘ’、ｙ’、ｚ’）で表すとすると、点Ｐと点Ｐ’間の変換は、合成パラメータ生成部７０４において生成された式（３）の座標空間変換パラメータである合成マトリクスＭを用いればよく、次式により表すことができる。

従って、画像間の関係を表わす座標空間変換パラメータである合成マトリクスＭは、いずれの写像方式においても同一のものを用い、選択された写像の種類に応じて（４）式、（７）式及び（８）式の各座標変換式を切り換えることにより、任意の写像による合成画像を得ることが可能となるのである。

画像変換部においては、すべての画像の座標空間変換パラメータである合成マトリクスＭをＭ’により
Ｍ２＝Ｍ・Ｍ’・・・（９）
と修正して、合成変換のためのマトリクスＭ２を生成する。

さらに、変更・修正処理により図１２に示すような合成画像１２０が得られると、合成カウンタをＣｓ１＝３、Ｃｓ２＝１にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１＝３、Ｃｓ２＝１に対応したメモリ位置に保持する。

【０１１９】
【発明の効果】
以上説明したように、本出願に係る発明によれば、重複領域が存在する複数の画像に対し、任意の写像方式に応じた座標変換処理を行う事で合成画像を得る事が可能になる。特に、前記複数の画像同士の位置関係から得られるパラメータを生成し、どの写像方式にも前記パラメータを共通に用いて写像方式に応じた処理と組み合わせるだけで容易に合成画像を得ることが可能となる。