JP4346742B2 - Image composition method, image composition apparatus, and storage medium - Google Patents

Description

【００４５】
回転マトリクスＲ及び並進マトリクスＴの合成マトリクスＭは、以下のように表される。
【００４６】
【外２】

【００４７】
合成マトリクスＭは、対応点抽出処理により得られる複数個の対応点情報を基に非線形最小自乗法等を用いて算出することができる。パラメータ算出の方式としては、他の公知技術を用いることも可能である。
【００４８】
このように、座標系ＸＹＺと座標系Ｘ'Ｙ'Ｚ'の関係を計算しておくことにより、例えばＰ（ｘ，ｙ，ｚ）に対応するX'Y'Z'座標上の点がどこなのかを容易に知る手がかりとなる。
【００４９】
具体例は後に示すが、この座標空間変換パラメータとして、合成マトリクスＭを求めることは、画像間の各点の対応関係を示しており、言い換えれば、任意に入力した2次元の画像情報から、それらを撮影したときの空間的な位置関係を表現しているのである。
【００５０】
したがって、あとはこれらの画像を適切な共通面に写像することによって、適切な合成画像を得ることが出来る。
【００５１】
Ｓ５０４においては、隣接する画像間の階調を一致させるための補正パラメータを生成する。補正パラメータの生成方式は特開平０９−３２１９７２の技術を適応する。
【００５２】
Ｓ５０５においては、生成した座標空間変換パラメータあるいは階調補正パラメータを用いて隣接する画像間のつなぎ目位置の設定を行う。つなぎ目位置は、座標空間変換パラメータを基にリサンプリングした画素間の差分あるいは相関値を用いて設定する。
【００５３】
Ｓ５０６において、隣接する画像間のパラメータ生成がすべて完了したかを判別して、完了していなければ次に合成すべき２画像をＳ５０１において再び設定し、合成操作を続ける。
【００５４】
完了している場合は、Ｓ５０７において全画像を合成する際の基準位置を設定する。
【００５５】
Ｓ５０８では、設定した基準位置を基に、既に得られている座標空間変換パラメータを変換する。
【００５６】
以上の処理により、第１図の７０４において合成パラメータが生成され、メモリ７０２に保持される。
【００５７】
合成パラメータが生成されると、画像変換部７０５において選択されている写像方式によりパノラマ合成画像が生成される。画像変換部７０５における処理の概略を図７により説明する。
【００５８】
図７は、合成画像を円筒写像変換して生成する場合を示している。図７（ａ）において７１０は、円筒写像によるパノラマ合成画像である。ここで、７１０上の画素Ｉｋを生成する処理により、画像変換部７０５における処理の概略を示す。図７（ｂ）は、各撮影位置でのセンサ面７１２及び７１３間の関係を模式的に示したもので、７１１は合成画像７１０をＹ＝Ｙｋ断面により表したものである。なお、簡単に考える為に、前述の並進成分Ｔは無い図となっている。
【００５９】
図７（ｂ）において、７１１面上の点Ik（φｋ，Ｙｋ）を、ＸＹＺ座標の点Ｐ（x,y,z）として座標変換するときは、以下の式で表すことができる。
【００６０】
ｘ＝ｆ・ｓｉｎ（φ_k）
ｙ＝Ｙ_k ―（４）
ｚ＝ｆ・ｃｏｓ（φ_k）
【００６１】
点ＰをＸ’Ｙ’Ｚ’座標系の点Ｐ’（ｘ’、ｙ’、ｚ’）で表すとすると、点Ｐと点Ｐ’間の変換は、合成パラメータ生成部７０４において生成された式（３）の座標空間変換パラメータである合成マトリクスＭを用いればよく、次式により表すことができる。
【００６２】
【外３】

【００６３】
次に、点Ｐ'に対応するセンサ面７１３上の座標Ｐ''を次式により求める。
【００６４】
【外４】

【００６５】
上記（６）式により、センサ面７１３（z"=f）上の座標（x'',y''）の画素を参照すれば、合成画像７１０上の画素Ikの値を知ることが出来る。
【００６６】
以上の処理を合成画像７１０の各画素に対して施すことにより、円筒写像変換された合成画像を生成することができる。
【００６７】
合成された画像はメモリ７０２に保持されると共に、表示部７０８に表示される。また、必要に応じて記録媒体７０６に記録される。
【００６８】
以下においては、写像方式の変更と、この時の変換処理について示す。
【００６９】
操作部７０７において、ユーザーが任意の写像方式を選択して、写像方式の変更指示をすると、ＭＰＵは選択された写像方式に対応した座標変換処理を設定し、前述と同様の処理により７０５において画像変換処理を実行する。
【００７０】
写像方式が変更されると、前述の式（４）を用いた座標変換処理が、選択された新たな写像方式に対応したものに置き換えられる。
【００７１】
例えば平面写像に変更した場合は、合成画像の各画素はセンサ面の座標と一致するので、生成する画素Ik(Ｘｋ，Ｙｋ)に対応する式（４）の座標変換式は以下となる。
【００７２】
ｘ＝Ｘ_k
ｙ＝Ｙ_k ―（７）
ｚ＝ｆ
【００７３】
球面写像の場合は、水平及び垂直方向共に等角度ピッチとなるようにサンプリングするので画素Ik(Φｋ，θｋ)に対応する座標変換は次式となる。
【００７４】
ｘ＝ｆ・ｃｏｓ（θ_k）ｓｉｎ（φ_k）
ｙ＝ｆ・ｃｏｓ（θ_k） ―（８）
ｚ＝ｆ・ｃｏｓ（θ_k）ｃｏｓ（φ_k）
【００７５】
従って、画像間の関係を表わす座標空間変換パラメータである合成マトリクスＭは、いずれの写像方式においても同一のものを用い、選択された写像の種類に応じて（４）式、（７）式及び（８）式の各座標変換式を切り換えることにより、任意の写像による合成画像を得ることが可能となるのである。
【００７６】
従来は、写像方式が変更される度に、写像方式に基づいた計算式に、対応点の座標を代入して、合成パラメータ生成処理を実行し、これに基づいて、すべての画素を座標変換していた。
【００７７】
これに対して、本実施例のパノラマ画像合成方法では、まず座標空間変換パラメータとして、画像間の各点の対応関係を求めておき、あとは座標変換処理を写像方式に対応して切り換えるだけで合成処理が完了する。したがって、写像方式の切り替えのときには、既に計算した座標空間変換パラメータと、各写像方式に対応して記憶している座標変換処理を用い、入力画像そのものに対して写像変換するだけでよく、つまり新たなパラメータ計算をする必要が無いので、非常に効率良く種々の写像方式による合成画像を得ることが可能となっている。特に写像方式変更時の処理時間を、大幅に短縮することが可能である。同時に、合成した画像に対して変換処理を行わないので、画質も良好な合成画像を得ることが出来るのである。
【００７８】
（第２の実施例）
第２の実施例のパノラマ画像合成処理は、以下の特徴を有する。
１） 基準位置をユーザーが任意に変更可能で、変更された基準位置により合成画像が変換される。
２） つなぎ目の修正処理ができる。
３） 以前の合成結果に戻ることができる。
【００７９】
以下、上記の特徴を有するパノラマ画像合成方法及び装置の動作について説明する。尚、全体の構成としては図１と同様である。また、予め設定された写像方式により合成画像が生成され、表示部に表示される過程までは、第1実施例と同様であるので説明を省略する。
【００８０】
本実施例に係る基準位置の変更の概略を図８及び図９に示す。図８（ａ）は、平面写像により合成結果が表示されている場合である。図８の合成画像８０１は、建物を垂直方向にチルトしながら撮影した画像を合成したものである。合成画像は上部が縮小し台形状になっている。８０２は、基準位置である。
【００８１】
図８（ｂ）は、撮影時の被写体とセンサ面との関係を示したものである。８０３は、被写体の建物であり、８０４〜８０６はチルトしながら撮影した各状態でのセンサ面であり、８０７は合成画像を表わす投影面で、８０８は合成画像の基準位置である。
【００８２】
基準位置の変更は、図１の操作部７０７によりマウス等により図８（ａ）の基準位置８０２を移動させる。基準位置の移動は、キーボードにより移動先の座標を指定することもできるし、矢印キー等により移動させても良い。
【００８３】
変更された位置はＭＰＵ７０３に送られる。ＭＰＵ７０３は、移動情報を画像変換部７０５に出力する。画像変換部７０５においては、移動情報を基に合成画像を修正するための修正マトリクスＭ'を生成する。
【００８４】
画像変換部においては、すべての画像の座標空間変換パラメータである合成マトリクスＭをＭ’により
Ｍ２＝Ｍ・Ｍ’・・・（９）
と修正して、合成変換のためのマトリクスＭ２を生成する。
【００８５】
以下、第１実施例と同様に選択されている写像方式を用いて合成画像を生成して、メモリ７０２に保持し、また表示部７０８に表示する。
【００８６】
図９（ａ）は基準位置を移動し、合成画像を変換した結果である。９０１は、合成画像であり、９０２は現在の基準位置を表わす。
【００８７】
図９（ｂ）は被写体とセンサ面との関係である。
【００８８】
基準位置を９０８に移動して、基準位置と基に設定される合成画像の投影面９０７を用いて合成画像を生成する。
【００８９】
投影面９０７は、被写体の側面９０９と並行であるので、歪みの無い合成画像９０１を得ることができる。
【００９０】
従来においても、投影面８０７や９０７に対応する基準平面を任意に設定し、この平面状に合成画像を形成するものは見られるが、その場合においても、基準平面の変更に伴って、合成パラメータの算出をはじめからやり直す必要が有り、使い勝手が悪かった。
【００９１】
しかし本願では、基準位置に対応した座標空間変更パラメータを、既に計算した座標空間変換パラメータに適用して計算するだけであるので、使い勝手が格段に向上する。そして、合成画像を生成する際の基準位置をユーザーの意図する位置に設定することが可能となり、あおり補正等の幾何学補正に柔軟に対応することができる。
【００９２】
次に、つなぎ目の修正処理について説明する。図１０（ａ）は、画像の一部が重複するように撮像した画像１０１及び１０２である。また図１０（ｂ）は、画像１０１及び画像１０２を合成した合成画像である。合成画像１０３において点線はつなぎ目位置を表わす。
【００９３】
合成画像１０３では、つなぎ目付近の画像にずれが生じている。合成画像において、上記のようなずれが生じている場合、本実施例のパノラマ画像合成方法及び装置は図１１（ａ）及び図１１（ｂ）に示す修正処理により対応することができる。
【００９４】
図１１（ａ）においては、図１の操作部７０７により撮像した２つの画像１０１及び１０２を移動させて、２つの画像の重複部がおおむね一致するように位置合わせする。位置合わせした情報はＭＰＵ７０３に与えられ、ＭＰＵ７０３は、合成パラメータ生成部７０４に位置合わせ情報を与えることにより、合成パラメータ生成部における対応点抽出処理のための情報として用いる。
【００９５】
合成パラメータ生成部においては、予めある程度の位置合わせがなされた状態から対応点抽出することができるので、抽出精度及び信頼性を向上することが可能となる。
【００９６】
図１１（ｂ）においては、図１の操作部７０７により、撮像した画像１０１及び１０２の被写体上の点を対応点として直接設定する。図１１（ｂ）においては、点１１２Ａ−点１１２Ｂと点１１３Ａ―点１１３Ｂが対応点ペアとして設定されている。
【００９７】
ＭＰＵ７０３は、前記対応点ペアの情報を取得し、合成パラメータ生成部７０４に与える。
【００９８】
合成パラメータ生成部７０４においては、取得した対応点ペアの情報を用いて座標空間変換パラメータを推定することができる。また、取得した対応点ペアは手動で位置合わせされているので、対応点ペアの近傍でのみテンプレートマッチングあるいは相互相関処理を実行して、対応点ペアの精度を向上させて座標変換パラメータの推定に用いても良い。
【００９９】
図１１（ｃ）は修正後の合成画像１１４である。画像１０３と比較してつなぎ目の位置合わせのが滑らかになっている。この修正処理は、ユーザーの欲する結果となるまで繰り返し実行することができる。
【０１００】
上述の写像方式の変更処理やつなぎ目の修正処理により、結果的に得られた合成画像が良好となった場合は問題ないが、場合によっては修正前の結果の方が好ましい場合も起こり得る。このような場合に対応するために、本実施例に係るパノラマ画像合成方法では、合成画像が生成されるたびに、合成パラメータ及び合成結果の画像情報を一連の合成処理がすべて終了するまでメモリ７０２に保持している。
【０１０１】
例えば図１０（ｂ）に示す合成結果１０３を最初の合成結果として合成カウンタをＣｓ１=１、Ｃｓ２=１にセットすると共に、各種合成パラメータ及び合成画像を合成カウンタＣｓ１＝１、Ｃｓ２=１に対応したメモリ位置に保持する。ここでCs1は、変更・修正処理が繰り替えされるたびに1つずつ増大するカウンタで、Cs2は、現在の状態から、1段階前の状態に戻った上で、新たに変更・修正処理が行われたときに１つずつ増大するカウンタである。
【０１０２】
次に、変更・修正処理により合成画像１１４が得られると、合成カウンタをＣｓ１=２、Ｃｓ２=１にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１=２、Ｃｓ２=１に対応したメモリ位置に保持する。
【０１０３】
さらに、変更・修正処理により図１２に示すような合成画像１２０が得られると、合成カウンタをＣｓ１＝３、Ｃｓ２＝１にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１＝３、Ｃｓ２＝１に対応したメモリ位置に保持する。
【０１０４】
ここで、ユーザーが操作部７０７により”戻る”操作を行った場合は、Ｃｓ１を現在の位置から１減じてＣｖ１=２として、合成カウンタＣｓ１=２、Ｃｓ２=１に対応した合成パラメータ及び合成結果画像をメモリ７０２から読み出し、合成画像を表示部７０８に表示すると共に、読み出したパラメータを現時点のパラメータとして置き換える。
【０１０５】
この時点では図１３の合成画像１３１が表示されている。ここで、変更・修正処理を行った場合は、Csカウンタを一つ進めて、合成カウンタをＣｓ１＝２、Ｃｓ２=２にセットし、合成パラメータ及び合成画像を合成カウンタＣｓ１=２、Ｃｓ２=２に対応したメモリ位置に保持する。この状態では図１３の合成画像１３３が表示されている。
【０１０６】
さらに修正した場合は、合成画像１３４が表示され、合成カウンタはＣｓ１=２、Ｃｓ２=３となる。
【０１０７】
上記の処理をＭＰＵ７０３・メモリ７０２において実行することにより、変更・修正で生成されたすべての画像をメモリに記憶しているので、ユーザーはこれまでに生成した任意の合成画像の状態に、簡単に移行することが可能となる。
【０１０８】
尚、操作部７０７においては、左矢印（←）と右矢印（→）により”戻る”方向を指定する。
【０１０９】
但し、方向の指定方法は他の公知の方法を利用できることは言うまでもない。
【０１１０】
例えば、カウンタＣｓ１・Ｃｓ２の値をそれぞれ入力することによって、これまでに生成した任意の合成画像に移行することも可能である。
【０１１１】
さらに、上記の場合は合成パラメータと合成画像を保持しているが、合成画像が大きいあるいは多い場合には、メモリの容量を圧迫する可能性もあるので、合成パラメータのみを保持して、画像は合成パラメータを用いて逐次生成するようにする方式も有効である。
【０１１２】
本実施例のパノラマ画像合成方法及び装置によれば、合成画像のあおり等の補正を柔軟に行うことが可能となり、また修正作業を効率良く実行することができる。
【０１１３】
なお、上記実施例は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、または一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【０１１４】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１１５】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１１６】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１１７】
またコンピュータが、供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードが、コンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１１８】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１１９】
【発明の効果】
以上説明したように、本出願に係る発明によれば、写像方式の切り替えのときには、既に計算した座標空間変換パラメータと、各写像方式に対応して記憶している座標変換処理を用い、入力画像そのものに対して写像変換するだけでよく、つまり新たなパラメータ計算をする必要が無いので、非常に効率良く種々の写像方式による合成画像を得ることが可能となっている。特に写像方式変更時の処理時間を、大幅に短縮することが可能である。同時に、合成した画像に対して変換処理を行わないので、画質も良好な合成画像を得ることが出来るのである。
【図面の簡単な説明】
【図１】パノラマ画像合成処理のブロック図。
【図２】パノラマ撮影の概略図。
【図３】写像変換の概略図。
【図４】写像方式を説明する図。
【図５】合成パラメータ生成処理のフロー。
【図６】合成変換処理の概略図。
【図７】画像合成の説明図。
【図８】画像変換の前記略図。
【図９】画像変換の前記略図。
【図１０】撮像画像の概略図。
【図１１】修正処理の概略図。
【図１２】合成画像の概略図。
【図１３】処理シーケンスの概略図。
【符号の説明】
７０１ 画像入力部
７０２ メモリ
７０３ ＭＰＵ
７０４ 合成パラメータ生成部
７０５ 画像合成変換部
７０６ 記録媒体
７０７ 操作部
７０８ 表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image synthesizing method, an image synthesizing apparatus, and a recording medium that convert and synthesize a plurality of images such that adjacent images have a common subject area.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, when a plurality of images are combined, there is known a method in which an input image is converted and combined by a preset mapping method. As this mapping method, for example, as shown in FIG. 4 (a), a plane mapping in which an image of each sensor surface is projected on the plane 401 around the origin O, or the origin O is set as shown in FIG. 4 (b). There are a cylindrical mapping that projects an image of each sensor surface on a cylinder 402 at the center, and a spherical mapping that projects an image of each sensor surface on a spherical surface 403 around the origin O as shown in FIG.
[0003]
In the conventional panoramic image synthesis method, an appropriate mapping method is selected and set before generating the parameters necessary for the synthesis process, and after the input image is mapped and converted by this mapping method, the positional relationship between a plurality of images is indicated. Parameters (corresponding to coordinate space conversion parameters) were generated from the corresponding point information and synthesized.
[0004]
[Problems to be solved by the invention]
  However, for example, when trying to create a composite image by changing the mapping method, a plurality of images are input again, map conversion is performed by another mapping method, and complex image composition processing is repeatedly executed. In other words, the process for parameter generation must be re-executed from the beginning.ThisIt was time consuming and very inefficient.
[0005]
In addition, there are some which convert and display a map with respect to the synthesized image, but this is a conversion process again based on the once synthesized image. That is, since the image conversion process is executed at least twice on the original image, there is a problem that the image quality of the image whose mapping has been changed is deteriorated.
[0006]
  In view of the above problems, the object of the invention according to the present application is to reduce the processing time and obtain a composite image with good image quality when attempting to create a composite image by changing the mapping method. is there.
[0007]
[Means for Solving the Problems]
  In order to solve the above-described problem, an image composition device according to the invention of the present application includes an image input unit that inputs a plurality of images in which an overlap region exists between at least two images, and is adjacent to the plurality of images. A parameter generation unit that generates a coordinate space conversion parameter obtained from the positional relationship between images, a holding unit that stores the coordinate space conversion parameter in a memory, and a mapping method that is a plurality of mapping methods in response to a user operation. Switching means for switching among them, changing means for changing a coordinate conversion formula used when combining the plurality of images in correspondence with the switched mapping method, and coordinate space conversion parameters stored in advance in the memory And an image synthesizing means for synthesizing the plurality of images using the modified coordinate transformation formula.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
As shown in FIG. 2, the image used in the panoramic image synthesis method and apparatus according to the present embodiment is obtained by inputting an image of the shooting area 1 in the state 1 while the photographer rotates at an arbitrary position and shooting in the state 2. This is obtained by inputting the image of the area 2 and further inputting the image of the shooting area 3 in the state 3.
[0013]
The direction of rotation includes the Y axis (hereinafter referred to as pan) or the X axis (hereinafter referred to as tilt) in FIG. As shown in FIG. 2, a panoramic image covering an arbitrary angle of view can be obtained by inputting and synthesizing an image.
[0014]
Here, the relationship between the panoramic image and the mapping will be described. FIG. 3 is a cross-sectional view at Y = 0 in each imaging state of FIG. The origin O and the coordinate axes XYZ are set based on the shooting state 1. f is an imaging focal length, and φ12 and φ23 represent pan angles. Reference numerals 301, 302, and 303 denote camera sensor surfaces (imaging surfaces).
[0015]
In order to combine a plurality of images taken in different directions and express them as one image, it is necessary to map the images onto a certain surface. As the mapping method, for example, as shown in FIG. 3, there are a cylindrical mapping for projecting the image of each sensor surface onto the cylindrical surface 310, a planar mapping for projecting onto the plane 320, and the like.
[0016]
An outline of the above mapping method will be described with reference to FIG.
[0017]
FIG. 4A is a plane mapping, in which an image of each sensor surface is projected onto the plane 401 with the origin O as the center.
[0018]
In the planar mapping, a composite image similar to that obtained by photographing with a wide-angle lens is obtained, and the straight line portion of the subject is expressed as a straight line in the composite image. However, the range of view angles that can be expressed is limited to less than 180 °. Even if the view angle is less than 180 °, distortion in the peripheral portion increases and the image quality deteriorates as the view angle increases. Therefore, it can be said that it is appropriate to set the angle of view of the composite image to about 120 °.
[0019]
FIG. 4B is a cylindrical mapping in which an image of each sensor surface is projected onto a cylinder 402 whose center line passes through the origin O.
[0020]
The horizontal direction of the image obtained by developing the side surface of the cylinder is represented by an angle φ, and can represent the entire 360 ° circumference. However, since the vertical direction is the same as that of the planar mapping, only an angle of view of less than 180 ° can be expressed. However, as with the planar mapping, distortion in the peripheral portion increases and the image quality deteriorates as the angle of view increases. In the cylindrical mapping, the straight line portion of the subject is distorted according to the position of the image.
[0021]
In addition, since the cylindrical mapping includes a cylinder around the X axis and a cylinder around the Y axis as rotation axes, a cylinder around the Y axis (vertical cylinder) is used for shooting conditions, that is, pan shooting, and X is used for tilt shooting. It is effective to select a rotation axis such as using a cylinder (horizontal cylinder) around the axis.
[0022]
FIG. 4C shows a spherical mapping, in which an image of each sensor surface is projected onto the spherical surface 403 around the origin O.
[0023]
An image obtained by spherical mapping represents an angle in both the horizontal direction and the vertical direction. Therefore, a panoramic image of the entire circumference can be represented. In the spherical mapping, the straight line portion of the subject is distorted according to the position of the image.
[0024]
The spherical mapping is effective as an expression method when an image in which pan and tilt photography is mixed is synthesized.
[0025]
As described above, there are various mapping methods at the time of image composition, and it is effective to select according to the type of subject and photographing conditions.
[0026]
FIG. 1 schematically shows a panoramic image composition method and apparatus according to this embodiment.
[0027]
In FIG. 1, reference numeral 701 denotes an image input unit for inputting an image used for composition. The image may be input by reading an image recorded on a recording medium (not shown), or an image held in a memory (not shown) or the like. In addition, a video signal obtained from an image sensor such as a digital camera may be digitized and input.
[0028]
Reference numeral 702 denotes a memory that holds various information such as image information and various parameters used for the composition processing.
[0029]
Reference numeral 703 denotes an MPU that controls the entire synthesis process and performs various arithmetic processes.
[0030]
A composite parameter generation unit 704 generates a composite image by generating a coordinate space conversion parameter indicating the positional relationship between adjacent images, or calculating a gradation conversion parameter and a joint position between adjacent images. Various synthesis parameters necessary for the generation are generated. The synthesis parameter generation unit 704 is connected to the memory 702 and the MPU 703, and information such as image data and various synthesis parameters is input to and output from the memory 702. The MPU 703 mainly inputs / outputs control information.
[0031]
Reference numeral 705 denotes an image synthesis conversion unit, which uses a coordinate conversion parameter corresponding to a given mapping method and a synthesis parameter such as a coordinate space conversion parameter generated by the synthesis parameter generation unit 704 to convert a plurality of images. Synthesize. Specifically, based on the control information from the MPU 703, the memory 702 is accessed to read various composite parameters such as image data and coordinate space conversion parameters, and a coordinate conversion process is performed to generate a composite image. . Further, the obtained composite image is written into the memory 702.
[0032]
Reference numeral 706 denotes a recording medium such as a floppy disk, which records a synthesized panoramic image.
[0033]
Reference numeral 707 denotes an operation unit that performs operations such as setting a focal length and selecting a mapping method. A specific operation may be performed on a GUI basis using a mouse or the like, or may be performed by directly inputting a command using a keyboard.
[0034]
Reference numeral 708 denotes a display unit for displaying a panorama synthesized image, a mapping-converted image, a GUI, or the like.
[0035]
Next, the operation of the panoramic image synthesis process of the first embodiment will be described.
[0036]
An image in which a part of adjacent images overlaps is input by the image input unit 701 and held in the memory 702. The input image can be selected from the candidate images displayed on the display unit 708 by an instruction from the operation unit 707. Alternatively, a set of panoramic images may be automatically selected and input based on the attributes of the image file.
[0037]
The shooting focal length f of the image used for the composition process is set by the operation unit 707. As a setting method, there are a method of inputting a value of a focal length, a method of selecting from a plurality of candidates, and the like. Further, when the photographing focal length is preset as the attribute of the image held in the memory, it is possible to use the value.
[0038]
When the image information and the photographing focal length are set, the synthesis parameter generation unit 704 executes a process for generating parameters for synthesizing adjacent images.
[0039]
FIG. 5 shows a synthesis parameter generation flow.
[0040]
In S501, two images to be used for the synthesis parameter setting are set. In S502, the corresponding points are extracted in the overlapping area between the two set images. For extracting the corresponding points, a known technique such as a template matching method or a cross-correlation method may be used.
[0041]
In order to improve processing efficiency, it is also effective to perform a hierarchical corresponding point extraction process by a known coarse-to-fine.
[0042]
  S503In, a coordinate space conversion parameter between images is calculated based on the extracted corresponding point information. An outline of coordinate space conversion parameter calculation will be shown using FIG. 6 as an example.
[0043]
  FIG. 6 shows an XZ cross section of Y = 0 in the pan photographing in FIG. Reference numerals 601 and 602 denote sensor surfaces corresponding to adjacent captured images. If the origin of the XYZ coordinates corresponding to the sensor surface 601 is O and the origin of the X′Y′Z ′ coordinates corresponding to the sensor surface 602 is O ′, the coordinate space conversion parameters are the coordinate system XYZ and the coordinate system X′Y′Z. It represents the relationship of '. S502Assuming that the corresponding points obtained by the corresponding point extraction process are point P and point P ′, the relationship between the two points is determined by the rotation parameter R and the translation parameter T in FIG.
P ′ = R · P + T (1)
It becomes. Here, R is a rotation matrix obtained by rotation components (θ, φ, ψ) around each axis, and is expressed as follows.
[0044]
[Outside 1]

[0045]
A composite matrix M of the rotation matrix R and the translation matrix T is expressed as follows.
[0046]
[Outside 2]

[0047]
The composite matrix M can be calculated using a nonlinear least square method or the like based on a plurality of pieces of corresponding point information obtained by the corresponding point extraction process. Other known techniques may be used as the parameter calculation method.
[0048]
Thus, by calculating the relationship between the coordinate system XYZ and the coordinate system X′Y′Z ′, for example, where is the point on the X′Y′Z ′ coordinate corresponding to P (x, y, z) It becomes a clue to know easily.
[0049]
Although a specific example will be described later, obtaining the synthesis matrix M as the coordinate space conversion parameter indicates the correspondence of each point between images, in other words, from two-dimensional image information arbitrarily input, It expresses the spatial positional relationship when shooting.
[0050]
Therefore, an appropriate composite image can be obtained by mapping these images onto an appropriate common plane.
[0051]
In S504, a correction parameter for matching the gradation between adjacent images is generated. The correction parameter generation method is adapted from the technique disclosed in Japanese Patent Laid-Open No. 09-321972.
[0052]
  In S505, the generated coordinatesspaceA joint position between adjacent images is set using a conversion parameter or a gradation correction parameter. The joint position is set using a difference or correlation value between pixels resampled based on the coordinate space conversion parameter.
[0053]
In step S506, it is determined whether all parameter generation between adjacent images has been completed. If not, the next two images to be combined are set again in step S501, and the combining operation is continued.
[0054]
If completed, a reference position for combining all images is set in S507.
[0055]
In S508, the already obtained coordinate space conversion parameter is converted based on the set reference position.
[0056]
Through the above processing, a synthesis parameter is generated at 704 in FIG. 1 and held in the memory 702.
[0057]
When the synthesis parameter is generated, a panorama composite image is generated by the mapping method selected by the image conversion unit 705. An outline of processing in the image conversion unit 705 will be described with reference to FIG.
[0058]
  FIG. 7 shows a case where a composite image is generated by cylindrical mapping conversion. In FIG. 7A, reference numeral 710 denotes a panoramic composite image by a cylindrical mapping. Here, an outline of the process in the image conversion unit 705 is shown by the process of generating the pixel Ik on 710. FIG. 7B schematically shows a relationship between the sensor surfaces 712 and 713 at each photographing position, and 711 shows the composite image 710 by a Y = Yk cross section. For the sake of simplicity, the translation component T described above is used.NoIt has become a figure.
[0059]
In FIG. 7B, when the point Ik (φk, Yk) on the surface 711 is coordinate-converted as a point P (x, y, z) of the XYZ coordinates, it can be expressed by the following equation.
[0060]
x = f · sin (φ_k)
y = Y_k               -(4)
z = f · cos (φ_k)
[0061]
  If the point P is represented by a point P ′ (x ′, y ′, z ′) in the X′Y′Z ′ coordinate system, the conversion between the point P and the point P ′ is generated by the synthesis parameter generation unit 704. formula(3) Coordinate space conversion parametersIs a composite matrixM may be used and can be expressed by the following equation.
[0062]
[Outside 3]

[0063]
Next, a coordinate P ″ on the sensor surface 713 corresponding to the point P ′ is obtained by the following equation.
[0064]
[Outside 4]

[0065]
By referring to the pixel at the coordinate (x ″, y ″) on the sensor surface 713 (z ″ = f), the value of the pixel Ik on the composite image 710 can be obtained from the above equation (6).
[0066]
By performing the above processing on each pixel of the composite image 710, a composite image subjected to cylindrical mapping conversion can be generated.
[0067]
The synthesized image is held in the memory 702 and displayed on the display unit 708. Further, it is recorded on the recording medium 706 as necessary.
[0068]
In the following, the change of the mapping method and the conversion process at this time will be described.
[0069]
In the operation unit 707, when the user selects an arbitrary mapping method and gives an instruction to change the mapping method, the MPU sets a coordinate conversion process corresponding to the selected mapping method, and the image is displayed in 705 by the same process as described above. Perform the conversion process.
[0070]
When the mapping method is changed, the coordinate conversion process using the above-described equation (4) is replaced with one corresponding to the selected new mapping method.
[0071]
For example, when it is changed to a planar mapping, each pixel of the composite image matches the coordinates of the sensor surface, so the coordinate conversion equation of the equation (4) corresponding to the pixel Ik (Xk, Yk) to be generated is as follows.
[0072]
x = X_k
y = Y_k      -(7)
z = f
[0073]
In the case of a spherical mapping, sampling is performed so that the horizontal and vertical directions have an equiangular pitch, so the coordinate transformation corresponding to the pixel Ik (Φk, θk) is given by
[0074]
x = f · cos (θ_k) Sin (φ_k)
y = f · cos (θ_k-(8)
z = f · cos (θ_k) Cos (φ_k)
[0075]
  Therefore, a coordinate space conversion parameter representing the relationship between imagesIs a composite matrixM is the same in any mapping method, and can be arbitrarily set by switching the coordinate conversion formulas (4), (7) and (8) according to the type of mapping selected. It is possible to obtain a composite image by mapping.
[0076]
Conventionally, every time the mapping method is changed, the coordinates of the corresponding points are substituted into the calculation formula based on the mapping method, and the composite parameter generation process is executed. Based on this, the coordinates of all pixels are converted. It was.
[0077]
On the other hand, in the panoramic image synthesis method of the present embodiment, first, the correspondence of each point between images is obtained as a coordinate space conversion parameter, and then the coordinate conversion processing is simply switched according to the mapping method. The synthesis process is completed. Therefore, at the time of switching the mapping method, it is only necessary to perform mapping conversion on the input image itself using the coordinate space conversion parameter already calculated and the coordinate conversion processing stored corresponding to each mapping method. Therefore, it is possible to obtain a synthesized image by various mapping methods very efficiently. In particular, the processing time when changing the mapping method can be greatly reduced. At the same time, since a conversion process is not performed on the synthesized image, a synthesized image with good image quality can be obtained.
[0078]
(Second embodiment)
The panoramic image synthesis process of the second embodiment has the following characteristics.
1) The reference position can be arbitrarily changed by the user, and the composite image is converted by the changed reference position.
2) The joint can be corrected.
3) It is possible to return to the previous synthesis result.
[0079]
The operation of the panoramic image synthesis method and apparatus having the above features will be described below. The overall configuration is the same as in FIG. Further, the process until a composite image is generated by a preset mapping method and displayed on the display unit is the same as that in the first embodiment, and thus the description thereof is omitted.
[0080]
The outline of the change of the reference position according to the present embodiment is shown in FIGS. FIG. 8A shows a case where the synthesis result is displayed by a planar mapping. The composite image 801 in FIG. 8 is a composite of images taken while tilting the building in the vertical direction. The upper part of the composite image is reduced to a trapezoidal shape. Reference numeral 802 denotes a reference position.
[0081]
FIG. 8B shows the relationship between the subject and the sensor surface at the time of shooting. Reference numeral 803 denotes a building of the subject, reference numerals 804 to 806 denote sensor surfaces in various states taken while tilting, reference numeral 807 denotes a projection plane representing a composite image, and reference numeral 808 denotes a reference position of the composite image.
[0082]
To change the reference position, the reference position 802 in FIG. 8A is moved by the operation unit 707 in FIG. 1 with a mouse or the like. For the movement of the reference position, the coordinates of the movement destination can be designated with the keyboard, or may be moved with an arrow key or the like.
[0083]
The changed position is sent to the MPU 703. The MPU 703 outputs the movement information to the image conversion unit 705. The image conversion unit 705 generates a correction matrix M ′ for correcting the composite image based on the movement information.
[0084]
  In the image converter, the coordinate space conversion parameters for all imagesIs a composite matrixM by M ’
M2 = M · M ′ (9)
To generate a matrix M2 for composite conversion.
[0085]
Thereafter, a composite image is generated using the selected mapping method in the same manner as in the first embodiment, stored in the memory 702, and displayed on the display unit 708.
[0086]
FIG. 9A shows the result of moving the reference position and converting the composite image. Reference numeral 901 denotes a composite image, and reference numeral 902 denotes a current reference position.
[0087]
FIG. 9B shows the relationship between the subject and the sensor surface.
[0088]
The reference position is moved to 908, and a composite image is generated using the projection plane 907 of the composite image set based on the reference position.
[0089]
Since the projection plane 907 is parallel to the side surface 909 of the subject, a composite image 901 without distortion can be obtained.
[0090]
Conventionally, it is possible to arbitrarily set a reference plane corresponding to the projection planes 807 and 907 and form a composite image in this plane. However, even in this case, the composite parameter is changed along with the change of the reference plane. It was necessary to redo the calculation from the beginning and it was not easy to use.
[0091]
However, in this application, since the coordinate space change parameter corresponding to the reference position is simply applied to the already calculated coordinate space conversion parameter, the usability is greatly improved. Then, it becomes possible to set the reference position for generating the composite image to a position intended by the user, and it is possible to flexibly cope with geometric correction such as tilt correction.
[0092]
Next, the joint correction process will be described. FIG. 10A shows images 101 and 102 that are captured so that parts of the images overlap. FIG. 10B is a composite image obtained by combining the image 101 and the image 102. In the composite image 103, a dotted line represents the joint position.
[0093]
In the composite image 103, there is a shift in the image near the joint. When the above-described shift occurs in the composite image, the panoramic image composition method and apparatus according to the present embodiment can cope with the correction processing shown in FIGS. 11 (a) and 11 (b).
[0094]
In FIG. 11A, the two images 101 and 102 imaged by the operation unit 707 in FIG. 1 are moved and aligned so that the overlapping portions of the two images are substantially matched. The aligned information is provided to the MPU 703, and the MPU 703 provides the alignment information to the synthesis parameter generation unit 704, thereby using it as information for corresponding point extraction processing in the synthesis parameter generation unit.
[0095]
In the synthesis parameter generation unit, corresponding points can be extracted from a state where a certain degree of alignment has been performed in advance, so that it is possible to improve extraction accuracy and reliability.
[0096]
In FIG. 11B, the points on the subject of the captured images 101 and 102 are directly set as corresponding points by the operation unit 707 in FIG. In FIG. 11B, point 112A-point 112B and point 113A-point 113B are set as corresponding point pairs.
[0097]
The MPU 703 acquires the information on the corresponding point pair and provides it to the synthesis parameter generation unit 704.
[0098]
In the synthesis parameter generation unit 704, the coordinate space conversion parameter can be estimated using the acquired information of the corresponding point pair. In addition, since the acquired corresponding point pair is manually aligned, template matching or cross-correlation processing is executed only in the vicinity of the corresponding point pair to improve the accuracy of the corresponding point pair and to estimate the coordinate transformation parameters. It may be used.
[0099]
FIG. 11C shows a composite image 114 after correction. Compared with the image 103, the alignment of the joints is smooth. This correction process can be repeatedly executed until a result desired by the user is obtained.
[0100]
There is no problem when the resultant composite image is improved as a result of the above-described mapping method change processing and joint correction processing, but in some cases, the result before correction may be preferable. In order to deal with such a case, in the panoramic image synthesis method according to the present embodiment, each time a composite image is generated, the memory 702 stores the composite parameters and the image information of the composite result until all the composite processing is completed. Hold on.
[0101]
For example, with the synthesis result 103 shown in FIG. 10B as the first synthesis result, the synthesis counter is set to Cs1 = 1 and Cs2 = 1, and various synthesis parameters and synthesized images correspond to the synthesis counter Cs1 = 1 and Cs2 = 1. At the specified memory location. Here, Cs1 is a counter that increases by 1 each time the change / correction process is repeated. Cs2 returns to the previous state from the current state, and then a new change / correction process is performed. It is a counter that increases by one when it is broken.
[0102]
Next, when the composite image 114 is obtained by the change / correction process, the composite counter is set to Cs1 = 2 and Cs2 = 1, and the composite parameter and the composite image are stored in the memory locations corresponding to the composite counter Cs1 = 2 and Cs2 = 1. Hold on.
[0103]
  Furthermore, by change / correction processingAs shown in FIG.When the composite image 120 is obtained, the composite counter is set to Cs1 = 3 and Cs2 = 1, and the composite parameter and the composite image are held in memory locations corresponding to the composite counter Cs1 = 3 and Cs2 = 1.
[0104]
Here, when the user performs a “return” operation using the operation unit 707, Cs1 is decremented by 1 from the current position and Cv1 = 2 is set, and synthesis parameters and synthesis results corresponding to synthesis counters Cs1 = 2 and Cs2 = 1. The image is read from the memory 702, the composite image is displayed on the display unit 708, and the read parameter is replaced with the current parameter.
[0105]
At this time, the composite image 131 of FIG. 13 is displayed. When the change / correction processing is performed, the Cs counter is advanced by one, the synthesis counter is set to Cs1 = 2 and Cs2 = 2, and the synthesis parameters and the synthesized image are synthesized counters Cs1 = 2 and Cs2 = 2. Is held at the memory location corresponding to. In this state, the composite image 133 in FIG. 13 is displayed.
[0106]
When further correction is made, the composite image 134 is displayed, and the composite counter becomes Cs1 = 2 and Cs2 = 3.
[0107]
By executing the above processing in the MPU 703 and the memory 702, all the images generated by the change / modification are stored in the memory, so that the user can easily change to the state of any composite image generated so far. It is possible to migrate.
[0108]
In the operation unit 707, the “return” direction is designated by the left arrow (←) and the right arrow (→).
[0109]
However, it goes without saying that other known methods can be used as the direction designation method.
[0110]
For example, by inputting the values of the counters Cs1 and Cs2, it is possible to shift to any composite image generated so far.
[0111]
Furthermore, in the above case, the composite parameter and composite image are held, but if the composite image is large or large, there is a possibility that the memory capacity will be compressed. It is also effective to use a method of generating sequentially using synthesis parameters.
[0112]
According to the panoramic image synthesizing method and apparatus of the present embodiment, it is possible to flexibly correct the tilt and the like of the synthesized image, and it is possible to efficiently perform the correction work.
[0113]
The above embodiment can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.) or to an apparatus composed of a single device (for example, a copier, a facsimile machine). May be.
[0114]
In addition, a software program code for realizing the functions of the embodiment is provided in a computer in an apparatus or a system connected to the various devices so as to operate the various devices so as to realize the functions of the above-described embodiments. What is implemented by operating the various devices in accordance with a program stored in the computer (CPU or MPU) of the system or apparatus supplied is also included in the scope of the present invention.
[0115]
In this case, the software program code itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code are stored. The storage medium constitutes the present invention.
[0116]
As a storage medium for storing the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0117]
The computer not only realizes the functions of the above-described embodiments by executing the supplied program code, but also the OS (operating system) or other application in which the program code is running on the computer. It goes without saying that such program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with software or the like.
[0118]
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function storage unit based on the instruction of the program code However, it is needless to say that the present invention also includes a case where the function of the above-described embodiment is realized by performing part or all of the actual processing.
[0119]
【The invention's effect】
  As described above, according to the invention according to the present application, at the time of switching the mapping method, the coordinate space conversion parameter already calculated and the coordinate conversion processing stored corresponding to each mapping method are used, and the input image is used. It is only necessary to perform mapping conversion on itself, that is, it is not necessary to calculate a new parameter, so that it is possible to obtain composite images by various mapping methods very efficiently. In particular, the processing time when changing the mapping method can be greatly reduced. At the same time, since a conversion process is not performed on the synthesized image, a synthesized image with good image quality can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram of panoramic image synthesis processing.
FIG. 2 is a schematic diagram of panoramic shooting.
FIG. 3 is a schematic diagram of map conversion.
FIG. 4 is a diagram illustrating a mapping method.
FIG. 5 is a flowchart of a synthesis parameter generation process.
FIG. 6 is a schematic diagram of a composite conversion process.
FIG. 7 is an explanatory diagram of image composition.
FIG. 8 is a schematic diagram of image conversion.
FIG. 9 is a schematic diagram of image conversion.
FIG. 10 is a schematic diagram of a captured image.
FIG. 11 is a schematic diagram of correction processing.
FIG. 12 is a schematic diagram of a composite image.
FIG. 13 is a schematic diagram of a processing sequence.
[Explanation of symbols]
701 Image input unit
702 memory
703 MPU
704 Synthesis parameter generator
705 Image composition conversion unit
706 Recording medium
707 operation unit
708 display

Claims (6)

Image input means for inputting a plurality of images in which an overlapping region exists between at least two images;
Parameter generating means for generating a coordinate space conversion parameter obtained from a positional relationship between adjacent images among the plurality of images;
Holding means for holding the coordinate space conversion parameter in a memory;
Switching means for switching the mapping method among a plurality of mapping methods in response to a user operation;
Corresponding to the switched mapping method, changing means for changing a coordinate conversion formula used when combining the plurality of images,
An image synthesizing apparatus comprising: an image synthesizing unit that synthesizes the plurality of images using a coordinate space transformation parameter held in advance in the memory and the changed coordinate transformation equation. 2. The parameter generation unit includes a setting unit that arbitrarily sets a reference position for combining the plurality of images, and generates the coordinate space conversion parameter according to the reference position. The image composition apparatus described.   The image synthesizing apparatus according to claim 1, wherein the parameter generation unit further generates a gradation correction parameter for matching the gradations of the adjacent images.   The image synthesizing apparatus according to any one of claims 1 to 3, further comprising a joint position setting unit that sets a joint position between the adjacent images using the coordinate space conversion parameter. An image input step of inputting a plurality of images in which an overlap region exists between at least two images;
A parameter generation step of generating a coordinate space conversion parameter obtained from a positional relationship between adjacent images among the plurality of images;
A holding step of holding the coordinate space conversion parameter in a memory;
A switching step of switching a mapping method among a plurality of mapping methods in response to a user operation;
Corresponding to the switched mapping method, a change step of changing a coordinate conversion formula used when combining the plurality of images,
An image synthesizing method comprising: an image synthesizing step of synthesizing the plurality of images using a coordinate space transformation parameter held in advance in the memory and the changed coordinate transformation equation. An image input step of inputting a plurality of images in which an overlap region exists between at least two images;
A parameter generation step of generating a coordinate space conversion parameter obtained from a positional relationship between adjacent images among the plurality of images;
A holding step of holding the coordinate space conversion parameter in a memory;
A switching step of switching a mapping method among a plurality of mapping methods in response to a user operation;
Corresponding to the switched mapping method, a change step of changing a coordinate conversion formula used when combining the plurality of images,
An image synthesizing method comprising: an image synthesizing step of synthesizing the plurality of images using a coordinate space transformation parameter stored in advance in the memory and the changed coordinate transformation equation. A storage medium storing a program for reading in a computer-readable manner.

Images