JP2008252934A - カメラ装置及び画像処理方法 - Google Patents

Abstract

【課題】デジタルカメラ等で、隣り合う画像を適当量オーバーラップさせた分割撮影を容易にできるようにする。
【解決手段】視野に入った画像をモニタするためのモニタ画面２７ａ上に、現在の画像ＡＢＣＤと、直前に撮影された画像Ａ’Ｂ’Ｃ’Ｄ’との相対位置関係を確認できるように、該相対位置関係に対応する方向及び量だけ、モニタ画面に表示されている画像に対して移動させた画像枠のイメージ５２を表示する。
【選択図】図３

Description

本発明は、視野に入った画像をモニタするためのモニタ手段、撮影された画像を電子的に記録する機能を備えたカメラ装置及びその画像処理方法に関する。

デジタルカメラやビデオカメラで十分な解像度を得ようとすると、ズームアップするか被写体に近づくかである。しかし、これでは狭い範囲しか撮影できない。より広い範囲を撮影するには、逆にズームダウンするか被写体から離れなければならないが、これでは高い解像度は得られない。

この相矛盾する要求をかなえるには、被写体を複数の画像に分割撮影し、撮影された複数の画像を貼り合わせるしかない。この分割撮影では、隣り合う画像を部分的にオーバーラップさせる必要がある。隣り合う画像のオーバーラップ領域についてマッチング演算を行って両画像に共通のパターンを見つけ、共通パターンを重ね合わせるように両画像の位置関係を調整することにより、両画像を一続きの画像に貼り合わせることができる。このような複数の画像を貼り合わせる機能を持つ画像処理装置の例は特許文献１に見られる。

また、特許文献２には、図１２に示すように、ビューファインダの画面を４つの領域９００，９０２，９０４，９０６に分割し、領域９００に最初に撮影し記録した画像１を縮小表示し、領域９０２に２枚目の撮影画像２を縮小表示し、画像１、２が連続するようなカメラ角度での画像２を記録し、次に領域９０３に３枚目の撮影画像３を縮小表示し、画像１、３が連続するようなカメラ角度での画像３を記録し、次に領域９０４に４枚目の撮影画像４を縮小表示し、画像２、４が連続するようなカメラ角度での画像４を記録し、また各画像間の重複領域での差分値のインジケータ９０５をビューファインダに表示する構成のデジタル電子スチルカメラが開示されている。

実公平８−４７８３号公報 特開平５−１６１０５０号公報

分割撮影の場合、隣り合う画像を部分的にオーバーラップさせる必要がある。しかし、従来の普通のデジタルカメラ等は、補助機器を利用しない限り、隣接画像を適当量だけオーバーラップさせて分割撮影をすることは、一般的なユーザには容易でない。隣り合う画像にオーバーラップ領域がなく、貼り合わせた画像に切れ目が生じてしまったり、それを恐れるあまり、逆にオーバーラップ量が必要以上に大きくなってしまったりすることがある。オーバーラップ量が大きすぎると、共通パターンの探索範囲が広がり、そのマッチング演算のための処理時間が長くなり、また、探索範囲が広がれば類似パターンに出会う確率も高くなるので、共通パターンの検出エラーも生じやすい。

特許文献２に記載されたカメラによれば、補助機器を利用することなく、パノラマ画像の分割撮影が可能である。しかし、ビューファインダ画面上の縮小画像が表示される領域が予め固定されている関係から、分割画像の接続方向と分割数が固定されてしまう。図１２に示すような画面分割の場合には、分割画像の接続方向は上下左右に固定され、分割数は４に固定されてしまう。

よって、本発明の目的は、一般的なユーザでも、補助機器を利用することなく、隣接画像を適当量だけオーバーラップさせた分割撮影を容易に行うことができ、かつ、分割画像の接続方向や分割数が制限されないデジタルカメラ等のカメラ装置及びその画像処理方法を提供することにある。本発明のもう一つの目的は、貼り合わせ合成を容易にするための付加情報を持つ分割撮影画像が得られるカメラ装置及びその画像処理方法を提供することにある。

本発明は、視野に入った画像をモニタするためのモニタ手段、撮影された画像を記録媒体に電子的に記録する機能を有するカメラ装置において、モニタ手段に表示されている画像と直前に撮影された画像との相対位置関係を示すイメージを、該カメラ装置の視野入った画像と一緒に前記モニタ手段に表示させる機能を備えることを主要な特徴とする。一実施形態では、モニタ手段に表示されている画像と直前に撮影されて記録された画像との相対位置関係を検出する手段と、該検出された相対位置関係を示すイメージを、カメラ装置の視野に入った画像と一緒にモニタ手段に表示せしめる手段を具備する。

相対位置関係の検出は、例えば、直前に撮影されて記録された画像とモニタ手段に表示されている画像とのマッチング演算により両画像の共通パターンを見つけ、その共通パターン間の相対位置関係を求めることによって行われる。あるいは、カメラ装置の光軸の方位を検知するための方位センサを用い、直前の画像について検知された方位と、モニタ手段に表示されている画像について方位センサにより検知された現在の方位とから相対位置関係が求められる。

相対位置関係を示すイメージとしては、モニタ手段に表示されている画像を基準にした、直前に撮影されて記録された画像の移動ベクトルを示すイメージ、あるいは、相対位置関係に対応する方向及び量だけ、モニタ手段に表示されている画像に対して移動させた画像枠を示すイメージが用いられるが、本発明では、後者の画像枠を示すイメージを用いるとする。

また、本発明のカメラ装置においては、分割撮影された画像の貼り合わせ合成を容易にするため、記録媒体に記録する画像に、直前の撮影操作により撮影された画像との相対位置関係を表す情報、あるいは、当該画像について方位センサにより検出された方位の情報が付加される。

本発明のカメラ装置によれば、モニタ装置の表示によって現在の視野内の画像と直前に撮影された画像との相対位置関係もしくはオーバーラップ量を容易に確認することができ、したがって、一般的なユーザでも、格別な補助機器を使用することなく、隣り合う画像を適当量だけオーバーラップさせた分割撮影を容易、確実に行うことができる。画像間の相対位置関係を画像データから検出することにより、カメラ装置の回転と移動がある場合でも、画像間の相対位置関係を確実に検出し、画像間のオーバーラップを確実に確認して分割撮影を行うことができる。また、分割撮影の際に画像の接続方向と分割数を任意に選ぶことができ、自由度の高い分割撮影が可能である。また、撮影画像は直前の画像との相対位置関係又は撮影時の方位の情報を付加されて記録され、この付加情報を撮影画像の貼り合わせ合成の際に利用することにより、合成処理を簡単化できるとともに貼り合わせ合成位置の誤りを減らすことができる、等々の効果を得られる。

図１は、本発明の第１の実施例によるデジタルカメラの概略ブロック図である。図１において、１０はレンズ等の光学系である。この光学系１０には、その視野に入った画像を電気信号に変換するためのＣＣＤ等の撮像装置１２、不図示のズーム機構等の機構も含まれる。このズーム機構等は機構駆動系１４によって駆動される。１６は当該デジタルカメラの操作部であり、これにはモード切替スイッチ１８、シャッタースイッチ２０、その他各種の操作スイッチが設けられている。

２４はビデオ制御系、２６は液晶表示装置等のモニタ装置である。撮影時には、撮像装置１２に結像され電気信号に変換された画像は、ビデオ制御系２４を介してモニタ装置２７へ送られ、その画面２７ａに表示される。ビデオ制御系２４は、撮像装置１２より出力された画像信号をデジタルデータに変換して１フレーム分蓄積するためのフレームメモリ２５に加え、モニタ装置２７の画面２７ａに画像と一緒に表示させるためのモード情報その他を記憶するためのフレームメモリ２６が含まれている。この２つのフレームメモリ２５，２６上のデータは合成されてモニタ装置２７の画面２７ａに表示される。

２８は撮影画像を電子的に記録するための画像記憶装置である。この画像記憶装置２８としては、例えば、フラッシュメモリのような半導体メモリからなる記録媒体、あるいはフロッピーディスクやＭＤ（ミニディスク）といった記録媒体等が用いられる。

３０は上記各部の制御並びに画像データのマッチング演算等の処理を行うプロセッサである。このプロセッサ３０は、プログラム制御方式の演算制御部３２、この演算制御部３２を制御するための各種プログラム３４ａ〜３４ｎや文字フォント等の固定情報を格納するＲＯＭ３３、演算制御部３２のワークメモリとして利用されるＲＡＭ３６等から構成される。以上に述べた部分のほかに、動作電力を供給するためのバッテリー回路、外部のコンピュータ等と接続するためのインターフェース回路等もあるが、図示されていない。

このデジタルカメラは、操作部１６のモード切替スイッチ１８を操作することにより、動作モードを通常モード、分割撮影モード等の複数のモードに切り替えることができる。通常モードでは、モニタ装置２７の画面２７ａで視野に入った画像を確認してシャッタースイッチ２０を操作することにより、１枚１枚独立した画像を撮影し画像記憶装置２８に保存することができる。分割撮影モードは、パノラマ画像や高解像度画像等の合成のための複数の画像を連続的に撮影するモードである。この分割撮影モードが本発明に直接関係するモードであるので、以下この分割撮影モードに関して、当該デジタルカメラの動作を説明する。

分割撮影モードに切り替えられると、ＲＯＭ３３上の特定のプログラム３４ｉが起動され、分割撮影モードに固有の処理／制御がプロセッサ３０により実行される。このプログラム３４ｉの処理フローの一例を図２に示す。

ユーザは、まず１枚目の撮影のため、デジタルカメラで分割撮影をしたい被写体もしくはシーンを狙う。撮像装置１２によって撮像された画像のデータはビデオ制御系２４のフレームメモリ２５に逐次蓄積され、モニタ装置２７の画面２７ａに表示される。ユーザは、モニタ装置２７の画面２７ａで画像を確認してシャッタースイッチ２０を操作する。この操作（撮影操作）により操作部１６からシャッター操作信号が送出される。このシャッター操作信号に応答して、演算制御部３２はビデオ制御部２４のフレームメモリ２５内の画像のデータを画像記憶装置２８に転送し格納させる。この画像データの格納操作は、シャッター操作信号の発生により起動されるＲＯＭ３３内の別のプログラム３４ｎに従って制御される。画像記憶装置２８に格納されるのはモニタ装置２７の画面２７ａに表示された画像全体のデータではなく、モニタ画面２７ａの枠２７ｂの内側領域（撮影画像領域）に表示された画像部分のデータだけである。また、格納時に画像データに分割撮影の１枚目の画像であることを示すタグ情報が付加される。画像データは格納の際に圧縮を施されてもよいし、非圧縮のまま格納されてもよい。この画像データの格納操作の期間は、フレームメモリ２５の書き替えは禁止されるので、画面表示は変化しない。その終了後、再びフレームメモリ２５の書き替えが行われるため、その時点にデジタルカメラの視野に入った画像が表示されるようになる。

プログラム３４ｎの処理フローの一例を図７に示す。図７において、ステップＳ５００はフレームメモリ２５の書き替えを抑止する処理ステップである。ステップＳ５０２は、フレームメモリ２６内の画像データを、タグ情報その他の付加情報（後述の移動ベクトル又はカメラ方位）を付加して画像記憶装置２８に格納する処理ステップである。ステップＳ５０４は、フレームメモリ２６の書き替え抑止を解除するステップである。

ユーザは、１枚目の撮影を終了すると、希望する方向（左右上下斜め）にデジタルカメラをパンし、モニタ装置２７の画面２７ａで画像を確認しつつ、１枚目の画像と適当量だけオーバーラップするような画像が撮影される方位でパンを止め、シャッタースイッチ２０を操作し、２枚目の画像を撮影し保存する。次に２枚目の画像と適当量だけオーバーラップするようにパンして３枚目の画像を撮影し保存する。以下同様の操作により、広い範囲を複数の画像に分割して撮影する。このデジタルカメラによれば、後述のように、分割撮影の際に、直前に撮影した画像と現在の視野内の画像との相対位置関係もしくはオーバーラップ関係をモニタ画面２７ａ上で確認することにより、容易に隣り合う画像を適当量だけオーバーラップさせることができる。

さて、演算制御部３２は、プログラム３４ｉに従って、１枚目の画像データの格納操作の終了を待つ（ステップＳ１００）。その終了を確認すると、演算制御部３２は、直前に撮影された画像（ここでは１枚目の画像）のデータを画像記憶装置２８より読み出し、その一部（全部でも可）をマッチング演算のテンプレートとしてＲＡＭ３６に格納する（ステップＳ１０４）。そして、モニタ画面２７ａの枠２７ｂ内に現在表示されている画像のデータ（フレームメモリ２５上に蓄積されている）と、テンプレートとのマッチング演算を行い、最もよく類似する部分を共通パターンとして検出し、テンプレート上の共通パターンの中心の座標値を（Ｉ，Ｊ）、現在画像上の共通パターンの中心の座標値を（Ｉｍ，Ｊｍ）とする（ステップＳ１０６）。そして、現在の画像を基準にした直前画像の移動ベクトルＶ’(I-Im，J-Jm)を定義し、ビデオ制御系２４のフレームメモリ２６をクリアした後、このフレームメモリ２６に、移動ベクトルＶ’を示すイメージを書き込む（ステップＳ１０８）。なお、ステップＳ１０６のマッチング演算は、画像のカラー情報を使って行ってもよいが、本実施例では、演算量を減らすため輝度情報のみを使って行う。

パンが止まるか、シャッター操作（撮影操作）がなされるまで、ステップＳ１０６，Ｓ１０８のループが繰り返される。２回目以降では、すでにテンプレート上の最大類似度の部分の中心座標値（Ｉ，Ｊ）と移動ベクトルの方向つまりパンの方向が分かっているため、ステップＳ１０６では、その方向について集中的に現在画像を調べることにより、最大類似度の部分を容易に見つけ、その中心の座標値（Ｉｍ，Ｊｍ）を検出することができる。

ユーザは、モニタ画面２７ａ上の移動ベクトルのイメージを参考にして、直前の画像と適当量だけオーバーラップした画像が視野に入ったことを確認すると、パンを止めてシャッタースイッチ２０を操作する。演算制御部３２は、ステップＳ１０６，Ｓ１０８のループを実行する度に、今回の移動ベクトルと前回の移動ベクトル（内部レジスタ又はＲＡＭ３６に保存されている）とを比較することによりパンの停止をチッェクし、またシャッター操作信号の有無をチェツクする（ステップＳ１１０）。今回の移動ベクトルと前回の移動ベクトルの差がある閾値を超えると判断したとき、及びシャッター操作信号が入力していないと判断したときには、ステップＳ１０６，Ｓ１０８のループの処理に戻る。移動ベクトルの差が閾値以下でパンが終わったと判断したとき、及びシャッター操作信号が入力したと判断したときには、演算制御部３２は、直前に求められた移動ベクトルＶに相当する方向及び量だけ枠２７ｂ（現在の画像の枠に相当）をずらした画像フレームイメージをフレームメモリ２６に書き込む（ステップＳ１１２）。この際、直前に書き込まれた移動ベクトルのイメージをそのまま残してもよいし、予め消去してもよい。画像フレームイメージとしては、例えば、画像枠だけのイメージ、あるいは、枠の内部を彩色したイメージが用いられる。この画像フレームイメージがモニタ画面２７ａに表示されることにより、ユーザーは、今回の撮影画像と前回の撮影画像とのオーバーラップ量をより直接的に確認できる。このイメージの表示後、ステップＳ１００に戻り、今回撮影の画像データの画像記憶装置２８への格納の終了を待つ。この画像のデータの格納の際に、何枚目の画像であるかを示すタグ情報と、その移動ベクトルＶが付加される。このタグ情報と移動ベクトルは、分割撮影された画像の貼り合わせ合成を容易にするために付加される。

右方向へ水平にパンして分割撮影を行う場合のモニタ画面２７ａの表示例を図３に示す。図３（ａ）はパンの途中の画面であり、長方形Ａ’Ｂ’Ｃ’Ｄ’は直前に撮影された画像の枠を表し、これは現在の画像ＡＢＣＤに対し移動ベクトルＶ’だけ左にずれている。直前の画像そのものはモニタ画面２７ａには表示されないが、移動ベクトルＶを表す矢線イメージ５０がモニタ画面２７ａに表示されるため、両者の相対位置関係もしくはオーバーラップ関係を容易に推測できる。図３（ｂ）はパンを停止しシャッタースイッチ２０を操作する時点での画面を表している。移動ベクトルＶの方向及び量だけ枠２７ｂを移動させた画像の枠又は内部を彩色した枠に相当する画像フレームイメージ５２が表示される。長方形領域ＡＢＣ’Ｄ’が直前画像とのオーバーラップ領域である。したがって、ユーザは、直前の撮影画像と今回の撮影画像とのオーバーラップ量を、より直接的に確認できる。最終的な移動ベクトルＶを表す矢線イメージ５０は、そのまま表示されるか、あるいは消去される。

図４は、分割撮影モードの処理／制御プログラム３４ｉの処理フローの別の例を示す。ステップＳ２００，Ｓ２０４，Ｓ２０６は図２中のステップＳ１００，Ｓ１０４，Ｓ１０６にそれぞれ対応し、全く同じ内容の処理ステップである。ステップＳ２０８では、図２中のステップＳ１０８と同様に移動ベクトルを求めるが、ステップＳ１０８と異なり、移動ベクトルを表すイメージではなく、図２中のステップＳ１１２と同様に、移動ベクトルに相当する方向及び量だけ移動させた画像フレームイメージをフレームメモリ２６に書き込み、モニタ画面２７ａに表示させる。ステップＳ２１０は図２中のステップＳ１１０と同じ判定を行うステップであり、このステップでパンが終了したか、シャッタースイッチ２０が操作されたと判断されない限り、ステップＳ２０６，Ｓ２０８のループが繰り返される。パンが終了したか、シャッタースイッチ２０が操作されたと判断されると、ステップＳ２００に戻り、今回の撮影画像のデータの画像記憶装置２８への格納の完了を待つ。

この例では、撮影の各時点で、現在の画像と直前に撮影された画像とのオーバーラップ量をモニタ画面２７ａ上で直接的に確認することができる。このような処理／制御の場合、図２に関連して述べた処理／制御の場合に比べ、画像のオーバーラップ量の確認がより容易になるという利点がある。ただし、画像フレームイメージが常時表示され、これが現在の画像の確認に邪魔になる恐れがあるため、表示する画像フレームイメージの色、濃度等を現在画像の確認の妨げにならないよう適切に選ぶ必要がある。

本発明の第２の実施例によるデジタルカメラは、図１に破線で示すように、光学系１０の光軸の方位つまり撮影方位を検知するための方位センサ４０を内蔵又は外付で備える。この方位センサ４０としては、例えば地磁気と重力加速度を利用する形式の３次元方位センサが用いられるが、これに限られるものではない。これ以外の構成は図１に示す通りである。この第２の実施例によるデジタルカメラの分割撮影モード時の動作を、以下に説明する。

分割撮影モードに切り替えられると、ＲＯＭ３３上の特定のプログラム３４ｉが起動され、分割撮影モードに固有の処理／制御がプロセッサ３０により実行される。このプログラム３４ｉの処理フローの一例を図５に示し、説明する。

ユーザは、まず１枚目の撮影のため、デジタルカメラで分割撮影をしたい被写体もしくはシーンを狙いシャッタースイッチ２０を操作する。この操作により操作部１６からシャッター操作信号が送出されると、演算制御部３２は、その時の方位のデータを方位センサ４０から読み取って、内部のレジスタ又はＲＡＭ３６に記憶するとともに、モニタ画面２７ａの枠２７ｂ内の画像のデータをフレームメモリ２５から切り出し、読み取った方位のデータと１枚目の画像であることを示すタグ情報を付加して画像記憶装置２８に格納する。この画像データの格納操作は、ＲＯＭ３３内の別のプログラム３４nに従って制御される。シャッター操作信号が発生してから、画像データの格納が終わるまでの間、フレームメモリ２５の書き替えは禁止される。その終了後は、再びフレームメモリ２５の書き替えが行われる。ユーザは、希望する方向（左右上下）にデジタルカメラをパンし、モニタ画面２７ａで画像を確認しつつ、１枚目の画像と適当量だけオーバーラップするような画像が撮影される方位でパンを止め、シャッタースイッチ２０を操作し、２枚目の画像を撮影する。以下同様の操作により分割撮影を行う。２枚目以降の画像のデータも、その貼り合わせ合成を容易にするため、何枚目の画像であるかを示すタグ情報と、その撮影時のカメラ方位のデータを付加されて画像記憶装置２８に格納される。

さて、演算制御部３２は、プログラム３４ｉに従って、１枚目の画像データの格納操作の終了を待つ（ステップＳ３００）。その終了を確認すると、演算制御部３２は、その時の方位ＤＲｍのデータを方位センサ４０から読み取り（ステップＳ３０４）、それと直前の画像（ここでは１枚目の画像）の撮影時の方位ＤＲのデータ（演算制御部３２の内部レジスタ又はＲＡＭ３６に記憶されている）とから、現在の画像を基準にして直前に撮影された画像の移動ベクトルＶ’を求める（ステップＳ３０６）。そして、ビデオ制御系２４のフレームメモリ２６をクリアした後、このフレームメモリ２６に、移動ベクトルＶ’を示すイメージを書き込む（ステップＳ３０８）。このイメージは、右へ水平にパンした場合、例えば図３（ａ）に示す矢線イメージ５０のようなものである。パンが止まるか、シャッター操作がなされるまで、ステップＳ３０４，Ｓ３０６，Ｓ３０８のループが繰り返される。

ユーザは、モニタ画面２７ａで適当な画像が視野に入ったことを認すると、パンを止めてシャッタースイッチ２０を操作する。演算制御部３２は、ステップＳ３０８の今回の実行で得られた移動ベクトルと前回の実行で得られた移動ベクトル（内部レジスタ又はＲＡＭ３６に保存されている）との差を調べることにより、パンの停止をチッェクし、またシャッター操作信号の有無をチェツクする（ステップＳ３１０）。前後の移動ベクトルの差がある閾値を超えると判断したとき、及びシャッター操作信号が入力していないと判断したときには、ステップＳ３０４，Ｓ３０６，Ｓ３０８のループの処理に戻る。

移動ベクトルの差が閾値以下でパンが停止したと判断したとき、及びシャッター操作信号が入力したと判断したときには、演算制御部３２は、直前に求められた移動ベクトルＶに相当する方向及び量だけ枠２７ｂを移動した画像枠を表す画像フレームイメージ（例えば図３（ｂ）に示した枠だけ又は枠の内部を彩色したイメージ５２のようなイメージ）をフレームメモリ２６に書き込む（ステップＳ３１２）。この際、直前に書き込まれた移動ベクトルのイメージをそのまま残してもよいし、消去してもよい。この画像フレームイメージがモニタ画面２７ａに表示されることにより、ユーザーは今回の撮影画像と前回の撮影画像とのオーバーラップ量をより直接的に確認できる。このイメージ表示の後、ステップＳ３００に戻り、今回撮影の画像データの画像記憶装置２８への格納の終了を待つ。

第２実施例における分割撮影モードの処理／制御プログラム３４ｉの処理フローの別の例を図６に示し、説明する。ステップＳ４００，Ｓ４０４，Ｓ４０６は図５中のステップＳ３００，Ｓ３０４，Ｓ３０６にそれぞれ対応し、全く同じ内容の処理ステップである。ステップＳ４０８では、図５中のステップＳ３１２と同様に直前に求められた移動ベクトルに相当する方向及び量だけ枠２７ｂを移動させたに画像フレームイメージ（図３（ｂ）に示したイメージ５２のようなイメージ）をフレームメモリ２６に書き込み、モニタ画面２７ａに表示させる。ステップＳ４１０は図５中のステップＳ３１０と同じ判定を行うステップであり、このステップでパンが終了したか、シャッタースイッチ２０が操作されたと判断されない限り、ステップＳ４０４，Ｓ４０６，Ｓ４０８のループが繰り返される。パンが終了したか、シャッタースイッチ２０が操作されたと判断されると、ステップＳ４００に戻り、今回撮影画像のデータの画像記憶装置２８への格納の完了を待つ。

各実施例に関連して説明したように、前回の撮影画像と現在視野の画像との相対位置関係を移動ベクトルや画像フレームなどのイメージとして表示するため（本発明では画像フレームを表示）、前記特許文献２に記載の従来技術と異なり、画像の接続方向と分割数を任意に選んで分割撮影を行うことができる。例えば、図１０に示すように画像８００〜８０４が曲線的に接続するような分割撮影も可能であり、撮影の自由度が飛躍的に向上する。

また、カメラを三脚などに固定するならばともかく、カメラの運動として光学中心周りの回転以外の動きも考慮しなければならない。このようなカメラの動きを前提とした場合、特に撮影対象とカメラの距離が近い場合に、画像データから画像間の相対位置関係（移動ベクトル）を検出する方法は、角度センサなどを利用する方法に比べ有利である。これについて図１１を参照して説明する。

図１１の各図は、撮影対象とカメラを上から見たときに、カメラの動きと視野の移動の関係を表している。カメラを右に回転させると、図１１（ａ）に示すように視野（←→）は撮影対象の右側へ移動する。また、カメラの方向を固定したままでも、カメラを右に移動させると、図１１（ｂ）に示すように視野は撮影対象の右側へ移動する。しかし、カメラを左に回しても、同時にカメラを右に移動させると、図１１（ｃ）に示すように視野は右に移動する。このように、カメラ自体の移動が無視できない場合、カメラの方向の変化と視野（画像）の移動方向とは必ずしも一致しないため、角度センサなどを利用してカメラの光学中心周りの回転だけに基づいて画像の移動を検出すると、間違いが生じる可能性がある。また、その間違いは近景の撮影の場合ほど起きやすい。画像データから画像間の相対位置関係（移動ベクトル）を検出する方法によれば、近景の撮影の場合でも、また、カメラの移動が大きい場合でも、そのような間違いを回避できる。

ところで、モニタ画面に移動ベクトル又は枠を表示することのみを目的とした場合、直前の撮影操作によって記録された画像（テンプレート）と、現在視野画像との相対位置関係（２画像間のずれ）はそれほど高い精度で検出する必要はない。しかし、高精度の相対位置関係の情報が画像に付加されていれば、その相対位置関係の情報を利用して、記録画像の高精度な張り合わせ合成を行うことができ、改めて画像間の相対位置関係の検出を行う必要がなくなる。したがって、少なくとも、各撮影操作で記録される画像に関しては、直前の撮影画像との間の相対位置関係を高精度に検出すると有利である。

このような高精度な相対位置関係（２画像間のずれ）の検出方法の一例を、図８に示した概略フローチャートに沿って説明する。

まず、ステップ６００において、直前に記録された画像（テンプレート画像）と、現在の視野に入っている画像（現在画像）をそれぞれ（Ｍ×Ｎ）のサイズのブロックに分割する。

次にステップ６０１で、各画像において、コントラスト（濃度模様の強さ）の強いブロックを選択する。例えば、画像ｆ（ｘ，ｙ）の各ブロックについて

を使って、コントラスト

を計算する。なお、（１）式において、ｘ，ｙ微分は画像内の上下左右の差分、積分はブロック内の和とする。そして、コントラストの値が、所定のしきい値を超えたブロックを選択する。

次に、ステップ６０２において、テンプレート画像と現在画像を重ね合わせ、１画素単位で相対的にずらしながら、前ステップ６０１で選択したコントラストの強いブロックに関し、画素毎の差の絶対値の平均、すなわち

を計算し、この差分和Ｅ（ｕ，ｖ）が最小となる位置（ｕ，ｖ）を求める。この位置は一方の画像を基準にした画素単位での画像間のずれ量（相対位置）である。つまり、画素単位の精度で、２画像間の対応点が見つかったことになる。

次のステップ６０３において、前ステップ６０２で検出した画像の対応点の位置で、画素単位以下の精度で対応点を探すことにより、画素単位以下の精度で画像間のずれ量を測定する。例えば、以下のようなアルゴリズムを採用できる。

対象画像ｆ（ｘ，ｙ）が速度ベクトル（ｕ，ｖ）で移動していると、微小時間Δｔにおいて２つの画像ｆ1（ｘ，ｙ），ｆ2（ｘ，ｙ）は局所的に

の関係を満たしている。ずれ量（ｕΔｔ，ｖΔｔ）が小さく、かつ局所的に一定と近似できる場合、上記（４）式の右辺を着目点のまわりでテイラー展開し、

の１次項までで近似できる。ただし、ｆ1x（ｘ，ｙ），ｆ1y（ｘ，ｙ）はそれぞれｆ1（ｘ，ｙ）のｘ，ｙの偏微分を表す。すなわち、前記（４）式と結合して

の関係が得られる。両辺をΔｔで割ったとき、左辺は時間微分ｆ1t（ｘ，ｙ）を示す。ｆx（ｘ，ｙ）とｆy（ｘ，ｙ）は場の微分であるから、画像上で即座に計算でき既知量とみられる。上記（６）式を次のように書き直す。

ｆx（ｘ，ｙ），ｆy（ｘ，ｙ），ｆt（ｘ，ｙ）はそれぞれｆ（ｘ，ｙ）のｘ，ｙ，ｔの偏微分を表す。この方程式を用いて（ｕ，ｖ）を求めることができるが、このままでは１次近似からのずれや雑音等による誤差が大きいため、（７）式の左辺の近傍領域内での２乗積分を評価関数とし、それを最小化すると

これをｕ，ｖに関し微分して０とおくと、正規方程式

が得られる。本式中のサフィックス付きのＳはそれぞれ

で計算される微分の積の積分値を表す。これらの値を代入して（９）式を解くと、速度ベクトル（ｕ，ｖ）は

によって求められる。ｔ微分は、ステップ６０２で求められたずれ位置での画像間差分とし、積分はブロック内の和とする。（１１）式、（１２）式の両辺に、Δｔを掛けると、画像間のずれ量となる。（１１）式、（１２）式の分母は、ステップ６０１で計算されたコントラストであり０にはならない。

なお、モニタ画面に表示するための相対位置としては、画素単位の相対位置で十分な場合が多いであろうが、画像の張り合わせに利用するための相対位置としては、より高い精度が求められることが多いであろう。したがって、例えば、撮影途中ではステップ６０２までの処理を行い、撮影操作により記録される画像に関してのみステップ６０３までの処理を行うようにしてもよい（例えば、図２のステップＳ１１２の前又は後に、ステップ６０３に対応する処理ステップを追加する）。また、撮影途中で処理が反復して実行されるが、同じテンプレート画像に対しては、ステップ６００，６０１を最初に１回だけ行えばよい。

図８に関連して説明した処理に要する時間を短縮するには、以下に述べるようなピラミッド処理方式を利用すると効果的である。例えば、図９に模式的に示すように、対象となる画像７００を第１層の画像とし、この第１層画像上の例えば４×４の１６画素を平均して１画素を作り、縦横とも４分の１に縮小した第２層の画像７０１を作り、この第２層画像７０１を同様に縦横とも４分の１に縮小した第３層の画像を作る。画像のずれ量の推定は、まず第３層画像７０２で行い、得られたずれ量を用いて第２層画像７０１でずれ量を推定し、このずれ量を用いて第１層画像７００でずれ量を推定する。例えば、第３層画像７０２と第２層画像７０１においては、移動差分和による推定（図８のステップ６０２相当）を行い、第１層画像７００については移動差分和と微分計算による推定（図８のステップ６０２，６０３相当）を行う。なお、このようなピラミッド画像の上の層でのずれ量の推定の際には、画像を平滑化する前処理を行うのが好ましい。

なお、本発明は、いわゆるデジタルカメラに限らず、スチル撮影が可能なビデオカメラ等、画像を電子的に記録するカメラ装置に一般的に適用できるものである。

本発明によるデジタルカメラの機能的構成の例を示す概略ブロック図である。 分割撮影モードのためのプログラムの処理フローの一例を示すフローチャートである。 デジタルカメラを左へ水平にパンして分割撮影をする場合のモニタ画面の表示の例を示す図である。 分割撮影モードのためのプログラムの処理フローの他の例を示すフローチャートである。 分割撮影モードのためのプログラムの処理フローの別の例を示すフローチャートである。 分割撮影モードのためのプログラムの処理フローの他の例を示すフローチャートである。 シャッター操作により画像データを画像記録装置に格納するためのプログラムの処理フローの一例を示すフローチャートである。 ２画像間の相対位置関係（ずれ量）を検出する方法の一例を説明するためのフローチャートである。 ピラミッド画像と、それを利用した２画像間の相対位置関係（ずれ量）の検出の説明のための図である。 本発明で可能な分割画像の接続の例を示す図である。 カメラの回転・移動と視野の移動の関係を説明するための図である。 特開平５−１６１０５０号公報記載の従来技術の説明図である。

符号の説明

１０ 光学系
１２ 撮像装置
１４ 機構駆動系
１６ 操作部
１８ モード切替スイッチ
２０ シャッタースイッチ
２４ ビデオ制御系
２５，２６ フレームメモリ
２７ モニタ装置
２７ａ モニタ画面
２７ｂ 撮影画像領域を示す枠
２８ 画像記憶装置
３０ プロセッサ
３２ 演算制御部
３３ ＲＯＭ
３４ａ〜３４ｎ プログラム
３６ ＲＡＭ
４０ 方位センサ
５０ 移動ベクトルのイメージ
５２ 画像フレームイメージ

Claims (12)

1. 視野に入った画像をモニタするためのモニタ手段と、撮影された画像を記録媒体に電子的に記録する手段を有するカメラ装置において、
   前記モニタ手段に表示されている画像と直前に撮影された画像との相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示する手段を具備し、
   前記相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示する手段は、前記相対位置関係に対応する方向及び量だけ、前記モニタ手段に表示されている画像に対して移動させた画像枠を示すイメージを、前記相対位置関係を示すイメージとしてモニタ手段に表示することを特徴とするカメラ装置。
2. 視野に入った画像をモニタするためのモニタ手段と、撮影された画像を記録媒体に電子的に記録する手段を有するカメラ装置において、
   前記モニタ手段に表示されている画像と直前に撮影されて記録された画像との相対位置関係を検出する手段と、
   前記検出された相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示する手段とを具備し、
   前記相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示する手段は、前記相対位置関係に対応する方向及び量だけ、前記モニタ手段に表示されている画像に対して移動させた画像枠を示すイメージを、前記相対位置関係を示すイメージとしてモニタ手段に表示することを特徴とするカメラ装置。
3. 請求項２に記載のカメラ装置において、前記相対位置関係を検出する手段は、直前に撮影されて記録された画像とモニタ手段に表示されている画像とのマッチング演算により両画像の共通パターンを見つけ、その共通パターン間の相対位置関係を求めることを特徴とするカメラ装置。
4. 請求項２に記載のカメラ装置において、該カメラ装置の光軸の方位を検知するための方位センサをさらに具備し、前記相対位置関係を検出する手段は、直前に撮影されて記録された画像について前記方位センサにより検知された方位と、モニタ手段に表示されている画像について該方位センサにより検知された現在の方位とから該相対位置関係を求めることを特徴とするカメラ装置。
5. 請求項１もしくは２に記載のカメラ装置において、前記撮影された画像を記録媒体に電子的に記録する手段は、該記録媒体に記録する画像に、前記直前の画像との相対位置関係を表す情報を付加することを特徴とするカメラ装置。
6. 請求項４に記載のカメラ装置において、前記撮影された画像を記録媒体に電子的に記録する手段は、該記録媒体に記録する画像に、当該画像について前記方位センサにより検出された方位の情報が付加されることを特徴とするカメラ装置。
7. 視野に入った画像をモニタするためのモニタ手段と、撮影された画像を記録媒体に電子的に記録する手段を有するカメラ装置における画像処理方法であって、
   前記モニタ手段に表示されている画像と直前に撮影された画像との相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示し、
   前記表示では、前記相対位置関係に対応する方向及び量だけ、前記モニタ手段に表示されている画像に対して移動させた画像枠を示すイメージを、前記相対位置関係を示すイメージとしてモニタ手段に表示することを特徴とする画像処理方法。
8. 視野に入った画像をモニタするためのモニタ手段と、撮影された画像を記録媒体に電子的に記録する手段を有するカメラ装置における画像処理方法であって、
   モニタ手段に表示されている画像と直前に撮影されて記録された画像との相対位置関係を検出し、
   前記検出された相対位置関係を示すイメージを、該カメラ装置の視野に入った画像と一緒に前記モニタ手段に表示し、
   前記表示では、前記相対位置関係に対応する方向及び量だけ、前記モニタ手段に表示されている画像に対して移動させた画像枠を示すイメージを、前記相対位置関係を示すイメージとしてモニタ手段に表示することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、直前に撮影されて記録された画像とモニタ手段に表示されている画像とのマッチング演算により両画像の共通パターンを見つけ、その共通パターン間の相対位置関係を求めることを特徴とする画像処理方法。
10. 請求項８に記載の画像処理方法において、カメラ装置の光軸の方位を検知するための方位センサを利用し、直前に撮影されて記録された画像について前記方位センサにより検知された方位と、モニタ手段に表示されている画像について該方位センサにより検知された現在の方位とから該相対位置関係を求めることを特徴とする画像処理方法。
11. 請求項７もしくは８に記載の画像処理方法において、記録媒体に記録さる画像に、前記直前の画像との相対位置関係を表す情報が付加することを特徴とする画像処理方法。
12. 請求項１０に記載の画像処理方法において、記録媒体に記録される画像に、当該画像について前記方位センサにより検出された方位の情報を付加することを特徴とする画像処理方法。

Images