JP2011193062A - パノラマ画像撮像装置及びパノラマ画像合成方法 - Google Patents

Abstract

【課題】パノラマ合成部に遠近混在の画像が存在しても精度良くパノラマ合成を行う。
【解決手段】被写体光像を撮像画像データとして出力する撮像素子から出力された連続する２枚の撮像画像データＡ，撮像画像データＢの重複領域を抽出し、該重複領域を複数の分割ブロック４に分割し、各分割ブロック４毎に撮像画像データＡ及び撮像画像データＢの間の移動量Ｌを算出し、撮像画像データＡと撮像画像データＢとを重複領域で画素単位に加算するときの重み付け割合を前記移動量Ｌ毎に決めたデータテーブル６から前記移動量に応じた重み付け割合Ｗを読み出し、撮像画像データＡと撮像画像データＢとを重複領域の分割ブロック毎に画素単位に重み付け加算し合成する。
【選択図】図３

Description

本発明はパノラマ画像撮像装置及びパノラマ画像合成方法に係り、特に、遠景，近景が混在した画像を違和感無くパノラマ合成するのに好適なパノラマ画像撮像装置及びパノラマ画像合成方法に関する。

カメラ（撮像装置）で被写体の静止画像を撮影する場合、カメラの視野角には限度があるため、一回の撮影で広大な視野の撮影はできない。そこで、例えば水平方向（左右方向）に連続する複数枚の静止画像を撮り、これらを一枚に貼り合わせることで、広視野角のパノラマ画像を合成することが行われる。

デジタルカメラが普及したため、デジタルの静止画像データをパノラマ合成するのが容易となり、パノラマ合成機能を搭載したデジタルカメラも増えてきている。

デジタルカメラでパノラマ画像を撮影する場合、ユーザがデジタルカメラを手に持って水平方向にパンさせながら動画を撮影し、あるいは静止画を連写することで、水平方向に連続する複数枚の画像データを得ることができる。

そして、隣接する２枚の画像から特徴点を検出しその特徴点の２枚の画像間の移動ベクトルを算出し、この移動ベクトルを用いて２枚の画像データのうち重複する領域を見つけ出し、重複領域が重なるように２枚の画像データを貼り合わせ合成することが行われる。

重複領域を貼り合わせる場合、両方の重複領域の各画素値を加算平均したりして重複領域の各画素値を決めるのであるが、重複領域内に遠景の画像と近景の画像が混在していると、近景画像の合成部分と遠景画像の合成部分との間に合成ズレが発生し、違和感のある画像になってしまう。

下記の特許文献１記載のパノラマ画像生成方法では、重複領域に近景画像が存在するか確認し、存在する場合には近景画像と背景画像とを分けて合成しているが、合成部の歪みや不整合、被写体各々の境界部に対する歪み（違和感）を緩和させるための具体的な方法についての記載はない。

特開２００４―８６７８４号公報

本発明の目的は、重複領域に遠近画像が混在しても違和感の無いパノラマ画像を合成することができるパノラマ画像撮像装置及びパノラマ画像合成方法並びにパノラマ画像合成プログラムを提供することにある。

本発明のパノラマ画像撮像装置は、被写体光像を撮像画像データとして出力する撮像素子と、該撮像素子を駆動制御し連続する２枚の第１撮像画像データ，第２撮像画像データを取り込む撮像素子駆動手段と、前記第１撮像画像データと前記第２撮像画像データの重複領域を抽出する重複領域抽出手段と、該重複領域を複数の分割ブロックに分割する分割手段と、各分割ブロック毎に前記第１撮像画像データ及び前記第２撮像画像データの間の移動量を算出する移動量算出手段と、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域で画素単位に加算するときの重み付け割合を前記移動量毎に決めたデータテーブルの記憶手段と、前記移動量に応じた前記データテーブルの重み付け割合を読み出し前記第１撮像画像データと前記第２撮像画像データとを前記重複領域の前記分割ブロック毎に画素単位に重み付け加算し合成するパノラマ合成手段とを備えることを特徴とする。

本発明のパノラマ画像合成方法は、被写体光像を撮像画像データとして出力する撮像素子から出力された連続する２枚の第１撮像画像データ，第２撮像画像データの重複領域を抽出し、該重複領域を複数の分割ブロックに分割し、各分割ブロック毎に前記第１撮像画像データ及び前記第２撮像画像データの間の移動量を算出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域で画素単位に加算するときの重み付け割合を前記移動量毎に決めたデータテーブルから前記移動量に応じた重み付け割合を読み出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域の前記分割ブロック毎に画素単位に重み付け加算し合成することを特徴とする。

本発明のパノラマ画像合成プログラムは、記載のパノラマ画像合成方法を処理ステップ順に記述したことを特徴とする。

本発明によれば、パノラマ合成部（重複領域）に遠近混在の画像が含まれていても、違和感の無いパノラマ画像を合成することができる。

本発明の一実施形態に係るパノラマ画像撮像装置の機能ブロック図である。 パノラマ合成対象とする連続する２枚の画像の説明図である。 本発明の一実施形態に係るパノラマ画像合成処理の説明図である。 図３に続くパノラマ画像合成処理の説明図である。 本発明の一実施形態に係るパノラマ画像合成処理手順を示すフローチャートである。 本発明の別実施形態に係るパノラマ画像合成処理手順を示すフローチャートである。 本発明の更に別実施形態の概念説明図である。 図７に続く概念説明図である。 図７，図８の実施形態を実施するパノラマ画像合成処理手順を示すフローチャートである。 本発明の更に別実施形態の概念説明図である。 図１０の実施形態を実施するパノラマ画像合成処理手順を示すフローチャートである。 本発明の更に別実施形態の概念説明図である。 図１２の実施形態を実施するパノラマ画像合成処理手順を示すフローチャートである。 本発明の更に別実施形態の概念説明図である。 図１４の実施形態を実施するパノラマ画像合成処理手順を示すフローチャートである。 本発明の更に別実施形態に係るパノラマ画像合成処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るパノラマ画像撮像装置（デジタルスチルカメラ）の機能ブロック図である。このパノラマ画像撮像装置２０は、被写体光像を電気信号の撮像画像データに変換する固体撮像素子２１と、固体撮像素子２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

図２は、パノラマ画像合成を行う連続する２枚の画像を例示している。１枚目の画像Ａを図１の撮像装置２０で撮像した後、連続して撮像装置２０を水平方向（右方向）にパンしながら２枚目の画像Ｂを撮像している。

画像Ａの右側には、山（遠景）の画像と森（中景）の画像と部屋内のパソコン（近景）の画像が混在している。即ち、奥行きの異なる被写体が混在した画像となっている。画像Ｂの左側には、同じ画像が含まれている。２つの画像Ａ，Ｂをパノラマ合成する場合には、この重複領域Ｃの２つの画像部分を重ね合わせることになる。

しかし、重複領域Ｃに映っている遠景（山），中景（森），近景（パソコン）の画像の夫々の移動量（移動ベクトル）が異なるため、単純に合成すると、違和感のある画像になってしまう。

そこで、本実施形態では、図３に示す様に、重複領域をｍ×ｎブロックに分割し（ｍ≧２，ｎ≧２の正整数）、各ブロック４毎に、画像Ａに対する画像Ｂの移動量（移動ベクトル５の長さ）Ｌを算出する。移動量Ｌが大きいほど当該ブロック内に近景の画像が入っており、移動量Ｌが小さいほど当該ブロックに遠景の画像が入っている。

遠景の画像は移動量Ｌが小さいため、画像Ａと画像Ｂのズレは小さい。このため、画像Ａの画素値と画像Ｂの画素値を加算して２で割る合成を行う。即ち、画像Ａの重み付けを０．５とし、画像Ｂの重み付けを０．５として、重複領域の当該ブロックの各画素値を、「０．５×画像Ａ＋０．５×画像Ｂ」として算出する。

中景の画像は移動量Ｌが中間の値を示すため、一方の画像の画素値の重み付けを大きくする。例えば「０．３×画像Ａ＋０．７×画像Ｂ」として算出する。

近景の画像は移動量Ｌが大きいため、画像Ａと画像Ｂとが大きくずれていることを示している。従って、遠景の画像と同じく０．５×画像Ａ＋０．５×画像Ｂとして算出したり、中景の画像と同じく０．３×画像Ａ＋０．７×画像Ｂとすると、合成ズレが大きく違和感のある画像になってしまう。

そこで、近景の画像の場合には、図４に示す様に、いずれか一方の画像の寄与分を大きくするために、「０．０５×画像Ａ＋０．９５×画像Ｂ」として算出する。

上述した例では、重み付けを３通りに分けたが、移動距離Ｌの範囲毎に更に細かく重み付けを段階的に定めるのが良く、より合成ズレが無く、境界部においても違和感の無いパノラマ合成が可能となる。

図３の左肩隅に、システム制御部２９の内蔵メモリに保存されている重み付けパラメータテーブル（データテーブル）の一例を示している。この例では、重み付けを「０．１」単位で移動量Ｌを区分している。テーブル内の重みＷは、例えば画像Ｂの重みＷｂであり、画像Ａの重みＷａ＝１−Ｗｂとなる。

図５は、パノラマ画像合成処理プログラムの処理手順を示すフローチャートである。本実施形態では、撮像装置２０が撮影を行いながら、図１のシステム制御部２９が配下のデジタル信号処理部２６を使ってパノラマ画像合成を行うのであるが、例えば撮像装置２０で撮影した連続する各画像データを記録メディア３２に保存しておき、外部のパソコンなどでこの画像データを読み込み、パノラマ画像合成を行うことも可能である。

図５において、先ず、ステップＳ１で、静止画像の連写機能で２枚の画像Ａ，Ｂを取得する。あるいは、動画撮影機能により２枚の連続する画像Ａ，Ｂを取得する。

次のステップＳ２で、画像Ａ，画像Ｂの重複領域を検出して重複領域をｍ×ｎの複数ブロックに分割する。分割数を多くすればパノラマ合成精度が増し違和感の無い画像になるが、ＣＰＵ１５等の処理負荷も増えるため、被写体画像の撮影と並行して行う場合には、処理負荷を考えて適当な分割数を選ぶことになる。

次のステップＳ３では、分割ブロック毎に、画像Ａから画像Ｂへの移動ベクトルの長さ（移動量）Ｌを算出し、次のステップＳ４で、重複領域Ｃに遠近混在の画像が含まれているか否かを判定する。この判定は、移動量Ｌの「最大値−最小値」≧所定閾値であるか否かで行う。

ステップＳ４の判定の結果、遠近混在の画像で無くある程度同じ距離にある被写体の画像であることを分かった場合には、ステップＳ４からステップ５に進み、重複領域の画像Ａと画像Ｂの夫々の重みを０．５として両画像Ａ，Ｂをパノラマ合成し、ステップＳ８で合成画像を記憶メディア３２に記録してこの処理を終了する。

ステップＳ４の判定の結果、重複領域が遠近混在の画像であると分かった場合にはステップＳ６に進み、図３で説明した重み付けパラメータテーブル６を参照して重複領域の画像Ａ，Ｂの重み付けの値を算出する。そして、ステップＳ７で、この重みを用いて画像Ａ，Ｂをパノラマ合成し、ステップＳ８に進む。

これにより、遠近混在の画像であっても、違和感の無い、被写体の境界部で合成ズレが生じない高精度なパノラマ合成が可能となる。

なお、図５のステップＳ４，ステップＳ５は省略可能である。重複領域が遠近混在の画像でなかった場合でも、ステップＳ６で画像Ａ，Ｂの重みが０．５，０．５として算出されるからである。これは以下の実施形態でも同様であるため、説明を繰り返すことはしない。

図６は、本発明の別実施形態に係る処理手順を示すフローチャートである。本実施形態は、図５の処理手順の変形例であり、図５の処理と同一ステップには同一ステップ番号を付してその詳細な説明は省略し、異なる点を説明する。

本実施形態では、ステップＳ１の後にステップＳ１１に進み、パノラマ合成部（重複領域）Ｃの上部と下部の２点に対して移動量Ｌを算出する。そして、次のステップＳ１２で、上部の移動量と下部の移動量の差違の絶対値が所定の閾値以上であるか否かで遠近混在の画像であるか否かを判定する。遠近混在の場合にはステップＳ２，Ｓ３，Ｓ６，Ｓ７，Ｓ８と進み、遠近混在でない場合にはステップＳ１２からステップＳ５，Ｓ８と進んでこの処理を終了する。

本実施形態では、遠近混在か否かを先に簡易的に重複領域の上部，下部の移動量から判定しているため、図５の処理に比べて遠近混在で無かった場合の処理の高速化を図ることができる。

図７は、本発明の更に別実施形態の概念説明図である。図７（ａ）に示す様に、画像Ａと画像Ｂの重複領域Ｃにある画像のうち近景の被写体７の画像が大きい場合、背景と被写体７との境界面の割合も大きいため、移動距離に応じた重み付けによって合成しただけでは違和感が解消できない場合がある。

そこで、本実施形態でも、図７（ｂ）に示す様に、重複領域をｍ×ｎブロックに分割し、各分割ブロック毎に移動量Ｌを算出する。近景画像の移動量Ｌは大きく、同一被写体の分割ブロックの移動量Ｌは同じとなるため、図７（ｃ）に示す様に、移動量Ｌが最大値となる移動量Ｌを持つ分割ブロック数（面積）の最大値Ｄを算出する。

そして、図８（ａ）に本実施形態の重み付けパラメータテーブル８を示す様に、重み付けを、移動距離Ｌだけでなく、近景にある物体の大きさＤが閾値ｄより大きいか否かも考慮して決める。

図８（ａ）のパラメータテーブル８では、近景物体が閾値より小さい場合には、移動量Ｌが大きくなるほど画像Ｂの重みを画像Ａより大きくし、近景物体が閾値より大きい場合には、移動量Ｌが小さいほど画像Ｂの重みを画像Ａより大きくしている。これにより、図８（ｂ）に示す様に、遠景，中景，近景の夫々の境界部における歪みを緩和することが可能となる。

図９は、図７，図８で説明した実施形態のパノラマ画像合成処理プログラムの処理手順を示すフローチャートである。基本的な処理ステップは図５の処理ステップと同じであるため、同一処理を行うステップには同一ステップ番号を付してその詳細な説明は省略し、異なるステップＳ１４，Ｓ１５について説明する。

ステップＳ４の判定の結果、重複領域の画像が遠近混在の画像の場合、ステップＳ４からステップＳ１４に進み、近景物体の大きさ（上述した様に、最大移動量Ｌを持つ分割ブロック数）Ｄを算出する。そして、次の重み付きパラメータテーブル処理ステップＳ１５に入る。

重み付きパラメータテーブル処理ステップＳ１５は、ステップＳ１５ａ，ステップＳ１５ｂ，ステップＳ１５ｃで構成される。ステップＳ１５ａは、ステップＳ１４で近景物体の大きさＤが求まった後に処理され、この大きさＤが閾値ｄより大きいか否かを判定する。

近景物体の大きさＤが閾値ｄより大きい場合には、ステップＳ１５ｂに進み、近景物体及びその境界部の重み付け比率を５０％として、他の分割ブロック各々については、移動量Ｌを参照した結果から画像Ａ，Ｂの合成割合を決めてから、ステップＳ７でパノラマ合成する。

近景物体の大きさＤが閾値ｄより小さい場合には、ステップＳ１５ｃに進み、遠景部の重み付け比率を５０％として、その他のブロック各々については、移動量Ｌを参照した結果から画像Ａ，Ｂの合成割合を決めてから、ステップＳ７でパノラマ合成する。

この様に、本実施形態では、遠近のどちらに基準を合わせるべきかを自動的に撮像装置が判断してパノラマ合成するため、精度の高い合成画像を得ることができる。

なお、図９のフローチャートにおいても図６のフローチャートと同様に、図６のステップＳ１１で重複領域の上部，下部の移動量を求め、遠近混在画像であるか否かを判定する（図６のステップＳ１２）構成とし、ステップＳ２，Ｓ３をステップＳ１２の判定結果が肯定のときに実行する手順としても良い。

図１０は、本発明の更に別実施形態の概念説明図である。図１０（ａ）に示す様に、２枚の画像Ａ，Ｂの重複領域（パノラマ合成部）に人やペットの「顔」が映っていた場合、人やペットが主要被写体である蓋然性が高いと判断できる。

この場合には、「顔」の合成画像が不自然にならないようにパノラマ合成する必要がある。そこで、図１０（ｂ）に重み付けパラメータテーブル９を示す様に、顔検出領域Ｋの重み付け割合を画像Ａ，Ｂでそれぞれ５０％とする。顔検出領域以外の分割ブロックでは、移動量に応じた重み付けとし、顔が検出されなかった場合には、移動量に応じた重み付けとする。

図１１は、図１０で説明した実施形態を処理するパノラマ画像合成処理プログラムの処理手順を示すフローチャートである。基本的な処理ステップは図５の処理ステップと同じであるため、同一処理を行うステップには同一ステップ番号を付してその詳細な説明は省略し、異なるステップＳ１６〜Ｓ１９について説明する。

ステップＳ４で重複領域が遠近混在の画像であると判定された場合にはステップＳ１６に進み、パノラマ画像撮像装置２０の顔検出機能（撮像画像と顔パターンとのパターンマッチング処理を行う機能）を動作させる。そして、顔が検出されたか否かをステップＳ１７で判定し、顔が検出されなかった場合にはステップＳ６に進む。

顔が検出された場合にはステップＳ１７からステップＳ１８に進み、顔が検出された領域Ｋ（位置と大きさ）を分割ブロックの中から抽出する。そして、次のステップＳ１９で、領域Ｋにおける画像Ａと画像Ｂの重み付けをそれぞれ０．５としてステップＳ６に進み、顔領域Ｋ以外の分割ブロックでは移動量に応じた重み付けをパラメータテーブル９から求め、ステップＳ７でパノラマ合成を行う。

これにより、人やペットの画像を綺麗にパノラマ合成することが可能となる。

なお、図１１のフローチャートにおいても図６のフローチャートと同様に、図６のステップＳ１１で重複領域の上部，下部の移動量を求め、遠近混在画像であるか否かを判定する（図６のステップＳ１２）構成とし、ステップＳ２，Ｓ３をステップＳ１２の判定結果が肯定のときに実行する手順としても良い。

図１２は、本発明の更に別実施形態の概念説明図である。図１０，図１１の実施形態では、「顔」が検出されたとき一律に顔領域Ｋについては画像Ａと画像Ｂのそれぞれの重み付けを０．５とした。しかし、「顔」が検出されてもそれが重要な被写体であるとは限らず、たまたま画像中に入り込んでしまった場合もある。

そこで、本実施形態では、「顔」が検出されたときその「顔」の大きさを判定し、図１２（ａ）に示す様に、顔領域Ｋが所定閾値より大きい場合には図１０，図１１の実施形態と同様に画像Ａ，Ｂの重み付けを０．５とし、図１２（ｂ）に示す様に、顔領域Ｋが所定閾値より小さい場合には、顔が検出されない場合と同様に各分割ブロックの移動量に応じて重み付けの決定を行い、パノラマ画像の合成を行う。

図１３は、図１２で説明した実施形態を実行するパノラマ画像合成処理プログラムの処理手順を示すフローチャートである。基本的な処理ステップは図１１の処理ステップと同じであるため、同一処理を行うステップには同一ステップ番号を付してその詳細な説明は省略し、異なるステップＳ２０について説明する。

ステップＳ１７，Ｓ１８と処理が進み、重複領域に顔が検出され顔検出領域Ｋが抽出されたとき、ステップＳ１８の後にステップＳ２０を実行し、顔検出領域Ｋの大きさ（分割ブロック数）が閾値以上であるか否かを判定する。顔領域Ｋが小さい場合にはステップＳ６に進み、顔領域Ｋが大きい場合にはステップＳ１９で領域Ｋについての重み付けを画像Ａ，Ｂで５０％としステップＳ６に進む。

この実施形態によれば、重要で無い顔画像の場合には顔を無視した処理を行うため、重要で無い顔がパノラマ合成画像中で綺麗になり目立つこともなくなる。

なお、図１３のフローチャートにおいても図６のフローチャートと同様に、図６のステップＳ１１で重複領域の上部，下部の移動量を求め、遠近混在画像であるか否かを判定する（図６のステップＳ１２）構成とし、ステップＳ２，Ｓ３をステップＳ１２の判定結果が肯定のときに実行する手順としても良い。

図１４は、本発明の更に別実施形態の概念説明図であり、大きな近景物体の画像７が存在し、且つ、大きな「顔」領域Ｋが検出されたとき、本実施形態では「顔」を優先して重み付けを行う。つまり、本実施形態は、図９，図１３の実施形態を併せもつ実施形態である。

図１５は、図１４の実施形態を実行するパノラマ画像合成処理プログラムの処理手順を示すフローチャートである。基本的な処理ステップは図９，図１３の処理ステップを併せたものと同じであるため、同一処理を行うステップには同一ステップ番号を付してその詳細な説明は省略する。

本実施形態では、ステップＳ４で重複領域が遠近混在画像のときステップＳ１６で顔検出を行い、次のステップＳ１７で重複領域に顔が検出されたと判断されたときはステップＳ１８，Ｓ２０，Ｓ１９，Ｓ２０，Ｓ１９，Ｓ６，Ｓ７，Ｓ８と進む。

ステップＳ１７で重複領域に顔が検出されなかったとき、ステップＳ１４，Ｓ１５，Ｓ７と進んで、近景の大きな物体の処理を行う。

これにより、近景に大きな物体があり、且つ大きな顔が検出されたときは、顔優先での処理が行われ、主要被写体の顔が綺麗になるパノラマ合成が行われる。

なお、図１５のフローチャートにおいても図６のフローチャートと同様に、図６のステップＳ１１で重複領域の上部，下部の移動量を求め、遠近混在画像であるか否かを判定する（図６のステップＳ１２）構成とし、ステップＳ２，Ｓ３をステップＳ１２の判定結果が肯定のときに実行する手順としても良い。

図１６は、本発明の更に別実施形態に係るパノラマ画像合成処理プログラムの処理手順を示すフローチャートである。図１５の実施形態では、近景物体に対して顔優先で処理を行ったが、本実施形態では逆の優先順序で処理を行う。基本的な処理ステップは図９，図１３の処理ステップを併せたものと同じであるため、同一処理を行うステップには同一ステップ番号を付してその詳細な説明は省略する。

ステップＳ４で重複領域の画像が遠近混在の画像の場合にはステップＳ１４で近景物体（移動量Ｌが最大）のブロック数Ｄを求め、次のステップＳ１５ａで近景物体の大きさが閾値よりか大きいか否かを判定する。大きい場合には、顔検出処理を行わずにステップＳ１５ｂに進んで領域（近景物体の分割ブロック）Ｄの画像Ａ，画像Ｂの重みをそれぞれ０．５としてステップＳ６ａに進み、領域Ｄ以外の重み付けを移動量に応じて決め、ステップＳ７でパノラマ合成を行う。

ステップＳ１５ａの判定の結果、近景物体のブロック数Ｄが閾値より少ない場合（近景物体の大きさが小さい場合）に初めて顔検出（ステップＳ１６）を行い、大きな顔が検出された場合に顔領域Ｋの重みを画像Ａ，Ｂでそれぞれ０．５とし、ステップＳ６ａで領域Ｋ以外の分割ブロックの重み付けを移動量に応じて決め、ステップＳ７でパノラマ合成を行う。

本実施形態によれば、顔が検出されるシーンでも近景に大きな被写体が存在する場合にはその被写体を優先して重み付けを行うため、近景物体とその輪郭に合成ズレのないパノラマ画像を得ることができる。

なお、図１５のフローチャートにおいても図６のフローチャートと同様に、図６のステップＳ１１で重複領域の上部，下部の移動量を求め、遠近混在画像であるか否かを判定する（図６のステップＳ１２）構成とし、ステップＳ２，Ｓ３をステップＳ１２の判定結果が肯定のときに実行する手順としても良い。

以上述べた実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、被写体光像を撮像画像データとして出力する撮像素子から出力された連続する２枚の第１撮像画像データ，第２撮像画像データの重複領域を抽出し、該重複領域を複数の分割ブロックに分割し、各分割ブロック毎に前記第１撮像画像データ及び前記第２撮像画像データの間の移動量を算出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域で画素単位に加算するときの重み付け割合を前記移動量毎に決めたデータテーブルから前記移動量に応じた重み付け割合を読み出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域の前記分割ブロック毎に画素単位に重み付け加算し合成することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法の前記データテーブルは、前記移動量の他に前記重複領域に顔画像が検出されるか否かで前記重み付け割合が決められていることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法の前記データテーブルは、前記移動量の他に前記重複領域に所定閾値より大きな顔画像が検出されるか否かで前記重み付け割合が決められていることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、前記顔画像が検出されたとき該顔画像の領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、前記データテーブルは、前記移動量の他に前記重複領域に該移動量が最大値を示す前記分割ブロック数が所定閾値より大きい画像領域が検出されるか否かで前記重み付け割合が決められていることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、前記所定閾値より大きい画像領域が検出されたとき該画像領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記顔画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該顔画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とすることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びパノラマ画像合成方法は、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記近景物体画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該近景物体画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とすることを特徴とする。

また、実施形態のパノラマ画像合成プログラムは、上記のいずれか１項に記載のパノラマ画像合成方法を処理ステップ順に記述したことを特徴とする。

以上述べた実施形態によれば、パノラマ合成部（重複領域）に遠近混在の画像が含まれていても、合成ズレがなく被写体の境界部に違和感の無いパノラマ画像を得ることが可能となる。

本発明に係るパノラマ画像撮像装置は、遠近混在の画像を撮影しても合成ズレがなく違和感の少ないパノラマ画像を合成できるため、デジタルカメラとして有用である。

４ 分割ブロック
５ 移動ベクトル
６，８，９ 重み付けパラメータテーブル
２０ パノラマ画像撮像装置
２１ 撮像素子
２６ デジタル信号処理部
２９ システム制御部
７ 近景物体の画像
Ｄ 近景物体領域
Ｋ 顔領域

Claims (17)

1. 被写体光像を撮像画像データとして出力する撮像素子と、該撮像素子を駆動制御し連続する２枚の第１撮像画像データ，第２撮像画像データを取り込む撮像素子駆動手段と、前記第１撮像画像データと前記第２撮像画像データの重複領域を抽出する重複領域抽出手段と、該重複領域を複数の分割ブロックに分割する分割手段と、各分割ブロック毎に前記第１撮像画像データ及び前記第２撮像画像データの間の移動量を算出する移動量算出手段と、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域で画素単位に加算するときの重み付け割合を前記移動量毎に決めたデータテーブルの記憶手段と、前記移動量に応じた前記データテーブルの重み付け割合を読み出し前記第１撮像画像データと前記第２撮像画像データとを前記重複領域の前記分割ブロック毎に画素単位に重み付け加算し合成するパノラマ合成手段とを備えるパノラマ画像撮像装置。
2. 請求項１に記載のパノラマ画像撮像装置であって、前記データテーブルは、前記移動量の他に前記重複領域に顔画像が検出されるか否かで前記重み付け割合が決められているパノラマ画像撮像装置。
3. 請求項２に記載のパノラマ画像撮像装置であって、前記データテーブルは、前記移動量の他に前記重複領域に所定閾値より大きな顔画像が検出されるか否かで前記重み付け割合が決められているパノラマ画像撮像装置。
4. 請求項２又は請求項３に記載のパノラマ画像撮像装置であって、前記顔画像が検出されたとき該顔画像の領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となるパノラマ画像撮像装置。
5. 請求項１に記載のパノラマ画像撮像装置であって、前記データテーブルは、前記移動量の他に前記重複領域に該移動量が最大値を示す前記分割ブロック数が所定閾値より大きい画像領域が検出されるか否かで前記重み付け割合が決められているパノラマ画像撮像装置。
6. 請求項５に記載のパノラマ画像撮像装置であって、前記所定閾値より大きい画像領域が検出されたとき該画像領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となるパノラマ画像撮像装置。
7. 請求項１に記載のパノラマ画像撮像装置であって、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記顔画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該顔画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とするパノラマ画像撮像装置。
8. 請求項１に記載のパノラマ画像撮像装置であって、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記近景物体画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該近景物体画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とするパノラマ画像撮像装置。
9. 被写体光像を撮像画像データとして出力する撮像素子から出力された連続する２枚の第１撮像画像データ，第２撮像画像データの重複領域を抽出し、該重複領域を複数の分割ブロックに分割し、各分割ブロック毎に前記第１撮像画像データ及び前記第２撮像画像データの間の移動量を算出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域で画素単位に加算するときの重み付け割合を前記移動量毎に決めたデータテーブルから前記移動量に応じた重み付け割合を読み出し、前記第１撮像画像データと前記第２撮像画像データとを前記重複領域の前記分割ブロック毎に画素単位に重み付け加算し合成するパノラマ画像合成方法。
10. 請求項９に記載のパノラマ画像合成方法であって、前記データテーブルは、前記移動量の他に前記重複領域に顔画像が検出されるか否かで前記重み付け割合が決められているパノラマ画像合成方法。
11. 請求項１０に記載のパノラマ画像合成方法であって、前記データテーブルは、前記移動量の他に前記重複領域に所定閾値より大きな顔画像が検出されるか否かで前記重み付け割合が決められているパノラマ画像合成方法。
12. 請求項１０又は請求項１１に記載のパノラマ画像合成方法であって、前記顔画像が検出されたとき該顔画像の領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となるパノラマ画像合成方法。
13. 請求項９に記載のパノラマ画像合成方法であって、前記データテーブルは、前記移動量の他に前記重複領域に該移動量が最大値を示す前記分割ブロック数が所定閾値より大きい画像領域が検出されるか否かで前記重み付け割合が決められているパノラマ画像合成方法。
14. 請求項１３に記載のパノラマ画像合成方法であって、前記所定閾値より大きい画像領域が検出されたとき該画像領域内における前記重み付け割合が前記移動量に関わらず５０％づつの固定値となるパノラマ画像合成方法。
15. 請求項９に記載のパノラマ画像合成方法であって、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記顔画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該顔画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とするパノラマ画像合成方法。
16. 請求項９に記載のパノラマ画像合成方法であって、前記重複領域内に第１所定大きさ以上の顔画像と第２所定大きさ以上の近景物体画像とが存在するとき前記近景物体画像の領域内の前記重み付け割合を前記移動量に関わらず５０％づつの固定値とし該近景物体画像の領域外の前記重み付け割合を前記移動量に応じた重み付け割合とするパノラマ画像合成方法。
17. 請求項９乃至請求項１６のいずれか１項に記載のパノラマ画像合成方法を処理ステップ順に記述したパノラマ画像合成プログラム。

Images