JP2012029014A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】複数の画像を合成することによって被写体象のずれが目立つ画像が生成されてしまうことを抑制する。
【解決手段】取得した複数の画像のうちの１つの画像を基準画像として設定し、基準画像に対する他の画像の動きベクトルをそれぞれ検出する。そして検出された動きベクトルのスカラ量と、基準画像と合成するための画像のずれの限界を表す閾値とを比較し、基準画像と合成する条件を満たすか否かを判断する。基準画像と合成する条件を満たす場合は、検出された動きベクトルを打ち消すように画像を移動して基準画像と合成することにより、画像間のずれを補正した画像を出力する。なお、基準画像と合成するための画像のずれの限界を表す閾値は、制御手段によって複数の画像が撮像された際の撮像設定や、撮像された複数の画像に含まれる被写体像の状態等に応じて変更される。
【選択図】図２

Description

本発明は、複数の画像から、当該画像間のずれを補正して合成する技術に関する。

今日、デジタルカメラ等の撮像装置には、撮像時のユーザの手ぶれ等による撮像装置の動きによって被写体像がぶれてしまうことを防ぐため、様々な手ぶれ補正機能が備えられていることが多い。手ぶれ補正機能には、大きく分けて光学式手ぶれ補正と電子式手ぶれ補正があり、電子式手ぶれ補正では撮像された複数の画像について被写体像のずれを画像処理によって補正している。具体的には電子式手ぶれ補正では、複数回の撮像により得られた複数の画像のそれぞれについて同一パターンの被写体像の位置を検出し、同一パターンの被写体像が重なるように複数の画像の合成位置を調整している。

このような手ぶれ補正機能は、例えば夜景等の暗所における撮像に有効である。夜景等の暗所の撮像では、適正露光を得るために撮像素子の受光感度を高くする方法も用いられるが、撮像された画像にノイズが目立つため、露光時間を長くしてノイズを低減して適正露光を得る方法もとられている。しかしながら、露光時間を長くすることにより、露光時間中の撮像装置を把持する撮像者の手ぶれの影響を受けやすくなる。このような状況において、例えば電子式手ぶれ補正を用いることにより、露光時間の短い複数の画像からノイズを低減し、かつ手ぶれを補正した画像を得ることが可能となる。

しかしながら、電子式手ぶれ補正を行う場合、同一パターンの被写体像が重なるように合成することが望ましいが、例えば手ぶれ量が大きすぎる場合や、画像が合焦していない場合等、パターンマッチングが困難な場合は、被写体像のずれ量を正確に検出できない。即ち、被写体像のずれ量が誤って検出された画像を合成しても、撮像者は所望の画像を得ることはできなかった。

特許文献１には、被写体像のずれ量が誤って検出された画像を合成することにより、所望の結果を得られないことを回避するために、撮像された複数の画像のうち、露光条件が適正な画像のみを抽出して合成する方法が開示されている。また特許文献２には、露光時間が長い場合には被写体像のずれ量が大きくなる可能性が高いため、露光時間が所定の時間以下の間に撮像された複数の画像の合成を行う方法が開示されている。

特開平８−３０７７６１号公報 特開２０００−２２４４７０号公報

上述したような暗所における撮像ではなく、照明条件が整った明るいシーンにおいて電子式手ぶれ補正を行った場合、複数の画像それぞれにおいてエッジのコントラストが高い被写体像を得ることができる。しかしながら、このようにエッジのコントラストが高い画像を用いて電子式手ぶれ補正を行う際に被写体像のずれ量が誤って検出された画像が存在すると、合成して得られた画像において、被写体像が複数重なって見える、図４（ａ）のような所謂二重像が発生する。特に、特許文献１のように合成に用いる画像が選別され、少数の画像で合成を行う場合、二重像が発生した場合に目立ちやすくなってしまう問題があった。

本発明は、上述の問題点に鑑みてなされたものであり、複数の画像を合成することによって被写体象のずれが目立つ画像が生成されてしまうことを抑制することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
複数の画像を取得する画像取得手段と、複数の画像が撮像された際の、当該複数の画像を撮像した撮像装置の撮像設定を取得する設定取得手段と、取得手段により取得された複数の画像のうち、１つの画像を基準画像として設定する設定手段と、基準画像を除く複数の画像のそれぞれについて、基準画像に対する動きベクトルを検出する検出手段と、基準画像を除く複数の画像のそれぞれについて、検出手段により検出された動きベクトルのスカラ量と基準画像と合成する条件である閾値とを比較し、動きベクトルのスカラ量が閾値以下である場合に、基準画像と合成する条件を満たすと判断する判断手段と、判断手段により基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して基準画像と合成する合成手段と、基準画像と合成する条件を制御する制御手段と、を備え、制御手段は、設定取得手段により取得された複数の画像が撮像された際の感度設定の設定値が低いほど、閾値が低くなるように制御することを特徴とする。

このような構成により本発明によれば、複数の画像を合成することによって被写体象のずれが目立つ画像が生成されてしまうことを抑制することを可能とする。

本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図。 実施形態に係る手ぶれ補正処理のフローチャート。 動きベクトルの検出方法を説明するための図。 二重像を説明するための図。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した複数の画像について、画像間のずれを補正して合成を行った画像を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、取得した複数の画像について、画像間のずれを補正して合成を行った画像を出力することが可能な任意の機器に適用可能である。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、例えば画像の分割数等、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。本実施形態ではＲＡＭ１０３には、手ぶれ補正を行うために撮像された複数の画像が一時的に記憶される（画像取得）。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データを画像処理部１０７に出力する。画像処理部１０７は、入力されたデジタル画像データに、例えば色調補正やゲイン調整等の所定の画像処理を適用しＲＡＭ１０３に記憶する。なお、撮像部１０５、Ａ／Ｄ変換部１０６及び画像処理部１０７で行われる撮像処理は、例えば電子式手ぶれ補正を行うようにユーザにより選択されて撮像された場合には、所定の回数、または所定の期間繰り返し実行される。この場合、ＲＡＭ１０３には複数回の撮像のそれぞれで出力された複数の画像が一時的に記憶される。

動きベクトル検出部１０８は、ＲＡＭ１０３に記憶された複数の画像のうちの１つの画像を基準画像とし、基準画像を除く他の画像それぞれについて、基準画像に対する画像のずれの向き及び大きさを表す動きベクトルを検出するブロックである。具体的には、動きベクトル検出部１０８には、ＲＡＭ１０３に記憶されている複数の画像のうち、基準画像及び当該基準画像と比較を行う対象画像が入力される。そして図３に示したように、各画像を複数の領域に分け、領域ごとに被写体像のパターンマッチングを行い、領域ごとの動きベクトルを検出する。さらに、動きベクトル検出部１０８は検出された領域ごとの動きベクトルから、対象画像全体の動きベクトル（グローバル動きベクトル）を算出する。この対象画像全体の動きベクトルが、後述する合成部１０９において当該対象画像の補正量を決定するために用いられる。なお、動きベクトル検出部１０８が検出した対象画像の動きベクトルの情報は、例えば当該対象画像に関連付けてＲＡＭ１０３に記憶されればよい。

なお、本実施形態において、動きベクトル算出の基準となる基準画像は、例えばＲＡＭ１０３に記憶された複数の画像のうち、例えば最初に撮像された画像を用いるものとして以下に説明する。しかしながら、本発明の実施はこれに限らず、基準画像は撮像された複数の画像のうちの１つの画像であればよく、例えば撮像された時間、撮像されている被写体像の状態等から決定されてもよい。

合成部１０９は、基準画像及び対象画像が入力され、基準画像に対し、動きベクトル検出部１０８で検出された動きベクトルとは反対方向に当該動きベクトルのスカラ量の分だけ対象画像を移動させて合成する。なお、本実施形態では合成部１０９は例えば内部メモリを備え、合成中の画像は当該内部メモリに保持される記憶されているものとして説明する。記録媒体１１０は、例えばデジタルカメラ１００が備える内部メモリや、メモリカードやＨＤＤ等の、デジタルカメラ１００に着脱可能に接続される記録装置であってよい。記録媒体１１０には、合成部１０９で画像のずれが補正された合成画像が合成部１０９より入力され、記録される。

（手ぶれ補正処理）
このような構成をもつ本実施形態のデジタルカメラ１００の手ぶれ補正処理について、図２のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本手ぶれ補正処理は、例えばユーザによりデジタルカメラ１００の撮像設定が電子式手ぶれ補正を用いる設定に変更されている状態で、撮像が行われた際に開始されるものとして説明する。

Ｓ２０１で、制御部１０１は複数回の撮像を行い、それぞれの撮像で得られた画像をＲＡＭ１０３に記憶させる。そして制御部１０１は複数回の撮像が完了すると処理をＳ２０２に移し、ＲＡＭ１０３に記憶されている複数の画像のうち、最初に撮像された画像を基準画像として選択する。

Ｓ２０３で、制御部１０１は、基準画像を除く撮像された複数の画像のそれぞれを、基準画像に合成するか否かを判断するための閾値を決定する。具体的には、制御部１０１は、基準画像と合成するための画像のずれの限界を表す、各画像において検出される基準画像に対する動きベクトルのスカラ量の閾値を決定する。

本発明は、上述したように画像のずれを補正して得られる合成画像において二重像の発生を避けるために、複数の画像が撮像された際の撮像設定や、撮像された複数の画像に含まれる被写体像の状態等により、閾値を異ならせる。即ち、制御部１０１は、二重像の発生しやすさに応じて、基準画像と合成するための画像のずれの限界を表す閾値を制御することにより、二重像の発生を回避して、かつ精度よく画像のずれを補正した合成画像を得ることができる。

（基準画像と合成するための画像のずれの閾値）
本実施形態では、制御部１０１は、少なくとも以下の６つの条件のいずれか１つで基準画像と合成するための画像のずれの限界を表す閾値を制御するものとする。

１．感度
制御部１０１は、複数の画像が撮像された際のデジタルカメラ１００の感度設定の設定値によって閾値を変更する（設定取得）。一般的な撮像装置では、感度設定の設定値が高い場合（高感度撮像）に撮像されて得られる画像ではノイズが発生するため、被写体像のエッジのコントラストは弱くなる。これに対し、感度設定の設定値が低く設定されて撮像を行う場合、得られる画像ではノイズが少ない。また、従来の撮像装置において、低感度撮像で得られた画像では、解像感を向上させるためにエッジを強調する処理が適用されることも多く、感度設定の設定値が低く設定されて得られた画像では、被写体像のエッジのコントラストが強い。

即ち、被写体像のエッジのコントラストが強い画像では、被写体像のずれ量が誤って検出された場合には二重像が目立ちやすくなるため、感度設定の設定値が低い場合は閾値を小さくする必要がある。これに対し、被写体像のエッジコントラストが弱い画像では、被写体像のずれ量が誤って検出された画像が合成されても二重像は目立ちにくいため、感度設定の設定値が高い場合は閾値を大きくしてもよい。つまり、制御部１０１は、複数の画像が撮像された際の感度設定の設定値が低いほど、閾値を小さくするように制御する。

２．合成する画像数
制御部１０１は、撮像された複数の画像の数によって閾値を変更する。上述したように、画像間のずれを補正するために合成される画像が少ない場合、合成される画像のそれぞれの輝度等の信号強度が高い。即ち、被写体像のずれ量が誤って検出された画像が合成されると、当該画像により発生した二重像は目立ちやすくなるため、合成する画像の数が少ない場合は閾値を小さくする必要がある。これに対し、合成する画像の数が多い場合は、被写体像のずれ量が誤って検出された画像が合成されても、信号強度が低いため二重像は目立ちにくく、閾値を大きくしてもよい。つまり、制御部１０１は、合成する画像の数が少ないほど、閾値を小さくするように制御する。

３．撮像モード
制御部１０１は、複数の画像が撮像された際のデジタルカメラ１００の撮像モードの設定が風景モードである場合に閾値を変更する。一般的な撮像装置では、撮像モードとして風景モードを有する場合、当該モードは、輝度がある程度確保された野外の環境を撮像することを想定し、焦点距離が無限遠に設定されている。このため、風景モードを使用して撮像された画像は、遠方の被写体を再現するため、解像感が高いことが要求され、被写体像のエッジを強調する処理が適用されることが多い。

即ち、風景モードを使用して撮像された画像では、被写体像のエッジのコントラストが強いため、被写体像のずれ量が誤って検出された場合には二重像が目立ちやすくなる。つまり、制御部１０１は、複数の画像が撮像された際の撮像モードの設定が風景モードである場合、撮像モードが風景モード以外の他のモードである場合よりも閾値を小さくするように制御する。

４．被写体との距離
制御部１０１は、複数の画像が撮像された際の、被写体とデジタルカメラ１００の距離によって閾値を変更する。撮像装置と被写体との距離が異なる被写体が、撮像される範囲である視野範囲に存在する場合、手ぶれが発生すると、撮像された画像においてそれぞれの被写体像のずれ量は異なる。特に、被写体像のずれ量が異なる現象は、被写体と撮像装置との距離が短い場合（マクロ撮影時等）に顕著に現れる。即ち、このような画像を合成したとしても、図４のように一部の被写体像のずれは補正することができず、二重像が発生しやすいと考えられる。

しかしながら、マクロ撮影時のように焦点距離からのずれによって像がぼかされるような撮像では、合焦している被写体像については二重像が目立ちやすいが、焦点距離からずれた位置に存在する被写体の被写体像については二重像が目立ちにくい。即ち、制御部１０１は複数の画像が撮像された際に、焦点距離に近い位置に存在する被写体の被写体像が存在する画像内の領域で検出された動きベクトルのスカラ量の閾値を小さくするように制御する。

５．人物像の存在
制御部１０１は、撮像された複数の画像に人物像が存在するか否かによって閾値を変更する。人物のような静止している保証が少ない被写体像が撮像された画像内に存在する場合、検出される動きベクトルの信頼性は少ないと考えられる。即ち、撮像された画像において主被写体が人物であったとしても、人物像について検出された動きベクトルに従って画像間のずれを補正して合成を行うと、背景の画像がずれてしまうことがある。つまり、制御部１０１は、撮像された複数の画像に人物が存在すると判別された場合は、検出された動きベクトルが小さい、即ち、人物が静止しているとみなせる画像のみを合成に使用するために、閾値を小さくするように制御する。

６．像高
制御部１０１は、撮像された画像の領域ごとに動きベクトルを検出し、画像内の位置によって、当該領域における閾値を変更する。一般的な撮像において、撮像者は主被写体が画像の中心となるように撮像する傾向が高い。即ち、撮像された画像において、主被写体が存在する可能性が高い、像高が低い領域において二重像が発生した場合は目立ちやすい。これに対し、像高が高い領域において二重像が発生した場合、画像の閲覧者の注目度も低いと思われるため、二重像が発生したとしても目立ちにくいと考えることができる。つまり、制御部１０１は、撮像された画像のうち、像高が低い位置にある領域ほど閾値が小さくするように制御する。

このように、本実施形態では制御部１０１は、Ｓ２０３において基準画像と合成するための画像のずれの限界を表す、各画像において検出される基準画像に対する動きベクトルのスカラ量の閾値を決定する。なお、上記の６つの条件は、撮像された画像によって、適切な組み合わせが選択されてよい。

Ｓ２０４以降のステップでは、制御部１０１はＲＡＭ１０３に記憶されている複数の画像のうち、Ｓ２０２で基準画像として選択した画像を除いた画像について、１つずつ対象画像として選択して処理を行っていく。

Ｓ２０４で、制御部１０１は、ＲＡＭ１０３から基準画像及び対象画像を読み出し、動きベクトル検出部１０８に出力して、対象画像の動きベクトルを検出させる。このとき制御部１０１は、動きベクトル検出部１０８により検出された対象画像の動きベクトルを、当該対象画像に関連付けてＲＡＭ１０３に記憶させる。

Ｓ２０５で、制御部１０１は、対象画像について検出された動きベクトルのスカラ量が、Ｓ２０３で決定した基準画像と合成するための画像のずれの限界を表す閾値を上回るか否かを判断する。制御部１０１は、検出された対象画像の動きベクトルのスカラ量が閾値を上回る場合は処理をＳ２０９に移し、閾値以下である場合は処理をＳ２０６に移す。

Ｓ２０６で、制御部１０１は、合成部１０９に対象画像を出力し、当該対象画像について検出された動きベクトルの分だけ画像のずれを補正して基準画像と合成させる。具体的には制御部１０１は、基準画像に対し、対象画像について検出された動きベクトルと反対方向に、動きベクトルのスカラ量の分だけ対象画像を移動させて基準画像と合成する。なお、本ステップの処理において基準画像と対象画像とを合成するとして説明したが、撮像された複数の画像が２つ以上である場合は、Ｓ２０６に処理が移った際に合成部１０９の内部メモリに記憶されている合成画像と対象画像とが合成されるものとする。

Ｓ２０７で、制御部１０１は、ＲＡＭ１０３に、まだ基準画像と合成する条件を満たすか否かが判断されていない画像が存在するかを判断し、当該画像が存在する場合は処理をＳ２０４に戻す。また制御部１０１は、全ての画像について合成がなされた場合は処理をＳ２０８に移し、合成部１０９で合成された画像を、不図示の符号化部で符号化して記録媒体１１０に記録して手ぶれ補正処理を完了する。

Ｓ２０５で検出された対象画像の動きベクトルのスカラ量が閾値を上回ると判断された場合、制御部１０１はＳ２０９で、例えばＲＡＭ１０３に記憶されている画像のうち、合成がなされていない１つの画像を選択する。そして制御部１０１は、不図示の符号化部で選択された画像を符号化して、記録媒体１１０に記録して手ぶれ補正処理を完了する。なお、本ステップで選択される画像は、例えばまだ合成部１０９において合成処理がなされていない場合は基準画像が選択されればよい。

以上説明したように、本実施形態の画像処理装置は、複数の画像から、当該画像間のずれを精度よく補正した画像を得ることができる。具体的には画像処理装置は、取得した複数の画像のうちの１つの画像を基準画像として設定し、基準画像に対する他の画像の動きベクトルをそれぞれ検出する。そして検出された動きベクトルのスカラ量と、基準画像と合成するための画像のずれの限界を表す閾値とを比較し、基準画像と合成する条件を満たすか否かを判断する。基準画像と合成する条件を満たす場合は、検出された動きベクトルを打ち消すように画像を移動して基準画像と合成することにより、画像間のずれを補正した画像を出力する。なお、基準画像と合成するための画像のずれの限界を表す閾値は、制御手段によって複数の画像が撮像された際の撮像設定や、撮像された複数の画像に含まれる被写体像の状態等に応じて変更される。
このようにすることで、複数の画像から画像間のずれを補正した画像において、二重像が発生することをさけ、かつ好適にずれが補正された画像を得ることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数の画像を取得する画像取得手段と、
   前記複数の画像が撮像された際の、当該複数の画像を撮像した撮像装置の撮像設定を取得する設定取得手段と、
   前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断手段と、
   前記判断手段により前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成手段と、
   前記閾値を変更する制御手段と、を備え、
   前記制御手段は、前記設定取得手段により取得された前記複数の画像が撮像された際の感度設定の設定値が低いほど、前記閾値を小さくすることを特徴とする画像処理装置。
2. 複数の画像を取得する画像取得手段と、
   前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断手段と、
   前記判断手段により前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成手段と、
   前記閾値を変更する制御手段と、を備え、
   前記制御手段は、前記画像取得手段により取得された前記複数の画像の数が少ないほど、前記閾値を小さくすることを特徴とする画像処理装置。
3. 複数の画像を取得する画像取得手段と、
   前記複数の画像が撮像された際の、当該複数の画像を撮像した撮像装置の撮像設定を取得する設定取得手段と、
   前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断手段と、
   前記判断手段により前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成手段と、
   前記閾値を変更する制御手段と、を備え、
   前記制御手段は、前記設定取得手段により取得された前記複数の画像が撮像された際の撮像モードの設定が風景モードである場合、前記閾値を前記撮像モードの設定が風景モード以外の他の撮像モードである場合よりも小さくすることを特徴とする画像処理装置。
4. 複数の画像を取得する画像取得手段と、
   前記複数の画像に人物像が含まれているか否かを判別する判別手段と、
   前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断手段と、
   前記判断手段により前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成手段と、
   前記閾値を変更する制御手段と、を備え、
   前記制御手段は、前記判別手段により前記複数の画像に人物像が含まれていると判断された場合、前記閾値を当該複数の画像に人物像が含まれていない場合よりも小さくすることを特徴とする画像処理装置。
5. 複数の画像を取得する画像取得手段と、
   前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを前記画像の領域ごとに検出する検出手段と、
   前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された前記領域ごとの動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記領域ごとの動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断手段と、
   前記判断手段により前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成手段と、
   前記閾値を変更する制御手段と、を備え、
   前記制御手段は、前記画像の領域のうち、像高が低い位置にある領域ほど、前記閾値を小さくすることを特徴とする画像処理装置。
6. 前記複数の画像が合成された１つの合成画像を出力する出力手段をさらに備え、
   前記判断手段が、前記基準画像を除く前記複数の画像を１つずつ判断するように構成される場合、
   前記出力手段は、前記判断手段により前記基準画像を除く複数の画像のうちの１つの画像が、前記基準画像と合成する条件を満たさないと判断された場合に、前記複数の画像のうち、前記基準画像と合成されていない１つの画像を、前記合成画像として出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像取得手段が、複数の画像を取得する画像取得工程と、
   設定取得手段が、前記複数の画像が撮像された際の、当該複数の画像を撮像した撮像装置の撮像設定を取得する設定取得工程と、
   設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
   検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
   判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断工程と、
   合成手段が、前記判断工程において前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成工程と、
   制御手段が、前記閾値を変更する制御工程と、を備え、
   前記制御工程において前記制御手段は、前記設定取得工程において取得された前記複数の画像が撮像された際の感度設定の設定値が低いほど、前記閾値を小さくすることを特徴とする画像処理装置の制御方法。
8. 画像取得手段が、複数の画像を取得する画像取得工程と、
   設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
   検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
   判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断工程と、
   合成手段が、前記判断工程において前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成工程と、
   制御手段が、前記閾値を変更する制御工程と、を備え、
   前記制御工程において前記制御手段は、前記画像取得工程において取得された前記複数の画像の数が少ないほど、前記閾値を小さくすることを特徴とする画像処理装置の制御方法。
9. 画像取得手段が、複数の画像を取得する画像取得工程と、
   設定取得手段が、前記複数の画像が撮像された際の、当該複数の画像を撮像した撮像装置の撮像設定を取得する設定取得工程と、
   設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
   検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
   判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断工程と、
   合成手段が、前記判断工程において前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成工程と、
   制御手段が、前記閾値を変更する制御工程と、を備え、
   前記制御工程において前記制御手段は、前記設定取得工程において取得された前記複数の画像が撮像された際の撮像モードの設定が風景モードである場合、前記閾値を前記撮像モードの設定が風景モード以外の他の撮像モードである場合よりも小さくすることを特徴とする画像処理装置の制御方法。
10. 画像取得手段が、複数の画像を取得する画像取得工程と、
    判別手段が、前記複数の画像に人物像が含まれているか否かを判別する判別工程と、
    設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
    検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
    判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断工程と、
    合成手段が、前記判断工程において前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成工程と、
    制御手段が、前記閾値を変更する制御工程と、を備え、
    前記制御工程において前記制御手段は、前記判別工程において前記複数の画像に人物像が含まれていると判断された場合、前記閾値を当該複数の画像に人物像が含まれていない場合よりも小さくすることを特徴とする画像処理装置の制御方法。
11. 画像取得手段が、複数の画像を取得する画像取得工程と、
    設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
    検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを前記画像の領域ごとに検出する検出工程と、
    判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された前記領域ごとの動きベクトルのスカラ量と前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記領域ごとの動きベクトルのスカラ量が前記閾値以下である場合に、前記基準画像と合成する条件を満たすと判断する判断工程と、
    合成手段が、前記判断工程において前記基準画像と合成する条件を満たすと判断された画像を、当該画像の動きベクトルを打ち消すように移動して前記基準画像と合成する合成工程と、
    制御手段が、前記閾値を変更する制御工程と、を備え、
    前記制御工程において前記制御手段は、前記画像の領域のうち、像高が低い位置にある領域ほど、前記閾値を小さくすることを特徴とする画像処理装置の制御方法。

Images