JP2019101996A - 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 複数の画像フレーム間で明るさが変動した場合でも、ノイズの影響を軽減し更に合成前の画像の明るさと合成後の画像の明るさの差を小さく制御する画像処理装置を提供することを目的とする。【解決手段】 基準フレーム画像を含む複数のフレーム画像を取得する取得手段と、前記基準フレーム画像に対する前記基準フレーム画像と異なる他フレーム画像の信号の変化量を求める変化量算出手段と、前記基準フレーム画像と前記他フレーム画像を比較して各フレーム画像における背景領域を抽出する抽出手段と、前記他フレーム画像から前記基準フレーム画像と合成する画像を選択する選択手段と、前記選択手段で選択された他フレーム画像と前記基準画像とを合成する合成手段と、を有し、前記選択手段は、前記基準フレーム画像の前記背景領域に対し、前記変化量が閾値以下となる背景領域を有する他フレーム画像を選択することを特徴とする。【選択図】 図１

Description

本発明は、複数撮影した画像を合成しノイズを低減する複数枚合成技術に関する。

従来から静止画像の画像処理技術として連続撮影した画像に対して画像合成を行うことでノイズ低減効果を得る技術が知られている（以後マルチショットＮＲと呼ぶ）。マルチショットＮＲ技術は、現在では静止画撮影においてだけではなく、動画撮影に対しても処理を行われ始めている。

マルチショットＮＲを動画で実現する方法としては、動画を連続する静止画フレームとして扱い、動画の所定再生位置から数フレームを複数の静止画のフレームとして切り出すことを行う。次に切り出した静止画フレームの画像合成を行うことでノイズ低減を行った合成静止画フレームを生成することができる。このように行うことで、動画からでもノイズ低減効果を実現した静止画フレームを取り出すことができる。

しかしながら動画から切り出した静止画フレームでは、シーンの明るさの変動があった場合（被写体の照度変化）に、ＡＥ（自動明るさ調整）が露出制御に反映されるまでの制御が静止画撮影に比べ遅く、数フレーム後に適正なＡＥになるように制御される。動画ではその影響で、動画の複数フレームの間で被写体の明るさが適正の明るさとは異なってしまう。上記のような複数フレームの間で被写体の明るさが異なる画像に対して合成を行うと、合成前の画像に対して合成後の画像での明るさが変化してしまい、ユーザが期待していた画像とは異なってしまう。（ただし、動画に限った場合ではなく、静止画でもフリッカーや部分的な照明変動の影響で同様の問題が発生する場合もある）

これに対して特許文献１は、第１画像と第２画像との差分情報に基づいて動体尤度を検出し、動体尤度を用いて露出変換関数を推定し画像間の明るさの差を補正して合成する。これにより、第１画像と第２画像の明るさの差を補正し合成することで合成後の画像が合成前の画像の明るさからと差が小さくなることを実現している。

特許０５３６５８２３号

しかしながら、特許文献１では画像間の明るさを補正するために撮影した画像フレームの信号値のゲイン調整によって明るさを補正する。そのため、明るさを補正した影響で、画像に含まれるノイズが増幅されてしまいマルチショットＮＲ本来のノイズ低減効果が期待できない場合が発生する。

上記課題に鑑み、本発明の目的は、動画のように複数の画像フレーム間で明るさが変動した場合でも、ノイズ低減効果を得つつ、更に合成前の画像の明るさと合成後の画像の明るさの差を軽減する画像処理装置を提供することである。

上記課題を解決するために、本発明の画像処理装置は、基準フレーム画像を含む複数のフレーム画像を取得する取得手段と、前記基準フレーム画像に対する前記基準フレーム画像と異なる他フレーム画像の信号の変化量を求める変化量算出手段と、前記基準フレーム画像と前記他フレーム画像を比較して各フレーム画像における背景領域を抽出する抽出手段と、前記他フレーム画像から前記基準フレーム画像と合成する画像を選択する選択手段と、前記選択手段で選択された他フレーム画像と前記基準画像とを合成する合成手段と、を有し、前記選択手段は、前記基準フレーム画像の前記背景領域に対し、前記変化量が閾値以下となる背景領域を有する他フレーム画像を選択することを特徴とする。

また、本発明の画像処理方法は、基準フレーム画像を含む複数のフレーム画像を取得する取得ステップと、前記基準フレーム画像に対する前記基準フレーム画像と異なる他フレーム画像の信号の変化量を求める変化量算出ステップと、前記基準フレーム画像と前記他フレーム画像を比較して各フレーム画像における背景領域を抽出する抽出ステップと、前記他フレーム画像から前記基準フレーム画像と合成する画像を選択する選択ステップと、前記選択ステップにて選択された他フレーム画像と前記基準画像とを合成する合成ステップと、を有し、前記選択ステップでは、前記基準フレーム画像の前記背景領域に対し、前記変化量が閾値以下となる背景領域を有する他フレーム画像を選択することを特徴とする。

本発明によれば、ノイズの影響を軽減し、合成前の画像の明るさと合成後の画像の明るさの差を制御する画像処理装置及び画像処理方法を提供することである。

本発明の画像処理技術を実現する撮像装置の構成例を示すブロック図 本実施例１における処理フローチャート図 ＡＥ処理と実際の撮像で設定する露出の差を説明する図 被写体の明るさ変化を説明する図 背景被写体領域の検出方法を説明する図 ベクトル検出方法を説明する図 位置合わせの特徴点を説明する図 本実施例２における処理フローチャート図 本実施例２の変形例における背景領域の明るさ変化の判定のフローチャート図 位置合わせの対象画像を説明する図

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

図１は、本発明の画像処理技術を適用可能な画像処理装置を含む撮像装置の構成例を示すブロック図である。以下では画像処理装置、撮像装置の一例として、デジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう画像処理装置は、撮像画像を取得可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

システム制御部１０１は、例えばＣＰＵであり、撮像装置であるカメラ１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することによりカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、カメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、カメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成される。光学系１０４を介して取得された被写体像は、撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、前記光学系により前記撮像部に結像された光学像を光電変換し、得られた一対のアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。

画像処理部１０７は、ＲＡＭ１０３に記録された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を適用する。

表示部１０８は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記録した画像処理部による画像処理後の画像及び後述の記録部１０９に記録した画像やユーザからの指示を受け付けるための操作ユーザーインターフェイスを表示する。記録部１０９は、メモリーカードやハードディスク等の記録媒体であり、本実施例の画像処理を行った最終的な出力画像データを格納する。

以上、カメラ１００の構成と、基本動作について説明した。

以下、本実施例の特徴である、画像処理部１０７の動作について図２に記載のフローチャートを用いて説明を行う。以下の処理はＲＯＭ１０２に記録されたプログラムに従って、制御部１０１が装置の各部を制御し、画像処理部１０７への入力や出力を制御することにより実現される。

図２のステップＳ２０１では、撮影動作を行うためＩＳＯ感度、シャッタースピード、絞りなどの露出等のカメラ設定を行い、画像を取得する。

尚本実施例ではカメラを三脚等に固定して撮影することで、手ぶれ等の影響による２枚の画像間で位置ずれは生じておらず無視できるものとする。このとき、撮像部１０５で本撮影前に撮像した動画像のフレームを用いて、画像処理部１０７ではＡＥ（自動露出）処理を行う。ＡＥ処理では、撮影するシーンが適正な明るさで画像信号が取得できるように絞り、感度、シャッタースピードの露出パラメータを設定するための適正露出を算出する。ただし動画のＡＥ処理では静止画のＡＥ処理と異なり、動画像の前後フレーム間で明るさの変化が大きく変更しないように所定フレーム後に適正な露出に合うように撮像時の露出設定の制御を行う。

図２のステップＳ２０２は、動画像のフレームから基準位置を決定する。この基準位置の動画像フレーム（基準フレーム画像）は最終出力の合成画像で画角の基準となり、ユーザからのフレームの指定を受け付けつけて決定する。

図２のステップＳ２０３では、ステップＳ２０２で選ばれた動画像のフレームの基準位置から時系列が近い所定範囲の画像を仮合成範囲の動画像フレーム（他フレーム画像）として選択する。以上ステップＳ２０１〜Ｓ２０３までの各処理について図３（ａ）と図４を用いて詳しく説明する。

図４は、天候が晴れから曇りに変わりシーンの明るさが変化した時のある所定間隔で動画像フレームから取り出した３フレームを表わしている。晴れの状態の動画像フレーム４０１から、雲が広がっている４０２、そして完全に曇りとなる４０３の動画像フレーム間で被写体の明るさが変化している。そのため、４０１〜４０３それぞれの動画像フレームの明るさを適正に調整するためのＡＥ処理を行い、絞り、感度、シャッタースピードの露出パラメータを算出する。正確に被写体の明るさを表わす指標はＢＶ値と呼ばれ、ＢＶ＝ＥＶ（絞り値＋シャッタースピード値）＋ＳＶ（感度値）で表せられる。本実施例では撮影感度を一定で撮影したとして説明するため、ＥＶ値で被写体の明るさを表現する。ここで、動画像フレームに対してカメラで制御されたＥＶ値と目標となるＥＶ値の変化を図３（ａ）で表す。

図３（ａ）のグラフは横軸に時系列で撮像された画像フレーム、縦軸はＥＶ値を表わす。ＥＶ値とは、レンズの絞り値とシャッタースピードの組み合わせで得られる光の量を表わしている。ＥＶ目標値（３０１、３０２、３０３の点線）は実際のシーンを撮影する時の適正な明るさに相当し、制御ＥＶ値（３１１、３１２、３１３の実線）はカメラで撮像した動画像フレームの信号値の明るさを表わしている。区間３４１は図４の４０１、区間３４２は図４の４０２、区間３４３は図４の４０３のシーンに対応する動画像フレームとなっている。このときシーンの明るさが変わらない区間３４１、３４３は、ＥＶ目標値と制御ＥＶ値の差が無い（図の表示上実線と点線を離しているが実際は重なっている）ため、適正な明るさで動画像データが撮像されている。しかし、区間３４２では、ＥＶ目標値と制御ＥＶ値の間に差３３１が発生しており、この区間３４２では適正よりも動画像データは暗く撮像されている。ここでユーザが選択した合成の基準となる動画像のフレームは、基準を基準位置３５１とすると、基準フレーム画像３５１を含み、その後方の所定数のフレームを合成対象の動画像のフレーム（以下、他フレーム画像と呼ぶ）とする。

図２のフローチャートの説明に戻る。

図２のステップＳ２０４では、仮合成画像選択された範囲の動画像のフレームに対して背景領域を検出する。本実施形でいう背景領域とは、ステップＳ２０２で基準位置に選んだ動画像の基準位置の動画像フレームと、ステップＳ２０３で選択した他フレーム画像の中で被写体の動きが小さい領域を示す。

具体的に背景領域の検出として、基準フレーム画像に対して、動き量としてベクトルを検出し、ベクトル動き方向や、ベクトル動きの大きさを元に動体（背景ではない領域）と非動体領域（背景領域）を判定する処理を行う。図５を用いて説明する。

図５はある被写体シーンに対する背景領域として検出した領域を示した図である。図５（ａ）は背景領域が広い場合を表わしている。そして、図５（ａ）の背景領域５３１は、基準フレーム画像５０１と、他フレーム画像の内の１フレームを表わす５０２のフレームから検出された背景領域である。一方、図５（ｂ）は背景領域が狭い場合を表わしている。そして、図５（ｂ）の背景領域５３３は、基準フレーム画像５０３と、複数の他フレーム画像の内の１フレーム５０４のフレームから検出された背景領域である。背景領域の判定は、フレーム間の被写体の動きベクトルを検出し、ベクトルの大きさが小さい領域を背景領域とする。ベクトルを用いて領域を決定する方法については、上記の方法以外にも既存のベクトルのクラスタリングアルゴリズムを適用することが可能である。

動き領域５３２は、例えば動きベクトル５２２のようなベクトルが大きく、周囲のベクトルと大きさ、向きが近い領域をひとつの動体領域とする（設計上の所定値と閾値判定によって判断する）。逆に５２１のような静止していて動きがない領域に関しては、ベクトルが０付近の値となり動き領域とは異なると判断する。ベクトル検出方法については、図６を用いて説明を行う。

図６（ａ）は、ベクトル探索を行うためのテンプレート位置を示した図である。テンプレートマッチングを行う際には、移動量を検出するために基準画像とベクトル算出の対象であるベクトル検出画像のどちらか一方の画像からテンプレート画像と呼ばれる小領域の画像を決定する。例えば、図６（ａ）の６２０は、等間隔に配置した複数のテンプレート画像群を表している。説明のためにそのうちの一つのテンプレート画像を６２１として説明する。

図６（ｂ）は、ベクトル探索の位置や範囲の設定を説明する図で、基準画像６００（基準フレーム画像に相当）とベクトル検出画像６０１の画像である（他フレーム画像に相当）。ベクトル検出画像から決定したテンプレート６２１の領域と位置を起点にして、基準画像ではテンプレート６２２の位置をベクトル探索開始位置とする。そして、その周囲の斜線領域をベクトル探索範囲６４１として、テンプレート６２１と比較を行い相関が高い位置と、テンプレート６２１との位置ズレを動きベクトルとして検出する。この操作を、テンプレート画像群６２０すべての領域で行い、テンプレートの数分のベクトルを検出する。このとき、例えばテンプレート画像群のそれぞれのテンプレート画像のコントラストを判定し、コントラストが低いテンプレート画像に関してはテンプレートマッチングを行わなくてもよい。

また、背景領域の検出としてフレームの間の信号値の変化が小さい領域を検出してもよい。例えば、基準フレーム画像と他フレーム画像の所定領域毎の信号値の絶対値差分を算出し、所定の閾値以下の差分値を算出した領域を背景領域として判定する。検出された背景領域は、ＲＡＭ１０３上の各フレーム画像が記録された領域内でマーキングされるか、ＲＡＭ１０３上の別の領域に移動されるなどして抽出される。

図２のフローチャートの説明に戻る。

図２のステップＳ２０５では、基準フレーム画像と、他フレーム画像のフレーム内の所定領域毎の明るさ変化を検出する変化量算出処理を行う。明るさ変化の検出方法としては、ステップＳ２０４で求めた背景領域の領域に対して、基準フレーム画像と、複数の他フレーム画像それぞれで輝度値の積分を行い、二つのフレーム間で輝度積分値の差分を算出する。この輝度積分値の差分をフレーム画像間の信号の変化量として所定の閾値と比較する。ここで背景領域の明るさ変化（信号の変化量）が所定値よりも小さい場合には、ステップＳ２０７に移る。背景領域の明るさ変化が所定値よりも大きい場合には、ステップＳ２０３の処理に戻り、再度別のフレームを選択する。ただし、所定数のフレーム数分がステップＳ２０７に移行しなかった場合（合成に採用するフレームが無い場合）には、明るさ変化が最も小さいフレームから所定枚数分を合成するフレームとして採用することを行ってもよい。

ステップＳ２０７では、現在判定している他フレーム画像を正式な合成フレームに採用し、ステップＳ２０８の処理に移る。

ステップＳ２０８では、合成範囲として選択された画像が所定枚数に達したか、もしくは選択するフレームが無くなった場合には、正式な合成フレームが決定しステップＳ２０９の処理に移る。それ以外の場合には、再度ステップＳ２０３の処理に移り再度合成フレーム画像となる他フレーム画像の選択の判定処理を繰り返す。

ここで、ステップＳ２０１〜Ｓ２０８の処理によって選択された他フレーム画像について図３を用いて説明を行う。

図３（ｂ）はステップＳ２０１〜Ｓ２０８の処理によって合成対象の他フレーム画像を最適に選択された様子を示した図である。基準フレーム画像は、図３（ａ）の３５１と同じフレームに対応する３５２であるが、他フレーム画像３６１に対して、３６２がステップＳ２０１〜Ｓ２０８の処理で選択された合成フレーム範囲になっている。これは、当初の仮合成画像範囲として選択された動画像フレームにお行けるＥＶ目標値に対して制御ＥＶ値３３１の領域となり、目標のＥＶ値に比べ大きなズレが生じている（領域３３１）。一方、再設定した合成画像範囲では、ＥＶ目標値と制御ＥＶ値のズレが小さくなっている（領域３３２）。このように、ステップＳ２０１〜Ｓ２０８の処理によって適切な他フレーム画像が決定されることにより、合成するフレーム間の明るさの変動が小さく、適正に近い露光設定が行われたフレーム画像が選択されるようになる。

図２のフローチャートの説明に戻る。

図２のステップＳ２０９では、正式な合成フレームとして決まった複数の動画像フレームを用いて加算平均合成を行う。ここでは巡回的に２枚の動画像フレームの合成を繰り返し、最終的に複数の動画像フレームの加算平均合成を行う方法を説明する。方法としては、合成元画像と合成対象画像との合成比率を合成回数によって変更することで実現する。例えば、基準フレーム画像の他に、合成範囲の動画像フレーム３枚を合成する場合には、基準フレーム画像１枚に対し、１回目の合成では基準フレーム画像と合成範囲の動画像フレームの１枚目を均等の割合（１／２の比率）で合成し合成画像を生成する。２回目の合成では、１回目に合成した画像と合成範囲の動画像フレームの２枚目を合成画像に重みを付けた割合（２／３と１／３の比率）で合成することで実現できる。同様にして３回目の合成を行い（３／４と１／４の比率）で合成することで、基準フレーム画像を含む４枚の動画像フレームを均等の割合で合成した加算平均合成を巡回的な処理で行うことが可能である。上記で説明した加算平均合成処理を式で書くと以下になる。

ここでｉｍｇ_０は基準フレーム画像の信号値、ｉｍｇ_ｎ≠０は合成範囲の動画像フレームの信号値を表わす。または、ｎは、合成回数に該当する。

以上で、図２のフローチャートの処理の説明を終了する。

図２のフローチャートの処理を行うことで、複数の画像フレーム間で明るさが変動した場合でもノイズの影響を軽減し、更に合成前の画像の明るさと合成後の画像の明るさの差を小さく制御する画像処理装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本実施例中の基準フレーム画像は、ユーザが指定したフレームから変更させることも可能である。その場合には、ユーザが指定したフレームから時間的な差が小さいフレームを選択してもよい。また、ＥＶ目標値と制御ＥＶ値の差が小さいフレームを選択することも可能である。

本実施例中の図２または、図８のステップＳ２０３の仮合成対象画像選択では、基準フレーム画像に対して連続するフレーム以外を選んでもよい。このとき例えば、背景領域の広さや、ＥＶ目標値と制御ＥＶ値の差の片方または両方を元に他フレーム画像を選択してもよい。すなわち基準フレーム画像との間でＥＶ目標値と制御ＥＶ値の少なくとも一方の差が相対的に小さい（あるいは閾値より小さい）複数のフレームを他フレーム画像として選択してもよい。

また本実施例中では、合成対象画像として最適な動画像フレームを選択し、合成する方法について述べたが、フレーム単位では無く、選択した最適な動画像フレームから背景領域に対応する部分のみを合成する構成をとることも可能である。

以下、実施例２では、三脚固定で撮影された動画像フレームではなく、手持ちで撮影された動画像フレームに対して適用した例について説明する。

本発明の実施形態に係るデジタルカメラの機能構成は実施例１と同じであるため説明を省略する（図１）。

本実施例の特徴である、画像処理部１０７の動作について図２に記載のフローチャートを用いて説明を行う。以下の処理はＲＯＭ１０２に記録されたプログラムに従って、制御部１０１が装置の各部を制御し、画像処理部１０７への入力や出力を制御することにより実現される。図８のフローチャートを用いて実施例２の全体処理を説明する。尚、実施例２の全体処理の図８のフローチャートは、実施例１の図２のフローチャートと同じ処理を行うステップは、図２のフローチャートと同記号を用いて説明を省略する。実施例１と異なる処理ステップはステップＳ８０１の処理であるため、ステップＳ８０１以降の処理を説明する。

図８のステップＳ８０１は、ステップＳ２０２で求めた基準位置を決定した基準フレーム画像と、合成対象の他フレーム画像の背景被写体の位置を合わせる処理を行う。基準位置の動画像フレームと合成対象の動画像フレームの対応位置を動きベクトルを算出し、ベクトルを元に幾何変形処理を行い、他フレーム画像の位置を基準位置の動画像フレームに合わせる処理を行う。位置合わせに関しては図７、１０を用いて詳細に説明を行う。

位置合わせ処理を行うためには、画像間の変形量を補正する位置合わせ係数を算出する。まず図１０を用いて位置合わせ処理について説明する。図１０の画像１００１と１００２は、それぞれ位置合わせ基準の画像（１００１）と、位置合わせ補正対象の画像（１００２）である。位置合わせ補正処理は、並進成分に加え手振れが発生することで回転や煽りの成分が発生し、その結果、画像１００２の様に画像が回転や煽りの影響を受けた画像が取得される。このような場合に並進成分や回転成分、あおり成分を幾何変形処理によって補正するための係数として幾何変換係数算出を行う。この幾何変形処理を行う幾何変換係数を位置合わせ係数と呼ぶ。例えば、画像１００２を模式的に表した図が１００３であり、本来補正すべき画像１００１の位置を１００４で示している。この時１００３から１００４に幾何変形処理を行う際に用いる位置合わせ係数が１０１１である。１００５の位置合わせ係数Ａは一般的に式（２）で表され、画像の座標をＩ（ｘ座標，ｙ座標）とすると式（３）の幾何変形処理を行うことで、１００３から１００４の位置合わせを実行することができる係数となっている。

位置合わせ係数を算出するために、それぞれ位置合わせ基準の画像（１００１）と、位置合わせ補正対象の画像（１００２）の２画像間で画像セットを設定する。画像セットは、例えば補正対象画像よりも撮影時間が１フレーム前の画像を位置合わせの基準とする画像とし、もう一枚を補正対象画像とする。

そして、画像セット間で画像の領域毎に特徴点（もしくは特徴領域）の移動方向・移動量を特徴量としてベクトルを算出する。そして、算出したベクトルを基に画像セット間の位置関係（並進・回転・縮小・拡大）を表す幾何変換係数を位置合わせ係数として求める。

図７（ａ）の７０１は画像全体を表し、７１１は画像全体に均等に設定した特徴点（または特徴領域）を表す。特徴点としては、単純に画像領域で等間隔位置のブロックを取り出しても良いが、エッジ部分や高周波から低周波の周波数成分を多く含むテクスチャを選択した方が画像セット間のベクトルを正確に求めることができる。

図７（ｂ）の７０２は、位置合わせ対象画像であり、７０３は、画像セット間で位置合わせの基準とする画像を表す。画像７０２と画像７０３に対して、対応する特徴点の位置を計算し、対応する特徴点の方向と移動量を算出する。例えば、７２１〜７２３、７３１〜７３３は、方向と移動量を表す特徴量としてベクトルを矢印で図示したものである。同様にして、残りの特徴点に対してもベクトルを算出する。

一般的に画像間の特徴点の対応関係を求める方法として、ブロックマッチング手法が用いられている。このブロックマッチング手法は、撮影した等倍の画像だけで無く、段階的に縮小した画像に対してブロックマッチングを行うことで、階層ベクトル検出を行うことも可能である。階層的にベクトル検出を行うことで、探索範囲を広くしてもベクトル検出に掛かる処理時間の増加を抑えることが可能となる。

続いて求めたベクトル群を用いて、幾何変換係数を求める。例えばベクトルＸ１は、基準画像の特徴点の座標Ｘ’＝（ｘ’１，ｙ’１，１）と位置合わせ対象画像の特徴点の座標Ｘ＝（ｘ１，ｙ１，１）の３次元の座標系を含む情報を持っている。従って、式（４）のように、位置合わせ対象画像の特徴点の座標Ｘに所定の変換係数Ａを掛けることで求めた座標Ｘ’と、基準画像の特徴点の座標と差分εが最も小さくなる変換係数Ａを求める。

この変換係数Ａを求める手法としては、ニュートン法やガウスニュートン法等、公知の最適化手法を用いて求める。求められた変換係数Ａを位置合わせ係数として採用する。

図８のフローチャートに戻って説明を行う。

図８のステップＳ２０４では、基準フレーム画像とステップＳ８０１で位置合わせを行った合成対象の動画像フレームの画像を用いて実施例１のステップＳ２０４の処理を行い背景領域の検出を行う。背景領域の検出は、基準フレーム画像に対して手ぶれを補正するための幾何変換を行った後の他フレーム画像を用いるため、背景領域は、動きベクトルはほぼゼロとなり、図５の（ａ）または（ｂ）と同じように背景領域を検出することができる。

図８のステップＳ２０５〜２０９の処理は実施例１と同様の処理のため説明を省略する。

以上で、図２のフローチャートの処理の説明を終了する。

図８のフローチャートの処理を行うことで、手持ちで撮影した動画像フレームに対して複数の画像フレーム間で明るさが変動した場合でも、ノイズの影響を軽減し更に合成前の画像の明るさと合成後の画像の明るさの差を小さく制御する画像処理装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、手持ちで撮影された動画像フレームに対して本実施例は適用可能である。図８のステップＳ２０４の背景領域の検出は、基準フレーム画像に対して手ぶれを補正するための幾何変換を行う前の他フレーム画像のベクトルの大きさと向きを用いて判定してもよい。具体的には、位置合わせ前の他フレーム画像で算出した各々のベクトル開始位置（図７のベクトル始点７４１）に対して、式（４）変換係数Ａを求める。その後各々のベクトル開始位置に対して変換係数Ａで行列演算した座標と、各々のベクトル終了位置（図７のベクトル終点７４２）との誤差がある所定以下になるベクトルを検出することで、背景領域の判定を行うことが可能である。

また、本実施例中で説明した図８のステップＳ２０６の背景領域の明るさ変化の判定は、カメラのＡＥ処理を行った時のＥＶ目標値と実際の露出設定した制御ＥＶ値のＥＶ値の差と、背景領域検出結果を用いて行っても良い。図９のフローチャートを用いて説明を行う。

図９のステップＳ９０１は、他フレーム画像の露出値を決定した時のＥＶ目標値を取得する。同様にして図９のステップＳ９０２は、他フレーム画像の露出値を決定した時の制御ＥＶ値を取得する。

図９のステップＳ９０３は、ステップＳ９０１とステップＳ９０２で取得した他フレーム画像の目標ＥＶ値と制御ＥＶ値の差を検出する。

図９のステップＳ９０４は、ステップＳ９０３で求めた動画像フレームの目標ＥＶ値と制御ＥＶ値の差が、所定の閾値よりも小さいかを判定する。所定の閾値よりも大きい場合には、そのフレームを合成範囲の動画像フレームから除外する（ステップＳ９０８）。所定の閾値よりも小さい場合にはステップＳ９０５の処理に移る。

図９のステップＳ９０５では背景領域を検出し、検出した背景領域の面積を算出する。

図９のステップＳ９０６は、ステップＳ９０５で検出した背景領域の面積が所定面積よりも広いかどうかを判定する。所定の閾値よりも小さい場合には、そのフレームを合成範囲の動画像フレームから除外する（ステップＳ９０８）。所定の閾値よりも大きい場合には、そのフレームを合成範囲の動画像フレームに決定する（ステップＳ９０７）。

以上の図９のフローチャートを実行することで、背景領域の明るさ変化の判定を行うことができる。

また、システム制御部１０１は、ステップＳ２０６までの結果を受けて、ステップＳ２０２の基準画像を再選択してもよい。すなわち、基準フレーム画像はユーザが指定したフレームから変更し、例えば適正露出値算出を行い、適正露出値に近いフレームに指定してもよい。具体的には、ＡＥ処理により算出されたＥＶ目標値と、各フレーム画像の実際の撮影時に設定された露出設定で撮影される時の制御ＥＶ値との差が所定値以下になり、かつ時系列的にユーザが指定したフレームから時系列的に離れないフレームを選択する。

また、基準フレーム画像はユーザが指定したフレームから変更し、動画像から取得される複数の他フレーム画像と明るさの変化（信号の変化量）がより小さいフレーム画像を合成対象の他フレーム画像として再度選択してもよい。具体的には、基準フレーム画像と他フレーム画像の制御ＥＶ値との差が所定値以下になり、かつ時系列的にユーザが指定したフレームから時系列的に離れないフレームを選択する。

なお、上述した実施の形態の処理は、各機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行可能することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

１０１ システム制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 表示部
１０９ 記録部

Claims (12)

1. 基準フレーム画像を含む複数のフレーム画像を取得する取得手段と、
   前記基準フレーム画像に対する前記基準フレーム画像と異なる他フレーム画像の信号の変化量を求める変化量算出手段と、
   前記基準フレーム画像と前記他フレーム画像を比較して各フレーム画像における背景領域を抽出する抽出手段と、
   前記他フレーム画像から前記基準フレーム画像と合成する画像を選択する選択手段と、
   前記選択手段で選択された他フレーム画像と前記基準画像とを合成する合成手段と、を有し、
   前記選択手段は、前記基準フレーム画像の前記背景領域に対し、前記変化量が閾値以下となる背景領域を有する他フレーム画像を選択することを特徴とする画像処理装置。
2. 前記変化量算出手段は、前記基準フレーム画像と前記他フレーム画像との輝度値の差分情報を用いて算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記変化量算出手段は、露出値算出手段をもち、算出された適正露出値と、各フレーム画像の撮像時の露出値との差を用いて算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、前記基準フレーム画像から時系列であらかじめ決められた数のフレーム画像から合成する他フレーム画像を選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記選択手段は、前記取得手段により取得される複数のフレーム画像と前記変化量がより小さいフレーム画像を前記基準画像として再度選択することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段は、前記基準フレーム画像と、前記他フレームの間で被写体の動き量が小さい領域を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記抽出手段は、前記基準フレーム画像と、前記他フレーム画像の間で被写体の動き量が相対的に小さい領域を前記背景領域として抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記抽出手段は、係数算出手段と処理手段を有し、
   前記係数算出手段は、前記他フレーム画像を前記基準フレーム画像の位置に基づいて補正するための幾何変換係数を算出し、
   前記処理手段は、前記幾何変換係数を用いて、前記他フレーム画像に幾何変形処理を行い、前記基準フレーム画像と前記幾何変形処理を行った後の前記他フレーム画像の間で被写体の動き量が小さい領域を前記背景領域として抽出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記抽出手段は係数算出手段を有し、前記係数算出手段は、前記他フレーム画像を前記基準フレーム画像の位置に補正するための幾何変換係数を算出し、
   前記幾何変換係数と相関が高い前記基準フレーム画像と、前記他フレーム画像との間で被写体の動き量を持つ領域を前記背景領域として抽出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 基準フレーム画像を含む複数のフレーム画像を取得する取得ステップと、
    前記基準フレーム画像に対する前記基準フレーム画像と異なる他フレーム画像の信号の変化量を求める変化量算出ステップと、
    前記基準フレーム画像と前記他フレーム画像を比較して各フレーム画像における背景領域を抽出する抽出ステップと、
    前記他フレーム画像から前記基準フレーム画像と合成する画像を選択する選択ステップと、
    前記選択ステップにて選択された他フレーム画像と前記基準画像とを合成する合成ステップと、を有し、
    前記選択ステップでは、前記基準フレーム画像の前記背景領域に対し、前記変化量が閾値以下となる背景領域を有する他フレーム画像を選択することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
12. コンピュータに、請求項１０に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images