JP2016208083A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】移動体画像の合成処理がなされる場合に、合成処理後の移動体画像が不自然な画像として描写されてしまうような画質劣化を低減可能となる。
【解決手段】適フレーム画像とアンダーフレーム画像から移動体画像を検出するための動きベクトル算出部（４０７）と、移動体画像の移動量を求める移動量算出部（４１１）と、移動体画像の面積を求める面積検出部（４１０）と、適フレーム画像とアンダーフレーム画像を合成する合成部（４１４）と、移動体画像の移動量と面積に基づいて、適フレーム画像の移動体画像とアンダーフレーム画像の移動体画像との合成比率を算出する移動体合成比率算出部（４１３）とを有することを特徴とする。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来の技術として、異なる露光量で撮影した複数フレームの画像を合成することにより、ハイダイナミックレンジ画像を得る画像合成処理（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｉｍａｇｉｎｇ）技術が知られている。ＨＤＲ技術では、各フレーム画像のなかで適正露出となっている画像領域をつなぎ合わせるような画像合成を行うことでいわゆる白飛びや黒潰れの無い画像を得ることができる。このＨＤＲ技術による画像合成処理は、動画像撮影で得られた時系列順の複数フレーム画像を合成して１フレームの画像を生成するような処理を、それら時系列順の複数フレームごとに繰り返すことにより、動画像に対しても実現可能である。

ただし、動画像に対してＨＤＲによる合成処理を行った場合、複数フレームから１フレームの画像が合成されるため、合成処理後の動画像のフレームレートは、撮像がなされた際のフレームレートよりも低下してしまう。このため、例えば被写体が移動している移動体である場合には、その移動体の画像の動きが滑らかに見えないという問題がある。これに対して、移動体画像を合成して、その被写体画像が移動によりぶれているような状態の画像を生成することにより、移動体画像の動きを滑らかに見せる手法が知られている。しかしながらこの手法では、例えば移動体画像の移動量が大きい場合には不自然な描写になってしまう。

このようなことから、特許文献１や特許文献２に記載されているような技術が提案されている。特許文献１には、ＨＤＲによる合成処理において、合成される画像の動きベクトルを算出し、動きベクトルがある閾値よりも大きい場合は、その画素の合成を行わないようにする技術が開示されている。特許文献２には、例えば撮影感度が低い場合や、合成画像の数が少ない場合、人物が検出された場合等の条件に当てはまるときには、ＨＤＲによる合成処理を行うか否かを決める閾値を小さくする技術が開示されている。

特開平１０−２４３２８８号公報 特開２０１２−２９０１４号公報

特許文献１に記載の技術では、移動量が小さい移動体画像に対して合成処理を行い、一方、移動量が大きい移動体画像に対しては合成処理を行わないようにしている。このため、移動量の大きい移動体画像が合成処理されることによる不自然な描写の発生は避けられる。しかしながら、移動量が小さいために合成処理されることになった移動体画像が、例えば目立つ画像であるような場合には、合成処理後の移動体画像が不自然な画像として描写されてしまうことがある。また、特許文献２に記載の技術では、様々な条件に応じて合成の仕方を変えるようになされているため、不自然な描写になることは非常に少なくなる。しかしながら、特許文献２の技術の場合も、合成されることになった移動体画像が、例えば目立つ画像であるような場合には、合成処理後の移動体画像が不自然な画像として描写されてしまうことがある。つまり、これらの技術では、合成処理後の移動体画像が不自然な画像として描写されてしまうような画質劣化が発生してしまう虞がある。

本発明はこのような問題点に鑑みてなされたものであり、合成処理後の移動体画像が不自然な画像として描写されてしまうような画質劣化を低減可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の画像処理装置は、動画撮影による第１のフレーム画像と第２のフレーム画像の少なくとも二つのフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間に被写体位置が変化した被写体画像を移動体画像として検出する移動体検出手段と、前記第１のフレーム画像と前記第２のフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間の前記移動体画像の移動量を求める移動量検出手段と、前記移動体画像の面積を求める面積検出手段と、前記第１のフレーム画像と前記第２のフレーム画像を合成する合成手段と、前記移動体画像の前記移動量と前記面積に基づいて、前記合成手段により前記第１のフレーム画像と前記第２のフレーム画像が合成される際の、前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像との合成比率を制御する制御手段とを有することを特徴とする。

本発明によれば、移動体画像の合成処理がなされる場合に、合成処理後の移動体画像が不自然な画像として描写されてしまうような画質劣化を低減可能となる。

画像処理装置の概略構成を示す図である。 第１の実施形態のＨＤＲ処理部の構成例を示す図である。 動画像のフレーム順序を説明する図である。 現像部の構成例を示す図である。 適フレーム用とアンダーフレーム用のガンマカーブを説明する図である。 輝度合成比率と輝度の関係を説明するための図である。 動きベクトル検出を説明するための図である。 カメラの動きと背景画像の移動量の関係を説明する図である。 動きベクトルの算出例を説明するための図である。 移動体画像の動きベクトルの説明に用いる図である。 移動体画像のブロックごとの動きベクトルを説明する図である。 移動体画像を判定するため処理の説明に用いる図である。 移動被写体合成比率を適用する画像範囲を説明するための図である。 合成量と評価値を説明するための図である。 適フレーム画像の使用係数と平均輝度を説明するための図である。 第２の実施形態のＨＤＲ処理部の構成例を示す図である。 同じ面積の移動体画像を説明するための図である。 第３の実施形態のＨＤＲ処理部の構成例を示す図である。 輝度差合成比率を説明するための図である。 第４の実施形態の情報処理装置の概略構成を示す図である。 メモリの記憶エリアを説明するための図である。 第４の実施形態の画像処理の概略的なフローチャートである。 第４の実施形態の画像処理の詳細なフローチャートである。

本実施形態の画像処理装置は、一例としてデジタルカメラやデジタルビデオカメラであり、特にデジタル化された動画像信号の複数フレームの画像に対し、例えばＨＤＲによる合成処理を行って広いダイナミックレンジの動画像を生成する。本実施形態では、移動している被写体（以下、移動体とする。）に対してＨＤＲの合成処理がなされる場合に、動画像の見え方の滑らかさを維持した上で、ＨＤＲの合成処理による広いダイナミックレンジの動画像の生成を可能としている。具体的には、本実施形態では、動画撮影の際に、適正な露出による第１のフレーム（以下、「適フレーム」とする。）画像と、アンダー露出による第２のフレーム（以下、「アンダーフレーム」とする。）画像の、二つのフレーム画像を交互に撮像する。また、本実施形態では、それら交互に撮像された二つのフレーム画像を用いてＨＤＲの画像合成を行う際に、後述するように、移動体画像の移動量と面積と輝度を求める。そして、本実施形態では、移動体画像の移動量と面積と輝度に基づいて、移動体画像の合成比率（以下、移動体合成比率とする。）を制御する。これにより、本実施形態では、例えば移動体画像の移動量が大きい場合や移動体画像の面積が大きい場合のように、移動体画像が特に目立つ画像であったとしても、ＨＤＲの合成処理後の移動体画像が不自然な描写になってしまう画質劣化を軽減可能としている。

＜第１の実施形態＞
図１は、第１の実施形態の画像処理装置の一例としてのカメラの構成例を示す図である。図１に示すカメラは、光学系１と、撮像素子２と、信号処理部３と、ＨＤＲ処理部４と、調整処理部５と、符号化処理部６と、出力部７と、ＵＩ部８と、角速度センサ９と、バス１０とを有している。

図１において、アイリスやレンズ等を有する光学系１を通った光は、ＣＭＯＳ又はＣＣＤ等で構成される撮像素子２により光電変換される。撮像素子２での光電変換により取得された画像信号は、信号処理部３へ送られる。なお、撮像素子２は、いわゆるベイヤー配列の撮像デバイスである。ＵＩ部８は、ユーザインターフェイスのためのキーやスイッチ等と、それらキー等を介したユーザからの指示に基づいてカメラの各部に対する各種設定を行うための設定情報を生成する設定情報生成部とを有している。設定情報生成部は、ユーザの指示に基づいて、例えば動画モード又は静止画モードの選択とその選択されたモードに応じてカメラの各部を制御するための設定情報や、ＨＤＲモードの設定とそのＨＤＲモードでカメラの各部を制御するための設定情報を生成する。また、ＵＩ部８の設定情報生成部は、ＩＳＯ感度の設定やシャッタースピード、露光量の設定とそれらの設定に応じて撮影を行うための各種設定情報を生成する。ＵＩ部８で生成された各種の設定情報は、バス１０を介して、光学系１、撮像素子２、信号処理部３、ＨＤＲ処理部４、調整処理部５、符号化処理部６、出力部７等へ送られる。

以下、動画モードとＨＤＲモードに設定されて動画像撮影とＨＤＲによる画像合成が行われる場合の、本実施形態のカメラにおける各処理の概要を説明する。ユーザからの指示により動画モードとＨＤＲモードが選択された場合、ＵＩ部８は、適フレームとアンダーフレームの画像を交互に撮影してそれら両フレーム画像から１フレーム画像を合成する処理を行うための各設定情報を生成する。これら各設定情報は、前述のように光学系１や撮像素子２、信号処理部３、ＨＤＲ処理部４等へ送られる。この場合の光学系１と撮像素子２では、適フレーム画像とアンダーフレーム画像が交互に撮像され、それら適フレームとアンダーフレームの画像信号が信号処理部３へ送られる。

信号処理部３は、撮像素子２から供給された適フレームとアンダーフレームの画像信号に対し、Ａ／Ｄ変換とゲインコントロール等の各処理を行い、それら処理後の画像データをＨＤＲ処理部４へ出力する。また、角速度センサ９は、カメラの角速度を検出し、その検出した角速度値を、バス１０を介してＨＤＲ処理部４へ出力する。

ＨＤＲ処理部４は、信号処理部３から供給された適フレームとアンダーフレームの画像データと、角速度センサ９から供給された角速度値のデータとを用いて、後述するようなＨＤＲの画像合成処理を実行する。そして、ＨＤＲ処理部４は、その合成処理後の画像信号を、調整処理部５へ出力する。なお、ＨＤＲ処理部４の構成と合成処理については後に詳しく説明する。

調整処理部５は、ＨＤＲ処理部４による合成処理後の画像データに対して、輝度のゲイン調整やリサイズ等の各種調整処理を行い、その調整処理後の画像データを、符号化処理部６へ送る。符号化処理部６は、調整処理部５での調整処理後の画像データを符号化し、その符号化処理後のデータを出力部７へ送る。出力部７は、符号化処理後の画像データを例えばＨＤＭＩ（高精細度マルチメディアインターフェイス）（ＨＤＭＩは登録商標）などへ出力、メモリカードなどの記憶メディアへ保存、カメラのいわゆる背面液晶などの表示デバイスへ表示させる等の出力処理を行う。

図２は、図１のカメラのＨＤＲ処理部４の構成例を示す図である。図２に示すＨＤＲ処理部４は、入力端子４０１，４０２，４０３と、現像部４０４，４０５と、輝度合成比率算出部４０６と、動きベクトル算出部４０７と、背景分離部４０８と、位置合わせ部４０９とを有している。また、ＨＤＲ処理部４は、面積算出部４１０と、移動量算出部４１１と、輝度算出部４１２と、移動体合成比率算出部４１３と、合成部４１４と、出力端子４１５とを有している。

図２において、入力端子４０２には信号処理部３から供給された適フレームの画像データが入力され、入力端子４０３には信号処理部３から供給されたアンダーフレームの画像データが入力される。入力端子４０２に入力された適フレームの画像データは現像部４０４へ送られ、入力端子４０３に入力されたアンダーフレームの画像データは現像部４０５へ送られる。また、入力端子４０１には図１の角速度センサ９にて検出された角速度値のデータが入力されて背景分離部４０８へ送られる。

現像部４０４は、適フレームの画像データに対する現像処理を行い、その現像処理後の適フレームの画像データを、輝度合成比率算出部４０６と動きベクトル算出部４０７へ出力する。なお、現像処理とは、撮像素子２で撮像された生の画像（ＲＡＷ画像）をデベイヤー処理して輝度と色差から成る信号に変換し、それら輝度と色差の信号に対してノイズ除去や光学的な歪補正、画像の適正化などを行う処理である。現像部４０５は、アンダーフレームの画像データに対する現像処理を行い、その現像処理後のアンダーフレームの画像データを、輝度合成比率算出部４０６と動きベクトル算出部４０７へ出力する。現像部４０４，４０５の詳細は後述する。

輝度合成比率算出部４０６は、現像処理後のアンダーフレームの画像の輝度を基に、現像処理後の適フレームと現像処理後のアンダーフレームの二つのフレーム画像間における輝度合成比率を算出する。そして、輝度合成比率算出部４０６は、算出した輝度合成比率の情報を合成部４１４へ送る。輝度合成比率算出部４０６による輝度合成比率の算出処理の詳細は後述する。

動きベクトル算出部４０７は、移動体検出手段の一例であり、現像処理後の適フレームの画像を基準として、現像処理後の適フレームと現像処理後のアンダーフレームの二つのフレーム画像間で動きベクトルを算出する。すなわち、動きベクトル算出部４０７は、適フレーム画像の撮影とアンダーフレーム画像の撮影がなされた間に被写体位置が変化した被写体画像を移動体画像として検出するための動きベクトルを算出する。そして、動きベクトル算出部４０７は、その動きベクトルの情報と現像処理後の適フレームの画像データと現像処理後のアンダーフレームの画像データを、面積算出部４１０と移動量算出部４１１と輝度算出部４１２と背景分離部４０８へ送る。動きベクトル算出部４０７による動きベクトル算出処理の詳細は後述する。

背景分離部４０８は、現像処理後の適フレーム及び現像処理後のアンダーフレームの画像データと角速度値と動きベクトルとに基づいて、それら適フレーム画像とアンダーフレーム画像から背景画像と移動体画像とを分離する。そして、背景分離部４０８は、現像処理後の適フレーム及び現像処理後のアンダーフレームの画像データと、分離した背景画像と移動体画像に対応した動きベクトルの情報とを、位置合わせ部４０９へ送る。背景分離部４０８における背景分離処理の詳細は後述する。

位置合わせ部４０９は、背景画像の動きベクトルに基づいて、現像処理後のアンダーフレーム画像に対して、現像処理後の適フレーム画像の位置を合わせる位置合わせ処理を行う。そして、位置合わせ部４０９は、現像処理後のアンダーフレームの画像データと位置合わせ処理後の適フレームの画像データと移動体画像の動きベクトルの情報を、面積算出部４１０と移動量算出部４１１と輝度算出部４１２へ送る。また、位置合わせ部４０９は、位置合わせ処理後の適フレームの画像データと現像処理後のアンダーフレームの画像データを、合成部４１４へ送る。位置合わせ部４０９による位置合わせ処理の詳細は後述する。

面積算出部４１０は、面積検出手段の一例であり、現像処理後のアンダーフレームの画像データと位置合わせ処理後の適フレームの画像データと移動体画像の動きベクトルとに基づいて、移動体画像の面積を算出する。そして、面積算出部４１０は、移動体画像の面積の情報を、移動体合成比率算出部４１３へ送る。面積算出部４１０による面積算出処理の詳細は後述する。

移動量算出部４１１は、移動量検出手段の一例であり、現像処理後のアンダーフレームの画像データと位置合わせ処理後の適フレームの画像データと移動体画像の動きベクトルとに基づいて、移動体画像の移動量を算出する。すなわち、移動量算出部４１１は、適フレーム画像の撮影とアンダー画像の撮影がなされた間の移動体画像の移動量を求める。そして、移動量算出部４１１は、移動体画像の移動量の情報と現像処理後のアンダーフレームの画像データと位置合わせ処理後の適フレームの画像データとを、移動体合成比率算出部４１３へ送る。移動量算出部４１１による移動量算出処理の詳細は後述する。

輝度算出部４１２は、輝度検出手段の一例であり、現像処理後のアンダーフレームの画像データと、位置合わせ処理後の適フレームの画像データと、移動体画像の動きベクトルとに基づいて、移動体画像の輝度を算出する。そして、輝度算出部４１２は、移動体画像の輝度の情報を、移動体合成比率算出部４１３へ送る。輝度算出部４１２による輝度算出処理の詳細は後述する。

移動体合成比率算出部４１３は、現像処理後のアンダーフレームの画像データと位置合わせ処理後の適フレームの画像データと移動体画像の面積と移動量と輝度とに基づいて、各移動体画像に対する合成比率（移動体合成比率）を算出する。すなわち、移動体合成比率算出部４１３は、移動体画像の移動量と面積と輝度に基づいて、適フレーム画像の移動体画像とアンダーのフレーム画像の移動体画像との合成比率を制御する制御手段の一例である。そして、移動体合成比率算出部４１３は、移動体合成比率の情報を合成部４１４へ送る。移動体合成比率算出部４１３による移動体合成比率算出処理の詳細は後述する。

合成部４１４は、輝度合成比率と位置合わせ処理後の適フレームの画像データと現像処理後のアンダーフレームの画像データと各移動体合成比率の情報とに基づいて、位置合わせ処理後の適フレームの画像と現像処理後のアンダーフレームの画像とを合成する。そして、合成部４１４にて合成処理された後のフレーム画像データは、出力端子４１５を介して図１の調整処理部５へ送られる。合成部４１４による画像合成処理の詳細は後述する。

以下、ＨＤＲ処理部４における合成処理について、さらに詳しく説明する。入力端子４０２には、適フレームの画像データが、フレームごとに順次入力される。また、入力端子４０３には、アンダーフレームの画像データが、フレームごとに順次入力される。すなわちこのときの撮像素子２では、図３に示すように、適フレーム３５１ｒ，アンダーフレーム３５１ｕ，適フレーム３５２ｒ，アンダーフレーム３５２ｕ，・・・のように、適フレームとアンダーフレームの撮像が交互に行われている。そして、適フレーム３５１ｒ，３５２ｒ，３５３ｒ，３５４ｒ，・・・の画像データが入力端子４０２に順次入力され、アンダーフレーム３５１ｕ，３５２ｕ，３５３ｕ，３５４ｕ，・・・の画像データが入力端子４０３に順次入力されている。なお、本実施形態では、説明を簡単にするために、適フレーム画像とアンダーフレーム画像の露光量の差を、例えばＩＳＯ感度の２段分に相当する差とし、適フレームとアンダーフレームの順に撮像がなされているものとしている。もちろん、これら露光量の差等は一例である。また図３では、適フレームとアンダーフレームの組み合わせは、適フレーム３５１ｒとアンダーフレーム３５１ｕ、適フレーム３５２ｒとアンダーフレーム３５２ｕ、・・・のような２フレームずつの組み合わせになっているが、これ以外の組み合わせでもよい。

現像部４０４では適フレームの画像データに対する現像処理が行われ、現像部４０５ではアンダーフレームの画像データに対する現像処理が行われる。図４（ａ）には現像部４０４の構成例を示し、図４（ｂ）には現像部４０５の構成例を示す。図４（ａ）に示す現像部４０４は、ホワイトバランス部４０４１、ＮＲ処理部４０４２、色補間部４０４３、マトリクス変換部４０４４、ガンマ変換部４０４５、色調整部４０４６を有している。また、図４（ｂ）に示す現像部４０５は、ホワイトバランス部４０５１、ＮＲ処理部４０５２、色補間部４０５３、マトリクス変換部４０５４、ガンマ変換部４０５５、色調整部４０５６を有している。なお、これら図４（ａ）の現像部４０４と図４（ｂ）の現像部４０５は、殆どの部分が同じ構成となされているため、それら同じ構成については、図４（ａ）の現像部４０４の構成例についてのみ説明する。

ホワイトバランス部４０４１は、いわゆるホワイトバランスを調整する処理を行う。具体的には、ホワイトバランス部４０４１は、白くあるべき画像のＲ，Ｇ，Ｂの各色信号の値が同じ値になるようなゲインを、Ｒ，Ｇ，Ｂの各色信号に各々にかけるようなホワイトバランス調整処理を行う。ＮＲ処理部４０４２は、入力された画像内で、被写体や背景の画像等に由来しない、センサ（撮像素子２）等に起因するノイズ等を低減するノイズリダクション処理を行う。色補間部４０４３は、ベイヤー配列の撮像素子２によるＲ，Ｇ，Ｂの色モザイク画像を補間することによって、全ての画素においてＲ，Ｇ，Ｂの色信号が揃ったカラー画像を生成する。色補間部４０４３で生成されたカラー画像は、マトリクス変換部４０４４にてＲ，Ｇ，ＢからＹ，Ｕ，Ｖへの変換がなされ、さらにガンマ変換部４０４５にて階調補正が行われて基本的なカラー画像に変換される。その後、色調整部４０４６は、画像の見栄えを改善するための色調整処理として、例えば、彩度強調、色相補正、エッジ強調といった画像補正を、カラー画像に対して施す。

ここで、ＨＤＲによる画像合成が行われる場合、異なる露出で撮影した画像データが使用されるため、画像データには予めゲインをかけて輝度レベルを揃えておく必要がある。ゲインの値は、いわゆる白飛びや黒潰れにならない値に設定する必要があるため、一律なゲインの値ではなく、例えば図５に示すようなガンマカーブに対応した値が用いられる。図５において、図中実線で示すガンマカーブ５０１は、適フレーム用のガンマカーブの一例を示し、図中点線で示すガンマカーブ５０２は、アンダーフレーム用のガンマカーブの一例を示している。適フレームの画像に対しては、ガンマ変換部４０４５が図５のガンマカーブ５０１によるガンマ変換処理を行い、アンダーフレームの画像に対しては、ガンマ変換部４０５５が図５のガンマカーブ５０２によるガンマ変換処理を行う。図５に示すガンマ特性をみてわかるように、アンダーフレームの画像に対しては、適フレームの画像よりも大きいゲインがかけられることになるため、現像処理後のアンダーフレームの画像はノイズが増大することが懸念される。そこで、アンダーフレーム用の現像部４０５のＮＲ処理部４０５２は、適フレーム用の現像部４０４のＮＲ処理部４０４２よりも強いノイズリダクション（ＮＲ）処理をかける。これにより、現像処理後の適フレーム画像と現像処理後のアンダーフレーム画像のノイズ量が揃えられる。この処理により、適フレーム画像とアンダーフレーム画像の違いによる、ＨＤＲの画像合成処理後のフレーム画像の違和感が低減されることになる。ノイズ低減の具体的な手法としては、適当なカーネルサイズにおける平滑化処理などの一般的なノイズ低減手法や、εフィルタやエッジ保存型のバイラテラルフィルタといった公知のフィルタによるノイズ低減手法など様々な手法が考えられる。それらのノイズ低減手法は公知であるためここではそれらの説明は省略する。それらノイズ低減手法の何れを用いるかについては、カメラの処理速度やメモリといったリソースとのバランスを考慮して適宜適切な手法を選択すればよい。

なお、本実施形態では、二つの現像部４０４，４０５を有する例を挙げた、各現像部４０４，４０５の構成は同じであるため、現像部を一つのみとし、現像に用いるパラメータを、適フレームとアンダーフレームの画像入力に応じて切り替えるようにしてもよい。

図２に説明を戻し、輝度合成比率算出部４０６は、アンダーフレーム画像の各画像領域の輝度に応じて、それぞれ画像領域ごとの輝度合成比率を算出する。なお、輝度合成比率算出部４０６が輝度合成比率を算出する際の各画像領域は、フレーム画像を複数分割した各画像領域であり、例えば動きベクトル検出の際の後述するブロック画像に対応した画像領域でもよいし、それとは異なる画像領域でもよい。本実施形態では、説明を簡略にするために、輝度合成比率算出部４０６が輝度合成比率を算出する際の各画像領域は、後述するブロック画像に対応した画像領域であるとする。

図６には、輝度合成比率算出部４０６が、アンダーフレームの画像領域の輝度に応じて輝度合成比率を算出する際に参照する、輝度と輝度合成比率の関係を示すグラフの一例である。本実施形態のようにＨＤＲの合成画像が生成される場合、図６に示すように、輝度合成比率算出部４０６は、輝度合成閾値Ｙ１より暗い画像領域については適フレームの画像領域を使用する。一方、輝度合成比率算出部４０６は、輝度合成閾値Ｙ２より明るい画像領域についてはアンダーフレームの画像領域を使用する。また、輝度合成比率算出部４０６は、輝度合成閾値Ｙ１〜Ｙ２の明るさの画像領域については、その画像領域の輝度に応じて、適フレームの画像領域とアンダーフレームの画像領域の輝度合成比率を徐々に変化させる。すなわち、輝度合成閾値Ｙ１〜Ｙ２の明るさの画像領域に関しては、輝度合成比率算出部４０６は、画像領域の明るさが輝度合成閾値Ｙ１に近くなるほど、適フレームの画像領域の割合が多くなる輝度合成比率を生成する。逆に、輝度合成比率算出部４０６は、画像領域の明るさが輝度合成閾値Ｙ２に近くなるほど、アンダーフレームの画像領域の割合が多くなる輝度合成比率を生成する。これにより、輝度合成閾値Ｙ１〜Ｙ２の明るさの画像領域では、適フレームの画像領域とアンダーフレームの画像領域の合成による画像の明るさの切り替わりが滑らかになる。

図２の動きベクトル算出部４０７は、現像処理後の適フレームと現像処理後のアンダーフレームの画像間で、移動体画像の動きベクトルを算出する。動きベクトル算出部４０７は、先ず、現像処理後の適フレーム画像と現像処理後のアンダーフレーム画像を、それぞれ複数個のブロック画像に分割して、それらブロック画像ごとにエッジ検出処理を行う。エッジ検出の手法としては、例えば、入力画像にローパスフィルタをかけることで暈け量が大きい画像を作成して、入力画像から暈け量の大きい画像を減算することでエッジを検出するような手法を用いることができる。他のエッジ検出の手法としては、例えば、公知の微分フィルタやプリューウィットフィルタなどを用いてエッジを検出する手法を用いてもよい。これらのエッジ検出によれば、センサ起因のノイズではなく、被写体像のエッジのみを検出して動きベクトル検出精度の向上を図ることができる。次に、動きベクトル算出部４０７は、前述したように現像処理後の適フレーム画像と現像処理後のアンダーフレーム画像のなかでエッジ検出ができたブロック画像に関して動きベクトル検出処理を行う。このように、動きベクトル算出部４０７は、エッジ検出ができたブロック画像に対してのみ動きベクトル検出を行うことで、動きベクトル検出精度を向上させている。

以下、図７（ａ）と図７（ｂ）を参照して、動きベクトル算出部４０７における動きベクトル検出処理の詳細を説明する。なお、図７（ａ）と図７（ｂ）中のＰ１〜Ｐ９はそれぞれ画素値を表している。動きベクトル算出部４０７は、先ず、動きベクトル検出の位置基準画像を、図７（ａ）に示すような現像処理後の適フレーム画像内でエッジ検出されたブロック画像７０１とする。また、動きベクトル算出部４０７は、現像処理後のアンダーフレーム画像のなかでエッジ検出された複数のブロック画像を含む画像部分を、位置基準画像（ブロック画像７０１）に対する動きベクトル検出対象画像７０２とする。次に、動きベクトル算出部４０７は、位置基準画像であるブロック画像７０１のなかの各画素と、動きベクトル検出対象画像７０２に含まれるブロック画像のなかの各画素との間の差分の絶対値を求め、それら各画素の差分絶対値の総和を求める。動きベクトル算出部４０７は、位置基準画像のブロック画像７０１に対して差分絶対値の総和を求める処理を、動きベクトル検出対象画像７０２内で座標位置を一画素分ごとに順次ずらしながら設定される各ブロック画像に対して行う。そして、動きベクトル算出部４０７は、動きベクトル検出対象画像７０２のなかで、前述のように座標位置を一画素分ごとに順次ずらしながら求めた総和が、最も小さくなるブロック画像７０３を求める。図７（ｂ）は、動きベクトル検出対象画像７０２の左上端の座標を（ｘ０，ｙ０）とした場合において、前述の総和が最も小さくなるブロック画像７０３の左上端の座標が（ｘ１，ｙ２）である例が示されている。すなわち、動きベクトル算出部４０７は、動きベクトル検出対象画像７０２のなかの座標（ｘ１，ｙ２）に対応したブロック画像７０３を、図７（ａ）の位置基準画像のブロック画像７０１に対応したブロック画像として検出する。そして、動きベクトル算出部４０７は、適フレーム画像内の位置基準画像のブロック画像７０１の座標と、アンダーフレーム画像内の動きベクトル検出対象画像７０２のなかのブロック画像７０３の座標とから、動きベクトルを求める。すなわち、動きベクトル算出部４０７は、適フレーム画像内のブロック画像７０１の座標に対する、アンダーフレーム画像内のブロック画像７０３の座標の差分で表される方向と距離を、動きベクトルとして算出する。

図２の背景分離部４０８は、前述のようにして動きベクトル算出部４０７で算出された動きベクトルの情報と、入力端子４０１を介して角速度センサ９から供給された角速度の情報とに基づいて、移動体画像と背景画像とを分離する。以下、図８と図９を参照しながら、背景分離部４０８で行われる分離処理の詳細を説明する。

図８は、カメラをカメラ位置１１０１ａからカメラ位置１１０１ｂへパンニングしたときに、カメラの撮像素子２の撮像面上で、背景画像がどのように移動するかを模式的に表した図である。なお、撮像素子２は実際にはカメラに内蔵されているが、図８では説明を判り易くするために、カメラと撮像素子２を分けて図示している。図８に示すように、カメラを位置１１０１ａから位置１１０１ｂへパンニングして、静止している被写体１１０３を撮影した場合、撮像素子２の撮像面上に結像される被写体画像は、画像位置１１０４から画像位置１１０５まで移動することになる。ここで、静止している被写体１１０３とはすなわち背景であり、撮像素子２の撮像面上における背景画像の移動量１１０６は、パンニングによるカメラの移動角度１１０７と光学系１の焦点距離ｆ（ｍｍ）とから算出できる。また、移動角度１１０７は、角速度センサ９で検出されたカメラの角速度ω（角度／秒）と、フレームレートｆｐｓ（フレーム／秒）、移動量算出のためにサンプリングするフレーム画像間にある画像数ｎ（フレーム数）を用いて算出することができる。そして、画素ピッチｐｐ（ｍｍ／ピクセル数）を用いて、背景画像の移動量１１０６をピクセル数に換算することにより、撮像素子２の撮像面上で背景画像がどのくらい移動しているかを算出することができる。背景分離部４０８は、撮像素子２の撮像面上における背景画像の移動量を、式（１）により算出している。

図９は、背景分離部４０８が移動体画像と背景画像を分離する際に、動きベクトルをどのように用いるかを説明するための図である。図９の横軸は動きベクトルの大きさを示し、縦軸は同じ大きさを持つ動きベクトルの数量を示している。図９の横軸は、「０」を境に、動きベクトルの方向を区別している。また、式（１）により算出された背景画像の移動量（図８の移動量１１０６）は、図９では、移動量１２０１として示されている。この図９の例では、同じ大きさを持つ動きベクトルの集団として、ベクトル集団１２１１〜１２１４があり、ベクトル集団１２１４が式（１）で算出された背景画像の移動量１２０１に対応した動きベクトルの集団である。一方、ベクトル集団１２１１〜１２１３は、背景画像の移動量１２０１に対応したベクトル集団１２１４とは異なる大きさの動きベクトル集団である。すなわち、ベクトル集団１２１１〜１２１３の各動きベクトルは、背景画像の移動量１２０１に対応したベクトル集団１２１４とは異なる画像部分の動きベクトル、言い換えると、移動体画像の各動きベクトルであると考えられる。したがって、背景分離部４０８は、動きベクトルと背景画像の移動量との関係から、動きベクトル算出部４０７から供給された動きベクトルを、移動体画像に対応したグループ１２０２と背景画像に対応したグループ１２０３とに分離可能となる。

図２の位置合わせ部４０９は、背景分離部４０８により分離された背景画像に対応したグループ１２０３に含まれる動きベクトルを用いて、いわゆるアフィン係数を算出する。アフィン係数とは、線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の式（２）で表すことができる。なお、式（２）は公知の式であるため、詳細な説明は省略する。

式（２）において、アフィン変換による補正前画像の座標が（ｘ，ｙ）であり、アフィン変換による補正後画像の座標が（ｘ´，ｙ´）であり、この式（２）中の３×３行列がアフィン係数である。位置合わせ部４０９は、前述の動きベクトル算出部４０７が各ブロック画像から算出した動きベクトルを用いてアフィン係数を算出する。そして、位置合わせ部４０９は、補正前画像を現像処理後の適フレーム画像とし、現像処理後のアンダーフレーム画像に対してアフィン係数を算出して、そのアフィン係数を用いて、適フレーム画像のアフィン変換を行う。これにより、位置合わせ部４０９は、適フレーム画像の背景画像を、アンダーフレーム画像の背景画像に対して位置合わせすることができる。

図２の面積算出部４１０は、移動体に対応したグループ１２０２の動きベクトルと、背景画像の位置合わせがなされた後の適フレーム画像と、現像処理後のアンダーフレーム画像とを基に、移動体画像の面積を算出する。以下、図１０、図１１、図１２（ａ）〜図１２（ｄ）を参照しながら、面積算出部４１０で行われる面積算出処理の詳細を説明する。

図１０は、前述の図９に示した移動被写体に対応したグループ１２０２に含まれる各動きベクトル集団１２１１〜１２１３を示した図である。図１０の横軸は動きベクトルの大きさを示し、縦軸は同じ大きさを持つ動きベクトルの数量を示している。ここで、例えば動きベクトル集団１２１１を例に挙げた場合、この動きベクトル集団１２１１内のそれぞれ同じ大きさの複数の動きベクトルは、或る移動体画像を構成している複数のブロック画像の各動きベクトルである可能性が高いと考えられる。一方、動きベクトル集団１２１１内の各動きベクトルは、それらの大きさが同じであったとしても、異なる移動体画像の動きベクトルである可能性もある。したがって、同じ大きさの複数の動きベクトルがある場合、それら各動きベクトルが、同じ移動体画像の動きベクトルであるか否かを判定する必要がある。

図１１と図１２（ａ）〜図１２（ｄ）は、或るフレーム画像上にそれぞれ異なる移動体画像が存在している場合において、それら移動体画像を構成している各ブロック画像に対応した各動きベクトルの配置例を示している。すなわち、図中の小四角形領域は、それぞれが前述のブロック画像に対応した動きベクトルのブロック（以下、ＭＶブロック１１００とする。）を表している。また、図中斜線が描かれた複数のＭＶブロック１１００がそれぞれ纏まったエリア（以下、ＭＶエリア１１０１，１１０２，１１０３とする。）は、それぞれ異なる移動体画像に対応したＭＶブロックが纏まったエリアであるとする。そして、これら各ＭＶエリア１１０１〜１１０３の各ＭＶブロックの動きベクトルは、それぞれが同じ大きさであるとする。すなわち、各ＭＶエリア１１０１〜１１０３の各ＭＶブロックの動きベクトルは、それぞれ同じ大きさであるため、前述の図１０では例えば一つの動きベクトル集団１２１１に含まれているとする。

図１２（ａ）〜図１２（ｄ）は、面積算出部４１０が、図１１に示した各ＭＶブロック１１００の動きベクトルを、それぞれの何れかのＭＶエリア１１０１，１１０２，１１０３に分類する過程を説明するための図である。先ず、面積算出部４１０は、図１２（ｂ）に示すように、或るＭＶブロックを、何れのＭＶエリアに含まれるかを判定する際の対象ＭＶブロックＡ１とする。次に、面積算出部４１０は、図１２（ｂ）に示すように、対象ＭＶブロックＡ１に隣接する８方向の各ＭＶブロックの動きベクトルが、対象ＭＶブロックＡ１の動きベクトルと略々同じ（方向と大きさが略々同じ動きベクトル）であるか否かを判定する。なお、８方向とは、図１２（ｂ）中の矢印で示すように、対象ＭＶブロックＡ１に対して上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下の各方向のことである。面積算出部４１０は、対象ＭＶブロックＡ１の動きベクトルと略々同じ動きベクトルの隣接ＭＶブロックがあった場合、その隣接ＭＶブロックは対象ＭＶブロックＡ１と同じＭＶエリアに含まれるＭＶブロックＡ１であると判定する。さらに、面積算出部４１０は、前述のように対象ＭＶブロックＡ１と略々同じ動きベクトルのＭＶブロックであると判定された隣接ＭＶブロックを、新たな対象ＭＶブロックＡ１として設定し、図１２（ｃ）に示すように前述同様の処理を繰り返す。これにより、面積算出部４１０は、対象ＭＶブロックＡ１と略々同じ動きベクトルの各隣接ＭＶブロックからなるＭＶエリアが、同じ移動体画像に対応していると判定できる。図１２（ｄ）は、図１２（ａ）の各ＭＶエリア１１０１〜１１０３が、ＭＶブロックＡ１とＭＶブロックＡ２とＭＶブロックＡ３の動きベクトルごとに分類された後の例を示している。そして、面積算出部４１０は、前述のようにしてＭＶブロックＡ１，Ａ２，Ａ３の動きベクトルごとに分類された各ＭＶエリア１１０１，１１０２，１１０３において、それぞれＭＶブロックＡ１，Ａ２，Ａ３の個数を求める。また、これら各ＭＶエリア１１０１，１１０２，１１０３における各ＭＶブロックＡ１，Ａ２，Ａ３は、それぞれが前述のブロック画像に対応している。このため、面積算出部４１０は、各ＭＶブロックＡ１，Ａ２，Ａ３の個数つまりブロック画像の個数Ｎ＿Ａ１，Ｎ＿Ａ２，Ｎ＿Ａ３から、各ＭＶエリア１１０１〜１１０３に対応した移動体画像の面積を求めることができる。

図２の移動量算出部４１１は、移動体画像の動きベクトルと、位置合わせ処理後の適フレーム画像と、現像処理後のアンダーフレーム画像とを基に、移動体画像の移動量を算出する。以下、図１２（ｄ）に示した各ＭＶエリア１１０１〜１１０３の各ＭＶブロックＡ１〜Ａ３の動きベクトルを例に挙げて説明する。移動量算出部４１１は、各ＭＶブロックＡ１の動きベクトルの大きさの平均値Ｍ＿Ａ１と、各ＭＶブロックＡ２の動きベクトルの大きさの平均値Ｍ＿Ａ２と、各ＭＶブロックＡ３の動きベクトルの大きさの平均値Ｍ＿Ａ３を算出する。そして、移動量算出部４１１は、ＭＶブロックＡ１の動きベクトルの大きさの平均値Ｍ＿Ａ１を、ＭＶエリア１１０１に対応した移動体画像の移動量とする。同様に、移動量算出部４１１は、ＭＶブロックＡ２の平均値Ｍ＿Ａ２をＭＶエリア１１０２に対応した移動体画像の移動量とし、ＭＶブロックＡ３の平均値Ｍ＿Ａ３をＭＶエリア１１０３に対応した移動体画像の移動量とする。

図２の輝度算出部４１２は、移動体画像の動きベクトルと、位置合わせ処理後の適フレーム画像と、現像処理後のアンダーフレーム画像とを基に、移動体画像の輝度を算出する。以下、図１２（ｄ）に示した各ＭＶエリア１１０１〜１１０３の各ＭＶブロックＡ１〜Ａ３に対応したブロック画像の輝度を例に挙げて説明する。輝度算出部４１２は、各ＭＶブロックＡ１に対応したブロック画像の輝度の平均値Ｋ＿Ａ１と、各ＭＶブロックＡ２に対応したブロック画像の輝度の平均値Ｋ＿Ａ２と、各ＭＶブロックＡ３に対応したブロック画像の輝度の平均値Ｋ＿Ａ３を算出する。そして、輝度算出部４１２は、各ＭＶブロックＡ１に対応した各ブロック画像の各輝度の平均値Ｋ＿Ａ１を、ＭＶエリア１１０１に対応した移動体画像の輝度とする。また、輝度算出部４１２は、各ＭＶブロックＡ２に対応した各ブロック画像の各輝度の平均値Ｋ＿Ａ２をＭＶエリア１１０２に対応した移動体画像の輝度とする。同様に、輝度算出部４１２は、各ＭＶブロックＡ３に対応した各ブロック画像の各輝度の平均値Ｋ＿Ａ３をＭＶエリア１１０３に対応した移動体画像の輝度とする。

図２の移動体合成比率算出部４１３は、位置合わせ処理後の適フレーム画像と、現像処理後のアンダーフレーム画像と、移動体画像の面積と移動量と輝度の情報とに基づいて、移動体合成比率を算出する。図１３は、移動体画像に対して移動体合成比率を適用する画像上の範囲を示している。図１３の例の場合、移動体画像に対して移動体合成比率が適用される画像上の範囲は、図中の網掛けで示された画像範囲１３０１，１３０２，１３０３である。画像範囲１３０１は、位置合わせ処理後の適フレームの移動体画像の各ブロック画像において、動きベクトルに対応した移動前のブロック画像と移動後のブロック画像、さらにそれら移動前後の両ブロック画像を線形に繋げることで生成される領域からなる。画像範囲１３０２、１３０３についても、画像範囲１３０１と同様にして生成される。移動体合成比率算出部４１３は、これらの画像範囲１３０１〜１３０３を、移動体合成比率が適用される画像上の範囲とする。

次に、移動体合成比率算出部４１３は、移動体合成比率を算出するための評価値を算出する。本実施形態において、評価値は、移動体画像の移動量と面積の大きさを評価するための値となっている。前述のＭＶブロックＡ１，Ａ２，Ａ３を例に挙げると、移動体合成比率算出部４１３は、前述の個数Ｎ＿Ａ１，Ｎ＿Ａ２，Ｎ＿Ａ３と平均値Ｍ＿Ａ２，Ｍ＿Ａ３，Ｍ＿Ａ３を用いた式（３）により、それぞれの評価値Ｅ＿Ａ１，Ｅ＿Ａ２，Ｅ＿Ａ３を算出する。

Ｅ＿Ａ１＝Ｎ＿Ａ１×Ｍ＿Ａ１
Ｅ＿Ａ２＝Ｎ＿Ａ２×Ｍ＿Ａ２ ・・・式（３）
Ｅ＿Ａ３＝Ｎ＿Ａ３×Ｍ＿Ａ３

図１４は、評価値Ｅ＿Ａ１，Ｅ＿Ａ２，Ｅ＿Ａ３を一般化した評価値を「Ｅ」とした場合の、評価値Ｅと、位置合わせ処理後の適フレーム画像と現像処理後のアンダーフレーム画像の移動体画像における合成量Ｔとの関係を示す図である。図１４のグラフは、横軸が評価値Ｅ、縦軸が合成量Ｔを示しており、第１の評価閾値として「Ｅ１」が設定され、第２の評価閾値として［Ｅ２］が設定されている。この図１４のグラフによれば、評価値Ｅが「０」から「Ｅ１」までの範囲つまり評価値Ｅが第１の評価閾値以下（Ｅ１以下）の場合には合成量Ｔは第１の合成量である「０．５」で一定となされている。また、評価値Ｅが「Ｅ２」以上つまり第２の評価閾値以上の場合には、合成量Ｔは「０．５」より小さく「０」より大きい第２の合成量で一定となされている。一方、評価値Ｅが「Ｅ１」から「Ｅ２」までの範囲では評価値Ｅが大きくなるにつれて合成量Ｔは小さくなる。すなわち、図１４の例においては、「Ｅ１」から「Ｅ２」までの範囲では、評価値Ｅが大きくなるにつれて適フレーム画像の移動体画像とアンダーフレーム画像の移動体画像における合成量Ｔが少なくなるように設定されている。ただし、ここで算出した合成量Ｔの値は、以下のような第１，第２の二通りの合成の割合パターンが考えられる。

第１の割合パターン→適フレーム画像：Ｔ、アンダーフレーム画像：１−Ｔ
第２の割合パターン→適フレーム画像：１−Ｔ、アンダーフレーム画像：Ｔ

すなわち、適フレーム画像とアンダーフレーム画像の何れを基準にするかにより、第１の割合パターンと第２の割合パターンとで合成量Ｔの用い方が異なる。本実施形態の場合、移動体合成比率算出部４１３は、適フレーム画像の移動体画像の輝度とアンダーフレーム画像の移動体画像の輝度に基づいて、適フレーム画像の移動体画像を基準とした移動体合成比率を決定する。具体的には、移動体合成比率算出部４１３は、適フレーム画像の移動体画像の輝度とアンダーフレーム画像の移動体画像の輝度から、適フレーム画像の使用係数ｑを求め、その使用係数ｑと各ブロック画像の合成量Ｔとを基に最終的な移動体合成比率を算出する。以下、例えばＭＶブロックＡ１，Ａ２，Ａ３に対応した合成量Ｔ＿Ａ１，Ｔ＿Ａ２，Ｔ＿Ａ３と、適フレーム画像の使用係数ｑ＿Ａ１，ｑ＿Ａ２，ｑ＿Ａ３を一般化した使用係数ｑとを用いて説明する。

図１５は、移動体画像のＭＶブロックＡ１，Ａ２，Ａ３に対応する各ブロック画像の平均輝度の大きさＫ＿Ａ１，Ｋ＿Ａ２，Ｋ＿Ａ３を一般化した平均輝度Ｋと、適フレーム画像の使用係数ｑとの関係を示すグラフである。この図１５のグラフは、横軸が移動体画像の平均輝度Ｋ、縦軸が適フレーム画像の使用係数ｑを示し、第１の輝度閾値として「Ｋ１」、第２の輝度閾値として「Ｋ２」が設定されている。この図１５のグラフによれば、平均輝度Ｋが「０」から「Ｋ１」の範囲つまり第１の輝度閾値以下（「Ｋ１」以下）の場合には、適フレーム画像を基準とする割合が大きくなされる。すなわち、平均輝度Ｋが「Ｋ１」以下の場合には適フレーム画像の使用係数ｑが「１」となされる。また、平均輝度Ｋが「Ｋ２」以上つまり第２の輝度閾値以上の場合には、アンダーフレーム画像を基準とする割合が大きくなされる。すなわち、平均輝度Ｋが「Ｋ２」以上の場合は適フレーム画像の使用係数ｑが「０」となされる。一方、平均輝度Ｋが「Ｋ１」から「Ｋ２」の範囲では、それら適フレーム画像とアンダーフレーム画像の割合を徐々に変化させるような割合となされる。すなわち、「Ｋ１」から「Ｋ２」の範囲では、平均輝度Ｋが高くなるにつれて適フレーム画像の移動体画像の割合を徐々に大きくするような使用係数ｑが設定される。そして、移動体合成比率算出部４１３は、この図１５のグラフに基づいて使用係数ｑを求め、その使用係数と合成量Ｔとを用いた以下の式（４）により、最終的な適フレーム画像の移動体合成比率Ｄを算出する。

Ｄ＝Ｔ×（１−ｑ）＋（１−Ｔ）×ｑ ・・・式（４）

図２の合成部４１４は、位置合わせ処理後の適フレーム画像と、現像処理後のアンダーフレーム画像に対して、移動体画像については移動体合成比率Ｄに応じた合成を、一方、背景画像に対しては輝度合成比率に応じた合成を行う。すなわち、輝度合成比率を「Ｊ」とした場合、合成部４１４は、以下の式（５）により、各画素ごとに合成画像の算出を行う。

背景画像：アンダーフレーム画像×Ｊ＋適フレーム画像×（１−Ｊ）
移動体画像：アンダーフレーム画像×（１−Ｄ）＋適フレーム画像×Ｄ
・・・・式（５）

以上説明したように、本実施形態によれば、動画像に対するＨＤＲの画像合成処理により、移動体画像が合成されてフレームレートが低下することによる動画の滑らかさの劣化を抑えることが実現出来ている。本実施形態ではさらに、移動体画像の面積と移動量と輝度とに基づいて移動体合成比率を制御することにより、不自然な描写の画像合成が行われてしまうことを防ぎ、最適な動画像ＨＤＲ画像を得ることができる。特に、本実施形態では、例えば移動体画像の移動量が大きい場合や移動体画像の面積が大きい場合のように、移動体画像が目立つ画像である場合に、ＨＤＲの合成処理によって移動体画像が不自然な画像として描写されてしまうような画質劣化を低減できる。すなわち、本実施形態によれば、ＨＤＲによる画像合成処理の効果を維持しつつ、動画の滑らかさの劣化を抑えるような処理が実現でき、さらに、移動体画像が不自然に見えてしまう描写になるのを防止可能となっている。

＜第２の実施形態＞
次に、第２の実施形態の画像処理装置について以下に説明する。第２の実施形態の画像処理装置は、第１の実施形態と同様に、動画像撮影で交互に撮像された適フレームとアンダーフレームの移動体画像をＨＤＲ合成処理する際に、移動体画像の移動量と面積と輝度に基づいて、移動体合成比率を制御する。さらに第２の実施形態では、移動体画像の面積を、それぞれ各移動体画像間で比較し、面積が略々等しい各移動体画像についてはそれぞれ移動体合成比率を近づけるように（略々同じ比率になるように）調整し、その調整後の移動体合成比率で画像合成を行う。第２の実施形態では、面積が同等の移動体画像がそれぞれ近い移動体合成比率による画像合成がなされるため、見た目の違和感が少ないＨＤＲ合成画像を生成することが可能となる。

第２の実施形態の画像処理装置の一例であるカメラの構成は、前述した図１と同じであるため、ここでは説明を省略する。図１６には、第２の実施形態におけるＨＤＲ処理部４の一構成例を示す。なお、図１６に示すＨＤＲ処理部４に関しても、大部分は第１の実施形態のＨＤＲ処理部４と同じであるため、以下の説明では、第１の実施形態のＨＤＲ処理部４とは異なる部分についてのみ説明する。

図１６に示す第２の実施形態のＨＤＲ処理部４において、面積算出部４１０にて算出された移動体画像の面積の情報は、移動体合成比率算出部４１３と、同一面積補正部４１６に送られる。同一面積補正部４１６は、移動体合成比率算出部４１３の出力である移動体合成比率と、面積算出部４１０の出力である移動体画像の面積とに基づいて、移動体合成比率を補正し、その補正済移動体合成比率を合成部４１４へ送る。

以下、同一面積補正部４１６で行われる移動体合成比率の補正処理について更に詳細に説明する。図１７は、フレーム画像内に同じ面積を持つ移動体画像が複数存在する場合の一例を示す図である。図１７において、図中の網掛けで示された画像範囲１７０１，１７０２，１７０３は、前述同様に動きベクトルに基づいて求められた移動体画像に対して移動体合成比率が適用される画像範囲を示している。なお、図１７には、各移動体画像の動きベクトルに対応したＭＶブロックを表す「Ａ４，Ａ５，Ａ６」も描かれている。これら画像範囲１７０１，１７０２，１７０３にそれぞれ対応した移動体画像の面積は、画像範囲内のＭＶブロック数により求められる。ここでは、画像範囲１７０１の移動体画像におけるＭＶブロックの個数をＮ＿Ａ４、画像範囲１７０２の移動体画像におけるＭＶブロックの個数をＮ＿Ａ５、画像範囲１７０３の移動体画像におけるＭＶブロックの個数をＮ＿Ａ５とする。図１７の例では、それら各ＭＶブロックの個数Ｎ＿Ａ４，Ｎ＿Ａ５，Ｎ＿Ａ６は、それぞれ同じ数（Ｎ＿Ａ４＝Ｎ＿Ａ５＝Ｎ＿Ａ６）になっているとする。

またこのとき、同一面積補正部４１６には、移動体合成比率算出部４１３がＭＶブロックＡ４，Ａ５，Ａ６に対応して算出した適フレームの移動体合成比率Ｄ＿Ａ４、Ｄ＿Ａ５、Ｄ＿Ａ６が供給される。同一面積補正部４１６は、それらＭＶブロックの個数Ｎ＿Ａ４，Ｎ＿Ａ５，Ｎ＿Ａ６が閾値Ｌよりも少なく、且つ、それらの個数が等しい（Ｎ＿Ａ４＝Ｎ＿Ａ５＝Ｎ＿Ａ６）場合、以下の式（６）により補正済移動体合成比率Ｄ２を算出する。すなわち、同一面積補正部４１６は、適フレームの移動体合成比率Ｄ＿Ａ４、Ｄ＿Ａ５、Ｄ＿Ａ６の平均合成比率を補正済移動体合成比率Ｄ２として算出する。

Ｄ２＝（Ｄ＿Ａ４＋Ｄ＿Ａ５＋Ｄ＿Ａ６）／３ ・・・式（６）

同一面積補正部４１６は、以上のような処理により算出した補正済移動体合成比率Ｄ２を、合成部４１４へ送る。合成部４１４では、画像範囲１７０１，１７０２，１７０３に対応した各移動体画像について、補正済移動体合成比率Ｄ２を用いて、前述の第１の実施形態の場合と同様に適フレームとアンダーフレームの移動体画像の合成を行う。

以上説明した第２の実施形態によれば、第１の実施形態の場合と同様な効果を得ることができる。さらに、第２の実施形態においては、移動体画像の面積が閾値Ｌよりも小さく、且つその面積が略々等しい移動体画像に関しては移動体合成比率が略々同じになるように修正を行うようにしている。これにより、第２の実施形態によれば、面積が同等の移動体画像が、それぞれ近い移動体合成比率により画像合成されるため、見た目の違和感が少ないＨＤＲ合成画像を生成することが可能となる。

＜第３の実施形態＞
次に、第３の実施形態の画像処理装置について以下に説明する。第３の実施形態の画像処理装置は、第１の実施形態と同様に、動画像撮影で交互に撮像された適フレームとアンダーフレームの移動体画像をＨＤＲ合成処理する際に、移動体画像の移動量と面積と輝度に基づいて、移動体合成比率を制御する。さらに第３の実施形態では、動きベクトルの情報だけではなく、適フレーム画像とアンダーフレーム画像の差分値に基づいて、移動体合成比率を制御する。すなわち、第３の実施形態では、適フレーム画像とアンダーフレーム画像の移動体画像における画素単位の動きに基づいて、移動体画像に対する移動体合成比率を詳細に算出可能としている。

第３の実施形態の画像処理装置の一例であるカメラの構成は、前述した図１と同じであるため、ここでは説明を省略する。図１８には、第３の実施形態におけるＨＤＲ処理部４の一構成例を示す。なお、図１８に示すＨＤＲ処理部４に関しても、大部分は第１の実施形態のＨＤＲ処理部４と同じであるため、以下の説明では、第１の実施形態のＨＤＲ処理部４とは異なる部分についてのみ説明する。

図１８に示すＨＤＲ処理部４において、輝度差合成比率算出部４１７は、輝度差検出手段の一例であり、位置合わせ部４０９の出力である位置合わせ処理後の適フレームの画像データと、現像処理後のアンダーフレームの画像データとが入力される。輝度差合成比率算出部４１７は、位置合わせ処理後の適フレームの画像データと現像処理後のアンダーフレームの画像データに基づいて、輝度差合成比率を算出する。輝度差合成比率算出部４１７で算出された輝度差合成比率の情報は、移動体合成比率算出部４１３へ送られる。移動体合成比率算出部４１３は、輝度差合成比率に基づいて前述の移動体合成比率Ｄを補正して、補正済移動体合成比率Ｄ３を算出する。

以下、第３の実施形態における輝度差合成比率算出部４１７と移動体合成比率算出部４１３についてさらに詳しく説明する。輝度差合成比率算出部４１７は、位置合わせ処理後の適フレーム画像と現像処理後のアンダーフレームの画像の各画素の輝度の差分絶対値Ｐを算出する。図１９は、差分絶対値Ｐと、輝度差合成比率ＰＫの関係をグラフにしたものである。図１９のグラフは、横軸が差分絶対値Ｐを示し、縦軸が輝度差合成比率ＰＫを示し、第１の差閾値として「Ｐ１」、第２の差閾値として「Ｐ２」が設定されている。この図１９の例によれば、差分絶対値Ｐが０〜Ｐ１の範囲つまり第１の差閾値以下（Ｐ１以下）の場合には輝度差合成比率ＰＫは第１の比率であるゼロ（０）パーセントとなされる。また、差分絶対値ＰがＰ２以上つまり第２の差閾値以上である場合には輝度差合成比率ＰＫは第２の比率である１００パーセントとなされる。一方、差分絶対値ＰがＰ１〜Ｐ２の範囲のときは、輝度差合成比率ＰＫがゼロパーセントから１００パーセントに徐々に増加するようになされている。すなわち、差分絶対値ＰがＰ１〜Ｐ２の範囲である場合、差分絶対値Ｐが大きくなるにつれてセロパーセントから１００パーセントまで変化するような輝度差合成比率ＰＫが画素単位で設定される。移動体合成比率算出部４１３は、図１９のグラフに基づいて求めた輝度差合成比率ＰＫと、第１の実施形態のように算出された移動体合成比率Ｄとを用いて、各画素について下記式（７）により補正済移動体合成比率Ｄ３を算出する。

Ｄ３＝ＰＫ×Ｄ ・・・式（７）

移動体合成比率算出部４１３は、以上のようにして算出された補正済移動体合成比率Ｄ３を合成部４１４へ送る。合成部４１４は、補正済移動体合成比率Ｄ３を用いて、画素単位で前述の第１の実施形態の場合と同様に適フレームとアンダーフレームの移動体画像の合成を行う。

以上説明した第３の実施形態によれば、第１の実施形態の場合と同様な効果を得ることができる。さらに、第３の実施形態においては、画素単位の移動体画像の動きに基づいて、移動体合成比率を詳細に算出しているため、見た目の違和感が非常に少ない自然な合成画像を生成可能となる。

＜第４の実施形態＞
前述した第１、第２、第３の実施形態における画像処理装置は、パーソナルコンピュータ等の情報処理装置と、その情報処理装置にて実行されるコンピュータプログラムにより実現することも可能である。以下、第４の実施形態として、パーソナルコンピュータがプログラムを実行して前述した画像合成処理等を実現する場合について説明する。

図２０は、第４の実施形態における情報処理装置の概略構成を示す図である。図２０において、ＣＰＵ３００は、本実施形態の情報処理装置全体の制御、及び種々の処理を行う中央演算装置である。メモリ３０１は、いわゆるＢＩＯＳやブートプログラムを記憶しているＲＯＭと、ＣＰＵ３００がワークエリアとして使用するＲＡＭとで構成されている。指示入力部３０３は、例えばキーボード、マウスなどのポインティングデバイス、及び、各種スイッチ等により構成されている。外部記憶装置３０４は、例えばハードディスク装置などであり、本実施形態の情報処理装置の各種制御を実行するオペレーティングシステム（ＯＳ）や、前述の第１〜第３の実施形態で説明した各種処理を実行するコンピュータプログラムが記憶されている。また、外部記憶装置３０４は、各種演算に必要な記憶領域としても使用される。記憶装置３０５は、例えば動画データを記憶する可搬性記憶媒体（例えばＢＤ−ＲＯＭやＤＶＤ−ＲＯＭディスク等）をアクセスするための装置である。バス３０２は、コンピュータと外部インタフェースとの間で画像データのやり取りが行われるバスである。デジタルカメラ３０６は、動画像や静止画像を撮像するためのカメラであり、有線若しくは無線により第４の実施形態の情報処理装置と通信する。また、デジタルカメラ３０６は、図１の光学系１と撮像素子２と角速度センサ９を有しており、撮影した画像データと角速度センサ９が検出した角速度の情報を情報処理装置へ送信する。ディスプレイ３０７は、動画像や静止画像、本実施形態においてＨＤＲによる合成処理後の画像等を表示するための表示装置である。通信回線３０９は、例えば、ＬＡＮ、公衆回線、無線回線、放送電波で構成されている。通信インタフェース３０８は、通信回線３０９を介して画像データ等を送受信する。

図２０に示した情報処理装置について更に詳細に説明する。先ず、指示入力部３０３を介したユーザからの電源投入指示に応じて電源が供給されると、ＣＰＵ３００は、メモリ３０１のＲＯＭに格納されているブートプログラムに従って、外部記憶装置３０４のＯＳをメモリ３０１（ＲＡＭ）にロードする。そして、指示入力部３０３を介したユーザからの指示に従い、ＣＰＵ３００は、外部記憶装置３０４からアプリケーションプログラムをメモリ３０１にロードする。これにより、情報処理装置は、前述の各実施形態で説明した画像処理装置の各機能を実行可能となる。

図２１は、そのアプリケーションプログラムがメモリ３０１にロードされた際の、メモリ３０１の記憶エリアの一例を示す図である。すなわち、このときのメモリ３０１には、記憶エリア２１０１〜２１０６が用意される。記憶エリア２１０１は、ＣＰＵ３００が情報処理装置全体を制御し、また、各種ソフトウェアの実行を制御するためのＯＳ（オペレーティングシステム）が展開されるエリアである。記憶エリア２１０２は、ＣＰＵ３００がＨＤＲの画像合成処理を実行するための映像処理ソフトウェアプログラムが展開されるエリアである。記憶エリア２１０３は、ＣＰＵ３００がカメラ３０６を制御して、適フレームとアンダーフレームの画像を交互に撮像させ、それらのフレーム画像を１フレームずつ入力（キャプチャ）するための画像入力ソフトウェアプログラムが展開されるエリアである。記憶エリア２１０４は、ＣＰＵ３００がディスプレイ３０７へ表示させる画像データを生成する処理を実行するための映像表示ソフトウェアプログラムが展開されるエリアである。記憶エリア２１０５は、画像データが格納される画像エリアである。記憶エリア２１０６は、例えば各種のパラメータ等が格納されるワーキングエリアである。

図２２は、ＣＰＵ３００が本実施形態のアプリケーションプログラムを実行して前述した各実施形態の画像処理を行う際のフローチャートである。図２２において、ＣＰＵ３００は、先ず、ステップＳ１の処理として各部の初期化を行う。ステップＳ１の後、ＣＰＵ３００は、処理をステップＳ２へ進める。

ステップＳ２では、ＣＰＵ３００は、アプリケーションプログラムを終了させるか否かの判定を行う。このステップＳ２における終了判定は、ユーザが指示入力部３０３を介して終了指示を入力したか否かに基づいて行われる。すなわちＣＰＵ３００は、ステップＳ２において、指示入力部３０３を介してユーザから終了指示が入力されたと判定した場合にはこのフローチャートの処理を終了する。一方、ＣＰＵ３００は、ステップＳ２において、指示入力部３０３を介してユーザから終了指示が入力されていないと判定した場合には処理をステップＳ３へ進める。

ステップＳ３では、ＣＰＵ３００は、カメラ３０６にて撮像されたフレーム単位の画像データを、メモリ３０１の記憶エリア２１０５のうちの画像エリアに格納させる。ステップＳ３の後、ＣＰＵ３００は、処理をステップＳ４へ進める。ステップＳ４では、ＣＰＵ３００は、前述の実施形態で説明したようなＨＤＲの画像合成処理等の各種画像処理を実行する。ステップＳ４の後、ＣＰＵ３００は、処理をステップＳ２へ戻す。

図２３には、図２２のステップＳ４の画像処理を更に詳細に示すフローチャートである。ＣＰＵ３００は、先ずステップＳ４０１の処理として、記憶装置３０５に記憶されている画像データのなかの少なくとも時間的に連続した適フレームとアンダーフレームの２フレームの画像データと、角速度等のパラメータを、メモリ３０１に記憶させる。ステップＳ４０１の後、ＣＰＵ３００は、処理をステップＳ４０２へ進める。

ステップＳ４０２では、ＣＰＵ３００は、メモリ３０１に記憶された２フレームの画像データを、前述したように、それぞれの明るさに合うように現像処理する。ステップＳ４０２の後、ＣＰＵ３００は、処理をステップＳ４０３へ進める。ステップＳ４０３では、ＣＰＵ３００は、アンダーフレームに対する輝度合成比率を算出する。ステップＳ４０３の後、ＣＰＵ３００は、処理をステップＳ４０４へ進める。

ステップＳ４０４では、ＣＰＵ３００は、適フレーム画像とアンダーフレーム画像の間の動きベクトルを算出する。ステップＳ４０４の後、ＣＰＵ３００は、処理をステップＳ４０５へ進める。ステップＳ４０５では、ＣＰＵ３００は、動きベクトルと角速度を用いて、移動体画像と背景画像を分離する。ステップＳ４０５の後、ＣＰＵ３００は、処理をステップＳ４０６へ進める。

ステップＳ４０６では、ＣＰＵ３００は、動きベクトルを用いて適フレームの背景画像をアンダーフレームの背景画像に対して位置合わせする。ステップＳ４０６の後、ＣＰＵ３００は、処理をステップＳ４０７へ進める。

ステップＳ４０７では、ＣＰＵ３００は、動きベクトルを用いて移動体画像の面積を算出する。ステップＳ４０７の後、ＣＰＵ３００は、処理をステップＳ４０８へ進める。ステップＳ４０８では、ＣＰＵ３００は、動きベクトルを用いて移動体画像の移動量を算出する。ステップＳ４０８の後、ＣＰＵ３００は、処理をステップＳ４０９へ進める。ステップＳ４０９では、ＣＰＵ３００は、動きベクトルを用いて移動体画像の輝度を算出する。ステップＳ４０９の後、ＣＰＵ３００は、処理をステップＳ４１０へ進める。

ステップＳ４１０では、ＣＰＵ３００は、移動体画像の面積と移動量と輝度とに基づいて、移動体合成比率を算出する。ステップＳ４１０の後、ＣＰＵ３００は、処理をステップＳ４１１へ進める。ステップＳ４１１では、ＣＰＵ３００は、輝度合成比率と移動体合成比率とを用いて、適フレームとアンダーフレームの画像の合成処理を行い、その合成処理後のフレーム画像データをメモリ３０１に格納させる。

以上説明したように、第４の実施形態によれば、パーソナルコンピュータ等の情報処理装置において、前述した第１〜第３の各実施形態と同等の画像合成処理を実現できる。なお、コンピュータプログラムは、通常はコンピュータ可読装置に格納されており、これをコンピュータが有する読み取り装置にセットし、内部のメモリ等にコピー若しくはインストールすることで実行可能である。したがって、このようなコンピュータ可読記憶媒体が本実施形態の範疇に入ることは言うまでもない。

また、上述した実施形態の１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給されてもよい。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーが、プログラムを読出して実行する。その他、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

前述した実施形態では、ＨＤＲによる画像合成処理を例に挙げたが、その他にも、例えば、フォーカス方向の合焦距離を異ならせた複数のフレーム画像の合成処理や、色味を異ならせた複数フレームの合成処理など、様々な画像合成処理にも適用可能である。

１ 光学系、２ 撮像素子、３ 信号処理部、４ ＨＤＲ処理部、５ 調整処理部、６ 符号化処理部、７ 出力部、８ ＵＩ部、９ 角速度センサ、４０４，４０５ 現像部、４０６ 輝度合成比率算出部、４０７ 動きベクトル算出部、４０８ 背景分離部、４０９ 位置合わせ部、４１０ 面積算出部、４１１ 移動量算出部、４１２ 輝度算出部、４１３ 移動体合成比率算出部、４１４ 合成部、４１６ 同一面積補正部、４１７ 輝度差合成比率算出部

Claims (13)

1. 動画撮影による第１のフレーム画像と第２のフレーム画像の少なくとも二つのフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間に被写体位置が変化した被写体画像を移動体画像として検出する移動体検出手段と、
   前記第１のフレーム画像と前記第２のフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間の前記移動体画像の移動量を求める移動量検出手段と、
   前記移動体画像の面積を求める面積検出手段と、
   前記第１のフレーム画像と前記第２のフレーム画像を合成する合成手段と、
   前記移動体画像の前記移動量と前記面積に基づいて、前記合成手段により前記第１のフレーム画像と前記第２のフレーム画像が合成される際の、前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像との合成比率を制御する制御手段とを有する
   ことを特徴とする画像処理装置。
2. 前記第１のフレーム画像は第１の露光量で撮影されたフレーム画像であり、前記第２のフレーム画像は前記第１の露光量より少ない露光量である第２の露光量で撮影されたフレーム画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記移動体画像の前記移動量と前記面積の大きさを表す評価値を求め、前記評価値が大きくなるにつれて、前記第１のフレーム画像の前記移動体画像の合成量が少なくなるように前記合成比率を制御することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、
   前記評価値が第１の評価閾値以下の場合には前記合成量を第１の合成量で一定となるように前記合成比率を制御し、
   前記評価値が前記第１の評価閾値より大きい第２の評価閾値以上の場合には前記合成量を前記第１の合成量より小さい第２の合成量で一定となるように前記合成比率を制御し、
   前記評価値が前記第１の評価閾値と前記第２の評価閾値との間の場合には前記評価値が大きくなるにつれて前記合成量を前記第１の合成量から前記第２の合成量へ少なくなるように前記合成比率を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１のフレーム画像の前記移動体画像の輝度と前記第２のフレーム画像の前記移動体画像の輝度を検出する輝度検出手段を有し、
   前記制御手段は、前記輝度検出手段により検出された前記第１のフレーム画像の前記移動体画像の輝度と前記第２のフレーム画像の前記移動体画像の輝度に基づいて、前記第１のフレーム画像の前記移動体画像を基準とした前記合成比率を決定する請求項３又は４に記載の画像処理装置。
6. 前記輝度検出手段は、前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像の平均輝度を求め、
   前記制御手段は、
   前記平均輝度が第１の輝度閾値以下である場合には前記第１のフレーム画像の前記移動体画像の割合を大きくする係数を設定し、
   前記平均輝度が前記第１の輝度閾値より高い第２の輝度閾値以上である場合には前記第２のフレーム画像の前記移動体画像の割合を大きくする前記係数を設定し、
   前記平均輝度が前記第１の輝度閾値と前記第２の輝度閾値の間である場合には前記平均輝度が低くなるにつれて前記第１のフレーム画像の前記移動体画像の割合を大きくする前記係数を設定し、
   前記係数と前記合成量とに基づいて、前記第１のフレーム画像の前記移動体画像を基準とした前記合成比率を決定する請求項５に記載の画像処理装置。
7. 前記制御手段は、前記第１のフレーム画像の前記移動体画像と、前記第２のフレーム画像の前記移動体画像と、前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像を線形に繋げた際の領域と、からなる画像範囲を、前記合成比率による合成がなされる移動体画像の範囲とすることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記移動体検出手段は、複数の移動体画像を検出し、
   前記面積検出手段は、前記複数の移動体画像のそれぞれの面積を検出し、
   前記制御手段は、前記複数の移動体画像についてそれぞれ前記合成比率を制御するとともに、前記複数の移動体画像のうち前記面積が略々等しい各移動体画像の合成比率については略々同じ合成比率となるように制御することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記面積が略々等しい各移動体画像の前記合成比率から平均合成比率を求め、前記平均合成比率を前記面積が略々等しい各移動体画像の前記合成比率とすることを特徴とする請求項８に記載の画像処理装置。
10. 前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像の画素単位の輝度差を求める輝度差検出手段を有し、
    前記制御手段は、前記画素単位の輝度差に基づいて、前記移動体画像の画素単位で前記合成比率を制御することを特徴とする請求項２〜９のいずれか１項に記載の画像処理装置。
11. 前記輝度差検出手段は、
    前記画素単位の輝度差が第１の差閾値以下である場合には第１の比率となる輝度差合成比率を画素単位で設定し、
    前記画素単位の輝度差が前記第１の差閾値より大きい第２の差閾値以上である場合には前記第１の比率より大きい第２の比率となる輝度差合成比率を画素単位で設定し、
    前記画素単位の輝度差が前記第１の差閾値と前記第２の差閾値の間である場合には前記画素単位の輝度差が大きくなるにつれて前記比率が前記第１の比率から前記第２の比率に変化するような輝度差合成比率を画素単位で設定し、
    前記制御手段は、前記画素単位の輝度差合成比率により、前記第１のフレーム画像の前記移動体画像を基準とした前記合成比率を画素単位で補正することを特徴とする請求項１０に記載の画像処理装置。
12. 移動体検出手段が、動画撮影による第１のフレーム画像と第２のフレーム画像の少なくとも二つのフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間に被写体位置が変化した被写体画像を移動体画像として検出するステップと、
    移動量検出手段が、前記第１のフレーム画像と前記第２のフレーム画像から、前記第１のフレーム画像の撮影と前記第２のフレーム画像の撮影がなされた間の前記移動体画像の移動量を求めるステップと、
    面積検出手段が、前記移動体画像の面積を求めるステップと、
    合成手段が、前記第１のフレーム画像と前記第２のフレーム画像を合成するステップと、
    制御手段が、前記移動体画像の前記移動量と前記面積に基づいて、前記合成手段により前記第１のフレーム画像と前記第２のフレーム画像が合成される際の、前記第１のフレーム画像の前記移動体画像と前記第２のフレーム画像の前記移動体画像との合成比率を制御するステップと
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１〜１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images