JP2011171842A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】複数枚の画像を撮像して合成画像を得る場合において、複数枚の画像に位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることを目的とする。
【解決手段】露光量の異なる複数の映像信号間の対応する画素毎の位置ずれ量を検出し、位置ずれ量に基づいて、複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成し、複数の変換映像信号を合成し、合成変換映像信号を生成し、複数の映像信号から第一の映像信号を抽出し、第一の映像信号と第一の映像信号と対応する変換映像信号との差分を算出することにより、差分映像信号を生成し、合成変換映像信号と差分映像信号とを合成することにより合成映像信号を生成する。
【選択図】図１

Description

本発明は、映像信号のダイナミックレンジを拡大する画像処理装置に関する。

一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭く、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。このため、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成する手法が提案されている。しかしながら、複数枚の画像を撮影して合成画像を得る場合には、撮影時にカメラぶれや被写体ぶれ等が原因で合成時の映像信号に二重像等のアーティファクトが起きるという問題があった。
特開平７−７５０２６号公報（特許文献１）には、２枚の画像の第１の明度値および第２の明度値に対する重みを何れか一方を基準にして定めることにより、カメラの特性変化、照明強度の変動及び撮像素子上の位置ずれがある場合でも適切な広ダイナミックレンジ画像を生成させる手法が開示されている。また、特開平５−７３３６号公報（特許文献２）では複数枚の撮像時の経時的な位置ずれに対応して、複数の画像に対して座標変換を行った後に合成を行う手法が開示されている。

特開平７−７５０２６号公報 特開平５−７３３６号公報

しかしながら、上記した特許文献１及び特許文献２のいずれの手法においても複数枚の映像信号間の複雑な位置ずれ、例えば、三次元的な動きに起因した位置ずれ等に関しては完全に位置あわせを行うことは困難である。

本発明は、上記問題に鑑みてなされたもので、複数枚の画像を撮像して合成画像を得る場合において、例えば、複数枚の画像に三次元的な動きに起因した位置ずれが存在する場合であっても、画質を向上させることが可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、前記複数の映像信号間の対応する画素毎の位置ずれ量を検出する位置ずれ量検出手段と、前記位置ずれ量に基づいて、前記複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成する変換手段と、前記複数の変換映像信号を合成し、合成変換映像信号を生成する合成変換映像信号生成手段と、前記複数の映像信号から第一の映像信号を抽出する抽出手段と、前記第一の映像信号と該第一の映像信号と対応する前記変換映像信号との差分を算出することにより、差分映像信号を生成する差分映像信号生成手段と、前記合成変換映像信号と前記差分映像信号とを合成することにより合成映像信号を生成する画像合成手段と、を備えたことを特徴とする画像処理装置を提供する。

また、本発明は、露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、前記複数の映像信号間の対応する画素毎の位置ずれ量を検出するステップと、前記位置ずれ量に基づいて、前記複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成するステップと、前記複数の変換映像信号を合成し、合成変換映像信号を生成する合成変換映像信号生成ステップと、前記複数の映像信号から第一の映像信号を抽出するステップと、前記第一の映像信号と該第一の映像信号と対応する前記変換映像信号との差分を算出することにより、差分映像信号を生成するステップと、前記合成変換映像信号と前記差分映像信号とを合成することにより合成映像信号を生成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。

このように、映像信号のうち位置ずれが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、位置ずれの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。

本発明の実施形態にかかる画像処理装置の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置の変換部の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置の変換部の他の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置の抽出部の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置の抽出部において生成されるヒストグラムの例を示す図であり、（ａ）、（ｂ）、（ｃ）は夫々一枚の映像信号に対するヒストグラムであって、（ａ）は映像信号が適正に露光されている場合の例を示し、（ｂ）及び（ｃ）は、映像信号に黒つぶれや白飛びが発生している場合の例を示す。 本発明の実施形態にかかる画像処理装置の差分映像信号生成部の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置の合成変換映像信号生成部の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置における画像合成処理の過程を示すフローチャートである。

以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。

本実施形態にかかる画像処理装置は、図１に示すように、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮像制御部１０７、画像処理部１５０、階調変換部１１６、圧縮部１１７、出力部１１８、制御部１１９、外部Ｉ／Ｆ部１２０を備えている。

レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０３を介して撮像素子であるＣＣＤ１０４上に像を結像するように配置されている。ＡＦモータ１０２は、後述する撮像制御部１０７によって駆動制御され、撮像制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０４は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施形態においては、ＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを用いるものとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０４で生成された画像情報を画像処理部１５０において所定の処理が可能な離散化されたデジタルデータとしての映像信号に変換し、変換された映像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１５０へ出力する。以上の処理を繰り返すことにより複数枚の映像信号が取得される。圧縮部１１７は、後述する画像処理部１５０で所定の処理がなされた映像信号を圧縮し、出力部１１８へ出力する。

撮像制御部１０７は、映像信号のＡＦエリア内のコントラスト情報を検出し、コントラストが最大となるように、もしくは、プリ撮影時に映像信号を取得せずに、例えば、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、この距離に応じてＡＦモータ１０２を駆動制御する。また、撮像制御部１０７は、映像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため絞り１０１およびＣＣＤ１０４の電子シャッタ速度などを制御する。撮像制御部１０７による制御は本撮影における撮影回数と同じ回数だけ行われる。すなわち、上記した処理が複数回行われ、撮影された複数枚分の画像の映像信号がバッファ１０６に一旦記憶され、バッファ１０６から映像信号が一枚分ずつ順次画像処理部１５０へ出力される。

制御部１１９は、撮像制御部１０７、後述する画像処理部１５０の位置ずれ測定部１０８０、信号処理部１０９、抽出部１１１、変換部１１２、低周波数成分生成部１１３、高周波数成分生成部１１４、画像合成部１１５、階調変換部１１６および圧縮部１１７と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１２０は、電源スイッチ、シャッタボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。

画像処理部１５０は、位置ずれ検出手段としての位置ずれ検出部１０８、信号処理部１０９、変換手段としての変換部１１２、抽出手段としての抽出部１１１、合成変換信号生成手段としての合成変換信号生成部１１３、差分映像信号生成手段としての差分映像信号生成部１１４及び画像合成手段としての画像合成部１１５を備えている。

位置ずれ検出部１０８は、バッファ１０６から複数の映像信号を受信し、この複数の映像信号間の対応する画素毎の位置ずれ量を検出する。例えば、複数の映像信号がＳ１及びＳ２の２枚であった場合に、転送された映像信号Ｓ１及びＳ２の位置ずれ量を測定する。ずれ量は、公知の動きベクトルを用いて算出することができる。具体的には、以下のように公知のブロックマッチング法によって位置ずれ量を動きベクトルとして求める。

すなわち、映像信号Ｓ１の注目画素を中心として、例えば１６×１６画素の領域を抽出し、その領域と映像信号Ｓ２から抽出された１６×１６画素の領域を比較することにより映像信号Ｓ１の注目画素が映像信号Ｓ２のどの位置に移動したかを算出する。領域の比較には正規化相互相関等の方法が用いられる。この処理を映像信号Ｓ１の各画素に対して行うことにより映像信号Ｓ１の各画素が映像信号Ｓ２のどの位置に移動したかを算出することができ、ずれ量を算出することができる。上記ずれ量は映像信号の各画素単位で算出してもよいし、所定の領域、例えば３２×３２領域単位で算出してもよい。また、ずれ量の算出は公知のオプティカルフローを用いてもよい。上記位置ずれ量としての動きベクトルにかかる情報は変換部１１２に出力される。

また位置ずれ量は、映像信号から算出するだけではなく、撮像制御部１０７から取得できる焦点距離および撮影間隔から算出推してもよい。例えば、撮影間隔をＳ（ｓ）、焦点距離をＦ（ｍｍ）とした場合、以下の数１式を用いて、位置ずれ量Ｚを算出することができる。

ここで、ｃは任意の定数を表す。この数１式は撮影間隔が長いほど、および焦点距離が長いほど位置ずれ量が大きくなることを表している。
信号処理部１０９は、制御部１１９の制御に基づきバッファ１０６から入力された単板状態の映像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の映像信号を生成し、変換部１１２へ出力する。さらに、以下の数２式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。

変換部１１２は、動きベクトルなどの位置ずれ量に基づいて、複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成するものであり、図２に示すように、バッファ２００、局所領域抽出手段としての局所領域抽出部２０１、周波数帯域設定手段としての帯域設定部２０２及び周波数成分算出手段としてのフィルタ処理部２０３を備えている。

バッファ２００は、信号処理部１０９から受信した複数の映像信号を、映像信号がＳ１及びＳ２の２枚である場合はこの２枚を、一時的に記憶する。局所領域抽出部２０１は位置ずれ検出部１０９の位置ずれ量の情報に基づいて、バッファ２００に記憶された映像信号から位置ずれ量に所定の相関関係を有する画素を抽出し、この相関関係を有する画素からなる局所領域を抽出する。位置ずれ量の情報が動きベクトルである場合、局所領域抽出部２０１は映像信号Ｓ１の任意の画素に対する動きベクトルを基準として、動きベクトルに相関関係がある画素、すなわち、その動きベクトルと方向や大きさが類似している画素を抽出し、抽出された画素からなる領域を局所領域として抽出する。例えば、任意の画素の動きベクトルをｖ、任意の画素以外の動きベクトルをａとすると、以下の数３式及び数４式の条件を満たす動きベクトルをもつ画素を、位置ずれ量に相関関係がある画素として抽出する。

ここで、数５式はベクトルの内積を表し、ε，ｔｈはそれぞれ閾値を表す。局所領域抽出部２０１にて抽出された局所領域に含まれる画素は、フィルタ処理部２０３に転送される。
帯域設定部２０２は、位置ずれ検出部１０８から転送される位置ずれ量の情報に基づいて、映像信号の周波数成分を算出するための周波数帯域を局所領域毎に設定する。従って、帯域設定部２０２は、局所領域毎に設定された周波数帯域に応じたフィルタを生成する。位置ずれ量の情報が動きベクトルの場合には、周波数成分の最大値ｆ_ｍａｘは、次の数６式のようになる。

ここで、ｋは任意の定数を表し、周波数成分は０−１に規格化されている。動きベクトルｖが非常に大きい場合には、上記した数６式においてｆ_ｍａｘの値が０、つまり、周波数成分の最大値が０となり、周波数成分０のみを通すローパスフィルタが生成される。動きベクトルが０の場合には、上記した数６式においてｆ_ｍａｘの値が１、つまり、周波数成分の最大値は１となり、周波数成分全部の帯域を通過するフィルタ、すなわち任意の画素に対して何も処理しないフィルタが生成される。

上記した数６式の場合、動きベクトルが大きいほど、周波数成分の帯域がより低周波となり、映像信号をよりぼかすフィルタが生成される。帯域設定部２０２によって行われる周波数帯域設定は局所領域抽出部２０１において抽出された領域毎に行われる。すなわち、局所領域抽出部２０１で抽出された局所領域に対して一つのフィルタが生成される。帯域設定部２０２にて生成されたフィルタはフィルタ処理部２０３に転送され、局所領域抽出部２０１にて算出された局所領域に対してそれぞれに応じた周波数帯域に設定されたフィルタを用いて、公知のフィルタリング処理を行い、フィルタリング処理がなされた周波数成分にかかる映像信号は、変換映像信号として、合成変換信号生成部１１３及び差分映像信号生成部１１４に転送される。上記した処理は、信号処理部１０９から転送された複数の映像信号の全てに対して行われる、すなわち、映像信号Ｓ２に対しても同様の処理が行われる。

また、変換部は、局所領域毎に周波数帯域を異ならせてフィルタリング処理を行う構成だけでなく、図３に示すような構成とすることもできる。図３に示す変換部は、バッファ３００、局所領域抽出手段及び注目画素設定手段としての注目画素設定部３０１及び置換手段としての置換部３０２を備えている。バッファ３００は、信号処理部１０９から送信された複数の映像信号を、映像信号がＳ１及びＳ２の２枚である場合はこの２枚の映像信号を一時的に記憶する。

注目画素設定部３０１は、位置ずれ検出部１０９から転送される位置ずれ量の情報に
基づいて、映像信号から位置ずれ量に所定の相関関係を有する画素を抽出し、相関関係を有する画素からなる局所領域を抽出し、さらに、この局所領域に含まれる画素から任意の画素を注目画素として設定する。位置ずれ量が動きベクトルの場合には、映像信号Ｓ１の任意の画素における動きベクトルと類似する、すなわち所定の相関関係を有する動きベクトルを上記した数３式及び数４式を用いて算出し、それらの動きベクトルに対応する画素を抽出し、これを局所領域とする。そして、この局所領域のうちの任意の画素を注目画素として設定する。注目画素の設定にかかる処理は、映像信号Ｓ１のすべての画素に対して行う。映像信号Ｓ１と映像信号Ｓ２の位置ずれが１方向、すなわち、動きベクトルが１つのみの場合は注目画素は映像信号の１カ所に設定される。注目画素設定部３０１にて設定された注目画素にかかる情報は置換部３０２に転送される。

置換部３０２は、バッファ３００から転送された映像信号Ｓ１の各画素に対して注目画素設定部３０１にて転送された注目画素に相当する情報に置換する。換言すると、映像信号Ｓ１の各画素に対して、局所領域毎に、局所領域の注目画素以外の画素の画素値を注目画素の画素値に近似し、注目画素以外の画素の画素値を近似された値に置換する。この近似のために、注目画素値の座標値を（ｘ，ｙ）とし、注目画素の画素値をＩ（ｘ，ｙ）としたとき、注目画素からΔxおよびΔyだけ移動した箇所の画素値Ｉ（ｘ＋Δｘ，ｙ＋Δｙ）は、以下の数７式で表すことができる。

そして、この式を変形することにより、数８式を得る。

この数８式は注目画素からΔｘおよびΔｙだけ移動した箇所の画素値から注目画素の画素値が算出できることを表している。映像信号Ｓ１の各画素について数８式の処理を行うことで、注目画素以外の画素の画素値を注目画素の画素値に近似し、注目画素に相当する情報を算出する。注目画素が複数、例えば、Ｉ１（ｘ，ｙ）およびＩ２（ｘ，ｙ）のような場合、映像信号Ｓ１の各画素について、Ｉ１（ｘ，ｙ）およびＩ２（ｘ，ｙ）に相当する情報を算出し、それらを平均することによって映像信号Ｓ１の各画素における情報として置換する。各画素が置換された映像信号は変換映像信号として、合成変換信号生成部１１３及び差分映像信号生成部１１４に転送される。映像信号Ｓ２に対しても同様の処理が行われる。

抽出部１１１は、信号処理部１０９から受信した複数枚の映像信号から、画像合成に際して最も適した１枚の映像信号を抽出するものであり、図４に示すように、バッファ５００、ヒストグラム算出部５０１、評価値算出部５０２及び選択部５０３を備えている。

バッファ５００は、信号処理部１０９から転送された複数枚の映像信号を記憶する。ヒストグラム算出部５０１は、バッファ５００に記憶された映像信号を読み込み、これに基づいて、図５に示すようなヒストグラムの算出を行う。算出されたヒストグラムの情報は、評価値算出部５０２へ転送される。評価値算出部５０２は、ヒストグラムの情報を用いて評価値の算出を行う。

図５（ａ）、（ｂ）、（ｃ）はそれぞれ1枚の映像信号に対するヒストグラムを表している。評価値としては例えば、数９式のようにヒストグラムの分散σを用いる。

ここでＹ_ｊはｊ番目の画素の輝度値を表し、Ｎは映像信号の総画素数、Ｙ(−)は輝度値の平均値を表す。ここでは輝度値を用いているが、ＲＧＢ信号の場合、Ｇ信号でもよい。映像信号に黒つぶれや白飛びが発生している場合、ヒストグラムは図５(ｂ)および(ｃ)のようにヒストグラムの分散値、すなわち評価値は小さくなる。一方、映像信号が適正に露光されている場合は、ヒストグラムは図５(ａ)のようになり、ヒストグラムの分散値、すなわち評価値は大きくなる。
なお、分散の他にヒストグラムのエントロピー値を評価値として用いてもよく、ヒストグラムのエントロピーＥは数１０式で表される。

ここで、ｂｉｔは映像信号のビット数、ｆ（Ｙ）は輝度値Ｙにおける頻度を表している。ただし、頻度ｆ（Ｙ）は頻度の合計が１になるように正規化されている。このエントロピーは、ヒストグラムが輝度方向に対して平坦、すなわち、頻度ｆ（Ｙ）が常に一定の時最も大きくなる。従って、図５のヒストグラムの場合、頻度ｆ（Ｙ）がある程度均等に分布している図５(ａ)のヒストグラムのエントロピー、すなわち評価値は最も高くなる。評価値はバッファ５００から転送された複数枚分の映像信号すべてに対して算出され、算出された評価値は選択部５０３に転送される。選択部５０３は評価値算出部５０２から転送された最も高い評価値に対応する周波数成分の信号をバッファ５００から抽出し、差分映像信号生成部１１４に転送する。

差分映像信号生成部１１４は、抽出部１１１で抽出された１枚の映像信号からこの一枚の映像信号と対応する変換映像信号を差し引くことで差分映像信号を生成するものであり、図６に示すように、バッファ７００，７０１、及び差分信号算出部７０２を備えている。バッファ７００は変換部１１２から入力される複数枚の変換映像信号が記憶される。バッファ７０１は抽出部１１１により入力された１枚の映像信号が記憶される。差分信号算出部７０２は制御部１１９による制御に基づいてバッファ７００から抽出部１１１により抽出された映像信号に相当する変換映像信号を読み出し、バッファ７０１の１枚の映像信号から変換映像信号を差し引くことで、すなわち、次の数１１式で表されるような各座標（ｘ，ｙ）における差分処理を行うことで差分映像信号を生成する。

ここで、Ｈ（ｘ，ｙ）は差分処理後の差分映像信号、Ｓ１は抽出部１１１により入力された１枚の映像信号、Ｔ１は抽出部１１１により抽出された映像信号に相当する変換映像信号を示す。生成された差分映像信号Ｈ（ｘ，ｙ）は画像合成部１１５に出力される。

合成変換映像信号生成部１１３は、変換部１１２から転送された複数の変換映像信号を合成して合成変換映像信号を生成する。この際、複数の変換映像信号のそれぞれに対する合成の割合を適宜定めることができる。このため、合成変換映像信号生成部１１３は、図７に示すように、バッファ４００、重み付け係数算出部４０１及び加算部４０２を備えている。

バッファ３００は、変換部１１２から転送された複数枚の変換映像信号を記憶し、これを重み付け係数算出部４０１及び加算部４０２に転送する。

重み付け係数算出部４０１は複数枚の画像の合成割合である重み付け係数αを算出する。加算部３０４は、単純加算、または、数１２式を用いて、重み付け係数算出部４０１で算出された重み付け係数αに基づいて、同じ座標の信号値を合成し、合成変換映像信号を生成し、この合成変換映像信号を画像合成部１１５へ出力する。

ここで、この数１２式は、変換映像信号が２枚の場合であり、I´は合成後の信号である合成変換映像信号、Ｉ１、Ｉ２はバッファ４００から転送されたそれぞれ１枚目および２枚目の低周波映像信号を表し、（ｘ，ｙ）は変換映像信号の座標を表す。Ｉ１、Ｉ２はＲＧＢ信号の各チャンネルの信号を表し、ＹＣｂＣｒ信号でもよい。変換映像信号が３枚以上である場合には、以下の数１３式を用いて合成を行う。

ここで、Ｉ_ｉは、ｉ枚目の映像信号、β_ｉは重み付け係数を示す。

なお、本実施形態においては、複数枚の画像に重み付けをして合成することとしたが、これに限られることはなく、複数枚の画像の合成割合を等しくし単純加算による合成とすることも出来る。

画像合成部１１５は、差分映像信号生成部１１２の差分映像信号および合成変換映像信号生成部１１３の合成変換映像信号に対して同じ座標の信号値を加算し、階調変換部１１６へ転送する。

階調変換部１１６は、画像合成部１１５から転送された合成映像信号に対して、ガンマ変換やトーンカーブによる階調変換処理を行い、圧縮部１１７に転送する。

以下、このように構成された本実施形態の画像処理装置における画像合成処理の過程について図８のフローチャートを用いて説明する。

画像処理装置では、外部Ｉ／Ｆ部１２０を介してＩＳＯ感度、露出などの撮影条件を設定した後、図示しないシャッタボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１２０を介して図示しないシャッタボタンを全押しすることにより本撮影が行われる。本撮影は、撮像制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１９へ転送される。以下、説明の便宜上、本撮影における撮影回数を２回とし、この２回の撮影により入射光量が適正な映像信号Ｓ１と、映像信号Ｓ１に対して入射光量を半分とするなど、入射光量を異ならせた映像信号Ｓ２を得ることとして説明する。

ステップＳ１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２に進む。ステップＳ２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ４に進む。

ステップＳ４では、位置ずれ検出部１０８により、複数の映像信号間の対応する画素毎の位置ずれ量を検出しステップＳ５に進む。ステップＳ５では、変換部１１２にて、ステップＳ４で検出した位置ずれ量に基づいて、複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成し、生成した変換映像信号を合成変換映像信号１１３及び差分映像信号生成部１１４へ出力してステップＳ６に進む。

ステップＳ６では、抽出部１１１により、Ｓ１及びＳ２の２枚分の映像信号に基づいてヒストグラムを生成するなどしていずれの映像信号が画像合成に最も適しているかの評価を行い、画像合成に最も適したＳ１の１枚分の映像信号を抽出し、この一枚の映像信号を差分映像信号生成部１１４に出力する。ステップＳ７では、合成変換映像信号生成部１１３によりＳ１及びＳ２の変換映像信号の加算処理を行い、合成変換映像信号を生成する。ステップＳ８では、差分映像信号生成部１１４により、１枚の映像信号とこの１枚の映像信号に相当する変換映像信号とから差分処理を行うことにより差分映像信号を生成する。

ステップＳ９では、画像合成部１１５によりＳ１の差分映像信号および合成変換映像信号との加算処理を行うことで合成映像信号を生成し、合成された合成映像信号を階調変換部１１６に出力する。ステップＳ１０で、階調変換部１１６が、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１７へ出力され、圧縮部１１７において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１８へ出力される。

このように、本実施形態によれば、位置ずれの大きさによってフィルタの帯域を変更することが可能となり，位置ずれのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。

なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１０８ 位置ずれ検出部
１１１ 抽出部
１１２ 変換部
１１３ 合成変換映像信号生成部
１１４ 差分映像信号生成部
１１５ 画像合成部
２０１ 局所領域抽出部
２０２ 帯域設定部
２０３ フィルタ処理部
３０１ 注目画素設定部
３０２ 置換部
４０１ 重み付け係数算出部
４０２ 加算部
５０１ ヒストグラム算出部
５０２ 評価値算出部
５０３ 選択部
７０２ 差分信号算出部

Claims (10)

1. 露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、
   前記複数の映像信号間の対応する画素毎の位置ずれ量を検出する位置ずれ量検出手段と、
   前記位置ずれ量に基づいて、前記複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成する変換手段と、
   前記複数の変換映像信号を合成し、合成変換映像信号を生成する合成変換映像信号生成手段と、
   前記複数の映像信号から第一の映像信号を抽出する抽出手段と、
   前記第一の映像信号と該第一の映像信号と対応する前記変換映像信号との差分を算出することにより、差分映像信号を生成する差分映像信号生成手段と、
   前記合成変換映像信号と前記差分映像信号とを合成することにより合成映像信号を生成する画像合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記変換手段は、
   前記映像信号から、前記位置ずれ量に所定の相関関係を有する画素を抽出し、該相関関係を有する画素からなる局所領域を抽出する局所領域抽出手段と、
   前記位置ずれ量に基づいて、前記映像信号の周波数成分を算出するための周波数帯域を前記局所領域毎に設定する周波数帯域設定手段と、
   前記局所領域毎に設定された前記周波数帯域に従ってフィルタリング処理を行うことにより前記局所領域毎に前記映像信号の周波数成分を算出する周波数成分算出手段と、を備え、
   該周波数成分を前記変換映像信号とする請求項１に記載の画像処理装置。
3. 前記周波数帯域設定手段は、前記位置ずれ量が大きくなるに従って、低周波成分の割合を大きくするように周波数帯域を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記変換手段は、
   前記映像信号から、前記位置ずれ量に所定の相関関係を有する画素を抽出し、該相関関係を有する画素からなる局所領域を抽出する局所領域抽出手段と、
   前記局所領域に含まれる画素から任意の画素を注目画素として設定する注目画素設定手段と、
   前記局所領域毎に、該局所領域の前記注目画素以外の画素の画素値を該注目画素の画素値に近似し、前記注目画素以外の画素の画素値を近似された値に置換する置換手段と、を備え、
   置換後の画素からなる映像信号を前記変換映像信号とする請求項１に記載の画像処理装置。
5. 前記変換映像信号の画素値に基づいて、前記複数の変換映像信号の合成割合である重み付け係数を算出する重み付け算出手段を備え、
   前記合成変換映像信号生成手段は、前記重み付け係数に基づいて、前記変換映像信号を重み付けして合成を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
6. 前記抽出手段は、
   前記複数の映像信号のそれぞれについて、映像信号を構成する各画素の輝度値の出現頻度を表すヒストグラムを算出するヒストグラム算出手段と、
   前記ヒストグラムから輝度値の分散値を算出し、評価値とする評価値算出手段と、
   前記評価値が最大となる映像信号を前記第一の映像信号として選択する選択手段と、
   を備えることを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
7. 前記位置ずれ量検出手段は、前記複数の映像信号間の対応する画素又は領域を算出し、該対応する画素又は領域に基づいて前記複数の映像信号間の動きベクトルをずれ量として算出することを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
8. 前記位置ずれ量検出手段は、前記複数の映像信号を撮影した際の撮影条件に基づいて前記位置ずれ量を算出することを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
9. 前記撮影条件には、前記映像信号を撮影した際の撮影間隔及び焦点距離が含まれることを特徴とする請求項８に記載の画像処理装置。
10. 露光量の異なる複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、
    前記複数の映像信号間の対応する画素毎の位置ずれ量を検出するステップと、
    前記位置ずれ量に基づいて、前記複数の映像信号のそれぞれに対して所定の変換処理を行うことにより複数の変換映像信号を生成するステップと、
    前記複数の変換映像信号を合成し、合成変換映像信号を生成する合成変換映像信号生成ステップと、
    前記複数の映像信号から第一の映像信号を抽出するステップと、
    前記第一の映像信号と該第一の映像信号と対応する前記変換映像信号との差分を算出することにより、差分映像信号を生成するステップと、
    前記合成変換映像信号と前記差分映像信号とを合成することにより合成映像信号を生成するステップと、
    をコンピュータに実行させる画像処理プログラム。
    

Images