JP2019180002A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 暗環境で撮影され視認性が低い低照度画像の背景情報を再現するため、低照度画像とは照度が異なる時刻に、より多い受光量で撮影された参照画像を合成する際に、参照画像にのみ含まれる動体が低照度画像に重畳されることでゴーストが発生する。【解決手段】 第１画像から自動で生成した背景画像を用いて第２画像の視認性を改善する。その際に第１画像にのみ含まれる動体が低照度画像に重畳されるのを抑制するため、ディテール成分の重みを動体存在頻度マップにもとづき制御する。【選択図】 図２

Description

本発明は、低照度で撮影された画像の背景情報を再現するため、より多い受光量で撮像された画像を合成し、視認性を改善する画像処理装置及び画像処理方法に関する。

夜間等の暗環境下で撮影された低照度の画像（以下、低照度画像）は、暗部領域の階調の不足から、黒く潰れた画像となる。また、光量の不足を補うため信号を増幅した場合の低照度画像は、ノイズが多くなり視認性が低下する。この場合、露光時間を長時間にした画像である長露光画像を、低照度画像と合成することにより、視認性の低下は改善される。

露光時間など露光条件の異なる複数の撮像画像を合成する場合に、撮影範囲に動体が存在すると動体の位置ずれが発生する。動体の位置ずれの発生を低減するために、画像のフレーム間差分を全フレームで算出し、その差分の平均値を動き情報として取得し、動きの発生している領域の合成重みを抑制する手法が提案されている（例えば、特許文献１参照）。

特開２０１２−０４４３７７公報（第７−８頁）

従来の画像処理装置では、低照度画像と長露光画像とで、撮影時刻の間隔が開いている場合に、長露光画像では動き情報が殆ど観察できない場合でも、低照度画像中には存在しない動体が長露光画像中に存在する場合がある。この動体が存在するまま長露光画像を低照度画像に重畳した場合、本来は低照度画像の撮影時刻に存在しない物体の成分が重畳されるという問題があった。

この発明は、上記の様な課題を解決するためになされたものであり、本発明の目的は、暗環境で撮影された視認性が低い低照度画像を再現するため、低照度画像とは照度が異なる時刻に、より多い受光量で撮影された長露光画像を低照度画像に重畳する合成技術において、長露光画像にのみ含まれる動体の成分を抑制することで、参照画像にのみ含まれる動体の成分が低照度画像に重畳されることを回避し、視認性劣化を改善できるものである。

本発明の画像処理装置は、第１画像と第２画像とから合成画像を生成する画像処理装置において、第１画像は、第２画像と撮影範囲が同じでかつ撮影時の照度が異なり、また第２画像より多い受光量で撮影され、時間的に連続して撮影された複数の画像であり、複数の画像から構成される第１画像同士を合成し、動体の存在しない第１背景画像を生成する背景画像生成部と、第１画像と背景画像との差分である背景差分積算値から背景差分積算マップを生成する背景差分積算部と、第１背景画像から第１画像ディテール成分を生成する第１画像分離部と、背景差分積算マップを用いて背景差分積算値が高いほど第１画像のゲインを抑制するよう調整した調整第１ディテール成分を出力する第１ディテール調整部と、調整第１ディテール成分と第２画像とを合成し合成画像を出力する合成処理部とを備え、合成処理部は、第２画像を第２画像ベース成分と第２画像ディテール成分とに分離する第２画像分離部と、第２画像ディテール成分と調整第１ディテール成分とを合成した合成ディテール成分を出力する第２ディテール調整部と第２画像ベース成分と合成ディテール成分とを合成し合成画像を出力する成分合成部とを有することを特徴とする。

この発明は、低照度画像と長露光画像とで、撮影時刻の間隔が開いている場合に、長露光画像では動き情報が殆ど観察できない場合でも、長露光画像には存在しない動体の成分が低照度画像に重畳されることを回避し、視認性劣化を改善できる。

この発明の実施の形態１を示す画像処理装置に入力される画像と合成される画像とを説明する説明図である。 この発明の実施の形態１を示す画像処理装置を示すブロック図である。 この発明の実施の形態１を示す画像処理装置で用いる背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性を示す説明図である。 この発明の実施の形態１を示す画像処理方法を示すフロー図である。 この発明の実施の形態２を示す画像処理装置を示すブロック図である。

以下の実施の形態においては、画像データは、ディテール成分と、ディテール成分以外の成分であるベース成分とに分離して処理される。ディテール成分とは、各画素の画素値（信号値）が周辺画素と比べて小刻みに変化する成分であり、高周波成分とも呼ばれる。ベース成分とは、各画素の画素値が周辺画素と比べて小刻みに変化しない成分であり、低周波成分とも呼ばれる。つまり、ディテール成分は、画像における画素値の細かな変化を表している。ベース成分は、例えば、平滑化フィルター等の出力成分である。ディテール成分は、例えば、平滑化フィルター等の入力成分とベース成分との差分成分である。また、以下の説明においては、長露光画像を「参照画像」として説明する。

実施の形態１.
図１は、この発明の実施の形態１を示す画像処理装置に入力される画像と合成される画像とを説明する説明図である。図１（ａ）は、第１画像ＤＩＮ１を示す。図１（ｂ）は、第１背景画像Ｄ１を示す。図１（ｃ）は、第２画像ＤＩＮ２を示す。図１（ｄ）は、合成画像ＤＯＵＴを示す。第１画像ＤＩＮ１は、第２画像ＤＩＮ２と撮影範囲が同じでかつ撮影時の照度が異なる。また、第１画像ＤＩＮ１は、第２画像ＤＩＮ２より多い受光量で撮影され、時間的に連続して撮影された複数の画像である。第２画像ＤＩＮ２は、例えば少ない受光量で撮影された低照度画像である。第１画像ＤＩＮ１と第２画像ＤＩＮ２とは、撮影した時間が異なり、第１画像ＤＩＮ１には例えば第２画像ＤＩＮ２には映っていない車や歩行者などの動体が含まれている。

図２は、この発明の実施の形態１を示す画像処理装置を示すブロック図である。実施の形態１に係る画像処理装置１は、入力となる第２画像ＤＩＮ２に第１画像ＤＩＮ１から得られた第１画像調整ディテール成分Ｄ４を重畳することで合成画像ＤＯＵＴを生成する。画像処理装置１は、背景画像生成部１００、背景差分積算部１０１、第１画像分離部１０２、第１ディテール調整部１０４、及び合成処理部１０を備える。合成処理部１０は、第２画像分離部１０３、第２ディテール調整部１０５及び成分合成部１０６を有する。背景画像生成部１００は、第１画像ＤＩＮ１を入力し、動体の成分を抑制した第１背景画像Ｄ１を出力する。背景差分積算部１０１は、第１画像ＤＩＮ１と第１背景画像Ｄ１とを入力し、背景差分積算マップＤ１ｍを出力する。第１画像分離部１０２は、第１背景画像Ｄ１を入力し、第１画像ディテール成分Ｄ２を出力する。第１ディテール調整部１０４は、背景差分積算マップＤ１ｍを用いて第１画像ディテール成分Ｄ２の背景差分積算値が高いほど第１画像ＤＩＮ１を抑制するよう調整された第１画像調整ディテール成分Ｄ４を出力する。合成処理部１０は、入力された第２画像ＤＩＮ２と第１画像調整ディテール成分Ｄ４とを合成した合成画像ＤＯＵＴを生成する。次に合成処理部１０における動作を記す。第２画像分離部１０３は、入力された第２画像ＤＩＮ２を第２画像ベース成分Ｄ３Ａと第２画像ディテール成分Ｄ３Ｂとに分離する。第２ディテール調整部１０５は、第２画像ディテール成分Ｄ３Ｂと第１画像調整ディテール成分Ｄ４との合成値に０から１の固定ゲイン値である第２ディテール係数を乗算した合成ディテール成分Ｄ５を合成する。第２画像ディテール成分に乗算する固定ゲイン値は、第２画像に含まれるノイズ量もしくは受光量に応じて、ノイズが多く含まれる場合や受光量が少ない場合には小さい値を乗算することで、合成ディテール成分Ｄ５に含まれるノイズ量を低減することができる。成分合成部１０６は、第２画像ベース成分Ｄ３Ａと合成ディテール成分Ｄ５とから合成画像ＤＯＵＴを生成する。

本発明の画像処理装置１は、暗環境で撮影され視認性が低い低照度画像の背景情報を再現するため、低照度画像とは照度が異なる時刻に、より多い受光量で撮影された参照画像を合成する際に、参照画像にのみ含まれる動体の成分を抑制することで、動体の成分が低照度画像に重畳されることを回避し視認性劣化を改善する。第１画像ＤＩＮ１が参照画像に相当する。また、第２画像ＤＩＮ２が、低照度画像に相当する。なお、動体には次のフレーム画像では動いている走行中の車両や移動中の人物のような物体の他、例えば駐車中の車両のように、一時的に停止している物体である静止物体のことも含む。

次に画像処理装置１の各構成要素について説明する。入力される第１画像ＤＩＮ１は、同地点を連続的に撮像した複数の画像であり、それぞれが異なる日、又は異なる時間に撮像した複数の画像である。第１画像ＤＩＮ１は、モノクロ画像、又はＲＧＢ画像である。モノクロ画像の場合、ＲＧＢ画像に対しセンサ感度が高いため、合成時の背景情報再現効果がより大きく見込まれる。また撮像系が振動、微動する等の要因により第１画像ＤＩＮ１の間で撮影範囲が僅かに異なる場合は、合成の前に第１画像ＤＩＮ１の複数の画像間での位置合わせ処理を実施することが望ましい。

第１画像ＤＩＮ１の中で車や歩行者などの動体が含まれる場合、第１画像ＤＩＮ１と第２画像ＤＩＮ２との合成時に動体が合成画像ＤＯＵＴに含まれる可能性がある。動体を除いた第１背景画像Ｄ１を生成するため、背景画像生成部１００は、第１画像ＤＩＮ１を時間方向で合成し、第１背景画像Ｄ１を生成する。第１背景画像Ｄ１の生成方法としては、第１画像ＤＩＮ１を時間方向に加算平均した値である平均値、時間方向の中間値、または時間方向の最頻値などにより求める。

背景差分積算部１０１は、第１画像ＤＩＮ１を時間方向で合成した第１背景画像Ｄ１を用いて第１画像ＤＩＮ１の各画素値のばらつきを求め、背景差分積算マップＤ１ｍを算出する。各画素値のばらつきとは、例えば第１背景画像Ｄ１の画素の画素値と、第１画像ＤＩＮ１の画素の画素値との差分を平均した値である。背景差分積算マップＤ１ｍは、第１背景画像Ｄ１の全画素に対して、各画素値のばらつきを求めた結果である。この背景差分積算マップＤ１ｍは、入力画像サイズと同じ要素数を持つ配列を示す。背景差分積算マップＤ１ｍの配列の各要素は、後段の第１ディテール調整部１０４において、第１画像ディテール成分Ｄ２の、対応する画素値に対して作用する。背景差分積算マップＤ１ｍは、映像中での低頻度の変化（例えば、１０００フレームの中で、駐車している車が移動するフレームが数枚だけある場合の変化）を検出する指標値となる。

背景画像の生成では第１画像ＤＩＮ１の中の動体を除去することができるが、第１画像ＤＩＮ１の中の静止物体は除去できない場合が多い。

画像処理装置１は、背景差分積算マップＤ１ｍを用いることで第１画像ＤＩＮ１の中のほとんどの期間で静止していた物体が存在した領域を検出することができる。第１ディテール調整部１０４は、第１画像ＤＩＮ１の中のほとんどの期間で静止していた物体が存在した領域に対応するディテール成分を抑制し、動体の成分が低照度画像に重畳されることを回避する。

背景差分積算マップＤ１ｍのある注目画素の値を背景差分積算値Ｖ（Ｘ）とした場合、例えば、Ｖ（Ｘ）の算出方法は、式（１）のように第１背景画像Ｄ１の注目画素に対応する画素の画素値μと、全Ｎフレームの対応する画素値Ｘiとの差分を平均した値である。ここで第１背景画像Ｄ１の注目画素に対応する画素の画素値μと、全Ｎフレームの対応する画素値Ｘiは最大輝度で除算されることにより、０〜１の範囲で正規化されているものとする。

・・・・・・・・・・ 式（１）

ここで画素値μは、第１画像ＤＩＮ１の全フレームから算出されても良い。また、画素値μは、全フレーム中のある時間窓から逐次、算出されてもよい。なお、「時間窓」とは、ある信号の一部分の範囲を取り出してくるような関数であり、また範囲の外では、０となる関数である。

背景差分積算マップＤ１ｍは、動画の圧縮歪や、日照量の経時変化などの微小な変化によるオフセットを含んでいる場合がある。これらの影響を抑えるために、背景差分積算部１０１は、背景差分積算オフセットを求め、背景差分積算マップＤ１ｍから差し引いてもよい。背景差分積算オフセットは、背景差分積算マップＤ１ｍの各画素、又は全画素から、平均値、又は中間値を用いて求める。

また、背景差分積算部１０１は、背景差分積算マップＤ１ｍに含まれるノイズを除去してもよい。ノイズ除去は例えば、ボックスフィルター、又はガウシアンフィルターなどのフィルター処理によりおこなわれる。

また、ノイズ除去は、モルフォロジー演算によるクローズ処理で、背景差分積算マップＤ１ｍの中で孤立して背景差分積算値の高い領域の値を取り除くことによっても可能である。

また、第１画像ＤＩＮ１のフレームの最初、又はフレームの最後で生じた変化は、背景差分積算値を求めても高い値が得られない場合がある。特に、フレームの最後で生じた変化は、フレームの最初で生じた変化と比較して合成画像に変化後の影響が残っている可能性が高いため、対策が必要な場合がある。フレームの最後で生じた変化の影響を検出するためには、例えば、中央のフレームからフレームがどれだけ離れているかを重みとして、中央フレームから離れているほど背景差分積算マップＤ１ｍの各画素の値を増幅する重みを設ける。

この背景差分積算マップＤ１ｍは、蓄積された第１画像ＤＩＮ１を用いて一度だけ生成し、第１画像ＤＩＮ１が更新されるタイミングで再生成する。第２画像ＤＩＮ２に対する処理がオンラインで行われるのに対して、背景差分積算マップＤ１ｍの生成は事前処理となる。

次に第１画像分離部１０２は、第１背景画像Ｄ１に対してフィルター処理を行い、第１画像ディテール成分Ｄ２を生成する。フィルター処理は、例えば、ボックスフィルター、又はガウシアンフィルターなどの平滑化フィルターを用いる。また、フィルター処理は、バイラテラルフィルター、又はガイデッドフィルター等のエッジ保存平滑化フィルターを用いてもよい。また、フィルター処理は、微分フィルター、又はラプラシアンフィルター等のハイパスフィルターを用いてもよい。平滑化フィルターを用いる場合に第１画像分離部１０２は、第１画像ディテール成分Ｄ２を第１背景画像Ｄ１と第１背景画像Ｄ１の平滑化成分との差分から求める。またハイパスフィルターを用いる場合は直接ディテール成分を出力する。

第２画像分離部１０３は、第２画像ＤＩＮ２に対してフィルター処理を行い第２画像ベース成分Ｄ３Ａと第２画像ディテール成分Ｄ３Ｂとを出力する。第２画像分離部１０３におけるフィルター処理は、第１画像分離部１０２におけるフィルター処理と同様である。

第１ディテール調整部１０４は、背景差分積算マップＤ１ｍの各画素の値を重み係数として、第１画像ディテール成分Ｄ２の対応する画素の値を抑制した第１画像調整ディテール成分Ｄ４を出力する。背景差分積算値が高いほど第１画像のゲインを抑制するよう調整することで、第１画像ＤＩＮ１の静止物体が合成画像ＤＯＵＴに含まれることを回避する。なお、通り過ぎる車や人のような短時間しか存在しない動体は、平均値や中間値を用いて第１背景画像Ｄ１を生成する時に除去される。

図３は、この発明の実施の形態１を示す画像処理装置で用いる背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性を示す説明図である。背景差分積算値Ｖは、背景差分積算マップＤ１ｍのある画素の値である。背景差分積算値Ｖは、０から１の間の数値で表わされる正規化された値である。抑制ゲイン値ｇは、対応する第１画像ディテール成分Ｄ２の画素の画素値を調整する値である。抑制ゲイン値ｇは、０から１の間の数値で表わされる１を最大値とした値である。なお、第１画像調整ディテール成分Ｄ４と第１画像ディテール成分Ｄ２との関係は、抑制ゲイン値ｇを用いて、Ｄ４＝（１−ｇ）・Ｄ２のようにあらわされる。

図３（ａ）の説明図における背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性は、線形の関係である。

図３（ｂ）の説明図における背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性は、ｇ＝ｍ^gammaで示されるような関係である。つまり、抑制ゲイン値ｇが背景差分積算値Ｖのべき乗で示されるような関係である。図３（ｂ）のような入出力特性である場合、変化に対する抑制の感度を調整することができる。例えば、ｇ＝ｍ^gammaにおけるｇａｍｍａの値を１より大きく設定すれば、小さな変化に対してはあまり抑制を行わない入出力特性を設定することができる。ｇ＝ｍ^gammaにおけるｇａｍｍａの値を１より小さくすれば、小さな変化に対しても抑制ゲイン値を小さく設定し、ディテール成分をより抑制する入出力特性を設定することができる。

図３（ｃ）の説明図における背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性は、背景差分積算値Ｖが、予め設定した背景差分積算閾値ｍＴｈｒｅｓを上回る領域に対しては抑制ゲイン値ｇを１に設定するような特性である。抑制ゲイン値ｇを１に設定することは、第１画像ディテール成分Ｄ２が０になるまで抑制することである。この入出力特性とすることは抑制の感度を高めたい場合に有効である。

図３（ｄ）の説明図における背景差分積算値Ｖと抑制ゲイン値ｇとの入出力特性は、背景差分積算値Ｖが、予め設定した背景差分積算値閾値ｍＴｈｒｅｓを下回る領域に対しては抑制ゲイン値ｇを０に設定するような特性である。抑制ゲイン値ｇを０に設定することは、抑制を行わないことである。この入出力特性とすることは第１画像ＤＩＮ１に、動体と誤判定される量のノイズが含まれる場合に特に有効である。

第２ディテール調整部１０５は、第２画像ディテール成分Ｄ３Ｂと第１画像調整ディテール成分Ｄ４とを合成し、合成ディテール成分Ｄ５を出力する。合成方法は例えば第２画像ディテール成分Ｄ３Ｂ及び第１画像調整ディテール成分Ｄ４を各々、ゲイン調整を行い、重み付き平均を行う。ゲインは固定値でも良いし、シーンや撮像環境、画像特徴量に応じて調整を行っても良い。第１画像調整ディテール成分Ｄ４は、第２画像ＤＩＮ２に含まれない動体などの成分が抑制され、第２画像ディテール成分Ｄ３Ｂに合成される。

成分合成部１０６は、第２画像ベース成分Ｄ３Ａと合成ディテール成分Ｄ５とを合成し、合成画像ＤＯＵＴを出力する。

第１画像ＤＩＮ１と第２画像ＤＩＮ２とは同一の撮影範囲であることが望ましいが、異なる撮影範囲である場合、レジストレーションによる位置合わせ処理で撮影範囲を合わせれば画像処理装置に入力することが可能である。

次に実施の形態１に係る画像処理方法の動作を説明する。図４は、この発明の実施の形態１を示す画像処理方法を示すフロー図である。まずステップＳ１において第１画像ＤＩＮ１を入力する。

次にステップＳ２において、第１画像ＤＩＮ１から画素値を時間方向に加算平均した値である平均値、時間方向の中間値、または時間方向の最頻値などにより求めた第１背景画像Ｄ１を出力する。

次にステップＳ３において、第１画像ＤＩＮ１と第１背景画像Ｄ１との差分などにより算出した背景差分積算マップＤ１ｍを出力する。

次にステップＳ４において、第１背景画像Ｄ１と第１背景画像Ｄ１の平滑化成分との差分から求めた第１画像ディテール成分Ｄ２を出力する。

次にステップＳ５において、第１画像ディテール成分Ｄ２と背景差分積算マップＤ１ｍとから動体が存在する領域のディテールを抑制した第１画像調整ディテール成分Ｄ４を出力する。

次にステップＳ６において、第２画像ＤＩＮ２を入力する。

次にステップＳ７において、第２画像ＤＩＮ２を第２画像ベース成分Ｄ３Ａと第２画像ディテール成分Ｄ３Ｂとに分離する。

次にステップＳ８において、第１画像調整ディテール成分Ｄ４と第２画像ディテール成分Ｄ３Ｂとを合成する。

最後にステップＳ９において、合成ディテール成分Ｄ５と第２画像ベース成分Ｄ３Ａとを合成し、合成画像ＤＯＵＴを得る。

なおステップＳ１からステップＳ５までと、ステップＳ６からステップＳ７までは、異なる時間において処理されるフローである。

実施の形態１の画像処理装置１では、暗環境で撮影され視認性が低い低照度画像の背景情報を再現するため、低照度画像とは照度が異なる時刻に、より多い受光量で撮影された参照画像を低照度画像に合成する。その際に参照画像にのみ含まれる動体の成分を抑制することで、動体の成分が低照度画像に重畳されることを回避し視認性劣化を改善することができる。

また本発明は単純なフィルター演算処理、加算処理及び減算処理で構成されるため、少ない計算量で実現することができる。

なお、第１画像ＤＩＮ１となる多い受光量で撮像された画像には、日中に撮像された可視画像の他、フラッシュや赤外光投射などの光源照射を行うことで高い照度を有している可視画像または赤外光画像も適用することができる。

実施の形態２
実施の形態２に係る画像処理装置の動作を説明する。図４は、この発明の実施の形態２を示す画像処理装置を示すブロック図である。画像処理装置２は、実施の形態１で記載された画像処理装置１と比較して、背景差分積算部２０１のデータ入出力が異なる。

背景差分積算部２０１は、式（１）の方法で背景差分積算マップを生成する際に、背景画像生成部１００で生成した第１背景画像Ｄ１を使用する必要がない。背景差分積算部２０１において第１画像のフレーム方向の平均値を算出するなどの方法により画素値μを求める。

例えば、背景画像を表示する等の目的で残像の少ない背景画像を生成する必要がある場合には、背景画像の生成で中央値や最頻値を使用することが望ましい。

逆に背景差分積算マップを算出する場合では、平均値を用いた方が静止物体を含む動体を精度良く検出できる場合がある。

実施の形態２の画像処理装置２は、背景画像生成の方法と背景差分積算の方法とを自由に設計することができる。また、画像処理装置２は、背景画像生成、及び背景差分積算の双方の処理を独立に最適化することができる。なお、実施の形態１と同じ構成要件に係る動作、その他の構成については実施の形態１と同様である

実施の形態２の画像処理装置２は、背景画像生成の方法と背景差分積算の方法とを自由に設計することができる。また、画像処理装置２は、背景画像生成、及び背景差分積算の双方の処理を独立に最適化することができる。例えば、背景画像を表示する等の目的で残像の少ない背景画像を生成する必要がある場合に画像処理装置２は、背景画像の生成に中央値、又は最頻値を使用する。

なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

以上で説明したように、暗環境で撮影され視認性が低い低照度画像を、より明環境で撮影された参照画像を用いて、ノイズや黒潰れなどの視認性劣化を改善することが可能となる。

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１，２ 画像処理装置
１０ 合成処理部
１００ 背景画像生成部
１０１，２０１ 背景差分積算部
１０２ 第１画像分離部
１０３ 第２画像分離部
１０４ 第１ディテール調整部
１０５ 第２ディテール調整部
１０６ 成分合成部

Claims (8)

1. 第１画像と第２画像とから合成画像を生成する画像処理装置において、前記第１画像は、前記第２画像と撮影範囲が同じでかつ撮影時の照度が異なり、また前記第２画像より多い受光量で撮影され、時間的に連続して撮影された複数の画像であり、
   複数の画像から構成される前記第１画像同士を合成し、動体の存在しない第１背景画像を生成する背景画像生成部と、
   前記第１画像と前記背景画像との差分である背景差分積算値から背景差分積算マップを生成する背景差分積算部と、
   前記第１背景画像から第１画像ディテール成分を生成する第１画像分離部と、
   前記背景差分積算マップを用いて前記背景差分積算値が高いほど第１画像のゲインを抑制するよう調整した調整第１ディテール成分を出力する第１ディテール調整部と、
   前記調整第１ディテール成分と前記第２画像とを合成し前記合成画像を出力する合成処理部とを備え、
   前記合成処理部は、前記第２画像を第２画像ベース成分と第２画像ディテール成分とに分離する第２画像分離部と、
   前記第２画像ディテール成分と前記調整第１ディテール成分とを合成した合成ディテール成分を出力する第２ディテール調整部と
   前記第２画像ベース成分と前記合成ディテール成分とを合成し前記合成画像を出力する成分合成部とを有する
   画像処理装置。
2. 前記背景画像生成部は、前記第１画像を構成する複数の画像の全フレームの画素値を時間方向に加算平均した値から第１背景画像を算出する
   請求項１に記載の画像処理装置。
3. 前記第１ディテール調整部は、前記背景差分積算マップに対してベキ乗の関係を有する重みに応じて、前記第１画像ディテール成分を抑制する
   請求項１または請求項２に記載の画像処理装置。
4. 前記第１ディテール調整部は、前記背景差分積算値が、予め設定した背景差分積算閾値を上回る領域に対しては０から１までの値を取りうる抑制ゲイン値を１に設定した重みを前記第１画像ディテール成分に乗算することで、前記第１画像ディテール成分を調整する
   請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記第１ディテール調整部は、前記背景差分積算値が、予め設定した背景差分積算閾値を下回る領域に対しては０から１までの値を取りうる抑制ゲイン値を０に設定した重みを前記第１画像ディテール成分に乗算することで、前記第１画像ディテール成分を調整する
   請求項１から請求項３のいずれか１項に記載の画像処理装置。
6. 前記第１画像は、フラッシュ照射により得られた画像である
   請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記第１画像は、赤外光画像である
   請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 第１画像と第２画像とから合成画像を生成する画像処理方法において、前記第１画像は、前記第２画像と撮影範囲が同じでかつ撮影時の照度が異なり、また前記第２画像より多い受光量で撮影され、時間的に連続して撮影された複数の画像であり、
   前記第１画像を入力する第１画像入力ステップと、
   複数の画像から構成される前記第１画像同士を合成し、動体の存在しない第１背景画像を生成する背景画像生成ステップと、
   前記第１画像と前記第１背景画像との差分である背景差分積算値から背景差分積算マップを生成する背景差分積算ステップと、
   第１背景画像から第１画像ディテール成分を生成する第１画像分離ステップと、
   前記背景差分積算マップを用いて前記背景差分積算値が高いほど第１画像を抑制するよう調整した調整第１ディテール成分を出力する第１ディテール調整ステップと、
   調整第１ディテール成分と前記第２画像とを合成し合成画像を出力する合成処理ステップとを備え、
   前記合成処理ステップは、前記第２画像を第２画像ベース成分と第２画像ディテール成分とに分離する第２画像分離ステップと、
   前記第２画像ディテール成分と前記調整第１ディテール成分とを合成した合成ディテール成分を出力する第２ディテール調整ステップと、
   前記第２画像ベース成分と前記合成ディテール成分とを合成し前記合成画像を出力する成分合成ステップとを有する
   画像処理方法。

Images