JP2016010121A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】短露光画像および長露光画像を合成する技術において、ノイズ低減処理をより効果的に行う技術を提供する。
【解決手段】短露光画像と長露光画像とを合成する画像処理装置１Ａにおいて、短露光画像に対するノイズ低減処理を短露光画像の画素値に基づいて画素ごとに選択する選択部５２Ａと、ノイズ低減処理を画素ごとに行う処理部５１と、ノイズ低減処理が行われた短露光画像と長露光画像とを合成するＷＤＲ合成部７０と、を備える、画像処理装置１Ａが提供される。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

ＷＤＲ信号を得る手法としては、露光時間を変えながら複数枚の画像を連続して撮影して合成する手法が採用されるのが一般的である。このとき、得られるダイナミックレンジは、１６ビットから２０ビット、あるいは、それ以上に達する場合もある。ＷＤＲ信号は、ディスプレイやプリンタの表示能力に合わせて８ビットから１２ビット程度にレンジ圧縮されて出力される。

このようなＷＤＲ信号では、短露光画像を使用する領域のノイズがしばしば問題となる。短露光画像であっても、適正露光されている領域であればＳＮ比は高く、ノイズはあまり目立たないが、短露光画像中でほぼ真っ黒に映っている領域を増幅して使用するような場合は、ノイズレベルと大差ない信号を増幅することになり非常にノイズが目立つ。特に、明暗が急激に変化するオブジェクト境界は、短露光画像使用領域と長露光画像使用領域とが切り換わる遷移領域となり、２つの画像が混合されて使用される。２つの画像が混合されて使用される領域では、ＳＮ比が低い短露光画像の画素値が使用されるため、合成画像にノイズが混入する。

ＷＤＲ信号の短露光画像使用領域のノイズを低減する手法として、以下の特許文献１〜４に開示されているような技術がある。

特許文献１に記載された技術は、短露光画像の閾値以下の画素値をクリップ処理してから合成を行う技術である。これによってノイズが目立つ暗部をマスクすることになるのでノイズを大幅に抑圧することができる。

特許文献２に記載された技術は、合成画像に使用する短露光画像の割合が高いほど、または合成画像の輝度値が大きいほど、短露光画像に対するノイズ低減処理の強度を上げる技術である。これによって短露光画像のノイズを低減することができる。

特許文献３に記載された技術は、短露光画像を複数枚撮影して合成することによってノイズを低減した合成用の短露光画像を作成した後、この合成用短露光画像と長露光画像を使って合成画像を生成する技術である。

特許文献４に記載された技術は、露光時間の異なる数枚の画像を事前に撮影し、各画像のノイズ量を分析することによってノイズ状況を把握して、合成画像のノイズ量が所望のノイズ量以下の範囲となるように露光設定を行う。

特開２００９−１５２６６９号公報 特開２０００−６９３５５号公報 特開２０１２−２３９０７７号公報 特開２０１０−２００１７７号公報

しかしながら、特許文献１に記載された技術を用いた場合には、閾値以下の画素レベルに含まれるテクスチャ情報も一切消えてしまうことから、短露光画像と長露光画像との境界領域においてテクスチャが弱まって不自然に見える現象が発生する。また、クリップレベルが直流分となることから、もし境界領域の長露光画像の画素値が０付近の場合には、短露光画像使用領域の周辺が微かに明るく見えるような輝度差が発生する点も問題となる。露光比が十数倍から数十倍程度に大きい場合、指摘した画質上の問題は小さくなるかもしれないが、大き過ぎる露光比は短露光画像使用領域と長露光画像使用領域が滑らかに変化すべき領域の滑らかさを低下させるため、この技術を全てのシーンに対して適用できる訳ではない。

また、特許文献２に記載された技術では、ノイズ低減処理の対象が短露光画像全体であって、ノイズ低減の効果のみならず解像度低下という弊害も短露光画像使用領域全体に広がってしまうため、結果としてノイズ低減効果を強くできない点が課題である。また、短露光画像であっても信号レベルが高ければノイズはあまり目立たず、低い信号レベルを増幅して使用するような短露光画像使用領域と長露光画像使用領域との境界領域でノイズが目立つ傾向がある。該境界領域においては短露光画像の使用割合は低くなっており、合成画像の輝度値も小さくなっていることから、本技術を使用しても境界領域のノイズ低減にはほとんど効果がないと推測される。

また、特許文献３に記載された技術では、オブジェクトが動いている場合には、合成用短露光画像を生成する時点で合成アーティファクトが発生する点が問題となる。また、ノイズ低減効果を大きくしようとすれば、短露光画像だけで数枚の画像を撮影する必要があるため、本技術を動画に適用しようとすればフレームレートが大きく低下してしまう点も問題である。

また、特許文献４に記載された技術では、ノイズを低減する代わりにダイナミックレンジが低下してしまう点が問題である。

そこで、本発明は、短露光画像および長露光画像を合成する技術において、ノイズ低減処理をより効果的に行う技術を提供する。

本発明のある実施形態によれば、短露光画像と長露光画像とを合成する画像処理装置において、前記短露光画像に対するノイズ低減処理を前記短露光画像の画素値に基づいて画素ごとに選択する選択部と、前記ノイズ低減処理を画素ごとに行う処理部と、前記ノイズ低減処理が行われた前記短露光画像と長露光画像とを合成する合成部と、を備える、画像処理装置が提供される。

かかる構成によれば、短露光画像の暗部ノイズを低減することによって、合成画像中でノイズが目立つ領域である短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減され得る。また、かかる構成によれば、ノイズ低減処理の弊害である解像度低下が少なく自然な合成画像が得られる。

より具体的に、前記選択部は、前記画素値が閾値を下回る場合には、第１のノイズ低減処理を選択し、前記画素値が前記閾値を上回る場合には、前記第１のノイズ低減処理とは異なる第２のノイズ低減処理を選択してもよい。

また、前記第２のノイズ低減処理は、前記第１のノイズ低減処理よりも弱いノイズ低減処理またはノイズ低減処理なしであってよい。

前記画像処理装置は、動き領域および非動き領域を検出する動き検出部を備え、前記選択部は、前記画素が前記非動き領域に属する場合には、前記画素値が閾値を下回る場合に前記第１のノイズ低減処理を選択し、前記画素値が前記閾値を上回る場合に前記第２のノイズ低減処理を選択してよい。

かかる構成によれば、動き領域に対しては弱いノイズ低減処理を施すことにより、動き領域の解像度低下を小さく抑えることができる。特に、動き物体を合成する際に発生するアーティファクトやブラーを抑圧するために、動き領域に短露光画像が使用される場合には、短露光画像の解像度低下を小さく抑えることができる。また、非動き領域においては、短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減させることができ、非動き領域の解像度低下を小さく抑えることが可能である。

より具体的には、前記選択部は、前記画素が前記動き領域に属する場合には、第３のノイズ低減処理を選択してよい。

また、本発明の別の実施形態によれば、短露光画像と長露光画像とを合成する画像処理装置における画像処理方法において、前記短露光画像に対するノイズ低減処理を画素値に基づいて当該画素ごとに選択するステップと、前記ノイズ低減処理を画素ごとに行うステップと、前記ノイズ低減処理が行われた前記短露光画像と長露光画像とを合成するステップと、を備える、画像処理方法が提供される。

かかる方法によれば、短露光画像の暗部ノイズを低減することによって、合成画像中でノイズが目立つ領域である短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減され得る。また、かかる構成によれば、ノイズ低減処理の弊害である解像度低下が少なく自然な合成画像が得られる。

以上説明したように、本発明によれば、短露光画像および長露光画像を合成する技術において、ノイズ低減処理をより効果的に行うことが可能である。

一般的なＷＤＲ技術に係る各画像の例を示す図である。 本発明の第１の実施形態に係る画像処理装置の機能構成を示す図である。 ノイズ低減部の詳細な構成例を示す図である。 弱フィルタおよび強フィルタそれぞれの構成例を示す図である。 本発明の第１の実施形態に係る画像処理装置の選択部の動作例を示すフローチャートである。 本発明の第１の実施形態が奏する効果の例を説明するための図である。 本発明の第２の実施形態に係る画像処理装置の機能構成を示す図である。 ノイズ低減部の詳細な構成例を示す図である。 本発明の第２の実施形態に係る画像処理装置の選択部の動作例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（実施形態の概要）
まず、本発明の実施形態の概要を説明する。図１は、一般的なＷＤＲ技術に係る各画像の例を示す図である。図１の各画像は、晴天の日に室内から屋外を撮影したシーンであり、短露光画像Ｉｍｇ−ａでは、窓の外の雲が見えているが室内は非常に暗く映っている。また、長露光画像Ｉｍｇ−ｂでは、室内や人物は適正露光になっているが窓は飽和している。これら２枚の画像を使用画像選択情報Ｉｍｇ−ｃに従って合成すると、合成画像Ｉｍｇ−ｄが得られる。なお、使用画像選択情報Ｉｍｇ−ｃのうち、白領域は、短露光画像を使用する領域を示し、黒領域は長露光画像を使用する領域を示している。

このようにして合成が行われれば、屋外および屋内ともに視認性が高まるが、短露光画像使用領域と長露光画像使用領域とが切り換わる窓枠部分Ｒ１がノイジーになる。短露光画像Ｉｍｇ−ａでは、窓以外の部分の信号レベルは非常に小さくなっており、短露光画像Ｉｍｇ−ａの画素値を増幅して得られるノイジーな信号と長露光画像の画素値とを混合して合成画像Ｉｍｇ−ｄに使用すれば、合成画像Ｉｍｇ−ｄのごとく窓枠部分Ｒ１の周辺だけノイズが目立ってしまうのである。

本発明の第１の実施形態に係る技術では、短露光画像Ｉｍｇ−ａの暗部だけに強いノイズ低減処理を適用してから合成する。これによって、従来目立っていた暗部と明部との境界領域におけるノイズを抑えることができる。また、本発明の第２の実施形態に係る技術では、本発明の第１の実施形態に係る技術と動き物体の合成アーティファクト低減処理とを組み合わせる場合に、強いノイズ低減処理を非動き領域の短露光画像の暗部に適用し、動き領域には弱いノイズ低減処理を適用する。これによって、動き物体の解像度低下を防止しつつ、境界ノイズ低減の効果を得ることができる。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成について説明する。図２は、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成を示す図である。図２に示すように、画像処理装置１Ａは、センサ１０、フレームメモリ２０、使用画像選択部３０、ノイズ低減部５０Ａ、ＷＤＲ合成部７０およびレンジ圧縮部８０を備える。以下、画像処理装置１Ａが備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。

なお、図２に示した例では、画像処理装置１Ａは、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１Ａは、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

使用画像選択部３０は、フレームメモリ２０から読み出した短露光画像と長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出し、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、上記したように使用画像選択情報は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、使用画像選択部３０は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、使用画像選択部３０は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

ノイズ低減部５０Ａは、短露光画像からノイズを低減する。図３は、ノイズ低減部５０Ａの詳細な構成例を示す図である。図３に示すように、ノイズ低減部５０Ａは、処理部５１および選択部５２Ａを有している。処理部５１は、ノイズ低減処理を画素ごとに行う。図３に示した例では、ノイズ低減処理を画素ごとに行う主体として、弱フィルタ５１ａおよび強フィルタ５１ｂが示されている。しかし、弱フィルタ５１ａおよび強フィルタ５１ｂは、絶対的な強度を限定するものではない。したがって、強度の異なる２つのフィルタのうち、相対的に強度が小さいフィルタが弱フィルタ５１ａに相当し、相対的に強度が大きいフィルタが強フィルタ５１ｂに相当する。なお、弱フィルタ５１ａは、ノイズ低減処理を行わなくてもよい。

図４は、弱フィルタ５１ａおよび強フィルタ５１ｂそれぞれの構成例を示す図である。図４には、弱フィルタ５１ａは５タップフィルタであり、強フィルタ５１ｂは１３タップフィルタである場合が例として示されている。弱フィルタ５１ａおよび強フィルタ５１ｂは、中心タップの画素値と周辺タップの画素値との加算平均を算出することによって中心タップの画素値を算出してよい。この例のように、ノイズ低減強度を大きくするほど周辺タップの数を増やすようにしてもよい。

しかし、弱フィルタ５１ａおよび強フィルタ５１ｂそれぞれの強度はどのように異ならせてもよい。例えば、タップサイズを固定し、弱フィルタ５１ａおよび強フィルタ５１ｂは、中心タップの画素値との差分が所定の値よりも小さい１つまたは複数のタップの画素値の加算平均を算出することによって中心タップの画素値を算出してもよい。かかる場合は、所定の値の大きさがノイズ低減処理の強弱に相当する。

あるいは、タップサイズを固定し、中心タップとの距離に応じた重み係数を各タップに定義して、各タップの画素値と重み係数との畳み込み演算によってノイズ低減を行ってもよい。この場合は、重み係数の分布の違いがノイズ低減処理の強弱となる。このようにして、ノイズ低減処理としては様々な手法が存在するが、ノイズ低減処理の強弱が存在して、テクスチャや鮮鋭感の減退という弊害も存在するような２種のノイズ低減処理が用意できれば、これらの２種のノイズ低減処理は、本発明の実施形態に適用され得る。

選択部５２Ａは、短露光画像に対するノイズ低減処理を短露光画像の画素値に基づいて画素ごとに選択する。例えば、選択部５２Ａは、画素値が閾値を下回る場合には、強フィルタ５１ｂを選択し、画素値が閾値を上回る場合には、弱フィルタ５１ａを選択する。画素値が閾値と等しい場合には、弱フィルタ５１ａおよび強フィルタ５１ｂのうち何れが選択されてもよい。選択されたフィルタによってノイズ低減処理がなされた短露光画像は、ＷＤＲ合成部７０に出力される。

このような構成により、短露光画像の暗部に含まれるノイズが強力に低減される一方で、中間領域から高輝度領域といったノイズがあまり目立たない領域に対しては弱いノイズ低減が適用されることによって、ノイズ低減処理よりも解像度確保が優先される。なお、設定露光比やノイズが目立つ程度などによって最適な閾値が決定されてよい。ノイズ低減部５０Ａにおいて、暗部ノイズが強力に低減された短露光画像がＷＤＲ合成に使用される。

ＷＤＲ合成部７０は、使用画像選択部３０によって生成された使用画像選択情報に基づいて、ノイズ低減部５０Ａによってノイズ低減処理が行われた短露光画像と長露光画像とを合成することによりＷＤＲ合成画像を生成する。具体的には、ＷＤＲ合成部７０は、使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。合成に際しては、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で合成されるのがよい。

ＷＤＲ合成部７０による合成手法は特に限定されない。例えば、長露光画像を選択する旨を示す値が「０」であり、短露光画像を選択する旨を示す値が「１」である場合を想定する。かかる場合には、ＷＤＲ合成部７０は、使用画像選択情報を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×（短露光画像の画素値）＋（１−α）×（長露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。

レンジ圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部７０により生成されたＷＤＲ画像に対して行う。センサ１０の分解能が１２ビットだとすれば、ＷＤＲ信号は１６ビット程度に拡張されるが、レンジ圧縮部８０は、この信号を、後段の汎用的な画像信号処理の入力仕様に合わせて、例えば１２ビットに再度圧縮する。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。

レンジ圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、レンジ圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

以上においては、１つの閾値を上回るか下回るかによって２種類のノイズ低減処理のうちの何れかを選択する例について説明したが、閾値は２つ以上設けられていてもよい。例えば、閾値が２つ設けられる場合、これらの閾値によって区切られる３つの領域のうちの何れの領域に該当するかによって３種類のノイズ低減処理のうちの何れかを選択することとしてもよい。

また、以上においては、露光量の異なる２種類の画像（短露光画像および長露光画像）を撮影して合成する例を説明した。しかし、合成に使用される画像の種類は特に限定されない。例えば、露光量の異なる３種類以上の画像を撮影して合成する例にも本実施形態は適用され得る。

ここで、本発明の第１の実施形態に係る画像処理装置１Ａの選択部５２Ａの動作例についてさらに説明する。図５は、本発明の第１の実施形態に係る画像処理装置１Ａの選択部５２Ａの動作例を示すフローチャートである。なお、図５に示した選択部５２Ａの動作例は、一例に過ぎないため、選択部５２Ａの動作は、図５に示した例に限定されない。

図５に示すように、選択部５２Ａは、短露光画像を構成する各画素について、以下に示すようなフィルタ選択を行う。すなわち、選択部５２Ａは、短露光画像の画素値が閾値を上回る場合には（ステップＳ１１において「Ｎｏ」）、弱フィルタ５１ａを選択する（ステップＳ１２）。一方、選択部５２Ａは、短露光画像の画素値が閾値を下回る場合には（ステップＳ１１において「Ｙｅｓ」）、強フィルタ５１ｂを選択する（ステップＳ１３）。ＷＤＲ合成部７０には、選択されたフィルタによってノイズ低減された短露光画像が出力される。その後、長露光画像と選択されたフィルタによってノイズ低減された短露光画像とがＷＤＲ合成部７０によって合成される。

続いて、本発明の第１の実施形態が奏する効果の例を説明する。図６は、本発明の第１の実施形態が奏する効果の例を説明するための図である。図６を参照すると、本発明の第１の実施形態に係る画像処理装置１Ａによって生成された合成画像Ｉｍｇ−ｅが示されている。合成画像Ｉｍｇ−ｅを参照すると、短露光画像の暗部ノイズを低減することによって、合成画像中でノイズが目立つ領域である短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減されている。

また、ノイズ低減処理の弊害である解像度低下が少なく自然な合成画像が得られている。その他、従来技術と比較して、本発明の第１の実施形態に係る画像処理装置１Ａは、動画にも適用可能である点、ダイナミックレンジも低下しない点、動き領域の合成アーティファクト低減処理との高い親和性を有する点なども特徴である。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、動き検出情報を参照せずにノイズ低減処理を選択する例を説明した。しかし、例えば、動き領域に対して強いノイズ低減処理を施せば、動き領域の解像度が大きく低下してしまう可能性がある（動き物体のテクスチャが大きく減衰してしまう可能性がある）。

例えば、動き物体を合成する際に発生するアーティファクトやブラーを抑圧するために、ＷＤＲ合成部７０において動き領域に短露光画像が使用される場合には、この短露光画像の解像度が大きく低下してしまう可能性がある。そこで、本発明の第２の実施形態においては、動き検出情報を利用してノイズ低減処理を選択する例を説明する。

図７は、本発明の第２の実施形態に係る画像処理装置１Ｂの機能構成を示す図である。図７に示すように、本発明の第２の実施形態に係る画像処理装置１Ｂは、本発明の第１の実施形態に係る画像処理装置１Ａと比較して、フレームメモリ２０の後段に動き検出部４０をさらに備える。また、本発明の第１の実施形態に係る画像処理装置１Ａと比較して、ノイズ低減部５０の機能が異なる。以下、動き検出部４０およびノイズ低減部５０Ｂについて主に説明する。

動き検出部４０は、動きを検出して動き検出情報を生成する。動きの検出手法は限定されないが、短露光画像および長露光画像から動きを検出する場合には、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。また、動き検出情報の生成手法は特に限定されない。例えば、動き検出部４０は、短露光画像と長露光画像とに基づいて検出した動きと閾値との関係に基づいて動き検出情報を生成すればよい。

具体的には、動き検出部４０は、短露光画像と長露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が閾値より大きい領域を動き領域として検出してよい。一方、動き検出部４０は、差分が閾値より小さい領域を非動き領域として検出してよい。差分が閾値と同一の領域はいずれの領域として検出されてもよい。動き検出部４０は、このような検出結果を動き検出情報として生成してよい。

ノイズ低減部５０Ｂは、短露光画像からノイズを低減する。図８は、ノイズ低減部５０Ｂの詳細な構成例を示す図である。図８に示すように、ノイズ低減部５０Ｂは、処理部５１および選択部５２Ｂを有している。選択部５２Ｂは、画素が非動き領域に属する場合、画素値が閾値を下回る場合に強フィルタ５１ｂを選択する。これにより、本発明の第１の実施形態と同様に、合成画像中でノイズが目立つ領域である短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減することが可能である。

また、選択部５２Ｂは、画素が非動き領域に属する場合、画素値が閾値を上回る場合に弱フィルタ５１ａを選択する。これにより、本発明の第１の実施形態と同様に、ノイズがあまり目立たない領域に対しては弱いノイズ低減が適用されることによって、ノイズ低減処理よりも解像度確保が優先される。なお、本発明の第１の実施形態と同様に、弱フィルタ５１ａは、ノイズ低減処理を行わなくてもよい。

一方、選択部５２Ｂは、画素が動き領域に属する場合には、弱フィルタ５１ａを選択する。これにより、動き領域の解像度が大きく低下してしまう可能性が低減される（動き物体のテクスチャが大きく減衰してしまう可能性が低減される）。なお、ここでは、画素が動き領域に属する場合に、弱フィルタ５１ａが選択される例を説明するが、強フィルタ５１ｂよりも弱いフィルタであれば、弱フィルタ５１ａと異なるフィルタが選択されてもよい。

ここで、本発明の第２の実施形態に係る画像処理装置１Ｂの選択部５２Ｂの動作例についてさらに説明する。図９は、本発明の第２の実施形態に係る画像処理装置１Ｂの選択部５２Ｂの動作例を示すフローチャートである。なお、図９に示した選択部５２Ｂの動作例は、一例に過ぎないため、選択部５２Ｂの動作は、図９に示した例に限定されない。

図９に示すように、選択部５２Ｂは、短露光画像を構成する各画素について、以下に示すようなフィルタ選択を行う。すなわち、選択部５２Ｂは、短露光画像の画素が動き領域に属する場合には（ステップＳ１０において「Ｙｅｓ」）、弱フィルタ５１ａを選択する（ステップＳ１４）。一方、選択部５２Ｂは、短露光画像の画素が非動き領域に属する場合には（ステップＳ１０において「Ｎｏ」）、ステップＳ１１に進む。

そして、選択部５２Ｂは、短露光画像の画素値が閾値を上回る場合には（ステップＳ１１において「Ｎｏ」）、弱フィルタ５１ａを選択する（ステップＳ１２）。一方、選択部５２Ｂは、短露光画像の画素値が閾値を下回る場合には（ステップＳ１１において「Ｙｅｓ」）、強フィルタ５１ｂを選択する（ステップＳ１３）。ＷＤＲ合成部７０には、選択されたフィルタによってノイズ低減された短露光画像が出力される。その後、長露光画像と選択されたフィルタによってノイズ低減された短露光画像とがＷＤＲ合成部７０によって合成される。

なお、図９には、画素が動き領域に属する場合に、弱フィルタ５１ａが選択される例が示されているが、強フィルタ５１ｂよりも弱いフィルタであれば、弱フィルタ５１ａと異なるフィルタが選択されてもよいことは既に説明した通りである。

続いて、本発明の第２の実施形態が奏する効果の例を説明する。本発明の第２の実施形態によれば、動き領域に対しては弱いノイズ低減処理を施すことにより、動き領域の解像度低下を小さく抑えることができる。特に、動き物体を合成する際に発生するアーティファクトやブラーを抑圧するために、動き領域に短露光画像が使用される場合には、短露光画像の解像度低下を小さく抑えることができる。また、非動き領域においては、短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減させることができ、非動き領域の解像度低下を小さく抑えることが可能である。

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１の実施形態によれば、短露光画像と長露光画像とを合成する画像処理装置１Ａにおいて、短露光画像に対するノイズ低減処理を短露光画像の画素値に基づいて画素ごとに選択する選択部５２Ａと、ノイズ低減処理を画素ごとに行う処理部５１と、ノイズ低減処理が行われた短露光画像と長露光画像とを合成するＷＤＲ合成部７０と、を備える、画像処理装置１Ａが提供される。

かかる構成によれば、短露光画像の暗部ノイズを低減することによって、合成画像中でノイズが目立つ領域である短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減されている。また、ノイズ低減処理の弊害である解像度低下が少なく自然な合成画像が得られている。その他、従来技術と比較して、本発明の第１の実施形態に係る画像処理装置１Ａは、動画にも適用可能である点、ダイナミックレンジも低下しない点、動き領域の合成アーティファクト低減処理との高い親和性を有する点なども特徴である。

また、本発明の第２の実施形態によれば、動き領域および非動き領域を検出する動き検出部４０を備え、選択部５２Ｂは、画素が非動き領域に属する場合には、画素値が閾値を下回る場合に第１のノイズ低減処理を選択し、画素値が閾値を上回る場合に第２のノイズ低減処理を選択する、画像処理装置１Ｂが提供される。

かかる構成によれば、動き領域に対しては弱いノイズ低減処理を施すことにより、動き領域の解像度低下を小さく抑えることができる。特に、動き物体を合成する際に発生するアーティファクトやブラーを抑圧するために、動き領域に短露光画像が使用される場合には、短露光画像の解像度低下を小さく抑えることができる。また、非動き領域においては、短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減させることができ、非動き領域の解像度低下を小さく抑えることが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

ワイドダイナミックレンジ技術は、ネットワークカメラの差別化技術として特に重要視されている。本発明の実施形態は、従来技術で大きな問題となっていた短露光画像使用領域と長露光画像使用領域との境界領域のノイズを効果的に低減することができる。また、本発明の実施形態は、動き物体や静止領域の解像度低下といった弊害も小さく抑えることができる点、構成が簡単で小さい回路規模で実現可能である点、フレームレートには影響がなく動画性能を落とさない点、ダイナミックレンジが低下しない点、動き領域の合成アーティファクト低減処理との高い親和性など、優れた点が多い技術である。

１（１Ａ、１Ｂ） 画像処理装置
１０ センサ
２０ フレームメモリ
３０ 使用画像選択部
４０ 動き検出部
５０（５０Ａ、５０Ｂ） ノイズ低減部
５１ 処理部
５１ａ 弱フィルタ
５１ｂ 強フィルタ
５２（５２Ａ、５２Ｂ） 選択部
７０ ＷＤＲ合成部
８０ レンジ圧縮部

Claims (6)

1. 短露光画像と長露光画像とを合成する画像処理装置において、
   前記短露光画像に対するノイズ低減処理を前記短露光画像の画素値に基づいて画素ごとに選択する選択部と、
   前記ノイズ低減処理を画素ごとに行う処理部と、
   前記ノイズ低減処理が行われた前記短露光画像と長露光画像とを合成する合成部と、
   を備える、画像処理装置。
2. 前記選択部は、前記画素値が閾値を下回る場合には、第１のノイズ低減処理を選択し、前記画素値が前記閾値を上回る場合には、前記第１のノイズ低減処理とは異なる第２のノイズ低減処理を選択する、
   請求項１に記載の画像処理装置。
3. 前記第２のノイズ低減処理は、前記第１のノイズ低減処理よりも弱いノイズ低減処理またはノイズ低減処理なしである、
   請求項２に記載の画像処理装置。
4. 前記画像処理装置は、動き領域および非動き領域を検出する動き検出部を備え、
   前記選択部は、前記画素が前記非動き領域に属する場合には、前記画素値が閾値を下回る場合に前記第１のノイズ低減処理を選択し、前記画素値が前記閾値を上回る場合に前記第２のノイズ低減処理を選択する、
   請求項３に記載の画像処理装置。
5. 前記選択部は、前記画素が前記動き領域に属する場合には、第３のノイズ低減処理を選択する、
   請求項４に記載の画像処理装置。
6. 短露光画像と長露光画像とを合成する画像処理装置における画像処理方法において、
   前記短露光画像に対するノイズ低減処理を画素値に基づいて当該画素ごとに選択するステップと、
   前記ノイズ低減処理を画素ごとに行うステップと、
   前記ノイズ低減処理が行われた前記短露光画像と長露光画像とを合成するステップと、
   を備える、画像処理方法。