JP2006195651A - 階調補正装置 - Google Patents

Abstract

【課題】 画像を領域に分割して階調補正を行う際に、分割した領域の属性を参酌しないため、例えば顔以外に注目を喚起する部分が生じてしまう上、コントラスト強調された壁などは場合によっては見た目が汚く強調されてしまう欠点を有する。
【解決手段】 画像中に含まれる対象物を検出する顔／人物検出部１０３と、画像を対象物が含まれる強調エリアと前記対象物が含まれない背景エリアとに区分して領域に区分する手段と、領域の画素値を補正する補正手段とを備える。当該補正手段は、区分された領域毎に領域に含まれる画素の各画素値レベル別の出現頻度を表すヒストグラムを算出する分布算出部１０７、１１２を有し、ヒストグラムに基づき領域に対応した画素値変換特性を算出し、かつ強調エリアにおける前記領域の画素値変換特性が前記背景エリアにおける前記領域の画素値変換特性よりも前記ヒストグラムに基づく補正が強調されるように設定されるように設定する。
【選択図】 図１

Description

本発明は、画像のコントラストや輝度などの階調を補正する際に用いて好適な階調補正装置に関するものである。

最近、デジタルカメラなどのデジタル撮像機器が普及してきている。デジタルカメラで撮像する場合には、逆光環境下では、撮像画像において周囲に比べて人物の顔が暗くなってしまう場合がある。また、監視システムなどにおいては夜間においても監視を行うため、人物が映った場合に人物の顔が暗くなってしまい、人物の特定が困難な場合が起こりうる。

しかし、デジタルカメラなどにおける撮像素子によって撮像する際、露出値を明るい部分に合わせると暗い部分はつぶれてしまい、反対に暗い部分に合わせると明るい部分がつぶれてしまうといった問題が生じる。これは、素子のダイナミックレンジを上げれば解決できる問題であるが、それには限界があり、また高価な素子を使用せねばならなくなる。そこで、素子を変更せずにこの問題を克服する手段が提案されている。

代表的なものとして複数の露出値に対する画像を撮像してそれらを合成する方法と、撮像した画像中の輝度値などの局所的な分布を調べるなどして画像中のコントラストを上げる方法がある。後者に関しては、非特許文献１，２および特許文献１がある。

非特許文献１では、画像を格子状に区分して各格子においてグレイ値補正を行う方法（局所的ヒストグラム均等化法）が紹介されている。一方、非特許文献２および特許文献１では、画像にLOGフィルタ（エッジ抽出）を適用して領域を分割し、領域内の濃度値のばらつき具合から、コントラストの強調度を左右するパラメータを設定する方法が紹介されている。
S.M.Pizer et al.、"Adaptive Histogram Equalization and Its Variations"、Computer vision, Graphics, and Image Processing 39、pp.355-368(1987) 黒子 岳人ほか、"局所的明度補正によるカラー動画像の視認性改善"、第8回画像センシングシンポジウム講演論文集、pp.475-478 特開２００１−１１８０６２号公報

しかしながら、かかる従来技術によれば、分割した領域内における濃度値のばらつき具合のみからグレイ値補正を行ったり、コントラスト調整パラメータを設定するので、グレイ値補正やコントラスト調整で強調すべきではない部分も強調してしまう場合がある。例えば、逆光状態の顔と黒っぽい壁では顔のみを強調すべきであるが、従来技術では分割した領域の属性（例えばその領域は顔なのか壁なのかということ）は参酌しないため、逆光状態の顔をコントラスト強調したい場合に、顔の部分に合わせて画像全体の補正を行うと黒っぽい壁までコントラスト強調されてしまう。この結果、画像において顔以外に注目を喚起する部分が生じてしまう不都合が発生する上、コントラスト強調された壁などは場合によっては見た目が汚く強調されてしまう欠点を有する。

そこで本発明は、画像において顔等の対象物以外に注目を喚起する部分が生じることなく、またコントラスト強調等を行った際に見た目が汚く強調されてしまうことがない階調補正を行うことを課題とする。

本発明の階調補正装置は、画像中に含まれる対象物を検出する検出手段と、前記画像を、前記対象物が含まれる強調エリアと、前記対象物が含まれない背景エリアとに区分して、複数の画像領域に区分する区分手段と、所定の画素値変換特性に基づいて、前記領域の画素値を補正する補正手段と、を備え、該補正手段は、前記区分手段により区分された単数または複数の領域毎に、該領域に含まれる画素の、各画素値レベル別の出現頻度を表すヒストグラムを算出する分布算出手段を有し、前記ヒストグラムに基づき、前記領域に対応した画素値変換特性を算出し、かつ、前記強調エリアにおける前記領域の画素値変換特性が、前記背景エリアにおける前記領域の画素値変換特性よりも、前記ヒストグラムに基づく補正が強調されるように設定されている、ことを特徴とする。

上記のように、検出手段を有することで対象物の検出が可能となり、分割した領域の属性を参酌し、強調して補正すべき部分と強調して補正すべきでない部分とに区別して、階調補正を行うことが可能となる。具体的には、階調補正において当該対象物が含まれる強調エリアの領域に特有の強調処理を行うことで、強調エリアの補正が背景エリアの補正に比べて強調されるように設定することができる。その結果、従来よりも視認性が改善した、違和感の無い画像を出力することができる。たとえば、検出する対象物が人の顔であるとき、逆光環境下にある場合などのケースでは顔の輝度を強調する補正を行う、すなわち顔が明るくなるように輝度を調整することで、画像全体において視認性が改善した、違和感の無い画像とすることができる。

前記補正手段は、好ましくは、前記領域が前記強調エリアに含まれるか否かによって決定されるクリッピングレベルに基づき、前記ヒストグラムに局所的ヒストグラム均等化法におけるクリッピング演算を施すことで新たな前記ヒストグラムを再設定し、前記画素値変換特性を算出するようにしてもよい。

局所的ヒストグラム均等化法におけるクリッピング演算では、クリッピングレベルの高低に依存して、再設定されるヒストグラムにおける原ヒストグラムの特徴の残留度合いと原ヒストグラムの平坦化の度合いが決定される。つまり、この局所的ヒストグラム均等化法を用いることで、クリッピングレベルに依存して、再設定されるヒストグラムを、原画像の着目している領域（単数、複数）におけるヒストグラムの特徴を維持しながら全体として平坦化した分布へと近づけることができ、その平坦化の影響度を変えることができる。

また、画素値変換特性は前記ヒストグラムの特徴の残留度合いや分布の平坦化度合いに依存して画素値変換における階調補正の強調の程度が決定される。例えば、画素値変換特性として、前記再設定後のヒストグラムにおける各画素値の画素数を加算・累積して各画素値に対応する累積値を算出し、規定の範囲内に収まるように当該各累積値を正規化した値を各画素値の変換後の画素値とする特性曲線とした場合、再設定後のヒストグラムが平坦に近いほど特性曲線は直線に近づき、画素値変換前後の差異が小さくなる。

この結果、当該領域の画素値の分布状況（ヒストグラムの特徴）に対応した階調補正を行うことができる一方、再設定されたヒストグラムを平坦に近づけることで過度の強調を行うことを抑制でき、クリッピングレベルを変更することで、この強調の程度が変更可能となる。

前記補正手段は、さらに好ましくは、前記強調エリア、前記背景エリアの各エリアにおける、前記画素値の平均値、および／または前記ヒストグラムにおける分散値を有する特徴量の算出を行う特徴量算出手段を有し、該特徴量算出手段により算出された前記特徴量に基づきクリッピングレベルの設定を行い、かつ、前記分布算出手段において算出された各領域毎の前記ヒストグラムに対して、前記クリッピングレベルを使用して前記クリッピング演算により前記ヒストグラムを再設定して前記画素値変換特性を算出するようにしてもよい。

当該領域における画素に関する平均値やヒストグラムの分散値を用いてクリッピングレベルを決定することで、当該ヒストグラムの特徴をクリッピングレベルに反映させることができる。このことにより、例えば、輝度値の平均値が低い場合に、それをクリッピングレベルに反映させることができ、その結果、画素値変換特性の画素値変換における階調補正を強調し、輝度の低い画像において画像の視認性を改善させることができる。例えば、先述の逆光環境下で対象物が人の顔であるときのケースでは、顔の輝度を強調する補正すなわち顔が明るくなるよう輝度調整することができ、画像全体において視認性が改善した、違和感の無い画像とすることができる。

前記補正手段は、上記の場合、前記検出手段により前記画像中に対象物が検出された場合には、前記強調エリアにおけるクリッピングレベルを、前記背景エリアにおける場合と比べて高く設定するようにしてもよい。

このことにより、強調エリアのみ階調補正を強調することができ、画像全体における視認性が改善し、違和感の無い画像とすることができる。

また、前記補正手段は、前記各領域において、前記画素値変換特性を用いて画素値の階調補正を行う際に、当該領域の前記画素値変換特性に加え、周辺の領域の前記画素値変換特性を用いて画素値を変換するようにしてもよい。

このことは、例えば画像が格子状に区分されている場合に、格子の右下方付近の画素を補正する際は当該領域の右方、下方および右下方の領域の変換手段を用いることを意味し、その結果、当該領域の右方、下方の境界において画素値の移り変わりが滑らかとなり、画像にブロック状ノイズが発生するのを低減することができる。

本発明の前記検出手段は、対象物を顔または人体に設定して検出を行うようにしてもよい。また、前記検出手段において対象物を顔に設定して顔を検出した後、当該顔が含まれる前記領域を決定し、画像における当該顔の下方の前記領域において、当該顔の位置および大きさから体が存在する領域を決定し、前記顔が含まれる領域および前記体が存在する領域を強調エリアとするようにしてもよい。

大抵の画像においては、検出手段で顔が検出された場合、顔の下方に体が存在すると考えられ、検出された顔を参考に体の大きさを考慮し体が含まれる領域を推定することで、体を検出する検出部が不要で、顔と体部分を強調領域とすることができる。

本発明において、画素値とは輝度を表す値であってもよい。

なお、本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。

ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明により、画像において顔等の対象物以外に注目を喚起する部分が生じることなく、またコントラスト強調等を行った際に見た目が汚く強調されてしまうことがない階調補正を行うことができる。

以下、本発明の実施の形態につき図面を参照して説明する。本実施形態においては、対象物を人の顔とし、画素値を輝度値に定めて説明する。

まず、図１に本実施の形態に係る階調補正を行う補正装置１００の機能ブロック図を示す。

補正装置１００にはＣＣＤなどの撮像素子からなる撮像装置１０からの画像信号が入力される。また、補正装置１００からの画像信号は画像表示装置２０に出力され表示される。

一方、同図において、１０１は撮像装置１０からの画像信号でＡ／Ｄ変換（図示せず）されたもの１フレーム分を補正作業の間保存する画像バッファ、１０２は過去の画像を保存するメモリ、１０３は顔の特徴抽出により作成されたテンプレートとパターン認識を行うなどする事により対象物たる人の顔を検出する顔／人物検出部、１０４は検出された人の顔の大きさに依存して、画像を領域分解する際の領域のサイズを設定する領域サイズ設定部、１０５は検出された人の顔がどの領域に属するか判断し、対象物が属する領域である強調領域群を設定する強調領域群設定部である。１０６は領域サイズ設定部１０４や強調領域群設定部１０５からの情報をもとに設定された強調領域群だけを取出す第１の領域取出部、１０７は取出された各領域における各輝度値レベル別の画素の出現頻度（画素数）を表す分布（ヒストグラム）を算出する第１の分布算出部、１０８は取出された領域全体における平均輝度を計算し、また平均輝度等に依存してクリップ値を設定する第１の平均輝度計算部、１０９は第１の分布算出部１０７で算出された各分布図に対し後述のクリッピング演算を行う第１のクリッピング部、１１０は当該領域に対し階調補正演算および後述の各領域間の均等化を行う第１の局所的階調補正部である。なお、１０６〜１１０は強調領域群に関する演算を行う。一方、１１１〜１１５は、各々１０６〜１１０に対応する別の（第２の）領域取出部、分布算出部、平均輝度計算部、クリッピング部、局所的階調補正部である。画像における強調領域群以外の領域である背景領域群に関する演算を行う。第２の領域取出部１１１は領域サイズ設定部１０４、強調領域群設定部１０５からの情報をもとに強調領域群以外の領域を取出し、第２の分布算出部１１２は取出された各領域における各輝度値レベル別の画素の出現頻度（画素数）を表す分布を算出し、第２の平均輝度計算部１１３は取出された領域全体の平均輝度を計算し、およびこの平均輝度等に依存して取出された領域全体のクリップ値を設定する。第２のクリッピング部１１４は各領域毎にクリッピング演算（後述）を行い、第２の局所的階調補正部１１５は各領域毎に階調補正演算および各領域間の均等化（後述）を行う。最後に、ＭＵＸ１１６において強調領域群、背景領域群をマージして、１つの画像を構成し、画像表示装置２０へ出力する。

次に図２を参照して、本実施形態における動作フローについて説明する。ここではデジタルカメラによる、逆光環境下での人物の撮像について述べる。なお、対象物は人の顔であるので、画像全体に対して階調補正を行うが、人の顔のみ視認性が改善するような階調補正を行う。

まず、前段階としてデジタルカメラによって撮像が行われ、撮像画像が画像バッファ１０１に入力されているとする。

ステップＳ１０１では、顔／人物検出部１０３において、画像バッファ１０１に保管されている画像について対象物である顔の検出を行う。図３（ａ）は、画像中に顔を１つ検出した場合を示している。なお、図３は、当該フローに従って、画像中から強調領域群、背景領域群が検出され、各領域群における補正演算が終了するまでの、移り変わりの概略を把握するための図である。

ステップＳ１０２では、顔／人物検出部１０３において顔が検出されたかについて判断を行う。顔が検出された場合は、対象物が含まれる画像処理を行うフローへと移行するため、ステップＳ１０８へ進む。顔が検出されなかった場合は、対象物が含まれない画像処理を行うフローへと移行するため、ステップＳ１０３へ進む。

ステップＳ１０３からステップＳ１０７は、対象物が含まれない画像の場合の処理フローである。この場合は画像中に強調領域群が含まれないことから、図１における強調領域群用の第１の領域取出部１０６から第１の局所的階調補正部１１０は使用せず、第２の領域取出部１１１から第２の局所的階調補正部１１５のみを使用する。なお、この場合には背景領域群全体は画像全体となる。

ステップＳ１０３では、領域サイズ設定部１０４において初期設定値の領域サイズ（例えば、画像全体を縦４分割×横４分割するサイズ等）が設定され、この値を用いて画像の格子状の区分けが行われる。具体的には、第２の領域取出部１１１がこの領域サイズに従って各領域を画像から取出し、第２の分布算出部１１２、第２の局所的階調補正部１１５へ送出する動作を行う。

ステップＳ１０４では、第２の分布算出部１１２において、画像中の各領域において各輝度値レベル別の画素数を計数する。その後、各領域毎に、各輝度値レベル別の画素数の分布を算出する。

ステップＳ１０５では、第２の平均輝度計算部１１３において、ステップＳ１０４で計数した各領域の各輝度値毎の画素数を用いて、背景領域群全体の平均輝度を計算する。

ステップＳ１０６では、平均輝度値からクリップ値を決定する。これは第２の平均輝度計算部１１３において行われる。動作はステップＳ１１２と同じである。よって説明はステップＳ１１２の所で行う。

ステップＳ１０７では、第２のクリッピング部１１４において、各領域について、クリッピング演算を行い、第２の局所的階調補正部１１５において変換曲線の算出を行う。変換曲線とは、関数やＬＵＴその他の変換手段の一種で、ある輝度値を新たな輝度値に変換する関数のことであり、後で詳しく例示する。

この後は均等化処理を行うステップＳ１１４へと進む。

ステップＳ１０８からステップＳ１１３は、対象物が含まれる画像の場合の処理フローである。この場合は、図１において、画像中の強調領域群については強調領域群用の第１の領域取出部１０６から第１の局所的階調補正部１１０を使用し、それ以外である背景領域群は第２の領域取出部１１１から第２の局所的階調補正部１１５を使用する。

ステップＳ１０８では、領域サイズ設定部１０４において、検出された顔の大きさと画像中の位置（座標など）の情報を基に領域サイズが決定される。

ステップＳ１０９では、上記領域サイズから強調領域群設定部１０５において強調領域群である領域が設定される。また、上記領域サイズを用いて画像の格子状の区分けが行われる。具体的には、第１の領域取出部１０６がこの領域サイズに従って強調領域群である各領域を画像から取出し、また第２の領域取出部１１１がこの領域サイズに従って背景領域群である各領域を画像から取出し、図１に示されるように各々第１の分布算出部１０７、第２の分布算出部１１２や第１の局所的階調補正部１１０、第２の局所的階調補正部１１５へ送出する動作を行う。

前述の図３（ａ）によると、検出された顔は４つの領域に含まれており、当該４つの領域が強調領域群となる（同図（ｂ）参照）。

ステップＳ１１０では、第１の分布算出部１０７、第２の分布算出部１１２において、強調領域群、背景領域群内の各領域における各輝度値レベル別の画素数を計数する。また、各領域毎に、各輝度値レベル別の画素数の分布を算出する。

ステップＳ１１１では、第１の平均輝度計算部１０８、第２の平均輝度計算部１１３において、ステップＳ１１０で計数した強調領域群、背景領域群内の全領域の各輝度値毎の画素数を用いて、強調領域群、背景領域群の各平均輝度を計算する。

ステップＳ１１２では、平均輝度値からクリップ値を決定する。これは第１の平均輝度計算部１０８、第２の平均輝度計算部１１３において行われる。しかし、第１の平均輝度計算部１０８と第２の平均輝度計算部１１３とでは算出方法が異なる。このことについて以下で説明する。

例えば、画像全体が暗めな場合に具体的には何が写っているのかが一見して判明しづらい場合が多い。一般的には、この様な場合に画像の暗所部分について輝度値の階調補正を施すことで何の画像なのかが判明できるような処理を施す。しかし、その画像中に人物が映っている場合、画像を見る側の関心は大抵の場合はその人物であり、特にその人物の顔だけが判明できれば良い（対象物は人物の顔）ということになる。逆に、顔以外が補正によって顔以上に目立つように処理が行われた場合には、見る側に対し鬱陶しさを与えかねない不都合が生じる上、輝度強調された壁などは場合によっては、例えばモアレ状の模様が目立ったりして見た目が汚く強調されてしまう欠点がある。

よって、顔のみ明るめに、また、より鮮明に写るように階調補正し、顔以外は補正を行うが、顔以上に目立つことがないように処理を行う。具体的には、強調領域群のクリップ値を背景領域群の場合と比べて高めになるように設定し、クリッピング演算を行う。クリッピング演算とは、局所的ヒストグラム均等化法において用いられる演算である。図４を参照して、具体的には、同図左の分布において、各輝度値において画素数がクリップ値を超過する場合にはそれら超過した画素数を除去し、当該超過した画素数を全て合計して各輝度値における画素数に均一に分配・加算して新たに各画素数を算出し、同図右のように、その新たな画素数について各輝度値における画素数の分布を再設定する演算を行う。

次に、図５を参照して、逆光環境化において、強調領域群においてはクリップ値を高めに設定し、背景領域群においてはクリップ値を低めに設定することによる効果を説明する。同図（ａ）、（ｂ）において、当該領域の輝度値はα〜β間に分布している。ここで、第１の局所的階調補正部１１０、第２の局所的階調補正部１１５における変換曲線の算出方法として例えば図６に示すように、各輝度値の画素数を加算・累積して行くことで、ある輝度値を新たな輝度値に変換する曲線を特定する方式を使用する。各輝度値の画素数を加算して正規化（０〜２５５に収める）することで、各輝度値における変換後の輝度値を表す曲線を定める。なお、実際の算出の際は、その度毎に各輝度値の画素数を加算して算出してもよいし、予め各輝度値の画素数を加算して算出したＬＵＴを装置内部に格納しておき、その度毎にそれらに中から選択するのでもよい。

具体的には、同図（ａ）において０からαまでは画素数が一定なので、同図（ｂ）における変換曲線は０〜α間においては画素数の加算により一定の傾きの直線となる。なお、同図（ａ）において、β〜γ間、δ〜２５５間も画素数が一定なので、同図（ｂ）における変換曲線は一定の傾きの直線となる。β〜γ間の画素数が０〜α間、δ〜２５５間の画素数より多いので、β〜γ間の直線の傾きが０〜α間、δ〜２５５間のそれよりも急峻である。一方、同図（ａ）において、α〜β間は画素数が急激に増加する傾向にあるので、同図（ｂ）におけるα〜β間の変換曲線は、この画素数加算の傾向から、急激な増加傾向の曲線となる。また、同図（ａ）において、γ〜δ間は画素数が急激に減少する傾向にあるので、同図（ｂ）におけるγ〜δ間の変換曲線は、この画素数加算の傾向から、増加が急激に鈍る傾向の曲線となる。

以上のことから、図５（ａ）、（ｂ）に示すように、クリッピング後の分布図からその右に見られるような変換曲線が各々得られる。同図（ａ）によると、変換曲線において、α＞α’、β＜β’となっており、α〜β間の距離Ｌに対し、α’〜β’間の距離Ｌ’がＬ＜Ｌ’となっている。このことから、輝度値の下限値が低下し、輝度値の上限値が上昇し、画素の分布が拡大していることが分かる。つまり、原画の階調に対して変換後の階調が拡大しており、今まで輝度値が似通っていて判別しづらかった部分がより鮮明に見分けられるようになったことを示している。一方、同図（ｂ）によると、変換曲線において、α＞α”、β＜β”ではあるがほぼ近い値となっている上、α〜β間の距離Ｌに対し、α”〜β”間の距離Ｌ”がＬ＜Ｌ”ではあるものの大差ない状態となっている。このことから、輝度値の下限値の低下、輝度値の上限値の上昇、画素の分布の拡大は見られるが、変換前と大差がない。つまり、原画の階調に対する変換後の階調の変化が大きくは見られず、階調の補正はあまりなされないことを示している。なお、上記演算の途中または演算後に、α’をα’＝αとなるように変換し、それに連れて、β’や変換曲線を再設定するステップを経るようにしてもよい。また、β’やα”、β”等に関してもこれと同様な処理を行ってもよい。

次に、本実施形態における、背景領域群におけるクリップ値に対して強調領域群におけるクリップ値が高く設定されるクリップ値の決定方法について述べる。

クリップ値Ｋは、下式のようにこれまでの輝度値レベル別の画素の出現頻度分布における平均値、分散を要素に持つ関数（ｆ（ｘ，σ）やｇ（ｘ，σ））で表されるクリップ係数Ｃ（０≦Ｃ≦１）と、当該分布の最大値Ｙ_ｍａｘの積で決定される。

Ｙ_ｍａｘは図７（ａ）に示されるような分布図における最大値である。また、関数ｆ（ｘ，σ）と関数ｇ（ｘ，σ）との間には同図（ｂ）に示すような関係がある。当該図（ｂ）は説明のため、Ｘ_ｍのみの関数としているが、常に関数ｆ（ｘ，σ）の最小値が関数ｇ（ｘ，σ）の最大値より大きくなるような関係がある。また、同図（ｂ）のように関数ｆ（ｘ）がｘに対し単調減少の特性となっている方が望ましい。これは、逆光環境下において平均輝度が高い部分は強調補正適用の必要性は低いので、平均輝度が高くなる程クリップ値が小さくなる方が望ましいからである。なお、関数ｇ（ｘ）は背景領域群において使用する関数なので特に条件は無く、同図においては一定値で例示されている。なお、同図（ｂ）は例示であり、関数ｆ（ｘ）、関数ｇ（ｘ）は同図（ｂ）に示されるような関数に限定されない。

以上のように、強調領域群においてはクリップ値を高めに設定し、背景領域群においてはクリップ値を低めに設定することによって、強調領域群と背景領域群が同じ画素数分布の場合であっても、顔のみ明るく、かつ、より鮮明に写るように階調補正ができ、顔以外は顔以上に目立たないような補正を行うことができる効果がある。すなわち、逆光環境下においても効果的に階調補正を行うことができる。なお、逆光環境下に限らず、こうした強調領域群のような類においては、一般的に他の領域と比べてクリップ値を高めに設定する。

先に、クリップ値を算出する際に強調領域群と背景領域群とでは異なる算出方法となる、と述べたのは上述の理由による。このことは、前述の図３（ｂ）においても、強調領域群ではクリップ値を高めに、背景領域群ではクリップ値を低めに設定するように表されている。

さて、処理フローの説明に話を戻す。

ステップＳ１１３では、第１のクリッピング部１０９、第２のクリッピング部１１４において、各領域について、上述のクリッピング演算を行い、第１の局所的階調補正部１１０、第２の局所的階調補正部１１５において、変換曲線の算出を上記の方法で行う。

ステップＳ１１４では、第１の局所的階調補正部１１０、第２の局所的階調補正部１１５において、補正値を算出する際に、各領域間の均等化を行う。すなわち、隣接・近傍の分割領域の変換曲線から線形補間する。前述の図３（ｃ）はこの段階に相当している。同図（ｃ）における太破線付近においてブロック状ノイズが発生しないように、当該各領域間の均等化を行う。

例えば、図８を参照して、画像が格子状に区分されている場合に、格子の右下方付近の画素を補正する際に当該領域の右方、下方および右下方の領域の変換曲線を用いることで、当該領域の右下方部分の右方、下方の境界において、輝度値の移り変わりが滑らかとなり、画像にブロック状ノイズが発生するのを低減することができる。なお、補正式は、例えば下に示す線形補間式を使用する。

その後、ＭＵＸ１１６で強調領域群、背景領域群を適切な画像となるように位置関係に配慮してマージし、画像表示装置２０へ補正済み画像を出力し、全補正作業を終了する。

なお、図９にコントラストに関する本実施形態による階調補正結果と従来技術による階調補正結果を載せる。同図左図は逆光環境下における人物の撮像画像である。同図左図に見られるように、人物の顔は暗くて特定できない。従来技術による階調補正方式では、同図右上図のように顔の部分に合わせて画像全体が補正され、その結果人物の顔は特定できるようになったが背景部分も強調されるようになり、すなわち窓外やキャビネットの扉表面、壁がざらついた感じに補正され、見苦しい印象を与える可能性の高い画像となっている。一方、本実施形態による階調補正方式では、同図右下図のように人物およびその周辺が背景部分とは異なる補正を施され、その結果人物の顔は特定できるようになったが背景部分は強調されず、すなわち窓外や壁はほぼそのままで、キャビネットの扉表面が持ち手や掲示物が判別可能な位に若干の補正がなされている程度となり、全体として見栄えのよい画像となっている。

上記の実施形態では、デジタルカメラについて説明を行ったが、監視システムやデジタルビデオでも同様の補正演算を行うことで対応可能である。但し、この場合には若干の変更が可能である。例えば、背景差分法による人物検出を行うことができる。背景差分法とは人物を検出する際に、メモリ１０２に蓄積されている人物が含まれない過去の画像と現在の画像を比較して、その差分情報から人物を検出する方法である。

なお、対象物を人体としてもよい。この場合は、強調領域群として人物を含む領域を設定する。人体の検出方法としては、パターン認識手法などで人体そのものを検出する方法と、顔の下方の領域には体があるとして顔を検出し、顔の位置および大きさから体が存在する領域を判断する方法とがある。

また、輝度値はコントラストを表す値等であってもよい。

なお、本実施の形態における階調補正装置は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩなどで実現できる。また、ソフトウェア的には、メモリにロードされた階調補正機能のあるプログラムなどによって実現される。図１には、ハードウェアおよびソフトウェアによって実現される階調補正の機能ブロックが示されている。ただし、これらの機能ブロックが、ハードウェアのみ、ソフトウェアのみ、あるいは、それらの組合せ等、いろいろな形態で実現できることは言うまでもない。

本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

実施の形態に係る階調補正を行う補正装置の機能ブロック図である。 実施の形態に係る動作フローを示す図である。 実施の形態に係るフローチャートの説明の際に使用する、強調領域群、背景領域群を表す図である。 実施の形態に係るクリッピング演算を説明する図である。 実施の形態に係るクリップ値の差による変換結果の差を説明する図である。 実施の形態に係る変換曲線を作成する方法を説明する図である。 実施の形態に係るクリップ値を説明する際使用する図である。 実施の形態に係る各領域間の均等化の手法について説明する図である。 実施の形態に係る補正画像と従来技術による補正画像の比較の図である。

符号の説明

１００ 補正装置
１０１ 画像バッファ
１０２ メモリ
１０３ 顔／人物検出部
１０４ 領域サイズ設定部
１０５ 強調領域群設定部
１０６ 第１の領域取出部
１０７ 第１の分布算出部
１０８ 第１の平均輝度計算部
１０９ 第１のクリッピング部
１１０ 第１の局所的階調補正部
１１１ 第２の領域取出部
１１２ 第２の分布算出部
１１３ 第２の平均輝度計算部
１１４ 第２のクリッピング部
１１５ 第２の局所的階調補正部

Claims (8)

1. 画像中に含まれる対象物を検出する検出手段と、
   前記画像を、前記対象物が含まれる強調エリアと、前記対象物が含まれない背景エリアとに区分して、複数の画像領域に区分する区分手段と、
   所定の画素値変換特性に基づいて、前記領域の画素値を補正する補正手段と、を備え、
   該補正手段は、
   前記区分手段により区分された単数または複数の領域毎に、該領域に含まれる画素の、各画素値レベル別の出現頻度を表すヒストグラムを算出する分布算出手段を有し、前記ヒストグラムに基づき、前記領域に対応した画素値変換特性を算出し、かつ、
   前記強調エリアにおける前記領域の画素値変換特性が、前記背景エリアにおける前記領域の画素値変換特性よりも、前記ヒストグラムに基づく補正が強調されるように設定されている、
   ことを特徴とする階調補正装置。
2. 請求項１において、
   前記補正手段は、
   前記領域が前記強調エリアに含まれるか否かによって決定されるクリッピングレベルに基づき、前記ヒストグラムに局所的ヒストグラム均等化法におけるクリッピング演算を施すことで新たな前記ヒストグラムを再設定し、前記画素値変換特性を算出する、
   ことを特徴とする階調補正装置。
3. 請求項２において、
   前記補正手段は、
   前記強調エリア、前記背景エリアの各エリアにおける、前記画素値の平均値、および／または前記ヒストグラムにおける分散値を有する特徴量の算出を行う特徴量算出手段を有し、
   該特徴量算出手段により算出された前記特徴量に基づきクリッピングレベルの設定を行い、かつ、
   前記分布算出手段において算出された各領域毎の前記ヒストグラムに対して、前記クリッピングレベルを使用して前記クリッピング演算により前記ヒストグラムを再設定して前記画素値変換特性を算出する、
   ことを特徴とする階調補正装置。
4. 請求項３において、
   前記補正手段は、
   前記検出手段により前記画像中に対象物が検出された場合には、
   前記強調エリアにおけるクリッピングレベルを、前記背景エリアにおける場合と比べて高く設定する、
   ことを特徴とする階調補正装置。
5. 請求項１ないし４の何れかにおいて、
   前記補正手段は、
   前記各領域において、前記画素値変換特性を用いて画素値の階調補正を行う際に、当該領域の前記画素値変換特性に加え、周辺の領域の前記画素値変換特性を用いて画素値を変換する、
   ことを特徴とする階調補正装置。
6. 請求項１ないし５の何れかにおいて、
   前記検出手段は、対象物を顔または人体に設定して検出を行う、
   ことを特徴とする階調補正装置。
7. 請求項６において、
   前記検出手段において対象物を顔に設定して顔を検出した後、当該顔が含まれる前記領域を決定し、画像における当該顔の下方の前記領域において、当該顔の位置および大きさから体が存在する領域を決定し、前記顔が含まれる領域および前記体が存在する領域を強調エリアとする、
   ことを特徴とする階調補正装置。
8. 請求項１ないし７の何れかにおいて、画素値とは輝度を表す値である、ことを特徴とする階調補正装置。

Images