JP2014207663A - 映像処理装置 - Google Patents

Abstract

【課題】映像処理装置において、霧、霞などの低コントラストの映像に対して、輝度レベルによらずにノイズの増加を抑制してコントラストを拡大し、視認性を向上することを目的とする。
【解決手段】入力映像信号の補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する領域特徴検出部２と、前記最大値と平均値の差分値から特定の画素の第１の演算値を演算する第１のゲイン生成部３と、前記平均値と最小値の差分値から特定の画素の第２の演算値を演算する第２のゲイン生成部４と、特定の画素の信号レベルが前記平均値以上の場合は、特定の画素の信号レベルと前記平均値の差分に前記第１の演算値を乗じて拡大し、特定の画素の信号レベルが前記平均値以下の場合は、特定の画素の信号レベルと前記平均値の差分に前記第２の演算値を乗じて拡大する信号振幅調整部５とを有する。
【選択図】図１

Description

本技術は、映像を処理する映像処理装置に関する。

低コントラストの映像のコントラストを拡大する映像処理装置として、例えば、特許文献１に記載されているものがある。

特許文献１に記載された映像処理装置は、入力映像信号の輝度信号成分から単位フィールド期間毎、あるいは単位フレーム期間毎に映像信号の特徴を示す信号レベル（最大値、最小値、ＡＰＬなど）を検出し、映像信号の特徴検出結果に応じた階調補正データを作成する。作成された階調補正データに基づいて、入力映像信号のコントラストを拡大する信号処理を行う。

以上の動作により、単位フィールド期間毎、あるいは単位フレーム期間毎に階調補正開始点より低い信号レベルの階調補正は行わずに、階調補正開始点以上のレベルの信号に対してのみ階調を拡大するため、暗いシーンでの黒浮きの発生や暗部のノイズ感を拡大せずに、入力映像信号の階調補正を行うことが可能となる。

特開２００２−３６６１２１号公報

本技術は、映像処理装置において、霧、霞などの低コントラストの映像に対して、輝度レベルによらずにノイズの増加を抑制してコントラストを拡大し、視認性を向上することを目的とする。

本技術の映像処理装置は、入力映像信号において補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する領域特徴検出部と、前記最大値と平均値の差分値から特定の画素の第１の演算値を演算する第１のゲイン生成部と、前記平均値と最小値の差分値から特定の画素の第２の演算値を演算する第２のゲイン生成部と、特定の画素の信号レベルが前記平均値以上の場合は、特定の画素の信号レベルと前記平均値の差分に前記第１の演算値を乗じて拡大し、特定の画素の信号レベルが前記平均値以下の場合は、特定の画素の信号レベルと前記平均値の差分に前記第２の演算値を乗じて拡大する信号振幅調整部とを有する。

本技術によれば、霧、霞などの低コントラストの映像に対して、輝度レベルによらずにコントラストを拡大する映像処理装置を提供することが出来る。

本技術の一実施の形態による映像処理装置の一例を示すブロック図である。 本実施の形態による映像処理装置において、領域分割の一例を示す説明図である。 本実施の形態による映像処理装置において、第１のゲイン生成部の構成の一例を示すブロック図である。 本実施の形態による映像処理装置において、第１のゲイン生成特性の一例を示す図である。 本実施の形態による映像処理装置において、第２のゲイン生成部の構成の一例を示すブロック図である。 本実施の形態による映像処理装置において、第２のゲイン生成特性の一例を示す図である。 霧映像Ａの場合において、単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ａにおけるヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ａにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ１の特性の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ａにおける第２のゲイン生成部で生成されるゲインＧＡＩＮ２の特性を示す図である。 霧映像Ａの同フレームにおいて、領域ａにおける出力映像のヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｂにおけるヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｂにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ１の特性の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｂにおける第２のゲイン生成部で生成されるゲインＧＡＩＮ２の特性を示す図である。 霧映像Ａの同フレームにおいて、領域ｂにおける出力映像のヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｃにおけるヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｃにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ１の特性の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｃにおける第２のゲイン生成部で生成されるゲインＧＡＩＮ２の特性を示す図である。 霧映像Ａの同フレームにおいて、領域ｃにおける出力映像のヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｄにおけるヒストグラム分布の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｄにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ１の特性の一例を示す図である。 霧映像Ａの同フレームにおいて、領域ｄにおける第２のゲイン生成部で生成されるゲインＧＡＩＮ２の特性を示す図である。 霧映像Ａの同フレームにおいて、領域ｄにおける出力映像のヒストグラム分布の一例を示す図である。 本実施の形態による映像処理装置において、領域の定義の一例を示す説明図である。 本実施の形態による映像処理装置において、最大値、最小値の定義の一例を示す説明図である。 本技術の他の実施の形態による映像処理装置において、第１のゲイン生成部の構成の一例を示すブロック図である。 本実施の形態による映像処理装置において、第２のゲイン生成部の構成の一例を示すブロック図である。 入力映像信号の一つの領域である領域ｅのヒストグラム分布を示す図である。 本実施の形態による映像処理装置において、領域ｅにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ１の特性の一例を示す図である。 本実施の形態による映像処理装置において、領域ｅにおける第１のゲイン生成部で生成されるゲインＧＡＩＮ２の特性の一例を示す図である。 本実施の形態による映像処理装置において、領域ｅにおけるゲイン調整部で生成されるゲインＧＡＩＮ１１の特性の一例を示す図である。 本実施の形態による映像処理装置において、領域ｅにおけるゲイン調整部で生成されるゲインＧＡＩＮ２２の特性の一例を示す図である。 本実施の形態による映像処理装置において、領域ｅにおけるヒストグラム分布の一例を示す図である。 本実施の形態による映像処理装置において、領域ｅにおけるヒストグラム分布の一例を示す図である。 本技術の他の実施の形態による映像処理装置の一例を示すブロック図である。 本実施の形態による映像処理装置において、入力映像信号の単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の一例を示す図である。 本実施の形態による映像処理装置において、入力映像信号の単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の一例を示す図である。 本実施の形態による映像処理装置において、全体特徴検出部がパラメータゲインＰ＿ＧＡＩＮを決定するための特性の一例を示す図である。 本実施の形態による映像処理装置において、第１のゲイン生成特性の一例を示す図である。 本実施の形態による映像処理装置において、第２のゲイン生成特性の一例を示す図である。

以下、本技術の一実施の形態による映像処理装置について、適宜図面を参照しながら、説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本技術を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

図１は、本技術の一実施の形態による映像処理装置の一例を示すブロック図である。図２は、本実施の形態による映像処理装置において、領域分割の一例を示す説明図である。なお、図２は、入力映像が水平１９２０画素、垂直１０８０ラインの場合の例を示す図であり、領域を水平１２０画素、垂直１２０ラインのブロックで分割した場合の例を示している。

図１に示すように、本実施の形態による映像処理装置は、入力部１、領域特徴検出部２、第１のゲイン生成部３、第２のゲイン生成部４、信号振幅調整部５、出力部６を有する。

入力映像信号ＩＮは、入力部１に供給され、領域特徴検出部２、及び信号振幅調整部５に入力される。領域特徴検出部２は、入力映像信号において補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する。すなわち、領域特徴検出部２では、図２に示すように、入力された映像を領域に分割し、各領域で特徴値（最大値、平均値、最小値）を検出する。領域特徴検出部２では、各領域において水平１２０画素、垂直１２０ラインの輝度レベルの平均値ＡＶＥ、及び、最大値ＭＡＸ、最小値ＭＩＮを演算する。その後、平均値ＡＶＥと最大値ＭＡＸは、第１のゲイン生成部３に入力され、また、平均値ＡＶＥと最小値ＭＩＮは、第２のゲイン生成部４に入力される。

図３は、本実施の形態による映像処理装置において、第１のゲイン生成部の構成の一例を示すブロック図である。

図３に示すように、第１のゲイン生成部３は、減算部７と比較部８とゲイン決定部９を有する。減算部７は、入力された最大値ＭＡＸと平均値ＡＶＥの減算を行い、最大値ＭＡＸと平均値ＡＶＥの差分値ＭＡＸ−ＡＶＥの値が比較部８に入力される。比較部８は、別途、設定されたパラメータＸｐ１、Ｘｐ２、Ｘｐ３、Ｙｐ１が入力される。

図４は、本実施の形態による映像処理装置において、比較部８とゲイン決定部９で決定される第１のゲイン生成特性の一例を示す図である。図４において、横軸は減算部７により演算された最大値ＭＡＸと平均値ＡＶＥの差分値ＭＡＸ−ＡＶＥの値を示し、縦軸は第１のゲイン生成部３の出力である第１のゲインＧＡＩＮ１を示している。比較部８において、各パラメータと最大値ＭＡＸと平均値ＡＶＥの差分値ＭＡＸ−ＡＶＥの値との比較が行われ、図４の折れ線のどの領域にあるかを判断する。その後、ゲイン決定部９は、比較部８で判断された領域に対応して、以下の式で第１の乗算値であるゲイン出力を演算する。
（１）Ｘｐ１＞（ＭＡＸ−ＡＶＥ）≧０の場合
ＧＡＩＮ１＝（Ｙｐ１−１．０）／Ｘｐ１×（ＭＡＸ−ＡＶＥ）＋１．０
（２）Ｘｐ２＞（ＭＡＸ−ＡＶＥ）≧Ｘｐ１の場合
ＧＡＩＮ１＝Ｙｐ１
（３）Ｘｐ３＞（ＭＡＸ−ＡＶＥ）≧Ｘｐ２の場合
ＧＡＩＮ１＝（１．０−Ｙｐ１）／（Ｘｐ３−Ｘｐ２）×（ＭＡＸ−ＡＶＥ−Ｘｐ２）＋Ｙｐ１
（４）（ＭＡＸ−ＡＶＥ）≧Ｘｐ３の場合
ＧＡＩＮ１＝１．０
第２のゲイン生成部４の出力である第２のゲインＧＡＩＮ２についても同様の処理で演算を行う。

図５は、本実施の形態による映像処理装置において、第２のゲイン生成部の構成の一例を示すブロック図である。

図５に示すように、第２のゲイン生成部４は、減算部１０と比較部１１とゲイン決定部１２を有する。減算部１０は、入力された最小値ＭＩＮと平均値ＡＶＥの減算を行い、平均値ＡＶＥと最小値ＭＩＮの差分値ＡＶＥ−ＭＩＮの値が比較部１１に入力される。比較部１１は、別途、設定されたパラメータＸｍ１、Ｘｍ２、Ｘｍ３、Ｙｍ１が入力される。

図６は、本実施の形態による映像処理装置において、比較部１１とゲイン決定部１２で決定される第２のゲイン生成特性の一例を示す図である。図６において、横軸は減算部７により演算された平均値ＡＶＥと最小値ＭＩＮの差分値ＡＶＥ−ＭＩＮの値を示し、縦軸は第２のゲイン生成部４の出力である第２のゲインＧＡＩＮ２を示している。比較部１１において、各パラメータと平均値ＡＶＥと最小値ＭＩＮの差分値ＡＶＥ−ＭＩＮの値との比較が行われ、図６の折れ線のどの領域にあるかを判断する。その後、ゲイン決定部１２は、比較部１１で判断された領域に対応して、以下の式で第２の乗算値であるゲイン出力を演算する。
（１）Ｘｍ１＞（ＡＶＥ−ＭＩＮ）≧０の場合
ＧＡＩＮ２＝（Ｙｍ１−１．０）／Ｘｍ１×（ＡＶＥ−ＭＩＮ）＋１．０
（２）Ｘｍ２＞（ＡＶＥ−ＭＩＮ）≧Ｘｍ１の場合
ＧＡＩＮ２＝Ｙｍ１
（３）Ｘｍ３＞（ＡＶＥ−ＭＩＮ）≧Ｘｍ２の場合
ＧＡＩＮ２＝（１．０−Ｙｍ１）／（Ｘｍ３−Ｘｍ２）×（ＡＶＥ−ＭＩＮ−Ｘｍ２）＋Ｙｍ１
（４）（ＡＶＥ−ＭＩＮ）≧Ｘｍ３の場合
ＧＡＩＮ２＝１．０
以上の演算が領域ごとに行われ、図１に示すように、第１のゲインＧＡＩＮ１、第２のゲインＧＡＩＮ２が信号振幅調整部５に入力される。信号振幅調整部５は、入力映像信号ＩＮと、領域特徴検出部２で検出した平均値ＡＶＥと、上記演算で求めた第１のゲインＧＡＩＮ１と第２のゲインＧＡＩＮ２が入力される。ここでは、入力される入力映像信号ＩＮの画素ごとに、画素が含まれる領域の平均値との比較が行われる。入力映像信号ＩＮが平均値ＡＶＥ以上の場合には、下記の式で示すように入力映像信号ＩＮと平均値ＡＶＥの差分を第１のゲインＧＡＩＮ１で拡大する演算が行われ、入力映像信号ＩＮが平均値ＡＶＥより小さい場合には、入力映像信号ＩＮと平均値ＡＶＥの差分を第２のゲインＧＡＩＮ２で拡大する演算が行われ、出力映像信号ＯＵＴを得る。
（１）ＩＮ≧ＡＶＥの場合 ＯＵＴ＝ＧＡＩＮ１×（ＩＮ−ＡＶＥ）＋ＡＶＥ
（２）ＩＮ＜ＡＶＥの場合 ＯＵＴ＝ＧＡＩＮ２×（ＩＮ−ＡＶＥ）＋ＡＶＥ
以上の処理によるコントラスト拡大の効果について以下に説明する。

図７は、霧映像Ａの場合において、単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の一例を示す図である。また、図８Ａ〜図８Ｄ、図９Ａ〜図９Ｄ、図１０Ａ〜図１０Ｄ、図１１Ａ〜図１１Ｄは、霧映像Ａの同フレームにおいて、各領域ａ、ｂ、ｃ、ｄにおけるヒストグラム分布、第１のゲイン生成部と第２のゲイン生成部で生成されるゲインＧＡＩＮ１及びゲインＧＡＩＮ２の特性、出力映像のヒストグラム分布の一例を示す図である。

図８Ａで示す領域ａの場合、最大値ＭＡＸ、最小値ＭＩＮ、平均値ＡＶＥは図中に示す点線となり、最大値と平均値の差分値ＭＡＸ−ＡＶＥをＸｐａ、平均値と最小値の差分値ＡＶＥ−ＭＩＮをＸｍａとする。この場合に、第１のゲイン生成部３と第２のゲイン生成部４で生成されるゲインＧＡＩＮ１、及びゲインＧＡＩＮ２は、図８Ｂ、図８Ｃに示すように、第１のゲインはＹｐ１、第２のゲインはＹｍ１となる。信号振幅調整部５で上述した演算が施され、その結果、図８Ｄに示すように、コントラストが拡大されたヒスグラム分布を持つ出力映像の信号が得られる。

図９Ａで示す領域ｂの場合、低コントラストの映像ではあるが、領域内に高輝度の高コントラストの画素が存在することを示しており、更にコントラストを拡大してしまうとコントラスト感が強すぎで映像の質を落としてしまうことになる。

最大値ＭＡＸ、最小値ＭＩＮ、平均値ＡＶＥは図中に示す点線となり、最大値と平均値の差分値ＭＡＸ−ＡＶＥをＸｐａ、平均値と最小値の差分値ＡＶＥ−ＭＩＮをＸｍａとする。この場合に、第１のゲイン生成部と第２のゲイン生成部で生成されるゲインＧＡＩＮ１、及びゲインＧＡＩＮ２は、図９Ｂ、図９Ｃに示すように、第１のゲインは１．０、第２のゲインはＹｍ１となる。信号振幅調整部５で上述した演算が施されるが、第１のゲインは１．０のため、平均値ＡＶＥ以上の画素については輝度レベルが維持される。この結果、図９Ｄに示すように、平均値ＡＶＥよりも低いレベルのコントラストが拡大されたヒストグラム分布を持つ出力映像の信号が得られる。

図１０Ａで示す領域ｃの場合、図９Ａの場合と反対の状態である。低コントラストの映像ではあるが、領域内に低輝度の高コントラストの画素が存在することを示しており、更にコントラストを拡大してしまうと、コントラスト感が強すぎで映像の質を落としてしまうことになる。

この場合、図１０Ｂ、図１０Ｃに示すように、第１のゲインはＹｐ１、第２のゲインは１．０となる。信号振幅調整部５で上述の演算が施されるが、第２のゲインは１．０のため、平均値ＡＶＥより輝度レベルの小さい画素については輝度レベルが維持される。この結果、図１０Ｄに示すように、平均値ＡＶＥよりも高いレベルのコントラストが拡大されたヒストグラム分布を持つ出力映像の信号が得られる。

図１１Ａで示す領域ｄの場合、最大値と平均値の差分値ＭＡＸ−ＡＶＥをＸｐａ、平均値と最小値の差分値ＡＶＥ−ＭＩＮをＸｍａは、共に小さい値となるため、図１１Ｂ、図１１Ｃで求められる第１のゲインＧＡＩＮ１、第２のゲインＧＡＩＮ２も共に低い値となる。信号振幅調整部５で上述の演算が施されるが、第１のゲイン、第２のゲインが小さいため、図１１Ｄに示すように、コントラスト拡大を抑えたヒストグラム分布を持つ出力映像の信号が得られる。

領域ｄのヒストグラム分布は、領域内の画素の輝度レベルが一様、つまりコントラストが低い一様の被写体であり、ヒストグラムの分布バラツキは主にノイズ成分である。つまり、コントラストを拡大する必要が無い映像である。本技術は、映像が一様な領域については、上記に示したようにコントラスト拡大を抑えることで、ノイズ成分の増大による画質劣化を抑えることが可能となる。

以上のように、本実施の形態の映像処理装置は、入力映像信号において補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する領域特徴検出部と、最大値と平均値の差分値から特定の画素の第１の演算値を演算する第１のゲイン生成部と、平均値と最小値の差分値から特定の画素の第２の演算値を演算する第２のゲイン生成部と、特定の画素の信号レベルが平均値以上の場合は、特定の画素の信号レベルと平均値の差分に前記第１の演算値を乗じて拡大し、特定の画素の信号レベルが平均値以下の場合は、特定の画素の信号レベルと平均値の差分に第２の演算値を乗じて拡大する信号振幅調整部とを有している。すなわち、映像の領域ごとに特徴値（最大値、平均値、最小値）を演算し、画素の輝度レベルと平均値の大小に応じて、平均値以上の画素、平均値以下の画素について、それぞれ独立にコントラスト拡大処理を施す構成である。

これにより、コントラストを過度に拡大することを防ぎながら、映像のコントラストを拡大することが可能となる。また、一様な低コントラストの領域については、ノイズ成分の増大による画質劣化を防ぐことが可能となる。

本実施の形態において、第１のゲイン生成部３、第２のゲイン生成部４の変換特性は４本の折れ線で説明したが、これに限定されるものではない。

また、本実施の形態において、領域を分割して特徴値（最大値、平均値、最小値）を演算し、領域内の画素全てにおいて、同じ値の第１のゲイン、第２のゲインを乗算したが、図１２に示すように、画素ごとに周辺の領域を定義しても良い。

図１２は、本実施の形態による映像処理装置において、水平３画素×垂直３ラインの場合における領域の定義の一例を示す説明図である。図１２に示すように、画素Ａについては領域Ａで特徴値の演算を行い、画素Ｂについては領域Ｂで特徴値の演算を行う構成としても良い。

図１３は、本実施の形態による映像処理装置において、最大値、最小値の定義の一例を示す説明図である。図１３に示すように、領域の最大値、最小値は、カメラの撮像素子の画素欠陥などにより画素の輝度レベルが映像に相関が無く著しく高い場合を考慮して、図１３に示すように領域内のヒストグラム分布の最大値から、斜線で示す指定の画素数の分だけ低い輝度レベルを最大値とし、同様に、最小値についても、指定の画素数の分だけ高い輝度レベルを最小値としても良い。

次に、本技術の他の実施の形態について説明する。

図１４は、本技術の他の実施の形態による映像処理装置において、第１のゲイン生成部の構成の一例を示すブロック図である。図１５は、本実施の形態による映像処理装置において、第２のゲイン生成部の構成の一例を示すブロック図である。

本実施の形態においては、図１４、図１５に示すように、第１のゲイン生成部３及び第２のゲイン生成部４の構成に、ゲイン調整部１３、１４を付加した構成としたものである。ゲイン調整部１３には、ゲイン決定部９で求めたＧＡＩＮ１と、平均値ＡＶＥと、別途、設定されたパラメータＡｐ１が入力され、ＧＡＩＮ１１を出力する。同様にゲイン調整部１４には、ゲイン決定部１２で求めたＧＡＩＮ２と、平均値ＡＶＥと、別途、設定されたパラメータＡｍ１が入力され、ＧＡＩＮ２２を出力する。

図１６は、入力映像信号の一つの領域である領域ｅのヒストグラム分布を示す図である。上記実施の形態と同様に、最大値と平均値の差分値Ｘｐａと、平均値と最小値の差分値Ｘｍａから、図１７、図１８に示すように、第１のゲインＧＡＩＮ１＝Ｙｐ１、第２のゲインＧＡＩＮ２＝Ｙｍ１を得る。

ゲイン調整部１３は、図１９に示すように、入力される平均値ＡＶＥが設定値Ａｐ１以上の場合に、第１のゲインＧＡＩＮ１を徐々に減少させ、平均値ＡＶＥが１００％の場合に、出力が１．０になるように変換する。また、ゲイン調整部１４は、図２０に示すように、平均値ＡＶＥがＡｍ１以下の場合に、第２のゲインＧＡＩＮ２を徐々に減少させ、ＡＶＥが０％の場合に、出力が１．０になるように変換する。

図１６に示したヒストグラム分布では、平均値が設定値Ａｍ１よりも低いとすると、ゲイン調整部１４の出力であるＧＡＩＮ２２はＧＡＩＮ２に比べ減少する。また、ゲイン調整部１３の出力であるＧＡＩＮ１１は減少することなく、ＧＡＩＮ１と同じ値が出力される。ＧＡＩＮ１１、ＧＡＩＮ２２は、信号振幅調整部５に送られ、上記実施の形態と同様の処理が行われる。

以上の動作により得られる効果について、図２１、図２２を用いて説明する。図２１、図２２は、本実施の形態による映像処理装置において、領域ｅにおけるヒストグラム分布の一例を示す図である。

図１６に示すヒストグラム分布において、上述したゲイン調整部１３、ゲイン調整部１４での処理を行わずに、第１のゲインＧＡＩＮ１、第２のゲインＧＡＩＮ２をそのまま用いた場合、変換後のヒストグラム分布は、図２１の実線で示すように、平均値よりも低い画素の一部は０以下の値に変換される。この場合、０以下のレベルは０にクリップして出力するため黒つぶれが発生してしまい、映像の質を劣化させてしまう。本技術では、第２のゲインをＧＡＩＮ２２に減少させることにより、平均値よりも輝度レベルの低い画素のゲインが小さくなるため、図２２の実線で示すようにクリップを防ぐことが可能となる。つまり、黒つぶれの発生を抑えた状態で、コントラストを拡大することが可能となる。

また、ここでは図示しないが、平均値が高い値の場合の白つぶれの発生も同様の原理で抑えることが可能となる。なお、図２１、図２２の点線は、変換前のヒストグラム分布を示す。

なお、本実施の形態において、図１９、図２０に示すゲイン調整部の特性は２本の折れ線で示したが、これに限定されるものではない。

図２３は、本技術の他の実施の形態による映像処理装置の一例を示すブロック図である。図２３に示すように、本実施の形態は、図１に示した実施の形態に、全体特徴検出部１５を付加した構成としたものである。

図１に示す実施の形態において、第１のゲイン、及び第２のゲインを生成する際の特性を決定するパラメータＸｐ１、Ｘｐ２、Ｘｐ３、及びＸｍ１、Ｘｍ２、Ｘｍ３は一定として説明した。本技術では、全体特徴検出部１５がパラメータゲインＰ＿ＧＡＩＮを入力映像信号に基づいて決定し、第１のゲイン生成部３、及び第２のゲイン生成部４に供給する構成としている。これにより、映像全体が濃い霧に覆われている場合など、フレーム全体のコントラストが低い場合に、より効率的にコントラストを拡大することが可能となる。

図２４、図２５は、本実施の形態による映像処理装置において、入力映像信号の単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の一例を示す図である。図２４に示す霧映像Ｂは霧が濃い状態の分布であり、図２５に示す霧映像Ｃは霧が薄い状態の分布である。

全体特徴検出部１５では、入力映像信号の単位フィールド期間、あるいは単位フレーム期間のヒストグラム分布の最大値、最小値を検出し、これに基づきパラメータゲインＰ＿ＧＡＩＮを決定する構成である。

図２６は、本実施の形態による映像処理装置において、全体特徴検出部１５がパラメータゲインＰ＿ＧＡＩＮを決定するための特性の一例を示す図である。図２６において、横軸が単位フィールド期間、あるいは単位フレーム期間の最大値ＭＡＸと最小値ＭＩＮの差分値、縦軸がパラメータゲインＰ＿ＧＡＩＮである。図２６において、パラメータＰａｒａｍｉｎ、及びＸｐａｒａは別途、設定されるパラメータである。

図２６に示すように、最大値ＭＡＸと最小値ＭＩＮの差分値ＭＡＸ−ＭＩＮがＸｐａｒａ以上の場合はＰ＿ＧＡＩＮが１．０となり、Ｘｐａｒａ以下の場合は徐々に減少し、最大値ＭＡＸと最小値ＭＩＮの差分値ＭＡＸ−ＭＩＮが０の場合に、Ｐａｒａｍｉｎとなる特性である。

図２４に示す霧が濃い場合の最大値と最小値の差分値Ｘｍｎ３は、図２６に示すようにＸｐａｒａよりも小さいため、Ｐ＿ＧＡＩＮは１．０以下となる。図２５に示す霧が濃い場合の差分値Ｘｍｎ４は、図２６に示すようにＸｐａｒａよりも大きいため、Ｐ＿ＧＡＩＮは１．０となる。

パラメータゲインＰ＿ＧＡＩＮは、図２３に示すように、第１のゲイン生成部３、第２のゲイン生成部４に入力され、以下の式に示すように、各パラメータＸｐ１、Ｘｐ２、Ｘｐ３、及び、Ｘｍ１、Ｘｍ２、Ｘｍ３との乗算が行われ、第１のゲイン特性、第２のゲイン特性を決定する各パラメータＸｐ１１、Ｘｐ２２、Ｘｐ３３、及び、Ｘｍ１１、Ｘｍ２２、Ｘｍ３３が生成される。
Ｘｐ１１＝Ｘｐ１×Ｐ＿ＧＡＩＮ
Ｘｐ２２＝Ｘｐ２×Ｐ＿ＧＡＩＮ
Ｘｐ３３＝Ｘｐ３×Ｐ＿ＧＡＩＮ
Ｘｍ１１＝Ｘｍ１×Ｐ＿ＧＡＩＮ
Ｘｍ２２＝Ｘｍ２×Ｐ＿ＧＡＩＮ
Ｘｍ３３＝Ｘｍ３×Ｐ＿ＧＡＩＮ
図２７は、本実施の形態による映像処理装置において、第１のゲイン生成特性の一例を示す図である。図２８は、本実施の形態による映像処理装置において、第２のゲイン生成特性の一例を示す図である。図２７、図２８において、図２５のヒストグラム分布で示す薄い霧の場合の変換特性を点線で示す。

図２５の場合の差分値Ｘｍｎ４で決定されるＰ＿ＧＡＩＮは１．０となるため、Ｘｐ１１、Ｘｐ２２、Ｘｐ３３、Ｘｍ１１、Ｘｍ２２、Ｘｍ３３は、それぞれＸｐ１、Ｘｐ２、Ｘｐ３、Ｘｍ１、Ｘｍ２、Ｘｍ３と同じ値となる。各パラメータで決定される変換特性は、図２７、図２８の点線で示す特性となる。

この特性の場合において、図２５に示す薄い霧が効率良くコントラスト拡大が行われたとする。しかし、図２４で示す霧映像Ｂの場合は、霧映像Ｃに比べてコントラストが低いため、各領域におけるコントラストも同様に低くなり、点線で示す変換特性で変換を行うと、最大値ＭＡＸと平均値ＡＶＥの差分値ＭＡＸ−ＡＶＥがＸｐ１以下となり、平均値ＡＶＥと最小値ＭＩＮの差分値ＡＶＥ−ＭＩＮがＸｍ１以下となる領域が多くなり、コントラストの拡大が不十分となる。

本技術はこれを解決するもので、図２４の霧映像Ｂが入力された場合は、Ｐ＿ＧＡＩＮが１．０よりも小さくなるため、図２７、図２８の実線で示すように、Ｘｐ１１、Ｘｐ２２、Ｘｐ３３、Ｘｍ１１、Ｘｍ２２、Ｘｍ３３で作られる変換特性は、点線と比較し、最大値ＭＡＸと平均値ＡＶＥの差分値ＭＡＸ−ＡＶＥ、平均値ＡＶＥと最小値ＭＩＮの差分値ＡＶＥ−ＭＩＮがより低い範囲で、ピークをとる変換特性となる。つまり、濃い霧で拡散された微小なコントラストを拡大することが可能となり、薄い霧、濃い霧などのコントラストに応じて効果的なコントラスト拡大することが可能となる。

なお、本実施の形態において、第１のゲイン生成部３及び第２のゲイン生成部４は、図３、図５に示す実施の形態と同様の構成を用いることができる。勿論、図１４、図１５に示す実施の形態と同様な構成を用いても良い。

また、全体特徴検出部１５の図２６に示す特性は２本の折れ線で示したが、これに限定されるものではない。

また、領域の最大値、最小値は、カメラの撮像素子の画素欠陥などにより画素の輝度レベルが映像に相関が無く、著しく高い場合を考慮して、ヒストグラム分布の最大値から斜線で示す指定の画素数の分だけ低い輝度レベルを最大値とし、同様に、最小値についても、指定の画素数の分だけ高い輝度レベルを最小値としても良い。

なお、上記実施の形態において、映像入力信号の輝度レベルは、映像の３原色である赤色、緑色、青色のいずれかを用いるか、または色差信号を用いても良い。

以上のように、本技術における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本技術における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本技術によれば、映像情報を処理する処理装置、処理プログラムに広く適用することができる。

１ 入力部
２ 領域特徴検出部
３ 第１のゲイン生成部
４ 第２のゲイン生成部
５ 信号振幅調整部
６ 出力部
７，１０ 減算部
８，１１ 比較部
９，１２ ゲイン決定部
１３，１４ ゲイン調整部
１５ 全体特徴検出部

Claims (8)

1. 入力映像信号において補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する領域特徴検出部と、
   前記最大値と平均値の差分値から前記特定の画素の第１の演算値を演算する第１のゲイン生成部と、
   前記平均値と最小値の差分値から前記特定の画素の第２の演算値を演算する第２のゲイン生成部と、
   当該画素の信号レベルが前記平均値以上の場合は、前記特定の画素の信号レベルと前記平均値の差分に前記第１の演算値を乗じて拡大し、前記特定の画素の信号レベルが前記平均値以下の場合は、前記特定の画素の信号レベルと前記平均値の差分に前記第２の演算値を乗じて拡大する信号振幅調整部と
   を有することを特徴とする映像処理装置。
2. 前記第１の演算値は、最大値と平均値の差分値が最大、最小を除く何れかの値の場合に最大となる特性を有し、前記第２の演算値は、平均値と最小値の差分値が最大、最小を除く何れかの値の場合に最大となる特性を有することを特徴とする請求項１に記載の映像処理装置。
3. 前記第１のゲイン生成部は、第１の演算値に対して、さらに平均値に依存するとともに、平均値が最大の場合よりも最小の場合の方が大きい特性を有する値を乗じることにより第１の演算値とするものである請求項１に記載の映像処理装置。
4. 前記第２のゲイン生成部は、第２の乗算値に対して、さらに平均値に依存するとともに、平均値が最小の場合よりも最大の場合の方が大きい特性を有する値を乗じることにより第２の演算値とするものである請求項１に記載の映像処理装置。
5. 入力映像信号において補正対象となる特定の画素の周辺画素の信号レベルの最大値、平均値、最小値を演算する領域特徴検出部と、
   前記最大値と平均値の差分値から前記特定の画素の第１の演算値を演算する第１のゲイン生成部と、
   前記平均値と最小値の差分値から前記特定の画素の第２の演算値を演算する第２のゲイン生成部と、
   前記特定の画素の信号レベルが前記平均値以上の場合は、前記特定の画素の信号レベルと前記平均値の差分に前記第１の演算値を乗じて拡大し、前記特定の画素の信号レベルが前記平均値以下の場合は、前記特定の画素の信号レベルと前記平均値の差分に前記第２の演算値を乗じて拡大する信号振幅調整部と、
   単位フレーム期間及び単位フィールド期間の映像の全体最大値及び全体最小値を検出する全体特徴検出部とを備え、
   全体最大値と全体最小値の差分値に応じて、前記第１のゲイン生成部で最大をとる最大値と平均値の差分値と、前記第２のゲイン生成部の最大となる平均値と最小値の差分値を変化させるように構成したことを特徴とする映像処理装置。
6. 前記第１の演算値は、最大値と平均値の差分値が最大、最小を除く何れかの値の場合に最大となる特性を有し、前記第２の演算値は、平均値と最小値の差分値が最大、最小を除く何れかの値の場合に最大となる特性を有することを特徴とする請求項５に記載の映像処理装置。
7. 前記第１のゲイン生成部は、第１の演算値に対して、さらに平均値に依存するとともに、平均値が最大の場合よりも最小の場合の方が大きい特性を有する値を乗じることにより第１の演算値とするものである請求項５に記載の映像処理装置。
8. 前記第２のゲイン生成部は、第２の乗算値に対して、さらに平均値に依存するとともに、平均値が最小の場合よりも最大の場合の方が大きい特性を有する値を乗じることにより第２の演算値とするものである請求項５に記載の映像処理装置。

Images