JP2005138493A - 画像補正装置 - Google Patents

Abstract

【課題】 画像処理をした後の出力が所望の結果と一致しない場合に適切に補正する。
【解決手段】 第１画像特徴検出部１１は入力画像信号Ｐinの特徴を検出し、第１制御処理部１２は第１画像特徴検出部により検出された入力画像信号Ｐinの特徴に基づいて第１画像処理部１３の制御データを生成し、第１画像処理部は第１制御処理部からの制御データに基づいて入力画像信号Ｐinを補正して第１補正データＰout1を出力する。第２画像特徴検出部１４は第１画像処理部の出力信号Ｐout1の画像の特徴を検出し、第２制御処理部１５は第１画像特徴検出部により検出された入力画像信号Ｐinの特徴と、第２画像特徴検出部により検出された信号Ｐout1の画像の特徴に基づいて第２画像処理部１６の制御データを生成し、第２画像処理部は第２制御処理部からの制御データに基づいて第１補正データＰout1を補正して第２補正データＰout2を出力する。
【選択図】 図１

Description

本発明は、画像をその特徴に基づいて補正処理する画像補正装置に関する。

従来の画像補正処理装置としては、図９に示す構成が一般的である。図９の画像補正処理装置は、入力画像Ｐinの特徴をとらえる画像特徴検出部１と、その画像の特徴を評価（比較）して制御信号に加工する制御部２と、制御信号に基づいて入力画像Ｐinを補正する画像処理部３からなる（例えば下記の特許文献１）。一般的にこのような画像処理装置は図９に示すようなフィードフォワード型となる。
特開２００２−５５６６４号公報（図１）

この形態の制御方式でよく行われる処理として、画像のレベル補正（一般にガンマ補正）処理を取り上げる。画像特徴検出部１では、入力画像の輝度信号Ｐinのレベル分布（ヒストグラム）、平均値（略称ＡＰＬ：Average Picture Level）、また画像の最大値（ＭＡＸ）、最小値（ＭＩＮ）を検出する。これに基づいて画像表示装置（ディスプレイ）に表示した際に、見やすい階調特性に画像信号を制御する。ヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸなどの画像の特徴は、制御部２で輝度信号Ｐinの階調特性を補正するデータに加工され、画像処理部３にてレベルに応じた利得が輝度信号Ｐinに与えられ、所望の階調特性の出力信号Ｐoutを得る。

また、これとは異なる画像処理例として、ノイズ抑圧処理についても図９があてはまる。画像特徴検出部１では映像信号Ｐinからノイズを検出する。制御部２ではノイズ抑圧量を制御するデータに加工し、画像処理部３で制御データに基づいてノイズの抑圧量などパラメータを制御して映像信号Ｐinに対して適切なノイズ抑圧処理を施す。

ここでは、特徴の検出方法、例えばヒストグラム、ＡＰＬ、ＭＡＸ、ＭＩＮ、ノイズ検出、制御データ加工方法、画像処理部の階調特性を制御する可変利得方式などの回路手法については、本発明の本質からそれるので言及せず、機能ブロックの構成とその特徴について言及する。

しかしながら、フィードフォワード形式では、入力画像の特徴をとらえて制御を加えた結果が一義的に出力されるため、その結果が適切でないとき補正を加えたい場合が存在する。例えば画像信号の階調を補正する特性が図４の入出力特性になった場合、ＡＰＬが浮き上がることが容易にとらえられる。この波形をディスプレイで表示した場合、全体が白けた又は色があせた感じの画像になる。また、場合によっては逆に、黒く沈み、発色の悪い画像になる場合も散見される。

また、前述したノイズ問題では、ノイズ除去方式が静止画又はそれに準ずる状態で効果がある場合、動画像では効果が得られないときがある。

本発明は上記従来例の問題点に鑑み、画像処理をした後の出力が所望の結果と一致しない場合に適切に補正することができる画像補正装置を提供することを目的とする。

本発明は上記目的を達成するために、入力画像の特徴を検出する第１の検出手段と、
前記入力画像を第１の制御データに基づいて処理する第１の画像処理手段と、
前記第１の検出手段の検出結果に基づいて前記第１の制御データを生成して前記第１の画像処理手段を制御する第１の制御手段と、
前記第１の画像処理手段の出力画像の特徴を検出する第２の検出手段と、
前記第１の画像処理手段の出力画像を第２の制御データに基づいて処理する第２の画像処理手段と、
前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて前記第２の制御データを生成して前記第２の画像処理手段を制御する第２の制御手段とを、
有する構成とした。
この構成により、画像処理をした後の出力が所望の結果と一致しない場合に適切に補正することができる。

また、本発明は上記目的を達成するために、入力画像の輝度信号の特徴を検出する第１の検出手段と、
前記入力画像の前記輝度信号の階調を第１の制御データに基づいて補正する階調補正手段と、
前記第１の検出手段の結果に基づいて前記第１の制御データを生成して前記階調補正手段を制御する第１の制御手段と、
前記階調補正手段の出力画像の輝度信号の特徴を検出する第２の検出手段と、
前記階調補正手段の出力画像の平均値を第２の制御データに基づいて補正する平均値補正手段と、
前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて前記第２の制御データを生成して前記平均値補正手段を制御する第２の制御手段とを、
有する構成とした。
この構成により、階調を補正した出力が所望の結果と一致しない場合に適切に補正することができる。

また、本発明は上記目的を達成するために、入力画像のノイズ成分を検出する第１のノイズ検出手段と、
前記入力画像のノイズを第１の制御データに基づいて除去する第１のノイズ抑圧手段と、
前記第１のノイズ検出手段の検出結果に基づいて前記第１の制御データを生成して前記第１のノイズ抑圧手段を制御する第１の制御手段と、
前記第１のノイズ抑圧手段の出力画像のノイズを検出する第２のノイズ検出手段と、
前記第１のノイズ抑圧手段の出力画像のノイズを第２の制御データに基づいて除去する第２のノイズ抑圧手段と、
前記第１のノイズ検出手段の検出結果と前記第２のノイズ検出手段の検出結果に基づいて前記第２の制御データを生成して前記第２のノイズ抑圧手段を制御する第２の制御手段とを、
有する構成とした。
この構成により、ノイズを抑圧した出力が所望の結果と一致しない場合に適切に補正することができる。

本発明によれば、画像処理が利得制御であれば、ＡＰＬの変動を評価して適切な階調方向の補正ができ、ノイズ処理では、縦続接続で動き適応処理と同様の効果が得られるとともに、動き検出など回路規模の大きな機能が省けて、効率よく所望の効果が得られるメリットがある。また、フィードフォワードであるので、安定した応答特性が得られるとともに、対象とする画像処理の機能ブロックが離れていても同様の効果が得られる利点がある。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る画像補正装置の基本構成を示すブロック図である。第１画像特徴検出部１１は入力画像信号Ｐinの特徴を検出し、第１制御処理部１２は第１画像特徴検出部１１により検出された入力画像信号Ｐinの特徴に基づいて第１画像処理部１３の制御データを生成し、第１画像処理部１３は第１制御処理部１２からの制御データに基づいて入力画像信号Ｐinを補正して第１補正データＰout1を出力する。以上が第１ステップであり、以下が第２ステップである。

第２画像特徴検出部１４は第１画像処理部１３の出力信号Ｐout1の画像の特徴を検出し、第２制御処理部１５は第１画像特徴検出部１１により検出された入力画像信号Ｐinの特徴と、第２画像特徴検出部１４により検出された信号Ｐout1の画像の特徴に基づいて第２画像処理部１６の制御データを生成し、第２画像処理部１６は第２制御処理部１５からの制御データに基づいて第１補正データＰout1を補正して第２補正データＰout2を出力する。

図２は階調特性を制御する本発明の画像補正装置の第１の実施の形態を示すブロック図である。図１中の入力画像信号Ｐinは輝度信号Ｙinに相当し、第１画像特徴検出部１１はヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸ検出部１１−１に相当し、第１制御処理部１２は検出部１１−１にて得たデータ、例えば輝度信号Ｙinのヒストグラムを評価し輝度信号の階調分布に応じた制御信号、ここでは利得データに加工する利得制御処理部１２−１に相当し、第１画像処理部１３は利得データに応じて画像の階調特性を補正する階調可変利得処理部１３−１に相当する。また、第２画像特徴検出部１４はＡＰＬ、ＭＩＮ、ＭＡＸ検出部１４−１に相当し、第２制御処理部１５は補正制御処理部１５−１に相当し、第２画像処理部１６はここでは２つに分けてＡＰＬ補正処理部１６−１１及び可変利得処理部１６−１２に相当する。

ここで、画像のヒストグラムなどの特徴を検出し、その結果導き出された可変利得で制御された階調可変利得処理部１３−１の特性の代表的ないくつかを取り上げて説明する。図３は階調可変利得処理部１３−１の入出力処理特性の第１の例を示す。破線で示すゲイン＝１の特性は信号スルーに該当し、これに対して実線は、黒側（低レベル側）が沈み、白側（高レベル側）が浮くように制御される特性を示す。この場合、振幅レベルのセンタを中心に対称であるので、前段のヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸ検出部１１−１と後段のＡＰＬ、ＭＩＮ、ＭＡＸ検出部１４−１とのＡＰＬの差は「０」となる。

図４は階調可変利得処理部１３−１の入出力処理特性の第２の例（実線）であり、中間階調が浮くように制御される特性を示す。この特性のランプ信号は、振幅レベルの中心部が明るく浮き上がる現象となり、前段のヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸ検出部１１−１と後段のＡＰＬ、ＭＩＮ、ＭＡＸ検出部１４−１とのＡＰＬの差はプラス側に変動する。

図５は階調可変利得処理部１３−１の入出力処理特性の第３の例（実線）であり、中間階調が沈むように制御される特性を示す。この場合、振幅レベルの中心部が暗く沈む現象となり、前段のヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸ検出部１１−１と後段のＡＰＬ、ＭＩＮ、ＭＡＸ検出部１４−１とのＡＰＬの差はマイナス側に変動する。

本発明では画像の特徴検出部１１、１４を第１画像処理部１３の前後に持つことで、第１画像処理部１３の処理結果の評価（比較）が可能となる。前述したＡＰＬの変動は、補正制御処理部１５−１で評価（比較）され、ＡＰＬ補正処理部１６−１１にて補正される。補正内容は画像をディスプレイで表示して、主観評価に基づいて最適化が図れるが、例えばＡＰＬ変動が無い方向に補正するのであれば、ＡＰＬの差を「０」にするようにＡＰＬ補正処理部１６−１１で補正する。この補正内容の特性を図６に示す。また、プラス・マイナス一方向に振る場合、ＡＰＬの差分値の大きさを加味して補正スケールを決めることも可能である。また、画像信号のＭＡＸ、ＭＩＮなども同様に評価（比較）し、可変利得処理部１６−１２にて補正を掛ける。この振幅補正特性を図７に示す。

以上からなる階調方向の補正処理は、複数の画像特徴検出を行うことにより、前段部での階調可変利得処理部１３−１の問題点を補う処理を後段にて適切に補正することを可能にするものである。

本発明の画像補正装置の第２の実施の形態はノイズ抑圧処理を行うよう構成されている。図８は第２の実施の形態のブロック図である。図８において、第１ノイズ検出部１１−２、第１制御処理部１２−２、第１ノイズ抑圧処理部１３−２で入力信号に対して、第１ステップの制御ループが形成される。第２ノイズ検出部１４−２、第２制御処理部１５−２、第２ノイズ抑圧処理部１６−２で、第１ノイズ抑圧処理部１３−２の出力信号Ｐout1に対して、第２ステップの制御ループが形成される。さらに第３ノイズ検出部１７−２、第３制御処理部１８−２、鮮鋭化処理部１９−２で、第２ノイズ抑圧処理部１６−２の出力信号Ｐout2に対して、第３ステップの制御ループが形成され、出力信号Ｐout3を得る。

上記図８に示す構成は、３種類のノイズ成分に関連する処理を制御するものである。例えば、第１ノイズ抑圧処理部１３−２では時間方向の巡回型ノイズリデューサを用い、第２ノイズ抑圧処理部１６−２では空間（水平と垂直）の高域信号成分に対応したノイズコアリング処理を用い、最終段の処理にはエッジを強調する鮮鋭化処理を施す。鮮鋭化処理はノイズそのものに直接作用するものではないが、ノイズ成分が強調されてくるので、前段のノイズ除去状況を鑑みて、適切な強調度合いを制御することでノイズを目立たなくすることになる。

制御処理部１２−２、１５−２、１８−２の働きについて説明する。第１ステップは、第１ノイズ検出に基づいて第１ノイズ抑圧処理部１３−２のノイズ抑圧の利得を制御する。第２ステップの第２制御処理部１５−２は、第１ノイズ検出と第２ノイズ検出の両方を評価（比較）する。第１ステップでは、第１ノイズ抑圧処理部１３−２が静止画で有効な時間方向の巡回型ノイズリデューサであるため、動画ではノイズが抑圧されずにノイズが残留する。この場合、第１ノイズ検出と第２ノイズ検出の関係は、静止画でノイズが抑圧されたときノイズ量が、第１ノイズ検出＞第２ノイズ検出となり、動画の場合は、第１ノイズ検出と第２ノイズ検出が近いノイズ量を示す。

第２制御処理部１５−２での評価の仕方としては、動画と認識される前記ノイズ量のときは、動画にも有効な水平垂直の空間内で処理する第２ノイズ抑圧処理を利かせる。ここで複数のノイズ検出を用いることで、静止画と動画の両方にノイズを適切に抑圧させることができる。この方式では動き検出を用いた動き適応処理をするのと近い効果が縦続処理で得られる。

さらに第３ステップでは、第１ノイズ検出、第２ノイズ検出に、第３ステップ出力の第３ノイズ検出を加えて、３つのノイズ検出を評価（比較）して鮮鋭化処理を制御する。評価の仕方は、第１ステップ、第２ステップのどちらでノイズが抑圧されているか、又は最終的にノイズは抑圧されているかなどを判定し、それに応じて適切に鮮鋭化処理部１９−２を制御する。

ここで用いるノイズ検出は、複数のノイズ検出を用い、その差分を評価（比較）するので、画像信号が混入していても特に大きな問題ではなく、画像信号部分でノイズを評価できる。また、各ノイズ抑圧処理部の効果を評価しているので、その目的を達成できる内容のもので、手段は簡略なものも考えられる。

本発明の基本構成を示すブロック図である。 本発明の第１の実施の形態を示すブロック図である。 図２の階調可変利得処理部のＡＰＬ変動の無い特性例を示す説明図である。 図２の階調可変利得処理部のＡＰＬが上昇する特性例を示す説明図である。 図２の階調可変利得処理部のＡＰＬが降下する特性例を示す説明図である。 図２のＡＰＬ補正処理部の特性を示す説明図である。 図２の可変利得処理部の特性を示す説明図である。 本発明の第２の実施の形態を示すブロック図である。 従来例を示すブロック図である。

符号の説明

１１ 第１画像特徴検出部
１１−１ ヒストグラム、ＡＰＬ、ＭＩＮ、ＭＡＸ検出部
１１−２ 第１ノイズ検出部
１２ 第１制御処理部
１２−１ 利得制御処理部
１２−２ 第１制御処理部
１３ 第１画像処理部
１３−１ 階調可変利得処理部
１３−２ 第１ノイズ抑圧処理部
１４ 第２画像特徴検出部
１４−１ ＡＰＬ、ＭＩＮ、ＭＡＸ検出部
１４−２ 第２ノイズ検出部
１５ 第２制御処理部
１５−１ 補正制御処理部
１５−２ 第２制御処理部
１６ 第２画像処理部
１６−２ 第２ノイズ抑圧処理部
１６−１１ ＡＰＬ補正処理部
１６−１２ 可変利得処理部
１７−２ 第３ノイズ検出部
１８−２ 第３制御処理部
１９−２ 鮮鋭化処理部

Claims (5)

1. 入力画像の特徴を検出する第１の検出手段と、
   前記入力画像を第１の制御データに基づいて処理する第１の画像処理手段と、
   前記第１の検出手段の検出結果に基づいて前記第１の制御データを生成して前記第１の画像処理手段を制御する第１の制御手段と、
   前記第１の画像処理手段の出力画像の特徴を検出する第２の検出手段と、
   前記第１の画像処理手段の出力画像を第２の制御データに基づいて処理する第２の画像処理手段と、
   前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて前記第２の制御データを生成して前記第２の画像処理手段を制御する第２の制御手段とを、
   有する画像補正装置。
2. 入力画像の輝度信号の特徴を検出する第１の検出手段と、
   前記入力画像の前記輝度信号の階調を第１の制御データに基づいて補正する階調補正手段と、
   前記第１の検出手段の結果に基づいて前記第１の制御データを生成して前記階調補正手段を制御する第１の制御手段と、
   前記階調補正手段の出力画像の輝度信号の特徴を検出する第２の検出手段と、
   前記階調補正手段の出力画像の平均値を第２の制御データに基づいて補正する平均値補正手段と、
   前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて前記第２の制御データを生成して前記平均値補正手段を制御する第２の制御手段とを、
   有する画像補正装置。
3. 前記平均値補正手段の出力画像の最大値と最小値を第３の制御データに基づいて補正する補正手段を更に備え、
   前記第２の制御手段は更に前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて前記第３の制御データを生成して前記補正手段を制御するよう構成されている請求項２に記載の画像補正装置。
4. 入力画像のノイズ成分を検出する第１のノイズ検出手段と、
   前記入力画像のノイズを第１の制御データに基づいて除去する第１のノイズ抑圧手段と、
   前記第１のノイズ検出手段の検出結果に基づいて前記第１の制御データを生成して前記第１のノイズ抑圧手段を制御する第１の制御手段と、
   前記第１のノイズ抑圧手段の出力画像のノイズを検出する第２のノイズ検出手段と、
   前記第１のノイズ抑圧手段の出力画像のノイズを第２の制御データに基づいて除去する第２のノイズ抑圧手段と、
   前記第１のノイズ検出手段の検出結果と前記第２のノイズ検出手段の検出結果に基づいて前記第２の制御データを生成して前記第２のノイズ抑圧手段を制御する第２の制御手段とを、
   有する画像補正装置。
5. 前記第２のノイズ抑圧手段の出力画像のノイズを検出する第３のノイズ検出手段と、
   前記第２のノイズ抑圧手段の出力画像を第３の制御データに基づいて鮮鋭化する鮮鋭化手段と、
   前記第１のノイズ検出手段の検出結果と、前記第２のノイズ検出手段の検出結果と前記第３のノイズ検出手段の検出結果に基づいて前記第３の制御データを生成して前記鮮鋭化手段を制御する第３の制御手段とを、
   更に有する請求項４に記載の画像補正装置。
   

Images