JP2014050099A - ローカル輝度ゲインを用いて画質を向上させる画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】ローカル輝度ゲインを用いて画像を処理し、画質を向上させる画像処理方法およびその方法に関連した画像処理装置を提供する。
【解決手段】画像処理装置１００は、ローカル輝度調整回路１１０と画像強調回路１２０を含む。上記ローカル輝度調整回路は、ローカル輝度調整前の入力画像と、ローカル輝度調整後の当該入力画像とのローカル輝度ゲイン関係を求めるように構成されている。上記画像強調回路は、上記ローカル輝度調整回路に接続され、上記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成するように構成されている。
【選択図】図１

Description

発明の詳細な説明

〔技術分野〕
本発明の開示した実施形態は、画像処理に関する。さらに詳しくは、ローカル輝度ゲインを用いて画像を処理し、画質を向上させる画像処理方法およびその方法に関連した画像処理装置に関する。

〔背景技術〕
画像処理において、画像のコントラストまたはダイナミックレンジの強調等の、画像の輝度を調整する画像強調が用いられている。しかし、画像の輝度調整を行うと、画像にノイズが現れることがある。従来、画像のノイズを低減するための方法として、同じパラメータに従い、画像に対してノイズ低減処理を行っていた。ノイズ除去レベルが高いと、輪郭レベルが低下する（つまり、画像の細部がぼやけたり、消失してしまう）。あるいは、画像の細部の画質を維持・向上させるために、画像のノイズが依然として高くなってしまう。したがって、画像における異なる画像ブロックを異なる輝度調整動作によって処理して画質を向上させると、ノイズ低減を施した上記画像に、画像の細部でぼけや欠損が生じたり、画像ブロックによっては充分にノイズ低減されない場合もある。

このように、画像の輝度を局所的に調整する画像強調動作を画像に施した後、画像の細部のぼけや欠損を伴わずにどのように画像のノイズを低減するかが、解決する必要のある課題となっている。

〔発明の概要〕
したがって、本発明の目的は、上記の問題を解決するために、ローカル輝度ゲインを用いて画像を処理し、画質を向上させる画像処理方法およびその方法に関連した画像処理装置を提供することである。

本発明の実施形態によれば、例示的な画像処理方法が開示されている。例示的な画像処理方法には、ローカル輝度調整前の入力画像と、ローカル輝度調整後の当該入力画像とのローカル輝度ゲイン関係を求める工程と、前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成する工程とが含まれる。

本発明によれば、例示的な画像処理装置が開示されている。例示的な画像処理装置は、ローカル輝度調整回路と画像強調回路とを含む。上記ローカル輝度調整回路は、ローカル輝度調整前の入力画像と、ローカル輝度調整後の当該入力画像とのローカル輝度ゲイン関係を求めるように構成されている。上記画像強調回路は、上記ローカル輝度調整回路に接続され、上記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成するように構成されている。

上記提案の画像処理方法およびその方法に関連する画像処理装置によれば、画像の輝度を局所的に調整することによって画質を向上するだけではなく、ノイズ低減および／または輪郭強調といった、画像処理機能を十分に実現することができる。

以下に記載する、種々の図面に示す好ましい実施形態の詳細の説明を読めば、これら本発明の目的およびその他の目的が当業者にとって間違いなく明らかである。
〔図面の簡単な説明〕
図１は、本発明の第１の実施形態にかかる例示的な画像処理装置を示すブロック図である。

図２は、本発明の第２の実施形態にかかる例示的な画像処理装置を示すブロック図である。

図３は、ローカル輝度調整の実施態様を示す図である。

図４は、ローカル輝度調整の別の実施態様を示す図である。

図５は、本発明の実施形態にかかる画像補正関係を示す図である。

図６は、本発明の別の実施形態にかかる画像補正関係を示す図である。

図７は、ローカル輝度ゲイン関係にかかる画像強調の実施態様を示すフローチャートである。

図８は、本発明の第３の実施形態にかかる例示的な画像処理装置を示すブロック図である。

図９は、本発明の第４の実施形態にかかる例示的な画像処理装置を示すブロック図である。

〔詳細な説明〕
本発明の概念とは、ローカル輝度調整によって得られる輝度ゲイン（それぞれの画像領域に対応する）に基づく、ノイズ低減および／または輪郭強調動作を局所的に行うことであり、これによって従来のグローバル画像処理にまつわる問題を解消することができる。すなわち、上記提案の方法および装置によれば、単一の画像に対してローカル輝度の調整と分析を行い、さらに、異なる画像領域に対してそれぞれ適切な画像処理動作を行う。これにより、全体の画質が向上する。例えば、本発明の概念は、ローカルノイズ低減および／またはローカル輪郭強調に適用されるが、本発明はこれに限定されない。さらに、上記ローカル輝度調整は、各種の画像調整動作によって実現してもよい。一実施態様において、上記ローカル輝度調整はローカルトーンマッピングであってもよい。便宜上、以下の説明では、ローカル輝度調整の例示的な実施態様の一つとして、ローカルトーンマッピングのローカルゲイン補正を用いる。

図１は、本発明の第１の実施形態にかかる例示的な画像処理装置を示すブロック図である。図１に示すように、画像処理装置１００は、ローカル輝度調整回路１１０と、画像強調回路１２０とを含むが、これらに限定されない。本実施形態において、ローカル輝度調整回路１１０は、ローカル輝度調整前の入力画像IMG_Iと、ローカル輝度調整後の入力画像IMG_Iとのローカル輝度ゲイン関係（local brightness gain relation）ＬＢＧを求めるように構成されている。詳細には、ローカル輝度調整回路１１０は、受信した入力画像IMG_Iに対してローカル輝度調整を行って調整済み画像IMG_Aを生成し、上記ローカル輝度ゲイン関係ＬＢＧは、入力画像IMG_Iと調整済み画像IMG_Aとに対応する。あるいは、ローカル輝度調整回路１１０は、調整済み画像IMG_Aを出力せずに、ローカル輝度ゲイン関係ＬＢＧを求めてもよい。

なお、上記入力画像IMG_Ｉは、ＲＡＷデータでもあってもよいし、色空間中の画像データであってもよい。入力画像IMG_IがＲＡＷデータである場合、入力画像IMG_Iは、べイヤー（Ｂａｙｅｒ）パターン画像データであってもよく、画像信号処理装置（図１に図示せず）を用いて調整済み画像IMG_AをＲＧＢ画像データに変換することで、さらに画像強調を行ってもよい。また、入力画像IMG_Iが色空間中の画像データである場合、入力画像IMG_IはＲＧＢ画像データであってもよく、YUV画像データであってもよい。

画像強調回路１２０は、ローカル輝度調整回路１１０に結合しており、ローカル輝度ゲイン関係ＬＢＧに従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像IMG_Pに施し、その結果として出力画像IMG_Oを生成するように構成されている。つまり、画像強調回路１２０は、処理用画像IMG_Pに対して、ノイズ低減および輪郭強調を同時または別々に行う。あるいは、処理用画像IMG_Pに対して、ノイズ低減および輪郭強調のうちのいずれか一方の処理のみを行う。

画像強調回路１２０が参照するローカル輝度ゲイン関係ＬＢＧは、現フレームのゲイン情報、または現フレームとは異なるフレーム（例えば、現フレームに隣接するフレーム）のゲイン情報に由来する。ローカル輝度ゲイン関係ＬＢＧが現フレームのゲイン情報に由来する場合、（ローカル輝度調整回路１１０が行う）ローカル輝度調整によって入力画像IMG_Iを処理した後、処理用画像IMG_Pが生成される。すなわち、処理用画像IMG_Pは、調整済み画像IMG_Aである。また、ローカル輝度ゲイン関係ＬＢＧが、現フレームのゲイン情報に由来しない場合、（ローカル輝度調整回路１１０が行う）ローカル輝度調整によって入力画像IMG_Iとは異なる画像を処理した後、処理用画像IMG_Pが生成される。すなわち、処理用画像IMG_Pは、調整済み画像IMG_Aとは異なる。説明の便宜上、現フレームのゲイン情報に由来するローカル輝度ゲイン関係ＬＢＧに基づいて以下の実施形態を説明する。ただし、ローカル輝度ゲイン関係ＬＢＧが現フレームのゲイン情報に由来しない場合でも、以下に記載するローカル輝度調整と同じローカル輝度調整が実現可能であることは、当業者であれば容易に理解できる。

図２は、本発明の第２の実施形態にかかる例示的な画像処理装置を示すブロック図である。図２に示すように、画像処理装置２００は、ローカル輝度調整回路２１０、画像強調回路２２０、および制御パラメータ生成回路２３０を含む。ローカル輝度調整回路２１０は、ローカル輝度調整前の入力画像IMG_Iと、ローカル輝度調整後の入力画像IMG_Iとのローカル輝度ゲイン関係ＬＢＧを求めるように構成されている。制御パラメータ生成回路２３０は、ローカル輝度調整回路２１０に結合しており、ローカル輝度ゲイン関係ＬＢＧに従って、少なくとも１つの画像制御パラメータPR_Iを画像強調回路２２０に対して生成するように構成されている。画像強調回路２２０は、ローカル輝度調整回路２１０に接続しており、上記少なくとも１つの画像制御パラメータPR_Iに従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像IMG_Pに施し、その結果として出力画像IMG_Oを生成するように構成されている。端的に言うと、本実施形態では、ローカル輝度調整回路２１０は、受信した入力画像IMG_Iに対してローカル輝度調整を行い、処理用画像IMG_Pを生成して画像強調回路２２０へ出力するとともに、ノイズ低減および／または輪郭強調をのちに行うための、対応するローカル輝度ゲイン関係ＬＢＧを求める。

以下、図３と組み合わせて図２を参照しながら説明する。図３は、ローカル輝度調整の実施態様を示す図である。本実施態様において、ローカル輝度調整回路２１０は、入力画像IMG_Iの各画像ユニット（例えば、画素P_i）毎に、上記入力画像IMG_I内の上記画像ユニットを含む画像ブロック（例えば、画像ブロックIB_i）の画素値に基づき、画像ユニット（例えば、画素P_i）の輝度値（例えば、輝度値Bi）を調整してローカル輝度調整を行う。例えば、ローカル輝度調整回路２１０は、複数の曲線関数（例えば、複数のガンマ関数）を提供し、画像ブロックIB_iにおける全ての画素値の平均画素値（例えば、平均輝度値）に基づき、画像ユニットに対応する特定の曲線関数（例えば、特定のガンマ関数）を求め、当該特定の曲線関数に基づき当該画像ユニットの輝度値を調整する。

詳細には、ＲＧＢ色空間における画素P_iの最大画素値が、画素P_iの輝度値Biとして用いられる。次に、画像ブロックIB_iにおける全ての画素値の平均輝度値を曲線関数に代入して、複数の輝度値を求める。求めた輝度値を所定の輝度値（例えば、ユーザーの目に快適な輝度レベル）と比較して当該輝度値から所定の輝度値に最も近い特定の輝度値を求めた後、当該特定の輝度値に対応する特定のガンマ関数を求める。最後に、画素P_iの輝度値Biを上記特定のガンマ関数に代入して、画素P_iの輝度値をBiからBi’へと調整する。なお、入力画像IMG_Iの各画像ユニットの輝度値をローカル輝度調整に基づく適切な輝度値（例えば、ユーザーの目に快適な輝度レベル）に調整することは、当業者にとって容易に理解できることであるので、簡潔にするため、これ以上の説明はここでは省く。ローカル輝度調整が行われた後、ローカル輝度調整回路２１０は、ローカル輝度調整前の画像ユニット（例えば、画素P_i）の輝度値（例えば、輝度値Bi）と、ローカル輝度調整後の画像ユニット（例えば、画素P_i）の輝度値（例えば、輝度値Bi’）との比率（例えば、輝度ゲインＧｉ）を算出する。これにより、ローカル輝度ゲイン関係ＬＢＧを求める。

上記の説明では、単一の画素に対して、その画素を取り囲む画像ブロックを参照することでローカル輝度調整を行う方法について述べた。画素P_iの調整例において、上記の方法は次のように要約できる。
（１）画素P_iの輝度値Biとして、ＲＧＢ色空間における画素P_iの最大画素値を用いる。
（２）画素P_iを取り囲む画像ブロック（例えば、画像ブロックIB_i）内の全ての画素値の平均輝度値を求める。
（３）求めた平均輝度値を曲線関数に代入して、特定のガンマ関数を求める。
（４）画素P_iの輝度値Biを（３）で求めた特定のガンマ関数に代入することで、画素P_iの輝度値の調整（BiからBi’）を行う。
（５）輝度値Bi’を輝度値Biで除算してローカル輝度ゲイン関係ＬＢＧを求める。

なお、上記の画像ユニットは単一の画素に限定されない。以下、図４と組み合わせて図２を参照しながら説明する。図４は、ローカル輝度調整の別の実施態様を示す図である。図４に示すローカル輝度調整は、図３に示すローカル輝度調整に基づくものであり、主な相違点としては、図４に示す各画像ユニットが複数の画素（例えば、画像ユニットIU_i）を含むブロックである点、ならびに図４に示すローカル輝度調整では縮小動作と拡大動作とをさらに含むという点である。

本実施形態において、ローカル輝度調整回路２１０は、画素P_i（画像ユニットIU_iに含まれる）の輝度値として、ＲＧＢ色空間内の画素P_iの最大画素値を用いる。入力画像IMG_Iを複数の画像ブロックに分割することで、入力画像IMG_Iのサイズを縮小する（例えば、６４０×４８０から３２×３２へ縮小する）。なお、各画像ブロック（例えば、画像ユニットIU_i）は複数個の画素を含む。次に、ローカル輝度調整回路２１０は、複数の曲線関数（例えば、複数のガンマ関数）を提供し、画像ユニットIU_iにおける全ての画素の平均輝度値に基づき、画像ユニットIU_iに対応する特定の曲線関数（例えばガンマ関数）を求め、当該特定の曲線関数に基づき当該画像ユニットIU_iにおける各画素の輝度値を調整する。

入力画像IMG_Ｉのサイズを６４０×４８０から３２×３２へ縮小する場合、各画像ユニットに対応する特定のガンマ関数を求める上記の工程を実行することで、３２×３２の曲線指数画像が得られ、当該特定ガンマ関数の曲線指数が、当該３２×３２の曲線指数画像に記録される。次に、上記３２×３２の曲線指数画像を空間フィルタリング（例えば、低域フィルタリング）で処理してハロー効果を低減させ、その後入力画像IMG_Iのサイズ（例えば、６４０×４８０）へと拡大させる。最後に、各画像ブロック（例えば、画素ユニットIU_i）の各画素（例えば、画素P_i）の輝度値を、曲線指数画像における対応する特定の関数に代入して、各画素の輝度値を調整する。

なお、調整済み画像IMG_Pの格子状の（grid-pattern）輝度分布を回避するために、ローカル輝度調整回路２１０は、上記３２×３２の曲線指数画像に対して曲線指数演算（curve index calculation）（例えば、補間演算）を行う。各画像ユニットの各画素に対応する特定のガンマ関数がそれぞれ求められ、上記３２×３２の曲線指数画像が入力画像IMG_Iのサイズに拡大される。従って、各画像ユニットの画素の画素値を対応するガンマ関数に代入して、当該画素の輝度値を調整する。

上記の説明では、曲線指数画像を参照することで単一の画素に対してローカル輝度調整を行う方法について述べた。画素P_iの調整例において、上記の方法は次のように要約できる。
（１）画素P_iの輝度値Biとして、ＲＧＢ色空間における画素P_iの最大画素値を用いる。
（２）入力画像IMG_Iを複数の画像ブロック（各画像ブロック（例えば、画像ユニットIU_i））に分割することで、入力画像IMG_Iのサイズを縮小する（例えば、６４０×４８０から３２×３２へ縮小する）。
（３）画像ユニットにおける全ての画素値の平均輝度値に基づき、各画像ユニットの対応する特定の曲線関数を求め、その結果として３２×３２の曲線指数画像を得る。
（４）３２×３２の曲線指数画像に対して、空間フィルタリングを行う。
（５）３２×３２の曲線指数画像のサイズを、入力画像IMG_Iのサイズに拡大する（例えば、３２×３２から６４０×４８０に拡大する）。
（６）画素P_iの輝度値Biを曲線指数画像の対応する特定のガンマ関数に代入することで、画素P_iの輝度値の調整（BiからBi’）を行う。
（７）輝度値Bi’を輝度値Biで除算してローカル輝度ゲイン関係ＬＢＧを求める。

端的に言うと、ローカル輝度調整回路２１０は、ローカル輝度調整前の入力画像IMG_I中の画像ユニット（または画素）の輝度値と、ローカル輝度調整後の画像ユニット（または画素）の輝度値との比率（例えば、輝度ゲインGi）を算出することで、ローカル輝度ゲイン関係ＬＢＧを求める。あるいは、図１および図２に示すローカル輝度調整回路１１０および２１０がローカル輝度調整動作を行う場合、入力画像IMG_Iは、単一の画素を有する画像ユニットと、複数の画素を有する画像ユニットとを含む。

再び図２を参照して説明する。ローカル輝度調整回路２１０がローカル輝度ゲイン関係ＬＢＧを求めた後、制御パラメータ生成回路２３０は、ローカル輝度ゲイン関係ＬＢＧ（例えば、調整済み画像IMG_A／処理用画像IMG_Pにおける各画像ユニットの輝度ゲイン)に従って、各画像ユニットに対応する少なくとも１つの画像制御パラメータを生成する。制御パラメータ生成回路２３０は、少なくとも１つの画像補正関係（image correction relation）をさらに提供し、当該少なくとも１つの画像補正関係と、ローカル輝度ゲイン関係ＬＢＧの輝度ゲイン（画像ユニットに対応)とに従って、少なくとも１つの画像制御パラメータPR_Iを生成する。図５と組み合わせて図２を参照しながら説明する。図５は、本発明の実施形態にかかる画像補正関係を示す図である。本実施形態において、画像補正関係は、輝度ゲインGと、ノイズ低減制御パラメータPR_NR（ノイズ低減と輪郭強調とを同時に制御するために用いられる)との変換関係（conversion relation）であり、当該画像補正関係は補正によって求められる。詳細には、輝度ゲインGが高ければ高いほどノイズが大きいことを示すので、ノイズ低減を強化して輪郭強調を弱める必要がある。一方、輝度ゲインGが低ければ低いほどノイズが小さいことを示すので、ノイズ低減を弱めて輪郭強調を強化する必要がある。したがって、輝度ゲインGが高いと、ノイズ低減制御パラメータPR_NRの値は高くなり、ノイズ低減を強化して輪郭強調を弱めることになる。一方、輝度ゲインGが低いと、ノイズ低減制御パラメータPR_NRの値は低くなり、ノイズ低減を弱めて輪郭強調を強化することになる。

なお、ノイズ低減制御パラメータPR_NRを輪郭強調制御パラメータに置き換えてもよい。例えば、輝度ゲインGが高いと、輪郭強調制御パラメータの値が低くなり、輪郭強調を弱めてノイズ低減を強化することになる。さらに、上記の画像補正関係は本発明を限定するものではない。つまり、制御パラメータ生成回路２３０は、実際の設計および条件に基づいて、異なる画像補正関係を提供してもよい。例えば、制御パラメータ生成回路２３０は、ノイズ低減および輪郭強調のうちのいずれか一方の処理を行うための画像補正関係、ノイズ低減および輪郭強調を同時に行うための複合画像補正関係、あるいは図６に示すような色度ノイズ低減（ＣＮＲ）（すなわち、色度ノイズ低減制御パラメータPR_CNRと輝度ゲインGとの変換関係)を行うための画像補正関係を提供してもよい。

少なくとも１つの画像補正関係と、ローカル輝度ゲイン関係ＬＢＧの輝度ゲイン（画像ユニットに対応）とに従って、上記少なくとも１つの画像制御パラメータPR_Iを生成するだけでなく、制御パラメータ生成回路２３０は、少なくとも１つの画像制御パラメータルックアップテーブルを提供し、上記少なくとも１つの画像パラメータルックアップテーブルと輝度ゲインとに従って、上記少なくとも１つの画像制御パラメータPR_Iを生成する。つまり、制御パラメータ生成回路２３０は、組み込まれている画像制御パラメータルックアップテーブルを参照して、入力されたローカル輝度ゲイン関係ＬＢＧに対応する上記少なくとも１つの画像制御パラメータPR_Iを生成する。次に、画像強調回路２２０は、上記少なくとも１つの画像制御パラメータPR_Iに従って画像強調を行う。画像強調の動作原理について、以下に詳細を示す。

図２と組み合わせて図７を参照しながら説明する。図７は、ローカル輝度ゲイン関係に従った画像強調の実施態様を示すフローチャートである。まず、ステップ７１０において、制御パラメータ生成回路２３０は、画像補正関係／画像制御パラメータルックアップテーブルを参照することによって、上記ローカル輝度ゲイン関係ＬＢＧに応じた各制御パラメータを得る。上記得られた各制御パラメータは、少なくとも１つの輝度ノイズ低減制御パラメータPR_a（照度／輝度に対応)と、少なくとも１つの輝度輪郭強調制御パラメータPR_b（照度／輝度に対応）と、少なくとも１つの色度ノイズ低減制御パラメータPR_CNR（色に対応）と、ノイズ低減制御パラメータPR_NR(画像ユニットに対してノイズ低減および輪郭強調を同時に行うために必要)とを含む。ステップ７１２とステップ７１４において、画像強調回路２２０は、得られた輝度ノイズ低減制御パラメータPR_aと輝度輪郭強調制御パラメータPR_bとに従って、処理用画像IMG_Pにおける画像ユニットの輝度Ｙを、輝度ＹＮＲおよび輝度ＹＥＥへと、それぞれ調整する。同様に、ステップ７１６において、画像強調回路２２０は、得られた色度ノイズ低減制御パラメータPR_CNRに従って、処理用画像IMG_Pにおける画像ユニットの色度ＵＶを色度ＵＶＯへと調整する。次に、ステップ７２０において、画像強調回路２２０は、以下に示す関数に基づき、出力画像IMG_Oの輝度ＹＯを出力する。

ＹＯ＝（ＰＲ＿ｄ×ＹＥＥ＋ＰＲ＿ＮＲ×ＹＮＲ）／（ＰＲ＿ｄ＋ＰＲ＿ＮＲ）
上記の関数の輪郭強調制御パラメータPR_dは、上記処理用画像IMG_Pにおける画像ユニットに対して、フィルタリング動作を行うことで得られる。上記の関数からわかるように、ノイズ低減制御パラメータPR_NRの値が高いと、ノイズ低減を強化して輪郭強調を弱める。一方、ノイズ低減制御パラメータPR_NRの値が低いと、ノイズ低減を弱めて輪郭強調を強化する。したがって、画像強調回路２２０は、処理用画像IMG_Pに対してノイズ低減と輪郭強調とを同時に行って、輝度ＹＯおよび色度ＵＶＯを有する出力画像IMG_Oを出力する（ステップ７３０）。

端的に言うと、制御パラメータ生成回路２３０は、少なくとも１つの画像補正関係と、ローカル輝度ゲイン関係ＬＢＧの輝度ゲインとに従って、少なくとも１つの画像制御パラメータを画像ユニットに対して付与し、画像強調回路２２０は、入力画像IMG_Iにおいてそれぞれ異なる輝度値を有する画像ユニットの画質を適応的に向上させる。なお、図２に示す画像制御パラメータPR_Iは、制御パラメータPR_a、PR_b、PR_CNR、およびPR_NRに限定されない。また、画像強調回路２２０は、制御パラメータPR_a/PR_b/PR_CNRを同時に参照して、画像ユニットを処理してもよい。したがって、画像制御パラメータは、異なる画質条件や好みの表示（view preferences）に応じて用いられ、所望の出力画像IMG_Oを得ることができる。

図７に示す画像強調処理の実施態様は、あくまで例を示したに過ぎず、本発明を限定するものではない。例えば、画像強調回路２２０が処理用画像IMG_Pに対してノイズ低減と輪郭強調を連続的に行う場合は、制御パラメータ生成回路２３０がノイズ低減制御パラメータPR_NRを生成することはない。また、画像強調回路２２０が、輝度ノイズ低減制御パラメータPR_aおよび輝度輪郭強調制御パラメータPR_bのうちのいずれか一方に従って処理用画像IMG_Pにおける画像ユニットの輝度を調整した後、輝度ノイズ低減制御パラメータPR_aおよび輝度輪郭強調制御パラメータPR_bのうちの他方に従って処理用画像IMG_Pにおける画像ユニットの輝度を調整することで、画像強調によって処理した出力画像IMG_Oを出力してもよい。以下、さらに詳細を説明する。

図８を参照しながら説明する。図８は、本発明の第３の実施形態にかかる例示的な画像処理装置を示すブロック図である。図８に示す画像処理装置８００の構成は、図２に示す画像処理装置２００の構成に基づいており、主な相違点としては、画像強調回路８２０が一時保存用画像IMG_Bを記憶するための記憶部８２５を含むという点である。画像強調回路８２０は、少なくとも１つの画像制御パラメータPR_Iに従って、ノイズ低減および輪郭強調のうちのいずれか一方の処理を処理用画像IMG_Pに施し、一時保存用画像IMG_Bを生成して、記憶部８２５に保存する。さらに、画像強調回路８２０は、記憶部８２５に保存されている一時保存用画像IMG_Bに対し、ローカル輝度ゲイン関係ＬＢＧに従って、ノイズ低減および輪郭強調のうちの他方の処理を行い、出力画像IMG_Oを生成する。一実施態様において、画像強調回路８２０は、同一の画像制御パラメータに従って、ノイズ低減および輪郭強調を連続的に行ってもよい。また、別の実施態様において、少なくとも１つの画像制御パラメータPR_Iは、ノイズ低減に対応する制御パラメータと、輪郭強調に対応する制御パラメータとを含み、これらの制御パラメータに従って、画像強調回路８２０がノイズ低減および輪郭強調を連続的に行ってもよい。また、制御パラメータ生成回路２３０は、必要に応じて用いられる。すなわち、画像強調回路８２０は、ローカル輝度ゲイン関係ＬＢＧに従って直接、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像IMG_Pに施してもよい。あるいは、制御パラメータ生成回路２３０は画像強調回路８２０の中に組み込まれてもよい。当業者であれば、図１ないし図７に関する説明を読むことで図８に示す画像装置８００の動作原理を容易に理解できる。従って、簡潔にするために、これ以上の説明はここでは省く。

図９を参照しながら説明する。図９は、本発明の第４の実施形態にかかる例示的な画像処理装置を示すブロック図である。図９に示す画像処理装置９００の構成は、図２に示す画像処理装置２００の構成に基づくものであり、主な相違点としては、ローカル輝度調整回路９１０がローカル輝度調整部９１２およびゲイン部９１４を含むという点である。ローカル輝度調整部９１２は、入力画像IMG_Ｉに対してローカル輝度調整を行って、処理用画像IMG_Pを生成するように構成されており、ゲイン部９１４は、入力画像IMG_Iや処理用画像IMG_Pにおける各画像ユニットの輝度変化に従って、ローカル輝度ゲイン関係ＬＢＧを求めるように構成されている。当業者であれば、図１ないし図７に関する説明を読むことで図９に示す画像装置９００の動作原理を容易に理解できる。従って、簡潔にするために、これ以上の説明はここでは省く。

総括すると、好ましい実施形態において、上記提案の画像処理方法およびその方法に関連する画像処理装置によれば、画像の輝度を局所的に調整することによって画質を向上するだけではなく、ノイズ低減および／または輪郭強調といった、画像処理機能を十分に実現することができる。

発明の教示を維持しつつ、上記装置および方法の多数の変形および変更が可能であることは、当業者であれば容易に認められる。したがって、上記の開示が、添付した請求項の範囲によってのみ制限されるものと解釈される。

本発明の第１の実施形態にかかる例示的な画像処理装置を示すブロック図である。 本発明の第２の実施形態にかかる例示的な画像処理装置を示すブロック図である。 ローカル輝度調整の実施態様を示す図である。 ローカル輝度調整の別の実施態様を示す図である。 本発明の実施形態にかかる画像補正関係を示す図である。 本発明の別の実施形態にかかる画像補正関係を示す図である。 ローカル輝度ゲイン関係にかかる画像強調の実施態様を示すフローチャートである。 本発明の第３の実施形態にかかる例示的な画像処理装置を示すブロック図である。 本発明の第４の実施形態にかかる例示的な画像処理装置を示すブロック図である。

Claims (24)

1. 画像処理方法であって、
   ローカル輝度調整前の入力画像と、ローカル輝度調整後の当該入力画像とのローカル輝度ゲイン関係を求める工程と、
   前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成する工程とを含むことを特徴とする画像処理方法。
2. 前記入力画像にローカル輝度調整を施すことによって、または当該入力画像とは異なる入力画像にローカル輝度調整を施すことによって、前記処理用画像を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記ローカル輝度調整は、ローカルトーンマッピングであることを特徴とする請求項１に記載の画像処理方法。
4. 前記ローカル輝度調整は、前記入力画像における、少なくとも１つの画素を含む画像ユニット毎に、当該入力画像における前記画像ユニットを含む画像ブロックの画素値に従って、前記画像ユニットの輝度値を調整する工程を含むことを特徴とする請求項１に記載の画像処理方法。
5. 前記入力画像における前記画像ユニットを含む前記画像ブロックの画素値に従って、前記画像ユニットの輝度値を調整する前記工程は、
   複数の曲線関数を供給する工程と、
   前記画像ブロックの全ての画素値の平均画素値に従って前記画像ユニットに対応する特定の曲線関数を求める工程と、
   前記特定の曲線関数に従って前記画像ユニットの輝度値を調整する工程を含むことを特徴とする請求項４に記載の画像処理方法。
6. 前記特定の曲線関数に従って前記画像ユニットの輝度値を調整する前記工程は、
   前記特定の曲線関数に従って前記画像ユニットに対して曲線指数演算を行うことによって、その結果前記画像ユニットに含まれる複数の画素のそれぞれに対応する複数の特定曲線関数を求める工程と、
   前記複数の特定曲線関数に従って、前記複数の画素の各輝度値をそれぞれ調整する工程とを含むことを特徴とする請求項５に記載の画像処理方法。
7. 前記ローカル輝度ゲイン関係を求める前記工程は、
   前記入力画像における、少なくとも１つの画素を含む画像ユニット毎に、ローカル輝度調整前の前記画像ユニットの輝度値と、ローカル輝度調整後の前記画像ユニットの輝度値との比率を算出する工程を含むことを特徴とする請求項１に記載の画像処理方法。
8. 前記処理用画像に対して、前記ノイズ低減および輪郭強調を同時に行うことを特徴とする請求項１に記載の画像処理方法。
9. 前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成する前記工程は、
   前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちのいずれか一方の処理を前記処理用画像に施すことによって、一時保存用画像を生成する工程と、
   前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの他方の処理を前記一時保存用画像に施すことによって、前記出力画像を生成する工程を含むことを特徴とする請求項１に記載の画像処理方法。
10. 前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成する前記工程は、
    前記処理用画像における、少なくとも１つの画素を含む画像ユニット毎に、
    前記ローカル輝度ゲイン関係に従って、少なくとも１つの画像制御パラメータを生成する工程と、
    前記少なくとも１つの画像制御パラメータに従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を前記画像ユニットに施す工程とを含むことを特徴とする請求項１に記載の画像処理方法。
11. 前記ローカル輝度ゲイン関係に従って、少なくとも１つの画像制御パラメータを生成する前記工程は、
    少なくとも１つの画像補正関係を供給する工程と、
    前記少なくとも１つの画像補正関係と、前記ローカル輝度ゲイン関係において前記画像ユニットが対応する輝度ゲインとに従って、前記少なくとも１つの画像制御パラメータを生成する工程とを含むことを特徴とする請求項１０に記載の画像処理方法。
12. 前記ローカル輝度ゲイン関係に従って、少なくとも１つの画像制御パラメータを生成する前記工程は、
    少なくとも１つの画像制御パラメータルックアップテーブルを供給する工程と、
    前記少なくとも１つの画像制御パラメータルックアップテーブルと、前記ローカル輝度ゲイン関係において前記画像ユニットが対応する輝度ゲインとに従って、前記少なくとも１つの画像制御パラメータを生成する工程とを含むことを特徴とする請求項１０に記載の画像処理方法。
13. 画像処理装置であって、
    ローカル輝度調整前の入力画像と、ローカル輝度調整後の当該入力画像とのローカル輝度ゲイン関係を求めるように構成されているローカル輝度調整回路と、
    前記ローカル輝度調整回路に接続され、前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を処理用画像に施し、出力画像を生成するように構成されている画像強調回路とを含むことを特徴とする画像処理装置。
14. 前記ローカル輝度調整回路、はさらに、前記入力画像にローカル輝度調整を施すことによって、または当該入力画像とは異なる入力画像にローカル輝度調整を施すことによって、前記処理用画像を生成することを特徴とする請求項１３に記載の画像処理装置。
15. 前記ローカル輝度調整は、ローカルトーンマッピングであることを特徴とする請求項１３に記載の画像処理装置。
16. 前記入力画像において少なくとも１つの画素を含む画像ユニット毎に、
    前記ローカル輝度調整回路は、さらに、当該入力画像における前記画像ユニットを含む画像ブロックの画素値に従って前記画像ユニットの輝度値を調整することによって、前記ローカル輝度調整を行うことを特徴とする請求項１３に記載の画像処理装置。
17. 前記ローカル輝度調整回路はさらに、複数の曲線関数を供給し、
    前記画像ブロックの全ての画素値の平均画素値に従って前記画像ユニットに対応する特定の曲線関数を求め、
    前記特定の曲線関数に従って前記画像ユニットの輝度値を調整することを特徴とする請求項１６に記載の画像処理装置。
18. 前記ローカル輝度調整回路はさらに、前記特定の曲線関数に従って、前記画像ユニットに対して曲線指数演算を行うことによって前記画像ユニットに含まれる複数の画素のそれぞれに対応する複数の特定曲線関数を求め、
    前記複数の特定曲線関数に従って、前記複数の画素の各輝度値をそれぞれ調整することを特徴とする請求項１７に記載の画像処理装置。
19. 前記入力画像において少なくとも１つの画素を含む画像ユニット毎に、
    前記ローカル輝度調整回路は、さらに、
    ローカル輝度調整前の前記画像ユニットの輝度値と、ローカル輝度調整後の前記画像ユニットの輝度値との比率を算出することによって、前記ローカル輝度ゲイン関係を求めることを特徴とする請求項１３に記載の画像処理装置。
20. 前記画像強調回路は、前記処理用画像に対して、前記ノイズ低減および輪郭強調を同時に行うことを特徴とする請求項１３に記載の画像処理装置。
21. 前記画像強調回路は、
    一時保存用画像を保存する記憶部を含み、
    前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちのいずれか一方の処理を処理用画像に施し、一時保存用画像を生成し、
    前記ローカル輝度ゲイン関係に従って、ノイズ低減および輪郭強調のうちの他方の処理を前記一時保存用画像に施し、前記出力画像を生成することを特徴とする請求項１３に記載の画像処理装置。
22. 前記画像処理装置は、さらに、
    前記ローカル輝度調整回路と前記画像強調回路との間に接続されている制御パラメータ生成回路を含み、
    前記制御パラメータ生成回路は、前記処理用画像における、少なくとも１つの画素を含む画像ユニット毎に、前記ローカル輝度ゲイン関係に従って、少なくとも１つの画像制御パラメータを生成するように構成されており、
    前記画像強調回路は、前記少なくとも１つの画像制御パラメータに従って、ノイズ低減および輪郭強調のうちの少なくともいずれか一方の処理を前記画像ユニットに施し、前記出力画像を生成することを特徴とする請求項１３に記載の画像処理装置。
23. 前記制御パラメータ生成回路は、さらに、
    少なくとも１つの画像補正関係を供給し、
    前記少なくとも１つの画像補正関係と、前記ローカル輝度ゲイン関係において前記画像ユニットが対応する輝度ゲインとに従って、前記少なくとも１つの画像制御パラメータを生成することを特徴とする請求項２２に記載の画像処理装置。
24. 前記制御パラメータ生成回路はさらに、
    少なくとも１つの画像制御パラメータルックアップテーブルを供給し、
    前記少なくとも１つの画像制御パラメータルックアップテーブルと、前記ローカル輝度ゲイン関係において前記画像ユニットが対応する輝度ゲインとに従って、前記少なくとも１つの画像制御パラメータを生成することを特徴とする請求項２２に記載の画像処理装置。

Images