JP2015064869A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】処理量の低減と画質劣化の抑制とを両立させることができる画像処理方法を提供する。
【解決手段】画像処理方法は、原画像を縮小画像に縮小する縮小ステップ（Ｓ１０２）と、縮小画像の画素毎に第１補正値を生成する第１生成ステップ（Ｓ１０３）と、中間画像の画素毎に画素の情報と第１補正値とを用いて第２補正値を生成する第２生成ステップ（Ｓ１０４）と、中間画像の画素毎の第２補正値を用いて原画像の画素毎の第３補正値を生成する第３生成ステップ（Ｓ１０５）と、原画像の画素毎の第３補正値を用いて原画像を補正する補正ステップ（Ｓ１０６）とを含み、第３生成ステップ（Ｓ１０５）では、原画像の１画素あたりにかかる計算量が第２補正値の生成において中間画像の１画素あたりにかかる計算量よりも小さい計算量で、第３補正値を生成する。
【選択図】図７

Description

本開示は、原画像を補正する画像処理方法に関する。

特許文献１は、視覚処理装置を開示する。この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第１ゲイン信号が視覚処理部により出力され、第１ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正される。そのため、高性能な補正処理を簡易な構成で実現することができる。

特開２００７−３１２３４９号公報

本開示は、処理量の低減と画質劣化の抑制とを両立させることができる画像処理方法を提供する。

本開示における画像処理方法は、原画像を補正する画像処理方法であって、前記原画像を前記原画像の画素数よりも小さい画素数を有する縮小画像に縮小する縮小ステップと、前記縮小画像の画素毎に、前記縮小画像の当該画素の画素値と、前記縮小画像の当該画素の周囲に位置する周辺画素の画素値とを用いて、第１補正値を生成する第１生成ステップと、前記縮小画像の画素数よりも大きくかつ前記原画像の画素数よりも小さい画素数を有する中間画像の画素毎に、前記中間画像の当該画素の情報と、前記縮小画像において前記中間画像の当該画素に対応する対応画素の情報と、前記対応画素の前記第１補正値とを用いて、第２補正値を生成する第２生成ステップと、前記中間画像の画素毎の前記第２補正値を用いて、前記原画像の画素毎の第３補正値を生成する第３生成ステップと、前記原画像の画素毎の前記第３補正値を用いて、前記原画像を補正する補正ステップとを含み、前記第３生成ステップでは、前記原画像の１画素あたりにかかる計算量が前記第２補正値の生成において前記中間画像の１画素あたりにかかる計算量よりも小さい計算量で、前記第３補正値を生成する。

本開示における画像処理方法は、処理量の低減と、画質劣化の抑制とを両立させることができる。

図１は、実施の形態における画像処理装置の具体例を示す構成図である。 図２は、実施の形態における補正値生成部の具体例を示す構成図である。 図３は、実施の形態における第１拡大部の具体例を示す構成図である。 図４は、実施の形態における中間拡大部の具体例を示す構成図である。 図５は、実施の形態における重み算出部の具体例を示す構成図である。 図６は、実施の形態における第１拡大部の変形例を示す構成図である。 図７は、実施の形態における画像処理装置の動作例を示すフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１〜７を用いて、本実施の形態を説明する。

図１は、本実施の形態における画像処理装置の具体例を示す構成図である。図１に示された画像処理装置１００は、画像取得部１０１、縮小画像生成部１０２、補正値生成部１０３、第１拡大部１０４、第２拡大部１０５、および、画像補正部１０６を備える。

画像取得部１０１は、画像処理装置１００に接続される記録媒体から原画像を取得する取得部である。この原画像は、動画ストリームに含まれるピクチャでも構わないし、静止画像でも構わない。以下、説明の便宜上、動画ストリームに含まれるピクチャを処理対象の原画像として説明する。

具体的には、画像取得部１０１は、入力される動画ストリームに含まれる任意の時間における１枚のピクチャを原画像として取得する。なお、動画ストリームの復号化処理は、画像処理装置１００において実行されても構わないし、外部の装置において実行されても構わない。後者の場合、画像取得部１０１は復号化処理された動画ストリームを取得する。

縮小画像生成部１０２は、画像を縮小する縮小部である。例えば、縮小画像生成部１０２は、画像取得部１０１で取得した原画像の画素数を低減させ、縮小画像を生成する。

具体的には、縮小画像生成部１０２は、低域通過フィルタ処理（ローパスフィルタ処理）およびサブサンプリング処理を行うことで、折り返し歪のない縮小画像を生成する。例えば、原画像が１９２０×１０８０画素である場合、縮小画像生成部１０２は、この原画像を水平垂直それぞれ１／８の画素数に縮小することにより、２４０×１３５画素の縮小画像を生成する。

なお、縮小画像生成部１０２は、縮小画像を生成する際、原画像と同じアスペクト比の縮小画像を生成しても構わないし、それ以外のアスペクト比を有する縮小画像を生成しても構わない。つまり、縮小画像生成部１０２は、原画像の画素数を縮小するが、縮小画像における画素数およびアスペクト比は設計者によって自由に設定され得る。

そして、縮小画像生成部１０２は、原画像を縮小して得られる縮小画像を補正値生成部１０３および第１拡大部１０４に出力する。

上記の説明において、縮小画像を生成する方法としてフィルタ処理を説明したが、縮小画像生成部１０２は、縮小後の１画素に対応する原画像の複数の画素値の平均値を算出（計算）し、その平均値を縮小画像の画素値として生成しても構わない。

補正値生成部１０３は、補正値を生成する生成部である。具体的には、補正値生成部１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲に位置する画素の画素値とに基づいて、縮小画像の画素に対応する補正値を生成する。

補正値生成部１０３によって生成される補正値は、原画像において縮小画像の画素に対応する画素の画素値を補正するための値である。この補正値は、縮小画像の画素の画素値を補正するための値とみなされてもよい。また、この補正値は、ゲインと表現される場合がある。また、それぞれが画像の画素に対応する複数の補正値は、画像に対応し、ゲインマップと表現される場合がある。また、このような複数の補正値は、補正マップ、補正マトリックス、補正行列または補正データとも表現され得る。

図２は、図１に示された補正値生成部１０３の具体例を示す構成図であり、補正値生成部１０３に入力される縮小画像から補正値を生成する一具体例を説明するための図である。例えば、図２の通り、補正値生成部１０３は、ボケ信号生成部２０１および補正値決定部２０２を有する。

ボケ信号生成部２０１は、縮小画像の画素毎に、縮小画像の画素の画素値、および、その画素の周囲に位置する複数の画素の画素値を合成して、ボケ信号を生成する。ボケ信号は、対象画素およびその周囲の明度（つまり、対象画素およびその周囲における平均的な明るさ）を示す情報を含む。

ここで、周囲は、例えば、１画素または所定の数画素の範囲である。対象画素の周囲に位置する複数の画素は、対象画素に隣接する複数の画素でもよい。ここでは、ボケ信号の生成に対象画素の画素値が用いられているが、対象画素の周囲に位置する画素の画素値のみが用いられてもよい。また、ここでは、画素の位置は、画素の中心に対応するが、画素の左上の隅などに対応してもよい。

ボケ信号生成部２０１は、具体的には、対象画素およびその周囲に位置する画素の画素値（例えば、輝度値）に対して、２次元のローパスフィルタまたは１次元のローパスフィルタ等を用いてフィルタ処理を行う。そして、ボケ信号生成部２０１は、フィルタ処理によって得られるボケ信号を補正値決定部２０２に出力する。

補正値決定部２０２は、縮小画像の画素値と、ボケ信号生成部２０１から入力されるボケ信号に基づいて、補正値を生成する。ここで、補正値決定部２０２は、縮小画像の画素数分の補正値を生成する。

具体的には、補正値決定部２０２は、２次元ＬＵＴ（２次元ルックアップテーブル）を用いて補正値を生成する。ここで、２次元ＬＵＴは、縮小画像の画素値とボケ信号とに基づいて、補正値を決定するためのテーブルであり、２次元ＬＵＴでは、縮小画像の画素値とボケ信号とに対応する補正値が定められている。

例えば、２次元ＬＵＴは、それぞれが複数の画素値と複数の補正値との対応関係を示す複数のテーブルを含む。補正値決定部２０２は、複数のテーブルの中から、ボケ信号生成部２０１から入力されたボケ信号を用いてテーブルを選択する。そして、補正値決定部２０２は、選択されたテーブルを参照して、縮小画像の画素値に対応する補正値を決定することにより、補正値を生成する。なお、２次元ＬＵＴに、縮小画像の画素値とボケ信号とに基づいて、補正値を決定するための関数が用いられてもよい。

また、例えば、補正値決定部２０２は、暗部補正のための補正値を生成する。暗部補正は、暗い領域（暗部）を明るくする補正であり、人間の視覚特性に対応する補正である。人間は、目に入る情報を無意識に変換する視覚特性を有する。補正値決定部２０２で用いられる２次元ＬＵＴでは、特に明暗対比または色対比と呼ばれる視覚特性を真似た変換特性が簡易的に表されている。

具体的には、明るさが同じでも、周りが明るい場合には同じ明るさが暗く知覚され、周りが暗い場合には同じ明るさが明るく知覚される。このような視覚特性は、明暗対比と呼ばれる。補正値決定部２０２は、主観的な画質を向上させるため、このような視覚特性に対応する補正値を生成する。特に、補正値決定部２０２は、コントラストが補正によって消滅することを抑制するため、周囲の画素値が反映されたボケ信号を用いて補正値を生成する。これにより、適切な補正値が生成され、コントラストの消滅が抑制される。

第１拡大部１０４は、補正値生成部１０３で生成された補正値に基づいて、縮小画像の画素数よりも大きくかつ原画像の画素数よりも小さな画素数を有する中間画像に含まれる画素毎に補正値を生成する生成部である。第１拡大部１０４は、縮小画像の画素毎の補正値から中間画像の画素毎の補正値を生成することにより、縮小画像の画素毎の補正値を中間画像の画素毎の補正値に拡大する。ここで、補正値の拡大は、補正値を大きい値に変更することではなく、補正値の数を増加させることに対応する。

言い換えれば、第１拡大部１０４は、縮小画像のゲインマップから中間画像のゲインマップを生成することにより、縮小画像のゲインマップを中間画像のゲインマップに拡大する。さらに、言い換えれば、第１拡大部１０４は、縮小画像の複数の画素に対応する複数の補正値を中間画像の複数の画素に対応する複数の補正値に展開する。第１拡大部１０４の具体的な処理については後述する。

第２拡大部１０５は、中間画像の画素毎の補正値から原画像の画素毎の補正値を生成する生成部である。第２拡大部１０５は、中間画像の画素毎の補正値から原画像の画素毎の補正値を生成することにより、中間画像の画素毎の補正値を原画像の画素毎の補正値に拡大する。

具体的には、例えば、第２拡大部１０５は、バイリニア補間（線形補間）を用いる拡大処理により、補正値を拡大する。また、別の方法として、第２拡大部１０５は、最近傍補間を用いる拡大処理により、補正値を拡大する。また、別の方法として、第２拡大部１０５は、バイキュービック補間を用いる拡大処理により、補正値を拡大する。

ここで、第１拡大部１０４と第２拡大部１０５において、拡大処理を行う際の１画素あたりの処理量を比較した場合、第２拡大部１０５における処理量のほうが小さい。つまり、画像処理装置１００は、１画素あたりの処理量が大きい拡大処理から順に拡大処理を適用する。

画素が多いほど、画素毎に補正値を生成するための全体の処理量が大きい。したがって、画像処理装置１００は、より少ない画素において１画素あたりの処理量が大きく精度が高い複雑な処理を行い、より多い画素において１画素あたりの処理量が小さく精度が低い単純な処理を行う。これにより、画像処理装置１００は、原画像の画素毎の補正値の生成に関して、処理量の低減と、処理量の低減によって起こりうる画質劣化の抑制とを両立させることができる。ここで、処理量は、計算量に対応する。

画像補正部１０６は、原画像の画素毎に生成された補正値を用いて原画像の画素値を補正する補正部である。画像補正部１０６は、原画像の画素値を補正することによって原画像を補正し、補正された画像を生成する。

具体的には、画像補正部１０６は、式１の通り、ゲインである補正値（ｇ）を原画像の画素値（Ｘ_ｉｎ）に乗算することで、補正された画素値（Ｘ_ｏｕｔ）を生成し、補正された画像を生成する。

Ｘ_ｏｕｔ＝ｇＸ_ｉｎ ・・・（式１）

さらに具体的には、画像補正部１０６は、原画像の画素値としてＲＧＢ値の各成分に対して補正処理を行う。なお、別の方法として、画像補正部１０６は、原画像の画素値としてＹＵＶ値の各成分に対して補正処理を行っても構わない。

（第１拡大部１０４の詳細）
以下、図面を参照しながら第１拡大部１０４における具体的な動作について説明する。

図３は、図１に示された第１拡大部１０４の具体例を示す構成図である。

図３に示すように、第１拡大部１０４は、中間画像生成部３０１および中間拡大部３０２を備える。

中間画像生成部３０１は、原画像を縮小することで、縮小画像よりも画素の多い中間画像を生成する。

具体的には、中間画像生成部３０１は、縮小画像の画素毎に生成された補正値に対する拡大処理によって中間拡大部３０２が生成する補正値と同じ数の画素数を有する中間画像に原画像を縮小する。言い換えれば、中間画像生成部３０１は、原画像の解像度を中間画像の解像度に縮小する。例えば、中間拡大部３０２が４８０×２７０画素の画素毎に補正値を出力する場合、中間画像生成部３０１は原画像を４８０×２７０画素の中間画像に縮小する。

中間拡大部３０２は、中間画像生成部３０１で生成された中間画像の画素毎に、中間画像の画素の情報と、縮小画像において中間画像の画素に対応する対応画素（以下、参照画素とも呼ぶ）の情報と、対応画素の補正値とを用いて、新たな補正値を生成する。これにより、中間拡大部３０２は、縮小画像の画素毎の補正値を中間画像の画素毎の補正値に拡大する。

以下、図４を用いて中間拡大部３０２における拡大処理を説明する。

図４は、図３に示された中間拡大部３０２の具体例を示す構成図であり、中間拡大部３０２における拡大処理を説明するための図である。

以下、図４および図５を参照しながら、中間拡大部３０２における具体的な処理方法を記述する。説明の便宜上、ここでは、中間拡大部３０２は、中間画像生成部３０１が生成した中間画像の１画素の補正値を生成する際、縮小画像に含まれる２×２の４画素の情報を参照する。この２×２の４画素は、それぞれ、中間画像の１画素に対応する対応画素（参照画素）であり、縮小画像において中間画像の１画素の位置に相対的に一致する位置の画素、または、その位置の周囲の画素である。

中間拡大部３０２は、重み算出部４０１および重み付け平均部４０２を備える。

重み算出部４０１は、中間画像生成部３０１から中間画像の１画素の画素値と、縮小画像生成部１０２から縮小画像の２×２画素の４つの画素値とを取得する。そして、重み算出部４０１は、中間画像の１画素の画素値と、縮小画像の２×２画素の４つの画素値のそれぞれとを比較する。ここでは、中間画像の１画素を画素ｎと表現し、縮小画像の２×２画素をそれぞれ画素ｍ_０、画素ｍ_１、画素ｍ_２および画素ｍ_３と表現する。

中間拡大部３０２は、中間画像の画素ｎの補正値を生成する際、縮小画像の画素ｍ_０、ｍ_１、ｍ_２、ｍ_３の情報を参照する。

図５は、図４に示された重み算出部４０１の具体例を示す構成図であり、重み算出部４０１における重み算出処理の一例を説明するための図である。図５の重み算出部４０１は画素重み算出部５０１、空間重み算出部５０２、および、重み合成部５０３を備える。重み算出部４０１は、中間画像の画素ｎと、縮小画像の４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のそれぞれとを比較して、４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のそれぞれに対応する重みを算出する。

画素重み算出部５０１は、画素ｎと、４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のそれぞれの画素値とを比較して、比較された２つの画素値が互いに近ければ近いほど大きく、２つの画素値が互いに遠ければ遠いほど小さい重み（画素重み）を算出する。具体的には、画素重み算出部５０１は、式２を用いて画素重みを算出する。

Ｗ_ｐ（ｋ）＝Ｗ_ｍａｘ−ＡＢＳ（Ｘ（ｎ）−Ｘ（ｍ_ｋ）） ・・・（式２）

ここで、Ｘ（ｎ）は、画素ｎの画素値を示し、Ｘ（ｍ_Ｋ）は、画素ｍ_ｋ（ｋは０から３）の画素値を示し、Ｗ_ｐ（ｋ）は、画素ｍ_ｋの画素重みを示し、Ｗ_ｍａｘは、画素重みが負の値にならないように設定される任意の値を示し、ＡＢＳ（ｘ）は、ｘの絶対値を示す。画素重み算出部５０１は、式２を用いて、画素重みを算出することで、画素ｍ_ｋの画素値が画素ｎの画素値に近ければ重みを大きくし、画素ｍ_ｋの画素値が画素ｎの画素値に遠ければ重みを小さくした画素重みＷ_ｐ（ｋ）を算出することができる。

また、画素重み算出部５０１は、別の画素重み算出方法として式３を用いて、画素重みを算出してもよい。式３は、ガウス関数に対応する式であり、σは、分散を示す。

次に、空間重み算出部５０２は、中間画像の画素ｎと、縮小画像の画素ｍ_ｋ（ｋは０から３）との間の空間的な距離に従って、重みを算出する。ここで、空間的な距離に従って算出される重みは、空間的な距離が大きいほど小さい。例えば、空間重み算出部５０２は、式４を用いて、重み（空間重み）を算出する。

Ｗ_ｓ（ｋ）＝（１−α（ｋ））×（１−β（ｋ）） ・・・（式４）

式４において、１画素の大きさは、１に対応する。α（ｋ）は、中間画像に対する画素ｎの中心の相対的な位置と、縮小画像に対する画素ｍ_ｋの中心の相対的な位置との間の水平方向の距離を示す。β（ｋ）は、中間画像に対する画素ｎの中心の相対的な位置と、縮小画像に対する画素ｍ_ｋの中心の相対的な位置との間の垂直方向の距離を示す。Ｗ_ｓ（ｋ）は、画素ｍ_ｋの空間重みを示す。

空間重み算出部５０２は、空間的な距離が大きいほど小さい空間重みを算出する。空間重み算出部５０２が空間重みを算出するための算出方法は、このような算出方法に限られない。

続いて、重み合成部５０３は、画素重み算出部５０１で算出された画素重みＷ_ｐ（ｋ）と、空間重み算出部５０２で算出された空間重みＷ_ｓ（ｋ）とを合成して、画素ｍ_ｋに対応する最終的な重みを算出する。

例えば、重み合成部５０３は、画素重みＷ_ｐ（ｋ）と空間重みＷ_ｓ（ｋ）とを乗算することで、画素ｍ_ｋに対応する重みを算出する。

あるいは、重み合成部５０３は、別の重み合成方法として、画素重みＷ_ｐ（ｋ）と空間重みＷ_ｓ（ｋ）とを加算することで、画素ｍ_ｋに対応する重みを算出しても構わない。

重み算出部４０１は、上記に従って、中間画像の画素毎に、縮小画像の４つの参照画素の４つの重みを算出する。これにより、重み算出部４０１は、中間画像の画素数に参照画素数を掛け合わせて得られる数の重みを算出する。

つまり、重み算出部４０１は、中間画像の１画素に対して４つの重みを算出する。例えば、重み付け平均部４０２が４８０×２７０画素分の補正値を出力する場合、重み算出部４０１は４８０×２７０×４画素分の重みを算出する。そして、重み算出部４０１は算出した重みを重み付け平均部４０２に出力する。

重み付け平均部４０２は、重み算出部４０１で算出された重みに基づいて、補正値の重み付け平均を行う。具体的には、重み付け平均部４０２は、縮小画像の２×２画素に対応する４つの補正値に対して、４つの重みを用いて重み付け平均を行い、中間画像の１画素に対応する補正値を算出する。そして、重み付け平均部４０２は、中間画像の画素毎に補正値を算出し、算出された補正値を出力する。

なお、上記の動作では、参照画素は、２×２画素であるが、参照画素数は、４×４画素、または、８×８画素等に対応する画素数に増やされてもよい。画像処理装置１００は、参照画素数を増やすことにより、拡大後の補正値を空間的によりなだらかに変化させることができるが、１対象画素あたりの処理量が増加する。

例えば、補正値の拡大処理と同時に強い平滑化処理を行うため参照画素が増やされた場合、処理量が増加する。そこで、画像処理装置１００は、拡大処理を２回に分けて行ってもよい。具体的には、画像処理装置１００は、１回目では４×４画素を参照し、２回目では２×２画素を参照してもよい。これにより、画像処理装置１００は、処理量の増加を抑えつつ、強い平滑化処理を行うことができる。

なお、中間拡大部３０２は、中間画像の画素値の空間的な変化を分析してもよい。そして、中間拡大部３０２は、中間画像の画素値の変化が空間的になだらかな方向に、補正値が空間的になだらかに変化するように縮小画像の画素毎の補正値を拡大しても構わない。また、中間拡大部３０２は、中間画像の画素値の変化が空間的に急峻な方向に、補正値が空間的に急峻に変化するように縮小画像の画素毎の補正値を拡大しても構わない。

（第１拡大部１０４の変形例）
第１拡大部１０４は、上記のような構成ではなく、図６に示すように、縮小画像の画素毎の補正値を２回拡大する構成に変更されても構わない。

図６は、図１に示された第１拡大部１０４の変形例を示す構成図である。図６には、第１拡大部１０４の変形例が第１拡大部１０４ａとして示されている。第１拡大部１０４ａは、拡大処理を２回に分けて行う。図１に示された画像処理装置１００は、図３に示された第１拡大部１０４に代えて、図６に示された第１拡大部１０４ａを備えてもよい。

この変形例の場合、第１拡大部１０４ａは、縮小画像の画素毎の補正値を２回拡大することにより、中間画像の画素毎の補正値を生成する。ここで、第１拡大部１０４ａは、２回目の拡大処理における１画素あたりの処理量が１回目の拡大処理における１画素あたりの処理量以下である２回の拡大処理を行う。

図６において、第２中間画像生成部６０１は、第２中間拡大部６０４によって１つの原画像に対して出力される補正値の数に相当する画素数を有する第２中間画像を原画像に基づいて生成する。さらに、第１中間画像生成部６０２は、第１中間拡大部６０３によって１つの原画像に対して出力される補正値の数に相当する画素数を有する第１中間画像を第２中間画像に基づいて生成する。

第１中間拡大部６０３は、中間拡大部３０２と同様に、第１中間画像に基づいて、縮小画像の画素毎の補正値に対して拡大処理を行い、第１中間画像の画素毎の補正値を生成する。第２中間拡大部６０４は、中間拡大部３０２と同様に、第２中間画像に基づいて、第１中間画像の画素毎の補正値に対して拡大処理を行い、第２中間画像の画素毎の補正値を生成する。第１中間拡大部６０３は、参照画素として４×４画素を用いることで、より強い平滑化処理を行う。第２中間拡大部６０４は、単純な拡大処理を用いてもよい。

第１拡大部１０４ａの第２中間拡大部６０４によって第２中間画像の画素毎に生成された補正値は、第１拡大部１０４の中間拡大部３０２によって中間画像の画素毎に生成された補正値に対応する。第２拡大部１０５は、第１拡大部１０４から出力される補正値と同様に、第１拡大部１０４ａから出力される補正値を用いることができる。

上記において第１拡大部１０４ａは２回の拡大処理を実行するが、第１拡大部１０４ａは、縮小画像の画素毎の補正値をｎ（ｎは２以上の整数）回拡大することにより、中間画像の画素毎の補正値を生成してもよい。そして、第１拡大部１０４ａは、ｍ（ｍはｎ以下かつ２以上の整数）回目の拡大処理における１画素あたりの処理量が、ｍ−１回目の拡大処理における１画素あたりの処理量よりも小さいｎ回の拡大処理を実行してもよい。

例えば、ｍ−１回目の拡大処理における参照画素よりも、ｍ回目の拡大処理における参照画素が少なくてもよい。すなわち、第１拡大部１０４ａは、ｍ−１回目よりも少ない参照画素の情報を用いて、ｍ回目の拡大処理を実行してもよい。また、例えば、第１拡大部１０４ａは、参照画素の画素値を用いてｍ−１回目の拡大処理を実行し、参照画素の画素値を用いずにｍ回目の拡大処理を実行してもよい。

また、画像処理装置１００は、第１拡大部１０４および第２拡大部１０５の代わりに、第１拡大部１０４ａを備えてもよい。すなわち、第１拡大部１０４および第２拡大部１０５が、１つの第１拡大部１０４ａに置き換えられてもよい。

例えば、この場合、第１拡大部１０４ａは、縮小画像の画素毎の補正値をｎ（ｎは２以上の整数）回拡大することにより、原画像の画素毎の補正値を生成する。そして、第１拡大部１０４ａは、ｍ（ｍはｎ以下かつ２以上の整数）回目の拡大処理における１画素あたりの処理量が、ｍ−１回目の拡大処理における１画素あたりの処理量以下であるｎ回の拡大処理を実行する。画像処理装置１００は、このような構成に変更されても、処理量を低減しつつ、画質劣化を抑制することができる。

（画像処理装置１００の動作）
以下、図７を用いて、再度、上記に示された動作を説明する。すなわち、上記に示された動作を確認のため、再度、以下に示す。

図７は、図１に示された画像処理装置１００の動作例を示すフローチャートである。画像処理装置１００は、図７に示された動作に従って、原画像を補正する。

まず、画像取得部１０１は、原画像を取得する（Ｓ１０１）。次に、縮小画像生成部１０２は、原画像を縮小画像に縮小する（Ｓ１０２）。縮小画像は、原画像の画素数よりも小さい画素数を有する画像である。次に、補正値生成部１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲に位置する周辺画素の画素値とを用いて、第１補正値を生成する（Ｓ１０３）。

次に、第１拡大部１０４は、中間画像の画素毎に、中間画像の画素の情報と、縮小画像において中間画像の画素に対応する対応画素の情報と、対応画素の第１補正値とを用いて、第２補正値を生成する（Ｓ１０４）。中間画像は、縮小画像の画素数よりも大きくかつ原画像の画素数よりも小さい画素数を有する画像である。例えば、中間画像は、原画像を縮小することで得られる画像である。

次に、第２拡大部１０５は、中間画像の画素毎の第２補正値を用いて、原画像の画素毎の第３補正値を生成する（Ｓ１０５）。第２拡大部１０５が第３補正値を生成する際における原画像の１画素あたりの計算量は、第１拡大部１０４が第２補正値を生成する際における中間画像の１画素あたりの計算量よりも小さい。次に、画像補正部１０６は、原画像の画素毎の第３補正値を用いて、原画像を補正する（Ｓ１０６）。

上記の動作において、原画像は、予め取得されていてもよい。したがって、画像取得部１０１が原画像を取得する処理（Ｓ１０１）は、省略されてもよい。そして、画像取得部１０１は、画像処理装置１００に含まれなくてもよい。

（効果等）
以上のように、本実施の形態において、画像処理装置１００は、原画像を補正する。また、画像処理装置１００は、縮小画像生成部１０２と、補正値生成部１０３と、第１拡大部１０４と、第２拡大部１０５と、画像補正部１０６とを備える。縮小画像生成部１０２は、原画像を縮小画像に縮小する。縮小画像は、原画像の画素数よりも小さい画素数を有する。補正値生成部１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲に位置する周辺画素の画素値とを用いて、第１補正値を生成する。

第１拡大部１０４は、中間画像の画素毎に、中間画像の画素の情報と、縮小画像において中間画像の画素に対応する対応画素の情報と、対応画素の第１補正値とを用いて、第２補正値を生成する。中間画像は、縮小画像の画素数よりも大きくかつ原画像の画素数よりも小さい画素数を有する。

第２拡大部１０５は、中間画像の画素毎の第２補正値を用いて、原画像の１画素あたりにかかる計算量が第２補正値の生成において中間画像の１画素あたりにかかる計算量よりも小さい計算量で、原画像の画素毎の第３補正値を生成する。画像補正部１０６は、原画像の画素毎の第３補正値を用いて、原画像を補正する。

これにより、画像処理装置１００は、縮小画像の画素数分の補正値を作成した後、作成された補正値を複数回拡大することにより原画像の画素数分の補正値を生成する。その際、画像処理装置１００は、画素数が大きいほど１画素あたりの計算量が小さい拡大処理を利用する。そのため、画像処理装置１００は、処理量の低減と、処理量の低減によって起こりうる画質劣化の抑制とを両立させることができる。

また、本実施の形態において、例えば、第１拡大部１０４は、中間画像の画素値が空間的になだらかに変化する方向に第２補正値が空間的になだらかに変化するように、中間画像の画素毎の第２補正値を生成する。また、第１拡大部１０４は、中間画像の画素値が空間的に急峻に変化する方向に第２補正値が空間的に急峻に変化するように、中間画像の画素毎の第２補正値を生成する。

これにより、画像処理装置１００は、画素値の変化が急峻なエッジ付近での補正値の拡大を小さい処理量で適切に行うことができる。そのため、画像処理装置１００は、単純に補正値を拡大した際に発生する画質劣化を抑制し、画質を大幅に改善することができる。

また、本実施の形態において、例えば、画像処理装置１００は、第１拡大部１０４の変形例として第１拡大部１０４ａを備えてもよい。第１拡大部１０４ａは、縮小画像の画素毎の第１補正値に対して生成処理をｎ（ｎは２以上の整数）回実行することにより、中間画像の画素毎の第２補正値を生成する。ここで、生成処理は、第１画像の画素毎の補正値から第１画像の画素数よりも大きい画素数を有する第２画像の画素毎の補正値を生成する処理である。

そして、第１拡大部１０４ａは、ｍ（ｍはｎ以下かつ２以上の整数）回目の生成処理において第２画像の１画素あたりにかかる計算量が、ｍ−１回目の生成処理において第２画像の１画素あたりにかかる計算量よりも小さい計算量で、ｍ回目の生成処理を実行する。

これにより、画像処理装置１００は、空間的に強い平滑化を実行する場合、少ない画素で画素毎の処理量が大きい生成処理を実行することができる。したがって、画像処理装置１００は、全体の処理量の増加を抑制しつつ、強い平滑化を実行することができ、画質を改善することができる。

また、本実施の形態において、例えば、第１拡大部１０４は、中間画像の画素毎に、縮小画像において中間画像の画素の位置に相対的に一致する対応位置の画素、または、対応位置の周囲の画素である対応画素の情報を用いて、第２補正値を生成する。

これにより、画像処理装置１００は、縮小画像において中間画像の画素の位置に近い画素の情報を用いて、中間画像の画素毎の補正値を生成することができる。

また、本実施の形態において、例えば、補正値生成部１０３は、縮小画像の画素の画素値と周辺画素の画素値とを用いて、２次元ルックアップテーブルを参照して、第１補正値を決定することにより、第１補正値を生成する。ここで、２次元ルックアップテーブルでは、縮小画像の画素の画素値と周辺画素の画素値とに対応する第１補正値が定められている。

これにより、画像処理装置１００は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲の周辺画素の画素値とを用いて、適切な補正値を生成することができる。

また、本実施の形態において、例えば、第１拡大部１０４は、中間画素の画素毎に第２補正値を生成する際、中間画像の画素の画素値と、縮小画像において中間画像の画素に対応する対応画素の画素値との差を用いる。また、第１拡大部１０４は、中間画素の画素毎に第２補正値を生成する際、中間画像に対する中間画像の画素の相対的な位置と、縮小画像に対する対応画素の相対的な位置との間の距離を用いる。

これにより、画像処理装置１００は、中間画像の画素毎の補正値を高精度に生成することができる。

また、本実施の形態において、例えば、第１拡大部１０４は、中間画像の画素毎に、中間画像の画素の情報と、縮小画像において中間画像の画素に対応する複数の対応画素の情報と、複数の対応画素のそれぞれの第１補正値とを用いて、第２補正値を生成する。

その際、第１拡大部１０４は、複数の対応画素のそれぞれについて、中間画像の画素の画素値と、対応画素の画素値との差に従って、第１の重みを決定する。また、第１拡大部１０４は、複数の対応画素のそれぞれについて、中間画像に対する中間画像の画素の相対的な位置と、縮小画像に対する対応画素の相対的な位置との間の距離に従って、第２の重みを決定する。そして、第１拡大部１０４は、複数の対応画素のそれぞれについて、第１の重みと第２の重みとを合成することにより、第３の重みを決定する。

そして、第１拡大部１０４は、複数の対応画素のそれぞれの第１補正値と第３の重みとを用いて、重み付け平均を行うことにより、第２補正値を生成する。

これにより、画像処理装置１００は、複数の重みを合成して、中間画像の補正値を高精度に生成することができる。

また、本実施の形態において、例えば、第２拡大部１０５は、中間画像の画素毎の第２補正値を用いて、バイリニア補間、最近傍補間またはバイキュービック補間を行うことにより、原画像の画素毎の第３補正値を生成する。

これにより、画像処理装置１００は、比較的処理量の小さい方法に基づいて、中間画像の画素毎の第２補正値から、原画像の画素毎の第３補正値を生成することができる。したがって、画像処理装置１００は、処理量を低減することができる。

また、本実施の形態において、例えば、画像補正部１０６は、原画像を補正することにより、原画像の暗部を明るくする暗部補正を行う。

これにより、画像処理装置１００は、人間の視覚特性に類似する変換特性に従って、原画像を補正することができる。

また、画像処理装置１００は、上記の任意の構成要素を備えてもよいし、画像処理方法は、上記の任意の処理を含んでもよい。

また、上記の各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、上記の各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ（ＣＰＵ）、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、上記の各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。

また、上記の各処理を実行するためのプログラムが、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、原画像を補正する画像処理方法に適用可能である。具体的には、液晶ディスプレイ、ＢＤプレーヤ、または、ネットワークプレーヤなどの画像処理装置に、本開示は適用可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 縮小画像生成部
１０３ 補正値生成部
１０４、１０４ａ 第１拡大部
１０５ 第２拡大部
１０６ 画像補正部
２０１ ボケ信号生成部
２０２ 補正値決定部
３０１ 中間画像生成部
３０２ 中間拡大部
４０１ 重み算出部
４０２ 重み付け平均部
５０１ 画素重み算出部
５０２ 空間重み算出部
５０３ 重み合成部
６０１ 第２中間画像生成部
６０２ 第１中間画像生成部
６０３ 第１中間拡大部
６０４ 第２中間拡大部

Claims (10)

1. 原画像を補正する画像処理方法であって、
   前記原画像を前記原画像の画素数よりも小さい画素数を有する縮小画像に縮小する縮小ステップと、
   前記縮小画像の画素毎に、前記縮小画像の当該画素の画素値と、前記縮小画像の当該画素の周囲に位置する周辺画素の画素値とを用いて、第１補正値を生成する第１生成ステップと、
   前記縮小画像の画素数よりも大きくかつ前記原画像の画素数よりも小さい画素数を有する中間画像の画素毎に、前記中間画像の当該画素の情報と、前記縮小画像において前記中間画像の当該画素に対応する対応画素の情報と、前記対応画素の前記第１補正値とを用いて、第２補正値を生成する第２生成ステップと、
   前記中間画像の画素毎の前記第２補正値を用いて、前記原画像の画素毎の第３補正値を生成する第３生成ステップと、
   前記原画像の画素毎の前記第３補正値を用いて、前記原画像を補正する補正ステップとを含み、
   前記第３生成ステップでは、前記原画像の１画素あたりにかかる計算量が前記第２補正値の生成において前記中間画像の１画素あたりにかかる計算量よりも小さい計算量で、前記第３補正値を生成する
   画像処理方法。
2. 前記第２生成ステップでは、前記中間画像の画素値が空間的になだらかに変化する方向に前記第２補正値が空間的になだらかに変化し、前記中間画像の画素値が空間的に急峻に変化する方向に前記第２補正値が空間的に急峻に変化するように、前記中間画像の画素毎の前記第２補正値を生成する
   請求項１に記載の画像処理方法。
3. 前記第２生成ステップでは、
   前記縮小画像の画素毎の前記第１補正値に対して、第１画像の画素毎の補正値から前記第１画像の画素数よりも大きい画素数を有する第２画像の画素毎の補正値を生成する生成処理をｎ（ｎは２以上の整数）回実行することにより、前記中間画像の画素毎の前記第２補正値を生成し、
   ｍ（ｍはｎ以下かつ２以上の整数）回目の生成処理において前記第２画像の１画素あたりにかかる計算量が、ｍ−１回目の生成処理において前記第２画像の１画素あたりにかかる計算量よりも小さい計算量で、前記ｍ回目の生成処理を実行する
   請求項１または２に記載の画像処理方法。
4. 前記第２生成ステップでは、前記中間画像の画素毎に、前記縮小画像において前記中間画像の当該画素の位置に相対的に一致する対応位置の画素、または、前記対応位置の周囲の画素である前記対応画素の情報を用いて、前記第２補正値を生成する
   請求項１〜３のいずれか１項に記載の画像処理方法。
5. 前記第１生成ステップでは、前記縮小画像の画素毎に、前記縮小画像の当該画素の画素値と前記周辺画素の画素値とを用いて、前記縮小画像の当該画素の画素値と前記周辺画素の画素値とに対応する前記第１補正値が定められている２次元ルックアップテーブルを参照して、前記第１補正値を決定することにより、前記第１補正値を生成する
   請求項１〜４のいずれか１項に記載の画像処理方法。
6. 前記第２生成ステップでは、前記中間画像の画素毎に、（ｉ）前記中間画像の当該画素の画素値と、前記対応画素の画素値との差と、（ｉｉ）前記中間画像に対する前記中間画像の当該画素の相対的な位置と、前記縮小画像に対する前記対応画素の相対的な位置との間の距離と、（ｉｉｉ）前記対応画素の前記第１補正値とを用いて、前記第２補正値を生成する
   請求項１〜５のいずれか１項に記載の画像処理方法。
7. 前記第２生成ステップでは、前記中間画像の画素毎に、前記中間画像の当該画素の情報と、前記縮小画像において前記中間画像の当該画素に対応する複数の対応画素の情報と、前記複数の対応画素のそれぞれの前記第１補正値とを用いて、前記第２補正値を生成し、
   前記中間画像の画素毎に前記第２補正値を生成する際、
   前記複数の対応画素のそれぞれについて、前記中間画像の当該画素の画素値と、当該対応画素の画素値との差に従って、第１の重みを決定し、
   前記複数の対応画素のそれぞれについて、前記中間画像に対する前記中間画像の当該画素の相対的な位置と、前記縮小画像に対する当該対応画素の相対的な位置との間の距離に従って、第２の重みを決定し、
   前記複数の対応画素のそれぞれについて、前記第１の重みと前記第２の重みとを合成することにより、第３の重みを決定し、
   前記複数の対応画素のそれぞれの前記第１補正値と前記第３の重みとを用いて、重み付け平均を行うことにより、前記第２補正値を生成する
   請求項１〜６のいずれか１項に記載の画像処理方法。
8. 前記第３生成ステップでは、前記中間画像の画素毎の前記第２補正値を用いて、バイリニア補間、最近傍補間またはバイキュービック補間を行うことにより、前記原画像の画素毎の前記第３補正値を生成する
   請求項１〜７のいずれか１項に記載の画像処理方法。
9. 前記補正ステップでは、前記原画像を補正することにより、前記原画像の暗部を明るくする暗部補正を行う
   請求項１〜８のいずれか１項に記載の画像処理方法。
10. 原画像を補正する画像処理装置であって、
    前記原画像を前記原画像の画素数よりも小さい画素数を有する縮小画像に縮小する縮小部と、
    前記縮小画像の画素毎に、前記縮小画像の当該画素の画素値と、前記縮小画像の当該画素の周囲に位置する周辺画素の画素値とを用いて、第１補正値を生成する第１生成部と、
    前記縮小画像の画素数よりも大きくかつ前記原画像の画素数よりも小さい画素数を有する中間画像の画素毎に、前記中間画像の当該画素の情報と、前記縮小画像において前記中間画像の当該画素に対応する対応画素の情報と、前記対応画素の前記第１補正値とを用いて、第２補正値を生成する第２生成部と、
    前記中間画像の画素毎の前記第２補正値を用いて、前記原画像の画素毎の第３補正値を生成する第３生成部と、
    前記原画像の画素毎の前記第３補正値を用いて、前記原画像を補正する補正部とを備え、
    前記第３生成部は、前記原画像の１画素あたりにかかる計算量が前記第２補正値の生成において前記中間画像の１画素あたりにかかる計算量よりも小さい計算量で、前記第３補正値を生成する
    画像処理装置。

Images