JP2015165385A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる画像処理方法を提供する。
【解決手段】画像処理方法は、縮小画像の複数の画素に対応する複数の係数を生成する生成ステップ（Ｓ１３０１）と、縮小画像の複数の画素に対応する複数の係数から原画像の複数の画素に対応する複数の係数を生成することで縮小画像の複数の画素に対応する複数の係数を原画像の複数の画素に対応する複数の係数に拡張する拡張ステップ（Ｓ１３０２）と、係数を画素値に乗算することで原画像を補正する補正ステップ（Ｓ１３０３）とを含み、拡張ステップ（Ｓ１３０２）では、原画像の複数の画素に対応する複数の係数が、明暗境界に従って、明暗境界の暗側を中心として空間的に変化するように、原画像の複数の画素に対応する複数の係数を生成する。
【選択図】図１３

Description

本開示は、原画像の明るさを画素毎に補正する画像処理方法に関する。

特許文献１は、視覚処理装置を開示する。この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第１ゲイン信号が視覚処理部により出力され、第１ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正される。そのため、高性能な補正処理を簡易な構成で実現することができる。

特開２００７−３１２３４９号公報

本開示は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる画像処理方法を提供する。

本開示における画像処理方法は、それぞれが明るいほど大きい画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理方法であって、前記原画像の縮小画像の画素毎に前記縮小画像の当該画素の周囲が暗いほど大きい係数を生成することにより、前記縮小画像の複数の画素に対応する複数の係数を生成する生成ステップと、前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張する拡張ステップと、前記原画像の画素毎に前記原画像の当該画素に対応する係数を前記原画像の当該画素の画素値に乗算することにより、前記原画像の複数の画素の複数の画素値を補正する補正ステップとを含み、前記拡張ステップでは、前記原画像の複数の画素に対応する複数の係数が、前記原画像に含まれる明暗境界に従って、前記明暗境界の暗側を中心として空間的に変化するように、前記原画像の複数の画素に対応する複数の係数を生成する。

本開示における画像処理方法は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

図１は、実施の形態１における画像処理装置の具体例を示す構成図である。 図２は、実施の形態１における乗算係数生成部の具体例を示す構成図である。 図３は、実施の形態１における第１拡大部の具体例を示す構成図である。 図４は、実施の形態１における中間拡大部の具体例を示す構成図である。 図５は、実施の形態１における重み算出部の具体例を示す構成図である。 図６は、実施の形態１における画素重み算出部の具体例を示す構成図である。 図７は、実施の形態１における画素重み算出部の変形例を示す構成図である。 図８は、明部優先なしの補正を示す図である。 図９は、明部優先ありの補正を示す図である。 図１０は、明部優先なしの補正と、明部優先ありの補正との比較を示す図である。 図１１は、実施の形態２における画像処理装置の具体例を示す構成図である。 図１２は、実施の形態２における画像処理装置の変形例を示す構成図である。 図１３は、実施の形態１または実施の形態２における画像処理装置の動作を示すフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜１０を用いて、本実施の形態を説明する。

［１−１．構成］
図１は、本実施の形態における画像処理装置の具体例を示す構成図である。図１に示された画像処理装置１００は、画像取得部１０１、縮小画像生成部１０２、乗算係数生成部１０３、第１拡大部１０４、第２拡大部１０５、および、画像補正部１０６を備える。第１拡大部１０４、および、第２拡大部１０５は、明部優先拡大部１１０を構成する。明部優先拡大部１１０は、拡張部と表現される場合がある。

画像取得部１０１は、画像を原画像として取得する。例えば、画像取得部１０１は、画像処理装置１００に接続される記録媒体から原画像を取得する。この原画像は、動画ストリームに含まれるピクチャでも構わないし、静止画像でも構わない。以下、説明の便宜上、動画ストリームに含まれるピクチャを処理対象の原画像として説明する。

具体的には、画像取得部１０１は、入力される動画ストリームに含まれる任意の時間における１枚のピクチャを原画像として取得する。なお、動画ストリームの復号化処理は、画像処理装置１００において実行されても構わないし、外部の装置において実行されても構わない。後者の場合、画像取得部１０１は復号化処理された動画ストリームを取得する。

ここで、画像は、複数の画素で構成される。画素は、画素の明るさに関連する画素値を有する。例えば、画素が明るいほど、その画素の画素値は大きく、画素が暗いほど、その画素の画素値は小さい。そのため、画素値が大きいことを画素値が明るいと表現する場合があり、また、画素値が小さいことを画素値が暗いと表現する場合がある。画素値は、輝度値でもよいし、ＲＧＢ値の各成分でもよいし、ＹＵＶ値の各成分でもよい。

縮小画像生成部１０２は、画像を縮小する。例えば、縮小画像生成部１０２は、画像取得部１０１で取得した原画像の画素数を低減させ、縮小画像を生成する。

具体的には、縮小画像生成部１０２は、低域通過フィルタ処理（ローパスフィルタ処理）およびサブサンプリング処理を行うことで、折り返し歪のない縮小画像を生成する。例えば、原画像が１９２０×１０８０画素である場合、縮小画像生成部１０２は、この原画像を水平垂直それぞれ１／８の画素数を有する画像に縮小することにより、２４０×１３５画素を有する縮小画像を生成する。

なお、縮小画像生成部１０２は、縮小画像を生成する際、原画像と同じアスペクト比を有する縮小画像を生成しても構わないし、それ以外のアスペクト比を有する縮小画像を生成しても構わない。つまり、縮小画像の画素数およびアスペクト比を設計者が自由に設定することができる。

そして、縮小画像生成部１０２は、原画像を縮小して得られる縮小画像を乗算係数生成部１０３および第１拡大部１０４に出力する。

上記の説明において、縮小画像を生成する方法としてフィルタ処理を説明したが、縮小画像生成部１０２は、縮小後の１画素に対して原画像の複数の画素値の平均値を算出（計算）し、その平均値を縮小画像の１画素の画素値として生成しても構わない。

乗算係数生成部１０３は、乗算係数を生成する生成部である。具体的には、乗算係数生成部１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲に位置する画素の画素値とに基づいて、乗算係数を算出することにより、縮小画像の複数の画素に対応する複数の乗算係数を生成する。

乗算係数生成部１０３によって生成される乗算係数は、原画像の複数の画素のうち縮小画像の画素に対応する画素の画素値を補正するための係数である。この乗算係数は、縮小画像の画素の画素値を補正するための係数とみなされてもよい。また、この乗算係数は、ゲインと表現される場合がある。また、それぞれが画像の画素に対応する複数の乗算係数は、画像に対応し、ゲインマップと表現される場合がある。また、このような複数の乗算係数は、係数マップ、係数マトリックス、係数行列または係数データとも表現され得る。

また、上記の通り、この乗算係数は、縮小画像に含まれる画素毎に生成される。そして、縮小画像の画素数と同じ数の乗算係数が後の処理で拡張され、原画像の画素数と同じ数の乗算係数が生成される。

図２は、図１に示された乗算係数生成部１０３の具体例を示す構成図であり、乗算係数生成部１０３に入力される縮小画像から乗算係数を生成する一具体例を説明するための図である。例えば、図２のとおり、乗算係数生成部１０３は、ボケ信号生成部２０１および乗算係数決定部２０２を有する。

ボケ信号生成部２０１は、縮小画像の画素毎に、その画素の画素値、および、その画素の周囲に位置する複数の画素の画素値を合成して、ボケ信号を生成する。ボケ信号は、対象画素およびその周囲の明度（つまり、対象画素およびその周囲における平均的な明るさ）を示す情報を含む。

ここで、周囲は、例えば、１画素または所定の数画素の範囲である。対象画素の周囲に位置する複数の画素は、対象画素に隣接する複数の画素でもよい。ここでは、ボケ信号の生成に対象画素の画素値が用いられているが、対象画素の周囲に位置する画素の画素値のみが用いられてもよい。また、画素の位置は、画素の中心に対応してもよいし、画素の左上の隅などに対応してもよい。

ボケ信号生成部２０１は、具体的には、対象画素およびその周囲に位置する画素の画素値（例えば、輝度値）に対して、２次元のローパスフィルタまたは１次元のローパスフィルタ等を用いてフィルタ処理を行う。そして、ボケ信号生成部２０１は、フィルタ処理によって得られるボケ信号を乗算係数決定部２０２に出力する。

乗算係数決定部２０２は、縮小画像の画素毎に、その画素の画素値と、その画素に対応するボケ信号とに基づいて、乗算係数を決定することにより、縮小画像の画素数と同じ数の乗算係数を生成する。例えば、縮小画像が２４０×１３５個の画素を有する場合、２４０×１３５個の乗算係数が生成される。

具体的には、乗算係数決定部２０２は、２次元ＬＵＴ（２次元ルックアップテーブル）を用いて、縮小画像の画素値およびボケ信号から乗算係数を生成する。ここで、２次元ＬＵＴは、縮小画像の画素値とボケ信号とに基づいて、乗算係数を決定するためのテーブルである。すなわち、２次元ＬＵＴでは、縮小画像の画素値とボケ信号とに対応する乗算係数が定められている。

例えば、２次元ＬＵＴは、それぞれが複数の画素値と複数の乗算係数との対応関係を示す複数のテーブルを含む。乗算係数決定部２０２は、複数のテーブルの中から、ボケ信号生成部２０１から入力されたボケ信号を用いてテーブルを選択する。そして、乗算係数決定部２０２は、選択されたテーブルを参照して、縮小画像の画素値に対応する乗算係数を決定することにより、乗算係数を生成する。なお、縮小画像の画素値とボケ信号とに基づいて乗算係数を決定するための関数が２次元ＬＵＴに用いられてもよい。

また、例えば、乗算係数決定部２０２は、暗部補正のための乗算係数を生成する。暗部補正は、暗い領域（暗部）を明るくする補正であり、人間の視覚特性に対応する補正である。このような暗部補正には、明るい領域（明部）を暗くする明部補正が組み合わされてもよい。

人間は、目に入る情報を無意識に変換する視覚特性を有する。乗算係数決定部２０２で用いられる２次元ＬＵＴでは、特に明暗対比または色対比と呼ばれる視覚特性を真似た変換特性が簡易的に表されている。具体的には、明るさが物理的に同じでも、周りが明るい場合には同じ明るさが暗く知覚され、周りが暗い場合には同じ明るさが明るく知覚される。このような視覚特性は、明暗対比と呼ばれる。

乗算係数決定部２０２は、主観的な画質を向上させるため、このような視覚特性に対応する乗算係数を生成する。特に、乗算係数決定部２０２は、コントラストが補正によって消滅することを抑制するため、周囲の画素値が反映されたボケ信号を用いて乗算係数を生成する。これにより、適切な乗算係数が生成され、コントラストの消滅が抑制される。

第１拡大部１０４は、縮小画像の複数の画素に対応する複数の乗算係数から、中間画像の複数の画素に対応する複数の乗算係数を生成することにより、縮小画像の複数の画素に対応する複数の乗算係数を中間画像の複数の画素に対応する複数の乗算係数に拡大する。中間画像は、縮小画像の画素数よりも大きくかつ原画像の画素数よりも小さい画素数を有する画像である。

ここでは、複数の乗算係数の拡大は、各乗算係数を大きい係数に変更することではなく、乗算係数の数を増加させることに対応する。したがって、拡大は、拡張と表現されてもよい。

また、言い換えれば、第１拡大部１０４は、縮小画像のゲインマップから中間画像のゲインマップを生成することにより、縮小画像のゲインマップを中間画像のゲインマップに拡大する。さらに、言い換えれば、第１拡大部１０４は、縮小画像の複数の画素に対応する複数の乗算係数を中間画像の複数の画素に対応する複数の乗算係数に展開する。第１拡大部１０４の具体的な処理については後述する。

第２拡大部１０５は、中間画像の複数の画素に対応する複数の乗算係数から、原画像の複数の画素に対応する複数の乗算係数を生成することにより、中間画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大する。原画像の画素に対応する乗算係数は、原画像の画素の画素値を補正するための乗算係数である。

具体的には、例えば、第２拡大部１０５は、バイリニア補間（線形補間）を用いる拡大処理により、複数の乗算係数を拡大する。また、別の方法として、第２拡大部１０５は、最近傍補間を用いる拡大処理により、複数の乗算係数を拡大する。また、別の方法として、第２拡大部１０５は、バイキュービック補間を用いる拡大処理により、複数の乗算係数を拡大する。

画像補正部１０６は、原画像を補正する補正部である。例えば、画像補正部１０６は、原画像に対して暗部補正または明部補正を行う。具体的には、画像補正部１０６は、原画像に含まれる画素毎に生成した乗算係数をその画素の画素値に乗算することにより、その画素の画素値を補正する。

例えば、画像補正部１０６は、式１の通り、乗算係数（ｇ）を原画像の画素値（Ｘ_ｉｎ）に乗算することで得られる画素値（Ｘ_ｏｕｔ）を生成する。そして、画像補正部１０６は、生成された画素値（Ｘ_ｏｕｔ）で構成される画像を生成することにより、原画像を補正する。

Ｘ_ｏｕｔ＝ｇＸ_ｉｎ ・・・（式１）

さらに具体的には、画像補正部１０６は、原画像の画素値としてＲＧＢ値の各成分に対して補正処理を行う。なお、別の方法として、画像補正部１０６は、原画像の画素値としてＹＵＶ値の各成分に対して補正処理を行っても構わない。

以下、図面を参照しながら第１拡大部１０４における具体的な動作について説明する。

図３は、図１に示された第１拡大部１０４の具体例を示す構成図である。

図３に示すように、第１拡大部１０４は、中間画像生成部３０１および中間拡大部３０２を備える。

中間画像生成部３０１は、原画像を縮小することで、縮小画像よりも画素の多い中間画像を生成する。

具体的には、中間画像生成部３０１は、中間拡大部３０２が縮小画像の複数の乗算係数を拡大することで生成する複数の乗算係数の数と同じ数の画素を有する画像に原画像を縮小する。例えば、中間拡大部３０２が４８０×２７０画素に対応する４８０×２７０個の乗算係数を出力する場合、中間画像生成部３０１は原画像を４８０×２７０画素を有する中間画像に縮小する。

中間拡大部３０２は、中間画像生成部３０１で生成された中間画像の画素毎に、中間画像の画素の情報と、縮小画像の複数の画素のうち中間画像の画素に対応する参照画素の情報と、参照画素に対応する乗算係数とを用いて、新たな乗算係数を生成する。これにより、中間拡大部３０２は、縮小画像の複数の画素に対応する複数の乗算係数を拡大し、中間画像の複数の画素に対応する複数の乗算係数を生成する。

以下、図４を用いて、中間拡大部３０２における拡大処理を説明する。

図４は、図３に示された中間拡大部３０２の具体例を示す構成図であり、中間拡大部３０２における拡大処理を説明するための図である。

以下、図４および図５を参照しながら、中間拡大部３０２における具体的な処理方法を記述する。説明の便宜上、ここでは、中間拡大部３０２は、中間画像生成部３０１が生成した中間画像の１画素の乗算係数を生成する際、縮小画像に含まれる２×２の４画素を参照する。この２×２の４画素は、それぞれ、中間画像の１画素に対応する参照画素であり、縮小画像の複数の画素のうち中間画像の１画素の位置に相対的に一致する位置の画素、または、その位置の周囲の画素である。

中間拡大部３０２は、重み算出部４０１および重み付け平均部４０２を備える。

重み算出部４０１は、中間画像生成部３０１から中間画像の１画素の画素値と、縮小画像生成部１０２から縮小画像の２×２画素の４つの画素値とを取得する。そして、重み算出部４０１は、中間画像の１画素の画素値と、縮小画像の２×２画素の４つの画素値のそれぞれとを比較し、重みを算出する。ここでは、中間画像の１画素を画素ｎと表現し、縮小画像の２×２画素をそれぞれ画素ｍ_０、画素ｍ_１、画素ｍ_２および画素ｍ_３と表現する。

中間拡大部３０２は、中間画像の画素ｎの補正値を生成する際、縮小画像の画素ｍ_０、ｍ_１、ｍ_２、ｍ_３の情報を参照する。

図５は、図４に示された重み算出部４０１の具体例を示す構成図であり、重み算出部４０１における重み算出処理の一例を説明するための図である。図５の重み算出部４０１は画素重み算出部５０１、空間重み算出部５０２、および、重み合成部５０３を備える。重み算出部４０１は、中間画像の画素ｎと、縮小画像の４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のそれぞれとを比較して、４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のそれぞれに対応する重みを算出する。

図６は、図５に示された画素重み算出部５０１の具体例を示す構成図であり、画素重み算出部５０１における画素重み算出処理の一例を説明するための図である。図６に示された画素重み算出部５０１は、画素値変更部６０１、および、画素比較重み算出部６０２を備える。画素値変更部６０１は、中間画像の画素の画素値（例えば、輝度値）を、元の明るさよりも明るい画素値に変更する。具体的には、画素値変更部６０１は、式２のように１次関数を用いて、画素値を元の明るさよりも明るい画素値に変更する。

Ｘ（ｎ）＝ａＹ（ｎ）＋ｂ ・・・（式２）

式２において、Ｙ（ｎ）は、変更前の画素ｎの画素値を示し、Ｘ（ｎ）は、変更後の画素ｎの画素値を示す。そして、例えば、ａは１以上の数値を示し、ｂは０以上の数値を示す。ただし、画素値変更処理はこの計算式にかぎらない。画素値変更部６０１は、例えば、２次関数、３次関数、または、γ変換などで画素値変更処理を行ってもよい。

上記のように、中間画像の画素値が明るく変更されることで、その後の処理により得られる乗算係数は、原画像の明暗境界における暗側に位置する画素の画素値よりも原画像の明暗境界における明側に位置する画素の画素値の影響を大きく受けて生成される。

画素比較重み算出部６０２は、変更後の画素ｎの画素値と、４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３の４つの画素値のそれぞれとを比較する。そして、画素比較重み算出部６０２は、比較された２つの画素値が互いに近ければ近いほど大きく、遠ければ遠いほど小さい重み（画素重み）を算出する。具体的には、画素比較重み算出部６０２は、式３を用いて画素重みを算出する。

Ｗ_ｐ（ｋ）＝Ｗ_ｍａｘ−ＡＢＳ（Ｘ（ｎ）−Ｘ（ｍ_ｋ）） ・・・（式３）

ここで、Ｘ（ｎ）は、変更後の画素ｎの画素値を示す。Ｘ（ｍ_ｋ）は、縮小画像の画素ｍ_ｋ（ｋは０から３）の画素値を示す。Ｗ_ｐ（ｋ）は、画素ｍ_ｋの画素重みを示す。Ｗ_ｍａｘは、画素重みが負の値にならないように設定される任意の値を示す。ＡＢＳ（ｘ）は、ｘの絶対値を示す。

画素比較重み算出部６０２は、式３を用いて画素重みを算出することで、画素ｍ_ｋの画素値が変更後の画素ｎの画素値に近ければ重みを大きくし、画素ｍ_ｋの画素値が変更後の画素ｎの画素値に遠ければ重みを小さくした画素重みＷ_ｐ（ｋ）を算出することができる。

また、画素比較重み算出部６０２は、別の画素重み算出方法として式４を用いて、画素重みを算出してもよい。式４は、ガウス関数に対応する式であり、σ²は、分散を示す。

画素値変更部６０１で画素ｎを明るく変更したことにより、画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のうち、より明るい画素の重みが大きくなる。

図７は、図５に示された画素重み算出部５０１の変形例を示す構成図であり、画素重み算出部５０１における画素重み算出処理の別の例を説明するための図である。図７に示された画素重み算出部５０１は、画素値変更部７０１、および、画素比較重み算出部７０２を備える。

画素値変更部７０１は、４つの画素ｍ_０、ｍ_１、ｍ_２、ｍ_３が元の明るさよりも暗くなるように各画素値を変更する。画素比較重み算出部７０２は、画素比較重み算出部６０２と同等の処理を行う。画素値変更部７０１が画素ｍ_０、ｍ_１、ｍ_２、ｍ_３を暗くすることで、画素ｎが相対的に明るくなる。これにより、画素ｍ_０、ｍ_１、ｍ_２、ｍ_３のうち、より明るい画素の重みが大きくなる。

図７の例では、相対的に中間画像の画素値が明るくなる。そのため、その後の処理により得られる乗算係数は、原画像の明暗境界における暗側に位置する画素の画素値よりも原画像の明暗境界における明側に位置する画素の画素値の影響を大きく受けて生成される。

次に、空間重み算出部５０２は、中間画像の画素ｎと、縮小画像の画素ｍ_ｋ（ｋは０から３）との間の空間的な距離に従って、重みを算出する。ここで、空間的な距離に従って算出される重みは、空間的な距離が大きいほど小さい。例えば、空間重み算出部５０２は、式５を用いて、重み（空間重み）を算出する。

Ｗ_ｓ（ｋ）＝（１−α（ｋ））×（１−β（ｋ）） ・・・（式５）

式５において、縮小画像の１画素の大きさは、１に対応する。α（ｋ）は、中間画像に対する画素ｎの中心の相対的な位置と、縮小画像に対する画素ｍ_ｋの中心の相対的な位置との間の水平方向の距離を示す。β（ｋ）は、中間画像に対する画素ｎの中心の相対的な位置と、縮小画像に対する画素ｍ_ｋの中心の相対的な位置との間の垂直方向の距離を示す。Ｗ_ｓ（ｋ）は、画素ｍ_ｋの空間重みを示す。

空間重み算出部５０２は、空間的な距離が大きいほど小さい空間重みを算出する。空間重み算出部５０２が空間重みを算出するための算出方法は、このような算出方法に限られない。

続いて、重み合成部５０３は、画素重み算出部５０１で算出された画素重みＷ_ｐ（ｋ）と、空間重み算出部５０２で算出された空間重みＷ_ｓ（ｋ）とを合成して、画素ｍ_ｋに対応する最終的な重みを算出する。

例えば、重み合成部５０３は、画素重みＷ_ｐ（ｋ）と空間重みＷ_ｓ（ｋ）とを乗算することで、画素ｍ_ｋに対応する重みを算出する。あるいは、重み合成部５０３は、別の重み合成方法として、画素重みＷ_ｐ（ｋ）と空間重みＷ_ｓ（ｋ）とを加算することで、画素ｍ_ｋに対応する重みを算出しても構わない。

重み算出部４０１は、上記に従って、中間画像の画素毎に、縮小画像の４つの参照画素の４つの重みを算出する。これにより、重み算出部４０１は、中間画像の画素数と参照画素数とを掛け合わせて得られる数の重みを算出する。

つまり、重み算出部４０１は、中間画像の１画素に対して４つの重みを算出する。例えば、重み付け平均部４０２が４８０×２７０画素分の乗算係数を出力する場合、重み算出部４０１は４８０×２７０×４画素分の重みを算出する。そして、重み算出部４０１は算出した重みを重み付け平均部４０２に出力する。

重み付け平均部４０２は、重み算出部４０１で算出された重みに基づいて、乗算係数の重み付け平均を行う。具体的には、重み付け平均部４０２は、縮小画像の２×２画素に対応する４つの乗算係数に対して、４つの重みを用いて重み付け平均を行い、中間画像の１画素に対応する乗算係数を算出する。そして、重み付け平均部４０２は、中間画像の画素毎に乗算係数を算出し、算出された乗算係数を中間画像の画素に対応する乗算係数として出力する。

なお、上記の動作では、参照画素は、２×２画素であるが、参照画素は、４×４画素、または、８×８画素等に増やされてもよい。画像処理装置１００は、参照画素を増やすことにより、拡大後の複数の乗算係数を空間的によりなだらかに変化させることができる。

［１−２．補足説明］
以上のように、本実施の形態における画像処理装置１００は、画像取得部１０１と、縮小画像生成部１０２と、乗算係数生成部１０３と、第１拡大部１０４と、第２拡大部１０５と、画像補正部１０６とを備える。第１拡大部１０４と、第２拡大部１０５とは、明部優先拡大部１１０を構成する。

画像取得部１０１は、原画像を取得する。縮小画像生成部１０２は、原画像を縮小し、縮小画像を生成する。縮小画像は、原画像の解像度よりも低い解像度を有する。乗算係数生成部１０３は、処理対象画素の画素値に乗算するための乗算係数であって、処理対象画素の周囲が明るくなればなるほど小さくなり周囲が暗くなればなるほど大きくなる乗算係数を縮小画像の画素毎に算出する。そして、乗算係数生成部１０３は、縮小画像の複数の画素に対応する複数の乗算係数を算出する。

明部優先拡大部１１０は、算出された複数の乗算係数を拡大することにより、原画像の複数の画素に対応する複数の乗算係数を算出する。画像補正部１０６は、原画像の画素毎に、その画素に対応する乗算係数をその画素の画素値に対して乗算することにより、原画像を補正する。

そして、拡大後の複数の乗算係数のうち原画像の明暗境界付近に位置する画素に対応する乗算係数は、原画像の明暗境界における暗側に位置する画素の画素値よりも原画像の明暗境界における明側に位置する画素の画素値の影響を大きく受けて生成される。

また、本実施の形態における明部優先拡大部１１０は、（１）原画像または（２）中間画像の画素値を明るく変更し、変更された画素値を用いて、縮小画像に対応する複数の乗算係数を拡大しても構わない。また、本実施の形態における明部優先拡大部１１０は、（１）縮小画像または（２）中間画像の画素値を暗く変更し、変更された画素値を用いて、縮小画像に対応する複数の乗算係数を拡大しても構わない。

中間画像は、原画像を縮小することで得られる画像であって、縮小画像よりも大きくかつ原画像よりも小さい画像である。より具体的には、中間画像の解像度は、原画像の解像度よりも低く、縮小画像の解像度よりも高い。

明部優先拡大部１１０は、縮小画像に対応する複数の乗算係数を１段階で拡大して、原画像に対応する複数の乗算係数を算出する場合、上記（１）を利用する。明部優先拡大部１１０は、縮小画像に対応する複数の乗算係数を多段階で拡大して、原画像に対応する複数の乗算係数を算出する場合、上記（１）を利用してもよいし、上記（２）を利用してもよい。

［１−３．効果等］
縮小画像の複数の画素に対応する複数の乗算係数を生成し、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大することで、原画像の複数の画素に対応する複数の乗算係数が効率的に生成される。

一方、原画像に対応する複数の乗算係数のうち、原画像の明暗境界の明側（明部）の乗算係数は、生成および拡大の過程で、原画像の暗側（暗部）の画素値の影響を受ける。また、原画像に対応する複数の乗算係数のうち、原画像の明暗境界の暗側の乗算係数は、生成および拡大の過程で、原画像の明側の画素値の影響を受ける。

これにより、明暗境界の明側の乗算係数が大きくなる。そして、明暗境界の明側は、過補正によって、狙った明るさよりも明るくなってしまう。また、明暗境界の暗側の乗算係数が小さくなる。そして、明暗境界の暗側は、補正不足によって、狙った明るさより暗くなってしまう。この現象は、ハロと呼ばれ、非常に目立つ画質劣化をもたらす。

この現象は、原画像の縮小画像の複数の画素に対応する複数の乗算係数を算出し、算出された複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大することで発生する。

図８は、明部優先なしの補正を示す図であり、ハロの発生例を示す図である。図８に示されているように、原画像を縮小することで縮小画像が生成される。そして、縮小画像に基づいて、縮小画像の画素数と同じ数の複数の乗算係数が生成される。その後、縮小画像の画素数と同じ数の複数の乗算係数が拡大（補間）され、原画像の画素数と同じ数の複数の乗算係数が生成される。

原画像の複数の画素に対応する複数の乗算係数は、原画像の明暗境界付近の明側において暗側の画素の影響を受け、かつ、原画像の明暗境界付近の暗側において明側の画素の影響を受ける。これにより、原画像の明暗境界付近の明側において大きい乗算係数が発生し、原画像の明暗境界付近の暗側において小さい乗算係数が発生する。このような乗算係数を用いて補正処理が行われた場合、図８の補正結果のように明暗境界付近８０１において明部がより明るく、暗部がより暗くなってしまう。

図９は、明部優先ありの補正を示す図であり、ハロの抑制例を示す図である。第１拡大部１０４は、明暗境界の明部を優先して拡大処理を行うことで、明部の乗算係数を暗部側に広げて複数の乗算係数（明部優先乗算係数）を生成することができる。第２拡大部１０５は、複数の明部優先乗算係数を原画像の画素数と同じ数の乗算係数に拡大することで、明部において過大な乗算係数が生成されることを防ぐことができる。

その結果、画像処理装置１００は、補正結果画像において、明暗境界付近９０１の明部側のハロを大幅に低減することができる。反対に暗部側のハロは増加する。しかし、暗部側のハロは明部側のハロに比べて目立ちにくい。そのため、総合的に見るとハロが大幅に抑制される。

本実施の形態における画像処理装置１００は、原画像の画素数分の乗算係数を算出する際、その算出の過程において、原画像の明暗境界における暗側に位置する画素の画素値よりも原画像の明暗境界における明側に位置する画素の画素値の影響を大きくする。これにより、画像処理装置１００は、ハロを抑制する。

図１０は、明部優先なしの補正と、明部優先ありの補正との比較を示す図である。図１０では、図８のように明部優先処理がない場合の補正結果と、図９のように明部優先処理がある場合の補正結果とがプロットされている。

上述された通り、画素値は、画素値に乗算係数を乗算することで補正される。画素値が大きいほど、乗算係数の変化に伴う乗算結果の変化は大きく、画素値が小さいほど、乗算係数の変化に伴う乗算結果の変化は小さい。そのため、明部優先処理が行われない場合、明部のハロは大きく、暗部のハロは小さい。そして、明部優先処理が行われることにより、明部のハロが大幅に削減され、暗部のハロがわずかに増加する。

すなわち、画像処理装置１００は、明部優先処理を行うことにより、暗部のハロの増加を抑制しつつ、明部のハロを大幅に削減することができる。

以上の動作により、画像処理装置１００は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

（実施の形態２）
以下、図１１および１２を用いて、本実施の形態を説明する。

［２−１．構成］
図１１は、本実施の形態における画像処理装置の具体例を示す構成図である。図１１に示された画像処理装置１１００は、画像取得部１１０１、縮小画像生成部１１０２、乗算係数生成部１１０３、明部優先フィルタ部１１０４、拡大部１１０５、および、画像補正部１１０６を備える。明部優先フィルタ部１１０４、および、拡大部１１０５は、明部優先拡大部１１１０を構成する。明部優先拡大部１１１０は、拡張部と表現される場合がある。

画像取得部１１０１、縮小画像生成部１１０２、乗算係数生成部１１０３、および、画像補正部１１０６は、実施の形態１における画像取得部１０１、縮小画像生成部１０２、乗算係数生成部１０３、および、画像補正部１０６に対応する。また、明部優先拡大部１１１０は、実施の形態１における明部優先拡大部１１０に対応する。

画像取得部１１０１は、画像を原画像として取得する。例えば、画像取得部１１０１は、画像処理装置１１００に接続される記録媒体から原画像を取得する。

縮小画像生成部１１０２は、画像を縮小する。例えば、縮小画像生成部１１０２は、画像取得部１１０１で取得した原画像の画素数を低減させ、縮小画像を生成する。

具体的には、縮小画像生成部１１０２は、低域通過フィルタ処理（ローパスフィルタ処理）およびサブサンプリング処理を行うことで、折り返し歪のない縮小画像を生成する。例えば、原画像が１９２０×１０８０画素である場合、縮小画像生成部１１０２は、この原画像を水平垂直それぞれ１／４の画素数を有する画像に縮小することにより、４８０×２７０画素を有する縮小画像を生成する。

なお、縮小画像生成部１１０２は、縮小画像を生成する際、原画像と同じアスペクト比を有する縮小画像を生成しても構わないし、それ以外のアスペクト比を有する縮小画像を生成しても構わない。つまり、縮小画像の画素数およびアスペクト比を設計者が自由に設定することができる。

そして、縮小画像生成部１１０２は、原画像を縮小して得られる縮小画像を乗算係数生成部１１０３に出力する。

乗算係数生成部１１０３は、乗算係数を生成する生成部である。具体的には、乗算係数生成部１１０３は、縮小画像の画素毎に、その画素の画素値と、その画素の周囲に位置する画素の画素値とに基づいて、乗算係数を算出することにより、縮小画像の複数の画素に対応する複数の乗算係数を生成する。

なお、乗算係数生成部１１０３は、縮小画像生成部１１０２で生成された縮小画像である第１縮小画像をさらに縮小することで第２縮小画像を生成してもよい。そして、乗算係数生成部１１０３は、第２縮小画像の複数の画素に対応する複数の乗算係数を算出してもよい。そして、乗算係数生成部１１０３は、第２縮小画像の複数の画素に対応する複数の乗算係数に対して拡大処理を行うことで第１縮小画像の複数の画素に対応する複数の乗算係数を生成してもよい。

明部優先フィルタ部１１０４は、縮小画像の複数の画素に対応する複数の乗算係数に対して、縮小画像の明暗境界において明部の乗算係数を優先的に採用するフィルタ処理を行う。

具体的には、明部優先フィルタ部１１０４は、処理対象の乗算係数、および、隣接する画素位置の乗算係数を参照し、対象画素の乗算係数以下の乗算係数を対象画素の乗算係数として出力する。例えば、明部優先フィルタ部１１０４は、参照した複数の乗算係数のうち最小の乗算係数を対象画素の乗算係数として出力する。

これにより、明部優先フィルタ部１１０４は、乗算係数に対して、原画像の明暗境界の暗側に位置する画素の画素値よりも原画像の明暗境界の明側に位置する画素の画素値の影響を大きく与えることができる。

また、別の方法として、明部優先フィルタ部１１０４は、縮小画像の処理対象画素の画素値、および、縮小画像の処理対象画素に隣接する複数の画素の画素値に基づいて、画素値が大きい、すなわち、明るい画素ほど大きい重みを算出してもよい。そして、明部優先フィルタ部１１０４は、算出した重みに基づいて、処理対象画素の乗算係数、および、処理対象画素に隣接する複数の画素の複数の乗算係数に対して、重み付け平均を行ってもよい。

拡大部１１０５は、縮小画像の複数の画素に対応する複数の乗算係数を拡大し、原画像の画素の画素値を補正するための乗算係数を原画像の画素毎に生成する。これにより、拡大部１１０５は、原画像の複数の画素に対応する複数の乗算係数を生成する。

画像補正部１１０６は、原画像を補正する補正部である。原画像に対応する複数の乗算係数を用いて、原画像の複数の画素値を補正することにより、補正された複数の画素値を有する画像を生成する。

なお、明部優先フィルタ部１１０４は、図１２に示すように拡大部１１０５の後に位置しても構わない。

図１２は、図１１に示された画像処理装置１１００の変形例を示す構成図である。図１２に示された画像処理装置１２００は、画像取得部１１０１、縮小画像生成部１１０２、乗算係数生成部１１０３、明部優先フィルタ部１１０４、拡大部１１０５、および、画像補正部１１０６を備える。明部優先フィルタ部１１０４、および、拡大部１１０５は、明部優先拡大部１２１０を構成する。明部優先拡大部１２１０は、拡張部と表現される場合がある。

画像処理装置１２００の画像取得部１１０１、縮小画像生成部１１０２、乗算係数生成部１１０３、明部優先フィルタ部１１０４、拡大部１１０５、および、画像補正部１１０６は、それぞれ、画像処理装置１１００の構成要素と同様の構成要素である。画像処理装置１２００は、画像処理装置１１００と比較して、明部優先フィルタ部１１０４、および、拡大部１１０５の順序が変更されている。

つまり、画像処理装置１１００は、縮小画像の複数の画素に対応する複数の乗算係数に対してフィルタを適用しているが、画像処理装置１２００は、原画像の複数の画素に対応する複数の乗算係数に対してフィルタを適用する。フィルタの具体的な動作は、画像処理装置１１００の場合と同様である。

画像処理装置１２００は、画像処理装置１１００と同様に、乗算係数に対して、原画像の明暗境界の暗側に位置する画素の画素値よりも原画像の明暗境界の明側に位置する画素の画素値の影響を大きく与えることができる。

［２−２．補足説明］
以上のように、本実施の形態における画像処理装置１１００および画像処理装置１２００は、画像取得部１１０１、縮小画像生成部１１０２、乗算係数生成部１１０３、明部優先フィルタ部１１０４、拡大部１１０５、および、画像補正部１１０６を備える。明部優先フィルタ部１１０４および拡大部１１０５は、明部優先拡大部１１１０または明部優先拡大部１２１０を構成する。

画像取得部１１０１は、原画像を取得する。縮小画像生成部１１０２は、原画像の画素数を低減させ縮小画像を生成する。乗算係数生成部１１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、縮小画像の画素の周囲に位置する画素の画素値とに基づいて、乗算係数を生成することにより、縮小画像の複数の画素に対応する複数の乗算係数を生成する。

拡大部１１０５は、縮小画像の複数の画素に対応する複数の乗算係数に基づいて、原画像の複数の画素に対応する複数の乗算係数を生成する。画像補正部１１０６は、原画像の複数の画素に対応する複数の乗算係数を用いて、原画像の複数の画素値を補正し、補正された複数の画素値を有する画像を生成する。

明部優先フィルタ部１１０４は、拡大後の複数の乗算係数、または、拡大前の複数の乗算係数に対して、明部優先フィルタ処理を行う。すなわち、明部優先フィルタ部１１０４は、縮小画像、原画像または中間画像に対応する複数の乗算係数に対して、明部優先フィルタ処理を行う。明部優先フィルタ処理は、処理対象画素および処理対象画素の周囲に対応する複数の乗算係数を参照して、複数の乗算係数のうち明部の乗算係数を優先するフィルタ処理である。

つまり、明部優先フィルタ部１１０４は、縮小画像に対応する複数の乗算係数、および、縮小画像に対応する複数の乗算係数を拡大して得られる複数の乗算係数のうち、いずれか一方に対して明部優先フィルタ処理を行う。そして、明部優先フィルタ部１１０４は、明部優先フィルタ処理を行うことにより、処理対象画素に対応する乗算係数および処理対象画素の周囲の画素に対応する乗算係数に基づいて、処理対象画素に対応する乗算係数を更新する。

より具体的には、明部優先フィルタ部１１０４は、処理対象画素およびその周囲の画素に対応する複数の乗算係数のうち最小の乗算係数に、処理対象画素に対応する乗算係数を更新する。

［２−３．効果等］
本実施の形態における画像処理装置１１００および画像処理装置１２００は、直接、乗算係数を更新する。これにより、画像処理装置１１００および画像処理装置１２００は、実施の形態１における画像処理装置１００と同様に、明部のハロを抑制することができる。

したがって、画像処理装置１１００および画像処理装置１２００は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

（結び）
以上、本開示における画像処理装置（画像処理装置１００、１１００、１２００）は、それぞれが明るいほど大きい画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する。具体的には、例えば、画像処理装置は、暗部補正または明部補正を行う。また、画像処理装置は、生成部（乗算係数生成部１０３、１１０３）、拡張部（明部優先拡大部１１０、１１１０、１２１０）、および、補正部（画像補正部１０６、１１０６）を備える。

生成部は、原画像の縮小画像の画素毎にその画素の周囲が暗いほど大きい係数を生成することにより、縮小画像の複数の画素に対応する複数の係数を生成する。

拡張部は、縮小画像の複数の画素に対応する複数の係数から原画像の複数の画素に対応する複数の係数を生成することで縮小画像の複数の画素に対応する複数の係数を原画像の複数の画素に対応する複数の係数に拡張する。具体的には、拡張部は、原画像の複数の画素に対応する複数の係数が、原画像に含まれる明暗境界に従って、明暗境界の暗側を中心として空間的に変化するように、原画像の複数の画素に対応する複数の係数を生成する。

原画像の複数の画素に対応する複数の係数が明暗境界の暗側を中心として空間的に変化するとは、原画像の複数の画素に対応する複数の係数が主に明暗境界の暗側で空間的に変化すること、すなわち、空間的な変化が暗側にシフトされていることを意味する。例えば、明暗境界によって複数の係数が明側で変化する量よりも暗側で変化する量が大きくてもよい。また、例えば、明暗境界によって複数の係数が変化する領域の中心が暗側に位置してもよい。

補正部は、原画像の画素毎にその画素に対応する係数をその画素の画素値に乗算することにより、原画像の複数の画素の複数の画素値を補正する。

図１３は、本開示における画像処理装置の動作を示すフローチャートである。まず、生成部は、原画像の縮小画像に対応する複数の係数を生成する（Ｓ１３０１）。次に、拡張部は、原画像に対応する複数の係数が明暗境界の暗側で空間的に変化するように、縮小画像に対応する複数の係数から原画像に対応する複数の係数を生成する（Ｓ１３０２）。最後に、補正部は、原画像に対応する複数の係数で原画像を補正する（Ｓ１３０３）。

これにより、画像処理装置は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

例えば、拡張部は、縮小画像の複数の画素に対応する複数の係数に対して拡張処理を１回以上適用してもよい。拡張処理では、複数の係数が第１画像の複数の画素に対応する複数の係数から第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張される。

そして、拡張部は、１回以上のうち少なくとも１回の拡張処理において、第１画像の２以上の画素に対して２以上の重みを割り当ててもよい。そして、拡張部は、第１画像の２以上の画素に対して割り当てられた２以上の重みを用いて、第１画像の２以上の画素に対応する２以上の係数から、第２画像の画素に対応する係数を生成してもよい。

そして、拡張部は、第１画像の２以上の画素に対して２以上の重みを割り当てる際、第１画像の２以上の画素のそれぞれに対して、その画素の画素値と、第２画像の画素の画素値を大きくした画素値との差が小さいほど大きい重みを割り当ててもよい。

また、拡張部は、第１画像の２以上の画素に対して２以上の重みを割り当てる際、第１画像の２以上の画素のそれぞれに対して、その画素の画素値を小さくした画素値と、第２画像の画素の画素値との差が小さいほど大きい重みを割り当ててもよい。

また、拡張部は、１回以上のうち少なくとも１回の拡張処理において、第１画像の複数の画素に対応する複数の係数を更新し、更新された複数の係数から第２画像の複数の画素に対応する複数の係数を生成してもよい。拡張部は、第１画像の複数の画素に対応する複数の係数を更新する際、第１画像の画素毎に、その画素とその画素の周囲の１以上の画素とに対応する２以上の係数に従って、その画素に対応する係数を更新してもよい。

その際、拡張部は、第１画像の画素毎に、その画素に対応する係数を、その画素とその画素の周囲の１以上の画素とに対応する２以上の係数のうち最小の係数に更新してもよい。

また、拡張部は、１回以上のうち少なくとも１回の拡張処理において、第２画像の複数の画素に対応する複数の係数を更新し、更新された複数の係数を生成してもよい。拡張部は、第２画像の複数の画素に対応する複数の係数を更新する際、第２画像の画素毎に、その画素とその画素の周囲の１以上の画素とに対応する２以上の係数に従って、その画素に対応する係数を更新してもよい。

その際、拡張部は、第２画像の画素毎に、その画素に対応する係数を、その画素とその画素の周囲の１以上の画素とに対応する２以上の係数のうち最小の係数に更新してもよい。

なお、画像処理装置は、本開示における複数の構成要素を選択的に備えてもよいし、画像処理方法は、本開示における複数の処理を選択的に含んでもよい。

また、本開示における各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示における各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ（ＣＰＵ）、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、本開示における各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。

また、本開示における各処理を実行するためのプログラムが、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。

また、本開示における画像処理装置は、空間視覚処理装置と表現されてもよい。また、本開示における画像処理方法は、空間視覚処理方法と表現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、原画像の明るさを画素毎に補正する画像処理方法に適用可能である。具体的には、液晶ディスプレイ、ＢＤプレーヤまたはネットワークプレーヤ等のような画像処理装置に、本開示は適用可能である。

１００、１１００、１２００ 画像処理装置
１０１、１１０１ 画像取得部
１０２、１１０２ 縮小画像生成部
１０３、１１０３ 乗算係数生成部
１０４ 第１拡大部
１０５ 第２拡大部
１０６、１１０６ 画像補正部
１１０、１１１０、１２１０ 明部優先拡大部
２０１ ボケ信号生成部
２０２ 乗算係数決定部
３０１ 中間画像生成部
３０２ 中間拡大部
４０１ 重み算出部
４０２ 重み付け平均部
５０１ 画素重み算出部
５０２ 空間重み算出部
５０３ 重み合成部
６０１、７０１ 画素値変更部
６０２、７０２ 画素比較重み算出部
８０１、９０１ 明暗境界付近
１１０４ 明部優先フィルタ部
１１０５ 拡大部

Claims (8)

1. それぞれが明るいほど大きい画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理方法であって、
   前記原画像の縮小画像の画素毎に前記縮小画像の当該画素の周囲が暗いほど大きい係数を生成することにより、前記縮小画像の複数の画素に対応する複数の係数を生成する生成ステップと、
   前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張する拡張ステップと、
   前記原画像の画素毎に前記原画像の当該画素に対応する係数を前記原画像の当該画素の画素値に乗算することにより、前記原画像の複数の画素の複数の画素値を補正する補正ステップとを含み、
   前記拡張ステップでは、前記原画像の複数の画素に対応する複数の係数が、前記原画像に含まれる明暗境界に従って、前記明暗境界の暗側を中心として空間的に変化するように、前記原画像の複数の画素に対応する複数の係数を生成する
   画像処理方法。
2. 前記拡張ステップでは、
   前記縮小画像の複数の画素に対応する複数の係数に対して、複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記１回以上のうち少なくとも１回の拡張処理において、
   （ｉ）前記第１画像の２以上の画素のそれぞれに対して、前記第１画像の当該画素の画素値と、前記第２画像の画素の画素値を大きくした画素値との差が小さいほど大きい重みを割り当てることにより、前記第１画像の２以上の画素に対して２以上の重みを割り当て、
   （ｉｉ）前記第１画像の２以上の画素に対して割り当てられた前記２以上の重みを用いて、前記第１画像の複数の画素に対応する複数の係数のうち前記第１画像の２以上の画素に対応する２以上の係数から、前記第２画像の複数の画素に対応する複数の係数のうち前記第２画像の画素に対応する係数を生成する
   請求項１に記載の画像処理方法。
3. 前記拡張ステップでは、
   前記縮小画像の複数の画素に対応する複数の係数に対して、複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記１回以上のうち少なくとも１回の拡張処理において、
   （ｉ）前記第１画像の２以上の画素のそれぞれに対して、前記第１画像の当該画素の画素値を小さくした画素値と、前記第２画像の画素の画素値との差が小さいほど大きい重みを割り当てることにより、前記第１画像の２以上の画素に対して２以上の重みを割り当て、
   （ｉｉ）前記第１画像の２以上の画素に対して割り当てられた前記２以上の重みを用いて、前記第１画像の複数の画素に対応する複数の係数のうち前記第１画像の２以上の画素に対応する２以上の係数から、前記第２画像の複数の画素に対応する複数の係数のうち前記第２画像の画素に対応する係数を生成する
   請求項１に記載の画像処理方法。
4. 前記拡張ステップでは、
   前記縮小画像の複数の画素に対応する複数の係数に対して、複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記１回以上のうち少なくとも１回の拡張処理において、前記第１画像の画素毎に、前記第１画像の複数の画素に対応する複数の係数のうち前記第１画像の当該画素と前記第１画像の当該画素の周囲の１以上の画素とに対応する２以上の係数に従って、前記第１画像の複数の画素に対応する複数の係数のうち前記第１画像の当該画素に対応する係数を更新することにより、前記第１画像の複数の画素に対応する複数の係数を更新し、更新された前記複数の係数から前記第２画像の複数の画素に対応する複数の係数を生成する
   請求項１に記載の画像処理方法。
5. 前記拡張ステップでは、
   前記縮小画像の複数の画素に対応する複数の係数に対して、複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記１回以上のうち少なくとも１回の拡張処理において、前記第２画像の画素毎に、前記第２画像の複数の画素に対応する複数の係数のうち前記第２画像の当該画素と前記第２画像の当該画素の周囲の１以上の画素とに対応する２以上の係数に従って、前記第２画像の複数の画素に対応する複数の係数のうち前記第２画像の当該画素に対応する係数を更新することにより、前記第２画像の複数の画素に対応する複数の係数を更新し、更新された前記複数の係数を生成する
   請求項１に記載の画像処理方法。
6. 前記拡張ステップでは、前記第１画像の画素毎に、前記第１画像の当該画素と前記第１画像の当該画素の周囲の１以上の画素とに対応する前記２以上の係数のうち最小の係数に、前記第１画像の当該画素に対応する係数を更新する
   請求項４に記載の画像処理方法。
7. 前記拡張ステップでは、前記第２画像の画素毎に、前記第２画像の当該画素と前記第２画像の当該画素の周囲の１以上の画素とに対応する前記２以上の係数のうち最小の係数に、前記第２画像の当該画素に対応する係数を更新する
   請求項５に記載の画像処理方法。
8. それぞれが明るいほど大きい画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理装置であって、
   前記原画像の縮小画像の画素毎に前記縮小画像の当該画素の周囲が暗いほど大きい係数を生成することにより、前記縮小画像の複数の画素に対応する複数の係数を生成する生成部と、
   前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張する拡張部と、
   前記原画像の画素毎に前記原画像の当該画素に対応する係数を前記原画像の当該画素の画素値に乗算することにより、前記原画像の複数の画素の複数の画素値を補正する補正部とを備え、
   前記拡張部は、前記原画像の複数の画素に対応する複数の係数が、前記原画像に含まれる明暗境界に従って、前記明暗境界の暗側を中心として空間的に変化するように、前記原画像の複数の画素に対応する複数の係数を生成する
   画像処理装置。

Images