JP2015179500A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる画像処理方法を提供する。
【解決手段】画像処理方法は、予め定められた関係を用いて縮小画像に対応する複数の係数を生成する生成ステップ（Ｓ１２０１）と、縮小画像に対応する複数の係数を原画像に対応する複数の係数に拡張し、原画像の複数の画素値を補正する補正ステップ（Ｓ１２０２）とを含み、補正ステップ（Ｓ１２０２）では、縮小画像に対応する複数の係数に対して複数の係数を第１画像に対応する複数の係数から第２画像に対応する複数の係数に拡張する拡張処理を適用し、補正ステップ（Ｓ１２０２）では、さらに、拡張処理における第２画像に対応する係数と、原画像の補正後の画素値とのうち、少なくとも一方を予め定められた関係に応じた制限範囲に制限する。
【選択図】図１２

Description

本開示は、原画像の明るさを画素毎に補正する画像処理方法に関する。

特許文献１は、視覚処理装置を開示する。この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第１ゲイン信号が視覚処理部により出力され、第１ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正される。そのため、高性能な補正処理を簡易な構成で実現することができる。

特開２００７−３１２３４９号公報

本開示は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる画像処理方法を提供する。

本開示における画像処理方法は、それぞれが明るさに関連する画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理方法であって、処理対象画素の画素値と、前記処理対象画素の周囲の明るさに関連する明るさ状態と、前記処理対象画素の画素値を補正するための係数とに対して予め定められた関係を用いて、前記原画像の縮小画像の複数の画素に対応する複数の係数を生成する生成ステップと、前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、前記原画像の複数の画素に対応する複数の係数を用いて前記原画像の複数の画素の複数の画素値を補正する補正ステップとを含み、前記補正ステップでは、前記縮小画像の複数の画素に対応する複数の係数に対して複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、前記補正ステップでは、さらに、前記１回以上のうち少なくとも１回の拡張処理における前記第２画像の画素に対応する係数と、前記原画像の画素の補正後の画素値とのうち、少なくとも一方を前記予め定められた関係に応じた制限範囲に制限する。

本開示における画像処理方法は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

図１は、実施の形態１における画像処理装置の具体例を示す構成図である。 図２は、実施の形態１における乗算係数生成部の具体例を示す構成図である。 図３は、実施の形態１における２次元ＬＵＴの具体例を示す図である。 図４は、実施の形態１における制限範囲の一例を示す図である。 図５は、実施の形態１における制限範囲の一例を示す図である。 図６Ａは、実施の形態１における原画像の画素値の一例を示す図である。 図６Ｂは、実施の形態１における縮小画像の画素値の一例を示す図である。 図７は、実施の形態１における制限された乗算係数の一例を示す図である。 図８Ａは、実施の形態１における原画像の画素値の一例を示す図である。 図８Ｂは、実施の形態１における縮小画像の画素値の一例を示す図である。 図９は、実施の形態１における制限された乗算係数の一例を示す図である。 図１０は、実施の形態２における画像処理装置の具体例を示す構成図である。 図１１は、実施の形態２における制限範囲の一例を示す図である。 図１２は、実施の形態１または実施の形態２における画像処理装置の動作を示すフローチャートである。 図１３は、実施の形態１または実施の形態２における補正部の動作を示すフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜９を用いて、本実施の形態を説明する。

［１−１．構成］
図１は、本実施の形態における画像処理装置の具体例を示す構成図である。図１に示された画像処理装置１００は、画像取得部１０１、縮小画像生成部１０２、乗算係数生成部１０３、拡大部１０４、制限部１０５、および、画像補正部１０６を備える。拡大部１０４、制限部１０５、および、画像補正部１０６は、補正部１１０を構成する。

画像取得部１０１は、画像を原画像として取得する。例えば、画像取得部１０１は、画像処理装置１００に接続される記録媒体から原画像を取得する。この原画像は、動画ストリームに含まれるピクチャでも構わないし、静止画像でも構わない。以下、説明の便宜上、動画ストリームに含まれるピクチャを処理対象の原画像として説明する。

具体的には、画像取得部１０１は、入力される動画ストリームに含まれる任意の時間における１枚のピクチャを原画像として取得する。なお、動画ストリームの復号化処理は、画像処理装置１００において実行されても構わないし、外部の装置において実行されても構わない。後者の場合、画像取得部１０１は復号化処理された動画ストリームを取得する。

ここで、画像は、複数の画素で構成される。画素は、画素の明るさに関連する画素値を有する。例えば、画素が明るいほど、その画素の画素値は大きく、画素が暗いほど、その画素の画素値は小さい。そのため、画素値が大きいことを画素値が明るいと表現する場合があり、また、画素値が小さいことを画素値が暗いと表現する場合がある。画素値は、輝度値でもよいし、ＲＧＢ値の各成分でもよいし、ＹＵＶ値の各成分でもよい。

縮小画像生成部１０２は、画像を縮小する。例えば、縮小画像生成部１０２は、画像取得部１０１で取得した原画像の画素数を低減させ、縮小画像を生成する。

具体的には、縮小画像生成部１０２は、低域通過フィルタ処理（ローパスフィルタ処理）およびサブサンプリング処理を行うことで、折り返し歪のない縮小画像を生成する。例えば、原画像が１９２０×１０８０画素である場合、縮小画像生成部１０２は、この原画像を水平垂直それぞれ１／４の画素数を有する画像に縮小することにより、４８０×２７０画素を有する縮小画像を生成する。

なお、縮小画像生成部１０２は、縮小画像を生成する際、原画像と同じアスペクト比を有する縮小画像を生成しても構わないし、それ以外のアスペクト比を有する縮小画像を生成しても構わない。つまり、縮小画像の画素数およびアスペクト比を設計者が自由に設定することができる。

そして、縮小画像生成部１０２は、原画像を縮小して得られる縮小画像を乗算係数生成部１０３に出力する。

上記の説明において、縮小画像を生成する方法としてフィルタ処理を説明したが、縮小画像生成部１０２は、縮小後の１画素に対して原画像の複数の画素値の平均値を算出（計算）し、その平均値を縮小画像の１画素の画素値として生成しても構わない。

乗算係数生成部１０３は、乗算係数を生成する生成部である。具体的には、乗算係数生成部１０３は、縮小画像の画素毎に、縮小画像の画素の画素値と、その画素の周囲に位置する画素の画素値とに基づいて、乗算係数を算出することにより、縮小画像の複数の画素に対応する複数の乗算係数を生成する。より具体的には、乗算係数生成部１０３は、処理対象画素の周囲の明るさに関連する明るさ状態（明暗状態）によって変化する乗算係数の特性情報に基づいて、各乗算係数を生成する。

例えば、特性情報は、処理対象画素の画素値と、処理対象画素の周囲の明るさに関連する明るさ状態と、処理対象画素の画素値を補正するための乗算係数との関係を示す。明るさ状態は、具体的には、処理対象画素および処理対象画素の周囲を含む複数の画素における明るさである。

乗算係数生成部１０３によって生成される乗算係数は、原画像の複数の画素のうち縮小画像の画素に対応する画素の画素値を補正するための係数である。この乗算係数は、縮小画像の画素の画素値を補正するための係数とみなされてもよい。また、この乗算係数は、ゲインと表現される場合がある。また、それぞれが画像の画素に対応する複数の乗算係数は、画像に対応し、ゲインマップと表現される場合がある。また、このような複数の乗算係数は、係数マップ、係数マトリックス、係数行列または係数データとも表現され得る。

また、上記の通り、この乗算係数は、縮小画像に含まれる画素毎に生成される。そして、縮小画像の画素数と同じ数の乗算係数が後の処理で拡張され、原画像の画素数と同じ数の乗算係数が生成される。

図２は、図１に示された乗算係数生成部１０３の具体例を示す構成図であり、乗算係数生成部１０３に入力される縮小画像から乗算係数を生成する一具体例を説明するための図である。例えば、図２のとおり、乗算係数生成部１０３は、ボケ信号生成部２０１および乗算係数決定部２０２を有する。

ボケ信号生成部２０１は、縮小画像の画素毎に、その画素の画素値、および、その画素の周囲に位置する複数の画素の画素値を合成して、ボケ信号を生成する。ボケ信号は、対象画素およびその周囲の明度（つまり、対象画素およびその周囲における平均的な明るさ）を示す情報を含む。

ここで、周囲は、例えば、１画素または所定の数画素の範囲である。対象画素の周囲に位置する複数の画素は、対象画素に隣接する複数の画素でもよい。ここでは、ボケ信号の生成に対象画素の画素値が用いられているが、対象画素の周囲に位置する画素の画素値のみが用いられてもよい。また、画素の位置は、画素の中心に対応してもよいし、画素の左上の隅などに対応してもよい。

ボケ信号生成部２０１は、具体的には、対象画素およびその周囲に位置する画素の画素値（例えば、輝度値）に対して、２次元のローパスフィルタまたは１次元のローパスフィルタ等を用いてフィルタ処理を行う。そして、ボケ信号生成部２０１は、フィルタ処理によって得られるボケ信号を乗算係数決定部２０２に出力する。

乗算係数決定部２０２は、縮小画像の画素毎に、その画素の画素値と、その画素に対応するボケ信号とに基づいて、乗算係数を決定することにより、縮小画像の画素数と同じ数の乗算係数を生成する。例えば、縮小画像が４８０×２７０個の画素を有する場合、４８０×２７０個の乗算係数が生成される。

具体的には、乗算係数決定部２０２は、２次元ＬＵＴ（２次元ルックアップテーブル）を用いて、縮小画像の画素値およびボケ信号から乗算係数を生成する。ここで、２次元ＬＵＴは、縮小画像の画素値とボケ信号とに基づいて、乗算係数を決定するためのテーブルである。すなわち、２次元ＬＵＴでは、縮小画像の画素値とボケ信号とに対応する乗算係数が定められている。

例えば、２次元ＬＵＴは、それぞれが複数の画素値と複数の乗算係数との対応関係を示す複数のテーブルを含む。乗算係数決定部２０２は、複数のテーブルの中から、ボケ信号生成部２０１から入力されたボケ信号を用いてテーブルを選択する。そして、乗算係数決定部２０２は、選択されたテーブルを参照して、縮小画像の画素値に対応する乗算係数を決定することにより、乗算係数を生成する。なお、縮小画像の画素値とボケ信号とに基づいて乗算係数を決定するための関数が２次元ＬＵＴに用いられてもよい。

また、例えば、乗算係数決定部２０２は、暗部補正のための乗算係数を生成する。暗部補正は、暗い領域（暗部）を明るくする補正であり、人間の視覚特性に対応する補正である。このような暗部補正には、明るい領域（明部）を暗くする明部補正が組み合わされてもよい。

人間は、目に入る情報を無意識に変換する視覚特性を有する。乗算係数決定部２０２で用いられる２次元ＬＵＴでは、特に明暗対比または色対比と呼ばれる視覚特性を真似た変換特性が特性情報として簡易的に表されている。具体的には、明るさが物理的に同じでも、周りが明るい場合には同じ明るさが暗く知覚され、周りが暗い場合には同じ明るさが明るく知覚される。このような視覚特性は、明暗対比と呼ばれる。

乗算係数決定部２０２は、主観的な画質を向上させるため、このような視覚特性に対応する乗算係数を生成する。特に、乗算係数決定部２０２は、コントラストが補正によって消滅することを抑制するため、周囲の画素値が反映されたボケ信号を用いて乗算係数を生成する。これにより、適切な乗算係数が生成され、コントラストの消滅が抑制される。

図３は、乗算係数決定部２０２で使用する２次元ＬＵＴの一例を示す図である。図３において、横軸は処理対象画素の画素値であり、縦軸は乗算係数である。以降の説明では、処理対象画素の画素値、および、ボケ信号の値（ボケ信号値）の取りうる範囲を０から２５５として説明する。

乗算係数決定部２０２は、ボケ信号値に応じて１次元特性テーブルを選択する。具体的にはボケ信号値が０である場合、乗算係数決定部２０２は、１次元特性テーブル３０１を選択する。

同様に、ボケ信号値が６４である場合、乗算係数決定部２０２は、１次元特性テーブル３０２を選択する。ボケ信号値が１２８である場合、乗算係数決定部２０２は、１次元特性テーブル３０３を選択する。ボケ信号値が１９６である場合、乗算係数決定部２０２は、１次元特性テーブル３０４を選択する。ボケ信号値が２５５である場合、乗算係数決定部２０２は、１次元特性テーブル３０５を選択する。

図３では、便宜上、ボケ信号値が、０、６４、１２８、１９６および２５５の場合の１次元特性テーブルが記載されているが、２次元ＬＵＴは、ボケ信号値ごとにそれぞれ違った形状の１次元特性テーブルを有する。乗算係数決定部２０２は、ボケ信号値に応じて１次元特性テーブルを選択する。そして、乗算係数決定部２０２は、選択した１次元特性テーブルにおいて、処理対象画素の画素値に対応する乗算係数を処理対象画素に対応する乗算係数として算出する。

例えば、ボケ信号値が１２８であり、かつ、画素値が８０である場合、乗算係数決定部２０２は、図３における１次元特性テーブル３０３上の点３０６に対応する乗算係数０．６を、処理対象画素に対応する乗算係数として算出する。

なお、理想的には、２次元ＬＵＴは、（ボケ信号値の階調数）×（縮小画像の画素値の階調数）に対する全ての乗算係数を示す。しかし、２次元ＬＵＴが示す複数の乗算係数は、簡素化のため、離散化され、折れ線で表現されてもよい。その場合、乗算係数決定部２０２は、離散化された複数の乗算係数の間の乗算係数を参照する際、複数の乗算係数から複数の乗算係数の間の乗算係数を補間して、補間された乗算係数を参照する。

拡大部１０４は、縮小画像の複数の画素に対応する複数の乗算係数から、原画像の複数の画素に対応する複数の乗算係数を生成することにより、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大する。ここでは、複数の乗算係数の拡大は、各乗算係数を大きい係数に変更することではなく、乗算係数の数を増加させることに対応する。したがって、拡大は、拡張と表現されてもよい。

また、言い換えれば、拡大部１０４は、縮小画像のゲインマップから原画像のゲインマップを生成することにより、縮小画像のゲインマップを原画像のゲインマップに拡大する。さらに、言い換えれば、拡大部１０４は、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に展開する。

具体的には、例えば、拡大部１０４は、バイリニア補間（線形補間）を用いる拡大処理により、複数の乗算係数を拡大する。また、別の方法として、拡大部１０４は、最近傍補間を用いる拡大処理により、複数の乗算係数を拡大する。また、別の方法として、拡大部１０４は、バイキュービック補間を用いる拡大処理により、複数の乗算係数を拡大する。

制限部１０５は、原画像に含まれる画素毎に生成した乗算係数をその画素の画素値に応じた上限、下限またはその両方で制限する。制限部１０５の詳細は後述する。

画像補正部１０６は、原画像を補正する。例えば、画像補正部１０６は、原画像に対して暗部補正または明部補正を行う。具体的には、画像補正部１０６は、原画像に含まれる画素毎に生成した乗算係数をその画素の画素値に乗算することにより、その画素の画素値を補正する。

例えば、画像補正部１０６は、式１の通り、乗算係数（ｇ）を原画像の画素値（Ｘ_ｉｎ）に乗算することで得られる画素値（Ｘ_ｏｕｔ）を生成する。そして、画像補正部１０６は、生成された画素値（Ｘ_ｏｕｔ）で構成される画像を生成することにより、原画像を補正する。

Ｘ_ｏｕｔ＝ｇＸ_ｉｎ ・・・（式１）

さらに具体的には、画像補正部１０６は、原画像の画素値としてＲＧＢ値の各成分に対して補正処理を行う。なお、別の方法として、画像補正部１０６は、原画像の画素値としてＹＵＶ値の各成分に対して補正処理を行っても構わない。

［１−２．制限部１０５の詳細］
以下、図面を参照しながら制限部１０５における具体的な動作について説明する。

制限部１０５は、原画像における対象画素の画素値に応じて、乗算係数に対する制限値を算出する。具体的には、制限部１０５は、乗算係数生成部１０３で用いられた２次元ＬＵＴから対象画素の画素値に対して得られる１次元特性テーブルを用いて、制限値を算出する。そして、制限部１０５は、算出された制限値で乗算係数を制限する。要するに、制限部１０５は、原画像の画素値と、乗算係数生成部１０３で用いられた特性情報とによって設定される範囲内に、原画像の画素に対応する乗算係数を制限する。

図４は、本実施の形態における制限範囲の一例を示す図である。図４には、上限制限用の１次元特性テーブル４０１と、下限制限用の１次元特性テーブル４０２とが示されている。

制限部１０５は、乗算係数生成部１０３が用いる２次元ＬＵＴを１次元に射影することで１次元特性テーブルを作成する。例えば、上限制限用の１次元特性テーブル４０１は、図３に示された２次元ＬＵＴにおいて、０〜２５５の各画素値に対して、０〜２５５の複数のボケ信号値から得られる複数の乗算係数のうち最も大きい乗算係数で構成される。同様に、下限制限用の１次元特性テーブル４０２は、０〜２５５の各画素値に対して、最も小さい乗算係数で構成される。

要するに、制限部１０５は、乗算係数の特性情報を用いて画素値毎に複数のボケ信号値に対応して算出される複数の乗算係数のうち最大の乗算係数をその画素値に対する乗算係数の上限として設定する。また、制限部１０５は、乗算係数の特性情報を用いて画素値毎に複数のボケ信号値に対応して算出される複数の乗算係数のうち最小の乗算係数をその画素値に対応する乗算係数の下限として設定する。

そして、制限部１０５は、拡大部１０４で得られた乗算係数が上限よりも大きい場合または乗算係数が下限よりも小さい場合、上限から下限までの範囲内に乗算係数を変換する。例えば、制限部１０５は、拡大部１０４で得られた乗算係数が上限よりも大きい場合、拡大部１０４で得られた乗算係数を上限の乗算係数に置き換える。また、制限部１０５は、拡大部１０４で得られた乗算係数が下限よりも小さい場合、拡大部１０４で得られた乗算係数を下限の乗算係数に置き換える。

なお、制限のための動作は、上記の動作に限定されない。制限部１０５は、拡大部１０４で得られた乗算係数が上限より大きい場合、上限から下限までの範囲内の任意の乗算係数に拡大部１０４で得られた乗算係数を変換しても構わない。

上記の構成において、拡大部１０４は、乗算係数生成部１０３で生成された複数の乗算係数を１回拡大する。しかし、拡大回数は、１回に限定されない。拡大部１０４は、複数回、複数の乗算係数を拡大しても構わない。例えば、拡大部１０４は、縮小画像に対応する複数の乗算係数を縮小画像よりも大きく原画像よりも小さい中間画像に対応する複数の乗算係数に拡大し、その後、中間画像に対応する複数の乗算係数を原画像に対応する複数の乗算係数に拡大してもよい。

この場合、制限部１０５は、拡大後の乗算係数を制限する。制限部１０５は、複数回の拡大のうち、どの拡大後の乗算係数を制限しても構わない。例えば、拡大部１０４が、２回拡大する場合、制限部１０５は、１回目の拡大後の乗算係数を制限しても構わないし、２回目の拡大後の乗算係数を制限しても構わない。

［１−３．制限部１０５の変形例１］
次に、制限部１０５の変形例１を説明する。本変形例では、上限制限用の１次元特性テーブルおよび下限制限用の１次元特性テーブルのそれぞれは、２次元ＬＵＴにおいて所定のボケ信号値に対応する１次元特性テーブルである。

例えば、制限部１０５によって設定される上限制限用の１次元特性テーブルは、図３における２次元ＬＵＴにおいて、最も暗い明るさを示す０のボケ信号値に対応する１次元特性テーブルでもよい。また、制限部１０５によって設定される下限制限用の１次元特性テーブルは、図３における２次元ＬＵＴにおいて、最も明るい明るさを示す２５５のボケ信号値に対応する１次元特性テーブルでもよい。

そして、制限部１０５は、原画像における処理対象画素の画素値に応じて各１次元特性テーブルから制限値を算出する。

［１−４．制限部１０５の変形例２］
次に、制限部１０５の変形例２を説明する。本変形例では、制限部１０５は、１次元特性テーブルに近似する関数（近似関数）で乗算係数を制限する。

例えば、制限部１０５は、本実施の形態または変形例１で設定される上限制限用または下限制限用の１次元特性テーブルに近似する２次関数を算出する。制限部１０５は、１次元特性テーブルに近似する２次関数を算出する際、最小二乗法によって２次関数の係数を算出してもよい。

その際、１次元特性テーブルの形状が２次関数の形状と大きく異なる場合、制限部１０５は、画素値が所定値よりも大きい範囲のみにおいて最小二乗法で２次関数の係数を算出してもよい。これは、制限の効果は画素値が大きいほど顕著であり、画素値が大きい範囲のみを用いることで十分な効果が得られるためである。

図５は、本変形例における制限範囲を示す図である。図５には、上限制限用の２次関数５０１と、下限制限用の２次関数５０２とが示されている。上限制限用の２次関数５０１と、下限制限用の２次関数５０２とは、それぞれ、１次元特性テーブルに近似する関数を算出することによって得られる。

［１−５．補足説明］
以上のように、本実施の形態おける画像処理装置１００は、原画像を取得し、取得した原画像を縮小し、縮小画像を生成する。ここで、縮小画像は、原画像よりも解像度が低い画像である。また、画像処理装置１００は、処理対象画素の画素値に乗算される乗算係数の特性情報に基づき、縮小画像に含まれる各画素に対して乗算係数を算出する。なお、特性情報では、処理対象画素の画素値と、処理対象画素の周囲の明るさに関連する明るさ状態とに従って、乗算係数が規定されている。

そして、画像処理装置１００は、縮小画像に含まれる複数の画素について算出した複数の乗算係数を１回以上拡大することにより、原画像に含まれる複数の画素に対応する複数の乗算係数を算出する。また、画像処理装置１００は、縮小画像に含まれる複数の画素について算出した複数の乗算係数を拡大する際、少なくとも１回の拡大後に得られる乗算係数を制限する。そして、画像処理装置１００は、制限された乗算係数を原画像に含まれる複数の画素のうち対応する画素の画素値に乗算することで、原画像を補正する。

上記において、画像処理装置１００は、拡大後の乗算係数を制限する場合、拡大後の乗算係数が対応する画素の画素値および特性情報により設定される範囲内に、拡大後の乗算係数を制限する。

［１−６．効果等］
縮小画像の複数の画素に対応する複数の乗算係数を生成し、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大することで、原画像の複数の画素に対応する複数の乗算係数が効率的に生成される。

一方、縮小画像で算出された複数の乗算係数を拡大することで得られる複数の乗算係数は、縮小によって絵柄が潰れた領域において、原画像を縮小せずに原画像に対する２次元ＬＵＴ処理で得られる複数の乗算係数と大きく異なる場合がある。これにより、暗い領域内の小さく明るい領域は、狙った明るさよりも過度に明るくなる、または、狙った明るさよりも過度に暗くなる場合がある。

この現象は、原画像の縮小画像を用いて縮小画像の複数の画素に対応する複数の乗算係数を算出し、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大することに起因して発生する。より具体的には、この現象は、縮小によって絵柄が潰れることにより発生する。

図６Ａ、図６Ｂおよび図７を用いて過度に明るくなる現象の具体例を示す。図６Ａは原画像の画素値を示す図である。暗い画素値（０）を持つ大領域の中に、若干明るい画素値（８０）を持つ中領域があり、更に中領域の中にかなり明るい画素値（２００）を持つ小領域がある。この場合、縮小画像では、縮小処理により、図６Ｂのように、大領域および中領域の情報は残るが、小領域は中領域の中に潰れてしまう。

この縮小画像に対して、乗算係数生成部１０３は、０を示すボケ信号値、８０を示す画素値を用いて２次元ＬＵＴで乗算係数を算出する。その結果、図７のように、乗算係数は１．６として算出される。原画像の小領域の画素値（２００）に１．６を乗算することにより得られる画素値は、画素値の最大値である２５５を大きく超える３２０になり、小領域が過剰に明るくなってしまう。

一方、本実施の形態では、縮小画像に対して乗算係数が１．６として算出され、拡大部１０４で拡大処理が行われた後、制限部１０５が乗算係数を上限によって制限する。具体的には、例えば、２００を示す画素値に対して０を示すボケ信号値の１次元特性テーブルを用いて規定される１．１を示す上限で乗算係数を制限する。結果として補正後の画素値は２２０になる。すなわち、画像処理装置１００は、縮小により潰れた小領域が過剰に明るくなることを防ぐことができる。

次に、図８Ａ、図８Ｂおよび図９を用いて過度に暗くなる現象の具体例を示す。図８Ａは原画像の画素値を示す図である。最も明るい画素値（２５５）を持つ大領域の中に、暗めの画素値（８０）を持つ中領域があり、更に中領域の中に明るい画素値（２００）を持つ小領域がある。この場合、縮小画像では、縮小処理により、図８Ｂのように、大領域および中領域の情報は残るが、小領域は中領域の中に潰れてしまう。

この縮小画像に対して、乗算係数生成部１０３は、２５５を示すボケ信号値、８０を示す画素値を用いて２次元ＬＵＴで乗算係数を算出する。その結果、図９のように、乗算係数は０．３として算出される。しかし、原画像の小領域の画素値（２００）に０．３を乗算することにより得られる画素値は６０であり、原画像の小領域が過剰に暗くなってしまう。

一方、本実施の形態では、縮小画像に対して乗算係数が０．３として算出され、拡大部１０４で拡大処理が行われた後、制限部１０５が乗算係数を下限によって制限する。具体的には、例えば、２００を示す画素値に対して２５５を示すボケ信号値の１次元特性テーブルを用いて規定される０．９を示す下限で乗算係数を制限する。結果として補正後の画素値は１８０になる。すなわち、画像処理装置１００は、縮小により潰れた小領域が過剰に暗くなることを防ぐことができる。

したがって、画像処理装置１００は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量を削減することによって生じる画質劣化の抑制とを両立させることができる。

（実施の形態２）
以下、図１０および１１を用いて、本実施の形態を説明する。

［２−１．構成］
図１０は、本実施の形態における画像処理装置１０００の構成を示す模式図である。

本実施の形態における画像処理装置１０００は、画像取得部１００１、縮小画像生成部１００２、乗算係数生成部１００３、拡大部１００４、画像補正部１００５、および、制限部１００６を備える。拡大部１００４、画像補正部１００５、および、制限部１００６は、補正部１０１０を構成する。

本実施の形態における画像取得部１００１、縮小画像生成部１００２、乗算係数生成部１００３、拡大部１００４、および、画像補正部１００５は、実施の形態１における画像取得部１０１、縮小画像生成部１０２、乗算係数生成部１０３、拡大部１０４、および、画像補正部１０６と同様の構成要素であるため、説明を省略する。

制限部１００６は、画像補正部１００５で原画像に含まれる画素毎に補正した画素値を補正前の原画像の画素値に応じた上限、下限またはその両方で制限する。

以下、図面を参照しながら制限部１００６における具体的な動作について説明する。

制限部１００６は、補正前の原画像における対象画素の画素値に応じて補正後の画素値の範囲を算出し、算出された範囲に補正後の画素値を制限する。具体的には、制限部１００６は、乗算係数生成部１００３で用いられた２次元ＬＵＴから生成された１次元特性テーブルに基づいて補正後の画素値の範囲を算出する。より具体的には、制限部１００６は、２次元ＬＵＴを１次元に射影した後、処理対象画素の画素値を乗算して得られる１次元特性テーブルを作成する。

例えば、上限制限用の１次元特性テーブルは、処理対象画素の画素値に対応する０から２５５までの各画素値に対して、０から２５５までの複数のボケ信号値に対応する複数の乗算係数のうち最大の乗算係数を画素値に乗算することで得られる画素値で構成される。同様に、下限制限用の１次元特性テーブルは、処理対象画素の画素値に対応する０から２５５までの各画素値に対して、０から２５５までの複数のボケ信号値に対応する複数の乗算係数のうち最小の乗算係数を画素値に乗算することで得られる画素値で構成される。

図１１は、上限制限用の１次元特性テーブル、および、下限制限用の１次元特性テーブルに基づく制限範囲の例を示す図である。

図１１に示された１次元特性テーブル１１０１は、上限制限用の１次元特性テーブルである。１次元特性テーブル１１０１は、処理対象画素の画素値に対応する０から２５５までの各画素値に対して、０から２５５までの複数のボケ信号値に対応する複数の乗算係数のうち最大の乗算係数を画素値に乗算することで得られる画素値で構成される。

図１１に示された１次元特性テーブル１１０２は、下限制限用の１次元特性テーブルである。１次元特性テーブル１１０２は、処理対象画素の画素値に対応する０から２５５までの各画素値に対して、０から２５５までの複数のボケ信号値に対応する複数の乗算係数のうち最小の乗算係数を画素値に乗算することで得られる画素値で構成される。

処理対象画素の補正後の画素値が、処理対象画素の補正前の画素値から得られる上限よりも大きい場合、制限部１００６は、補正後の画素値を上限に置き換える。また、処理対象画素の補正後の画素値が、処理対象画素の補正前の画素値から得られる下限よりも小さい場合、制限部１００６は、補正後の画素値を下限に置き換える。

［２−２．補足説明］
以上のように、本実施の形態において、画像処理装置１０００は、原画像を取得し、取得した原画像を縮小し、縮小画像を生成する。ここで、縮小画像は、原画像よりも解像度が低い画像である。また、画像処理装置１０００は、処理対象画素の画素値に乗算される乗算係数の特性情報に基づき、縮小画像に含まれる各画素に対して乗算係数を算出する。なお、特性情報では、処理対象画素の画素値と、処理対象画素の周囲の明るさに関連する明るさ状態とに従って、乗算係数が規定されている。

そして、画像処理装置１０００は、縮小画像に含まれる複数の画素について算出した複数の乗算係数を拡大することにより、原画像に含まれる複数の画素に対応する複数の乗算係数を算出する。そして、画像処理装置１０００は、原画像の画素毎に、その画素に対応する乗算係数をその画素の画素値に乗算することにより、原画像を補正する。

ここで、画像処理装置１０００は、原画像の画素に対応する乗算係数を原画像の画素の画素値に乗算して得られる画素値を、原画像の画素の画素値と特性情報とに基づいて算出される範囲内に制限する。つまり、画像処理装置１０００は、乗算で得られる画素値を、元の画素値と特性情報とに基づいて算出される範囲内に変更し、変更された画素値を出力する。

［２−３．効果等］
縮小画像で算出された複数の乗算係数を拡大することで得られる複数の乗算係数は、縮小によって絵柄が潰れた領域において、原画像を縮小せずに原画像に対する２次元ＬＵＴ処理で得られる複数の乗算係数と大きく異なる場合がある。これにより、暗い領域内の小さく明るい領域は、狙った明るさよりも過度に明るくなる、または、狙った明るさよりも過度に暗くなる場合がある。

この現象は、原画像の縮小画像を用いて縮小画像の複数の画素に対応する複数の乗算係数を算出し、縮小画像の複数の画素に対応する複数の乗算係数を原画像の複数の画素に対応する複数の乗算係数に拡大することに起因して発生する。より具体的には、この現象は、縮小によって絵柄が潰れることにより発生する。

これに対して、本実施の形態における画像処理装置１０００は、補正前の画素値と、乗算係数の算出に用いられた特性情報とに応じた範囲に、補正後の画素値を制限する。これにより、画像処理装置１０００は、最終的に出力される画素値を特性情報に応じた適切な範囲内に収めることができる。そして、画像処理装置１０００は、縮小によって絵柄が潰れた領域が、過度に明るくなる、または、過度に暗くなる現象を防ぐことができる。

したがって、画像処理装置１０００は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

（結び）
以上、本開示における画像処理装置（画像処理装置１００、１０００）は、それぞれが明るさに関連する画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する。具体的には、例えば、画像処理装置は、暗部補正または明部補正を行う。また、画像処理装置は、生成部（乗算係数生成部１０３、１００３）および補正部（補正部１１０、１０１０）を備える。

生成部は、予め定められた関係を用いて、原画像の縮小画像の複数の画素に対応する複数の係数を生成する。ここで、予め定められた関係は、処理対象画素の画素値と、処理対象画素の周囲の明るさに関連する明るさ状態と、処理対象画素の画素値を補正するための係数とに対して予め定められた関係である。

補正部は、縮小画像の複数の画素に対応する複数の係数から原画像の複数の画素に対応する複数の係数を生成する。その際、補正部は、縮小画像の複数の画素に対応する複数の係数に対して、複数の係数を第１画像の複数の画素に対応する複数の係数から第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用する。そして、補正部は、原画像の複数の画素に対応する複数の係数を用いて原画像の複数の画素の複数の画素値を補正する。

補正部は、少なくとも１回の拡張処理における第２画像の画素に対応する係数と、原画像の画素の補正後の画素値とのうち、少なくとも一方を予め定められた関係に従う制限範囲に制限する。すなわち、補正部は、第２画像の画素に対応する係数、または、原画像の画素の補正後の画素値が、制限範囲に入るように、第２画像の画素に対応する係数、または、原画像の画素の補正後の画素値を制限する。

これにより、画像処理装置は、原画像を補正するための係数の生成にかかる処理量の削減と、処理量の削減によって生じる画質劣化の抑制とを両立させることができる。

例えば、制限範囲は、第２画像の画素の画素値を処理対象画素の画素値として用いて予め定められた関係に従って得られる係数の範囲でもよい。補正部は、少なくとも１回の拡張処理において、このような制限範囲に、第２画像の画素に対応する係数を制限してもよい。

この場合の制限範囲は、処理対象画素の画素値に対応する画素値毎に、画素値と、複数の明るさ状態と、予め定められた関係とに従って、複数の明るさ状態に対応して得られる複数の係数のうち最大の係数を上限として有してもよい。また、この場合の制限範囲は、処理対象画素の画素値に対応する画素値毎に、画素値と、複数の明るさ状態と、予め定められた関係とに従って、複数の明るさ状態に対応して得られる複数の係数のうち最小の係数を下限として有してもよい。

また、例えば、制限範囲は、原画像の画素の画素値を処理対象画素の画素値として用いて予め定められた関係に従って得られる係数の範囲における各係数を用いて原画像の画素の画素値を補正することで原画像の画素の補正後の画素値が得られる範囲でもよい。補正部は、このような制限範囲に、原画像の画素の補正後の画素値を制限してもよい。

この場合の制限範囲は、処理対象画素の画素値に対応する画素値毎に、予め定められた関係に従って複数の明るさ状態に対応して得られる複数の係数のうち最大の係数で、画素値を補正することで得られる補正後の画素値を上限として有してもよい。また、この場合の制限範囲は、処理対象画素の画素値に対応する画素値毎に、予め定められた関係に従って複数の明るさ状態に対応して得られる複数の係数のうち最小の係数で、画素値を補正することで得られる補正後の画素値を下限として有してもよい。

また、例えば、制限範囲は、上限と下限とのうち上限のみを有していてもよい。すなわち、上限と下限とのうち上限のみが規定されていてもよい。過大な乗算係数または画素値がもたらす主観的な画質劣化は、過小な乗算係数または画素値がもたらす主観的な画質劣化よりも大きい。したがって、画像処理装置は、乗算係数または画素値を適切な上限で制限することで、主観的な画質劣化を適切に抑制することができる。

図１２は、本開示における画像処理装置の主な動作を示すフローチャートである。まず、生成部は、予め定められた関係を用いて、縮小画像に対応する係数を生成する（Ｓ１２０１）。次に、補正部は、縮小画像に対応する係数から原画像に対応する係数を生成し、原画像に対応する係数を用いて原画像の画素値を補正する（Ｓ１２０２）。

図１３は、図１２に示された補正処理（Ｓ１２０２）の具体的な動作を示すフローチャートである。まず、補正部は、縮小画像を第１画像に設定し、第１画像よりも大きい画像を第２画像に設定する（Ｓ１３０１）。次に、補正部は、第１画像に対応する係数から第２画像に対応する係数を生成する（Ｓ１３０２）。次に、補正部は、予め定められた関係に従う範囲に第２画像に対応する係数を制限する（Ｓ１３０３）。

そして、第２画像に設定された画像が原画像でない場合（Ｓ１３０４でＮｏ）、補正部は、第２画像に設定された画像を第１画像に設定し、第１画像よりも大きい画像を第２画像に設定する（Ｓ１３０５）。そして、補正部は、第１画像に対応する係数から第２画像に対応する係数を生成する処理（Ｓ１３０２）から、再度、処理を繰り返す。

一方、第２画像に設定された画像が原画像である場合（Ｓ１３０４でＹｅｓ）、補正部は、原画像に対応する係数を用いて、原画像の画素値を補正する（Ｓ１３０６）。次に、補正部は、予め定められた関係に従う範囲に補正後の画素値を制限する（Ｓ１３０７）。

なお、制限処理（Ｓ１３０３、Ｓ１３０７）は、毎回行われなくてもよい。制限処理は、全体の動作において１回のみ行われてもよい。制限処理が１回のみ行われる場合でも、制限処理が行われない場合に比べて、画質劣化が抑制される。

また、画像処理装置は、本開示における複数の構成要素を選択的に備えてもよいし、画像処理方法は、本開示における複数の処理を選択的に含んでもよい。

また、本開示における各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示における各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ（ＣＰＵ）、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、本開示における各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。

また、本開示における各処理を実行するためのプログラムが、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。

また、本開示における画像処理装置は、空間視覚処理装置と表現されてもよい。また、本開示における画像処理方法は、空間視覚処理方法と表現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、原画像の明るさを画素毎に補正する画像処理方法に適用可能である。具体的には、液晶ディスプレイ、ＢＤプレーヤまたはネットワークプレーヤ等のような画像処理装置に、本開示は適用可能である。

１００、１０００ 画像処理装置
１０１、１００１ 画像取得部
１０２、１００２ 縮小画像生成部
１０３、１００３ 乗算係数生成部
１０４、１００４ 拡大部
１０５、１００６ 制限部
１０６、１００５ 画像補正部
１１０、１０１０ 補正部
２０１ ボケ信号生成部
２０２ 乗算係数決定部
３０１、３０２、３０３、３０４、３０５、４０１、４０２、１１０１、１１０２ １次元特性テーブル
３０６ 点
５０１、５０２ ２次関数

Claims (8)

1. それぞれが明るさに関連する画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理方法であって、
   処理対象画素の画素値と、前記処理対象画素の周囲の明るさに関連する明るさ状態と、前記処理対象画素の画素値を補正するための係数とに対して予め定められた関係を用いて、前記原画像の縮小画像の複数の画素に対応する複数の係数を生成する生成ステップと、
   前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、前記原画像の複数の画素に対応する複数の係数を用いて前記原画像の複数の画素の複数の画素値を補正する補正ステップとを含み、
   前記補正ステップでは、前記縮小画像の複数の画素に対応する複数の係数に対して複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記補正ステップでは、さらに、前記１回以上のうち少なくとも１回の拡張処理における前記第２画像の画素に対応する係数と、前記原画像の画素の補正後の画素値とのうち、少なくとも一方を前記予め定められた関係に応じた制限範囲に制限する
   画像処理方法。
2. 前記補正ステップでは、前記第２画像の画素の画素値を前記処理対象画素の画素値として用いて前記予め定められた関係に従って得られる係数の範囲である前記制限範囲に、前記第２画像の画素に対応する係数を制限する
   請求項１に記載の画像処理方法。
3. 前記補正ステップでは、前記原画像の画素の画素値を前記処理対象画素の画素値として用いて前記予め定められた関係に従って得られる係数の範囲における各係数を用いて前記原画像の画素の画素値を補正することで前記原画像の画素の補正後の画素値が得られる範囲である前記制限範囲に、前記原画像の画素の補正後の画素値を制限する
   請求項１に記載の画像処理方法。
4. 前記制限範囲は、前記処理対象画素の画素値に対応する画素値毎に、当該画素値と、前記明るさ状態にそれぞれが対応する複数の明るさ状態と、前記予め定められた関係とに従って、前記複数の明るさ状態に対応して得られる複数の係数のうち最大の係数を上限として有する
   請求項２に記載の画像処理方法。
5. 前記制限範囲は、前記処理対象画素の画素値に対応する画素値毎に、当該画素値と、前記明るさ状態にそれぞれが対応する複数の明るさ状態と、前記予め定められた関係とに従って、前記複数の明るさ状態に対応して得られる複数の係数のうち最小の係数を下限として有する
   請求項２または４に記載の画像処理方法。
6. 前記制限範囲は、前記処理対象画素の画素値に対応する画素値毎に、当該画素値と、前記明るさ状態にそれぞれが対応する複数の明るさ状態と、前記予め定められた関係とに従って、前記複数の明るさ状態に対応して得られる複数の係数のうち最大の係数で当該画素値を補正することで得られる補正後の画素値を上限として有する
   請求項３に記載の画像処理方法。
7. 前記制限範囲は、前記処理対象画素の画素値に対応する画素値毎に、当該画素値と、前記明るさ状態にそれぞれが対応する複数の明るさ状態と、前記予め定められた関係とに従って、前記複数の明るさ状態に対応して得られる複数の係数のうち最小の係数で当該画素値を補正することで得られる補正後の画素値を下限として有する
   請求項３または６に記載の画像処理方法。
8. それぞれが明るさに関連する画素値を有する複数の画素で構成される原画像の明るさを画素毎に補正する画像処理装置であって、
   処理対象画素の画素値と、前記処理対象画素の周囲の明るさに関連する明るさ状態と、前記処理対象画素の画素値を補正するための係数とに対して予め定められた関係を用いて、前記原画像の縮小画像の複数の画素に対応する複数の係数を生成する生成部と、
   前記縮小画像の複数の画素に対応する複数の係数から前記原画像の複数の画素に対応する複数の係数を生成することで前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、前記原画像の複数の画素に対応する複数の係数を用いて前記原画像の複数の画素の複数の画素値を補正する補正部とを備え、
   前記補正部は、前記縮小画像の複数の画素に対応する複数の係数に対して複数の係数を第１画像の複数の画素に対応する複数の係数から前記第１画像よりも大きい第２画像の複数の画素に対応する複数の係数に拡張する拡張処理を１回以上適用して、前記縮小画像の複数の画素に対応する複数の係数を前記原画像の複数の画素に対応する複数の係数に拡張し、
   前記補正部は、さらに、前記１回以上のうち少なくとも１回の拡張処理における前記第２画像の画素に対応する係数と、前記原画像の画素の補正後の画素値とのうち、少なくとも一方を前記予め定められた関係に応じた制限範囲に制限する
   画像処理装置。

Images