JP2011135429A - 画像処理装置、画像表示装置、及び画像処理方法 - Google Patents

Abstract

【課題】 画像に行われた様々な変換過程によって失った、本来の被写体の色を復元する。
【解決手段】
入力画像の画素から、特定の色相に近い色相の画素値を有する第１の画素群を抽出する第１の抽出部と、前記第１の画素群から、彩度の軸及び明度の軸を有する平面上で特定の基準線からの距離が大きい位置にある第２の画素群を抽出する第１の抽出部と、前記第２の画素群に対して複数の色変換処理を行う第１の変換部と、前記色変換処理を行った前記第２の画素群の、彩度の軸及び明度の軸を有する平面上で配置が直線的なほど高い信頼度を算出する信頼度算出部と、前記複数の色変換処理のうち、前記信頼度が高い前記色変換処理を選択する選択部と、前記選択された色変換処理を前記入力画像に対して行い出力画像を得る第２の変換部と、を備えたことを特徴とする画像処理装置。
【選択図】 図１

Description

本発明は、色を復元した画像を生成する画像処理装置、画像表示装置及び画像処理方法に関する。

放送波の規格による画像信号が表現できる色再現範囲(色域)は、人間が肉眼で認識できる自然界の色の領域よりも狭い範囲である。例えば、デジタル放送では表現できる色域はITU-R BT.709で定義されており、これは可視光の中でも限られた範囲の色域である。つまり、被写体がBT.709の色域外の色を有していた場合、撮影された被写体の色の情報がITU-R BT.709の色域内に圧縮された放送波が作成される。

一方、近年カラー画像表示装置の発展により、デバイスの色域が広がりつつある。有機ELや広色域LCDなどを用いた表示装置が普及しつつある。例えば、LCDにおいては、光源やカラーフィルタの改善によって、色純度を高くすることが可能となった。あるいは、LCDのバックライトに用いるカラーＬＥＤの原色を増やすことで広い色域を実現することができる。これらの表示装置ではITU-R BT.709よりも広い範囲の色を表現することができる。これらの広い色域の表示装置で放送波を表示する際に、放送波の画像信号に忠実に表示を行うと広色域で表示できるメリットが失われてしまう。また、ITU-R BT.709の色域を表示装置が再現可能な色域に単純に伸張すると、被写体の色と異なる不自然に鮮やかな色に表示されてしまっていた。

そこで、色域が圧縮された画像信号から元来の被写体の色を推定し、復元する技術が必要となる。色が規定された色域を超えて飽和してしまった画素のRGBの各信号値が、最大値である255と圧縮される場合がある。その場合、飽和しなかった場合の画素値を、二色性反射モデルを用いて推定する方法が提案されている（例えば、非特許文献１）。しかしながら、被写体が撮影され、撮影された画像の色域が圧縮される過程では様々な変換が行われる。前述の、色域が飽和した場合の画素値のクリッピングだけでなく、gamut mappingや、トーンカーブによる変換などが行われる場合もある。入力された画像信号には、どのような変換が行われたかを示す情報は付されていないため、色を復元することは困難であった。

「飽和画像からの色復元 〜 1,2色飽和の場合 〜」玉置貴規・和田俊和・鈴木一正（和歌山大） 信学技報, vol. 108, no. 484, PRMU2008-243, pp. 19-24, 2009年3月.

上記従来技術では、被写体が撮影され、撮影された画像の色域が圧縮される過程で失った色域を正しく復元することができなかった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、画像に行われた様々な変換過程によって失った、本来の被写体の色の復元を目的とする。

上記課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像の画素から、特定の色相に近い色相の画素値を有する第１の画素群を抽出する第１の抽出部と、前記第１の画素群から、彩度の軸及び明度の軸を有する平面上で特定の基準線からの距離が相対的に大きい位置にある第２の画素群を抽出する第２の抽出部と、前記第２の画素群に対して複数の色変換処理を行って、複数の第3の画素群を得る第１の変換部と、前記第３の画素群のそれぞれについて、彩度の軸及び明度の軸を有する平面上で配置が直線的なほど高い信頼度を算出する信頼度算出部と、前記複数の色変換処理のうち、前記信頼度に従って前記色変換処理を選択する選択部と、前記選択された色変換処理を前記入力画像に対して行い出力画像を得る第２の変換部とを備える。

また、本発明の一態様に係る画像表示装置は、前記画像処理装置と、前記画像処理装置から得られる前記出力画像を表示する表示部を備える。

画像に行われた様々な変換過程によって失った、本来の被写体の色の復元ができる。

第１の実施形態の画像表示装置を示す図。 第１の実施形態の画像処理装置の動作を示す図。 第１の抽出部の動作を示す図。 第２の抽出部の動作を示す図。 彩度の軸と明度の軸で表現される平面上の画素分布を示す図。（Ａ）入力画像の例。（Ｂ）彩度軸と平行な基準線の例。（ｃ）画素値の分布と平行になるような基準線の例。 信頼度算出部の動作を示す図。 彩度の軸と明度の軸で表現される平面上の画素分布を示す図。（Ａ）拡散反射成分の割合が高い画素分布の例。（Ｂ）角度θの例。

以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

（第１の実施形態）
図１は、本実施形態の画像表示装置を示す図である。本実施形態の画像表示装置は、画像処理装置１００と、表示部１８を有する。画像処理装置１００は、第１の抽出部１１、第２の抽出部１２、第１の変換部１３、テーブル１４、信頼度算出部１５、選択部１６、第２の変換部１７を有する。

第１の抽出部１１は、入力画像の画素から、特定の色相に近い色相の画素値を有する第１の画素群を抽出する。入力画像として、本実施形態では放送波で受信した信号を復号した画像について例示する。

第２の抽出部１２は、第１の画素群から、彩度の軸及び明度の軸を有する平面上で特定の基準線からの距離が大きい位置にある第２の画素群を抽出する。

第１の変換部１３は、第２の画素群に対して複数の色変換処理を行う。色変換処理を行って得た画素の集合を第３の画素群と呼ぶ。

テーブル１４は、第１の変換部１３が行う色変換の変換テーブルを複数保持する。なお、テーブル１４に保持された変換テーブルは表示部１８の特性に応じて定めることが好ましい。

信頼度算出部１５は、第３の画素群の、彩度の軸及び明度の軸を有する平面上で配置が直線的なほど高い信頼度を算出する。

選択部１６は、複数の色変換処理のうち、前記信頼度が高い前記色変換処理を選択する。

第２の変換部１７は、選択部１６が選択した色変換処理を前記入力画像に対して行い出力画像を得る。

表示部１８は、出力画像を表示する。表示部１８は、画像等の情報を表示可能であればよい例えば、液晶パネル、有機ＥＬパネルや、プラズマディスプレイパネル、ＣＲＴ等を用いてもよい。なお、入力画像の画像信号の色域よりも広範囲な色域を有するデバイスが好適である。例えば、有機ＥＬパネルや、多原色のカラーＬＥＤのバックライトを有するLCDがある。

図２は、本実施形態の画像処理装置の動作を示す図である。
Ｓ２０１では、第１の抽出部１１が、入力画像の画素から、第１の画素群の抽出を行う。詳細な処理については図３で詳述する。
Ｓ２０２では、第２の抽出部１２が、第１の画素群から、第２の画素群の抽出を行う。詳細な処理については図４で詳述する。
Ｓ２０３では、第１の変換部１３が、テーブル１４に格納された複数の変換テーブルのうち１つの変換テーブルに基づいた変換処理を、第２の画素群の画素値に対して行い、第３の画素群を得る。変換処理は、明度、彩度、色相を含む画素値のテーブル変換処理である。
放送波の規格による画像信号が表現できる色再現範囲(色域)は、人間が肉眼で認識できる自然界の色の領域よりも狭い範囲である。例えば、デジタル放送では表現できる色域はITU-R BT.709で定義されており、これは可視光の中でも限られた範囲の色域である。つまり、被写体がBT.709の色域外の色を有していた場合、撮影された被写体の色の情報がITU-R BT.709の色域内に圧縮された放送波が作成される。色の圧縮を行う手法には、色域が飽和した場合の画素値のクリッピング、gamut mapping（異なる色域への変換処理）、トーンカーブによる変換などがある。例えば一般的に用いられるgamut mappingの手法は複数あるが、ある程度限られた数となっている。これは、変換の前後で起こる変化の特徴が二律背反となることが多いためである。例えば、色の恒常性を重視すると階調の破綻が起きやすく、色相が維持しやすい写像では明度が変化しやすい。そのため、用途や好みなどに応じて複数の手法から１の変換が圧縮時に選択されることが多い。テーブル１４には、一般的に用いられるクリッピング、gamut mapping（異なる色域への変換処理）、トーンカーブによる変換等の圧縮処理の逆変換を示す変換テーブルを複数格納する。

Ｓ２０４では、信頼度算出部１５は、Ｓ２０３で行われた変換処理の信頼度を算出する。詳細な処理については図５で詳述する。
Ｓ２０５では、選択部１６が、テーブル１４に格納された全ての変換テーブルで変換が行われたか判定する。全ての変換テーブルで変換が行われていない場合（Ｓ２０５，Ｎｏ）、Ｓ２０３に戻り、第１の変換部１３はまだ変換処理を行っていない変換テーブルを用いた変換処理を行う。全ての変換テーブルで変換が行わた場合（Ｓ２０５，Ｎｏ）、Ｓ２０６に進む。
Ｓ２０６では、選択部１６が、Ｓ２０３で行われた変換処理のうち、信頼度の高い変換処理を選択する。
Ｓ２０７では、第２の変換部１７が、入力画像の各画素に対してＳ２０６で選択した変換処理を行い、出力画像を得る。出力画像を表示部１８に出力して変換処理を修了する。

図３は、Ｓ２０１の処理を詳細に記したフローチャートである。図３の処理は全て第１の抽出部１１が行う。
Ｓ３０１では、入力画像の各画素の色相を算出する。例えば、入力画像がＲＧＢ信号の場合には色相Ｈは、次の式によって算出することが出来る。

Ｓ３０２では、Ｓ３０１で求めた色相に従って、各画素をグループに分類する。本実施形態では、色相をＮ等分したＮ個の色相のグループを定めるものとする。色相の分割は等分でなくともかまわない。各画素が、どのグループのカバーする色相に該当するかを判定し、該当する色相のグループに投票する。

Ｓ３０３では、入力画像の全画素で色相のグループの判定を行ったかを判断する。全画素で判定が行われた場合（Ｓ３０３，Ｙｅｓ）にはＳ３０４に進む。全画素で判定が行われていない場合（Ｓ３０３，Ｎｏ）にはＳ３０１に戻る。
Ｓ３０４では、投票された画素数が最も多い色相のグループを選択する。
Ｓ３０５では、Ｓ３０３で選択されたグループに属する画素を第１の画素群として抽出し、第２の抽出部１２に送り、Ｓ２０１の処理を修了する。

画像に数２に示す二色性反射モデルが成り立つと仮定すると、物体の色（color）は拡散反射成分（Diffuse）と鏡面反射成分（Specular）の線形和で表すことができる。

α、βはスカラ値であり、color、Diffuse、Specularは3次元のベクトルである。鏡面反射成分は光源の色を反射している成分であり、ホワイトバランスの調整が十分に成された画像であれば白色とみなせる。それに対し、拡散反射成分は被写体の表面素材に応じて定まる色であり、未知の色である。白色と未知の色の線形和で表される色は、同じ色相となる。そこで、色相が近い画素同士は同じ表面素材であると近似することができる。第１の画素群は、同じ表面素材の画素を近似的に抽出した画素群とみなすことが出来る。

図４は、Ｓ２０２の処理を詳細に記したフローチャートである。図４の処理は全て第２の抽出部１２が行う。
Ｓ４０１では、第１の画素群の画素値を彩度と明度に変換する。彩度の軸と明度の軸で表現される平面上に各画素の値をマッピングする。
図５（Ａ）は、彩度の軸と明度の軸で表現される平面上に第１の画素群をマッピングした例を示す図である。

Ｓ４０２では、彩度の軸と明度の軸で表現される平面上にあらかじめ定められた基準線に基づいて第１の画素群の画素を各分割領域に分類する。
図５（Ｂ）（Ｃ）は、それぞれ異なる基準線で分割領域を定めた場合の分類例を示す図である。基準線は、明度軸と交差する軸であれば良い。あらかじめ定められたものであっても、第１の画素群の分布によって定めるものであっても構わない。分割領域は、基準線と直交する線で分割した例について図示しているが、直交しない線であっても構わない。図５（Ｂ）に示したように彩度軸と平行な基準線を設けた場合、各分割領域で明度が低い画素を抽出することになる。図５（Ｂ）の例では、距離の算出をする際の計算量を低減することが出来る。一方、図５（Ｃ）では画素値の分布と平行になるように基準線を定義している。
Ｓ４０３では、処理対象の分割領域を１選択し、選択された分割領域に属する各画素の基準線からの距離を算出する。

Ｓ４０４では、分割領域内の画素であって、基準線からの距離が大きい画素から所定数（Ｎ個）の画素を抽出する。Ｎは、分割領域毎に異なる値であっても構わない。また、分割領域に属する画素の数に応じて可変の値であっても構わない。抽出された画素が、第２の画素群となる。

Ｓ４０５では、全ての分割領域でＳ４０４の画素の抽出が行われたか判断する。すべての分割領域で抽出が行われていない場合には（Ｓ４０５，ＮＯ）、Ｓ４０３に戻る。すべての分割領域で抽出が行われた場合には（Ｓ４０５，Ｙｅｓ）、抽出された第２の画素群を第１の変換部に送り、Ｓ２０２の処理を終了する。

第２の抽出部１２が行う抽出処理は、表面素材が同じと推定される第１の画素群の中から拡散反射成分の割合が鏡面反射成分に対して高いと推定される画素の抽出に相当する。数２に示した二色性反射モデルが画像に対して成り立つ場合、表面素材が同じ画素をプロットすると、拡散反射成分の割合が高い画素は、図７（Ａ）に示すように分布の下端に集中しやすい。これは、鏡面反射成分が白色であるため、鏡面反射成分の割合の低さが明度の低さと等価になることに起因する。このように、画素値の分布域の中で下端にある複数の画素を拡散反射成分の割合が鏡面反射成分に対して高いと推定される画素、つまり第2の画素として、上記の方法で抽出する。

図６は、Ｓ２０４の処理を詳細に示したフローチャートである。Ｓ２０４の各ステップは全て信頼度算出部１５が行う。
Ｓ６０１では、Ｓ２０３で変換して得た第３の画素群の各画素と原点（彩度−明度空間ににおける原点）が成す直線と、彩度軸との角度θを算出する。
図７（Ｂ）は、ある画素ｉと原点が成す直線と、彩度軸との角度θの例を示す図である。

Ｓ６０２では、θの総和にＳ６０１で算出したθを加算する。
Ｓ６０３では、第３の画素群の全画素でθの算出を行ったかを判断する。全画素で算出が行われた場合（Ｓ６０３，Ｙｅｓ）にはＳ６０４に進む。全画素で判定が行われていない場合（Ｓ６０３，Ｎｏ）にはＳ６０１に戻る。
Ｓ６０４では、θの総和を第３の画素群の数で割ってθの平均を算出する。
Ｓ６０５では、Ｓ６０１で算出した各画素のθと、Ｓ６０４で算出したθの平均との差分の２乗を全画素について算出する。
Ｓ６０６では、第３の画素群の全画素について算出した差分の２乗の総和を求める。
Ｓ６０７では、Ｓ６０６で算出した２乗差分の総和を第３の画素群の数で割る。Ｓ６０７で算出した値から、Ｓ２０３で適用した変換の信頼度を求める。

ここで、θは第３の画素群の各画素と原点を結ぶ直線と彩度軸とが成す角度であり、iは各画素に対するインデックスであり、第３の画素群の画素数がnであり、信頼度はRである。

入力画像に対して、gamut mapping等の色域の圧縮処理が行われていない場合は、画素値の分布は拡散反射成分を示す画素群が直線状に分布する。一方、gamut mapping等の色域の圧縮処理が行われると、画素群の分布が歪んでしまうことが多い。そこで、第３の画素群の分布が直線的か否かに応じて、Ｓ２０３で行われた変換の信頼度を算出している。画像に二色性反射モデルが成り立つ場合、拡散反射成分の割合が多い画素は直線状に分布する。これは、数２におけるβがほぼゼロに近似できるため、拡散反射成分の定数倍で表されることからも明らかである。つまり、自然画像として正しい画素値の分布であれば、拡散反射成分の割合が多い画素が直線状に分布することが尤もらしい。θの分散が小さいほど、平均の角度に分布が集中していることを意味する。この角度が等しい、あるいは近い画素値は、直線状に分布することになる。

本実施形態の画像処理装置では、画像に対して行われた未知の変換が何であるかを推定する技術であり、未知の変換に最も近い変換を変換候補の中から信頼度に応じて決定している。なお、テーブル１４が保持する変換テーブルの候補が多いほど推定精度が高くなる傾向がある。また、画像に対して行われた変換が一般的ではない場合に備えて、入力画像をそのまま出力する無変換も候補として信頼度をＳ２０４で算出することで、変換の誤推定による悪影響を低くしやすい。

（第２の実施形態）
第１の抽出部１１において、画素同士の色相の差分だけでなく、画像内での空間的な距離を考慮して第１の画素の抽出を行ってもよい。表面素材が同じであるということは、物理的に連続であることから、空間的に近い画素ほど同じ素材である可能性が高まる。従って、第１の抽出部１１は、Ｓ３０５において選択された色相の画素の画像内での空間的な位置の平均を算出する。算出された平均位置との距離が所定の閾値以内の画素を第１の画素として抽出する。これによって、同一素材画素の抽出の精度が高くなるため、信頼度の算出をより正確に行うことができる。

（第３の実施形態）
本実施形態では、第１の抽出部１１において複数の第１の画素群の抽出を行う点が第１の実施形態と異なる。

第２の抽出部１２は、第１の画素群ごとに第１の実施形態と同様に拡散反射画素の抽出を行う。信頼度算出部１５は、各第１の画素群の直線度合いによって信頼度を算出する。各第１の画素群の数を重みとした重み付き平均を信頼度として算出する。具体的には、以下の数３によって算出する。

画素値の復元において理想的なトーンマッピングであれば、全ての表面素材について拡散反射画素が直線状に分布するはずである。より多くの表面素材について、拡散反射画素の直線性を評価するほうが、サンプル数が多いため精度が高くなる。よって、この構成では、トーンマッピングの信頼度の計算精度が高くなるため、トーンマッピングの決定がより正確になる効果が得られる。特定の物体が大きく拡大されて表示されている画像でない限り、画像中に複数の表面素材が存在することは多いと考えられる。そこで、複数の表面素材に対応する画素の抽出と、信頼度の算出を行うことでより画像の正しい色の復元することができる。

（第４の実施形態）
第１の抽出部１１において入力画像を複数のブロックに分割し、各ブロックでＳ２０１〜Ｓ２０４の処理を行ってもよい。前述したように、複数の表面素材について信頼度を算出するほうが変換の推定精度が高くなる。また、同じ表面素材は空間的に近い位置にあることが多い。これらの特性を利用して入力画像を複数のブロック領域に分割し、同じブロックに属する画素は空間的に近いため同じ表面素材とみなすことが出来る点を利用したものである。各ブロックについて算出した信頼度を平均して求めた変換の信頼度を用いてＳ２０６で変換処理の選択を行う。

（その他の変更例）
１．第１の抽出部１１において、入力画像の画素数を減らして処理を行う。具体的には、入力画像から等間隔にサンプリングした画素のみで構成された画像を入力画像の代替として第１の抽出部１１に入力する。ただし、第２の変換部１７では第１の実施形態と同様に元の入力画像を用いる。この実施形態では、処理量が削減される効果がある。

２．第１の実施形態に加えてシーンチェンジ検出を行い、シーンチェンジが検出された次のフレームで第１の実施形態と同様の処理を行う。他のフレームでは、同じシーンで適用された変換テーブルを用いて第２の変換部１７による変換処理を行う。この変更例によれば、処理量の削減と、フリッカーの抑制による画質向上の効果が得られる。

３．信頼度算出部１５で算出される信頼度が全て閾値以下である場合、選択部１６において無変換に相当するトーンマッピングが選択されるようにする。この変更例では、誤ったトーンマッピングを行ってしまうことによって画質が劣化することを抑制する効果が得られる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上記の各実施形態の画像鮮鋭化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。

第１の抽出部１１、第２の抽出部１２、第１の変換部１３、テーブル１４、信頼度算出部１５、選択部１６、第２の変換部１７、表示部１８

Claims (8)

1. 入力画像の画素から、特定の色相に近い色相の画素値を有する第１の画素群を抽出する第１の抽出部と、
   前記第１の画素群から、彩度の軸及び明度の軸を有する平面上で特定の基準線からの距離が相対的に大きい位置にある第２の画素群を抽出する第２の抽出部と、
   前記第２の画素群に対して複数の色変換処理を行って、複数の第3の画素群を得る第１の変換部と、
   前記第３の画素群のそれぞれについて、彩度の軸及び明度の軸を有する平面上で配置が直線的なほど高い信頼度を算出する信頼度算出部と、
   前記複数の色変換処理のうち、前記信頼度に従って前記色変換処理を選択する選択部と、
   前記選択された色変換処理を前記入力画像に対して行い出力画像を得る第２の変換部と、
   を備えたことを特徴とする画像処理装置。
2. 前記第２の抽出部は、彩度の軸及び明度の軸を有する平面上を分割した複数の領域毎に、前記基準線から距離の大きい所定数の画素を前記第２の画素群として抽出することを特徴とする請求項１記載の画像処理装置。
3. 前記信頼度算出部は、彩度の軸及び明度の軸を有する平面上で前記色変換処理を行った前記第２の画素群の各画素の位置と原点とを結んだ線分と、前記彩度の軸または前記明度の軸とがなす角の分散が大きいほど前記信頼度を低く算出することを特徴とする請求項２記載の画像処理装置。
4. 前記第１の抽出部は、入力画像の画素数を減らした画像から前記第１の画素を抽出することを特徴とする請求項３記載の画像処理装置。
5. 前記選択部は、前記信頼度の全てが所定の基準以下である場合、前記入力画像を変換せずに出力させる処理を選択することを特徴とする請求項３記載の画像処理装置。
6. 前記第１の抽出部は、前記特定の色相に近い色相の画素値を有する画素群を抽出し、抽出された画素群の画像上での平均位置からの距離が所定の基準以下の画素を前記第１の画素群として抽出することを特徴とする請求項3記載の画像処理装置。
7. 請求項１記載の画像処理装置と、
   前記画像処理装置から得られる前記出力画像を表示する表示部と、
   を備えたことを特徴とする画像表示装置。
8. 入力画像の画素から、特定の色相に近い色相の画素値を有する第１の画素群を抽出する、
   前記第１の画素群から、彩度の軸及び明度の軸を有する平面上で特定の基準線からの距離が相対的に大きい位置にある第２の画素群を抽出する、
   前記第２の画素群に対して複数の色変換処理を行って、複数の第3の画素群を得る、
   前記第３の画素群のそれぞれについて、彩度の軸及び明度の軸を有する平面上で配置が直線的なほど高い信頼度を算出する、
   前記複数の色変換処理のうち、前記信頼度に従って前記色変換処理を選択する、
   前記選択された色変換処理を前記入力画像に対して行い出力画像を得る、
   ことを特徴とする画像処理方法。

Images