JP2011182001A

JP2011182001A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2011182001A
Application number: JP2010041370A
Authority: JP
Inventors: Yasuhiro Takeda; 泰弘武田; Shunichi Kato; 俊一加藤
Original assignee: Chuo University
Current assignee: Chuo University
Priority date: 2010-02-26
Filing date: 2010-02-26
Publication date: 2011-09-15

Abstract

【課題】人間の視覚特性を数理モデル化した画像処理を提供すること。
【解決手段】画像処理装置１００は、色補正処理部１０６を備え、色補正処理部１０６は、デジタル画像の画像データを取得し、前記画像データのＲＧＢ成分を取得して、輝度値と、Ｒ成分とＧ成分との色差およびＹ成分とＢ成分との色差を含む２種の色差値で表される表色系に変換する表色系変換部１１２と、表色系変換部１１２が生成した輝度値および２種の色差値それぞれについて設定される上限しきい値および下限しきい値と比較し、比較の結果に応答して補正処理を適用する画素データと補正処理を適用しない画素データとを識別し、色差補正処理を実行する色差補正フィルタ１１８とを含む。
【選択図】図２

Description

本発明は、デジタル画像に対して人間の色覚特性を反映するように画像処理を行う画像処理技術に関する。

近年、デジタルカメラの普及により、デジタル画像に触れる機会が増えている。また、通信ハードウェアおよび通信プロトコルの高性能化に伴い、ネットワークを介して送受信されるデジタル画像も増加し、また近年では、人工衛星などから地球上に送付されるデータもデジタル画像化され、高解像度化・高画質化が期待されている。上述したように、カラー画像をデジタル画像から復調して人間が視覚的に認識できるように表示する技術は一般的なものとなっている。

デジタル画像を、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ装置）、ＰＤ（プラズマディスプレイ）、ＥＬＤ（エレクトロルミネッセンス装置）などで人間が知覚可能なモードの復調する技術が一般化している。しかしながら、デジタル画像は、原イメージをデジタル化する際の条件や環境、例えば、写真を撮る際の環境、被写体の状態により、原イメージがデジタル画像上で知覚できない画像として取得される場合も多い。また、デジタル画像が遠距離をワイヤレス通信で伝送されてきた場合に、ノイズによる攪乱や、Ｓ／Ｎ比の低下などにより、原イメージをできるだけ明瞭に表示させることも必要となる場合もある。さらに、色覚も個人差があり、少数グループに帰属される色覚特性を備える人も存在する。したがって、種々の目的で生成されるデジタル画像を人間にとって知覚しやすくする技術が必要とされていた。

従来の画像処理アルゴリズムの多くは、画像の輝度成分や色差の分布に基づく統計的な性質を利用する手法が多く用いられている。従来の手法は、大局的にデジタル画像の色調補正を行うことでは充分な効果を得ることができるものの、デジタル画像の局所的な画像特徴量を充分に考慮し、また局所的な画像特性に基づく色調補正を行うものではない。例えば、画像強調手法として一般的なヒストグラム平坦化法は、数理的には画像特徴量の強調が行われているが、人間の視覚メカニズムとの対応関係に乏しいため、元の画像の印象までも大きく変えてしまうことが多い。

また、例えば、特開２００５−１３４８６６号公報（特許文献１）には、カラー画像表示装置、色補正方法および色補正プログラムが記載されている。特許文献１は、入力カラー映像信号の３成分の階調レベルの大小関係を判定し、上記入力カラー映像信号が上記３成分の大小関係で決まる６つのパターンのいずれに属するかによって異なる演算処理を行うカラー表示装置であって、上記３成分のうち階調レベルが最小の成分を除く２つの成分それぞれに対して、上記３成分の各階調レベルの大きさに応じて値が変化する変数を用いて演算処理を行うことで、ある成分の彩度や輝度の上限値を超えてしまい、期待通りの色補正を行うことができないという問題点を解決している。

特開２００５−１３４８６６号公報

特許文献１では、入力された３成分、すなわちＲＧＢ成分のレベルの大小関係を判定し、ＲＧＢ成分の大小関係で与えられる色特性パターンに割り当てた色補正演算を実行することにより、色補正のスケーラビリティ、すなわち予測性を確保している。しかしながら、入力された３成分の大小を都度比較して色補正を行うことが必要とされること、大局的な色補正を行うことを目的とすること、および汎用フィルタとしての適用性に問題があることなどの不都合があった。

本発明は、上述した従来技術の問題点に鑑みてなされたものであり、人間の視覚特性の一つである側抑制という働きに着目し、受容野の働きに基づいた輝度成分、色成分の数理モデル化を行うことにより、オリジナル画像の視覚的印象を保ちつつ、知覚性を改善する画像補正技術を提供することを目的とする。

本発明は、上記問題点を解決するために、側抑制という人間の視覚特性を数理的にモデル化し、当該数理モデルの上でハイライト部およびシャドウ部における受容野の認識性を向上させるように、輝度および色差を補正する。なお、本発明で側抑制とは、神経細胞が光を受けて興奮作用を起こすと、その周辺の細胞が抑制されて明暗対比、色対比の違いが強調される機構をいう。この視覚受容器における視神経節細胞の色光に対する拮抗作用は、明暗対比型および色対比型の受容野の働きが知られている（L． Spilmann and J． S．Werner、“Visual Perception， the Neurophysiological Foundations”， Academic Press， 1990．）。

本発明では、上述した側抑制を数理モデル化して色調の補正に適用するものであり、補正に際しては、画像データの視感覚上、受容野の機能が充分に発揮されている領域、すなわち、中間的な輝度彩度の部分については画像補正を行わず、原画像を保存し、設定された上限しきい値および下限しきい値の外部領域の色データについて、輝度および色差補正を行う。

輝度補正および色差補正は、受容野の飽和を解消させる方向に、低輝度側（nega）では、輝度を高め、高輝度側（posi)では、輝度を低下させるように行う。また、色差についても同様に、上限しきい値を超える場合には、色差を増加させ、下限しきい値未満では色差を増加させるように行う。輝度および色差の補正においては、補正による局所的な色バランスのズレを抑制し、画像全体の色調に対して調和した補正を可能とするように、局所領域の色調と、画像全体の色調とを同時に取り込んで処理を行う。

本発明によれば、人間の視神経細胞の情報伝達機能を数理モデル化した色調補正が可能となり、画像処理による画像全体の印象を損なうことなく、画像の知覚性を改善することを可能とし、輝度および色差を並列的に処理することを可能する画像処理装置、画像処理方法およびプログラムが提供できる。また、本発明の画像処理装置は、アプリケーション・プログラムのフィルタ・モジュールとして適用できる他、ASIC(Application Specified Integrated Circuit)のモジュールとしても適用することができる。

本実施形態の画像処理装置１００の機能ブロック図。本実施形態に色補正処理部１０６の詳細な機能ブロック図。輝度補正フィルタ１１６が適用する補正係数δposiおよびδnegaの値を使用した補正処理の機能を示した図。式（５）で使用する入力画像のパラメータ関係を示した図。本実施形態の色差補正に使用する色差補正曲線の実施形態を示した図。本実施形態の色調補正法の画像データへの適用を、従来方法（ヒストグラム平坦化法）と比較して示した図。図６に示した画像Ａ−Ｂ−Ｃの順でＲＧＢの存在割合を上から、R、G、Bの順で示した図。本実施形態の第２の実施形態の画像処理装置８００の機能ブロック図。本実施形態の画像処理装置が実行する色変換処理のフローチャートを示した図。輝度補正フィルタのみを適用してエッジ強調効果の観点から認識性の検討結果を示した図。被験者１４人の評価平均値を、それぞれ鮮やかさ、見やすさ、操業評価の観点からアンケートして得た結果を示した図。

以下、本発明を実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理装置１００の機能ブロック図である。画像処理装置１００は、パーソナルコンピュータなどとして実装されており、デジタルカメラやネットワーク（有線またはワイヤレスを問わない。）を介して画像データを取得する。

パーソナルコンピュータは、そのマイクロプロセッサ（MPU）として、PENTIUM（登録商標）、XEON（登録商標）、ATOM（登録商標）、CORE
2 DUO（登録商標）、i7（登録商標）、PENTIUM（登録商標）互換チップなど、CISCアーキテクチャのマイクロプロセッサ、または、POWERPC（登録商標）などのRISCアーキテクチャのマイクロプロセッサを、シングルコア・プロセッサまたはマルチコア・プロセッサの形態として含んでいてもよい。そのOSとしては、WINDOWS（登録商標）シリーズ、UNIX（登録商標）、LINUX（登録商標）、MAC OSなど、これまで知られたいかなるOSを使用することができる。

また、画像処理装置１００は、インターネットなどのネットワークを介して画像データにアクセスするために、Internet Explorer（登録商標）、Mozilla（登録商標）、Opera（登録商標）、FireFox（登録商標）などのブラウザ・ソフトウェアを実装し、HTTPやFTPなどのファイル転送プロトコルに基づいたファイル伝送を可能としている。

画像処理装置１００が取得することができる画像データは、ラスタデータでもよく、圧縮処理されたデータでもよい。具体的な画像データのフォーマットとしては、例えば、ビットマップ、GIF、TIFF、PNG、JPEG、JPEG2000、MOVING-JPEG、EMF、PDFなどを挙げることができるが、この他にも、これまで知られた圧縮方式で圧縮された画像データを挙げることができる。さらに本実施形態では、画像データとして、MPEG、MPEG-2、MPEG-4、H.264などの動画像／マルチメディア・データも、適切なコーデックを使用することで対応可能である。上述した動画像およびマルチメディア・データに対応するためには、エンコーダ前に本実施形態の色補正処理部を追加して、エンコーディングを行えばよい。また、デコード時には特に追加の機能モジュールを利用せずとも、本実施形態の色補正を施した動画像を再生することができる。

画像処理装置１００は、外部インタフェース１０２と、画像RAM１０４と、色補正処理部１０６と、グラフィックス・ドライバ１０８とを含んでいる。外部インタフェース１０２は、画像データを取得するためのバス構成に依存して、例えばUSB、ATA、ATA−PI、IDE、ULTRA−ATA、SERIAL−ATA、IEEE-1394などのデータを送受信するインタフェースとすることができる。画像RAMは、画像データをバッファリングする他、色補正処理部１０６に対して画像データを構成する画素データを画像データセットとして送付し、色補正処理を可能とさせている。

なお、画像データは、適切なヘッダデータの他、多数の画素データから構成されており、画素データは、位置座標データ（x、y）および色データ(R、G、B）のセットとして構成されている。色データは、説明する実施形態では、０〜２５５までの８ビット分解能を有するものとして説明するが、特定の用途のため、１２ビット分解能まで拡張することもできる。

色補正処理部１０６は、画素データのうち、色データ(R、G、B)を取得して、本実施形態の色補正処理を適用し、画像データの元の色データ(R、G、B)を、補正後データ(R、G、B)で置換してグラフィックス・ドライバ１０８に送付する。グラフィックス・ドライバ１０８は、色補正後の画像データを受け取ってデジタルデータを、NTSCなどのアナログ規格にコンバートし、VGA、XGAなどのバスを介してLCDといったディスプレイ装置にカラー画像を表示する。なお、グラフィックス・ドライバ１０８については、これまで知られたいかなるボード、カード、または集積回路でも利用することができる。画像データまたは色補正後の画像データは、以後の利用の目的で、ハードディスク装置(HDD)１１０に格納してもよい。

図２は、本実施形態に色補正処理部１０６の詳細な機能ブロックを示す。図２に示すように、色補正処理部１０６は、表色系変換部１１２と、しきい値比較部１１４とを含んでいる。表色系変換部１１２は、表色系逆変換部１２０とは逆の表色系変換を実行する。本実施形態では、表色系変換部１１２は、(R、G、B)セットを取得して、本実施形態で使用する生体刺激を反映させるため、人間の視細胞の応答特性に関連付けて、イエロー(Y)の成分を導入し、V（輝度）、C_R-G（RおよびGのコントラスト差）、およびC_Y-B(YおよびBのコントラスト差）C_R-Gを使用する表色系（V、C_R-G、C_Y-B)を使用する。下記式（１）に本実施形態の表色系変換部１１２および表色系逆変換部１２０による表色系変換処理のためのマトリックスを示す。なお、Ｙ成分の値は、本実施形態では、簡略化した線形関係、C_Y=1／4（R+G)で与える。

上記式（１）中、TMは、変換マトリックスであり、TM^-1は、変換マトリックスの逆行列である。

人間の視覚細胞において色は、明暗対比および色対比により行われると考えられている。本実施形態では、明暗対比は、輝度Vに依存してモデル化できる。そして、色対比は、色差C_R-GおよびC_Y-Bを使用してモデル化することができ、モデル化は、上述したL． Spilmannらの文献および加藤らの文献（加藤，坂本，小林：“逆Ｓ字型変換による濃淡画像の画像強調”，信学技報，PRMU-96-54，1996．）にしたがって行うことができる。上述した明暗対比のモデル化は、簡単に表現すると、色認識は、ポジティブ画像の濃度と、ネガティブ画像の濃度の和により行われ、色認識の心理的強さが、輝度最小値V_Lおよび輝度最大値V_Uからの輝度差の対数に比例するというモデル化である。以上のモデル化に基づいて、輝度は、下記式（２）で表すことができる。

なお、上記式（１）中、V_Uは、輝度最大値を示し、V_Lは輝度最小値を示す。さらに、色補正処理部１０６は、しきい値比較部１１４を含んでおり、しきい値比較部１１４は、表色系変換部１１２が計算した輝度および色差を、設定した上限しきい値および下限しきい値とそれぞれ比較し、輝度および色差の各値が、上限しきい値と下限しきい値との間にある場合には、補正処理を施すことなく、表色系逆変換部１２０に送付する。

一方、計算した輝度および色差の値が上限しきい値または下限しきい値を超える場合、輝度値および色差値をそれぞれ輝度補正フィルタ１１６および色差補正フィルタ１１８に送付して、補正処理を適用する。本実施形態では、輝度補正および色差補正は、輝度補正フィルタ１１６および色差補正フィルタ１１８を使用して並列処理される。補正処理後の輝度値および色差値は、表色系逆変換部１２０に送付され、表色系（V、C_R-G、C_Y-B)から、表色系(R、G、B)に変換され、加算部１２２において、入力側に設けられた減算部１２４で分離された位置座標データが追加されて、補正後画像データとしてグラフィックス・ドライバ１０８に送付され、ディスプレイ装置で表示が行われる。

以下、本実施形態の色補正処理部１０６が含む輝度補正フィルタ１１６および色差補正フィルタ１１８について詳細に説明する。本実施形態の補正処理は、輝度補正処理と、色差補正処理と、を並列的に異なるモジュールで実行する。

Ａ．輝度補正処理
輝度補正フィルタ１１６は、輝度補正処理を、上述したモデルを使用し、上記式（２）の輝度Vの補正値Vaとして、入力された輝度値V（画素データから直接得られる値）に、低輝度側で増加、高輝度側で低下する視覚細胞の刺激特性をシミュレーションする補正を導入し、補正輝度Vaを下記式（３）で与える。

上記式（３）中、Vaは、補正輝度値であり、０〜２５５の値で与えられ、Vは、画素データのRGB値から式（１）を使用して計算された８ビットの入力輝度値である。また、δposiおよびδnegaは、高輝度側および低輝度側の補正係数であり、δposiが負値、δnegaが正値を有するように、画像全体の輝度および設定した範囲の画像データでの局所的な輝度分布を利用して決定する。

図３は、輝度補正フィルタ１１６が適用する補正係数δposiおよびδnegaの値を使用した補正処理の機能を示す。図３（ａ）が、補正係数δposi、δnegaの輝度値への補正の影響を示す図であり、図３（ｂ）は、Va−V特性を示すグラフである。図３（ａ）に示すように、δnegaは、低輝度側の輝度を高める方向にVaの値を生成し、δposiは、高輝度側の輝度を低める方向に作用する。すなわち、δposiおよびδnegaは、それぞれ刺激値が飽和に近くなっている領域の刺激値を高めるように補正を行う。

一方、図３（ａ）の輝度が概略リニアに変化している部分は、最も画像品質に影響を与える領域と考えられ、また視覚細胞への刺激も良好なレスポンスで追従すると考えられる。このため、本実施形態では、上記式（３）による輝度補正は、下記上限しきい値および下限しきい値よりもそれぞれ、posi側およびnega側で行われる。

なお、上限しきい値および下限しきい値の比較は、しきい値比較部１１４が実行し、しきい値比較部１１４は、以下の判断条件式（４）を使用して補正処理の切り換えを実行する。

図３（ｂ）は、上記式（４）が適用される下でのVa−V特性を概略的に示したグラフである。図３では、破線が無補正の場合のVa-V特性であり、実践が、本実施形態の視覚特性を考慮した補正処理により生成されるVa-V特性である。図３では、上記式（４）で与えられるNthおよびPthの位置を示す。NthおよびPthで示される位置では、階調特性に僅かな不連続が発生するが、各しきい値付近で滑らかに接続するような関数を導入し、輝度特性の段差をできるだけ滑らかに接続させることもできる。

下記式（５）は、上記式（３）が含むδnegaおよびδposiを計算するための計算式を示す。

上記式（５）中、Vは、入力画像データの輝度成分、V_gmeanは画像全体の輝度成分の平均、V_lmax、V_lminそしてV_lmeanはそれぞれ局所領域での最大値、最小値、平均値である。α(posiおよびnega)、β(posiおよびnega)、ｃ(posiおよびnega)、l(posiおよびnega)は、それぞれ任意の変数で、全体の輝度バランスを考慮して補正量を調整するパラメータ設定のために用いられ、一旦設定すれば、固定値とすることができる。

図４には、式（５）で使用する入力画像のパラメータ関係を示す。式（５）は、次のように考えることで導き出される。画像全体の特徴のうち、positiveな成分は、V_U-Vで得られる。これを画像全体および注目画素を中心として画素セットでの局所的な成分を利用して補正する。具体的には、図４の(a)は画像全体のパラメータ関係を示しており、領域Iがnegativeな領域であり、領域IIがpositiveな領域である。領域IIの幅が大きければ入力画像は、明るめな画像ということを示す。

この時、領域IIの成分は、positiveな要素となり、positiveな要素の割合は、(V_gmean-V_L)／(V_U-V_L)となる。図４(b)は、画像の局所的なパラメータ関係を示す。局所的なパラメータ関係も同様で、局所的に明るい画像の時は領域IVが広くなり、それに対応して領域IIIが狭くなり、要素の割合を表すと(V_lmean-V_lmin)／(V_lmax-V_lmin)となる。画像全体と局所的な要素と比例定数ｃ（posiおよびnega）を導入して寄与率を調整することにより、全体の輝度に対する局所領域の輝度割合を含ませた補正量を与える上記式（５）が得られる。

Ｂ．色差補正処理
色差補正は、色覚細胞において、認識工学的な観点から見れば当該色を知覚している細胞の数ということができるので、下記式（６）で与えられるロジスティック関数の一般解を基本形式として使用する。

上記式（６）中、Ｋ、ｍは、定数でありCR-G、CY-Bは、色差である。m=1、K=1の場合、シグモイド関数を与える。

本実施形態では、上記式（６）に含まれる定数Ｋおよび色差を、画像全体に対する局所領域の色差の割合を考慮して、輝度補正の場合と同様に、画像全体に対する注目画素の寄与率を反映させるように、下記式（７）で定式化する。

上記式（７）は、以下の視覚認識の特性を考慮し、全体画像と局所画像のバランスを考慮しながら、飽和近傍の色差について、（i）人間は色に対する変化には鈍感であり、その変化を強調し、(ii)全体的な色の印象に対して、局所的な色の印象を強調し、さらに、(iii)錐体と光の波長の関係を考慮するとR、G、B、Yは強調すべき色である、としてロジスティック関数の解に、CR-GおよびCY-Bのダイナミックレンジを反映させることで定式化する。

これらを踏まえると、R、G、B、Yを色差で強調するために、上述した関数に対して、局所的な領域での色の変化(R-Gでいえば、(C_R-Glmean-C_R-Gldev)から全体的な色の変化(R-Gでいえば、−(C_R-Ggmean-C_R-Ggdev)を減算することで、人間にとって鮮やかな色の強調補正とすることができると考えられる。

また、図５には、本実施形態の色差補正に使用する色差補正曲線の実施形態を示す。ロジスティック関数の解として与えられる上記式（７）は、局所領域での色差と、画像全体での色差との差が指数関数部分とされていて、ロジスティック関数の解は、画像全体の色差平均５１０を中心として、図５では、Ｒ−Ｇ色差として説明する関係上、Ｒカーブ５２０と、Ｇカーブ５３０として与えられている。Ｒカーブ５２０およびＧカーブ５３０は、画像全体および局所領域の色差の差に応じて、補正量に対応して、補正量を与える出力色差レベルを変化させるように色相軸方向左右に沿って、シフトする。

上述した色差補正に対応して、色差補正フィルタ１１８は、下記式（８）で与えられる色差補正処理を実行する。なお、記載の簡略化の観点から、上記式（７）の各関数を、それぞれ、LC_R-G()、LC_Y-B()と記述する。また、C_Y-Bについての処理は、省略する。

図６は、本実施形態の色調補正法の画像データへの適用を、従来方法（ヒストグラム平坦化法）と比較して示した図である。図６において、画像Ａは原画像であり、原画像中には、文字イメージ「鯖」と、文字イメージ「鮎」とが埋め込まれている。図６の画像Ａに示すように、原画像では、埋め込まれた文字イメージは、目視でまったく確認できていない。一方、図６の画像Ｂは、従来方法であるヒストグラム平坦化法を適用して画像処理を行った結果得られた補正画像であり、文字イメージ「鯖」および「鮎」が目視で認識可能なまでに色調補正されている。ヒストグラム平坦化法は、明度最大値に（所定の明度を有する画素数画像）／全画素数を乗じた値で、処理対象の原明度を置き換える処理を使用する。このため、画像コントラストの低い領域では画素数に比例してコントラストが高まり、逆にコントラストの高い領域では、画素数に比例してコントラストが低下するように明度補正が行われる。

一方、図６の画像Ｃは、本実施形態の画像処理を画像Ａの原画像に適用したときに得られた補正画像である。画像Ｃに示されるように、本実施形態で得られた補正画像は、文字イメージの認識性という点では、ヒストグラム平坦化法に比較して低くなっているものの、背景の明度および色調が原画像に近く、その観点から言えば、ヒストグラム平坦化法で得られた補正画像が、背景についても明度が補正されてしまい、視覚的印象を原画像に対して大きく変化しまっていることが示される。

この理由は、本実施形態の画像補正方法は、高輝度および低輝度側、低彩度および高彩度を選択的に色調補正を行い、中間輝度および中間彩度の画素データについては、色調補正を行わないことで、画像のグローバルな印象を可能な限り保存することが可能なためである。一方、従来法では、色調の視覚心理的な影響を考慮することなく、明度および当該明度の画素の存在割合で、一律に補正を行うため、画像の印象が大きく影響を受けることになるためである。また、ヒストグラム平坦化法では、出現頻度ピーク付近の色調では、階調が伸張され、出現頻度の低い色調では、階調が圧縮される傾向にあり、画像全体の階調特性が、画像の色調特性に依存して予測不能に変動するためである。

図６に示した画像は、背景がブルーとなっているが、より定量的に色成分の分布を検討するため、図６に示した３画像のＲＧＢ成分の輝度分布を画像処理アプリケーション（Adobe(株)、Photoshop（登録商標）5.0）を使用してヒストグラム化した。その結果を図７に示す。

図７は、図６に示した画像Ａ−Ｂ−Ｃの順でＲＧＢの存在割合を上から、R、G、Bの順で示したものである。図７では、原画像（画像Ａ）に近い輝度分布を有するほど、原画像に近い色特性を有するということができる。図７に示されるように、原画像では、R、Gの成分は、少なく、Bの成分がほぼ１００％で存在する。しかしながら、ヒストグラム平坦化法で生成された画像Bについて得られた輝度分布は、色調にかかわらず、存在する画素についての輝度および色相を存在割合に等しくするように一律に補正してしまうので、本来存在しないはずのR成分およびG成分が無視できない程度に出現している。このため、画像Bについての視覚的印象は、原画像に非類似となってしまう。

一方、画像Cについては、原画像Aに存在しない色成分が出現しているものの、画像Bに比較して原画像に存在しない色成分の出現ははるかに少ないことが示される。すなわち、本実施形態の画像処理方法を適用した方が、より原画像の視覚的印象を残すことに成功しているということが結論される。

図８は、本実施形態の第２の実施形態の画像処理装置８００の機能ブロック図である。図８に示した画像処理装置８００は、ボードまたはカードとして実装するに好適な実施形態である。図８に示す画像処理装置８００は、補正処理部８１０と、グラフィックス・ドライバ８２０とを含んだ、例えばグラフィック・ボードまたはグラフィック・カードとして実装される。補正処理部８１０は、バッファメモリ８１１と、画像RAM８１２と、色補正処理部８１３とを含んでいる。画像処理装置８００は、画像処理装置８００の外部から取得した画像データを補正処理部８１０に渡す。色補正処理部８１３は、画像データをバッファメモリ８１１にバッファリングしながら、画像RAM８１２に画像データを転送する。

色補正処理部８１３は、画像RAM８１２に蓄積された画像データのうち、処理のために利用する画素セットを読み込んで、表色系変換処理、しきい値比較処理、輝度補正・色差補正処理、および表色系逆変換処理を実行し、生成した補正画像データをグラフィックス・ドライバ８２０に渡す。グラフィックス・ドライバ８２０は、デジタルデータをNTSCフォーマットなどのアナログ画像に変換し、VGA／XGA規格のバスを介してディスプレイ装置に補正画像を表示させている。

なお、ユーザが補正後画像を蓄積することを希望する場合、色補正処理部８１３が生成した画像データは、HDD８３０に蓄積され、以後の表示などのために利用される。図８に示した実施形態の画像RAM８１２および色補正処理部８１３は、グラフィックス・ドライバ８２０などから分離構成された集積回路(Integrated Circuit)として実装することができる。また、色補正処理部８１３は、グラフィックス・チップの１機能モジュールとして集積回路内に形成されてもよい。

図９は、本実施形態の画像処理装置が実行する色変換処理のフローチャートを示す。図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で、画像データを取得する。ステップＳ９０２で、画像フォーマットを検査し、圧縮画像の場合には、画像データを伸張する。ステップＳ９０３では、画像データから画素データを抽出し、表色系変換処理を実行する。

ステップＳ９０４で、輝度値Ｖおよび色差値C_R-G、C_Y-Bがそれぞれ上下限しきい値内の値であるか否かを判断し、上下限しきい値内であれば
（ｙｅｓ）、ステップＳ９０５で、表色系逆変換部に送付し、RGBデータに戻し、バッファリングする。一方、上下限しきい値の外部にある値の場合（ｎｏ）、ステップＳ９０８で輝度補正フィルタおよび色差補正フィルタを呼び出し、色調補正を実行し、制御をステップＳ９０５に渡す。

ステップＳ９０６では、バッファリングしたデータを逆変換し、RGBデータを生成する。ステップＳ９０７では、生成したRGBデータと位置座標データとを結合し、補正後画像データを生成した後、グラフィックス・ドライバに送付し、ディスプレイ装置における表示のための処理を開始させる。

図９に示した処理は、アプリケーションプログラムとして実装することもできるし、図８に示したように専用LSI(ASIC)として実装することもでき、特定の実装形式に限定されるものではない。

以下、本発明を、具体的な実施例を用いて詳細に説明する。本発明の画像処理方法を、視認性の評価、画像印象の評価、および色覚障害に対する視認性の改善の３つの評価項目を用いて評価した。比較対照の画像処理方法は、ヒストグラム平坦化法とした。評価項目の条件などについては、以下の通りとした。

１−１．視認性の評価
当該評価は、文字が見やすくなっていても画像の印象を大きく変えてしまうようであれば画像特徴が大きく変わってしまうので、文字の見やすさおよび視覚的な印象の両方を同時に評価することが必要となる。このため、視認性の評価は、原画像と補正後画像をボランティア（１４人）に提示し、両方の画像に書いてある文字の見やすさおよび原画像の視覚的な印象が保たれているかを、７段階評価（文字については、１:全く見えない〜７:よく見える、印象については１：まったく違う〜７：まったく変わらない）した。

評価対象画像は、(i)実施例を適用した補正後画像、(ii)ヒストグラム平坦化（CIE1976, La^＊b^＊空間）法、および(iii)原画像を使用した。また、使用した画像は、R、G、B、Yの４色×6:合計２４枚を使用し、これらに対してそれぞれ評価を行った。ヒストグラム平坦化法の色空間としてCIE1976, La^＊b^＊色空間を用いた理由は、実施例が人間の視覚特性を数理的モデルで表現したものであり、RGB表色系をそのまま利用すると、色差および輝度の分離を行うことが複雑で、直接的な比較に適しないが、La^＊b^＊色空間は、色を輝度と色差に分け非線形で表現している目の対数的な感応性の模倣を目的とした色空間であり、輝度および色差に分離して色補正を適用する本実施例との比較に適切と考えられるためである。

１−２．実験結果（視認性）
被験者１４人を対照として２４画像を評価してもらい、その結果をアンケートとして集計した。視認性についてのアンケート結果を表１に、画像印象についてのアンケート結果を表２にそれぞれ示す。

表１に示す視認性の結果を見ると、BおよびYの結果は、実施例よりもヒストグラム平坦化法の方が高い評価を得ているものの、RおよびGに関しては、実施例の方が高スコアが得られた。また、R、G、B、Yすべての視認性評価のスコア平均値を見ると、ヒストグラム平坦化法は、３．９０、実施例では、３．９４となり、Wilcoxon検定の結果、T値は、９６であった。データ数が２０のとき（４つの画像には差が見られなかったためである。）、T_0.05は、52であることから２つの方法には、有意差は認められないという結果が得られた。このことは、本実施例は、視認性については、ヒストグラム平坦化と同等の処理能力を持つことが結論された。

視認性における印象の評価結果を見てみると、すべての色、画像において本実施例の方が高い評価を得ていることがわかる。R、G、B、Yすべての視認性評価の平均値を見てみると、ヒストグラム平坦化は２．１０であるのに対し、本実施例では５．５２となっている。また、Wilcoxon検定の結果はT＝０であった。T_0.05が８１であることから本実施例の方が印象を保っているということが出来る。

２−１．エッジ強調
本発明の画像補正において、輝度補正フィルタのみを適用すれば、画像の輪郭情報を強調することに相当する。そこで、本実施例では、視認性の評価にも利用した原画像に対して、輝度補正フィルタのみを適用してエッジ強調効果の観点から認識性検討した。その結果を図１０に示す実験では、原画像（図１０（ａ））と、原画像に対して輝度補正フィルタを適用した補正後画像（図１０（ｂ））に対してエッジ抽出フィルタをかけ、それぞれの画像における画像エッジの出現頻度をヒストグラムとして取得し、画像処理によってエッジ成分が増えているかを検証した。

２−２．評価結果
入力画像を、図１０（ａ）、（ｂ）とし、それぞれのエッジを抽出してエッジ強度を横軸とし、縦軸に同程度のエッジ強度の存在頻度を、エッジ頻度として、ヒストグラムを取得した結果を、図１１の下側のグラフとして示す。原画像および補正後画像のヒストグラムを見比べてみると、補正後画像のエッジ成分は、原画像に比較して分布が広がっており、この結果、元画像にはなかったエッジ成分が増えている事が示された。また、一方、視認性の結果評価において、図１０（ｂ）の画像は、元の画像の印象が良好に保たれているという評価を受けたものである。これらのことから、本発明において輝度補正フィルタを適用することでも、埋め込まれた画像の認識性を改善することができることが示された。

３−１．画像印象の評価
画像印象の評価実験は、人物、動物、風景、建築物を含む３０画像を使用した。これらの画像に対して本発明の画像処理方法を適用した出力画像と、元画像とを比較し、画像の鮮やかさ見やすさの印象がどの程度変わったかを、７段階評価(：１悪くなった、４:変わらない、７:良くなった)を行う。

３−２．実験結果（画像印象）
図１１は、被験者１４人の評価平均値を、それぞれ鮮やかさ、見やすさ、総合評価の観点からアンケートして得た結果を示す。評価値＝４は、原画像と変わらないという基準に相当し、評価値＝４を超えた画像は、原画像に比較して良好という結果を示す。図１１（ａ）に示すように、本実施例の画像は、鮮やかさの評価実験で２９枚、見やすさの評価実験で２７枚、総合評価で２４枚について、原画像よりも良好な心証を与えることが示された。

また、鮮やかさの実験結果では、３０枚の評価値の平均値が５．２５であり、Wilcoxon検定の結果は、T値＝１９となった。T_0.05は、データ数が２８（差がない画像が２枚）の時に１１６となり、鮮やかさにおいて実施例を適用した画像は、原画像に比較して鮮やかさが有意に改善されたことを示す。

同様に、見やすさの実験結果（図１１（ｂ））では、３０枚の評価値の平均値が４．６５であり、Wilcoxon検定の結果はT値＝１３となった。T_0.05は、データ数が１８（差がない画像が１２枚）の時４０となり、見やすさにおいても本実施例を適用した画像は、その見やすさが有意に改善されたことが示された。

さらに、鮮やかさ、見やすさの総合的な評価結果（図１１（ｃ））では、３０枚の評価値の平均値が４．６５、Wilcoxon検定の結果は、T値＝１４、T_0.05は、データ数が１７（差がない画像が１３枚）の時に３４が得られ、総合的な評価においても本実施例を適用した画像は、原画像に比較して画像印象を有意に改善できることが示された。

以上のように、本発明によれば、原画像の視覚的な印象を大きく損ねることなく、原画像の認識性を改善することができる画像処理装置、画像処理方法およびプログラムを提供することができる。本発明の画像処理装置は、デジタル画像のコントラスト改善のために利用することができる他、少数派の色覚を有するグループの人たちに対する認識性を改善するための色変換モジュールまたはフィルタを提供することができる。

本実施形態の上記機能は、C++、Java（登録商標）、JavaScript（登録商標）、Perl、Rubyなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、プログラムは、ハードディスク装置、CD-ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００画像処理装置
１０２外部インタフェース
１０６色補正処理部
１０８グラフィックス・ドライバ
１１０ハードディスク装置
１１２表色系変換部
１１４しきい値比較部
１１６輝度補正フィルタ
１１８色差補正フィルタ
１２０表色系逆変換部
１２２加算部
１２４減算部
５１０色差平均
５２０Ｒカーブ
５３０Ｇカーブ
８００画像処理装置
８１０補正処理部
８１１バッファメモリ
８１２画像RAM
８１３色補正処理部
８２０グラフィックス・ドライバ
８３０ HDD
Ａ画像
Ｂ画像
Ｃ画像

Claims

デジタル画像の画像データを取得し、前記画像データのＲＧＢ成分を取得して、輝度値と、Ｒ成分とＧ成分との色差およびＹ成分とＢ成分との色差を含む２種の色差値で表される表色系に変換する表色系変換手段と、
前記表色系変換手段が生成した前記輝度値および前記２種の色差値を、前記輝度値および前記２種の色差値それぞれについて設定される上限しきい値および下限しきい値と比較し、比較の結果に応答して補正処理を適用する画素データと補正処理を適用しない画素データとを識別し、各画像データの送付先を決定するしきい値比較手段と、
前記しきい値比較手段により補正処理を適用すると判断された画素データの前記輝度データを受け取って輝度補正処理を実行する輝度補正フィルタ手段と、
前記しきい値比較手段により補正処理を適用すると判断された画素データの前記２種の色差データを受け取って色差補正処理を実行する色差補正フィルタ手段と、
前記輝度補正フィルタ手段および前記色差補正フィルタ手段から補正輝度値および補正色差値を受け取って、前記ＲＧＢ成分に逆変換する表色系逆変換手段と、
前記逆変換されたＲＧＢ成分を前記画素データの位置座標データに結合して補正後画素データを生成する加算手段と
を含む、画像処理装置。
前記表色系変換手段は、前記画像データのＲＧＢ成分から、下記式（１）で与えられる線形変換を適用し、前記輝度値および前記２種の色差値で表される表色系に変換する、請求項１に記載の画像処理装置。
前記輝度補正フィルタは、前記画像データの全体の平均輝度および現在処理対象とする画素を中心とする複数の画素からなる領域の平均輝度に基づいて輝度補正量を計算する、請求項１または２に記載の画像処理装置。
前記色差補正フィルタは、前記色差の補正量を、前記画像データの全体の平均色差および現在処理対象とする画素を中心とする複数の画素からなる領域の平均色差に依存して色相軸に沿ってシフトするロジスティック関数を使用して色差補正量を計算する、請求項１〜３のいずれか１項に記載の画像処理装置。
デジタル画像の画像データを取得し、前記画像データのＲＧＢ成分を取得して、輝度値と、Ｒ成分とＧ成分との色差およびＹ成分とＢ成分との色差を含む２種の色差値で表されるように表色系を変換するステップと、
表色系が変換された後の前記輝度値および前記２種の色差値を、前記輝度値および前記２種の色差値それぞれについて設定される上限しきい値および下限しきい値と比較し、比較の結果に応答して補正処理を適用する画素データと補正処理を適用しない画素データとを識別し、各画像データの送付先を決定するステップと、
前記しきい値比較手段により補正処理を適用すると判断された画素データの前記輝度データを受け取って輝度補正処理を施すステップと、
前記輝度補正フィルタ手段および前記色差補正フィルタ手段から補正輝度値および補正色差値を受け取って、前記ＲＧＢ成分に逆変換するステップと、
前記逆変換されたＲＧＢ成分を前記画素データの位置座標データに結合して補正後画素データを生成するステップと
を含む、画像処理方法。
さらに、前記しきい値比較手段により補正処理を適用すると判断された画素データの前記２種の色差データを受け取って色差補正処理を施すステップを含む請求項５に記載の画像処理方法。
前記表色系を変換するステップは、前記画像データのＲＧＢ成分から、下記式（１）で与えられる線形変換を適用し、前記輝度値および前記２種の色差値で表される表色系に変換するステップを含む、請求項５または６に記載の画像処理方法。
前記輝度補正処理を施すステップは、前記画像データの全体の平均輝度および現在処理対象とする画素を中心とする複数の画素からなる領域の平均輝度に基づいて輝度補正量を計算するステップを含む、請求項５〜７のいずれか１項に記載の画像処理方法。
前記色差補正処理を施すステップは、前記色差の補正量を、前記画像データの全体の平均色差および現在処理対象とする画素を中心とする複数の画素からなる領域の平均色差に依存して色相軸に沿ってシフトするロジスティック関数を使用して色差補正量を計算するステップを含む、請求項６〜８のいずれか１項に記載の画像処理方法。
装置を、画像処理装置として機能させるための装置実行可能なプログラムであって、前記プログラムは、前記装置を、
デジタル画像の画像データを取得し、前記画像データのＲＧＢ成分を取得して、輝度値と、Ｒ成分とＧ成分との色差およびＹ成分とＢ成分との色差を含む２種の色差値で表される表色系に変換する表色系変換手段、
前記表色系変換手段が生成した前記輝度値および前記２種の色差値を、前記輝度値および前記２種の色差値それぞれについて設定される上限しきい値および下限しきい値と比較し、比較の結果に応答して補正処理を適用する画素データと補正処理を適用しない画素データとを識別し、各画像データの送付先を決定するしきい値比較手段、
前記しきい値比較手段により補正処理を適用すると判断された画素データの前記輝度データを受け取って輝度補正処理を実行する輝度補正フィルタ手段、
前記しきい値比較手段により補正処理を適用すると判断された画素データの前記２種の色差データを受け取って色差補正処理を実行する色差補正フィルタ手段、
前記輝度補正フィルタ手段および前記色差補正フィルタ手段から補正輝度値および補正色差値を受け取って、前記ＲＧＢ成分に逆変換する表色系逆変換手段、
前記逆変換されたＲＧＢ成分を前記画素データの位置座標データに結合して補正後画素データを生成する加算手段
として機能させる、プログラム。