JP2005080289A

JP2005080289A - クロミナンスのスムージング

Info

Publication number: JP2005080289A
Application number: JP2004239790A
Authority: JP
Inventors: Kristine E Matthews; イー・マシューズクリスティン
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-08-28
Filing date: 2004-08-19
Publication date: 2005-03-24
Also published as: US20050047653A1; EP1511294A3; EP1511294A2; US7257251B2

Abstract

【課題】デジタルカラー画像においてクロミナンスエントロピを低減する方法を提供する。
【解決手段】本発明の方法は、画像のルミナンス−クロミナンス−クロミナンス表現における二つのクロミナンスチャネル内のピクセルに関して実施される。この方法は、選択された低輝度又は高輝度ピクセル５、８のクロミナンス値を、別のクロミナンス値にシフトさせるステップを含み、これにより対象のチャネルにおいて、正味のクロミナンスエントロピの低減が生じる。
【選択図】図２

Description

本明細書においてクロミナンスのスムージングと呼ばれる本発明は、視覚的に認知される画質の劣化が結果的（低減後）に最小限となる、デジタルカラー画像のルミナンス−クロミナンス−クロミナンス（Ｌ，Ｃ，Ｃ）色空間表現におけるエントロピを低減する方法に関する。

関連技術において周知のように、高画質の維持と、望ましい低減されたデータ処理ファイルサイズ、ビットレート、及び帯域幅との間で実用的なバランスを達成するために、カラーデジタル画像を操作及び処理することは、技術的な注目及び開発に関して多くの関心を集めている分野である。例えば（多数の可能な例の中の一つとして）、カラー画像は、静止画及び動画の両方について、通常は比色Ｒ，Ｇ，Ｂ（赤、緑、及び青）色空間において得られ、この色空間において、ピクセルの色は、これら三種類（Ｒ，Ｇ，Ｂ）の構成要素に割り当てられた値により表される。画像圧縮の形態の画像データ管理は、取得されるカラー画像のカテゴリ等に関して、Ｙ，ｕ，ｖ、Ｙ，Ｃｂ，Ｃｒ、又はＬ^＊，ａ^＊，ｂ^＊といった、適切なルミナンス−クロミナンス−クロミナンス（Ｌ，Ｃ，Ｃ）色空間（チャネル）表現−−高周波のクロミナンス情報に対する人間の低い視覚感度を利用した表現を形成するために、色空間変換により開始される場合が多い。この変換は、クロミナンスのサブサンプリングの機会を提供するため、ビットレート及び帯域幅といったデータ処理要素における大幅な低減の機会を促進する。こうした変換は、基本的には、クロミナンス画像−−Ｙ，ｕ，ｖのｕ及びｖと、Ｙ，Ｃｂ，ＣｒのＣｂ及びＣｒと、Ｌ^＊，ａ^＊，ｂ^＊のａ^＊，ｂ^＊と、の解像度を低減することで達成される。

本発明は、この種のＬ，Ｃ，Ｃ変換及びデータ処理の改良から生じたものであり、輝度の極限及びその近傍にあるクロミナンスの相違に対する人間の視覚系の感度が非常に低いという事実を認識及び利用することで、この改良分野を大幅に進歩させることを目的とする。

本発明の第１の技術手段は、ルミナンス−クロミナンス−クロミナンス・チャネル色空間表現により特徴付けられるデジタルカラー画像のクロミナンスをスムージングする方法であって、
スムージングの対象となる画像領域を選択するステップと、
該画像領域内で、定められた輝度閾値の値の一方の側に存在する輝度値を有するピクセルを更に選択するステップと、
関係するクロミナンスチャネルエントロピを低下させるように、前記選択されたピクセルのクロミナンスチャネル値を変更するステップとを備えることを特徴とする。

本発明の第２の技術手段は、第１の技術手段において、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内のピクセルのクロミナンス値を、すぐ隣の非選択ピクセルの同じチャネルでのクロミナンス値に向けてシフトさせることで実行されることを特徴とする。

本発明の第３の技術手段は、第１の技術手段において、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内の前記選択されたピクセルのクロミナンス値を、任意の非選択隣接ピクセルの同じクロミナンスチャネル値と同じになるように変更することで実行されることを特徴とする。

本発明の第４の技術手段は、第１の技術手段において、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内の該ピクセルのクロミナンス値を、隣接する非選択ピクセルの同じクロミナンスチャネル値の平均で置き換えることで実行されることを特徴とする。

本発明の第５の技術手段は、第１の技術手段において、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネルのクロミナンス値を、圧縮アルゴリズムの実施に際して使用されるブロック内のピクセルの同じクロミナンスチャネル値の平均で置き換えることで実行されることを特徴とする。

本発明の第６の技術手段は、第１の技術手段において、ブロックに基づく圧縮アルゴリズムにより利用され、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内のピクセルのクロミナンス値を、以前にエンコードされたブロック内のピクセルの平均クロミナンス値と同じである選択ピクセルを含むエンコード中のブロックに関する平均クロミナンス値を形成する値により置き換えることで実行されることを特徴とする。

本発明の第７の技術手段は、第１の技術手段において、（ａ）静止単独画像と、（ｂ）集合的に動画を形成する画像のシーケンスの静止フレームとから成るグループから選択された画像に対して実行されることを特徴とする。

本発明の第８の技術手段は、第１の技術手段において、定められた輝度閾値の前記一方の側が、該輝度閾値に対して輝度値の高い側であることを特徴とする。

本発明の第９の技術手段は、第１の技術手段において、定められた輝度閾値の前記一方の側が、該輝度閾値に対して輝度値の低い側であることを特徴とする。

以下に説明されるように多数の異なる具体的な方法で実現可能である本発明の実施は、輝度値の極限（画像の黒又は白の領域）及びその近傍にある隣接画像ピクセル間のクロミナンスの相違に対して人間の視覚系の感度が比較的に低いことを特に利用する。本発明を実現し実施する好適な方法では、低輝度極限、即ち、画像の（「黒」及び黒に近い）領域に焦点を絞る。

本発明の方法により提示される基本的なアプローチは、スムージング又は均等化と、クロミナンスピクセルエッジの相違の大幅な最小化とにより、こうした感度低下を利用し、これにより、クロミナンスチャネルエントロピにおける認知可能な低減を形成し、クロミナンスチャネルの圧縮を改良することである。したがって、本発明が提案する方法では、画像の極限輝度値（黒又は白の領域）において、クロミナンス情報の認知にとっての重要性が低いという事実を使用する。理解されるように、この方法は、更なる画像圧縮を可能にするクロミナンスのサブサンプリングと併せて使用してもよい。

本発明の実施を行うために、本発明の範囲に十分に含まれる多数の具体的で有用なエントロピ低減のアプローチを利用することが可能だが、本明細書では、本発明の特別な有用性を実証するために、そのうちのいくつかのみを具体的に例示し、及び又は、説明する。更に、本発明の実施では、二つの輝度極限のいずれか一方又はその近傍において、大幅なクロミナンスエントロピの低減を生成可能であるが、本発明者は、好適なアプローチには、低い（黒の末端部）輝度極限に関係する輝度領域又はその近傍に本発明を適用することが含まれることを発見した。低輝度値を伴うピクセルを含む画像の領域は、通常、テキスト領域であり、カラー又はテクスチャバックグラウンド上の黒テキストである場合が多い。そのため、関係画像のルミナンス及びクロミナンスチャネルの両方が、「スムージング」し得るエッジを含んでおり、本発明では、こうしたスムージングを扱う。

本発明により達成される上記及びその他の目的及び利点は、以下の説明を添付図面と併せて読むことで、更に完全に明らかとなろう。

先ず図１を参照すると、ここでは、全般的に１０において、色空間の人間による視覚的認知の通常の表現が表示されている。この図で明確に表示されているものは、図１の上方及び下方である輝度極限及びその近傍において、クロミナンスの相違に対する人間の認知感度が相対的に重要ではなくなることである。本明細書で以前に述べたように、本発明は、この低いクロミナンス感度を利用し、ルミナンス値がこうした極限のいずれか、或いはこうした極限に近い値の「距離」内に存在するピクセルを保有するデジタルカラー画像領域におけるクロミナンスエントロピの低減に関する方法として次に説明されるものを提案する。

図１の二点破線１２、１４は、それぞれ、図１に例示される全輝度範囲の低輝度極限部と高輝度極限部とに近い輝度の閾値を表している。これら二本の線は、本発明の実施にとって有用な閾値としてみなされるもので、その閾値は、図示したような輝度値の両極限の近傍に位置する２つの輝度範囲の境界を、各輝度値両極限に近い位置で定めるものである。別の形で表現すると、本発明の適用により処理されるデジタルカラー画像において特定のピクセルの特徴となることが分かった場合、これらの閾値は、本発明のエントロピ低減の実施の具体的な適用に関して、こうしたピクセルに注目するために、都合よく有効に選択し得る輝度値の範囲を定める。

次に図２（Ａ）及び図２（Ｂ）に注目すると、これら二つの図では１６において、デジタルカラー画像の９ピクセルの正方形領域が表示されており、例示される九つのピクセルには、図２（Ａ）に示すように、選択的かつ個別に１乃至９の番号が付いている。図２（Ｂ）は、ピクセル５及び８との比較において、ピクセル番号１、２、３、４、６、７、及び９が明確に異なる外観で見えるような形で、この全く同じ画像領域を例示している。本明細書での例示の目的から、ピクセル１、２、３、４、６、７、及び９は、図１の１２、１４に示す閾値線内に存在する輝度値により特徴付けられる特定の同色（図２（Ｂ）では階調色として描写）を有し、ピクセル５及び８は黒であるため、輝度範囲の低端に存在する輝度値により特徴付けられると仮定される。印刷テキストは、こうした低輝度ピクセルを保有する画像の良好な例となる。

次に、図２（Ａ）及び図２（Ｂ）と共に図３（Ａ）、図３（Ｂ）、図３（Ｃ）について考えると、図３（Ａ）、図３（Ｂ）、図３（Ｃ）は、図２（Ｂ）に示すような画像１６の別の表現を提供し、具体的には、それぞれ、ルミナンスチャネルと二つのクロミナンスチャネルとにおける、この画像のピクセル特性を示している。この表現は、図２（Ｂ）の画像のルミナンス−クロミナンス−クロミナンス変換の結果を例示している。図３（Ａ）は、ルミナンスチャネルを表し、図３（Ｂ）及び図３（Ｃ）はクロミナンスチャネルを表す。ピクセル１、２、３、４、６、７、及び９は、ＲＧＢトリプレット（ｒ_ｂ，ｇ_ｂ，ｂ_ｂ）に対応する。ピクセル５及び８は、トリプレット（０，０，０）に対応する。Ｌ^＊ａ^＊ｂ^＊色空間において、これらのトリプレットは、それぞれ（Ｌ^＊ _ｂ，ａ^＊ _ｂ，ｂ^＊ _ｂ）及び（０，０，０）として表現される。なお、Ｌ^＊ａ^＊ｂ^＊における値は、ＣＩＥＬＡＢ、ＩＣＣＬＡＢ、又はＩＴＵＬＡＢといった、８ビット表現の数にマッピングしてよい。

本発明の実施によれば、ピクセル５及び８の、両方とも０であるクロミナンス値は、全体的な画質に悪影響を与えることなく、更に滑らかなクロミナンス画像を生成するために変更してよい。こうした変更は、クロミナンスチャネルのエントロピを低減することになり、したがって、圧縮性能を向上させる。実際、実験結果では、こうしたクロミナンス値を、例えば、背景のものと置き換えることで、カラー（フラット又はテクスチャ）の背景に暗色テキストを主に含む画像に関して、ａ^＊ _ｂ及びｂ^＊ _ｂにより、視覚的にオリジナル画像と同等だが、約５％乃至約３０％のビットレートの節約により特徴付けられる修正画像が生じることが指摘されている。

したがって、本発明の実施によれば、ピクセル５及び８のクロミナンス値を特定的に変更させるために、画像１６の二つのクロミナンスチャネルにおいて、ある種の値の変化を行うことで、最終的に、こうした修正画像の人間による認知を劣化させずに、画像１６のクロミナンスチャネルのエントロピを大幅に低減できる。

図４（Ａ）、図４（Ｂ）、及び図４（Ｃ）は、二つの関係するクロミナンスチャネルにおいてピクセル５及び８のクロミナンスチャネル値を変更するために、本発明の基本的方法を適用した後の、画像１６のルミナンス及びクロミナンスチャネルを例示している。図４（Ｂ）、及び図４（Ｃ）に明確に例示されているのは、クロミナンス値の変化により、二つのクロミナンスチャネルにおいて画像のスムージングが明らかに発生していることであり、これにより、これら二つのチャネルのピクセル５及び８がこれら二つのチャネルの他のピクセルと比べて目立たなくなっている。

図４（Ｂ）及び図４（Ｃ）に示すものを生成する本発明の方法の特定の適用では、それぞれ図３（Ｂ）及び図３（Ｃ）と比較して、ピクセル１のもの等、隣接ピクセルの特定のクロミナンス値を各チャネルにおいて選択し、このチャネルにおいてピクセル５及び８のクロミナンス値を同じピクセル１のクロミナンス値に置き換えることで、エントロピの低減がチャネルごとに発生している。

このクロミナンス値における変化の結果は、（１）図３（Ｂ）及び図３（Ｃ）で最初に描写した二つのクロミナンスチャネルのそれぞれのエントロピが大幅に低減されたことと、（２）画像１６のクロミナンス特性がスムージングされたことと、（３）このクロミナンス値の変化が図１の線１２により定められる低輝度閾値内で発生するため、最終的に表示可能な、この変化を有するカラー画像が、正常な人間の視覚には、事実上、全く変化していないように見えることとである。

したがって、本発明の実施が、上で全般的に述べたように、非常に有効なクロミナンスエントロピの変化を発生させ、結果として、画像１６のビットレート及び帯域幅のデータ処理特性を低減することは明らかである。本発明の適用の特定の例示は、いわゆる「隣接」ピクセルのクロミナンス値を、チャネルごとに借用することに関係して行われているが、その他の値変更アプローチを同様に使用してもよい。すぐ下で述べるものは、クロミナンス値変更のために選択されるピクセルに関する、その他のクロミナンス値変更形態の言葉による例示を含むリストである。

１．選択ピクセル値を、変更のために選択されなかった別のピクセルのピクセル値に向けてシフトすること。
２．選択ピクセル値を、隣接する非変更ピクセルの同じクロミナンスチャネル値の平均で置き換えること。
３．チャネルの選択クロミナンス値を、圧縮アルゴリズムの実施に関係して使用されるブロック内のピクセルの同じクロミナンスチャネル値の平均で置き換えること。
４．チャネル内の選択ピクセルのクロミナンス値を、以前にエンコードされたブロック内のピクセルの平均クロミナンス値と同じであるエンコード中の画像ブロックに関する平均クロミナンス値を形成する値により置き換えることで、チャネル内の選択ピクセルのクロミナンス値を変更すること。
当然ながら、当業者が想到し得るその他の例示も存在する。

したがって、当業者は、上記の説明から、チャネルごとのピクセルクロミナンス値変更を含むアプローチによりクロミナンスエントロピを低減するために、本発明に従って実施し得るその他の有用なアプローチが存在することを認識し得よう。

特に、本発明の実施は、静止画と、動画シーケンス内に存在する静止画フレームとの両方に関して実現し得ると理解されるべきである。更に、本明細書では輝度の下限において行われる本発明の特定の適用について例示してきたが、同様のアプローチは、輝度範囲の上端又はその近傍のピクセル値を変更することに関して行われてもよい。

以上、本明細書において発明の実施の好適な方法といくつかの変形アプローチとについて説明がなされると共に、本発明の範囲内に同様に含まれるその他のアプローチも利用し得るという事実が認識された。

認知される輝度が事実上ブライトネスにより表される人間の色空間の認知に関する表現を図式的に提供する説明図である。デジタルカラー画像の９ピクセル正方形領域のピクセル番号図と、この画像領域のＲ，Ｇ，Ｂ表現とを提供する図である。図２（Ｂ）のＲ，Ｇ，Ｂカラー画像に対して実行されたＬ，Ｃ，Ｃ変換のルミナンスチャネルと二つのクロミナンスチャネルとをそれぞれ提供する図である。図３（Ｂ）及び図３（Ｃ）において最初に具体的に描写された二つのクロミナンスチャネルのエントロピをスムージング及び低減するために本発明のプロセスを適用した後の全く同じ画像のルミナンスチャネルと二つのクロミナンスチャネルとを修正して示す図である。

符号の説明

１０…色空間における人間の視覚的認知の表現、１２…輝度閾値、１４…輝度閾値、１６…デジタルカラー画像の９ピクセルの正方形領域。

Claims

ルミナンス−クロミナンス−クロミナンス・チャネル色空間表現により特徴付けられるデジタルカラー画像のクロミナンスをスムージングする方法であって、
スムージングの対象となる画像領域を選択するステップと、
該画像領域内で、定められた輝度閾値の値の一方の側に存在する輝度値を有するピクセルを更に選択するステップと、
関係するクロミナンスチャネルエントロピを低下させるように、前記選択されたピクセルのクロミナンスチャネル値を変更するステップと、
を備えることを特徴とするクロミナンスをスムージングする方法。
前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内のピクセルのクロミナンス値を、すぐ隣の非選択ピクセルの同じチャネルでのクロミナンス値に向けてシフトさせることで実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内の前記選択されたピクセルのクロミナンス値を、任意の非選択隣接ピクセルの同じクロミナンスチャネル値と同じになるように変更することで実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内の該ピクセルのクロミナンス値を、隣接する非選択ピクセルの同じクロミナンスチャネル値の平均で置き換えることで実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネルのクロミナンス値を、圧縮アルゴリズムの実施に際して使用されるブロック内のピクセルの同じクロミナンスチャネル値の平均で置き換えることで実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
ブロックに基づく圧縮アルゴリズムにより利用され、前記選択されたピクセルのそれぞれに関して、クロミナンス値の変更が、該ピクセルに関係する各クロミナンスチャネルについて、該チャネル内のピクセルのクロミナンス値を、以前にエンコードされたブロック内のピクセルの平均クロミナンス値と同じである選択ピクセルを含むエンコード中のブロックに関する平均クロミナンス値を形成する値により置き換えることで実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
（ａ）静止単独画像と、（ｂ）集合的に動画を形成する画像のシーケンスの静止フレームとから成るグループから選択された画像に対して実行されることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
定められた輝度閾値の前記一方の側が、該輝度閾値に対して輝度値の高い側であることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。
定められた輝度閾値の前記一方の側が、該輝度閾値に対して輝度値の低い側であることを特徴とする、請求項１記載のクロミナンスをスムージングする方法。