JP2005506724A - デジタル画像の外観向上および圧縮性改善方法およびシステム - Google Patents

Abstract

デジタル画像を処理し、画像の圧縮性を高めながら、画像の外観を向上させる方法およびシステム（１４０）。デジタル画像は複数の入力ピクセルを有する。画像処理システムは、現在の入力ピクセルに対応するフィルタ選択ウィンドウを受け取り、これに応答して、フィルタ選択ウィンドウに基づいて計算されるエッジパラメータまたはフィルタ選択ウィンドウに基づいて計算されるアクティビティメトリックのうちのいずれかに基づいて、フィルタ識別子を生成するフィルタ選択機構（２３０）を有する。フィルタ選択機構に接続され、フィルタ識別子を受け取り、フィルタ識別子により特定されるフィルタを入力ピクセルウィンドウに適用して出力ピクセルを生成するフィルタ適用ユニット（２４０）も設けられる。
【選択図】図２

Description

【技術分野】
【０００１】
本発明は、一般に画像処理に関し、特に、デジタル画像の外観を向上させるとともに、圧縮性を向上させる方法およびシステムに関する。
【背景技術】
【０００２】
プリンタは、テキストおよび画像を描写する周知の周辺機器である。デジタルカメラ市場の出現および成長に伴い、デジタル画像を良好に描写する低コストプリンタに対する消費者の需要が増している。このため、プリンタ製造業者にとって設計上の考慮事項は、描写画像の知覚される品質をどのように向上させるかである。通常、プリンタ製造業者は、ソフトウェア画像処理プログラムを利用して画質を向上させる。
【０００３】
たとえば、多くの場合、画像の外観を向上させるために、画像鮮鋭化アルゴリズムが用いられる。こういった画像鮮鋭化アルゴリズムの意図される効果は、エッジ上およびエッジ付近のピクセルコントラストを高めることであり、理論上、これによって細部の認識がし易くなる。しかし不都合なことに、このような画像鮮鋭化アルゴリズムはノイズおよび圧縮アーチファクトも強調してしまい、これによって実際には画像の外観が悪化する場合がある。さらに、こういった画像鮮鋭化アルゴリズムは画像の圧縮性を低下させるが、この画像圧縮性の低下は以下でさらに十分に述べるように望ましくない。
【０００４】
能動的にノイズおよびアーチファクトを抑制することにより画像の外観を向上させる他のアルゴリズムも開発されている。しかし、このようなアルゴリズムは鮮鋭なエッジおよびその周囲を平滑化する効果を有し、これにより外観がより柔らかい感じ（すなわち、細部の認識がしにくいぼやけた画像）になる。さらに、このようなアルゴリズムは、非常に計算コストが高い場合があり、このため、より高い実施コストおよび複雑性が必要であり、これらアルゴリズムの魅力を減じている。
【０００５】
設計についての第２の考慮事項は、ユーザがプリントコマンドを発してからプリントが完了するまで待たなければならない時間をどのように短縮するかである。待ち時間（すなわち、プリントコマンドが発せられてからプリントジョブが完了するまでに経過する時間）は、デジタル画像をＰＣからプリンタに転送するために必要な時間およびプリンタが実際に画像を描写するために必要な時間の関数である。多くの場合、制約要因は、プリントする画像をコンピューティング機器（たとえば、パーソナルコンピュータ（ＰＣ））からプリンタに伝達できる速度である。たとえば、多くの場合、この伝達速度は、ＰＣをプリンタに接続しているケーブルの帯域幅によって制限される。伝達速度を向上させるため、多くの周知の圧縮アルゴリズムの１つが画像に適用され、ＰＣとプリンタの間で転送する必要があるビットまたはデータシンボルの数を減らし、それによってＰＣとプリンタの間で情報を伝達するのに必要な時間が削減される。
【０００６】
たとえば、圧縮性を向上させる１つの手法は、平滑化フィルタを適用することである。平滑化は、隣接するピクセルを互いにより変わらないようにし、それにより、画像の表現に使用されるコンピュータメモリのバイト数を少なくすることができる。不都合なことに、平滑化は、エッジのコントラストを減じることによって画像の外観を劣化させてしまう場合がある。言い換えれば、平滑化は、画像の外観を向上させる第１の設計上の考慮事項に悪影響を及ぼす。
【０００７】
上記に基づいて、デジタル画像の圧縮性を向上させながらデジタル画像の外観を向上させるとともに、上に述べた欠点を克服する方法およびシステムが必要である。
【発明の開示】
【０００８】
本発明の一実施形態によれば、デジタル画像を処理し、画像の圧縮性を高めながら画像の外観を向上させる方法およびシステムが提供される。デジタル画像は、複数の入力ピクセルを有する。
【０００９】
一実施形態において、画像処理システムは、現在の入力ピクセルに対応するフィルタ選択ウィンドウを受け取り、これに応答して、フィルタ選択ウィンドウに基づいて計算された１つまたは複数のエッジパラメータまたはフィルタ選択ウィンドウに基づいて計算されたアクティビティメトリックに基づいて、フィルタ識別子を生成するフィルタ選択機構を有する。フィルタ選択機構に接続され、フィルタ識別子を受け取り、フィルタ識別子により特定されるフィルタを入力ピクセルウィンドウに適用して出力ピクセルを生成するフィルタ適用ユニットも設けられる。フィルタ選択ウィンドウは、入力ピクセルウィンドウと同じであり得る。
【００１０】
別の実施形態によれば、画像処理方法は、以下のステップを各入力ピクセルに対して行う。第１に、現在の入力ピクセルおよび現在の入力ピクセルに隣接するピクセルを通常含む入力ピクセルウィンドウを受け取る。第２に、入力ピクセルウィンドウに基づいて計算されたエッジパラメータまたは入力ピクセルウィンドウに基づいて計算されたアクティビティメトリックのうちのいずれか一方に基づいて、フィルタ識別子が生成される。第３に、フィルタ識別子で指定されたフィルタが入力ピクセルウィンドウに適用され、現在の入力ピクセルに対応する出力ピクセルが生成される。
【００１１】
別の実施形態によれば、画像処理方法は、以下のステップを各入力ピクセルに対して行う。まず、アクティビティレベルが、入力ピクセルに関する第１のピクセルウィンドウに基づいて生成される。次に、ばらつきレベル（level of variation）が所定のばらつきレベルと所定の関係にあるか否かが判定される。ばらつきレベルが所定のばらつきレベルと所定の関係にある場合、入力ピクセルが、入力ピクセルをぼかしたもので置き換えられる。ばらつきレベルが所定のばらつきレベルと所定の関係にない場合、１つまたは複数のエッジパラメータの測度が、入力ピクセルに関する第２のピクセルウィンドウに基づいて生成される。次いで、エッジパラメータの測度に基づいて強調フィルタが選択され、入力ピクセルに適用される。
【００１２】
本発明を、同様の参照番号が同様の要素を指す添付図面の中の図に制限ではなく例として示す。
【発明を実施するための最良の形態】
【００１３】
デジタル画像を処理し、画像の圧縮性を高めながら画像の外観を向上させる方法およびシステムについて述べる。以下の説明では、説明を目的として、本発明を完全に理解するためにいくつかの特定の詳細について記す。しかし、本発明はこういった特定の詳細なしで実施し得ることが当業者には明らかであろう。他の場合では、周知の構造および装置は、本発明を不必要に曖昧にすることを避けるため、ブロック図の形態で示す。
【００１４】
コンピュータシステム１００
図１は、本発明の外観向上・圧縮性向上機構１４０を実施することができる例示的なコンピュータシステム１００を示すブロック図である。コンピュータシステム１００は、ケーブル１３０を介してオフィス機器１２０に接続されたパーソナルコンピュータ（ＰＣ）１１０を含む。ＰＣ１１０は、ソフトウェア命令を実行するプロセッサ１１４およびドライバプログラム１１８を備え、ドライバプログラム１１８はプロセッサ１１４によって実行されると、オフィス機器１２０と通信してこれを制御する。たとえば、ドライバプログラム１１８は、当業者に周知の信号処理を、オフィス機器１２０が生成するはずのデジタル情報に対して行うソフトウェア命令を含むことができる。
【００１５】
オフィス機器１２０は、プリンタ、コピー機、スキャナ、オールインワンオフィス機器、ならびに画像および／またはテキストを描写する任意の装置であることができるが、これらに制限されない。たとえば、オフィス機器１２０がプリンタである場合、ドライバプログラム１１８は、プロセッサ１１４によって実行されると、プリンタのプリントプロセスまたは描写プロセスを制御・管理するソフトウェア命令を有するプリンタドライバである。
【００１６】
ＰＣ１１０は、本発明の外観向上・圧縮性向上機構（ＡＥＣＩＭ）１４０を含むことができる。ＡＥＣＩＭ１４０は、デジタル画像の外観を向上させる外観向上機構１５０と、デジタル画像の圧縮性を向上させる圧縮性向上機構１６０と、を含む。上に述べたように、デジタル画像をオフィス機器１２０に伝達することができる速度を上げるために、画像の圧縮性を向上させることが望ましい。
【００１７】
ＡＥＣＩＭ１４０は、入力デジタル画像１４４を受け取る入力および対応する出力デジタル画像１４８を生成する出力を含む。図２を参照して以下でさらに詳細に述べるように、ＡＥＣＩＭ１４０は、入力ピクセルウィンドウを受け取り、現在のピクセルに適したフィルタを選択し、選択されたフィルタを入力ピクセルウィンドウに適用して、現在の入力ピクセルを置き換える出力ピクセルを生成することができる。
【００１８】
なお、本発明の外観向上・圧縮性向上機構１４０は、ソフトウェア（たとえば、ドライバ）、ファームウェア、ハードウェア、またはこれらの組合せで実施することができることに留意する。たとえば、一実施形態では、ＡＥＣＩＭ１４０は、ドライバプログラム１１８の一部として、ソフトウェア命令として実施することができる。
【００１９】
さらに、本発明のＡＥＣＩＭ１４０は、ＰＣ１１０、オフィス機器１２０、またはＰＣ１１０およびオフィス機器１２０から離れて配置された装置に存在することができる。たとえば、ＡＥＣＩＭ１４０は、全てＰＣ１１０内に配置された、または全てオフィス機器１２０内に配置されたハードウェア回路として実施することができる。代替として、ＡＥＣＩＭ１４０は、ＰＣ１１０またはオフィス機器１２０がアクセス可能なコンピュータ可読媒体（たとえば、ＲＡＭまたはＲＯＭ等のメモリ要素、コンピュータディスク、またはコンパクトディスク）に存在するソフトウェアとして実施することができる。別の実施形態では、ＡＥＣＩＭ１４０は、ＰＣ１１０またはオフィス機器１２０が接続されたネットワーク（たとえば、インターネット）の一部であるサーバに存在するソフトウェアコードの形であることができる。
【００２０】
代替として、分散型の実施態様では、本発明のＡＥＣＩＭ１４０の第１の部分はＰＣ１１０に存在し、ＡＥＣＩＭ１４０の第２の部分がオフィス機器１２０に存在し、ＡＥＣＩＭ１４０の他の部分が他の装置に分散することができ、各部分はソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせであることができる。
【００２１】
ＡＥＣＩＭ１４０
図２は、本発明の一実施形態による図１の外観向上・圧縮性向上機構をさらに詳細に示すブロック図である。ＡＥＣＩＭ１４０は、使用に対して適切なフィルタを選択するフィルタ選択機構２３０および入力ピクセルウィンドウ２１０に選択されたフィルタを適用して出力ピクセルを生成するフィルタ適用機構２４０を含む。入力ピクセルウィンドウとは、対応する出力ピクセルを生成するためにフィルタが適用される複数のピクセルである。なお、入力ピクセルウィンドウ２１０は通常、現在の入力ピクセルを含むことに留意する。しかし、入力ピクセルウィンドウ２１０は、現在のピクセルを含むことなく、現在の入力ピクセルのまわりのピクセル（たとえば、現在のピクセルに隣接する近傍ピクセル）を含むことができる。
【００２２】
フィルタ選択機構２３０は、本実施形態では入力ピクセルウィンドウ２１０であるフィルタ選択ウィンドウに基づいて複数のフィルタの中からフィルタ（たとえば、フィルタ係数の一組）を選択する。フィルタ選択ウィンドウとは、適切なフィルタを選択するために使用される複数のピクセルである。フィルタ選択機構２３０は、１つまたは複数の要素を使用することにより、現在の入力ピクセルに適したフィルタを選択することができる。
【００２３】
たとえば、一実施形態では、フィルタ選択機構２３０は、入力ピクセルウィンドウに対応するエッジパラメータを計算し、そのエッジパラメータを利用して適切なフィルタ（たとえば、入力ピクセルウィンドウに対する適切なフィルタ係数の一組）を選択するエッジパラメータ評価ユニット２３４を使用する。入力ピクセルウィンドウ２１０に基づき、フィルタ選択機構２３０は、たとえば、入力ピクセルウィンドウから計算される１つまたは複数のパラメータに基づいて、ぼかしフィルタ、平滑化フィルタ、鮮鋭化フィルタ、または強調フィルタを選択することができる。以下でさらに詳細に述べるように、エッジパラメータは、エッジの１つまたは複数の特徴または特性を記述する任意の測定可能な単位を含むことができる。たとえば、エッジパラメータは、エッジ角度、エッジ鮮鋭度、エッジ曲率（edge curvature）等であることができる。
【００２４】
エッジは単純に、２つの領域を分ける輪郭である。エッジ角度は、２つの領域の間の輪郭の向きを示唆するエッジの特性である。エッジ鮮鋭度は、２つの領域の間の遷移領域の幅である。たとえば、エッジ鮮鋭度は、異なる色または明度値を有する２つの領域の間の遷移領域の幅であることができる。エッジ鮮鋭度は、エッジ角度に垂直な方向に動く遷移の変化率として表現することもできる。鮮鋭なエッジは、遷移領域が狭い、またはあまり広くないことを意味する。平滑なエッジは、遷移が広い、すなわちあまり狭くないことを意味する。エッジ曲率は、エッジに向かって移動するに従った鮮鋭度の変化率を示唆するエッジの特性である。たとえば、エッジ曲率は、エッジの現在の側が明るいかそれとも暗いかを示唆することができる。
【００２５】
別の実施形態において、フィルタ選択機構２３０は、入力ピクセルウィンドウ（たとえば、現ピクセルの近傍にあるピクセル）内のアクティビティメトリックを計算し、アクティビティメトリックを利用して、入力ピクセルウィンドウに対して適切なフィルタ係数の一組を選択するアクティビティメトリック評価ユニット２３８を使用する。利用することのできるアクティビティメトリックの例は、図３を参照して以下でさらに詳細に述べるばらつきレベルである。
【００２６】
なお、フィルタ選択機構２３０は、エッジパラメータ、アクティビティメトリック、別の測定可能なパラメータ、またはこれらの組み合わせを使用することによって、現在の入力ピクセルに適したフィルタ（たとえば、フィルタ係数の一組）を選択することができることに留意する。
【００２７】
アクティビティメトリックを求める際に使用されるフィルタ選択ウィンドウは、入力ピクセルウィンドウ２１０と別であってもよく、または同じであってもよいことにさらに留意する。同様に、エッジパラメータを求める際に使用されるフィルタ選択ウィンドウも、入力ピクセルウィンドウ２１０と別であっても、または同じであってもよい。また、エッジパラメータを求める際に使用されるフィルタ選択ウィンドウは、アクティビティメトリックを求める際に使用されるフィルタ選択ウィンドウと別であっても、または同じであってもよい。
【００２８】
本明細書に述べる例では５×５正方形ピクセルウィンドウが使用されるが、エッジパラメータを求める際に使用するフィルタ選択ウィンドウおよびアクティビティメトリックを求める際に使用するフィルタ選択ウィンドウは、特定の用途に合う任意の形状および任意の数のピクセルを有し得ることが理解されるべきである。さらに、本例では、入力ピクセルウィンドウおよびフィルタ選択ウィンドウは同じピクセルウィンドウであるが、入力ピクセルウィンドウおよびフィルタ選択ウィンドウの形状およびピクセル数は互いに異なってもよいことが理解されるべきである。
【００２９】
フィルタ選択機構２３０が、選択された適切なフィルタを指示することができる１つの方法は、入力ピクセルウィンドウ２１０に適用すべき特定のフィルタ係数の組を特定するフィルタ識別子２３６を供給することである。
【００３０】
フィルタ適用機構２４０は、複数のフィルタＦ＿１からＦ＿Ｎ（たとえば、複数のフィルタ係数組）を記憶するフィルタリポジトリ（filter repository）２４４を含むことができる。フィルタ選択機構２３０が供給するフィルタ識別子２３６を使用して、出力ピクセルを生成するために入力ピクセルウィンドウ２１０に適用すべきフィルタリポジトリ２４４の中の適切なフィルタを指定することができる。
【００３１】
外観向上・圧縮性向上機構１４０
図３は、図２の外観向上・圧縮性向上機構１４０の例示的な実施態様を示すブロック図である。本実施形態では、アクティビティメトリックとエッジパラメータの組み合わせを利用して、入力ピクセルウィンドウ２１０に対して適切なフィルタを選択する。
【００３２】
本実施形態では、外観向上・圧縮性向上機構１４０は、入力ピクセル、現在の入力ピクセルに関連する第１のピクセルウィンドウ（たとえば、アクティビティメトリックを求める際に使用されるフィルタ選択ウィンドウ）を受け取り、これらに基づいてばらつきレベル（ＬＯＶ）測度を生成するばらつきレベル測度ジェネレータ３１０を含む。外観向上・圧縮性向上機構１４０は、ＬＯＶ測度ジェネレータ３１０に接続された比較ユニット３２０も含む。比較ユニット３２０は、ＬＯＶ測度および所定のＬＯＶ測度を受け取り、これらに基づいてＬＯＶ測度が所定のＬＯＶ測度と所定の関係にあるか否かを判定する。ＬＯＶ測度が所定のＬＯＶ測度と所定の関係にある場合、ぼかしフィルタまたは平滑化フィルタが提供される。ぼかしフィルタまたは平滑化フィルタは、入力ピクセルウィンドウに適用されると、現在の入力ピクセルの平滑値またはぼかし値を生成する。たとえば、平滑値は、現在の入力ピクセルに隣接するピクセルの平均であることができる。
【００３３】
ＬＯＶ測度が所定のＬＯＶ測度と所定の関係にない場合、入力ピクセルはエッジ依存フィルタリングにより処理される。たとえば、非線形フィルタを入力ピクセルウィンドウに適用することができる。たとえば、鮮鋭化フィルタを適用して、現在の入力ピクセルがある領域における画像の外観を向上させることができる。エッジ依存フィルタ選択モジュール３４０は、現在の入力ピクセルに関連する第２のピクセルウィンドウ（たとえば、エッジパラメータを求める際に使用されるフィルタ選択ウィンドウ）を受け取り、これに基づいて利用可能な複数のフィルタ係数組から１つのフィルタ係数の組を選択する。なお、フィルタ（たとえば、ＦＩＬＴＥＲ＿１・・ＦＩＬＴＥＲ＿Ｎ）の１つは、平滑化フィルタ、ぼかしフィルタ、または強調フィルタであることができることに留意する。
【００３４】
強調フィルタは、平滑化フィルタ、鮮鋭化フィルタ、エッジを横切るコントラストを増大させ、エッジに沿って平滑化するフィルタ、特別に設計されたフィルタ、またはこれらの組み合わせであることができる。たとえば、特別に設計されたフィルタは、特定の角度のエッジを横切るコントラストを増大するように設計することができる。エッジに沿って平滑化するフィルタの例は、エッジに沿って平滑化する（すなわち、内部領域をぼかす）異方性拡散フィルタである。フィルタは、当業者に周知のフィルタから選択することができる。フィルタ適用ユニット３５０は、選択されたフィルタ係数の組を入力ピクセルウィンドウに適用して出力ピクセルを生成する。
【００３５】
エッジ依存フィルタ選択モジュール３４０
図４は、図３のエッジ依存フィルタ選択モジュール３４０をさらに詳細に示すブロック図である。エッジ依存フィルタ選択モジュール３４０は、エッジ角度測度ジェネレータ４１０、鮮鋭度測度ジェネレータ４２０、曲率メトリックジェネレータ４３０、およびフィルタセレクタ４４０を含む。エッジ角度測度ジェネレータ４１０は、現在のピクセルに関連する第２のピクセルウィンドウを受け取ってエッジ角度測度を生成し、これがフィルタセレクタ４４０および鮮鋭度測度ジェネレータ４２０に供給される。鮮鋭度測度ジェネレータ４２０は、エッジ角度測度ジェネレータ４１０に接続され、エッジ角度測度を受け取り、これに基づいて、フィルタセレクタ４４０および曲率メトリックジェネレータ４３０に供給される鮮鋭度測度（ＳＭ）を生成する。曲率メトリックジェネレータ４３０は、鮮鋭度測度ジェネレータ４２０に接続されて鮮鋭度測度を受け取る第１の入力と、第２のウィンドウを受け取る第２の入力と、を含む。これら入力に基づいて、曲率メトリックジェネレータ４３０は曲率メトリックを生成し、これがフィルタセレクタ４４０に供給される。
【００３６】
フィルタセレクタ４４０は、エッジ角度測度ジェネレータ４１０、鮮鋭度測度ジェネレータ４２０、および曲率メトリックジェネレータ４３０に接続されてエッジ角度測度、鮮鋭度測度、および曲率メトリックをそれぞれ受け取り、これらに基づいて、現在の入力ピクセルに適用すべきフィルタ係数の一組を選択する。
【００３７】
通常、カラー画像は、赤、緑、青（ＲＧＢ）値でそれぞれ表される複数のピクセルを含む。たとえば、合計２４ビットでピクセルを表すことができ、この場合、８ビットでピクセルの赤成分を表し、８ビットでピクセルの緑成分を表し、８ビットでピクセルの青成分を表す。カラー画像は複数の色平面（たとえば、赤色平面、緑色平面、および青色平面）を含むとも言え、各色平面が画像のピクセルの各色成分を有する。
【００３８】
処理ステップ
別の実施形態によれば、画像処理方法は、各入力ピクセルに対して以下のステップを行う。第１に、現在の入力ピクセルおよび現在の入力ピクセルに隣接するピクセルを通常含む入力ピクセルウィンドウを受け取る。第２に、入力ピクセルウィンドウに基づいて計算されたエッジパラメータまたは入力ピクセルウィンドウに基づいて計算されたアクティビティメトリックのうちのいずれか一方に基づいて、フィルタ識別子が生成される。第３に、フィルタ識別子によって指定されたフィルタが入力ピクセルウィンドウに適用され、現在の入力ピクセルに対応する出力ピクセルが生成される。
【００３９】
図５は、本発明の一実施形態による外観向上・圧縮性向上機構によって行われるステップを示すフローチャートである。ステップ５００において、第１のピクセルウィンドウ（たとえば、フィルタ選択ウィンドウ）を受け取る。ステップ５１０において、第１のウィンドウ内のばらつきレベル（これはアクティビティメトリックの例である）が計算される。たとえば、ばらつきレベルは、緑色平面、赤色平面、青色平面、または図６を参照して以下でさらに詳細に述べるように３つすべての色平面から抽出される平面（たとえば、輝度平面）の平均絶対偏差（ＭＡＤ）を計算することによって求めることができる。
【００４０】
ステップ５２０において、ステップ５１０において計算されたばらつきレベルが、所定のばらつきレベルと所定の関係にあるか否かが判定される。たとえば、ばらつきレベルが所定のばらつきレベル未満の場合、判定は、ピクセルが、エッジ、テクスチャ、または画像の細部に関してほとんど何も、あるいは全く示唆しない平滑な均質領域内にあることを示すことができる。
【００４１】
ステップ５３０において、現在のピクセルが、ピクセルをぼかしたもので置き換えられ、これによって画像の現領域の圧縮性が増す。なお、このステップは画像の外観を向上させることもできることに留意する。
【００４２】
ステップ５４０において、ばらつきレベルが所定のばらつきレベルと所定の関係にない（たとえば、所定のばらつきレベル以上）場合、この判定は、現領域がエッジ、テクスチャ、または画像の細部に関する情報を示唆していることを示すことができる。この場合、エッジ情報に基づいて強調フィルタが選択され、入力ピクセルウィンドウ（たとえば、現在の入力ピクセルを含む近傍ピクセル）に適用され、それによって画像の現領域の外観が向上する。
【００４３】
好ましい実施形態の処理ステップ
図６は、本発明の一実施形態による外観向上・圧縮性向上機構によって行われるステップを示すフローチャートである。
【００４４】
本発明への入力は第１の入力画像１４４であり、出力は、第１の画像と同じサイズを有する第２の画像１４８である。入力１４４画像および出力１４８画像がカラーの場合、各ピクセルは、０〜２５５の範囲（０および２５５を含む）の赤（Ｒ）、緑（Ｇ）、および青（Ｂ）座標値によって定義される。本発明の例示的な実施形態について、以下（Ｒ，Ｇ，Ｂ）色空間で表現された画像を参照して述べるが、本発明の外観向上・圧縮性向上機構は、他の色空間（たとえば、ＣＩＥＬａｂ、ＣＩＥＬｕｖ、Ｙｕｖ）で表現される画像の強調に適用することができることに留意する。さらに、本発明はモノクロ画像（たとえば、グレースケールイメージ）の改良にも適用することが可能なことに留意する。
【００４５】
入力画像中のピクセル毎に１つの出力ピクセルが生成される。任意の出力ピクセルを求めるために必要なのは、対応する入力ピクセルを中心とした第１のピクセルウィンドウ（たとえば、５×５ピクセルウィンドウ）を知ることだけである。なお、当業者は、対応する入力ピクセルに関して任意のサイズまたは形状を有し得る近傍ピクセルを知る必要があるだけであるように、このアルゴリズムを変更可能なことを容易に認めるであろうことに留意する。出力ピクセルは、任意の順序で、または資源が許容するならば、並列に生成することができる。本実施形態では、出力ピクセルはラスタ順に生成される。
【００４６】
図６のステップ６００を参照すると、平均絶対偏差がＲ、Ｇ、およびＢ平面それぞれについて計算される。Ｒ、Ｇ、およびＢ平面の平均絶対偏差はｒＭＡＤ、ｇＭＡＤ、およびｂＭＡＤとそれぞれ表される。
入力ピクセルウィンドウ中の赤座標値を以下のように記す。
【００４７】
【数１】

ここで、ＲＩ（０，０）は入力ピクセルの赤座標値であり、赤平均絶対偏差は、
【００４８】
【数２】

として計算される。式中、ｒＡＶＥは、
【００４９】
【数３】

として計算される３×３ピクセル平均であり、記号、
【００５０】
【数４】

【００５１】
は、整数への切り捨てを表す。なお、ｒＭＡＤは実際には、真の「平均絶対偏差」の９倍大きいことに留意する。数量ｇＭＡＤおよびｂＭＡＤが、緑色成分および青色成分を使用することによってそれぞれ同様にして計算される。
【００５２】
ステップ６１０において、ＡＥＣＩＭ１４０は、ｒＭＡＤを１／２、ｂＭＡＤを１／４にスケーリングする。このスケーリングステップは、どの色成分が、入力ピクセル付近で認識されるばらつきに最も大きな影響を有するかを決定するために、ｒＭＡＤ、ｇＭＡＤ、およびｂＭＡＤを相互比較に備えて準備する。輝度のばらつきは、認識される色のばらつきの妥当な予測手段であることから、ｒＭＡＤ、ｇＭＡＤ、およびｂＭＡＤの大きさは、輝度成分に対するそれぞれのおよその相対的な寄与に従って調整される。
【００５３】
ｒＭＡＤを１／２、ｂＭＡＤを１／４にスケーリングすることで所望の目的が達成されることを判断するために、（Ｒ，Ｇ，Ｂ）ピクセルの輝度Ｙが、
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
のように計算されることが多いことを考慮されたい。また、０．２９９が０．５８７のおよそ半分であり、０．１１４が０．５８７のおよそ四分の一であることを確認されたい。このスケーリングステップの１つの望ましい結果は、ｒＭＡＤ、ｇＭＡＤ、およびｂＭＡＤをすべて同じしきい値（たとえば、ＴＨＲＥＳＨ１）と比較可能にさせることである。
【００５４】
次に、ステップ６２０において、ｒＭＡＤがＴＨＲＥＳＨ１と比較される。好ましくは、所定のしきい値（ＴＨＲＥＳＨ１）は経験的に求められ、すべての入力画像について固定のままである。代替として、ＴＨＲＥＳＨ１の値は、画像毎、さらにはピクセル毎に可変である。
【００５５】
ｒＭＡＤがＴＨＲＥＳＨ１未満の場合、出力ピクセルの赤成分（ＲＯ）には、赤成分の平均値（ｒＡＶＥ）が割り振られる（すなわち、ＲＯ＝ｒＡＶＥ）。ｒＡＶＥは、入力ピクセルに関する所定の近傍ピクセル（たとえば、第１のウィンドウ内の第２の３×３ピクセルウィンドウ）を使用することによって計算される。ｒＭＡＤがＴＨＲＥＳＨ１未満の場合、赤成分にはピクセルアクティビティがほとんど、あるいは全くないため、赤成分をぼやけさせてまたは平滑化して、画像の外観に悪影響を与えることなく圧縮性を向上させることができることが示される。
【００５６】
処理ステップ６３０および６４０は、処理が緑平面および青平面に関するということを除き、ステップ６２０を参照して上に述べた操作と同じ操作を含む。
【００５７】
判定ブロック６５０において、出力ピクセルの任意の色成分でまだ求められていないものがあるか否かが判定される。まだ求められていない出力ピクセル色成分がある場合、そういった色成分が、非線形フィルタを使用することによって計算される（ステップ６６０）。ステップ６６０については、図７を参照して以下でさらに詳細に述べる。その他の場合、カラー出力ピクセルがこの時点で完全に求められている。
【００５８】
非線形フィルタを使用してのピクセル成分の計算
図７は、本発明の一実施形態による、図６の非線形フィルタを使用することによって色成分を計算するステップをさらに詳細に示すフローチャートである。ステップ７００において、最大のＭＡＤを有する色成分からのピクセルに基づいて、異なるフィルタの一群からフィルタが選択される。判定ブロック７１０において、赤出力ピクセルがすでに求められているか否かが判定される。赤出力ピクセルがまだ求められていない場合、ステップ７２０において、赤出力ピクセルが、ステップ７００において選択されたフィルタを赤平面に適用することによって生成される。その他の場合、処理は判定ブロック７３０に進む。
【００５９】
判定ブロック７３０において、緑出力ピクセルがすでに求められているか否かが判定される。緑出力ピクセルがまだ求められていない場合、ステップ７４０において、緑出力ピクセルが、ステップ７００において選択されたフィルタを緑平面に適用することによって生成される。その他の場合、処理は判定ブロック７５０に進む。
【００６０】
判定ブロック７５０において、青出力ピクセルがすでに求められているか否かが判定される。青出力ピクセルがまだ求められていない場合、ステップ７６０において、青出力ピクセルが、ステップ７００において選択されたフィルタを青平面に適用することによって生成される。
非線形フィルタリングプロセスでは、まず、ｒＭＡＤ、ｇＭＡＤ、およびｂＭＡＤ（ステップ６１０を参照して上に述べたようにｒＭＡＤを１／２に、ｂＭＡＤを１／４にスケーリングした後）の中でどれが最も大きいかを特定する。対応する色成分におけるピクセルに基づいて、
【００６１】
【数５】

と表されるフィルタ係数の一組が選択される。フィルタ選択プロセスについては、図８を参照して以下でさらに詳細に述べる。
【００６２】
次に、出力ピクセルの赤成分がまだ求められていない場合、選択されたフィルタ係数を入力ピクセルウィンドウの赤成分に適用することによって計算される。すなわち、赤出力ピクセルは、以下、すなわち、
【００６３】
【数６】

【００６４】
のようにして計算される。
【００６５】
同様に、必要であれば、出力ピクセルの緑成分が以下、すなわち、
【００６６】
【数７】

【００６７】
のようにして計算される。式中、ＧＩ（・，・）は緑入力ピクセル値を表す。同様に、必要であれば、出力ピクセルの青成分が以下、すなわち、
【００６８】
【数８】

【００６９】
のように計算される。式中、ＢＩ（・，・）は青入力ピクセル値を表す。
【００７０】
図８は、本発明の一実施形態による、非線形フィルタ（図７のステップ７００）を選択するステップをさらに詳細に示すフローチャートである。この部分の処理は、そのクラス用に設計されたフィルタに対応するクラスインデックスを選択することを含む。２５個の異なるクラスがあり、これを４つの群に分けることができる。クラス１〜８は、角度の向きが異なる、比較的平滑な遷移を表す。本実施形態では、角度は、それぞれ４５度の８つの別個のビンに量子化される。クラス９〜２４は鮮鋭なエッジを表し、クラス９〜１６は先鋭なエッジの暗い側にあるピクセル用であり、クラス１７〜２４は鮮鋭なエッジの明るい側にあるピクセル用である。最後に、クラス０は通常、遷移またはエッジがまったくない場合に対応する。
【００７１】
クラスインデックスの選択は、入力ピクセルに存在する任意のエッジの角度を示唆する勾配情報に基づく。勾配情報に応じて、クラスインデックスの選択は、入力ピクセルがあるエッジの側（すなわち、暗い側または明るい側）を示唆する曲率情報にも基づきうる。勾配情報は、２つの係数：ＧｘおよびＧｙで表され、曲率情報は５つの係数Ａ、Ｂ、Ｃ、Ｇｘ、およびＧｙに基づいて得られる。係数Ａ、Ｂ、およびＣを計算することができる例示的な方法について、図１１を参照して以下でさらに詳細に述べる。
【００７２】
好ましい実施態様では、勾配係数および曲率係数が、入力ピクセルを中心とする５×５ウィンドウから抽出される。しかし、異なるサイズ（たとえば、３×３、７×７、９×９）および形状のウィンドウを、対応して異なる演算子とともに利用することが可能なことに留意する。
【００７３】
ステップ８００において、勾配係数ＧｘおよびＧｙが２つの演算子を使用することで計算される。図９は、本発明の一実施形態により利用し得る例示的な２つの演算子係数組９１０、９２０を示す。演算子９１０および９２０はそれぞれ、直交方向（たとえば、水平方向および垂直方向）のエッジを見つける。特定の用途に合うように、他の演算子係数の組を選択することができることに留意する。
【００７４】
特に、演算子の組は、包括的なエッジ角度情報を提供するはずである。たとえば、本明細書に述べる実施形態では、Ｇｘを計算する係数が、水平エッジを見つける演算子をなすという点が重要である。同様に、Ｇｙを計算する係数が、垂直エッジを見つける演算子をなすという点が重要である。
【００７５】
たとえば、演算子は、それぞれが同じ値を特徴とする水平「バー」を表す第１の演算子係数組９１０、およびそれぞれ同じ値を特徴とする垂直「バー」を表す第２の演算子係数組９２０であることができる。第１の係数組９１０は、上半分の係数が負であり、下半分の係数が正であるため、水平エッジを見つけるように調整されていることに留意する。同様に、第２の係数組９２０は、左半分の係数が負であり、右半分の係数が正であるため、垂直エッジを見つけるように調整されていることに留意する。
【００７６】
本例では、エッジ角度係数Ｇｘが、以下の式、すなわち、
【００７７】
【数９】

【００７８】
を使用することにより計算される。式中、Ｉ（・，・）は最も大きな平均絶対偏差を有する色成分からのピクセルを表し、ＧｘＣ（・，・）は第１の演算子係数組９１０を表す。エッジ角度係数Ｇｙは、第２の演算子係数組９２０を右辺に使用することにより、同様にして計算される。
【００７９】
次に、ステップ８１０において、ＧｘおよびＧｙの少なくとも一方がゼロに等しくないかどうかが判定される。Ｇｘがゼロに等しく、かつＧｙがゼロに等しい場合、ステップ８２０において、クラスインデックスはゼロと定義され、フィルタ選択プロセスが終了する。その他の場合、Ｇｘが０に等しくないか、またはＧｙがゼロに等しくない場合、ステップ８３０において、１〜８の仮のクラスインデックスがＧｘおよびＧｙに基づいて決定される。仮のクラスインデックスを決定する例示的なプロセスについては、図１０を参照して以下でさらに詳細に述べる。
【００８０】
ステップ８４０において、エッジ鮮鋭度メトリックが計算される。たとえば、エッジ鮮鋭度メトリックは、以下の式、すなわち、
Ｇｘ・Ｇｘ＋Ｇｙ・Ｇｙ
を使用することにより計算することができる。
【００８１】
判定ブロック８５０において、鮮鋭度メトリックが所定のしきい値よりも大きいか否かが判定される。エッジ鮮鋭度メトリックがしきい値（ＴＨＲＥＳＨ２）以下である場合、仮のクラスインデックスが真のクラスインデックスとみなされ、フィルタ選択プロセスが終了する。
【００８２】
一実施態様では、ＴＨＲＥＳＨ２の値は経験的に求められ、これはすべての入力画像に固定のままであるものと意図される。別の選択肢は、ＴＨＲＥＳＨ２の値を画像毎、さらにはピクセル毎に可変とするというものである。
【００８３】
エッジ鮮鋭度メトリックがしきい値（ＴＨＲＥＳＨ２）以上の場合、ステップ８６０において、曲率係数Ａ、Ｂ、およびＣが計算される。曲率係数Ａ、Ｂ、およびＣを計算する好ましいプロセスについては、図１１を参照して以下でさらに詳細に述べる。このプロセスは、図９に示す勾配係数ＧｘおよびＧｙの計算に使用された手順と同様である。
ステップ８７０において、曲率メトリックがＡ、Ｂ、Ｃ、Ｇｘ、およびＧｙに基づいて計算される。たとえば、曲率メトリックは、Ａ、Ｂ、Ｃ、Ｇｘ、およびＧｙを含む以下の式、すなわち、
【００８４】
【数１０】

を使用することで計算することができる。式中、ｅｄｇｅ＿ｓｈｒｐ＿ｍｅｔｒｉｃは、上で計算されたエッジ鮮鋭度メトリックである。
【００８５】
判定ブロック８８０において、曲率メトリックがゼロよりも大きいか否かが判定される。曲率メトリックが正の場合、ステップ８９０において、仮のクラスインデックスに８を加算することにより、最終的なクラスインデックスが計算される。その他の場合、ステップ８９４において、仮のクラスインデックスに１６を加算することにより、最終的なクラスインデックスが計算される。いずれの場合でも、フィルタ選択プロセスはここで完了する。
【００８６】
上記明細書において、本発明について特定の実施形態を参照して述べた。しかし、本発明のより広い範囲から逸脱することなく、各種変形および変更を行いうることが明らかであろう。したがって、本明細書および図面は、制限する意味ではなく例示の意味で解釈すべきである。
【図面の簡単な説明】
【００８７】
【図１】本発明の外観向上・圧縮性向上機構を実施することができる例示的なコンピュータシステムを示すブロック図である。
【図２】本発明の一実施形態による図１の外観向上・圧縮性向上機構をさらに詳細に示すブロック図である。
【図３】図２の外観向上・圧縮性向上機構の例示的な実施態様を示すブロック図である。
【図４】図３のエッジ依存フィルタ選択モジュールをさらに詳細に示すブロック図である。
【図５】本発明の一実施形態による外観向上・圧縮性向上機構によって行われるステップを示すフローチャートである。
【図６】本発明の好ましい実施形態による外観向上・圧縮性向上機構によって行われるステップを示すフローチャートである。
【図７】本発明の一実施形態による図６の非線形フィルタを利用することによってピクセル構成要素を計算するステップをさらに詳細に示すフローチャートである。
【図８】本発明の一実施形態による、特定のフィルタを選択するプロセスを示すフローチャートである。
【図９】本発明の一実施形態による、エッジ角度係数を求めるプロセスを示す図である。
【図１０】本発明の一実施形態による、エッジ角度係数に基づいてクラスインデックスを求めるプロセスを示すフローチャートである。
【図１１】本発明の一実施形態による、曲率係数を求めるプロセスを示す図である。
【符号の説明】
【００８８】
１４０：外観向上・圧縮性向上機構
２３０：フィルタ選択機構
２４０：フィルタ適用機構

Claims (10)

1. 入力ピクセルウィンドウを受け取り、これに応答して、前記入力ピクセルウィンドウに基づいて計算されたエッジパラメータおよび前記入力ピクセルウィンドウに基づいて計算されたアクティビティメトリックのうちの一方に基づいて、フィルタ識別子を生成するフィルタ選択機構と、
   前記フィルタ選択機構に接続され、前記フィルタ識別子を受け取り、該フィルタ識別子により特定されたフィルタを前記入力ピクセルウィンドウに適用して出力ピクセルを生成するフィルタ適用ユニットと、
   を備えた画像処理システム。
2. 前記入力ピクセルウィンドウに基づいて少なくとも１つのエッジパラメータを計算するエッジパラメータ評価ユニットをさらに備えた、請求項１記載の画像処理システム。
3. 前記エッジパラメータが、エッジ角度、エッジ鮮鋭度、エッジ曲率、およびエッジに関連する任意の測定可能な単位のうちの１つである、請求項２記載の画像処理システム。
4. 前記入力ピクセルウィンドウに基づいて少なくとも１つのアクティビティメトリックを計算するアクティビティメトリック評価ユニットをさらに備えた、請求項１記載の画像処理システム。
5. 前記アクティビティメトリックが、赤色平面のばらつきレベル、緑色平面のばらつきレベル、青色平面のばらつきレベル、輝度平面のばらつきレベル、赤色平面の平均絶対偏差、緑色平面の平均絶対偏差、青色平面の平均絶対偏差、および輝度平面の平均絶対偏差のうちの１つである、請求項４記載の画像処理システム。
6. 前記フィルタ適用ユニットが、該フィルタ適用ユニットが使用する複数のフィルタを提供するフィルタリポジトリを含む、請求項１記載の画像処理システム。
7. 前記フィルタリポジトリは、ぼかしフィルタ、平滑化フィルタ、鮮鋭化フィルタ、および強調フィルタのうちの１つを含む、請求項６記載の画像処理システム。
8. 複数の入力ピクセルを有するデジタル画像を処理する方法であって、
   各入力ピクセルについて、
   現在の入力ピクセルに対応する入力ピクセルウィンドウを受け取るステップと、
   エッジパラメータおよびアクティビティメトリックのうちの一方に基づいてフィルタ識別子を生成するステップと、
   前記フィルタ識別子で指定されたフィルタを前記入力ピクセルウィンドウに適用して、前記現在の入力ピクセルに対応する出力ピクセルを生成するステップと、
   を含む方法。
9. 前記現在の入力ピクセルに対応する入力ピクセルウィンドウを受け取るステップが、現在の入力ピクセルおよび該現在の入力ピクセルに隣接するピクセルを含む入力ピクセルウィンドウを受け取るステップを含む、請求項８記載の方法。
10. 前記現在の入力ピクセルに対応する入力ピクセルウィンドウを受け取るステップが、前記現在の入力ピクセルを中心としたＮ×Ｎの正方形に入るピクセルを含む入力ピクセルウィンドウを受け取るステップを含む、請求項８記載の方法。

Images