JP2006033821A

JP2006033821A - 画像処理

Info

Publication number: JP2006033821A
Application number: JP2005184402A
Authority: JP
Inventors: Stephen Pollard; ステファン・ポラード; Andrew Arthur Hunter; アンドリュー・アーサー・ハンター
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2004-06-24
Filing date: 2005-06-24
Publication date: 2006-02-02
Anticipated expiration: 2025-06-24
Also published as: GB2415565A; GB2415565B; US7679779B2; GB0414186D0; US20050286763A1; JP4689366B2

Abstract

【課題】画像を表すのに使用されるデータをデジタル処理する方法。
【解決手段】画像の色調節されていない成分に関する未調節データを使用して該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングする。
【選択図】図１

Description

本発明は画像処理の分野に関する。

優先権の主張
本出願は２００４年６月２４日に出願された「IMAGE PROCESSING」と題する同時係属中の英国特許出願第０４１４１８６．７号に基づいて優先権を主張する。この英国特許出願はその全内容が参照により本明細書に援用される。

デジタルカラー画像の色補正は、多くの画像処理の場面で必要となる。

１つの重要な場面はデジタル撮像を行うときである。カラーフィルタの交互のパターンを装置の個々のセンサ素子のアレイ上に導入することによってカラーセンサを作成することが知られている。あるいは、画像センサは、センサの各点において複数の異なる波長の光に関する情報を取り込む場合がある。

しかしながら、それらのカラーセンサを我々の目のスペクトル特性やコンピュータで画像の表現または表示に使用される原色に正確に一致させるカラーフィルタを構成することは難しい。そのため、取り込まれた画像を処理し、検知された色を所望の表色系の色に変換することが必要となる。

このような問題は、色補正が必要となる他の場面にも当てはまり、例えば３つのＣＣＤセンサ（各カラープレーンについて１つづつ）を備えた撮像装置により生成された画像、フラットベッドカラースキャナにより生成された画像、または数組の別々の登録画像からカラー画像を形成する他の画像システムにより生成された画像に色補正が必要とされる場面にも当てはまる。それらの問題の一部は、印刷の場面にも当てはまり、印刷時には、色補正を使用して、ある色空間からプリンタの色空間へマッピングが行われ、例えば、（プリンタの物理的なＣＭＹＫ（減法混色の原色であるシアン、マゼンタ、イエロー、ブラック）色空間への最終的な変換の前に）、標準的なＲＧＢ（加法混色の原色である赤、緑、青）色空間からプリンタのＲＧＢ空間へのマッピングが行われる。

ある色空間から別の色空間へ画像を変換するために画像を処理する場合、例えば青色チャネル等の雑音の多いチャネルから、例えば緑色チャネル等の雑音の少ないチャネルへの雑音の混入を回避することが望ましい。

同時係属中の英国特許出願第０１１８４５６．３号は、画像の色補正の方法を開示している。この出願は参照により本明細書に援用される。処理対象の画像は低周波成分と高周波成分に分離され、色補正は低周波成分にのみ適用される。このようにすると、画像の高空間周波数成分には色補正が適用されず、画像中の雑音の大部分は一般に画像の高空間周波数成分に含まれているので、色補正プロセスにおける雑音の影響を低減することができる。

英国特許出願０１１８４５６．３号に記載の処理は、ＲＧＢからＲＧＢへの変換のような同じ基本色空間内での小規模な変換には適しているが、例えばＣＭＹのような補色をＲＧＢのような原色に変換する場合のような極端な状況では、あまり十分に機能しない。

日本の特許出願第２００３−１１０８６０号と、「Suppression of Noise Amplification During Colour Correction」、Kharitonenko他著、IEEE Transactions on Consumer Electronics、 Vol. 48、 No. 2、２００２年５月 (出版), ２２９〜２３３頁はいずれも、画像を色補正するプロセスについて記載している。

第ＧＢ０１１８４５６．３号に記載のプロセスをさらに拡張したものが、米国特許出願第１０／２１６６４８号に記載されている。この米国特許出願では、高周波画像を色補正された低周波画像と再結合させる前に調節し、色彩の高いエッジの周りの領域をさらに色補正している。

このような改良にもかかわらず、また、高周波画像成分の処理が色彩の高いエッジの周りにしか行われないにもかかわらず、最終的な変換画像には依然として雑音が発生する。また、１０／２１６６４８号に記載の方法は、機能的に、ある色空間から別の色空間への画像の変換に限られ、概ね似通った色空間同士での変換にしか適していない。

第１の実施形態によれば、画像を表すのに使用されるデータをデジタル処理する方法であって、画像の色調節されていない成分に関する未調節データを使用して、画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングすることからなる方法が得られる。

第２の実施形態によれば、画像データをデジタル処理する方法であって、第１の色空間に関する開始画像データを処理して第１の色空間に関する第１の低空間周波数画像データを生成し、第１の低空間周波数画像データを処理して第２の色空間に関する第２の低空間周波数画像データを生成し、開始画像データを使用して第１の色空間に関する１つの色成分について第１の高空間周波数画像データを生成し、第１の低空間周波数画像データと第２の低空間周波数画像データをそれぞれ使用して各色空間について第１の低空間周波数画像データにおけるエッジに関する第１のエッジデータおよび第２の低空間周波数画像データにおけるエッジに関する第２のエッジデータをそれぞれ生成し、各色空間に関する第１のエッジデータおよび第２のエッジデータならびに前記第１の高空間周波数画像データを使用して第２の色空間に関するスケーリングされた高空間周波数画像データを生成し、スケーリングされた高空間周波数画像データおよび第２の低空間周波数画像データを使用して第２の色空間に関する出力画像データを生成することからなる方法が得られる。

第３の実施形態によれば、画像を表すのに使用されるデータを処理する機能を有する画像処理装置であって、画像の色調節されていない成分に関する未調節データを使用して、画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングする機能をさらに有する画像処理装置が得られる。

第４の実施形態によれば、第１の色空間に関する開始画像データを処理して第１の色空間に関する第１の低空間周波数画像データを生成し、低空間周波数画像データを処理して第２の色空間に関する第２の低空間周波数画像データを生成し、開始画像データを使用して第１の色空間に関する１つの色成分について第１の高空間周波数画像データを生成し、第１の低空間周波数画像データと第２の低空間周波数画像データをそれぞれ使用して各色空間について第１の低空間周波数画像データにおけるエッジに関する第１のエッジデータおよび第２の低空間周波数画像データにおけるエッジに関する第２のエッジデータを生成し、各色空間の第１のエッジデータおよび第２のエッジデータならびに第１の高空間周波数画像データを使用して第２の色空間に関するスケーリングされた高空間周波数画像データを生成し、スケーリングされた高空間周波数画像データおよび第２の低空間周波数画像データを使用して第２の色空間に関する出力画像データを生成する機能を有する画像処理装置が得られる。

本発明をさらに良く理解し、本発明を実施できるようにする方法を明らかにするために、次に図面を参照し、種々の実施形態を単なる例として説明する。

「〜を含む／〜からなる」という言葉は、本明細書で使用される場合、記載した特徴、整数、ステップ、またはコンポーネントの存在を意味し、１以上の他の特徴、整数、ステップ、またはコンポーネント、あるいはそれらのグループの存在や追加を除外する意味はない。

図１では、ＭＹＣ開始画像データ１０１から低周波ＭＹＣ画像１０２を表すデータを適当な平滑化技法を使用して作成する。この平滑化は、例えばデータ１０１をローパスフィルタリングすることにより実施され、または他の任意の適当技法により実施される。例えば、GonzalezおよびWoods著、「Digital Image Processing」（Addison & Wesley、１９９２年）の１８９〜２０１頁に記載されているように、多数の様々な平滑化技法が知られている。このような技法には、有限応答フィルタを使用するもの、無限応答フィルタを使用するもの、およびフーリエ領域における処理を使用するものなどがある。一実施形態では、２次元ガウス空間フィルタを用いてこのフィルタリングを実施する。

低周波画像データ１０２を作成する際、各色平面は個別に処理される。３枚の色平面（この場合、Ｍ色平面、Ｙ色平面、およびＣ色平面）がある場合、実際には３枚の低周波画像が作成される。各色平面の各ピクセルに強度値が存在せず、低周波画像の各色平面が十分に埋まっていない場合は、補間ステップまたはその類を使用してもよい。適当な補間は例えば第ＧＢ０１１８４５６．３号に記載されているが、他にも様々な既知の技法を使用することができる。各色平面の各ピクセルに強度値がある場合、ローパスフィルタリングにより、ローパス画像１０２をフル解像度で表現するデータが得られる。

低周波データ１０２は適当な色空間変換を使用してＲＧＢ色空間に変換され、低周波ＲＧＢデータ１０３が生成される。

ＭＹＣ生画像データとＭＹＣ低周波データとの間で、ピクセル単位の減算を実施することにより、ＭＹＣ画像の色チャネルに関する高周波データ１０５が得られる。この例では、Ｙ色チャネルを選択して高周波データを生成している。その理由は、画像は一般に、ＭピクセルやＣピクセルよりもＹピクセルを多く含むからである。すなわち、一般に画像センサにおけるＭＹＣカラーフィルタの通常のモザイクパターンは、ＭカラーフィルタやＣカラーフィルタに比べて２倍の数のＹカラーフィルタを含むからである。当然ながら、高周波データ１０５は、画像データのＹ部分に関するものではなく、Ｍ部分またはＣ部分に関するものであってもよい。

ＭＹＣ色空間の低周波データ１０２とＲＧＢ色空間の低周波データ１０３から、それぞれに対応する低周波画像の各色成分についてエッジデータ１０６、１０７をそれぞれ判定し、Ｒ、Ｇ、Ｂエッジデータ画像Ｅ_Ｒ、Ｅ_Ｇ、Ｅ_Ｂ（１１１、１１３、１１５）と、Ｙエッジデータ画像Ｅ_Ｙ（１１７）とをそれぞれ生成する。好ましい実施形態では、このエッジデータは、勾配法を使用して局所的画像勾配の大きさを判定することにより決定される。

詳しくは、好ましい実施形態では、２次元（２Ｄ）１次微分演算子を平滑化された２Ｄ画像１０２、１０３の各色成分に適用し、高い値の１次空間微分係数を有する画像領域を強調することにより、画像１０２、１０３のＲ、Ｇ、ＢおよびＹの各色成分について、画像データ成分１１１、１１３、１１５および１１７をそれぞれ生成する。

詳しくは、次に、高周波Ｙ色チャネルデータ１０５と低周波エッジデータ１１１、１１３、１１５、１１７を使用して、Ｒ、Ｇ、Ｂの各色チャネルについて、スケーリングされた（scaled）ＲＧＢ高周波画像データ１１９、１２０、１２２をそれぞれ得る。

スケーリングされたＲＧＢ成分高周波画像データ１１９、１２０、１２２は、下記の式から得られる。

ここで、ｉ＝Ｒ、ＧまたはＢであり、Ｈ_Ｒ、Ｈ_ＧおよびＨ_Ｂはそれぞれ、Ｒチャネル、Ｇチャネル、およびＢチャネルのスケーリングされた高周波成分である。「ｍｉｎ」演算子は、Ｅ_ｉ／Ｅ_Ｙと１の中から最小値を判定し、その最小値を返す。これによって、高周波成分（よって、雑音）が、Ｈ_Ｙから、構成されたＨ_Ｒ、Ｈ_Ｇ、またはＨ_Ｂの高周波ＲＧＢ画像成分１１９、１２０、１２２のいずれかに増幅されるのが防止される。

次に、スケーリングされた高周波ＲＧＢデータ１１９、１２０、１２２を単純なピクセル単位の加算によりＲＧＢ低周波データ１０３と結合し、最終的なＲＧＢ補正画像１２１を生成する。

図２は、画像に関するデータを処理する方法に関するフロー図である。画像（図示せず）を表す画像データ２０１を処理し、画像の色調節されていない色成分に関するデータ２０３を生成する。このデータ２０３は、画像のエッジに関する、画像の少なくとも１つの色調節されていない画像成分２０５をスケーリングするのに使用される。

図３は、画像を処理する方法に関する別のフロー図である。画像（図示せず）を表す画像データ３０１を処理し、画像の未調節されていない色成分に関するデータ３０３を生成する。このデータ３０３は、画像のエッジに関する、画像の複数の色調節された画像成分３０５をスケーリングするのに使用される。

図４は、画像処理装置を示す概略図である。

装置４０１はデジタル信号プロセッサ４１１を有し、デジタル信号プロセッサ（ＤＳＰ）４１１で処理可能な画像を表すデータを受け取る。この画像を表すデータは、例えばＣＣＤデバイスやＣＭＯＳデバイスのような装置４０１の撮像素子４２０を使用して生成される場合もあれば、符号４２５で示す入力ポートを使用して装置４０１外部のソースから受信する場合もある。

バスまたはその類４１３は、装置４０１のＤＳＰ４１１、メモリ４１７、中央演算処理装置（ＣＰＵ）４１９、撮像素子４２０、表示装置４２１および入力ポート４２５の間で、データ信号または制御信号、あるいはそれら両方を伝達する働きを持つ。

メモリ４１７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であってもよいし、不揮発性メモリ（例えば、フラッシュ、ＲＯＭ、ＰＲＯＭ等）やリムーバブルメモリ（例えば、メモリカード、ディスク等）、あるいはそれら両方を含むものであってもよい。メモリ４１７は、画像データの記憶と、処理された画像データの記憶に使用され、ＣＰＵ４１９および／またはＤＳＰ４１１に画像データを処理させるための命令を記憶するのにも使用される。

入力デバイス４２５は、例えばケーブル（例えば、イーサネットケーブル、ＲＪ４５コネクタ、ＵＳＢなど）を利用したネットワークに対する有線接続やメモリカードなどの物理エンティティの受け入れ機能を有する従来の入力ポートを備えたデバイスであってもよいし、あるいは、例えばブルートゥースやＷｉＦｉ等の無線接続を利用してデータを受信する機能を有するデバイスであってもよい。選択肢は他にもありうる。

使用時には、図１〜図３を参照して上で説明したような方法の各ステップを実施するための適当な機械読取可能命令を含むコンピュータプログラムが、装置のメモリ４１７にロードされる。これらの命令はメモリ４１７のＲＯＭ領域（図示せず）に格納され、そこからＲＡＭにロードされ、ＣＰＵ４１９および／またはＤＳＰ４１１によって実行されるか、若しくはＣＰＵ４１９および／またはＤＳＰ４１１によってＲＯＭから直接実行される。

それらの命令は、ＣＰＵ４１９および／またはＤＳＰ４１１を利用して実行されると、少なくとも画像の一部を表すデータをデジタル処理する。このデータは、撮像素子４２０を使用して生成される場合もあれば、入力デバイス４２５を使用して受信される場合もある。

処理されたデータは、装置４０１の表示装置４２１を用いて表示される場合もあれば、出力デバイス４３０を使用して装置４０１から出力される場合もある。この出力デバイス４３０は、例えばケーブル（例えば、イーサネットケーブル、ＲＪ４５コネクタ、ＵＳＢなど）を利用したネットワークに対する有線接続やメモリカードなどの物理エンティティの受け入れ機能を有する従来の出力ポートを備えたデバイスであってもよいし、あるいは、例えばブルートゥースやＷｉＦｉ等の無線接続を利用してデータを送信する機能を有するデバイスであってもよい。選択肢は他にもありうる。

撮像素子４２０を含めるか否かは自由選択であり、撮像素子４２０が装置４０１内に存在する必要は必ずしもない。

上で例示した方法は、ＭＹＣ色空間からＲＧＢ色空間への画像データの変換に関する説明になっている。当然ながら、他の色空間からの変換や、他の色空間への変換も可能である。例えば、ＲＧＢ色空間またはｓＲＧＢ色空間に関係する画像を表すデータは、ｓＲＧＢ色空間またはＲＧＢ色空間に変換することができ、若しくはＭＹＣ色空間に変換することもできる。選択肢は他にもありうる。

例示した方法は、変換対象画像の周波数成分の処理に関する説明になっている。この方法は、必ずしも画像の周波数成分に適用しなくてもよい。すなわち、変換対象画像の他の要素を処理することもできる。このような処理は、画像データセット全体に適用してもよいし、その一部に適用してもよく、その全体または一部は、事前処理されたものであってもよいし、生画像データであってもよい。

上で例示した方法は、移動局（携帯電話を含む）、携帯情報端末、携帯型表示装置等の画像処理装置に適用することができる。これらの装置は、画像取り込み機能（例えば、ＣＣＤデバイスやＣＭＯＳデバイス等の撮像素子）を備えていてもよいし、備えていなくてもよい。

色調節された画像データを得る方法に関する制御図である。図１の方法のさらに詳細を示すフロー図である。図１の方法のさらに詳細を示す他のフロー図である。色調節された画像データを得るのに適した画像処理装置の概略図である。

Claims

画像を表現するのに使用されるデータをデジタル処理する方法であって、
画像の色調節されていない成分に関する未調節データを使用して、該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングすることからなる方法。
前記未調節データは、前記画像の色調節されていない成分の高空間周波数成分に関連する、請求項１に記載の方法。
前記未調節データは第１の色空間に関連し、前記エッジデータは第２の色空間に関連し、前記第１の色空間または前記第２の色空間が、ＲＧＢ色空間、ｓＲＧＢ色空間、およびＭＹＣ色空間のうちのいずれか１つからなる、請求項１に記載の方法。
画像データをデジタル処理する方法であって、
第１の色空間に関する開始画像データを処理して該第１の色空間に関する第１の低空間周波数画像データを生成するステップと、
前記第１の低空間周波数画像データを処理して第２の色空間に関する第２の低空間周波数画像データを生成するステップと、
前記開始画像データを使用して前記第１の色空間に関する１つの色成分について第１の高空間周波数画像データを生成するステップと、
前記第１の低空間周波数画像データと前記第２の低空間周波数画像データをそれぞれ使用して、各色空間について、前記第１の低空間周波数画像データにおけるエッジに関する第１のエッジデータと前記第２の低空間周波数画像データにおけるエッジに関する第２のエッジデータをそれぞれ生成するステップと、
各色空間に関する前記第１のエッジデータおよび前記第２のエッジデータを使用して前記第２の色空間に関するスケーリングされた高空間周波数画像データを生成するステップと、
前記スケーリングされた高空間周波数画像データおよび前記第２の低空間周波数画像データを使用して前記第２の色空間に関する出力画像データを生成するステップと
からなる方法。
前記第１の高空間周波数画像データの生成は、前記第１の低空間周波数画像データを使用して実施される、請求項４に記載の方法。
前記第１の色空間はＭＹＣ色空間であり、前記第２の色空間はＲＧＢ色空間またはｓＲＧＢ色空間である、請求項４に記載の方法。
画像を表現するのに使用されるデータを処理する機能を有する画像処理装置であって、
画像の色調節されていない成分に関する未調節データを使用して、該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングする機能をさらに有する画像処理装置。
前記画像を表すデータを第１の色空間に生成する機能を有する撮像素子をさらに含む、請求項７に記載の画像処理装置。
前記第１の色空間はＭＹＣ色空間であり、前記色調節された各画像成分は、ＲＧＢ色空間またはｓＲＧＢ色空間である、請求項８に記載の画像処理装置。
第１の色空間に関する開始画像データを処理して該第１の色空間に関する第１の低空間周波数画像データを生成し、
前記第１の低空間周波数画像データを処理して第２の色空間に関する第２の低空間周波数画像データを生成し、
前記開始画像データを使用して前記第１の色空間に関する１つの色成分について第１の高空間周波数画像データを生成し、
前記第１の低空間周波数画像と前記第２の低空間周波数画像をそれぞれ使用して各色空間について前記第１の低空間周波数画像データにおけるエッジに関する第１のエッジデータと前記第２の低空間周波数画像におけるエッジに関する第２のエッジデータとをそれぞれ生成し、
各色空間に関する前記第１のエッジデータおよび第２のエッジデータ並びに前記高空間周波数画像データを使用して前記第２の色空間に関するスケーリングされた高空間周波数画像データを生成し、
前記スケーリングされた高空間周波数画像データおよび前記第２の低空間周波数画像データを使用して前記第２の色空間に関する出力画像データを生成する機能を有する画像処理装置。
前記出力画像データによって表現された画像の少なくとも一部を表示する機能をさらに有する、請求項１０に記載の画像処理装置。
画像データの色調節されていない成分に関する未調節データを使用して該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングする機能を有する画像処理装置。
コンピュータプログラム命令が格納されたコンピュータ読取可能媒体を含むコンピュータプログラム製品であって、前記プログラムがコンピュータのメモリにロードされたときに、前記命令によりコンピュータが、画像の色調節されていない成分に関する未調節データを使用して画像データを処理し、該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングする、コンピュータプログラム製品。
コンピュータ読取可能媒体に格納されたプログラムであって、該プログラムが、コンピュータにより実行可能な命令であって、画像の色調節されていない成分に関する未調節データを使用して、該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをコンピュータにスケーリングさせるための命令を含む、プログラム。
画像の色調節されていない成分に関する未調節データを使用して該画像の少なくとも１つの色調節された成分におけるエッジに関するエッジデータをスケーリングするように構成された論理回路。