JP2006014340A - 画像処理 - Google Patents

Abstract

【課題】ある色空間から別の色空間へ画像を変換するために画像を処理する場合に、雑音の多いチャネルから雑音の少ないチャネルへの雑音の混入を回避しつつ満足な変換画像がえられるようにする。
【解決手段】一実施形態は概して、画像の少なくとも一部を表すデータをデジタル処理する方法であって、雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、第２の色調節変換を画像の内容のうちの第２の空間周波数範囲に関するデータに適用することからなる方法として説明される。
【選択図】図１

Description

本発明は画像処理の分野に関する。

優先権の主張
本出願は２００４年６月２４日に出願された「IMAGE PROCESSING」と題する同時係属中の英国特許出願第０４１４１８７．５号に基づいて優先権を主張する。この英国特許出願はその全内容が参照により本明細書に援用される。

デジタルカラー画像の色補正は、多くの画像処理の場面で必要となる。

１つの重要な場面はデジタル撮像を行うときである。カラーフィルタの交互のパターンを装置の個々のセンサ素子のアレイ上に導入することによってカラーセンサを作成することが知られている。あるいは、画像センサは、センサの各点において複数の異なる波長の光に関する情報を取り込む場合がある。

しかしながら、それらのカラーセンサを我々の目のスペクトル特性やコンピュータで画像の表現または表示に使用される原色に正確に一致させるカラーフィルタを構成することは難しい。そのため、取り込まれた画像を処理し、検知された色を所望の表色系の色に変換することが必要となる。

このような問題は、色補正が必要となる他の場面にも当てはまり、例えば３つのＣＣＤセンサ（各色平面について１つづつ）を備えた撮像装置により生成された画像、フラットベッドカラースキャナにより生成された画像、または数組の別々の登録画像からカラー画像を形成する他の画像システムにより生成された画像に色補正が必要とされる場面にも当てはまる。それらの問題の一部は、印刷の場面にも当てはまり、印刷時には、色補正を使用して、ある色空間からプリンタの色空間へマッピングが行われ、例えば、（プリンタの物理的なＣＭＹＫ（減法混色の原色であるシアン、マゼンタ、イエロー、ブラック）色空間への最終的な変換の前に）、標準的なＲＧＢ（加法混色の原色である赤、緑、青）色空間からプリンタのＲＧＢ空間へのマッピングが行われる。

ある色空間から別の色空間へ画像を変換するために画像を処理する場合、例えば青色チャネル等の雑音の多いチャネルから、例えば緑色チャネル等の雑音の少ないチャネルへの雑音の混入を回避しつつ、満足な変換画像が得られるようにすることが望ましい。

同時係属中の英国特許出願第０１１８４５６．３号は、画像の色補正の方法を開示している。この出願はその全内容が参照により本明細書に援用される。処理対象の画像は低周波成分と高周波成分に分離され、色補正は低周波成分にのみ適用される。このようにすると、画像の高空間周波数成分には色補正が適用されず、画像中の雑音の大部分は一般に画像の高空間周波数成分に含まれているので、色補正プロセスにおける雑音の影響を低減することができる。

英国特許出願０１１８４５６．３号に記載の処理は、ＲＧＢからＲＧＢへの変換のような同じ基本色空間内での小規模な変換には適しているが、例えばＣＭＹのような補色をＲＧＢのような原色に変換する場合のような極端な状況では、あまり十分に機能しない。

日本の特許出願第２００３−１１０８６０号と、「Suppression of Noise Amplification During Colour Correction」、Kharitonenko他著、IEEE Transactions on Consumer Electronics、 Vol. 48、 No. 2、 ２００２年５月 (出版), ２２９〜２３３頁はいずれも、画像を色補正するプロセスについて記載している。

第ＧＢ０１１８４５６．３号に記載のプロセスをさらに拡張したものが、米国特許出願第１０／２１６６４８号に記載されている。この米国特許出願はその全内容が参照により本明細書に援用される。この米国特許出願では、高周波画像を色補正された低周波画像と再結合させる前に調節し、色彩の高いエッジの周りの領域をさらに色補正している。

このような改良にもかかわらず、また、高周波画像成分の処理が色彩の高いエッジの周りにしか行われないにもかかわらず、その高周波画像成分の処理により、最終的な変換画像には依然として多少の雑音が発生する。さらに、色彩の高いエッジを確実に識別するために必要となる計算は複雑であり、処理能力に制限のある携帯装置で使用するには、全く適していない。

第１の実施形態によれば、画像の少なくとも一部を表すデータをデジタル処理する方法が得られる。この方法は、雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、第２の色調節変換を画像の内容のうちの第２の空間周波数範囲に関するデータに適用することからなる。

第２の実施形態によれば、画像の色を表すデータを変換する方法が得られる。この方法は、第１の変換を画像データに適用し、第２の変換を画像データに適用することを含み、第１の変換は、画像データの第１の範囲を雑音制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、第２の変換は、画像データの第２の範囲を変換し、第２の変換済み画像成分データを生成する働きを持つ。この方法は、少なくとも第１の変換済み画像成分データおよび第２の変換済み画像成分データを使用し、変換画像を表すデータを生成することをさらに含む。

第３の実施形態によれば、画像の色を表すデータを変換する方法が得られる。この方法は、画像データを少なくとも２つの成分に分解する処理を行い、第１の変換を第１の成分に関するデータに適用し、第２の変換を第２の成分に関するデータに適用することを含み、第１の変換は、第１の成分に関するデータを制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、第２の変換は、第２の成分に関するデータを変換し、第２の変換済み画像成分データを生成する働きを持つ。この方法は、第１の変換済み画像成分データを第２の変換済み画像成分データと結合し、変換画像データを生成することをさらに含む。

第４の実施形態によれば、雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、第２の色調節変換を画像の内容のうちの第２の空間周波数範囲に関するデータに適用するように動作する画像処理装置が得られる。

第５の実施形態によれば、ＹＭＣ色空間における画像を表すデータを生成する働きを持つ撮像素子を備えた画像処理装置であって、雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、第２の色調節変換を画像の内容のうちの第２の空間周波数範囲に関するデータに適用するように動作する画像処理装置が得られる。

本発明をさらに良く理解し、本発明を実施できるようにする方法を明らかにするために、次に図面を参照し、種々の実施形態を単なる例として説明する。

「〜を含む／〜からなる」という言葉は、本明細書で使用される場合、記載した特徴、整数、ステップ、またはコンポーネントの存在を意味し、１以上の他の特徴、整数、ステップ、またはコンポーネント、あるいはそれらのグループの存在や追加を除外する意味はない。

図１は、色調節された画像データを得る方法に関する制御図である。図１のステップ１０２、１０３では、変換対象の画像データ１０１を低周波成分に関するデータと高周波成分に関するデータに分解する。ステップ１０４では、所望のレベルの色精度を維持するように構成された色変換を低周波成分に関するデータに適用し、ステップ１０５では、低雑音変換を高周波成分に関するデータに適用する。補正された２つのデータ成分は例えば単純なピクセル単位の加算により結合され、調節された画像データ１０７が生成される。この方法について、以下で詳しく説明する。

最初のステップでは、生画像データ１０１を複数の異なる成分に分解する。例えば、生画像データ１０１を高周波成分と低周波成分に分解する。

一実施形態では、画像データから高周波成分を平滑化によって除去することにより、低周波画像データ１０２を得る。一実施形態では、画像データ１０１と低周波画像データ１０２の差を高周波画像データ１０３として使用する。これを図２に示す。図２では、画像データ１０１’を用いて低周波画像データ１０２’を生成している。一実施形態では、画像データ１０１’と低周波データ１０２’の差を高周波データ１０３’として使用する。

低周波画像データ１０２、１０２’を色変換を使用して変換し、色調節された低周波画像データ１０４を生成する。

高周波画像データ１０３、１０３’を色変換を使用して変換し、色調節された高周波画像データ１０５を生成する。

色調節された低周波画像データ１０４、１０４’を色調節された高周波画像データ１０５、１０５’と結合し、調節後の画像データ１０７を生成する。一実施形態では、図１および図２を参照して説明した方法を使用して、画像データ１０１、１０１’の色空間とは異なる色空間に対応する調節された画像データ１０７を生成する。例えば、画像データ１０１、１０１’はＭＹＣ色空間に対応し、調節された画像データ１０７はＲＧＢ色空間またはｓＲＧＢ色空間に対応する場合がある。また、画像データ１０１、１０１’がＲＧＢ色空間またはｓＲＧＢ色空間に対応し、調節された画像データ１０７がＲＧＢ色空間またはｓＲＧＢ色空間、あるいはＭＹＣ色空間に対応する場合もある。選択肢は他にもありうる。

調節された画像データ１０７は画像を表し、この画像は、画像データ１０１、１０１’の高周波成分を含むので、画像データ１０１、１０１’によって表される画像の解像度に相当する解像度を有するものとなる。

画像データを低周波成分と高周波成分に分解することを助けるために、上記の方法に関連して、周波数しきい値を使用してもよい。具体的には、このしきい値よりも低い周波数を有する変換対象画像の空間周波数成分は低空間周波数成分として定義され、このしきい値よりも高い周波数を有する変換対象画像の空間周波数成分は高空間周波数成分として定義される。

周波数しきい値は、例えば、処理対象の画像の性質、および／または、必要とされる色変換の精度などの要素に応じて、その都度変更してよい。

次に、図１〜図５に記載されている方法の詳細について説明する。

低周波画像データ１０２、１０２’は適当な平滑化技法を使用して作成される。適当な技法は例えば、GonzalezおよびWoods著、「Digital Image Processing」（Addison & Wesley、 １９９２年）の１８９〜２０１頁に記載されている。

画像データ１０１、１０１’は一般に、画像の色データに対応する複数の色平面に関するデータ（図示せず）を含む。最終的なフルカラー画像を生成するために登録されるこれらの色平面は通常３枚（例えば、Ｒ、Ｇ、およびＢ、または、Ｍ、Ｙ、およびＣ）である。

低周波画像１０２、１０２’を作成するために、各色平面（適切な場合）を別々に処理する。例えば３枚の色平面がある場合、実際には３枚の低周波画像が作成される。

各色平面に対象となる各ピクセルの強度値が存在する場合、平滑化以外の処理を画像に適用する必要はない。しかしながら、そうでない場合は、補間ステップまたはその類のものが必要となる。適当な補間は、例えば第ＧＢ０１１８４５６．３号に記載されているが、さまざまな既知の技法を使用することができる。こうした補間は、低周波画像１０２、１０２’を生成する前に実施してもよいし、後に実施してもよい。

各色平面に各ピクセルの強度値が存在する場合、ローパスフィルタリングおよび色補正によりフル解像度の色補正されたローパス画像を形成し、そのローパス画像を制限付き変換し、次いで高周波画像を加算する。

画像を平滑化し、データ１０２、１０２’を生成するためのフィルタリング技法には、有限応答フィルタ、無限応答フィルタ、フーリエ領域における処理、またはブロック平均化などの使用を含む、様々なフィルタリング技法がある。一実施形態では、このフィルタリングを実施するために、２次元ガウス空間フィルタ／分布Ｇ（ｘ，ｙ）を構成する場合がある。このようなフィルタは通常、次の形を取る。

上式で、σはこの分布の標準偏差である。

３枚の色平面がある場合、通常、３組の平滑化された原画像ピクセルはすべて処理され、ある色空間から別の色空間への変換が実施され、色調節された低周波画像データ１０４が生成される。

変換画像ｘの要素を生成するために、下記のような一般形の色変換行列Ｍを変換対象画像のスペクトル要素ｃに適用する。

ｃの要素は、例えば撮像装置のｎ個のカラーフィルタのセットのカラー値である。これらのｃの要素を色変換行列Ｍを使用して別の色空間に変換すると、ｘが得られる。

一般に、ある色空間から別の色空間への変換、すなわち色調節は、各画像位置にＲＧＢ、ｓＲＧＢ、またはＭＹＣといった３つの色値を有する画像に対し、変換を適用することによって行われる（例えばモザイク解除された画像の場合、大抵は補間の後で）。これに関し、上記の色変換行列Ｍを簡略化したもの、例えば３×３行列のＭを使用してもよい。ただし、当然ながら本方法は、もっと多くの色値が存在する場合や、もっと少ない色値しか存在しない場合にも適用可能である。また、色変換は、上記のような変換行列を使用する代わりに、ルックアップテーブルを使用して実施することもでき、どのような特性の色変換を適用する場合でも本方法が使用可能であることは、当業者には明らかであろう。

Ｉを変換対象の生画像とし、ＬをＩの低周波成分とした場合、各色平面について、高周波成分画像Ｈが、下記のようにピクセル単位の和によって計算される。
Ｈ＝Ｉ−Ｌ

高周波成分変換用の色変換行列を計算する場合、変換要素の決定に制限を加えることにより、競合要件である色精度と雑音増幅のバランスをとることができる。具体的には、色変換行列の要素を計算する際にＴ_ｎを雑音しきい値として下記のような制限を加えることにより、このしきい値を超えて雑音を増幅することなく色補正を実施することが可能になる。

の項は雑音増幅の程度であり、各色チャネルは異なる雑音を有する場合があるので、α_ｊは、それを補償するために導入された重み係数である。

上記のしきい値は、画像の取得に使用される画像センサの特性、必要とされる色補正の程度、および必要な雑音抑圧の程度のような、特定の要素に応じてその都度決定することができる。ただし、一般的にはＴ_ｎ＝１である。従って、１に等しい値だと雑音は増幅されず、１未満の値だと雑音は低減される。１未満の値であればどのような値であっても雑音は低減されるが、変換画像に色誤差が発生するという意味で、色補正は最適なものにならない。一般に、変換に制限を加えることによって雑音増幅度を制限すると、大きな誤差が発生することがある。例えば、色空間変換によって得られる補正は十分でない場合があり、色空間が所望の出力に正確にマッピングされない場合がある。

一実施形態では、変換対象の画像を少なくとも２つの成分に分解し、上述のようにして得られた雑音制限付き変換行列を一方の成分に適用し、制限無しの（すなわち、上述のような雑音制限の無い）変換を他方の成分に適用する。このようにして、各成分に対し、異なる色処理を適用する。一実施形態において、この制限無しの変換は、所望のレベルの色精度を維持するように構成される。

具体的には、画像のほとんどの色情報は画像の低周波成分に含まれる。従って、画像から分離された高周波数成分に対して雑音制限付き変換を適用すれば、色補正を行っても、視覚的に目立つアーティファクトが画像に発生することはない。従って、変換時の雑音の増幅に対して上述のような制限を加えることにより生じる誤差の増幅を制限することができる。

画像の高周波成分に適用される雑音制限付き変換は、上で定義された雑音増幅度の制限の下で所望のレベルの色精度を維持するように構成される。低周波成分に使用されるローパス平滑化フィルタは雑音低減特性を有し、高周波成分に適用される色変換は雑音を増幅しないので、補正された画像の低周波変換成分と高周波変換成分は低雑音になる。

一般に、変換画像Ｉ’は次式から得られる。
Ｉ’＝Ｍ_１Ｌ＋Ｍ_２Ｈ
Ｍ_１およびＭ_２はそれぞれ、変換対象の画像の低周波成分および高周波成分に適用される変換である。好ましい実施形態では、Ｍ_２は雑音制限付き色変換であり、Ｍ_１は色変換である。

Ｉ＝Ｌ＋Ｈであるから、上式は次のようになる。
Ｉ’＝（Ｍ_１−Ｍ_２）Ｌ＋Ｍ_２Ｉ
上式はさらに次のように表現することもできる。
Ｉ’＝ＡＬ＋ＢＩ
ただし、Ａ＝Ｍ_１−Ｍ_２であり、Ｂ＝Ｍ_２である。従って、一実施形態による色変換画像等の変換画像は、（ａ）画像の高空間周波数成分と低空間周波数成分に対して変換を実施するか、または（ｂ）低空間周波数成分と原画像に対して変換を実施するかのいずれかによって得られる。

本発明の方法は、画像の高周波成分を処理しない場合に比べて、雑音を再び導入することなく、高周波成分のクロミナンス誤差と輝度誤差を両方とも低減する。

図３は、画像の色データを調節するプロセスに関するフロー図である。画像を表すデータ３０１は、画像の内容のうちの第１の空間周波数範囲に相当するデータ３０３と、画像の内容のうちの第２の空間周波数範囲に相当するデータ３０５とを含む。雑音の増幅を制限するように構成された第１の色調節変換３０７が、画像の内容のうちの第１の空間周波数範囲に関するデータ３０３に適用される。第２の色調節変換３０９が、画像の内容のうちの第２の空間周波数範囲に関するデータに適用される。

図４は、画像の色データを調節するプロセスに関する他のフロー図である。画像の色を表すデータ４０１に対し、第１の変換４０３および第２の変換４０５を適用する。第１の変換４０３は、画像データ４０１の第１の範囲４０７を雑音制限付き変換し、第１の変換済み画像成分データ４０８を生成する働きを持ち、第２の変換４０５は、画像データ４０１の第２の範囲４０９を変換し、第２の変換済み画像成分データ４１０を生成する働きを持つ。少なくとも第１の変換済み画像成分データ４０８および第２の変換済み画像成分データ４１０から、変換画像を表すデータ４１１を生成する。

図５は、画像の色データを調節するプロセスに関するさらに他のフロー図である。画像の色を表すデータ５０１を少なくとも２つの成分５０３、５０５に分解するために処理する。第１の変換５０７を第１の成分に関するデータ５０３に適用し、第２の変換５０９を第２の成分に関するデータに適用する。第１の変換５０７は、第１の成分に関するデータ５０３を制限付き変換し、第１の変換済み画像成分データ５１１を生成する働きを持ち、第２の変換５０９は、第２の成分に関するデータ５０５を変換し、第２の変換済み画像成分データ５１３を生成する働きを持つ。第１の変換済み画像成分データ５１１および第２の変換済み画像成分データ５１３を使用し、変換画像データ５１５を生成する。

図６は、画像処理装置を示す概略図である。

画像処理装置６０１は、デジタル信号プロセッサ（ＤＳＰ）６１１を有し、処理可能な画像を表すデータを受け取る。この画像を表すデータは、例えばＣＣＤデバイスやＣＭＯＳデバイスのような、装置６０１の撮像素子６２０を使用して生成される場合もあれば、符号６２５で示す入力ポートを使用して装置６０１外部のソースから受信する場合もある。

バスまたはその類６１３は、装置６０１のＤＳＰ６１１、メモリ６１７、中央演算処理装置（ＣＰＵ）６１９、撮像素子６２０、表示装置６２１および入力ポート６２５の間で、データ信号または制御信号、あるいはそれら両方を伝達する働きを持つ。

メモリ６１７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であってもよいし、不揮発性メモリ（例えば、フラッシュ、ＲＯＭ、ＰＲＯＭ等）やリムーバブルメモリ（例えば、メモリカード、ディスク等）、あるいはそれら両方を含むものであってもよい。メモリ６１７は、画像データの記憶と、処理された画像データの記憶に使用され、ＣＰＵ６１９および／またはＤＳＰ６１１に画像データを処理させるための命令の記憶にも使用される。

入力デバイス６２５は、例えばケーブル（例えば、イーサネットケーブル、ＲＪ４５コネクタ、ＵＳＢなど）を利用したネットワークに対する有線接続やメモリカードなどの物理エンティティの受け入れ機能を有する従来の入力ポートを備えたデバイスであってもよいし、あるいは、例えばブルートゥースやＷｉＦｉ等の無線接続を利用してデータを受信する機能を有するデバイスであってもよい。選択肢は他にもありうる。

使用時には、図１〜図５を参照して上で説明したような方法の各ステップを実施するための適当な機械読取可能命令を含むコンピュータプログラムが、装置のメモリ６１７にロードされる。これらの命令はメモリ６１７のＲＯＭ領域（図示せず）に格納され、そこからＲＡＭにロードされ、ＣＰＵ６１９および／またはＤＳＰ６１１によって実行されるか、若しくはＣＰＵ６１９および／またはＤＳＰ６１１によってＲＯＭから直接実行される。

それらの命令は、ＣＰＵ６１９および／またはＤＳＰ６１１を利用して実行されると、少なくとも画像の一部を表すデータをデジタル処理する。このデータは、撮像素子６２０を使用して生成される場合もあれば、入力デバイス６２５を使用して受信される場合もある。

処理されたデータは、装置６０１の表示装置６２１を用いて表示される場合もあれば、出力デバイス６３０を使用して装置６０１から出力される場合もある。この出力デバイス６３０は、例えばケーブル（例えば、イーサネットケーブル、ＲＪ４５コネクタ、ＵＳＢなど）を利用したネットワークに対する有線接続やメモリカードなどの物理エンティティの受け入れ機能を有する従来の出力ポートを備えたデバイスであってもよいし、あるいは、例えばブルートゥースやＷｉＦｉ等の無線接続を利用してデータを送信する機能を有するデバイスであってもよい。選択肢は他にもありうる。

撮像素子６２０を含めるか否かは自由選択であり、撮像素子６２０が装置６０１内に存在する必要は必ずしもない。

大抵の構成の場合、生画像フレーム全体を一度に揮発性メモリに記憶する必要はないことに注意して欲しい。画像処理はオン・ザ・フライで実施することができるので、画像処理パイプラインを実現するのに必要な量のメモリしか必要としない。そのため、画像データの最初の部分がセンサからメモリへいったん読み込まれた後は、その画像の開始部分についての圧縮画像データを生成することが可能になり、それらを長期メモリに記憶し始めることができる。その理由は、すべての処理が、画像の限られた領域にしか作用しないからである。言い換えれば、処理の各段階で構成される「画像」は、画像全体にわたる完全なデータセットにすることも可能であるが、実際にはそうすると、メモリや処理能力の犠牲が増えることになる。従って、処理の各段階で使用される「画像」は通常、断片的に作成され、この処理は、画像の局所部分に作用する。極端に言えば、ある1つのピクセルについて実行される計算は全て、その近傍にあるピクセルを用いて実行することができる。

上に例示した方法は、生画像を高周波画像と低周波画像に分離し、適当な変換を使用して画像の色を調節することを開示している。この方法は、各画像が異なる周波数成分を表す３以上の画像を使用するように容易に拡張することができる。これを行う１つの有効な方法は、第１の平滑化ステップ（上記一般的な方法におけるローパス画像を作成するのに使用されたものと等しい）を使用して中程度にぼやけた画像を生成した後、さらに別の平滑化ステップを実施して完全にぼやけた画像を生成することである。元の生画像と中程度にぼやけた画像との差は高周波画像として使用され、中程度にぼやけた画像と完全にぼやけた画像との差は中間周波画像として使用され、完全にぼやけた画像自体は低周波画像として使用される。当然ながら、この手順は、さらに多くの周波数範囲に拡張することもできる。

次に、それらの異なる周波数成分のそれぞれに対し、それらの周波数の異なる要件に従って個別に色変換または色補正を実施し、各チャネルで雑音が増幅されないようにする。

当業者であれば、実施方法をある程度最適化することも可能であることが分かるであろう。例えば、処理対象の画像を複数の周波数成分に分解する好ましい実施形態の場合、高周波（実質的にモノクロ）成分において特徴が互いにどの程度近くまで一致しているかを判定し、それらの画像中のどの辺りに色情報が存在するかを判定することができる。これに関し、色情報が存在する画像以外の（通常はモノクロの）画像が実質的に同じものである場合、色補正は、色情報が存在する画像にだけ適用すればよい。

必要な色変換を実行するために、変換対象の画像の他の特性を利用してもよい。例えば、画像のエッジ強度に関する何らかの尺度を使用してもよい。あるいは、ウェーブレット解析によって得られた画像の多重解像度表現を使用してもよい。選択肢は他にもありうる。

上で述べた高空間周波数範囲や低空間周波数範囲の境界は、その都度決定してもよいししきい値を基準にして決定してもよい。しきい値未満の画像の周波数成分は低周波成分として定義され、しきい値よりも大きい画像の周波数成分は高周波数成分として定義される。

実際には、変換対象の画像を異なる成分に分解せずに、変換を画像データ全体に適用したり、一部に適用したりしてもよい。上記の方法では変換対象の画像を別々の成分に、具体的には別々の周波数成分に分解しているが、当然ながら、画像データを異なる成分に分解することなく、または、分解する必要なく、代替実施形態に従って画像データを処理することも可能である。実際、本発明の方法をデジタルカメラや画像処理機能などを備えた移動局（携帯電話）等の携帯装置で実施するときの利点は、本発明の方法が、画像成分に対応するデータを生成することなく、取り込み画像に関するデータに適用できる点にある。

変換対象の画像は一般に、カラー画像を作成するために登録された複数の色平面に配置された複数のピクセルから構成される。通常、そのような色平面は３枚であるが、本発明の方法は、色平面が３枚よりも多い場合や、３枚よりも少ない場合にも適用することが可能である。本発明の方法は、例えば各ピクセル位置が一枚の色平面の値しか持たない場合でも、複数の色平面のうちの２以上の値を有する場合でも、全ての色平面の値を有する場合でも有効に適用することができ、ある色平面のピクセルが別の色平面のピクセルに直接関係せず、独立して登録されている場合でも（例えば、各色が独立したＣＣＤセンサで検出される場合のように）、有効に適用することができる。

図７〜図９は、色調節された画像データ得るための種々の実施形態を示すフロー図である。（図７、図８および図９のそれぞれに記載の）フロー図７００、８００および９００は、装置６０１（図６）を実現するための一実施形態に関するアーキテクチャ、機能、および動作を示す。代替実施形態では、フロー図７００、８００および／または９００のロジックが、ステートマシン（状態機械）として構成されたハードウェアで実施される。これに関し、各ブロックは、指定された論理機能（複数の場合もあり）を実現するための１以上の実行可能命令からなるプログラムのモジュール、セグメント、または一部に相当する場合がある。また、代替実施形態では、それらのブロックに記載された機能が図７、図８および図９に記載された順序とは異なる順序で実施される場合や、さらに別の機能を含む場合もある点に注意して欲しい。例えば、図７、図８および図９に連続して記載されている２つのブロックは、実際には実質的に同時に実施される場合もあり、場合によっては逆の順序で実施される場合もあり、後で明らかにするように、必要とされる機能によっては、ブロックのうちの幾つかが必ずしもすべての場合に実施されるとは限らない。このような変更や変形もすべて、本明細書の開示の範囲内に含めることを意図している。

フロー図７００（図７）に示すプロセスはブロック７０２から開始される。ブロック７０４では、雑音増幅を制限するように構成された第１の色調節変換を、画像の内容のうちの第１の空間周波数範囲に関するデータに適用する。ステップ７０６では、第２の色調節変換を、画像の内容のうちの第２の空間周波数範囲に関するデータに適用する。このプロセスはブロック７０８で終了する。

フロー図８００（図８）に示すプロセスはブロック８０２から開始される。ブロック８０４では、第１の変換を画像データに適用する。ブロック８０６では、第２の変換を画像データに適用する。第１の変換は、画像データの第１の範囲を雑音制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、第２の変換は、画像データの第２の範囲を変換し、第２の変換済み画像成分データを生成する働きを持つ。ブロック８０８では、少なくとも第１の変換済み画像成分データおよび第２の変換済み画像成分データを使用して、変換画像を表すデータを生成する。このプロセスはブロック８１０で終了する。

フロー図９００（図９）に示すプロセスはブロック９０２から開始される。ブロック９０４では、画像データを少なくとも第１の成分と第２の成分に分解する処理を行う。ブロック９０６では、第１の変換を少なくとも第１の成分に関するデータに適用する。ブロック９０８では、第２の変換を第２の成分に関するデータに適用する。第１の変換は、第１の成分に関するデータを雑音制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、第２の変換は、第２の成分に関するデータを変換し、第２の変換済み画像成分データを生成する働きを持つ。ブロック９１０では、第１の変換済み画像成分データを第２の変換済み画像成分データと結合し、変換画像データを生成する。このプロセスはブロック９１２で終了する。

例示の方法は、例えば移動局（携帯電話を含む）、携帯型画像表示装置、または携帯情報端末などの画像処理装置に適用することができる。これらの装置は、画像取り込み機能（例えば、ＣＣＤデバイスやＣＭＯＳデバイス等の撮像素子）を備えていてもよいし、備えていなくてもよい。

色調節された画像データを得る方法に関する制御図である。 図１の方法で使用される高周波データおよび低周波データの取得に関する制御図である。 色調節された画像データを得る方法に関する制御図である。 色調節された画像データを得る方法に関する他の制御図である。 色調節された画像データを得る方法に関する他の制御図である。 画像処理装置を示す概略図である。 色調節された画像データを得るための一実施形態を示すフロー図である。 色調節された画像データを得るための一実施形態を示すフロー図である。 色調節された画像データを得るための一実施形態を示すフロー図である。

Claims (34)

1. 画像の少なくとも一部を表すデータをデジタル処理する方法であって、
   雑音増幅を制限するように構成された第１の色調節変換を前記画像の内容のうちの第１の空間周波数範囲に関するデータに適用するステップと、
   第２の色調節変換を前記画像の内容のうちの第２の空間周波数範囲に関するデータに適用するステップと
   からなる方法。
2. 前記第２の色調節変換は、所望のレベルの色精度を維持するように構成される、請求項１に記載の方法。
3. 前記第１の範囲は、前記画像の内容のうちのしきい値よりも高い空間周波数に関するデータを含む、請求項１に記載の方法。
4. 前記第２の範囲は、前記画像の内容のうちのしきい値よりも低い空間周波数に関するデータを含む、請求項１に記載の方法。
5. 前記画像の前記第１の空間周波数範囲に関するデータは、画像データをハイパスフィルタリングすることによって得られる、請求項１に記載の方法。
6. 前記画像の前記第２の空間周波数範囲に関するデータは、画像データをローパスフィルタリングすることによって得られる、請求項１に記載の方法。
7. 前記画像のローパスフィルタリングは、正規化された二次元ガウス空間フィルタを使用して実施される、請求項６に記載の方法。
8. 前記第１の変換および前記第２の変換が色変換行列であり、該色変換行列の各要素が前記色調節変換を定義する、請求項１に記載の方法。
9. 前記第１の変換は、該第１の変換の各変換要素の二乗の総和の平方根を雑音しきい値以下の値に制限することにより、雑音増幅を制限するように構成される、請求項８に記載の方法。
10. 前記雑音しきい値は１である、請求項９に記載の方法。
11. 前記第１の色調節変換を前記画像の内容のうちの前記第１の空間周波数範囲に関するデータに適用し、第１の色調節済み画像部分を表すデータを生成するステップと、
    前記第２の色調節変換を前記画像の内容のうちの前記第２の空間周波数範囲に関するデータに適用し、第２の色調節済み画像部分を表すデータを生成するステップと、
    前記第１の色調節済み画像部分を表すデータおよび前記第２の色調節済み画像部分を表すデータを使用し、色調節された画像を表すデータを生成するステップと、
    からなる方法。
12. 最初に述べた画像を表す前記データは第１の色空間に対応し、前記色調節された画像を表すデータは第２の色空間に対応する、請求項１１に記載の方法。
13. 前記第１の色空間または前記第２の色空間は、ＲＧＢ色空間、ｓＲＧＢ色空間、およびＭＹＣ色空間のうちのいずれか１つである、請求項１２に記載の方法。
14. 画像の色を表すデータを変換する方法であって、
    第１の変換を画像データに適用するステップと、
    第２の変換を画像データに適用するステップとを含み、前記第１の変換は、画像データの第１の範囲を雑音制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、前記第２の変換は、画像データの第２の範囲を変換し、第２の変換済み画像成分データを生成する働きを持ち、
    少なくとも第１の変換済み画像成分データおよび第２の変換済み画像成分データを使用して、変換画像を表すデータを生成するステップをさらに含む方法。
15. 前記画像データの第２の範囲は、該範囲内のデータが、所定の値未満の雑音内容を有するデータになるように選択される、請求項１４に記載の方法。
16. 前記第２の変換は、所望レベルの色精度を維持するように構成される、請求項１４に記載の方法。
17. 前記画像に関する前記第１の範囲のデータは、前記画像の内容のうちのしきい値よりも高い空間周波数に関するデータからなる、請求項１４に記載の方法。
18. 前記画像に関する前記第２の範囲のデータは、前記画像の内容のうちのしきい値未満の空間周波数に関するデータからなる、請求項１４に記載の方法。
19. 前記画像に関するデータを少なくとも第１の成分および第２の成分に分解するステップをさらに含み、前記第１の変換を前記第１の成分を表すデータに適用し、前記第２の変換を前記第２の成分を表すデータに適用することをさらに含む、請求項１４に記載の方法。
20. 前記第１の範囲のデータは画像データである、請求項１４に記載の方法。
21. 前記第１の変換は、該変換の各要素の二乗の総和の平方根が雑音しきい値以下であるという制限を有する、請求項１４に記載の方法。
22. 画像の色を表すデータを変化する方法であって、
    画像データを少なくとも第１の成分および第２の成分に分解するための処理を行うステップと、
    第１の変換を少なくとも前記第１の成分に関するデータに適用するステップと、
    第２の変換を少なくとも前記第２の成分に関するデータに適用するステップと、
    前記第１の変換が、前記第１の成分に関するデータを制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、前記第２の変換が、前記第２の成分に関するデータを変換し、第２の変換済み画像成分データを生成する働きを持つことと、
    前記第１の画像成分データを前記第２の画像成分データと結合し、変換画像データを生成するステップと、
    からなる方法。
23. 雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、
    第２の色調節変換を前記画像の内容のうちの第２の空間周波数範囲に関するデータに適用するように動作する画像処理装置。
24. 画像を表すデータを取り込む機能を有する撮像素子をさらに含む、請求項２３に記載の画像処理装置。
25. 前記第１の色調節変換を前記画像の前記第１の空間周波数範囲に関するデータに適用することにより、第１の色調節済み画像部分を表すデータが生成され、
    前記第２の色調節変換を前記画像の前記第２の空間周波数範囲に関するデータに適用することにより、第２の色調節済み画像部分を表すデータが生成され、
    前記第１の色調節済み画像部分を表すデータおよび前記第２の色調節済み画像部分を表すデータを使用して、色調節された画像を表すデータが生成される、請求項２４に記載の画像処理装置。
26. 前記第１の範囲および前記第２の範囲に関するデータは、第１の色空間に関連し、前記色調節された画像を表すデータは、第２の色空間に関連する、請求項２５に記載の画像処理装置。
27. 前記第１の色空間および前記第２の色空間は、ＭＹＣ色空間、ＲＧＢ色空間、およびｓＲＧＢ色空間のうちのいずれか１つである、請求項２６に記載の画像処理装置。
28. 前記画像を表すデータは、ＲＧＢ色空間、ｓＲＧＢ色空間、およびＭＹＣ色空間のうちのいずれか１つに関連し、前記色調節された画像を表すデータは、ＲＧＢ色空間またはｓＲＧＢ色空間に関連する、請求項２４に記載の画像処理装置。
29. ＭＹＣ色空間に画像を表すデータを生成する機能を有する撮像素子を有する画像処理装置であって、
    雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用し、
    第２の色調節変換を前記画像の内容のうちの第２の空間周波数範囲に関するデータに適用するように動作する、画像処理装置。
30. コンピュータプログラム命令が格納されたコンピュータ読取可能媒体を含むコンピュータプログラム製品であって、該プログラムが、
    雑音増幅を制限するように構成された第１の色調節変換を画像の内容のうちの第１の空間周波数範囲に関するデータに適用するステップと、
    第２の色調節変換を前記画像の内容のうちの第２の色空間周波数範囲に関するデータに適用するステップと
    を実施するように構成されたロジックを含む、コンピュータプログラム製品。
31. コンピュータプログラム命令が格納されたコンピュータ読取可能媒体を含むコンピュータプログラム製品であって、該プログラムが、
    第１の変換を画像データに適用するステップと、
    第２の変換を前記画像データに適用するステップと、
    前記第１の変換が、前記画像データの第１の範囲を雑音制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、前記第２の変換が、前記画像データの第２の範囲を変換し、第２の変換済み画像成分データを生成する働きを持つことと、
    前記第１の変換済み画像成分データおよび前記第２の変換済み画像成分データを使用して、変換画像を表すデータを生成するステップと
    を実施するように構成されたロジックを含む、コンピュータプログラム製品。
32. コンピュータプログラム命令が格納されたコンピュータ読取可能媒体を含むコンピュータプログラム製品であって、該プログラムが、
    画像データを少なくとも第１の成分と第２の成分に分解する処理を行うステップと、
    第１の変換を少なくとも前記第１の成分に関するデータに適用するステップと、
    第２の変換を前記第２の成分に関するデータに適用するステップと、
    前記第１の変換が、前記第１の成分に関するデータを制限付き変換し、第１の変換済み画像成分データを生成する働きを持ち、前記第２の変換が、前記第２の成分に関するデータを変換し、第２の変換済み画像成分データを生成する働きを持つことと、
    前記第１の画像成分データを前記第２の画像成分データと結合し、変換画像データを生成するステップと
    を実施するように構成されたロジックを含む、コンピュータプログラム製品。
33. 添付の図面を参照して本明細書中で実質的に説明され、添付の図面に図示されたような方法。
34. 添付の図面を参照して本明細書中で実質的に説明され、添付の図面に図示されたような装置。
    
    

Images