JP2005176361A - 色変換方法および色変換装置 - Google Patents

Abstract

【課題】 コーディングエラーを低減させた色変換方法および色変換装置を提供する。
【解決手段】 第１色成分集合を所定メモリから読出す段階と、読出された第１色成分集合を所定の変換関数を利用して第２色成分集合に変換する変換段階と、変換された第２色成分集合を第１色成分集合と対応させて保存する段階と、を含む色変換方法である。変換段階に適用される変換関数は、所定の変換技法によって第１色成分の主要成分を獲得するための第１変換行列を定義する段階と、定義された第１変換行列の各要素に所定の整数ｋを乗算する段階とによって定義される。
【選択図】 図４

Description

本発明は、映像処理分野に係り、特に色変換過程での変換エラーを最小化可能な色変換方法および色変換装置に関する。

電子技術の発達にともない、ユーザに提供される情報は単純なテキストのみを含むものにとどまらず、静止画像、動画像、アニメーション、サウンドのような多様なマルチメディア情報を含むものが一般化してきている。特に、このようなマルチメディア情報のうち、次世代ＶＯＤ（Video On Demand）サービスや対話型（interactive）サービスの基盤となる動画像についての研究が活発になされている。

デジタル電子工学技術の発展によって、従来アナログデータとして扱われてきた（動画像を含む）さまざまな情報がデジタル信号に変換処理され、デジタルデータとして扱われるようになってきており、膨大なデータを効率的に扱うことのできる、多様なデジタル映像資料処理技術が登場した。デジタル映像処理技法の長所は、次の通りである。

第一に、デジタル信号がノイズに強く、アナログ信号に比べて画質が劣化しにくいことがあげられる。一般に、すべてのアナログ装置は、その信号処理過程、すなわち、信号の伝送および復元過程で元の信号にノイズが混入される確率が非常に高い。その結果、映像信号の場合、録画された映像は、その復元等の処理段階を経る間に画質が劣化する確率が非常に高いという問題がある。しかし、デジタル映像処理装置は、このようなノイズに強く、したがって画質劣化の確率が低い。

第二に、アナログ信号をデジタル化することによってコンピュータを利用した処理が可能になることがあげられる。コンピュータによって映像信号を処理することによって映像情報を圧縮するなどさまざまな処理が可能になる。

デジタル映像処理技術は、媒体に記録されたアナログ信号を、コンピュータを利用してどのように処理できるかに関する技術である。デジタル映像処理技術は、ＤＶＩ（Digital Video Interactive）方式によって具体化された。ＤＶＩ方式は、映像処理に適した命令を行うプロセッサを利用して、一般的なプロセッサではリアルタイムで処理しきれないような機能を実現することができる。

また、１９８９年から推進されてきたＪＰＥＧ（Junction Pictures Experts Group）およびＭＰＥＧ（Motion Pictures Experts Group）の二つの専門家グループは、ＤＶＩ性能を有する標準コーディング方式を定め、このようなコーディング方式は、ほとんどの企業がこれをサポートしているので、今後のデジタル映像技術の発展に重要な役割を担うと予測される。特に、ＭＰＥＧ標準の場合には、パソコン上での映像処理だけでなく、ＨＤＴＶなどの高画質（高精細、高品位）システムでも広く利用される。また、ＭＰＥＧ標準に対して、ＭＰＥＧ ＩＩ、ＭＰＥＧ ＩＩＩなどの、各種改良を含む後続規格も策定されている。

別途専用のハードウェアを導入せずにメインプロセッサの処理能力のみを利用して映像を処理するための技術が１９９１年から紹介され始めており、現在、アップル社（Apple Computer, Inc.）のクイックタイム（QuickTime：登録商標）、マイクロソフト社（Microsoft Corporation）のウィンドウズ（Windows：登録商標）用のVideo for Windows（VFW）、インテル社（Intel Corporation）のIndeo（商標）が代表的なものとして普及している。このような映像処理技術は、ますます高速化されつつあるメインプロセッサの進歩により、パソコンへの適用が特に注目を浴びている。

多様なデジタル映像処理技術が提案されるにつれて、このような技術の標準化が試みられている。標準化されたデジタル映像処理技術は、テレビ会議システム（Video Conference systems）、デジタル放送コーデックシステム（Digital broadcasting codec systems）およびテレビ電話システム（Video telephone systems）等の技術にのみ限定されるものではなく、コンピュータ産業および通信産業にも広範囲に共有されてサポートされている。例えば、ＣＤ−ＲＯＭなどの光ディスクやデジタル記録媒体への情報保存のためのデジタル圧縮技術は、テレビ会議システム等に利用される画像通信のための圧縮技術とほぼ同じ基盤技術によって実現される。現在、ＭＰＥＧの標準化はＩＳＯ−ＩＥＣ、ＪＴＣ１、ＳＣ１、ＷＧ１１によって推進されている。

しかし、デジタル映像処理技法が効率的に利用されるためには、ＲＧＢ色空間の色信号を他の色空間に変換するための前処理過程が必要となる。すなわち、色空間変換、フィルタリング、およびサブサンプリングなどが、前処理工程として行われる。

色空間変換とは、たとえば、Ｒ、Ｇ、Ｂの三成分よりなるカラー映像を、その映像の輝度を表すＹ成分と色相を表す成分とに変換する過程である。Ｒ、Ｇ、Ｂ色信号の情報は互いに重複しているが、一方、色空間の変換過程を経れば、映像が有する精密な部分を含むほとんどの情報は輝度情報Ｙに集まり、色相情報には単調（redundant）な色情報のみが残る。その理由は、人の目が輝度の変化には敏感であるが、色相の変化には鈍感であるためである。

図１は、従来の技術による色変換方法のうち一つを概念的に表す図面である。図１で、ＲＧＢ色空間は、次の数式（１）を利用してＹＣｂＣｒ色空間に変換される。

また、逆変換は、次の数式（２）のように行われる。

従来、色変換技法は、白黒信号の処理との互換性を維持する技術に限定されてきた。しかし、高解像度、高品質の映像情報を高速に伝送するニーズの高まりから、色変換技法の焦点はその質的な側面にシフトしてきている。特に、Ｈ.２６４／ＡＶＣ標準に関連した最近の技術は、色変換エラーを減少させることにその主たる目的をおいている。

Parchemらが発明し、マイクロソフト社が出願した米国特許出願（対応特許：特許文献１）で提案する色変換方法を、図２に示す。

図２は、ＲＧＢ色空間に含まれる色信号をＹＣｏＣｇ色空間に変換する色変換過程を示す図面である。図２に示すように、ＲＧＢ色空間は、変換関数（Φ_YCoCg）を利用してＹＣｏＣｇに変換される。それにより、変換されたＹＣｏＣｇ色信号がデジタル映像処理され、処理された色信号は逆変換関数（Φ^-1 _YCoCg）を利用してＲＧＢ色空間に逆変換される。

図２に示すＹＣｏＣｇ色空間への変換は、次の数式（３）を利用して行われる。

また、ＲＧＢ色空間への逆変換過程は、次の数式（４）のように行われる。

図２に示す色変換方法と同様の変換技術として、Tranらが発明し、ファストＶＤＯ社（Fast VDO LLC.）が出願した米国特許出願（対応特許：特許文献２）では、ＲＧＢ色空間をＹＦｂＦｒ色空間に変換する方法が提案されている。マイクロソフト社およびファストＶＤＯ社で提案する色変換方法は、ともに、整数マッピングおよびリフティング技法を利用して可逆性を保証するものである。

しかし、このような色変換方法は、理想的な処理過程を前提としたものであって、実際の色処理過程ではさまざまな要因からコーディングエラーが発生するおそれがある。コーディングエラーは、正方向変換でも発生し、逆方向変換でも発生する。したがって、コーディングエラーを減少させることのできる色変換方法が切実に要求されている。
米国特許第５,７４５,１１９号明細書 米国特許第６,４２１,４６４号明細書

本発明が解決しようとする課題は、コーディングエラーを減少させることができる色変換方法を提供することである。

本発明が解決しようとする他の課題は、コーディングエラーを減少させることができる色変換装置を提供することである。

前記課題を解決するための本発明の一面は、第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換方法に関する。本発明の一側面による色変換方法は、第１色成分集合を所定メモリから読出す段階と、読出された第１色成分集合を所定の変換関数を利用して第２色成分集合に変換する変換段階と、この変換段階で変換された第２色成分集合を第１色成分集合と対応させて保存する段階と、を含む。前記変換関数は、所定の変換技法（変換関数）によって第１色成分の主要成分を獲得するための第１変換行列を定義する段階と、前段階で定義された第１変換行列の各要素に所定の整数ｋを乗算する段階とによって定義される。また、本発明の一側面による色変換方法は、第２色成分集合を第１色成分集合に逆変換する段階として、第２色成分集合を所定メモリから読出す段階と、第２色成分集合を第１色成分集合に逆変換するための逆変換関数を利用して、前段階で読出された第２色成分集合を第１色成分集合に逆変換する段階と、その変換された第２色成分集合を第１色成分集合と対応させて保存する段階と、を含む逆変換段階をさらに含むものとすることができる。前記逆変換関数は、第１変換行列の逆行列を定義する段階と、逆行列の各要素にｋの逆数を乗算する段階とによって定義される。

前記課題を解決するための本願発明の他の面は、第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換方法に関する。この色変換方法は、第１色成分集合を所定メモリから読出す段階と、第１色成分集合を第２色成分集合に変換するための変換関数を利用して、前記読出された第１色成分集合を第２色成分集合に変換する変換段階と、その変換された第２色成分集合を第１色成分集合と対応させて保存する段階と、を含む。前記変換関数は、所定の変換技法（変換関数）によって第１色成分の主要成分を獲得するための第１変換行列を定義する段階と、第１色成分集合の動的範囲を第２色成分集合の動的範囲に実質的に（ほぼ）一致させるために第１変換行列を補正する動的範囲の補正段階と、によって定義される。また、前記本発明の他の側面による色変換方法は、第２色成分集合を第１色成分集合に逆変換する逆変換段階として、第２色成分集合を所定メモリから読出す段階と、第２色成分集合を第１色成分集合に逆変換するための逆変換関数を利用して、前記読出された第２色成分集合を第１色成分集合に逆変換する段階と、変換された第２色成分集合を第１色成分集合と対応させて保存する段階と、を含む逆変換段階をさらに含むものとすることができる。前記逆変換関数は、第１変換行列の逆行列を定義する段階によって定義される。特に、本発明の第１変換行列は、第１色成分の自己相関特性を利用して主要成分を獲得するためのＫＬ（Karhunen-Loeve）変換を基盤として定義されるものとすることができる。

前記目的を達成するための本願発明のさらに他の面は、第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換装置に関する。本発明の他の側面による色変換装置は、第１色成分集合および第２色成分集合を互いに対応させて保存するためのメモリ部と、メモリから読出された第１色成分集合を第２色成分集合に変換するための色変換部とを含む。前記色変換部は、所定の変換技法によって第１色成分の主要成分を獲得するための第１変換行列を定義する主要成分獲得部と、この主要成分獲得部で定義された第１変換行列の各要素に所定の整数ｋを乗算した第２変換行列を演算する第１乗算部と、前記第１乗算部の演算で得られた第２変換行列を利用して第２色成分集合を演算する中央処理部と、を含む。さらに、本発明の他の側面による色変換装置は、逆変換関数を利用して第２色成分集合を第１色成分集合に逆変換するための逆変換部をさらに含むものとすることができる。この逆変換部は、第１変換行列の逆行列を定義する逆行列演算部と、逆行列の各要素にｋの逆数を乗算した逆変換行列を演算する第２乗算部と、を含む。

本発明による色変換方法および色変換装置によって、コーディングエラーが減少する。

また、本発明は、その一実施形態として、コンピュータ（実行可能）プログラムとして具現化することができる。このようなコンピュータプログラムはコンピュータ可読記録媒体に格納して保存流通可能であり、また、伝送媒体（および／またはネットワーク）を利用して伝送または実行が可能である。すなわち、本発明は、前記プログラムを動作させる汎用デジタルコンピュータ（システム）によって具現することができる。

以上、開示した本発明とその利点および本発明の実施によって達成される目的（解決される課題）を十分に理解するためには、以下に記載の本発明の望ましい実施形態と、各実施形態（実施例）を例示する添付図面を参照しなければならない。

以下、添付した図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳細に説明する。各図面で、同じ参照符号は同じ部材を表す。

図３は、本発明による色変換方法および色変換装置の動作を簡略に説明するためのブロック図である。図３で、ＲＧＢ色空間で表示される色情報は、変換関数ΦによってＹＳｂＳｒ色空間で表示される色情報に変換される。ＹＳｂＳｒ色空間で表示される色情報は、映像符号化３１０で圧縮され、逆符号化３３０で伸張される。圧縮された映像情報は、要求仕様の低いハードウェアを利用して受信側に伝送可能となり、受信された色情報は、伸張された後、逆変換関数Φ^-1を利用して再びＲＧＢ色空間に変換される。

映像情報を符号化および逆符号化する前に、ＲＧＢ色空間からＹＳｂＳｒ色空間に変換すれば、映像処理の効率が向上する。すなわち、デジタル映像信号の圧縮方法は、ＹＳｂＳｒ色空間における各映像データ間の連関性が非常に高いという特性を利用する。動映像信号は、変化の少ない類似した値の羅列になっており、映像データは、全体として類似した輝度と色相とを有する点（画素またはピクセル）の集合として構成される。映像信号の重複を除去し、冗長度（redundancy）を低減させることによって全体データ量を相当に減らしても元映像を構成するのに十分な情報を伝達することができる。極端な例として、青い空の映像を表現する時、同じ青い色の情報を有する数百、数千の点で表さず、単に青い色という一つの値のみを使用して表示しても、我々は元映像を作り出すことができる。このように冗長度を低減させる作業が映像圧縮または映像符号化である。

映像圧縮の技法は、多様に開発されて相互補完的に使われている。映像圧縮方法を分類するための基準がいくつか考えられるが、そのうちのひとつによって、映像圧縮技法を大きく無損失（lossless）技法と損失（lossy）技法とに区分することができる。無損失技法は、データの完璧な復元が可能でＸ線（X-Ray）、断層撮影（ＣＴ：Computerized Tomography）などの医療用映像のように画素の値や微細な情報量が重要な応用分野で利用されている。無損失圧縮技法の圧縮率は、比較的低い３：１〜２：１程度である。一方、損失圧縮技法は非常に優秀な画質を維持しつつ１０：１〜４０：１の高い圧縮率を出せるだけでなく、画質を多少譲歩すれば、圧縮率をさらに高く調節することができる。したがって、損失圧縮技法が広く利用されている。損失技法は、各画素の値や非常に微細な変化は重要でなく、専ら全体的な画質にのみ焦点を合せたマルチメディアを含む応用分野で、その他の多様な技法と共に、幅広く利用されている。多様な映像圧縮技術によって処理されたビットストリームデータは、復号（化）技術によって逆変換される。

しかし、ＹＳｂＳｒ色空間に変換された映像信号は、符号化（３１０）される過程で四捨五入などの演算結果によるエラーを含むものとなり、逆符号化（３３０）される過程でこのようなエラーは伝播される。前述したマイクロソフト社およびファストＶＤＯ社が提案した色変換方法のコーディングエラーについて詳細に説明すれば、次の通りである。

説明の簡略化のために、ＲＧＢ色情報は、０ないし２５５の動的範囲を有すると仮定する。また、変換された他の色空間も８ビットの精密度を有すると仮定する。なお、このような仮定は、本発明の範囲を限定するものではない。まず、ＲＧＢ色空間の色情報をＹＣｂＣｒ色空間に変換する場合を考慮する。一般に、次の数式（５）における関数ｆ（ｘ）の四捨五入エラーΔＥは、数式（６）のように演算される。

ここで、ＹＣｂＣｒ色空間からＲＧＢ色空間への逆変換を考慮すれば、数式（２）および数式（６）を利用して、次の数式（７）が得られる。

したがって、ＲＧＢ各成分のエラーＥ_R，Ｅ_G，Ｅ_Bは、次の数式（８）の通りである。

数式（８）の各成分のエラーを表す式の最初の項は、エンコーディングエラーを意味し、後続する三つの項は伝播エラーを意味する。

それぞれの色成分は、８ビットの精密度に表示されると仮定したので、最大信号対ノイズ比（ＰＳＮＲ：Peak Signal to Noise Ratio）は、次の数式（９）のように演算される。

数式（９）に示すように、各色成分のＰＳＮＲは、各色成分のエラーＥ_R，Ｅ_G，Ｅ_Bによって影響を受ける。しかし、各色成分の全体エラーは、エンコーディングエラーよりも伝播エラーによって大きく影響を受ける。その理由は、全体エラーを構成する成分のうち伝播エラーがエンコーディングエラーに比べて３倍大きいためである。したがって、伝播エラーを減らせば、効果的に信号対ノイズ比を改善することができる。

このような性質を利用して、本発明の一側面による色変換方法では、色変換関数Φの各成分に所定整数を乗算した新たな色変換関数を提案する。色変換関数の各成分に所定整数ｋを乗算することによって、エンコーディングエラーが増加する。しかし、逆方向変換関数Φ^-1の各成分には所定整数の逆数１／ｋが乗算されるので、伝播エラーは顕著に減少する。したがって、エンコーディングエラーおよび伝播エラーを合算した全体エラーは大幅に減少し、ＰＳＮＲも改善される。

変換関数Φに所定整数ｋを乗算し、逆変換関数Φ^-1に所定整数の逆数１／ｋを乗算する過程は、色情報を表すための追加ビットを要求する。しかし、既にマイクロソフト社が提案した追加ビットを含むリフティング技法を利用したＹＣｏＣｇ色変換のように、ＮビットのデータのためのＮ＋１ビットのコーデックを利用することが可能である。さらに、ＪＶＴ専門家拡張規格によれば、入力データのビット数と同じビット数を有するコーデックを使用する必要はない。したがって、追加ビットは、従来の技術によるハードウェア仕様によっても処理することができる。

前述したような本発明の一実施例による色変換方法は、従来の技術によるすべての色変換方法に適用可能である。すなわち、ＲＧＢ色空間を、ＹＵＶ色空間、ＹＩＱ色空間、ＹＰｂＰｒ色空間、ＹＵＷ色空間、ＸＹＺ色空間、ＹＣｒＣｒ色空間のうちのいずれかに変換する際に、その変換関数の各成分に所定整数ｋを乗算し、その逆変換関数の各成分に所定整数の逆数１／ｋを乗算することによって、ＰＳＮＲを改善することができる。

また、乗算する整数ｋが大きくなるほど、伝播エラーを大幅に減少させることができるが、ハードウェア的な実装を容易にするために、乗算される整数ｋはｋ＝２^mという関係を満足するものとすることが望ましい。ｋがｋ＝２^mという関係を満足するものであれば、色情報は、ｍビットだけシフトすることによって、容易に乗算することができるので有利である。

図４は、本発明の一側面による色変換方法を概念的に説明するためのフローチャートである。

まず、メモリからＲＧＢ色空間で表示されたＲＧＢ色成分集合を読出す（Ｓ４１０）。それにより、読出されたＲＧＢ色成分を、変換関数Φを利用して、ＹＳｂＳｒ色空間に変換する（Ｓ４３０）。この場合、変換関数Φの各成分には所定整数ｋが乗算されることによって伝播エラーを最小化し、ＰＳＮＲを改善することができることは、前述した通りである。

次に、変換関数Φを利用して変換されたＹＳｂＳｒ色成分の集合をメモリに保存処理する（Ｓ４５０）。例えば、このように処理されたＹＳｂＳｒ色成分の集合は、圧縮および伝送が可能である。次に、保存処理されたＹＳｂＳｒ色成分の集合を、逆変換関数Φ^-1を利用してＲＧＢ色空間に逆変換する（Ｓ４７０）。本発明による色変換方法に適用される変換関数Φを求める方法は、図５を利用して詳細に後述する。

図５は、本発明の一側面による色変換方法を具体的に説明するためのフローチャートである。

まず、ＲＧＢ色空間の色成分集合をメモリから読出す（Ｓ５０５）。読出されるＲＧＢ色成分集合は、膨大な試料から抽出された実験値（任意の値）とすることができる。

次に、読出されたＲＧＢ色成分集合を正規化した後、正規化された結果得られた値の自己相関行列Ｒ_Xを演算する（Ｓ５１５）。ＲＧＢ色成分集合の正規化は、次の数式（１０）によって行われる。

数式（１０）で、Ｒ、ＧおよびＢは各色成分ｒ，ｇ，ｂが正規化された結果を表し、Ｅ［.］は平均を、std（.）は標準偏差を表す。

Ｒ、Ｇ、Ｂの自己相関行列Ｒ_Xは、次の数式（１１）のように演算される。

自己相関行列Ｒ_Xの広く使われる実験値は、たとえば、次の数式（１２）のように提供される。

図５に示した本発明の一実施例は、説明の便宜上、ＫＬ変換を利用して色変換を行う。しかし、これは本発明を限定するものではなく、従来の技術による他のすべての方法を利用して色変換を行うことができる。

ＫＬ変換を行うために、次の数式（１３）を満足する固有ベクトル（eigenvector）および固有値（eigenvalue）が演算される（Ｓ５２５）。

数式（１３）で、Φは次の数式（１４）を満足する固有ベクトルの集合であり、Δは降順に整列された固有値の集合を成分とする正方行列である。

固有ベクトルおよび固有値はそれぞれ次の数式（１５）および数式（１６）の通りである。

それにより、数式（１５）および数式（１６）を利用して映像信号の冗長度を低減させるためのＫＬ変換を行う。

数式（１５）に示すように、固有ベクトルΦ^Tは、単項行列である。すなわち、固有ベクトルΦ^Tは、Ｌ２ノルムによって正規化される。したがって、変換された色成分集合の動的範囲をＲＧＢ色空間の動的範囲と一致させるために、固有ベクトルΦ^Tの各行をＬ１ノルムを利用してスケーリングする（Ｓ５３５）。ベクトルはスケーリングされるのみであるので、ＫＬ変換の特性はそのままに維持される。Ｌ２ノルムとは、ベクトルの各成分の自乗の和を意味し、Ｌ１ノルムとは、ベクトルの各成分の絶対値の和を意味する。

Ｌ１ノルムによってスケーリングされた固有ベクトルΦ^Tは、次の数式（１７）の通りである。

数式（１７）を利用して色変換を行う場合、ＹＳｂＳｒ色空間の動的範囲がＲＧＢ色空間の動的範囲と一致するが、バイアス成分を補正する必要がある。したがって、色成分の動的範囲が０ないし２５５内に属するようにバイアス成分を補正する（Ｓ５４５）。図４に示した実施例で、負数係数の和を正数係数の和と同一にすれば、１２８のバイアス成分を獲得することができる。バイアス補正を行った結果は、数式（１８）で表される。

数式（１８）はＫＬ変換の変換関数と類似しており、ＹＣｂＣｒ色空間の動的範囲およびバイアス成分を何れも維持する。前述したように、エンコーディングエラーを最小化するために、数式（１８）の各成分に整数ｋを乗算することができる（Ｓ５５５）。たとえば、ｋ＝２である場合、結果的に提供される変換式は、次の数式（１９）の通りである（Ｓ５６５）。

数式（１９）によって変換されたＹＳｂＳｒ色空間で表現された色成分集合は、メモリに保存処理される（Ｓ５７５）。例えば、前述したように、ＹＳｂＳｒ色空間で表現された色成分集合は、所定の圧縮アルゴリズムを利用して圧縮および伝送が可能である。このように保存処理されたＹＳｂＳｒ色空間の色成分集合は、逆変換関数を利用して逆変換される。この時、逆変換関数は、整数ｋが乗算された数式（１９）に含まれた変換行列の逆行列に当る。そして、逆変換関数は数式（１８）によって表現された行列の逆行列の各成分に１／ｋを乗算したものと同じである（Ｓ５８５）。このような方法で獲得された逆行列を利用してＹＳｂＳｒ色空間で表示された色成分集合は、再びＲＧＢ色空間に逆変換される（Ｓ５９５）。

図５に示した実施例で具現されたＫＬ変換は、連続的なランダム過程の級数展開を利用して映像情報を変換する。実数ランダムベクトルが所与であるとすれば、そのベクトルの自己相関行列Ｒ_Xの固有ベクトルがＫＬ変換の基底ベクトルとして使われる。行列理論（線形代数）によれば、ＫＬ変換の係数は自己相関行列の固有値と等価である。入力されるランダム信号のほとんどのエネルギーが最初いくつかの係数に集中するため、ＫＬ変換は主成分解釈（principal component analysis scheme）と呼ばれる。

しかし、本発明はＫＬ変換にのみ限定されるものではない。入力ベクトルを変換して元の信号値に比べてはるかに低い相関性を有する変換値で構成される新たなベクトルを得ることによってエネルギーを集中させるすべての種類の変換技法が本発明に適用可能である。例えば、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、ウェーブレット変換（Wavelet Transformation）、ウォルシュ変換（Walsh Transformation）、およびアダマール変換（Hadamard Transformation）などのさまざまな変換技法が適用可能である。

離散フーリエ変換は、無限データ級数に対するフーリエ変換をＮ個の有限データブロックに適用したものであって、周波数スペクトルから得た標本スペクトルに相当する。離散フーリエ変換では、低いビット率で符号化する場合、ブロック化現象（stair effect）が深刻になるので画質が劣化する。また、離散フーリエ変換は、その変換係数が複素数であるため、処理が困難である。離散コサイン変換は、入力データの自己相関性が高い場合、優秀なエネルギー集中特性を表す。アダマール変換は、デジタル信号処理が容易な変換方法であって、行列は実数項より構成され、対称性および直交性を有する。アダマール変換を利用すれば、変換計算に乗算過程が省略されるので、高速変換が可能である。

図６は、本発明の他の側面による色変換装置を概念的に表すブロック図である。図６に示す色変換装置６００は、インターフェース６１０、色変換部６５０、メモリ部６９０および逆変換部６８０を含む。

まず、ＲＧＢ色空間の色成分集合は、インターフェース６１０を通じて伝送されて、色変換装置６００に受信される。受信された色成分集合は、色変換部６５０で変換関数によって変換される。色変換部６５０は、主要成分獲得部６３０、第１乗算部６３５および中央処理部６６０を含む。主要成分獲得部６３０では、受信された色成分集合の主要成分を定義するための第１変換行列が獲得される。第１乗算部６３５は、主要成分獲得部６３０で獲得された第１変換行列に整数ｋを乗算して第２変換行列を演算する。中央処理部６６０は、第１乗算部６３５での演算の結果得られた第２変換行列を利用して色成分集合を変換する。

説明の便宜上、図６に示した実施例で、主要成分獲得部６３０は、ＫＬ変換技法を利用して映像情報の主要成分を獲得するものとする。主要成分獲得部６３０は、自己相関行列演算部６４２、固有ベクトル演算部６４４、動作範囲補正部６４６およびバイアス補正部６４８を含む。自己相関行列演算部６４２は、入力信号の自己相関行列Ｒ_Xを獲得する。また、固有ベクトル演算部６４４で固有ベクトルを第１変換行列と定義することは前述した通りである。動作範囲補正部６４６およびバイアス補正部６４８は、変換された色成分集合の動的範囲およびバイアス成分をＲＧＢ色空間の動的範囲およびバイアス成分と一致させるために動的範囲およびバイアス成分を補正する。

色変換部６５０によって変換された色成分集合は、ＲＧＢ色空間の色成分集合と対応するようにメモリ部６９０に保存処理される。

図６に示した色変換装置６００は、逆変換部６８０をさらに含む。逆変換部６８０は、映像処理されたＹＳｂＳｒ色空間の色成分集合をＲＧＢ色空間の色成分集合に逆変換する。逆変換部６８０は、逆行列演算部６７０および第２乗算部６８５を含む。逆変換を行う時に使われる逆行列は、主要成分獲得部６３０で演算された第２変換行列の逆行列に相当することは前述した通りである。また、第２変換行列の逆行列は、第１変換行列の逆行列の各成分に１／ｋを乗算した結果と同じである。したがって、第２乗算部６８５は、逆行列演算部６７０の出力が第１変換行列の逆行列である場合、その成分それぞれに１／ｋを乗算する。逆変換行列の成分に１／ｋを乗算することによって、伝播エラーが減少する。

図７は、本発明による色変換方法および色変換装置によるＰＳＮＲを他の色変換技法のＰＳＮＲと比較して示すグラフである。

図７は、ＹＵＶ色空間およびＹＣｂＣｒ色空間ならびに本発明によるＹＳｂＳｒ色空間のそれぞれでのコーディングエラーを示す。グラフ（１）は、本発明によるＹＳｂＳｒ色空間でのコーディングエラーを表し、グラフ（２）は、マイクロソフト社によって提案されたＹＣｂＣｒ色空間でのコーディングエラーを表し、グラフ（３）は、ＹＵＶ色空間でのコーディングエラーを表す。

図７に示すように、本発明による色変換方法は、ＹＣｂＣｒ色空間への色変換方法に比べて２０％以上高いＰＳＮＲを示し、ＹＵＶ色空間への色変換方法に比較すれば、４０％以上高いＰＳＮＲを示す。このような改善効果は、高速ビット率でさらに顕著であり、このことはハードウェアの発展によって本発明の効率がさらに向上することを意味する。

本発明によって映像処理された色信号のコーディングエラーを低減可能な色変換方法が提供される。

また、本発明によって、コーディングエラーを低減可能な色変換装置が提供される。

以上、図面を参照し、具体的な実施例をあげて、本発明を詳細に説明したが、ここで説明した実施形態は例示的なものに過ぎず、当業者ならば、これから多様な変形および均等な他の実施形態が可能であることが分かる。例えば、数式（１６）および（１７）に示した変換関数は、これに限定されず、テスト映像が変更されれば、その値も変化するものである。したがって、本発明は、映像情報の主要成分を獲得して変換関数を求め、入出力の動的範囲およびバイアス成分を一致させるべく補正を行うすべての変換技法に適用することができるものと解されるべきである。それだけでなく、本願発明による色変換装置は、逆変換装置を含むものとして図示されたが、本発明はこの構成に限定されない。

したがって、本発明の真の技術的範囲は、特許請求の範囲に定義された技術的思想によって決定されなければならない。

本発明の色変換方法および色変換装置は、画像処理分野に適用されて、その低減されたコーディングエラーにより、処理画像の品質と効率の向上に貢献する。本発明の色変換方法は、コンピュータプログラムの形態で実装可能である。コンピュータプログラムは、コンピュータ可読記録媒体、特に磁気記憶媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）およびキャリヤウェーブ（例えば、インターネットを通じた伝送）などの伝送媒体によって、流通および実行することができるので、広く活用が可能である。

従来の技術によるＹＣｂＣｒ色変換方法を簡略に示す図面である。 従来の技術によるＹＣｏＣｇ色変換方法を簡略に示す図面である。 本発明による色変換方法および装置の動作を簡略に説明するためのブロック図である。 本発明の一側面による色変換方法を概念的に説明するためのフローチャートである。 本発明の一側面による色変換方法を具体的に説明するためのフローチャートである。 本発明の他の側面による色変換装置を概念的に表すブロック図である。 本発明による色変換方法および装置が適用された色変換技法の最大信号対ノイズ比を他の色変換技法の最大信号対ノイズ比と比較して示すグラフである。

符号の説明

３１０ 映像符号化
３３０ 逆符号化
６００ 色変換装置
６３０ 主要成分獲得部
６３５ 第１乗算部
６５０ 色変換部
６６０ 中央処理部
６９０ メモリ部

Claims (24)

1. 第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換方法において、
   前記色変換方法は、
   ａ）前記第１色成分集合を所定メモリから読出す段階と、
   ｂ）前記読出された第１色成分集合を所定の変換関数を利用して前記第２色成分集合に変換する変換段階と、
   ｃ）前記変換された第２色成分集合を前記第１色成分集合と対応させて保存する段階と、を含み、
   前記変換関数は、
   所定の変換関数を利用して前記第１色成分集合の主要成分の獲得に利用される第１変換行列を定義する段階と、
   前記定義された前記第１変換行列の各要素に所定の整数ｋを乗算する段階と、
   によって定義されることを特徴とする色変換方法。
2. 前記色変換方法は、
   ｄ）前記第２色成分集合を前記第１色成分集合に逆変換する段階として、
   ｄ１）前記第２色成分集合を所定メモリから読出す段階と、
   ｄ２）前記第２色成分集合を前記第１色成分集合に逆変換するための逆変換関数を利用して、前記読出された第２色成分集合を、前記第１色成分集合に逆変換する段階と、
   ｄ３）前記逆変換された第２色成分集合を前記第１色成分集合と対応させて保存する段階と、
   を含む逆変換段階をさらに含み、
   前記逆変換関数は、
   前記第１変換行列の逆行列を定義する段階と、
   前記逆行列の各要素に前記整数ｋの逆数を乗算する段階と、
   によって定義されることを特徴とする請求項１に記載の色変換方法。
3. 前記整数ｋは、
   ｋ＝２^m（ｍは正の整数）の関係を満足することを特徴とする請求項２に記載の色変換方法。
4. 前記第１変換行列は、
   離散フーリエ変換、離散コサイン変換、ウォルシュ変換、およびアダマール変換のうちの一つを基盤として定義されることを特徴とする請求項３に記載の色変換方法。
5. 前記第１変換行列は、
   前記第１色成分の自己相関特性を利用して主成分を獲得するためのＫＬ（Karhunen-Loeve）変換を基盤として定義されることを特徴とする請求項３に記載の色変換方法。
6. 前記第１変換行列は、
   ｅ１）前記第１色成分集合の成分を正規化した値の自己相関行列（Ｒ_X）を演算する段階と、
   ｅ２）前記自己相関行列（Ｒ_X）をＫＬ変換して固有ベクトル（Φ^T）を演算する段階と、
   ｅ３）前記第１色成分集合の動的範囲を第２色成分集合の動的範囲に実質的に一致させるために前記固有ベクトル（Φ^T）を補正する動的範囲補正段階と、
   ｅ４）前記第１色成分集合のバイアスを第２色成分集合のバイアスに実質的に一致させるバイアス補正段階と、
   によって定義されることを特徴とする請求項５に記載の色変換方法。
7. 前記第１の色空間はＲＧＢ色成分集合で表現される色空間であり、
   前記動的範囲補正段階（ｅ３）は、前記固有ベクトル（Φ^T）の各成分を、Ｌ１ノルムを利用して正規化する段階をさらに含み、
   前記変換関数は、ｋ＝２であるとした場合、
   

   

   と実質的に同じであることを特徴とする請求項６に記載の色変換方法。
8. 第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換方法において、
   前記色変換方法は、 ａ）第１色成分集合を所定メモリから読出す段階と、
   ｂ）前記第１色成分集合を前記第２色成分集合に変換するための変換関数を利用して、前記読出された第１色成分集合を前記第２色成分集合に変換する変換段階と、
   ｃ）前記変換された第２色成分集合を前記第１色成分集合と対応させて保存する段階と、を含み、
   前記変換関数は、
   ｃ１）所定の変換関数を利用して前記第１色成分集合の主要成分の獲得に利用される第１変換行列を定義する段階と、
   ｃ２）前記第１色成分集合の動的範囲を前記第２色成分集合の動的範囲に実質的に一致させるために前記第１変換行列を補正する動的範囲補正段階と、
   によって定義されることを特徴とする色変換方法。
9. 前記色変換方法は、
   ｄ）前記第２色成分集合を前記第１色成分集合に逆変換する逆変換段階として、
   ｄ１）前記第２色成分集合を所定メモリから読出す段階と、
   ｄ２）前記第２色成分集合を前記第１色成分集合に逆変換するための逆変換関数を利用して、前記読出された第２色成分集合を、前記第１色成分集合に逆変換する段階と、
   ｄ３）前記逆変換された第２色成分集合を前記第１色成分集合と対応させて保存する段階と、
   を含む逆変換段階をさらに含み、
   前記逆変換関数は、
   前記第１変換行列の逆行列を定義する段階によって定義されることを特徴とする請求項８に記載の色変換方法。
10. 前記第１変換行列は、
    前記第１色成分の自己相関特性を利用して主成分を獲得するためのＫＬ変換を基盤として定義されることを特徴とする請求項９に記載の色変換方法。
11. 前記第１変換行列は、
    ｅ１）前記第１色成分集合の成分を正規化した値の自己相関行列（Ｒ_X）を演算する段階と、
    ｅ２）前記自己相関行列（Ｒ_X）をＫＬ変換して固有ベクトル（Φ^T）を演算する段階と、
    によって定義され、前記変換関数は、
    前記第１色成分集合のバイアスを第２色成分集合のバイアスに実質的に一致させるためにバイアス補正されることを特徴とする請求項１０に記載の色変換方法。
12. 前記第１の色空間は、ＲＧＢ色成分集合で表現される色空間であり、
    前記動的範囲補正段階（ｃ２）は、前記固有ベクトル（Φ^T）の各成分をＬ１ノルムを利用して正規化する段階をさらに含み、
    前記変換関数は、ｋ＝２であるとした場合、
    

    

    と実質的に同じであることを特徴とする請求項１１に記載の色変換方法。
13. 第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換装置において、
    前記色変換装置は、
    前記第１色成分集合と前記第２色成分集合とを互いに対応させて保存するためのメモリ部と、
    前記メモリから読出された第１色成分集合を前記第２色成分集合に変換するための色変換部と、を含み、
    前記色変換部は、
    所定の変換アルゴリズムによって前記第１色成分の主要成分を獲得するための第１変換行列を定義する主要成分獲得部と、
    前記主要成分獲得部で定義された前記第１変換行列の各要素に所定の整数ｋを乗算した第２変換行列を演算する第１乗算部と、
    前記第１乗算部で演算された第２変換行列を利用して前記第２色成分集合を演算する中央処理部と、を含むことを特徴とする色変換装置。
14. 前記色変換装置は、
    逆変換関数を利用して前記第２色成分集合を前記第１色成分集合に逆変換するための逆変換部をさらに含み、
    前記逆変換部は、
    前記第１変換行列の逆行列を定義する逆行列演算部と、
    前記逆行列の各要素に前記整数ｋの逆数を乗算した逆変換行列を演算する第２乗算部と、
    を含むことを特徴とする請求項１３に記載の色変換装置。
15. 前記整数ｋは、
    ｋ＝２^m（ｍは、正の整数）の関係を満足することを特徴とする請求項１４に記載の色変換装置。
16. 前記主要成分獲得部は、
    離散フーリエ変換、離散コサイン変換、ウォルシュ変換、およびアダマール変換のうちの一つを基盤として前記第１変換行列を定義することを特徴とする請求項１５に記載の色変換装置。
17. 前記主要成分獲得部は、
    前記第１色成分の自己相関特性を利用して主成分を獲得するためのＫＬ変換を基盤として前記第１変換行列を定義することを特徴とする請求項１５に記載の色変換装置。
18. 前記主要成分獲得部は、
    前記第１色成分集合の成分を正規化した値の自己相関行列（Ｒ_X）を演算する自己相関行列演算部と、
    前記自己相関行列（Ｒ_X）をＫＬ変換して固有ベクトル（Φ^T）を演算する固有ベクトル演算部と、
    前記第１色成分集合の動的範囲を第２色成分集合の動的範囲に実質的に一致させるために前記固有ベクトル（Φ^T）を補正する動的範囲補正部と、
    前記第１色成分集合のバイアスを第２色成分集合のバイアスに実質的に一致させるバイアス補正部と、
    を含むことを特徴とする請求項１７に記載の色変換装置。
19. 前記第１の色空間は、ＲＧＢ色成分集合で表現される色空間であり、
    前記動的範囲補正部は、前記固有ベクトル（Φ^T）の各成分を、Ｌ１ノルムを利用して正規化し、
    前記変換関数は、ｋ＝２であるとした場合、
    

    

    と実質的に同じであることを特徴とする請求項１８に記載の色変換装置。
20. 第１の色空間を表示する第１色成分集合を、第２の色空間を表示する第２色成分集合に変換する色変換装置において、
    前記色変換装置は、
    前記第１色成分集合と前記第２色成分集合とを互いに対応させて保存するためのメモリ部と、
    前記メモリから読出された第１色成分集合を前記第２色成分集合に変換するための色変換部と、を含み、
    前記色変換部は、
    所定の変換技法によって前記第１色成分の主要成分を獲得するための第１変換行列を定義する主要成分獲得部と、
    前記第１色成分集合の動的範囲を第２色成分集合の動的範囲に実質的に一致させるために前記第１変換行列を補正する動的範囲補正部と、
    前記動的範囲補正部で補正された第１変換行列を利用して前記第２色成分集合を演算する中央処理部と、
    を含むことを特徴とする色変換装置。
21. 前記色変換装置は、
    前記動的範囲補正部で補正された第１変換行列の逆行列を利用して前記第２色成分集合を前記第１色成分集合に逆変換するための逆変換部をさらに含むことを特徴とする請求項２０に記載の色変換装置。
22. 前記主要成分獲得部は、
    前記第１色成分の自己相関特性を利用して主成分を獲得するためのＫＬ変換を基盤として前記第１変換行列を定義することを特徴とする請求項２１に記載の色変換装置。
23. 前記主要成分獲得部は、
    前記第１色成分集合の成分を正規化した値の自己相関行列（Ｒ_X）を演算する自己相関行列演算部と、
    前記自己相関行列（Ｒ_X）をＫＬ変換して固有ベクトル（Φ^T）を演算する固有ベクトル演算部と、
    前記第１色成分集合のバイアスを第２色成分集合のバイアスに実質的に一致させるバイアス補正部と、
    を含むことを特徴とする請求項２２に記載の色変換装置。
24. 前記第１の色空間は、ＲＧＢ色成分集合で表現される色空間であり、
    前記動的範囲補正部は、前記固有ベクトル（Φ^T）の各成分を、Ｌ１ノルムを利用して正規化し、
    前記変換関数は、ｋ＝２であるとした場合、
    

    

    と実質的に同じであることを特徴とする請求項２３に記載の色変換装置。

Images