JP2004534486A - 結合された色空間行列変換及びｆｉｒフィルタ - Google Patents

Abstract

ＦＩＲフィルタリングと色空間変換とを実行するために同一の回路が使用される。従来のＦＩＲフィルタの乗加算アレイへの入力は、同一の乗加算アレイの代替利用を提供するために適切に多重化される。この方法によって例えば、同一の乗加算アレイが、画像のスケーリング及びある色空間から他の色空間への画像の変化のために利用されることができる。

Description

【技術分野】
【０００１】
本発明はビデオ処理の分野に関し、より詳細には色空間行列変換及び有限インパルス応答（ＦＩＲ）フィルタを含むビデオプロセッサに関する。
【背景技術】
【０００２】
ＦＩＴフィルタ：
有限インパルス応答（ＦＩＲ）フィルタは、画像要素（画素）値、特に画像がスケーリングされるとき、さもなくば元の形から変形されるときに生成される画素値をフィルタリングするために、ビデオ処理システムにおいて一般的に利用される。例えば、画像サイズにおける４分の１の減少を生成するための画像の間引き（decimation）又はダウンサンプリングは、各出力画素値を生成するために４個ごとの画素値を単に選択することによって実行されることができる。しかしながら、かようなサンプリングは一般に視覚的な異常及び／又は不連続を生成する。なぜなら、選択された特定の画素値は選択されない画素値を表さない場合があるからである。ＦＩＲフィルタは、各画素値を生成するために、複数の画素の重み平均を生成し、それによりフィルタリングされないスケーリングに生じ得る前記異常及び不連続を減少する。各入力サンプルについて複数の出力サンプルが生成されるアップスケーリングの応用においては、前記重み平均は各出力サンプルについて内挿された値を提供する。ここですぐ隣の入力サンプルを超える画素値の包含は、前記入力サンプル間の、より不自然でない値の充填を提供する。
【０００３】
ビデオ処理のための一般的なＦＩＲ構造は、６個の入力画素値に依存する出力画素値を生成する、６タップの３成分フィルタである。ここで各前記画素値は、ＲＧＢ色空間における赤−緑−青のような３つの成分によって表される。従来の６タップ３成分ＦＩＲフィルタにおいては、以下の変換が実行される：
【数１】

上記の式において、ａ_ｉ ^ｊはｊ番目の画素値のｉ番目の成分に対応し、ｃ_００乃至ｃ_２５は重み平均を提供するための係数即ち重みであり、ｅ_０乃至ｅ_３は各出力画素成分値ａ’_０乃至ａ’_３に適用される変換項又はオフセット項である。量子化、丸め、クランピング（clamping）等を含む付加的な処理も次いで適用されるが、理解の容易さのためここでは説明されない。
【０００４】
効果的なフィルタリングのため、少なくとも３タップ及び好ましくは６以上のタップのＦＩＲフィルタが一般的に利用されることに留意されたい。例となる６タップ３成分のＦＩＲフィルタを実行させるためには少なくとも１８個の乗算器及び加算器が必要とされる。
【０００５】
色空間変換：
一般に、異なるビデオ処理アプリケーションは、画素値の異なる色空間表現を利用する。例えば、コンピュータシステムは一般にＲＧＢ（赤−緑−青）色空間を利用し、ここでは各画素値が赤成分、緑成分、及び青成分によって表現される。一方、従来の放送テレビジョン信号は、ＹＵＶ色空間に対応する輝度成分（Ｙ）及び２つのクロミナンス成分（Ｕ及びＶ）を利用して画像をエンコードする。ＹＵＶの直交変形はＹＩＱ色空間である。ＹＣｂＣｒ色空間は、ディジタルビデオのエンコードに利用される、ＹＵＶのスケーリングされたバージョンである。他の画像の色空間表現も当分野では一般的である。Keith Jackによる「VIDEO DEMYSTIFIED」（HighText Interactive社、San Diego, California、１９６６年発行）においては、８個の異なる色空間規格が、他の色空間への変換のための式と共に提示されている。
【０００６】
１以上の色空間をサポートする伝統的なシステムにおいては、色空間の間の変換は典型的に、特定の色空間変換のためにカスタマイズされたハードウェアを介して実行される。カスタマイズされた設計は、回路と集積回路上の該回路に必要とされる領域の削減を可能とするが、特定の色空間変換への設計の応用性を制限する。複数の変換がサポートされるべきことが意図される場合、行列変換体系が一般に利用される：
【数２】

ここでＡ_０乃至Ａ_２は入力色空間中の入力画素の成分値、Ａ’_０乃至Ａ’_２は出力色空間中の出力画素の成分値、Ｄ_０乃至Ｄ_２は入力色成分に関連するオフセット、Ｂ_０乃至Ｂ_２は出力色成分に関連するオフセット、Ｃ_００乃至Ｃ_２２は特定の変換式の係数である。例えば、従来のＲＧＢ色空間とＹＣｂＣｒ色空間との間の変換は以下の式を介して実行される。
Ｒ−Ｇ−Ｂ成分値を持つ入力画素から、Ｙ−Ｃｂ−Ｃｒ成分値を持つ出力画素へ：
【数３】

Ｙ−Ｃｂ−Ｃｒ成分値を持つ入力画素から、Ｒ−Ｇ−Ｂ成分値を持つ出力画素へ：
【数４】

【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数の色空間変換を提供するように構成されたシステムにおいては、適切な係数及びオフセットを３×３行列乗算器及び加算器にロードすることにより、異なる入力−出力色空間変換が実行される。かような例は、特定の色空間の入力成分（例えばＹ−１６、Ｃｂ−１２８、Ｃｒ−１２８）から適切なオフセット（Ｄ_０，Ｄ_１，Ｄ_２）を減算するプリプロセッサに加えて、少なくとも９個の乗算器及び加算器を必要とすることに留意されたい。
【０００８】
本発明の目的は、色空間変換を実行するために必要とされる回路及び領域を削減することにある。本発明の他の目的は、ＦＩＲフィルタリングのために備えられた回路の利用を最適化することにある。
【課題を解決するための手段】
【０００９】
これらの目的及び他の目的は、ＦＩＲフィルタリング及び色空間変換のために同一の回路を利用することにより達成される。従来のＦＩＲフィルタの乗加算アレイ（multiply-add array）への入力が、ＦＩＲフィルタ成分の代替利用を提供するために適切に多重化される。この方法によって例えば、同一の成分の乗加算アレイが、画像のスケーリング及びある色空間から他の色空間への画像の変換のために利用されることができる。
【発明を実施するための最良の形態】
【００１０】
本発明は、添付する図を参照しながら、例として以下により詳細に説明される。
【００１１】
図を通して、同一の参照番号は同等の又は対応する特徴又は機能を示す。
【００１２】
図１は、本発明による画像処理システム１００のブロック図の例を示す。処理システム１００は、本発明の応用の例として示されるが、当業者は本発明がこの例の応用に限定されないことを認識するであろう。処理システム１００は、異なるフォーマット、及びとりわけ異なる色空間のエンコードを利用した画素値を持つ画像の、複数の入力画像供給源を許容する。供給源選択器１１０は、特定の入力画像供給源を選択し、色空間変換器１２０に選択画像を供給する。本例においては、設計の複雑さを最小化するため、色空間変換器１２０は、必要に応じて、ある色空間における画素のエンコードを、前記システムの残りが処理するように構成された特定の色空間におけるエンコードに変換するように構成される。即ち例えば、コンピュータベースの表示システムにおいては、ＲＧＢ色空間エンコードに基づく多くのユーティリティ処理及びアプリケーションプログラムが存在する。例えば、画像を鮮明化する又は画像からノイズを除去するように構成された画像強調方式は、一般にＲＧＢエンコードされた画像を処理するために利用可能である。他の色空間エンコードをＲＧＢエンコードに変換することにより、これらの現存するユーティリティ処理及びアプリケーションプログラムが利用されることができる。従来の画像処理システムにおいては、本発明の背景で議論したように、色空間変換機能は専用のハードウェアによって又は３×３行列乗算によって提供される。本発明によれば、色空間変換器１２０が、以下に更に議論されるように、ＦＩＲフィルタ１４０ｂの乗算及び加算成分を利用するように構成される。
【００１３】
当分野では一般的なように、画像処理システム１００の本例においては、処理ブロック間で画像データを通信するためにメモリ１３０が利用される。このメモリ１３０は例えば、前記画像中の個々のラインのためのラインバッファ、連続画像のためのフレームメモリ、キャッシュメモリ等を含んでも良い。本例においては、色空間変換器１２０は、ＦＩＲフィルタ１４０ｂに元の画像データを供給するように構成され、ＦＩＲフィルタ１４０ｂは色空間変換されたデータをメモリ１３０に配置するように構成される。
【００１４】
スケーリング器１５０は、メモリ１３０からの前記画像の任意のスケーリングを提供するように構成される。本発明によれば、スケーリング器１５０の例は、以下に更に議論されるように、多重化器１４０ａを介して、色空間変換器１２０と同一のフィルタ１４０ｂの乗加算アレイを利用するように構成される。本例においては、ＦＩＲフィルタ１４０ｂからの、前記画像のスケーリングされたバージョンも、ディスプレイ１７０上での前記画像の提示のためのディスプレイドライバ１６０による以降の処理のため、メモリ１３０に保存される。量子化、丸め、クランピング、鮮明化等のような他の処理が、当分野では一般的なように、メモリ１３０中にあるスケーリングされた又はスケーリングされていないデータに適用されても良いが、理解の容易のために図１には示されていないことに留意されたい。
【００１５】
多重化器１４０ａは、ＦＩＲフィルタ１４０ｂへの入力が、色空間変換器１２０からのものか、又はスケーリング器１５０からのものかを選択する。処理システム１００の特定の構成及びサポートされた機能に依存して、多重化器１４０ａはＦＩＲフィルタ１４０ｂの利用に制限を導入しても良い。例えば、システム１００の最大のスループットのため、多重化器１４０ａは、１だけの機能、即ち色空間変換又は画像スケーリングが与えられた入力ストリームに適用され得るように構成されても良い。即ち例えば、ＲＧＢベースのシステムにおいては、ＲＧＢ供給源から提供された画像に対してのみスケーリングが提供され得、色空間変換を必要としない。スループットが重要でない場合は、システム１００は、各入力画像を選択色空間に変換するように多重化器１４０ａを設定し、前記画像が変換された後に、色空間変換された画像をスケーリングするように多重化器１４０ａを設定するように構成されても良い。本開示を考慮して他の多重化方式が当業者には明白であろう。例えば前記システムは、変換器１２０及びスケーリング器１５０からのデータが交互に処理されるように多重化器１４０ａを制御するように構成され、それによって、全体の処理の間ある入力又は他の入力にＦＩＲフィルタ１４０ｂの処理を制限するシステムよりも遅い速度でではあるが連続処理を可能にしても良い。
【００１６】
図２は、本発明による多目的ＦＩＲフィルタ結合のブロック図の例を示す。ＦＩＲフィルタ結合１４０は、上述のＦＩＲフィルタ１４０ｂ、及び図１において多重化器１４０ａとして表された複数の多重化器２２０、２３０、２４０を有する。
【００１７】
本発明によれば、多重化器２２０、２３０及び２４０は、意図された変換を実行するためにＦＩＲフィルタ１４０ｂへ適切な入力を供給するように構成される。図２の例においては、入力ＩｎＢは、以下の行列演算を提供する６タップ３成分のＦＩＲフィルタに関して上述したように、スケーリング機能を実行するためのＦＩＲフィルタへの従来の入力に対応する：
【数５】

図２の例において説明されたように、ＦＩＲフィルタ１４０ｂ中の一連の遅延要素２１０は、例えば水平ラインの６画素長を有する一連の画素値に対応する、ａ^０、ａ^−１、・・・、ａ^−５画素値を提供する。係数ｃ_００乃至ｃ_２５及びオフセットｅ_０乃至ｅ_３は、当分野では一般的なアルゴリズムを用いて、スケーリング因子並びに入力及び出力画素値の位相に基づいて、（図１の）スケーリング器１５０によって設定される。上記の行列乗算及び加算は、従来のＦＩＲフィルタに関しては当分野では一般的であるように、乗算器及び加算器のアレイ２５０を介して実行される。
【００１８】
入力ＩｎＡの色空間変換を多重化されたＦＩＲフィルタシステム１４０に供給するために、従来の３×３行列演算が、以下のように６タップ３成分ＦＩＲフィルタによって提供される。
【００１９】
以上示されたように、従来の３×３色空間変換は以下によって提供される：
【数６】

この従来の３×３の色空間変換は、以下と等しいことが示される：
【数７】

即ち、３×３の色空間変換係数行列Ｃ_００乃至Ｃ_２２は、６×３ＦＩＲフィルタ係数行列を満たすために複製され、入力値Ａ_０乃至Ａ_２及びオフセットＤ_０乃至Ｄ_２は離散的なエントリとして提供される。本発明の背景において示されたようなＹＣｂＣｒからＲＧＢへの色空間変換は、例えば以下に書き直される：
【数８】

従来の３×３の色空間変換行列演算を６×３ＦＩＲフィルタ行列に書き直すことにより、多重化器２２０、２３０及び２４０は図２の６×３ＦＩＲフィルタ１４０ｂの例に適切な入力を供給するように構成されることができる。示されたように、従来のＦＩＲフィルタ機能を実行するために利用される状態と反対の状態にモード信号がアサート（assert）された場合、ＦＩＲフィルタ１４０ｂの乗加算アレイ２５０への入力は、上記の６×３の色変換行列演算を実行するために、適切な入力値Ａ_０乃至Ａ_２、出力オフセット値Ｂ_０乃至Ｂ_２、複製された係数値Ｃ_００乃至Ｃ_２２、及び入力オフセットＤ_０乃至Ｄ_２を、６×３乗算器及び加算器に供給するように、前記多重化器によって切り換えられる。前記３×３の色空間変換は、３×３行列演算を実行するために典型的に利用される従来の３×３乗加算アレイよりもかなり長い３×６の乗加算アレイ２５０によって実行されるが、回路領域の節約は達成されることに留意されたい。なぜなら、多重化器２２０、２３０及び２４０は従来の３×３乗加算アレイよりも少ない領域を消費するように期待され得るからである。
【００２０】
当業者には明らかであろうように、異なるサイズのＦＩＲフィルタ１４０ｂが具備された場合、前記３×３の色空間変換行列演算は、前記異なるサイズのＦＩＲフィルタに順応するように必要に応じて書き直される。例えば、前記３×３色空間行列のパラメータを直接４×４ＦＩＲフィルタの３×３サブセットに充填し、使われていない入力をゼロで埋めることにより、４×４ＦＩＲフィルタが利用されることができる。
【００２１】
以上は、本発明の原理を単に説明するものである。従って当業者は、ここで明確に説明された又は示されたものではないが、本発明の原理を実現し従って本発明の精神及び範囲内のものである種々の構成を考え出すことができるであろうことは理解されるであろう。
【図面の簡単な説明】
【００２２】
【図１】本発明によるビデオ処理システムのブロック図の例を示す。
【図２】本発明による多目的ＦＩＲフィルタ結合のブロック図の例を示す。

Claims (11)

1. 第１の色空間中の画素値の、第２の色空間中の対応する画素値への変換を提供するように構成された色空間変換器と、
   第１のスケールにおける画素値の、第２のスケールにおける対応する画素値へのスケーリングを提供するように構成されたスケーリング器と、
   画素値にフィルタ関数を適用するように構成されたフィルタと、
   を有し、
   前記色空間変換器は前記変換を提供するために前記フィルタを利用し、
   前記スケーリング器は前記スケーリングを提供するために前記フィルタを利用する画像処理システム。
2. 前記変換及び前記スケーリングを選択的に実行するために、前記画素値を前記フィルタに選択的に供給するように構成された第１の多重化器を更に含む、請求項１に記載の画像処理システム。
3. 前記変換及び前記スケーリングを選択的に実行するために、色空間変換係数及びスケーリング係数を前記フィルタに選択的に供給するように構成された第２の多重化器を更に含む、請求項２に記載の画像処理システム。
4. 前記変換及び前記スケーリングを選択的に実行するために、オフセットパラメータを前記フィルタに選択的に供給するように構成された第３の多重化器を更に含む、請求項３に記載の画像処理システム。
5. 前記フィルタはＦＩＲフィルタである、請求項１に記載の画像処理システム。
6. 前記色空間変換器、前記スケーリング器及び前記フィルタの間の画素値の通信を容易化するメモリを更に含む、請求項１に記載の画像処理システム。
7. 前記フィルタは６タップ３成分のＦＩＲフィルタである、請求項１に記載の画像処理システム。
8. 前記フィルタは乗加算アレイを含み、
   前記色空間変換器は、前記変換を提供するために前記フィルタの前記乗加算アレイを利用し、
   前記スケーリング器は、前記スケーリングを提供するために前記フィルタの前記乗加算アレイを利用する、請求項１に記載の画像処理システム。
9. それぞれが３個の要素入力を含む６個のデータ入力、及び１８個の係数入力を含み、３個の要素出力を持つ出力を提供するために前記６個のデータ入力と前記１８個の係数入力との３×６行列乗算を実行するように構成された乗加算アレイと、
   第１の選択可能なモードである場合には、それぞれが３個の成分値を持つ６個の画素値のそれぞれを、前記６個のデータ入力のそれぞれに供給し、
   第２の選択可能なモードである場合には、単一の画素値の３個の成分のそれぞれを、前記６個のデータ入力のうちの３個に供給し、このとき前記３個の成分のそれぞれが前記３個のデータ入力のそれぞれの前記３個の要素入力に供給され、前記単一の画素値の３個の成分に関連する３個のオフセットのそれぞれを、前記６個のデータ入力の他の３個に供給し、このとき前記３個のオフセットのそれぞれが前記他の３個の前記データ入力のそれぞれの前記３個の要素入力に供給されるように構成された、前記乗加算アレイに動作可能に結合された多重化器と、
   を有する処理システム。
10. 前記多重化器は更に、
    前記多重化器が前記第１の選択可能なモードである場合には、
    前記６個の画素値に対応するスケーリングされた画素値を出力として供給するため、１８個のスケーリング係数を前記１８個の係数入力に供給し、
    前記多重化器が前記第２の選択可能なモードである場合には、
    前記単一の画素値の色空間変換を出力として供給するために、前記１８個の係数入力のうちの９個の係数入力から成る第１のセットと、前記１８個の係数入力のうちの他の９個の係数入力から成る第２のセットとのそれぞれに、９個の色空間係数を供給するように構成される、請求項９に記載の処理システム。
11. 前記乗加算アレイは更に、前記３個の要素出力のそれぞれをオフセットするための３個のオフセット入力を含み、
    前記多重化器は更に、
    前記多重化器が前記第１の選択可能なモードである場合には、前記スケーリングされた画素値をオフセットするために、３個のスケーリングオフセットを前記３個のオフセット入力に供給し、
    前記多重化器が前記第２の選択可能なモードである場合には、前記単一の画素値の色空間変換をオフセットするために、３個の色空間オフセットを前記３個のオフセット入力に供給するように構成される、請求項１０に記載の処理システム。

Images