JP2008512923A

JP2008512923A - ビデオデータを処理する装置及び方法

Info

Publication number: JP2008512923A
Application number: JP2007530821A
Authority: JP
Inventors: アーアボ，アンテネ; ペークレイホルスト，リハルト; ピーガンウァル，オム
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-09-08
Filing date: 2005-09-06
Publication date: 2008-04-24
Also published as: TW200631414A; GB0419870D0; EP1792480A1; WO2006027741A1; KR20070097021A; US20100066901A1; CN101015202A

Abstract

ＳＩＭＤプロセッサアーキテクチャは、複数の処理エレメント（ＰＥ）４２を有するリニアプロセッサアレイ（ＬＰＡ）４１を有する。それぞれのＰＥ４２は、グローバルコントロールプロセッサ４４から全てのＰＥにブロードキャストされた一般の命令に基づいたその画素データに動作する。デインタレースアルゴリズムを扱うことにおけるプロセッサの機能をエンハンスするため、フィールドアクセスモジュール（ＦＡＭ）４７、入力ラインメモリ４８、及びワーキングラインメモリ４３内のシャドウメモリ４９が設けられる。入力ラインメモリ４８は、前のビデオフィールドからの第一の複数の画素を記憶する前のビデオフィールドメモリ４８１、現在のビデオフィールドからの複数の画素を記憶する現在のビデオフィールドメモリ４８２、及び、次のビデオフィールドからの複数の画素を記憶する次のビデオフィールドメモリ４８３を有する。同様にして、シャドウメモリ４９は、前のコピービデオフィールドメモリ４９１、現在のコピービデオフィールドメモリ４９２、及び次のコピービデオフィールドメモリ４９３を有する。個別のメモリを設けることで、処理エレメントは、前のビデオフィールド、現在のビデオフィールド及び次のビデオフィールドのデータに同時にアクセスすることが可能であり、これによりデインタレース動作の効率を改善することができる。

Description

本発明は、ビデオデータを処理する装置及び方法に関し、特に、デインタレースアルゴリズムを処理するために適合されるＳＩＭＤ（ｓｉｎｇｌｅｉｎｓｔｒｕｃｔｉｏｎｍｕｌｔｉｐｌｅｄａｔａ）プロセッサに関する。

ビデオ信号は、異なるフレームレートに分類され、従ってビデオフォーマット変換を大部分のビデオ処理装置におけるコアのタスクとしている。たとえば、動画は、２４，２５又は３０Ｈｚで記録され、ＴＶ信号は５０Ｈｚ又は６０Ｈｚのいずれかでインタレースされる。これに加えて、現代のディスプレイは、フリッカを低減するため、（たとえば７５Ｈｚ，９０Ｈｚ，１００Ｈｚ等でのインタレースといった）高いディスプレイレートで動作することがある。先の観点で、ビデオフレームレート変換は、プログレッシブスキャンに基づいたコンピュータモニタでのインタレースＴＶ信号の表示を含めて、異なるドメインをブリッジすることにおいて重要な機能となっている。

デインタレースは、偶数フィールドから奇数ラインを計算し、奇数フィールドから偶数ラインを計算するタスクである。ロウエンドサイドのパフォーマンススケールには、ライン繰り返し又はライン平均化を実行するアルゴリズムがある（両者は、イントラフィールドの補間方法である）。移動のないシーケンスで、これらアルゴリズムの結果は、オリジナルの２５又は３０Ｈｚのラインフリッカに苦しむ。別のデインタレース方法は、ライン挿入である。ここで失われたラインは、前のフィールドからの同じ垂直位置からコピーされる（これはインターフィールド補間方法である）。移動のないシーケンスで、このアルゴリズムは、非常に良好に実行する。しかし、僅かに移動するシーケンスによるとしても、悩まされるアーチファクトは、表示された画像で目に見えるようになる。

過去１０年間、集積回路の成長する計算能力から利益を得ているスマートアルゴリズムを介して、表示されたビデオマテリアルの品質を改善するため、広範囲にわたる研究が実行されている。公知の方法は、高性能アルゴリズムの計算上の複雑さを扱うために専用のＡＳＩＣを提供するか、又は、出願人のＴｒｉＭｅｄｉａプロセッサのようなメディア処理集積回路でアルゴリズムの一部を実現する。最新のフレームレート変換技術は、高品質表示画像を生成するため、動き補償及び方向依存“ｄｉｒｅｃｔｉｏｎ−ｄｅｐｅｎｄｅｎｔ”（エッジ依存“ｅｄｇｅ−ｄｅｐｅｎｄｅｎｔ”）デインタレースの方法を適用する。ハイエンドのパフォーマンススケールには、適切な動きベクトルに従ってシフトされる、過去からの情報を使用する動き補償方法がある。エッジ依存のデインタレースは、インタレースビデオからぎざぎざエッジを効果的に除くための方法である。この方法は、エコノミーインタレースと同様にハイエンドでのアプリケーションにより、最適な画像補間のためにエッジを検出及び定量化する。最新のデインタレースの例は、“ＩＣｆｏｒＭｏｔｉｏｎ−ＣｏｍｐｅｎｓａｔｅｄＤｅ−Ｉｎｔｅｒｌａｃｉｎｇ，ＮｏｉｓｅｒｅｄｕｃｔｉｏｎａｎｄＰｉｃｔｕｒｅＲａｔｅＣｏｎｖｅｒｓｉｏｎ”ｂｙＧ．ｄｅＨａａｎ，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＣＥ，ｖｏｌ．４５，ｎｏ．３，Ａｕｇｕｓｔ１９９９に開示されている。

図１は、最新のデインタレースアルゴリズムの１例を示す。フィールドメモリ３に記憶されたビデオ入力信号１は、ビデオ出力信号９を生成するためエッジ依存後処理機能７との組み合わせで基本のデインタレース機能５を使用して処理される。基本のデインタレース機能とエッジ依存後処理との結合は、デインタレース画像の品質を向上する。

図２は、失われたラインを現在のフィールド２５に埋めるため、前のフィールド２１、次のフィールド２３及び現在のフィールド２５からのデータを使用して３つのフィールドのデインタレースを示している。影付けされていないラインは、３つのフィールド２１，２３，２５における失われた画像ラインを表す。多数決のデインタレースプロセスは、全ての３つのフィールド２１，２３，２５の「隣接」ラインにおけるデータを使用して現在のフィールド２１における失われたラインの値を計算する。たとえば、失われたライン２５ｘのデータは、前のフィールド２１におけるライン２１_Ａｐ，２１_Ａ及び２１_Ａｎからのデータ、及び次のフィールド２３におけるライン２３_Ｄからのデータを使用して計算される。

図３ａ及び図３ｂは、デインタレースのための多数決のメディアンフィルタを実行する擬似コード、及びエッジ依存の後処理機能のそれぞれの例を示す。メディアンフィルタのデインタレースアルゴリズムは、ライン繰り返し及びライン挿入の利益を結合し、これにより、失われたラインにおける画素は、現在のフィールドにおける隣接ラインからの２つの画素と、前のフィールドにおける同じ垂直位置のラインからの１つの画素との中間を取ることで計算される。これらハイエンドアルゴリズムの全ては、計算上集中するものであって、高い性能の数字を要求する。

かかるアルゴリズムを並列処理アレイで実現することが知られており、かかるシステムは、デインタレース機能の効果的な使用をなさない。
したがって、本発明も目的は、デインタレースアルゴリズムを更に効率的に処理するために適合されるＳＩＭＤプロセッサを提供することにある。

本発明の第一の態様によれば、ビデオデータ信号をデインタレースするプロセッサアレイが提供され、このプロセッサアレイは、デインタレースビデオ信号を生成するためにビデオデータ信号を処理する処理エレメントのアレイ、前のビデオフィールドから第一の複数の画素を記憶する前のビデオフィールドメモリ、現在のビデオフィールドから第二の複数の画素を記憶する現在のビデオフィールドメモリ、及び、次のビデオフィールドから複数の画素を記憶する次のビデオフィールドメモリを有しており、プロセッサアレイは、前のビデオフィールドメモリ、現在のビデオフィールドメモリ、及び次のビデオフィールドメモリがデインタレース動作の間に同時にアクセスすることができるように構成される。上述されたアーキテクチャは、高いパフォーマンス、フレキシビリティ及び低電力を提供する。

本発明の別の態様によれば、デインタレースされたビデオ信号を生成するためにビデオデータ信号を処理する複数の処理エレメントを有するプロセッサアレイを使用してビデオデータ信号をデインタレースする方法が提供され、この方法は、前のビデオフィールドメモリに前のビデオフィールドから第一の複数の画素を記憶し、現在のビデオフィールドメモリ現在のビデオフィールドから複数の画素を記憶し、次のビデオフィールドメモリに次のビデオフィールドから複数の画素を記憶し、前のビデオフィールドメモリ、現在のビデオフィールドメモリ、及び次のビデオフィールドメモリがデインタレース動作の間に同時にアクセスされるのを可能にする。
本発明の良好な理解のため、本発明がどのように実施されるかを明らかに示すため、添付図面に対して例示により参照が為される。

図４は、デインタレースアルゴリズムを処理するための、本発明に係るＳＩＭＤプロセッサアーキテクチャを示す図である。

従来のＳＩＭＤプロセッサによるように、アーキテクチャは、複数の処理エレメント（ＰＥ）４２を有するリニアプロセッサアレイ（ＬＰＡ）４１を有する。ＬＰＡ４１は、たとえばあるラインにおける画素数と同じ多くのＰＥ４２を有する。それぞれのＰＥ４２は、グローバルコントロールプロセッサ４４から全てのＰＥにブロードキャストされる共通の命令に基づいてその画素データで動作する。ＬＰＡ４１の結果は、出力ラインメモリ４５に並列に書き込まれる。シリアルプロセッサ４６は、出力されるビデオデータに（たとえばフォーマット変換及び統計的処理といった）適切な後処理を実行する。

選択された動作周波数に依存して、ＬＰＡ４１は、画像ライン当たり予め定義された数の演算を実行する。画素レベルのパラレリズムのため、それぞれの画素を処理するため、同じ数の命令が利用可能である。

グローバルコントロールプロセッサ４４は、全体のＳＩＭＤプロセッサアーキテクチャの同期について役割を担う。グローバルコントロールプロセッサ４４のメインタスクは、プログラムカウンタをアップデートし、命令を取り出してデコードし、それらをＬＰＡ４１に送出することである。さらに、グローバルコントロールプロセッサ４４は、シリアルプロセッサ４６から統計的な情報を受け、フィルタ係数の動的な適合を実行するか、又は現実のプログラムのフローを制御する。また、グローバルコントロールプロセッサ４４は、プログラムのダウンロード及びステータス情報の伝達のために外部の世界とのインタフェースを行う。これらの機能は、ＳＩＭＤプロセッサアーキテクチャに一般的なものである。

本発明によれば、上述したＳＩＭＤプロセッサアーキテクチャは、プロセッサがデインタレースタスクを更に効率的に実行するのを可能にするために適合される。エンハンスメントは、フィールドアクセスモジュール（ＦＡＭ）４７、入力ラインメモリ４８、及びワーキングラインメモリ４３内のシャドウメモリ４９を有する。入力ラインメモリ４８は、前のビデオフィールドメモリ４８１、現在のビデオフィールドメモリ４８２及び次のビデオフィールドメモリ４８３を有する。前のビデオフィールドメモリ４８１は、前のビデオフィールドからの第一の複数の画素を記憶し、現在のビデオフィールドメモリ４８２は、現在のビデオフィールドからの複数の画素を記憶し、次のビデオフィールドメモリ４８３は、次のビデオフィールドからの複数の画素を記憶する。

同様のやり方で、シャドウメモリ４９は、前のコピービデオフィールドメモリ４９１、現在のコピービデオフィールドメモリ４９２、及び次のコピービデオフィールドメモリ４９３を有する。前のコピービデオフィールドメモリ４９１は、ビデオフィールドの前のコピーからの第一の複数の画素を記憶し、現在のコピービデオフィールドメモリ４９２は、ビデオフィールドの現在のコピーからの複数の画素を記憶し、次のコピービデオフィールドメモリ４９３は、ビデオフィールドの次のコピーからの複数の画素を記憶する。

たとえばエッジに依存するデインタレースアルゴリズムといった受信されたビデオ信号に動作するデインタレースアルゴリズムは、他のビデオ処理コードと共にプログラムメモリ５０に記憶され、３つのビデオフィールド、すなわち前、現在及び次のビデオフィールドで動作する。処理はパイプライン方式で行われ、プロセッサアレイは、シャドウメモリ４９１，４９２，４９３で動作し、入力ラインメモリ４８１，４８２，４８３が新たなデータで満たされる。アーキテクチャは、所望のエリア、速度及び電力消失のトレードオフに整合するために容易にスケーラブルである。

フィールドアクセスモジュール４７、入力ラインメモリ４８及びシャドウメモリ４９は、デインタレースアルゴリズムを実現するため、ＳＩＭＤアーキテクチャの効果的な利用を可能にするためにデータ準備パート（ｄａｔａｐｒｅｐａｒａｔｉｏｎｐａｒｔ）に対処するために互いに機能する。フィールドアクセスモジュール４７は、適切なアドレス指定及び同期を通して、マルチポートフィールドメモリ５１と入力ラインメモリ４８１，４８２，４８３との間にインタフェースを提供するために構成される。フィールドアクセスモジュール４７は、フィールドメモリ５１における前のフィールド、現在のフィールド及び次のフィールドの位置の変化に注目する。

前のビデオフィールドメモリ４８１、現在のビデオフィールドメモリ４８２及び次のビデオフィールドメモリ４８３の形式での入力ラインメモリ４８の提供は、リニアプロセッサアレイ４１により前のビデオフィールド、現在のビデオフィールド及び次のビデオフィールドへの同時の３フィールドアクセスを容易にする。同様に、前のコピーメモリ４９１、現在のコピーメモリ４９２及び次のコピーメモリ４９３のストレージにより、リニアプロセッサアレイ４１による、これらメモリへの同時のアクセスを可能にする。入力ラインメモリ４８１，４８２，４８３及びシャドウメモリ４９１，４９２，４９３が典型的なデインタレースプロセスの間にどのように利用されるかに関する更なる詳細は、以下に与えられる。

本発明のプロセッサアーキテクチャによれば、ＬＰＡ４１が次の出力ラインを準備するのにビジーである間、ビデオ入力ポート及びシリアルプロセッサは、ビデオデータを受信及び送出するのにそれぞれビジーである。

提案されるアーキテクチャエンハンスメントの使用を容易にするため、グローバルコントロールプロセッサには、ＳＩＭＳ（ＳｈａｄｏｗａｎｄＩｎｐｕｔＭｅｍｏｒｙＳｅｑｕｅｎｃｅｒ）モジュール５１が設けられることが好ましい。ＳＩＭＳモジュール５１は、デインタレースの間にラインメモリブロックのシーケンス及びアップデートを管理するため、グローバルコントロールプロセッサ４４のインデックスローテーションユニットを利用する専用タスクである。

フィールドアクセスモジュール４７、入力ラインメモリ４８及びシャドウメモリ４９は、デインタレースタスクを実行するため、ＳＩＭＤアーキテクチャのパフォーマンスを利用する。たとえば、図４の提案されるアーキテクチャでの図３ａ及び図３ｂに与えられるエッジベースのデインタレースアルゴリズムの実現は、全体として２４５クロックサイクルで完了される（１５サイクルが基本のデインタレース機能であり、２３０サイクルがエッジ依存に後処理である）。なお、正確な数のサイクルは、ビデオフォーマット及びＬＰＡ４１におけるＰＥ４２の数を含めて、ファクタ数に依存することが理解されるであろう。たとえば、サイクルカウントは、ＣＩＦについて１５；２３０であり、ＶＧＡについて３０；４６０であり、ＳＶＧＡフォーマットについて６０；９２０等である。

図３ａにおけるデインタレースルーチンが失われたラインを計算するために３つのフィールドから６つの入力ラインを必要とするとしても、フィールドメモリ５１から読み出される実際のライン数は３である。残りのラインは、シャドウメモリ４９にある。

図５は、入力及びシャドウラインメモリのアップデートのコンテンツ及びモーメントと供に、進行中のパイプライン化されたデインタレースを示す図である。
ラインの処理は、失われたラインについてＤＩＥＰＰ（Ｄｅ−ＩｎｔｅｒｌａｃｉｎｇａｎｄＥｄｇｅＰｏｓｔＰｒｏｃｅｓｓｉｎｇ）として、全ての画像ラインについてＥＸＴ（Ｅｘｔｒａ）コモンとして分類される。影付けされたスライスは、前のフィールドからのライン［Ｐ_ｊ，Ｐ_ｊ＋１，Ｐ_ｊ＋２］、現在のフィールドからのライン［Ｃ_ｊ，Ｃ_ｊ＋１］、及び次のフィールドからのライン［Ｎ_ｊ］に基づいて、現在のフレームにおける単一の失われたライン［Ｍ_ｊ］を計算するために必要とされるステップを示す。入力及びシャドウラインメモリでアップデートされるラインは、ダークドットによりマークされる。

アーキテクチャの特徴の１つは、アーキテクチャのプログラマビリティから生じるそのフレキシビリティである。実際の画素処理は、ビデオ信号のダイナミクスに適するように適応的にされる。さらに、使用されるフィルタの係数、又は更にアルゴリズムのフローは、オン・ザ・フライで変更される。

提案されるアプローチは、データ処理における並行処理がデータアクセスをローカライズし、低いシステムクロック周波数の使用を可能にするため、高いパフォーマンス及び更に低電力となる。結果的に、スイッチングの電力消費量が低減される。

現在のフィールド、前のフィールド及び次のフィールドからのデータを処理するために３つのフィールドメモリを有するものとして好適な実施の形態が記載されたが、別のフィールドからのデータが処理動作で使用される場合に１以上のフィールドメモリが提供されることを理解されたい。同様に、データ処理において使用されるフィールドが少なくなると、使用されるフィールドメモリが少なくなる。

さらに、好適な実施の形態が３フィールドメモリを論理的に個別のメモリとして開示したが、帯域幅の要件を満たすため、３フィールドメモリがワイドインタフェースにより１つのメモリにマッピングされることを理解されたい。

なお、上述された実施の形態は、本発明を制限するよりは例示するものであり、当業者は、特許請求の範囲から逸脱することなしに多くの代替となる実施の形態を設計することができる。単語「有する“ｃｏｍｐｒｉｓｉｎｇ”」は、請求項で列挙された以下のエレメント又はステップの存在を排除するものではない。

エッジ依存デインタレースを示す概念図である。公知の３フィールドのデインタレースアルゴリズムを示す図である。図３ａはデインタレースの多数決のメディアンフィルタリングの典型的な擬似コードを示す図である。図３ｂはエッジ依存後処理の典型的な擬似コードを示す図である。本発明に係るデインタレースのために適合されるプロセッサアレイアーキテクチャを示す図である。図４のリニアプロセッサアレイにおけるパイプラインデインタレース動作を示す図である。

Claims

ビデオデータ信号をデインタレースするプロセッサアレイであって、
デインタレースされたビデオ信号を生成するため、前記ビデオデータ信号を生成するために処理エレメントのアレイと、
前のビデオフィールドからの最初の複数の画素を記憶する前のビデオフィールドのメモリと、
現在のビデオフィイールドからの複数の画素を記憶する現在のビデオフィールドのメモリと、
次のビデオフィールドからの複数の画素を記憶する次のビデオフィールドのメモリとを有し、
当該プロセッサアレイは、前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリがデインタレース動作の間に同時にアクセスされるように構成される、プロセッサアレイ。
フィールドアクセスモジュールを更に有し、
前記フィールドアクセスモジュールは、デインタレースされるべきビデオデータ信号を受けるフィールドメモリに接続され、前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリにそれぞれ出力信号を供給するために適合される、
請求項１記載のプロセッサアレイ。
前記フィールドアクセスモジュールは、前記フィールドメモリにおける前のビデオフィールド、現在のビデオフィールド及び次のビデオフィールドのロケーションの変化に対処するために適合される、
請求項２記載のプロセッサアレイ。
ワーキングラインメモリを更に有し、
前記ワーキングラインメモリは、
前記ビデオフィールドの前のコピーからの最初の複数の画素を記憶する前のコピーのビデオフィールドメモリと、
前記ビデオフィールドの現在のコピーからの複数の画素を記憶する現在のコピーのビデオフィールドメモリと、
前記ビデオフィールドの次のコピーからの複数の画素を記憶する次のコピーのビデオフィールドメモリとを有する、
請求項１記載のプロセッサアレイ。
グローバルコントロールプロセッサを更に有し、
前記グローバルコントロールプロセッサは、前記メモリを制御する手段を含む、
請求項１記載のプロセッサアレイ。
前記メモリを制御する手段は、前記グローバルコントロールプロセッサのインデックスローテーションユニットを利用して、デインタレースの間に前記メモリのシーケンス及びアップデートを管理するために適合される、
請求項５記載のプロセッサアレイ。
前記複数のフィールドメモリは、論理的に個別のメモリである、
請求項１乃至６のいずれか記載のプロセッサアレイ。
前記複数のフィールドメモリは、帯域幅の要件に適合するため、ワードインタフェースを有する１つの論理メモリにマッピングされる、
請求項１乃至６のいずれか記載のプロセッサアレイ。
前記デインタレース動作で使用される１以上の他のフィールドからデータを記憶するための１以上の更なるメモリ手段を有する、
請求項１記載のプロセッサアレイ。
ビデオデータ信号を処理してデインタレースされたビデオ信号を生成するため、複数の処理エレメントを有するプロセッサアレイを使用してビデオデータ信号をデインタレースする方法であって、
前のビデオフィールドからの最初の複数の画素を前のビデオフィールドのメモリに記憶するステップと、
現在のビデオフィールドからの複数の画素を現在のビデオフィールドのメモリに記憶するステップと、
次のビデオフィールドからの複数の画素を次のビデオフィールドのメモリに記憶するステップと、
前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリがデインタレース動作の間に同時にアクセスされるのを可能にするステップと、を含む方法。
デインタレースされるべきビデオデータ信号を受けるフィールドメモリへのコネクションのためにフィールドアクセスモジュールを供給するステップと、前記フィールドアクセスモジュールから、前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリにデータを出力するステップとを更に含む、
請求項１０記載の方法。
前記ビデオフィールドの前のコピーからの最初の複数の画素を前のコピーのビデオフィールドメモリに記憶するステップと、
前記ビデオフィールドの現在のコピーからの複数の画素を現在のコピーのビデオフィールドメモリに記憶するステップと、
前記ビデオフィールドの次のコピーからの複数の画素を次のコピーのビデオフィールドメモリに記憶するステップとを更に含む、
請求項１０記載の方法。
前記メモリを制御するためにグローバルコントロールプロセッサを提供するステップを更に有する、
請求項１０記載の方法。
前記グローバルコントロールプロセッサのインデックスローテーションユニットを使用して、デインタレース動作の間に前記メモリのシーケンス及びアップデートを管理するステップを更に含む、
請求項１３記載の方法。
前記デインタレース動作の間に、前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリにアクセスするステップは、複数の個別のメモリにアクセスするステップを含む、
請求項１０乃至１４のいずれか記載の方法。
前記デインタレース動作の間に、前記前のビデオフィールドのメモリ、前記現在のビデオフィールドのメモリ及び前記次のビデオフィールドのメモリにアクセスするステップは、ワイドインタフェースを有する単一のメモリにアクセスするステップを含む、
請求項１０乃至１４のいずれか記載の方法。