JP2005086822A - ビデオ・データおよびグラフィックス・データ処理用装置 - Google Patents

ビデオ・データおよびグラフィックス・データ処理用装置 Download PDF

Info

Publication number
JP2005086822A
JP2005086822A JP2004258029A JP2004258029A JP2005086822A JP 2005086822 A JP2005086822 A JP 2005086822A JP 2004258029 A JP2004258029 A JP 2004258029A JP 2004258029 A JP2004258029 A JP 2004258029A JP 2005086822 A JP2005086822 A JP 2005086822A
Authority
JP
Japan
Prior art keywords
image
data
graphics
plane
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004258029A
Other languages
English (en)
Inventor
Emmanuel Chiaruzzi
エマニュエル・シャルディ
Didier Aladenise
ディディエール・アラデニース
Mark Vos
マーク・ヴォス
Alastair Walker
アラステェアー・ウォルカー
Lydie Gillet
リディ・ギレット
Michel Terrat
ミッシェル・テッラト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SA
Original Assignee
STMicroelectronics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics SA filed Critical STMicroelectronics SA
Publication of JP2005086822A publication Critical patent/JP2005086822A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42692Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

【課題】ハードウェアおよびソフトウェア上の制限を受けないビデオおよびグラフィックス・データ処理用手法を提供する。
【解決手段】本発明で提供するビデオおよびグラフィックス・データ処理用装置は、コンポーネントと、ビデオおよびグラフィックス・データを格納できるメイン・ランダム・アクセス・メモリを含む。コンポーネントは、処理ユニットと、2次元アクセラレーション・ユニットと、出力インタフェースを含む。2次元アクセラレーション・ユニットは、少なくとも1つのビデオ・プレーンと少なくとも1つのグラフィックス・プレーンを含むイメージをリアルタイムに合成し、それをメイン・メモリに格納できるように、処理ユニットおよびメイン・メモリと連携することができる。出力インタフェースは、合成されたイメージ・データをイメージ表示手段に送出するために、それをメモリから抽出する。
【選択図】図2

Description

本発明は、例えば、デジタル・ビデオ・ディスク(DVD)から生じる、あるいはデジタル・テレビ伝送から生じる、ビデオ・データおよびグラフィックス・データの処理に関する。したがって、本発明は、ビデオ・デコーダまたは衛星デコーダ(通称「セット・トップ・ボックス(set top box)」)に有利に適用される。
現在、ビデオ・イメージおよびグラフィックス・イメージを処理するためのシステムでは、コスト最適化の問題が中心課題となっている。さらに、そのようなシステムでは、高いビデオ品質が必要とされるが、グラフィックス・プレーンを使用してテレビ画面上に特定のメニューを表示する必要もあり、そのためにすべてのプログラムに対話性を追加する必要もある。
現在、そのような処理システムのコストは、どのような外部メモリを選択するかによってある程度は定まる。また、低コストのSDRAMタイプのメモリが好んで使用される。一方で、そのようなメモリは狭い帯域幅しか提供できず、この狭い帯域幅基準に合わせてシステムを最適化する必要がある。
この帯域幅問題に対処するとともに、リスケーリングが可能なようにテレビ用途では13.5MHzの周波数、時にはより高い周波数でピクセル処理を実行しなければならないという制約を満たすため、前記システムは、ピクセル操作数を最小化するように設計される。
この点を念頭に置き、このようなビデオ・データおよびグラフィックス・データ処理システムは、ピクセルを生成し、それによって生成されたイメージを外部メモリに格納するユニットを含む。そのようなユニットには、例えば、MPEGデコーダ、JPEGデコーダ、マイクロプロセッサ、またはグラフィックス・アクセラレータがある。グラフィック・アクセラレータは、長方形の塗りつぶし、オブジェクトのコピー、2つのオブジェクトの混合など簡単な機能の支援を受けてグラフィックス・オブジェクトを生成できる。
これらのピクセル生成ユニットの他にも、前記システムは、例えば、生成されたピクセルをSDRAMメモリなどの外部メモリから抽出し、それをピクセル合成器(pixel compositor)に送信するDMAタイプのユニットを含む。ピクセル合成器は、すべてのプレーン(通称「レイヤ」)を合成してイメージを形成し、それをテレビ画面などの表示装置に送信する役割をもつ。
また、DMAタイプの各ユニットは、イメージを形成するプレーンのうちの特定のタイプ、例えば、ビデオ・プレーンやグラフィックス・プレーンなどをそれぞれ専門に処理し、所定の形式でこれらのプレーンを抽出するように最適化される。
このようなアーキテクチャは、ピクセル操作を最小にまで減らすため、帯域幅の観点からは効率的である。実際、あるフレームまたはイメージの間に、ビデオ・デコーディングが行われ、グラフィックス・プレーンが生成されるが、それらは次のイメージまたはフレームの間にアクセスされて、互いに合成される。したがって、外部メモリは、すべてのプレーンを格納する際に1回、混合または合成の前にそれらを読み取る際に1回使用されることになる。
しかし、例えば、DDR/SDRAMタイプの新しいメモリの出現によって、そのようなアーキテクチャは今では時代遅れとなり、高価になった。
具体的には、その主たる短所は、そのフットプリント(footprint)にある。より正確には、アプリケーションが使用するプレーンの数に応じて、DMAタイプの各ユニットは、寸法変更(redimensioning)手段、フリッカ防止手段、または色変換手段を必要とすることがある。また、それらの手段はすべて、表面積の観点からきわめて高価なリソースの並列化を招く。
さらに、ピクセル合成器は、すべてのグラフィックス・プレーンをビデオ・プレーンと合成するように設計されなければならない。現在、そのようなピクセル合成器は、多数の乗算器から構成されており、このことも表面積に負の影響を及ぼす。
さらに、1つのハードウェアは各プレーン用に特化されているので、一たび構成が選択されると、その集積回路(ASIC)にはもはや柔軟性がなく、仕様に何らかの変更が生じた場合、ハードウェア手段も変更しなければならない。
さらに、ピクセル操作を回避するため、DMAタイプのすべてのユニットは、テレビのサンプリング周波数またはこのサンプリング周波数の倍数(13.5MHzまたは27MHz)で動作する。また、テレビ画面へのピクセルの送出不能を回避するため、多数のリアルタイム制約を考慮することが望ましく、これによって、システムはさらに複雑度を増すことになる。
フランス特許出願第2 801 463号 フランス特許出願第2 798 033号
本発明の目的は、上記の問題に対する解決策を提供することである。
本発明の目的は、ビデオおよびグラフィックス・データ処理用システムの表面積を減らす一方、合成するプレーンの数に関してハードウェアによる制限を受けないようにすることである。
本発明の目的はまた、表示できるビデオ・プレーンの数に関して制限を設けないようにすることである。
本発明の目的はまた、グラフィックス・プレーンのリスケーリング率(rescaling factor)に関して制限を設けないようにすることである。
本発明の目的はまた、イメージ上のグラフィックス・ビューポートの位置に関して制約を課さないようにすることである。より正確には、本発明の目的は、複数のグラフィックス・ビューポートを同一のビデオ・ラインに挿入できるようにすることである。
本発明は、ビデオおよびグラフィックス・データ処理用の装置であって、コンポーネントと、ビデオおよびグラフィックス・データを格納できるメイン・ランダム・アクセス・メモリとを含む装置を提案する。コンポーネントは、処理ユニット、2次元アクセラレーション・ユニット、および出力インタフェースを含む。2次元アクセラレーション・ユニットは、少なくとも1つのビデオ・プレーンと結果的に少なくとも1つのグラフィックス・プレーンを含むイメージをリアルタイムに合成し、それをメイン・メモリに格納できるように、処理ユニットおよびメイン・メモリと連携することができる。出力インタフェースは、合成されたイメージ・データをイメージ表示手段に送信するために、それをメイン・メモリから抽出する。
したがって、本発明は、2次元アクセラレーション・ユニット、すなわち、従来は一般にグラフィックス・オブジェクトを生成するのに使用された2次元グラフィック・アクセラレータを使用できるようにし、少なくとも1つのグラフィックス・プレーンと結果的に少なくとも1つのビデオ・プレーンを含むイメージをリアルタイムに合成する。例えば、あるイメージは1枚のビデオ・プレーンしか含まないかもしれないが、別のイメージはグラフィックス・プレーンとビデオ・プレーンを含むかもしれない。
本発明の一実施形態によれば、メイン・ランダム・アクセス・メモリは、コンポーネントの外部にあるメモリである。
本発明の一実施形態によれば、コンポーネントは、垂直同期信号を一定の時間間隔で送出できるビデオ同期ジェネレータを含む。また、第1の時間間隔の間に、処理ユニットは、表示されるイメージのシーン解析を実行し、前記イメージに関する合成命令のリストを生成することができる。
第1の時間間隔に続く第2の時間間隔の間に、アクセラレーション・ユニットは、表示されるイメージを前記合成命令に基づいて合成し、それを前記メイン・メモリに格納する。
第2の時間間隔に続く第3の時間間隔の間に、出力インタフェースは、前記表示されるイメージのイメージ・データを抽出する。
コンポーネントは有利には、符号化ビデオ・データを受信するための入力インタフェースと、処理ユニットおよび前記メイン・メモリと連携するビデオ・デコーディング・ユニットを含む。この場合、ビデオ・デコーディング・ユニットは有利には、第1の時間間隔の間に、ビデオ・データの復号化を実行し、それをメイン・メモリに格納する。
処理ユニットはイメージ全体に関する合成命令を生成することができるが、本発明は、処理ユニットがイメージのある部分だけに関する合成命令を生成できるという点で、イメージの他の部分が直前のイメージと比べて変更されていない場合には特に有利である。
合成されるイメージが3枚以上のプレーンを含む本発明の一実施形態によれば、アクセラレーション・ユニットは、複数の連続的な基本合成によってイメージを合成することができる。各基本合成では、2枚の中間プレーンどうしを合成する。中間プレーンとは、イメージのプレーンか、または少なくとも1つ前の基本合成の結果として得られたプレーンのことである。
言い換えると、本発明によれば、2次元アクセラレーション・ユニットは、イメージの様々なプレーンどうしを対にして、例えば、メイン・ランダム・アクセス・メモリのバッファ・メモリ領域(通称「フレーム・バッファ」)内に合成する。また、イメージ合成後、それを表示ユニットに送信するため、このバッファ・メモリ領域は、例えば、DMAタイプの単一のユニットから構成される出力インタフェースによってアクセスされる。
本発明の一実施形態によれば、アクセラレーション・ユニットは、
−3つの入力と、
−3つの入力にそれぞれ接続される3つの内部処理パスと、
−前記3つの内部処理パスの出力に接続される制御可能な合成ユニットと、
−合成ユニットの出力に接続される第4の内部処理パスと、
−この第4のパスの出力に接続される出力とを含む。
有利には、前記3つの内部処理パスのうちの第1および第2の内部処理パスには、イメージのサイズを変換できるように、水平および垂直フィルタリング手段が設けられるが、第3の内部処理パスは、水平および垂直フィルタリング手段をもたない。
さらに、イメージのビデオ・プレーンに関連する、輝度(luminance)データと輝度データほどは多くない色(chrominance)データを含むビデオ・データは、前記第1および第2の内部処理パスによって排他的に処理される。
さらに、好ましくは、前記第1および第2の内部処理パスの一方が、輝度データの処理に排他的に携わる。
第1および第2の各内部処理パスのフィルタリング手段は、互いに独立に制御可能である。
帯域幅をさらに最適化するため、有利には、外部メモリのイメージ・バッファ・メモリ領域を使用することなく一時的に結果を格納するための作業領域として使用される、コンポーネント内部の補助ランダム・アクセス・メモリを使用できるようにする。
その結果、この内部メモリのおかげで、外部メイン・ランダム・アクセス・メモリの帯域幅消費が大幅に減らされる。
言い換えると、本発明の一実施形態によれば、前記コンポーネントは、イメージ合成中に中間データを一時的に格納するようにアクセラレーション・ユニットと連携可能な内部ランダム・アクセス・メモリを含む。
また、この内部ランダム・アクセス・メモリの恩恵を十分に受けられるよう、イメージのプレーンを順々に処理される「小さな正方形」に分割すれば一層有利である。これらの正方形のサイズは、内部ランダム・アクセス・メモリのサイズに依存する。
より正確には、本発明の一実施形態によれば、処理ユニットは、合成されるイメージのある領域が3枚以上のプレーンを含む場合、この領域を2次元アクセラレーション・ユニットの出力におけるサイズが前記内部メモリのメモリ・サイズにほぼ等しいサブ領域に細分することができる。言い換えると、このサイズは、こうした2つのサブ領域が合成された際、その結果のサイズが前記内部メモリのメモリ・サイズにほぼ等しくなるようなサイズである。
アクセラレーション・ユニットは、多数のサブ領域を順々に合成することによって、前記領域の合成を実行することができ、サブ領域の合成は、複数の連続的な基本合成として実行される。各基本合成では、2枚の中間プレーンどうしを合成する。中間プレーンとは、前記サブ領域のプレーンか、または少なくとも1つ前のサブ領域の基本合成の結果として得られたプレーンのことである。
さらに、サブ領域の最後の基本合成の結果は、前記メイン・メモリに格納されるが、それ以前の各基本合成の結果は前記内部メモリに一時的に格納される。
本発明によれば、先に指摘したように、アクセラレーション・ユニットは、イメージを合成するために使用される。
適用例によっては、グラフィックス・オブジェクトは、処理ユニットによって直接生成したり、あるいは外部ソースから取り込んだりすることができる。
しかしながら、本発明の特に有利な一実施形態によれば、アクセラレーション・ユニットはさらに、グラフィックス・プレーンに挿入する目的でグラフィックス・オブジェクトを生成することができる。
言い換えると、本発明のこの実施形態によれば、アクセラレーション・ユニットは、2つの機能で、すなわち、1つはその通常の機能であるグラフィックス・オブジェクトの生成のため、もう1つはイメージ合成のために使用される。
これに関連して、コンポーネントは、垂直同期信号を一定の時間間隔で送出できるビデオ同期ジェネレータを含み、これらの時間間隔の少なくともどれかの間に、アクセラレーション・ユニットは、表示されるイメージを合成命令に基づいて合成する。
アクセラレーション・ユニットは有利には、アプリケーション命令リストに従って、前記グラフィックス・オブジェクトを生成することができ、一時間間隔内では、イメージ合成タスクはグラフィックス・オブジェクト生成タスクよりも高い優先権をもつ。
この目的のため、本発明の一実施形態によれば、グラフィックス・アクセラレーション・ユニットは、垂直同期信号の発生時にイメージ合成タスクをトリガでき、次にグラフィックス・オブジェクト生成タスクをトリガするか、または垂直同期信号の前記発生中に中断されていたグラフィックス・オブジェクト生成タスクの再開を許可することができる制御手段を含む。
本発明による装置は有利には、集積回路の形態で具現される。
本発明の目的はまた、上で定義したようなビデオおよびグラフィックス・データ処理装置を含むビデオ・デコーダである。
本発明はまた、ビデオおよびグラフィックス・データを処理する方法を提案し、この方法によれば、少なくとも1つのビデオ・プレーンと結果的に少なくとも1つのグラフィックス・プレーンを含むイメージは、リアルタイムに2次元アクセラレーション・ユニット内で合成されて、メイン・メモリに格納され、その後、その合成されたイメージ・データは、対応するイメージを表示するためにメイン・メモリから抽出される。
前記メイン・メモリは、例えば、前記アクセラレーション・ユニットを含むコンポーネントの外部に位置付けられる。
本発明の実施の一態様によれば、垂直同期信号は一定の時間間隔で送出される。第1の時間間隔の間に、表示されるイメージのシーン解析が実行され、前記イメージに関する合成命令リストが生成される。第1の時間間隔に続く第2の時間間隔の間に、表示されるイメージが、前記合成命令に基づいて合成され、前記メイン・メモリに格納される。第2の時間間隔に続く第3の時間間隔の間に、前記表示されるイメージのイメージ・データが抽出される。
シーン解析は、例えば、合成の観点(プレーンの数、プレーンの順序、寸法変更パラメータなど)からは同質な複数の領域または区画への当該シーンの分割を含む。前記領域に関する合成リストは、各領域ごとに生成される。
本発明の実施の一態様によれば、符号化ビデオ・データが受信され、そのようなビデオ・データは、第1の時間間隔の間に復号化されて、メイン・メモリに格納される。
本発明の実施の一態様によれば、イメージのある領域だけに対して、合成命令を生成することができる。
合成されるイメージのある領域が3枚以上のプレーンを含む場合、イメージのこれらの領域を、複数の連続的な基本合成によって合成することができる。各基本合成では、2枚の中間プレーンどうしを合成する。中間プレーンとは、イメージのプレーンか、または少なくとも1つ前の基本合成の結果として得られたプレーンのことである。
本発明の実施の一態様によれば、中間データは、イメージ合成中、前記アクセラレーション・ユニットを含むコンポーネントの内部のメモリに一時的に格納される。
グラフィックス・プレーンに挿入されることを目的とするグラフィックス・オブジェクトも、アクセラレーション・ユニット内で生成される。
より正確には、本発明の実施の一態様によれば、垂直同期信号が一定の時間間隔で送出され、これらの時間間隔の少なくともどれかの間に、表示されるイメージが合成命令に基づいて合成される。前記グラフィックス・オブジェクトは、アプリケーション命令リストに従って生成され、一時間間隔内では、イメージ合成タスクはグラフィックス・オブジェクト生成タスクよりも高い優先権をもつ。
イメージ合成タスクは、例えば、垂直同期信号の発生時にトリガされ、次にこのイメージ合成タスクの完了時にグラフィックス・オブジェクト生成タスクがトリガされるか、または垂直同期信号の前記発生中に中断されていたグラフィックス・オブジェクト生成タスクの再開が許可される。
本発明のその他の利点および特徴は、決して限定的なものではない実施形態および実施の態様、ならびに添付の図面の詳細な説明を考察することによって明らかになるであろう。
図1では、参照符号SYによって、例えば、衛星デコーダおよび/またはテレビ受像機を含むデジタル・イメージ処理装置が、全体として指示される。
この装置SYでは、入力手段IFEが、例えば、衛星アンテナまたはデジタル・ディスク(簡略化のため本明細書には表示せず)から、例えば、MPEG規格に従って圧縮されたデータのストリームを受信する。
例えば、MPEGデコーダなどのイメージ・デコーディング装置DCDは、イメージを表示スクリーンAFFに表示するために、上記のような圧縮データとして符号化されたイメージを復号化する。
装置SYはさらに、例えば、様々な衛星チャネルについての復号化を管理できる処理ユニットCPUまたはマイクロプロセッサと、例えば、テレビ用リモコンを操作することで表示される対話型メニューなど、ビデオ・イメージ上にスーパーインポーズする形で画面上に埋め込まれるグラフィックス情報を生成するジェネレータBLTを含む。このジェネレータBLTは、2次元アクセラレーション・ユニットであって、以下でより詳細に見られるように、表示されるイメージの合成を可能にする。
装置SYはまた、これら様々な要素間で共用される、例えば、DDR/SDRAMタイプのダイナミック・メモリMMPを含む。
図1のすべての要素は、双方向バスBBSを介して互いに情報を交換する。
最後に装置SYは、一定の時間間隔で垂直同期信号Vsyncを送出することができるビデオ同期ジェネレータVTGを含む。画面上で用いられる表示モードに従って、これらの垂直同期信号は、イメージのフレームまたはイメージを切り分けることができる。
メモリMMPは、デコーダDCD、プロセッサCPU、アクセラレーション・ユニットBLT、およびインタフェースIFEを含むコンポーネントを形成する集積回路の一部とすることができるが、図2に示すように、メイン・メモリMMPをコンポーネントCMPの外部のメモリとすることも可能である。
この場合、メモリMMPは、メモリ・コントローラMCRを介して、コンポーネントCMPの他の要素と情報を交換する。さらに、DMAタイプの出力インタフェースIFSが提供されて、バスBBSと表示手段AFFとを相互連結する。
図3に示すように、ビデオ同期ジェネレータは、一定の時間間隔で垂直同期信号Vsyncを送出する。
さらに、一般にイメージは、少なくとも1枚のビデオ・プレーンと1枚のグラフィックス・プレーンを含む複数のプレーン(通称「レイヤ」)から構成される。
または、図3に示すように、第1の時間間隔INT1の間に、処理ユニットCPUは、表示されるイメージのシーン解析を実行し、当該イメージ用の合成命令リストを生成することができる。さらに、この第1の時間間隔INT1の間に、ビデオ・デコーディング・ユニットDCDは、ビデオ・データの復号化を実行し、復号ビデオ・データをメイン・メモリMMPに格納する。
次に、第1の時間間隔INT1に続く第2の時間間隔INT2の間に、アクセラレーション・ユニットBLTが、表示されるイメージを前記合成命令に基づいて合成し、それをメイン・メモリに格納する。
これと並列に、第2の時間間隔INT2の間に、処理ユニットCPUは、次のイメージn+1を準備する。
次に、第2の時間間隔INT2に続く第3の時間間隔INT3の間に、出力インタフェースIFSは、イメージnのイメージ・データを表示するために、これをメイン・メモリMMPから抽出する。
これと並列に、第3の時間間隔INT3の間に、処理ユニットCPUは、次のイメージn+2を準備し、一方、アクセラレーション・ユニットBLTは、イメージn+1を合成する。
このイメージ合成について、以下で再度、より詳細に説明する。
それとの関連で、イメージ合成を可能にするイメージ・アクセラレーション・ユニットBLTの内部アーキテクチャを、図4をより詳しく参照しながら、次に説明する。
グラフィックス・オブジェクトの生成だけが可能な従来のアクセラレータの構造と比較すると、本発明のアクセラレーション・ユニットBLTは、特に追加の処理パスを、この例ではパスVT3を含む。
言い換えると、ユニットBTLは、従来通り乗算器で形成された算術/論理合成ユニットALUBで終了する3つの処理パスVT1、VT2、VT3に接続された、3つの入力S1、S2、S3(3つのFIFOメモリ)を含む。
さらに、ユニットBLTは、合成ユニットALUBの出力と出力FIFOメモリDESの間を接続する従来の出力処理パスVT4を含む。
処理パスVT1〜VT3の各々の前方端には、入力変換手段MCV1〜MCV3が配置される。これらの各手段は、例えば、128ビットのワードを受信し、例えば、4×8ビットのαRGB形式に従った32ビットのピクセルを送出するためのものである。ここでのαは、ピクセルの8つの透明度ビット(transparency bits)を示す。
このような手段は、従来からあるもので、それ自体は周知であり、具体的には、FIFOメモリの読み取りを管理する手段、ならびにシーケンサおよび色符号化手段を含む。
出力パスVT4上では、同様にそれ自体は周知の従来構造をもった手段MCVSが、手段MCV1〜MCV3で実行される手段とは反対の処理を実行する。
手段MCV1またはMCV2が索引付けされた色に対応するワードを送出した場合、色参照テーブルCLUTを使用して正しい色形式を取得できるようにする。
同様に、YCbCr形式をαRGB形式に変換できる、Y2Rで参照される色変換手段が、処理パスの1つと並列に、この例ではパスVT2と並列に提供される。同様に、逆変換手段R2Yが、出力パスVT4上に提供される。
さらに、パスVT2およびVT3には、HF2、HF3およびVF2、VF3でそれぞれ参照される水平フィルタリング手段および垂直フィルタリング手段が、イメージのサイズを変換できるように設けられるが、処理パスVT1は、水平および垂直フィルタリング手段をもたない。
これらの水平および垂直フィルタリング手段の間には、フリッカ防止手段FF、ならびにデインタレース(deinterlacing)手段DEIが配置される。パスVT2およびVT3の各々に設けられたフィルタリング手段は、独立に制御可能であり、そのため、例えば、輝度データYと色データCbCrのリスケール率(rescale factor)(すなわち通称「リサイズ率(resize factor)」)を別個に処理することが可能になる。
水平および垂直フィルタリング手段、ならびにフリッカ防止フィルタおよびデインタレーサ(deinterlacer)は、それ自体は周知の従来手段である。すなわち、例えば、フランス特許出願第2 801 463号および/または第2 798 033号に記載があるようなフィルタリング手段およびフリッカ防止フィルタを使用することが可能である。
合成されるイメージのビデオ・プレーンに関連する、輝度データYと輝度データほどは多くない色データCbCrから構成されるビデオ・データは、処理パスVT2およびVT3によって排他的に処理される。
また、例えば、処理パスVT3は、輝度データの処理だけに排他的に携わる。
次に、イメージ合成の一例について、図5および図6をより詳しく参照しながら説明する。
この例では、イメージIMが3枚のプレーン、すなわち背景グラフィックス・プレーンBKG、前景グラフィックス・プレーンFRG、およびビデオ・プレーンVIDから合成されると仮定する。
合成命令およびビデオ・データ復号化が実行されるとき、背景グラフィックス・プレーンBKGがメイン・メモリMMPから抽出され(ステップ60)、入力S2に送られ(ステップ61)、その結果、垂直および水平フィルタを通過した後、背景グラフィックス・プレーンBKGの基準化が可能となる(ステップ62)。具体的には、一般にグラフィックス・プレーンは、特定の形式をもつので、通常は基準化が必要となる。
次に、基準化されたプレーンBKGを表すグラフィックス・データは、メイン・メモリMMPに、より正確にはメモリMMPの特定のメモリ領域である「フレーム・バッファ」に格納される(ステップ63)。
次に、基準化されたプレーンBKGに対応するイメージ・データが、この特定のメモリ領域から抽出され(ステップ64)、ビデオ・プレーンVIDに対応するビデオ・データが、同様にメモリMMPから抽出される(ステップ66)。
次に、ビデオ・プレーンの輝度データが入力S3に送られ、一方、ビデオ・プレーンの色データは入力S2に送られる(ステップ67)。
輝度データに比べてより少ない数の色データを考慮するリスケールの後、ビデオ・データは、合成ユニットALUBで、処理パスVT1から取得した基準化されたグラフィックス・プレーンBKGに対応するグラフィックス・データと混合される(ステップ68)。
この混合ステップ68が完了した後、イメージの2枚のプレーンの基本合成が実行され、対応するデータBKG+VIDが出力DESに送られ、その結果、データBKG+VIDはメイン・メモリMMPの特定のメモリ領域に格納される(ステップ69)。
次に、これらのデータBKG+VIDが、メモリMMPの特定のメモリ領域から抽出され(ステップ70)、フィルタリング処理を施されることなく合成ユニットALUBに供給されるように、アクセラレーション・ユニットBLTの入力S1に送られる(ステップ72)。
これと並列に、前景グラフィックス・プレーンFRGを表すデータが、メモリMMPから抽出され(ステップ71)、基準化処理を受けるために入力S2に送られ(ステップ73)、その後、合成ユニットALUBで、データBKG+VIDと混合される(ステップ74)。
このようにして、プレーンFRGと先の基本合成の結果であるプレーンBKG+VIDとによる別の基本合成が実行される。
対応するデータは、アクセラレーション・ユニットBLTの出力DESに送られ、その結果、メイン・メモリMMPの特定のメモリ領域に格納される(ステップ75)。
合成されるイメージが、直前のイメージと比べて変更されていない部分があるプレーンを含む場合、処理ユニットは、一定のイメージ部分だけに対する合成命令を生成することができる。
したがって、図7のイメージIMが、例えば、不変の背景グラフィックス・プレーン、すなわち、イメージ毎に変更されない背景グラフィックス・プレーンを含み、ビデオ・プレーンは、イメージIMの領域Z2だけを占有すると仮定した場合、処理ユニットCPUは、ビデオ・プレーンと、背景グラフィックス・プレーンの対応する領域と、例えば、プレーンFRGに位置付けられるオブジェクトGFXとを合成するのに、イメージIMの領域Z2だけに対する合成命令を送出し、不変領域Z1に対する合成命令は送出しない。
したがって、本発明は、シーンに何らかの変化が生じるまで、特定イメージ・メモリ領域の無変更部分を更新する必要がないという利点をもつ。
さらに、本発明は、隠されたピクセルへのアクセスを回避することによって、イメージの不透明部分を効率的に処理することができる。
したがって、このようにすることで、メイン・メモリのレベルでの帯域幅の消費を制限することが可能である。
本発明では、イメージの同一のラインに位置付けられるビューポート(通称)を有するイメージを合成することも可能である。
図8に示す実施形態は、メイン・メモリMMPのレベルでの帯域幅の消費をより一層少なくすることができる。
先に説明した実施形態に比べて、図8に示す実施形態は、コンポーネントCMPが内部ランダム・アクセス・メモリMMAすなわち補助メモリをさらに含むことを可能にする。このメモリは、例えば、SRAMタイプのスタティック・メモリである。
この内部ランダム・アクセス・メモリMMAは、アクセラレーション・ユニットBLTと連携して、イメージ合成中に中間データを一時的に格納することができる。
より具体的には、1回の実行でイメージの完全なプレーンを合成する代りに、メモリMMAのメモリ・サイズおよび使用するピクセル形式に依存したサイズをもつサブ領域または正方形にプレーンを分割する。
または、これら小さなサイズのすべての正方形は、順々に処理される。
したがって、イメージIMが4枚のプレーンまたはレイヤから合成されると仮定する図9を参照すると、各レイヤは正方形Tijに分解されている。したがって、図10に同様に示すように、第1の基本合成は、レイヤ0の各正方形Tij0と、それらと位置が一致するレイヤ1の正方形Tij1との間で行われる。
したがって、正方形Tij毎に、正方形Tij0がメイン・メモリMMPから抽出され、アクセラレーション・ユニットBLTの入力S1に送られ、同時に正方形Tij1がメイン・メモリMMPから抽出され、アクセラレーション・ユニットBLTの入力S2に送られる。次に、このアクセラレーション・ユニットBLTの出力DESから、補助メモリMMAに格納される第1の中間正方形TI1ijが送出される。
次に、中間正方形TI1ijが、メモリMMAから抽出され、アクセラレーション・ユニットBLTの入力S1に送られ、その結果、中間正方形TI1ijは、第2の基本合成の間に、メモリMMPから抽出されてアクセラレーション・ユニットBLTの入力S2に存在している正方形Tij2と合成され、その結果、第2の中間正方形TI2ijが形成される。この第2の中間正方形TI2ijもメモリMMAに格納される。
次に、(この例ではレイヤは4枚しか存在しないので)第3および最後の基本合成の間にも、同様の処理が繰り返される。
より正確には、第2の中間正方形TI2ijが、メモリMMAから抽出され、アクセラレーション・ユニットBLTの入力S1に送られ、その結果、中間正方形TI2ijは、メモリMMPから抽出されてアクセラレーション・ユニットBLTの入力S2に送られた正方形Tij3と混合される。
この第3の基本合成の結果は、すべての合成が完了した正方形TCijであり、今度はメイン・メモリMMPの特定のメモリ領域に格納される。
したがって、この補助メモリMMAのおかげで、アクセラレーション・ユニットは、中間結果を格納するためにメイン・メモリMMPの帯域幅を消費するのを回避できる。
そのため、実行時間は短縮され、その結果、処理のリアルタイム制御が容易になる。
グラフィックス・オブジェクトは、時には処理ユニットCPU自体で生成したり、あるいは外部ソースから直接取り込んだりできるが、アクセラレーション・ユニットBLTを使用して、これらのグラフィックス・オブジェクトを全く同時に生成し、イメージを合成できれば特に有利である。
これが、図11および図12により詳しく示された実施形態の目的である。
先に指摘したように、アクセラレーション・ユニットBLTは、メモリMMPに格納された合成命令リストCQLを形成する合成命令に基づいてイメージを合成する(図11)。
さらに、アクセラレーション・ユニットによるグラフィックス・オブジェクトの生成も、メイン・メモリMMPに同様に格納されたアプリケーション命令リストAQLに従って同様に実行される。
また、イメージの合成とグラフィックス・オブジェクトの生成を全く同時に行えるように、本発明は、2つの信号Vsyncの発生によって区切られた時間間隔内では、イメージ合成タスクがグラフィックス・オブジェクト生成タスクよりも高い優先権をもつようにする。
そのため、垂直同期信号Vsyncの発生時にイメージ合成タスクをトリガでき、次にイメージ合成タスクの完了時にグラフィックス・オブジェクト生成タスクをトリガするか、または垂直同期信号の前記発生中に中断されていたグラフィックス・オブジェクト生成タスクの再開を許可することができる制御手段CTLを、グラフィックス・アクセラレーション・ユニットが含むようにする。
この点については、図12を考察することで、より良く理解できるであろう。
ジェネレータVTGが送出し、制御手段CTLが受信する信号Vsyncの発生時に、制御手段CTLは、合成命令リストCQLの先頭アドレスをポイントするポインタPCQを活動化する。
その後、合成命令cN1〜cN10は順次実行され、制御手段は、最終命令cN10が実行されたことを検出すると、実行されるアプリケーション命令を指示するアドレス・ポインタPAQを活動化する。
図12に示す例では、リストAQLは、命令aN1を含む直前の時間間隔で始まる。その後、命令aN2まで実行される。
この命令aN2が完了した時点で、イメージ合成タスクcN1〜cN10をトリガする信号Vsyncが発生する。このトリガリングと並列に、ポインタPAQがポイントする現在のアプリケーション命令リスト内のアドレスが、次のアドレス、この例ではaN3に更新される。
さらに、合成命令cN10の実行後、グラフィックス・オブジェクトの生成が、命令aN3から命令aN6まで続行される。その後、ここに示した例では、次の信号Vsyncが発生するまで、アイドル時間が生じる。
本発明による処理装置の第1の実施形態を概略的に示した図である。 本発明による装置の別の実施形態を概略的に示した図である。 本発明の実施形態の一態様によるイメージ処理を概略的に示した図である。 本発明による2次元アクセラレーション・ユニットの一実施形態を概略的に示した図である。 本発明によるイメージ合成の一例を概略的に示した図である。 本発明によるイメージ合成の一例を概略的に示した図である。 本発明によるイメージ合成の別の例を概略的に示した図である。 本発明による装置の別の実施形態を概略的に示した図である。 本発明によるイメージ合成の別の例を概略的に示した図である。 本発明によるイメージ合成の別の例を概略的に示した図である。 本発明によるアクセラレーション・ユニットの別の実施形態を概略的に示した図である。 図11に示すようなアクセラレーション・ユニットの処理方式を概略的に示した図である。
符号の説明
SY デジタル・イメージ処理装置
IFE 入力手段
DCD イメージ・デコーディング装置
AFF 表示スクリーン
CPU 処理ユニット
BLT アクセラレーション・ユニット
MMP ダイナミック・メモリ
BBS 双方向バス
VTG ビデオ同期ジェネレータ
Vsync 垂直同期信号
CMP コンポーネント
MCR メモリ・コントローラ
IFS 出力インタフェース
INT1、INT2、INT3 時間間隔
S1、S2、S3 入力
VT1、VT2、VT3 処理パス
VT4 出力処理パス
ALUB 算術/論理合成ユニット
DES 出力FIFOメモリ
MCV1、MCV2、MCV3 入力変換手段
MCVS 変換手段
CLUT 色参照テーブル
Y2R 色変換手段
R2Y 逆変換手段
Y 輝度データ
CbCr 色データ
HF2、HF3 水平フィルタリング手段
VF2、VF3 垂直フィルタリング手段
FF フリッカ防止手段
DEI デインタレース手段
IM イメージ
BKG 背景グラフィックス・プレーン
FRG 前景グラフィックス・プレーン
VID ビデオ・プレーン
Z1 不変領域
Z2 領域
GFX オブジェクト
MMA 内部ランダム・アクセス・メモリ
Tij サブ領域
CQL 合成命令リスト
AQL アプリケーション命令リスト
CTL 制御手段

Claims (31)

  1. ビデオ・データおよびグラフィックス・データを処理するための装置であって、
    該装置は、コンポーネント(CMP)と、ビデオ・データおよびグラフィックス・データを格納できるメイン・ランダム・アクセス・メモリ(MMP)とを有し、
    該コンポーネントは、
    処理ユニット(CPU)と、
    少なくとも1つのビデオ・プレーンおよび結果的に少なくとも1つのグラフィックス・プレーンを含むイメージをリアルタイムに合成し、該構成されたイメージを前記メイン・メモリに格納できるように、前記処理ユニットおよび前記メイン・メモリと連携することができる2次元アクセラレーション・ユニット(BLT)と、
    前記合成されたイメージ・データをイメージ表示手段(AFF)に送出するために、該イメージ・データを前記メイン・メモリから抽出する出力インタフェース(IFS)と、を有する、
    ビデオ・データおよびグラフィックス・データを処理するための装置。
  2. 前記メイン・ランダム・アクセス・メモリ(MMP)が、前記コンポーネントの外部のメモリであることを特徴とする請求項1に記載の装置。
  3. 前記コンポーネント(CMP)が、垂直同期信号(Vsync)を一定の時間間隔で送出できるビデオ同期ジェネレータ(VTG)を含み、
    第1の時間間隔(INT1)の間に、前記処理ユニットが、表示されるイメージのシーン解析を実行し、前記イメージに関する合成命令リストを生成することができ、
    前記第1の時間間隔に続く第2の時間間隔(INT2)の間に、前記アクセラレーション・ユニットが、前記表示されるイメージを前記合成命令に基づいて合成し、それを前記メイン・メモリに格納し、
    前記第2の時間間隔に続く第3の時間間隔(INT3)の間に、前記出力インタフェースが、前記表示されるイメージのイメージ・データを抽出することを特徴とする請求項1または2に記載の装置。
  4. 前記コンポーネント(CMP)が、符号化ビデオ・データを受信するための入力インタフェース(IFE)と、前記処理ユニット(CPU)および前記メイン・メモリ(MMP)と連携するビデオ・デコーディング・ユニット(DCD)を含み、
    該ビデオ・デコーディング・ユニット(DCD)が、前記第1の時間間隔(INT1)の間に、前記ビデオ・データの復号化を実行し、それを前記メイン・メモリに格納することを特徴とする請求項3に記載の装置。
  5. 前記処理ユニット(CPU)が、前記イメージのうちのある領域だけに関する合成命令を生成できることを特徴とする請求項3または4に記載の装置。
  6. 前記合成されるイメージのうちの少なくともいずれかの領域が、3枚以上のプレーン(FRG、VID、BGK)を含み、前記アクセラレーション・ユニット(BLT)が、これらの領域を複数の連続的な基本合成によって合成することができ、各基本合成では2枚の中間プレーンどうしを合成し、中間プレーンはイメージのプレーンか、または少なくとも1つ前の基本合成の結果として得られたプレーンであることを特徴とする請求項1ないし5のいずれか一項に記載の装置。
  7. 前記アクセラレーション・ユニット(BLT)が、3つの入力(S1〜S3)と、前記3つの入力にそれぞれ接続される3つの内部処理パス(VT1〜VT3)と、前記3つの内部処理パスの出力に接続される制御可能な合成ユニット(ALUB)と、前記合成ユニットの出力に接続される第4の内部処理パス(VT4)と、前記第4のパスの出力に接続される出力(DES)とを含むことを特徴とする請求項1ないし6のいずれか一項に記載の装置。
  8. 前記3つの内部処理パスのうちの第1および第2の内部処理パス(VT2〜VT3)には、イメージのサイズを変換できるように、水平および垂直フィルタリング手段(VF2、VF3、HF2、HF3)が設けられ、一方、第3の内部処理パス(VT1)は、水平および垂直フィルタリング手段をもたず、
    前記イメージのビデオ・プレーンに関連する、輝度データ(Y)と輝度データほどは多くない色データ(CbCr)を含むビデオ・データが、前記第1および第2の内部処理パス(VT2、VT3)によって排他的に処理されることを特徴とする請求項7に記載の装置。
  9. 前記第1および第2の内部処理パス(VT2、VT3)の一方が、輝度データ(Y)の処理に排他的に携わることを特徴とする請求項8に記載の装置。
  10. 前記第1および第2の各内部処理パスの前記フィルタリング手段(VF2、VF3、HF2、HF3)が、互いに独立に制御可能であることを特徴とする請求項7ないし9のいずれか一項に記載の装置。
  11. 前記コンポーネントが、イメージ合成中に中間データを一時的に格納するように前記アクセラレーション・ユニット(BLT)と連携可能な内部ランダム・アクセス・メモリ(MMA)を含むことを特徴とする請求項1ないし10のいずれか一項に記載の装置。
  12. 合成されるイメージのうちのある領域が3枚以上のプレーンを含む場合、前記処理ユニットが、前記領域を前記2次元アクセラレーション・ユニットの出力におけるサイズが前記内部メモリのメモリ・サイズにほぼ等しいサブ領域(Tij)に細分することができ、
    前記アクセラレーション・ユニットが、多数のサブ領域を順々に合成することによって、前記領域の合成を実行することができ、サブ領域の合成は、複数の連続的な基本合成として実行され、各基本合成では2枚の中間プレーンどうしを合成し、中間プレーンは前記サブ領域のプレーンか、または少なくとも1つ前のサブ領域の基本合成の結果として得られたプレーンであり、
    サブ領域の最後の基本合成の結果は、前記メイン・メモリ(MMP)に格納されるが、それ以前の各基本合成の結果は前記内部メモリ(MMA)に一時的に格納されることを特徴とする請求項11に記載の装置。
  13. 前記アクセラレーション・ユニット(BLT)がさらに、グラフィックス・プレーンに挿入する目的でグラフィックス・オブジェクトを生成できることを特徴とする請求項1ないし12のいずれか一項に記載の装置。
  14. 前記コンポーネントが、垂直同期信号(Vsync)を一定の時間間隔で送出できるビデオ同期ジェネレータ(VTG)を含み、
    これらの時間間隔の少なくともどれかの間に、前記アクセラレーション・ユニットが、表示されるイメージを合成命令(CQL)に基づいて合成し、
    前記アクセラレーション・ユニットが、前記グラフィックス・オブジェクトをアプリケーション命令リスト(AQL)に従って生成することができ、
    ある時間間隔内では、イメージ合成タスクはグラフィックス・オブジェクト生成タスクよりも高い優先権をもつことを特徴とする請求項13に記載の装置。
  15. 前記グラフィックス・アクセラレーション・ユニットが、垂直同期信号の発生時にイメージ合成タスクをトリガでき、次にグラフィックス・オブジェクト生成タスクをトリガするか、または垂直同期信号の前記発生中に中断されていたグラフィックス・オブジェクト生成タスクの再開を許可できる制御手段(CTL)を含むことを特徴とする請求項14に記載の装置。
  16. 集積回路の形態で具現されることを特徴とする請求項1ないし15のいずれか一項に記載の装置。
  17. 請求項1ないし16のいずれか一項に記載の装置を含むことを特徴とするビデオ・デコーダ。
  18. ビデオおよびグラフィックス・データを処理する方法であって、
    少なくとも1つのビデオ・プレーンと結果的に少なくとも1つのグラフィックス・プレーンを含むイメージが、リアルタイムに2次元アクセラレーション・ユニット(BLT)内で合成されて、メイン・メモリ(MMP)に格納され、その後、前記合成されたイメージ・データが、対応するイメージを表示するために前記メイン・メモリから抽出される、ビデオおよびグラフィックス・データを処理する方法。
  19. 前記メイン・メモリ(MMP)が、前記アクセラレーション・ユニットを含むコンポーネントの外部に位置付けられることを特徴とする請求項18に記載の方法。
  20. 垂直同期信号が一定の時間間隔で送出され、
    第1の時間間隔(INT1)の間に、表示されるイメージのシーン解析が実行されて、前記イメージに関する合成命令リストが生成され、
    前記第1の時間間隔に続く第2の時間間隔(INT2)の間に、前記表示されるイメージが、前記合成命令に基づいて合成されて、前記メイン・メモリに格納され、
    前記第2の時間間隔に続く第3の時間間隔(INT3)の間に、前記表示されるイメージのイメージ・データが抽出されることを特徴とする請求項18または19に記載の方法。
  21. 符号化ビデオ・データが受信され、前記第1の時間間隔(INT1)の間に、前記ビデオ・データが復号化されて、前記メイン・メモリ(MMP)に格納されることを特徴とする請求項20に記載の方法。
  22. 合成命令がイメージのうちのある領域だけに対して生成されることを特徴とする請求項20または21に記載の方法。
  23. 前記合成されるイメージのうちのある領域が、3枚以上のプレーン(FRG、VID、BGK)を含み、イメージの前記領域が、複数の連続的な基本合成によって合成され、各基本合成では2枚の中間プレーンどうしを合成し、中間プレーンはイメージのプレーンか、または少なくとも1つ前の基本合成の結果として得られたプレーンであることを特徴とする請求項18ないし22のいずれか一項に記載の方法。
  24. 前記アクセラレーション・ユニット(BLT)が、3つの入力と、前記3つの入力にそれぞれ接続される3つの内部処理パスと、前記3つの内部処理パスの出力に接続される制御可能な合成ユニットと、前記合成ユニットの出力に接続される第4の内部処理パスと、前記第4のパスの出力に接続される出力とを含み、
    前記3つの内部処理パスのうちの第1および第2の内部処理パスには、イメージのサイズを変換できるように、水平および垂直フィルタリング手段が設けられ、一方、第3の内部処理パスは、水平および垂直フィルタリング手段をもたず、
    前記イメージのビデオ・プレーンに関連する、輝度データと輝度データほどは多くない色データを含むビデオ・データが、前記第1および第2の内部処理パスによって排他的に処理されることを特徴とする請求項18ないし23のいずれか一項に記載の方法。
  25. 前記第1および第2の内部パス(VT2、VT3)の一方が、輝度データ(Y)の処理に排他的に携わることを特徴とする請求項24に記載の方法。
  26. 前記第1および第2の各内部パス(VT2、VT3)の前記フィルタリング手段が、互いに独立に制御可能であることを特徴とする請求項24または25に記載の方法。
  27. 中間データが、イメージ合成中に、前記アクセラレーション・ユニット(BLT)を含む前記コンポーネントの内部のメモリ(MMA)に一時的に格納されることを特徴とする請求項18ないし26のいずれか一項に記載の方法。
  28. 合成されるイメージのある領域が3枚以上のプレーンを含む場合、前記領域がサブ領域(Tij)に細分され、
    前記領域の合成が多数のサブ領域を順々に合成することによって実行され、各基本合成では2枚の中間プレーンどうしを合成し、中間プレーンは前記サブ領域のプレーンか、または少なくとも1つ前の前記サブ領域の基本合成の結果として得られたプレーンであり、
    サブ領域の最後の基本合成の結果は、前記メイン・メモリに格納され、一方、それ以前の各基本合成の結果は前記内部メモリに一時的に格納され、
    サブ領域のサイズは、2つのサブ領域が合成された際、その結果のサイズが前記内部メモリのメモリ・サイズにほぼ等しくなるようなサイズであることを特徴とする請求項27に記載の方法。
  29. グラフィックス・プレーンに挿入するためのグラフィックス・オブジェクトが、前記アクセラレーション・ユニット(BLT)内で生成されることを特徴とする請求項18ないし28のいずれか一項に記載の方法。
  30. 垂直同期信号が一定の時間間隔で送出され、
    これらの時間間隔の少なくともどれかの間に、表示されるイメージが合成命令(CQL)に基づいて合成され、
    前記グラフィックス・オブジェクトがアプリケーション命令リスト(AQL)に従って生成され、
    ある時間間隔内では、イメージ合成タスクはグラフィックス・オブジェクト生成タスクよりも高い優先権をもつことを特徴とする請求項29に記載の方法。
  31. イメージ合成タスクが、垂直同期信号の発生時にトリガされ、次に前記合成タスクの完了時にグラフィックス・オブジェクト生成タスクがトリガされるか、または垂直同期信号の前記発生中に中断されていたグラフィックス・オブジェクト生成タスクの再開が許可されることを特徴とする請求項30に記載の方法。
JP2004258029A 2003-09-08 2004-09-06 ビデオ・データおよびグラフィックス・データ処理用装置 Pending JP2005086822A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0310566A FR2859591A1 (fr) 2003-09-08 2003-09-08 Dispositif et procede de traitement de donnees video et graphiques

Publications (1)

Publication Number Publication Date
JP2005086822A true JP2005086822A (ja) 2005-03-31

Family

ID=34130761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004258029A Pending JP2005086822A (ja) 2003-09-08 2004-09-06 ビデオ・データおよびグラフィックス・データ処理用装置

Country Status (5)

Country Link
US (1) US7474311B2 (ja)
EP (2) EP1515566B1 (ja)
JP (1) JP2005086822A (ja)
DE (1) DE602004023464D1 (ja)
FR (1) FR2859591A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317636A (ja) * 2005-05-11 2006-11-24 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163903A (ja) * 2005-12-14 2007-06-28 Matsushita Electric Ind Co Ltd 表示制御装置および表示制御方法
US7929599B2 (en) 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
CN110838130B (zh) * 2018-08-15 2022-07-12 湖南大学 一种快速模糊距离变换方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312824A (ja) * 1996-05-23 1997-12-02 Sony Corp 画像合成装置および記録媒体
JP2001285749A (ja) * 2000-01-24 2001-10-12 Matsushita Electric Ind Co Ltd 画像合成装置、記録媒体及びプログラム
JP2002182639A (ja) * 2000-12-18 2002-06-26 Akuseru:Kk 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889949A (en) * 1996-10-11 1999-03-30 C-Cube Microsystems Processing system with memory arbitrating between memory access requests in a set top box
US6311204B1 (en) * 1996-10-11 2001-10-30 C-Cube Semiconductor Ii Inc. Processing system with register-based process sharing
US6731295B1 (en) * 1998-11-09 2004-05-04 Broadcom Corporation Graphics display system with window descriptors
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
FR2798033B1 (fr) 1999-08-24 2002-05-10 St Microelectronics Sa Procede et systeme de traitement d'images numeriques
FR2801463B1 (fr) 1999-11-23 2002-04-12 St Microelectronics Sa Procede et systeme de traitement d'images numeriques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312824A (ja) * 1996-05-23 1997-12-02 Sony Corp 画像合成装置および記録媒体
JP2001285749A (ja) * 2000-01-24 2001-10-12 Matsushita Electric Ind Co Ltd 画像合成装置、記録媒体及びプログラム
JP2002182639A (ja) * 2000-12-18 2002-06-26 Akuseru:Kk 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317636A (ja) * 2005-05-11 2006-11-24 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム

Also Published As

Publication number Publication date
US20050078119A1 (en) 2005-04-14
FR2859591A1 (fr) 2005-03-11
EP2079240A2 (fr) 2009-07-15
EP1515566A2 (fr) 2005-03-16
EP2079240A3 (fr) 2010-05-26
DE602004023464D1 (de) 2009-11-19
EP1515566B1 (fr) 2009-10-07
EP1515566A3 (fr) 2005-07-06
US7474311B2 (en) 2009-01-06

Similar Documents

Publication Publication Date Title
EP1784021B1 (en) Video processing with multiple graphics processing units
US6353460B1 (en) Television receiver, video signal processing device, image processing device and image processing method
US8698840B2 (en) Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
US6263396B1 (en) Programmable interrupt controller with interrupt set/reset register and dynamically alterable interrupt mask for a single interrupt processor
US6208354B1 (en) Method and apparatus for displaying multiple graphics images in a mixed video graphics display
US8738891B1 (en) Methods and systems for command acceleration in a video processor via translation of scalar instructions into vector instructions
US6847365B1 (en) Systems and methods for efficient processing of multimedia data
US7307667B1 (en) Method and apparatus for an integrated high definition television controller
US9438844B2 (en) Video multiviewer system using direct memory access (DMA) registers and block RAM
US20070223877A1 (en) Playback apparatus and playback method using the playback apparatus
US8401339B1 (en) Apparatus for partitioning and processing a digital image using two or more defined regions
US6967659B1 (en) Circuitry and systems for performing two-dimensional motion compensation using a three-dimensional pipeline and methods of operating the same
CN112835730A (zh) 图像存储、内存分配、图像合成方法、装置、设备及介质
JP4144258B2 (ja) 画像出力装置及び画像出力方法
JP2005086822A (ja) ビデオ・データおよびグラフィックス・データ処理用装置
KR100390028B1 (ko) 동영상 재생장치의 온 스크린 디스플레이 제어시스템 및제어방법
CN115002304A (zh) 一种视频图像分辨率自适应转换装置
JP2003283925A (ja) 画像合成装置及び方法
JPH11355683A (ja) 映像表示装置
EP1363244B1 (en) Superimposing apparatus and method for broadcasting three-dimensional computer graphics image
JP2002271751A (ja) 表示制御方法及び装置
JPH10149149A (ja) 画像処理装置
JPH10257454A (ja) グラフィクス生成装置
JPH04235592A (ja) 表示制御装置
JP2000175114A (ja) 映像表示装置およびプログラム格納媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100720

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100723

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101116