JP2009534931A - 共有メモリマルチビデオチャネルディスプレイ装置および方法 - Google Patents

共有メモリマルチビデオチャネルディスプレイ装置および方法 Download PDF

Info

Publication number
JP2009534931A
JP2009534931A JP2009506583A JP2009506583A JP2009534931A JP 2009534931 A JP2009534931 A JP 2009534931A JP 2009506583 A JP2009506583 A JP 2009506583A JP 2009506583 A JP2009506583 A JP 2009506583A JP 2009534931 A JP2009534931 A JP 2009534931A
Authority
JP
Japan
Prior art keywords
video signal
video
overlay
image content
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009506583A
Other languages
English (en)
Other versions
JP2009534931A5 (ja
Inventor
バルラム、ニキル
テイラ、リチャード
エドワーズ、グウィン
トマシ、ローレン
ガルグ、サンジェイ
ゴーシュ、ビパーシャ
シュリーダー、カイプ
ナンブーディリー、ビピン
サフ、シルピ
Original Assignee
マーベル インターナショナル リミテッド
マーベル インディア プライベート リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マーベル インターナショナル リミテッド, マーベル インディア プライベート リミテッド filed Critical マーベル インターナショナル リミテッド
Publication of JP2009534931A publication Critical patent/JP2009534931A/ja
Publication of JP2009534931A5 publication Critical patent/JP2009534931A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H04N21/42638Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners involving a hybrid front-end, e.g. analog and digital tuners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Abstract

本発明は、多数の高品質ビデオ信号を生成すべく、一以上のチャネルの一以上のビデオパイプラインステージの様々なセクションにおいてメモリアクセス帯域幅を低減するシステムおよび関連する方法を含む。ビデオプロセッサの信号処理ステージは、メモリアクセス帯域幅を低減すべくチップの内外でメモリの部分を共有しうる。ブランクタイムオプティマイザは、第1のクロックレートでメモリアクセス要求を受信し、第1のクロックレートより遅くてよい第2のクロックレートを利用してメモリにアクセスすることで、同時にあるいは後で別のメモリアクセス要求のためにより大きい帯域幅を残してよい。ビデオ信号を様々なメモリアクセスポイントに比してスケールしてよく、これによりメモリ記憶要件がさらに低減される。ビデオ信号の組み合わせおよび各信号部分に関連付けられた識別情報を受信することで、色管理部がさらに一以上のビデオ信号間で共有されてよい。
【選択図】 図19

Description

本願は、2006年4月18日出願の米国仮出願番号第60/793,288、2006年4月18日提出の米国仮出願番号第60/793,276、2006年4月18日出願の米国仮出願番号第60/793,277、2006年4月18日出願の米国仮出願番号第60/793,275の恩恵を享受しており、各々の開示の全体をここに参照として組み込む。
伝統的に、マルチビデオチャネルテレビディスプレイスクリーンは、一以上のチャネルを同時にディスプレイスクリーンの随所で観られるようデュアルチャネルビデオ処理チップが備わっている。画像の中に画像を表示するこの形式は、通常ピクチャインピクチャあるいはPIPとして称される。図1Aはアスペクト比4:3のディスプレイスクリーンの随所に二つのチャネルを表示する一例である。スクリーン100Aはスクリーンの主要部に第1のチャネル112を、スクリーンの実質的により小さな部分に第2のチャネル122を、それぞれ同時に表示する。
PIPスクリーン100Aを生成する典型的なテレビシステムを図2に示す。テレビディスプレイシステム200は、テレビ放送信号202、ハイブリッドTVチューナ210、ベースバンド入力280、復調器220、MPEGコーデック230、オフチップ記憶装置240、オフチップメモリ300、ビデオプロセッサ250、および外部部材270(例えばディスプレイ)を含む。ハイブリッドTVチューナ210は、テレビ放送信号202が提供する一以上のテレビチャネルにチューニングすることができる。ハイブリッドTVチューナ210は、復調器220に対してデジタルテレビ信号を、およびビデオプロセッサ250に対してアナログビデオ信号成分(例えば、コンポジットビデオベースバンド信号(CVBS))を提供しうる。さらに、ベースバンド入力280は、様々なテレビ信号(例えば、CVBS、S−Video、Component)を受信して、それらをビデオプロセッサ250に提供しうる。他の外部デジタルあるいはアナログ信号(例えば、DVIあるいはHigh Definition(HD))がビデオプロセッサ250に提供されてもよい。
ビデオは復調器220により復調され、その後MPEGコーデック230により圧縮解除されてよい。MPEGコーデック230が要する動作の中には、データ記憶すべくオフチップ記憶装置240を利用しうるものがある。デジタル信号はその後ビデオプロセッサ250により処理されうるが、ビデオプロセッサ250は、外部部材270に表示するのに適切な信号260を生成するデュアルチャネル処理チップであってよい。ビデオプロセッサ250は、オフチップメモリ300を利用して、ノイズ低減およびデインタレース、3D YC分離およびフレームレート変換(FRC)などのメモリ集中ビデオ処理動作を行いうる。
このようなPIPへの適用の際に第1のチャネル112は第2のチャネル122よりも重要であると一般的に認識されている。PIP生成に利用される典型的なデュアルチャネル処理チップは、第1のチャネル112の大きなディスプレイを生成する第1のチャネルビデオパイプの方に品質的に重きを置いている。第2のチャネル122の、より小さなディスプレイを生成する第2のチャネルビデオパイプは、コスト削減目的から品質的に劣る。例えば、デインタレース、ノイズ低減、およびビデオデコードなどの3−Dビデオ処理動作は第1のチャネルビデオパイプに実装され得、一方で第2のチャネルビデオパイプには2−Dビデオ処理動作しか実装されない。3−Dビデオ処理動作は、空間・時間ドメインでビデオを処理する動作のことであり、しばしば処理動作で利用される一以上のビデオフレームをバッファリングする。対照的に、2−Dビデオ処理動作は、空間ドメインのビデオ処理のみを行い、現在のビデオフレームに対してのみ行われる。
アスペクト比16:9のワイドディスプレイスクリーンの到来により、同じサイズの二つのチャネル、あるいはアスペクト比4:3の二つのチャネルを同じスクリーンに表示する需要が益々高まっている。この用途形態は、通常ピクチャアンドピクチャ(PAP)と称される。図1Bにおいて、スクリーン100Bは第1のチャネル110と、スクリーンの第二部分に実質的に同じアスペクト比が表示される第2のチャネル120とを表示している。これら用途において、第1のチャネルは第2のチャネルと類似した品質を有すよう生成されるべきである。
従って二つの高品質なビデオ画像を生成する目的上、第1のビデオチャネルパイプおよび第2のビデオチャネルパイプ両方への3‐Dビデオ処理の実装が必要となる。望ましいディスプレイを生成する3−Dビデオ処理は、品質ロスあるいは統一性ロスのない画像表示に適した時間フレーム内で行われる必要があるメモリ集中操作を要する。メモリ動作は、3−Dビデオ処理を要するチャネル数に比例して増加する。典型的なデュアルビデオ処理チップは、高品質の二つのビデオ信号を処理する能力に欠け、それゆえに、高いビデオ品質を有する二つのチャネルを表示する需要が増える中、使用されなくなる傾向にある。
典型的なデュアルビデオ処理チップが多数の高品質ビデオ信号を処理する能力に欠ける理由の一つは、ビデオプロセッサとオフチップメモリとの間で必要となるデータ帯域幅が大量であることにある。伝統的にビデオ処理チップパイプラインの一部分には、ノイズ低減器およびデインタレーサが含まれ、これらのいずれもオフチップメモリに大量のデータ帯域幅が必要となる。
特に、ノイズ低減器は、そもそも、あるフィールドを次のフィールドと比較して、各フィールドで同じでないフィールドの部分を削除する働きをする。この理由から、ノイズ低減器は、現在のフィールドと比較する目的から少なくとも二つのフィールドの記憶を必要とする。デインタレーサは、二つの記憶されているフィールドを読み出して結合し、これによりインタレーサの動作を逆転する。
図3は、典型的なビデオプロセッサのノイズ低減器およびデインタレーサのオフチップメモリアクセス動作を図示する。ビデオ処理パイプラインの一部分は、ノイズ低減器330、デインタレーサ340、およびオフチップメモリ300を含み、オフチップメモリ300は少なくとも四つのフィールドバッファセクション310、311、312、および313を含む。
第1のクロックサイクル中に、ノイズ低減器330は、フィールドバッファセクション310を読み出し、それをビデオ信号320と比較し、低減したノイズを持つ新たなフィールドを生成してこのフィールド出力322を二つのフィールドバッファセクション311および312に書き込む。フィールドバッファセクション311および312に前に記憶されていた内容は、フィールドバッファセクション310および313にそれぞれコピーされる。故に、該フィールドインターバルの終わりには、ノイズ低減器330のフィールド出力322がフィールドバッファセクション311および312に記憶され、フィールドバッファセクション311および312に前に記憶されていた内容は、今はそれぞれフィールドバッファセクション310および313にある。
後続のクロックサイクル中に、前のクロックサイクルからのノイズ低減器330から出力されたフィールドを含むフィールドバッファセクション312がデインタレーサ340から読み出され、このフィールドインターバルの前のフィールドインターバルからのノイズ低減器330から出力されたフィールドを含み、フィールドバッファセクション312に記憶されていたフィールドバッファセクション313が、デインタレーサ340により読み出される。現在のクロックサイクルのノイズ低減器330のフィールド出力322もデインタレーサ340により読み出される。デインタレーサ340はこれらフィールドセグメントを処理して複合して、デインタレースされた出力342をビデオパイプラインの次のモジュールへ提供する。
一例である上述したビデオパイプライン部分は、単一のチャネルについてこれら操作を行い、操作は各追加的チャネルごとに増倍する。従って、メモリアクセス帯域幅は同じインターバルに書き込む/読み込むべきデータ量に比例して増えるので、ノイズ低減およびデインタレースを多数のチャネルに行うことによって、同様にデータ帯域幅が増える。上述のビデオ処理操作が驚くほどの帯域幅を必要とすることによって、これら操作を同時に行う能力は制限を受ける。
故に、多数の高品質ビデオチャネルストリームを有するディスプレイを生成すべく、一以上のチャネルの一以上のビデオパイプラインステージの様々なセクションにおけるメモリアクセス帯域幅を減らすシステムおよび方法が望まれている。
本発明の原理において、多数の高品質ビデオチャネルストリームを有するディスプレイを生成すべく一以上のチャネルの一以上のビデオパイプラインステージの様々なセクションでメモリアクセス帯域幅を減らすシステムおよび方法が提供される。デュアルビデオプロセッサは、互いに異なるフォーマットであってよい一以上のアナログあるいはデジタル信号を受信してよい。一以上のビデオモードにある二つの同期されたビデオ信号をデコードできるデュアルビデオデコーダ(たとえばNTSC/PAL/SECAMビデオデコーダ)が提供されうる。ビデオモードのうち一つにおいては、デュアルビデオデコーダは、時分割多重化を行い、ビデオ信号をデコードする際利用される、アナログ/デジタル変換器などの少なくとも一つの部材を共有してよい。
ビデオデコーダの出力、あるいは本システム内の別の部材が供給する別のビデオ信号一式が、信号処理回路(例えば、ノイズ低減器、および/またはデインタレーサ)に供給されてもよい。信号処理回路は、様々なフィールドラインを記憶すべくメモリデバイスにアクセスしうる。記憶されているフィールドラインの幾らかは、信号処理回路が必要とし得、共有されうる。幾らかの記憶フィールドラインを共有することで、メモリ帯域幅および容量要件全体が低減される。信号処理回路は、多数フィールドライン処理を行うことができてよい。フィールドラインバッファ一式は、多数フィールドセグメントのフィールドラインを記憶すべく供給されてよく、信号処理回路の対応する入力にデータを供給してよい。さらに記憶装置を低減すべく、フィールドラインバッファの幾らかを信号処理回路間でさらに共有させてよい。
ビデオデコーダの出力、あるいは本システム内の別の部材が供給する別のビデオ信号一式を一以上のスケーラに供給して、異なるようにスケールされたビデオ信号を生成してよい。スケーラは、様々なスロット内であって、メモリの前、メモリの後、あるいはメモリアクセスが必要でない場合には、前あるいは後(つまりメモリ間)に配置されてよい。ビデオ信号がアップスケールを要する場合、スケーラをメモリの後に配置してメモリ内に記憶されているデータ量を低減してよい。ビデオ信号がダウンスケールを要する場合、スケーラをメモリの前に配置してメモリ内に記憶されているデータ量を低減してよい。又は、一つのスケーラをメモリの前に配置して、別のスケーラをメモリの後に配置して、異なるようにスケールされた二つのビデオ信号を供給しつつも(一方がアップスケールされ、他方がダウンスケールされる)、メモリ記憶量および帯域幅を低減してよい。
ビデオデコーダの出力、あるいはシステム内の別の部材が供給する別のビデオ信号一式が、一以上のフレームレート変換部に供給されてよい。ブランクタイムオプティマイザ(BTO)は、第一のクロックレートで、ビデオ信号のフレームのフィールドラインに関するデータを受信してよい。BTOは、該フレームの次のフィールドラインが受信されるまでに存在する最大時間量を決定してよい。この決定に基づいてBTOは、第二のクロックレートで該フレームのフィールドラインをメモリに送受信する。メモリアクセスに利用される第二のクロックレートは、第一のクロックレートよりも実質的に遅くてよく、こうすることで、メモリ帯域幅が低減され、フィールドライン間に存在する時間がより短い可能性のある別のビデオ信号からメモリへのアクセスを速めることができる。BTOは基本的に、幾らかのメモリクライアント(メモリアクセスを要求する部)からのメモリアクセスを、メモリ帯域幅の効率的利用を促進するような形で配分する。
BTOのビデオ信号出力、あるいは本システムの別の部材が供給する別のビデオ信号一式が、さらなる処理用にオーバレイエンジンに供給されてよい。オーバレイエンジンにおいては、二以上のビデオ信号がオーバレイされ、色管理部(CMU)に供給されてよい。CMUはオーバレイビデオ信号を受信して、オーバレイビデオ信号を部分ごとに処理しておい。オーバレイビデオ信号の一部が第1のビデオ信号に対応する場合、CMUはビデオ信号の部分を、第1のビデオ信号の部分に対応するパラメータを利用して処理して、出力を供給してよい。オーバレイビデオ信号の一部が第2のビデオ信号に対応する場合、CMUはビデオ信号の部分を、第2のビデオ信号の部分に対応するパラメータを利用して処理して、出力を供給してよい。オーバレイエンジン内のマルチプレーン(M−プレーン)オーバレイ回路は、二以上のビデオ信号を受信してよく、これら信号の一つはCMUにより供給されて、オーバレイ信号を供給してよい。ビデオ信号には優先度指示子が含まれてよく、オーバレイ回路は、優先度指示子に基づいて信号をオーバレイしてよい。
オーバレイエンジンの出力、あるいは本システム内の別の部材が供給する別のビデオ信号の一式は、プログレッシブであってよく、主要および/または補助出力ステージに供給されてよい。または、ビデオ信号は、オーバレイエンジンをバイパスして、主要および/または補助出力ステージに供給されてよい。主要および/または補助出力ステージにおいては、ビデオ信号は、フォーマット変換あるいは、ディスプレイデバイスおよび記憶デバイスなどの主要および/または補助デバイスの要件を充たすための処理を行われうる。
本発明の上述の、およびその他の目的および利点は、以下の詳細な説明を、添付図面とともに考慮することで明らかになる。添付図面にわたり、同様の参照番号は同様の部材を表す。
同じスクリーンの随所に表示される二つのチャネルを例示する。
PIPディスプレイ生成を例示する。
典型的なビデオプロセッサのノイズ低減器およびデインタレーサのオフチップメモリアクセス動作を例示する。
本発明の原理によるテレビディスプレイシステムを例示する。
本発明の原理によるデュアルビデオプロセッサのオンボードビデオ処理セクションの機能を詳細に示す。
本発明の原理によるクロック生成システムを例示する。
本発明の原理によるビデオ信号生成の三つのモードである。
本発明の原理による三つのビデオ信号を生成すべく二つのデコーダを使用する実装例を例示する。
本発明の原理による二つのビデオ信号の二つの部分を時分割多重化するタイミング図例である。
本発明の原理によるデュアルビデオプロセッサのフロントエンドのビデオパイプライン機能を詳細に例示する。
本発明の原理によるノイズ低減器およびデインタレーサのオフチップメモリアクセス動作を例示する。
本発明の原理によるノイズ低減器およびデインタレーサのオフチップメモリアクセス動作のタイミング図を例示する。
本発明の原理による多数フィールドライン処理を例示する。
本発明の原理によるフレームレート変換およびスケーリングを行う詳細を示す。
本発明の原理によるスケーラ配置モジュールを例示する。
本発明の原理によるBTOマルチプレクサの動作を例示する。
本発明の原理によるデュアルビデオプロセッサの色処理およびチャネルブレンド(CPCB)ビデオパイプラインを詳細に示す。
本発明の原理によるオーバレイエンジンを詳細に示す。
本発明の原理による色管理部を詳細に示す。
本発明の原理によるデュアルビデオプロセッサのバックエンドビデオパイプラインを詳細に示す。
本発明は、一以上の高品質出力信号を生成すべく、一以上のチャネルの多数ビデオパイプラインステージの随所でメモリアクセス帯域幅を減らし、メモリおよびその他の処理資源を共有する方法および装置に関する。
図4は、本発明の原理によるテレビディスプレイシステムを示す。図4に図示されるテレビディスプレイシステムは、テレビ放送信号202、デュアルチューナ410、MPEGコーデック230、オフチップ記憶装置240、オフチップメモリ300、デュアルビデオプロセッサ400、メモリインターフェース530、および少なくとも一つの外部部材270を含みうる。デュアルチューナ410はテレビ放送信号202を受信して、第1のビデオ信号412および第2のビデオ信号414を生成してよい。ビデオ信号412および414はその後デュアルデコーダ420に提供されうる。デュアルデコーダ420は、デュアルビデオプロセッサ400の内部にあるものとして示されているが、ビデオプロセッサ400の外部にあってもよい。デュアルデコーダ420は、第1のビデオ信号412および第2のビデオ信号414に対してデコーダ220(図2)と同様の機能を果たしてよい。デュアルデコーダ420は少なくともマルチプレクサ424と二つのデコーダ422とを含んでよい。代替例においては、マルチプレクサ424および1または2のデコーダ422はデュアルデコーダ420の外部にあってよい。デコーダ422はデコードされたビデオ信号出力426および428を提供する。デコーダ422は、MPEGデコーダと異なる任意のNTSC/PAL/SECAMデコーダであってよい。デコーダ422の入力は、デジタルCVBS、S−Video、あるいはコンポーネントビデオ信号であってよく、デコーダ422の出力は、Y−Cb−Crデータ信号のようなデジタル標準の定義であってよい。デュアルデコーダ420の動作に関しては、図7、8、9、10を参照しながら詳述する。
マルチプレクサ424を利用して二つのビデオ信号412よび414のうちの少なくともいずれか、あるいは任意の数の入力ビデオ信号を選択してよい。この選択された少なくともいずれかのビデオ信号425はその後デコーダ422に提供される。この選択された少なくともいずれかのビデオ信号425は図面では、単一のビデオ信号として示して図面の煩雑さを避けているが、ビデオ信号425は任意の数のデコーダ422に提供できる任意の数のビデオ信号を表してよいことは理解されるべきである。例えば、マルチプレクサ424は5つの入力ビデオ信号を受信してよく、5つの入力ビデオ信号のうち二つを二つの異なるデコーダ422へ提供してよい。
図4に示す特定のビデオ信号処理により、デュアルビデオプロセッサ400上の内部デュアルデコーダ420が利用され、これにより時間的推移用途において必要とされうる外部デコーダを利用する費用を省くことができる。例えば、デュアルデコーダ420の出力426および428のいずれかが656エンコーダ440へ提供されることで、ビデオ信号をインタレース前に標準形式に適切にエンコードしてよい。656エンコーダ440は、より早いクロック周波数で処理すべくデータサイズを減らすのに利用されてよい。例えば、幾らかの実施形態においては、656エンコーダ440は、二倍の周波数で処理すべく16ビットのデータ、h−syncおよびv−sync信号を、8ビットに減らしてよい。これは、SDビデオおよび任意のNTSC/PAL/SECAMデコーダおよびMPEGエンコーダの間でインタフェースする標準であってよい。エンコードされたビデオ信号413はその後、例えばビデオプロセッサのポートを介して外部MPEGコーデック230に提供され、時間推移ビデオ信号を生成しうる。別のポート、つまりデュアルビデオプロセッサ400のflexiport450を利用して時間推移ビデオ信号をMPEGコーデック230から受信しうる。これは、ビデオプロセッサの外にあるデジタルビデオ信号の幾らかの部分を処理するビデオプロセッサの複雑性を低減するのに望ましい場合がある。さらに、MPEGコーデック230が行う時間推移は、圧縮、圧縮解除、および不揮発性大容量記憶デバイスとのインタフェースを含みうる動作を必要とするが、これら全てがビデオプロセッサの範囲を超える場合がある。
カーソル、オンスクリーン表示、あるいは、少なくとも一つの外部部材270で利用されうる、さもなくば外部部材に備えられうる放送ビデオ信号202以外の様々な他の形態のディスプレイも、デュアルビデオプロセッサ400を利用して生成されうる。例えば、デュアルビデオプロセッサ400はグラフィックポート460あるいはパターン生成器470をこの目的から含んでよい。
デコードされたビデオ信号、および様々な他のビデオ信号、グラフィック生成器460、あるいはパターン生成器470は、セレクタ480に提供されうる。セレクタ480はこれらビデオ信号の少なくとも一つを選択して、選択された信号をオンボードビデオ処理セクション490に提供する。ビデオ信号482および484は、セレクタ480からオンボードビデオ処理セクション490に提供されうる二つの例示的信号である。
オンボードビデオ処理セクション490は、デインタレース、スケーリング、フレームレート変換、およびチャネルブレンドおよび色管理などの、任意の適切なビデオ処理機能を行ってよい。デュアルビデオプロセッサ400の任意の処理資源は、メモリインタフェース530を介して、オフチップメモリ300へデータを送っても、オフチップメモリ300からデータを受け取ってもよく、オフチップメモリ300はSDRAM,RAMBUS、あるいは任意の他の種類の揮発性記憶装置であってよい。これら機能の各々は、図5を参照しながら詳述する。
最後に、デュアルビデオプロセッサ400は一以上のビデオ出力信号492を出力する。ビデオ出力信号492は、表示用、記憶用、さらなる処理用、あるいは任意の他の適切な用途用に、一以上の外部部材270に提供されてよい。例えば、一つのビデオ出力信号492は、高精細テレビ(HDTV)解像度を支援する主要出力信号であり、第2のビデオ出力信号492は、標準精細テレビ(SDTV)解像度を支援する補助出力であってよい。
標準精細(DVD)ビデオレコーダ、標準精細TV(SDTV)、標準精細プレビューディスプレイ、あるいは任意の他の適切なビデオアプリケーションに補助出力を利用しながら、同時にデジタルTVあるいはプロジェクタのようなハイエンドの外部部材270を駆動するのに主要出力信号を利用することができる。ユーザにHDTVディスプレイで番組を視聴させながら、同時に、補助出力信号はユーザにHDTVプログラムを任意の適切なSDTV媒体(例えばDVD)に記録させてよい。
図5は、本発明の原理によるデュアルビデオプロセッサ400のオンボードビデオ処理セクション490の機能をより詳細に示す。オンボードビデオ処理セクション490は、入力信号構成510、メモリインタフェース530、構成インタフェース520、フロントエンドパイプラインセクション540、フレームレート変換(FRC)およびスケーリングパイプラインセクション550、色処理およびチャネルブレンドパイプラインセクション560、およびバックエンドパイプラインセクション570を含みうる。
構成インタフェース520は、プロセッサなどの外部部材から、例えばI2Cインタフェースを介して制御情報522を受信しうる。構成インタフェース522は、入力信号構成510、フロントエンド540、フレームレート変換550、カラープロセッサ560、バックエンド570、およびメモリインタフェース530を構成するのに利用されうる。入力信号構成510はデュアルビデオプロセッサ400上の外部入力と連結されえ、これにより入力502上のビデオ信号(HDTV信号、SDTV信号、あるいは任意の他の適切なデジタルビデオ信号)、および選択されたビデオ信号482および484を受信しうる(図4)。入力信号構成510は、その後受信されたビデオ信号のうち少なくとも一つ(例えば信号482、484、および502)をビデオ源ストリーム512としてフロントエンド540へ提供するべく構成されうる。
この構成に基づいて、オンボードビデオ処理セクション490に提供されたこれら入力のうち様々なものが、オンボードビデオ処理パイプラインを利用して異なるときに処理されうる。例えば、一実施形態において、デュアルビデオプロセッサ400は、八つの入力ポートを含みうる。例示的ポートは、二つの16ビットHDTV信号ポート、一つの20ビットHDTV信号ポート、CCIR656形式であってよい三つの8ビットSDTVビデオ信号ポート、一つの24ビットグラフィックポートおよび一つの16ビット外部オンスクリーンディスプレイポートを含みうる。
フロントエンド540は、入手可能な入力の少なくとも一つのビデオ信号ストリーム512(つまり、チャネル)から選択を行い、選択されたビデオ信号ストリームを一以上のビデオ処理パイプラインステージに沿って処理するよう構成されうる。フロントエンド540は、一以上のパイプラインステージから処理済みのビデオ信号ストリームをフレームレート変換およびスケーリングパイプラインステージ550に提供しうる。幾らかの実施形態においては、フロントエンド540は三つのビデオ処理パイプラインステージを含み、三つの別個の出力をFRCおよびスケーリングパイプラインステージ550へ提供しうる。FRCおよびスケーリングパイプラインステージ550においては、一以上の処理チャネルがありえる。例えば、第1のチャネルは主要スケーラおよびフレームレート変換部を含みえ、第2のチャネルは別のスケーラおよびフレームレート変換部を含みえ、第3のチャネルは、これらより低いコストのスケーラを含みうる。これらスケーラは互いに独立していてよい。例えば、一つのスケーラが入力画像を拡大している間に、別のスケーラが画像を縮小していてよい。スケーラは両方とも444ピクセル(RGB/YUB24ビット)あるいは422ピクセル(YC16ビット)で動作可能である。
色処理およびチャネルブレンドパイプラインステージ560は、色管理機能を提供するよう構成されうる。これら機能は、色リマップ、輝度(brightness)、コントラスト、色相および彩度向上、ガンマ補正およびピクセルバリデーションを含みうる。さらに、色処理およびチャネルブレンドパイプラインステージ560は、ビデオブレンド機能、異なるチャネルのオーバレイ、あるいは二つのブレンドされたビデオチャネルの、第三のチャネルへのブレンドあるいはオーバレイを提供しうる。
バックエンドパイプラインステージ570は、データフォーマット、符号付/符号なし数変換、彩度論理、クロック遅延、あるいはデュアルビデオプロセッサ400から一以上のチャネルが出力されるまでに必要となりうる任意の適切な最終信号動作を行うよう構成されうる。
様々なパイプラインステージセグメントの各々は、メモリインタフェース530を利用してオフチップメモリ300に対するデータ送受信を行うよう構成されうる。メモリインタフェース530は少なくともメモリコントローラとメモリインタフェースとを含みうる。メモリコントローラは、メモリにより支援される最大スピードで動作するよう構成されうる。一実施形態においては、データバスは32ビットであってよく、200MHzの周波数で動作してよい。このバスは、1秒当たり12.8ギガビットに略近いスループットを提供しうる。メモリインタフェース530(つまりメモリクライアント)を利用する各機能ブロックは、メモリを動作のバーストモードにアドレスしうる。様々なメモリクライアント間のアービトレーションは、ラウンドロビン方式で、あるいは任意の他の適切なアービトレーション方式でなされうる。様々なパイプラインセグメントのより詳細な説明については、図12、19、20、21、および22に関連して提供される。
デュアルビデオプロセッサ400の様々な部材およびパイプラインステージが、異なるクロック機構あるいはクロック周波数を必要としうる。図6は、これを目的として様々なクロック信号を生成するクロック生成システム600を図示する。クロック生成システム600は、少なくとも、水晶発振器610、汎用アナログフェーズロックドループ回路620、デジタルフェーズロックドループ回路640a‐nおよびメモリアナログフェーズロックドループ回路630を含む。水晶発振器610の出力612は、汎用フェーズロックドループ620、メモリフェーズロックドループ630、デュアルビデオプロセッサ400の別の部材、あるいはプロセッサ外部の任意の適切な部材に必要に応じて連結されうる。
メモリアナログフェーズロックドループ630は、メモリクロック信号632および、メモリデバイス(例えば200MHzDDRメモリ)あるいは別のシステム部材を動かすクロック信号652として利用すべくセレクタ650により選択されうる異なる周波数636の他のクロック信号を生成する。
汎用アナログフェーズロックドループ620は、一以上のデジタルフェーズロックドループ(PLL)回路640a‐n用のベースクロックとして利用されうる200MHzクロックを生成しうる。デジタルPLL回路640a‐nは、周波数合成器(つまり、回転数でベースクロック周波数を乗算すること)として振舞うオープンループモードで利用されうる。これに替えて、デジタルPLL回路640a−nを、各入力クロック信号642a−n(例えばビデオ同期入力)上にロックをかける周波数ロックを達成しうるクローズドループモードで利用しうる。デジタルPLLはクローズドループモードで、非常に遅いクロック信号に正確な周波数ロックを達成する能力を持つ。例えば、ビデオ処理分野においては、垂直ビデオクロック信号(v−sync)は50〜60Hzの範囲にあってよい。様々なシステム部材が、様々なオープンループあるいはクローズドループ信号を要しうるデジタルPLL回路640a−nの出力644a−nを利用しうる。各出力640a−nは、異なる周波数あるいは同じ周波数のクロック信号を提供する能力があるとして理解されるべきである。
例えば、デジタルPLL回路640a−nが生成するクロック信号を利用しうる一部材はデュアルデコーダ420(図4)であり、その動作は図7、8、9、および10との関連において詳述する。デュアルデコーダ420はデコーダ422(図4)を含みうる。デコーダ422は、図7、8、および9との関連で詳述するように、様々な動作モードで利用されうる。
図7、8、および9は、デコーダ422を利用してビデオ信号426および428を生成する動作の三つの例示的モードを図示する。これら三つの動作モードは、例えば、コンポジットビデオ信号、s-video、およびコンポーネントビデオ信号を提供しうる。
これら三つのモードの第1のものを(コンポジットビデオ信号生成に利用されうる)、図7との関連で示す。第1のデコーダモードはDC復元部720、アナログ/デジタル変換器730、およびデコーダ422を含みえ、これらの各々は、デュアルデコーダ420(図4)に含まれうる。ビデオ信号425(図4)は、デュアルチューナ410によりあるいはマルチプレクサ424の他の配置に提供されうるが、DC復元部720に提供される。DC復元部720は、AC連結信号でありうるビデオ信号425が自身のDC参照をなくし、輝度などのビデオ特徴情報を維持すべくそれを定期的にリセットする必要があるときに、利用されうる。DC復元部720からのビデオ信号は、アナログ/デジタル変換器730によりデジタル化されデコーダ422に提供されうる。
第1のモードにおいて、デコーダ422は、単一のアナログ/デジタル変換器からのデジタルビデオ信号732を利用してコンポジットビデオ信号を生成しうる。アナログ/デジタル変換器730およびデコーダ422は、デジタルクロック信号644a−n(図6)を利用して動作しうるが、これは例えば、20、21、22、23、24、25、26、27、28、29、あるいは30MHzであってよい。さらに、デコーダ422は、出力フィードバック信号427を利用してDC復元部720の動作を制御しうる。出力フィードバック信号427は、例えば、DC復元部720に対して、アナログ/デジタル変換器730に提供されるビデオ信号上のDC出力を増減させるよう指示する2ビットの制御信号でありえる。
s-videoを生成するのに利用されうる三つのモードの第2のものを、図8との関連で説明する。第2のデコーダモードは、第2のアナログ/デジタル変換器820に加えて、第1のモードで記載された全ての部材を含みうる。ビデオ信号425(図4)は、第1の部分812および第2の部分810に分割されうる。ビデオ信号425の信号の第1の部分812(図4)は、マルチプレクサ424により提供されうるが、DC復元部720に提供されえ、ビデオ信号425の信号の第2の部分810(図4)は第2のデジタル/アナログ変換器820に入力されうる。DC復元部720からのビデオ信号425の第1の部分812は、第2のアナログ/デジタル変換器730によりデジタル化されてデコーダ422に提供される。さらに、ビデオ信号425の第2の部分810も、アナログ/デジタル変換器820によりデコーダ422に提供される。S-VIDEOは、様々なデバイス(例えば、VCR、DVDプレーヤなど)に接続するのに二つの有線アナログポートを必要とする。
この第2のモードにおいて、デコーダ422は、二つのアナログ/デジタル変換器730および820からのデジタル化されたビデオ信号732および832を利用してs-videoを生成してよい。アナログ/デジタル変換器730および820およびデコーダ422は、デジタルクロック信号644a−n(図6)を受信することで動作しうるが、これは例えば20、21、22、23、24、25、26、27、28、29、あるいは30MHzであってよい。幾らかの実施形態においては、ビデオ信号の第1の部分812は、ビデオ信号425のY−チャネルであってよく、ビデオ信号425の第2の部分810は、ビデオ信号の彩度チャネル(chroma channel)であってよい。
コンポーネントビデオ信号を生成するのに利用されうる三つのモードの第3のものを、図9との関連で示す。第3のデコーダモードは、第2および第3のDC復元部930および920、およびマルチプレクサ940に加えて、第2のモードで記載された全ての部材を含みうる。ビデオ信号425は、第1の部分914、第2の部分910、および第3の部分912に分割されうる。ビデオ信号425の第1の部分914(図4)は、マルチプレクサ424により提供されえ、DC復元部720へ提供されえ、ビデオ信号425の信号の第2の部分910は(図4)DC復元部930へ提供されえ、ビデオ信号425の信号の第3の部分912は(図4)DC復元部920へ提供されうる。コンポーネントビデオ信号は、様々なデバイス(例えば、VCR、DVDプレーヤなど)に接続するのに三つの有線アナログポートを必要とする。
DC復元部720からのビデオ信号425の第1の部分914は、アナログ/デジタル変換器730によりデジタル化されてデコーダ422に提供される。DC復元部930および920からのビデオ信号425の第2および第3の部分910および912は、アナログ/デジタル変換器820により選択的にデジタル化されて(例えば、マルチプレクサ940を利用して選択されて)デコーダ422に提供される。マルチプレクサ940は、デコーダ422から制御信号429を受信して、アナログ/デジタル変換器820によりビデオ信号425の第2および第3の部分910および912を時分割多重化しうる。
第3のモードにおいて、幾らかの実施形態においては、デコーダ422が二つのアナログ/デジタル変換器730、820からのデジタル化されたビデオ信号732および832を利用してコンポーネントビデオ信号を生成しうる。アナログ/デジタル変換器730および820およびデコーダ422は、デジタルクロック信号644a−n(図6)を受信することで動作しうるが、これは例えば20、21、22、23、24、25、26、27、28、29、あるいは30MHzであってよい。さらに、デコーダ422は、出力フィードバック信号427を利用してDC復元部720、930、および920の動作を制御しうる。幾らかの実施形態においては、ビデオ信号425の第1、第2、第3の部分914、910、および912は、それぞれビデオ信号425のY−チャネル、U−チャネル、およびV−チャネルであってよい。
様々な共通に入手可能な種類のDC復元部、デジタル/アナログ変換器およびビデオデコーダを利用して上述の機能を簡略に行うこともできるが、詳細な動作が本開示から省かれていることを理解されたい。
図10に示す一実施形態において、三つ全てのデコーダモードは二つのデコーダ422および三つのアナログ/デジタル変換器730あるいは820を利用して実装できる。図10に記載の配置により、デュアルデコーダ420(図4)は、少なくとも二つのビデオ信号(つまり各デコーダから一つのビデオ信号)426および428を、該三つのモードのうち任意の二つに対応するよう略同時に、提供することができる。
図10は、二つのデコーダを利用して、二つのコンポジットビデオ信号、一つのコンポジットおよび一つのs-video、一つのコンポジットおよび一つのコンポジットビデオ信号、あるいは二つのs-videoのいずれかを生成する例示的実装例を示す。図10に示す例示的実装は、一式のマルチプレクサ1020、1022、1023、1025、1021、1024、1026、1027、および1028、三つのアナログ/デジタル変換器730、820、および1010、四つのDC復元部720、721、930、920、デマルチプレクサ1040、および二つのデコーダ422aおよび422bを含む。
図10の例示的実装は、二つのコンポジットビデオ信号を生成する際に利用されると、以下のように動作しうる。第1のビデオ信号425aがマルチプレクサ1020の第1の入力に連結されえ、第2のビデオ信号914がマルチプレクサ1024の第2の入力に連結されうる。マルチプレクサ1020の第1の入力はマルチプレクサ1021の第4の入力に選択・出力されえ、DC復元部720に入力されうる。マルチプレクサ1024の第2の入力はDC復元部721に選択・出力されうる。実装の残りの部分の動作は、コンポジットビデオ信号が生成される図7との関連で記載されたものと類似している。例えば、DC復元部720および721、アナログ/デジタル変換器730および1010、およびデコーダ422aおよび422bは、図7に記載されているようにコンポジットビデオ信号を生成するのと類似した様式で動作する。
図10に示す例示的実装を利用した一つのコンポジットおよび一つのs-videoあるいは一つのコンポジットおよび一つのコンポーネントビデオ信号の生成は、上述の二つのコンポジットビデオ信号の生成と類似した様式で行われる。例えば、s-videoを生成するのに利用される、ビデオ信号425の第1および第2のビデオ信号部分812および810がマルチプレクサ1022および1026に提供される。マルチプレクサ1022および1026の出力は、アナログ/デジタル変換器730および820で処理されるべきビデオ信号を選択するマルチプレクサ1021および1027に提供される。同様に、マルチプレクサ1024は、アナログ/デジタル変換器1010が処理すべきビデオ信号を選択する。様々な動作モードについてのマルチプレクサ入力選択は、以下に示す表1において詳述されている。
図10に示す例示的実装により、さらに、二つのs-video426および428が生成される。この機能を提供すべく、第1の周波数および第1の位相(例えば20MHz)で動作している第1のクロック信号644aがアナログ/デジタル変換器730およびデコーダ422aへ提供される。第1のクロック信号から180度ずれた位相の(例えば位相が180度ずれた20MHz)第2の周波数で動作していてよい第2のクロック信号644bがアナログ/デジタル変換器1010およびデコーダ422bへ提供されうる。第1のクロック信号の周波数の略二倍である第3の周波数であり第1のクロック信号と同じ位相である(40MHz)第三のクロック信号644cがアナログ/デジタル変換器820へ提供されうる。クロック信号644bはマルチプレクサ1030に提供されてクロック信号644bをマルチプレクサ1026および1027に選択的に連結する。マルチプレクサ1026および1027の選択された入力にクロック信号を連結することで、アナログ/デジタル変換器820上のビデオ信号入力810a−cに時分割多重化を行うことができる。クロック信号644aは、時分割されたビデオ信号を非多重化すべくデマルチプレクサ1040に連結される。時分割多重化動作のより明瞭な説明を図11との関連で行う。
図11は、二つのビデオ信号425の二つの第2の部分810を時分割多重化する例示的タイミング図を示す。動作を時分割多重化することで、第4のアナログ/デジタル変換器の必要性がなくなってデュアルビデオプロセッサ400の全コストが削減されうる。図11のタイミング図は、第1、第2、および第3のクロック信号644a、644b、および644cそれぞれに対応する三つのクロック信号、および三つのアナログ/デジタル変換器730、1010、および820の出力を含む。図に示すように、クロック1およびクロック2はクロック3の半分の周波数で動作し、クロック3の立下りエッジで変化する。
示されているように、T1とT4との間の期間において、クロック644a(クロック1)が完了し、第1のビデオ信号(S0)の第1の部分812a−cに対応するアナログ/デジタル変換器730(ADC1)の出力はデコーダ422aによる処理用に入手可能である。期間T2の始まりのクロック3の立上がりエッジにおいて、アナログ/デジタル変換器820(ADC3)は第2のビデオ信号(S1)の第2の部分810a−cの処理を開始し、期間T3の終わりに処理を完了する。
期間T3の始まりに、アナログ/デジタル変換器820(ADC2)は、ビデオ信号S1の第1の部分810a‐cの処理を開始して、期間T6の終わりに完了する。ビデオ信号S1の第1の部分810a‐cに対応するADC2の出力は、期間T6の終わりにデコーダ422bによる処理用に入手可能となる。期間T4の始まりのクロック3の立上がりエッジにおいて、アナログ/デジタル変換器820(ADC3)はビデオ信号S0の第2の部分810a−cの処理を開始し、期間T5の終わりに処理を完了する。
故に、期間T6の終わりには、二つのビデオ信号S0およびS1の二つの部分が、三つのアナログ/デジタル変換器のみを利用することで処理完了となる。
期間T5とT6の間のクロック3の立上がりエッジにおいて、デマルチプレクサ1040は、ビデオ信号S0の第2の部分810a−cの出力をADC3からデコーダ644aに提供することで、処理済ビデオ信号426を生成する。同時に、ビデオ信号S1の第2の部分812がアナログ/デジタル変換器820(ADC3)における処理用に選択され、期間T7の終わりに入手可能となる。
上述は、三つのアナログ/デジタル変換器730、1010、および820を利用して二つのs-video426および428を生成する一実施形態を開示している。以下の表1は、コンポジット(cst)、コンポーネント(cmp)およびs-video(svid)の様々な組み合わせを生成すべく対応するマルチプレクサに提供されうる様々な例示的選択信号のまとめである。
Figure 2009534931
デュアルデコーダ420はさらに、ビデオカセットレコーダ(VCR)から受信できる不安定なアナログあるいはデジタル信号を扱うよう構成できる。不安定な信号はVCRにより、早送り(fast forwarding)モード、巻き戻し(fast rewinding)モード、あるいは休止(pausing)モードなどの様々な動作モードにより生成されうる。デュアルデコーダ420はこのような状況にあっても良好な品質の出力信号を提供すべくこれら種類の信号の処理をできてよい。
不安定なビデオ信号は、VCRが生成する不安定なsync信号により生じうる。不安定なsync信号を処理するのに適切な技術の一つは、不安定なビデオ信号をバッファすることである。例えば先入れ先出し(FIFO)バッファをデコーダの出力付近に配置することができる。第一に、不安定なsync信号を参照として利用してデコーダ出力データをFIFOバッファに書き込んでよい。sync信号およびクロックは、デコーダ内の論理ブロックから生成あるいは再生成されて、その後そのような動作モードになった場合に、FIFOバッファからデータを読み出すのに利用されうる。故に、不安定なビデオ信号は安定したsync信号とともに出力されうる。全ての他の動作シナリオあるいは動作モードにおいて、FIFOバッファはバイパスされえ、出力はFIFOの入力と同じになりうる。
または、FIFOバッファをオフチップメモリに実装すると、不安定なsync信号が適切に処理されうる。例えば、不安定なsync信号が削除されると、デコーダは2-Dモードに配置されることでオフチップメモリ利用が減少しうる。通常3‐D動作に利用されるオフチップメモリ300の大半の部分がフリーになることになり、これを上述のFIFOバッファの実装に利用することもできる(つまり、少なくとも一つのフルデータベクタに等しいものが、フリーのメモリスペースとして利用可能となる)。さらに、オフチップメモリ内のFIFOバッファは、フルフレーム用にピクセルを記憶しうるので、たとえ読み出しレートと書き込みレートとが整合しなくても、出力においてフレームは繰り返されるか間引かれる(drop)かされる。特定のフレームあるいはフレーム内のフィールドの繰り返しあるいは間引きにより、依然としてシステムは程々に良好な画像を表示させることが可能となる。
図12は、ビデオパイプラインのフロントエンド540の例示的機能を詳述する。特に、チャネルセレクタ1212は、多数のビデオ源ストリーム512から四つのチャネルを選択するよう構成されうる。四つのチャネルはフロントエンド540の4つのパイプラインステージに沿って処理されうる。幾らかの実施形態において、四つのチャネルは、主要ビデオチャネル、PIPチャネル、オンスクリーンディスプレイ(OSD)チャネル、およびデータ計測(data instrumentation)あるいはテストチャネルを含みうる。
フロントエンド540は任意のチャネルの様々なビデオ処理ステージ1220a、1220b、1230、および1240を実装しうる。幾らかの実施形態において、様々なチャネルは、該様々なチャネルの処理能力を増加させるべく任意のほかのステージからの一以上の資源を共有しうる。ビデオ処理ステージ1220aおよび1220bが提供しうる幾らかの機能例は、最大画質を生成するのに利用可能なノイズ低減およびデインタレースを含みうる。ノイズ低減およびデインタレース機能は、さらにオフチップメモリ300を共有しえ、このような次第で、メモリは共有メモリステージ1260と称され、これについては図13および15との関連において詳述する。図面を混ませない目的から、図12において共有メモリステージ1260はチャネル1に対応する処理ステージの一部として記載されている。しかし、一以上の共有メモリステージ1260はフロントエンド540のチャネルパイプラインの任意のものの一部であってよいことは理解されるべきである。
ノイズ低減により、インパルスノイズ、ガウスノイズ(空間および時間両方)、ブロックノイズおよびモスキートノイズなどのMPEGアーチファクトが削除されうる。デインタレースは、動きが存在するときエッジ適応補間を利用することで失われたラインを補間することで、インタレースされたビデオからプログレッシブビデオを生成することを含みうる。その代わりに、デインタレース機能は、動きに基づき適応可能なように時間的および空間的補間の組み合わせを利用しうる。ノイズ低減器およびデインタレーサ双方は、3−Dドメインで動作でき、オフチップメモリのフレームフィールドの記憶を要しうる。故に、デインタレーサおよびノイズ低減器は、オフチップメモリへのアクセスに利用しうるメモリインタフェース530に対してクライアントとして振舞いうる。幾らかの実施形態においては、ノイズ低減器およびデインタレーサは、メモリ空間を最大化し最大に効率的な方法でデータ処理を行うべくオフチップメモリを共有しうるが、これは共有メモリステージ1260に示されている通りである。このプロセスを図13および15との関連で詳述する。
三つのビデオ処理ステージ1220a、1220b、および1230は、ビデオ信号を望ましいドメインに変換する形式変換を実行してよい。例えば、この種類の変換を利用して入力ビデオ信号ストリームを601あるいは709色空間においてYC4:2:2形式に変更してよい。
フロントエンド540はさらに、データ計測機能を実行すべく計測パイプライン(instrumentation pipeline)1240を提供してよい。計測パイプライン1240は、例えば、アクティブビデオの開始および終了ピクセルおよびライン位置を見つけるべく、あるいは制御可能な位相サンプラ(phase sampler)(ADC)アップストリームがある際に好ましいサンプルクロック位相を見つけるべく、利用されうる。これら動作を行うことで、解像度、レターボクシング(letter-boxing)、ピラーボクシング(pillar-boxing)などの入力チャネルパラメタの自動検知が手助けされうる。さらには、このようなチャネルパラメタの検知は、それらをマイクロコントローラあるいは任意の他の適切な処理部材によりスケーリングあるいはアスペクト比変換などのフィーチャ制御に利用する支援をしうる。フロントエンド540は、さらに、syncビデオ信号装置機能を四つ全てのチャネルで実行して、sync信号の損失、クロック信号の損失、あるいは範囲外のsyncあるいはクロック信号を検知することができる。これら機能を利用して、マイクロコントローラあるいは任意の他の適切な処理部材を利用して電源管理制御を行うこともできる。
フロントエンド540の終わりに、一式のFIFOバッファ1250a−cがビデオストリームをサンプルして、サンプルされたビデオ信号1252、1254、および1256を提供することができ、これは、フロントエンド540とフレームレート変換およびスケーリング550(図5)とのパイプラインステージ間で、選択されたチャネルのリタイミングに利用されてもよい。
共有メモリステージ1260のさらなる詳細を図13および15の関連において記載する。特に、図13に示すように、共有メモリステージ1260は、ノイズ低減器330およびデインタレーサ340の機能を少なくとも含みうる。これら機能両方は、高品質画像を生成するのにフレーム記憶が必要となる時間的機能(temporal function)である。様々なメモリアクセスブロック(メモリクライアント)にオフチップメモリ300を共有させることで、オフチップメモリ300のサイズおよびオフチップメモリ300とインタフェースするのに必要な帯域幅を低減することができる。
ノイズ低減器330は、3-Dモードにインタフェースされた入力の二つのフィールド上で動作しうる。ノイズ低減器330が動作しうるこれら二つのフィールドは、生存フィールド(live field)1262および、生存フィールド1262の前二つのフィールド(つまり、前の前のフィールド332)を含みうる。デインタレーサ340は、3−Dモードの三つのインタレースされたフィールド上で動作しうる。三つのフィールドは、生存フィールド1262、直前のフィールド1330、および直前のフィールドの前のフィールド332を含みうる。
図13および図14に示すように、フィールドバッファ1310および1312は、ノイズ低減器330およびデインタレーサ340により共有されうる。ノイズ低減器330は、オフチップメモリ300から、フィールドバッファ1310から前の前のフィールド332を読み出して、ノイズ低減された出力322を提供すべく生存フィールド1262とともに処理してよい。ノイズ低減出力322は、オフチップメモリ300内、フィールドバッファ1312へと書き込まれうる。デインタレーサ340は、直前のフィールド1330をオフチップメモリ300のフィールドバッファ1312から、および直前のフィールドの前のフィールド332をオフチップメモリ300のフィールドバッファ1310から読み出して、読み出したフィールドを生存フィールド1262あるいはノイズ低減出力322とともに処理して、デインタレースされたビデオ1320を出力として提供してよい。
例えば図14に示すように、生存フィールド1262(FIELD1)は、ノイズ低減器330に提供されて、第1期間(T1)中にノイズ処理済出力322を出力しうる。ノイズ低減器330がFIELD1の処理を完了した後あるいは前に(つまり、期間T2中に)、ノイズ低減出力322(FIELD1)がノイズ低減器330によりデインタレーサ340に提供されえ、あるいは(例えばノイズ低減が不要な場合)、ノイズ低減器330をバイパスして1262を介して直接デインタレーサ340に提供されうる。いずれにしても、第2期間(期間T2)中、ノイズ低減出力322(FIELD1)が、ノイズ低減器330によりオフチップメモリ300のフィールドバッファ1312に書き込まれうる。
フィールドバッファ1312(FIELD1)の出力1330は、フレームの次の生存フィールド(FIELD2)処理中に、期間T2中にデインタレーサ340によりオフチップメモリ300から読み出されうる。続いてフィールドバッファ1312は、ノイズ処理済出力322(FIELD2)の前(生存フィールドの前)に処理済ノイズ低減出力(FIELD1)を提供しうる。
第3期間(つまりT3)中、ノイズ低減器330が生存フィールド1262(FIELD2)の次のフィールドの処理を完了した後あるいは前に、フィールドバッファ1312の生存フィールド1330の前のフィールドがフィールドバッファ1310に書き込まれてよい。次のノイズ低減出力322(FIELD2)が、ノイズ低減出力(FIELD1)の代わりにフィールドバッファ1312に書き込まれてよい。期間T3中、フィールドバッファ1312の内容はノイズ低減出力(FIELD2)(つまり、前の生存フィールド)であり、フィールドバッファ1310の内容はノイズ低減出力(FIELD1)(つまり、生存フィールドの前の前のフィールド)である。
期間T3中、ノイズ低減器330は生存フィールド1262(FIELD3)上および生存フィールドの前の前のフィールド332(FIELD1)上で動作してよい。同じ期間T3中、デインタレーサ340は生存フィールド1262(FIELD3)あるいはノイズ低減出力(FIELD3)、生存フィールド1330の前の生存フィールド(FIELD2)、および前の生存フィールドの前の生存フィールド332(FIELD2)上で動作してよい。オフチップメモリ300をノイズ低減器330およびデインタレーサ340間で共有すると、2フィールドバッファ位置のみを利用することとなるが、図3に示すように同様の機能を提供しようと思うと典型的にはオフチップメモリ300で四つのフィールドバッファ位置が必要となる。
メモリ内のフィールドバッファ位置の数を減らすことで、等しい処理能力およびより多いメモリ記憶および帯域幅を有するさらなるビデオ処理パイプラインが提供されえ、これにより少なくとも二つのチャネルの高品質ビデオ処理が可能となる。さらには、一つの書き込みポートおよび二つの読み出しポートを利用して上述の機能を提供するので、デュアルビデオプロセッサ400およびオフチップメモリ300間のデータ転送帯域幅は減少しうる。
幾らかの他の実施形態においては、ノイズ低減器330およびデインタレーサ340は、各フレームの多数のフィールドライン上で動作しうる。図15に示すように、これらフィールドラインの各々は、生存フィールドラインバッファ1520、前の生存フィールドラインバッファ1530、前の前の生存フィールドラインバッファ1510に記憶されうる。ラインバッファ1510、1520、および1530は、データ記憶およびデータアクセスに高い効率性および速度を提供しうるデュアルビデオプロセッサ400の記憶位置でありうる。さらに記憶空間量を減らすべく、ノイズ低減器330およびデインタレーサ340が利用するラインバッファ1510がノイズ低減器およびデインタレーサモジュール間で共有されうる。
図15に図示されるように、図13および14との関連で記載された生存フィールドをフィールドバッファ1312に記憶する動作に加えて、生存フィールド1262がノイズ低減器330およびデインタレーサ340により受信されるので、生存フィールド1262も生存フィールドラインバッファ1520に記憶されうる。これにより、ノイズ低減器330およびデインタレーサ340は、異なる時間間隔で同時に受信される多数の生存フィールドラインにアクセスすることができる。同様に、フィールドバッファ位置1310および1312に記憶される内容は対応するラインバッファ1510および1530に移動されえ、これらが今度は各々前の生存フィールド(生存フィールドの前のノイズ低減出力)用のバッファ、および前の前の生存フィールドライン(前の生存フィールドの前のノイズ低減出力)を提供する。これにより、ノイズ低減器330およびデインタレーサ340は、多数の前の生存フィールドラインおよび前の前の生存フィールドラインに同時にアクセスすることができる。フィールドラインバッファを含んだ結果、ノイズ低減器330およびデインタレーサ340は多数のフィールドライン上で同時に動作しうる。その結果、ノイズ低減器330およびデインタレーサ340は、フィールドバッファ位置1310に記憶されている前の前の生存フィールドへのアクセスを共有するので、さらに対応するフィールドラインバッファ1510へのアクセスを共有しうる。これにより、今度は、デュアルビデオプロセッサ400に必要な、あるいはそれに略近い記憶量を低減することができる。
図15は三つのラインバッファのみを示すが、任意の数のフィールドラインバッファを提供することができることは理解されたい。特に、提供されるフィールドラインバッファの数は、デュアルビデオプロセッサ400で入手可能なフィールドラインバッファの数および/またはノイズ低減器330およびデインタレーサ340が必要としうる同期フィールドラインの数に依存する。しかし、任意の数のノイズ低減部およびデインタレース部を
追加して、多数のフィールドライン処理を支援してよいことを理解されたい。
例えば、各々三つの生存フィールドラインを同時に処理することのできる二つのノイズ低減器330および二つのデインタレーサ340が提供されるとすると、八個の生存フィールドラインバッファ1520、六つの前の生存フィールドラインバッファ1530、および六つの前の前の生存フィールドラインバッファ1510を利用して多数のフィールドライン処理が行われえ、ここで各フィールドラインバッファの出力は、ノイズ低減器およびデインタレーサ部の対応する入力に連結されうる。実際のところ、必要となるノイズ低減器、デインタレーサ、およびオンチップ空間の数が入手可能となる場合一以上のフレームの内容はフィールドバッファに記憶できると考えられてきた。
図16は、フレームレート変換およびスケーリングパイプライン550(図5)(FRCパイプライン)をより詳細に示す。FRCパイプライン550は、少なくともスケーリングおよびフレームレート変換機能を含みうる。特に、FRCパイプライン550は、スケーラスロット1630、1632、1634、および1636のうち二つに代わりうるスケーリングに利用される少なくとも二つのモジュールを含みうるが、そのうち一方のスケーラは第1のチャネルへスケーリングを提供し、他方は第2のチャネルへスケーリングを提供する。この配置の利点を、図17を参照しながら明らかにする。スケーラスロット1630、1632、1634、および1636のこれらスケーリングモジュールの各々は、任意のスケーリング率でアップスケールおよびダウンスケールを行う能力を持ちうる。これらスケーラはさらに、アスペクト比変換、水平非線形3ゾーンスケーリング、インタレース、およびデインタレースを行う回路を含みうる。幾らかの実施形態におけるスケーリングは、同期モードで行われうる(つまり、出力が入力と同期されている)、あるいは、オフチップメモリ300を介して行われうる(つまり、出力は入力に対してどこにでも配置されうる)。
FRCパイプライン550は、さらに、フレームレート変換(FRC)の機能を含みうる。チャネルのうち少なくとも二つは、フレームレート変換回路を含みうる。FRCを実行するには、ビデオデータをメモリバッファに書き込み望ましい出力レートでバッファから読み出すべきである。例えば、フレームレートの増加は、特定のフレームが経時的に繰り返されるよう入力フレームより速く出力バッファを読み出すことにより生じる。フレームレートの減少は、特定のフレームが書き込まれるのよりも遅いレートでバッファから出力されるフレームを読み出すことで生じる(つまり、入力レートより遅くフレームを読み出す)。フレームテアリング(frame tearing)あるいはビデオアーチファクトは、ビデオデータが入手可能な(つまり、アクティブなビデオ)期間中に特定のフレームを読み出すことで生じうる。
特に、アクティブなビデオ中のフレームテアリングビデオアーチファクトを避けるべく、一フレーム中のフィールドの途中を避けて、全入力フレームにわたりフレームの繰り返しあるいは間引きをすべきである。つまり、ビデオの不連続性は、フレームの境界においてのみ起こるべきであり(つまり、画像データが提供されない垂直あるいは水平sync中)、アクティブなビデオの領域内では起こるべきでない。例えばメモリインタフェース530がメモリにある一フレームの部分を読み出すときを制御することで、テアレス(tearless)制御機構1610を動作させてフレーム間の不連続性を低減しうる。FRCは通常モードあるいはテアレスモード(つまり、テアレス制御機構1610を利用する)で行うことができる。
各第1および第2のチャネルのスケーラスロット1630、1632、1634、および1636のうち二つに配置される二つのスケーラに加えて、さらに下端スケーラ1640が第3のチャネルにあってよい。下端スケーラ1640はより基本的なスケーラであり、例えば、1:1あるいは1:2のアップスケールあるいは任意の必要なスケーリング率のみを行うスケーラであってよい。その代わりに、第1および第2のチャネルのスケーラのうちいずれかは、第3のチャネルにスケーリングを行ってよい。マルチプレクサ1620および1622は、少なくとも三つのチャネルのうちいずれが、入手可能なスケーラのいずれに向けられるかを制御してよい。例えば、マルチプレクサ1620は、スロット1630あるいは1632のスケーラの第1の種類のスケーリング動作を行うチャネル3を選択してよく、マルチプレクサ1622は、スロット1634あるいは1636のスケーラの第2の種類のスケーリング動作を行うチャネル1を選択してよい。一つのチャネルはさらに任意の数の入手可能なスケーラを利用することができる。
FRCパイプライン550はさらに、モーションジッタを低減すべくスムーズムービーモードを含みうる。例えば、デインタレーサが、入力ビデオ信号のモードを検知するフィルムモード検知ブロックを含んでよい。ビデオ入力信号が第一の周波数で動く際(例えば60Hz)、より高い周波数(例えば72Hz)あるいはより低い周波数(例えば48Hz)に変換されてよい。より高い周波数に変換する場合、フレーム繰り返し指示信号がフィルムモード検知ブロックからFRCブロックへ提供されうる。フレーム繰り返し指示信号は、第1群のフレーム中(例えばフレームのなかの一つ)に高く、デインタレーサが生成しうる第2群のデータフレーム中(例えば4フレーム)に低くてよい。フレーム繰り返し指示信号が高い間、FRCはフレームを繰り返すことでより高い周波数で正しいデータ列を生成してよい。同様に、より低い周波数に変換する場合、フレーム間引き指示信号がフィルムモード検知ブロックからFRCブロックへ提供されうる。フレーム間引き指示信号が高い間、特定のフレーム群がデータ列から間引かれることで、より低い周波数で正しいデータ列が生成される。
スケーラ配置モジュール1660が示すように、望ましいスケーリングの種類に応じて、スケーラは様々なスケーラスロット1630、1632、1634、および1636に配置される構成をとってよい。スケーラスロット1632および1636は、両方ともメモリインタフェースの後に配置されるが、スケーラスロット1632は、第1のチャネルに行われるスケーリング動作に対応し、スケーラスロット1636は、第2のチャネルに行われるスケーリング動作に対応する。図示されるように、一つのスケーラ配置モジュール1660は特定のスケーラ構成に対応する出力を選択するマルチプレクサ1624を含みえ、一方、別のスケーラ配置モジュール1660はマルチプレクサを含まなくてよいが、代わりに別のビデオパイプライン部材に直接連結されるスケーラの出力を持ちうる。マルチプレクサ1624は、二つのスケーラスロットのみを利用して三つの動作モードを実装する柔軟性を提供する(図17により詳細に示す)。例えば、マルチプレクサ1624が提供される場合、スロット1630に配置されるスケーラは、ダウンスケールあるいはアップスケールを提供するメモリに連結されえ、さらにはマルチプレクサ1624に連結されうる。メモリ動作をしなくてよい場合、マルチプレクサ1624はスケーラスロット1630の出力を選択してよい。または、メモリ動作をする必要がある場合、スケーラスロット1630のスケーラはデータをスケールしてよく、マルチプレクサ1624は、データをアップスケールあるいはダウンスケールし、スケーラスロット1632に配置される別のスケーラからデータを選択する。そしてマルチプレクサ1624の出力は、ブランクタイムオプティマイザ1650などの別のビデオパイプライン部材に提供されうるが、これを図18との関連で詳述する。
図17に示すように、スケーラ配置モジュール1660は、少なくとも入力FIFOバッファ1760、メモリインタフェース530への接続、三つのスケーラ配置スロット1730、1734、および1736のうちの少なくともいずれか、書き込みFIFOバッファ1740、読み出しFIFOバッファ1750、および出力FIFOバッファ1770を含みうる。スケーラ配置スロットは、図16に示すスロットに対応していてよい。例えば、スケーラ配置スロット1734はスロット1630あるいは1634に対応していてよく、同様にスケーラ配置スロット1730はスロット1630に対応していてよいが、これは上述のようにマルチプレクサ1624を利用することでスロット1630がスケーラ配置スロット1730および1734の機能を行うことができるようになる。一つまたは二つのスケーラが、三つのうち任意の一つまたは二つのスケーラ配置スロット1730、1734、あるいは1736に、メモリインタフェース530に対して配置されてよい。スケーラ配置モジュール1660はFRCパイプライン550の任意のチャネルパイプラインのうちの一部であってよい。
同期モードを行う場合、スケーラがスケーラ配置スロット1730に配置されうる。このモードにおいて、FRCはシステムに存在せず、特定のFRCチャネルパイプラインによるメモリアクセスの必要がなくなる。このモードにおいては、出力v−sync信号は入力v−sync信号にロックされうる。
スケーラは代わりにスケーラ配置スロット1734内に配置されうる。FRCが必要であり入力データがダウンスケールされるべき場合には、スケーラはスロット1734に配置されるのが望ましい。メモリに書き込む前に入力データをダウンスケールすると(つまりより小さいフレームサイズが望ましいであろう場合)、結果として、必要とされるメモリ記憶量が減らされる。より少ないデータがメモリに記憶されうるので、出力データ読み取りレートが減少し、これによりさらに、必要とされる全メモリ帯域幅が減らされ(またコストも減らされ)、より効率的なシステムが提供される。
別のシナリオにおいては、スケーラはスケーラ配置スロット1736に配置されうる。FRCが必要であり入力データがアップスケールされるべき場合には、スケーラはスロット1736に配置されるのが望ましい。データは読み出される出力データよりも低いレートでメモリに提供されうる(つまり、フレームサイズが出力よりも入力で小さい)。また、より小さいフレームを記憶してその後にスケーラを出力で利用してフレームサイズを増加させることで、より少ないデータをメモリに書き込みうる。例えば一方でスケーラがスロット1734のメモリの前に配置され、入力データをアップスケールするのに利用する場合、より大きなフレームがメモリに記憶され、より広い帯域幅が必要となろう。しかしながら、この場合、スケーラをメモリの後に配置することで、より小さなフレームが初めにメモリに記憶されることになり(より狭い帯域幅を消費する)、これは後に読み出されアップスケールされうる。
二つの別個のスケーラ配置モジュール1660において二つの独立したスケーラがありうるので、第1および第2のチャネルについては、これらのスケーラ配置モジュール1660の両方にメモリアクセス要件がある場合、それらのいずれかが高い帯域幅を要求し、他方は低い帯域幅メモリアクセスを要求しうる。ブランクタイムオプティマイザ(BTO)マルチプレクサ1650は、メモリ大気幅を減らし、任意の数のチャネルに記憶フィールドラインを共有させるべく、一以上の記憶バッファ(一以上のフィールドラインを記憶するのに十分な大きさを持つ)を提供して、これによりメモリ記憶要件を減らしうる。
図18は、BTOマルチプレクサ1650(図16)の動作の例示である。図18に示すように、第1のチャネル(主要チャネル)は、スクリーン1810の大部分を占め、第2のチャネル(PIP)はスクリーン1810のより小さな部分を示す。その結果、PIPチャネルはより小さいアクティブデータを持ちえ、同じ時間間隔において主要チャネルよりも少ないメモリアクセスを要するので、より狭い帯域幅を要する。
例えば、1フレーム内の一つのフィールドラインが16ピクセルを含む場合、PIPチャネルは、そのフレームの全フィールドの4ピクセルを占めうるが、主要チャネルは残りの12ピクセルを占めうる。故にPIPチャネルが4ピクセルを処理するのにメモリアクセスする際に要する時間量は、主要チャネルのものより長いので、メモリアクセスタイムライン1840(つまりPIPがより大きなブランク時間間隔を有する)が示すようにより狭い帯域幅を要する。故に、必要とされるメモリ帯域幅を減らすべく、PIPチャネルは実質的により遅いレートでメモリアクセスして主要チャネルに残りの帯域幅を使わせうる。
BTOマルチプレクサ1650は、異なるチャネルのメモリアクセスの際に、様々なクロックレートを利用するよう構成されうる。例えば、より遅いクロックレートを特定のチャネルに適用したい場合、BTOマルチプレクサ1650は、一つのクロックレート1844を利用してメモリアクセスブロック(クライアント)1820(つまりPIPチャネル)から要求されたデータを受信して、データをフィールドライン記憶バッファに記憶し、(より遅くてよい)第2のクロックレート1846を利用してメモリアクセスしうる。より遅いクロックレートを利用してメモリアクセスすべくフィールドラインバッファを利用するのではなく、クライアントが高いクロックレートを利用して直接メモリアクセスするのを防ぐことで、帯域幅要件を減らすことができる。
BTOマルチプレクサ1650は、異なるチャネルフィールドラインバッファの共有を実現することで、さらにオフチップメモリ300が必要とする記憶量を減らしうる。こうすることでBTOマルチプレクサ1650は、共有されたフィールドラインバッファを利用して、ディスプレイの一部を共有する異なるチャネルをブレンドあるいはオーバレイを行うことができる。
BTOマルチプレクサ1650の出力は、色処理およびチャネルブレンドビデオパイプライン560(図5)へ提供されてよい。図19は、色処理およびチャネルブレンド(CPCB)ビデオパイプライン560をさらに詳細に示す。CPCBビデオパイプライン560は、少なくとも、サンプラ1910、視覚処理およびサンプルモジュール1920、オーバレイエンジン2000、補助チャネルオーバレイ1962、さらなる主要および補助チャネルスケーリングおよび処理モジュール1970および1972、署名アキュムレータ1990、およびダウンスケーラ1980を含む。
CPCBビデオパイプライン560の機能は、ルマ(luma)およびクロマ(chroma)エッジ強調、ブルーノイズ形成マスクによるフィルムグレイン生成および追加による画像の強調などのビデオ信号特徴の向上を少なくとも含みうる。さらに、CPCBビデオパイプライン560は、少なくとも二つのチャネルをブレンドすることができる。ブレンドされたチャネルの出力は選択的に第3のチャネルとブレンドされて、三つのチャネルがブレンドされた出力および二つのチャネルがブレンドされた出力を提供しうる。
図21に示すように、CMU1930は、CPCBビデオパイプライン560のオーバレイエンジン2000部分に含まれえ、少なくとも一つのビデオ信号特徴を向上させうる。ビデオ信号特徴は、画像の適応コントラスト強調2120、輝度、コントラスト、色相および彩度調節を含みえ、局所的な色のインテリジェントリマップ(intelligent remapping of color locally)2130、色相および輝度を変えないインテリジェント彩度制御(intelligent saturation control)、ルックアップテーブル2150および2160によるガンマ制御、および望ましい色空間への色空間変換(CSC)2110を含みうる。
CMU1930のアーキテクチャは、CMUに任意の形式でビデオチャネル信号1942を受信させ、出力1932を任意の他の形式に変換させる。CMUパイプラインの前にあるCSC2110はビデオチャネル信号1942を受信して、任意の可能性のある3色空間をビデオ色処理空間に変換しうる(例えば、RGBをYCbCrへ変換)。さらに、CMUパイプラインの終わりのCSCは、色処理空間から出力3色空間に変換しうる。包括処理機能2140を利用して、輝度、コントラスト、色相および/または彩度を調節しうるし、出力CSCと共有されうる。CSCおよび包括処理機能2140はマトリクス乗算演算を行うので、二つのマトリクス乗算器を一つに組み合わせてもよい。この種類の共有は、二つのマトリクス乗算演算を組み合わせた後の最後の係数を予め算出することで行われうる。
CPCBビデオパイプライン560はさらに、特定の数のビットに、ディスプレイデバイスが必要としうるディザ処理を施してよい。少なくとも一つのチャネル出力のインタレーサも提供されてよい。CPCBビデオパイプライン560はさらに、デバイスに表示されうるチャネル出力の少なくとも一つに対して制御出力(Hsync、Vsync、Field)を生成しうる。さらに、CPCBビデオパイプライン560は、輝度、コントラスト、色相および彩度調節を包括的に、出力チャネルの少なくとも一つに対して行え、出力チャネルの少なくとも一つに対して、さらなるスケーリングおよびFRCを提供しうる。
図16および19に戻ると、FRCパイプライン550からのチャネル出力1656、1652、および1654がCPCBビデオパイプライン560に提供される。第1のチャネル1656は、第1のチャネル1656上のアップサンプリングビデオ信号のサンプラ1910を利用しうる第1の経路に沿って処理されえ、サンプラ1910の出力1912は、主要なチャネルオーバレイ1960および補助チャネルオーバ1962の両方に提供されて、出力の少なくとも一つのブレンド画像を生成しうる。第2のチャネル1652は、モジュール1920に対して視覚処理およびサンプリングを行う第2の経路に沿って処理されうる。視覚処理およびサンプリングモジュール1920の出力は(ビデオ信号をアップサンプルしうるが)、ビデオオーバレイ1940(あるいはオーバレイエンジン2000)に入力されて第3のチャネル1654(サンプラ1910によっても実行されうる)を出力とともにブレンドあるいは配置しうる。オーバレイエンジン2000の機能は図20を参照しながら詳述する。
ビデオオーバレイの出力1942(第2のビデオチャネル信号1625とオーバレイされた第1のビデオチャネル信号1623であってよい)は、CMU1930を介して主要なチャネルオーバレイ1960に提供されてよく、さらにマルチプレクサ1950に提供されてよい。ビデオオーバレイの出力1942を受信することに加えて、マルチプレクサ1950はさらに視覚処理およびサンプリングモジュール1920およびサンプラ1910を受信してよい。マルチプレクサ1950は、どのビデオ信号入力を補助チャネルオーバレイ1962に提供するか選択するよう動作してよい。または、マルチプレクサ1951は、マルチプレクサ1950の出力あるいはCPU1930の出力1932のいずれかを選択して、補助チャネルオーバレイ1962へビデオ信号出力1934として提供してよい。処理部を主要なチャネルオーバレイおよび補助チャネルオーバレイの前に配置することで、同じビデオ信号が主要チャネルオーバレイおよび補助チャネルオーバレイに提供させる。1970および1972によるさらなる処理の後、同じビデオ信号(VI)は同時に1)主要出力1974への主要な出力信号としての表示用に出力、および2)補助出力1976への補助出力信号としての表示用あるいは記憶用に出力される前にさらにダウンスケールされうる。
主要な出力1974および補助出力1976両方についてデータ選択を独立して制御するべく、第1のビデオチャネル信号1932および第2のビデオチャネル信号1934を独立して第1および第2のビデオチャネルオーバレイモジュール1940から選択することで、主要チャネルおよび補助チャネルを形成しうる。補助チャネルオーバレイモジュール1962は、第1のビデオチャネル信号1652、第2のビデオチャネル信号1654、あるいはオーバレイされた第1および第2のビデオチャネル信号1942を選択しうる。CMU1930は第1のビデオチャネル信号1652に適用され、第2のビデオチャネル信号1654は、第1および第2のビデオチャネル信号が同じあるいは異なる色空間を有するか否かに応じてマルチプレクサ1951によりCMU1930の前あるいは後に選択されうる。さらに、第1および第2のビデオチャネル信号1932および1934は、独立して第3のビデオチャネル信号1656とブレンドされうる。
CPCBビデオパイプライン560はさらに、ダウンスケーラ1980が表す補助出力1976にスケーリングおよびFRCを施しうる。このフィーチャは、主要な出力1974から別個の補助出力1976を提供するのに必要となる場合がある。より高い周波数クロックがスケーリングクロックとして選択されるべきなので、CPCBビデオパイプライン560は主要な出力クロックをランオフしてよい、というのも補助クロック周波数は主要クロックのもの以下だからである。ダウンスケーラ1980はさらに、インタレースされたデータを生成する能力を有してよく、これはFRCおよび出力データフォーマットを経て補助出力として利用されうる。
第1のチャネルがSDTVビデオ信号であり、主要な出力1974がHDTV信号であり補助出力1976がSDTVビデオ信号であるべきである幾らかのシナリオにおいては、CMU1930は第1のチャネルSDビデオ信号をHDビデオに変換しえ、その後HD色処理を施しうる。この場合、マルチプレクサ1950は、自身の出力ビデオ信号1942として(CMU1930に渡されなくてもよい信号を)選択してよく、これによりHD信号を主要なチャネルオーバレイモジュール1960に提供して、処理済SDTV信号を補助チャネルオーバレイ1962に提供してよい。さらに、補助チャネルスケーリングおよび処理モジュール1972は、補助出力1976に色制御を行ってよい。
第1のチャネルがHDTVビデオ信号であり、主要な出力1974がHDTV信号であり補助出力1976がSDTVビデオ信号であるべきである幾らかの他のシナリオにおいては、CMU1930はHD処理を行い、マルチプレクサ1951はCMU1932の出力を選択してHDTV処理済信号を補助チャネルオーバレイモジュール1962に提供してよい。さらなる補助チャネルスケーリングおよび処理モジュール1972は、補助出力1976用に色空間をSDTVに変換する色制御を行ってよい。
補助出力1974および1976両方がSDビデオ信号である、幾らかの他のシナリオにおいては、さらなるチャネルスケーリングおよび処理モジュール1970および1972は同様の色制御機能を行って信号を対応する主要出力1974および補助出力1976に出力する準備を整えてよい。
ビデオチャネルがパイプラインセグメント540、550、560、および570のいずれにおいてもパイプラインの特定の部分を利用しない場合(図5)、その部分を別のビデオチャネルで利用されるよう構成してビデオ品質を向上させてよい。例えば、第2のビデオチャネル1264がFRCパイプライン550でデインタレーサ340を利用しない場合、第1のビデオチャネル1262を第2のビデオチャネルパイプラインのデインタレーサ340を利用するよう構成してビデオ品質を向上させてよい。図15との関連で記載したように、さらなるノイズ低減器330およびさらなるデインタレーサ340が、共有メモリパイプラインセグメント1260にさらなるフィールドラインを同時に処理させることで(例えば同時に6つのフィールドライン処理)特定のビデオ信号の品質を向上させてよい。
CPCBビデオパイプライン560を利用して提供されうる例示的出力形式の幾らかは、National Television Systems Committe(NTSC)およびPhase Alternating Line(PAL)の同じ入力画像の主要出力および二次的出力、HDおよびSD(NTSCあるいはPAL)主要および二次的出力を含み、第1のチャネル画像が主要出力に提供され第2のチャネル画像が補助出力に提供される二つの異なる出力を含み、オーバレイされる第1および第2のチャネルビデオ信号を主要出力に含み、および一つのチャネルビデオ信号(第1のチャネルあるいは第2のチャネル)を補助出力に含み、異なるOSDブレンド要素(アルファ値)を主要出力および補助出力に含み、独立した輝度、コントラスト、色相、および彩度調節を主要出力および補助出力に含み、主要出力および補助出力に異なる色空間(例えば主要出力にRec.709、補助出力にRec.601)を含み、および/または、異なる群のスケーリング係数を第1のチャネルスケーラおよび第2のチャネルスケーラに利用することでよりシャープな/スムーズな画像を補助出力に含む。
図20は、オーバレイエンジン2000(図19)を詳細に示す。オーバレイエンジン2000は、少なくともビデオオーバレイモジュール1940、CMU1930、第1および第2のチャネルパラメタ2020および2030、セレクタ2010、および主要M−プレーンオーバレイモジュール2060を含む。主要M−プレーンオーバレイ2060は、主要チャネルオーバレイ1960(図19)に類似しているが、さらなるチャネルビデオ信号2040を第三のチャネル入力1912(図19)とブレンドあるいはオーバレイするのに利用されうる追加的機能を含みうる。
オーバレイエンジン2000は、最後のディプレイキャンバス上にM個の入手可能な独立したビデオ/グラフィックプレーンを配置することで、単一のビデオチャネルストリームを生成しうる。一つの特定の実施形態においては、オーバレイエンジン2000は、6つのプレーンを最終ディスプレイキャンバス上に配置することで単一のチャネルストリームを生成しうる。各プレーンのディスプレイスクリーン上の位置は構成可能である。各プレーンの優先度もまた構成できてよい。例えば、プレーンのディスプレイキャンバス上の位置を重ねあわせる場合、優先度のランクは、どのプレーンを最上部に配置してどのプレーンを隠すか、という問題を解決するのに利用されうる。オーバレイはさらにオプションで各プレーンを縁取るのに利用されてもよい。
さらなるビデオチャネル信号2040の例、およびその源は、第1のチャネルビデオ信号1652であってよい主要プレーン、第2のチャネルビデオ信号1654であってよいPIPプレーン、オンチップキャラクタOSD生成器を利用して生成されるcharOSDプレーン、ビットマップOSDエンジンを利用して生成されうるビットマップOSDプレーンを含んでよい。OSD画像はメモリに記憶されえ、メモリインタフェースを利用してメモリ内の様々なビットマップされ予め記憶されたオブジェクトをフェッチして、それらをメモリにさらに記憶できるキャンバス上に配置するのに利用されてよい。メモリインタフェースはさらに、要求されたオブジェクトをフェッチする間に形式変換を行ってよい。ビットマップOSDエンジンは、記憶されたキャンバスをラスタ走査により読み出し、オーバレイに送ってよい。さらなるビデオチャネル信号2040は、カーソルOSDエンジンにより生成されえ、小さなオンチップメモリを利用してカーソルなどの小さなオブジェクトのビットマップ、外部源から受信した外部OSDを記憶するカーソルOSDプレーンを含みうる。外部OSDエンジンはラスタ制御信号およびディスプレイクロックを送出しうる。外部OSD源は、これら制御信号を参照として利用して、データをスキャン順に送信する。このデータはオーバレイにルーティングされうる。外部OSDプレーンがイネーブルな際に、Flexiportを利用して外部OSDデータを受信しうる。
CMU1930の前のオーバレイ1940は、第1のビデオチャネルストリーム1653および第2のビデオチャネルストリーム1655をオーバレイしうる。オーバレイ1940は、CMU1930に単一のビデオストリームで動作させ、多数のビデオチャネルストリーム用にCMU1930内でモジュールを複写する必要をなくすことで、CMU1930をより効率的に振舞わせてよい。単一のビデオチャネル信号1942をCMU1930に提供することに加えてオーバレイ1940は、さらに、ビデオ部分が第1のビデオチャネルストリームに属すか第2のビデオチャネルストリームに属すかを識別する部分(ピクセル毎の)インジケータ1944をCMU1930に提供してよい。
第1のビデオチャネルストリーム1653および第2のビデオチャネルストリーム1655に対応する二群のプログラム可能なパラメタ2020および2030を提供してもよい。セレクタ2010は、どのプログラム可能なパラメタをCMU1930に提供するか選択すべく部分インジケータ1944を利用してよい。例えば、部分インジケータ1944が、CMU1930が処理する部分が第1のビデオチャネルストリーム1653に属すことを示している場合、セレクタ2010はCMU1930に、第1のビデオチャネルストリーム1653に対応するプログラム可能なパラメタ2020を提供してよい。
ビデオプレーンと同じ数の層があってよい。層0は最下層であってよく、それに続く層が増加する層インデックスを持ってよい。層は、次元的特徴あるいは位置的特徴を持つのではなく、それらが積層されるべき順序を提供していてよい。オーバレイエンジン2000は、層0から始まりそこから上昇する層を混合してよい。層1は第一に、層1に置かれるビデオプレーンに関連付けられたブレンド係数(blend factor)を利用して層0にブレンドされてよい。層0および層1の出力のブレンドは、その後層2とブレンドされてよい。利用されうるブレンド係数は、層2に置かれるプレーンに関連付けられたものであってよい。層0、層1、および層2の出力のブレンドは層3とブレンドされ、この動作をその後、最終層が混合されるまで続けてよい。当業者であれば、層のブレンドを、本発明の教示から逸脱しない範囲で任意の組み合わせで行う選択をしてよいことを理解しよう。例えば、層1が層3とブレンドされ、その後層2とブレンドされてもよい。
さらに、オーバレイエンジン2000は主要出力チャネルとの関連で記載されたが、オーバレイエンジン2000を補助出力チャネルに適用してM−プレーンオーバレイを提供するよう色処理およびチャネルブレンドパイプライン560を修正してもよい。
図22は、ビデオパイプラインの後端パイプラインステージ570をより詳細に示す。後端パイプラインステージ570は、少なくとも主要出力フォーマッタ2280、署名アキュムレータ1990、補助出力フォーマッタ2220およびセレクタ2230を含みうる。
後端パイプラインステージ570は、主要出力および補助出力の両方の出力フォーマットを行え、補助出力として制御出力(Hsync、Vsync、Field)を生成しうる。後端パイプラインステージ570は、デジタルインタフェースおよびアナログインタフェース両方を助ける。主要出力フォーマッタ2280は、処理済主要ビデオチャネル信号1974を受信して、対応する主要出力信号492aを生成しうる。補助出力フォーマッタ2220は、処理済補助ビデオチャネル信号1976を受信して対応する補助出力信号492bを生成しうる。署名アキュムレータ1990は、補助ビデオチャネル信号1976を受信して、蓄積されている信号間の差異を蓄積および比較して、出力されたビデオ信号のビデオ信号品質を決定してよく、必要であればこの情報をプロセッサに提供してシステムパラメータを変更してよい。
補助ビデオチャネル信号1976はさらに、出力492b用にフォーマットされる前にCCIR656エンコーダ(不図示)に提供されてよい。CCIR656エンコーダは、信号を外部記憶装置あるいは他の適切な手段に対して準備するべく配置するよう任意の必要なエンコードを行ってよい。または、補助ビデオチャネル信号1976を、セレクタ2230を利用してエンコードもフォーマットもせずに出力信号492bとして提供して、バイパス補助ビデオチャネル信号2240を選択してよい。
後端パイプラインステージ570のインタレースモジュール(不図示)も提供されてよい。入力信号がインタレースされる場合、第一にデインタレーサ340によりプログレッシブに変換されてよい(図13)。デインタレーサは、ビデオパイプラインステージの全ての後続のモジュールがプログレッシブドメインで動作しうるので、必要となりうる。後端パイプラインステージ570のインタレーサは、インタレースされた出力が所望される場合に選択的にONになってよい。
インタレーサモジュールは少なくとも二つのピクセルラインを記憶するのに十分な大きさのメモリを少なくとも含みうるが、必要であれば全フレームを記憶するよう修正することができる。プログレッシブな入力は、プログレッシブなタイミングでメモリに書き込まれてよい。プログレッシブなタイミングでロックされた、インタレースされたタイミングは、ピクセルレートの半分で生成されてよい。データはインタレースされたタイミングで、メモリから読み出されてよい。偶数のフィールドラインは奇数のフィールドから間引かれてよく、奇数のフィールドラインは偶数のフィールドから間引かれてよい。これにより、今度は、任意のデバイスでの利用に適したインタレースされた出力が生成されうる。
故に、共有記憶容量を利用して多数の高品質なビデオチャネルストリームを提供する装置および方法が提供される。当業者であれば、本発明が記載された実施形態以外の方法で実施することができることを理解するであろう、というのも実施形態は限定目的からではなく、例示目的で提示されており、本発明は以下の請求項のみにより限定されるからである。

Claims (37)

  1. 第1のフォーマットで第1の画像コンテンツを有する少なくとも第1のビデオ信号を受信する入力ステージと、
    第2のフォーマットで前記第1の画像コンテンツに実質的に等しい画像コンテンツを有する第2のビデオ信号を生成するビデオ処理ステージと、
    主要パイプラインおよび補助パイプラインを含む出力ステージと、を備えるプログラム可能なビデオ処理デバイスであって、
    前記主要パイプラインが、主要出力上に前記第1のフォーマットで前記第1のビデオ信号を供給し、
    前記補助パイプラインが、補助出力上に前記第2のフォーマットで前記第2のビデオ信号を供給する、プログラム可能なビデオ処理デバイス。
  2. 前記ビデオ処理ステージは、オーバレイエンジンをさらに含み、
    前記オーバレイエンジンは、
    前記第1のビデオ信号を受信し、前記第1のビデオ信号の有する少なくとも一つの特徴を向上させ、向上した第1のビデオ信号を生成する色管理部と、
    前記向上した第1のビデオ信号を受信し、前記主要パイプラインへ前記向上した第1のビデオ信号を供給する第1のオーバレイ回路と、
    少なくとも前記第1のビデオ信号を受信し、前記第1のビデオ信号を前記補助パイプラインへ供給する選択回路と、を含む、請求項1に記載のプログラム可能なビデオ処理デバイス。
  3. 前記オーバレイエンジンは、
    前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号を受信する入力回路と、
    前記第1のビデオ信号に前記第3のビデオ信号をオーバレイして第1のオーバレイビデオ信号を生成する第2のオーバレイ回路と、をさらに含む、請求項2に記載のプログラム可能なビデオ処理デバイス。
  4. 前記色管理部は前記第1のオーバレイビデオ信号を受信する、請求項3に記載のプログラム可能なビデオ処理デバイス。
  5. 前記第2のオーバレイ回路は、前記第1のオーバレイビデオ信号の一部が、前記第1のビデオ信号あるいは前記第3のビデオ信号のいずれに対応するかを示すビデオ信号インジケータをさらに供給する、請求項4に記載のプログラム可能なビデオ処理デバイス。
  6. 前記色管理部はさらに、
    前記第1のオーバレイビデオ信号の前記一部が前記第1のビデオ信号に対応していることを前記ビデオ信号インジケータが示す場合、第1のビデオ信号パラメータを受信し、
    前記第1のオーバレイビデオ信号の前記一部が前記第3のビデオ信号に対応していることを前記ビデオ信号インジケータが示す場合、第2のビデオ信号パラメータを受信する、請求項5に記載のプログラム可能なビデオ処理デバイス。
  7. 前記オーバレイエンジンは、
    前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号と、前記第3のビデオ信号と関連付けられた優先度指示子とを少なくとも受信する、入力回路と、
    前記優先度指示子に基づいて、前記向上した第1のビデオ信号に少なくとも前記第3のビデオ信号をオーバレイして第1のオーバレイビデオ信号を生成する、オーバレイ回路と、をさらに含む、請求項2に記載のプログラム可能なビデオ処理デバイス。
  8. 前記第3のビデオ信号はOSDビデオ信号であって、
    前記オーバレイ回路は、前記向上した第1のビデオ信号に、前記第1の画像コンテンツおよび前記第2の画像コンテンツとは異なる第3の画像コンテンツ、キャラクタOSD、ビットマップされたOSD、あるいはカーソルOSDを有する第4のビデオ信号を、さらにオーバレイする、請求項7に記載のプログラム可能なビデオ処理デバイス。
  9. 前記少なくとも一つの特徴は、適応コントラスト強調、輝度、コントラスト、色相および彩度調節、色リマップ、彩度および色相制御、ガンマ制御、あるいは色空間変換である、請求項2に記載のプログラム可能なビデオ処理デバイス。
  10. 前記出力ステージは、
    前記第2のビデオ信号を受信し、前記第2のビデオ信号をスケールして補助デバイスと関連付けられたパラメータに合致させるスケール回路を、前記補助パイプライン中にさらに含む、請求項1に記載のプログラム可能なビデオ処理デバイス。
  11. 前記出力ステージは、
    前記スケール回路から前記スケールされた第2のビデオ信号を受信し、前記スケールされた第2のビデオ信号をエンコードして、前記補助デバイスと関連付けられた前記パラメータに合致させるエンコード回路を、前記補助パイプライン中にさらに含む、請求項10に記載のプログラム可能なビデオ処理デバイス。
  12. 前記第1のビデオ信号の入力フォーマットが、NTSC、PAL、HD、あるいはSDである、請求項1に記載のプログラム可能なビデオ処理デバイス。
  13. 前記第1のビデオ信号の前記主要出力上のフォーマットは、NTSC、PAL、HD、あるいはSDであり、
    前記第2のビデオ信号の前記補助出力上のフォーマットは、NTSC、PAL、HD、あるいはSDである、請求項1に記載のプログラム可能なビデオ処理デバイス。
  14. 少なくとも二つのビデオ信号を供給する方法であって、
    第1のフォーマットで第1の画像コンテンツを有する少なくとも一つの第1のビデオ信号を受信することと、
    第2のフォーマットで前記第1の画像コンテンツに実質的に等しい画像コンテンツを有する第2のビデオ信号を生成することと、
    主要出力上に前記第1のフォーマットで前記第1のビデオ信号を供給することと、
    補助出力上に前記第2のフォーマットで前記第2のビデオ信号を供給することと、を備える方法。
  15. 前記第1のビデオ信号の有する少なくとも一つの特徴を向上させることと、
    向上した第1のビデオ信号を生成することと、
    前記向上した第1のビデオ信号を前記主要出力へ供給することと、
    前記第1のビデオ信号を前記補助出力へ供給することと、をさらに備える、請求項14に記載の方法。
  16. 前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号を受信することと、
    前記第1のビデオ信号に前記第3のビデオ信号をオーバレイして第1のオーバレイビデオ信号を生成することと、をさらに備える、請求項15に記載の方法。
  17. 前記第1のオーバレイビデオ信号の一部が、前記第1のビデオ信号あるいは前記第3のビデオ信号のいずれに対応するかを示すことをさらに備える、請求項16に記載の方法。
  18. 前記第1のオーバレイビデオ信号の前記一部が前記第1のビデオ信号に対応していることが示される場合、第1のビデオ信号パラメータを受信することと、
    前記第1のオーバレイビデオ信号の前記一部が前記第3のビデオ信号に対応していることが示される場合、第2のビデオ信号パラメータを受信することと、をさらに備える請求項17に記載の方法。
  19. 前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号と、前記第3のビデオ信号と関連付けられた優先度指示子とを少なくとも受信することと、
    第1のオーバレイビデオ信号を生成すべく、前記優先度指示子に基づいて、前記向上した第1のビデオ信号に少なくとも前記第3のビデオ信号をオーバレイすることと、をさらに備える、請求項15に記載の方法。
  20. 前記第3のビデオ信号はOSDビデオ信号であって、
    前記オーバレイすることにより、前記向上した第1のビデオ信号に、前記第1の画像コンテンツおよび前記第2の画像コンテンツとは異なる第3の画像コンテンツ、キャラクタOSD、ビットマップされたOSD、あるいはカーソルOSDを有する第4のビデオ信号がオーバレイされる、請求項19に記載の方法。
  21. 前記少なくとも一つの特徴は、適応コントラスト強調、輝度、コントラスト、色相および彩度調節、色リマップ、彩度および色相制御、ガンマ制御、あるいは色空間変換である、請求項15に記載の方法。
  22. 補助デバイスに関連付けられたパラメータに合致させるよう、前記第2のビデオ信号をスケールすることをさらに備える、請求項14に記載の方法。
  23. 補助デバイスに関連付けられたパラメータに合致させるよう、前記スケールされた第2のビデオ信号をエンコードすることをさらに備える、請求項22に記載の方法。
  24. 前記第1のビデオ信号の入力フォーマットが、NTSC、PAL、HD、あるいはSDである、請求項14に記載の方法。
  25. 前記第1のビデオ信号の前記主要出力上のフォーマットは、NTSC、PAL、HD、あるいはSDであり、
    前記第2のビデオ信号の前記補助出力上のフォーマットは、NTSC、PAL、HD、あるいはSDである、請求項14に記載の方法。
  26. 少なくとも二つのビデオ信号を供給するシステムであって、
    第1のフォーマットで第1の画像コンテンツを有する少なくとも一つの第1のビデオ信号を受信する手段と、
    第2のフォーマットで前記第1の画像コンテンツに実質的に等しい画像コンテンツを有する第2のビデオ信号を生成する手段と、
    主要出力手段上に前記第1のフォーマットで前記第1のビデオ信号を供給する手段と、
    補助出力手段上に前記第2のフォーマットで前記第2のビデオ信号を供給する手段と、を備えるシステム。
  27. 前記第1のビデオ信号の有する少なくとも一つの特徴を向上させる手段と、
    第1の向上したビデオ信号を生成する手段と、
    前記第1の向上したビデオ信号を前記主要出力手段に供給する手段と、
    前記第1のビデオ信号を前記補助出力手段に供給する手段と、をさらに備える、請求項26に記載のシステム。
  28. 前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号を受信する手段と、
    前記第1のビデオ信号に前記第3のビデオ信号をオーバレイして第1のオーバレイビデオ信号を生成する手段と、をさらに備える、請求項27に記載のシステム。
  29. 前記第1のオーバレイビデオ信号の一部が、前記第1のビデオ信号あるいは前記第3のビデオ信号のいずれに対応するかを示す手段をさらに備える、請求項28に記載のシステム。
  30. 前記第1のオーバレイビデオ信号の前記一部が前記第1のビデオ信号に対応していることが示される場合、第1のビデオ信号パラメータ手段を受信する手段と、
    前記第1のオーバレイビデオ信号の前記一部が前記第3のビデオ信号に対応していることが示される場合、第2のビデオ信号パラメータ手段を受信する手段と、をさらに備える請求項29に記載のシステム。
  31. 前記第1の画像コンテンツとは異なる第2の画像コンテンツを有する第3のビデオ信号と、前記第3のビデオ信号と関連付けられた優先度指示子手段とを少なくとも受信する手段と、
    第1のオーバレイビデオ信号を生成すべく、前記優先度指示子手段に基づいて、少なくとも前記第3のビデオ信号を、前記向上した第1のビデオ信号にオーバレイする手段と、をさらに備える、請求項27に記載のシステム。
  32. 前記第3のビデオ信号はOSDビデオ信号であって、
    前記オーバレイする手段により、前記第1の向上したビデオ信号に、前記第1の画像コンテンツおよび前記第2の画像コンテンツとは異なる第3の画像コンテンツ、キャラクタOSD、ビットマップされたOSD、あるいはカーソルOSDを有する第4のビデオ信号がオーバレイされる、請求項31に記載のシステム。
  33. 前記少なくとも一つの特徴は、適応コントラスト強調、輝度、コントラスト、色相および彩度調節、色リマップ、彩度および色相制御、ガンマ制御、あるいは色空間変換である、請求項26に記載のシステム。
  34. 補助デバイス手段に関連付けられたパラメータに合致させるよう、前記第2のビデオ信号をスケールする手段をさらに備える、請求項25に記載のシステム。
  35. 補助デバイス手段に関連付けられたパラメータに合致させるよう、前記スケールされた第2のビデオ信号をエンコードする手段をさらに備える、請求項34に記載のシステム。
  36. 前記第1のビデオ信号の入力フォーマットが、NTSC、PAL、HD、あるいはSDである、請求項25に記載のシステム。
  37. 前記第1のビデオ信号の前記主要出力上のフォーマットは、NTSC、PAL、HD、あるいはSDであり、
    前記第2のビデオ信号の前記補助出力上のフォーマットは、NTSC、PAL、HD、あるいはSDである、請求項25に記載のシステム。
JP2009506583A 2006-04-18 2007-04-18 共有メモリマルチビデオチャネルディスプレイ装置および方法 Pending JP2009534931A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US79328806P 2006-04-18 2006-04-18
US79327706P 2006-04-18 2006-04-18
US79327606P 2006-04-18 2006-04-18
US79327506P 2006-04-18 2006-04-18
US11/607,601 US20070242160A1 (en) 2006-04-18 2006-11-30 Shared memory multi video channel display apparatus and methods
PCT/US2007/009579 WO2007124003A2 (en) 2006-04-18 2007-04-18 Shared memory multi video channel display apparatus and methods

Publications (2)

Publication Number Publication Date
JP2009534931A true JP2009534931A (ja) 2009-09-24
JP2009534931A5 JP2009534931A5 (ja) 2010-06-03

Family

ID=38604477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009506583A Pending JP2009534931A (ja) 2006-04-18 2007-04-18 共有メモリマルチビデオチャネルディスプレイ装置および方法

Country Status (5)

Country Link
US (1) US20070242160A1 (ja)
EP (2) EP2016764A2 (ja)
JP (1) JP2009534931A (ja)
KR (1) KR20090034799A (ja)
WO (1) WO2007124003A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9402062B2 (en) * 2007-07-18 2016-07-26 Mediatek Inc. Digital television chip, system and method thereof
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
CN101640768B (zh) * 2008-07-30 2011-09-07 天津天地伟业数码科技有限公司 多通道osd视频叠加控制器
JPWO2010052808A1 (ja) * 2008-11-06 2012-03-29 パナソニック株式会社 受信装置、信号処理装置、および映像表示装置
JP2010124309A (ja) * 2008-11-20 2010-06-03 Sharp Corp 画像表示装置及び画像調整方法
US20100149425A1 (en) * 2008-12-15 2010-06-17 Mediatek Inc. Image processing system and image processor
JP5312483B2 (ja) * 2008-12-24 2013-10-09 三菱電機株式会社 デジタル放送受信機
US8248535B2 (en) * 2009-02-18 2012-08-21 Csr Technology Inc. System and method for a versatile display pipeline architecture for an LCD display panel
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event
US20110102671A1 (en) * 2009-10-29 2011-05-05 Apple Inc. Picture in Picture Video Display for Low Power Device
US20110157426A1 (en) * 2009-12-30 2011-06-30 Altek Corporation Video processing apparatus and video processing method thereof
US8675138B2 (en) * 2010-07-15 2014-03-18 Broadcom Corporation Method and apparatus for fast source switching and/or automatic source switching
US9788046B2 (en) * 2010-11-19 2017-10-10 Sling Media Pvt Ltd. Multistream placeshifting
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
US10725645B2 (en) * 2013-05-20 2020-07-28 Rakuten, Inc. Information processing device for controlling display of web pages using main display area and sub display area
CN105185193A (zh) * 2015-10-20 2015-12-23 刘学俊 一种心理差异培训系统
CN105185196A (zh) * 2015-10-20 2015-12-23 刘学俊 一种用于提高心理素质的培训装置
CN105185195A (zh) * 2015-10-20 2015-12-23 刘学俊 一种把握爱的契机的培训装置
US11488285B2 (en) 2020-04-13 2022-11-01 Apple Inc. Content based image processing
CN112995610A (zh) * 2021-04-21 2021-06-18 浙江所托瑞安科技集团有限公司 共享内存在多路视频监控中运用的方法
US11756502B2 (en) * 2022-02-11 2023-09-12 Dell Products, L.P. System and method for providing fast response time performance with low latency in liquid crystal displays

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024533A (ja) * 1999-07-12 2001-01-26 Mitsubishi Electric Corp ディジタル放送受信機及びテレビ装置
JP2005117085A (ja) * 2003-10-02 2005-04-28 Funai Electric Co Ltd パネル表示テレビジョン
WO2005067285A2 (en) * 2003-12-22 2005-07-21 Intel Corporation Controlling the overlay of multiple video signals

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62159582A (ja) * 1986-01-06 1987-07-15 Sony Corp テレビジヨン受像機
JPH0219079A (ja) * 1988-07-06 1990-01-23 Pioneer Electron Corp 映像信号処理装置
US5982453A (en) * 1996-09-25 1999-11-09 Thomson Consumer Electronics, Inc. Reduction of visibility of spurious signals in video
JP4086354B2 (ja) * 1998-02-12 2008-05-14 ローム株式会社 マルチフォーマットビデオエンコーダ
US6141062A (en) * 1998-06-01 2000-10-31 Ati Technologies, Inc. Method and apparatus for combining video streams
JP2000023061A (ja) * 1998-07-02 2000-01-21 Sony Corp テレビジョン受信機
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6563506B1 (en) * 1998-12-14 2003-05-13 Ati International Srl Method and apparatus for memory bandwith allocation and control in a video graphics system
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
US6690425B1 (en) * 2000-06-22 2004-02-10 Thomson Licensing S.A. Aspect ratio control arrangement in a video display
US20040131276A1 (en) * 2002-12-23 2004-07-08 John Hudson Region-based image processor
CN1279756C (zh) * 2003-05-23 2006-10-11 华亚微电子(上海)有限公司 应用场景静止检测的视频信号自适应递归降噪方法
US20050104899A1 (en) * 2003-11-19 2005-05-19 Genesis Microchip Inc. Real time data stream processor
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
US7484430B2 (en) * 2004-07-27 2009-02-03 Delphi Technologies, Inc. Telescope feature used for energy absorption
US7425994B2 (en) * 2005-01-31 2008-09-16 Texas Instruments Incorporated Video decoder with different signal types processed by common analog-to-digital converter
US7480012B1 (en) * 2005-02-24 2009-01-20 Pixelworks, Inc. Multiplexed video digitization system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001024533A (ja) * 1999-07-12 2001-01-26 Mitsubishi Electric Corp ディジタル放送受信機及びテレビ装置
JP2005117085A (ja) * 2003-10-02 2005-04-28 Funai Electric Co Ltd パネル表示テレビジョン
WO2005067285A2 (en) * 2003-12-22 2005-07-21 Intel Corporation Controlling the overlay of multiple video signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5009004432; 'PNX17xx Series Data Book' [ONLINE] , 20060317, 2-1〜17,11-1〜42,12-1〜19,19-1〜14,20-1〜13, PHILIPS *

Also Published As

Publication number Publication date
WO2007124003A3 (en) 2008-01-10
EP2326082A2 (en) 2011-05-25
WO2007124003A2 (en) 2007-11-01
EP2016764A2 (en) 2009-01-21
US20070242160A1 (en) 2007-10-18
EP2326082A3 (en) 2011-07-20
KR20090034799A (ko) 2009-04-08

Similar Documents

Publication Publication Date Title
JP5582429B2 (ja) デコーダおよび方法
KR101334295B1 (ko) 공유 메모리 멀티 비디오 채널 디스플레이 장치 및 방법
JP2009534931A (ja) 共有メモリマルチビデオチャネルディスプレイ装置および方法
JP5217037B2 (ja) 共有メモリマルチビデオチャネルディスプレイ装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100409

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20101108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200407