JP2009509203A - ビデオストリームのフレームレートの保存、リサンプリング、またはリフォーマット装置及び方法 - Google Patents

Abstract

ビデオストリームの入力フレームレートを出力ストリームの出力フレームレートに整合させる装置(10)を開示する。この装置(10)は、少なくとも１つのメモリーバッファ(13;22)、出力フレーム発生器(14)、及び上記少なくとも１つのメモリーバッファ(13;22)の状態に関する制御フィードバックを実現する調整手段(8,14,24,25,27,29,30)を具えている。これらの調整手段(8,14,24,25,27,29,30)は、この状態を監視することを可能にし、２つの異なる設定間の調整を実行して、出力ストリームの出力フレームレートまたはラインレートを減速または加速させる。

Description

本発明は、ビデオストリームのそれぞれのビデオ信号を表示装置に送信する前にビデオストリームをリフォーマット（フォーマット再設定）することに関するものである。

ビデオ信号を固定マトリクスの表示装置（例えばＴＦＴ表示パネル）上に表示する際に、入力ビデオ周波数を表示装置に適合するようにリフォーマットする必要がある。出力ラインレートの変動を最小化するか解消しつつ、水平ブランキング（帰線消去）及び／またはクロックレートを変更する必要があり得るし、画像をリサンプリング（再サンプリング、再標本化）してライン解像度及び画素解像度を調整しなければならないことがある。低コストの応用については、このことは、ビデオ画像の２、３本のラインのみを保持する小型で廉価なメモリーバッファのみを用いて行うことができる。しかし、この場合には、出力ビデオ信号を入力ビデオ信号に正確に同期させなけばならない。

入力ビデオクロック（ディジタルビデオ）または同期周波数（アナログ信号）が出力クロックに比べて安定である場合には、解決する必要のある主な問題は、入力垂直同期と出力垂直同期との間の適正な遅延（位相オフセットと称する）を維持することである。適正な遅延は実行するリフォーマットに依存する。各出力フレームにおける画像データの出力を、最初の入力画像データを捕捉してからちょうど正しい時間後に開始して、メモリーバッファ（デカップリング・メモリーバッファとしても知られている）を適正量、即ち、メモリーバッファが後にオーバーフローするほど多過ぎず、メモリーバッファが後に空になるほど少な過ぎない量の画像データで満たす必要がある。クロックまたはフレーム・レイアウトの微調整フィードバック制御が必要になる、というのは、表示装置またはクロック精度によって課せられるフレーム配置に対する制約が、入力フレームのタイミングと出力フレームのタイミングとを正確に整合させること、及び／または温度変動等による緩やかなドリフト（ゆらぎ）を回避することを不可能にするからである。

固定の垂直同期位相オフセットを維持する明白かつ周知の方法は、出力クロックを調整して、入力垂直同期と出力垂直同期との選択した目標位相オフセットを維持する位相ロックループ（位相同期ループ）を実現することである。それぞれの垂直位相ロックループは、専ら出力ビデオクロック（出力フレームレート）を担うか、あるいは、自走（フリーラン）クロックまたは入力同期信号にラインロックされたクロックに対する微調整用レギュレータ（調整器）として働くことができる。この方法は、ハードウェアでの比較的精密な計算を必要とする。

米国特許第６３５３４５９号明細書

他の方法は、米国特許第６３５３４５９号明細書に提案されている。この米国特許によれば、入力垂直同期と出力垂直同期との間の位相オフセットは、バッファメモリーにおいて特定しきい値レベルに達した場合に、バッファメモリーの出力を単にトリガすることで達成される。即ち、メモリーバッファのしきい値レベルに達すると、フレームの出力を開始する。こうした解決法は全くフレキシブル（柔軟）でなく、それぞれの実現は、コンピュータ（ＰＣ）環境またはテレビジョン（ＴＶ）応用においてビデオストリーム発生し得る異なる状況に対処することができない。さらに、近年の多くのフラットパネル・ディスプレイは、上記米国特許の教示に基づくシステムが出力するビデオ信号に対処することができない。

本発明の目的は、ビデオ信号の同期及び／またはリフォーマットのための、より効率的な代わりの方法を提供することにある。

本発明の目的は、最小のメモリーバッファ記憶を必要とするビデオ信号の同期及び／またはリフォーマットの方法を提供することにある。

これら及び他の目的は、請求項１に記載の装置及び請求項１５に記載の方法によって達成される。他の有利な実現は従属請求項で与えられる。

本発明によれば、選択的な複数の出力クロック及びまたはフレーム・レイアウトから自動的に選択することができる。この選択は、デカップリング・メモリーバッファの現在状態に基づいて行う。デカップリング・メモリーバッファを監視し、出力ビデオストリームを能動的に調整するそれぞれの調整メカニズム／方法が実現される。

本発明は、効果的かつ信頼性のあるアンダーフロー／オーバーフロー管理は、入力同期及び出力同期からの制御フィードバックによるよりも、バッファ状態からの制御フィードバックによってより直接的に達成することができる、という認識に基づくものである。

提案する本発明は、位相ロックループを実現する取り組みよりも単純な、効果的かつ信頼性のある方法である。

本発明による装置は、ライン当りのクロック数とクロック変動との、出力ビデオを受信する装置の特性に合ったトレードオフを可能にする。

本発明の他の利点は、メモリーバッファのサイズを理論的最小値に近く保つことができることにある。このことはコスト節減をもたらす。さらに、本発明の装置のＶＬＳＩ回路での実現は非常に単純になる。

他の利点は、安定な入力ビデオが存在する時間間隔については、ライン周波数及びブランキングの変動のない完全に安定な出力タイミングが達成される、ということにある。

他の有利な好適例は、実施例の詳細な説明に関連して扱われる。

本発明のより完全な説明のために、及び本発明の他の目的及び利点について、以下の図面を参照した実施例の説明を参照する。

図１に、大きな（フレームまたは部分フレームサイズの）メモリーバッファを使用せずに、ビデオ信号Ｖ_INをリサンプリング（本明細書に説明する種類のビデオ信号処理の関係ではスケーリングとも称する）及び／またはリフォーマットする装置１０を示す。接続１１経由で伝送されるビデオストリームＶ_INは、クロップ（切抜き）／捕捉装置１２によって受信される。このクロップ／捕捉装置１２に加えて、装置１０は少なくとも、メモリーバッファ１３または２２、出力フレーム発生器（ジェネレータ）１４、及びリサンプリングユニット１５を具えている。装置１０はさらに、制御レジスタ２６を具えることができる。いわゆる同期制御ユニット２７も存在する。本発明の調整方法は分散型である。本実施例では、同期制御ユニット２７は分離したボックスとして描く。このことは、実際の実施例において物理的なユニット２７が存在することを必ずしも意味しない。ユニット２７の要素または機能の一部は例えば、出力フレーム発生器１４の内部に実現することができる。同期制御ユニット２７の全体を出力フレーム発生器１４の内部に実現することもできる。

図１では、基本的なデータフロー（データの流れ）を、クロップ／捕捉装置１２及びリサンプリングユニット１５から出力フレームバッファ１４に行く矢印１７によって示す。この種のデータフローは、多くのこの種の装置の共通である。接続１１経由で伝送される入力ビデオ信号Ｖ_INは、供給されるクロックまたは合成／同期ロックされたクロックを用いて受信される。入力ビデオストリームＶ_INとして受信される画像データは、クロップ／捕捉装置１２によって処理され、リサンプリングユニット１５に渡される。リサンプリングユニット１５はリサンプリングされた画像を生成し、この画像は出力フレーム発生器１４に転送される。フレーム発生器１４は、所望のフレーミング（ブランキング信号及び同期信号）を加えたビデオ信号を出力接続１８経由でディスプレイ（図示せず）に出力する。クロック・シンセサイザ１６を用いて、出力フレーム発生器１４用のクロック信号を発生する。出力フレーム発生器１４用のクロック信号は、クロック線１９上で利用可能にされる。同期制御ユニット２７は、出力クロック選択信号を選択線２０経由でクロック・シンセサイザ１６に供給する。この出力クロック選択信号（２９）は、クロック・シンセサイザ１６におけるクロック速度及び／またはフレーム発生器におけるブランキング長の選択を可能にする。クロップ／捕捉装置１２用のクロック信号は別個に供給される。このクロックは、クロック・シンセサイザ１６が発生する出力ビデオクロックとは非同期である。このクロック信号は、入力ビデオ信号Ｖ_INの一部として直接供給することも、入力ビデオ信号Ｖ_INの同期タイミングから再発生することもできる。しかし、出力ビデオクロックは、この入力クロックから合成することも（ＴＶ応用では一般的）、自走発振器（フリーラン・オシレータ）から発生することも（コンピュータモニタ用にはこちらの方がより一般的）できる。

本発明によれば、メモリーバッファ１３または２２の内部に、あるいはこれに接続されたしきい値測定ユニット８が存在する。このしきい値測定ユニット８はしきい値信号（しきい値オーバー（超過）／アンダー（未満）信号）を発生し、この信号は線２５を通って同期制御ユニット２７に送られる。このしきい値信号はメモリーバッファ１３または２２の充満度により発生され、線２５経由で同期制御ユニット２７に伝送される。

線２８が存在し、線２８経由で、発生したフレーム内の現在位置が出力フレーム発生器１４から同期制御ユニット２７に伝送される。

本発明によれば、クロップ／捕捉装置１２の内部に、あるいはこれに接続された随意的な論理回路９が存在する。この随意的な論理回路９が発生する信号は線２３経由で伝送される。この信号を用いて、捕捉したフレーム内の指定位置を信号通知する。また、線３０を通って送信される信号も随意的である。この信号は、出力フレーム発生器１４において、指定されたブランキングラインの反復をトリガする。

メモリーバッファ１３は、垂直アップサンプリング位置用に用いられるＦＩＦＯ（First-in First-out：先入れ先出し）メモリーバッファである。このメモリーバッファ１３に加えて、図１に示すように、他のメモリーバッファ２２を用いることができる。メモリーバッファ２２は、垂直ダウンサンプリング位置用に用いられるＦＩＦＯメモリーバッファである。

図１には、追加的な３つの信号線２３、２４及び２５を示す。本発明のこの特定実施例では、これらの線２３〜２５は調整方式を促進するために用いられ、これについては以下に説明する。最も基本的な実施例については、信号線２５だけが必要である。他の２本の線２３及び２４は随意的である。

本発明によれば、出力フレーム発生器１４におけるクロック及び出力水平ブランキングは、装置１０を通るビデオ・データフローの経路内のポーズ（一時停止）を可能にし、入力画像データ（入力ビデオストリームＶ_IN）が、到着時のレートにできる限り近いレートで読み込まれ、リサンプリングされた画像データＶ_OUTが、発生時のレートにできる限り近いレートで出力されるように調整される。フレーム発生器１４が発生する垂直ブランキングは、入力フレームと出力フレームとができる限り同じ持続時間を有するように配置される

クロップ（切抜き）、リサンプリング、及びリフォーマットから生じるデータフローの不規則なバーストは、画像データの高々少数のラインを保持するＦＩＦＯメモリーバッファ１３を用いてバッファ記憶される。適切なものは、1.5本〜４本のラインを保持するように設計されたＦＩＦＯメモリーバッファ１３である。リサンプリング器（リサンプラー）１５に出入りする平均データフローは、入力及び出力のフォーマット及びデータレートに要求される要求データフローにほぼ一致するが、このデータフローはラインレベルでは不規則であるので、このバッファリング（バッファ記憶、一時記憶）は必要である。垂直アップサンプリングを実行する際には、必ずしもすべての出力ラインが入力画像データの新たなラインを読み込ませず、このデータは出力ラインが生成されるレートで読み込まれる。結果的に、垂直アップサンプリングを実行する際には、入力画素データをその到着時に、リサンプリング器１５が必要とする時点より前にバッファ記憶する必要がある。

同様に、垂直ダウンスケーリング（ダウンサンプリング）についても、必ずしもすべての入力ラインが出力ラインを生成させない。結果的に、垂直ダウンスケーリング時には、リサンプリングした画像データを、フレーム発生器１４が必要とする時点より前にバッファ記憶する必要がある。この場合には、上述したようにメモリーバッファ２２が必要である。

明瞭にするために、図１に、ＦＩＦＯメモリーバッファ１３／２２の２つの可能な位置を示す。実際には、リサンプリング器１５が作動中である際に垂直スケーリング係数が変化しない（例えばフレーム間のみで変化する）場合には、単一のＦＩＦＯメモリーバッファのみを実現する必要がある。そして、この単一の物理的メモリーバッファは、垂直アップサンプリングが発生するか垂直ダウンサンプリングが発生するかに応じて、いずれかの位置に切り替えることができる。

バッファ１３及び２２はデカップリング・メモリーバッファとも称される。

水平リサンプリング及び水平部ブランキングの変更もいくらかのメモリーバッファ記憶を必要とする。しかし、その必要量は垂直リサンプリングの要求に比べれば無視できる。

上述したように、装置１０は、ビデオストリームＶ_INの入力フレームレートを出力ストリームＶ_OUTの出力フレームレートに整合させることを実行する。本発明によれば、上述したように、この装置１０は、１つまたは２つのメモリーバッファ１３または２２、及び出力フレーム発生器１４を具えている。メモリーバッファ１３または２２の状態に関する制御フィードバックを実現する調整手段を用いる。リサンプリング器１５が垂直アップサンプリングをしている際には、（線２５経由で伝送される）メモリーバッファ１３の状態を用いるのに対し、リサンプリング器１５が垂直ダウンサンプリングをしている際には、（線２５経由で伝送される）メモリーバッファ２２の状態を用いる。調整手段は、これらの状態を監視することを可能にする。調整手段は、２つ以上の異なる設定間の調整を実行して、出力ストリームＶ_OUTの出力フレームレートを時間と共に減速または加速させる。なお、このことは通常の、画素データのライン毎の走査を仮定する。列毎の走査についてはもちろん、決定的要因は水平軸におけるスケーリングである。

本発明の装置１０の態様は、メモリーバッファ１３または２２の１つ以上のしきい値レベルに対する充満度の信号通知にある。この信号通知は、しきい値測定ユニット８及び線２５によって行われる。それぞれのしきい値信号は、本発明を発生器１４の内部で実現する場合には出力フレーム発生器１４に供給されるか、線２５経由で同期制御ユニット２７に供給されるかのいずれかである。出力フレーム発生器１４または同期制御ユニット２７はこの情報を用いて、出力フレームのブランキングを調整し、かつ／あるいは、フレーム同期（本明細書では、ビデオストリームの入力フレームレートの、出力ストリームの出力フレームレートとの整合とも称する）を維持する。

出力フレーム発生器１４は、メモリーバッファ１３または２２から受信したしきい値信号を、出力フレーム内の１つ以上の位置でサンプリングする。こうした各サンプリング点で、フレーム発生器１４または同期制御ユニット２７は出力ブランキングのレイアウト（配置位置）及び／またはクロックをしきい値信号に従って切り替えて、メモリーバッファ１３または２２内のＦＩＦＯレベルを許容限度内に維持する。

図１に示すように、それぞれのしきい値信号は線２５経由で、メモリーバッファ１３または２２から出力フレーム発生器１４または同期制御ユニット２７に供給される。サンプリング点に関する情報は出力フレーム発生器１４または同期制御ユニット２７から線２４経由でメモリーバッファ１３または２２に供給される。線２４は自動設定手順中に使用され、それぞれの実現が自動設定の特徴機能を有する場合のみに必要である。線２４経由で伝送されるしきい値は、制御レジスタ２６によって供給される事前計算値を置き換える

以下、本発明の他の２つの特定実施例に関連して、本発明をさらに詳細に説明する。

以下に、例えばＰＣのディスプレイの応用に適した実施例を開示する。本発明の方法のこの実施例は、入力ビデオストリームが安定なタイミングを示す応用（例えば、パーソナルコンピュータが生成するビデオの表示）に適している。この実施例では、単一のしきい値及びサンプリング点を、２つの選択的な出力フレームのブランキングのレイアウト及びクロック設定で実現する。

高速設定と称する一方の設定は、装置１０の入力側１１においてクロック変動及び設定の不正確さが最悪の場合に与えられ得る最短の持続時間より少し短い持続時間の出力フレームを、出力フレーム発生器１４の出力側１８に発生する。低速設定と称する第２の設定は、クロック変動及び設定の不正確さが最悪の場合に与えられ得る最長の持続時間より少し長い持続時間の出力フレームを発生する。

サンプリング点は、出力フレーム・レイアウト中の、メモリーバッファの事前充満度（ＦＩＦＯ充満度）が容易に計算または測定される位置に配置される。メモリーバッファの事前充満度は、完全なフレームについてバッファのアンダーフローが発生し得ないことを保証するために必要な最悪の場合のＦＩＦＯ充満度である。一般に、この事前充満度が、出力フレーム中の最初の非ブランキングのラインの始点、またはこのラインの最初の非ブランキング画素になる。そして上記単一しきい値（ＦＩＦＯしきい値）は、メモリーバッファの事前充満度＋ＦＩＦＯドロップの値に設定する。ＦＩＦＯドロップは、上記高速設定が有効な場合に、サンプリング点におけるＦＩＦＯレベルがフレーム間で下降し得る最悪の場合の量である。

一旦設定されると、出力フレーム発生器１４は、高速設定におけるフレームと低速設定におけるフレームとを交互させる。高速フレームを発生している際には、サンプリング点におけるＦＩＦＯレベルは、ＦＩＦＯしきい値のすぐ下に来るまで着実に減少し、フレーム発生器１４は低速フレームに切り替わる。低速フレームを発生している際には、サンプリング点におけるＦＩＦＯレベルは、ＦＩＦＯしきい値のすぐ上に来るまで着実に上昇し、ここで、フレーム発生器１４は高速フレームに切り替わる。この設定は、ビデオストリームの処理を絶えず監視し、フレームレートをオン・ザ・フライ（逐次的処理）で整合させることを可能にする。

ＦＩＦＯしきい値設定の周りで交互させることによって生じるＦＩＦＯレベルの変動は、ＦＩＦＯドロップ及びＦＩＦＯライズ（上記低速設定が有効な場合に、サンプリング点におけるＦＩＦＯレベルがフレーム間で上昇し得る最悪の場合の量）のサイズに依存する。一方、これらのサイズは、入力及び出力クロックがそれぞれの公称設定値の周りで変動し得る量、及びクロック・シンセサイザ１６が供給する出力ビデオクロックを所定の入力クロックに一致するように設定することのできる精度に依存する。実際のＰＣ応用では、非常に小さい（確実にライン時間間隔の10%未満の）変動を達成することができる。従って、およそ1.75ライン分の理論的な最適値を上回って要求される追加的なメモリーバッファの容量は非常に小さい。

以下の段落では、この実施例の設定及び起動を説明する。本発明の同期メカニズムの適正な設定は、ＦＩＦＯしきい値を適正に設定するために、ＦＩＦＯの事前充満度及び上記ＦＩＦＯドロップを知る必要がある。後者は、クロック・シンセサイザ１６及び入力ビデオソースの既知の特性、及び高速フレーム及び低速フレームのレイアウトから容易に計算される。実際には、最悪の場合の単純な一定値を使用すれば通常は十分である。しかし、ＦＩＦＯの事前充満度は計算するのが比較的困難である。この計算を行うことは、クロップ／捕捉装置１２がラインの入力／出力の相対タイミングを導出するために実行するサンプリング点補間計算のモデル化を必要とする。実際には、出力フレーム発生器１４を特別な自動設定モードで動作させるのに必要な値を測定する方がより簡単である。

従って、特定実施例では、出力フレーム発生器１４が特別な設定モードを実行することができるように設計されている。これは随意的な特徴機能である。

設定モードでは、フレーム発生器１４は高速クロック／フレーム・レイアウトの設定に切り替わるか切り替えられ、ＦＩＦＯのアンダーフロー時にいつも一時停止すること以外は通常のように動作し、さもなければ、ＦＩＦＯ１３または２２が空である際に画素データを出力用に読み込む。この一時停止は自動的に、出力フレームを入力フレームと同期（整合）させ、最初の出力フレームにおける一時停止は、入力フレームと出力フレームとの間の差を、アンダーフローを回避するために必要な値の非常に近くにもっていく。後続するフレームにおける一時停止は、入力フレームと（高速の）出力フレームとの間の持続時間の差を正確に一致させる。さらに、一時停止の回数は正確に、通常動作中のアンダーフローを回避するために、サンプリング点においてＦＩＦＯ１３または２２内に存在する必要のある追加的画素の数に相当する。従って、ＦＩＦＯのフロア（下限値）は、単に２番目及びそれに後続する設定フレーム内の一時停止の回数を測定し、この回数を、サンプリング点においてＦＩＦＯ１３または２２内に存在する画素数に加算することによって見出すことができる。実際には、入力フレームの持続時間の出力フレームの持続時間に対する変動は、測定したＦＩＦＯのフロア値が完全に正確ではないことを意味する。安全な近似を得るために、想定される最悪の場合のクロック変動に相当する安全率を加算すべきである。ここでも、実際には、最悪の場合の単純な一定値を使用する。設定モード中には、取り付けた表示装置への出力１８をブランク化／抑制して、この同期中の可視のグリッチを防止する。

一旦、設定モードにおいて２つ以上のフレームが処理され、これにより同期が達成されＦＩＦＯのしきい値が設定されると、フレーム発生器１４は明確に、フレームの始点において通常動作モードに切り替わるか切り替えられることができる。表示装置がタイミング変動に対して非常に敏感である場合には、通常動作の最初のフレーム中に出力を抑制することが必要になり得る。本発明の実施例には、通常動作の最初のフレーム中に出力を抑制する手段を設けることができる。

次の段落では、入力ラインのレート及び位相が変動するＴＶ応用の実施例を開示する。

以上で説明した方法は、水平同期周波数及び／または位相がフレーム内で変動するビデオ信号をリサンプリングする際に同期を維持するために、フレーム単位の代わりにライン単位で適用することもできる。こうした歪みのあるビデオ信号は、ビデオテープからの「トリックモード」再生中に生成されるので、ＴＶ／ビデオの応用にいいて一般的である。完全に安定な出力タイミングが必要な場合には、こうした変動を受け入れるために非常に大きなデカップリング・メモリーバッファ１３または２２が必要になる。しかし実際には、リサンプリングしたビデオストリームＶ_OUTを受信する表示装置（例えばＴＦＴパネルディスプレイ）は、ライン間の変動が特定限度内に留まるものとすれば、出力タイミングの変動を許容できることが多い。最悪の場合の入力変動が、フレーム全体で平均した際に許容可能な変動未満である場合には、与えられる出力タイミング／水平ブランキングが入力タイミング変動を補償するように調整されるものとすれば、メモリーバッファ１３または２２は、安定なビデオを使用することができるために必要なものよりも少しだけ大きいだけで済む。

本発明のこうした特定応用のために、クロック・シンセサイザ１６が供給する出力ビデオクロックをスレーブにして、入力クロック／入力水平同期に対して固定周波数を維持することができる。適切なスレーブメカニズム、例えば適切な時定数を有する位相ロックループを用いて、入力ストリームにおける周波数変動が大幅に補償されて除去される。一般に残るものは、入力における位相シフト、及び出力ビデオクロックの調整におけるあらゆる遅延／オーバーシュートによって生じる、入力水平同期位相の出力に対するシフトである。

こうした位相シフト（及び残された小さい相対周波数のシフト）を補償するために、２つのしきい値、即ちフロア（下限）しきい値及びシーリング（上限）しきい値を用いる。両しきい値とも、非ブランキングのライン毎にサンプリングされる。ＦＩＦＯの充満度がこれら２つのしきい値間にある場合には、入力タイミングが公称値である際に、画像データをＦＩＦＯ１３または２２から読み出すレートが画像データの到着のレート（ビデオストリームの入力フレームレート）にできる限り一致する「通常の」出力クロック／水平ブランキングの設定を選択する。サンプリング点においてＦＩＦＯの充満度がフロアしきい値を下回る場合には、画像データが到着するよりも低速でＦＩＦＯ１３または２２から読み出される低速のクロック／水平ブランキングの設定を選択する。サンプリング点においてＦＩＦＯの充満度がシーリングしきい値を超えている場合には、画像データが到着するよりも速くＦＩＦＯ１３または２２から読み出される高速のクロック／水平ブランキングの設定を選択する。

キーポイントは、出力フレーム発生器１４がライン長及び／または持続時間の変化を導入して、メモリーバッファのアンダーフローまたはオーバーフローが発生し得る時点に積み上げられた入力変動を補償することにある。

本実施例では、最悪の場合のタイミング変動が発生した場合に、サンプリング点においてフロアしきい値に達した場合に、ＦＩＦＯのアンダーフローが次のサンプリング点の前に辛うじて回避されるようにフロアしきい値を設定する。シーリングしきい値も同様に、このシーリングしきい値を超えない場合にオーバーフローが辛うじて回避されるように設定する。適正なしきい値設定は、入力及び出力ラインの画像データ搬送部分の持続時間から容易に導出される。使用する高速及び低速のクロック／ブランキング設定は、遭遇し得る最悪の場合の入力タイミング変動に依存する。低速設定を選択した際の出力ラインレートは、最小の入力ライン周波数と、水平同期における正の（入力を遅延させる）シフトどうしが最小間隔であることとの最悪の場合の組合せでも、バッファ１３または２２が満たされがちになるようにしなければならない。高速設定を選択した際のラインレートは、最小の入力ライン周波数と、水平同期における負のシフトどうしが最小間隔であることとの最悪の場合の組合せでも、バッファ１３または２２を空にしなければならない。

もちろん、バッファ１３または２２の必要なサイズは、リサンプリングユニット１５が実行するリサンプリングに必要なデカップリングの量、及び受け入れなければならない入力タイミング変動のサイズに依存する。一般に、２〜３ライン分が必要である。自走出力クロックを使用する場合には（即ち、入力クロック／入力水平同期に対して固定の周波数を維持するためにクロック・シンセサイザ１６がスレーブでない場合には）、３〜４ライン分のＦＩＦＯのサイズが必要になり得る。

以下に、可変長フレームについて水平同期を維持することのできる方法を説明する。

ＴＶ／ビデオの応用では、フレーム当りのライン数が変化することもあり得る。ここでも、通常の原因はビデオテープからのトリックモード再生である。本明細書に提示する、安定なビデオについて垂直同期を維持する方法は、スレーブの出力クロックを使用する場合でも、こうした環境では適切でないことがある。

こうした環境では、次の代案のメカニズムを用いることができる。フレーム発生器１４は、１本のブランキングライン（通常は最後のフロントポーチ（同期信号の直前部分）のライン）が同期ラインとして指定される最小許容の垂直ブランキングを有するフレーム・レイアウトに設定される。フレーム発生器１４はこの同期ラインを、入力フレームが指定された基準位置に達するまで反復する。この位置は一般に、ライン／画素の座標を用いるか、あるいは、指定ラインの開始後に指定クロックチック数に達した時点とする。基準位置は、入力フレームと出力フレームとが同期（整合）して、最初のフロア・サンプリング点において、メモリーバッファ１３または２２が辛うじてＦＩＦＯのフロアレベル（上記参照）以上に保たれる際の、出力フレーム内の同期ラインの終点と一致するように設定する。

実施例をこのように設定した場合には、本発明の同期ラインのメカニズムは、出力フレーム間のブランキングライン数を、メモリーバッファ１３または２２の過剰な事前充満（図２参照）なしに同期を維持するように自動的に調整する。同期を確立するために特別な動作モードを必要とせず、入力フレームの始点において入力捕捉を開始すれば十分である。このことを行えば、出力フレーム発生器１４は単に、ブランキングラインが最初に捕捉した入力フレームに同期するまで、ブランキングラインを発生する。

図２に、信号２３に基づくブランキングラインの反復数の調整が、ライン数及び／またはブランキング持続時間が変化する入力フレームの自動補償を可能にする方法の単純な例を示す。この例では、入力フレームと出力フレームとのタイミングを最初に同期させる（入力及び出力フレーム０）。クロップ／捕捉装置１２は、捕捉した入力フレームから導出した最初のリサンプリングしたラインからのＰ個の画素が、選定した出力クロックでの出力用に利用可能なると、信号２３がトリガされるように設定する。Ｐはもちろん、出力フレームのアクティブ（有効）領域における出力が、アンダーラン（時間短縮）の恐れなしに進行する程度に十分大きいように選択する。発生される出力フレームは、最初の有効な出力ラインの直前のラインＲが、信号２３がトリガされるまで反復されるように設定する。

最初に（入力及び出力フレーム０）入力と出力とを同期させ、入力フレームは期待される公称の長さである。信号２３が到着するまでラインＲを反復することは、Ｐ個の画素が利用可能になった後に、１本の出力ラインの時間間隔以内に出力が開始されることを意味する。従って、アンダーランのない出力を発生することができる。

入力フレーム１は公称のサイズより短い。出力フレーム１の始点では、同期はフレーム０に比べて視覚的に変化していない。フレーム１に対して同じクロップ開始位置を用いるので、出力フレームの始点と信号２３がトリガされる時点との間の遅延は常に同じである。しかし、フレーム１はフレーム０よりずっと早く終わり、このため入力フレーム２が始まっている間に出力フレーム０が発生され続ける。その結果は、出力フレーム２の始点と信号２３がトリガされる時点との間の遅延は、フレーム１がフレーム０より短い時間分だけ正確に低減される。従って、ラインＲの反復回数は低減され、ここでも出力は、Ｐ個の画素が利用可能になった後に、１本の出力ラインの時間間隔以内に開始される。従って、アンダーランのない出力を発生することができる。

入力フレーム２及び３はさらに長さが短くなり、出力フレーム３以降は、ラインＲの反復回数のさらなる低減を生じさせる。重要な点は、すべての場合において、Ｐ個の画素が利用可能になった後に、１本の出力ラインの時間間隔以内に出力が開始されることを保証することができる、ということである。このことは、アンダーランのない出力を発生することができることを暗に意味するだけでなく、単一の出力ラインの時間間隔中にＦＩＦＯバッファ内に蓄積することのできる最大数の画素だけを、Ｐ個（デカップリングに必要な絶対最小数）に上積みしてバッファ記憶すればよいことも暗に意味する。図に示すＦＩＦＯバッファリング方式（垂直アップスケーリング用に入力をバッファ記憶し、及び垂直ダウンサンプリング用に出力をバッファ記憶すること）は、この最悪の場合の追加的なバッファリングの要求は決して１ライン分の画素数を超えない。

垂直同期はラインレベルの精度でのみ維持されるので、このメカニズムは、安定な入力ビデオに適した方法よりも大きいメモリーバッファの使用を必要とする。しかし、必要なメモリーバッファのサイズ（約３ラインの画素分）は、あらゆる場合において非ブランキングのラインの水平同期を維持するために必要な分を大幅には超えない。

同じメカニズムを用いて、安定な入力ビデオストリームの垂直同期を、ライン長またはクロック周波数を変化させる必要なしに達成することもできる。しかし、約３ライン分のメモリーバッファのサイズはなおも必要である。

以下に、改良及び代案の実施例を説明する。この改良及び代案は、本明細書に記載のあらゆる実施例と共に用いることができる。

実際に、クロック／フレーム・レイアウトの切り替えを行う時点をサンプリング点から分離することがしばしば有用である。例えば、多くのＴＦＴ表示装置は、１ライン中のブランキング・サイクル数が、垂直バックポーチ（同期信号の直後部分）及び画像データを搬送するラインを通して一定のままであることを必要とする。こうしたＴＦＴ表示装置については、本発明の装置によって実行されるフレーム・レイアウトの切り替えをサンプリング点から遅延させて、垂直フロントポーチ（垂直同期の前に来るブランキングライン）内に行わせるべきである。本発明の装置はこうした表示装置を提供するように設計することができる。

クロック周波数設定の大幅な変更が必要な場合には、クロック・シンセサイザ１６が、クロック速度を現在値から新たに選択した値まで、突発的に切り替えるのではなく徐々にシフト（移行）するメカニズムを提供する必要があり得る。

ＦＩＦＯレベルのより精密な制御は、追加的なしきい値を用いて、水平同期及び垂直同期について共に達成することができる。例えば、２つのフロアしきい値を用いて、同期制御ユニット２７またはフレーム発生器１４を、サンプリング点におけるＦＩＦＯレベルのＦＩＦＯフロアへの近さに応じて、低速設定と非常に低速の設定との間で選択切り替えすることができる。

以上で説明した実施例は、例えば低コストの表示装置、ＴＶフォーマットの変換、コンピュータグラフィックス用の表示／ビデオ出力、等のようなフレームレートの変換を必要としないビデオのリフォーマットに適している。

図面及び明細書中には、本発明の好適な実施例を記載し、特定の用語を用いているが、こうして記載した説明は、限定目的ではなく一般的かつ説明的な意味で用語を用いているに過ぎない。

本発明の第１実施例の概略表現である。 同期ラインの反復度低減による入力ラインカウント数低減の自動補償の例を示す図である。

Claims (18)

1. ビデオストリームの入力フレームレートを出力ストリームの出力フレームレートに整合させる装置において、
   少なくとも１つのメモリーバッファと；
   出力フレーム発生器と；
   前記少なくとも１つのメモリーバッファの状態に関する制御フィードバックを実現する調整手段とを具え、
   前記調整手段が、前記状態を監視することを可能にし、２つの異なる設定間の調整を実行して、前記出力ストリームの出力フレームレートまたは出力ラインレートを減速または加速させることを特徴とするビデオストリームのフレームレート整合装置。
2. 前記調整手段が、しきい値信号を前記メモリーバッファから前記出力フレーム発生器または同期制御ユニットに送信し、前記出力フレーム発生器は、前記しきい値信号をサンプリングしてサンプリング点を得ることを特徴とする請求項１に記載の装置。
3. 前記サンプリング点の各々における前記出力フレームレートまたは出力ラインレートの切り替え、及び／または、２つ上の異なる設定間の切り替えを、前記フレーム発生器が実行するか、前記フレーム発生器に実行させることを特徴とする請求項２に記載の装置。
4. 前記異なる設定は、選択的な出力フレーム・レイアウトによって規定されることを特徴とする請求項１、２または３に記載の装置。
5. 前記異なる設定は、異なる出力フレームレートによって規定されることを特徴とする請求項１、２または３に記載の装置。
6. 前記異なる設定は、異なる出力ライン長によって規定されることを特徴とする請求項１、２または３に記載の装置。
7. 少なくとも次のフレームレート、即ち：
   あり得る最短の入力フレームより持続時間の短い出力フレームを発生する高速設定；及び、
   あり得る最長の入力フレームより持続時間の長い出力フレームを発生する低速設定
   が存在することを特徴とする請求項４に記載の装置。
8. 前記出力フレーム発生器は、前記高速設定と前記低速設定とを交互させることを特徴とする請求項７に記載の装置。
9. 前記サンプリング点の少なくとも１つが、前記出力フレーム内の、前記メモリーバッファのアンダーフローがないことを保証する位置に配置されていることを特徴とする請求項２に記載の装置。
10. 前記装置が、通常動作モードから設定モードに切り替わることを可能にする設定手段を具え、前記しきい値モードは、一旦、前記メモリーバッファがしきい値に達するとしきい値信号が発行されるように前記しきい値を設定するために用いられることを特徴とする請求項２に記載の装置。
11. 前記整合を、フレーム単位またはライン毎に行うことを特徴とする請求項１に記載の装置。
12. 前記ビデオストリームと前記出力ストリームとの間の位相シフトを補償することができるように、フロアしきい値及びシーリングしきい値が設定されていることを特徴とする請求項１に記載の装置。
13. 前記メモリーバッファの充満度が、前記フロアしきい値と前記シーリングしきい値との間である場合に、通常設定が選択され；
    前記メモリーバッファの充満度が前記フロアしきい値を下回る場合に、低速設定が選択され；
    前記メモリーバッファの充満度が前記シーリングしきい値を超える場合に、高速設定が選択される
    ことを特徴とする請求項１２に記載の装置。
14. ビデオ・リサンプリング／リフォーマットシステムの一部分であることを特徴とする請求項１〜１３のいずれかに記載の装置。
15. 入力フレームレートで伝送されるビデオデータを含むビデオストリームを処理する方法において、
    前記ビデオデータを受信するステップと；
    前記ビデオデータをメモリーバッファ内に一時記憶するステップと；
    前記メモリーバッファの充満度を監視して、前記充満度が所定しきい値に達したか否かを判定するステップと；
    前記ビデオデータが前記メモリーバッファによって出力されて出力フレーム発生器に送信される出力フレームレートを２つの異なる設定間で調整して、出力ストリームの出力フレームレートまたは出力ラインレートを時間と共に減速または加速させるステップと
    を具えていることを特徴とするビデオストリームの処理方法。
16. 前記ビデオストリームの入力フレームレートと出力ストリームの出力フレームレートとの間のフレーム同期を維持するために用いられることを特徴とする請求項１５に記載の方法。
17. ビデオストリームの入力フレームレートを出力ストリームの出力フレームレートと整合させるために用いられることを特徴とする請求項１５に記載の方法。
18. 前記方法により、前記しきい値を規定するための自動設定を実行することを特徴とする請求項１５に記載の方法。

Images