JP2012523178A - 逆テレシネ技法 - Google Patents

Abstract

本開示は、映像シーケンスのフレームレートを調整又は変換するために実行される逆テレシネ技法を説明する。説明される技法は、映像シーケンスのフレームレートを増大させるために用いられたテレシネ技法を特定するための非常に有用な方法を提供する。用いられたテレシネ技法を特定した時点で、フレームレートを低減させて（テレシネ前の）それの原形に戻すために映像フレームのシーケンスに関して対応する逆テレシネ技法を実行することができる。本開示は、例えば、逆テレシネプロセスを簡略化することによって及びプロセス中のメモリへのアクセスを減少させることによって逆テレシネを向上させることができる数多くの有用な詳細も提供する。

Description

本開示は、デジタル映像の符号化及び復号に関するものである。本開示は、より具体的には、映像シーケンスのフレームレートが変更されるテレシネ技法及び逆テレシネ技法に関するものである。

デジタル映像能力は、デジタルテレビ、デジタル直接放送システム、無線放送システム、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録装置、ビデオゲームプレイ装置、ビデオゲーム卓、携帯電話、衛星無線電話、等を含む広範なデバイスに組み入れることができる。デジタル映像装置は、デジタル映像情報をより効率的に送信及び受信するための映像圧縮技法、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、又はＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＡＶＣ）によって定義された規格において説明されるそれら、を実装する。映像圧縮技法は、映像シーケンスに内在する冗長性を低減又は除去するためにブロックに基づく空間予測及び／又は時間予測を行うことができる。

テレシネ技法は、映像シーケンスのフレームレートを変更するために用いることができる。テレシネ技法は、例えば、最初にフィルム媒体上においてキャプチャされた映画を標準的な映像装置、例えば、テレビ、ビデオメディアプレイヤー又はコンピュータ、で観るのを可能にするために望ましい。特に、テレシネ技法は、従来の映像シーケンスを（フィルム媒体上に記録された映画に共通する）毎秒２４フレームから（デジタル装置によって再生されるデジタル映像に共通する）毎秒３０フレームに変換するために用いることができる。

逆テレシネ（ｉｎｖｅｒｓｅ ｔｅｌｅｃｉｎｅ）技法は、テレシネ技法の逆の動作を行う。このため、テレシネ技法が映像シーケンスを毎秒２４フレームから毎秒３０フレームに変換した場合は、逆テレシネ技法は、その映像シーケンスを毎秒３０フレームから毎秒２４フレームに逆に変換することができる。幾つか場合は、テレシネ技法は、映像符号化プロセスの一部として実行することができ、他方、逆テレシネ技法は、映像復号プロセスの一部として実行することができる。

幾つか場合は、逆テレシネは、トランスコーディングプロセスの一部であることができる。この場合は、逆テレシネは、トランスコーダの一部として、又は符号器又は復号器の一部として実装することができる。トランスコーディングの場合は、テレシネされたコンテンツは、原フレームレート、例えば、毎秒２４フレーム、に逆に変換すること、及び異なる符号化形式に従って再符号化することができる。この場合の逆テレシネは、トランスコーディングプロセスの前に生じることができ、及び、トランスコーダにデータを送信する送信装置、又はトランスコーディングを行う受信装置に実装することができる。

しかしながら、テレシネ及び逆テレシネは、映像の符号化又は復号シナリオには限定されない。テレシネ技法及び逆テレシネ技法は、空間又は時間に基づく映像の符号化又は復号とは関係のない多くの理由で用いることができる。基本的には、映像シーケンスのフレームレートを変更することが望ましいときには常に、テレシネは、この目標を達成させるための有用な方法を提供することができる。

概して、本開示は、映像シーケンスのフレームレートを調整又は変換するために実行される逆テレシネ技法を説明する。説明される技法は、映像シーケンスのフレームレートを増大させるために用いられたテレシネ技法を特定するための有用な方法を提供する。用いられたテレシネ技法を特定した時点で、フレームレートを低減させて（テレシネ前の）それの原形態に戻すために映像フレームのシーケンスに関して対応する逆テレシネ技法を実行することができる。本開示は、例えば、逆テレシネプロセスを簡略化することによって及びそのプロセス中におけるメモリへのアクセスを減少させることによって逆テレシネ技法を向上させることができる逆テレシネ技法の数多くの有用な詳細も提供する。

一例においては、本開示は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレーム（ｐｒｏｇｒｅｓｓｉｖｅ ｆｒａｍｅ）であるか又はインターレースされたフレーム（ｉｎｔｅｒｌａｃｅｄ ｆｒａｍｅ）であるかを決定することと、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定することと、パターンに基づいてテレシネ技法を特定することと、特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネを実行すること、とを備える方法を提供し、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。

他の例においては、本開示は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースフレームのパターンを特定し、パターンに基づいてテレシネ技法を特定し、及び特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行する逆テレシネユニットを備える装置を提供し、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。

他の例においては、本開示は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定するための手段と、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定するための手段と、パターンに基づいてテレシネ技法を特定するための手段と、特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行するための手段と、を備えるデバイスを提供し、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。

本開示で説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、ソフトウェアは、プロセッサ、例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はデジタル信号プロセッサ（ＤＳＰ）、において実行することができる。それらの技法を実行するソフトウェアは、コンピュータによって読み取り可能な媒体内に最初に格納し、プロセッサにローディングして実行することができる。

従って、本開示は、プロセッサによって実行されたときに、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定し、パターンに基づいてテレシネ技法を特定し、特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行することをプロセッサに行わせる命令、を備えるコンピュータによって読み取り可能な媒体も企図し、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。

本開示の１つ以上の態様の詳細が、添付図面及び以下の説明において示される。本開示において説明される技法のその他の特徴、目的、及び利点は、それらの説明と図面から、及び請求項から明確であろう。

毎秒２４フレームから毎秒３０フレームを得るために３：２プルダウンが適用されるテレシネプロセスを例示した概念図である。 逆テレシネプロセスによって後続されるテレシネプロセスを例示した概念図である。 本開示の逆テレシネ技法のうちの１つ以上を実装することができる典型的なシステムを例示したブロック図である。 本開示による逆テレシネ技法を例示した流れ図である。 逆テレシネモジュールのブロック図である。 逆テレシネユニットの典型的なコンポーネントを例示したブロック図である。 フィルムフレーム及びテレシネされた映像フレームを例示した概念図である。 テレシネパターンが破断されているフレームのシーケンスを例示した概念図である。 逆テレシネされている映像フレームを例示した概念図である。 ３：２プルダウンによりテレシネされた５つのフレームのシーケンスを例示した概念図である。 逆テレシネプロセスの典型的な段階を例示したブロック図である。 インターレースされた映像フレームの概念図である。 本開示と一致する位相外れ映像フレームを特定するプロセスを例示した流れ図である。 位相外れ映像フレームの特定の際に用いることができる特徴を例示した概念図である。 位相外れ映像フレーム及び同位相映像フレームの異なるシーケンスを例示した概念図であり、陰影は、テレシネと一致するパターンを示す。 現在のフレーム及び前フレームから織り合わせた模様のものを生成するプロセスを示した概念図である。 本開示と一致する逆テレシネを実行するために用いることができるデバイスのコンポーネントの他のブロック図である。 本開示の１つ以上の態様と一致するテレシネ検出フラグを設定するプロセスを例示した流れ図である。 本開示の１つ以上の態様と一致するテレシネフラグラベルを設定するプロセスを例示した流れ図である。 本開示の１つ以上の態様と一致するフレーム状態を特定するプロセスを例示した流れ図である。 本開示の１つ以上の態様と一致するフレームのためのパターンＩＤを定義するためのプロセスを例示した流れ図である。 本開示の１つ以上の態様と一致するテレシネパターンフラグを設定するプロセスを例示した流れ図である。 本開示の１つ以上の態様と一致するフレーム状態を決定するプロセスを例示した流れ図である。 ３：２プルダウンの逆テレシネ検出と一致する予想されるフレーム状態の変化を例示した状態図である。 本開示の１つ以上の態様と一致するテレシネ検出フラグを設定するプロセスを例示した流れ図である。 ４つのフレームへの５つのフレームの変換を例示した概念図であり、５つのフレームのシーケンスのフレーム２及び３に関して補正が生じる。 テレシネ補正の概要を例示した流れ図であり、実装の１つの可能性をさらに示す。 テレシネ検出を目的とするフレームの部分的フェッチのための幾つかの選択肢を例示した概念図である。 ”ＩＢＰ”ピクチャグループ（ＧＯＰ）構造の復号及び表示順序を例示した概念図である。 図３０に示されるようなＩＢＰ ＧＯＰ構造に関する復号器による逆テレシネデータフェッチと予測復号との間の可能な同期化を例示した概念図である。 “ＩＢＢＰ”ＧＯＰ構造の復号及び表示順序を例示した概念図である。 図３４に例示されるようなＩＢＢＰ ＧＯＰ構造に関する復号器による逆テレシネデータフェッチと予測復号との間の可能な同期化を例示した概念図である。 本開示と一致する逆テレシネにおいて用いることができる決定方式のフェッチ技法を例示した流れ図である。 本開示と一致する逆テレシネのための有用なブロック有効性マップを生成するための技法を例示した流れ図である。 本開示と一致する逆テレシネのための有用な典型的なブロック有効性マップを例示した図である。 本開示と一致する逆テレシネのためのブロック有効性マップを解析するための技法を例示した流れ図である。 ブロック有効性マップから生成された統計に基づいて逆テレシネのための映像フレームの列を順位設定し及び選択するための技法の流れ図である。 統計が入手可能になるのに従って好適に生成される典型的な部分的ブロック有効性マップを例示した図である。

本開示は、テレシネを検出して逆テレシネを実行するための技法を説明するものである。テレシネは、映像シーケンスのフレームレートを変換するプロセスであり、逆テレシネは、フレームレートを逆に変換して原レートに戻すプロセスである。テレシネは、毎秒２４フレームで撮影されたフィルムを毎秒３０フレーム（又は毎秒６０フィールド）の映像に変換するために一般的に用いられる。テレシネは、３：２プルダウンと呼ばれる手順によってしばしば実行されるが、その他のタイプの変換を使用可能である。

図１は、３：２プルダウンを用いるテレシネ技法を例示した概念図である。この場合は、毎秒２４フレームで記録されたフィルムが毎秒６０フィールドを定義する映像フィールドの組にテレシネされる。各フィールドは、フレームの少なくとも一部分を備えることができる。特に、上部フィールドＡ１は、フレームＡの奇数番号が付されたラインを備え、下部フィールドＡ２は、フレームＡの偶数番号が付されたラインを備える。フィールドは、例示されるように、毎秒３０フレームで映像フレームを定義するためにインターレースされる。特に、フィールドＡ１及びＡ２は、フィルム内のフレームＡに類似するフレームを定義するためにインターレースされる。インターレースの際には、フレームＡの１本おきのラインが交互にフィールドＡ１及びＡ２から導き出される。フィールドＡ１及びＢ２は、フィルムのフレームＡ及びＢのインターレースされた組み合わせであるフレームを定義するためにインターレースされ、フィールドＢ１及びＣ２は、フィルムのフレームＢ及びＣのインターレースされた組み合わせであるフレームを定義するためにインターレースされる。フィールドＣ１及びＣ２は、フィルムのフレームＣに類似するフレームを定義するためにインターレースされ、フィールドＤ１及びＤ２は、フィルムのフレームＤに類似するフレームを定義するためにインターレースされる。

逆テレシネは、テレシネプロセスを逆転させるプロセスであり、図２において概念的に例示される。３：２プルダウンでは、逆テレシネは、毎秒３０フレームでの映像を毎秒２４フレームに逆に変換することを含む（図２参照）。逆テレシネは、プロセスが提供することができる様々な空間的及び時間的な映像品質上の利益に起因して映像後処理の必要な一部であることができる。逆テレシネは、トランスコーダの一部であることもできる。例えば、映像が復号された後に、逆テレシネを適用することが可能であり、フレームレートを低減させる（すなわち、逆に変換してそれの原値、例えば、毎秒２４フレームに戻す）ことが可能である。この場合は、映像データは、のちに再符号化される。このトランスコーディングの場合の逆テレシネは、総ビットレートを低減させるのを援助することができ、それは、格納又は送信にとって有益であることができる。

本開示と一致する逆テレシネアルゴリズムは、映像シーケンスのフレーム及びフィールドを解析して繰り返しフィールドを決定し、従って特定のプルダウンパターンを特定することができる。逆テレシネ技法は、プルダウンパターンを検出してプルダウン補正（ｐｕｌｌ ｄｏｗｎ ｃｏｒｒｅｃｔｉｏｎ）を行うために４つのフィールドを用いることができる。類似の技法は、テレシネ検出のためにさらに多くのフィールド（例えば、１０フィールド）を用いることができる。しかしながら、該大量のデータ（例えば、４つのフィールド又は５つのフレーム）を処理する必要性は、その結果として高い電力消費が生じること及び映像復号にとっての難題を発生させることがある。

本開示は、フレーム又はフィールドの必要な部分を選択することによって逆テレシネ技法中に処理される必要があるピクセルエリアを減少させることができる方法も提供する。説明される技法は、実際の逆テレシネアルゴリズムと無関係であることができ、３：２プルダウンを含むあらゆるタイプの逆テレシネアルゴリズム、及び数多くのその他のタイプのテレシネとともに用いることができる。説明される技法は、本来であれば外部メモリから必要になることがあるピクセルデータの部分組をフェッチすること、及びそれによって逆テレシネアルゴリズムの性能を劣化させずにメモリへのアクセスの数を減少させることを含むことができる。

繰り返すと、テレシネは、フィルムを映像に変換するプロセスをしばしば意味する。フィルムは、映画のために典型的に生産された写真材料を意味する。フィルムは、概して毎秒２４フレームで記録される。しかしながら、全米テレビジョン放送方式標準化委員会（ＮＴＳＣ）によって定義されたテレビ、及びその他のデジタル映像放送は、映像のために毎秒３０フレームを定義することができる。従って、ＮＴＳＣに準拠するテレビにフィルムのコンテンツを表示するために、フィルムは映像に変換される。変換プロセスは、テレシネと呼ばれる。幾つかの場合においては、ＮＴＳＣ規格の従来のテレビシステムは、毎秒６０のインターレースされたフィールド（実際には、毎秒５９．９４フィールド）で動作することができ、フィルムの動きがＮＴＳＣ映像信号で正確に提供されるようにするためには、フィルムフレームレートを２４ｆｐｓから３０ｆｐｓ（すなわち、毎秒約６０フィールド）に変換するためにテレシネが必要になることがある。

各フィルムフレームを各映像フレーム上に単純に移動させることは、その結果としてフィルムが意図されるよりも約２４．９％高速で走ることになる。テレシネのためのより良い解決方法は、フィルムが毎秒３０フレームの映像フレームレートで示されるときにフィルムの見かけ上の高速化を防止するために、いわゆる“３：２プルダウン”の場合のように幾つかのフィルムフレームを周期的に繰り返すことである。

３：２プルダウンは、２４ｆｐｓのフィルムレートを３０ｆｐｓの映像レートに変換するプロセスの１つの特定のタイプである。映画レートをテレビレートに変換する場合は、３：２プルダウンは、繰り返しの３：２のパターンでフィルムフレームを繰り返し、それは図１で見ることができる。第１のステップは、４つのフィルムの組を８つのフィールドに変換することである。これは、毎秒２４フレームを毎秒４８のインターレースされたフィールドに変換する。次に、ＮＴＳＣ規格のより高速なレート（すなわち、毎秒３０ｆｐｓ、又は６０フィールド）を考慮するために、幾つかのフィールドを繰り返す必要があり、それは、３：２プルダウンで１つのフレームおきに余分のフィールドを加えることによって行われる。

第１のフィルムフレームＡは、上部フィールド（Ａ１）及び下部フィールド（Ａ２）に分離することができる。上部フィールドＡ１は、奇数番号が付されたラインを備え、下部フィールドＡ２は、偶数番号が付されたラインを備える。上部フィールドＡ１及び下部フィールドＡ２は、図１に示されるように第１の映像フレームを定義する。フィルムフレームＢの一部分が２回繰り返され、第２の出力映像フレームのための下部フィールド（Ｂ２）及び第３の出力映像フレームのための上部フィールド（Ｂ１）として記録される。第３のフィルムフレームＣの異なるフィールドも、図１に示されるように、下部フィールドＣ２、上部フィールドＣ１、及び他の下部フィールドＣ２として３回繰り返すことができる。第４のフィルムフレームＤのフィールドは、下部フィールドＤ１及び上部フィールドＤ２として２回繰り返される。第３の出力フレームは、Ｂ１及びＣ２のインターレースされたバージョンであり、第４の出力フレームは、Ｃ１及びＣ２のインターレースされたバージョンである。第５の出力フレームは、Ｄ１及びＤ２のインターレースされたバージョンである。このプロセスにより、４つの入力されたフィルムフレームごとに追加の映像フレームが生成される。このパターンが６回繰り返された場合は、２４フレームのフィルムが３０フレームの映像になる。

その他のプルダウンパターンも存在し、本開示の教示と一致する。例えば、２：３プルダウンは、第１のフィルムフレームを２回繰り返し、第２のフィルムフレームを３回繰り返す。従って、２：３プルダウンは、それが１フレームだけシフトされる以外は３：２プルダウンと非常に類似する。

２：２プルダウンは、他の共通のプルダウンパターンである。それは、例えば、毎秒２４フレームのフィルムを毎秒４８フィールドを定義する映像に変換するときに用いることができる。２：２プルダウンでは、各フィルムフレームは、２回繰り返され、毎秒４８フィールドになる。この方法は、その結果としてフィルムの速度を上昇させ、フィルムをわずかにより短い時間で走らせる。２：２プルダウンのより共通でないバージョンは、“２：２：２：２：２：２：２：２：２：２：２：３” プルダウンと呼ばれる。この方法は、１２のフレームごとに繰り返されたフィールドを挿入し、その結果、映像の２５のフィールドにわたって１２のフィルムフレームが拡散し、従って、２４フレームのフィルムを５０フィールドの映像に変換する。幾つかの映画がこの“２：２：２：２：２：２：２：２：２：２：２：３”方式でテレシネされる。３：２及び２：２プルダウンに加えて、５：５、６：４及び８：７、等のより共通でないケイデンス（ｃａｄｅｎｃｅ）も存在し、日本のアニメーションで時々用いられる。その他のタイプのプルダウンも本開示と一致する。

逆テレシネは、テレシネプロセスを逆転又は“解除”して、例えば毎秒２４フレームの原コンテンツを再取得するために用いられる。インターレースされた映像ソースから３：２プルダウンパターンの検出及び除去によって毎秒２４フレームを再構築する逆テレシネ技法は、“逆テレシネ”又は“リバーステレシネ”の両方で呼ばれる。テレシネに後続する逆テレシネの例が図２に示される。逆テレシネは、インターレースされたコンテンツを高質のインターレースされないディプレイ上に表示するときに必要になることがある。さらに、逆テレシネは、多くのその他の状況、例えば、トランスコーダデバイス、又は他のデバイス、において望ましいであろう。

逆テレシネは、異なる方法で行うことができる。幾つかの場合は、入力されたテレシネされた映像は、映像フレームと原フィルムフレームとの間の対応性を示すテレシネ情報が供給される。これらの場合は、復号器（又はプレーヤー）は、プルダウンパターンを検出する必要がなく、（通常はテレシネトレーステキストファイルの形で存在する）この情報に基づいて映像を再生することができる。

逆テレシネの他の方法は、ここにおいて説明される技法の基本であるパターンについて事前の知識なしにプルダウンパターンを検出してそれを逆転させることである。時々、３：２プルダウンパターンが検出された時点で、それは、映像の残りの部分のためにロックすることができ、パターンの補正は、最初に検出されたパターンに基づいて行うことができる。しかしながら、３：２プルダウンパターンは、必ずしも映像全体にわたって一致した状態になっておらず、フィルム素材に対して編集を行うことができる。編集プロセスがフィルムフレームを除去したときに、又は可能性がより高いこととして、映像素材、例えば、コマーシャル又は新しいクリップ、をそれらの間に挿入したときにいわゆる“不良編集”が生じる可能性がある。良い逆テレシネアルゴリズムは、３：２プルダウンパターンがどの時点でソース内で変化するかを特定してそれを好適に補正することができるべきである。これは、“不良編集の検出”と時々呼ばれる。

本開示による逆テレシネの利益は、視覚上の品質の向上、及び／又は帯域幅及び電力の節約を含むことができ、それらは、以下の説明からより明確になるであろう。具体的には、逆テレシネは、テレシネされたコンテンツ内の空間及び時間の両方のアーティファクト（ａｒｔｉｆａｃｔ）を除去するのに役立つことができる。テレシネされたコンテンツがデインターレース（インターレース解除ｄｅｉｎｔｅｒｌａｃｅ）なしにプログレッシブディスプレイで表示される場合は、特に映像シーケンス内の動いている物体の境界にコーミングアーティファクト（ｃｏｍｂｉｎｇ ａｒｔｉｆａｃｔ）が現れることがある。しかしながら、テレシネされたコンテンツがデインターレースされた場合は、ブラー（ｂｌｕｒ）が発生することがある。さらに、空間的アーティファクトに加えて、テレシネに起因して時間的アーティファクト、例えば、モーションジャダー（ｍｏｔｉｏｎ ｊｕｄｄｅｒ）が発生することがある。モーションジャダーは、テレシネジャダーと時々呼ばれ、低速の安定したカメラの移動中に特にはっきりと現れることがある。モーションジャダーは、３：２プルダウンプロセス中には１０フィールドごとに２つのフィールドが繰り返されるという事実に起因する。

さらに、幾つかのデインターレースアルゴリズム、例えば、時間情報を用いるそれら、は、基準フィールドが繰り返される範囲で基準の（又は前の）フィールドの方にデインターレースフィルタリングを偏らせ、これは、ジャーキネス（ｊｅｒｋｉｎｅｓｓ）も引き起こす。他方、２：２：２：２：２：２：２：２：２：２：２：３プルダウンが適用されている素材ではヒカップ（ｈｉｃｃｕｐ）のようなアーティファクトが発生することがある。ヒカップは、モーションジャダーとは多少異なり、映像内で１秒間に約２回発生する。

“ハードテレシネ”は、符号化前にプルダウンが適用されることを意味する。ハードテレシネとは対照的に、“ソフトテレシネ”は、符号化前にはプルダウンを適用せず、むしろ映像を２４Ｐとして処理する（ここで、Ｐは、プログレッシブを表す）。ソフトテレシネは、ビットストリームに適切なプルダウンフラグを埋め込むことができ、プルダウンは、インターレースされたディスプレイでコンテンツを表示するときに実行することができる。ほとんどのＳＤ−ＤＶＤは“ハードテレシネ”モードであり、従ってプログレッシブディスプレイ及びインターレースされたディスプレイの両方のために逆テレシネが必要な場合がある点に注目することも重要である。ハードテレシネでは、映像は、プルダウン後に６０／５０Ｉになり（ここで、Ｉは、インターレースされていることを表す）、通常のインターレースされたコンテンツと同じ方法で６０／５０Ｉコンテンツとして映像バッファに格納される。プルダウン後に結果的に得られた映像フレームは、動きの推定及び補償のための基準フレームとして用いられる。

多くの映像シーケンスでは、毎秒２４フレームのフィルムソースに対して３：２プルダウンプロセスが適用される。その結果得られた毎秒６０のフィールドの映像は、直接符号化することができ、又は、代替として、映像ソースにコマーシャルを加えることができ、その結果得られた毎秒６０フィールドの映像コンテンツは、編集後に符号化することができる。この場合は、ビデオプレーヤーが毎秒６０フィールドの映像コンテンツを復号後に、この開示の逆テレシネ技法及び不良編集検出技法を適用することができる。従って、逆テレシネが検出及び補正された場合は、真のプログレッシブな毎秒２４フレームのフィルムが表示される。しかしながら、テレシネが検出されないか又は存在しない場合（例えば、入力が純粋にインターレースされたコンテンツであり、それに対してテレシネが適用されていない場合）は、フィルタを介してデインターレースを適用することができ、出力装置は、毎秒３０フレームのプログレッシブ映像を表示することができる。

逆テレシネは、基本的な後処理上の特徴である。逆テレシネは、“フィルムモード検出技術”、“フィルムケイデンス及び不良編集からの回復”、“フィルムモード検出”、及び“リバース３：２プルダウン”と呼ばれることもある。３：２プルダウンは、業界において幅広く受け入れられている。

図３は、本開示の逆テレシネ技法のうちの１つ以上を実装するために用いることができる１つの典型的な映像符号化及び復号システム１０を例示したブロック図である。図３の例では、逆テレシネユニット２９は、映像復号器２８の後に配置される。しかしながら、本開示と一致する逆テレシネユニットは、数多くのその他の位置又はデバイスでも使用可能である。例えば、放送用途に関しては、逆テレシネユニットは、放送送信前にビットレートを節約するために映像符号器の前に配置することが可能である。要約すると、図３は、本開示の逆テレシネ技法のうちの１つ以上を実装することができるシステムの単なる一例である。

図３に示されるように、システム１０は、符号化された映像を通信チャネル１５を介して行先デバイス１６に送信するソースデバイス１２を含む。ソースデバイス１２及び行先デバイス１６は、広範なデバイスのうちのいずれかを備えることができる。幾つかの場合は、ソースデバイス１２及び行先デバイス１６は、無線通信デバイス、例えば、無線ハンドセット、いわゆる携帯電話又は衛星無線電話、又は通信チャネル１５を通じて映像情報を通信することができるあらゆる無線デバイス、を備え、その場合は、通信チャネル１５は無線である。しかしながら、本開示の技法は、逆テレシネと関連付けられた逆テレシネの検出、メモリへのアクセスの減少、及び節電に関するものであり、無線に関する用途又は設定に必ずしも限定されない。それらの技法は、物理的ワイヤ、光ファイバ、又はその他の物理的又は無線媒体を介して通信するデバイスを含む広範なその他の設定及びデバイスにおいても役立つことができる。さらに、符号化又は復号技法は、その他のデバイスと必ずしも通信しない独立型デバイスでも適用可能である。

図３の例において、ソースデバイス１２は、映像ソース１８と、テレシネユニット２０と、映像符号器２２と、変調器／復調器（モデム）２３と、送信機２４と、を含むことができる。テレシネユニット２０は、“ハードテレシネ”と呼ばれることがある。行先デバイス１６は、受信機２５と、モデム２６と、映像復号器２８と、逆テレシネユニット２９と、表示装置３０と、を含むことができる。本開示により、行先デバイス１６の逆テレシネユニット２９は、本開示の技法のうちの１つ以上を映像復号プロセスの一部として適用するように構成することができるが、本開示と一致する逆テレシネ技法は、映像復号に関係なく適用することも可能である。

繰り返すと、図３の例示されるシステム１０は、単なる典型例であるにすぎない。本開示の様々な技法は、逆テレシネをサポートするあらゆるデバイスによって実行することができる。行先デバイス１６は、ソースデバイス１２が行先デバイス１６への送信のためのコーディングされた映像データを生成するシステム１０内の該デバイスの一例であるにすぎない。幾つかの場合は、デバイス１２、１６は、実質的に対称的に動作することができ、このため、デバイス１２、１６の各々は、映像の符号化及び復号コンポーネントを含む。このため、システム１０は、例えば、映像ストリーミング、映像再生、映像放送、又は映像テレフォニーのために、映像デバイス１２、１６間での１方向又は２方向の映像送信をサポートすることができる。

ソースデバイス１２の映像ソース１８は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像を入れた映像アーカイブ、又は映像コンテンツプロバイダからの映像フィード、を含むことができる。さらなる代替として、映像ソース１８は、コンピュータグラフィックスに基づくデータを、ソース映像、又はライブ映像とアーカイブに保存された映像とコンピュータによって生成された映像の組み合わせ、として生成することができる。幾つかの場合は、映像ソース１８がビデオカメラである場合は、ソースデバイス１２及び行先デバイス１６は、いわゆるカメラフォン又はビデオフォンを形成することができる。各々の場合において、キャプチャされた、予めキャプチャされた又はコンピュータによって生成された映像は、テレシネユニット２０によってテレシネし、ビデオ符号器２２によって符号化することができる。符号化された映像情報は、通信規格、例えば、符号分割多元接続（ＣＤＭＡ）又は他の通信規格、によりモデム２３によって変調し、送信機２４及び通信チャネル１５を介して行先デバイス１６に送信することができる。モデム２３は、信号変調のために設計された様々な混合器、フィルタ、増幅器又はその他のコンポーネントを含むことができる。送信機２４は、データを送信するために設計された回路を含むことができ、増幅器と、フィルタと、１つ以上のアンテナと、を含む。

行先デバイス１６の受信機２５は、通信チャネル１５を通じて情報を受信し、モデム２６は、その情報を復調する。類似の送信機２４、受信機２５は、データを受信するために設計された回路を含むことができ、増幅器と、フィルタと、１つ以上のアンテナと、を含む。幾つかの場合は、送信機２４及び／又は受信機２５は、受信及び送信の両回路を含む単一のトランシーバコンポーネント内に組み入れることができる。モデム２６は、信号復調のために設計された様々な混合器、フィルタ、増幅器又はその他のコンポーネントを含むことができる。幾つかの場合は、モデム２３及び２６は、変調及び復調の両方を行うためのコンポーネントを含むことができる。映像復号器２８は、ブロックに基づく映像復号、例えば、映像符号器２２によって符号化された符号化された映像ブロックの再構築、を行う。逆テレシネユニット２９は、復号された映像に関する逆テレシネを実行する。

行先デバイス１６によって実行される逆テレシネプロセスは、映像復号中に実行することができるが、本開示の態様は、ブロックに基づく映像復号なしで実行することもできる。特に、逆テレシネユニット２９は、映像シーケンスのフレームレートを逆に変換して原フィルムレートに戻す（例えば、ソースデバイス１２のテレシネユニット２０によって実行されたテレシネを“解除する”）ために、ここにおいて説明されるように、逆テレシネ技法を実行することができる。

より具体的には、逆テレシネユニット２９は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定し、パターンに基づいてテレシネ技法を特定し、及び特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行することができる。この場合は、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、ここで、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。従って、逆テレシネは、フレームレートを低減させ、映像シーケンスがフィルム媒体上に最初に記録されたときのそれと関連付けられた原フィルムレートに戻す。

映像復号器２８は、時間に基づく復号のための動き推定コンポーネントと動き補償コンポーネントとを含むことができる。さらに、映像復号器２８は、空間に基づく復号のための空間的推定及びイントラコーディング（ｉｎｔｒａ ｃｏｄｉｎｇ）ユニットを含むことができる。表示装置３０は、逆テレシネプロセス後にユーザに対して復号された映像データを表示し、様々な表示装置、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。

図３の例において、通信チャネル１５は、あらゆる無線又は有線の通信媒体、例えば、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的送信ライン、又は無線媒体と有線媒体の組み合わせ、を備えることができる。通信チャネル１５は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネット等のグローバルネットワーク、の一部を形成することができる。通信チャネル１５は、ソースデバイス１２から行先デバイス１６に映像データを送信するためのあらゆる適切な通信媒体、又は異なる通信媒体の集合、を概して表す。通信チャネル１５は、ソースデバイス１２から行先デバイス１６への通信を容易にするために役立つことができるルータ、スイッチ、基地局、又はその他の装置を含むことができる。

映像符号器２２及び映像復号器２８は、ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）として代替で説明される映像圧縮規格、例えば、ＩＴＵ−Ｔ Ｈ．２６４規格、に準拠して動作することができる。しかしながら、本開示の技法は、いずれの特定の映像コーディング規格にも限定されない。図１には示されていないが、幾つかの態様においては、映像符号器２２及び映像復号器２８は、共通のデータストリーム又は別個のデータストリーム内の音声及び映像の両方の符号化を処理するために、音声符号器及び復号器と各々一体化することができ、及び、該当するＭＵＸ−ＤＥＭＵＸユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３多重化装置プロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル（ＵＤＰ）、に準拠することができる。

ソースデバイス１２、及び行先デバイス１６の逆テレシネユニット２９を含む行先デバイス１６、の様々なコンポーネントは、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせとして実装することができる。テレシネユニット２０及び逆テレシネユニット２９は、映像符号器２２及び映像復号器２８内にそれぞれ組み入れることができる。繰り返すと、本開示の逆テレシネ技法は、映像復号プロセスの一部として実装することができるが、その他の設定及びシナリオでも用いることができる。さらに、逆テレシネ動作後は、映像データは、必ずしも表示する必要がない。その他の例では、逆テレシネに後続して、（例えば、トランスコーディングシナリオにおいて）映像データを再符号化することができ、及び新しい符号化された映像データは、将来の再生のために格納することができるか又は放送用途のために送信することができる。

映像シーケンスは、一連の映像フレームを典型的に含む。映像符号器２２は、映像データを符号化するために個々の映像フレーム内の映像ブロックに対して動作する。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格に準拠してサイズが異なることができる。各映像フレームは、一連のスライスを含む。各スライスは、一連のマクロブロックを含むことができ、それらは、サブブロックにすることができる。一例として、ＩＴＵ−Ｔ Ｈ．２６４規格は、様々なブロックサイズ、例えば、ルマ（ｌｕｍａ）成分に関しては１６×１６、８×８、又は４×４、及びクロマ（ｃｈｒｏｍａ）成分に関しては８×８、のイントラ予測、及び、様々なブロックサイズ、例えば、ルマ成分に関しては１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、及びクロマ成分に関しては対応するスケーリングされたサイズ、のインター予測、をサポートする。映像ブロックは、ピクセルデータのブロック、例えば、離散コサイン変換（ＤＣＴ）、等の変換プロセス、又は概念的に類似する変換プロセス後の変換係数のブロック、を備えることができる。本開示の技法により、映像符号器２２及び映像復号器２８は、例えば、ユニット２０によって実行されたテレシネ後はテレシネされた領域内で動作する。他のシナリオにおいては、符号器は、逆テレシネユニット２９後に適用可能であり、この場合は、符号器は、非テレシネ領域で動作することができる。

より小さい映像ブロックは、より良い解像度を提供することができ、高レベルの詳細度を含む映像フレームの配置のために用いることができる。概して、マクロブロック及び様々なサブブロックは、映像ブロックであるとみなすことができる。さらに、スライスは、一連の映像ブロック、例えば、マクロブロック及び／又はサブブロック、であるとみなすことができる。各スライスは、映像フレームの独立して復号可能な単位であることができる。代替として、フレーム自体が復号可能な単位であることができ、又は、フレームのその他の部分を復号可能な単位として定義することができる。用語“コーディングされた単位”は、映像フレームの独立して復号可能な単位、例えば、フレーム全体、フレームのスライス、又は用いられるコーディング技法により定義された他の独立して復号可能な単位、を意味する。

映像ブロックを符号化するために、映像符号器２２は、予測ブロックを生成するためのイントラ予測又はインター予測を行う。映像符号器２２は、符号化される原映像ブロックから予測ブロックを減じて残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成する。このように、残差ブロックは、コーディングされているブロックと予測ブロックとの間の差分を示す。映像符号器２２は、残差ブロックに対する変換を行って変換係数のブロックを生成することができる。イントラ又はインターに基づく予測コーディング技法及び変換技法に引き続き、映像符号器２２は、量子化を行う。量子化は、係数を表すために用いられるデータの量を可能な場合は低減させるために係数が量子化されるプロセスを概して意味する。量子化に引き続き、エントロピーコーディング方法、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）又はコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、によりエントロピーコーディングを行うことができる。

行先デバイス１６において、映像復号器２８は、符号化された映像データを受信し、エントロピーは、エントロピーコーディング方法、例えば、ＣＡＶＬＣ又はＣＡＢＡＣ、により受信された映像データを復号して量子化された係数を得る。映像復号器２８は、逆量子化（量子化解除）及び逆変換機能を適用してピクセル領域内の残差ブロックを再構築する。映像復号器２８は、符号化された映像データに含まれる制御情報又は構文情報（例えば、コーディングモード、動きベクトル、フィルタ係数を定義する構文、等）に基づいて予測ブロックも生成する。映像復号器２８は、予測ブロックを再構築された残差ブロックと合計して表示のための再構築された映像ブロックを生成する。

本開示の技法により、逆テレシネユニット２９は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定し、パターンに基づいてテレシネ技法を特定し、特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行することができる。この場合は、逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、ここで、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。従って、逆テレシネは、フレームレートを低減し、映像シーケンスがフィルム媒体上に最初に記録されたときのそれと関連付けられた原フレームレートに戻す。

さらに、逆テレシネユニット２９は、映像復号器２８は一定の映像データを復号プロセスの一部として既にローディング済みであるという事実を利用することができる。すなわち、映像復号器２８による映像復号を目的としたメモリへのデータのローディングは、逆テレシネユニット２９によって実行される逆テレシネプロセスのためにも同じデータが必要とされる場合にメモリへの該データの不要な重複したローディングを低減させるために用いることができる。この方法により、逆テレシネユニット２９と関連付けられたメモリへのローディングを低減させ、電力及びメモリ帯域幅を節約することができる。

図４は、本開示と一致する逆テレシネ技法を例示した流れ図である。図４に示されるように、逆テレシネユニット２９は、映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定する（４１）。次に、逆テレシネユニット２９は、映像フレームのシーケンス内のプログレッシブフレーム及びインターレースされたフレームのパターンを特定し（４２）、パターンに基づいてテレシネ技法を特定する（４３）。例えば、逆テレシネユニット２９がフレームの繰り返しパターン（例えば、ＰＩＩＰＰフレーム又はＰＰＩＩＰフレームの繰り返しパターン）を特定した場合は、逆テレシネユニット２９は、フレームを定義するために最初に実行されたテレシネ技法として３：２プルダウンを特定することができる。次に、逆テレシネユニット２９は、特定されたテレシネ技法に基づいて映像フレームのシーケンスに関して逆テレシネ技法を実行することができる（４４）。逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、ここで、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい。

例えば、３：２プルダウンに関しては、逆テレシネ技法は、５つのフレームの各パターン（Ｐ，Ｐ，Ｉ，Ｉ，Ｐ）を４つのプログレッシブフレームのパターン（Ｐ，Ｐ，Ｐ，Ｐ）に変換するか又は５つのフレームの各パターン（Ｐ，Ｐ，Ｉ，Ｉ，Ｐ）を４つのプログレッシブフレームのパターン（Ｐ，Ｐ，Ｐ，Ｐ）に変換することによって毎秒３０の映像フレームを毎秒２４の映像フレームに変換する。いずれの場合も、パターンが３：２プルダウンテレシネ技法と関連付けられているときに、そのパターンを特定することは、３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定することを備える。ＰＰＩＩＰに関しては、１つのプログレッシブフレームによって後続された２つのインターレースされたフレームによって後続された２つのプログレッシブフレームが存在することになり、ＰＩＩＰＰに関しては、２つのプログレッシブフレームによって後続される２つのインターレースされたフレームによって後続される１つのプログレッシブフレームが存在することになる。いずれの場合も、逆テレシネ技法を実行することは、５つのフレームシーケンスを４つのフレームシーケンスに変換することを備えることができ、逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する。

映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定する際には、テレシネユニット２９は、個々の映像フレームと関連付けられたデータの部分組のみを処理することができる。この部分組をどのように定義することができるに関する追加の詳細が以下に提供される。概して、部分組は、個々のフレーム内のピクセルデータのブロックを備えることができ、ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータのブロックは、個々のフレームの各々のためにメモリからフェッチされる。部分組は、個々のフレーム内のピクセルデータの縦列（ｖｅｒｔｉｃａｌ ｃｏｌｕｍｎ）を備えることができ、個々のフレーム内のピクセルデータの縦列は、逆テレシネ検出のために予め定義され、個々のフレーム内のピクセルデータの縦列は、個々のフレームの各々のためにメモリからフェッチされる。

幾つかの場合は、逆テレシネの目的のために処理されたデータの部分組は、個々のフレーム内のピクセルデータの縦列を備え、個々のフレーム内のピクセルデータの縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される。その他の場合は、いずれかの所定のフレームと関連づけられた部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義することができる。例えば、以下においてより詳細に概説されるように、逆テレシネユニット２９は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成すること、及びマップに基づいて各々のフレームのための部分組を定義することができる。処理をさらに簡略化するために、逆テレシネユニット２９は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連づけられたピクセルの部分的マップを生成すること、及び部分的マップに基づいて各々のフレームのための部分組を定義することができ、部分的マップは、統計が入手可能になるのに従って各々のフレームの映像コーディング中に定義され、統計は、映像コーディングのために個々のピクセルが既にフェッチされているかどうかを定義する。いずれの場合も、マップは、復号ユニット２８による映像コーディングの目的のために既に格納されている有用なデータを正確に特定し、それにより、逆テレシネユニット２９がその同じデータを再度フェッチする必要性をなくすことができる。

逆テレシネプロセスために提案された数多くのアルゴリズムが存在する。本開示の焦点は、使用されたテレシネ技法を特定するためにビットストリーム内の情報を要求しない逆テレシネプロセスである。さらに、本開示の他の焦点は、逆テレシネプロセス中にメモリ帯域幅を小さくすることである。図５は、逆テレシネモジュール５１のブロック図であり、それは、図３の逆テレシネユニット２９に対応することができ、又は他のデバイスのモジュール又はユニットに対応することができる。逆テレシネモジュール５１は、入力フレーム又はフィールドを受信し及び出力フレームを出力し、ここで、フレームレートは、入力から出力まで変化する。特に、逆テレシネでは、フレームレートは、入力から出力まで典型的に低減する。

逆テレシネモジュール５１は、入力フレームを解析し、テレシネ検出を行い及び検出段階中に特定されたパターンに基づいて補正を行うことができる。テレシネ検出アルゴリズムは、プルダウンパターンを特定するために用いられる入力フィールド又はフレームの数に基づいて分類することができる。テレシネ検出アルゴリズムで用いられるフィールドの数は、通常は２つ、すなわち、映像フレームの上部フィールド及び下部フィールドである。しかしながら、アルゴリズムは、テレシネ検出では４つのフィールド（すなわち、２つの異なるフレームの上部フィールド及び下部フィールド）を用いることができる。その他のフィールドの数、例えば５つ以上の入力フィールド、も定義可能である。

しかしながら、該大量のデータの処理は、高い電力及びリソースを要求する可能性がある。テレシネアルゴリズムは、処理されるピクセルの量を低減させるためにフレームのジグザグ走査を行うことができる。さらに、逆テレシネモジュール５１によって行われる動作の数を減少させるために、“テレシネパターンがいったんロックされた時点で逆テレシネをディスエーブルにする”技法を逆テレシネモジュール５１によって実行することが可能である。この場合は、テレシネパターンが見つかった時点で、そのパターンがロックされ、従って、逆テレシネモジュール５１は、新しい入力フレームにアクセスし続ける必要がなく、それは、処理電力を低減し及び帯域幅を小さくすることができる。しかしながら、このタイプの手法は、逆テレシネモジュール５１によって用いられる入力ピクセルデータを減少させず、むしろ、それは、逆テレシネモジュール５１が動作する回数を減少させる。従って、このタイプの技法は、不良編集中に生じる可能性があるテレシネパターの変化を見落とすことがある。

本開示の技法は、テレシネ検出のためにフェッチするピクセルデータを特定するための有効なアルゴリズムを提案するものである。本開示の技法の利点は、逆テレシネプロセスで用いられるピクセルの量の低減を含むことができ、それは、逆テレシネの性能を劣化させることなしにメモリ帯域幅を小さくすることができる。さらに、メモリ及び処理サイクルからのデータトラフィックの量を低減させることによって、説明される技法は、高精細度用途、等の映像のより高い解像度への逆テレシネの適用をサポートするのに役立つことができる。説明される技法は、テレシネを特定するためにビットストリーム内で情報が搬送されるのを要求せず、むしろ、純粋に映像のコンテンツにおいてテレシネが検出される。

電力消費が懸念事項であるデバイス（例えば、無線デバイス）に関しては、説明される逆テレシネ技法は、同様の電力量を用いるその他の技法と比較してテレシネ検出のためにより多くのフレームを処理するのに役立つことができ、それは、逆に、コマーシャル又は場面のカットの挿入中に生じる不良編集を把握するのに役立つ。本開示のメモリ帯域幅及び電力の節約の態様は、テレシネ検出アルゴリズムから独立していることができ及びフレームの少なくとも２つのフィールド（例えば、偶数フィールド及び奇数フィールド）へのアクセスを要求するその他のテレシネ検出アルゴリズムとともに用いることができる。この場合は、ピクセルデータの一部分のみをフェッチすることによって利点を達成することができ、ここで、ピクセルデータの一部分は、圧縮された領域の統計によって好適に、又は以下においてさらに詳細に説明される垂直サンプリング手法によって決定方式で、決定される。ピクチャの動いている部分は、通常は、テレシネ検出のためのより良い指標である。従って、高いレベルの動きを有する対象領域に関して逆テレシネを実行することは、メモリ帯域幅を小さくする一方で良好なテレシネ検出性能を提供することができる。さらに、本開示の技法は、動きベクトルを追跡することによって映像復号中に内部メモリに既にフェッチされている利用可能なピクセルデータ及び動きベクトルによって特定された基準ピクチャを利用することができる。

逆テレシネ技法の２つの主要な態様は、“テレシネ検出”（すなわち、プルダウン検出）及び“テレシネ補正”である。これらに加えて、“不良編集の検出”も逆テレシネ技法の一部であることができる。図６は、テレシネ検出段階６１と、不良編集検出段階６２と、テレシネ補正段階６３と、を含むテレシネ検出ユニット６１の基本ブロック図である。

テレシネ検出６１の基本的目標は、インターレースされた映像が３：２プルダウン、２：２プルダウン、又は他のプルダウンプロセスのいずれを経ているかを見つけ出すことである。フレームの“状態”は、図７に示される映像フレームの秩序を意味し、それらの状態は、いずれのフィルムフレームが映像フレームを構成するかの情報を搬送することができる。例えば、Ｓｔａｔｅ＿２（状態２）は、５つから成るグループ内の第２の映像フレームが第１のフィルムフレームの上部フィールド及び第２のフィルムフレームの下部フィールドから成ることを意味する。同様に、Ｓｔａｔｅ＿４（状態４）は、５つから成るグループ内の第４の映像フレームが第３のフィルムフレームの上部フィールド及び下部フィールドから成ることを意味する。

不良編集検出６２の目標は、最初に特定されたプルダウンパターンが時間の点で破断（ｂｒｏｋｅｎ）されているかどうかを決定することであることができる。実証のために破断されているプルダウンパターンが図８に例示される。パターンが図8の矢印によって示されるように破断されている場合は、次の映像フレームの新しい状態に加えて、新しいプルダウンパターンの開始点を特定しなければならない。３：２プルダウンと関連付けられた破断されたパターンが図８に例示される。

テレシネ補正６３の目標は、図９に示されるように、テレシネ検出によって提供される状態情報を用いて映像フレームをフィルムフレームに変換することである。補正は、映像フレーム状態がテレシネ検出段階６１によって正確に特定された時点で相対的に容易なプロセスであることができる。特に、図９に示されるように、補正は、状態情報により行うことができる。例えば、映像フレームがＳｔａｔｅ＿1、Ｓｔａｔｅ＿４又はＳｔａｔｅ＿５として特定された場合は、必要な変更は存在しない。映像フレームがＳｔａｔｅ＿２である場合は、フレームは、補正のためにドロップ（ｄｒｏｐ）される。映像フレームがＳｔａｔｅ＿３である場合は、それは、前の映像フレームから下部フィールドをフェッチし及び現在の映像フレームの下部フィールドをドロップすることによって補正される。この補正は、図９において例示される。

テレシネ検出アルゴリズムは、それらがプルダウンパターンを特定するために使用するフィールドの数に基づいて分類することができる。テレシネ検出アルゴリズムで用いられるフィールドの最低数は、２つ、例えば、映像フレームの上部フィールド及び下部フィールド、であるが、それよりも多いフィールドを用いることができる。テレシネ検出アルゴリズムは、検出プロセスで用いられるメトリックに基づいて分類することもできる。例えば、以下に記載された次のメトリックをテレシネ検出のために用いることができる。

・絶対差の和（ＳＡＤ）
・絶対ＳＡＤ
・ピクセルブロックパラメータ
・ピクセル統計
・動き
幾つかのテレシネアルゴリズムの基礎は、例えば、ＳＡＤメトリックを用いたピクセルの差分（ｄｉｆｆｅｒｅｎｃｉｎｇ）である。ＳＡＤは、特定のフィールドが繰り返されるかどうかを特定するために２つのフレームの対応するフィールド間で計算することができる。例えば、図９を参照し、Ｓｔａｔｅ＿２にある映像フレームは、Ｓｔａｔｅ＿１にある映像フレームと同じ上部フィールドを有する。これらの２つの上部フィールド間でＳＡＤを行い及びＳＡＤ値のスレショルド処理（ｔｈｒｅｓｈｏｌｄｉｎｇ）を行うことによって、上部フィールドが繰り返されるかどうかを特定することが可能である。

テレシネアルゴリズムのためにピクセルブロックパラメータを用いることもできる。それらのパラメータは、コンテンツ情報、例えば、ピクセルの特定のブロック内のエッジ、を含むことができる。このメトリックは、それがピクセル値の変化の代わりにコンテンツの変化を測定する点でＳＡＤと異なる。ピクセル統計を用いることは、ブロックパラメータ手法と同様であり、ピクセルの組の平均及び分散を用いることによって２つのフィールド間で比較が行われる。

不良編集の検出は、テレシネ検出では通常は強調されない。幾つかのアルゴリズムは、異なるプルダウンパターンを想定することができるが、これは通常は好まれない。異なるテレシネ検出アルゴリズムは、それらが検出の際に用いる基準フィールドの数と選択及びそれらが用いるメトリックの点で異なることがある。本開示の様々な態様、特にメモリ帯域幅を小さくする態様、は、様々な逆テレシネアルゴリズムとともに用いることができる。

１つのタイプの逆テレシネアルゴリズムでは、テレシネ検出を特定するためにＳＡＤメトリックを用いることができる。この場合は、２つの連続するフレームの同じパリティフィールド間でＳＡＤが計算される。１つのフィールドのＳＡＤ値が予め設定されたスレショルドよりも大きい場合は、反対のフィールドのＳＡＤ値も計算される。ＳＡＤ値が反対のフィールドのＳＡＤ値と同等である場合は、テレシネは検出されない。他方、反対のフィールドのＳＡＤ値の方が小さい場合は、“位相外れ”（Ｏｕｔ＿ｏｆ＿Ｐｈａｓｅ）が特定される。Ｓｔａｔｅ＿２及びＳｔａｔｅ＿４中に連続的に位相外れが検出される場合は、テレシネパターンをロックすることができる。このアルゴリズムの文脈では、位相外れは、映像フレームの上部フィールド又は下部フィールドのいずれかが前映像フレームから来るインターレースされた映像フレームを意味する。３：２プルダウン検出を経ている５つの映像フレームのグループでは、位相外れは２回、すなわち、（ｉ）Ｓｔａｔｅ＿２とＳｔａｔｅ＿１との間、（ｉｉ）Ｓｔａｔｅ＿４とＳｔａｔｅ＿３との間で検出されるはずである。図１０は、逆テレシネに関する該位相外れの検出を例示する。

このタイプの逆テレシネアルゴリズムでは合計２つのフレーム、すなわち４つのフィールド、を用いることができる。しかしながら、ここにおいてさらに詳細に説明されるように、ＳＡＤは、フレーム内のピクセルの一部のみを用いることによって計算することができる。画像は、ジグザグ方式で走査することができ、画像の小さい部分のみを用いることができる。ＳＡＤの実装は、８ビットアーキテクチャで行うことができる。テレシネパターンをロックし、Ｓｔａｔｅ＿２、後続してＳｔａｔｅ＿４、そして次にＳｔａｔｅ＿２、を検出した後は、アルゴリズムは、テレシネ補正を行い、逆テレシネコンテンツを出力することができる。出力は、テレシネパターンがＳｔａｔｅ＿２及びＳｔａｔｅ＿４において不具合になるごとに中断することができる。映像フレームは、次の事例に関してはそのままの状態で（すなわち、補正も変更もなしで）出力される。

・テレシネが検出されない場合
・十分なテレシネ履歴が存在しない場合
・テレシネパターンが中断された場合
（以下においてさらに詳細に対処されている）本開示の様々なメモリ帯域幅を小さくする態様を、これらの典型的な逆テレシネ手法のいずれに対しても適用可能である。しかしながら、この時点では、本開示は、“テレシネ検出”及び“テレシネ補正”モジュール又はユニットを実装する提案されている逆テレシネ技法に焦点を合わせる。

この場合は、テレシネ検出は、２つの主要な段階、すなわち、テレシネコスト（ｔｅｌｅｃｉｎｅ ｃｏｓｔ）計算及びテレシネパターン解析、によって実行することができる。第３段階（テレシネ補正）も逆テレシネアルゴリズムの一部を形成することができる。図１１は、これらの３つの段階を例示した基本的な流れ図である。コスト計算ユニット１１１は、フレームの奇数フィールド及び偶数フィールドからのピクセルを用いて解析を行う。この解析の結果は、映像ピクチャが真のプログレッシブピクチャであるか又は真のインターレースされたピクチャであるかを決定する。コスト計算段階１１１の出力は、テレシネパターン解析ユニット１１２によって用いることができる。テレシネパターン解析は、ハードウェア、ファームウェア及び／又はソフトウェアに実装することができる。テレシネパターン解析ユニット１１２は、入力パターンを解析し、それが標準の３：２又は２：２プルダウンパターンと一致するかどうかを検査する。それが一致する場合は、テレシネパターンをロックすることができ及び各ピクチャの状態情報を計算することができる。状態情報は、テレシネ補正ユニット１１３がテレシネ補正のためにピクセルフェッチするかどうかを示す。

テレシネコスト計算ユニット１１１は、ピクチャの２つのフィールド（すなわち、偶数フィールド及び奇数フィールド）を用いることができる。３つ以上のフィールドを用いるその他のアルゴリズムと比較したときに、このタイプのテレシネコスト計算は、リソース制約環境において実装されたときに低いメモリ帯域幅の要求を満たすという点で利点を有する。

提案されるアルゴリズムは３：２及び２：２プルダウンパターンを検出するように設計されているが、それは、その他のプルダウンパターンを検出するために容易に調整して使用することが可能である。ユニット１１２のパターン解析段階は、必要な場合はその他のプルダウンパターンを検出するために容易に変更することができる。

テレシネコスト計算ユニット１１１における“コスト”は、“位相外れとして検出される列の数”を示すことができ、ここで、“位相外れ”は、ピクチャ内の偶数フィールド及び奇数フィールドが異なる瞬間から来ていることを意味する。位相外れデータは、インターレーシングを示す。コスト計算アルゴリズムの目標は、基本的には、ピクチャがインターレースされているか又はプログレッシブであるかを特定することである。図１２は、テレシネされたインターレースされたフレームを例示した概念図であり、奇数フィールド及び偶数フィールドは、異なるフレームから来ているピクセルデータを特定する。

図１３は、テレシネコスト計算ユニット、例えば、図１２に示されるテレシネコスト計算ユニット１１１、によって実行することができるプロセスを例示した流れ図である。図１２に示されるように、テレシネコスト計算ユニット１１１は、フェッチすべきラインを特定し（１３０）、現在のフレームから、例えば、メモリ（示されてない）から、垂直ラインをフェッチする（１３１）。テレシネコスト計算ユニット１１１は、連続するピクセル差分を計算し（１３２）、ピクセル差分のスレショルド処理を行う（１３３）。テレシネコスト計算ユニット１１１は、垂直ライン内の連続するピーク及び谷（ｖａｌｌｅｙ）の長さを次に計算する（１３４）。

計算された各長さに関して（１３５）、テレシネコスト計算ユニット１１１は、長さが長さスレショルドＬｅｎ＿ＴＨよりも大きいかどうかを決定する（１３６）。そう（“はい”１３６）である場合は、テレシネコスト計算ユニット１１１は、位相外れカウンタ（ｏｕｔ＿ｏｆ＿ｐｈａｓｅ＿ｃｏｕｎｔｅｒ）を増分し（１３７）、次に、そのラインが終了されているかどうかを決定する（１３８）。テレシネコスト計算ユニット１１１は、ライン内の各ピクセルに関してこのプロセスを繰り返すことができ、所定の長さが長さスレショルドよりも大きいごとに位相外れカウンタを増分する。ラインが終了された時点で、テレシネコスト計算ユニット１１１は、位相外れカウンタがカウントスレショルドｃｏｕｎｔ＿ＴＨよりも大きいかどうかを決定する（１３９）。そう（“はい”１３９）である場合は、テレシネコスト計算ユニット１１１は、Ｏｕｔ＿ｏｆ＿Ｐｈａｓｅ（位相外れ）フラグを１に設定する（１４０）。そうでない（“はい”１３９）場合は、テレシネコスト計算ユニット１１１は、すべての垂直ラインが終了されているかどうかを決定する（１４１）。

さらなる垂直ラインを考慮する必要がある（“いいえ”１４１）場合は、テレシネコスト計算ユニット１１１は、該ラインのためにプロセスを繰り返す。しかしながら、テレシネコスト計算ユニット１１１が、位相外れカウンタがカウントスレショルドｃｏｕｎｔ＿ＴＨよりも小さい（“いいえ”１３９）かどうか及びすべての垂直ラインが終了されていること（“はい”１４１）を決定した場合は、テレシネコスト計算ユニット１１１は、Ｏｕｔ＿ｏｆ＿Ｐｈａｓｅフラグを０に設定する。この例では、Ｏｕｔ＿ｏｆ＿Ｐｈａｓｅフラグが０であることは、フレームがプログレッシブであることを意味し、Ｏｕｔ＿ｏｆ＿Ｐｈａｓｅフラグが１であることは、フレームがインターレースされていることを意味する。

図１３の流れ図に示されるアルゴリズムは、列（ｃｏｌｕｍｎ）に関してピクセル値を走査及び処理することができる。最初に、垂直ライン（すなわち、ピクチャの列）がフェッチされる。次に、列内の連続するピクセルの差分が次のように計算される。

次に、ピクセル差分が以下の方程式を用いてスレショルド処理される。

ここで、方程式（３）のｔ（ｘ，ｙ）は、それが１に等しい場合はピーク及びそれが−１の場合は谷を表す。

ピーク−谷の決定における雑音の影響を回避するために、テレシネコスト計算ユニット１１１は、ピクセルスレショルドｔｈ＿ｐを用いることができる。アルゴリズムの裏にある直感を次のように説明することができる。ピクチャがインターレースされる場合は、奇数フィールド及び偶数フィールドは、互いに高い相関関係及び同様のピクセル値を有することになる。図１２に示されるように、それらがインターリービングされるときには、ピクチャ列の垂直方向の連続するピクセルは、交互するピクセル値を有することになる。垂直方向におけるピクセル強度の差分は、鋸歯のパターンのように見える。鋸歯のパターンは、偶数フィールドと奇数フィールドとの間で動きが存在する場合に非常に有意になり、他方、それは、静止エリアではそれよりも有意でなくなる。インターレースされた試験シーケンスに関する鋸歯のパターンの例が図１４において１４５に示される。特に、パターン１４５は、有意なピーク及び谷を示し、それは、ピクチャ内での動きに対応する。しかしながら、背景エリアに対応する図の他の部分には有意なピーク及び谷のパターンは存在しておらず、ピーク及び谷がこのようにないことは１４６において例示される。

ピーク及び谷を決定後は、連続するピーク及び谷の長さは次のように計算することができる。

連続するピーク及び谷の長さが、スレショルド（ｌｅｎ＿ｔｈ）を上回る場合は、列は、位相外れとして特定され、位相外れカウンタが増分される。ｌｅｎ＿ｔｈは、画像の解像度に基づいて調整される。

次に、最終ステップとして、位相外れとして検出された列の数をスレショルドと比較することができる。位相外れとして検出された列の数がｃｏｕｎｔ＿ｔｈよりも大きい場合は、ピクチャ全体を位相外れとして特定し、バイナリラベル“１”で表すことができる。位相外れ列の数がスレショルドよりも小さい場合は、ピクチャは、同相（ｉｎ＿ｐｈａｓｅ）として特定され、バイナリラベル“０”で表される。換言すると、

幾つかの実装においては、列及びピクチャレベルの両方においてプロセスの早期終了が可能である。列レベルでの早期終了では、連続するピーク及び谷の長さがスレショルドｌｅｎ＿ｔｈを超えた時点で、アルゴリズムは、現在の列の処理を停止して次の列に移行することができる。ピクチャレベルでの早期終了では、何らかのパーセントのスレショルド（例えば、ｃｏｕｎｔ＿ｔｈ）に達した時点で、後続する列を検査することが不要であることができる。

テレシネパターン解析ユニット１１２は、連続するピクチャのピクチャラベル（ｐｉｃｔｕｒｅ＿ｌａｂｅｌ）情報を解析し、入力映像が３：２又は２：２のいずれのプルダウンパターンを有するかを特定することができる。さらに、テレシネパターン解析ユニット１１２は、プルダウンパターンの開始状態に基づいて各フレームの状態情報を決定することができる。正確な３：２プルダウンパターン及びピクチャレベルが図１５に示される。特に、正確な３：２プルダウンパターンは、次のビットパターンによって表すことができる。

［０１１００］は、ＣＰＤ＿３２においてそれ自体が繰り返す基本的なビットパターンであることが上記の方程式８からわかる。パターンは、シフトさせることができ及びＣＰＤ＿３２の第２又は第３の列から開始できることを注目すること。方程式７は、最も共通するパターンを表すことができるが、プルダウンパターンのオフセット値を規定する規格は存在しない。従って、プルダウンパターンを正確に検出するためにすべての可能なオフセットを考慮することが必要な場合がある。２のオフセットを有する同じ３：２プルダウンパターンの例が以下に示される。

数学的には、次の方程式が満たされる場合に正確なパターンを見つけ出すことができる。

ここで、ｔは時間を表し、｜｜はＯＲ演算を表し、異なるオフセットを有するＰａｔｔｅｒｎ＿ＩＤが以下に与えられる。

典型的には、アルゴリズムは、第５のフレームという早期に最初の３：２プルダウンパターンを見つけ出すことができる。しかしながら、図１５の３つの例の各々において示されるように、６つのパターンのうちの４つの基本パターンが見つけ出された場合（すなわち、３０番目のフレーム後）に３：２プルダウンパターンをロックするのが望ましいことがある。パターンが早期にロックされた場合は、不正確なテレシネ検出のリスクが存在し、それは、テレシネ補正に影響を及ぼして最終的には不良な映像品質が生じる可能性がある。

プルダウンパターンがロックされた時点で、各ピクチャの状態を特定することができる。各ピクチャの状態は、以下の表１に示されるようなテーブル検索方法によって容易に見つけ出すことができる。

２：２（すなわち、２：２：２：２：２：２：２：２：２：２：２：３）プルダウンパターン検出手順は、３：２プルダウンの場合と同様であることができる。相違点は、２：２プルダウンが（方程式１１に示される）特定の正確なプルダウンパターンを有していること、及び、基本の２：２パターンは３：２プルダウンの基本パターンと比較して長さの点でより大きいためロック時間がより長いことである。

“検査されるパターンの数”及び“正確なプルダウンパターン”、等のパラメータは、異なる実装において容易に変更することができる。

テレシネ補正ユニット１１３は、テレシネコスト計算ユニット１１１及びテレシネパターン解析ユニット１１２によって行われる、テレシネ検出によって提供された状態情報を用いて映像フレームをフィルムフレームに変換する。テレシネ補正は、映像フレーム状態がテレシネ検出プロセスによって正確に特定された時点では相対的に容易なプロセスである。テレシネ補正は、フレームが表示のためにフェッチされた時点で行われる。単純に、テレシネ補正中にまさに５つのフレームのうちで１つのフレームを廃棄することができ、この方法により、毎秒３０フレームの映像から毎秒２４フレームを得ることができる。

テレシネ検出は、ピクチャステートマシンを維持しつつテレシネパターンを格納することを含むことができる。テレシネ検出モジュール又はユニットは、テレシネ補正モジュール又はユニットにピクチャ状態情報を知らせることができる。状態情報は、テレシネ補正のために行われるフェッチ動作のタイプを示す。表２に示されるように各状態に関して異なるテレシネ補正動作を行うことができる。

テレシネ検出は、正確なバッファ位置及び正確な動作（例えば、プログレッシブフェッチ又は補正フェッチ）をディスプレイ（例えば、図３の表示装置３０）に知らせることができる。ピクチャ状態がＳｔａｔｅ＿１、Ｓｔａｔｅ＿４又はＳｔａｔｅ＿５である場合は、動作は必要ない。換言すると、それらは、プログレッシブフレームであり、それらは、プログレッシブにフェッチされる。ピクチャがＳｔａｔｅ＿２である場合は、それは廃棄される。ピクチャが状態Ｓｔａｔｅ＿３である場合は、それは、ピクチャがインターレースされたフォーマットであり、ピクチャの現在の下部フィールドを前ピクチャの下部フィールドと交換することによって補正する必要があることを意味する。この補正フェッチは、図１６に示され、そこでは、現在のフレーム１６１の奇数フィールドが前フレーム１６２の偶数フィールドと結合されて織り合わされた模様の（ｗｅａｖｅｄ）フレーム１６３が形成される。

テレシネ検出モジュールは、映像復号器内に実装することが可能である。テレシネ検出ユニットによって用いられるフレーム内のピクセルの半分超が既に内部メモリ内にあることができ、この場合は外部メモリからフェッチする必要がないため、これは好都合な場所である。この実装は、メモリフェッチと関連するデータトラフィックを低減させる、すなわち、メモリ帯域幅の使用を低減させる、という点での利点を提供する。テレシネが検出された時点で、“フィルムモードフラグ”又は“ピクチャ状態”、等の情報をテレシネ補正モジュールに送信することができる。テレシネ補正後は、補正されたフレームは、ピクセル処理パイプラインによって処理することができ、それは、画像のスケーリング、シャープニング及びエンハンスメント、及び可能な場合はその他の画像処理のためのアルゴリズムを含むことができる。

本開示の技法の一実装が図１７に示され、それは、デバイス２００のブロック図及び流れ図が結合された図である。最初に、デバイス２００は、入力がインターレースされたフォーマットであるかどうかを検査する（２０１）。それがインターレースされている（“はい”２０１）場合でテレシネ検出フラグがＯＮ（“はい”２０２）である場合は、テレシネ検出ユニット２０３によってテレシネ検出が行われ、それは、テレシネコスト計算ユニット２０４と、フレームレベルテレシネラベル計算ユニット２０５と、テレシネパターン検出ユニット２０６と、を含む。入力映像がインターレースされたフォーマットでない場合は、逆テレシネプロセス全体（検出及び補正の両方）が迂回される。入力がインターレースされたフォーマットであり及びテレシネ検出フラグがＯＦＦである場合は、テレシネ検出が迂回され、ステートマシンによって提供された状態情報に基づいてテレシネ補正が行われる。コンテンツは最初にインターレースされているにもかかわらずモードがインターレースされたに設定されていない特殊な事例（すなわちバグ）がＤＶＤ内に存在する可能性がある。それらの事例に関しては、ユニット２０１を迂回することができる。

復号開始時に、テレシネ検出フラグを自動的にＯＮにすることができる。しかしながら、プルダウンパターンが見つけられてロックされた時点で、フラグをＯＦＦにすることができる。テレシネ検出フラグは、更新テレシネ検出ユニット２０７のラベルが付された“テレシネ更新”モジュールによって制御することができる。この更新テレシネ検出ユニット２０７は、プルダウンパターンがロックすることが可能であるにもかかわらず規則的な間隔でのテレシネ検出を可能にし、アルゴリズムが潜在的な“不良編集”を特定するのを援助することができる。

テレシネ検出フラグがＯＮ（“はい”２０２）であるときには、アルゴリズムの第１のステップは、“コスト計算”を行うことであることができる。テレシネコスト計算ユニット２０４の出力は、フレームレベルテレシネラベル計算ユニット２０５に渡され、それにおいて、各ピクチャの状態が特定される。各ピクチャの状態情報は、映像がテレシネされているかどうかを決定するために（ここにおいて説明されるように）テレシネパターン検出ユニット２０６によって用いられる。プルダウンパターンが見つけられた場合は、テレシネがロックされ、“フィルムモードフラグ”がＯＮにされる。フィルムモードフラグがＯＮ（“はい”２０８）であるときには、デバイス２００は、各ピクチャの状態を計算することができる。各状態のための異なる補正方法が存在するため、状態情報は、補正を行う方法をテレシネ補正ユニット２０９に指示する。

Ｆｒａｍｅ＿Ｓｔａｔｅ（フレーム状態）計算ユニット２１０は、各ピクチャの状態を計算してＦｒａｍｅ＿Ｓｔａｔｅを出力することができる。Ｆｒａｍｅ＿ＳｔａｔｅがＦ３である場合は、テレシネ補正ユニット２０９は、状態３に関して上述されるようにＳｔａｔｅ＿Ｆ３テレシネ補正２１２を行う。Ｆｒａｍｅ＿Ｓｔａｔｅが状態１、５の４（４ ｏｆ ５）（“はい”２１４）である場合は、それらのフレームは、プログレッシブフレームとして出力される。Ｆｒａｍｅ＿Ｓｔａｔｅが状態２（“はい”２１４）である場合は、プロセスが終了し、そのフレームに関して何も出力されず、すなわち、逆テレシネ補正プロセスで状態２のフレームがドロップ（ｄｒｏｐ）される。

フィルムモードフラグがＯＦＦである場合は、デインターレースユニット２１５によってフレームにおいてデインターレースが適用される。実装プラットフォームに依存してアルゴリズムの異なる部分を分割してハードウェア又はソフトウェア内に入れることができる。

テレシネコスト計算は、図１８に示されるように１つのピクセルごとに行うことができる。例えば、このプロセスは、列に関してピクセル値を走査及び処理することができる。２１内のＸ_−１、Ｘ_０、Ｘ_１は、列内の連続するピクセルを表し、ここで、Ｘ_０は、現在のピクセルである。ＬｉｎｅＬｅｖｅｌ（ラインレベル）テレシネ検出フラグが１に設定されている（“はい”４０２）であるときには、Ｒｏｗ＿ｃｏを増分することができ（４０３）及び次のステップを実行することができる。

１．Ｘ_０及びＸ_−１の差分をとり、その差分をＤｉｆ１に設定する（加算器４０５及びネガティブユニット（ｎｅｇａｔｉｖｅ ｕｎｉｔ）４０４）をこれらの演算のために用いることができる）
２．Ｄｉｆ１＞ＴＨの場合は、Ｐ１＝１に設定し（４０９及び４１４）、Ｄｉｆ１＜−ＴＨの場合は、Ｐ１＝−１に設定し（４０８及び４１３）、そうでない場合は、Ｐ１＝０に設定する（４１２）。

３．Ｘ_１及びＸ_０の差分をとり、その差分をＤｉｆ２に設定する（加算器４０７及びネガティブユニット４０６をこれらの演算のために用いることができる）
４．Ｄｉｆ２＞ＴＨの場合は、Ｐ２＝１に設定し（４１１及び４１７）、Ｄｉｆ２＜−ＴＨの場合は、Ｐ２＝−１に設定し（４１０及び４１６）、そうでない場合は、Ｐ２＝０に設定する（４１５）。

５．Ｐ１及びＰ２の差分の絶対値をとり、それをＡＤｉｆに設定する（加算器４１９及びネガティブユニット４１８を差分演算のために用いることができ、及びＡＢＳユニット４２０は、絶対値演算を行うことができる）。

６．ＡＤｉｆ＝２の場合は、その列（すなわち、ｉ番目の列）に関するＬｅｎ＿ｃｏｕｎｔ［ｉ］を増加させ（“はい”４２２及び４２１）、ＡＤｉｆ≠２の場合は、Ｌｅｎ＿ｃｏｕｎｔ［ｉ］＝０に設定する（“いいえ”４２２及び４２３）。

７．Ｌｅｎ＿ｃｏｕｎｔ［ｉ］≧Ｔｈ２の場合は、Ｌｉｎｅ＿ＯＯＰｈａｓｅ［ｉ］＝１に設定し、ＬｉｎｅＬｅｖｅｌＴｅｌｅｃｉｎｅＤｅｔｅｃｔｉｏｎＦｌａｇ＝０に設定する（“はい”４２５、４２４及び４２７）。

８．Ｌｅｎ＿ｃｏｕｎｔ［ｉ］＜Ｔｈ２である場合でＲｏｗ＿ｃｏｕｎｔが最大に達した（すなわち、列内の全ピクセルが処理された）場合は、Ｌｉｎｅ＿ＯＯＰｈａｓｅ［ｉ］＝１に設定する（“いいえ”４２５、“はい”４２６及び４２８）。

９．Ｌｅｎ＿ｃｏｕｎｔ［ｉ］＜Ｔｈ２であるがＲｏｗ＿ｃｏｕｎｔが最大に達していない（すなわち、列内の全ピクセルが処理されていない）場合は、Ｌｉｎｅ＿ＯＯＰｈａｓｅ［ｉ］＝１に設定し、列内の次のピクセルの処理を続ける（“いいえ”４２５、“いいえ”４２６及び４２９）。

今度は図１９を参照し、全ピクセルを処理後、各列が同相である（すなわち、プログレッシブ特性を示す）か又は位相外れである（すなわち、インターレースされた特性を示す）かを明示するＬｉｎｅ＿ＯＯＰｈａｓｅ［．．．．］を、例えばソフトウェアを介して、処理することができる。Ｌｉｎｅ＿Ｃｏｕｎｔが、対応するＬｉｎｅ＿ＯＯＰｈａｓｅ［ｉ］の合計に設定される（２２１）。位相外れである列の数がＴＨ３よりも大きい（“はい”２２２）である場合は、ピクチャラベルが１に設定され（２２３）（それがインターレースされていることを明示する）、そうでない場合は、それは０に設定される（２２４）（それがプログレッシブであることを明示する）。

テレシネパターンの解析及び検出における典型的なアルゴリズムの概要が図２０に示される。テレシネパターン解析及び検出アルゴリズムは、パターンＩＤを特定し（２３１）、フィールドラベルを更新し（２３３）、テレシネ（ＴＣ）パターンを検査し（２３２）、パターンＩＤを更新する（２３４）ことができる。

テレシネパターンが見つかった（“はい”２３５）場合は、アルゴリズムは、フィルムモードフラグを１に設定し（２３６）、テレシネ検出フラグを０に設定し（２３７）、現在のフレーム状態を設定する（２３８）。テレシネパターンが見つからない（“いいえ”２３５）場合は、アルゴリズムは、フィルムモードフラグを０に設定し（２３９）、テレシネ検出フラグを１に設定し（２４０）、現在のフレーム状態をＦ０に設定する（２４１）。

図２０に示されるアルゴリズムへの入力は、単純に各ピクチャのための“ピクチャラベル”であるとみなすことができる。アルゴリズムは、時間ウィンドウ内のピクチャのラベルを解析し、映像がテレシネされているかどうかを判断する。アルゴリズムの出力は、テレシネ補正モジュールによって用いられる“フィルムモード判断”及び“フレーム状態”である。図２０のアルゴリズムの個々のステップは、次のように要約することができる。

１．現在のピクチャラベル及び以前のピクチャラベルに基づき、現在のピクチャのパターンＩＤを特定する。

２．決定された現在のパターンＩＤ及び以前のパターンＩＤを用いて、テレシネパターンが存在するかどうかを検査する。

３．テレシネパターンが見つかった場合は、フィルムモードフラグを１及びテレシネ検出フラグを０に設定する。現在のピクチャの状態を決定する。（テレシネ検出フラグ＝０は、［コスト計算とパターン解析とを含む］テレシネ検出が連続するフレームにおいて行われないことを意味する。連続するフレームの補正は、ステートマシンによって提供された状態情報に基づいて行われる。

４．テレシネパターンが見つからない場合は、フィルムモードフラグを０及びテレシネ検出フラグを１に設定する。さらに、ピクチャの現在の状態を０に設定する。（テレシネ検出フラグ＝０は、［コスト計算とパターン解析とを含む］テレシネ検出が連続するフレームに関して行われることを意味する。ピクチャの現在の状態を０に設定することは、現在のピクチャに対して補正が行われないことを意味する。この場合は、テレシネ補正ユニットは、プログレッシブにフレームをフェッチすることができる）。

フレームのためのパターンＩＤを見つけるプロセスは、５つのフレームのピクチャラベルを配列内に入れることと、５つの予め決定されたテンプレートにわたるテンプレートマッチングを行うことと、現在のピクチャのパターンＩＤを見つけること、とを単に含むことができる。３：２プルダウンでは、以下の表３において与えられた５つの可能なパターン選択肢が存在し、対応する状態を有する。入力映像から得られたパターンが５つの可能なパターン選択肢のうちのいずれの１つとも一致しない場合は（それは、入力がテレシネされていないか又はアルゴリズムがパターンを特定できない場合に起こりうる）、ダミーのパターンＩＤをピクチャに割り当てることができる（図２４参照）。

図２１に示されるように、フレームのためのパターンＩＤを定義するためのアルゴリズムは、現在のラベル配列（ｌａｂｅｌ ａｒｒａｙ）（４６１）を形成するプロセスにおいて５つの異なる配列（４６３、４６４、４６５、４６６及び４６７）の設定を含むことができる。フレームラベルは、ステップ４６８、４６９、４７０及び４７１において例示されるように更新することができる４６２。次に、４７２、４７４、４７６、４７８及び４８０において記載された異なる配列に基づいてパターンＩＤが設定される（４７４、４７５、４７７、４７９及び４８１）。これらの配列のうちのいずれも特定されない場合は、１０のパターンＩＤ（４８２）がこの事実を表すことができる。

テレシネ検査段階も実行することができる。テレシネパターン検査は、テレシネパターンが存在するかどうかを決定する他の単純なステップである。この段階への入力は、上記において概説される方法で得られた現在のパターンＩＤであることができる。テレシネパターンは、現在のパターンＩＤ及び以前のフレームからの格納されているパターンＩＤを用いて検出される。正確な３：２プルダウンパターン及び対応するパターンＩＤが以下の表４において与えられる。図２２に示されるように連続するパターンＩＤが１の差分を有する場合は３：２プルダウンパターンを見つけ出すことができ及びＴＣ＿Ｐａｔｔｅｒｎ＿Ｆｌａｇを１に設定することができる。その他の場合は、ＴＣ＿Ｐａｔｔｅｒｎ＿Ｆｌａｇを０に設定することができ、テレシネ検出アルゴリズムが連続するピクチャに対して適用される。

図２２は、逆テレシネプロセスのテレシネパターン検査状態によって実装することができるテレシネパターン検査プロセスを例示する。ステップ５０１、５０２、５０４、５０５、５０６及び５０７において様々なパラメータを設定することができ、ｋの値が１に減少されるまでステップ５０７及び５０８において値を調整することができ、ここで、ｋは、パターンＩＤ配列のインデックスである。次に、ステップ５０９、５１０、５１１において値を設定することができ、Ｐａｔ＿ＩＤ＿Ｄｉｆｆが１に等しく（“はい”５１２）、ｋがまだ１に減少されない場合は調整することができる（５１３及び“いいえ”５１４）。この時点でｋが１である場合は、テレシネパターンフラグが１に設定される（５１６）。Ｐａｔ＿ＩＤ＿Ｄｉｆｆが１に等しくない（“いいえ”５１２）場合は、テレシネパターンフラグが１に設定される（５１５）。

パターンＩＤが見つかった時点で、ピクチャ状態を決定することは、上記の図２３及び表３に示されるような単純な表検索手順である。この例では、パターンＩＤが１（“はい”２６１）である場合は、フレーム状態は５に設定される（２６２）。パターンＩＤが２（“はい”２６３）である場合は、フレーム状態は１に設定される（２６４）。パターンＩＤが３（“はい”２６５）である場合は、フレーム状態は２に設定される（２６６）。パターンＩＤが４（“はい”２６７）である場合は、フレーム状態は３に設定される（２６８）。パターンＩＤが５（“はい”２６９）である場合は、フレーム状態は４に設定される（２７０）。その他の場合は、フレーム状態は０に設定される（２７１）。

テレシネ検出アルゴリズムがプルダウンパターンを特定して状態をロックした後は、ステートマシンは、連続するピクチャの状態情報を維持することができる。例えば、Ｓｔａｔｅ＿２中にパターンがロックされた場合は、次のピクチャの状態がＳｔａｔｅ＿３、次に、Ｓｔａｔｅ＿４、次にＳｔａｔｅ＿５、次にＳｔａｔｅ＿Ｆ１になり、そしてＳｔａｔｅ＿２に戻る。図２４は、状態２（２７４）から状態３（２７５）に、次に状態３に（２７５）、次に状態４（２７６）、次に状態５（２７７）に、次に状態１（２７３）に変化し、次に該変化を繰り返すステートマシンを例示する。この方法により、１つのフレームの状態が見つかった時点で、テレシネプロセスが変化しないと仮定した場合（すなわち、“不良編集”が存在しないと仮定した場合）、後続するフレームの後続する状態が知られているはずである。

テレシネフラグ更新プロセスが図２５に示される。カウントが減分され（２８１）、カウントがゼロでない（“いいえ”２８２）場合は、テレシネ検出フラグをゼロに設定することができる（２８３）。カウントがゼロ（“はい”２８２）である場合は、カウントを３０にリセットすることができ（２８４）、テレシネ検出フラグを１に設定することができる（２８５）。

復号開始時に、テレシネ検出フラグが自動的にＯＮになる。プルダウンパターンが見つかってロックされた時点で、フラグをＯＦＦにすることができる。テレシネ検出フラグは、“テレシネ更新”モジュールによって制御することができる。該“テレシネ更新”モジュールは、プルダウンパターンが既にロックされている可能性がある場合でも規則的な間隔でのテレシネ検出を可能にする。更新“間隔”は、１秒、例えば、３０フレーム、に設定することができる。パターンがロックされた時点で、プロセスは、テレシネの検査を再開するために１秒待つことができ（図２５のＴＣ更新カウントによって制御される）、テレシネ検出フラグをＯＮに設定する。時間間隔は、希望される場合は変更することができる。より長い待ち時間、例えば、１分間（１８００フレーム）又は１０分間（１８０００フレーム）も可能である。これは、アルゴリズムが潜在的な“不良編集”を特定するのを援助する。待ち時間が長すぎる場合は、不良な編集の位置を見落とす可能性がある。待ち時間が短すぎて映像内にプルダウンパターンの変化が存在しない場合は、不要な電力消費が生じることになる。

テレシネ補正は、図２６に例示される方法で、フレームが表示のためにフェッチされたときに行うことができる。テレシネパターンは、上記において概説されるように、ステートマシンによって維持することができる。テレシネ検出及び状態決定後は、映像ユニットは、正確なバッファの場所及び動作（プログレッシブフェッチ又は補正フェッチ）をディスプレイに知らせる。繰り返すと、Ｓｔａｔｅ＿１、Ｓｔａｔｅ＿３及びＳｔａｔｅ＿５は、３：２プルダウンにおけるプログレッシブ状態であるとみなすことができる。ピクチャ状態がＳｔａｔｅ＿１、Ｓｔａｔｅ＿３又はＳｔａｔｅ＿５である場合は、動作は必要ない。換言すると、状態１、３又は５のフレームは、ディスプレイプロセッサにおいてプログレッシブにフェッチされるプログレッシブフレームであることができる。ピクチャがＳｔａｔｅ＿２である場合は、それは廃棄されて、フェッチも表示もされない。換言すると、映像ユニットは、フレームをディスプレイに渡さず、従って、ディスプレイプロセッサは、映像バッファからそれをフェッチしない。これは、３：２プルダウンでは５フレームごとに１フレームに関して発生する。ピクチャがＳｔａｔｅ＿３である場合は、それは、ピクチャがインターレースされたフォーマットであり、映像シーケンスにおいてピクチャの現在の下部フィールドを前フレームの下部フィールドと交換することによって補正する必要があることを意味する。これは、図２６では“補正”で表される。その映像ユニットがタイミング間隔を１／３０秒から１／２４秒に調整後は、映像ユニットは、高精細度マルチメディアインタフェース（ＨＤＭＩ）仕様に一致するＨＤＭＩハンドシェーキング技法を実行することによってこのコンテンツを２４Ｐとして表記することができる。

図２７は、テレシネ補正の概要を例示した流れ図であり、実装の１つの可能性をさらに示す。この典型的な実装では、ステップ３０３、３０４及び３０５は、ユニット又はモジュール３０１で実行され、他方、ステップ３０６、３０７、３０８及び３０９は、ユニット又はモジュール３０２で実行される。状態０、１、４及び５であるフレームは、通常どおりにフェッチされる（“はい”３０３）。状態２であるフレームは、ドロップされる（“はい”３０５）。状態３であるフレーム（“はい”３０４）は、ステップ３０６、３０７、３０８及び３０９と一致する形で補正のためのデインターレースフェッチを行うことできるようにユニット又はモジュール３０２に渡される。

Ｌｉｎｅ＿ＯＯＰｈａｓｅは、各列の位相情報を格納する。この情報は、フレーム全体の位相情報を特定するために渡すことができる。ＴＨ１及びＴＨ２は、コスト計算アルゴリズムによって用いられるスレショルドであり、それらは制御する（すなわち、映像の解像度に基づいて調整する）ことができる。Ｆｒａｍｅ＿Ｌｅｖｅｌ＿Ｔｅｌｅｃｉｎｅ＿Ｄｅｃｔｅｃｔｉｏｎ＿Ｆｌａｇ（フレームレベルテレシネ検出フラグ）は、コスト計算が行われるかどうかを制御する。

本開示の他の態様により、テレシネ検出を行うときにはフレームの一部分を評価するのが非常に望ましいことがある。フェッチされるピクセルの数を減少させることによって、メモリ帯域幅を小さくすること及びメモリの使用の低減を達成することができる。テレシネ検出の目的のためのフレームの部分的フェッチに関する幾つかの選択肢が存在し、それらの一部が図２８において例示され、図２８ではフレームのフェッチされた部分は陰影を用いて示される。

・選択肢０：フレーム全体
・選択肢１：フレームの左半分（図２８の事例１）
・選択肢２：フレームの右半分（図２８の事例２）
・選択肢３：上半分（図２８の事例３）
・選択肢４：下半分（図２８の事例４）
・選択肢５：中央部分（図２８の事例５）
・垂直サンプリングＡ
・選択肢６−２：サンプリング係数＝２（図２８の事例６−２）
・選択肢６−４：サンプリング係数＝４（図２８の事例６−４）
・選択肢６−８：サンプリング係数＝８（図２８の事例６−８）
・選択肢６−１６：サンプリング係数＝１６（図２８の事例６−１６）
・垂直サンプリングＢ
・選択肢７：１６の列のうちの４つがテレシネ検出のために検査される（図２８の事例７）。

テレシネ検出を目的とするデータの部分的フェッチのための異なる選択肢は、データフェッチのタイプが逆テレシネアルゴリズムの実行前に予め決定されている限りにおいて“決定方式”のフェッチとここにおいて呼ぶことができる。換言すると、フェッチされるデータは、ビットストリーム統計を考慮せずに決定方式で判断される。しかしながら、他のモードでは、フェッチされるデータは、ビットストリーム情報によって好適に決定することができる。

決定方式では、テレシネ検出のために用いられるフレームの特定部分が外部メモリからフェッチされる。繰り返すと、図２８は、幾つかの異なるサンプリング上の選択肢を例示し、それらの各々は、フレームと関連づけられた全データをフェッチする必要性をなくし、逆テレシネ目的のためのフレームの適切なサンプルを提供するためにデータの決定方式のフェッチのために定義及び使用することができる。目標は、基本的には、テレシネ検出の性能を劣化させることなしにフェッチされるピクセルの数を減少させることである。フェッチされるピクセルの数の減少は、図２８の１乃至５の事例におけるようにグローバルな形で、又は６−２の事例におけるように垂直サンプリングを用いることによって行うことができる。

水平サンプリングは、テレシネ検出のほとんど全体が垂直的相関関係を利用し、水平サンプリングは、テレシネ検出のために必要な重要情報をゆるめる（ｌｏｏｓｅ）ことになるという事実に起因して好まれない。しかしながら、水平サンプリングは、幾つかの映像フォーマットとともに用いることが可能であり、本開示は、垂直サンプリングのほうがテレシネ検出のためにより適するように思われるという事実にもかかわらず水平サンプリングを概して企図する。図２８の事例７を含む幾つかの事例は、本開示の技法がＨ．２６４映像復号器、等の映像プロセッサと関係させて用いられたときに有益であることができるマクロブロックレベルでのサンプリングを可能にすることができる。

注記されるように、適応型フェッチングも望ましいことがあり、及び、既に入手可能な映像復号化の際に用いられた類似の映像データに基づくテレシネ検出を容易にするために該データのメモリローディングを利用することができる。この場合は、逆テレシネアルゴリズムのためにフェッチされるデータの量は、動きベクトル及びマクロブロックモード統計並びに映像のＧＯＰ（ピクチャグループ）構造に依存することができる。

図２９は、”ＩＢＰ”ピクチャグループ（ＧＯＰ）構造の復号及び表示順序を例示した概念図である。この節では、用語“ピクチャ”及び“フレーム”は、互換可能な形で用いることができる。ＩＢＰ ＧＰＯ構造は、Ｂピクチャと、Ｐピクチャと、Ｉピクチャと、を含む。Ｂピクチャ及びＩピクチャは、その他のピクチャに基づいて取り扱われる。特に、Ｂピクチャは、前の及び次のＰピクチャによって双方向で予測され、他方、Ｐピクチャは、前のＰ（又はＩ）ピクチャを用いて予測される。Ｉピクチャは、イントラコーディングされ、それは、それらがいずれのその他のピクチャにも依存せず、その同じピクチャ内のデータに基づいてコーディングされることを意味する。逆テレシネでは、テレシネ検出のための十分な統計を収集するために現在のピクチャ（すなわち、現在の偶数フィールド）、及び前ピクチャ（すなわち、奇数フィールド）の両方を同時に処理することが必要なことがある。しかしながら、（図２９に示されるように）表示順序と復号順序の相違に起因して、逆テレシネデータフェッチを復号順序と同期化させるように注意しなければならない。

図３０は、図２９において例示されるようなＩＢＰ ＧＯＰ構造に関する復号器による逆テレシネデータフェッチと予測復号との間での典型的な同期化を例示する。例えば、Ｂ３からのマクロブロックが復号されるときには、Ｂ３の再構築されたマクロブロックピクセルは、プロセッサコアの内部メモリ内に格納することができ、プロセッサコアは、復号プロセス及び逆テレシネプロセスの両方を実行することができる。逆テレシネに関して、３つのピクチャだけ以前に復号されたＰ２は、外部メモリからフェッチすることが必要になることがある。しかしながら、内部メモリ（例えば、内部キャッシュ）を検査して、共在する（ｃｏ−ｌｏｃａｔｅｄ）Ｐ２マクロブロックがキャッシュ内に既に存在するかどうかを確認することができる。共在するＰ２マクロブロック（又はマクロブロックの一部）は、現在のＢ３ ＭＢマクロブロックが動き補償のための基準としてそれを用いる場合は典型的にはキャッシュ内に存在することになる。しかしながら、現在のＢ３マクロブロックがＰ２を動き補償のための基準として使用しない場合は、逆テレシネの目的のためにＰ２マクロブロックを外部メモリからフェッチすることが必要になる場合がある。ＩＢＰ ＧＰＯ構造は、逆テレシネデータフェッチとの適合性が非常に高い。これは、Ｂピクチャは動き補償のために前のＰピクチャを典型的に用いるという事実に起因する。しかしながら、ＩＢＢＰ ＧＯＰ構造では、Ｐピクチャ間の第２のＢピクチャ（例えば、図３１の例Ｂ５）は、前のＢピクチャ（Ｂ４）を基準として使用せず、このため、このデータは、典型的には、テレシネ検出を実行するために外部メモリからフェッチすることが必要になる。

図３１は、ＩＢＢＰ ＧＯＰ構造の典型的な復号順序を例示する。ＩＢＰ ＧＯＰ構造は、逆テレシネデータフェッチとの適合性が非常に高い。これは、Ｂピクチャは動き補償のために前のＰピクチャを典型的に使用するという事実に起因する。しかしながら、ＩＢＢＰ ＧＯＰ構造では、Ｐピクチャ間の第２のＢピクチャ（例えば、図３１の例Ｂ５）は、前のＢピクチャ（Ｂ４）を基準として使用せず、このため、このデータは、典型的には、テレシネ検出を実行するために外部メモリからフェッチすることが必要になる。

従って、ＩＢＢＰ ＧＯＰ構造が用いられるときに復号及び逆テレシネと関連づけられたデータフェッチを同期化することはより複雑なプロセスを要求することがある。該同期化の一例が図３２において実証される。この場合に関しては、逆テレシネプロセスは、処理するための次のフィールドの対、すなわち、Ｉ０−Ｂ１、Ｂ２−Ｐ３、Ｂ４−Ｂ５、Ｐ６−Ｂ７及びＢ８−Ｐ９、が必要である。例えば、Ｂ２−Ｐ３のフィールドの対を処理するときには、Ｐ３の方がより早く復号されるため、テレシネ検出アルゴリズムはＢ２の復号中に適用されるべきである。次の逆テレシネデータフェッチ（例えば、Ｂ４−Ｂ５フィールドの対）は、Ｂ５を復号後に行うことができる。ＩＢＰ構造及びＩＢＢＰ構造を比較すると、ＩＢＢＰのためのデータフェッチはＩＢＰ構造の場合ほどは規則的でないことがわかる。ＩＢＰ ＧＯＰでは、１つのフィールドおきに逆テレシネデータがフェッチされ、しかしながら、ＩＢＢＰ ＧＯＰでは、逆テレシネデータは、時には連続的にフェッチされ（例えば、Ｂ１の復号中、そして次にＢ２の復号中）、時には３つのフィールドおきに（Ｂ５の復号中）にフェッチされる。

これらのフェッチは、逆テレシネアルゴリズムの性能に対しては影響を及ぼすことができないが、逆テレシネデータフェッチが規則的な間隔で行われない場合は、フェッチは復号中に帯域幅ジッタを引き起こすことがある。

本開示は、逆テレシネを目的として、予測コーディングのためにデータフェッチを利用し、それにより重複するデータフェッチを回避するために適応型フェッチング技法を提案する。提案される適応型フェッチアルゴリズムは、ピクセルフェッチのために用いられる帯域幅を小さくするためにビットストリーム情報を解析することができる。適応型フェッチングのための少なくとも２つの異なる方法が論じられる。第１の方法では、フレーム全体のためのビットストリーム統計へのアクセスを推測することができる。この場合は、グローバルな統計に基づいていずれのピクセルをフェッチするかを特定するための判断を行うことができる。第２では、（フレーム全体ではなく）部分的統計へのアクセスを推測することができ、この場合は、該入手可能な情報に基づいてフェッチされるピクセルに関して判断を行うことができる。

幾つかの場合は、フレーム全体の統計への完全なアクセスが存在することができる。この場合は、逆テレシネユニットは、マクロブロックがＭＢＡＦＦフォーマットで符号化されているかどうかを検査することができる（ＭＢＡＦＦは、マクロブロック適応型フレーム／フィールドを表す）。マクロブロックがＭＢＡＦＦフォーマットで符号化される場合は、予測映像復号を目的として現在及び前のフィールドの両方（すなわち、フレームの偶数フィールド及び奇数フィールド）をメモリ内に格納済みであることができる。この場合は、逆テレシネユニットは、前フィールドと関連づけられたピクセルデータをフェッチする必要がない。しかしながら、マクロブロックがＭＢＡＦＦフォーマットで符号化されていない場合は、逆テレシネユニットは、例えば、図３３及び３４において例示されるように、該データをフェッチすることが必要になることがある。

図３３に示されるように、逆テレシネユニット２９は、マクロブロック（ＭＢ）がＭＢＡＦＦフォーマットであるかどうかを決定することができる（３６１）。そう（“はい”３６１）である場合は、逆テレシネユニット２９は、動き統計に基づいてフェッチされるべきピクセルエリアを選択することができる（３６２）。そうでない（“いいえ”３６１）場合は、逆テレシネユニット２９は、ピクチャタイプ、ＧＯＰ構造、動き及びマクロブロックの用いられる動きベクトル基準フレームに基づいてフェッチされるべきピクセルエリアを選択することができる。

図３４に示されるように、逆テレシネユニット２９は、ｂｌｏｃｋ＿ｉｓ＿ｖａｌｉｄ（ブロック有効）ビットをゼロに設定することによってブロックの処理を開始することができる（３７２）。逆テレシネユニット２９は、ブロックがインターコーディングされているかどうかを決定することができる（３７３）。イントラコーディングされたブロックの逆テレシネは、イントラコーディングされたブロックがその他のブロックからのデータではなく同じブロック内のデータに基づいてコーディングされる限りにおいて逆テレシネのために予測コーディングからのデータを再使用する本開示の態様から利益を得ることができない。ブロックがインターコーディングされる（“はい”３７３）場合は、逆テレシネユニット２９は、基準ピクチャの表示順序を計算し（３７４）、基準ピクチャが直前のフィールドであるかどうかを決定することができる（３７５）。

基準ピクチャが直前のフィールドである（“はい”３７５）場合は、逆テレシネユニット２９は、動きベクトルがゼロであるかどうかを決定することができる（３７６）。そう（“はい”３７６）である場合は、逆テレシネユニット２９は、ｂｌｏｃｋ＿ｉｓ＿ｖａｌｉｄビットを２に設定することができる。基準ピクチャが直前のフィールドであり（“はい”３７５）、動きベクトルがゼロでなく（“いいえ”３７６）、及び、動きベクトルがｂｌｏｃｋ＿ｓｉｚｅ（ブロックサイズ）にスレショルド（ＴＨ１）が乗じられた値よりも小さい場合は、逆テレシネユニット２９は、ｂｌｏｃｋ＿ｉｓ＿ｖａｌｉｄビットを１に設定することができる。このプロセスは、フレームの最後のブロックに達するまですべてのブロック（又はフレームの部分組のすべてのブロック）に関して繰り返すことができる（３８０）。最後のブロックに達した後は（“はい”３８０）、逆テレシネユニット２９は、ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ＿ｍａｐ（ブロック有効性マップ）を形成し（３８１）、ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ＿ｍａｐに基づいて列に関するブロック統計を計算することができる（３８２）。ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ＿ｍａｐは、基本的には、ブロックを、ビット０、１又は２を有するとして特定することができる。ビット２は、そのマクロブロックのためのデータがメモリに既に格納されていることを意味し、ビット１は、そのマクロブロックのためのデータの一部をメモリに格納できることを意味し、ビット０は、そのマクロブロックのためのデータのいずれもメモリに格納されないことを意味する。このように、ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ＿ｍａｐを形成することによって、有用なデータの列（例えば、圧倒的に２に等しいｂｌｏｃｋ＿ｖａｌｉｄビットを有する列）を逆テレシネ目的のために用いることができる。該列は、メモリに既に格納されているデータに対応することができ、従って、該データのメモリフェッチを回避することができる。

他の方法として、逆テレシネユニット２９は、“ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ”マップを形成するために全ブロックを処理し、ブロック統計を解析することができる。各ブロックに関して、０乃至２の値が割り当てられる。それよりも大きい値は、帯域幅を小さくするのに役立つより良いブロックであることを意味し、すなわち、前フィールドからのブロック全体又はブロックの大きい一部分を内部メモリにおいて見つけることができる。各ブロックに関して、最初にブロックモードが検査される。それがインターモードであり及び動きが直前のフレームを参照中である場合で、さらに動きベクトルがゼロである場合は、逆テレシネユニット２９は、ブロックラベルを２に設定することができる。

逆テレシネユニット２９がゼロの動きベクトルを探すことができる理由は、テレシネ検出に関しては、前フィールドからの共在するブロックが必要とされるためである。動きベクトルがゼロでないが、何らかのスレショルド値よりも小さい場合は、逆テレシネユニット２９は、ブロックラベルを１に設定することができる。ブロック値１は、テレシネ検出のために用いられることになる共在するブロックの一部分が内部メモリ内に存在し、それの一部のみを外部からフェッチしなければならないことを意味する。ブロック値０は、前フィールド内の共在するブロックが入手不能であり、完全にフェッチしなければならないことを意味する。全ブロックを処理後は、逆テレシネユニット２９は、ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ＿ｍａｐを形成することができる。そのマップの一例が図３５に示される。

特に、図３５は、０、１又は２の値に設定された有効ビットの組を備えるブロック有効性マップ例３８５を示す。２の値は、対応する映像ブロックに関する全データが内部メモリに既に格納されていることを意味し、１の値は、対応する映像ブロックに関するデータの一部が内部メモリに既に格納されていることを意味し、０の値は、対応する映像ブロックのいずれもが内部メモリにまだ格納されていないことを意味する。ブロック有効性マップ３８５からわかるように、６番目及び１０番目の行（ｒｏｗ）はすべて“２”を有しており、それは、これらの行内の各映像ブロックが内部メモリに既に格納されている対応する映像ブロックを有することを意味する。データが予測コーディングを目的として内部メモリに既に格納されていることができる限りにおいてこれらの行に関してデータフェッチを回避することができるため、逆テレシネユニットは、テレシネ検出を行う際にこれらの行の使用を優先することができる。

図３６は、図３５のブロック有効性マップ３８５、等の有効性マップを解析するプロセスを例示した流れ図である。示されるように、マップを開始させた時点で（３９１）、逆テレシネユニット２９は、列を処理する（３９２）。各列に関して、逆テレシネユニット２９は、０、１及び２の値が割り当てられる映像ブロックの数をカウントする。エントリが０（“はい”３９３）である場合は、０＿ｃｏｕｎｔｅｒが増分される（３９４）。エントリが１（“はい”３９５）である場合は、１＿ｃｏｕｎｔｅｒが増分される（３９６）。エントリが２（“いいえ”３９５）である場合は、２＿ｃｏｕｎｔｅｒが増分される（３９７）。プロセスは、全列が検討されるまですべての列に関して繰り返すことができ（“はい”３９４）、その時点で、マップの検討が終了される（３９９）。

図３７は、有効性マップの解析を例示した流れ図である。この場合は、逆テレシネユニット２９内のマップユニット（示されていない）が、０＿ｃｏｕｎｔｅｒ、１＿ｃｏｕｎｔｅｒ及び２＿ｃｏｕｎｔｅｒと関連づけられた入力を受信する。マップユニットは、カウンタに基づいて列の順位を設定する（ｒａｎｋｉｎｇ）。２＿ｃｏｕｎｔｅｒに関するより高い値は、その結果としてより高い順位になり、０＿ｃｏｕｎｔｅｒに関するより高い値は、その結果としてより低い順位になる。逆テレシネユニット２９は、Ｎを決定することができ（４０１）、この場合は、Ｎは、逆テレシネのために用いられる列の数に対応する。順位設定に基づき、マップユニットは、逆テレシネのために用いられるＮの列を有効性マップから選択することができる。次に、マップユニットは、最も望ましい列番号と関連づけられたピクセルを出力し、内部メモリに該データを引き渡し、逆テレシネユニット２９によって用いることができる（４０５）。データが内部メモリに既に格納されている範囲で（例えば、２の値が割り当てられているブロック又は１の値が割り当てられているブロックの一部分）、該データを再フェッチする必要がない。

従って、図３６及び３７の技法により、ｂｌｏｃｋ＿ｖａｌｉｄｉｔｙマップの列に関する統計を収集することができる。各列に関して、逆テレシネユニットは、個々のブロックラベルをカウントすることができる。図３５のマップに対応するラベルカウンタの例が以下において表８に示される。

それらの列は、ラベルに基づいて順位を設定することができ、及び、Ｎの数の列を外部メモリからフェッチするために選択することができる。数Ｎは、予め決定された値であることができ、又は調整可能であることができる。所定のブロックがＭＢＡＦＦフォーマットであるときには、両フィールドとも、復号後に内部メモリにおいて見つけることができる。しかしながら、この場合は、テレシネ検出のために行われる処理の量を低減させるために動き統計に基づいて判断を行うことが依然として必要である。この事例は、帯域幅は必ずしも小さくしないが、フレームを解析するためにハードウェアによって用いられるメモリの量を低減させることができる。メモリの低減は、解析されるフレームの部分を減少させることによって達成することもできる。

フレームのいずれの部分をテレシネ検出で使用するかを判断するために、逆テレシネユニットは、動き統計及び予測誤りを用いる単純なアルゴリズムを適用することができる。同様のｂｌｏｃｋ＿ｖａｌｉｄｉｔｙ（ブロック有効性）動きマップを形成することができ、大きい動き及び予測誤りを有するブロックに対して２のラベルが割り当てられ、より小さい動きのブロックに対して１のラベルが割り当てられ、イントラブロックに対して０のラベルが割り当てられる。次に、外部メモリからフェッチするピクセルの該当ブロックを選択するために同様の順位設定に基づく方法を適用することができる。

図３８は、部分的マップである他の形態の有効性マップを例示した概念図である。しかしながら、この場合は、列は、テレシネ検出の目的のための不良の候補列として段階ごとに排除することができる。示されるように、画像の高さ（ｉｍａｇｅ ｈｅｉｇｈｔ）の１／Ｍまで全列を検討することができ、ここで、Ｍは、整数である。この時点で、２ではなく０又は１の値が割り当てられているブロックを圧倒的に有する列を廃棄することができる。従って、画像の高さの１／Ｍ後は、第１、第７及び第１２の列は不良な候補であるためそれらは処理されない。列の第１の部分組は、画像の高さの１／Ｐ全体において処理することができ、ここで、Ｐは、Ｍよりも小さい整数である。この時点で、さらなる列を排除することができる。列の第２の部分組は、画像の高さの１／Ｒ全体において処理することができ、ここで、Ｒは、Ｐよりも小さい整数である。この時点で、さらなる列を排除することができる。列の第３の部分組は、画像の高さの１／Ｑ全体において処理することができ、ここで、Ｑは、Ｒよりも小さい整数である。

図３８において概念的に例示された処理技法は、逆テレシネ検出のために用いられる望ましい列を特定するために必要な処理の量を低減させることができる。繰り返すと、２の値が割り当てられたほとんどのブロックは、データが予測コーディングのために既にフェッチされている限りにおいてメモリからのフェッチを要求しないため、望ましい列は、これらのブロックを有するそれらである。示されるように、第３、第６及び第１０の列は、メモリ上効率的な逆テレシネ検出に非常に適しているようである。

図３８の例は、フレームの部分的統計が映像コーディングにおいて入手可能になるのに従って該統計のみを利用することができる。この場合は、逆テレシネユニットは、部分的なフレーム統計のみへのアクセスが可能であり、ブロックの復号が行われている一方でピクセルフェッチ判断を決定することができる。この場合に関しては、逆テレシネユニットは、ブロックが復号によって復号されるのに従って統計を収集することができる。図３８において例示されるように、最初に、いずれのピクセルの列が逆テレシネのために用いられるか不明であるため、すべての共在するブロックが幾つかの数の行のために前フィールドからフェッチされる。行の数は、画像の高さの１／Ｍのみに対応するように固定することができる。復号中に、ブロックラベルを計算することができ、列に関する統計が収集される。画像の次の部分（画像の幅の１／Ｐ）において、（段階１で決定された）より高いブロックラベル値を有する列のみが外部メモリからフェッチされる。次に、次の段階は、ラベルがより高い列ブロックのみをフェッチする。各段階において、フェッチされるブロックの数を減少させることができる。

要約すると、提案される技法は、逆テレシネ検出を容易にする上で、及びテレシネ検出プロセスのための映像復号器／プロセッサの帯域幅及びメモリに関する要求事項を軽減させる上で有益であることができる。帯域幅を小さくすることは、基本的には、メモリ内に既に存在する前フィールドのピクセルエリアを特定し、ビットストリームの特徴を用いて決定方式で又は好適にテレシネ検出を行うためにそれらのピクセルの列を選択することによって行われる。

本開示の技法は、無線ハンドセットと、集積回路（ＩＣ）又はＩＣの組（すなわち、チップセット）と、を含む非常に様々なデバイス又は装置において具現化することができる。説明されているいずれのコンポーネント、モジュール又はユニットも、機能上の態様を強調するために提供されており、異なるハードウェアユニット、等による実現は必ずしも要求しない。

従って、ここにおいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装することができる。モジュール又はコンポーネントとして説明されるいずれの特徴も、一体化された論理デバイス内においてまとめて又は個別の、ただし相互運用可能な、論理デバイスとして別々に実装することができる。ソフトウェアにおいて実装される場合は、それらの技法は、実行されたときに上述される方法のうちの１つ以上を行う命令を備えるコンピュータによって読み取り可能な媒体によって少なくとも部分的に実現することができる。コンピュータによって読み取り可能なデータ格納媒体は、コンピュータプログラム製品の一部を成すことができ、それは、パッケージング材料を含むことができる。コンピュータによって読み取り可能な媒体は、ランダムアクセスメモリ（ＲＡＭ）、例えば、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気又は光学的データ記憶媒体、等、を備えることができる。それらの技法は、追加で又は代替として、命令又はデータ構造の形態で符号を搬送又は通信し及びコンピュータによってアクセスする、読み取る及び／又は実行することが可能なコンピュータによって読み取り可能な通信媒体によって少なくとも部分的に実現することができる。

符号は、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又はその他の同等の集積回路又は個別論理回路、によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するいずれかのその他の構造のうちのいずれかを意味することができる。さらに、幾つか態様においては、ここにおいて説明される機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内において提供するか又は結合された映像コーデック内に組み入れることができる。さらに、それらの技法は、１つ以上の回路又は論理素子内において完全に実装することが可能である。

本開示の様々な態様が説明された。これらの及びその他の態様は、以下の請求項の権利範囲内にある。

本開示の様々な態様が説明された。これらの及びその他の態様は、以下の請求項の権利範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］方法であって、
映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定することと、
映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定することと、
前記パターンに基づいてテレシネ技法を特定することと、
前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行すること、とを備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、方法。
［２］前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記パターンを特定することは、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定することを備える［１］に記載の方法。
［３］前記逆テレシネ技法を実行することは、前記５つのフレームシーケンスを４つのフレームシーケンスに変換することを備え、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する［２］に記載の方法。
［４］映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定することは、前記個々の映像フレームと関連付けられたデータの部分組のみを処理することを備える［１］に記載の方法。
［５］前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる［４］に記載の方法。
［６］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる［４］に記載の方法。
［７］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［４］に記載の方法。
［８］いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［４］に記載の方法。
［９］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成することと、
前記マップに基づいて前記各々のフレームのための前記部分組を定義すること、とをさらに備える［８］に記載の方法。
［１０］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成することと、
前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義すること、とをさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する［８］に記載の方法。
［１１］映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、
映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定し、
前記パターンに基づいてテレシネ技法を特定し、及び
前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行する逆テレシネユニットを備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、映像処理装置。
［１２］前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記逆テレシネユニットは、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定する［１１］に記載の装置。
［１３］前記逆テレシネユニットは、前記５つのフレームシーケンスを４つのフレームシーケンスに変換するために前記逆テレシネ技法を実行し、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する［１２］に記載の装置。
［１４］映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定する際に、前記逆テレシネユニットは、前記個々の映像フレームと関連付けられたデータの部分組のみを処理する［１１］に記載の装置。
［１５］前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる［４］に記載の装置。
［１６］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる［４］に記載の装置。
［１７］前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［１４］に記載の装置。
［１８］前記装置は、予測映像コーディングを行う映像復号器をさらに備え、いずれかの所定のフレームと関連付けられた前記部分組は、前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［１４］に記載の装置。
［１９］前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記逆テレシネユニットは、
前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成し、及び
前記マップに基づいて前記各々のフレームのための前記部分組を定義する［１８］に記載の装置。
［２０］前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記逆テレシネユニットは、
予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成し、及び
前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義し、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する［１８］に記載の装置。
［２１］前記装置は、集積回路を備える［１１］に記載の装置。
［２２］前記装置は、マイクロプロセッサを備える［１１］に記載の装置。
［２３］前記装置は、前記逆テレシネユニットを含む無線通信デバイスを備える［１１］に記載の装置。
［２４］デバイスであって、
映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定するための手段と、
映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定するための手段と、
前記パターンに基づいてテレシネ技法を特定するための手段と、
前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行するための手段と、を備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、デバイス。
［２５］前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記パターンを特定するための手段は、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定するための手段を備える［２４］に記載のデバイス。
［２６］前記逆テレシネ技法を実行するための手段は、前記５つのフレームシーケンスを４つのフレームシーケンスに変換するための手段を備え、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する［２５］に記載のデバイス。
［２７］映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定するための手段は、前記個々の映像フレームと関連付けられたデータの部分組のみを処理するための手段を備える［２４］に記載のデバイス。
［２８］前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる［２７］に記載のデバイス。
［２９］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる［２７］に記載のデバイス。
［３０］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［２７］に記載のデバイス。
［３１］いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［２７］に記載のデバイス。
［３２］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成するための手段と、
前記マップに基づいて前記各々のフレームのための前記部分組を定義するための手段と、をさらに備える［３１］に記載のデバイス。
［３３］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成するための手段と、
前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義するための手段と、をさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する［３１］に記載のデバイス。
［３４］プロセッサによって実行されたときに、
映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、
映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定し、
前記パターンに基づいてテレシネ技法を特定し、及び
前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行することを前記プロセッサに行わせる命令を備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、コンピュータによって読み取り可能な媒体。
［３５］前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記命令は、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定することを前記プロセッサに行わせる［３４］に記載のコンピュータによって読み取り可能な媒体。
［３６］前記命令は、前記５つのフレームシーケンスを４つのフレームシーケンスに変換することを前記プロセッサに行わせ、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する［３５］に記載のコンピュータによって読み取り可能な媒体。
［３７］映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定する際に、前記命令は、前記個々の映像フレームと関連付けられたデータの部分組のみを処理することを前記プロセッサに行わせる［３４］に記載のコンピュータによって読み取り可能な媒体。
［３８］前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる［３７］に記載のコンピュータによって読み取り可能な媒体。
［３９］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる［３７］に記載のコンピュータによって読み取り可能な媒体。
［４０］前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［３７］に記載のコンピュータによって読み取り可能な媒体。
［４１］いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される［３７］に記載のコンピュータによって読み取り可能な媒体。
［４２］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成し、及び
前記マップに基づいて前記各々のフレームのための前記部分組を定義することを前記プロセッサに行わせる命令をさらに備える［４１］に記載のコンピュータによって読み取り可能な媒体。
［４３］予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成し、及び
前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義することを前記プロセッサに行わせる命令をさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する［４１］に記載のコンピュータによって読み取り可能な媒体。

Claims (43)

1. 方法であって、
   映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定することと、
   映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定することと、
   前記パターンに基づいてテレシネ技法を特定することと、
   前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行すること、とを備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、方法。
2. 前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記パターンを特定することは、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定することを備える請求項１に記載の方法。
3. 前記逆テレシネ技法を実行することは、前記５つのフレームシーケンスを４つのフレームシーケンスに変換することを備え、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する請求項２に記載の方法。
4. 映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定することは、前記個々の映像フレームと関連付けられたデータの部分組のみを処理することを備える請求項１に記載の方法。
5. 前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる請求項４に記載の方法。
6. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる請求項４に記載の方法。
7. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項４に記載の方法。
8. いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項４に記載の方法。
9. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成することと、
   前記マップに基づいて前記各々のフレームのための前記部分組を定義すること、とをさらに備える請求項８に記載の方法。
10. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成することと、
    前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義すること、とをさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する請求項８に記載の方法。
11. 映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、
    映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定し、
    前記パターンに基づいてテレシネ技法を特定し、及び
    前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行する逆テレシネユニットを備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、映像処理装置。
12. 前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記逆テレシネユニットは、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定する請求項１１に記載の装置。
13. 前記逆テレシネユニットは、前記５つのフレームシーケンスを４つのフレームシーケンスに変換するために前記逆テレシネ技法を実行し、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する請求項１２に記載の装置。
14. 映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定する際に、前記逆テレシネユニットは、前記個々の映像フレームと関連付けられたデータの部分組のみを処理する請求項１１に記載の装置。
15. 前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる請求項４に記載の装置。
16. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる請求項４に記載の装置。
17. 前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項１４に記載の装置。
18. 前記装置は、予測映像コーディングを行う映像復号器をさらに備え、いずれかの所定のフレームと関連付けられた前記部分組は、前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項１４に記載の装置。
19. 前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記逆テレシネユニットは、
    前記予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成し、及び
    前記マップに基づいて前記各々のフレームのための前記部分組を定義する請求項１８に記載の装置。
20. 前記装置は、予測映像コーディングを行う映像復号器をさらに備え、前記逆テレシネユニットは、
    予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成し、及び
    前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義し、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する請求項１８に記載の装置。
21. 前記装置は、集積回路を備える請求項１１に記載の装置。
22. 前記装置は、マイクロプロセッサを備える請求項１１に記載の装置。
23. 前記装置は、前記逆テレシネユニットを含む無線通信デバイスを備える請求項１１に記載の装置。
24. デバイスであって、
    映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定するための手段と、
    映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定するための手段と、
    前記パターンに基づいてテレシネ技法を特定するための手段と、
    前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行するための手段と、を備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、デバイス。
25. 前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記パターンを特定するための手段は、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定するための手段を備える請求項２４に記載のデバイス。
26. 前記逆テレシネ技法を実行するための手段は、前記５つのフレームシーケンスを４つのフレームシーケンスに変換するための手段を備え、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する請求項２５に記載のデバイス。
27. 映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定するための手段は、前記個々の映像フレームと関連付けられたデータの部分組のみを処理するための手段を備える請求項２４に記載のデバイス。
28. 前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる請求項２７に記載のデバイス。
29. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる請求項２７に記載のデバイス。
30. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項２７に記載のデバイス。
31. いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項２７に記載のデバイス。
32. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成するための手段と、
    前記マップに基づいて前記各々のフレームのための前記部分組を定義するための手段と、をさらに備える請求項３１に記載のデバイス。
33. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成するための手段と、
    前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義するための手段と、をさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する請求項３１に記載のデバイス。
34. プロセッサによって実行されたときに、
    映像フレームのシーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを決定し、
    映像フレームの前記シーケンス内の前記プログレッシブフレーム及び前記インターレースされたフレームのパターンを特定し、
    前記パターンに基づいてテレシネ技法を特定し、及び
    前記特定されたテレシネ技法に基づいて映像フレームの前記シーケンスに関して逆テレシネ技法を実行することを前記プロセッサに行わせる命令を備え、前記逆テレシネ技法は、毎秒Ｎの映像フレームを毎秒Ｍの映像フレームに変換し、Ｍ及びＮは、正の整数であり、Ｍは、Ｎよりも小さい、コンピュータによって読み取り可能な媒体。
35. 前記パターンは、３：２プルダウンテレシネ技法と関連付けられ、前記命令は、前記３：２プルダウンと関連付けられた特定の順序で３つのプログレッシブフレーム及び２つのインターレースされたフレームから成る５つのフレームシーケンスを特定することを前記プロセッサに行わせる請求項３４に記載のコンピュータによって読み取り可能な媒体。
36. 前記命令は、前記５つのフレームシーケンスを４つのフレームシーケンスに変換することを前記プロセッサに行わせ、前記逆テレシネ技法は、毎秒３０の映像フレームを毎秒２４の映像フレームに変換する請求項３５に記載のコンピュータによって読み取り可能な媒体。
37. 映像フレームの前記シーケンス内の個々の映像フレームがプログレッシブフレームであるか又はインターレースされたフレームであるかを特定する際に、前記命令は、前記個々の映像フレームと関連付けられたデータの部分組のみを処理することを前記プロセッサに行わせる請求項３４に記載のコンピュータによって読み取り可能な媒体。
38. 前記部分組は、前記個々のフレーム内のピクセルデータのブロックを備え、前記ブロックは、逆テレシネ検出のために予め定義され、ピクセルデータの前記ブロックは、前記個々のフレームの各々のためにメモリからフェッチされる請求項３７に記載のコンピュータによって読み取り可能な媒体。
39. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、逆テレシネ検出のために予め定義され、前記個々のフレーム内のピクセルデータの前記縦列は、前記個々のフレームの各々のためにメモリからフェッチされる請求項３７に記載のコンピュータによって読み取り可能な媒体。
40. 前記部分組は、前記個々のフレーム内のピクセルデータの縦列を備え、前記個々のフレーム内のピクセルデータの前記縦列は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項３７に記載のコンピュータによって読み取り可能な媒体。
41. いずれかの所定のフレームと関連付けられた前記部分組は、予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかに基づいて好適に定義される請求項３７に記載のコンピュータによって読み取り可能な媒体。
42. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルのマップを生成し、及び
    前記マップに基づいて前記各々のフレームのための前記部分組を定義することを前記プロセッサに行わせる命令をさらに備える請求項４１に記載のコンピュータによって読み取り可能な媒体。
43. 予測映像コーディングでの使用のためにデータがメモリから既にフェッチされているかどうかを定義するために各々のフレームと関連付けられたピクセルの部分的マップを生成し、及び
    前記部分的マップに基づいて前記各々のフレームのための前記部分組を定義することを前記プロセッサに行わせる命令をさらに備え、前記部分的マップは、統計が入手可能になるのに従って前記各々のフレームの前記予測映像コーディング中に定義され、前記統計は、個々のピクセルが前記予測映像コーディングのために既にフェッチされているかどうかを定義する請求項４１に記載のコンピュータによって読み取り可能な媒体。

Images