JP2009533000A - 受信機におけるビデオ復号 - Google Patents

受信機におけるビデオ復号 Download PDF

Info

Publication number
JP2009533000A
JP2009533000A JP2009504458A JP2009504458A JP2009533000A JP 2009533000 A JP2009533000 A JP 2009533000A JP 2009504458 A JP2009504458 A JP 2009504458A JP 2009504458 A JP2009504458 A JP 2009504458A JP 2009533000 A JP2009533000 A JP 2009533000A
Authority
JP
Japan
Prior art keywords
video
frame
receiver
video frames
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009504458A
Other languages
English (en)
Inventor
オーア、ブライアン・ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009533000A publication Critical patent/JP2009533000A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

本開示は受信機を示す。受信機は、ビデオ復号器と、複数のビデオフレームを備えるビデオシーケンスを受信するように構成されたフレームスロットルとを含む。フレームスロットルは更に、ビデオシーケンスをビデオ復号器へ提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップするように構成される。

Description

本開示は、一般にテレコミュニケーションシステムに関し、特に、受信機におけるビデオ復号のための概念及び技術に関する。
帯域幅がプレミアムに達したテレコミュニケーション界において、ビデオ符号化は重要な役割を果たす。ビデオ符号化は、受信機でビデオ画像を再生するために送信媒体を介して送らなければならない情報の量を劇的に低減することができる。これは、ビデオシーケンス内の隣接する2つのフレーム間にほとんど差異がないという事実を利用することによって達成される。唯一の差異はしばしば、画像のある部分がフレーム間で微かに移動することである。ビデオ符号化は、この差異を表す情報を生成し、その情報を圧縮する処理である。
受信機において、圧縮された情報は画像を復元するために復号される。各フレームを復号するためにかかる時間は、そのフレーム内の情報量に依存する。リアルタイムで動作する場合、ビデオ復号器は、
Figure 2009533000
未満である平均復号時間を維持しなければならない。しかし、高性能ビデオ符号化技術であっても、もし与えられた数のフレームが高レベルの情報コンテンツを有していれば、システムのリアルタイム制約が満たされないであろう可能性が未だにある。これは特に、ビデオ復号が、他の受信機能と共有される中央処理装置(CPU)によって実行される場合に起こりうる。もしリアルタイム制約が満たされなければ、ビデオ画像は、オーディオとの同期化を停止又は喪失しているように見える。加えて、全てのビデオフレームを復号するために十分な時間がないために、ビデオフレームは失われるであろう。
従って当該技術において、ビデオフレームが高レベルの情報コンテンツを含む場合、画像品質の低減を最小限にしながら、同時に受信機の計算リソースを最適に利用するために、ビデオシーケンス内のフレームを選択的にドロップする技法へのニーズがある。
発明の概要
受信機の1つの局面が開示される。受信機は、ビデオ復号器と、複数のビデオフレームを備えるビデオシーケンスを受信するように構成されたフレームスロットルとを含み、フレームスロットルは更に、ビデオ復号器へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップするように構成される。
ビデオフレームを復号する方法の1つの局面が開示される。方法は、複数のビデオフレームを備えるビデオシーケンスを受信することと、ビデオシーケンスを復号することと、ビデオシーケンスを復号する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップすることを含む。
受信機の別の局面が開示される。受信機は、複数のビデオフレームを備えるビデオシーケンスを受信する手段と、ビデオシーケンスを復号する手段と、復号する手段へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップする手段とを含む。
詳細な説明
無線通信システムの様々な局面が、添付図面において、限定ではなく例として示される。
添付図面と関連する以下の詳細な説明は、本発明の様々な構成の説明として意図されており、本発明が実現される構成のみを表すようには意図されていない。詳細な説明は、本発明の全体的な理解を提供する目的のために、特定の詳細を含む。しかし、本発明がこれら特定の詳細なしにも実現されうることが当業者には明らかであるだろう。いくつかの例において、周知の構成及び構成要素が、本発明の概念を不明瞭にすることを避けるためにブロック図形式で示される。
本明細書に開示された概念及び技術は、様々な有線及び無線通信システムにおいて用いられうる。有線システムの例は、イーサネット(登録商標)システム、デジタル加入者線(DSL)、ケーブルモデム、光ファイバー、標準的な電話線、及びその他を含む。無線システムの例は、セルラーシステム、ブロードキャストシステム、無線ローカルエリアネットワーク(WLAN)システム、及びその他を含む。セルラーシステムは、符号分割多元接続(CDMA)システム、時分割多元接続(TDMA)システム、周波数分割多元接続(FDMA)システム、直交周波数分割多元接続(OFDMA)システム、単一キャリアFDMA(SC−FDMA)システム、及びその他の多元接続システムでありうる。ブロードキャストシステムは、メディアフローシステム、デジタル・ビデオ・ブロードキャスティング・フォー・ハンドヘルド(DVB−H)システム、地上テレビジョンブロードキャスティングのための統合サービスデジタルブロードキャスティング(ISDB−T)システム、及びその他のブロードキャストシステムでありうる。WLANシステムは、IEEE 802.11システム、Wi−Fiシステム、及びその他でありうる。これらシステムは、当該技術において周知である。
本明細書に開示された概念及び技術は、多数のサブキャリアを備えるシステムと同様に、単一サブキャリアを備えるシステムに適している。多数のサブキャリアは、OFDM、SC―FDMA、又はその他いくつかの変調技法を用いて獲得されうる。OFDM及びSC−FDMAは、周波数帯域(例えば、システム帯域幅)を、トーン、ビン等とも称される多数の直交サブキャリアに分割する。各サブキャリアは、データを用いて変調されうる。一般に変調記号は、OFDMの場合は周波数領域内であり、SC−FDMAの場合は時間領域内でサブキャリア上で送られる。OFDMは、例えばメディアフロー、DVB−Hブロードキャストシステム及びISDB−Tブロードキャストシステム、IEEE 802.11a/g WLANシステム、及びその他のセルラーシステムのような様々なシステムにおいて用いられる。受信機のある局面及び構成が、例えばメディアフローシステムのようなOFDMを用いるブロードキャストシステムに関して以下で説明される。
図1は、マルチメディアブロードキャストシステムの例を示す概念ブロック図である。多数の無線加入者ユニット106へワイドエリアコンテンツ及びローカルエリアコンテンツを配信するために、ナショナルコンテンツプロバイダ及びローカルコンテンツプロバイダのためのアクセスポイントとなる配信センター102とともに、ブロードキャストシステム100が示される。いくつかの地理的領域において、ワイドエリアコンテンツ及び/又はローカルエリアコンテンツは、送信機ユニット108のネットワークによって無線加入者ユニット106へ直接配信される。ワイドエリアコンテンツ及び/又はローカルエリアコンテンツは、セルラーネットワーク110によって無線加入者ユニット106へ配信されることもできる。
無線加入者ユニットは、固定式又は移動式であることができ、アクセス端末、ハンドセット、無線加入者、無線ユニット、無線デバイス、無線通信デバイス、無線テレコミュニケーションデバイス、無線電話、セルラー電話、ユーザ端末、ユーザ装置、モバイル局、モバイルユニット、加入者局、無線局、モバイルラジオ、ラジオ電話、又はその他いくつかの用語で称されることもできる。無線加入者ユニット106は、モバイル電話、携帯情報端末(PDA)、パーソナルコンピュータ又はラップトップコンピュータ、ゲーム機、又は、ワイドエリアコンテンツ及び/又はローカルエリアコンテンツを受信できるその他のデバイスであることができる。
図2は、マルチメディアブロードキャストシステム200内の送信機202及び受信機204を示す概念ブロック図である。この構成において、送信機202は、送信機ユニット又は基地局の一部であり、受信機204は無線加入者ユニットの一部であることができる。あるいは、送信機202が無線加入者ユニットの一部であり、受信機204が基地局の一部であることができる。一般に、送信機202及び受信機204は、送信媒体を介して通信する任意の適切なデバイスの一部でありうる。
送信機202において、ビデオ符号器206がビデオシーケンスのフレームを符号化する。ビデオ符号化器206の1つの構成において、各フレームは、Iフレーム、Pフレーム、又はBフレームの何れかとして符号化される。Iフレーム(又は「イントラフレーム」)は、ビデオシーケンス内の他のフレームから独立してビデオ符号化器204によって処理されるデータのフレームである。Pフレーム(又は「予測フレーム」)は、Iフレームに後続し、ビデオシーケンス内の先行するIフレームからの変化を表すデータのみを含む。Bフレーム(又は「双方向フレーム」)は、先行フレームからの変化、又はビデオシーケンス内の次のフレームとのコンテンツ内の差異の何れかを表すデータのみを含む。
符号化処理は、各フレーム内のデータを離散空間周波数係数に変換することと、変換係数を量子化することとを含む。1つの構成において、ビデオ符号化器206は、ビデオシーケンスをベースチャネルとエンハンストチャネルとの2つのチャネルに分割する。ベースチャネルは、エンハンストチャネルよりも高度な量子化を有する。
量子化された変換係数は、適切なアルゴリズムを用いて圧縮される。一般的な圧縮アルゴリズムは、エントロピー符号化を用いるH.264である。エントロピーは、頻繁に起こる係数を置換するために短コードが用いられ、より頻繁でない係数を置換するために長コードが用いられる技法である。その結果は、同期化及び制御情報と結合すると、圧縮されたビデオビットストリームを生成する可変長バイナリコードのシーケンスである。
送信(TX)データプロセッサ208は、データ記号を生成するために圧縮されたビデオビットストリームを処理(例えばターボ符号化、インタリーブ、及び記号マップ)する。変調器210は、OFDM記号を生成するために、データ記号にOFDM変調を行う。アナログ・フロント・エンド(AFE)212は、OFDM記号を処理(例えばアナログ変換、増幅、フィルタ、及び周波数アップコンバート)し、アンテナ214を経由して送信される変調信号を生成する。
受信機204において、アンテナ216が送信機202から変調信号を受信し、それをAFE218へ提供する。AFE218は、OFDM記号を復元するために変調信号を処理(例えばフィルタ、増幅、及び周波数ダウンコンバート)する。復調器220は、送信機202から送られたデータ記号の推定値であるデータ記号推定値を生成するために、OFDM記号にOFDM復調を行う。復調器220は、データ記号推定値を受信(RX)データプロセッサ222へ提供する。RXデータプロセッサ222は、圧縮されたビデオビットストリームを復元するために、データ記号推定値を処理(例えば記号デマップ、デインタリーブ、及びターボ復号)する。ビデオ復号器224は、ディスプレイ226に表示する一連のビデオフレームを生成するために、圧縮されたビデオビットストリームを復号する。
図3Aは、ビデオ復号器の概念ブロック図である。ビデオ復号器224は、RXデータプロセッサ222(図2に示す)から出力された圧縮されたビデオビットストリームをバッファするフレームバッファ302を含む。フレームバッファ302は、例えばフロー制御、ハンドシェイク、及び誤り検出/復元のようなトランスポート層機能を実行することもできる。第1の復号器304は、ベースチャネル及びエンハンストチャネル内の各ビデオフレームについて量子化された変換係数を復元するために、エントロピー復号を実行する。量子化された変換係数は、完全に再構築されたビデオフレームを生成するためのチャネル結合、逆量子化、及び逆変換のために、第2の復号器306へ提供される。Pフレーム及びBフレームの場合には、第2の復号器306の動作は、1つ又は複数の隣接したビデオフレームに関連して実行される。ビデオレンダラ308は、ビデオフレームをオーディオとともに同期化し、適切なフレームレートで、適切なシーケンスでビデオフレームをディスプレイ226(図2に示す)へ表示する。
上述したように、システムのリアルタイム制約は、ビデオフレームを復号する平均時間が
Figure 2009533000
を超えないことを必要とする。これは、復号するために
Figure 2009533000
より長い時間を必要とするIフレームの埋め合わせをするために、いくつかのPフレーム及びBフレームが
Figure 2009533000
より短い時間で復号されることが必要でありうることを意味する。確かに、ビデオシーケンス内により多くのIフレームが含まれる場合、ビデオ品質は向上するであろうが、もしIフレームの数が非常に多くなると、ビデオ復号器226はシステムのリアルタイム制約を満たすことができないだろう。
任意の与えられたビデオシーケンス内のIフレームの数に加えて、受信機復号器のハードウェア実装は、システムのリアルタイム制約を満たす能力に悪影響をもたらしうる。受信機のハードウェア構成の例が図4に示される。図2乃至4に示すように、受信機204はデジタル信号プロセッサ(DSP)402を含む。DSP402は、信号処理機能を高速度で実行するように設計された特定用途向けプロセッサである。この例においてDSP402は、受信機204における復調器220の機能と、RXデータプロセッサ208の機能とを実現する。マイクロプロセッサ404は、ディスプレイ(図示せず)へのインタフェースを操作し、送信機220を用いてコマンド及び制御シグナリングを扱い、受信機204におけるその他全ての機能を調整する。受信機204の1つの構成において、マイクロプロセッサ404もまた、第1の復号器304の機能(例えばエントロピー復号)を実行する。ビデオコア406は、第2の復号器306の機能を提供するために用いられる(例えば、量子化された変換係数から完全に再構築されたビデオフレームを生成する)。1つの構成においてビデオコア406は、特定用途向け集積回路(ASIC)を用いて実現されうる。オーディオ回路408は、ビデオシーケンス内のフレームにオーディオを提供するために用いられる。最後にAFE410は、アンテナ412によって受信した変調信号を処理する。
エントロピー復号を実行するためにマイクロプロセッサ404を用いることは、結果として、システムのリアルタイム制約を満たすビデオ復号器の能力に不確実性をもたらす。この構成において、エントロピー復号機能は、限られた量の処理リソースのために、他の受信機機能と競合しなければならない。その結果、ビデオ復号器226は、平均復号時間を
Figure 2009533000
に維持することができないだろう。
ビデオ復号器226がシステムのリアルタイム制約を満たせないことは、ビデオレンダラ308に到着するフレームの遅延をもたらしうる。表示時間の後にビデオレンダラ308に到着する任意のフレームは、ビデオとオーディオとの間の同期化を維持するためにドロップされねばならない。その結果、ビデオ復号器226は、フレームを復号するために使用されない貴重な処理リソースを無駄に消費しうる。従って、フレームを復号する平均時間がシステムのリアルタイム制約を超えて増加する場合、もし復号前にビデオフレームがドロップされれば、性能における著しい向上を実現できる。
図3Bに戻って、フレームスロットル301は、ビデオフレームがフレームバッファ302を通過する前にビデオフレームを破棄するために用いられる。ビデオ復号器226の1つの構成において、第1の復号器304からのフィードバックがフレームスロットル301へ提供される。このフィードバックは、各ビデオフレームの復号にかかる時間の測定値を提供する。フレームスロットル301は、到来するビデオフレームの計算にかかるであろう時間の推定値を計算するために、これらの測定値を予測モジュール(図示せず)へ提供する。フレームスロットル301は、予測推定値が増加するとフレームドロップ比率を上げ、予測推定値が減少するとフレームドロップ比率を下げる。
フレームスロットル301はまた、ビデオレンダラ308からのフィードバックを受信する。このフィードバックは、ビデオレンダラ308が自身のキュー(図示せず)の先頭でビデオフレームを分析する度に、フレームスロットル301へ測定値を提供する。もしビデオフレームが時間どおりであれば、測定値はゼロである。もしフレームが遅れれば、測定値はフレームがどれだけ遅れたかを示す。フレームスロットル301は、平均測定値が増加するとフレームドロップ比率を上げ、平均測定値が減少するとフレームドロップ比率を下げる。
様々なフレームスロットルアルゴリズムが、第1のビデオ復号器304及びビデオレンダラ308からのフィードバックに基づいて、フレームドロップ比率を調節するために用いられうることが、当業者には容易に理解できるであろう。用いられる特定のアルゴリズムは、特定のアプリケーション、サービス要求の品質、及びシステム全体に課された設計制約を含む様々なファクタに依存する。1つの構成において、第1の復号器304が、マイクロプロセッサ又はその他いくつかの共有処理リソースを用いて実現される場合、フレームスロットル301は、マイクロプロセッサに高い負荷がかかっている場合に強いフレームドロップポリシーを実施し、マイクロプロセッサ上の負荷が低減されるとフレームドロップポリシーを緩和することができる。
フレームスロットルアルゴリズムの例が、図5を参照して説明される。ステップ502で、フレームスロットルは、予測推定値がx個の連続したフレームについて、リアルタイム復号リミットを超えているかを判定する。もし予測推定値がx個の連続したフレームについて、リアルタイム復号リミットを超えていれば、ステップ504で、フレームスロットルはフレームドロップ比率を上げる。そうでなければ、フレームスロットルアルゴリズムはステップ506へ進む。
ステップ506で、フレームスロットルは、ビデオレンダラがx個の連続したフレームをドロップしたかを判定する。もしビデオレンダラがx個の連続したフレームをドロップしていれば、ステップ504で、フレームスロットルはフレームドロップ率を上げる。そうでなければ、フレームスロットルアルゴリズムはステップ508へ進む。
ステップ508で、フレームスロットルは、予測推定値がx個の連続したフレームについて、リアルタイム復号リミットを下回るかを判定する。もし予測推定値がx個の連続したフレームについて、リアルタイム復号リミットを下回っていなければ、フレームスロットルアルゴリズムはステップ502へ戻る。そうでなければ、フレームスロットルアルゴリズムはステップ510へ進む。ステップ510で、フレームスロットルは、ビデオレンダラが最後のx個の連続したフレームを表示したかを判定する。もしビデオレンダラが最後のx個の連続したフレームを表示していれば、フレームスロットルはフレームドロップ率を下げる。そうでなければ、フレームスロットルアルゴリズムはステップ502へ戻る。
ビデオフレームをドロップする場合、フレームスロットルは、どのフレームをドロップするかを慎重に選択しなければならない。ビデオフレームをランダムに破棄することは、劣悪な画像品質をもたらしうる。図3Bに戻り、フレームスロットル301は、最も少ない量の情報コンテンツを備えるビデオフレームをドロップすることによって、平均復号時間の増加から回復しようと試みることができる。一例として、エンハンストIPBフレームとベースIPBフレームとの両方を含むマルチメディアブロードキャストシステムにおいて、フレームスロットル301は、エンハンスメントチャネル内のBフレームを最初にドロップすることができる。エンハンスメントチャネル内のBフレームをドロップした後、もし平均復号時間が
Figure 2009533000
まで低減されることができなければ、フレームスロットル301は、ベースチャネル内のBフレームのドロップを開始することができる。フレームスロットル301は、ベースチャネル内のPフレームに後続されるエンハンスメントチャネル内のPフレームを最初にドロップすることによって、もしBフレームのドロップ後に回復することができなければ、より強力になる。このフレームドロップポリシーの下では、フレームスロットルはIフレームを最後にドロップし、ベースチャネル内のIフレームをドロップする前に、エンハンスメントチャネル内のIフレームをドロップする。このポリシーは、極めて高い画像品質を促進する傾向にある。
あるいは、フレームスロットル301は、平均復号時間の増加に迅速に応答するフレームドロップポリシーを実施することができる。一例として、フレームスロットル301は、例えばベースチャネル又はエンハンストチャネル内のPフレームのような高度な情報コンテンツを備えるフレームを最初にドロップすることができる。より強力なフレームドロップポリシーは、平均復号時間の増加から迅速に回復するために、いくつかのIフレームがドロップされることを求めることができる。いくつかの構成において、フレームスロットル301は、高い画像品質と速い回復時間との間のトレードオフのバランスをとるポリシーを実現することができる。当業者は、性能要求及び受信機全体に課された設計制約に基づいて、特定のアプリケーションに最も適したフレームドロップポリシーを容易に決定することができるであろう。
図6は、受信機を示す機能ブロック図である。受信機602は、複数のビデオフレームを備えるビデオシーケンスを受信するモジュール604と、ビデオシーケンスを復号するモジュール608と、復号手段へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップするモジュール606とを含む。
本明細書に開示された実施形態に関連して記述された様々な例示的論理ブロック、モジュール、回路、要素、及び/又は構成要素は、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)あるいはその他のプログラマブル論理コンポーネント、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばDSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアに接続された1つ又は複数のマイクロプロセッサ、又はこのような任意の構成である計算コンポーネントの組み合わせとして実現することも可能である。
本明細書に開示された実施形態に関連して記述された方法又はアルゴリズムは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、又はこれらの組み合わせによって具現化される。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、あるいは当該技術分野で知られているその他の形式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに接続されうる。または、記憶媒体はプロセッサに統合されうる。
上記記載は、当業者をして、本明細書に開示された様々な実施形態の実現を可能とするために提供される。これらの実施形態への様々な変形例もまた、当業者に対しては明らかであって、本明細書で定義された一般原理は、その他の実施形態にも適用されうる。従って、特許請求の範囲は、本明細書に示した実施形態に限定することは意図されておらず、単数での要素への参照は、特に明言されない限り「1つ及びただ1つ」ではなく「1つ又は複数」を意味するように意図されている。当業者によって知られている、又は後に知られるようになる本開示を通して説明された様々な実施形態の要素の構成的及び機能的な全ての等価物は、参照によって本明細書に明確に組み込まれ、特許請求の範囲によって包含されるように意図されている。更に、本開示が特許請求の範囲に明確に記載されているかにかかわらず、本明細書に開示されたあらゆることは、公衆に放棄されるようには意図されていない。要素が「〜のための手段」という語句を用いて明確に記載されるか、又は方法請求項の場合には「〜のためのステップ」という語句を用いて明確に記載されない限り、特許請求の範囲のあらゆる要素は、米国特許法112条6段落の規定の下で解釈されない。
図1は、マルチメディアブロードキャストシステムの例を示す概念ブロック図である。 図2は、マルチメディアブロードキャストシステムにおける送信機及び受信機の例を示す概念ブロック図である。 図3Aは、ビデオ復号器の例を示す概念ブロック図である。 図3Bは、フレームスロットルを備えるビデオ復号器の例を示す概念ブロック図である。 図4は、受信機のハードウェア実装の例を示す概念ブロック図である。 図5は、ビデオ復号器内のフレームスロットルによって実現されるフレームドロップポリシーの例を示すフローチャートである。 図6は、受信機の例を示す機能ブロック図である。

Claims (36)

  1. ビデオ復号器と、
    複数のビデオフレームを備えるビデオシーケンスを受信するように構成され、更に、前記ビデオシーケンスを前記ビデオ復号器へ提供する前に、前記ビデオシーケンスから前記ビデオフレームのうちの1つ又は複数をドロップするように構成されたフレームスロットルと
    を備える受信機。
  2. 前記フレームスロットルは更に、表示するターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされる前記ビデオフレームの比率を調節するように構成された請求項1に記載の受信機。
  3. 前記ビデオフレームは、Iフレームと、Pフレームと、Bフレームとを備え、前記フレームスロットルは更に、前記ターゲットフレームレートを満たすために、前記Iフレームをドロップする前に前記Pフレームと前記Bフレームとをドロップするように構成された請求項2に記載の受信機。
  4. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器の復号時間の関数である請求項1に記載の受信機。
  5. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器からのフィードバックの関数である請求項1に記載の受信機。
  6. 前記フィードバックは、前記ビデオ復号器へ提供されたビデオシーケンス内の各ビデオフレームを復号する時間を示す請求項5に記載の受信機。
  7. 前記フレームスロットルは更に、前記フレームスロットルによって受信されるビデオシーケンス内のビデオフレームのうちの1つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用いるように構成され、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記予測された時間を用いるように構成された請求項6に記載の受信機。
  8. 前記ビデオ復号器の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上に実装される請求項1に記載の受信機。
  9. ビデオレンダラを更に備え、前記ビデオ復号器は更に、複数の復号されたビデオフレームを有する前記ビデオシーケンスを前記ビデオレンダラへ提供するように更に構成され、前記ビデオレンダラは、前記ビデオシーケンスをディスプレイに表示する前に、前記復号されたビデオフレームのうちの1つ又は複数をドロップするように構成された請求項1に記載の受信機。
  10. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオレンダラによってドロップされた復号されたビデオフレームの数の関数である請求項9に記載の受信機。
  11. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器の復号時間の関数でもある請求項10に記載の受信機。
  12. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオレンダラからのフィードバックの関数である請求項9に記載の受信機。
  13. 前記フレームスロットルによってドロップされたビデオフレームの数が、前記ビデオ復号器からのフィードバックの関数でもある請求項12に記載の受信機。
  14. 前記フレームスロットルによって受信されたビデオシーケンス内の前記ビデオフレームは、異なる量の情報コンテンツを有し、前記フレームスロットルは更に、前記1つ又は複数のビデオフレームの何れをドロップするかを、前記ビデオフレーム内の情報コンテンツの量の関数として決定するように構成された請求項1に記載の受信機。
  15. ビデオフレームを復号する方法であって、
    複数のビデオフレームを備えるビデオシーケンスを受信することと、
    前記ビデオシーケンスを復号することと、
    前記ビデオシーケンスを復号する前に、前記ビデオシーケンスから前記ビデオフレームのうちの1つ又は複数をドロップすることと
    を備える方法。
  16. 表示するターゲットフレームレートを満たすために、前記ビデオシーケンス内のドロップされるビデオフレームの比率を調節することを更に備える請求項15に記載の方法。
  17. 前記ビデオフレームは、Iフレームと、Pフレームと、Bフレームとを備え、前記ターゲットフレームレートを満たすために、前記PフレームとBフレームとは、前記Iフレームがドロップされる前にドロップされる請求項16に記載の方法。
  18. 前記ビデオシーケンスからドロップされる前記ビデオフレームの数が、前記復号時間の関数である請求項15に記載の方法。
  19. 前記ビデオシーケンス内のビデオフレームのうちの1つ又は複数を復号するために必要な時間を予測するために前記復号時間を用いることと、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記予測された時間を用いることとを更に備える請求項18に記載の方法。
  20. 前記ビデオシーケンスを復号することは、複数の復号されたビデオフレームを生成することを備え、前記方法は更に、前記ビデオシーケンスをディスプレイへ表示する前に、前記復号されたビデオフレームのうちの1つ又は複数をドロップすることを備え、前記ビデオシーケンスを復号する前に前記ビデオシーケンスからドロップされるビデオフレームの数は、ドロップされた復号されたビデオフレームの数の関数である請求項15に記載の方法。
  21. 前記ビデオシーケンスを復号する前に前記ビデオシーケンスからドロップされるビデオフレームの数は、前記復号時間の関数でもある請求項20に記載の方法。
  22. 前記ビデオシーケンス内のビデオフレームは、異なる量の情報コンテンツを有し、前記方法は更に、前記ビデオシーケンスからドロップされる前記1つ又は複数のビデオフレームを、前記ビデオフレーム内の情報コンテンツの量の関数として決定することを備える請求項15に記載の方法。
  23. 複数のビデオフレームを備えるビデオシーケンスを受信する手段と、
    前記ビデオシーケンスを復号する手段と、
    前記ビデオシーケンスを前記復号する手段へ提供する前に、前記ビデオシーケンスから前記ビデオフレームのうちの1つ又は複数をドロップする手段と
    を備える受信機。
  24. 表示するターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされるビデオフレームの比率を調節する手段を更に備える請求項23に記載の受信機。
  25. 前記ビデオフレームは、Iフレームと、Pフレームと、Bフレームとを備え、前記ビデオフレームのうちの1つ又は複数をドロップする手段は、前記ターゲットフレームレートを満たすために、前記Iフレームをドロップする前に前記Pフレームと前記Bフレームとをドロップする手段を備える請求項24に記載の受信機。
  26. ドロップされるビデオフレームの数が、前記復号する手段の復号時間の関数である請求項23に記載の受信機。
  27. ドロップされるビデオフレームの数が、前記復号する手段からのフィードバックの関数である請求項23に記載の受信機。
  28. 前記フィードバックは、前記復号する手段へ提供されたビデオシーケンス内の前記ビデオフレームの各々を復号する時間を示す請求項27に記載の受信機。
  29. 前記1つ又は複数のビデオフレームをドロップする手段は、前記ビデオシーケンス内のビデオフレームのうちの1つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用い、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために、前記予測された時間を用いる請求項28に記載の受信機。
  30. 前記復号する手段の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上で実現される請求項23に記載の受信機。
  31. 複数の復号されたビデオフレームを有する前記ビデオシーケンスをディスプレイに表示する手段と、前記ビデオシーケンスが前記ディスプレイに表示される前に、前記復号されたビデオフレームのうちの1つ又は複数をドロップする手段とを更に備える請求項23に記載の受信機。
  32. ドロップされるビデオフレームの数が、ドロップされた復号されたビデオフレームの数の関数である請求項31に記載の受信機。
  33. ドロップされるビデオフレームの数が、前記復号する手段の復号時間の関数である請求項31に記載の受信機。
  34. ドロップされるフレームの数が、前記復号されたビデオフレームのうちの1つ又は複数をドロップする手段からのフィードバックの関数である請求項31に記載の受信機。
  35. 前記フレームスロットルによってドロップされるフレームの数が、前記復号する手段からのフィードバックの関数でもある請求項34に記載の受信機。
  36. 前記ビデオシーケンス内のビデオフレームは異なる量の情報コンテンツを有し、前記受信機は更に、前記ビデオフレーム内の情報コンテンツの量の関数として、前記1つ又は複数のビデオフレームのうちの何れをドロップするかを決定する手段を備える請求項23に記載の受信機。
JP2009504458A 2006-04-04 2007-04-04 受信機におけるビデオ復号 Withdrawn JP2009533000A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US78945606P 2006-04-04 2006-04-04
US11/556,907 US8897371B2 (en) 2006-04-04 2006-11-06 Video decoding in a receiver
PCT/US2007/065993 WO2007115320A1 (en) 2006-04-04 2007-04-04 Video decoding in a receiver

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012128724A Division JP5296245B2 (ja) 2006-04-04 2012-06-06 受信機におけるビデオ復号

Publications (1)

Publication Number Publication Date
JP2009533000A true JP2009533000A (ja) 2009-09-10

Family

ID=38335612

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009504458A Withdrawn JP2009533000A (ja) 2006-04-04 2007-04-04 受信機におけるビデオ復号
JP2012128724A Expired - Fee Related JP5296245B2 (ja) 2006-04-04 2012-06-06 受信機におけるビデオ復号

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012128724A Expired - Fee Related JP5296245B2 (ja) 2006-04-04 2012-06-06 受信機におけるビデオ復号

Country Status (8)

Country Link
US (1) US8897371B2 (ja)
EP (1) EP2002660B1 (ja)
JP (2) JP2009533000A (ja)
KR (1) KR101201275B1 (ja)
CN (1) CN101411198B (ja)
CL (1) CL2007000938A1 (ja)
TW (1) TW200810564A (ja)
WO (1) WO2007115320A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516906A (ja) * 2010-01-06 2013-05-13 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
JP2016517568A (ja) * 2013-03-15 2016-06-16 株式会社ソニー・インタラクティブエンタテインメント ハードウェアデコーダアクセラレータのためのセキュリティ強度の向上

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853839B2 (en) 2006-04-04 2010-12-14 Qualcomm Incorporated Method and apparatus for verifying the correctness of FTAP data packets received on the FLO waveform
US8421842B2 (en) * 2007-06-25 2013-04-16 Microsoft Corporation Hard/soft frame latency reduction
US8665281B2 (en) * 2008-02-07 2014-03-04 Microsoft Corporation Buffer management for real-time streaming
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
CN102256138A (zh) * 2010-05-18 2011-11-23 安凯(广州)微电子技术有限公司 一种改善视频播放效果的方法
CN102368823A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种基于分级机制的视频丢帧策略
CN103310820B (zh) * 2012-03-14 2016-03-09 三星电子(中国)研发中心 一种对多媒体播放器进行优化的方法
US20180115795A1 (en) * 2016-10-22 2018-04-26 Gopro, Inc. Adaptive bit rate algorithm for point-to-point wifi devices
US11830225B2 (en) 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
US11438545B2 (en) * 2019-12-23 2022-09-06 Carrier Corporation Video image-based media stream bandwidth reduction
US11463651B2 (en) * 2019-12-23 2022-10-04 Carrier Corporation Video frame-based media stream bandwidth reduction
CN113542795B (zh) * 2020-04-21 2023-04-18 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
US11658671B2 (en) * 2021-09-22 2023-05-23 Apple Inc. Latency reduction in analog-to-digital converter-based receiver circuits

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6498865B1 (en) * 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6631163B1 (en) * 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
JP3825276B2 (ja) * 2001-04-26 2006-09-27 日本電信電話株式会社 番組紹介・情報提供システム,番組紹介・情報提供処理方法および番組紹介・情報提供システム用プログラム
KR100522938B1 (ko) * 2001-08-13 2005-10-24 삼성전자주식회사 블록화현상 제거장치 및 제거방법, 블록화현상 제거장치가 구비된 디스플레이장치
WO2003103288A1 (en) 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
AU2003283723A1 (en) 2002-12-10 2004-06-30 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
KR100619007B1 (ko) * 2003-06-24 2006-08-31 삼성전자주식회사 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR100710290B1 (ko) * 2003-11-29 2007-04-23 엘지전자 주식회사 비디오 디코딩 장치 및 방법
EP1766987A1 (en) * 2004-05-27 2007-03-28 Vividas Technologies Pty Ltd Adaptive decoding of video data
US8355452B2 (en) * 2006-02-27 2013-01-15 Sharp Laboratories Of America, Inc. Selective frame dropping for initial buffer delay reduction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516906A (ja) * 2010-01-06 2013-05-13 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
US9467690B2 (en) 2010-01-06 2016-10-11 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US10237549B2 (en) 2010-01-06 2019-03-19 Dolby Laboratories Licensing Corporation Adaptive streaming of video data over a network
JP2016517568A (ja) * 2013-03-15 2016-06-16 株式会社ソニー・インタラクティブエンタテインメント ハードウェアデコーダアクセラレータのためのセキュリティ強度の向上

Also Published As

Publication number Publication date
JP2012231472A (ja) 2012-11-22
CL2007000938A1 (es) 2008-04-18
CN101411198B (zh) 2015-07-01
JP5296245B2 (ja) 2013-09-25
KR20090006170A (ko) 2009-01-14
US20070230581A1 (en) 2007-10-04
KR101201275B1 (ko) 2012-11-14
EP2002660B1 (en) 2018-10-24
EP2002660A1 (en) 2008-12-17
WO2007115320A1 (en) 2007-10-11
CN101411198A (zh) 2009-04-15
TW200810564A (en) 2008-02-16
US8897371B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
JP5296245B2 (ja) 受信機におけるビデオ復号
KR100943875B1 (ko) 비디오 레이트 제어에서의 콘텍스트-적응형 밴드폭 조정
US9521411B2 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
CA2713414C (en) Fast macroblock delta qp decision
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
CN101322415B (zh) 用于可变数据速率编码的时间分片方法、系统
JP2011182408A (ja) スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置
KR20070117623A (ko) 2계층 인코딩 및 단일 계층 디코딩을 이용한 스케일러블비디오 코딩
JP5675719B2 (ja) マルチメディアデータを処理する方法および装置
US8199825B2 (en) Reducing the resolution of media data
Ibrahim et al. A new wireless generation technology for video streaming
Matsuura et al. Realtime transmission of full high-definition 30 frames/s videos over 8× 8 MIMO-OFDM channels using HACP-based lossless coding
Kobayashi et al. A real-time 4K HEVC multi-channel encoding system with content-aware bitrate control
JP2004147104A (ja) 動画像符号化装置
Ibrahim et al. Research Article A New Wireless Generation Technology for Video Streaming
ALIESAWI et al. MOTION ESTIMATION AND CONVOLUTIONAL CODING FOR VIDEO STREAMING OVER WIRELESS CHANNELS.
Li et al. Solution for hybrid bandwidth variation in wireless video environments

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120607