JP2012090329A - パケットロスのリカバリを改善するためのフレームキャッシングの使用 - Google Patents

パケットロスのリカバリを改善するためのフレームキャッシングの使用 Download PDF

Info

Publication number
JP2012090329A
JP2012090329A JP2011285905A JP2011285905A JP2012090329A JP 2012090329 A JP2012090329 A JP 2012090329A JP 2011285905 A JP2011285905 A JP 2011285905A JP 2011285905 A JP2011285905 A JP 2011285905A JP 2012090329 A JP2012090329 A JP 2012090329A
Authority
JP
Japan
Prior art keywords
frame
encoder
decoder
cached
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011285905A
Other languages
English (en)
Other versions
JP5687183B2 (ja
Inventor
Chih-Lung Lin
リン チィー−ルン
Xia Minghui
シィア ミンフイ
Pohsiang Hsu
スー ポーシアン
Shankar Regunathan
レグナサン シャンカール
Thomas W Holcomb
ダブリュ．ホルコーム トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012090329A publication Critical patent/JP2012090329A/ja
Application granted granted Critical
Publication of JP5687183B2 publication Critical patent/JP5687183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】フレームキャッシングを使用してパケットロスのリカバリを改良するための、新規で進歩性のある種々の装置および方法を提供すること。
【解決手段】開示された実施形態の１つは、エンコーダおよびそれに対応するデコーダにおいて、定期的で同期されたフレームキャッシングを使用するための方法である。デコーダは、パケットロスを発見したとき、エンコーダに通知し、次いで、エンコーダが、エンコーダとデコーダの両方で格納され共有されたフレームの１つに基づいて、フレームを生成する。デコーダは、この生成されたフレームを受け取ったとき、この生成されたフレームを、デコーダでローカルにキャッシュしたフレームを使用してデコードすることができる。
【選択図】図４

Description

本発明は、一般に、ビデオ、画像、および他のデジタルメディアコンテンツの、エンコード、デコード、および処理をデジタルで行うための技術に関する。本発明は、詳細には、フレームキャッシング（ｆｒａｍｅ ｃａｃｈｉｎｇ）により、パケットロスを改善することに関する。
この特許書類の開示の一部分は、著作権の保護を受けている資料を含む。この著作権の保有者は、特許開示のいずれかによる複写に対して、それが特許商標庁のファイルまたは記録に見られるとき、異議がないが、そうでなければ、何にせよすべての著作権を留保する。
デジタルビデオは、大量の記憶容量および伝送容量を消費する。一般的な未加工のデジタルビデオシーケンスは、毎秒１５または３０フレームを含む。各フレームは、数万または数十万の（ペル（ｐｅｌ）とも呼ばれる）ピクセルを含むことができる。各ピクセルは、ピクチャ（ｐｉｃｔｕｒｅ）の極めて小さな要素を表す。未加工の形式では、コンピュータは、１ピクセルを、３つのサンプルのからなる合計２４ビットのセットとして表す。例えば、ピクセルは、ピクセルのグレイスケール（ｇｒａｙｓｃａｌｅ）成分を定義する、１つの８ビット輝度サンプル（ルマ（ｌｕｍａ）サンプルとも呼ばれる）と、ピクセルの色成分を定義する、２つの８ビットクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）サンプル（クロマ（ｃｈｒｏｍａ）サンプルとも呼ばれる）を含むことができる。したがって、一般的な未加工のデジタルビデオシーケンスの１秒あたりのビット数またはビットレートは、毎秒５００万ビット以上である。
多くのコンピュータおよびコンピュータネットワークは、未加工のデジタルビデオを処理するためのリソースが不足している。そのため、エンジニアは、デジタルビデオのビットレートを下げるために（符号化またはエンコードとも呼ばれる）圧縮を使用する。圧縮は、ビデオをより低速のビットレート形式に変換することによって、ビデオを格納し送信するコストを減少させる。（デコードとも呼ばれる）解凍は、圧縮された形式から元のバージョンのビデオを再構成する。「コーデック」とは、エンコーダ／デコーダシステムである。ビデオの品質は損なわれないがビットレートの低下はビデオデータの（ときとしてエントロピと呼ばれる）変動性の固有の量によって制限される圧縮は、ロスレス（ｌｏｓｓｌｅｓｓ）（可逆）でありうる。あるいは、ビデオの品質は損なわれビットレートの達成可能な低下がより著しい圧縮は、ロッシー（ｌｏｓｓｙ）（不可逆）でありうる。ロッシー圧縮が情報の近似を確立し、ロスレス圧縮技術がその近似を表すために適用されるシステム設計において、ロッシー圧縮は、ロスレス圧縮と併せてしばしば使用される。
ビデオ圧縮技術は、一般に、「イントラピクチャ（ｉｎｔｒａｐｉｃｔｕｒｅ）」圧縮と「インターピクチャ（ｉｎｔｅｒｐｉｃｔｕｒｅ）」圧縮を含み、ピクチャは、例えば、プログレッシブスキャンビデオフレーム（ｐｒｏｇｒｅｓｓｉｖｅｌｙ ｓｃａｎｎｅｄ ｖｉｄｅｏ ｆｒａｍｅ）、（ビデオフィールドにおいて交互のラインを有する）インタレースビデオフレーム、または、インターレースビデオフィールドである。一般的に言えば、ビデオシーケンスは、所与のフレーム内および連続したフレーム間に、かなり量の冗長を含む。例えば、人間の眼は、連続したビデオフレームにおける他の点では同様の背景のわずかな違いには気付かない。圧縮は、送信されているビットストリーム内の冗長マテリアルの特定の部分を除去し、次いで、ピクチャが解凍されるときに受信側でそれらを追加して戻すことによって、このような冗長を活用する。ビデオフレームから抜き取られる２つの共通の冗長は、空間的および時間的なものである。空間的冗長は、単一のフレーム内の隣接ピクセル間に存在する。イントラフレーム（ｉｎｔｒａｆｒａｍｅ）またはＩフレームとして知られる空間的冗長を使用して圧縮されるフレームは、フレームそれ自体の内に画像を再構成するための必要なすべての情報を含み、つまり自己完結している。ＰフレームおよびＢフレームのような時間的冗長を使用するフレームは、デコードされる他のフレームからの情報を必要とする。Ｐフレーム（予測的にエンコードされるフレーム）は、エンコードされ、そして、先行のＩおよび／またはＰフレームからの情報を使用してデコードされる必要がある。Ｂフレーム（双方向で予測的にエンコードされるフレーム）は、先行および後続のＩおよびＰフレームの両方からの情報を使用してエンコードされる。動き検出は、参照フレームとして知られる先行してエンコードされた画像から作成された、動きの予測された画像とともに、固有の事項をエンコードすることにより、連続したビデオフレーム（フレーム間）における時間的冗長を除去する。参照フレームが失われた場合、後続の予測フレームは復号されることができず、すなわち、伝送エラーが、後続のフレームに伝播する。
プログレッシブフレームに関しては、イントラピクチャ圧縮技術が、（通常、Ｉフレームまたはキーフレームと呼ばれる）独立したフレームを圧縮し、インターピクチャ圧縮技術が、（通常、参照フレームまたはアンカーフレームと呼ばれる）先行および／または後続のフレームを参照して、（通常、予測フレーム、Ｐフレーム、またはＢフレームと呼ばれる）フレームを圧縮する。（自己完結した）Ｉフレーム、および（一般に先行フレームを参照する）Ｐフレームは、それら自体を参照フレームとすることができ、一方、先行および後続フレームの両方を参照する、Ｂフレームは、通常はそれら自体が参照として使用されることはまったくない。
結果のビデオが表示されるのに先立ってデータが圧縮されるとき、デコーダは、通常、圧縮の逆の操作を実行する。例えば、デコーダは、データを圧縮する際に、エントロピデコード、逆量子化、および逆変換を実行することができる。動き補償が使用される場合、デコーダ（およびエンコーダ）は、１つまたは複数の先行して再構成された（参照フレームとして現在使用されている）フレームから、フレームを再構成し、次いで、新しく再構成されたフレームが、より後のフレームの動き補償のための参照フレームとして使用されうる。
ネットワークを介して送られたパケットは、欠損する、つまり廃棄されるおそれがある。この損失は、ランダムで予測できない形で起きる。さらに、ビデオ圧縮ストリームデータは遅延の影響を大変受けやすく、あまりに多くの遅延したパケットにより、飛び飛びの分断された信号が生じ、パケットを送られた順序と同じ順序になるように再組み立てする必要がある。伝送遅延の問題は、新しいＩフレームを再送する際にも起きるおそれがあり、新しいフレームは、失われた参照フレームを破棄したのと同じすべての問題の影響を受けやすい。さらに、非可逆符号化方式では、圧縮は、記憶および伝送についての目標ビットレートを満たすように設計されている。再構成される画像の質を低下させることにより、高圧縮が達成される。そのため、廃棄されまたは遅延されたパケットにより生じた余分な損失は、画像の質を許容水準より低くするおそれがある。
パケットロスに対処する能力は、損失を生じやすいノイズを伴うネットワークでリアルタイムビデオコーデック（ＲＴＣ）が良好に動作するために極めて重要である。ほとんどの既存のビデオコーデックは、参照フレームが失われたとき新しいＩフレームを要求することによってパケットロスに対処している。他の既存のビデオコーデックは、スライスベースの符号化を使用し、それによりシグナリングオーバーヘッド（ｓｉｇｎａｌｉｎｇ ｏｖｅｒｈｅａｄ）が増加する。図１は、新しいＩフレームを要求することによる、従来のパケットロスのリカバリを示す。
この従来技術の方法では、Ｉフレーム１０４が、デコーダ１０２で受け取られる。次いで、そのフレームは、後続の従属するＰフレーム１０６を解釈／再構成するために使用される。次の従属フレームであるＰフレーム１０８は、充分なパケットが、ばらばらの順序で受け取られるかまたは失われたとき、破棄される。次のＰフレーム１１０および後続のフレームを、もはや再構成することができない。（ここではデコーダ１０２により表されている）宛先ノードで、Ｉフレーム要求が生成され、（ここではエンコード１１４により表される）ソースノードに送られる。各後続のＰフレームまたはＢフレームを、新しいＩフレームが受け取られるまで再構成することができない。ソースノード１１４は、要求を受け取ると、新しいＩフレーム１１２を組み立て、通信チャネルを使用して、それを宛先ノード１０２に送る。新しいＩフレーム１１２を受け取った後、宛先チャネルは、後続のＰフレームを正常にデコードすることができる。しかし、この結果、最初の要求を送るために必要な時間と等しい遅延１１６に加え、Ｉフレームをエンコードする時間、および、Ｉフレームを宛先ノード１０２に送る時間が生じる。さらに、送信側と受信側が、大きな物理的距離によって隔てられていることがあり、この長い距離の移動により、顕著な遅延時間が発生し、それに対応するビデオの質の低下がもたらされる。
他の従来技術の方法では、Ｉフレーム１０４、１１２は、一定の間隔で送られる。Ｉフレーム１１２が、破棄または遅延により失われた場合、デコーダは、次のＩフレームが受け取られるまで、後続のＰフレーム１１０、１０８、１０６を不正確にはデコードせずに待機する。
したがって、非可逆パケットベースのネットワークを介して、圧縮されたビデオを送信するための、改良された方法およびシステムが必要とされる。
本明細書に記載のビデオコーデックは、エンコーダにおいてフレームキャッシュ（ｆｒａｍｅ ｃａｃｈｅ）を含み、デコーダにおいてそれに対応するフレームキャッシュを含み、それぞれのフレームキャッシュは、同期して動作する。デコーダキャッシュ内のフレームは、デコーダにおいてフレームを解釈するのを助けるために使用される。解釈するフレームを、エンコーダキャッシュに格納される同じフレームのコピーを用いて生成することができる。
システムの実装形態も提供される。それは、データパケットをフレーム内にエンコードするエンコーダ、および、フレームまたはその一部分を格納することができるエンコーダキャッシュを含む。それは、さらに、フレームまたはその一部分を同様に格納することができるデコーダキャッシュを有するデコーダを含む。デコーダは、パケットロスを検出することができる。いくつかの実施形態では、そのような損失が検出されたとき、エンコーダは、エンコーダキャッシュで格納されたフレームを使用してフレームをエンコードし、次いで、そのフレームは、デコーダキャッシュに格納されたフレームを使用してデコーダでデコードされる。
このキャッシングメカニズムは、下記の主要な特徴を提供する。
ａ）パケットロスのリカバリの際のより効率的な帯域幅の使用
ｂ）スライスベースの符号化に関連するシグナリングオーバーヘッドの除去
本発明の他の特徴および利点は、添付の図面を参照して行われる以下の実施形態の詳細な説明から明らかにされる。
フレームレベルのパケットロスのリカバリを示す従来技術の図である。 本明細書に記載のフレームキャッシングを利用するビデオを示すブロック図である。 本明細書に記載のフレームキャッシングを利用するビデオデコーダを示すブロック図である。 フレームキャッシングを利用してパケットロスからリカバリするための例示的方法を示すフローチャートである。 フレームをキャッシングするエンコーダ、およびそれと同じフレームをキャッシングするデコーダを示す、フレームレベルの図である。 デコーダに到着する破棄されたＰフレームを示すフレームレベルの図である。 Ｐフレームを解釈するために、キャッシュされたフレームを使用するデコーダを示すフレームレベルの図である。 フィードバック経路を介したパケットロスの報告を示すブロック図である。 ビデオエンコーダ／デコーダキャッシングを実装するための適切な方法を示すフローチャートである。 図２および３のビデオエンコーダ／デコーダのための適切なコンピューティング環境を示すブロック図である。
以下の説明は、優雅なパケットロスのリカバリ、および効率的な帯域幅の利用の効率的な組合せを可能にするように設計された、ビデオエンコーダとビデオデコーダの双方におけるフレームキャッシュの実装に関する。フレームキャッシュの例示的適用は、画像またはビデオエンコーダおよびデコーダにおいて行われる。したがって、フレームキャッシュを、一般的な画像またはビデオエンコーダおよびデコーダのコンテキストで説明されるが、代替として、後で説明するこの例示的装置とは詳細が異なることがある他の様々な画像およびビデオコーデックのエンコーダおよびデコーダに組み込むこともできる。
１．汎用ビデオエンコーダおよびデコーダ
図２は、一般的なビデオエンコーダ２００のブロック図であり、図３は、一般的ビデオデコーダ３００のブロック図であり、それらにフレームキャッシュが組み込まれる。
エンコーダおよびデコーダ内のモジュール間に示される関係は、エンコーダおよびデコーダにおける情報の主な流れを示し、他の関係は単純化するために図示していない。特に、図２および３は、一般に、ビデオシーケンス、フレーム、マクロブロック（ｍａｃｒｏｂｌｏｃｋ）、およびブロックなどに使用されるエンコーダ設定、モード、およびテーブルなどを示すサイド情報を図示していない。このようなサイド情報は、通常、サイド情報のエントロピ符号化の後に、出力ビットストリームとして送られる。出力ビットストリームのフォーマットは、Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏフォーマットまたは他のフォーマットとすることができる。
所望の圧縮の実装形態およびタイプに応じて、エンコーダ２００またはデコーダ３００のモジュールについて、追加、省略、複数のモジュールへの分割、他のモジュールとの結合、および／または、同様のモジュールとの置換を行うことができる。代替実施形態では、異なるモジュール、および／または他の構成のモジュールを有する、エンコーダまたはデコーダが、ここに記載の技術の１つまたは複数を実行する。
Ａ．ビデオエンコーダ
図２は、一般的なビデオエンコーダシステム２００のブロック図である。エンコーダシステム２００は、現行のフレーム２０５を含むビデオフレームのシーケンスを受け取り、圧縮されたビデオ情報２９５を出力として生成する。ビデオエンコーダの特定の実施形態では、通常、一般的エンコーダ２００の変形形態または補足されたバージョンを使用する。
エンコーダシステム２００は、予測されたフレームとキーフレームを圧縮する。図２では、説明のために、エンコーダシステム２００を介したキーフレームの経路と、順方向予測（ｆｏｒｗａｒｄ−ｐｒｅｄｉｃｔｅｄ）フレームの経路を示している。エンコーダシステム２００のコンポーネントの多くは、キーフレームと予測フレームの両方を圧縮するために使用される。これらのコンポーネントによって行われる正確な動作は、圧縮されている情報のタイプに応じて大きく異なる。
（Ｐフレーム、Ｂフレーム（双方向予測）、またはフレーム間符号化（ｉｎｔｅｒ−ｃｏｄｅｄ）フレームであり得る）予測フレームは、１つまたは複数の他のフレームからの予測（または差異）の観点から表される。予測残差は、予測されたものと元のフレームの間の差異である。これに対して、（Ｉフレームまたはフレーム内符号化フレームとも呼ばれる）キーフレームは、他のフレームを参照することなく圧縮される。
現行のフレーム２０５が順方向予測フレームの場合、動き検出器２１０が、現行フレーム２０５の、マクロブロックまたはピクセルの他のセットの動きを、フレームストア（ｆｒａｍｅ ｓｔｏｒｅ）２２０にバッファされた再構成された先行フレームである参照フレーム２２５に関連して推定する。代替実施形態では、参照フレームは、より後のフレームとすることができ、あるいは、現行フレームは、双方向で予測されうる。動き検出器２１０は、動きベクトルなどの動き情報２１５をサイド情報として出力する。動き補償器２３０は、動き情報２１５を、再構成された先行フレーム２２５に適用して、動き補償された現行フレーム２３５を形成する。ただし、この予測は、めったに完全ではなく、動き補償された現行フレーム２３５と元の現行フレーム２０５の差異は、予測残差２４５である。あるいは、動き検出器２１０および動き補償器２３０は、他のタイプの動き検出／補償を適用する。
周波数変換器２６０は、空間領域のビデオ情報を、周波数領域（すなわちスペクトル）のデータに変換する。ブロックベースのビデオフレームでは、周波数変換器２６０は、離散コサイン変換（「ＤＣＴ」）と同様の性質を有する、後の節で説明する変換を適用する。いくつかの実施形態では、周波数変換器２６０は、周波数変換を、キーフレームについての空間予測残余のブロックに適用する。周波数変換器２６０は、８×８、８×４、４×８、または他のサイズの周波数変換を適用することができる。
次いで、量子化器２７０が、空間データ係数のブロックを量子化する。量子化器２７０は、均一なスカラ量子化を、フレーム毎または他の単位ごとに異なる刻み幅で、スペクトルデータに適用する。あるいは、量子化器２７０は、他のタイプの量子化、例えば、非均一、ベクトル、または非適応の量子化をスペクトルデータ係数に適用する、または、周波数変換を使用しないエンコーダシステムにおいて空間領域データを直接量子化する。適応的量子化に加えて、エンコーダ２００は、レート制御のために、フレームドロップ（ｆｒａｍｅ ｄｒｏｐｐｉｎｇ）、適応フィルタリング、または他の技術を使用することができる。
再構成された現行のフレームが、後続の動き検出／補償のために必要とされるとき、逆量子化器２７６は、量子化スペクトルデータ係数に対して逆量子化を実行する。次いで、周波数逆変換器２６６が、周波数変換器２６０の逆の操作を実行し、（予測されたフレームに対する）再構成された予測残差、または再構成されたキーフレームを生成する。現行フレーム２０５がキーフレームであった場合、再構成されたキーフレームは、再構成された現行フレーム（図示せず）と見なされる。現行フレーム２０５が、予測フレームであった場合、再構成された予測残差は、動き補償された現行フレーム２３５に加えられて、再構成された現行フレームが形成される。フレームストア２２０は、再構成された現行フレームを、次のフレームを予測する際に使用するためにバッファする。いくつかの実施形態では、エンコーダ２００は、フレームのブロックにおける不連続を適応的に平滑化するために、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）を再構成されたフレームに適用する。
エントロピ符号化器２８０は、量子化器２７０の出力、ならびにサイド情報（例えば、動き情報２１５、量子化刻み幅）を圧縮する。典型的エントロピ符号化技術には、算術符号化、差分符号化、ハフマン符号化（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、ランレングス符号化（ｒｕｎ ｌｅｎｇｔｈ）符号化、ＬＺ符号化、辞書型符号化、およびそれらの組合せが含まれる。エントロピ符号化器２８０は、通常、異なる種類の情報（例えば、ＤＣ係数、ＡＣ係数など）に対して異なる符号化技術を使用し、ある特定の符号化技術において複数のコード表のうちから選択をすることができる。
エントロピ符号化器２８０は、ビデオ情報２９５をバッファ２９０に入れる。バッファレベルの標識が、ビットレート適応モジュールにフィードバックされる。圧縮されたビデオ情報２９５は、バッファ２９０から一定または比較的一定のビットレートで消耗し、そのビットレートで後続のストリーミングのために格納される。あるいは、エンコーダシステム２００は、圧縮されたビデオ情報２９５を直ちにストリームし圧縮を続ける。
バッファ２９０より先または後に、圧縮されたビデオ情報２９５は、ネットワークを介する送信のためにチャネル符号化されうる。チャネル符号化は、エラー検出および訂正データを、圧縮されたビデオ情報２９５に適用することができる。
Ｂ．ビデオデコーダ
図３は、一般的なビデオデコーダシステム３００のブロック図である。デコーダシステム３００は、圧縮されたビデオフレームのシーケンスに関する情報３９５を受け取り、再構成されたフレーム３０５を含む出力を生成する。ビデオデコーダのいくつかの特定の実施形態は、通常、一般的なデコーダ３００の変形形態または補足されたバージョンを用いる。
デコーダシステム３００は、予測フレームおよびキーフレームを圧縮する。図３では、説明のために、デコーダシステム３００を介するキーフレームの経路と、順方向予測フレームの経路を示している。デコーダシステム３００のコンポーネントの多数は、キーフレームと予測フレームの両方を圧縮するために使用される。これらのコンポーネントにより行われる正確な動作は、圧縮される情報のタイプによって変化しうる。
バッファ３９０は、圧縮されたビデオシーケンスに関する情報３９５を受け取り、受け取った情報をエントロピデコーダ３８０に使用可能にする。バッファ３９０は、時間に対してかなり一定のレートで情報を受け取り、また、帯域幅または送信における短期の変動を平滑化するためのジッタバッファを含む。バッファ３９０は、再生バッファおよび他のバッファも含むことができる。あるいは、バファ３９０は、変動するレートで情報を受け取る。圧縮されたビデオ情報３９５は、バッファ３９０に到達する前、またはバッファ３９０から離れた後、またはその両方において、エラー検出および訂正のためにデコードされ処理されうる。
エントロピデコーダ３８０は、エントロピ符号化された量子化データ、ならびにエントロピ符号化されたサイド情報（例えば、動き情報、量子化刻み幅）をデコードし、通常は、エンコーダ２００で行われたエントロピ符号化の逆を行う。エントロピデコード技術には、算術デコード、差分デコード、ハフマンデコード、ランレングスデコード、ＬＺデコード、辞書型デコード、およびそれらの組合せが含まれる。エントロピデコーダ３８０は、異なる種類の情報（例えば、ＤＣ係数、ＡＣ係数、異なる種類のサイド情報）に対して異なるデコード技術を使用し、ある特定のデコード技術において複数のコード表のうちから選択をすることができる。
再構成されるフレーム３０５が、前進予測フレームである場合、動き補償器３３０は、動き情報３１５を参照フレーム３２５に適用して、再構成されるフレーム３０５の予測３３５を形成する。例えば、動き補償器３３０は、マクロブロック動きベクトル（ｍａｃｒｏｂｌｏｃｋ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を使用して、参照フレーム３２５におけるマクロブロックを見つける。フレームバッファ３２０は、先行の再構成されたフレームを参照フレームとして使用するために格納する。あるいは、動き補償器は、他のタイプの動き補償を用いる。動き補償器３３０による予測は、完全であることは稀であり、したがって、デコーダ３００は、予測残差３４５の再構成もする。
デコーダ３００が、後続の動き補償のために再構成されたフレームを必要とするとき、フレーム３２０は、次のフレームを予測する際に使用するために、再構成されたフレーム３０５をバッファする。いくつかの実施形態では、エンコーダ２００は、デブロッキングフィルタを、再構成されたフレーム３０５に適用して、フレームのブロックにおける不連続を適応的に平滑化する。
逆量子化器３７０は、エントロピデコードされたデータを逆量子化する。一般に、逆量子化器３７０は、均一のスカラ逆量子化を、エントロピデコードされたデータに、フレーム毎または他の単位で異なる刻み幅で適用する。あるいは、逆量子化３７０は、他のタイプの逆量子化、例えば、非均一、ベクトル、または非適応量子化をデータに適用する、または、周波数逆変換を使用しないデコーダシステムにおける空間領域データを直接逆量子化する。
周波数逆変換器３６０は、量子化された周波数領域データを、空間領域ビデオ情報に変換する。ブロックベースのビデオフレームについて、周波数逆変換器３６０は、後の節で説明される逆変換を適用する。いくつかの実施形態では、周波数逆変換器３６０は、キーフレームについての空間予測残差のブロックに、周波数逆変換を施す。周波数逆変換器３６０は、８×８、８×４、４×８、またの他のサイズの周波数逆変換を施すことができる。
Ｃ．フレームキャッシング
本明細書に記載のビデオコーデックアーキテクチャにおけるフレームキャッシングを使用する実装形態では、参照フレームは、エンコーダおよびデコーダの両方で順次キャッシュされることが好ましい。参照フレームが失われたとき、後続の従属フレームは、デコーダにおいてキャッシュされた適切な参照フレームを使用してデコードされうる。これにより、以下の利益がもたらされる。
Ａ）より効率的な帯域幅の利用：従来技術の方法は、Ｉフレームが生成されエンコーダに送られることを必要とする。本方法では、特別なタイプのフレーム、すなわちＳＰフレームが、デコーダに送られ、次いで、必要とされるまでキャッシュされることを可能にする。ＳＰフレームは、一般に、同じ品質のＩフレームよりも少ないビット数で符号化することができ、したがって、等価のＩフレームを使用するよりも小さい帯域幅を使用する。
Ｂ）より速いエラーリカバリ：パケットロスが発生したとき、ＳＰフレームがデコーダにおいて既にキャッシュされていることが好ましく、これにより、ほとんど遅延時間なしに、ストリームにおける次のＰフレームを解釈することを可能にする。
２．例示的方法の概要
ここに記載の実施形態は、デコーダにおけるフレームをキャッシュし、次いで、キャッシュしたフレームを使用して、破棄されたまたは失われている参照フレームに基づいてＰフレームおよびＢフレームを再構成するための技術およびツールを含む。キャッシュを、ビデオデコーダ３００（図３）の一部分として、またはビデオエンコーダ２００（図２）の一部分として組み込むことができ、好ましくはその両方において組み込むことができる。パケットロスがデコーダによって検出されると、デコーダは、エンコーダ２００にメッセージを送り、次いで、エンコーダ２００は、共有されたキャッシュされたフレームの１つに基づいて新しい参照フレームを生成する。次いで、生成された参照フレームは、デコーダに送られる。キャッシュされたフレームは、別の参照フレームがデコーダに到着するまで、生成されたフレームおよび後続の従属フレームをデコードするためにデコーダで使用される。本明細書に記載のフローチャートの要素は、例に過ぎず、記載の技術に応じて、他のフローチャート要素を使用することができる。さらに、フローチャート要素は、記載の技術およびツールに応じて、異なる順序で行い、あるいは特定の処理ブロックを省略することができる。
記載の技術およびツールは、互いに組み合わせてまたは他の技術およびツールと組み合わせて、あるいは別個に使用されうる。
図４を参照すると、フローチャート４００は、本明細書に開示の方法の簡潔な概観を示している。プロセスブロック４０２で、ネットワークを介して送信されるビデオ信号の一部分がパケットに割り当てられる。プロセスブロック４０４で、エンコーダは、パケットの少なくとも一部をフレーム内にエンコードする。これらのフレームは、ＩフレームおよびＰフレームのような参照フレーム３２５からなり、他の任意のフレームに対する参照として使用されないＢフレームからなることもある。スキップフレーム（ｓｋｉｐ ｆｒａｍｅ）のような代替タイプのフレームも、フレーム内にエンコードされうる。任意選択のプロセスブロック４０６で、エンコーダでフレームをキャッシュすることができ、このフレームは、一般的には参照フレームである。フレームは、キャッシュされた場合、「Ｃａｃｈｅｄ−Ｆｒａｍｅ」（ＣＦ）タイプがそのフレームヘッダにおいて割り当てられる。次いで、キャッシュされたフレームは、プロセスブロック４０８で、他のフレームと一緒に送信される。ブロック４１０で、フレームは、デコーダに到着した後、デコーダキャッシュ内にキャッシュされる。通常のキャッシュフレームのタイプは、ＰフレームおよびＩフレームである。
後続参照フレームが失われた場合、プロセスブロック４１２に示すように、キャッシュされたフレームを、後続の従属フレームを解凍するために使用することができる。フローチャート４００は、単に１つの例示的実施形態を示しているに過ぎず、何らかの限定をするものとして解釈されるべきではない。例えば、判断ブロック４０６でのエンコーダに関連するキャッシュは任意選択である。方法４００を、図２および図３に示されるように、ビデオコーデックで実装することができ、ビデオコーデックを、ソフトウェア、ハードウェア、または両方の組合せで実装することができる。
３．フレームをキャッシュするための例示的方法
図５Ａ〜５Ｄは、ノイズを伴うネットワークにおいてビデオコーデックの最適なパフォーマンスを可能にするためにフレームをキャッシュする例示的方法を示す。図５Ｄを参照すると、例示的実施形態では、フレームは、ＲＴＰ（リアルタイム転送プロトコル）５０８Ｄなどの主要チャネルを介して、エンコーダ５０２Ｄからデコーダ５０６Ｄにフレームが送信されている。インターネットは、しばしば、パケットを欠損したり、パケットをばらばらの順序で送達することがある。パケットは、あるランダムな時間量で遅延することもあり、これによりパケットが使用できないようになることもある。パケットロスは、デコーダ５０６Ｄによって検出され、フィードバック経路を介して、デコーダからエンコーダ５０２Ｄにその信号が送られる。メッセージを正しく再構成するために、いくつかの実施形態では、ＲＴＰ５０８Ｄヘッダが、情報およびシーケンス番号を含み、この両方により、受信側が、パケットを正しく並べ変え、失われたパケットの番号を決定することを可能にする。ＲＴＰ５０８Ｄは、その制御プロトコル（ＲＴＰＣ）５０４Ｄによって増強され、データの送達を監視するために使用することができるフィードバック経路を提供するために使用される。各データパケットは、シーケンス番号を有し、通常、シーケンス番号は、各後続データパケットにつき１つ増分される。例示的実施形態では、シーケンス番号が受け取られないとき、パケットロスは、デコーダ５０６Ｄによって検出される。デコーダ５０６Ｄは、パケットロスを検出すると、フィードバック経路５０４Ｄを介してメッセージを送り、どのパケット（または複数のパケット）が失われたかをエンコーダ５０２Ｄに通知する。いくつかの実施形態では、失われた最初のパケットについての情報のみが供給される。いくつかの実施形態では、廃棄されたパケットの番号、または失われた特定のパケットのリストなどの追加の情報も供給される。好ましくは、パケットロスの位置が、最も初期のパケットロスのタイムスタンプを使用して報告ウィンドウに伝えられる。この情報により、エンコーダ５０２Ｄが、どのキャッシュされた参照を使用するかを決定できるようになる。
図５Ａを参照すると、エンコーダ５０２Ａは、定期的にフレームをフレームキャッシュ５０４Ａにキャッシュしている。どのフレームがキャッシュされるか、どのくらいの頻度でキャッシュを行うべきか、ならびに、一度にキャッシュできるべきフレーム数は、実装形態に大きく依存する。いくつかの実施形態では、キャッシュされるフレームは、参照フレーム、すなわちＰフレームおよびＩフレームである。他のフレームタイプをキャッシュすることもできる。キャッシュされたフレーム５０６Ａ（またはそのコピー）はまた、デコーダ５１２Ａに送られる。エンコーダキャッシュ５０４Ａにも格納される、このようなフレームは、そのヘッダ内でフレームタイプＣＦ（キャッシュされたフレーム）として定義される。いくつかの実施形態では、このヘッダにより、後で使用するためにこの特定のフレームをデコーダキャッシュ５１０Ａに格納すべきであることを、デコーダ５１２Ａに知らせることによって、エンコーダ５０２Ａとデコーダ５１２Ａの同期が可能になる。下記の表１は、ＣＦ（キャッシュされたフレーム）タイプを含む、フレームタイプコードの例示的実施形態を示している。
Figure 2012090329
タイプＣＦのフレーム５０８Ａは、デコーダ５１２Ａに到達すると、デコーダフレームキャッシュ５１０Ａに格納される。タイプＣＦの各フレームをデコーダ５１２Ａにおいて格納することは、エンコーダおよびデコーダのフレームキャッシュ５０４Ａおよび５１０Ａを同期させる１つの方法である。ただし、これらのフレームキャッシュを同期させる他の方法も企図される。
パケットロス５０２Ｂがデコーダ５０４Ｂで検出されたとき、フィードバック経路５０４Ｄを使用して、その報告がエンコーダ５０２Ａに返される。この報告は、好ましくは、エンコーダ５０２Ａが参照のために適切なキャッシュされたフレーム５０４Ａを選ぶことをできるようにするタイムスタンプ情報を含む。他の実施形態では、最新のキャッシュされたフレームが使用される。キャッシュされたフレームが選ばれると（５０４Ｃ）、そのフレームは、エンコーダ５０２Ｃによって、次のフレーム５０６Ｃをエンコードするために使用される。次のフレーム５０６Ｃは、好ましくは、Ｐフレームであるが、Ｉフレームおよび他のフレームタイプをエンコードすることもできる。キャッシュされたフレーム５０６Ｃは、「Ｓｕｐｅｒ−Ｐ」フレーム（ＳＰフレーム）として知られ、そのヘッダでそのように示される。ＳＰフレームの例示的フレームタイプコードワードは、上記の表１に示されている。
デコーダ５１２Ｃは、ＳＰフレーム５０８Ｃを受け取ると、そのローカルでキャッシュされたフレーム５１０Ｃを使用して、ＳＰフレーム５０８Ｃを解凍されたフレーム（Ｕフレーム）５１４Ｃ内にデコードする。この方法を使用すると、デコーダ５１２Ｃにおけるリカバリ時間は、パケットロスイベントとＳＰフレームの到着の間の期間である。この生成されたＳＰフレーム５０８Ｃが、送信中に失われた場合、デコーダ５１２Ｃは、（一般に、タイプＰ、ＳＰ、またはＩの）新しい参照フレームの到着まで、パケットロスの報告を送り続ける。パケットロスからの実際のリカバリ時間は、主にパケットロス報告の間隔の関数となる。
いくつかの実装形態では、エンコーダ５０２Ａは、フレーム５０４Ａをキャッシュし、キャッシュされたフレーム５０６Ａのコピーを、デコーダに定期的に送る。キャッシュされたフレームが送られる時間間隔は、実装形態に大きく依存する。いくつかの実装形態では、等しい間隔でフレームをキャッシュすることができる。他の実装形態では、ネットワークの速度やネットワークが経験するロスの量などのそれ自体のシステム変数に依存する間隔でフレームをキャッシュすることができる。
４．例示的システムの実施形態
図６は、デコーダおよびエンコーダベースのフレームキャッシングを実装することができる、ビデオシステム６００の他の例示的実施形態を示す。本発明を、様々な汎用または専用のビデオシステムで実装することができ、ビデオシステム６００は、本発明の使用または機能の範囲に関して、どのような限定も示唆するものでもない。
ビデオシステムは、少なくとも１つのエンコーダ６０２を含む。このエンコーダは、さらに、エンコーダキャッシュ６０４を含む。図示の実施形態では、キャッシュは、エンコーダ６０２内に存在するが、他の実装形態では、ビデオシステム内の他の場所に存在することがある。エンコーダキャッシュ６０４は、１つまたは複数のビデオフレーム６０６の部分を格納することが可能である。限定ではなく示唆として、これらのフレームの部分は、いくつかのブロック、マクロブロック、いくつかのスライス、フレーム全体、フレームのグループ、または当業者が想定できる他の任意のフレームの区分から構成されうる。エンコーダキャッシュ６０４は、単に１つのフレーム部分、２つのフレーム部分、または与えられた実装形態に望ましい任意の数のフレーム部分をキャッシュすることができる。ビデオシステム６００はまた、デコーダ６０８を含む。エンコーダ６０２と同様に、デコーダ６０８は、１つまたは複数のビデオフレーム６１２の部分を格納するために使用される、デコーダキャッシュ６１０を含む。これらのビデオフレーム部分は、１つまたは複数のブロック、マクロブロック、スライス、フレーム全体、フレームのグループ、または当業者が想定することができる他のフレームの区分を含むことができる。デコーダキャッシュ６１０を、１つのフレーム部分、２つのフレーム部分、または他の任意の数のフレーム部分を格納するように構成することができる。
ビデオシステム６００はまた、エンコーダ６０４およびデコーダ６１０が、実質的に同じ情報を含むことを保証するために使用される、シンクロナイザ６１４を含む。前述のように、シンクロナイザは、エンコーダ６０２によって施される、いくつかの特定のフレームまたはフレームの部分に付加された一意のフレームヘッダを含むことができ、そのフレームヘッダは、特定のフレームまたはフレームの部分がキャッシュされるべきことをデコーダ６０８に通知する。例えば、あるフレームがエンコーダキャッシュ６０４に格納され、また、デコーダ６０８にも送られる場合がある。そのフレームは、エンコーダキャッシュ６０４に格納されたそのコピーが存在することを示す、特有のＣＦ（Ｃａｃｈｅｄ Ｆｒａｍｅ）ヘッダを有することができる。デコーダ６０８がフレームのデコードを困難または不可能にするパケットロスまたは他の破棄を検出したとき、エンコーダキャッシュ６０４に格納されたフレームからの、エンコーダ６０２によってエンコードされる後続のフレームは、このフレームがデコーダキャッシュ６１０におけるフレームからデコードすることができることを示すようにマーク付けされうる。いくつかの実装形態では、デコーダキャッシュ６１０において複数のフレームを格納することができ、このような場合、ヘッダは、どのキャッシュされたフレームが使用されるべきかを決定するための充分な他の情報も任意選択で含むことができる。他の同期化の方法も企図される。送信機６１６が、エンコーダ６０２からデコーダ６０８にフレームを送信する。
５．コンピューティング環境
上記のフレームキャッシングの実装形態を、特に例として、コンピュータ、画像およびビデオ録画、送受信装置、携帯ビデオプレイヤビデオ会議、ウェブビデオストリーミングアプリケーションなどを含む、画像およびビデオ信号処理が実行される、任意の様々な装置で実施することができる。画像およびビデオ符号化技術は、ハードウェア回路（例えば、ＡＳＩＣ、ＦＰＧＡなどの回路）、ならびに、図７に示されるような、コンピュータまたは他のコンピューティング環境において実行される（中央処理装置（ＣＰＵ）、専用グラフィックプロセッサ、またはビデオカードなどで実行される）画像およびビデオ処理ソフトウェアで実装することができる。
図７は、上述のフレームキャッシングを実装することができる、適切なコンピューティング環境７００の一般的な例を示す。本発明を、様々な汎用または専用のコンピューティング環境で実装することができ、コンピューティング環境７００は、本発明の使用または機能の範囲に関して、どのような限定も示唆するものでもない。
コンピューティング環境７００は、少なくとも１つの処理装置７１０およびメモリ７２０を含む。この最も基本的構成７３０は、破線内に含まれている。処理装置７１０は、コンピュータ実行可能命令を実行し、現実または仮想のプロセッサとすることができる。多重処理システムにおいては、複数の処理装置が、コンピュータ実行可能命令を実行して処理能力を高める。メモリ７２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭなど）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど）、またはこの２つの何らかの組合せとすることができる。メモリ７２０は、上述のエンコーダ／デコーダキャッシングを実装するソフトウェア７８０を格納する。
コンピューティング環境は、追加の特徴を有することができる。例えば、コンピューティング環境７００は、ストレージ７４０、１つまたは複数の入力装置７５０、１つまたは複数の出力装置７６０、および１つまたは複数の通信接続７７０を含む。バス、コントローラ、またはネットワークなどの相互接続メカニズム（図示せず）は、コンピューティング環境７００のコンポーネントを相互接続する。オペレーティングシステムソフトウェア（図示せず）は、一般に、コンピューティング環境７００で実行される他のソフトウェアのための動作環境を提供し、コンピューティング環境７００のコンポーネントの活動を調整する。
ストレージ７４０は、リムーバルまたは固定とすることができ、また、磁気ディスク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、あるいは、情報を格納するために使用可能でコンピューティング環境７００においてアクセスすることができる他の任意の媒体を含む。ストレージ７４０は、エンコーダ／デコーダキャッシング方式を実装するソフトウェア７８０のための命令を格納する。
（複数の）入力装置７５０は、キーボード、マウス、ペン、またはトラックボールなどのタッチ入力装置、音声入力装置、スキャン装置、あるいは、コンピューティング環境７００に入力を提供する他の装置とすることができる。オーディオに関しては、（複数の）入力装置７５０は、アナログまたはデジタル形式でオーディオ入力を受け入れるサウンドカードまたは同様のデバイス、あるいは、オーディオサンプルをコンピューティング環境７００に提供するＣＤ−ＲＯＭリーダとすることができる。（複数の）出力装置７６０は、ディスプレイ、プリンタ、スピーカ、ＣＤライタ、あるいは、コンピューティング環境７００からの出力を提供する他の装置とすることができる。
（複数の）通信接続７７０は、通信媒体を介して他のコンピューティングエンティティと通信することを可能にする。通信媒体は、コンピュータ実行可能命令、圧縮されたオーディオまたはビデオ情報、または被変調データ信号における他のデータなどの情報を搬送する。被変調データ信号は、情報を信号にエンコードするようにセットまたは変更された１つまたは複数の信号特性を有する信号である。通信媒体には、限定ではなく例として、電気、光、ＲＦ、赤外線、音響、または他の搬送波によって実装される有線または無線技術が含まれる。
本明細書におけるエンコーダ／デコーダフレームキャッシング技術を、コンピュータ可読媒体の一般的なコンテキストで記述することができる。コンピュータ可読媒体は、コンピューティング環境７００においてアクセスすることができる任意の使用可能な媒体である。限定ではなく例として、コンピューティング環境７００では、コンピュータ可読媒体には、メモリ７２０、ストレージ７４０、通信媒体、およびこれらの任意の組合せが含まれる。
本明細書におけるエンコーダ／デコーダフレームキャッシングを、対象の現実または仮想のプロセッサ上のコンピューティング環境で実行されるプログラムモジュールに含まれるような、コンピュータ実行可能命令の一般的なコンテキストで記述することができる。一般に、プログラムモジュールには、特定のタスクを実行し、または特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、およびデータ構造などが含まれる。プログラムモジュールの機能を、様々な実施形態の必要に応じて、組み合わせることも、プログラムモジュール間で分割することもできる。プログラムモジュールのためのコンピュータ実行可能命令を、ローカルまたは分散コンピューティング環境で実行することができる。
説明のために、上述の詳細な説明では、「決定する（ｄｅｔｅｒｍｉｎｅ）」、「送信する（ｔｒａｎｓｍｉｔ）」、「エンコード」、「デコード」、「適用する（ａｐｐｌｙ）」などの言葉を使用して、コンピューティング環境におけるコンピュータの動作を記述している。これらの言葉は、コンピュータによって行われる動作の高度に抽象化したものであり、人間によって行われる行為と混同されるべきではない。これらの言葉に対応する実際のコンピュータの動作は、実装形態に応じて異なる。
本発明の原理を適用することができる多数の可能な実施形態に鑑みて、詳述された実施形態は、例示に過ぎず、本発明の範囲を限定するものとして解釈されるべきではない。むしろ、本発明では、そのようなすべての実施形態が、添付の特許請求の範囲とその均等物の範囲および趣旨に含まれるものとして請求される。
１０２ デコーダ
１０４ Ｉフレーム
１０６ Ｐフレーム
１０８ Ｐフレーム
１１０ Ｐフレーム
１１２ Ｉフレーム
１１４ エンコーダ
１１６ リカバリ時間
２００ エンコーダ
２０５ 現行フレーム
２１０ 動き推定器
２１５ 動き情報
２２０ フレームストア
２２５ 参照フレーム
２３０ 動き補償器
２３５ 動き補償された現行フレーム
２４５ 残差
２６０ 周波数変換器
２６６ 周波数逆変換器
２７０ 量子化器
２７６ 逆量子化器
２８０ エントロピ符号化器
２９０ バッファ
２９５ 圧縮されたビデオ情報
３００ デコーダ
３０５ 再構成されたフレーム
３２０ フレームストア
３２５ 参照フレーム
３３０ 動き補償器
３３５ 予測フレーム
３４５ 再構成された残差
３６０ 周波数逆変換器
３７０ 逆量子化器
３８０ エントロピデコーダ
３９０ バッファ
３９５ 圧縮されたビデオ情報
４００ フローチャート
４０２ 信号の一部分をパケットに割り当てる
４０４ パケットをフレーム内にエンコードする
４０６ エンコーダにおいてフレームをキャッシュする
４０８ フレームをデコーダに送信する
４１０ デコーダにおいてフレームをキャッシュする，Ｐフレーム，Ｉフレーム
４１２ キャッシュされたフレームに基づいてフレームを解釈する
５０２Ａ エンコーダ
５０４Ａ ＣＦ
５０６Ａ ＣＦ
５０８Ａ ＣＦ
５１０Ａ ＣＦ
５１２Ａ デコーダ
５０２Ｂ パケットロス
５０４Ｂ デコーダ
５０２Ｃ エンコーダ
５０４Ｃ ＣＦ
５０６Ｃ ＳＰ
５０８Ｃ ＳＰ
５１０Ｃ ＣＦ
５１２Ｃ デコーダ
５１４Ｃ Ｕ
５０２Ｄ エンコーダ
５０４Ｄ ＲＴＰＣ
５０６Ｄ デコーダ
５０８Ｄ ＲＴＰ
６００ ビデオシステム
６０２ エンコーダ
６０４ エンコーダキャッシュ
６０６ フレーム部分ストレージ
６０８ デコーダ
６１０ デコーダキャッシュ
６１２ フレーム部分ストレージ
６１４ シンクロナイザ
６１６ 送信機
７００ コンピューティング環境
７１０ 処理装置
７２０ メモリ
７４０ ストレージ
７５０ （複数の）入力装置
７６０ （複数の）出力装置
７７０ （複数の）通信接続
７８０ キャッシングを有するビデオエンコーダ／デコーダを実装するソフトウェア

Claims (20)

  1. エンコーダが実施する方法であって、
    キーフレーム及び予測フレームを含むエンコードされたフレームのシーケンスを送信するステップであって、前記エンコードされたフレームの少なくとも一部は、当該フレームがデコーダでキャッシュされるフレームであることを示すフレームタイプコード有するステップと、
    パケットロス検出信号を受信するステップと、
    前記パケットロス検出信号に応じて、前記キャッシュされたフレームの少なくとも１つを参照して生成された、エンコードされたフレームを送信するステップと
    を備えることを特徴とする方法。
  2. 前記エンコードされたフレームの少なくとも一部は、キーフレームであることを特徴とする請求項１に記載の方法。
  3. 前記エンコードされたフレームの少なくとも一部は、前記関連するフレームがキャッシュされないことを示すフレームタイプコードを有することを特徴とする請求項１に記載の方法。
  4. 当該フレームが前記デコーダでキャッシュされることを示すタイプコードを有するフレームが、定期的に送信されることを特徴とする請求項１に記載の方法。
  5. 前記デコーダでキャッシュされるフレームの送信間隔は、固定された間隔、または変動する間隔であることを特徴とする請求項４に記載の方法。
  6. 前記エンコーダで、当該フレームが前記デコーダでキャッシュされることを示すタイプコードを有するフレームをキャッシュするステップをさらに備えることを特徴とする請求項１に記載の方法。
  7. 前記パケットロス検出信号が、フィードバック経路を介して受信されることを特徴とする請求項１に記載の方法。
  8. 前記パケットロス検出信号は、パケットロスに関連するタイムスタンプを有することを特徴とする請求項１に記載の方法。
  9. 前記キャッシュされたフレームの少なくとも一つを参照して生成され、前記パケットロス検出信号に応じて送信された前記エンコードされたフレームは、前記パケットロスに関連する前記タイプスタンプに基づいて選択されることを特徴とする請求項８に記載の方法。
  10. 前記エンコードされたフレームは、フレームヘッダをさらに含み、前記フレームタイプコードは、前記フレームヘッダにおいて定義されることを特徴とする請求項１に記載の方法。
  11. 前記フレームは、画像データ、ビデオデータ、オーディオデータ、または音声データを含むことを特徴とする請求項１に記載の方法。
  12. 請求項１に記載の方法をコンピュータシステムに実施させるためのコンピュータ実行可能命令を格納することを特徴とするコンピュータ可読媒体。
  13. エンコーダであって、
    キーフレーム及び予測フレームを含むエンコードされたフレームのシーケンスを送信するステップであって、前記エンコードされたフレームの少なくとも一部は、当該フレームがデコーダでキャッシュされるフレームであることを示すフレームタイプコード有するステップと、
    前記デコーダにおけるパケットロス検出の指示を受信するステップと、
    パケットロスの前記指示に応じて、前記エンコーダでキャッシュされると示された少なくとも１つのフレームを参照して生成された、エンコードされたフレームを送信するステップと
    を備えることを特徴とするエンコーダ。
  14. 前記エンコードされたフレームは、フレームヘッダをさらに含み、前記フレームタイプコードは、前記フレームヘッダにおいて定義されることを特徴とする請求項１３に記載のエンコーダ。
  15. 前記パケットロス検出信号は、失われたと示されたパケットに関連するタイムスタンプを含み、前記パケットロス検出信号に応じて送信された前記フレームを生成するために使用された、前記エンコーダでキャッシュされた前記少なくとも１つのフレームは、前記タイムスタンプに基づいて選択されることを特徴とする請求項１３に記載のエンコーダ。
  16. 前記エンコードされたフレームは、シーケンス番号を含むことを特徴とする請求項１３に記載のエンコーダ。
  17. 前記パケットロス検出信号に応じて送信された前記フレームを生成するために使用された、前記エンコーダでキャッシュされた前記少なくとも１つのフレームは、前記パケットロスに関連するシーケンス番号に基づいて選択されることを特徴とする請求項１６に記載のエンコーダ。
  18. 当該フレームが前記デコーダでキャッシュされることを示すフレームタイプコードを有する前記エンコードされたフレームの少なくとも一部は、キーフレームであることを特徴とする請求項１３に記載のエンコーダ。
  19. 前記エンコードされたフレームの少なくとも一部は、前記関連するフレームがキャッシュされないことを示すフレームタイプコードを有することを特徴とする請求項１３に記載のエンコーダ。
  20. 当該フレームが前記デコーダでキャッシュされることを示すフレームタイプコードを有するフレームは、定期的に送信されることを特徴とする請求項１３に記載のエンコーダ。
JP2011285905A 2004-12-30 2011-12-27 パケットロスのリカバリを改善するためのフレームキャッシングの使用 Active JP5687183B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/027,294 US8634413B2 (en) 2004-12-30 2004-12-30 Use of frame caching to improve packet loss recovery
US11/027,294 2004-12-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005375508A Division JP5047497B2 (ja) 2004-12-30 2005-12-27 パケットロスのリカバリを改善するためのフレームキャッシングの使用

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012212607A Division JP5620448B2 (ja) 2004-12-30 2012-09-26 パケットロスのリカバリを改善するためのフレームキャッシングの使用

Publications (2)

Publication Number Publication Date
JP2012090329A true JP2012090329A (ja) 2012-05-10
JP5687183B2 JP5687183B2 (ja) 2015-03-18

Family

ID=35789232

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2005375508A Active JP5047497B2 (ja) 2004-12-30 2005-12-27 パケットロスのリカバリを改善するためのフレームキャッシングの使用
JP2011285905A Active JP5687183B2 (ja) 2004-12-30 2011-12-27 パケットロスのリカバリを改善するためのフレームキャッシングの使用
JP2012212607A Active JP5620448B2 (ja) 2004-12-30 2012-09-26 パケットロスのリカバリを改善するためのフレームキャッシングの使用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005375508A Active JP5047497B2 (ja) 2004-12-30 2005-12-27 パケットロスのリカバリを改善するためのフレームキャッシングの使用

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012212607A Active JP5620448B2 (ja) 2004-12-30 2012-09-26 パケットロスのリカバリを改善するためのフレームキャッシングの使用

Country Status (9)

Country Link
US (4) US8634413B2 (ja)
EP (2) EP2247111A1 (ja)
JP (3) JP5047497B2 (ja)
KR (3) KR101114129B1 (ja)
CN (2) CN102158713B (ja)
AT (1) ATE473599T1 (ja)
DE (1) DE602005022158D1 (ja)
ES (1) ES2348730T3 (ja)
HK (1) HK1159386A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9227139B2 (en) 2002-12-10 2016-01-05 Sony Computer Entertainment America Llc Virtualization system and method for hosting applications
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8979655B2 (en) 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
CN100459717C (zh) * 2005-04-20 2009-02-04 华为技术有限公司 基于h.264的压缩视频传输误码消除方法
EP1941661A4 (en) * 2005-10-06 2009-03-11 Egc & C Co Ltd SYSTEM AND METHOD FOR MANAGING THE TRANSMISSION OF IMAGES LIVED ON A NETWORK
US20070107011A1 (en) * 2005-11-10 2007-05-10 Zhi Li System and method for differentiated service levels in an internet protocol television network
US7716551B2 (en) 2005-12-07 2010-05-11 Microsoft Corporation Feedback and frame synchronization between media encoders and decoders
CN101087438A (zh) * 2006-06-06 2007-12-12 安捷伦科技有限公司 计算无参考视频质量评估的分组丢失度量的系统和方法
US8578228B2 (en) 2006-08-17 2013-11-05 Telefonaktiebolaget Lm Ericcson Error recovery for rich media
EP2105019A2 (en) * 2006-09-29 2009-09-30 Avinity Systems B.V. Method for streaming parallel user sessions, system and computer software
US7957307B2 (en) * 2007-03-14 2011-06-07 Microsoft Corporation Reducing effects of packet loss in video transmissions
KR101487771B1 (ko) * 2007-08-10 2015-01-30 삼성전자주식회사 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5574346B2 (ja) * 2009-05-22 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、およびこれらの方法
US20110249729A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Error resilient hierarchical long term reference frames
US8731152B2 (en) * 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
CN102223539A (zh) * 2011-06-24 2011-10-19 武汉长江通信产业集团股份有限公司 图像编码丢帧花屏的处理方法
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
US9203755B1 (en) * 2011-09-27 2015-12-01 Cisco Technology, Inc. Error message monitoring in a network environment
US9160687B2 (en) * 2012-02-15 2015-10-13 Massachusetts Institute Of Technology Method and apparatus for performing finite memory network coding in an arbitrary network
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
CN102611894B (zh) * 2012-03-02 2015-01-07 华为技术有限公司 检测视频传输丢包的方法、装置和系统
KR101358886B1 (ko) * 2012-04-12 2014-02-06 고려대학교 산학협력단 송신장치 및 수신장치, 송신장치의 동작 방법
CN103389879B (zh) * 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US20140307808A1 (en) * 2012-12-14 2014-10-16 Boris Kudryashov Protection against packet loss during transmitting video information
CN103051434A (zh) * 2012-12-20 2013-04-17 中兴通讯股份有限公司 数据的解压缩、解压缩处理方法及装置
US9407923B2 (en) * 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
FR3024582A1 (fr) 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US20170103577A1 (en) * 2015-10-12 2017-04-13 Cinova Media Method and apparatus for optimizing video streaming for virtual reality
US10516891B2 (en) * 2015-11-20 2019-12-24 Intel Corporation Method and system of reference frame caching for video coding
US10841621B2 (en) * 2017-03-01 2020-11-17 Wyse Technology L.L.C. Fault recovery of video bitstream in remote sessions
CN110574375B (zh) * 2017-04-28 2023-06-02 苹果公司 视频流水线
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US10291936B2 (en) 2017-08-15 2019-05-14 Electronic Arts Inc. Overcoming lost or corrupted slices in video streaming
KR102392888B1 (ko) * 2017-10-26 2022-04-29 에스케이텔레콤 주식회사 패킷 손실 복구를 개선하기 위한 장치 및 방법
US10567781B2 (en) * 2018-05-01 2020-02-18 Agora Lab, Inc. Progressive I-slice reference for packet loss resilient video coding
CN112740631B (zh) * 2018-07-20 2024-09-20 诺基亚技术有限公司 通过接收算法中的参数的更新来在通信系统中学习
CN109714558A (zh) * 2018-11-28 2019-05-03 视联动力信息技术股份有限公司 一种基于视联网的通信连接检测方法及系统
CN109862400B (zh) * 2019-02-18 2021-08-31 苏州长风航空电子有限公司 一种流媒体传输方法、装置及其系统
CN110602507A (zh) * 2019-08-19 2019-12-20 西安万像电子科技有限公司 丢帧处理方法、设备及系统
CN110636333A (zh) * 2019-08-19 2019-12-31 西安万像电子科技有限公司 丢帧处理方法及装置
CN113132807B (zh) * 2019-12-30 2023-04-07 成都鼎桥通信技术有限公司 基于视频的关键帧请求方法、装置、设备及存储介质
CN118525539A (zh) * 2022-01-21 2024-08-20 高通股份有限公司 参考信号安全性
US12101458B2 (en) * 2022-02-17 2024-09-24 Agora Lab, Inc. System and method for determining video codec performance in real-time communication over internet
CN117295207B (zh) * 2023-11-24 2024-03-01 深圳市千岩科技有限公司 氛围灯设备及其指令传输、应用方法和相应的装置、介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1127645A (ja) * 1997-06-30 1999-01-29 Nec Corp テレビ電話装置
JPH11317946A (ja) * 1998-03-02 1999-11-16 Nippon Telegr & Teleph Corp <Ntt> 画像通信方法、画像通信システム、および、画像通信プログラムを記録した記録媒体
JP2002010265A (ja) * 2000-06-20 2002-01-11 Sony Corp 送信装置およびその方法と受信装置およびその方法
JP2002185958A (ja) * 2000-12-12 2002-06-28 Toshiba Corp 画像復号化装置及び画像復号化方法
JP2003032689A (ja) * 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
JP2003264837A (ja) * 2002-03-07 2003-09-19 Sony Corp 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP2004215201A (ja) * 2003-01-09 2004-07-29 Sony Corp 情報処理装置および情報処理方法、データ通信システム、記録媒体、並びにプログラム

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5130595A (ja) 1974-09-10 1976-03-15 Mitsubishi Heavy Ind Ltd Ozonhatsuseisochi
JPS6030394A (ja) 1983-07-28 1985-02-15 Mitsubishi Chem Ind Ltd 感熱転写記録用チアジアゾ−ル系色素
JPS6078298A (ja) 1983-10-02 1985-05-02 小山　金一 矢羽根用鳥羽加工自動装置
US4838685A (en) 1987-04-03 1989-06-13 Massachusetts Institute Of Technology Methods and apparatus for motion estimation in motion picture processing
FR2624997B1 (fr) 1987-12-16 1990-06-01 France Etat Procede d'estimation multi predictif du mouvement des points d'une image electronique
JP2521145B2 (ja) 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
DE3943879B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
GB9001468D0 (en) 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JP2569219B2 (ja) 1990-01-31 1997-01-08 富士通株式会社 動画像予測方式
NL9000424A (nl) 1990-02-22 1991-09-16 Philips Nv Overdrachtsysteem voor gedigitaliseerde televisiebeelden.
US5150209A (en) 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
CA2043670C (en) 1990-06-05 2002-01-08 Wiebe De Haan Method of transmitting a picture sequence of a full-motion video scene, and a medium for said transmission
US5093720A (en) 1990-08-20 1992-03-03 General Instrument Corporation Motion compensation for interlaced digital television signals
JP3173508B2 (ja) 1990-10-01 2001-06-04 株式会社日立製作所 動画像復号化方法、及び、動画像復号化装置
US5175618A (en) 1990-10-31 1992-12-29 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
USRE35093E (en) 1990-12-03 1995-11-21 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
JP2924430B2 (ja) 1991-04-12 1999-07-26 三菱電機株式会社 動き補償予測符号化装置及び動き補償予測復号装置
AU657510B2 (en) 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
GB2256341B (en) 1991-05-24 1995-02-15 British Broadcasting Corp Video image processing
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5986713A (en) 1991-05-31 1999-11-16 Kabushiki Kaisha Toshiba Video coding apparatus using inter-field prediction
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5784107A (en) 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP2699703B2 (ja) 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
JP3115651B2 (ja) 1991-08-29 2000-12-11 シャープ株式会社 画像符号化装置
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5255090A (en) 1991-11-19 1993-10-19 Scientific-Atlanta, Inc. Progressive transmission of vector quantized data
US7006881B1 (en) 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5293229A (en) 1992-03-27 1994-03-08 Matsushita Electric Corporation Of America Apparatus and method for processing groups of fields in a video data compression system
GB2266023B (en) 1992-03-31 1995-09-06 Sony Broadcast & Communication Motion dependent video signal processing
JP2899478B2 (ja) 1992-06-25 1999-06-02 松下電器産業株式会社 画像符号化方法及び画像符号化装置
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US5412435A (en) 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JP3201079B2 (ja) 1992-07-03 2001-08-20 ケイディーディーアイ株式会社 インターレース動画像信号の動き補償予測方法、符号化方法及び装置
GB9215102D0 (en) 1992-07-16 1992-08-26 Philips Electronics Uk Ltd Tracking moving objects
JP3358835B2 (ja) 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5737022A (en) 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
ES2431289T3 (es) 1993-03-24 2013-11-25 Sony Corporation Método de decodificación de señal de imagen y aparato asociado
DE69416717T2 (de) 1993-05-21 1999-10-07 Nippon Telegraph And Telephone Corp., Tokio/Tokyo Bewegtbildkoder und -dekoder
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5493513A (en) 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
US5539663A (en) 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
JPH07202820A (ja) 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
KR970003799B1 (ko) 1993-12-29 1997-03-21 양승택 영상 프레임차를 이용한 영상신호 전송장치
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5541594A (en) 1994-03-28 1996-07-30 Utah State University Foundation Fixed quality source coder with fixed threshold
US5579183A (en) 1994-04-08 1996-11-26 U.S. Philips Corporation Recording and reproducing an MPEG information signal on/from a record carrier
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
JP2970417B2 (ja) 1994-08-22 1999-11-02 日本電気株式会社 動画像符号化方式
KR100287211B1 (ko) 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
JPH08223577A (ja) 1994-12-12 1996-08-30 Sony Corp 動画像符号化方法及び装置、並びに動画像復号方法及び装置
JP3534465B2 (ja) 1994-12-28 2004-06-07 パイオニア株式会社 サブバンド符号化方法
US5619281A (en) 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
JP3518700B2 (ja) 1995-01-25 2004-04-12 ソニー株式会社 デイジタル信号復号装置
US5731840A (en) 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
US6104754A (en) 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
KR0171143B1 (ko) 1995-03-20 1999-03-20 배순훈 육각그리드에서의 삼각구조 형성 장치
KR0181027B1 (ko) 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
KR0171118B1 (ko) 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
US5903313A (en) 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
KR0181063B1 (ko) 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
KR0171154B1 (ko) 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
US5835149A (en) 1995-06-06 1998-11-10 Intel Corporation Bit allocation in a coded video sequence
US5731850A (en) 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
US5852664A (en) 1995-07-10 1998-12-22 Intel Corporation Decode access control for encoded multimedia signals
US7512698B1 (en) 1995-07-14 2009-03-31 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
JP2795223B2 (ja) 1995-07-18 1998-09-10 日本電気株式会社 画像信号の符号化方法
US5668608A (en) 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
EP0783820B1 (en) 1995-08-02 2001-10-10 Koninklijke Philips Electronics N.V. Method and system for coding an image sequence
KR0178229B1 (ko) 1995-08-08 1999-05-01 배순훈 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
JPH0974566A (ja) 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
SG80607A1 (en) 1995-09-29 2001-05-22 Matsushita Electric Ind Co Ltd Method and device for recording and reproducing interleaved bitstream on and from medium
US6026182A (en) 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
JPH09107547A (ja) 1995-10-09 1997-04-22 Hitachi Ltd 既圧縮動画データ量削減装置および既圧縮動画データ量削減システムならびに既圧縮動画データ量削減方法
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
GB2306831B (en) 1995-10-30 2000-05-24 Sony Uk Ltd Video data compression
US5748121A (en) 1995-12-06 1998-05-05 Intel Corporation Generation of huffman tables for signal encoding
US5861919A (en) 1995-12-18 1999-01-19 Divicom Dynamic rate optimization for an ensemble of video encoders
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5982438A (en) 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US6011864A (en) 1996-07-03 2000-01-04 Apple Computer, Inc. Digital image coding system having self-adjusting selection criteria for selecting a transform function
US5867230A (en) 1996-09-06 1999-02-02 Motorola Inc. System, device, and method for streaming a multimedia file encoded at a variable bitrate
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6614847B1 (en) 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US5905542A (en) 1996-12-04 1999-05-18 C-Cube Microsystems, Inc. Simplified dual prime video motion estimation
CN1207921C (zh) 1996-12-10 2005-06-22 英国电讯有限公司 视频编码
US6535558B1 (en) 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
EP0960532B1 (en) 1997-02-12 2007-01-31 MediaTek Inc. Apparatus and method for optimizing the rate control in a coding system
EP2173103A3 (en) 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
WO1998036577A1 (en) 1997-02-14 1998-08-20 Nippon Telegraph And Telephone Corporation Predictive coding method and decoding method for dynamic image
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6304607B1 (en) 1997-03-18 2001-10-16 Texas Instruments Incorporated Error resilient video coding using reversible variable length codes (RVLCS)
US6212236B1 (en) 1997-03-26 2001-04-03 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
AU732452B2 (en) 1997-04-01 2001-04-26 Sony Corporation Image encoder, image encoding method, image decoder, image decoding method, and distribution media
SG65064A1 (en) 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JPH10290391A (ja) 1997-04-14 1998-10-27 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP3604864B2 (ja) 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US5880784A (en) 1997-06-17 1999-03-09 Intel Corporation Method and apparatus for adaptively switching on and off advanced prediction mode in an H.263 video coder
US5870148A (en) 1997-06-17 1999-02-09 Intel Corporation Method and apparatus for adaptively enabling and disabling PB frames in an H.263 video coder
US6359929B1 (en) 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6282240B1 (en) 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6807231B1 (en) 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US5933195A (en) 1997-09-26 1999-08-03 Sarnoff Corporation Method and apparatus memory requirements for storing reference frames in a video decoder
US6057832A (en) 1997-12-02 2000-05-02 V Soft Ltd. Method and apparatus for video-on-demand with fast play capability
US5946043A (en) 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
JP3186685B2 (ja) 1998-01-12 2001-07-11 松下電器産業株式会社 動き補償予測方法
EP0935396A3 (en) 1998-02-09 2004-08-11 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
US5991464A (en) 1998-04-03 1999-11-23 Odyssey Technologies Method and system for adaptive video image resolution enhancement
US6122321A (en) 1998-05-12 2000-09-19 Hitachi America, Ltd. Methods and apparatus for reducing the complexity of inverse quantization operations
US6289054B1 (en) 1998-05-15 2001-09-11 North Carolina University Method and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network
US6104757A (en) 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6029126A (en) 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
JP3085289B2 (ja) 1998-09-03 2000-09-04 株式会社日立製作所 動画像符号化方法、及び、動画像符号化装置
US6415326B1 (en) 1998-09-15 2002-07-02 Microsoft Corporation Timeline correlation between multiple timeline-altered media streams
US6629318B1 (en) * 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
US7046910B2 (en) * 1998-11-20 2006-05-16 General Instrument Corporation Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
DE69938094T2 (de) * 1998-11-30 2009-02-05 Matsushita Electric Industries Co. Ltd., Kadoma Paketwiederübertragungskontrolle mit Prioritätsinformationen
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
WO2000054512A1 (en) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
JP2001148853A (ja) 1999-03-12 2001-05-29 Toshiba Corp 動画像符号化装置および復号化装置
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6625215B1 (en) 1999-06-07 2003-09-23 Lucent Technologies Inc. Methods and apparatus for context-based inter/intra coding mode selection
US6441754B1 (en) 1999-08-17 2002-08-27 General Instrument Corporation Apparatus and methods for transcoder-based adaptive quantization
KR100669896B1 (ko) 1999-11-10 2007-01-18 톰슨 라이센싱 Ｄｖｄ 레코더를 위한 페이딩 특징
US6400990B1 (en) 2000-02-18 2002-06-04 Pacesetter, Inc. Patient activated telemetry control unit using bidirectional asymmetric dual-mode telemetry link to communicate with an implanted device
JP3348080B1 (ja) * 2000-07-07 2002-11-20 松下電器産業株式会社 データ送信装置とデータ受信装置及びデータ送受信方法
JP2004515132A (ja) 2000-11-23 2004-05-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化方法及び対応するエンコーダ
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US6907460B2 (en) * 2001-01-18 2005-06-14 Koninklijke Philips Electronics N.V. Method for efficient retransmission timeout estimation in NACK-based protocols
US7230919B2 (en) * 2001-02-07 2007-06-12 Siemens Communications, Inc. Quality-of-service monitor for voice-over-Internet-protocol calls
US6700932B2 (en) 2001-03-06 2004-03-02 Sony Corporation MPEG video editing-cut and paste
US6996838B2 (en) 2001-06-12 2006-02-07 Scientific Atlanta, Inc. System and method for media processing with adaptive resource access priority assignment
US7012893B2 (en) * 2001-06-12 2006-03-14 Smartpackets, Inc. Adaptive control of data packet size in networks
US7542482B2 (en) 2001-08-16 2009-06-02 Qualcomm Incorporated Method and apparatus for message segmentation in a wireless communication system
US7218635B2 (en) 2001-08-31 2007-05-15 Stmicroelectronics, Inc. Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith
DE10218541A1 (de) 2001-09-14 2003-04-24 Siemens Ag Verfahren zur Videocodierung und Computerprogrammprodukt
JP2003152544A (ja) 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
JP3912091B2 (ja) * 2001-12-04 2007-05-09 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
CN1288915C (zh) * 2002-01-23 2006-12-06 诺基亚有限公司 视频序列的编码和解码方法及相关的视频编码器和解码器
KR100434384B1 (ko) * 2002-03-21 2004-06-04 엘지전자 주식회사 선택적 흐름제어를 통한 데이터 신뢰성 보장장치 및 방법
JP3821740B2 (ja) * 2002-03-22 2006-09-13 Ｎｅｃインフロンティア株式会社 音声データ送受信装置
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP2004254195A (ja) 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム
US7827458B1 (en) * 2003-03-03 2010-11-02 Apple Inc. Packet loss error recovery
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US20080221080A1 (en) 2003-08-25 2008-09-11 James Douglas Griffin Method of Treating Mixed Lineage Leukemia Gene-Rearranged Acute Lymphoblastic Leukemias
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7142537B2 (en) * 2003-12-18 2006-11-28 Motorola, Inc. Interface call signaling protocol
KR20050061762A (ko) 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7643480B2 (en) * 2004-01-22 2010-01-05 Hain-Ching Liu Method and system for reliably and efficiently transporting data over a network
US7746927B1 (en) * 2004-03-26 2010-06-29 Apple Inc. Robust single-pass variable bit rate encoding
US8085846B2 (en) 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
JP4405875B2 (ja) * 2004-08-25 2010-01-27 富士通株式会社 エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
US7302159B2 (en) * 2004-11-12 2007-11-27 Pelco Apparatus and method of storing video data
US7609895B2 (en) 2004-11-16 2009-10-27 Pegasus Imaging Corporation Methods and apparatus for performing MQ-decoding operations
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP5130595B2 (ja) 2006-12-01 2013-01-30 ライオン株式会社 台所用液体洗浄剤組成物
JP6030394B2 (ja) 2012-09-26 2016-11-24 住友電工プリントサーキット株式会社 プリント配線板
JP6078298B2 (ja) 2012-11-01 2017-02-08 武蔵エンジニアリング株式会社 位置補正機能を有する作業装置および作業方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1127645A (ja) * 1997-06-30 1999-01-29 Nec Corp テレビ電話装置
JPH11317946A (ja) * 1998-03-02 1999-11-16 Nippon Telegr & Teleph Corp <Ntt> 画像通信方法、画像通信システム、および、画像通信プログラムを記録した記録媒体
JP2002010265A (ja) * 2000-06-20 2002-01-11 Sony Corp 送信装置およびその方法と受信装置およびその方法
JP2002185958A (ja) * 2000-12-12 2002-06-28 Toshiba Corp 画像復号化装置及び画像復号化方法
JP2003032689A (ja) * 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
JP2003264837A (ja) * 2002-03-07 2003-09-19 Sony Corp 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP2004215201A (ja) * 2003-01-09 2004-07-29 Sony Corp 情報処理装置および情報処理方法、データ通信システム、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
EP1677547A1 (en) 2006-07-05
DE602005022158D1 (de) 2010-08-19
JP5687183B2 (ja) 2015-03-18
EP1677547B1 (en) 2010-07-07
KR101213906B1 (ko) 2012-12-18
EP2247111A1 (en) 2010-11-03
KR101114129B1 (ko) 2012-02-20
US10341688B2 (en) 2019-07-02
US8634413B2 (en) 2014-01-21
CN102158713A (zh) 2011-08-17
KR20060079085A (ko) 2006-07-05
US9866871B2 (en) 2018-01-09
JP5620448B2 (ja) 2014-11-05
US20060146830A1 (en) 2006-07-06
ATE473599T1 (de) 2010-07-15
KR20120100851A (ko) 2012-09-12
US20130010861A1 (en) 2013-01-10
ES2348730T3 (es) 2010-12-13
US20160366445A1 (en) 2016-12-15
JP2012253831A (ja) 2012-12-20
JP5047497B2 (ja) 2012-10-10
HK1159386A1 (en) 2012-07-27
KR101344207B1 (ko) 2013-12-20
CN1816150B (zh) 2011-07-06
JP2006191599A (ja) 2006-07-20
US9313501B2 (en) 2016-04-12
CN102158713B (zh) 2013-09-04
CN1816150A (zh) 2006-08-09
KR20110079579A (ko) 2011-07-07
US20140133583A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
JP5687183B2 (ja) パケットロスのリカバリを改善するためのフレームキャッシングの使用
Côté et al. Optimal intra coding of blocks for robust video communication over the Internet
JP6333949B2 (ja) 改善されたｒｔｐペイロードフォーマット設計
JP4510465B2 (ja) イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化
US10425661B2 (en) Method for protecting a video frame sequence against packet loss
KR101335214B1 (ko) 비디오 신호 전송 방법 및 비디오 코더
JP2004507178A (ja) ビデオ信号符号化方法
JP2005522084A (ja) 画像／ビデオエンコーダおよび／またはデコーダにおける符号化変換係数
JP2004350263A (ja) 画像処理装置及び画像処理方法
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
KR101703133B1 (ko) 실시간 소스-채널 복합부호화 방법 및 그 장치
JP2006345166A (ja) 画像圧縮処理装置
KR20020088633A (ko) 동영상 전송장치 및 부호화 방법
JP2008010986A (ja) 無線映像監視装置及び無線映像監視方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131009

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140609

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150121

R150 Certificate of patent or registration of utility model

Ref document number: 5687183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250