JP2003533067A - 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法 - Google Patents

基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法

Info

Publication number
JP2003533067A
JP2003533067A JP2001508171A JP2001508171A JP2003533067A JP 2003533067 A JP2003533067 A JP 2003533067A JP 2001508171 A JP2001508171 A JP 2001508171A JP 2001508171 A JP2001508171 A JP 2001508171A JP 2003533067 A JP2003533067 A JP 2003533067A
Authority
JP
Japan
Prior art keywords
reference layer
video
parameter
bit rate
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001508171A
Other languages
English (en)
Other versions
JP2003533067A5 (ja
Inventor
デア スカール ミハエラ ヴァン
イングウェイ チェン
ハイダー ラダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003533067A publication Critical patent/JP2003533067A/ja
Publication of JP2003533067A5 publication Critical patent/JP2003533067A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 基準レイヤ符号化器及び拡張レイヤ符号化器を有するビデオ符号化器において使用される拡張レイヤ・ビデオ・データ伝送制御装置が開示される。基準レイヤ符号化器は、入力ビデオ・フレームを受け取り、基準レイヤ・ビットレートでのストリーミング・ビデオ受信機への伝送に適した圧縮基準レイヤ・ビデオ・フレームを生成する。拡張レイヤ符号化器は、入力ビデオ・フレーム及び圧縮基準レイヤ・ビデオ・フレームの復号されたバージョンを受け取り、修正可能な拡張レイヤ・ビットレートでのストリーミング・ビデオ受信機への伝送に適した拡張レイヤ・ビデオ・データを生成する。該装置は、少なくとも1つの基準レイヤ・パラメータを受け取り、その受け取りに応答して、圧縮基準レイヤ・ビデオ・フレームのうちの対応するフレームの間の拡張レイヤ・ビデオ・データの割り当てを修正することができる基準レイヤ・パラメータ監視器を有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、これと同時に出願され共に本発明の譲受者に譲渡された米国特許出
願番号(Docket No. 700752)、発明の名称”SYSTEM AND METHOD FOR FINE GRANU
LAR SCALABLE VIDEO WITH SELECTIVE QUALITY ENHANCEMENT”で開示されたもの
に関する。この関連した特許出願の内容は、ここにすべて参考として含まれる。
【0002】 本発明は、一般に、ビデオ符号化システム、特に、ビデオ・データをストリー
ム化する符号化システムに関する。
【0003】
【従来の技術】
近年、インターネットを含むデータ・ネットワーク上でのマルチメディア・コ
ンテンツのリアルタイム・ストリーミングがますます一般的アプリケーションと
なってきている。オンデマンド・ニュース、ライブでのネットワークTV視聴、
ビデオ会議などのような広範囲な対話型及び非対話型マルチメディア・アプリケ
ーションは送受信者間ストリーミング・ビデオ手法に依存している。先ず"非リ
アルタイム"で取り出され、後で"リアルタイム"で視聴すなわち再生される"ダウ
ンロード型"ビデオ・ファイルとは異なり、ストリーミング・ビデオ・アプリケ
ーションにおいては、ビデオ送信側がビデオ信号を符号化して、それをデータ・
ネットワーク経由でビデオ受信側に伝送し、受信側がそのビデオ信号をリアルタ
イムで復号及び表示しなければならない。
【0004】 ビデオ符号化のスケーラビリティは、広範囲な処理能力を有する復号器を用い
たシステムにおいて使用される多くのマルチメディア・アプリケーション及びサ
ービスに関して必要とされる機能である。スケーラビリティは、処理能力の低い
プロセッサがスケーラブルなビデオ・ストリームのサブセットだけを復号するこ
とを可能にする。また、スケーラブルなビデオの別の用途として、可変的伝送帯
域幅を持つ環境における使用がある。そのような環境においては、低アクセス帯
域幅の受信側は、スケーラブルなビデオ・ストリームのサブセットだけを受信し
て復号する。この場合、そのようなサブセットの量は、使用可能な帯域幅に比例
する。
【0005】 いくつかのビデオ・スケーラビリティ手法が、MPEG−2及びMPEG−4
のような代表的ビデオ圧縮規格によって採用されている。これら規格において、
(例えばSN比のような)時間、空間及び品質上のスケーラビリティ・タイプが定
義されている。これら手法のすべては基準レイヤ及び拡張レイヤから構成されて
いる(以下の記述において、基準レイヤはその英語表現"Base Layer"の頭文字を
取って"BL"、拡張レイヤはその英語表現"Enhancement Layer"の頭文字を取っ
て"EL"と略称されることがある)。
【0006】 一般に、スケーラブルなビデオ・ストリームの基準レイヤ部分は、そのストリ
ームを復号するために必要とされる最小データ量を表す。ストリームの拡張レイ
ヤ部分は、追加情報を表し、従って、受信側によって復号されるとビデオ信号表
現を強化する。
【0007】 例えば、インターネットのような可変的帯域幅システムにおいて、基準レイヤ
伝送レートがその可変帯域幅システムの最低限度保証された伝送レートに設定さ
れる場合がある。従って、例えば、加入者(受信側)が最低限度保証された256
KBPSの帯域幅を持つとすれば、基準レイヤ伝送レートも256KBPSに設
定される。実際に使用可能な帯域幅が384KBPSであれば、超過の128K
BPS帯域幅は、基準レイヤ・レートで伝送される基準信号を増強させるため拡
張レイヤによって使用される。
【0008】 ビデオ・スケーラビリティのタイプの各々について、特定のスケーラビリティ
構造が確立されている。スケーラビリティ構造は、基準レイヤのピクチャと拡張
レイヤのピクチャとの間の関係を定義する。スケーラビリティの1つのクラスは
、精細スケーラビリティ(fine granular scalability)である。このタイプのス
ケーラビリティで符号化された画像はプログレッシブに復号される。換言すれば
、復号器はその画像を符号化するために使用されたデータのサブセットだけを用
いて画像を復号し表示する。一層多くのデータの受信が進むにつれ、復号される
画像の品質は、完全な情報が受信、復号及び表示されるまで、プログレッシブに
向上する。
【0009】 新たに提案されたMPEG−4規格は、テレビ電話、携帯型のマルチメディア
/オーディオビジュアル通信、マルチメディア電子メール、遠隔検知、対話型ゲ
ームなどのような、非常に低いビットレートの符号化に基づいた新しいビデオ・
ストリーミング・アプリケーションを対象としている。MPEG−4規格の範囲
内において、精細スケーラビリティは、ネットワーク化されたビデオ分配にとっ
て必須の手法であると認識されている。精細スケーラビリティは、ビデオが異質
のネットワーク経由でリアルタイムにストリーム伝送されるようなアプリケーシ
ョンを主として対象としている。精細スケーラビリティは、一旦ある範囲のビッ
トレートに対してコンテンツを符号化した後、ビデオ伝送サーバがビデオ・ビッ
トストリームの深い知識を持たなくてもあるいはビデオ・ビットストリームを解
析しなくても伝送レートを動的に変更することを可能にすることによって、帯域
幅適応性を提供する。
【0010】 従来技術の精細スケーラビリティ手法においては、フレーム内符号化される拡
張レイヤの符号化効率及び視覚品質に重要な優先度が与えられている。これは、
非スケーラブルな(例えば単一レイヤ)または低い精細度(例えば多層SN比スケ
ーラビリティ)に代えて拡張レイヤの圧縮のため精細スケーラビリティ手法を採
用することを正当化する上で必要なことである。
【0011】
【発明が解決しようとする課題】
精細スケーラビリティに関連して現在採用されている圧縮方式の限界は、拡張
レイヤの圧縮効率を改良するため基準レイヤの符号化情報を活用することができ
ない点にある。現在採用されている精細スケーラビリティの別の欠点は、拡張レ
イヤのフレームが相互に独立して符号化される(すなわちフレーム内符号化され
る)という事実に存在する。拡張レイヤのフレーム内符号化は、エラー回復力及
び転送時の容易なビットレート変更のため必要である。しかしながら、各拡張フ
レームがそれ自身の文脈において最適に符号化されるので、連続するフレームの
画像品質の間の不連続または不整合がしばしば発生する。その結果、精細スケー
ラビリティで強化されたビデオは、フレームとフレームとの間で"ちらちら光る"
欠陥を持つ可能性がある。これは、一層"視覚的に安定した"単一レイヤ符号化ビ
デオと比較する場合、特にいらいらさせるものであり、非常に目立つ欠陥である
【0012】 従って、ストリーミング・ビデオ・システムにおいて使用される符号化器及び
符号化手法の改良の必要性が当業界に存在する。また、"ちらちら光る"欠陥及び
関連フレームのシーケンスにおける連続フレームの品質の不連続性を発生させる
その他の原因に影響されにくい符号化器及び符号化手法に対する更なる必要性が
存在する。特に、オリジナルのビデオ画像における活動量または選択された特性
に関連して拡張レイヤ・データを選択的に割り当てる符号化器に対する必要性が
当業界に存在する。
【0013】
【課題を解決するための手段】
前記従来技術の欠陥に対処するため、拡張レイヤ圧縮方式の符号化効率を改良
する新しい手法を提供することが本発明の主要目的である。本発明によって提案
される符号化手法は、基準レイヤ圧縮情報から取得される1つまたは複数のパラ
メータ(例えば運動ベクトル、基準レイヤ量子化誤差、レート制御情報など)を使
用して、拡張レイヤの画像品質を改良する。更に、単一レイヤ符号化が特定ビッ
トレートに関するビデオ品質の最適化の点で通常良好なはたらきをするという観
察に基づいて、本発明は、精細スケーラビリティのための"ガイドライン"として
複数ビットレートにおける単一レイヤ符号化を使用する。この新しい圧縮技術は
、基準レイヤ及び拡張レイヤにおいて選択される変換(例えば離散型コサイン変
換(DCT)またはウエーブレット)と無関係に適用することができる。しかしな
がら、基準レイヤ及び拡張レイヤで異なる符号化方式が使用されるとすれば、特
定の基準レイヤまたは単一レイヤ情報の使用はさほど単純ではない。
【0014】 従って、本発明の1つの有益な実施形態においては、ビデオ・フレームの入力
ストリームを受け取り、基準レイヤ・ビットレートでのストリーミング・ビデオ
受信機への伝送に適した圧縮基準レイヤ・ビデオ・フレームを受け取ったストリ
ームから生成する能力を有する基準レイヤ回路、及び、ビデオ・フレームの入力
ストリーム及び圧縮基準レイヤ・ビデオ・フレームの復号されたバージョンを受
け取り、圧縮基準レイヤ・ビデオ・フレームのうちの対応するフレームに関連し
割り当てられ、修正可能な拡張レイヤ・ビットレートでのストリーミング・ビデ
オ受信機への伝送に適した拡張レイヤ・ビデオ・データを生成する能力を有する
拡張レイヤ回路を備えたビデオ符号化器において使用される拡張レイヤ・ビデオ
・データ伝送制御装置が提供される。該装置は、少なくとも1つの基準レイヤ・
パラメータを受け取り、その受け取りに応答して、圧縮基準レイヤ・ビデオ・フ
レームのうちの対応するフレームの間の拡張レイヤ・ビデオ・データの割り当て
を修正する能力を有する基準レイヤ・パラメータ監視器を備える。
【0015】 本発明の1つの実施形態において、ビデオ符号化器が、ビデオ・フレームの入
力ストリームを受け取り、それに基づいて、ビデオ・フレームの入力ストリーム
における少なくとも1つの選択されたフレーム・シーケンスに関連する基準レイ
ヤ動きパラメータを決定する能力を有する動き推定回路を備える。
【0016】 本発明の他の実施形態において、基準レイヤ・パラメータ監視器が、基準レイ
ヤ動きパラメータを受け取り、その受け取りに応答して、基準レイヤ動きパラメ
ータによって示される少なくとも1つの選択されたフレーム・シーケンスにおけ
る動きのレベルに従って拡張レイヤ・ビデオ・データの割り当てを修正する。
本発明のなおも他の実施形態において、ビデオ符号化器が、ビデオ・フレームの
入力ストリームに関連する変換データを受け取り、受け取った該変換データを量
子化することにより該変換データのサイズを減少させる能力を有し、更に、量子
化された変換データに関連する基準レイヤ量子化誤差パラメータを決定する能力
を有する量子化回路を備える。
【0017】 本発明の更に他の実施形態において、基準レイヤ・パラメータ監視器が、基準
レイヤ量子化誤差パラメータを受け取り、それに応答して、基準レイヤ量子化誤
差パラメータによって示される量子化誤差に従って拡張レイヤ・ビデオ・データ
の割り当てを修正する。
【0018】 本発明の更に他の実施形態において、ビデオ符号化器が、基準レイヤ・ビット
レートを決定し、該ビットレートから該ビットレートに関連する基準レイヤ・ビ
ットレート・パラメータを生成する能力を有する基準レイヤ・レート割り当て回
路を備え、圧縮基準レイヤ・ビデオ・フレームがストリーミング・ビデオ受信機
に伝送される場合のあらかじめ定められた最小レートに基準レイヤ・ビットレー
トが設定される。
【0019】 本発明のなおも他の実施形態において、基準レイヤ・パラメータ監視器が、基
準レイヤ・ビットレート・パラメータを受け取り、それに応答して、圧縮基準レ
イヤ・ビデオ・フレームとあらかじめ定められた最小レートより大きい第2の基
準レイヤ・ビットレートに関連する推定圧縮基準レイヤ・ビデオ・フレームとの
間の推定差分に従って拡張レイヤ・ビデオ・データの割り当てを修正する。
【0020】 上記の記述は、当業者が下記の本発明の詳細な説明をよりよく理解することが
できるように本発明の機能及び技術的利点をむしろ幅広く概略記述したものであ
る。本発明の主題を形成する本発明の更なる機能及び利点が以下に記述される。
本明細書に開示されている概念及び特定の実施形態は、本発明と同じ目的を達成
するために修正または他の構成を設計する基礎として使用することが可能である
点は、当業者に認められるべきことであろう。そのような同等の構成がその最も
広範囲な形態において本発明の理念及び範囲から離脱しないこともまた当業者に
理解されるべき点であろう。
【0021】
【発明の実施の形態】
詳細な記述に入る前に、用語について記述しておく。"コントローラ"は、少な
くとも1つの動作を制御する装置、システムまたはその一部を意味する。そのよ
うな装置は、ハードウェア、ファームウェア、ソフトウェアまたはそれらの少な
くとも2つの組み合わせで実施される。特定のコントローラに関連する機能性が
、ローカルまたはリモートに関係なく、集中または分散されることができる点は
注意されるべきことである。本明細書を通して特定の語句に関する定義が提供さ
れているが、そのような定義は多くの場合そのような語句の従来の使用のみなら
ず将来の使用にも適用される点は当業者に認められることであろう。
【0022】 以下に説明される図1乃至図4及び本明細書において本発明の原理を記述する
ために使用される種々の実施形態は、例示のためのものにすぎず、いかなる形態
においても本発明の範囲を制限するものと解釈されるべきではない。本発明の原
理は、適切に構成されるどのようなビデオ符号化器においても実施することがで
きる点は当業者に理解されることであろう。
【0023】 図1は、本発明の1つの実施形態に従った、ストリーミング・ビデオ送信側か
らストリーミング・ビデオ受信側へのデータ・ネットワーク経由の送受信者間ス
トリーミング・ビデオ伝送を示している。アプリケーションに依存するが、スト
リーミング・ビデオ伝送機構110は、データ・ネットワーク・サーバ、テレビ
ジョン局、ケーブルネットワーク、デスクトップ・パーソナル・コンピュータ(
PC)などを含め、ビデオ・フレームの多種多様なソース(発生源)のうちのいず
れか1つである。
【0024】 ストリーミング・ビデオ伝送機構110は、ビデオ・フレーム・ソース112
、ビデオ符号化器114及び符号化器バッファ116を含む。ビデオ・フレーム
・ソース112は、テレビジョン・アンテナ、受信装置、ビデオ・カセット・プ
レーヤ、ビデオ・カメラ、"生"のビデオクリップを記憶できるディスク記憶装置
などを含め、非圧縮ビデオ・フレーム・シーケンスを生成することができるどの
ような装置でもよい。非圧縮ビデオ・フレームが、所与のピクチャ・レート(す
なわち"ストリーミング・レート")でビデオ符号化器114に入力され、MPE
G−4符号化器のような任意の既知の圧縮アルゴリズムまたは装置に従って圧縮
される。次に、ビデオ符号化器114は、データ・ネットワーク120経由の伝
送に備えたバッファーリングのため符号化器バッファ116に圧縮ビデオ・フレ
ームを伝送する。データ・ネットワーク120は、適切なものであればどのよう
なネットワークでもよく、インターネットのようなパブリック・データ・ネット
ワーク及び企業所有のローカル・ネットワーク(LAN)または広域ネットワーク
(WAN)のようなプライベート・ネットワークの両方の部分を含むことができる
【0025】 ストリーミング・ビデオ受信機130は、復号器バッファ132、ビデオ復号
器134及びビデオ・ディスプレイ136を含む。復号器バッファ132は、ス
トリーミング圧縮ビデオ・フレームをデータ・ネットワーク120から受け取っ
て記憶する。復号器バッファ132は、次に、必要に応じて圧縮ビデオ・フレー
ムをビデオ復号器134に送信する。ビデオ・フレームがビデオ符号化器114
によって圧縮された場合と(理想的には)同じレートで、ビデオ復号器134はビ
デオ・フレームを展開(すなわち解凍)する。ビデオ復号器134は、ビデオ・デ
ィスプレイ136の画面での再生のため、展開したフレームをビデオ・ディスプ
レイ136に伝送する。
【0026】 図2は、従来技術の1つの実施形態に従ったビデオ符号化器200を示してい
る。ビデオ符号化器200は、基準レイヤ符号化ユニット210及び拡張レイヤ
符号化ユニット250を含む。ビデオ符号化器200は、オリジナルのビデオ信
号を受け取って、その信号を、基準レイヤ・ビットストリームの生成のため基準
レイヤ符号化ユニット210に、また、拡張レイヤ・ビットストリームの生成の
ため拡張レイヤ符号化ユニット250に転送する。
【0027】 基準レイヤ符号化ユニット210は、基準レイヤ・ビットストリームを生成す
るため、動き推定器212、変換回路214、量子化回路216、エントロピ符
号化器218及びバッファ220を備えた主処理ブランチを内包する。基準レイ
ヤ符号化ユニット210は、基準レイヤ符号化ユニット210の量子化因子を調
整するために使用される基準レイヤ・レート割り当て器222を含む。基準レイ
ヤ符号化装置210は、また、逆量子化回路224、逆変換回路226及びフレ
ーム記憶回路228を備えたフィードバック・ブランチを内包する。
【0028】 動き推定器212は、オリジナルのビデオ信号を受け取って、基準フレームと
今のビデオ・フレームとの間の動きの量を推定する(この動き量はピクセル特性
の変化によって表される)。例えば、MPEG規格は、フレームの16×16サ
ブブロックにつき4つの空間動きベクトルによって動き情報が表されることがで
きることを指定している。変換回路214は、動き推定器212から結果として
出力される動き差分推定値を受け取り、離散型コサイン変換(DCT)のような既
知の非相関技術を使用して空間ドメインから周波数ドメインへ変換する。
【0029】 量子化回路216は、変換回路214からDCT係数出力を、また、基準レイ
ヤ・レート割り当て回路322からスケーリング因子を受け取り、更に、既知の
量子化手法を使用して動き補償予測情報を圧縮する。量子化回路216は、基準
レイヤ・レート割り当て回路222から受け取ったスケーリング因子を利用して
、変換出力の量子化のために適用されるべき除算係数を決定する。次に、エント
ロピ符号化器回路218が、量子化回路216から量子化されたDCT係数を受
け取り、更に、比較的短いコードで高い確率の出現を持つ領域を表し、比較的長
いコードで比較的低い確率の出現を持つ領域を表す可変長符号化手法を使用して
、データを圧縮する。バッファ220は、エントロピ符号化器218の出力を受
け取って、圧縮された基準レイヤ・ビットストリームの出力のため必要なバッフ
ァーリングを行う。それに加えて、バッファ220は、基準レイヤ・レート割り
当て器222のため基準入力としてフィードバック信号を提供する。基準レイヤ
・レート割り当て器222は、バッファ220からフィードバック信号を受け取
り、それを使用して、量子化回路216に供給される除算係数を決定する。
【0030】 逆量子化回路224は、量子化回路216の出力を逆量子化して、量子化回路
216に入力された変換を表す信号を生成する。逆変換回路226は、逆量子化
回路224の出力を復号して、変換及び量子化プロセスによって修正されたオリ
ジナルのビデオのフレーム表現を提供する信号を生成する。フレーム記憶回路2
28は、逆変換回路226から復号された代表フレームを受け取って、動き推定
回路212及び拡張レイヤ符号化装置250への基準出力としてそのフレームを
記憶する。動き推定回路212は、オリジナルのビデオ信号における動き変化を
決定するための入力基準信号として上記記憶されたフレーム信号を使用する。
拡張レイヤ符号化ユニット250は、残差計算回路252、変換回路254及び
精細スケーラビリティ符号化器256を備えた主処理ブランチを含む。拡張レイ
ヤ符号化ユニット250は、また、拡張レート割り当て器258を含む。残差計
算回路252は、オリジナルのビデオ信号からフレームを受け取り、受け取った
それらフレームをフレーム記憶回路228における復号(または再構築)された基
準レイヤ・フレームと比較して、変換及び量子化プロセスの結果基準レイヤ・フ
レームにおいて失われた画像情報を表す残差信号を生成する。残差計算回路25
2の出力は、残差データまたは残余誤差データとして知られている。
【0031】 変換回路254は、残差計算回路252からの出力を受け取って、DCTのよ
うな既知の変換手法を使用してこのデータを圧縮する。DCTは本実施形態のた
めの典型的な変換の役目を果たしているが、変換回路254は、基準レイヤ変換
回路214と同じ変換プロセスを必ずしも持つ必要はない。
【0032】 精細スケーラビリティ・フレーム符号化器回路256は、変換回路254及び
拡張レート割り当て器258から出力を受け取る。精細スケーラビリティ・フレ
ーム符号化器回路256は、拡張レート割り当て器258によって調整されたD
CT係数を符号化及び圧縮して、拡張レイヤ・ビットストリームに関する圧縮出
力を生成する。拡張レート割り当て器258は、変換回路254からDCT係数
を受け取って、それらDCTを利用して精細スケーラビリティ・フレーム符号化
器回路256に適用されるレート割り当て制御を生成する。
【0033】 図2に示される従来技術の実施によれば、拡張レイヤ残差圧縮信号が生成され
る。拡張レイヤ残差圧縮信号は、オリジナルのビデオ信号と復号された基準レイ
ヤ・データとの間の差分を表すが、すべての残差は、基準レイヤ符号化ユニット
310の内部パラメータと無関係に処理される。本発明は、以下に記述するよう
に、拡張レイヤの動作を改良するため、基準レイヤから得られる(動きベクトル
、基準レイヤ量子化誤差、レート制御情報などの)1つまたは複数のパラメータ
を使用する。この新しい圧縮手法は、基準レイヤ及び拡張レイヤにおいて選択さ
れる(例えば離散型コサイン変換すなわちDCTまたはウエーブレットなどの)変
換方式とは無関係に、適用することができる。
【0034】 図3は、本発明の1つの実施形態に従ったビデオ符号化器114を詳細に示し
ている。ほとんどの部分において、ビデオ符号化器114は従来技術ビデオ符号
化器200と類似している。ビデオ符号化器114は、基準レイヤ符号化ユニッ
ト310及び拡張レイヤ符号化ユニット350を備える。ビデオ符号化器114
は、基準レイヤ・ビットストリームの生成のため基準レイヤ符号化ユニット31
0に、また、拡張レイヤ・ビットストリームの生成のため拡張レイヤ符号化ユニ
ットに350に転送されるオリジナルのビデオ信号を受け取る。
【0035】 基準レイヤ符号化ユニット310は、基準レイヤ・ビットストリームを生成す
るため、動き推定器312、変換回路314、量子化回路316、エントロピ符
号化器318及びバッファ320を備えた主処理ブランチを内包する。基準レイ
ヤ符号化ユニット310は、基準レイヤ符号化ユニット310からの基準レイヤ
・データを割り当てるために使用される基準レイヤ・レート割り当て器322を
含む。基準レイヤ符号化ユニット310は、また、逆量子化回路324、逆変換
回路326及びフレーム記憶回路328を備えたフィードバック・ブランチを内
包する。
【0036】 拡張レイヤ符号化ユニット350は、残差計算回路352、変換回路354及
び精細スケーラビリティ符号化器356を内包する。拡張レイヤ符号化ユニット
350は、また、拡張レイヤ・レート割り当て器を含む。
【0037】 しかしながら、前記従来技術ビデオ符号化器200と相違して、ビデオ符号化
器114における拡張レイヤ符号化器ユニット350は更に基準レイヤ・パラメ
ータ監視器300を含む。基準レイヤ符号化ユニット310及び拡張レイヤ符号
化ユニット350における符号A、B及びCは、基準レイヤ符号化ユニット31
0のコンポーネントと拡張レイヤ符号化ユニット350のコンポーネントとを接
続する信号線を表している。信号線そのものは図面が錯綜するので省略されてい
る。符号Aが示しているように、基準レイヤ・パラメータ監視器300は、基準
レイヤ・レート割り当て器322から1つまたは複数の基準レイヤ・ビットレー
ト・パラメータを受け取ることができる。また、符号Bが示しているように、基
準レイヤ・パラメータ監視器300は、量子化回路316から1つまたは複数の
基準レイヤ量子化誤差パラメータを受け取ることができる。最後に、符号Cが示
しているように、基準レイヤ・パラメータ監視器300は、動き推定器312か
ら1つまたは複数の基準レイヤ動きパラメータを受け取ることができる。
【0038】 また、異なる基準レイヤ・レートを動作させる複数の符号化器を内包するサー
バ環境においては、基準レイヤ・パラメータ監視器300は、N個のその他の基
準レイヤ符号化器のうちの1つまたは複数から1つまたは複数の基準レイヤ・パ
ラメータを受け取ることができる。それらN個のその他の符号化器は、比較的高
いレートで基準レイヤ・レート割り当て器を動作させる"高BLレート符号化器
1"乃至"高BLレート符号化器N"と恣意的に符号をつけられている。
【0039】 基準レイヤ・パラメータ監視器300は、基準レイヤ符号化器310及び高B
Lレート符号化器1−Nから受け取る基準レイヤ・パラメータを基準信号として
利用して、拡張レート割り当て器358の動作を制御する1つまたは複数の出力
信号を生成する。基準レイヤ・パラメータ監視器300からの出力信号は、拡張
レイヤ・データが基準レイヤにおけるブロック、ブロック・グループ及びフレー
ムの間に分散されている形態を再割り当てすることによって、拡張レート割り当
て器回路358の動作を調整または修正する。
【0040】 本発明の1つの代替実施形態において、基準レイヤ・パラメータ監視器300
は、また、比較的高いレートで基準レイヤ装置310を動作させるN個の他の基
準レイヤ符号化器のうちの1つまたは複数から基準レイヤ・フレームを受け取っ
て、それらを基準レイヤ符号化ユニット310における基準レイヤ・フレームと
比較する能力を有する比較器回路を備える。基準レイヤ・パラメータ監視器30
0は、そのような入力を使用して、拡張レイヤ・データが基準レイヤにおけるブ
ロック、ブロック・グループ及びフレームの間に分散されている形態を再割り当
てすることによって拡張レート割り当て器回路358の動作を調整または修正す
るため、基準レイヤ・パラメータとして使用される基準レイヤ差分信号を生成す
る。
【0041】 注意されるべき点であるが、上述された基準レイヤ・パラメータは例にすぎず
、それに限定されるものではない。拡張レイヤ・ビデオのビットストリームを改
良するために適切なその他の基準レイヤ・パラメータ信号の活用が除外されてい
るとみなされるべきではない。
【0042】 拡張レート割り当て回路358は、基準レイヤ・パラメータ監視器300から
1つまたは複数のパラメータ出力信号を受け取り、変換回路354から1つの出
力を受け取る。拡張レート割り当て器358は、精細スケーラビリティ・フレー
ム符号化回路356へ出力されるレート割り当てを開発するための基礎情報とし
て、受け取った変換データ及びパラメータ信号を活用する。
【0043】 拡張レイヤ符号化ユニット350は、1つまたは複数の基準レイヤ・パラメー
タ及び基準レイヤ・レート符号化器出力データを利用して、一定タイプの視覚上
のエラーに対する人間の目の感度を開拓する改良された拡張レイヤ・ビットスト
リームを開発する。例えば、画像品質が一層高い伝送レートで動作しているシス
テムの品質に局所的にまたは大域的に近似するように、拡張レイヤ符号化ユニッ
ト350は、特定の1つのビデオ・フレームの範囲内または複数のビデオ・フレ
ームの間で付加的ビットを割り当てるためのガイドとして基準レイヤ・ビットレ
ート・パラメータを使用することができる。その結果、画像は許容可能な一層良
好な画質を提供する。同様のプロセスを使用して、連続するフレームの間で一層
整合性のとれた画像品質を保証することができる。
【0044】 同様に、拡張レイヤ符号化ユニット350は、基準レイヤ量子化プロセスによ
って導入される残差を分類する手段として基準レイヤ量子化誤差パラメータを使
用することができる。次に、精細スケーラビリティ・フレーム符号化器回路35
6が、識別された残差クラスに関する補償としてのビットを追加することによっ
て視覚画像を改良する。更に、拡張レイヤ符号化ユニット350は、種々の残差
係数に異なる伝送優先度を割り当てることによって、量子化プロセスによって導
入されたブロック間ひずみを最小限度に抑えることができる。拡張レイヤ符号化
ユニット350は、(例えば一層円滑なブロック間推移のような)許容可能な一層
快適な低ビット・レート画像を再構築する基礎として前記のように優先度を与え
られた残差係数を使用する。
【0045】 拡張レイヤ符号化ユニット350は、フレーム間の動きの程度によって画像を
分類して特定画像に関する圧縮量を決定する基礎として基準レイヤ動きパラメー
タを使用することができる。迅速に動く画像における食い違いは人間の目には見
えないので、精細スケーラビリティ・フレーム符号化器356は、画像を表すビ
ット数を減少させることによって迅速に動く画像を表すデータの圧縮を増加させ
ることが可能である。反対に、精細スケーラビリティ・フレーム符号化器356
は、低速またはほとんど動かない領域に対して一層多くのビットを割り当てるこ
とによって、そのような画像の視覚を改良することができる。
【0046】 高BLレート符号化器1−Nから受け取られる基準レイヤ・ビットレート・パ
ラメータは、基準レイヤ符号装置310から受け取られた内部基準レイヤ・ビッ
トレート・パラメータによって提供される拡張能力を一層拡大する。基準レイヤ
・パラメータ監視器300は、高BLレート符号化器1−Nの基準レイヤ・ビッ
トレート・パラメータを監視して、その監視した情報を使用して、画像の品質と
レートとの間の最良のトレードオフを表す出力を提供する。拡張レート割り当て
器358は、基準レイヤ・パラメータ監視器300の出力を使用して、精細スケ
ーラビリティ・フレーム符号化器356によって受け取られる変換データを調整
する。
【0047】 ビットレートを増分させながら付加的単一レイヤ符号化セッションを実行及び
記録し、次に拡張レイヤにおけるレート割り当てのためのガイドラインとして再
構築された信号を再利用する1つの特定の実施形態を実現することができる。先
ず、ビデオは目標基準レイヤ・ビットレートで符号化される。次に、付加的符号
化セッションがビットレートを増分させながら実行され、すべての増分符号化セ
ッションに関して再構築された信号が記録される。この実施形態において、余分
な単一レイヤ符号化セッションの数は、視覚品質及び整合性の向上と複雑性との
間の良好なトレードオフが得られるように、選択されなければならない。しかし
ながら、符号化がオフラインで実行され、符号化器の複雑さが全般的システム設
計における主要な制約でないようなケースでは、多数の冗長単一レイヤ符号化サ
イクルは看過されることができるであろう。
【0048】 本発明の改良における重要な要素は、符号化器/復号器同期化によって形成さ
れている。符号化の時に行われた選択は、適切な再生のため復号器において再現
することが可能でなければならない。例えば、もしもピクチャの一定領域だけが
その他の部分と別に(例えば一層高い優先度で)符号化されているとすれば、当該
特定領域の形式及び位置は側面情報として復号器に送信されなければならない。
しかしながら、この側面情報(すなわち符号化器選択情報)の伝送は付加的符号化
オーバーヘッドを生む。従って、代替策として、拡張符号化器によって行われる
選択が付加的側面(同期化)情報の伝送を必要とすることなく拡張復号器によって
同じように再現されるように、例えば、基準レイヤ情報に基づいて、符号化器と
復号器との間で相互の合意が定義される。例えば、基準レイヤ再構築(前記参照)
のためすでに伝送されている動きベクトルに基づくか、あるいは、基準レイヤ・
ピクチャの復号されたバージョンに関して実行されることができる特定のオブジ
ェクト・セグメンテーション(これは符号化器及び復号器両方が使用可能)に基い
て、側面情報の伝送を必要としない符号化器と復号器との間の同期をとることが
できる。
【0049】 図4は、本発明の1つの実施形態に従った典型的なビデオ符号化器114の動
作を示す流れ図400である。基準レイヤ・パラメータ監視器300は、基準レ
イヤ符号化ユニット310または高BLレート符号化器1−Nから1つまたは複
数の基準レイヤ・パラメータを受け取る(ステップ405)。基準レイヤ・パラメ
ータは、1つまたは複数の基準レイヤ・ビットレート・パラメータ、基準レイヤ
量子化誤差パラメータ、基準レイヤ動きパラメータまたはその他の可能な記述的
パラメータを含む。
【0050】 基準レイヤ・パラメータ監視器300は、基準レイヤ・パラメータを使用して
、視覚マスキング因子を含め、1つまたは複数のエラーまたは貧弱な画像品質を
示す基準レイヤ部分を識別(または分類)する(ステップ410)。基準レイヤ・パ
ラメータ監視器300は、また、基準レイヤ・フレームの範囲内の基準レイヤ・
フレーム及びブロックに関して拡張レイヤ・データの現在時割り当てを決定する
(ステップ415)。最後に、基準レイヤ・パラメータ監視器300は、基準レイ
ヤ・データのピクセル・ブロック及びフレームの間の拡張レイヤ・データの割り
当てを修正するように、拡張レート割り当て器358を制御する。その結果、識
別されたエラーや貧弱な画質部分が減少または削除される(ステップ420)。か
くして、精細スケーラビリティ・フレーム符号化器356の出力は、基準レイヤ
・パラメータに基づく識別手法の使用を通して良好に改良された拡張レイヤ・ビ
ットストリームを提供する。
【0051】 以上、本発明を詳細に記述したが、その最も広い形態で本発明の理念及び範囲
を逸脱することなく種々の変更、置換及び修正を行うことが可能である点は当業
者に理解されるべきことであろう。
【図面の簡単な説明】
【図1】本発明の1つの実施形態に従ったストリーミング・ビデオ送信側か
らストリーミング・ビデオ受信側へのデータ・ネットワーク経由の送受信者間ス
トリーミング・ビデオ伝送を示すブロック図である。
【図2】従来技術の実施形態に従ったビデオ符号化器のブロック図である。
【図3】本発明の実施形態に従った典型的ビデオ符号化器のブロック図であ
る。
【図4】本発明の実施形態に従った典型的ビデオ符号化器の動作を示す流れ
図である。
【符号の説明】
114 ビデオ符号化器 300 基準レイヤ・パラメータ監視器 310 基準レイヤ符号化ユニット 312 動き推定器 314 変換回路 316 量子化回路 318 エントロピ符号化器 320 バッファ 322 基準レイヤ・レート割り当て器 324 逆量子化回路 326 逆変換回路 328 フレーム記憶回路 350 拡張レイヤ符号化ユニット 352 残差計算回路 354 変換回路 356 精細スケーラビリティ符号化器 358 拡張レート割り当て器
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,MZ,SD,SL,SZ,TZ,UG ,ZW),EA(AM,AZ,BY,KG,KZ,MD, RU,TJ,TM),AE,AG,AL,AM,AT, AU,AZ,BA,BB,BG,BR,BY,CA,C H,CN,CR,CU,CZ,DE,DK,DM,DZ ,EE,ES,FI,GB,GD,GE,GH,GM, HR,HU,ID,IL,IN,IS,JP,KE,K G,KP,KR,KZ,LC,LK,LR,LS,LT ,LU,LV,MA,MD,MG,MK,MN,MW, MX,NO,NZ,PL,PT,RO,RU,SD,S E,SG,SI,SK,SL,TJ,TM,TR,TT ,TZ,UA,UG,UZ,VN,YU,ZA,ZW (72)発明者 チェン イングウェイ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン 6 (72)発明者 ラダ ハイダー オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン 6 Fターム(参考) 5C059 KK01 MA00 MA23 MC11 MC38 ME01 NN01 PP04 SS07 SS08 SS09 TA39 TA71 TB17 TC12 UA02 UA05 UA32 UA33

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】ビデオ・フレームの入力ストリームを受け取り、基準レイヤ・
    ビットレートでのストリーミング・ビデオ受信機への伝送に適した圧縮基準レイ
    ヤ・ビデオ・フレームを前記受け取ったストリームから生成する能力を有する基
    準レイヤ回路と、ビデオ・フレームの前記入力ストリーム及び前記圧縮基準レイ
    ヤ・ビデオ・フレームの復号されたバージョンを受け取り、前記圧縮基準レイヤ
    ・ビデオ・フレームのうちの対応するフレームに関連し割り当てられ、修正可能
    な拡張レイヤ・ビットレートでの前記ストリーミング・ビデオ受信機への伝送に
    適した拡張レイヤ・ビデオ・データをそこから生成する能力を有する拡張レイヤ
    回路とを備えたビデオ符号化器において使用される拡張レイヤ・ビデオ・データ
    伝送制御装置であって、 少なくとも1つの基準レイヤ・パラメータを受け取り、その受け取りに応答し
    て、前記圧縮基準レイヤ・ビデオ・フレームのうちの前記対応するフレームの間
    の前記拡張レイヤ・ビデオ・データの割り当てを修正する能力を有する基準レイ
    ヤ・パラメータ監視器を備えたことを特徴とする装置。
  2. 【請求項2】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリー
    ムを受け取り、それに基づいて、ビデオ・フレームの前記入力ストリームにおけ
    る少なくとも1つの選択されたフレーム・シーケンスに関連する基準レイヤ動き
    パラメータを決定する能力を有する動き推定回路を備えたことを特徴とする請求
    項1に記載の装置。
  3. 【請求項3】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ動きパ
    ラメータを受け取り、その受け取りに応答して、前記基準レイヤ動きパラメータ
    によって示される前記少なくとも1つの選択されたフレーム・シーケンスにおけ
    る動きのレベルに従って前記拡張レイヤ・ビデオ・データの前記割り当てを修正
    することを特徴とする請求項2に記載の装置。
  4. 【請求項4】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリー
    ムに関連する変換データを受け取り、受け取った該変換データを量子化すること
    により該変換データのサイズを減少させる能力を有し、更に、前記量子化された
    変換データに関連する基準レイヤ量子化誤差パラメータを決定する能力を有する
    量子化回路を備えたことを特徴とする請求項1に記載の装置。
  5. 【請求項5】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ量子化
    誤差パラメータを受け取り、それに応答して、前記基準レイヤ量子化誤差パラメ
    ータによって示される量子化誤差に従って前記拡張レイヤ・ビデオ・データの前
    記割り当てを修正することを特徴とする請求項4に記載の装置。
  6. 【請求項6】前記ビデオ符号化器が、前記基準レイヤ・ビットレートを決定
    し、該基準レイヤ・ビットレートから該基準レイヤ・ビットレートに関連する基
    準レイヤ・ビットレート・パラメータを生成する能力を有する基準レイヤ・レー
    ト割り当て回路を備え、前記圧縮基準レイヤ・ビデオ・フレームが前記ストリー
    ミング・ビデオ受信機に伝送される場合のあらかじめ定められた最小レートに前
    記基準レイヤ・ビットレートが設定されることを特徴とする請求項1に記載の装
    置。
  7. 【請求項7】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ・ビッ
    トレート・パラメータを受け取り、それに応答して、前記圧縮基準レイヤ・ビデ
    オ・フレームと前記あらかじめ定められた最小レートより大きい第2の基準レイ
    ヤ・ビットレートに関連する推定圧縮基準レイヤ・ビデオ・フレームとの間の推
    定差分に従って前記拡張レイヤ・ビデオ・データの前記割り当てを修正すること
    を特徴とする請求項6に記載の装置。
  8. 【請求項8】ストリーミング・ビデオ・データを受け取る能力を有する複数
    のノードを含むデータ・ネットワークにおいて使用され、該ストリーミング・ビ
    デオ・データを該ノードの1つまたは複数に伝送する能力を有するストリーミン
    グ・ビデオ伝送装置であって、該ストリーミング・ビデオ伝送装置が、ビデオ・
    フレームのオリジナル・ストリームを生成する能力を有するビデオ・フレーム・
    ソース手段とビデオ符号化器とを備え、 該ビデオ符号化器が、 ビデオ・フレームの前記オリジナル・ストリームを受け取り、受け取った該オ
    リジナル・ストリームに基いて、基準レイヤ・ビットレートでの前記ノードの前
    記1つまたは複数への伝送に適した圧縮基準レイヤ・ビデオ・フレームを生成す
    る能力を有する基準レイヤ回路と、 ビデオ・フレームの前記オリジナル・ストリーム及び前記圧縮基準レイヤ・ビ
    デオ・フレームの復号されたバージョンを受け取り、前記圧縮基準レイヤ・ビデ
    オ・フレームのうちの対応するフレームに関連し割り当てられ、修正可能な拡張
    レイヤ・ビットレートでの前記ノードの前記1つまたは複数への伝送に適した拡
    張レイヤ・ビデオ・データをそこから生成する能力を有する拡張レイヤ回路と、 少なくとも1つの基準レイヤ・パラメータを受け取り、その受け取りに応答し
    て、前記圧縮基準レイヤ・ビデオ・フレームのうちの前記対応するフレームの間
    の前記拡張レイヤ・ビデオ・データの割り当てを修正する能力を有する基準レイ
    ヤ・パラメータ監視器を有する拡張レイヤ・ビデオ・データ伝送制御装置と、 を備えたことを特徴とするストリーミング・ビデオ伝送装置。
  9. 【請求項9】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリー
    ムを受け取り、それに基づいて、ビデオ・フレームの前記入力ストリームにおけ
    る少なくとも1つの選択されたフレーム・シーケンスに関連する基準レイヤ動き
    パラメータを決定する能力を有する動き推定回路を備えたことを特徴とする請求
    項8に記載のストリーミング・ビデオ伝送装置。
  10. 【請求項10】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ動き
    パラメータを受け取り、その受け取りに応答して、前記基準レイヤ動きパラメー
    タによって示される前記少なくとも1つの選択されたフレーム・シーケンスにお
    ける動きのレベルに従って前記拡張レイヤ・ビデオ・データの前記割り当てを修
    正することを特徴とする請求項9に記載のストリーミング・ビデオ伝送装置。
  11. 【請求項11】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリ
    ームに関連する変換データを受け取り、受け取った該変換データを量子化するこ
    とにより該変換データのサイズを減少させる能力を有し、更に、前記量子化され
    た変換データに関連する基準レイヤ量子化誤差パラメータを決定する能力を有す
    る量子化回路を備えたことを特徴とする請求項8に記載のストリーミング・ビデ
    オ伝送装置。
  12. 【請求項12】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ量子
    化誤差パラメータを受け取り、それに応答して、前記基準レイヤ量子化誤差パラ
    メータによって示される量子化誤差に従って前記拡張レイヤ・ビデオ・データの
    前記割り当てを修正することを特徴とする請求項11に記載のストリーミング・
    ビデオ伝送装置。
  13. 【請求項13】前記ビデオ符号化器が、前記基準レイヤ・ビットレートを決
    定し、該基準レイヤ・ビットレートから該基準レイヤ・ビットレートに関連する
    基準レイヤ・ビットレート・パラメータを生成する能力を有する基準レイヤ・レ
    ート割り当て回路を備え、前記圧縮基準レイヤ・ビデオ・フレームが前記ストリ
    ーミング・ビデオ受信機に伝送される場合のあらかじめ定められた最小レートに
    前記基準レイヤ・ビットレートが設定されることを特徴とする請求項8に記載の
    装置。
  14. 【請求項14】前記基準レイヤ・パラメータ監視器が、前記基準レイヤ・ビ
    ットレート・パラメータを受け取り、それに応答して、前記圧縮基準レイヤ・ビ
    デオ・フレームと前記あらかじめ定められた最小レートより大きい第2の基準レ
    イヤ・ビットレートに関連する推定圧縮基準レイヤ・ビデオ・フレームとの間の
    推定差分に従って前記拡張レイヤ・ビデオ・データの前記割り当てを修正するこ
    とを特徴とする請求項13に記載のストリーミング・ビデオ伝送装置。
  15. 【請求項15】ビデオ・フレームの入力ストリームを受け取り、基準レイヤ
    ・ビットレートでのストリーミング・ビデオ受信機への伝送に適した圧縮基準レ
    イヤ・ビデオ・フレームを前記受け取ったストリームから生成する能力を有する
    基準レイヤ回路と、ビデオ・フレームの前記入力ストリーム及び前記圧縮基準レ
    イヤ・ビデオ・フレームの復号されたバージョンを受け取り、前記圧縮基準レイ
    ヤ・ビデオ・フレームのうちの対応するフレームに関連し割り当てられ、修正可
    能な拡張レイヤ・ビットレートでの前記ストリーミング・ビデオ受信機への伝送
    に適した拡張レイヤ・ビデオ・データをそこから生成する能力を有する拡張レイ
    ヤ回路とを備えたビデオ符号化器において使用される拡張レイヤ・ビデオ・デー
    タ伝送制御方法であって、 少なくとも1つの基準レイヤ・パラメータを監視するステップと、 前記監視した少なくとも1つの基準レイヤ・パラメータの値に応答して、前記
    圧縮基準レイヤ・ビデオ・フレームのうちの対応するフレームの間の前記拡張レ
    イヤ・ビデオ・データの割り当てを修正するステップと、 を含む方法。
  16. 【請求項16】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリ
    ームを受け取り、それに基づいて、ビデオ・フレームの前記入力ストリームにお
    ける少なくとも1つの選択されたフレーム・シーケンスに関連する基準レイヤ動
    きパラメータを決定する能力を有する動き推定回路を備えたことを特徴とする請
    求項15に記載の方法。
  17. 【請求項17】前記基準レイヤ動きパラメータを監視するステップと、その
    監視したパラメータに応答して、前記基準レイヤ動きパラメータによって示され
    る前記少なくとも1つの選択されたフレーム・シーケンスにおける動きのレベル
    に従って前記拡張レイヤ・ビデオ・データの前記割り当てを修正するステップと
    を更に含む請求項16に記載の方法。
  18. 【請求項18】前記ビデオ符号化器が、ビデオ・フレームの前記入力ストリ
    ームに関連する変換データを受け取り、受け取った該変換データを量子化するこ
    とにより該変換データのサイズを減少させる能力を有し、更に、前記量子化され
    た変換データに関連する基準レイヤ量子化誤差パラメータを決定する能力を有す
    る量子化回路を備えたことを特徴とする請求項15に記載の方法。
  19. 【請求項19】前記基準レイヤ量子化誤差パラメータを監視するステップと
    、監視した基準レイヤ量子化誤差パラメータに応答して、前記基準レイヤ量子化
    誤差パラメータによって示される量子化誤差に従って前記拡張レイヤ・ビデオ・
    データの前記割り当てを修正するステップとを更に含む請求項18に記載の方法
  20. 【請求項20】前記ビデオ符号化器が、前記基準レイヤ・ビットレートを決
    定し、該ビットレートから該ビットレートに関連する基準レイヤ・ビットレート
    ・パラメータを生成する能力を有する基準レイヤ・レート割り当て回路を備え、
    前記圧縮基準レイヤ・ビデオ・フレームが前記ストリーミング・ビデオ受信機に
    伝送される場合のあらかじめ定められた最小レートに前記基準レイヤ・ビットレ
    ートが設定されることを特徴とする請求項15に記載の方法。
  21. 【請求項21】前記基準レイヤ・ビットレート・パラメータを監視するステ
    ップと、監視した前記基準レイヤ・ビットレート・パラメータに応答して、前記
    圧縮基準レイヤ・ビデオ・フレームと前記あらかじめ定められた最小レートより
    大きい第2の基準レイヤ・ビットレートに関連する推定圧縮基準レイヤ・ビデオ
    ・フレームとの間の推定差分に従って前記拡張レイヤ・ビデオ・データの前記割
    り当てを修正するステップとを更に含む請求項20に記載の方法。
JP2001508171A 1999-07-06 2000-07-03 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法 Pending JP2003533067A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/347,881 1999-07-06
US09/347,881 US6501797B1 (en) 1999-07-06 1999-07-06 System and method for improved fine granular scalable video using base layer coding information
PCT/EP2000/006243 WO2001003441A1 (en) 1999-07-06 2000-07-03 System and method for improved fine granular scalable video using base layer coding information

Publications (2)

Publication Number Publication Date
JP2003533067A true JP2003533067A (ja) 2003-11-05
JP2003533067A5 JP2003533067A5 (ja) 2007-08-16

Family

ID=23365685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001508171A Pending JP2003533067A (ja) 1999-07-06 2000-07-03 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法

Country Status (7)

Country Link
US (1) US6501797B1 (ja)
EP (1) EP1110405A1 (ja)
JP (1) JP2003533067A (ja)
KR (1) KR20010086365A (ja)
CN (1) CN1192629C (ja)
AU (1) AU6560900A (ja)
WO (1) WO2001003441A1 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3601816B2 (ja) 1999-05-31 2004-12-15 韓國電子通信研究院 移動通信システムにおける変調装置、端末器および変調方法
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7269785B1 (en) * 1999-12-30 2007-09-11 Genesis Microchip Inc. Digital manipulation of video in digital video player
US6798838B1 (en) * 2000-03-02 2004-09-28 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network
US20020080878A1 (en) * 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US6961383B1 (en) 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
US7974200B2 (en) 2000-11-29 2011-07-05 British Telecommunications Public Limited Company Transmitting and receiving real-time data
US20020126759A1 (en) 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US20020118743A1 (en) * 2001-02-28 2002-08-29 Hong Jiang Method, apparatus and system for multiple-layer scalable video coding
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US6785334B2 (en) * 2001-08-15 2004-08-31 Koninklijke Philips Electronics N.V. Method for transmission control in hybrid temporal-SNR fine granular video coding
EP1472847A1 (en) * 2002-01-30 2004-11-03 Koninklijke Philips Electronics N.V. Streaming multimedia data over a network having a variable bandwidth
US20040071083A1 (en) * 2002-02-22 2004-04-15 Koninklijke Philips Electronics N.V. Method for streaming fine granular scalability coded video over an IP network
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
CA2476843C (en) * 2002-03-27 2012-11-20 British Telecommunications Public Limited Company Video coding
US7720999B2 (en) * 2002-11-26 2010-05-18 Qualcomm Incorporated System and method for optimizing multimedia compression using plural encoders
KR100994947B1 (ko) * 2003-01-30 2010-11-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
US9171577B1 (en) 2003-04-25 2015-10-27 Gopro, Inc. Encoding and decoding selectively retrievable representations of video content
FR2858741A1 (fr) * 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
EP1555821A1 (en) * 2004-01-13 2005-07-20 Sony International (Europe) GmbH Method for pre-processing digital data, digital to analog and analog to digital conversion system
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
FR2866183B1 (fr) * 2004-02-09 2006-08-04 Canon Kk Procedes d'emission et de reception d'une animation, et dispositifs associes
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
WO2006006793A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
KR100718133B1 (ko) * 2004-07-15 2007-05-15 삼성전자주식회사 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법
CA2591273C (en) 2004-12-23 2012-05-08 Hee-Jung Yu Apparatus for transmitting and receiving data to provide high-speed data communication and method thereof
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 bl 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
AU2006233279C1 (en) 2005-04-13 2011-01-27 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
WO2007011160A1 (en) * 2005-07-19 2007-01-25 Electronics And Telecommunications Research Institute Apparatus and method of embedded quantizaton for the improved snr scalbilty
KR100785855B1 (ko) * 2005-07-19 2007-12-14 한국전자통신연구원 향상된 snr 스케일러빌리티 제공을 위한 양자화 장치 및방법
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
US9679602B2 (en) 2006-06-14 2017-06-13 Seagate Technology Llc Disc drive circuitry swap
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
PL2528341T3 (pl) * 2007-04-18 2017-10-31 Dolby Int Ab System kodowania, stosujący uzupełniający zestaw parametrów sekwencyjnych do skalowalnego kodowania wideo lub kodowania wielowidokowego
US20140072058A1 (en) 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US9305590B2 (en) 2007-10-16 2016-04-05 Seagate Technology Llc Prevent data storage device circuitry swap
US8594191B2 (en) * 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
US8325800B2 (en) * 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7949775B2 (en) 2008-05-30 2011-05-24 Microsoft Corporation Stream selection for enhanced media streaming
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8380790B2 (en) * 2008-12-15 2013-02-19 Microsoft Corporation Video conference rate matching
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
US8576271B2 (en) * 2010-06-25 2013-11-05 Microsoft Corporation Combining direct and routed communication in a video conference
US9807395B2 (en) 2011-01-18 2017-10-31 Dolby International Ab Video decoder with reduced dynamic range transform with inverse transform shifting memory
US20120183045A1 (en) * 2011-01-18 2012-07-19 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform including clipping
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US20130195198A1 (en) * 2012-01-23 2013-08-01 Splashtop Inc. Remote protocol
US10958915B2 (en) * 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
US9386267B1 (en) * 2012-02-14 2016-07-05 Arris Enterprises, Inc. Cooperative transcoding to multiple streams
CN104185993B (zh) * 2012-03-30 2019-02-12 索尼公司 图像处理设备和方法以及记录介质
WO2014168890A1 (en) * 2013-04-08 2014-10-16 General Instrument Corporation Individual buffer management in video coding
US20150103878A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
KR101797505B1 (ko) * 2013-11-13 2017-12-12 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
WO2017164595A1 (ko) * 2016-03-21 2017-09-28 엘지전자(주) 방송 신호 송수신 장치 및 방법
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
KR102525584B1 (ko) * 2018-07-26 2023-04-24 구글 엘엘씨 공간 계층 레이트 할당
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质
WO2024000959A1 (zh) * 2022-06-29 2024-01-04 华为技术有限公司 一种数据传输方法、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
KR100355375B1 (ko) 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
DE19737835C2 (de) 1997-08-29 1999-07-15 Siemens Ag Verfahren zum Komprimieren von Bildinformationen
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNG200000007005, 富永英義, "「マルチメディアとB−ISDNの将来ビジョンとその研究課題」", 情報処理学会研究報告, 19930917, 第93巻、第82号(93−AVM−2), 第33〜40頁, JP, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
AU6560900A (en) 2001-01-22
EP1110405A1 (en) 2001-06-27
CN1321399A (zh) 2001-11-07
KR20010086365A (ko) 2001-09-10
CN1192629C (zh) 2005-03-09
US6501797B1 (en) 2002-12-31
WO2001003441A1 (en) 2001-01-11

Similar Documents

Publication Publication Date Title
JP2003533067A (ja) 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法
KR100681168B1 (ko) 미세 입상 스케일 가능한 비디오를 위한 잔류 신호의인코딩 및 디코딩 시스템 및 그 방법
US6788740B1 (en) System and method for encoding and decoding enhancement layer data using base layer quantization data
JP5619688B2 (ja) 二層符号化及び単層復号化による階層的ビデオ符号化
KR100746007B1 (ko) 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び/又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
JP2003503975A (ja) スケーラブルビデオコーディングのシステム及び方法
JP2008533850A5 (ja)
JP2005519542A (ja) より高品質な基準フレームを利用したfgst符号化方法
KR100952185B1 (ko) 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−snrスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
EP1417841B1 (en) Method for transmission control in hybrid temporal-snr fine granular video coding
EP1512293A1 (en) Fgst coding method employing higher quality reference frames
EP1813114A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070702

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100914

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100922

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101015

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101022

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110125