JP2005020732A - ビデオデータの堅牢な配布 - Google Patents

ビデオデータの堅牢な配布 Download PDF

Info

Publication number
JP2005020732A
JP2005020732A JP2004176215A JP2004176215A JP2005020732A JP 2005020732 A JP2005020732 A JP 2005020732A JP 2004176215 A JP2004176215 A JP 2004176215A JP 2004176215 A JP2004176215 A JP 2004176215A JP 2005020732 A JP2005020732 A JP 2005020732A
Authority
JP
Japan
Prior art keywords
processor
data
buffer
descriptor
executable instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004176215A
Other languages
English (en)
Other versions
JP2005020732A5 (ja
JP4592338B2 (ja
Inventor
Regis J Crinon
ジェイ.クリノン レジス
Edwin Arturo Heredia
アートゥロ エレディア エドウィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005020732A publication Critical patent/JP2005020732A/ja
Publication of JP2005020732A5 publication Critical patent/JP2005020732A5/ja
Application granted granted Critical
Publication of JP4592338B2 publication Critical patent/JP4592338B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Television Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 データの堅牢な配布に関するシステムおよび方法を提供すること。
【解決手段】 送信器(たとえば、サーバまたはRFブロードキャスタ)によって、受信器および/またはクライアントにパラメータが渡されて、エレメンタリストリームの正しい復号を調整する受信器内の一般化されたバッファモデルの動作が可能にされる。例示的な送信器システムは、バッファ制御パラメータを指定し、これをMPEG−2トランスポートストリーム内で受信器に送信する方法を実行するように構成される。受信器は、ストリームで受信したパラメータに従って、一般化されたバッファモデルを実施するように構成される。
【選択図】 図2

Description

本明細書に記載のシステムおよび方法は、送信器(たとえば、放送会社のヘッドエンド設備またはサーバ)から受信器またはクライアントへのバッファ動作を左右するパラメータの通過、およびビデオエレメンタルストリーム(elementary stream)からデータを復号する過程での受信器内のバッファの動作を含む、データの堅牢(robust)な配布に関する。
マルチメディアストリーミングに対する従来の手法では、一定ビットレートまたは可変ビットレートで符号化され、有限の固定された容量を有する送信チャネルを介してサーバから1つまたは複数のクライアントへ送信されるコンテンツが供給される。たとえば、標準的な電話品質オーディオコンテンツは、しばしば、64Kビット毎秒(b/s)で符号化される。したがって、電話送信チャネルは、オーディオコンテンツを正しくストリーミングするために、少なくとも64Kb/sのスループットを有していなければならない。
より新しい開発では、ビデオコンテンツまたは他のコンテンツ(たとえば、オーディオ、データなど)を、調整可能な送信ビットレートを使用して通信チャネルを介して配布することができ、調整可能な送信ビットレートと堅牢さのバランスをとることができる。堅牢さに関する関心の1つの理由は、エアウェーブ(airwave)上RF放送を介するものなどのデータ送信のいくつかの形が、ある程度まで現在の気象条件、および/または信号が放送され受信される地域の地理的トポロジの関数である送信エラーに対する、あるレベルのデータ保護を必要とする場合があるからである。たとえば、雷を伴う暴風によって、高いレベルの干渉が引き起こされる可能性がある。したがって、サーバまたは送信器は、適当な度合のデータ保護を選択して、送信でのより高い度合の堅牢さを提供することができる。高い度合のデータ保護は、通常は、チャネルコーディング技法の力を高めることによって達成され(そのような技法によってデータの冗長性のレベルが高められる)、これは、情報(ビデオ、オーディオ、またはデータ)の送信のビットレートの低下につながる。
したがって、エアウェーブ上RF送信器は、サービスプロバイダまたは送信者によって計画される総合的なサービス品質を脅かす状況の下で、データ送信のより堅牢なモードを選択することができる。たとえば、悪天候によって、有効情報データ送信レートが下がる場合に、冗長性をもたらすためにより多くの使用可能帯域幅を使用する必要が生じる場合がある。そのような冗長性には、送信での、巡回冗長検査コード(CRC)または畳み込みブロックコードの使用を含めることができる。したがって、コンテンツ送信用の残りの帯域幅が減る可能性があり、おそらくは、ビデオコンテンツ表示解像度がより低くなる。
残念ながら、使用可能情報帯域幅が変化し、送信器が、冗長性に振り向ける帯域幅の量を変更する場合に、既知の受信器は、効率的な形で着信データをバッファし、処理することができない場合がある。
本明細書に記載のシステムおよび方法は、データの堅牢な配布に関する。送信器(たとえば、放送会社のヘッドエンド設備および/またはサーバ)は、受信器内の一般化されたバッファモデルの動作を可能にするパラメータを、受信器および/またはクライアントに渡す。一般化されたバッファモデルは、堅牢な配布システムによって許容される調整可能な送信レートに従って設計される。例示的な送信器は、バッファ制御パラメータの生成および指定と、MPEG−2トランスポートストリーム(Transport Stream)内のパラメータの受信器への送信に関して設計される。受信器は、ストリーム内で受信されるパラメータに従って、一般化されたバッファモデルを実施するように構成される。
類似の特徴および構成要素を参照するために、図面全体を通じて、同一の符号が使用される。
本明細書に記載のシステムおよび方法は、送信器(たとえば放送会社のヘッドエンド設備および/またはサーバ)から受信器またはクライアントへのデータの堅牢な配布に関する。データには、普通のまたは高品位(HDTV)デジタルテレビジョン表現に含まれるものなどの、混合されたオーディオデータおよびビデオデータを含めることができる。その配布が明確に定義された基準バッファモデル(reference buffer model)の動作によって左右されるデータは、受信器に送信されるデータストリームに含まれる。たとえば、送信器は、バッファ制御パラメータを指定するように構成することができ、これによって、受信器による使用のための、データ送信レート、バッファサイズ、およびデータ除去の前の初期バッファ満杯度値(initial buffer fullness value)が示される。パラメータは、頻繁な間隔で送信されるデータ構造(たとえばテーブル)の一部として、MPEG−2トランスポートストリームに含めることができる。受信器は、トランスポートストリームからパラメータを入手し、前述のパラメータによって指定される基準バッファモデルに従って獲得動作を構成するように構成することができる。
図1は、サーバおよび/または送信器102がネットワークおよび/または放送エアウェーブ106を介してクライアントおよび/または受信器104にデータを送信できる例示的環境100のブロック図である。送信器102は、RF信号を使用して、エアウェーブ106を介して受信器104に送信することができる。たとえば、デジタルテレビジョン局は、おそらくはデジタル信号を復号するセットトップボックスを有するテレビジョン受信器に送信することができる。デジタルTV局は、標準解像度または高品位のテレビジョン信号を放送することができる。その代わりに、サーバ102が、インターネットなどのネットワーク106を介してクライアント104にストリーミングデータを送信することができる。
図2は、例示的なサーバまたは送信器102(図1)の一部200を示すブロック図である。信号202によって、データを送信する際の堅牢さのレベルの送信器による選択が示される。図4から6に関してさらに説明するように、所望の堅牢さおよび情報送信の関連するレートを、送信の無線放送される(無線周波数)手段が使用される環境要因または地理的要因に関連させることができる。したがって、送信器は、条件(たとえば、気候、太陽黒点、丘、谷、サービスタイプなど)を評価し、ターゲットの品質レベルのサービスを配布するために、データ送信をどれほど堅牢にしなければならないかを判断する。送信電力およびアンテナの特性などの他の要因も、送信器の選択に影響する可能性がある。この情報は、信号202によって堅牢送信モード選択デバイスまたは堅牢送信モード選択プロシージャ204に送られ、堅牢送信モード選択デバイスまたはプロシージャ204は、ハードウェア、ファームウェア、またはソフトウェアによって実施することができる。堅牢送信モード選択デバイスまたはプロシージャ204で、所望の堅牢さの度合に対応するデータ送信のレートに関する情報206が、ビデオエンコーダ208への送信のために選択される。ビデオエンコーダ208およびオーディオエンコーダ210を、Windows(登録商標) Media VideoエンコーダあるいはMPEG−2、MPEG−4、H.264エンコーダまたは所望の技術を含む他のビデオエンコーダを使用する動作のために構成することができる。ビデオエンコーダ208によって、プロファイルおよびレベルデータ212、ならびに一般化された基準バッファパラメータデータ214が、MPEG記述子ジェネレータ216に供給される。ビデオエンコーダ208によって、ビデオまたはオーディオのエレメンタリストリームが公称データレート(通常は、206で供給されるレートの1つ)で圧縮され、圧縮されたデータがプログラムマルチプレクサ218に送られる。
記述子ジェネレータ216は、下の表1のプロファイルおよびレベルサブ記述子構文などの構文規約に従って記述子を生成するように構成される。例示的な記述子ジェネレータ216は、MPEG互換性について構成することができるが、記述子ジェネレータ216は、代替送信プロトコルと互換性を有するようにするか、ビットストリーム内の異なる位置に置くことができる。下の例示的な記述子にもかかわらず、記述子に含まれるフォーマットおよび情報ならびに送信されるビットストリームでのこの情報の位置は、特定のアプリケーションの要件に従って変更することができる。記述子ジェネレータ216によって作られる記述子の形成に使用される例示的構文を、下の表1に示す。
Figure 2005020732
表1のデータ構造は、例示的であり、代替の用語法、変数名、ビット長、およびフォーマットを使用して、類似する機能性をもたらすことができる。表1のprofile_levelフィールドの例示的実施形態を、下の図2によってさらに説明することができる。
Figure 2005020732
記述子ジェネレータ216によって、表1および2によって記述されるものに類似するデータ構造が、システム情報インサータ(inserter)220に配布され、システム情報インサータ220は、MPEG−2技術に基づくものとすることができる。記述子は、複数の組の(R、B、F)(レート、バッファサイズ、満杯度(fullness)タプルを伝えるように設計することができる(複数の組の(R、B、F)タプルの例を、図6に示し、下記で説明する)。例示的なシステム情報インサータ220は、記述子ジェネレータ216によって生成された記述子情報を、たとえば0.4秒ごとなどの規則的な間隔でマルチプレクサ222に供給することができる。
さらに、オーディオエンコーダ210およびビデオエンコーダ208の出力は、プログラムマルチプレクサ218によって多重化され、マルチプレクサ222に送られて、システム情報インサータ220からの記述子情報と多重化される。マルチプレクサ222の出力は、オーディオおよびビデオのエレメンタリストリームのパケットならびに表1で定義される記述子などの情報を含むパケットを含むMPEG−2トランスポートストリームとすることができる。結果のMPEG−2トランスポートストリーム(または代替のリンクレイヤプロトコル)を、符号化し、アナログ信号に変換し、変調し、最終的に、RF送信などの普通の形でアンテナを介して受信器に送信することができる。
図からわかるように、図2は、大都市圏をサービスするRF(ラジオ周波数放送)ツールまたはインターネットを使用してグローバルサービスを提供するものとして送信器を特徴付ける形で解釈することができる。しかし、送信器は、ホームネットワークなどのはるかに小さいスケールで構成することもできる。この構成では、送信器が、ホームワイヤレスネットワークのアクセスポイントである。送信器のヘッドエンドは、ホームPCを使用して構成することができ、受信器(図1の104に図示)に、TV受信器および他のポータブルまたは固定式のデバイスを含めることができる。したがって、送信器、クライアント、およびネットワークのスケールを、特定の設計要件の必要に従って再定義することができる。
図3は、例示的なクライアントまたは受信器104(図1)の一部300を示すブロック図である。クライアント104は、サーバ/送信器102からデータを受信し、送信されたデータ内の記述子を検出するように構成される。クライアントは、受信特性および統計を監視することによって、オーディオ、ビデオ、およびデータのエレメンタリストリームを信頼性のある形で受信するのに、送信されたデータ内の普通のチャネルおよび堅牢なチャネル(図5、6および関連する説明を参照されたい)のどれが選択されるかを判断するように構成される。クライアントは、さらに、データ送信レートを判定し、記述子からバッファパラメータの対応する組を識別するように構成される。選択された送信チャネルを使用して、受信器によって、メモリリソースおよびフロー制御ロジックが構成されて、選択された送信チャネルに関連するバッファパラメータによって実施されるガイドラインに従って、エレメンタリストリーム獲得が提供される。着信データによってバッファが満たされる時に、指定された初期バッファ満杯度値以上の量のデータがバッファに含まれる時に、データが復号される。
図3の参照を続けると、着信ビデオエレメンタリストリーム302は、ビデオエレメンタリバッファ304によって受信される。ビデオエレメンタリバッファ304は、通常、記述子ジェネレータ216(図2)によって生成される記述子の受信時に、ハードウェアによって自動的に構成される。上述したように、記述子は、1秒に2回以上など、頻繁な間隔で再送信することができる。これによって、受信器が、電源投入時に、記述子データをすばやく受信し、ビデオエレメンタリバッファ304を構成できるようになる。同様に、新しいデータまたは更新されたデータを有する記述子の受信時に、受信器は、新しいデータに基づいてバッファ動作を再構成することができ、新しいデータには、データ送信レート、最小バッファサイズ、およびバッファからデータが除去される前に必要な初期バッファ満杯度を含めることができる。記述子自体またはこれによって運ばれる情報は、両方向チャネルを介する要求−応答プロトコルの一部として入手することもでき、あるいは、別々の帯域外放送チャネルから入手することができる。具体的に言うと、ビデオエレメンタリバッファ304は、記述子の情報に従って、提案される基準サイズに構成され、着信レートでデータを受信し、バッファがある満杯度に達した時にデータの除去およびエレメンタリストリーム内の最初のピクチャの復号を開始するように構成される。
ピクチャビット306などのビデオエレメンタリバッファ304から除去されるデータは、受信器104(図1)の他の部分による使用のために、ビデオデコーダ308によって復号される。
受信器104は、主チャネルのシンボルレートおよび堅牢なチャネルのシンボルレートを監視することによって、有効ビットレート(および、したがって、堅牢なチャネルで使用される堅牢さの度合)を検出することができる。シンボルレートは、受信器内の復調段およびチャネル復号段の後で推定することができる。受信器は、信号対雑音比、搬送波対雑音比、TV信号(受信器が同調される6Mhz帯)の平均エネルギーまたは平均信号強度、TV信号のピークエネルギーまたはピーク信号強度、所与の時間ウィンドウ内の壊れたMPEG−2パケット数、壊れたMPEG−2パケットのランレングス、または等化フィルタでの残留エネルギーを含む複数の量の計算を介して、送信された信号の品質を監視することもできる。そのような量は、受信器によって、これらの量の一部の値に依存してチャネルの主部分またはチャネルの堅牢部分のどちらかの瞬間的選択を行うのに使用することができる。選択は、シームレスに、または、送信チャネルのいずれかの部分の使用が公称時間ウィンドウ(nominal time window)だけ続くことを保証するために、タイミング機構の制御の下で行うことができる。受信器は、獲得条件が許容可能である時に、チャネルの主(普通の堅牢さの)部分を使用して、ビデオ、オーディオ、およびデータのエレメンタリストリームを得る。チャネルの堅牢な部分からのビデオ、オーディオ、およびデータのエレメンタリストリームの獲得への切り替えは、信号の品質を監視するために計算される量によって、条件が悪化したことが示される時に実行される。切り替えが行われる時に、受信器は、表1(または他の類似する表)の記述で送信された基準バッファパラメータを使用して、送信チャネルの新たに選択される部分で観察される情報レートに従って獲得バッファを調整する。送信チャネルの堅牢な部分の使用への切り替えによって、ビデオ、オーディオ、またはデータのサービスのより低い品質がもたらされる可能性がある。というのは、堅牢なチャネルによって、通常は、主チャネルと比較して低い帯域幅が伝えられるからである。その代わりに、チャネルの堅牢な部分への送信チャネルの主(普通の)部分からの切り替えによって、オーディオ−ビデオ情報の復号およびレンダリングに使用されるビデオ、オーディオ、およびデータデコーダの変更をトリガすることができる。たとえば、普通のMPEG−2デコーダを、チャネルの主部分に関連付けることができ、Windows(登録商標) Media 9またはH.264などのより効率的なコーディング方式のデコーダを、送信チャネルの堅牢な部分に関連付けることができる。この場合に、堅牢モードでのより効率的なコーディング方式の使用によって、送信器が、6Mhz送信チャネルの普通の部分と堅牢な部分にまたがってサービス品質(レンダリングされるビデオ、オーディオ、データでの類似する知覚される品質)を一致させることができるようになる。受信器によるバッファ動作の調整は、サブチャネル切り替え動作に続く可能性がある遅延を最適化するために望ましい。バッファパラメータの最適な選択によって、受信器が、他の目的にメモリリソースを使用できるようにもなる可能性がある。
図4は、冗長性とビットレート(帯域幅)の間の関係を示すグラフ400である。このような関係は、堅牢送信モード選択デバイスまたはプロシージャ(モジュール)204によって行われる選択から生じるものとすることができ、堅牢データ送信の複数の離散レベルの1つを、必要なデータ冗長性の知覚に従って選択することができる。情報データ送信の有効レートが、垂直軸402に示され、堅牢1/2レートチャネルコーディングモードの増加する使用を示す離散ステップが、水平軸404に示されている。総ビットレート(すなわち帯域幅)406は、堅牢さの度合の増加に伴って減少することがわかる。この図には、通信チャネルの一部(送信チャネルの部分)410だけが、増加する堅牢さのターゲットであり、同一の通信チャネルの他の部分が、堅牢さの通常のレベルの対象である場合が示されている。この状況は、Advanced Television System Committee(ATSC)が現在検討している新しい強化された8−VSB変調モードと両立し、この8−VSB変調モードを用いると、送信器が、6MHz通信チャネルの一部をささげて、データ破壊に対するより高い堅牢さを提供できるようになる。低下挙動が、普通のチャネルコーディング(堅牢さ)の対象である送信チャネルの主部分408と、より強力なチャネルコーディング(高められた堅牢さ)のために選択される送信チャネルの部分410の両方で発生することに留意されたい。
図5は、図4に似たグラフ500であるが、送信チャネルの部分510でのデータ冗長性の使用のさらなる増加に対応する帯域幅の減少がさらに強調されている。図2からわかるように、そのような増加(または減少)は、堅牢送信モード選択デバイスまたはプロシージャ204(図2)の動作から生じる可能性がある。データ送信のレートは、垂直軸502に示されており、堅牢な1/4レートチャネルコーディングモードの使用の増加を示す離散ステップが、水平軸504に示されている。総ビットレート(すなわち帯域幅)506は、堅牢なチャネル(送信チャネルの部分)510の使用の増加に伴って、図4よりも大きい度合で減少することがわかる。したがって、主チャネル508に、より堅牢でない第2チャネルが使用される場合より少ない帯域幅が含まれる。
図6は、水平軸604に沿ったデータ転送レートと、垂直軸602に沿った基準エレメンタリストリームバッファ(たとえば図3のビデオエレメンタリバッファ304)の最小サイズの間の例示的関係を示すグラフ600である。選択された値606から610が、曲線に沿ってプロットされ、この曲線で、ビデオエレメンタリバッファ304(図3)を構成することができる。例示的な点606から610のそれぞれに、3つの値(R、B、F)が含まれ、これには、データ転送のレート、バッファサイズ、およびバッファ満杯度すなわち、エレメンタリストリームの先頭のデータが引き上げられ始める前にバッファがどれほど満杯でなければならないかが含まれる。(R、B、F)値を使用して、クライアント104(図1)のビデオエレメンタリバッファ304(図3)を構成することができる。
グラフ600を点検することによって、データレートをより低くすると、より大きなバッファが必要となることがわかる。低い送信レートの極端な例では、バッファアンダーフローを避けるために、TV番組のほとんどを視聴の前にバッファしなければならない。対照的に、送信レートを高くすると、より小さいバッファが必要となる。F(データ引き上げの前に必要なバッファ満杯度)の値は、受信器がデータの除去を開始し、最初のピクチャを復号する前にバッファ内にキャッシングされるデータの最小量を示すようにセットされる。Fの値によって、バッファ内の、アンダーフロー状態(すなわち、通常の復号動作を継続するのに十分な使用可能データがバッファ内にない状態)およびオーバーフロー状態(すなわち、バッファスペースがないのでデータが失われている状態)が回避される。曲線の右上の領域に、作動可能バッファパラメータを表す位置612が含まれ、曲線の左下の領域に、作動不能バッファパラメータを表す位置が含まれることに留意されたい。
図7の流れ図に、さらなる例示的実施形態を示すが、方法700は、サーバおよび/または送信器102(図1)を動作させるのに使用される。ブロック702で、放送DTV(デジタルTV)またはHDTV(高品位TV)送信に干渉する可能性がある悪天候条件など、冗長性を必要とする条件が、識別または検出される。たとえば、条件(天候など)を、202(図2)で、堅牢送信モード選択モジュール204に挿入することができる。
ブロック704で、アルゴリズム、グラフ、またはテーブルを使用して、たとえば値(R、B、F)など、ブロック702で確立された可能な条件に対応する、データ転送レート、最小限必要なバッファサイズ、および初期バッファ満杯度のパラメータ値を生成する。(R、B、F)データ構造の構成が柔軟である場合に、(R、B、F)パラメータを表す記述子データ構造は、表1および2の例または類似する構成に基づくものとすることができる。図2の例示的環境では、これらの値を、MPEG−2記述子ジェネレータ216によって生成し、送信器が将来にそれから選択する情報データ送信レート(すなわち帯域幅)の系列(family)を反映することができる。たとえば、図6に、情報データ送信レート、最小バッファサイズ、およびデータがバッファから引き上げられる前の初期バッファ満杯度の値の例示的な系列が示されている。そのようなデータ点は、実験または計算を介して判定することができる。選択されたデータ転送レートを使用して、最小限に十分なバッファサイズを判定することができる。また、選択されたデータ転送レートおよび最小限に十分なバッファサイズを使用して、データをバッファから除去できるようにする前に必要な初期バッファ満杯度を選択することができる。
ブロック706で、レート、バッファ、および満杯度(R、B、F)値を、それぞれビデオデータおよびオーディオデータを符号化するように構成されたエンコーダ208および210など、1つまたは複数のデータエンコーダに送る。Fパラメータの送出は、任意選択である。というのは、これが、エレメンタリストリームの先頭の獲得にのみ意味を持つが、視聴者は、通常はエレメンタリストリーム内の他のランダムな点に同調するので、通常は先頭が獲得されないからである。ブロック708で、オーディオまたはビデオのエレメンタリストリームなどの圧縮ビットストリームが、エンコーダを使用して作成される。
ブロック710から714で、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、および(R、B、F)パラメータが、マルチプレクサ(図2のマルチプレクサ222など)に渡され、この3つのすべてが(3つのすべてが入手可能な場合に)組み合わされる。次いで、パラメータを、パケット化し、オーディオデータパケットおよびビデオデータパケットに多重化することができる。図2の例では、MPEG−2システム情報インサータ220によって、パケット化された記述子がマルチプレクサ222に送られ、プログラムマルチプレクサ218によって、オーディオデータおよびビデオデータがマルチプレクサ222に送られる。
次いで、ブロック716で、多重化されたデータを、受信器に送信する。送信は、ラジオ(RF信号)、インターネットによる、あるいは任意の技術またはトポロジを有する他のネットワークを介するものとすることができる。
図8の流れ図に、さらなる例示的実施形態を示すが、ここで、方法800が使用され、これによって、図6の(R、B、F)値などのバッファパラメータをセットすることができる。ブロック802で、送信器によって、DTV局が動作するデータ転送の離散レートが選択される。選択されたレートによって、それぞれよりよい気象条件およびより悪い気象条件で使用される、より高いデータ転送レートおよびより低いデータ転送レートを含むさまざまなデータ転送レートを送信器に与えることができる。図1の送信器102の例示的な部分200では、堅牢送信モード選択デバイスまたはプロシージャ204を使用して、データレートを選択することができる。ブロック804で、選択されたレートのそれぞれが、適当なサイズのバッファに関連付けられる。たとえば、図6のグラフを使用して、より大きいバッファにより低いデータ転送レート、より小さいバッファにより高いデータ転送レートを関連付けることができる。ブロック806で、レートおよびバッファサイズごとに、初期バッファ満杯度要件を決定する。初期バッファ満杯度要件は、データをバッファから除去する前に満たすか超えなければならないデータの量である。データ転送のレートおよびバッファのサイズの両方が、初期バッファ満杯度要件の選択に影響する。ブロック808で、記述子データ構造を生成して、バッファ構成を定義する。ブロック810で、記述子データ構造を、MPEG記述子ジェネレータ216(図2)あるいは類似するハードウェア、ファームウェア、またはソフトウェア構造によって生成することができる。一実施形態では、記述子を、表1および2によって開示されたデータ構造に似るように構成することができる。
図9の流れ図に、さらなる例示的実施形態を示すが、ここで、方法900が使用され、これによって、受信器またはクライアントがデータを入手し、処理することができる。ブロック902で、受信器104によって、補助堅牢チャネル(auxiliary robust channel)(たとえば図4の410および図5の510)で使用される、通常は送信器102によって選択される、堅牢さの度合が判定される。受信器によって、通常は、送信されたデータのより下位の送信レイヤから抽出される情報(データフレーム内のシンボルの配置など)から堅牢さの度合が判定される。通常の実施形態では、(R、B、F)値が、表1および2に類似するデータ構造から入手される。
任意選択の実施形態であるブロック904で、堅牢さの値を、主チャネルと別個の補助堅牢チャネルに適用可能である。たとえば、図4および5の堅牢チャネル410および510を、主チャネル408および508より高い堅牢さを有するように構成することができる。
もう1つの任意選択の実施形態であるブロック906で、記述子(たとえば、(R、B、F)タプルまたは表1および2に類似するデータ構造)を、要求−応答プロトコルの一部として両方向チャネルを介してサーバ102と通信することによって入手することができる。
さらにもう1つの任意選択の実施形態であるブロック908で、クライアントおよび/または受信器104によって、別々の帯域外放送チャネルを介して堅牢さの度合を判定することができる。この配置では、堅牢なチャネル内の帯域幅が節約され、(R、B、F)タプルおよび関連情報の比較的すばやい可用性をもたらすことができる。
ブロック910で、受信器内のビデオエレメンタリバッファ(基準バッファ)304(図3)の動作が、(R、B、F)値に従って設定される。例示的構成では、受信器104内のハードウェア回路によって、送信器によって選択された410または510内の堅牢さの度合が判定され、記述子で送信されたパラメータ値の組の中の適当な(R、B、F)パラメータ値が呼び出されて、受信器に存在するメモリ内のバッファが構成される。
第1の任意選択の実施形態であるブロック912で、受信器104によって、起動時に(R、B、F)値に応答してビデオエレメンタリバッファ304(図3)が自動的に構成される。第2の任意選択の実施形態であるブロック914で、受信器によって、新しいまたは更新された(R、B、F)値に応答してビデオエレメンタリバッファ304を自動的に再構成することができる。たとえば、環境条件の変化によって、送信器102が堅牢さのレベルを再評価する場合がある。したがって、受信器104は、新しいまたは変更された情報に応答する(R、B、F)タプルの変化に応答して構成される。もう1つの任意選択の実施形態であるブロック916で、ビデオエレメンタリバッファ304が、チャネルのある部分が堅牢である度合に従って構成される。たとえば、受信器が、チャネル410および510(それぞれ図4および図5)の堅牢部分を受信している場合に、バッファは、チャネルのより堅牢でない部分408および508が受信されている場合とは異なる形で構成される。
図示の方法の要素は、ディスク、ROM、または他のメモリデバイスなどのプロセッサ可読媒体上で定義されたプロセッサ可読命令の実行によって、またはASCI(application specific integrated circuit)または他のハードウェアデバイスの動作によってなど、所望の手段によって実行することができる。1つの例示的な構成で、ソフトウェア/ファームウェアを使用して、図7から9の流れ図に示された例示的方法に従って、図2から3の部分200および300を実施することができる。さらなる例示的構成で、ASICなどのハードウェアデバイスに、図7から9の流れ図に示された例示的方法に従って部分200および300を実施するロジックを含めることができる。方法700から900で、あるブロックに示された動作を、他のブロックに示された動作と並列に実行することができ、代替の順序で行うことができ、あるいは、動作を複数の他のブロックに関連付ける形で分散することができる。
例示的コンピュータ
図10に、サーバ102またはクライアント104の実施に適する例示的コンピューティング環境を示す。さらに、通常は送信器から受信器へのRF送信が含まれる、送信器および受信器の関係が使用される場合に、受信器に、着信データが処理されるコンピューティング環境を含めることができる。コンピューティング環境の1特定の構成を示すが、類似する構成に置換することができる。
コンピューティング環境1000に、コンピュータ1002の形の汎用コンピューティングシステムが含まれる。コンピュータ1002の構成要素に、1つまたは複数のプロセッサまたは処理ユニット(プロセッサ)1004、システムメモリ1006、および処理ユニット1004を含むさまざまなシステム構成要素をシステムメモリ1006に結合するシステムバス1008を含めることができるが、これに制限はされない。
システムバス1008は、メモリバスまたはメモリコントローラ、周辺バス、accelerated graphics port、およびさまざまなバスアーキテクチャのいずれかを使用するプロセッサバスまたはローカルバスを含む複数のタイプのバス構造のいずれかの1つまたは複数を表す。システムバス1008の例が、メザニンバスとも称するPCI(Peripheral Component Interconnects)バスである。
コンピュータ1002に、通常は、さまざまなコンピュータ可読媒体が含まれる。そのような媒体は、コンピュータ1002によってアクセス可能である任意の使用可能媒体とすることができ、これには、揮発性および不揮発性の媒体、取外し可能および取り外し不能の媒体の両方が含まれる。システムメモリ1006に、ランダムアクセスメモリ(RAM)1010などの揮発性メモリの形、および/または読取専用メモリ(ROM)1012などの不揮発性メモリの形のコンピュータ可読媒体が含まれる。起動中などにコンピュータ1002内の要素の間での情報の転送を助ける基本ルーチンを含むBIOS(basic input/output system)1014が、ROM1012に記憶される。RAM1010には、通常は、処理ユニット1004から即座にアクセス可能なおよび/または処理ユニット1004によって現在操作されつつあるデータおよび/またはプログラムモジュールが含まれる。
コンピュータ1002に、他の取外し可能/取外し不能、揮発性/不揮発性のコンピュータ記憶媒体も含めることができる。例として、図10に、取外し不能不揮発性磁気媒体(図示せず)から読み取り、これに書き込むハードディスクドライブ1016、取外し可能不揮発性磁気ディスク1020(たとえば、「フロッピディスク」)から読み取り、これに書き込む磁気ディスクドライブ1018、およびCD−ROM、DVD−ROM、または他の光学媒体などの取外し可能不揮発性光ディスク1024から読み取り、かつ/またはこれに書き込む光ディスクドライブ1022を示す。ハードディスクドライブ1016、磁気ディスクドライブ1018、および光ディスクドライブ1022は、それぞれ、1つまたは複数のデータ媒体インターフェース1020によってシステムバス1008に接続される。別法では、ハードディスク1016、磁気ディスクドライブ1018、および光ディスクドライブ1022を、SCSIインターフェース(図示せず)によってシステムバス1008に接続することができる。
ディスクドライブおよびそれに関連するコンピュータ可読媒体によって、コンピュータ1002のコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性ストレージがもたらされる。この例では、ハードディスクドライブ1016、取外し可能不揮発性磁気ディスク1020、および取外し可能不揮発性光ディスク1024が示されているが、磁気カセットまたは他の磁気ストレージデバイス、フラッシュメモリカード、CD−ROM、デジタル多用途ディスク(DVD)、または他の光学ストレージ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、EEPROM(electrically erasable programmable read−only memory)などのコンピュータによってアクセス可能な、データを記憶できる他のタイプのコンピュータ可読媒体も、例示的コンピューティングシステムおよび環境を実施するのに使用できることを理解されたい。
例としてハードディスク1016、磁気ディスク1020、光ディスク1024、ROM1012、および/またはRAM1010に、オペレーティングシステム1026、1つまたは複数のアプリケーションプログラム1028、他のプログラムモジュール1030、およびプログラムデータ1032を含む任意の個数のプログラムモジュールを記憶することができる。そのようなオペレーティングシステム1026、1つまたは複数のアプリケーションプログラム1028、他のプログラムモジュール1030、およびプログラムデータ1032のそれぞれ(またはその組合せ)に、ユーザネットワークアクセス情報に関するキャッシング方式の実施形態を含めることができる。
コンピュータ1002に、通信媒体として識別されるさまざまなコンピュータ/プロセッサ可読媒体を含めることができる。通信媒体によって、通常は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータが、搬送波または他の移送機構などの変調されたデータ信号で実施され、通信媒体には、すべての情報配布媒体が含まれる。用語「変調されたデータ信号」は、情報を信号に符号化する形で1つまたは複数の特性を設定または変更された信号を意味する。制限ではなく例として、通信媒体に、有線ネットワークまたは直接配線接続などの有線媒体と、音響、RF、赤外線、および他の無線媒体などの無線媒体が含まれる。上記のいずれかの組合せも、コンピュータ可読媒体の範囲に含まれる。
ユーザは、キーボード1034およびポインティングデバイス1036(たとえば、「マウス」)などの入力デバイスを介してコンピュータシステム1002にコマンドおよび情報を入力することができる。他の入力デバイス1038(具体的には図示せず)に、マイクロホン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、シリアルポート、スキャナ、および/または類似物を含めることができる。これらおよび他の入力デバイスは、システムバス1008に結合される入出力インターフェース1040を介して処理ユニット1004に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(USB)などの他のインターフェースおよびバス構造によって接続することができる。
モニタ1042または他のタイプのディスプレイデバイスも、ビデオアダプタ1044などのインターフェースを介してシステムバス1008に接続することができる。モニタ1042の他に、他の出力周辺デバイスに、入出力インターフェース1040を介してコンピュータ1002に接続できる、スピーカ(図示せず)およびプリンタ1046などの構成要素を含めることができる。
コンピュータ1002は、リモートコンピューティングデバイス1048などの1つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で動作することができる。例として、リモートコンピューティングデバイス1048を、パーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイスまたは他の一般的なネットワークノード、などとすることができる。リモートコンピューティングデバイス1048は、コンピュータ1002に関して本明細書で説明した要素および特徴の多数またはすべてを含むことができるポータブルコンピュータとして図示されている。
コンピュータ1002とリモートコンピューティングデバイス1048との間の論理接続は、ローカルエリアネットワーク(LAN)1050および一般的な広域ネットワーク(WAN)1052として示されている。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットでありふれたものである。LANネットワーキング環境で実施される時に、コンピュータ1002は、ネットワークインターフェースまたはアダプタ1054を介してローカルエリアネットワーク1050に接続される。WANネットワーキング環境で実施される時に、コンピュータ1002に、通常は、広域ネットワーク1052を介する通信を確立する、モデム1056または他の手段が含まれる。モデム1056は、コンピュータ1002に内蔵または外付けとすることができるが、入出力インターフェース1040または他の適当な機構を介してシステムバス1008に接続することができる。図示のネットワーク接続が、例示的であり、コンピュータ1002とリモートコンピューティングデバイス1048との間の通信リンクを確立する他の手段を使用できることを理解されたい。
コンピューティング環境1000によって示されるものなどのネットワーク化された環境では、コンピュータ1002に関して図示されたプログラムモジュールまたはその一部を、リモートメモリストレージデバイスに記憶することができる。例として、リモートアプリケーションプログラム1058が、リモートコンピューティングデバイス1048のメモリデバイスに常駐する。例示のために、オペレーティングシステムなどのアプリケーションプログラムおよび他の実行可能プログラムコンポーネントが、別個のブロックとして図示されているが、そのようなプログラムおよびコンポーネントが、さまざまな時にコンピュータシステム1002の異なるストレージ構成要素に常駐し、コンピュータのデータプロセッサによって実行されることが認識される。
結論
主題を、構造的特徴および/または方法に固有の言語に関して説明したが、特許請求の範囲によって定義される発明が、本明細書で説明した特定の特徴または方法に必ずしも制限されないことを理解されたい。そうではなく、特定の特徴および方法は、請求されるシステムおよび方法を実施する例示的な形として開示されたものである。
本明細書に記載のシステムおよび方法による、例示的なサーバ/送信器と例示的なクライアント/受信器を示すブロック図である。 例示的なサーバまたは送信器内の追加の詳細を示すブロック図である。 例示的なクライアントまたは受信器内の追加の詳細を示すブロック図である。 冗長性とビットレート(帯域幅)の間の例示的関係を示すグラフである。 図4に類似する、冗長チャネルの使用の増加に対応する帯域幅の減少をさらに強調して示すグラフである。 データ転送レートとバッファ満杯度の選択された値に関する最小バッファサイズの間の例示的関係を示し、これによって、バッファを構成するのに使用することができる例示的な点を示すグラフである。 送信器またはサーバの動作の例示的方法を示す流れ図である。 バッファパラメータをセットすることができる例示的方法を示す流れ図である。 受信器またはクライアントの動作の例示的方法を示す流れ図である。 本明細書に記載のシステムおよび方法のサーバ側および/またはクライアント側を実施することができるコンピューティングオペレーティング環境の例を示す図である。
符号の説明
202 信号
204 堅牢送信モード選択デバイスまたは堅牢送信モード選択プロシージャ
206 情報
208 ビデオエンコーダ
210 オーディオエンコーダ
212 プロファイルおよびレベルデータ
214 一般化された基準バッファパラメータデータ
216 MPEG記述子ジェネレータ
218 プログラムマルチプレクサ
220 システム情報インサータ
222 マルチプレクサ

Claims (42)

  1. データ送信条件を評価するプロセッサ実行可能命令と、
    前記データ送信条件の評価に基づいて、データ転送レートを選択するプロセッサ実行可能命令と、
    受信器に送信されるバッファサイズ値を選択するプロセッサ実行可能命令であって、前記バッファサイズ値のそれぞれは、前記選択されたデータ転送レートの1つに基づくプロセッサ実行可能命令と、
    前記選択されたデータ転送レートおよび前記選択されたバッファサイズ値に基づいて、初期バッファ満杯度要件を選択するプロセッサ実行可能命令と
    を含むことを特徴とするプロセッサ可読媒体。
  2. 前記選択されたデータレートの1つで複数のクライアントにデータを送信するプロセッサ可能命令と、
    チャネルのより下位の送信レイヤで、堅牢さの度合を前記複数のクライアントに示す情報を含むように、送信される前記データを構成するプロセッサ実行可能命令と
    をさらに含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  3. 前記選択されたデータ転送レート、前記バッファサイズ値、および前記初期バッファ満杯度要件を含む記述子を生成するプロセッサ実行可能命令と、
    前記記述子をオーディオデータおよびビデオデータと多重化するプロセッサ実行可能命令と
    をさらに含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  4. (R、B、F)タプルの複数の組を含む記述子を生成するプロセッサ実行可能命令をさらに含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  5. 前記選択されたデータ転送レート、前記バッファサイズ値、および前記初期バッファ満杯度要件の組を含む記述子を生成するプロセッサ実行可能命令と、
    前記記述子をクライアントに送信するプロセッサ実行可能命令と
    をさらに含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  6. 両方向チャネルを介して要求−応答プロトコルの一部として前記クライアントに前記記述子を転送するプロセッサ実行可能命令をさらに含むことを特徴とする請求項5に記載のプロセッサ可読媒体。
  7. 前記記述子は、MPEG互換性について構成され、
    前記記述子は、規則的な間隔でオーディオデータおよびビデオデータと多重化される
    ことを特徴とする請求項5に記載のプロセッサ可読媒体。
  8. sd_profile_level() {
    subdescriptor_tag
    profile_level
    bm_params_count
    for (i=0; i<bm_params_count; i++){
    reserved
    bit_rate_value
    reserved
    vbv_buffer_size


    に従って前記記述子の構文を構成するプロセッサ実行可能命令をさらに含むことを特徴とする請求項5に記載のプロセッサ可読媒体。
  9. 前記データ転送レートを選択するプロセッサ実行可能命令は、
    通信チャネルの部分の堅牢さを増やす時に送信の総合的なビットレートを減らすプロセッサ実行可能命令と、
    前記通信チャネルの部分の堅牢さを減らす時に前記送信の総合的なビットレートを増やすプロセッサ実行可能命令と
    を含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  10. 前記データ送信条件を評価するプロセッサ実行可能命令は、RF送信に対する環境障害を評価するプロセッサ実行可能命令を含むことを特徴とする請求項1に記載のプロセッサ可読媒体。
  11. 送信器から受信器に堅牢なデータを送信するプロセッサ実行可能命令を含むプロセッサ可読媒体であって、前記プロセッサ実行可能命令は、
    データ送信のレートおよび冗長性のレベルを確立すること、
    前記受信器でのバッファの動作に関する、前記レートを含むパラメータを指定すること、および
    前記パラメータをある間隔で前記受信器に送信すること
    を含むことを特徴とするプロセッサ可読媒体。
  12. 前記データ送信のレートを確立することは、
    前記データ送信のレートを確立するために入力としての環境条件を評価すること、および
    前記環境条件に基づいてデータ送信の離散レートの間で選択すること
    をさらに含むことを特徴とする請求項11に記載のプロセッサ可読媒体。
  13. 前記パラメータを指定することは、
    前記受信器のバッファに関する最小バッファサイズを指定すること、および
    前記受信器のバッファに関するデータ除去の前の初期バッファ満杯度の値を指定すること
    をさらに含むことを特徴とする請求項11に記載のプロセッサ可読媒体。
  14. 前記パラメータを指定することは、
    前記受信器のバッファのサイズおよびデータ送信の前記レートに基づいて、前記受信器の前記バッファに関するデータの除去の前の初期バッファ満杯度の値を指定することを含むことを特徴とする請求項11に記載のプロセッサ可読媒体。
  15. 前記データ送信のレートおよび冗長性のレベルを確立することは、
    ビットストリームを、より高い堅牢さを有する通信チャネルの第1部分に使用可能にすること、および
    前記ビットストリームを、より低い堅牢さを有する通信チャネルの第2部分に使用可能にすること
    を含むことを特徴とする請求項11に記載のプロセッサ可読媒体。
  16. データを受信するように受信器を構成するプロセッサ実行可能命令を含むプロセッサ可読媒体であって、前記プロセッサ実行可能命令は、
    レートの値、バッファサイズの値、および初期バッファ満杯度の値を含む記述子を入手すること、
    前記記述子に従って前記受信器内のバッファを構成すること、および
    前記バッファは前記初期バッファ満杯度に達する時に前記バッファからデータを除去すること
    を含むことを特徴とするプロセッサ可読媒体。
  17. 両方向チャネルを介して要求−応答プロトコルから前記記述子を入手するプロセッサ実行可能命令をさらに含むことを特徴とする請求項16に記載のプロセッサ可読媒体。
  18. ある間隔で前記記述子を繰り返して送信する放送信号から前記記述子を入手するプロセッサ実行可能命令をさらに含むことを特徴とする請求項16に記載のプロセッサ可読媒体。
  19. 信号量を測定するプロセッサ実行可能命令と、
    前記信号量に依存して、チャネルの主部分または前記チャネルの堅牢部分の間で選択するプロセッサ実行可能命令と
    をさらに含むことを特徴とする請求項16に記載のプロセッサ可読媒体。
  20. 前記信号量を選択するプロセッサ実行可能命令は、
    信号対雑音比を測定するプロセッサ実行可能命令と、
    搬送波対雑音比を測定するプロセッサ実行可能命令と、
    平均信号エネルギーレベルを測定するプロセッサ実行可能命令と、
    所与の時間ウィンドウ内の壊れたデータパケット数を測定するプロセッサ実行可能命令と、
    ピークエネルギーを測定するプロセッサ実行可能命令と、
    壊れたデータパケットのランレングスを測定するプロセッサ実行可能命令と、
    等化フィルタでの残留エネルギーを測定するプロセッサ実行可能命令と
    の群から選択されるプロセッサ実行可能命令を含むことを特徴とする請求項19に記載のプロセッサ可読媒体。
  21. 獲得条件が許容可能である時に、普通の堅牢さを有するチャネルの主部分を使用するプロセッサ実行可能命令と、
    信号状態を示すために計算された量が劣化を示す時に、前記チャネルの堅牢部分に切り替えるプロセッサ実行可能命令と
    をさらに含むことを特徴とする請求項16に記載のプロセッサ可読媒体。
  22. 前記堅牢部分に切り替えるプロセッサ実行可能命令は、
    前記チャネルの堅牢部分のレートに従って前記バッファを調整するために前記記述子に含まれるバッファパラメータを使用するプロセッサ実行可能命令と、
    前記チャネルの堅牢部分から前記バッファにデータを移動するプロセッサ実行可能命令と
    を含むことを特徴とする請求項21に記載のプロセッサ可読媒体。
  23. 環境条件の再検討に基づいてデータ送信のレートを選択する堅牢送信選択モジュールと、
    前記選択されたデータ送信のレートでデータを符号化するビデオエンコーダおよびオーディオエンコーダと、
    受信器による使用のための、前記選択されたレートに関連するバッファパラメータを反映する記述子を生成する記述子ジェネレータと、
    前記記述子を前記符号化されたデータと多重化するマルチプレクサと
    を含むことを特徴とする送信器。
  24. 前記記述子ジェネレータは、
    前記選択されたレートと、
    前記受信器によって構成されるバッファサイズと、
    初期バッファ満杯度値と
    を含む記述子を生成することを特徴とする請求項23に記載の送信器。
  25. 前記記述子ジェネレータは、(R、B、F)タプルの複数の組を生成するように構成されることを特徴とする請求項23に記載の送信器。
  26. 前記記述子ジェネレータは、構文
    sd_profile_level() {
    subdescriptor_tag
    profile_level
    bm_params_count
    for (i=0; i<bm_params_count; i++) {
    reserved
    bit_rate_value
    reserved
    vbv_buffer_size


    に従って記述子を生成するように構成されることを特徴とする請求項23に記載の送信器。
  27. ある間隔で前記マルチプレクサに前記記述子を渡すシステム情報インサータをさらに含むことを特徴とする請求項23に記載の送信器。
  28. 記述子を検出するように構成されたロジックと、
    前記記述子から(R、B、F)値を入手するように構成されたロジックと、
    前記(R、B、F)値に従って受信器バッファをセットするように構成されたロジックと
    を含むことを特徴とする受信器。
  29. 前記記述子を検出するように構成されたロジックは、両方向チャネルから前記記述子を入手するように構成されるロジックを含むことを特徴とする請求項28に記載の受信器。
  30. 前記受信器バッファをセットするように構成されたロジックは、新しいまたは更新された(R、B、F)値に応答して前記受信バッファを再構成するように構成されるロジックを含むことを特徴とする請求項28に記載の受信器。
  31. 送信器から受信器にデータを移動する方法であって、
    冗長性を必要とする状態を検出すること、
    データを送信できる使用可能な離散レートの間から選択することであって、前記選択されたレートが、前記検出された条件に十分な冗長性を提供すること、
    前記選択されたレート、最小必要バッファサイズ、および必要初期バッファ満杯度を含む記述子を生成すること、
    前記記述子および前記データを多重化すること、および、
    前記多重化されたデータを前記受信器に送信すること
    を含むことを特徴とする方法。
  32. 少なくとも毎秒1回、前記記述子を前記多重化されたデータに挿入することをさらに含むことを特徴とする請求項31に記載の方法。
  33. 前記記述子を使用して、前記多重化されたデータを受信するように、前記受信器内のバッファを構成することをさらに含むことを特徴とする請求項31に記載の方法。
  34. 送信器によって送信されたデータ内の記述子を検出すること、
    信頼性のある形でデータを受信するために、前記送信されたデータ内の普通のチャネルと堅牢チャネルとの間で選択するために受信特性および統計を監視すること、
    前記記述子から、データ送信レート情報を入手し、バッファパラメータの対応する組を識別すること、
    前記選択された送信チャネルに関連するバッファパラメータによって実施されるガイドラインに従って、エレメンタリストリーム獲得を提供するためにメモリリソースおよびフロー制御ロジックを構成すること、および
    前記バッファパラメータに含まれる初期バッファ満杯度値以上がバッファに含まれるまで、前記受信されたデータをバッファすること
    を含むことを特徴とする受信器。
  35. 更新されたデータを有する記述子の受信に応答して、前記メモリリソースおよび前記フロー制御ロジックを再構成する命令を含むことを特徴とする請求項34に記載の受信器。
  36. データ送信条件を評価する手段と、
    前記評価されたデータ送信条件に応答して、データ転送レート、バッファサイズ、および初期バッファ満杯度を含む(R、B、F)パラメータ値を指定する手段と、
    エンコーダを使用して圧縮ビットストリームを作成する手段と、
    マルチプレクサ内で、前記(R、B、F)パラメータ値を前記圧縮ビットストリームと組み合わせる手段と
    を含むことを特徴とする送信器。
  37. (R、B、F)タプルの複数の組を含む記述子を生成する手段と、
    選択されたデータレートで複数のクライアントに前記圧縮ビットストリームおよび前記記述子を送信する手段と
    をさらに含むことを特徴とする請求項36に記載の送信器。
  38. 前記指定されたデータ転送レート、前記バッファサイズ値、および前記初期バッファ満杯度要件を含む記述子を生成する手段と、
    前記記述子をオーディオデータおよびビデオデータと多重化する手段と
    を含むことを特徴とする請求項36に記載の送信器。
  39. 送信データ内の記述子を検出する手段と、
    受信特性および統計を監視することによって、オーディオエレメンタリストリーム、ビデオエレメンタリストリーム、およびデータエレメンタリストリームを信頼性のある形で受信するために、前記送信データ内の普通のチャネルおよび堅牢チャネルのどちらを選択するかを判断する手段と、
    データ転送レートを判定し、前記記述子からバッファパラメータの対応する組を識別する手段と、
    前記選択された送信チャネルに関連するバッファパラメータによって実施されるガイドラインに従って、エレメンタリストリーム獲得を提供するためにメモリリソースおよびフロー制御ロジックを構成する手段と、
    バッファに前記バッファパラメータ内で見つかった初期バッファ満杯度値より多くが含まれる時に前記送信データを復号する手段と
    を含むことを特徴とする受信器。
  40. 前記メモリリソースおよびフロー制御ロジックを構成する手段は、更新されたデータを有する記述子の受信時に前記バッファを再構成することを特徴とする請求項39に記載の受信器。
  41. 前記システム情報インサータは、ほぼ毎秒2回、前記マルチプレクサに前記記述子を渡すことを特徴とする請求項27に記載の送信器。
  42. 前記堅牢送信選択モジュールは、増やされた堅牢さについて通信チャネルの部分を構成し、通常レベルの堅牢さについて同一通信チャネルの別の部分を構成することを特徴とする請求項23に記載の送信器。
JP2004176215A 2003-06-13 2004-06-14 ビデオデータの堅牢な配布 Expired - Fee Related JP4592338B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47873103P 2003-06-13 2003-06-13
US10/697,502 US7380028B2 (en) 2003-06-13 2003-10-30 Robust delivery of video data

Publications (3)

Publication Number Publication Date
JP2005020732A true JP2005020732A (ja) 2005-01-20
JP2005020732A5 JP2005020732A5 (ja) 2007-08-02
JP4592338B2 JP4592338B2 (ja) 2010-12-01

Family

ID=33303344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004176215A Expired - Fee Related JP4592338B2 (ja) 2003-06-13 2004-06-14 ビデオデータの堅牢な配布

Country Status (4)

Country Link
US (1) US7380028B2 (ja)
EP (1) EP1487217A3 (ja)
JP (1) JP4592338B2 (ja)
CN (1) CN100518284C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925239B2 (en) 2005-04-08 2011-04-12 Panasonic Corporation Power line communication apparatus and power line communication method

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US7380028B2 (en) 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
KR100689354B1 (ko) * 2003-09-02 2007-03-02 삼성전자주식회사 이동통신 시스템에서 이동국의 상태 정보 제공 방법
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US20050152372A1 (en) * 2004-01-13 2005-07-14 Sang-Ho Kim System and method for performing transmission and reception operations based on broadcast/communication convergence
US7417974B2 (en) * 2004-04-14 2008-08-26 Broadcom Corporation Transmitting high rate data within a MIMO WLAN
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
GB0428155D0 (en) 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
TWI401918B (zh) * 2005-02-03 2013-07-11 Nokia Corp 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
US8547997B2 (en) * 2005-04-20 2013-10-01 Jupiter Systems Capture node for use in an audiovisual signal routing and distribution system
US8606949B2 (en) 2005-04-20 2013-12-10 Jupiter Systems Interconnection mechanism for multiple data streams
US20070133405A1 (en) * 2005-12-08 2007-06-14 Microsoft Corporation Congestion controller for network transmissions
US20070263668A1 (en) * 2006-05-11 2007-11-15 Lau David K W System, method and computer program for evaluating the audio quality of a received audio record
WO2008102732A1 (ja) * 2007-02-19 2008-08-28 Kabushiki Kaisha Toshiba データ多重化/分離装置
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US20090125954A1 (en) * 2007-11-13 2009-05-14 Siemens Medical Solutions Usa, Inc. Streaming video transmission from pc to remote monitor
US8335262B2 (en) * 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
WO2009095839A1 (en) * 2008-01-28 2009-08-06 Nxp B.V. Device and method for decoding digital tv broadcast
US20100161779A1 (en) * 2008-12-24 2010-06-24 Verizon Services Organization Inc System and method for providing quality-referenced multimedia
US20100329355A1 (en) * 2009-06-30 2010-12-30 Nxp B.V System and method for configurable packet streaming
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
CA2842098C (en) * 2010-07-15 2017-01-03 Dejero Labs Inc. A system and method for transmission of data signals over a wireless network
CN102170582B (zh) * 2011-05-20 2013-02-13 同济大学 基于QoS的视音频体验质量评测平台及评测方法
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
US9900592B2 (en) 2011-08-25 2018-02-20 Sun Patent Trust Methods and apparatuses for encoding and decoding video using periodic buffer description
BR112013020486B1 (pt) 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
JP5932811B2 (ja) 2011-09-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法、及び画像復号装置
CN104025598B (zh) 2011-10-19 2017-11-14 太阳专利托管公司 图像编码方法、图像编码装置
KR101803621B1 (ko) * 2012-12-21 2017-12-28 코닌클리즈케 케이피엔 엔.브이. 저 지연 스트리밍
CN104038846B (zh) 2013-03-05 2018-03-09 华为技术有限公司 缓存状态估计方法及设备
CN104702579B (zh) 2013-12-09 2018-10-12 华为技术有限公司 用于确定用户设备的缓存状态的方法及装置
JP6593019B2 (ja) * 2015-08-06 2019-10-23 船井電機株式会社 コンテンツ受信装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321813A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> ディジタル伝送方法および送信、受信装置
JP2001203767A (ja) * 2000-01-24 2001-07-27 Sony Corp 無線伝送方法及び装置並びに無線受信装置
JP2001274858A (ja) * 2000-03-27 2001-10-05 Seiko Epson Corp ストリームデータ先読込装置及びストリームデータ先読込プログラムを記憶した記憶媒体
WO2002032083A1 (fr) * 2000-10-13 2002-04-18 Sony Corporation Systeme de controle de la qualite de la communication de donnees, systeme emetteur et recepteur

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4706260A (en) 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
CA2000156C (en) 1989-02-14 1995-05-02 Kohtaro Asai Picture signal encoding and decoding apparatus
JP2787599B2 (ja) 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
GB9012538D0 (en) 1990-06-05 1990-07-25 Philips Nv Coding of video signals
US5291486A (en) 1991-08-19 1994-03-01 Sony Corporation Data multiplexing apparatus and multiplexed data demultiplexing apparatus
US5541852A (en) 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5933451A (en) 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
US5995670A (en) 1995-10-05 1999-11-30 Microsoft Corporation Simplified chain encoding
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5952943A (en) 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
US6141053A (en) 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6060997A (en) 1997-10-27 2000-05-09 Motorola, Inc. Selective call device and method for providing a stream of information
US6775840B1 (en) * 1997-12-19 2004-08-10 Cisco Technology, Inc. Method and apparatus for using a spectrum analyzer for locating ingress noise gaps
US6459811B1 (en) 1998-04-02 2002-10-01 Sarnoff Corporation Bursty data transmission of compressed video data
US6233226B1 (en) 1998-12-14 2001-05-15 Verizon Laboratories Inc. System and method for analyzing and transmitting video over a switched network
GB9930788D0 (en) 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US7454222B2 (en) * 2000-11-22 2008-11-18 Dragonwave, Inc. Apparatus and method for controlling wireless communication signals
US7675994B2 (en) * 2001-04-02 2010-03-09 Koninklijke Philips Electronics N.V. Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
WO2002089369A1 (en) * 2001-05-02 2002-11-07 Strix Systems, Inc. Method and system for indicating link quality among neighboring wireless base stations
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
EP1557057A4 (en) * 2002-11-01 2006-12-13 Interdigital Tech Corp METHOD FOR PREDICTING THE QUALITY OF THE WAY IN WIRELESS COMMUNICATION SYSTEMS
US7380028B2 (en) 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321813A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> ディジタル伝送方法および送信、受信装置
JP2001203767A (ja) * 2000-01-24 2001-07-27 Sony Corp 無線伝送方法及び装置並びに無線受信装置
JP2001274858A (ja) * 2000-03-27 2001-10-05 Seiko Epson Corp ストリームデータ先読込装置及びストリームデータ先読込プログラムを記憶した記憶媒体
WO2002032083A1 (fr) * 2000-10-13 2002-04-18 Sony Corporation Systeme de controle de la qualite de la communication de donnees, systeme emetteur et recepteur

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925239B2 (en) 2005-04-08 2011-04-12 Panasonic Corporation Power line communication apparatus and power line communication method
US8081950B2 (en) 2005-04-08 2011-12-20 Panasonic Corporation Power line communication apparatus and power line communication method

Also Published As

Publication number Publication date
CN100518284C (zh) 2009-07-22
EP1487217A2 (en) 2004-12-15
US20040255063A1 (en) 2004-12-16
EP1487217A3 (en) 2011-11-23
CN1574948A (zh) 2005-02-02
JP4592338B2 (ja) 2010-12-01
US7380028B2 (en) 2008-05-27

Similar Documents

Publication Publication Date Title
JP4592338B2 (ja) ビデオデータの堅牢な配布
KR101191181B1 (ko) 디지털 방송의 송/수신 시스템 및 데이터 구조
KR101138275B1 (ko) 디지털 방송 송신기 및 그 스트림 처리방법
KR101351026B1 (ko) 방송 신호 송수신 장치 및 방송 신호 송수신 방법
US8873679B2 (en) Reception apparatus and method, program and reception system
US8832519B2 (en) Method and apparatus for FEC encoding and decoding
KR101309615B1 (ko) 소스-채널 결합 부호화 방법 및 이를 적용한 위성 방송 시스템
KR20070075549A (ko) 디지털 방송 시스템 및 처리 방법
KR20080092760A (ko) 디지털 방송 시스템 및 데이터 처리 방법
US20150350722A1 (en) Method and Apparatus for Fast Channel Change
KR101468953B1 (ko) 디지털 방송 송신기 및 수신기와 그 스트림 처리 방법
US20130128956A1 (en) Apparatus and method for receiving signals
KR20080091997A (ko) 디지털 방송 시스템 및 데이터 처리 방법
JP2006135987A (ja) 無線lanを用いたデジタル放送データ提供装置及びその方法並びに無線端末装置
WO2005109895A1 (en) Scalable video coding for broadcasting
CN1998239B (zh) 向解码器提供数据的方法和设备
KR20180054563A (ko) 송신 장치, 수신 장치 및 데이터 처리 방법
KR20080074680A (ko) 디지털 방송 시스템 및 데이터 처리 방법
US7984477B2 (en) Real-time video compression
JP2005507196A (ja) ディジタル映像ファイルをエラー修復して伝送するシステム及び方法
Baliar et al. Efficiency analysis of microwave infocommunication systems for access to multimedia/interactive services
KR100908065B1 (ko) 방송 송/수신기 및 방송 신호 처리 방법
EP3185576A1 (en) On-demand repair mode for a staggercast stream
KR100811186B1 (ko) 듀얼 전송 스트림 생성 장치 및 방법
KR100740206B1 (ko) 디지털 방송 송신 장치 및 그의 터보 스트림 처리 방법그리고 그를 포함하는 디지털 방송 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100506

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100607

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4592338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees