JP2005538651A - ビデオ・オン・デマンド・サーバのシステムおよび方法 - Google Patents

ビデオ・オン・デマンド・サーバのシステムおよび方法 Download PDF

Info

Publication number
JP2005538651A
JP2005538651A JP2004536401A JP2004536401A JP2005538651A JP 2005538651 A JP2005538651 A JP 2005538651A JP 2004536401 A JP2004536401 A JP 2004536401A JP 2004536401 A JP2004536401 A JP 2004536401A JP 2005538651 A JP2005538651 A JP 2005538651A
Authority
JP
Japan
Prior art keywords
program
representation
bit rate
quality
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004536401A
Other languages
English (en)
Other versions
JP4643988B2 (ja
JP2005538651A5 (ja
Inventor
マクドナルド ボイス,ジル
ラマズワミイ,クマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005538651A publication Critical patent/JP2005538651A/ja
Publication of JP2005538651A5 publication Critical patent/JP2005538651A5/ja
Application granted granted Critical
Publication of JP4643988B2 publication Critical patent/JP4643988B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • H04N21/23655Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

ビデオ・オン・デマンド・サーバ基本構成(100、200、300)は、固定帯域幅チャネル(11)全体に亘って異なるビット・レートを有する複数のプリコード化したプログラムを伝送する。各々のプログラムについて、発生器(12−12P−1 、110、210)は種々ビット・レート・リプリゼンテーションを生成する。各々の発生器もまた、各々のビット・レート・リプリゼンテーションについて各々の複数の連続した時間ウィンドウTで制御情報を提供する。制御情報は、各々の時間ウィンドウTの間、ビット・レートおよび品質基準を提供する。制御情報は、統計的多重化装置(16、160、260)が、全有効チャネル容量を超えることなく選択されたリプリゼンテーションの品質を最高にするために、各々の時間ウィンドウTの間、各々のプログラムについてビット・レート・リプリゼンテーションを選択することを可能にする。

Description

本発明は、固定チャネルの帯域幅制限を維持しながら、ビデオ・オン・デマンドを効率的に提供する技術に関する。
現在、視聴者が見たいときに所望の番組(プログラム)を観賞できるようサポートするビデオ・オン・デマンド(VoD:Video on Demand)システムは、一般に、固定ビット・レート(CBR:Constant Bit Rate)のビデオを伝送する。固定ビット・レート(CBR)のビデオの伝送は、同等の長期平均ビット・レート用の可変ビット・レート(VBR:Variable Bit Rate)のビデオの伝送と同じ効率を達成できない。一定の帯域幅チャネル以上の複数の予め記録された可変ビット・レート(VBR)でコード化されたビデオ・プログラムを伝送することは、各々のプログラムにより要求される瞬間的なビット・レートの合計が、しばしば全有効ビット・レートを超えることがあるので問題を生じる。他方、リアルタイム・エンコーダを使用している放送アプリケーションは、同じキャリア(搬送波)またはトランスポンダ(中継器)上に伝送された複数のプログラム間の瞬間的なビット・レートの変動を利用するために統計的多重化を使用する。エンコーダはリアル・タイム(実時間)に作動して、システムが全てのプログラムに対して全結合ビット・レートを制限し、所定の時間ウィンドウ以上のチャネル容量を超えないようにする。それぞれのビデオ・プログラムは、関連する複雑さの指標を有している。中央制御装置は、相対的な複雑さに基づいて、各々のビデオ・プログラムに割り当てられたビット・レートを動的に調整する。
現在、例えば、MPEG−2等の共通圧縮標準内で、ビデオ・ストリームのビット・レートを低下させるために機能する「ビデオ・トランスレータ(video transrater:ビデオ変換器)」として公知の装置が存在する。現在のトランスレータは、固定および可変間のビット・レート変換の際に、しばしば問題を生ずる。また、この種のトランスレータは、ビット・レートを、多くの場面変化または多数のI画像(I−Picture)を有するビット・ストリームに変換しようとするときに、問題を発生することがある。
映像(ビデオ)信号を基本層(ベース・レイヤ)および一つ以上の拡張層(エンハンスメント・レイヤ)に分割可能にする、スケーラブルな(scalable:拡張性のある)ビデオ・コード化は、ビット・レートの問題に対処することができる。ビデオ・コード化には、空間的(spatial)、SNR(信号対雑音比)、時間的(temporal)、データ分割、微粒子スケーラビリティ(FGS:Fine Grain Scalability)、周波数スケーラビリティ(frequency scalability)等を含むスケーラブルな種々の方法が存在する。MPEG−2およびMPEG−4ビデオ圧縮標準は、種々のスケーラビリティ方式を含んでいる。スケーラブルなコード化を使用すると、送信機および受信機の双方が、異なるコード化アルゴリズムを実現するための同等の能力を有することが必要となり、そのことが追加的な複雑さを招いている。このように、従来技術の問題点を解消するする可変ビット・レートのビデオ・オン・デマンド管理技術が必要とされている。
(発明の概要)
簡潔に述べると、本発明により、固定帯域幅チャネル全体で異なるビット・レートを有する、複数のプリコード化(pre−coded)プログラムを伝送するための方法が提供される。各々のプログラム毎に、少なくとも2つの、好ましくは複数の異なるビット・レートのリプリゼンテーション(representation:表示)が生成される。制御情報(control information)が、各ビット・レートのリプリゼンテーション毎に各々の複数の連続した時間ウィンドウで提供される。制御情報は、各々の時間ウィンドウ中に、ビット・レートおよび品質指標(quality measure)を提供する。制御情報は、各プログラムに対するビット・レート・リプリゼンテーションの各時間ウィンドウ中に、その時間ウィンドウにおいて全有効チャネル容量を超えることのないように、選択されたリプリゼンテーションの品質を最高にする選択ができる。
本発明に係る技術を開示するに当たり、以下の技術用語が有用となる。
Tは、システム最適化が意図されている時間間隔である。
Cは、時間ウインドウTにおける全有効チャネル容量である。
Pは、全プログラム数である。
p∈(0,P−1)は、特定のプログラムのインデックスある。
N[p]は、プログラムpの全リプリゼンテーション数である。
n[p]∈(0,N[p]−1)は、プログラムpの特定のリプリゼンテーションのインデックスである。
r[p、x]は、Tにおけるプログラムpのリプリゼンテーションxのビット・レートである。
q[p、x]は、Tにおけるプログラムpのリプリゼンテーションxの品質である。
図1は、全チャネル容量Cを有する固定帯域幅チャネル11を通じてプリコード化固定ビット・レート(CBR)および/または可変ビット・レート(VBR)のオーディオ/ビデオ・プログラムを伝送するための、本発明によるビデオ・オン・デマンド(VoD)サーバ基本構成10の、第1の好ましい実施形態を表す。サーバ基本構成10は、複数のマルチレートストリーム発生器12、12、・・・12P−1 を含んでいる。ここで、Pは、独立した入力ストリームの数に相当するゼロより大きい整数である。ストリーム・レート発生器12〜12P−1 は、複数の異なるビット・レートにおけるプログラム0、プログラム1・・・プログラムP−1のそれぞれ相当するプログラムの1つをプリコード化する。別の言い方をすれば、それぞれのマルチレートストリーム発生器は、相当する異なる少なくとも2以上のビット・レート・リプリゼンテーションを生じるプログラムをプリコード化する。リプリゼンテーションは、特定の記憶されたコード化ビット・ストリーム、または異なるコード化ビット・ストリームの種々の部分の組合せを含んでいてもよい。記憶装置14は、一般に単一のディスク駆動装置、RAID(Redundant Array of Inexpensive Discs)または複数のRAIDの形式で、マルチレートストリーム発生器12〜12P−1 により発生するプリコード化リプリゼンテーションを記憶する役割をする。
各々のマルチレートストリーム発生器12〜12P−1 は、それぞれ、相当するプログラム0〜P−1の1つ毎に各々の時間ウィンドウTに対する制御情報を生成する。各プログラムの各リプリゼンテーション毎の各時間ウィンドウTに対する制御情報は、そのリプリゼンテーションのビット・レート、およびリプリゼンテーションのピーク信号対雑音比(PSNR:Peak Signal−to−Noise Ratio)等の品質指標の表示を含んでいる。中心統計的多重化装置(stat mux)16は、各々のリプリゼンテーションに対する制御情報を受信する。stat mux16は、チャネル11の全容量Cまたはそれ以下で全ビット・レートを維持すると共に、各々の連続した時間ウィンドウTで、伝送されたプログラムの品質を最高にするために、各々のプログラム毎にリプリゼンテーションを選択する。
全てのプログラムで最も低いビット・レートの合計が、それぞれの間隔Tに対するチャネル容量を超えないように、各々のプログラムのための最も低いビット・レート・リプリゼンテーションは、既定値を超えてはならない。このようにすることで、各々のプログラムの少なくとも1つのリプリゼンテーションは、チャネル11を介して伝送される。各々のプログラムの最も低いビット・レート・リプリゼンテーションが、C/P以下のピーク・ビット・レートを有することを要求することにより、この制限が達成される。全てのプログラムの全ての時間ウィンドウTに対して、制限
Figure 2005538651

を満たす他の方法が存在する。一般に、特定のプログラムの再生が始まる時期に関しては、事前の知識がない。従って、最も低いビット・レート・リプリゼンテーションのビット・レート制限が、特定のプログラムの全ての時間ウィンドウTについて同じになるように要求することにより、最も容易に容量制限を実施することができる。
総合的な品質を最高にするためのステップは、種々の方法で達成される。全ての場合において、制限
Figure 2005538651

は全てのプログラムの全ての時間ウィンドウTに対して満たされている状態でなければならない。ミニマックス(minimax)処理法は、それぞれのp∈(0,P−1)に対してn[p]を選択することにより制限を満たすことができ、最低限の品質プログラムの品質を最高にする(即ち、最大歪曲を最小化する)ことができる。
ミニマックス処理法は、各プログラムの各リプリゼンテーションに対する制御情報をソートすることにより実行され、品質およびビット・レート・インデックスがインデックスの増加に伴って単調に増加するようになる。各ステップに対するビット・レートの変化(「デルタ(Δ)」ビット・レートという)は、その後記憶される。統計的多重化装置(stat mux)16は、各プログラム・リプリゼンテーションに対する最も低いインデックスから始めて、全容量Sを計算する。stat mux16は、最も低い品質のプログラム・リプリゼンテーションを選択し、そのデルタ(Δ)ビット・レートのSへの追加がCを超えるか否かを確認する。リプリゼンテーションの追加がCを超えない場合、そのリプリゼンテーションに対するインデックスが増分されて、更に手順が繰り返される。一旦Cが超えると、次に最も低い品質を有するリプリゼンテーションについて、そのデルタ・ビット・レートがSに加えられるとCを超えるかどうかが確認される。いかなるリプリゼンテーションにおける増分もチャネル容量Cを超えるようになるまで、手順が繰り返される。或いは、全てのプログラムの全品質は、以下の制限された最適化問題を解決することを含む個々のプログラム品質の合計を最大にすることにより最適化され得る。
Figure 2005538651

また、以下の方法における個々のプログラム品質の積を最適化することも可能である。
Figure 2005538651

異なる視聴者に対して異なるクラスのサービスを提供するために、加重平均が使用される
マルチレートストリーム発生器12〜12P−1 は、各々のプログラムの複数のリプリゼンテーションを形成するために、種々の方法または方法の組合せを使用することができる。全てのケースで、各時間ウィンドウTに対して変動を生じることなく異なるリプリゼンテーションが選択されるように、各時間ウィンドウTの始めに、各リプリゼンテーションに対して、内部コード化(I)フレームのようなランダム・アクセス・ポイントが発生しなければならない。最も低いビット・レート・リプリゼンテーションの容量が全チャネル容量の制限を満たす限り、それぞれのリプリゼンテーションは、固定ビット・レート(CBR)または可変ビット・レート(VBR)コード化の何れかを使用することができる。
第1の方法において、マルチレートビデオ・エンコーダは、幾つかの独立したビット・ストリーム中で種々のビット・レートで各々のプログラムをコード化する。各々の異なるビット・レート・ビット・ストリームは、異なるリプリゼンテーションとして機能する。図2は、係る方法を実現するための基本構成100を表す。図2に示すように、マルチレートビデオ・エンコーダ110は、相当するプログラムをコード化するために機能し、複数の異なるレート・リプリゼンテーションを発生させる。独立した一つのトランスポート・パケタイザ(transport packetizer)112、112・・・112P−1 は、相当するリプリゼンテーションをそれぞれパケット化する。マルチレートエンコーダ110により実行されるマルチレートコード化、およびパケタイザ112〜112P−1 により実行されるパケット化が、図1の記憶装置14と構造的に同様の記憶装置140に記憶される以前に一度行われれば、リアル・タイムに行われる必要はない。
記憶装置140に保存されたリアル・タイム出力用のリプリゼンテーションの選択が、セレクタ・ブロック150から受信した信号に応答して行われる。セレクタ・ブロック150は、統計的多重化装置(stat mux)160からの特定のリプリゼンテーションの要求に応答して、記憶された出力用リプリゼンテーションを識別する。セレクタ・ブロック150からの信号を受けると、記憶装置140は、選択されたパケット化リプリゼンテーションを出力のためstat mux160に供給する。
第2の方法では、数個の異なるビット・ストリームの部分が結合され、プログラムの追加のリプリゼンテーションを発生させる。プログラムの全てのビット・ストリーム(場面変化で自然に起こるような)と同じ場所にランダム・アクセス・ポイントが存在すること、または固定GOP(Group−Of−Pictures)構造を使用することにより、ランダム・アクセス限界における異なるビット・レート・ストリームからの圧縮データの組合せにより、新規なリプリゼンテーションを形成する。記憶されているデータから各々のリプリゼンテーションを生成することができる限り、各々のリプリゼンテーションを別々に記憶する必要はない。以下に、Tが2分の1であり、データが30fpsでコード化され、Iフレームが15フレーム毎に挿入され、3つの異なるビット・レートのビット・ストリーム(それぞれ、ビット・ストリーム0、ビット・ストリーム1およびビット・ストリーム2と呼ぶ)を発生させる例を考えてみる。各々のビット・ストリームは、独立したリプリゼンテーションを構成する。最初の15のフレームに対してビット・ストリーム0並びに2番目の15のフレームおよびその他に対してビット・ストリーム1を使用する追加のリプリゼンテーションが形成され得る。
トランスポート・パケットを有するランダム・アクセス・ポイントが、配置されたならば、図2のサーバ基本構成100は、予めトランスポート・パケット化が起こる際によく機能する。図3は、ランダム・アクセス・ポイントが必ずしもトランスポート・パケットを伴って配置する必要がない場合により適合するVoDサーバ基本構成200を示している。図3を参照すれば、VoDサーバ基本構成200は、記憶装置14および140と同様の記憶装置240に記憶させるための複数の異なるビット・レート・リプリゼンテーションを生成するマルチレートビデオ・エンコーダ210を含んでいる。記憶装置140に保存されるリプリゼンテーションは、パケット化されていないビット・ストリームとして存在する。
記憶装置240に保存されているリアル・タイム出力用のリプリゼンテーションの選択は、セレクタ・ブロック250から受信した信号に応答して起こる。本質的に図2のセレクタ・ブロック150と同様のセレクタ・ブロック250は、スタティック・ミキサ(static mixer)/多重化装置260からの特定のリプリゼンテーションの要求に応答して、記憶された出力用のリプリゼンテーションを識別する。セレクタ・ブロック250からの信号を受けると、記憶装置240はスタティック・ミキサ/多重化装置260に、選択に係るパケット化されたリプリゼンテーションを供給する。パケタイザ212は、チャネル上の出力(図示せず)のためのスタティック・ミキサ/多重化装置260の出力ストリームをパケット化する。
また、リプリゼンテーションは、MPEG−2のBフレームやJVTの非記憶画像等の他の画像を予測するための参照画像として使用されない画像を含む、ビデオ・コーデック用(図示せず)等の非参照画像用の記憶されたビット・ストリーム間を切り替えることによっても形成される。各々の非参照画像は、非記憶画像が予測のために使われないので、その後のコード化画像の品質に影響を及ぼすことのない異なる記憶ビット・ストリームから選択され得る。リプリゼンテーションの非参照画像の完全な消去も行われる。各非参照画像は、個別に切り替えられることができるか、または非参照画像グループが一緒になって切り替えられることができ、多くの可能な限りの全ビット・レート・リプリゼンテーションが実現される。図1のマルチレートストリーム信号発生器12〜12P−1 は、図1のstat mux16に送信して、品質およびビット・レートに有意差があるものを選択するために、可能なリプリゼンテーションの数を制限することを選択する。各々のリプリゼンテーションが記憶装置に別々に記憶される必要はない。しかし、必要なときにリプリゼンテーションの生成を容易にするために、場所の一覧を示すテーブルおよび各々のコード化フレームの長さが記憶される。記憶画像のみの用途で複数のビット・レート・ビット・ストリームを記憶したり、参照画像(IおよびP)のシングル・バージョンのみを記憶し、記憶容量を大幅に減らすこともまた、可能である。
図2および図3のビデオ・オン・デマンド(VoD)サーバ基本構成100および200について、統計的多重化装置(stat mux)160およびスタティック・ミキサ/多重化装置260は、それぞれ選択されたリプリゼンテーションに対応するビット・ストリームを生成する。個々の画像が配置されたトランスポート・パケットでない場合、図3の基本構成200は、特定のリプリゼンテーションのためのビット・ストリームの生成の後、トランスポート・パケット化を行う。一方、図2のVoDサーバ基本構成100は、問題なく機能する。
本発明の他の態様によれば、基本層および1つ以上の拡張層を形成するために、スケーラブルなビデオ・エンコーダ(図示せず)の使用によるスケーラブルなビデオ・コード化が可能である。周波数スケーラビリティ、FGS、SNRスケーラビリティまたは時間的スケーラビリティ等の、モーション用の基本層を使用し、変動を避けるために参照画像予測が補償されたいかなる形式のスケーラビリティをも使用することができる。最も低いビット・レート・リプリゼンテーションは、基本層に相当する。基本層のピークのビット・レートは、全てのプログラムの基本層のビット・レートを合計した場合、各々の時間ウィンドウTについてチャネル容量Cを超えないようなものでなければならない。他のより高いビット・レート・リプリゼンテーションは、基本層に拡張層の幾つかの部分を加えたものに相当する。この方法では、ビデオ・デコーダが、使用するスケーラビリティの形式をサポートしていることが必要でする。図2のVoDサーバ基本構成100は、特定のリプリゼンテーションにおける全ての拡張層を包含するのに使用される。拡張層の一部がリプリゼンテーションにおいて使用される場合、図3のVoDサーバ基本構成200が用いられる。
図2のVoDサーバ基本構成100では、非リアル・タイムでなされるトランスポート・パケット化プロセスに暗号化が加えられており、全部の暗号化されたトランスポート・パケットが記憶され伝送されるので、コンテンツの権利を管理するための暗号化を使用するシステムのために、リアル・タイムのいかなる解読も暗号化も必要としない。図3のVoDサーバ基本構成200は、暗号化がリアル・タイムのトランスポート・パケット化と共に実行されることを必要としている。
一般に、VoDプログラムは、オーディオおよびビデオを含んでいる。音声ビット・レートは、一般にビデオ・ビット・レートよりかなり低く、また、通常固定ビット・レートであるので、図1および図2の統計的多重化装置(stat mux)16および160、並びに図3のスタティック・ミキサ/多重化装置260を用いた、プリコード化された異なる音声ビット・ストリームからの選択により得られる利点が少ない。ユーザは、配信されている単一のプログラムを見ている間、音声品質の切り替えに気づき易い。単一ビット・レートのオーディオ・ストリームがまた、各プログラムに対して送信されると仮定すると、全チャネル容量Cは、ビデオ・チャネルにより完全に消費されるものと考えられる。或いは、上記の方法はまた、オーディオに適用することが可能であり、異なるビット・レートおよび品質を有する音声プログラムの複数のリプリゼンテーションが生成される。
本発明のVoDサーバ基本構成により動作するビデオ・プレーヤ(図示せず)は、ビデオ・デコーダ(図示せず)およびバッファリングのための幾つかの記憶装置を含んでいる。受信した特定のプログラムに対して、時間単位Tに対応するデータが、T時間ウィンドウ中の何れかの時点で到達するという条件で、データは非一様(non−uniform)データレートに到達する。ビデオ・プレーヤは、Tをバッファして、遅延する能力を有していなければならない。時間ウィンドウTについてのプログラムの所定のリプリゼンテーション毎に伝送される最大ビット・レートに対する上限は、デコーダの複雑さ、およびデコーダ・バッファ・サイズを制限するように予め決定されていてもよい。デコーディング・バッファは、例えばMPEG−2レベルの設定バッファ・サイズの特定条件のように、一般にビデオ・デコーダの必要条件となっており、それを満足するTとビット・レートとの組合せが選択される。
各プログラムに対するトラック早送りおよび早戻しもまた、VoDサーバに保存される。それらは単一のビット・レートで、または種々のビット・レートで記憶され、通常プレイ・プログラムに対してなされているように適応させることができる。
時間ウィンドウT長の判定は、幾つかの要因に基づいてなされる。Tは、大部分が統計的多重化増加を得ることができるほどの大きさである必要があるが、ビデオ・プレーヤにおけるスタートアップ(起動)および通常再生(プレイ)とトリック再生(トリック・プレイ)の間の切り替えに対しては、遅延を制限するのに十分なほどに小さくなければならない。Tは、デコーダの条件を満たすのに十分に小さくなければならない。
上記により、固定チャネルの帯域幅制限を維持すると共に、ビデオ・オン・デマンドを効率的に提供するためのシステムと方法が開示されるものである。
図1は、本発明によるビデオ・オン・デマンド・サーバ基本構成の第1の実施形態のブロック図を表す。 図2は、本発明によるビデオ・オン・デマンド・サーバ基本構成の第2の実施形態のブロック図を表す。 図3は、本発明によるビデオ・オン・デマンド・サーバ基本構成の第3の実施形態のブロック図を表す。

Claims (22)

  1. 固定帯域幅チャネル全体に亘って異なるビット・レートを有する複数のプリコード化されたプログラムを伝送する方法であって、
    各々のプログラムの少なくとも2つの異なるビット・レート・リプリゼンテーションを生成するステップと、
    各プログラムの各リプリゼンテーションに対して各々の複数の連続した時間ウィンドウTにおいて制御情報を提供するステップであって、前記各々の連続したウィンドウに対する制御情報は、対応するプログラムのリプリゼンテーションについてのビット・レートおよび品質基準を示す、前記制御情報を提供するステップと、
    各々の時間ウィンドウTの間、チャネルの全有効容量を超えることなく選択されたリプリゼンテーションの品質を最高にするような各々のプログラムに対するリプリゼンテーションを選択するステップと、
    を有することを特徴とする方法。
  2. 前記少なくとも2つの異なるビット・レート・リプリゼンテーションを生成するステップは、各々のプログラムに対して、C/P(但し、Cは時間TおよびPにおける全チャネル容量であり、Pは全プログラム数である)より大きくないピーク・ビット・レートを有する最も低いビット・レート・リプリゼンテーションを生成するステップを更に有する、請求項1に記載の方法。
  3. 前記制御情報を提供するステップは、前記制御情報に表される品質基準としてピーク信号対雑音比(PSNR)を設定するステップを更に有する、請求項1に記載の方法。
  4. 前記選択するステップは、各々のプログラムについて全ての時間ウィンドウに対して制限
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートである)を満たすリプリゼンテーションを選択するステップを更に有する、請求項1に記載の方法。
  5. 最低限の品質を有したプログラムpの品質を最高にするために、各々のプログラムのリプリゼンテーションn[p]∈(0,N[P]−1)を選択するステップを更に有する、請求項4に記載の方法。
  6. (a)インデックス値により単調に増加するビット・レートおよび品質基準を伴う品質情報をソートするステップと、
    (b)各々のインデックス値について、各々のビット・レート増分(デルタ)および品質値を記憶するステップと、
    (c)最も低いインデックス値から開始し、当該インデックス値についてここまで選択されたプログラム・リプリゼンテーションに対して全容量Sを計算するステップと、
    (d)最も低い品質基準でプログラム・リプリゼンテーションを選択するステップと、
    (e)最も低い品質で選択されたプログラムのビット・レート増分が、ここまで選択されたリプリゼンテーションに加えられる際に、全チャネル容量を超えるかどうかを調べるステップと、
    そして、もし超えなければ、
    (f)インデックス値を増やすステップと、および
    (g)ステップ(c)〜(f)を繰り返すステップと
    を更に有する請求項5に記載の方法。
  7. 前記選択するステップは、
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートであり、q[p、x]はTの間のプログラムpのリプリゼンテーションxの品質である)を解くことにより、個々のプログラムの品質の合計が最大になるように各々のプログラムについてリプリゼンテーションを選択するステップを更に有する、請求項1に記載の方法。
  8. 前記選択するステップは、
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートであり、q[p、x]はTの間のプログラムpのリプリゼンテーションxの品質である)を解くことにより、個々のプログラムの品質の積が最大になるように各々のプログラムについてリプリゼンテーションを選択するステップを更に有する、請求項1に記載の方法。
  9. 異なる視聴者に対して異なるクラスのサービスを提供するために加重平均を適用するステップを更に有する、請求項8に記載の方法。
  10. 固定帯域幅チャネル全体に亘って異なるビット・レートを有する複数のプリコード化されたプログラムを伝送するシステムであって、
    各々のプログラムの少なくとも2つの異なるビット・レート・リプリゼンテーションを生成する手段と、
    各プログラムの各リプリゼンテーションに対して各々の複数の連続した時間ウィンドウTにおいて制御情報を提供する手段であって、前記各々の連続したウィンドウに対する制御情報は対応するプログラムのリプリゼンテーションについてのビット・レートおよび品質基準を示す前記制御情報を提供する手段と、
    各々の時間ウィンドウTの間、チャネルの全有効容量を超えることなく選択されたリプリゼンテーションの品質を最高にするような各々のプログラムに対するリプリゼンテーションを選択する手段と、
    を有することを特徴とするシステム。
  11. 前記生成する手段および前記制御情報を提供する手段は、全体として、それぞれ対応する複数のプリコード化されたプログラムの1つに関連する複数のマルチレートストリーム発生器を有する、請求項10に記載のシステム。
  12. 前記生成する手段および前記制御情報を提供する手段は、全体として、各々のプリコード化したプログラムの少なくとも2つのビット・レート・リプリゼンテーションをコード化するマルチレートビデオ・エンコーダを有する、請求項10に記載のシステム。
  13. 前記生成する手段および前記制御情報を提供する手段は、全体として、
    各々のプリコード化したプログラムの少なくとも2つのビット・レート・リプリゼンテーションをコード化するマルチレートビデオ・エンコーダと、
    各々のプリコード化されたプログラムについてビット・レート・プレゼンテーションをパケット化する役割をする複数のトランスポート・パケタイザと、
    を有する、請求項10に記載のシステム。
  14. 前記選択する手段は、統計的多重化装置を有する、請求項10に記載のシステム。
  15. 前記選択する手段は、
    統計的多重化装置と、
    選択するリプリゼンテーションをパケット化するトランスポート・パケタイザと、
    を有する、請求項12に記載のシステム。
  16. 前記選択する手段は、各々のプログラムについて、各々のプログラムに対して、C/P(但し、Cは時間TおよびPにおける全チャネル容量であり、Pは全プログラム数である)より大きくないピーク・ビット・レートを有する最も低いビット・レート・リプリゼンテーションを生成する、請求項10に記載のシステム。
  17. 前記制御情報を提供する手段は、ピーク信号対雑音比(PSNR)に従って品質基準を設定する、請求項10に記載のシステム。
  18. 前記選択する手段は、各々のプログラムについて全ての時間ウィンドウに対して制限
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートである)を満たすリプリゼンテーションを選択する、請求項10に記載のシステム。
  19. 前記選択する手段は、最低限の品質を有したプログラムpの品質を最高にするために、各々のプログラムのリプリゼンテーションn[p]∈(0,N[P]−1)を選択する、請求項18に記載のシステム。
  20. 前記選択する手段は、
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートであり、q[p、x]はTの間のプログラムpのリプリゼンテーションxの品質である)を解くことにより、個々のプログラムの品質の合計が最大になるように各々のプログラムについてリプリゼンテーションを選択する、請求項10に記載のシステム。
  21. 前記選択する手段は、
    Figure 2005538651

    (但し、Cは時間ウインドウTにおける全有効チャネル容量であり、Pは全プログラム数であり、p∈(0,P−1)は特定のプログラムのインデックスであり、N[p]はプログラムpの全リプリゼンテーション数であり、n[p]∈(0,N[p]−1)はプログラムpの特定のリプリゼンテーションのインデックスであり、r[p、x]はTの間のプログラムpのリプリゼンテーションxのビット・レートであり、q[p、x]はTの間のプログラムpのリプリゼンテーションxの品質である)を解くことにより、個々のプログラムの品質の積が最大になるように各々のプログラムについてリプリゼンテーションを選択する、請求項10に記載のシステム。
  22. 異なる視聴者に対して異なるクラスのサービスを提供するために加重平均を適用する、請求項10に記載のシステム。
JP2004536401A 2002-09-10 2003-09-10 ビデオ・オン・デマンド・サーバのシステムおよび方法 Expired - Fee Related JP4643988B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40964502P 2002-09-10 2002-09-10
PCT/US2003/028275 WO2004025405A2 (en) 2002-09-10 2003-09-10 Video on demand server system and method

Publications (3)

Publication Number Publication Date
JP2005538651A true JP2005538651A (ja) 2005-12-15
JP2005538651A5 JP2005538651A5 (ja) 2006-10-19
JP4643988B2 JP4643988B2 (ja) 2011-03-02

Family

ID=31993986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004536401A Expired - Fee Related JP4643988B2 (ja) 2002-09-10 2003-09-10 ビデオ・オン・デマンド・サーバのシステムおよび方法

Country Status (7)

Country Link
EP (1) EP1550309A4 (ja)
JP (1) JP4643988B2 (ja)
KR (1) KR101014451B1 (ja)
CN (1) CN100344162C (ja)
AU (1) AU2003267076A1 (ja)
BR (2) BR0306317A (ja)
WO (1) WO2004025405A2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324592B2 (en) * 2003-08-13 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Resource-constrained encoding of multiple videos
US8868772B2 (en) 2004-04-30 2014-10-21 Echostar Technologies L.L.C. Apparatus, system, and method for adaptive-rate shifting of streaming content
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
JP5281793B2 (ja) * 2004-07-07 2013-09-04 トムソン ライセンシング 冗長なビデオ・ストリームを用いた、dslを介したディジタル・ビデオ放送システムにおける高速チャンネル切替え
IL165585A (en) * 2004-12-06 2010-06-16 Eci Telecom Ltd Broadband communication network provided with media storage
US8621543B2 (en) 2004-12-08 2013-12-31 Imagine Communications Ltd. Distributed statistical multiplexing of multi-media
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
US8370514B2 (en) 2005-04-28 2013-02-05 DISH Digital L.L.C. System and method of minimizing network bandwidth retrieved from an external network
US7979885B2 (en) 2005-08-11 2011-07-12 Harmonic Inc. Real time bit rate switching for internet protocol television
DE602005007620D1 (de) 2005-12-14 2008-07-31 Ntt Docomo Inc Vorrichtung und Verfahren zur Bestimmung der Übertragungspolitik für mehrere und verschiedenartige Anwendungen
IL176288A0 (en) 2006-06-13 2007-07-04 Imagine Comm Ltd Synchronous transmission over packet based network
CN101166263B (zh) * 2006-10-17 2010-06-02 盈汛科技股份有限公司 具有故障弱化暨容错的视频点播系统及方法
KR100950678B1 (ko) * 2007-10-23 2010-03-31 전자부품연구원 Svc 비디오 콘텐츠 제공 장치 및 방법
KR100869513B1 (ko) * 2007-11-30 2008-11-19 인하대학교 산학협력단 트랜스코딩 서버의 기억 공간을 관리하는 방법
US8468572B2 (en) 2008-03-26 2013-06-18 Cisco Technology, Inc. Distributing digital video content to multiple end-user devices
US20110150412A1 (en) * 2008-08-20 2011-06-23 Jacky Dieumegard Receiving device
US9106544B2 (en) 2008-11-12 2015-08-11 Google Technology Holdings LLC Multi-rate statistical multiplexing
EP2359602B1 (en) 2008-11-25 2019-09-11 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for statistical multiplexing
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
CN101931788A (zh) * 2009-06-24 2010-12-29 Rgb网络有限公司 视频点播系统中经预先统计多路复用流的递送
US9510029B2 (en) 2010-02-11 2016-11-29 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
CN107770145A (zh) * 2016-08-23 2018-03-06 中兴通讯股份有限公司 一种带宽管理的方法和装置
US11076179B2 (en) 2017-06-13 2021-07-27 DISH Technologies L.L.C. Viewership-balanced video multiplexing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257415A (ja) * 1997-03-07 1998-09-25 Matsushita Electric Ind Co Ltd ストリーム通信制御装置
JP2000244509A (ja) * 1999-02-18 2000-09-08 Toshiba Corp 連続メディアデータ転送システム及びレート制御方法
JP2001144802A (ja) * 1999-11-11 2001-05-25 Canon Inc データ通信装置及びその方法及び通信システム及び記憶媒体
JP2001211201A (ja) * 2000-01-25 2001-08-03 N Ii C Cable Media Kk ディジタル多重化装置およびその方法
WO2001058096A1 (en) * 2000-02-02 2001-08-09 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for distributing compressed bit stream to user device over network
WO2002032147A1 (en) * 2000-10-11 2002-04-18 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5940738A (en) * 1995-05-26 1999-08-17 Hyundai Electronics America, Inc. Video pedestal network
US5812786A (en) * 1995-06-21 1998-09-22 Bell Atlantic Network Services, Inc. Variable rate and variable mode transmission system
US5926649A (en) * 1996-10-23 1999-07-20 Industrial Technology Research Institute Media server for storage and retrieval of voluminous multimedia data
US6385771B1 (en) * 1998-04-27 2002-05-07 Diva Systems Corporation Generating constant timecast information sub-streams using variable timecast information streams
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257415A (ja) * 1997-03-07 1998-09-25 Matsushita Electric Ind Co Ltd ストリーム通信制御装置
JP2000244509A (ja) * 1999-02-18 2000-09-08 Toshiba Corp 連続メディアデータ転送システム及びレート制御方法
JP2001144802A (ja) * 1999-11-11 2001-05-25 Canon Inc データ通信装置及びその方法及び通信システム及び記憶媒体
JP2001211201A (ja) * 2000-01-25 2001-08-03 N Ii C Cable Media Kk ディジタル多重化装置およびその方法
WO2001058096A1 (en) * 2000-02-02 2001-08-09 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for distributing compressed bit stream to user device over network
WO2002032147A1 (en) * 2000-10-11 2002-04-18 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects

Also Published As

Publication number Publication date
CN100344162C (zh) 2007-10-17
EP1550309A4 (en) 2017-02-01
BRPI0306317B1 (pt) 2018-11-21
KR20050036998A (ko) 2005-04-20
AU2003267076A8 (en) 2004-04-30
WO2004025405A3 (en) 2004-07-08
JP4643988B2 (ja) 2011-03-02
KR101014451B1 (ko) 2011-02-14
WO2004025405A2 (en) 2004-03-25
EP1550309A2 (en) 2005-07-06
CN1679336A (zh) 2005-10-05
BR0306317A (pt) 2007-05-08
AU2003267076A1 (en) 2004-04-30

Similar Documents

Publication Publication Date Title
JP4643988B2 (ja) ビデオ・オン・デマンド・サーバのシステムおよび方法
US7844992B2 (en) Video on demand server system and method
US6327421B1 (en) Multiple speed fast forward/rewind compressed video delivery system
EP2919453B1 (en) Video stream switching
US11412282B2 (en) Edge optimized transrating system
US7610605B2 (en) Method and apparatus for conversion and distribution of data utilizing trick-play requests and meta-data information
EP0893027B1 (en) Compressed-video distribution system having a statistical multiplexer with transcoders
US8238438B2 (en) Image data transmitting apparatus and method and image data reproducing apparatus and method
US20020131496A1 (en) System and method for adjusting bit rate and cost of delivery of digital data
JP5314825B2 (ja) Cpuの負荷を安定させるためにスケーラブルビデオを動的に適応復号化するためのシステム及び方法
US6879634B1 (en) Method and system for transmitting media streams over a variable bandwidth network
WO2009096366A1 (ja) 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
KR20100037659A (ko) 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び/又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
JPH09163362A (ja) ソフトウェア実行型端末相互スケーラブルビデオ送達システム用ソフトウェアベースエンコーダ
JP2017520940A5 (ja) レイヤードコード化コンテンツを多重化する方法および装置
KR100840419B1 (ko) 정보 배신 시스템 및 방법과 그 정보 배신 장치, 수신단말기, 정보 중계 장치
Lee Scalable continuous media streaming systems: Architecture, design, analysis and implementation
JP2004357205A (ja) 画像データ伝送装置及び方法、画像データ再生装置及び方法
Krunz et al. Efficient support for interactive scanning operations in MPEG-based video-on-demand systems
US8401086B1 (en) System and method for increasing responsiveness to requests for streaming media
KR101225037B1 (ko) 인터넷 텔레비전을 이용한 영상 고속 재생방법 및 그 장치
JP2001502125A (ja) データ伝送における又はデータ伝送に関する改良
KR20080012377A (ko) 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060901

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20060919

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061115

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090206

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100713

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101203

R150 Certificate of patent or registration of utility model

Ref document number: 4643988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees