JP2003519992A - データストリームの変換方法と装置 - Google Patents

データストリームの変換方法と装置

Info

Publication number
JP2003519992A
JP2003519992A JP2001551026A JP2001551026A JP2003519992A JP 2003519992 A JP2003519992 A JP 2003519992A JP 2001551026 A JP2001551026 A JP 2001551026A JP 2001551026 A JP2001551026 A JP 2001551026A JP 2003519992 A JP2003519992 A JP 2003519992A
Authority
JP
Japan
Prior art keywords
stream
format
data
program
elementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001551026A
Other languages
English (en)
Other versions
JP4731083B2 (ja
JP2003519992A5 (ja
Inventor
オクタビゥス ジェイ モーリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003519992A publication Critical patent/JP2003519992A/ja
Publication of JP2003519992A5 publication Critical patent/JP2003519992A5/ja
Application granted granted Critical
Publication of JP4731083B2 publication Critical patent/JP4731083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Abstract

(57)【要約】 【課題】 MPEGプログラムストリームとトランスポートストリームなどのフォーマットの間でデータストリームを変換するときに必要となる計算負荷および/または記憶域スペースを低減すること。 【解決手段】 デジタルビデオレコーダまたは類似する装置が、MPEG-2プログラムストリーム(PS)フォーマットを有する入力データストリームを、MPEG-2トランスポートストリーム(TS)フォーマットを有する出力データストリームに変換する方法を実施する。入力データストリーム(TS)は、TS復号器モデルに準拠して形成およびマルチプレキシングされている、少なくとも第1および第2基本データストリーム(404,406)を含む。第1基本ストリームは、ビデオストリームであり、第2ストリームは、よりデータ速度の低いオーディオストリームである。入力ストリームは、解析され(402)、基本ストリームが、各FIFOキュー404/406に逆マルチプレクシングされる。各ストリームは、さらに解析されて、(404/406内の)ストリームデータを指すポインタと共にキュー(408/410)に個別に格納されるタイムスタンプ情報を、取得および計算する。入力ストリーム(TS)内の基本ストリームに適用されているスケジュールとパケット化は、出力ストリーム(PS)の作成時に直接適用することはできない。しかし、MPEGまたはその他の仕様によって入力ストリームに課せられている制約とパラメータに基づいて、再マルチプレクサ412は、0から基本ストリームをマルチプレキシングするのに要するバッファサイズを必要とせずに、基本データストリームを、有効な出力ストリーム(TS)に再スケジューリングおよび再パケット化することができる。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】
本発明は、マルチプレキシングされたデータストリームを1つのマルチプレキ
シングフォーマットから別のフォーマットに変換する(トランスマルチプレキシ
ング)方法および装置に関する。本発明は、特に、例えば、MPEG-2仕様(ITU-T
勧告H.222.0 | ISO/IEC 13818-1)に準拠してプログラムストリームフォーマッ
トからトランスポートストリームフォーマットにビデオストリームおよびオーデ
ィオストリームをトランスマルチプレキシングすることに応用できる。
【0002】 上述のMPEG-2標準は、マルチメディアのマルチプレキシング、同期、タイムベ
ースの回復の一般的な方法を指定する。この仕様は、各基本ビットストリーム(
ビデオ、オーディオ、その他のデータ)がパケット化基本ストリーム(PES)にセ
グメント化され、かつ、各パケットが2種類のストリームタイプのいずれかにマ
ルチプレキシングされる、パケットベースのマルチメディア・マルチプレキシン
グを規定する。プログラムストリーム(PS)は、可変長のPESパケットのマルチプ
レクスであり、ディスク上の記録など、エラーのない環境での使用のためにデザ
インされている。トランスポートストリーム(TS)は、188バイトの固定長パケッ
トで構成され、1つのプログラムの各種のPESパケットをマルチプレキシングする
のみでなく、複数のプログラム(programme)をマルチプレキシングすることがで
き、放送などエラーのある環境での使用のためにデザインされている。マルチメ
ディア同期とタイムベーストリームカバリは、システムタイムクロックとプレゼ
ンテーション/復号用にタイムスタンプを使用することで達成される。
【0003】 ストリームの各タイプには、異なる状況において利点と欠点をもつので、MPEG
-2仕様は、この2つのフォーマット間の変換が望ましいことを認識している。し
かし、フォーマットの違いと、特に「ターゲット復号器」モデル(これによって
特にバッファサイズ、時間遅延、データ速度の違いなどに関する制約が決まる)
に起因して、各種の基本ストリームを、一方のフォーマットと同じスケジューリ
ングで他方のフォーマットにおいてスケジューリングすることができない。この
ため、一方のタイプのストリームを他方に変換するときに、基本ストリームデー
タを逆マルチプレキシング(demultiplex)してから再びマチルプレキシングする
必要がある。また、ランダムアクセスや編集を行えるようにデザインされたPSデ
ータに構造を置き換えるためのシステム情報が、一般にTSブロードキャストに存
在しないという要因もある。
【0004】
【従来の技術】
EP-A-0 833 514(ソニー)は、レコーダ/プレーヤ装置とプレゼンテーション
(ディスプレイ装置)のシステムを提案している。例えば、プレーヤは、ディス
クからPSフォーマットのデータを読み取り、それを表示用のTSフォーマットに変
換する。しかし、その実施例におけるバッファサイズは、有効なPSフォーマット
を有効なTSフォーマットに変換するのに各種の基本ストリームの再スケジューリ
ングを必要とする各種の制約を考慮しているように思われない。実際に、TS仕様
自体によって課せられる制約は、少なくとも1秒分のビデオ情報用のバッファと
、0からストリームを形成する場合と同じ処理量とを必要とする。TSフォーマッ
トからPSフォーマットへの変換は、EP-A-0 833 514には記載されていない。
【0005】
【課題を解決するための手段】
本発明の目的は、MPEGプログラムストリームとトランスポートストリームなど
のフォーマットの間でデータストリームを変換するときに必要となる計算負荷お
よび/または記憶域スペースを低減することである。任意の2つのフォーマット
の間でマルチプレキシング・ストリームを変換するときには一般に同様の問題が
生じるので、本発明は、MPEG-2準拠ストリームの厳密な範囲を超えて適用可能で
あることが理解されるであろう。
【0006】 本発明者は、1つのフォーマットから別のフォーマットに変換するためには再
スケジューリングは避けられないが、変換元のフォーマットに固有な制約を利用
することで、変換に必要なバッファのサイズおよび/または処理量を低減させる
ことが可能であることの認識に到った。
【0007】 本発明は、指定されたトランスポートストリーム(TS)フォーマットで受信され
たデータストリームを、指定されたプログラムストリーム(PS)フォーマットにお
ける出力データストリームに変換する方法であって、前記TSフォーマットが、目
的のプログラムに関連する符号化された情報の少なくとも第1および第2パケット
化基本ストリームが、さらにTSパケットにパケット化されていて、かつ別のプロ
グラムに関連するさらなるストリームと共にマルチプレキシングされているフォ
ーマットであり、前記PSフォーマットが、前記第1および第2基本ストリームと、
随意的に、選択されたプログラムに一般に関連する別のストリームとが、パケッ
ト化されていて、かつそれらパケットがインターリーブされてPSパックのマルチ
プレキシング化ストリームを形成しているフォーマットであり、各PSパックが、
パックヘッダと、パケット化基本ストリームの1つ以上の完全なパケットとを含
む方法において、当該方法が、 (a) 前記受信されたデータストリームから、前記第1および第2基本ストリーム
それぞれのその時点のストリームインデックスを識別するプログラムマッピング
情報を取り出すステップ、 (b) 前記受信されたデータストリームのデータをフィルタリングして、前記目
的の基本ストリームを伝えるパケットを取り出すステップ、 (c) パケットヘッダ情報に従って前記第1および第2基本ストリームを解析し、
目的の各基本ストリームのペイロード内の一連のプレゼンテーションユニットを
識別するステップ、 (d) 各ストリームの前記プレゼンテーションユニットを、再マルチプレキシン
グの前に、それぞれ前記第1および第2ペイロードキューに順に書き込むステップ
、 (e) 前記基本ストリームの間の同期関係と、PSターゲット復号器モデルの制約
とPSストリームの制約に従って、前記第1および第2ペイロードキューからのペイ
ロードデータを一連のPSパックに再マルチプレキシングするための有効なPSスケ
ジュールを決定するステップ、 (f) 前記決定されたPSスケジュールに従って、各キューから当該ペイロードデ
ータを取得し、各基本ストリームを再パケット化するようにパケットヘッダを挿
入し、PSパックヘッダを生成し、前記第1および第2基本ストリームを一連のPSパ
ックにマルチプレキシングして当該出力信号を生成するステップ、 を有し、 ステップ(e)において決定された前記PSスケジュールが、前記受信されたTSフ
ォーマットの信号内のプレゼンテーションユニットのスケジューリングに依存す
る、方法を提供する。
【0008】 前記方法は、 (g) 前記受信されたデータストリームから、前記パケット化基本ストリーム内
の固有のポイントに対応するタイミング基準を取り出し、かつ前記受信されたTS
フォーマットデータストリーム内でタイミング基準が付随していないプレゼンテ
ーションユニットの、補間されたタイムスタンプ値を含む、各基本ストリーム内
の各プレゼンテーションユニットに対するタイムスタンプ値を計算するステップ
、 (h) 前記第1および第2ペイロードキューに入力された前記各プレゼンテーショ
ンユニットに一致するように、前記タイムスタンプ値を第1および第2タイムスタ
ンプキューに書き込むステップ、 (i) 前記対応するペイロードデータの取得時に前記キューから各タイムスタン
プ値を取得するステップ を有する方法も提供する。
【0009】 本発明は、前記PSパック内で始まる新しいプレゼンテーションユニットのプレ
ゼンテーションタイミング基準値が、前記PSパックに含まれ、当該プレゼンテー
ションタイミングが、前記受信されたデータストリーム内の特定のプレゼンテー
ションユニットに付随するTS伝送タイミング基準フィールドとプレゼンテーショ
ンタイミング基準フィールドからの計算によってと、前記受信されたTSフォーマ
ットのデータストリーム内で伝送タイミング基準が付随していないプレゼンテー
ションユニットの補間とによって取得される、方法も、提供することができる。
【0010】 ここに開示される固有の一実施例の場合、前記第1基本ストリームの前記デー
タ速度は、前記第2基本ストリームのそれより実質的に大きい。
【0011】 本発明による特定の一実施例の場合、ステップ(e)において、前記第1基本スト
リームの複数のTSパケットからの前記ペイロードデータは、当該いずれかのデー
タを前記PSスケジュールでスケジューリングする前に、一般に、実質的に1つの
完全なPSパックを埋めるように蓄積される。
【0012】 さらに、当該一実施例の場合、ステップ(e)において、前記第2基本ストリーム
の1つの完全なプレゼンテーションユニットに対応する前記ペイロードデータは
、前記基本ストリームのデータが実質的に1つの完全なPSパックを埋めるまで待
たずにスケジューリングすることができる。
【0013】 本発明のさらに別の一実施例の場合、ステップ(e)において、前記第1基本スト
リームの前記データは、少なくとも前記第2基本ストリームの1つの完全なプレゼ
ンテーションユニットを受信するのに必要な最小時間に等しい遅延だけ、前記第
1ペイロードキュー内で遅延させることができ、その一方で、前記第2基本ストリ
ームのプレゼンテーションユニットは、それが完全に受信された直後にスケジュ
ーリングさせることができる。
【0014】 本発明の一実施例の場合、プレゼンテーションユニットデータの異なるサイズ
および/または異なるデータ伝送速度は、前記第2基本ストリームの場合の前記T
Sフォーマット内で有効であり、その一方で、前記最小時間は、最低速度におけ
る最大サイズの1つの完全なプレゼンテーションユニットを受信するのに必要な
前記時間に少なくとも等しい時間に固定される。
【0015】 本発明の一実施例の場合、前記PSフォーマットは、復号時に互換復号器内に前
記第1基本ストリームのペイロードを保持するための最小のバッファサイズを指
定し、その一方で、前記第1ペイロードキューの最大容量は、前記最小バッファ
サイズの1/10以下である。
【0016】 前記PSフォーマットは、復号時に互換復号器内に前記第1基本ストリームのペ
イロードを保持するための最小のバッファサイズをさらに指定することができ、
その一方で、前記第1ペイロードキューの最大容量は、当該最小バッファサイズ
の1/20以下である。
【0017】 前記第1ペイロードキューは、各PSパックの前記サイズの1.5倍と4倍の間の最
大容量を有することができる。
【0018】 前記タイムスタンプキュー内の入力値は、前記対応するプレゼンテーションユ
ニットの、前記受信されたデータストリーム内の前記プレゼンテーションユニッ
トのTSフォーマットの伝送タイムと、復号後の前記プレゼンテーションユニット
のプレゼンテーションタイムとを記録することができ、かつ、同じプレゼンテー
ションユニットを含む前記PSパックが、前記パックのPSフォーマットの伝送タイ
ムの指示と、前記PSパック内の少なくとも1つのプレゼンテーションユニットの
プレゼンテーションタイムの指示とを含む。
【0019】 本発明の一実施例の場合、前記PSフォーマットの出力データストリームに含ま
れる前記タイミング基準値は、前記受信されたTSフォーマットのデータストリー
ム全体を通じてのタイムベースの変化に関係なく、1つのタイムベースを参照し
て計算される。
【0020】 本発明の特定の一実施例の場合、前記PSパックおよび基本ストリームパケット
は、新しいプレゼンテーションユニットの先頭をPSパックの先頭に優先的にアラ
インメントするように生成され、かつ、この生成は、かつ、前記受信されたTSフ
ォーマットのデータストリーム内の対応する部分のミスアラインメントに関係な
く行われる。
【0021】 本発明の特定の一実施例の場合、当該PSフォーマットのデータストリームは、
前記TSフォーマットのストリーム内で伝えられてそれに従うプログラムマッピン
グの変化に関係なく、固定されたプログラムマッピングを採用するように生成さ
れる。
【0022】 本発明の開示されている一実施例の場合、前記第1基本ストリームのプレゼン
テーションユニットは、符号化されたビデオピクチャを有し、かつ、前記第2基
本ストリームの前記プレゼンテーションユニットは、符号化されたオーディオフ
レームを有する。
【0023】 本発明は、指定されたトランスポートストリーム(PS)フォーマットで受信され
たデータストリームを指定されたプログラムストリーム(PS)フォーマットにおけ
る出力データストリームに変換する方法において、当該TSフォーマットが、MPEG
-2トランスポートストリーム仕様に準拠し、その一方で、当該PSフォーマットが
MPEG-2プログラムストリーム仕様に準拠し、いずれもITU-T勧告H.222.0およびIS
O/IEC 13818-1に定義される方法を、さらに提供する。
【0024】 本発明は、オーディオビジュアルプログラムを記録する方法において、記録す
るプログラムが、トランスポートストリーム(TS)フォーマットで伝えられる複数
のプログラムの中から選択され、かつ前述された方法によってプログラムストリ
ーム(PS)フォーマットに変換され、次いで以降に取得および復号できるように記
録媒体上に記録される方法を、さらに提供する。
【0025】 本発明は、上に記載されている本発明による前記方法のいずれかを実施するた
めに特に適合化された手段を有する装置を、さらに提供する。このような装置は
、例えば、スタンドアロン型の復号器装置(セットトップボックス)、プレゼン
テーション装置(テレビ受像器など)、または記録/再生装置(デジタルビデオ
カセットレコーダ)の一部を形成することができる。
【0026】 当業者には、上記に識別される範囲を超える本発明のその他の特徴および利点
と、本発明の多くのバリエーションおよび変更が、固有の実施例の以下の説明を
考慮することによって明らかになるであろう。
【0027】 以下に、本発明の実施例を、単なる例として、添付図面を参照して説明する。
【0028】
【発明を実施するための形態】システムの例 図1は、ホームデジタルビデオ・エンターテインメントシステムの1つの例であ
り、このシステムは、デジタルTVチューナ100と、デジタルビデオ信号を復号し
て有料チャネルなどへのアクセスを制御するための「セットトップボックス」10
2と、公知の光ディスクビデオシステムまたは将来的なDVRレコーダなどのデジタ
ルビデオ再生/記録デバイス104と、記憶媒体自体(ディスク106)とを含んでい
る。この例では、衛星放送、またはケーブル放送、地上波放送から、またはディ
スク106上の記録からのピクチャを表示するために、この機器構成の中で従来の
アナログTV受像器108が使用されている。デジタルチューナ100とセットトップボ
ックス102の間で、MPEG互換のトランスポートストリーム(TS)フォーマットの信
号は、多数のデジタルTVチャネルを伝え、そのうちのいくつかのチャネルは、特
殊な条件的アクセス(有料TV)合意下で復号するためにスクランブルがかけられ
ていてもよい。例えば、DVB、ATSC、ARIBなどの標準のデジタル放送フォーマッ
トは、MPEG-2トランスポートストリームフォーマットでの固有な用途である。
【0029】 セットトップボックス102は、トランスポートストリームTSの中から目的のプ
ログラムの復号も行い、アナログオーディオ信号とビデオ信号をTV受像器108に
送る。これらのアナログ信号は、当然ながら、従来のビデオレコーダ(VCR)によ
って記録されたものでもよい。しかし、最大限の品質および機能性を得るには、
公知の光ディスクビデオシステムやDVRレコーダ104などのダイレクト・デジタル
-デジタルレコーダが望ましい。これは、IEEE1394 (「Firewire」)などのデジタ
ルインタフェースを介してセットトップボックスに接続される。これは、選択さ
れたプログラムがより大きなTSマルチプレクスから分離されていて、かつやはり
TSフォーマットでプレゼンテーションされる「部分TS」を伝える。これに対して
、改良されたディレクトリ構造とランダムアクセス機能を利用するために、プレ
ーヤ/レコーダ104は、TV受像器上のデジタルインタフェースとセットトップボッ
クス102を介して、ディスク106上への記録のためにTSフォーマットをPSフォーマ
ットに変換し、かつ、ディスク106に記録されたPSフォーマットのストリームを
再生するために部分TSフォーマットに変換するように構成されている。
【0030】 本説明は、おもにトランスポートストリーム(TS)フォーマットからプログラム
ストリーム(PS)フォーマットへの変換のプロセスに関するものであるが、これと
逆方向の変換は、1999年12月30日に出願された英国特許出願番号9930787.8(PHB
34445)の優先権を主張する「データストリームの変換方法と装置」という名称の
本出願人の継続中の出願の主題である。これらのフォーマット間での効率的な変
換を目的として適用される方法について詳しく説明する前に、この2つのフォー
マットについて、図2と図3を参照して以下に詳しく説明する。
【0031】 図2は、MPEG-2トランスポートストリーム(TS)フォーマットの重要な特徴と構
造を示す。トランスポートストリームTSは、図面においてT-PKTで示されたトラ
ンスポートパケットの連続するストリームであり、各ストリームは、188バイト
のデータを有し、かつ図の上部に示されているフォーマットを有する。構文(syn
tax)、セマンティクス、適用可能な制約を含めた、MPEG-2トランスポートストリ
ームの完全な詳細は、ITU-T勧告H.262 | ISO/IEC 13818-2に記載されている。MP
EG-2システムについての情報は、オンライン上のhttp://www.mpeg.orgから得ら
れる。要約すれば、各トランスポートパケットは、ヘッダ部分とペイロード部分
とを含み、このうちペイロード部分は、図においてバイトDAT-0〜DAT-Nとして示
されている。ヘッダは、先頭が個別の同期バイトSYNCであり、そのあとに、トラ
ンスポートエラーインジケータTEI (transport error indicator)、ペイロード
ユニットスタートインジケータUSI (payload unit start indicator)、トランス
ポート優先度インジケータTPI (transport priority indicator)、パケット識別
子PID (packet identification)、トランスポートスクランブリング・コントロ
ールフィールドTSC (transport scrambling control)、アダプテーション・フィ
ールドコントロールAFC (adaptation field control)、連続性カウンタCC (cont
inuity counter)などの各種のフラグとコントロールフィールドが続く。フィー
ルドAFCの内容によっては、通常はペイロードデータに割り当てられるスペース
の一部を、アダプテーションフィールドAFが占めることがある。
【0032】 DVBデジタル放送フォーマットの例において、TSストリームのデータ速度は約4
0(メガビット/秒)であり、これに対してオーディオビジュアルプログラムの
代表的なデータ速度は10メガビット/秒以下である。従って、図2においてTSに
示されているように、各種のプログラムPROG1とPROG3は、1つのトランスポート
ストリームにマルチプレキシングすることができる。各トランスポートパケット
のフィールドPIDは、そのパケットが対応する1基本ストリームを示し、これらは
多数の他のストリームとトランスポートパケット単位でインターリーブされてい
る。1つのプログラムは、例えば、ビデオストリーム(本例ではPID='005')、オ
ーディオストリーム(PID='006')、テレテキスト(teletext)データストリーム(PI
D='007')を有する。PID値とプログラムの間の対応関係と、各PIDによって伝えら
れるデータのタイプは、プログラム固有情報PSI (programme specific informat
ion)テーブルのフォーマットで維持される。定期的に、トランスポートストリー
ム内で、プログラム対応テーブルPAT (programme association table)が、PID=0
のトランスポートパケットの特殊ストリーム内で伝えられる。このPATは、PROG1
、PROG3などについて、どのストリームがプログラムマッピングテーブルPMT (pr
ogramme mapping table)を伝えるかを示す。PMTは、1つのプログラムに関連する
異なるPID値を完全にリストし、各PIDの内容(ビデオ、オーディオ、代替言語オ
ーディオなど)を記述する。コントロールを目的とするこれらのテーブルおよび
その他のデータを、以下、システム情報と呼ぶ。
【0033】 トランスポートストリームから1つのプログラム(PROG1)を再現または記録する
ため、そのPIDを有する連続するトランスポートパケットのペイロードDAT-0〜DA
T-Nは、1つのストリームに連結され、このストリームは、パケット化基本ストリ
ームパケットPES-PKTを伝える。このPES-PKTについては、MPEG-2仕様にさらに定
義されている。各PESパケットは、先頭が個別のパケットスタートコード接頭辞P
SCP (packet start code prefix)である。次に、PESパケットヘッダの中に、基
本ストリームのタイプ(例: ビデオ、オーディオ、パディングストリーム、プラ
イベートストリーム)を識別するストリーム識別子SIDがある。PESパケットは、
特定の用途において指定されない限りは固定長ではなく、PESパケット長フィー
ルドLENが、PESパケット内のバイト数を指定する。次に、例えば、データアライ
ンメントインジケータDAI、ヘッダ長フィールドHLENなど、各種のコントロール
/フラグフィールドC&Fが続く。次に、C&Fフィールド内の対応するフラグの値に
応じて、各種のオプションフィールドが、ヘッダHDAT内に存在し、その例として
、そのPESパケット内で始まる「プレゼンテーションユニット」(ピクチャ、オ
ーディオフレームなど)をプレゼンテーションするべきタイムとして、システム
クロックを基準とするタイムを指定するプレゼンテーションタイムスタンプPTS
が入れることができる。場合によっては、プレゼンテーションユニットは、その
プレゼンテーション順序とは異なる順序で復号され、その場合には復号タイムス
タンプDTSを入れることができる。
【0034】 同じSIDを有する連続するPESパケットのペイロードPY-0〜PY-Nは、図2におい
てESに線図的に示されているデータの連続基本ストリームを形成する。ビデオ基
本ストリームES-VIDEOの場合、クリップのピクチャシーケンスSEQが存在し、各
シーケンスは、その先頭にシーケンスヘッダSEQHを含む。量子化マトリックスや
バッファサイズなどの復号器の各種パラメータは、このシーケンスヘッダに指定
される。従って、ビデオストリームの正しい再生は、シーケンスヘッダの位置で
復号器を開始させることによってのみ達成される。各シーケンスのデータの中に
は、それぞれが1つのピクチャ(用途に応じてフィールドまたはフレーム)に対
応する、ビデオデータの「アクセスユニット」が1つまたは複数だけ含まれる。
各ピクチャの先頭には、ピクチャスタートコードPSCが付く。ピクチャグループG
OPには、その先頭にグループスタートコードGSCを付けることができ、これらは
いずれも特定のシーケンスヘッダSEQHの後に位置する。
【0035】 公知のように、MPEG-2およびその他の最近のデジタルフォーマットにおけるピ
クチャは、時間的な冗長性を低減させるために、互いの参照によって符号化され
る。動き補償は、1つのピクチャの内容を、隣接する1つまたは複数のピクチャの
すでに復号された内容から推定する。従って、ピクチャのグループGOPは、他の
ピクチャの参照なしに符号化される内部符号化(intra-coded)「I」フレームと、
前のIフレームに基づく動きベクトルを使用して符号化される「P」(予測)符号
化ピクチャと、シーケンスにおける前と後のIフレームおよび/またはPフレーム
からの予測によって符号化される双方向予測「B」ピクチャとを有しうる。Bピク
チャに必要なデータの量は、Pピクチャに必要なデータの量より少なく、Pピクチ
ャに必要なデータの量は、Iピクチャに必要なデータの量より少ない。しかし、P
ピクチャとBピクチャは、必ず他のピクチャを参照して符号化されるので、ある
シーケンスの再生を開始するための実際の入口点となるのは、Iピクチャのみで
ある。さらに、GOPデータのIピクチャとPピクチャは、対応するBピクチャより前
に符号化され、正しいプレゼンテーション順序を達成するために、復号のあとに
再び並べ替えられる。従って、BピクチャとPピクチャは、プレゼンテーションタ
イムスタンプPTSと復号タイムスタンプDTSが異なることがある。
【0036】 図2の最後には、オーディオ基本ストリームES-AUDIOの表示が示されている。E
S-AUDIOは、フレームスタートコードを有する単純なデータフレームFRMを有する
。各種のオーディオフォーマットが使用可能であり、サンプリングレート(32kH
z、48kHzなど)とデータ速度(例えば、32キロビット/秒または可変)は可変で
ある。オーディオストリームとビデオストリームのこれらの特性とその他の特性
は、プログラム固有情報PSIとPESパケットヘッダの中に符号化される。
【0037】 同じプレゼンテーションタイムスタンプPTSを有するオーディオフレームとビ
デオピクチャは、復号器の出力において同時にプレゼンテーションされなくては
ならない。これに対して、異なる基本ストリームからのデータのパケットのスケ
ジューリングには、大きな自由度があり、例えば、同じPTS値を有するオーディ
オアクセスユニットとビデオアクセスユニットは、最大1秒離れてトランスポー
トストリームTSに到達してもよい。
【0038】プログラムストリーム(PS)フォーマット 図3は、MPEG-2信号用に指定されている主要フォーマットタイプのうち、もう
一方のプログラムストリーム(PS)を示す。図の上部に示されているように、PSは
、図2に示されているトランスポートストリームと同じ基本ストリームES-VIDEO
とES-AUDIOを伝え、図2と同じPESパケットPES-PKTのフォーマットである。プロ
グラムストリームは、TSほど細かく分割、パケット化されず、一般に、1つのプ
レゼンテーションに必要なストリームのみを伝える。PESパケットPES-PKT全体は
、1つまたは複数個から成るプログラムストリームパックPACKにグループ化され
、各パックは個別の基本ヘッダを有する。この基本ヘッダは、個別のパックスタ
ートコードPSCと、基準システムクロック・タイムスタンプSCRと、programme_mu
x_rateの指示値PMRを有し、PMRは、プログラムストリームPSを復号器に送るべき
ビットレートである。代表的なprogramme_mux_rateとして、例えば、公知の光デ
ィスクビデオシステム仕様におけるprogramme_mux_rateは、10.08メガビット/
秒である。プログラムストリームパックは、オプションとしてスタッフィングST
FとシステムヘッダSYSHを含む。図3の上部に示されているように、任意のビデオ
パックVまたはオーディオストリームパックA1、A2、...が送信される前に、プロ
グラムストリームは、その先頭が広範なシステムヘッダである。このヘッダは、
特定のプログラムの復号のために復号器が適切に設定されることを目的として、
符号化と復号器の各種のパラメータと、シーケンスヘッダとその位置(例えば、
ディスク上の位置や、プログラムストリームを伝える他の記憶媒体上の位置)の
リストを指定する。トランスポートパケット構造にはPIDコードがないので、プ
ログラムストリームのPESパケット内のストリーム識別子SIDが、そのPESパケッ
トで伝えられる基本ストリームのタイプと、必要な場合には、そのタイプのいく
つかのストリーム(オーディオ1、オーディオ2など)のうち、正しいストリーム
が識別されて復号器に送られるように、どのストリームが伝えられるかを指定す
る。システムヘッダSYSH内のシステム情報は、さらなる情報を提供する。
【0039】 公知の光ディスクビデオシステムなどの用途では、プログラムストリーム内の
各パックは、1つのプログラムストリームのPESパケットのみを伝えることと、1
つのパックにつき代表的には1つのPESパケットが伝えられることが指定される。
光ディスクまたは類似する記録媒体上の記憶域の場合、各PESパックは、一般に
、ディスクファイリング(filing)構造の1つの取得単位または「セクタ」に対応
する。一般に、MPEG-2標準では、各パックの中に異なるタイプおよび数のPESパ
ケットを混在させることができ、パックサイズは他の用途において変わってもよ
い。
【0040】システムターゲット復号器 実際の復号器のバッファリングとその他の側面に関して、プレゼンテーション
されるオーディオ-ビジュアルプログラムにおいて中断なく各タイプのストリー
ムを確実に復号できるように、MPEG-2標準は、トランスポートストリーム「シス
テムターゲット復号器」(T-STD)モデルと、プログラムストリーム「システムタ
ーゲット復号器」(P-STD)モデルとを指定している。大ざっぱに言えば、各シス
テムターゲット復号器は、TSフォーマットまたはPSフォーマットの異なる基本ス
トリームを逆マルチプレキシングするための手段を有し、かつオーディオ、ビデ
オ、システムコントロールの各データタイプ用の復号器を有し、かつデータチャ
ネルからの到着から、復号およびプレゼンテーションの実際の時刻までの間、各
エネルギストリームのデータを保持しておくための、入力ストリームと復号器の
間のバッファとを有する、仮想リアル復号器の1つのモデルである。
【0041】 T-STDとP-STDは、その一般的なフォーマットはどちらも類似しており、MPEG-2
仕様にさらに詳細に説明されている。しかし、T-STDとP-STDの違いのために、一
般にトランスポートストリームは、少なくともPESパケットレベルでの再スケジ
ューリングなしにはプログラムストリームに直接マッピングすることができず、
このことは、PSフォーマットからTSフォーマットへの変換についても同様である
。1つの例として、TSフォーマットのオーディオ復号器のバッファは、P-STDにお
けるバッファより小さい。別の例として、T-STDにおける各メインバッファの前
には、トランスポートストリーム自体におけるかなり「爆発的な」データを平坦
化する役割を果たすトランスポートバッファが存在する。1つのストリームのデ
ータは、最大40メガビット/秒ものレートで爆発的なトランスポートパケットと
して到着することがあるが、このようなストリームの平均速度は、トランスポー
トストリームマルチプレクス全体を考慮すれば、ずっと小さい。メインバッファ
に渡されるデータが存在すると想定したときに、入力データを2メガビット/秒
のレートに制限するために、トランスポートバッファに対して「リークレート(l
eak rate)」が定義される。
【0042】トランスポートストリームからプログラムストリームへの変換 図4は、図1のアプリケーション例におけるレコーダ104によるトランスマルチ
プレキシングのプロセスを示す。デジタルTV復号器102によって生成されたスト
リームからデジタルインタフェースを介して受信されたDVD標準MPEG-2トランス
ポートストリームは、ディスク6上に記録される公知の光ディスクビデオシステ
ムのプログラムストリームに変換される。
【0043】トランスマルチプレキシングの理由 既存および提案されているディスクベースフォーマットのうちの特定のフォー
マットは、プログラムストリームディスクフォーマットを使用する。このフォー
マットは、MPEG-2仕様で許可されるプログラムストリームフォーマットの部分集
合である。いずれのフォーマットも、制約を課せられたパケット化構造であり、
パックは1つのデータタイプのみを含み、1ディスクセクタあたり1パックを有す
る。I-ピクチャの周波数が定義されており、特定のデータエレメントのアライン
メントに対して固有の要件が存在する。これらの制約の理由は、トリックモード
(例えば、高速順方向および高速逆方向のピクチャ検索)とランダムアクセスを
より簡単に実施できるようにし、かつ定義されたパフォーマンスを有するように
、マルチプレキシングおよび再生エンジンをできるだけ単純にすることである。
WO-A-99/20045は、デジタルビデオレコーディングにおいてランダムアクセスと
トリックプレイをより簡単にするためにデザインされた追加情報の1フォーマッ
トを開示している。
【0044】 これと対照的に、DVBおよび類似するブロードキャストフォーマット(ATV、AT
SC、B4SBなど)は、すべてトランスポートストリームをベースとし、MPEGで許可
される範囲の非常に小さい一部のみを行う。一般に、これらのフォーマットでは
、システム情報用の余分なデータフォーマットを定義することによって、MPEG標
準に能力を追加する。各フォーマットは、それぞれ互いに少しずつ異なる。1つ
のトランスポートストリームは、通常は、多数の個々のプログラムを伝える。1
つのプログラムストリームは、通常は、ただ1つのプログラムを伝える。
【0045】 異なるディスクフォーマットの数を、理想的にはただ1つに制限して、すべて
の入力信号をこのフォーマットに変換するならば、記録製品は非常に単純化され
るであろう。このようにすれば、プレーヤソフトウェアおよびハードウェアの量
を最小限にして、エンドユーザがすべての信号をその出所に関係なく同じように
扱える(すべてのモードで結合する、編集する、再生するなど)ことを容易に保
証できる。この理由で、品質を損なわず、かつ処理量および記憶スペースに関す
る過度な要件を必要としない、TSフォーマットからPSフォーマットへの変換方法
が望まれる。
【0046】 実際的な例で説明するため、DVBブロードキャストから仮想DVRレコーディング
デバイスへの記録を考える。「VBV」は、MPEG-2仕様に定義されているビデオバ
ッファ・ベリファイア(verifier)のサイズを示す。
【0047】
【表1】
【0048】
【表2】
【0049】トランスマルチプレキシング装置と方法 図4は、本実施例における、基本データ構造と、TSからPSへのトランスマルチ
プレキシングの主要プロセスを示す。入力データストリームTSは左側に示され、
出力ストリームPSは右側に示されている。
【0050】 図1のデジタルビデオレコーダ106は、TS逆マルチプレクサ402、一連のバッフ
ァ404-410、PS再マルチプレクサ412を含む。バッファ404と406は、それぞれビデ
オおよびオーディオペイロードデータ用のFIFO(先入れ先出し)キューである。
キューバッファのサイズは、ビデオ用がBv、オーディオ用がBaである。バッファ
408と410は、それぞれ、ビデオおよびオーディオストリームのタイムスタンプキ
ューである。再マルチプレクサ412は、ビデオSTD 416とオーディオSTD 418など
、システムターゲット復号器モデルSTDを維持する。トランスマルチプレクサご
とに、スケジューリング問題の扱い方と、必要な中間バッファリング量が異なる
【0051】 トランスマルチプレクサの主要な機能要素とプロセスは、個別のブロックとし
て図示、記述されているが、ここに記述されている各種のバッファとプロセスは
、プレーヤ104またはその他の装置の別の目的にも使用される汎用プロセッサお
よび共有メモリ内に実施してもよい。同様に、通常の設計思想に従って、専用の
デジタル信号プロセスおよび/または専用ハードウェアを適切な箇所に使用する
ことができる。
【0052】 この説明は、トランスポートストリームが、記録デバイスへの入力においてク
リアに(スクランブルされていない状態で)取り出すことができるか、または記
録デバイス内でスクランブル解除できるかのいずれかであることを前提とする。
これ以外の場合には、リアルタイムビットストリームをセットトップボックスか
ら再生するモードとセットトップボックスに記録するモードとが個別に必要にな
る。トランスポートストリームフォーマットは非常に一般的なので、ほとんどの
場合、パケットを再生成して、出力ストリームでのその伝送をいくらか再スケジ
ューリングする必要がある。
【0053】TS逆マルチプレクサ402 逆マルチプレクサ402の動作は、以下のとおりである(MPEG用語は、図2と図3
を参照して前述されたとおり)。 ・ トランスポートストリームを読み取る。パケットは一定速度で(本質的に1
つのプログラムを伝える「部分TS」の場合は区分的に一定速度で)到着している
。 ・ トランスポートパケット構造を調べる。同期ワードを見つけてチェックする
。 ・ ストリームを解析して、(PID == 0内で)プログラム対応テーブルPAT (Pro
gram Association Table)を作成するセクションを含むパケットを見つける。 ・ PATから、各プログラムのプログラムマッピングテーブルPMT (programme ma
pping table)を含む一連のPIDを見つける。 ・ 該当するトランスポートパケットからPMTを構築する。 ・ ユーザ入力に基づいて、PMTがチェックされ、どのPIDが記録する基本ストリ
ームを含んでいるかと、どのPIDがそのプログラムの基準プログラムクロックPCR
(program clock reference)を含んでいるかを見つける。 ・ トランスポートストリームをフィルタリングして、指定されたPIDを有する
トランスポートパケットを再マルチプレクスキューに送り、残りを破棄する。 ・ PESヘッダを除去する。 ・ 基本ストリームを解析して、シーケンススタートコードと、ピクチャスター
トコード(ビデオ)とフレームスタートコード(オーディオ)を見つける。 ・ スタートコード、ピクチャタイプ、およびロケーションに基づいて、必要で
あれば補間によって、各フレームのタイムスタンプPTS/DTSを生成する。 ・ タイムスタンプを処理して、タイムベースにおける不連続を処理/除去する
(再スタンプ付けする)。 ・ 各アクセスユニットのスタートのPCRを生成する。 ・ 該当キュー404/406に基本データを送る。 ・ 対応する基本データを指すポインタなど、タイムスタンプデータFIFOを、対
応するタイムスタンプキュー408/410に送る。 ここで留意すべき点は、PESパケット構造は失われているので、キューの内容は
、本質的に、図2と図3の連続する基本ストリームESに対応することである。
【0054】PS再マルチプレクサ414 再マルチプレクサ414は、以下の動作を繰り返し実行して、PSフォーマットの
出力ストリームを生成する。 ・ 出力ストリームに次に含めるために、パック(オーディオまたはビデオ)を
スケジューリングする。このスケジューリングの方法は、装置のサイズとコスト
の重要性により、以下に説明されているように何種類かある。復号器モデル416
と418は、このプロセス中、継続的に更新される。 ・ パックヘッダを構築する(図3参照)。 ・ 該当するタイムスタンプキュー408/410からのタイムスタンプを挿入するな
ど、PESヘッダを構築する。この時点で、アラインメント規則が適用される。 ・ 該当するFIFOキュー404/406からデータを読み取って、パケットペイロード
データを構築する。 ・ パックを出力チャネル(この場合には記憶媒体)に書き込む。
【0055】 上記の2つのプロセスは、汎用マイクロプロセッサまたはデジタル信号プロセ
ッサチップ(DSP)かを問わず、ハードウェアとプログラミングを混用して実施で
きる。一実施例の場合は、1つのプロセッサを使用して、図4に示されているトラ
ンスマルチプレクサは、2つのプロセスとして動作する。1つ(402)は、トランス
ポートストリームを逆マルチプレキシングし、基本ストリームデータとタイムス
タンプを出力キューに書き込む。もう1つ(414)は、これらのキューを読み取って
、データをプログラムストリームとして再マルチプレキシングする。
【0056】 以下に、実施のさまざまな観点について詳しく説明する。
【0057】システム情報の解析とPIDのフィルタリング MPEG-2トランスポートストリームのプログラム固有情報PSI (Program Specifi
c Information)とそのDVB実装(SI)は、解析するのにかなり複雑である。マルチ
プレクス全体を記録するのではなく、1つのプログラムを記録するためにマルチ
プレクスから選択を行うレコーダは、ディスク上に格納されるフォーマット(PS
またはTS)に関係なく、この複雑な構造を実施する必要がある。
【0058】 各トランスポートパケットは、そのパケットが属すストリームのPID番号を有
する。入力ストリームTSの最初の受信時に、逆マルチプレクサ402は、まず、PID
番号0内のPSIセクションをフィルタリング、解析することによって、プログラム
対応テーブル(PAT)を構築する必要がある。PATは、プログラムの番号と、そのプ
ログラムのプログラムマッピングテーブル(PMT)を含むPID番号とのリストを提供
する。PATの取得後は、各トランスポートパケットの受信時に、そのPID番号をチ
ェックして、PAT内に指定されているものであるか否かを確認する必要がある。
パケットのPIDは、そのパケットが、選択されたプログラムに属して処理する必
要があるのか、属さずに破棄する必要があるかを示す。
【0059】 パケットがPMTパケットであるときは、それを解析して、PMTセクションを構築
してプログラムのPMTを与える必要がある。PMTは、記録するプログラムを構成す
る各基本ストリーム(オーディオ、ビデオ、オーバーレイ・グラフィック(Overl
ay Graphics)など)のPID番号とストリームタイプのリストを与える。PMTは、さ
らに、どのPIDパケットが、そのプログラムの基準プログラムクロックPCR (prog
ram clock reference)を運ぶかを示す。この間接的な構造は、PIDのフィルタリ
ング処理の中で、各トランスポートパケットのPID値をPATに対してチェックする
ことを意味する。例えば、各基本ストリームを記述するために、記述子のフォー
マットにおける追加の情報も、PMTに挿入できる。 PMTとPATは、入力ストリーム内の任意の時間に任意の方法で更新してよい。
【0060】タイムスタンプの不連続 トランスポートストリーム仕様では、プログラムのタイムベース(PCR)に不連
続があってもよい。トランスポートストリーム内の相異なるプログラムは、一般
に、それぞれ独自のPCRを有する。トランスポートストリームTSをPSに変換する
ときには、PTS/DTSとSCRとを再スタンプ付けする必要がある。PTS/DTS値を再ベ
ース設定して(re-base)0のSCRから開始することで、「ラップアラウンド」問題
を避けることができる。何ら問題なくラップアラウンドに対応できるようにマシ
ンを構築することはできるが、いくつかのフォーマットではSCRを0から開始する
必要がある。
【0061】トランスポートストリームのPESパケットの構造 MPEG-2トランスポートストリーム仕様では、PESパケットの構造に関する要件
は課せられていない。固定サイズである必要はなく、さらに、ビデオまたはオー
ディオフレームにアラインメントさせる必要もない。実際に、多数の異なる構造
が使用されている。これと対照的に、プログラムストリームは、インターリーブ
単位としてPESパケットを使用する。このため、トランスマルチプレクサは、基
本ストリームを逆パケット化(depacketise)および再パケット化するように構築
する必要がある。公知の光ディスクビデオシステムは、中にパケットがちょうど
入る2048バイトのパックサイズを使用する。
【0062】 TSフォーマットでは、すべてのフレーム/フィールドがPESパケットを有する保
証はない。さらに、PESパケットがあるとき、そのパケットがPTS/DTSを有す必要
性も指定されていない。従って、トランスポートパーサは、基本ストリーム(オ
ーディオおよびビデオ)を解析して、シーケンス、ピクチャ、フレームの各スタ
ートコードを見つける必要がある。オーディオは、任意のビットレートまたは可
変でよい。従って、オーディオフレーム用の完全なパーサが必要である。
【0063】 ほぼすべてのMPEG-2ビデオフォーマットが許可されるため、ビデオパーサは、
さらに、ピクチャタイプや「先頭フィールドを繰り返し(repeat first field)」
フラグなどを取り出して、MPEG-2ビデオ Annex Cの完全な内容を認識している必
要がある。ここで留意すべき点は、このことは、自己記録タイプの製品における
マルチプレクサが行う必要があることを超えている。自己記録タイプの製品にお
いては、復号器は、MPEG仕様全体のうちの既知のサブセットを使用することで、
マルチプレキシングを単純化できる。
【0064】プロセスを通じてのA-V同期の維持 プロセスを通じてオーディオとビデオの同期を維持することが重要である。ト
ランスポートストリームにおいて、同期させてプレゼンテーションするフレーム
は、そのタイムスタンプ(PTS/DTS)によって識別される。同期のオーディオフレ
ームとビデオフレームは、一般にはビットストリーム内で遠く離れている(スキ
ュー)。トランスポートストリームの最初の読み取り時に、解析を同期させて信
頼性のある情報を取り出すのにいくらかの時間がかかる。すでに述べたように、
以下を行う必要がある。 1. トランスポート同期ワードを見つけてチェックする(図2、TSのSYNC)。 2. PATとPMTを見つける。 3. 基本PIDの解析を開始する。 4. ビデオ: シーケンススタートコードとI-ピクチャを待つ。 5. オーディオ: フレーム同期を得る(ビットストリーム内でフレームスタート
コードは必ずしも一意でないので、これには数フレームかかることがある)。
【0065】 これらのステップの完了後に、逆マルチプレクサ402は基本ストリームを出力
できる状態になる。しかし、この状態では、記録のために取り出し可能となる最
初のオーディオフレームが、記録のために取り出し可能となる最初のビデオフレ
ームと同期していない。このため再マルチプレクスプロセスと記録プロセスは、
各フレームを再アラインメントできるように、各フレームのタイムスタンプ(PTS
)を認識している必要がある。原理的には、このタイミング情報を連絡する方法
は何種類かある。PESパケットヘッダを使用する方法が便利である。残念ながら
、トランスポートストリームでは、記録を開始できるフレームにPESパケット内
のタイムスタンプが必ずある保証はなく、どのような場合にも、前述したように
、ストリームを再パケット化する必要がある。
【0066】 この実施例で選択されている解決策は、各基本ストリームごとに個別のタイム
スタンプキューを有することである。タイムスタンプキューは、基本ストリーム
キュー内の各フレームについて、PTS/DTSと、フレームの該当バイトの伝送時間
の予測PCRのサンプル値と、基本ストリームキュー内のフレームの最初のバイト
を指するポインタとを記録する。すべてのPST、DTS、PCR/SCR値から定数を減じ
ることによって、タイムベースは0に再ベース設定される。この定数は、ブロー
ドキャストのタイムベース内の不連続をなくすように調整される。
【0067】 基本ストリームを解析する必要がある。オーディオの場合、各フレームの開始
を高い信頼性で識別する必要がある(ビットレート、サンプリング速度、フレー
ムサイズは前もって認識しておらず、動的に計算する必要がある)。ビデオの場
合は、各ピクチャ(フィールドまたはフレーム)のスタートと、ピクチャの符号
化のタイプ、ピクチャの構造(フィールドまたはフレーム)、「先頭フィールド
を繰り返し(repeat first field)」フラグおよび「トップフィールド先頭(top f
ield first)」フラグの値と、それが最初のフィールドか2番目のフィールドかを
認識する必要がある。この情報は、13818-2におけるAnnex CのVBVモデルに従っ
てPTS/DTSの正しい値を計算するのに必要である。
【0068】 もしプログラムストリームへの変換なしにトランスポートストリームが直接記
録されるとしても、この解析機能のほぼすべてが必要となる。FF/FRトリックモ
ードとランダムアクセスを使用可能にするために、インデックス化情報を生成す
るのにピクチャの最初と最後を見つける必要がある(例えば、前述されているWO
-A-99/20045を参照)。随意的に、同期オーディオフレームを見つけるためにオ
ーディオを解析する必要がある。場合によっては、再生のエントリポイント(シ
ーケンス/GOPヘッダを有するI-ピクチャ)に、記録フォーマットにおいてタイ
ムスタンプを付ける必要がある。ブロードキャストフォーマットでは、これらの
フレームにタイムスタンプが必ずある保証はなく、該当フレームを見つけて、タ
イムスタンプを挿入する必要がある。
【0069】プログラムストリームにおけるパケットスケジューリング - SCRの計算 基本ストリームを伝えるためのパケットのスケジューリングは、トランスマル
チプレクサにおいてもっとも困難な問題である。いくつかの方法が可能であるが
、いずれの方法も、メモリ使用量、複雑さ、パック化の効率の間で一長一短であ
る。唯一の要件は、生成されるストリームがプログラムストリームSTDモデルに
準拠していることである。
【0070】 記録中の基本ストリームの入力ビットレートは、ディスク上に格納できるだけ
十分に遅い必要がある(基本ストリームのビットレートの合計はprogram_mux_ra
teより小さい必要がある)。
【0071】 考慮すべき1つの方法は、少なくともSTDバッファのサイズ(ビデオの場合は23
0k)と同じ大きさのバッファサイズを使用して、基本ストリームを格納すること
である。この場合、プログラムストリームの再マルチプレクサは、通常のスケジ
ューリングアルゴリズムを実行でき、すなわち、各ストリームに対してPS STDモ
デルが維持されて、アルゴリズムが適合を判断すると基本ストリームからパケッ
トを取得する。この場合、SCR値と、パケットスケジューリング方式は、TS内のP
CR値に関係なく決定される。この方法は、いつでも行うことができるが、非常に
大きな中間キュー(ビデオ用に約250k)と大きな処理量とを必要とする。さらに
、基本的には通常のPSマルチプレクサ用に必要とされるアルゴリズムではあるが
、比較的複雑なスケジューリングアルゴリズムを必要とする。
【0072】 ビデオをトランスマルチプレキシングするのみでなく、(例えば、ビットレー
トを制御するために)ビデオをトランスコーディングする必要がある場合には、
完全な再スケジューリングアルゴリズムが適することがある。いずれの場合にも
、トランスコーディング用にメモリが必要となる。しかし、トランスコーディン
グ用のメモリがない場合には、必要な処理能力と記憶域に起因して、このような
装置は比較的高価であり、他のタスクを並行して実行する能力が低下する。
【0073】 本発明で選択された方法の目的は、出力ストリームPSを生成するときに、元の
トランスポートストリームのスケジュールにできるだけ近いスケジュールに従う
ことである。この方法においては、データは、TSパケットから取り出されてから
できるだけ早期に、プログラムストリーム内のPESパケットにパック化される。
これにより、マルチプレクサにおけるデータの遅延が最小になり、従って、基本
ストリームキュー内で要求されるバッファリング量が最小になる。この原理の実
施については、ここではこれ以上説明しない。
【0074】 トランスポートストリームパケットのペイロードは、184バイト(アダプテー
ションヘッダAF(図2)があるときはこれ以下)である。トランスポートストリ
ームは、この精度でスケジューリングできる。しかし、公知の光ディスクビデオ
システムまたは同様のシステムにおけるプログラムストリームのペイロードの通
常のサイズは、約2030バイト(図3)である。この場合に、各パックに184バイト
のプログラムストリームPESパケットを挿入することが可能であるが、しかし非
常に非効率的である。これよりも、より大きなPSパケットを形成できるまで、多
数のTSパケットを蓄積する方が効率的である。理想的なのは、完全に1セクタを
埋めるプログラムストリームパケットを形成することである。ビデオストリーム
の場合には、このことは可能である。
【0075】 しかし、オーディオの場合には、別の方法を選択する必要がある。MPEG-1オー
ディオフレームは、サイズが192バイト(64キロビット/秒、48kHz)から最大17
28バイト(384キロビット/秒、32Hz)までの間で変化する。各オーディオフレ
ームの最後のバイトは、入力ストリームTSによって「ぴったりのタイミングで」
復号器に伝送することができ、その場合、フレームは、マルチプレキシングでき
る状態になり次第にマルチプレキシングする必要がある。従って、オーディオー
ディオータは、完全な1セクタが受信されるまで待ってトランスポートストリー
ムに挿入することができない。
【0076】 MPEG-2システムの仕様は、オーディオ用のトランスポートバッファからの「リ
ークレート」を2メガビット/秒と定義している。2メガビット/秒において、18
4バイトの1つの完全なトランスポートパケットの伝送時間は、0.736msである。
仮想DVRプログラムストリームの合計帯域幅program_mux_rateは、10メガビット
/秒である(表2)。「最悪の場合」においては、トランスポートストリーム内
のフレームの最後のデータバイトがT-STD内でプレゼンテーションのために取得
可能になった直後に、最大サイズのフレーム(1728バイト)がプレゼンテーショ
ンのためにスケジューリングされる。10メガビット/秒で1728バイトのフレーム
全体を送るための時間は、1.4msである。
【0077】 本実施例の装置では、再マルチプレクサ412は、オーディオーディオータを蓄
積して、マルチプレキシング前に完全な1フレームを構築できる。仕様に違反せ
ずにこれを達成するため、オーディオフレームデータが遅れて伝送されることを
避ける必要が生じうるので、この補正用に、すべてのストリームにいくらかの余
分な遅延(約1.4msまたは1750バイト)が加えられる。スケジューリングアルゴ
リズムにおけるこの補正の結果として、VBVバッファの満杯容量が約2k増加する
。極端な場合、原理的には、この結果として、ビデオSTDバッファがオーバーフ
ローする。しかし、実際には、このことは現実的な問題ではなく、その理由とし
て、(i)マルチプレキシングアルゴリズムにはいくらかのゆとりが必要であるこ
と、(ii) STDバッファサイズは、入力STDと出力STD(T-STD/P-STD)とで若干異な
ること、(iii) PS STDバッファにおいてはPESヘッダがカウントされないこと、
があげられる。
【0078】 プログラムストリーム内のSCR値は、基本ストリーム内の各フレームの伝送時
間の予測PCR値によって決定される。このアルゴリズムは、各基本ストリームの
セクタサイズの約2倍のキューバッファを必要とする(約4k〜5kバイト)。シミ
ュレーションによって、このアルゴリズムは、サイズ10kのキューバッファで動
作することが確認され、この値は、0から完全なマルチプレクスを形成するのに
必要な250k程度と比較して非常に有利である。
【図面の簡単な説明】
【図1】本発明の一実施例が適用されているデジタルビデオ・エンターテイン
メントシステムの一例を示す。
【図2】トランスポートストリーム(TS)フォーマットにおけるデータのフォー
マットを示す。
【図3】プログラムストリームフォーマットにおけるデータのフォーマットを
示す。
【図4】本発明の実施例による、TSフォーマットの信号をPSフォーマットに変
換するときの主要なデータの経路と機能ブロックとを示す。
【符号の説明】
100 デジタルTVチューナ100 102 セットトップボックス 104 再生/記録 106 ディスク 108 テレビ TS トランスポートストリーム 402 TSを逆マルチプレキシング 404 ビデオキュー サイズ = Bv 406 オーディオキュー サイズ = Bv 408 ビデオタイムスタンプキュー 410 オーディオタイムスタンプキュー 414 PSに再マルチプレキシング 416 システムターゲット復号器(ビデオ) 418 システムターゲット復号器(オーディオ) PS プログラムストリーム
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA20 FA23 GB06 GB10 GB38 JA22 JA26 LA06 LA07 5C059 MA00 RB02 RB10 RC02 RC04 RC32 RE03 SS11 5D044 AB05 AB07 DE04 GK08 【要約の続き】 る。入力ストリーム(TS)内の基本ストリームに適用され ているスケジュールとパケット化は、出力ストリーム(P S)の作成時に直接適用することはできない。しかし、MP EGまたはその他の仕様によって入力ストリームに課せら れている制約とパラメータに基づいて、再マルチプレク サ412は、0から基本ストリームをマルチプレキシングす るのに要するバッファサイズを必要とせずに、基本デー タストリームを、有効な出力ストリーム(TS)に再スケジ ューリングおよび再パケット化することができる。

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 指定されたトランスポートストリーム(TS)フォーマットで受信されたデータス
    トリームを、指定されたプログラムストリーム(PS)フォーマットにおける出力デ
    ータストリームに変換する方法であって、前記TSフォーマットが、目的のプログ
    ラムに関連する符号化された情報の少なくとも第1および第2パケット化基本スト
    リームが、さらにTSパケットにパケット化されていて、かつ別のプログラムに関
    連するさらなるストリームと共にマルチプレキシングされているフォーマットで
    あり、前記PSフォーマットが、前記第1および第2基本ストリームと、随意的に、
    選択されたプログラムに一般に関連する別のストリームとが、パケット化されて
    いて、かつそれらパケットがインターリーブされてPSパックのマルチプレキシン
    グ化ストリームを形成しているフォーマットであり、各PSパックが、パックヘッ
    ダと、パケット化基本ストリームの1つ以上の完全なパケットとを含む方法にお
    いて、当該方法が、 (a) 前記受信されたデータストリームから、前記第1および第2基本ストリーム
    それぞれのその時点のストリームインデックスを識別するプログラムマッピング
    情報を取り出すステップ、 (b) 前記受信されたデータストリームのデータをフィルタリングして、前記目
    的の基本ストリームを伝えるパケットを取り出すステップ、 (c) パケットヘッダ情報に従って前記第1および第2基本ストリームを解析し、
    目的の各基本ストリームのペイロード内の一連のプレゼンテーションユニットを
    識別するステップ、 (d) 各ストリームの前記プレゼンテーションユニットを、再マルチプレキシン
    グの前に、それぞれ前記第1および第2ペイロードキューに順に書き込むステップ
    、 (e) 前記基本ストリームの間の同期関係と、PSターゲット復号器モデルの制約
    とPSストリームの制約に従って、前記第1および第2ペイロードキューからのペイ
    ロードデータを一連のPSパックに再マルチプレキシングするための有効なPSスケ
    ジュールを決定するステップ、 (f) 前記決定されたPSスケジュールに従って、各キューから当該ペイロードデ
    ータを取得し、各基本ストリームを再パケット化するようにパケットヘッダを挿
    入し、PSパックヘッダを生成し、前記第1および第2基本ストリームを一連のPSパ
    ックにマルチプレキシングして当該出力信号を生成するステップ、 を有し、 ステップ(e)において決定された前記PSスケジュールが、前記受信されたTSフ
    ォーマットの信号内のプレゼンテーションユニットのスケジューリングに依存す
    る、方法。
  2. 【請求項2】 前記方法が、さらに、 (g) 前記受信されたデータストリームから、前記パケット化基本ストリーム内
    の固有のポイントに対応するタイミング基準を取り出し、かつ前記受信されたTS
    フォーマットデータストリーム内でタイミング基準が付随していないプレゼンテ
    ーションユニットの、補間されたタイムスタンプ値を含む、各基本ストリーム内
    の各プレゼンテーションユニットに対するタイムスタンプ値を計算するステップ
    、 (h) 前記第1および第2ペイロードキューに入力された前記各プレゼンテーショ
    ンユニットに一致するように、前記タイムスタンプ値を第1および第2タイムスタ
    ンプキューに書き込むステップ、 (i) 前記対応するペイロードデータの取得時に前記キューから各タイムスタン
    プ値を取得するステップ を有する請求項1に記載の方法。
  3. 【請求項3】 前記PSパック内で始まる新しいプレゼンテーションユニットのプレゼンテーシ
    ョンタイミング基準値が、前記PSパックに含まれ、当該プレゼンテーションタイ
    ミングが、前記受信されたデータストリーム内の特定のプレゼンテーションユニ
    ットに付随するTS伝送タイミング基準フィールドとプレゼンテーションタイミン
    グ基準フィールドからの計算と、前記受信されたTSフォーマットのデータストリ
    ーム内で伝送タイミング基準が付随していないプレゼンテーションユニットの補
    間とによって取得される、請求項1または2に記載の方法。
  4. 【請求項4】 前記第1基本ストリームの前記データ速度が、前記第2基本ストリームのそれよ
    り実質的に大きい、請求項3に記載の方法。
  5. 【請求項5】 ステップ(e)において、前記第1基本ストリームの複数のTSパケットからの前記
    ペイロードデータが、当該いずれかのデータを前記PSスケジュールでスケジュー
    リングする前に、実質的に1つの完全なPSパックを埋めるように一般に蓄積され
    る、請求項3または4に記載の方法。
  6. 【請求項6】 ステップ(e)において、前記第2基本ストリームの1つの完全なプレゼンテーシ
    ョンユニットに対応する前記ペイロードデータが、前記基本ストリームのデータ
    が実質的に1つの完全なPSパックを埋めるまで待たずにスケジューリングされる
    、請求項5に記載の方法。
  7. 【請求項7】 ステップ(e)において、前記第1基本ストリームの前記データが、少なくとも前
    記第2基本ストリームの1つの完全なプレゼンテーションユニットを受信するのに
    必要な最小時間に等しい遅延だけ、前記第1ペイロードキュー内で遅延され、そ
    の一方で、前記第2基本ストリームのプレゼンテーションユニットは、それが完
    全に受信された直後にスケジューリングさせることができる、請求項6に記載の
    方法。
  8. 【請求項8】 プレゼンテーションユニットデータの異なるサイズおよび/または異なるデー
    タ伝送速度が、前記第2基本ストリームの場合の前記TSフォーマット内で有効で
    あり、かつ、当該最小時間が、最低速度における最大サイズの1つの完全なプレ
    ゼンテーションユニットを受信するのに必要な前記時間に少なくとも等しい時間
    に固定される、請求項7に記載の方法。
  9. 【請求項9】 前記PSフォーマットが、復号時に互換復号器内に前記第1基本ストリームのペ
    イロードを保持するための最小のバッファサイズを指定し、かつ、前記第1ペイ
    ロードキューの最大容量が、当該最小バッファサイズの1/10以下である、請求項
    1〜8のいずれかに記載の方法。
  10. 【請求項10】 前記PSフォーマットが、復号時に互換復号器内に前記第1基本ストリームのペ
    イロードを保持するための最小のバッファサイズを指定し、かつ、前記第1ペイ
    ロードキューの最大容量が、当該最小バッファサイズの1/20以下である、請求項
    1〜9のいずれかに記載の方法。
  11. 【請求項11】 前記第1ペイロードキューが、各PSパックの前記サイズの1.5倍と4倍の間の最
    大容量を有する、請求項1〜10のいずれかに記載の方法。
  12. 【請求項12】 前記タイムスタンプキュー内の入力値が、前記対応するプレゼンテーションユ
    ニットの、前記受信されたデータストリーム内の前記プレゼンテーションユニッ
    トのTSフォーマットの伝送タイムと、復号後の前記プレゼンテーションユニット
    のプレゼンテーションタイムとを記録し、かつ、同じプレゼンテーションユニッ
    トを含む前記PSパックが、前記パックのPSフォーマットの伝送タイムの指示と、
    前記PSパック内の少なくとも1つのプレゼンテーションユニットのプレゼンテー
    ションタイムの指示とを含む、請求項1〜11のいずれかに記載の方法。
  13. 【請求項13】 前記PSフォーマットの出力データストリームに含まれる前記タイミング基準値
    が、前記受信されたTSフォーマットのデータストリーム全体を通じてのタイムベ
    ースの変化に関係なく、1つのタイムベースを参照して計算される、請求項1〜12
    のいずれかに記載の方法。
  14. 【請求項14】 前記PSパックおよび基本ストリームパケットが、新しいプレゼンテーションユ
    ニットの先頭をPSパックの先頭に優先的にアラインメントするように生成され、
    かつ、この生成が、前記受信されたTSフォーマットのデータストリーム内の対応
    する部分のミスアラインメントに関係なく行われる、請求項1〜13のいずれかに
    記載の方法。
  15. 【請求項15】 当該PSフォーマットのデータストリームが、前記TSフォーマットのストリーム
    内で伝えられてそれに従うプログラムマッピングの変化に関係なく、固定された
    プログラムマッピングを採用するように生成される、請求項1〜14のいずれかに
    記載の方法。
  16. 【請求項16】 前記第1基本ストリームのプレゼンテーションユニットが、符号化されたビデ
    オピクチャを有し、かつ、前記第2基本ストリームの前記プレゼンテーションユ
    ニットが、符号化されたオーディオフレームを有する、請求項1〜15のいずれか
    に記載の方法。
  17. 【請求項17】 当該TSフォーマットが、MPEG-2トランスポートストリーム仕様に準拠し、その
    一方で、当該PSフォーマットがMPEG-2プログラムストリーム仕様に準拠し、いず
    れもITU-T勧告H.222.0およびISO/IEC 13818-1に定義される前記請求項の何れか
    に記載の方法。
  18. 【請求項18】 オーディオビジュアルプログラムを記録する方法であって、記録するプログラ
    ムを、トランスポートストリーム(TS)フォーマットで伝えられる複数のプログラ
    ムの中から選択し、次いで請求項1〜18のいずれかに記載の方法によってプログ
    ラムストリーム(PS)フォーマットに変換し、次いで以降に取得および復号できる
    ように記録媒体上に記録する、方法。
  19. 【請求項19】 少なくともデータの2つの基本ストリームがマルチプレキシングされている第1
    フォーマットにおける入力データを受信するための手段と、前記データを第2フ
    ォーマットに変換して出力ストリームを生成するための手段とを有する装置であ
    って、当該手段が、請求項1〜19のいずれかに記載の方法を実施するために特に
    適合化された手段を有する、装置。
  20. 【請求項20】 前記装置が、デジタルビデオプログラム用のスタンドアロン型の復号器装置、
    ビデオプログラムの表示機能を有するプレゼンテーション装置、デジタルビデオ
    プログラムを再生および随意的に記録するための記録装置のうちの1つを有する
    、請求項20に記載の装置。
JP2001551026A 1999-12-30 2000-12-04 データストリームの変換方法と装置 Expired - Fee Related JP4731083B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9930788.6 1999-12-30
GBGB9930788.6A GB9930788D0 (en) 1999-12-30 1999-12-30 Method and apparatus for converting data streams
PCT/EP2000/012230 WO2001050773A1 (en) 1999-12-30 2000-12-04 Method and apparatus for converting data streams

Publications (3)

Publication Number Publication Date
JP2003519992A true JP2003519992A (ja) 2003-06-24
JP2003519992A5 JP2003519992A5 (ja) 2008-02-07
JP4731083B2 JP4731083B2 (ja) 2011-07-20

Family

ID=10867141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001551026A Expired - Fee Related JP4731083B2 (ja) 1999-12-30 2000-12-04 データストリームの変換方法と装置

Country Status (9)

Country Link
US (1) US6873629B2 (ja)
EP (1) EP1180309A1 (ja)
JP (1) JP4731083B2 (ja)
KR (1) KR100733856B1 (ja)
CN (1) CN1199475C (ja)
GB (1) GB9930788D0 (ja)
IL (2) IL145121A0 (ja)
TW (1) TW548925B (ja)
WO (1) WO2001050773A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004030358A1 (ja) * 2002-09-30 2004-04-08 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2007525038A (ja) * 2003-01-09 2007-08-30 トムソン ライセンシング Wlan配信のためmpegトランスポートストリームをipパケットに変換する方法及び装置
JP2011101360A (ja) * 2009-11-03 2011-05-19 Tektronix Internatl Sales Gmbh デジタル・ストリーム内の遅延変動測定方法及び装置

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7088725B1 (en) * 1999-06-30 2006-08-08 Sony Corporation Method and apparatus for transcoding, and medium
CN1218493C (zh) * 2000-07-17 2005-09-07 皇家菲利浦电子有限公司 编码数据流的发射机和发射方法以及接收机和接收方法
US7224837B2 (en) * 2000-10-11 2007-05-29 Screenpeaks Ltd. Digital video broadcasting
GB0116119D0 (en) * 2001-06-30 2001-08-22 Koninkl Philips Electronics Nv Transcoding of video data streams
CN100470654C (zh) * 2001-07-23 2009-03-18 松下电器产业株式会社 将信息记录到信息记录介质的装置及方法
CN101483769B (zh) * 2001-07-23 2011-06-15 松下电器产业株式会社 将信息记录到信息记录介质的装置及方法
US20030044166A1 (en) * 2001-08-31 2003-03-06 Stmicroelectronics, Inc. System for multiplexing video data streams in a digital video recorder and method of operating the same
US20030048808A1 (en) * 2001-09-12 2003-03-13 Stahl Thomas Anthony Method and apparatus for changing received streaming content channels
DE10146036B4 (de) * 2001-09-18 2012-07-26 Robert Bosch Gmbh Verfahren zur Umwandlung eines Video-und /oder Audio-Datenstromes
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
JP3825682B2 (ja) * 2001-11-09 2006-09-27 株式会社東芝 フォーマット変換を行う情報記録装置及び情報処理装置
US7120168B2 (en) * 2001-11-20 2006-10-10 Sony Corporation System and method for effectively performing an audio/video synchronization procedure
US6868125B2 (en) * 2001-11-29 2005-03-15 Thomson Licensing S.A. Transport stream to program stream conversion
PL363779A1 (en) * 2001-11-30 2004-11-29 Matsushita Electric Industrial Co, Ltd. A method and an apparatus for stream conversion, a method and an apparatus for data recording, and data recording medium
AU2002354066A1 (en) * 2001-11-30 2003-06-10 Koninklijke Philips Electronics N.V. A method and an apparatus for stream conversion, a method and an apparatus for data recording, and data recording medium
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
JP4503294B2 (ja) * 2002-01-22 2010-07-14 マイクロソフト コーポレーション ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
KR100962083B1 (ko) * 2002-03-05 2010-06-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 제 1 데이터 스트림을 제 2 데이터 스트림으로 변환하기 위한 방법 및 시스템
ATE487327T1 (de) * 2002-03-08 2010-11-15 France Telecom Verfahren zum übertragen von abhängigen datenströmen
KR100848904B1 (ko) * 2002-03-27 2008-07-29 주식회사 엘지이아이 오디오 및 비디오 립싱크를 위한 실시간 pes 디코딩 방법
JP4448334B2 (ja) * 2002-04-19 2010-04-07 マイクロソフト コーポレーション バイト整列されていない(non−byte−alignedpositions)のポジション、および/またはビット・シフトされたポジション(bit−siftedpositions)を含む位置におけるスタート・コード・エミュレーションを防ぐための方法およびシステム
US7334065B1 (en) * 2002-05-30 2008-02-19 Cisco Technology, Inc. Multiple data bus synchronization
US7933411B2 (en) * 2002-06-28 2011-04-26 Trident Microsystems (Far East) Ltd. Method of constructing MPEG program streams from encrypted MPEG transport streams
CN100428791C (zh) * 2002-11-27 2008-10-22 腾研科技股份有限公司 Mpeg数据格式转换方法及使用该方法的解码系统
US7386553B2 (en) * 2003-03-06 2008-06-10 Matsushita Electric Industrial Co., Ltd. Data processing device
US20040199719A1 (en) * 2003-04-04 2004-10-07 Network Appliance, Inc. Standalone newtork storage system enclosure including head and multiple disk drives connected to a passive backplane
KR101030176B1 (ko) * 2003-04-10 2011-04-18 파나소닉 주식회사 정보기록매체, 정보기록매체에 정보를 기록하는 장치 및 방법
JP4902935B2 (ja) * 2003-05-08 2012-03-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体
DE10323186B4 (de) * 2003-05-22 2006-03-02 Fujitsu Siemens Computers Gmbh Einrichtungen zur Verarbeitung eines MPEG-2-Datenstroms und Verfahren zur Verarbeitung eines MPEG-2 Datenstroms
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
JP4346966B2 (ja) * 2003-06-13 2009-10-21 キヤノン株式会社 撮像装置
US7349395B2 (en) * 2003-06-23 2008-03-25 Microsoft Corporation System, method, and computer program product for parsing packetized, multi-program transport stream
US7882510B2 (en) * 2003-08-06 2011-02-01 Microsoft Corporation Demultiplexer application programming interface
AU2004271359B2 (en) * 2003-09-04 2011-06-09 Koninklijke Philips Electronics N.V. Record carrier carrying a video signal and at least one additional information signal
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8582659B2 (en) 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
KR101029807B1 (ko) * 2004-01-09 2011-04-22 엘지전자 주식회사 Pvr 및 pvr 기능을 갖는 dmb 수신기
US7865255B2 (en) 2004-03-31 2011-01-04 Mstar Semiconductor, Inc. Audio buffering system and method of buffering audio in a multimedia receiver
CN100525423C (zh) * 2004-04-07 2009-08-05 松下电器产业株式会社 信息记录装置和记录方法
US8055122B2 (en) * 2004-04-07 2011-11-08 Panasonic Corporation Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor
EP1737229B1 (en) * 2004-04-07 2010-12-01 Panasonic Corporation Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor
CN101023637B (zh) * 2004-07-22 2010-12-29 韩国电子通信研究院 简单聚合格式同步层分组结构及其服务器系统
US7784074B2 (en) * 2004-09-16 2010-08-24 Panasonic Corporation Digital broadcast receiving terminal
US7464171B2 (en) * 2004-10-01 2008-12-09 Microsoft Corporation Effective protection of computer data traffic in constrained resource scenarios
JP5035902B2 (ja) * 2004-10-07 2012-09-26 トムソン ライセンシング オーディオ/ビデオ・ルータ
JP4661373B2 (ja) * 2004-10-15 2011-03-30 Kddi株式会社 特定メディアデータの破棄を制御する送信装置及び送信プログラム
KR100662867B1 (ko) 2004-11-09 2007-01-02 삼성전자주식회사 아날로그 오디오의 디지털 변환장치
US20060104356A1 (en) * 2004-11-15 2006-05-18 Microsoft Corporation Timing for decoder buffer examination
US8270901B2 (en) * 2004-12-17 2012-09-18 Martin E. Hellman Dropout-resistant media broadcasting system
US8627354B2 (en) * 2004-12-17 2014-01-07 Martin E. Hellman Tiered subscription broadcast system
US20060168291A1 (en) * 2005-01-05 2006-07-27 Van Zoest Alexander Interactive multichannel data distribution system
US7742687B2 (en) * 2005-03-22 2010-06-22 Mediatek Inc. Digital television recorders and stream format conversion and methods thereof
JP4882269B2 (ja) * 2005-04-22 2012-02-22 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
KR20070122577A (ko) * 2005-04-26 2007-12-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 패킷들의 시퀀스 및 상기 패킷과 관련된 타이밍 정보를갖는 데이터 스트림을 처리하기 위한 디바이스 및 방법
US8842666B2 (en) * 2005-05-13 2014-09-23 Qualcomm Incorporated Methods and apparatus for packetization of content for transmission over a network
US8976858B2 (en) * 2005-05-13 2015-03-10 Qualcomm Incorporated Error resilience using out of band directory information
US20060280433A1 (en) * 2005-06-14 2006-12-14 Cain David C Distributed media recording module system processes
US7840178B2 (en) * 2005-07-12 2010-11-23 Martin E. Hellman FM broadcast system competitive with satellite radio
KR100698277B1 (ko) * 2005-07-15 2007-03-22 엘지전자 주식회사 영상표시장치 및 이를 이용한 방송신호 재생 방법
CN100391249C (zh) * 2005-09-28 2008-05-28 西安通视数据有限责任公司 一种数字视频广播转换方法及其装置
KR100929073B1 (ko) 2005-10-14 2009-11-30 삼성전자주식회사 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법
US7809018B2 (en) * 2005-12-16 2010-10-05 Coding Technologies Ab Apparatus for generating and interpreting a data stream with segments having specified entry points
WO2007068294A1 (en) * 2005-12-16 2007-06-21 Dolby Sweden Ab Apparatus for generating and interpreting a data stream having a series of segments using data in subsequent data frames
KR100788685B1 (ko) * 2006-03-10 2007-12-26 삼성전자주식회사 데이터 스트림 포맷의 변환 방법 및 장치, 이를 이용한데이터 스트림 기록 방법 및 장치
US20080037956A1 (en) * 2006-06-30 2008-02-14 Scientific-Atlanta, Inc. Systems and Methods of Generating Encapsulated MPEG Program Streams
US9100702B2 (en) 2006-09-11 2015-08-04 Tivo Inc. Personal content distribution network
CN101179736B (zh) * 2006-11-08 2010-07-14 中兴通讯股份有限公司 一种传输流节目转换成中国移动多媒体广播节目的方法
CN101179738B (zh) * 2006-11-08 2010-12-01 中兴通讯股份有限公司 一种传输流到中国移动多媒体广播复用协议的转换方法
CN101179737B (zh) * 2006-11-08 2010-12-08 中兴通讯股份有限公司 一种多媒体广播网络中复用协议的转换方法
US7733921B2 (en) * 2007-05-08 2010-06-08 Zenith Electronics Llc Packet jitter mitigation for bursty transmission systems
US8171166B1 (en) * 2007-06-24 2012-05-01 Arris Group, Inc. Method and a computer program product for modifying or generating a multiple program transport stream
CN100544447C (zh) * 2007-07-11 2009-09-23 中兴通讯股份有限公司 一种移动多媒体广播业务数据流的传输方法
US8331459B2 (en) * 2007-09-26 2012-12-11 Intel Corporation Method and apparatus for smooth digital media playback
DE102008014981B4 (de) * 2008-03-19 2013-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms basierend auf mit Paketfolgemarkierungen versehenen Datenpaketen und Satellitenempfänger zum Bereitstellen des Datenstroms
JP4702402B2 (ja) * 2008-06-05 2011-06-15 ソニー株式会社 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
US8359612B2 (en) 2008-08-13 2013-01-22 Tivo Inc. Content distribution system using transportable memory devices
US8325764B2 (en) * 2009-02-24 2012-12-04 Verivue, Inc. Canonical scheduling for heterogeneous content delivery
US8719437B1 (en) * 2009-08-13 2014-05-06 Avvasi Inc. Enabling streaming to a media player without native streaming support
US8514853B2 (en) 2010-01-11 2013-08-20 Cisco Technology, Inc. Remote re-multiplexing of transport streams
KR20120011791A (ko) * 2010-07-21 2012-02-08 한국전자통신연구원 통신 시스템에서 데이터 수신 장치 및 방법
KR101180540B1 (ko) * 2010-10-20 2012-09-06 연세대학교 산학협력단 스트리밍 서비스 송/수신 장치 및 방법
US9037743B2 (en) 2010-10-28 2015-05-19 Avvasi Inc. Methods and apparatus for providing a presentation quality signal
US9191284B2 (en) 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US9042449B2 (en) 2011-09-29 2015-05-26 Avvasi Inc. Systems and methods for dynamic transcoding of indexed media file formats
US9118738B2 (en) 2011-09-29 2015-08-25 Avvasi Inc. Systems and methods for controlling access to a media stream
US9438494B2 (en) 2011-12-28 2016-09-06 Avvasi Inc. Apparatus and methods for optimizing network data transmission
TWI508569B (zh) 2012-09-14 2015-11-11 Realtek Semiconductor Corp 行動高畫質連結資料轉換器以及行動高畫質連結資料轉換方法
CN103686035B (zh) * 2012-09-21 2018-12-07 瑞昱半导体股份有限公司 移动高清连接数据转换器以及移动高清连接数据转换方法
US9794375B2 (en) * 2013-03-14 2017-10-17 Openwave Mobility, Inc. Method, apparatus, and non-transitory computer medium for obtaining a required frame size for a compressed data frame
US9729919B2 (en) 2013-06-13 2017-08-08 Microsoft Technology Licensing, Llc Remultiplexing bitstreams of encoded video for video playback
EP3035691A3 (en) * 2014-12-17 2016-08-24 Thomson Licensing Methods and apparatus for minimizing timing artifacts in remultiplexing
JP6986671B2 (ja) * 2015-10-07 2021-12-22 パナソニックIpマネジメント株式会社 受信装置及び受信方法
GB201519090D0 (en) * 2015-10-28 2015-12-09 Microsoft Technology Licensing Llc Multiplexing data
GB2547442B (en) * 2016-02-17 2022-01-12 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
CN108093292B (zh) 2016-11-21 2020-09-11 阿里巴巴集团控股有限公司 用于管理缓存的方法、装置及系统
RU2762400C1 (ru) * 2018-02-22 2021-12-21 Долби Интернешнл Аб Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio
CN110620986B (zh) * 2019-09-24 2020-12-15 深圳市东微智能科技股份有限公司 音频处理算法的调度方法、装置、音频处理器和存储介质
US11838596B2 (en) 2020-05-28 2023-12-05 Dish Network L.L.C. Systems and methods for overlaying media assets stored on a digital video recorder on a menu or guide
US11425459B2 (en) 2020-05-28 2022-08-23 Dish Network L.L.C. Systems and methods to generate guaranteed advertisement impressions
US11595724B2 (en) 2020-05-28 2023-02-28 Dish Network L.L.C. Systems and methods for selecting and restricting playing of media assets stored on a digital video recorder
US11606599B2 (en) 2020-06-10 2023-03-14 Dish Network, L.L.C. Systems and methods for playing media assets stored on a digital video recorder
US11523172B2 (en) 2020-06-24 2022-12-06 Dish Network L.L.C. Systems and methods for using metadata to play media assets stored on a digital video recorder
CN115484407B (zh) * 2022-08-25 2023-07-04 奥比中光科技集团股份有限公司 一种多路采集数据的同步输出方法、系统及rgbd相机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247623A (ja) * 1996-03-13 1997-09-19 Canon Inc 記録再生装置
JPH09261629A (ja) * 1996-03-25 1997-10-03 Ekushingu:Kk Mpeg2データのストリーム変換装置及びその変換装置を備えたデータ供給システム
JPH10154373A (ja) * 1996-09-27 1998-06-09 Sony Corp データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法
JPH10327389A (ja) * 1997-05-22 1998-12-08 Nec Corp 画像蓄積装置
JPH1145512A (ja) * 1997-07-25 1999-02-16 Hitachi Ltd ディジタルディスクレコーダ
JPH11187362A (ja) * 1997-12-22 1999-07-09 Nec Software Niigata Ltd Mpegエンコード装置,mpegのps多重化方法及びps多重化プログラムを記録した記録媒体
JPH11298891A (ja) * 1998-04-08 1999-10-29 Pioneer Electron Corp ストリーム変換装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922592B2 (ja) * 1995-09-29 2007-05-30 松下電器産業株式会社 記録方法
JP3269768B2 (ja) * 1996-01-16 2002-04-02 株式会社東芝 ディジタル信号受信装置
US6172988B1 (en) * 1996-01-31 2001-01-09 Tiernan Communications, Inc. Method for universal messaging and multiplexing of video, audio, and data streams
JPH09247119A (ja) * 1996-03-11 1997-09-19 Oki Electric Ind Co Ltd 多重化装置
KR19980042942A (ko) * 1996-11-27 1998-08-17 서지 포처 데이터 서브 방법 및 장치
JP2885217B2 (ja) 1997-02-21 1999-04-19 日本電気株式会社 Mpegデータ処理回路
US6275507B1 (en) * 1997-09-26 2001-08-14 International Business Machines Corporation Transport demultiplexor for an MPEG-2 compliant data stream
GB9721662D0 (en) 1997-10-14 1997-12-10 Philips Electronics Nv Encoded video signal formatting
ID29305A (id) * 1997-12-15 2001-08-16 Matsushita Electric Ind Co Ltd Piringan optik, aparatus perekaman, media penyimpanan komputer-yang-dapat-membaca yang menyimpan program perekaman, dan metoda perekaman
KR100264470B1 (ko) * 1997-12-24 2000-08-16 정선종 동영상디지털방송망에서의서비스게이트및이용자단말시스템과공통신호채널의운용방법및개별전송채널의할당방법
KR100304644B1 (ko) * 1998-06-19 2001-11-02 윤종용 네트워크를통한정보전송장치및방법
JP2000138896A (ja) * 1998-10-30 2000-05-16 Hitachi Ltd 画像音声記録装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247623A (ja) * 1996-03-13 1997-09-19 Canon Inc 記録再生装置
JPH09261629A (ja) * 1996-03-25 1997-10-03 Ekushingu:Kk Mpeg2データのストリーム変換装置及びその変換装置を備えたデータ供給システム
JPH10154373A (ja) * 1996-09-27 1998-06-09 Sony Corp データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法
JPH10327389A (ja) * 1997-05-22 1998-12-08 Nec Corp 画像蓄積装置
JPH1145512A (ja) * 1997-07-25 1999-02-16 Hitachi Ltd ディジタルディスクレコーダ
JPH11187362A (ja) * 1997-12-22 1999-07-09 Nec Software Niigata Ltd Mpegエンコード装置,mpegのps多重化方法及びps多重化プログラムを記録した記録媒体
JPH11298891A (ja) * 1998-04-08 1999-10-29 Pioneer Electron Corp ストリーム変換装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004030358A1 (ja) * 2002-09-30 2004-04-08 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2007525038A (ja) * 2003-01-09 2007-08-30 トムソン ライセンシング Wlan配信のためmpegトランスポートストリームをipパケットに変換する方法及び装置
US7675901B2 (en) 2003-01-09 2010-03-09 Thomson Licensing Method and an apparatus for mapping an MPEG transport stream into IP packets for WLAN broadcast
JP2011101360A (ja) * 2009-11-03 2011-05-19 Tektronix Internatl Sales Gmbh デジタル・ストリーム内の遅延変動測定方法及び装置

Also Published As

Publication number Publication date
JP4731083B2 (ja) 2011-07-20
TW548925B (en) 2003-08-21
US20010009548A1 (en) 2001-07-26
IL145121A (en) 2006-10-31
KR100733856B1 (ko) 2007-06-29
CN1199475C (zh) 2005-04-27
US6873629B2 (en) 2005-03-29
EP1180309A1 (en) 2002-02-20
CN1349719A (zh) 2002-05-15
IL145121A0 (en) 2002-06-30
GB9930788D0 (en) 2000-02-16
KR20010102436A (ko) 2001-11-15
WO2001050773A1 (en) 2001-07-12

Similar Documents

Publication Publication Date Title
JP4731083B2 (ja) データストリームの変換方法と装置
JP4828760B2 (ja) データストリームの変換方法と装置
JP4970688B2 (ja) デジタルビデオ記録物を作成、再生する方法及び装置と、この方法を用いて作成されたデジタルビデオ記録物
US7639924B2 (en) Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same
US7881584B2 (en) Reproducing apparatus and method, and recording medium
US7095945B1 (en) System for digital time shifting and method thereof
CA2490879C (en) Reproducing apparatus and method, and recording medium
US20070147429A1 (en) Stream file format for digital video recording
JPH11205789A (ja) Mpeg2トランスポートストリーム伝送レート変換装 置
US7653289B1 (en) Stream converting method and apparatus thereof, and stream recording method and apparatus thereof
CA2725177A1 (en) Reproducing apparatus and method, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100610

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100909

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees