JP2004260426A - Apparatus and method for transmitting bit stream - Google Patents

Apparatus and method for transmitting bit stream Download PDF

Info

Publication number
JP2004260426A
JP2004260426A JP2003047576A JP2003047576A JP2004260426A JP 2004260426 A JP2004260426 A JP 2004260426A JP 2003047576 A JP2003047576 A JP 2003047576A JP 2003047576 A JP2003047576 A JP 2003047576A JP 2004260426 A JP2004260426 A JP 2004260426A
Authority
JP
Japan
Prior art keywords
transmission
transmission channel
unit
bit
message flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003047576A
Other languages
Japanese (ja)
Other versions
JP4180399B2 (en
Inventor
Kazuhiro Matsuzaki
一博 松崎
Toyokazu Sugai
豊和 菅井
Yoshiaki Kato
嘉明 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003047576A priority Critical patent/JP4180399B2/en
Publication of JP2004260426A publication Critical patent/JP2004260426A/en
Application granted granted Critical
Publication of JP4180399B2 publication Critical patent/JP4180399B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Communication Control (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a bit stream transmitting apparatus that distributes bit streams into a plurality of transmission channels for transmission and can easily compose and reproduce an original bit stream at a reception side, when a series of the bit streams cannot be transmitted by one transmission channel because of constrains in a band of the transmission channel. <P>SOLUTION: The bit stream transmitting apparatus comprises a transmission channel selection section 14 that selects one transmission channel from the plurality of transmission channels and outputs transmission channel selection information indicating the selected transmission channel; a message flag generator 15 that inserts a message flag for notifying the intermission of continuity into a place where the continuity of the bit stream is intermitted, when the switching of the transmission channel occurs for intermitting the continuity of the bit stream in the transmission channel while the bit stream is transmitted, based on the transmission channel selection information; and a transmission section 16 for transmitting the bit stream into which the message flag is inserted. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、ビット列を複数の有線回線または無線回線で伝送するビット列伝送装置に関するものである。例えば、放送波とインターネットを用いて番組を伝送する放送サービスや、性能の異なる端末向けに複数の伝送チャンネルを用いてコンテンツを伝送し、高機能受信端末では全伝送チャンネルからビット列を受信してコンテンツを再合成して生成する一方、低機能受信端末では一部の伝送チャンネルからのビット列のみを受信して再生するコンテンツの階層伝送サービスにおけるビット列の送信方法及び受信方法に関するものである。
【0002】
【従来の技術】
従来の装置は、N個のデータ信号を、チャネルの使用/未使用の状態に応じて、チャネル単位に切り替えて1つの時系列信号として合成するデータ切り替え方式において、1フレーム当りのデータチャネルの使用効率を向上する。データ信号出力装置A1、A2が、特定パターン挿入回路3a、3bにより、未使用のチャネルに特定パターンを挿入したデータ信号S1、S2を出力し、合成装置A4は、入力したデータ信号S1、S2からチャネル単位に特定パターンを特定パターン検出回路5a、5bで検出する。この検出結果は特定パターン判定回路6に提供され、これにより選択回路7を制御して利用チャネルのシーケンスで1本のデータ信号を出力する(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平5−336060号公報(第1頁、図1)
【0004】
【発明が解決しようとする課題】
従来の方式では、伝送するデータが伝送チャンネル間で時間的に重ならないことを前提とし、受信側では各伝送チャンネル上の特定パターンの有無をもとに伝送チャンネルを切り替えてデータを受信して一連のデータを再合成しているため、各伝送チャンネルで伝送されるデータが可変ビットレートである場合や、伝送チャンネル間でデータの時間的な重なりがある場合には受信側での処理が破綻する可能性があるという問題点があった。
【0005】
この発明は、上述のような課題を解決するためになされたもので、第1の目的は、伝送チャンネルの帯域的な制約から一連のビット列を1つの伝送チャンネルで伝送できない場合、ビット列を複数の伝送チャンネルに振り分けて伝送し、受信側で元のビット列を容易に合成再生することができるビット列伝送装置及び方法を得るものである。
【0006】
また、この発明は、上述のような課題を解決するためになされたもので、第2の目的は、ビット列を複数の伝送チャンネルに振り分けて伝送することにより、高機能受信端末では全伝送チャンネルから受信したビット列を再合成して再生する一方、低機能受信端末では一部の伝送チャンネルからのビット列のみを受信して再生するというように性能の異なるあらゆる受信端末においても、受信端末の性能に合ったビット列を受信して再生することができるビット列伝送装置及び方法を得るものである。
【0007】
さらに、この発明は、上述のような課題を解決するためになされたもので、第3の目的は、各伝送チャンネルで伝送するビット列は固定ビットレートでも可変ビットレートでもよく、伝送チャンネル間でデータの時間的な重なりがあっても、受信側で破綻なくビット列を受信して合成再生することができるビット列伝送装置及び方法を得るものである。
【0008】
【課題を解決するための手段】
この発明に係るビット列伝送装置及び方法は、複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、前記メッセージフラグが挿入されたビット列を送信する送信部とを設けたものである。
【0009】
【発明の実施の形態】
実施の形態1.
この発明の実施の形態1に係るビット列伝送装置及び方法について図面を参照しながら説明する。図1は、この発明の実施の形態1に係るビット列伝送装置の構成を示す図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0010】
図1において、このビット列伝送装置は、パケット化部11と、多重化バッファ12と、多重化部13と、伝送チャンネル選択部14と、メッセージフラグ生成部15と、送信部16とを備える。
【0011】
また、同図において、パケット化部11a、11b、11mは、各符号化ビット列101a、101b、101mを固定長のパケットに格納してパケット列102a、102b、102mを生成する。多重化バッファ12a、12b、12mは、パケット列102a、102b、102mを一時的に蓄える。
【0012】
また、同図において、多重化部13は、パケット列102a、102b、102mを多重化する。伝送チャンネル選択部14は、複数の伝送チャンネルの中から1つの伝送チャンネルを選択する。メッセージフラグ生成部15は、伝送チャンネル選択情報105にしたがってメッセージフラグ106を生成する。送信部16a、16b、16nは、多重化ビット列103を送信する。
【0013】
つぎに、この実施の形態1に係るビット列伝送装置及び方法の動作について図面を参照しながら説明する。
【0014】
パケット化部11a、11b、11mでは、符号化ビット列101a、101b、101mをユニット(例えば、映像フレームや、音声処理フレーム、オブジェクト)単位に分離し、分離した各ユニットを固定長のパケットに格納して、パケット列102a、102b、102mを生成する。
【0015】
図2は、この発明の実施の形態1に係るビット列伝送装置及び方法のパケット化部の動作を説明するための図である。
【0016】
この図2は、符号化ビット列からパケット列への生成を説明する。まず、符号化ビット列101からユニットを分離し、分離した各ユニットにユニットパケットヘッダ201を付与する。このユニットパケットヘッダ201には、ユニットの生成時刻やユニットの再生タイミングに関する時刻情報202と、優先度情報203が含まれる。この優先度情報203は、符号化ビット列単位に付与されるストリーム間優先度情報と、ユニット単位に付与されるストリーム内優先度情報からなる。
【0017】
次に、ユニットとユニットパケットヘッダ201からなるユニットパケットを固定長のパケットに格納する。このとき、各パケットには常に1種類のユニットを格納し、ユニットパケットの先頭が常にパケットペイロード207の先頭に来るように格納する。このパケットペイロード207の途中でユニットの末尾になった場合には、ダミーデータ208をスタッフィングする。パケットヘッダ204には、パケットペイロード207に格納したマルチメディア情報を識別するためのパケットデータ識別情報205と、各パケットの送出順に値がカウントアップするカウント情報206が含まれる。
【0018】
多重化部13では、各パケット列102a、102b、102mをユニットパケットヘッダ201中の優先度情報203に格納されたストリーム間優先度情報と、各多重化バッファ12a、12b、12mの蓄積量を通知する多重化バッファ蓄積情報104とに基づきパケット単位に多重化して多重化ビット列103を生成する。
【0019】
伝送チャンネル選択部14では、ユニットパケットヘッダ201中の優先度情報203と多重化バッファ蓄積情報104とに基づきユニット単位に複数の伝送チャンネルの中から1つの伝送チャンネルを選択する。
【0020】
図3は、優先度情報203の構成要素であるストリーム間優先度とストリーム内優先度を説明するための図である。
【0021】
図3の左側に示すストリーム間優先度(P)は、符号化ビット列毎、すなわち、マルチメディア情報毎に優先度が与えられ、デフォルトとなる伝送チャンネルの指定と、多重化時の優先順位を与える。
【0022】
図3の右側に示すストリーム内優先度(p)は、ユニット毎に優先度が与えられ、別伝送チャンネルで伝送可能なユニットを、優先順位をつけて指定する。また、伝送可能な伝送チャンネルをストリーム内優先度毎に指定しておいてもよい。
【0023】
m本の符号化ビット列(S,S,・・・,S)に対するパケット列を多重化して生成した多重化ビット列(SMUX)を優先度情報203と多重化バッファ蓄積情報104に基づき2つの伝送チャンネルに振り分けて伝送する場合について、多重化部13での多重化制御及び伝送チャンネル選択部14での伝送チャンネルの振り分け制御を図4〜図8のフローチャートを用いて説明する。
【0024】
図4は、この発明の実施の形態1に係るビット列伝送装置及び方法の多重化制御及び伝送チャンネルの振り分け制御の全体動作を示すフローチャートである。
【0025】
図4のステップ401において、初期設定がされる。各符号化ビット列(S,S,・・・,S)に対する多重化バッファ蓄積量をF、F、・・・、Fとおく。また、各多重化バッファのオーバフロー閾値をO、O、・・・、O[bit]、多重化制御閾値をT11、・・・、T1k、T21、・・・、T2k、・・・、Tm1、・・・、Tmk[bit]を初期設定しておく。オーバフロー閾値と多重化制御閾値の大小関係は、Ti1≦Ti2≦・・・≦Tik≦O(for i=1、・・・、m)を満足する。ストリーム間優先度(P)は1〜K、ストリーム内優先度(p)は1〜kとし、値が大きい程、優先度が高くなる。
【0026】
次に、ステップ402において、符号化ビット列(S,S,・・・,S)毎のパケット列が各多重化バッファ12に入力される。
【0027】
次に、ステップ403〜409において、多重化バッファ蓄積量Fの状態によって、処理1(多重化バッファ蓄積量Fがオーバフロー閾値Oを超えた場合)、処理2(多重化バッファ蓄積量Fがオーバフロー閾値Oを超えそうな場合)、処理3(多重化バッファに余裕がある場合)、処理4(一部の多重化バッファに余裕がなくなってきた場合)に分けて処理が行われる。
【0028】
そして、ステップ410において、入力ビット列が無く、かつ多重化バッファ12が全て空かどうかが判断され、入力ビット列が無く、かつ多重化バッファ12が全て空の場合は処理を終了し、そうでない場合にはステップ402へ戻る。
【0029】
2つの伝送チャンネルを用意し、通常伝送チャンネルをデフォルトで使用するもの、補助伝送チャンネルを通常伝送チャンネルでの伝送が帯域的に困難になった場合に使用するものとして両伝送チャンネルを使い分ける。通常伝送チャンネルは固定ビットレート伝送する伝送チャンネルとし、伝送するパケットがない場合にはパケットペイロード207にダミーデータ208が入ったヌルパケットを伝送する。補助伝送チャンネルはベストエフォート型とする。
【0030】
図5は、この発明の実施の形態1に係るビット列伝送装置及び方法の処理1(多重化バッファ蓄積量がオーバフロー閾値を超えた場合)の動作を示すフローチャートである。
【0031】
多重化バッファがオーバフロー状態のビット列については、多重化バッファに入力するパケットを廃棄すると共に、オーバフロー状態の多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファからラウンドロビンでパケットを選択して伝送する。伝送チャンネルの切り替えはユニット単位に行い、ストリーム間優先度P=K−1かつストリーム内優先度p<kの場合に補助伝送チャンネルで伝送する。
【0032】
すなわち、図5のステップ501において、多重化バッファ12がオーバフロー状態のビット列については、多重化バッファ12に入力するパケット102を廃棄する。
【0033】
次に、ステップ502において、オーバフロー状態の多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択する。
【0034】
次に、ステップ503において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ509へ進み、全て空でない場合には、次のステップ504へ進む。
【0035】
次に、ステップ504において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ508へ進み、ユニットの先頭を格納している場合には、次のステップ505へ進む。
【0036】
次に、ステップ505〜507において、選択したパケットのストリーム間優先度がP=K−1かつストリーム内優先度がp<kの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0037】
ステップ508において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ507へ進み、通常伝送チャンネルで伝送していない場合には、ステップ506へ進む。
【0038】
ステップ509において、ヌルパケットを生成してステップ507へ進む。
【0039】
図6は、この発明の実施の形態1に係るビット列伝送装置及び方法の処理2(多重化バッファ蓄積量がオーバフロー閾値を超えそうな場合)の動作を示すフローチャートである。
【0040】
多重化バッファ蓄積量が多重化制御閾値Tik(for i=1、・・・、m)を越えている多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択して伝送する。
【0041】
すなわち、図6のステップ601において、多重化バッファ蓄積量Fが多重化制御閾値Tik(for i=1、・・・、m)を越えている多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択する。
【0042】
次に、ステップ602において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ608へ進み、全て空でない場合には、次のステップ603へ進む。
【0043】
次に、ステップ603において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ607へ進み、ユニットの先頭を格納している場合には、次のステップ604へ進む。
【0044】
次に、ステップ604〜606において、選択したパケットのストリーム間優先度がP=K−1かつストリーム内優先度がp<kの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0045】
ステップ607において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ606へ進み、通常伝送チャンネルで伝送していない場合には、ステップ605へ進む。
【0046】
ステップ608において、ヌルパケットを生成してステップ606へ進む。
【0047】
図7は、この発明の実施の形態1に係るビット列伝送装置及び方法の処理3(多重化バッファに余裕がある場合)の動作を示すフローチャートである。
【0048】
ストリーム間優先度Pの高いパケットから優先的に選択し、ユニット単位に通常伝送チャンネルを振り分けて伝送する。
【0049】
すなわち、図7のステップ701において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ707へ進み、全て空でない場合には、次のステップ702へ進む。
【0050】
次に、ステップ702において、ストリーム間優先度Pの最も高いパケットが選択される。
【0051】
次に、ステップ703において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納している場合は、ステップ706へ進み、ユニットの先頭を格納していない場合には、次のステップ704へ進む。
【0052】
次に、ステップ704〜706において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、通常伝送チャンネルで伝送する。通常伝送チャンネルで伝送していない場合には、補助伝送チャンネルで伝送する。
【0053】
ステップ707において、ヌルパケットを生成してステップ706へ進む。
【0054】
図8は、この発明の実施の形態1に係るビット列伝送装置及び方法の処理4(一部の多重化バッファに余裕がなくなってきた場合)の動作を示すフローチャートである。
【0055】
多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となる多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファからラウンドロビンでパケットを選択して伝送する。多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となるパケットについてはストリーム内優先度p≦jの部分をユニット単位で補助伝送チャンネルに切り替えて伝送する。これにより、多重化バッファ蓄積量にしたがってストリーム内優先度pの小さいパケットから順に補助伝送チャンネルに振り分けられて伝送される。
【0056】
すなわち、図8のステップ801において、多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となる多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファを選択する。
【0057】
次に、ステップ802において、多重化バッファ12からラウンドロビンでパケットを選択する。
【0058】
次に、ステップ803において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ812へ進み、全て空でない場合には、次のステップ804へ進む。
【0059】
次に、ステップ804〜806において、Tij<F≦T j+1となる多重化バッファからパケットを選択しているかどうかが判断される。パケットを選択している場合はL=jとし、パケットを選択していない場合はL=0とする。
【0060】
次に、ステップ807において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ811へ進み、ユニットの先頭を格納している場合には、次のステップ808へ進む。
【0061】
次に、ステップ808〜810において、選択したパケットのストリーム間優先度がP<K−1かつストリーム内優先度がp<Lの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0062】
ステップ811において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ810へ進み、通常伝送チャンネルで伝送していない場合には、ステップ809へ進む。
【0063】
ステップ812において、ヌルパケットを生成してステップ810へ進む。
【0064】
メッセージフラグ生成部15では、伝送チャンネル選択部14から出力される伝送チャンネル選択情報105を参照して、多重化ビット列103の途中で伝送チャンネルが切り替わる際にメッセージフラグ106を生成して多重化ビット列103に挿入する。
【0065】
図9は、多重化ビット列を3つの伝送チャンネル(#1〜#3)に振り分けて伝送する場合のメッセージフラグの挿入方法を説明するための図である。
【0066】
多重化ビット列は、3種類のマルチメディア情報(A、V、D)が固定長パケットベースに多重化されており、各固定長パケットには0〜15の値を有するカウント情報206が付与されている。
【0067】
図9では、伝送チャンネル#2で、マルチメディア情報Vのユニット#2及びマルチメディア情報Dのユニット#5が伝送され、伝送チャンネル#3で、マルチメディア情報Dのユニット#3とユニット#4が伝送され、それ以外のマルチメディア情報の各ユニットは全て伝送チャンネル#1で伝送される場合を示している。
【0068】
このとき、マルチメディア情報Vのユニット#1の末尾を格納したパケットの後に後続のユニット(ユニット#2)が伝送チャンネル#2で伝送されることを示すメッセージフラグ106aを挿入して伝送チャンネル#1で伝送し、伝送チャンネル#2ではマルチメディア情報Vのユニット#2の先頭を格納したパケットの前にマルチメディア情報Vの伝送チャンネルが#1〜#2に切り替わったことを示すメッセージフラグ106bを挿入して伝送する。
【0069】
同様に、マルチメディア情報Vの伝送が伝送チャンネル#2から#1に切り替わるところでは、メッセージフラグ106cとメッセージフラグ106dを挿入してマルチメディア情報Vの伝送が伝送チャンネル#2から#1に切り替わることを通知する。マルチメディア情報Dの伝送についても同様で、伝送チャンネルが切り替わるところにメッセージフラグ106e、106f、106g、106hを挿入する。
【0070】
すなわち、複数の伝送チャンネルの中から1つの伝送チャンネルを選択して1つまたは複数のビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内でビット列の連続性が途切れる場合、ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入して伝送する。
【0071】
複数のビット列が多重化された多重化ビット列を複数の伝送チャンネルの中から1つの伝送チャンネルを選択して伝送する際に、伝送チャンネルの切り替えが発生して多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の後続ユニットが別伝送チャンネルで伝送されることを通知するメッセージフラグを伝送する。
【0072】
マルチメディア情報を構成する各ユニット(例えば、映像フレームや、音声処理フレーム、オブジェクト)を1つまたは複数のパケットに格納し、パケットに格納した各マルチメディア情報を識別するためのパケットデータ識別情報を各パケットに付与してパケット多重された多重化ストリームに対し、多重化ストリーム内のユニット単位に複数の伝送チャンネルの中から1つの伝送チャンネルを選択して多重化ストリームを伝送する際に、同一のパケット識別情報を有するユニットの伝送チャンネルが切り替わった場合、該ユニットと同一のパケット識別情報を有する一つ前のユニットの末尾のデータを格納したパケットの後に、同一のパケット識別情報を有する後続ユニットが別伝送チャンネルで伝送されることを通知するメッセージフラグを伝送する。
【0073】
受信側の一実施例では、受信部により、伝送チャンネル#1乃至#3からパケットを受信して、メッセージフラグ分離部により、分離されたメッセージフラグと、パケットヘッダ分離部により、分離されたパケットデータ識別情報205を参照して、符号化ビット列生成部により、マルチメディア情報V、A、D毎にパケットを振り分け、パケットヘッダ201を除去してユニットパケット列を生成し、さらにユニットパケットヘッダ201を除去してマルチメディア情報毎の符号化ビット列を生成する。各マルチメディア情報はユニットパケットヘッダ内の時刻情報202に基づき復号、再生することによって各マルチメディア情報が同期再生される。
【0074】
受信側で多重化ビット列を再生する場合には、例えば、一旦、マルチメディア情報V、A、D毎にパケットを振り分けた後、ユニットパケットヘッダを検出して各ユニットに付与された時刻情報202を参照してマルチメディア情報間の各ユニットの時間的な順序を決定した上で再多重する。この場合、必ずしも送信側で付与したカウント情報順にパケットが並ばないため、再度カウント情報を振り直すか、カウント情報順になるようパケットの再配置を行う。
【0075】
一実施例では、送信側でメッセージフラグを定期的に各伝送チャンネルに挿入して、各マルチメディア情報のユニットがどの伝送チャンネルで伝送しているかを通知するようにする。これによって、途中から受信を始めた場合でも、メッセージフラグを参照して各マルチメディア情報が伝送されている伝送チャンネルを識別して受信することができる。
【0076】
また、この定期的に挿入するメッセージフラグに各カウント情報をどの伝送チャンネルで伝送しているかを示す情報を格納することによって、受信側では、各伝送チャンネルで受信したパケットを、メッセージフラグを参照してカウント情報の順に並べて送信側と同一の多重化ビット列を再生することができる。
【0077】
送信部16a、16b、16nでは、多重化ビット列103を各伝送チャンネルに応じた送信信号107a、107b、107nに変換して送出する。
【0078】
この実施の形態1によれば、伝送チャンネルのトラフィック状態に応じてビット列を複数の伝送チャンネルに切り替えて伝送し、受信側でこれらのビット列を再合成できるようにしたので、伝送チャンネルの帯域的な制約から一部の情報の伝送をやめたり、時間的に遅延させて帯域に余裕が出てきたところで伝送するといった処理が不要になり、伝送チャンネルの帯域に左右されない情報伝送が可能となる。
【0079】
また、複数の伝送チャンネルを使って情報伝送をする場合、従来の方式では伝送する情報が伝送チャンネル間で時間的に重ならないことを前提として、受信側では各伝送チャンネル上の特定パターンの有無をもとに伝送チャンネルを切り替えてデータを受信して一連のデータを再合成していたが、本実施の形態1によれば、各伝送チャンネルで伝送されるビット列は固定ビットレートでも可変ビットレートでもよく、伝送チャンネル間でデータの時間的な重なりがあっても、受信側ではメッセージフラグをもとに破綻なくビット列を受信して合成再生することが可能である。
【0080】
さらに、ストリーム間優先度情報とストリーム内優先度情報を使えば、低機能受信端末で受信可能な部分をベースとなる伝送チャンネルで伝送し、受信端末の性能(グレード)に応じて伝送チャンネルを使い分けるという階層伝送が可能で、受信端末の性能に応じた視聴サービス、例えば、複数伝送チャンネルを使ったマルチ解像度サービスや、多言語放送サービス、地域情報サービスなど、が可能になる。
【0081】
実施の形態2.
この発明の実施の形態2に係るビット列伝送装置及び方法について図面を参照しながら説明する。図10は、この発明の実施の形態2に係るビット列伝送装置の構成を示す図である。
【0082】
本実施の形態2では、メッセージフラグ生成部15で生成したメッセージフラグ106を送信部16a、16b、16mに入力して、伝送チャンネルの切り替えによって送信信号107a、107b、107mが途切れる箇所にメッセージフラグ106を挿入する。他の構成は、上記の実施の形態1と同様である。
【0083】
本実施の形態2によれば、受信側では、各伝送チャンネルからのパケットを受信してユニット単位のデータ(すなわち、ユニットパケット)に再合成する際、伝送チャンネルが切り替わるところにメッセージフラグが挿入されているため、メッセージフラグを検出すると同時にメッセージフラグにしたがって伝送チャンネルを切り替えて次のユニットを検出することができる。これに対し、メッセージフラグが挿入されない場合は、伝送チャンネルが切り替わったことを即座にかつ容易に認識することが困難である。
【0084】
なお、上記実施の形態1及び2では、伝送チャンネルのトラフィック状態に応じて伝送チャンネルを振り分けるために多重化バッファ蓄積情報104を参照していたが、多重化バッファ蓄積情報の代わりに各送信部16a、16b、16n内に設けた送信バッファの蓄積情報を使用してもよい。また、受信端末から伝送路を介して提供される伝送遅延や伝送品質に関する情報を利用してもよい。
【0085】
【発明の効果】
この発明に係るビット列伝送装置及び方法は、以上説明したとおり、伝送チャンネルのトラフィック状態に応じてビット列を複数の伝送チャンネルに切り替えて伝送し、受信側でこれらのビット列を再合成できるようにしたので、伝送チャンネルの帯域的な制約から一部の情報の伝送をやめたり、時間的に遅延させて帯域に余裕が出てきたところで伝送するといった処理が不要になり、伝送チャンネルの帯域に左右されない情報伝送が可能となるという効果を奏する。
【図面の簡単な説明】
【図1】この発明の実施の形態1に係るビット列伝送装置及び方法の構成を示す図である。
【図2】この発明の実施の形態1に係るビット列伝送装置及び方法のパケット化部の動作を説明するための図である。
【図3】この発明の実施の形態1に係るビット列伝送装置及び方法の優先度情報の構成要素であるストリーム間優先度とストリーム内優先度を説明するための図である。
【図4】この発明の実施の形態1に係るビット列伝送装置及び方法の多重化制御及び伝送チャンネルの振り分け制御の全体動作を示すフローチャートである。
【図5】この発明の実施の形態1に係るビット列伝送装置及び方法の処理1(多重化バッファ蓄積量がオーバフロー閾値を超えた場合)の動作を示すフローチャートである。
【図6】この発明の実施の形態1に係るビット列伝送装置及び方法の処理2(多重化バッファ蓄積量がオーバフロー閾値を超えそうな場合)の動作を示すフローチャートである。
【図7】この発明の実施の形態1に係るビット列伝送装置及び方法の処理3(多重化バッファに余裕がある場合)の動作を示すフローチャートである。
【図8】この発明の実施の形態1に係るビット列伝送装置及び方法の処理4(一部の多重化バッファに余裕がなくなってきた場合)の動作を示すフローチャートである。
【図9】この発明の実施の形態1に係るビット列伝送装置及び方法において多重化ビット列を3つの伝送チャンネルに振り分けて伝送する場合のメッセージフラグの挿入方法を説明するための図である。
【図10】この発明の実施の形態2に係るビット列伝送装置及び方法の構成を示す図である。
【符号の説明】
11a、11b、11m パケット化部、12a、12b、12m 多重化バッファ、13 多重化部、14 伝送チャンネル選択部、15 メッセージフラグ生成部、16a、16b、16n 送信部、101a、101b、101m 符号化ビット列、102a、102b、102m パケット列、103 多重化ビット列、104 多重化バッファ蓄積情報、105 伝送チャンネル選択情報、106 メッセージフラグ、107a、107b、107n 送信信号、201 ユニットパケットヘッダ、202 時刻情報、203 優先度情報、204パケットヘッダ、205 パケットデータ識別情報、206 カウント情報、207 パケットペイロード、208 ダミーデータ。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a bit string transmission device for transmitting a bit string through a plurality of wired lines or wireless lines. For example, broadcast services that transmit programs using broadcast waves and the Internet, and content that is transmitted using multiple transmission channels for terminals with different performances, and advanced reception terminals receive bit strings from all transmission channels and transmit content The present invention relates to a method for transmitting and receiving a bit sequence in a hierarchical transmission service for content, in which a low-function receiving terminal receives and reproduces only a bit sequence from a part of transmission channels.
[0002]
[Prior art]
A conventional apparatus uses N data signals per frame in a data switching method in which N data signals are switched in units of channels according to the use / non-use state of channels and combined as one time-series signal. Improve efficiency. The data signal output devices A1 and A2 output the data signals S1 and S2 in which the specific patterns are inserted into the unused channels by the specific pattern insertion circuits 3a and 3b, and the synthesizer A4 outputs the data signals S1 and S2 from the input data signals S1 and S2. Specific patterns are detected by the specific pattern detection circuits 5a and 5b for each channel. This detection result is provided to the specific pattern determination circuit 6, which controls the selection circuit 7 to output one data signal in the sequence of the use channel (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-5-336060 (page 1, FIG. 1)
[0004]
[Problems to be solved by the invention]
In the conventional method, it is assumed that the data to be transmitted does not overlap in time between the transmission channels, and the receiving side switches the transmission channel based on the presence or absence of a specific pattern on each transmission channel, receives the data, and Since the data is recombined, if the data transmitted on each transmission channel has a variable bit rate, or if there is a temporal overlap of data between the transmission channels, the processing on the receiving side fails. There was a problem that there was a possibility.
[0005]
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and a first object is to form a plurality of bit strings when a series of bit strings cannot be transmitted on one transmission channel due to band limitation of the transmission channel. It is an object of the present invention to provide a bit string transmission apparatus and method capable of distributing the data to transmission channels and transmitting the original bit string on the receiving side so that the original bit string can be easily synthesized and reproduced.
[0006]
A second object of the present invention is to solve the above-described problems. A second object of the present invention is to distribute a bit string to a plurality of transmission channels and to transmit the divided bit strings to a plurality of transmission channels. While the received bit sequence is recombined and reproduced, the low-function receiving terminal receives and reproduces only the bit sequence from some transmission channels. And a bit stream transmitting apparatus and method capable of receiving and reproducing the bit stream.
[0007]
A third object of the present invention is to solve the above-described problems. The third object is to set a bit stream to be transmitted in each transmission channel at a fixed bit rate or a variable bit rate, and to transmit data between transmission channels. It is possible to obtain a bit string transmission apparatus and method capable of receiving a bit string without failure on the receiving side and synthesizing and reproducing the bit string even if the time overlaps.
[0008]
[Means for Solving the Problems]
A bit stream transmission device and method according to the present invention include: a transmission channel selection unit that selects one or several transmission channels from a plurality of transmission channels and outputs transmission channel selection information indicating the selected transmission channels; On the basis of the transmission channel selection information, when transmitting a bit string, when the switching of the transmission channel occurs and the continuity of the bit string is interrupted in the transmission channel, the continuity is provided at a position where the continuity of the bit string is interrupted. It is provided with a message flag generation unit for inserting a message flag for notifying the interruption, and a transmission unit for transmitting a bit string in which the message flag is inserted.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
A bit string transmission apparatus and method according to Embodiment 1 of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of a bit stream transmission device according to Embodiment 1 of the present invention. In the drawings, the same reference numerals indicate the same or corresponding parts.
[0010]
In FIG. 1, the bit string transmission device includes a packetizing unit 11, a multiplexing buffer 12, a multiplexing unit 13, a transmission channel selecting unit 14, a message flag generating unit 15, and a transmitting unit 16.
[0011]
Also, in the figure, the packetizers 11a, 11b, and 11m store the encoded bit strings 101a, 101b, and 101m in fixed-length packets to generate packet strings 102a, 102b, and 102m. The multiplexing buffers 12a, 12b, and 12m temporarily store the packet sequences 102a, 102b, and 102m.
[0012]
Also, in the figure, the multiplexing unit 13 multiplexes the packet sequences 102a, 102b, and 102m. The transmission channel selection unit 14 selects one transmission channel from a plurality of transmission channels. The message flag generator 15 generates a message flag 106 according to the transmission channel selection information 105. The transmission units 16a, 16b, and 16n transmit the multiplexed bit string 103.
[0013]
Next, the operation of the bit string transmission apparatus and method according to the first embodiment will be described with reference to the drawings.
[0014]
The packetizers 11a, 11b, and 11m separate the encoded bit strings 101a, 101b, and 101m into units (for example, video frames, audio processing frames, and objects), and store the separated units in fixed-length packets. Thus, packet sequences 102a, 102b, and 102m are generated.
[0015]
FIG. 2 is a diagram for explaining the operation of the packetizer of the bit stream transmission apparatus and method according to Embodiment 1 of the present invention.
[0016]
FIG. 2 illustrates generation of a coded bit sequence into a packet sequence. First, a unit is separated from the coded bit string 101, and a unit packet header 201 is added to each separated unit. The unit packet header 201 includes time information 202 relating to a unit generation time and a unit reproduction timing, and priority information 203. The priority information 203 is composed of inter-stream priority information given in units of coded bit strings and in-stream priority information given in units of units.
[0017]
Next, a unit packet including the unit and the unit packet header 201 is stored in a fixed-length packet. At this time, one type of unit is always stored in each packet, and the head of the unit packet is always stored at the head of the packet payload 207. If the end of the unit is reached in the middle of the packet payload 207, the dummy data 208 is stuffed. The packet header 204 includes packet data identification information 205 for identifying the multimedia information stored in the packet payload 207, and count information 206 whose value is counted up in the order of transmission of each packet.
[0018]
The multiplexing unit 13 notifies each packet sequence 102a, 102b, 102m of the inter-stream priority information stored in the priority information 203 in the unit packet header 201 and the amount of accumulation in each of the multiplexing buffers 12a, 12b, 12m. The multiplexed bit sequence 103 is generated by performing multiplexing in packet units based on the multiplexed buffer accumulation information 104 to be multiplexed.
[0019]
The transmission channel selection unit 14 selects one transmission channel from a plurality of transmission channels for each unit based on the priority information 203 and the multiplex buffer accumulation information 104 in the unit packet header 201.
[0020]
FIG. 3 is a diagram for explaining the inter-stream priority and the intra-stream priority, which are components of the priority information 203.
[0021]
The inter-stream priority (P) shown on the left side of FIG. 3 is given a priority for each coded bit string, that is, for each multimedia information, and specifies a default transmission channel and gives a priority at the time of multiplexing. .
[0022]
The in-stream priority (p) shown on the right side of FIG. 3 is given a priority for each unit, and specifies a unit that can be transmitted on another transmission channel with a priority. Further, a transmission channel that can be transmitted may be designated for each priority in the stream.
[0023]
m coded bit strings (S1, S2, ..., Sm), A multiplexed bit sequence (SMUX) Is transmitted to two transmission channels based on the priority information 203 and the multiplexing buffer accumulation information 104, the multiplexing control in the multiplexing unit 13 and the distribution control of the transmission channels in the transmission channel selecting unit 14 are performed. This will be described with reference to the flowcharts of FIGS.
[0024]
FIG. 4 is a flowchart showing the overall operation of multiplexing control and transmission channel distribution control of the bit stream transmission apparatus and method according to Embodiment 1 of the present invention.
[0025]
In step 401 of FIG. 4, initialization is performed. Each encoded bit string (S1, S2, ..., Sm) Is the multiplexed buffer accumulation amount for F1, F2, ..., Fmfar. Also, the overflow threshold of each multiplexing buffer is set to O1, O2, ..., Om[Bit], the multiplexing control threshold is T11, ..., T1k, T21, ..., T2k, ..., Tm1, ..., Tmk[Bit] is initialized. The magnitude relationship between the overflow threshold and the multiplex control threshold is Ti1≤Ti2≤ ... ≤Tik≤Oi(For i = 1,..., M). The inter-stream priority (P) is 1 to K, and the intra-stream priority (p) is 1 to k. The higher the value, the higher the priority.
[0026]
Next, in step 402, the encoded bit sequence (S1, S2, ..., Sm) Is input to each multiplexing buffer 12.
[0027]
Next, in steps 403 to 409, depending on the state of the multiplex buffer accumulation amount F, processing 1 (when the multiplex buffer accumulation amount F exceeds the overflow threshold O) and processing 2 (when the multiplex buffer accumulation amount F exceeds the overflow threshold O) The process is divided into process 3 (when the capacity is likely to exceed O), process 3 (when the multiplexing buffer has room), and process 4 (when some of the multiplexing buffers have run out of space).
[0028]
Then, in step 410, it is determined whether or not there is no input bit sequence and the multiplexing buffer 12 is completely empty. If there is no input bit sequence and the multiplexing buffer 12 is completely empty, the process ends. Returns to step 402.
[0029]
Two transmission channels are prepared, and the two transmission channels are selectively used as one that uses the normal transmission channel by default and one that uses the auxiliary transmission channel when the transmission on the normal transmission channel becomes difficult in terms of bandwidth. The normal transmission channel is a transmission channel for transmitting at a fixed bit rate. When there is no packet to be transmitted, a null packet in which dummy data 208 is included in a packet payload 207 is transmitted. The auxiliary transmission channel is a best effort type.
[0030]
FIG. 5 is a flowchart showing an operation of processing 1 (when the multiplexing buffer accumulation amount exceeds an overflow threshold) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention.
[0031]
For the bit stream in which the multiplexing buffer is in the overflow state, the packet input to the multiplexing buffer is discarded, and the multiplexing buffer in the overflow state and the multiplexing buffer corresponding to the coded bit stream with the interstream priority P = K are round robined. To select and transmit the packet. The switching of the transmission channel is performed on a unit basis, and when the inter-stream priority P = K−1 and the intra-stream priority p <k, transmission is performed on the auxiliary transmission channel.
[0032]
That is, in step 501 of FIG. 5, for the bit string in which the multiplexing buffer 12 is in the overflow state, the packet 102 input to the multiplexing buffer 12 is discarded.
[0033]
Next, in step 502, a packet is selected in a round robin manner from the multiplexing buffer 12 in the overflow state and the multiplexing buffer 12 corresponding to the coded bit string with the inter-stream priority P = K.
[0034]
Next, in step 503, it is determined whether or not all of the multiplex buffers 12 are empty. If all are empty, the process proceeds to step 509, and if not all, the process proceeds to the next step 504.
[0035]
Next, in step 504, it is determined whether the selected packet stores the head of the unit. If the head of the unit is not stored, the process proceeds to step 508, and if the head of the unit is stored, the process proceeds to the next step 505.
[0036]
Next, in Steps 505 to 507, the selected packet is transmitted on the auxiliary transmission channel when the inter-stream priority is P = K−1 and the in-stream priority is p <k. On the other hand, if not, the signal is transmitted on a normal transmission channel.
[0037]
In step 508, it is determined whether the packet storing the head of the unit is transmitted on the normal transmission channel. If the transmission is performed on the normal transmission channel, the process proceeds to step 507. If the transmission is not performed on the normal transmission channel, the process proceeds to step 506.
[0038]
In step 509, a null packet is generated, and the flow advances to step 507.
[0039]
FIG. 6 is a flowchart showing an operation of processing 2 (when the multiplex buffer accumulation amount is likely to exceed an overflow threshold) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention.
[0040]
The multiplexing buffer storage amount is equal to the multiplexing control threshold Tik(For i = 1,..., M) and a packet is selected in a round robin manner from the multiplexing buffer 12 corresponding to the coded bit string having the inter-stream priority P = K and the packet is transmitted. .
[0041]
That is, in step 601 of FIG.ikA packet is selected in a round-robin manner from the multiplexing buffer 12 exceeding (for i = 1,..., M) and the multiplexing buffer 12 corresponding to the coded bit string having the inter-stream priority P = K.
[0042]
Next, in step 602, it is determined whether or not all the multiplex buffers 12 are empty. If all are empty, the process proceeds to step 608; otherwise, the process proceeds to the next step 603.
[0043]
Next, in step 603, it is determined whether or not the selected packet stores the head of the unit. If the head of the unit is not stored, the process proceeds to step 607, and if the head of the unit is stored, the process proceeds to the next step 604.
[0044]
Next, in steps 604 to 606, when the priority between streams of the selected packet is P = K-1 and the priority within the stream is p <k, the packet is transmitted on the auxiliary transmission channel. On the other hand, if not, the signal is transmitted on a normal transmission channel.
[0045]
In step 607, it is determined whether or not the packet storing the head of the unit is transmitted on the normal transmission channel. If the transmission is performed on the normal transmission channel, the process proceeds to step 606. If the transmission is not performed on the normal transmission channel, the process proceeds to step 605.
[0046]
In step 608, a null packet is generated, and the process proceeds to step 606.
[0047]
FIG. 7 is a flowchart showing an operation of processing 3 (when the multiplexing buffer has a margin) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention.
[0048]
A packet having a high inter-stream priority P is selected with priority, and a normal transmission channel is assigned to each unit and transmitted.
[0049]
That is, in step 701 of FIG. 7, it is determined whether or not all the multiplex buffers 12 are empty. If all are empty, the process proceeds to step 707, and if not all, the process proceeds to the next step 702.
[0050]
Next, in step 702, a packet having the highest inter-stream priority P is selected.
[0051]
Next, in step 703, it is determined whether or not the selected packet stores the head of the unit. If the head of the unit is stored, the process proceeds to step 706. If the head of the unit is not stored, the process proceeds to the next step 704.
[0052]
Next, in steps 704 to 706, it is determined whether or not the packet storing the head of the unit is transmitted on the normal transmission channel. When transmission is performed on the normal transmission channel, transmission is performed on the normal transmission channel. If the signal is not transmitted on the normal transmission channel, the signal is transmitted on the auxiliary transmission channel.
[0053]
In step 707, a null packet is generated, and the flow advances to step 706.
[0054]
FIG. 8 is a flowchart showing an operation of processing 4 (when some multiplexing buffers have run out of room) of the bit stream transmission apparatus and method according to Embodiment 1 of the present invention.
[0055]
Multiplexing buffer accumulation amount Fi(I = 1,..., M) is Tij<Fi≤Ti  j + 1Packets are selected in a round robin manner from the multiplexing buffer corresponding to (j = 1,..., K−1) and the multiplexing buffer corresponding to the coded bit string with the inter-stream priority P = K, and transmitted. Multiplexing buffer accumulation amount Fi(I = 1,..., M) is Tij<Fi≤Ti  j + 1For packets with (j = 1,..., K−1), the part of the priority p ≦ j in the stream is switched to an auxiliary transmission channel in units and transmitted. As a result, packets are distributed to the auxiliary transmission channel in order from the packet having the lower priority p in the stream according to the multiplex buffer accumulation amount and transmitted.
[0056]
That is, in step 801 of FIG.i(I = 1,..., M) is Tij<Fi≤Ti  j + 1A multiplexing buffer corresponding to (j = 1,..., K−1) and a multiplexing buffer corresponding to the coded bit string with the inter-stream priority P = K are selected.
[0057]
Next, in step 802, a packet is selected from the multiplexing buffer 12 in a round robin manner.
[0058]
Next, in step 803, it is determined whether or not all of the multiplex buffers 12 are empty. If all are empty, the process proceeds to step 812, and if not all, the process proceeds to the next step 804.
[0059]
Next, in steps 804 to 806, Tij<Fi≤Ti  j + 1It is determined whether or not a packet has been selected from the multiplexing buffer. L = j when a packet is selected, and L = 0 when a packet is not selected.
[0060]
Next, in step 807, it is determined whether or not the selected packet stores the head of the unit. If the head of the unit is not stored, the process proceeds to step 811. If the head of the unit is stored, the process proceeds to the next step 808.
[0061]
Next, in Steps 808 to 810, the selected packet is transmitted on the auxiliary transmission channel when the inter-stream priority is P <K−1 and the in-stream priority is p <L. On the other hand, if not, the signal is transmitted on a normal transmission channel.
[0062]
In step 811, it is determined whether the packet storing the head of the unit is transmitted on the normal transmission channel. If the transmission is performed on the normal transmission channel, the process proceeds to step 810. If the transmission is not performed on the normal transmission channel, the process proceeds to step 809.
[0063]
In step 812, a null packet is generated, and the process proceeds to step 810.
[0064]
The message flag generator 15 refers to the transmission channel selection information 105 output from the transmission channel selector 14 to generate a message flag 106 when a transmission channel is switched in the middle of the multiplexed bit sequence 103 and to generate a multiplexed bit sequence 103. Insert
[0065]
FIG. 9 is a diagram for explaining a method of inserting a message flag when a multiplexed bit string is distributed to three transmission channels (# 1 to # 3) and transmitted.
[0066]
In the multiplexed bit string, three types of multimedia information (A, V, D) are multiplexed on a fixed-length packet basis, and each fixed-length packet is provided with count information 206 having a value of 0-15. I have.
[0067]
In FIG. 9, the unit # 2 of the multimedia information V and the unit # 5 of the multimedia information D are transmitted on the transmission channel # 2, and the units # 3 and # 4 of the multimedia information D are transmitted on the transmission channel # 3. This shows a case where all the units of the multimedia information that are transmitted and other than that are transmitted on the transmission channel # 1.
[0068]
At this time, after the packet storing the end of the unit # 1 of the multimedia information V, a message flag 106a indicating that the succeeding unit (unit # 2) is transmitted on the transmission channel # 2 is inserted, and the transmission channel # 1 is inserted. In the transmission channel # 2, a message flag 106b indicating that the transmission channel of the multimedia information V has been switched from # 1 to # 2 is inserted before the packet storing the head of the unit # 2 of the multimedia information V. And transmit.
[0069]
Similarly, where transmission of multimedia information V switches from transmission channel # 2 to transmission channel # 1, message flag 106c and message flag 106d are inserted to switch transmission of multimedia information V from transmission channel # 2 to transmission channel # 1. Notify. The same applies to the transmission of multimedia information D, where message flags 106e, 106f, 106g and 106h are inserted where the transmission channel is switched.
[0070]
That is, when one transmission channel is selected from a plurality of transmission channels and one or a plurality of bit strings are transmitted, when the transmission channel is switched and the continuity of the bit strings in the transmission channel is interrupted, Is inserted at a location where the continuity is interrupted and a message flag for notifying that the continuity is interrupted is transmitted.
[0071]
When one transmission channel is selected from a plurality of transmission channels to transmit a multiplexed bit sequence in which a plurality of bit sequences are multiplexed, switching of the transmission channel occurs and the bit sequence which is a component of the multiplexed bit sequence is generated. When the continuity is interrupted in the transmission channel, a message flag is transmitted to notify that a subsequent unit in the same bit string is transmitted on another transmission channel.
[0072]
Each unit (for example, video frame, audio processing frame, object) constituting the multimedia information is stored in one or a plurality of packets, and packet data identification information for identifying each multimedia information stored in the packet is stored. When one transmission channel is selected from a plurality of transmission channels and transmitted in units of units in the multiplexed stream and transmitted to the multiplexed stream added to each packet and packet-multiplexed, the same multiplexed stream is transmitted. When the transmission channel of the unit having the packet identification information is switched, after the packet storing the data at the end of the immediately preceding unit having the same packet identification information as the unit, a subsequent unit having the same packet identification information is transmitted. Message file notifying that transmission is performed on another transmission channel To transmit immediately.
[0073]
In one embodiment of the receiving side, a packet is received from the transmission channels # 1 to # 3 by the receiving unit, the message flag separated by the message flag separating unit, and the packet data separated by the packet header separating unit. With reference to the identification information 205, the encoded bit sequence generation unit sorts the packets for each of the multimedia information V, A, and D, removes the packet header 201, generates a unit packet sequence, and further removes the unit packet header 201. To generate an encoded bit sequence for each piece of multimedia information. Each multimedia information is decoded and reproduced based on the time information 202 in the unit packet header, whereby each multimedia information is reproduced synchronously.
[0074]
When the multiplexed bit string is reproduced on the receiving side, for example, after once distributing the packets for each of the multimedia information V, A, and D, the unit packet header is detected, and the time information 202 assigned to each unit is transmitted. The time order of each unit among the multimedia information is determined with reference to re-multiplexing. In this case, since the packets are not always arranged in the order of the count information provided on the transmission side, the count information is reassigned again or the packets are rearranged so as to be in the order of the count information.
[0075]
In one embodiment, a message flag is periodically inserted into each transmission channel at the transmitting side to notify which transmission channel each multimedia information unit is transmitting. As a result, even when reception is started halfway, it is possible to identify and receive the transmission channel on which each piece of multimedia information is transmitted by referring to the message flag.
[0076]
Also, by storing information indicating which transmission channel is transmitting each count information in the message flag that is periodically inserted, the receiving side refers to the message flag on the packet received on each transmission channel. Thus, the same multiplexed bit sequence as that on the transmitting side can be reproduced by arranging the multiplexed bit sequence in the order of the count information.
[0077]
The transmission units 16a, 16b, and 16n convert the multiplexed bit string 103 into transmission signals 107a, 107b, and 107n corresponding to each transmission channel and transmit the signals.
[0078]
According to the first embodiment, the bit string is switched to a plurality of transmission channels according to the traffic state of the transmission channel and transmitted, and these bit strings can be recombined on the receiving side. Due to restrictions, it is not necessary to stop transmission of some information or to delay the transmission in time and to transmit when there is a margin in the band, thereby enabling information transmission independent of the band of the transmission channel.
[0079]
When transmitting information using multiple transmission channels, the conventional method assumes that the information to be transmitted does not overlap in time between transmission channels, and the receiving side determines whether there is a specific pattern on each transmission channel. Although a series of data is received and re-synthesized by switching the transmission channel based on the original data, according to the first embodiment, the bit sequence transmitted on each transmission channel can be either a fixed bit rate or a variable bit rate. Even if there is a temporal overlap of data between transmission channels, it is possible for the receiving side to receive a bit string without failure based on the message flag and to synthesize and reproduce the bit string.
[0080]
Further, if the inter-stream priority information and the in-stream priority information are used, a portion that can be received by the low-function receiving terminal is transmitted on the base transmission channel, and the transmission channel is used properly according to the performance (grade) of the receiving terminal. Hierarchical transmission is possible, and a viewing service according to the performance of the receiving terminal, for example, a multi-resolution service using a plurality of transmission channels, a multilingual broadcasting service, a regional information service, and the like are enabled.
[0081]
Embodiment 2 FIG.
A bit string transmission apparatus and method according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 10 is a diagram showing a configuration of a bit stream transmission device according to Embodiment 2 of the present invention.
[0082]
In the second embodiment, the message flag 106 generated by the message flag generation unit 15 is input to the transmission units 16a, 16b, and 16m, and the message flag 106 is set at a position where the transmission signals 107a, 107b, and 107m are interrupted by switching the transmission channel. Insert Other configurations are the same as those in the first embodiment.
[0083]
According to the second embodiment, when the receiving side receives a packet from each transmission channel and recombines it into unit data (ie, a unit packet), a message flag is inserted where the transmission channel is switched. Accordingly, the next unit can be detected by switching the transmission channel according to the message flag at the same time as detecting the message flag. On the other hand, when the message flag is not inserted, it is difficult to immediately and easily recognize that the transmission channel has been switched.
[0084]
In the first and second embodiments, the multiplexing buffer storage information 104 is referred to in order to allocate the transmission channel according to the traffic state of the transmission channel. , 16b and 16n may be used. Further, information on transmission delay and transmission quality provided from the receiving terminal via the transmission path may be used.
[0085]
【The invention's effect】
As described above, the bit string transmission apparatus and method according to the present invention can switch the bit string to a plurality of transmission channels in accordance with the traffic state of the transmission channel, transmit the bit string, and re-synthesize these bit strings on the receiving side. This eliminates the need to stop the transmission of some information due to transmission channel bandwidth restrictions, or to delay the time and transmit when there is room in the bandwidth, making the information independent of the bandwidth of the transmission channel. There is an effect that transmission becomes possible.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a bit string transmission apparatus and method according to Embodiment 1 of the present invention.
FIG. 2 is a diagram for explaining an operation of a packetization unit of the bit stream transmission device and method according to Embodiment 1 of the present invention.
FIG. 3 is a diagram for explaining an inter-stream priority and an intra-stream priority, which are components of priority information of the bit string transmission apparatus and method according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing an overall operation of multiplexing control and transmission channel distribution control of the bit stream transmission apparatus and method according to Embodiment 1 of the present invention.
FIG. 5 is a flowchart showing an operation of processing 1 (when the multiplexing buffer accumulation amount exceeds an overflow threshold) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention;
FIG. 6 is a flowchart showing an operation of processing 2 (when the multiplexing buffer accumulation amount is likely to exceed an overflow threshold) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention;
FIG. 7 is a flowchart showing an operation of processing 3 (when a multiplexing buffer has a margin) of the bit string transmission apparatus and method according to Embodiment 1 of the present invention;
FIG. 8 is a flowchart showing an operation of a process 4 (when a part of the multiplexing buffer has run out of room) of the bit stream transmission apparatus and method according to the first embodiment of the present invention.
FIG. 9 is a diagram for explaining a method of inserting a message flag when a multiplexed bit stream is distributed to three transmission channels and transmitted in the bit stream transmission apparatus and method according to the first embodiment of the present invention.
FIG. 10 is a diagram showing a configuration of a bit string transmission device and method according to Embodiment 2 of the present invention.
[Explanation of symbols]
11a, 11b, 11m Packetizing unit, 12a, 12b, 12m Multiplexing buffer, 13 Multiplexing unit, 14 Transmission channel selecting unit, 15 Message flag generating unit, 16a, 16b, 16n Transmitting unit, 101a, 101b, 101m Encoding Bit sequence, 102a, 102b, 102m packet sequence, 103 multiplexed bit sequence, 104 multiplex buffer accumulation information, 105 transmission channel selection information, 106 message flag, 107a, 107b, 107n transmission signal, 201 unit packet header, 202 time information, 203 Priority information, 204 packet header, 205 packet data identification information, 206 count information, 207 packet payload, 208 dummy data.

Claims (14)

複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、
前記メッセージフラグが挿入されたビット列を送信する送信部と
を備えたことを特徴とするビット列伝送装置。
A transmission channel selection unit that selects one or several transmission channels from a plurality of transmission channels and outputs transmission channel selection information indicating the selected transmission channels;
Based on the transmission channel selection information, when transmitting a bit string, when the switching of the transmission channel occurs and the continuity of the bit string is interrupted in the transmission channel, the continuity is interrupted at a location where the continuity of the bit string is interrupted. A message flag generator for inserting a message flag notifying that
A transmission unit that transmits the bit sequence in which the message flag is inserted.
ビット列を多重化して多重化ビット列を生成する多重化部と、
複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
前記伝送チャンネル選択情報に基づいて、前記多重化ビット列を伝送する際に、伝送チャンネルの切り替えが発生して前記多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の残りが別伝送チャンネルで伝送されることを通知するメッセージフラグを前記多重化ビット列に挿入するメッセージフラグ生成部と、
前記メッセージフラグが挿入された多重化ビット列を送信する送信部と
を備えたことを特徴とするビット列伝送装置。
A multiplexing unit that multiplexes the bit sequence to generate a multiplexed bit sequence;
A transmission channel selection unit that selects one or several transmission channels from a plurality of transmission channels and outputs transmission channel selection information indicating the selected transmission channels;
Based on the transmission channel selection information, when transmitting the multiplexed bit sequence, when the transmission channel switching occurs and the continuity of the bit sequence as a component of the multiplexed bit sequence is interrupted in the transmission channel, the same bit sequence A message flag generator that inserts a message flag notifying that the rest of the data is transmitted on another transmission channel into the multiplexed bit string;
A transmission unit for transmitting a multiplexed bit sequence in which the message flag is inserted, the bit sequence transmission device comprising:
符号化ビット列をパケットに格納してパケット列を生成するパケット化部と、
前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
前記多重化バッファ蓄積情報に基づいて複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
前記メッセージフラグが挿入された多重化ビット列を送信する送信部と
を備えたことを特徴とするビット列伝送装置。
A packetization unit that stores a coded bit sequence in a packet to generate a packet sequence;
A multiplexing buffer for temporarily storing the packet sequence and outputting multiplexing buffer storage information indicating the storage amount;
A multiplexing unit that multiplexes the packet sequence on a packet basis based on the multiplex buffer accumulation information to generate a multiplexed bit sequence;
A transmission channel selection unit that selects one or several transmission channels from a plurality of transmission channels based on the multiplexed buffer accumulation information and outputs transmission channel selection information indicating the selected transmission channels;
A message flag generation unit that generates a message flag when the transmission channel is switched in the middle of the multiplexed bit stream based on the transmission channel selection information and inserts the message flag into the multiplexed bit stream;
A transmission unit for transmitting a multiplexed bit sequence in which the message flag is inserted, the bit sequence transmission device comprising:
符号化ビット列をユニット単位に分離し、この分離した各ユニットを1つ乃至複数のパケットに格納してパケット列を生成するパケット化部と、
前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
前記メッセージフラグが挿入された多重化ビット列を各伝送チャンネルに応じた送信信号に変換して送信する送信部と
を備えたことを特徴とするビット列伝送装置。
A packetization unit that separates the coded bit string into units, stores the separated units in one or more packets, and generates a packet string;
A multiplexing buffer for temporarily storing the packet sequence and outputting multiplexing buffer storage information indicating the storage amount;
A multiplexing unit that multiplexes the packet sequence on a packet basis based on the multiplex buffer accumulation information to generate a multiplexed bit sequence;
A transmission channel selection unit for selecting one or several transmission channels from a plurality of transmission channels in units based on the multiplexed buffer storage information and outputting transmission channel selection information representing the selected transmission channels; When,
A message flag generation unit that generates a message flag when the transmission channel is switched in the middle of the multiplexed bit stream based on the transmission channel selection information and inserts the message flag into the multiplexed bit stream;
A transmission unit for converting the multiplexed bit sequence in which the message flag is inserted into a transmission signal corresponding to each transmission channel and transmitting the transmission signal.
前記パケット化部は、マルチメディア情報を構成する各ユニットに時刻情報を付与し、各ユニットを1つ乃至複数のパケットに格納し、パケットの送信順に値がカウントアップするカウント情報をパケット毎に付与する
ことを特徴とする請求項4記載のビット列伝送装置。
The packetizing unit assigns time information to each unit constituting the multimedia information, stores each unit in one or more packets, and assigns, to each packet, count information that counts up in the order of transmission of the packet. 5. The bit string transmission device according to claim 4, wherein:
前記パケット化部は、ビット列毎に第1の優先度情報を付与するともに、ユニット毎に第2の優先度情報を付与し、
前記伝送チャンネル選択部は、前記第1及び第2の優先度情報と、前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択する
ことを特徴とする請求項4記載のビット列伝送装置。
The packetizing unit assigns first priority information to each bit string, and assigns second priority information to each unit,
The transmission channel selection unit selects one or several transmission channels from a plurality of transmission channels for each unit based on the first and second priority information and the multiplex buffer storage information. The bit string transmission device according to claim 4, wherein:
前記伝送チャンネル選択部は、伝送チャンネルのトラフィック状態に応じて、ストリーム間優先度の低いビット列を選択し、この選択したビット列においてストリーム内優先度の低いユニットを別の伝送チャンネルに振り向ける
ことを特徴とする請求項6記載のビット列伝送装置。
The transmission channel selection unit selects a bit stream having a low priority between streams according to the traffic state of the transmission channel, and directs a unit having a low priority within the stream to another transmission channel in the selected bit string. The bit string transmission device according to claim 6, wherein
前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
ことを特徴とする請求項1、2、3又は4記載のビット列伝送装置。
The message flag generator, before switching a transmission channel in the middle of the bit string, inserts a message flag for notifying information about a transmission channel of a switching destination at a position where the continuity of the bit string is interrupted. The bit string transmission device according to 1, 2, 3, or 4.
前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替えた後に、この切り替え後のビット列の先頭に切り替え前の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
ことを特徴とする請求項1、2、3又は4記載のビット列伝送装置。
2. The message flag generation unit, after switching a transmission channel in the middle of the bit sequence, inserts a message flag for notifying information about the transmission channel before the switching at the head of the bit sequence after the switching. 5. The bit string transmission device according to 2, 3, or 4.
前記メッセージフラグ生成部は、前記ビット列を伝送するのに使用する一連の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
ことを特徴とする請求項1、2、3又は4記載のビット列伝送装置。
5. The bit sequence according to claim 1, wherein the message flag generation unit periodically inserts a message flag for notifying information of a series of transmission channels used for transmitting the bit sequence. Transmission equipment.
前記メッセージフラグ生成部は、前記ビット列の一部分が他の伝送チャンネル上で伝送されている場合、その他の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
ことを特徴とする請求項10記載のビット列伝送装置。
11. The message flag generator according to claim 10, wherein when a part of the bit string is transmitted on another transmission channel, a message flag for notifying information of another transmission channel is periodically inserted. Bit string transmission device.
複数の伝送チャンネルを使って伝送された1つ乃至複数のビット列において、伝送チャンネルの切り替えによってビット列の連続性が途切れる箇所に挿入されたメッセージフラグを分離するメッセージフラグ分離部と、
前記分離されたメッセージフラグを参照して、元のビット列を再生する符号化ビット列生成部と
を備えたことを特徴とするビット列伝送装置。
A message flag separation unit that separates a message flag inserted at a position where continuity of the bit sequence is interrupted by switching of the transmission channel in one or more bit sequences transmitted using the plurality of transmission channels;
A bit string transmission device comprising: an encoded bit string generation unit that reproduces an original bit string with reference to the separated message flags.
複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択してビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内でビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入して伝送する
ことを特徴とするビット列伝送方法。
When one or several transmission channels are selected from a plurality of transmission channels and a bit sequence is transmitted, when the continuity of the bit sequence is interrupted in the transmission channel due to the switching of the transmission channel, the continuation of the bit sequence is performed. A bit string transmission method characterized by inserting a message flag for notifying that continuity is broken at a position where the continuity is broken, and transmitting the bit string.
複数の伝送チャンネルを使って伝送された1つ乃至複数のビット列を、伝送チャンネルの切り替えによってビット列の連続性が途切れる箇所に挿入されたメッセージフラグを参照して、元のビット列を再生する
ことを特徴とするビット列伝送方法。
One or more bit strings transmitted using a plurality of transmission channels are reproduced with reference to a message flag inserted at a position where the continuity of the bit strings is interrupted by switching the transmission channel. Bit string transmission method.
JP2003047576A 2003-02-25 2003-02-25 Bit string transmission device Expired - Fee Related JP4180399B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003047576A JP4180399B2 (en) 2003-02-25 2003-02-25 Bit string transmission device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003047576A JP4180399B2 (en) 2003-02-25 2003-02-25 Bit string transmission device

Publications (2)

Publication Number Publication Date
JP2004260426A true JP2004260426A (en) 2004-09-16
JP4180399B2 JP4180399B2 (en) 2008-11-12

Family

ID=33113794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003047576A Expired - Fee Related JP4180399B2 (en) 2003-02-25 2003-02-25 Bit string transmission device

Country Status (1)

Country Link
JP (1) JP4180399B2 (en)

Also Published As

Publication number Publication date
JP4180399B2 (en) 2008-11-12

Similar Documents

Publication Publication Date Title
KR101639358B1 (en) Transmission apparatus and method, and reception apparatus and method for providing 3d service using the content and additional image seperately transmitted with the reference image transmitted in real time
JP6389585B1 (en) Transmitting apparatus and receiving apparatus
JP2003338830A (en) Media transmitting method, media receiving method, media transmitter and media receiver
JP2000500632A (en) Method and apparatus for multiplexing and distributing data with formatted real-time video
CN101517553A (en) Methods and apparatus for packetization of content for transmission over a network
JPH10164138A (en) Method and device for multimedia data store-and-forward
KR20170087868A (en) Transmission device, transmission method, reception device, and reception method
JP2009512331A (en) Method and apparatus for controlling multi-channel scene configuration for mobile terminal screen display in mobile broadcast system and system thereof
EP2153645A1 (en) Method and apparatus for providing high-quality multimedia service in dmb system
EP2039077A1 (en) Apparatus and method for transmitting media data and apparatus and method for receiving media data
JP4339322B2 (en) Transport stream receiving apparatus for providing multiple screens and control method thereof
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
JP5452428B2 (en) Stream dividing apparatus and receiving apparatus
KR20040017830A (en) System and method for broadcast of independently encoded signals on atsc channels
JP2011530907A (en) Separation of media streams for channel switching
US20110096775A1 (en) System and method for multiplexing and streaming contents
JP4192766B2 (en) Receiving apparatus and method, recording medium, and program
JP4180399B2 (en) Bit string transmission device
JP2004320394A (en) Transmitting system, receiving apparatus, and regeneration method for digital broadcasting
WO1998001970A1 (en) Data multiplexing method, data multiplexer using the multiplexing method, multiple data repeater, multiple data decoding method, multiple data decoding device using the decoding method, and recording medium on which the methods are recorded
JP2008016894A (en) Transmission apparatus and receiving apparatus
JP4439564B2 (en) IP broadcasting system and multiplexing apparatus and receiving apparatus and method used in the IP broadcasting system
KR100710393B1 (en) method for decording packetized streams
JP2000032416A (en) Digital broadcast system, data server, and broadcasting equipment
KR100952292B1 (en) System and method for sending/receiving video on demand using ts multiplexing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees