JP2001057570A - データ多重装置およびプログラムを記録した記録媒体 - Google Patents

データ多重装置およびプログラムを記録した記録媒体

Info

Publication number
JP2001057570A
JP2001057570A JP23157399A JP23157399A JP2001057570A JP 2001057570 A JP2001057570 A JP 2001057570A JP 23157399 A JP23157399 A JP 23157399A JP 23157399 A JP23157399 A JP 23157399A JP 2001057570 A JP2001057570 A JP 2001057570A
Authority
JP
Japan
Prior art keywords
data
streaming data
output
packets
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23157399A
Other languages
English (en)
Other versions
JP3910763B2 (ja
Inventor
Takayuki Fukui
隆之 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP23157399A priority Critical patent/JP3910763B2/ja
Publication of JP2001057570A publication Critical patent/JP2001057570A/ja
Application granted granted Critical
Publication of JP3910763B2 publication Critical patent/JP3910763B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【課題】 ストリーミングデータの空き帯域を利用して
非ストリーミングデータを送信し、限定された回線容量
を有効に活用することができるデータ多重装置を提供す
ること。 【解決手段】 ビデオデータ3やオーディデータ5等の
ストリーミングデータと、テキストデータ9や静止画デ
ータ7等の非ストリーミングデータとを多重化して出力
するとともに、ストリーミングデータを一定の出力速度
で出力するデータ多重装置10において、ストリーミン
グデータが存在しない空き帯域に、非ストリーミングデ
ータを出力すること。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ多重装置に
係り、更に詳しくは、複数種類のデータを多重するデー
タ多重装置およびプログラムを記録した記録媒体に関す
るものである。
【0002】
【従来の技術】図12は、この種の従来から用いられて
いるデータ多重装置の伝送用帯域利用方法を示す概念図
である。
【0003】図12に示すデータ多重方式は、固定ビッ
トレート方式と呼ばれるデータ多重方式であり、オーデ
ィオデータやビデオデータといったストリーミングデー
タと、静止画データやテキストデータといった非ストリ
ーミングデータとの多重を行なう場合、各ストリーミン
グデータ用の帯域および非ストリーミングデータ用の帯
域をそれぞれ独立に一定のビットレート(送信速度)で
クライアント側に送信している。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来のデータ多重装置では、以下のような問題があ
る。
【0005】すなわち、従来のデータの多重装置では、
図12において斜線で示すようなストリーミングデータ
が存在しない空き帯域がある場合、その空き帯域を活用
していない。
【0006】これを、たとえば図12を用いて説明する
と、ビデオやオーディオのデータが、連続的ではなく断
続的に再生される場合、データが送信されない空き帯域
(A1、A2、V1、V2)が存在する。この空き帯域
(A1、A2、V1、V2)では、固定ビットレートで
データを送信することが可能な状態になっているにもか
かわらず何のデータも送られておらず、空き帯域は全く
活用されていない。
【0007】空き帯域を活用する方法としては、随時ス
トリーミングデータのビットレートを監視しながら、空
き帯域にその都度非ストリーミングデータを組み入れる
方法がある。
【0008】このような方法では、非ストリーミングデ
ータを、クライアント側で再生される時間前にすべて届
いているように送信しなければならない。
【0009】しかしながら、空き帯域は、オーディオデ
ータやビデオデータの内容に依存するので、いつも同じ
容量とは限らない。
【0010】例えば、図12においてオーディオストリ
ーミングデータとビデオストリーミングデータの空き帯
域A1、V1、A2、V2を用いて非ストリーミングデ
ータを送出する場合、まずオーディオストリーミングデ
ータが送信される前の空き帯域A1を利用して非ストリ
ーミングデータのパケットの一部を送信することにな
る。次の空き帯域は、ビデオストリーミングデータの空
き帯域V1である。この空き帯域V1についても、非ス
トリーミングデータのパケットの一部を送信することに
なる。また、その他の空き帯域である空き帯域A2、V
2についても非ストリーミングデータのパケットの一部
を送信することになる。
【0011】しかしながら、ストリーミングデータ同士
でも、オーディオデータとビデオデータとでは、同じビ
ットレートとは限らない。この場合、空き帯域A2と空
き帯域V2とに示すように、空き帯域の時間が同一であ
っても空き帯域で送信可能なデータ量は、オーディオデ
ータとビデオデータとでは異なる。
【0012】このように、空き帯域で送信可能なパケッ
トの数は、空き帯域の各々の容量によって異なる。
【0013】従って、ストリーミングデータの空き帯域
を用いて、非ストリーミングデータのパケットを送信す
る場合、空き帯域の容量に応じて送信可能なパケット数
を算出するとともに、空き帯域の開始時間にあわせてパ
ケットの送信を開始し、空き帯域の終了時間までに所定
個数のパケットの送信を完了させなければならない。
【0014】そして、以降の空き帯域についても同様
に、個々の空き帯域に応じたパケット数を算出し、空き
帯域のタイミングに合わせて所定個数のパケットを送信
する必要がある。
【0015】このように、非ストリーミングデータのデ
ータパケットを、ストリーミングデータの空き帯域を利
用して送信するのは極めて煩雑なので、従来のデータ多
重装置では、空き帯域は活用されておらず、限定された
回線容量を有効に活用していないという問題点があっ
た。
【0016】本発明はこのような事情に鑑みてなされた
ものであり、ストリーミングデータの空き帯域を利用し
て非ストリーミングデータを送信し、もって、限定され
た回線容量を有効に活用することができるデータ多重装
置を提供することを目的とする。
【0017】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明では、以下のような手段を講じる。
【0018】すなわち、請求項1の発明では、ビデオデ
ータやオーディデータ等のストリーミングデータと、テ
キストデータや静止画データ等の非ストリーミングデー
タとを多重化して出力するとともに、ストリーミングデ
ータを一定の出力速度で出力するデータ多重装置におい
て、ストリーミングデータが存在しない空き帯域に、非
ストリーミングデータを出力する。
【0019】請求項2の発明では、ビデオデータやオー
ディオデータ等のストリーミングデータと、テキストデ
ータや静止画データ等の非ストリーミングデータとを多
重化して出力するデータ多重装置において、非ストリー
ミングデータをいくつかのパケット毎に順に出力し、ス
トリーミングデータが存在しない空き帯域で出力できる
パケットの数を算出するとともに、空き帯域を当該パケ
ットの数で分割した各々の領域である第1のパケットエ
リアのそれぞれに出力開始時刻および出力終了時刻情報
を関連付け、非ストリーミングデータのパケットの数
が、第1のパケットエリアの数よりも多い場合には、ス
トリーミングデータか非ストリーミングデータかのいず
れかの出力が開始された時から、前記ストリーミングデ
ータおよび前記非ストリーミングデータの全ての出力が
終了するまでの時間内で、空き帯域で出力できない全て
のパケットを出力できる出力速度を決定するとともに、
空き帯域で出力できない各々のパケットを出力速度で出
力する各々の領域である第2のパレットエリアのそれぞ
れに出力開始時刻および出力終了時刻情報を関連付け、
非ストリーミングデータのパケットを、第1のパケット
エリアの各々および第2のパケットエリアの各々のうち
出力終了時刻の早いパケットエリアから順に割り振ると
ともに、割り振られたパケットを各パケットエリアのそ
れぞれに関連付けられた出力開始時刻および出力終了時
刻情報に基づいて出力し、非ストリーミングデータのパ
ケットの数が、第1のパケットエリアの数と等しいか、
あるいはそれよりも少ない場合には、非ストリーミング
データのパケットを、第1のパケットエリアの各々のう
ち出力終了時刻の早いパケットエリアから順に割り振る
とともに、割り振られたパケットを第1のパレットエリ
アのそれぞれに関連付けられた出力開始時刻および出力
終了時刻情報に基づいて出力する。
【0020】請求項3の発明では、請求項2に記載のデ
ータ多重装置において、ストリーミングデータは、ビデ
オカメラやオーディオ装置等のハードウェアからリアル
タイムで入力され、入力されたストリーミングデータを
複数のストリーミングデータパケットに分割し、複数の
ストリーミングデータパケットのそれぞれに出力開始時
刻および出力終了時刻情報を関連付け、関連付けられた
出力開始時刻および出力終了時刻情報に基づいて複数の
ストリーミングデータパケットを出力する。
【0021】請求項4の発明では、ビデオデータやオー
ディオデータ等のストリーミングデータと、テキストデ
ータや静止画データ等の非ストリーミングデータとをそ
れぞれいくつかのパケットに分割して多重化した後に順
に出力するデータ多重装置を制御するプログラムを記録
した記録媒体であって、コンピュータに、ストリーミン
グデータが存在しない空き帯域で出力できるパケットの
数を算出させるとともに、空き帯域を当該パケットの数
で分割された各々の領域である第1のパケットエリアの
それぞれに出力開始時刻および出力終了時刻情報を関連
付けさせ、非ストリーミングデータのパケットの数が、
第1のパケットエリアの数よりも多い場合には、ストリ
ーミングデータか非ストリーミングデータかのいずれか
の出力が開始された時から、前記ストリーミングデータ
および前記非ストリーミングデータの全ての出力が終了
するまでの時間内で、空き帯域で出力できない全てのパ
ケットを出力できる出力速度を決定させるとともに、空
き帯域で出力できない各々のパケットを出力速度で出力
する各々の領域である第2のパレットエリアのそれぞれ
に出力開始時刻および出力終了時刻情報を関連付けさ
せ、非ストリーミングデータのパケットを、第1のパケ
ットエリアの各々および第2のパケットエリアの各々の
うち出力終了時刻の早いパケットエリアから順に割り振
るとともに、割り振られたパケットを各パケットエリア
のそれぞれに関連付けられた出力開始時刻および出力終
了時刻情報に基づいて出力させ、非ストリーミングデー
タのパケットの数が、第1のパケットエリアの数と等し
いか、あるいはそれよりも少ない場合には、非ストリー
ミングデータのパケットを、第1のパケットエリアの各
々のうち出力終了時刻の早いパケットエリアから順に割
り振るとともに、割り振られたパケットを第1のパレッ
トエリアのそれぞれに関連付けられた出力開始時刻およ
び出力終了時刻情報に基づいて出力させる。
【0022】従って、請求項1から3の発明のデータ多
重装置、および請求項4の発明のプログラムを記録した
記録媒体においては、ストリーミングデータの空き帯域
を利用して非ストリーミングデータを送信することによ
り、トータルビットレートを減少させることができる。
【0023】特に、請求項3の発明のデータ多重装置に
おいては、更に、ストリーミングデータをビデオカメラ
やオーディオ装置などのハードウェアから直接的に取り
込む場合においても適用できる。
【0024】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて図面を参照しながら説明する。
【0025】(第1の実施の形態)本発明の第1の実施
の形態を図1から図6を用いて説明する。
【0026】図1は、本発明の実施の形態によるデータ
多重装置の一例を示す全体構成図である。
【0027】すなわち、本実施の形態によるデータ多重
装置1は、ビデオデータ3、オーディオデータ5といっ
たストリーミングデータと、静止画データ7、テキスト
データ9といった非ストリーミングデータとを多重する
多重手段10と、多重手段10により多重された多重デ
ータを保存する多重データ記憶手段20と、多重データ
記憶手段20から多重データを取り出し、多重データを
いくつかのパケットに分割してパケット毎に送信する送
出サーバ30と、送出サーバ30から送信されたパケッ
トを受信・再生し合成表示する表示手段40とを備えて
いる。
【0028】ビデオデータ3、オーディオデータ5とい
ったストリーミングデータは、表示手段40で受信され
るのと同時に再生が可能となるデータである。
【0029】一方、静止画データ7、テキストデータ9
といった非ストリーミングデータは、表示手段40で全
て受信がなされてから再生可能となるデータである。
【0030】なお、ストリーミングデータおよび非スト
リーミングデータのフォーマットについては特に規定し
ない。
【0031】多重手段10は、このようなストリーミン
グデータおよび非ストリーミングデータがそれぞれ入力
されるようになっている。また、ストリーミングデータ
については、単位時間当たりに送信されるデータ量、す
なわち送信速度であるビットレートもそれぞれ入力され
るようになっている。更に、多重データのビットレート
であるトータルビットレートも入力されるようになって
いる。
【0032】多重手段10は、入力されたこれらのスト
リーミングデータおよび非ストリーミングデータを固定
サイズのパケットに分割すると共に、それぞれをタイム
スタンプ情報と関連付ける。タイムスタンプとは送出サ
ーバ30から表示手段40に送信されるときにおけるパ
ケットの送信開始および終了時刻である。
【0033】更に、多重手段10は、これらパケット
を、表示手段40での再生開始および終了時刻とタイム
スタンプ情報とを比較することにより、パケットの送信
順序を決定し、これらの情報を多重データとして多重デ
ータ記憶手段20に保存する。
【0034】送出サーバ30は、このような多重データ
を多重データ記憶手段20から取り出すとともに、多重
手段10に入力されたビットレートに応じて、パケット
単位で表示手段40に送信する。
【0035】送出サーバ30から表示手段40へのパケ
ット送信は、ネットワーク回線を介して行なっても良
い。このネットワーク回線は、インターネット、イーサ
ネット等のLAN、あるいは公衆回線や専用回線を介し
て複数のLANが接続されるWAN等も含まれる。イン
ターネット、WAN等の場合には、公衆回線に接続する
ためのファイアウォール等を適宜備えているが、ここで
はその図示及び詳細説明を省略する。
【0036】表示手段40は、送出サーバ30より送信
されたパケットを受信・再生し、ビデオ、オーディオ、
テキスト、静止画すべてのデータを一つの画面上に合成
表示する。ストリーミングデータについては、パケット
を受信しながら表示し、非ストリーミングデータについ
ては、パケットを全て受信後に表示する。表示のタイミ
ングについては、各パケットが有している再生開始およ
び終了時刻データに従う。
【0037】次に、以上のように構成した本実施の形態
のデータ多重装置の動作について説明する。
【0038】図2は、本実施の形態に係るデータ多重装
置の動作を示すフローチャートである。
【0039】先ず、合成表示したい全てのデータを多重
手段10に入力する(S1)。データの種類としてはビ
デオ、オーディオなどのストリーミングデータと、静止
画、テキストなどの非ストリーミングデータとがあり、
各データは表示手段40における再生開始および終了時
刻データも含んでいる。
【0040】データの入力は、ファイル形式で行なって
も、また、別の手段を経由して行なっても良い。なお、
データ形式としてはビデオ、オーディオ、静止画、テキ
ストデータ以外のデータでも構わない。
【0041】次に、ストリーミングデータのビットレー
トについて、各ストリーミングデータ毎(例えば、オー
ディオデータとビデオデータのそれぞれ毎)に多重手段
10に入力する(S2)。
【0042】更に、多重データのビットレートであるト
ータルビットレートを多重手段10に入力する(S
3)。
【0043】多重手段10では、ストリーミングデータ
の空き帯域で送信される非ストリーミングデータのパケ
ットの送信順序、および送信開始および終了時刻が決定
され、データの多重がなされる(S4)。
【0044】なお、S4において行われる多重手段10
の動作の詳細については、後述する。
【0045】多重手段10において多重された多重デー
タは、多重データ記憶手段20で保存される(S5)。
【0046】多重データ記憶手段20で保存された多重
データは、送出サーバ30によって取り出され、更に各
々のストリーミングデータの固定ビットレートで表示手
段40に送信される(S6)。
【0047】このようにして送信された多重データは、
表示手段40においてパケット毎に受信・再生され合成
表示される(S7)。
【0048】このとき、多重データに含まれていたビデ
オ、オーディオ、テキスト、静止画すべてのデータが一
つの画面上に合成表示される。
【0049】表示手段40では、ストリーミングデータ
はパケットが受信されながら再生されることが可能であ
る。一方、非ストリーミングデータは受信が完了したパ
ケットから再生される。
【0050】次に、S4において行われる多重手段10
の動作の詳細について説明する。
【0051】図3は、前述したような多重手段10の動
作を示すフローチャートである。
【0052】なお、ここで、多重データの再生開始時刻
を番組開始時刻、再生終了時刻を番組終了時刻、番組開
始時刻から番組終了時刻までを番組時間と称する。
【0053】先ず、多重手段10において、全データの
帯域(トータル帯域)から、全ストリーミングデータの
帯域が差し引かれる(S11)。次に、全ストリーミン
グデータの再生開始および終了時刻が、番組開始および
終了時刻と一致するかの比較がなされる(S12)。
【0054】図4は、全ストリーミングデータの再生開
始および終了時刻が、番組開始および終了時刻と一致す
る場合におけるデータ多重装置の伝送用帯域利用方法を
示す概念図である。
【0055】図4に示すように、全ストリーミングデー
タの再生開始および終了時刻が、番組開始および終了時
刻と一致する(S12:YES)場合においては、スト
リーミングデータの空き帯域が存在しないので、非スト
リーミングデータに使用できる帯域は番組開始および終
了時刻まで一定である(S13)。
【0056】このとき、下記に示す(1)式に従って、
非ストリーミングデータの送信可能なパケット数が算出
される(S14)。また、番組時間をパケット数で除す
ることにより、各パケットを送信するためのエリア毎に
タイムスタンプ(送信開始および終了時刻情報)が割り
振られる(S15)。
【0057】 (送信可能なパケット数) =(ビットレート)×(番組時間)/(パケットサイズ) …(1) このようにして非ストリーミングデータの全パケットを
送信するためのエリアが確保される。同様にして、スト
リーミングデータについても全パケットを送信するため
のエリアが確保される。これらエリアに、再生時刻に間
に合うようにパケットの割り振りがなされ、そのデータ
は多重手段10から多重データ記憶手段20へと出力さ
れる(S16)。
【0058】図4は、1秒間に1パケットを送信する場
合であり、2秒後と6秒後とにそれぞれ「Carrot
s」、「It is a sample」という非スト
リーミングデータを表示できるようにそれぞれのパケッ
トを送信している例を示している。
【0059】一方、ストリーミングデータの再生開始お
よび終了時刻が、番組開始および終了時刻と異なってい
る場合(S12:NO)においては、非ストリーミング
データのパケット送信パターンは、ストリーミングデー
タの空き帯域に依存する。これを図5を用いて説明す
る。
【0060】図5は、ストリーミングデータの再生開始
および終了時刻が、番組開始および終了時刻と異なる場
合におけるデータ多重装置の伝送用帯域利用方法を示す
概念図である。
【0061】ここでは、送信開始後1分から9分まで送
信されるビデオストリーミングデータと、送信開始後3
分から9分まで送信されるオーディオストリーミングデ
ータと、送信開始から送信終了まで継続して送信される
非ストリーミングデータの例を示している。
【0062】また、ビデオストリーミングデータのビッ
トレートRv1は毎秒2000ビット、オーディオスト
リーミングデータのビットレートRa1は毎秒1000
ビット、非ストリーミングデータのビットレートRn1
は毎秒1000ビットとする。すなわち、トータルビッ
トレートRt1は毎秒4000ビットである。
【0063】非ストリーミングデータは1分毎に1パケ
ット送信され、送信が完了する10分後までに10パケ
ットが送信される。すなわち、非ストリーミングデータ
の1パケットサイズは60000ビットである。
【0064】図5のように、ストリーミングデータの再
生開始および終了時刻が、番組開始および終了時刻と異
なる場合には、ストリーミングデータが伝送されない空
き帯域a1、a2、v1、v2が存在する。
【0065】空き帯域の容量は、各ストリーミングデー
タのビットレートと、時間との積で決定される。従っ
て、空き帯域を利用して送信できる非ストリーミングデ
ータのパケット数も空き帯域a1、a2、v1、v2毎
に異なる。
【0066】このように、ストリーミングデータの再生
開始および終了時刻が、番組開始および終了時刻と異な
る場合におけるパケットの割り振りは、多重手段10に
おいて以下の様にして行われる。
【0067】先ず、多重手段10において、各ストリー
ミングデータの空き帯域の容量が計算される(S2
1)。
【0068】この帯域は、番組開始および終了時刻と、
各ストリーミングデータの再生開始および終了時刻とか
ら、以下に示す(2)式に従って算出される。
【0069】 (ストリーミングデータ再生開始前と終了後との空き帯域) ={(再生開始時刻−番組開始時刻)+(番組終了時刻−再生終了時刻)} ×(ビットレート)…(2) 図5の場合だと、空き帯域の容量はそれぞれ以下の通り
となる。
【0070】空き帯域a1=180000ビット 空き帯域a2= 60000ビット 空き帯域v1=120000ビット 空き帯域v2=120000ビット 更に、このように算出された空き帯域を非ストリーミン
グデータの1パケットサイズで除することで、その空き
帯域で送信可能な非ストリーミングデータのパケット数
が算出される(S22)。
【0071】いま、非ストリーミングデータのパケット
サイズは60000ビットであるので、各空き帯域で送
信可能な非ストリーミングデータのパケット数は以下の
通りとなる。
【0072】空き帯域a1=3パケット 空き帯域a2=1パケット 空き帯域v1=2パケット 空き帯域v2=2パケット なお、残りの2パケット(120000ビット)は、空
き帯域では送信できないので、非ストリーミングデータ
用帯域で送信する。この場合、2パケットを10分間か
けて送信すれば良いので、非ストリーミングデータのビ
ットレートは毎秒200ビット必要となる。
【0073】すなわち、このように空き帯域を利用する
ことによって、非ストリーミングデータ用帯域のビット
レートを毎秒1000ビットから毎秒200ビットに減
少させることが可能となる。
【0074】このようにして、空き帯域を利用して非ス
トリーミングデータを送信する場合、各データは図6に
示すようにして送信される。
【0075】図6は、図5に示すような状態において、
ストリーミングデータの空き帯域を利用して非ストリー
ミングデータを送信する場合におけるデータ多重装置の
伝送用帯域利用方法を示す概念図である。
【0076】ストリーミングデータの空き帯域a1、a
2、v1、v2はそれぞれ非ストリーミングデータの送
信に用いられ、非ストリーミングデータのビットレート
’は毎秒200ビットとなったことにより、トー
タルビットレートRt1’は毎秒3200ビットとな
る。
【0077】このようにして、各空き帯域に割り振られ
た非ストリーミングデータのパケットを送信するための
エリアには、タイムスタンプが付され(S23)、送信
開始時間と送信終了時間との関連付けがなされる。
【0078】次に、各エリアは、付されたタイムスタン
プ情報に従って、連続したデータにマージされる(S2
4)。
【0079】更に、各エリアのタイムスタンプ情報と各
パケットの再生開始時刻との比較がなされ、再生開始時
刻前に送信が完了するようにパケットがエリアに割り振
られる(S25)。
【0080】図6中に示す数字は、このようにして各エ
リアに割り振られたパケットの送信順を示すものであ
る。請求項でいう第1のパケットエリアで送信されるパ
ケットは、それぞれ1、2、4、5、6、8、9、10
番目に送信されるパケットが相当する。また、請求項で
いう第2のパケットエリアで送信されるパケットは、そ
れぞれ3、7番目に送信されるパケットが相当する。
【0081】このようにして各エリアに割り振られた各
パケットは、多重手段10から多重データ記憶手段20
へと出力される(S26)。
【0082】上述したように、本実施の形態のデータ多
重装置においては、ストリーミングデータの空き帯域を
利用して、非ストリーミングデータを送信することによ
り、トータルビットレートを減少させることができる。
【0083】その結果、限定された回線容量を有効に活
用し、もって、データの送信負荷を低減したデータ多重
装置を実現することが可能となる。
【0084】(第2の実施の形態)本発明の第2の実施
の形態を図7から図9を用いて説明する。
【0085】本発明の第2の実施の形態におけるデータ
多重装置は、その構成を第1の実施の形態のデータ多重
装置と同一とし、ストリーミングデータの空き帯域のパ
ターンが異なるのみである。
【0086】図7は、あるストリーミングデータの送信
終了後と別のストリーミングデータの送信開始前との間
に空き帯域が存在するパターンにおける帯域利用方法を
示す概念図である。
【0087】ここでは、送信開始後1分から5分まで送
信されるビデオストリーミングデータAと、送信開始後
6分から9分まで送信されるビデオストリーミングデー
タBと、送信開始から送信終了まで継続して送信される
非ストリーミングデータの例を示している。
【0088】また、ビデオストリーミングデータのビッ
トレートRv2はビデオストリーミングデータA、ビデ
オストリーミングデータBともに毎秒2000ビット、
非ストリーミングデータのビットレートRn2は毎秒1
000ビットとする。すなわち、トータルビットレート
t2は毎秒3000ビットである。
【0089】非ストリーミングデータは1分毎に1パケ
ット送信され、送信が完了する10分後までに10パケ
ットが送信される。すなわち、非ストリーミングデータ
の1パケットサイズは60000ビットである。
【0090】また、ビデオストリーミングデータが伝送
されない空き帯域v3、v4、v5が存在する。
【0091】本実施の形態によるデータ多重装置は、図
7に示すように、あるストリーミングデータの送信が終
了した後、別のストリーミングデータの送信が開始する
までの空き帯域も利用して非ストリーミングデータを送
信する。
【0092】このような本実施の形態のデータ多重装置
の動作について説明する。
【0093】図8は、本実施の形態に係るデータ多重装
置の動作を示すフローチャートである。
【0094】先ず、番組開始時刻から、ビデオストリー
ミングデータAの再生開始時刻までの空き帯域v3の容
量が計算され(S31)、次にビデオストリーミングデ
ータAの再生終了時刻から、ビデオストリーミングデー
タBの再生開始時刻までの空き帯域v4の容量が計算さ
れる(S32)。
【0095】更に、ビデオストリーミングデータBの再
生終了時刻から、番組終了時刻までの空き帯域v5の容
量が計算される(S33)とともに、これら空き帯域v
3、v4、v5のそれぞれにおいて送信可能な非ストリ
ーミングデータのパケット数が算出される(S34)。
【0096】いま、非ストリーミングデータのパケット
サイズは60000ビットであるので、各空き帯域で送
出可能な非ストリーミングデータのパケット数は以下の
通りとなる。
【0097】空き帯域v3=2パケット 空き帯域v4=2パケット 空き帯域v5=2パケット なお、残りの4パケット(240000ビット)は、こ
れら空き帯域では送信できないので、非ストリーミング
データ用帯域で送信する。4パケットを10分間かけて
送信すれば良いので、非ストリーミングデータのビット
レートは毎秒400ビット必要となる。
【0098】すなわち、このように空き帯域を利用する
ことによって、非ストリーミングデータ用の帯域のビッ
トレートを毎秒1000ビットから毎秒400ビットに
減少させることが可能となる。
【0099】このようにして、空き帯域を利用して非ス
トリーミングデータを送信する場合、各データは図9に
示すようにして送信される。
【0100】図9は、図7に示すような状態において、
ストリーミングデータの空き帯域を利用して非ストリー
ミングデータを送信する場合におけるデータ多重装置の
伝送用帯域利用方法を示す概念図である。
【0101】ストリーミングデータの空き帯域v3、v
4、v5はそれぞれ非ストリーミングデータの送信に用
いられ、非ストリーミングデータのビットレート
n2’は毎秒400ビットとなったことにより、トー
タルビットレートRt2’は毎秒2400ビットとな
る。
【0102】S35、S36、S37、S38はそれぞ
れ既に説明したS23、S24、S25、S26と同様
であるのでここではその説明を省略する。
【0103】なお、図9中に示す数字は図8のフローチ
ャートに示すルーチンに従って各エリアに割り振られた
パケットの送信順を示すものである。請求項でいう第1
のパケットエリアで送信されるパケットは、それぞれ
1、3、5、7、9、10番目に送信されるパケットが
相当する。また、請求項でいう第2のパケットエリアで
送信されるパケットは、それぞれ2、4、6、8番目に
送信されるパケットが相当する。
【0104】上述したように、本実施の形態のデータ多
重装置においては、あるストリーミングデータの送信終
了後から別のストリーミングデータの送信が開始するま
での空き帯域を利用して、非ストリーミングデータを送
信することによりトータルビットレートを減少させるこ
とができる。
【0105】その結果、限定された回線容量を有効に活
用し、もって、データの送信負荷を低減したデータ多重
装置を実現することが可能となる。
【0106】(第3の実施の形態)本発明の第3の実施
の形態を図10と図11とを用いて説明する。
【0107】図10は、本発明の第3の実施の形態に係
るデータ多重装置の一例を示す全体構成図であり、図1
と同一部分には同一符号を付してその説明を省略し、こ
こでは異なる部分についてのみ述べる。
【0108】本実施の形態におけるデータ多重装置は、
多重手段10に入力されるストリーミングデータが、予
め保存されたデータとして入力されるのでは無く、ハー
ドウェアから直接、かつリアルタイムで入力されるとこ
ろが、第1の実施の形態におけるデータ多重装置と異な
る。その他の構成は第1の実施の形態のデータ多重装置
と同一の構成をなす。
【0109】すなわち、本実施の形態におけるデータ多
重装置は、ストリーミングデータが、ビデオカメラ4や
オーディオ装置6からリアルタイムで多重手段10に入
力されるようになっている。また、このようなストリー
ミングデータの再生開始および終了時刻、ビットレート
は別途図示しない入力手段を介して多重手段10に入力
されるようになっている。
【0110】一方、非ストリーミングデータについて
は、第1の実施の形態において説明したものと同様にフ
ァイル形式、またはその他のハードウェア等から入力さ
れるようになっている。
【0111】次に、以上のように構成した本実施の形態
に係るデータ多重装置の動作について説明する。
【0112】図11は、本実施の形態に係るデータ多重
装置の動作を示すフローチャートである。
【0113】先ず、合成表示したいデータを多重手段1
0に入力する(S41)。データの種類としてはビデ
オ、オーディオなどのストリーミングデータと、静止
画、テキストなどの非ストリーミングデータとがあり、
それぞれ表示手段40における再生開始および終了時刻
データも含んでいる。
【0114】尚、この時点では、リアルタイムで入力が
なされるビデオデータやオーディオデータといったスト
リーミングデータについてはまだ入力しない。
【0115】データの入力は、ファイル形式で行なって
も、また、別の手段を経由して行なっても良い。なお、
データ形式としてはビデオ、オーディオ、静止画、テキ
ストデータ以外のデータでも構わない。
【0116】次に、ストリーミングデータのビットレー
トについて、ストリーミングデータ毎にそれぞれ多重手
段10に入力する(S42)。更に、多重データのビッ
トレートであるトータルビットレートを多重手段10に
入力する(S43)。また、全データの再生開始および
終了時刻を多重手段10に入力する(S44)。
【0117】多重手段10では、空き帯域を利用して送
信される非ストリーミングデータのパケットの送信順序
が決定される(S45)。なお、ここで行われるパケッ
トの送信順序決定方法については、図3で説明した方法
と同様である。
【0118】次に、リアルタイムで入力されるストリー
ミングデータをビデオやオーディオ装置を介してエンコ
ードし、多重手段10に入力する(S46)。
【0119】その後、多重手段10において、S46で
入力されたストリーミングデータがバッファリングされ
ると同時に、非ストリーミングデータとの多重化がなさ
れ、その多重化されたデータはリアルタイムで送出サー
バ30に出力される(S47)。
【0120】尚、このとき、必要に応じて多重データ記
憶手段20にデータを送信して多重データを一旦保存し
ても良い。また、多重データ記憶手段20を介さずに、
多重手段10から直接的に送出サーバ30にデータを送
信しても良い。
【0121】このようにして送出サーバ30に出力され
た多重データは、更に送出サーバ30から表示手段40
へと、パケット毎に固定ビットレートで送信される(S
48)。
【0122】表示手段40では、送出サーバ30から送
信されたパケットに基づいて、ストリーミングデータと
非ストリーミングデータとの再生がなされた後に合成表
示される(S49)。
【0123】上述したように、本実施の形態のデータ多
重装置においては、ビデオデータや音声データなどのス
トリーミングデータがリアルタイムで入力される場合に
おいても、第1および第2の実施の形態で説明したよう
に、ストリーミングデータの空き帯域を利用して、非ス
トリーミングデータを送信することにより、トータルビ
ットレートを減少させることができる。
【0124】その結果、ビデオデータや音声データなど
のストリーミングデータを直接送信するような場合にお
いても、第1および第2の実施の形態で説明したもの同
様の効果を奏することができ、もって、データの送信負
荷を低減したデータ多重装置を実現することが可能とな
る。
【0125】また、各実施の形態に記載した方法は、計
算機(コンピュータ)に実行させることができるプログ
ラム(ソフトウェア手段)として、例えば磁気ディスク
(フロッピーディスク、ハ一ドディスク等)、光ディス
ク(CD−ROM、DVD等)、半導体メモリ等の記録
媒体に格納し、また通信媒体により伝送して頒布するこ
ともできる。なお、媒体側に格納されるプログラムに
は、計算機に実行させるソフトウエア手段(実行プログ
ラムのみならずテーブルやデータ構造も含む)を計算機
内に構成させる設定プログラムをも含むものである。本
装置を実現する計算機は、記録媒体に記録されたプログ
ラムを読み込み、また場合により設定プログラムにより
ソフトウエア手段を構築し、このソフトウエア手段によ
って動作が制御されることにより上述した処理を実行す
る。
【0126】一方、各実施の形態では、図1に示すデー
タ多重装置1をデータ多重装置として説明したが、本発
明でいうデータ多重装置は、このデータ多重装置1のみ
ならず、多重手段10単体、または多重手段10と多重
データ記憶手段20と送出サーバ30からなるものをも
含むものである。
【0127】また、多重手段10により多重された多重
データを、多重データ記憶手段20を介さずに、多重装
置10から送出サーバ30に直接送るようにしても良
い。
【0128】
【発明の効果】以上説明したように、本発明のデータ多
重装置によれば、ストリーミングデータの空き帯域を利
用して非ストリーミングデータを送信できる。
【0129】以上により、限定された回線容量を有効に
活用することができるデータ多重装置を実現することが
できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るデータ多重装
置の一例を示す全体構成図。
【図2】本発明の第1の実施の形態に係るデータ多重装
置の動作を示すフローチャート。
【図3】本発明の第1の実施の形態に係る多重手段の動
作を示すフローチャート。
【図4】全ストリーミングデータの再生開始および終了
時刻が、番組開始および終了時刻と一致する場合におけ
るデータ多重装置の伝送用帯域利用方法を示す概念図。
【図5】ストリーミングデータの再生開始および終了時
刻が、番組開始および終了時刻と異なる場合におけるデ
ータ多重装置の伝送用帯域利用方法を示す概念図。
【図6】ストリーミングデータの空き帯域を利用して非
ストリーミングデータを送信する場合におけるデータ多
重装置の伝送用帯域利用方法を示す概念図。
【図7】あるストリーミングデータの再生終了後と別の
ストリーミングデータの再生開始前との間に空き帯域が
存在するパターンにおける帯域利用方法を示す概念図。
【図8】本発明の第2の実施の形態に係るデータ多重装
置の動作を示すフローチャート。
【図9】ストリーミングデータの空き帯域を利用して非
ストリーミングデータを送信する場合におけるデータ多
重装置の伝送用帯域利用方法を示す概念図。
【図10】本発明の第3の実施の形態に係るデータ多重
装置の一例を示す全体構成図。
【図11】本発明の第3の実施の形態に係るデータ多重
装置の動作を示すフローチャート。
【図12】従来から用いられているデータ多重装置にお
ける帯域利用方法を示す概念図。
【符号の説明】
1…データ多重装置、 3…ビデオデータ、 4…ビデオ、 5…オーディオデータ、 6…オーディオ装置、 7…静止画データ、 9…テキストデータ、 10…多重手段、 20…多重データ記憶手段、 30…送出サーバ、 40…表示手段。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ビデオデータやオーディデータ等のスト
    リーミングデータと、テキストデータや静止画データ等
    の非ストリーミングデータとを多重化して出力するとと
    もに、前記ストリーミングデータを一定の出力速度で出
    力するデータ多重装置において、 前記ストリーミングデータが存在しない空き帯域に、前
    記非ストリーミングデータを出力することを特徴とする
    データ多重装置。
  2. 【請求項2】 ビデオデータやオーディオデータ等のス
    トリーミングデータと、テキストデータや静止画データ
    等の非ストリーミングデータとを多重化して出力するデ
    ータ多重装置において、 前記非ストリーミングデータをいくつかのパケット毎に
    順に出力し、 前記ストリーミングデータが存在しない空き帯域で出力
    できる前記パケットの数を算出するとともに、前記空き
    帯域を当該パケットの数で分割した各々の領域である第
    1のパケットエリアのそれぞれに出力開始時刻および出
    力終了時刻情報を関連付け、 前記非ストリーミングデータのパケットの数が、前記第
    1のパケットエリアの数よりも多い場合には、 前記ストリーミングデータか前記非ストリーミングデー
    タかのいずれかの出力が開始された時から、前記ストリ
    ーミングデータおよび前記非ストリーミングデータの全
    ての出力が終了するまでの時間内で、前記空き帯域で出
    力できない全てのパケットを出力できる出力速度を決定
    するとともに、前記空き帯域で出力できない各々のパケ
    ットを前記出力速度で出力する各々の領域である第2の
    パレットエリアのそれぞれに出力開始時刻および出力終
    了時刻情報を関連付け、 前記非ストリーミングデータのパケットを、前記第1の
    パケットエリアの各々および前記第2のパケットエリア
    の各々のうち出力終了時刻の早いパケットエリアから順
    に割り振るとともに、割り振られたパケットを各パケッ
    トエリアのそれぞれに関連付けられた出力開始時刻およ
    び出力終了時刻情報に基づいて出力し、 前記非ストリーミングデータのパケットの数が、前記第
    1のパケットエリアの数と等しいか、あるいはそれより
    も少ない場合には、 前記非ストリーミングデータのパケットを、前記第1の
    パケットエリアの各々のうち出力終了時刻の早いパケッ
    トエリアから順に割り振るとともに、割り振られたパケ
    ットを前記第1のパレットエリアのそれぞれに関連付け
    られた出力開始時刻および出力終了時刻情報に基づいて
    出力することを特徴とするデータ多重装置。
  3. 【請求項3】 請求項2に記載のデータ多重装置におい
    て、 前記ストリーミングデータは、ビデオカメラやオーディ
    オ装置等のハードウェアからリアルタイムで入力され、 入力された前記ストリーミングデータを複数のストリー
    ミングデータパケットに分割し、前記複数のストリーミ
    ングデータパケットのそれぞれに出力開始時刻および出
    力終了時刻情報を関連付け、関連付けられた出力開始時
    刻および出力終了時刻情報に基づいて前記複数のストリ
    ーミングデータパケットを出力することを特徴とするデ
    ータ多重装置。
  4. 【請求項4】 ビデオデータやオーディオデータ等のス
    トリーミングデータと、テキストデータや静止画データ
    等の非ストリーミングデータとをそれぞれいくつかのパ
    ケットに分割して多重化した後に順に出力するデータ多
    重装置を制御するプログラムを記録した記録媒体であっ
    て、コンピュータに、 前記ストリーミングデータが存在しない空き帯域で出力
    できる前記パケットの数を算出させるとともに、前記空
    き帯域を当該パケットの数で分割した各々の領域である
    第1のパケットエリアのそれぞれに出力開始時刻および
    出力終了時刻情報を関連付けさせ、 前記非ストリーミングデータのパケットの数が、前記第
    1のパケットエリアの数よりも多い場合には、 前記ストリーミングデータか前記非ストリーミングデー
    タかのいずれかの出力が開始された時から、前記ストリ
    ーミングデータおよび前記非ストリーミングデータの全
    ての出力が終了するまでの時間内で、前記空き帯域で出
    力できない全てのパケットを出力できる出力速度を決定
    させるとともに、前記空き帯域で出力できない各々のパ
    ケットを前記出力速度で出力する各々の領域である第2
    のパレットエリアのそれぞれに出力開始時刻および出力
    終了時刻情報を関連付けさせ、 前記非ストリーミングデータのパケットを、前記第1の
    パケットエリアの各々および前記第2のパケットエリア
    の各々のうち出力終了時刻の早いパケットエリアから順
    に割り振るとともに、割り振られたパケットを各パケッ
    トエリアのそれぞれに関連付けられた出力開始時刻およ
    び出力終了時刻情報に基づいて出力させ、 前記非ストリーミングデータのパケットの数が、前記第
    1のパケットエリアの数と等しいか、あるいはそれより
    も少ない場合には、 前記非ストリーミングデータのパケットを、前記第1の
    パケットエリアの各々のうち出力終了時刻の早いパケッ
    トエリアから順に割り振るとともに、割り振られたパケ
    ットを前記第1のパレットエリアのそれぞれに関連付け
    られた出力開始時刻および出力終了時刻情報に基づいて
    出力させるコンピュータ読み取り可能なプログラムを記
    録した記録媒体。
JP23157399A 1999-08-18 1999-08-18 データ多重装置およびプログラムを記録した記録媒体 Expired - Fee Related JP3910763B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23157399A JP3910763B2 (ja) 1999-08-18 1999-08-18 データ多重装置およびプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23157399A JP3910763B2 (ja) 1999-08-18 1999-08-18 データ多重装置およびプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001057570A true JP2001057570A (ja) 2001-02-27
JP3910763B2 JP3910763B2 (ja) 2007-04-25

Family

ID=16925644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23157399A Expired - Fee Related JP3910763B2 (ja) 1999-08-18 1999-08-18 データ多重装置およびプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3910763B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003017668A1 (fr) * 2001-08-15 2003-02-27 Sony Corporation Appareil pour fournir un contenu et procede pour fournir un contenu
JP2007150845A (ja) * 2005-11-29 2007-06-14 Samsung Electronics Co Ltd データ再生装置,データ再生方法およびそのプログラム
US7827036B2 (en) 2002-04-25 2010-11-02 Sony Corporation Data processing system, data processing method, data processor, and data processing program
JP2012065237A (ja) * 2010-09-17 2012-03-29 Toshiba Corp 放送素材再生装置及びデータ送出方法
JP2012182545A (ja) * 2011-02-28 2012-09-20 Panasonic Corp 集合住宅用インターホンシステム
JP2021510991A (ja) * 2018-05-29 2021-04-30 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. 非ストリームメディアファイルのウェブページ再生方法、装置及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123115A (ja) * 1993-10-21 1995-05-12 Matsushita Electric Ind Co Ltd 伝送装置
JPH09214935A (ja) * 1996-02-02 1997-08-15 Mitsubishi Electric Corp 映像情報提供システム
JPH10285564A (ja) * 1997-04-10 1998-10-23 Canon Inc データ通信装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123115A (ja) * 1993-10-21 1995-05-12 Matsushita Electric Ind Co Ltd 伝送装置
JPH09214935A (ja) * 1996-02-02 1997-08-15 Mitsubishi Electric Corp 映像情報提供システム
JPH10285564A (ja) * 1997-04-10 1998-10-23 Canon Inc データ通信装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
東谷 上 他: "地域情報化を支援するFM多重システム", 日立評論, vol. 第80巻、第10号, CSNH199800328012, 1 October 1998 (1998-10-01), pages 51 - 54, ISSN: 0000786300 *
東谷 上 他: "地域情報化を支援するFM多重システム", 日立評論, vol. 第80巻、第10号, JPNX007002079, 1 October 1998 (1998-10-01), pages 51 - 54, ISSN: 0000810700 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003017668A1 (fr) * 2001-08-15 2003-02-27 Sony Corporation Appareil pour fournir un contenu et procede pour fournir un contenu
US7240121B2 (en) 2001-08-15 2007-07-03 Sony Corporation Content providing apparatus and content providing method
US7827036B2 (en) 2002-04-25 2010-11-02 Sony Corporation Data processing system, data processing method, data processor, and data processing program
JP2007150845A (ja) * 2005-11-29 2007-06-14 Samsung Electronics Co Ltd データ再生装置,データ再生方法およびそのプログラム
JP2012065237A (ja) * 2010-09-17 2012-03-29 Toshiba Corp 放送素材再生装置及びデータ送出方法
JP2012182545A (ja) * 2011-02-28 2012-09-20 Panasonic Corp 集合住宅用インターホンシステム
JP2021510991A (ja) * 2018-05-29 2021-04-30 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. 非ストリームメディアファイルのウェブページ再生方法、装置及び記憶媒体
US11025991B2 (en) 2018-05-29 2021-06-01 Beijing Bytedance Network Technology Co., Ltd. Webpage playing method and device and storage medium for non-streaming media file

Also Published As

Publication number Publication date
JP3910763B2 (ja) 2007-04-25

Similar Documents

Publication Publication Date Title
EP1024664B1 (en) Image-information storage regenerating device
US5663962A (en) Method of multiplexing streams of audio-visual signals coded according to standard MPEG1
FI115418B (fi) Adaptiivinen mediavirta
JP4994698B2 (ja) 情報伝送装置及び情報伝送方法
JPH09139937A (ja) 動画ストリーム変換装置
JP3290851B2 (ja) ストリーム多重化装置、ストリーム多重化方法及び記録媒体
JP2001057570A (ja) データ多重装置およびプログラムを記録した記録媒体
US6026434A (en) Data transmission processing system
EP0873019A2 (en) Device and method for transmitting digital audio and video data
JP2002319971A (ja) パケットデータ中継装置及び配信装置
JPH0923289A (ja) マルチメディアデータ同期方法
US20060023755A1 (en) MPEG-TS reproduction apparatus
KR100357160B1 (ko) 디지탈 위성방송수신기의 영상반복장치
JP4035802B2 (ja) パケット生成装置及びパケット再生装置並びにそれらの方法
JPH0750648A (ja) 多チャンネル非同期信号多重伝送装置
JPH10257452A (ja) デジタルデータ多重化方法及び装置とデータ供給システム
JP3179922B2 (ja) メディア伝達同期再生方式
JP3987253B2 (ja) データ多重装置、データ配信システムおよび記録媒体
JP3907973B2 (ja) データ送信装置
JPH10276408A (ja) ビデオ情報提供制御方法およびシステム
US6185366B1 (en) Method for recording and reproducing coded signal and, apparatus for recording and reproducing the coded signals transmitted
JP2000032416A (ja) ディジタル放送システム、デ―タサ―バ、および放送装置
JP2003304502A (ja) 特殊再生装置及び特殊再生方法
JP2000078172A (ja) 伝送システムおよび送信装置
JP2005020429A (ja) ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070125

LAPS Cancellation because of no payment of annual fees