JP2002077292A - データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 - Google Patents

データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Info

Publication number
JP2002077292A
JP2002077292A JP2000255865A JP2000255865A JP2002077292A JP 2002077292 A JP2002077292 A JP 2002077292A JP 2000255865 A JP2000255865 A JP 2000255865A JP 2000255865 A JP2000255865 A JP 2000255865A JP 2002077292 A JP2002077292 A JP 2002077292A
Authority
JP
Japan
Prior art keywords
data
transmission
bit stream
data processing
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000255865A
Other languages
English (en)
Other versions
JP3647366B2 (ja
Inventor
Akiyoshi Hamanaka
章佳 浜中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000255865A priority Critical patent/JP3647366B2/ja
Publication of JP2002077292A publication Critical patent/JP2002077292A/ja
Application granted granted Critical
Publication of JP3647366B2 publication Critical patent/JP3647366B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

(57)【要約】 【課題】 データ伝送と共に、当該データ伝送で生じる
要求及び応答等をデータの送信側と受信側の間で行える
ように構成することで、効率的なデータ伝送が行えるデ
ータ処理システムを提供する。 【解決手段】 送信側100は、受信側との間で、符号
化データ(Sync Layer Packet)の送信
用の通信路(第1の通信路)とは異なる第2の通信路
(送信側と受信側間のハンドシェイク専用のバックチャ
ネル)300を介して、符号化データの伝送に関する情
報を送受信する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、ディジタ
ルデータを符号化して伝送する装置或はシステムに用い
られる、データ処理装置、データ処理システム、データ
処理方法、及びそれを実施するための処理ステップをコ
ンピュータが読出可能に格納した記憶媒体に関するもの
である。
【0002】
【従来の技術】近年において、例えば、「ISO/IE
C 14496(MPEG phase4)」規格では、
マルチメディアの符号化の標準化(圧縮フォーマットの
標準化)が進められている。
【0003】本規格では、従来のビデオデータやオーデ
ィオデータの符号化の他に、各メディアの空間や時間的
配置を定義することが可能であり、これを「シーン記
述」と呼称し、各々のメディアを「オブジェクト」と呼
称している。
【0004】図9は、本規格でのシーンの一例を示した
ものである。上記図9では、グラフィックオブジェクト
としてBOX(箱)401及びCylinder(円
柱)402が定義されている。また、BOX401に貼
付されるイメージテクスチャ401a、Cylinde
r402に貼付されるビデオテクスチャ402a、及び
それらと同時に再生されるオーディオ403が定義され
ている。
【0005】シーン記述自体の手法としては、例えば、
VRML(Virtual Reality Marku
p Language)に基づき機能拡張及びバイナリ化
を行ったBIFS(Binary Format for
Scene description)が採用されてい
る。
【0006】また、本規格では、上記図9に示したよう
なシーン記述とは別に、オブジェクトディスクリプタ
(以下、「OD」と言う)と呼ばれる、各オブジェクト
の属性を示すデータが定義される。ここでの属性とは、
メディアの属性(ビデオ、オーディオ、イメージ等)
や、著作権者情報、QoS(Quality Of Se
rvice)情報、コンテンツのレーティング情報等を
示す。このような属性自体が、それぞれ個々のディスク
リプタとして、ODの中に内包される。
【0007】図10は、本規格に従ったビットストリー
ム全体の一例を示したものである。上記図10におい
て、“501”は、初期オブジェクトディスクリプタで
あり、ビットストリーム全体のプロパティ(ビットスト
リームのプロファイル等)が格納される。“502”
は、BIFSストリームであり、シーン情報が格納され
る。
【0008】“503”及び“506は、ODであり、
上記図10でのビットストリームでは、2つのOD1
(503),OD2(506)を有するものとしてい
る。OD503,506の後には、オブジェクトの属性
が記述される。すなわち、OD1(503),OD2
(506)に続いて、各メディアストリーム(以下、
「エレメンタリーストリーム」とも言う)ES1,ES
2の属性を示すエレメンタリーストリームディスクリプ
タ(以下、「ESD」と言う)が複数記述可能となって
いる。上記図10では、OD1(503)の後にESD
1(504)が記述され、OD2(506)の後にES
D2(507)が記述されている。
【0009】また、エレメンタリーストリームES1,
ES2については、実際にはパケッタイズされ、「Sy
nc Layer Packet」(以下、「SLパケッ
ト」と言う)として扱われるため、上記図10に示すよ
うに、当該SLパケットの構造を記述するためのSLC
onfigのディスクリプタ505,508がESD1
(504),ESD2(507)のそれぞれに対して付
加される。
【0010】上述したOD及びESDのディスクリプタ
はそれぞれ、上記図10に示したビットストリームにお
いて、各エレメンタリーストリームES1,ES2の前
の先頭に設置する必要がある。ただし、OD及びESD
はそれぞれ、ビットストリームの途中にアップデートコ
マンドを挿入することによって、追加、削除、及び変更
が可能となっている。
【0011】また、本規格では、OD及びESごとに、
著作権管理情報やアクセス制御情報等のセキュリティ情
報を付加することが可能になっている。この情報は、I
PMP(Intellectual Property
Management and Protection)
情報と呼ばれている。IPMP情報についても、IPM
Pディスクリプタと称されるディスクリプタにおいてそ
の詳細が記述される。実際には、アクセス制御として暗
号が使用される場合が多いが、IPMPの方式(ディス
クリプタのシンタックス)は特定されておらず、フリー
シンタックスとなっている。また、RA(Regist
ration Authority)に登録されたIPM
Pのセキュリティのタイプ番号のみを記述するようにな
っている。
【0012】IPMPディスクリプタによって記述され
たIPMP情報自体は、IPMPのセキュリティのタイ
プ番号でリンクすることによって、IPMP用のエレメ
ンタリーストリームES(以下、「IPMP−ES」と
言う)を付加することが可能となっている。図11は、
この場合のビットストリーム全体の一例を示したもので
ある。上記図11では、IPMP1(510)及びIP
MP2(512)がそれぞれ、エレメンタリーストリー
ムES1(509),ES2(511)に対するIPM
P−ESとなっている。
【0013】図12は、IPMPディスクリプタの一例
を示したものである。上記図12において、“601”
は、ディスクリプタ・タグ(TAG)であり、ディスク
リプタの種類を示す。“602”は、レングスフィール
ド(LENGTH)であり、ディスクリプタ全体の長さ
(バイト数)を示す。“603”は、ディスクリプタI
Dであり、ディスクリプタ自体の識別子が格納される。
“604”は、上述したセキュリティのタイプ番号(I
PMPS_type)である。“605”は、オプショ
ンフィールド(Option)であり、IPMPに付随
するデータを適宜挿入することができるようになされて
いる。また、オプションフィールド605内のシンタッ
クスが自由になっている。また、上記付随データは、オ
プションフィールド605にURLで示すことも可能と
なっている。
【0014】上述したIPMPのディスクリプタについ
ても、上記図11に示したビットストリームにおいて、
各エレメンタリーストリームES1,ES2の前の先頭
に設置する必要がある。ただし、IPMPのディスクリ
プタは、ビットストリームの途中にアップデートコマン
ドを挿入することによって、追加、削除、及び変更が可
能となっている。上記図11では、IPMP情報をアッ
プデートする場合のコマンド513を1ヶ所含んだビッ
トストリームの一例を示している。
【0015】図13は、上述したようなビットストリー
ムを生成するためのエンコーダ700の一例を示したも
のである。上記図13において、“701”は、オブジ
ェクトディスクリプタ生成器であり、上述したようなデ
ィスクリプタをビットストリームのプロパティに応じて
適宜生成する。“702”は、メディアエンコーダであ
り、ビデオやオーディオ等のデータをエンコード(符号
化)する。“703”は、IPMPコントローラであ
る。“704”は、BIFSエンコーダであり、シーン
情報をバイナリ化する。“705”は、必要に応じて設
けられるアップデートコントローラであり、OD、ES
D、及びIPMPのディスクリプタ等のプロパティを更
新するためのコマンドを挿入する。“706”は、マル
チプレクサであり、各ディスクリプタや、メディアスト
リームを最終的に1つのSLパケットとしてマルチプレ
クスする。
【0016】図14は、上記図13のエンコーダ700
で得られたビットストリームをデコード(再生)するデ
コーダ800の一例を示したものである。上記図14に
おいて、“801”は、デマルチプレクサであり、入力
されたビットストリームから各ディスクリプタ及びES
等を分離する。“803”は、ディスクリプタパーサで
あり、ディスクリプタのタグ情報によって当該ディスク
リプタの種類を判別し、当該ディスクリプタの内容を解
読し、適宜各部に設定する。“804”は、BIFSデ
コーダであり、バイナリ化されたBIFSをデコード
し、シーン構造を再構築する。“805”は、メディア
デコーダであり、ビデオやオーディオ、或はイメージ等
のメディアデコーダをデコードする。“807”は、レ
ンダラであり、シーン構造に従って各オブジェクトを適
宜表示、又は再生する。“806”は、IPMPコント
ローラであり、IPMPディスクリプタ及びIPMP_
ESの情報に従って、メディアの再生制御(再生制限、
効果制御等)を行う。例えば、データに暗号がかけられ
ているような場合には、当該暗号を解読してから、メデ
ィアデコーダ805にデータを転送する。“802”
は、同期コントローラであり、各メディア間の同期制御
を行う。
【0017】尚、上記図13のエンコーダ700側から
上記図14のデコーダ800側へのデータ転送方法につ
いては特記しないが、ネットワーク上の伝送の場合に
は、全て1本のビットストリームとして、同一セッショ
ンにて送受信されるのが一般的である。
【0018】
【発明が解決しようとする課題】しかしながら、上記図
13に示した従来のエンコーダ700側から、上記図1
4に示した従来のデコーダ(再生器)800側に対し
て、例えば、ネットワークを介してデータを送信する場
合、全て1本のビットストリームとして同一セッション
で送信され、当該ビットストリームの通信路又は通信手
段としてのネットワーク以外に、他の通信路又は通信手
段が存在しないため、ビットストリームの受信側である
デコーダ800の能力(受信可能なビットレートの上限
に代表される処理能力)のネゴシエーションや、伝送課
程で生じたエラーに起因する不具合の通知、ビットスト
リームの再送要求、随時変化する通信路又は通信手段の
トラフィックによりデコーダ800側で生じるバッファ
ーアンダーラン等の不具合の通知、再送要求等を行うこ
とが不可能であった。また、上述したIPMPディスク
リプタを含むIPMP_ESには、エラー訂正機能がな
いため、任意の有償コンテンツ(ビデオやオーディオ等
の有償のメディアデータ)に伴うIPMP_ES(上記
図12参照)にエラーが生じた場合、IPMPディスク
リプタ以降のデータが全て無効となり、この状態が次の
IPMPディスクリプタを受信するまで続くという致命
的な問題があった。
【0019】そこで、本発明は、上記の欠点を除去する
ために成されたもので、データ伝送と共に、当該データ
伝送で生じる要求及び応答等をデータの送信側と受信側
の間で行えるように構成することで、効率的なデータ伝
送が行える、データ処理装置、データ処理システム、デ
ータ処理方法、及びそれを実施するための処理ステップ
をコンピュータが読出可能に格納した記憶媒体を提供す
ることを目的とする。
【0020】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、所定の符号化規格に従って符号化したデ
ータを第1の通信手段を介して送信するデータ処理装置
であって、少なくとも上記データの送信及び上記データ
の送信先の何れかに関する情報を、上記データの送信先
と第2の通信手段を介して送受信する送受信手段と、上
記送受信手段にて得られた受信情報に基づいて、上記デ
ータの送信を制御する制御手段とを備えることを特徴と
する。
【0021】第2の発明は、上記第1の発明において、
上記制御手段は、少なくとも上記データの内容及び上記
受信情報の何れかに基づき選択した伝送プロトコルに従
って、上記データの送信を制御することを特徴とする。
【0022】第3の発明は、所定の符号化規格に従って
符号化されたデータを第1の通信手段を介して受信して
復号するデータ処理装置であって、少なくとも上記デー
タの受信及び自装置の何れかの情報を、上記データの送
信元と第2の通信手段を介して送受信する送受信手段を
備えることを特徴とする。
【0023】第4の発明は、上記第3の発明において、
上記送受信手段は、上記データの送信元に対して、上記
データの送信元で用いる伝送プロトコルに関する情報を
送信することを特徴とする。
【0024】第5の発明は、上記第1〜4の発明の何れ
かにおいて、上記所定の符号化規格とは、MPEG−4
であることを特徴とする。 第6の発明は、複数の機器
が互いに通信可能に接続されてなるデータ処理システム
であって、上記複数の機器のうち少なくとも1つの機器
は、上記第1〜5の発明の何れかのデータ処理装置の機
能を有することを特徴とする。
【0025】第7の発明は、所定の符号化規格に従って
符号化したデータを第1の通信路を介して送信側から受
信側へ伝送するためのデータ処理方法であって、上記送
信側と上記受信側の間で、少なくとも上記データの伝送
に関する情報を第2の通信路を介して送受信する送受信
ステップと、上記送信側が、上記送受信ステップにて得
られた受信情報に基づいて、上記データの伝送を制御す
る制御ステップとを含むことを特徴とする。
【0026】第8の発明は、それぞれが任意のサイズに
分割された符号化データと、当該データに関する任意の
固有情報を含むヘッダとを連結して、一連のビットスト
リームを構成し、当該ビットストリームを第1の通信路
を伝送又は送受信するためのデータ処理方法であって、
少なくとも上記ビットストリームの伝送に関する情報を
第2の通信路を介して送信側と受信側で送受信する送受
信ステップと、上記送信側が、上記送受信ステップにて
得られた受信情報に基づいて、上記ビットストリームの
伝送を制御する制御ステップとを含むことを特徴とす
る。
【0027】第9の発明は、上記第8の発明において、
上記制御ステップは、上記符号化データ及び上記ヘッダ
のそれぞれに対して、優先度を設定する設定ステップ
と、上記設定ステップでの優先度の設定に基づき複数の
伝送プロトコルから該当する伝送プロトコルを選択する
選択ステップと、上記選択ステップで選択された伝送プ
ロトコルに基づき上記ビットストリームの伝送を制御す
る伝送制御ステップとを含むことを特徴とする。
【0028】第10の発明は、上記第8の発明におい
て、上記第2の通信路は、上記第1の通信路とは独立し
た1つ以上のサブ通信回線を含むことを特徴とする。
【0029】第11の発明は、複数の伝送プロトコルの
任意の伝送プロトコルによって、少なくとも1つ以上の
相互に独立な複数の符号化データを内包した任意のビッ
トストリームを受信して、当該相互に独立な複数の符号
化データをそれぞれ独立に復号するためのデータ処理方
法であって、少なくとも上記ビットストリームの伝送に
関する情報を第2の通信路を介して上記ビットストリー
ムの送信側と送受信する送受信ステップを含むことを特
徴とする。
【0030】第12の発明は、上記第11の発明におい
て、受信したビットストリームのエラー発生頻度を管理
する第1の管理ステップと、受信中のビットストリーム
に関するビットレートを管理する第2の管理ステップと
を含み、上記送受信ステップは、少なくとも、上記第1
の管理ステップでの管理情報、第2の管理ステップでの
管理情報、及び受信したビットストリームの任意の部分
に対する伝送プロトコルを変更又は指定するためのリク
エスト情報の何れかを、上記ビットストリームの送信元
へ送信するステップを含むことを特徴とする。
【0031】第13の発明は、複数の相互に異なる伝送
プロトコルの中の任意の伝送プロトコルによって、連続
したビットストリームを送信するためのデータ処理装置
であって、上記ビットストリームの任意の領域を任意の
伝送プロトコルに従ってエンコードして送信する送信ス
テップと、上記ビットストリームの通信路とは独立した
通信路を介して外部より受信した情報に応じて上記ビッ
トストリームにおける任意の部分の伝送プロトコルを変
更する変更ステップと、上記外部より受信した情報に応
じて上記ビットストリームの既に送信済みの部分を次の
ビットストリームに結合して再送する再送ステップとを
含むことを特徴とする。
【0032】第14の発明は、上記第8〜13の発明の
何れかにおいて、上記ビットストリームは、MPEG−
4規格に準拠したビットストリームであることを特徴と
する。 第15の発明は、上記第1〜5の発明の何れか
のデータ処理装置の機能、又は上記第6の発明のデータ
処理システムの機能を実施するための処理プログラム
を、コンピュータが読出可能に格納した記憶媒体である
ことを特徴とする。
【0033】第16の発明は、上記第7〜14の発明の
何れかのデータ処理方法の処理ステップを、コンピュー
タが読出可能に格納した記憶媒体であることを特徴とす
る。
【0034】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0035】(第1の実施の形態)本発明は、例えば、
図1に示すようなエンコーダ100、及び図2に示すよ
うなデコーダ200を含むデータ処理システムに適用さ
れる。本実施の形態のデータ処理システムは、上記図9
〜図12を用いて説明したような「ISO/IEC 1
4496(MPEG phase4)」規格に準拠して
データ伝送を行うようになされている。尚、本実施の形
態では、その一例として、エンコーダ100からデコー
ダ200へのデータ伝送方法は任意であり、ネットワー
クを介して伝送する場合は、全て1本のビットストリー
ムとして同一セッションにて伝送されるものとする。
【0036】エンコーダ100は、上記図1に示すよう
に、OD生成部101、メディアエンコーダ102、I
PMP制御部103、BIFSエンコーダ104、アッ
プデートコントローラ105、及びマルチプレクサ10
6を備えている。
【0037】メディアエンコーダ102は、イメージや
ビデオ、オーディオ、及びその他のマルチメディア等の
メディアデータ(コンテンツ)を符号化(圧縮)して出
力する。OD生成部101は、メディアエンコーダ10
2で処理対象となっているメディアデータの属性情報を
符号化して、当該符号化データをODとして出力する。
BIFSエンコーダ104は、メディアエンコーダ10
5で処理対象となっているメディアデータで構成される
シーン(上記図4参照)の情報を符号化して出力する。
【0038】IPMPコントローラ103は、メディア
エンコーダ102で符号化される各種メディアデータ
(コンテンツ)に対するIPMPディスクリプタ及びI
PMP_ES等のセキュリティ情報を生成すると共に、
当該コンテンツに対して独立に暗号化処理を施す。尚、
メディアエンコーダ102で取り扱うコンテンツに対す
る著作権保護を必要としない場合は、この限りではな
い。
【0039】アップデートコントローラ105は、必要
に応じて設けられるアップデートコントローラであり、
OD、ESD、及びIPMPのディスクリプタ等のプロ
パティを更新するためのコマンドをビットストリーム内
に挿入する。
【0040】マルチプレクサ106は、OD生成部10
1、BIFSエンコーダ104、IPMP制御部10
3、及びメディアエンコーダ102の各出力をマルチプ
レクスして、上記図10や図11に示したような1本の
ビットストリームへとまとめて出力する。このとき、マ
ルチプレクサ106は、マルチプレクスするデータの同
期制御も行う。具体的には例えば、タイプスタンプやク
ロックリファレンスを、ビットストリームのパケットの
中に埋めこむ。これにより、SLパケッタイズされたビ
ットストリームが完成する。
【0041】一方、デコーダ200は、上記図2に示す
ように、デマルチプレクサ201、同期制御部202、
ディスクリプタパーサ203、BIFSデコーダ20
4、メディアデコーダ205、IPMPコントローラ2
06、及びレンダラ207を備えている。
【0042】デマルチプレクサ201は、エンコーダ1
00から送信されてきたビットストリームから、IPM
Pディスクリプタ、IPMP_ES、OD、BIFS、
及びA/V(オーディオ/ビデオ)のビットストリーム
等の各ディスクリプタ及び各ビットストリームを分離す
る。
【0043】ディスクリプタパーサ203は、デマルチ
プレクサ201により得られた各ディスクリプタのそれ
ぞれについて、そのタグ情報によりディスクリプタの種
類を判別してディスクリプタの内容を解読し、その解読
結果に基づいて、デコーダ200に必要な各情報を適宜
セットする。メディアデコーダ205は、デマルチプレ
クサ201で得られたA/Vのビットストリーム(イメ
ージやビデオ、オーディオ等のメディアストリーム)を
デコードする。このとき、同期制御部202は、メディ
アデコーダ205で処理される各種メディア間の同期を
司る。BIFSデコーダ204は、デマルチプレクサ2
01で得られたBIFSのビットストリームをデコード
して、BIFSの情報に基づいて、メディアデコーダ1
17で得られた各種メディアデータからシーンを再構築
する。
【0044】レンダラ207は、BIFSデコーダ20
4により得られたシーン構造に従って各オブジェクトを
適宜表示したり再生したりする。
【0045】IPMPコントローラ206は、デマルチ
プレクサ201で得られたIPMPディスクリプタ及び
IPMP_ESに基づいて、メディアデコーダ205や
レンダラ207を制御(メディアの再生制限や効果制御
等)する。例えば、データに暗号がかけられているよう
な場合には、当該暗号を解読してから、メディアデコー
ダ205にデータを転送する。
【0046】ここで、本実施の形態の最も特徴とする構
成は、上記図1及び図2に示すように、エンコーダ10
0とデコーダ200間のハンドシェイク専用の外部通信
路(バック・チャネル)300を設けた構成にある。ま
た、エンコーダ100のIPMPコントローラ103
と、デコーダ200のIPMPコントローラ206との
それぞれにハンドシェイク機能を持たせている。
【0047】そこで、まず、エンコーダ100のIPM
Pコントローラ103は、外部通信路300と接続され
ており、例えば、ネットワーク上の外部装置(ここで
は、デコーダ200とする)との双方向通信機能を有
し、次の機能1〜3を発揮することが可能なように構成
されている。
【0048】(機能1)デコーダ200(受信側)に対
して性能情報送信リクエストを外部通信路300を介し
て送信することで、デコーダ200の処理能力に関する
情報(性能情報)を外部通信路300を介して取得し、
当該性能情報に基づき、メディアエンコーダ102に対
して、その符号化レートを外部装置の処理能力に適合す
るレートとするための制御信号を出力する。
【0049】(機能2)デコーダ200から、デコーダ
200におけるエラー情報(欠落した受信データに関す
る情報)を外部通信路300を介して受信し、又はデコ
ーダ200でのエラーにより欠落した受信データの再送
要求信号を外部通信路300を介して受信し、当該受信
信号に対する任意の処理命令を出力する。例えば、デコ
ーダ200からの再送要求信号により示されるデータの
再送命令を、メディアエンコーダ120に対して出力す
る。これにより、欠落したデータが補間される。
【0050】(機能3)デコーダ200に対してビット
ストリームを送信するための通信路のトラフィックやエ
ラー率に関する情報を外部通信路300を介してデコー
ダ200から受信して、当該情報を総合的に判断して、
伝送プロトコルの選択信号を出力する。
【0051】例えば、上記機能2により、次のような動
作が実現される。デコーダ200において、受信したビ
ットストリームのIPMP_ES(上記図12参照)の
一部(ディスクリプタ・タグ(TAG)等)がエラーで
あった場合、これ以降の情報(ES1,ES2等)が正
常であっても無効(デコード不能)となるため、IPM
Pコントローラ206は、エンコーダ100のIPMP
コントローラ103に対して、IPMP_ESの再送要
求信号を外部通信路300を介して発信する。これを受
けたエンコーダ100のIPMPコントローラ103
は、デコーダ200のIPMPコントローラ206から
の再送要求信号に対する処理命令(再送命令)を出力す
る。これにより、メディアエンコーダ102は、IPM
P_ESを再送するための処理を行う。したがって、デ
コーダ200に対してIPMP_ESが再送(Upda
te)され、上記エラーによるデコード不能が回避され
ることになる。
【0052】尚、IPMP_ESの再送方法としては、
当該IPMP_ESを次のビットストリームに結合して
再送する方法等が挙げられる。
【0053】また、エンコーダ100のIPMPコント
ローラ103は、上述したようなIPMP_ES等の欠
落が許されない重要なデータに関しては、TCP/IP
等のような伝送速度を犠牲にしても見かけ上がエラーフ
リーとなる伝送プロトコルを選択し、その他のデータに
関しては、伝送速度重視のRTP等の伝送プロトコルを
選択する、という一連のビットストリーム(上記図11
参照)を部分的に異なる複数の伝送プロトコルを使用す
ることも可能なように構成されている。
【0054】また、例えば、IPMPコントローラ10
3は、IPMP_ESをTCP/IPによって伝送し、
その他をRTPで固定して伝送するという伝送方式や、
通常はビットストリーム全体をRTPで伝送し、上述し
たようなエラーの発生頻度に応じてIPMP_ESのみ
伝送プロトコルをTCP/IPに変更するという伝送方
式をとることも可能なように構成されている。
【0055】一方のデコーダ200のIPMPコントロ
ーラ206は、ビットストリームの送信側(ここでは、
エンコーダ100とする)からの要求に対して、デコー
ダ200の処理能力に関する情報を、外部通信路300
を介して返信する。また、IPMPコントローラ206
は、デコーダ200でエラーが発生した場合、エンコー
ダ100に対してエラー発生の通知を外部通信路300
を介して行う。また、IPMPコントローラ206は、
エンコーダ100に対して、上記エラー発生に対応した
エラー部分の再送要求信号を、外部通信路300を介し
て送信する。
【0056】上述のように、本実施の形態では、エンコ
ーダ100とデコーダ200間に、エンコーダ100と
デコーダ200間のハンドシェイク専用の外部通信路
(バック・チャネル)300を設け、エンコーダ100
とデコーダ200のそれぞれにハンドシェイク機能を持
たせるように構成したので、デコーダ200は、デコー
ダ200にて発生したエラー(ビットレートの過不足
等)をエンコーダ100へ通知することができ、また、
デコーダ200が有するバッファの空き容量等を通知す
ることもでき、さらにはエンコーダ100から受信した
データのエラー検出情報やエラー部分の再送要求や、送
受信相互のネゴシエーションを行うためのデコーダ20
0の処理能力に関する情報等をエンコーダ100へ送信
することができる。一方、エンコーダ100は、デコー
ダ200に対する処理能力情報の要求や、当該要求に対
する応答(デコーダ200の処理能力情報)を受信し、
この受信情報に基づいて、ビットレートや伝送プロトコ
ル等の条件を設定したり、デコーダ200からのエラー
情報や特定部分の再送要求を受信して、当該受信情報に
基づいて、任意の処理(対処)を行う等の対応をとるこ
とができる。したがって、エンコーダ100とデコーダ
200間で、ビットストリームの伝送速度を低下させる
ことなく、ビットストリームに含まれる全ての情報を破
綻することなく、ネットワークを介して伝送することが
できる。
【0057】(他の実施の形態)本発明は、第1の実施
の形態に限られることはなく、次のような実施の形態
(1)〜(4)にも含まれる。
【0058】(1)第1の実施の形態において、エンコ
ーダ100のIPMPコントローラ103による複数の
伝送プロトコルの中からの実際に用いる伝送プロトコル
の選択については、例えば、ビットストリームを構成す
る各パケットのヘッダ部に優先度を設定し、当該優先度
に基づいて、複数の伝送プロトコルの中から実際に用い
る伝送プロトコルを選択するように構成してもよい。こ
の場合、エンコーダ100のIPMPコントローラ10
3は、図3に示すように、ビットストリームを構成する
各パケットのそれぞれについてそのヘッダ部にパケット
内容に応じて優先度を設定する優先度設定部112と、
優先度設定部112を介したビットストリームを構成す
る各パケットのヘッダ部に設定された優先度に基づき複
数の伝送プロトコル111(1),111(2),…,
111(n)…の中から1つの伝送プロトコルを選択す
るプロトコル選択部113とを備えることになる。
【0059】(2)例えば、デコーダ200のIPMP
コントローラ206の構成を、図4に示すように、受信
ビットストリームのエラー発生頻度(エラー率)を管理
するエラー管理部221と、受信ビットストリームに関
するビットレート(単位時間あたりの符号量又はその変
化)を管理するレート管理部222と、エラー管理部2
21及びレート管理部222の管理情報をエンコーダ1
00に対して外部通信部300を介して送信したり、エ
ラー管理部221及びレート管理部222の管理情報に
基づきビットストリームの任意の一部分に対する伝送プ
ロトコルを変更又は指定するためのリクエスト情報(指
定情報)をエンコーダ100に対して外部通信部300
を介して送信したりする送信部223とを備える構成と
し、エンコーダ100のプロトコル選択部113(上記
図3参照)が、デコーダ200のリクエスト送信部22
3からのリクエスト情報に基づき複数の伝送プロトコル
111(1),111(2),…,111(n)…の中
から1つの伝送プロトコルを選択するように構成しても
よい。
【0060】具体的には、デコーダ200のIPMPコ
ントローラ206の構成が上記図4の構成である場合、
エンコーダ100は、例えば、図5に示すフローチャー
トに従って動作することになる。
【0061】先ず、IPMPコントローラ103は、デ
コーダ200からのデータの受信があるか否か、当該受
信があれば当該受信情報がコンディション情報(エラー
率の情報や、再送要求等)であるか指定情報(伝送プロ
トコルの指定の情報)であるかを判別する(ステップS
301)。この判別の結果、受信無しの場合は次のステ
ップS302に進み、指定情報が受信された場合は後述
するステップS303へ進み、コンディション情報が受
信入力された場合は後述するステップS305へ進む。
【0062】ステップS301の判別の結果、デコーダ
200からのデータの受信が無い場合、IPMPコント
ローラ103は、複数の伝送プロトコルの中から、デコ
ーダ200へのビットストリームの伝送に用いる伝送プ
ロトコルとして、デフォルトの伝送プロトコルを選択し
て設定する(ステップS302)。その後、後述するス
テップS310へ進む。
【0063】ステップS301の判別の結果、デコーダ
200からの指定情報が受信された場合、IPMPコン
トローラ103は、当該指定情報に従って、デコーダ2
00へ伝送するビットストリームを分割し(ステップS
303)、当該分割データ毎に、複数の伝送プロトコル
の中から該当する伝送プロトコルを選択して設定する
(ステップS304)。その後、後述するステップS3
10へ進む。
【0064】ステップS301の判別の結果、デコーダ
200からのコンディション情報が受信された場合、I
PMPコントローラ103は、当該コンディション情報
が、エラー率情報であるか再送要求であるかを判別する
(ステップS305)。この判別の結果、エラー率情報
である場合には次のステップS306へ進み、再送要求
である場合には後述するステップS307へ進む。
【0065】ステップS305の判別の結果、エラー率
情報である場合、IPMPコントローラ103は、当該
エラー率(ErrorRate)が、予め設定されたし
きい値(TH)よりも大きいか否かを判別する(ステッ
プS306)。この判別の結果、「ErrorRate
>TH」である場合、上述したステップS303へ進
み、「ErrorRate>TH」でない場合、上述し
たステップS302へ進む。
【0066】ステップS305の判別の結果、再送要求
である場合、IPMPコントローラ103は、当該再送
要求により示されるデータを再度取得し(ステップS3
07)、当該データをビットストリームに組み込む(ス
テップS308)。そして、IPMPコントローラ10
3は、ステップS308での再送用のデータの伝送プロ
トコルとして、複数の伝送プロトコルの中から該当する
伝送プロトコルを選択して設定する(ステップS30
9)。その後、次のステップS310へ進む。
【0067】ステップS310では、ステップS30
2、又はステップS304、又はステップS309にて
設定された伝送プロトコルに従ったビットストリームの
送信が行われる。
【0068】(3)第1の実施の形態では、エンコーダ
100に対する各種要求をデコーダ200としている
が、これに限られることはなく、任意の外部からの要求
であってもよい。
【0069】(4)例えば、図6に示すように、エンコ
ーダ100に端末装置109を更に設けると共に、図7
に示すように、デコーダ200に端末装置209を更に
設ける構成としてもよい。この場合、エンコーダ100
のIPMPコントローラ103は、端末装置109から
の入力に従って動作し、デコーダ200のIPMPコン
トローラ206も同様に端末装置209からの入力に従
って動作することになる。
【0070】尚、本発明の目的は、第1及び他の実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ(又はCPUやMPU)が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が第1及び他の実
施の形態の機能を実現することとなり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することとな
る。プログラムコードを供給するための記憶媒体として
は、ROM、フロッピー(登録商標)ディスク、ハード
ディスク、光ディスク、光磁気ディスク、CD−RO
M、CD−R、磁気テープ、不揮発性のメモリカード等
を用いることができる。また、コンピュータが読みだし
たプログラムコードを実行することにより、第1及び他
の実施の形態の機能が実現されるだけでなく、そのプロ
グラムコードの指示に基づき、コンピュータ上で稼動し
ているOS等が実際の処理の一部又は全部を行い、その
処理によって第1及び他の実施の形態の機能が実現され
る場合も含まれることは言うまでもない。さらに、記憶
媒体から読み出されたプログラムコードが、コンピュー
タに挿入された拡張機能ボードやコンピュータに接続さ
れた機能拡張ユニットに備わるメモリに書き込まれた
後、そのプログラムコードの指示に基づき、その機能拡
張ボードや機能拡張ユニットに備わるCPUなどが実際
の処理の一部又は全部を行い、その処理によって第1及
び他の実施の形態の機能が実現される場合も含まれるこ
とは言うまでもない。
【0071】図8は、上記コンピュータ900の構成の
一例を示したものである。コンピュータ900は、上記
図8に示すように、CPU901と、ROM902と、
RAM903と、キーボード(KB)909のキーボー
ドコントローラ(KBC)905と、表示部としてのC
RTディスプレイ(CRT)910のCRTコントロー
ラ(CRTC)906と、ハードディスク(HD)91
1及びフロッピーディスク(FD)912のディスクコ
ントローラ(DKC)907と、インターネット等のネ
ットワーク920を介した伝送を行うためのネットワー
クインターフェースカード(NIC)908とが、シス
テムバス904を介して互いに通信可能に接続された構
成としている。
【0072】CPU901は、ROM902或いはHD
911に記憶されたソフトウェア、或いはFD912よ
り供給されるソフトウェアを実行することで、システム
バス904に接続された各構成部を総括的に制御する。
すなわち、CPU901は、所定の処理プログラムを、
ROM902、或いはHD911、或いはFD912か
ら読み出して実行することで、上述した第1及び他の実
施の形態での動作を実施するための制御を行う。
【0073】RAM903は、CPU901の主メモリ
或いはワークエリア等として機能する。KBC905
は、KB909や図示していないポインティングデバイ
ス等からの指示入力を制御する。CRTC906は、C
RT910の表示を制御する。DKC907は、ブート
プログラム、種々のアプリケーション、編集ファイル、
ユーザファイル、ネットワーク管理プログラム、及び上
記処理プログラム等を記憶するHD911及びFD91
2とのアクセスを制御する。NIC908は、ネットワ
ーク920上の各種装置或はシステムと双方向にデータ
をやりとりする。
【0074】
【発明の効果】以上説明したように本発明では、送信側
と受信側間で、符号化データの伝送用の通信路(第1の
通信路)とは異なる第2の通信路(送信側と受信側間の
ハンドシェイク専用のバックチャネル等)を介して、符
号化データの伝送に関する情報を送受信するように構成
した。これにより、例えば、受信側は、受信側で発生し
たエラー(ビットレートの過不足等)を送信側へ通知す
ることがき、また、受信側が有するバッファの空き容量
等を通知することもでき、さらには送信側から受信した
符号化データのエラー検出情報やエラー部分の再送要求
や、送受信相互のネゴシエーションを行うための受信側
の処理能力に関する情報等を送信側へ送信することがで
きる。また、送信側は、受信側に対する処理能力情報の
要求や、当該要求に対する応答(受信側の処理能力情
報)を受信し、この受信情報に基づいて、ビットレート
や伝送プロトコル等の条件を設定したり、受信側からの
エラー情報や特定部分の再送要求を受信して、当該受信
情報に基づいて、任意の処理(対処)を行う等の対応を
とることができる。したがって、本発明によれば、例え
ば、MPEG−4に於いてエラー訂正機能を持たないI
PMP_ESにエラーが生じた場合でも、第2の通信路
としてのバックチャネルという双方向専用回線等を用い
て、伝送プロトコルの選択やエラーデータの再送要求等
が可能となるため、伝送速度を著しく低下させることな
しに、ビットストリームに含まれる全データを第1の通
信路(任意のネットワーク等)を介して破綻なしに伝送
することが可能となる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した
エンコーダ(送信側)の構成を示すブロック図である。
【図2】第1の実施の形態において、本発明を適用した
デコーダ(受信側)の構成を示すブロック図である。
【図3】他の実施の形態(1)において、上記エンコー
ダの主な構成の一例を示すブロック図である。
【図4】他の実施の形態(2)において、上記デコーダ
の主な構成の一例を示すブロック図である。
【図5】他の実施の形態(2)において、上記エンコー
ダの動作の一例を説明するための図ローチャートであ
る。
【図6】他の実施の形態(4)において、上記エンコー
ダの構成を示すブロック図である。
【図7】他の実施の形態(4)において、上記デコーダ
の構成を示すブロック図である。
【図8】第1及び他の実施の形態の機能を実施するため
の処理プログラムを実行するコンピュータの構成の一例
を示すブロック図である。
【図9】「ISO/IEC 14496(MPEG ph
ase4)」規格でのシーンの一例を説明するための図
である。
【図10】上記規格に準拠したビットストリームの一例
を説明するための図である。
【図11】上記ビットストリームのセキュリティ情報
(IPMP)を説明するための図である。
【図12】上記IPMPディスクリプタを説明するため
の図である。
【図13】従来のエンコーダの構成を示すブロック図で
ある。
【図14】従来のデコーダの構成を示すブロック図であ
る。
【符号の説明】
100 エンコーダ 101 オブジェクトディスクリプタ(OD)生成部 102 メディアエンコーダ 103 IPMPコントローラ 104 BIFSエンコーダ 105 アップデートコントローラ 106 マルチプレクサ 200 デコーダ 201 デマルチプレクサ 202 同期制御部 203 ディスクリプタパーサ 204 BIFSデコーダ 205 メディアデコーダ 206 IPMPコントローラ 207 レンダラ 300 外部通信部(バックチャネル)

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 所定の符号化規格に従って符号化したデ
    ータを第1の通信手段を介して送信するデータ処理装置
    であって、 少なくとも上記データの送信及び上記データの送信先の
    何れかに関する情報を、上記データの送信先と第2の通
    信手段を介して送受信する送受信手段と、 上記送受信手段にて得られた受信情報に基づいて、上記
    データの送信を制御する制御手段とを備えることを特徴
    とするデータ処理装置。
  2. 【請求項2】 上記制御手段は、少なくとも上記データ
    の内容及び上記受信情報の何れかに基づき選択した伝送
    プロトコルに従って、上記データの送信を制御すること
    を特徴とする請求項1記載のデータ処理装置。
  3. 【請求項3】 所定の符号化規格に従って符号化された
    データを第1の通信手段を介して受信して復号するデー
    タ処理装置であって、 少なくとも上記データの受信及び自装置の何れかの情報
    を、上記データの送信元と第2の通信手段を介して送受
    信する送受信手段を備えることを特徴とするデータ処理
    装置。
  4. 【請求項4】 上記送受信手段は、上記データの送信元
    に対して、上記データの送信元で用いる伝送プロトコル
    に関する情報を送信することを特徴とする請求項3記載
    のデータ処理装置。
  5. 【請求項5】 上記所定の符号化規格とは、MPEG−
    4であることを特徴とする請求項1〜4の何れかに記載
    のデータ処理装置。
  6. 【請求項6】 複数の機器が互いに通信可能に接続され
    てなるデータ処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
    1〜5の何れかに記載のデータ処理装置の機能を有する
    ことを特徴とするデータ処理システム。
  7. 【請求項7】 所定の符号化規格に従って符号化したデ
    ータを第1の通信路を介して送信側から受信側へ伝送す
    るためのデータ処理方法であって、 上記送信側と上記受信側の間で、少なくとも上記データ
    の伝送に関する情報を第2の通信路を介して送受信する
    送受信ステップと、 上記送信側が、上記送受信ステップにて得られた受信情
    報に基づいて、上記データの伝送を制御する制御ステッ
    プとを含むことを特徴とするデータ処理方法。
  8. 【請求項8】 それぞれが任意のサイズに分割された符
    号化データと、当該データに関する任意の固有情報を含
    むヘッダとを連結して、一連のビットストリームを構成
    し、当該ビットストリームを第1の通信路を伝送又は送
    受信するためのデータ処理方法であって、 少なくとも上記ビットストリームの伝送に関する情報を
    第2の通信路を介して送信側と受信側で送受信する送受
    信ステップと、 上記送信側が、上記送受信ステップにて得られた受信情
    報に基づいて、上記ビットストリームの伝送を制御する
    制御ステップとを含むことを特徴とするデータ処理方
    法。
  9. 【請求項9】 上記制御ステップは、 上記符号化データ及び上記ヘッダのそれぞれに対して、
    優先度を設定する設定ステップと、 上記設定ステップでの優先度の設定に基づき複数の伝送
    プロトコルから該当する伝送プロトコルを選択する選択
    ステップと、 上記選択ステップで選択された伝送プロトコルに基づき
    上記ビットストリームの伝送を制御する伝送制御ステッ
    プとを含むことを特徴とする請求項8記載のデータ処理
    方法。
  10. 【請求項10】 上記第2の通信路は、上記第1の通信
    路とは独立した1つ以上のサブ通信回線を含むことを特
    徴とする請求項8記載のデータ処理方法。
  11. 【請求項11】 複数の伝送プロトコルの中の任意の伝
    送プロトコルによって、少なくとも1つ以上の相互に独
    立な複数の符号化データを内包した任意のビットストリ
    ームを受信して、当該相互に独立な複数の符号化データ
    をそれぞれ独立に復号するためのデータ処理方法であっ
    て、 少なくとも上記ビットストリームの伝送に関する情報を
    第2の通信路を介して上記ビットストリームの送信側と
    送受信する送受信ステップを含むことを特徴とするデー
    タ処理方法。
  12. 【請求項12】 受信したビットストリームのエラー発
    生頻度を管理する第1の管理ステップと、 受信中のビットストリームに関するビットレートを管理
    する第2の管理ステップとを含み、 上記送受信ステップは、少なくとも、上記第1の管理ス
    テップでの管理情報、第2の管理ステップでの管理情
    報、及び受信したビットストリームの任意の部分に対す
    る伝送プロトコルを変更又は指定するためのリクエスト
    情報の何れかを、上記ビットストリームの送信元へ送信
    するステップを含むことを特徴とする請求項11記載の
    データ処理方法。
  13. 【請求項13】 複数の相互に異なる伝送プロトコルの
    中の任意の伝送プロトコルによって、連続したビットス
    トリームを送信するためのデータ処理装置であって、 上記ビットストリームの任意の領域を任意の伝送プロト
    コルに従ってエンコードして送信する送信ステップと、 上記ビットストリームの通信路とは独立した通信路を介
    して外部より受信した情報に応じて上記ビットストリー
    ムにおける任意の部分の伝送プロトコルを変更する変更
    ステップと、 上記外部より受信した情報に応じて上記ビットストリー
    ムの既に送信済みの部分を次のビットストリームに結合
    して再送する再送ステップとを含むことを特徴とするデ
    ータ処理方法。
  14. 【請求項14】 上記ビットストリームは、MPEG−
    4規格に準拠したビットストリームであることを特徴と
    する請求項8〜13の何れかに記載のデータ処理方法。
  15. 【請求項15】 請求項1〜5の何れかに記載のデータ
    処理装置の機能、又は請求項6記載のデータ処理システ
    ムの機能を実施するための処理プログラムを、コンピュ
    ータが読出可能に格納したことを特徴とする記憶媒体。
  16. 【請求項16】 請求項7〜14の何れかに記載のデー
    タ処理方法の処理ステップを、コンピュータが読出可能
    に格納したことを特徴とする記憶媒体。
JP2000255865A 2000-08-25 2000-08-25 データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3647366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000255865A JP3647366B2 (ja) 2000-08-25 2000-08-25 データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000255865A JP3647366B2 (ja) 2000-08-25 2000-08-25 データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002077292A true JP2002077292A (ja) 2002-03-15
JP3647366B2 JP3647366B2 (ja) 2005-05-11

Family

ID=18744579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000255865A Expired - Fee Related JP3647366B2 (ja) 2000-08-25 2000-08-25 データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3647366B2 (ja)

Also Published As

Publication number Publication date
JP3647366B2 (ja) 2005-05-11

Similar Documents

Publication Publication Date Title
US6535919B1 (en) Verification of image data
US7502070B2 (en) Method and apparatus for processing a data series including processing priority data
US8325919B2 (en) Streaming system for distributing encrypted compressed image data, and streaming method therefor
US6580756B1 (en) Data transmission method, data transmission system, data receiving method, and data receiving apparatus
US20070143807A1 (en) Data distribution apparatus, data provision apparatus and data distribution system comprised thereof
KR20100050516A (ko) 네트워크에서의 데이터 콘텐츠 스트리밍
JPH10164138A (ja) マルチメディアデータ蓄積伝送方法及び装置
JP2006211602A (ja) データ送信機及びプログラム
US7690018B2 (en) Data processing apparatus and method
US20020031188A1 (en) Data transmission system, data transmitting apparatus and method, and scene description processing unit and method
US20020035725A1 (en) Multimedia data transmitting apparatus and method, multimedia data receiving apparatus and method, multimedia data transmission system, and storage medium
EP1473939A1 (en) Transmitting/receiving system, transmitting apparatus, transmitting method, receiving apparatus, receiving method, recording medium, and program
JP4072260B2 (ja) 情報処理装置、情報処理方法及びコンテンツ配信サーバ並びにその制御方法
JP4345217B2 (ja) データ処理方法及び装置
JP3647366B2 (ja) データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体
JP2002084516A (ja) マルチメディアデータ送信装置及び方法、マルチメディアデータ受信装置及び方法、マルチメディアデータ伝送システム並びに記憶媒体
AU2003244588B2 (en) Verification Apparatus, Verification Method, Verification System, and Storage Medium
JP2004080095A (ja) 画像処理装置及び画像処理方法
JP2009049530A (ja) データ送信装置、データ中継装置及びデータ受信装置
JP2002084318A (ja) データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3647366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees