JP2002199372A - リアルタイム映像送受信方法、リアルタイム映像送受信システム及び仲介装置 - Google Patents

リアルタイム映像送受信方法、リアルタイム映像送受信システム及び仲介装置

Info

Publication number
JP2002199372A
JP2002199372A JP2000392834A JP2000392834A JP2002199372A JP 2002199372 A JP2002199372 A JP 2002199372A JP 2000392834 A JP2000392834 A JP 2000392834A JP 2000392834 A JP2000392834 A JP 2000392834A JP 2002199372 A JP2002199372 A JP 2002199372A
Authority
JP
Japan
Prior art keywords
unit
encoder
decoder
information
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000392834A
Other languages
English (en)
Other versions
JP4579407B2 (ja
Inventor
Hirohisa Yamashita
裕久 山下
Takehiro Kurono
剛弘 黒野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2000392834A priority Critical patent/JP4579407B2/ja
Publication of JP2002199372A publication Critical patent/JP2002199372A/ja
Application granted granted Critical
Publication of JP4579407B2 publication Critical patent/JP4579407B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 リアルタイム映像配信時におけるエンコーダ
部及びデコーダ部の各々のパラメータ設定を容易に実現
する。 【解決手段】 エンコーダ部とデコーダ部との間で映像
送受信の仲介を行う仲介部をネットワーク上に設け、こ
の仲介部において、映像送信を希望するエンコーダ部の
識別情報を受信し(201)、該識別情報及び予め記憶
した仕様情報に基づいてエンコーダ部配信特性情報を作
成し(204)ネットワーク上に配信する(205)。
映像受信を希望するデコーダ部から配信要求情報を受信
すると(206)、エンコーダ部及びデコーダ部の仕様
を判別し(208)、判別で得られた仕様情報に基づき
各々のパラメータを作成し(209、211)それぞれ
に送信する(210、212)。かかるパラメータを受
信したエンコーダ部及びデコーダ部の各々にてパラメー
タが設定され(106、304、305)、映像の送受
信が行われる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、リアルタイム映像
送受信方法、リアルタイム映像送受信システム及び仲介
装置に係り、より詳しくは、所定の方式で映像データを
圧縮し圧縮後のデータを送信するエンコーダ部と圧縮後
のデータを受信し当該受信したデータを伸張するデコー
ダ部との間でリアルタイム映像送受信を行うリアルタイ
ム映像送受信方法、リアルタイム映像送受信システム、
及び当該リアルタイム映像送受信を行うときに映像デー
タの送受信の仲介を行う仲介装置に関する。
【0002】
【従来の技術】ネットワークの高速化に伴い各種マルチ
メディアデータがネットワークを介して利用されてきて
おり、高画質映像配信への要求が大きい。中でも、MP
EG2(Moving Picture Experts Group 2)のリアルタ
イム映像配信を用いた製品が多く、価格も下がり一般的
に利用されつつある。
【0003】上記MPEG2のリアルタイム映像配信を
行う場合について図12を用いて説明する。例えば、エ
ンコーダAとデコーダ1の間で映像配信をする場合、そ
れぞれ相手のIPアドレスとポート番号を設定する必要
がある。オプション項目として、映像データの伝送速度
(以下「ビデオレート」という。)や音声データの伝送
速度(以下「オーディオレート」という。)等のパラメ
ータが設定可能であれば、それらも設定する必要があ
り、エンコーダとデコーダ間でのパラメータのすりあわ
せが重要となる。このとき通信の相手方を固定して使用
するのであれば、パラメータは一度設定すれば良いが、
ネットワーク環境が異なるところで使用したいといった
要求に応じるためには、パラメータを再度設定し直す必
要があり、ネットワークに関する知識も必要となり簡単
にはパラメータを設定できない。なお、図12のデコー
ダ3のように、相手方となるエンコーダの仕様情報が無
い又は得られない場合には、映像データを受信できない
こととなる。
【0004】そこで、上記のような通信環境でエンコー
ダとデコーダの間でのパラメータ設定に関し、以下の技
術が提案されている。
【0005】まず、特開平9−162912号公報に
は、データの送受信プロトコルに適合するエンコーダ部
及びデコーダ部を選択する技術に、イーサネット(登録
商標)等のリンク速度を自動感知する機能を追加しリン
ク速度の設定を自動化した技術が開示されている。ただ
し、リアルタイム映像送受信においては、リンク速度を
自動的に設定し、プロトコルに適合するエンコーダ部及
びデコーダ部を単純に選択するだけでは通信できるもの
ではない。例えば、エンコーダ部には、自発的に特定の
IPアドレスに配信するタイプもあれば、リクエスト受
信後に送信を開始するタイプもあり、送信開始の方式も
多種多様だからである。
【0006】また、特開平5−103035号公報に
は、フレーム中のアドレス部に設定された値を参照する
ことでプロトコルを選択したり、要求に応じて又は状態
監視結果に基づきプロトコルを切り替える技術が開示さ
れている。ただし、リアルタイム映像送受信において
は、プロトコルだけでなく、送信パケット内にカプセル
化された映像データのストリームの種類やパッケージの
仕方が受信側(デコーダ部)に不明である場合、受信側
では再生できないという問題がある。
【0007】さらに、特開平4−38087号公報に
は、多数チャンネルのCATV放送の何れかのチャンネ
ルを選択すると、受信機を自動的に設定する技術が開示
されている。ただし、これは、自身の受信部(デコーダ
部)を自動的に設定するだけで、送信部(エンコーダ
部)の設定パラメータを変更させる技術ではなく、エン
コーダ部とデコーダ部の仕様が既に確定している環境の
みで利用される技術にすぎない。
【0008】
【発明が解決しようとする課題】以上を総合すれば、プ
ロトコル及びストリームがエンコーダのメーカ各社で異
なるという状況で、リアルタイム映像送受信を実現する
ための、エンコーダ部とデコーダ部の間のパラメータ設
定が非常に煩雑であるという課題が依然として残る。
【0009】本発明は、上記課題を解決するために成さ
れたものであり、リアルタイム映像配信時におけるエン
コーダ部及びデコーダ部の各々のパラメータ設定を容易
に実現することができるリアルタイム映像送受信方法、
リアルタイム映像送受信システム及び仲介装置を提供す
ることを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係るリアルタイム映像送受信方法は、ネッ
トワークを介して接続された、所定の方式で映像データ
を圧縮し圧縮後のデータを送信するエンコーダ部と前記
圧縮後のデータを受信し当該受信したデータを伸張する
デコーダ部との間で実行されるリアルタイム映像送受信
方法であって、各種のエンコーダ部の仕様情報を予め記
憶し前記エンコーダ部と前記デコーダ部との間で映像デ
ータの送受信の仲介を行う仲介部が、前記ネットワーク
上に設けられ、映像データの送信を希望するエンコーダ
部が前記仲介部へ当該エンコーダ部の識別情報を送信す
る識別情報送信工程と、前記仲介部が前記仕様情報及び
受信した識別情報に基づいて、前記エンコーダ部の配信
に関する配信特性情報を作成する配信特性情報作成工程
と、前記仲介部が、作成された配信特性情報を前記ネッ
トワーク上に配信する配信工程と、映像データの受信を
希望するデコーダ部が、前記配信特性情報に基づいて、
当該デコーダ部の識別情報を含む配信要求情報を前記仲
介部へ送信する配信要求送信工程と、前記仲介部が、受
信した配信要求情報に含まれた前記デコーダ部の識別情
報及び前記エンコーダ部の配信特性情報に基づいて、前
記エンコーダ部及び前記デコーダ部の仕様を判別する判
別工程と、前記仲介部が、判別により得られた前記エン
コーダ部及び前記デコーダ部の仕様情報に基づいて、映
像データ送受信時に設定すべき前記エンコーダ部及び前
記デコーダ部の各々についての設定パラメータを作成す
るパラメータ作成工程と、前記仲介部が、作成された設
定パラメータを前記エンコーダ部及び前記デコーダ部の
各々に送信するパラメータ送信工程と、前記エンコーダ
部及び前記デコーダ部の各々が、受信した設定パラメー
タを設定するパラメータ設定工程と、前記エンコーダ部
及び前記デコーダ部が映像データの送受信を行う送受信
工程と、を有することを特徴とする。
【0011】また、本発明は、以下のリアルタイム映像
送受信システムの発明として捉えることもできる。即
ち、本発明に係るリアルタイム映像送受信システムは、
ネットワークを介して接続された、所定の方式で映像デ
ータを圧縮し圧縮後のデータを送信するエンコーダ部と
前記圧縮後のデータを受信し当該受信したデータを伸張
するデコーダ部との間で、リアルタイム映像送受信を行
うリアルタイム映像送受信システムであって、前記ネッ
トワーク上に設けられ、前記エンコーダ部と前記デコー
ダ部との間で映像データの送受信の仲介を行う仲介部を
有し、前記仲介部は、各種のエンコーダ部の仕様情報を
記憶した仕様情報記憶手段と、映像データの送信を希望
するエンコーダ部から、当該エンコーダ部の識別情報を
受信する識別情報受信手段と、前記仕様情報及び受信し
た識別情報に基づいて、前記エンコーダ部の配信に関す
る配信特性情報を作成する配信特性情報作成手段と、作
成された配信特性情報を前記ネットワーク上に配信する
配信手段と、映像データの受信を希望するデコーダ部か
ら、当該デコーダ部の識別情報を含む配信要求情報を受
信する配信要求受信手段と、受信した配信要求情報に含
まれた前記デコーダ部の識別情報及び前記エンコーダ部
の配信特性情報に基づいて、前記エンコーダ部及び前記
デコーダ部の仕様を判別する判別手段と、判別により得
られた前記エンコーダ部及び前記デコーダ部の仕様情報
に基づいて、映像データ送受信時に設定すべき前記エン
コーダ部及び前記デコーダ部の各々についての設定パラ
メータを作成するパラメータ作成手段と、作成された設
定パラメータを前記エンコーダ部及び前記デコーダ部の
各々に送信するパラメータ送信手段と、を備え、前記エ
ンコーダ部及び前記デコーダ部の各々にて、前記送信さ
れた設定パラメータが設定され、前記エンコーダ部と前
記デコーダ部との間で映像データの送受信が行われるこ
とを特徴とする。
【0012】また、本発明は、以下の仲介装置を設けた
ことを最大の特徴とするため、以下の仲介装置の発明と
して捉えることもできる。即ち、本発明に係る仲介装置
は、ネットワークを介して接続された、所定の方式で映
像データを圧縮し圧縮後のデータを送信するエンコーダ
部と前記圧縮後のデータを受信し当該受信したデータを
伸張するデコーダ部との間で、リアルタイム映像送受信
を行うときに、映像データの送受信の仲介を行う仲介装
置であって、各種のエンコーダ部の仕様情報を記憶した
仕様情報記憶手段と、映像データの送信を希望するエン
コーダ部から、当該エンコーダ部の識別情報を受信する
識別情報受信手段と、前記仕様情報及び受信した識別情
報に基づいて、前記エンコーダ部の配信に関する配信特
性情報を作成する配信特性情報作成手段と、作成された
配信特性情報を前記ネットワーク上に配信する配信手段
と、映像データの受信を希望するデコーダ部から、当該
デコーダ部の識別情報を含む配信要求情報を受信する配
信要求受信手段と、受信した配信要求情報に含まれた前
記デコーダ部の識別情報及び前記エンコーダ部の配信特
性情報に基づいて、前記エンコーダ部及び前記デコーダ
部の仕様を判別する判別手段と、判別により得られた前
記エンコーダ部及び前記デコーダ部の仕様情報に基づい
て、映像データ送受信時に設定すべき前記エンコーダ部
及び前記デコーダ部の各々についての設定パラメータを
作成するパラメータ作成手段と、作成された設定パラメ
ータを前記エンコーダ部及び前記デコーダ部の各々に送
信するパラメータ送信手段と、を備えたことを特徴とす
る。
【0013】これら本発明に係るリアルタイム映像送受
信方法及び装置、並びに仲介装置の課題解決手段は実質
同一であるため、以下、リアルタイム映像送受信方法に
係る発明に関する同手段を説明する。
【0014】本発明に係るリアルタイム映像送受信方法
は、ネットワークを介して接続されたエンコーダ部及び
デコーダ部の間で実行されるものであるが、このネット
ワーク上に、各種のエンコーダ部の仕様情報を予め記憶
しエンコーダ部とデコーダ部との間で映像データの送受
信の仲介を行う仲介部が設けられている。
【0015】かかるエンコーダ部、デコーダ部及び仲介
部を含むネットワーク構成において、まず、識別情報送
信工程にて、映像データの送信を希望するエンコーダ部
が仲介部へ当該エンコーダ部の識別情報を送信する。こ
こでの識別情報には、例えば、エンコーダ部のIPアド
レス、メーカ名、機種等の情報が含まれる。
【0016】次の配信特性情報作成工程では、仲介部が
予め記憶した仕様情報及び受信した識別情報より、エン
コーダ部の映像データ配信に関する配信特性情報を作成
する。ここでは例えば、上記エンコーダ部のIPアドレ
スに加え、チャンネル番号やアプリケーションを判別す
るためのポート番号を割り当てて配信特性情報に加えて
も良いし、ビデオレート、オーディオレート、エンコー
ダ部の設置場所、映像データの内容等の情報を配信特性
情報に加えても良い。
【0017】このような配信特性情報については、次の
配信工程にて、仲介部がネットワーク上に配信する。こ
れにより、配信特性情報は、ネットワークに接続された
デコーダ部により受信される。
【0018】そして、次の配信要求送信工程では、映像
データの受信を希望するに至ったデコーダ部が、配信さ
れた配信特性情報に基づいて当該デコーダ部の識別情報
を含む配信要求情報を仲介部へ送信する。
【0019】この配信要求情報を仲介部が受信すると、
判別工程にて、仲介部は、受信した配信要求情報に含ま
れたデコーダ部の識別情報及びエンコーダ部の配信特性
情報に基づいて、エンコーダ部及びデコーダ部の仕様を
判別する。
【0020】そして、パラメータ作成工程にて、仲介部
は、判別により得られたエンコーダ部及びデコーダ部の
仕様情報に基づいて、映像データ送受信時に設定すべき
エンコーダ部及びデコーダ部の各々についての設定パラ
メータを作成し、パラメータ送信工程にて、上記作成さ
れた設定パラメータをエンコーダ部及びデコーダ部の各
々に送信する。
【0021】この設定パラメータをエンコーダ部及びデ
コーダ部の各々が受信すると、パラメータ設定工程に
て、エンコーダ部及びデコーダ部の各々は、受信した設
定パラメータを設定し、送受信工程にて、エンコーダ部
及びデコーダ部は映像データの送受信を行う。
【0022】このように本発明では、エンコーダ部とデ
コーダ部との間で映像データの送受信の仲介を行う仲介
部をネットワーク上に設け、かかる仲介部が、エンコー
ダ部及びデコーダ部の仕様を判別し、判別により得られ
たエンコーダ部及びデコーダ部の仕様情報に基づいて、
映像データ送受信時に設定すべきエンコーダ部及びデコ
ーダ部の各々についての設定パラメータを自動的に作成
する。そして、エンコーダ部及びデコーダ部において上
記設定パラメータが設定され、映像データの送受信が行
われるので、リアルタイム映像配信時におけるエンコー
ダ部及びデコーダ部の各々のパラメータ設定を容易に実
現することができる。
【0023】これに伴い、ユーザは各メーカ毎のエンコ
ーダ部の仕様の違いや各メーカ毎のデコーダ部の仕様の
違いを一切意識することなく、リアルタイムの映像デー
タ送受信を実現できる。また、エンコーダ部やデコーダ
部では、仲介部により作成された設定パラメータが自動
的に設定される、即ち、ダイナミックに変更されるの
で、エンコーダ部等を移動したりすることが可能とな
り、会議室での利用が実用的となる。
【0024】上記デコーダ部は、複数のプロトコル及び
複数のストリームに対応可能に構成され、パラメータ設
定工程にて、受信した設定パラメータに含まれるエンコ
ーダ部のプロトコル及びストリームの情報に応じて、設
定すべきプロトコル及びストリームを選択するよう構成
することが望ましい。
【0025】この場合、メーカの異なる複数のエンコー
ダ部から映像データの送信がある場合でも、当該デコー
ダ部は、各エンコーダ部に対して、その設定パラメータ
に含まれるエンコーダ部のプロトコル及びストリームの
情報に応じて、設定すべきプロトコル及びストリームを
選択することで、複数のエンコーダ部の各々からの映像
データを適正に受信し伸張することができる。
【0026】なお、本発明は、映像データの圧縮方式が
MPEG2方式である場合に、特に有効である。即ち、
圧縮方式がMPEG2方式で映像データのリアルタイム
送受信をする場合は、前述したように、エンコーダ部及
びデコーダ部の各々で、相手方のIPアドレス等を設定
すべく通信開始前のパラメータのやりとり及びすり合わ
せが必要であり、パラメータ設定が非常に煩雑であった
が、本発明を利用することで、映像データ送受信時に設
定すべきエンコーダ部及びデコーダ部の各々についての
設定パラメータが自動的に作成され設定されるので、パ
ラメータ設定を容易化する効果が顕著に表れる。
【0027】
【発明の実施の形態】以下、添付図面を参照して本発明
の実施の形態を詳細に説明する。図1は、本実施形態に
係るリアルタイム映像送受信システム1の構成図であ
る。この図1に示すように、リアルタイム映像送受信シ
ステム1は、所定の方式で映像データを圧縮し圧縮後の
データを送信するエンコーダ部10、圧縮後のデータを
受信し当該受信したデータを伸張するデコーダ部30、
エンコーダ部10とデコーダ部30との間で映像データ
の送受信の仲介を行う仲介部20、及び当該仲介部20
に登録したエンコーダ部10のテーブル情報を仲介部2
0から受信して表示させ配信内容や設置場所の情報をテ
ーブルに追加するための入力端末40を含んで構成され
ており、これらはLAN等のネットワークを介して互い
に接続されている。
【0028】図2に示すようにエンコーダ部10は、ネ
ットワークを介してデータの送信を行う送信部10A
と、ネットワークを介してデータの受信を行う受信部1
0Bと、映像データを外部から入力するための映像入力
部10Eと、入力された映像データを圧縮するデータ圧
縮部10Dと、エンコーダ部10のIPアドレス、メー
カ名、機種等の情報を入力するための入力部10Cと、
入力したデータを記憶保持するメモリ部10Gと、エン
コーダ部10を後述の仲介部20に登録するためのパケ
ット生成部10Fと、後述の仲介部20からの送信デー
タによってエンコーダ部10のパラメータ設定を行う設
定部10Hと、終了処理を行うための割込み部10Iと
を含んで構成されており、これらはバスライン10Jを
介して相互に接続されている。
【0029】図3に示すように仲介部20は、ネットワ
ークを介してデータの送信を行う送信部20Aと、ネッ
トワークを介してデータの受信を行う受信部20Bと、
各社のエンコーダ部10の仕様や設定可能なパラメータ
等を記憶保持するメモリ部20Cと、エンコーダ部10
をテーブルに登録・追加するテーブル登録部20Eと、
後述のデコーダ部30からの配信要求(リクエスト)を
判別する判別部20Fと、エンコーダ部10及び後述の
デコーダ部30の各々にて設定すべきパラメータを生成
するパラメータ生成部20Dと、後述のデコーダ部30
の状態を監視するための監視部20Gとを含んで構成さ
れており、これらはバスライン20Hを介して相互に接
続されている。
【0030】図4に示すようにデコーダ部30は、ネッ
トワークを介してデータの送信を行う送信部30Aと、
ネットワークを介してデータの受信を行う受信部30B
と、仲介部20へのリクエスト(配信要求チャンネルや
オプション)を入力するための入力部30Cと、デコー
ダ部30のパラメータ設定を行う設定部30Gと、エン
コーダ部10の仕様に応じたプロトコルを選択するプロ
トコル選択部30Hと、エンコーダ部10の仕様に応じ
たストリームを選択するストリーム選択部30Iと、受
信した映像データを伸張するデータ伸張部30Dと、映
像を出力するための映像出力部30Eと、終了処理を行
うための割込み部30Fとを含んで構成されており、こ
れらはバスライン30Jを介して相互に接続されてい
る。
【0031】なお、仲介部20のメモリ部20Cには、
図6に示すエンコーダ部情報データベース50が既に記
憶されており、このエンコーダ部情報データベース50
には、エンコーダ部10の情報をテーブルへ登録するた
めの参照データとして、各社のエンコーダ部(エンコー
ダボード、エンコードユニット等)の仕様や設定可能な
パラメータ情報、例えば、ビデオレート、ストリーム、
オーディオレート、サンプリング周波数等の情報が記憶
されている。
【0032】また、デコーダ部30は、複数のプロトコ
ル及び複数のストリームに対応可能に構成されているも
のとする。
【0033】次に、図5〜図11を用いて、本実施形態
の作用として、A社のPCI boardタイプのエンコーダ部
(IPアドレス:173.25.17.1)を3階のレクチャール
ームで行われている講演会会場に新規に設置し、別会場
のデコーダ部(IPアドレス:173.25.17.200)に配信
し、プロジェクター表示して大きな会場で視聴する場合
のリアルタイム映像送受信システム1の動作を説明す
る。なお、図5は、リアルタイム映像送受信システム1
におけるエンコーダ部10、仲介部20、デコーダ部3
0及び入力端末40の間の相互動作を説明するための図
であり、各ボックスにはそれぞれの装置の動作が示さ
れ、矢印により時系列的遷移や相関関係が示されてい
る。
【0034】本実施形態では、ネットワークを介して接
続されたエンコーダ部10とデコーダ部30とを1対1
にユニキャストに接続して、デコーダ部30でMPEG
2のトランスポートストリームの映像をリアルタイムに
受信する場合を考える。
【0035】最初に、映像データの送信側となるエンコ
ーダ部10において、当該エンコーダ部10をネットワ
ーク上で使用(認識)できるように、入力部10Cのキ
ーボード又はシリアルデジタルコンポーネントインタフ
ェースより、エンコーダ部10のIPアドレス、メーカ
名、機種(型式)が入力され(図5のボックス101、
以下単に「101」と数字で表す)、この入力項目がメ
モリ部10Gに記憶される(102)。ここでは、映像
データの送信側オペレータにより、一例として、IPア
ドレスとして「173.25.17.1」、メーカ名として「A
社」、機種として「PCI board」が入力されたものとす
る。
【0036】次に、パケット生成部10Fが、仲介部2
0が管理するバス使用要求者の登録テーブルに当該エン
コーダ部10を登録するために、上記入力データ(エン
コーダ部10のIPアドレス、メーカ名、機種)を含ん
だエンコーダ部登録用パケットを生成する(103)。
この生成されたエンコーダ部登録用パケットは送信部1
0AによりTCPプロトコルにて仲介部20へ送信され
る(104)。なお、このとき、TCPプロトコルにお
ける通信であるため、送信元であるエンコーダ部10の
IPアドレスは送信データのIPヘッダ部に含まれる。
従って、エンコーダ部登録用パケットにIPアドレスを
必ずしも含める必要はない。
【0037】仲介部20では、上記エンコーダ部登録用
パケットが受信部20Bにより受信される(201)。
この受信したエンコーダ部登録用パケットを基に、テー
ブル登録部20Eは、図6のエンコーダ部情報データベ
ース50(図5の202)を参照してエンコーダ部のA
社のPCI boardの仕様を検索し(203)、エンコーダ
部10のIPアドレス等の情報を図7のバス使用要求者
登録テーブル52の形式でメモリ部20Cに記憶する。
このとき、エンコーダ部10のIPアドレスに加え、チ
ャンネル番号とアプリケーションを判別するためのポー
ト番号とを自動的に割り当て、当該エンコーダ部10で
設定可能なオプション(例えば、ビデオレート、オーデ
ィオレート)のパラメータを設定し、バス使用要求者登
録テーブル52に登録する(204)。
【0038】ここでは一例として、チャンネル番号は
1、2、3…と順番に割り当てられ、ポート番号は700
1、7002、7003…と順番に割り当てられる。オプション
のパラメータはデフォルト値が設定されている。図7で
は上記エンコーダ部10のデータのみが登録されている
が、もし既に別のデータがバス使用要求者登録テーブル
52に登録されている場合は、バス使用要求者登録テー
ブル52の最後に追加する形式で登録される。
【0039】このようにして設定されたテーブル情報
は、送信部20Aによりネットワーク上に広く配信(即
ち、公開)される(205)。
【0040】この公開されたテーブル情報はネットワー
クを介して入力端末40により受信され(401)、デ
ィスプレイ等に表示される。これを見たオペレータによ
りエンコーダ部10の配信内容や設置場所等の情報が入
力される(402)。この入力された情報はネットワー
クを介して仲介部20へ送信され、テーブル登録部20
Eが当該入力情報を基に、図7のバス使用要求者登録テ
ーブル52の情報を更新し、図8のバス使用要求者登録
テーブル54となる(213)。なお、本実施形態で
は、エンコーダ部10とは別に入力端末40が設けられ
た例を示したが、エンコーダ部10から上記のようなテ
ーブル更新情報を入力するよう構成してもよいし、図5
の101の入力時に併せて入力するようにしてもよい。
【0041】更新で得られた図8のバス使用要求者登録
テーブル54の情報は、送信部20Aによりネットワー
ク上に公開され(205)、この公開されたテーブル情
報はネットワークを介してデコーダ部30の受信部30
Bにより受信される(301)。このテーブル情報はデ
コーダ部30の図示しないディスプレイ等に表示され、
これを見たオペレータが目的のエンコーダ部10を探
し、入力部30Cにより目的のエンコーダ部10に対応
するチャンネル番号を指定する。なお、目的のエンコー
ダ部10がオプションとしてビデオレートやオーディオ
レート等を設定可能なものであれば、それらも入力部3
0Cで指定可能である。ここでは、一例として、図8の
テーブル54からチャンネル番号の「1」のみが指定さ
れ(図9には指定されたチャンネル番号「1」の情報を
示す)、ビデオレートやオーディオレートは指定されな
いものとする。なお、デコーダ部30では、予め定めた
条件に従い、公開されたテーブル情報から目的のエンコ
ーダ部10のチャンネル番号を自動的に指定するよう構
成してもよい。
【0042】そして、指定されたチャンネル番号等の情
報を含んだリクエスト(配信要求)がTCPプロトコル
にて送信部30Aにより仲介部20へ向けて送信される
(302)。なお、このとき、TCPプロトコルにおけ
る通信であるため、送信元であるデコーダ部30のIP
アドレスは送信データのIPヘッダ部に含まれる。従っ
て、リクエストにIPアドレスを必ずしも含める必要は
ない。
【0043】仲介部20では、受信部20Bによりデコ
ーダ部30からのリクエストを受信する(206)。こ
のとき、仲介部20では、スレッドを起動して、当該ス
レッドに上記リクエストしたデコーダ部30に対する処
理を専門に担当させるよう制御される。ここでスレッド
を起動することで、上記デコーダ部30のリクエストに
対する処理が終了するまで他の競合するデコーダ部から
のリクエストを処理できなくなるという不都合を回避で
きるといった利点がある。
【0044】そして、受信したリクエストを基に、チャ
ンネル番号、オプション、送信元(デコーダ部30)の
IPアドレスの情報が図11に示すデコーダ部情報テー
ブル60としてメモリ部20Cに記憶される(20
7)。
【0045】このようにして図8のエンコーダ部10に
関するテーブル54及び図11のデコーダ部情報テーブ
ル60がメモリ部20Cに記憶された後、判別部20F
は、これらテーブル54、60を参照してエンコーダ部
10及びデコーダ部30の仕様を判別する(208)。
そして、この判別結果より、パラメータ生成部20D
が、エンコーダ部10において設定すべきエンコーダ部
設定パラメータを作成する(209)。このエンコーダ
部設定パラメータには、リクエストを行ったデコーダ部
30のIPアドレス及びポート番号の情報が含まれる。
また、その他オプションとして、ビデオレートやオーデ
ィオレート等がある場合はそれらの数値も含まれ、オプ
ションに対する設定がない場合にはデフォルト値が設定
される。
【0046】このようにして作成されたエンコーダ部設
定パラメータは、送信部20Aによりエンコーダ部10
へ向けて送信される(210)。
【0047】エンコーダ部10の受信部10Bでエンコ
ーダ部設定パラメータを受信すると(105)、受信し
たエンコーダ部設定パラメータをもとに設定部10Hが
パラメータ設定を行う(106)。具体的には、送信先
となるデコーダ部30のIPアドレス、ポート番号、オ
プション設定項目が設定される。
【0048】なお、本実施形態のエンコーダ部10の映
像送信プロトコルはUDPプロトコルであるため、この
時点で映像入力部10Eから入力された映像データ(1
07)がデータ圧縮部10Dで圧縮され(108)、送
信部10Aにより送信される(109)。
【0049】一方、仲介部20では、エンコーダ部10
での上記105〜109の動作と並行して、パラメータ
生成部20Dが上記判別結果を基に、デコーダ部30に
おいて設定すべきデコーダ部設定パラメータを作成する
(211)。このデコーダ部設定パラメータには、実際
に送信する映像データのストリーム情報、送信するエン
コーダ部10の通信プロトコル、IPアドレス、ポート
番号が含まれる。
【0050】このようにして作成されたデコーダ部設定
パラメータは、送信部20Aによりデコーダ部30へ向
けて送信される(212)。
【0051】デコーダ部30では、受信部30Bにより
上記デコーダ部設定パラメータを受信すると(30
3)、受信したデコーダ部設定パラメータを基に設定部
30Gがパラメータ設定を行う(304)。ここでは、
送信元のエンコーダ部10のIPアドレス、ポート番号
が設定される。そして、プロトコル選択部30Hが送信
元のエンコーダ部10の送信プロトコルに応じたプロト
コルを選択するとともに、ストリーム選択部30Iが送
信元のエンコーダ部10のストリームに応じたストリー
ム環境を選択する(305)。
【0052】例えば、ストリームについては、本実施形
態ではMPEG2だが、仮にエンコーダ部10がMPE
G1などの異なったストリームを送信可能であれば、デ
コーダ部30にてストリームとしてMPEG1を選択す
ることで、MPEG1での映像データ送受信が可能とな
る。
【0053】本実施形態のエンコーダ部10の送信プロ
トコルはUDPであるため、既に映像データが送信され
ており(109)、デコーダ部30では、プロトコルと
してUDPを選択しストリームとしてMPEG2のトラ
ンスポートストリームを選択することにより、エンコー
ダ部10からの映像データを受信部30Bで受信する
(306)。受信した映像データは、データ伸張部30
Dで伸張され(307)、映像出力部30Eへ出力され
(308)、プロジェクター表示可能となる。
【0054】一方、仲介部20では、デコーダ部30で
映像データの受信が開始された場合、図10のようにテ
ーブル情報において使用状況を「ユニキャスト配信中」
に更新する。ここでは、例えば、図5の212で仲介部
20からデコーダ部30へデコーダ部設定パラメータを
送信したことをもって、デコーダ部30で映像データ受
信がまもなく開始されるとみなし、上記のようにテーブ
ル情報を更新する(213)。
【0055】また、仲介部20では、監視部20Gによ
りデコーダ部30の状態監視を行っているが(21
4)、デコーダ部30にて映像データの受信が終了し、
割込み部30Fから終了通知の割り込みが仲介部20に
送信されると(309)、終了処理を行う(310)。
監視部20Gは、この終了通知の割り込みを受信すると
(214)、エンコーダ部10の割り込み部10Iに終
了通知の割り込みを送信する。割り込み部10Iは、こ
の終了通知の割り込みを受信すると(110)、終了処
理を行う(111)。
【0056】また、監視部20Gは、上記終了通知の割
り込み受信により、テーブル情報において使用状況を
「配信終了」に更新し(213)、更新後のテーブル情
報をネットワーク上に公開する(205)。
【0057】以上説明した実施形態によれば、映像デー
タの送受信の仲介を行う仲介部20を新たに設け、かか
る仲介部20が、エンコーダ部10及びデコーダ部30
の仕様を判別し、判別により得られた情報よりエンコー
ダ部10及びデコーダ部30の各々についての設定パラ
メータを自動的に作成して送信する。そして、エンコー
ダ部10及びデコーダ部30において上記設定パラメー
タが設定され、映像データの送受信が行われるので、リ
アルタイム映像配信時におけるエンコーダ部10及びデ
コーダ部30の各々のパラメータ設定を容易に実現する
ことができる。
【0058】これに伴い、ユーザは各メーカ毎のエンコ
ーダ部10の仕様の違いや各メーカ毎のデコーダ部30
の仕様の違いを一切意識することなく、リアルタイムの
映像データ送受信を実現できる。また、エンコーダ部1
0やデコーダ部30では、仲介部20により作成された
設定パラメータが自動的に設定されるので、エンコーダ
部10等を移動したりすることが可能となり、会議室で
の利用が実用的となる。
【0059】また、上記デコーダ部30は、複数のプロ
トコル及び複数のストリームに対応可能に構成され、エ
ンコーダ部10のプロトコル及びストリームの情報に応
じて、設定すべきプロトコル及びストリームを選択する
ので、メーカの異なる複数のエンコーダ部10から映像
データの送信がある場合でも、当該複数のエンコーダ部
10の各々からの映像データを適正に受信し伸張するこ
とができる。
【0060】なお、上記実施形態では、エンコーダ部1
0とデコーダ部30とが1対1のユニキャスト接続さ
れ、これらの間でMPEG2のトランスポートストリー
ムの配信が行われる例を示したが、これに限定されるも
のではない。即ち、エンコーダ部10が1対Nのマルチ
キャストに対応していれば、複数のデコーダ部30でそ
れぞれ、同一の仲介部20を介して同一映像データを受
信することは、仲介部20におけるエンコーダ部設定パ
ラメータとデコーダ部設定パラメータにてマルチキャス
トアドレスを指定することにより可能となる。
【0061】
【発明の効果】以上説明したように、本発明によれば、
エンコーダ部とデコーダ部との間で映像データの送受信
の仲介を行う仲介部をネットワーク上に設け、かかる仲
介部が、エンコーダ部及びデコーダ部の仕様を判別し、
判別により得られたエンコーダ部及びデコーダ部の仕様
情報に基づいて、映像データ送受信時に設定すべきエン
コーダ部及びデコーダ部の各々についての設定パラメー
タを自動的に作成する。そして、エンコーダ部及びデコ
ーダ部において上記設定パラメータが設定され、映像デ
ータの送受信が行われるので、リアルタイム映像配信時
におけるエンコーダ部及びデコーダ部の各々のパラメー
タ設定を容易に実現することができる。
【図面の簡単な説明】
【図1】発明の実施形態に係るリアルタイム映像送受信
システムの構成図である。
【図2】エンコーダ部の構成図である。
【図3】仲介部の構成図である。
【図4】デコーダ部の構成図である。
【図5】リアルタイム映像送受信システムの相互動作を
説明するための図である。
【図6】仲介部のメモリ部に記憶されたエンコーダ部情
報データベースの一例を示す図である。
【図7】エンコーダ部を最初に登録したときの仲介部内
のテーブル情報を示す図である。
【図8】入力端末からの情報入力があった後の仲介部内
のテーブル情報を示す図である。
【図9】図8のテーブル情報から選択されたチャンネル
番号1のデータを示す図である。
【図10】デコーダ部による映像データの受信が開始さ
れたときの仲介部内のテーブル情報を示す図である。
【図11】デコーダ部情報テーブルの一例を示す図であ
る。
【図12】リアルタイム映像送受信を行う際のパラメー
タ設定を説明するための図である。
【符号の説明】
1…リアルタイム映像送受信システム、10…エンコー
ダ部、10A…送信部、10B…受信部、10C…入力
部、10D…データ圧縮部、10E…映像入力部、10
F…パケット生成部、10G…メモリ部、10H…設定
部、10I…割込み部、10J…バスライン、20…仲
介部、20A…送信部、20B…受信部、20C…メモ
リ部、20D…パラメータ生成部、20E…テーブル登
録部、20F…判別部、20G…監視部、20H…バス
ライン、30…デコーダ部、30A…送信部、30B…
受信部、30C…入力部、30D…データ伸張部、30
E…映像出力部、30F…割込み部、30G…設定部、
30H…プロトコル選択部、30I…ストリーム選択
部、30J…バスライン、40…入力端末、50…エン
コーダ部情報データベース、52、54…バス使用要求
者登録テーブル、56…指定されたバス使用要求者登録
テーブルの情報、58…使用状況更新後のバス使用要求
者登録テーブル、60…デコーダ部情報テーブル

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークを介して接続された、所定
    の方式で映像データを圧縮し圧縮後のデータを送信する
    エンコーダ部と前記圧縮後のデータを受信し当該受信し
    たデータを伸張するデコーダ部との間で実行されるリア
    ルタイム映像送受信方法であって、 各種のエンコーダ部の仕様情報を予め記憶し前記エンコ
    ーダ部と前記デコーダ部との間で映像データの送受信の
    仲介を行う仲介部が、前記ネットワーク上に設けられ、 映像データの送信を希望するエンコーダ部が前記仲介部
    へ当該エンコーダ部の識別情報を送信する識別情報送信
    工程と、 前記仲介部が前記仕様情報及び受信した識別情報に基づ
    いて、前記エンコーダ部の配信に関する配信特性情報を
    作成する配信特性情報作成工程と、 前記仲介部が、作成された配信特性情報を前記ネットワ
    ーク上に配信する配信工程と、 映像データの受信を希望するデコーダ部が、前記配信特
    性情報に基づいて、当該デコーダ部の識別情報を含む配
    信要求情報を前記仲介部へ送信する配信要求送信工程
    と、 前記仲介部が、受信した配信要求情報に含まれた前記デ
    コーダ部の識別情報及び前記エンコーダ部の配信特性情
    報に基づいて、前記エンコーダ部及び前記デコーダ部の
    仕様を判別する判別工程と、 前記仲介部が、判別により得られた前記エンコーダ部及
    び前記デコーダ部の仕様情報に基づいて、映像データ送
    受信時に設定すべき前記エンコーダ部及び前記デコーダ
    部の各々についての設定パラメータを作成するパラメー
    タ作成工程と、 前記仲介部が、作成された設定パラメータを前記エンコ
    ーダ部及び前記デコーダ部の各々に送信するパラメータ
    送信工程と、 前記エンコーダ部及び前記デコーダ部の各々が、受信し
    た設定パラメータを設定するパラメータ設定工程と、 前記エンコーダ部及び前記デコーダ部が映像データの送
    受信を行う送受信工程と、 を有することを特徴とするリアルタイム映像送受信方
    法。
  2. 【請求項2】 前記デコーダ部は、 複数のプロトコル及び複数のストリームに対応可能に構
    成され、 前記パラメータ設定工程にて、受信した設定パラメータ
    に含まれる前記エンコーダ部のプロトコル及びストリー
    ムの情報に応じて、設定すべきプロトコル及びストリー
    ムを選択する、 ことを特徴とする請求項1記載のリアルタイム映像送受
    信方法。
  3. 【請求項3】 前記所定の方式は、MPEG2方式であ
    ることを特徴とする請求項1又は請求項2に記載のリア
    ルタイム映像送受信方法。
  4. 【請求項4】 ネットワークを介して接続された、所定
    の方式で映像データを圧縮し圧縮後のデータを送信する
    エンコーダ部と前記圧縮後のデータを受信し当該受信し
    たデータを伸張するデコーダ部との間で、リアルタイム
    映像送受信を行うリアルタイム映像送受信システムであ
    って、 前記ネットワーク上に設けられ、前記エンコーダ部と前
    記デコーダ部との間で映像データの送受信の仲介を行う
    仲介部を有し、 前記仲介部は、 各種のエンコーダ部の仕様情報を記憶した仕様情報記憶
    手段と、 映像データの送信を希望するエンコーダ部から、当該エ
    ンコーダ部の識別情報を受信する識別情報受信手段と、 前記仕様情報及び受信した識別情報に基づいて、前記エ
    ンコーダ部の配信に関する配信特性情報を作成する配信
    特性情報作成手段と、 作成された配信特性情報を前記ネットワーク上に配信す
    る配信手段と、 映像データの受信を希望するデコーダ部から、当該デコ
    ーダ部の識別情報を含む配信要求情報を受信する配信要
    求受信手段と、 受信した配信要求情報に含まれた前記デコーダ部の識別
    情報及び前記エンコーダ部の配信特性情報に基づいて、
    前記エンコーダ部及び前記デコーダ部の仕様を判別する
    判別手段と、 判別により得られた前記エンコーダ部及び前記デコーダ
    部の仕様情報に基づいて、映像データ送受信時に設定す
    べき前記エンコーダ部及び前記デコーダ部の各々につい
    ての設定パラメータを作成するパラメータ作成手段と、 作成された設定パラメータを前記エンコーダ部及び前記
    デコーダ部の各々に送信するパラメータ送信手段と、 を備え、 前記エンコーダ部及び前記デコーダ部の各々にて、前記
    送信された設定パラメータが設定され、前記エンコーダ
    部と前記デコーダ部との間で映像データの送受信が行わ
    れる、 ことを特徴とするリアルタイム映像送受信システム。
  5. 【請求項5】 前記デコーダ部は、 複数のプロトコル及び複数のストリームに対応可能に構
    成され、 受信した設定パラメータに含まれる前記エンコーダ部の
    プロトコル及びストリームの情報に応じて、設定すべき
    プロトコル及びストリームを選択する選択手段を備え
    た、 ことを特徴とする請求項4記載のリアルタイム映像送受
    信システム。
  6. 【請求項6】 前記所定の方式は、MPEG2方式であ
    ることを特徴とする請求項4又は請求項5に記載のリア
    ルタイム映像送受信システム。
  7. 【請求項7】 ネットワークを介して接続された、所定
    の方式で映像データを圧縮し圧縮後のデータを送信する
    エンコーダ部と前記圧縮後のデータを受信し当該受信し
    たデータを伸張するデコーダ部との間で、リアルタイム
    映像送受信を行うときに、映像データの送受信の仲介を
    行う仲介装置であって、 各種のエンコーダ部の仕様情報を記憶した仕様情報記憶
    手段と、 映像データの送信を希望するエンコーダ部から、当該エ
    ンコーダ部の識別情報を受信する識別情報受信手段と、 前記仕様情報及び受信した識別情報に基づいて、前記エ
    ンコーダ部の配信に関する配信特性情報を作成する配信
    特性情報作成手段と、 作成された配信特性情報を前記ネットワーク上に配信す
    る配信手段と、 映像データの受信を希望するデコーダ部から、当該デコ
    ーダ部の識別情報を含む配信要求情報を受信する配信要
    求受信手段と、 受信した配信要求情報に含まれた前記デコーダ部の識別
    情報及び前記エンコーダ部の配信特性情報に基づいて、
    前記エンコーダ部及び前記デコーダ部の仕様を判別する
    判別手段と、 判別により得られた前記エンコーダ部及び前記デコーダ
    部の仕様情報に基づいて、映像データ送受信時に設定す
    べき前記エンコーダ部及び前記デコーダ部の各々につい
    ての設定パラメータを作成するパラメータ作成手段と、 作成された設定パラメータを前記エンコーダ部及び前記
    デコーダ部の各々に送信するパラメータ送信手段と、 を備えた仲介装置。
JP2000392834A 2000-12-25 2000-12-25 リアルタイム映像送受信方法およびリアルタイム映像送受信システム Expired - Fee Related JP4579407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000392834A JP4579407B2 (ja) 2000-12-25 2000-12-25 リアルタイム映像送受信方法およびリアルタイム映像送受信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000392834A JP4579407B2 (ja) 2000-12-25 2000-12-25 リアルタイム映像送受信方法およびリアルタイム映像送受信システム

Publications (2)

Publication Number Publication Date
JP2002199372A true JP2002199372A (ja) 2002-07-12
JP4579407B2 JP4579407B2 (ja) 2010-11-10

Family

ID=18858759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000392834A Expired - Fee Related JP4579407B2 (ja) 2000-12-25 2000-12-25 リアルタイム映像送受信方法およびリアルタイム映像送受信システム

Country Status (1)

Country Link
JP (1) JP4579407B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033556A (ja) * 2003-07-14 2005-02-03 Toshiba Corp データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP2015073154A (ja) * 2013-10-01 2015-04-16 株式会社リコー データ伝送システム、データ伝送プログラム及びデータ伝送方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646030B1 (ko) 2016-12-15 2024-03-12 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236530A (ja) * 1999-12-20 2000-08-29 Canon Inc マルチメディア通信装置及び方法
JP2001320425A (ja) * 2000-05-08 2001-11-16 Sharp Corp 通信システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236530A (ja) * 1999-12-20 2000-08-29 Canon Inc マルチメディア通信装置及び方法
JP2001320425A (ja) * 2000-05-08 2001-11-16 Sharp Corp 通信システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033556A (ja) * 2003-07-14 2005-02-03 Toshiba Corp データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP2015073154A (ja) * 2013-10-01 2015-04-16 株式会社リコー データ伝送システム、データ伝送プログラム及びデータ伝送方法

Also Published As

Publication number Publication date
JP4579407B2 (ja) 2010-11-10

Similar Documents

Publication Publication Date Title
US9880806B2 (en) Media playback processing and control method, apparatus, and system
JP5174166B2 (ja) ネットワーク装置のためのデータストリーム制御
KR100870587B1 (ko) 멀티미디어 세션 관리
US9571895B2 (en) Load balancing multicast network traffic using virtual channels
JP4654918B2 (ja) 情報処理装置及び情報処理システム
US20030185156A1 (en) Transmission method and transmitter
WO2012079424A1 (zh) 分布式视频的处理方法、系统及多点控制单元
WO2007079672A1 (fr) Systeme de reception et d'affichage d'emissions tv reseau, et procede associe
US20050021857A1 (en) Media routing
US20090094374A1 (en) Systems and methods providing lists of available streaming content
US7668185B2 (en) Distribution apparatus, receiving apparatus tree-type distribution system, and information processing method etc.
US20030002865A1 (en) Data playback apparatus and data relay apparatus
EP1993289A1 (en) System having improved switching times between broadcast/multicast bearers
JP2002199372A (ja) リアルタイム映像送受信方法、リアルタイム映像送受信システム及び仲介装置
JP4425887B2 (ja) ビデオ会議システム、ビデオ会議システムに使用される端末、端末の処理方法、そのプログラム
JP2002297495A (ja) データ配信システム、端末装置、メディア変換プロキシサーバおよびデータ配信方法
JP2007251707A (ja) マルチキャスト中継装置
JP3958585B2 (ja) データ配信システム
CN114760354B (en) Audio and video sharing method and system
WO2009046599A1 (en) Systems and methods providing lists of available streaming content
KR100615516B1 (ko) 비디오 온 디맨드 시스템
KR200383199Y1 (ko) 비디오 온 디맨드 시스템
KR200382031Y1 (ko) 비디오 온 디맨드 시스템
JP5034346B2 (ja) コンテンツ配信サーバ
CN114760354A (zh) 一种音视频分享方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees