JP2001326924A - ストリームへの情報リンク方法，ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 - Google Patents

ストリームへの情報リンク方法，ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法

Info

Publication number
JP2001326924A
JP2001326924A JP2000141390A JP2000141390A JP2001326924A JP 2001326924 A JP2001326924 A JP 2001326924A JP 2000141390 A JP2000141390 A JP 2000141390A JP 2000141390 A JP2000141390 A JP 2000141390A JP 2001326924 A JP2001326924 A JP 2001326924A
Authority
JP
Japan
Prior art keywords
semantic information
index
information
video
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000141390A
Other languages
English (en)
Other versions
JP3723412B2 (ja
Inventor
Kiyoshi Tanaka
清 田中
Akito Akutsu
明人 阿久津
Yasushi Hanakago
花籠　　靖
Toru Yuguchi
徹 湯口
Taketo Miyaoku
健人 宮奥
Takahisa Taura
貴久 田浦
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000141390A priority Critical patent/JP3723412B2/ja
Publication of JP2001326924A publication Critical patent/JP2001326924A/ja
Application granted granted Critical
Publication of JP3723412B2 publication Critical patent/JP3723412B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 インターネット放送やデジタル放送におい
て，個々のユーザがライブ性の醍醐味を失うことなしに
効率よく視聴したり情報収集したりすることを可能にす
る。 【解決手段】 映像インデクサ101 は，映像配信サーバ
102 から配信する映像情報のビットストリームに予め定
められた意味情報に対応づけられたインデクスＩＤを埋
め込んでおく。ユーザクライアント103 は，受信したビ
ットストリームに埋め込まれたインデクスＩＤを抽出
し，意味情報サーバ104 から得た意味情報テーブルを参
照して，抽出したインデクスＩＤに対応する意味情報を
解読し，解読した意味情報をもとに受信した映像のビッ
トストリームに所定の情報リンク処理を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，インターネット放
送を始めとするネットワーク放送での映像配信サーバと
クライアント，あるいはデジタル放送での放送装置と受
信装置における映像提供サービスシステムに関するもの
である。
【０００２】
【従来の技術】最近の映像提供サービスシステムでは，
アナログベースからデジタルベースへ移行しつつあり，
また，ＭＰＥＧ２方式による映像圧縮されたビットスト
リーム伝送方式の進展に伴い，複数の映像を同時に送信
して，受信側でいずれかの映像を選択することにより，
従来では不可能であった多彩なサービスを可能にしてい
る。
【０００３】例えば，テレビ放送分野では，高品質な数
百チャンネルの番組提供，ＥＰＧ（電子プログラム）を
用いた番組の予約，視聴，番組連動型放送や，インタラ
クティブ放送による視聴者参加型ライブ番組の実現など
が可能になっている。
【０００４】インターネット放送の分野では，映像符号
化により映像データを圧縮し，ネットワーク上での配信
（放送）やオンデマンドサービスなども実現されてい
る。
【０００５】また，蓄積映像，音声，ＨＴＭＬ等の多種
多彩な素材コンテンツを組み合わせ，一つのコンテンツ
として構成，表現するシステムも提案され，予め与えら
れたシナリオに沿って各コンテンツを同期再生して表示
したり音声合成させたりすることを実現し，従来のコン
テンツよりも多彩な表現が可能になっている。
【０００６】
【発明が解決しようとする課題】しかし，従来技術で行
われている映像提供サービスシステムでは，実現が難し
い問題がある。例えばライブ映像の送受信に関して，見
たい番組の予約は比較的簡単に実現可能であるが，見た
いシーンの予約はできない。例えばスポーツライブ中継
を例にとると，サッカーのゴールシーンや野球のホーム
ランシーン等のハイライトシーンを選択的に予約するこ
とができない。これらのシーンを見逃さずに視聴するた
めには，ライブ中継を最初から最後までモニター画面か
ら視線を逸らさずに見ているか，一度蓄積メディア（Ｖ
ＴＲ等）に記録して視聴するかの方法をとらなければな
らない。
【０００７】また，インターネットにおいて映像配信サ
ーバからクライアントが映像情報（音声情報を含む）を
利用できる放送型サービスはすでに実用化され，盛んに
利用されているが，提供された映像に関連したテキスト
情報や音声，画像情報の検索までをサポートするような
サービスの提供はまだ不十分な段階である。
【０００８】映像の参照情報を与える方法としては，映
像と同時に情報ストリームを送信することにより，映像
に付加価値を与える情報を提供する方法があるが，提供
される情報はサーバ主導で切り替えることしかできず，
個々のユーザに適切な情報を提供する方法ではない。
【０００９】本発明は，上述の問題点に鑑みてなされた
もので，ライブ性の醍醐味を失うことなしに効率よくラ
イブ中継の内容を把握し，見たいシーンの選択が可能な
映像情報サービスシステムや，映像を個々のユーザに対
応したハイパーメディアとして扱う新しい映像情報サー
ビスシステムを構築するためのストリームへの情報リン
ク方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め，本発明のストリームへの情報リンク方法は，インタ
ーネット放送での映像配信サーバからクライアントに提
供される映像情報（音声情報を含む）から構成されるビ
ットストリームに，予めもしくはリアルタイム処理によ
り，時系列に従ってインデクスＩＤを埋め込んでおく。
クライアントは，ビットストリームのユーザ領域に埋め
込まれた前記インデクスＩＤと意味情報テーブルを対応
させて，インデクスＩＤの意味を解読し，その意味情報
をもとに送信されてきたビットストリームに所定の情報
リンク処理をすることを特徴とする。ここでのインデク
スＩＤとは，クライアントが意味情報を結び付ける上で
必要とする情報であり，単なる記号列であってよい。
【００１１】また，他の本発明のストリームへの情報リ
ンク方法は，デジタル放送での放送装置から受信装置に
放送される映像情報（音声情報を含む）から構成される
ビットストリームに，予めもしくはリアルタイム処理に
より，時系列に従ってインデクスＩＤを埋め込んでお
く。受信装置側で，ビットストリームのユーザ領域に埋
め込まれた前記インデクスＩＤと意味情報テーブルを対
応させて，インデクスＩＤの意味を解読し，その意味情
報をもとに送信されてきたビットストリームに所定の情
報リンク処理をすることを特徴とする。
【００１２】以上のストリームへの情報リンク方法で
は，前記埋め込まれたインデクスＩＤを用いて映像を説
明する詳細情報を意味情報と結び付けることにより，映
像をハイパーメディアとして扱い，各クライアント（受
信装置）対応に独立に編集・検索・再利用処理を行うこ
とができる。
【００１３】また，以上のストリームへの情報リンク方
法では，前記埋め込まれたインデクスＩＤを映像の中身
と対応する意味情報と結合させて，各クライアントもし
くは各受信装置に所望の映像を提供することもできる。
【００１４】さらに，上記ストリームへの情報リンク方
法では，インデクスＩＤを電子透かし技術を用いてビッ
トストリーム内に暗号化して埋め込むことができる。
【００１５】また，本発明のストリーム送受信システム
は，インターネット放送を始めとするネットワーク放送
で，映像や音声からなるビットストリームにインデクス
ＩＤを埋め込む映像インデクサと，ビットストリームを
送信する映像配信サーバと，意味情報を提供する意味情
報サーバと，ビットストリームを受信するクライアント
と，映像配信サーバとクライアント，および意味情報サ
ーバとクライアントを接続するネットワークからなるシ
ステムにおいて，前記映像インデクサは，ビットストリ
ームを入力する映像入力器と，インデクスＩＤをビット
ストリームに埋め込むインデクサとを備え，前記映像配
信サーバは，映像圧縮する符号化器と，符号化されたビ
ットストリームをネットワークに送出する情報送信器と
を備え，前記意味情報サーバは，インデクスＩＤに結び
付く意味情報を蓄える意味情報データベースと，意味情
報をクライアントへネットワーク経由で送出する送信器
とを備え，前記クライアントは，ネットワークに送出さ
れた前記ビットストリームを受信する受信器と，符号化
されたビットストリームを復号化する復号化器と，ビッ
トストリームを表示する表示器と，意味情報サーバから
意味情報をダウンロードし自装置内の意味情報データベ
ースに格納する情報人力器と，復号化されたビットスト
リームから埋め込まれたインデクスＩＤを抽出して前記
意味情報データベースを参考にインデクスＩＤの意味を
解読する意味結合器と，解読結果をもとに前記表示器を
制御する操作器とを備えることを特徴とする。
【００１６】他の本発明のストリーム送受信システム
は，有線，無線のデジタル放送で，映像や音声からなる
ビットストリームにインデクスＩＤを埋め込む映像イン
デクサと，ビットストリームを送信する放送装置と，ビ
ットストリームを受信する受信装置と，意味情報を提供
する意味情報サーバと，放送装置と受信装置を有線また
は無線で接続する通信回線と，意味情報サーバと受信装
置が接続されたネットワークからなるシステムにおい
て，前記映像インデクサは，ビットストリームを入力す
る映像入力器と，インデクスＩＤをビットストリームに
埋め込むインデクサとを備え，前記放送装置は，映像を
符号化する符号化器と，符号化されたビットストリーム
を通信回線に送出する送信器とを備え，前記意味情報サ
ーバは，インデクスＩＤに結び付く意味情報を蓄える意
味情報データベースと，意味情報をクライアントへネッ
トワーク経由で送出する送信器とを備え，前記受信装置
は，通信回線に送出された前記ビットストリームを受信
する受信器と，ビットストリームを復号化する復号化器
と，ビットストリームを表示する表示器と，意味情報サ
ーバの意味情報データベースから意味情報をダウンロー
ドし自装置内の意味情報データベースに格納する情報入
力器と，復号化されたビットストリームから埋め込まれ
たインデクスＩＤを抽出して前記意味情報データベース
を参考にインデクスＩＤの意味を解読する意味結合器
と，解読結果をもとに前記表示器を制御する操作器とを
備えることを特徴とする。
【００１７】以上のストリーム送受信システムでは，イ
ンデクスＩＤを電子透かし技術を用いて暗号化してビッ
トストリームへ埋め込むようにしてもよい。
【００１８】上記ストリーム送受信システムにおける意
味情報サーバは，ビットストリームに埋め込まれたイン
デクスＩＤに結合させる意味情報もしくは当該インデク
スＩＤを利用するアプリケーションもしくは暗号鍵を提
供する。
【００１９】本システムにおける課金方法として，上記
意味情報およびアプリケーションプログラムのダウンロ
ードに対し課金する方法を用いることができる。
【００２０】また，ストリーム送受信システムは，上記
意味情報およびアプリケーションプログラムのダウンロ
ードに対し課金する課金サーバを備えることができる。
この課金サーバは，意味情報サーバから意味情報，アプ
リケーションプログラムまたは暗号鍵を，クライアント
または受信装置にダウンロードさせる際に，意味情報サ
ーバから課金情報を受け取る情報受信器と，課金情報を
記録する課金情報データベースとを備える。
【００２１】また，ストリーム送受信システムは，上記
アプリケーションプログラムを実行する毎に課金する課
金サーバを備え，課金方法として，上記アプリケーショ
ンプログラムを実行する毎に課金する方法を用いること
もできる。
【００２２】本発明によって，ユーザは，デジタル化や
ＭＰＥＧ２等の映像圧縮技術により提供される大量の映
像情報および音声情報を効率よく視聴（情報収集）でき
るようになり，また，それらのサービスの提供者側は，
その利用料金を回収することができるようになる。
【００２３】
【発明の実施の形態】以下，本発明の実施の形態につい
て，図面を参照して詳細に説明する。
【００２４】図１は，インターネット放送における，本
発明のインデクスＩＤを埋め込まれたビットストリーム
を送受信する第１の実施の形態のシステム構成図であ
る。
【００２５】本システムは，映像インデクサ１０１と映
像配信サーバ１０２と意味情報サーバ１０４とユーザク
ライアント１０３と課金サーバ１０７，およびそれらを
結ぶネットワーク１０５，１０６，１０８，１０９から
構成されている。ネットワーク１０５，１０６，１０
８，１０９は，例えばインターネットや電話網などであ
り，これらが全て同じものであっても構わない。なお，
この図において，１個のユーザクライアント１０３がネ
ットワーク１０５，１０６，１０８，１０９に接続され
ているように示したが，実際には複数のユーザクライア
ントがネットワークに接続されている。
【００２６】映像インデクサ１０１は，映像入力器１１
１とインデクサ１１２とから構成されている。映像配信
サーバ１０２は，符号化器１１３と送信器１１４とで構
成されている。意味情報サーバ１０４は，意味情報デー
タベース（ＤＢ）１２２と情報送信器１２３とで構成さ
れている。ユーザクライアント１０３は，受信器１１５
と復号化器１１６と情報入力器１２０と意味情報データ
ベース（ＤＢ）１２１と意味結合器１１７と操作器１１
９および表示器１１８とで構成されている。課金サーバ
１０７は，情報受信器１２４と課金情報データベース
（ＤＢ）１２５とで構成されている。
【００２７】まず最初に，映像インデクサ１０１におけ
るデータ処理について説明する。映像インデクサ１０１
の映像入力器１１１に，例えばビデオカメラで撮像した
映像や映像情報データベースで生成された映像ストリー
ムが入力され，入力された映像ストリームはインデクサ
１１２においてインデクスＩＤが埋め込まれる。
【００２８】図２は，インデクサ１１２において映像ス
トリームにインデクスＩＤが埋め込まれるイメージ図で
ある。すなわち，元の映像ストリーム５１はインデクサ
１１２においてインデクスＩＤ付き映像ストリーム５２
に変換される。インデクスＩＤは，例えばＭＰＥＧ２シ
ステム（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−１）の
Ｕｓｅｒ領域に埋め込むことができる。意味情報サーバ
１０４の意味情報ＤＢ１２２に格納されている，例えば
カット点やカメラアングル，テロップ，状況変化等の意
味情報に対応するインデクスＩＤを埋め込む。ここでの
インデクスＩＤとは，何らかの意味を持つインデクス情
報につなぐことができるタグであり，例えば，映像の第
Ｎフレームに対応するインデクスＩＤ＝ＩN を対応テー
ブルの形で埋め込むというように単なる記号情報として
よい。
【００２９】また，インデクスＩＤをＭＰＥＧ２ビデオ
（ＩＳＯ／ＩＥＣＪＴＣ１／１３８１８−２）中のシー
ケンスヘッダのユーザデータに埋め込むというように，
映像ストリームの時系列に沿うようにインデクスＩＤを
埋め込んでもよい。また，インデクスＩＤの埋め込みの
際に電子透かし技術を用いて映像そのものに暗号化して
埋め込むことにより，埋め込んだデータの改竄防止や悪
用を禁止することも可能である。
【００３０】インデクスＩＤが埋め込まれた映像ストリ
ームは，符号化器１１３で符号化され，符号化された映
像ストリームが送信器１１４を介してネットワーク１０
５に送出される。
【００３１】ネットワーク１０５に接続されたユーザク
ライアント１０３では，受信器１１５でインデクス付き
映像ストリームを受信し，復号化器１１６で映像ストリ
ームを復号して，映像ストリームの中からインデクスＩ
Ｄを抽出し（電子透かし技術を使って暗号化してある場
合は所定の復元処理をした後に抽出），抽出したインデ
クスＩＤを意味結合器１１７に入力する。また，映像ス
トリームは表示器１１８に入力する。
【００３２】一方，ユーザクライアント１０３は，ネッ
トワーク１０６に接続された意味情報サーバ１０４にア
クセスして，意味情報サーバ１０４内の意味情報ＤＢ１
２２のデータを情報送信器１２３を介して，ユーザクラ
イアント１０３の情報入力器１２０に取り込み，ユーザ
クライアント１０３内の意味情報ＤＢ１２１にダウンロ
ードする。なお，この意味情報をダウンロードする際
に，意味情報サーバ１０４から課金サーバ１０７の情報
受信器１２４へアクセス情報を送信し，課金サーバの課
金情報ＤＢ１２５がアクセス履歴を管理することによ
り，ユーザクライアント１０３に課金することが可能で
ある。決済は，例えばインターネットの電子決済システ
ム等を利用した料金の支払いによって行う。
【００３３】意味結合器１１７では，入力されたインデ
クスＩＤに対応する意味情報を意味情報ＤＢ１２１のデ
ータ情報を参照して解読し，解読した意味情報を表示器
１１８に映像と共に表示する。
【００３４】また，操作器１１９に入力した意味情報を
用いて，ユーザとのインタラクションを行ったり，その
結果を表示させることも可能である。
【００３５】図３は，意味情報サーバ１０４が持つ意味
情報ＤＢ１２２に格納される意味情報テーブルの構成例
を示す。なお，ユーザクライアント１０３における意味
情報ＤＢ１２１のテーブル構成も同様である。意味情報
テーブルは，例えば図３に示すように，インデクスＩＤ
と，そのインデクスＩＤが有効となる対象フレームの範
囲と，意味情報と，そのインデクスＩＤの利用アプリケ
ーションプログラム等の情報を保持する。インデクスＩ
Ｄは単なる記号列であるが，このような意味情報テーブ
ルによって，インデクスＩＤがアプリケーションプログ
ラム毎に特定の意味情報に一意に対応づけられ，利用ア
プリケーションプログラムによってその意味が変わる。
この意味情報テーブルの一つ一つのエントリは，インデ
クスＩＤを意味情報に変換するための変換ルールに相当
すると考えてよい。
【００３６】図４は，課金サーバ１０７が持つ課金情報
ＤＢ１２５に格納される課金情報テーブルの構成例を示
す。課金情報テーブルには，例えば図４に示すように，
課金に関する操作時刻（利用時間）と，利用種別と，利
用アプリケーションプログラムと，課金するユーザＩＤ
とが格納される。利用種別の「ダウンロード」は，意味
情報サーバ１０４から送信されてきた課金情報であるこ
とを意味する。また利用種別の「操作」は，ユーザクラ
イアント１０３から送られてきた課金情報であることを
意味する。この課金情報テーブルを定期的に参照するこ
とにより，電子決済システム等を利用して自動的に決済
することができる。
【００３７】上述したようなシステム構成となっている
ので，クライアントはただ映像を見るだけでなく，意味
情報と映像中のインデクスＩＤを対応させてインタラク
ティブコンテンツとして利用できるようになる。その結
果，以下のような映像情報サービスが可能となる。
【００３８】図５は，インデクスＩＤを用いたサービス
イメージ図である。例えば，特開平８−３０５７２０号
に示される「マルチメディアデータ管理方法及び装置」
が実現するようなアプリケーションのように，映像を説
明する詳細情報を意味情報として結び付けることによ
り，放送中にテキストや音楽，画像，映像の関連情報を
リンクで結んだハイパーメディアとして扱うことが可能
となる。
【００３９】例えば，詳細情報をＷＷＷ（World Wide W
eb）のページに記述した場合，意味情報として，インデ
クスＩＤに対応するＵＲＬ（Uniform Resource Locato
r）をクライアントがダウンロードする。ダウンロード
の際にＵＲＬを各人ごとに変更することにより，各人に
対して異なった情報を映像に同期して提供できるように
なる。その結果，各クライアントで独立に映像の説明を
得ることができる。
【００４０】図５に示すように，大人用のＵＲＬと子供
用のＵＲＬをクライアントの要求に従い意味情報として
埋め込まれたＩＤに対応させた場合，インターネット上
でそれぞれ大人用関連情報ブラウジングや子供用関連情
報ブラウジングを行うサービスを提供できる。例えば，
歴史上の建造物（城や寺院）に関する映像をクライアン
トが受信しているときに，大人用として建造物の詳細な
説明やその時代の歴史的背景に関する情報を音声やテキ
ストで得られることが可能になったり，子供用としてア
ニメーションや音声によってわかりやすい解説をするこ
とも可能になる。
【００４１】また，映像に付与したインデクスＩＤを映
像の中身と対応する意味情報と結合させて，見たいシー
ンだけを表示させることもできる。例えば特願平１１−
２１４５８２号に示される「ライブ映像送受信システ
ム，ライブ映像送信装置および受信装置」で実現される
アプリケーション（ＬｉｖｅＷａｔｃｈ）を，意味情報
サーバ１０４からダウンロードすることも可能である。
このとき，野球の試合における進行情報，すなわち表裏
回数情報，ＳＢＯ（ストライクボールアウト）情報など
をインデクスＩＤとして時系列に沿って映像に埋め込ん
でおけば（例えば「ＩＤ＝１→１回の表」としてＩＤを
与える），ＬｉｖｅＷａｔｃｈアプリケーションを用い
ることで，クライアントでは試合進行を文字やグラフィ
ックスで表示することが可能となる。
【００４２】また，このインデクスＩＤとそれに対応す
る意味情報を利用してフレーム毎にクライアントユーザ
に見せるかどうかをアプリケーションで判断させて，ユ
ーザが見たいシーンを表示させることができる。このと
きに見たいシーンを表示する代わりに画面の点滅やアラ
ームでユーザに知らせることも可能で，ヒットやホーム
ラン等の見たいシーン，ハイライトシーンを見逃すこと
がなくなる。
【００４３】ユーザが上記のアプリケーションを利用し
た時，利用したという情報，すなわち利用状況をユーザ
クライアント１０３から課金サーバ１０７へアップロー
ドすることにより，課金することも可能である。利用状
況は即時にアップロードしてもよいし，ユーザクライア
ント１０３に蓄積しておき，番組視聴終了後，もしくは
契約により定める周期毎に課金サーバ１０７で回収して
もよい。この方法を利用すれば，アプリケーションの利
用時間や利用頻度に基づき課金することが可能になる。
【００４４】マルチアングルの切り替えに使う場合も同
様で，ユーザクライアント１０３が意味情報サーバ１０
４から切り替えアプリケーションをダウンロードしてお
き，インデクスＩＤに対応する意味情報に従ってライブ
中継を自動スイッチングしたり，あるいはクライアント
ユーザがスイッチングする際の指標を映像に合わせて文
字や画像で表示できるようになり，ユーザは，自分の嗜
好に応じた臨場感あふれる映像を楽しむことができるよ
うになる。
【００４５】図６は，ユーザクライアント１０３の処理
フローチャートである。ユーザクライアント１０３が意
味情報サーバ１０４から意味情報をダウンロードする契
機として，ユーザクライアント１０３において利用する
アプリケーションプログラムが決まった時点で静的にダ
ウンロードする場合と，映像配信サーバ１０２から受信
した映像ストリーム中のインデクスＩＤを解読するため
に動的にダウンロードする場合とがある。
【００４６】静的な意味情報のダウンロードの場合，ユ
ーザからの指示によりアプリケーションプログラムを選
択すると（ステップＳ１），意味情報サーバ１０４に選
択したアプリケーションプログラムのアプリケーション
名とユーザＩＤとを送信し，アプリケーションプログラ
ムに対応する意味情報をダウンロードする（ステップＳ
２）。ダウンロードした意味情報は，意味情報ＤＢ１２
１中に保持する。
【００４７】動的な意味情報のダウンロードの場合，ユ
ーザクライアント１０３は，映像配信サーバ１０２から
受信したインデクスＩＤ付き映像ストリームから，イン
デクスＩＤを抽出し（ステップＳ３），意味情報ＤＢ１
２１の意味情報テーブル中に，抽出したインデクスＩＤ
が登録されているかどうか，すなわちインデクスＩＤの
意味情報への変換ルールがあるかどうかを判定する（ス
テップＳ４）。該当するインデクスＩＤの変換ルールが
ある場合，ステップＳ６へ進む。意味情報テーブル中に
該当するインデクスＩＤの変換ルールがない場合，抽出
したインデクスＩＤ，アプリケーション名，ユーザＩＤ
をパラメータとして意味情報サーバ１０４に意味情報の
ダウンロードを依頼し，インデクスＩＤに対応する意味
情報をダウンロードする（ステップＳ５）。ダウンロー
ドした意味情報は，意味情報ＤＢ１２１中に保持する。
【００４８】ステップＳ６では，意味情報ＤＢ１２１を
参照してインデクスＩＤを意味情報へ変換し，意味情報
に関してユーザの操作に応じた処理を実行する（ステッ
プＳ７）。ユーザの操作があると，その操作に伴う利用
時間，利用アプリケーション名，ユーザＩＤを課金のた
めの情報として，課金サーバ１０７へ送信する（ステッ
プＳ８）。以上のステップＳ３〜Ｓ８を，映像ビットス
トリームの受信を終了するか，ユーザがアプリケーショ
ンの利用を終了するまで，繰り返す。
【００４９】図７は，意味情報サーバ１０４の処理フロ
ーチャートである。意味情報サーバ１０４は，ユーザク
ライアント１０３からの意味情報のダウンロード要求の
際に，アプリケーション名とユーザＩＤ，またはそれに
インデクスＩＤを加えた情報を受け取り，それらをパラ
メータとして意味情報ＤＢ１２２を参照し，該当する意
味情報を検索する（ステップＳ１０）。検索した意味情
報を含む意味情報テーブルを要求元のユーザクライアン
ト１０３へ送信する（ステップＳ１１）。その後，課金
サーバ１０７へ利用時間，利用アプリケーション名，ユ
ーザＩＤを内容とする課金のための利用情報を送信する
（ステップＳ１２）。意味情報サーバ１０４は，他にユ
ーザクライアント１０３からの要求により，埋め込まれ
たインデクスＩＤを用いるアプリケーションプログラム
のダウンロードや，埋め込まれたインデクスＩＤが暗号
化されている場合に，その暗号を解く暗号鍵のダウンロ
ードを処理することもできる。
【００５０】図８は，課金サーバ１０７の処理フローチ
ャートである。課金サーバ１０７は，意味情報サーバ１
０４またはユーザクライアント１０３から利用時間，利
用アプリケーション名，ユーザＩＤを内容とする課金情
報を受け取る。受け取った課金情報は，意味情報サーバ
１０４からのものであるか，ユーザクライアント１０３
からのものであるかを判定し（ステップＳ２０），意味
情報サーバ１０４からのものである場合には，図４に示
す課金情報テーブルの利用種別に設定する値を“ダウン
ロード”とする（ステップＳ２１）。ユーザクライアン
ト１０３からのものである場合には，利用種別に設定す
る値を“操作”とする（ステップＳ２２）。その後，課
金情報ＤＢ１２５の課金情報テーブルに情報を格納し蓄
積する（ステップＳ２３）。
【００５１】図９は，本発明を適用したストリーム送受
信システムの第２の実施の形態に係るシステム構成図で
ある。これは，デジタル放送での放送装置から受信装置
に放送されるビットストリームにインデクスＩＤを埋め
込んだ場合のシステム構成を示している。
【００５２】本システムは，映像インデクサ２０１と放
送装置２０２と受信装置２０３と意味情報サーバ２０４
と課金サーバ２０７，および通信回線２０５，ネットワ
ーク２０６，２０８，２０９から構成されている。通信
回線２０５は，放送装置２０２からの放送波を受信装置
２０３に送出する回線であり，有線でも無線でもどちら
でもよい。また，ネットワーク２０６，２０８，２０９
は例えばインターネットや電話網などであり，これらが
全て同じものであっても構わない。なお，この図におい
て，１個の受信装置２０３が通信回線２０５に接続され
ているように示したが，実際には複数の受信装置が通信
回線２０５に接続されている。
【００５３】映像インデクサ２０１は，映像入力器２１
１とインデクサ２１２とで構成されている。放送装置２
０２は，符号化器２１３と送信器２１４とで構成されて
いる。意味情報サーバ２０４は，意味情報データベース
（ＤＢ）２２２と情報送信器２２３とで構成されてい
る。また，受信装置２０３は，受信器２１５と復号化器
２１６と情報入力器２２０と意味情報データベース（Ｄ
Ｂ）２２１と意味結合器２１７と操作器２１９および表
示器２１８とで構成されている。課金サーバ２０７は，
情報受信器２２４と課金情報データベース（ＤＢ）２２
５とで構成されている。
【００５４】映像インデクサ２０１の映像入力器２１１
に，例えばビデオカメラで撮像した映像／音声や映像情
報データベースで生成された映像ストリームが入力さ
れ，入力された映像ストリームはインデクサ２１２にお
いて意味情報サーバ２０４の意味情報ＤＢ２２２に蓄え
られている意味情報に対応するインデクスＩＤが埋め込
まれる。このインデクスＩＤの埋め込みは，第１の実施
の形態の図２のイメージと同様なので，詳細な説明は省
略する。
【００５５】インデクスＩＤが埋め込まれた映像ストリ
ームは，放送装置２０２の符号化器２１３で符号化さ
れ，映像ストリームが送信器２１４を介して通信回線２
０５に送出される。
【００５６】通信回線２０５に接続された受信装置２０
３では，受信器２１５でインデクス付き映像ストリーム
を受信し，復号化器２１６で映像ストリームを復号し，
映像ストリームの中からインデクスＩＤを抽出し（電子
すかし技術を使って暗号化してある場合は所定の復元処
理をした後に抽出），抽出したインデクスＩＤを意味結
合器２１７に入力する。また，インデクスＩＤを除去し
た映像ストリームは表示器２１８に入力する。
【００５７】一方，意味情報サーバ２０４の意味情報Ｄ
Ｂ２２２のデータを情報送信器２２３を介して，受信装
置２０３の情報入力器２２０に取り込み，受信装置２０
３内の意味情報ＤＢ２２１にダウンロードする。なお，
この意味情報をダウンロードする際に，意味情報サーバ
２０４から課金サーバ２０７の情報受信器２２４へアク
セス情報を送信し，課金サーバの課金情報ＤＢ２２５が
アクセス履歴を管理することにより，受信装置２０３に
課金することが可能である。決済は，例えばインターネ
ットの電子決済システムや放送受信料契約等を利用した
料金の支払いにより行う。
【００５８】意味結合器２１７では，入力されたインデ
クスＩＤに対応する意味情報を意味情報ＤＢ２２１のデ
ータ情報を参照して解読し，解読した意味情報を表示器
２１８に映像と共に表示する。また，操作器２１９に入
力した意味情報を用いて，ユーザとのインタラクション
を行ったり，その結果を表示させることも可能である。
【００５９】上述したようなシステム構成となっている
ので，クライアントはただ映像を見るだけでなく，意味
情報と映像中のインデクスＩＤとを対応させてインタラ
クティブコンテンツとして利用できるようになる。その
結果，ユーザは，図５と同様の各種サービスを享受する
ことができるようになる。
【００６０】受信装置２０３，意味情報サーバ２０４，
課金サーバ２０７の処理内容については，第１の実施の
形態におけるユーザクライアント１０３，意味情報サー
バ１０４，課金サーバ１０７と同様であるので，処理フ
ローチャートを用いた説明は省略する。
【００６１】
【発明の効果】本発明によれば，サーバまたは放送装置
の入力となる映像インデクサでインデクスＩＤを映像ス
トリームに埋め込んで，クライアントまたは受信装置側
の全員に送る際に，そのインデクスのタイミングを共通
に送るため，サーバまたは放送装置側から送る情報を削
減できる。さらに，クライアントまたは受信装置側では
埋め込まれたインデクスＩＤをもとにインデクスの映像
における時間位置を把握できるのでインデクス情報と映
像の同期が取れ，高度な映像と情報のリンク処理を実現
できる。また，クライアントまたは受信装置側の各人が
求める意味情報をそれぞれインデクスに結合することに
より，それぞれが，独立に異なるインデクスの利用をで
きるようになる。さらに，インデクスＩＤを電子透かし
技術により暗号化して埋め込むことにより，クライアン
トや放送受信者の嗜好や要望の守秘性を確保できる。一
方，意味情報を提供する意味情報サーバからの意味情報
や利用アプリケーションや暗号鍵のクライアントまたは
受信装置へのダウンロード時に課金することが可能とな
り，また，アプリケーションプログラムのクライアント
または受信装置での利用時に課金することが可能とな
る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のシステム構成図で
ある。
【図２】本発明のインデクスＩＤを映像ストリームに埋
め込むイメージ図である。
【図３】意味情報ＤＢのテーブル構成例を示す図であ
る。
【図４】課金情報ＤＢのテーブル構成例を示す図であ
る。
【図５】本発明のインデクスＩＤを用いたサービスイメ
ージ図である。
【図６】ユーザクライアントの処理フローチャートであ
る。
【図７】意味情報サーバの処理フローチャートである。
【図８】課金サーバの処理フローチャートである。
【図９】本発明の第２の実施の形態のシステム構成図で
ある。
【符号の説明】
１０１ 映像インデクサ １０２ 映像配信サーバ １０３ ユーザクライアント １０４ 意味情報サーバ １０５，１０６，１０８，１０９ ネットワーク １０７ 課金サーバ １１１ 映像入力器 １１２ インデクサ １１３ 符号化器 １１４ 送信器 １１５ 受信器 １１６ 復号化器 １１７ 意味結合器 １１８ 表示器 １１９ 操作器 １２０ 情報入力器 １２１，１２２ 意味情報ＤＢ １２３ 情報送信器 １２４ 情報受信器 １２５ 課金情報ＤＢ ５１ 映像ストリーム ５２ インデクスＩＤ付き映像ストリーム ２０１ 映像インデクサ ２０２ 放送装置 ２０３ 受信装置 ２０４ 意味情報サーバ ２０５ 通信回線 ２０６，２０８，２０９ ネットワーク ２０７ 課金サーバ ２１１ 映像入力器 ２１２ インデクサ ２１３ 符号化器 ２１４ 送信器 ２１５ 受信器 ２１６ 復号化器 ２１７ 意味結合器 ２１８ 表示器 ２１９ 操作器 ２２０ 情報入力器 ２２１，２２２ 意味情報ＤＢ ２２３ 情報送信器 ２２４ 情報受信器 ２２５ 課金情報ＤＢ
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/167 (72)発明者 花籠 靖 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 湯口 徹 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 宮奥 健人 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 田浦 貴久 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 外村 佳伸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B075 ND12 ND36 NK10 NK21 NR16 PQ02 PQ05 5C063 AB03 AB07 AB09 AC01 AC05 AC10 CA11 CA23 CA36 DA07 DA13 DB09 DB10 5C064 BA01 BB01 BB10 BC04 BC06 BC16 BC20 BC23 BD04 BD08 BD09

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 インターネット放送を始めとするネット
    ワーク放送で，映像配信サーバからクライアントに提供
    される映像情報のビットストリームに，予め定められた
    意味情報に対応づけられたインデクスＩＤを埋め込んで
    おき，クライアントは，前記ビットストリームに埋め込
    まれたインデクスＩＤを抽出し，そのインデクスＩＤに
    対応する意味情報を解読し，解読した意味情報をもとに
    送信されてきたビットストリームに所定の情報リンク処
    理をすることを特徴とするストリームへの情報リンク方
    法。
  2. 【請求項２】 有線または無線のデジタル放送で，放送
    装置から受信装置に放送される映像情報のビットストリ
    ームに，予め定められた意味情報に対応づけられたイン
    デクスＩＤを埋め込んでおき，受信装置は，前記ビット
    ストリームに埋め込まれたインデクスＩＤを抽出し，そ
    のインデクスＩＤに対応する意味情報を解読し，解読し
    た意味情報をもとに送信されてきたビットストリームに
    所定の情報リンク処理をすることを特徴とするストリー
    ムへの情報リンク方法。
  3. 【請求項３】 前記埋め込まれたインデクスＩＤを用い
    て映像を説明する詳細情報を意味情報と結び付けること
    により，映像をハイパーメディアとして扱い，各クライ
    アントまたは受信装置毎に独立に情報表示，編集，検索
    または再利用処理を行うことを特徴とする請求項１また
    は請求項２記載のストリームへの情報リンク方法。
  4. 【請求項４】 前記埋め込まれたインデクスＩＤを映像
    の中身と対応する意味情報と結合させて，各クライアン
    トまたは受信装置に所望の映像を提供することを特徴と
    する請求項１または請求項２記載のストリームへの情報
    リンク方法。
  5. 【請求項５】 前記インデクスＩＤを電子透かし技術を
    用いて暗号化してビットストリームに埋め込むことを特
    徴とする請求項１から請求項４までのいずれかに記載の
    ストリームへの情報リンク方法。
  6. 【請求項６】 インターネット放送を始めとするネット
    ワーク放送で，映像情報のビットストリームに，予め定
    められた意味情報に対応づけられたインデクスＩＤを埋
    め込む映像インデクサと，前記ビットストリームを送信
    する映像配信サーバと，意味情報を提供する意味情報サ
    ーバと，前記ビットストリームを受信するクライアント
    と，前記映像配信サーバと前記クライアント，および前
    記意味情報サーバと前記クライアントとを接続するネッ
    トワークとからなるシステムであって，前記映像インデ
    クサは，ビットストリームを入力する映像入力手段と，
    入力したビットストリームに前記インデクスＩＤを埋め
    込むインデクサとを備え，前記映像配信サーバは，映像
    圧縮する符号化手段と，符号化されたビットストリーム
    をネットワークに送出する情報送信手段とを備え，前記
    意味情報サーバは，前記インデクスＩＤに結び付く意味
    情報を蓄える意味情報データベースと，意味情報をクラ
    イアントへネットワーク経由で送出する送信手段とを備
    え，前記クライアントは，ネットワークに送出された前
    記ビットストリームを受信する受信手段と，符号化され
    たビットストリームを復号化する復号化手段と，ビット
    ストリームを表示する表示手段と，前記意味情報サーバ
    から意味情報をダウンロードする情報入力手段と，復号
    化されたビットストリームから埋め込まれたインデクス
    ＩＤを抽出して前記ダウンロードした意味情報に基づき
    インデクスＩＤの意味を解読する意味結合手段と，解読
    結果をもとに前記表示手段を制御する操作手段とを備え
    ることを特徴とするストリーム送受信システム。
  7. 【請求項７】 有線または無線のデジタル放送で，映像
    情報のビットストリームに，予め定められた意味情報に
    対応づけられたインデクスＩＤを埋め込む映像インデク
    サと，前記ビットストリームを送信する放送装置と，前
    記ビットストリームを受信する受信装置と，意味情報を
    提供する意味情報サーバと，前記放送装置と前記受信装
    置とを有線または無線で接続する通信回線と，前記意味
    情報サーバと前記受信装置とを接続するネットワークと
    からなるシステムであって，前記映像インデクサは，ビ
    ットストリームを入力する映像入力手段と，入力したビ
    ットストリームに前記インデクスＩＤを埋め込むインデ
    クサとを備え，前記放送装置は，映像を符号化する符号
    化手段と，符号化されたビットストリームを通信回線に
    送出する送信手段とを備え，前記意味情報サーバは，前
    記インデクスＩＤに結び付く意味情報を蓄える意味情報
    データベースと，意味情報をクライアントへネットワー
    ク経由で送出する送信手段とを備え，前記受信装置は，
    通信回線に送出された前記ビットストリームを受信する
    受信手段と，ビットストリームを復号化する復号化手段
    と，ビットストリームを表示する表示手段と，前記意味
    情報サーバの意味情報データベースから意味情報をダウ
    ンロードする情報入力手段と，復号化されたビットスト
    リームから埋め込まれたインデクスＩＤを抽出して前記
    ダウンロードした意味情報に基づきインデクスＩＤの意
    味を解読する意味結合手段と，解読結果をもとに前記表
    示手段を制御する操作手段とを備えることを特徴とする
    ストリーム送受信システム。
  8. 【請求項８】 請求項６または請求項７に記載するスト
    リーム送受信システムにおいて，前記映像インデクサ
    は，インデクスＩＤを電子透かし技術を用いて暗号化し
    てビットストリームに埋め込むことを特徴とするストリ
    ーム送受信システム。
  9. 【請求項９】 請求項６または請求項７に記載するスト
    リーム送受信システムにおける意味情報サーバであっ
    て，前記埋め込まれたインデクスＩＤに結合させる意味
    情報を，ネットワーク経由で前記クライアントまたは前
    記受信装置にダウンロードさせる手段を持つことを特徴
    とする意味情報サーバ。
  10. 【請求項１０】 請求項６または請求項７に記載するス
    トリーム送受信システムにおける意味情報サーバであっ
    て，前記埋め込まれたインデクスＩＤを用いるアプリケ
    ーションプログラムを，ネットワーク経由で前記クライ
    アントまたは前記受信装置にダウンロードさせる手段を
    持つことを特徴とする意味情報サーバ。
  11. 【請求項１１】 請求項８に記載するストリーム送受信
    システムにおける意味情報サーバであって，前記暗号化
    され埋め込まれたインデクスＩＤの暗号を解く鍵を，ネ
    ットワーク経由で前記クライアントまたは前記受信装置
    にダウンロードさせる手段を持つことを特徴とする意味
    情報サーバ。
  12. 【請求項１２】 請求項９，請求項１０または請求項１
    １に記載する意味情報サーバから意味情報，アプリケー
    ションプログラムまたは暗号鍵をダウンロードさせる際
    に，ダウンロードを要求した前記クライアントまたは前
    記受信装置にに対して課金することを特徴とするストリ
    ーム送受信システムにおける課金方法。
  13. 【請求項１３】 請求項１０に記載する意味情報サーバ
    からダウンロードされたアプリケーションプログラム
    を，前記クライアントまたは前記受信装置が利用する際
    に，そのクライアントまたは受信装置に課金することを
    特徴とするストリーム送受信システムにおける課金方
    法。
JP2000141390A 2000-05-15 2000-05-15 ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法 Expired - Fee Related JP3723412B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000141390A JP3723412B2 (ja) 2000-05-15 2000-05-15 ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000141390A JP3723412B2 (ja) 2000-05-15 2000-05-15 ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法

Publications (2)

Publication Number Publication Date
JP2001326924A true JP2001326924A (ja) 2001-11-22
JP3723412B2 JP3723412B2 (ja) 2005-12-07

Family

ID=18648514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000141390A Expired - Fee Related JP3723412B2 (ja) 2000-05-15 2000-05-15 ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法

Country Status (1)

Country Link
JP (1) JP3723412B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003217057A (ja) * 2002-01-17 2003-07-31 Matsushita Electric Ind Co Ltd 宅内モニタリングシステム
JP2004534976A (ja) * 2000-11-17 2004-11-18 クゥアルコム・インコーポレイテッド 通信ネットワークにおいて消費されたサービスに対してインボイスを発行するのに使用される機構、方法、および製造物
US7486793B2 (en) 2002-02-15 2009-02-03 Nagracard S.A. Invoicing management method of a service transmitted per time unit
US7555195B2 (en) 2002-04-16 2009-06-30 Nippon Telegraph And Telephone Corporation Content combination reproducer, content combination reproduction method, program executing the method, and recording medium recording therein the program
JP2010510613A (ja) * 2006-11-17 2010-04-02 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 着脱可能媒体用のドライブ指示機構
WO2013179777A1 (ja) * 2012-05-31 2013-12-05 株式会社エヌ・ティ・ティ・ドコモ 通信端末装置、課金装置、及び情報配信システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534976A (ja) * 2000-11-17 2004-11-18 クゥアルコム・インコーポレイテッド 通信ネットワークにおいて消費されたサービスに対してインボイスを発行するのに使用される機構、方法、および製造物
JP2009010964A (ja) * 2000-11-17 2009-01-15 Qualcomm Inc 通信ネットワークにおいて消費されたサービスに対してインボイスを発行するのに使用される機構、方法、および製造物
JP2003217057A (ja) * 2002-01-17 2003-07-31 Matsushita Electric Ind Co Ltd 宅内モニタリングシステム
US7486793B2 (en) 2002-02-15 2009-02-03 Nagracard S.A. Invoicing management method of a service transmitted per time unit
US7555195B2 (en) 2002-04-16 2009-06-30 Nippon Telegraph And Telephone Corporation Content combination reproducer, content combination reproduction method, program executing the method, and recording medium recording therein the program
JP2010510613A (ja) * 2006-11-17 2010-04-02 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 着脱可能媒体用のドライブ指示機構
WO2013179777A1 (ja) * 2012-05-31 2013-12-05 株式会社エヌ・ティ・ティ・ドコモ 通信端末装置、課金装置、及び情報配信システム
JP2013250733A (ja) * 2012-05-31 2013-12-12 Ntt Docomo Inc 通信端末装置、課金装置、及び情報配信システム

Also Published As

Publication number Publication date
JP3723412B2 (ja) 2005-12-07

Similar Documents

Publication Publication Date Title
AU761408B2 (en) Verification apparatus, verification method, verification system, and storage medium
CN106210768B (zh) 用编解码器强制的帧大小进行音频分割
CN100387055C (zh) 接收装置及接收方法
EP2958321A1 (en) Method, device, and system for playing surveillance video
JP2003199078A (ja) イベントに関係した映像ストリームをイベントに居合わせている観客へ送信する伝送システム
EP1838102B1 (en) Communication terminal, system and method for implementing streaming media services
JP2001507533A (ja) オーディオビジュアル番組のインタラクティブ化
JP4156770B2 (ja) 通信装置およびその通信方法
WO2008024338A2 (en) Locally originated iptv programming
US8270402B2 (en) Process and device for securing the transmission, recording and viewing of digital audiovisual packetized streams
CN106817628A (zh) 一种网络直播平台
JP2005198313A (ja) ディジタルリアルタイム対話型番組システム
JP4323792B2 (ja) 電子番組表生成装置および電子番組表生成方法
CN101120333A (zh) 用于远程用户界面的系统和方法
KR100781624B1 (ko) 멀티미디어 컨텐츠와 관련된 데이터 구조체 생성 방법 및 분산형 데이터 처리 시스템 및 컴퓨터 판독 가능 기록 매체
CN108093300A (zh) 动画捕捉管理系统
TW201536046A (zh) 受保護的多媒體內容到終端的供應方法
KR100384757B1 (ko) 카메라와 화면 캡쳐를 이용한 인터넷 분산 방송 시스템 및방법
JP3723412B2 (ja) ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法
EP3316546B1 (en) Multimedia information live method and system, collecting device and standardization server
WO2006065005A1 (en) Participation in broadcast program by avatar and system which supports the participation
JP4072260B2 (ja) 情報処理装置、情報処理方法及びコンテンツ配信サーバ並びにその制御方法
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
JP2004295375A (ja) 情報転送装置、情報受信装置および処理プログラム。
JP2003143574A (ja) コンテンツ編集システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050817

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050915

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees