JP2002171235A - 放送文字情報配信システム、放送文字情報配信用サーバおよび放送文字情報配信方法 - Google Patents

放送文字情報配信システム、放送文字情報配信用サーバおよび放送文字情報配信方法

Info

Publication number
JP2002171235A
JP2002171235A JP2000365815A JP2000365815A JP2002171235A JP 2002171235 A JP2002171235 A JP 2002171235A JP 2000365815 A JP2000365815 A JP 2000365815A JP 2000365815 A JP2000365815 A JP 2000365815A JP 2002171235 A JP2002171235 A JP 2002171235A
Authority
JP
Japan
Prior art keywords
broadcast
text information
information distribution
distribution server
broadcast text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000365815A
Other languages
English (en)
Other versions
JP4326686B2 (ja
Inventor
Akio Ando
彰男 安藤
Shinichi Honma
真一 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2000365815A priority Critical patent/JP4326686B2/ja
Publication of JP2002171235A publication Critical patent/JP2002171235A/ja
Application granted granted Critical
Publication of JP4326686B2 publication Critical patent/JP4326686B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 放送文字情報をテレビ映像とは別個に取り扱
い可能とする。 【解決手段】 放送文字情報配信用サーバ100からパ
ーソナルコンピュータ300に文字情報をテレビ放送と
は別の通信系統で配信する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、放送番組の中の音
声を音声認識し、その音声認識結果。たとえば、字を放
送文字情報として配信する音声認識結果配信システム、
音声認識結果配信用サーバおよび音声認識結果配信方法
に関する。
【0002】
【従来の技術】従来、ニュース番組については、放送局
に設置した音声認識装置によって、放送文字情報を生成
し、また、非リアルタイム番組については、事前に字幕
原稿を作成して、上記放送文字情報や字幕原稿を文字多
重放送の形態で送信装置から受信装置に送信している。
受信装置側では、受信した文字多重放送に基き、映像と
字幕を表示している。
【0003】例として図1にNHK(日本放送協会)が
実施している音声認識を利用したニュース字幕放送の形
態を示す。図1において、放送音声(アナウンサーの
声)6は音声認識装置1により音声認識される。音声認
識結果が放送文字情報として文字多重放送用の信号に変
換されて、映像信号に文字多重放送エンコーダ7により
多重化される。文字多重放送エンコーダ7の出力が放送
電波8を介して送信される。
【0004】音声認識装置1は、音響モデル2、言語モ
デル・発音辞書4を使用して音声認識を行う。音響モデ
ルは音声を分析して得られる音響データと、音声の読み
(発音)とを互いに関連付けて記載した情報ファイルで
ある。このような音声認識装置としては特開平6−14
12240号公報が知られている。
【0005】言語モデル2、単語の出現の割合や単語間
のつながりの割合を単語に関連付けて記載した情報ファ
イルである。発音辞書は読みに対応する漢字(かな混じ
り漢字やひらがなの文字列を含む)を記載した情報ファ
イルである。発音辞書は漢字辞書や単語辞書とも呼ばれ
る。音響モデルは、アナウンサーの音声(信号)を記憶
したデータベース3の登録音声から作成される。言語モ
デルや発音辞書はニュース原稿5に基き作成される。
【0006】一方、受信側では文字多重デコーダ9によ
って、放送電波から文字多重放送の信号を取出して放送
文字情報およテレビ映像信号を再現する。放送文字情報
およびテレビ映像信号が字幕表示装置(たとえば、テレ
ビ受像機)で合成されて、表示される。
【0007】
【発明が解決しようとする課題】従来の字幕放送は、文
字多重放送を利用して実施されているが、放送文字情報
を文字データとして取出すことは容易ではない。また、
字幕表示装置10に表示される放送文字情報の文字の大
きさは、固定であり、ユーザが自由に変更することはで
きない。
【0008】そこで、本発明の目的は、字幕などの音声
に対応した放送文字情報を放送とは別個にユーザに提供
することができる放送文字情報配信システム、音声認識
結果配信用サーバおよび音声認識結果配信方法を提供す
ることにある。
【0009】
【課題を解決するための手段】このような目的を達成す
るために、請求項1の発明は、放送で使用される音声の
内容を示す放送文字情報を配信可能な放送文字情報配信
用サーバと、前記放送文字情報配信用サーバが提供する
放送文字情報を、放送とは別の通信系統で受信する情報
処理機器とを具えたことを特徴とする。
【0010】請求項2の発明は、請求項1に記載の放送
文字情報配信システムにおいて、前記放送文字情報配信
用サーバには音声認識装置が接続されており、前記音声
認識装置により前記音声を音声認識して放送文字情報を
作成することを特徴とする。
【0011】請求項3の発明は、放送で使用される音声
の内容を示す放送文字情報を配信可能な放送文字情報配
信用サーバにおいて、クライアントからの放送文字情報
の要求を受け付ける手段と、当該要求に応じて前記放送
文字情報を、放送とは別の通信系統で送信する送信手段
とを具えたことを特徴とする。
【0012】請求項4の発明は、請求項3に記載の放送
文字情報配信サーバにおいて、該放送文字情報配信用サ
ーバには音声認識装置が接続されており、前記音声認識
装置により前記音声を音声認識して放送文字情報を作成
することを特徴とする。
【0013】請求項5の発明は、放送で使用される音声
の内容を示す放送文字情報を放送文字情報配信サーバか
ら配信し、前記放送文字情報配信用サーバが提供する放
送文字情報を、放送とは別の通信系統で情報処理装置に
より受信することを特徴とする。
【0014】請求項6の発明は、請求項5に記載の放送
文字情報配信方法において、前記放送文字情報配信用サ
ーバには音声認識装置が接続されており、前記音声認識
装置により前記音声を音声認識して放送文字情報を作成
することを特徴とする。
【0015】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
【0016】放送番組の映像・音声信号は不図示の放送
の送信機に送られるだけでなく、リアルタイム番組の場
合には、音声信号が音声認識装置12に送られる。非リ
アルタイム番組の場合には、事前原稿13がパーソナル
コンピュータの文書処理機能により作成されて文字コー
ド情報の形態(いわゆる文字情報)に文字化される。音
声認識装置12の音声認識結果または事前原稿は文字コ
ード列の形態でLAN(広域ネットワーク)15および
インターネットやデータチャンネルを介してユーザのパ
ーソナルコンピュータに送られる。パーソナルコンピュ
ータ18は受信した音声認識結果を内部/または外部の
記憶装置20に記憶することができる。
【0017】また、必要に応じて、パーソナルコンピュ
ータ19のディスプレイ(文字表示装置)19や映像/
音声装置(テレビ等)17により受信した文字情報を表
示する。なお、リアルタイム放送の音声認識結果を表示
させる場合には、パーソナルコンピュータ18で、テレ
ビ等から受信したテレビ映像信号とインターネット等か
ら受信した文字情報を合成して放送文字情報として表示
することができる。テレビ映像信号は放送映像・音声1
1またはデータ放送16から得られる。なお、音声認識
装置は図1で示した音響モデル等を使用する音声認識装
置とすることができる。
【0018】より具体的なシステム構成を図3に示す。
図3において、放送文字情報配信用サーバ100および
音声認識装置101は放送局側に設置されている。音声
認識装置は、放送信号の中の音声信号を入力し、従来と
同様の音声認識処理を行い、文字コード形態の音声認識
結果を放送文字情報配信用サーバ100に出力する。
【0019】放送文字情報配信用サーバ100には市販
されているサーバ用の汎用コンピュータを使用すること
ができる。放送文字情報配信用サーバ100には、イン
ターネット等の通信ネットワーク201を介して通信を
行うための通信用プログラム、たとえば、WEBサーバ
と呼ばれる通信用プログラムと、ゲートウェイプログラ
ムを有する。
【0020】通信プログラムの機能としては、放送文字
情報配信用サーバ100内のハードディスクに保存され
ているHTML文書の中のユーザのパーソナルコンピュ
ータ300から指示されたHTML文書をパーソナルコ
ンピュータ300に送信する処理、パーソナルコンピュ
ータ300から送信された情報処理命令をゲートウェイ
プログラムに引き渡す処理を有する。通信プログラムも
市販のプログラムを使用することができる。
【0021】ゲートウェイプログラムは、ユーザのパー
ソナルコンピュータ300から送られた情報処理命令を
実行する。ゲートウェイプログラムも市販のプログラム
を使用することができるが、このプログラムにより実行
する文字情報の配信処理が新規特徴となる。
【0022】通信ネットワーク201は本実施形態で
は、インターネットを想定しているが、一般公衆電話回
線その他、通信を行うことができる有線、無線等の放送
電波とは異なる通信系統を使用することができる。
【0023】パーソナルコンピュータ300はユーザ側
あるいは放送局の支局などに配置される。パーソナルコ
ンピュータ300はクライアント(サーバと対となる用
語)として動作する。パーソナルコンピュータ300に
はブラウザと呼ばれ、情報配信用サーバ100上のHT
ML文書を読み出し、表示する通信プログラムと、放送
文字情報とテレビ映像信号を合成して表示する画像処理
用プログラムが搭載されている。
【0024】パーソナルコンピュータ300にはテレビ
受像機301が接続されており、パーソナルコンピュー
タ301は、テレビ受像機からテレビ映像信号を入力す
る。後述するが、放送文字情報配信用サーバ100から
配信された放送文字情報と、テレビ受像機301から入
力したテレビ映像信号がパーソナルコンピュータ300
で合成されてパーソナルコンピュータ300のディスプ
レイに表示される。
【0025】このようなシステム構成の動作を図4〜図
6を参照して説明する。図4は放送文字情報配信サーバ
100の動作手順を示す。図5はパーソナルコンピュー
タ300の動作手順を示す。図6はパーソナルコンピュ
ータ300のディスプレイの放送文字情報選択画面を示
す。
【0026】なお、放送文字情報配信用サーバ100が
提供する文字情報の配信サービスは会員制を採ってお
り、会員のユーザにはログイン用のユーザIDとパスワ
ードが予め割り当てられているものとする。
【0027】ユーザはパーソナルコンピュータ300に
搭載されいるブラウザを使用して、放送文字情報配信用
サーバ100にアクセスする。このアクセスに応じて、
放送文字情報配信用サーバ100は、ログイン用のユー
ザIDおよびパスワードを促すHTML文書をパーソナ
ルコンピュータ300に送信する。パーソナルコンピュ
ータ300は送信されたユーザID入力用のHTML文
書をディスプレイに表示してユーザによるユーザIDと
パスワードの入力を受け付ける。受け付けたユーザID
とパスワードがパーソナルコンピュータ300から放送
文字情報配信用サーバ100に送られる。
【0028】放送文字情報配信用サーバ100は、WE
Bサーバを介してゲートウェイプログラムに受信したユ
ーザIDとパスワードを引き渡す。ゲートウェイプログ
ラムにより内部ハードディスクに登録されているユーザ
IDおよびパスワードと、受信したユーザIDとパスワ
ードによる個人認証が行われる。ユーザIDおよびパス
ワードが一致した場合に、パーソナルコンピュータ30
0の放送文字情報配信用サーバ100に対するログイン
が許可される(図4のステップS10,図5のステップ
S100)。
【0029】これによりHTML文書の先頭ページが放
送文字情報配信用サーバ100から、パーソナルコンピ
ュータ300に送られる。パーソナルコンピュータ30
0は、受信したHTML文書をブラウザにより図6に示
すようにディスプレイに表示する。
【0030】図6において、200は放送文字情報の種
類を示す案内情報であり、たとえば、リアルタイムで放
送文字情報を提供する場合、テレビチャンネルを示す文
字列、非リアルタイムで放送文字情報を提供する場合に
は、テレビ番組名を示す文字列が案内情報として使用さ
れる。
【0031】201は、放送文字情報の送信を指示する
ボタンスイッチであり、ユーザがマウスを操作して、こ
のスイッチを操作すると、操作されたボタンスイッチに
対応する放送文字情報の送信指示命令がパーソナルコン
ピュータ300から放送文字情報配信用サーバ100に
送られる。
【0032】放送文字情報配信用サーバ100のWEB
サーバがこの送信指示命令を受け取ると、ゲートウェイ
プログラムに送信指示命令を引き渡す。ゲートウェイプ
ログラムは、引き渡された送信指示命令の示す種類の放
送文字情報(パーソナルコンピュータ300側で選択さ
れた放送文字情報)を、取り出して、WEBサーバを介
してパーソナルコンピュータに送信する(図4のステッ
プS20→S30)。
【0033】ユーザにより選択された放送文字情報が、
リアルタイムでの放送文字情報、たとえば、現在放送さ
れているニュース番組の字幕情報の場合は、ニュース番
組放送の音声用の音声認識装置101からアナウンサー
の音声の音声認識結果を入力し、パーソナルコンピュー
タ300に送信する。
【0034】一方、非リアルタイムの放送文字情報の送
信が指示された場合には、ゲートウェイプログラムは、
放送文字情報配信用サーバ100内のハードディスクに
保存されている指示された放送文字情報、たとえば、ニ
ュース番組のアナウンサーの放送用原稿をユーザのパー
ソナルコンピュータ300に送信する(図4のステップ
S40)。
【0035】リアルタイムの放送文字情報を図5のステ
ップS120で受け取ったパーソナルコンピュータ30
0は、テレビ受像機301から所望のテレビ映像信号を
入力し、画像処理用プログラムにより、受信した放送文
字情報とテレビ映像信号を合成する。より具体的には、
文字コード形態の放送文字情報を、文字コードに対応す
る文字のイメージに変換した後、文字のイメージをテレ
ビ映像信号中に合成する。この合成処理はパーソナルコ
ンピュータ上のビデオメモリ上で行われる。
【0036】ビデオメモリ上で合成された映像信号がパ
ーソナルコンピュータ300のディスプレイに表示され
る(図5のステップS130→S140)。
【0037】一方、非リアルタイムの放送文字情報をク
ライアント300が受信した場合には、テレビ映像に変
わり、予めパーソナルコンピュータ300内に用意して
いる静止画イメージ、あるいは放送文字情報配信用サー
バ100から受信した静止画イメージと、受信した放送
文字情報を合成して、合成イメージをディスプレイに表
示させる(図5のステップS130→S140)。
【0038】以下、パーソナルコンピュータ300のユ
ーザが終了を指示するまで、放送文字情報配信用サーバ
100は図4のステップ30〜S40の処理を繰り返し
て放送文字情報を送信する。クライアント300は図5
のステップ120〜S150の処理を繰り返す。
【0039】これにより、ユーザは、現在放送されてい
るテレビ放送とその放送文字情報や過去に放送されたテ
レビ放送の放送文字情報をディスプレイで目視で見るこ
とができる。
【0040】上述の実施形態の外に次の形態を実施する
ことができる。
【0041】1)上述の実施形態ではテレビ映像に放送
文字情報を字幕情報として合成する例であったが、放送
文字情報を文書としてパーソナルコンピュータ300で
受信することができる。この場合は、図6の表示画面の
中に、単に文書としての放送文字情報を案内する。ボタ
ンスイッチ201により文書としての放送文字情報がユ
ーザにより選択された場合、放送文字情報配信用サーバ
100から送られる放送文字情報をパーソナルコンピュ
ータ300により内部のハードディスクに保存する。
【0042】このような情報処理をHTML文書に定義
しておくことにより、ユーザは、字幕情報付テレビ映像
を見ることができるだけでなく、ハードディスクに記憶
された文字情報を、ワープロソフトなどにより文字の大
きさを変換して、ディスプレイに表示させることができ
る。
【0043】2)上述の実施形態では専用の音声認識装
置101を番組/または放送チャンネルごとに用意して
いるが、音声認識装置をパーソナルコンピュータに搭載
された音声認識プログラムにより実現してもよい。
【0044】3)上述の実施形態では、放送文字情報を
受信する情報処理機器としてパーソナルコンピュータを
説明したが、通信機能を有する他の情報処理機器、たと
えば、携帯電話、携帯用情報端末、テレビ受像機、サー
バ等各種の情報処理機器を使用することができる。
【0045】
【発明の効果】以上、説明したように、本発明によれ
ば、たとえば、テレビ放送電波とは別のインタネットな
どの通信系統により字幕などの放送文字情報を提供でき
るので、放送文字情報を受信する情報処理機器では、放
送文字情報をテレビ映像と合成したり、放送文字情報を
単独で表示し、また、放送文字情報の事態をワープロソ
フトにより変更することも可能となる。また、情報処理
機器として携帯電話を使用すると、任意の場所で、リア
ルタイムで放送されているニュースを文字の形態の文字
情報で知ることができる。
【図面の簡単な説明】
【図1】従来例の字幕配信方法を示すブロック図であ
る。
【図2】本発明実施形態の放送文字情報配信方法を示す
ブロック図である。
【図3】本発明実施形態の具体的なシステム構成を示す
ブロック図である。
【図4】放送文字情報配信用サーバの動作手順を示すフ
ローチャートである。
【図5】放送文字情報を受け取るパーソナルコンピュー
タの動作手順を示すフローチャートである。
【図6】表示画面の一例を示す説明図である。
【符号の説明】
100 情報配信用サーバ 101 音声認識装置 200 通信ネットワーク 300 パーソナルコンピュータ 301 テレビ受像機
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/03 7/035

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 放送で使用される音声の内容を示す放送
    文字情報を配信可能な放送文字情報配信用サーバと、 前記放送文字情報配信用サーバが提供する放送文字情報
    を、放送とは別の通信系統で受信する情報処理機器とを
    具えたことを特徴とする放送文字情報配信システム。
  2. 【請求項2】 請求項1に記載の放送文字情報配信シス
    テムにおいて、前記放送文字情報配信用サーバには音声
    認識装置が接続されており、前記音声認識装置により前
    記音声を音声認識して放送文字情報を作成することを特
    徴とする放送文字情報配信システム。
  3. 【請求項3】 放送で使用される音声の内容を示す放送
    文字情報を配信可能な放送文字情報配信用サーバにおい
    て、 クライアントからの放送文字情報の要求を受け付ける手
    段と、 当該要求に応じて前記放送文字情報を、放送とは別の通
    信系統で送信する送信手段とを具えたことを特徴とする
    放送文字情報配信サーバ。
  4. 【請求項4】 請求項3に記載の放送文字情報配信サー
    バにおいて、該放送文字情報配信用サーバには音声認識
    装置が接続されており、前記音声認識装置により前記音
    声を音声認識して放送文字情報を作成することを特徴と
    する放送文字情報配信サーバ。
  5. 【請求項5】 放送で使用される音声の内容を示す放送
    文字情報を放送文字情報配信サーバから配信し、 前記放送文字情報配信用サーバが提供する放送文字情報
    を、放送とは別の通信系統で情報処理装置により受信す
    ることを特徴とする放送文字情報配信方法。
  6. 【請求項6】 請求項5に記載の放送文字情報配信方法
    において、前記放送文字情報配信用サーバには音声認識
    装置が接続されており、前記音声認識装置により前記音
    声を音声認識して放送文字情報を作成することを特徴と
    する放送文字情報配信方法。
JP2000365815A 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法 Expired - Fee Related JP4326686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000365815A JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000365815A JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Publications (2)

Publication Number Publication Date
JP2002171235A true JP2002171235A (ja) 2002-06-14
JP4326686B2 JP4326686B2 (ja) 2009-09-09

Family

ID=18836524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000365815A Expired - Fee Related JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Country Status (1)

Country Link
JP (1) JP4326686B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007202065A (ja) * 2006-01-30 2007-08-09 Daikin Ind Ltd 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP2016111530A (ja) * 2014-12-08 2016-06-20 関西テレビ放送株式会社 字幕送出装置及びその制御プログラム、並びに字幕配信システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007202065A (ja) * 2006-01-30 2007-08-09 Daikin Ind Ltd 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP4544166B2 (ja) * 2006-01-30 2010-09-15 ダイキン工業株式会社 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP2016111530A (ja) * 2014-12-08 2016-06-20 関西テレビ放送株式会社 字幕送出装置及びその制御プログラム、並びに字幕配信システム

Also Published As

Publication number Publication date
JP4326686B2 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
US6559866B2 (en) System and method for providing foreign language support for a remote control device
US6285407B1 (en) Multi-function TV receiver
KR100727072B1 (ko) 방송 컨텐츠 정보 제공 방법 및 시스템
JPH09162818A (ja) テレビジョン放送装置、テレビジョン放送方法、テレビジョン信号受信装置、テレビジョン信号受信方法、遠隔制御装置および遠隔制御方法
JP2000188727A (ja) テレビジョン放送受信装置およびテレビジョン放送受信方法
JP4792247B2 (ja) コンテンツ視聴システム及びコンテンツの視聴方法
KR100844056B1 (ko) 표시 회답 시스템, 프로그램 표시 장치 및 프로그램 표시프로그램을 저장한 기록 매체
JP2003209525A (ja) デジタル放送送受信システム
KR20070097280A (ko) 표시 회답 시스템, 프로그램 표시 장치 및 프로그램 표시프로그램을 저장한 기록 매체
JP4159043B2 (ja) テレビジョン放送システム
JP2001022374A (ja) 電子番組ガイドの操作装置および電子番組ガイドの送信装置
JPH0946651A (ja) インタラクティブ文字多重放送システム
KR101379760B1 (ko) 저장된 사용자 정보 제공방법 및 이를 적용한 방송수신장치
JP4326686B2 (ja) 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法
KR100425668B1 (ko) 데이터방송의 데이터컨텐츠 전송장치 및 그 방법
JPH08205101A (ja) 文字放送受信装置
JP6760667B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2002271769A (ja) インターネットによる講演会のビデオ配信システム
JPH10322617A (ja) 映像音響機器
KR101695020B1 (ko) 커뮤니티 서비스 제공 방법 및 장치
JPH11250068A (ja) 情報処理装置および方法、並びに記録媒体
JP2977855B2 (ja) 文字放送システム
JP2009071579A (ja) 放送受信装置
KR100823778B1 (ko) 수신 장치
JPH09107530A (ja) Isdb用送信装置およびその受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071016

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140619

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees