JP2007249907A - 知識メタデータ生成装置及び知識メタデータ生成プログラム - Google Patents

知識メタデータ生成装置及び知識メタデータ生成プログラム Download PDF

Info

Publication number
JP2007249907A
JP2007249907A JP2006076248A JP2006076248A JP2007249907A JP 2007249907 A JP2007249907 A JP 2007249907A JP 2006076248 A JP2006076248 A JP 2006076248A JP 2006076248 A JP2006076248 A JP 2006076248A JP 2007249907 A JP2007249907 A JP 2007249907A
Authority
JP
Japan
Prior art keywords
knowledge metadata
information
knowledge
metadata generation
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006076248A
Other languages
English (en)
Other versions
JP4709671B2 (ja
Inventor
Masaru Miyazaki
勝 宮崎
Noriyoshi Uratani
則好 浦谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2006076248A priority Critical patent/JP4709671B2/ja
Publication of JP2007249907A publication Critical patent/JP2007249907A/ja
Application granted granted Critical
Publication of JP4709671B2 publication Critical patent/JP4709671B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】高精度な知識メタデータを生成する。
【解決手段】ユーザに提供するコンテンツに関連した知識メタデータを生成する知識メタデータ生成装置において、前記コンテンツに関連した情報リソースと、予め蓄積された前記情報リソースに関連した分野のオントロジーとに基づいて、前記知識メタデータを生成する知識メタデータ生成手段と、前記知識メタデータ生成手段により得られる知識メタデータを蓄積する蓄積手段とを有することにより、上記課題を解決する。
【選択図】図1

Description

本発明は、知識メタデータ生成装置及び知識メタデータ生成プログラムに係り、特に高精度な知識メタデータを生成するための知識メタデータ生成装置及び知識メタデータ生成プログラムに関する。
近年、膨大な情報の中から目的の情報を取り出す技術の重要性が高まっている。特に、ユーザがシステムに対して質問を直接行い、システムがその質問に対する回答を生成する機能(いわゆるQ&A機能)に関しては、情報機器の扱いに慣れていないユーザに対しても有益な情報を与えることができるという点から期待が集まっている。
ここで、上述のQ&A機能の実現に際しては、WWW(World Wide Web)や新聞記事のような大規模テキストコーパスからユーザの質問に対する回答を検索する手法が一般的である。例えば、インターネット上のテキストデータや新聞社が提供している記事データといった膨大な情報リソースを利用することで、質問応答可能な分野を限定しないQ&A機能を提供することができる。
しかしながら、例えばWWW等の大規模テキストコーパスを利用したQ&A機能では、情報の信頼性が保証されていないため、正しい回答が得られない可能性がある。そこで、従来では、回答を示すと同時にその根拠文書(質問への回答を抽出した抽出源の文書)に含まれる情報を考慮した提示を行うシステムが存在する(例えば、特許文献1参照。)。
また、正しい情報を伝えることをその使命としている放送局等のコンテンツプロバイダにとって、上述した回答手法を用いることは望ましい手法とはいえない。そこで、信頼性の高い(プロバイダが内容を保証できる)情報を予めデータベースに蓄積しておき、質問応答に利用する手法が考えられる。なお、この手法は、回答可能な分野が限られてしまうものの、信頼できる情報を的確に伝えるという点では効果的である。
また、上述したようにデータベースから情報を抽出する場合、ユーザは予めデータベースの構造等について知っておく必要がある。しかしながら、様々な情報を蓄積した種類の異なる全てのデータベースについて、その構造等をユーザが事前に把握することは一般的に不可能である。そこで、データベースの構造等を深く理解しなくても情報の問い合わせを行う手法が提案されている(例えば、特許文献2参照。)。
特開2005−25418号公報 特開2005−165958号公報
しかしながら、上述した従来手法である特許文献1では、回答を得たユーザは、根拠文書に含まれる情報群に対して、その信頼性を自己判断しなければならない。
また、特許文献2では、セマンティックウェブ技術を用いて、入力された自然言語文に対してオントロジー記述言語で記述された照会文を生成し、情報の意味を利用した検索を可能にしている。しかしながら、実際の情報は、単純なフレーム表現であり、複雑な構造化を行っていないため高精度な知識データを取得することができない。また、特許文献2には、メタデータをどのように生成すればよいかという点にも触れられていない。
本発明は、上述した問題点に鑑みなされたものであり、高精度な知識メタデータを生成するための知識メタデータ生成装置及び知識メタデータ生成プログラムを提供することを目的とする。
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
請求項1に記載された発明は、ユーザに提供するコンテンツに関連した知識メタデータを生成する知識メタデータ生成装置において、前記コンテンツに関連した情報リソースと、予め蓄積された前記情報リソースに関連した分野のオントロジーとに基づいて、前記知識メタデータを生成する知識メタデータ生成手段と、前記知識メタデータ生成手段により得られる知識メタデータを蓄積する蓄積手段とを有することを特徴とする。
請求項1記載の発明によれば、高精度な知識メタデータを生成することができる。つまり、コンテンツに関連した分野のオントロジーを用いて情報を事前に知識構造化し、知識メタデータとしてデータベース等に蓄積することができる。
請求項2に記載された発明は、前記ユーザからの入力情報から問い合わせ情報を抽出する情報抽出手段と、前記情報抽出手段により得られる問い合わせ情報に基づいて、前記知識メタデータを検索する検索手段とを有することを特徴とする。
請求項2記載の発明によれば、オントロジーを用いてユーザからの質問を想定して生成された知識メタデータを検索することで、ユーザの要求に直接含まれない概念等に関しても検索が可能となる。また、様々な概念関係を定義したオントロジーを利用することで、人間の感覚に合った柔軟な回答を抽出することができる。
請求項3に記載された発明は、前記知識メタデータ生成手段は、前記情報リソースとして得られる数値データ及び/又は構造化データから、前記コンテンツ内で発生するイベント間の包含関係、上位下位関係、及び因果関係のうち、少なくとも1つが付加された知識メタデータを生成することを特徴とする。
請求項3記載の発明によれば、コンテンツ内で発生するイベント間の関係を用いることで、より詳細な知識メタデータを生成することができる。
請求項4に記載された発明は、前記知識メタデータ生成手段は、前記情報リソースとして得られる前記コンテンツに関連した主語述語関係又は依存関係がタグ付けされた構造化テキストデータから、前記コンテンツに関連した知識メタデータを生成することを特徴とする。
請求項4記載の発明によれば、コンテンツに関連した主語述語関係又は依存関係がタグ付けされた構造化テキストデータを用いることで、より詳細な知識メタデータを生成することができる。
請求項5に記載された発明は、ユーザに提供するコンテンツに関連した知識メタデータを生成する処理をコンピュータに実行させるための知識メタデータ生成プログラムにおいて、前記コンテンツに関連した情報リソースと、予め蓄積された前記情報リソースに関連した分野のオントロジーとに基づいて、前記知識メタデータを生成する知識メタデータ生成処理と、前記知識メタデータ生成処理により得られる知識メタデータを蓄積する蓄積処理とをコンピュータに実行させる。
請求項5記載の発明によれば、高精度な知識メタデータを生成することができる。つまり、コンテンツに関連した分野のオントロジーを用いて情報を事前に知識構造化し、知識メタデータとしてデータベース等に蓄積することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に知識メタデータ生成を実現することができる。
請求項6に記載された発明は、前記ユーザからの入力情報を取得する入力情報取得処理と、前記入力情報から問い合わせ情報を抽出する情報抽出処理と、前記問い合わせ情報に基づいて前記知識メタデータを検索し、問い合わせに対応する回答データを抽出する抽出処理とを有することを特徴とする。
請求項6記載の発明によれば、オントロジーを用いてユーザからの質問を想定して生成された知識メタデータを検索することで、ユーザの要求に直接含まれない概念等に関しても検索が可能となる。また、様々な概念関係を定義したオントロジーを利用することで、人間の感覚に合った柔軟な回答を抽出することができる。
本発明によれば、高精度な知識メタデータの生成を実現することができる。
<本発明の特徴>
本発明は、人間の感覚に合った概念間の関係(オントロジー)を利用することで様々な情報を構造化された知識メタデータとして表現する。この知識メタデータは、元の情報に対してユーザ(視聴者等)からの質問(問い合わせ)を想定した様々な概念関係が付加されており、それらの関係を利用することによりデータベース等の構造等を知ることなく、そこから柔軟に情報を抽出する問い合わせ処理が実現可能となる。
また、知識メタデータは、信頼性の高い各種の情報リソースから、その情報リソースの関連分野のオントロジー(概念間の関係の明確な定義の集まり)を用い、構造化知識データを生成する。なお、知識メタデータには、オントロジーを用いてユーザの質問を想定した概念関係も含まれる。
<実施の形態>
次に、上述した特徴を有する本発明における知識メタデータ生成装置及び知識メタデータ生成プログラムを好適に実施した形態について、図面を用いて説明する。
図1は、本発明における知識メタデータ生成システムの概要構成の一例を示す図である。図1に示す知識メタデータ生成システム10は、知識メタデータ生成装置11と、情報リソース提供装置12−1〜12−nとを有するよう構成されている。また、知識メタデータ生成装置11と情報リソース提供装置12とは、インターネット等の通信ネットワーク13を介してデータの送受信が可能な状態で接続されている。なお、通信ネットワーク13は、有線でも無線でもよい。
知識メタデータ生成装置11は、予め装置内部又は外部に蓄積された1又は複数のオントロジーから所定のオントロジーを利用して、コンテンツに関連した数値データ、構造化データ、テキストデータ等の情報リソースから知識メタデータを生成する。なお、知識メタデータ生成装置11は、上述した情報リソースを通信ネットワーク13等に接続された情報リソース提供装置12−1〜12−n等から取得する。また、知識メタデータ生成装置11は、知識メタデータを生成する場合に、例えば主語述語関係、依存関係等がタグ付けされた所定のコンテンツに関連した構造化テキストデータ等から、そのコンテンツ内容に関連した知識メタデータを自動的又は半自動的(例えば、一部に人手作業を含む等)に生成する。
更に、知識メタデータ生成装置11は、コンテンツをユーザに提供するための表示出力機能等を有してもよく、その場合にはユーザが視聴中あるいは視聴後のコンテンツに関して何らかの質問等の要求があった場合に、生成した複数の知識メタデータの中から適切な回答を抽出してユーザに提供することができる。なお、ユーザからの要求としては、例えば所定のフォーマット等で記述された問い合わせ情報、あるいは自然言語文により与えられるユーザの質問文から抽出される問い合わせ情報等がある。
情報リソース提供装置12−1〜12−nは、コンテンツに関する情報リソースを蓄積する。また、情報リソース提供装置12−1〜12−nは、通信ネットワーク13を介して知識メタデータ生成装置11にその情報リソースを提供する。なお、情報リソース提供装置12における情報リソースの提供手法は、例えば情報リソース提供装置12が知識メタデータ生成装置11からの取得要求を受信したときに提供してもよく、また情報リソース提供装置12が情報リソースの更新等の所定のタイミングで提供してもよい。
なお、情報リソース提供装置12に蓄積される情報リソースは、例えばサービスプロバイダやデータ配信会社、新聞社、放送局等により提供される信頼性の高い情報リソースであり、各情報リソースが情報リソース提供装置12−1〜12−nの何れかに蓄積されている。なお、本発明において提供されるリソース情報提供会社は、これに限定されるものではない。
<知識メタデータ生成装置11>
次に、知識メタデータ生成装置11について、図を用いて具体的に説明する。図2は、知識メタデータ生成装置の機能構成の一例を示す図である。図2に示す知識メタデータ生成装置11は、入力手段21と、出力手段22と、送受信手段23と、蓄積手段24と、知識メタデータ生成手段25と、情報抽出手段26と、検索手段27と、制御手段28とを有するよう構成されている。
入力手段21は、ユーザからのコンテンツの出力開始/終了指示や、コンテンツに関する問い合わせ等の入力を受け付ける。なお、入力手段21は、例えばキーボードやマウス等のポインティングデバイス、マイク等の音声入力インターフェース等からなる。
また、出力手段22は、入力手段21により入力された指示内容や、指示内容に基づいて再生されたコンテンツ、問い合わせ情報に対する回答を表示及び/又は音声にて出力する。なお、出力手段22は、ディスプレイやスピーカ等からなる。
送受信手段23は、通信ネットワーク13を介してコンテンツを取得するための通信インターフェースである。また、送受信手段23は、通信ネットワーク13を介して上述した情報リソース提供装置12−1〜12−nから知識ベースの元になる情報リソースを取得する。また、送受信手段23は、通信ネットワーク13に接続された外部装置(図示せず)からオントロジーを取得したり、生成した知識ベースを他の端末に提供することもできる。
蓄積手段24は、送受信手段23により取得した情報リソース31や、予め設定される分野に関連したオントロジー32、そのオントロジー32を利用して生成された知識メタデータ群である知識ベース(知識データベース)33を蓄積する。なお、蓄積手段24は、ユーザに出力するコンテンツを蓄積することもできる。
また、蓄積手段24に蓄積された各種データは、必要に応じて読み出すことができ、またデータを書き込むこともできる。更に、蓄積手段24は、蓄積された各種データの情報を検索することができるように体系的に構成される。
知識メタデータ生成手段25は、情報リソース31に基づいて、オントロジー32を用いて少なくとも1以上の知識メタデータからなる知識ベース33を生成する。なお、知識メタデータ生成手段25は、ユーザに提供するコンテンツに対応する情報リソースを取得でき次第、迅速に知識ベース33を生成する。このとき、知識メタデータ生成手段25は、送受信手段23により通信ネットワーク13を介して接続される情報リソース提供装置12に所定のコンテンツに対応する情報リソースの取得要求を送信して、所定の情報リソースを取得してもよい。これにより、ユーザからの問い合わせについても迅速に対応することができる。なお、知識メタデータ生成手段25におけるオントロジーの生成例については後述する。
また、情報抽出手段26は、入力手段21により入力される文字列又は音声等の入力情報から問い合わせ情報に該当する部分を抽出する。なお、情報抽出手段26における情報抽出手法としては、例えば、文字列から予め設定された検索に用いられる単語を抽出したり、係り受け解析等の従来の言語処理システムにより問い合わせ情報を抽出する。
また、検索手段27は、情報抽出手段26により抽出された内容に基づいて、蓄積手段24に蓄積された知識ベース33を検索し、抽出された内容から回答データを生成して出力手段22を介してユーザに提示する。なお、検索手段27における知識メタデータからの情報(回答)抽出手法については後述する。
また、制御手段28は、知識データ処理装置11における各機能構成全体の制御を行う。具体的には、制御手段28は、入力手段21により入力されたユーザからの入力情報を契機として、情報抽出手段26により入力情報から問い合わせ情報を抽出させ、検索手段27により知識ベース33から対応する回答を抽出させ、出力手段22により回答データやコンテンツ等を出力させる等の制御を行う。
ここで、上述した知識メタデータ生成装置11においては、蓄積手段24に蓄積される各種データを通信ネットワーク13に接続される外部装置(図示せず)、あるいは情報リソース提供装置12が有する蓄積手段に蓄積させ、必要に応じてアクセスし、所定のデータを取得したり、また各種データを蓄積してもよい。
<知識メタデータについて>
ここで、本発明における知識メタデータについて説明する。知識メタデータは、各種の情報リソース(例えば、数値データ、XML等の構造化データ、通常のテキストデータ等)から関連分野のオントロジーを用いて生成される構造化知識データである。情報リソースを信頼できるものに限定することにより、正確で信頼性の高い知識メタデータを生成することが可能となる。
知識メタデータの生成時には、予め準備されたある分野に関するオントロジーの語彙を用い、ユーザの質問を想定した概念関係の追加が行われる。これにより、ユーザの質問に直接含まれない概念に関する情報検索や、その分野に関する一般的常識を利用した情報検索が可能となる。
また、本発明における情報検索の実現には、例えばセマンティックウェブ関連技術であるオントロジー記述言語OWL(Ontology Web Language)、知識ベース問い合わせ言語RDQL(RDF Data Query Language)、及び各種セマンティックウェブ関連ツール等を用いて実現することができる。
<実施例1>
次に、知識メタデータ生成装置11の具体的な実施例について説明する。図3は、実施例1における知識メタデータ生成装置の概要例を示す図である。ここで、本発明における知識メタデータ生成装置11は、情報プロバイダ(情報リソース)のサーバやインターネットの公開サーバ、ユーザの家庭にあるPC端末内、もしくはTV受信機内に実装することが可能である。図3に示す実施例1では、TV受信機41内に実装した場合のシステム構成例を示している。
視聴者(ユーザ)の家庭にあるTV受信機41内の知識メタデータ生成装置11には、知識メタデータ(kmd)を蓄積するための知識ベース(kb)及び番組コンテンツに関連した知識を蓄積したオントロジー(ont)が備えられている。知識メタデータ生成装置11は、外部のデータ配信会社や新聞社等といった信頼性の高い少なくとも1つのコンテンツプロバイダ等から、データd(数値データ、XML等の構造化データ等)及びデータa(テキストデータ等)等の信頼できる情報リソースを取得し、オントロジー(ont)が提供するスキーマ(s)の形式に合わせて知識メタデータに変換する。なお、スキーマ(s)とは、情報を構造化する際の記述の仕方を定義したテンプレートのようなものである。
また、上述した変換処理は、解析処理が必要な種類のデータに対しては人手等により半自動で行ってもよいが、データの種類によっては自動で行うことも可能である。生成された知識メタデータ(kmd)は、知識ベース(kb)に蓄積される。ユーザは、専用の問い合わせ言語や自然言語文を用いて知識ベースから情報を抽出することが可能である。以下、野球を例としたオントロジーの例、知識メタデータ記述例、知識メタデータからの情報抽出例について説明する。
<オントロジーの例>
図4は、知識メタデータを生成する際のスキーマを提供するオントロジーの一例を示す図である。図4は、野球に関する概念を記述したオントロジーの一部を示している。つまり、図4では、人間が持っている野球の試合に関する一般的な知識を構造化したものである。
ここで、野球に関する複数の概念を構造化するために「投球」、「ヒット」、「三振」といったイベントを概念(クラス)として表現し、クラスの「上位−下位構造(例えば、is_a等)」や「部分−全体構造(例えば、hasEvent,isEventOf等)」、「原因−結果構造(例えば、causedBy,cause等)」等を関係(プロパティ)として定義している。
このようなグラフ構造は、OWL等のオントロジー言語によって記述することができる。また、実際の試合状況を表す知識メタデータは、これらのクラスのインスタンスとして記述される。
<知識メタデータの記述例>
図5は、図4に示した野球オントロジーを用いて記述した知識メタデータの一例を示す図である。図5に示す例では、野球の試合における、「カーブボールを打ってランナー2塁」という状況を記述した知識メタデータである。ここで、図5(a)はOWLによる知識メタデータ記述例を示し、図5(b)はそのグラフ構造を示している。
図5では、ある試合のあるイニング(inning02102)において、ある打席(atBat0210206)が発生し、その打席において投球イベント(curve0210206_1)、打撃イベント(double0210206_2)、走塁イベント(run0210206_3)が発生したことを、isEventOfプロパティを用いて示している。
更に、投球イベント(curve0210206_1)によって打撃イベント(double0210206_2)が起こり、その打撃イベントによって走塁イベント(run0210206_3)が起こるということをcousedByプロパティを用いて示している。
知識メタデータ生成手段25は、図5に示すような関係を記述した知識メタデータを多数蓄積することで、野球の試合に関する知識ベースを構築することができる。
<検索手段27における知識メタデータからの情報(回答)抽出>
次に、検索手段27における知識メタデータからの情報(回答)抽出手法について図を用いて説明する。図6は、知識メタデータからの情報抽出の一例を示す図である。知識メタデータからの情報抽出には、図6に示すようにRDQL等の問い合わせ言語を利用することができる。RDQLは、SQLと似た構造を持つ問い合わせ言語であり、RDF(Resource Description Framework)のデータベースを高速に検索するための言語である。なお、RDFは、セマンティックウェブでメタ情報を記述するための仕様である。本発明では、知識メタデータ(インスタンス)とオントロジー(スキーマ)を利用することで、推論を用いた情報抽出が可能となる。
例えば、図6の例では、「2回にヒットを打ったのは誰?」という問い合わせ例に対応したRDQLを示している。ここで、実際の試合では、2回に二塁打を打った選手が存在したとする。また、知識メタデータ上ではシングルヒットを打った選手は記述されておらず、二塁打を打った選手のみが記述されているものとする。
オントロジー上では、二塁打がヒットの下位概念として定義されていることから、このRDQLを処理する推論エンジンは、シングルヒットだけでなく、2塁打の選手も回答として抽出することができる。
つまり、人間の感覚として、ヒットを打った選手というのは「安打」を打った選手だという常識があり、質問への回答としてはヒットだけなく、あらゆる種類の安打を検索するのが妥当であるという考えに基づいたものである。
また、図7は、更に複雑な問い合わせ例における知識メタデータからの情報抽出例を示す図である。図7には、「2回にヒットを打たれたのは誰?」というユーザからの問い合わせ例に対応するRDQLを示している。ここで、図7に示す例では、「2回にヒットを打たれたのは誰?」という問い合わせに対し、その検索として例えば以下の関係を用いた推論が行われる。
<<概念の上位・下位関係>>
実際に打者が打ったのは二塁打であるが、二塁打クラスがヒットクラスの下位概念であることを利用し、この二塁打を検索結果として得ることができる。つまり、ユーザは一般的に「ヒットを打たれた」という表現を「安打を打たれた」という意味で用いており、その際のヒット(Hit)イベントには、当然ホームラン(Homurun)や2塁打(Double)といったイベントも含まれると考えられる。そのようなイベントの上位−下位関係を考慮することにより、“ヒット”を求める問い合わせに対してその下位概念である2塁打やホームランを検索することが可能となる。
<<関係の推移性の利用>>
ここで、上述した野球オントロジーでは、isEventOf関係を“推移的(Transitive)”であると定義する。つまり、「ある二塁打は特定の打席に起きたイベントである」と記述されており、「特定の打席は特定のイニングに起きたイベントである」と記述されている場合には、「ある二塁打は特定のイニングに起こったイベントである」と推論することができる。
これにより、直接の記述がなくとも、例えば二塁打が2回に起こったこと等がわかる。
<<原因−結果関係>>
例えば、”ヒットを打たれた投手”は、“ヒットの原因となる投球を行った選手”であるため、図7に示すような因果関係(causedBy)を利用したRDQLの適用により、2塁打を打たれたカーブを投げた選手の情報を検索することができる。
また、causedByプロパティも“推移的”であると定義しておけば、2塁打により点が入るという関係を利用して、「点を取られた投手は?」といった複雑な問い合わせに関しても柔軟な回答が可能となる。
このように、本実施例では、野球オントロジーに記述された概念間の関係を利用することにより、ユーザが知識ベース内の詳細な構造まで知ることなく、RDQLクエリーによる検索を行うことが可能となる。つまり、概念の上位−下位関係や全体一部分関係、原因−結果関係等といったオントロジー構造を利用することにより、推論を用いた情報抽出を実現することができる。したがって、概念間の関係を利用した推論処理を行うことで、従来の表層的な単語の検索では実現できなかった柔軟な質問応答が可能になる。
<従来のコンテンツメタデータと知識メタデータとの違い>
ここで、従来のコンテンツメタデータと本発明における知識メタデータとの違いについて、図を用いて説明する。図8は、従来のコンテンツメタデータと、知識メタデータとの違いを説明するための一例の図である。まず、図8(a)に示す従来のコンテンツメタデータは、映像認識や音声認識、イベント認識等を行い、映像に何が映っているか、又は何が起こっているかという情報が記述されたデータである。
例えば、野球のようなスポーツであれば、誰が打席に立っているか、どのようなシーンであるのかといった情報が記述されている。このような情報は、ダイジェストの生成やイベント抽出のために利用することができる。
一方、図8(b)の本発明における知識メタデータは、発生したイベント同士の関係(包含関係や因果関係)も記述されている。これらは全て視聴者(ユーザ)がコンテンツに対してどのような質問を行うかという点を想定して付加される。
このように、本発明では、知識メタデータ生成手段25により情報リソースからコンテンツ内で発生するイベント間の包含関係、上位下位関係、及び因果関係のうち、少なくとも1つが付加された知識メタデータを生成することで、コンテンツ内で発生するイベント間の関係を用いて、より詳細な知識メタデータを生成することができる。したがって、ユーザの質問に直接含まれない概念を検索するといったような柔軟なQ&A処理が実現可能となる。
<実施例2>
次に、本発明を適用した他の実施例(実施例2)について図を用いて説明する。図9は、実施例2における知識メタデータ生成装置の概要例を示す図である。実施例2では、本発明を利用したスポーツ番組向けQ&Aシステムの実現例について説明する。また、実施例2では、TVで野球の試合を視聴しているユーザが来客や電話等で一時的に席を外し、TVの前に戻ってきた際に試合状況に対する質問を行うという場面を想定する。
スポーツデータ配信会社等は、一投球毎の試合進行状況を独自フォーマットの数値・構造化データ(sd)からなる試合データを提供している。また、現在では、放送局やスポーツ関連ウェブサイトは、これらの情報を利用してSBOカウントや得点、球種、打撃結果等といった試合状況をユーザに提供している。
また、野球放送を行っている放送局は、試合の映像や音声と共に、アナウンサーや解説者のコメント等を提供している。これらは、字幕放送等のテキストデータ(td)としてユーザの元に配信されている。
TV受信機41内、あるいは通信ネットワーク13に接続された知識メタデータ生成装置11は、スポーツデータ配信会社等から受信した構造化データ(sd)から知識メタデータ(s−kmd)を生成する。その際、知識メタデータ生成装置11あるいはサーバ等の外部装置に蓄積された野球オントロジーの語彙を用いてメタデータ生成処理を行う。なお、試合の進行状況とは別に、選手の経歴、成績といった静的情報も同様に知識メタデータ化されてもよく、この知識メタデータもユーザに対する回答の生成に利用することが可能である。
ここで、図10は、試合情報からの知識メタデータ生成の一例を示す図である。例えば、野球分野等のように、ある特定の分野に関しては試合中に発生するイベント間の包含関係、因果関係、上位下位関係等が明確である。したがって、図10に示すように、一球毎の試合情報(投手:渡辺,投球:カーブ,打者:今岡,結果:二塁打等)からなる構造化データ(sd)から、野球オントロジーを含む予め設定されたスポーツオントロジー(s−ont)を利用して構造化された知識メタデータ(s−kmd)への変換を行うことが可能である。
また、図9において、解説者コメント等のテキストデータ(td)は、放送局側、受信機側、あるいは知識メタデータ生成装置11に言語処理システム(nlp)を設け、その言語処理システム(nlp)により構造化テキストデータ(s−td)に変換される。なお、構造化テキストデータ(s−td)は、単語の主語−述語関係、主語−述語−目的語関係、依存関係等がタグ付けされたテキスト文書である。知識メタデータ生成装置11は、この構造化テキストデータ(s−td)のタグ情報を用いて、知識メタデータ(s−kmd)への変換を行うことができる。これにより、コンテンツに関連して主語述語関係や依存関係等がタグ付けされた構造化テキストデータを用いることで、より詳細な知識メタデータを生成することができる。
また、生成された知識メタデータは、知識メタデータ生成装置11内、あるいは通信ネットワーク13に接続されたサーバ等の外部装置内に蓄積されている知識ベース(s−kb)に蓄積される。TVを見ている視聴者は、自然言語処理システムを介した発話あるいは特定のインターフェースにより入力される文字情報等から上述した図6又は図7に示すような問い合わせ言語(RDQL)を生成し、知識ベース(s−kb)からの情報(回答)の抽出を行うことができる。
また、図11は、テキスト情報からの知識メタデータ生成例を示す図である。図11に示すように、テキストデータ(td)として「清原のホームランにより逆転しました」が入力されたとき、予め設定された言語処理システム(nlp)等により構造化テキストデータ(s−td)が生成され、その構造化テキストデータ(s−td)を用いて知識メタデータが生成される。
<実施例3>
次に、本発明を適用した他の実施例(実施例3)について説明する。なお、実施例3は、本発明を適用した情報番組向けQ&Aシステムの実現例について説明するものである。図12は、実施例3における知識メタデータ生成装置の概要例を示す図である。
実施例3では、TVで健康に関する情報番組を試聴したユーザが、視聴後に番組で紹介された病気の予防、治療に関する情報を取得したいと考えた場合を想定している。
図12に示すように、放送局42は、番組中の出演者(例えば、医師又はアナウンサー等)が発話した内容のテキストデータ(td)から、言語処理システムあるいは手作業等により構造化テキストデータ(s−td)を生成する。
また、知識メタデータ生成装置11は、知識メタデータ生成装置11内、あるいは通信ネットワーク13に接続されたサーバ等の外部装置内に蓄積されている健康(医療)オントロジー(m−ont)32を利用して、知識メタデータ(m−kmd)を生成し、知識メタデータ生成装置11内あるいは外部装置の知識ベース(m−kb)33に蓄積する。
ここで、図13は、健康オントロジーの一例を示す図である。なお、図13は、健康番組で利用される健康に関するオントロジーの一例を示している。また、図14は、健康番組における知識メタデータ生成例を示す図である。つまり、図14では、図13に示す健康オントロジーに基づき、番組中の発話内容から生成した知識メタデータの一例を示している。したがって、知識メタデータ生成装置11は、図14に示す知識メタデータを用いて、視聴者からの番組視聴中あるいは視聴後にかかわらず、自然言語処理システムを介した発話あるいは特定のインターフェースにより入力される文字情報等から、上述した図6又は図7に示したような問い合わせ言語(RDQL)を生成し、知識ベース(m−kb)からの情報抽出を行うことができる。
上述した実施例に示すように、本発明は、コンテンツに関連した分野のオントロジーを用いて情報を事前に知識構造化し、知識メタデータとしてデータベース等に蓄積することができる。その結果、信頼性の高い情報のみをユーザが得ることが可能となる。また、ユーザの質問を想定した知識メタデータを生成することにより、ユーザの要求に直接含まれない概念等に関しても検索が可能となる。
<実行プログラム>
ここで、上述した知識メタデータ生成装置は、上述した専用の装置構成等を用いて本発明における知識メタデータ生成(知識メタデータ生成)を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る知識メタデータ生成を実現することができる。
<ハードウェア構成>
ここで、本発明における知識メタデータ生成が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図15は、本発明における知識メタデータ生成処理が実現可能なハードウェア構成の一例を示す図である。
図15におけるコンピュータ本体には、入力装置51と、出力装置52と、ドライブ装置53と、補助記憶装置54と、メモリ装置55と、各種制御を行うCPU(Central Processing Unit)56と、ネットワーク接続装置57とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
入力装置51は、ユーザが操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、ユーザからのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置52は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、CPU56が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばCD−ROM等の記録媒体58等により提供される。プログラムを記録した記録媒体58は、ドライブ装置53にセット可能であり、記録媒体58に含まれる実行プログラムが、記録媒体58からドライブ装置53を介して補助記憶装置54にインストールされる。
また、ドライブ装置53は、本発明に係る実行プログラムを記録媒体58に記録することができる。これにより、その記録媒体58を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に知識メタデータ生成処理を実現することができる。
補助記憶装置54は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置54は、上述したオントロジーや知識ベース、各種情報リソース等を蓄積する蓄積手段として用いることもできる。
CPU56は、OS(Operating System)等の制御プログラム、及び補助記憶装置54から読み出されメモリ装置55に格納されている実行プログラム等に基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、知識メタデータ生成処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置54から取得することができ、また格納することもできる。
ネットワーク接続装置57は、電話回線やLAN(Local Area Network)ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで知識メタデータ生成処理を実現することができる。また、プログラムをインストールすることにより、容易に知識メタデータ生成処理を実現することができる。
<知識メタデータ生成処理手順>
次に、本発明における実行プログラム(知識メタデータ生成プログラム)を用いた知識メタデータ生成処理手順についてフローチャートを用いて説明する。図16は、知識メタデータ生成処理手順の一例を示すフローチャートである。
図16において、まずコンテンツに関する数値データや構造化データ、テキストデータ等の情報リソースを入力する(S01)。次に、入力した情報リソースを予め蓄積された情報リソースに関連する分野のオントロジーに基づいて知識メタデータを生成する(S02)。また、S02の処理において生成された知識メタデータを蓄積する(S03)。なお、上述したS01〜S03の処理は、後述するS04〜S07の処理の前に予め実行され、蓄積手段等に蓄積される。
次に、コンテンツの視聴しているユーザ(視聴者)等からの入力情報を取得し(S04)、その情報から問い合わせ情報を抽出する(S05)。なお、この場合、入力情報から予め設定された自然言語処理システムにより問い合わせ情報を抽出してもよく、またインターフェース等により問い合わせ情報として視聴者に具体的に入力させてもよい。
次に、抽出された問い合わせ情報に基づいて、知識メタデータを検索し、問い合わせに対応する回答を抽出し(S06)、抽出した回答データを視聴者に提示する(S07)。
上述したように、知識メタデータ生成プログラムを用いた知識メタデータ生成処理により、高精度な知識メタデータを生成することができる。また、プログラムをインストールすることにより、容易に知識メタデータ生成処理を実現することができる。
上述したように本発明によれば、高精度な知識メタデータを生成することができる。具体的には、本発明によりコンテンツに関連した分野のオントロジーを用いて情報を事前に知識構造化し、知識メタデータとしてデータベース等に蓄積することができる。その結果、信頼性の高い情報のみをユーザが得ることが可能となる。また、ユーザの質問を想定した知識メタデータを生成することにより、ユーザの要求に直接含まれない概念等に関しても検索が可能となる。また、本発明は、様々な概念関係を定義したオントロジーを利用することで、人間の感覚に合った柔軟な情報(回答)抽出を行うことができる。
また、本発明は、コンテンツにおけるイベント抽出やダイジェスト生成等にも適用することができる。例えば、野球オントロジーにおいて、特定のプロパティ及びプロパティ値を持つクラスを“定義クラス”
として記述しておくことで、知識メタデータから特定のインスタンスを抽出することができる。したがって、この特徴から、例えば試合における「逆転」といったイベントを「発生前と発生後で、点差の状況が逆転する得点イベント」とオントロジー上で定義しておくことで、試合状況からより複雑なイベントの抽出が可能となる。
また、番組制作者のダイジェスト制作手法を分析し、重要シーンの特徴をオントロジーで記述しておき、「フルカウントでの強打者の登場」や「サヨナラのチャンス」といった概念を定義しておくことで、ダイジェストシーンの抽出等に応用することが可能となる。なお、本発明におけるコンテンツは、番組に限定されず、動画、音楽、映画、テキスト情報等、あらゆるコンテンツに適用することができる。
以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
本発明における知識メタデータ生成システムの概要構成の一例を示す図である。 知識メタデータ生成装置の機能構成の一例を示す図である。 実施例1における知識メタデータ生成装置の概要例を示す図である。 知識メタデータを生成する際のスキーマを提供するオントロジーの一例を示す図である。 図4に示した野球オントロジーを用いて記述した知識メタデータの一例を示す図である。 知識メタデータからの情報抽出の一例を示す図である。 更に複雑な問い合わせ例における知識メタデータからの情報抽出例を示す図である。 従来のコンテンツメタデータと、知識メタデータとの違いを説明するための一例の図である。 実施例2における知識メタデータ生成装置の概要例を示す図である。 試合情報からの知識メタデータ生成の一例を示す図である。 テキスト情報からの知識メタデータ生成例を示す図である。 実施例3における知識メタデータ生成装置の概要例を示す図である。 健康オントロジーの一例を示す図である。 健康番組における知識メタデータ生成例を示す図である。 本発明における知識メタデータ生成処理が実現可能なハードウェア構成の一例を示す図である。 知識メタデータ生成処理手順の一例を示すフローチャートである。
符号の説明
10 知識メタデータ生成システム
11 知識メタデータ生成装置
12 情報リソース提供装置
13 通信ネットワーク
21 入力手段
22 出力手段
23 送受信手段
24 蓄積手段
25 知識メタデータ生成手段
26 情報抽出手段
27 検索手段
28 制御手段
31 情報リソース
32 オントロジー
33 知識ベース
41 TV受信器
42 放送局
51 入力装置
52 出力装置
53 ドライブ装置
54 補助記憶装置
55 メモリ装置
56 CPU
57 ネットワーク接続装置
58 記録媒体

Claims (6)

  1. ユーザに提供するコンテンツに関連した知識メタデータを生成する知識メタデータ生成装置において、
    前記コンテンツに関連した情報リソースと、予め蓄積された前記情報リソースに関連した分野のオントロジーとに基づいて、前記知識メタデータを生成する知識メタデータ生成手段と、
    前記知識メタデータ生成手段により得られる知識メタデータを蓄積する蓄積手段とを有することを特徴とする知識メタデータ生成装置。
  2. 前記ユーザからの入力情報から問い合わせ情報を抽出する情報抽出手段と、
    前記情報抽出手段により得られる問い合わせ情報に基づいて、前記知識メタデータを検索する検索手段とを有することを特徴とする請求項1に記載の知識メタデータ生成装置。
  3. 前記知識メタデータ生成手段は、
    前記情報リソースとして得られる数値データ及び/又は構造化データから、前記コンテンツ内で発生するイベント間の包含関係、上位下位関係、及び因果関係のうち、少なくとも1つが付加された知識メタデータを生成することを特徴とする請求項1又は2に記載の知識メタデータ生成装置。
  4. 前記知識メタデータ生成手段は、
    前記情報リソースとして得られる前記コンテンツに関連した主語述語関係又は依存関係がタグ付けされた構造化テキストデータから、前記コンテンツに関連した知識メタデータを生成することを特徴とする請求項1乃至3の何れか1項に記載の知識メタデータ生成装置。
  5. ユーザに提供するコンテンツに関連した知識メタデータを生成する処理をコンピュータに実行させるための知識メタデータ生成プログラムにおいて、
    前記コンテンツに関連した情報リソースと、予め蓄積された前記情報リソースに関連した分野のオントロジーとに基づいて、前記知識メタデータを生成する知識メタデータ生成処理と、
    前記知識メタデータ生成処理により得られる知識メタデータを蓄積する蓄積処理とをコンピュータに実行させるための知識メタデータ生成プログラム。
  6. 前記ユーザからの入力情報を取得する入力情報取得処理と、
    前記入力情報から問い合わせ情報を抽出する情報抽出処理と、
    前記問い合わせ情報に基づいて前記知識メタデータを検索し、問い合わせに対応する回答データを抽出する抽出処理とを有することを特徴とする請求項5に記載の知識メタデータ生成プログラム。
JP2006076248A 2006-03-20 2006-03-20 知識メタデータ生成装置及び知識メタデータ生成プログラム Expired - Fee Related JP4709671B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006076248A JP4709671B2 (ja) 2006-03-20 2006-03-20 知識メタデータ生成装置及び知識メタデータ生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006076248A JP4709671B2 (ja) 2006-03-20 2006-03-20 知識メタデータ生成装置及び知識メタデータ生成プログラム

Publications (2)

Publication Number Publication Date
JP2007249907A true JP2007249907A (ja) 2007-09-27
JP4709671B2 JP4709671B2 (ja) 2011-06-22

Family

ID=38594073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006076248A Expired - Fee Related JP4709671B2 (ja) 2006-03-20 2006-03-20 知識メタデータ生成装置及び知識メタデータ生成プログラム

Country Status (1)

Country Link
JP (1) JP4709671B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525668A (ja) * 2008-06-23 2011-09-22 アルカテル−ルーセント メタデータを提供するためのシステムおよび方法
JP2012511767A (ja) * 2008-12-12 2012-05-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オントロジーから関係データベースを作成するための方法及びモジュール
JP2016517599A (ja) * 2013-03-15 2016-06-16 ロバート ハドック, 知識への1段階アクセスを提供する適応ユーザインターフェースを有する知的インターネットシステム
JP2018511115A (ja) * 2015-02-22 2018-04-19 グーグル エルエルシー 人が介在することなくアルゴリズム的に子供にとって適切なコンテンツを識別すること
WO2020005295A1 (en) * 2018-06-29 2020-01-02 Google Llc Media source measurement for incorporation into a censored media corpus
WO2020054201A1 (ja) * 2018-09-11 2020-03-19 株式会社Nttドコモ 応答文作成装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005007150A (ja) * 2003-05-28 2005-01-13 Hitachi Unisia Automotive Ltd 吸入式投薬器
JP2005258659A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> メタデータ生成装置
JP2006048125A (ja) * 2004-07-30 2006-02-16 Nippon Hoso Kyokai <Nhk> 情報提示システム、情報提示装置、問い合わせ言語生成プログラム、及びコンテンツ抽出プログラム
JP2006072844A (ja) * 2004-09-03 2006-03-16 Oki Electric Ind Co Ltd キーワード特定装置、キーワード特定方法及びキーワード特定プログラム
JP2007193697A (ja) * 2006-01-20 2007-08-02 Oki Electric Ind Co Ltd 情報収集装置,情報収集方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005007150A (ja) * 2003-05-28 2005-01-13 Hitachi Unisia Automotive Ltd 吸入式投薬器
JP2005258659A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> メタデータ生成装置
JP2006048125A (ja) * 2004-07-30 2006-02-16 Nippon Hoso Kyokai <Nhk> 情報提示システム、情報提示装置、問い合わせ言語生成プログラム、及びコンテンツ抽出プログラム
JP2006072844A (ja) * 2004-09-03 2006-03-16 Oki Electric Ind Co Ltd キーワード特定装置、キーワード特定方法及びキーワード特定プログラム
JP2007193697A (ja) * 2006-01-20 2007-08-02 Oki Electric Ind Co Ltd 情報収集装置,情報収集方法およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525668A (ja) * 2008-06-23 2011-09-22 アルカテル−ルーセント メタデータを提供するためのシステムおよび方法
JP2012511767A (ja) * 2008-12-12 2012-05-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オントロジーから関係データベースを作成するための方法及びモジュール
JP2016517599A (ja) * 2013-03-15 2016-06-16 ロバート ハドック, 知識への1段階アクセスを提供する適応ユーザインターフェースを有する知的インターネットシステム
JP2018511115A (ja) * 2015-02-22 2018-04-19 グーグル エルエルシー 人が介在することなくアルゴリズム的に子供にとって適切なコンテンツを識別すること
JP2019145178A (ja) * 2015-02-22 2019-08-29 グーグル エルエルシー 人が介在することなくアルゴリズム的に子供にとって適切なコンテンツを識別すること
US11049029B2 (en) 2015-02-22 2021-06-29 Google Llc Identifying content appropriate for children algorithmically without human intervention
WO2020005295A1 (en) * 2018-06-29 2020-01-02 Google Llc Media source measurement for incorporation into a censored media corpus
AU2018429394B2 (en) * 2018-06-29 2021-09-30 Google Llc Media source measurement for incorporation into a censored media corpus
WO2020054201A1 (ja) * 2018-09-11 2020-03-19 株式会社Nttドコモ 応答文作成装置
JPWO2020054201A1 (ja) * 2018-09-11 2021-08-30 株式会社Nttドコモ 応答文作成装置
JP7121802B2 (ja) 2018-09-11 2022-08-18 株式会社Nttドコモ 応答文作成装置
US11645477B2 (en) 2018-09-11 2023-05-09 Ntt Docomo, Inc. Response sentence creation device

Also Published As

Publication number Publication date
JP4709671B2 (ja) 2011-06-22

Similar Documents

Publication Publication Date Title
US10958970B2 (en) Systems and methods for recording relevant portions of a media asset
US11197036B2 (en) Multimedia stream analysis and retrieval
CN105120304B (zh) 信息显示方法、装置及系统
KR101460613B1 (ko) 로컬 네트워크내의 장치의 사용자에게 적절한 정보를제공하는 방법 및 시스템
US9679558B2 (en) Language modeling for conversational understanding domains using semantic web resources
US8782056B2 (en) Method and system for facilitating information searching on electronic devices
US7039585B2 (en) Method and system for searching recorded speech and retrieving relevant segments
JP5853653B2 (ja) サーバ装置、情報端末及びプログラム
JP6170023B2 (ja) コンテンツ推薦装置、コンテンツ推薦方法及びコンテンツ推薦プログラム
CN106462640B (zh) 对多媒体内容进行的场境搜索
US20110004462A1 (en) Generating Topic-Specific Language Models
US20080088735A1 (en) Social media platform and method
US20140172427A1 (en) System And Method For Event Summarization Using Observer Social Media Messages
JP4709671B2 (ja) 知識メタデータ生成装置及び知識メタデータ生成プログラム
US9681173B2 (en) Method of and system for processing a user request for a web resource, the web resource being associated with sequentially semantically linked documents
JP4891737B2 (ja) 知識メタデータ生成装置、ダイジェスト生成装置、知識メタデータ生成プログラム、及びダイジェスト生成プログラム
KR20030007727A (ko) 자동 비디오 리트리버 제니
US11922931B2 (en) Systems and methods for phonetic-based natural language understanding
US20230376531A1 (en) Media contextual information for a displayed resource
US20160381433A1 (en) Information distribution device, information distribution method, and program
JP5159492B2 (ja) 特定シーン学習システム及びプログラム
KR20080107143A (ko) 오디오 신호처리 기반의 음악 및 동영상 추천 시스템 및방법
Renger et al. VoiSTV: voice-enabled social TV
JP4783164B2 (ja) 情報提供サーバ、視聴端末、情報提供プログラム、及び回答データ取得プログラム
KR101606170B1 (ko) Iptv 방송 시스템, 서버 및 발성목록 생성 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110318

R150 Certificate of patent or registration of utility model

Ref document number: 4709671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees