JP2004295912A - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
JP2004295912A
JP2004295912A JP2004155839A JP2004155839A JP2004295912A JP 2004295912 A JP2004295912 A JP 2004295912A JP 2004155839 A JP2004155839 A JP 2004155839A JP 2004155839 A JP2004155839 A JP 2004155839A JP 2004295912 A JP2004295912 A JP 2004295912A
Authority
JP
Japan
Prior art keywords
signal
information
user
necessity
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004155839A
Other languages
English (en)
Other versions
JP3736564B2 (ja
Inventor
Toshiki Kanemichi
敏樹 金道
Hideyuki Yoshida
秀行 吉田
Taisuke Watanabe
泰助 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004155839A priority Critical patent/JP3736564B2/ja
Publication of JP2004295912A publication Critical patent/JP2004295912A/ja
Application granted granted Critical
Publication of JP3736564B2 publication Critical patent/JP3736564B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】情報をユーザーに対して必要性の高い情報から順に取出すデータ処理装置を提供するものである。
【解決手段】情報は情報データと一つ以上のキーワードを含むものであり、未読情報を入力する入力手段と、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組からキーワード毎にユーザーの必要性を予測する必要性予測値を計算する学習手段と、前記キーワード毎の必要性予測値と新たに入力された未読情報に付される一つ以上のキーワードとから前記未読情報に対するユーザーの必要性を予測する必要性信号を計算する必要性計算手段と、前記必要性計算手段からの未読情報と前記必要性信号とを未読データ記憶手段に書き込む書き込み制御手段を有するものであり、ユーザーからの必要か否かの評価を示す入力を用いて、情報をユーザーに必要性の高い順に取出すという特徴を有している。
【選択図】図1

Description

本発明は、電子または光等を媒体とする記憶装置や情報通信網から必要な情報を取り出し易くするデータ処理装置に関するものである。
近年、情報フィルタ装置は、情報通信の社会基盤の進展に伴い、情報通信網の大規模化と通信量の著しい増大に対応する技術として、その実現が強く望まれている。この背景には、今日、個人が処理可能な情報量に対して、個人がアクセスできる情報量が上回るようになっていることがある。このために、大量の情報の中に必要と思う情報が埋没することが、しばしば起こる。
情報フィルタ装置に関連する従来技術としては、特許検索などに用いられるキーワード論理式をあげることができる。すなわち、数十万から数百万件に及ぶ特許情報をキーワード論理式によりフィルタリングするものである。
しかしながら、キーワード論理式を用いる従来の検索においては、使用者がキーワードについての論理式を精度良く設定する必要があるので、使用者がファイリングされているデータ群の癖(例えば、どのような条件の基に、当該データのキーワードが決定されているのか等)やシステムの構造(例えば、キーワードがシソーラス体系のあるシステムであるか否か等)を十分に知り得ていなければ良い検索ができない。このため、初心者には精度の高い情報フィルタリングを行うことができないという課題があった。
また、情報フィルタリングした結果もキーワードについての論理式に適合するという評価があるだけであり、たまたまキーワードでは合致しているが、内容は求めているものとは異なるケースであったり、あるいは多くの検索結果から使用者にとって必要度の高い情報をその結果から順に取り出すことは容易でない。
本発明は上記従来の課題を解決するものであり、初心者にも精度の高い情報フィルタリングができ、かつ使用者にとって必要性の高い情報を取り出し易いデータ処理装置を提供することを目的とする。
この目的を達成するために本発明のデータ処理装置は、情報は情報データと一つ以上のキーワードを含むものであり、未読情報を入力する入力手段と、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組からキーワード毎にユーザーの必要性を予測する必要性予測値を計算する学習手段と、前記キーワード毎の必要性予測値と新たに入力された未読情報に付される一つ以上のキーワードとから前記未読情報に対するユーザーの必要性を予測する必要性信号を計算する必要性計算手段を有し、前記必要性信号を利用して情報の提示の順序の仕方を決めることを特徴とするものである。
この構成によって、複数のキーワードは、距離の定義ができない記号から、使用者の必要度を反映したメトリックを用いて距離を定義できるベクトル表現へと変換され、使用者の必要度を定量化することができ、使用者は必要性の高い情報から順に情報を得ることができるようになる。
以上のように、本発明は、情報は情報データと一つ以上のキーワードを含むものであり、未読情報を入力する入力手段と、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組からキーワード毎にユーザーの必要性を予測する必要性予測値を計算する学習手段と、前記キーワード毎の必要性予測値と新たに入力された未読情報に付される一つ以上のキーワードとから前記未読情報に対するユーザーの必要性を予測する必要性信号を計算する必要性計算手段を有し、前記必要性信号を利用して情報の提示の順序を決めることを特徴とするもので、情報をユーザーの必要度にしたがって並べ、ユーザーに対して必要性の高い情報から順に提供することにより、初心者にも精度の高い情報を得ることができ、更に使用者にとって必要性の高い情報の取り出し易いデータ処理装置を提供することができる。
本発明の請求項1に記載の発明は、情報は情報データと一つ以上のキーワードを含むものであり、未読情報を入力する入力手段と、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組からキーワード毎にユーザーの必要性を予測する必要性予測値を計算する学習手段と、前記キーワード毎の必要性予測値と新たに入力された未読情報に付される一つ以上のキーワードとから前記未読情報に対するユーザーの必要性を予測する必要性信号を計算する必要性計算手段を有することを特徴とするデータ処理装置としたものであり、ユーザーからの必要か不要かの評価を示す入力を用いて情報の並べ変えを行い、情報をユーザーに必要性の高い順に取り出すことができるという作用を有する。
本発明の請求項2に記載の発明は、前記必要性計算手段からの未読情報と前記必要性信号とを前記必要性信号が大きな未読情報から優先的に有限個数未読データ記憶手段に書き込む書き込み制御手段を、さらに有することを特徴とする請求項1記載のデータ処理装置としたものであり、前記必要性信号が大きな未読情報から優先的に有限個数未読データ記憶手段に書き込むことによって有限個の未読データを記憶することが可能となり、情報をユーザーに必要な順に精度高く取り出すことができるという作用を持つ。
本発明の請求項3に記載の発明は、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組は、教師データとして記憶する記憶手段をさらに有することを特徴とする請求項1または2記載のデータ処理装置としたものであり、予め教師データを記憶することにより、容易にキーワード毎にユーザーの必要性を予測する必要性予測値を計算するができる、情報をユーザーに必要な順に精度高く取り出すことができるという作用を持つ。
本発明の請求項4に記載の発明は、前記教師データは、情報データをユーザーに提示し、前記提示された情報データが必要か不要かを入力することにより、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組を教師データとして記憶することを特徴とする請求項3記載のデータ処理装置としたもので、これによって容易に教師データを記憶することができ、情報をユーザーに必要な順に精度高く取り出すことができるという作用を持つ。
本発明の請求項5に記載の発明は、前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から、キーワード毎にユーザーの必要性を予測する必要性予測値を計算することを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置としたものでユーザー、前記キーワード毎にユーザーの必要性を予測する必要性
予測値を容易に求めることができ、情報をユーザーに必要な評価値が精度高く取り出すことができるという作用を持つ。
本発明の請求項6に記載の発明は、前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記提示した情報に対してユーザーが必要とした頻度(全肯定回数信号)と、不要とした頻度(全否定回数信号)と、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から計算されることを特徴とする請求項5記載のデータ処理装置としたもので、前記キーワード毎にユーザーの必要性を予測する必要性予測値を容易に求めることができ、情報をユーザーに必要な評価値が精度高く取り出すことができるという作用を持つ。
以下、本発明の実施の形態について、図1から図12を用いて説明する。
(実施の形態1)
以下、本発明の第一の実施の形態について、図面を参照しながら説明する。図1は本発明の実施の形態1の情報フィルタ装置の構成を示すブロック図であり、図2はその構成と動作を分かりやすくするために機能単位にまとめたブロック図である。
まず、図2を用いて、本発明の基本概念を説明する。
本発明の基本概念の情報フィルタ装置は、ユーザーがどんな「情報」を過去に必要としたかという履歴に関する記録を記憶した複数の記憶部2、5、6、8と、「情報」のフィルタリングを行う情報フィルタリングユニット50と、その情報フィルタリングユニット50により実際にフィルタリングされた未読の「情報」(ユーザーがまだ読んでいない情報)を蓄積しておく未読データ記憶部10と、ユーザーが当該未読「情報」を可視できるようにしたディスプレー等のインタフェースユニット51と、ユーザーがどんな「情報」を必要としたかという履歴に関する学習を行う学習ユニット52とからなる。
以下、上記構成の動作について説明する。なお、以下の説明では既にユーザーがどんな「情報」を過去に必要としたかという履歴は学習済みのこととして説明する。また、以下に単に「情報」と称するものには、当該「情報」に対応する1つ以上のキーワードが付されているものとする。そのキーワードとは、当該「情報」を構成する各単語の一部あるいは全体であっても良いし、当該「情報」を代表するために特別に付したものであっても良い。
まず、情報フィルタリングユニット50に新たな「情報」が入力されると、情報フィルタリングユニット50は、記憶部2、5、6、8からユーザーがどのような「情報」を過去に必要としたかという記録を読みだし、前記新たな「情報」の必要性を必要性信号として定量的に評価する。
次に、その評価された新たな「情報」は、未読データ記憶部10に、必要性信号が大きい順に過去からの未読「情報」を含めて並ぶように前記入力された「情報」を当該順番に書き込む。
そして、ユーザーが望めば、インタフェースユニット51では、ユーザーに必要性信号の大きい順に前記新たな「情報」を含めた未読「情報」を1つひとつ提示(例えば、ディスプレーに表示)する。
この際に、ユーザーに提示された前記新たな「情報」を含めた未読「情報」の1つひとつがユーザーにとって必要か不要かを示す教師信号をユーザーがインタフェースユニット
51を介して入力することにより、インタフェースユニット51では、当該教師信号を受け取り、当該「情報」とその教師信号を学習ユニット52に送る。なお、このユーザーによる教師信号の入力は、学習ユニット52の学習能力をより高めるために実施するものであり、学習ユニット52の学習能力(ユーザーがどんな「情報」を過去に必要としたかという履歴の学習能力)が既に十分に高ければ行う必要はない。
次に、学習ユニット52では、前記提示した「情報」とその教師信号を用いて記憶部2、5、6、8の履歴内容を書き換える。
以上、本発明の情報フィルタ装置は、より高い学習を通じてユーザーに適応し、ユーザーの求める「情報」を優先的に提示することができる。また、当然のことながら、学習を行っていない初期状態では、ユーザーがどんな「情報」を必要としているのか学習ユニット52では分からないので、全ての入力される新たな「情報」をインタフェースユニット51でユーザーが提示を受ける毎に上述したユーザーによる教師信号の入力は必要であるが、随時実施する学習を通じてやがてユーザーに適応し、ユーザーの求める「情報」を優先的に提示することができる。
なお、ユーザーの求める「情報」を優先的に提示するとは、より具体的な使用例で述べれば、ある「情報」データベースの母集団Aを特定のキーワードで検索して「情報」の検索集合Bを得たとしても、当該検索集合Bの「情報」の全てがユーザーにとっては必要であるとは限らないし、またユーザーにとっては「情報」の全てが必要であってもその必要順位は当然存在することを前提としている。よって、必要から順に不要、あるいはその必要順位に従って、インタフェースユニット51でユーザーに順に提示することを、ユーザーの求める「情報」を優先的に提示することを意味する。
さて、本発明において重要な点は、いかに必要性信号(或「情報」が必要であったとの教師信号)を計算するかである。
好ましい実施の形態では、必要性信号は概念的に次のような量として計算される。
上述べた如く、入力された「情報」にキーワードが添付されている場合を考える。一人のユーザーを考えると、そのユーザーが必要としている「情報」に高い頻度または確率で付いているキーワード集合Aと、不要としている「情報」に高い頻度または確率で付いているキーワード集合Bと、さらにはいずれにもよく付く、または付かないキーワード集合Cとを考えることができる。
したがって、前記キーワード集合Aに属するキーワードには正の数値を、前記キーワード集合Bに属するキーワードには負の値を、前記キーワード集合Cに属するキーワードには値0をそれぞれ割り振る。
そして、新たに入力された「情報」についている1つ以上のキーワードについてそれぞれが前記キーワード集合A、B、Cのどのキーワードグループに属するかを判定し、前記割り振られた値を積算するように構成する。
このように構成すれば、前記新たに入力された「情報」に付いていた複数のキーワードを、キーワード集合Aに属するキーワードが数多く含まれた「情報」(ユーザーが必要とする可能性の高い情報)に対しては大きな正の値を示し、キーワード集合Bに属するキーワードが数多く付いている「情報」(ユーザーが不要とする可能性の高い情報)に対しては大きな負の値を示す数値に変換することができる。
こうして、前記数値を用いてユーザーの必要性に予測することができる。本発明では、提示した「情報」とその「情報」に関するユーザーの必要/不要の評価とからキーワード(キーワード共起を含む)への値の割り振りを自動的に行い精度の高い必要性信号の計算を実現し、精度高く必要性の高い順に「情報」を並べ変えることを実現している。
そのために、実施の形態1では、「情報」に付けられた複数のキーワードを一つのベクトルに変換し、ユーザーが必要とした場合と不要とした場合について、別々に前記ベクトルの自己相関行列を計算している。ユーザーが必要と答えた「情報」についていたキーワードから作られた自己相関行列MYを用いて、ベクトルVの長さSYを
SY=ΣΣMij・Vi・Vj
ij
と計算する。
なお、以下、必要と答えた「情報」についていたキーワードから作られた自己相関行列MYを「肯定メトリック信号」、不要と答えた情報についていたキーワードから作られた自己相関行列MNを「否定メトリック信号」と呼び、長さSYを肯定信号と呼ぶ。
この長さSYは、ベクトルVの元となった複数のキーワードの中に、ユーザーが必要とする「情報」によく含まれているキーワードが数多く含まれていれば、長さSYは大きな正の値をとり、そうでない場合には0に近い値をとるから、必要性信号を計算する上で有効である。
本発明は、以下に図1を用いて詳細説明するように、さらに工夫を重ねて、精度の高い必要性信号の計算を実現している。
図1を用いて、図2に示した情報フィルタリングユニット50に相当するブロックと、図2に示した学習ユニット52に相当するブロックについて、機能単位毎に説明しておく。
まず、情報フィルタリングユニット50に相当するブロックの構成を説明する。
情報フィルタリングユニット50は、個々の「情報」につけられた複数のキーワード(正確には、分類コードを含む文字列)をベクトルに変換する部分と、ユーザーがどんな「情報」を必要/不要としたという履歴を表現した肯定メトリック信号及び否定メトリック信号を用いてある種のスコアを表す肯定信号と否定信号を計算する部分と、この肯定信号と否定信号とから「情報」の必要性をよく反映する必要性信号を計算する部分と、この必要性信号の大きい順に情報を並べ変える部分からなる。以下、情報フィルタリングユニット50に相当するブロックの構成を、図1に即して説明する。
図1において、1は「情報」に付けられたキーワードなどの複数の文字列をベクトルに変換するベクトル生成部、2はキーワードなどの複数の文字列をベクトルに変換するための符号辞書信号を記憶した符号辞書記憶部である。この符号辞書記憶部2に記憶された符号辞書信号は、「情報」についているキーワードなどの文字列Wを数字Cに変換する対応表をnofDCK個有するコードブック
Figure 2004295912
であり、ベクトル生成部1はキーワード数信号nofKsとnofKs個のキーワード信号からなるキーワード群信号Ks=(K[1],・・・,K[nofKs])とを受けキーワード群信号Ksと前記符号辞書信号DCKを用いてベクトル信号Vに変換する。3はスコア計算部で、ユーザーに提示された「情報」を必要/不要と評価した結果から計算された肯定メトリック信号MY、否定メトリック信号MNを用いて、ベクトル生成部1で変換された2つのベクトル信号Vの長さ、肯定信号SYと否定信号SNに変換する。5は(nofDCK×nofDCK)行列である前記肯定メトリック信号MYを記憶する肯定メトリック記憶部、6は(nofDCK×nofDCK)行列である前記否定メトリック信号MNを記憶する否定メトリック記憶部である。8は判定パラメータ信号Cを記憶する判定パラメータ記憶部、7は前記肯定信号SYと前記否定信号SNを受け前記判別パラメータ記憶部8から判定パラメータ信号Cを読み出し必要性信号Nと信頼性信号Rを計算する必要性計算部である。9は「情報」の本文である情報データDとキーワード数信号nofKsとキーワード群信号Ksと必要性信号Nと信頼性信号Rとを所定の手続きに従って後述する未読データ記憶部10に書き込む未読データ書き込み制御部、10は前記「情報」の本文である情報データDと前記キーワード数信号nofKsと前記キーワード群信号Ksと前記必要性信号Nと前記信頼性信号Rとからなる最大nofURD個の未読データ
Figure 2004295912
を記憶する未読データ記憶部、13は最大nofTD個の教師データ信号
Figure 2004295912
を記憶する教師データ記憶部である。
次に、図2で示したインタフェースユニット51のブロックの構成を説明する。
図1において、11は制御信号DOを受け未読データ記憶部10から未読データ信号URD[1]を読み出し、表示信号DDを出力し、その表示信号DDがユーザーにとって必要か不要かを示す教師信号Tをユーザーから受け、前記教師信号Tと前記未読データ信号URD[1]のキーワード数信号nofKs[1]とキーワード群信号Ks[1]とを所定の手続きに従って教師データ記憶部13に書き込む未読データ出力制御部である。
次に、図2で示した学習ユニット52に相当するブロックの構成を説明する。
学習ユニット52は、ユーザーから入力された教師信号Tを用いて肯定/否定メトリック信号を修正するメトリック学習を行う部分と、肯定/否定信号から必要性信号を計算するためのパラメータ、判定パラメータ信号、を修正する部分からなり、各部分は学習制御部によって制御される。
図1に示したメトリック学習を行う部分の構成は次のようである。
図1において、19は肯定メトリック記憶部5に記憶された肯定メトリック信号MYと前記否定メトリック記憶部6に記憶された否定メトリック信号MNとを修正するメトリック学習部である。このメトリック学習部19は、教師データ記憶部13から前記教師データTDを読み出し、学習ユニット50のベクトル生成部1と同じ機能である学習用ベクトル生成部20で複数のキーワードをベクトルに変換し、自己相関行列を計算することで、肯定/否定メトリック信号を修正する。
判定パラメータ信号の学習を行う部分の構成は次のようである。
図1において、22は学習用肯定信号計算部221と学習用否定信号計算部222とからなる学習用スコア計算部である。この学習用スコア計算部において、221は学習用ベクトル生成部20からの学習用ベクトル信号を受け、学習用肯定信号LSYを計算する学習用肯定信号計算部、222は学習用ベクトル生成部20からの学習用ベクトル信号を受け、学習用否定信号LSNを計算する学習用否定信号計算部である。21は学習制御部14からの判定パラメータ学習制御信号PLCを受けて所定の方法で判定パラメータ記憶部8の判定パラメータ信号を書き換える判定面学習部、14は学習開始信号LSを受けてスイッチ16、17、18とメトリック学習部19と学習用ベクトル生成部20と学習用スコア計算部22と学習用否定信号計算部23と判定面学習部21とを制御する学習制御部である。
以上のように構成された情報フィルタ装置について、各ユニットごとに図面を用いてその動作を説明する。
情報フィルタ装置の好ましい初期状態の一例は、肯定メトリック信号MYと否定メトリック信号MNとを(nofDCK×nofDCK)零行列、未読データ記憶部10の未読データURD[i]の全ての必要性信号N[i](i=1,・・・,nofURD)を使用するハードウエアが表現可能な最小の値Vmin、教師データ記憶部13の教師データTD[j]の教師信号T[j]を全て−1とした状態である。
最初に、情報フィルタリングユニット50の動作を説明する。
まず、情報データ入力端子100から情報データDが入力され、キーワード数信号入力端子101から情報データに付けられたキーワードの個数を表すキーワード数信号nofKsが入力され、キーワード信号入力端子102から複数のキーワードであるキーワード群信号Ks=(K[1],K[2],・・・,K[nofKs])が入力される。
ベクトル生成部1によってキーワード群信号Ksは、文字列の集まりからベクトル信号Vへと変換される。この変換によって、キーワード群信号の類似性をベクトルの距離として計算できるようになる。
ベクトル生成部1の動作を図3に示すフローチャートを参照しながら説明する。まず、キーワード数信号nofKsとキーワード群信号Ksを受けると(図3ステップ(イ))、内部のベクトル信号V=(V[1],V[2],・・・,V[nofDic])を(0,0,・・・,0)に、キーワードカウンタ信号iを1にセットする(同図ステップ(ロ)、(ハ))。次に、辞書カウンタ信号jを0セットした後辞書カウンタ信号jを1だけ増やす(同図ステップ(ニ))。
次に、内部にnofDCK個の符号辞書信号DCKを有する辞書記憶部2から辞書カウンタjが指定するキーワードと数字からなる符号辞書信号DCK[j]を読み出し、符号辞書信号DCKの文字列部分W[j]とi番目のキーワード信号K[i]とを比較する(同図ステップ(ホ))。両者が等しくない場合には、辞書カウンタjを1だけ増やす(同図ステップ(ヘ))。両者が一致するか、辞書カウンタjの値が辞書記憶部2に格納された符号辞書信号の個数nofDicと等しくなるまで図3ステップ(ホ)〜(ト)の処理を繰り返す(同図ステップ(ト))。
キーワード信号K[i]と等しいW[j]が見つかると、ベクトル信号のj番目の成分V[j]を1にし(同図ステップ(チ))、キーワードカウンタ信号iを1だけ増やす(同図ステップ(リ))。以下、同様の処理をキーワードカウンタ信号iがキーワード数信号nofKsより大きくなるまで実行する(同図ステップ(ヌ))。
こうして、ベクトル生成部1において、文字列信号からなるキーワード信号の集合体であるキーワード群信号Ksは、0と1でコード化されたnofDCK個の成分を持ったベクトル信号Vに変換される。
次に、肯定信号計算部31は、キーワード群信号Ksに過去にユーザーの必要とした情報に含まれていたキーワードが数多く含まれる場合に、大きな値となる肯定信号SYを計算する。
この目的のために、肯定信号計算部31は、前記ベクトル信号Vを受けて、肯定メトリック記憶部5から肯定メトリック信号MYを読み出し、肯定信号SYを
Figure 2004295912
と計算する。
否定信号計算部32は、キーワード群信号Ksに過去にユーザーの不要とした情報に含まれていたキーワードが数多く含まれる場合に、大きな値となる否定信号SNを計算する。この目的のために、否定信号計算部32は、否定メトリック記憶部6から否定メトリック
信号MNを読み出し、否定信号SNを
Figure 2004295912
と計算する。
肯定メトリック信号MYと否定メトリック信号MNは、後述するようにキーワード群信号Ksとユーザーの応答に基づいて決められる。本発明では、このように計算された肯定信号SYと否定信号SNを用いて、図9に示したように縦軸に肯定信号SYをとり横軸に否定信号SNをとった2次元空間上の1点に、情報データDを対応させることができる。この2次元空間における情報データDの分布は、ユーザーが必要とするもの(○で表示)は主に左上部に分布し、ユーザーが不要とするもの(×で表示)は主に右下部に分布するようになる。したがって、図10に示したように適切な係数Cを定めることにより、ユーザーが必要とする情報データDと不要な情報データDとを分離できる。
さらに、以下に述べるこの係数Cを用いて計算される必要性信号Nは、上述の2次元空間で左上にある程、すなわち、必要性の高いと予測される情報データDほど大きな値となる。したがって、必要性信号Nの大きい順に情報データDを並べて提示すれば、ユーザーは必要な情報を効率よく手に入れることができる。必要性信号Nと直交する方向の信頼性信号Rは、大まかにはキーワード群信号Ksに含まれていたキーワードのうちどのくらいのキーワード信号が辞書に含まれていたかを示す信号である。したがって、この信頼性信号Rの大きさは、情報フィルタが計算した必要性信号Nがどれだけ信頼できるのかを示す。
次に、必要性計算部7は、前記肯定信号計算部31から出力される前記肯定信号SYと前記否定信号計算部32から出力される前記否定信号SNとを受け、判定パラメータ記憶部8から判定パラメータ信号Cを読み出し、過去必要であった情報についていたキーワードが多数あり、不要であった情報についていたキーワードがほとんどない時に大きな値となる必要性信号Nを
N=SY−C・SN
と計算し、信頼性信号Rを
R=C・SY+SN
と計算する。
未読データ書き込み制御部9の動作を、図4に示したフローチャートを参照しながら説明する。まず、それぞれの入力端子から前記情報データDと前記キーワード数信号nofKsと前記キーワード群信号Ksと受け、必要性計算部7から前記必要性信号Nと前記信頼性信号Rとを受け、未読データ部指示端子110から出力する未読データ処理信号WIを0から1に変える(図4ステップ(イ))。次に、i=1とし(同図ステップ(ロ))、未読データ記憶部10に記憶された未読データURD[i]の必要性信号N[i](i=1,・・・,nofURD)を順次読み出し、前記必要性信号Nと比較し(同図ステップ(ハ))、前記必要性信号Nが未読データURD[i]の必要性信号N[i]より大きくなる(N≧N[i])最初の未読データの番号i1を検出する(同図ステップ(ニ)(ホ))。
i1番目以降の未読データを
URD[i+1]=URD[i] i=i1,・・・,nofURD
と置き換え(同図ステップ(ヘ)〜(リ))、その後、i1番目の未読データURD[i1]を
N[i1] =N
R[i1] =R
nofKs[i1] =nofKs
Ks[i1] =Ks
D[i1] =D
と前記必要性信号N等で置き換える(同図ステップ(ヌ))。この置き換えが終了すると、未読データ部指示端子110から出力する未読データ部指示信号WIを0に戻し(同図ステップ(ル))、処理を終了する。
次に、未読データUDRを読みだし、ユーザーの応答(教師信号T)を付加して教師データ信号TDをつくるインタフェースユニット51について説明する。インタフェースユニット51の動作を図5に示したフローチャートを参照しながら説明する。
データ読み出し開始信号入力端子103から、データ読み出し開始信号DOが入力される(図5ステップ(イ))。未読データ出力制御部11は、前記未読データ記憶部10から1番目の未読データURD[1]を読み出し(同図ステップ(ロ))、未読データの必要性信号N[1]が最小値Vminより大きい場合には、未読データ信号URD[1]の情報信号D[1]を表示情報信号DDとしてデータ表示端子104に出力し、待機する(同図ステップ(ハ)、(ニ))。未読データの必要性信号N[1]が最小値Vminに等しい場合には、表示情報信号DDを「データなし」としてデータ表示端子104に出力し、待機する(同図ステップ(ホ))。
ユーザー(図示せず)は、データ表示装置(図示せず)に表示された表示情報信号DDを見て、それが必要な情報である場合には教師信号T=1、必要でない場合には教師信号T=0、処理を終了する場合には教師信号T=−1として、教師信号入力端子105に返す(同図ステップ(ヘ))。教師信号T=−1の場合、処理を終了し、教師信号T≠−1の場合には(同図ステップ(ト))、未読データ出力制御部11は、教師データ記憶部13の(数2)で表わされる教師データを
TD[i]=TD[i−1], i=2,・・・,nofTD
と置き換え(同図ステップ(ル))、1番目の教師データTD[1]を前記教師信号Tと前記未読データのキーワード数信号nofKs[1]とキーワード群信号Ks[1]とを用いて
T[1] =T
TnofKs[1] =nofKs[1]
TKs[1] =Ks[1]
と置き換え(同図ステップ(ル)、(ヲ))、前記未読データ記憶部10の未読データURDを
URD[i]=URD[i+1], i=1,・・・,(nofURD−1)とし(同図ステップ(ワ)、(カ))、nofURD番目の未読データの必要性信号を
N[nofURD]=(最小値Vmin)
とする(同図ステップ(ヨ)、(タ)、(レ))。
次に、学習ユニット52の動作について図6〜図8に示したフローチャートを参照しながら説明する。
図6に学習制御部14の動作の概略を示すフローチャート示し、詳しく説明する。
図6において、まず、学習開始信号入力端子106から学習開始信号LSが入力され、学習制御部指示信号出力端子107から出力される学習制御部指示信号LIを0から1に変え(図6ステップ(イ))、処理中を示す。次に、スイッチ16とスイッチ17とスイッチ18とをメトリック学習部19と学習用ベクトル生成部20が接続する様に切り替える(同図ステップ(ロ))。
次に、図7のステップ(ハ)に対応するメトリック学習部19を動作し(同図ステップ(ハ)、判定面学習部21を動作させた後(同図ステップ(ニ))、LIを0として(同図ステップ(ホ))、処理を終了する。
次に、メトリック学習部19がユーザーの応答(教師信号T)とキーワード群信号Ksとを用いて、肯定/否定メトリック信号を修正する動作について図7を用いて説明する。
図7は、メトリック学習部19の動作のフローチャートであり、同図において、前記学習制御部14からメトリック学習制御信号MLCを受けた(図7ステップ(イ))メトリック学習部19は、肯定メトリック記憶部5から肯定メトリック信号MYを、否定メトリック記憶部6から否定メトリック信号MNをそれぞれ読み出す。
次に、メトリック学習部19は、教師データカウンタcの値を1にする(同図ステップ(ロ))。次に教師データ記憶部13からc番目の教師データ信号TD[c]を読み出し(同図ステップ(ハ))、教師データTD[c]の教師信号T[c]を調べる。前記教師信号T[c]が−1でない場合(T≠−1)には(同図ステップ(ニ))、教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群信号TKs[c]とを出力する(同図ステップ(ホ))。前記教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群TKs[c]とを受けた学習用ベクトル生成部20は、前述の情報フィルタリングユニット50のベクトル生成部1と同様の動作を行い、学習用ベクトル信号LVを出力する(同図ステップ(ヘ))。メトリック学習部19は、前記学習用ベクトル信号LVを受け、前記教師データTD[c]の教師信号T[c]がT=1である場合には(同図ステップ(ト))、肯定メトリック信号MYを
MY[i][j]=MY[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する(同図ステップ(チ))。
この処理により、肯定メトリック信号MYは、ユーザーが必要とした情報
データDについていたキーワード信号(複数)に対して大きな値を持つようになる。その結果、前述の肯定信号SYが、ユーザーが必要とする情報データDに対して大きくなるようになる。否定メトリック信号MNも以下のように同様の処理がなされる。
前記教師データTD[c]の教師信号T[c]がT=0である場合には、否定メトリック信号MNを
MN[i][j]=MN[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する(同図ステップ(リ))。
教師データカウンタの値を
c=c+1
と1だけ増やす(同図ステップ(ヌ))。
以下、メトリック学習部19は、同様の動作を、教師データTD[c]の教師信号T[
c]がT[c]=−1になるかまたはc=nofTDとなるまで繰り返す。T[c]=−1またはc=nofTDとなると(同図ステップ(ヲ))、メトリック学習の処理を終了し、メトリック学習制御信号MLCを学習制御部14に送る。
学習制御部14は、メトリック学習部19からのメトリック学習制御信号MLCを受けて、スイッチ16を学習用ベクトル生成部20とスコア計算部22とが接続するように切り替え、スイッチ17とスイッチ18を学習用ベクトル生成部20と判定面学習部21とが接続するように切り替える。学習制御部14は、判定面学習制御信号PLCを判定面学習部21に送る。
次に、判定面学習部21について、図8を用いて詳しく説明する。
判定面学習部21は、図10に示したように、肯定信号SYと否定信号SNを用いて2次元空間上に表現されたユーザーが必要とする情報データDとユーザーが不要とする情報データDとをもっともよく分離する係数Cを求めるものである。
この目的のために、図8に示したフローチャートに従って詳しく説明する。
まず、前記判定面学習制御信号PLCを受けて(図8ステップ(イ))、教師データカウンタcの値を1にする(同図ステップ(ロ))。教師データ記憶部13からc番目の教師データ信号TD[c]を読み出し(同図ステップ(ハ))、教師データTD[c]の教師信号T[c]を調べる(同図ステップ(ニ))。前記教師信号T[c]が−1でない場合(T≠−1)には、教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群信号TKs[c]とを出力する(同図ステップ(ホ))。前記教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群TKs[c]とを受けた学習用ベクトル生成部20は、前述した情報フィルタリングユニット50のベクトル生成部1と同様の動作を行い、学習用ベクトル信号LVを出力する。
学習用スコア計算部22は、前述した情報フィルタリングユニット50のスコア計算部3と同様の動作を行い、学習用肯定信号LSY[c]と学習用否定信号LSN[c]とを出力し、判定面学習部21がそれを受ける(同図ステップ(ヘ))。前記学習用肯定信号LSY[c]と前記学習用否定信号LSN[c]と教師データTD[c]の教師信号T[c]と判定面学習用信号TC[c]=(T[c],LSN[c],LSY[c])を内部の記憶素子に記憶する(同図ステップ(ト))。そして、教師データカウンタの値を
c=c+1
と1だけ増やす(同図ステップ(チ))。
以下、判定面学習部21は、同様の動作を、教師データTD[c]の教師信号T[c]がT[c]=−1になるかまたはc=nofTD+1となるまで繰り返す(同図ステップ(リ))。T[c]=−1またはc=nofTDとなると、学習用肯定信号LSY[c]計算等の処理を終了する。
次に、判定面学習部21は、内部の記憶素子に記憶された判定面学習用信号TC[c](c=1、・・・)は、横軸をLSN[c]、縦軸をLSY[c]とし、T[c]=1を○、T[c]=0を×で示すと、図9に示すような分布となる。これらのうち、教師信号T[c]=1であるものと前記教師信号T[c]=0であるものとが、図10に示したように最もよく分離できる判定パラメータCを、山登り法によって計算する(同図ステップ(ヌ))。次に前記判定パラメータCを判定パラメータ記憶部8に書き込み、学習制御部14に判定面学習制御信号PLCを送り(同図ステップ(ル))、処理を終了する。
学習制御部14は、判定面学習部21から判定面学習制御信号PLCを受け、学習制御部
指示信号は待機中を示す値にし、処理を終了する。
図10に示したように、上述の2つのメトリック信号を用いてキーワード群信号を肯定信号SYと否定信号SNとで表される2次元空間上で、ユーザーが必要とする情報は主に左上に、不要な情報は右下に分布するようになる。したがって、上記ように適切な係数Cを用いて必要性信号をN=SY−C・SNとすれば、必要性信号は、ユーザーが必要とする情報に対して大きな値をとるようになる。
なお、判定パラメータCの計算方法として、ここでは、山登り法を採用したが、判定面と学習用必要性信号LNと学習用信頼性信号LRとの距離に基づいて構成されるコスト関数
Figure 2004295912
を最大にする判定面パラメータCをニュートン法、挟み撃ち法などで求める方法であってもよい。
また、肯定メトリック信号MYと否定メトリック信号MNの学習を忘却の効果を入れた
MY[i][j]=α・MY[i][j]+LV[i]・LV[j]
MN[i][j]=β・MN[i][j]+LV[i]・LV[j]
を用いてもよい結果が得られる。(ここで、αとβとは、1より小さい正の数)
さらに、文献「情報処理学会技術報告、自然言語処理101−8(1994.5.27)」などに記載された文書からキーワード群信号とキーワード数信号を生成するキーワード生成部を付加する構成をとれば、キーワードが与えられていない情報に対しても適用できる情報フィルタ装置を構成することができる。
タイトルがつけられた情報については、タイトルを構成する単語をもってキーワードとし、キーワード数信号とキーワード群信号を生成してもよい。
加えて、キーワード信号は、国際特許分類番号など分類記号を含むようにもしても、本発明の構成を変更する必要はなく、よい結果をえることができる。
また、本発明の実施の形態1では、未読データURDを1つずつ提示する場合について示したが、表示装置(図示せず)の大きさによっては、複数の未読データURDを同時に表示し、使用者が複数表示されたどの未読データに対して応答したのかが正しく情報フィルタ装置に伝えられるような構成を取ることは容易である。
本発明の情報フィルタの根幹は、図7のフローチャートのト、チ、リに示したように、ユーザーの応答とキーワードとの関係をキーワードの同時出現に注目した肯定メトリック信号MY、否定メトリック信号に反映させ、この2つのメトリック信号を用いてキーワード群信号を肯定信号SYと否定信号SNとに変換することで、キーワードという記号情報を距離の定義された空間に射影したものである。これによって、キーワード群の遠近を距離というアナログ尺度で評価することができるようになる。これを利用することにより、従来の技術では必要か不要かの二者択一的な判定しかできなかった必要性の評価が、ユーザーの必要性の順番に並べるといったことが可能になる。
本発明の実施の形態1の情報フィルタ装置によれば、ユーザーからの教師信号に基づいた学習によって、ユーザーの必要とする情報に対しては、必要性信号が大きな値を取るようになり、その結果、表示装置等のインタフェースユニットには、ユーザーにとって必要性が高い情報が優先的に表示されるようになる。
(実施の形態2)
以下、本発明の第2の実施の形態について、図面を参照しながら説明する。実施の形態2は、実施の形態1の構成に辞書学習部を付加し、辞書記憶部2に記憶された符号辞書信号DCKが使用者に適応するように更新し、かつ肯定メトリック信号MYと否定メトリック信号MNを単純な頻度分布に対応するキーワードの自己相関行列から、情報が必要/不要の出現するキーワードの確率分布を考慮したものへと改良したものである。
図11に本発明の実施の形態2の情報フィルタ装置のブロック結線図を示すが、前述した本発明の実施の形態1の情報フィルタ装置のブロック結線図と異なる構成について詳細に説明する。
図11において、23は学習制御部14からの辞書学習信号DLCを受け辞書記憶部2の符号辞書信号DCKを更新する辞書学習部、24は文字列Wと数字Cがキーワード群信号Ksに含まれていたときに使用者が情報データDを必要と解答した回数を示す肯定回数PYと文字列Wがキーワード群信号Ksに含まれていたときに使用者が情報データDを不要と解答した回数を示す否定回数PNとからなる表をnofFDCK個有する適応符号辞書信号
Figure 2004295912
を記憶した適応符号辞書信号記憶部、25は使用者が必要と答えた回数を示す全肯定回数信号NYと不要と答えた回数を示す全否定回数信号NNを記憶する回数記憶部、26は肯定メトリック更新用の1次肯定メトリック信号MY1を記憶する1次肯定メトリック記憶部、27は否定メトリック更新用の1次否定メトリック信号MN1を記憶する1次否定メトリック記憶部、28は前記肯定回数信号と前記否定回数信号と前記1次肯定メトリック信号MY1と前記1次否定メトリック信号MN1とから改良された肯定メトリック信号MYと否定メトリック信号MNを計算してそれぞれを肯定メトリック記憶部5と否定メトリック記憶部6に書き込むKDメトリック学習部である。
以上のように構成された情報フィルタ装置について、図面を用いて動作を説明する。ただし、動作が実施の形態1と同様の個所は説明を省略する。
情報フィルタ装置の好ましい初期状態の一例は、肯定メトリック信号MYと否定メトリック信号MNとを(nofDCK×nofDCK)零行列、未読データ記憶部10の未読データURD[i]の全ての必要性信号N[i](i=1,・・・,nofURD)を使用するハードウエアが表現可能な最小の値Vmin、教師データ記憶部13の教師データTD[j]の教師信号T[j]を全て−1、適応符号辞書信号の文字列Wを全てブランク、数字Cを符号辞書信号FDCKの上から順に1、2、・・・・、nofFDCK、肯定回数PYと否定回数P
Nを0、適応符号辞書に対応して、符号辞書の文字列も全てブランクとした状態である。
まず、情報フィルタリングユニット50の動作を説明する。
上述の初期状態の場合、実施の形態1に記載した通りの動作を情報フィルタリングユニット50は行い、入力されたキーワード数信号nofKs、キーワード群信号Ks、情報データDから必要性信号N、信頼性信号Rをともに0と計算し、未読データ記憶部10に格納する。
次に、インタフェースユニット51は、実施の形態1と同じ動作を行い、使用者の応答が付いた教師データTDを教師データ記憶部13に送る。
学習ユニット52の動作は、まず、学習開始信号入力端子106から学習開始信号LSが入力される。学習制御部14は、前記学習開始信号LSを受けて、学習制御部指示信号出力端子107から出力される学習制御部指示信号LIを0から1に変え、処理中を示す。更に、辞書学習信号DLCを辞書学習部23に送る。
以下、図12に示したフローチャートを参照しながら辞書学習部23の動作を説明する。まず、辞書学習信号DLCを受けて(図12ステップ(イ))、適応符号辞書記憶部24から適応符号辞書FDCKを最大nofFDCKtmp個の適応符号信号を記憶できる適応符号信号バッファに読み込み、回数記憶部25から全肯定回数信号NYと全否定回数信号NNとを、1次肯定メトリック記憶部26から1次肯定メトリック信号MY1を、1次否定メトリック信号記憶部27から1次否定メトリック信号MN1を読み出す(同図ステップ(ロ))。次に内部の教師データカウンタcの値を1にし(同図ステップ(ハ))、教師信号記憶部13から教師データTD[c]を読み出し(同図ステップ(ニ))、その教師信号T[c]が−1であるか否かを判定する(同図ステップ(ホ))。
T[c]≠−1の場合、以下の処理を行う。まず、内部のキーワード数カウンタiの値を1にセットし(同図ステップ(ヘ))、適応符号辞書カウンタjの値を1にセットする(同図ステップ(ト))。次に、前記文字列W[j]がブランクであるかないかを判定し(同図ステップ(チ))、ブランクである場合には、前記文字列W[j]を前記キーワード信号TK[i]で置き換える(同図ステップ(リ))。ブランクでない場合には、教師データTD[c]のi番目のキーワード信号TK[i]とj番目の適応符号辞書信号FDCK[j]の文字列W[j]とを比較する(同図ステップ(ヌ))。
前記文字列W[j]がブランクの場合、または、ブランクでなくかつ前記キーワード信号TK[i]と前記文字列W[j]が一致した場合、T[c]の値に応じて以下の処理を行う。T[c]=1の場合(同図ステップ(ル))、全肯定信号NYに1を加え(同図ステップ(ヲ))、適応符号辞書信号FDCK[j]の肯定回数PY[j]に1を加える(同図ステップ(ワ))。T[c]≠1、これはT[c]=0の場合であるが、全否定信号NNに1を加え(同図ステップ(カ))、適応符号辞書信号FDCK[j]の否定回数PN[j]に1を加える(同図ステップ(ヨ))。
前記W[j]がブランクでなくかつ前記キーワード信号TK[i]と前記文字列W[j]が一致しない場合、適応符号辞書カウンタjの値を1増やす(同図ステップ(タ))。適応符号辞書カウンタjの値が適応符号辞書信号バッファに記憶できる適応符号信号の数に1を加えた値nofFDCKtmp+1と比較する(同図ステップ(レ))。適応符号辞書カウンタjの値が、nofFDCKtmp+1以下の場合、文字列W[j]がブランクかどうかの判定に戻る。
それ以外の場合は、前記キーワードカウンタiの値を1だけ増やす(同図ステップ(ソ
))。
前記キーワードカウンタiの値が、前記教師データTD[c]のキーワード数信号TnofKSに1を加えた値TnofKs+1と比較して小さい場合(同図ステップ(ツ))、辞書カウンタjを1にセットし、同様の処理を行う。それ以外の場合、教師データカウンタcの値を1だけ増やす(同図ステップ(ネ))。教師データカウンタcの値と教師データ数nofTDに1を加えた値nofTD+1とを比較し(同図ステップ(ナ))、教師データカウンタcの値が小さい場合、次の教師データTD[c]を読み出し同様の処理を行う。
以上の処理が、全ての教師データTDに対して行われる。
次に、辞書学習部23は、各々の適応符号辞書信号FDCK[j]に対し、キーワードコスト信号KDを計算する。このキーワードコスト信号は、文字列W[j]がキーワードとして有効であるか否かを判断するために用いられる量である。
ところで、使用者の不要な情報データDが出現する確率
NN/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって不要である場合の確率
PN[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであれば、文字列W[j]は、情報データDが使用者にとって不要と判定する上で有効である。同様に、使用者の必要な情報データDが出現する確率
NY/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって必要である場合の確率
PY[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようものであれば、文字列W[j]は、情報データDが使用者にとって必要と判定する上で有効である。
キーワードコスト信号KDは、この性質を反映している量で有ればなんでもよいが、好ましい例の一つとして、カルバックダイバージェンスと呼ばれる
Figure 2004295912
が考えられる。しかし、これは、そのままでは、本情報フィルタ装置の初期状態など、全肯定回数信号NY、全否定回数信号NN、肯定回数PY[j]、否定回数PN[j]が0のときには、log()の計算ができない、
PY[j]+PN[j]≒1
を満たす適応符号辞書信号FDCK[j]のキーワードコスト信号を過大評価する等不適切な場合がある。これを回避する好ましい実施の形態の一つは、キーワードコスト信号を
Figure 2004295912
とするものである。ここで、εは0でのわり算、log0を避けるための小さな正の値を持つパラメータである。パラメータPCは、3程度の値とするとよい。
次に、適応符号辞書信号FDCK[j]の文字列W[j]と肯定回数PY[j]と否定回数PN[j]とをキーワードコスト信号KDの大きい順に並べ替える(同図ステップ(ラ))。このとき、適応符号辞書FDCK[j]の数字C[j]には、最初の並び順が残っている。これを利用して、1次肯定メトリック信号MY1とC[j]から、C[i]、C[j]の値がともに符号辞書DCKの数nofDCKより小さい場合、
M[i][j]=MY1[C[i]][C[j]], i,j=1、・・nofDCKその他の場合は、i=jの場合は、
M[i][i]=PY[C[i]], i,=1、・・nofDCK
i≠jの場合は、
M[i][j]=0, i,j=1、・・nofDCK
とした上で、
MY1[i][j]=M[i][j]、i,j=1、・・nofDCK
と1次肯定メトリック信号MY1の置き換えを行う。1次否定メトリック信号MN1に対しても、同様の置き換えを行う(同図ステップ(ム))。
そして、適応符号辞書信号バッファ内の適応符号辞書FDCK[j]の数字C[j]をC[j]=j、j=1、・・・、nofFDCKtmp
と置き換える。
以上の処理を終えると、辞書学習部23は、適応符号辞書バッファ内の適応符号辞書FDCKの上位nofDCK個の文字列W[j]と数字C[j]を辞書記憶部2に書き込み、適応符号辞書バッファ内の適応符号辞書信号FDCK[j]の上位nofFDCK個を適応符号辞書記憶部24に書き込み、全肯定回数信号NYと全否定回数信号NNを回数記憶部25に書き込み、1次肯定メトリック信号MY1を1次肯定メトリック信号記憶部26に1次否定メトリック信号MN1を1次否定メトリック信号記憶部27に書き込む(同図ステップ(ウ))。
最後に、辞書学習信号DCLを学習制御部14に戻して(同図ステップ(ヒ))、処理を終了する。
次に、前記学習制御部14は、スイッチ16とスイッチ17とスイッチ18とをメトリック学習部19と学習用ベクトル生成部20が接続する様に切り替える。前記学習制御部14は、KDメトリック学習部28にメトリック学習制御信号MLCを送る。
前記メトリック学習制御信号MLCを受けたKDメトリック学習部28は、まず、1次
肯定メトリック記憶部26から1次肯定メトリック信号MY1を、1次否定メトリック記憶部27から1次否定メトリック信号MN1をそれぞれ読み出す。
次に、KDメトリック学習部28は、教師データカウンタcの値を1にする。
教師データ記憶部13からc番目の教師データ信号TD[c]を読み出し、教師データTD[c]の教師信号T[c]を調べる。前記教師信号T[c]が−1でない場合(T≠−1)には、教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群信号TKs[c]とを出力する。前記教師データTD[c]のキーワード数信号TnofKs[c]とキーワード群TKs[c]とを受けた学習用ベクトル生成部20は、前述した実施の形態1の情報フィルタリングユニット50のベクトル生成部1と同様の動作を行い、学習用ベクトル信号LVを出力する。KDメトリック学習部28は、前記学習用ベクトル信号LVを受け、前記教師データTD[c]の教師信号T[c]がT=1である場合には、1次肯定メトリック信号MY1を
MY1[i][j]=MY1[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する。前記教師データTD[c]の教師信号T[c]がT=0である場合には、1次否定メトリック信号MN1を
MN1[i][j]=MN1[i][j]+LV[i]・LV[j]
(ここで、i,j=1〜nofDiC)
と修正する。教師データカウンタの値を
c=c+1
と1だけ増やす。
以下、KDメトリック学習部28は、同様の動作を、教師データTD[c]の教師信号T[c]がT[c]=−1になるかまたはc=nofTDとなるまで繰り返す。T[c]=−1またはc=nofTDとなると、1次肯定メトリック信号MY1と1次否定メトリック信号MN1の学習を終える。
次に、回数記憶部25から全肯定回数信号NYと全否定回数信号NNを読み出し、1次肯定メトリック信号MY1と1次否定メトリック信号MN1とを用いて、肯定メトリック信号MYを計算する。
こうして計算される肯定メトリック信号MY、否定メトリック信号MNは、キーワードコスト信号KDと同様、計算される肯定信号SYと否定信号SNが、使用者の不要な情報データDが出現する確率
NN/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって不要である場合の確率
PN[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであり、使用者の必要な情報データDが出現する確率
NY/(NY+NN)
と比較して、文字列W[j]が付いている情報データDが使用者にとって必要である場合の確率
PY[j]/(PY[j]+PN[j])
が大きく異なる場合に、大きくなるようなものであるといった性質を持っていれば、なんでもよい。これを満たす好ましいのは、肯定メトリック信号MYを
Figure 2004295912
と計算し、否定メトリック信号MNを
Figure 2004295912
と計算する。ここで、εは0でのわり算、log0を避けるための小さな正の値を持つパラメータである。
そして、更新された1次肯定メトリック信号MY1を1次肯定メトリック信号記憶部26に、更新された1次否定メトリック信号MN1を1次否定メトリック信号記憶部27に、新たに計算された肯定メトリック信号MYを肯定メトリック記憶部5へ、新たに計算された否定メトリック信号MNを否定メトリック記憶部6へ書き込む。以上で、KDメトリック学習部28は、メトリック学習の処理を終了し、メトリック学習制御信号MLCを学習制御部14に送る。
学習制御部14は、KDメトリック学習部28からのメトリック学習制御信号MLCを受けて、スイッチ16を学習用ベクトル生成部20とスコア計算部22とが接続するように切り替え、スイッチ17とスイッチ18を学習用ベクトル生成部20と判定面学習部21とが接続するように切り替える。学習制御部14は、判定面学習制御信号PLCを判定面学習部21に送る。
判定面学習部21の動作は、実施の形態1と全く同じであるので、説明は繰り返さない。
一度、以上の処理が行われると、辞書記憶部2の符号辞書が空でなくなるので、情報フィルタリングユニット50から出力される必要性信号N、信頼性信号Rは、0でなくなり、使用者の必要性の高い情報データが、未読データ記憶部10の上位に書き込まれるようになる。
以後、上記処理を繰り返すことにより、使用者が必要とする情報か不要かを判定するために有効なキーワードが優先的に辞書記憶部2に記憶されるようになり、小規模な辞書であっても、精度の高い情報フィルタリングが可能となる。
なお、判定パラメータCの計算方法として、ここでは、山登り法を採用したが、実施の形態1と同様、判定面と学習用必要性信号LNと学習用信頼性信号LRとの距離に基づい
て構成されるコスト関数を最大にする判定面パラメータCをニュートン法、挟み撃ち法などで求める方法であってもよい。さらに、簡便な方法として、
C=tanθi
ここで、
θi=0.5・π(i/90) i=1,・・・,90
の中から、T[c]=1である情報とT[c]=0である情報をもっともよく分離できるCを選ぶと言う方法も考えることができる。
また、1次肯定メトリック信号MY1と1次否定メトリック信号MN1の学習を忘却の効果を入れた
MY1[i][j]=α・MY1[i][j]+LV[i]・LV[j]
MN1[i][j]=α・MN1[i][j]+LV[i]・LV[j]を用いてもよい結果が得られる。(ここで、αは、1より小さい正の数)
もしくは、MY1[i][j]またはMN1[i][j]のいずれかが一定値を越えた場合に、
MY1[i][j]=MY1[i][j]/2
MN1[i][j]=MN1[i][j]/2
として、信号のオーバーフローを防ぐように構成することは、実施上好ましい。これは、適応符号辞書信号FDCK[j]の肯定回数PY[j]と否定回数PN[j]、および全肯定回数信号NYと全否定回数NNについても同様である。
さらに、文献「情報処理学会技術報告、自然言語処理101−8(1994.5.27)」などに記載された文書からキーワード群信号とキーワード数信号を生成するキーワード生成部を付加する構成をとれば、キーワードが与えられていない情報に対しても適用できる情報フィルタ装置を構成することができる。
タイトルがつけられた情報については、タイトルを構成する単語をもってキーワードとし、キーワード数信号とキーワード群信号を生成してもよい。
加えて、キーワード信号は、国際特許分類番号など分類記号を含むようにもしても、本発明の構成を変更する必要はなく、よい結果をえることができる。
また、本実施の形態では、未読データURDを一つずつ提示する場合について示したが、表示装置(図示せず)の大きさによっては複数の未読データURDを同時に表示し、使用者がどの未読データURDについて応答したのかを正しく情報フィルタ装置に伝える構成をとることは容易である。
以上、本発明の実施の形態2の情報フィルタの根幹は、キーワードの同時出現に注目したメトリックを導入することにより、キーワードという記号情報を距離の定義された空間に射影したことにある。これによって、キーワード群の遠近を距離というアナログ尺度で評価することができるようになる。これを利用することにより、従来の技術では必要か不要かの二者択一的な判定しかできなかった必要性の評価が、ユーザーの必要性の順番に並べるといったことが可能になる。
本実施の形態による情報フィルタによれば、ユーザーからの教師信号に基づいた学習によって、ユーザーの必要とする情報に対しては、必要性信号が大きな値を取るようになり、その結果、表示装置等には、ユーザーにとって必要性が高い情報が優先的に表示されるようになる。
本発明にかかるデータ処理装置は、情報をユーザーの必要度にしたがって並べ、ユーザーに対して必要性の高い情報から順に提供することにより、初心者にも精度の高い情報を得るという効果を有し、電子または光等を媒体とする記憶装置から必要な情報を取り出し易くするデータ処理装置等に適応できる。
本発明の実施の形態1の情報フィルタ装置のブロック結線図 本発明の実施の形態1の情報フィルタ装置の概略を示すブロック結線図 本発明の実施の形態1の情報フィルタ装置のベクトル生成部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置の未読データ書き込み制御部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置の未読データ出力制御部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置の学習制御部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置のメトリック学習部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置の判定面学習部の動作を説明するフローチャート 本発明の実施の形態1の情報フィルタ装置の判定面学習部の動作を説明するための図 本発明の実施の形態1の情報フィルタ装置の判定面学習部の動作を説明するための図 本発明の実施の形態2の情報フィルタ装置のブロック結線図 本発明の実施の形態2の情報フィルタ装置の辞書学習部の動作を説明するフローチャート
符号の説明
1 ベクトル生成部
2 辞書記憶部
3 スコア計算部
5 肯定メトリック記憶部
6 否定メトリック記憶部
7 必要性計算部
8 判定パラメータ記憶部
9 未読データ書き込み制御部
10 未読データ記憶部
11 未読データ出力制御部
12 教師データ制御部
13 教師データ記憶部
14 学習制御部
16 スイッチ
17 スイッチ
18 スイッチ
19 メトリック学習部
20 学習用ベクトル生成部
21 判定面学習部
22 スコア計算部
23 辞書学習部
24 適応符号辞書記憶部
25 回数記憶部
26 1次肯定メトリック記憶部
27 1次否定メトリック記憶部
28 KDメトリック学習部
30 キーワード評価部
31 キーワード評価信号ソート部
32 キーワード検索式生成部
50 情報フィルタリングユニット
51 インタフェースユニット
52 学習ユニット
100 情報入力端子
101 キーワード数信号入力端子
102 キーワード信号入力端子
103 データ読み出し開始信号入力端子
104 データ表示端子
105 教師信号入力端子
106 学習開始信号入力端子
107 学習制御部指示信号出力端子
110 未読データ部指示端子
111 キーワード検索式生成開始信号入力端子
112 キーワード検索式方法切り替え信号入力端子
113 キーワード検索式信号出力端子
114 項数信号入力端子

Claims (6)

  1. 情報は情報データと一つ以上のキーワードを含むものであり、
    未読情報を入力する入力手段と、
    前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組からキーワード毎にユーザーの必要性を予測する必要性予測値を計算する学習手段と、
    前記キーワード毎の必要性予測値と新たに入力された未読情報に付される一つ以上のキーワードとから前記未読情報に対するユーザーの必要性を予測する必要性信号を計算する必要性計算手段と、
    を有することを特徴とするデータ処理装置。
  2. 前記必要性計算手段からの未読情報と前記必要性信号とを前記必要性信号が大きな未読情報から優先的に有限個数未読データ記憶手段に書き込む書き込み制御手段を、さらに有することを特徴とする請求項1記載のデータ処理装置。
  3. 前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組は、教師データとして記憶する記憶手段をさらに有することを特徴とする請求項1または2記載のデータ処理装置。
  4. 前記教師データは、情報データをユーザーに提示し、前記提示された情報データが必要か不要かを入力することにより、前記情報データに付される一つ以上のキーワードと前記情報が必要か不要かを示す教師信号との組を教師データとして記憶することを特徴とする請求項3記載のデータ処理装置。
  5. 前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から、キーワード毎にユーザーの必要性を予測する必要性予測値を計算することを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。
  6. 前記キーワード毎にユーザーの必要性を予測する必要性予測値は、前記提示された情報に対してユーザーが必要とした頻度(全肯定回数信号)と、不要とした頻度(全否定回数信号)と、前記キーワードが付けられた情報に対してユーザーが必要とした頻度(肯定回数)と、不要とした頻度(否定回数)から計算されることを特徴とする請求項1乃至4のいずれかに記載のデータ処理装置。

JP2004155839A 1995-09-04 2004-05-26 データ処理装置 Expired - Lifetime JP3736564B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004155839A JP3736564B2 (ja) 1995-09-04 2004-05-26 データ処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP22617295 1995-09-04
JP3154796 1996-02-20
JP2004155839A JP3736564B2 (ja) 1995-09-04 2004-05-26 データ処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000341564A Division JP3622668B2 (ja) 1995-09-04 2000-11-09 情報フィルタ装置及び情報フィルタリング方法

Publications (2)

Publication Number Publication Date
JP2004295912A true JP2004295912A (ja) 2004-10-21
JP3736564B2 JP3736564B2 (ja) 2006-01-18

Family

ID=33424580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004155839A Expired - Lifetime JP3736564B2 (ja) 1995-09-04 2004-05-26 データ処理装置

Country Status (1)

Country Link
JP (1) JP3736564B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190012928A (ko) * 2017-07-31 2019-02-11 한국전자통신연구원 부하분산 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3156703B1 (ja) * 1995-09-04 2001-04-16 松下電器産業株式会社 メトリック学習装置及びメトリック学習方法
JP3244084B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 キーワード検索式生成装置及びキーワード検索式生成方法
JP3244005B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 情報フィルタ装置及び情報フィルタリング方法
JP3244083B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 適応辞書装置及び適応辞書方法
JP3622668B2 (ja) * 1995-09-04 2005-02-23 松下電器産業株式会社 情報フィルタ装置及び情報フィルタリング方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3156703B1 (ja) * 1995-09-04 2001-04-16 松下電器産業株式会社 メトリック学習装置及びメトリック学習方法
JP3244084B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 キーワード検索式生成装置及びキーワード検索式生成方法
JP3244005B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 情報フィルタ装置及び情報フィルタリング方法
JP3244083B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 適応辞書装置及び適応辞書方法
JP3622668B2 (ja) * 1995-09-04 2005-02-23 松下電器産業株式会社 情報フィルタ装置及び情報フィルタリング方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190012928A (ko) * 2017-07-31 2019-02-11 한국전자통신연구원 부하분산 장치 및 방법
KR102346109B1 (ko) * 2017-07-31 2022-01-03 한국전자통신연구원 부하분산 장치 및 방법

Also Published As

Publication number Publication date
JP3736564B2 (ja) 2006-01-18

Similar Documents

Publication Publication Date Title
US20170200077A1 (en) End-to-end memory networks
CN109299245B (zh) 知识点召回的方法和装置
US20200034689A1 (en) A method for retrieving a recommendation from a knowledge database of a ticketing system
JP3244005B2 (ja) 情報フィルタ装置及び情報フィルタリング方法
US20010047345A1 (en) Information filtering method and apparatus for preferentially taking out information having a high necessity
KR102285142B1 (ko) 챗봇을 위한 학습 데이터 추천 장치 및 방법
CN111046659B (zh) 上下文信息生成方法、上下文信息生成装置及计算机可读记录介质
CN111553159B (zh) 一种问句生成方法及系统
CN115952277A (zh) 基于知识关系检索增强方法、模型、设备及存储介质
JP3344953B2 (ja) 情報フィルタ装置及び情報フィルタリング方法
CN117435716B (zh) 电网人机交互终端的数据处理方法及系统
JP6924975B2 (ja) 音解析装置及びその処理方法、プログラム
CN117648429A (zh) 基于多模态自适应检索式增强大模型的问答方法及系统
CN117235281A (zh) 基于知识图谱技术的多元数据管理方法及系统
CN112712056A (zh) 视频语义分析方法、装置、存储介质及电子设备
JP3244084B2 (ja) キーワード検索式生成装置及びキーワード検索式生成方法
JP3244083B2 (ja) 適応辞書装置及び適応辞書方法
CN115203206A (zh) 数据内容搜索方法、装置、计算机设备及可读存储介质
JP3156703B1 (ja) メトリック学習装置及びメトリック学習方法
JP3203203B2 (ja) 情報フィルタ装置及び情報フィルタリング方法
JP3736564B2 (ja) データ処理装置
JP3622668B2 (ja) 情報フィルタ装置及び情報フィルタリング方法
JPH10240762A (ja) 情報フィルタ装置とデータベース再構築装置及び情報フィルタリング方法と初期化方法
CN114611519A (zh) 一种文本的实体关系抽取方法、装置及电子设备
CN114328820A (zh) 信息搜索方法以及相关设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050510

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091104

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091104

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101104

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111104

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121104

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121104

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131104

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term