JP2022059725A - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Abstract

【課題】ユーザに対し、トークンのペアを提示する際に、無作為にトークンのペアを選択する場合に比較して、これらの関連度を算出するために、より効率的なペアを選択することができる情報処理装置等を提供する。【解決手段】プロセッサを備え、プロセッサは、トークンのペアの選択をし、選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをし、受け付けた評価から、提示したトークンのペアの関連度の算出をし、算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた評価から提示したトークンのペアの関連度の算出を再度することを特徴とする情報処理装置。【選択図】図４

Description

本発明は、情報処理装置、情報処理システム、プログラムに関する。

従来より、トークンのペアの関連度を収集するために、ユーザに対し、トークンのペアを提示し、ユーザにより判断された関連度を取得し、これを基にトークンのペア関連度の算出を行う情報処理装置が存在する。

特許文献１には、あるアンケート目的に合わせて準備された評価対象項目の総数がきわめて多くても、個々のアンケート回答者にあまり負担をかけることなく回答してもらえ、多数の回答者からの多元的な回答を統計的に処理することで、多数の評価対象項目についてアンケート回答者の心理評価を的確に反映した有意義な一元的回答序列を導き出すための方法が記載されている。この方法では、回答分析プロセスにおいて、回答データベースに蓄積されたｎ個の重み付け提示項目セットを集計処理し、各１セット中のｉ個の評価対象項目の重み付けによるｎ次元の多元的序列をｎ個の提示項目セット間の接続関係に基づいて一元化し、ｍ個の評価対象項目に一元的回答序列を付与する。

特開２００２－３７３２３７号公報

しかしながら、トークンのペアの関連度の精度を向上させるためには、多くのトークンのペアの関連度をユーザが判断する必要があり、ユーザの負担が大きい。つまり、多くのトークンについて、これらのペアを提示してユーザの判断を求める場合、ペアの数が膨大になり、これらのペアの関連度を精度よく調べるには、ユーザが多くのペアの関連度を判断する必要がある。よって、トークンのペアを提示する際には、関連度を算出するのに、無作為にトークンのペアを提示するのではなく、関連度を算出するために、より効率的なトークンのペアを提示することが求められる。
本発明は、ユーザに対し、トークンのペアを提示する際に、無作為にトークンのペアを選択する場合に比較して、これらの関連度を算出するために、より効率的なペアを選択することができる情報処理装置等を提供することを目的とする。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、トークンのペアの選択をし、選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをし、受け付けた前記評価から、提示したトークンのペアの関連度の算出をし、算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度することを特徴とする情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、関連度を基に、トークンのペアをグループ化し、グループに含まれるトークンのペアをまとめてユーザに対し提示したときの、トークンのペアに対するユーザによる関連度の評価の受け付けをすることを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、関連度が同程度のトークンのペアを同じグループとすることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、関連度が大きいトークンのペアが含まれるグループについて、優先的に提示することを特徴とする請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記ユーザによる関連度の評価は、まとめて提示されたトークンのペアを、関連度に応じ並べ換えた後の順序であることを特徴とする請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、分散表現に基づき、選択の対象となるトークンのペアを予め作成することを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、分散表現に基づき複数のトークンをクラスタリングしてクラスタを作成し、各クラスタの中に属するトークンの間でペアを作成することを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、各クラスタの中に属するトークンの中から代表となるトークンである代表トークンを選択し、当該代表トークンと各クラスタに属する残りのトークンとの間でペアを作成することを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、代表トークン同士でさらにペアを作成することを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、算出したトークンのペアの関連度を基に分散表現を追学習し、追学習した分散表現を基にトークンのペアについての前記選択を再度行うことを特徴とする請求項６に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、算出したトークンのペアの関連度を基に、トークンのペアについての、前記選択、前記受け付けおよび前記算出を、算出したトークンのペアの関連度が収束するまで繰り返し行うことを特徴とする請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、トークンのペアの関連度を算出する情報処理装置と、前記情報処理装置が選択したトークンのペアをユーザに対し提示する提示装置と、を備え、前記情報処理装置は、プロセッサを備え、前記プロセッサは、トークンのペアの選択をし、選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをし、受け付けた前記評価から、提示したトークンのペアの関連度の算出をし、算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度することを特徴とする情報処理システムである。
請求項１３に記載の発明は、前記情報処理装置の前記プロセッサは、ユーザから検索の指示をさらに受け付け、算出したトークンのペアの関連度を基に、検索結果を決定することを特徴とする請求項１２に記載の情報処理システムである。
請求項１４に記載の発明は、コンピュータに、トークンのペアの選択をする機能と、選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをする機能と、受け付けた前記評価から、提示したトークンのペアの関連度の算出をする機能と、算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度する機能と、を実現させるためのプログラムである。

請求項１の発明によれば、トークンのペアを提示する際に、無作為にトークンのペアを選択する場合に比較して、これらの関連度を算出するために、より効率的なペアを選択することができる情報処理装置を提供することができる。
請求項２の発明によれば、ユーザが、複数のトークンのペアの関連度を同時に見て、これらの相対評価をすることができる。
請求項３の発明によれば、関連度が同程度の複数のトークンのペアについて、微妙な関連度の差異についての情報が得られる。
請求項４の発明によれば、トークンのペアの関連度を求める上で、より重要なものについてユーザの評価を得られる。
請求項５の発明によれば、トークンのペアの関連度について、さらに効率的に情報を収集することができる。
請求項６の発明によれば、予め準備するトークンのペアを、自動生成することができる。
請求項７の発明によれば、関連度が大きいと予想されるトークンのペアを生成できる。
請求項８、９の発明によれば、より多くのトークンをカバーしたトークンのペアを生成することができる。
請求項１０の発明によれば、ユーザが評価したトークンのペアの関連度と、自動的な手法によって得られる関連度とを組み合わせることで、両者の長所を両立し、トークンのペアの関連度を求めるのに、より好適なトークンのペアをユーザに提示することができる。
請求項１１の発明によれば、より適した終了条件を設定することができる。
請求項１２の発明によれば、トークンのペアを提示する際に、無作為にトークンのペアを選択する場合に比較して、これらの関連度を算出するために、より効率的なペアを選択することができる情報処理システムを提供することができる。
請求項１３の発明によれば、ユーザの目的に、より合致した検索結果を提示することができる。
請求項１４の発明によれば、トークンのペアを提示する際に、無作為にトークンのペアを選択する場合に比較して、これらの関連度を算出するために、より効率的なペアを選択することができる機能をコンピュータにより実現できる。

本実施の形態における情報処理システムの構成例を示す図である。 情報処理システムの動作の概略を説明した図である。 第１の実施形態の情報処理システムの機能構成例について説明したブロック図である。 第１の実施形態の情報処理システムの動作について示したフローチャートである。 複数のトークンのペアを表示し、これに対し、ユーザが、関連度の評価を入力した場合を示した図である。 （ａ）～（ｄ）は、トークンのペアのグループ分けの方法、およびグループ分けしたトークンのペアを提示する方法について説明した図である。 変形例１でのユーザによる関連度の評価の入力方法を示した図である。 第２の実施形態の情報処理システムの機能構成例について説明したブロック図である。 トークンのペアを、自動生成する方法について説明したフローチャートである。 複数のトークンをクラスタリングし、クラスタを作成した様子を示す概念図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜情報処理システム１の全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示する情報処理システム１は、端末装置１０として、端末装置１０ａ～１０ｄと、管理サーバ２０とが、ネットワーク３０を介して接続されることにより構成されている。
なお、図１では、端末装置１０は、４つ示しているが、その数は、１つ以上であればいくつであってもよい。

図１で、情報処理システム１は、トークンのペアの関連度を求める装置である。「トークンのペア」は、同種のデータの組み合わせであり、例えば、テキストの組み合わせである。この場合、テキストは、例えば、単語、複合語、文である。また、画像や音声の組み合わせであってもよい。トークンのペアは、通常は、２つのトークンの組み合わせであるが、３つ以上の組み合わせであってもよい。また、「トークンのペアの関連度」は、トークンのペアを構成するトークン同士の関連の程度を言う。トークンのペアの関連度は、例えば、０以上１０以下の数値により表すことができる。この場合、数値が大きいほど、トークンのペアの関連度が大きいことを表す。

端末装置１０は、管理サーバ２０が選択したトークンのペアをユーザに対し提示する提示装置の一例であり、ユーザの操作や管理サーバ２０の指示に従い、ユーザに対しトークンのペアの提示を行う。この場合、ユーザに対しトークンのペアを表示する。そして、ユーザから、トークンのペアの関連度の評価を受け付ける。端末装置１０は、例えば、汎用のパーソナルコンピュータ（ＰＣ）、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のコンピュータ装置である。そして、端末装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、トークンのペアの表示や評価の受け付けを行う。

管理サーバ２０は、トークンのペアの関連度を算出する情報処理装置の一例であり、情報処理システム１の全体の管理をするサーバコンピュータである。管理サーバ２０は、例えば、端末装置１０を操作するユーザの認証を行い、このユーザに対し、トークンのペアを提示する。そして、ユーザにより端末装置１０に入力されたトークンのペアの関連度に関する情報を取得し、トークンのペアの関連度を算出する。

端末装置１０および管理サーバ２０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ、およびＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージを備える。ここで、ＣＰＵは、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、端末装置１０および管理サーバ２０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示デバイスと、キーボード、マウス、タッチパネル等の入力デバイスとを備える。

ネットワーク３０は、端末装置１０および管理サーバ２０の間の情報通信に用いられる通信手段であり、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）である。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用してもよい。また、端末装置１０や管理サーバ２０は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されてもよい。

＜情報処理システム１の動作の概略説明＞
図２は、情報処理システム１の動作の概略を説明した図である。
まず、管理サーバ２０が、トークンのペアを選択する（１Ａ）。本実施の形態では、トークンのペアは複数である。そして、管理サーバ２０は、トークンのペアのデータを端末装置１０に対し送信する（１Ｂ）。
端末装置１０では、送信された複数のトークンのペアを表示し、ユーザに提示する（１Ｃ）。これに対し、ユーザは、提示されたそれぞれのトークンのペアに対し、関連度の評価をし、評価を入力する（１Ｄ）。この評価の結果は、管理サーバ２０に送られる（１Ｅ）。
管理サーバ２０では、送られた関連度の評価から、提示したトークンのペアの関連度を算出する（１Ｆ）。

以後、１Ａ～１Ｆの動作を繰り返す。即ち、管理サーバ２０では、トークンのペアについて再選択する（１Ａ）。次に、再度選択をしたトークンのペアのデータを端末装置１０に対し再送信する（１Ｂ）。そして、端末装置１０では、送信された複数のトークンのペアを、ユーザに再提示する（１Ｃ）。さらに、ユーザは、再提示されたそれぞれのトークンのペアに対し、関連度の再評価をし、評価の結果を入力する（１Ｄ）。そして、評価の結果は、管理サーバ２０に送られる（１Ｅ）。管理サーバ２０では、送られた関連度の評価から、再提示したトークンのペアの関連度を再び算出する（１Ｆ）。

＜情報処理システム１の詳細説明＞
［第１の実施形態］
次に、情報処理システム１の詳細説明を行う。
ここでは、まず、情報処理システム１の第１の実施形態について説明する。第１の実施形態では、情報処理システム１は、関連度を基に、トークンのペアをグループ化し、グループに含まれる複数のトークンのペアをまとめてユーザに対し提示する。そして、トークンのペアに対するユーザによる関連度の評価の受け付ける。また、トークンのペアを再提示する場合は、算出した関連度が同程度のトークンのペアについて再度選択をして再提示を行う。なお、ここで、「算出した関連度が同程度のトークンのペア」とは、算出した関連度の差が予め定められた範囲内に入るトークンのペアのことを言う。

図３は、第１の実施形態の情報処理システム１の機能構成例について説明したブロック図である。
なおここでは、情報処理システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。

図示する端末装置１０は、管理サーバ２０との間でデータの送受信を行う送受信部１１と、トークンのペアの表示を行う表示部１２と、ユーザが評価の入力を行なう入力部１３と、を備える。
送受信部１１は、ネットワーク３０を介し、管理サーバ２０から送られたトークンのペアを受信する。送受信部１１は、例えば、通信Ｉ／Ｆに対応する。
表示部１２は、ユーザの操作に応じ、管理サーバ２０で選択したトークンのペアを表示することで、トークンのペアをユーザに提示する。表示部１２は、例えば、表示デバイスに対応する。
入力部１３は、トークンのペアを見たユーザが、関連度の評価を行う際に、評価の結果を受け付ける。入力部１３は、例えば、入力デバイスに対応する。

また、管理サーバ２０は、端末装置１０との間でデータの送受信を行う送受信部２１と、ユーザの認証を行う認証部２２と、トークンのペアの選択をする選択部２３と、トークンのペアの関連度を算出する算出部２４と、処理の終了を判定する終了判定部２５と、トークンに関する情報を記憶する記憶部２６と、を備える。

送受信部２１は、端末装置１０に対し、選択したトークンのペアを送信する。また、送受信部２１は、選択したトークンのペアを、端末装置１０にてユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをする。送受信部２１は、例えば、通信Ｉ／Ｆに対応する。
認証部２２は、予め定められた方法で、ユーザの認証を行う。認証部２２は、例えば、ユーザから送られたユーザＩＤおよびパスワードと、記憶部２６に記憶されているユーザＩＤおよびパスワードとを比較する。その結果、両者が合致すれば、ユーザを認証する。

選択部２３は、トークンのペアを算出する。ここでは、トークンは、単語であり、記憶部２６には、多数の単語が記憶される。そして、選択部２３は、これらの単語の中から、ユーザの評価を受けるペアを選択する。
算出部２４は、送受信部２１が受け付けた評価から、提示したトークンのペアの関連度の算出をする。

終了判定部２５は、ユーザに対してトークンのペアを提示し、評価を取得する繰り返しの処理を終了するか否かを判定する。終了判定部２５は、算出部２４が算出したトークンのペアの関連度がほとんど変化しなくなった時点で終了する。即ち、算出したトークンのペアの関連度が収束した場合、一連の処理を終了する。また、繰り返しの処理が、予め定められた回数に達したときに終了するようにしてもよい。
記憶部２６は、トークンのペアやその関連度についての情報を記憶する、また、記憶部２６は、ユーザの評価を記憶する。

次に、本実施の形態の情報処理システム１の動作の例について、より詳細に説明を行なう。
図４は、第１の実施形態の情報処理システム１の動作について示したフローチャートである。
まず、管理サーバ２０の選択部２３が、トークンのペアを選択する（ステップ１０１）。本実施の形態では、選択部２３が選択するトークンのペアは複数である。
そして、送受信部２１は、トークンのペアのデータを端末装置１０に対し送信し、端末装置１０では、送受信部１１がトークンのペアのデータを受信する（ステップ１０２）。

さらに、表示部１２が、これらのトークンのペアを表示し、ユーザに提示する（ステップ１０３）。これに対し、ユーザは、提示されたそれぞれのトークンのペアに対し、関連度の評価をし、評価を入力する（ステップ１０４）。評価は、入力部１３が受け付ける。

図５は、複数のトークンのペアを表示し、これに対し、ユーザが、関連度の評価を入力した場合を示した図である。
ここでは、図示するように、複数のトークンのペアとして、ｗｏｒｄ１とｗｏｒｄ２の組が表示されている。そして、ｓｃｏｒｅ（１～１０）の欄に、ユーザが評価を、１～１０の数値として入力した場合を示している。この場合、ｓｃｏｒｅは、数値が大きくなるほど関連性が大きく、数値が小さくなるほど関連度が小さいと評価されたことを意味する。
本実施の形態では、関連度を基に、トークンのペアをグループ化し、図５に示すように、グループに含まれる複数のトークンのペアをまとめてユーザに対し提示する。この場合、関連度が同程度の複数のトークンのペアを、ユーザに対し同時に提示する。また、提示する数は、ユーザが、同時に検討可能なペア数が望ましい。
なおここでは、ユーザは、１～１０の連続値のうち何れかの数値を入力したが、連続値でなく離散値であってもよい。また、スライダー等による入力でもよい。

図４に戻り、評価の結果は、送受信部１１を介し、管理サーバ２０に送信し、送受信部２１が取得する（ステップ１０５）。
次に、算出部２４が、ユーザの評価から、提示したトークンのペアの関連度を算出する（ステップ１０６）。
そして、算出部２４は、記憶部２６に算出したトークンのペアの関連度を保存する（ステップ１０７）。

次に、終了判定部２５は、一連の処理を終了するか否かを判定する（ステップ１０８）。終了判定部２５は、上述したように、算出したトークンのペアの関連度が収束した場合、一連の処理を終了する。言い換えれば、一連の処理は、算出したトークンのペアの関連度が収束するまで繰り返し行われる。具体的には、終了判定部２５は、算出部２４が算出したトークンのペアの関連度と、記憶部２６に保存されたトークンのペアの関連度との差を求める。即ち、算出部２４が算出したトークンのペアの関連度と、算出部２４が前回算出したトークンのペアの関連度との差を求める。そして、この差が、予め定められた規定値以下のペアの数をカウントする。このとき、このペアの数が規定値以上であれば、関連度が収束したと考えられるため、終了判定部２５は、処理を終了する旨の判定を行う。なお、ペアの数ではなく、予め定められた規定値以下のペアの割合であってもよい。
対して、このペアの数が規定値未満であれば、処理を終了しない旨の判定を行う。

そして、終了判定部２５が、終了する旨の判定を行った場合（ステップ１０８でＹｅｓ）、処理を終了する。
一方、終了判定部２５が、終了しない旨の判定を行った場合（ステップ１０８でＮｏ）、ステップ１０１に戻る。そして、ステップ１０１～ステップ１０８の処理が再度行われる。つまり、算出した関連度が同程度のトークンのペアについて再度選択する（ステップ１０１）。さらに、再度選択したトークンのペアをユーザに対し再度提示する（ステップ１０３）。これに対し、ユーザは、提示されたそれぞれのトークンのペアに対し、関連度の評価をし、評価を入力する（ステップ１０４）。これにより、再度提示したトークンのペアに対するユーザによる関連度の受け付けを再度する。またさらに、再度受け付けた評価から提示したトークンのペアの関連度の算出を再度する（ステップ１０６）。

このとき、ステップ１０１で再選択を行う際には、関連度が同程度のトークンのペアを同じグループとする。これは、算出した関連度が同程度のトークンのペアについて、同じグループとなるように、選択をする、と言うこともできる。
また、ステップ１０３では、関連度が大きいトークンのペアが含まれるグループについて、優先的に提示するようにする。

図６（ａ）～（ｄ）は、トークンのペアのグループ分けの方法、およびグループ分けしたトークンのペアを提示する方法について説明した図である。
ここでは、トークンのペアをグループ分けするのに、例えば、トークンのペアを関連度順に並べ、既定の提示数ごとに分割することで行う。
図６（ａ）は、トークンのペアを関連度順に並べた場合を示している。ここでは、図中上方にあるほど、算出部２４が算出した優先度が大きく、下方にあるほど算出部２４が算出した優先度が小さいことを示している。
そして、トークンのペアを提示数として、例えば、１０を設定し、トークンのペアを１０個ずつに区切り、グループ分けを行う。ここでは、例えば、グループＡ、グループＢ、グループＣ、グループＤ、グループＥ … にグループ分けされたことを示している。

さらに、グループ分けしたトークンのペアを提示するときは、関連度が大きいトークンのペアが含まれるグループについて、優先的に提示するようにする。この場合、図６（ｂ）～（ｃ）に示した順で表示される。即ち、グループＡ、グループＢ、グループＣの順に表示が行われる。ただし、この表示は、グループ分けされた全てのグループに対し行う必要はなく、規定値以上の関連度を有するグループだけとすることができる。この場合、例えば、グループＤ以降は、表示を行わない。関連度が小さいと算出されたトークンのペアについては、重要度が低く、このようなトークンのペアが属するグループについて表示せず、ユーザの評価も受けないことで、ユーザの負担を軽減することができる。

なお、ユーザが評価を行う際の、レイアウトの影響を低減するために、レイアウトをランダマイズしてもよい。これにより、同じトークンのペアであっても再度表示される際には、異なる位置に表示されることになり、レイアウトの影響を低減することができる。
なお、ユーザが複数回評価したり、複数人のユーザが評価をするなど、同じトークンのペアでも評価が複数存在する場合がある。この場合は、評価の平均を用いることができる。または、最新の回答であるほど重視する重みづけ平均を用いてもよい。

一般的に、トークンのペアをユーザに提示し、ユーザの評価を取得することで、トークンのペアの関連度を求める方法は、以下の問題点がある。
あるトークンのペアに対して、ユーザが、関連度を数値で評価することは、必ずしも容易ではない。つまり、関連度には一般に客観的な測定法がない。また、必ずしも基準となる値が存在するわけではない。そのため、トークンのペアの関連度を、ユーザが評価するのが難しい場合がある。その結果、個々のトークンのペアに対する関連度の数値による回答は、ユーザにとって困難な作業となり、評価を取得する際の収集効率の観点から問題がある。

また、同様の理由で、ユーザの評価に揺らぎが生じるため、評価の精度にも問題がある。即ち、ユーザによって、同じトークンのペアに対する回答が異なる場合や、さらには同じユーザでも、状況によって同じトークンのペアに対する回答が異なる場合が生じる。特に、関連度の大きいトークンのペアについては、より精度の高い評価を取得することが望まれるが、従来の方法では困難である。

一方、第１の実施形態では、ユーザは、複数のトークンのペアの関連度を同時に見て、検討および評価を行うことで、相対評価が可能となる。これにより、評価を判断する際の曖昧さが低減される。またこれにより、ユーザの評価の作業がより容易となり、同じ時間でより多くの評価を収集することができる。

また、ユーザは、限られた複数のトークンのペアに対して相対評価を行うため、異なる複数ペア間で回答基準が変わる場合がある。これは、得られる関連度の精度の悪化の要因となる。そこで、本実施の形態では、得られた評価から関連度を再度算出し、これに基づいて同程度の関連度を持つペアを集め、グループとしてユーザに再提示する。これにより、複数のトークンのペア間での関連度の差異が補正される。さらに、同程度と算出された関連度を有するトークンのペアの関連度を、ユーザが再度評価することで、より微妙な関連度の差異についての情報が収集できる。

さらに、上記処理の繰り返しにより、ユーザには作業の初期よりも後期の方がより微妙な関連度の差異についての判断が求められるようになる。これはユーザの評価作業の習熟に沿って評価の難易度が上昇する機構となっており、トークンのペアの関連度について、より効率的に情報を収集することができる。

なお、トークンのペアの関連度を求める方法として、文法などのルールを利用する方法があるが、この方法は、くだけた表現のテキストには対応できないため、適用範囲が限定的である。
また、他の方法として、分散表現を利用する方法がある。この方法は、適用範囲が広く自動的な手法であるため、大量のトークンのペアの関係をカバーすることが容易である。一方、得られる関連度の精度は、上述したユーザが評価する方法よりも精度が低くなりやすい。

＜変形例１＞
次に、第１の実施形態の変形例として、変形例１を説明する。
変形例１では、ユーザによる関連度の評価は、まとめて提示されたトークンのペアを、関連度に応じ並べ換えた後の順序とする。
図７は、変形例１でのユーザによる関連度の評価の入力方法を示した図である。
ここでは、図示するように、複数のトークンのペアとして、Ｐ１～Ｐ５が表示されている。そして、「関連度が大きい順に並べて下さい」のメッセージＭｅ１が表示され、ユーザは、トークンのペアＰ１～Ｐ５を、関連度が大きい順に並べ換える。この並べ換えは、例えば、マウス等の入力デバイスを使用し、ドラッグ＆ドロップのような操作をすることで行うことができる。
そして、トークンのペアＰ１～Ｐ５を、関連度が大きい順に並べ換えた後に、完了ボタンＢｔ１を押下することで、評価が確定する。

変形例１では、算出部２４は、まず、ユーザが評価したトークンのペアの順序から、トークンのペアの関連度の大小関係を求める。そして、算出部２４は、関連度の大小関係からトークンのペアの関連度を算出する。
この大小関係は、並び換えの結果として、連続するトークンのペアの大小関係のみを使用してもよいし、順序から言える全ての大小関係を使用してもよい。または、その中間として、部分的に連続するトークンのペアについて、順序から言える全ての大小関係を使用してもよい。例えば、トークンのペアＰ１～Ｐ５について、Ｐ１＞Ｐ２＞Ｐ３＞Ｐ４＞Ｐ５の順序になった場合、連続する２つの並び順からＰ１＞Ｐ２、 Ｐ２＞Ｐ３、 Ｐ３＞Ｐ４、 Ｐ４＞Ｐ５、 Ｐ１＞Ｐ３、Ｐ２＞Ｐ４、 Ｐ３＞Ｐ５の大小関係が得られる。

なお、関連度の大小関係から関連度を算出するには、大小関係から、既存の方法によりトークンのペアの勝率を算出することで行うことができる。または、関連度の大小関係から、以下の数１式に示すBradley-Terry Modelに基づいて算出したペアの強さ（β_ｉ）を、関連度とすることができる。

変形例１では、ユーザは、図５で示したように、関連度を数値で回答するのではなく、比較結果のみを評価する。複数のトークンのペアについて、どれがより関連度が大きいか、あるいは小さいかだけを判断すればよいため、トークンのペアの関連度について、さらに効率的に情報を収集することができる。

［第２の実施形態］
次に、情報処理システム１の第２の実施形態について説明する。第２の実施形態では、トークンのペアを予め準備する際に、トークンのペアを自動生成する。

図８は、第２の実施形態の情報処理システム１の機能構成例について説明したブロック図である。
図示する情報処理システム１の機能構成例は、図３に示した第１の実施形態の機能構成例に比較して、管理サーバ２０に、ペア生成部２７が加わる点で異なり、他は同様である。
ペア生成部２７は、トークンのペアを、自動生成する機能を有する。ペア生成部２７は、フレーズ区切り部２７１、分散表現算出部２７２、ノイズ除去部２７３、クラスタリング部２７４、ピボット抽出部２７５、周辺ペア算出部２７６、およびピボットペア算出部２７７を備える。

上述した第１の実施形態では、トークンのペアについては、予め準備し、記憶部２６に予め保存しておく必要がある。しかしながら、トークンのペアについて、管理サーバ２０の管理者等が予め準備するのは、多大な時間と負担を要する。

さらに、一般に、あるシステムにおいて利用されるトークンには大量の種別が存在する。例えば、トークンが単語である場合、トークンは、複合語を含めて十数万個が利用される場合も少なくない。そして、関連度を算出するトークンのペアの個数は、トークンの個数の２乗となる。このように大量のトークンのペアについて、全てユーザに評価を求めるのは非効率的である。つまり、一般に、ランダムに選択したトークンのペアの関連度は小さいことが多く、このようなトークンのペアについて、ユーザに評価を求めるのは非効率的となる。よって、より効率的に評価を収集するためには、事前に関連度が大きいと予想されるトークンのペアを収集しておくことが望ましい。

そこで、第２の実施形態では、入力されたテキストを基に、以下に説明するように、分散表現に基づき、選択の対象となるトークンのペアを予め作成する。これにより、関連度が大きいと予想されるトークンのペアを、自動生成する。なお、「分散表現」は、単語埋め込みとも呼ばれ、単語等のトークンを高次元の実数ベクトルで表現する技術である。トークンが単語の場合、分散表現では、近い意味の単語は、近いベクトルとなることが期待できる。

図９は、トークンのペアを、自動生成する方法について説明したフローチャートである。
まず、送受信部２１が、テキストを取得する（ステップ２０１）。このテキストは、例えば、管理サーバ２０の管理者が入力する。また、テキストは、トークンのペアの関連度を求めたい言語から構成された文章であれば、特に限られるものではない。例えば、書籍、新聞記事などの文章である。

次に、ペア生成部２７のフレーズ区切り部２７１が、取得したテキストをトークンのペアの候補となる単位に区切る（ステップ２０２）。なおここでは、トークンが単語である場合について説明する。
さらに、分散表現算出部２７２が、フレーズ区切り部２７１により区切られた単語の分散表現を算出する（ステップ２０３）。
また、ノイズ除去部２７３が、既定のルールにより不要な単語を除去する。即ち、ノイズとなる単語を除去する（ステップ２０４）。

次に、クラスタリング部２７４が、分散表現に基づき複数のトークンをクラスタリングしてクラスタを作成する（ステップ２０５）。クラスタリングは、分散表現空間上の距離を利用し、k-means法やGaussian Mixture Modelによる手法などで行うことができる。またこの場合、距離は、例えば、分散表現空間中のユークリッド距離を用いることができる。なお、分散表現空間中のコサイン類似度を用いてもよい。

図１０は、複数のトークンをクラスタリングし、クラスタを作成した様子を示す概念図である。
ここでは、実線または点線の「〇」で表されたトークンＴをクラスタリングし、クラスタＣとして、クラスタＣ１～Ｃ３を作成した場合を示している。
ここでは、クラスタＣ１は、８個のトークンＴから構成される。同様に、クラスタＣ２は、８個のトークンＴから構成され、クラスタＣ３は、６個のトークンＴから構成される。なお、クラスタＴ０として表したクラスタＴは、何れのクラスタＣにも属していないが、このようにクラスタリングされないトークンＴが存在してもかまわない。

図９に戻り、次に、ピボット抽出部２７５が、各クラスタＣの中に属するトークンの中から代表となるトークンＴである代表トークンＴｐを選択する（ステップ２０６）。そして、代表トークンＴｐをピボットとする。図１０では、この代表トークンＴｐを点線の「〇」で表している。ピボットとなる代表トークンＴｐは、あるクラスタＣに含まれるトークンＴのうち、分散表現空間中で最も中心に近いものとすることができる。ただし、これに限られるものではなく、例えば、管理者等により、意図的にピボットとなる代表トークンＴｐ選択してもよい。

さらに、周辺ペア算出部２７６が、クラスタＣの中に属するトークンＴの間でペアを作成する（ステップ２０７）。具体的には、各クラスタＣについて、ピボットとなる代表トークンＴｐを起点に、周辺のトークンＴに対しペアを作成する。図１０では、ペアとなるトークンＴを実線にて図示している。この場合、例えば、図示するように、代表トークンＴｐと周辺のトークンＴとの間でペアを作成する。これは、代表トークンＴｐと各クラスタＣに属する残りのトークンＴとの間でペアを作成する、と言うこともできる。

また、図示するように、周辺のトークンＴ同士でペアを作成してもよい。ただし、トークンＴと実線により表されるグラフの連結成分が１つとなるようにする。このようなトークンＴのペアを作成するには、あるトークンＴと分散表現空間上で近傍となるトークンＴとのペア選択を再帰的に繰り返すような手法により行うことができる。これにより、各クラスタＣ内で木構造の連結が得られる。そして、クラスタＣ内の全てのトークンＴ同士が経路を持つグラフが得られる。その結果、より多くのトークンＴをカバーしたトークンＴのペアを生成することができる。

そして、ピボットペア算出部２７７が、クラスタＣ間の代表トークンＴｐ同士でさらにペアを作成する（ステップ２０８）。代表トークンＴｐ同士のペアを作成するには、分散表現空間上の距離について、代表トークンＴｐのみについて最小全域木を算出するなどの手法により行うことができる。なおこのとき、管理者等により指定するペアを挿入してもよい。これにより、多くの単語がカバーされ、かつ、すべてのトークンＴ同士が経路を持つグラフであるペアのセットが得られる。

第２の実施形態では、トークンＴのペアを自動生成し、トークンＴのペアを予め準備することができる。そして、準備したトークンのペアを使用して、図４で説明した処理を行う。ここで準備したトークンのペアは、分散表現に基づき、選択されたものであり、関連度が大きいと予想されるトークンのペアとなっている。よって、より効率的に評価を収集することができる。

＜変形例２＞
次に、第２の実施形態の変形例として、変形例２を説明する。
変形例２では、算出したトークンＴのペアの関連度を基に分散表現を追学習し、追学習した分散表現を基にトークンＴのペアについての選択を再度行う。
具体的には、算出部２４が算出したトークンＴのペアの関連度を基に、ペア生成部２７が、分散表現を追学習する。そして、ペア生成部２７は、追学習後の分散表現を基に、図１０で示した方法で、トークンのペアを生成する。そして、生成したトークンのペアを使用して、図４で説明した処理を行う。
これにより、ユーザが評価したトークンのペアの関連度と、自動的な手法によって得られる関連度とを組み合わせることで、両者の長所を両立し、トークンのペアの関連度を求めるのに、より好適なトークンのペアをユーザに提示することができる。

＜変形例３＞
次に、第２の実施形態の変形例として、変形例３を説明する。
変形例３では、上述した情報処理システム１は、検索機能を有する。この場合、情報処理システム１は、例えば、端末装置１０でユーザから検索の指示をさらに受け付け、その検索の結果を、端末装置１０に表示する。このとき、管理サーバ２０では、ユーザにより入力された単語等のトークンに対し、算出したトークンのペアの関連度を基に、検索結果を決定する。具体的には、管理サーバ２０は、図４に示した方法により算出され、記憶部２６に保存されているトークンのペアの関連度を参照する。そして、ユーザにより入力されたトークンに対し、より関連度が大きいトークンを抽出する。さらに、ユーザにより入力されたトークンと抽出したトークンの双方に関連するコンテンツを検索結果としてユーザに対し表示する。つまり、ユーザにより入力されたトークンとこれと関連度が大きいトークンとのａｎｄ検索を行う。なおこのとき、入力されたトークンと抽出されたトークンとが、より関連度が大きい場合についての検索結果を、より上位に位置するように表示する。
これにより、ユーザは、例えば、１つの単語等のトークンを入力することで、このトークンに関連するトークンとのａｎｄ検索が行われる。その結果、ユーザの目的に、より合致した検索結果を提示することができる。

＜プログラムの説明＞
ここで、以上説明を行った本実施の形態における管理サーバ２０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって、本実施の形態で管理サーバ２０が行う処理は、コンピュータに、トークンのペアの選択をする機能と、選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをする機能と、受け付けた評価から、提示したトークンのペアの関連度の算出をする機能と、算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた評価から提示したトークンのペアの関連度の算出を再度する機能と、を実現させるためのプログラムとして捉えることができる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…情報処理システム、１０…端末装置、２０…管理サーバ、２１…送受信部、２２…認証部、２３…選択部、２４…算出部、２５…終了判定部、２６…記憶部

Claims (14)

1. プロセッサを備え、
   前記プロセッサは、
   トークンのペアの選択をし、
   選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをし、
   受け付けた前記評価から、提示したトークンのペアの関連度の算出をし、
   算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度する
   ことを特徴とする情報処理装置。
2. 前記プロセッサは、関連度を基に、トークンのペアをグループ化し、グループに含まれるトークンのペアをまとめてユーザに対し提示したときの、トークンのペアに対するユーザによる関連度の評価の受け付けをすることを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、関連度が同程度のトークンのペアを同じグループとすることを特徴とする請求項２に記載の情報処理装置。
4. 前記プロセッサは、関連度が大きいトークンのペアが含まれるグループについて、優先的に提示することを特徴とする請求項３に記載の情報処理装置。
5. 前記ユーザによる関連度の評価は、まとめて提示されたトークンのペアを、関連度に応じ並べ換えた後の順序であることを特徴とする請求項２に記載の情報処理装置。
6. 前記プロセッサは、分散表現に基づき、選択の対象となるトークンのペアを予め作成することを特徴とする請求項１に記載の情報処理装置。
7. 前記プロセッサは、分散表現に基づき複数のトークンをクラスタリングしてクラスタを作成し、各クラスタの中に属するトークンの間でペアを作成することを特徴とする請求項６に記載の情報処理装置。
8. 前記プロセッサは、各クラスタの中に属するトークンの中から代表となるトークンである代表トークンを選択し、当該代表トークンと各クラスタに属する残りのトークンとの間でペアを作成することを特徴とする請求項７に記載の情報処理装置。
9. 前記プロセッサは、代表トークン同士でさらにペアを作成することを特徴とする請求項８に記載の情報処理装置。
10. 前記プロセッサは、算出したトークンのペアの関連度を基に分散表現を追学習し、追学習した分散表現を基にトークンのペアについての前記選択を再度行うことを特徴とする請求項６に記載の情報処理装置。
11. 前記プロセッサは、算出したトークンのペアの関連度を基に、トークンのペアについての、前記選択、前記受け付けおよび前記算出を、算出したトークンのペアの関連度が収束するまで繰り返し行うことを特徴とする請求項１に記載の情報処理装置。
12. トークンのペアの関連度を算出する情報処理装置と、
    前記情報処理装置が選択したトークンのペアをユーザに対し提示する提示装置と、
    を備え、
    前記情報処理装置は、プロセッサを備え、
    前記プロセッサは、
    トークンのペアの選択をし、
    選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをし、
    受け付けた前記評価から、提示したトークンのペアの関連度の算出をし、
    算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度する
    ことを特徴とする情報処理システム。
13. 前記情報処理装置の前記プロセッサは、
    ユーザから検索の指示をさらに受け付け、
    算出したトークンのペアの関連度を基に、検索結果を決定することを特徴とする請求項１２に記載の情報処理システム。
14. コンピュータに、
    トークンのペアの選択をする機能と、
    選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けをする機能と、
    受け付けた前記評価から、提示したトークンのペアの関連度の算出をする機能と、
    算出した関連度が同程度のトークンのペアについて再度選択をし、再度選択したトークンのペアをユーザに対し提示したときに、提示したトークンのペアに対するユーザによる関連度の評価の受け付けを再度し、再度受け付けた当該評価から提示したトークンのペアの関連度の算出を再度する機能と、
    を実現させるためのプログラム。

Images