JP2013242675A - 分散情報制御装置、分散情報検索方法、データ分散配置方法、及びプログラム - Google Patents

Abstract

【課題】大規模なソーシャルネットワークを利用した高速なソーシャル検索を実現する。
【解決手段】分散された計算機に格納されている複数のクラスタに分割されたソーシャルネットワークおよび文書群に対して、上位N件の文書を特定するソーシャル検索を行う分散情報制御装置において、検索者を特定する情報、検索条件、及び検索件数Nの入力を受け取り、検索者が属するソーシャルネットワークのクラスタを特定し、前記特定されたクラスタが割り当てられた計算機に割り当てられた文書群に対して検索を実行して得られた検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了して検索結果を出力し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する処理を実行する上位検索手段を備える。
【選択図】図１

Description

本発明は、複数の計算機を用いてソーシャル検索を実現する技術に関するものである。

ソーシャル検索は、文書を検索・ランキングする際に、TFiDFなどの文書スコアに加えて、検索者と文書の作成者の人間関係のスコアを合成してランキングする技術である(非特許文献1)。

このようなソーシャル検索を実現する際には、転置ファイルを利用する。一方で、大量の文書に対して転置ファイルを利用して検索を行う際には、一般的に文書分散方式を利用することが有効であることが知られている(非特許文献2)。

同様に、大量な文書に対してソーシャル検索を行う場合にも、文書分散方式を利用する方法が一般的に考えれられる。しかしソーシャル検索では、文書だけでなく人間関係を表すソーシャルネットワークを利用するため、単純に文書分散方式を利用した場合には、各計算機には部分集合の文書群とソーシャルネットワーク全体を格納しなければならず、ソーシャルネットワークの分散ができないという問題があった。1000万人を超えるような利用数が多いソーシャル検索では、単一計算機でソーシャルネットワーク全体を扱うのは難しいため、ソーシャルネットワークの分散は必要不可欠である。

ソーシャルネットワークを利用したパーソナライズ情報検索：三浦 大樹, 諏訪 博彦, 鬼塚 真、DEIM Forum 2012 E3-2 Inverted files for text search engines Authors: Justin Zobel RMIT University, Australia Alistair Moffat The University of Melbourne, Australia ACM Computing Surveys (CSUR) Surveys, Volume 38 Issue 2, 2006 ノードの逐次集約による大規模グラフクラスタリングの高速化と高精度化: 塩川 浩昭, 藤原 靖宏, 鬼塚 真、DEIM Forum 2012 B6-1

本発明は上記の点に鑑みてなされたものであり、分散型のソーシャル検索を実現する際の文書分散方式において、分散した計算機にソーシャルネットワークを分散して配置し、且つソーシャル検索を実行するにあたって計算機間での通信量を軽減するよう文書分散を行うことで、大規模なソーシャルネットワークを利用した高速なソーシャル検索を実現することを目的とする。

上記の課題を解決するために、本発明は、分散された計算機に格納されている複数のクラスタに分割されたソーシャルネットワークおよび文書群に対して、上位N件の文書を特定するソーシャル検索を行う分散情報制御装置であって、
検索者を特定する情報、検索条件、及び検索件数Nの入力を受け取り、
検索者が属するソーシャルネットワークのクラスタを特定し、
前記特定されたクラスタが割り当てられた計算機に割り当てられた文書群に対して検索を実行して得られた検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了して検索結果を出力し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する処理を実行する上位検索手段を有する分散情報制御装置として構成される。

また、本発明は、文書群と、人の間の関係を表すソーシャルネットワークとを入力として受信し、
前記入力されたソーシャルネットワークをクラスタリングしてクラスタ群を取得し、当該クラスタ群における各クラスタについて、当該クラスタに属する利用者を作成者とする文書群を前記入力された文書群から抽出し、
前記クラスタ群における各クラスタおよびそのクラスタに属する利用者を作成者とする文書群を、分散した各計算機に割り当てるデータ分散配置手段を有する分散情報制御装置として構成することもできる。

前記データ分散配置手段は、前記クラスタに属する利用者を作成者とする文書群に加えて、当該利用者の友人を作成者とする文書群を、当該クラスタに対応する計算機に割り当てるようにしてもよい。

また、本発明は、上位検索手段を備える分散情報制御装置が実行する分散情報検索方法、データ分散配置手段を備える分散情報制御装置が実行するデータ分散配置として構成してもよく、更に、コンピュータを、前記分散情報制御装置における各手段として機能させるためのプログラムとして構成することもできる。

本発明によれば、分散型のソーシャル検索を実現する際の文書分散方式において、分散した計算機にソーシャルネットワークを分散して配置することが可能になる。また、ソーシャル検索を実行するにあたって計算機間での通信量を軽減するよう文書分散を行うことで、大規模なソーシャルネットワークを利用した高速なソーシャル検索を実現することが可能となる。

本発明の実施の形態における分散情報検索システム１００の構成図である。 本発明の実施の形態におけるデータの分散配置の制御フローを説明する図である。 本発明の実施の形態における分散データの検索の制御フローを説明する図である。 ソーシャルネットワークをクラスタ化した例を示す図である。 人と文書の関係を表す図である。 データ分散配置手段１１によるデータの分散配置の処理フローを示す図である８。 上位検索手段１２によるデータの検索処理フローを示す図である。 本発明の実施の形態における分散データの検索の第1回目のステップ７３実行後の状態を表す図である（クラスタ２での文書検索）。 本発明の実施の形態における分散データの検索の第2回目のステップ７３実行後の状態を表す図である（クラスタ１での文書検索）。 本発明の実施の形態における分散データの検索のステップ７６実行後の状態を表す図である（検索終了）。 人と文書の関係を表す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本発明の実施の形態では、分散情報検索システムにおける分散情報制御装置が、ソーシャルネットワークにおいて密な部分をクラスタ化するグラフクラスタリング法(例：非特許文献3)を用いてソーシャルネットワークをクラスタリングし、各クラスタおよびそのクラスタに属する利用者(あるいはその友人を含む)を作成者とする文書群を、各計算機（実施の形態における情報管理装置）に割り当てる。このようなデータ構造を採用したことは従来にない特徴である。

また、本実施の形態では、分散情報制御装置が上位N件の文書を特定するソーシャル検索を行う際に、検索者が属するソーシャルネットワークのクラスタを特定し、そのクラスタを保持する計算機に割り当てられた文書群に対して検索を実行する。その検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する操作を行う。

ここで、他クラスタに属する文書が取り得るスコアの上限値はスコア式によって決定される。本実施の形態では、非特許文献1に示されたスコア式を利用することを想定しており、その場合、文書スコアは以下のように定義される。

Score(u, q, d) = R(q, d) × {S(u, author(d)) + F(u, author(d))}

R(q, d) はクエリqに対する文書d の適合度であり、TFiDFやBM25といった一般的な全文検索の適合度を利用する。S(u, author(d)) とは、ユーザuと文書dの著者author(d)の類似度を表すもので、ここでは説明の簡略化のため常にS(u, author(d))=0と仮定する。F(u, author(d))とは、ユーザuと文書dの著者author(d)のソーシャルグラフにおけるホップ距離 (Hop(u, author(d)))を用いて計算される数値である。

このスコア式に基づく場合、検索者uが属するクラスタ以外の他クラスタに属する文書dが取り得るスコアScore(u, q, d) の上限値は、R(q, d)の最大値(R(q,d)が0.0〜1.0の範囲に正規化されていれば1.0)とF(u, author(d))の最大値の和として得ることができる。F(u, author(d))の最大値は、上記の式からユーザuと文書dの著者 author(d)のソーシャルグラフにおけるホップ距離Hop(u, author(d))の最小値から得ることができ、Hop(u, author(d))の最小値は検索者uを起点として到達できる他クラスタへの最小のホップ数である。

本実施の形態に係る技術では、従来の文書分散型の転置ファイルの技術とは異なり、ソーシャル検索の際の計算量および計算機間での通信量を軽減するよう、ソーシャルネットワークの構造に合わせて文書分散を行って、上位N件の文書を特定するソーシャル検索を実行している。

（実施の形態の詳細）
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

＜装置構成＞
図１は、本実施の形態における分散情報検索システム１００の構成図である。図１に示すように、本実施の形態における分散情報検索システム１００は、分散情報制御装置１０、及び複数の情報管理装置１３を有し、これらは通信ネットワークにより接続されている。データ操作者は分散情報制御装置１０に、データ登録命令または検索命令を入力する。

分散情報制御装置１０は、データ分散配置手段１１および上位検索手段１２を有し、これらの手段を用いて分散して複数存在する情報管理装置１３にアクセスする。なお、データ分散配置手段１１と上位検索手段１２を別々の分散情報制御装置に備える構成としてもよい。

各情報管理装置１３は計算機により構成され、その記憶手段に、ソーシャルネットワーク全体をクラスタ化して得られた部分ソーシャルネットワーク１４（ネットワークグラフのデータ）、およびそのクラスタに属する利用者を作成者とする文書１５を格納する。

本実施の形態に係る分散情報制御装置１０は、ＣＰＵ、及びメモリやハードディスク等の記憶手段、入出力手段等を備えるコンピュータに、本実施の形態で説明する処理に対応するプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記憶媒体に格納して配布し、上記コンピュータにインストールして用いてもよいし、ネットワーク上のサーバからダウンロードして上記コンピュータにインストールしてもよい。

本実施の形態におけるソーシャルネットワーク（およびそのクラスタ）や文書は、コンピュータで処理できるデータであり、分散情報制御装置１０が後述する処理を行うにあたっては、メモリ等の記憶手段に格納されたネットワークのデータや文書のデータを読み出し、ＣＰＵで処理を行って、処理結果を記憶手段に書き込んだり、通信ネットワークを介して計算機に送信したりする等の処理を行っている。

＜装置の動作＞
以下、本実施の形態に係る分散情報制御装置１０の動作をより詳細に説明する。まず、図２を参照して、本実施の形態の分散情報制御装置１０によるデータの分散配置の制御フローを説明する。

データ操作者はデータ登録命令を分散情報制御装置１０に入力し、分散情報制御装置１０に入力された登録命令はデータ分散配置手段１１に入力される（ステップ２１）。本実施の形態におけるデータ登録命令は、操作対象のデータであるソーシャルネットワークとソーシャルネットワークに含まれる利用者を作成者とする文書を含む。なお、これらのデータは、分散情報制御装置１０における記憶手段に格納され、読み出されて処理される。

データ登録命令を受信したデータ分散配置手段１１は、後述する処理を行って、部分ソーシャルネットワークとその部分ソーシャルネットワークに属する利用者を作成者とする文書を各情報管理装置１３に格納する（ステップ２２）。

データ分散配置手段１１により実行される処理を、図６のフローチャートを参照して説明する。

まず、ステップ６１でソーシャルネットワークとソーシャルネットワークに含まれる利用者を作成者とする文書を入力する。続いて、ステップ６２で例えば非特許文献３で説明されているグラフクラスタリング法などを用いて、ソーシャルネットワークにおいて密な部分を同一クラスタとし疎な部分をグラフ分割することで複数のクラスタを得る。また、各クラスタについて、クラスタに属する利用者を作成者とする文書が、入力された文書群から抽出される。そして、ステップ６３で各クラスタである部分ソーシャルネットワークとその部分ソーシャルネットワークに属する利用者を作成者とする文書を同一計算機である情報管理装置１３の各々に格納する。

なお、データを分散配置する際に、データ分散配置手段１１は、どの人がどのクラスタに属するか、どのクラスタがどの情報検索装置１３に対応するかを示すデータを分散情報制御装置１０の記憶手段に格納しておく。これにより、後述する上位検索手段１２は、当該記憶手段のデータを参照することで、検索者が属するソーシャルネットワークのクラスタ及び情報管理装置１３を特定できる。

部分ソーシャルネットワークの一例を図４を参照して説明する。図４は左にソーシャルネットワーク全体を示しており、右に３つにクラスタ化された部分ソーシャルネットワークを表している。

図４の右に示すとおり、クラスタ１はＩ、Ｊ、Ｇのノード（人に相当）を含み、クラスタ２はＨ、Ｋ、Ａ、Ｃ、Ｌのノードを含み、クラスタ３はＥ、Ｂ、Ｆのノードを含む。

次に、人と文書の関係を図５を参照して説明する。図５は、人と文書の関係を表し、一例として図４のクラスタ２に含まれる利用者Ｅ、Ｂ、Ｆが作者である文書群を表している。例えば、図２で示した複数の情報管理装置１３のうちの１つが、図５にあるクラスタ２に含まれる利用者からなる部分ソーシャルネットワークおよびこれら利用者を作成者とする文書を格納する。

次に、図３を参照して本実施の形態の分散情報制御装置１０における分散データの検索の制御フローを説明する。

データ操作者は検索命令を分散情報制御装置１０に入力し、分散情報制御装置１０に入力された検索命令は上位検索手段１２に入力される（ステップ３１）。検索命令を受信した上位検索手段１２は、後述する処理を行って、上位検索を実行し、検索結果を返却する（ステップ３２〜３４）。ここで上位検索とは、非特許文献1で説明されるようなTFiDF などの文書スコアに加えて、検索者と文書の作成者の人間関係のスコアを合成してランキングし、得られる上位文書のうち指定の件数の文書を返却する処理である。

上位検索手段１２が実行する処理を、図７のフローチャートを参照して説明する。

ステップ７１で検索命令に含まれる、検索式、返却したいスコア上位の文書件数、および検索者の情報が入力される。ステップ７２で検索者が属するソーシャルネットワークのクラスタＣを特定し、ステップ７３でクラスタＣを格納している情報管理装置１３において上位検索を実行する。なお、上位検索手段１２は、前述したように、データ分散配置手段１１が格納した記憶手段のデータを参照することで、検索者が属するソーシャルネットワークのクラスタ及び情報管理装置１３を特定する。

ステップ７４で指定の上位件数の結果が確定したか否か、つまり上位N件の順位が変化しなくなったか否かを判断する。ここでは、ステップ７３で得られた検索結果の上位N件目のスコアと、前述したスコア式に基づき算出された他クラスタに属する文書が取り得るスコアの上限値とを比較する。前者が高ければステップ７６に進み検索処理を完了して検索結果を出力し、後者が高ければステップ７５に進みクラスタＣに隣接する隣接クラスタを特定してステップ７３を再度実行する。他クラスタに属する文書が取り得るスコアの上限値の算出のために用いるデータとしては、分散情報制御装置１０の記憶手段に格納されたもの（データ分散配置手段１１により格納されたもの）を用いてもよいし、各情報管理部１３に格納されたデータを用いてもよいし、両方のデータを用いてもよい。

ここで二つのクラスタＣ１、Ｃ２が隣接しているとは、Ｃ１に属するノードとＣ２に属するノードを接続するエッジが存在する場合のことを指す。クラスタＣに隣接するクラスタが複数存在する場合には、隣接するクラスタ全てにおいてステップ７３を再度実行する。

こうして最終的に得られた検索結果は、上位検索手段１２からデータ操作者に返却される（図７のステップ７６、図３のステップ３４）。

以下、図面を参照して、上位検索処理をより具体的に説明する。

図８は、本実施の形態の上位検索手段１２により実行される分散データの検索の第1回目のステップ７３実行後の状態を表している。この例では、
検索条件: "出張"
検索結果件数: 上位５件
検索者情報: 利用者H
を表しており、検索者Hを含むクラスタ２がステップ７２で特定され、続けてステップ７３が実施され、その検索結果が図８の右にある検索結果候補に提示される。ここでは、上位５件がスコアの高い順に
１． 利用者Ｋの文書１２ スコア値 ８．６
２． 利用者Ｃの文書１５ スコア値 ７．３
３． 利用者Ｋの文書１ スコア値 ６．０
４． 利用者Ａの文書３ スコア値 ４．８
５． 利用者Ａの文書９ スコア値 ４．２
である。

ここで上位５番目のスコアが４．２であり、また他クラスタに属する文書が取り得るスコアの上限値が６．０と算出されたと仮定すると、上位５番目のスコアが他クラスタに属する文書が取り得るスコアの上限値よりも小さいので、上位５件の結果が確定していないと判断され、ステップ７５に進む。ここで、隣接クラスタとしてクラスタ１が選択されることと仮定する。次にステップ７３に進む。

図９は、本実施の形態の上位検索手段１２により実行される分散データの検索の第２回目のステップ７３実行後の状態を表している。特定されたクラスタであるクラスタ１で検索が実行されることで検索結果が以下のように更新される。

１． 利用者Ｋの文書１２ スコア値 ８．６
２． 利用者Ｃの文書１５ スコア値 ７．３
３． 利用者Ｋの文書１ スコア値 ６．０
４． 利用者Ｊの文書８ スコア値 ５．９
５． 利用者Ｊの文書６ スコア値 ５．５
ここで上位５番目のスコアが５．５であり、また他クラスタに属する文書が取り得るスコアの上限値が５．２と算出されたと仮定すると、上位５番目のスコアが他クラスタに属する文書が取り得るスコアの上限値よりも大きいので、上位５件の結果が確定するため、ステップ７６に進む。

図１０は、本実施の形態の上位検索手段１２により実行される分散データの検索のステップ７６実行後の状態を表しており、当該図１０に示すとおりの検索結果候補が検索者に返却される。

図１１は、検索操作を高速化するため、図５で説明したソーシャルネットワークのクラスタに属する利用者を作成者とする文書群に加えて、その利用者の友人を作成者とする文書群を各計算機（情報管理装置）に割り当てるイメージを説明する図である。この図に示す例では、クラスタ３に含まれる利用者Ｅ、Ｂ、Ｆが作者である文書群に加えて、Ｂと友人関係をもつＡを作成者とする文書群が同じ計算機に割り当てられる。こうすることで、図７のステップ７５、７３の処理である隣接クラスタを特定して隣接クラスタで検索する代わりに、現時点のクラスタの検索において隣接する利用者の文書を検索することができるため、ソーシャル検索の際の計算機間での通信量を軽減することができる。このような割り当ては、データ分散配置手段１１が実行する。

（実施の形態のまとめ、効果）
上述したように、本実施の形態のデータ分散配置手段１１では、ネットワークにおいて密な部分をまとめるようソーシャルネットワークを分割し、各クラスタに属する利用者を作成者とする文書群を、分散した各計算機に割り当てている。

そのため、ソーシャルネットワーク上で検索者に近い利用者を作成者とする文書群は同一の計算機に割り当てられやすい特徴がある。

また、本実施の形態の上位検索手段１２は、検索者が属するソーシャルネットワークのクラスタを特定し、特定したクラスタを保持する計算機に割り当てられた文書群に対して検索を実行する。

そのため、文書スコアに検索者と文書の作成者の人間関係のスコアを合成してランキングする検索操作において、ランキングの高い文書群を多く検索することができる。

また上位検索手段１２は、処理途中の検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する操作を実行している。

そのため、上位N件の文書を検索するにあたり、必要最小限の計算機に格納された文書群を検索して正しい検索結果を得ることができる。

従って、ソーシャルネットワークを分散した計算機に分散して配置し、且つソーシャル検索の際の計算量および計算機間での通信量を軽減することが可能となるため、大規模なソーシャルネットワークを利用した高速なソーシャル検索を実現できるようになる。

すなわち、本実施の形態では、ソーシャルネットワークにおいて密な部分をクラスタ化するグラフクラスタリング法などを用いて、分散した計算機にソーシャルネットワークを
分散して配置しており、またソーシャル検索を実行するにあたってクラスタ単位で検索を実行しているため、ソーシャル検索の際の計算量および計算機間での通信量を軽減する効果がある。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１００ 分散情報検索システム
１０ 分散情報制御装置
１１ データ分散配置手段
１２ 上位検索手段
１３ 情報管理装置
１４ 部分ソーシャルネットワーク
１５ 文書

Claims (7)

1. 分散された計算機に格納されている複数のクラスタに分割されたソーシャルネットワークおよび文書群に対して、上位N件の文書を特定するソーシャル検索を行う分散情報制御装置であって、
   検索者を特定する情報、検索条件、及び検索件数Nの入力を受け取り、
   検索者が属するソーシャルネットワークのクラスタを特定し、
   前記特定されたクラスタが割り当てられた計算機に割り当てられた文書群に対して検索を実行して得られた検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了して検索結果を出力し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する処理を実行する上位検索手段
   を有する分散情報制御装置。
2. 文書群と、人の間の関係を表すソーシャルネットワークとを入力として受信し、
   前記入力されたソーシャルネットワークをクラスタリングしてクラスタ群を取得し、当該クラスタ群における各クラスタについて、当該クラスタに属する利用者を作成者とする文書群を前記入力された文書群から抽出し、
   前記クラスタ群における各クラスタおよびそのクラスタに属する利用者を作成者とする文書群を、分散した各計算機に割り当てるデータ分散配置手段
   を有する分散情報制御装置。
3. 前記データ分散配置手段は、前記クラスタに属する利用者を作成者とする文書群に加えて、当該利用者の友人を作成者とする文書群を、当該クラスタに対応する計算機に割り当てる
   請求項２に記載の分散情報制御装置。
4. 分散された計算機に格納されている複数のクラスタに分割されたソーシャルネットワークおよび文書群に対して、上位N件の文書を特定するソーシャル検索を行う分散情報制御装置が実行する分散情報検索方法であって、
   検索者を特定する情報、検索条件、及び検索件数Nの入力を受け取り、
   検索者が属するソーシャルネットワークのクラスタを特定し、
   前記特定されたクラスタが割り当てられた計算機に割り当てられた文書群に対して検索を実行して得られた検索結果の上位N件目のスコアと、他クラスタに属する文書が取り得るスコアの上限値とを比較して、前者が高ければ検索処理を完了して検索結果を出力し、後者が高ければ該当の他クラスタにおいて検索を継続して実行し検索結果を更新し、上位N件の順位が変化しなくなるまで検索対象のクラスタを拡大する処理を実行する
   分散情報検索方法。
5. ソーシャルネットワークと文書群とを分散した計算機に割り当てる分散情報制御装置が実行するデータ分散配置方法であって、
   文書群と、人の間の関係を表すソーシャルネットワークとを入力として受信し、
   前記入力されたソーシャルネットワークをクラスタリングしてクラスタ群を取得し、当該クラスタ群における各クラスタについて、当該クラスタに属する利用者を作成者とする文書群を前記入力された文書群から抽出し、
   前記クラスタ群における各クラスタおよびそのクラスタに属する利用者を作成者とする文書群を、分散した各計算機に割り当てる
   データ分散配置方法。
6. 前記分散情報制御装置は、前記クラスタに属する利用者を作成者とする文書群に加えて、当該利用者の友人を作成者とする文書群を、当該クラスタに対応する計算機に割り当てる
   請求項５に記載のデータ分散配置方法。
7. コンピュータを、請求項１ないし３のうちいずれか１項に記載の分散情報制御装置における各手段として機能させるためのプログラム。

Images