JP2007114903A - 文書処理装置、文書処理方法および文書処理プログラム - Google Patents

Abstract

【課題】検索結果をユーザのニーズに合わせた順に提示すること。
【解決手段】検索部２０１は、複数のタームをクエリとして検索を実行する。そして、算出部２０２は、複数のタームをクエリとして、第１検索スコアを求め、この第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求める。そして提示部２０５は、第２検索スコアを、複数のタームのそれぞれの検索スコアとして提示する。たとえば、検索スコアの高い順に検索結果を表示する。
【選択図】図２

Description

この発明は、文書を検索して提示する文書処理装置、文書処理方法および文書処理プログラムに関する。

近年、文書やウェブページなどの検索の必要性が増してきている。そして、この検索結果を検索された順に並べるだけでなく、ユーザにとって必要なものから順番に提示することが求められている。そこで、クエリに対する関連の度合いに応じて検索スコアを算出し、その検索スコアの順に検索結果を提示するものが増えてきている。この検索スコアについては、クエリ内のタームの出現頻度に応じて高い値とするように求めるものがある。

しかしながら、複数のタームについて検索をかけた場合、特定のタームについて検索結果が集中することがある。その結果、検索スコアの算出にあたり、検索結果が集中したタームに高い比重がおかれたスコアが求まることがある。たとえば、他のタームは５つとか６つ程度しか検索されない一方で、１００、１５０という出現頻度の高いタームが検索されたときその頻度の高いタームに検索スコアが大きくされてしまい、検索スコアを意図した形で求めることができないという問題があった。

また、ウェブページについて検索をかける場合でも、リンク先の多いウェブページについて高いスコアとなるように求めたい場合がある。ここで、同一のドメインで多くのページを作成している場合、ドメイン内の各ページからリンクされている場合があり、その場合、多くのリンク先からリンクされている場合と同等には考えられない。さまざまなドメインからリンクされている場合と区別して考える必要がある。また、データ量が多い中から一部を早くソートして表示したい場合でも、すべてのデータが対象となってしまうので処理に時間がかかっていた。

また、検索した結果多くのページがヒットした場合に、スパムタームの混ざった好ましくないページが含まれる場合がある。しかも、特定のタームを多く含んだ結果、検索スコアが高くなり、上位に表示されてしまうという問題もあった。また、ソートするにあたって、重要でないタームが多くソート対象となったり、重要なタームが他のタームと同等に扱われ、あまり多くソート対照とならなかったりするという問題もあった。

この発明は、上述した従来技術による問題点を解消するため、検索結果をユーザのニーズに合わせた順に提示することができる文書処理装置、文書処理方法および文書処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる文書処理装置は、複数のタームをクエリとして、第１検索スコアを算出する第１算出手段と、前記第１算出手段によって算出された第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求める第２算出手段と、前記第２算出手段によって求められた第２検索スコアを、前記複数のタームのそれぞれの検索スコアとして提示する提示手段と、を備えることを特徴とする。

この請求項１の発明によれば、特定のタームによって検索スコア間の値の大きさのばらつきが修正され、特定のタームによってスコアが極端に大きくなって、他のタームによる検索スコアが考慮されない検索結果が提示されることを防ぐことができる。

また、請求項２の発明にかかる文書処理装置は、請求項１に記載の発明において、所定の平滑化度に関する値は、固定の値を前記複数のタームの数で割った値であることを特徴とする。

この請求項２の発明によれば、検索するタームが増えるほど、各タームに割り当てられる検索スコアの割り当て分が減っていくので、タームが少ないときほど割り当て分を大きくして、タームが多いときは割り当て分を小さくすることができる。ターム数が多いときはひずみが比較的小さいので、修正を最小限にし、ターム数が少ないときは比較的大きくなるひずみを、大きくした割当量により抑えることができる。

また、請求項３の発明にかかる文書処理装置は、所定の文書との間で関連付けされた、それぞれ属性をもつ複数の関連文書を検索する検索手段と、前記検索手段によって検索された関連文書の数を求める文書数算出手段と、前記検索手段によって検索された関連文書の属性の数を求める属性数算出手段と、前記属性数算出手段によって求められた関連文書の数および前記属性数算出手段によって求められた属性の数に基づいて、検索スコアを求めて提示する提示手段と、を備えることを特徴とする。

この請求項３の発明によれば、関連文書がすべて特定の属性の場合と、関連文書が様々な属性の場合とは異なる検索スコアを求めることができる。それにより、実質的に多くの関連文書に関連付けられた文書を、たとえば高く評価するなど特別に評価することができる。

また、請求項４の発明にかかる文書処理装置は、請求項３に記載の発明において、前記提示手段は、前記関連文書の数の逆数と前記属性の数の逆数を加算した値に基づいて前記検索スコアを求めることを特徴とする。

この請求項４の発明によれば、関連文書がある特定の属性、たとえば同一のドメインに属するものばかりであった場合に、検索スコアを相対的に下げ、逆にさまざまな属性をもつものであった場合には検索スコアを相対的に高くすることができる。それにより、様々な属性の関連文書と関連付けられた文書を高く評価することができる。

また、請求項５の発明にかかる文書処理装置は、ソート対象となるデータ群から、所定の数のデータを抽出する抽出手段と、前記抽出手段によって抽出されたデータの、ソート順に並べ替える並べ替え手段と、前記並べ替え手段によって並べ替えられた順に、前記抽出手段によって抽出されたデータを提示する提示手段と、を備えることを特徴とする。

請求項５の発明によれば、たとえばデータ数が極めて多く一部だけソートしたい場合に、より高速なソートを実行することができる。

また、請求項６の発明にかかる文書処理装置は、請求項５に記載の発明において、前記並べ替え手段は、前記抽出手段によって抽出されたデータのうち、任意の条件を満たさないデータを除去し、残ったデータの範囲内で並べ替えを実行することを特徴とする。

この請求項６の発明によれば、任意の条件を満たすデータのデータの範囲内でソートを実行することができる。

また、請求項７の発明にかかる文書処理装置は、所定のクエリにしたがって複数のページを検索する検索手段と、前記検索手段によって検索された複数のページについて、スパムワードを含むページか否かを判定する判定手段と、前記判定手段によってスパムワードを含むと判定されたページについて、第１の算出式を用いて第１検索スコアを算出し、スパムワードを含まないと判定されたページについて、第２の算出式を用いて第２検索スコアを算出する算出手段と、前記算出手段によって算出された第１検索スコアおよび第２検索スコアを提示する提示手段と、を備えることを特徴とする。

この請求項７の発明によれば、スパムワードを含むページの検索スコアを下げ、スパムワードを含まないページの評価を相対的に上げて、検索意図に沿った検索結果を得ることができる。

また、請求項８の発明にかかる文書処理装置は、請求項７に記載の発明において、前記第１の算出式は、前記クエリ内のターム数にしたがって条件を変化させることを特徴とする。

この請求項８の発明によれば、クエリ内のターム数によって修正の程度を変化させることができ、それにより、たとえばターム数が多く精度が高い場合とターム数が少なく精度が低い場合とで、修正を加える水準を変えることができる。

また、請求項９の発明にかかる文書処理装置は、複数のタームをクエリとして検索して検索結果を得る検索手段と、前記複数のタームのそれぞれについて出現頻度に応じた割当量を保持する保持手段と、前記保持手段によって保持された割当量に応じて、前記検索手段によって得られた検索結果のうち提示するデータを特定する特定手段と、前記特定手段によって特定された各タームについてのデータを、それぞれソートするソート手段と、を備えることを特徴とする。

この請求項９の発明によれば、タームの出現頻度に応じて結果出力することができ、検索されたデータ量ではなく、出現頻度に応じた配分でソート出力することができる。

請求項１０の発明にかかる文書処理方法は、複数のクエリについて、第１検索スコアを算出する第１算出工程と、前記第１算出工程によって算出された第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求める第２算出工程と、前記第２算出工程によって求められた第２検索スコアを、前記複数のクエリのそれぞれの検索スコアとして提示する提示工程とを含むことを特徴とする。

この請求項１０の発明によれば、特定のタームによって検索スコア間の値の大きさのばらつきが修正され、特定のタームによってスコアが極端に大きくなって、他のタームによる検索スコアが考慮されない検索結果が提示されることを防ぐことができる。

請求項１１の発明にかかる文書処理方法は、所定の文書との間で関連付けされた、それぞれ属性をもつ複数の関連文書を検索する検索工程と、前記検索工程によって検索された関連文書の数を求める文書数算出工程と、前記検索工程によって検索された関連文書の属性の数を求める属性数算出工程と、前記属性数算出工程によって求められた関連文書の数および前記属性数算出工程によって求められた属性の数に基づいて、検索スコアを求めて提示する提示工程と、を含むことを特徴とする。

この請求項１１の発明によれば、関連文書がすべて特定の属性の場合と、関連文書が様々な属性の場合とは異なる検索スコアを求めることができる。それにより、実質的に多くの関連文書に関連付けられた文書を、たとえば高く評価するなど特別に評価することができる。

請求項１２の発明にかかる文書処理方法は、ソート対象となるデータ群から、所定の数のデータを抽出する抽出工程と、前記抽出工程によって抽出されたデータの、ソート順に並べ替える並べ替え工程と、前記並べ替え工程によって並べ替えられた順に、前記抽出工程によって抽出されたデータを提示する提示工程と、を含むことを特徴とする。

この請求項１２の発明によれば、たとえばデータ数が極めて多く一部だけソートしたい場合に、より高速なソートを実行することができる。

請求項１３の発明にかかる文書処理方法は、所定のクエリに該当する複数のページを検索する検索工程と、前記検索工程によって検索された複数のページについて、スパムワードを含むページか否かを判定する判定工程と、前記判定工程によってスパムワードを含むと判定されたページについて、第１の算出式を用いて第１検索スコアを算出し、スパムワードを含まないと判定されたページについて、第２の算出式を用いて第２検索スコアを算出する算出工程と、前記算出工程によって算出された第１検索スコアおよび第２検索スコアを提示する提示工程と、を含むことを特徴とする。

この請求項１３の発明によれば、スパムワードを含むページの検索スコアを下げ、スパムワードを含まないページの評価を相対的に上げて、検索意図に沿った検索結果を得ることができる。

請求項１４の発明にかかる文書処理方法は、複数のタームをクエリとして検索して検索結果を得る検索工程と、前記複数のタームのそれぞれについて出現頻度に応じた割当量を保持する保持工程と、前記保持工程によって保持された割当量に応じて、前記検索工程によって得られた検索結果のうち提示するデータを特定する特定工程と、前記特定工程によって特定された各タームについてのデータを、それぞれソートするソート工程と、を含むことを特徴とする。

この請求項１４の発明によれば、タームの出現頻度に応じて結果出力することができ、検索されたデータ量ではなく、出現頻度に応じた配分でソート出力することができる。

請求項１５の発明にかかる文書処理プログラムは、請求項１４に記載の文書処理方法をコンピュータに実行させることを特徴とする。

請求項１５の発明にかかる文書処理プログラムによれば、請求項１４に記載の文書処理方法をコンピュータに実行させることができる。

本発明にかかる文書処理装置、文書処理方法および文書処理プログラムによれば、検索結果をユーザのニーズに合わせた順に提示することができるという効果を奏する。

以下に添付図面を参照して、この発明による文書処理装置、文書処理方法および文書処理プログラムの実施の形態を詳細に説明する。

（実施の形態）
図１は、この発明の実施の形態による文書処理装置のハードウエア構成の一例を示すブロック図である。図中、ＣＰＵ１０１は装置全体を制御する。ＲＯＭ１０２は基本入出力プログラムを記憶する。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される。

また、ＨＤＤ（ハードディスクドライブ）１０４はＣＰＵ１０１の制御にしたがってＨＤ（ハードディスク）１０５に対するデータのリード／ライトを制御する。ＨＤ１０５はＨＤＤ１０４の制御にしたがって書き込まれたデータを記憶する。

また、ＦＤＤ（フレキシブルディスクドライブ）１０６はＣＰＵ１０１の制御にしたがってＦＤ（フレキシブルディスク）１０７に対するデータのリード／ライトを制御する。ＦＤ１０７は、着脱自在であり、ＦＤＤ１０６の制御にしたがって書き込まれたデータを記憶する。

また、ＣＤ−ＲＷドライブ１０８はＣＰＵ１０１の制御にしたがってＣＤ−ＲＷ（または、ＣＤ−Ｒ、ＣＤ−ＲＯＭ）１０９に対するデータのリード／ライトを制御する。ＣＤ−ＲＷ１０９は着脱自在であり、ＣＤ−ＲＷドライブ１０８の制御にしたがって書き込まれたデータを記憶する。

また、ディスプレイ１１０はカーソル、メニュー、ウィンドウ、あるいは文字や画像などの各種データを表示する。キーボード１１１は文字、数値、各種指示などの入力のための複数のキーを備える。マウス１１２は各種指示の選択や実行、処理対象の選択、マウスポインタの移動などを行う。

また、ネットワークＩ／Ｆ１１３は、通信ケーブル１１４を介してＬＡＮやＷＡＮなどのネットワークに接続され、当該ネットワークとＣＰＵ１０１とのインターフェースとして機能する。バス１２０は上記各部を接続する。

図２は、この発明の実施の形態にかかる文書処理装置の構成を機能的に示すブロック図である。文書処理装置は、検索部２０１、算出部２０２、判定部２０３、抽出部２０４、提示部２０５によって構成される。以上の各構成は、図１に示したＣＰＵ１０１が、ＲＯＭ１０２からプログラムを読み出しＲＡＭ１０３をワークエリアとして使用することにより実現される。

検索部２０１は、複数の文書やウェブページなどから、検索語などのタームをクエリとして検索を実行する。または、ウェブページや文献などの文書に対して、ウェブページの場合はリンク先、文献の場合は引用文献を関連文書として検索する。この関連文書は、たとえばドメイン名や技術分野などそれぞれ属性を持っている。

算出部２０２は、検索部２０１による検索結果にしたがって演算を実行する。判定部２０３によって判定処理が実行された場合、この判定結果も参照する。たとえば、複数のタームをクエリとして、第１検索スコアを算出し、算出された第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求め、求めた第２検索スコアを提示部２０５に渡すこともできる。なお、このときの所定の平滑化度に関する値は、固定の値を前記複数のタームの数で割った値であってもよい。

また、算出部２０２は、検索部２０１で関連文書を検索した場合、検索された関連文書の数を求め、検索された関連文書の属性の数を求め、関連文書の数および属性の数を提示部２０５に渡すこともできる。

判定部２０３は、検索部２０１で検索された複数のページについて、スパムワードを含むページか否かを判定する。算出部２０２では、判定結果に応じて処理を実行し、スパムワードを含むと判定されたページについて、第１の算出式を用いて第１検索スコアを算出し、スパムワードを含まないと判定されたページについて、第２の算出式を用いて第２検索スコアを算出する。なお、第１の算出式は、前記クエリ内のターム数にしたがって条件を変化させることもできる。

複数のタームをクエリとして検索し、検索結果を得た場合、この複数のタームのそれぞれについて出現頻度に応じた割当量を保持し、保持された割当量に応じて、検索結果のうち提示するデータを特定し、特定された各タームについてのデータを、それぞれソートすることもできる。

抽出部２０４は、ソート対象となるデータ群から、所定の数のデータを抽出する。抽出部２０４でデータを検索した場合、ソート順に並べ替えて提示部２０５に渡すこともできる。なお、抽出されたデータのうち、所定のアクセス権を満たさないデータを除去し、残ったデータの範囲内で並べ替えを実行することもできる。

提示部２０５は、算出部２０２で得られた結果を提示する。たとえば、検索スコアを得た場合は検索スコアにしたがって文書をソートしたり必要な文書を抽出して提示したりする。また、検索スコアそのものを提示することもできる。

図３は、３つのクエリについての検索結果をレベリングした結果をグラフで示した説明図である。この図３を用いて、検索スコアリングの方法として、Ｌｅｖｅｌｉｎｇ法を説明する。これは、ショートクエリにも強いＴＦ−ＩＤＦ法である。

ここでは、クエリを「Ｊ社」「太郎」「新発売」の３語として、それぞれの検索スコアを図３（ａ）に示す。グラフ３０１は、「Ｊ社」の検索スコアを示す。グラフ３０２は、「太郎」の検索スコアを示す。グラフ３０３は、「新発売」の検索スコアを示す。この場合、「Ｊ社」のスコアが大きすぎて、「太郎」のスコアと「新発売」のスコアを足しても「Ｊ社」１つのスコアよりも小さくなってしまう。

そこで、「Ｊ社」「太郎」「新発売」の各検索スコアに、グラフ３１０で示すようにスコアを加算する。式は、Ｑｘ＝Ｗｘ＋Ｗａ／Ｎｑとする。ここで、Ｑｘ：クエリ内の各タームのスコア、Ｗｘ：ＴＦ−ＩＤＦによる各タームのスコア、Ｗａ：平滑化度を決める任意の値、Ｎｑ：クエリ内のターム数とする。それにより、「Ｊ社」「太郎」「新発売」の各検索スコアはそれぞれ同じずつ増える。この検索スコアを増やした状態を、図３（ｂ）に示す。

その結果、ショートクエリの場合に各タームのスコアが公平に扱われる。また、ショートクエリの場合に検索結果の上位がＡＮＤ条件に近くなる。また、複合語のダウンウェイティングなどと同様の効果が得られる。また、ロングクエリの場合には本来のＴＦ−ＩＤＦ法と同じスコアになる。

図４は、４つのクエリについての検索結果をレベリングした結果をグラフで示した説明図である。ここでは、クエリを「Ｊ社」「太郎」「新発売」「ワープロ」の４語として、それぞれの検索スコアを図４（ａ）に示す。グラフ４０１は、「Ｊ社」の検索スコアを示す。グラフ４０２は、「太郎」の検索スコアを示す。グラフ４０３は、「新発売」の検索スコアを示す。グラフ４０４は、「ワープロ」の検索スコアを示す。

この場合も図３と同様に、「Ｊ社」のスコアが大きすぎて、「太郎」のスコア、「新発売」のスコア、「ワープロ」のスコアを足しても「Ｊ社」１つのスコアよりも小さくなってしまう。そこで、図３に示した算出方法と同様に、式を、Ｑｘ＝Ｗｘ＋Ｗａ／Ｎｑとしてスコアを加算する。加算した結果を図４（ｂ）に示す。スコアの加算分は、グラフ４１０で示される。ここで加算されるスコアは、図３の場合よりも少なくする。すなわち、クエリの数が増えるにつれて、加算するスコアを減らしていく。たとえば、クエリが３つの場合のグラフ３１０は、クエリが４つの場合のグラフ４１０よりも大きいということになる。

図５は、被リンクドメイン数を用いたスコアリング手法を説明する説明図である。この被リンクドメイン数を用いたスコアリング手法は、一般に調和平均法と呼ばれる式を利用することによって、検索スコア（Ｓｃｏｒｅ）を次のように求める。Ｓｃｏｒｅ＝２／（１／Ｎ＋１／Ｍ）とする。Ｎ：被リンク数、Ｍ：被リンクドメイン数、Ｎ＞Ｍ、とする。

トップページ５１０には、リンクページ５１１、リンクページ５１２、リンクページ５１３がリンクしている。これらのリンクページ５１１〜５１３は、いずれも異なるドメインに属している。したがって、このトップページ５１０のスコアは、Ｓｃｏｒｅ＝２／（１／３＋１／３）＝３となる。

また、トップページ５２０には、リンクページ５２１、リンクページ５２２、リンクページ５２３がリンクしている。これらのリンクページ５２１〜５２３は、いずれも同じドメインに属している。したがって、このトップページ５２０のスコアは、Ｓｃｏｒｅ＝２／（１／３＋１／１）＝１．５となる。

また、リンクページ５２１は、トップページ５１０、リンクページ５１３がリンクしている。したがって、このトップページ５２１のスコアは、Ｓｃｏｒｅ＝２／（１／２＋１／２）＝２となる。

このように、トップページ５１０とトップページ５２０は、リンクされるページ数がともに３で同じであるにも関わらず、スコアは、トップページ５１０が３、トップページ５２０が１．５になる。また、リンクページ５２１のスコアは、リンクされるページ数がより少ない２であるにも関わらず、スコアは２となり、トップページ５２０よりもスコアが大きくなる。

図６は、異なるドメイン数にリンクされたサイトのスコアリングの比較を説明する説明図である。トップページ６１０には、リンクページ６１１、リンクページ６１２がリンクしている。これらのリンクページ６１１と６１２は、いずれも異なるドメインに属している。したがって、このトップページ６１０のスコアは、Ｓｃｏｒｅ＝２／（１／２＋１／２）＝２となる。

また、トップページ６２０には、リンクページ６２１〜リンクページ６３０がリンクしている。これらのリンクページ６２１〜６３０は、いずれも同じドメインに属している。したがって、このトップページ６２０のスコアは、Ｓｃｏｒｅ＝２／（１／１０＋１／１）＝１．８となる。

このように、トップページ６１０のスコアは、リンクされるページ数が、トップページ６２０の１０より少ない２であるにも関わらず、スコアは２となり、トップページ６２０のスコア１．８よりもスコアが大きくなる。

なお、自ドメイン被リンク数が多い場合は、局所的にトップページとする。また、他ドメイン被リンク数が多い場合は、一般的に参照されるページとする。また、被リンク数が多い場合は、評価（重要度）を高くする。また、被リンクドメイン数が多い場合は、他ページから評価を高くする。また、被リンク数が同数なら、被リンクドメイン数が多い方を優先する。また、被リンクドメイン数が同じなら、被リンク数が多い方を優先する。また、常にＮ＞Ｍなので、被リンクドメイン数の増加率への影響が大きくなる。

図７は、検索結果の動的な高速ソート法を説明する説明図である。この検索結果の動的な高速ソート法は、Ｐａｒｔｉａｌ Ｓｏｒｔ（部分ソート）法という。ある一部のデータをソートしたい場合に、全体のデータ量が膨大なときに、データ全体をソートするのではソートに時間がかかってしまう。そこで、図７を用いて説明する高速ソート方法により、データ全体のうち一部をソートすることにより、ソート時間の短縮を図る。

まず、検索結果をソートする場合について説明する。データ７０１を挿入ソートとし、データ７０２をソート対象全データとする。データ７０２のうち、表示データ数分のデータであるデータ７０１を抽出して、データ７０１についてソートを実行する。データ７０１のデータ数はｍ個であり、データ７０２のデータ数はｎ個である。

データ７０２に含まれるそれぞれの値は、６０、２６、３８、８０、２２、４５、９０、２２、・・・である。ｍ＝７とした場合、このうち６０、２６、３８、８０、２２、４５、９０がソート対象となり、処理後に次のデータへと移行していく。そして、最初から最後まで徐々にソート対象を移動していくことにより、データ７０２のうち必要な部分にシーケンシャルにアクセスしていく。

このときの時間計算量は、次の式で求めることができる。Ｏ（ｍ，ｎ）＝Ｏ（ｍ・ｎ）≒Ｏ（ｎ）。なお、Ｏ（）：時間計算量、ｍ：表示データ数、ｎ：全データ数（ｍ＜＜ｎ）である。このようにソートすることにより、データ数が極めて多いとき、一部だけソートしたい場合に高速となる。また、ソートできる部分集合は、上位からの場合と、ある値以下の場合と指定できる。具体的には、検索結果を複数ページで表示したい場合、１ページ目の末尾データのスコアを記録しておくことにより、２ページ目のソート対象をそのスコア以下のデータに絞り込むことができる。それにより、従来の部分ソートでは毎回キャッシュしておく必要があってデータ数が多い場合に都合が悪かったが、この場合、キャッシュせずに毎回条件を設定して検索しなおす方式にすることができ、それによりメモリを削減することができる。また、アクセス権チェックも挿入ソート後に行えば良いので高速化が期待できる。

図８は、アクセス権のチェックを伴う高速ソートを説明する説明図である。図７の場合と同様に、データ８０１を挿入ソートとし、データ８０２をソート対象全データとする。データ８０２のうち、表示データ数分のデータであるデータ８０１を抽出して、データ８０１についてソートを実行する。データ８０１のデータ数はｍ個であり、データ８０２のデータ数はｎ個である。

データ８０２に含まれるそれぞれの値は、６０、２６、３８、８０、２２、４５、９０、２２、１３、・・・である。ｍ＝７とした場合、このうち６０、２６、３８、８０、２２、４５、９０がソート対象となる。ここで、アクセス権があるデータとアクセス権がないデータを区別し、アクセス権があるデータのみについてソートを実行する。たとえば、ｘ＜５０をソート条件とした場合、ｘ≧５０に該当するデータはアクセス権がないデータとして除外する。つまり、６０、２６、３８、８０、２２、４５、９０のうち、２６、３８、２２、４５の４つについてソートを実行する。そして、処理後に次のデータへと移行していく。そして、最初から最後まで徐々にソート対象を移動していくことにより、データ８０２のうち必要な部分にシーケンシャルにアクセスしていく。

企業内文書等を検索する際、ユーザのアクセス権限によって閲覧可・不可の指定が必要だが、部分ソート法を適用時には、最小値ｘとの比較の後でアクセス権チェックを行えば良いため、検索結果すべてに対してアクセス権チェックを行う場合と比較して格段に速度向上が期待できる。

図９は、スパムタームの動的な抑制方法を説明する説明図である。この抑制方法により、検索されたウェブページのうち、スパムタームを含むページの検索スコアが相対的に小さくなるようにする。ここで、クエリが「ソフト 太郎 発売」の３語の場合について、図９（ａ）を用いて説明する。

グラフ９０１は、ページＡの検索スコアを示すグラフであり、クエリの１つである「ソフト」を１００語含んでいる。しかし、その他にスパムタームも複数含まれている。グラフ９０２は、ページＢの検索スコアを示すグラフであり、クエリの１つである「ソフト」を５語、「太郎」を５語、「発売」を３語含んでいる。その他には特にスパムタームを含んでいない。グラフ９０３は、ページＣの検索スコアを示すグラフであり、クエリの１つである「ソフト」を１語、「太郎」を７語、「発売」を５語含んでいる。その他には特にスパムタームを含んでいない。

グラフ９０１で示されるページＡは、スパムタームを含むにもかかわらず、クエリの１つである「ソフト」を他のページＢ、ページＣと比べて際立って多く含んでおり、その結果、そのままでは検索スコアがページＢ、ページＣよりも大きくなってしまうという問題がある。しかし、スパムタームを多く含み、望まれないページであるページＡの検索スコアを大きく求めてしまうことは望まれていない。そこで、図９（ｂ）のグラフ９１０に示すように、グラフ９０１で示した検索スコアを減らす。それにより、ページＡの検索スコアは、ページＢ、ページＣよりも小さくなり、所望の計算結果を得ることができる。

このときの検索スコアは、次の式によって求める。ｌｏｇ（ＴＦ）≦Ｔｈｒｅｓのとき、Ｓｃｏｒｅ＝ｆ（ｌｏｇ（ＴＦ））、ｌｏｇ（ＴＦ）＞Ｔｈｒｅｓのとき、Ｓｃｏｒｅ＝１とする。なお、Ｔｈｒｅｓ：閾値（ｅを底とする場合は通常２程度）、Ｓｃｏｒｅ：各タームに対するドキュメントスコア、ｆ（）：ＴＦまたはｌｏｇ（ＴＦ）を用いたスコア計算関数である。

すなわち、スパムとなる可能性の高い、頻度の高いタームを切り下げる。そして、インデキシング時ではなく、スコア計算時に切り下げる。そして、クエリ内のターム数や検索用途に応じて閾値を変更可能とする。また、ドキュメントサイズのばらつきに対して非常に強い。また、トピックや検索用途に応じて閾値を調整することもできる。このようにして、広告目的でメタタグなどに追加されたスパムタームスコアをスコア計算時に切り下げてスパムページを排除する。

なお、ターム数に連動する動的カットダウン法を採用する場合、次の式を用いて検索スコアを求める。ｌｏｇ（ＴＦ）≦Ｔｈｒｅｓのとき、Ｓｃｏｒｅ＝ｆ（ｌｏｇ（ＴＦ））、ｌｏｇ（ＴＦ）＞Ｔｈｒｅｓのとき、Ｓｃｏｒｅ＝１とする。そして、Ｎ≦３：Ｔｈｒｅｓ＝２、Ｎ≦１０：Ｔｈｒｅｓ＝３、Ｎ＞１０：Ｔｈｒｅｓ＝４とする。なお、Ｔｈｒｅｓ：閾値（２〜４程度で動的に設定）、Ｓｃｏｒｅ：各タームに対するドキュメントスコア、ｆ（）：ＴＦまたはｌｏｇ（ＴＦ）を用いたスコア計算関数、Ｎ：クエリ内のターム数とする。

図１０は、動的ワーキングセット設定方法を説明する説明図である。この設定方法により、検索結果の件数が多すぎる場合に、許容範囲を設定してその範囲内で検索結果を提示する。検索結果が多い場合、そのすべてを提示することは難しいので、件数を絞って提示する必要がある。ただし検索内容によって、多く表示したい場合、少なくてよい場合があるので、状況によって提示の仕方を変える必要がある。そこで、この検索結果の柔軟に対応させる方法を次に説明する。

クエリを「ソフト 太郎 発売」とした場合について説明する。検索結果１０１０は、各クエリのタームについての検索結果をそれぞれグラフで示したものである。一方、処理部１０２０において、前処理により、出現順インデックス１０２１をＴＦ順にソートしたものを検索インデックス１０２２としてもっておく。そして、検索スコア１０１０と検索インデックス１０２２から、インデックス長１０３０を求める。このインデックス長１０３０は、各タームの特徴度に応じて決定される。

そして、このインデックス長１０３０に応じた検索結果を、各タームにそれぞれ割り当てる。検索結果１０１０に示すように、検索結果の量は「ソフト」が多く、「太郎」「発売」はそれに比べて少なく、ともに同じくらいである。これに対して、インデックス長１０３０は、「ソフト」を１１、「太郎」を１４、「発売」を６と設定している。そして、この異なるインデックス長１０３０に応じて、検索結果を割り当てる。

そして、この各タームに割り当てられた検索結果を文書ＩＤ順に配列し、マージする。すなわち、この検索結果をドキュメントＩＤの順にソートしてＴＦ・ＩＤＦを計算する。その結果、ソート結果１０４０を得る。そして求められたソート結果１０４０には、パーシャルソートを実行し、スコア順にソートし直す。そして、検索結果１０５０を得る。

このときの設定値は、次のように求める。Ｔｎ＝（ＩＤＦｎ／ＩＤＦｍａｘ）×（Ｗｎ／Ｎｑ）である。ここで、Ｔｎ＝はクエリ内のタームでのワーキングセットである。また、Ｗｎは、１タームで検索したときのワーキングセットである。また、Ｎｑは、クエリ内のターム数である。また、ＩＤＦｎは、クエリ内の各タームのＩＤＦ値である。また、ＩＤＦｍａｘは、クエリ内の最大ＩＤＦ値である。ＩＤＦ値とは単語の特徴度を示す値であり、単語の出現頻度を示す。

ここで、ショートクエリの場合にはワーキングセットは大きい値で処理される。一方、ロングクエリの場合は、ワーキングセットが小さくなり、高速に処理される。また、データベースがソートされている場合、ＴＦの小さなものは除外することができる。また、ＩＤＦの大きさに応じて検索結果に寄与しない語はウィンドウズセットを小さくすることができる。また、検索結果上位になるように、影響を与えることなく下位の結果を除外することができる。

図１１は、レベリング法を用いた検索スコアリング処理を説明するフローチャートである。この図１１に示した処理を実行することにより、図３および図４に示した結果を得る。まず、検索を実行することによりこの処理を開始する。たとえば、「ジャストシステムが一太郎を発売」という文章を検索する。

まず、クエリを解析する（ステップＳ１）。クエリを解析することにより、文章をｔｅｒｍごとに分ける。その結果、「ジャストシステム」「一太郎」「発売」というクエリが得られる。次に、クエリを集計する（ステップＳ２）。集計することにより、たとえばこの場合はクエリの数は３つと分かる。

次に、検索を実行する（ステップＳ３）。検索の実行にあたっては検索エンジンインデックスを参照する。それにより、ｔｅｒｍごとの検索結果を得ることができる。次に、スコアを計算する（ステップＳ４）。このスコアは、ＴＦ−ＴＤＦのスコアにレベルのスコアを加算することにより計算することができる。

たとえば、ＴＦ−ＴＤＦのスコアを、「ジャストシステム」が１２、「一太郎」が２３、「発売」が５であるとし、加算するスコアの合計を１００とする。ｔｅｒｍは３つなので、１００を３で割った値が、各ｔｅｒｍのスコアとなる。その結果、「ジャストシステム」が１２＋１００÷３＝４５．３、「一太郎」が２３＋１００÷３＝５６．３、「発売」が５＋１００÷３＝３８．３、となる。

そして、検索結果を表示する（ステップＳ５）。この検索結果は、文書リストとして表示する。たとえば、「新製品発売情報」「パソコンマガジン」「口コミ情報局」・・・、という文書が検索結果として得られた場合、各文書について検索結果を表示する。そして、一連の処理を終了する。

図１２は、被リンクドメイン数を用いたスコアリング処理を説明するフローチャートである。この図１２に示した処理を実行することにより、図５および図６に示した結果を得る。まず、検索を実行することによりこの処理を開始する。

まず、クエリを解析する（ステップＳ１１）。クエリを解析することにより、文章をｔｅｒｍごとに分ける。次に、クエリを集計する（ステップＳ１２）。集計することにより、たとえばこの場合はクエリの数は３つと分かる。

次に、検索を実行する（ステップＳ１３）。検索の実行にあたっては検索エンジンインデックスを参照する。それにより、ｔｅｒｍごとの検索結果を得ることができる。次に、スコアを計算する（ステップＳ１４）。このスコアは、ＴＦ−ＴＤＦのスコアにレベルのスコアを加算することにより計算することができる。

次に、被リンク数を集計する（ステップＳ１５）。図５の例では、トップページ５２０の被リンク数は３つなので、３という数字が集計される。次に、被リンクドメイン数を集計する（ステップＳ１６）。図５の例では、トップページ５２０の被ドメインリンク数は１つなので、１という数字が集計される。

次に、被リンクスコアを計算して加算する（ステップＳ１７）。上述のように、Ｓｃｏｒｅ＝２／（１／Ｎ＋１／Ｍ）によって求める。なお、Ｎ：被リンク数、Ｍ：被リンクドメイン数、Ｎ＞Ｍ、とする。トップページ５２０の場合、スコアは、Ｓｃｏｒｅ＝２／（１／３＋１／１）＝１．５となる。そして、検索結果を表示する（ステップＳ１８）。この検索結果は、文書リストとして表示する。そして、一連の処理を終了する。

図１３は、高速結果の動的な高速ソート法を説明するフローチャートである。この図１３に示した処理を実行することにより、図７および図８に示した結果を得る。まず、検索を実行することによりこの処理を開始する。

まず、クエリを解析する（ステップＳ２１）。クエリを解析することにより、文章をｔｅｒｍごとに分ける。次に、クエリを集計する（ステップＳ２２）。集計することにより、たとえばこの場合はクエリの数は３つと分かる。次に、検索を実行する（ステップＳ２３）。検索の実行にあたっては検索エンジンインデックスを参照する。それにより、ｔｅｒｍごとの検索結果を得ることができる。

次に、スコアを計算する（ステップＳ２４）。このスコアは、ＴＦ−ＴＤＦのスコアにレベルのスコアを加算することにより計算することができる。次に、被リンク数を集計する（ステップＳ２５）。そして、被リンクドメイン数を集計する（ステップＳ２６）。そして、被リンクスコアを計算して加算する（ステップＳ２７）。

次に、スコアを一時配列へ列挙する（ステップＳ２８）。この一時配列は、図７においてデータ７０２、図８においてデータ８０２として示したとおりである。そして、この一時配列を、二次配列を使って部分ソートを行う（ステップＳ２９）。この二次配列は、図７においてデータ７０１、図８においてデータ８０１として示したとおりである。そして、検索結果を表示する（ステップＳ３０）。この検索結果は、文書リストとして表示する。そして、一連の処理を終了する。

図１４は、スパムタームの動的な抑制方法を説明するフローチャートである。この図１４に示した処理を実行することにより、図９に示した結果を得る。まず、検索を実行することによりこの処理を開始する。

まず、クエリを解析する（ステップＳ３１）。クエリを解析することにより、文章をｔｅｒｍごとに分ける。次に、クエリを集計する（ステップＳ３２）。集計することにより、たとえばこの場合はクエリの数は３つと分かる。次に、検索を実行する（ステップＳ３３）。検索の実行にあたっては検索エンジンインデックスを参照する。それにより、ｔｅｒｍごとの検索結果を得ることができる。

次に、動的なスパム度によりＴＦを切り下げる（ステップＳ３４）。たとえば、スパムワードが多く含まれる文章については、ＴＦを切り下げることにより、スコアが低く求められるようにする。スパムワードが含まれない文書は、逆に引き下げられない。

次に、スコアを計算する（ステップＳ３５）。このスコアは、ＴＦ−ＴＤＦのスコアにレベルのスコアを加算することにより計算することができる。次に、被リンク数を集計する（ステップＳ３６）。そして、被リンクドメイン数を集計する（ステップＳ３７）。そして、被リンクスコアを計算して加算する（ステップＳ３８）。

次に、スコアを一時配列へ列挙する（ステップＳ３９）。そして、この一時配列を、二次配列を使って部分ソートを行う（ステップＳ４０）。こそして、検索結果を表示する（ステップＳ４１）。この検索結果は、文書リストとして表示する。そして、一連の処理を終了する。

図１５は、動的なワーキングセット設定方法を説明するフローチャートである。この図１５に示した処理を実行することにより、図１０に示した結果を得る。まず、検索を実行することによりこの処理を開始する。

まず、クエリを解析する（ステップＳ５１）。クエリを解析することにより、文章をｔｅｒｍごとに分ける。次に、クエリを集計する（ステップＳ５２）。集計することにより、たとえばこの場合はクエリの数は３つと分かる。次に、ｔｅｒｍ数に応じたＷｏｒｋｉｎｇＳｅｔで検索を実行する（ステップＳ５３）。検索の実行にあたっては検索エンジンインデックスを参照する。それにより、ｔｅｒｍごとの検索結果を得ることができる。

次に、動的なスパム度によりＴＦを切り下げる（ステップＳ５４）。たとえば、スパムワードが多く含まれる文章については、ＴＦを切り下げることにより、スコアが低く求められるようにする。スパムワードが含まれない文書は、逆に引き下げられない。

次に、スコアを計算する（ステップＳ５５）。このスコアは、ＴＦ−ＴＤＦのスコアにレベルのスコアを加算することにより計算することができる。次に、被リンク数を集計する（ステップＳ５６）。そして、被リンクドメイン数を集計する（ステップＳ５７）。そして、被リンクスコアを計算して加算する（ステップＳ５８）。

次に、スコアを一時配列へ列挙する（ステップＳ５９）。そして、この一時配列を、二次配列を使って部分ソートを行う（ステップＳ６０）。こそして、検索結果を表示する（ステップＳ６１）。この検索結果は、文書リストとして表示する。そして、一連の処理を終了する。

以上説明したように、文書処理装置、文書処理方法および文書処理プログラムによれば、検索結果をユーザのニーズに合わせた順に提示することができるという効果を奏する。

なお、本実施の形態で説明した文書処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

以上のように、本発明にかかる文書処理装置、文書処理方法および文書処理プログラムは、クエリを用いた検索の検索スコアを求める文書処理において有用である。

この発明の実施の形態による文書処理装置のハードウエア構成の一例を示すブロック図である。 この発明の実施の形態にかかる文書処理装置の構成を機能的に示すブロック図である。 ３つのクエリについての検索結果をレベリングした結果をグラフで示した説明図である。 ４つのクエリについての検索結果をレベリングした結果をグラフで示した説明図である。 被リンクドメイン数を用いたスコアリング手法を説明する説明図である。 異なるドメイン数にリンクされたサイトのスコアリングの比較を説明する説明図である。 検索結果の動的な高速ソート法を説明する説明図である。 アクセス権のチェックを伴う高速ソートを説明する説明図である。 スパムタームの動的な抑制方法を説明する説明図である。 動的ワーキングセット設定方法を説明する説明図である。 レベリング法を用いた検索スコアリング処理を説明するフローチャートである。 被リンクドメイン数を用いたスコアリング処理を説明するフローチャートである。 高速結果の動的な高速ソート法を説明するフローチャートである。 スパムタームの動的な抑制方法を説明するフローチャートである。 動的なワーキングセット設定方法を説明するフローチャートである。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ ＨＤ
１０６ ＦＤＤ
１０７ ＦＤ
１０８ ＣＤ−ＲＷドライブ
１０９ ＣＤ−ＲＷ
１１０ ディスプレイ
１１１ キーボード
１１２ マウス
１１３ ネットワークＩ／Ｆ
１１４ 通信ケーブル
１２０ バス
２０１ 検索部
２０２ 算出部
２０３ 判定部
２０４ 抽出部
２０５ 提示部

Claims (15)

1. 複数のタームをクエリとして、第１検索スコアを算出する第１算出手段と、
   前記第１算出手段によって算出された第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求める第２算出手段と、
   前記第２算出手段によって求められた第２検索スコアを、前記複数のタームのそれぞれの検索スコアとして提示する提示手段と、
   を備えることを特徴とする文書処理装置。
2. 所定の平滑化度に関する値は、固定の値を前記複数のタームの数で割った値であることを特徴とする請求項１に記載の文書処理装置。
3. 所定の文書との間で関連付けされた、それぞれ属性をもつ複数の関連文書を検索する検索手段と、
   前記検索手段によって検索された関連文書の数を求める文書数算出手段と、
   前記検索手段によって検索された関連文書の属性の数を求める属性数算出手段と、
   前記属性数算出手段によって求められた関連文書の数および前記属性数算出手段によって求められた属性の数に基づいて、検索スコアを求めて提示する提示手段と、
   を備えることを特徴とする文書処理装置。
4. 前記提示手段は、前記関連文書の数の逆数と前記属性の数の逆数を加算した値に基づいて前記検索スコアを求めることを特徴とする請求項３に記載の文書処理装置。
5. ソート対象となるデータ群から、所定の数のデータを抽出する抽出手段と、
   前記抽出手段によって抽出されたデータの、ソート順に並べ替える並べ替え手段と、
   前記並べ替え手段によって並べ替えられた順に、前記抽出手段によって抽出されたデータを提示する提示手段と、
   を備えることを特徴とする文書処理装置。
6. 前記並べ替え手段は、前記抽出手段によって抽出されたデータのうち、任意の条件を満たさないデータを除去し、残ったデータの範囲内で並べ替えを実行することを特徴とする請求項５に記載の文書処理装置。
7. 所定のクエリにしたがって複数のページを検索する検索手段と、
   前記検索手段によって検索された複数のページについて、スパムワードを含むページか否かを判定する判定手段と、
   前記判定手段によってスパムワードを含むと判定されたページについて、第１の算出式を用いて第１検索スコアを算出し、スパムワードを含まないと判定されたページについて、第２の算出式を用いて第２検索スコアを算出する算出手段と、
   前記算出手段によって算出された第１検索スコアおよび第２検索スコアを提示する提示手段と、
   を備えることを特徴とする文書処理装置。
8. 前記第１の算出式は、前記クエリ内のターム数にしたがって条件を変化させることを特徴とする請求項７に記載の文書処理装置。
9. 複数のタームをクエリとして検索して検索結果を得る検索手段と、
   前記複数のタームのそれぞれについて出現頻度に応じた割当量を保持する保持手段と、
   前記保持手段によって保持された割当量に応じて、前記検索手段によって得られた検索結果のうち提示するデータを特定する特定手段と、
   前記特定手段によって特定された各タームについてのデータを、それぞれソートするソート手段と、
   を備えることを特徴とする文書処理装置。
10. 複数のクエリについて、第１検索スコアを算出する第１算出工程と、
    前記第１算出工程によって算出された第１検索スコアに、所定の平滑化度に関する値を加算することにより、第２検索スコアを求める第２算出工程と、
    前記第２算出工程によって求められた第２検索スコアを、前記複数のクエリのそれぞれの検索スコアとして提示する提示工程と、
    を含むことを特徴とする文書処理方法。
11. 所定の文書との間で関連付けされた、それぞれ属性をもつ複数の関連文書を検索する検索工程と、
    前記検索工程によって検索された関連文書の数を求める文書数算出工程と、
    前記検索工程によって検索された関連文書の属性の数を求める属性数算出工程と、
    前記属性数算出工程によって求められた関連文書の数および前記属性数算出工程によって求められた属性の数に基づいて、検索スコアを求めて提示する提示工程と、
    を含むことを特徴とする文書処理方法。
12. ソート対象となるデータ群から、所定の数のデータを抽出する抽出工程と、
    前記抽出工程によって抽出されたデータの、ソート順に並べ替える並べ替え工程と、
    前記並べ替え工程によって並べ替えられた順に、前記抽出工程によって抽出されたデータを提示する提示工程と、
    を含むことを特徴とする文書処理方法。
13. 所定のクエリに該当する複数のページを検索する検索工程と、
    前記検索工程によって検索された複数のページについて、スパムワードを含むページか否かを判定する判定工程と、
    前記判定工程によってスパムワードを含むと判定されたページについて、第１の算出式を用いて第１検索スコアを算出し、スパムワードを含まないと判定されたページについて、第２の算出式を用いて第２検索スコアを算出する算出工程と、
    前記算出工程によって算出された第１検索スコアおよび第２検索スコアを提示する提示工程と、
    を含むことを特徴とする文書処理方法。
14. 複数のタームをクエリとして検索して検索結果を得る検索工程と、
    前記複数のタームのそれぞれについて出現頻度に応じた割当量を保持する保持工程と、
    前記保持工程によって保持された割当量に応じて、前記検索工程によって得られた検索結果のうち提示するデータを特定する特定工程と、
    前記特定工程によって特定された各タームについてのデータを、それぞれソートするソート工程と、
    を含むことを特徴とする文書処理方法。
15. 請求項１４に記載の文書処理方法をコンピュータに実行させることを特徴とする文書処理プログラム。
    

Images