JP2017515249A - 結果文書セットに関する推定関連性指示子を表示するため及びクエリ可視化を表示するためのシステム及び方法 - Google Patents

Abstract

結果文書セットに関する推定関連性指示子を表示するためのかつクエリ可視化を表示するためのシステム及び方法を開示する。方法は、複数のクエリ用語を含む検索クエリを受信する段階を含む。本方法は、結果文書セットを識別するために検索クエリを使用してデータベースを検索する段階と、結果文書セットに関する推定関連性スコアを計算する段階とを更に含む。推定関連性スコアは、結果文書セットがどの程度検索クエリに関連しているかを示すものである。本方法は、推定関連性スコアに基づいて推定関連性指示子を表示のために与える段階を更に含む。推定関連性指示子は、結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与える。複数のノードと複数のコネクタとを含むクエリ可視化も開示する。【選択図】図４

Description

〔関連出願への相互参照〕
本出願は、引用によって本明細書にその全体が全体的に組み込まれる２０１４年５月１日出願の米国仮特許出願第１４／２６７，３４０号に対する優先権を主張するものである。

本明細書は、一般的に検索クエリに関し、より具体的には、結果文書セットの推定関連性スコアを計算し、かつ計算された推定関連性スコアに基づいて結果文書セットに関する推定関連性指示子を表示するためのシステム及び方法、及びクエリ可視化を表示するためのシステム及び方法に関する。

ユーザは、検索目的を満たす文書を識別するために文書データベース（例えば、法律文書データベース、特許文書データベース、ニュース記事文書データベース、金融文書データベースなど）を検索するための検索クエリを構成する。ユーザがユーザの検索目的を満たさない不十分な結果セットをもたらす無効な検索クエリを構成する場合がある危険性が存在する。ユーザは、信頼性のない検索結果に誤って依存することにより、精度に欠けるか又は情報価値のない結論又は決定を行う場合がある。ユーザはまた、ユーザの検索目的に最も関連する文書を含まない場合さえある不十分な結果を精査して有意な時間を浪費する場合がある。ユーザは、ユーザが文書を精査するのに有意な量の時間及び労力を費やすまで検索クエリによって識別された文書セットの関連性又は有用性に関する考えを持たない場合がある。更に、直感的かつ利用しやすい方法で検索クエリを可視化かつ操作することが望ましい場合がある。

従って、結果文書セットに関する推定関連性指示子を表示するためのシステム及び方法、及びクエリ可視化を表示するためのシステム及び方法に対する必要性が存在する。

一実施形態において、結果文書セットに関する推定関連性指示子を表示のために与える方法は、複数のクエリ用語を含む検索クエリをコンピュータで受信する段階を含む。本方法は、結果文書セットを識別するために検索クエリを使用してデータベースを検索する段階を更に含む。結果文書セットは、検索クエリに基づいて識別される。本方法は、結果文書セットに関する推定関連性スコアを計算する段階を含む。推定関連性スコアは、結果文書セットがどの程度検索クエリに関連しているかを示している。本方法は、推定関連性スコアに基づいて推定関連性指示子を表示のために与える段階を更に含む。推定関連性指示子は、結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与える。

別の実施形態において、結果文書セットに関する推定関連性指示子を表示のために与える方法は、検索クエリをコンピュータで受信する段階を含む。検索クエリは、複数のクエリ用語を含む。本方法は、結果文書セットを識別するために検索クエリを使用してデータベースを検索する段階を更に含む。結果文書セットは、検索クエリに基づいて識別される。本方法は、結果文書セットに関する推定関連性スコアを計算する段階を更に含む。推定関連性スコアは、結果文書セットがどの程度検索クエリに関連しているかを示している。本方法は、推定関連性スコアに基づいて推定関連性指示子を表示のために与える段階を更に含む。推定関連性指示子は、結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与える。本方法は、推定関連性スコアが関連性スコア閾値よりも低いと判断する段階と、推定関連性スコアが関連性スコア閾値よりも低いと判断する段階に応答して検索クエリを改良するための少なくとも１つの提案を与える段階とを更に含む。

更に別の実施形態において、検索クエリの可視化を表示する方法は、クエリ入力要素を有するグラフィカルユーザインタフェースを表示のために与える段階を含む。本方法は、クエリ入力要素に入力された検索クエリを受信する段階を更に含む。検索クエリは、複数のクエリ用語を含む。本方法は、複数のノードと複数のコネクタとを含むクエリ可視化及び操作要素をグラフィカルユーザインタフェース上への表示のために与える段階を更に含む。複数のノードは、複数のクエリ用語に対応する。複数のコネクタの各コネクタは、１対の複数のノードを接続し、かつ接続されたノードの対の対応するクエリ用語の近接性を表している。

本明細書に説明する実施形態によって与えられるこれら及び追加の特徴は、図面と併せて以下の詳細説明の観点でより完全に理解されるであろう。

図面に示す実施形態は、本質において例示的かつ例証的であり、特許請求の範囲によって定められる主題を限定するように意図していない。例示的実施形態の以下の詳細説明は、同様の参照符号を用いて同様の構造を示す以下の図面と併せて読む時に理解することができる。

本明細書に図示かつ説明する１又は２以上の実施形態による本明細書に説明する機能を実行するためのシステムに関するコンピュータネットワークの概略図である。 図１からのサーバコンピュータデバイスの概略図を示し、本明細書に図示かつ説明する１又は２以上の実施形態による本明細書に説明する機能を実行するのに使用することができるハードウエア及びソフトウエアを更に示す図である。 本明細書に図示かつ説明する１又は２以上の実施形態による文書データベースの検索を容易にする方法を図式的に示す流れ図である。 本明細書に図示かつ説明する１又は２以上の実施形態によるクエリ入力要素、クエリ可視化及び操作要素、推定関連性要素、及び結果フィードバック要素を含むグラフィカルユーザインタフェースの概略図である。 本明細書に図示かつ説明する１又は２以上の実施形態による類義語及び異形をクエリ用語のうちの１つに追加することによって改良されたクエリと結果セットの推定関連性の得られる改良とを示すグラフィカルユーザインタフェースの概略図である。 本明細書に図示かつ説明する１又は２以上の実施形態による追加のクエリ用語を検索クエリに追加することによって改良されたクエリと結果セットの推定関連性の得られる改良とを示すグラフィカルユーザインタフェースの概略図である。 本明細書に図示かつ説明する１又は２以上の実施形態による訴訟手続群を選択することによって改良されたクエリと推定関連性の得られる改良とを示すグラフィカルユーザインタフェースの概略図である。 本明細書に図示かつ説明する１又は２以上の実施形態によるクエリ用語間の近接性コネクタを変更することによって改良されたクエリと推定関連性の得られる改良とを示すグラフィカルユーザインタフェースの概略図である。

図を全般的に参照すると、本明細書に説明する実施形態は、検索クエリに基づいて識別された結果文書セットの推定関連性スコアを計算するためのシステム及び方法、並びにクエリ可視化を表示するためのシステム及び方法に関する。本明細書に説明するシステム及び方法の一部の実施形態はまた、計算された推定関連性スコアに基づいて結果文書セットに関する推定関連性指示子を表示する。表示された推定関連性指示子は、結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与える。結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与えることは、ユーザが、改良されたクエリを策定し、より関連する文書を調査し、かつ無関係な文書を調査するのに費やす時間の量を低減することによって時間を節約することを可能にすることができる。例えば、結果文書セットが関連性の低いものであると推定されるという視覚的指示を与えることにより、本明細書に説明する実施形態は、この結果セットが関連してないこと、及びユーザが無関係な結果を調査する時間を浪費すべきではないことをユーザに警告することができる。その反対に、結果文書セットが関連性の高いものであると推定されるという視覚的指示を与えることにより、本明細書に説明する実施形態は、この結果セットが関連する可能性が高いこと、及びユーザが浪費時間が短くなるという確信を持って結果セットの調査を進めることができることをユーザに注意喚起することができる。これに加えて、結果文書セットが関連性の高いものであると推定されるという視覚的指示を与えることは、この結果がユーザの検索目的を恐らく満たすことになるので検索クエリの改良は必要ではないことを信号で伝えることができ、その一方、結果文書セットが関連性の低いものであると推定されるという視覚的指示を与えることは、結果セット内の文書を調査する前に検索クエリの改良が必要であることを信号で伝えることができる。一部の実施形態において、推定関連性スコアが関連性スコア閾値よりも低い時に、検索クエリを改良するための少なくとも１つの提案が与えられる。一部の実施形態は、クエリ入力要素、クエリ可視化及び操作要素、推定関連性要素、及び結果フィードバック要素を含むグラフィカルユーザインタフェースを表示のために与える。更に、本明細書に説明する表示されたクエリ可視化は、直感的かつ利用しやすい方式で検索クエリの可視化及び操作を容易にすることができる。結果文書セットの推定関連性スコアを計算し、結果文書セットに関する推定関連性指示子を表示し、かつクエリ可視化を表示するためのシステム及び方法の様々な実施形態を以下に説明する。

実施形態は、法律文書（例えば、判例、法令など）、特許文書、ニュース文書、及び金融文書などを含む文書データベースとの関連に説明されるが、実施形態はこれらに限定されないことを理解しなければならない。

ここで図面を参照すると、図１は、本明細書に図示かつ説明する実施形態による本明細書に説明する機能を実行するためのシステムに関する構成要素を示す例示的コンピュータネットワークを示している。図１に示されているコンピュータネットワーク１０は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、公衆サービス電話網（ＰＳＴＮ）、及び／又は他のネットワークのようなワイドエリアネットワークを含むことができ、ユーザコンピュータデバイス１２ａ、サーバコンピュータデバイス１２ｂ、及び管理者コンピュータデバイス１２ｃに電子的に接続するように構成することができる。

ユーザコンピュータデバイス１２ａは、文書データベースの検索を容易にし、このような検索を実行するのに使用されるグラフィカルユーザインタフェースからの入力を表示してそれを受信し、かつ結果文書セット及びこの結果文書セットに関する情報（例えば、結果文書セットがどの程度検索クエリに関連しているかを示す推定関連性指示子）を表示するのに使用することができる。ユーザコンピュータデバイス１２ａはまた、ユーザ入力を受信し、この受信に応答してユーザ入力を送信し、検索クエリを改良するためのサーバコンピュータデバイス１２ｂからの提案を表示することによって検索クエリの改良を容易にすることができる。ユーザコンピュータデバイス１２ａは、他のユーザ機能を実行することに使用することもできる。

管理者コンピュータデバイス１２ｃは、取りわけ、サーバコンピュータデバイス１２ｂに関する管理機能を実行することができる。サーバコンピュータデバイス１２ｂが、監視、更新、又は補正を必要とする場合に、管理者コンピュータデバイス１２ｃは、望ましい監視、更新、又は補正を提供するように構成することができる。管理者コンピュータデバイス１２ｃ、並びにコンピュータネットワーク１０に結合された他のいずれかのコンピュータデバイスを使用して、１又は２以上の文書を文書データベースに入力することができる。

サーバコンピュータデバイス１２ｂは、ユーザコンピュータデバイス１２ａからの検索クエリを受信し、かつ結果文書セットを識別するために検索クエリを使用して文書データベースを検索することができる。サーバコンピュータデバイス１２ｂはまた、結果文書セットがどの程度検索クエリに関連しているかを示す結果文書セットに関する推定関連性スコアを計算することができる。サーバコンピュータデバイス１２ｂはまた、ユーザコンピュータデバイス１２ａが結果文書セットと推定関連性指示子のような結果文書セットに関する情報とを表示することができるように、ユーザコンピュータデバイス１２ａに情報を送信することができる。サーバコンピュータデバイス１２ｂの構成要素及び機能について以下に詳細に説明する。

ユーザコンピュータデバイス１２ａ及び管理者コンピュータデバイス１２ｃは、パーソナルコンピュータとして示され、サーバコンピュータデバイス１２ｂは、サーバとして示されているが、これらは非限定的な例であることを理解しなければならない。より具体的には、一部の実施形態において、コンピュータデバイスのあらゆるタイプ（例えば、モバイルコンピュータデバイス、パーソナルコンピュータ、サーバなど）をこれらの構成要素のいずれかに使用することができる。これに加えて、これらのコンピュータデバイスの各々は、単一要素のハードウエアとして図１に示されているが、同じくこれは単に一例である。より具体的には、ユーザコンピュータデバイス１２ａ、サーバコンピュータデバイス１２ｂ、及び管理者コンピュータデバイス１２ｃの各々は、複数のコンピュータ、サーバ、データベースなどを表すことができる。

図２は、図１からのサーバコンピュータデバイス１２ｂに関する更なる詳細を示している。一部の実施形態において、サーバコンピュータデバイス１２ｂは、必要なハードウエア、ソフトウエア、及び／又はファームウエアを有する汎用コンピュータとして構成することができ、一部の実施形態において、サーバコンピュータデバイス１２ｂは、本明細書に説明する機能を実行するように専用に設計された専用コンピュータとして構成することができる。

図２にも示すように、サーバコンピュータデバイス１２ｂは、プロセッサ３０、入力／出力ハードウエア３２、ネットワークインタフェースハードウエア３４、データストレージ構成要素３６（文書データベース３８ａを格納することができる）、及び非一時的メモリ構成要素４０を含むことができる。メモリ構成要素４０は、揮発性及び／又は不揮発性コンピュータ可読媒体として構成することができ、そのようなものとして、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び／又は他のタイプのランダムアクセスメモリを含む）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、及び／又は他のタイプのストレージ構成要素を含むことができる。これに加えて、メモリ構成要素４０は、オペレーティング論理部４２、検索論理部４４、推定関連性スコア計算論理部４６、表示論理部４８、及びクエリ改良提案論理部４９（各々が、一例として、コンピュータプログラム、ファームウエア、又はハードウエアとして具現化することができる）を格納するように構成することができる。図２には、ローカルインタフェース５０も含まれており、ローカルインタフェース５０は、サーバコンピュータデバイス１２ｂの構成要素間の通信を容易にするためのバス又は他のインタフェースとして実装することができる。

プロセッサ３０は、命令（例えば、データストレージ構成要素３６及び／又はメモリ構成要素４０からの）を受信してそれを実行するように構成されたあらゆる処理構成要素を含むことができる。入力／出力ハードウエア３２は、モニタ、キーボード、マウス、プリンタ、カメラ、マイクロフォン、スピーカ、タッチスクリーン、及び／又はデータを受信し、それを送り、及び／又はそれを提示するための他のデバイスを含むことができる。ネットワークインタフェースハードウエア３４は、モデム、ＬＡＮポート、無線フィディリティ（Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、移動通信ハードウエア、及び／又は他のネットワーク及び／又はデバイスと通信するための他のハードウエアを含むことができる。

データストレージ構成要素３６は、サーバコンピュータデバイス１２ｂに対してローカルに、及び／又はそれからリモートに存在することができ、サーバコンピュータデバイス１２ｂ及び／又は他の構成要素がアクセスする１又は２以上のデータ要素を格納するように構成することができることを理解しなければならない。図２に示されているデータストレージ構成要素３６は、少なくとも１つの実施形態において検索のために編成及び指標付けされた文書を含む文書データベース３８ａを格納することができる。文書データベース３８ａは、１又は２以上のデータストレージデバイス内に格納することができる。別の実施形態において、サーバコンピュータデバイス１２ｂは、文書データベース３８ａ内の文書のうちの１又は２以上を含むリモートサーバ又はデータストレージデバイスに結合することができる。データストレージ構成要素３６には、本明細書に説明する機能のサポートをもたらすために他のデータを格納することができる。

オペレーティング論理部４２、検索論理部４４、推定関連性スコア計算論理部４６、表示論理部４８、及びクエリ改良提案論理部４９が、メモリ構成要素４０内に含まれる。オペレーティング論理部４２は、オペレーティングシステム、及び／又はサーバコンピュータデバイス１２ｂの構成要素を管理するための他のソフトウエアを含むことができる。同様に、検索論理部４４は、メモリ構成要素４０に存在することができ、ユーザコンピュータデバイス１２ａから受信した検索クエリに基づいて文書データベース３８ａを検索するように構成することができる。推定関連性スコア計算論理部４６は、ユーザコンピュータデバイス１２ａから受信した検索クエリに基づいて文書データベース３８ａを検索することによって識別された結果文書セットに関する推定関連性スコアを計算するように作動可能とすることができる。推定関連性スコアは、結果文書セットがどの程度検索クエリに関連しているかを示している。表示論理部４８は、検索クエリを提供し、検索クエリの可視化を表示し、結果文書セット及び推定関連性指示子のような結果文書セットに関する情報を表示するように、ユーザコンピュータデバイス１２ａのユーザによって使用可能なグラフィカルユーザインタフェースの表示を容易にすることができる。表示論理部４８は、ユーザコンピュータデバイス１２ａによって表示される情報を送信することにより、このような情報がユーザコンピュータデバイス１２ａ上に表示されることを容易にすることができる。クエリ改良提案論理部４９は、ユーザコンピュータデバイス１２ａに送信されてユーザに表示されるクエリ改良提案を発生させることができる。オペレーティング論理部４２、検索論理部４４、推定関連性スコア計算論理部４６、表示論理部４８、及びクエリ改良提案論理部４９の機能について以下でより詳細に説明する。

図２に示されている構成要素は、単に例示的ものであり、本発明の開示の範囲を限定するものではないことを理解しなければならない。より具体的には、図２における構成要素は、サーバコンピュータデバイス１２ｂ内部に存在するように示されているが、これは、非限定的な例である。一部の実施形態において、これらの構成要素のうちの１又は２以上は、サーバコンピュータデバイス１２ｂの外部に存在することができる。同様に、図２は、サーバコンピュータデバイス１２ｂに関するものであるが、ユーザコンピュータデバイス１２ａ及び管理者コンピュータデバイス１２ｃのような他の構成要素は、類似のハードウエア、ソフトウエア、及び／又はファームウエアを含むことができる。

ここで図３を参照すると、文書データベースの検索を容易にする方法３００を図式的に示す流れ図が示されている。図３のブロックに関連する段階は、別々のタスクとして説明されるが、他の実施形態において、ブロックを組み合わせるか又は省略することができる。更に、図３のブロックに関連する段階は、特定の順番で実行されるように説明されるが、他の実施形態において、これらの段階は、異なる順番で実行することができる。

引き続き図３を参照すると、ブロック３０２において、グラフィカルユーザインタフェースを表示する。一部の実施形態において、グラフィカルユーザインタフェースは、ユーザコンピュータデバイス１２ａのディスプレイデバイス上に表示される。グラフィカルユーザインタフェースは、グラフィカルユーザインタフェースに表示される１又は２以上の要素を含むメッセージをサーバコンピュータデバイス１２ｂから受信することに応答して表示することができる。サーバコンピュータデバイス１２ｂは、表示論理部４８を用いて表示されるメッセージ又は情報を発生させることができる。本明細書に説明するグラフィカルユーザインタフェースは、検索クエリの発生、検索クエリの反復精緻化及び操作を容易にすることができ、クエリの推定関連性を理解することは、ユーザが望ましいコンテンツを識別し、かつこの識別されたコンテンツが関連性があるという確信を有することができるような直感的かつ利用しやすい方式をもたらす。本明細書に説明するグラフィカルユーザインタフェースは、ユーザコンピュータデバイス１２ａがタブレットデバイス又はスマートフォンである場合に特に有用であるとすることができる。更に、本明細書に説明するグラフィカルユーザインタフェース及び要素のいずれも、様々な製品機能に及び検索過程の様々なポイントで埋め込む又は統合することができることを理解しなければならない。

例えば、一部の実施形態によって表示されるグラフィカルユーザインタフェースが図４に示されている。実施形態は、図全体を通して示されるグラフィカルユーザインタフェースの構成に限定されるものではなく、他のグラフィカルユーザインタフェース構成が可能であることを理解しなければならない。一実施形態において、コンピュータネットワーク１０は、インターネットであり、本明細書に説明するグラフィカルユーザインタフェースは、ウェブサーバを通してユーザコンピュータデバイス１２ａのディスプレイデバイス上でユーザに提示されている。

図４を参照すると、グラフィカルユーザインタフェース４００は、クエリ入力要素４１０、クエリ可視化及び操作要素４２０、推定関連性要素４３０、及び結果フィードバック要素４００を含む。クエリ入力要素４１０は、ユーザからの検索クエリの発出を要求するように構成される。一部の実施形態において、ユーザが入力フィールドとしてクエリ入力要素４１０を選択し、クエリ入力要素４１０にテキストを入力することができる場合のようにクエリ入力要素４１０においてテキスト入力を提供することができる。一部の実施形態において、検索クエリを検索ボックスに入力するか又は検索クエリをマイクロフォンに発話することによって検索クエリを提供することなどによって検索クエリを入力するのにユーザによって使用される別々の検索画面（例えば、検索ボックス及び「検索」ボタンを有するユーザインタフェース）をユーザに提示することができる。ユーザは、本明細書で提供されるユーザインタフェースと音声を通して対話することができ、自然な対話体験がユーザに提供され、これは、ユーザコンピュータデバイス１２ａがタブレット又はスマートフォンである場合の一部の実施形態では有用である場合があることを理解しなければならない。検索クエリが音声を通して入力される場合の実施形態において、音声認識アルゴリズムによるあらゆる方法でこの音声入力を翻訳、構文解析、又は処理して検索クエリを発生させることができる。一部の実施形態において、クエリ入力要素４１０は、検索クエリを構成するのに使用される様々な情報部分を通してユーザを案内することができる（例えば、ユーザに、訴訟手続区域、日付範囲、管轄区域、又は１又は２以上の検索クエリ用語などを入力するように促す）１又は２以上のプロンプト又は画面を含むことができる。

引き続き図４を参照すると、グラフィカルユーザインタフェース４００は、クエリ可視化及び操作要素４２０を含む。クエリ可視化及び操作要素４２０は、クエリ入力要素４１０に入力された検索クエリの視覚表示を提供し、検索クエリの編集を容易にすることができる。図４に示されているクエリ可視化及び操作要素４２０は、複数のノード４２２ａ、４２２ｂ、及び４２２ｃ、並びに複数のコネクタ４２４ａ及び４２４ｂを含む。これらのノードは、図４に示す実施形態におけるコネクタとは異なる形状を有する。しかし、他の実施形態において、これらのノード及びコネクタは同じ形状とすることができる。

複数のノード４２２ａ、４２２ｂ、及び４２２ｃの各々は、クエリ入力要素４１０に入力された検索クエリのクエリ用語に対応する。例えば、ノード４２２ａは、「食品」クエリ用語をグラフィックに表している。ノード４２２ｂは、「中毒」クエリ用語をグラフィックに表している。ノード４２２ｃは、「過失」クエリ用語をグラフィックに表している。一部の実施形態において、複数のノード４２２ａ、４２２ｂ、及び４２２ｃのうちの１又は２以上は、検索クエリの１又は２以上のクエリ用語、１又は２以上のクエリ用語の１又は２以上の類義語、１又は２以上のクエリ用語の１又は２以上の異形、又は１又は２以上のクエリ用語のあらゆる組合せ、１又は２以上の類義語、及び１又は２以上の異形を含むことができる概念ノードを含むことができる。例えば、以下の図５は、「中毒」クエリ用語を表すノード４２２ｂに１又は２以上の類義語及び異形をどのようにして追加することができるかについて説明している。

コネクタ４２４ａ及び４２４ｂの各々は、１対のノードを接続し、かつ接続されたノードの対の対応するクエリ用語の要求される近接性を表している。例えば、コネクタ４２４ａは、ノード４２２ａと４２２ｂを接続し、かつ検索クエリに適合するとして文書を識別するためにノード４２２ａに対応する「食品」クエリ用語及びノード４２２ｂに対応する「中毒」クエリ用語が同じ文書内に含まれるという要件を表している。コネクタは、文書近接性（文書を検索クエリに適合するとして識別するためにノードの対に対応するクエリ用語が同じ文書内に含まれるという要件）、段落近接性（検索クエリに適合するとして文書を識別するためにノードの対に対応するクエリ用語が同じ段落内に含まれるという要件）、文近接性（検索クエリに適合するとして文書を識別するためにノードの対に対応するクエリ用語が同じ文内に含まれるという要件）、及び語句近接性（検索クエリに適合するとして文書を識別するためにノードの対に対応するクエリ用語が同じ語句内に含まれるという要件）を表すことができる。

引き続き図４を参照すると、クエリ可視化及び操作要素４２０は、３つのクエリ構成要素ドロップボックスを含む。すなわち、クエリ可視化及び操作要素４２０は、コンテンツタイプドロップボックス４２６ａ、管轄区域ドロップボックス４２６ｂ、及び訴訟手続区域ドロップボックス４２６ｃを含む。コンテンツタイプドロップボックス４２６ａは、ユーザが判例、法令、及び記事などのような特定のコンテンツタイプから構成される文書に検索を制限することを可能にすることができる。図４に示す実施形態において、コンテンツタイプドロップボックス４２６ａは、検索が判例に制限されることを示す「判例」を表示している。コンテンツタイプドロップボックス４２６ａは、クエリ入力要素４１０に入力されたテキストに基づいて自動的に埋めること（例えば、クエリ入力要素４１０に入力された検索クエリ内の「判例」という用語の存在に基づいてコンテンツタイプドロップボックス４２６ａを「判例」で埋めること）ができる。コンテンツタイプドロップボックス４２６ａは、ユーザがコンテンツタイプドロップボックス４２６ａ上でクリックした時に可能なコンテンツタイプの一覧が表示された場合及びユーザが表示されたコンテンツタイプのうちの１つ選択した場合のようにユーザによっても操作することができる。

引き続き図４を参照すると、管轄区域ドロップボックス４２６ｂは、ユーザが、与えられた州、裁判所、又は巡回裁判所などのうちの判例又は他の法律文書のような特定の管轄区域からの文書に検索を制限することを可能にすることができる。図４に示す実施形態において、管轄区域ドロップボックス４２６ｂは、検索が、カリフォルニア州に関連するコンテンツに制限されていることを示す「カリフォルニア州」を表示している。管轄区域ドロップボックス４２６ｂは、クエリ入力要素４１０に入力されたテキストに基づいて自動的に埋めること（例えば、クエリ入力要素４１０に入力された検索クエリ内の「カリフォルニア州」という用語の存在に基づいて管轄区域ドロップボックス４２６ｂを「カリフォルニア州」で埋めること）ができる。管轄区域ドロップボックス４２６ｂは、ユーザが管轄区域ドロップボックス４２６ｂ上でクリックした時に可能な管轄区域の一覧が表示された場合及びユーザが表示された管轄区域のうちの１つ選択した場合のようにユーザによっても操作することができる。

引き続き図４を参照すると、訴訟手続区域ドロップボックス４２６ｃは、ユーザが、不法行為、知的財産、不動産、刑法、又は憲法などに関連する文書のような特定の訴訟手続群に関連する文書に検索を制限することを可能にすることができる。訴訟手続区域ドロップボックス４２６ｃは、クエリ入力要素４１０に入力されたテキストに基づいて自動的に埋めること、及び／又はユーザが訴訟手続区域ドロップボックス４２６ｃ上でクリックした時に可能な訴訟手続区域の一覧が表示された場合及びユーザが表示された訴訟手続区域のうちの１つ選択した場合のようにユーザ操作によって埋めることができる。他の実施形態は、ドロップボックス又は他のユーザプロンプトを用いた操作によって他のクエリ構成要素を追加又は削除することができるように、図４に示されているよりも多いか又は少ないクエリ構成要素ドロップボックスを含むことができることを理解しなければならない。

引き続き図４を参照すると、クエリ可視化及び操作要素４２０は、関連用語要素４２８を含む。関連用語要素４２８は、検索クエリ内の検索用語のうちの１又は２以上に関連する１又は２以上の用語を表示する。ユーザは、用語をクエリ入力ボックスに追加すること、又は用語をドラッグしてクエリのノード及びコネクタの次のノードを生成することなどにより、関連する用語のうちの１又は２以上をクエリに追加することができる。一部の実施形態において、関連する用語は、ユーザコンピュータデバイス１２ａからサーバコンピュータデバイス１２ｂに送信された検索クエリの１又は２以上のクエリ用語に基づいてサーバコンピュータデバイス１２ｂによって生成される。このような実施形態において、サーバコンピュータデバイス１２ｂは、関連する用語をユーザコンピュータデバイス１２ａに送信してユーザコンピュータデバイス１２ａ上に表示する。

引き続き図４を参照すると、グラフィカルユーザインタフェース４００は、推定関連性要素４３０を含む。図４に示す実施形態において、推定関連性要素４３０は、推定関連性指示子４３２を含む。推定関連性指示子４３２は、結果文書セット（検索クエリを用いて文書データベースを検索することによって識別される）が検索クエリに関連している程度の視覚的指示を与える。図４に示す実施形態において、推定関連性指示子４３２は、バーである。結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与えるためのこのバーは、バーの長さが、結果文書セットがどの程度検索クエリに関連しているかを示すようにバーの長さを変化させることなどによって表示することができる。一部の実施形態において、推定関連性指示子４３２の色は、推定関連性指示子４３２が低レベルの関連性を示す赤色である時、推定関連性指示子４３２が中程度のレベルの関連性を示す黄色である時、及び推定関連性指示子４３２が高レベルの関連性を示す緑色である時のような結果文書セットがどの程度検索クエリに関連しているかを示している。推定関連性要素４３０は、低関連性領域４３４ａ、中程度関連性領域４３４ｂ、及び高関連性領域４３４ｃも含むことができる。推定関連性指示子４３２が低関連性領域４３４ａの中に延びる時に、結果セットは、関連性の低いものであると推定される。推定関連性指示子４３２が中程度関連性領域４３４ｂの中に延びる時に、結果セットは、関連性が中程度のものであると推定される。推定関連性指示子４３２が高関連性領域４３４ｃの中に延びる時に、結果セットは、関連性の高いものであると推定される。他の実施形態において、推定関連性指示子４３２が推定関連性に関するゲージ又はテキスト指示である場合の実施形態などでは、推定関連性指示子４３２は、図４に示されて本明細書に説明される実施形態と異なる場合がある。

引き続き図４を参照すると、グラフィカルユーザインタフェース４００は、結果フィードバック要素４４０を含む。結果フィードバック要素４４０は、検索クエリを用いて文書データベースを検索することによって識別された結果文書セットのプレビュー又は他のディスプレイを表示することができる。一実施形態において、結果フィードバック要素４４０は、結果文書セットの部分集合のプレビュー又は他のディスプレイを提示する。別の実施形態において、返信された電子文書の全てが、結果フィードバック要素４４０において提供される。ユーザが、返信された電子文書の最初から最後までスクロールすることを可能にするためのスクロールバーを提供することができる。表示された文書の視覚的指示は、様々な形式を採用することができる。図４に示す実施形態のような一部の実施形態において、文書識別子及び文書内のテキストの関連部分を表示することができる。同じく他の視覚表示も可能である。グラフィカルユーザインタフェース４００は、結果文書セット内の文書の数を示す結果数指示子４４２も含む。一部の実施形態において、結果は、ユーザが結果閲覧ボタン４４４を操作することによってより詳細に閲覧することができる。結果閲覧ボタンの色は、結果閲覧ボタン４４４が低レベルの関連性を示す赤色である時、結果閲覧ボタン４４４が中程度のレベルの関連性を示す黄色である時、及び結果閲覧ボタン４４４が高レベルの関連性を示す緑色である時のような結果文書セットの推定関連性の視覚的指示を与えることができる。

再度図３（及び図１）を参照すると、ブロック３０４において、検索クエリを受信することができる。一部の実施形態において、ブロック３０４において受信した検索クエリは、ユーザコンピュータデバイス１２ａによって表示されたグラフィカルユーザインタフェース４００のクエリ入力要素４１０に入力され、ユーザによる検索開始に応答して（例えば、実行キーを押下するか又は検索開始アイコンを選択することにより）ユーザコンピュータデバイス１２ａからサーバコンピュータデバイス１２ｂに送信され、サーバコンピュータデバイス１２ｂによって受信することができる。受信した検索クエリは、複数の用語を含む。例えば、図４及び１を参照すると、「カリフォルニア州 食品 中毒 過失 判例」の検索クエリが、ユーザコンピュータデバイス１２ａによって表示されたグラフィカルユーザインタフェース４００のクエリ入力要素４１０に入力され、ユーザコンピュータデバイス１２ａからサーバコンピュータデバイス１２ｂに送信され、サーバコンピュータデバイス１２ｂによって受信することができる。

再度図３及び図２を参照すると、ブロック３０６において、サーバコンピュータデバイス１２ｂは、検索論理部４４を使用して文書データベース３８ａを検索し、ブロック３０４で受信した検索クエリに基づいて識別された結果文書セットを識別することができる。検索論理部４４は、検索クエリのクエリ用語のうちの１又は２以上を含み、コンテンツタイプ又は用語の近接性などのような検索クエリに関連するあらゆる追加の制約条件を満たす結果文書セットを文書データベース３８ａ内の文書として識別する検索アルゴリズムを用いることができる。検索論理部４４は、様々な検索アルゴリズムを用いることができる。

引き続き図３及び２を参照すると、ブロック３０８において、サーバコンピュータデバイス１２ｂは、推定関連性スコア計算論理部４６を使用して結果文書セットに関する推定関連性スコアを計算することができる。上述のように、推定関連性スコアは、結果文書セットがどの程度検索クエリに関連しているかを示している。一部の実施形態において、推定関連性スコアは、１又は２以上のコンテキスト特性、１又は２以上のクエリ特性、又は１又は２以上の結果特性に基づいて計算することができる。推定関連性スコアは、以下の節に説明する１又は２以上のコンテキスト特性、１又は２以上のクエリ特性、又は１又は２以上の結果特性を含む重み付けスコア構成要素に基づいて計算することができ、これらの節は、様々なコンテキスト特性、クエリ特性、及び結果特性、並びにこれらの特性に基づいて推定関連性スコアをどのようにして計算することができるかについて説明している。

コンテキスト特性に基づく推定関連性スコアの計算
推定関連性スコアが１又は２以上のコンテキスト特性に基づいて計算される時に、サーバコンピュータデバイス１２ｂは、検索クエリコンテキストを示す１又は２以上のコンテキスト特性を決定し、次に、これらの１又は２以上のコンテキスト特性に基づいて推定関連性スコアを計算することができる。

１又は２以上のコンテキスト特性は、ユーザプロファイルを含むことができ、ユーザプロファイルは、このような情報をユーザ識別子、訴訟手続区域、管轄区域、又はユーザ基本設定などとして含むことができる。一部の実施形態において、推定関連性スコアは、ユーザプロファイルに基づいて計算される。例えば、推定関連性スコアは、ユーザプロファイルに基づいてより高いと計算することができ（例えば、結果文書セットのうちの高比率が、ユーザプロファイルに含まれる訴訟手続区域からのものである場合に、推定関連性スコアをより高いと計算することにより）、又はユーザプロファイルに基づいてより低いと計算することができる（例えば、結果文書セットのうちの低比率が、ユーザプロファイルに含まれる訴訟手続区域からのものである場合に、推定関連性スコアをより低いと計算することにより）。一部の実施形態において、推定関連性スコアは、ユーザプロファイルに基づいて計算されたユーザプロファイル構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、ユーザプロファイルの別の関数として計算することができる。

１又は２以上のコンテキスト特性は、ユーザコンピュータデバイス１２ａが、パーソナルコンピュータ、ラップトップコンピュータ、タブレット、又はスマートフォンなどであるか否かを示すことができるデバイスタイプを含むことができる。一部の実施形態において、推定関連性スコアは、デバイスタイプがタブレット又はスマートフォンである時にのみ推定関連性スコアが計算又は利用される時のようにデバイスタイプに基づいて計算される。

１又は２以上のコンテキスト特性は、地理学的位置又はネットワーク位置を含むことができる。一部の実施形態において、推定関連性スコアは、地理学的位置又はネットワーク位置に基づいて計算される。例えば、推定関連性スコアは、ユーザがオフィスから離れていることを示す地理学的位置、又はユーザがオフィス内にいることを示す地理学的位置に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、ユーザがオフィスから離れている時にのみ推定関連性スコアが計算又は利用される時のように地理学的位置又はネットワーク位置に基づいて計算される。

クエリ特性に基づく推定関連性スコアの計算
推定関連性スコアが、１又は２以上のクエリ特性に基づいて計算される時に、サーバコンピュータデバイス１２ｂは、検索クエリの特性を示す１又は２以上のクエリ特性を決定し、次に、これらの１又は２以上のクエリ特性に基づいて推定関連性スコアを計算することができる。

１又は２以上のクエリ特性は、検索クエリ内のクエリ用語の数を含むことができる。一部の実施形態において、推定関連性スコアは、クエリ用語の数に基づいて計算される。例えば、推定関連性スコアは、クエリ用語の数に比例するものとして計算することができる。一部の実施形態において、推定関連性スコアは、存在するクエリ用語の数が少ない場合に（例えば、３又はそれ未満のクエリ用語）推定関連性スコアがより低く、存在するクエリ用語の数が中程度である場合に（例えば、４から７のクエリ用語）推定関連性スコアがより高く、存在するクエリ用語の数がより多く存在する場合に（例えば、８又は９以上のクエリ用語）推定関連性スコアがより低くなるようなクエリ用語の数の釣鐘型関数として計算することができる。一部の実施形態において、推定関連性スコアは、クエリ用語数構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、クエリ用語の数の別の関数として計算することができる。

１又は２以上のクエリ特性は、認識された語句の包含を含むことができる。一部の実施形態において、推定関連性スコアは、認識された語句の包含に基づいて計算される。例えば、推定関連性スコアは、検索クエリが「不法占有」、「土地収のための」、又は「受託者の義務」という認識された法律語句又は同様の語句のような認識された語句を含む場合により高いと計算することができる。推定関連性スコアは、検索クエリが１又は２以上の認識された語句の一部分ではない互いに無関係なクエリ用語を含む場合のような検索クエリが認識された語句を含まない場合に、より低いと計算することができる。一部の実施形態において、１又は２以上の認識された語句は、サーバコンピュータデバイス１２ｂのデータストレージ構成要素３６又はメモリ構成要素４０内に格納することができる。このような一部の実施形態において、推定関連性スコアは、検索クエリがデータストレージ構成要素３６又はメモリ構成要素４０内に格納された認識語句のうちの少なくとも１つを含むか否かに基づいて計算される。一部の実施形態において、推定関連性スコアは、認識された語句構成要素の包含を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、認識された語句の包含の別の関数として計算することができる。

１又は２以上のクエリ特性は、引用文の包含を含むことができる。一部の実施形態において、推定関連性スコアは、引用文の包含に基づいて計算される。例えば、推定関連性スコアは、検索クエリが引用文を含む場合に、より高いと計算することができる。推定関連性スコアは、検索クエリが引用文を含まない場合に、より低いと計算することができる。サーバコンピュータデバイス１２ｂの文書データベース３８ａ内に含まれる法律文書を検索するのに使用される法律検索クエリとの関連で、推定関連性スコアは、検索クエリが裁判所判例に関する引用文又は法令に関する引用文などのような法律引用文を含む場合により高いと計算することができる。その反対に、推定関連性スコアは、検索クエリが法律引用文を含まない場合により低いと計算することができる。一部の実施形態において、推定関連性スコアは、引用文構成要素の包含を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、引用文の包含の別の関数として計算することができる。

１又は２以上のクエリ特性は、検索フィルタの包含を含むことができる。一部の実施形態において、推定関連性スコアは、検索フィルタの包含に基づいて計算される。例えば、推定関連性スコアは、検索クエリが検索フィルタを含む場合により高いと計算することができる。推定関連性スコアは、検索クエリが検索フィルタを含まない場合により低いと計算することができる。検索フィルタは、ユーザがクエリ入力要素４１０内に日付範囲を入力することによって特定の日付範囲に検索を制限する場合又はドロップダウンボックス又は他のフィルタから日付範囲を選択する場合のような日付範囲フィルタとすることができる。検索フィルタは、ユーザがクエリ入力要素４１０内に管轄区域を入力するか又は管轄区域ドロップボックス４２６ｂから管轄区域を選択することによって特定の管轄区域からの判例又は法令に検索を制限する場合のような管轄区域フィルタとすることができる。検索フィルタは、ユーザがクエリ入力要素４１０内にコンテンツタイプを入力するか又はコンテンツタイプドロップボックス４２６ａからコンテンツタイプを選択することによって特定のコンテンツタイプ（例えば、判例、法令、又は法律レビュー記事など）に検索を制限する場合のようなコンテンツタイプフィルタとすることができる。検索フィルタは、ユーザがクエリ入力要素４１０内に訴訟手続区域を入力するか又は訴訟手続区域ドロップボックス４２６ｃから訴訟手続区域を選択することによって特定の訴訟手続区域（例えば、不法行為、知的財産、不動産、刑法、又は憲法など）からの文書に検索を制限する場合のようなコンテンツタイプフィルタとすることができる。推定関連性スコアは、本明細書で具体的に説明するフィルタ以外の検索クエリに適用することができる別の様々なフィルタに基づいて計算することができることを理解しなければならない。

１又は２以上のクエリ特性は、曖昧度スコアを含むことができる。一部の実施形態において、推定関連性スコアは、曖昧度スコアに基づいて計算される。曖昧度スコアは、クエリがクエリの言語学に基づいてどれほど曖昧であるかに関する測定値を提供する。一部の実施形態において、サーバコンピュータデバイス１２ｂは、メモリ構成要素４０内に格納されたクエリ曖昧度決定論理部を使用してクエリの曖昧度を解析し、曖昧度スコアを計算する。一部の実施形態において、推定関連性スコアは、曖昧度スコア構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、曖昧度スコアの別の関数として計算することができる。

１又は２以上のクエリ特性は、クエリ類似度を含むことができる。クエリ類似度は、少なくとも１つの以前の検索クエリに対する類似度を示している。例えば、クエリ類似度は、類似のコンテンツ（例えば、同じコンテンツ区域又は同じ訴訟手続区域におけるなど）における別のユーザによる以前の検索クエリに対する類似度とすることができる。クエリ類似度は、ユーザがダウンロードすること、印刷すること、電子メールを送るか又は以前に識別された結果セットからの文書又は以前に識別された結果セットの文書からのコンテンツを保存することによって証明される情報が取り込まれた結果セットを識別した以前の検索クエリに対する類似度とすることができる。クエリ類似度は、ユーザが引用文解析を実行すること、反転表示させること、注釈を書き込むか又は以前に識別された結果セットからの文書又は以前に識別された結果セットの文書からのコンテンツを閲覧することによって証明される文書が解析された結果セットを識別した以前の検索クエリに対する類似度とすることができる。推定関連性スコアは、クエリ類似度に基づいて計算することができる。例えば、推定関連性スコアは、結果セットの文書又は文書のコンテンツがそこからダウンロードされた、印刷された、電子メールで送られた、又は保存されたなどの結果セットを含む以前の検索クエリに検索クエリが類似している場合により高いと計算することができる。一部の実施形態において、推定関連性スコアは、クエリ類似度構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、クエリ類似度の別の関数として計算することができる。

結果特性に基づく推定関連性スコアの計算
推定関連性スコアが１又は２以上の結果特性に基づいて計算される時に、サーバコンピュータデバイス１２ｂは、結果文書セットを示す１又は２以上の結果特性を決定し、次に、これらの１又は２以上のクエリ特性に基づいて推定関連性スコアを計算することができる。

１又は２以上の結果特性は、用語関連性を含むことができる。用語関連性は、検索クエリのクエリ用語が、結果文書セットのうちの少なくとも１つの文書内の１又は２以上の用語とどの程度符合するかを示すことができる。用語関連性は、結果文書セット内の文書の各々において検索クエリ内のクエリ用語の各々に関する用語の逆文書出現頻度（ｔｆ−ｉｄｆ）を計算し、次に、計算されたｔｆ−ｉｄｆ値を使用して推定関連性スコアを決定することによって計算することができる。次に、推定関連性スコアは、結果セット内の文書のうちの１又は２以上に関する用語関連性計算値に基づいて計算することができる。推定関連性スコアは、この推定関連性スコアが、結果セットの文書ごとの関連性平均値に基づいて、結果文書セットの部分集合内の文書ごとの関連性平均値（例えば、上位２５個の結果）に基づいて、又は結果文書セットの第１の文書と結果文書セット内の第２の文書の間の関連性差（例えば、上位２５個の結果のうちの第１の文書と上位２５個の結果のうちの２５番目の文書の間のｔｆ−ｉｄｆ差）に基づいて計算される時のような様々な方法で用語関連性に基づいて計算される。一部の実施形態において、推定関連性スコアは、用語関連性構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、用語関連性の別の関数として計算することができる。

１又は２以上の結果特性は、用語関連性降下度を含むことができる。用語関連性降下度は、結果文書セットの第１の文書と結果文書セットの第２の文書との間の関連性における差を示すことができる。一部の実施形態において、第１の文書と第２の文書との用語関連性は、前の段落に説明した方法のいずれかで計算することができる。一部の実施形態において、推定関連性スコアは、用語関連性降下度に基づいて計算される。例えば、関連する文書の部分集合は、ｔｆ−ｉｄｆによる「上位２５」の文書が識別された場合のような結果セットから識別することができる。文書の部分集合は、最も高い用語関連性から最も低い用語関連性までランク付けすることができる。用語関連性降下度は、この例では、「上位２５」の文書のうちの最も高くランク付けされた文書の用語関連性から「上位２５」の文書のうちの最も低くランク付けされた文書の用語関連性を減算することによって計算することができる。部分集合内の最も高くランク付けされた文書と部分集合内の最も低くランク付けされた文書の間の関連性における差が大きいことは、部分集合の文書の関連性における有効な差別化を示し、有効な検索クエリを示すことができるので、推定関連性スコアは、用語関連性降下度に比例するものとして計算することができる。一部の実施形態において、推定関連性スコアは、用語関連性降下度構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、用語関連性降下度の別の関数として計算することができる。

１又は２以上の結果特性は、最良段落用語出現率を含むことができる。最良段落用語出現率は、結果文書セットのうちの少なくとも１つの文書の少なくとも１つの段落内に含まれるクエリ用語及び／又はクエリ用語の類義語の数を示すことができる。例えば、結果セット内の文書内の１又は２以上の段落は、段落内にクエリ用語及び／又はクエリ用語の類義語が存在することに基づいて「最適段落」として識別することができる。「最適段落」内のクエリ用語及び／又はクエリ用語の類義語の数を計算することができる。識別された「最適段落」に関する最良段落用語出現率は、識別された「最適段落」内のクエリ用語の絶対数、識別された「最適段落」内のクエリ用語及びクエリ用語の類義語の絶対数、識別された「最適段落」内の用語の全体数に対する識別された「最適段落」内のクエリ用語の比率、並びに識別された「最適段落」内の用語の全体数に対する「最適段落」内のクエリ用語及びクエリ用語の類義語の比率に基づくことなどを含むいくつかの方法で計算することができる。推定関連性スコアは、結果セット内の各文書からの単一「最適段落」の最良段落用語出現率を使用することにより、結果セット内の各文書からの複数の「最適段落」の最良段落用語出現率を使用することにより、結果セット内の文書の部分集合からの単一「最適段落」の最良段落用語出現率を使用することにより、又は結果セット内の文書の部分集合からの複数の文書の最良段落用語出現率を使用することにより、最良段落用語出現率に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、最良段落用語出現率構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、最良段落用語出現率の別の関数として計算することができる。

１又は２以上の結果特性は、話題多様性を含むことができる。話題多様性は、結果文書セット内の話題の変化を示すことができる。話題多様性は、いくつかの方法で計算することができる。例えば、法律文書との関連では、話題多様性は、クエリ用語が法律分類における用語と適合する程度に基づいて（例えば、検索クエリをサーバコンピュータデバイス１２ｂのデータストレージ構成要素３６又はメモリ構成要素４０内に格納された別々の法律分類に含まれる用語と比較することにより）、又は結果セット内の文書に関連する訴訟手続区域に基づいて（例えば、結果セット内の文書に関連する訴訟手続区域を検索クエリの訴訟手続区域と比較することにより）計算することができる。話題多様性は、結果文書セット全体、又は結果文書セット内の文書の部分集合に対して計算することができる。推定関連性スコアは、話題多様性に基づいて計算することができる。例えば、特定の話題に着目した結果セットは、いくつかの文書間で分散した文書を含む結果セットよりも検索クエリに関連する可能性が高いので、推定関連性スコアは、話題多様性に反比例するものとして計算することができる。一部の実施形態において、推定関連性スコアは、話題多様性構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、話題多様性の別の関数として計算することができる。

１又は２以上の結果特性は、コンテンツ変動性を含むことができる。コンテンツ変動性は、結果文書セット内のコンテンツの変化を示すことができる。コンテンツ変動性は、結果文書セット間での最新性における変化、結果文書セット間の管轄区域における変化（法律文書の場合）、結果文書セット間の発明分野における変化（特許文書の場合）、又は結果文書セット間の法律問題における変化などを含むことができる。コンテンツ変動性は、結果文書セット全体、又は結果文書セット内の文書の部分集合に対して計算することができる。推定関連性スコアは、コンテンツ変動性に基づいて計算することができる。例えば、特定のコンテンツ態様に着目した結果セットは、いくつかのコンテンツ態様間で分散した文書を含む結果セットよりも検索クエリに関連する可能性が高いので、推定関連性スコアは、コンテンツ変動性に反比例するものとして計算することができる。一部の実施形態において、推定関連性スコアは、コンテンツ変動性構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、コンテンツ変動性の別の関数として計算することができる。

１又は２以上の結果特性は、用語近接性を含むことができる。用語近接性は、結果文書セットのうちの少なくとも１つの文書の一部分内のクエリ用語の近接性を示すことができる。文書の一部分内のクエリ用語の近接性は、この用語が文書全体を通して分散している程度に対してこの用語が文書内に集中している程度を示している。より高い用語近接性を有する文書は、この文書にはクエリ用語のうちのより高い比率の用語が互いの近くにあるので、より関連している可能性がある。用語近接性は、いくつかの方法で、例えば、クエリ用語間の平均単語数を決定することにより、又は文書の段落内のクエリ用語間の平均単語数を決定することなどによって計算することができる。用語近接性はまた、クエリ用語とクエリ用語に対する類義語との両方の間の近接性に基づいて計算することができる。次に、推定関連性スコアは、結果セット内の文書のうちの１又は２以上に関する用語近接性に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、用語近接性構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、用語近接性の別の関数として計算することができる。

１又は２以上の結果特性は、クエリ対核心用語比率を含むことができる。クエリ対核心用語比率は、結果文書セットのうちの少なくとも１つの文書内でのクエリ用語と核心用語の間の重複度を示すことができる。結果セット内の文書の各々は、この文書に対して「核心用語」として識別された１又は２以上の用語を含む場合があり、この核心用語は、文書の内容又は着目点を要約する用語、又は文書内の重要な概念を示す用語を示すことができる。クエリ対核心用語比率は、クエリ用語の数をクエリ用語でもある文書内の核心用語の数で割算することによって計算することができる。より低いクエリ対核心用語比率を有する文書は、与えられた検索クエリにより関連している可能性がある。一部の実施形態において、クエリ対核心用語比率は、クエリ用語の数をクエリ用語又はクエリ用語の類義語でもある文書内の核心用語の数で割算することによって計算することができる。次に、推定関連性スコアは、結果セット内の文書のうちの１又は２以上に関するクエリ対核心用語比率に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、クエリ対核心用語比率構成要素を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、クエリ対核心用語比率の別の関数として計算することができる。

１又は２以上の結果特性は、文書最新性指示子を含むことができる。文書最新性指示子は、結果文書セットのうちの少なくとも１つの文書の日付を示すことができる。ニュース、金融事情のような一部の状況では、より最新の文書は、より関連している可能性がある。次に、推定関連性スコアは、結果セット内の文書のうちの１又は２以上に関するか又は全体としての結果セットに関する文書最新性指示子に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、文書最新性指示子を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、文書最新性指示子の別の関数として計算することができる。

１又は２以上の結果特性は、結果文書セット内の文書の数を含むことができる。一部の実施形態において、推定関連性スコアは、結果文書セット内の文書の数に基づいて計算される。例えば、推定関連性スコアは、結果文書セット内の文書の数に反比例するものとして計算することができる。一部の実施形態において、推定関連性スコアは、結果文書セットに存在する文書の数が少ない場合に、推定関連性スコアがより低く、結果文書セットに存在する文書の数が中程度である場合に、推定関連性スコアがより高く、結果文書セットに存在する文書の数が多い場合に、推定関連性スコアがより低いように、結果文書セット内の文書の数の釣鐘型関数として計算することができる。一部の実施形態において、推定関連性スコアは、結果文書セット内の文書の数を含む複数の重み付けスコア構成要素に基づいて計算することができる。一部の実施形態において、推定関連性スコアは、結果文書セット内の文書の数の別の関数として計算することができる。

重み付け推定関連性スコア構成要素の例
上述のように、推定関連性スコアは、上述したコンテキスト特性のうちの１又は２以上、クエリ特性のうちの１又は２以上、又は結果特性のうちの１又は２以上を含むことができる複数の重み付けスコア構成要素に基づいて計算することができる。推定関連性スコアは、０％から１００％の間、又は０から１の間の値を有することができる。当然ながら、他の実施形態において、推定関連性スコアは、より小さい他の下限値とより大きい他の上限値との間で異なるものになる場合があることを理解しなければならない。一部の実施形態において、重みは、推定関連性スコアを計算するのに使用される複数の重み付け構成要素の各々に割り当てられる。推定関連性スコアが、０％から１００％の間で異なるものである場合の一部の実施形態において、重み付け構成要素の各々の重みは、結果的に１００％になる。推定関連性スコア及び構成要素の重みを計算するのに使用される特定の構成要素は、他の変数の中でも使用ケース又はコンテキストに基づいて異なる場合がある。ここで、スコア構成要素及びスコア構成要素の関連する重みの少数の非限定的な例を提供する。

ユーザが、タブレット又はスマートフォンを使用してクエリを実行する場合のような制限されたコンピュータコンテキストでは、以下の特性及び重みを使用して推定関連性スコアを計算することができる。制限されたコンピュータコンテキストでは、結果特性は、結果セット全体又は上位２５個の文書のような結果セットの部分集合に対して決定することができる。

（表１）

ユーザが、デスクトップ又はラップトップコンピュータを使用する場合のようなより強力なコンピュータコンテキストでは、以下の特性及び重みを使用して推定関連性スコアを計算することができる。より強力なコンピュータコンテキストでは、結果特性は、結果セット全体、又は上位５０個の文書又は上位１００個の文書のような結果セットの部分集合に対して決定することができる。

（表２）

一部の実施形態において、１つのタイプの特性のみを使用して推定関連性スコアを計算することが望ましい場合がある。例えば、一部の実施形態において、以下の非限定的な例で示されるような推定関連性スコアを計算するのに結果特性のみが使用される。

（表３）

推定関連性スコア及び構成要素の重みを計算するのに使用される特定の構成要素は、クエリのタイプに基づいて異なる場合がある。例えば、上述の２つの表に示されている構成要素及び重みは、判例法の検索に使用することができ、その一方、下記の表は、特許文書に関する検索に使用することができる。判例法コンテキストでは、話題多様性が、より文書関連性を示し、その一方、特許文書コンテキストでは、分類／下位分類多様性がより文書関連性を示すので、判例法の検索の場合に話題多様性構成要素が使用され、その一方、特許の検索の場合に分類／下位多様性が使用される。特許文書の検索に関する推定関連性スコアは、曖昧度スコア又は文書最新性指示子を含まないが、それは、これらの特性が、判例法コンテキストでは有用である場合はあるが、特許文書コンテキストでは有用ではないためである。

（表４）

従って、推定関連性スコアを計算するのに使用される特定の構成要素及びこの構成要素の重みは、検索を実行するのに使用されるデバイス、検索のタイプ、又は検索を実行するユーザなどのようないくつかのファクタに基づいて異なる場合があることを理解しなければならない。

再度図３（並びに図２及び４）を参照すると、ブロック３１０において、サーバコンピュータデバイス１２ｂは、表示論理部４８を使用してグラフィカルユーザインタフェース４００を更新することができる。ブロック３０６において識別された結果文書セットに基づいて、結果フィードバック要素４４０を更新することができる。図４に示す実施形態において、結果フィードバック要素４４０を更新して、結果文書セットの上位５つのランク付けされた文書の関連部分が表示される。また、結果数指示子４４２を更新して、結果文書セット内に１３４個の文書が存在することを示す「１３４」が表示される。推定関連性要素４３０を更新して、結果文書セットがどの程度検索クエリに関連しているかの視覚的指示を与えるための推定関連性指示子４３２が表示される。図４に示されている、推定関連性指示子４３２は、最初の検索クエリで識別された結果文書セットが、中程度関連性領域４３４ｂの中に延びるバーの長さで示された中程度の関連性のものであると推定されていることを示している。推定関連性指示子４３２は、推定関連性指示子４３２が低関連性領域４３４ａ又は中程度関連性領域４３４ｂの中にのみ延びる時のようなクエリ改良が提案されることの視覚的指示をユーザコンピュータデバイス１２ａのユーザに提供することができる。また、結果閲覧ボタン４４４は、結果が中程度の関連性のものであると推定されたことを示す黄色で表示することができる。

引き続き図３（並びに図２及び４）を参照すると、ブロック３１２において、サーバコンピュータデバイス１２ｂは、推定関連性スコアが関連性スコア閾値よりも低いか否かを決定することができる。関連性スコア閾値は、検索のコンテキストに依存する場合がある。一部の実施形態において、関連性スコア閾値は、３３％、５０％、又は６６％とすることができる。推定関連性スコアが関連性スコア閾値よりも大きいか又はそれに等しいと決定された場合に、サーバコンピュータデバイス１２ｂは、クエリを改良するための提案を与えることができず、方法３００は、ブロック３１４で終了することができる。方法３００が終了した後、依然として、ユーザは、結果フィードバック要素４４０内の結果を精査し、新しいクエリを発生させ、又は既存のクエリを操作することができる。

引き続き図３（及び図２）を参照すると、推定関連性スコアが関連性スコア閾値よりも低いと決定する段階に応答して、ブロック３１４において、クエリ可視化及び操作要素４２０を更新し、検索クエリを改良するための少なくとも１つの提案を与えることができる。ここで図５を参照すると、検索クエリを改良するための提案として類義語及び異形ボックス５１０を表示することができる。類義語及び異形ボックス５１０は、「中毒」検索用語に対する類義語、異形、又は関連用語を含む。具体的には、類義語及び異形ボックス５１０は、「毒物！」（用語「毒物に起因する全ての異形、例えば、毒、毒入り、及び中毒などを含む）、「ボツリヌス中毒」、「サルモネラ菌」、「有毒」、「汚染」、及び「危険」を含む。一部の実施形態において、類義語及び異形ボックス５１０は、推定関連性スコアが関連性スコア閾値よりも低いと決定する段階に応答して自動的に表示される。他の実施形態において、類義語及び異形ボックス５１０は、ユーザがノード４２２ｂ（「中毒」検索用語に対応するノード）を操作又は選択したことに応答して表示される。一部の実施形態において、検索クエリを改良するための提案は、クエリ用語（図５の関連用語要素５２８に示されているものなど）のうちの１又は２以上に関連する用語を表示すること、１又は２以上のクエリ用語を提案すること、又は１又は２以上の検索フィルタを提案することを含むことができる。一部の実施形態において、検索クエリを改良するための提案は、管轄区域、日付、訴訟手続区域、又はコンテンツタイプなどのような少なくとも１つの予め定められたクエリ構成要素又はフィルタの入力を要求するプロンプトを表示のために与えることを含むことができる。他のクエリ提案が可能であることを理解しなければならない。ユーザは、図５に示すように、概念ノード４２２ｂに追加されるいくつかの用語を類義語及び異形ボックス５１０から選択することができ、この図では、ユーザは、「毒物！」、「サルモネラ菌」、「有毒」、及び「汚染」を選択している。

引き続き図３（及び図２）を参照すると、検索クエリを改良するための少なくとも１つの提案を与えること（ブロック３１４に関して上述）に応答して、ブロック３１６において、クエリ改良を受信することができ、受信したクエリ改良に応答して、改良された検索クエリを発生させることができる。例えば、再度図５を参照すると、サーバコンピュータデバイス１２ｂは、選択された「毒物！」、「サルモネラ菌」、「有毒」、及び「汚染」という用語をクエリに追加したクエリ改良を受信することができる。サーバコンピュータデバイス１２ｂは、「毒物！」、「サルモネラ菌」、「有毒」、及び「汚染」という用語を追加することによる受信したクエリ改良に基づいて、改良された検索クエリを発生させることができる。改良された検索クエリを発生させた後、サーバコンピュータデバイス１２ｂは、ブロック３０６に戻って、改良された検索クエリを使用して文書データベース３８ａを検索し、改良された結果文書セットを識別することができる。サーバコンピュータデバイス１２ｂは、ブロック３０８に関して上述した方法で、改良された結果文書セットに関する改良された推定関連性スコアを計算することができる。サーバコンピュータデバイス１２ｂは、ブロック３１０に関して上述したように、改良された結果文書セットに基づいて結果フィードバック要素を更新することにより、グラフィカルユーザインタフェース５００を更新し、改良された結果文書セットに関する推定関連性指示子４３２を更新することができる。図５に示すように、改良された検索クエリに基づいて識別された結果セットに関する改良された推定関連性スコアは、更に右に前進している更新された推定関連性指示子４３２に示すようにより高い。

ユーザが、グラフィカルユーザインタフェースに推定関連性指示子で示されている結果セットの推定関連性に満足するまで、ユーザは、クエリ可視化及び操作要素４２０内で及び／又は提案されたクエリ改良に基づいてクエリを操作及び改良し続けることができる。例えば、ユーザは、「義務」という関連用語を検索クエリに追加することができる。ノード６２０として検索クエリに追加された「義務」という用語を図式的に示す図６に示すように、「義務」という用語は、ユーザが、関連用語要素５２８（図５に図示）から「義務」という用語に対応するノードをクエリの他のノードに最も近いようにドラッグアンドドロップすることを可能にすることにより、クエリに追加することができる。「義務」という用語を検索クエリに追加した後、サーバコンピュータデバイス１２ｂは、ブロック３０６から３１０に関して上述したように、改良された検索クエリを発生させ、データベースを検索し、改良された結果文書セットを識別し、この改良された結果文書セットに関する改良された推定関連性スコアを計算し、かつ改良された結果文書セットに基づいて結果フィードバック要素を更新することによってグラフィカルユーザインタフェースを更新することができる。図６に示すように、改良された検索クエリに基づいて識別された結果セットに関する改良された推定関連性スコアは、更に右にかつ推定された高関連性領域の中に前進している更新された推定関連性指示子４３２に示すようにより高い。

ここで図７を参照すると、ユーザはまた、訴訟手続区域として訴訟手続区域ドロップボックス４２６ｃから「不法行為」を選択することによってクエリを改良することができる。一部の実施形態において、訴訟手続区域又は管轄区域、日付、及びコンテンツタイプのような予め定められた別のクエリ構成要素の入力を要求するプロンプトが表示される。訴訟手続区域として不法行為を設定した後、サーバコンピュータデバイス１２ｂは、ブロック３０６から３１０に関して上述したように、改良された検索クエリを発生させ、データベースを検索し、改良された結果文書セットを識別し、この改良された結果文書セットに関する改良された推定関連性スコアを計算し、かつ改良された結果文書セットに基づいて結果フィードバック要素を更新することによってグラフィカルユーザインタフェースを更新することができる。図７に示すように、改良された検索クエリに基づいて識別された結果セットに関する改良された推定関連性スコアは、更に右にかつ推定された高関連性領域の中に前進している更新された推定関連性指示子４３２に示すようにより高い。

ここで、検索クエリに対する最終的な改良としての図８を参照すると、ユーザは、（ｉ）「中毒」（並びにその類義語及び異形）と同じ段落内の「食品」、（ｉｉ）「過失」と同じ段落内の「中毒」（並びにその類義語及び異形）、及び（ｉｉｉ）「義務」と同じページ内の「過失」を有する文書のみが結果文書セット内に含まれるように、コネクタ８２４ａ、８２４ｂ、及び８２４ｃを変更することができる。コネクタは、このコネクタをクリックして文、段落、ページ、及び文書などのような様々な近接性設定の間で循環させることによって変更することができる。図８に示すようにコネクタを変更した後、サーバコンピュータデバイス１２ｂは、ブロック３０６から３１０に関して上述したように、改良された検索クエリを発生させ、データベースを検索し、改良された結果文書セットを識別し、この改良された結果文書セットに関する改良された推定関連性スコアを計算し、かつ改良された結果文書セットに基づいて結果フィードバック要素を更新することによってグラフィカルユーザインタフェースを更新することができる。図８に示すように、改良された検索クエリに基づいて識別された結果セットに関する改良された推定関連性スコアは、更に右にかつ推定された高関連性領域の中に前進している更新された推定関連性指示子４３２に示すように更により高い。結果数は、１７まで減少しており、結果セットの文書は、検索クエリに非常に関連しており、図４の最初の検索クエリで識別された最初の結果セットよりも非常に少ないことを示している。ここで、ユーザは、関連する結果が識別され、かつ浪費時間が短くなるという確信を持って結果セット内の文書の調査を進めることができる。

従って、本明細書に説明する実施形態は、計算された推定関連性スコアに基づいて結果文書セットに関する推定関連性指示子を表示することを理解しなければならない。表示された推定関連性指示子は、結果文書セットが検索クエリに関連している程度に関する有用な視覚的指示を与える。結果文書セットが検索クエリに関連している程度に関する有用な視覚的指示を与えることにより、ユーザが、改良されたクエリ構成し、より関連する文書を調査し、無関係な文書を調査するのに費やす時間を低減することで時間を節約することを可能にすることができる。更に、本明細書に説明するグラフィカルユーザインタフェースは、検索クエリの発生、反復精緻化、及び検索クエリの操作を容易にすることができ、クエリの推定関連性を理解することにより、ユーザが望ましいコンテンツを識別し、この識別されたコンテンツが関連性があるという確信を持つことができるような直感的かつ利用しやすい方式がもたらされる。

本明細書では特定の実施形態を図示かつ説明したが、特許主張する主題の精神及び範囲から逸脱することなく様々な他の変更及び修正を行うことができることを理解しなければならない。更に、本明細書では特許主張する主題の様々な態様を説明したが、そのような態様を組み合わせて利用する必要はない。従って、添付の特許請求の範囲は、特許主張する主題の範囲内である全てのそのような変更及び修正を網羅するように意図している。

４００ グラフィカルユーザインタフェース
４１０ クエリ入力要素
４２０ クエリ可視化及び操作要素
４２２ ノード
４４０ 結果フィードバック要素

Claims (20)

1. 結果文書セットに関する推定関連性指示子を表示のために与える方法であって、
   複数のクエリ用語を含む検索クエリをコンピュータで受信する段階と、
   前記検索クエリに基づいて識別される前記結果文書セットを識別するために該検索クエリを使用してデータベースを検索する段階と、
   前記結果文書セットに関するものであり、該結果文書セットがどの程度前記検索クエリに関連しているかを示す推定関連性スコアを計算する段階と、
   前記推定関連性スコアに基づいて、前記結果文書セットが前記どの程度前記検索クエリに関連しているかの視覚的指示を与える前記推定関連性指示子を表示のために与える段階と、
   を含むことを特徴とする方法。
2. 前記検索クエリのコンテキストを示す１又は２以上のコンテキスト特性を決定する段階を更に含み、
   前記推定関連性スコアは、前記１又は２以上のコンテキスト特性に基づいて計算される、
   ことを特徴とする請求項１に記載の方法。
3. 前記１又は２以上のコンテキスト特性は、ユーザプロファイル又はデバイスタイプを含むことを特徴とする請求項２に記載の方法。
4. 前記検索クエリの特性を示す１又は２以上のクエリ特性を決定する段階を更に含み、
   前記推定関連性スコアは、前記１又は２以上のクエリ特性に基づいて計算される、
   ことを特徴とする請求項１に記載の方法。
5. 前記１又は２以上のクエリ特性は、前記検索クエリ内の前記クエリ用語の数と、認識された語句の包含と、引用文の包含と、フィルタの包含と、少なくとも１つの以前の検索クエリに対する類似度を示すクエリ類似度とを含むことを特徴とする請求項４に記載の方法。
6. 前記結果文書セットの特性を示す１又は２以上の結果特性を決定する段階を更に含み、
   前記推定関連性スコアは、前記１又は２以上の結果特性に基づいて計算される、
   ことを特徴とする請求項１に記載の方法。
7. 前記１又は２以上の結果特性は、
   前記クエリ用語が前記結果文書セットのうちの少なくとも１つの文書内の１又は２以上の用語にどの程度符合するかを示す用語関連性、
   前記結果文書セットの第１の文書と該結果文書セットの第２の文書の間の関連性の差を示す用語関連性降下度、
   前記結果文書セットのうちの少なくとも１つの文書の少なくとも１つの段落に含まれる前記クエリ用語と該クエリ用語の類義語との数を示す最良段落用語出現率、
   前記結果文書セット内の話題の変化を示す話題多様性、
   前記結果文書セットのうちの少なくとも１つの文書の一部分内の前記クエリ用語の近接性を示す用語近接性、
   前記結果文書セットのうちの少なくとも１つの文書内の前記クエリ用語と核心用語の間の重複度を示すクエリ対核心用語比率、
   前記結果文書セットのうちの少なくとも１つの文書の日付を示す文書最新性指示子、又は
   前記結果文書セット内の文書の数、
   を含む、
   ことを特徴とする請求項６に記載の方法。
8. 前記推定関連性スコアは、複数の重み付けスコア構成要素に基づいて計算されることを特徴とする請求項１に記載の方法。
9. 前記推定関連性スコアが関連性スコア閾値よりも低い時に前記検索クエリを改良するための少なくとも１つの提案を与える段階を更に含むことを特徴とする請求項１に記載の方法。
10. 結果文書セットに関する推定関連性指示子を表示のために与える方法であって、
    複数のクエリ用語を含む検索クエリをコンピュータで受信する段階と、
    前記検索クエリに基づいて識別される結果文書セットを識別するために該検索クエリを使用してデータベースを検索する段階と、
    前記結果文書セットに関するものであり、該結果文書セットがどの程度前記検索クエリに関連しているかを示す推定関連性スコアを計算する段階と、
    前記推定関連性スコアに基づいて前記結果文書セットが前記どの程度前記検索クエリに関連しているかの視覚的指示を与える前記推定関連性指示子を表示のために与える段階と、
    前記推定関連性スコアが関連性スコア閾値よりも低いと決定する段階と、
    前記推定関連性スコアが前記関連性スコア閾値よりも低いと決定する段階に応答して、前記検索クエリを改良するための少なくとも１つの提案を与える段階と、
    を含むことを特徴とする方法。
11. 前記推定関連性指示子は、クエリ改良が提案されたという視覚的指示を与えることを特徴とする請求項１０に記載の方法。
12. 前記検索クエリを改良するための少なくとも１つの提案を与える段階は、１又は２以上の提案クエリ用語を表示のために与える段階を含むことを特徴とする請求項１０に記載の方法。
13. 前記検索クエリを改良するための少なくとも１つの提案を与える段階は、少なくとも１つの予め定められたクエリ構成要素の入力を要求するプロンプトを表示のために与える段階を含むことを特徴とする請求項１０に記載の方法。
14. 前記少なくとも１つのクエリ構成要素は、管轄区域、日付、訴訟手続区域、及びコンテンツタイプを含むことを特徴とする請求項１３に記載の方法。
15. 前記検索クエリを改良するための少なくとも１つの提案を与える段階に応答して、クエリ改良を受信する段階と、
    前記クエリ改良を受信する段階に応答して、改良検索クエリを発生させる段階と、
    前記改良検索クエリに基づいて識別される改良結果文書セットを識別するために該改良検索クエリを使用して前記データベースを検索する段階と、
    前記改良結果文書セットに関するものであり、該改良結果文書セットがどの程度前記改良検索クエリに関連しているかを示す改良推定関連性スコアを計算する段階と、
    前記改良推定関連性スコアに基づいて、前記改良結果文書セットが前記どの程度前記改良検索クエリに関連しているかの視覚的指示を与える更新された推定関連性指示子を表示のために与える段階と、
    を更に含むことを特徴とする請求項１０に記載の方法。
16. 検索クエリの可視化を表示する方法であって、
    コンピュータにより、クエリ入力要素を有するグラフィカルユーザインタフェースを表示のために与える段階と、
    前記クエリ入力要素に入力されて複数のクエリ用語を含む検索クエリを受信する段階と、
    複数のノードと複数のコネクタとを含むクエリ可視化及び操作要素を前記グラフィカルユーザインタフェース上への表示のために与える段階であって、該複数のノードが、前記複数のクエリ用語に対応し、該複数のコネクタの各コネクタが、１対の該複数のノードを接続し、かつ該接続されたノードの対の該対応するクエリ用語の近接性を表す前記与える段階と、
    を含むことを特徴とする方法。
17. 推定関連性要素と結果フィードバック要素とを前記グラフィカルユーザインタフェース上への表示のために与える段階と、
    前記検索クエリに基づいて識別される前記結果文書セットを識別するために該検索クエリを使用してデータベースを検索する段階と、
    前記結果文書セットに関するものであり、該結果文書セットがどの程度前記検索クエリに関連しているかを示す推定関連性スコアを計算する段階と、
    前記結果文書セットに基づいて前記結果フィードバック要素を更新する段階と、
    前記推定関連性スコアに基づいて、前記結果文書セットが前記どの程度前記検索クエリに関連しているかの視覚的指示を与える推定関連性指示子を表示するために前記推定関連性要素を更新する段階と、
    を更に含むことを特徴とする請求項１６に記載の方法。
18. 前記推定関連性スコアが関連性スコア閾値よりも低いと決定する段階と、
    前記推定関連性スコアが前記関連性スコア閾値よりも低いと決定する段階に応答して、前記検索クエリを改良するための少なくとも１つの提案を与えるために前記クエリ可視化及び操作要素を更新する段階と、
    前記検索クエリを改良するための少なくとも１つの提案を与える段階に応答して、クエリ改良を受信する段階と、
    前記クエリ改良を受信する段階に応答して、改良検索クエリを発生させる段階と、
    前記改良検索クエリに基づいて識別される改良結果文書セットを識別するために該改良検索クエリを使用して前記データベースを検索する段階と、
    前記改良結果文書セットに関するものであり、該改良結果文書セットがどの程度前記改良検索クエリに関連しているかを示す改良推定関連性スコアを計算する段階と、
    前記改良結果文書セットに基づいて前記結果フィードバック要素を更新する段階と、
    前記改良推定関連性スコアに基づいて、前記改良結果文書セットが前記どの程度前記改良検索クエリに関連しているかの視覚的指示を与える改良推定関連性指示子を表示するために前記推定関連性要素を更新する段階と、
    を更に含むことを特徴とする請求項１７に記載の方法。
19. 前記推定関連性指示子は、バーであり、
    前記バーの長さが、前記結果文書セットが前記どの程度前記検索クエリに関連しているかを示す、
    ことを特徴とする請求項１７に記載の方法。
20. 前記推定関連性指示子の色が、前記結果文書セットが前記どの程度前記検索クエリに関連しているかを示すことを特徴とする請求項１７に記載の方法。

Images