JP2017535000A - 文書内の潜在的重要事実を自動識別するシステム及び方法 - Google Patents

Abstract

電子文書リポジトリから取得された電子法定文書内の潜在的重要事実文を識別するシステム及び方法を開示する。システムは、処理装置と、処理装置と通信する記憶媒体とを含む。記憶媒体は、文書を取得し、文書内の各段落に関連する表題及び段落の特徴の少なくとも一方に基づいて文書内の文字を解析して、段落が事実段落、考察段落又は結果段落のいずれであるかを判断することを処理装置に行わせるプログラム命令を含む。記憶媒体は、事実段落内の各文を抽出し、訓練された文分類器に、各文の特徴に基づいてその文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するように指示し、潜在的重要事実文を識別することを処理装置に行わせるプログラム命令をさらに含む。【選択図】図３

Description

〔関連出願との相互参照〕
本出願は、２０１４年１１月１９日に出願された「文書内の潜在的重要事実を自動識別するシステム及び方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｐｏｔｅｎｔｉａｌ Ｍａｔｅｒｉａｌ Ｆａｃｔｓ ｉｎ Ｄｏｃｕｍｅｎｔｓ）」という名称の米国仮特許出願第６２／０８１，７８６号に対する優先権を主張するものであり、この文献はその全体が引用により本明細書に組み入れられる。

様々な法的事項では、しばしば裁判所の意見、申立文書、請求文書などの文書の重要事実を決定することが必要になる。人々は、法的事項を調査する際に、同様の重要事実パターンを含む他の事件を見つけたいと望むことがある。時には、文書内の重要事実を取り出すことが困難であり、文脈の把握を必要とすることもある。従って、特定の法的意見に関する文書から類似する重要事実を自動的に特定して取得することが望ましいと思われる。

本開示の実施形態は、判例意見における事実段落を自動的に識別して事実段落内の潜在的重要事実文を特定するものである。

１つの実施形態では、電子リポジトリから取得された電子法定文書における潜在的重要事実文を識別するシステムが、処理装置と、処理装置と通信する非一時的プロセッサ可読記憶媒体とを含む。非一時的プロセッサ可読記憶媒体は、実行時に処理装置に、リポジトリから電子法定文書を取得し、電子法定文書における１又は２以上の段落に関連する表題、及び段落の１又は２以上の特徴の少なくとも一方に基づいて法定文書におけるテキストを解析して、段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断することを行わせる１又は２以上のプログラム命令を含む。非一時的プロセッサ可読記憶媒体は、実行時に処理装置に、１又は２以上の段落のうちの事実段落である各段落について、事実段落における１又は２以上の文の各文を抽出し、訓練された文分類器に、１又は２以上の文の各文の１又は２以上の特徴に基づいて、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するように指示し、この判断に基づいて、１又は２以上の文から１又は２以上の潜在的重要事実文を識別することを行わせる１又は２以上のプログラム命令をさらに含む。

別の実施形態では、電子リポジトリから取得された電子法定文書の潜在的重要事実文を識別する方法が、処理装置によって、リポジトリから電子法定文書を取得するステップと、処理装置によって、電子法定文書における１又は２以上の段落に関連する表題、及び段落の１又は２以上の特徴の少なくとも一方に基づいて法定文書におけるテキストを解析して、段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断するステップとを含む。この方法は、１又は２以上の段落のうちの事実段落である各段落について、処理装置によって、事実段落における１又は２以上の文の各文を抽出するステップと、処理装置によって、訓練された文分類器に、１又は２以上の文の各文の１又は２以上の特徴に基づいて、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するように指示するステップと、処理装置によって、この判断に基づいて、１又は２以上の文から１又は２以上の潜在的重要事実文を識別するステップとをさらに含む。

さらに別の実施形態では、電子リポジトリから取得された電子法定文書における潜在的重要事実文を識別する方法が、処理装置によって、リポジトリから電子法定文書を取得するステップと、処理装置によって、電子法定文書における１又は２以上の段落に関連する表題、及び段落の１又は２以上の特徴の少なくとも一方に基づいて法定文書におけるテキストを解析して、段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断するステップとを含む。この方法は、１又は２以上の段落のうちの事実段落である各段落について、処理装置によって、事実段落における１又は２以上の文の各文を抽出するステップと、処理装置によって、事実段落における１又は２以上の文の各文を解析して名詞句の数及び動詞句の数を求めるように自然言語解析器に指示するステップと、処理装置によって、１又は２以上の文の各文から、日付の数、タイプスタンプの数、金銭的値の数、下級裁判所行為の数、現裁判所行為の数、原告行為の数、被告行為の数、法的語句の数、法的概念の数、非重要事実単語の数及び非重要事実語句の数から選択された１又は２以上の特徴を抽出するステップと、処理装置によって、名詞句の数、動詞句の数及び１又は２以上の特徴に基づいて１又は２以上の文の各文にスコア付けするステップと、処理装置によって、スコア付けに基づいて、１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するステップとをさらに含む。

以下の詳細な説明を図面と共に考慮すれば、本明細書で説明する実施形態によって提供されるこれらの及びさらなる特徴が十分に理解されるであろう。

図面に示す実施形態は、説明的かつ例示的なものであり、特許請求の範囲に定める主題を限定するものではない。以下の例示的な実施形態についての詳細な説明は、同じ構造を同じ参照数字によって示す以下の図面と共に読むことによって理解することができる。

本明細書において図示又は説明する１又は２以上の実施形態による、事実段落を特定してそこから重要事実を抽出するシステムの例示的なコンピュータネットワークの概略図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落を特定してそこから重要事実を抽出する際に使用できるハードウェア及びソフトウェアをさらに示す図１のサーバコンピュータ装置の概略図である。 本明細書において図示又は説明する１又は２以上の実施形態による、例示的な訓練及び認識過程の高水準フロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落から重要事実を特定する全体的な過程のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落を識別する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落分類器を訓練する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落、考察段落及び結果段落を分類するための１又は２以上の特徴を決定する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、事実段落内の重要事実文及び非重要事実文を識別する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、訓練モデルを生成する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、重要事実及び非重要事実文を分類するための１又は２以上の特徴を決定する例示的な方法のフロー図である。 本明細書において図示又は説明する１又は２以上の実施形態による、訓練モデルに基づいて事実文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する例示的な方法のフロー図である。

これまで、個々の判例調査では、手元の事件に関連及び／又は関係する参考事例を手動で検索する必要があり、これには時間が掛かるとともに、調査者が手元の事件に関連及び／又は関係する全ての参考事例を発見できないことも多かった。例えば、参考事例では多くの異なる論点について考察が行われ、論点の中には手元の事件に全く無関係なものもあれば関係するものもあるので、参考事例によっては、手元の事件に関係又は関連するかが調査者にとって明らかにならないものもあった。他の例では、調査に利用できる事件数がますます増えることよって調査者が手元の事件に関係又は関連する参考事例を単純に発見しなかったという理由で、調査者にとって明らかにならない参考事例もあった。さらに別の例では、参考事例が電子形態でしか利用できないという理由で調査者が参考事例を発見できないこともある。

コンピュータは、大量のデータを処理して調査者にありとあらゆる情報を正確に提供できるので、コンピュータ及びネットワーク接続装置の出現は、上記の問題への対処に特に適していた。しかしながら、調査者は、ますます増えるデータ量が手に余り、これに圧倒されて特定の参考事例を発見できないこともある。従って、コンピュータ及びネットワーク接続装置の出現前には存在しなかったこのデータを取得し、調査者の検索要件との関連においてデータに関する知的決定を行うように明確に構成されたシステム及び方法が、関連する情報を調査者に戻すことによって、調査者が手元の事件に関連する参考事例を見逃し又は検討し損なってしまうことに関連する問題を避けることが重要になると考えられる。

図を大まかに参照すると、本明細書において説明する実施形態は、電子文書内の潜在的重要事実、及び／又は電子文書、特に意見、申立て及び／又は訴状などの電子法定文書から抜粋したデータを自動的に検出するシステム及び方法に関する。本開示の実施形態は、事実段落の場所を特定して、事実段落内の非重要事実及び／又は意見などではなく重要事実を含む可能性のある特定の文を判別する。

本明細書に開示する方法及びシステムは、例えば文書レビューアが電子文書の関連部分を見直す支援、及び文書レビューアが関連情報を含む電子文書及び／又はデータを発見する援助を行う自動検索及び／又はカテゴリ化ツールが使用される事例において使用することができる。例えば、判例の見直し又は検索を行う弁護士は、手元の問題に関連するかどうか、どのように関連するか、及び／又は先例となる情報又は判決をもたらすか、それとも先例とならない情報又は判決をもたらすかを判断するために見直すべき大量の事件を抱えている。これらの事件、又は事件から得られるデータは大量であるため、各事件を詳細に見直して関連する情報を判別するのは困難であり、又は長期にわたる可能性がある。従って、文書内のどこに関連情報が存在するかを判断し、弁護士が他の全ての無関係な情報をスキップできるように弁護士に関連情報を表示及び／又は強調表示する上で、弁護士に代わって文書を「見直す」ことができる自動検索ツール及び／又はカテゴリ化ツールが有用であると思われる。この結果、弁護士は、必要な情報に集中的に多くの時間を費やし、不要な情報をスキップして、しかるべき時間内に全ての事件を効率的に見直すことができる。この結果、場合によっては、クライアントに課金される弁護士の見直しのための時間が少なくて済む場合もある。

本明細書で説明する様々な実施形態では、データマイニングソフトウェアに基づく分類フレームワークが、訓練データファイルから分類器モデルを素早く生成する。フレームワークのユーザは、使用する（単複の）分類アルゴリズムの専門知識を必要としない。むしろ、このフレームワークは、分類器（又は基本分類器を伴う分類器のコミティー（ｃｏｍｍｉｔｔｅｅ ｏｆ ｃｌａｓｓｉｆｉｅｒｓ））、並びに訓練データファイ及び試験データファイルの場所などの様々な特性をユーザが指定できるようにする。別途明記しない限り、訓練データファイル及び試験データファイルは、本明細書においてさらに詳細に説明する数値的特徴にテキストを変換できるような文字列型であると想定される。いくつかの実施形態では、ユーザが、属性セット及びＪａｖａ(登録商標)プリプロセッサクラスを、訓練／試験データから属性の値を導出するように指定することもできる。

このフレームワークは、名前付き分類器を用いて訓練データのモデルを生成する。その後、試験データを用いてこのモデルを試験し、各試験事例の各分類器の上位数クラスが真偽表に書き込まれる。結果ファイルの終盤には、分類器の全体的精度が示される。ユーザは、真偽表内の結果を見て、生成された分類器モデルを受け入れるか、又は精度を高めるように特徴セットを修正することができる。このフレームワークは、ユーザの実験のメジャー／マイナーバージョンを自動的に追跡することができる。

このフレームワークは、他人が使用するウェブアプリケーションとして利用することができる。これにより、他人がプログラムコードを１行も書く必要なく機械学習アルゴリズムを用いて自身のデータをマイニングできるようになる。ユーザは、生成された分類器モデルの精度に満足すると、ボタンをクリックしてその分類器のウェブサービスとしての利用を可能にすることができる。その後、このモデルを使用して、事実段落、並びにその段落に含まれている潜在的重要事実文及び／又は非重要事実文を正確に特定することができる。

本明細書で使用する「電子文書（ｅｌｅｃｔｒｏｎｉｃ ｄｏｃｕｍｅｎｔｓ）」という用語は、電子形態で利用できる文書を意味する。いくつかの実施形態では、電子文書を、電子形態でのみ利用することができる。すなわち、この文書は、一般に物理的形態では利用することができない。例えば、いくつかの法定文書は、電子レポータを介して利用することはできるが、別様に印刷形態で利用することはできない。従って、電子文書には、（本明細書で説明するコンピュータ装置などの）コンピュータ装置を介してデータとしてのみアクセスして、その中に含まれる情報を取得することができる。本明細書における「文書（ｄｏｃｕｍｅｎｔ、又はｄｏｃｕｍｅｎｔｓ）」についての全ての言及は、電子文書、及び電子文書から取得されたデータを含むように意図される。

「サイテータ」は、調査者が、特定の参考文献を引用する文書を見つけることによって、事件、制定法又は規定などの参考文献の状態を判断（例えば、参考文献が有効な法律を表すかどうかを判断）するのを援助するツールである。いくつかの実施形態では、サイテータを引用インデックスと呼ぶこともできる。例示的なサイテータは、例えば参考文献が却下されたか、遵守されたか、及び／又は区別されたかなどを列挙することなどにより、参考文献が後続の参考文によってどのように取り扱われたかを列挙することによって参考文献の引用チェーンを形成することができる。

「重要事実」は、手元にある特定の取引、問題又は事項に関連するかどうかを判断する上で一般人に密接に結び付く事実のことである。すなわち、重要事実とは、それを表明するか、それとも隠匿するかによってそこから得られる合理的な結果が著しく変わる事実のことであり、従って一般人にとって重要、重大又は必須である。対照的に、他の事実は、重要でない事実、取るに足らない事実又はささいな事実などの、事実ではあるが手元の問題に密接に結び付かないものとすることができる。判例の事例では、重要事実は、紛争解決の結果として生じる事実である。従って、重要事実は、事件の事実の下位集合であり、典型的には事件の元となる問題の分析において言い換えられる。

本開示の実施形態は、紛争についての「誰が、何を、いつ、どこで及びどのように」を表す潜在的重要事実文に関する。法的文脈において定められる重要事実は、潜在的重要事実の下位集合である。潜在的重要事実文は、関心のある文のみであるため、他の全てのタイプの文は非重要事実文であると考えられる。換言すれば、文を潜在的重要事実又はそれ以外に分類するには、二項分類器があればよい。従って、本明細書では、「潜在的重要事実文」及び「重要事実文」を同義的に使用することができる。

ここで図面を参照すると、図１に、本明細書に図示し説明する実施形態による、電子的に利用可能な文書の事実段落を特定してそこから重要事実文を抽出するシステムの構成要素を示す例示的なコンピュータネットワークを示す。図１に示すように、コンピュータネットワーク１０は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、公衆交換電話網（ＰＳＴＮ）、パーソナルエリアネットワーク（ＰＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、及び／又は別のネットワークを含むことができる。一般に、コンピュータネットワーク１０は、１又は２以上のコンピュータ装置及び／又はその構成要素を電子的に接続するように構成することができる。例示的なコンピュータ装置は、以下に限定するわけではないが、ユーザコンピュータ装置１２ａ、サーバコンピュータ装置１２ｂ、及び管理者コンピュータ装置１２ｃを含むことができる。

一般に、ユーザコンピュータ装置１２ａは、ユーザとコンピュータネットワーク１０に接続された他の構成要素との間のインターフェイスとして使用することができる。従って、本明細書でさらに詳細に説明するように、ユーザコンピュータ装置１２ａは、ユーザから１又は２以上の入力を受け取り、又はユーザに潜在的重要事実文などの情報を提供することなどの、１又は２以上のユーザ対応機能を実行するために使用することができる。また、図１には、管理者コンピュータ装置１２ｃも含まれる。管理者コンピュータ装置１２ｃは、サーバコンピュータ装置１２ｂが監視、更新又は修正を要求した場合に所望の監視、更新及び／又は修正を行うように構成することができる。管理者コンピュータ装置１２ｃは、サーバコンピュータ装置１２ｂのデータストレージ部分に追加データを入力するために使用することもできる。

サーバコンピュータ装置１２ｂは、１又は２以上のソースから電子文書などの電子データを受け取り、データ内の事実段落及び重要事実文を特定し、データの特定の部分からの情報（例えば、重要事実）をユーザコンピュータ装置１２ａに提供することができる。

なお、ユーザコンピュータ装置１２ａ及び管理者コンピュータ装置１２ｃをパーソナルコンピュータとして示し、サーバコンピュータ装置１２ｂをサーバとして示しているが、これらは非限定的な例であると理解されたい。具体的に言えば、いくつかの実施形態では、これらのいずれかの構成要素には、あらゆるタイプのコンピュータ装置（例えば、モバイルコンピュータ装置、パーソナルコンピュータ、サーバなど）を使用することができる。また、図１にはこれらの各コンピュータ装置を単体のハードウェアとして示しているが、これも一例にすぎない。具体的に言えば、ユーザコンピュータ装置１２ａ、サーバコンピュータ装置１２ｂ及び管理者コンピュータ装置１２ｃの各々は、複数のコンピュータ、サーバ、データベース、構成要素及び／又は同様のものを表すこともできる。

また、本明細書に示す実施形態は、コンピュータ装置のネットワークを参照しているが、本開示は、このようなネットワークのみに限定されるものではないと理解されたい。例えば、いくつかの実施形態では、本明細書で説明する様々な過程を、非ネットワークコンピュータ装置、又は本明細書で説明する様々な過程を完結させるためにネットワークを使用しないネットワークコンピュータ装置などの単一のコンピュータ装置によって完結させることができる。

図２に、電子文書内の事実段落及び潜在的重要事実文を特定するシステムをさらに示した図１のサーバコンピュータ装置１２ｂを示す。また、サーバコンピュータ装置１２ｂは、本明細書に図示し説明する実施形態による、ハードウェア、ソフトウェア及び／又はファームウェアとして具体化された、文書コーパスの検索又は事実及び／又は重要事実の特定を行う非一時的コンピュータ可読媒体を含むこともできる。サーバコンピュータ装置１２ｂは、いくつかの実施形態では、必須ハードウェア、ソフトウェア及び／又はファームウェアを含む汎用コンピュータとして構成することができ、いくつかの実施形態では、本明細書で説明する機能を実行するように特異的に設計された専用コンピュータとして構成することもできる。例えば、サーバコンピュータ装置１２ｂは、電子文書から事実段落と、事実段落内に存在する潜在的重要事実文とを特定するようにのみ機能する専用装置とすることができる。さらなる例では、サーバコンピュータ装置１２ｂを、事実段落と、事実段落内の潜在的重要事実文とを特定するための電子文書をさらに生成する専用装置とすることができる。この電子文書は、インターネットを介して取得されたデータ、光学的イメージング及び／又は光学的文字認識（ＯＣＲ）などを介したハードコピー文書から取得されたデータなどの、他のコンピュータ装置から取得されたデータから生成することができる。

やはり図２に示すように、サーバコンピュータ装置１２ｂは、プロセッサ３０と、入力／出力ハードウェア３２と、ネットワークインターフェイスハードウェア３４と、（対象文書３８ａ、訓練データ３８ｂ及びその他のデータ３８ｃを記憶することができる）データストレージ要素３６と、非一時的メモリ要素４０とを含むことができる。メモリ要素４０は、揮発性及び／又は不揮発性コンピュータ可読媒体として構成することができ、従って（ＳＲＡＭ、ＤＲＡＭ及び／又はその他のタイプのランダムアクセスメモリを含む）ランダムアクセスメモリ、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）及び／又はその他のタイプのストレージ要素を含むことができる。また、メモリ要素４０は、オペレーティングロジック４２、（訓練された段落分類器及び／又は訓練された文分類器を含む）訓練された分類器４３及び分類器ロジック４４（これらの各々は、一例としてコンピュータプログラム、ファームウェア又はハードウェアとして具体化することができる）を記憶するように構成することもできる。図２には、サーバコンピュータ装置１２ｂの構成要素間の通信を容易にするバス又はその他のインターフェイスとして実装できるローカルインターフェイス４６も含まれる。

プロセッサ３０は、（データストレージ要素３６及び／又はメモリ要素４０などから）命令を受け取って実行するように構成されたいずれかの処理要素を含むことができる。入力／出力ハードウェア３２は、モニタ、キーボード、マウス、プリンタ、カメラ、マイク、スピーカ、タッチ画面、及び／又はデータの受信、送信及び／又は提示を行うその他の装置を含むことができる。ネットワークインターフェイスハードウェア３４は、モデム、ＬＡＮポート、ワイヤレスフィディリティー（Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、モバイル通信ハードウェア、及び／又は他のネットワーク及び／又は装置と通信するその他のハードウェアなどの、いずれかの有線又は無線ネットワーキングハードウェアを含むことができる。

なお、データストレージ要素３６は、サーバコンピュータ装置１２ｂの局所及び／又は遠隔地に存在することができ、１又は２以上のデータを記憶し、事実段落を特定し、及び／又は事実段落から重要事実文を特定するように構成することができると理解されたい。図２に示すように、データストレージ要素３６は、本明細書でさらに詳細に説明するような対象文書３８ａ、訓練データ３８ｂ及びその他のデータ３８ｃを記憶することができる。

メモリ要素４０には、オペレーティングロジック４２及び検索ロジック４４が含まれる。オペレーティングロジック４２は、オペレーティングシステム、及び／又はサーバコンピュータ装置１２ｂの構成要素を管理する他のソフトウェアを含むことができる。訓練された分類器４３は、サーバコンピュータ装置１２ｂを事実段落と事実段落内の潜在的重要事実文とを認識するように訓練する１又は２以上のソフトウェアモジュールを含むことができる。いくつかの実施形態では、訓練された分類器４３を、事実段落を識別する訓練された段落分類器、及び潜在的重要事実文を識別する訓練された文分類器という２つの別個の分類器とすることができる。他の実施形態では、訓練された分類器を、事実段落を識別するとともに潜在的重要事実文も識別する単一の分類器とすることができる。従って、「訓練された分類器」、「訓練された段落分類器」、及び「訓練された文分類器」という用語は、同義的に使用することができると理解されたい。分類器ロジック４４は、電子文書の一部を分類する１又は２以上のソフトウェアモジュールを含むことができる。

なお、図２に示す構成要素は例示的なものにすぎず、本開示の範囲を限定するものではないと理解されたい。具体的に言えば、図２の構成要素は、サーバコンピュータ装置１２ｂ内に存在するように示しているが、これは非限定的な例である。いくつかの実施形態では、これらの構成要素のうちの１つ又は２つ以上が、サーバコンピュータ装置１２ｂの外部に存在することもできる。同様に、図２は、サーバコンピュータ装置１２ｂに関するものであるが、ユーザコンピュータ装置１２ａ及び管理者コンピュータ装置１２ｃなどの他の構成要素も同様のハードウェア、ソフトウェア及び／又はファームウェアを含むことができる。

図３は、例示的な訓練過程及び認識過程の高水準フロー図である。図３に示すように、学習アルゴリズムは、事実段落と考察段落との区別、並びに事実段落内の潜在的重要事実文及び非重要事実文を認識する（認識過程３１５）前に（訓練過程３１０において）最初に訓練される。知識ベース３２０は、認識過程３１５において使用する訓練過程３１０における訓練結果を記憶するために使用される。知識ベース３２０は、例えば本明細書で説明するデータストレージ要素３６（図２）の訓練データ３８ｂとすることができる。

訓練過程３１０及び認識過程３１５は、一連の様々なリスト及びフォーマット定義３０５を活用する。これらのリストは、限定ではないが、本明細書の付属書Ａ〜付属書Ｍに示すものを含むことができる。フォーマット定義は、例えば、事件引用フォーマット、制定法引用フォーマット及び／又は日付フォーマットなどを含むことができる。なお、本明細書で説明する様々なリスト及びフォーマット定義は例示的なものにすぎず、（これらの用語を含む）他のリスト及びフォーマット定義も、本開示によって限定されるものではないと理解されたい。

図４に、事実段落内の潜在的重要事実文を特定する全体的な過程を示す。図４に示すように、この過程は、ステップ４００において文書を取得し、ステップ４１０において事実段落を識別し、ステップ４２０において潜在的重要事実文及び非重要事実文を識別することを含む。

一般に、ステップ４００に示す文書の取得は、リポジトリから文書を取り出すことを含むことができる。例えば、本明細書でさらに詳細に説明するように、これらの文書は、データストレージ要素３６（図２）の対象文書３８ａから取得することができる。他の実施形態では、これらの文書を、電子文書発行者のリポジトリなどのオフサイトデータストレージリポジトリから取得することもできる。一般に、これらの文書は電子文書であり、一般に段落形式で構成された情報を含むことができる。いくつかの実施形態では、これらの文書を、例えば、申立、宣言、供述筆記、専門家報告、公判筆記、申請、摘要、専門家報告、法律メモ、法的事項の原告によって作成された文書、法的事項の被告によって作成された文書、契約、特許、取引文書及び／又は不動産文書などの法定文書とすることができる。

電子文書を取得する代わりに、又はこれに加えて、リポジトリからデータを取り出すこともできる。例えば、本明細書における事実段落及び／又は潜在的重要事実文を特定するように処理する目的で文書から生成された情報を含むデータを取得することができる。いくつかの実施形態では、このデータを、１又は２以上のコンピュータ装置が電子文書をスキャンしてそこから情報を取り出した結果として生成された未加工データとすることができる。

ステップ４１０において、取得された各文書を分析して、文書内の事実段落を識別する。図５は、このような識別の詳細なフロー図である。図５に示すように、ステップ４１２において、文書内の段落を取得する。一般に、段落は、文書を解析して文書内の各段落の最初と最後を判定することによって取得される。例えば、段落の最初は、段落番号識別子の後の最初の単語、強制改行後の最初の単語、自動改行後の最初の単語、表題後の最初の単語、文書の最初の単語などによって示すことができる。同様に、段落の最後は、強制改行、自動改行、文書の最後の単語、表題前の最後の単語などによって示すことができる。

ステップ４１２において事実段落を取得した後、ステップ４１４において訓練された段落分類器を適用し、ステップ４１６において事実段落、考察段落及び結果段落を抽出する。すなわち、ステップ４１４において、訓練された段落分類器を用いて、文書の各段落を事実段落、考察段落又は結果段落としてカテゴリ分けする。訓練された段落分類器は、とりわけ段落の特定の特徴（すなわち、段落の前にある表題）、段落内で使用される特定の語句などに基づいて各段落を分析してカテゴリ分けするように訓練される。例えば、図６に示すように、訓練された段落分類器は、ステップ５０２において、各段落を段落の前に存在するあらゆる表題に関連付けることができる。すなわち、表題の後から次の表題までの、ただし次の表題を含まない段落をメモリに記憶し、表題（例えば、付属書Ａ、付属書Ｂ及び付属書Ｃに示す表題）のテキストによってインデックス付けする。また、各段落には、（表題に関わらず）順番にゼロから始まる番号を付け、意見内の総段落数を記憶する。ステップ５０４に示すように、これらの表題を、例えば付属書Ａに列挙する事実表題、付属書Ｂに列挙する考察表題、及び／又は付属書Ｃに列挙する結果表題などの、文書の既知のカテゴリ分けされた表題のリストと比較することにより、文書の様々な表題を「検索」する。表題がリスト内の既知のカテゴリ分けされた表題に一致した場合、これに従ってその表題（及び関連する段落）を（例えば、事実表題／段落、考察表題／段落、結果表題／段落などとして）カテゴリ分けすることができる。表題がいずれのリストの表題にも一致しない場合、ステップ５０６において、その表題及び関連する段落を検討から取り除く。例えば、一致しない表題及び関連する（単複の）段落を文書から削除し、無視及び／又は非表示などとしてマーク付けすることができる。ステップ５０８において、残りの段落及び表題を、事実段落識別過程中に使用する分類表題／段落として戻すことができる。

なお、場合によっては、文書が表題を含まず、及び／又は特定の表題に関連しない段落を含むこともあると理解されたい。しかしながら、これらの段落も、やはり図６に関して説明したステップに従って分類することができる。すなわち、段落は、特定の単語及び／又は語句に基づいて、事実段落、考察段落又は結果段落として識別することができる。例示的な単語及び語句は、付属書Ａ、付属書Ｂ及び付属書Ｃにそれぞれ示すものに類似する場合も、或いは一般に事実段落、考察段落及び結果段落に関連する他の単語又は語句の場合もある。

特定の単語及び／又は語句に加え、単語タイプ、段落構造及び／又は段落構成などの他のいくつかの特徴を用いて、その段落が事実段落、考察段落又は結果段落のいずれであるかを判定することもできる。例えば、図７は、段落の特徴を判定する方法のフロー図である。図７に示すように、ステップ５２０において訓練例を取得する。訓練例は、例えばデータストレージ要素３６（図２）などのリポジトリから取得することができる。訓練例は、訓練された段落分類器が学習した事実段落、考察段落及び結果段落の説明例とすることができる。訓練例としては、以下に限定するわけではないが、他の段落に対する段落の位置、事件の引用、制定法の引用、過去時制の動詞、日付、信号語、文書を提供した裁判所についての言及（「現裁判所」）、上訴などを通じて現裁判所に至る前に事件を裁定した下級裁判所についての言及（「下級裁判所」）、被告についての言及、原告についての言及及び法的語句などの、段落のいくつかの特徴を挙げることができる。

ステップ５２２において、段落位置を抽出することができる。一般に、段落位置は、文書内の段落の位置を示すことができる。例えば、段落は、文書内の最初の段落、文書内の４番目の段落、又は文書内の最後の段落などとすることができる。また、段落位置は、文書内の他の段落に対するものとすることもできる。例えば、ある段落は、考察段落として識別された第１の段落と、結果段落として識別された第２の段落との間に位置することができる。いくつかの実施形態では、段落の位置を、文書内の段落数Ｅを文書で見られる総段落数Ｔによって除算したものに等しい相対的位置Ｐとして表すことができる。例えば、１７段落を含む文書の４番目の段落は、４／１７という相対的位置Ｐを有するようになる。いくつかの実施形態では、Ｐを、その段落を１又は２以上の学習アルゴリズムのための位置パラメータとする浮動小数点数としてメモリに記憶することができる。

ステップ５２４において、段落から事件及び／又は制定法の数を抽出することができる。事件及び制定法の数は、段落内で言及されている他の事件（例えば、「Ｒｏｅ ｖ． Ｗａｄｅ、４１０Ｕ．Ｓ．１１３（１９７３）」というテキストを有する段落）又は制定法（例えば、「３５Ｕ．Ｓ．Ｃ．§１０１」というテキストを有する段落）の総数を示す。例えば、３つの異なる事件と１つの制定法とに言及している段落の総数は４である。事件及び制定法の数に加えて、事件名／引用（例えば、Ｒｏｅ ｖ． Ｗａｄｅ、４１０Ｕ．Ｓ．１１３（１９７３））及び制定法引用（３５Ｕ．Ｓ．Ｃ．§１０１）を抽出して記録することもできる。いくつかの実施形態では、段落内の事件及び／又は制定法の総数を、１又は２以上の学習アルゴリズムのための引用パラメータ、制定法パラメータ、或いは引用／制定法の組み合わせパラメータとしてメモリに記憶することができる。

ステップ５２６において、段落から過去時制の動詞の数を抽出することができる。すなわち、段落内の各単語が過去時制の動詞であるかどうか、及びその出現数が特定されるように段落を解析することができる。特定の単語が動詞であるかどうかの判断は、単語が過去時制の動詞であるかどうかを自動的に判断するよう明確に構成された言語解析モジュールによって完結することができる。例示的な過去時制の単語は付属書Ｄに示している。いくつかの実施形態では、過去時制の動詞の総数を、１又は２以上のアルゴリズムのための過去時制動詞パラメータとしてメモリに記憶することができる。

ステップ５２８において、段落から現裁判所及び下級裁判所の単語及び／又は語句の数を抽出することができる。すなわち、段落内の各単語又は語句が現裁判所の単語／語句又は下級裁判所の単語／語句であるかどうか、及びその出現数が特定されるように段落を解析することができる。このような特定は、段落の各単語又は語句を下級裁判所リスト及び／又は現裁判所リストと比較することによって完結することができる。例示的な現裁判所の単語及び／又は語句としては、限定するわけではないが、付属書Ｆに見られる単語及び語句を挙げることができる。例示的な下級裁判所の単語及び／又は語句としては、限定するわけではないが、付属書Ｇに見られる単語及び語句を挙げることができる。いくつかの実施形態では、現裁判所及び下級裁判所の単語及び／又は語句の数を、１又は２以上の学習アルゴリズムのための現裁判所パラメータ、下級裁判所パラメータ、又は現裁判所／下級裁判所の組み合わせパラメータとしてメモリに記憶することができる。

ステップ５３０において、段落から法的語句の数を抽出することができる。すなわち、段落内の単語が法的語句であるかどうか、及びその出現数が特定されるように段落を解析することができる。このような特定は、各語句を法的語句のリストと比較することによって完結することができる。例示的な法的語句としては、限定するわけではないが、付属書Ｊに見られる法的語句を挙げることができる。いくつかの実施形態では、この数が、語句の総数に対応することができる。他の実施形態では、この数が、単語の総数に対応することができる。いくつかの実施形態では、法的語句の数を、１又は２以上の学習アルゴリズムのための法的語句パラメータとしてメモリに記憶することができる。

ステップ５３２において、段落から被告単語及び原告単語の数を抽出することができる。すなわち、各単語が、被告単語又は原告単語であるかどうか、及びその出現数が特定されるように段落を解析することができる。このような特定は、各単語を被告単語リスト及び／又は原告単語リストと比較することによって完結することができる。例示的な被告単語としては、限定するわけではないが、付属書Ｈに見られる被告単語を挙げることができる。例示的な原告単語としては、限定するわけではないが、付属書Ｉに見られる原告単語を挙げることができる。いくつかの実施形態では、被告単語の数を被告パラメータとしてメモリに記憶することができ、原告単語の数を原告パラメータとしてメモリに記憶することができ、及び／又は被告単語及び原告単語の総数を、１又は２以上の学習アルゴリズムのための被告／原告組み合わせパラメータとしてメモリに記憶することができる。

ステップ５３４において、段落から日付の数を抽出することができる。すなわち、段落内に日付が現れているかどうか、及びその出現数が特定されるように段落を解析することができる。日付は、例えば、Ｓｅｐｔｅｍｂｅｒ ８，１９８１、Ｓｅｐｔ．８、０９／０８／１９８１、９／８／８１、８ Ｓｅｐｔなどのいずれかの一般的に認識される日付形式とすることができる。いくつかの実施形態では、抽出された日付の数を、１又は２以上の学習アルゴリズムのための日付パラメータとしてメモリに記憶することができる。

ステップ５３６において、段落から信号語の数を抽出することができる。すなわち、各単語が信号語を構成しているかどうか、及びその出現数が特定されるように段落を解析することができる。このような特定は、各単語を信号語リストと比較することによって行うことができる。例示的な信号語としては、限定するわけではないが、付属書Ｅに見られる信号語を挙げることができる。いくつかの実施形態では、信号語の数を、１又は２以上の学習アルゴリズムのための問題パラメータとしてメモリに記憶することができる。

ステップ５３８において、段落から脚注の数を抽出することができる。すなわち、単語のいずれかが脚注についての言及（例えば、単語の直後に現れる上付き文字インジケータ）を含むかどうか、及びその出現数が特定されるように段落を解析することができる。いくつかの実施形態では、脚注の数を、１又は２以上の学習アルゴリズムのための脚注パラメータとしてメモリに記憶することができる。

様々な実施形態では、段落からさらなる特徴を抽出することができる。例えば、いくつかの実施形態では、段落から現在時制の動詞の数を抽出することができる。すなわち、単語を現在時制の動詞リストと比較してその出現数を特定することにより、各単語が現在時制の動詞であるかどうかが判断されるように段落を解析することができる。例示的な現在時制の動詞としては、限定するわけではないが、付属書Ｋに見られる単語を挙げることができる。別の例では、段落のテキストを使用して、単語発生情報を表す一連の属性に段落属性を変換することなどによってさらなる特徴を発見することができる。例示的な市販の製品としては、ＳｔｒｉｎｇＴｏＷｏｒｄＶｅｃｔｏｒ、ＣｈｉＳｑｕａｒｅｄＡｔｔｒｉｂｕｔｅＥｖａｌ及びＲａｎｋｅｒを挙げることができ、これらは全てＷｅｋａ（ニュージーランド、ワイカト大学）から入手することができる。本開示の実施形態は、Ｗｅｋａから入手できるオープンソース機械学習ソフトウェアの文脈で説明しているが、これに限定されるものではない。他の使用できる非限定的な機械学習ソフトウェアとしては、以下に限定するわけではないが、ＲａｐｉｄＭｉｎｅｒ（ＲａｐｉｄＭｉｎｅｒ社、マサチューセッツ州ケンブリッジ）、Ｒプログラミング言語、社会科学のためのＩＢＭ統計パッケージ（「ＩＢＭ ＳＰＳＳ」）（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ社、ニューヨーク州アーモンク）、及び統計分析システム（「ＳＡＳ」）（ＳＡＳインスティテュート社、ソースカロライナ州カリー）が挙げられる。

いくつかの実施形態では、上述した段落から抽出される様々なパラメータを、段落が事実段落、考察段落又は結果段落のいずれであるかを学習して後で判断する１又は２以上のアルゴリズムにおいて使用することができる。例えば、これらのパラメータは、サポートベクターマシン、決定木学習モデル及び単純ベイズ分類器において使用することができる。また、分類器のスタッキングコミティー（ｓｔａｃｋｉｎｇ ｃｏｍｍｉｔｔｅｅ ｏｆ ｃｌａｓｓｉｆｉｅｒｓ）をロジスティック回帰モデルと共に最上位メタ分類器として使用することもできる。一般に、サポートベクターマシンは、段落から取得されたデータを分析して段落の分類に使用するパターンを認識できる関連する学習アルゴリズムを含む教師あり学習モデルであると理解されたい。また、一般に決定木学習は、項目に関する観察をその項目の目標値に関する結論にマッピングする予測モデルであると理解されたい。また、一般に単純ベイズ分類器は、特徴間の強い独立性仮定と共にベイズの定理を適用することに基づく単純な確率分類器群のうちのいずれか１つを含むと理解されたい。本明細書では、潜在的重要事実文の訓練及び認識に関してこれらの分類器をさらに説明する。

再び図５を参照すると、ステップ４１６において、訓練された段落分類器によって戻された段落が、そのカテゴリ化に従って抽出される。すなわち、事実表題として分類された表題に関連する段落は事実段落として抽出され、考察表題として分類された表題に関連する段落は考察段落として抽出され、結果段落として分類された表題に関連する段落は結果段落として抽出される。また、事実として分類された特徴を含む段落も事実段落として抽出され、考察として分類された特徴を含む段落も考察段落として抽出され、結果として分類された特徴を含む段落も結果段落として抽出される。潜在的重要事実文及び非重要事実文のさらなるカテゴリ化の目的では、事実段落のみを使用する。従って、重要事実文及び非重要事実文を特定する目的では、考察段落及び結果段落は使用しない。

再び図４を参照すると、ステップ４２０において、事実段落から重要事実文及び非重要事実文を識別する。ステップ４２０を図８に関してさらに詳細に説明する。図８に示すように、事実段落から文を抽出する。文は、各文の最初と最後を識別し、段落内の文の位置を特定し、文中の単語の数を特定し、文中の単語のタイプを特定し、文中の単語の配置を特定し、文の最初と最後、文の位置、単語数、単語のタイプ、単語の配置に関するデータを生成し、このデータをメモリに記憶することによって抽出することができる。文の最初は、単語の最初の文字の大文字化、単語の前にピリオドが存在するかどうか、単語の前に自動改行又は強制改行が存在するかどうかなどに基づいて識別することができる。文の最後は、ピリオドの位置、自動改行の位置、強制改行の位置などに基づいて識別することができる。例えば、文は、事実段落の最初から開始して最初のピリオドに到達したら終了し、その最初のピリオドが省略形に後続するもの（例えば「ｃｏｒｐ．」）であるかどうかを判断することによって識別することができる。最初のピリオドが省略形に後続するものでない場合、文は終了したと判断することができる。最初のピリオドが省略形に後続するものである場合、次のピリオドに到達してその文の前の単語が省略形であるかどうかの判断が再び行われるまでさらに文を解析することができる。文の開始点及び終了点を特定したら、各単語のタイプ（例えば、名詞、過去時制の動詞、現在時制の動詞、未来時制の動詞、代名詞、形容詞、副詞、前置詞、接続詞、感嘆詞など）に従って単語の数を数えることができる。本明細書でさらに詳細に説明するように、各単語のタイプは、各単語のタイプを自動的に特定するように明確に設計された自然言語解析モジュールによって特定することができる。

ステップ４２４において、訓練された文分類器を適用して、各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断することにより、ステップ４２６において文を識別することができる。訓練された文分類器は、各文を重要又は非重要として認識するように訓練することができる。本明細書では、図９及び図１０に関して、訓練された文分類器の訓練についてさらに詳細に説明する。

図９に示すように、ステップ５５０において、重要事実文及び／又は非重要事実文の訓練例を取得することができる。訓練例は、例えばデータストレージ要素３６（図２）などのリポジトリから取得することができる。この訓練例は、訓練された文分類器が既に学習した、及び／又は法的エディタによって提供された重要事実文及び／又は非重要事実文の説明例とすることができる。例えば、法的エディタは、１又は２以上の事実段落の各文に重要事実文又は非重要事実文のいずれかとしてラベル付けした後に、ラベル付けした文のいくつかの属性を分析して、その文が重要事実文であるか、それとも非重要事実文であるかを判断することができる。例示的な属性としては、以下に限定するわけではないが、名詞句、動詞句、日付及び／又はタイムスタンプ、金銭的値、下級裁判所の行為、現裁判所の行為、原告の行為、被告の行為、並びに法的語句及び／又は法的概念を挙げることができる。

ステップ５５２において、事実段落の文から様々な特徴を抽出することができる。いくつかの実施形態では、本明細書で図７に関して図示し説明したような段落特徴を抽出する方法と同様に特徴を抽出することができる。いくつかの実施形態では、図１０に示すように特徴を抽出することもできる。ステップ６０２において、事実段落内の各文に対して自然言語解析モジュールを実行することができる。一般に、自然言語解析モジュールは、段落内の各文の文法構造を解明するコンピュータプログラムであると理解されたい。例えば、自然言語解析モジュールは、どの単語群が（「句」として）関係するか、及びどの単語が動詞の主語又は目的語であるかを判断することができる。いくつかの確率解析器は、手動解析した文から取得された言語知識を用いて、最も可能性の高い新たな文の分析を行うことができる。自然言語解析モジュールの非限定的な１つの例は、ｈｔｔｐ：／／ｎｌｐ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｓｏｆｔｗａｒｅ／ｔａｇｇｅｒ．ｓｈｔｍｌにおいてスタンフォード大学から入手可能なスタンフォードパーサとすることができる。自然言語解析モジュールを使用すると、本明細書で後述する様々な特徴を認識できるようになる。

ステップ６０４において、文から名詞句の数を抽出する。すなわち、動作主を表す単語及び／又は語句を含む名詞句が自動的に特定されるように言語解析モジュールを文に適用することができる。自然言語解析モジュールは、文中に存在する名詞句を自動的に戻すことができる。例示的な名詞句としては、以下に限定するわけではないが、付属書Ｆに見られる現裁判所の単語／語句、付属書Ｇに見られる下級裁判所の単語／語句、付属書Ｈに見られる被告の単語、及び付属書Ｉに見られる原告の単語を挙げることができる。いくつかの実施形態では、名詞句の数を１又は２以上の学習アルゴリズムのための名詞句パラメータとしてメモリに記憶することができる。

ステップ６０６において、文から動詞句の数を抽出する。すなわち、完了しつつある動作、完了した動作、又は完了すると思われる動作を表す単語及び／又は語句を含む動詞句が自動的に特定されるように自然言語解析モジュールを文に適用することができる。自然言語解析モジュールは、文中に存在する動詞句を自動的に戻すことができる。例示的な動詞句としては、以下に限定するわけではないが、付属書Ｄに見られる過去時制動詞、及び付属書Ｋに見られる現在時制動詞を挙げることができる。いくつかの実施形態では、動詞句の数を１又は２以上の学習アルゴリズムのための動詞句パラメータとしてメモリに記憶することができる。

ステップ６０８において、文から日付及び／又はタイムスタンプの数を抽出することができる。すなわち、文中に日付及び／又はタイムスタンプが現れるかどうか、及びその出現数が特定されるように文を解析することができる。日付は、例えば、Ｓｅｐｔｅｍｂｅｒ ８，１９８１、Ｓｅｐｔ．８、０９／０８／１９８１、９／８／８１、８ Ｓｅｐｔなどのいずれかの一般的に認識される日付形式とすることができる。タイムスタンプは、例えば、３：１７ＰＭ、１５：１７：００などのいずれかの一般的に認識される時間形式とすることができる。いくつかの実施形態では、抽出された日付及び／又はタイムスタンプの数を１又は２以上の学習アルゴリズムのための日付／時間パラメータとしてメモリに記憶することができる。

ステップ６１０において、文から金銭的値の数を抽出することができる。すなわち、文中に金銭的値が現れるかどうか、及びその出現数が特定されるように文を解析することができる。金銭的値は、例えば、ｆｉｆｔｙ ｄｏｌｌｏｒｓ、５０ ｄｏｌｌｏｒｓ、＄５０．００、＄５０、ｆｉｆｔｙ ｂｕｃｋｓ、５０ ｂｕｃｋｓなどの一般的に認識される形式とすることができる。いくつかの実施形態では、抽出された金銭的値の数を１又は２以上の学習アルゴリズムのための金銭パラメータとしてメモリに記憶することができる。

ステップ６１２において、文から下級裁判所の行為の数を抽出することができる。すなわち、文中の各名詞語又は名詞句が下級裁判所の単語／語句であるかどうか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各名詞語又は名詞句を下級裁判所リストと比較することによって完結することができる。例示的な下級裁判所の単語及び／又は語句としては、限定するわけではないが、付属書Ｇに見られる単語及び語句を挙げることができる。いくつかの実施形態では、下級裁判所の行為の数を１又は２以上の学習アルゴリズムのための下級裁判所行為パラメータとしてメモリに記憶することができる。

ステップ６１４において、文から現裁判所の行為の数を抽出することができる。すなわち、文中の各名詞語又は名詞句が現裁判所の単語／語句であるかどうか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各名詞語又は名詞句を現裁判所リストと比較することによって完結することができる。例示的な現裁判所の単語及び／又は語句としては、限定するわけではないが、付属書Ｆに見られる単語及び語句を挙げることができる。いくつかの実施形態では、現裁判所の行為の数を１又は２以上の学習アルゴリズムのための現裁判所行為パラメータとしてメモリに記憶することができる。

ステップ６１６において、文から原告の行為の数を抽出することができる。すなわち、文中の各単語又は語句が原告の単語／語句であるかどうか、原告の行為を表す対応する動詞は何であるか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各単語又は語句を原告リストと比較し、対応する動詞を判別して原告の行為を特定することによって完結することができる。例示的な原告単語及び／又は語句としては、限定するわけではないが、付属書Ｉに見られる単語及び語句を挙げることができる。例示的な動詞としては、限定するわけではないが、付属書Ｄに見られる過去時制動詞及び付属書Ｋに見られる現在時制動詞が挙げられる。いくつかの実施形態では、原告の行為の数を１又は２以上の学習アルゴリズムのための原告行為パラメータとしてメモリに記憶することができる。

ステップ６１８において、文から被告の行為の数を抽出することができる。すなわち、文中の各単語又は語句が被告の単語／語句であるかどうか、被告の行為を表す対応する動詞は何であるか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各単語又は語句を被告のリストと比較し、対応する動詞を判別して被告の行為を特定することによって完結することができる。例示的な被告の単語及び／又は語句としては、限定するわけではないが、付属書Ｈに見られる単語及び語句を挙げることができる。例示的な動詞としては、限定するわけではないが、付属書Ｄに見られる過去時制動詞及び付属書Ｋに見られる現在時制動詞が挙げられる。いくつかの実施形態では、被告の行為の数を１又は２以上の学習アルゴリズムのための被告行為パラメータとしてメモリに記憶することができる。

ステップ６２０において、文から法的語句及び／又は法的概念の数を抽出することができる。すなわち、文中の各単語又は語句が法的語句及び／又は法的概念であるかどうか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各単語又は語句を法的単語／法的語句リストと比較することによって完結することができる。例示的な法的単語及び／又は法的語句としては、限定するわけではないが、付属書Ｊに見られる法的語句を挙げることができる。いくつかの実施形態では、法的語句及び／又は法的概念の数を１又は２以上のアルゴリズムのための法的語句／概念パラメータとしてメモリに記憶することができる。

ステップ６２２において、文から非重要事実単語／語句の数を抽出することができる。すなわち、文中の各単語又は語句が非重要事実単語及び／又は非重要事実語句であるかどうか、及びその出現数が特定されるように文を解析することができる。このような特定は、文中の各単語又は語句を非重要事実単語及び／又は語句のリストと比較することによって完結することができる。例示的な非重要事実単語及び非重要事実語句としては、限定するわけではないが、付属書Ｌに見られる非重要事実単語及び語句を挙げることができる。例示的な非重要事実文としては、限定するわけではないが、付属書Ｍに見られる非重要事実文を挙げることができる。

再び図９を参照すると、事実段落内の各文から抽出した特徴から取得されたデータを教師あり学習で使用することにより、（例えば、図２のサーバコンピュータ装置１２ｂなどの）コンピュータ装置を、潜在的重要事実文の認識及び非重要事実文との区別を行うように訓練できるようになる。教師あり学習では、訓練データを用いてモデルを学習し、見えざるデータを用いてモデルを試験してモデルの精度を評価する。いくつかの実施形態では、基本分類器のための１又は２以上の学習アルゴリズムを用いて複数のモデルを訓練することができる。例示的な基本分類器としては、以下に限定するわけではないが、確率的単純ベイズ分類器、ベクトル空間分割サポートベクターマシン、及びブール関数分類器決定木を挙げることができる。例えば、ステップ５５４においてサポートベクターマシンアルゴリズムを適用することができ、ステップ５５６において決定木アルゴリズムを適用することができ、及び／又はステップ５５８において単純ベイズアルゴリズムを適用することができる。また、ステップ５７０において、分類器アルゴリズムのスタッキングコミティーを適用して、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するようにコンピュータ装置を学ばせることもできる。

ステップ５５４において、サポートベクターマシンアルゴリズムを介して非重要事実文から潜在的重要事実文を認識するようにコンピュータ装置を訓練することができる。サポートベクターマシン（ＳＶＭ）は、データを２つのカテゴリ（例えば、潜在的重要事実及び非重要事実）に分類できる機械学習アルゴリズムである。ＳＶＭは、データを２つのグループに分割する決定境界（ハイパープレーンとも呼ばれる）を構築する。ハイパープレーンは、ハイパープレーンといずれかの側のいずれかのデータ点との間の距離が最大化されるように構築される。すなわち、ＳＶＭは、分割ハイパープレーンと全てのデータ点との間のマージンを最大化する。決定境界に最も近いデータ点は、ハイパープレーンを定めてマージンの幅を抑制するデータ点である。これらは、ハイパープレーンを「サポート」すると見なすことができ、従ってサポートベクトルと呼ばれる。

ＳＶＭの１つの特徴は、カーネル関数を介して入力変数と出力変数との間の非線形関係をモデル化できることである。カーネル関数は、以下の式によって表すことができる。

式中、ｘ及びｙは、データセット内の２つの訓練インスタンス（例えば、文書内の文）に対応する特徴ベクトルである。カーネル関数であるＫは、２つのベクトル間の類似性を測定するｘ及びｙの関数であり、従って基礎となる文同士が特徴セットに関してどれほど「近い」かの判断を行う。

カーネル関数は、一般に正規化多項式カーネルとして知られている可能性もある。この正規化は、変換値が単位長を有するように制限する。この技術は、可変性がはるかに高く又は範囲がはるかに広い変数がモデルを決定付けるのを防ぐことができる。

ＷｅｋａにおいてＳＶＭを実装した場合、実施例３に示す出力が結果として生じる。後述する実施例３における出力の各行は、独立したサポートベクトルを表す。この事例では、１０５個の異なるサポートベクトルが存在する。

ＳＶＭを適用した結果、訓練モデルを生成し、取得し、使用して、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断することができる。いくつかの実施形態では、ステップ５６４において、訓練モデルをリポジトリに記憶することができる。

ステップ５５６において、決定木アルゴリズムを介して非重要事実文から潜在的重要事実文を認識するようにコンピュータ装置を訓練することができる。決定木は、所与の入力クラスラベルと所与の出力クラスラベルとを分類する決定モデリングツールである。すなわち、決定木は、トップダウン型の再帰的分割統治戦略を実装する。決定木は、ルートノードにおいて分割する特徴を選択し、訓練データ内の特徴の可能値について分岐を作成し、これによって訓練インスタンスをサブセットに分割する。この手順を、全てのインスタンスが同じクラスラベルになるまで、各ノードに到達するインスタンスからのデータのみを用いてそのノードにおいて再び特徴を選択することによって再帰的に繰り返す。

分割するノード特徴を決定木のサイズが小さくなるように選択することにより、情報利得が最大化されてデータの不確実性ができる限り最小化されるようになる。最も小さな決定木を生じさせるために使用するヒューリスティックは情報利得である。情報利得は、分割前のエントロピーと分割後のエントロピーとの差分として定義される。エントロピーは、データの不確実性の発見的尺度である。特徴値を離散化して、全ての考えられる特徴の分割点の情報利得を計算する。利得が最も高い特徴を選択してツリーの分岐／分割を行う。所与のノードにおける全てのインスタンスが同じクラスに属する時、又はさらなる分割のための特徴又はインスタンスが残っていない時には、再帰的分割を中止する。情報利得は、以下の式によって表すことができる。
情報利得＝（親のエントロピー）−（子のエントロピーの加重平均）

また、ノードのエントロピーは、以下の式によって表すことができる。
ノードのエントロピー＝−Ｓｉｇｍａ（ｉ＝１，ｎ）（ｉ）の確率＊ｌｏｇ２（（ｉ）の確率）

決定木アルゴリズムを適用した結果、訓練モデルを生成し、取得し、使用して、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断することができる。いくつかの実施形態では、ステップ５６６において、訓練モデルをリポジトリに記憶することができる。決定木アルゴリズムを適用して訓練モデルを取得する説明例については、以下の実施例４に示す。

ステップ５５８において、単純ベイズアルゴリズムを介して非重要事実文から潜在的重要事実文を認識するようにコンピュータ装置を訓練することができる。単純ベイズ分類器は、特徴間の単純独立性を仮定することによってベイズの定理を適用する。特徴の値は、訓練インスタンス内の他のいずれの特徴の値とも無関係に仮定される。各特徴は、インスタンスのクラスの確率に等しく寄与し、特徴間に存在するあらゆる相関性を無視すると仮定される。独立仮定は必ずしも真であるとは限らないが、この方法は、実際にはうまく機能することが多い。

ベイズの定理は以下の式を暗示する。

式中、Ｐ（Ｈ）は、訓練セットにおける仮説Ｈ（クラス）の基準（先験）確率である。この確率は、モデル構築中に新たな根拠Ｅ（訓練インスタンス）が見られると更新される。Ｐ（Ｈ｜Ｅ）は、訓練インスタンスを所与とするクラスの事後確率である。

独立仮定は、ｎ個の特徴についてＰ（Ｅ｜Ｈ）＝Ｐ（Ｅ１｜Ｈ）×Ｐ（Ｅ２｜Ｈ）．．．Ｐ（Ｅｎ｜Ｈ）を構成する。このことは、所与のＥ（訓練インスタンス）についてのＨ（クラス）の尤度として知られている。

Ｐ（Ｅ）は、全ての仮定のための定数であるあらゆるＨについての根拠の確率であり、全ての事後仮説を等しくスケーリングする。単純ベイズ分類器では、最も可能性の高い仮説が予測として選択される。

相互排他的クラス（ＭａｔｅｒｉａｌＦａｃｔ又はＮｏｎＭａｔｅｒｉａｌＦａｃｔ）から事実段落文を引き出し、上述の独立した特徴のセットとしてモデル化することができるという仮定が行われる。Ｐ（Ｈ｜Ｅ）×Ｐ（Ｈ）は、試験インスタンスの２つのクラス（ＭａｔｅｒｉａｌＦａｃｔ又はＮｏｎＭａｔｅｒｉａｌＦａｃｔ）のクラス毎に計算され、一方を他方で除算することによってログ尤度比が計算される。

従って、以下の式が成り立つ場合には、文が潜在的重要事実文（重要事実）として分類される。

なお、文の特徴についての２つのクラスのＰ（Ｈ｜Ｅ）×Ｐ（Ｈ）のログ尤度比のみを計算すればよいと理解されたい。

単純ベイズアルゴリズムを適用した結果、訓練モデルを生成し、取得し、使用して、文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断することができる。いくつかの実施形態では、ステップ５６８において、訓練モデルをリポジトリに記憶することができる。単純ベイズアルゴリズムを適用して訓練モデルを取得する説明例については、後述する実施例５に示す。

システムの予測性能は、全てが同じ訓練データから学習を行う（上述したような）複数の異種機械学習アルゴリズムを有し、分類器のスタッキングコミティーなどのメタ分類器を介してアルゴリズムの出力を組み合わせることによって改善することができる。

スタッキングは、基本学習器の予測をメタ分類器に入力するアンサンブルである。スタッキングは、各アンサンブルメンバの推定を入力として受け入れるメタ分類器を訓練してアンサンブル出力を生成する。この第２のレベルの目的は、基本分類器からの誤差を、組み合わせモデルの分類が最適化されるように調整することである。例えば、ある分類器が、１つの領域の特徴空間を誤って学習した結果、その領域からのインスタンスの分類を一貫して誤った場合、この誤差から学習を行うようにメタ分類器を訓練することができる。メタ分類器は、基本分類器の出力に推定誤差を加えてこのような訓練の不完全性を改善することができる。いくつかの実施形態では、ロジスティック回帰をスタッキングメタ分類器として使用することができる。

従って、ステップ５７０に示すように、抽出された特徴から取得したデータ、並びにステップ５６４、５６６及び５６８において取得された訓練モデルに分類器のスタッキングコミティーを適用することができる。一般に、分類器のコミティーは、どの文が重要事実文である可能性が高く、どの文が重要事実文でないかをコミティーに学習させることによって構築することができる。分類に使用される特徴は、単純な単語のタイプの頻度から裁判所行為の数にまで及ぶことができる。分類器のスタッキングコミティーを用いて複数の基本分類器（すなわち、サポートベクターマシンアルゴリズム、決定木アルゴリズム及び単純ベイズアルゴリズム）が指定され、上述したように入力セット（すなわち、ステップ５５２において抽出された特徴）上で個別に動作する。コンバイナ分類器（メタ分類器）も指定される。コンバイナ分類器は、全ての基本分類器の結果及び入力セットを取り、各サンプルの最終的な分類を生成する。結果として得られる出力は、訓練モデルとすることができる。いくつかの実施形態では、ステップ５８０において、出力をリポジトリに記憶することができる。結果の説明例については、後述する実施例６に示す。

再び図８を参照すると、ステップ４２６において、各文を潜在的重要事実文又は非重要事実文として識別することができる。このような決定は、本明細書において図１０及び図１１に関して図示し説明するステップを通じて文を処理することによって行うことができる。図１１に示す過程は、本明細書において図９に関して上述した過程に類似する。すなわち、図１１に示すように、ステップ７５０において、重要事実文及び／又は非重要事実文の例を訓練する代わりに、ステップ５０８（図６）に関して説明した事実段落を取得することができる。事実段落は、例えばデータストレージ要素３６（図２）などのリポジトリから取得することができる。一般に、事実段落は、訓練された分類器がカテゴリ分けすべき文が潜在的重要事実文であるか、それとも非重要事実文であるかについて判断する対象である１又は２以上の事実文を含むことができる。

ステップ７５２において、事実段落の文から様々な特徴を抽出することができる。いくつかの実施形態では、本明細書において図７に関して図示し説明した段落特徴を抽出する方法と同様に特徴を抽出することができる。いくつかの実施形態では、本明細書において図１０に関して図示し説明するように特徴を抽出することができる。

事実段落内の各文から抽出した特徴から取得されたデータは、上述した訓練モデルを使用する（例えば、図２のサーバコンピュータ装置１２ｂなどの）訓練済みコンピュータ装置が、潜在的重要事実文を認識して非重要事実文と区別するために使用することができる。いくつかの実施形態では、１又は２以上の基本分類器を用いて事実文の認識及び区別を行うことができる。例示的な基本分類器としては、限定するわけではないが、本明細書で上述した基本分類器を挙げることができる。従って、確率的単純ベイズ分類器、ベクトル空間分割サポートベクターマシン及び／又はブール関数分類器決定木を用いて文の認識及び区別を行うことができる。例えば、ステップ７５４においてサポートベクターマシンアルゴリズムを適用することができ、ステップ７５６において決定木アルゴリズムを適用することができ、及び／又はステップ７５８において単純ベイズアルゴリズムを適用することができる。また、ステップ７７０において、分類器アルゴリズムのスタッキングコミティーを適用して、文が潜在的重要事実文であるか、それとも非重要事実文であるかに関する最終判断を行うこともできる。

訓練モデルを使用して事実文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断した結果、サポートベクターマシンアルゴリズムの適用によってステップ７６４において第１の決定を出力することができ、決定木アルゴリズムの適用によってステップ７６６において第２の決定を出力することができ、及び／又は単純ベイズアルゴリズムの適用によってステップ７６８において第３の決定を出力することができる。いくつかの実施形態では、第１の決定、第２の決定及び第３の決定を全て同じものとすることができる（すなわち、事実文が潜在的重要事実文又は非潜在的重要事実文であることをそれぞれが決定することができる）。他の実施形態では、第１の決定、第２の決定及び第３の決定を異なるものとすることができる（例えば、これらの決定のうちの１つ又は２つ以上は、事実文が潜在的重要事実文であると決定することができ、これらの決定のうちの１つ又は２つ以上は、事実文が非重要事実文であると決定することができる）。従って、ステップ７７０において、ステップ７５２からの抽出された特徴に基づいて、第１の決定、第２の決定及び第３の決定に分類器アルゴリズムのスタッキングコミティーを適用し、事実文が潜在的重要事実文であるか、それとも非重要事実文であるかの最終決定を行うことができる。ステップ７８０において、最終決定を出力することができる。例えば、この最終決定は、さらなる参照のために記憶装置に出力し、及び／又はユーザインターフェイスを介してユーザに表示することなどができる。

実施例１−事実段落の識別
最初に、潜在的重要事実を識別する前に事実段落を識別する。システムは、分類器フレームワークを用いて法的意見内の事実段落、考察段落及び結果段落を識別する。分類のための入力特徴としては、以下の非限定的な特徴を使用することができる。
・意見内の％段落位置
・事件引用の数
・制定法引用の数
・過去時制動詞の数
・日付の出現数
・シェパードの信号語句の数
・現裁判所語句の数
・下級裁判所語句の数
・被告語句の数
・原告語句の数
・法的語句の数

各表現特徴は、語句の可能値のリストを通じて認識される。法定文書リポジトリから取得した判例意見の段落から訓練データ及び試験データを生成する。事実段落、考察段落及び結果段落を特定する際には、法定文書の段落表題を、事実段落に関連すると分かっている段落表題、考察段落であると分かっている段落表題、及び結果段落であると分かっている段落表題と比較する。既知の事実表題に一致する段落は、いずれも事実段落と見なされる。同様に、既知の考察表題に一致する段落は、考察段落と見なされる。また、既知の結果表題に一致する段落は、結果段落と見なされる。

段落表題の手動分類は、事実段落、考察段落及び結果段落を訓練及び試験のために識別する役に立つ。その後、認識される表題を含まない全ての段落をモデルによって分類する。これらの特徴を生成するために、パールプログラムを作成して使用した。多くの法的意見にわたって多くの法的語句を収集した。リストを使用する代わりに、品詞タガーを用いて段落の文字を解析し、過去時制の動詞の数、過去分詞の動詞の数、脚注参照の数及び現在時制の動詞の数をカウントする。現在時制の動詞は、品詞タガーを用いて文字にタグ付けした後にカウントする。最後に、段落の文字自体を使用して、ＳｔｒｉｎｇＴｏＷｏｒｄＶｅｃｔｏｒ、カイ二乗属性評価及びランカーアルゴリズム（或いは、異なるデータマイニング／機械学習ソフトウェアを使用する場合には他の属性／アルゴリズム）を用いてさらなる特徴を発見する。

システムは、サポートベクターマシン、決定木及び単純ベイズアルゴリズムなどの３つの異なる機械学習アルゴリズムを含む。これらの基本分類器の上部に分類器のスタッキングコミティーも加え、上位メタ分類器としてロジスティック回帰を使用する。以下の表１に、結果として得られた分類器の精度を示す。

法定文書リポジトリから取得した５００件の判例意見から訓練段落を抽出した（１９４３個の事実段落、１３５６個の考察段落及び６０９個の結果段落）。相互排他的な１５００件の判例意見の組から試験段落を抽出した（４５５７個の事実段落、３７０３個の考察段落、２６６２個の結果段落及び５３，８６７個の未知の段落）結果、分類器の精度は約９０％であった。

実施例２−潜在的重要事実文の認識
実施例１で上述したように事実段落を認識したら、次のステップは、これらの段落内の重要事実を識別することである。段落は、たとえ事実段落として分類された場合でも、手続的事実、根拠となる事実など、及び場合によっては考察又は結果に関する文などの他のタイプの事実の文を含むことがある。この作業は、事実段落内の文の下位分類として行うことができる。文の分類は、重要事実の主体、関係及び対象の三つ組を抽出するというさらに大きな目的に役立つとともにこれらのオントロジを構築し、これらの文では、主語−動詞−目的語（ＳＶＯ）の三つ組の抽出のみが可能である。

事実／考察／結果段落の分類とは異なり、文分類器の訓練データ及び試験データを生成する自動方法は存在しない。例えば、クラウドソーシングを用いて、訓練データ及び試験データのさらに大きなサンプルを構築することができる。

機械学習における１つのステップは、特徴セットと分類アルゴリズムの両方を、最高の精度を達成するように「調整」することである。実験的実行は、Ｗｅｋａを使用して行った。なお、他のデータマイニング／機械学習ソフトウェアツールを使用することもできると理解されたい。Ｗｅｋａ ＵＩツールを使用すると、特徴及びアルゴリズムの様々な組み合わせを試して結果を比較する有利な方法がもたらされることが分かった。具体的には、Ｗｅｋａは、これらの組み合わせを構成して全てを１回のボタンクリックで実行可能にするエクスペリメンタと呼ばれるＵＩツールを有する。エクスペリメンタを使用して、事実を重要事実と非重要事実とに分類するアルゴリズムの第２段階の実施を比較した。

ベンチマーク特徴セットを識別するために、異なる動作中に異なる特徴セットを実験した。これらの特徴は、入力データから、また場合によっては特徴として含まれる入力文字自体から計算される。以下は、異なる実行の特徴セットである。
実行１−以下の特徴を含む。
・意見内の％段落位置
・制定法の引用数
・過去時制動詞の数
・日付の出現数
・シェパードの信号語句の数
・被告語句の数
・原告語句の数
・法的語句の数
・名字の数
・金銭的数量の数
・原告行為語句の数
・被告行為語句の数
・裁判所行為語句の数

なお、この実行には重要事実語又は非重要事実語句の特徴が存在しない。
実行２−実行１と同一であるが、文中の非重要事実単語の数をカウントした特徴を追加。この実行では、多くの非重要事実文を調べ、文中に頻繁に登場する、本発明者らが重要事実文での登場頻度が低いと思う単語を選定することによって非重要単語リストを手動で作成した。
実行３−実行１と同一であるが、入力文中の重要事実語句の数をカウントした特徴と、入力文中の非重要事実語句の数をカウントした特徴という２つの特徴を追加。この例では、重要又は非重要であると分かっている入力文のリスト上でカイ二乗アルゴリズムを実行することによって重要語句及び非重要語句のリストを計算した。
実行４−実行３と同一であるが、非重要語句リストを実行２で使用した手動作成リストに置換。（重要語句リストは依然として自動的に計算された）。
実行５−実行３と同一であるが、わずかに異なる入力セット及び重要事実特徴を除去。

上記の実行において識別された各特徴セットに以下の異なる学習アルゴリズムを適用した。
・Ｊ４８：デフォルトパラメータを用いて動作する決定木アルゴリズム
・ＮＢ：デフォルトパラメータを用いた単純ベイズアルゴリズム
・ＳＭＯ−１：デフォルトパラメータを用いて動作するサポートベクターマシン（ＳＶＭ）の実装
・ＳＭＯ−２：デフォルトのＰｏｌｙＫｅｒｎｅｌの代わりにカーネル関数としてＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌを用いたＳＭＯ
・ＳＭＯ−３：カーネルとしてＲＢＦカーネル（ラジアルベーシック関数）を用いたＳＭＯ
スタッキング−１：複数の分類器から得られた結果を組み合わせるアンサンブル学習アルゴリズム。スタッキングでは、最初に複数の基本分類器を指定し、これらを入力セット上で個別に実行する。全ての基本分類器の結果及び入力セットを取り、各サンプルの最終分類を生成するコンバイナ分類器（メタ分類器）も指定する。スタッキング−１では、基本分類器としてＳＭＯ、Ｊ４８及び単純ベイズ（デフォルトパラメータを全てが持つ）を使用し、デフォルトパラメータを用いたＳＭＯをコンバイナ分類器として使用した。
スタッキング−２：ここでは、ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌ、Ｊ４８を用いたＳＭＯ、及びデフォルトパラメータを用いた単純ベイズを基本分類器として使用し、デフォルトパラメータを用いたＳＭＯをコンバイナ分類器として使用した。
スタッキング−３：ここでは、ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌ、Ｊ４８を用いたＳＭＯ、及びデフォルトパラメータを用いた単純ベイズを基本分類器として使用し、ロジスティック回帰をコンバイナ分類器として使用した。

以下の表２に、様々なアルゴリズムを用いた様々なデータセットの分類精度をまとめる。

アルゴリズム当たりの平均精度を全ての実行に引き継いだ場合、（ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌを用いたＳＶＭである）ＳＭＯ−２及び（ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌを用いたＳＭＯ、Ｊ４８及び単純ベイズを基本分類器とし、ロジスティック回帰をコンバイナ分類器とする）スタッキング−３の２つが最高のパフォーマンスを発揮した。ほとんどの場合、これらの分類アルゴリズムは、パラメータをデフォルト値のままにした時に最高のパフォーマンスを発揮した。明らかな例外は、ＳＶＭにカーネルアルゴリズムを使用したものであった。ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌを使用すると、常にデフォルトのＰｏｌｙＫｅｒｎｅｌよりも大幅に良好な結果が得られた。

ＳＶＭ、Ｊ４８及び単純ベイズを用いたスタッキングの実装は、これらが個々に基本分類器としてかなり良好に機能し、動作の仕方が大きく異なるという理由で選択したものである。これらは大きく異なるので、異なるサンプルでは誤差を生じる可能性が高まり、ここでスタッキングが個々の分類器のいずれかの精度に改善をもたらすことができる。以下の表３には、さらなる実行を行った後の分類器の精度を示す。

ベンチマーク分類器としては、ＮｏｒｍａｌｉｚｅｄＰｏｌｙＫｅｒｎｅｌを用いたＳＭＯ、Ｊ４８決定木、単純ベイズ及びロジスティック回帰を用いたスタッキングアンサンブルが推薦される。

潜在的重要事実文の全体的な識別精度は、事実段落を識別する分類器の精度に、これらの事実段落から重要事実文を識別する分類器の精度を乗算した積である。非限定的な例として、この精度は、約０．９＊０．９＝０．８１である。従って、分類器のコミティーは、手動で選択された訓練文及び試験文からの学習を約１０ラウンド行った後に、試験セット内の潜在的重要事実文を約８１％の精度で識別することができた。

実施例３−サポートベクターマシンアルゴリズムの適用結果
クラスの分類器：重要事実、非重要事実

実施例４−決定木アルゴリズムの適用結果

ルートノードは、４つのインスタンス（クラスＡが２つ及びクラスＢが２つ）を有する。
ルートのエントロピー＝−２／４＊ｌｏｇ２（２／４）＊ｌｏｇ２（２／４）＝１
ケース１：
特徴Ｆ１の２方向分割（Ｆ１＝１、１＝０）では２つの子が形成され、子１は３つのインスタンスを有し（クラスＡが２つ及びクラスＢが２つ）、子２はクラスＢのインスタンスを１つ有する。
子１のエントロピー＝−（１／３）ｌｏｇ２（１／３）−（２／３）ｌｏｇ２（２／３）＝０．５２８４＋０．３９＝０．９１８４。
子２のエントロピー＝−（１／１）ｌｏｇ２（１／１）＝０。
情報利得＝１−（（３／４）＊０．９１８４）−（（１／４）＊０）＝０．３１１２
ケース２：
特徴Ｆ２の２方向分割（Ｆ１＝１、Ｆ１＝０）では２つの子が形成され、子１はクラスＡのインスタンスを２つ有し、子２はクラスＢのインスタンスを２つ有する。
子１のエントロピー＝−（２／２）ｌｏｇ２（２／２）＝０。
子２のエントロピー＝−（２／２）ｌｏｇ２（２／２）＝０。
情報利得＝１−（（２／４）＊０）−（（２／４）＊０）＝１
ケース３：
特徴Ｆ３の２方向分割（Ｆ３＝１，Ｆ３＝０）では２つの子が形成され、子１は２つのインスタンス（クラスＡ及びクラスＢがそれぞれ１つ）を有する。子２は２つのインスタンス（クラスＡ及びクラスＢがそれぞれ１つ）を有する。
子１のエントロピー＝−（１／２）ｌｏｇ２（１／２）−（１／２）ｌｏｇ２（１／２）＝１。
子２のエントロピー＝−（１／２）ｌｏｇ２（１／２）−（１／２）ｌｏｇ２（１／２）＝１。
情報利得＝１−（（２／４）＊１）−（（２／４）＊１）＝１−１＝０
Ｆ２の分割（ケース２）は、情報利得が最も高いので、最も不確実性を低減する。この木は、過剰適合を抑えてあらゆる試験データと連動するように一般化するために、最小数の葉、ノードの信頼因子を保証することによって切り落とされる。ルートノードから葉への各経路は、見えざる試験データを分類するためのルールである。
以下は、学習中に構築された省略型決定木である。
決定木（出力例）

実施例５−単純ベイズアルゴリズムの適用結果
１０００個の訓練文から、５００個の文が潜在的重要事実文（ＭａｔｅｒｉａｌＦａｃｔ）であると判断され、５００個の文が以下の特徴を含む非重要事実文（ＮｏｎＭａｔｅｒｉａｌＦａｃｔ）であると判断されたと仮定する。

新たな試験文を重要事実又は非重要事実として分類するには、その文のＳｉｇｎａｌＷｏｒｄｓ、ＰａｓｔＴｅｎｓｅＶｅｒｂｓの特徴の値を抽出し、各クラスにベイズの定理を適用して、最も確率の高いものを選択する。
ベイズの定理の記述では、Ｐ（Ｈ｜Ｅ）＝（Ｐ（Ｅ｜Ｈ）＊Ｐ（Ｈ））／Ｐ（Ｅ）となる。
Ｐ（Ｅ）、特徴の確率、事後確率Ｐ（ＭａｔｅｒｉａｌＦａｃｔ｜Ｅ）及びＰ（ＮｏｎＭａｔｅｒｉａｌＦａｃｔ｜Ｅ）に影響を与えるあらゆるＨの一定値を等しく計算する必要はない。むしろ、これらの分子は、さらに高い値が選択された分子と比較することができる。
試験文に信号語が存在して過去時制動詞が存在しないと仮定すると、ＭａｔｅｒｉａｌＦａｃｔ文又はＮｏｎＭａｔｅｒｉａｌＦａｃｔ文である確率は以下のように計算される。
Ｐ（ＭａｔｅｒｉａｌＦａｃｔ｜ＳｉｇｎａｌＷｏｒｄｓ有り，ＰａｓｔＴｅｎｓｅＶｅｒｂ無し）
＝Ｐ（ＳｉｇｎａｌＷｏｒｄｓ有り｜ＭａｔｅｒｉａｌＦａｃｔ）＊Ｐ（ＰａｓｔＴｅｎｓｅＶｅｒｂｓ無し｜ＭａｔｅｒｉａｌＦａｃｔ）＊Ｐ（ＭａｔｅｒｉａｌＦａｃｔ）／Ｐ（Ｅ）
＝（０．８５＊（１−０．７０）＊０．５）／Ｐ（Ｅ）
＝０．１２７５／Ｐ（Ｅ）
Ｐ（ＮｏｎＭａｔｅｒｉａｌＦａｃｔ｜ＳｉｇｎａｌＷｏｒｄｓ有り，ＰａｓｔＴｅｎｓｅＶｅｒｂ無し）
＝Ｐ（ＳｉｇｎａｌＷｏｒｄｓ有り｜ＮｏｎＭａｔｅｒｉａｌＦａｃｔ）＊Ｐ（ＰａｓｔＴｅｎｓｅＶｅｒｂｓ無し｜ＮｏｎＭａｔｅｒｉａｌＦａｃｔ）＊Ｐ（ＮｏｎＭａｔｅｒｉａｌＦａｃｔ）／Ｐ（Ｅ）
＝（０．１０＊（１−０．２０）＊０．５）／Ｐ（Ｅ）
＝０．０４００／Ｐ（Ｅ）
分母が同じであるため分子を比較し、０．１２７５＞＞０．０４００なので、この試験文は、ＭａｔｅｒｉａｌＦａｃｔ文である可能性が高いものとして分類される。

実施例６−分類器のスタッキングコミティーの適用結果
スタッキングメタ分類器
１．０Ｅ−８のリッジパラメータを用いたロジスティック回帰
係数．．．

本明細書で説明した実施形態は、リポジトリからデータ及び／又は電子文書を取得し、データ及び／又は電子文書内の段落が、事実段落、考察段落又は結果段落のいずれであるかを判断すると理解されたい。１又は２以上の基本分類器及び／又はコンバイナ分類器から生成された１又は２以上の訓練モデルを用いて事実段落内の各文の特徴を分析してスコア付けすることにより、これらの事実段落をさらに分析して各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する。

本明細書では特定の実施形態を図示し説明したが、特許請求する主題の趣旨及び範囲から逸脱することなく、他の様々な変更及び修正を行うことができると理解されたい。さらに、本明細書では、特許請求する主題の様々な態様を説明したが、このような態様を組み合わせて利用する必要はない。従って、添付の特許請求の範囲は、特許請求する主題の範囲内に収まる全てのこのような変更及び修正を対象とするものである。

付属書Ａ
例示的な事実表題−事実段落の前に存在し得る表題（全てではない）

付属書Ｂ
例示的な法的考察表題−法的考察段落の前に存在し得る表題（全てではない）
Discussion 審議 Rule 規則
Issues 問題 Analysis 分析

付属書Ｃ
例示的な法的結果表題−法的結果段落の前に存在し得る表題（全てではない）

付属書Ｅ
例示的な信号語リスト（全てではない）

付属書Ｆ
例示的な現裁判所の単語／語句のリスト（全てではない）

付属書Ｇ
例示的な下級裁判所の単語／語句のリスト（全てではない）

付属書Ｊ
例示的な法的語句（全てではない）

付属書Ｍ
例示的な非重要事実文（全てではない）
本件訴えとなった。
申し立てに関する審理後、第一審裁判所は、事前の不法侵入の原則が適用されるものとし、２０１１年８月２９日に命令を下し、Ｇｕｌｆ Ｏａｋｓを勝訴とする略式判決を認めた。
３週間の審理後、陪審員は、告発された４つの訴因全てにおいてＢｏｕｔが有罪であるとの評決を下し、２０１２年４月５日、Ｓｃｈｅｉｎｄｌｉｎ裁判官は、訴因１、２及び４について１８０カ月の収監、訴因３について３００カ月の収監という同時刑期を彼に言い渡した。
譲歩後、判決の争点は、（１）被告が２００４年及び２００５年にそれぞれ認められた＄２１８，３５５及び＄２０２，０５９を超える慈善寄付控除の資格が申立人にあるかどうか、（２）申立人が、米国個人所得税申告の様式第１０４０号に添付されたスケジュールＥにおいて２００４年及び２００５年にそれぞれ追加所得及び追加損失を主張した非受動的な払い戻されていない＄１８５，８００及び＄７５，０００の出費を立証したかどうか、［脚注］及び（３）申立人が、２００４年及び２００５年について、第６６６２（ａ）項における正確性関連加算税に対する責任を負うかどうかである。
地方裁判所は、Ｎｉｃｈｏｌｓｏｎにおいて論争中の事実と原告が提示した事実との間に有意な差異がないと認定した後に、ＬＩＡの損害賠償請求において被告に対する法的責任を評価するのに十分な因果関係はないと判示した。
第一審裁判所は、証言の最後に上訴人が有罪であると認定し、彼女に５年間の執行猶予を伴うテキサス州刑事司法部の州立刑務所での１８０日間の収監を言い渡し、＄５，３５０の賠償支払を命令した
被告は、原告の主たる証明の最後に、ＦＥＬＡとＬＩＡの両方の損害賠償請求に関する法律問題として、主にＮｉｃｈｏｌｓｏｎを当てにして裁判申し立てを申請した。
しかしながら、前回同様に上訴人は退けられた。
参考までに、上訴内容は、電話消費者保護法（「ＴＣＰＡ」）に違反して送信されたとされるファクシミリに関する集団訴訟である［制定法引用］。
ＪＰＭｏｒｇａｎ Ｃｈａｓｅ社は、この行為を「非仲裁事件／抵当に基づく告知令状」として分類し、２０１１年９月３０日に対物譲渡抵当受戻権喪失の訴えを申請した。ホプキンス夫人は、その数カ月後に回答を行った。ホプキンス夫人は、その回答において、事前のローン変更が全てＪＰＭｏｒｇａｎ Ｃｈａｓｅ社によって無効にされたこと、現在彼女のローンが新たな変更の審査中であること、及びＪＰＭｏｒｇａｎ Ｃｈａｓｅ社の代理人が、ローンの変更過程中に支払いを中止するように彼女に忠告していたことを主張した。［脚注］。
Ｄ＆Ｆ社は、Ｃｉｒｃｌｅ Ｓ社が命令を拒否したとして訴えた。
弁護側は、２０１１年１１月２９日にＳｐｏｓａｔｏに出廷する通知を提出した。
裁判所は、審理後に［事件引用］を引き合いに出し、Ｎｏｒｔｈｅｒｎａｉｒｅが建てられていないユニットに代わって投票できたと結論付け、申し立てを認めた。
この事件が提訴された時からＦｏｗｌｅｒ Ｗｈｉｔｅが特別弁護人として抱えられるまで、破産申立債権者は、申請前の調査中に取得したかなりの情報を管財人に提供し、（数百人に上る債務者の出資金詐欺の犠牲者の名前及び住所などの）債務者のスケジュールを準備するために必要な情報を取得する上で管財人を支援し、これらの破産手順がドイツで認識されるように申請書を準備して提出し、資産の回収に関する文書を管財人に提供し、負債者の仲間、銀行記録及び資産に関する情報を管財人に提供し、負債者の資産を調査することによって管財人を支援したと述べている。
その際、裁判所は、他の裁判所が建築的文脈における著作権侵害を評価するために信頼していた「さらに判断力の優れた観察者」に基づいて、Ｒｕｂｉｎの住居は原告の著作権を有する作品に「実質的に類似」していないと認めた。
ＷＣＪは、ＴＲＯ違反に関し、被告が腰部椎間板切除術の支払いを行う必要はないと判決した。
その覚え書きの中で、ＵＳＢは、１）原告の理事会が担保権執行行為の開始を決議せず、代わりに「標準的取り立て方針」に依拠しており、２）専門的経営者が標準的取り立て方針を採用する権限を持っていたかどうかについての事実に疑問があり、３）担保権執行行為の開始前には督促状が必要であるが、原告が作成した全ての督促状は、取り立て方針を採用する前の日付のものであり、さらにこれらの督促状は、取り立て方針又は適用可能な法廷要件のいずれにも準拠していないことを主張するために、ディスカバリー要求に対する原告の回答を信頼した。
これにより、Ｆａｎｎｉｅ Ｍａｅは、２０１２年５月１５日から発生している利息と連帯してＡ＆Ｂ及びＢｏｓｔｗｉｃｋ夫人に対する＄４３５，１７８．４３の支払いを裁定され、財産の抵当権処分を命じられた。
Ｋｌｉｎｇｅｂｅｒｇｅｒ裁判官は、２００７年１１月５日に免責を命じて［ＤＥ １−２の１］２００７年１１月８日に結審した。
公判後、原告は、以前に提示した質問書に応えた供述書におけるＲｕｂｌｅ氏の確かな証言を得るために再裁判記録を開くように申し立てを申請した。
Ｌｅｇａｃｙは、司法長官を通じて、反対請求を棄却するために［ＳＴＡＴＵＴＥＣＩＴＡＣＩＯＮ］の申し立てを申請し、州検査役は、第三者請求を棄却するために［ＳＴＡＴＵＴＥＣＩＴＡＣＩＯＮ］の申し立てを申請した。
ＭａｒｋとＫａｙ Ｂａｌｄｗｉｎは、２０１２年５月２１日に上訴を行った。
Ｈｕｌｓｅｙ氏は、その拒否を不服として上訴した。
抗告審判において、ＣＪＳは、（１）譲渡証書に記載された調査境界線の外側の土地（すなわち、紛争地域）の継続的、不断的、平和的、公共的かつ絶対的不法占有をＨｏｏｐｅｒが３０余年にわたって負担してきたと認めたこと、（２）ＣＪＳ及びその肩書の前任者が、その肩書のみを持って提訴前の１０年間にわたって係争地域を所有していなかったと認めたこと、（３）係争物から取り除かれた木に、木が存在していた不動産の価値、又はその材木としての価値とは別の価値があると認めたこと、（４）都市樹木管理者による「木の評価」に関する意見根拠の提供を許可したこと、及び（５）根拠となる販売文書を証拠に採用するという、ＬｅＳａｇｅ被告に対するＣＪＳの第三者請求を却下したことにおいて第一審裁判所が誤っていると主張する。
２０１２年８月１５日に、Ｆｕｌｌｅｒに逮捕令状が出された最初の公判が開かれた。
２０１２年１２月１７日に、Ｔｏｎｅｙ−Ｄｉｃｋ原告が、市の被告に対して個人的に、同じ状況下の全ての他社に成り代わってこの提訴を行った。
２００９年１２月３１日に、その部門は、本裁判所における一時的拘留の命令及び不履行陳情に対する申し立てを申請した。
２０１３年１月１８日に、ＤｉＲｉｅｎｚｏは、５つの新たな派生訴因を含む修正訴状（「告訴状」）を提出した。
２０１１年７月１２日に、その部門は、Ｋｅｖｉｎのための改訂永続性計画の再考及び承認に対する申し立てを申請した。
２０１２年１１月２６日に、Ａｍｅｒｉｃａｎ Ｃｅｎｔｅｒ ｆｏｒ Ｌａｗ ｔｈｅ Ｊｕｓｔｉｃｅは、裁判所の許可と共に、部門の棄却申し立てに反対する法廷助言書を提出した。
同日、原告は、自身のＦＡＰに留まるための申し立ても申請した。
裁判所は、政府の反論について、被告の知識の究極的問題に関する専門家の意見をいずれの当事者も引き出そうとしない場合、弁護側の鑑定証人が医薬品販売事業者の手口に関して証言することを許可した。
Ｐａｍｅｌａは上訴し、我々は覆した。
ＰＥＴＡは、上述した修正判決の文体では、弁護士報酬及び費用の支払い前に第７章申し立てにおける全ての無担保請求が支払われることが必要であり、この無担保請求の総額は、約＄３４，３３９．２７のみになったこと、特別弁護人の成功報酬は、債権者への配分割合に基づいて計算すべきであること、特別弁護人は、地方裁判所の訴訟における債権者の以前の代理に起因して管財人の代理を除外する争いを行ったこと、地方裁判所の訴訟において特別弁護人が被った費用の返済が、＄７，２９６．０５の金額のＰＥＴＡに対する地方裁判所の費用裁定に制限されたこと、及び最後に［ＳＴＡＴＵＳＣＩＴＡＴＩＯＮ］の下で計算した管財人の賠償金が、特別弁護人に支払われる金額を除いて無担保債権者に分配される金額の割合に制限されたことを主張した。
原告の和解請求が認められ、代理人は、原告をＶＡＣＨＳの連邦捜査局調停プログラムに再委託した（文書整理番号１、ページ２）。
原告は、２０１２年１２月１３日に２回目の修正訴状の提出を退けるように求める申し立てを申請した。
原告は、２０１３年９月９日に、彼女が「召喚状を同封した封筒の添付コピーによって証明されるように合衆国教育省に召喚状のコピーを郵送した」旨の、裁判所の命令に対する回答を提出した。
原告は、この訴因を２００８年５月８日にオハイオ州北地区で提出した。
原告は、２０１３年６月１１日にＢｅｖｅｒｌｙ Ｏｌｓｅｎの供述録を取り上げ、２０１３年６月２１日に供述調書の申請通知を提出した。
原告、Ｃｏｒａ Ｓｏｎｇｙ、Ｍｅｌｖｉｎ Ｂｏｖｉｅ、Ｊａｎｎｅｔｔｅ ＬａＧｒａｎｇｅ、Ｅｌｉｚａｂｅｔｈ Ｊｏｈｎｓｏｎ、Ｏｓｃａｒ Ｂｏｖｉｅ、Ｇｅｎｅ Ｂｏｖｉｅ及びＮａｔａｌｉｅ Ｍｉｌｌｅｒは、セントジョンザバプテスト郡（「郡」）に対し、原告らの資産上に郡が道路又はその他の建造物を建築することを禁止するように求めて、２０１０年５月３日に差止条項と損害賠償のための申請書を提出した。
被告がＤＯＴの下で受益権を所有していたものに関わらず、原告の所有権確認訴訟訴因は補正許可と共に却下される。
巡回裁判所は、この判決を支持した。
裁判所は、両親に対し、これから先彼らが共に生きることを選択するのであれば、共同生活を再開する前に、上述した家庭内暴力問題にしっかりと立ち向かい、これを治療的に解決する集中的な取り組みを行わなければならないと勧告する。
裁判所は、２０１３年３月２１日に、「アリゾナ州チャンドラーのＳｕｎｃｈｉｎｅ Ｈｅｉｆｅｒ，ＬＬＣが２０１３年３月２２日の金曜日の東部標準時午後４時３０分までに＄１００，０００の完全現物債を支払うという条件で」上訴を保留するというＳｕｎｃｈｉｎｅの申請を承諾する命令も行った。
裁判所は、「この命令に背いた場合、被告に関するこの訴訟は、さらなる通告又は審理を行わずに棄却される可能性がある」とも述べた。
裁判所は、州立裁判所が平行と考えられる十分に一致しないものに類似すると認めてコロラド川の不干渉の行使を拒否した。
裁判所は、Ｋｅｖｉｎ．Ｈが裁判中に適切な治療を受けたという理由で２０１３年５月１日に差し止めによる救済を拒否した。
裁判所は、１９３４年法令第１０（ｂ）項の下で一次侵害を主張できない原告が第２０（ａ）項の下で二次賠償請求について述べることはできないと判示した。
裁判所は、証拠とした文書を精査して、２００９年１２月３１日に、裁判所（Ｍａｒｏｎｉｃｈ，Ｊ．）は、Ｋｅｖｉｎに代わって部門による一方的な一時的差し止め命令の申請を認め、２０１０年１月５日に、一時的拘留命令が合意によって認められ、被告の両親に対して改正された具体的予備手順が命じられ、２０１０年１０月２７日、裁判所（Ｓｏｍｍｅｒ，Ｊ．）は、部門によるＫｅｖｉｎの出生証明書を訂正するのに必要な措置を行うようにＴｒａｃｙ Ｋに指示する命令の申し立てを認め、２０１１年１月３日、裁判所（Ｓｏｍｍｅｒ，Ｊ．）は、Ｋｅｖｉｎの兄弟であるＪｅｚｏｃａｌｙｎｎｅ Ｇ（現在のＪｅｚｏｃａｌｙｎｎｅ Ｍ）に対する被告の母親であるＴｒａｃｙ Ｋの親権を終了させ、２０１１年１月３日、裁判所（Ｓｏｍｍｅｒ，Ｊ．）はＫｅｖｉｎが見捨てられたと判決を下した、という司法告知を行った。
裁判所は、２０１０年１１月に開始して２０１１年２月に終了したスラッシャーの主張に対するＭａｎｄｅｌの異議申し立てを審理した。
債務者は、２０１３年３月２６日に任意の第７章申し立てを行った［文書整理番号１］。
部門は、２０１年９月２２日にＫｅｖｉｎに対する永続性計画の精査及び承認の申し立てを申請した。
地方裁判所は、２０１２年８月３１日に聴聞を行い、Ｌａｎｇｆｏｒｄ及び州から証拠を受け取った。
地方裁判所は、彼の申請を却下した。
地方裁判所は、その申請を却下して裁判の続行を許可した。
地方裁判所は、以下の様に認定した。
次の日、第一審裁判所は、Ｎａｔｉｏｎｗｉｄｅ社、Ｖａｌｌｏｚｅｓ社、Ｃｕｍｍｉｎｓ社及びＡｌｌｉｓｏｎ Ｔｒａｎｓｍｉｓｓｉｏｎ社が申し立てた解雇申請を却下する命令を下した。
２０１３年５月３日に聴聞を継続し、２０１３年５月２９日に議論を終わらせると結論付けた。
ＵＣＣ−１書式の雑用ボックス１０は、「Ｌｏａｎ−Ｗｅｓｔｍｏｏｒｅ Ｈｕｎｔｌｅｙ ＃２１−＄３，１００，０００．００」を提供する。ＵＣＣ−１に添付される別紙Ａには、担保の説明 現在取得されているか、今後取得されるかに関わらず後述する全ての資産（まとめて「担保」）が示されており、その中で、債務者は、あらゆる権利、資格、財産又は利子、及びこのような資産、対象物及び抵当権内の従属物及び抵当権に対する支払及びこの定着物登録の記録よりも前の資産に対して記録されたあらゆる信託証書の支払いをその全ての追加物及び相続物及びその代替物と共に現在有し、又は今後取得するとある（この別紙「Ａ」では、「収益」という用語は、後述する資産又は収益が、自発的であるか、それとも非自発的であるかに関わらず、販売、収集、交換、又は別様に廃棄された時に受け取り可能な又は受け取られた全てのものを含み、これに関するあらゆる事例についての返還保険料を含む全ての支払権利を制限なく含む）：１。
再審の申請は２０１１年８月９日に却下された。
当事者らは、２０１３年３月２６日に調停会議に参加したが、問題は解決されなかった。
原告の請求は却下された。
提案された永続性計画は、親権及び養子縁組の終了であった。
第６巡回裁判所は、この意見を退けた。
第一審裁判所は、Ｈｕｂｅｒが公判前に誠実な和解の試みを行わなかったと認めた後に、将来的損害に相当する裁定部分に審理前利息を含む、金額にして＄８３０，７７４．６６の審理前利息を裁定した。
第一審裁判所は、判決に対する郡の申し立てを認め、その判決について説明する通達書を発行した。
これらの２つの請求は、請求裁判日前に裁判所に提出された請求であった。
本件訴えとなった。
本裁判所は、［ＣＡＳＥＣＩＴＡＴＩＯＮ］において支持した。
本裁判所は、この供述が信頼性に欠け、母親による「極小化」の別の事例であると認めた。
これには、（ａ）［Ｒｏｙｃｅ ｈｏｍｅ］の資本及び収益を［Ｒｏｙｃｅ ｈｏｍｅ］の事業の推進に費やす権限、（ｂ）［Ｒｏｙｃｅ ｈｏｍｅ］が参加する権利を与えられたあらゆる事業又は取引に関するいずれかの組合協定、共有協定又は共同事業に参入する権限、（ｃ）約束手形及びその他の有価証券又は非有価証券及び債務証書を起案し、作成し、実行し、発行し、このようにして借り入れた金額の支払いを確約し、［Ｒｏｙｃｅ ｈｏｍｅ］の資産の全部又は一部を抵当に入れ、担保として差し出し、又は委託割り当てする権限、．．．、（ｈ）［Ｒｏｙｃｅ ｈｏｍｅ］の代わりにいずれかの人物、会社又は企業が金銭の支払又はいずれかの契約又は義務の履行を保証する権限、（ｉ）［Ｒｏｙｃｅ ｈｏｍｅ］の名において、及びこの代わりに訴え、訴えられ、告訴し、弁護し、及びジェネラルパートナーが望ましいと見なすようないずれかのイベントに関して合意、受領、公開及び免責を締結する権限、（ｍ）合意、協定を締結し、実行し、履行し、［Ｒｏｙｃｅ ｈｏｍｅ］の目的の達成に必要な、ふさわしい、又は付帯する他のいずれかの行為及び事項を行う権限、及び（ｎ）制限されたパートナーの同意なく［Ｒｏｙｃｅ ｈｏｍｅ］が資金を借り入れ、又は他の資本拠出を受け入れる権限を含んでいた。
Ｔｈｒａｓｈｅｒは、２０１２年３月２２日に全ての裁判所での略式判決を求める申し立てを申請した。
我々は、以下の勝訴当事者に最も有利な観点で根拠を見て、そこから公平に推論できる全ての妥当な推論を認める。
人物Ｂが人物Ａからカードを取り上げてそのクレジットを浪費した場合、クレジットカード会社が人物Ｂとこのような契約を結んでいなかったという理由で被害者はクレジットカード会社になり得る。人物Ｂは、実際には人物Ａに発行されたクレジットカード会社のクレジットを消費する権限を自分が持っているフリをしていた。或いは、人物Ｂが実際に人物Ａであるという了解の下で商品を引き渡した販売業者から人物Ｂが価値のあるアイテムを取得し、クレジットカード発行業者が、人物Ａとの間に販売業者を保護する与信契約書を持っていたという理由で、商品の販売業者が被害者にもなり得る。
彼女は、ＵＡＷ−ＧＭ ＣＨＲの評議員会が各組織からの等しい数の代理人で構成されていたと主張した。
ＨＧＣは、コネチカットスポーツシュータ、並びにＭｉｃｈａｅｌ Ｃｒｉｓｔｅｒ及びＭｉｃｈａｅｌ Ｂｕｒｅｋ（まとめて「ＣＳＳ被告」）が、その日に射撃競技会を企画運営し、競技会の射程圏及び安全性を確立する責任があったと主張した。
上訴人は、行政官に話し掛ける機会を拒否され、破棄される資産の写真を撮影する要求も拒否されたと主張する。
Ｒｏｓａｌｅｓは、負傷した日からの永久全身障害（ＰＴＤ）の請求書を提出した。
Ｊａｃｋｓｏｎの弁護士は、［ＣＡＳＥＣＩＴＡＴＩＯＮ］に従う弁論趣意書を提出した（Ａ１８）（ミス２００５）。
本裁判所は、記録を注意深く検討し、以下に示す理由で、検査官の決定は覆されるべきであり、この意見に矛盾しないさらなる手続きを差し戻すべきであると認めた。
上訴の保留中、管財人及びＰＥＴＡは和解協定に入って双方の間の全ての問題を解決した（「和解協定」）。
そこで、Ｓｃｏｔｔは、規制薬物を流通目的で所有していたとの罪状を認め、彼に対する他の３つの告訴は棄却された。
当事者の意見を再検討した後、第一審裁判所は、上訴人の略式判決申し立てを却下して被上訴人の略式判決申し立てを認めた。
Ｐ７ Ｔｈｉｅｄｅは、［ＳＴＡＴＵＴＥＣＩＴＡＴＩＯＮ］の下で、「人がアンダーサブ（ｕｎｄｅｒ ｓｕｂ）で［呼気］検査を拒否した場合」について述べる運営権無効の意向通知を直ちに準備した。
上訴人は、第一審裁判所が却下した無罪判決の［ＳＴＡＴＵＴＥＣＩＴＡＴＩＯＮ］を要求した。
Ｆｏｗｌｋｅｓ裁判官は、Ｇｕｎｎが事務室内に入るのを尾行した後に彼女を法廷侮辱罪にすると脅したとの命令を繰り返した。
理事会は、１９７０年５月及び１９７１年３月のＲＯ判決を取り巻く事実を考察して、Ｈｕｌｓｅｙ氏がこれらの判決を不服として上訴せずに確定したと認めた。
第１１．２．１項には、医療行為許可の縮小、保留、取り消し、制約又は不履行、再任の拒否及び任命の拒否を含む不利な判決及び推奨の範囲が明確に定められている。
Ｇｒａｖｉｔａｓは、トラックとトラック内設備の有効な担保権の存在を立証するとする様々な文書を添付する請求を後で修正した。
従って、２００６年１２月１５日に、Ｈｏｏｐｅｒは、ＣＪＳ、Ｂｌｕｎｔ氏、Ｃａｎｔｕ氏、及びウィステリアレイクスの分譲地に対して分譲地の開発を中止する旨の［ページ４］の差し止め命令を提出した。
Ｓａｄｌｅｒは、２００９年４月に、Ｎａｎｃｙが自分の車を自宅のガレージに入れようとしたと主張した。
Ｃａｒｌｓｏｎ弁護士は、ＢｒｏｗｎとＭａｎｔｅｌｌが互いに支え合い、彼女は当事者が合意に至らなかった場合にＭａｎｔｅｌｌがＢｒｏｗｎの証人になることを期待していると被告に知らせた。

３０５ リスト
３１０ 訓練
３１５ 認識
３２０ 知識ベース

Claims (20)

1. 電子リポジトリから取得された電子法定文書における潜在的重要事実文を識別するシステムであって、
   処理装置と、
   前記処理装置と通信する非一時的プロセッサ可読記憶媒体と、
   を備え、前記非一時的プロセッサ可読記憶媒体は、１又は２以上のプログラム命令を含み、該１又は２以上のプログラム命令は、実行時に前記処理装置に、
   リポジトリから電子法定文書を取得し、
   前記電子法定文書における１又は２以上の段落に関連する表題、及び前記段落の１又は２以上の特徴の少なくとも一方に基づいて前記法定文書におけるテキストを解析して、前記段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断し、
   前記１又は２以上の段落のうちの事実段落である各段落について、
   前記事実段落における１又は２以上の文の各文を抽出し、
   訓練された文分類器に、前記１又は２以上の文の各文の１又は２以上の特徴に基づいて、前記文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するように指示し、
   前記判断に基づいて、前記１又は２以上の文から１又は２以上の潜在的重要事実文を識別する、
   ことを行わせる、
   ことを特徴とするシステム。
2. 前記文の前記１又は２以上の特徴は、名詞句の数、動詞句の数、日付の数、タイムスタンプの数、金銭的値の数、下級裁判所行為の数、現裁判所行為の数、原告行為の数、法的語句の数、法的概念の数、非重要事実単語の数及び非重要事実語句の数から成る群から選択される、
   請求項１に記載のシステム。
3. 前記訓練された文分類器は、前記１又は２以上の文の各文に対して自然言語解析器を実行して前記文の前記１又は２以上の特徴を決定することにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
   請求項１に記載のシステム。
4. 前記訓練された文分類器は、サポートベクターマシンアルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
   請求項１に記載のシステム。
5. 前記訓練された文分類器は、決定木アルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
   請求項１に記載のシステム。
6. 前記訓練された文分類器は、単純ベイズアルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
   請求項１に記載のシステム。
7. 前記訓練された文分類器は、分類器アルゴリズムのスタッキングコミティーによって訓練データ及び１又は２以上の基本分類器から出力されたデータから生成された訓練モデルに基づいて１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
   請求項１に記載のシステム。
8. 前記表題は、事実表題、考察表題又は結果表題である、
   請求項１に記載のシステム。
9. 前記段落の前記１又は２以上の特徴は、段落の位置、事件の数、制定法の数、過去時制動詞の数、現裁判所単語の数、下級裁判所単語の数、法的語句の数、被告単語の数、原告単語の数、日付の数、信号語の数及び脚注の数から成る群から選択される、
   請求項１に記載のシステム。
10. 電子リポジトリから取得された電子法定文書における潜在的重要事実文を識別する方法であって、
    処理装置によって、リポジトリから電子法定文書を取得するステップと、
    前記処理装置によって、前記電子法定文書における１又は２以上の段落に関連する表題、及び前記段落の１又は２以上の特徴の少なくとも一方に基づいて前記法定文書におけるテキストを解析して、前記段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断するステップと、
    前記１又は２以上の段落のうちの事実段落である各段落について、
    前記処理装置によって、前記事実段落における１又は２以上の文の各文を抽出するステップと、
    前記処理装置によって、訓練された文分類器に、前記１又は２以上の文の各文の１又は２以上の特徴に基づいて、前記文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するように指示するステップと、
    前記処理装置によって、前記判断に基づいて、前記１又は２以上の文から１又は２以上の潜在的重要事実文を識別するステップと、
    を含むことを特徴とする方法。
11. 前記文の前記１又は２以上の特徴は、名詞句の数、動詞句の数、日付の数、タイムスタンプの数、金銭的値の数、下級裁判所行為の数、現裁判所行為の数、原告行為の数、法的語句の数、法的概念の数、非重要事実単語の数及び非重要事実語句の数から成る群から選択される、
    請求項１０に記載の方法。
12. 前記訓練された文分類器は、前記１又は２以上の文の各文に対して自然言語解析器を実行して前記文の前記１又は２以上の特徴を決定することにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
    請求項１０に記載の方法。
13. 前記訓練された文分類器は、サポートベクターマシンアルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
    請求項１０に記載の方法。
14. 前記訓練された文分類器は、決定木アルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
    請求項１０に記載の方法。
15. 前記訓練された文分類器は、単純ベイズアルゴリズムによって訓練データから生成された訓練モデルに基づいて前記１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
    請求項１０に記載の方法。
16. 前記訓練された文分類器は、分類器アルゴリズムのスタッキングコミティーによって訓練データ及び１又は２以上の基本分類器から出力されたデータから生成された訓練モデルに基づいて１又は２以上の特徴にスコア付けすることにより、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断する、
    請求項１０に記載の方法。
17. 前記表題は、事実表題、考察表題又は結果表題である、
    請求項１０に記載の方法。
18. 前記段落の前記１又は２以上の特徴は、段落の位置、事件の数、制定法の数、過去時制動詞の数、現裁判所単語の数、下級裁判所単語の数、法的語句の数、被告単語の数、原告単語の数、日付の数、信号語の数及び脚注の数から成る群から選択される、
    請求項１０に記載の方法。
19. 電子リポジトリから取得された電子法定文書における潜在的重要事実文を識別する方法であって、
    処理装置によって、リポジトリから電子法定文書を取得するステップと、
    前記処理装置によって、前記電子法定文書における１又は２以上の段落に関連する表題、及び前記段落の１又は２以上の特徴の少なくとも一方に基づいて前記法定文書におけるテキストを解析して、前記段落の各段落が、事実段落、考察段落又は結果段落のいずれであるかを判断するステップと、
    前記１又は２以上の段落のうちの事実段落である各段落について、
    前記処理装置によって、前記事実段落における１又は２以上の文の各文を抽出するステップと、
    前記処理装置によって、前記事実段落における前記１又は２以上の文の各文を解析して名詞句の数及び動詞句の数を求めるように自然言語解析器に指示するステップと、
    前記処理装置によって、前記１又は２以上の文の各文から、日付の数、タイプスタンプの数、金銭的値の数、下級裁判所行為の数、現裁判所行為の数、原告行為の数、被告行為の数、法的語句の数、法的概念の数、非重要事実単語の数及び非重要事実語句の数から選択された１又は２以上の特徴を抽出するステップと、
    前記処理装置によって、前記名詞句の数、前記動詞句の数及び前記１又は２以上の特徴に基づいて前記１又は２以上の文の各文にスコア付けするステップと、
    前記処理装置によって、前記スコア付けに基づいて、前記１又は２以上の文の各文が潜在的重要事実文であるか、それとも非重要事実文であるかを判断するステップと、
    を含むことを特徴とする方法。
20. 前記スコア付けは、１又は２以上の基本分類器によって訓練データから生成された訓練モデルに基づいて前記１又は２以上の文の各文にスコア付けするステップを含む、
    請求項１９に記載の方法。

Images