JP2003526140A

JP2003526140A - 法律トピック体系を使用して法律概念を分類するシステム及び方法

Info

Publication number: JP2003526140A
Application number: JP2001516135A
Authority: JP
Inventors: ジェイムズエスジュニアウィルトシャー; ジョンティモアロック; ティモシーエルハンフリ; エックスアレンル; ジェイムスエムペック; サラフディンアーメド
Original assignee: レキシスネクシス
Priority date: 1999-08-06
Filing date: 2000-07-31
Publication date: 2003-09-02
Anticipated expiration: 2020-07-31
Also published as: EP1236175A4; CA2381460A1; EP1236175A1; JP3793085B2; AU764415B2; US6502081B1; NZ516822A; WO2001011559A1; AU6489200A

Abstract

(57)【要約】経済的で拡張可能な機械学習システム及び処理は、大きな階層的トピック体系を含む大きなトピック体系を用いて精度の高い文書（概念）分類（２１０）を実行する。ある与えられた分類される文書（概念）に対して、１つ又はそれ以上の関連性の高い分類トピックが示唆される（２１０）。本発明は、訓練（２００）及び概念分類（２１０）処理を含む。本発明はまた、訓練概念における特徴の関連性を得点する方法（３０３）、関連性の得点に基づいて概念を評価する方法、及び、入力概念に関連するトピックについて投票する方法を含む、訓練処理及び／又は概念分類処理の一部として使うことができる方法を提供する。好ましい実施形態において、本発明は、法律（判例法）ドメインに適用され、専有権を有する法律トピック分類体系（法の領域の階層体系）に従って法律概念（法の原則）を分類する。

Description

【発明の詳細な説明】

【０００１】著作権について付録を含めて本開示の一部分は、著作権保護を受けている。米国特許商標事務
所（ＰＴＯ）の特許ファイル又は記録に載った場合、特許文書又は特許開示のフ
ァクシミリによる複写に対して限定的な許可が認められているが、著作権所有者
は、それ以外の著作権のいかなる権利もその一切を保有する。（技術分野）本発明は、自動化した分類のためのシステム及び方法に関する。更に具体的に
は、本発明は、トピック体系（階層的法律トピック分類体系など）に従って概念
（法廷意見からの法律的観点を含む法律概念など）を分類するための自動化シス
テム及び方法に関する。

【０００２】（背景技術）文書の分類は、テキスト処理において最も重要なタスクの１つとして長い間認
識されてきた。文書の分類は、質の高い文書検索をもたらし、コレクションの全
般に亘って文書間の走査検索やリンクを可能にする。こういったアクセスの容易
さの恩恵は、法律などのゆっくりと進化する主題ドメインにおいて特に明らかで
ある。法律ドメインのほぼ安定した語彙及びトピックは、いかなる分類作業にお
いても長期的利益を保証する。

【０００３】監督なし学習と監督付き学習という２つの一般的な文書分類手法が存在する。
これらの手法は、事前に形成された分類体系が使われるかどうかにより区別され
る。監督なし学習は、文書がデータに固有の自然構造によって十分に整理すること
ができるという仮定に基づくデータ主導の分類手法である。データをよく知って
いれば、この自然構造に従ってそれらの情報の位置を見つけることができるはず
である。大体の情報検索に関する文献は、この手法に焦点をあてており、ほとん
どが文書クラスタリングに関するものである（Ｂｏｒｋｏ１９６３年、Ｓｐａ
ｒｃｋＪｏｎｅｓ１９７０年、ｖａｎＲｉｊｓｂｅｒｇｅｎ１９７９年
、Ｇｒｉｆｆｉｔｈｓ１９８４年、Ｗｉｌｌｅｔｔ１９８８年、及び、Ｓａ
ｌｔｏｎ１９９０年）。ごく最近になって、いくつかの機械学習技術が、この
分類タスクに適用されている（Ｆａｒｋａｓ１９９３年）が、「監督なし学習
」という用語はこの手法を説明するために付けられた。米国特許第５、１８２、
７０８号及び米国特許第５、８３２、４７０号）は、この手法に関連している。

【０００４】文書分類に対する監督なし学習手法の逆が監督付き学習である。この手法を用
いると、事前形成された「トピック体系」が、体系内の各トピックに対して分類
された文書と共に与えられる。トピック体系は、離散的トピックの単純なリスト
又は複雑な階層的トピック体系のどちらでもよい。監督付き学習技術は、コンピ
ュータが未知の種類の文書を分類することを学習できるように、コンピュータに
意味のあるトピック別説明を供給するタスクに焦点をあてる。

【０００５】トピック体系が離散的トピックの単純なリスト（トピック間に複雑な階層的関
係のないもの）を含む時、文書分類は、単なる文書類別となる。関連フィードバ
ックの検索技術を含む多くの機械学習技術が、このタスクに関して試されてきた
（Ｂｕｃｋｌｅｙ１９９４年、Ｌｅｗｉｓ１９９４年、及び、Ｍｉｔｃｈｅ
ｌｌ１９９７年）。学習方法それ自体の有効性に加えて、自動類別の成功は、
体系内のトピック数、質の高い訓練用文書の量、及び、トピックが互い対して相
互に排他的である度合に左右される。一例が米国特許第５、６７５、７１０号に
開示されている。

【０００６】より難しい文書分類は、階層的トピック体系を使って文書を分類する場合に集
中する。このタスクでは、互いに密接になりがちでそのためにコンピュータを混
乱させる姉妹トピック間の「横」の関係が考慮されなければならない。更に、「
縦」の継承関係も同じく心配する必要がある。多くの機械学習技術は、それらの学習又は訓練においてこれらの２つの意味論
的関係を同時に適合させることが困難であり、その後に文書を効果的に分類する
のが困難である。トピック体系が非常に大きい場合、訓練用文書がトピック別に
排他的でない場合、文書の大きさが小さい場合、又は、文書に記述的情報が欠け
ている場合には、このタスクは更に困難なものになる。

【０００７】これらの困難に対処するために、いくつかの技術（米国特許第５、２０４、８
１２号）は、人的介入に頼ってきた。他のもの（米国特許第５、７９４、２３６
号）は、単純だが洞察に満ちたパターンマッチングを使用する。更に他のもの（
米国特許第５、３７１、８０７号、及び、第５、７６８、５８０号）は、階層的
体系にもたらされる曖昧さと戦うために言語学上の知識へ目を向ける。しかし、これらの技術は、領域特定の小さな分類作業を扱うことができるだけ
である。これらの技術は、それらのパターン認識の単純さ、又は、言語学的構文
解析を支援する高価な辞書を構築する気力を挫くような要求のいずれかのために
、拡張された処理に困難を見出す。

【０００８】すなわち、大きな階層的トピック体系を使って精度の高い文書分類を実行でき
る、経済的で拡張可能な機械学習処理を創出する必要性が当業技術に存在する。
本発明が意図するところは、この必要性を充足することである。特許以外の上記参考文献は、以下の通りである。・Ｂｏｒｋｏ、Ｈ．及びＢｅｒｎｉｃｋ、Ｍ．１９６３年：「自動文書分類」
、計算機協会会誌、１５１〜１６１ページ・ＳｐａｒｃｋＪｏｎｅｓ、Ｋ．１９７０年：「検索に関する分類について
のいくつかの考察」、ドキュメンテーション学会誌（ＪｏｕｒｎａｌｏｆＤ
ｏｃｕｍｅｎｔａｔｉｏｎ）、８９〜１０２ページ・ＶａｎＲｉｊｓｂｅｒｇｅｎ、Ｃ．Ｊ．１９７９年：情報検索（Ｉｎｆｏ
ｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ）、第２版、ロンドン、バターワーズ・Ｇｒｉｆｆｉｔｈｓ、Ａ．他、１９８４年：「自動文書分類のための階層的
集塊クラスタリング法」、ドキュメンテーション学会、１７５〜２０５ページ・Ｗｉｌｌｅｔｔ、Ｐ．１９８８年：「階層的文書クラスタリングにおける最
近の傾向：批判的レビュー」、情報処理と管理（ＩｎｆｏｒｍａｔｉｏｎＰｒ
ｏｃｅｓｓｉｎｇａｎｄＭａｎａｇｅｍｅｎｔ）、５７７〜５９８ページ・Ｓａｌｔｏｎ、Ｇ．及びＢｕｃｋｌｅｙ、Ｃ．１９９０年：「情報検索のた
めの柔軟性を有するテキストマッチング」、米国ニューヨーク州イサカ所在、コ
ーネル大学テクニカルレポート、９０〜１１５８ページ・Ｆａｒｋａｓ、Ｊ．１９９３年：「ニューラルネットワークと文書分類」、
電気及びコンピュータ工学に関するカナダ会議、１〜４ページ・Ｂｕｃｋｌｅｙ、Ｃ．他、１９９４年：「ＳＭＡＲＴを使用した自動経路指
定と特別検索：ＴＲＥＣ−２」、第２回テキスト検索会議、ＤｏｎｎａＨａｒ
ｍａｎ編集、ＮＩＳＴ特別出版５００−２１５、４５〜５５ページ・Ｌｅｗｉｓ、Ｄ．Ｄ．及びＧａｌｅ、Ｗ．Ａ．１９９４年：「テキスト分類
係員を訓練する連続アルゴリズム」、情報検索の研究及び開発に関する第７回国
際ＡＣＭ−ＳＩＧＩＲ年次会議議事録、３〜１２ページ、ロンドン・Ｍｉｔｃｈｅｌｌ、Ｔ．１９９７年：機械学習（ＭａｃｈｉｎｅＬｅａｒ
ｎｉｎｇ）、マッグロー・ヒル出版、ニューヨーク

【０００９】（発明の開示）本発明のシステム及び方法は、大きな階層的トピック体系を含む大きなトピッ
ク体系を使って精度の高い文書分類を行なう、経済的で拡張可能な機械学習処理
を提供する。更に具体的には、本発明のシステム及び方法は、ある与えられた分
類される文書に対して、１つ又はそれ以上の関連性の高い分類トピックを示唆す
る。本発明は、新しい訓練処理及び概念分類処理を含むいくつかの特徴を提供する
。本発明はまた、訓練概念における特徴の関連性を得点する方法、関連性の得点
に基づいて概念を評価する方法、及び、入力概念に関連するトピックについて投
票する方法を含む、訓練処理及び／又は概念分類処理の一部として使うことがで
きる新しい方法を提供する。好ましい実施形態において、本発明は、法律（判例法）ドメインに適用され、
専有権を有する法律トピック分類体系（法の領域の階層）に従って法律概念（法
の原則など）を分類する。本発明の他の目的、形態、及び、利点については、添付図面を含む本明細書を
読むことにより当業者には明らかでなるであろう。全体を通して同じ参照番号が同じ構成要素を意味する添付図面の図を参照しな
がら以下の好ましい実施形態の詳細な説明を読むことにより、本発明はより良く
理解される。

【００１０】（発明を実施するための最良の形態）図に示される本発明の好ましい実施形態を説明する場合、正確さを期すために
特定の専門用語が用いられる。しかし、本発明は、その選択された特定の専門用
語に限定されることは意図しておらず、特定な構成要素の各々は、同様の目的を
達成するために同様の方法で作動する全ての技術的な同等要素を含むことを理解
されたい。

【００１１】背景専門用語本発明のシステム及び方法を理解するための背景として、好ましい実施形態は
、機械に基づく学習技術を使って判例法文書（法廷意見）における「法律概念」
を分類することを理解されたい。次に、分類処理が「法律トピック」の事前に形
成された体系に従って実行される。特に、法律ドメインの「概念」は「法律概念」と呼ばれ、「法の原則」として
より広く知られる場合がある。法律ドメインのトピックは「法律トピック」と呼
ばれ、「法の領域」としてより広く知られる場合がある。もちろん、本発明は、
法律ドメイン以外の領域にも適用でき、広義の用語「概念」及び「トピック」は
、法律ドメインに限定されてはならない。

【００１２】特に法律ドメインに適用される実施形態に関しては、判例法文書は、各々、別
個の法律概念セットを持たなければならない。特に、好ましい実施形態において
、「法律概念」は、「法廷用語で記された、訴訟の決着に重要な支配的法律見解
」と定義してもよい。一般に、裁判上の意見の一節は、以下の場合に法律概念を
包含する。１．その一節が「法の原則の肯定的な記述」である。例えば、・法律原則の直接的表現（試験、要素、通例、通例に対する例外など）・技術的法律用語の定義・適用できる再審理基準の記述・別の判例が破棄されるか又は承認されないという明確な記述・法規又は法廷の規定の単なる引用ではない説明又は解釈２．記述された法の原則が、訴訟の法廷決着に対して「重要」である。３．法廷が、記述された独特な法の原則を明示的又は暗黙的に「採用」する。

【００１３】法律「概念」のサンプルセットを付録Ａに示す。法律「トピック」のサンプル体系を付録Ｂに示す。このサンプル体系は、性質
上階層的（一般の最上位レベルのトピックと更に具体的な低レベルのトピックと
を有する）であるが、本発明は、この種類の体系に限定されない。この専門用語を理解した上で、本発明は、最初に一般的な条件で説明され、そ
の後更に詳細な説明が与えられる。

【００１４】概要本発明の好ましい実施形態は、法律文書からの概念のテキストを解析し、ある
与えられた法律トピック体系からその法律概念に関して関連性のあるトピックを
提供する法律概念分類システム及び方法を準備する。本発明は、法律トピック体
系に従って予め分類された法律概念のデータベース、法律の言い回しのリスト、
及び、ストップワードのリストを使用する。好ましい実施形態は、法律概念に対するトピックを提供する２つの主要な処理
である訓練及び分類段階を伴う。本システムは、最初に、ある与えられたトピッ
ク体系に従って法律概念のトピック傾向を識別するよう訓練される。一旦訓練さ
れると、システムは、その後この同じトピック体系に従って他の法律概念を分類
する。

【００１５】訓練処理−概要訓練の処理は、以下のことが必要である。・訓練データの収集・予め分類された法律概念の抽出・訓練データの「特徴」の解析・これらの特徴に対する関連性得点の計算・知識ベースへのこの情報の記憶この訓練は、知識ベースに情報を最初に作成するために行なう必要があるが、
継続的に知識ベースの質を向上させるために、新しく分類された法律概念をフィ
ードバックしながら適用を通してずっと訓練が発生してもよいと考えられる。

【００１６】複数の判例法文書が構文解析され、分類された法律概念をその文書の適切な段
落から抽出する。これには、法律概念が同じトピック体系に従って抽出され分類
されたかなりの判例法文書サンプルを必要とする。判例から一旦抽出されると、法律概念は、これらの概念の顕著な「特徴」を判
断するために解析される。特定の実施形態においては、訓練及び分類処理のため
の特徴が以下のように識別された。・用語・法律の言い回し・判例の引用

【００１７】分類された法律概念からのこれらの特徴の作成は、以下の仮定的な例を通して
より良く理解される。その例とは、すなわち、刑法及び訴訟手続き−証拠−意見証言証人の信用性又は信用性の欠如を判断し、その証言を受け入れるか又はそれを
全く無視するかを決めるのは、控訴裁判所ではなく実情調査委員の役目である。
控訴裁判所は、スミス対オハイオ判例に記されるように、陪審の評決に最も有利
な観点から証言を考慮しなければならない、という判例に見出し得るような法律概念が後に続く法律トピックである。この法律概念のトピック（刑法及び訴訟手続き−証拠−意見証言）は、階層的
（多層）法律トピック体系からのものである。更に具体的には、・最高層トピックで最も一般的なものは「刑法及び訴訟手続き」であり、・第２層トピックでより具体的なものは「証拠」であり、・第３層で最も具体的なものは「意見証言」である。

【００１８】この法律概念のテキストから用語の特徴が抽出され、用語を標準化するために
、意味のない「ストップワード」が除かれて単数化される。例えば、上記サンプ
ルの法律概念から重要な特徴であると思われる用語は、「信用性」、「証言」、
又は、「無視する」であり得る。スミス対オハイオの引用文は、判例引用の特徴
として抽出されるであろう。このサンプルの法律概念における法律の言い回しは
、「控訴裁判所」であろう。もし利用可能ならば、各法律概念に関連するとして
識別された意見テキストは、関連する判例引用文を見つけるために同じく走査さ
れる。もちろん、以下に説明される学習処理に関するこれらの特徴の厳密な使用
は、本発明の範囲を限定するものではない。

【００１９】一旦抽出されて解析されると、関連性得点が、各概念の各特徴について計算さ
れる。訓練処理のこの段階は、関連性が評価されたテキスト検索処理に基づく学
習段階を使用する。この段階は、各法律概念の中、及び、訓練法律概念のセット
全体に亘る両方で、特徴の頻度を使用して特徴の関連性を形成する。法律概念の
中、及び、そのセット全体に亘るこれらの２つの頻度は、各法律概念に対して各
特徴の関連性得点を与えるために組み合わされる。これらの法律概念関連性得点
は、次に、分類処理の間、その候補概念に最も関連するトピックを識別するため
に使用される。特徴及びそれらの得点のほかそれらの関連する法律概念とのリンクは、その後
、次の分類処理の間に使用するために知識ベースに記憶される。

【００２０】分類処理−概要一旦訓練されると、本発明は、法律概念などの予め分類されていない概念を分
類するために使用される。好ましい実施形態によると、この分類「処理」には、以下を含む分類「段階」
が必要である。・特徴に対する「候補」（又は、「目標」又は「入力」）法律概念を解析する
段階・知識ベース内の類似の訓練法律概念を検索する段階・これらの類似概念を候補概念に対する類似性に基づいて評価する段階・これらの類似法律概念から最も関連するトピックを識別するために投票する
段階候補法律概念は、特徴に関して解析される。この段階は、訓練処理中に為され
る分類された法律概念の特徴解析と同一である。訓練中に使用された顕著な特徴
（用語、法律の言い回し、及び、判例引用文）の同じセットが、知識ベースと互
換性を有するためにこの段階で使用されなければならない。

【００２１】次に、「目標」法律概念に特徴上類似する「訓練」法律概念に対して知識ベー
スが検索される。これらの一致する法律概念は、対照されて一致の強さに応じて
評価される。これらの一致する訓練法律概念から、候補法律概念に最も関連するトピックが
識別される。知識ベースの各法律概念は、それに関連する少なくとも１つのトピ
ックを持っており、そのため、一致する法律概念からトピックのリストが作られ
る。このトピックリストは、関連性によって分類され、最も関連するトピックが
候補法律概念に対して選ばれる。

【００２２】訓練処理及び分類処理（関連性で評価された分類段階を含む）について上記で
簡単に説明したので、ここで、本発明の実施形態について以下で詳細に説明する
。本発明の方法については、実施例を参照すると更に理解が容易になる。ここで
使用される実施例は、特殊な階層的トピック体系に従って判例法文書の個別の法
律概念を分類することを主に取り扱っているが、これは、本発明の範囲を限定す
るものではない。実際に、文書の文、句、節、又は、段落全体などのいかなる大
きさのテキスト単位も、任意のトピック体系によって分類することができる。

【００２３】例示的ハードウエア実施形態本発明の訓練及び分類システムの実施形態は、従来のコンピュータ上の一連の
モジュールを含むソフトウエアシステムとして実施することができる。図１に示されるように、例示的なハードウエアのプラットフォームは、中央処
理装置１００を含む。中央処理装置１００は、ユーザインタフェース１０１を通
じて人間のユーザと対話する。ユーザインタフェースは、このシステムへの情報
の入力、及び、システムと人間のユーザと間の対話のために使用される。ユーザ
インタフェースは、例えば、ビデオ表示器、キーボード、及び、マウスを含む。
メモリ１０２は、データ（知識ベース、ストップワードリスト、及び、法律の言
い回しリストなど）及び中央処理装置によって実行されるソフトウエアプログラ
ム（訓練及び分類処理など）に対する記憶装置を提供する。ハードディスクドラ
イブ又はテープドライブなどの補助メモリ１０３は、付加的な記憶容量と大きな
情報のバッチを検索する手段とを提供する。

【００２４】図１に示される全ての構成品は、従来技術において周知の種類のものを使用す
ることができる。例えば、本システムは、米国カリフォルニア州サニーベール所
在のサン・マイクロシステムズから入手可能な、実行プラットフォームであるＳ
ＰＡＲＣｓｙｓｔｅｍ１０とＳＵＮＯＳバージョン５．５．１とを含むＳ
ＵＮワークステーションを含んでもよい。もちろん、本発明のシステムは、多く
のコンピュータシステム上で実行することができる。更に、好ましい実施形態は
、ＰＥＲＬ言語（テキスト構文解析タスク用）及びＣ＋＋（ナンバー・クランチ
ング及びデータベースアクセスのタスク用）を使用するが、本発明を実行するた
めに任意の適切なプログラミング言語を使用してもよい。

【００２５】訓練処理及び分類処理図２を参照すると、好ましい実施形態は、図に示されるように２つの段階処理
を含み、本システムは、法律概念を分類する（ブロック２１０）前に最初に訓練
される（ブロック２００）。知識ベース２０１は、訓練処理中に訓練結果を記憶するために利用される。訓
練処理中に知識ベースに記憶された訓練結果は、その後の分類処理で使用される
。訓練処理及び分類処理の両方は、所定のトピック体系２０２を使用する（付録
Ｂの法律トピック体系の例を参照されたい）。特定の好ましい実施形態において
、訓練処理及び分類処理はまた、「ストップワードリスト」２０３（付録Ｃの例
を参照されたい）と「言い回しリスト」２０４（付録Ｄの法律言い回しリストの
例を参照されたい）とを使用する。

【００２６】訓練処理機械学習システムは、図３及び関連する図に示されるように、法律概念を分類
する前に最初に訓練される。この訓練は、識別された法律概念と目標トピック体
系に従って分類された各概念とを有する判例法文書を必要とする。訓練処理は、各法律概念の抽出された特徴のセットを、その法律概念に関連す
る１つ又は複数のトピックに結びつける。以下の記述は、関連性評価手法に基づ
いて訓練処理の実施形態について説明したものである。

【００２７】訓練処理に使用される概念評価段階の実施形態は、各個別の法律概念の中、及
び、法律概念のセット全体に亘るその両方で、用語及び特徴の出現頻度を使用す
る。一般に、法律概念内に頻繁に出現する用語又は特徴は、「もし」その用語
又は特徴が「他の多くの」法律概念に頻繁に出現するのでなければ、そのトピッ
クの強い指標である。直観的に、「法廷」又は「裁判」のようなかなり一般的な
法律用語は、特定の法律トピックを法律概念に割り当てるのに貢献しない。

【００２８】最初に、ブロック３００に示されるように、複数の訓練用文書が入力される。
次に、ブロック３０１に示されるように、その複数の判例法文書が法律概念を抽
出するために構文解析される。次に、各法律概念の「特徴」（用語、法律の言い
回し、及び、埋込み引用文）が抽出され（ブロック３０２）、使用される学習方
法に適した方法でテキストに添付される。次に、関連性得点がこれらの特徴に対
して生成される（ブロック３０３）。最後に、その結果が知識ベース２０１に記
憶される（ブロック３０４）。

【００２９】図３を更に詳しく参照して、これらの訓練段階についてここで更に詳細に説明
する。訓練処理における段階の多くは、図８及び図９を参照して説明される分類
処理にも同じく使用される。法律概念を抽出する段階は、図３に示される訓練処理中は段階３０１として、
また、図７に示される分類処理中は段階７０１として使用される。段階３０１及
び７０１の詳細については図４に示す。

【００３０】図４を参照すると、ブロック４００は、判例法文書が構文解析されて段落毎に
分割される時に達成される、法律概念を包含する段落を識別するためのテキスト
の分割を示している。次に、ブロック４０１に示されるように、法律概念段落は、構文解析されて個
別の法律概念に分割される。各法律概念は、その法律概念に関連する１つ又は複
数のトピックと共に記憶される。法律概念が目標トピック体系からのトピックを
持たない場合、その法律概念は廃棄される。

【００３１】訓練中は段階３０２として、また、分類中は段階７０２として使用される特徴
抽出段階が、図５に詳細に示されている。この段階は、本発明の主要な目的の１
つであり、法律概念を正確に分類するために必要な特徴を抽出する段階を伴う。
法律概念に結び付く時の特徴の書式は、学習方法によって要求される書式に左右
される。図８に関連してより詳細に示される、関連性で評価された分類段階に対
する例が与えられている。

【００３２】図５を更に詳しく参照すると、段階５００に示されるように、法律概念の各用
語がテキストから抽出される。しかし、ストップワードリスト（付録Ｃの例を参
照されたい）からのストップワードの全ての事例は、用語のセットから取り除か
れる。段階５０１において、「犯罪歴」、「保護監督争議」、及び、「土地収用」な
どの法律の言い回しが特徴として抽出される。法律概念は、法律の言い回し（付
録Ｄの例を参照されたい）に関して検索される。最後に、段階５０２は、「人々対メディナ（１９９５年）３９Ｃａｌ．Ａ
ｐｐ．第４６４３、６５０」などの他の判例法文書に対する引用を抽出する段
階を伴う。

【００３３】特徴が抽出された後、次に各特徴に対する関連性得点が生成される。関連性得
点の生成は以下のことを含む。・特徴の用語への変換・法律概念内での及びセットを通しての用語頻度の生成・（いわゆる）「文書」頻度（より適切には、「概念」頻度）の生成・逆「文書」頻度（より適切には、逆「概念」頻度）の生成・各用語の関連性得点の生成これらの段階の詳細は、図６を参照して以下に説明する。

【００３４】関連性評価手法において抽象的な特徴を使うための簡単明瞭な手法は、法律概
念の各特徴を単に「用語」に変換することである（段階６００に示す）。特定の
好ましい実施形態において、「用語」は、その特徴をあらゆる他の特徴から一意
的に区別する記憶用コードである。例えば、「行政的権限」という法律の言い回しは、「行政的_-権限」（用語と
用語の間に下線部を有する）のような「用語」に容易に変換することができる。
あるいは、「３９Ｃａｌ．Ａｐｐ．第４６４３」のような判例引用は、「
３９_-ＣａｌＡｐｐ４_-６４３」という用語に変換することができる。このように
して、各特徴は、セットを通して十分に定義された一意的な用語に変換される。

【００３５】次に、ブロック６０１に示されるように、各「用語」（全ての特徴のほか言葉
を含む）に関して、「用語頻度」（ＴＦ）は、法律概念内でのその用語の出現回
数を使ってその用語が出現する各法律概念に対して計算される。法律概念の全て
の用語の「平均用語頻度」（ＡＶＥＴＦ）も同じく計算される。ブロック６０２に示されるように、各用語に対して、訓練セットで用語が出現
する法律概念の総数が判断される。この数は、従来の「文書」頻度（ＤＦ）が計
算されるのと同じ方法で判断される。テキスト検索技術において、「文書」とい
う用語は多くの意味を持っており、従って曖昧になる可能性がある。本明細書で
は、「文書」は、法律意見の一部である概念ではなく「法律意見全体」を意味す
るために既に使用されている。従って、曖昧さを避けるために、この拡張用語で
ある「文書頻度」を本明細書ではこれ以上使用しないことにする。代わりに、本
明細書の関連においてはＤＦが実際には「概念」頻度を意味するということを理
解した上で、ＤＦを継続して使用することになる。

【００３６】ブロック６０３は、ある用語が訓練法律概念の全体に亘っていかに広く使用さ
れているかに関する計算を表している。この計算は、従来の逆「文書」頻度（Ｉ
ＤＦ）の計算と同じ方法で行なわれる。「文書」が法律意見全体を意味するよう
に本明細書で使用されているので、その拡張用語「逆文書頻度」は、もはや使用
されないことになる。しかし、ＩＤＦは、実際は逆「概念」頻度を意味すること
を理解されたい。いずれにしても、この計算は、訓練セットＤＢＳＩＺＥにおけ
る法律概念のＤＦと総数とを使って行われる。

【００３７】次に、法律概念の各用語に対して、その後ブロック６０４に示されるように関
連性得点が計算される。この計算は、その用語及び法律概念の対の用語頻度（Ｔ
Ｆ）、ＡＶＥ_-ＴＦ、その用語のＩＤＦ、法律概念の長さ、及び、セット内の法
律概念の全体的な平均長さを使うことが必要である。この得点技術は、本発明の
主要な目的の１つである。関連性得点を計算する例示的な公式を以下に示す。（ｄｏｃｌｅｎｇｔｈ＞ａｖｅＤｏｃＬｅｎｇｔｈ）の場合：

【数３】（ｄｏｃｌｅｎｇｔｈ＜＝ａｖｅＤｏｃＬｅｎｇｔｈ）の場合：

【数４】ここで、各項は以下の意味を有する。ＴＦｗｔ＝用語頻度重みＴＦ＝現在の法律概念内の用語頻度ＡＶＥ_-ＴＦ＝現在の法律概念の用語の平均用語頻度 α、β＝基準化係数でα＋β＝１であるｄｏｃＬｅｎｇｔｈ＝文字で表される現在の法律概念の長さａｖｅＤｏｃＬｅｎｇｔｈ＝訓練セット内の全ての法律概念の文字で表される
平均長さＩＤＦ＝訓練セットを通しての用語の逆「文書」（すなわち、「概念」）頻度ＤＢＳＩＺＥ＝訓練セット内の法律概念の総数ＤＦ＝「文書」頻度（用語が出現する法律概念の数）ｓｃｏｒｅ＝法律概念の用語に対する関連性得点

【００３８】最後に、ブロック３０４（図３）に示されるように、種々の計算結果が知識ベ
ース２０１に記憶される。法律概念の各用語に対する概念頻度ＤＦと関連性得点
とは、知識ベースの「逆索引」に記憶される。当業者には容易に理解されるであ
ろうが、この関連での逆索引は、各用語、その用語が出現する各法律概念、及び
、その用語対法律概念に対する関連性得点のリストであり、そのため、そのリス
トは、用語毎に容易に検索することができる。

【００３９】極めて意味深いことに、逆索引の使用は、本発明の拡張性を大きく増大させる
。これは、逆索引が非常に効率的な特徴の検索をもたらし、訓練データのずっと
大きな集まりを扱うことを可能にするためである。法律概念２３、３８、及び、
１２７が与えられ、用語毎に分類された例示的な逆索引の一部分は、表Ｉのよう
に表されてもよい。知識ベースに同じく記憶されるのは、一般の訓練処理で先に決められていた各
法律概念とその１つ又は複数の関連トピックとの間の基本的関係である。この関
係のセットは、法律概念の用語とそれらの用語に関連するトピックとの間のリン
クを確立する。

【００４０】分類処理上記で「訓練」処理２００について詳細に説明したところで、本発明の「分類
」処理２１０がここで説明される。図７に示されるように、分類処理２１０は、
ある与えられたトピック体系に従って未知のトピックの法律概念を分類する段階
を伴う。最初に、ブロック７００に示すように法廷判例文書が入力される。各判例から
は、ブロック７０１に示すように法律概念が抽出される。抽出段階７０１は、図
４に示す訓練処理によって使用される段階３０１と同じであってもよい。ブロック７０２（図５に示す訓練処理によって使用される段階３０２と同じで
あってもよい）において、特徴は、各法律概念から抽出され、使用された訓練処
理と矛盾しない方法でその法律概念と結び付いている。

【００４１】概念分類段階７０３において、各法律概念とその識別された特徴とが最初に入
力される。訓練中に収集された情報は、知識ベースから入力される。この情報は
、訓練セット内の最も良く一致する法律概念に対してそれぞれに１つの現在の法
律概念の得点セットを生成するために使用される。次に、その法律概念に対する
トピックが判断される。ブロック７０３は、現在の候補法律概念に見い出される
特徴を使用する段階と、それらを訓練法律概念に見い出される特徴と比較する段
階とに関わる。当該法律概念と最も類似することが分かった訓練法律概念と結び
付いたトピックは、最も関連するトピックを判断するために対照されて分類され
る。

【００４２】概念分類段階７０３（図７）の好ましい実施形態が、図８に詳細に示されてい
る。示された分類段階は、訓練知識ベース内の類似の法律概念（従って、類似の
トピック）を見つけるために、候補法律概念における特徴の頻度を使用する。関
連性評価の分類段階と呼んでもよいこの分類段階は、以下のことを含む。・特徴に関する入力概念を解析する段階・これらの特徴に対する関連性得点によって訓練概念を評価する段階・最も良いトピックを判断するために、これらの訓練概念と関連するトピック
について投票する段階

【００４３】ブロック８００は、「特徴」を「用語」に変換する段階で、上述された図６の
ブロック６００で使用されるものと同じであってもよい。ブロック８０１では、全ての訓練概念は、これらの候補用語に対する関連性得
点によって評価される。評価段階８０１（図８）の好ましい実施形態が図９に詳細に示されている。図
９によると、ブロック９００及び９０１として示す最初の２つの段階はオプショ
ンであるが、その後の段階を最適化する場合に有効である。ブロック９００では、候補用語のリストは、ＤＦによって昇順に分類されて、
知識ベースから検索して取り出される。これにより、用語リストが最少の共通用
語から最大の共通用語へと並べられる。

【００４４】次に、ブロック９０１において、候補用語リストは、そのリスト内の最少の共
通用語の選択に縮小される。これは、その結果、その後の評価段階に必要とされ
る処理を減らすが、選択される用語の数は、必要な最適化の量に左右される。例
えば、表ＩＩを参照されたい。オプションの段階９００及び９０１が使用されな
い場合、その後の必要とされる評価段階は、候補用語のリスト全体に対して作動
する。ブロック９０２で、訓練概念に対する関連性得点は、候補概念の全ての用語に
対して知識ベースから検索される。

【００４５】ブロック９０３において、全ての訓練概念について候補用語に対する関連性得
点が合計され、ある訓練概念に対する総関連性得点になる。表ＩＩＩは、７つの
訓練法律概念とそれらの関連性得点とを有する５つの候補用語の例示的セットを
示している。各法律概念に対する関連性得点は、一番下の列に合計されている。
これにより、例えば表ＩＶに示す総関連性得点を有する訓練法律概念のリストが
与えられるであろう。

【００４６】ブロック９０４で、訓練概念は、これらの総関連性得点によって降順に分類さ
れ、最も類似する訓練概念は、この分類されたリストでは先頭にくることになる
。例えば、表ＩＶを総得点によって分類すると表５の結果をもたらす。この分類
されたリストは、一般に、現在の候補概念に対して最も関連する訓練法律概念は
「概念１」であり、次に最も関連する概念は「概念９」というようにリストを下
っていくことを示している。これで、図８のブロック８０１が図９で実施し得る場合のその詳細に関する説
明を終わる。

【００４７】再び図８を参照すると、本質的に投票段階であるブロック８０２において、候
補法律概念として最も可能性がある訓練法律概念に関連するトピックは、関連性
のあるトピックの最終リストを作成するために対照されて分類される。一致する
法律概念の最終リストにおいて、１つのトピックが一度よりも多く見つかる場合
があり、従って、例えば一度だけ見つかったトピックよりも更に可能性が高く候
補概念に関連している。極めて意味深いことに、ブロック８０２の投票処理は、より関連性のあるトピ
ックをあまり関連しないトピックからはっきりと区別する。この投票技術は、本
発明の主要な目的の１つである。

【００４８】投票段階８０２（図８）の好ましい実施形態が図１０に詳細に示されている。
ブロック１０００で、分類された訓練概念に関連するトピックが知識ベースから
検索される。次に、ブロック１００１において、これらの訓練概念及びそれらの
得点は、それらのトピック毎にグループに分類される。ブロック１００２で、各
トピックグループの総関連性得点が、そのトピックに対するトピック関連性得点
を判断するために計算される。最後に、ブロック１００３において、これらのト
ピック関連性得点によって次にトピックが降順に分類される。得られるリストは
、リストの１番目に最も関連するトピックを示す。

【００４９】平面的（非階層的）トピック体系が与えられる場合、投票前の一致する概念で
得点によって分類されたそれらのトピックと関連性得点とを有するもののサンプ
ルリストは、表ＶＩのようになってもよい。すなわち、投票段階の「前」では、このリストからの最も関連するトピックは
、出現順に以下のようになるであろう。・海事法・運輸法・私犯法・破産法

【００５０】投票段階の「後」に、トピック全ての得点は、累積されてその結果が再び分類
され、表ＶＩＩのようになるであろう。従って、投票「後」の関連するトピック
のリストは、投票「前」のリストとは以下のように異なって分類されるであろう
。・運輸法（６．５３）・海事法（４．５５）・私犯法（２．８１）・破産法（０．６８）

【００５１】「運輸法」トピックは、その累積関連性得点が他のトピックの累積得点よりも
高いので、投票後の最も関連するトピックとなる。法律トピック体系が階層的（多層）トピック体系の場合、最終関連トピックに
対して２度目の階層投票段階を実行してもよい。最終的なトピックリストは、第
１層トピックや第２層トピックなどのグループに分類することができ、その後、
各層での出現に応じて重み付けされる。これらの重みは、その後トピックの最終
リストで考慮される。この技術は、類似のトピックを考慮し、トピックの全体的
な質を向上させるのに役立つことができる。例えば、階層投票前の一致する概念で得点によって分類されたそれらのトピッ
クと関連性得点とを有するもののリストは、表ＶＩＩＩのようになってもよい。

【００５２】これらのトピックの関連性得点を、最初に階層１によってＣｕｍＴ１を与え、
次に階層２によってＣｕｍＴ２を与え、次に階層３によってＣｕｍＴ３を与える
ように累積すると（この例では３層階層のみを仮定する）、トピックリストは、
表ＩＸのようになる。このリストは、その後、最初に階層１、次に階層２、更に次に階層３によって
最も高い得点から最も低い得点へ分類されて表１０を与える。

【００５３】これは、関連性によって分類された最も関連するトピックの最終リストであろ
う。このトピック最終リストは、以下のように階層的に表されてもよい。運輸法海上輸送及び船積み船体の安全運搬会社の責任及び義務料金制定車両輸送及び出荷交通規則州間商業規定外国商業規定海事法積荷の保護及び管理責任免除責任非積荷責任死亡訴訟ジョーンズ条例私犯法製品責任過失厳重責任異常に危険な行動代理責任過失雇用及び監督破産法資産の使用、販売、又は、賃貸借

【００５４】無関係トピックを更に削除するために、更に他の（オプションの）技術を使用
することができる。例えば、トピックの関連性得点が所定の閾値を下回る場合、
又は、最も関連する法律概念の間でトピックが出現する回数が閾値を下回る場合
、そのトピックを削除することができるであろう。上記の通り本発明の方法が説明されたところで、本発明はまた、法律概念の分
類を行なうための装置（特に、プログラム可能コンピュータ）を含む。更に、本
発明は、具体的には本方法を組み込むコンピュータ読込可能コードを記憶し得る
コンピュータ読込可能メモリである製品を含み、そのため、そのコードがコンピ
ュータと共に使用される場合、コンピュータは、訓練及び分類処理を実行するこ
とができる。

【００５５】前述の方法を実行するために本発明が想定する装置の非限定的で例証的な実施
例は、上記で説明されて図１に示されており、それは、コンピュータ又は他のプ
ログラム可能装置であって、その作動がコンピュータプログラム又は他のソフト
ウエアによって命令される。非限定的で例証的な製品（実行可能コードを有する記憶媒体）は、メモリ１０
３（図１）、他の磁気ディスク、光ディスク、「フロッピー（登録商標）」ディ
スケット、ＺＩＰディスク、又は、他の磁気ディスケットや磁気テープなどを含
んでもよい。各々は、コンピュータによって使用される場合にコンピュータに特
定の方法で機能するように命令するのに使用することができるコンピュータ読込
可能メモリを構成する。

【００５６】当業者は、本発明の方法の上記の説明が与えられると、概念分類のための装置
のほかコンピュータと共に使用される場合に概念分類を実行できるコンピュータ
読込可能メモリ製品を作成及び使用するために、ハードウエア、オペレーティン
グシステム及びソフトウエア用プラットフォーム、プログラム言語、及び、記憶
媒体に関する知識を使用することが容易に可能である。すなわち、本発明の範囲
には、その方法自体だけでなく装置及び製品も含まれる。

【００５７】上記の開示の観点から当業者により理解されるように、本発明の上記の実施形
態の変更及び変形が可能である。例えば、システム及び方法が実行される特定の
ハードウエア、必要なプログラム言語及びデータ書式、オプションとされた段階
の包含又は除外、分類される概念の性質、使用される特定のトピック体系、及び
、実装の他の詳細については、本発明の範囲内にある間は変更することができる
。従って、本発明は、添付請求項及びそれらの同等事項の範囲内で、具体的に説
明されたもの以外の方法によって実施されてもよいことを理解されたい。

【００５８】（表Ｉ）

【００５９】（表ＩＩ）

【００６０】（表ＩＩＩ）

【００６１】（表ＩＶ）

【００６２】（表Ｖ）

【００６３】（表ＶＩ）

【００６４】（表ＶＩＩ）

【００６５】（表ＶＩＩＩ）

【００６６】（表ＩＸ）

【００６７】（表Ｘ）

【００６８】付録付録Ａ：法律概念付録Ｂ：階層的法律トピック体系付録Ｃ：ストップワードリスト付録Ｄ：法律の言い回しリスト以下の付録の内容に関しては、本明細書の冒頭にある著作権の注意を参照され
たい。

【００６９】付録Ａ例示的「法律概念」（法律的観点、その他）以下に列挙された概念は、階層的法律トピック体系による各々の法律トピック
である。１．民事訴訟手続き−差し止め命令−終局差し止め命令民事訴訟手続き−控訴−再審理の基準−裁量権の濫用差し止め命令の許可又は拒否は、完全に予審法廷の裁量権の範囲であり、よっ
て、再審法廷は、裁量権の明確な濫用の証拠のない予審法廷の判決を侵害しては
ならない。裁量権の濫用は、判決の過ち以上のものが関わってくる。裁量権の濫
用は、法廷側の不合理で非良心的又は独断的な姿勢である。２．民事訴訟手続き−控訴−再審理の基準−裁量権の濫用再審法廷は、予審裁判官の調査結果が正確であると推定しなければならず、そ
れは、予審裁判官は、証人を見て、その物腰、態度、及び、声の抑揚を観察し、
これらの観察をその証人の信頼性を評価する上で役立てることが最も良くできる
からである。３．契約法−対価−相互債務実施可能になる契約に関しては、対価によって支援される必要がある。４．労働及び雇用法−自由雇用雇用主は、自由な雇い人の雇用を継続することを法的に要求されないので、継
続された雇用は、契約が競争しないことに対する対価である。５．労働及び雇用法−企業秘密及び不当競争−非競争契約雇い人が雇用の終止に対して雇い人の以前の雇用主と競争することを制限する
契約は、それが雇用主の保護に必要とされるものより大きくなく、雇い人に過度
の苦難を強いるものでなく、社会に対して有害なものでない場合に、妥当なもの
である。妥当な契約のみが実施されることになる。

【００７０】付録Ｂ例示的「階層的法律トピック体系」からの段落海事法調停破産積荷証券積荷保護及び管理当然の注意共同海損責任責任免除責任の限界用船契約寄付及び補償金保険司法権サルベージ法担保権及び担保過失及び不耐航性非積荷責任死亡訴訟ジョーンズ条例沿岸及び港湾労働者の賠償条例刑罰及び罰金反トラスト及び取引規制シャーマン条例クレイトン条例ロビンソン−パットマン条例連邦通商委員会条例市場定義取引及び価格固定の制限独占的又は互恵取引水平的市場割り当て取引に対する水平的拒否水平的制限それ自体の法則及び条理の法則抱き合わせ販売垂直的価格制限・・・「以下の項目、意図的に省略」

【００７１】付録Ｃ例示的「ストップワードリスト」から抜粋Ａ（１つの）ＡＢＬＥ（可能な）ＡＢＯＵＴ（について）ＡＢＯＶＥ（の上に）ＡＣＣＯＲＤＩＮＧ（に従って）ＡＣＲＯＳＳ（に亘って）ＡＦＴＥＲ（の後に）ＡＧＡＩＮ（再び）ＡＧＡＩＮＳＴ（に対して）ＡＧＯ（前に）ＡＬＬ（全て）ＡＬＬＯＷ（許可する）ＡＬＬＯＷＥＤ（許可された）ＡＬＬＯＷＩＮＧ（許可の）ＡＬＬＯＷＳ（許可する）ＡＬＭＯＳＴ（ほとんど）ＡＬＯＮＥ（ひとりで）ＡＬＯＮＧ（に沿って）ＡＬＲＥＡＤＹ（すでに）ＡＬＳＯ（もまた）ＡＬＴＨＯＵＧＨ（であるけれども）ＡＬＷＡＹＳ（いつも）・・・「この部分の項目、意図的に省略」ＷＨＡＴＥＶＥＲ（するものは何でも）ＷＨＥＮ（いつ）ＷＨＥＲＥ（どこに）ＷＨＥＴＨＥＲ（かどうか）ＷＨＩＣＨ（どちら）ＷＨＩＬＥ（する間）ＷＨＯ（誰が）ＷＨＯＬＥ（全体の）ＷＨＯＳＥ（誰の）ＷＨＹ（なぜ）ＷＩＬＬ（だろう）ＷＩＴＨ（とともに）ＷＩＴＨＩＮ（以内に）ＷＩＴＨＯＵＴ（なしに）ＷＯＮ（勝った）ＷＯＵＬＤ（であろう）ＷＯＵＬＤＮＹＥＳＴＥＲＤＡＹ（昨日）ＹＥＴ（まだ）ＹＯＵ（あなた）ＹＯＵＲ（あなたの）ＹＯＵＲＳ（あなたのもの）ＹＯＵＲＳＥＬＦ（あなた自身）

【００７２】付録Ｄ例示的「法律の言い回しリスト」から抜粋第１４修正案第４版第５版第６版第８版排除条例教唆者法令異常な性的趣味集合の要素の不在証拠不在絶対法廷絶対裁量権絶対離婚絶対義務絶対平等絶対免除絶対優先権規則絶対特権絶対権利絶対資格棄権原則要約本裁量権濫用基準損害に従って損害条項価格に従って従価税追加証拠追加事実追加専断的忌避追加処罰追加容疑者妥当な対価妥当な通知妥当な記録妥当な補償・・・「この部分の項目、意図的に省略」地域分割上訴地域分割判決例地域分割訴訟地域分割授権法地域分割法地域分割規制

【図面の簡単な説明】

【図１】本発明の分類システム及び方法を実施し得る例示的なハードウエア構成を示す
図である。

【図２】訓練処理２００及び分類処理２１０のほか、その処理で使用される知識ベース
２０１、トピック体系２０２、及び、例示的リスト２０３及び２０４を概略的に
示す上位レベルの流れ図である。

【図３】例示的な訓練処理２００（図２）を示す流れ図である。

【図４】例示的な法律概念抽出段階（図３の３０１、及び、図７の７０１）の詳細を示
す流れ図である。

【図５】例示的な特徴抽出段階（図３の３０２、及び、図７の７０２）の詳細を示す流
れ図である。

【図６】例示的な知識構築段階３０３（図３）の詳細を表す流れ図である。

【図７】分類処理２１０（図２）の例示的実施形態を示す流れ図である。

【図８】例示的な概念分類段階７０３（図７）の詳細を表す流れ図である。

【図９】関連性得点により訓練概念を評価する例示的処理８０１（図８）の詳細を示す
流れ図である。

【図１０】関連性を有するトピックのリストを生成するために投票する例示的処理８０２
（図８）の詳細を示す流れ図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者モアロックジョンティアメリカ合衆国オハイオ州 45434 ビーヴァークリークホームウェイドライヴ 2925 (72)発明者ハンフリティモシーエルアメリカ合衆国オハイオ州 45429 ケッターリングノースクレアリッジドライヴ 532 (72)発明者ルエックスアレンアメリカ合衆国オハイオ州 45066 スプリングボローブルックサイドドライヴ 320 (72)発明者ペックジェイムスエムアメリカ合衆国オハイオ州 45066 デイトンウッドウィックコート 9510 (72)発明者アーメドサラフディンアメリカ合衆国カリフォルニア州 92117 サンディエゴビードネルウェイ 6750 アパートメント 47 Ｆターム(参考） 5B075 ND03 NK32 NS01 PP24 PR04 QP01 UU06 5B091 AA15 CC04 CC15 CC16 EA01

Claims

【特許請求の範囲】

【請求項１】法律トピック分類システムのための知識ベースを構築する、
コンピュータで実施する方法であって、複数の訓練用文書を入力する段階と、分類された法律概念を抽出するために前記複数の訓練用文書を構文解析する段
階と、前記法律概念から特徴を抽出する段階と、各特徴に対する関連性得点を生成する段階と、逆索引を使用して、特徴、トピック、及び、関連性得点を知識ベースに記憶す
る段階と、を含むことを特徴とする方法。
【請求項２】前記構文解析の段階は、段落毎にテキストを分割する段階と、法律概念毎に前記テキストを分割する段階と、を含むことを特徴とする請求項１に記載の方法。
【請求項３】前記特徴抽出段階は、ストップワードを除く用語を抽出する段階と、法律の言い回しを抽出する段階と、埋込み判例引用文を抽出する段階と、を含むことを特徴とする請求項１に記載の方法。
【請求項４】前記関連性得点生成段階は、特徴を用語に変換する段階と、各訓練概念に対して、各用語の用語頻度（ＴＦ）をその用語がその訓練概念に
出現する回数として生成する段階と、各訓練概念に対して、各用語の文書頻度（ＤＦ）を用語が出現する訓練概念の
総数として生成する段階と、各用語の逆文書頻度（ＩＤＦ）を生成する段階と、各概念に対して各用語の関連性得点を生成する段階と、を含むことを特徴とする請求項１に記載の方法。
【請求項５】法律トピック分類システムのための知識ベースを構築するコ
ンピュータで実施する方法であって、各概念に対して顕著な特徴を判断するために、予め分類された法律概念を解析
する段階と、各訓練概念の各特徴に対するの関連性得点を生成する段階と、逆索引を使用して、特徴、トピック、及び、関連性得点を知識ベースに記憶す
る段階と、を含むことを特徴とする方法。
【請求項６】前記関連性得点生成段階は、特徴を用語に変換する段階と、各訓練概念に対して、各用語の用語頻度（ＴＦ）をその訓練概念にその用語が
出現する回数として生成する段階と、各訓練概念に対して、用語の平均用語頻度を生成する段階と、各訓練概念に対して、各用語の文書頻度（ＤＦ）を用語が出現する訓練概念の
総数として生成する段階と、知識ベースの訓練概念の総数としてＤＢＳＩＺＥを決める段階と、各用語の逆文書頻度（ＩＤＦ）を生成する段階と、各概念に対して各用語の関連性得点を生成する段階と、を含むことを特徴とする請求項５に記載の方法。
【請求項７】前記ＩＤＦ生成段階は、ｌｏｇ（（ＤＢＳＩＺＥ−ＤＦ＋０
．５）／（ＤＦ＋．０５））という公式を使って実行されることを特徴とする請
求項６に記載の方法。
【請求項８】トピック体系から入力概念に関連する１つ又はそれ以上のト
ピックのリストを準備するために、文書テキストからの入力概念を処理するコン
ピュータで実施する方法であって、顕著な特徴のセットに到達するために入力概念を解析する段階と、候補の概念特徴を候補用語に変換する段階と、特徴に関して前記入力概念と類似する概念について、トピック体系に従って予
め分類された概念データベースを調べる段階と、関連性得点に基づいて前記類似概念を評価する段階と、前記入力概念に関連するトピックのリストを形成するために、前記データベー
ス内の前記概念に結び付くトピックについて投票する段階と、を含むことを特徴とする方法。
【請求項９】前記評価段階は、各訓練概念に対して、知識ベースから全ての候補用語の関連性得点を検索する
段階と、各訓練概念に対する総関連性得点を、その概念の候補用語関連性得点の合計と
して計算する段階と、訓練概念を総関連性得点によって分類する段階と、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】前記評価段階は、前記検索段階の前に、候補用語を用語が出現する知識ベース訓練概念の回数として各用語の文書頻度
（ＤＦ）によって分類する段階と、候補用語リストを最少の共通用語に縮小する段階と、を更に含むことを特徴とする請求項９に記載の方法。
【請求項１１】前記投票段階は、知識ベースから各訓練概念に関連するトピックを検索する段階と、訓練概念及び得点を関連トピックによってグループに分類する段階と、各トピックの総トピック関連性得点を各トピックの訓練概念得点の合計として
計算する段階と、トピックリストを作成するために、トピックを総トピック関連性得点によって
分類する段階と、を含むことを特徴とする請求項８に記載の方法。
【請求項１２】階層的トピック体系内に、階層によってトピックをグループに分類する段階と、各階層のトピックの出現数に従って前記トピックリストに重み付けする段階と
、前記重み付けされたトピックリストを使って最終トピックリストを生成する段
階と、階層によって前記最終トピックリストを分類する段階と、を更に含むことを特徴とする請求項１１に記載の方法。
【請求項１３】前記分類段階は、各総トピック関連性得点を閾値と比較し
て、前記閾値よりも少ない総トピック関連性得点を有するトピックを前記トピッ
クリストから除外する段階を含むことを特徴とする請求項１１に記載の方法。
【請求項１４】前記分類段階は、各トピックが出現する回数を判断する段階と、前記回数を閾値と比較する段階と、前記閾値より少ない出現回数を有するトピックを前記トピックリストから除外
する段階と、を含むことを特徴とする請求項１１に記載の方法。
【請求項１５】複数の訓練概念を組み込んだトピック体系から入力概念に
関連する１つ又はそれ以上のトピックのリストを準備するために、文書テキスト
からの入力概念を処理する、コンピュータで実施する方法であって、トピック体系に従って予め分類されて得点を付けられた訓練概念に結び付くト
ピックを知識ベースから検索する段階と、関連性を有するトピックによって訓練概念及び得点をグループに分類する段階
と、各トピックに対する総トピック関連性得点を各トピックの訓練概念得点の合計
として計算する段階と、入力概念に関連するトピックリストを作成するために、トピックを総トピック
関連性得点によって分類する段階と、を含むことを特徴とする方法。
【請求項１６】階層的トピック体系内に、階層によってトピックをグループに分類する段階と、各階層のトピックの出現回数に従って前記トピックリストに重み付けする段階
と、前記重み付けされたトピックリストを使って最終トピックリストを生成する段
階と、階層によって前記最終トピックリストを分類する段階と、を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１７】複数の訓練概念を組み込んだ知識ベース内で入力概念に類
似の概念を識別してこれらの類似概念を評価するために、文書テキストからの入
力概念を処理する、コンピュータで実施する方法であって、入力概念の特徴を候補用語として識別する段階と、前記入力概念に類似の訓練概念に対する関連性得点を知識ベースから検索する
段階と、検索された各訓練概念に対する総関連性得点をその概念の候補用語関連性得点
の合計として計算する段階と、検索された訓練概念を総関連性得点によって分類する段階と、を含むことを特徴とする方法。
【請求項１８】予め分類された訓練概念内の特徴を識別してこれらの特徴
に対する関連性得点を生成することにより、法律トピック分類システムのための
知識ベースを構築する、コンピュータで実施する方法であって、特徴を用語に変換する段階と、各訓練概念に対して、各用語の用語頻度（ＴＦ）をその訓練概念におけるその
用語の出現数として生成する段階と、各訓練概念に対して、用語の平均用語頻度（ＡＶＥ_-ＴＦ）を生成する段階と
、各訓練概念に対して、各用語の文書頻度（ＤＦ）を用語が出現する訓練概念の
総数として生成する段階と、知識ベースにおける訓練概念の総数として訓練セットＤＢＳＩＺＥを決める段
階と、各用語の逆文書頻度（ＩＤＦ）を生成する段階と、各概念に対して各用語の関連性得点を生成する段階と、を含むことを特徴とする方法。
【請求項１９】現在の概念の長さｄｏｃｌｅｎｇｔｈが、セット内の概念
の平均長さａｖｅＤｏｃＬｅｎｇｔｈよりも大きい場合、前記関連性得点は、【数１】とすると、ＴＦｗｔ×ＩＤＦという公式を用いて計算されることを特徴とする請
求項１８に記載の方法。
【請求項２０】現在の概念の長さｄｏｃｌｅｎｇｔｈが、セット内の概念の平均長さａｖｅＤｏｃＬｅｎｇｔｈよりも小さいか又は等しい場合、前記関
連性得点は、【数２】とすると、ＴＦｗｔ×ＩＤＦという公式を用いて計算されることを特徴とする請
求項１８に記載の方法。