JP2022547750A - クロスドキュメントインテリジェントオーサリングおよび処理アシスタント - Google Patents

Abstract

機械学習、人工知能、および他のコンピュータ実装方法を使用して、ドキュメント内の様々な意味的に重要なチャンクを識別し、それらに適切なデータタイプおよびセマンティックロールを自動的にラベル付けし、この強化された情報を使用して、著者を支援し、ダウンストリームプロセスをサポートする。チャンクの場所、データタイプ、およびセマンティックロールは、しばしば、「コンテキスト」と呼ばれる、すなわち、それらのフォーマット、構造、およびコンテンツの組み合わせ、隣接または近くのコンテンツのもの、ドキュメント内の全体的な発生のパターンおよび全体にわたるすべてのこれらの事柄の類似性（主に、しかし排他的ではない、同じドキュメントセット内のドキュメント間で）から、自動的に決定できる。類似性は、正確または曖昧な文字列または特性の比較に限定されないが、自然言語文法構造の類似性、単語、チャンク、および他の埋め込みの類似性を測定するようなＭＬ（機械学習）技術、ならびに以前に識別されたチャンクのデータタイプおよびセマンティックロールを含み得る。

Description

本開示は、概して、階層的に意味的にラベル付けされたドキュメントのＡＩ自己管理作成のための、および／またはそのようなドキュメントの支援されたオーサリングおよび処理のための方法および装置に関する。

関連出願の相互参照
本出願は、２０１９年９月１６日に出願された米国仮特許出願第６２／９００，７９３号「Ｃｒｏｓｓ－Ｄｏｃｕｍｅｎｔ Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｈｏｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｉｓｔａｎｔ」に対する３５ＵＳＣ§１１９（ｅ）の優先権を主張する。前述の全ての主題は、参照によりその全体が本明細書に組み込まれる。

関係技術の説明
多くの企業は、毎回カスタマイズされているにもかかわらず、非常に類似した複数のドキュメントを作成している。例えば、保険事務所は特定の種類の保険について多くの提案をし得るが、それぞれを特定の顧客のニーズに合わせて調整しなければならない。これらのドキュメントは、類似のテキスト（場合によっては画像）コンテンツ（類似の目的およびトピックを反映する）、セクションなどの大単位の類似の選択および配置、および多くの場合、類似の幾何学的レイアウトおよびフォーマット特性を有するため、同じ「タイプ」であると見なすことができる。

いくつかのタイプのドキュメントは広く知られ使用されているが、多くはそうではない。多くは特定のビジネス、マーケット、またはアプリケーションに固有のものであり、新しい状況に合わせて新しいものが作成される。「著者」または「編集者」と呼ばれ得るユーザは、一般的に、特定のタイプの新しいドキュメント（時に「ターゲットドキュメント」と呼ばれる）を、同じタイプの以前のドキュメントをコピーし、必要に応じて変更すること、例えば、特定のコンテンツのチャンクを手動で編集または置き換えること、によって作成する。

現在の慣行では、ワードプロセッシングは、通常、フォーマットを達成するために必要な場合にのみチャンクを識別し、例えば、見出し、脚注、および図は、特別なフォーマットを取得するために明示的にマークされ得るが、名前、アドレス、または日付は明示的にマークされることはほとんどない。識別された場合でさえ、チャンクは一般的に、有用な情報であるフォーマット効果（マージン、フォントなど）にのみ関連付けられるが、これらのデータタイプまたはセマンティックロールのいずれかの表示は直接提供されない。同様に、ワードプロセッサは、多くの場合、階層的な格納を視覚的にのみ表現し、多くの場合、ネストされたセクション自体の明示的な表現はなく、異なるフォーマットの見出しのみである。

以前のドキュメントと同じ一般的な種類の新しいドキュメントを作成する場合、多くのケースで、作業の大部分は特定のチャンクのテキスト編集、置き換え、削除、または挿入であり、異なるセマンティックロール（買い手および売り手のアドレスの入れ替えなど）を持つものを混同しないように注意される。これは典型的には、オーサリングシステムは通常、これらのチャンク、特にデータタイプまたはセマンティックロールを何も知らず、非常に効果的に役立つことができないため、人間の介入を必要とする。

いくつかの単純なケースでは、特定のチャンクのコンテンツを埋めるための明示的な位置を提供する、「フォーム」および「テンプレート」が使用され得る。しかし、フォームは、典型的には、実質的にすべての必要なチャンクが事前に列挙することができ、大規模な、反復可能な、または高度に構造化されたチャンクがほとんど存在しない、単純なケースにのみ対処する。また、フォームの作成には熟練した努力が必要であり、状況の変化に適応することは困難であり、ライターを積極的に支援しない。

本特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含む。この特許または特許出願の出版物とカラー図面のコピーは、要求と必要な料金の支払いに応じて、官庁から提供される。

本開示の実施形態は、添付の図面の実施例と併せると、以下の詳細な説明および添付の特許請求の範囲からより容易に明らかになる他の利点および特徴を有する。

図１は、機械学習および人工知能を使用して階層的に意味的にラベル付けされたドキュメントを作成するためのシステムおよびプロセスの１つの実装のブロック図である。 図２は、図１のシステムを通じて異なるドキュメントセットの処理を追跡するダッシュボードを示すスクリーンショットである。 図３は、ユーザからのフィードバックを受信するためのユーザインターフェースのスクリーンショットである。 図４は、他のソフトウェアアプリケーションとの統合のスクリーンショットである。 図５は、本発明と共に使用され得るコンピュータシステムの一実施形態のブロック図である。

好適な実施形態の詳細な説明
概要
同じタイプであると決定されたドキュメントのグループは、「ドキュメントセット」または「ドキュメントクラスタ」を構成する。例えば、保険会社の特定のクラスの顧客への特定の種類の保険の提案は、同じタイプと見なされ、ドキュメントセットを形成し得る。同じ会社の異なる種類の保険の提案、または彼らが異なると考える顧客への提案は、異なるドキュメントセットに属する異なるタイプと見なされ得る。レンタル契約書、特定の種類の患者の臨床メモ、販売提案書、スケジュール書、会議議事録などは、コンテンツ、構造、および／またはレイアウトの特徴的なパターンを共有するサブタイプと同様に、他の潜在的なタイプのドキュメントである。

ドキュメントセット内の新しいターゲットドキュメントの作成および編集は、非常に多くの場合、「意味的に重要」である「チャンク」の編集または置き換えを伴い、そのようなチャンクは、典型的には、必ずしも連続したテキストのスパンではなく、特定のデータタイプおよびセマンティックロールを有し、ビジネスまたは他のプロセスにとって意味および意義を有するドキュメントの特定の部分である。

これらのチャンクはさまざまなデータタイプであり、多くのコンピュータシステムにおいて極小のデータタイプよりも細かい。例えば、所与のチャンクは、単に文字列だけでなく、個人または組織名、日付、期間（日付と全く同じものではない）、通貨額を表し得る。より大きなチャンクは、薬物または他の物質のリスト、旅程表、従うべき手順、医療処方などの情報のバンドル、および無数のものを含むことができる。

さらに、チャンクは、それらが発生するドキュメントに関連してセマンティックロールを有し得る。例えば、個人名は、賃貸借契約書の「テナント」、もしくは販売提案書の「売り手」、または別の人の「代理人」とすることができる。日付は、一部の責任または活動の開始または終了を表すことができる。ドルの金額は、定期的な支払い金額、または特定の条件に関連するペナルティまたはボーナスなどとすることができる。このようなセマンティックロールは、チャンク内の情報の適切な使用を実行するのに重要である。セマンティックロールの名前は、「セマンティックロールラベル」または単に「ラベル」と呼ばれる。

チャンクは、典型的には、その位置、データタイプ、セマンティックロール、および／または他のデータ／メタデータを含むバンドルとして表される。位置は、一般に開始および終了点として表され、挿入されたマーカまたはバイト、文字、またはトークンオフセット（ドキュメントに対してグローバルである、または確立されたＩＤ、マーカ、または他のオブジェクトに対して相対的であるかのいずれか）など、いくつかの方法で表すことができる。セマンティックロールは、ラベルまたはその他の識別子で表される。チャンクは、任意のサイズとすることができ、一部は、「サブチャンク」として他のチャンクを含むことができる。チャンクは、テキストだけでなく、画像または他のメディアなどの非テキストデータ、および表、リスト、セクションなどの「構造」も含むことができる。

本明細書に開示される技術は、機械学習、人工知能、および他のコンピュータ実装方法を使用して、ドキュメント内の様々な意味的に重要なチャンクを識別し、それらに適切なデータタイプおよびセマンティックロールを自動的に提供し、この強化された情報を使用して、著者を支援し、ダウンストリームプロセスをサポートする。チャンクの位置、データタイプ、およびセマンティックロールは、しばしば、「コンテキスト」と呼ばれる、すなわち、それらのフォーマット、構造、およびコンテンツの組み合わせ、隣接または近くのコンテンツのもの、ドキュメント内の全体的な発生のパターンおよびドキュメント全体にわたるすべてのこれらの事柄の類似性（主に、しかし排他的ではない、同じドキュメントセット内のドキュメント間で）から、自動的に決定できる。「近くのコンテンツ」は、テキストの読み取りシーケンスにおける先行および後続などの水平に近いコンテンツを含むが、また、それらのそれぞれのマーカ、見出し、レベルなどと共に、リストおよびセクションのような同じコンテナ構造内のような垂直に近いコンテンツを含む。類似性は、正確または曖昧な文字列または特性の比較に限定されないが、自然言語文法構造の類似性、単語、チャンク、および他の埋め込みの類似性を測定するようなＭＬ（機械学習）技術、ならびに以前に識別されたチャンクのデータタイプおよびセマンティックロールを含み得る。

例えば、個人または組織名は、ドキュメントがそう述べているため、「売り手」などのセマンティックロールを有すように一般的に識別でき、いくつかの人間の言語においてセンテンスを使用することが非常に多いが、しばしばより大きなコンテキストも含んでいる。別の例では、１つまたは複数の単語を、多くの場合、「薬剤名」などのデータタイプを表すものとして容易に識別できるが、コンテキストは、それが処方ではなくアレルギーのセマンティックロールを担うことを決定するために必要である。多くの場合、セマンティックロールの重要な証拠は同じセンテンスではなく、より大きなチャンク（「既知のアレルギー」セクションなど）で発生するチャンクなどの様々な他の方法において表現される。文法のおよびドキュメント構造の構成の柔軟性および多様性（誤字脱字、転写エラーなどは言うまでもなく）は、データタイプの識別のより難しくしないが、セマンティックロール、特に単一のセンテンスよりも大きな範囲を持つもの、を識別することは非常に難しくなる。

所与のセマンティックロールはチャンクを、ドキュメント全体、または他のチャンクに関係させ得る。例えば、飛行機の出発時間は、旅程内の特定の「脚（ｌｅｇ）」に結び付けられ、他には間接的にのみ関連する。一般的に、チャンクの階層構造は、セクション内の併設、テーブルパーツなど、そのような項目を適切にグループ化する。

より詳細には、意味的に重要なチャンクの例は、契約の特定の当事者の名前、住所、および他の特徴、処方された薬物および医療記録における禁止された手順、不動産提案における要件（または除外）、旅程における日付およびフライト番号などを含む。これらはすべて、チャンクのセマンティックロールとみなすことができる。また、セクション全体およびサブセクションなど、さまざまなタイプおよび役割を持つより大きなチャンクがある。これらはしばしば全体として挿入または除去され、おそらく内部のより小さなチャンクの変化も伴う。チャンクは階層的であり得、すなわち、より大きな「含有する」チャンクは、任意の数のレベルまで他の「サブチャンク」を含み得る。

チャンクとは、一般に、「ジョン・ドゥ」などのドキュメント内の連続した一連の単語である。しかし、チャンクは部分的な単語を含み得る。「ジョン・ドゥの家」は名前を含むが、名前はアポストロフィの前（単語の途中）で終わる。チャンクは不連続であることさえでき、例えば、「ジョン（「ビル」とも呼ばれる）ドゥ」の同じ名前である。レイアウトはまた、チャンクを不連続とさせることができ、例えば、チャンクの途中（おそらく、ページヘッダ、フッタ、または脚注があり、目的によっては無視され得る）でページ分割が発生でき、介在する図、テーブル、チャート、サイドバー、またはその他の表示など。

チャンクの実際の位置およびコンテキストはまた重要であり得、チャンクは単なる孤立した文字列ではなく、異なるインスタンスに対して異なる（または全くない）セマンティックロールで何度も発生し得る。より現代的なシステムは通常、様々なラベルおよび他の情報をチャンクに持続的に関連付けることができる、「注釈」と呼ばれることもある、インラインまたはスタンドオフマークアップをサポートする。例えば、ＨＴＭＬは、一般的な構造チャンク（「ｄｉｖ」、「ｏｌ」など）の境界を手動でラベル付けするためのタグ、および（典型的に）より小さいチャンク（「頭文字」、「ｋｂｄ」、「ｄｆｎ」、「ｃｉｔｅ」など）のいくつかの広範なタイプまたは役割を提供する。他のＸＭＬスキーマは、多くの他のラベルを提供し、ワードプロセッサは、「スタイル」を介してある程度類似したラベル付けを可能にする。

いくつかのチャンクは、一般に「フィールド」と呼ばれるものを表し得る。これらはしばしば小さなチャンクであり、しばしば所与のセット内の多くのまたはすべてのドキュメント内の同様のコンテキストおよびレイアウトにおいて発生するが、通常はそれぞれに異なるテキストコンテンツである。これは、また、同じまたは非常に類似したコンテンツを持つ単一のドキュメントにおいて、複数回発生し得る。そのようなチャンクは「フィールドチャンク」と呼ばれ得る。これらはしばしば手動で発見され、テンプレートベースのシステムで「フィールド」として扱われるが、ここでは、これらはドキュメント内およびわたってコンテキストおよび発生のパターンによって発見され、他のチャンクとほぼ同じやり方でデータタイプおよびセマンティックロールが割り当てられる。これらは、個人名、住所、日付などの名前付きエンティティを表してもよく、そうでなくてもよい。

別の一般的なタイプのチャンクは、「構造」または「構造的」チャンクと呼ばれ得る。そのようなチャンクは、典型的には、より大きく、しばしば多くの他のチャンク（その一部は構造チャンクでもあり得る）を含む。それらは、頻繁に、名前、番号、説明、および／または構造チャンクに関する他の情報を提供する「タイトル」または「見出し」を有する。構造チャンクの例は、チャプター、セクション、テーブル、図、サイドバー、およびより多くのものを含む。構造チャンクのタイプおよびセマンティックロールは、しばしば、近くのまたは含まれるチャンクのタイプおよびセマンティックロールを決定するために重要である。

データタイプだけでなく、特定のセマンティックロールもドキュメントを適切に作成して活用するために重要である。特定の名前が売り手に対して買い手を、または医師に対して患者を表すかどうか、所与の日付が要件の開始日または終了日であるかどうか、またはフライトの出発対到着時刻であるかどうか、数値が元本、利息、投薬量、温度、ペナルティ、またはその他の何かを指定するかどうか、は非常に重要である。より大きなチャンクの場合、役割は、「責任の制限」ステートメント対「準拠法」仕様対「定義」、そして無数の他のものを含む。チャンクのセマンティックロールは、しばしば特定のドメインまたはトランザクションに固有であり、おそらくドキュメントの最も重要な機能の一つである。多くの種類のドキュメントでは、特定のデータタイプとセマンティックロールを持つチャンクが必要である、または少なくとも非常に一般的であり、チャンクはドキュメント全体に対応するときに「カウンターパート」と呼ばれる。カウンターパートチャンクは、特に同じ著者または組織によるドキュメント、および通常は同じドキュメントセットに対して、同様の順序およびパターンで発生し得る。カウンターパートチャンクは、同じまたは非常に類似した役割を有し、一般に、類似したコンテキストおよび／またはフォーマットを有する。したがって、チャンクのデータタイプおよびセマンティックロールの分布は、ドキュメントのタイプを区別するための貴重な情報を提供し、ならびに、他のドキュメントのカウンターパートチャンクを識別するのに役立つ。

多くのカウンターパートチャンクは同様のコンテンツを有するが、そうではない他のものもある。例えば、異なるドキュメント内の同じ当事者（セマンティックロール）は、通常は別の個人であるが、非常に似たコンテキストおよび使用のパターン内に現れる。これは、「フィールドチャンク」で特に一般的であり得るが、これに限定されない。

発見されると、ビジネスドキュメント内のデータタイプおよびセマンティックロールを有する階層的セマンティックチャンクが、ダウンストリームビジネスプロセスにおいて使用され得る。例えば、バックオフィスデータベースは、特定の当事者の名前、特定の日付、期間および金利レートなどの数値が与えられた場合、新しい住宅ローンを適切に記録できる。特にこのような用途では、セマンティックロールが非常に重要であり、間違ったデータベースフィールド内へ適切なデータタイプ（売り手と買い手の名前または住所の入れ替えなど）を入力することは、特にダウンストリームのデータベース、プロセス、またはレポートに情報を移動する場合に大きな問題となる。

いくつかの特徴および利点
本明細書に記載の技術は、以下のいずれかを含む様々な特徴および利点を有し得る。

いくつかの実装形態は、ビジネスプロセスに有用なセマンティックラベリングを有する階層的に編成されたチャンクを備えたドキュメントを生成するための、より簡単で、より効率的で、より正確な方法を提供し得る。これは、様々なサイズのそのようなチャンクを識別し、それらがドキュメント内で果たすデータタイプおよびセマンティックロールを発見し、それらの使用のパターン、特徴的なコンテキストなどを学習するために様々な技術を使用して達成され得る。学習は、現在および以前のドキュメントのコンテンツ、構造、およびフォーマットの分析、著者および編集者からのフィードバック、ならびに複数のドキュメント、特に同じドキュメントセット内のものの比較から得られ得る。この知識により、システムは、例えば、より高品質の新しいドキュメントの作成を容易にし、他のソフトウェアアプリケーションで、バックオフィスデータベース内で、派生レポート、コンプライアンスチェックなどのダウンストリームでの使用の所望の情報を抽出するなどの、貴重な支援をユーザに提供できる。そのような学習は、教師なしおよび自己管理学習技術を用いて実行し得、それは、大量の事前ラベル付けされたまたは事前分析されたデータを必要とせず、代わりに、ラベル付けされていないまたは最小限にラベル付けされたデータからパターンを推論する。

いくつかの実装形態は、コンピュータが、ビジネスのドキュメント内でおよびわたってパターンを発見および使用して、これらのエラーの多くをライターが回避するのを支援し、したがって、所与のレベルの品質を達成するために必要な時間を削減する、ことによって、書き込みプロセスを支援することを可能にし得る。

今日、典型的なドキュメントシステムは、チャンク、または特にそのデータタイプもしくはセマンティックロールを識別していない。これは、著者および編集者のための、およびドキュメントからデータを、バックエンドのデータベース、ダッシュボード、またはその他のダウンストリームのビジネスプロセスにインポートするための、時間および費用を追加する。例えば、契約から手動で（チャンクごとに）データを検索し、スプレッドシートまたはデータ入力フォーム内にコピーするのが一般的である。

いくつかの実装形態は、オーサリングプロセス中にそのような階層的なセマンティックチャンクをラベル付けし、それらを明示的に表現するのに役立ち得、したがって、それらを人々および／またはコンピュータが抽出し、様々な種類の他のビジネスプロセスに接続する時間および費用を節約することを容易にする。

現在の技術は典型的には、同じライターまたはグループによって作成された、および／または同じタイプ（ここでは、特定のドキュメントセットのメンバーシップによって示されている）の複数のドキュメント間の類似性を十分に活用して、新しいドキュメントのチャンクをより確実に識別する、または重要と思われる差に注意を向けることはしない。「可分性」という見出しのセクションを要求するなどの明示的なルールは、アナリストがすぐに気づき説明する類似点のみをカバーし、静的でしばしば制約があり（例えば、言い換えまたは再編成を伴う欠落のケース、または対抗する条件への対応の失敗）、すぐに時代遅れになる。小規模企業はしばしばより応答性の高い技術を開発するために必要なリソースが不足しており、しばしば費用を正当化するためのドキュメントが少なすぎる。一方、より小規模な企業はしばしば、多様性の少ない範囲のドキュメントを有し、本明細書に記載されているような自動化された分析により適している。

いくつかの実装形態は、チャンクに関する抽出された情報と、それらのコンテンツ、コンテキスト、レイアウト、およびドキュメントにわたる使用のパターンを用いて、ライターが新しいドキュメントを作成するのを支援し得る。例には、少なくとも、変更、再フォーマット、または移動する特定のコンテンツ、同様のドキュメントに一般的に存在するものの、新しいドキュメントに欠落している句（「欠落している」または「省略されている可能性がある」チャンクまたはコンテンツと呼ばれる）、同様のドキュメントには一般的に存在しないものの存在する句（「普通ではない」チャンクまたはコンテンツと呼ばれる）、特定の場所での異なる当事者の名前または役割の交換などの変更などの提案が含まれる。

いくつかの実装形態は、ユーザが、チャンクが誤った範囲、データタイプ、またはセマンティックロールでラベル付けされていること、それらに関心がないこと、またはラベル付けに全く失敗していることを示す場合などに、ユーザフィードバックを受け入れ、保持し得る。いくつかの実装形態では、特定のユーザ補正を使用して機械学習およびニューラルモデルを改善し、ならびにユーザがそれらを拒否したケースにおいて、以前の提案を繰り返さないことを思い出し得る（追加の学習が特定の間違いのインスタンスを防ぐことに失敗する場合でさえ）。特に、いくつかの実装形態は、必要とされるユーザアクションの量を最小限に抑えるために、少ショット学習技術および要求するフィードバックの慎重な選択を有利にするために、大量のレビューステップまたは補正を必要とすることを回避し得る。いくつかの現在の技術は、例えば、ユーザが辞書に単語を追加するようスペルチェッカーに指示する場合、非常に具体的なことを学習する。しかし、これは、洗練された後の行動を決定するために使用されるモデルの反復トレーニングまたは微調整ではなく、単なる繰り返しのリスト（ｒｏｔｅ ｌｉｓｔ）を含み、したがって、本明細書に記載されるような能力を完全には利用していない。

いくつかの実装形態は、改善されたが依然として不完全なモデルを再び適用するときに、繰り返し提案されることでユーザに不快にさせることを避けながら、少量のユーザ補正を使用して、それらの行動を学習および改善し得る。

多くの企業は、ドキュメントから得られた特定の情報を、そのプロセスをサポートするさまざまな種類のデータベースに記録している。例えば、多くの賃貸物件を所有している会社は、通常、借り手の支払いだけでなく、承認されたペット、借り手が責任を負わない事前の損害、またはその他の情報など、それらの賃貸契約に由来する特定の情報の管理を助けるためにバックエンドシステムを使用する。自動車または工具賃借人、住宅ローン会社、健康管理提供者、地方自治体、および他の組織は、他の情報を使用する。多くの商品およびサービスには多数のミックスアンドマッチオプションがあり、監督者はそれらの承諾、組み合わせ、価格設定、およびその他の要因に関する統計をレビューする。ビジネス情報システムは、一般に、分析を提供し、一貫性またはコンプライアンスを確認し、レポートを導き出し、および／または他のビジネスプロセスをサポートし、これらのすべては、本明細書に記載されているチャンク情報の使用によって促進できる。

一般的に、チャンクおよびそれらが提供する情報は散文テキスト全体に散在し、手動で抽出され、スプレッドシート、データベース、または他のシステムに手動で入力される。以前は、契約書、電子メールなどに書かれている自然な人間の言語の柔軟性、および同様に可変のレイアウトおよび表現規則を理由に、重要なチャンクを無数の様々な方法で表現できるため、手動作業が必要である。このようなドキュメントの基礎となる交渉はまた、多くの場合、電子メール、会話からのメモ、スライドプレゼンテーションなどを含む、複数の種類のドキュメントにわたって散在する。その情報はまた有用であり得るが、通常は手動で対処される。いくつかのシステムは、そのような情報ソースをドキュメントとして扱い、既に説明されている同じ利点を獲得し得る。

いくつかの実装形態は、本明細書に記載されるように変換されて階層的に意味的にラベル付けされたドキュメントになると、特定のドキュメントの実行をコンピュータが開始する手段を提供し得る。ドキュメントの階層的にラベル付けされた構造を、テキストのベクトル－セマンティック表現を提供するツールと組み合わせることにより、特定のチャンクを特定のアクションが必要であると識別できる。例えば、契約は、送金、通知、または他のアクション、およびそれらを有効にするまたはトリガする条件を指定し得る。これらは特定され、契約の実行を開始するために使用できる。

いくつかの実装形態は、「ダッシュボード」などのインターフェース内のドキュメントセットからの情報をレビューおよび要約し、識別された情報を顧客のバックエンドデータベースまたは同様のシステムに移動し、より効率的でより低い価格のビジネスデータの流れを可能にし、品質保証、一貫性、およびレポートを強化するための簡単な方法を提供し得る。チャンクが意味的にラベル付けされると、カウンターパートチャンクを含むドキュメントのセットにわたってサマリーレポートを生成することが容易になる。いくつかの実装形態は、ユーザがそのようなレポートを作成するための非常に簡単な方法を、含まれるべきチャンクの１つまたは複数の例を単にクリックすることによって提供し得る。これは、次いで、セット内のすべてのドキュメントにわたって役割またはコンテキストによって位置付けられるおよび抽出される。いくつかの実装形態はまた、予期されるカウンターパートチャンクを欠くドキュメントを発見し、そのようなチャンクを含むまたは識別するようにそれらを修正するか、またはそれらが正しくそれらを含まないことを確認する際に、ユーザを支援し得る。

別の様態では、企業または部門などの所与のグループのパフォーマンスは、チャンクのセマンティックロール、発生のパターン、ならびにそれらのドキュメントの他の特性およびそれらのユーザのフィードバックなどの情報を、システムの学習プロセスに組み込み、結果として得られた改善されたモデルを使用して、将来のドキュメントを強化および／または確認することによって、強化されることができる。しかし、多くの顧客はそのような情報を他の顧客と共有することを望んでおらず、多くは拘束力のある機密保持要件を有している。一方、公的な非機密ソースから導出された一般的な情報および学習は、自由に使用および共有できる。

いくつかの実装形態は、各顧客のデータおよびそれから導出された任意のモデル情報を各顧客に対して別個かつプライベートに保持しながら、秘密でない公開データに基づく一般的な学習を依然として共有しながら、フィードバックおよび学習の利益を提供し得る。これらのデータプロセスを個別に保持することは、統計的にも、情報がある顧客から別の顧客へ「漏れる」可能性が無いことを確実にする。

例示的な実施形態の紹介
以下は、例示的なシステムの説明である。図１を参照する。このシステムは、概して、階層的に意味的にラベル付けされたドキュメントのＡＩ自己管理作成のための、および／またはそのようなドキュメントの支援されたオーサリングおよび処理のための方法および装置に関する。これは、構成、構造化、注釈付け、変更、レビュー、ドキュメントからデータを抽出、および／またはダウンストリームビジネスプロセスにおいてそのようなデータを使用するなどのプロセスを含む。より具体的には、比較的小さなセットを含むドキュメントのセットにわたって、主に教師なしおよび自己管理機械学習技術を使用して、それらの役割に関連付けられた、多くの意味的に意味のあるチャンクで構成されるドキュメントの詳細な階層構造を発見することにより、以前のドキュメントと同様のドキュメントに、およびビジネスプロセスにおけるそのような高度に強化されたドキュメントの使用に、焦点を当てている。

この例示的なシステムの動作は、以下のプロセスを使用し、これらは以下のセクションでより詳細に説明される。これは単なる例に過ぎない。他の実施態様は、ステップを省略すること、他のステップを追加すること、およびいくつかのステップの順序を変更することを含む、ステップの異なる組み合わせを使用し得る。これらはまた、各ステップの下に記載される技術の異なる組み合わせを含む、以下に列挙されるステップの異なる実装形態を使用し得る。図１において、ステップの前に「Ｓ」があり、以下のステップ１は「Ｓ０１」とラベル付けされている。
１）インポート：ユーザのドキュメントのグループをデータストア１１０にもたらす。
２）編成：ドキュメントを、レンタル対販売契約書、または医療履歴対現在の臨床ノートのような、タイプ別にドキュメントセットに分ける。
３）ビジュアル抽出：そのコンテンツおよびビジュアルレイアウトに少なくとも基づいて、各ドキュメントから線状のテキストストリームを抽出し、これは、個別のテキストおよび他のエリア、その開始および終了の位置、フォーマット、およびコンテンツに関する限られた情報を含む。抽出されたデータは、幾何学的レイアウトによって区別されるパラグラフなどの、「ビジュアルライン」として、または「ビジュアルブロック」（「ハイパーライン」または「ビジュアル」チャンクとも呼ばれる）として編成され得る。
４）構造：ドキュメント内の見出し、リストアイテム、および他の構造チャンクの大マーカなクラスを識別する。
５）再ネスト：セクションおよびリストのネスト関係、およびそれぞれのテキストの範囲を決定する。
６）トピックチャンキング：各ドキュメントのトピックコンテンツを分析し、同様のトピックのエリアを囲むチャンク（トピックレベルのチャンク）を作成する。
７）トピックラベリング：
ｉ）埋め込みおよびクラスタリングを使用して、コーパスの各見出しに対する候補データタイプおよびセマンティックロールラベルを作成する。
ｉｉ）キーフレーズ抽出技術を使用して、チャンクに対する候補データタイプおよびセマンティックロールラベルを作成する。
８）チャンクラベリング：複数の方法、例えば、ニューラルネットワーク、単語および文字の埋め込み、文法分析およびパターンマッチング、正規表現、類似性メトリクス、および／または他の方法を使用して、ドキュメント全体を通して他のチャンクにデータタイプおよびセマンティックロール候補を識別し、割り当てる（おそらく複数）。特定の実施形態に対して特に興味深いのは、以下のことである。
ｉ）結果の構造上の文法解析およびパターンマッチング
ｉｉ）小さなチャンクをドキュメントでそれらが果たす特定のセマンティックロールと結びつけるための質問応答技術の使用
ｉｉｉ）ＸＰａｔｈツリーマッチングと単語埋め込み技術を組み合わせて、言い回しおよび単語の選択が大きく異なる可能性があるにもかかわらず、構造および文法ツリーのパターンをマッチさせる。
９）名前付きエンティティ認識（ＮＥＲ）：ドキュメント全体にわたって名前付きエンティティとして検出されるデータタイプを識別し、チャンクに割り当てる。
１０）役割ラベリング、抽出ラベリング：名前が契約の「売り手」当事者を構成していること、または薬物がアレルギー対処方箋として言及されていることを表すような、セマンティックロールラベルをチャンクに割り当てる。
１１）異常：検討中のドキュメントセットのドキュメントに通常存在する、または存在しないが、現在のドキュメントにはない（またはその逆）、セマンティックロールを特定する。
１２）調停（Ａｒｂｉｔｒａｔｉｏｎ）：チャンクの代替スコープ、データタイプ、およびセマンティックロールラベルを調整および／または選択し、ＸＭＬなどのフォーマットにおいて容易に表現可能な整形された構造を生成する。
１３）ＤＧＭＬ：ドキュメントの強化されたバージョンを作成し、これは、チャンクの位置、データタイプ、およびセマンティックロールラベルの明示的な識別情報、ならびに、場合によっては、それぞれの識別されたチャンクの信頼レベル、類似のチャンクにおいて期待されるデータタイプ（日付、日付範囲、個人名など）などの追加情報も含む。強化されたバージョンは、ＤＧＭＬと呼ばれるＸＭＬベースのマークアップ言語を使用して作成される。
１４）フィードバック：強化されたバージョンをユーザに表示し、チャンク（およびおそらく省略されたチャンクの潜在的な位置）を選択してユーザを表示し、確認、拒否、または他の変更を行うためのユーザの選択を収集する。ユーザはまた、それらの独自の読み取りおよびレビューの順序を自由に選択できる。フィードバックはまた、ステップ（２）で説明されているように、ドキュメントをドキュメントセットの編成など、システムが行った任意の他の解釈に適用できる。
ｉ）おそらく省略されたチャンクのケースでは、他のドキュメントから優先順位付けされた例を提供され、これは、必要に応じて現在のドキュメントを検査および／またはコピーし、より小さなネストされたチャンクにターゲットドキュメント値を適用することによって自動的にカスタマイズできる。
１５）フィードバック応答：これらのインタラクションに対するユーザの応答を追跡し、その情報を使用してモデル１２０を微調整し、ならびに後に同じまたは同様のエラーを繰り返すことを防ぐ。
１６）ダウンストリーム通信、送信：タイプおよび／またはロールごとにチャンクを選択し、それらを使用してドキュメントセットを介してレポートを生成し、および／またはバックエンド契約データベース、規制コンプライアンスチェッカー、管理レポートジェネレーターなどの機能を追加するダウンストリームシステムにそれらをエクスポートする。

図２は、上記のプロセスを通じて、異なるドキュメントセット１から７の処理を追跡するダッシュボードを示すスクリーンショットである。このダッシュボードでは、プロセスは次のステージに分けられる。
・アップロード（Ｕｐｌｏａｄｉｎｇ）
・前処理（Ｐｒｅｐｒｏｃｅｓｓｉｎｇ）
・大きなチャンクをレビュー（Ｒｅｖｉｅｗ Ｌａｒｇｅ Ｃｈｕｎｋｓ）
・小さなチャンクをレビュー（Ｒｅｖｉｅｗ Ｓｍａｌｌ Ｃｈｕｎｋｓ）
・使用する準備ができている（Ｒｅａｄｙ ｔｏ Ｕｓｅ）
カラーコーディングは完了の度合いを示す。緑のステージは完了であり、赤のステージは処理中であり、黒のステージはまだ開始されていない。

上に列挙されたステップのそれぞれは、以下により詳細に説明される。

例示的な実装のさらなる説明
ここでの番号付けは、この特定の例の分析の一般的な順序を反映している。しかし、すべてのステップがすべての前のステップに依存するわけではなく、結果として、多くの要素は、他の実装形態において並べ替えまたは並列化できる。要素はまた、シフトする、または繰り返して、追加情報を他の要素と交換できる、または要素は、別々のプロセスまたはマシンなどで独立して実行できる。

１）インポート
システムは、典型的なワードプロセッサドキュメント（ＭＳ Ｗｏｒｄなど）およびページレイアウトドキュメント（ＰＤＦまたはｐｎｇファイルなど）を受け入れる。それぞれのケースにおいて、見出し、段落、テーブルセル、テーブル、画像などの視覚的に隣接する領域は、それらの相対位置、周囲の空白、フォントおよびレイアウトの特徴などの組み合わせを使用して、チャンクとして識別され、表現される。これらの特徴は、デザイナーによって部分的に選択され、多数のドキュメントの画像およびパターン分析によって部分的に学習される。機械で読み取り可能なテキストコンテンツがすでにない入力ドキュメントについては、ＯＣＲも適用される。

これらのチャンクは、選択されたレイアウト情報とともに、システム内の後のモジュールに提示される。

２）編成
ユーザは、彼らがシステムにチェックインするドキュメントを編成する必要は無い。システムは、テキストコンテンツ、レイアウト情報、および既に検出された構造情報（いくつかの見出しの識別など）で動作するクラスタリング方法を使用して、ドキュメントを特定のタイプのドキュメントの「セット」、例えば、レンタル契約対リース対販売、にグループ化する。見つかった特定のドキュメントセットは、ユーザに確認されることができ、自動的にまたはユーザによってのいずれかで名前が付けられる。確立されると、これらのドキュメントセットは、フォーマット、コンテンツ、セマンティックロール、およびそれらの差についての後の機械学習および推論を容易にする。例えば、システムは、所与のセット内のほとんどすべてのドキュメントが、特定の役割の３つの特定のサブチャンクおよび個人名のデータタイプを有する特定のセクションを有し、そのうちの１つが５つの異なるセクションで再現されることを発見し得る。そのようなパターンを使用して、他のドキュメントの類似（および類似しない）部分を識別するのを支援し、ユーザにレビューまたは変更を提案し、同じ（またはおそらく異なる）セット内の他のドキュメントにおいて再利用するテキストの例を提供する。

ドキュメントをドキュメントセットにクラスタリングすることは、ドキュメントの構造（さまざまなサイズ、データタイプ、および役割のチャンク間の順序および包含の関係）およびレイアウト、ならびにテキストコンテンツからの特徴を使用できる。いくつかのチャンクおよび／または役割が少なくともいくつかのドキュメントで識別されると、その情報を使用して、完全に再クラスタリングすることによって、またはより小さな調整によってのいずれかで、クラスタリングを改善することもできる。例えば、売り手および買い手の名前、住所など、同じ役割を持つチャンクの特定のコンテンツを無視すると、または、異なるチャンクの出現パターンが同じである、例えば、ある名前（例えば、売り手の名前）が特定の場所に表示され、一方で、別の名前（例えば、買い手の名前）が特定の他の場所に表示されることを確認すると、類似したドキュメントがほぼまたは完全に同一にさえなり得る。

システムは、ディレクトリ（もしあれば）へのアップロードされたファイルの元の編成と、セットへのそれらの独自の編成の両方を、維持する。したがって、ユーザは両方の編成を観ることができ、学習アルゴリズムは両方を情報として使用できる。例えば、一部のユーザは、様々な規則に従ってドキュメントに名前を付ける、および／または顧客、ドキュメントの種類、または他の特徴によってドキュメントを編成し、これは、ほぼ常に類似のパターン（共通のチャンクの位置および役割を有するような）およびドキュメント間の関係を理解するのに有用である。

３）ビジュアル抽出
ｉ）エリア検出
このシステムは、ヒューリスティックおよび機械学習を使用して、幾何学的パターンに基づいてドキュメント内の領域を識別する。例えば、多くのドキュメントにおいて、意味のあるチャンクは、署名ブロック、抽象、定義のリスト、テーブルなどのような特別なレイアウトを有する。そのようなパターンを、幾何学的および／またはレイアウトの特徴、一意性または希少性、および／または同じドキュメント内またはドキュメント間のいずれか、特に同じドキュメントセット内での対応を考慮することによって、自動的に学習できる。

アプローチは、入力ドキュメントのフォーマットに応じて選択される。例えば、ワードプロセッサドキュメントは一般的に段落の境界に関する明示的な情報を提供するが、ＰＤＦまたはスキャンされたページは、システムがそれらをビジュアルラインから組み立てること、または空白の寸法を分析して、ビジュアルラインに文字（複数列のドキュメントなど）を割り当てることさえ要求する。

ｉｉ）署名の検出
システムは、ドキュメントパーツの署名（「ダイジェスト」としても知られている）を作成し、これらを使用して「興味深い」追加のチャンクを識別および分類し、その境界を検出する。署名は、単にテキストコンテンツにだけでなく、コンテキストの様々な態様にも基づいており、より小さな含まれるチャンク（例えば、カウンターパート内のコンテンツが変化するフィールドチャンク）のコンテンツを無視し得る。

署名は、チャンクのピクセル表現さえ使用し得る。テキストレイアウトのビットマップイメージは、タイル、好ましくは２４ピクセル四方の（スキャン解像度の調整された）オーダー上のサイズ、に分割され、タイルはクラスタ化さている。オートエンコーダおよびその隣接関係を含むこれらのニューラルネットワーク処理は、テキストとルール、テキストブロックのエッジとコーナー、さらにはインデントの変更と実質的なフォント／スタイルの変更、との間の境界などの同様の視覚的イベントを明らかにする。さらなるニューラルネットワークは、次いで、このクラスタリングを使用して、類似のレイアウトオブジェクトを共同識別し、これは、重要なチャンクを頻繁に示すまたは特徴付ける。

ここでのアプローチは、ドキュメントチャンク内のピクセルならびに文字、チャンクのサイズ、ドキュメント内のその位置などに基づいてドキュメントチャンク埋め込みを生成するために教師なしアプローチを使用し得る（注記されるように、画像はチャンクであることもできる）。次いで、クラスタリングおよび比較の技術は、多くのダウンストリームタスクのためにこれらの埋め込みに対して使用できる。

ｉｉｉ）抽出
この態様は、レイアウト後のドキュメント（例えば、ＰＤＦまたはスキャンされた印刷ページ）を取り、ドキュメント内の認識された文字画像（「グリフ」）を、グリフの正しいドキュメント順序を表すテキストストリームに変換する（ストリームは、適切な場合、図または画像オブジェクトをも含み得、読み取り順序において、典型的な場所を有さない脚注またはページヘッダなどの複数のストリームが存在できる）。一部のドキュメントでは、読み取り順序の不完全な明示的な表現がある。よく知られている例は、通常、任意の所与の点において複数列レイアウトが有効であるという表示がなく、したがって、第１の「線」は、全体ではなく、半分（またはそれ未満）にわたってのみ延在するというものである。しかし、テキストの順序が複雑または不明確であり得る多くの追加の例がある。例えば、いくつかのレイアウトプログラムは各文字を個別に描画し、単語の境界は不明確となる。テーブルセル、サイドバー、図、脚注、および他の表示は、テキストの順序に明確な位置を有し得ない。ページヘッダおよびフッタ（ならびに行の終わりのハイフン）におけるようないくつかのテキストは、テキスト順序における場所を全く必要とし得ない。多くのフォーマットは、何かがそのような特別なカテゴリーにあるという明確な表示を提供しない。

システムは、グリフの視覚情報（位置、スタイルなど）を、テキストストリームを構築するためにドキュメント内で使用される書かれた言語の特性を理解するディープニューラルネットワークと組み合わせることによって、このタスクに対処する。さらに、これは、行、ブロック、列、画像、インラインフォント変更、およびヘッダ／フッタオブジェクトなどの多くの基本的なテキスト境界を検出する。

ｉｖ）表現
テキストシーケンスおよびいくつかの仮定された構造チャンクを抽出すると、システムは、それらならびに視覚的特徴（フォント、色、サイズなど）に関する情報を含むドキュメントの表現（一例では「ＤＧＭＬ」として知られている）を作成する。その位置、タイプ、役割などの情報を含むチャンクの表現は、「注釈」と呼ばれる。組み合わされたデータは、次いで、自然言語処理（ＮＬＰ）およびディープニューラルネットワーク（ＤＮＮ）によって使用できる。ディープニューラルネットワークはこの視覚情報を組み込み、ヘッダ／ボディ、リスト／リストアイテムなどのチャンクを含むドキュメント構造を表す階層にドキュメントを構造化するのを支援する。

後の態様が元のソースによく似た編集可能なワードプロセッサドキュメントを構築できるように、十分な情報を含むことができる。これを、他の構造、コンテンツ、およびチャンク情報とともに、ＤＧＭＬまたは同様の表現に含むことができる。多くのケースで、明確なフォーマットおよびレイアウトを持つドキュメントの部分はまた有用なチャンクである。しかし、別様に必要とされるチャンクと一致しない（およびその逆）フォーマット特性は、依然として、特別なタイプのチャンクを介して、スタンドオフ注釈を介して、または他の方法を介して表現できる。

４）構造
構造パイプラインは、平坦なテキストファイルを階層構造に変換し、セクション、サブセクション、およびドキュメントの他の部分は、当業者に知られている構造であるコンテンツベースオブジェクトの順序付けられた階層を形成する。この変換は、教師なし機械学習技術を使用して行われる。この方法はいくつかのステージを有する。

ｉ）ハイパーライニング
これは、テキストを「ハイパーライン」にセグメント化することを含み、これは、ビジュアルラインよりも大きなグループであり、段落、見出し、または同様のものなどのより意味のある論理的な（ビジュアルとは対照的に）単位を備える。これは、トークン（特に先頭および末尾のトークン）の「単語形状」などの特徴、フォントおよびスペーシング特性などのレイアウト情報、ならびに類似の特徴を考慮する事前にトレーニングされたニューラルネットワークを使用して達成されることが好ましい。いくつかのハイパーラインは、以前のステップでも提供され得る（入力ドキュメントのフォーマット応じて）。

ｉｉ）ドキュメント言語モデル
これは、単にテキストに基づく言語モデルの代わりに、テキストコンテンツ、フォーマッティング、およびこれまでに発見された構造に対する情報をも含むドキュメント言語モデルを使用することが好ましい。これは、フォーマットされたページから意味のあるチャンクおよびそれらの発生のパターンを認識するための学習により、チャンクおよびそれらの階層（ヘッダ／ボディ、リスト／リストアイテムなど）のより良好な検出を可能にする。

これは、テキストコンテンツおよび視覚的特徴（ジオメトリ、フォント、色、サイズなど）の両方を含むドキュメントの表現を作成する。次いで、ディープニューラルネットワークおよびＮＬＰプロセスは、ドキュメント構造を表す様々なサイズのチャンクの範囲および／または境界を検出することによって、データタイプおよびセマンティカルロールラベルを有するチャンクの階層内にドキュメントを構造化するタスクにおいてそのような情報を利用する。このステージでは、発見されたチャンクは、主に見出し、セクション、リストおよびアイテム、テーブル、図、および他の比較的大きな単位である。

ｉｉｉ）ハイパーラインクラスタリング
これは、単語形状構造に基づいてドキュメントセットにわたってハイパーラインをクラスタ化するためにオートエンコーダを使用し、各ハイパーラインを、レイアウト、開始および終了コンテンツ、ならびに他の特性に関して類似するハイパーラインのクラスタに割り当て、各クラスタは「クラスタＩＤ」によって識別される（これは、ドキュメントセットの作成または識別と混同されるべきではない）。

ｉｖ）インライン見出し
特に興味深い特別なケースは、「インライン見出し」であり、チャンクの見出し（チャンクのセマンティックロールを提供することがある）は、それ自体が別々の視覚的行にあるのではなく、以下のテキストの開始と同じ行にある。一般的に、インライン見出しは、太字、下線、異なるフォント、後続のコロン、またはその他の効果などによってタイポグラフィ的に区別される。別個のヒューリスティックおよびニューラルアルゴリズムは、これらのチャンクを識別する。

ｖ）少ショット構造学習
上記の高度な構造化方法にもかかわらず、生成される構造は、特定の不完全性を有する、またはユーザの先行的な期待を満たさないことが予想できる。少ショット構造学習は、ステップ（１４）乃至（１５）で説明したように、ユーザによって提供されるフィードバックに依存して機械学習モデルを作成することに対処する。次いで、このモデルを使用して、構造に関するユーザフィードバックと、システムによって既に生成されているものとを組み合わせた構造を生成する（おそらく、以前のフィードバックによって反復的に強化される）。

このケースに適用される主な原理は、シーケンスが別のシーケンスに変換される機械翻訳（ＭＴ）方法から導出される。このケースでは、ハイパーラインを記述する１つのシーケンスは、階層をエンコードする開始／終了マーカも含む別のシーケンスに変換される。

このプロセスは、さまざまなフェーズまたはステップで行われる。
（ａ）最初に、機械翻訳モデルが、公的に利用可能なデータセットを使用して事前にトレーニングされる。
（ｂ）「ディスパッチャ」（説明については「フィードバック応答」のセクションを参照）は、ユーザフィードバックをフィルタリングする。
（ｃ）新しい構造ファイルがユーザフィードバックから生成され、微調整機械翻訳データセットが生成される。
（ｄ）事前にトレーニングされたモデルはさらに、少ショット学習原理を使用してトレーニングされる。

５）再ネスト
この態様は、好ましくはハイパーラインクラスタリングステップからのクラスタＩＤのフラットリストが与えられると、プッシュダウンオートマトンを使用してネストされた構造を反復的に作成する「コーパス再ネスト」アルゴリズムを使用する。隣接するハイパーラインの署名を比較することによって、システムは、所与の見出しまたはリストアイテムが、より多く、等しく、またはより少ないネストされたレベルに属するかどうかを決定できる。これは、多くのドキュメント（チャプター、セクション、サブセクション、句、リストなど）の多重ネスト階層構造を再構築することを可能にする。

再ネストで考慮される特徴は、特に最初および最後を考慮した、ハイパーライン内のトークンの「形状」（ＮＬＰ技術で知られている）、前の行を終了する句読点の特定のクラス（存在する場合）、キャピタライゼーション、先頭の空白、インデント、太字、下線などのフォーマット情報、行の先頭にある列挙文字列（例えば、「ＩＶ（Ａ）（１）」または「ｉｖ）」などのパターン）、または特定の弾丸やその他の絵文字の存在および形式、その列挙子の値、同じ種類の先行する列挙子の存在、レベル、および値など、を含む。

６）トピックチャンキング
この態様は、ドキュメントの連続したチャンクにわたって語彙統計および他の学習技術を使用して、トピックがどこでシフトするかを検出する。これは、所与のトピックに関するセクション全体などの大きなチャンクの境界の識別を強化し、その理由は、セクション（どのようなレベルであっても）は、一般に、隣接するセクションよりも、その中でトピック、語彙、およびスタイルの均一性が高いからである。

７）トピックのラベリング
ｉ）見出しラベラー
図１に示すように、コーパス内の各ヘッダについて、このステップは
・各見出しの「埋め込み」として知られる数値表現を作成し、
・それらの埋め込みに少なくとも基づいて見出しをクラスタ化し、
・密度、アーティリティ、類似性のレベルなどの尺度に少なくとも基づいて、「悪い」クラスタを除外し、
・それぞれの残りのクラスタ内の最も一般的なセマンティックロールラベルを、前記クラスタ内のすべての見出しに伝搬する。

ｉｉ）キーフレーズラベラー
各チャンクについて、このステップは、キーフレーズ抽出技術（ルールベース言語技術、ＭＬ、統計、ベイジアン、および／またはその他など）のアンサンブルを使用して、テキストの候補セマンティックロールラベルを生成する。

８）チャンクラベリング
ｉ）文法
システムのこの態様は、スピーチタグ付けの一部、依存関係解析、構成要素解析、および他を含む自然言語処理タスクなどのテキストの言語学的分析から始まる。次いで、このシステムは、別のドメインからのツリーマッチング機構を適用して、ＮＬＰを介して発見されたツリーまたはツリー状構造内の文法的なおよび他の構造を位置付ける。これらは、ＸＰａｔｈ、ＧＡＴＥ、および他のツールによって例示されるように、ツリー文法およびツリーパターンマッチングなどのドキュメント構造化方法を含む。

そのようなパターンを使用してセンテンスにおける文法上の現象を識別することは、システムがテキスト自体からセマンティックロールラベルを抽出することを可能にし、これは次に近くのチャンクに注釈を付けるために使用される。例えば、センテンスの構成要素構造に基づいて、センテンス「以下は、我々の合意の用語である」（および類似の文法構造を有する他のセンテンス）と一致する検索パターンを構築し、次いで、名詞句（この例では「用語」）を抽出し、それを、このセンテンスに続き、そのような「用語」を含むコンテンツ内の１つまたは複数のチャンクのセマンティックロールラベルとして使用できる。

ｉｉ）質問応答
質問応答のためのＢＥＲＴを含む質問応答技術は、候補チャンクのセマンティックロールラベル（例えば、日付、人名、ドル額）を識別するように特別に調整される。対照的に、ほとんどの従来の質問応答モデルは、「有効日は何か？」のような質問に応答することを目的とする。このシステムは、代わりに、「２０１８年７月８日は何か？」のような質問に答えるようにモデルをトレーニングし、「有効日」または「Ｘの有効日」を予測することを目的とし、Ｘは、テキスト中の別のチャンクを表す（単なる「日付」ではなく、これは、セマンティックロールではなくデータタイプである）。

このシステムはまた、回答されたときにテキスト中の関連情報を指し示すことができる総合的な質問を発見する。これは、質問応答によって使用されるべき質問を自動的に提示する能力を提供する。

ｉｉｉ）埋め込みと統合されたＸＰａｔｈのようなルール
ここで、「文法」の下で説明されているドメイン内のツールは、ｗｏｒｄ ２ ｖｅｃ、ｃｈａｒ ２ ｖｅｃ、および多くの関連する方法などのテキストのベクトル－セマンティック表現を提供するツールと統合されている。このシステムは、アナリストが、ＸＰａｔｈおよび類似のツールによってうまく処理される構造情報（ＸＭＬまたはＤＯＭ互換形式で表現されるチャンクのデータを含むことができる）と、ベクトルモデルによってうまく処理されるファジーまたは「意味論的」類似性情報との両方を含む、パターンを表現およびクエリすることを可能にする。

９）ＮＥＲ（ラベル付けされていない小さなチャンク）
技術は、個人または企業名、住所などのデータタイプによっていくつかのチャンクを識別できる（これは「名前付きエンティティ認識」または「ＮＥＲ」として知られている）。しかし、ＮＥＲはドキュメント内のこれらのエンティティのセマンティックロールを識別するのにかなり不足している。現在の技術はまた、句またはセクション全体などのより大きなチャンク、または意味のあるまたは有用なより大きなチャンクを含むチャンクのグループを識別することに失敗する。

システムのこの態様は、必ずしもそれらに役割を割り当てることなく、興味深い小さなチャンクを検出する。テキスト内のＮＥＲを識別するための多くの方法およびツールが存在する。このシステムは複数の方法を使用し、その例を以下に列挙する。これらの発明は主に教師なしである。

ｉ）確立されたＮＥＲ法
ｉｉ）予想される単語
ウィキペディアなどの広範な一般的なテキストを使用してｎグラムの言語モデルをトレーニングすることによって、「通常の英語に対してコンテキストにおいて予想される単語」のモデルを構築する。特定のドキュメントを見るとき、システムは、その一般的なモデルに適合せず、したがって、処理されているドキュメントに特有である傾向があるｎグラムを識別するための手段を提供する。

ｉｖ）ＴＦ－ＩＤＦ
これは、ＴＦ－ＩＤＦベースのアプローチ（「用語頻度対逆ドキュメント頻度」）であり、ラベル伝播およびコンテキストセマンティックラベリングと併せて使用される。

ｖ）シーケンスクラスタリング
ｎグラムなどの小さな単語または文字シーケンスを抽出し、それらをコンテキスト埋め込み（例えば、ＢＥＲＴのもの）を使用してクラスタ化する。予想される結果は、意味論的意味を共有するｎグラムが一緒にクラスタリングを開始することである。組み合わせエクスプロージョンのコストは、ヒューリスティック（構文ツリー上を含む）を使用して、クラスタリングの前にいくつかのｎグラムをフィルタで除外することによって対処される。多種多様なクラスタリングアルゴリズムが適用され得る。この例では、ｈｄｂｓｃａｎアルゴリズムは、「ｎｏｎｅ」クラスタにランダムノイズを割り当てながら効果的なクラスタリングを達成する。

ｖｉ）少ショットＮＥＲ
システムは少ショット学習技術を使用して、少数のラベル付けされたインスタンス（例えば、選択的なユーザフィードバック）から、学習されたパラメータのより広く適用可能なルールまたは調整までを一般化する。これは、ユーザにフィードバックを求めなければならない回数を大幅に削減し、システムのパフォーマンスをより迅速に向上する。

１０）抽出ラベリング
システムのこの側面は、チャンクを囲むセンテンスに直接現れる小さなチャンクのセマンティックロールラベルを検出する。意味のあるチャンクは、しばしば、コンテキストによって何らかの形で指定された役割を有する。例えば、以下である。
ジョン・ドゥ（「売り手」）は、…に住んでいる。
毎月の終わりまでに９９９ドルの賃料を支払わなければならない。

ｉ）コンテキストセマンティックラベリング（ＣＳＬ）
このプロセスは、センテンスの解析を含む以前に構築された構造上で動作するニューラルネットワークを使用して、テキストのどの部分が様々なチャンクのセマンティックロールラベルである可能性があるかを学習する。多くのチャンクは、さまざまなソースおよび信頼レベルを備えた、そのようなラベルを既に有し得るが、これは、それらについてのまたは対する追加の証拠、ならびに新しいラベルを提供する。ここでのパターンのいくつかは文法を伴う。例えば、「ドゥは、毎月の最終営業日までに＄１０００の賃料を支払うものとする」において、主要動詞は、通貨額の役割が何であるか、すなわち、それが支払われるべき賃料であること、を明らかにする。他のパターンは、構造、チャンキング、ラベリング、およびコンテキスト内で利用可能なコンテンツの特徴を使用して、教師ありおよび／または教師なしの方法によって自動的に学習される。括弧、テーブルレイアウト、キーフレーズおよび単語、ならびに他の特徴などのフォーマットはまた、ニューラルネットワークの特徴を提供する。

有用な情報は、多くの場合、セクションまたはサブセクション、またはその見出しなどを含んでいるチャンクに存在する。例えば、所与の薬が処方箋としてか、アレルギーとして関連しているかどうかは、含まれるセクションの見出しを見ることによってのみ検出可能であり得る（これは、セクションの正しい階層ネスティングを検出することが重要である理由の別の例である）。機械学習技術によって学習され、様々なチャンクに適用可能な役割を発見するために適用されることができる他の多くの手がかりが存在する。クロスドキュメントの類似性を使用して、特に同じドキュメントセット内のドキュメントに、同様のコンテキストで発見されたが、孤立したドキュメントでは発見可能ではあり得ないセマンティックロールを関連付けることもできる。

ｉｉ）ラベル伝播
このプロセスは、ドキュメントのコーパス内のテキストの類似チャンクにわたってラベルを標準化する。これは、コンテキストから抽出されたラベルと、前のステップから利用可能なラベルとの両方に適用される。アルゴリズムは、凝集クラスタリングを使用してチャンクをそれらの埋め込みに基づいてクラスタリングし、重み付きページランクアルゴリズム（初期ノード重みとしてラベルの頻度／信頼度を使用する）を使用してチャンクの各クラスタについて候補ラベルをランク付けし、同時発生および埋め込み類似性を使用してラベルが互いにどのくらい類似しているかを決定する。次に、それらのクラスタレベルのスコアおよび我々がラベル付けしているチャンクが、ラベルの元のチャンクとどのくらい類似しているか（コンテンツ、埋め込み、構造、データタイプ、セマンティックロール、および／またはコンテキストの観点から）に基づいて、チャンクにラベルを割り当てる。凝集クラスタリングおよびページランクアルゴリズムを適用して、類似のコンテキストにわたってラベルを伝播させ、ドキュメントのセットにわたってラベルをより一貫性のあるようにする。

１１）異常
システムのこの態様は、ステップ（２）で生成されたようなドキュメントセット内の複数のドキュメントを検査し、現在のドキュメントで発生するが、一般に同じセットの他のドキュメントにカウンターパートチャンクを有していないチャンクを識別し、またはその逆も同様である。カウンターパートチャンクは、同一のコンテンツ、構造、フォーマット、コンテキスト、データタイプ、およびセマンティックロールを有する必要はないが、ひとつのドキュメントから別のドキュメントへのバリエーションを有し得る。それにもかかわらず、それらを、他の識別されたチャンクとそれらの方法において実質的に同様であると認識できる。

新しいドキュメントが、同じセットの他のドキュメントに典型的には存在しないチャンクを含む場合、ユーザは、それらが実際に意図されていたことを確認するために、それらのいくつかまたはすべてについてクエリされ得る。この例示的なシステムでは、そのようなクエリは、問題のチャンクが新しいドキュメントとそれが基づいていたもの（もしあれば）とに共通であるが、他のものにはほとんど共通でない場合に、より一般的になる。

新しいドキュメントが、同じセットの他のドキュメント、または特に関連する外部ソース（例えば、ハウススタイルのマニュアル、コンプライアンス要件など）においてさえ、通常存在するカウンターパートチャンクを欠いている場合、そのようなチャンクの一部またはすべての例が、他のドキュメントから引き出されたコンテンツとともに、ユーザに提案される。提案は、使用頻度、利用可能な代替案の最も典型的な（重心）、または新しいドキュメントに存在する他のチャンクとの共起の高い可能性を有するような、要因に応じて、ユーザに対してランク付けされ得る。チャンクの提案は、例えば、例が引き出されたドキュメントに固有の名前、日付、および他のサブチャンクを、新しいドキュメントから引き出された値と置き換えるために、自動的に更新され得る。

さらに、追加または削除のために提案されるべきチャンクの選択は、異なる著者、編集者、または他のスタッフの実践に有用に依存できる。例えば、現在の著者のドキュメントが特定の手段で別の著者のものと頻繁に異なる場合、その差は考慮された選択であり、エラーではないことを示し得る。一方、同じ監督者の下で働いているすべての著者が何らかの方法を行うが、現在の著者がそれとは異なる場合、それは、少なくとも最初に気付いたときに、レビューの必要性がより高いことを示し得る。

異常のモデリングは、構造およびチャンクのデータタイプおよびセマンティックロールならびにコンテキスト、コンテンツ、およびフォーマットを考慮する。例えば、どんなチャンクのデータタイプおよびセマンティックロールが、他の内部、隣接、または近くで発生するかのパターンをモデル化する。十分に確立されたパターンの違反は、異常として分類され、任意の他の異常と同様にユーザフィードバックのために提示され得る。

１２）調停（Ａｒｂｉｔｒａｔｉｏｎ）
多くの前のステップは、ステップ（３）で生成された線形シーケンス内の文字、トークン、および／または非テキストオブジェクトの範囲として定義された（典型的には、必ずしも連続ではないが）ドキュメントのチャンクを作成および／または動作させる。

任意の時点で検討されているチャンクを、マークアップなどの「インライン」メタ情報、または様々な種類のポインタによってテキスト内の位置を指す「スタンドオフ」表現のいずれかによって表現できる。この例では、スタンドオフ表現は、ほとんどの処理に使用されるが、インライン表現は、しばしばそれを好む外部ツールとの通信などのいくつかの目的に使用される。これらのおよび他の表現は機能的に交換可能であり、それらの間の選択を、パフォーマンス、利便性などの関係によって管理できる。

チャンクの表現は、それらを作成したステップまたは実装、それらがどのように確実であるか（「信頼レベル」）、ならびにそれらの特定のデータタイプおよび／またはセマンティックロールラベルに関する情報を含む。冗長、不確実、競合、または部分的に重複するチャンクが頻繁に生じ得、これをここでは「非最適」と呼ぶ。例えば、２つまたは複数の異なるプロセスは、セマンティックロールラベルをテキストの同じスパン（またはほぼ同じスパン、例えば、名前の前に「博士（Ｄｒ．）」を含むもの、およびそうでないもの）に張り付けさせ得る。チャンクは、時には深く、ネストされ得るが、任意に重複もし得る（すなわち、重複するチャンクの各々が、他方にもあるいくつかのコンテンツ、およびそうではないいくつかを含む）。上記のステップを通じて、システムは、重複または同じ場所にあるものを含む、多数の注釈を表すことができる表現を維持し得る。

そのような非最適なチャンクは、通常、少なくともドキュメントがユーザに提示されるときには望ましくない。さらに、多くの最先端のＮＬＰツールには、ＸＭＬ、ＪＳＯＮ、ＳＱＬ、および他の表現システムなどの当業者によく知られている多くのドキュメントツールおよび方法と同様に、重複しない構造が好ましい。より制限された構造が通常好ましく、しばしば「階層的」または「よく形成された」と呼ばれ、部分的に重複するチャンクを回避する。

システムのこの態様は、チャンクの集合を厳密に階層化する、および非最適なチャンクを回避するように修正する。これは、複数の手法で達成できる。第１に、チャンクを完全に削除できる（つまり、チャンク自体、それらが識別したドキュメントコンテンツは削除されない）。第２に、チャンクスコープを変更して（例えば、いずれかの端から１つまたは複数の文字またはトークンを含むまたは除外することによって）、別のチャンクとの重複を防ぎ得る。第３に、チャンクは、冗長であると決定され、マージされ得る。第４に、チャンクが矛盾していることが検出され（例えば、１つのツールが「エセックス」を場所、１つを人と考えた場合）、選択が行われ得る。

このプロセスは、部分的および／または完全な重複のケースを迅速に検出し、タイプ、役割、および信頼性によるチャンクを比較し、およびチャンクおよびそれらの関連データを修正することによって非最適なケースを解決する手段を含む。どのチャンクを修正、マージ、または削除するかを選択することは、信頼レベル、所与のチャンクのデータタイプ、セマンティックロール、およびコンテンツの事前確率、セマンティックロールラベル間の下位語、所与のコンテキストにおける条件付き発生確率、現在のおよび他の類似のドキュメントにおける他のチャンクの数、役割、および分布、その時のプロセスの優先度、類似ケースについての顧客フィードバック、および／または他の方法などの、いくつかの因子を考慮する。

修正は、チャンクの信頼レベルも変更し得る。例えば、システムのいくつかの態様は、類似または同一のセマンティックロールラベルを、ドキュメントの同じまたはほぼ同じ部分に適用し得る。そのケースでは、ラベルは典型的にはマージされ、結果として生じるチャンクは、それが包含する個々のチャンクよりも高い信頼性が割り当てられる。他のケースでは、矛盾したチャンク割り当ての間で選択が行われるが、選択されたチャンクは、あるレベルの反証があったことを反映する低下した信頼性で終了し得る。

このプロセスは、チャンクの識別とラベル付けの品質と一貫性を向上させ、情報が幅広いツールと相互運用することを可能にし、結果をより簡単におよび信頼性高く分析することを可能にする。先に説明した動作を、終了時だけでなく、いつでも適用できる。例えば、前のステップが何らかのサブタスクのために外部ツールを使用する場合、それは、整形性（ｗｅｌｌ－ｆｏｒｍｅｄｎｅｓｓ）への縮小を要求し得る。削除または修正されたチャンクは、代わりに「一時停止」することができ、これは、それらがもはや処理に影響を及ぼさないが、要求に応じて再導入され得ることを意味し、これは、後に最初から前の作業を再現する必要なく、非重複支持ツールのそのような使用を可能にし、処理の柔軟性および速度を増加させる。

１つのアプローチでは、すべての重複および／またはすべての非最適なチャンクは、ユーザに示されるドキュメントを生成する前に解決され、それにより、結果は、多くの最新のワードプロセッサおよび他のツールによって使用されるＸＭＬフォーマットなどの階層フォーマット内で容易にエンコードできる。しかし、ユーザフィードバックまたは改善されたアルゴリズム学習などによって、潜在的な後の解決のために特定の場所で複数の重複する可能性のある代替案を維持することも可能である（ＸＭＬにおいてさえ）。

１３）ＤＧＭＬ（ＤｏｃｕＧａｍｉ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）
ドキュメントの強化バージョンは、ドキュメント構造、フォーマット、コンテンツ、および識別されたチャンクを表し、プロセスのどのステップでどのチャンクがどのレベルの信頼度で識別されたかを識別し得る。いくつかの実施形態は、この表現の構文としてＸＭＬを使用するが、幅広い表現は、他のＸＭＬスキーマ、ＪＳＯＮ、様々なデータベース、カスタムテキストまたはバイナリフォーマットなどの実質的に同じ情報を含むことができる。

このステップでは、ドキュメントおよび検出されたチャンクに関する情報がＸＭＬ形式に変換され（または「シリアル化」）、他のプロセス、特にフィードバック、編集、レビューに使用されるフロントエンドユーザインターフェースに、およびグループマネージャー、品質管理スタッフなどの他のユーザに概要、統計、およびコンプライアンス情報を提供する「ダッシュボード」アプリケーションに役立つフォーマットに、より簡単に渡すことができる。

ＤＧＭＬ（Ｄｏｃｕｇａｍｉ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）はこの使用のための特定のＸＭＬスキーマであり、これは説明されている情報のすべてを１つのパッケージに収容する。ほとんどの以前のスキーマは、構造、コンテンツ、時には、レイアウトを扱い得るが、ここで説明されているように抽象的に「チャンク」に注釈を付けることはない。多くの以前のスキーマはまた、特に信頼レベルおよび由来情報（ｐｒｏｖｅｎａｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）と共に、チャンクを自動的に検出し、オンザフライで表すことができる一般化されたメカニズムを提供しない。

また、一部のワードプロセッサおよび他のツールのファイルフォーマットを用いて、同じ情報をそのフォーマットに対して透明なフォーマットで表現することによって、それを「トンネル」することも可能である。例えば、ツールが、埋め込まれたコメントまたはメタデータ、「見えない」テキスト、無視可能な属性、または他の同様の特徴をサポートする場合、本明細書に記載される情報をそれらの中に隠し、結果として生じるドキュメントをそのツールで使用する、場合によっては変更する、ことを可能にし、トンネルされた情報がまだ利用可能である状態でシステムに戻されることができる。

１４）フィードバックモードフロントエンド
すでに説明した方法でドキュメントおよびその検出されたチャンクに添付された広範な注釈および分析は、サンプル、テンプレート、または以前のドキュメントの編集を通じてユーザを誘導し、現在のニーズに合わせてカスタマイズされた類似しているが新しいドキュメントを作成することを実現可能にする。例えば、このシステムは、通常、契約の対象となる当事者および財産、病歴、現在の所見、および臨床ノートの他の特定のセクションに記載されている薬または状態、関連する日付などを識別する。同じドキュメントセットの他のドキュメントも検査することによって、このシステムは、どの事柄が共通でないか、共通であるか、または必要であるかを学習し、したがって、何をレビューおよび／または更新すべきかについてユーザに対して、より有用な推奨を行うことができる。例えば、有効日は、ドキュメントセット内のほぼ全ての契約に存在し得るが、その値はそれぞれ異なり得る。同様に、当事者も変化するが、当事者の種類ははるかに一貫している。

ｉ）無誘導フィードバック
ユーザとの相互作用では、システムは第１に、いくつかのドキュメントで検出された（または検出されなかった可能性がある）チャンクに関するフィードバックを要求する。フィードバックのために提示される最初のいくつかのドキュメントは、ドキュメントセットの「クラスタ重心（ｃｌｕｓｔｅｒ ｃｅｎｔｒｏｉｄｓ）」になる。最後のいくつかは、ドキュメントセットの「外れ値」になる。

ｉｉ）誘導フィードバック
この後、システムは、ドキュメントの選択された部分をユーザに示し、それらに対する現在のまたは潜在的なラベル、それらの範囲などについて尋ねることによってフィードバックを提供するようにユーザを誘導する。
ａ．「興味深いラベル」は、ページランクベースのアルゴリズムおよび文法および構造モデルによって決定される。これらのラベルのうち、信頼性の低いインスタンスのセットがレビューのために選択される。
ｂ．現在のドキュメントに低信頼度ラベルがもはや存在しない場合、追加のドキュメントに対して同じプロセスを繰り返し得る。いくつかの実施形態では、モデルは、ユーザが提供しているフィードバックに基づいて継続的に更新される。しかし、代わりに、フィードバックを蓄積し、後で、バッチで、および／またはオフラインで適用できる。モデルに対する調整は、次いで、フィードバックのためにその後に提示されるチャンクおよびラベルの選択に影響を与えることができ、いくつかのドキュメントの再分析をトリガし得る。
ｃ．このシステムは、実質的に同じメカニズムを使用して、フィールドおよび構造チャンクについてのフィードバックを求める。１つのアプローチでは、すべてのチャンク検出器は信頼性の推定値を提供し、これを、フィードバックの候補を選択するために他の情報と共に使用できる。

フィードバックは、小さい対大きいチャンク、フィールド対構造チャンク、または他の順序で異なるパスで要求され得る。ユーザフィードバック用のユーザインターフェースの例については、図３を参照する。一部またはすべてのチャンクを表示し、ユーザが特定のものを選択して検査し、割り当てられたタイプおよび／または役割、ならびにオプション的に代替を確認することを可能にする。ユーザは、チャンクの境界を移動する、ラベルを選択する、または編集するなどができる。好ましくは、ユーザはまた、特定の変更（ラベルなどへの）がすべての対応するまたは同一タイプのチャンクに適用されることを要求できる。
１５）フィードバック応答
ｉ）フリートクエリは、システムが、典型的には複数のユーザからのユーザフィードバックに基づいてプライベートおよびパブリックデータの両方をクエリすることを可能にする方法である。選択された例は、意味的におよび構文的に以前の障害ケースに類似しており、これはフィードバックの値を増加する。
ｉｉ）ディスパッチャ。ディスパッチャは、フィードバックから学習できる特定の学習モデル１２０に戻るいくつかのＭＬモデルおよび非ＭＬアルゴリズムの組み合わされた出力に関するユーザフィードバックを接続するための方法論である。

このシステムは、その出力に対するユーザフィードバックから、および他の学習および非学習モデルの出力に対するユーザフィードバックからモデルを改善することを可能にする。これは、フィードバックを、説明されたいくつかの数値およびニューラルモデルのための増分（「微調整」とも呼ばれる）トレーニングデータとして使用することによって達成される。フィードバックを使用してモデルを改善した後、特定のドキュメントだけでなく、セット内のすべてのドキュメント、またはユーザのすべてのドキュメントさえもが再評価される。したがって、各ドキュメントに対するフィードバックは、すべてのドキュメントについて、チャンク識別、役割の割り当て、構造の発見、およびしたがってユーザ支援を改善できる。この再トレーニングは、図１のステップ（１５）からステップ（３）までの点線コネクタによって表される。

ドキュメントおよびすべての関連付けられた情報は、ドキュメントのセットの学習および分析（特に、排他的にではないが、特定のドキュメントセット内での）に貢献し、したがって、将来のドキュメントのパフォーマンスを向上せる。例えば、新しいチャンクがセット内の１つまたは複数のドキュメントに追加されると、それは将来のドキュメントで使用（または古いものの改訂）することが可能となり、将来のドキュメントに提案できる。ある時点で、最近導入されたチャンク役割の不在、または最近あまり使用されていないチャンク役割の存在は、異常になり得る。このポイントは、自発的に、またはフィードバック質問に応答してユーザによって、または経時的なカウンターパートチャンクの使用曲線に基づいて自動的に選択できる。例えば、特定の時間より前に作成された１つのセット内のドキュメントには、所与の役割および／またはコンテキストのチャンク（例えば、「除外」セクション）が含まれているものはほとんどないが、後に作成されたそれの大部分またはすべてがそれを有する場合、カウンターパートチャンクの欠如は、新しいドキュメントにおいて異常である可能性が高く、そのようにユーザに有用に提示され得る。

１６）ダウンストリームコミュニケーション
説明されたようなチャンク情報を有するドキュメントに注釈を付けた後、選択された情報は、データベース、分析ツールなどの外部ビジネス情報システムによって必要とされる特定のフォーマットに変換され、それらのシステムに、直接または自動および／または手動のレビューステップを通じて、渡される。例えば、特定の当事者の名前および住所をデータベース内の正しいフィールドにコピーすることができ、これは、それらが「名前」および「住所」自体としてのみ識別された場合には自動的に行うことができない。ダウンストリームソフトウェアアプリケーションとの統合例については、図４を参照する。この例では、当事者が同意すると予想される用語を表すチャンクが抽出されており、それらは、Ｄｏｃｕｓｉｇｎと同様のダウンストリームアプリケーションに渡されて、記入され署名される。

図５は、本発明と共に使用され得るコンピュータシステム５１０の一実施形態のブロック図である。上述のステップは、そのようなコンピュータシステム上で実行するソフトウェアによって実装され得る。コンピュータシステム５１０は、典型的には、バスサブシステム５１２を介して周辺デバイスと通信する少なくとも１つのコンピュータまたはプロセッサ５１４を含む。典型的には、コンピュータは、マイクロプロセッサ、グラフィックス処理ユニット、またはデジタル信号プロセッサ、および特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのそれらの電子処理等価物のいずれかを含むことができ、またはプロセッサはそれらのいずれかであることができる。これらの周辺デバイスは、メモリサブシステム５２６およびファイルストレージサブシステム５２８を備えるストレージサブシステム５２４と、ユーザインターフェース入力デバイス５２２と、ユーザインターフェース出力デバイス５２０と、ネットワークインターフェースサブシステム５１６とを含み得る。入力および出力デバイスは、コンピュータシステム５１０とのユーザインタラクションを可能にする。

コンピュータシステムは、サーバコンピュータ、クライアントコンピュータ、ワークステーション、メインフレーム、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラックマウントされた「ブレード」、またはその機械によって取られるべきアクションを指定する命令（順次的またはそうでなければ他の）を実行することが可能な任意のデータ処理マシンであり得る。

コンピュータシステムは、典型的には、ＭｉｃｒｏｓｏｆｔのＷｉｎｄｏｗｓ（登録商標）、Ｓｕｎ ＭｉｃｒｏｓｙｓｔｅｍｓのＳｏｌａｒｉｓ（登録商標）、Ａｐｐｌｅ ＣｏｍｐｕｔｅｒのＭａｃＯｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、またはＵｎｉｘ（登録商標）などのオペレーティングシステムを含む。コンピュータシステムはまた、典型的には、基本入力／出力システム（ＢＩＯＳ）およびプロセッサファームウェアを含むことができる。オペレーティングシステム、ＢＩＯＳおよびファームウェアはプロセッサによって使用され、プロセッサに接続されたサブシステムおよびインターフェースを制御する。これらのオペレーティングシステムと互換性のある典型的なプロセッサには、ＩｎｔｅｌのＰｅｎｔｉｕｍ（登録商標）およびＩｔａｎｉｕｍ（登録商標）、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ ＤｅｖｉｃｅｓのＯｐｔｅｒｏｎ（登録商標）およびＡｔｈｌｏｎ（登録商標）、ならびにＡＲＭ ＨｏｌｄｉｎｇｓのＡＲＭ（登録商標）プロセッサが含まれる。

特許請求される発明の発明、実施形態、および／または例は、従来のコンピュータアプリケーションにも、それらを実行するプログラム可能な装置にも限定されない。例えば、特許請求されるものの発明、実施形態、および／または例は、光コンピュータ、量子コンピュータ、アナログコンピュータなどを含むことができる。コンピュータシステムは、マルチプロセッサまたはマルチコアシステムであり得、分散またはリモートシステムにおいて使用または実装され得る。ここで「プロセッサ」という用語は、グラフィックプロセッシングユニット、デジタル信号プロセッサ、デジタルプロセッサ、およびこれらのデバイスの組み合わせを含む、単一のプロセッサおよびマルチコアまたはマルチプロセッサアレイを含むように最も広い意味で使用される。さらに、単一のコンピュータシステムまたは単一のマシンのみが例示され得るが、そのような用語の単数形の使用はまた、本明細書で論じられる動作の任意の１つまたは複数を実行する命令を個別にまたは共同で実行するコンピュータシステムまたはマシンの任意の集合を意味するものとする。コンピュータおよびネットワークの絶えず変化する性質に起因して、図５に示されるコンピュータシステム５１０の説明は、好ましい実施形態を例示する目的のための一例としてのみ意図される。コンピュータシステム５１０の多くの他の構成は、図５に示されるコンピュータシステムよりも多いまたは少ないコンポーネントを有することが可能である。

ネットワークインターフェースサブシステム５１６は、通信ネットワーク５１８へのインターフェースを含む外部ネットワークへのインターフェースを提供し、通信ネットワーク５１８を介して他のコンピュータシステムまたはマシン内の対応するインターフェースデバイスに結合される。通信ネットワーク５１８は、多くの相互接続されたコンピュータシステム、マシン、および通信リンクを含み得る。これらの通信リンクは、有線リンク、光学リンク、無線リンク、または情報の通信のための任意の他のデバイスであり得る。通信ネットワーク５１８は、任意の好適なコンピュータネットワーク、例えば、インターネットなどの広域ネットワーク、および／またはイーサネットなどのローカルエリアネットワークとすることができる。通信ネットワークは有線および／または無線とすることができ、通信ネットワークは、仮想プライベートネットワークで利用可能であるような、暗号化および復号化方法を使用できる。通信ネットワークは、他のシステムからデータを受信するおよび他のシステムにデータを送信することができる１つまたは複数の通信インターフェースを使用する。通信インターフェースの実施形態は、典型的には、イーサネットカード、モデム（例えば、電話、衛星、ケーブル、またはＩＳＤＮ）、（非同期）デジタル加入者線（ＤＳＬ）ユニット、ファイアワイヤインターフェース、ＵＳＢインターフェースなどを含む。ＨＴＴＰ、ＴＣＰ／ＩＰ、ＲＴＰ／ＲＴＳＰ、ＩＰＸおよび／またはＵＤＰ等の１つまたは複数の通信プロトコルを使用できる。

ユーザインターフェース入力デバイス５２２は、英数字キーボード、キーパッド、マウス、トラックボール、タッチパッド、スタイラス、またはグラフィックタブレット等のポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムまたはマイクロフォン等のオーディオ入力デバイス、目線認識、脳波パターン認識、および他のタイプの入力デバイスを含み得る。そのようなデバイスは、有線または無線でコンピュータシステムに接続できる。一般に、「入力デバイス」という用語の使用は、コンピュータシステム５１０内へまたは通信ネットワーク５１８上に情報を入力するためのすべての可能なタイプのデバイスおよび手段を含むことが意図される。ユーザインターフェース入力デバイスは、典型的には、ユーザが、いくつかのタイプのユーザインターフェース出力デバイス、例えば、ディスプレイサブシステム、上に表示されるオブジェクト、アイコン、テキスト等を選択することを可能にする。

ユーザインターフェース出力デバイス５２０は、ディスプレイサブシステム、プリンタ、またはオーディオ出力デバイスなどの非ビジュアルディスプレイを含み得る。ディスプレイサブシステムは、液晶ディスプレイ（ＬＣＤ）などのフラットパネルデバイス、投影デバイス、または仮想現実システムなどの可視画像を作成するためのいくつかの他のデバイスを含み得る。ディスプレイサブシステムはまた、オーディオ出力または触覚出力（例えば、振動）デバイスを介するような非ビジュアルディスプレイを提供し得る。一般に、「出力デバイス」という用語の使用は、コンピュータシステム５１０からユーザに、または別の機械もしくはコンピュータシステムに、情報を出力するすべての可能なタイプのデバイスおよび手段を含むことが意図される。

メモリサブシステム５２６は、典型的には、プログラム実行中に命令およびデータを格納するためのメインランダムアクセスメモリ（ＲＡＭ）５３０（または他の揮発性記憶装置）と、固定命令が記憶されるリードオンリメモリ（ＲＯＭ）５３２とを含むいくつかのメモリを含む。ファイルストレージサブシステム５２８は、プログラムおよびデータファイルのための永続的ストレージを提供し、ハードディスクドライブ、関連付けられたリムーバブルメディアと共にフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、光学ドライブ、フラッシュメモリ、またはリムーバブルメディアカートリッジを含み得る。特定の実施形態の機能性を実装するデータベースおよびモジュールは、ファイルストレージサブシステム５２８によって格納され得る。

バスサブシステム５１２は、コンピュータシステム５１０の様々なコンポーネントおよびサブシステムが、意図されるように互いに通信させるようにするためのデバイスを提供する。バスサブシステム５１２は、単一のバスとして概略的に示されるが、バスサブシステムの代替的な実施形態は、複数のバスを使用し得る。例えば、ＲＡＭベースのメインメモリは、ダイレクトメモリアクセス（ＤＭＡ）システムを使用してファイルストレージシステムと直接通信できる。

詳細な説明は多くの詳細を含むが、これらは本発明の範囲を限定するものとしてではなく、単に異なる例を示すものとして解釈されるべきである。本開示の範囲は、上記で詳細に説明されていない他の実施形態を含むことを理解されたい。当業者には明らかである様々な他の修正、変更、および変形は、添付の特許請求の範囲で定義されるように、精神および範囲から逸脱することなく、本明細書に開示される方法および装置の配置、操作、および詳細においてなされ得る。したがって、本発明の範囲は、添付の特許請求の範囲およびそれらの法的同等物によって決定されるべきである。

Claims (100)

1. ドキュメントを分析するおよび注釈を付けるための命令を実行するコンピュータシステム上に実装された方法であって、
   複数のドキュメントを含むドキュメントセットにアクセスすることと、
   前記ドキュメントセット内の個々のドキュメント内のチャンクを、（ａ）前記個々のドキュメント内のコンテンツ、レイアウト、およびコンテキストに基づいて、ならびに（ｂ）前記ドキュメントセット内の前記ドキュメントにわたる前記コンテンツ、レイアウト、およびコンテキストのパターンに基づいて、自動的に識別することと、
   前記ドキュメントセット内のドキュメントからの前記識別されたチャンクの分析に基づいて、前記ドキュメントセット内のドキュメントに注釈を付けることと、
   を含むコンピュータ実装方法。
2. コンテンツおよび／またはレイアウトの類似性に基づいて、ドキュメントを前記ドキュメントセット内にクラスタ化することによって前記ドキュメントセットを組み立てること、をさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記ドキュメントセット内の個々のドキュメント内のチャンクを自動的に識別するステップは、さらに、（ｃ）前記個々のドキュメント内のセマンティックロールを識別することに基づき、および（ｄ）前記ドキュメントセット内の異なるドキュメント内のカウンターパートチャンクを識別することに基づいており、カウンターパートチャンクは異なるドキュメント内で同じセマンティックロールを果たす、請求項１に記載のコンピュータ実装方法。
4. 異なるドキュメント内のカウンターパートチャンクを識別することは、
   異なるドキュメントでは異なるが、前記異なるドキュメント内の実質的に同様のコンテキスト内で発生するコンテンツを識別することを含む、請求項３に記載のコンピュータ実装方法。
5. 異なるドキュメント内のカウンターパートチャンクを識別することは、
   異なるドキュメント内で実質的に同じコンテンツを識別することを含む、請求項３に記載のコンピュータ実装方法。
6. 前記識別されたチャンクのいくつかに、前記チャンクを説明するメタデータで、注釈を付けることをさらに含み、異なるドキュメント内のカウンターパートチャンクを識別することは、前記メタデータの類似性に基づいている、請求項１に記載のコンピュータ実装方法。
7. 前記ドキュメントセット内の前記ドキュメントにわたるパターンに基づいてチャンクを識別することは、
   個々のドキュメントにおいて、前記ドキュメントセットの前記ドキュメントに共通して発生するが、前記個々のドキュメントに発生するようには見えないチャンクを識別することを含む、請求項１に記載のコンピュータ実装方法。
8. 前記識別されたチャンクは、
   ドキュメントテンプレートにおけるフィールドとして使用するのに適した前記ドキュメント内のコンテンツを含むフィールドチャンクと、
   前記ドキュメントの前記レイアウト内の構造を含むコンテンツを含む構造チャンクと、を含む、請求項１に記載のコンピュータ実装方法。
9. 前記フィールドチャンクのうちのいくつかは階層的であり、サブチャンクとして他のチャンクを含む、請求項８に記載のコンピュータ実装方法。
10. 前記識別されたチャンクのうちのいくつかは、他のチャンクによって果たされるセマンティックロールを記述するコンテンツを含む、請求項１に記載のコンピュータ実装方法。
11. 前記チャンクのデータタイプおよび前記チャンクのセマンティックロールを用いて、前記識別されたチャンクのうちのいくつかに注釈を付けることをさらに含む、請求項１に記載のコンピュータ実装方法。
12. レイアウトに基づいてチャンクを識別することは、
    行指向テキストを構造チャンクにグループ化することであって、前記グループ化は、単語形状、最初および最後のトークン、フォーマッティング特性、および／または句読点に基づくことを含む、請求項１に記載のコンピュータ実装方法。
13. レイアウトに基づいてチャンクを識別することは、
    ページ画像のタイルに対してトレーニングされた機械学習推論を使用して、構造チャンクの空間境界を識別することを含む、請求項１に記載のコンピュータ実装方法。
14. レイアウトに基づいてチャンクを識別することは、
    前記レイアウトの幾何学的パターンの人工知能ベースの視覚的認識を使用して、構造チャンクの空間境界を識別することを含む、請求項１に記載のコンピュータ実装方法。
15. レイアウトに基づいてチャンクを識別することは、
    非テキスト構造特徴のレイアウトに基づいて構造チャンクを識別することであって、前記非テキスト構造特徴が、図、テーブル、サイドバー、脚注、およびページヘッダまたはフッタのうちの少なくとも１つを含む、ことを含む、請求項１に記載のコンピュータ実装方法。
16. コンテンツに基づいてチャンクを識別することは、
    トピック推定のためのＡＩ技術を使用してチャンクを識別することを含む、請求項１に記載のコンピュータ実装方法。
17. コンテンツに基づいてチャンクを識別することは、
    少ショット名前付きエンティティ認識技術を使用して、前記ドキュメントのセット内のチャンクを識別することを含む、請求項１に記載のコンピュータ実装方法。
18. 誤って識別されたチャンクに対するユーザ補正を受信することと、
    前記ユーザ補正に応答してチャンクを自動的に前記識別することを改善することと、をさらに含む、請求項１に記載のコンピュータ実装方法。
19. ドキュメントを分析および改善するための実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータシステムによって実行可能であり、前記コンピュータシステムに、
    複数のドキュメントを含むドキュメントセットにアクセスすることと、
    前記ドキュメントセット内の個々のドキュメント内のチャンクを、（ａ）前記個々のドキュメント内のコンテンツ、レイアウト、およびコンテキストに基づいて、ならびに（ｂ）前記ドキュメントセット内の前記ドキュメントにわたる前記コンテンツ、レイアウト、およびコンテキストのパターンに基づいて、自動的に識別することと
    前記ドキュメントセット内のドキュメントからの前記識別されたチャンクの分析に基づいて、前記ドキュメントセット内のドキュメントに注釈を付けることと、
    を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。
20. ドキュメントを分析および改善するためのコンピュータシステムであって、
    複数のドキュメントを含むドキュメントセットを受信し格納する記憶媒体と、
    前記記憶媒体へのアクセスを有し、ドキュメントを分析するおよび注釈を付けるためのアプリケーションプログラムを実行するプロセッサシステムと、
    を含み、
    前記プロセッサシステムが、
    前記ドキュメントセット内の個々のドキュメント内のチャンクを、（ａ）前記個々のドキュメント内のコンテンツ、レイアウト、およびコンテキストに基づいて、ならびに（ｂ）前記ドキュメントセット内の前記ドキュメントにわたる前記コンテンツ、レイアウト、およびコンテキストのパターンに基づいて、自動的に識別し、
    前記ドキュメントセット内のドキュメントからの前記識別されたチャンクの分析に基づいて、前記ドキュメントセット内のドキュメントに注釈を付ける、
    前記アプリケーションプログラムを実行する、
    コンピュータシステム。
21. ドキュメントを分析および改善するための命令を実行するコンピュータシステム上に実装された方法であって、
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別する、ことと、
    セマンティックロールラベルを複数のチャンクに自動的に割り当てることであって、前記セマンティックロールラベルは、前記チャンクによって果たされるセマンティックロールを記述し、セマンティックロールラベルを前記チャンクに自動的に割り当てることは、（ａ）機械学習および／または自然言語処理方法を使用してチャンクのセマンティックロールを決定することを含み、（ｂ）それぞれのドキュメント内で同じセマンティックロールを果たすと識別される異なるドキュメント内のチャンクにも基づく、ことと
    前記ドキュメントセット内のドキュメントのさらなる処理において、前記チャンクおよびそれらのセマンティックロールラベルを使用することと、
    を含むコンピュータ実装方法。
22. 前記ドキュメントセット内の前記複数のドキュメントは、すべて同じドキュメントタイプである、請求項２１に記載のコンピュータ実装方法。
23. 前記ドキュメントセット内の前記チャンクは、
    ドキュメントテンプレートにおけるフィールドとして使用するのに適した前記ドキュメント内のコンテンツを含むフィールドチャンクであって、前記フィールドチャンクのいくつかは階層的であり、サブチャンクとして他のチャンクを含む、フィールドチャンクと、
    前記ドキュメントのレイアウト内の構造を含むコンテンツを含む構造チャンクと、
    を含む、請求項２１に記載のコンピュータ実装方法。
24. 前記ドキュメントセットは法律ドキュメントを含み、前記セマンティックロールは、（ａ）前記法律ドキュメントの当事者によって果たされる役割と、（ｂ）日付、期間または他の時間表現によって果たされる役割とを含む、請求項２１に記載のコンピュータ実装方法。
25. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    前記セマンティックロールラベルのいくつかをチャンクから自動的に抽出することと、
    前記抽出されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
26. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    機械学習を使用して、（ａ）個々のドキュメント内のチャンクのコンテンツ、レイアウト、およびコンテキストに基づいて、（ｂ）前記ドキュメントセット内の前記ドキュメントにわたるチャンクのコンテンツ、レイアウト、およびコンテキストのパターンに基づいて、ならびに（ｃ）チャンクのデータタイプに基づいて、チャンクからセマンティックロールラベルを自動的に抽出することと
    前記抽出されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
27. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    オートエンコーダ機械学習技術を使用して、前記セマンティックロールラベルのいくつかを自動的に抽出することと、
    前記抽出されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
28. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    候補セマンティックロールラベルを前記チャンクから自動的に抽出することと、
    機械学習を使用して、前記候補セマンティックロールラベルを洗練することと、
    前記抽出されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
29. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    前記ドキュメントセット内の異なるドキュメントからのチャンクのコンテンツ、レイアウトおよび／またはコンテキストの類似性に基づいて、チャンクから前記セマンティックロールラベルのいくつかを自動的に抽出することと
    前記抽出されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
30. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    候補セマンティックロールラベルをチャンクに割り当てることと、
    前記チャンクによって果たされる前記セマンティックロールの類似性に基づいて、チャンクをクラスタにグループ化することと、
    クラスタ内の前記チャンクの間の前記候補セマンティックロールラベルを標準化することと、
    前記標準化されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
31. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    候補セマンティックロールラベルをチャンクに割り当てることと、
    前記チャンクのサイズおよびテキスト埋め込みの類似性に基づいて、チャンクをチャンククラスタにグループ化することと、
    前記候補セマンティックロールラベルのテキスト埋め込みの類似性に基づいて、候補セマンティックロールラベルをラベルクラスタにグループ化することと、
    前記チャンククラスタおよび前記ラベルクラスタに基づいて前記候補セマンティックロールラベルを標準化することと、
    前記標準化されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
32. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    候補セマンティックロールラベルをドキュメントのセクションを含むチャンクに割り当てることであって、前記候補セマンティックロールラベルが前記セクションの見出しに基づいている、ことと、
    前記セクション内のコンテンツの類似性に基づいて、前記チャンクをクラスタにグループ化することと、
    前記候補セマンティックロールラベルを、クラスタ内のすべてのチャンクの前記セマンティックロールラベルとして最も一般的な候補セマンティックロールラベルを選択することによって標準化することと、
    前記標準化されたセマンティックロールラベルをチャンクに割り当てることと、
    を含む、請求項２１に記載のコンピュータ実装方法。
33. 前記セマンティックロールラベルは、セマンティックロールラベルの所定のセットから選択される、請求項２１に記載のコンピュータ実装方法。
34. 前記セマンティックロールラベルは、前記ドキュメントセット内のドキュメントのさらなる処理のために使用されるソフトウェアアプリケーションによって認識されるラベルを含む、請求項２１に記載のコンピュータ実装方法。
35. セマンティックロールラベルをチャンクに自動的に割り当てることは、
    （ａ）機械学習を使用して、近くにある他のチャンクに基づいて、または前記チャンクを含むチャンクを含むことに基づいて、チャンクのセマンティックロールを決定すること、
    または（ｂ）近くのチャンクの文法的構造に基づいて、自然言語処理方法を使用して、チャンクのセマンティックロールを決定すること、
    の少なくとも１つを含む、請求項２１に記載のコンピュータ実装方法。
36. 前記チャンクのいくつかは名前付きエンティティ参照であり、そのようなチャンクは、前記ドキュメント内のそれらの前記チャンクによって果たされる前記セマンティックロールに対するセマンティックロールラベルでラベル付けされ、そのようなチャンクはまた、前記チャンクのデータタイプでラベル付けされる、請求項２１に記載のコンピュータ実装方法。
37. 前記チャンクのいくつかは前記ドキュメント内のマルチパラグラフ構造であり、そのようなチャンクは、前記ドキュメント内のそれらのチャンクによって果たされる前記セマンティックロールに対するセマンティックロールラベルでラベル付けされる、請求項２１に記載のコンピュータ実装方法。
38. 前記自動的に割り当てられたセマンティックロールラベルの信頼レベルを推定することと、
    前記推定された信頼レベルに基づいて、確認のためにいくつかの割り当てをユーザに提示することと、
    前記自動的に割り当てられたセマンティックロールラベルに対するユーザフィードバックを受信することと、
    前記ユーザフィードバックに応答して、前記機械学習および／または自然言語処理方法を改善することと、
    をさらに含む、請求項２１に記載のコンピュータ実装方法。
39. ドキュメントを分析および改善するための実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータシステムによって実行可能であり、前記コンピュータシステムに
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別する、ことと、
    セマンティックロールラベルを複数のチャンクに自動的に割り当てることであって、前記セマンティックロールラベルは、前記チャンクによって果たされるセマンティックロールを記述し、セマンティックロールラベルを前記チャンクに自動的に割り当てることは、（ａ）機械学習および／または自然言語処理方法を使用してチャンクのセマンティックロールを決定することを含み、（ｂ）それぞれのドキュメント内で同じセマンティックロールを果たすと識別される異なるドキュメント内のチャンクにも基づく、ことと
    前記チャンクおよびそれらのセマンティックロールラベルを、前記ドキュメントセット内のドキュメントのさらなる処理のために利用可能にすることと
    を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。
40. ドキュメントを分析および改善するためのコンピュータシステムであって、
    複数のドキュメントを含むドキュメントセットを受信して格納するための記憶媒体であって、前記ドキュメントセットはまた、前記ドキュメントセットの個々のドキュメント内のチャンクを識別する、記憶媒体と
    前記記憶媒体へのアクセスを有し、ドキュメントを分析および改善するためのアプリケーションプログラムを実行するプロセッサシステムと、
    を含み、
    前記プロセッサシステムが
    セマンティックロールラベルを複数の前記チャンクに自動的に割り当て、前記セマンティックロールラベルは前記チャンクによって果たされるセマンティックロールを記述し、セマンティックロールラベルを前記チャンクに自動的に割り当てることは、（ａ）機械学習および／または自然言語処理方法を使用してチャンクのセマンティックロールを決定することを含み、（ｂ）それぞれのドキュメント内で同じセマンティックロールを果たすと識別される異なるドキュメント内のチャンクにも基づき、
    前記チャンクおよびそれらのセマンティックロールラベルを前記ドキュメントセット内のドキュメントのさらなる処理のために利用可能にする、
    前記アプリケーションプログラムを実行する、
    コンピュータシステム。
41. ドキュメントを処理するための命令を実行するコンピュータシステム上に実装された方法であって、
    複数のドキュメントを含むドキュメントセットを処理して、前記ドキュメント内のチャンクを識別し、対応する注釈を生成することであって、
    前記ドキュメントの画像を処理して、前記ドキュメントの前記画像の視覚的に異なる領域を含む視覚的チャンクを識別し、前記視覚的チャンクの間隔およびフォーマットを指定する第１の注釈を生成し、
    ビジュアルチャンクおよび第１の注釈を処理して、前記ビジュアルチャンク内の構造からのコンテンツを含む構造チャンクを識別し、前記構造チャンクのレイアウトを指定する第２の注釈を生成し、
    前記構造チャンクおよび第２の注釈を処理して、トピックに従って構造チャンク内のコンテンツのグループ化に基づいてトピックレベルのチャンクを識別し、前記トピックレベルのチャンクのトピックを指定する第３の注釈を生成し、
    前記トピックレベルのチャンクおよび第３の注釈を処理して、ドキュメントテンプレート内のフィールドとして使用するのに適したコンテンツを含むフィールドチャンクを識別し、前記フィールドチャンクの前記フィールドを指定する第４の注釈を生成する、
    ステージを含む、ことと、
    前記フィールドチャンクと、前記ドキュメントからの他の識別されたチャンクの少なくとも一部と、前記チャンクに対する対応する注釈と、を含むフォーマットにおいて、前記処理されたドキュメントの表現を生成することと
    ダウンストリームプロセスにおける複数のソフトウェアアプリケーションのいずれかによって使用するために利用可能なフォーマットの表現を作成することと、
    を含むコンピュータ実装方法。
42. 前記処理されたドキュメントの前記表現は、前記ドキュメントを処理する際に識別された前記チャンクの全て、および前記ドキュメントを処理する際に生成された前記対応する注釈の全てを含む、請求項４１に記載のコンピュータ実装方法。
43. 前記ドキュメントを処理する前記ステージのそれぞれが、機械学習、人工知能、および／または自然言語処理を使用する、請求項４１に記載のコンピュータ実装方法。
44. 前記ドキュメントを処理する前記ステージのそれぞれが、１００％未満の信頼度でチャンクを識別する、請求項４１に記載のコンピュータ実装方法。
45. 前記処理されたドキュメントの前記表現は、チャンクの前記識別の信頼レベルを指定する注釈をさらに含む、請求項４４に記載のコンピュータ実装方法。
46. 誤って識別されたチャンクに対するユーザ補正を受信することと、
    前記ユーザ補正に応答してチャンクを自動的に識別する前記ステージを改善することと、をさらに含む、請求項４４に記載のコンピュータ実装方法。
47. 前記視覚的チャンクを処理する、構造チャンクを処理する、およびトピックレベルチャンクを処理する前記ステージは、他の視覚的チャンク内に含まれる視覚的チャンクについて再帰的に実行される、請求項４１に記載のコンピュータ実装方法。
48. 前記処理されたドキュメントの前記表現は、複数の前記チャンクのデータタイプおよびセマンティックロールラベルに対する注釈をさらに含み、前記セマンティックロールラベルは、前記チャンクによって果たされるセマンティックロールを記述する、請求項４１に記載のコンピュータ実装方法。
49. いくつかのより高いレベルのチャンクは、サブチャンクとして他のより低いレベルのチャンクを含み、前記処理されたドキュメントの前記表現は、より高いレベルのチャンクにおけるより低いレベルのチャンクの包含を指定する注釈をさらに含む、請求項４１に記載のコンピュータ実装方法。
50. いくつかのチャンクは階層関係を有し、前記処理されたドキュメントの前記表現は、チャンク間の階層関係を指定する注釈をさらに含む、請求項４１に記載のコンピュータ実装方法。
51. 前記処理されたドキュメントの前記表現における前記チャンクは、複数の異なるレベルにて、複数のセクション、見出し、リスト、項目、マーカ、および／または名前付きエンティティを含む、請求項４１に記載のコンピュータ実装方法。
52. 前記ドキュメントセット内の前記複数のドキュメントは、すべて同じドキュメントタイプである、請求項４１に記載のコンピュータ実装方法。
53. コンテンツおよび／またはレイアウトの類似性に基づいて、ドキュメントを前記ドキュメントセット内にクラスタ化することによって前記ドキュメントセットを組み立てること、をさらに含む、請求項４１に記載のコンピュータ実装方法。
54. 前記処理されたドキュメントの表現は、ＸＭＬフォーマットである、請求項４１に記載のコンピュータ実装方法。
55. 前記処理されたドキュメントの前記表現は、デジタル署名を使用して実装されるチャンクの位置に関する注釈をさらに含む、請求項４１に記載のコンピュータ実装方法。
56. 前記ドキュメントが元のレイアウトを有し、前記処理されたドキュメントの前記表現が、前記元のレイアウトで前記ドキュメントを再構築するのに十分な情報を含む、請求項４１に記載のコンピュータ実装方法。
57. 前記複数のソフトウェアアプリケーションは、ユーザが前記処理されたドキュメントの前記表現を作成、編集、および／またはレビューするためのユーザインターフェースを有するソフトウェアアプリケーションを含む、請求項４１に記載のコンピュータ実装方法。
58. 前記フォーマットは、標準化された公開されたフォーマットである、請求項４１に記載のコンピュータ実装方法。
59. ドキュメントを処理するための実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータシステムによって実行可能であり、前記コンピュータシステムに、
    複数のドキュメントを含むドキュメントセットを処理して、前記ドキュメント内のチャンクを識別し、対応する注釈を生成することであって、
    前記ドキュメントの画像を処理して、前記ドキュメントの前記画像の視覚的に異なる領域を含む視覚的チャンクを識別し、前記視覚的チャンクの間隔およびフォーマットを指定する第１の注釈を生成し、
    ビジュアルチャンクおよび第１の注釈を処理して、前記ビジュアルチャンク内の構造からのコンテンツを含む構造チャンクを識別し、前記構造チャンクのレイアウトを指定する第２の注釈を生成し、
    前記構造チャンクおよび第２の注釈を処理して、トピックに従って構造チャンク内のコンテンツのグループ化に基づいてトピックレベルのチャンクを識別し、前記トピックレベルのチャンクのトピックを指定する第３の注釈を生成し、
    前記トピックレベルのチャンクおよび第３の注釈を処理して、ドキュメントテンプレート内のフィールドとして使用するのに適したコンテンツを含むフィールドチャンクを識別し、前記フィールドチャンクの前記フィールドを指定する第４の注釈を生成する、
    ステージを含む、ことと、
    前記フィールドチャンクと、前記ドキュメントからの他の識別されたチャンクの少なくとも一部と、前記チャンクに対する対応する注釈と、を含むフォーマットにおいて、前記処理されたドキュメントの表現を生成することと
    ダウンストリームプロセスにおける複数のソフトウェアアプリケーションのいずれかによって使用するために利用可能なフォーマットの表現を作成することと、
    を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。
60. ドキュメントを処理するためのコンピュータシステムであって、
    複数のドキュメントを含むドキュメントセットを受信し格納する記憶媒体と、
    前記記憶媒体へのアクセスを有し、ドキュメントを処理するためのアプリケーションプログラムを実行するプロセッサシステムと、
    を含み、
    前記プロセッサシステムが、
    前記複数のドキュメントを処理して、前記ドキュメント内のチャンクを識別し、対応する注釈を生成することであって、
    前記ドキュメントの画像を処理して、前記ドキュメントの前記画像の視覚的に異なる領域を含む視覚的チャンクを識別し、前記視覚的チャンクの間隔およびフォーマットを指定する第１の注釈を生成し、
    ビジュアルチャンクおよび第１の注釈を処理して、前記ビジュアルチャンク内の構造からのコンテンツを含む構造チャンクを識別し、前記構造チャンクのレイアウトを指定する第２の注釈を生成し、
    前記構造チャンクおよび第２の注釈を処理して、トピックに従って構造チャンク内のコンテンツのグループ化に基づいてトピックレベルのチャンクを識別し、前記トピックレベルのチャンクのトピックを指定する第３の注釈を生成し、
    前記トピックレベルのチャンクおよび第３の注釈を処理して、ドキュメントテンプレート内のフィールドとして使用するのに適したコンテンツを含むフィールドチャンクを識別し、前記フィールドチャンクの前記フィールドを指定する第４の注釈を生成する、
    ステージを含む、ことと、
    前記フィールドチャンクと、前記ドキュメントからの他の識別されたチャンクの少なくとも一部と、前記チャンクに対する対応する注釈と、を含むフォーマットにおいて、前記処理されたドキュメントの表現を生成することと
    ダウンストリームプロセスにおける複数のソフトウェアアプリケーションのいずれかによって使用するために利用可能なフォーマットの表現を作成することと、
    を含む前記アプリケーションプログラムを実行する、
    前記コンピュータシステム。
61. ユーザがドキュメントのセットに属するターゲットドキュメントを開発するのを支援するための命令を実行するコンピュータシステム上に実装された方法であって、
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、ことと
    （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出することであって、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たす、ことと、
    ユーザが前記ドキュメントのセットに属するターゲットドキュメントを開発するためのユーザインターフェースを提供することと、
    前記ドキュメントセットにわたる前記導出された発生のパターンに基づいて前記ターゲットドキュメントを開発するための提案を自動的に生成し、前記ユーザインターフェース内に前記提案を表示することと、
    を含む、コンピュータ実装方法。
62. 前記発生のパターンを導出することは、前記発生のパターンを導出するために機械学習および／または人工知能を使用することを含む、請求項６１に記載のコンピュータ実装方法。
63. 前記ドキュメントセット内の前記複数のドキュメントは、すべて同じドキュメントタイプである、請求項６１に記載のコンピュータ実装方法。
64. 前記ドキュメントセット内の個々のドキュメント内のチャンクの発生のパターンを導出することをさらに含み、提案を自動的に生成することはさらに、そのような導出されたパターンに基づく、
    請求項６１に記載のコンピュータ実装方法。
65. 前記ドキュメントセット内の前記チャンクは、
    ドキュメントテンプレートにおけるフィールドとして使用するのに適した前記ドキュメント内のコンテンツを含むフィールドチャンクであって、前記フィールドチャンクのいくつかは階層的であり、サブチャンクとして他のチャンクを含む、フィールドチャンクと、
    前記ドキュメントのレイアウト内の構造からのコンテンツを含む構造チャンクであって、前記セマンティックロールラベルは、前記構造チャンクのいくつかに対するセマンティックロールラベルを含む、構造チャンクと
    画像または動画を含むチャンクと、
    を含む、請求項６１に記載のコンピュータ実装方法。
66. 前記ターゲットドキュメント内のチャンクを、前記ドキュメントセットにわたるセマンティックロールおよび／またはカウンターパートチャンクの前記導出された発生のパターンと比較することであって、いくつかの提案が前記比較に基づいて自動的に生成される、ことをさらに含む、請求項６１に記載のコンピュータ実装方法。
67. 前記ドキュメントセットにわたるセマンティックロールおよび／またはカウンターパートチャンクの前記導出された発生のパターンと比較して、前記ターゲットドキュメントにおけるセマンティックロールの発生における異常を識別することであって、少なくとも１つの提案が前記識別された異常に基づいて自動的に生成される、こと、
    をさらに含む、請求項６１に記載のコンピュータ実装方法。
68. 前記識別された異常は前記ターゲットドキュメント内にでは欠落しているが、前記ドキュメントセット内で一般的に発生している、セマンティックロールを識別することを含み、
    前記自動的に生成された提案は、前記欠落しているセマンティックロールに対するコンテンツを追加することを含む、請求項６７に記載のコンピュータ実装方法。
69. 前記識別された異常は、前記ターゲットドキュメント内で発生するが、前記ドキュメントセット内で一般的に発生しない、余分なセマンティックロールを識別することを含み、
    前記自動的に生成された提案は、前記余分なセマンティックロールについて対応するチャンクを除去または修正することを含む、請求項６７に記載のコンピュータ実装方法。
70. 前記識別された異常は、前記ターゲットドキュメント内で発生し、前記ドキュメントセット内でも一般的に発生しているセマンティックロールを識別することを含むが、前記ターゲットドキュメント内の対応するチャンクのコンテンツは、前記ドキュメントセット内の前記対応するチャンクのコンテンツと一致せず、
    前記自動的に生成された提案は前記ターゲットドキュメント内の前記一致しないコンテンツを除去または修正することを含む、請求項６７に記載のコンピュータ実装方法。
71. 前記識別されたチャンクはドキュメントテンプレートにおけるフィールドとして使用するのに適した前記ドキュメント内のコンテンツを含むフィールドチャンクを含み、
    前記導出されたパターンは、前記フィールドチャンクの１つについて、前記カウンターパートチャンクが同じコンテンツを実質的にすべて含むパターンを含み、
    少なくとも１つの自動的に生成された提案は、前記フィールドチャンクに対して、前記同じコンテンツを前記ターゲットドキュメントに入力することを含む、請求項６１に記載のコンピュータ実装方法。
72. 前記ユーザに提案を表示することは前記ユーザが前記提案を承諾するまたは拒否するためのオプションとともにいくつかの提案を表示することを含む、請求項６１に記載のコンピュータ実装方法。
73. （ａ）前記ユーザが前記ターゲットドキュメントに対する個々の提案を承諾したことに応答して、前記ターゲットドキュメントにおける前記承諾された提案の生成につながった前記ターゲットドキュメントにおける前記同じパターンを示す第２のターゲットドキュメントに対して前記同じ提案を繰り返すことと、
    （ｂ）前記ユーザが前記ターゲットドキュメントに対する個々の提案を拒否することに応答して、前記ターゲットドキュメントにおける前記拒否された提案の生成につながった前記ターゲットドキュメントにおける前記同じパターンを示す第３のターゲットドキュメントに対して前記同じ提案を繰り返さないことと、
    の少なくとも一つをさらに含む、請求項６１に記載のコンピュータ実装方法。
74. いくつかの提案を自動的に適用することをさらに含み、前記ユーザに提案を表示することは前記自動的に適用された提案を前記ユーザが確認するためのオプションを表示することを含む、請求項６１に記載のコンピュータ実装方法。
75. 前記提案を表示することは前記ユーザインターフェース内の前記提案における信頼度によってランク付けされた順序で前記提案を表示することを含む、請求項６１に記載のコンピュータ実装方法。
76. 前記ターゲットドキュメント自体内のパターンに基づいて、および／または前記ドキュメントセットの外のドキュメント内のパターンに基づいて、前記ターゲットドキュメントに対する追加の提案を自動的に生成することであって、前記ターゲットドキュメント内のパターンに基づく、前記ドキュメントセット内のパターンに基づく、および前記ドキュメントセットの外のドキュメント内のパターンに基づく前記提案が、異なる優先度で前記ユーザインターフェース内に表示される、ことをさらに含む、請求項６１に記載のコンピュータ実装方法。
77. 前記自動的に生成された提案は前記ユーザおよび／または前記ユーザの所属にさらに依存する、請求項６１に記載のコンピュータ実装方法。
78. （ａ）前記ターゲットドキュメントが前記ユーザによって編集されている既存のドキュメントであり、前記自動的に生成された提案が前記既存のドキュメントを編集するための提案を含むこと、および（ｂ）前記ターゲットドキュメントが前記ユーザによって作成されている新しいドキュメントであり、前記自動的に生成された提案が前記新しいドキュメントを作成するための提案を含むこと、の少なくとも１つである、請求項６１に記載のコンピュータ実装方法。
79. ユーザがドキュメントのセットに属するターゲットドキュメントを開発するのを支援するための実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータシステムによって実行可能であり、前記コンピュータシステムに、
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、ことと
    （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出することであって、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たす、ことと、
    ユーザが前記ドキュメントのセットに属するターゲットドキュメントを開発するためのユーザインターフェースを提供することと、
    前記ドキュメントセットにわたる前記導出されたチャンクのパターンに基づいて前記ターゲットドキュメントを開発するための提案を自動的に生成し、前記ユーザインターフェース内に前記提案を表示することと、
    を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。
80. ユーザがドキュメントのセットに属するターゲットドキュメントを開発するのを支援するためのコンピュータシステムであって、
    複数のドキュメントを含むドキュメントセットを受信し格納するための記憶媒体であって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、記憶媒体と、
    前記記憶媒体へのアクセスを有し、前記ターゲットドキュメントを開発するためのアプリケーションプログラムを実行するプロセッサシステムと、
    を含み、
    前記プロセッサシステムが、
    （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出し、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たし、
    ユーザが前記ドキュメントのセットに属するターゲットドキュメントを開発するためのユーザインターフェースを提供し、
    前記ドキュメントのセットにわたる前記導出されたチャンクのパターンに基づいて前記ターゲットドキュメントを開発するための提案を自動的に生成し、前記ユーザインターフェース内に前記提案を表示する、
    前記アプリケーションプログラムを実行する、
    コンピュータシステム。
81. ユーザがドキュメントのセットをレビューするのを支援するための命令を実行するコンピュータシステム上に実装された方法であって、
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、ことと
    （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出することであって、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たす、ことと、
    前記ドキュメントセットにわたる前記導出された発生のパターンに基づいて、前記ドキュメントセット内の１つまたは複数のドキュメント内のコンテンツに関する情報を自動的に展開することと、ダウンストリームプロセスで使用するために前記情報を利用可能にすることと、
    を含む、コンピュータ実装方法。
82. 前記発生のパターンを導出することは、前記発生のパターンを導出するために機械学習および／または人工知能を使用することを含む、請求項８１に記載のコンピュータ実装方法。
83. 前記ドキュメントセット内の前記チャンクは、
    ドキュメントテンプレートにおけるフィールドとして使用するのに適した前記ドキュメント内のコンテンツを含むフィールドチャンクであって、前記フィールドチャンクのいくつかは階層的であり、サブチャンクとして他のチャンクを含む、フィールドチャンクと
    前記ドキュメントのレイアウト内の構造からのコンテンツを含む構造チャンクであって、前記セマンティックロールラベルは、前記構造チャンクのいくつかに対するセマンティックロールラベルを含む、構造チャンクと
    画像または動画を含むチャンクと、
    を含む、請求項８１に記載のコンピュータ実装方法。
84. 前記情報は、前記ドキュメントセットからの個々のドキュメントから抽出されたコンテンツを含む、請求項８１に記載のコンピュータ実装方法。
85. 前記抽出されたコンテンツは、他のドキュメント内のチャンクに対するカウンターパートである前記個々のドキュメントからのチャンクの１つまたは複数の抜粋を含む、請求項８４に記載のコンピュータ実装方法。
86. 前記情報は、個々のドキュメントにおける特定のチャンクの発生または不発生の表示を含み、前記特定のチャンクは前記ドキュメントセットからの他のドキュメントにおいて発生するチャンクに対するカウンターパートである、請求項８１に記載のコンピュータ実装方法。
87. 前記情報は、前記個々のドキュメントの要約を含む、請求項８１に記載のコンピュータ実装方法。
88. 前記情報は、前記ドキュメントセット内の複数のドキュメントから抽出されたコンテンツを含む、請求項８１に記載のコンピュータ実装方法。
89. 前記情報は、前記ドキュメントセット内の複数のドキュメントから抽出されたチャンクを含み、前記情報はどのチャンクがカウンターパートであるかに従って編成される、請求項８８に記載のコンピュータ実装方法。
90. 前記情報は、前記ドキュメントセット内の前記ドキュメントにわたるカウンターパートチャンクの発生における異常の表示を含む、請求項８８に記載のコンピュータ実装方法。
91. 前記異常は、個々のドキュメント内にカウンターパートチャンクの不在を含み、前記情報は、前記カウンターパートチャンクが不在の個々のドキュメントへのナビゲーションを容易にするフォーマットにおいて利用可能にされる、請求項９０に記載のコンピュータ実装方法。
92. 前記異常は、個々のドキュメント内にカウンターパートチャンクの不在を含み、前記情報は、個々のドキュメント内にカウンターパートチャンクが不在であることを要約するフォーマットにおいて利用可能にされる、請求項９０に記載のコンピュータ実装方法。
93. 前記ダウンストリームプロセスは、ソフトウェアアプリケーションによって実装され、前記情報は、前記ソフトウェアアプリケーションによる使用に適したフォーマットにおいて利用可能にされる、請求項８８に記載のコンピュータ実装方法。
94. 前記情報は、前記ドキュメントセット内の前記複数のドキュメントから抽出された前記コンテンツを取り出すために前記ソフトウェアアプリケーションによって実行可能な１つまたは複数のプロセスの記述をさらに含む、請求項９３に記載のコンピュータ実装方法。
95. 前記ダウンストリームプロセスは、前記ドキュメントが事前定義された要件または方針の対象となるセマンティックロールを果たすチャンク内の前記コンテンツのコンプライアンスを検証することを含む、請求項８８に記載のコンピュータ実装方法。
96. 前記ダウンストリームプロセスは、人間によって理解可能なフォーマットにおいてレポートを生成することを含む、請求項８１記載のコンピュータ実装方法。
97. 前記ドキュメントセット内の前記ドキュメントの１つ内のチャンクのユーザ選択を受信することをさらに含み、
    前記ユーザ選択に応答して、前記レポートは、前記ユーザ選択されたチャンクに対するカウンターパートチャンクの発生または不発生を含む、
    請求項９６に記載のコンピュータ実装方法。
98. 前記レポートがいくつかのカウンターパートチャンクを欠いていることに応答して、前記欠けているカウンターパートチャンクの１つのユーザ選択を受信し、前記ユーザ選択に応答して、前記欠けているカウンターパートチャンクを追加するように前記レポートを更新すること、
    をさらに含む、請求項９７に記載のコンピュータ実装方法。
99. ユーザがドキュメントのセットをレビューするのを支援するための実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、コンピュータシステムによって実行可能であり、前記コンピュータシステムに
    複数のドキュメントを含むドキュメントセットにアクセスすることであって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、ことと
    （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出することであって、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たす、ことと、
    前記ドキュメントセットにわたる前記導出された発生のパターンに基づいて、前記ドキュメントセット内の１つまたは複数のドキュメント内のコンテンツに関する情報を自動的に展開し、ダウンストリームプロセスで使用するために前記情報を利用可能にすることと、
    を含む、方法を実行させる、非一時的コンピュータ可読記憶媒体。
100. ユーザがドキュメントのセットをレビューするのを支援するためのコンピュータシステムであって、
     複数のドキュメントを含むドキュメントセットを受信し格納するための記憶媒体であって、前記ドキュメントセットは、前記ドキュメントセットの個々のドキュメント内のチャンクも識別し、前記チャンクのいくつかについてのデータタイプおよびセマンティックロールラベルも含み、前記セマンティックロールラベルは、それぞれのドキュメント内で前記チャンクによって果たされるセマンティックロールを記述する、記憶媒体と、
     前記記憶媒体へのアクセスを有し、ユーザがドキュメントのセットをレビューするのを支援するためのアプリケーションプログラムを実行するプロセッサシステムと、
     を含み、
     前記プロセッサシステムが、
     （ａ）前記ドキュメントセット内の前記ドキュメントにわたってチャンクによって果たされるセマンティックロールの発生の、および（ｂ）前記ドキュメントセットにわたって異なるドキュメント内のカウンターパートチャンクの発生のパターンを導出し、カウンターパートチャンクは異なるドキュメントにおいて同じセマンティックロールを果たし、
     前記ドキュメントセットにわたる前記導出された発生のパターンに基づいて、前記ドキュメントセット内の１つまたは複数のドキュメント内のコンテンツに関する情報を自動的に展開し、ダウンストリームプロセスにおいて使用するために前記情報を利用可能にする、
     前記アプリケーションプログラムを実行する、
     前記コンピュータシステム。

Images