JP2013542502A - 半自動質問応答システムにおけるユーザフィードバック - Google Patents

Abstract

システムは、医療請求で使用するための請求コード等のコードを生成するために、１組の文書に規則を適用する。人間オペレータは、生成されたコードが正しいかどうかを特定する入力を提供する。人間オペレータからの入力に基づいて、システムは、特定のコードを生成することを信頼された規則の中のどの条項が正しく、どの当該の条項が誤っているのかを識別しようとする。システムは、次いで、正しい条項においてコードを生成する責任があるシステムの構成要素に賞賛を割り当て、誤っている条項においてコードを生成する責任があるシステムの構成要素に非難を割り当てる。そのような非難および賞賛は、次いで、特定のコード生成構成要素十分に信頼できないかどうかを判断するために使用することができる。システムは、十分に信頼できないコード生成構成要素を無効にするか、または他の是正措置を講じ得る。

【選択図】図６

Description

人間オペレータが、質問に関する情報を含む文書のコーパスが与えられた、１組の個別の質問に回答しなければならない、といった様々な状況がある。そのような状況の一例は、人間オペレータに、患者の入院に関する情報を含む全ての文書の一群に基づいて、請求コードを患者の入院と関連付ける作業が課せられる、というものである。そのような文書は、例えば、入院中に患者に対して行われた医学的手技、および入院中に患者と関連して病院スタッフによって行われた他の支払い請求可能な活動に関する情報を含み得る。

この１組の文書は、清算のために保険業者に対して生成し、提供する必要がある請求コードに対する証拠のコーパスとして閲覧され得る。この例において請求をコード化する専門家である、人間オペレータの作業は、適用可能な規約を考慮して、所与の文書のコーパスによって正当性が示される、１組の請求コードを導き出すことである。文書の内容を１組の請求コードにマップすることは、過酷な認知作業である。そのような情報が、適切な清算を得るために生成することが必要である請求コードに影響を及ぼし得るので、その作業は、例えば、患者に対して行われた手術の報告書を読むこと、およびどの手術が行われたのかを判断することだけでなく、当該の手術に関与した要員、ならびに当該の手術で使用された材料の種類および量（例えば、患者の動脈に挿入されたステントの数）を確認することも伴い得る。そのような情報は、請求コードシステムの要件に合致するフォーマットで文書内に提示されない場合がある。その結果、人間オペレータは、そのような情報を抽出するために、文書コーパスを慎重に調べることが必要になり得る。

文書コーパスに基づいた請求コードの生成に固有のこのような問題点のため、利用可能な証拠に基づいてどの請求コードを生成するべきかを決定する過程を通して人間コーダーを手引きするために、種々のコンピュータに基づくサポートシステムが開発されてきた。そのような手引きにもかかわらず、人間コーダーが、必要な情報を識別して各質問に回答することは、依然として困難であり得る。

この問題に対処するために、「質問−応答システムにおける関連する証拠に対する計算可能な手引きの提供（Ｐｒｏｖｉｄｉｎｇ Ｃｏｍｐｕｔａｂｌｅ Ｇｕｉｄａｎｃｅ ｔｏ Ｒｅｌｅｖａｎｔ Ｅｖｉｄｅｎｃｅ ｉｎ Ｑｕｅｓｔｉｏｎ−Ａｎｓｗｅｒｉｎｇ Ｓｙｓｔｅｍｓ）」という名称の上述した特許出願（米国特許出願第１３／０２５，０５１号）は、特定の質問に対する回答の証拠を含み得る文書コーパス内の特定の領域を人間コーダーに指し示すための種々の手法を開示している。次いで、人間コーダーは、回答するために最初に、または単に、それらの領域に集中することが可能であり、それによって、文書コーパス全体を手作業でレビューすることが必要な場合よりも迅速にそのような回答を生成し得る。回答は、それら自体が、請求コードの形態を取り得、または個々にもしくは互いに組み合わせて請求コードを選択するために使用され得る。

例えば、文書コーパスに基づいて、また場合により、手動および／または自動で生成された回答に基づいて、請求コードを自動的に生成するために、自動化された推論エンジンを使用してもよい。しかしながら、そのような推論エンジンによって引き出される結論は、正しくない場合がある。したがって、自動化された推論エンジンによって生成される請求コードおよび他のデータの正確さを改善するための手法が必要である。

システムは、医療請求で使用するための請求コード等のコードを生成するために、１組の文書に規則を適用する。人間オペレータは、生成されたコードが正しいかどうかを特定する入力を提供する。人間オペレータからの入力に基づいて、システムは、特定のコードを生成することを信頼された規則の中のどの条項が正しく、どの当該の条項が誤っているのかを識別しようとする。システムは、次いで、正しい条項においてコードを生成する責任があるシステムの構成要素に賞賛を割り当て、誤っている条項においてコードを生成する責任があるシステムの構成要素に非難を割り当てる。そのような非難および賞賛は、次いで、特定のコード生成構成要素が十分に信頼できないかどうかを判断するために使用することができる。システムは、十分に信頼できないコード生成構成要素を無効にするか、または他の是正措置を講じ得る。

本発明の一実施形態による、発話から概念を抽出するための、およびコード内のそのような概念をコード化するためのシステムのデータフロー図である。 本発明の一実施形態による、内容から主題を導き出すためのシステムのデータフロー図である。 本発明の一実施形態による、図１Ａのシステムによって行われる方法のフローチャートである。 本発明の一実施形態による、概念オントロジーの線図である。 本発明の一実施形態による、人間レビュアーから請求コードのフィードバックを受け取り、自動的に評価して、システムの性能を向上させるためのシステムのデータフロー図である。 図５のシステムによって行われる方法のフローチャートである。 本発明の一実施形態による、図５Ａの方法の特定の演算を実装するための方法のフローチャートである。 本発明の一実施形態による、図５Ａの方法の特定の演算を実装するための方法のフローチャートである。 本発明の一実施形態による、請求コードを生成する責任があったシステムの構成要素を識別するために、逆推論を使用するためのシステムのデータフロー図である。

本発明の実施形態は、発話内の概念を識別し、当該の発話の転写内のコード（例えば、ＸＭＬタグ）で当該の概念をコード化する構成要素等の、文書内の概念を識別するために使用される、コンピュータに基づく構成要素の質を向上させるために使用され得る。そのようなコードは、他の種類のコードから区別するために、本明細書では、「概念コード」と称される。そのような概念コード内の概念のコード化を行うためのシステムの一例は、「意味内容の自動抽出および発話からの構造化文書の生成（Ａｕｔｏｍａｔｅｄ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｓｅｍａｎｔｉｃ Ｃｏｎｔｅｎｔ ａｎｄ Ｇｅｎｅｒａｔｉｏｎ ｏｆ ａ Ｓｔｒｕｃｔｕｒｅｄ Ｄｏｃｕｍｅｎｔ ｆｒｏｍ Ｓｐｅｅｃｈ）」という名称で、米国特許第７，５８４，１０３号で開示されており、参照により本明細書に組み込まれる。本発明の実施形態は、例えば米国特許第７，５８４，１０３号で開示されている手法のいずれかを使用して、発話の転写物を生成し、それらの転写物の中の概念コード内の当該の発話によって表される概念をコード化し得る。

例えば、概略として、図１Ａは、本発明の一実施形態による、発話から概念を抽出するための、および概念コード内のそのような概念をコード化するためのシステム１００ａのデータフロー図である。図２は、本発明の一実施形態による、図１Ａのシステム１００ａによって行われる方法２００のフローチャートである。

転写システム１０４は、口語音声ストリーム１０２を転写して、草稿転写物１０６を作成する（演算２０２）。口語音声ストリーム１０２は、例えば、患者の診察を説明する医師による口述であり得る。口語音声ストリーム１０２は、任意の形態を取り得る。例えば、口語音声ストリームは、（例えば、電話またはＩＰ接続を通じて）直接的または間接的に受け取られるライブ音声ストリーム、または任意の媒体上に任意のフォーマットで記録される音声ストリームであり得る。

転写システム１０４は、例えば、自動音声認識装置、または自動音声認識装置と医師もしくは他の人間のレビュアーとの組み合わせを使用して、草稿転写物１０６を作成し得る。転写システム１０４は、例えば、上述した米国特許第７，５８４，１０３号で開示されている手法のいずれかを使用して、草稿転写物１０６を作成し得る。該特許で説明されるように、草稿転写物１０６は、口語音声ストリーム１０２の文字通りの（逐語的な）転写物または文字通りでない転写物であるテキストを含み得る。該特許でさらに説明されるように、草稿転写物１０６は、プレーンテキストを含む、または単にそれだけしか含まない場合があるが、草稿転写物１０６はまた、例えば、それ加えて、または代替として、文書部分および他の種類の文書構造を詳細に描写するＸＭＬタグ等の構造化された内容も含み得る。構造化文書をコード化するための、および構造化テキストにある点で関連する個別の事実（データ）を伴う構造化テキストの部分に注釈を付けるための、種々の規格が存在する。医療文書をコード化するための既存の手法の例としては、ＨＬ７ ＣＤＡ ｖ２ ＸＭＬ規格（２００５年５月からＡＮＳＩ認可）、ＳＮＯＭＥＤ ＣＴ、ＬＯＩＮＣ、ＣＰＴ、ＩＣＤ−９、およびＩＣＤ−１０、ならびにＵＭＬＳが挙げられる。

図１Ａで示されるように、草稿転写物１０６は、それぞれが口語音声ストリーム１０２から抽出される「概念」のインスタンスをコード化する、１つ以上の概念コード１０８ａ〜ｃを含む。「概念」という用語は、米国特許第７，５８４，１０３号で定義されるように本明細書で使用される。参照符号１０８は、一般的に、草稿転写物１０６内の概念コード１０８ａ〜ｃの全てを参照するために本明細書で使用される。図１Ａでは、３つの概念コード１０８ａ〜ｃだけしか示されていないが、草稿転写物１０６は、任意の数のコードを含み得る。診断書という状況において、コード１０８のそれぞれは、例えば、アレルギー、処方、診断、または予後をコード化し得る。図１Ａでは、草稿転写物１０６が、対応するコードを有するテキストだけを含むように示されているが、草稿転写物１０６は、「プレーンテキスト」とも称される、非コード化テキスト（すなわち、いかなる対応するコードも伴わないテキスト）も含み得る。

コード１０８は、草稿転写物１０６の中の対応するテキストによって表される概念のインスタンスをコード化し得る。例えば、図１Ａにおいて、概念コード１０８ａは、対応するテキスト１１８ａによって表される概念のインスタンスをコード化し、概念コード１０８ｂは、対応するテキスト１１８ｂによって表される概念のインスタンスをコード化し、概念コード１０８ｃは、対応するテキスト１１８ｃによって表される概念のインスタンスをコード化する。図１Ａでは、テキスト１１８ａ〜ｃの各ユニットが別々に示されているが、テキスト１１８ａ〜ｃのうちの任意の２つ以上が、互いに重複し得、および／または互いを含み得る。コードとその対応するテキストとの間の対応関係は、概念コード１０８ａ〜ｃのそれぞれを、対応するテキストをマークアップする１つ以上のタグ（例えば、ＸＭＬタグ）として記憶すること等によって、システム１００ａに記憶され得る。例えば、概念コード１０８ａは、対応するテキスト１１８ａを区切る転写物１０６内の一対のタグとして実装され得、概念コード１０８ｂは、対応するテキスト１１８ｂを区切る転写物１０６内の一対のタグとして実装され得、概念コード１０８ｃは、対応するテキスト１１８ｃを区切る転写物１０６内の一対のタグとして実装され得る。

転写システム１０４は、口語音声ストリーム１０２から個別の概念のインスタンスを抽出するための、および当該の概念を草稿転写物１０６の中へコード化するための構成要素を含み得る。例えば、第１の概念抽出構成要素１２０ａが音声ストリーム１０２から第１の概念のインスタンスを抽出し、第２の概念抽出構成要素１２０ｂが音声ストリーム１０２から第２の概念のインスタンスを抽出し、第３の概念抽出構成要素１２０ｃが音声ストリーム１０２から第３の概念のインスタンスを抽出すると仮定する。その結果、第１の概念抽出構成要素１２０ａは、音声ストリーム１０２の第１の部分から第１の概念のインスタンスを抽出し得（図２、演算２０２ａ）、第２の概念抽出構成要素１２０ｂは、音声ストリーム１０２の第２の部分から第２の概念のインスタンスを抽出し得（図２、演算２０２ｂ）、第３の概念抽出構成要素１２０ｃは、音声ストリーム１０２の第３の部分から第３の概念のインスタンスを抽出し得る（図２、演算２０２ｃ）。

概念抽出構成要素１２０ａ〜ｃは、口語音声ストリーム１０２から概念のインスタンスを抽出するために、自然言語処理（ＮＬＰ）手法を使用し得る。したがって、概念抽出構成要素１２０ａ〜ｃは、本明細書で「自然言語処理（ＮＬＰ）構成要素」とも称され得る。

第１、第２、および第３の概念は、互いに異なり得る。一例に過ぎないが、第１の概念は、「日付」概念であり得、第２の概念は、「薬物投与」概念であり得、第３の概念は、「アレルギー」概念であり得る。その結果、図２の演算２０２ａ、２０２ｂ、および２０２ｃによって行われる概念抽出は、互いに異なる概念のインスタンスを抽出することを伴い得る。

口語音声ストリーム１０２の第１、第２、および第３の部分は、別々であるか、互いを含むか、または別様には任意の組み合わせで互いに重複し得る。

本明細書で使用される「音声ストリームから概念のインスタンスを抽出する」は、概念のインスタンスを表す一部の音声ストリーム１０２に基づいて、概念のインスタンスを表す内容を生成することを指す。そのような生成された内容は、本明細書において「概念内容」と称される。例えば、「日付」概念の場合、「＜ＤＡＴＥ＞１９９３年１０月１日＜／ＤＡＴＥ＞」というテキストおよび「１、９３」という発話が、どちらも「日付」概念の同じインスタンス、すなわち１９９３年１０月１日という日付を表しているので、音声ストリーム１０２から日付概念のインスタンスを抽出する一例は、「１０、１、９３」が話された音声ストリームの一部分に基づいて、「＜ＤＡＴＥ＞１９９３年１０月１日＜／ＤＡＴＥ＞」というテキストを生成している。この例において、「＜ＤＡＴＥ＞１９９３年１０月１日＜／ＤＡＴＥ＞」というテキストは、概念内容の一例である。

この例が示すように、概念内容は、コードと、対応するテキストとを含み得る。例えば、第１の概念抽出構成要素１２０ａは、第１の概念のインスタンスを抽出して、概念コード１０８ａの中の第１の概念のインスタンスおよび草稿転写物１０６の中の対応するテキスト１１８ａをコード化することによって第１の概念内容１２２ａを生成し得（演算２０２ａ）、概念コード１０８ａは、第１の概念（例えば、「日付」概念）を特定し、第１のテキスト１１８ａは、口語音声ストリーム１０２の第１の部分を表す（すなわち、文字通りであるか、文字通りでない転写である）。同様に、第２の概念抽出構成要素１２０ｂは、第２の概念のインスタンスを抽出して、概念コード１０８ｂの中の第２の概念のインスタンスおよび草稿転写物１０６の中の対応するテキスト１１８ｂをコード化することによって第２の概念内容１２２ｂを生成し得（演算２０２ｂ）、概念コード１０８ｂは、第２の概念（例えば、「薬物投与」概念）を特定し、第２のテキスト１１８ｂは、口語音声ストリーム１０２の第２の部分を表す。最後に、第３の概念抽出構成要素１２０ｃは、第３の概念のインスタンスを抽出して、概念コード１０８ｃの中の第３の概念のインスタンスおよび草稿転写物１０６の中の対応するテキスト１１８ｃをコード化することによって第３の概念内容１２２ｃを生成し得（演算２０２ｃ）、概念コード１０８ｃは、第２の概念（例えば、「薬物投与」概念）を特定し、第２のテキスト１１８ｃは、口語音声ストリーム１０２の第２の部分を表す。

上で述べたように、この例において、「＜ＤＡＴＥ＞１９９３年１０月１日＜／ＤＡＴＥ＞」というテキストは、「日付」概念のインスタンスを表す概念内容の一例である。しかしながら、概念内容は、コードおよびテキストを含む必要はない。代わりに、例えば、概念内容は、任意の対応するテキストではなく、コード（またはコードによって表される概念のインスタンスの他の指示子）だけを含み得る。例えば、図１Ａの概念内容１２２ａは、テキスト１１８ａではなく、代替として、概念コード１０８ａを含み得る。別の例として、概念内容は、対応するコード（またはテキストによって表される概念のインスタンスの他の指示子）ではなく、テキストを含み得る。例えば、図１Ａの概念内容１２２ａは、概念コード１０８ａではなく、代替として、テキスト１１８ａを含み得る。したがって、本明細書における概念内容１２２ａ〜ｃに対するいかなる参照も、図１Ａに示される実施形態以外の当該の内容１２２ａ〜ｃの実施形態を含むものと理解されたい。

概念抽出構成要素１２０ａ〜ｃは、任意の形態を取り得る。例えば、それらは、別個の規則、ヒューリスティックス、統計的測度、複数組のデータ、またはそれらの任意の組み合わせであり得る。概念抽出構成要素１２０ａ〜ｃのそれぞれは、別個のコンピュータプログラムモジュールの形態を取り得るが、これは必須ではない。代わりに、例えば、概念抽出構成要素の一部または全部は、単一のコンピュータプログラムモジュールの中へ実装され、統合され得る。

下でより詳細に説明するように、本発明の実施形態は、別個の信頼性スコアまたは信頼性の他の測度を概念抽出構成要素１２０ａ〜ｃのそれぞれと関連付ける等によって、概念抽出構成要素１２０ａ〜ｃのそれぞれの信頼性を追跡し得る。そのような信頼性スコアは、例えば、概念抽出構成要素１２０ａ〜ｃによって抽出された概念のそれぞれと関連して、別個の信頼性スコアを関連付け、記憶することによって実行され得る。例えば、第１の信頼性スコアは、概念抽出構成要素１２０ａによって生成された概念と関連付けられ、それと関連して記憶され得、第２の信頼性スコアは、概念抽出構成要素１２０ｂによって生成された概念と関連付けられ、それと関連して記憶され得、第３の信頼性スコアは、概念抽出構成要素１２０ａによって生成された概念と関連付けられ、それと関連して記憶され得る。概念抽出構成要素１２０ａ〜ｃの一部または全部が単一のコンピュータプログラムモジュールの中へ統合された場合、図１Ａで示される別個の概念抽出構成要素１２０ａ〜ｃは、別個のコンピュータプログラムモジュールまたは別個の物理的構成要素ではなく、単に、別個の信頼性スコアの、別個の概念との関連を表し得る。

上で説明したように、草稿転写物１０６の中の概念内容１２２ａ〜ｃのそれぞれは、概念抽出構成要素１２０ａ〜ｃのうちの対応する１つによって作成され得る。図１Ａのリンク１２４ａ〜ｃは、概念内容１２２ａ〜ｃと、それらを作成した（または転写システム１０４にそれらを作成させた）対応する概念抽出構成要素１２０ａ〜ｃそれぞれとの間の対応関係を示す。より具体的には、リンク１２４ａは、概念抽出構成要素１２０ａが概念内容１２２ａを作成したこと、またはその作成を生じさせたことを示し、リンク１２４ｂは、概念抽出構成要素１２０ｂが概念内容１２２ｂを作成したこと、またはその作成を生じさせたことを示し、リンク１２４ｃは、概念抽出構成要素１２０ｃが概念内容１２２ｃを作成したこと、またはその作成を生じさせたことを示す。

リンク１２４ａ〜ｃは、システム１００ａの要素として生成され、および／または記憶される場合もあり、またはそのようにされない場合もある。例えば、リンク１２４ａ〜ｃは、草稿転写物１０６内のデータ構造等で、システム１００ａの中のデータ構造内に記憶され得る。例えば、リンク１２４ａ〜ｃのそれぞれは、概念内容１２２ａ〜ｃのうちの対応する１つ内のデータ構造内に記憶され得る。そのようなデータ構造は、例えば、概念内容１２２ａ〜ｃを生成する過程の一部として、概念抽出構成要素１２０ａによって、またはそれを使用して作成され得る（図２、演算２０２ａ〜ｃ）。下の説明から明らかになるように、リンク１２４ａ〜ｃがシステム１００ａの中のデータ構造内に記憶されるかどうかに関わらず、リンク１２４ａ〜ｃによって表される情報は、後に、概念内容１２２ａ〜ｃと概念抽出構成要素１２０ａ〜ｃとの間の対応関係に基づいて措置を講ずるために使用され得る。

本発明の実施形態は、上で参照した「質問−応答システムにおける関連する証拠に対する計算可能な手引きの提供（Ｐｒｏｖｉｄｉｎｇ Ｃｏｍｐｕｔａｂｌｅ Ｇｕｉｄａｎｃｅ ｔｏ Ｒｅｌｅｖａｎｔ Ｅｖｉｄｅｎｃｅ ｉｎ Ｑｕｅｓｔｉｏｎ−Ａｎｓｗｅｒｉｎｇ Ｓｙｓｔｅｍｓ）」という名称の特許出願で説明される種類等の、質問応答システムと関連して使用され得る。その中で説明されるように、質問応答システムの１つの用途は、臨床診断書のコーパスに基づいて、請求コードを生成することである。この作業において、人間オペレータ（コーダー）は、その内容に基づいて、臨床診断書の内容をレビューし、清算のために支払人に提出することができる制御された語彙内の１組のコード（例えば、ＣＰＴおよびＩＣＤ−９またはＩＣＤ−１０）を生成しなければならない。これは、適切な請求コードを生成するために文書の内容から要約することを必要とする、認知的に過酷な作業である。

具体的には、草稿転写物１０６が生成されると、草稿転写物１０６および／または付加的なデータソースの内容に基づいて適切な請求コード１４０を生成または選択するために、推論モジュール１３０（本明細書において「推論エンジン」とも称される）が使用され得る。推論モジュール１３０は、請求コード１４０を生成するために、上で参照した（「質問−応答システムにおける関連する証拠に計算可能な手引きを提供する（Ｐｒｏｖｉｄｉｎｇ Ｃｏｍｐｕｔａｂｌｅ Ｇｕｉｄａｎｃｅ ｔｏ Ｒｅｌｅｖａｎｔ Ｅｖｉｄｅｎｃｅ ｉｎ Ｑｕｅｓｔｉｏｎ−Ａｎｓｗｅｒｉｎｇ Ｓｙｓｔｅｍｓ）」）という名称の米国特許出願第１３／０２５，０５１号で開示される手法のいずれかを使用し得る。例えば、推論モジュール１３０は、全自動化された推論モジュールであってもよく、または自動化された推論を、人間の請求コードの専門家によって提供される人間推論と組み合わせてもよい。

図１Ａでは、請求コード１４０が３つの請求コード１４２ａ〜ｃを含むように示されているが、請求コード１４０は、３つよりも少ない、または多い請求コードを含み得る。請求コード１４０は、任意の方法で記憶され、表され得る。例えば、請求コード１４０は、草稿転写物１０６と統合され、その中に記憶され得る。

推論モジュール１３０は、例えば保険会社および州機関によって発行される、請求のコード化に対する適用可能な規約をコード化し得る。推論モジュール１３０は、例えば、それぞれが請求コードに文書内容をマッピングするための別個の１組の論理を実装する、フォワード論理構成要素１３２ａ〜ｃを含み得る。図１Ａには、例示のために３つの論理構成要素１３２ａ〜ｃが示されているが、推論モジュール１３０は、任意の数のフォワード論理構成要素を含み得、この数は、概念抽出構成要素１２０ａ〜ｃの数または概念内容１２２ａ〜ｃの数と同じである必要はない。

図１Ａでは、推論モジュール１３０が草稿転写物１０６を入力として受け取るように示されているが、これは、単なる一例に過ぎず、本発明の限定を成すものではない。推論モジュール１３０は、草稿転写物１０６に加えておよび／またはその代わりに、データソースから入力を受け取り、フォワード論理構成要素１３２ａ〜ｃをデータソースに適用し得る。例えば、推論モジュール１０６は、複数の文書（例えば、草稿転写物１０６と同様に作成された複数の草稿転写物）を入力として受け取り得る。そのような複数の文書は、例えば、同じ患者に関する複数の報告であり得る。別の例として、推論モジュール１０６は、電子医療記録（ＥＭＲ）等のデータベースレコードを入力として受け取り得る。そのようなデータベースレコードは、例えば、ある患者に関する情報を含み得、草稿転写物１０６および／または他の文書から導き出されたデータを使用して作成および／または更新されたものであり得る。データベースレコードは、例えば、テキストおよび／または個別の事実（例えば、概念内容１２２ａ〜ｃと同一または同様の形態のコード化された概念）を含み得る。転写システム１０４は、概念抽出構成要素１２０ａ〜ｃをデータベースレコードの中のテキストに適用し得るが、概念抽出構成要素１２０ａ〜ｃをデータベースレコードのいかなる個別の事実にも適用せず、それによって、そのような個別の事実を元のままにする。

別の例として、推論モジュール１０６は、（例えば、ＡＳＣＩＩまたはＨＴＭＬで）テキスト文書を受け取り得、これは、次いで、概念抽出構成要素１２０ａ〜ｃが音声ストリームに基づいて概念内容をコード化するのと同様の手法で、概念内容でテキスト文書をコード化するために、データ抽出構成要素（図示せず）によって処理される。したがって、推論モジュール１３０による草稿転写物１０６の使用に対する本明細書でのいかなる参照も、より一般的には、請求コード１４０を生成するための推論モジュール１３０による任意のデータソース（特定の患者または特定の手技に関連するデータを含むデータソース等）の使用を指すものと理解されたい。

さらに、図１Ａの実施例では、推論モジュール１３０が概念内容１２２ａ〜ｃを入力として受け取っているが、これは、単なる一例に過ぎない。代替的に、または加えて、例えば、図１Ｂで示されるように、推論モジュール１３０は、主題１６０（本明細書において「事実」とも称される）を入力として受け取り得る。主題１６０は、１つ以上の草稿転写物１０６ａ〜ｃ（図１Ａの草稿転写物１０６を含み得る）から導き出される情報を表すデータを含み得る。例えば、主題１６０は、調和モジュール１５０によって草稿転写物１０６ａ〜ｃから導き出された任意の数の主題１６２ａ〜ｃを含み得る。主題は、例えば、患者が糖尿病にかかっているという事実等の、特定の患者に関する情報を表し得る。

例えば調和論理モジュール１５２ａ〜ｃを草稿転写物１０６ａ〜ｃに（例えば、草稿転写物１０６ａ〜ｃ内の概念内容１２２ａ〜ｃに）提供することによって、調和モジュール１５０は、草稿転写物１０６ａ〜ｃから主題１６２ａ〜ｃを導き出し得る。調和論理モジュール１５２ａ〜ｃのそれぞれは、草稿転写物１０６ａ〜ｃから主題を導き出すための別個の論理を実装し得る。調和論理モジュールは、例えば、（＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞というコードから「患者は、糖尿病にかかっている」という主題を導き出すこと等によって）単一の概念内容から主題を導き出し得る。別の例として、調和論理モジュールは、＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞というコードおよび＜コントロール不良の糖尿病（ＤＩＡＢＥＴＥＳ＿ＵＮＣＯＮＴＲＯＬＬＥＤ）＞というコードから、「患者は、コントロール不良の糖尿病にかかっている」という主題を導き出す等によって、複数の概念内容から主題を導き出し得る。調和モジュール１５０は、最初に、内容のそれぞれから別個の主題を導き出し、次いで、調和論理モジュールを別個の主題に適用して、さらなる主題を導き出すことによって、複数の内容からの主題のそのような導出を行い得る。

これは、一般的概念の特殊化を表す主題を導き出すことによって、一般的概念を一般的概念の特殊化と調和させる一例である。当業者は、そのような調和に起因する主題を生成するために、複数の概念を調和させるための他の調和論理をどのように実装するのかを理解するであろう。さらに、調和モジュール１５０は、単一の繰り返しで調和論理モジュール１５２ａ〜ｃを草稿転写物１０６ａ〜ｃに適用することに限定する必要はない。より一般的には、調和モジュール１５０は、例えば、既存の主題を精緻化し、新しい主題を１組の主題１６０に加えるために、調和論理モジュール１５２ａ〜ｃを現在の１組の主題１６２ａ〜ｃに繰り返し（例えば、周期的に）適用し得る。新しい草稿転写物は、調和モジュール１５０への入力として提供されるので、調和モジュール１５０は、それらの草稿転写物から新しい主題を導き出し、新しい主題を１組の主題１６０に加え、そして再度、調和論理モジュール１５２ａ〜ｃを新しい１組の主題１６０に適用し得る。

下でより詳細に説明するように、本発明の実施形態は、個々の概念抽出構成要素１２０ａ〜ｃ等の、システム１００ａ〜ｂの種々の構成要素の信頼性を追跡し得る。調和モジュール１５０は、一方の概念の信頼性を、調和論理モジュール１５２ａ〜ｃを使用してその概念から導き出される他方の概念に伝達し得る。例えば、第１の概念が５０％の信頼性スコアを有する場合、調和モジュール１５０は、調和モジュール１５０が第１の概念から導き出す任意の主題に５０％の信頼性スコアを割り当て得る。調和モジュール１５０が複数の主題から１つの主題を導き出すときに、調和モジュール１５０は、種々の方法のうちのいずれかで、複数の主題の信頼性スコアに基づいて、導き出した主題に信頼性スコアを割り当て得る。

主題１６０は、草稿転写物１０６ａ〜ｃの中の概念内容１２２ａ〜ｃと異なる形態で表され得る。例えば、概念内容１２２ａ〜ｃは、ＳＮＯＭＥＤ等のフォーマットで表され得る一方で、主題１６２ａ〜ｃは、ＩＣＤ−１０等のフォーマットで表され得る。

推論モジュール１３０は、草稿転写物１０６ａ〜ｃによって表される概念の代わりに、またはそれに加えて、主題１６０に関して推論し得る。例えば、１つのシステムを作成するために、システム１００ａ（図１Ａ）および１００ｂ（図１Ｂ）は、相互に組み合わせられ得、該システムは、（１）転写システム１０４を使用して、１つ以上の口語音声ストリーム（例えば、音声ストリーム１０２）から概念内容を抽出し、（２）調和モジュール１５０を使用して、草稿転写物１０６ａ〜ｃから主題１６０を導き出し、（３）推論モジュール１３０を使用して、フォワード論理構成要素１３２ａ〜ｃを派生主題１６０に適用し、それによって、主題１６０に基づいて請求コード１４０を生成する。推論モジュール１３０を概念内容に適用することに対する本明細書でのいかなる参照も、概念内容に加えて、または、それの代わりに推論モジュール１３０を主題１６０に適用することを指すものと理解されたい。

推論モジュール１３０は、例えば、統計的または記号的（例えば、決定論理）のいずれかであり得るが、説明を容易にするために、かつ限定されることなく、下の説明における推論モジュール１３０は、記号的な規則に基づいて推論することを想定する。例えば、フォワード論理構成要素１３２ａ〜ｃのそれぞれは、草稿転写物１０６から導き出された情報に基づいて、請求コード１４０を生成または選択するための別個の記号的な規則を実装し得る。そのような各規則は、条件（本明細書において、前提とも称される）と、結論とを含む。結論は、１つ以上の請求コードを特定し得る。下でより詳細に説明するように、規則の条件がデータソースの内容（例えば、概念内容）によって満たされる場合、推論モジュール１３０は、規則の結論によって特定された請求コードを生成し得る。

条件は、例えば、特定の概念のインスタンスを表す概念コードのデータソースの中に存在することを必要とし得る。したがって、本明細書の説明において、「条件Ａ」は、データソースが、概念Ａのインスタンスを表す概念コードを含むかどうかを満たす条件を指し得るのに対して、「条件Ｂ」は、データソースが、概念Ｂのインスタンスを表す概念コードを含むかどうかを満たす条件を指し得るが、概念Ａは、概念Ｂと異なり得る。同様に、「条件Ａ」は、主題１６０の中に概念Ａを表す主題が存在することによって満たされる条件を指し得る一方で、「条件Ｂ」は、主題１６０の中に概念Ｂを表す主題が存在することによって満たされる条件を指し得る。しかしながら、これらは、単なる条件の一例に過ぎず、本発明を限定するものではない。条件は、例えば、１つ以上のブール演算子で結合された複数の副条件（本明細書において、条項とも称される）を含み得る。

記号的な規則システムの１つの利点は、オペレータフィードバックを観察することにより、注釈を付けたコーパスに関する新しい１組の規則をそれぞれ再学習することを必要とせずに、規約が変化したときに、フォワード論理構成要素１３２ａ〜ｃによって表される記号的な規則が、手動で調節され得ることである。

さらに、システム１００ａ（図１Ａ）および１００ｂ（図１Ｂ）の全ての要素が必要とされるわけではない。例えば、本発明の実施形態は、転写システム１０４を省略してもよく、草稿転写物１０６ａ〜ｃがどのように生成されたかに関わらず、１つ以上の当該の草稿転写物１０６ａ〜ｃを入力として受け取り得る。草稿転写物１０６ａ〜ｃは、概念内容を予め含むことができる。代替として、草稿転写物１０６ａ〜ｃは、概念内容を含まない場合があり、その場合、本発明の実施形態は、概念抽出構成要素１２０ａ〜ｃまたは他の構成要素を使用して、草稿転写物１０６ａ〜ｃ内の既存のテキストを概念コードでマークアップすること等によって、草稿転写物１０６ａ〜ｃ内の概念コードを作成し得る。これらの例に示すように、本発明の実施形態は、音声ストリーム１０２等の音声ストリームを受け取ること、またはこれに対して作用することを必要としない。

さらに、転写物１０６および転写物１０６ａ〜ｃは、本明細書において「草稿」転写物と称されるが、本発明の実施形態は、草稿文書にだけでなく、より一般的には、レビューされ、修正されて、完成され、よってもはや草稿ではない文書等の、あらゆる文書にも適用され得る。

フォワード論理構成要素１３２ａ〜ｃによって、それぞれ実装され得る、３つの規則の例を表１に示す。

３つの規則のそれぞれは、「ｉｆ（前提）ｔｈｅｎ（結論）」の形態であり、各規則の前提および結論は、表１で示される通りである。より具体的には、表１の例において、
・規則＃１は、データソースが、患者が糖尿病にかかっていることを特定した場合に請求コードを生成するためのものであるが、データソースは、患者が糖尿病に関連して任意の合併症にかかっていることには言及しない。具体的には、規則＃１は、データソースが、患者が糖尿病にかかっていることを特定した場合に、推論モジュール１３０が、請求コード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞を請求コード１４０に加えるべきであることを示す。
・規則＃２は、データソースが、患者がコントロール不良の糖尿病にかかっていることを特定した場合に、請求コードを生成するためのものである。具体的には、規則＃２は、データソースが、患者が糖尿病にかかっていること、および患者の糖尿病のステータスがコントロール不良であることを特定した場合に、推論モジュール１３０が、請求コード＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞を請求コード１４０に加えるべきであることを示す。
・規則＃３は、データソースが、患者が高浸透圧症を伴う糖尿病にかかっていることを特定した場合に、請求コードを生成するためのものである。具体的には、規則＃３は、データソースが、患者が糖尿病にかかっていること、および患者が高浸透圧症を有することを特定した場合に、推論モジュール１３０が、請求コード＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞を請求コード１４０に加えるべきであることを示す。

推論モジュール１３０は、１組の請求コード１４０を初期化し（例えば、空の１組の請求コードを作成し）（図２、演算２０４）、次いで、フォワード論理構成要素１３２ａ〜ｃ（例えば、記号的な規則）の全てをデータソースに適用する（図２、演算２０６）ことによって、データソース（例えば、草稿転写物１０６）に基づいて、１組の請求コード１４０を生成し得る。各フォワード論理構成要素Ｌについて、推論モジュール１３０は、データソースがフォワード論理構成要素Ｌの条件を満たすかどうかを判断する（図２、演算２０８）。そのような条件が満たされた場合、推論モジュール１３０は、フォワード論理構成要素Ｌによって特定された１つ以上の請求コードを、１組の請求コード１４０に加える（図２、演算２１０）。規則の形態を取るフォワード論理構成要素１３２ａの具体的な場合において、データソースが、そのような規則の前提を満たした場合、推論モジュール１３０は、規則の結論によって特定される請求コードを１組の請求コード１４０に加える。フォワード論理構成要素Ｌによって特定された条件が満たされなかった場合、推論モジュール１３０は、いかなる請求コードも、１組の請求コード１４０に加えない（図２、演算２１２）。

上で述ベたように、推論モジュール１３０は、データソース（例えば、草稿転写物１０６）の代わりに主題１６０に基づいて、１組の請求コード１４０を生成し得、その場合、フォワード論理構成要素１３２ａ〜ｃを概念コードに、またはデータソースに適用することに対する本明細書でのいかなる参照も、フォワード論理構成要素１３２ａ〜ｃを主題１６０に適用することを指すものと理解されたい。例えば、表１の規則の条件は、データソースの中のコードの代わりに主題１６０に適用され得る。

請求コードは、オントロジーで構成される概念を表し得る。例えば、図３は、糖尿病に関する概念を含むオントロジー３００の高度に単純化された実施例を示す。オントロジーは、（１）糖尿病の一般的概念を表すルートノード３０２と、（２）詳細不明の糖尿病の概念を表す、ルートノード３０２の第１の子ノード３０４ａと、（３）コントロール不良の糖尿病の概念を表す、ルートノード３０２の第２の子ノード３０４ｂとを含む。オントロジー３００における任意の特定ノードは、対応するコード（例えば、請求コード）を有する場合もあり、有しない場合もある。例えば、図３のオントロジー３００において、（ルートノード３０２によって表される）糖尿病の一般的概念は、いかなる対応するコードも有し得ないのに対して、子ノード３０４ａ〜ｂは、どちらも対応するコードを有し得る。

特定ノードが第１の概念を表し、特定ノードの子ノードが第２の概念を表す場合、第２の概念は、第１の概念の「特殊化」であり得る。例えば、図３のオントロジー３００において、詳細不明の糖尿病（ノード３０４ａによって表される）の概念は、糖尿病（ノード３０２によって表される）の一般的概念の特殊化であり、コントロール不良の糖尿病（ノード３０４ｂによって表される）および高浸透圧症を伴う糖尿病（ノードの３０４ｃによって表される）の概念は、糖尿病（ノード３０２によって表される）の一般的概念の特殊化である。より一般的には、ノードによって表される概念は、そのノードの任意の祖先（例えば、親、祖父、または曽祖父）によって表される、概念の特殊化であり得る。

データソースの中のデータによって表される概念が条件を満たす場合、またはそのデータによって表される概念が条件を満たす概念の特殊化である場合、図２の方法２００の演算２０８は、その条件を、そのデータによって満たされるものとして扱い得る。例えば、特定の条件が、糖尿病（図３でノード３０２によって表される）の概念によって満たされる場合、詳細不明の糖尿病が糖尿病の特殊化であるので、演算２０８は、詳細不明の糖尿病（図３でノード３０４ａによって表される）を表すデータを、特定の条件を満たすものとして扱い得る。

図２の方法２００をさらに理解するために、推論モジュール１３０が、患者が糖尿病にかかっていることを示すコードで、または対応するオントロジー内のそのコードの任意の特殊化でマークアップした患者に関連する所見を草稿転写物１０６が含むことを見出すという特定の例を考える。この場合、フォワード論理構成要素１３２ａの条件（例えば、規則＃１）が満たされ、推論モジュール１３０は、現在の１組の請求コード１４０に請求コード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞を加える。例示のために、図１Ａの請求コード１４２ａが、請求コード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞であると仮定する。

同様に、推論モジュール１３０が、「コントロール不良の糖尿病（ＤＩＡＢＥＴＥＳ＿ＵＮＣＯＮＴＲＯＬＬＥＤ）＞」というコードでマークアップした同じ患者に関連する所見を草稿転写物１０６が含むことを見出すと仮定する。この場合、フォワード論理構成要素１３２ｂの条件（例えば、規則＃２）が満たされ、推論モジュール１３０は、生成される現在の１組の請求コード１４０に請求コード＜コントロール不良の糖尿病（ＤＩＡＢＥＴＥＳ＿ＵＮＣＯＮＴＲＯＬＬＥＤ）＞を加える。例示のために、請求コード１４２ｂが、請求コード＜コントロール不良の糖尿病（ＤＩＡＢＥＴＥＳ＿ＵＮＣＯＮＴＲＯＬＬＥＤ）＞であると仮定する。

さらに、草稿転写物１０６が、同じ患者が高浸透圧症に罹患しているといういかなる証拠も含まないと仮定する。その結果、推論モジュール１３０は、フォワード論理構成要素１３２ｃの条件（例えば、規則＃３）が満たされることを見出さず、その結果、フォワード論理構成要素１３２ｃは、この実施例において、１組の請求コード１４０に加えられるいかなる請求コードも生じさせない。

この実施例では、１組の請求コード１４０が、現在、請求コード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞および請求コード＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞の双方を含むが、コード＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞は、コード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞に優先しなければならない。推論モジュール１３０は、例えば、組み換えステップを適用することによって、もはや重要ではないコード＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞を除去し得る。例えば、生成されたコードＡが、生成されたコードＢによって表される概念の特殊化を表す場合、２つのコードＡおよびＢは、相互に組み合わせられ得る。別の例として、コードＹ１を生成する規則の条項Ｚ１が、コードＹ２を生成する規則の条項Ｚ２を狭義に意味する場合、２つのコードＹ１およびＹ２は、（例えば、コードＹ１は組み合わせに残るが、コードＹ２は残らないように）相互に組み合わせられ得る。別の例として、コードは、規則、例えばコードＡおよびＢが生成された場合に、コードＡおよびＢを（例えば、コードＡは組み合わせに残るが、コードＢは残らないように）組み合わせるべきであると特定する規則に基づいて、組み合わせられ得る。さらに別の例として、組み換えの統計または他の学習測度が使用され得る。

図１Ａはまた、データソースの中の概念内容１２２ａ〜ｃ（例えば、草稿転写物１０６）と、図２の演算２０８で当該の概念内容１２２ａ〜ｃによって満たされた条件を有するフォワード論理構成要素１３２ａ〜ｂとの間の、リンク１３４ａ〜ｂも示す。例えば、リンク１３４ａは、概念内容１２２ａ（例えば、概念コード１０８ａ）が、フォワード論理構成要素１３２ａの条件を満たしたこと、および推論モジュール１３０が、そのような満たしたことに応じて請求コード１４２ａを生成したことを示す。同様に、リンク１３４ｂは、概念内容１２２ｂ（例えば、概念コード１０８ｂ）が、フォワード論理構成要素１３２ｂの条件を満たしたこと、および推論モジュール１３０が、そのような満たしたことに応じて請求コード１４２ｂを生成したことを示す。

リンク１３４ａ〜ｂは、システム１００ａの要素として生成され、および／または記憶される場合もあり、またはそのようにされない場合もある。例えば、リンク１３４ａ〜ｂは、１組の請求コード１４０内のデータ構造等で、システム１００ａの中のデータ構造内に記憶され得る。例えば、請求コードのそれぞれは、請求コードを生成させたフォワード論理構成要素の概念内容（またはその一部）を識別するデータを含み得る。推論モジュール１３０は、例えば、図２の演算２１０で、個々の請求コード１４２ａ〜ｂをそれぞれシステム１００ａに加える過程の一部としてリンク１３４ａ〜ｂを表すデータを生成し、記憶し得る。

図１Ａはまた、フォワード論理構成要素１３２ａ〜ｂの条件がデータソース（例えば、草稿転写物１０６）によって満たされたと判断することの結果として、およびそれに応じて、推論モジュール１３０によって生成される、フォワード論理構成要素１３２ａ〜ｂと請求コード１４２ａ〜ｂとの間のリンク１４４ａ〜ｂも示す。より具体的には、リンク１４４ａは、推論モジュール１３０が、データソースがフォワード論理構成要素１３２ａの条件を満たしたと判断することの結果として、およびそれに応じて、請求コード１４２ａが生成されたことを示す。同様に、リンク１４４ｂは、推論モジュール１３０が、データソースがフォワード論理構成要素１３２ｂの条件を満たしたと判断することの結果として、およびそれに応じて、請求コード１４２ｂが生成されたことを示す。

リンク１４４ａ〜ｂは、システム１００ａの要素として生成され、および／または記憶される場合もあり、もしくはそのようにされない場合もある。例えば、リンク１４４ａ〜ｂは、１組の請求コード１４０内のデータ構造等で、システム１００ａの中のデータ構造内に記憶され得る。例えば、請求コードのそれぞれは、請求コードを生成させたフォワード論理構成要素を識別するデータを含み得る。推論モジュール１３０は、例えば、図２の演算２１０で、個々の請求コード１４２ａ〜ｂをそれぞれシステム１００ａに加える過程の一部としてリンク１４４ａ〜ｂを表すデータを生成し、記憶し得る。

推論モジュール１３０によって出力される１組の請求コード１４０は、自動システム１００ａによって生成される請求コード１４０を承認、または拒絶／修正し得る人間オペレータによってレビューされ得る。より具体的には、図４は、本発明の一実施形態による、人間レビュアー４０６から請求コード１４０に対するフィードバックを受け取るための、ならびにそのようなフィードバックに応じて、およびそれに基づいてシステム１００ａの性能を自動的に評価し、向上させるためのシステム４００のデータフロー図である。図５Ａは、本発明の一実施形態による、図４のシステム４００によって行われる方法５００のフローチャートである。

請求コード出力モジュール４０２は、請求コード１４２ａ〜ｃの一部または全部を表す出力４０４を人間レビュアー４０６に提供する（図５Ａ、演算５０２）。請求コード出力４０４は、請求コード１４２ａ〜ｃの文字表現（例えば、請求コード１４２ａの場合、「詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）」および／または「詳細不明の糖尿病（Ｕｎｓｐｅｃｉｆｉｅｄ＿Ｄｉａｂｅｔｅｓ）」）等の、任意の形態を取り得る。出力４０４はまた、データソース（例えば、草稿転写物１０６）および／または口語音声ストリーム１０２の一部もしくは全部を表す出力等の、システム１００ａの要素のいずれかを表す出力も含み得る。そのような付加的な出力は、レビュアー４０６が請求コード１４０の正確さを評価するのを援助し得る。本発明の実施形態は、出力４０４のいかなる特定の形態にも限定されない。

人間レビュアー４０６は、請求コード１４０の一部または全部を評価し、請求コード１４０の一部または全部が正確かどうかに関して判断を行い得る。人間レビュアー４０６は、任意の方法でこの判断を行い得、本発明の実施形態は、この任意の特定の方法で行われるこの判断に依存しない。人間レビュアー４０６は、例えば、請求コード１４０のうちの特定の１つが、口語音声ストリーム１０２および／または草稿転写物１０６によって表される情報と一致しないので、それが不正確であると判断し得る。

例えば、人間レビュアー４０６は、請求コードがデータソースの中の一部または全てのテキスト（例えば、テキスト１１８ａ〜ｃ）の意味と一致しないので、請求コードのうちの１つ１４２ａが不正確であると結論し得る。この１つの特定の例として、転写システム１０４によって誤ってコード化されたデータソースの中のテキストの意味と請求コードが一致しないので、人間レビュアー４０６は、請求コードの１つ１４２ａが不正確であると結論し得る。例えば、人間レビュアー４０６は、概念抽出構成要素１２０ａが概念コード１０８ａでテキスト１１８ａを誤ってコード化した結果として、請求コード１４２ａが不正確であると結論し得る。この場合、概念コード１０８ａは、テキスト１１８ａによって、または転写システム１０４にテキスト１１８ａを生成させた口語音声ストリーム１０２の中の発話によって表されない概念を表し得る。この例が示すように、推論モジュール１３０は、無効な前提（例えば、不正確な概念内容１２２ａ）をフォワード論理構成要素１３２ａ〜ｃのうちの１つに提供した結果として、誤った請求コードを生成し得、該無効な前提は、概念抽出構成要素１２０ａ〜ｃのうちの１つによって生成された概念内容を含む。

システム４００はまた、請求コードフィードバックモジュール４０８も含む。人間レビュアー４０６が、特定の請求コードが正確かどうかを判断すると、レビュアー４０６は、その判断を表す入力４０８を請求コードフィードバックモジュール４１０に提供する（図５Ａ、演算５０４）。一般に、入力４０８は、レビューされた請求コードの検証ステータスを表し、この検証ステータスは、「正確」および「不正確」または「真」および「偽」等の、１組の可能な値から選択される値を有し得る。フィードバック４０８は、請求コード１４２ａ〜ｃのうちの１つ以上の正確なフィードバックを含み得る。

下でさらに詳細に説明するように、レビューする人間オペレータ４０６によって提供されるフィードバック４０８は、自動的に取り込まれ、解釈されて、自動請求コード化システム１００ａの性能を評価し得る。具体的には、本発明の実施形態は、誤って／正しく生成された請求コードに対する非難および／または賞賛を、請求コードの生成につながる構成論理条項に割り当てる方法で、推論モジュール１３０の推論過程を逆にするための手法を対象とする。

一般に、請求コードフィードバックモジュール４１０は、フィードバック４０８に対応する請求コードを生成する責任があった請求コード生成システム１００ａの１つ以上の構成要素を識別し（図５Ａ、演算５０６）、非難（例えば、罰則または他の負の強化）または賞賛（例えば、報酬または他の正の強化）をその構成要素と関連付け得る。

フィードバック４０８と関連付けられる請求コードを生成する責任があるものとして識別され得る構成要素の例は、概念抽出構成要素１２０ａ〜ｃおよびフォワード論理構成要素１３２ａ〜ｃである。システム４００は、例えば請求コードから対応するフォワード論理構成要素へ戻るリンクをたどることによって、請求コードを生成する責任があるフォワード論理構成要素を識別し得る。例えば、レビュアー４０６が請求コード１４２ｂに関するフィードバック４０８を提供する場合、フィードバックモジュール４１０は、請求コード１４２ｂからフォワード論理構成要素１３２ｂへのリンク１４４ｂをたどることによって、請求コード１４２ｂを生成するフォワード論理構成要素として、フォワード論理構成要素１３２ｂを識別し得る。しかしながら、請求コードを生成する責任があるフォワード論理構成要素を識別するために、リンクを使用する必要はない。その代わりに、および下でより詳細に説明するように、リンクを使用せずに、逆論理を使用して、その責任があるフォワード論理構成要素を識別し得る。

請求コードフィードバックモジュール４１０は、真理値を、識別されたフォワード論理構成要素と関連付け得る。例えば、レビュアーのフィードバック４０８が、レビューされた請求コードを確証した場合、請求コードフィードバックモジュール４１０は、「真」という真理値を、識別されたフォワード論理構成要素と関連付け得、レビュアーのフィードバック４０８が、レビューされた請求コードを反証した場合、請求コードフィードバックモジュール４１０は、「偽」という真理値を、識別されたフォワード論理構成要素と関連付け得る。請求コードフィードバックモジュール４１０は、例えば、対応するフォワード論理構成要素の中の、またはそれと関連するそのような真理値を記憶し得る。

システム４００は（演算５０６で）、例えば請求コードから対応するフォワード論理構成要素へ戻る一連のリンクをたどることによって、請求コードを生成する責任がある抽出構成要素を識別し得る。例えば、レビュアー４０６が請求コード１４２ｂに関するフィードバック４０８を提供する場合、フィードバックモジュール４１０は、請求コード１４２ｂからフォワード論理構成要素１３２ｂへのリンク１４４ｂをたどることによって、フォワード論理構成要素１３２ｂから概念内容１２２ｂへのリンク１３４ｂをたどることによって、および概念内容１２２ｂから概念抽出構成要素１２０ｂへのリンク１２４ｂをたどることによって、請求コード１４２ｂを生成する概念抽出構成要素として、概念抽出構成要素１２０ｂを識別し得る。しかしながら、請求コードを生成する責任がある概念抽出構成要素を識別するために、リンクを使用する必要はない。その代わりに、および下でより詳細に説明するように、リンクを使用せずに、逆論理を適用して、その責任がある概念抽出構成要素を識別し得る。

システム４００は（演算５０６で）、２つ以上の構成要素を、異なる種類の構成要素を含む請求コードを生成する責任があるものとして、２つ以上の構成要素を識別し得る。例えば、システム４００は、フォワード論理構成要素１３２ｂおよび概念抽出構成要素１２０ｂの双方を、請求コード１４２ｂを生成する責任があるものとして識別し得る。

システム４００は（演算５０６で）、加えて、または代替として、構成要素の１つ以上の副構成要素を、請求コードを生成する責任があるものとして識別し得る。例えば、上記の例示的な規則で示されるように、フォワード論理構成要素は、複数の条項（副条件）を有する論理を表し得る。例えば、「ＡかつＢである場合、Ｃである（Ｉｆ Ａ ＡＮＤ Ｂ，Ｔｈｅｎ Ｃ）」という形態の規則を実装するフォワード論理構成要素を考える。そのような規則は、２つの条項（副条件）、すなわち、ＡおよびＢを含む。本明細書で説明において、そのような各条項は、条項を含む規則を実装するフォワード論理構成要素の「副構成要素」に対応し、それによって実装されるものと考えられる。

システム４００は（演算５０６で）、例えば、これらの条項の一方または双方を個々に、請求コードを生成する責任があるものとして識別し得る。したがって、システム１００ａの「構成要素」と関連する措置を講ずる（非難または賞賛を関連付ける等）ことに対する本明細書でのいかなる参照も、構成要素の１つ以上の副構成要素と関連して措置を講じることを指すものと理解されたい。具体的には、フォワード論理構成要素の各副構成要素は、フォワード論理構成要素によって表される論理の別個の条項（副条件）に対応し、これを実装し得る。

請求コードフィードバックモジュール４１０は、様々な方法で、演算５０６で識別された構成要素を強化と関連付け得る。強化を構成要素と関連付けることは、本明細書において、強化を構成要素に「適用する」とも称される。

請求コードフィードバックモジュール４１０は、例えば、人間レビュアー４０６によって提供されるフィードバック４０８が、正であるかどうか、すなわち、フィードバック４０８が、対応する請求コードが正確であることを示すかどうかを判断し得る（図５Ａ、演算５０８）。フィードバック４０８が正である場合、請求コードフィードバックモジュール４１０は、演算５０６で識別されるシステム構成要素と賞賛を関連付ける（図５Ａ、演算５１０）。フィードバック４０８が負である場合、請求コードフィードバックモジュール４１０は、演算５０６で識別されるシステム構成要素と非難を関連付ける（図５Ａ、演算５１２）。

賞賛および非難は、本明細書で使用される「強化」という用語の例である。したがって、一般に、請求コードフィードバックモジュール４１０は、図５Ａの演算５１０および演算５１２の一部として、賞賛および／または非難を表す、強化出力４１２を生成し得る。そのような強化出力４１２は、種々の形態のうちのいずれかを取り得る。例えば、本明細書で「信頼性スコア」と称されるスコアは、システム１００ａの中の１つ以上の構成要素（例えば、概念抽出構成要素１２０ａ〜ｃおよびフォワード論理構成要素１３２ａ〜ｃ）のそれぞれと関連付けられ得る。特定の構成要素の信頼性スコアは、特定の構成要素が正確な出力（例えば、正確な概念コード１０８ａ〜ｃまたは請求コード１４２ａ〜ｃ）を確実に生成する程度の評価を表す。例示のために、信頼性スコアの値が、０（完全な不信頼性を表す）から１（完全な信頼性を表す）の範囲の実数であり得ると仮定する。各特定の構成要素と関連付けられる信頼性スコアは、０、１、または０．５等のいくつかの初期値に初期化され得る。

上で述べたように、信頼性スコアは、概念抽出構成要素と関連するのではなく、概念の表現と関連付けられ、それと関連して記憶され得る。いずれの場合も、概念は、１つ以上の属性を有し得、信頼性スコアは、概念自体と関連付けられることに加えて、概念の属性と関連付けられる。例えば、概念が２つの属性を有する場合、第１の信頼性スコアは、概念と関連付けられ得、第２の信頼性スコアは、第１の属性と関連付けられ得、第２の信頼性スコアは、第２の属性と関連付けられ得る。

この特定の信頼性スコアスキームは、単なる一例に過ぎず、本発明の限定を成すものではなく、何らかの方法で強化出力４１２を実装し得る。例えば、０が完全な信頼性を表し、１が完全な不信頼性を表すように、信頼性スコアの尺度を逆にしてもよい。この場合、信頼性スコアは、０％〜１００％の範囲の、誤りの可能性とみなされ得る。

賞賛（正の強化）を特定の構成要素と関連付けることは（図５Ａ、演算５１０）、所定の量（例えば、０．０１、または０．１）だけ、特定の割合（例えば、１％、５％、または１０％）だけ、またはアルゴリズムの出力を使用すること等によって、構成要素と関連付けられる信頼性スコアカウンタを増加させる（例えば、インクリメントする）こと、特定の信頼性スコアを構成要素（例えば、０、０．５、または０．１）に割り当てること、特定の構成要素と関連付けられた信頼性スコアを増加させることを含み得る。同様に、非難（負の強化）を特定の構成要素と関連付けることは（図５Ａ、演算５１２）、所定の量（例えば、０．０１、または０．１）だけ、特定の割合（例えば、１％、５％、または１０％）だけ、またはアルゴリズムの出力を使用すること等によって、構成要素と関連付けられる信頼性スコアカウンタを減少させる（例えば、デクリメントする）こと、特定の信頼性スコアを構成要素（例えば、０、０．５、または０．１）に割り当てること、特定の構成要素と関連付けられた信頼性スコアを減少させることを含み得る。

信頼性スコアを構成要素と関連付けることに加えて、またはそれ代わりに、関連性の測度は、構成要素と関連付けられ得る。そのような関連性の測度は、例えば、構成要素によって生成された概念のインスタンスの観察された発生の数と等しい、またはこれに比例する値を有するカウンタであり得る。例えば、特定の構成要素によって生成された概念のインスタンスが観察される度に、関連性カウンタがその構成要素と関連付けられる。

請求コードフィードバックモジュール４１０が、強化（すなわち、非難または賞賛）を、同じ種類の複数の構成要素（例えば、複数のフォワード論理構成要素、または単一のフォワード論理構成要素の複数の条項）に適用する場合、請求コードフィードバックモジュール４１０は、均一または不均一に関わらず、同じ種類の複数の構成要素の中で、強化を（配分）分割し得る。例えば、請求コードフィードバックモジュール４１０が、フォワード論理構成要素１３２ｂの２つの条項には誤っている請求コード１４２ｂを生成する責任があると判断した場合、請求コードフィードバックモジュール４１０は、割り当てられる全非難を半分に分割（配分）すること等によって（例えば、０．１の非難値を、第１の条項に割り当てられる０．０５の非難値と、第２の条項に割り当てられる０．０５の非難値とに分割することによって）、非難の半分を第１の条項に割り当て、非難の半分を第２の条項に割り当て得る。

さらに別の例として、請求コードフィードバックモジュール４１０は、構成要素と関連付けられた従来の既知の可能性を構成要素に割り当てることによって、システム１００ａの特定の構成要素（または副構成要素）に強化を適用し得る。例えば、特定の構成要素は、複数の異なる規則と関連して、閉フィードバックループで観察され得る。構成要素の正確さは、請求コードフィードバックモジュール４１０によって、その構成要素に対する誤りの従来の既知の可能性として、観察され、記録され、次いで使用され得る。

演算５０６で識別された構成要素に強化出力４１２を適用した結果は、システム１００ａ内に記憶され得る。例えば、特定の構成要素と関連付けられた信頼性スコアは、該特定の構成要素内に記憶され、またはそれと関連し得る。例えば、概念抽出構成要素１２０ａ〜ｃと関連付けられる信頼性スコアは、それぞれ、概念抽出構成要素１２０ａ〜ｃ内に、または転写システム１０４内に記憶され、概念抽出構成要素１２０ａ〜ｃと関連付けられ得る。同様に、フォワード論理構成要素１３２ａ〜ｃと関連付けられる信頼性スコアは、それぞれ、フォワード論理構成要素１３２ａ〜ｃ内に、または推論モジュール１３０内に記憶され、フォワード論理構成要素１３２ａ〜ｃと関連付けられ得る。別の例として、信頼性スコアは、請求コード１４２ａ〜ｃに記憶され、またはそれと関連し得る。例えば、フォワード論理構成要素の信頼性スコアまたは請求コード１４２ａを生成する責任がある概念抽出構成要素は、請求コード１４２ａ内に記憶され、または請求コード１４０内に記憶され、請求コード１４２ａと関連付けられ得る。

上で述べたように、請求コードを生成した構成要素は、例えば請求コードから構成要素への１つ以上のリンクをたどることによって、演算５０６で識別され得る。しかしながら、そのようなリンクをたどることは、単に、請求コードを生成する責任がある構成要素を識別するに過ぎない。しかしながら、そのような識別は、複数の副構成要素を含む構成要素を識別し得、そのいくつかは、請求コードを生成するために正確なデータに信頼され、そのいくつかは、請求コードを生成するために不正確なデータを信頼する。正確なデータを信頼する副構成要素に非難を割り当てること、または不正確なデータを信頼する副構成要素に賞賛を割り当てることは望ましくない。

したがって、本発明のいくつかの実施形態は、構成要素内の副構成要素の責任間で区別する。例えば、図５Ｂを参照すると、図５Ａの演算５１２を実装するために本発明の一実施形態において行われる方法（フィードバック４０８がレビュアー４０６によって提供された請求コードを生成する責任があった構成要素と非難を関連付ける）のフローチャートが示されている。方法５１２は、演算５０６で識別された構成要素の全ての副構成要素を識別する（図５Ｂ、演算５２２）。次いで、そのような各副構成要素Ｓについて（図５Ｂ、演算５２４）、方法５１２は、レビュアーのフィードバック４０８が、副構成要素Ｓには請求コードの不正確さに対する責任があることを示すかどうかを判断する（図５Ｂ、演算５２６）。副構成要素Ｓに責任があると判断された場合、方法５１２は、上で説明した方法のいずれかで、副構成要素Ｓに非難を割り当てる（図５Ｂ、演算５２８）。

副構成要素Ｓに責任があると判断されなかった場合、方法５１２は、上で説明した方法のいずれかで、副構成要素Ｓに賞賛を割り当て得る（図５Ｂ、演算５３０）か、または副構成要素Ｓと関連していかなる措置も講じ得ない。方法５１２は、残りの副構成要素に対して上で説明した演算を繰り返す（図５Ｂ、演算５３２）。図５Ａおよび図５Ｂの方法の１つの結果は、フィードバックモジュール４１０が、一方の構成要素の副構成要素に強化を適用し得るが、もう一方の構成要素の副構成要素には適用し得ないこと、およびフィードバックモジュール４１０が、一方の種類の強化（例えば、賞賛）を一方の構成要素の副構成要素に提供し得、もう一方の種類の強化（例えば、非難）をもう一方の構成要素の副構成要素に適用し得ることである。

特定の構成要素の副構成要素に賞賛を割り当てるために、同様の手法が適用され得る。例えば、図５Ｃを参照すると、図５Ａの演算５１０を実装するために本発明の一実施形態において行われる方法（フィードバック４０８がレビュアー４０６によって提供された請求コードを生成する責任があった構成要素と賞賛を関連付ける）のフローチャートが示されている。方法５１０は、演算５０６で識別される構成要素の全ての副構成要素を識別する（図５Ｃ、演算５４２）。次いで、そのような各副構成要素Ｓについて（図５Ｃ、演算５４４）、方法５１０は、レビュアーのフィードバック４０８が、副構成要素Ｓには請求コードの正確さに対する責任があることを示すどうかを判断する（図５Ｃ、演算５４６）。副構成要素Ｓに責任があると判断された場合、方法５１０は、上で説明した方法のいずれかで、副構成要素Ｓに賞賛を割り当てる（図５Ｃ、演算５４８）。

副構成要素Ｓに責任があると判断されなかった場合、方法５１０は、上で説明した方法のいずれかで、副構成要素Ｓに非難を割り当て得る（図５Ｃ、演算５５０）か、または副構成要素Ｓと関連していかなる措置も講じ得ない。方法５１０は、残りの副構成要素に対して上で説明した演算を繰り返す（図５Ｃ、演算５５２）。

請求コードフィードバックモジュール４１０は、図５Ｂおよび図５Ｃで示される方法の一方または双方を実装し得る。換言すれば、請求コードフィードバックモジュール４１０は、副構成要素基準で（および随意に、構成要素基準でも）非難を割り当て得るが、賞賛は、副構成要素基準でだけ割り当て得る。別の例として、請求コードフィードバックモジュール４１０は、副構成要素基準で（および随意に、構成要素基準でも）賞賛を割り当て得るが、非難は、副構成要素基準でだけ割り当て得る。さらに別の例として、請求コードフィードバックモジュール４１０は、副構成要素基準で（および随意に、構成要素基準でも）非難を割り当て得、また、副構成要素基準で（および随意に、構成要素基準でも）賞賛も割り当て得る。さらに別の例として、請求コードフィードバックモジュール４１０は、構成要素基準でだけ非難を割り当て得、また、構成要素基準でだけ賞賛を割り当て得る。

請求コードフィードバックモジュール４１０は、請求コードフィードバック４０８が、特定の副構成要素Ｓが特定の請求コードの正確さまたは不正確さに対する責任があることを示すかどうかを（例えば、図５Ｂの演算５２６および図５Ｃの演算５４８で）判断するために、種々の手法のうちのいずれかを使用し得る。例えば、図６を参照すると、請求コードフィードバックモジュール４１０が、識別する責任がある構成要素を実装するために逆推論モジュール６３０を使用する、システム６００のデータフロー図が示されている。

逆推論モジュール６３０は、逆論理構成要素６３２ａ〜ｃを含み、それぞれが、推論モジュール１３０（図１Ａ）のフォワード論理構成要素１３２ａ〜ｃに関連して上で開示される方法のうちのいずれかで実装され得る。逆論理構成要素６３２ａ〜ｃのそれぞれは、総じて推論モジュール１３０によって表され、実装される１組の論理（例えば、１組の規則）を通じて後ろ向きに推論するための別個の論理を逆に実装し得る。総じて推論モジュール１３０によって表され、実装される１組の論理は、本明細書において、推論モジュール１３０の「規則組」と称されるが、より一般的には、推論モジュール１３０が、規則に加えて、または規則以外の論理を実装し得ること、および「規則組」という用語が、一般的に、本明細書で任意のそのような論理を指すことを理解されたい。

逆論理構成要素６３２ａは、推論モジュール１３０の規則組を通じて後ろ向きに推論するための第１の論理を実装し得、逆論理構成要素６３２ｂは、推論モジュール１３０の規則組を通じて後ろ向きに推論するための第２の論理を実装し得、逆論理構成要素６３２ｃは、推論モジュール１３０の規則組を通じて後ろ向きに推論するための第３の論理を実装し得る。

例えば、逆論理構成要素６３２ａ〜ｃのそれぞれは、確証的論理構成要素および反証的論理構成要素の双方を含み得、どちらも、推論モジュール１３０のフォワード論理構成要素１３２ａ〜ｃ（図１Ａ）と関連して上で開示される方法のうちのいずれかで実装され得る。より具体的には、逆論理構成要素６３２ａは、確証的論理構成要素６３４ａと、反証的論理構成要素６３４ｂとを含み、逆論理構成要素６３２ｂは、確証的論理構成要素６３４ｃと、反証的論理構成要素６３４ｄとを含み、逆論理構成要素６３２ｃは、確証的論理構成要素６３４ｅと、反証的論理構成要素６３４ｆとを含む。

請求コードフィードバックモジュール４１０は、フィードバック４０８がレビューされた請求コードの正確さを確証した場合（すなわち、フィードバック４０８が、レビューされた請求コードが正確なことを示した場合）に、推論モジュール１３０の規則組の論理を逆にするために、確証的論理構成要素を使用し得る。換言すれば、確証的論理構成要素は、（１）推論モジュール１３０の規則組、（２）主題１６０、（３）レビュー中の請求コード、および（４）レビューした請求コードが正確であることを示すフィードバックから引き出され得る、結論を特定する。そのような結論は、例えば、推論モジュール１３０の規則組の中の特定のフォワード論理構成要素によって表される論理の前提（すなわち、条件）が有効（正確）である、または前提の有効性についていかなる結論も引き出すことができない、というものであり得る。

これとは逆に、請求コードフィードバックモジュール４１０は、フィードバック４０８がレビューされた請求コードの正確さを反証した場合（すなわち、フィードバック４０８が、レビューされた請求コードが不正確なことを示した場合）に、推論モジュール１３０の規則組の論理を逆にするために、反証的論理構成要素を使用し得る。換言すれば、反証的論理構成要素は、（１）推論モジュール１３０の規則組、（２）主題１６０、（３）レビュー中の請求コード、および（４）レビューした請求コードが正確であることを示すフィードバックから引き出され得る、結論を特定する。そのような結論は、例えば、推論モジュール１３０の規則組の中の特定のフォワード論理構成要素によって表される論理の前提（すなわち、条件）が無効（不正確）である、または前提の有効性についていかなる結論も引き出すことができない、というものであり得る。

フォワード論理構成要素１３２ａが「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」という形態の論理を表す、簡単な例を考える。推論モジュール１３０は、「概念Ａがデータソース（例えば、草稿転写物１０６）によって表される場合、概念Ｂを表す請求コードを請求コード１４０に加える。」ことを意味するように、そのような規則を適用し得る。逆論理構成要素６３２ａがフォワード論理構成要素１３２ａに対応すると仮定すれば、逆論理構成要素６３２ａの確証的論理構成要素６３４ａおよび反証的論理構成要素６３４ｂは、表２によって示される論理を表し得る。

表２によって示されるように、確証的論理構成要素６３４ａは、次の組み合わせを示す論理を表し得る。（１）規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」、および（２）Ｂが真である（例えば、Ｂを表す請求コードが正確であると確証された）ことを示すフィードバックが、（３）Ａが真である（例えば、Ａを表すコードが正確である）という結論を正当化する。そのような結論は、推論モジュール１３０の規則組が、規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」以外のいかなる論理も含まないことも分かっている場合に正当化され得る。したがって、確証的論理構成要素６３４ａは、Ｂが正確であるというフィードバックに基づいて、推論モジュール１３０の規則組（Ｂを生成した、規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」以外の規則を含む）に逆推論を適用することによって、Ａが正確であるという結論を引き出し得る。この場合、請求コードフィードバックモジュール４１０は、Ｂを表す請求コードを生成した構成要素に賞賛を割り当て得る。確証的論理構成要素６３４ａが、「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」がＢを生成することができる推論モジュール１３０の規則組の中の唯一の規則であると判断することができない場合、確証的論理モジュールは、Ｂを表す請求コードを生成した構成要素に賞賛も非難も割り当て得ない。

今度は、逆論理構成要素６３２ａの反証的論理構成要素６３４ｂを考える。表２によって示されるように、反証的論理構成要素６３４ｂは、例えば、次の組み合わせを示す論理を表し得る。（１）規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」、および（２）Ｂの反証が、（３）Ａが偽（例えば、概念Ａを表すコードが不正確）であるという結論を正当化する。この場合、請求コードフィードバックモジュール４１０は、概念Ｂを表す請求コードを生成した構成要素（例えば、概念Ａを表す概念コードを生成した構成要素）に非難を割り当て得る。

上で開示される手法は、図１Ａで示される種々のリンク１２４ａ〜ｃ、１３４ａ〜ｃ、および１４４ａ〜ｃの全てを使用せずに、請求コードを生成する責任がある構成要素を識別するために使用され得る。具体的には、「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」という形態の規則を考える。概念抽出構成要素のうちの１つ１２０ａが、単に概念Ａのインスタンスを表す概念コードを生成する責任だけしかない（すなわち、他の概念抽出構成要素１２０ｂ〜ｃのいずれも概念Ａのインスタンスを表す概念コードを生成しない）と仮定する。この場合、請求コードフィードバックモジュール４１０が、規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」および概念Ｂを表す請求コードに提供されるフィードバックに基づいて、概念Ａを表す概念コードを生成する責任がある概念抽出構成要素に強化（賞賛または非難）を割り当てるべきであると結論した場合、請求コードフィードバックモジュール４１０は、規則「Ａである場合、Ｂである（Ｉｆ Ａ，Ｔｈｅｎ Ｂ）」からの概念Ａを概念抽出構成要素１２０ａに対応する概念Ａと適合させることによって、適切な概念抽出構成要素１２０ａを識別し得る。換言すれば、請求コードフィードバックモジュール４１０は、概念Ａを表す概念コードを実際に生成した概念抽出構成要素の任意の記録から作成、記憶、または読み出すことを必要とせずに、オンザフライで（すなわち、図５Ａの演算５０６を行っている間に）責任がある概念抽出構成要素１２０ａを識別し得る。

逆推論モジュール６３０は、代替的に、または加えて、逆論理構成要素６３２ａ〜ｃを使用して、レビューされた請求コードの正確さまたは不正確さに対する責任がある、または責任がない副構成要素を識別し、それによって、演算５２６（図５Ｂ）および演算５４６（図５Ｃ）を可能にする。例えば、フォワード論理構成要素１３２ａが、形態「ＡかつＢである場合、Ｃである（Ｉｆ（Ａ ＡＮＤ Ｂ），Ｔｈｅｎ Ｃ）」という形態の規則を表すと仮定する。フォワード推論モジュール１３０は、「概念Ａおよび概念Ｂがデータソース（例えば、草稿転写物１０６）によって表される場合、概念Ｃを表す請求コードと」請求コード１４０に加える。」ことを意味するように、そのような規則を適用し得る。逆論理構成要素６３２ａの確証的論理構成要素６３４ａおよび反証的論理構成要素６３４ｂは、表３によって示される論理を表し得る。

表３によって示されるように、確証的論理構成要素６３４ａは、例えば、Ｃが真である（例えば、概念Ｃを表す請求コードが正確である）ことを示すフィードバックに基づいて、規則「ＡかつＢである場合、Ｃである（Ｉｆ（Ａ ＡＮＤ Ｂ），Ｔｈｅｎ Ｃ）」が逆にされた場合に、推論モジュール１３０の規則組の中のいかなる他の規則もＣを生成することができなければ、Ａが真であり（例えば、概念Ａを表し、規則によって信頼される概念コードが正確である）、Ｂが真である（例えば、概念Ｂを表し、規則によって信頼される概念コードが正確である）と結論することができることを示す論理を表し得る。この場合、請求コードフィードバックモジュール４１０は、概念Ａを表すコードを生成した構成要素、および概念Ｂを表すコードを生成した構成要素に賞賛を割り当て得る。

表３によって示されるように、反証的論理構成要素６３４ｂは、例えば、Ｃが偽である（例えば、概念Ｃを表す請求コードが不正確である）ことを示すフィードバックに基づいて、規則「ＡかつＢである場合、Ｃである（Ｉｆ（Ａ ＡＮＤ Ｂ），Ｔｈｅｎ Ｃ）」が逆にされた場合に、Ａが偽であるか、Ｂが偽であるか、またはＡもＢも偽であることを示す論理を表し得る。この場合、請求コードフィードバックモジュール４１０は、Ａを生成する責任がある構成要素およびＢを生成する責任がある構成要素の双方に非難を割り当て得る。例えば、請求コードフィードバックモジュール４１０は、概念Ａを生成する責任がある構成要素に非難の５０％を割り当て、概念Ｂを生成する責任がある構成要素に非難の５０％を割り当てる等によって、非難を均一に分割し得る。

そのような手法は、結果として、当該の非難の価値がない構成要素に非難を割り当て得る、具体的には、請求フィードバックモジュール４１０が、経時的に繰り返し同じ構成要素に、および経時的にシステム１００ａ〜ｂの中の種々の構成要素に非難および賞賛を割り当てるが、結果として生じる、種々の構成要素と関連付けられる信頼性スコアは、そのような構成要素の実際の信頼性を反映する可能性がある。したがって、本発明の実施形態の１つの利点は、ある個々の場合で賞賛および非難を不正確に割り当てている間であっても、経時的に正確さを増加させながら構成要素に賞賛および非難を割り当てることが可能なことである。

代替として、例えば、コードＡまたはＢを生成する責任がある構成要素に任意の賞賛または非難を割り当てることが直ちに可能ではない場合に、請求コードフィードバックモジュール４１０は、「偽」の真理値を「ＡかつＢである場合、Ｃである（Ｉｆ（Ａ ＡＮＤ Ｂ），Ｔｈｅｎ Ｃ）」と（例えば、その規則を表すフォワード論理構成要素と）関連付け、記憶し得る。下でより詳細に説明するように、この真理値は、Ａおよび／またはＢの真理値に関して、個々に結論を引き出すために使用され得る。

今度は、フォワード論理構成要素１３２ａが、「ＡまたはＢである場合、Ｃである（Ｉｆ（Ａ ＯＲ Ｂ），Ｔｈｅｎ Ｃ）」という形態の規則を表すと仮定する。推論モジュール１３０は、「概念Ａがデータソース（例えば、草稿転写物１０６）によって表される、または概念Ｂがデータソースによって表される場合に、概念Ｃを表す請求コードを請求コード１４０に加える。」ことを意味するように、そのような規則を適用し得る。逆論理構成要素６３２ａの確証的論理構成要素６３４ａおよび反証的論理構成要素６３４ｂは、表４によって示される論理を表し得る。

表４によって示されるように、確証的論理構成要素６３４ｂは、例えば、Ｃが真である（例えば、概念Ｃを表す請求コードが正確である）ことを示すフィードバックに基づいて、規則「ＡかつＢである場合、Ｃである（Ｉｆ（Ａ ＡＮＤ Ｂ），Ｔｈｅｎ Ｃ）」が逆にされた場合に、Ａが真であるか、Ｂが真であるか、またはＡもＢも真であることを示す論理を表し得る。この場合、請求コードフィードバックモジュール４１０は、Ａを生成する責任がある構成要素およびＢを生成する責任がある構成要素の双方に賞賛を割り当て得る。例えば、請求コードフィードバックモジュール４１０は、概念Ａを生成する責任がある構成要素に賞賛の５０％を割り当て、概念Ｂを生成する責任がある構成要素に賞賛の５０％を割り当てる等によって、賞賛を均一に分割し得る。

代替として、例えば、コードＡまたはＢを生成する責任がある構成要素に任意の賞賛または非難を割り当てることが直ちに可能ではない場合に、請求コードフィードバックモジュール４１０は、「真」の真理値を「ＡまたはＢである場合、Ｃである（Ｉｆ（Ａ ＯＲ Ｂ），Ｔｈｅｎ Ｃ）」と（例えば、その規則を表すフォワード論理構成要素と）関連付け、記憶し得る。下でより詳細に説明するように、この真理値は、Ａおよび／またはＢの真理値に関して、個々に結論を引き出すために使用され得る。

表４によって示されるように、反証的論理構成要素６３４ｂは、例えば、Ｃが偽である（例えば、概念Ｃを表す請求コードが不正確である）ことを示すフィードバックに基づいて、規則「ＡまたはＢである場合、Ｃである（Ｉｆ（Ａ ＯＲ Ｂ），Ｔｈｅｎ Ｃ）」が逆にされた場合に、Ａが偽となり、Ｂが偽となるはずであることを示す論理を表し得る。この場合、請求コードフィードバックモジュールは、概念Ａを表すコードを生成する責任がある構成要素および概念Ｂを表すコードを生成する責任がある構成要素の双方に非難を割り当て得る。

上で説明した特定の反転論理は、単なる例示に過ぎず、本発明の限定を成すものではない。当業者は、特に上で列記されたもの以外の形態を有する論理に、他の反転論理を適用できることを認識するであろう。

レビュアー４０６によって提供されるフィードバックは、レビューされた請求コードが正確かどうかの指示に加えて、またはその代わりに、レビューされた請求コードに対する改訂を含み得る。例えば、レビュアー４０６は、フィードバック４０８を介して、代替の請求コードを示し得る。そのような代替の請求コードを受け取ることに応じて、請求コードフィードバックモジュール４１０は、レビューされた請求コードを代替の請求コードと置き換え得る。レビュアー４０６は、そのようなコードのテキストをタイプする、リストからコードを選択する、または代替の請求コードの記述を選択するための任意のユーザインターフェースを使用する等によって、代替の請求コードを特定し得、それに応じて、請求コードフィードバックモジュール４１０は、代替の請求コードを選択し、それを使用してデータソースの中のレビューされた請求コードを置き換え得る。

例えば、再度表１を参照して、フォワード推論モジュール１３０が、Ｒｕｌｅ＃２を使用して、「＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞」を表す請求コード１４２ｂを生成したと仮定し、また、レビュアー４０６が、「＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞」を、「＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞」と置き換えるべきであることを示すフィードバック４０８を提供したと仮定する。それに応じて、請求コードフィードバックモジュール４１０は、コード「＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞」を、草稿転写物１０６のコード「＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞」と置き換え得る。

より一般的には、請求コードフィードバックモジュール４１０は、そのような代替の請求コードの受け取りを次のように扱い得る。（１）レビューされた請求コード（すなわち、この例では「＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞」である、レビュアー４０６によって置き換えられる請求コード）のレビュアー４０６による反証、および（２）代替の請求コード（この例では「＜詳細不明の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞」である）のレビュアー４０６による確証。換言すれば、レビュアー４０６によって提供される単一のフィードバック入力は、請求コードフィードバックモジュール４１０によって、１つの請求コードの反証および別の請求コードの確証として扱われ得る。それに応じて、フィードバックモジュール４１０は、（１）レビュアー４０６によって事実上反証されたレビューされた請求コードと関連した請求コードの反証に応じて、上で説明したステップのいずれかを取り得、また（２）レビュアー４０６によって事実上確証されたレビューされた請求コードと関連した請求コードの確証に応じて、上で説明したステップのいずれかを取り得る。

上で説明したように、レビュアーフィードバック４０８は、フィードバックモジュール４１０に、特定のフォワード論理構成要素（例えば、規則）と真理値を関連付けさせ得る。フィードバックモジュール４１０は、そのような真理値を使用して、個々のフォワード論理構成要素および／またはその副構成要素を自動的に確証または反証し得る。一般に、フィードバックモジュール４１０は、任意の所与の時点で、フォワード論理構成要素１３２ａ〜ｃによって表される任意の利用可能な一連の論理およびそれらの関連付けられた真理値に従い、そのような一連の論理によって正当化される任意の結論を引き出し得る。

その結果、フィードバックモジュール４１０は、そのような構成要素がレビュアーのフィードバック４０８によって直接的に確証または反証されなかった場合であっても、システム１００ａの構成要素の正確さを確証または反証し得る。例えば、レビュアー４０６は、システム１００ａの第１の構成要素（例えば、フォワード論理構成要素）を反証する、請求コードのフィードバック４０８を提供し得る。そのような反証は、第２の構成要素（例えば、フォワード論理構成要素）に、レビュアー４０６によってフィードバック４０８が提供された請求コードを生成する責任がなかった場合であっても、フィードバックモジュールに、システム１００ａの第２の構成要素を確証または反証させ得る。フィードバックモジュール４１０によるシステム構成要素の自動の確証／反証は、システム構成要素の手動の確証／反証と関連して本明細書で開示される措置のいずれかを講じることを含み得る。このようにして、フィードバックモジュール４１０は、システム１００ａの任意の数の構成要素を通して一連の論理に従い得る。

上で説明したように、本明細書で使用される「構成要素」という用語は、構成要素の１つ以上の副構成要素を含む。したがって、例えば、レビュアーのフィードバック４０８がレビューされた請求コードを反証した場合、これは、フィードバックモジュール４１０に、フォワード論理構成要素１４２ａ〜ｃのうちの第１の１つの第１の副構成要素（例えば、条件）を確証させ得、その結果、フィードバックモジュール４１０に、フォワード論理構成要素１４２ａ〜ｃのうちの第２の１つの第１の副構成要素（例えば、条件）を確証させ得、その結果、フィードバックモジュール４１０に、フォワード論理構成要素１４２ａ〜ｃのうちの第１の１つの第２の副構成要素を反証させ得（それによって、非難を割り当てる）。

特定の例として、レビュアーのフィードバック４０８が、表１の規則＃２によって生成された請求コード「＜コントロール不良の糖尿病（ＵＮＣＯＮＴＲＯＬＬＥＤ＿ＤＩＡＢＥＴＥＳ）＞」を、請求コード「＜コントロール不良の糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞」と置き換える場合を再度考える。それに応じて、フィードバックモジュール４１０は、規則＃２によって「偽」（すなわち、反証する）という真理値を割り当て得るが、総じて、副構成要素（例えば、条項「患者が糖尿病である（ｐａｔｉｅｎｔ＿ｈａｓ＿ｐｒｏｂｌｅｍ＜ＤＩＡＢＥＴＥＳ＞）」、または条項「ｐ．ｇｅｔＳｔａｔｕｓ（）＝＝＜コントロール不良（ＵＮＣＯＮＴＲＯＬＬＥＤ）＞」）が、規則の反証に対して非難するとはまだ判断していない。

ユーザは、現在、請求コード「＜詳細不明な糖尿病（ＤＩＡＢＥＴＥＳ＿ＮＯＴ＿ＦＵＲＴＨＥＲ＿ＳＰＥＣＩＦＩＥＤ）＞」も確証したので、フィードバックモジュール４１０は、逆推論モジュール６３０の逆推論を使用して、表１の規則＃１を自動的に確証し、「真」（すなわち、確証する）という真理値を規則＃１に割り当て得る。規則＃１が確証されたので、条項「患者が糖尿病である（ｐａｔｉｅｎｔ＿ｈａｓ＿ｐｒｏｂｌｅｍ＜ＤＩＡＢＥＴＥＳ）＞）」が真である（確証された）ことが分かっている。また、上で説明したように、規則＃２の真理値が偽であることも分かっている。したがって、フィードバックモジュール４１０は、論理「ＡかつＢであり、Ａでない場合、Ｂでない（Ｉｆ（Ａ ＡＮＤ Ｂ）ＡＮＤ（ＮＯＴ Ａ），Ｔｈｅｎ（ＮＯＴ Ｂ））」を規則＃２に適用して、「ｐ．ｇｅｔＳｔａｔｕｓ（）＝＝＜コントロール不良（ＵＮＣＯＮＴＲＯＬＬＥＤ）＞」が偽であると結論し得る（ここで、Ａは、「患者が糖尿病である（ｐａｔｉｅｎｔ＿ｈａｓ＿ｐｒｏｂｌｅｍ＜ＤＩＡＢＥＴＥＳ＞）」であり、Ｂは、「ｐ．ｇｅｔＳｔａｔｕｓ（）＝＝＜コントロール不良（ＵＮＣＯＮＴＲＯＬＬＥＤ）＞」である）。フィードバックモジュール４１０は、この結論を引き出すことに応じて、コード「＜コントロール不良（ＵＮＣＯＮＴＲＯＬＬＥＤ）＞」を生成する責任がある構成要素と非難を関連付け得る。

コードを生成する責任がある構成要素に非難および賞賛を割り当てることは、システム４００が、フォワード推論モジュール１３０（例えば、規則組）の中の構成要素（例えば、条項）の構成の正確さを追跡し、それによって、概念コードおよび／または請求コードを生成する時点で信頼できる、システム１００ａの構成要素を識別することを可能にする。フィードバックモジュール４１０は、特定の構成要素が信頼できないと判断することに応じて、種々の措置のうちのいずれかを講じ得る。より一般的には、フィードバックモジュール４１０は、構成要素の信頼性スコアによって表され得るように、構成要素の信頼性に基づいて、種々の措置のうちのいずれかを講じ得る（図５Ａ、演算５１４）。

フィードバックモジュール４１０は、例えば構成要素がいくつかの所定の閾値未満（またはそれを超える）信頼性スコアを有する場合に、特定の構成要素を「信頼できない」ものとみなし得る。例えば、構成要素が、所定の最小回数を超えて反証された概念コードを生成した場合に、該構成要素を「信頼できない」ものとみなし得る。構成要素が信頼できないかどうかを判断する目的で、フィードバックモジュール４１０は、人間レビュアーによる手動の反証だけを考慮し得、または手動の反証、およびフィードバックモジュール４１０による一連の論理の適用から生じる自動の反証の双方を考慮し得る。

システム４００は、構成要素が信頼できないと結論することに応じて、種々の措置のうちのいずれかを講じ得る。例えば、システム１００ａは、概念抽出構成要素によって（後に、および／または予め）生成される任意の概念コードをレビューし、承認することを人間オペレータ４０６に後に自動的に要求し得る一方で、他の概念抽出構成要素によって（後に、および／または予め）生成されるコードを、人間によるレビューを必要とせずに使用することを可能にする。例えば、特定の概念抽出構成要素が、フィードバックモジュール４１０によって信頼できないものとみなされた場合、システム１００ａは、特定の概念抽出構成要素が次に概念コードを生成するときに、生成された概念コードをレビュアーが承認するかどうかを示す入力をレビューし、承認することを人間レビュアーに要求する。システム１００ａは、レビュアー４０６が生成された概念コードを承認することを示す入力に応じて、草稿転写物１０６の中へ生成された概念コードを挿入し得、レビュアー４０６が生成された概念コードを承認しないことを示す入力に応じて、草稿転写物１０６の中へ生成された概念コードを挿入し得ない。

加えて、または代替として、システム１００ａは、信頼できない概念抽出構成要素によって生成される概念コードに基づいて（後に、および／または予め）生成される任意の概念コードをレビューし、承認することを人間オペレータ４０６に後に自動的に要求し得る一方で、信頼できない概念抽出構成要素を信頼せずに（後に、および／または予め）生成される請求コードを、人間によるレビューを必要とせずに使用することを可能にする。例えば、特定の概念抽出構成要素が、フィードバックモジュール４１０によって信頼できないものとみなされる場合、システム１００ａは、概念コード（例えば、データソースが、信頼できない概念抽出構成要素によって生成される概念コードを含むことを必要とする条件）を参照する論理に基づいて、フォワード論理構成要素１３２ａ〜ｃのうちのいずれかが次に概念コードを生成するときに、生成された請求コードおよび／または概念コードをレビュアーが承認するかどうかを示す入力をレビューし、承認することを人間レビュアーに要求する。システム１００ａは、レビュアー４０６が生成された請求コードおよび／または概念コードを承認することを示す入力に応じて、生成された請求コードを草稿転写物１０６に挿入し得、レビュアー４０６が生成された請求コードおよび／または概念コードを承認しないことを示す入力に応じて、生成された請求コードを草稿転写物１０６に挿入し得ない。

別の例として、特定の概念抽出構成要素が信頼できないと結論することに応じて、システム４００は、人間レビュアー４０６にそのような不十分な信頼性を通知し得、それに応じて、人間レビュアー４０６または他の人は、その信頼性を向上させるために、識別された概念抽出構成要素を（例えば、再プログラムすることによって）修正し得る。

上で説明したある例は、システム１００ａ〜ｂの構成要素に強化を適用すること（すなわち、賞賛および／または非難を割り当てること）を指すが、本発明の実施形態はまた、請求コード１４０にフィードバックを提供する１人以上の人間レビュアー４０６に強化を適用するためにも使用され得る。例えば、システム４００は、人間レビュアー４０６と信頼性スコアを関連付け得、レビュアー４０６と関連して上で説明したものと同じ様式で、システム４００にフィードバックを提供する１人以上の付加的な人間レビュアー（図示せず）のそれぞれと別個の信頼性スコアを関連付け得る。

図４および図５Ａと関連して上で説明したように、請求コードフィードバックモジュール４１０は、請求コード１４２ａ〜ｃのうちの特定の１つと関連して、人間レビュアー４０６にフィードバック４０８を求め得る。請求コードフィードバックモジュール４１０は、レビュー中の請求コードと関連付けられる基準信頼性スコアをさらに識別し得る。そのような信頼性スコアは、例えば、本明細書で開示される方法のうちのいずれかで実装され得、したがって、例えば、「正確である」もしくは「正確でない」という値、または中間の検証ステータスを表す任意の値を有し得る。請求コードフィードバックモジュール４１０は、最初にデフォルトの信頼性スコアを請求コード（例えば、０．０、１．０、または０．５）と関連付け、次いで、請求コードに関して経時的にレビュアー４０６および他のレビュアーによって提供されるフィードバック４０８に応じて、基準信頼性スコアを修正すする等による、任意の様式で、請求コードの基準信頼性コードを識別し得る。

その結果、多くのレビュアーが複数の請求コードのフィードバックを提供するときに、システム４００は、経時的に概念抽出構成要素１２０ａ〜ｃと関連付けられる信頼性スコアを精緻化し得る。請求コードフィードバックモジュール４１０は、下で説明される過程で、請求コードのそのような精緻化された信頼性スコアを、請求コードの基準信頼性スコアとして使用し得る。請求コードフィードバックモジュール４１０は、例えば、ある最小の所定量のフィードバックが請求コードに提供されるまで、またはある最小の所定数のレビュアーが請求コードのフィードバックを提供するまで待機する等によって、最初に、請求コードの信頼性スコアがある所定の程度の確証を達成するまで待機し得る。

レビュアー（レビュアー４０６および他のレビュアー等）が、請求コードと関連して請求コードフィードバックモジュール４１０にフィードバックを提供し続けるときに、請求コードフィードバックモジュールは、人間レビュアーによって提供されるフィードバックが、個々に、または全体で、信頼性スコア（例えば、十分に確証された信頼性スコア）と十分に（例えば、ある所定の程度を超えて）相違しているかどうかを判断し得る。判定が、レビュアーのフィードバックが基準信頼性スコアと十分に相違することを示す場合、請求コードフィードバックモジュール４１０は、次のうちの１つ以上等の、種々の措置のうちのいずれかを講じ得る。（１）相違しているフィードバックを提供した人間レビュアーの１人以上に非難を割り当てる、および（２）相違しているフィードバックから生じる任意の非難が、対応する構成要素（例えば、概念抽出構成要素１２０ａ〜ｃおよび／またはフォワード論理構成要素１３２ａ〜ｃ）へ、システム１００ａ〜ｂを通して、後ろ向きに伝達されないようにする。（１）および（２）を行うことは、システム４００が、システムの１つの構成要素（人間レビュアー４０６）に非難を提供するが、そのような非難を、システム構成要素のいずれにも伝達しない。

請求コードフィードバックモジュールは、人間レビュアー４０６が提供するフィードバックに基づいて、経時的にそのようなレビュアーと関連付けられる別個の信頼性スコアを修正するために、任意の人数の人間レビュアーに同じ手法を適用し得る。そのような方法は、人間レビュアー４０６を、逆推論構成要素６３０によって実装される一連の逆論理において、実質的に第１の構成要素として扱う。

本発明を特定の実施形態に関して上で説明してきたが、上述の実施形態は、例示のためだけに提供したものであり、本発明の範囲を限定または規定するものではないことを理解されたい。以下を含むがこれに限定されない様々な他の実施形態もまた、特許請求の範囲内である。例えば、本明細書で説明される要素および構成要素は、追加的な構成要素にさらに分割するか、または結合させて、より少ない構成要素で同じ機能を実行するように形成され得る。

本明細書で開示される機能のいずれかは、それらの機能を行うための手段を使用して実装され得る。そのような手段としては、下で説明されるコンピュータ関連の構成要素等の、本明細書で開示される構成要素のいずれかが挙げられるが、それらに限定されない。

本明細書の特定の実施例は、「請求コード」を伴うが、そのような実施例は、本発明を限定するものではない。より一般的には、本発明の実施形態は、請求コード以外のコードと関連して、ならびにデータベースに記憶されて構造化文書以外の形態のデータ等の、コード以外のデータ構造と関連して適用され得る。

上で説明した手法は、例えば、ハードウェア、１つ以上のコンピュータが読み出し可能な媒体上に実体的に記憶された１つ以上のコンピュータプログラム、ファームウェア、またはそれらのあらゆる組み合わせで実装され得る。上述した手法は、プロセッサ、プロセッサによって読み出し可能な記憶媒体（例えば、揮発性および不揮発性メモリおよび／または記憶要素を含む）、入力デバイス、および出力デバイスの任意の数のあらゆる組み合わせを含む、プログラム可能なコンピュータ上で実行する（またはそれによって実行可能な）１つ以上のコンピュータプログラムに実装され得る。プログラムコードは、入力デバイスを使用して入力された入力に適用して、説明した機能を実行し、出力デバイスを使用して出力を生じさせ得る。

以下の特許請求の範囲内の各コンピュータプログラムは、アセンブリ言語、機械語、高水準手続きプログラミング言語、またはオブジェクト指向プログラミング言語等の、あらゆるプログラミング言語で実装することが可能である。プログラミング言語は、例えば、コンパイル型またはインタプリタ型のプログラミング言語であってもよい。

このようなコンピュータはそれぞれ、コンピュータプロセッサによって実行するための機械で読み出し可能な記憶デバイスに実体的に組み込まれた、コンピュータプログラム製品に実装され得る。本発明の方法ステップは、コンピュータが読み出し可能な媒体上に実体的に組み入れられたプログラムを実行するコンピュータプロセッサによって実行され、入力を操作して出力を生成することにより本発明の機能を実行し得る。例として、適切なプロセッサには、汎用および専用マイクロプロセッサの両方が挙げられる。概して、プロセッサは、リードオンリーメモリおよび／またはランダムアクセスメモリから命令およびデータを受信する。コンピュータプログラム命令を実体的に使用するのに好適なストレージデバイスとしては、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む半導体メモリデバイス、内蔵ハードディスクおよびリムーバルディスク等の磁気ディスク、光磁気ディスク、およびＣＤ−ＲＯＭ等の、全ての形態の不揮発性メモリが挙げられる。上述のいずれかは、専用のＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって補われ得るか、またはその中に組み込まれ得る。コンピュータは、概して、内蔵ディスク（図示せず）またはリムーバブルディスク等の記憶媒体からプログラムおよびデータを受信することもできる。これらの要素はまた、従来のデスクトップまたはワークステーションコンピュータ、ならびに、本明細書に記述された方法を実装するコンピュータプログラムの実行に好適な他のコンピュータにも見出され、あらゆるデジタル印刷エンジンまたはマーキングエンジン、ディスプレイモニタ、または紙、フィルム、ディスプレイスクリーン、または他の出力媒体上にカラーまたはグレースケールの画素を形成することができる、他のラスタ出力装置とともに使用され得る。

Claims (22)

1. 少なくとも１つの非一時的なコンピュータが読み出し可能な媒体上に実体的に記憶されたコンピュータプログラム命令を実行する少なくとも１つのコンピュータプロセッサによって行われる、方法であって、
   前記方法は、データソースおよび第１の請求コードを含むシステムとともに使用され、
   （Ａ）ユーザから、前記第１の請求コードの検証ステータスを表す入力を受け取ることと、
   （Ｂ）前記入力、前記請求コード、および１組のフォワード論理に第１の逆論理を適用して、第１および第２の概念抽出構成要素を識別することと、
   （Ｃ）
   （Ｅ）（１）前記検証ステータスが、前記第１の請求コードが正確であることを示すかどうかを判断することと、
   （Ｅ）（２）前記検証ステータスが、前記第１の請求コードが不正確であることを示した場合に、前記第１および第２の概念抽出構成要素に負の強化を適用することであって、前記第１および第２の概念抽出構成要素間で前記負の強化を分配することを含むことと、
   を含む、前記第１および第２の概念抽出構成要素に強化を適用することと、
   を含む、方法。
   
2. （Ｃ）は、
   （Ｅ）（３）前記検証ステータスが、前記第１の請求コードが不正確であることを示さなかった場合に、前記第１および第２の概念抽出構成要素に正の強化を適用することであって、前記第１および第２の概念抽出構成要素に前記正の強化を分配することを含むこと
   をさらに含む、請求項１に記載の方法。
   
3. （Ｄ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないかどうかを判断することと、
   （Ｅ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないと判断された場合に、
   （Ｅ）（１）前記第１の概念抽出構成要素で、概念コードを生成することと、
   （Ｅ）（２）前記概念コードを前記データソースに加える前に、前記概念コードの人間によるレビューを要求することと、
   をさらに含む、請求項１に記載の方法。
   
4. （Ｄ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないかどうかを判断することと、
   （Ｅ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないと判断された場合に、
   （Ｅ）（１）前記識別された概念抽出構成要素で、概念コードを生成することと、
   （Ｅ）（２）前記システムの論理構成要素で、前記概念コードに基づいて第２の請求コードを生成することと、
   （Ｅ）（３）前記請求コードを前記システムに加える前に、前記第２の請求コードの人間によるレビューを要求することと、
   をさらに含む、請求項１に記載の方法。
   
5. （Ｂ）は、
   （Ｂ）（１）前記第１の概念抽出構成要素が、第１の概念のインスタンスを表す概念コードを生成するための手段を備えていると判断することと、
   （Ｂ）（２）前記第１の概念のインスタンスを表す概念コードを根拠として、第１の論理構成要素によって前記第１の請求コードが生成されたと判断することと、
   （Ｂ）（３）前記第１の論理構成要素によって前記第１の請求コードが生成されたという判断に基づいて、前記第１の概念抽出構成要素を識別することと、
   を含む、請求項１に記載の方法。
   
6. 第１の信頼性スコアが、前記第１の概念抽出構成要素と関連付けられ、前記第１の信頼性スコアは、前記第１の概念抽出構成要素が概念コードを正確に生成する、第１の程度の評価を表し、
   前記負の強化を適用することは、第２の信頼性スコアを前記第１の概念抽出構成要素と関連付けることを含み、前記第２の信頼性スコアは、前記第１の概念抽出構成要素が概念コードを正確に生成する、第２の程度の評価を表し、前記第２の程度は、前記第１の程度よりも低い、
   請求項１に記載の方法。
   
7. （Ｂ）は、
   （Ｂ）（１）前記第１の請求コードを生成した第１の論理構成要素を識別することと、
   （Ｂ）（２）前記ユーザからの前記入力に基づいて、前記第１の請求コードを生成するために前記第１の論理構成要素によって信頼された概念を識別することと、
   （Ｂ）（３）前記第１の論理構成要素によって信頼される前記概念に基づいて、前記第１の概念抽出構成要素を識別することと、
   を含む、請求項１に記載の方法。
   
8. （Ｂ）（３）は、前記第１の概念抽出構成要素が、前記第１の論理構成要素によって信頼される前記概念のインスタンスを表す概念コードを生成すると判断することによって、前記第１の概念抽出構成要素を識別することを含む、請求項８に記載の方法。
   
9. （Ｂ）は、
   （Ｂ）（１）前記第１の請求コードを生成した第１の論理構成要素を識別することであって、前記第１の論理構成要素は、第１の論理を実装するための手段を備え、前記第１の論理は、第１の条件を含み、前記第１の条件は、第１の副条件および第２の副条件を含む、第１の論理構成要素を識別することと、
   （Ｂ）（２）前記ユーザから受け取った前記入力に第１の逆論理を適用して、前記第１および第２の副条件のうちの少なくとも１つを識別することと、
   を含む、請求項１に記載の方法。
   
10. （Ｂ）（２）は、前記第１および第２の副条件のうちの少なくとも１つを正確に識別することを含み、（Ｂ）は、
    （Ｂ）（３）前記第１および第２の副条件のうちの前記識別された１つを満たす、第１の概念を識別することと、
    （Ｂ）（４）前記第１の概念のインスタンスを表す概念コードを生成するための手段を備える、概念抽出構成要素を識別することと、
    をさらに含む、請求項９に記載の方法。
    
11. （Ｂ）（２）は、前記第１および第２の副条件の双方を識別することを含む、請求項９に記載の方法。
    
12. コンピュータが読み出し可能な媒体上に実体的に記憶されたコンピュータが読み出し可能な命令を含む、非一時的なコンピュータが読み出し可能な媒体であって、前記命令は、データソースおよび第１の請求コードを含むシステムとともに使用する方法を行うために、少なくとも１つのコンピュータプロセッサによって実行可能であり、前記方法は、
    （Ａ）ユーザから、前記第１の請求コードの検証ステータスを表す入力を受け取ることと、
    （Ｂ）前記入力、前記請求コード、および１組のフォワード論理に第１の逆論理を適用して、第１および第２の概念抽出構成要素を識別することと、
    （Ｃ）
    （Ｅ）（１）前記検証ステータスが、前記第１の請求コードが正確であることを示すかどうかを判断することと、
    （Ｅ）（２）前記検証ステータスが、前記第１の請求コードが不正確であることを示した場合に、前記第１および第２の概念抽出構成要素に負の強化を適用することであって、前記第１および第２の概念抽出構成要素間で前記負の強化を分配することを含むことと、
    を含む、前記第１および第２の概念抽出構成要素に強化を適用することと、
    を含む、非一時的なコンピュータが読み出し可能な媒体。
    
13. （Ｃ）は、
    （Ｅ）（３）前記検証ステータスが、前記第１の請求コードが不正確であることを示さなかった場合に、前記第１および第２の概念抽出構成要素に正の強化を適用することであって、前記第１および第２の概念抽出構成要素に前記正の強化を分配することを含むことをさらに含む、
    請求項１２に記載のコンピュータが読み出し可能な媒体。
    
14. （Ｄ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないかどうかを判断することと、
    （Ｅ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないと判断された場合に、
    （Ｅ）（１）前記第１の概念抽出構成要素で、概念コードを生成することと、
    （Ｅ）（２）前記概念コードを前記データソースに加える前に、前記概念コードの人間によるレビューを要求することと、
    をさらに含む、請求項１２に記載のコンピュータが読み出し可能な媒体。
    
15. （Ｆ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないかどうかを判断することと、
    （Ｇ）概念コードの生成時に、前記第１の概念抽出構成要素が信頼できないと判断された場合に、
    （Ｅ）（４）前記識別された概念抽出構成要素で、概念コードを生成することと、
    （Ｅ）（５）前記システムの論理構成要素で、前記概念コードに基づいて第２の請求コードを生成することと、
    （Ｅ）（６）前記請求コードを前記システムに加える前に、前記第２の請求コードの人間によるレビューを要求することと、
    をさらに含む、請求項１２に記載のコンピュータが読み出し可能な媒体。
    
16. （Ｂ）は、
    （Ｂ）（４）前記第１の概念抽出構成要素が、第１の概念のインスタンスを表す概念コードを生成するための手段を備えていると判断することと、
    （Ｂ）（５）前記第１の概念のインスタンスを表す概念コードを根拠として、第１の論理構成要素によって前記第１の請求コードが生成されたと判断することと、
    （Ｂ）（６）前記第１の論理構成要素によって前記第１の請求コードが生成されたという判断に基づいて、前記第１の概念抽出構成要素を識別することと、
    を含む、請求項１２に記載のコンピュータが読み出し可能な媒体。
    
17. 第１の信頼性スコアが、前記第１の概念抽出構成要素と関連付けられ、前記第１の信頼性スコアは、前記第１の概念抽出構成要素が概念コードを正確に生成する、第１の程度の評価を表し、
    前記負の強化を適用することは、第２の信頼性スコアを前記第１の概念抽出構成要素と関連付けることを含み、前記第２の信頼性スコアは、前記第１の概念抽出構成要素が概念コードを正確に生成する、第２の程度の評価を表し、前記第２の程度は、前記第１の程度よりも低い、
    請求項１２に記載のコンピュータが読み出し可能な媒体。
    
18. （Ｂ）は、
    （Ｂ）（４）前記第１の請求コードを生成した第１の論理構成要素を識別することと、
    （Ｂ）（５）前記ユーザからの前記入力に基づいて、前記第１の請求コードを生成するために前記第１の論理構成要素によって信頼された概念を識別することと、
    （Ｂ）（６）前記第１の論理構成要素によって信頼される前記概念に基づいて、前記第１の概念抽出構成要素を識別することと、
    を含む、請求項１２に記載のコンピュータが読み出し可能な媒体。
    
19. （Ｂ）（３）は、前記第１の概念抽出構成要素が、前記第１の論理構成要素によって信頼される前記概念のインスタンスを表す概念コードを生成すると判断することによって、前記第１の概念抽出構成要素を識別することを含む、請求項１９に記載のコンピュータが読み出し可能な媒体。
    
20. （Ｂ）は、
    （Ｂ）（５）前記第１の請求コードを生成した第１の論理構成要素を識別することであって、前記第１の論理構成要素は、第１の論理を実装するための手段を備え、前記第１の論理は、第１の条件を含み、前記第１の条件は、第１の副条件および第２の副条件を含む、第１の論理構成要素を識別することと、
    （Ｂ）（６）前記ユーザから受け取った前記入力に第１の逆論理を適用して、前記第１および第２の副条件のうちの少なくとも１つを識別することと、
    を含む、請求項１２に記載のコンピュータが読み出し可能な媒体。
    
21. （Ｂ）（２）は、前記第１および第２の副条件のうちの少なくとも１つを正確に識別することを含み、
    （Ｂ）は、
    （Ｂ）（７）前記第１および第２の副条件のうちの前記識別された１つを満たす、第１の概念を識別することと、
    （Ｂ）（８）前記第１の概念のインスタンスを表す概念コードを生成するための手段を備える、概念抽出構成要素を識別することと、
    をさらに含む、請求項２０に記載のコンピュータが読み出し可能な媒体。
    
22. （Ｂ）（２）は、前記第１および第２の副条件の双方を識別することを含む、請求項２０に記載のコンピュータが読み出し可能な媒体。