JP2021504779A - 文書デジタル化における意味正規化のための方法、コンピュータ・プログラム及びシステム - Google Patents

文書デジタル化における意味正規化のための方法、コンピュータ・プログラム及びシステム Download PDF

Info

Publication number
JP2021504779A
JP2021504779A JP2020523741A JP2020523741A JP2021504779A JP 2021504779 A JP2021504779 A JP 2021504779A JP 2020523741 A JP2020523741 A JP 2020523741A JP 2020523741 A JP2020523741 A JP 2020523741A JP 2021504779 A JP2021504779 A JP 2021504779A
Authority
JP
Japan
Prior art keywords
key
class
document
candidate
document image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020523741A
Other languages
English (en)
Other versions
JP6964383B2 (ja
Inventor
ノースラップ、ケビン
トリム、クレイグ
ヒッキー、テリー
アデニラン、アビソーラ
ノースラップ、ケンジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2021504779A publication Critical patent/JP2021504779A/ja
Application granted granted Critical
Publication of JP6964383B2 publication Critical patent/JP6964383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】 文書イメージにおけるキーを正規化するためのコンピュータ実施方法、コンピュータ・プログラム、及びシステムを提供する。【解決手段】 文書イメージにおけるキーを正規化する方法が、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することを含む。文書メタデータにおいて、文書イメージの各オブジェクトの文脈、位置、及びスタイルが表される。候補キーは正規化されて正規形にされる。正規形に対応するキー・クラスを判断し、キー・クラスが候補キーを表す尤度を示す信頼性スコアを評価する。将来の文書の処理の向上のために、検証時に、意味データベースがキー・クラスで更新される。【選択図】 図2

Description

本開示は、文書デジタル化技術に関し、より具体的には、文書イメージ内に現れるキーを意味正規化するための方法、コンピュータ・プログラム製品及びシステムに関する。
従来の文書処理において、紙に印刷された(ink-on-paper)文書は、ページごとに走査され、それぞれの視覚イメージとして準備される。走査された紙から結果として得られる文書ファイルは、典型的には、一連のページの視覚イメージである。ページの視覚イメージの各々は、単語、句、文、及び特定の単語に対応する多数の形式の値を表すオブジェクトを有する。そうした視覚オブジェクトのデータ・コンテンツを認識し、特定のデータ・コンテンツを一緒に関連付けて、リレーショナル・データベースのデータ・フィールド名及び対応する値における計算データ(computational data)を作成する一連のプロセスは、文書デジタル化、又はデータ抽出と呼ばれる。多数のコンピュータ・プログラム・アプリケーションを用いて、計算データにアクセスし、これをさらに処理することができる。従来の紙形態で表わされる情報及び未だ計算型(computational)ではない走査された文書イメージの量を鑑みると、従来の文書からの自動的かつ正確なデータ抽出は、産業及び社会的生産性に著しく寄与し得る。
文書イメージにおけるキーを正規化するためのコンピュータ実施方法、コンピュータ・プログラム、及びシステムを提供する。
1つの態様において、文書イメージにおけるキーを正規化するための方法を提供することにより、従来技術の1つ又は複数の欠点が対処され、付加的な利点が与えられ、この方法は、コンピュータの1つ又は複数のプロセッサにより、文書イメージの文書メタデータを取得することであって、文書メタデータは、文書イメージ内に現れる各オブジェクトに対応する文脈、位置及びスタイルを含む、取得することと、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することと、候補キーを正規化して正規形(normal form)にすることと、正規形に対応するキー・クラスを判断することであって、キー・クラスはキー・オントロジ・データにおけるキーと関連付けられる、判断することと、文書メタデータに基づいて、キー・クラスについての信頼性スコアを評価することであって、信頼性スコアは、キー・クラスが候補キーを表す尤度を示す、評価することと、事前構成された検証方法に従ってキー・クラスを検証することに基づいて、意味データベースをキー・クラスで更新し、キー・クラスを、他の文書イメージ内に現れる意味的に交換可能なテキストと効率的に関連付けることができるようにすることとを含む。
本発明の別の態様は、文書イメージにおけるキーを正規化するための方法を提供し、この方法は、コンピュータの1つ又は複数のプロセッサにより、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することと、候補キーを正規化して正規形にすることと、正規形から候補キーの1つ又は複数のエイリアス(別名)を導出することであって、1つ又は複数のエイリアスは、意味データベースにおけるキーと関連付けられていない、導出することと、文書イメージの文書メタデータに基づいて、1つ又は複数のエイリアスの各々について、それぞれの信頼性スコアを評価することであって、信頼性スコアは、各エイリアスが候補キーを表す尤度を示す、評価することと、事前構成された検証方法に従って1つ又は複数のエイリアスを検証することに基づいて、意味データベースを1つ又は複数のエイリアスで更新し、テキストが候補キーと意味的にマッチすることに基づいて、1つ又は複数のエイリアスを他の文書イメージからのテキストと効率的に関連付けることができるようにすることと、を含む。
本発明の別の態様は、1つ又は複数のプロセッサにより可読であり、1つ又は複数のプロセッサにより実行される、文書イメージにおけるキーを正規化するための方法を実行する命令を格納するコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品を提供し、この方法は、文書イメージの文書メタデータを取得することであって、文書メタデータは、文書イメージ内に現れる各オブジェクトに対応する文脈、位置及びスタイルを含む、取得することと、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することと、候補キーを正規化して正規形にすることと、正規形に対応するキー・クラスを判断することであって、キー・クラスはキー・オントロジ・データにおけるキーと関連付けられる、判断することと、文書メタデータに基づいてキー・クラスについての信頼性スコアを評価することであって、信頼性スコアは、キー・クラスが候補キーを表す尤度を示す、評価することと、事前構成された検証方法に従ってキー・クラスを検証することに基づいて、意味データベースをキー・クラスで更新し、キー・クラスを、他の文書イメージ内に現れる意味的に交換可能なテキストと効率的に関連付けることができるようにすることと、を含む。
本発明のさらに別の態様は、1つ又は複数のプロセッサにより可読であり、1つ又は複数のプロセッサにより実行される、文書イメージにおけるキーを正規化するための方法を実行する命令を格納するコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品を提供し、この方法は、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することと、候補キーを正規化して正規形にすることと、正規形から候補キーの1つ又は複数のエイリアスを導出することであって、1つ又は複数のエイリアスは、意味データベースにおけるキーと関連付けられていない、導出することと、文書イメージの文書メタデータに基づいて、1つ又は複数のエイリアスの各々について、それぞれの信頼性スコアを評価することであって、信頼性スコアは、各エイリアスが候補キーを表す尤度を示す、評価することと、事前構成された検証方法に従って1つ又は複数のエイリアスを検証することに基づいて、意味データベースを1つ又は複数のエイリアスで更新し、テキストが候補キーと意味的にマッチすることに基づいて、1つ又は複数のエイリアスを他の文書イメージからのテキストと効率的に関連付けることができるようにすることとを含む。
本発明のさらに別の態様は、メモリと、メモリと通信する1つ又は複数のプロセッサと、メモリを介して1つ又は複数により実行可能な、文書イメージにおけるキーを正規化するための方法を実行するプログラム命令とを含むシステムを提供し、この方法は、文書イメージの文書メタデータを取得することであって、文書メタデータは、文書イメージ内に現れる各オブジェクトに対応する文脈、位置及びスタイルを含む、取得することと、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、文書イメージにおけるオブジェクトに対応する候補キーを識別することと、候補キーを正規化して正規形にすることと、正規形に対応するキー・クラスを判断することであって、キー・クラスはキー・オントロジ・データにおけるキーと関連付けられる、判断することと、文書メタデータに基づいてキー・クラスについての信頼性スコアを評価することであって、信頼性スコアは、キー・クラスが候補キーを表す尤度を示す、評価することと、事前構成された検証方法に従ってキー・クラスを検証することに基づいて、意味データベースをキー・クラスで更新し、キー・クラスを、他の文書イメージ内に現れる意味的に交換可能なテキストと効率的に関連付けることができるようにすることとを含む。
さらなる特徴は、本明細書に記載する技術を通して実現される。他の実施形態及び態様は、コンピュータ・プログラム製品及びシステムに限らず、本明細書に詳細に記載され、本発明の一部であるとみなされる。
本発明の1つ又は複数の態様が、本明細書の最後にある特許請求の範囲において、例として具体的に示され、明確に特許請求されている。本発明の上記及び他の目的、特徴、並びに利点は、添付図面と関連して用いられる以下の詳細な説明から明らかである。
本明細書に記載される1つ又は複数の実施形態による、文書のデジタル化の際にコンテンツを意味正規化するためのシステムを示す。 本明細書に記載される1つ又は複数の実施形態による、意味正規化システムにより実施する動作のフローチャートを示す。 本明細書に記載される1つ又は複数の実施形態による、意味正規化システムにより実施される、意味正規化のオブジェクトを有する例示的文書イメージを示す。 本明細書に記載される1つの実施形態による、文書イメージに対応する例示的文書メタデータを示す。 本明細書に記載される1つの実施形態による、意味正規化エンジンの例示的入力及び出力を示す。 本明細書に記載される1つの実施形態による、クラウド・コンピューティング・ノードを示す。 本明細書に記載される1つの実施形態による、クラウド・コンピューティング環境を示す。 本明細書に記載される1つの実施形態による、抽出化モデル層を示す。
図1は、本明細書に記載される1つ又は複数の実施形態による、文書デジタル化の際にコンテンツを意味正規化するためのシステム100を示す。
文書内に表されるデータを計算的に(computationally)使用する際の便宜のために、デジタル文書が好ましいことが多い。紙に印刷された文書を走査して取り込むとき、文書は、ページの一連の視覚イメージになるものの、デジタル・データとして計算的に使用する準備はできていない。文書処理の開始時に、文書イメージは、構造化されていないオブジェクトの集合である。オブジェクト内に示されるテキスト、数、記号及びそれらの組み合わせが、それぞれのデータとして抽出される。特定のテキスト及びデータを関連付け、リレーショナル・データベース内にキー値ペア(key-value pair)を形成して、文書イメージ内の情報を計算型にすることができる。
従来の文書のイメージを手動でデジタル化するのに必要な時間とコストは膨大であり、手動デジタル化は、人的エラー要因及び文書内の単語の個別の解釈に起因して、不正確で一貫性がないことがあるので、文書イメージ内に表されるデータのさらなる利用のために、文書イメージを正確にデジタル化するプロセスを自動化することが望ましい。例えば、走査された請求書からのデータをリレーショナル・データベース管理システムに入力し、データベース、ウェブサイト等からの他の文書のコンテンツに対して検索し、及び/又は比較することができる。
しかしながら、既存の文書処理アプリケーションでは、同一目的のための文書であっても、文書のカスタム形式及び特有の編成が非常に多く、文書イメージを処理し、文書から計算データを抽出する上で課題を提示する。具体的には、文書デジタル化の際、文書のデータ・フィールドにおける意味的に交換可能であるものの依然として独特の語句表現(wording)が、特定の正規化がなされずにそれぞれのデータ・フィールドとして認識される。例えば、大部分の請求書は、請求書を特定する請求書番号、請求書を受け取る顧客を特定するアカウント番号、及び請求書の対象である取引を特定する注文番号を有する。ある会社では、請求書は「Invoice No.(請求書番号)」、「Account No.(アカウント番号)」及び「Order No.(注文番号)」のような語句で表現され、別の会社では、同じデータ・フィールドが、「Inv_Num」、「Accnt_Num」及び「Purchase_Id」で表現され得る。本発明の特定の実施形態は、本明細書に記載されるように、多くの文書ソースからの種々の意味的に交換可能な語句表現を、本明細書に記載されるような正規化されたデータ・フィールド名として正規化し、文書の種々の形式にわたってそうした種々の意味的に交換可能な語句表現と関連付けられたデータを正確にデジタル化し、データが、データベース内で効率的に表されるようにすることができる。本明細書において、正規化されたデータ・フィールド名は、キー又はキー・クラスと呼ばれる。
システム100は、文書デジタル化エンジン120を含む。文書デジタル化エンジン120は、ユーザ・デバイス110を介して、ユーザ101から文書イメージ181を受け取る。文書イメージ181は、光学的に走査された文書の視覚イメージであるが、文書イメージ181のコンテンツは、計算型ではない。例えば、紙の文書の走査イメージは、文書イメージ181がいずれの計算データも有さないので、検索することも、又はデータ入力として別のアプリケーションに読み込むこともできない。文書イメージ181は、それぞれの単語に対応する多数のオブジェクトを有し、それらのオブジェクトは計算データとして抽出され得る。
文書デジタル化エンジン120は、意味正規化エンジン160を含む。文書デジタル化エンジン120は、文書イメージ181を処理し、各オブジェクトに関して事前構成されたパラメータを用いて文書イメージ181内の各オブジェクトを指定する文書メタデータ140を判断する。文書イメージ181内のオブジェクト階層の例が図4に提示される。文書メタデータ140のパラメータは、これらに限定されるものではないが、オブジェクト文脈141、位置座標143、及びオブジェクト・スタイル145とすることができる。文書デジタル化エンジン120は、文書メタデータ140内に表されるように、キー及びキーに対応する値を用いて、1つ又は複数のキー値ペア(KVP)155を、リレーショナル・データベース(RDB)150内に生成する。文書デジタル化エンジン120は、意味正規化エンジン160により実行される意味正規化の結果として得られるキー・クラス信頼性スコア・タプル191をユーザ101に報告する。ユーザ101は、随意的に、意味データベース130がキー・クラス・信頼性スコア・タプル191で更新されるか否かを示す、キー・クラス・信頼性スコア・タプル191に関するフィードバック199を提供することができる。
文書デジタル化エンジン120は、1つ又は複数の外部ツール170及び意味データベース130に結合される。外部ツール170の例は、これらに限定されるものではないが、文書メタデータ140をキャプチャするための光学式文字認識(Optical Character Recognition、OCR)アプリケーション、意味データベース130を確立するための単語分類器及び辞書のような言語プロセス、並びに意味データベース130の訓練及び精度向上のための機械学習ツールを含むことができる。意味データベース130は、1つ又は複数の文書クラス131、1つ又は複数のキー・エイリアス・セット135、及びキー・オントロジ・データ137を含む。
キー・オントロジ・データ137におけるキー138の特定の意味的に類似する変形は、キーに対応する1つ又は複数のキー・エイリアス・セット135内に格納される。エイリアスをキー・エイリアス・セット135内に格納する際、文書デジタル化エンジン120は、キーとエイリアスとの間の意味的類似性のレベルを調べ、キーとの意味的類似性が閾値類似性として構成されたレベルを下回るエイリアスを廃棄する。
キー・オントロジ・データ137は、教師あり機械学習ツールを動作する外部ツール170を用いて、文書デジタル化エンジン160のプロセス中に意味マッチングが見出されたとき、教師あり学習により訓練される。意味の類似性は、キーとエイリアスとの間では明らかでなくても、プログラマの入力に基づいて、エイリアスをキー・エイリアス・セット135内のキーと依然として関連付けることができる。従って、言語にわたって意味マッチングを発見し、既知のエイリアスを広範にサポートすることができる。
意味データベース130において、1つ又は複数の文書クラス131の1つの文書クラスは、文書クラス131のいずれかの文書に対して要求されるキーのセットを指定するクラスキー・セット133を含む。クラスキー・セット133は、ユーザ101により一意に定義され、アプリケーション・スイート全体を通じてキー及びRDB150内の対応するKVPを一貫して表すので、KVPは、個々のアプリケーションの間でさらに変換することなく使用可能である。
例えば、文書が購入請求書クラスのものであるとき、対応するクラスキー・セットは、これらに限定されるものではないが、名称、取引日、項目リスト、項目価格、税、及び合計額を含むことができる。
意味データベース130において、1つ又は複数のキー・エイリアス・セット135の各々は、キーに対応するエイリアスを含む。上述のように、キーは、RDB150で使用される正規化されたデータ・フィールドであり、1つのキー・エイリアス・セット135内の全てのエイリアスは、キーと意味的に交換可能である。各エイリアスは、全文書にわたって一意であり、キー・オントロジ・データ137内に表されるキー138についての文書クラスを介して、クラスキー・セット133に対応し得る。
意味データベース130は、文書イメージ181により表される知識のドメインをモデル化する制約及び意味のセットを定義するキー・オントロジ・データ137を含む。キー・オントロジ・データ137は、文書イメージ181内に存在し得る複数のキーについてのそれぞれの属性139を含む。属性139の例として、これらに限定されるものではないが、キー138と関連付けられた文書クラス、キー138が属するキー・クラス、並びにキー138の値に対するデータ・タイプ及び形式を含むことができる。
意味正規化エンジン160は、文書メタデータ140及び意味データベース130内に格納されるような、相対文脈、相対スタイル、及び文書イメージ181内の他のオブジェクトに関連するデータ・フィールド名の相対配置などのパラメータを用いて、文書イメージ181に現れるデータ・フィールド名を自動的に文法化する。また、意味正規化エンジン160は、テキスト・マッチング、文書分類、及びベクトル空間モデル化などの種々の既存の技術も利用して、対応する正規化されたキーとして種々のデータ・フィールド名を正確にキャプチャする尤度を増大させる。意味正規化エンジン160の詳細な動作が図2に説明される。
図2は、本明細書に記載される1つ又は複数の実施形態による、図1の意味正規化エンジン160により実行される動作のフローチャートを示す。
ブロック210の前に、文書デジタル化エンジン120は、ユーザ101により提供されるRDBに対するキー値ペアの指定に基づいて、又は以前に処理された文書イメージに基づく機械学習を用いて準備された意味データベース130の文書クラス131及びキー・オントロジ・データ137を有する。文書デジタル化エンジン120は、文書イメージ181からの抽出データに基づいて文書イメージ181を分類し、文書イメージ181についての文書のタイプを判断する。文書イメージ181からの候補キーが意味データベース130から見つからないとき、文書デジタル化エンジン120は、意味正規化エンジン160を呼び出す。文書デジタル化エンジン120がクラスキー・セット133、キー・エイリアス・セット135、又はキー・オントロジ・データ137の1つにおいて候補キーと全く同じテキストを見つけた場合、意味データベース130において候補キーが既に確立されているので、文書デジタル化エンジン120は、意味正規化エンジン160を呼び出さない。
ブロック210において、意味正規化エンジン160は、キー・オントロジ・データ137のキーと意味的に交換可能なものとして、文書デジタル化エンジン120に入力された文書イメージ181内の候補キーを識別する。意味正規化エンジン160は、文書イメージ181の文書クラス131についてのクラスキー・セット133において発見されたキーに対して1つより多い候補キーを特定することができる。次に、意味正規化エンジン160は、ブロック220に進む。
本明細書において、キーが特定されると、そのキーに対応する値も特定されたことを暗に意味し、キーは、RDB150におけるキー値ペアとして反映される。本発明の1つの実施形態において、意味正規化エンジン160は、文書メタデータ140を調べ、相対位置、並びに、色、テキストのフォント・タイプ及びサイズを指定する相対スタイルに基づいて、文書イメージ181から、意味データベース130又はRDB150のいずれかからの既知のキーと類似するキー・エイリアス及び関連した値を選択する。意味正規化エンジン160は、キー・テキストを、キー・オントロジ・データ137において指定された既知のデータ・タイプについてのキーと関連付けられた値と意味的にマッチングすることもできる。
意味マッチング関数は、意味正規化エンジン160により利用されるような、2つの入力テキストが意味的に交換可能であるかどうかを判断する。意味マッチング関数は、文書デジタル化エンジン120に対して独自のものであり、その詳細は本明細書には提示されない。
ブロック220において、意味正規化エンジン160は、意味マッチングによるキー名の指定に対して、ブロック210で特定された候補キーを正規化し、候補キーに対応するキー・クラスを決定する。本発明の特定の実施形態において、キー名の指定は、例えば、文書デジタル化エンジン120の構成に従って、ユーザ101により提供すること、文書イメージ181における候補キーの配置、意味データベース130からの既存のエイリアス、又はそれらの組み合わせに基づいて、文書デジタル化エンジン120により準備することができる。次に、意味正規化エンジン160は、ブロック230に進む。
本発明の1つの実施形態において、意味正規化エンジン160は、候補キーが、キー・オントロジ・データ137内のキー138又はキー・エイリアス・セット135内のキー138に対応するエイリアスにマッチするか否かを判断する。意味正規化エンジン160が意味データベース130のキー/エイリアスからの候補キーとの正確なマッチングを見出さない場合、意味正規化エンジン160は、キー/エイリアスが候補キーと意味的にマッチするか否かの確認に進む。キー/エイリアスと意味的にマッチする候補キーは、ブロック240で決定されるような信頼性スコアに応じて、又はブロック250で決定されるようなユーザ・フィードバックに応じて、キー・エイリアス・セット135に付加されることも又は付加されないこともある。
本発明の1つの実施形態において、文法は、例えば、請求書番号のキー値ペアに対して、以下のような拡張バッカス・ナウア記法(Extended Backus-Naur form、EBNF)で表される。
letter = "A" | "B" | "C" | "D" | "E" | "F" | "G"| "H" | "I" | "J" | "K" | "L" | "M"
| "N"| "O" | "P" | "Q" | "R" | "S" | "T" | "U"| "V" | "W" | "X" | "Y" | "Z" | "a" |
"b"| "c" | "d" | "e" | "f" | "g" | "h" | "i"| "j" | "k" | "l" | "m" | "n" | "o" | "p"| "q" |
"r" | "s" | "t" | "u" | "v" | "w"| "x" | "y" | "z";
digit = "0" | "1" | "2" | "3" | "4" | "5" | "6" | "7" | "8" | "9";
. . .
invoiceNumber = "Inv", ("." | "oice" | "_" | …), …;
value(invoiceNumber) = "5", 9*digit;
ブロック230において、意味正規化エンジン160は、ブロック220で決定された正規形又はキー・クラスにより表される全てのエイリアスを学習する。本発明の1つの実施形態において、意味正規化エンジン160は、正規形及び/又はキー・クラスから導出された候補キーのエイリアスが、キー・オントロジ・データ137において指定されたキー138に対応するキー・エイリアス・セット135内に存在するか否かを判断する。次いで、意味正規化エンジン160は、ブロック240に進む。
ブロック240において、意味正規化エンジン160は、意味データベース130及び/又はRDB150のフレームワークにおいて指定された、キー指定の種々の特性と候補キーとの比較に基づいて、候補キーに対して特定されたキー・クラス及び/又はブロック220の正規形から導出されたエイリアスについての信頼性スコアを判断する。特性は、それぞれ候補キーと関連付けられた、意味データベース130及び文書メタデータ140のコンテンツにおいて表される。次いで、意味正規化エンジン160は、ブロック250に進む。
本発明の1つの実施形態において、意味正規化エンジン160は、候補キーとキー・クラスの文字シーケンスを比較することにより、候補キーと、キー・エイリアス、キー・クラス、及び/又はキー・オントロジ・データから定義されたキーとの間の近接性を確認する。例えば、意味正規化エンジン160が、キー/キー・クラス「Account Number」がキー・オントロジ・データ137内に定義されていること、候補キー「ACNT#」が文書イメージ内に現れること、及びエイリアス「accnt.no.」がキー・クラス「Account Number」のキー・エイリアス・セット内に現れることを観察した場合、次に、意味正規化エンジン160は、エイリアスの「A」、「C」、「N」及び「T」がキー138の「Account」と同じ順序で現れることに基づいて、「Account Number」キーのエイリアスである候補キー「ACNT#」に関する信頼性スコアを増大させることができる。
また、意味正規化エンジン160は、キーと新しいエイリアスとの間の類似性を確認するために、相対配置、文脈、及びキーのスタイル、並びに文書イメージにおける新しいエイリアスを利用することもできる。例えば、意味正規化エンジン160は、キー「Account Number」が、文書ページの左下コーナー部にアカウント名(Account Name)データ・フィールドにおいて太文字フォントで現れ、エイリアス「ACCNT NO」が、文書イメージ181のページの左下コーナー部に「顧客名(Customer Name)」で現れるものとして、キー・オントロジ・データ137内に定義されているのを確認すると、次に、意味正規化エンジン160は、「Account Number」キーのエイリアスである「ACCNT NO」に対する信頼性スコアを増大させることができる。
同じ実施形態において、意味正規化エンジン160は、機械学習プロセスを呼び出して、キー・エイリアス及びキーのそれぞれのテキストを分類し、テキストが同一クラスに属するか否かを判断することができる。さらに本発明の同じ実施形態において、意味正規化エンジン160は、ベクトル空間モデル化及びトピック・モデル化のためのプロセスを実行して、文書イメージのトピックを識別することができ、それにより、文書イメージの分類を肯定又は否定することができる。意味正規化エンジン160は、Pythonプログラミング言語で実装されるGensimなどの、既存のベクトル空間モデル化及びトピック・モデル化ツール・キットを使用することができる。
ブロック250において、意味正規化エンジン160は、フィードバック199のために、キー・クラス信頼性スコア・タプル191と呼ばれる信頼性スコアをユーザ101に報告することによって、キー・クラス、及びブロック230の正規形/キー・クラスから導出されたエイリアス、並びにブロック240で決定された関連した信頼性スコアを検証する。意味正規化エンジン160は、ユーザ101により提供される場合、フィードバック199に従って、意味データベース130をキー・クラス信頼性スコア・タプル191内に表される新しいエイリアスで更新する。ユーザ101がフィードバック199を提供しない場合、意味正規化エンジン160は、依然として、信頼性スコアが事前構成された閾値を満たすか否かに基づいて、意味データベース130を、キー・クラス信頼性スコア・タプル191からのコンテンツで更新する。次いで、意味正規化エンジン160は、ブロック220から識別された候補キーの処理を終了する。次に、意味正規化エンジン160は、文書イメージ181から識別された全ての候補キーについて、ブロック220乃至250を反復する。
本発明の特定の実施形態において、意味正規化エンジン160は、特定の信頼性スコア範囲の特定のエイリアスを提示する方法を構成する提示プロトコルを有することができ、提示プロトコルは、キーに意味的にマッチするエイリアスを文書イメージ上の緑色のボックス内に、キーの閾値部分又はそれより多くに意味的にマッチする別のエイリアスを文書イメージ上のオレンジ色のボックス内に、エイリアスがキーの閾値部分より少なく意味的にマッチすることを発見すると、キーにマッチしないさらに別のエイリアスを文書イメージ上の赤いボックス内に提示するように指示する。ユーザ101は、閾値部分を入力して、例えばキーの半分、つまり50%など、意味マッチングを判断することができる。
本発明の特定の実施形態において、意味正規化エンジン160は、正規形から導出されたエイリアス、並びにキー・エイリアス・セット135内の既存のキー及びキー・オントロジ・データ137内のキーを用いることにより、文書イメージからクラスキー・セット内のキーの幾つのキーがどのように見つかったかを示す別の提示プロトコルを有することができる。意味正規化エンジン160は、クラスキー・セット133内の全てのキーが文書イメージ181内に存在する場合、文書並びに各キー/エイリアスの境界を緑色のボックスでマーク付けすることができる。意味正規化エンジン160は、意味マッチング及びエイリアスの信頼性スコアが完全(100%)ではない場合にのみ、クラスキー・セット133内の特定のキーが文書イメージ181内に存在する場合には、単語/文書イメージの境界をそれぞれオレンジ色のボックスでマーク付けすることができる。意味正規化エンジン160は、クラスキー・セット133内の特定のキーが欠けている場合、単語/文書イメージの境界をそれぞれ赤色のボックスでマーク付けすることができる。
図3は、本明細書に記載される1つ又は複数の実施形態による、図1の意味正規化エンジン160により実行されるような、意味正規化の対象であるオブジェクトを有する例示的文書イメージ300を示す。
例示的文書イメージ300は、ある組織により発行された課税請求書(tax invoice)を示す。文書デジタル化エンジン120は、文書イメージ300を処理し、本明細書に記載されるように文書イメージの種々のオブジェクトからデータを抽出する。それぞれ実線の境界を有するオブジェクトは、例えば、RDB150を構成すること又はキー・オントロジ・データ137内のキーを指定することによって、ユーザ101によって指定されるようなキー値ペア(KVP)のキーを表すこと、それぞれキーの右側の鎖線の境界を有するオブジェクトはKVPの値を表すこと、及びそれぞれ点線の境界を有するオブジェクトは1つ又は複数のキー値ペアを表すことを理解されたい。
文書イメージ300は、左上コーナー部に、組織の名称及びロゴを表す第1の領域301を有する。文書イメージ300は、右上コーナー部に、組織と関連付けられた、住所、電話番号、ウェブサイトUniform Resource Locator(URL)及び電子メール・アドレスのような組織の連絡先情報を表す第2の領域302を有する。また、文書イメージ300は、第2の領域302の下方の右上コーナー部に、文書のタイプを識別する文書のタイトルを表す、「TAX INVOICE(課税請求書)」である第3の領域303も有する。意味データベース130内に事前定義された請求書/課税請求書の文書クラスによると、課税請求書文書クラスは、課税請求書文書クラスのいずれかの文書に必要なキーを指定するクラスキー・セットを有する。
文書イメージ300は、「SOLD TO(販売先)」オブジェクト310K及び「_NAME&ADDRESS_」オブジェクト310Vを隣り合わせで有する。下線で囲まれた記述は、対応するデータ・タイプのためのスペース・ホルダを示すが、簡潔にするため提示されていない。文書デジタル化エンジン120は、文書イメージ内の隣接するオブジェクトからキー値ペア(KVP)を決定するために適用可能な種々のパラメータに基づいて、オブジェクト310K及び310Vを、データ・フィールドのキー及び値として関連付ける。同様に、文書デジタル化エンジン120は、「INVOICE #(請求書番号)」オブジェクト320Kをキーとして、「_INVN_」オブジェクト320V内に表わされる対応する値と共に決定し、「ORDER #(注文番号)」オブジェクト330Kをキーとして、「_ODN_」オブジェクト330V内に表わされる対応する値と共に決定し、そして「DATE(日付)」オブジェクト340Kをキーとして、「_MM/DD/YY_」オブジェクト340V内に表わされる対応する値と共に決定する。
文書イメージ300は、プロプライエタリ・コード・キー及びプロプライエタリ・コードの値を表す第4の領域304「プロプライエタリ・コード」を有する。文書イメージ300は、文書イメージ300の課税請求書の対象である項目のリストを記述する第5の領域「項目リスト」305を有する。項目リストは、表形式で表すことができ、リスト内の各項目は、例えば、項目コード、項目の説明、数量、価格、価格調整、物品サービス税(GST)及び項目合計などのそれぞれの属性で説明される。文書イメージ300は、例えば、項目リスト内の項目に対する価格の合計から得られる小計、GST小計、及び請求合計額等の課税請求書を要約する種々の詳細を表す第6の領域「請求書の概要」306を有する。
文書イメージ300は、イメージの左下コーナー部に「Payment Details(支払の詳細)」とマーク付けされた領域を有する。「Payment Details」において、「BANK(銀行)」オブジェクト350K及び「_B_CODE_」オブジェクト350Kは、銀行情報についてのキー値ペアとして表される。同様に、文書デジタル化エンジン120は、キー・オントロジ・データ137が保有する値のデータ・タイプに従って、「ACCOUNT NAME(口座名義)」オブジェクト360Kをキーとして、口座名義データ・フィールドを記述する「_A_NAME_」オブジェクト360V内に表される対応する値と共に決定し、「ACCOUNT(口座)」オブジェクト370Kをキーとして、口座番号データ・フィールドを記述する「573093486」オブジェクト370V内に表される対応する値と共に決定する。
文書デジタル化エンジン120は、文書イメージ300を処理し、文書メタデータ140のコンポーネント・フィールドを作成する。例えば、文書デジタル化エンジン120は、請求書番号(320K、320V)及び注文番号(330K、330V)の両方が、文書イメージ300内の相対位置を用いて類似のブロック隔離で現れることを発見する。垂中央線から垂直方向上方及び水平方向右側のそれぞれ相対位置が、それぞれのオブジェクトの位置座標143として文書メタデータ140に記録される。同様に、それぞれ各オブジェクトと関連付けられたオブジェクト文脈141、位置座標143及びオブジェクト・スタイル145も、文書デジタル化エンジン120により生成され、意味正規化エンジン160に入力されるような、文書メタデータ140内に表される。文書メタデータ140の幾つかのコンポーネントを図4に示す。
本発明の特定の実施形態において、意味正規化エンジン160が文書クラスの新しい文書イメージ・インスタンスを取得した場合、意味正規化エンジン160は、特定のKVP/オブジェクトが特定の間隔でどのように現れるかの文脈、各オブジェクトに対する文書イメージにおける特定の相対位置、及び各オブジェクトに対応する特定のスタイルを含む、文書メタデータに従った全てのクラス・キーを表す文書クラスについての文法を展開することができる。文書クラス文法は、EBNFのような表記で表わすことができる。文書クラス文法は、意味正規化エンジン160が文書イメージを累積的に処理する際、教師あり機械学習を用いて、学習し訓練することができる。意味正規化エンジン160が文書クラス文法を有する文書クラスの新しい文書イメージ・インスタンスを取得した場合、次に、意味正規化エンジン160は、オブジェクト文脈、相対位置及びオブジェクト・スタイルを含む文書メタデータを、文書クラス文法のための訓練データに付加することができる。
意味正規化エンジン160がより多くの請求書を処理すると、文書クラス文法の特定の要素が、実際の請求書によりサポートされるように強化され得る。文書クラス文法に反した証拠が閾値数を超えると、文書クラス文法の特定の要素は廃棄され得る。例えば、文書クラス文法は、請求書番号データ・フィールドが、注文番号、購入日、及び支払われるべき金額を含む他のデータ・フィールドの文脈において、他のテキストより10%大きいフォントで、文書イメージの上部付近に現れることを示すことができる。また、文書クラス文法は、合計データ・フィールドが、送料及び手数料、税金、購入価格の文脈において、太文字の米ドル金額で文書イメージの右下コーナー部付近に現れることを示すことができる。
図4は、本明細書に記載される1つ又は複数の実施形態による、文書イメージ181に対応する例示的文書メタデータ400を示す。
文書デジタル化エンジン120は、文書イメージ181を処理し、文書メタデータ140を生成する。本発明の特定の実施形態において、文書デジタル化エンジン120は、例示的文書メタデータ400に示されるように、JavaScript Object Notation(JSON)形式で文書メタデータ140を生成する。文書イメージ181は、1つ又は複数の行を含む1つ又は複数のブロックとして階層的に編成される。各行は、1又は複数の単語を有する。各ブロック、行及び単語は、文書イメージ181内のそれぞれのオブジェクトとみなされ、その特性は、それぞれ文書メタデータ140内に記述される。
行L401は、リストが「BlockList」で表されるブロックを記述することを示す。行L402及びL403は、ブロックの始点の(x,y)座標を表す。行L404は、注釈がブロックに付けられていないことを示す。行L405は、ブロックが特定の幅のものであることを示す。行L406は、ブロックが「LineList」で表される行を有することを示す。
行L407は、行「LineList」が「WordList」で表される単語を有することを示す。行L408は、単語が値「XYZ Inc.」を有することを示し、行L409及びL410は、それぞれ単語の高さ及び密度を示す。行L411及びL412は、単語の始点の(x,y)座標を表す。行L413は、特定のカスタム・フォント・サイズ・グループにおけるような、単語のフォント・サイズを示す。行L414は、単語が「word_0」名により識別されることを示す。行L415は、単語が8文字を有することを示し、行L416は、単語が特定の幅のものであることを示す。測定は、ピクセル単位とすること、又は他のいずれかのカスタム単位に従うことができる。
行L417乃至L421は、L406で導入された行「LineList」を完結する。行の幅はL417に、行の始点の(x,y)座標はL418及びL419に、行の高さは行L420に、そして、行を識別するための名「line_0」は行L421に示される。
オブジェクトの文脈は、各オブジェクトが特定のリスト内にどのように一緒に現れるかによって表される。オブジェクトの相対位置及びサイズは、高さ及び幅などの種々の座標及び寸法要素に基づいて求めることができる。文書メタデータ140は、特定的には、候補キーが既知のキーのエイリアスである尤度に関する信頼性スコアを評価するために、意味正規化エンジン160への入力として使用される。
図5は、本明細書に記載される1つ又は複数の実施形態による、意味正規化エンジン160の例示的入力及び出力500を示す。
図5に示すように、例示的入力及び出力500は、JSON表記法で表現される。行L501乃至L509は、文書イメージ181からの候補キーに関する入力であり、行L511乃至L521は、意味正規化エンジン160が上記の入力からの候補キーを処理した後の出力である。
行L502は、候補キーが「block_16」名により特定されるブロックのメンバーであることを示す。図5に上述されるように、「block_16」は、文脈、位置及びスタイルに関して文書メタデータにおいて指定される。行L503は、候補キーの値が「573093486」であることを示す。行L504及びL505は、L503の値の始点の(x,y)座標を示す。行L506及びL507は、候補キーの始点の(x,y)座標を示す。行L508は、候補キーがテキスト「Accnt No」を有することを示す。
行L501乃至L509の入力の処理において、意味正規化エンジン160は、初めにキー・オントロジ・データの中からマッチングを探し、次いで、意味マッチング及びキー・エイリアス検索により、キー名の指定に対してテキスト「Accnt No」を正規化する。次に、意味正規化エンジン160は、正規形から、候補キーについての新しいエイリアスを導出する。意味正規化エンジン160は、候補キーについてのキー・クラスを判断し、文書メタデータにおいて指定されるような文脈、位置及びスタイルを調べることにより、キー・クラスに関する信頼性スコアを決定する。
行L512乃至L518は、それぞれ入力からの行L502乃至L508に等しい。行L508に上述のように、候補キーは、「Accnt No」を行L518に有する。行L520は、正規化後、意味正規化エンジン160が、キー・クラス「customerAccountNumber」が候補キー「Accnt No」に対応すると判断することを示す。L519は、キー・クラス「customerAccountNumber」が、文書メタデータにおいて表される文脈、相対位置及びスタイル、テキスト順序付け、意味マッチング、ベクトル空間モデル化及びテキスト分類に基づいて、候補キー「Accnt No」に対応するキー・クラスである可能性が82.35%であると、意味正規化エンジン160が判断することを示す。
特定の実施形態において、意味正規化エンジン160は、候補キーが現れる「block_16」においてグループ化されたオブジェクト、並びに同一ブロック内の他のオブジェクトと比較して候補キー「Accnt No」の相対スタイリングに基づいて、候補キー「Accnt No」に対するキー・クラス「customerAccountNumber」を判断する。意味正規化エンジン160は、候補キー「Accnt No」と全てのキー・クラスとの間のテキスト類似性を比較し、キー・クラス「customerAccountNumber」が候補キー「Accnt No」に最も近いことを判断し、近接性のレベルを信頼性スコアとして求める。
図6〜図8は、本明細書に記載される1つ又は複数の態様による、クラウド・コンピューティング・システムを含むコンピューティングの種々の態様を示す。
本開示はクラウド・コンピューティングについての詳細な説明を含むが、本明細書に記載される教示の実装は、クラウド・コンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在既知の又は後で開発される他のいずれかのタイプのコンピューティング環境と共に実施することができる。
クラウド・コンピューティングは、最小限の管理労力又はサービス・プロバイダとの対話で迅速にプロビジョニング及び解放することができる構成可能なコンピューティング・リソース(例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス)の共有プールへの、便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは、少なくとも5つの特徴、少なくとも3つのサービス・モデル、及び少なくとも4つのデプロイメント・モデルを含むことができる。
特徴は、以下の通りである。
オンデマンド・セルフサービス:クラウド・コンシューマは、必要に応じて、サーバ時間及びネットワーク・ストレージ等のコンピューティング機能を、人間がサービスのプロバイダと対話する必要なく自動的に、一方的にプロビジョニングすることができる。
広範なネットワーク・アクセス:機能は、ネットワーク上で利用可能であり、異種のシン又はシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、及びPDA)による使用を促進する標準的な機構を通じてアクセスされる。
リソース・プール化:プロバイダのコンピューティング・リソースは、マルチ・テナント・モデルを用いて、異なる物理及び仮想リソースを要求に応じて動的に割り当て及び再割り当てすることにより、複数のコンシューマにサービスを提供するためにプールされる。コンシューマは、一般に、提供されるリソースの正確な位置についての制御又は知識を持たないという点で、位置とは独立しているといえるが、より抽象化レベルの高い位置(例えば、国、州、又はデータセンタ)を特定できる場合がある。
迅速な弾力性:機能は、迅速かつ弾力的に、場合によっては自動的に、プロビジョニングして素早くスケール・アウトし、迅速にリリースして素早くスケール・インさせることができる。コンシューマにとって、プロビジョニングに利用可能なこれらの機能は、多くの場合、無制限であり、いつでもどんな量でも購入できるように見える。
計測されるサービス:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、帯域幅、及びアクティブなユーザ・アカウント)に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御及び最適化する。リソース使用を監視し、制御し、報告し、利用されるサービスのプロバイダとコンシューマの両方に対して透明性をもたらすことができる。
サービス・モデルは以下の通りである。
Software as a Service(SaaS):クラウド・インフラストラクチャ上で動作しているプロバイダのアプリケーションを使用するために、コンシューマに提供される機能である。これらのアプリケーションは、ウェブ・ブラウザ(例えば、ウェブ・ベースの電子メール)などのシン・クライアント・インターフェースを通じて、種々のクライアント・デバイスからアクセス可能である。コンシューマは、限定されたユーザ固有のアプリケーション構成設定の考え得る例外として、ネットワーク、サーバ、オペレーティング・システム、ストレージ、又は個々のアプリケーション機能をも含めて、基礎をなすクラウド・インフラストラクチャを管理又は制御しない。
Platform as a Service(PaaS):プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが生成した又は取得したアプリケーションを、クラウド・インフラストラクチャ上にデプロイするために、コンシューマに提供される機能である。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、又はストレージなどの基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、配備されたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対して制御を有する。
Infrastructure as a Service(IaaS):コンシューマが、オペレーティング・システム及びアプリケーションを含み得る任意のソフトウェアを配備及び動作させることができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティング・リソースをプロビジョニンングするために、コンシューマに提供される機能である。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、配備されたアプリケーションに対する制御、及び場合によってはネットワーク・コンポーネント(例えば、ホストのファイアウォール)選択の限定された制御を有する。
デプロイメント・モデルは以下の通りである。
プライベート・クラウド:クラウド・インフラストラクチャは、ある組織のためだけに運営される。このクラウド・インフラストラクチャは、その組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。
コミュニティ・クラウド:クラウド・インフラストラクチャは、幾つかの組織によって共有され、共通の関心事項(例えば、任務、セキュリティ要件、ポリシー、及びコンプライアンス上の考慮事項)を有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、その組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。
パブリック・クラウド:クラウド・インフラストラクチャは、一般公衆又は大規模な業界グループに利用可能であり、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド:クラウド・インフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションの移行性を可能にする標準化された又は専用の技術(例えば、クラウド間の負荷分散のためのクラウド・バースティング)によって結び付けられる2つ以上のクラウド(プライベート、コミュニティ、又はパブリック)の混成物である。
クラウド・コンピューティング環境は、ステートレス性、低結合性、モジュール性、及びセマンティック相互運用性に焦点を置くことを指向するサービスである。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図6を参照すると、コンピュータ・システム/クラウド・コンピューティング・ノードの例の概略が示される。クラウド・コンピューティング・ノード10は、好適なクラウド・コンピューティング・ノードの一例にすぎず、本明細書で説明される本発明の実施形態の使用範囲又は機能に関するいずれかの限定を示唆することを意図していない。それにもかかわらず、クラウド・コンピューティング・ノード10は、本明細書で説明される機能のいずれも実装及び/又は実行することができる。
クラウド・コンピューティング・ノード10において、多数の他の汎用又は専用コンピューティング・システム環境又は構成で動作可能であるコンピュータ・システム12がある。コンピュータ・システム12と共に使用するのに好適であり得る周知のコンピューティング・システム、環境、及び/又は構成の例としては、これらに限定されるものではないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、手持ち式又はラップトップ型デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラム可能民生電子機器、ネットワークPC、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、及び、上述のシステム若しくはデバイスのいずれかを含む分散型クラウド・コンピューティング環境等が含まれる。
コンピュータ・システム12は、コンピュータ・システムによって実行される、プログラム・プロセスなどのコンピュータ・システム実行可能命令の一般的な文脈で説明することができる。一般に、プログラム・プロセスは、特定のタスクを実行する又は特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含むことができる。コンピュータ・システム12は、通信ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される分散型クラウド・コンピューティング環境で実施することができる。分散型クラウド・コンピューティング環境において、プログラム・プロセスは、メモリ・ストレージ・デバイスを含む、ローカル及び遠隔両方のコンピュータ・システム・ストレージ媒体に配置することができる。
図6に示されるように、クラウド・コンピューティング・ノード10におけるコンピュコンピュータ・システム12が、汎用コンピューティング・デバイスの形で示される。コンピュータ・システム12のコンポーネントは、これらに限定されるものではないが、1つ又は複数のプロセッサ16、システム・メモリ28、及びシステム・メモリ28を含む種々のシステム・コンポーネントをプロセッサ16に結合するバス18を含むことができる。
バス18は、メモリ・バス又はメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、及び種々のバス・アーキテクチャのいずれかを用いるプロセッサ又はローカル・バスを含む、幾つかのタイプのバス構造のうちのいずれかの1つ又は複数を表す。限定ではなく例としては、このようなアーキテクチャは、業界標準アーキテクチャ(Industry Standard Architecture、ISA)バス、マイクロ・チャネル・アーキテクチャ(Micro Channel Architecture、MCA)バス、Enhanced ISA(EISA)バス、Video Electronics Standards Association(VESA)ローカル・バス、及びPeripheral Component Interconnect(PCI)バスを含む。
コンピュータ・システム12は、典型的には、種々のコンピュータ・システム可読媒体を含む。このような媒体は、コンピュータ・システム12によりアクセス可能ないずれかの利用可能媒体とすることができ、揮発性媒体及び不揮発性媒体の両方と、取り外し可能媒体及び取り外し不能媒体の両方とを含む。
システム・メモリ28は、ランダム・アクセス・メモリ(RAM)30及び/又はキャッシュ・メモリ32など、揮発性メモリの形のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム12は、他の取り外し可能/取り外し不能、揮発性/不揮発性のコンピュータ・システム・ストレージ媒体をさらに含むことができる。単なる例として、取り外し不能の不揮発性磁気媒体(図示されておらず、典型的には「ハード・ドライブ」と呼ばれる)との間の読み出し及び書き込みのために、ストレージ・システム34を設けることができる。図示されていないが、取り外し可能な不揮発性磁気ディスク(例えば、「フロッピー・ディスク」)との間の読み出し及び書き込みのための磁気ディスク・ドライブと、CD−ROM、DVD−ROM又は他の光媒体などの取り外し可能な不揮発性光ディスクとの間の読み出し及び書き込みのための光ディスク・ドライブとを設けることができる。このような例においては、それぞれを、1つ又は複数のデータ媒体インターフェースによってバス18に接続することができる。以下でさらに示され説明されるように、メモリ28は、本発明の実施形態の機能を実行するように構成されたプログラム・プロセスのセット(例えば、少なくとも1つ)を有する少なくとも1つのプログラム製品を含むことができる。
限定ではなく例として、メモリ28内に、プログラム・プロセス42のセット(少なくとも1つ)を有する1つ又は複数のプログラム40、並びにオペレーティング・システム、1つ又は複数のアプリケーション・プログラム、他のプログラム・プロセス、及びプログラム・データを格納することができる。オペレーティング・システム、1つ又は複数のアプリケーション・プログラム、他のプログラム・プロセス、及びプログラム・データ、又はそれらの何らかの組み合わせの各々は、図1の文書デジタル化エンジン120及び/又は意味正規化エンジン160の実装を含むことができる。文書デジタル化エンジン120及び/又は意味正規化エンジン160におけるようなプログラム・プロセス42は、一般に、本明細書で説明されるような本発明の実施形態の機能及び/又は方法を実行する。
コンピュータ・システム12は、キーボード、ポインティング・デバイス、ディスプレイ24等のような1つ又は複数の外部デバイス14、ユーザがコンピュータ・システム12と対話することを可能にする1つ又は複数のデバイス、及び/又はコンピュータ・システム12が1つ又は複数の他のコンピューティング・デバイスと通信することを可能にするいずれかのデバイス(例えば、ネットワーク・カード、モデム等)と通信することもできる。このような通信は、入力/出力(I/O)インターフェース22を介して行うことができる。さらに、コンピュータ・システム12は、ネットワーク・アダプタ20を介して、ローカル・エリア・ネットワーク(LAN)、汎用広域ネットワーク(WAN)、及び/又はパブリック・ネットワーク(例えば、インターネット)などの1つ又は複数のネットワークと通信することもできる。示されるように、ネットワーク・アダプタ20は、バス18を介して、コンピュータ・システム12の他のコンポーネントと通信する。図示されないが、コンピュータ・システム12と共に他のハードウェア及び/又はソフトウェア・コンポーネントを使用できることを理解されたい。例としては、これらに限定されるものではないが、マイクロコード、デバイス・ドライバ、冗長プロセッサ、外部のディスク・ドライブ・アレイ、RAIDシステム、テープ・ドライブ、及びデータ・アーカイブ・ストレージ・システム等が含まれる。
ここで図7を参照すると、例示的クラウド・コンピューティング環境50が示される。示されるように、クラウド・コンピューティング環境50は、例えば携帯情報端末(PDA)又は携帯電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、及び/又は自動車コンピュータ・システム54Nなどといった、クラウド・コンシューマによって用いられるローカル・コンピューティング・デバイスと通信できる1つ又は複数のクラウド・コンピューティング・ノード10を含む。ノード10は、互いに通信することができる。これらのノードは、上述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、若しくはハイブリッド・クラウド、又はこれらの組み合わせなど、1つ又は複数のネットワークにおいて物理的又は仮想的にグループ化することができる(図示せず)。これにより、クラウド・コンピューティング環境50が、クラウド・コンシューマがローカル・コンピューティング・デバイス上にリソースを保持する必要のないサービスとして、インフラストラクチャ、プラットフォーム、及び/又はソフトウェアを提供することが可能になる。図7に示されるコンピューティング・デバイス54A〜Nのタイプは単に例示であることを意図し、コンピューティング・ノード10及びクラウド・コンピューティング環境50は、いずれのタイプのネットワーク及び/又はネットワーク・アドレス指定可能な接続上でも(例えば、ウェブ・ブラウザを用いて)、いずれのタイプのコンピュータ化されたデバイスとも通信できることを理解されたい。
ここで図8を参照すると、クラウド・コンピューティング環境50(図7)によって提供される機能抽象化層のセットが示される。図8に示されるコンポーネント、層、及び機能は単に例示であることを意図し、本発明の実施形態はそれらに限定されないことを予め理解されたい。図示されるように、以下の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層60は、ハードウェア及びソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例として、メインフレーム61と、RISC(Reduced Instruction Set Computer(縮小命令セット・コンピュータ))アーキテクチャ・ベースのサーバ62と、サーバ63と、ブレード・サーバ64と、ストレージ・デバイス65と、ネットワーク及びネットワーキング・コンポーネント66とが含まれる。幾つかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア67及びデータベース・ソフトウェア68を含む。
仮想化層70は、抽象化層を提供し、この層により、仮想エンティティの以下の例、すなわち、仮想サーバ71、仮想ストレージ72、仮想プライベート・ネットワークを含む仮想ネットワーク73、仮想アプリケーション及びオペレーティング・システム74、並びに仮想クライアント75を提供することができる。
一例においては、管理層80は、以下で説明される機能を提供することができる。リソース・プロビジョニング81は、クラウド・コンピューティング環境内でタスクを実行するために利用されるコンピューティング・リソース及び他のリソースの動的な調達を提供する。計量及び価格決定82は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡と、これらのリソースの消費に対する課金又は請求とを提供する。一例においては、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド・コンシューマ及びタスクに対する識別情報の検証と、データ及び他のリソースに対する保護とを提供する。ユーザ・ポータル83は、コンシューマ及びシステム管理者のために、クラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理84は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの割り当て及び管理を提供する。サービス・レベル・アグリーメント(Service Level Agreement、SLA)の計画及び履行85は、SLAに従って将来の要件が予測されるクラウド・コンピューティング・リソースの事前配置及び調達を提供する。
ワークロード層90は、クラウド・コンピューティング環境を利用することができる機能の例を提供する。この層から提供することができるワークロード及び機能の例として、マッピング及びナビゲーション91、ソフトウェア開発及びライフサイクル管理92、仮想教室教育配信93、データ分析処理94、トランザクション処理95、及び本明細書で説明される意味正規化エンジン160を含む文書デジタル化エンジンにより提供されるような文書デジタル化サービスのための処理コンポーネント96が含まれる。
本発明は、統合の任意の可能な技術的詳細レベルにおける、システム、方法、及び/又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体(単数又は複数)を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの:すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、メモリ・スティック、パンチカード若しくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波(例えば、光ファイバ・ケーブルを通る光パルス)、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、及び/又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び/又はエッジ・サーバを含むことができる。各コンピューティング/処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体に格納する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は、Smalltalk、C++などのオブジェクト指向プログラミング言語、及び、「C」プログラミング言語若しくは類似のプログラミング言語などの手続き型プログラミング言語を含む1つ又は複数のプログラミング言語の任意の組み合わせで記述されるソース・コード又はオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある(例えば、インターネットサービスプロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して、電子回路を個人化することができる。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータ・プログラム製品のフローチャート図及び/又はブロック図を参照して説明される。フローチャート図及び/又はブロック図の各ブロック、並びにフローチャート図及び/又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えて機械を製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、及び/又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作の態様を実施する命令を含む製品を含むようにすることもできる。
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生産し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/動作を実行するためのプロセスを提供するようにすることもできる。
図面内のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。
本明細書で用いられる用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することを意図したものではない。本明細書内で用いられる場合、単数形「1つの(a)」、「1つの(an)」及び「その(the)」は、文脈がそうでないことを明確に示していない限り、複数形も含むことを意図している。さらに、用語「含む(comprise)」(及び、compriseの任意の形態、例えば「comprises」及び「comprising」)、「有する(have)」(及び、haveの任意の形態、例えば「has」及び「having」)、「含む(include)」(及び、includeの任意の形態、例えば「includes」及び「including」)、並びに「含有する(contain)」(及び、containの任意の形態、例えば「contains」及び「containing」)は、変更可能な連結動詞(open-ended linking verbs)であることが理解されるであろう。その結果、1つ又は複数のステップ又は要素を「含む(comprise)」、「有する(have)」、「含む(include)」、又は「含有する(contain)」方法又はデバイスは、1つ又は複数のステップ又は要素を保有するが、それらの1つ又は複数のステップ又は要素のみを保有することに限定されるものではない。同様に、1つ又は複数の特徴を「含む(comprise)」、「有する(have)」、「含む(include)」、又は「含有する(contain)」、方法のステップ又はデバイスの要素は、それらの1つ又は複数の特徴を保有するが、それらの1つ又は複数の特徴のみを保有することに限定されるものではない。さらに、特定の方法で構成されたデバイス又は構造は、少なくともその方法で構成されるが、列挙されていない方法で構成されることもある。
以下の特許請求の範囲に存在する場合、「手段又はステップと機能との組合せ(ミーンズ又はステップ・プラス・ファンクション)」要素の対応する構造、材料、動作及び均等物は、明確に特許請求された他の特許請求される要素と共に機能を実行するための任意の構造、材料、又は動作を含むことを意図したものである。本明細書に記載される説明は、例証及び説明のためだけに提示されたものであり、網羅的であること又は本発明を開示した形態に限定することを意図したものではない。当業者には、本開示の範囲及び趣旨から逸脱することなく、多くの修正及び変形が明らかであろう。実施形態は、本明細書に記載される1つ又は複数の態様の原理、実際の用途を最も良く説明するため、及び考えられる特定の使用に適するものとして種々の変形を有する種々の実施形態において、当業者が、本明細書に説明される1つ又は複数の態様を理解するのを可能にするために、選択され説明された。
100:システム
101:ユーザ
110:ユーザ・デバイス
120:文書デジタル化エンジン
130:意味データベース
131:文書クラス
133:クラスキー・セット
135:キー・エイリアス・セット
137:キー・オントロジ・データ
140:文書メタデータ
141:オブジェクト文脈
143:位置座標
145:オブジェクト・スタイル
150:リレーショナル・データベース(RDB)
155:キー値ペア(KVP)
160:文書デジタル化エンジン
160:意味正規化エンジン
170:外部ツール
181:文書イメージ
191:キー・クラス信頼性スコア・タプル
199:フィードバック

Claims (19)

  1. 文書イメージにおけるキーを正規化するためのコンピュータ実施方法であって、
    コンピュータの1つ又は複数のプロセッサにより、前記文書イメージの文書メタデータを取得することであって、前記文書メタデータは、前記文書イメージ内に現れる各オブジェクトに対応する文脈、位置及びスタイルを含む、取得することと、
    候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、前記文書イメージにおけるオブジェクトに対応する候補キーを識別することと、
    前記候補キーを正規化して正規形にすることと、
    前記正規形に対応するキー・クラスを判断することであって、前記キー・クラスは前記キー・オントロジ・データにおける前記キーと関連付けられる、判断することと、
    前記文書メタデータに基づいて、前記キー・クラスについての信頼性スコアを評価することであって、前記信頼性スコアは、前記キー・クラスが前記候補キーを表す尤度を示す、評価することと、
    事前構成された検証方法に従って前記キー・クラスを検証することに基づいて、意味データベースを前記キー・クラスで更新し、前記キー・クラスを、他の文書イメージ内に現れる意味的に交換可能なテキストと効率的に関連付けることができるようにすることと、
    を含む、コンピュータ実施方法。
  2. 前記キー・クラスのゼロ又はそれより多いエイリアスを導出することと、
    前記導出されたエイリアスを、前記意味データベースからの前記キーに対応するキー・エイリアス・セット内のエイリアスと比較することと、
    前記導出されたエイリアスが前記キー・エイリアス・セット内に存在しないこと、及び前記導出されたエイリアスの各々に対応するそれぞれの信頼性スコアが事前構成された閾値より大きいことを見いだすことと、
    前記意味データベースを前記導出されたエイリアスで更新することと、
    をさらに含む、請求項1に記載のコンピュータ実施方法。
  3. 前記キー・オントロジ・データにおける前記キーは、前記キー・クラスに等しい、請求項1に記載のコンピュータ実施方法。
  4. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーの文脈と前記キー・クラスの文脈とを比較することであって、前記候補キーの前記文脈は、前記文書イメージにおける前記候補キーと一緒に現れる他のオブジェクトを示し、前記キー・クラスの前記文脈は、過去の文書イメージにおける前記キー・クラスのキーと一緒に現れた他の典型的なオブジェクトを示す、比較することと、
    前記候補キーの前記文脈と前記キー・クラスの前記文脈との間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項1に記載のコンピュータ実施方法。
  5. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーの位置と前記キー・クラスの位置とを比較することであって、前記候補キーの前記位置は、前記候補キーが現れる前記文書イメージの相対部分を示し、前記キー・クラスの前記位置は、前記キー・クラスのキーが典型的に表れた過去の文書イメージの相対部分を示す、比較することと、
    前記候補キーの前記位置と前記キー・クラスの前記位置との間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項1に記載のコンピュータ実施方法。
  6. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーのスタイルと前記キー・クラスのスタイルとを比較することであって、前記候補キーの前記スタイルは、前記文書イメージ内に現れる他のオブジェクトのスタイルとの関係における前記候補キーのフォント・タイプ及びサイズを示し、前記キー・クラスの前記スタイルは、過去の文書イメージにおいて典型的に表れた他のオブジェクトのスタイルとの関係における前記キー・クラスのフォント・タイプ及びサイズを示す、比較することと、
    前記候補キーの前記スタイルと前記キー・クラスの前記スタイルとの間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項1に記載のコンピュータ実施方法。
  7. 前記正規形は、拡張バッカス・ナウア記法(EBNF)表記であり、前記文書メタデータは、JavaScript Object Notation(JSON)形式で表現される、請求項1に記載のコンピュータ実施方法。
  8. 前記キー・オントロジ・データにおいて指定される前記キーは、リレーショナル・データベースにおけるデータ・フィールド名であり、前記キーは、前記文書イメージから抽出された値と関連付けられ、前記キー及び前記値は、将来の計算のために前記リレーショナル・データベースにおけるキー値ペアを形成する、請求項1に記載のコンピュータ実施方法。
  9. 文書イメージにおけるキーを正規化するためのコンピュータ実施方法であって、
    コンピュータの1つ又は複数のプロセッサにより、候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、前記文書イメージにおけるオブジェクトに対応する候補キーを識別することと、
    前記候補キーを正規化して正規形にすることと、
    前記正規形から前記候補キーの1つ又は複数のエイリアスを導出することであって、前記1つ又は複数のエイリアスは、意味データベースにおける前記キーと関連付けられていない、導出することと、
    前記文書イメージの文書メタデータに基づいて、前記1つ又は複数のエイリアスの各々について、それぞれの信頼性スコアを評価することであって、前記信頼性スコアは、各エイリアスが前記候補キーを表す尤度を示す、評価することと、
    事前構成された検証方法に従って前記1つ又は複数のエイリアスを検証することに基づいて、前記意味データベースを前記1つ又は複数のエイリアスで更新し、テキストが前記候補キーと意味的にマッチすることに基づいて、前記1つ又は複数のエイリアスを他の文書イメージからのテキストと効率的に関連付けることができるようにすることと、
    を含む、コンピュータ実施方法。
  10. 1つ又は複数のプロセッサにより可読であり、前記1つ又は複数のプロセッサにより実行される、文書イメージにおけるキーを正規化するための方法を実行する命令を格納するコンピュータ可読ストレージ媒体を含み、前記方法は、
    前記文書イメージの文書メタデータを取得することであって、前記文書メタデータは、前記文書イメージ内に現れる各オブジェクトに対応する文脈、位置及びスタイルを含む、取得することと、
    候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、前記文書イメージにおけるオブジェクトに対応する候補キーを識別することと、
    前記候補キーを正規化して正規形にすることと、
    前記正規形に対応するキー・クラスを判断することであって、前記キー・クラスは前記キー・オントロジ・データにおける前記キーと関連付けられる、判断することと、
    前記文書メタデータに基づいて前記キー・クラスについての信頼性スコアを評価することであって、前記信頼性スコアは、前記キー・クラスが前記候補キーを表す尤度を示す、評価することと、
    事前構成された検証方法に従って前記キー・クラスを検証することに基づいて、意味データベースを前記キー・クラスで更新し、前記キー・クラスを、他の文書イメージ内に現れる意味的に交換可能なテキストと効率的に関連付けることができるようにすることと、
    を含む、コンピュータ・プログラム製品。
  11. 前記キー・クラスのゼロ又はそれより多いエイリアスを導出することと、
    前記導出されたエイリアスを、前記意味データベースからの前記キーに対応するキー・エイリアス・セット内のエイリアスと比較することと、
    前記導出されたエイリアスが前記キー・エイリアス・セット内に存在しないこと、及び前記導出されたエイリアスの各々に対応するそれぞれの信頼性スコアが事前構成された閾値より大きいことを見いだすことと、
    前記意味データベースを前記導出されたエイリアスで更新することと、
    をさらに含む、請求項10に記載のコンピュータ・プログラム製品。
  12. 前記キー・オントロジ・データにおける前記キーは、前記キー・クラスに等しい、請求項10に記載のコンピュータ・プログラム製品。
  13. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーの文脈と前記キー・クラスの文脈とを比較することであって、前記候補キーの前記文脈は、前記文書イメージにおける前記候補キーと一緒に現れる他のオブジェクトを示し、前記キー・クラスの前記文脈は、過去の文書イメージにおける前記キー・クラスのキーと共に現れた他の典型的なオブジェクトを示す、比較することと、
    前記候補キーの前記文脈と前記キー・クラスの前記文脈との間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項10に記載のコンピュータ・プログラム製品。
  14. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーの位置と前記キー・クラスの位置とを比較することであって、前記候補キーの前記位置は、前記候補キーが現れる前記文書イメージの相対部分を示し、前記キー・クラスの前記位置は、前記キー・クラスのキーが典型的に表れた過去の文書イメージの相対部分を示す、比較することと、
    前記候補キーの前記位置と前記キー・クラスの前記位置との間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項10に記載のコンピュータ・プログラム製品。
  15. 前記評価することは、
    前記文書メタデータにおいて指定された前記候補キーのスタイルと前記キー・クラスのスタイルとを比較することであって、前記候補キーの前記スタイルは、前記文書イメージ内に現れる他のオブジェクトのスタイルとの関係における前記候補キーのフォント・タイプ及びサイズを示し、前記キー・クラスの前記スタイルは、過去の文書イメージにおいて典型的に表れた他のオブジェクトのスタイルとの関係における前記キー・クラスのフォント・タイプ及びサイズを示す、比較することと、
    前記候補キーの前記スタイルと前記キー・クラスの前記スタイルとの間の類似性のレベルに比例して前記信頼性スコアを調整することと、
    を含む、請求項10に記載のコンピュータ・プログラム製品。
  16. 前記正規形は、拡張バッカス・ナウア記法(EBNF)表記であり、前記文書メタデータは、JavaScript Object Notations(JSON)形式で表現される、請求項10に記載のコンピュータ・プログラム製品。
  17. 前記キー・オントロジ・データにおいて指定される前記キーは、リレーショナル・データベースにおけるデータ・フィールド名であり、前記キーは、前記文書イメージから抽出された値と関連付けられ、前記キー及び前記値は、将来の計算のために前記リレーショナル・データベースにおけるキー値ペアを形成する、請求項10に記載のコンピュータ・プログラム製品。
  18. コンピュータ・プログラム製品であって、
    1つ又は複数のプロセッサにより可読であり、前記1つ又は複数のプロセッサにより実行される、文書イメージにおけるキーを正規化するための方法を実行する命令を格納するコンピュータ可読ストレージ媒体を含み、前記方法は、
    候補キーがキーと意味的に交換可能であることに基づいて、キー・オントロジ・データにおけるキーを用いて、前記文書イメージにおけるオブジェクトに対応する候補キーを識別することと、
    前記候補キーを正規化して正規形にすることと、
    前記正規形から前記候補キーの1つ又は複数のエイリアスを導出することであって、前記1つ又は複数のエイリアスは、意味データベースにおける前記キーと関連付けられていない、導出することと、
    前記文書イメージの文書メタデータに基づいて、前記1つ又は複数のエイリアスの各々について、それぞれの信頼性スコアを評価することであって、前記信頼性スコアは、各エイリアスが前記候補キーを表す尤度を示す、評価することと、
    事前構成された検証方法に従って前記1つ又は複数のエイリアスを検証することに基づいて、前記意味データベースを前記1つ又は複数のエイリアスで更新し、テキストが前記候補キーと意味的にマッチすることに基づいて、前記1つ又は複数のエイリアスを他の文書イメージからのテキストと効率的に関連付けることができるようにすることと、
    を含む、コンピュータ・プログラム製品。
  19. メモリと、
    メモリと通信する1つ又は複数のプロセッサと、
    前記メモリを介して前記1つ又は複数のプロセッサにより実行可能な、請求項1から請求項9までのいずれかに記載の文書イメージにおけるキーを正規化するための方法を実行するためのプログラム命令と、
    を含む、システム。
JP2020523741A 2017-12-01 2018-11-30 文書デジタル化における意味正規化のための方法、コンピュータ・プログラム及びシステム Active JP6964383B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/829,078 2017-12-01
US15/829,078 US10963686B2 (en) 2017-12-01 2017-12-01 Semantic normalization in document digitization
PCT/IB2018/059490 WO2019106613A1 (en) 2017-12-01 2018-11-30 Semantic normalization in document digitization

Publications (2)

Publication Number Publication Date
JP2021504779A true JP2021504779A (ja) 2021-02-15
JP6964383B2 JP6964383B2 (ja) 2021-11-10

Family

ID=66659258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523741A Active JP6964383B2 (ja) 2017-12-01 2018-11-30 文書デジタル化における意味正規化のための方法、コンピュータ・プログラム及びシステム

Country Status (6)

Country Link
US (1) US10963686B2 (ja)
JP (1) JP6964383B2 (ja)
CN (1) CN111263943B (ja)
DE (1) DE112018006131T5 (ja)
GB (1) GB2581461A (ja)
WO (1) WO2019106613A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616816B2 (en) * 2018-12-28 2023-03-28 Speedchain, Inc. Distributed ledger based document image extracting and processing within an enterprise system
US20210185091A1 (en) * 2018-12-28 2021-06-17 Mox-SpeedChain, LLC Advanced Security System for Implementation in an Internet of Things (IOT) Blockchain Network
CN114072857A (zh) * 2019-02-27 2022-02-18 谷歌有限责任公司 识别文档中的键值对
US20230077289A1 (en) * 2021-09-09 2023-03-09 Bank Of America Corporation System for electronic data artifact testing using a hybrid centralized-decentralized computing platform
US11914943B1 (en) * 2022-08-22 2024-02-27 Oracle International Corporation Generating an electronic document with a consistent text ordering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119392A (ja) * 1992-10-02 1994-04-28 Hitachi Ltd データ項目識別方式
JPH11328218A (ja) * 1998-05-12 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> コンテンツ属性情報正規化方法、情報収集・サービス提供システム、属性情報設定装置並びにプログラム格納記録媒体
JP2007058605A (ja) * 2005-08-24 2007-03-08 Ricoh Co Ltd 文書管理システム
US20080168345A1 (en) * 2007-01-05 2008-07-10 Becker Daniel O Automatically collecting and compressing style attributes within a web document
JP2016143165A (ja) * 2015-01-30 2016-08-08 株式会社Pfu 情報処理装置、方法およびプログラム
JP2019061550A (ja) * 2017-09-27 2019-04-18 株式会社ミラボ 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362775B1 (en) * 1996-07-02 2008-04-22 Wistaria Trading, Inc. Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management
US20150066895A1 (en) * 2004-06-18 2015-03-05 Glenbrook Networks System and method for automatic fact extraction from images of domain-specific documents with further web verification
CA2673422C (en) 2006-12-21 2016-07-12 Cogniva Information Solutions Inc. Software for facet classification and information management
US9043367B2 (en) 2007-05-23 2015-05-26 Oracle International Corporation Self-learning data lenses for conversion of information from a first form to a second form
US9268849B2 (en) 2007-09-07 2016-02-23 Alexander Siedlecki Apparatus and methods for web marketing tools for digital archives—web portal advertising arts
US8379989B2 (en) * 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
JP5226425B2 (ja) * 2008-08-13 2013-07-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法およびプログラム
WO2010102515A1 (en) 2009-03-11 2010-09-16 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8417651B2 (en) 2010-05-20 2013-04-09 Microsoft Corporation Matching offers to known products
US9104749B2 (en) 2011-01-12 2015-08-11 International Business Machines Corporation Semantically aggregated index in an indexer-agnostic index building system
US9064004B2 (en) 2011-03-04 2015-06-23 Microsoft Technology Licensing, Llc Extensible surface for consuming information extraction services
US9251180B2 (en) 2012-05-29 2016-02-02 International Business Machines Corporation Supplementing structured information about entities with information from unstructured data sources
US9674132B1 (en) 2013-03-25 2017-06-06 Guangsheng Zhang System, methods, and user interface for effectively managing message communications
US9876848B1 (en) * 2014-02-21 2018-01-23 Twitter, Inc. Television key phrase detection
US10394851B2 (en) * 2014-08-07 2019-08-27 Cortical.Io Ag Methods and systems for mapping data items to sparse distributed representations
US10572579B2 (en) * 2015-08-21 2020-02-25 International Business Machines Corporation Estimation of document structure
US10395325B2 (en) * 2015-11-11 2019-08-27 International Business Machines Corporation Legal document search based on legal similarity
CA3004582C (en) * 2015-11-14 2020-11-17 Sharp Kabushiki Kaisha Method and device for determining available services
CN105630751A (zh) * 2015-12-28 2016-06-01 厦门优芽网络科技有限公司 一种快速比对文本内容的方法与系统
CN105787056A (zh) 2016-02-29 2016-07-20 浪潮通用软件有限公司 一种基于自定义计算模型的计算方法
CN106156272A (zh) * 2016-06-21 2016-11-23 北京工业大学 一种基于多源语义分析的信息检索方法
US10438083B1 (en) * 2016-09-27 2019-10-08 Matrox Electronic Systems Ltd. Method and system for processing candidate strings generated by an optical character recognition process

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119392A (ja) * 1992-10-02 1994-04-28 Hitachi Ltd データ項目識別方式
JPH11328218A (ja) * 1998-05-12 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> コンテンツ属性情報正規化方法、情報収集・サービス提供システム、属性情報設定装置並びにプログラム格納記録媒体
JP2007058605A (ja) * 2005-08-24 2007-03-08 Ricoh Co Ltd 文書管理システム
US20080168345A1 (en) * 2007-01-05 2008-07-10 Becker Daniel O Automatically collecting and compressing style attributes within a web document
JP2016143165A (ja) * 2015-01-30 2016-08-08 株式会社Pfu 情報処理装置、方法およびプログラム
JP2019061550A (ja) * 2017-09-27 2019-04-18 株式会社ミラボ 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム

Also Published As

Publication number Publication date
GB2581461A (en) 2020-08-19
JP6964383B2 (ja) 2021-11-10
DE112018006131T5 (de) 2020-08-20
WO2019106613A1 (en) 2019-06-06
GB202009248D0 (en) 2020-07-29
CN111263943B (zh) 2023-10-10
US20190171872A1 (en) 2019-06-06
US10963686B2 (en) 2021-03-30
CN111263943A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP7201299B2 (ja) コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム
JP6964383B2 (ja) 文書デジタル化における意味正規化のための方法、コンピュータ・プログラム及びシステム
US11887010B2 (en) Data classification for data lake catalog
JP7289047B2 (ja) ブロックに基づく文書メタデータの抽出のための方法、コンピュータ・プログラム及びシステム
US10872236B1 (en) Layout-agnostic clustering-based classification of document keys and values
US11042581B2 (en) Unstructured data clustering of information technology service delivery actions
US11436446B2 (en) Image analysis enhanced related item decision
US11500840B2 (en) Contrasting document-embedded structured data and generating summaries thereof
US9916361B2 (en) Dynamically mapping zones
US9338062B2 (en) Information displaying method and apparatus
US11714637B1 (en) User support content generation
AU2018214042A1 (en) Information displaying method and apparatus
US11321409B2 (en) Performing a search based on position information
US11893817B2 (en) Method and system for generating document field predictions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200427

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211015

R150 Certificate of patent or registration of utility model

Ref document number: 6964383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150