JP2023166260A - 情報処理装置、情報処理方法及びプログラム固有表現抽出装置 - Google Patents

Abstract

【課題】 文書のテキストのトークン数が自然言語処理モデルの上限トークン長を超える場合であっても、文書全体の処理結果に不整合を起こさずに固有表現の抽出を行うことを目的とする。【解決手段】 文書を読み取って得られた文書画像からテキストデータを取得して、トークンの集合であるトークン列に変換し、当該トークン列を、所定のトークン数以下で構成されるブロックの単位に分割する。そして、学習済みのニューラルネットワークモデルを用いて、ブロック毎に固有表現を推論し、ブロック毎の推論結果をマージして、マージ結果から文書画像単位での固有表現候補の集合である文書固有表現候補を生成する。そして、文書固有表現候補に基づき、前記文書における固有表現を決定する。【選択図】 図３

Description

本発明は、文書から固有表現を抽出する技術に関する。

従来、文書を読み取って電子化（ファイル化）する際に、当該文書に含まれるテキストの情報を取得して、適切なファイル名を自動付与する技術がある。自動付与されるファイル名を構成する要素には、ファイル作成日時、文書に記載された組織名や人名、文書番号、文書発行日などがある。これらは自然言語処理分野の応用技術である固有表現抽出技術により得ることができる。近年、自然言語処理において主流となっているSeq2SeqやTransformersに代表されるニューラルネットワークモデルは、文書内のテキストをトークンと呼ばれる単位に分割したトークン列を入力として推論処理を行う。この際、トークン列の長さが、予め規定された上限トークン長未満であれば固定値でパディングされて、上限トークン長を超えていれば上限トークン長以下に収まるように複数のトークン列に分割されて、モデルに入力されることになる。そして、特許文献１は、文書内の長いテキストを、章や節、段落などのセクションに分割し、各セクションに対して推論処理を行う手法を開示する。

特開２０２１－６４１４３号公報

上記特許文献１のような手法によって文書内のテキストを所定のセクションに分割し、セクション毎に固有表現抽出を行う場合、各セクションは他のセクションの情報を考慮しないため、誤抽出が生じる場合があった。例えば、発行日や支払期限日など複数の日付が記入された請求書の場合、セクションの区切り位置によっては、発行日を表す正しい日付に加えて、支払期限日を表す日付までが発行日として抽出されることが起こり得た。

本開示は係る問題に鑑みてなされたものであり、文書内のテキストを分割して推論処理を行う場合においても、高精度に固有表現を抽出できるようにすることを目的とする。

本開示に係る情報処理装置は、文書を読み取って得られた文書画像からテキストデータを取得する文字認識手段と、前記テキストデータをトークンの集合であるトークン列に変換するテキスト変換手段と、前記トークン列を、所定のトークン数以下で構成される複数のブロックに分割する分割手段と、学習済みのニューラルネットワークモデルを用いて、前記ブロック毎に固有表現を推論する推論手段と、前記ブロック毎の前記推論の結果をマージするマージ手段と、前記マージの結果から、前記文書画像の単位での、固有表現の集合である文書固有表現候補を生成する生成手段と、前記文書固有表現候補に基づき、前記文書における固有表現を決定する決定手段と、を有することを特徴とする。

本開示によれば、文書内のテキストを分割して推論処理を行う場合においても、高精度に固有表現を抽出できる。

情報処理装置のハードウェア構成を示す図。 情報処理装置のソフトウェア構成を示す図。 文書画像から固有表現を抽出する処理の流れを示すフローチャート。 （ａ）は文書画像の一例を示す図、（ｂ）は文書固有表現候補の一例を示す図。 （ａ）～（ｃ）は、固有表現候補の生成の具体例を示す図。 文書固有表現候補の生成処理の詳細を示すフローチャート。 文書固有表現候補の選択処理の詳細を示すフローチャート。 （ａ）及び（ｂ）は、学習データセットに含まれる学習データを説明する図。 関数ｈ_xの説明図。 （ａ）及び（ｂ）は、それぞれ関数ｓ（ｘ）及び関数ｒ（ｘ）を説明する図。 変形例２に係る、推論結果の一例を示す図。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

［実施形態１］
＜ハードウェア構成＞
図１は、本実施形態に係る、固有表現抽出装置としての情報処理装置のハードウェア構成を示す図である。情報処理装置１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、表示部１０５、入力部１０６及びスキャナ１０７を有する。

制御部１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、制御部１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置１００の機能や処理は、制御部１０１がＲＯＭ１０２またはＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１０５と入力部１０６は、タッチパネルのように一体に設けられてもよい。また、表示部１０５は、プロジェクタによる投影を行うものであってもよく、入力部１０６は、投影された画像に対する指先の位置をカメラで認識するものであってもよい。スキャナ１０７は、紙面を読み取ってスキャン画像を生成する。なお、スキャナ１０７は、接触型スキャナに限らず、書画カメラやスマートフォンを非接触型スキャナとして用いてもよい。

本実施形態においては、スキャナ１０７が、帳票等の紙文書を読み取って文書画像を生成し、当該文書画像を後述する文字認識部２１２によりテキストデータに変換してＨＤＤ１０４などの記憶装置に記憶する。

［用語］
本実施形態で用いる用語について、以下のように定義する。
・文字列：複数の連続する文字
・トークン：文字列をより短い文字列の集合に分割した時、分割して得られた各文字列
・トークン列：複数の連続するトークン
各トークンには、推論処理によって「Ｂ－Ｄａｔｅ」、「Ｉ－Ｄａｔｅ」、「Ｉ－ＩＤ」、「Ｏ」などのラベル種別が割り当てられる。ラベル種別は固有表現抽出技術の分野で一般に用いられるＩＯＢ形式で表記される。また、ラベル種別は一つのトークンに対して複数割り当てられる場合があり、この時に割り当てられた各ラベル種別をそれぞれラベル候補とする。さらに、各トークンに割り当てられた一つ以上のラベル候補をまとめてラベルとする。ラベルが持つラベル候補を単に候補と記載する場合がある。

「Ｂ－」や「Ｉ－」に続く文字列“Ｄａｔｅ”や“ＩＤ”は固有表現種別と呼ぶ。連続するラベルであるラベル列に対して、形式のルールを適用することで、該ラベル列（及びそれを構成するトークン列、文字列）の固有表現種別が得られる。一つのトークン列に対して複数の固有表現種別が割り当てられる場合があるが、そのようなトークン列と各固有表現種別の組をそれぞれ固有表現候補とする。さらに、一つのトークン列に割り当てられた一つ以上の固有表現候補をまとめて固有表現とする。固有表現が持つ固有表現候補を単に候補と記載する場合がある。

＜ソフトウェア構成＞
図２は、本実施形態に係る、情報処理装置１００のソフトウェア構成（機能構成）を示す図である。情報処理装置１００は、図示される各モジュールを実現するプログラムは、ＲＯＭ１０２またはＨＤＤ１０４に記憶される。プログラムの制御、各モジュールに対する指示、管理、及びモジュール間のデータの受け渡しは不図示の制御部により行われる。以下、図２に示す各モジュールについて説明する。

情報処理装置１００は、画像取得部２１１、文字認識部２１２、テキスト変換部２１３、ブロック生成部２１４、推論部２１５、マージ部２１６、候補生成部２１７、選択部２１８を有する。

画像取得部２１１は、固有表現抽出の処理対象となる文書画像（スキャナ１０７で文書を読み取って生成したスキャン画像）を取得する。

文字認識部２１２は、文書画像内の文字に対応する画像領域（文字領域）に対してＯＣＲ（Optical Character Recognition）を行うことによって、文書内に存在する文字の情報（テキストデータ）を取得する。このテキストデータは、各文字領域の座標に基づき例えば左から右、上から下に走査して、文字領域毎の認識文字列（認識された複数の連続する文字）を順に結合することで得られる。取得したテキストデータはテキスト変換部２１３４に渡される。

テキスト変換部２１３は、入力されたテキストデータに対して形態素解析を行い、形態素毎に分かち書きを行ってトークンに分解し、トークンの集合であるトークン列に変換する。トークンは、ニューラルネットワークモデルに入力する言語情報の最小単位である。ここでは、トークンの単位を形態素としているがこれに限定されない。例えば、トークンの単位として、文節単位や単語単位、文字単位を採用してもよい。これにより例えば、入力されたテキストデータが「発行日：２０１７年６月１１日」であるとき、「／発行／日／：／２０１７／年／６／月／１１／日／」といった９個のトークンから成るトークン列に変換される。なお、“／”はトークンの区切りを示す記号である。得られたトークン列はロック生成部２１４に渡される。

ブロック生成部２１４は、入力されたトークン列を、所定のトークン数以下で構成される集合（塊）になるように分割して、複数のブロックを生成する。生成されるブロックの長さ（１つのブロックを構成するトークンの数）は、推論処理に用いる学習済みモデル（以下、「推論モデル」と表記）２２１に入力可能な上限トークン長（上限トークン数）である。例えば入力トークン列を構成するトークン数が５８０個、推論モデル２２１の上限トークン数が２５６個であったとする。この場合、入力トークン列は、各ブロックが２５６個のトークンから成る３つのブロックに分割されることになる。生成されたブロックのデータは推論部２１５に渡される。

推論部２１５は、ＨＤＤ１０４から推論モデル２２１を読み込み、入力されたブロックそれぞれを推論モデル２２１に入力して、ブロックを構成するトークンそれぞれについて、固有表現のラベルを推論する処理を行う。推論モデル２２１としては、例えばＢＥＲＴ（Bidirectional Encoder Representations from Transformers）やＸＬＮｅｔなどが挙げられる。推論モデル２２１がニューラルネットワーク構造を持つ場合、ネットワーク構成、ネットワーク間の重み、及び各種パラメータを有する。本実施形態において推論モデル２２１は、固有表現抽出技術の分野で一般に用いられるＩＯＢ形式のラベルを推論する。ＩＯＢ形式では、固有表現を意味する文字列の先頭トークンにラベル種別「Ｂ－＜任意文字列＞」、２番目以降のトークンにラベル種別「Ｉ－＜任意文字列＞」を付与し、何れの固有表現でもないトークンに対してはラベル種別「Ｏ（Ｏｔｈｅｒ）」を付与する。そしてＢラベルから連続する同種のＩラベルの領域を同ラベル種別が表す固有表現種別の文字列とする。例えば、上述の「／発行／日／：／２０１７／年／６／月／１１／日／」のブロックに対する推論処理によって、トークン「２０１７」にラベル種別「Ｂ－Ｄａｔｅ」、続けて末尾の「日」まで連続してラベル種別「Ｉ－Ｄａｔｅ」が付与されたとする。この場合、文字列“２０１７年６月１１日”と固有表現種別「Ｄａｔｅ」の組が固有表現として取得される。さらに推論部２１５は、トークン毎に付与されたラベルから固有表現候補を推論する。例えば、文字列“２０１７年６月１１日”に対し、第１の固有表現候補として「Ｄａｔｅ」、第２の固有表現候補として「Ｏｔｈｅｒ（固有表現なし）」を推論する。このように、一つの文字列に対して複数の固有表現候補を生成する。固有表現候補の生成の詳細は後述する。

マージ部２１６は、ブロック毎の推論の結果をマージする。これにより、一つの文書画像のテキストデータ全体に対する推論結果であって、各文字列について複数の固有表現候補を有する推論結果が得られる。

候補生成部２１７は、マージした結果から、文書画像単位での、固有表現の集合である文書固有表現候補を生成する。通常、文書固有表現候補は複数生成される。なお、文書固有表現候補内の各固有表現は複数の候補を持たない。例えば、第１の文書固有表現候補として「Ｄａｔｅ：２０１７年６月１１日」及び「ＩＤ：Ａ１００１」を、第２の文書固有表現候補として「Ｄａｔｅ：２０１７年６月１１日」及び「ＩＤ：ＡＢ－１２３４」といった具合に生成される。

選択部２１８は、生成された複数の文書固有表現候補それぞれと、学習データセット２２２に含まれる各学習データとを各固有表現のレイアウトに基づき比較して、適切な文書固有表現候補を選択する。学習データセット２２２には複数の学習データが含まれ、各学習データは文書画像１枚分の正しい固有表現のセットを有する。選択部２１８の処理の詳細は後述する。

＜固有表現抽出処理＞
次に、本実施形態における、文書画像から固有表現を抽出する処理の流れについて、図３のフローチャートを参照して説明する。図３のフローチャートに示す一連の処理は、不図示のＵＩ画面を介したユーザ指示に基づき、スキャナ１０７で文書が読み取られてその文書画像が文字認識部２１２に入力されることで開始する。なお、以下の説明において記号「Ｓ」はステップを意味する。

まず、Ｓ３０１にて、文字認識部２１２は、入力された文書画像内の各文字領域に対しＯＣＲ処理を行ってテキストデータを取得する。図４（ａ）は、請求書を読み取って得られた文書画像４００を示している。いま、文書画像４００に対するＯＣＲ処理によって、「ご請求書｜発行日：｜２０１７年６月１１日｜・・・｜お支払い期限｜２０１８年７月１１日｜御請求金額｜￥６，３１８」のテキストデータが得られたものとして、以降各処理の説明を行うこととする。なお、このテキストデータにおいて、文字「｜」は、異なる文字領域の文字列を結合する場合に挿入する区切り文字を表す。

次に、Ｓ３０２にて、テキスト変換部２１３は、取得されたテキストデータをトークンに分解してトークン列に変換する。上述のテキストデータの場合、「／請求／書／・・・」といった具合に分かち書きによって分解され、複数のトークンから成るトークン列に変換されることになる。

次に、Ｓ３０３にて、ブロック生成部２１４は、変換されたトークン列を所定のトークン長以下になるように複数のブロックに分割する。ここでは、上記具体例のトークン列が、第１ブロック「・・・／お／支払／い／期限／｜／」と、第２ブロック「／２０１８／年／・・・」の２つに分割されたものとする。図４（ａ）において、破線４０１は、第１ブロックと第２ブロックとの境界を表している。

次に、Ｓ３０４にて、推論部２１５は、複数のブロックそれぞれを推論モデル２２１に入力して、トークン毎にラベルを推論し、ＩＯＢ形式の定義に従って固有表現に変換する。ここで、上記具体例の場合、第１ブロックの末尾にある文字列“お支払い期限”は、第２ブロックの先頭にある文字列“２０１８年７月１１日”の意味を説明するキーワードである。しかしながら、分割によりそれらが別々のブロックに属することになっている。そのため、推論モデル２２１は、第２ブロックを処理する際、キーワード無しで文字列“２０１８年７月１１日”のラベルを推論しなければならなくなっている。さらに、推論モデル２２１は、各ラベルの推論結果に複数の候補があれば、それに基づき固有表現単位の候補も複数生成する。ここで、固有表現候補の生成方法について、具体例を用いて詳しく説明する。

≪固有表現候補の生成≫
図５（ａ）は、ブロックの途中で同種のＢラベルが第２候補として推論された場合の処理例である。テーブル５００は、文字列“２０２１－０１－０４”を分かち書きして得られたトークン列「／２０２１／－／０１／－／０４／」の推論結果を示している。テーブル５００の各列が一つのトークンに対応している。各トークンは、それぞれ識別子５０１、文字列５０２、トークンの第１位推論結果である第１位ラベル５０３、第２位推論結果である第２位ラベル５０４、ＩＯＢ形式に従い生成される固有表現の第１候補５０５と第２候補５０６の属性を有する。以後、各列をトークン｛識別子｝と呼ぶ。第１位ラベル５０３によれば、先頭トークンＴ１＿１がＢラベルで始まり、末尾トークンＴ１＿５までＩラベルが連続するため、第１候補５０５が示すようにトークン列全体が固有表現「Ｄａｔｅ」となる。ここで、トークンＴ１＿３の第２位ラベル５０４が「Ｂ－Ｄａｔｅ」となっている。そのため、トークンＴ１＿３の推論結果を「Ｂ－Ｄａｔｅ」とした場合、第２候補５０６の通り、トークンＴ１＿１からＴ１＿２までで一つの固有表現「Ｄａｔｅ」となり、さらにトークンＴ１＿３からＴ１＿５までがまた別の固有表現「Ｄａｔｅ」となる。

図５（ｂ）は、同種のＩラベルが連続するトークン列に対する処理例である。テーブル５１０において、トークンＴ２＿１からＴ２＿５はいずれも第１位ラベルが「Ｉ－Ｔｏ」である。ＩＯＢ形式に従えば、先頭がＢラベルではないためこれらは固有表現ではなく、第１候補は「Ｏｔｈｅｒ」となる。これに対して推論部２１５は、同種のＩラベルが連続する場合、ラベルに対応する固有表現を新たな候補として生成する。これは先頭トークンの推論誤りの可能性を考慮した処理である。これにより、テーブル５１０に示すとおり、第１候補が「Ｏｔｈｅｒ」、第２候補が「Ｔｏ」となる。なお、テーブル５１０に示す推論結果では、各トークンに対して付されるラベルが、Ｂラベルの存在を前提とするＩラベルだけになっている理由は主に２つある。１つ目の理由は、文字領域毎の文字列を走査・結合する際の順番が誤って学習されるケースがあることである。例えば、ある学習データにおいて1つの固有表現が複数の文字領域に跨っている場合、それらに対応する文字列の走査・結合の順序を誤ると、Ｉラベルの前にＯラベルが有ると学習されたり、別種のＩラベルが連続すると学習される場合がある。そのような学習によって得られた推論モデルの場合、テーブル５１０のような推論結果になることがある。２つ目の理由は、いわゆる過学習が起きた場合である。仮に、Ｉラベルの直前に同種のＢラベルしか来ないような学習データだけを用いて学習を行ったとしても、そのルールを常に正しく学習できるわけではない。ルールを覚えこませるために過剰に学習させると推論精度が低下する過学習となってしまい、それによって得られた推論モデルの場合も、テーブル５１０のような推論結果になることがある。

図５（ｃ）は、異なる種類のラベルが連続するトークン列に対する処理例である。テーブル５２０において、トークンＴ３＿１からＴ３＿２を前半部、トークンＴ３＿３からＴ３＿４を後半部とする。処理対象のトークン列を通常のＩＯＢ形式により変換したものが第１候補であり、前半部については「Ｔｏ」、後半部については「Ｉ－Ｆｒｏｍ」の連続であるため「Ｏｔｈｅｒ」となっている。さらに図５（ｂ）で説明した処理を行って得られた結果が第２候補であり、前半部については「Ｔｏ」、後半部については「Ｉ－Ｆｒｏｍ」が連続するため「Ｆｒｏｍ」となっている。第３候補及び第４候補は、Ｉラベルが連続するトークン列全体を一つの固有表現として変換した固有表現候補である。第３候補は、トークン列全体を前半部の推論ラベルである「Ｔｏ」としたもの、第４候補は後半部の推論ラベルである「Ｆｒｏｍ」としたものである。

なお、文書画像４００において、文字列“ファミリ”については「Ｉ－Ｆｒｏｍ」と推論され、文字列“大内”については「Ｔｏ」と推論されているのは、推論モデルは前後に存在する文字列との意味的な関係を学習するためである。一例として、トークン列上で会社名が連続しているときは、先に出現する会社名については「Ｆｒｏｍ」らしさが高く、後に出現する会社名については「Ｔｏ」らしさが高くなるように学習することがある。この場合、明示的なキーワードは不要である。また、別の例として、直後に人名らしき何らかの文字列と“様”の文字列があれば「Ｔｏ」らしさが高くなるように学習されることがある。このような理由から、会社名を表す文字列であっても、推論結果に違いが生じることがある。

図３のフローの説明に戻る。

次に、Ｓ３０５にて、マージ部２１６は、ブロック毎に得られた推論結果をマージする。これにより、ブロック単位で得られた推論結果が１つにまとめられる。

次に、Ｓ３０６にて、候補生成部２１７は、マージ結果に基づき、文書画像単位での固有表現候補の集合である文書固有表現候補を生成する。図６は、本ステップにおける文書固有表現候補を生成する処理の詳細を示すフローチャートである。以下、図６のフローを参照して説明する。

≪文書固有表現候補の生成処理≫
まず、Ｓ６０１では、推論部２１５によって生成された固有表現候補が取得される。ここでは、前述の図５で示した３つのテーブル５００、５１０、５２０で示す固有表現候補が取得されたものとする。

次に、Ｓ６０２では、Ｓ６０１で取得した固有表現候補を組み合わせて、文書固有表現候補が生成される。いま、テーブル５００とテーブル５１０では第１候補と第２候補の２つの固有表現候補、テーブル５２０では第１候補～第４候補まで４つの固有表現候補が得られている。これらの組み合わせにより、２×２×４＝１６個の文書固有表現候補が生成されることになる。

図４（ｂ）は、図４（ａ）の文書画像４００のトークン列を前半と後半の２つのブロックに分け、それぞれブロックの推論結果をマージして得られた文書固有表現候補の一例である。テーブル４１０は、各行が一つの固有表現を表し、識別子４１１、固有表現種別４１２、文字列４１３、ｘ座標４１４、ｙ座標４１５の各列を属性として持つ。識別子４１１は、固有表現毎にユニークなＩＤである。固有表現種別４１２は、抽出された固有表現の種別を表す。ここでは「ＩｓｓＤａｔｅ」、「ＩＤ」、「Ｆｒｏｍ」、「Ｔｏ」の４種類の固有表現が存在する。「ＩｓｓＤａｔｅ」は文書の発行日付を表す。文字列４１３は、各固有表現に対応する入力文字列である。ｘ座標４１４とｙ座標４１５は、文書画像４００における各文字領域の外接矩形の中心座標を示し、文書画像の左上を０、右下を１とするように正規化されている。以後、各行を固有表現｛識別子｝で呼称する。固有表現ＮＥ１＿１からＮＥ１＿５の座標は、それぞれ図４（ａ）に示した固有表現の文字領域４０３ａから４０３ｅに対応する。テーブル４１０において、固有表現ＮＥ１＿１と固有表現ＮＥ１＿５は、いずれも「ＩｓｓＤａｔｅ」となっている。しかしながら、固有表現ＮＥ１＿５に対応する文字領域４０３ｅは、隣接した左側にキーワード“お支払い期限”があり、本来は文書の発行日ではなく支払い期限を表す日付であるため、「ＩｓｓＤａｔｅ」と推論するのは誤りである。このように誤った推論が起きる理由は複数ある。いま、前提として、存在する固有表現は「ＩｓｓＤａｔｅ」、「ＩＤ」、「Ｆｒｏｍ」、「Ｔｏ」の４種のみであり、図４において文字領域４０３ｅは固有表現ではないことを表すＯラベル（Ｏｔｈｅｒ）が推論されるのが正解であるとする。上記４種の固有表現で推論モデルを十分に学習させた場合、「ＩｓｓＤａｔｅ」について｛トークン列が日付の書式｝や｛トークン列上で直前にキーワード“発行日”がある｝といった傾向が学習されると考えられる。そのため、日付の書式である文字領域４０３ｅは、Ｏラベルよりは「ＩｓｓＤａｔｅ」と推論される可能性が高くなる。さらに、TransformersベースのＢＥＲＴでは、トークン列上の何番目のトークンか、についても学習するところ、「ＩｓｓＤａｔｅ」は一般的に文書画像の右上に出現しやすい。そのため、トークン列上で最初に出現する日付の書式で記載された文字列は「ＩｓｓＤａｔｅ」と推論される可能性がより高くなる。そうした中で、境界４０１の位置で分割されたとき、境界４０１より後ろにあるトークン列の先頭トークンとして推論モデルに入力される文字領域４０３ｅは、「ＩｓｓＤａｔｅ」であると推論されることが起きることになる。

図６のフローの説明に戻る。

そして、Ｓ６０３では、Ｓ６０２で生成した文書固有表現候補に対して、固有表現種別の出現数に基づきその一部を書き換えることによって、新たな文書固有表現候補を追加生成する。例えば、「ＩｓｓＤａｔｅ」を１つ、「Ｆｒｏｍ」を２つ、「Ｔｏ」を１つ有する文書固有表現候補があるとする。この場合において、例えば、『文書画像中に出現する「Ｆｒｏｍ」の上限数は１個』ということが分かっているとき、２つある固有表現「Ｆｒｏｍ」のうち一方を「Ｏｔｈｅｒ」に変換した文書固有表現候補をさらに生成する。なお、追加生成処理を行う際の条件として、上述の『文書画像中に出現する「Ｆｒｏｍ」の上限数は１個』はあくまで一例であり、対象となる文書の種類に応じて決まるものである。また、例えば『「Ｆｒｏｍ」と「Ｔｏ」は同数であること』など異なる固有表現種別の組み合わせを、追加生成処理を行うための条件としてもよい。

以上が、文書固有表現候補の生成処理の内容である。図３のフローの説明に戻る。

最後に、Ｓ３０７にて、選択部２１８は、Ｓ３０６で生成された複数の文書固有表現候補の中から適切な文書固有表現候補を選択して、テキストデータに含まれる固有表現を決定する。図７は、本ステップにおける文書固有表現候補の選択処理の詳細を示すフローチャートである。以下、図７のフローを参照して説明する。

Ｓ７０１では、Ｓ３０６で生成された複数の文書固有表現候補のうち注目する文書固有表現候補と、学習データセット２２２に含まれる各学習データとが一対一で比較され、両者の類似度を表すスコアＳが算出される。ここで、学習データについて具体例を用いて説明する。

≪学習データ≫
図８の（ａ）及び（ｂ）は、学習データセット２２２に含まれる学習データを説明する図である。図８（ａ）のテーブル８００は学習データを示し、図８（ｂ）は学習データとしてのテーブル８００を説明のために画像化した学習データ画像８１０を示している。Ｓ７０１では、学習データセット２２２に含まれる各学習データと生成された複数の文書固有表現候補それぞれとが比較され、適切な文書固有表現候補が１つ選択されることになる。いま、学習データとしてのテーブル８００は、文書画像１枚分の正しい固有表現のセットを有する。各行が一つの固有表現を表し、識別子８０１、固有表現種別８０２、ｘ座標８０３、ｙ座標８０４の各列を有する。なお、これら各列は、図４（ｂ）に示した文書固有表現候補としてのテーブル４１０の同名の列と同義である。学習データ画像８１０は、テーブル８００における各固有表現の文字領域を図示したものである。文字領域８１１ａ～８１１ｄは、それぞれ固有表現ＧＴ１＿１からＧＴ１＿４に対応する。なお、各固有表現の有する座標情報はｘ座標とｙ座標のみであるが、学習データ画像８１０では説明のために、ｘ座標とy座標で特定される位置をその中心座標位置とした矩形領域で表現している。

上述のような学習データと、文書固有表現候補との類似度を表すスコアＳが、例えば下記の式（１）を用いて算出されることになる。

・・・式（１）

上記式（１）において、ｅｎｔｉｔｙは固有表現種別の集合（例えば｛ＩｓｓＤａｔｅ、ＩＤ、Ｆｒｏｍ、Ｔｏ｝）を表す。以下、文書固有表現候補内の固有表現を「入力固有表現」、学習データ内の固有表現を「学習固有表現」とそれぞれ呼ぶこととする。例えば、前述の図４（ｂ）のテーブル４１０におけるＮＥ１＿１の固有表現は入力固有表現であり、図８（ａ）のテーブル８００におけるＧＴ１＿１の固有表現は学習固有表現である。また、ｓ（ｘ）及びｒ（ｘ）は、固有表現種別ｘを引数とする関数である。そして、ｃは任意の実数でありｒ（ｘ）の値を調整するパラメータである。Ｎ_xは固有表現種別がｘの入力固有表現の個数であり、ｎ_xは固有表現種別がｘの学習固有表現の個数である。ｐ_x ⁱは固有表現種別がｘの第ｉ入力固有表現の位置ベクトルであり、ｇ_x ^jは固有表現種別ｘの第ｊ学習固有表現の位置ベクトルである。各位置ベクトルは、テーブル４１０及びテーブル８００で示したｘ座標とｙ座標とで特定される。例えば、ｘ＝ＩｓｓＤａｔｅとした場合、テーブル４１０ではＮ_x＝２であり、ＮＥ１＿１の固有表現とＮＥ１＿５の固有表現をそれぞれ第１、第２入力固有表現として、ｐ_x ¹＝（０．６，０．１）、ｐ_x ²＝（０．６，０．６）となる。同様に、テーブル８００においては、Ｍ_x＝１、ＧＴ１＿１の固有表現を第１学習固有表現として、ｇ_x ¹＝（０．５８，０．１）となる。

関数ｈ_xは、同種の入力固有表現間の距離を引数として、その距離が学習データセット内で頻出する値であれば小さい値を、稀な値であれば大きい値を返す。図９は、関数ｈ_xを説明する図である。ヒストグラム９００は横軸を距離、縦軸を頻度とし、最大頻度が１になるように正規化されている。ヒストグラム９００は固有表現種別毎に作成される。例えば固有表現「ＩｓｓＤａｔｅ」について作成する場合、ＩｓｓＤａｔｅの学習固有表現間距離とその頻度をカウントし、さらに頻度を正規化する。関数ｈ_xは、入力引数をヒストグラム９００の距離とした時の頻度の逆数を返す。例えばヒストグラム９００は、距離の大きいビン９０１の頻度が大きく、距離の小さいビン９０２の頻度は小さい。つまり、ヒストグラム９００を構成する固有表現種別は、同一文書画像内に複数個が近接して存在することは稀で、一定以上の距離を空けて存在することが多いことを意味する。関数の戻り値は頻度の逆数とするため、距離がビン９０１に入る場合の戻り値は小さく、ビン９０２に入る場合の戻り値は大きくなる。

関数ｓ（ｘ）は、入力固有表現毎に、同種かつ最近傍の学習固有表現との距離を求め、それを総和した値の逆数で定義される。つまり、ｓ（ｘ）は、入力固有表現と学習固有表現の種別と位置が類似しているほど値が大きくなる類似度の役割となる。なお学習固有表現数が０の場合、ｓ（ｘ）は０（最小値）となる。そして、関数ｒ（ｘ）は、入力固有表現間の距離の頻度に応じて値を返す関数ｈ_xの戻り値の総和で定義される。つまりｒ（ｘ）は、各入力固有表現の位置に応じたペナルティをスコアＳに与える。図１０の（ａ）及び（ｂ）は、それぞれ関数ｓ（ｘ）及び関数ｒ（ｘ）を説明する図である。（ａ）及び（ｂ）の双方において、文書固有表現候補と学習データを一つずつ抜き出して、それらの同種の固有表現を図示している。いま、図１０（ａ）の例では、学習固有表現１００１、学習固有表現１００２、入力固有表現１００３が存在している。関数ｓ（ｘ）によれば、入力固有表現１００３に対して同種かつ最近傍である学習固有表現１００１が選択され、両者間の距離１００４が計算される。このように入力固有表現に対して学習固有表現が多い場合は、距離の計算に用いられない学習固有表現が生じる。そして、図１０（ｂ）の例では、学習固有表現１０１０、入力固有表現１０１１、入力固有表現１０１２が存在している。関数ｓ（ｘ）では入力固有表現毎に最近傍の学習固有表現が探索されるため、入力固有表現１０１１に対して学習固有表現１０１０が、入力固有表現１０１２に対しても学習固有表現１０１０が選択され、距離１０１３及び距離１０１４が計算される。さらに関数ｒ（ｘ）において、入力固有表現間の種別と距離に基づくペナルティを算出するために、入力固有表現１０１１及び入力固有表現１０１２間の距離１０１５が計算される。

上述のようにして、Ｓ３０６で生成されたすべての文書固有表現候補について類似度を表すスコアの算出が完了すればＳ７０２に進む。そして、Ｓ７０２にて、最大のスコア値を持つ文書固有表現候補が１つ選択され、文書画像単位のテキストデータに含まれる固有表現として出力される。

以上が本実施形態における、文書画像から固有表現を抽出する処理の流れである。

＜変形例１＞
文書固有表現候補と学習データとの比較において、両者の類似度を表すスコアＳの定義は、上記式（１）に限定されない。例えば、上記式（１）における関数ｓ（ｘ）を、以下に示す式（２）で定義してもよく、その他種々の変形が可能である。

・・・式（２）

上記式（２）において、ａ及びｂは調整可能なパラメータである。ｎ_x＞０であれば上記式（２）の（１）を適用し、ｎ_x＝０であれば上記式（２）の（２）を適用する。

上記式（２）の（１）において、ｎ_xを０より大きい定数とした場合、入力固有表現と学習固有表現の位置が完全に一致する時にｓ（ｘ）＝Ｎ_xａと最大値となる。そして、そこから入力固有表現の位置が変化した分だけ（最近傍の学習固有表現が同じであれば）、ｓ（ｘ）は小さくなる。ａ＝０とした場合、Ｎ_x＝０の時にｓ（ｘ）は最大となる。これは、固有表現を何も出力しないことが高スコアとなってしまうことを意味する。そのため、ａを０より大きい値（例えば０．１）にして検出数の影響を調整する。

学習固有表現数ｎ_x＝０の場合には、上記式２の（２）を適用する。対象とする学習データが固有表現種別ｘを持たないのに入力固有表現が存在した時のペナルティを、パラメータｂ（例えば０．３）を用いて調整する。

＜変形例２＞
固有表現候補の生成に用いる推論モデル２２１は複数でもよい。具体的には、複数の異なる推論モデルを用いて固有表現の推論を行って、各推論モデルの出力する推論結果のうち、位置が重なり、かつ種別が異なる或いは位置が一致しないものを、固有表現候補としてもよい。ここで、複数の推論モデルを用いて固有表現候補を生成する手順について、具体例を参照して説明する。

図１１に示すテーブル１１００は、本変形例に係る、文字列“株式会社ＡＢＣソフト開発部田中真殿”を分かち書きしたトークン列「／株式／会社／ＡＢＣ／ソフト／開発／部／田中／真／殿／」の推論結果を示している。テーブル１１００における各列が各トークンに対応している。識別子１１０１は各トークンを区別する識別子である。トークン１１０２はトークン文字列である。モデルＡ出力１１０３、モデルＢ出力１１０４、モデルＣ出力１１０５は、３つの推論モデルＡ～Ｃそれぞれによる固有表現の推論結果である。説明の簡単化のために各推論モデルが出力する固有表現は複数候補を持たないものとしたが、上述の実施形態１で説明した方法で複数候補を持たせてもよい。

いま、推論モデルＡは、トークンＴ４＿１からＴ４＿３までを「ＯＲＧ」、トークンＴ４＿４からＴ４＿６までを「ＯＲＧ」、トークンＴ４＿７からＴ４＿８までを「ＰＥＲＳＯＮ」、Ｔ４＿９を「Ｏ（Ｏｔｈｅｒ）」と推論している。また、推論モデルＢは、トークンＴ４＿１からＴ４＿６までを「ＯＲＧ」と推論し、トークンＴ４＿７からＴ４＿９までを「ＰＥＲＳＯＮ」と推論している。そして、推論モデルＣは、トークンＴ４＿１からＴ４＿４を「ＯＲＧ」、トークンＴ４＿５からＴ４＿６を「ＯＲＧ」、Ｔ４＿７からＴ４＿８を「ＯＲＧ」と推論し、Ｔ４＿９を「Ｏ（Ｏｔｈｅｒ）」と推論している。ここで、各推論モデルの出力について、推論された固有表現の位置が重なり、かつ種別が異なる或いは位置が一致しないトークン列を取得する。テーブル１１００では、トークンＴ４＿１からＴ４＿６のトークン列と、トークンＴ４＿７からＴ４＿９のトークン列がこれに該当する。この場合において、トークンＴ４＿１からＴ４＿６のトークン列は、推論された固有表現の位置が重なり、かつ、位置が一致しないトークン列として取得されている。また、トークンＴ４＿７からＴ４＿９のトークン列は、推論された固有表現の位置が重なり、かつ、種別が異なるトークン列として取得されている。こうして取得された各トークン列について、各推論モデルの推論結果を固有表現候補とする。つまり、トークン列Ｔ４＿１からＴ４＿６については第１候補１１０６、第２候補１１０７、第３候補１１０８が生成され、トークン列Ｔ４＿７からＴ４＿９については第１候補１１０９、第２候補１１１０、第３候補１１１１が生成されることになる。

＜変形例３＞
文書固有表現候補と学習データセット２２２に含まれる各学習データとの比較を行うに際して、文書種別の情報を用いて比較対象とする学習データをフィルタリングしてもよい。これにより、比較する学習データ数が減るため計算量を削減できる。

本変形例の場合、固有表現抽出部２１０は、図２には不図示の文書種別判定部をさらに有する。文書種別判定部は、文書画像から画像特徴量を算出し、文書種別を教師ラベルとして学習された機械学習モデルにより文書種別を推論する。また学習データセット２２２に含まれる各学習データは、さらに文書種別の情報を有する。ここで、文書種別は、例えば請求書や見積書といった帳票の種類を表す名称等である。

本変形例においては、前述の図７が示す文書固有表現候補の選択処理のフローにおけるＳ７０１に先立って、文書種別判定部によって文書画像の文書種別を推論し、推論された文書種別と同じ文書種別の学習データを特定する。そして、特定された学習データだけを用いて、Ｓ７０１の類似度スコアの算出を行うようにする。なお、このように学習データを絞り込む際に、同一の文書種別の学習データのみに限定するのではなく、類似する文書種別の学習データまでを比較対象の学習データとしてもよい。例えば「請求書」と「見積書」を類似帳票グループとして予め同じグループに割り当てておき、文書画像の文書種別が「請求書」だった場合に、「請求書」と「見積書」の学習データを用いて類似度スコアを算出するようにしてもよい。これにより学習データを過剰にフィルタリングすることを防ぐことができる。

以上のとおり本実施形態によれば、文書画像単位のテキストデータに対応するトークン列を分割して得たブロック毎に固有表現の推論を行った後、推論結果をマージして文書固有表現候補を複数作成し、その中から適切なものを選択する。これにより、変換されたトークン列のトークン数が自然言語処理モデルの上限トークン数を超える場合であっても、文書全体の処理結果に不整合を起こさずに固有表現の抽出を行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本実施形態の開示は、以下の構成及び方法を含む。

（構成１）
文書を読み取って得られた文書画像からテキストデータを取得する文字認識手段と、
前記テキストデータをトークンの集合であるトークン列に変換するテキスト変換手段と、
前記トークン列を、所定のトークン数以下で構成される複数のブロックに分割する分割手段と、
学習済みのニューラルネットワークモデルを用いて、前記ブロック毎に固有表現を推論する推論手段と、
前記ブロック毎の前記推論の結果をマージするマージ手段と、
前記マージの結果から、前記文書画像の単位での、固有表現の集合である文書固有表現候補を生成する生成手段と、
前記文書固有表現候補に基づき、前記文書における固有表現を決定する決定手段と、
を有することを特徴とする情報処理装置。

（構成２）
前記決定手段は、前記生成手段にて生成された複数の前記文書固有表現候補の中から、各固有表現のレイアウトに基づきいずれかの文書固有表現候補を選択して、前記文書における固有表現を決定する、ことを特徴とする構成１に記載の情報処理装置。

（構成３）
各学習データが文書画像１枚分の正しい固有表現の情報を有する学習データセットを記憶する記憶手段を有し、
前記決定手段は、前記複数の文書固有表現候補それぞれと前記学習データセットに含まれる前記学習データそれぞれとを比較して、前記学習データとの類似度が最も高い文書固有表現候補を選択する、
ことを特徴とする構成２に記載の情報処理装置。

（構成４）
前記学習データセットに含まれる各学習データは、さらに文書種別の情報を有し、
前記決定手段は、前記学習データセットに含まれる各学習データのうち、前記文書画像の文書種別と同一又は類似する文書種別を持つ学習データを用いて、前記比較を行う、
ことを特徴とする構成３に記載の情報処理装置。

（構成５）
前記決定手段は、以下の式を用いて、前記学習データと前記複数の文書固有表現候補それぞれとの類似度を表すスコアＳを算出し、

上記の式において、
ｅｎｔｉｔｙは固有表現種別の集合を表し、
ｓ（ｘ）及びｒ（ｘ）は、固有表現種別ｘを引数とする関数であり、
ｃはｒ（ｘ）の値を調整するパラメータであり、
前記複数の文書固有表現候補のうち前記スコアＳの値が最大になる文書固有表現候補を１つ選択する、
ことを特徴とする構成３又は４に記載の情報処理装置。

（構成６）
前記式において、ｓ（ｘ）及びｒ（ｘ）は、それぞれ以下の式で定義されることを特徴とする構成５に記載の情報処理装置。

（構成７）
前記式において、ｓ（ｘ）及びｒ（ｘ）は、それぞれ以下の式で定義されることを特徴とする構成５に記載の情報処理装置。

（構成８）
前記推論手段は、
１つのブロックに対して複数の異なる前記学習済みのニューラルネットワークモデルを用いて固有表現を推論し、
前記複数の異なる前記学習済みのニューラルネットワークモデルそれぞれが出力する固有表現の位置が重なり、かつ、種別が異なる或いは位置が一致しない固有表現を推論結果とする
ことを特徴とする構成１乃至７のいずれか一項に記載の情報処理装置。

（方法１）
文書を読み取って得られた文書画像からテキストデータを取得する文字認識ステップと、
前記テキストデータをトークンの集合であるトークン列に変換するテキスト変換ステップと、
前記トークン列を、所定のトークン数以下で構成される複数のブロックに分割する分割ステップと、
学習済みのニューラルネットワークモデルを用いて、前記ブロック毎に固有表現を推論する推論ステップと、
前記ブロック毎の前記推論の結果をマージするマージステップと、
前記マージの結果から、前記文書画像の単位での、固有表現の集合である文書固有表現候補を生成する生成ステップと、
前記文書固有表現候補に基づき、前記文書における固有表現を決定する決定ステップと、
を含むことを特徴とする情報処理方法。

（構成９）
コンピュータを、構成１乃至８のいずれか一項に記載の情報処理装置を実行させるためのプログラム。

Claims (10)

1. 文書を読み取って得られた文書画像からテキストデータを取得する文字認識手段と、
   前記テキストデータをトークンの集合であるトークン列に変換するテキスト変換手段と、
   前記トークン列を、所定のトークン数以下で構成される複数のブロックに分割する分割手段と、
   学習済みのニューラルネットワークモデルを用いて、前記ブロック毎に固有表現を推論する推論手段と、
   前記ブロック毎の前記推論の結果をマージするマージ手段と、
   前記マージの結果から、前記文書画像の単位での、固有表現の集合である文書固有表現候補を生成する生成手段と、
   前記文書固有表現候補に基づき、前記文書における固有表現を決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記生成手段にて生成された複数の前記文書固有表現候補の中から、各固有表現のレイアウトに基づきいずれかの文書固有表現候補を選択して、前記文書における固有表現を決定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 各学習データが文書画像１枚分の正しい固有表現の情報を有する学習データセットを記憶する記憶手段を有し、
   前記決定手段は、前記複数の文書固有表現候補それぞれと前記学習データセットに含まれる前記学習データそれぞれとを比較して、前記学習データとの類似度が最も高い文書固有表現候補を選択する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記学習データセットに含まれる各学習データは、さらに文書種別の情報を有し、
   前記決定手段は、前記学習データセットに含まれる各学習データのうち、前記文書画像の文書種別と同一又は類似する文書種別を持つ学習データを用いて、前記比較を行う、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は、以下の式を用いて、前記学習データと前記複数の文書固有表現候補それぞれとの類似度を表すスコアＳを算出し、
   上記の式において、
   ｅｎｔｉｔｙは固有表現種別の集合を表し、
   ｓ（ｘ）及びｒ（ｘ）は、固有表現種別ｘを引数とする関数であり、
   ｃはｒ（ｘ）の値を調整するパラメータであり、
   前記複数の文書固有表現候補のうち前記スコアＳの値が最大になる文書固有表現候補を１つ選択する、
   ことを特徴とする請求項３に記載の情報処理装置。
6. 前記式において、ｓ（ｘ）及びｒ（ｘ）は、それぞれ以下の式で定義されることを特徴とする請求項５に記載の情報処理装置。
   
7. 前記式において、ｓ（ｘ）及びｒ（ｘ）は、それぞれ以下の式で定義されることを特徴とする請求項５に記載の情報処理装置。
   
8. 前記推論手段は、
   １つのブロックに対して複数の異なる前記学習済みのニューラルネットワークモデルを用いて固有表現を推論し、
   前記複数の異なる前記学習済みのニューラルネットワークモデルそれぞれが出力する固有表現の位置が重なり、かつ、種別が異なる或いは位置が一致しない固有表現を推論結果とする
   ことを特徴とする請求項１に記載の情報処理装置。
9. 文書を読み取って得られた文書画像からテキストデータを取得する文字認識ステップと、
   前記テキストデータをトークンの集合であるトークン列に変換するテキスト変換ステップと、
   前記トークン列を、所定のトークン数以下で構成される複数のブロックに分割する分割ステップと、
   学習済みのニューラルネットワークモデルを用いて、前記ブロック毎に固有表現を推論する推論ステップと、
   前記ブロック毎の前記推論の結果をマージするマージステップと、
   前記マージの結果から、前記文書画像の単位での、固有表現の集合である文書固有表現候補を生成する生成ステップと、
   前記文書固有表現候補に基づき、前記文書における固有表現を決定する決定ステップと、
   を含むことを特徴とする情報処理方法。
10. コンピュータに、請求項９に記載の情報処理方法を実行させるためのプログラム。

Images