JP2013041540A - 情報抽出装置 - Google Patents

Abstract

【課題】蓄積された抽出情報に基づいて正しい記号を置換候補として提案する確率を高め、抽出された各記号の修正作業の簡易化を図る。
【解決手段】情報抽出装置は、抽出エリアに含まれる記号列を抽出情報として記憶する記憶部と、抽出エリア内の記号列を抽出する処理を行い、同じ抽出エリアから抽出されて記憶部に記憶されている抽出情報に基づき、１又は複数種の置換候補を定める処理部と、処理部が定めた１又は複数の置換候補を表示する表示部と、置換候補の選択による未確定記号列の修正入力を受け付ける入力部と、を含む。
【選択図】図９

Description

本発明は、文書の画像データから情報を抽出して記憶する情報抽出装置に関する。

従来、情報の紙への印刷が行われている。そして、重要性、機密性や、法律の定めや、後日の参照の必要性等の各種事情により、印刷物は長期間に渡り保存されることもある。しかし、保存すべき印刷物が多いほど、多くの印刷物の収納スペースが必要になる。又、必要な印刷物、情報を取り出すのに時間を要してしまう場合もある。そこで、近年では、省スペース化や情報利用の容易化等の観点から、印刷物に含まれる情報をデータとして保存することが行われている（文書の電子化）。例えば、紙文書をスキャンし、スキャンで得られた画像データが大容量記憶装置（例えば、ＨＤＤ）に保存される。このような印刷された文書をデータ化して記憶する画像処理装置の一例が特許文献１に記載されている。

具体的に、特許文献１には、印刷ドキュメントを電子化し、印刷ドキュメントのスキャンデータから、ドキュメントが含む情報を検出する検出手段、情報に基づいて印刷ドキュメントを電子化したときのフォーマットを決定するフォーマット決定手段、スキャンデータを決定されたフォーマットのデータに変換するフォーマット変換手段、情報に基づいて印刷ドキュメントの電子化したときのファイル名及びページ数を決定するファイル名及びページ数決定手段、並びに、決定されたファイル名及びページ数に基づいて、結合するドキュメントを決定するドキュメント結合手段を備える画像処理装置が記載されている。この構成により、印刷物等に残された情報が不完全な場合でも再利用性の高い電子文書化を行おうとする（特許文献１：請求項１、段落［０００６］等参照）。

特開２００９−２７１６５８号公報

まず、文書の電子化では、特許文献１記載のように、画像データ化した文書全体を記憶することがある。そして、電子化の一形態として、文書に含まれる情報の一部を抽出し、抽出したデータを記憶、蓄積することがある。例えば、画像データ化された文書から文字列や数字列といった記号列を抽出し、情報のデータ化が行われる。そして、例えば、文書から抽出した情報（データ）は、データベース等に利用され、各種管理や経営判断に役立てられる。

文書の画像データからの情報抽出では、まず、スキャナーによる文書のスキャンによって、文書の画像データ（以下、「文書画像データ」と称する）が生成される。次に、ＯＣＲ技術（ＯＣＲ＝Optical Character Recognition、光学文字認識技術）を利用して、文書画像データに含まれる文字や数字等を含む記号列が認識、抽出される。そして、例えば、抽出された記号列は、テキストデータ形式で記憶される。これにより、文書に記された文字や数字等の記号を１つずつ、キーボード等で入力してデータ化を図るよりも、簡易に文書に含まれる情報の一部を抽出することができる。

このような情報抽出の対象とされる文書は、様々である。例えば、購入したソフトウェアのライセンスに関する文書をスキャンし、数量、ソフトウェア名、契約期間、ライセンス番号等の情報を抽出し、ソフトウェアライセンスの管理に役立てることもある。又、納品書や請求書をスキャンし、購入した商品の名前、商品番号、価格、発注番号等の情報を抽出し、管理等に役立てることがある。又、購入した機器の保証書をスキャンし、保証書に含まれる情報から購入した機器のシリアル番号、形式番号、価格、個数、償却期間等の情報を抽出し、機器の管理に役立てることもある。

ここで、一般に、ＯＣＲ処理では、予め記憶した認識用のデータと、文書画像データ内の画像データとのマッチング処理を行って各記号の認識が行われる。しかし、記号は、１００％、正確に認識される訳ではない。例えば、「０（ゼロ）」と「Ｏ（オー）」や、「８」と「Ｂ」や、「１」と「Ｉ」などが、相互に誤って認識されやすいものもある。又、文書内の汚れなど、他の要因により正確に認識できないこともある。

そのため、文書画像データから不正確な（誤った）記号が抽出されれば、修正する必要がある。従来、使用者は、文書を参照しながら各記号が正しいか否かを確認し、誤りがあれば、キーボード等を用いて修正入力を行っている。しかし、記号列の各記号を１つずつ確認しなくてはならないので、不正確な記号の修正は、煩わしいという問題がある。特に、文書中、抽出項目（抽出エリア）の数が多くなるほど、１枚分の文書画像データ当たりの確認の作業量が増え、煩わしくなる。そのため、使用者が情報を手入力した方が早いと感じてしまうこともあり得る。

ここで、特許文献１記載の発明は、印刷された文書をデータ化するものではある。しかし、文書画像データに含まれる情報の一部を抽出し、修正するものではない。従って、誤って抽出された記号の修正は、煩わしいという問題を解決することはできない。

本発明は、上記従来技術の問題点に鑑み、記号列に含まれる記号の置換候補を提案し、かつ、蓄積された抽出情報に基づいて正しい記号を置換候補として提案する確率を高め、抽出された各記号の修正作業の簡易化を図り、煩わしさを軽減することを課題とする。

上記課題解決のため、請求項１に係る情報抽出装置は、文書の画像データのうち予め定められた抽出エリアに含まれる記号列を抽出情報として記憶する記憶部と、文書の画像データの前記抽出エリア内の記号列を認識し、抽出する処理を行い、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列に基づき、抽出した未確定記号列の１又は複数種の置換候補を定める処理部と、前記未確定記号列とともに、前記処理部が定めた１又は複数の前記置換候補を表示する表示部と、前記表示部に表示された前記置換候補の選択による前記未確定記号列の修正入力を受け付ける入力部と、を含み、前記記憶部は、前記修正入力が有れば修正後の記号列を、前記修正入力が無ければ前記前記処理部が抽出した記号列を前記抽出情報として記憶することとした。

この構成によれば、処理部は、同じ前記抽出エリアから抽出されて記憶されている抽出情報に基づき、抽出した未確定記号列の１又は複数種の置換候補を定める。これにより、未確定記号列の確定を行うとき、置換候補が表示されるので、使用者は、置換候補を選択するだけで、簡易に不正確な記号を修正することができる。

又、フォームが決まっている文書の画像データから情報の抽出を行うと、同じ抽出エリアからは、同様の記号列が繰り返し抽出されることがある。又、同じ抽出エリアから抽出され記憶部に蓄積された記号列は、桁数、記号種（文字、数字等の種別）など、おなじような同様の傾向、様式、形式となることがある。そこで、蓄積された抽出情報という、記号列を抽出する装置での特有の情報や、使用者ごとの情報抽出の実情、実態に基づき置換候補を示すので、高い確率で正しい記号を置換候補として提案することができる。従って、修正の必要がある場合に正しい記号の置換候補が表示されないという不都合を無くすことができ、簡易に、未確定記号列の修正を行うことができる。

ここで、本件における「記号」とは、文字（例えば、ひら仮名、カタカナ、漢字、アルファベット等）、数字、算術記号、カンマなど記述に用いられる記号等、情報を伝達するために文書で使われる記号をいう。そして、記号列は、文字や数字等の記号の複数の組み合わせである。そして、記号列は、抽出情報として扱われる。例えば、記号列は、名前や、各種番号（例えば、形式番号、製造番号、ライセンス番号等）や、金額などを示す情報である。

又、請求項２に係る発明は、請求項１の発明において、前記処理部は、前記未確定記号列に含まれるそれぞれの記号に対して、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列に基づき、１又は複数種の置換候補を定め、前記表示部は、前記未確定記号列に含まれる記号のそれぞれに対して、前記処理部が定めた１又は複数の前記置換候補を表示し、前記入力部は、前記置換候補を選択することによる前記未確定記号列に含まれる複数のそれぞれの記号に対する修正入力を受け付けることとした。

この構成によれば、処理部は、未確定記号列に含まれるそれぞれの記号に対して、同じ抽出エリアから抽出されて記憶されている抽出情報に基づき、１又は複数種の置換候補を定める。これにより、未確定記号列内のそれぞれの記号に対し置換候補を提案することができる。従って、使用者は、未確定記号列の記号を１つずつの修正を行うことができる。

又、請求項３に係る発明は、請求項１又は２に記載の発明において、前記処理部は、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列と、前記未確定記号列とが同じとなるように置換候補を定めることとした。

この構成によれば、処理部は、同じ抽出エリアから抽出されて抽出情報として記憶されている記号列と、未確定記号列とが同じとなるように置換候補を定める。これにより、抽出された記号列が正確でなくても、過去に蓄積された抽出情報（例えば、商品名など）と同じ記号列となるように置換候補として表示することができる。従って、各情報抽出装置の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、請求項４に係る発明は、請求項１乃至３の発明において、前記処理部は、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列が数字のみであるとき、前記未確定記号列が数字のみとなるように置換候補を定めることとした。

この構成によれば、処理部は、同じ抽出エリアから抽出されて抽出情報として記憶されている記号列が数字のみであるとき、未確定記号列が数字のみとなるように置換候補を定める。これにより、同じ抽出エリアから抽出された抽出情報の傾向、形式に応じて置換候補を表示することができる。各情報抽出装置の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、請求項５に係る発明は、請求項１乃至４の発明において、前記処理部は、同じ前記抽出エリアから抽出されて前記記憶部に前記抽出情報として記憶されている記号列が複数桁の記号、文字、数字の何れか１つ又は複数の組み合わせであるとき、前記未確定記号列が記号、文字、数字の何れか１つ又は複数の組み合わせと同じ形式となるように置換候補を定めることとした。

この構成によれば、処理部は、同じ抽出エリアから抽出されて抽出情報として記憶されている記号列が複数桁の記号、文字、数字の何れか１つ又は複数の組み合わせであるとき、未確定記号列が記号、文字、数字の何れか１つ又は複数の組み合わせと同じ形式となるように置換候補を定める。これにより、同じ抽出エリアから抽出された抽出情報の記号列のパターン、形式に応じた置換候補を表示することができる。従って、各情報抽出装置の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、請求項６に係る発明は、請求項１乃至５の発明において、前記処理部は、前記未確定記号列に漢字が含まれているとき、前記未確定記号列の漢字の記号に対して、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている漢字であって前記未確定記号列内の漢字と同じ部首を有する漢字を、置換候補と定めることとした。

一般に、アルファベット等に比べ、漢字が誤って認識される確率は高いところ、この構成によれば、処理部は、未確定記号列に漢字が含まれているとき、未確定記号列の漢字の記号に対して、同じ抽出エリアから抽出されて記憶部に抽出情報として記憶されている漢字であって未確定記号列内の漢字と同じ部首を有する漢字を、置換候補と定める。これにより、同じ抽出エリアから抽出された抽出情報の記号列との関係が深い漢字を置換候補として提案することができる。従って、各情報抽出装置の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、請求項７に係る発明は、請求項１乃至６の発明において、前記処理部は、前記未確定記号列の各記号について、隣接する記号と同じ種類の記号を置換候補と定めることとした。

通常、例えば、片仮名の後にアルファベットを用い、その後、漢字を配するように種類の異なる記号（文字、数字）を混ぜて表記することは通常行われない。通常、例えば、数字は数字のみ、アルファベットはアルファベットのみのように、同じ種類の記号が１つの固まりとして、記号種がある程度統一されて記号列は記される。そこで、この構成によれば、処理部は、未確定記号列の各記号について、隣接する記号と同じ種類の記号を置換候補と定める。これにより、隣接関係により、正しいと思われる記号の推測を行って置換候補を提案することができる。従って、正しい記号を置換候補として提案する確率を高めることができる。

上述したように、本発明によれば、抽出した各記号の置換候補を提案し、各記号の修正作業の簡易化を図る。又、フォームが決まっている文書の画像データから情報の抽出を行うと、同じ記号列や同じ傾向、様式、形式の記号列が抽出され、抽出情報として蓄積されていく。そこで、蓄積された情報（抽出情報）に基づき、正しい記号を置換候補として提案する確率を高めることにより、使用者の修正作業の煩わしさが軽減される。

情報抽出装置の一例の概要を示す説明図である。 複合機の一例を示す模型的正面断面図である。 情報抽出装置の構成の一例を示すブロック図である。 文書画像データのフォームの登録手法の一例を説明するための概念図である。 文書画像データのフォームの登録入力の一例を説明するための説明図である。 フォームデータの態様の一例を示す説明図である。 情報抽出装置での情報抽出処理の流れの一例を示すフローチャートである。 抽出情報を用いたデータベースでの利用画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 未確定記号列の修正画面の一例を示す説明図である。 ソフトウェアキーボードの一例を示す説明図である。

以下、図１〜図１６を用いて本発明の実施形態を説明する。以下の説明では、画像形成装置の一種である複合機１を情報抽出装置１００として用いる一例を説明する。但し、本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。

（情報抽出装置１００の概要）
まず、図１を用いて、実施形態に係る情報抽出装置１００の一例を説明する。図１は情報抽出装置１００の一例の概要を示す説明図である。尚、図１では、文書画像データの流れを白抜矢印で示している。

本実施形態の説明では、文書画像データに対してフォームの特定や情報を抽出する処理を複合機１が行う例を説明する。

まず、情報抽出装置１００としての複合機１は、自己に備わる画像読取部１１を用いて紙に印刷された文書をスキャンする。これにより、複合機１は、文書の画像データを生成、取得する。

又、複合機１には、ネットワーク等によりコンピューター２（例えば、パーソナルコンピューター）を通信可能に接続することができる。そして、コンピューター２には、スキャナー３を接続することができる。複合機１は、スキャナー３の文書の読み取りで得られた文書画像データをコンピューター２から受信することもできる。このように、本実施形態の複合機１は、画像読取部１１だけでなく、コンピューター２から受信することにより、文書画像データを取得できる。言い換えると、コンピューター２を、複合機１に文書画像データを入力する部分として機能させることができる。

そして、複合機１内部に設けられる記憶部１７は、文書画像データのフォームを特定するためのフォーム特定用データや、各フォームの文書画像データ中、情報を抽出する領域を示す抽出エリアデータをフォームごとに記憶する。複合機１は、フォーム特定用データを用いて、文書画像データのフォームを特定する。又、複合機１は、特定したフォームから、例えば、テキストデータ形式で文書画像データ中の予め定められた抽出エリアの情報を抽出する。

複合機１は、文書画像データから抽出した情報を複合機１内部に設けられる記憶部１７に記憶できる。又、複合機１には、ネットワーク等を介して、データサーバー４を通信可能に接続することもできる。そこで、複合機１が抽出した抽出情報を、データサーバー４に記憶、蓄積させることができる。このように、複合機１は、データサーバー４を複合機１（情報抽出装置１００）の記憶部の一種として用いることができる。以下の説明では、抽出情報をデータサーバー４に蓄積する例を説明する。

このように、本実施形態の情報抽出装置１００は、複合機１自体、あるいは、複合機１とデータサーバー４やコンピューター２の何れか１つ又は複数を組み合わせて構成することができる（情報抽出システムであるともいえる）。

（複合機１の概略）
次に、図２に基づき、実施形態に係る複合機１の概略を説明する。図２は、複合機１の一例を示す模型的正面断面図である。

図２に示すように、本実施形態の複合機１は、正面上方に、画像読取部１１、操作パネル１２（破線で図示）、給紙部１３、搬送路１４、画像形成部１５、定着部１６等が設けられる。又、複合機１は、最上部に原稿搬送装置１９を有する。

そして、図２に破線で示すように、操作パネル１２は、複合機１の正面上方に設けられる。そして、操作パネル１２は、複合機１の状態や各種メッセージを表示する液晶表示部１２１（表示部に相当）を備える。又、液晶表示部１２１は、機能の選択、設定や文字入力等を行うためのキーを１又は複数表示できる。そして、液晶表示部１２１の上面にタッチパネル部１２２（例えば、抵抗膜方式、入力部に相当）が設けられる。

タッチパネル部１２２は、液晶表示部１２１で押された部分の位置、座標を抽出するためのものである。タッチパネル部１２２の出力に基づき、押されたキーを認識することができる。又、操作パネル１２には、コピー等の各種機能の実行開始を指示するためのスタートキー１２３等、各種のハードキー（入力部に相当）も設けられる。これら液晶表示部１２１に表示されるソフトキーや、操作パネル１２に設けられるハードキーを用いて、操作パネル１２に対する使用者の入力が受け付けられる。

原稿搬送装置１９は、正面側の端部を自由端として上下方向に開閉可能である。原稿搬送装置１９は、載置読取用コンタクトガラス１１１に載置された原稿を押さえる。又、原稿搬送装置１９上部に載置された原稿束から、原稿を１枚ずつ送り読取用コンタクトガラス１１２（読み取り位置）に向けて連続的、自動的に搬送する。

画像読取部１１は、文書（原稿）を読み取り、原稿の画像データを形成する。又、画像読取部１１内には露光ランプ、ミラー、レンズ、イメージセンサ（例えば、ＣＣＤ）等の光学系部材（不図示）が設けられる。露光ランプは、画像読取部１１は、載置読取用コンタクトガラス１１１に載置される原稿や、送り読取用コンタクトガラス１１２を通過する原稿に光を照射する。又、これらの光学系部材を用い、原稿の反射光を導き、反射光を受けたイメージセンサの各画素の出力値をＡ／Ｄ変換し、画像データを生成する。このように、本実施形態の複合機１では、文書画像データを生成することができる。

給紙部１３は、複数の用紙（例えば、コピー用紙、普通紙、再生紙、厚紙、ＯＨＰシート等の各種シート）を収容し、１枚ずつ搬送路１４に送り込む。搬送路１４は、給紙部１３から排出トレイ１４１まで用紙を搬送する通路である。そして、搬送路１４には、用紙搬送の際に回転駆動する搬送ローラー対１４２や、搬送されてくる用紙を画像形成部１５の手前で待機させ、トナー像形成のタイミングを合わせて用紙を送り出すレジストローラー対１４３等が設けられる。

画像形成部１５は、画像データに基づきトナー像を形成し、搬送される用紙にトナー像を転写する。画像形成部１５は、トナー像形成のため、感光体ドラム１５１と、その周囲に配設された帯電装置１５２、レーザ走査ユニット１５３、現像装置１５４、転写ローラー１５５、清掃装置１５６等を備える。

定着部１６は、用紙に転写されたトナー像を定着させる。本実施形態における定着部１６は主として発熱体を内蔵する加熱ローラー１６１と加圧ローラー１６２で構成される。加熱ローラー１６１と加圧ローラー１６２は圧接しニップを形成する。そして、用紙が、このニップを通過することで、用紙表面のトナーが溶融・加熱され、トナー像が用紙に定着する。トナー定着後の用紙は、排出トレイ１４１が受け止める。このようにして、コピー機能、プリンタ機能の使用時、画像形成（印刷）が行われる。

（情報抽出装置１００のハードウェア構成）
次に、図３に基づき、実施形態に係る情報抽出装置１００のハードウェア構成の一例を説明する。図３は、情報抽出装置１００の構成の一例を示すブロック図である。

まず、複合機１から説明する。複合機１内に、主制御部１０（処理部に相当）が設けられる。主制御部１０は複合機１の動作制御を司る。主制御部１０は、ＣＰＵ１０ａ、画像処理部１０ｂ等を含む。尚、全体制御や画像処理を行うメイン制御部や、画像形成や各種回転体を回転させるモータ等のＯＮ／ＯＦＦ等を制御するエンジン制御部等、機能ごとに主制御部１０を分割し、制御を行う部分が複数種設けられてもよい。

ＣＰＵ１０ａは、中央演算処理装置であって、記憶部１７に格納され、展開されるプログラムやデータに基づき複合機１の各部を制御する。画像処理部１０ｂは、例えば、濃度変換や拡大、縮小等、印刷を行う画像データへの画像処理や、画像読取部１１で読み取られた画像データの形式変換などの処理を行える。

又、ＣＰＵ１０ａや画像処理部１０ｂは、文書画像データに含まれるパターンの認識による文書画像データのフォームの特定の処理や、ＯＣＲ処理を行って文書画像データに含まれる文字や数字等からなる記号列を認識する処理を行える。従って、複合機１の主制御部１０は、文書画像データのフォームの特定処理や、文書画像データから情報を抽出する処理や、文書画像データに含まれる記号列を認識する処理を行う処理部として機能する（詳細は後述）。

記憶部１７は、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュＲＯＭ等を含み、不揮発性と揮発性の記憶装置を組み合わせて構成される。記憶部１７は、複合機１の制御用等の各種のプログラムやデータ、設定データ、画像データ等の各種データを記憶する。又、記憶部１７は、フォーム特定用データや抽出エリアデータや抽出情報を記憶、蓄積できる。又、記憶部１７は、ＯＣＲ処理で数字や文字等の記号を認識するためのマッチング用のデータを記憶する。これにより、主制御部１０は、記憶部１７のマッチング用のデータを用いて、記号を認識できる。

又、主制御部１０は、操作パネル１２、原稿搬送装置１９、画像読取部１１、給紙部１３、搬送路１４、画像形成部１５、定着部１６等の各部とバスや信号線等で接続され各部、各装置を制御して複合機１の動作（例えば、スキャン動作や印刷動作）を制御する。

更に、主制御部１０は、各種コネクタ、ソケット、通信制御用のチップ等を備えた通信部１８と接続される。通信部１８は、ネットワークや公衆回線やケーブル等により、コンピューター２のデータ通信部２４や、データサーバー４のデータ通信部４１と通信可能に接続される。通信部１８は、コンピューター２やデータサーバー４と文書画像データやフォームに関するデータや、抽出情報など、各種データのやり取りを行える。

尚、コンピューター２に通信可能に接続されるスキャナー３は、複合機１のうち、画像読取部１１に相当する機能を有する。又、上記に行った画像読取部１１の説明は、スキャナー３についても同様にあてはまり、スキャナー３は、文書の画像データを生成する。

次に、コンピューター２は、例えば、ＣＰＵ２０１を含む制御部２０や、ＨＤＤやＲＡＭやＲＯＭで構成される記憶部２１や、キーボードやマウス等の入力装置２２や、表示装置としてのディスプレイ２３や、外部と通信を行うためのインターフェイスであるデータ通信部２４を備える。

制御部２０は、例えば、ＣＰＵ２０１などの回路、チップが実装された基板である。制御部２０は、コンピューター２での演算や制御や画像処理などの各種処理を行う。記憶部２１は、コンピューター２を動作させ、利用するために必要なプログラム、アプリケーション、データを記憶する。アプリケーションには、例えば、スキャナー３で生成された文書画像データを複合機１に送信するプログラムなどが含まれる。

データサーバー４は、例えば、ＣＰＵやチップ等を含み、データサーバー４の動作、処理を制御する制御部４０を含む。又、データサーバー４は、外部と通信を行うためのインターフェイスであるデータ通信部４１を含む。データ通信部４１は、複合機１の通信部１８や、コンピューター２のデータ通信部２４とネットワーク、ケーブル等により通信可能に接続される。例えば、データ通信部４１は、複合機１の通信部１８と通信し、フォーム特定用データや抽出エリアデータや抽出情報をやり取りすることもできる。

そして、データサーバー４には、記憶部４２が内蔵される。記憶部４２は、例えば、複数台のＨＤＤなどで構成される大容量の記憶装置である。制御部４０は、データ通信部４１が受信したデータ（例えば、複合機１の通信部１８からの抽出情報）を記憶部４２に記憶させることができる。又、複合機１やコンピューター２等からの要求に応じて、データを送信することができる。尚、データサーバー４に、キーボードやマウス等の入力装置４３や、表示装置としてのディスプレイ４４を設けても良い。

（フォームの登録）
次に、図４〜図６を用いて、実施形態に係る情報抽出装置１００でのフォームの登録手法の一例を説明する。図４は、文書画像データのフォームの登録手法の一例を説明するための概念図である。図５は、文書画像データのフォームの登録入力の一例を説明するための説明図である。図６は、フォームデータの態様の一例を示す説明図である。

本実施形態の情報抽出装置１００では、文書画像データのフォームを特定し、所望の位置から情報を抽出するために、フォームに関するデータ（フォームデータ）を登録する必要がある。そこで、フォームデータの登録を説明する。尚、フォームデータには、フォーム特定用データや抽出エリアデータが含まれる。

そこで、以下では、フォームデータの登録の一手法を説明する。まず、図４を用いて、フォームデータの登録の概要を説明する。図４は、画像読取部１１により読み取られた文書の文書画像データの一例の全体像を示している。本説明では、図４を用いて、ライセンス管理のため、ソフトウェアのライセンスに関する文書のフォームを登録し、情報を抽出する例を挙げて説明する。

文書には、書式、様式がある程度決まっているものがある。例えば、ある会社が発行する請求書や納品書などは、書式、様式がある程度決まっている。そして、文書内で抽出したい情報が記された位置は、フォームが同じであれば、同じとなる。そのため、あるフォームから所望する情報の抽出を自動的に行うには、文書（文書画像データ）のフォーム特定を最初に行う必要がある。そこで、使用者は、フォーム中、フォームの特定に用いる部分（範囲）を指定する（プログラミングする）。その後、フォーム中、抽出すべき情報が記された抽出エリアを指定する（プログラミングする）。

同じフォームの文書画像データ内の定型的な部分のうち、例えば、文書の作成者（出所）を示すロゴや、文書の作成者を示す記号列や、文書名の部分は、フォームの特定に用いることができる。そこで、使用者は、図４に２点鎖線で示すように、フォームの特定に用いると好ましいと思われる範囲を指定する。範囲指定された部分に基づきフォーム特定用データが生成される。

更に、使用者は、文書画像データ内で情報の抽出エリアの指定を行う。言い換えると、使用者は、フォームにおいて情報を抽出すべき範囲を定義する。そして、使用者は、図４に破線で示すように、抽出したい情報が配された範囲を指定する。指定されたエリアに基づき、抽出エリアデータが生成される。

次に、図５を用いて、具体的な文書画像データのフォームの登録の手法の一例を説明する。本説明では、複合機１の操作パネル１２に入力を行ってフォームデータを登録する例を説明する。

例えば、第１の登録手法でフォームデータの登録を行うとき、使用者は、複合機１の操作パネル１２に対して操作を行い、複合機１のモードを、フォームデータを登録するためのモードとする。そして、使用者は、登録しようとするフォームで記された文書を複合機１にセットしておく。スタートキー１２３が押されると、主制御部１０は、原稿（文書）の読み取りを画像読取部１１に行わせ、登録しようとするフォームの文書画像データの一例を生成させる。あるいは、通信部１８は、コンピューター２から登録しようとするフォームの文書画像データの一例を取得してもよい。

そして、登録しようとするフォームの文書画像データの一例を用いてフォームの登録がなされる。フォームを登録するモードでは、主制御部１０は、フォーム登録画面５１を液晶表示部１２１に表示させる。主制御部１０は、このフォーム登録画面５１に、登録しようとするフォームの文書画像データが表示される。

まず、図５の上段の図に示すように、例えば、フォーム登録画面５１では、フォーム特定に用いる範囲の指定が求められる。そして、使用者は、例えば、なぞる、囲う等の範囲を指定する操作を行って、フォーム特定用データとして用いる範囲を指定する。そして、主制御部１０は、タッチパネル部１２２の出力に基づき、フォーム特定に用いると指定された範囲の端点の座標を認識する。

そして、フォーム登録画面５１に設けられた次キーＫ１が押されると、抽出エリアの指定を行うための画面に切り替わる。そして、使用者は、例えば、なぞる、囲う等の範囲を指定する操作を行って、抽出すべき情報が記された範囲を指定する。主制御部１０は、タッチパネル部１２２の出力に基づき、指定された抽出エリアの端点の座標を認識する。

尚、フォーム登録画面５１には、拡大キーＫ２や縮小キーＫ３が設けられる。拡大キーＫ２が押されると、液晶表示部１２１は、表示倍率を大きくして登録しようとするフォームの文書画像データを表示する。一方、縮小キーＫ３が押されると、液晶表示部１２１は、表示倍率を小さくして登録しようとするフォームの文書画像データを表示する。尚、表示倍率によっては、液晶表示部１２１の１画面中に文書画像データ全体を表示できないので、文書画像データ中の表示位置を移動させるための方向キーＫ４（計４つ）が設けられる。方向キーＫ４が押されると、液晶表示部１２１は、押された方向に応じて、文書画像データ中の表示する位置を切り替える。これらの拡大キーＫ２や縮小キーＫ３により、的確に範囲を指定することができる。そして、完了ボタンＫ４１を押すことにより、範囲指定が終了する。

フォームの特定に用いる範囲の指定結果に基づき、フォームでのフォーム特定用データが設定（プログラミング）される。又、抽出エリアとして指定された結果に基づき、フォームでの抽出エリアデータが設定（プログラミング）される。

具体的に、図６に示すように、主制御部１０は、フォーム特定に用いると指定された範囲の座標情報と、フォーム特定に用いるデータをフォーム特定用データとして含むフォームに関するデータ（フォームデータ）を記憶部１７に記憶させる。主制御部１０は、指定された範囲の画像データをフォーム特定用データとして記憶部１７に記憶させてもよいし、指定された範囲をＯＣＲ処理によりテキスト処理して得られたテキスト形式のデータを記憶部１７に記憶させても良い。

そして、１つのフォームのフォームデータには、フォーム特定に用いると指定された範囲の個数分だけ、座標情報を示すデータとフォーム特定に用いるデータの組み合わせが記憶部１７に記憶される。

又、図６に示すように、主制御部１０は、情報を抽出すると指定された範囲の座標情報を抽出エリアデータとして記憶部１７に記憶させる。そして、主制御部１０は、情報を抽出すると指定された範囲の示す座標情報を含めたフォームデータを記憶部１７に記憶させる。これにより、登録するフォームでのフォーム特定用データと抽出エリアデータが関連付けられる。そして、１つのフォームについて、情報を抽出すると指定された範囲の個数分だけ、抽出エリアの座標情報が抽出エリアデータとして記憶部１７に記憶される。

尚、フォームに関し、図６に示すように、フォーム名やフォームの登録日等を示す基本データをフォームデータに含めても良い。例えば、使用者は、フォームの登録の際、フォーム名等の基本情報を操作パネル１２に対して入力する。そして、１つのフォームデータには、フォーム特定用データや抽出エリアデータや基本データが含められ、１つのフォームに関連するデータとしてまとめられる。尚、図６に示すように、記憶部１７は、複数種のフォームデータを記憶できる。

上記の例では、複合機１の操作パネル１２の液晶表示部１２１やタッチパネル部１２２等を利用してフォームの登録を行う例を説明した。しかし、コンピューター２やデータサーバー４が、図５や図７に示すようなフォーム登録画面５１、５２を、ディスプレイ２３、４４に表示させ、入力装置２２、４３への入力により、１つのフォームに関連するデータ（フォーム特定用データや抽出エリアデータ）を生成（プログラミング）できるようにしてもよい。そして、通信部１８で、コンピューター２やデータサーバー４で生成されたフォーム特定用データや抽出エリアデータを含むフォームデータを受信し、記憶部１７に記憶するようにしてもよい。

（情報抽出処理の流れ）
次に、図７を用いて、本実施形態の情報抽出装置１００での情報抽出処理の流れの一例を説明する。図７は、情報抽出装置１００での情報抽出処理の流れの一例を示すフローチャートである。

まず、図７のスタートは、複合機１の操作パネル１２に、文書画像データから情報を抽出し、記憶する指示がなされた時点である。

文書画像データから情報を抽出し、蓄積する処理が開始されると、複合機１の主制御部１０は、文書画像データを取得する（ステップ♯１）。例えば、主制御部１０は、原稿としての文書の画像読取部１１による読み取りで得られた画像データを取得する。あるいは、主制御部１０は、通信部１８を介して、コンピューター２から文書画像データを取得してもよい。

次に、主制御部１０は、記憶部１７に記憶された各フォームデータのフォーム特定用データを用いて、文書画像データのフォームを特定する（ステップ♯２）。具体的に、主制御部１０は、フォーム特定用データの座標情報に一致する文書画像データ中の範囲と、フォーム特定用データの一部として、フォームの特定に用いるとして記憶された画像データやテキストデータとデータの比較を、フォームデータごとに逐次行い、文書画像データのフォームを特定する。この比較の時、必要が有れば、主制御部１０は、文書画像データに対して記号列認識処理（ＯＣＲ処理）を行う。

フォームが特定されると、主制御部１０は、文書画像データ中、特定されたフォームに対応するフォームデータに含まれる（定義される）抽出エリアデータの座標情報に対応する範囲に対し、記号列認識処理を行う（ステップ♯３）。もし、複数の抽出エリアデータが定められていれば、主制御部１０は、抽出エリアデータごとに記号列認識処理を行う。

フォームで定められた全ての抽出エリアについての記号列認識処理が完了すると、使用者により、認識された未確定記号列の修正入力がなされ、各抽出エリアから抽出された記号列を確定する処理がなされる（ステップ♯４、詳細は後述）。

続いて、主制御部１０は、抽出エリアから抽出された情報（抽出情報）と、特定されたフォームを示す情報をデータサーバー４に送信する（ステップ♯５）。そして、抽出情報を受信したデータサーバー４は、抽出情報をデータとして記憶する（ステップ♯６→エンド）。データサーバー４は、フォームの種類に応じて抽出情報を記憶する。

（抽出情報の利用）
次に、図８を用いて、抽出情報の利用の一例を説明する。図８は、抽出情報を用いたデータベースでの利用画面６の一例を示す説明図である。

上述のように、本実施形態の情報抽出装置１００では、抽出情報がデータサーバー４に蓄積される。蓄積された抽出情報は、各種管理上、用いることができる。そして、図８は、ソフトウェアのライセンス管理のため、ソフトウェアのライセンスに関する文書のフォームを登録し、ソフトウェアのライセンスに関する文書の文書画像データから情報を抽出し、抽出された情報を用いたデータベースの利用画面６の一例を示す。利用画面６は一例に過ぎず、管理上、利用上、便利なように利用画面６は適宜設定される。

例えば、コンピューター２やデータサーバー４には、抽出情報に基づいて、各種情報の閲覧や検索を容易とし、抽出情報を用いたデータベースを実現するプログラムがインストールされる。これにより、コンピューター２やデータサーバー４は、データサーバー４の記憶部４２にアクセスし、データサーバー４に記憶されている抽出情報に基づいて、データベース機能を提供する。

例えば、コンピューター２やデータサーバー４は、文書画像データから抽出された「注文番号」、「契約番号」、「商品名」等の項目が示されたデータベースの利用画面６をディスプレイ２３に表示させる。使用者は、ソフトウェアの各種管理にデータベースを用いることができる。

尚、主制御部１０は、文書画像データ自体を電子文書化し（例えば、ＰＤＦ形式）、抽出情報とともに電子文書化した文書画像データを、通信部１８からデータサーバー４に向けて送信させても良い。そして、図８に示すように、データベースの利用画面６に電子文書化した文書画像データのリンクを張り、電子文書化した文書画像データを閲覧できるようにしてもよい。

（抽出された記号列の修正入力）
次に、図９〜図１６を用いて、本実施形態での抽出された記号列への修正入力の一例を説明する。図９〜図１５は、未確定記号列の修正画面７の一例を示す説明図である。図１６は、ソフトウェアキーボード７８の一例を示す説明図である。

本実施形態の情報抽出装置１００では、主制御部１０は、フォームデータに基づき、文書画像データから抽出エリアに記された情報を認識し、テキストデータで抽出する。ＯＣＲ処理技術は、改良が重ねられ、正確に文書画像データに含まれる文字や数字等の記号を正確に認識する確率は向上しつつある。しかし、１００％の確率で正確に文書画像データに含まれる記号を認識するまでには至っていない。

更に、文書画像データに正確な認識を妨げるノイズが、含まれていることもある。例えば、文書にシワや折り目があれば、シワや折り目が読み取られることがある。読み取られたシワ等の部分が邪魔となり、正確に記号を認識できないことがある。又、文書での汚れや、手書きによる書き込みが読み取られることもある。汚れ等を原因として、正確に記号を認識できないことがある。又、文書が若干傾いた状態で印刷されることや、読み取られることもあり、傾きが、正確な記号認識の妨げとなることもある。

そこで、本実施形態の複合機１は、フォームで予め定められた全ての抽出エリアでの記号列認識処理が完了すると、認識された未確定記号列に対する修正入力を受け付ける。本説明では、フォームの登録と同様に、ライセンス管理のため、ソフトウェアのライセンスに関する文書の画像データから情報を抽出するケースを例に挙げて、修正入力の一例を説明する。本説明では、複合機１の操作パネル１２に入力を行って修正入力を行う例を説明する。

具体的には、図４に示したフォームの文書画像データから、抽出エリアとして定められる７つの項目の記号列を抽出したときの修正入力の一例を説明する。具体的に、「担当者名」の項目と、「注文番号」の項目と、「契約番号」の項目と、「契約終了日」の項目と、「製品番号」の項目と、「商品名」の項目と、「ライセンス数」の項目について、情報を抽出し、修正入力を行う例を説明する。

まず、主制御部１０は、フォームで予め定められた全ての抽出エリアでの記号列認識処理が完了すると、図９〜図１５に示すように、項目ごとの修正画面７を順番に液晶表示部１２１に表示させる。本説明では、主制御部１０が、各修正画面７（７１〜７７）に１つの項目ずつ、抽出した記号列（未確定記号列）を表示し、修正入力を受け付ける例を説明する。しかし、複数の項目を１つの修正画面７に表示してもかまわない。

そして、図９〜図１５に示すように、主制御部１０は、各修正画面７（７１〜７７）に、抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。例えば、主制御部１０は、各修正画面７（７１〜７７）の上段に未確定記号列を液晶表示部１２１に表示させる。

更に、主制御部１０は、データサーバー４等に抽出情報として記憶されている記号列に基づき、未確定記号列に含まれるそれぞれの記号に対して置換候補を定める（詳細は後述）。そして、認識結果の下方に、認識された各記号の置換候補を表示させる。尚、置換候補が特に無ければ、主制御部１０は、置換候補を表示させない。尚、置換候補の表示形態は適宜定めることができるが、例えば、図９〜図１５の各図に示すように、数字付矩形内に置換候補としての記号を配した形態とされる。

置換候補の記号が正しいとき、使用者は、正しい記号が含まれる数字付矩形を押す。言い換えると、液晶表示部１２１は、置換候補を入力キーの一種として表示し、タッチパネル部１２２は、未確定記号列に含まれる複数の記号のそれぞれについて、置換候補を選択する修正入力を受け付ける。

これにより、主制御部１０は、置換候補が押された記号と抽出した記号とを入れ替え、未確定記号列の修正処理を行う。そして、例えば、主制御部１０は、押された数字付矩形内の記号と、対応する位置の未確定記号列内の記号とを入れ替えて液晶表示部１２１に表示させる。言い換えると、主制御部１０は、置換候補として表示された記号と未確定記号列内の記号を入れ替えて表示させる。

又、図９〜図１４に示すように、各修正画面７（７１〜７７）には、次キーＫ５が配される（最後の項目の修正画面７を除く。本説明では、修正画面７７）。使用者は、表示中の修正画面７に対応する項目の未確定記号列に対する修正入力が完了すると次キーＫ５を押す。次キーＫ５が押されると、主制御部１０は、次キーＫ５が押された修正画面７に対応する項目の未確定記号列が確定されたと認識する。そして、主制御部１０は、次の項目に対応する修正画面７を表示させる。

又、フォーム中、最後の項目の修正画面７（７７）では、完了キーＫ６が配される。使用者は、最後の項目の未確定記号列に対する修正入力が完了すると、完了キーＫ６を押す。完了キーＫ６が押されると、主制御部１０は、完了キーＫ６が押された修正画面７に対応する項目の未確定記号列が確定されたと認識する。さらに、主制御部１０は、文書画像データの各抽出エリアから抽出され、確定された各記号列をまとめてデータサーバー４に記憶させる。

尚、図９〜図１５に示すように、各修正画面７（７１〜７７）には、キーボードキーＫ７が配される。本実施形態の複合機１（情報抽出装置１００）は、正しい記号を置換候補として提案する確率をできるだけ高める（詳細は後述）。しかし、場合によっては、正しい記号を示す置換候補が表示されないこともある。そこで、使用者は、ソフトウェアキーボード７８を用いて、正しい記号を入力するとき、キーボードキーＫ７を押す。キーボードキーＫ７が押されると、主制御部１０は、図１６に示すようなソフトウェアキーボード７８を液晶表示部１２１に表示させる。使用者は、ソフトウェアキーボード７８を用いて、漢字、かな文字、アルファベット、数字、各種記号を手入力することができ、記号列を修正することができる。

次に、図９〜図１５を用いて、項目ごとの修正入力の具体的な態様の一例を説明する。各項目の修正順（項目の順番）は、適宜定めることができるが、本説明では、「担当者名」（図９に対応）→「注文番号」（図１０に対応）→「契約番号」（図１１に対応）→「契約終了日」（図１２に対応）→「製品番号」（図１３に対応）→「商品名」（図１４に対応）→「ライセンス数」（図１５に対応）の順番で修正入力を行う例を説明する。

主制御部１０は、フォームで予め定められた全ての抽出エリアでの記号列認識処理が完了すると、主制御部１０は、最初の順番の項目の修正画面７１を液晶表示部１２１に表示させる（本説明では、「担当者名」の項目）。

この修正画面７１では、主制御部１０は、「担当者名」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図９には、「山材一朝」と認識された例を示している（正しくは、「山村一朗」。）。

一方、図９では、主制御部１０は、未確定記号列に含まれる記号のうち、「材」の記号に対して３つの置換候補（図９の例では「村」、「社」、「桁」）を定め、「郎」の記号に対して２つの置換候補（図９の例では「朗」、「朋」）を定め、置換候補を液晶表示部１２１に表示させた例を示している。

主制御部１０は、未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定め、定めた置換候補を液晶表示部１２１に表示させる。

例えば、「担当者名」の項目では、以前に同じ抽出エリアから抽出され、抽出情報として記憶されている記号列として「山村一朗」が存在するとする。そこで、例えば、主制御部１０は、同じ抽出エリアから抽出されデータサーバー４に抽出情報として記憶されている記号列と未確定記号列とを同じとするという基準のもと、置換候補を定める。例えば、「担当者名」として、「山」と「一」が一致する「山村一朗」という記号列と同じになるように、主制御部１０は、「村」や「朗」を置換候補として定め、液晶表示部１２１に表示させる。

又、例えば、「担当者名」の項目では、以前に同じ抽出エリアから抽出され、抽出情報として記憶された記号列の漢字に、「村」、「社」、「桁」、「朗」、「朋」等が存在するとする。そして、主制御部１０は、同じ「担当者名」の項目の抽出エリアから抽出され記憶されている記号列に含まれる各記号のうち、未確定記号列内の漢字と同じ部首を有する漢字を、置換候補と定めてもよい。例えば、主制御部１０は、データサーバー４に抽出情報として記憶された木偏の漢字である「村」、「社」、「桁」を置換候補として定め、液晶表示部１２１に表示させる。又、主制御部１０は、データサーバー４に抽出情報として記憶された月偏の漢字である「朗」、「朋」を置換候補として定め、液晶表示部１２１に表示させる。

そして、本例では、使用者は、正しい記号である「村」や「朗」を選択する。そして、次キーＫ５が押される。これにより、「担当者名」の項目の記号列が確定する。

又、主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７２を液晶表示部１２１に表示させる（本説明では、「注文番号」の項目。図１０参照）。

この修正画面７２では、主制御部１０は、「注文番号」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１０には、「？？？７００３Ｏｏ４」と認識された例を示している。

尚、図１０の例における「？」の記号は、主制御部１０がマッチング用のデータを用いても特定できなかった記号を示す。主制御部１０が、抽出エリアでの認識処理を行っても、マッチング用のデータとの一致率が予め定められた値よりも低くなる場合がある。このような場合、主制御部１０は、記号を特定できなかったとして、「？」を用いて、記号を認識できなかったことを示してもよい。

そして、図１０では、主制御部１０が、未確定記号列に含まれる記号のうち、「？」部分に対して４つの置換候補（図１０の例では数字の「０」〜「４」）を定め、「Ｏ（アルファベットの大文字のオー）」の記号に対して１つの置換候補（図１０の例では「０」）を定め、「ｏ（アルファベットの小文字のオー）」の記号に対して１つの置換候補（図１０の例では「０（ゼロ）」）を液晶表示部１２１に表示させた例を示している。具体的には、一部が認識できず、又、「０（ゼロ）」が「アルファベットのオー」と誤って認識された例である。

本項目でも、主制御部１０は、未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定め、定めた置換候補を液晶表示部１２１に表示させる。

例えば、「注文番号」の項目の抽出エリアから抽出され、データサーバー４等に記憶されている記号列が数字のみであるとする。一般的に、「〜番号」と呼ばれる内容は、複数個の数字を含むことが多い。そこで、主制御部１０は、「注文番号」の項目から抽出され、抽出情報として記憶された記号列が数字のみであることを基準として、未確定記号列が数字のみとなるように置換候補を定める。例えば、主制御部１０は、未確定記号列中の「Ｏ（アルファベットの大文字のオー）」の記号や、「ｏ（アルファベットの小文字のオー）」の記号に対して、形態的に近似する「０（ゼロ）」を置換候補として定め、液晶表示部１２１に表示させる。尚、形態が近似するため、よく誤認識が生ずるアルファベットなどの文字と数字の関係を示すデータをデータサーバー４や記憶部１７等に記憶させておき、置換候補を定めるとき、主制御部１０は、データを利用して置換候補を定めても良い。

又、例えば、「注文番号」の項目でデータサーバー４に記憶された記号列の頭３桁の数字が「０、１、２、３」の何れかに限られているとする。そこで、例えば、主制御部１０は、抽出情報として記憶された記号列が数字のみであること、及び、同じ抽出エリアから抽出され、抽出情報として記憶された記号列と、未確定記号列とを同じとするという基準のもと、置換候補を定めてもよい。例えば、主制御部１０は、「？」部分の置換候補として、抽出情報として記憶された記号列と同じになるように、「０（ゼロ）」、「１」、「２」、「３」といった数字を置換候補として定め、液晶表示部１２１に表示させる。

そして、本例では、使用者は、正しい記号である「０（ゼロ）」等を選択する。そして、次キーＫ５が押される。これにより、「注文番号」の項目の記号列が確定する。

主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７３を液晶表示部１２１に表示させる（本説明では、「契約番号」の項目。図１１参照）。

この修正画面７３では、主制御部１０は、「注文番号」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１１には、「６６６６６６６」と認識された例を示している。具体的には、認識ミスが全くない例である。

そして、本項目の修正画面７３は、主制御部１０が未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定めようとしたが、置換候補が無かったため、置換候補が液晶表示部１２１に表示されない例を示している。

そして、修正画面７３では、特に修正がなければ、次キーＫ５が押されることになる。これにより、「担当者名」の項目の記号列が確定する。

主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７４を液晶表示部１２１に表示させる（本説明では、「契約終了日」の項目。図１２参照）。

この修正画面７４では、主制御部１０は、「契約終了日」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１２には、「２０Ｉ５'ＩＩ'ＩＩ」と認識された例を示している。

図１２では、主制御部１０が、未確定記号列に含まれる記号のうち、「Ｉ（アイ）」部分に対して１つの置換候補（図１２の例では数字の「１」）を定め、「'」の記号に対して１つの置換候補（図１２の例では「／」）を定め、液晶表示部１２１に表示させた例を示している。具体的には、数字「１」が「Ｉ（アイ）」と誤って認識された例である。又、「／」が「'」と誤って認識された例である。

本項目でも、主制御部１０は、未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定め、定めた置換候補を液晶表示部１２１に表示させる。

例えば、「契約終了日」の項目の抽出エリアに関しては、書式、様式が、数字４桁＋「／」＋「数字２桁」＋「／」＋「数字２桁」というように、記号と数字の決まった（法則的な）組み合わせで、確定された記号列がデータサーバー４に記憶されているとする。言い換えると、「契約終了日」の項目の抽出エリアから抽出され、記憶された記号列は、いずれも決まった書式、様式である。一般的にみても、データベースの運用上、日付の書式は決まっている。

そこで、主制御部１０は、「契約終了日」の項目に関して抽出され、抽出情報として記憶された記号列の書式、様式が統一されていることに基づき置換候補を定める。具体的に、主制御部１０は、同じ抽出エリアから抽出されデータサーバー４等に記憶されている記号列が複数桁の記号、文字、数字の何れか１つ又は複数の組み合わせであるとき、未確定記号列が同様の記号、文字、数字の何れか１つ又は複数の組み合わせとなるように置換候補を定める。

例えば、主制御部１０は、「契約終了日」の項目に対応した記号列では、未確定記号列中の「Ｉ」の記号の位置に、数字が記憶されている様式、法則に着目する。主制御部１０は、「Ｉ」の記号の置換候補として数字「１」（形態も近似する）を置換候補として定め、液晶表示部１２１に表示させる。尚、全ての数字を置換候補としてあげても良い。尚、形態が近似するため、よく誤認識が生ずるアルファベットと数字や記号の関係を示すデータをデータサーバー４や記憶部１７等に記憶させておき、置換候補を定めるとき、主制御部１０は、データを利用して置換候補を定めても良い。

又、例えば、主制御部１０は、「契約終了日」の項目に対応した記号列では、未確定記号列中の「'」の記号の位置に、定型的に「／」の記号が用いられている様式、法則に着目する。そして、主制御部１０は、未確定記号列中の「'」の記号に対して書式、様式の統一の観点から「／」を置換候補として定め、液晶表示部１２１に表示させる。

そして、本例では、使用者は、正しい記号である「１」や「／」等が選択される。そして、次キーＫ５が押される。これにより、「契約終了日」の項目の記号列が確定する。

主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７５を液晶表示部１２１に表示させる（本説明では、「製品番号」の項目。図１３参照）。

この修正画面７５では、主制御部１０は、「製品番号」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１３には、「ＰＵ８−７ｏ７」と認識された例を示している。

図１３では、主制御部１０が、未確定記号列に含まれる記号のうち、「８」部分に対して２つの置換候補（図１３の例ではアルファベットの「Ｂ」、「Ｅ」）を定め、「ー（長音）」の記号に対して１つの置換候補（図１３の例では「−（ハイフン）」）を定め、「ｏ（小文字のオー）」部分に対して１つの置換候補（図１３の例では数字の「０」）を定め、液晶表示部１２１に表示させた例を示している。具体的には、具体的には、「Ｂ」が「８」と誤って認識された例である。又、「−（ハイフン）」が「ー（長音）」と誤って認識された例である。

本項目でも、主制御部１０は、未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定め、定めた置換候補を液晶表示部１２１に表示させる。

例えば、「製品番号」の項目から抽出され、データサーバー４に記憶されている記号列は、アルファベット３桁＋「−（ハイフン）」＋「数字３桁」というように、記号と数字の決まった（法則的な）組み合わせ（書式、様式）であるとする。一般的にみても、商品の型番は、同じ商品に共通して使用される。

そこで、主制御部１０は、「製品番号」の項目の抽出エリアから抽出されデータサーバー４に記憶された記号列の統一的な書式、様式に着目して置換候補を定める。具体的に、主制御部１０は、同じ抽出エリアから抽出され、記憶されている記号列が複数桁の同じ記号（例えば、「−（ハイフン）」）、文字（同じ種類の文字、例えば、アルファベット）、数字（同じ種類の数字、例えば、アラビア数字）の何れか１つ又は複数の組み合わせであるとき、未確定記号列が同様の記号、文字、数字の何れか１つ又は複数の組み合わせとなるように置換候補を定める。

例えば、主制御部１０は、データサーバー４に記憶されている「製品番号」の項目の記号列では、１〜３文字目は、アルファベットの大文字がいつも（常時）用いられていることに着目する。そこで、主制御部１０は、例えば、未確定記号列中の「８」の記号に対して、数字「８」と形態が近似し誤りの生じやすいアルファベット「Ｂ」や「Ｅ」を置換候補として定め、液晶表示部１２１に表示させる。

又、例えば、主制御部１０は、「製品番号」の項目に対応して記憶されている記号列では、４文字目に「−（ハイフン）」がいつも（常時）用いられていることに着目する。そして、主制御部１０は、未確定記号列中の４文字目の「ー（長音）」の記号に対して、書式、様式の統一の観点から「−（ハイフン）」を置換候補として定め、液晶表示部１２１に表示させる。

又、「製品番号」は、同じ製品、商品で統一して繰り返し使用される。そのため、抽出エリアに含まれる記号列と同じ記号列が、既に以前に「製品番号」の項目の抽出エリアから抽出され、既にデータサーバー４等に記憶されていることもある。そこで、例えば、主制御部１０は、同じ抽出エリアから抽出され記憶されている記号列と、未確定記号列とを同じとするという基準のもと、置換候補を定めてもよい（例えば、未確定記号列中の「８」の記号に対して、アルファベット「Ｂ」を置換候補として定める）。

そして、本例では、使用者は、正しい記号である「Ｂ」や「−（ハイフン）」等が選択される。そして、次キーＫ５が押される。これにより、「製品番号」の項目の記号列が確定する。

主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７６を液晶表示部１２１に表示させる（本説明では、「商品名」の項目。図１４参照）。

この修正画面７６では、主制御部１０は、「商品名」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１４には、「ＮｅｔＤａｔｅＶＬｍ ２０１０ ＪＰＮ」と認識された例を示している。

尚、液晶表示部１２１の一画面中に未確定記号列を全て表示できないので、スクロールキーＫ８が設けられる。スクロールキーＫ８が押されると、液晶表示部１２１は、未確定記号列のうち、表示する記号を切り替える。これにより、液晶表示部１２１で未確定記号列の全体を視認することができる。

そして、図１４では、主制御部１０が、未確定記号列に含まれる記号のうち、「Ｖ」部分に対して２つの置換候補（図１４の例ではアルファベットの「Ｗ」、「ｗ」）を定め、「Ｌ」の記号に対して２つの置換候補（図１４の例では「Ｉ」、「ｉ」」）を定め、液晶表示部１２１に表示させた例を示している。具体的には、「Ｗ」が「Ｖ」に、「ｉ」が「Ｌ」と誤って認識された例である。

本項目でも、主制御部１０は、未確定記号列に含まれる各記号について、抽出情報として記憶されている記号列に基づき置換候補を定め、定めた置換候補を液晶表示部１２１に表示させる。

例えば、「商品名」の項目に関し、認識された記号列は、同じ種類の文字（アルファベット）を連ね、同じ種類の記号（アルファベット）が互いに隣接しあっている状態である。そこで、主制御部１０は、未確定記号列の各記号について、隣接する記号と同じ種類の記号を置換候補と定める。

例えば、主制御部１０は、未確定記号列中の「Ｖ」、「Ｌ」の記号に対して、誤認識の生じやすいアルファベット「Ｗ」や「ｗ」や「ｉ」や「Ｉ」を置換候補として定め、液晶表示部１２１に表示させる。尚、主制御部１０は、更に別の各アルファベットの文字を置換候補として定めても良い。尚、アルファベットのような同じ種類の記号間で誤認識が生じやすい記号の関係を示すデータをデータサーバー４や記憶部１７等に記憶させておき、置換候補を定めるとき、主制御部１０は、データを利用して置換候補を定めても良い。

又、例えば、「商品名」のような各製品、商品で統一して使用される記号列は、以前に同じ抽出エリアから抽出され、既にデータサーバー４等に記憶されていることもある。そこで、例えば、主制御部１０は、同じ抽出エリアから抽出され記憶されている記号列と、未確定記号列とを同じとするという基準のもと、置換候補を定めてもよい（例えば、未確定記号列中の「Ｖ」の記号に対して、アルファベット「Ｗ」を置換候補として定める）。

そして、本例では、使用者は、正しい記号である「Ｗ」や「ｉ」等が選択される。そして、次キーＫ５が押される。これにより、「商品名」の項目の記号列が確定する。

主制御部１０は、次キーＫ５が押されると、次の順番の項目の修正画面７７を液晶表示部１２１に表示させる（本説明では、「ライセンス数」の項目。図１５参照）。

この修正画面７７では、主制御部１０は、「ライセンス数」の項目の抽出エリアに対するＯＣＲ処理の結果（認識結果、未確定記号列）を液晶表示部１２１に表示させる。図１５には、「４」と認識された例を示している。「ライセンス数」の項目は、認識ミスが全くない例であり、１桁又は数桁の数字に限られるので、説明は割愛する。

このようにして、本実施形態に係る情報抽出装置１００は、文書の画像データのうち予め定められた抽出エリアに含まれる記号列を抽出情報として記憶する記憶部（例えば、記憶部１７）と、文書の画像データの抽出エリア内の記号列を認識し、抽出する処理を行い、同じ抽出エリアから抽出されて記憶部に記憶されている抽出情報に基づき、抽出した未確定記号列の１又は複数種の置換候補を定める処理部（例えば、主制御部１０）と、未確定記号列とともに、処理部が定めた１又は複数の置換候補を表示する表示部（例えば、液晶表示部１２１）と、表示部に表示された置換候補の選択による未確定記号列の修正入力を受け付ける入力部（例えば、タッチパネル部１２２）と、を含み、記憶部は、修正入力が有れば修正後の記号列を、修正入力が無ければ処理部が抽出した記号列を抽出情報として記憶する。

これにより、未確定記号列の確定を行うとき、置換候補が表示されるので、使用者は、置換候補を選択するだけで、簡易に不正確な記号を修正することができる。又、フォームが決まっている文書の画像データから情報の抽出を行うと、同じ抽出エリアからは、同様の記号列が繰り返し抽出されることがある。又、同じ抽出エリアから抽出され記憶部（例えば、記憶部１７）に蓄積された記号列は、桁数、記号種（文字、数字等の種別）など、おなじような同様の傾向、様式、形式となることがある。そこで、蓄積された抽出情報という、記号列を抽出する装置での特有の情報や、使用者ごとの情報抽出の実情、実態に基づき置換候補を示すので、高い確率で正しい記号を置換候補として提案することができる。従って、修正の必要がある場合に正しい記号の置換候補が表示されないという不都合を無くすことができ、簡易に、未確定記号列の修正を行うことができる。

又、処理部（例えば、主制御部１０）は、未確定記号列に含まれるそれぞれの記号に対して、同じ抽出エリアから抽出されて記憶部（例えば、記憶部１７）に記憶されている抽出情報に基づき、１又は複数種の置換候補を定め、表示部（例えば、液晶表示部１２１）は、未確定記号列に含まれる記号のそれぞれに対して、処理部（例えば、主制御部１０）が定めた１又は複数の置換候補を表示し、入力部（例えば、タッチパネル部１２２）は、置換候補を選択することによる未確定記号列に含まれる複数のそれぞれの記号に対する修正入力を受け付ける。これにより、未確定記号列内のそれぞれの記号に対し、置換候補を提案することができる。従って、使用者は、未確定記号列の記号を１つずつの修正を行うことができる。

又、処理部（例えば、主制御部１０）は、同じ抽出エリアから抽出されて記憶部（例えば、記憶部１７）に抽出情報として記憶されている記号列と、未確定記号列とが同じとなるように置換候補を定める。これにより、抽出された記号列が正確でなくても、過去に蓄積された抽出情報（例えば、商品名など）と同じ記号列となるように置換候補として表示することができる。従って、各情報抽出装置１００の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、処理部（例えば、主制御部１０）は、同じ抽出エリアから抽出されて記憶部（例えば、記憶部１７）に抽出情報として記憶されている記号列が数字のみであるとき、未確定記号列が数字のみとなるように置換候補を定める。これにより、同じ抽出エリアから抽出された抽出情報の傾向、形式に応じて置換候補を表示することができる。各情報抽出装置１００の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、処理部（例えば、主制御部１０）は、同じ抽出エリアから抽出されて記憶部（例えば、記憶部１７）に抽出情報として記憶されている記号列が複数桁の記号、文字、数字の何れか１つ又は複数の組み合わせであるとき、未確定記号列が記号、文字、数字の何れか１つ又は複数の組み合わせと同じ形式となるように置換候補を定める。これにより、同じ抽出エリアから抽出された抽出情報の記号列のパターン、形式に応じた置換候補を表示することができる。従って、記憶部（例えば、記憶部１７）に蓄積される各情報抽出装置１００の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、一般に、アルファベット等に比べ、漢字が誤って認識される確率は高い。そこで、処理部（例えば、主制御部１０）は、未確定記号列に漢字が含まれているとき、未確定記号列の漢字の記号に対して、同じ抽出エリアから抽出されて記憶部（例えば、記憶部１７）に抽出情報として記憶されている漢字であって未確定記号列内の漢字と同じ部首を有する漢字を、置換候補と定める。これにより、同じ抽出エリアから抽出された抽出情報の記号列との関係が深い漢字を置換候補として提案することができる。従って、各情報抽出装置１００の固有の抽出情報に基づいて、正しい記号を置換候補として提案する確率を高めることができる。

又、通常、例えば、片仮名の後にアルファベットを用い、その後、漢字を配するように種類の異なる記号（文字、数字）を混ぜて表記することは通常行われない。通常、例えば、数字は数字のみ、アルファベットはアルファベットのみのように、同じ種類の記号が１つの固まりとして、記号種がある程度統一されて記号列は記される。そこで、処理部（例えば、主制御部１０）は、未確定記号列の各記号について、隣接する記号と同じ種類の記号を置換候補と定める。これにより、隣接関係により、正しいと思われる記号の推測を行って置換候補を提案することができる。従って、正しい記号を置換候補として提案する確率を高めることができる。

次に、他の実施形態を説明する。上記の実施形態では、複合機１の記憶部１７が、フォーム特定用データや抽出エリアデータ等を含むフォームデータを記憶する例を説明した。しかし、複合機１は、コンピューター２やデータサーバー４等と通信可能に接続されるので、フォームデータは、複合機１外の記憶部（例えば、コンピューター２の記憶部２１やデータサーバー４の記憶部４２）に記憶させておき、複合機１は、フォームデータを記憶場所から通信により取得してもよい。

又、上記の実施形態では、抽出情報をデータサーバー４（記憶部４２）に記憶、蓄積する例を説明した。しかし、抽出情報の記憶、蓄積先は、データサーバー４に限らず、複合機１の記憶部１７や、コンピューター２の記憶部２１に記憶させてもよい。言い換えると、本実施形態の情報抽出装置１００での抽出情報を記憶、蓄積される場所は、フォーム特定や抽出処理を行う部分と離れていてもよいし（外部でもよいし）、近接していてもよい。そして、主制御部１０は、抽出情報の何れかの記憶場所にアクセスし、置換候補を定める。

又、上記の実施形態では、文書画像データに基づき、複合機１が文書画像データのフォームの特定や情報の抽出処理を行う例を説明した。しかし、コンピューター２やデータサーバー４が、フォームの特定や情報の抽出処理を行っても良い。

この場合、コンピューター２の制御部２０（処理部に相当）やデータサーバー４の制御部４０が文書画像データを取得し、フォーム特定用データに基づくフォームの特定処理や抽出エリアデータに基づく情報の抽出処理を行う処理部として機能する。又、制御部２０や制御部４０が、抽出情報を用いて置換候補を定める処理を行う処理部として機能する。

そして、コンピューター２のディスプレイ２３やデータサーバー４のディスプレイ４４が表示部に相当し、コンピューター２やデータサーバー４の入力装置２２、４３（キーボードやマウス）が入力部に相当することになる。このように、複合機１に限らず、コンピューター２やデータサーバー４を主体（本体）として情報抽出装置１００を構成できる。

又、上記の実施形態では、画像データ化したソフトウェアに関する文書からソフトウェアの管理に要する情報を抽出する例を説明した。しかし、情報抽出装置１００が情報を抽出する対象としての文書は、ソフトウェアに関する文書に限られず、請求書や納品書や会計資料や社内資料や製品の保証書等、一定のフォーム（様式、形式）を有する文書などでもよく、特に制限はない。

本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、文書画像データから情報を抽出する情報抽出装置に使用可能である。

１ 複合機（情報抽出装置）
１０ 主制御部（処理部） １１ 画像読取部
１７ 記憶部 １２１ 液晶表示部（表示部）
１２２ タッチパネル部（入力部）
２ コンピューター（情報抽出装置、記憶部）
２０ 制御部（処理部） ２１ 記憶部
２２ 入力装置（入力部） ２３ ディスプレイ（表示部）
３ スキャナー（画像読取部の一種）
４ データサーバー（情報抽出装置、記憶部）
４０ 制御部（処理部） ４２ 記憶部
４３ 入力装置（入力部） ４４ ディスプレイ（表示部）

Claims (7)

1. 文書の画像データのうち予め定められた抽出エリアに含まれる記号列を抽出情報として記憶する記憶部と、
   文書の画像データの前記抽出エリア内の記号列を認識し、抽出する処理を行い、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列に基づき、抽出した未確定記号列の１又は複数種の置換候補を定める処理部と、
   前記未確定記号列とともに、前記処理部が定めた１又は複数の前記置換候補を表示する表示部と、
   前記表示部に表示された前記置換候補の選択による前記未確定記号列の修正入力を受け付ける入力部と、を含み、
   前記記憶部は、前記修正入力が有れば修正後の記号列を、前記修正入力が無ければ前記前記処理部が抽出した記号列を前記抽出情報として記憶することを特徴とする情報抽出装置。
2. 前記処理部は、前記未確定記号列に含まれるそれぞれの記号に対して、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列に基づき、１又は複数種の置換候補を定め、
   前記表示部は、前記未確定記号列に含まれる記号のそれぞれに対して、前記処理部が定めた１又は複数の前記置換候補を表示し、
   前記入力部は、前記置換候補を選択することによる前記未確定記号列に含まれる複数のそれぞれの記号に対する修正入力を受け付けることを特徴とする請求項１記載の情報抽出装置。
3. 前記処理部は、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列と、前記未確定記号列とが同じとなるように置換候補を定めることを特徴とする請求項１又は２に記載の情報抽出装置。
4. 前記処理部は、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている記号列が数字のみであるとき、前記未確定記号列が数字のみとなるように置換候補を定めることを特徴とする請求項１乃至３の何れか１項に記載の情報抽出装置。
5. 前記処理部は、同じ前記抽出エリアから抽出されて前記記憶部に前記抽出情報として記憶されている記号列が複数桁の記号、文字、数字の何れか１つ又は複数の組み合わせであるとき、前記未確定記号列が記号、文字、数字の何れか１つ又は複数の組み合わせと同じ形式となるように置換候補を定めることを特徴とする請求項１乃至４の何れか１項に記載の情報抽出装置。
6. 前記処理部は、前記未確定記号列に漢字が含まれているとき、前記未確定記号列の漢字の記号に対して、同じ前記抽出エリアから抽出されて前記抽出情報として記憶されている漢字であって前記未確定記号列内の漢字と同じ部首を有する漢字を、置換候補と定めることを特徴とする請求項１乃至５の何れか１項に記載の情報抽出装置。
7. 前記処理部は、前記未確定記号列の各記号について、隣接する記号と同じ種類の記号を置換候補と定めることを特徴とする請求項１乃至６の何れか１項に記載の情報抽出装置。

Images