JP2022128202A - 情報処理装置、情報処理システム、及び情報処理プログラム - Google Patents

Abstract

【課題】文字認識の前処理として文書全体に一律に単一の画像変換処理を実行する場合に比べて、処理速度と文字認識精度の両立が可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。【解決手段】前処理手順決定部５６が、文書の種類に応じて予め定めた取得すべき属性、文書内の属性を取得する際の前処理、及び処理の手順についての情報を取得して、前処理の手順を決定する。また、前処理部５８が、前処理手順決定部５６の決定結果に従って、文書情報に対して前処理を実行する。【選択図】図５

Description

本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。

特許文献１には、対象画像から文字情報を抽出する画像分析装置が提案されている。当該画像分析装置は、特定のフォントの文字に学習用画像変換を施して学習用画像を生成する学習用画像生成器と、認識済み文字を含む第１画像とその認識済み文字を特定のフォントで表した第２画像との組を用いて第２画像を第１画像へ変換する学習用画像変換を学習用画像生成器に学習させる学習用画像生成学習部と、学習用画像生成器が生成した学習用画像とその学習用画像に対応する文字との組を用いて画像から文字の抽出を学習させる文字認識学習部と、を備えたＯＣＲエンジン学習装置によって学習したＯＣＲエンジンと、当該ＯＣＲエンジンを用いて対象画像から文字情報を抽出するＯＣＲ部と、を有する。

特許文献２には、外部装置の提供するアプリケーションを利用する場合に、適切な前処理を行う画像形成装置が提案されている。詳細には、画像形成装置は、外部アプリに応じた前処理を決定し、決定した前処理をメモリーに登録しておく。そして、外部アプリを利用する画像処理が指示されるとメモリーに当該外部アプリに対応すると登録された前処理を行なったデータを外部アプリに渡す。また、前処理を決定する際には、画像形成装置は、第１の画像データに第１の画像処理を行なって第２の画像データを生成して外部アプリに渡し、外部アプリから処理後のデータを受け付ける。そして、画像形成装置は、第２の画像データと処理後のデータとに基づいて、第１の画像処理を当該外部アプリに対応する前処理とするか否かを決定する。

特開２０１９－８２８１４号公報 特許第６２３７３６９号公報

本発明は、文字認識の前処理として文書全体に一律に単一の画像変換処理を実行する場合に比べて、処理速度と文字認識精度の両立が可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、文字認識の前処理として、前記文字認識の対象の文書に対して、前記文書内の属性毎、または前記文書の種類に応じて予め定めた前記文書内の領域毎に、予め定めた画像変換処理を実行し、前記画像変換処理が行われた前記文書に対して文字認識を行って結果を出力する処理を行う。

また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記画像変換処理は、文字以外を除去する第１画像変換処理、及び前記第１画像変換処理よりも文字認識精度が低下するが文字以外を除去する処理速度が速い第２画像変換処理を含む。

また、第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記第１画像変換処理は、機械学習により予め学習した人工知能を用いた画像変換処理である。

また、第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記第１画像変換処理は、文字以外の除去する対象毎にそれぞれ異なる複数種類の画像変換処理を含む。

また、第５態様に係る情報処理装置は、第１態様～第４態様の何れか１の態様に係る情報処理装置において、前記プロセッサは、画像変換処理毎に処理するようにページ順を入れ替えて前記画像変換処理を実行する。

また、第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記プロセッサは、前記文書の種類毎に予め定めたページ順に入れ替えて前記画像変換処理を実行する。

また、第７態様に係る情報処理システムは、第１態様～第６態様の何れか１の態様に記載の情報処理装置と、前記文書を読み取った読取結果を前記情報処理装置に送信して文字認識を依頼する依頼装置と、を含む。

また、第８態様に係る情報処理プログラムは、コンピュータに、文字認識の前処理として、前記文字認識の対象の文書に対して、前記文書内の属性毎、または前記文書の種類に応じて予め定めた前記文書内の領域毎に予め定めた画像変換処理を実行し、前記画像変換処理が行われた前記文書に対して文字認識を行って結果を出力する処理を実行させる。

第１態様によれば、文字認識の前処理として文書全体に一律に単一の画像変換処理を実行する場合に比べて、処理速度と文字認識精度の両立が可能な情報処理装置を提供できる。

第２態様によれば、複数種類の画像変換処理を用いることで、処理速度と文字認識精度の両立を図ることが可能となる。

第３態様によれば、他の画像変換処理を第１画像変換処理として用いる場合に比べて文字認識精度を向上することが可能となる。

第４態様によれば、文字以外の除去する対象に合わせた画像変換処理を行うことが可能となる。

第５態様によれば、ページ順を入れ替えない場合に比べて、画像変換処理を効率的に行うことが可能となる。

第６態様によれば、ページ毎に対応する画像変換処理を決定してページ順を入れ替えるよりもページ順の入れ替えが容易となる。

第７態様によれば、文字認識の前処理として文書全体に一律に単一の画像変換処理を実行する場合に比べて、処理速度と文字認識精度の両立が可能な情報処理システムを提供できる。

第８態様によれば、文字認識の前処理として文書全体に一律に単一の画像変換処理を実行する場合に比べて、処理速度と文字認識精度の両立が可能な情報処理プログラムを提供できる。

本実施形態に係る情報処理システムの概略構成を示す図である。 本実施形態に係る情報処理システムにおける画像形成装置の電気系の要部構成を示すブロック図である。 本実施形態に係る情報処理システムにおける、サーバ、携帯端末、及びクライアント端末の電気系の要部構成を示すブロック図である。 文字認識された文書内の属性の抽出を説明するための図である。 本実施形態に係る情報処理システムにおけるサーバの機能構成を示す機能ブロック図である。 文書の種類毎に取得する重要語と前処理の処理内容とその処理位置とを予め定めたリストの一例を示す。 本実施形態に係る情報処理システムのサーバで行われる処理の流れの一例を示すフローチャートである。 文書の種類毎に取得する重要語と前処理の処理内容と処理順とを予め定めたリストの一例を示す。 処理順を入れ替えて前処理を実行する例を説明するための図である。 本実施形態に係る情報処理システムのサーバにおいて、契約書のページ順を入れ替えて前処理を行う場合の処理の流れの一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１は、本実施形態に係る情報処理システムの概略構成を示す図である。

本実施形態に係る情報処理システム１０は、図１に示すように、画像形成装置１２、スキャナ装置１３、情報処理装置としてのサーバ１４、携帯端末１５、及びクライアント端末１６を備えている。なお、本実施形態では、画像形成装置１２、スキャナ装置１３、サーバ１４、携帯端末１５、及びクライアント端末１６を１つのみ示すがそれぞれ複数備えてもよい。また、画像形成装置１２、スキャナ装置１３、携帯端末１５、及びクライアント端末１６は依頼装置の一例に対応し、少なくとも１つ以上を残して他を省略した形態としてもよい。また、クライアント端末１６としては、例えば、パーソナルコンピュータが一例として適用され、携帯端末１５としては、タブレット端末やスマートフォン等の携帯端末が適用される。

画像形成装置１２、スキャナ装置１３、サーバ１４、携帯端末１５、及びクライアント端末１６は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、イントラネット等の通信回線１８を介して各々接続されている。そして、画像形成装置１２、スキャナ装置１３、サーバ１４、携帯端末１５、及びクライアント端末１６の各々は、通信回線１８を介して各種データの送受信を相互に行うことが可能とされている。

図２は、本実施形態に係る情報処理システム１０における画像形成装置１２の電気系の要部構成を示すブロック図である。

本実施形態に係る画像形成装置１２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、及びＲＡＭ（Random Access Memory）２０Ｃを含むコントロール・ユニット２０を備えている。ＣＰＵ２０Ａは、画像形成装置１２の全体の動作を司る。ＲＡＭ２０Ｃは、ＣＰＵ２０Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＲＯＭ２０Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。そして、画像形成装置１２は、コントロール・ユニット２０の各部がシステムバス４２によって電気的に接続されている。

一方、本実施形態に係る画像形成装置１２は、各種のデータやアプリケーション・プログラム等を記憶するＨＤＤ（hard disk drive）２６を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２のディスプレイへの各種の操作画面等の表示を制御する表示制御部２８を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２を介して入力される操作指示を検出する操作入力検出部３０を備えている。そして、画像形成装置１２では、ＨＤＤ２６、表示制御部２８、及び操作入力検出部３０がシステムバス４２に電気的に接続されている。なお、本実施の形態に係る画像形成装置１２では、ＨＤＤ２６を備える例を説明するが、これに限らず、フラッシュメモリ等の不揮発性の記憶部を備えてもよい。

また、本実施形態に係る画像形成装置１２は、原稿読取部４６による光学的な画像の読み取り動作、及び原稿搬送部による原稿送り動作を制御する読取制御部３２と、画像形成部２４による画像形成処理、及び搬送部２５による画像形成部２４への用紙の搬送を制御する画像形成制御部３４と、を備えている。また、画像形成装置１２は、通信回線１８に接続され、当該通信回線１８に接続されたサーバ１４等の他の外部装置と通信データの送受信を行う通信回線インタフェース（通信回線Ｉ／Ｆ）部３６、及び各種画像処理を行う画像処理部４４を備えている。また、画像形成装置１２は、図示しない電話回線に接続され、当該電話回線に接続されているファクシミリ装置とファクシミリデータの送受信を行うファクシミリインタフェース（ファクシミリＩ／Ｆ）部３８を備えている。また、画像形成装置１２は、ファクシミリインタフェース部３８を介したファクシミリデータの送受信を制御する送受信制御部４０を備えている。そして、画像形成装置１２では、送受信制御部４０、読取制御部３２、画像形成制御部３４、通信回線インタフェース部３６、ファクシミリインタフェース部３８、及び画像処理部４４がシステムバス４２に電気的に接続されている。

以上の構成により、本実施形態に係る画像形成装置１２は、ＣＰＵ２０Ａにより、ＲＡＭ２０Ｃ、ＲＯＭ２０Ｂ、及びＨＤＤ２６へのアクセスを各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、表示制御部２８を介したユーザインタフェース２２のディスプレイへの操作画面、各種のメッセージ等の情報の表示の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、読取制御部３２を介した原稿読取部４６及び原稿搬送部の作動の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、画像形成制御部３４を介した画像形成部２４及び搬送部２５の作動の制御と、通信回線インタフェース部３６を介した通信データの送受信の制御と、を各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、送受信制御部４０によるファクシミリインタフェース部３８を介したファクシミリデータの送受信の制御を実行する。さらに、画像形成装置１２は、ＣＰＵ２０Ａにより、操作入力検出部３０によって検出された操作情報に基づくユーザインタフェース２２における操作内容の把握が行われ、この操作内容に基づく各種の制御を実行する。

なお、スキャナ装置１３は、画像形成装置１２のコントロール・ユニット２０、読取制御部３２、及び原稿読取部４６の構成と同様の構成を含み、基本的な構成は類似するため詳細な説明を省略する。

続いて、本実施形態に係るサーバ１４、携帯端末１５、及びクライアント端末１６の電気系の要部構成について説明する。図３は、本実施形態に係る情報処理システム１０における、サーバ１４、携帯端末１５、及びクライアント端末１６の電気系の要部構成を示すブロック図である。なお、サーバ１４、携帯端末１５、及びクライアント端末１６は基本的には一般的なコンピュータの構成とされているので、サーバ１４を代表して説明し、携帯端末１５及びクライアント端末１６については対応する符号のみ付して詳細な説明は省略する。

本実施の形態に係るサーバ１４は、図３に示すように、ＣＰＵ１４Ａ、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、ＨＤＤ１４Ｄ、キーボード１４Ｅ、ディスプレイ１４Ｆ、及び通信回線インタフェース（Ｉ／Ｆ）部１４Ｇを備えている。ＣＰＵ１４Ａは、サーバ１４の全体の動作を司る。ＲＯＭ１４Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１４Ｃは、ＣＰＵ１４Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１４Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。キーボード１４Ｅは各種の情報を入力するために用いられる。ディスプレイ１４Ｆは、各種の情報を表示するために用いられる。通信回線インタフェース部１４Ｇは、通信回線１８に接続され、当該通信回線１８に接続された他の装置と各種データの送受信を行う。以上のサーバ１４の各部はシステムバス１４Ｈにより電気的に相互に接続されている。なお、本実施形態に係るサーバ１４では、ＨＤＤ１４Ｄを備える例を説明するが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を備えてもよい。

以上の構成により、本実施の形態に係るサーバ１４は、ＣＰＵ１４Ａにより、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、及びＨＤＤ１４Ｄに対するアクセス、キーボード１４Ｅを介した各種データの取得、ディスプレイ１４Ｆに対する各種情報の表示を各々実行する。また、サーバ１４は、ＣＰＵ１４Ａにより、通信回線インタフェース部１４Ｇを介した通信データの送受信の制御を実行する。

ところで、企業における文書管理について、一般的に、文書の種類、企業名、契約日や見積日などで分類し、ファイリングなどをして管理することが多い。文書内容を一元的に管理する場合、別途、表計算ソフトウエアなどに文書名、企業名、主要なサービス名、日付等を転記して、一覧で見られるようにして管理することが多い。しかしながら、このような一覧管理を実施するには、ファイルを持ってきて、対象となるファイルを開き、該当内容が記載されている場所を探して、それらを見ながら転記するという作業が必要となる。

そこで、文書を読み取って光学的文字認識（所謂ＯＣＲ：Optical character recognition）処理を実施して必要な情報を取り出すために、上述のように構成された本実施形態に係る情報処理システム１０では、サーバ１４が、各種文書の文字を認識する文字認識処理を行って文書内の属性を抽出する処理を行う。例えば、図４に示すように、文字認識された文書から、タイトル、契約者、契約締結日、ユーザ指定項目等の項目を文書内の属性として抽出する。タイトルは、契約書等の単語をキーとしてタイトルをバリューとして抽出する。契約者は、甲、乙、丙となっている契約者名をバリューとして抽出する。契約締結日は、パターンマッチング等により契約締結日を抽出する。ユーザ指定項目は、ユーザが予め指定した文字列をキーとしてその右側の文字列をバリューとして抽出する。

しかしながら、取得する文書のキーとなる文字列について背景などの状況に応じて文字認識がし難いことがある。例えば、契約書や、見積書、請求書などの文書では、印影と文字が重なることにより文字列が認識し難くなることがある。また、見積書や請求書などの文書では、表内の網点により文字列が認識し難くなることがある。また、証明書では、地紋により文字列が認識し難くなることがある。また、ファクシミリでは、解像度が低いため文字列が認識し難いことがある。これらの処理の中で近年では、機械学習により予め学習した人工知能を用いたＡＩ（Artificial Intelligence）処理による画像変換処理を前処理として行うことで、文字以外の画像を除去して文字認識し易い画像を生成する処理が行われることがあるが、この処理は非常に重たい処理となるため、ユーザに待ち時間を強いてしまう。

そこで、本実施形態では、サーバ１４が、文字認識の前処理として、文字認識の対象の文書に対して、文書内の属性毎、または文書の種類に応じて予め定めた文書内の領域毎に、予め定めた画像変換処理を実行し、画像変換処理が行われた文書に対して文字認識を行って結果を出力する処理を行うようになっている。なお、以下では、文書内の属性毎に予め定めた画像変換処理を実行する例として、ページ単位で画像変換処理を切り替えて実行する例を説明する。

ここで、サーバ１４のＣＰＵ１４ＡがＲＯＭ１４Ｂに記憶されたプログラムを実行することにより実現される機能構成について説明する。図５は、本実施形態に係る情報処理システム１０におけるサーバ１４の機能構成を示す機能ブロック図である。

本実施形態に係るサーバ１４は、図５に示すように、文書情報取得部５０、基本前処理部５２、文書種判定部５４、前処理手順決定部５６、前処理部５８、文字認識処理部６０、属性抽出部６２、及び結果出力部６４の機能を有する。

文書情報取得部５０は、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６から文書情報を取得する。紙文書の場合は、画像形成装置１２またはスキャナ装置１３によって紙文書を読み取ることによって生成された文書情報を取得する。

基本前処理部５２は、文書の天地の検出、傾き補正、及び文書の特定等を基本前処理として行う。文書の特定としては、例えば、文書情報の最初のページに対して簡易的に文字認識を行ってタイトル等を検出することにより文書の種類を特定してもよいし、文書の種類をユーザに入力させて入力された文書の種類を受け付けてもよい。

文書種判定部５４は、基本前処理部５２により簡易的に文字認識を行って文書の特定を行う場合は、基本前処理部５２によって特定された文書から文書の種類を判定する。また、文書の種類をユーザに入力させる場合には、文書情報取得部５０が文書情報の取得と共に、入力された情報を受け付けて、受け付けた情報から文書の種類を判定する。

前処理手順決定部５６は、文書の種類に応じて予め定めた取得すべき属性、文書内の属性を取得する際の前処理、及び処理の手順についての情報を取得して、前処理の手順を決定する。前処理手順決定部５６は、例えば、文書の種類毎に取得すべき項目等の属性、文書内の属性を取得する際の前処理、及び処理位置を定めたリストを用いて前処理の手順を決定する。具体的には、図６に示すリストのように、文書名毎に取得する属性としての重要語、前処理の処理内容、及び処理位置を予め定めておき、文書の種類に応じて対応する内容を決定する。図６は、文書の種類毎に取得する重要語と前処理の処理内容とその処理位置とを予め定めたリストの一例を示す。図６の例では、契約書のタイトルは印影を除去するＡＩ処理で最初のページとされ、契約書の契約者名は印影を除去するＡＩ処理で最後のページとされ、契約書の契約締結日はドロップアウトカラー処理で間のページとされている。また、見積書のタイトルは印影を除去するＡＩ処理で最初のページとされ、見積書の見積元、見積金額、見積有効期限、及び提出先はドロップアウトカラー処理で最初以外のページとされている。また、請求書のタイトル及び請求元企業名は印影を除去するＡＩ処理で最初のページとされ、請求書の請求金額及び請求費目はドロップアウトカラー処理で最初以外のページとされている。

前処理部５８は、前処理手順決定部５６の決定結果に従って、文書情報に対して前処理を実行する。本実施形態では、複数種類の前処理の中から前処理手順決定部５６で決定された前処理を行う。複数種類の前処理の一例としては、第１画像変換処理の一例としての複数種類のＡＩ処理、第２画像変換処理の一例としてのドロップアウトカラー、画面画像濃度処理、シャープネス調整等の画像変換処理を行う。なお、ＡＩ処理は、予め機械学習した人工知能モデルを用いた人工知能処理により画像に合わせた画像変換を行うことにより文字以外の画像を除去する処理である。ＡＩ処理は、文字以外の除去する対象毎に学習した複数種類とされている。ドロップアウトカラーは、ＡＩ処理よりも文字認識精度が低下するが処理速度が速い処理であって、各色について２値化して予め定めた閾値を用いて所望の色の画像を除去する処理である。画面画像濃度処理は、画像の濃度を調整する処理である。シャープネス調整は、画像の輪郭の強調度合いを調整する処理である。

文字認識処理部６０は、前処理部５８による画像変換処理後の文書情報から文字を認識して文字情報を生成する。文字認識処理は周知の技術によって文字認識を行う。

属性抽出部６２は、文字認識処理によって生成された文字情報に基づいて、文書内の項目等の属性を抽出する。

結果出力部６４は、属性抽出部６２の抽出結果を要求元の装置へ出力する。例えば、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６へ出力する。

続いて、上述のように構成された本実施形態に係る情報処理システム１０のサーバ１４で行われる具体的な処理について説明する。図７は、本実施形態に係る情報処理システム１０のサーバ１４で行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、例えば、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６等によって文字認識処理の実施が指示された場合に開始する。

ステップ１００では、ＣＰＵ１４Ａが、文書情報を取得してステップ１０２へ移行する。すなわち、文書情報取得部５０が、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６から文書情報を取得する。紙文書の場合は、画像形成装置１２またはスキャナ装置１３によって紙文書を読み取ることによって生成された文書情報を取得する。

ステップ１０２では、ＣＰＵ１４Ａが、取得した文書情報に対して基本前処理を実施してステップ１０４へ移行する。すなわち、基本前処理部５２が、文書の天地の検出、傾き補正、及び文書の特定等を基本前処理として行う。

ステップ１０４では、ＣＰＵ１４Ａが、文書の種類を判別してステップ１０６へ移行する。すなわち、文書種判定部５４が、基本前処理部５２により簡易的に文字認識を行って文書の特定を行う場合は、基本前処理部５２によって特定された文書から文書の種類を判定する。また、文書の種類をユーザに入力させる場合には、文書情報取得部５０が文書情報の取得と共に入力された情報を受け付けて、受け付けた情報から文書の種類を判定する。

ステップ１０６では、ＣＰＵ１４Ａが、処理手順決定処理を行ってステップ１０８へ移行する。処理手順決定処理は、前処理手順決定部５６が、取得する重要語、前処理の処理内容、及び前処理の処理位置を文書の種類毎に予め定めたリストに基づいて、前処理手順を決定する。例えば、図６に示すリストに基づいて、文書の種類に応じて処理手順を決定する。具体的には、文書の種類が契約書の場合、タイトルがある最初のページをＡＩ処理とし、契約者名がある最後のページをＡＩ処理とし、契約締結日がある間のページをドロップアウトカラー処理とする。

ステップ１０８では、ＣＰＵ１４Ａが、ページ毎に前処理を実施してステップ１１０へ移行する。すなわち、前処理部５８が、前処理手順決定部５６の決定結果に従って、１ページに着目して、文書情報に対して前処理を実行する。本実施形態では、複数種類の前処理の中から前処理手順決定部５６で決定された前処理を行う。例えば、文書が契約書の場合、タイトルがある最初のページと、契約者名がある最後のページは、印影を除去するためにＡＩ処理による前処理を行い、契約締結日等がある最初と最後の間のページはドロップアウトカラー処理による前処理を行う。

ステップ１１０では、ＣＰＵ１４Ａが、前処理が行われたページに対して、文字認識処理を行ってステップ１１２へ移行する。すなわち、文字認識処理部６０が、前処理部５８による前処理後の文書情報から文字を認識して文字情報を生成する。

ステップ１１２では、ＣＰＵ１４Ａが、文字認識処理によって生成された文字情報から属性を抽出してステップ１１４へ移行する。すなわち、属性抽出部６２が、文字認識処理によって生成された文字情報に基づいて、文書内の項目等の属性を抽出する。

ステップ１１４では、ＣＰＵ１４Ａが、属性取得を完了したか否かを判定する。該判定は、前処理及び文字認識処理を行う残りのページがあるか否かを判定する。該判定が否定された場合にはステップ１０８へ移行して、残りのページに対して上述の処理を繰り返し、判定が肯定されたところでステップ１１６へ移行する。

ステップ１１６では、ＣＰＵ１４Ａが、属性抽出した結果を出力して一連の処理を終了する。すなわち、結果出力部６４が、属性抽出部６２の抽出結果を要求元の装置へ出力する。例えば、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６へ出力する。

このように、本実施形態では、例えば、契約書のタイトルや契約者名等の属性のように、印影が文字に重なる可能性が高いページはＡＩ処理による画像変換処理を前処理として行う。一方、他のページはＡＩ処理よりも処理負荷が低く、処理速度が速いドロップアウトカラー処理による画像変換処理を前処理として行う。すなわち、文書内の属性毎に予め定めた前処理の画像変換処理を行うことにより、単一の画像変換処理を前処理として実行する場合に比べて、処理速度と文字認識精度とが両立される。

なお、上記の実施形態では、ページを入れ替えることなく順番に前処理を実施する例を説明したが、処理するページ順を入れ替えて前処理を実行してもよい。

ここで、ページ順を入れ替えて前処理を実施する場合を変形例として説明する。この場合は、図６のリストに対して、図８に示すように、処理順を予め定めたリストを用いる。図８は、文書の種類毎に取得する重要語と前処理の処理内容と処理順とを予め定めたリストの一例を示す。図８の例では、契約書のタイトルは印影を除去するＡＩ処理とされ、契約書の契約者名は印影を除去するＡＩ処理とされ、契約書の契約締結日はドロップアウトカラー処理とされ、その他（個別設定属性）は前処理なしとされている。そして、処理順が、最初、最後、最初から２ページ目、最後から２ページ目、最初から３ページ目・・・の順とされている。また、見積書のタイトルは印影を除去するＡＩ処理とされ、見積書の見積元、見積金額、見積有効期限、及び提出先はドロップアウトカラー処理とされ、その他（個別設定属性）は前処理なしとされている。そして、処理順が、最初のページから順次実施とされている。また、請求書のタイトル及び請求元企業名は印影を除去するＡＩ処理とされ、請求書の請求金額、請求費目、入金先、及び入金期日はドロップアウトカラー処理とされ、請求書の宛先はＡＩ処理とされ、請求書の表中情報抽出は網点を除去するＡＩ処理とされ、請求書のその他（個別設定属性）は前処理なしとされている。そして、処理順が、最初、最後、最初から２ページ目、最後から２ページ目、最初から３ページ目・・・とされている。

例えば、文書が契約書の場合は、図９に示すように、処理順を入れ替えて前処理を実行することにより、同じ前処理をまとめて実行する。図９の例では、印影が文字と重なる可能性がある第一条の最初のページ、第十条の最後のページ、第二条のページ、第九条のページ、第三条のページ、第八条のページ、第四条のページ、第七条のページ、第五条のページ、第六条のページの順に前処理を行う。

続いて、契約書のページ順を入れ替えて前処理を行う場合に、情報処理システム１０のサーバ１４で行われる具体的な処理について説明する。図１０は、本実施形態に係る情報処理システム１０のサーバ１４において、契約書のページ順を入れ替えて前処理を行う場合の処理の流れの一例を示すフローチャートである。なお、図１０の処理は、例えば、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６等によって文字認識処理の実施が指示された場合に開始する。

ステップ２００では、ＣＰＵ１４Ａが、契約書の文書情報を取得してステップ２０２へ移行する。すなわち、文書情報取得部５０が、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６から契約書の文書情報を取得する。紙文書の場合は、画像形成装置１２またはスキャナ装置１３によって紙文書の契約書を読み取ることによって生成された契約書の文書情報を取得する。

ステップ２０２では、ＣＰＵ１４Ａが、取得した契約書の文書情報に対して基本前処理を実施してステップ２０４へ移行する。すなわち、基本前処理部５２が、文書の天地の検出、傾き補正、及び文書の特定等を基本前処理として行う。

ステップ２０４では、ＣＰＵ１４Ａが、文書の種類を契約書と判定してステップ２０６へ移行する。すなわち、文書種判定部５４が、基本前処理部５２により簡易的に文字認識を行って文書の特定を行う場合は、基本前処理部５２によって特定された文書から文書の種類が契約書であると判定する。また、文書の種類をユーザに入力させる場合には、文書情報取得部５０が文書情報の取得と共に入力された情報を受け付けて、受け付けた情報から文書の種類が契約書であると判定する。

ステップ２０６では、ＣＰＵ１４Ａが、処理手順決定処理を行ってステップ２０８へ移行する。処理手順決定処理は、前処理手順決定部５６が、取得する重要語、前処理の処理内容、及び前処理の処理順を文書の種類毎に予め定めたリストに基づいて、前処理手順を決定する。例えば、図８に示すリストに基づいて、文書の種類に応じて処理手順を決定する。具体的には、文書の種類が契約書の場合、タイトル及び契約者名があるページをＡＩ処理とし、契約締結日があるページをドロップアウトカラー処理とし、その他（個別設定属性）があるページは前処理なしとして、処理順を最初、最後、最初から２ページ目、最後から２ページ目、最初から３ページ目・・・の処理順とする。

ステップ２０８では、ＣＰＵ１４Ａが、前処理としてＡＩ処理を実施してステップ２１０へ移行する。すなわち、前処理部５８が、前処理手順決定部５６の決定結果に従って、ページ毎にＡＩ処理を実施する。ここで、タイトルの最初のページと契約者名の最後のページに対してＡＩ処理を実施する。

ステップ２１０では、ＣＰＵ１４Ａが、前処理が行われたページに対して、文字認識処理を行ってステップ２１２へ移行する。すなわち、文字認識処理部６０が、前処理部５８による前処理後の最初と最後のページについて、文書情報から文字を認識して文字情報を生成する。

ステップ２１２では、ＣＰＵ１４Ａが、文字認識処理によって生成された文字情報から属性を抽出してステップ２１４へ移行する。すなわち、属性抽出部６２が、文字認識処理によって生成された文字情報に基づいて、文書内の項目等の属性としてタイトルと契約者名とを順番に抽出する。

ステップ２１４では、ＣＰＵ１４Ａが、タイトルと契約者名を取得したか否かを判定する。該判定は、最初のページからタイトルを抽出した後に、最後の契約者名を抽出したか否かを判定する。タイトルのみ抽出して契約者名が未抽出の場合は判定が否定されてステップ２０８に戻って次のページに対して上述の処理を繰り返し、判定が肯定された場合にステップ２１６へ移行する。

ステップ２１６では、ＣＰＵ１４Ａが、前処理としてドロップアウトカラー処理を実施してステップ２１８へ移行する。すなわち、前処理部５８が、前処理手順決定部５６の決定結果に従って、ページ毎にドロップアウトカラー処理を実施する。ここでは、最初から２ページ目、最後から２ページ目、最初から３ページ目・・・に対してドロップアウトカラー処理を実施する。

ステップ２１８では、ＣＰＵ１４Ａが、前処理が行われたページに対して、文字認識処理を行ってステップ２２０へ移行する。すなわち、文字認識処理部６０が、前処理部５８による前処理後の文書情報から文字を認識して文字情報を生成する。ここでは、ドロップアウトカラー処理が行われた文書情報に対して文字認識処理を実行して、文字情報を生成する。

ステップ２２０では、ＣＰＵ１４Ａが、文字認識処理によって生成された文字情報から属性を抽出してステップ２２２へ移行する。すなわち、属性抽出部６２が、文字認識処理によって生成された文字情報に基づいて、文書内の項目等の属性として契約締結日等を抽出する。

ステップ２２２では、ＣＰＵ１４Ａが、属性取得完了したか否かを判定する。該判定が否定された場合にはステップ２１６に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ２２４へ移行する。

ステップ２２４では、ＣＰＵ１４Ａが、属性抽出した結果を出力して一連の処理を終了する。すなわち、結果出力部６４が、属性抽出部６２の抽出結果を要求元の装置へ出力する。例えば、画像形成装置１２、スキャナ装置１３、携帯端末１５、またはクライアント端末１６へ出力する。

なお、上記の実施形態では、文書内の属性毎に予め定めた画像変換処理を前処理としてページ単位で行う例を説明したが、ページ単位に限るものではない。例えば、契約書のタイトル等の属性が、ページのどの位置に存在するかが決まっている場合は、ページ単位ではなく、ページ内の領域単位で前処理の画像変換処理を切り替えてもよい。例えば、請求書のタイトルの領域はページ内の上側の領域に存在する場合、最初のページの上側の予め定めた領域をＡＩ処理として、最初のページの他の領域はＡＩ処理以外の他の画像変換処理（例えば、ドロップアウトカラー処理等）としてもよい。

また、上記の実施形態では、ＡＩ処理を第１画像変換処理の一例とし、ドロップアウトカラー処理を第２画像変換処理の一例として説明したが、これに限るものではなく、文字認識精度と処理速度に応じて第１画像変換処理及び第２画像変換処理を定めればよい。また、ＡＩ処理の中でも文字認識精度と処理速度が異なる場合には、ＡＩ処理の中で第１画像変換処理と第２画像変換処理を定めてもよい。また、ＡＩ処理よりも処理速度が遅くなるが文字認識精度が高い画像変換処理を第１画像変換処理とし、他のＡＩ処理を第２画像変換処理としてもよい。

また、上記の実施形態において、ＣＰＵをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、上記の実施形態に係るサーバ１４で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、サーバ１４で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 情報処理システム
１２ 画像形成装置
１３ スキャナ装置
１４ サーバ
１４Ａ ＣＰＵ
１５ 携帯端末
１６ クライアント端末
５０ 文書情報取得部
５２ 基本前処理部
５４ 文書種判定部
５６ 前処理手順決定部
５８ 前処理部
６０ 文字認識処理部
６２ 属性抽出部
６４ 結果出力部

Claims (8)

1. プロセッサを備え、前記プロセッサは、
   文字認識の前処理として、前記文字認識の対象の文書に対して、前記文書内の属性毎、または前記文書の種類に応じて予め定めた前記文書内の領域毎に、予め定めた画像変換処理を実行し、
   前記画像変換処理が行われた前記文書に対して文字認識を行って結果を出力する処理を行う情報処理装置。
2. 前記画像変換処理は、文字以外を除去する第１画像変換処理、及び前記第１画像変換処理よりも文字認識精度が低下するが文字以外を除去する処理速度が速い第２画像変換処理を含む請求項１に記載の情報処理装置。
3. 前記第１画像変換処理は、機械学習により予め学習した人工知能を用いた画像変換処理である請求項２に記載の情報処理装置。
4. 前記第１画像変換処理は、文字以外の除去する対象毎にそれぞれ異なる複数種類の画像変換処理を含む請求項３に記載の情報処理装置。
5. 前記プロセッサは、画像変換処理毎に処理するようにページ順を入れ替えて前記画像変換処理を実行する請求項１～４の何れか１項に記載の情報処理装置。
6. 前記プロセッサは、前記文書の種類毎に予め定めたページ順に入れ替えて前記画像変換処理を実行する請求項５に記載の情報処理装置。
7. 請求項１～６の何れか１項に記載の情報処理装置と、
   前記文書を読み取った読取結果を前記情報処理装置に送信して文字認識を依頼する依頼装置と、
   を含む情報処理システム。
8. コンピュータに、
   文字認識の前処理として、前記文字認識の対象の文書に対して、前記文書内の属性毎、または前記文書の種類に応じて予め定めた前記文書内の領域毎に予め定めた画像変換処理を実行し、
   前記画像変換処理が行われた前記文書に対して文字認識を行って結果を出力する処理を実行させるための情報処理プログラム。
   
   
   
   

Images