JP2022011019A - データ入力支援装置、データ入力支援方法及びプログラム - Google Patents

Abstract

【課題】同種の項目値が複数抽出される場合に、各項目値が正しい位置から抽出されたかを確認する作業に時間を要する。【解決手段】データ入力支援装置は、帳票画像に対して文字認識を行って文字領域を特定する文字認識手段と、文字領域の文字コード列から特定の文字列型を有する項目を検索する文字列型検索手段と、帳票画像と、項目値を修正するための入力フォームとを画面上に表示する表示手段と、ポインティングデバイスによる画面上の帳票画像における座標情報を取得し、取得した座標と重なる文字列について、特定の文字列型を有する項目の検索結果を取得する取得手段と、入力フォームが保持している型と検索結果における文字列型とを比較して、合致する検索結果を取得し、合致した検索結果の文字コード列から正規化された文字列により項目値を修正する修正手段とを備えることを特徴とする。【選択図】図９

Description

本発明は、データ入力支援装置、支援方法及びプログラムに関する。

会計業務に用いられる紙の帳票から、必要な情報を読み取り、システムに転記するデータ入力業務がある。従来、データ入力業務を支援するために、帳票画像中の所定の位置にある文字列を項目値として読み取り、データ入力作業者に表示することにより入力業務を支援するシステムがあった。しかしながら、この方法は、帳票のレイアウト毎に項目の位置を登録する作業が必要であり、多様なレイアウトが存在し得る帳票に対して適用することは困難である。例えば、請求書は、発行元が独自のテンプレートを用いて作成するため、レイアウトが多様化しやすい。また、抽出する日付や電話番号、金額といった項目の表記には、発行元による表記の揺れが発生する。

このようにテンプレートの登録が困難な非定型帳票からデータ（項目値）を自動的に抽出する方法が特許文献１に開示されている。特許文献１では、データの属性を表す文字列である項目名と、データを表す項目値とを画像の文字認識結果から検索し、両者の位置関係に基づいて項目名と項目値とを対応付けることにより項目値の抽出を行う。

特許文献２では、日付の文字列を所定の日付フォーマットに変換して、日付データを格納する画像ファイリング方法が開示されている。

特開２０１６－５１３３９号公報 特開平１１－２１２９９２号公報

特許文献１における、非定型帳票からデータ（項目値）を自動的に抽出する方法では、項目名の属性などを手掛かりに文書中から検索をするために、目的となるデータと異なる位置の文字列を抽出してしまうことがある。その場合に、ユーザが正しい抽出箇所の文字列を選択することにより項目値の修正を行う。このような修正のためのＵＩでは、所望の文字列フォーマットと異なる場合があり、ユーザの修正作業に工数がかかってしまう。

本発明におけるデータ入力支援装置は、帳票画像に対して文字認識を行って文字領域を特定する文字認識手段と、前記文字領域の文字コード列から特定の文字列型を有する項目を検索する文字列型検索手段と、前記帳票画像と、項目値を修正するための入力フォームとを画面上に表示する表示手段と、ポインティングデバイスによる前記画面上の前記帳票画像における座標情報を取得し、取得した座標と重なる文字列について、前記特定の文字列型を有する項目の検索結果を取得する取得手段と、前記入力フォームが保持している型と前記検索結果における文字列型とを比較して、合致する検索結果を取得し、合致した検索結果の文字コード列から正規化された文字列により項目値を修正する修正手段とを備えることを特徴とする。

本発明によれば、項目値の抽出位置が誤っていても、グラフィカルユーザインターフェイス上でポインティングデバイスによるクリック操作で簡単に修正ができる。

第１の実施形態に係る画像処理システムのシステム構成を示す図である。 画像形成装置のハードウェア構成を示す図である。 （ａ）は画像処理サーバのハードウェア構成を示し、（ｂ）はユーザ端末のハードウェア構成を示す図である。 第１の実施形態において想定する帳票画像を示す図である。 第１の実施形態を実現する画像処理システムの処理フローを示す図である。 ユーザが確認・修正可能なＵＩを提示するための処理フローを示す図である。 第１の実施形態のＵＩにおけるイベント処理の処理フローを示す図である。 帳票画像を対象に得られる文字列型検索の検索結果と項目値の抽出結果とを示す図である。 第１の実施形態における確認・修正可能なＵＩの画面例を示す図である。 第１の実施形態における確認・修正可能なＵＩの画面例を示す図である。 第３の実施形態のＵＩにおけるイベント処理の処理フローを示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

本実施形態では、会計業務に用いられる帳票画像を対象として抽出される項目名及び項目値を表示するデータ入力支援装置について説明する。

＜第１の実施形態＞
［ハードウェア構成］
図１は、第１の実施形態に係る画像処理システム１００の構成例を示す図である。画像処理システム１００は、画像形成装置１０１と、画像処理サーバ１０２と、ユーザ端末１０３とを有する。画像形成装置１０１と、画像処理サーバ１０２と、ユーザ端末１０３とは、ネットワーク１０４により相互に接続され、通信可能である。

画像形成装置１０１は、ユーザ端末１０３から画像データの印刷依頼（印刷データ）を受信して印刷すること、画像形成装置１０１に備わるスキャナで画像データを読み取ること、スキャナで読み取られた画像データを印刷すること等が可能である。また、画像形成装置１０１は、ユーザ端末１０３から受信した印刷データを保存したり、画像形成装置１０１のスキャナで読み取られた画像データをユーザ端末１０３に送信したりすることが可能である。さらに、ユーザ端末１０３は、画像処理サーバ１０２から受信した画像処理結果を、ユーザインターフェイスを備えたアプリケーションにより、ユーザと対話的に追加処理を行うことが可能である。

本構成において、画像処理サーバ１０２は、クラウド、すなわちインターネット上に配置されていてもよい。画像形成装置１０１は、この他に、ＭＦＰ（Multifunction Peripheral）等の公知の画像形成装置が有する機能を実現することが可能である。

本実施形態では、ユーザ端末１０３は、ディスプレイ、キーボード、マウス等を備えた一般的なＰＣを想定するが、例えば、タッチパネルを備えたモバイル端末であってもよい。

本実施形態では、画像形成装置１０１が請求書などの紙の帳票をスキャンし、画像処理サーバ１０２が、スキャンした帳票から必要となる情報を抽出し電子的に格納する。ユーザ端末１０３は、画像処理サーバ１０２に格納された抽出結果の確認と修正が可能なユーザインターフェイスを提供する。このような一連のデータ入力支援の処理について、以下に説明を行う。

図２は、画像形成装置１０１のハードウェア構成の一例を示す図である。画像形成装置１０１は、コントローラ２０１、プリンタ２０２、スキャナ２０３、及び操作部２０４を有する。コントローラ２０１は、ＣＰＵ２１１、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８を有する。

ＣＰＵ２１１は、画像形成装置１０１の全体を制御する。ＣＰＵ２１１は、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８とのデータの授受を制御可能である。また、ＣＰＵ２１１は、ＨＤＤ２１３から読み出した制御プログラム（命令）をＲＡＭ２１２に展開し、ＲＡＭ２１２に展開した命令を実行する。

ＨＤＤ２１３は、ＣＰＵ２１１で実行可能な制御プログラム、画像形成装置１０１で使用する設定値、及びユーザから依頼された処理に関するデータ等を記憶する。

ＲＡＭ２１２は、ＣＰＵ２１１がＨＤＤ２１３から読み出した命令を一時的に格納するための領域を有する。また、ＲＡＭ２１２は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、ＣＰＵ２１１は入力されたデータをＲＡＭ２１２に展開することで処理を行うことが可能である。

ネットワークＩ／Ｆ２１４は、画像処理システム１００内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークＩ／Ｆ２１４は、データ受信を行ったことをＣＰＵ２１１に伝達すること、ＲＡＭ２１２上のデータをネットワーク１０４に送信すること等が可能である。

プリンタＩ／Ｆ２１５は、ＣＰＵ２１１から送信された印刷データをプリンタ２０２に送信すること、プリンタ２０２から受信したプリンタの状態をＣＰＵ２１１に伝達すること等が可能である。

スキャナＩ／Ｆ２１６は、ＣＰＵ２１１から送信された画像読み取り指示をスキャナ２０３に送信し、スキャナ２０３から受信した画像データをＣＰＵ２１１に伝達する。また、スキャナ２０３から受信した状態をＣＰＵ２１１に伝達することが可能である。

操作部Ｉ／Ｆ２１７は、操作部２０４から入力されたユーザからの指示をＣＰＵ２１１に伝達すること、ユーザが操作するための画面情報を操作部２０４に伝達すること等が可能である。

拡張Ｉ／Ｆ２１８は、画像形成装置１０１に外部機器を接続することを可能とするインターフェイスである。拡張Ｉ／Ｆ２１８は、例えば、ＵＳＢ（Universal Serial Bus）形式のインターフェイスを具備する。画像形成装置１０１は、ＵＳＢメモリ等の外部記憶装置が拡張Ｉ／Ｆ２１８に接続されることにより、外部記憶装置に記憶されているデータの読み取り及び当該外部記憶装置に対するデータの書き込みを行うことが可能である。

プリンタ２０２は、プリンタＩ／Ｆ２１５から受信した画像データを用紙に印刷すること、プリンタ２０２の状態をプリンタＩ／Ｆ２１５に伝達すること等が可能である。

スキャナ２０３は、スキャナＩ／Ｆ２１６から受信した画像読み取り指示に従って、自身に置かれた用紙に表示されている情報を読み取り、デジタル化してスキャナＩ／Ｆ２１６に伝達することが可能である。また、スキャナ２０３は、自身の状態をスキャナＩ／Ｆ２１６に伝達することが可能である。

操作部２０４は、画像形成装置１０１に対して各種の指示を行うための操作をユーザに行わせるためのインターフェイスである。例えば、操作部２０４は、タッチパネルを有する液晶画面を具備し、ユーザに操作画面を提供するとともに、ユーザからの操作を受け付ける。なお、操作部２０４の詳細は図５を参照して後述する。

図３（ａ）は、画像処理サーバ１０２のハードウェア構成の一例を示す図である。画像処理サーバ１０２は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４を有する。ＣＰＵ３０１は、画像処理サーバ１０２の全体を制御する。ＣＰＵ３０１は、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４とのデータの授受を制御可能である。また、ＣＰＵ３０１は、ＨＤＤ３０３から読み出した制御プログラム（命令）をＲＡＭ３０２に展開し、ＲＡＭ３０２に展開した命令を実行する。

図３（ｂ）は、ユーザ端末１０３のハードウェア構成の一例を示す図である。ユーザ端末１０３は、ＣＰＵ３１１、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、入出力Ｉ／Ｆ３１５を有する。

ＣＰＵ３１１は、ユーザ端末１０３の全体を制御する。ＣＰＵ３１１は、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、及び入出力Ｉ／Ｆ３１５とのデータの授受を制御可能である。

ディスプレイ３２０は、液晶などの表示デバイスによって構成され、入出力Ｉ／Ｆ３１５から受信した表示情報を表示する。

入力装置３３０は、マウス、あるいはタッチパネルといったポインティングデバイス、およびキーボードによって構成され、ユーザからの操作を受け付けて、入出力Ｉ／Ｆ３１５に操作情報を送信する。

ＨＤＤ３１３には、画像処理サーバ１０２からネットワークＩ／Ｆ３１４を介して受信した画像処理結果を格納することが可能である。

本実施形態では、ＣＰＵ３１１は、ＨＤＤ３１３から読み出したアプリケーションプログラムをＲＡＭ３１２に展開し、操作部Ｉ／Ｆ３１５にて表示情報の表示とユーザ操作の受け付けを行う。

［帳票画像］
図４は、第１の実施形態態において想定する帳票画像４００を示す図である。帳票４００は、請求書を画像形成装置１０１によって形成した画像である。文字列４０１乃至４０３は、画像処理システム１００で抽出対象となる文字列の例である。文字列４０１は請求金額の値である。文字列４０２は支払い期日を示す日付の値である。文字列４０３は請求元の電話番号の値である。また、以下の説明で参照する文字列４１１は請求日の値であり、文字列４１２は請求先電話番号の値である。

[処理フロー]
第１の実施形態の画像システムの処理フローを、図５のフローチャートを用いて説明する。

ステップＳ５０１において、画像形成装置１０１のＣＰＵ２１１は、スキャナＩ／Ｆ２１６を介してスキャナ２０３から帳票画像を取得し、画像処理サーバ１０２へ送信する。

ステップＳ５０２において、画像処理サーバ１０２のＣＰＵ３０１は、帳票画像をレイアウト解析することにより各文字列が含まれる文字領域を特定し、各文字領域に含まれる各文字画像に対して文字認識処理を実行する。ＣＰＵ３０１は、文字領域の座標、文字領域中の文字列を構成する各文字画像の座標、各文字列の文字認識処理結果として得られる文字コード列、およびその文字認識処理結果の下位候補を特定する。

ステップＳ５０３において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ５０２で特定した文字コード列から、帳票中の特定の文字列型を有する項目を検索する。文字列型とは、例えば日付や金額、電話番号など一定のパターンを持つ文字列のことを示す。文字列型検索とは、抽出対象の項目値の候補となる値を特定するために、ステップＳ５０２で特定された文字領域の文字列型を特定しておく処理である。例えば、請求書であれば、日付は支払期日、金額は請求金額、電話番号は請求元電話番号などの項目値の候補となる文字列型を有する情報を見つける処理である。文字列型検索の検索結果は、図８を参照して後述する。

日付や電話番号、金額などの文字列型は、正規表現などのパターンを用いたマッチングにより検索すればよい。例えば、日付形式に対応する正規表現パターンは、「￥ｄ｛２，４｝［／－￥．］￥ｄ｛１，２｝［／－￥．］￥ｄ｛２，４｝」である。この正規表現パターンを用いて、帳票画像４００の文字コード列に対して検索を実施すると、マッチ箇所として項目４０２の「１０．１２．２０１９」と、項目４１１の「９．１５．２０１９」が得られる。

ステップＳ５０３では、各文字列型は１つに特定される必要はなく、日付型であれば、日付の可能性があるパターンにマッチする文字列はすべて検索する。また、対象となる文字コード列は、文字認識処理で誤認識した結果の可能性もある。そのため、ある程度の曖昧性を許して検索したり、誤認識の可能性の多いパターンから、置換を行ったり、文字認識結果の文字コードの下位候補を用いて検索してもよい。例えば、正規表現パターンによる検索の前に、日付の型であれば「数字」と、「－」、「／」や「．」などの区切る文字から成るパターンを検索するので、該当しない文字を該当する文字へ下位候補や誤認識テーブルを元に置き換える処理を実施する。

ステップＳ５０４において、画像処理サーバ１０２のＣＰＵ３０１は、ステップＳ５０３で取得した検索結果、すなわち特定の文字列型を有する文字列を正規化し、正規化文字列を取得する。本実施形態では、正規化とは、文字列を特定の規則の形式に変形し、表記の揺れを排除することであり、一意に内容を理解可能とすることを示す。例えば、日付であれば、「ＹＹＹＹ年ＭＭ月ＤＤ日」（ＹＹＹＹは４桁の西暦、ＭＭは２桁の月、ＤＤは２桁の日）などのフォーマットに統一することで、処理しやすくなる。日付は特に、言語や国に依存して表記のバリエーションが多いため、抽出する際の解釈は必須である。例えば、年月日の順序が米国では月日年の順序が多く使われることや、月名は数字ではなく「Ｏｃｔｏｂｅｒ」などの英単語や「Ｏｃｔ．」など省略形が使われることがある。また、項目４０２の文字コード列「１０．１２．２０１９」などの場合は、「１０月１２日」と「１２月１０日」の複数の日付パターンとして解釈することができる場合がある。その場合は、解釈できたパターンそれぞれを正規化文字列とする。また、正規化のフォーマットは、項目値の抽出結果の使用用途に応じて決めればよい。例えば、抽出した項目値を会計システムなど別のシステムに用いる場合は、会計システムが読める形の文字列に正規化すればよい。

ステップＳ５０５において、画像処理サーバ１０２のＣＰＵ３０１は、ステップＳ５０４までに取得した文字列型検索の検索結果に基づいて、当該帳票画像に付与すべき項目値として最も相応しい文字列を特定する。例えば、抽出対象の項目値に関連する項目名を帳票画像の中から検索し、その近辺の文字列から、抽出対象の項目値に対応する文字列型を有する情報を、項目値として特定する。具体的には、項目名「支払い期日」に対応する項目値を特定する場合、支払い期日に関連する名称として「支払い期日」、「期日」、「請求日」などの関連する文字列に一致する文字列を、文字認識結果の中から検索する。次に、関連する名称が検索された場合は、当該検索された名称の右側や下側にある文字列のうち、日付の文字列型を有する文字列を支払い期日の項目値として特定する。

関連する項目名が検索されなかった場合は、文字列の型、帳票画像における記載位置、記載サイズなどに基づいて、もっともらしい文字列を特定する。なお、項目名に関する名称は、あらかじめ項目名と類似する名称を辞書に記憶しておいて、ステップＳ５０２で特定した文字コード列から検索を行えばよい。

ステップＳ５０６において、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ５０５で取得した項目値が正しい値か否かをユーザが確認、修正可能なＵＩを提示する。

上述した処理フローのうち、ユーザ端末におけるＳ５０６の処理を、図６のフローチャートを用いて説明する。

ステップＳ６０１において、ユーザ端末１０３のＣＰＵ３１１は、画像処理サーバ１０２のステップＳ５０１乃至Ｓ５０５の処理の結果から、項目値の情報と、文字列型の情報とを取得する。

ステップＳ６０２において、ユーザ端末１０３のＣＰＵ３１１は、抽出対象の項目値の情報を提示し、確認・修正するための確認画面のＵＩを構築し、ディスプレイ３２０に表示する。確認画面には、帳票画像と、複数の項目名それぞれに対応する項目値を入力するための入力フォームとが表示される。入力フォームには、ステップＳ５０５で自動的に特定した項目値が初期値として表示されている。ユーザは、初期値が表示されている項目値を確認して、修正が必要な項目値があれば、後述する操作により修正を行うことができる。なお、ユーザが確認・修正可能な確認画面のＵＩの詳細は、図９、１０を参照して後述する。

ステップＳ６０３において、ユーザ端末１０３のＣＰＵ３１１は、入力装置３３０によるユーザ操作を取得する。

ステップＳ６０４において、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ６０３で取得したユーザの入力内容を判別し、確認・修正が終了したら処理を終了し、そうでなければＳ６０４へ進む。

ステップＳ６０５において、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ６０３で取得したユーザの入力内容に基づき、入力内容に対応するイベント処理を実施する。例えば、確認画面内の入力フォームのうちの１つがユーザにより選択された場合は、当該入力フォームが選択状態となり、ＣＰＵ３１１は、キーボードからのキー入力を受け付け。ユーザは、当該入力フォームに表示されている項目値を、キー入力により修正することができる。また、確認画面内に表示されている帳票画像上でユーザによりクリック操作が為された場合のイベント処理の詳細は後述する。

ステップＳ６０６において、ユーザ端末１０３のＣＰＵ３１１は、確認画面を更新しステップＳ６０３に進み、再度ユーザ入力の受付を行う。ステップＳ６０３乃至Ｓ６０６の処理を繰り返すことにより、ユーザとの対話的な修正処理を実現する。

上述したＵＩにおけるＳ６０５のイベント処理のうち、確認画面に表示された帳票画像上でユーザによりクリック操作が為されたときに実行される処理の詳細を、図７のフローチャートを用いて説明する。

ステップＳ９０１では、ユーザ端末１０３のＣＰＵ３１１は、入力装置３３０のポインティングデバイスがクリックされた画面上の帳票画像４００において定義されている座標情報を取得する。

ステップＳ９０２では、ユーザ端末１０３のＣＰＵ３１１は、図８に示す文字列型検索の結果一覧７００から、ステップＳ９０１で取得した座標と重なる文字列、すなわち特定の文字列型を有する項目の検索結果をすべて取得する。ステップＳ５０２の文字認識結果の文字コード列が、ステップＳ５０３において複数の文字列型に合致すると判断された場合には、結果一覧７００において複数の文字列型として登録されている。したがって、ユーザがクリックした座標位置に重なる文字列が、結果一覧７００に複数存在する場合があるので、その場合は、重なる文字列すべてが取得されることになる。

ステップＳ９０３では、画面上には帳票画像４００とは別に、項目値を修正するための入力フォームが複数表示されており、ユーザ端末１０３のＣＰＵ３１１は、現在選択状態にある入力フォームの情報を取得する。

ステップＳ９０４では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ９０３で選択状態にある入力フォームの情報を取得できたか否かを判別する。選択状態の入力フォームが存在しなければ、ステップＳ９０５へ進み、選択状態の入力フォームの情報を取得できた場合は、ステップＳ９０６へ進む。

ステップＳ９０５では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ９０２で取得した文字列型検索の検索結果を用いて、ユーザに対して選択肢の表示を行う。選択肢の表示は、検索結果と、入力可能な入力フォームとの２つの組み合わせを含む。ユーザが選択肢の表示の中から、さらに選択操作を行うことにより、選択された入力フォームに検索結果の正規化文字列が入力される。

ステップＳ９０６では、ユーザ端末１０３のＣＰＵ３１１は、入力フォームが保持している型の情報に相当する文字列型種を有する検索結果を取得する。すなわち、ステップＳ９０２で取得した文字列型検索の検索結果に基づいて、ステップＳ９０３で取得した入力フォームが保持している型の情報と、文字列型検索の検索結果における文字列型をと比較して、合致する検索結果を取得する。

ステップＳ９０７では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ９０６で取得した文字列型検索の検索結果の個数を判別する。２個以上存在すれば、ステップＳ９０８へ進み、１個存在すればステップＳ９０９へ進み、存在しなければ終了する。

ステップＳ９０８では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ９０６で取得した、選択中の入力フォームの型に合致する複数の文字列型検索の検索結果を用いて、ユーザに対して選択肢の表示を行う。ユーザが選択肢の表示の中から、さらに選択操作を行うことにより、選択中の入力フォームに選択された検索結果の正規化文字列が入力される。

ステップＳ９０９では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ９０６で取得した、選択中の入力フォームの型に合致する１つの検索結果の正規化文字列を、選択した入力フォームに入力する。

図８は、帳票画像４００に対して、図５に示した処理フローのステップＳ５０１乃至Ｓ５０５を処理した結果を示した図である。

図８（ａ）の文字列型検索の結果一覧７００は、帳票画像４００に対して、ステップＳ５０３で検索した結果に対して、ステップＳ５０４で正規化を実施した結果の例である。

文字列型検索の結果一覧７００は、文字列型検索の結果、特定の文字列型を有する１つの項目を１行ずつ列挙している。各行には、検索したパターンの種別である文字列型種と、検索された文字認識結果であるＯＣＲ文字列と、正規化した文字列と、ＯＣＲ文字列に対応する文字画像が帳票画像内のどの位置にあるかを示す矩形座標とをそれぞれ有している。文字列型検索の結果一覧７００では、矩形座標情報の列が空欄になっているが、説明上省略したもので、実際には対応する文字列に外接する矩形の座標が格納されている。

例えば、検索結果７０１は、帳票画像４００の文字列４１１が検索された結果であり、文字列型は「日付」、ＯＣＲ文字列は「９．１５．２０１９」、正規化文字列は「２０１９年０９月１５日」である。

同様に、検索結果７０２は、帳票画像４００の文字列４０２が検索された結果で、文字列型は「日付」、ＯＣＲ文字列は「１０．１２．２０１９」、正規化文字列は「２０１９年１０月１２日」である。さらに、検索結果７０３は、同じ文字列４０２に対して、検索結果７０２と異なる正規化文字列「２０１９年１２月１０日」を持った検索結果である。ステップＳ５０４において、複数の正規化結果の可能性がある場合は、検索結果７０２、７０３のように、複数の検索結果とする。

図８（ｂ）の項目値の抽出結果７２０は、帳票画像４００に対して、ステップＳ５０５で特定した項目値の例である。抽出項目値７２１は、項目名「支払い期日」に対応する情報として、文字列型検索の検索結果７０１が最も相応しいと判定されて、項目値として検索結果７０１の正規化文字列「２０１９年０９月１５日」が特定された結果である。この例では、本来、抽出対象の項目値である「支払い期日」の文字列４０２が特定できず、「請求日」である文字列４１１が誤って特定されていることになる。修正の方法は図９を参照して後述する。

同様に抽出項目値７２２は、項目名「請求元電話番号」に対応する情報として、文字列型検索の検索結果７０４が最も相応しいと判定され、項目値として検索結果７０４の正規化文字列「０３１２３４５６７８」が特定された結果である。本来、抽出対象の項目値である「請求元電話番号」の文字列４０３が特定できず、「請求先電話番号」である文字列４１２が誤って特定されていることになる。修正の方法は図９を参照して後述する。

同様に抽出項目値７２３は、項目名「請求金額」に対応する情報として、検索結果７０７が最も相応しいと判定され、項目値として検索結果７０７の正規化文字列「１１，２８６」が特定された結果である。

図９（ａ）のＵＩ画面８００は、帳票画像４００の項目値の抽出結果７２０をディスプレイ３２０上に表示したＵＩの例である。

左ペイン８０１は、帳票画像４００の画像が表示され、右ペイン８０２は、項目名の名称と、項目値の入力フォームが表示され、入力フォームの初期値として、特定された項目値の抽出結果７２０が表示されている。入力フォームは、項目名の情報と、入力可能な文字列型の情報（例えば、請求元電話の入力フォーム８０４であれば、「電話番号」という文字列の型の情報）も保持している。また、ボタン８０３は操作終了を示すボタンである。ユーザはこの画面を元に、入力装置３３０のポインティングデバイスを用いて、抽出された値が正しいか否かの確認・修正の操作を行う。

抽出された項目の値が誤っていた場合、ユーザはディスプレイ３１０と入力装置３３０を用いて修正を行う。単純に、文字認識の誤りなどで項目値が異なる場合は、直接入力フォームの文字編集操作で修正すればよい。また、項目値として抽出する文字列の位置自体が誤っていた場合は、正しい位置にある文字画像を入力装置３３０のポインティングデバイスによりクリック操作し、図７に示したフローチャートで説明した処理を適用し、修正することが可能である。

入力フォーム８０４は、「請求元電話」の項目値の入力フォームで、項目値の抽出結果７２０に基づき、文字列４１２から抽出した抽出項目値７２２の正規化文字列「０３１２３４５６７８」が表示されている。ユーザがこの項目値を、文字列４０３から抽出した抽出項目値に修正したい場合は、ユーザは入力フォーム８０４を選択した状態で、正しい項目位置、つまり文字列４０３の位置を入力装置３３０のポインティングデバイスでクリック操作する。

この時、ステップＳ９０２において、検索結果７０５が取得され、ステップＳ９０３において、選択している入力フォーム８０４が取得され、ステップＳ９０４からＳ９０６へ進む。ステップＳ９０６では、入力フォーム８０４が保持している型の情報である「電話番号」に相当する文字列型種を有する検索結果７０５が１つ取得される。検索結果は１個なので、ステップＳ９０７からＳ９０９へ進み、入力フォーム８０４に検索結果７０５の正規化文字列「０４５１２３４５６７」が入力される。

また、「支払い期日」の入力フォーム８０５には、項目値の抽出結果７２０に基づき、文字列４１１から抽出した項目値７２１の正規化文字列「２０１９年０９月１５日」が表示されている。同様に、ユーザが入力フォーム８０５を選択し、正しい抽出位置の文字列画像４０２をクリックした時、ステップＳ９０２では、クリックされた位置に対応する文字列型の検索結果として、複数の検索結果７０２、７０３が取得される。これは、文字列画像４０２の文字認識結果の文字コード列について、日付の正規化文字列として複数の種類を解釈することができるため、文字列型検索の結果一覧７００に複数の検索結果として登録されているためである。ステップＳ９０６においても、入力フォームの型の情報と合致する日付型の文字列型種を有する検索結果７０２，７０３がそのまま取得される。ステップＳ９０７では、検索結果が複数個あるためステップＳ９０８へ進み、２つの検索結果の選択肢を表示する。

図９（ｂ）のＵＩ画面８１０は、ステップＳ９０８で生成された選択肢表示の画面の例である。選択肢８１１で二つの文字列型検索結果の正規化文字列「２０１９年１０月１２日」と「２０１９年１２月１０日」が表示される。ユーザがポインティングデバイスによるクリック操作で、さらに選択操作をすることにより、選択された項目値を入力フォームに入力することができる。

図１０（ａ）のＵＩ画面１０００は、入力フォームを選択していない状態で、文字列１００１を入力装置３３０のポインティングデバイスでクリック操作した例である。文字列１００１は、帳票画像４００の文字列４０３の最後の「４５６７」の部分に相当する文字列である。ステップＳ９０２において、文字列型検索の検索結果７００から、対応する座標の文字列型を有する検索結果として、文字列種が電話番号の検索結果７０５と金額の検索結果７１１とが取得される。この時、ＵＩ画面上で入力フォームが選択されていれば、上述したように、入力フォームの型の情報に対応する値が入力フォームに入力される。入力フォームが選択されていない場合は、ステップＳ９０４からＳ９０５へと進み、ユーザに対して選択肢を表示する。それぞれの検索結果と、入力可能な入力フォームとの２つの組み合わせ、「４，５６７」を「請求金額」へ入力する選択肢と「０４５１２３４５６７」を「請求元電話番号」へ入力する選択肢が表示される。ユーザがさらに選択操作をして入力フォームに入力することができる。

本実施形態で説明したＵＩの表示の方法は一例であり、その他の方法を用いてもよい。例えば、図１０（ｂ）のＵＩ画面１０１０に示すように、項目名「請求金額」の入力フォームを選択した場合に、対応する文字列型がある部分のみを、枠囲いで示すなど強調表示してもよい。

本実施形態で説明した文字列型検索の検索結果を用いない場合の例を説明する。図９（ｂ）に示すように、支払期日の入力フォーム８０５を選択時に、文字列４０２を入力装置３３０のポインティングデバイスで選択した時、認識した文字コード列がそのまま入力される。すなわち、選択肢８１１を表示することなく、「１０．１２．２０１９」が入力されるので、ユーザが正規化する必要があり、修正操作が煩雑になる。また認識した文字コード列が、前後の文字列を含み、「Ｄｕｅ Ｄａｔｅ：１０．１２．２０１９」の様に入力されるケースや、文字認識の結果が誤認識している文字列が入力されるケースもある。本実施形態で説明した方法では、必要とする文字列型で検索して、その正規化結果を用いるため、入力後の訂正作業が必要ない。

また、ユーザが確認・修正可能なＵＩ上で同等の正規化文字列を生成する場合は、年月日の順序の推定や、文字認識結果の下位候補や、誤認識テーブルによる置換などの処理を実施するため、操作に対してレスポンスが遅れることになる。対話的なユーザインターフェイスでは、いかにレスポンスを高速にするかが重要である。本実施形態を適用することによって、画像処理サーバ１０２で抽出した項目値の箇所が誤っていた場合に、タッチ操作するだけで簡単かつ高速なレスポンスで修正することが可能となる。

＜第２の実施形態＞
第１の実施形態では、１回の修正操作で対象となる入力フォームは１個だけであったが、複数項目をまとめて変更してもよい。例えば、通常、文字列型の日付と金額が同じ文字列に重なることはないという、ルールをあらかじめ定義しておく。例えば、項目名「支払い期日」の項目値を修正するために帳票画像上でクリックした位置の文字列が、項目名「合計金額」の項目値の初期値として設定されていた場合を考える。このとき、支払い期日の項目値を当該クリックした位置の文字列に対応する値に修正するとともに、合計金額の項目値についても別の候補に変更する、あるいは確認するＵＩを新たに提示してもよい。

以上説明した通り、本実施形態を適用することによって、複数項目の修正作業を容易にすることが可能となる。

＜第３の実施形態＞
第１の実施形態では、ユーザがクリックした座標に文字列型検索の検索結果が見つかった場合の例を説明したが、見つからなかった場合は、字種限定を行い再度文字認識、文字列型検索の処理を実施してもよい。

第３の実施形態のＵＩにおけるイベント処理の詳細を、図１１のフローチャートを用いて説明する。ステップＳ９０１からＳ９０５までの処理、およびステップＳ９０８、Ｓ９０９の処理は、図７に示した第１の実施形態と同じであり、説明を省略する。

ステップＳ９０６において、対応する文字列が見つからなかった場合、ステップＳ９０７からＳ１１０１へ進む。

ステップＳ１１０１では、画像処理サーバ１０２のＣＰＵ３０１は、ステップＳ９０３で取得した入力フォームが保持している文字列型の情報から、対応する字種に限定して文字認識を実施する。例えば、電話番号であれば、「数字」、「－」、「（」、「）」といった文字コードに限定して実施する。文字認識の誤りなどの要因で、対応する文字が見つからなかった場合に、字種限定をすることにより、文字認識の精度を向上し、正しい文字認識結果を取得できることがある。

ステップＳ１１０２では、画像処理サーバ１０２のＣＰＵ３０１は、ステップＳ５０３、Ｓ５０４と同様に、ステップＳ９０３で取得した入力フォームの文字列型に対応する文字列型の検索、正規化の処理を行う。

ステップＳ１１０３では、ユーザ端末１０３のＣＰＵ３１１は、ステップＳ１１０２で取得できた正規化文字列を入力フォームに入力する。

以上説明した通り、第３の実施形態を適用することによって、文字認識結果が誤っていて文字列型が見つからなかった場合にも、文字列型を得ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給することができる。そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーが、供給されたプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 画像形成装置
１０２ 画像処理サーバ
１０３ ユーザ端末
１０４ ネットワーク

Claims (8)

1. 帳票画像に対して文字認識を行って文字領域を特定する文字認識手段と、
   前記文字領域の文字コード列から特定の文字列型を有する項目を検索する文字列型検索手段と、
   前記帳票画像と、項目値を修正するための入力フォームとを画面上に表示する表示手段と、
   ポインティングデバイスによる前記画面上の前記帳票画像における座標情報を取得し、取得した座標と重なる文字列について、前記特定の文字列型を有する項目の検索結果を取得する取得手段と、
   前記入力フォームが保持している型と前記検索結果における文字列型とを比較して、合致する検索結果を取得し、合致した検索結果の文字コード列から正規化された文字列により項目値を修正する修正手段と、
   を備えることを特徴とするデータ入力支援装置。
2. 前記修正手段は、前記合致した検索結果が複数存在する場合に、前記表示手段により、選択肢を提示させることを特徴とする請求項１に記載のデータ入力支援装置。
3. 前記修正手段は、前記取得した座標と重なる文字列に対応する文字列型を有する検索結果が複数存在する場合に、前記表示手段により、選択肢を提示させることを特徴とする請求項１に記載のデータ入力支援装置。
4. 前記修正手段は、前記画面上の前記帳票画像において、前記入力フォームが保持している型と対応する文字列型を有する項目を、前記表示手段により、強調表示させることを特徴とする請求項１に記載のデータ入力支援装置。
5. 前記修正手段は、前記合致した検索結果が存在しない場合に、前記文字認識手段により、字種を限定して再度文字認識をかけることを特徴とする請求項１に記載のデータ入力支援装置。
6. 前記特定の文字列型は、日付、電話番号、金額のいずれかであることを特徴とする請求項１乃至５のいずれか１項に記載のデータ入力支援装置。
7. 帳票画像に対して文字認識を行って文字領域を特定する文字認識ステップと、
   前記文字領域の文字コード列から特定の文字列型を有する項目を検索する文字列型検索ステップと、
   前記帳票画像と、項目値を修正するための入力フォームとを画面上に表示する表示ステップと、
   ポインティングデバイスによる前記画面上の前記帳票画像における座標情報を取得し、取得した座標と重なる文字列について、前記特定の文字列型を有する項目の検索結果を取得する取得ステップと、
   前記入力フォームが保持している型と前記検索結果における文字列型とを比較して、合致する検索結果を取得し、合致した検索結果の文字コード列から正規化された文字列により項目値を修正する修正ステップと、
   を備えることを特徴とするデータ入力支援方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載のデータ入力支援装置の一手段として機能させるためのプログラム。

Images