JP2022011034A - データ入力支援装置、データ入力支援方法及びプログラム - Google Patents

Abstract

【課題】同種の項目値が複数抽出される場合に、各項目値が正しい位置から抽出されたかを確認する作業に時間を要する。【解決手段】本発明におけるデータ入力支援装置は、データ入力支援装置の表示手段は、取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、前記帳票画像全体または前記項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像または前記項目値と当該項目値に対応する項目名を含む拡大画像を表示する拡大画像表示エリアを有する画像プレビュー表示エリアとを含む画面を表示し、取得された項目情報に応じて表示内容を切り替えて表示することを特徴とする。【選択図】図７

Description

本発明は、データ入力支援装置、データ入力支援方法及びプログラムに関する。

会計業務に用いられる紙の帳票から、必要な情報を読み取り、システムに転記するデータ入力業務がある。従来、データ入力業務を支援するために、帳票画像中の所定の位置にある文字列を項目値として読み取り、データ入力作業者に表示することにより入力業務を支援するシステムがあった。しかしながら、この方法は、帳票のレイアウト毎に項目の位置を登録する作業が必要であり、多様なレイアウトが存在し得る帳票に対して適用することは困難である。例えば、請求書は、発行元が独自のテンプレートを用いて作成するため、レイアウトが多様化しやすい。

このようにテンプレートの登録が困難な非定型帳票からデータ（項目値）を自動的に抽出する方法が特許文献１、特許文献２に開示されている。特許文献１では、データの属性を表す文字列である項目名と、データを表す項目値とを画像の文字認識結果から検索し、両者の位置関係に基づいて項目名と項目値とを対応付けることにより項目値の抽出を行う。特許文献２では、読み取り対象の項目名の領域を抽出し、ハイライト表示した上で、項目名に対応する項目値の位置・領域をユーザが大まかに入力することにより項目値を抽出する。

上記のように特許文献１及び特許文献２で開示される方法により項目値を自動抽出できるが、抽出した項目値の文字認識結果は誤ることがあり、そのために、オペレータによる目視確認が必須である。特許文献１では、項目値の文字認識結果を認識結果領域に表示するとともに、帳票画像上において、認識対象となった項目値の領域を太線の枠で囲んで表示する表示方法が開示される。また、特許文献２では、帳票の画像から切り出された文字イメージと、文字イメージの認識結果とを並べて表示することが記載されている。

特開２０１６－５１３３９号公報 特開２０１８－３７０３６号公報

帳票内に同様の種類のデータ（数値など）が複数存在する場合、認識結果のデータだけを確認しても、そのデータが所望の項目名に対応するデータなのか判断しにくいことが多い。すなわち、項目値の認識結果を確認する際は、どの項目名に対応する値として帳票画像から抽出したかも合わせて確認することが必要である。

しかしながら、特許文献１に開示された表示方法では、帳票の全体画像上で認識対象となった領域が太線枠で示されるだけである。ユーザは、認識結果が帳票画像上のどの文字画像領域に対応するのかを探し、さらに、その文字画像領域はどの項目名に対応するのかを帳票画像上において目視で確認する必要があり、確認作業に時間を要する。また、特許文献２に開示された表示方法では、文字認識結果に対応する文字イメージを確認することは容易である。しかしながら、その文字イメージが正しい項目名に対応するか否かを確認するためには、帳票の全体画像を別途表示させて確認する必要があり、確認作業に時間を要する。

本発明におけるデータ入力支援装置は、帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置において、取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、前記帳票画像全体または前記項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像または前記項目値と当該項目値に対応する項目名を含む拡大画像を表示する拡大画像表示エリアを有する画像プレビュー表示エリアとを含む画面を表示し、取得された項目情報に応じて表示内容を切り替えて表示する表示手段を備えたことを特徴とするデータ入力支援装置。

本発明によれば、項目値の抽出位置が正しくない場合や、同種の項目値が複数抽出され、項目名による区別ができない場合であっても、画像プレビュー表示エリアに各項目値の確認に最適な画像表示を行うことで、抽出正否の確認に掛かる時間を短縮できる。

第１の実施形態に係るデータ入力支援装置のハードウェア構成を示す図である。 本実施形態のデータ入力支援装置の表示部および入力部を実現するＵＩを示す図である。 本実施形態のデータ入力支援装置を実現する手段のソフトウェア構成を示す構成図である。 第１の実施形態において想定する帳票画像を示す図である。 帳票画像を対象に得られる検出結果を示す図である。 第１の実施形態を実現するソフトウェアの処理フローを示す図である。 表示手段により構築される確認画面を示す図である。 俯瞰画像及び拡大画像の表示の処理フローを示す図である。 項目種類を一意に表す文字列を持ったデータベースを示す図である。 俯瞰画像表示エリアに帳票画像全体が表示される確認画面を示す図である。 俯瞰画像表示エリアに帳票画像全体が表示される確認画面を示す図である。 俯瞰画像の作成フローを示す図である。 拡大画像表示エリアが画像プレビュー領域全体に拡大される確認画面１０００を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

本実施形態では、帳票画像３００を対象として抽出される項目名及び項目値を表示するデータ入力支援装置について説明する。

＜第１の実施形態＞
［ハードウェア構成］
図１は、第１の実施形態に係るデータ入力支援装置のハードウェア構成を示す図である。データ入力支援装置１００は、システム制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、スキャナ１０７とを有する。

システム制御部１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、システム制御部１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。なお、後述するデータ入力支援装置１００の機能や処理は、システム制御部１０１がＲＯＭ１０２またはＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。

表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１０５と入力部１０６は、タッチパネルのように一体に設けられてもよい。また、表示部１０５は、プロジェクタによる投影を行うものであってもよく、入力部１０６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

スキャナ１０７は、紙面を読み取ってスキャン画像を生成する。なお、スキャナ１０７は、接触型スキャナに限らず、書画カメラやスマートフォンを非接触型スキャナとして用いてもよい。

本実施形態においては、スキャナ１０７が帳票等の紙文書を読み取って帳票画像を生成し、当該画像をＨＤＤ１０４などの記憶装置に記憶する。

［ＵＩ］
図２は、本実施形態におけるデータ入力支援装置１００の表示部１０５及び入力部１０６を実現するＵＩ（User Interface）を示す図である。操作パネル２０１は、表示部１０５を実現する。操作パネル２０１はタッチパネル２０２及びテンキー２０３を備える。タッチパネル２０２は、ログイン中のユーザＩＤ、メインメニューなどが表示される。

本実施形態において、ＵＩは、処理対象の帳票画像或いは帳票画像から抽出した結果等をユーザに提供するための一手段であり、タッチパネル２０２上で提供される。ＵＩの表示は、タッチパネルに限定されず、ＰＣに接続されたディスプレイを用いて実行してもよい。

［ソフトウェア構成］
図３は、データ入力支援装置１００を実現する手段のソフトウェア構成を示す構成図である。データ入力支援装置１００は、各種のモジュール（３０１～３１０）から構成される。ソフトウェアを実現するプログラムは、ＲＯＭ１０２またはＨＤＤ１０４に記憶される。

制御手段３０１は、プログラムを制御し、各種モジュールに対する指示、及び管理を行う。

表示手段３０２は、制御手段３０１からの指示に従い、データ入力支援装置１００のソフトウェアをユーザが操作するためのＵＩ、及び各種の処理結果を表示部１０５に提供する。

入力手段３０３は、ソフトウェアに対するユーザの操作を受け付ける。

記憶手段３０４は、プログラム、及びプログラムが管理するその他の情報をＲＯＭ１０２またはＨＤＤ１０４に記憶する。

文字認識手段３０５は、帳票画像中に記載される文字あるいは文字列について、座標及び文字種を特定する。

項目情報抽出手段３０６は、帳票画像からデータ入力業務の対象となる項目を項目情報として抽出する。項目情報抽出手段３０６は、さらにサブモジュール（３０７～３１０）を有する。

項目値領域検出手段３０７は、帳票画像からデータ入力業務の対象データとなる文字列が記載される領域を項目値領域として検出する。

項目名領域検出手段３０８は、帳票画像から項目値の名称を表す文字列が記載される領域を項目名領域として検出する。

項目値取得手段３０９は、文字認識手段３０５により得られる項目値領域の文字列を項目値として取得する。

項目名取得手段３１０は、文字認識手段３０５により得られる項目名領域の文字列を項目名として取得する。

項目値領域、項目名領域、項目値、項目名は特許文献１で開示される方法等の公知の方法で取得できる。

なお、文字認識手段３０５は、帳票画像全体の文字列を対象とする必要はなく、項目値取得手段３０９及び項目名取得手段２１０で必要な文字列が認識されていればよい。例えば、文字候補領域を抽出後、領域の位置、サイズ、領域間のレイアウト等に基づき、この領域が項目名または項目値ではないと判定し、文字種を特定しないことで計算量を軽減できる。

［項目検出結果］
図４は、本実施形態において想定する帳票画像４００を示す図である。図５に、帳票画像４００を対象に項目情報抽出手段３０６を適用して得られる検出結果５０１を示す。検出結果５０１は、図５において、抽出された項目情報が各行に記載され、複数の項目情報が列挙されている。項目情報は、項目種類、順位、項目値、項目名、正規形を有する。さらに、図示しないが、項目値・項目名毎に領域の頂点座標である領域情報を有する。図４における領域４０１～４０５は、それぞれ図５におけるＮｏ．１～５の項目値に対応する項目値領域である。同様に領域４０１a、４０３a、４０４ａ、４０５ａは、Ｎｏ．２を除く各項目名に対応する項目名領域である。

項目種類は、抽出された項目情報の種類を表す。検出結果５０１では「請求金額」項目、「発行日」項目、「電話番号」項目の３種類が検出されている。順位は、取得された項目値とこれに対応する項目名の組合せを含む項目情報が、同種の項目種類の中で、正しい項目種類である確率の高さに基づき決まる順序である。項目値は、項目情報が表す項目値であり、帳票画像中に記載される文字列である。項目名は、項目種類に対応する文字列である。例えば、検出結果５０１の「請求金額」項目に対応する項目名として「合計金額」が検出されている。

正規形は、項目種類毎に決められた書式に項目値を正規化した文字列である。例えば「発行日」項目は、「ＹＹＹＹＭＭＤＤ」の書式を正規形とし、検出結果５０１におけるＮｏ．２では、「２０１９年１１月８日」が「２０１９１１０８」に変換され、正規形の文字列となる。同様に、「請求金額」項目では「小数点以下2桁の実数」を正規形として変換し、「電話番号」項目は「数字のみで構成される文字列」を正規形として変換する。これにより、帳票毎の項目値の表記の揺れを吸収する。

［処理フロー］
本実施形態を実現するソフトウェアの処理フローについて、図６を用いて説明する。

ステップＳ６０１で、制御手段３０１は、ＨＤＤ１０４に記憶される帳票画像４００を取得する。

ステップＳ６０２で、文字認識手段３０５は、帳票画像４００を対象に文字認識処理を行う。これにより帳票画像４００中の各文字列領域及び文字種が認識結果として得られる。

ステップＳ６０３で、項目情報抽出手段３０６は、文字認識結果に基づき、帳票画像４００から項目情報を取得する。これにより検出結果５０１が得られる。

ステップＳ６０４で、表示手段３０２は、帳票画像４００及び検出結果５０１をユーザに提示し、検出結果のそれぞれについて、抽出された項目種類に対応する項目値を確認・修正するための確認画面を構築し表示する。この処理については図７以降を用いて後述する。

ステップＳ６０５で、入力手段３０３は、入力部１０６によるユーザ操作を取得する。ここでユーザは、検出結果５０１の確認及び修正を行う。ユーザの入力内容に基づき、確認・修正が終了したらＳ６０７に遷移し、そうでなければＳ６０６で確認画面を更新し、再度ユーザ入力の受付を行う。

最後にステップＳ６０７で、制御手段３０４は、ユーザによる確認及び修正が完了した項目情報を不図示の外部システムに送信し、処理を終了する。

［確認画面］
図７は、表示手段により、処理フローのステップＳ６０４で構築される確認画面７００を示す図である。確認画面７００は、ユーザに対して検出結果５０１の内容を提示する。ユーザは、確認画面７００において、項目値が正しい領域から検出されているか、正しい値が抽出されているかの確認を行い、誤りがあればその修正を行う。確認画面７００は、俯瞰画像表示エリア７０２、および拡大画像表示エリア７０３を有する画像プレビュー表示エリア７０１を含む。また、確認画面７００は、項目値表示領域として項目種類テキスト７０４ａ～７０４ｃおよび項目値テキスト７０５ａ～７０５ｃ、前ページ移動ボタン７０６、送信ボタン７０７、次ページ移動ボタン７０８を含む。ただし、確認画面７００では、確認画面に表示される具体的な表示内容は示していない。

画像プレビュー表示エリア７０１は、俯瞰画像表示エリア７０２と拡大画像表示エリア７０３から成る。俯瞰画像表示エリア７０２と拡大画像表示エリア７０３の表示内容は、検索結果に応じて切り替えられる。また、俯瞰画像表示エリア７０２が非表示になった場合、拡大画像表示エリア７０３のみから成る。

俯瞰画像表示エリア７０２は、帳票画像４００に対して、検出結果５０１における順位１の項目情報（図５のＮｏ．１、Ｎｏ．２、Ｎｏ．４）に対応する領域４０１、４０２、４０４がハイライト表示された俯瞰画像が作成され表示される。ただし、俯瞰画像の作成方法によっては、順位２の項目情報に対応する領域（図５のＮｏ．３、Ｎｏ．５）もハイライト表示される。また、検出結果５０１の項目名の結果により俯瞰画像を作成せず、俯瞰画像表示エリアを非表示にする場合もある。俯瞰画像の作成方法については、図８～１１を用いて後述する。ユーザは、俯瞰画像表示エリア７０２上でスワイプ操作やピンチイン・ピンチアウト操作を行うことにより、俯瞰画像の表示位置や表示倍率の変更が可能である。

拡大画像表示エリア７０３は、俯瞰画像表示エリア７０２にハイライト表示された領域に対応する項目値領域及び項目値領域から作成される画像である。拡大画像の作成方法については図８～１１を用いて後述する。拡大画像は、ステップＳ６０５においてユーザによる選択が可能である。拡大画像が選択されると、拡大画像に対応する項目情報から項目値テキストが取得され、表示される。また、ユーザは、拡大画像表示エリア７０３上でスワイプ操作やピンチイン・ピンチアウト操作を行うことにより、俯瞰画像の表示位置や表示倍率の変更が可能である。

項目値表示領域の項目種類テキスト７０４ａ～７０４ｃは、図６におけるステップＳ６０７で外部システムに送信される項目種類の名称を表示する。確認画面７００では、項目種類テキスト７０４ａに「請求金額」、項目種類テキスト７０４ｂに「発行日」、項目種類テキスト７０４ｃに「電話番号」が表示されている。

項目値表示領域の項目値テキスト７０５ａ～７０５ｃは、俯瞰画像表示エリア７０２にハイライト表示された領域に対応する項目値が表示されるテキストエリアである。検出結果５０１のうち、項目種類テキストの項目種類に対応する項目情報のうち、項目値とこれに対応する項目名の組合せの順位が１の項目情報の項目値が表示される。各テキストエリアは、ユーザ入力が可能であり、文字認識結果に誤りがある場合には、ここで修正を行う。またユーザがテキストエリアを選択すると、画像プレビュー表示エリア７０１が対応する項目値を確認するために最適な表示に切り替わる。

前ページ移動ボタン７０６は、複数の帳票画像の確認作業を行っている際に一つ前の帳票画像の確認画面７００に戻るためのボタンである。ユーザは。前の帳票画像の確認作業をもう一度行いたい場合、前ページ移動ボタン７０６を押下し、一つ前の帳票画像の確認画面７００に戻り、確認・修正作業を行う。

送信ボタン７０７は、確認画面７００を終了し項目種類テキスト７０４ａ～７０４ｃを、ステップＳ６０７で外部システムに送信するためのボタンである。ユーザは、確認画面７００による検出結果５０１の結果の確認及び修正作業が完了後、ユーザは、送信ボタン７０７を押下し確認作業を終了する。

次ページ移動ボタン７０８は、複数の帳票画像の確認作業を行っている際に次の帳票画像の確認画面７００に進むためのボタンである。ユーザは、現在の帳票画像の確認及び修正作業を終了し、次の帳票画像の確認及び修正作業を行いたい場合、次ページ移動ボタンを押下し、次の帳票画像の確認画面７００に進み、確認・修正作業を行う。

［画像プレビュー表示エリアの表示］
図８に、画像プレビュー表示エリア７０１において、検出結果によって、俯瞰画像表示エリアと拡大画像表示エリアの表示内容を切り替えて表示する処理フローを示す。なお、ここでは検出結果５０１を対象として、画像プレビュー表示エリア７０１の表示内容を切り替えるフローを説明する。ステップＳ１１０１～Ｓ１１０８までの処理は、検出結果から抽出された項目種類毎（「請求金額」、「発行日」、「電話番号」）に処理される。

（１）確認・修正を行う特定の一つの項目種類に対し、項目値の候補が一つであった場合の俯瞰画像表示エリアと拡大画像表示エリアの表示フローについて、検出結果５０１の項目種類「請求金額」を例に説明する。

ステップＳ１１０１において、項目値の検出時に用いた項目名が項目種類を一意に表す文字列であったかどうか判定する。この判定は、あらかじめ作成されている項目種類データベース１２００を参照し行う。

図９に、項目種類を一意に表す文字列を持ったデータベースを示す。項目種類データベース１２００は、検出を行う項目種類とその項目種類を一意に表す一または複数の文字列とを保持する。図５に示した例では、項目種類「請求金額」の項目値を「合計金額」という項目名を用いて検出している。項目種類データベース１２００を参照した結果、「請求金額」を一意に表す文字列は、「請求金額」の一つだけであるから、検出時に用いた項目名の文字列が、項目種類を一意に表していないと判定される。

ステップＳ１１０２において、項目値の検出時に他の候補が存在したか判定を行う。検出結果５０１より、項目種類の項目値に候補が存在しないため、処理フローはステップＳ１１０４、Ｓ１１０５に進む。

ステップＳ１１０４において、俯瞰画像表示エリアは、図１０に示した俯瞰画像８０１のように帳票画像全体が表示される。

ステップＳ１１０５において、拡大画像表示エリアは、拡大画像８０２のように検出された項目値領域、この例では、項目種類「請求金額」の項目値の拡大画像が拡大画像表示エリアのサイズに合わせて表示され、本処理フローは終了する。

このように画像プレビュー表示エリア８００の初期表示を行うことにより、ユーザが行う項目値の検出位置の確認作業の手間を削減することができる。また項目値の確認作業も行いやすくなる。

（２）確認・修正を行う一つの項目種類に対し、項目値の候補が複数得られ、かつ項目名による判別ができない場合の俯瞰画像表示エリア、拡大画像表示エリアの表示フローについて、検出結果５０１の項目種類「発行日」を例に説明する。

ステップＳ１１０１において、検出結果５０１と項目種類データベースにより、判定は項目種類の項目名は項目種類を一意に表していないと判定されるため、処理フローはステップＳ１１０２に進む。

ステップＳ１１０２では、検出結果５０１より、「発行日」の項目値として２０１９年１１月８日と２０１９年１２月８日とが検出されているので、他候補が存在したと判定され、ステップＳ１１０３に進む。

ステップＳ１１０３において、俯瞰画像表示エリアには、図１１に示した俯瞰画像９０１が表示される。

ステップＳ１１０５において、拡大画像表示エリアは、拡大画像９０２ａのように検出された項目値領域、この例では、項目種類「発行日」の項目値の拡大画像が拡大画像表示エリアのサイズに合わせて表示され、本処理フローは終了する。

図１２を参照して、俯瞰画像９０１の作成方法について説明する。

ステップＳ１３０１において帳票画像を取得する。

ステップＳ１３０２において、項目値領域をハイライトする。このハイライトは、検出結果５０１として得られたすべての項目値領域をハイライトする。

ステップＳ１３０３において、選択された項目種類の、順位２までの項目名領域と項目値領域とを取得する。項目種類「発行日」が選択された場合、検出結果５０１のＮｏ．２とＮｏ．３の項目値、項目名領域が取得される。

ステップＳ１３０４において、ステップＳ１３０１で取得した全ての項目名領域と項目値領域のそれぞれの外接矩形を取得する。

ステップＳ１３０５において、それぞれの外接矩形の中心座標を取得する。

ステップＳ１３０６において、それぞれの中心座標を直線で結んだ図形を取得する。項目種類「発行日」の場合、検出結果５０１のＮｏ．２とＮｏ．３の項目名９０３と項目値９０４、９０５の３つの領域の中心を結んだ三角形の図形になる。

ステップＳ１３０７において、ステップＳ１３０６で取得した図形、ここでは三角形の中心座標を取得する。

ステップＳ１３０８において、図形の中心座標を中心として、３つの領域の外接矩形領域が含まれる画像を作成する。このとき作成される画像領域は、外接矩形領域を含む最小の領域ではなく、外接矩形領域を含む最小の領域に縦横一定の幅を持たせた画像となる。

ステップＳ１３０９において、作成した画像の表示倍率を俯瞰画像表示エリア９０１のサイズに合わせ、画像の大きさが最大になるように表示し、終了する。

また、俯瞰画像内のハイライトされた領域をユーザが選択することにより、拡大画像表示エリアに表示される画像を切り替えることができる。この例において、順位２の項目値領域（２０１９年１２月８日）を選択することにより、拡大画像表示エリアに表示される画像は、拡大画像９０２ａから拡大画像９０２ｂに切り替わる。

以上のような表示を、画像プレビュー表示エリアに表示することにより、項目値の候補が複数存在する場合に、ユーザが行う項目値の検出位置と項目値の確認作業が容易になる。特に、順位１の項目値の抽出位置が間違っており、新しく正しい項目値を探す作業が発生する場合、あらかじめ順位２の項目値の抽出位置の表示が行われているため、確認作業の削減が可能になる。

（３）確認・修正を行う一つの項目種類に対し、項目値の候補が複数存在するが項目値が一意に決定できる場合の俯瞰画像表示エリア、拡大画像表示エリアの表示フローについて、検出結果５０１の項目種類「電話番号」を例に説明する。

図８の処理フローに戻り、ステップＳ１１０１において、検出結果４０１、項目種類データベース１２００により、項目種類の項目名は、項目種類を一意に表していると判定される。

ステップＳ１１０６において、俯瞰画像表示エリアは、図１３に示すように、俯瞰画像表示エリア１００１のように非表示となる。

ステップＳ１１０７において、拡大画像表示エリア１００２が画像プレビュー領域全体に拡大される。

ステップＳ１１０８により、拡大画像表示エリア１００２には、検出した項目名（「請求元ＴＥＬ」）と項目値（「０４５－７８９－１２３４」）を中心に拡大された拡大画像が表示され、本処理フローは終了する。この拡大画像は、項目名領域と項目値領域が含まれ、各領域の文字サイズが拡大画像上で一定サイズより大きく表示されるよう調整され表示される。

このような初期表示を行うことにより、ユーザが行う項目値の検出位置と項目値の確認作業において、検出位置の確認が不要と考えられる場合には、項目値の確認作業を優先的に行うことが可能になり、確認・修正作業の負担を軽減できる。

以上のように、本実施形態は、確認及び修正作業を行う項目種類の検出結果にあわせて、表示する画像プレビュー表示エリアの表示内容を切り替える。これにより、項目値の抽出位置が正しくない場合の作業や、同じ項目種類に対し、複数の抽出候補が存在する場合の確認作業が容易となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給することができる。そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーが、供給されたプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０１ 制御手段
３０２ 表示手段
３０３ 入力手段
３０４ 記憶手段
３０５ 文字認識手段
３０６ 項目情報抽出手段
３０７ 項目値領域検出手段
３０８ 項目名領域検出手段
３０９ 項目値取得手段
３１０ 項目名取得手段

Claims (14)

1. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置において、
   取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、
   前記帳票画像全体または前記項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像または前記項目値と当該項目値に対応する項目名を含む拡大画像を表示する拡大画像表示エリアを有する画像プレビュー表示エリアとを含む画面を表示し、
   取得された項目情報に応じて表示内容を切り替えて表示する表示手段を備えたことを特徴とするデータ入力支援装置。
2. 前記表示手段は、前記特定の項目種類に一意に対応する組合せがない場合に、前記俯瞰画像表示エリアに、前記帳票画像全体を表示することを特徴とする請求項１に記載のデータ入力支援装置。
3. 前記表示手段は、前記特定の項目種類に対応する複数の候補がある場合には、前記俯瞰画像表示エリアに、前記特定の項目種類である確率が高い２つの組合せの項目値と当該項目値に対応する項目名を含む俯瞰画像を表示することを特徴とする請求項１に記載のデータ入力支援装置。
4. 前記表示手段は、前記特定の項目種類に一意に対応する組合せがある場合に、前記俯瞰画像表示エリアを表示せず、前記拡大画像表示エリアに、前記項目値と当該項目値に対応する項目名を含む拡大画像を表示することを特徴とする請求項１に記載のデータ入力支援装置。
5. ユーザ入力を受け付ける入力手段をさらに備え、
   前記入力手段は、前記俯瞰画像表示エリアの前記項目値領域の選択を受け付け、
   前記表示手段は、前記拡大画像表示エリアに、前記入力手段で選択された前記項目値領域の項目値の拡大画像を表示することを特徴とする請求項１、２または３に記載のデータ入力支援装置。
6. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置において、
   取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、
   前記帳票画像全体を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像を表示する拡大画像表示エリアを含む画像プレビュー表示エリアと
   を表示する表示手段を備えたことを特徴とするデータ入力支援装置。
7. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置において、
   取得された項目値と当該項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、
   前記特定の項目種類である確率が高い２つの組合せの項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像を表示する拡大画像表示エリアを含む画像プレビュー表示エリアと
   を表示する表示手段を備えたことを特徴とするデータ入力支援装置。
8. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置において、
   取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類に一意に対応する組合せの前記項目値を表示する項目値表示領域と、
   前記項目値に対応する前記項目名を含む拡大画像を表示する画像プレビュー表示エリアと
   を表示する表示手段を備えたことを特徴とするデータ入力支援装置。
9. ユーザ入力を受け付ける入力手段をさらに備え、
   前記入力手段は、前記俯瞰画像表示エリアの前記項目値領域の選択を受け付け、
   前記表示手段は、前記拡大画像表示エリアに、前記入力手段で選択された前記項目値領域の項目値の拡大画像を表示することを特徴とする請求項６または７に記載のデータ入力支援装置。
10. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置におけるデータ入力支援方法において、
    取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、前記帳票画像全体または前記項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像または前記項目値と当該項目値に対応する項目名を含む拡大画像を表示する拡大画像表示エリアを有する画像プレビュー表示エリアとを含む画面を表示する第１ステップと、
    取得された項目情報に応じて表示内容を切り替えて表示する第２ステップと
    を備えたことを特徴とするデータ入力支援方法。
11. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置におけるデータ入力支援方法において、
    取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、
    前記帳票画像全体を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像を表示する拡大画像表示エリアを含む画像プレビュー表示エリアと
    を表示するステップを備えたことを特徴とするデータ入力支援方法。
12. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置におけるデータ入力支援方法において、
    取得された項目値と当該項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類である確率が最も高い組合せの前記項目値を表示する項目値表示領域と、
    前記特定の項目種類である確率が高い２つの組合せの項目値と当該項目値に対応する項目名を含む俯瞰画像を表示する俯瞰画像表示エリア、および前記項目値を含む拡大画像を表示する拡大画像表示エリアを含む画像プレビュー表示エリアと
    を表示するステップを備えたことを特徴とするデータ入力支援方法。
13. 帳票画像の項目値領域と、前記項目値領域に対応する項目名領域とを特定し、前記項目値領域および前記項目名領域の画像を文字認識した結果を取得する手段を有するデータ入力支援装置におけるデータ入力支援方法において、
    取得された項目値と前記項目値に対応する項目名の組合せを含む項目情報のうち、特定の項目種類に一意に対応する組合せの前記項目値を表示する項目値表示領域と、
    前記項目値に対応する前記項目名を含む拡大画像を表示する画像プレビュー表示エリアと
    を表示するステップを備えたことを特徴とするデータ入力支援方法。
14. コンピュータを、請求項１乃至９のいずれか１項に記載のデータ入力支援装置の一手段として機能させるためのプログラム。

Images