JP2022010994A - データ入力支援装置、データ入力支援方法及びプログラム - Google Patents

Abstract

【課題】項目領域の登録作業におけるユーザ操作の煩雑さを解消し、入力支援システムのユーザビリティを向上することを目的とする。【解決手段】本発明におけるデータ入力支援装置は、入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出手段と、前記抽出手段で特定された項目領域を文字認識して文字列を取得する文字認識手段と、前記画像の一部の領域を表示領域として入力する表示領域入力手段と、特定の項目種に対応する文字列を項目値として入力する項目値入力手段と、前記項目値をクエリとして、前記文字認識手段で取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索手段と、前記検索手段で取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習手段とを備えることを特徴とする。【選択図】図４

Description

本発明は、データ入力支援装置、支援方法及びプログラムに関する。

企業の会計業務に関する処理を提供するクラウドベースの会計サービスがある。会計サービスを利用して、請求書の管理、支払いを行うためには、紙の請求書から必要な情報を抽出して会計サービスに入力する必要がある。これらの入力作業を支援するために入力支援システムが存在する。入力支援システムは、スキャナで読み取った請求書の画像に対して文字認識を行い、会計サービスに登録するデータを抽出する。抽出された結果は、ユーザが確認・修正した後、会計サービスに登録される。このような入力支援システムでは、会計サービスに登録するデータ（項目値）を請求書から抽出するために、請求書毎にデータの記載領域（項目領域）を登録する必要がある。

特許文献１には、スキャナ機能で取得した画像の中の文字列領域を選択し、データの種類（項目種）と対応付ける所定の操作を行うことにより、項目種と項目領域を対応付けて登録する方法が記載されている。

特開２０１１－２４８６６９号公報

特許文献１では、ユーザは項目領域の登録作業を、項目領域の選択という明示的な操作で行う必要がある。しかしながら、データ入力業務を行うユーザが行う本来の作業は、項目値の入力作業であり、項目領域の選択は項目値の抽出支援のために必要な準備作業でしかない。そのため項目領域の入力は、入力業務において自然なユーザ操作ではなく、煩雑である。

本発明は、項目領域の登録作業におけるユーザ操作の煩雑さを解消し、入力支援システムのユーザビリティを向上することを目的とする。

本発明におけるデータ入力支援装置は、入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出手段と、前記抽出手段で特定された項目領域を文字認識して文字列を取得する文字認識手段と、前記画像の一部の領域を表示領域として入力する表示領域入力手段と、特定の項目種に対応する文字列を項目値として入力する項目値入力手段と、前記項目値をクエリとして、前記文字認識手段で取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索手段と、前記検索手段で取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習手段とを備えることを特徴とする。

本発明によれば、項目領域の登録作業におけるユーザ操作の煩雑さを解消し、入力支援システムのユーザビリティを向上することができる。

第１の実施形態に係るデータ入力支援装置のハードウェア構成を示す図である。 本実施形態のデータ入力支援装置の表示部および入力部を実現するＵＩを示す図である。 本実施形態のデータ入力支援装置を実現する手段のソフトウェア構成を示す図である。 第１の実施形態を実現するソフトウェアの処理フローを示す図である。 第１の実施形態において想定する帳票画像を示す図である。 入力された帳票画像を処理した結果である確認画面を示す図である。 項目領域の検索を説明する図である。 表示領域と項目種に基づく検索の優先度について説明する図である。 第１の実施形態の第２の変形例において想定する帳票画像を示す図である。 表示領域が移動範囲の境界にある場合の検索の優先度について説明する図である。 項目種の重複割り当てに対する警告表示について説明する図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

本実施形態では、会計サービスにおいて用いられる帳票画像を対象として、項目値を抽出、修正、及び学習するデータ入力支援装置について説明する。

＜第１の実施形態＞
［ハードウェア構成］
図１は、第１の実施形態に係るデータ入力支援装置のハードウェア構成を示す図である。データ入力支援装置１００は、システム制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、スキャナ１０７とを有する。

システム制御部１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、システム制御部１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。なお、後述するデータ入力支援装置１００の機能や処理は、システム制御部１０１がＲＯＭ１０２またはＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。

表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１０５と入力部１０６は、タッチパネルのように一体に設けられてもよい。また、表示部１０５は、プロジェクタによる投影を行うものであってもよく、入力部１０６は、投影された画像に対する指先の位置をカメラで認識するものであってもよい。

スキャナ１０７は、紙面を読み取ってスキャン画像を生成する。なお、スキャナ１０７は、接触型スキャナに限らず、書画カメラやスマートフォンを非接触型スキャナとして用いてもよい。

本実施形態においては、スキャナ１０７が帳票等の紙文書を読み取って帳票画像を生成し、当該画像をＨＤＤ１０４などの記憶装置に記憶する。

［ＵＩ］
図２は、本実施形態におけるデータ入力支援装置１００の表示部１０５及び入力部１０６を実現するＵＩ（User Interface）を示す図である。操作パネル２０１は、表示部１０５を実現する。操作パネル２０１はタッチパネル２０２及びテンキー２０３を備える。タッチパネル２０２は、ログイン中のユーザＩＤ、メインメニューなどが表示される。

本実施形態において、ＵＩは、処理対象の帳票画像或いは帳票画像から抽出した結果等をユーザに提供するための一手段であり、タッチパネル２０２上で提供される。ＵＩの表示は、タッチパネルに限定されず、ＰＣに接続されたディスプレイを用いて実行してもよい。

［ソフトウェア構成］
図３は、データ入力支援装置１００を実現する手段のソフトウェア構成を示す構成図である。データ入力支援装置１００は、各種のモジュール（３０１～３１１）から構成される。ソフトウェアを実現するプログラムは、ＲＯＭ１０２またはＨＤＤ１０４に記憶される。

制御手段３０１は、プログラムを制御し、各種モジュールに対する指示、及び管理を行う。

表示手段３０２は、制御手段３０１からの指示に従い、データ入力支援装置１００のソフトウェアをユーザが操作するためのＵＩ、及び各種の処理結果を表示部１０５に提供する。

入力手段３０３は、ソフトウェアに対するユーザの操作を受け付ける。さらに入力手段３０３はサブモジュール（３０４～３０５）を有する。表示領域入力手段３０４は、ユーザの操作に基づき帳票画像中の任意の領域を表示領域として取得する。表示領域の画像は、表示手段３０２により表示部１０５に表示される。項目値入力手段３０５は、抽出対象項目の種類である項目種毎に、帳票画像内に記載される文字列をユーザ入力により取得し、項目値として記憶する。

記憶手段３０６は、プログラム、及びプログラムが管理するその他の情報をＲＯＭ１０２またはＨＤＤ１０４に記憶する。

文字検出手段３０７は、帳票画像から帳票画像内に記載される文字列領域を検出する。

文字認識手段３０８は、帳票画像内の部分画像を文字認識することにより、部分画像内の文字列を特定する。本実施形態においては、文字検出手段３０７により得られる文字列領域内の画像を対象として文字認識する。また文字認識手段３０８は、出力可能な文字コード（字種）のセットが予め決められている。さらに、この文字コードのセットから一部の字種のみを出力する字種限定モードを備える。字種限定モードは誤認識を抑制する。例えば、所定の部分画像には大文字のアルファベットのみが出現することが既知の場合、大文字アルファベット（ＡからＺまでの２６文字）のみを出力するように字種限定モードを設定する。所定の部分画像を文字認識した結果が「Ａ８Ｃ」だったとすると、字種限定モードの下では、「ＡＢＣ」と文字認識させることができる。また文字認識手段３０８による文字認識結果には、文字毎に複数の候補文字を有することができる。例えば、「１００」と記載された文字列領域を文字認識した結果、一文字目の第一候補が「１」（数字のイチ）、第二候補が「ｌ」（小文字のエル）、二文字目の第一候補が「０」（数字のゼロ）、第二候補が「ｏ」（小文字のオー）、となる場合がある。

検索手段３０９は、項目値入力手段３０５により得た項目値をクエリとして、文字認識手段３０８により得た文字列の集合から検索を行い、見つかった文字列の文字列領域を項目領域として取得する。

学習手段３１０は、学習対象の帳票画像から得られる全ての文字列領域と、項目種及び項目領域を記憶することで、抽出モデルを構築する。

抽出手段３１１は、学習済みの抽出モデルを用いて、以下のような手順により、抽出対象の帳票画像から項目種毎に項目領域を特定する。抽出手段３１１は、帳票画像から文字検出手段３０７により検出された文字列領域の抽出を行い、抽出された全文字列領域と、抽出モデルとして記憶されている学習済の帳票画像それぞれの全文字列領域とを比較する。この比較は、文字列領域の位置や大きさなどのレイアウトを比較する。抽出対象の帳票画像が学習済みの帳票画像のいずれかであれば、文字列領域の大部分の位置は重なり合うため、文字列領域同士の重なり量に基づき、抽出対象の帳票画像から学習済み帳票画像が推定できる。最後に、推定された学習済み帳票画像に対応付けて記憶されている項目領域の位置に基づいて、抽出対象の帳票画像の対応する位置にある文字列領域を取得することで、項目種毎の項目領域を特定する。

［処理フロー］
図４を参照して、本実施形態を実現するソフトウェアの処理フローについて説明する。

ステップＳ４０１で、制御手段３０１は、ＨＤＤ１０４に記憶される帳票画像を取得する。

ステップＳ４０２で、文字検出手段３０７は、取得した帳票画像を対象に文字検出処理を行う。これにより、帳票画像中の各文字列領域が得られる。

ステップＳ４０３で、抽出手段３１１は、検出した文字列領域と学習済み帳票画像の文字列領域のレイアウトを比較することにより、学習済み帳票画像を推定できれば、この抽出モデルを用いて、各文字列領域から項目領域を特定する。帳票画像が学習済みであれば項目領域の特定が可能であり、未学習であれば項目領域は特定できない。また学習済みであっても、学習済みの項目領域の位置と、帳票画像内の文字列領域との位置が合わない場合、特定できない場合がある。

ステップＳ４０４で、制御手段３０１は、項目領域が特定できたか否かを判定する。項目領域が特定できた場合にはステップＳ４０５へ遷移し、項目領域を特定できなかった場合（すなわち学習済み帳票を特定できなかった場合）にはステップＳ４０８へ遷移する。

ステップＳ４０５で、文字認識手段３０８は、特定された項目領域の文字認識を行い、項目領域ごとに記載されている文字列を取得する。

ステップＳ４０６で、制御手段３０１は、取得した文字列から初期項目値の取得を行う。ステップＳ４０５において取得される文字列は、項目値のみを過分なく有する文字列ではない場合がある。例えば、項目種「請求金額」として文字列「合計 ￥１００，０００－」という不要な文字列が追加された文字列が取得される。そこで、この文字列と項目種毎に定められるデータ型とを比較し、データ型に適合する文字列を初期項目値として取得する。前述の例であれば、項目種「請求金額」のデータ型に合う文字列である「１００，０００」のみが初期項目値として取得される。データ型は、例えば、金額型として、数字、カンマ、ピリオドから構成される文字列、日付型として「ＹＹＹＹ年Ｍ月Ｄ日」や「ＹＹ／ＭＭ／ＤＤ」など、事前に定義可能な定型的な書式を登録しておく。なおステップＳ４０５で取得される文字列は、文字毎に候補文字を有するため、下位候補文字を含めてデータ型と一致すれば取得できる。下位候補文字を含めてもデータ型と一致しない場合には取得失敗とし、初期項目値は空、対応する項目領域は「なし」となる。

ステップＳ４０７で、表示手段３０２は、取得した初期項目値を表示する。なおステップＳ４０３で初期項目値が取得できなかった場合、或いはステップＳ４０６で文字認識結果とデータ型が一致せずに初期項目値が空となった場合には、初期項目値及び項目領域は表示しない。

ステップＳ４０８で、表示手段３０２は、帳票画像全体を表示する。この時点で、表示部１０５には、帳票の全体画像、及び抽出に成功した初期項目値が項目種毎に表示されている。ユーザは表示内容に基づき、後述のステップＳ４０９からＳ４１０において、全ての項目種について抽出結果と帳票画像に記載されている内容とを確認し、誤抽出や抽出漏れがある場合にはその修正を行う。

ステップＳ４０９で、表示領域入力手段３０４は、ユーザからの入力により、帳票画像に対する部分領域を表示領域として取得する。

ステップＳ４１０で、表示手段３０２は、ユーザが指定した表示領域の画像を表示する。

ステップＳ４１１で、項目値入力手段３０５は、項目種毎に項目値の入力を受け付ける。この時、ユーザは、ステップＳ４０９で指定した表示領域の画像に記載されている文字画像を確認しながら、項目値を入力することとなる。以降の処理では、ここで入力した項目値をクエリとして、対応する項目領域を取得する。

次に、ステップＳ４１２で、検索手段３０９は、表示領域中に内包されている文字列領域からいずれか一つを選択し取得する。ここで、選択は以下の基準に基づいて行う。まず、最も表示領域の中心に近い文字列領域を選択する。選択された文字列領域に対して、既に何れかの項目種が割り当てられている場合は、次に中心に近い文字列領域を選択する。すなわち、表示領域の中心に近い文字列領域であって、何れの項目種も割り当てられていない文字列領域を優先的に検索することになる。

また、クエリの文字列から項目領域のアスペクト比の下限を推定し、推定された値よりもアスペクト比が小さい場合にも、次の文字列領域を選択する。アスペクト比は、文字列が横書きであれば文字列領域の高さを１とした時の幅とし、縦書きであれば幅を１とした時の高さとする。例えば、クエリの文字列が横書きの「ＡＢＣ」であった場合、大文字アルファベットの文字数は３文字である。大文字アルファベットの最小アスペクト比（高さを１とした時の幅）を０．５とすると、文字列領域のアスペクト比の閾値は０．５×３＝１．５となる。よって対象の文字列領域のアスペクト比が１．５未満の場合は次の文字列領域を優先する。なお一文字当たりのアスペクト比は字種に関わらず一定の値としてもよい。

ステップＳ４１３で、検索手段３０９は、入力した項目値をクエリとして特定された項目領域である文字列領域が文字認識結果を有するか否かを確認する。本実施形態においては、検索対象の文字列領域がステップＳ４０５において文字認識済みである場合には、文字認識結果を有することとなる。ここで、検索対象の文字列領域が文字認識結果を有さない場合には、ステップＳ４１４に遷移し、有する場合にはステップＳ４１５へ遷移する。

ステップＳ４１４で、文字認識手段３０８は、ステップＳ４１２で選択された文字列領域を字種限定モードで文字認識する。ここでは、クエリが有する字種を設定して字種限定する。例えば、クエリの文字列が「１００，０００」の場合、クエリが有する字種として「０」、「１」、「，」のみを出力するように設定し文字認識を行う。

ステップＳ４１５で、検索手段３０９は、ステップＳ４１２で取得した文字列領域の有する文字列が、クエリの文字列を内包するか否かを判定する。例えば、クエリが「１００，０００」、対象文字列領域の文字列が「合計：１００，０００」であった場合には、内包判定は是となる。また対象文字列領域の文字列は、文字認識手段３０８による認識結果であるため、一文字毎に複数の候補文字を有する。そこで、下位候補文字を含めてクエリと一致する文字は、一致したと判定してもよい。ここで内包判定が是であった場合、ステップＳ４１６へ遷移する。非であった場合には、ステップＳ４１２へ遷移し、次の文字列領域を選択してステップＳ４１２からＳ４１５までの処理を繰り返す。なお説明のため、前述の例では対象文字列の領域の文字列として「合計：１００，０００」が取得されるとしたが、本実施形態においては字種限定モードにより文字認識がされる。そのため「合」、「計」、「：」の文字は文字認識結果として出力されず、各文字はクエリが有する「１」、「０」、「，」の何れかに置換されて出力される。

ステップＳ４１６で、検索手段３０９は、文字列領域と、クエリに対応する項目種を対応付けて記憶する。ここで記憶された文字列領域は、項目種に対応する項目領域であることを意味する。

ステップＳ４１７で、制御手段３０１は、全ての項目値の入力が終了したかを確認する。具体的には、ユーザによる全項目値の入力終了ボタンの選択を検知することにより実現する。入力が終了であればステップＳ４１８へ遷移し、そうでなければステップＳ４１１へ遷移し、他の項目値の入力を行う。

最後に、ステップＳ４１８で、学習手段３１０は、ステップＳ４０２で得られる各文字列領域、及び、ステップＳ４１６において記憶された項目種及び項目領域を学習し、抽出モデルを構築する。構築された抽出モデルは、他の帳票画像を処理するために、図４の処理フローが実行される際に、ステップＳ４０３において抽出手段３１１により読み込まれる。

［確認画面］
図４の処理フローについて、図５に示した帳票画像５００を入力した場合の具体的な動作について説明する。図６は、帳票画像５００を入力としてステップＳ４０１からＳ４０８までを処理した時点で、タッチパネル２０２に表示される確認画面６００を示す図である。確認画面６００は、ユーザに対して各処理結果を提示し、ユーザは、確認画面６００において項目値が正しい領域から検出されているか、また正しい値が抽出されているかの確認を行い、誤りがあればその修正を行う。確認画面６００は、俯瞰画像６０１、項目種テキスト６０２ａ～ｄ、項目値入力領域６０３ａ～ｄ、項目領域６０４ａ、ｃ、項目画像６０５ａ、ｃ、終了ボタン６１０から成る。

俯瞰画像６０１は、帳票画像５００の全体或いは部分領域が切り出された画像である。俯瞰画像６０１には、項目領域６０４ａ及び６０４ｃがハイライト表示される。ユーザは、俯瞰画像６０１上でスワイプ操作やピンチイン・ピンチアウト操作を行うことにより、ステップＳ４０９からＳ４１０までの表示領域の変更、すなわち俯瞰画像の表示範囲や表示倍率の変更が可能である。

項目種テキスト６０２ａ～ｄは、本実施形態におけるデータ入力支援装置１００が抽出対象とする項目種の名称を表示する。確認画面６００では、項目種テキスト６０２ａに「発行日」、項目種テキスト６０２ｂに「請求金額」、項目種テキスト６０２ｃに「電話番号」、項目種テキスト６０２ｄに「請求Ｎｏ．」が表示される。

項目値入力領域６０３ａ～ｄは、俯瞰画像６０１にハイライト表示された項目領域に対応する項目値が表示されるテキストエリアである。ステップＳ４０６において取得された初期項目値が項目値入力領域６０３ａ及び６０３ｃに表示される。空白となっている項目値入力領域６０３ｂ及び６０３ｄは、初期項目値の抽出に失敗したことを表す。ステップＳ４１１における項目値の入力は、項目値入力領域６０３ａ～ｄに対して行われる。

項目領域６０４ａ及び６０４ｃは、初期項目値に対応する項目領域である。

項目画像６０５ａ及び６０５ｃは、俯瞰画像６０１にハイライト表示された項目領域を切り出して表示された画像である。

終了ボタン６１０は、確認画面６００を終了するためのボタンである。確認画面６００による項目値及び項目領域の確認及び修正が完了後、ユーザは該ボタンを押下し確認を終了する。

［項目値入力による項目領域の検索］
図７は、ステップＳ４１１からＳ４１６までの項目領域の検索を説明する図である。図７（ａ）では、俯瞰画像７０１に帳票画像５００の全体が表示されており、項目種テキスト６０２ｂの「請求金額」に対応する項目値入力領域６０３ｂが選択された状態である。ここで、俯瞰画像７０１上でユーザが操作を行い表示領域が更新されたことにより、図７（ｂ）に示す俯瞰画像７０２が表示されたものとする。さらに、図７（ｃ）に示すように、項目値入力領域６０３ｂに「４，４５０」と項目値が入力された場合に、項目領域は次のように取得される。

まず、項目値「４，４５０」からアスペクト比の下限を求める。数字の最小アスペクト比を０．３、記号の最小アスペクト比を０．１に定めたとして、文字列領域のアスペクト比の下限は０．３×４＋０．１×１＝１．３である。

次に、俯瞰画像７０２に内包される文字列領域７０３、７０４ａ～ｇ、７０５を取得する。文字列領域７０５のアスペクト比は前記アスペクト比の下限よりも小さいため、以降の計算では他の文字列領域よりも優先度が下げられる。

次に、各文字列領域について、俯瞰画像７０２の中心点からの距離が計算される。図７（ｃ）においては、中心点は中線７０６及び中線７０７の交点である。計算された距離が最も小さい文字列領域を取得する。ここでは文字列領域７０３が選択される。選択された文字列領域７０３について、文字認識が既にされていればその結果を取得するが、文字列領域７０３は文字認識結果を有さないため文字認識が行われる。クエリは「４，４５０」であるため、「０」、「４」、「５」、「，」に字種限定モードにより文字認識処理が行われる。文字列領域７０３には、「￥４，４５０－」と記載されているが、字種が限定されたことにより、「４４，４５００」と字種が制限された文字認識結果が得られる。文字認識結果はクエリ文字列を内包するため、図７（ｄ）に示すようにクエリ文字列に対応する項目領域７０８が取得され、さらにこの文字列領域が切り出された項目画像７０９が確認画面上に表示される。

［第１の実施形態の第１の変形例］
第１の実施形態において、ステップＳ４１２では表示領域の中心に近い文字列領域を優先的に検索対象とした。これはユーザが項目値を入力する際、着目する領域を表示領域の中心に配置して作業をすることが想定されるためである。しかしながら、画像全体を俯瞰しながら項目値の入力を行うことも想定されるため、帳票画像に対する表示領域の倍率に基づいて優先順位を変えてもよい。

第１の実施形態の第１の変形例では、表示領域の倍率が閾値以上の場合は表示領域の中心の文字列領域を優先し、閾値以下の場合は、項目種毎に定める優先順位で文字列領域を選択する。第１の変形例において、表示領域の倍率は［帳票画像の短辺長］／［表示領域の短辺長］として定義し、閾値は１．１とする。また項目種「請求Ｎｏ」については、画像の上部にある文字列領域から優先的に検索対象とする。

図８を参照して、表示領域と項目種に基づく検索の優先度について説明する。図８（ａ）では、俯瞰画像８０１に帳票画像５００の全体が表示されている。項目種テキスト６０２ｄには「請求Ｎｏ」が、項目種に対応する項目値入力領域６０３ｄは空白の状態である。ここで図８（ｂ）において、項目値入力領域６０３ｄに「Ｃ０１２－８８－４３２１」と記入し、これをクエリとして検索を行うとする。ユーザ操作による表示領域の変更は無く、表示領域の倍率は［帳票画像の短辺長］／［表示領域の短辺長］＝１．０であり、事前に定めた閾値１．１未満である。

そこで、文字列領域を画像の上部にある領域から順に選択する。まず、最も上部にある文字列領域８０３を選択する。しかしながら、文字列領域８０３は、既に項目種「発行日」が割り当てられた項目領域であるため、次の文字列領域８０２が選択される。選択された文字列領域に対して、クエリが有する字種に字種限定された文字認識が適用される。文字列領域８０２の文字認識結果は「Ｃ ８ ４」として、文字列領域８０２はクエリを内包しないため、さらに文字列領域８０４が選択される。文字列領域８０４の字種限定モードによる文字認識結果が「Ｃ８４８０－Ｃ０１２－８８－４３２１」であるとして、クエリが内包されるため、図８（ｃ）に示すように項目領域８０５及び項目画像８０６が確認画面に表示される。

同様に、不図示の項目種「タイトル」であれば、文字列領域のサイズ（横書きであれば高さ、縦書きであれば幅）が大きい文字列領域を優先し、項目種「日付」であれば、帳票画像の上にある文字列領域を優先する。このように、表示領域の倍率が閾値未満の場合に、項目種毎に既定の優先度で検索を行うことができる。

［第１の実施形態の第２の変形例］
第１の実施形態において、Ｓ４１２では表示領域の中心に近い文字列領域を優先的に検索対象とした。また第１の実施形態の第１の変形例では、表示領域の倍率に基づき表示領域の中心を優先するか否かを判断した。しかしながら、表示領域の移動範囲の制限により、ユーザが中心に配置したい文字列が表示領域の中心に配置されない場合がある。

そこで第１の実施形態の第２の変形例では、表示領域の境界が移動可能な範囲の境界と重なる場合に、境界に近い文字列領域から優先的に検索する。第２の変形例において、表示領域の移動可能な範囲は帳票画像の範囲内とする。すなわち帳票画像の幅をＷピクセル、高さをＨピクセル、表示領域の幅をｗピクセル、高さをｈピクセルとし、帳票画像の左上を原点とした場合に、表示領域の左上座標（ｘ，ｙ）は（０，０）以上（Ｗ－ｗ，Ｈ－ｈ）以下とする。

図９及び図１０を参照して、表示領域が移動範囲境界にある場合の検索の優先度について説明する。図９は、第２の変形例において想定する帳票画像９００を入力画像として示す。

図１０は、帳票画像９００を対象として項目値を入力し、項目領域を検索する処理を説明する図である。ここでは項目種「価格」を入力対象として説明する。項目種は、請求書内の複数個所に記載があり、項目値入力領域も複数個所の入力に対応した構成となる。

図１０（ａ）では、帳票画像９００の領域を表す全体領域１００１に対して、表示領域１００２が表示領域入力手段３０４により設定され、表示領域１００２が切り出された俯瞰画像１００３が表示されている。項目種テキスト１００４には、項目種の名称を表す文字列として「価格」が表示され、項目値を入力する領域は、項目値入力領域１００５ａ及び項目値入力領域１００５ｂの二個所が存在する。項目種「価格」は任意の個数を入力できるため、追加ボタン１００６ａ及び追加ボタン１００６ｂがある。追加ボタン１００６ａを押下すると項目値入力領域１００５ａと項目値入力領域１００５ｂの間に新たな項目値入力領域が追加され、追加ボタン１００６ｂを押下すると項目値入力領域１００５ｂの次に項目値入力領域が追加される。

ここで表示領域１００２に着目すると、右辺が全体領域１００１と接している。すなわち表示領域１００２の境界が＋ｘ方向の移動範囲の境界に重なる状態である。この場合、ユーザは、これ以上表示領域１００２を＋ｘ方向に移動させることができず、本来、中心に配置したい文字列が表示領域の右側にあっても中心に配置することができない。そこで、表示領域１００２の中心にある文字列領域を優先するのではなく、表示領域の移動範囲の境界と重なっている側、すなわち右辺側に近い文字列領域を優先的に選択する。

図１０（ａ）においては、項目値入力領域１００５ａに入力された「４，４５０」をクエリとして、俯瞰画像１００３の右辺に近く、右辺からの距離がほぼ同一であった場合には中線１００７から近い文字列領域を優先して選択する。そのため、文字列領域１００９、文字列領域１０１０、文字列領域１０１１の順に検索が行われ、文字列領域１０１１が項目領域として取得される。文字列領域１００８は、文字列領域１０１１と同じ文字列が記載された領域であり、画像中心からの距離は文字列領域１０１１よりも近いが、右辺から遠いため項目領域としては抽出されない。

同様に、図１０（ｂ）に示すように項目値入力領域１００５ｂに対して「２，３００」と入力された場合、文字列領域１００９が最初に検索対象となり、項目領域として抽出される。

さらに、図１０（ｃ）に示すように項目値入力領域１００５ｃに「２，３００」と入力された場合、まず右辺に近く中線１００７に近い文字列領域１００９が選択される。しかし既に項目値入力領域１００５ｂに対応する項目領域として項目種が割り当てられているため、次の文字列領域が優先され、文字列領域１０１０が項目領域として抽出される。

［第１の実施形態の第３の変形例］
第１の実施形態及び上述した変形例では、一つの文字列領域に対して一つの項目種が割り当てられる例を説明した。しかしながら実際には、ユーザが項目値入力領域に入力する文字列によっては、一つの文字列領域に項目種が重複して割り当てられる場合がある。第３の変形例では、項目種が文字列領域に重複して割り当てられる場合の処理について、帳票画像９００を入力とした例で説明する。

図１１は、項目種の重複割り当てに対する警告表示を示し、帳票画像９００に対して、項目種「価格」の項目値を入力する確認画面の例である。俯瞰画像１１０１には、項目値入力領域１１０２ａ～ｃと、それぞれに対応する項目領域１１０３ａ～ｃとが表示されている。ここで新たに項目値入力領域１１０２ｄに「２，３００」が入力されると、項目種が割り当てられていない文字列領域１１０４、１１０５、１１０６が順次選択され検索されるが、いずれもクエリ「２，３００」は含まない。そこで、既に項目種が割り当てられているために優先度が下げられた項目領域１１０３ｃ、１１０３ｂ、１１０３ａが順次選択され、検索される。ここで、文字列領域１１０３ｃはクエリを包含するため、項目値入力領域１１０２ｄに対応する項目領域として割り当てられる。

しかし、既に項目値入力領域１１０２ｃに割り当てられているため、項目値入力領域に対する項目値警告１１０７、及び項目領域に対する項目領域警告１１０８を表示する。ユーザは、俯瞰画像を閲覧しながら項目値を入力していることが想定されるため、項目値入力領域１１０２ｄへの入力は誤りである可能性が高い。そこで、項目領域が重複して割り当てられる場合には、項目値入力領域、或いは項目領域、或いはその両方を強調表示することで、入力誤りの確認及び修正を促す。

［第１の実施形態の第４の変形例］
第１の実施形態では、帳票画像を対象画像とした。しかしながら、カメラにより撮影された看板画像やナンバープレート画像など、文字を含む画像であれば、本実施形態を適用可能であり、対象画像の種類は本発明を制限するものではない。

［第１の実施形態の第５の変形例］
第１の実施形態では、入力された１枚分の画像に対し項目領域の抽出を行い、項目領域の確認及び修正を行った後に学習して抽出モデルを更新し、次の画像に適用する処理フローを説明した。すなわち、画像を１枚ずつ逐次的に学習していくオンライン学習方式による抽出モデルの獲得である。これに対して、多数の画像のそれぞれに項目種及び項目領域を付与し、それらを一度に学習するバッチ学習方式で抽出モデルを獲得してもよい。この方式は、図４において、制御手段３０１がステップＳ４１８の前に「全ての画像の入力が終了したか？」を判定し、終了であればステップＳ４１８へ、未終了であればステップＳ４０１へ戻り次の画像を処理することで実現できる。

［第１の実施形態の第６の変形例］
第１の実施形態では、入力された帳票画像に対して、最初に文字検出を行うことにより文字列領域を抽出し、一つの文字列領域を選択してから文字認識、検索を行った。これに対して、ステップＳ４０２において、文字検出を行った後に、全ての文字列領域に対して字種限定をしないで文字認識を行い、その結果に対して文字列領域毎に検索を行ってもよい。この場合、各文字列領域は、文字認識結果を有するため、図４においては、ステップＳ４１３からＳ４１５に遷移する。すなわち、ステップＳ４１４における文字認識処理を行う必要はない。一方で、ステップＳ４１３における確認は行わず、ステップＳ４１４における、クエリが有する字種に字種限定した文字認識を重ねて行うことにより、文字認識の誤りが低減され、さらに文字認識精度が向上する。

また、ステップＳ４１３からＳ４１５に遷移して、字種限定なしで得た文字認識結果により検索を行う。このとき、表示領域から項目領域が抽出できなかった場合に、改めて字種限定をして文字認識を行うようにしてもよい。

以上のように、本実施形態はユーザが入力した項目値をクエリとして、表示領域に表示された画像を対象に文字列を検索することにより項目領域を取得する。これにより、ユーザは、データ（項目値）入力業務における項目値の修正という自然な操作のみで、項目領域の登録、学習を行うことができ、ユーザ操作の煩雑さを解消し、入力支援システムのユーザビリティが向上する。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給することができる。そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーが、供給されたプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０１ 制御手段
３０２ 表示手段
３０３ 入力手段
３０４ 表示領域入力手段
３０５ 項目値入力手段
３０６ 記憶手段
３０７ 文字検出手段
３０８ 文字認識手段
３０９ 検索手段
３１０ 学習手段
３１１ 抽出手段

Claims (14)

1. 入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出手段と、
   前記抽出手段で特定された項目領域を文字認識して文字列を取得する文字認識手段と、
   前記画像の一部の領域を表示領域として入力する表示領域入力手段と、
   特定の項目種に対応する文字列を項目値として入力する項目値入力手段と、
   前記項目値をクエリとして、前記文字認識手段で取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索手段と、
   前記検索手段で取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習手段と
   を備えたことを特徴とするデータ入力支援装置。
2. 前記検索手段は、前記表示領域の中心に近い文字列領域から優先的に検索することを特徴とする請求項１に記載のデータ入力支援装置。
3. 前記検索手段は、前記画像に対する前記表示領域の倍率が閾値以上の場合に、前記表示領域の中心を優先的に検索し、閾値未満の場合はその他の優先順位で検索を行うことを特徴とする請求項２に記載のデータ入力支援装置。
4. 前記検索手段は、検索対象の文字列領域が文字認識されていない場合に、前記文字認識手段により、該文字列領域を文字認識することを特徴とする請求項１乃至３のいずれか１項に記載のデータ入力支援装置。
5. 前記文字認識手段は、前記クエリが有する字種のみを出力するように字種限定して文字認識を行うことを特徴とする請求項４に記載のデータ入力支援装置。
6. 前記検索手段は、前記クエリの少なくとも文字数から文字列領域のアスペクト比の範囲を推定し、該範囲に含まれない文字列領域の優先度を下げて検索することを特徴とする請求項１乃至５のいずれか１項に記載のデータ入力支援装置。
7. 前記検索手段は、何れの項目種も割り当てられていない文字列領域を優先的に検索することを特徴とする請求項１乃至６のいずれか１項に記載のデータ入力支援装置。
8. 前記検索手段は、前記表示領域の境界が移動可能な範囲の境界と重なる場合に、該境界に近い文字列領域から優先的に検索することを特徴とする請求項１乃至７のいずれか１項に記載のデータ入力支援装置。
9. 前記項目値を内包する文字列領域に対して他のクエリにより項目種が割り当てられている場合に、前記表示手段は、対応する各クエリの項目値入力領域または項目領域の少なくともいずれかを強調して表示することを特徴とする請求項１乃至８のいずれか１項に記載のデータ入力支援装置。
10. 入力された画像内の文字列領域を検出する文字検出手段と、
    前記文字検出手段で検出された文字列領域を文字認識して文字列を取得する文字認識手段と、
    前記入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出手段と、
    前記画像の一部の領域を表示領域として入力する表示領域入力手段と、
    特定の項目種に対応する文字列を項目値として入力する項目値入力手段と、
    前記項目値をクエリとして、前記文字認識手段で取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索手段と、
    前記検索手段で取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習手段と
    を備えたことを特徴とするデータ入力支援装置。
11. 前記検索手段は、前記特定の項目種に対応する項目領域を取得できない場合に、前記クエリが有する字種のみを出力するように字種限定して文字認識を行うことを特徴とする請求項１０に記載のデータ入力支援装置。
12. コンピュータを、請求項１から１１のいずれか１項に記載のデータ入力支援装置の各手段として機能させるためのプログラム。
13. 入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出ステップと、
    前記抽出ステップで特定された項目領域を文字認識して文字列を取得する文字認識ステップと、
    前記画像の一部の領域を表示領域として入力する表示領域入力ステップと、
    特定の項目種に対応する文字列を項目値として入力する項目値入力ステップと、
    前記項目値をクエリとして、前記文字認識ステップで取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索ステップと、
    前記検索ステップで取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習ステップと
    を備えたことを特徴とするデータ入力支援方法。
14. 入力された画像内の文字列領域を検出する文字検出ステップと、
    前記文字検出ステップで検出された文字列領域を文字認識して文字列を取得する文字認識ステップと、
    前記入力された画像と抽出モデルとして記憶されている学習済の画像とを比較して、項目種毎に項目領域を特定する抽出ステップと、
    前記画像の一部の領域を表示領域として入力する表示領域入力ステップと、
    特定の項目種に対応する文字列を項目値として入力する項目値入力ステップと、
    前記項目値をクエリとして、前記文字認識ステップで取得された前記表示領域中の文字列を検索し、前記項目値を内包する文字列領域を前記特定の項目種に対応する項目領域として取得する検索ステップと、
    前記検索ステップで取得された項目領域および前記特定の項目種を学習し前記抽出モデルを構築する学習ステップと
    を備えたことを特徴とするデータ入力支援方法。

Images