JP2022019446A - 画像処理システム、装置、方法、プログラム - Google Patents

Abstract

【課題】 ユーザが選択した領域の文字認識結果の文字列が、所望の範囲でなかった場合に簡単に修正できるようにする。【解決手段】 本発明では、文書画像に対して文字認識処理を実行し、当該文字認識処理の認識結果の文字列において、候補分割点を特定しておく。そして、表示した文書画像上でユーザにより所望の位置が指定されると、当該指定された位置に対応する文字列を出力対象とするとともに、前記候補分割点を表示する。そして、この候補分割点がユーザにより操作された場合は、前記出力対象の文字列を前記候補分割点に基づき分割された文字列に変更する。【選択図】 図１２

Description

本発明は、画像処理システム、装置、方法及びプログラムに関する。

紙の文書をスキャンし、電子化して保管する業務がある。従来、電子化する際に、文字認識を実施してファイル名に利用するシステムがあった。例えば、文書画像上から文字認識結果をユーザが選択して、その文字認識結果をファイル名として任意のストレージに保存するシステムがあった。しかしながら、文字認識結果を使用しているため、文字認識結果の揺れ、例えばファイル名として設定したい文字列に余分な空白文字が存在したときに、ファイル名にも空白文字が含まれてしまい、好ましくない。そこで、特許文献１では、文字認識結果をファイル名に利用するのに、先頭の空白文字を除去するなどファイル名として好適な文字列に変換する方法が開示されている。

特開２０１３－７４６０９号公報

特許文献１の方法では、選択された文字認識に空白文字が入っていた場合に、ファイル名として好適な文字列に変換はできる。しかし、ユーザによっては、ファイル名として選択した、文字認識の結果の文字列の範囲が好ましくないことがある。また、同様の文書画像に対してファイル名を付与する際、ファイル名にしたい文字列の範囲がユーザごとに異なる場合もあるので、１つの基準でファイル名に用いる文字列を決めるのは難しい。例えば、文書画像内に記載されている日付をファイル名に用いる際、例えば、その日付に付随する項目名（例えば“支払期日”）の文字列も一緒にファイル名に使用したいというユーザもいるし、日付のみをファイル名に使用したいというユーザもいる。

本発明の画像処理システムは、文書画像に対して文字認識処理を実行する文字認識手段と、前記文字認識処理の認識結果の文字列において、候補分割点を特定する候補分割手段と、前記文書画像を表示し、当該表示した文書画像上でユーザにより指定された位置に対応する文字列を出力対象とするとともに、前記候補分割点を表示する表示手段と、前記表示した前記候補分割点が前記ユーザにより操作された場合、前記出力対象の文字列を前記候補分割点に基づく文字列に変更する変更手段と、を備えることを特徴とする。

本発明によれば、ユーザが選択した領域の文字認識結果の文字列が、所望の範囲でなかった場合に簡単に修正できる操作性を提供することが可能となる。

画像処理システムのシステム構成を示す図である。 画像形成装置１０１のハードウェア構成を説明する図である。 画像処理サーバ１０２、ユーザ端末１０３のハードウェア構成を説明する図である。 帳票画像４００とその文字認識結果の例を示す図である。 第１の実施形態の処理フローを示す図である。 テキスト分割の処理フローを示す図である。 候補分割の処理フローを示す図である。 テキスト補正の処理フローを示す図である。 正規表現定義のリストを示す図である。 文字認識結果の例を示す表である。 テキスト分割結果の位置を示す例である。 候補分割結果の位置を示す例である。 テキスト補正結果の例である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理システム１００の構成例を示す図である。この画像処理システム１００は、画像形成装置１０１と、画像処理サーバ１０２と、ユーザ端末１０３とを有する。画像形成装置１０１と、画像処理サーバ１０２と、ユーザ端末１０３は、ネットワーク１０４により相互に接続され、通信可能である。

画像形成装置１０１は、ユーザ端末１０３から画像データの印刷依頼（印刷データ）を受信して印刷することや、画像形成装置１０１に備わるスキャナで画像データを読み取ることや、スキャナで読み取られた画像データを印刷することなどが可能な複合機である。また、画像処理サーバ１０２は、画像形成装置１０１のスキャナで読み取られた画像データに対して後述の画像処理を実行し、その画像処理結果を、ユーザ端末１０３に送信することが可能な画像処理装置である。なお、画像処理サーバ１０２は、クラウド、すなわちインターネット上に配置される仮想サーバであってもよい。ユーザ端末１０３は、画像処理サーバ１０２から受信した画像処理結果を、ユーザインターフェイスを備えたアプリケーションでユーザと対話的に追加処理をすることが可能である。なお、本実施形態では、ユーザ端末１０３は、ディスプレイとキーボードやマウスを備えた一般的なＰＣを想定するが、例えばタッチパネルを備えたモバイル端末であってもよい。

本実施形態では、画像形成装置１０１が請求書などの紙の帳票をスキャンし、画像処理サーバ１０２がそこから必要となる情報を抽出して電子的に格納し、ユーザ端末１０３が抽出結果の確認と修正が可能なユーザインターフェイスを提供する、一連のデータ入力支援処理の説明を行う。

図２は、画像形成装置１０１の構成の一例を示す図である。画像形成装置１０１は、コントローラ２０１、プリンタ２０２、スキャナ２０３、及び操作部２０４を有する。コントローラ２０１は、ＣＰＵ２１１、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８を有する。

ＣＰＵ２１１は、画像形成装置１０１の全体を制御する。ＣＰＵ２１１は、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８とのデータの授受を制御可能である。また、ＣＰＵ２１１は、ＨＤＤ２１３から読み出した制御プログラム（命令）をＲＡＭ２１２に展開し、ＲＡＭ２１２に展開した命令を実行する。ＨＤＤ２１３は、ＣＰＵ２１１で実行可能な制御プログラム、画像形成装置１０１で使用する設定値、及びユーザから依頼された処理に関するデータ等を記憶する。ＲＡＭ２１２は、ＣＰＵ２１１がＨＤＤ２１３から読み出した命令を一時的に格納するための領域を有する。また、ＲＡＭ２１２は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、ＣＰＵ２１１は入力されたデータをＲＡＭ２１２に展開することで処理を行うことが可能である。

ネットワークＩ／Ｆ２１４は、画像処理システム１００内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークＩ／Ｆ２１４は、データ受信を行ったことをＣＰＵ２１１に伝達することや、ＲＡＭ２１２上のデータをネットワーク１０４に送信することが可能である。プリンタＩ／Ｆ２１５は、ＣＰＵ２１１から送信された印刷データをプリンタ２０２に送信することや、プリンタ２０２から受信したプリンタの状態をＣＰＵ２１１に伝達することが可能である。スキャナＩ／Ｆ２１６は、ＣＰＵ２１１から送信された画像読み取り指示をスキャナ２０３に送信し、スキャナ２０３から受信した画像データをＣＰＵ２１１に伝達することや、スキャナ２０３から受信した状態をＣＰＵ２１１に伝達することが可能である。操作部Ｉ／Ｆ２１７は、操作部２０４から入力されたユーザからの指示をＣＰＵ２１１に伝達することや、ユーザが操作するための画面情報を操作部２０４に伝達することが可能である。拡張Ｉ／Ｆ２１８は、画像形成装置１０１に外部機器を接続することを可能とするインターフェイスである。拡張Ｉ／Ｆ２１８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）形式のインターフェイスを具備する。画像形成装置１０１は、ＵＳＢメモリ等の外部記憶装置が拡張Ｉ／Ｆ２１８に接続されることにより、当該外部記憶装置に記憶されているデータの読み取り及び当該外部記憶装置に対するデータの書き込みを行うことが可能である。

プリンタ２０２は、プリンタＩ／Ｆ２１５から受信した画像データを用紙に印刷することや、プリンタ２０２の状態をプリンタＩ／Ｆ２１５に伝達することが可能である。

スキャナ２０３は、スキャナＩ／Ｆ２１６から受信した画像読み取り指示に従って、読み取り部に置かれた用紙に表示されている情報を読み取ってデジタル化してスキャナＩ／Ｆ２１６に伝達することが可能である。また、スキャナ２０３は、自身の状態をスキャナＩ／Ｆ２１６に伝達することが可能である。

操作部２０４は、画像形成装置１０１に対して各種の指示を行うための操作をユーザに行わせるためのインターフェイスである。例えば、操作部２０４は、タッチパネルを有する液晶画面を具備し、画像形成装置１０１のユーザに操作画面を提供するとともに、ユーザからの操作を受け付ける。なお、操作部２０４の詳細は図５で後述する。

図３（ａ）は、画像処理サーバ１０２の構成の一例を示す図である。画像処理サーバ１０２は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４を有する。ＣＰＵ３０１は、画像処理サーバ１０２の全体を制御する。ＣＰＵ３０１は、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４とのデータの授受を制御可能である。また、ＣＰＵ３０１は、ＨＤＤ３０３から読み出した制御プログラム（命令）をＲＡＭ３０２に展開し、ＲＡＭ３０２に展開した命令を実行する。

図３（ｂ）は、ユーザ端末１０３の構成の一例を示す図である。ユーザ端末１０３は、ＣＰＵ３１１、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、入出力Ｉ／Ｆ３１５を有する。ＣＰＵ３１１は、ユーザ端末１０３の全体を制御する。ＣＰＵ３１１は、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、及び入出力Ｉ／Ｆ３１５とのデータの授受を制御可能である。ディスプレイ３２０は、液晶などの表示デバイスによって構成され、入出力Ｉ／Ｆ３１５から受信した表示情報を表示する。入力装置３３０は、マウス、あるいはタッチパネルといったポインティングデバイス、およびキーボードによって構成され、ユーザからの操作を受け付けて、入出力Ｉ／Ｆ３１５に操作情報を送信する。ＨＤＤ３１３には、画像処理サーバ１０２からネットワークＩ／Ｆ３１４を介して受信した画像処理結果を格納することが可能である。本実施形態では、ＣＰＵ３１１は、ＨＤＤ３１３から読み出したアプリケーションプログラムをＲＡＭ３１２に展開し、操作部Ｉ／Ｆ３１５にて表示情報の表示とユーザ操作の受け付けを行う。

図４（ａ）は、本実施形態において想定する帳票画像４００の一例を示す図である。帳票画像４００は、画像形成装置１０１のスキャナで紙文書（例えば請求書）を読み取ることにより取得した画像である。項目値４０１乃至４０３は、画像処理システム１００で抽出対象にしたい項目文字列の例である。図４（ａ）の項目値４０１は、この文書の内容を示すタイトルの値であり、項目値４０２は、発行日を示す日付の値であり、項目値４０３は請求金額の値である。なお、図４（ａ）の例では、各項目値４０１～４０３の位置を示すために矩形枠で囲んで説明しているが、スキャンして得た帳票画像に矩形枠は記載されていないものとする。

図４（ｂ）は、帳票画像４００に対して、汎用の領域解析処理と光学文字認識（ＯＣＲ）処理とを実行した場合に得られる文字認識結果の文字列（ＯＣＲ文字列）の例である。文字列４１０乃至４１７の８個の文字領域が特定され、各文字領域からＯＣＲ文字列が抽出されている。図４（ｂ）では、領域解析処理およびＯＣＲ処理の結果に基づき抽出された各文字領域に対応する位置を矩形枠で示している。文字列４１０は、項目値４０１の文字列とその左側にある文字列とを包含する１つの文字領域に対応する文字列として得られている。また、文字列４１１は、項目値４０２とその左側の文字列とを包含する１つの文字領域に対応する文字列として抽出されている。また、文字列４１３も、項目値４０３とその左側の文字列とを包含する領域に対応する文字列として抽出されている。

この文字列をユーザによるファイル名作成のＵＩに用いるユースケースを説明する。例えば、ユーザが文書画像上の所望の位置をクリックした場合に、当該クリックした位置に対応する、図４（ｂ）の領域解析結果に基づく文字領域が選択されるようなＵＩ（ユーザインタフェース）について説明する。

このようなＵＩでは、あるユーザが“ＡＢＣ”の文字列上をクリックして指定すると、領域解析結果に基づく文字領域の文字列（すなわち、文字領域４１０の“ＡＢＣ（株）様請求書”という文字列）が選択されることになる。したがって、そのユーザが“ＡＢＣ（株）”の部分のみをファイル名として選択したかった場合は、当該選択された文字列の中から、余分な“様請求書”の文字列を削除するように操作する必要がある。また一方、ファイル名に“ＡＢＣ（株）様”と付けたい別のユーザが操作している場合は、クリックにより指定された“ＡＢＣ（株）様請求書”という文字列から、余分な“請求書”の文字列を削除するように操作する必要がある。

以下では、ユーザが指定した位置に対応する文字領域の文字認識結果の文字列に基づいてファイル名を付与するシステムにおいて、当該文字認識結果の文字列がユーザの所望する文字列でない場合に修正を簡単に行える修正操作ＵＩについて説明する。

本実施形態の処理フローについて説明する前に、まず、図９の正規表現定義リストについて説明する。

図９の正規表現定義リスト９００は、後述するステップＳ５０３のテキスト分割処理で使用される複数の正規表現定義をテーブル形式で示した例である。正規表現定義リスト９００では、各定義ＩＤに対して、正規表現式と、正規表現パラメータとの組み合わせを関連付けることにより定義している。このリストで予め定義された複数の正規表現定義は、画像処理サーバ１０２のＨＤＤ３０３に格納されている。正規表現式は、抽出したい項目、例えば日付や、電話番号、金額、文書タイトルに含まれる文字など、抽出対象にしたい文字列を一つの正規表現式で記述したものである。正規表現パラメータとは、正規表現式ごとに定義した、正規表現検索を実施する際に対象となるＯＣＲ文字列をどのように解釈するかのパラメータである。例えば、隣接する文字と文字の間の距離がどの程度離れていればスペース文字（空白文字）として扱うか、などをパラメータで記述したものである。

図９の正規表現定義リスト９００の例では、３個の正規表現定義９１０、９２０、９３０が定義されている。

正規表現定義ＩＤ９１０は、“￥Ｓ＊書”の正規表現式と、“スぺース＝２ｈ”の正規表現パラメータからなる。“￥Ｓ＊書”の正規表現式は、スペース文字以外（￥Ｓ）の複数の文字と“書”という文字とを組み合わせたパターンを表しており、例えば“請求書”、“見積書”などの文字列が該当するパターンとして検索可能である。正規表現パラメータの“スペース＝２ｈ”は、ＯＣＲ文字列を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さ（ｈ）に対して２倍以上空いてれば、スペース文字を挿入して扱うことを示している。なお、本実施形態では、正規表現パラメータとして、スペース文字と扱うための閾値に文字高さを用いて規定しているが、例えば画像のピクセルサイズや、紙面上の物理的な距離、平均文字幅などを基準として用いてもよい。

正規表現定義９２０は、日付に関する正規表現定義であり、“￥ｄ｛２，４｝年￥ｄ｛１，２｝月￥ｄ｛１，２｝日”の正規表現式と、“スペース削除”の正規表現パラメータからなる。“￥ｄ｛２，４｝年￥ｄ｛１，２｝月￥ｄ｛１，２｝日”の正規表現式は、２～４桁の数字と、“年”と、１～２桁の数字と、“月”と、１～２桁の数字と、“日”と、を組み合わせたパターンを表しており、このパターンに一致する日付の文字列が検索可能である。正規表現パラメータの“スペース削除”とは、ＯＣＲ文字列を検索文字列に変換する際に、隣り合った文字の間の距離によらず、スペース文字を挿入しないことを示している。

正規表現定義９３０は、“［１－９］［￥ｄ，］＊円”の正規表現式と、“スぺース＝１ｈ”の正規表現パラメータからなる。“［１－９］［￥ｄ，］＊円”の正規表現式は、１～９のいずれかの数字で始まり、１桁以上のカンマを含む数字と、“円”と、を組み合わせたパターンを表しており、このパターンに一致する金額を表す文字列が検索可能である。正規表現パラメータの“スペース＝１ｈ”とは、ＯＣＲ文字列を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さ（ｈ）を基準として、文字高さ１個分以上空いていればスペース文字を挿入して扱うことを示している。

正規表現定義９４０は、“￥ｓ”の正規表現式と、“スぺース＝３．５ｈ”の正規表現パラメータからなる。正規表現定義９４０は、スペース文字（￥ｓ）というパターンを表し、スペース文字の文字列が検索可能である。正規表現パラメータの“スペース＝３．５ｈ”は、テキスト情報を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さを基準として、３．５個分以上空いてれば、スペース文字を挿入して扱うことを示している。つまり、この正規表現定義９４０は、文字間の間隔が、文字高さの３．５倍以上空いてれば、その文字間にスペース文字を挿入し、かつ、そのスペース文字が正規表現式にマッチするパターン記述である。

図９の正規表現定義リスト９０１は、後述するステップＳ５０４の候補分割処理で使用される１または複数の正規表現定義をテーブル形式で示した例である。正規表現定義リスト９０１は、正規表現定義リスト９００と同様の形式であり、各定義ＩＤに対して、正規表現式と、正規表現パラメータとの組み合わせを関連付けることにより定義している。図９の正規表現定義リスト９０１の例では、１つの正規表現定義９５０について定義している。

正規表現定義ＩＤ９５０は、“￥ｓ”の正規表現式と、“スぺース＝０．５ｈ”の正規表現パラメータからなる。正規表現定義９５０は、スペース文字（￥ｓ）というパターンを表し、スペース文字の文字列が検索可能である。正規表現パラメータの“スペース＝０．５ｈ”は、テキスト分割結果の文字列情報を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さ（ｈ）に対して０．５倍以上空いてれば、スペース文字を挿入して扱うことを示している。つまり、この正規表現定義９５０は、文字高さに対して０．５倍以上空いてれば、スペース文字を挿入するとともに、スペース文字が正規表現式にマッチするパターン記述である。

図９の正規表現定義リスト９０２は、後述するステップＳ５０５のテキスト補正処理で使用される複数の正規表現定義をテーブル形式で示した例である。正規表現定義リスト９０２は、各定義ＩＤに対して、正規表現式と、正規表現パラメータと、当該正規表現式にマッチしたテキスト情報に実行すべき処理と、を関連づけることにより定義している。この定義リストは、画像処理サーバ１０２のＨＤＤ３０３に格納されている。

正規表現定義の定義ＩＤ９６０に対しては、正規表現定義９２０と同様の正規表現式と、正規表現パラメータとが関連づけられ、さらに、当該正規表現式にマッチした場合に実行する処理は、当該マッチしたテキスト情報に対してスペース文字を除去する処理である。

正規表現定義の定義ＩＤ９７０に対しては、正規表現定義９３０と同様の正規表現式と、正規表現パラメータとが関連づけられ、さらに、当該正規表現式にマッチした場合に実行する処理は、当該マッチしたテキスト情報に対して“，”を削除する処理である。

正規表現定義の定義ＩＤ９８０に対しては、正規表現定義９３０と同様の正規表現式と、正規表現パラメータとが関連づけられ、さらに、当該正規表現式にマッチした場合に実行する処理は、当該マッチしたテキスト情報に対して“円”を削除する処理である。

図４の帳票画像４００および図９の正規表現定義リスト９００、９０１，９０２を例として用いて、本実施形態の画像処理を、図５～８のフローチャートを用いて説明する。

図５のＳ５０１において、画像形成装置１０１のＣＰＵ２１１は、スキャナ２０３で読み取った帳票画像４００を、画像処理サーバ１０２へ送信する。画像処理サーバ１０２は、その画像形成装置１０１から送信された帳票画像４００を取得する。

次にＳ５０２において、画像処理サーバ１０２のＣＰＵ３０１は、帳票画像４００に治して領域解析処理を行うことにより文字領域を特定し、文字領域に対して文字認識処理を実行する。文字認識処理の結果、ＣＰＵ３０１は、文字領域（文字ブロック）の座標と、文字領域中の各文字の座標と、当該文字認識結果の文字コードとを得る。ここで得た文字領域単位の文字コードの配列をＯＣＲ文字列（文字認識結果の文字列）と呼ぶ。帳票画像４００に文字認識処理を実施した結果、文字列４１０乃至４１７がＯＣＲ文字列として取得されたものとする。

次にＳ５０３において、画像処理サーバ１０２のＣＰＵ３０１は、テキスト分割処理を行う。このテキスト分割処理の詳細については、図６のフローチャートを用いて説明する。

図６のＳ６０１において、画像処理サーバ１０２のＣＰＵ３０１は、ＨＤＤ３０３に格納された図９の正規表現定義リスト９００から、正規表現定義の１つ（例えば正規表現定義９１０）を処理対象とする。

次にＳ６０２において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ６０１で処理対象とした正規表現定義の正規表現パラメータに基づいて、Ｓ５０２で得た文字認識結果の文字列を解釈し、検索用文字列として正規化する。

図１０は文字認識結果の例である。文字認識結果１００１は、文字列４１０の文字認識結果である。文字認識結果１００２は、文字列４１１の文字認識結果である。また文字認識結果１００３は、文字列４１３の文字認識結果である。文字認識結果１００１～１００３の各表における文字の行は各認識文字を表し、距離の行は、次の文字までの距離として、文字高さを相対基準とした距離を表している。正規表現定義９１０の正規表現パラメータは“スペース＝２ｈ”であり、これは文字同士の距離が文字高さを相対基準として文字高さ２個分以上であればスペース文字とみなすことを示している。認識結果１００１では、“様”の文字が、隣の“請”の文字まで２．１文字高さに相当する距離ぶん離れているため、ここにスペース文字を挿入して検索用文字列“ＡＢＣ（株）様 請求書”を生成する。

なお、正規表現パラメータごとに、検索用の文字列は変わるので、例えば“スペース＝１ｈ”と定義していた場合は、さらに“請”と“求”、“求”と“書”の間にスペース文字を挿入し、“ＡＢＣ（株） 様 請 求 書”となるし、“スペース削除”と定義していた場合は“ＡＢＣ（株）様請求書”となる。

同様に、残りの文字認識結果４１１乃至４１７に対してもＳ６０２の処理を実行して、すべての文字列に対する検索用文字列を生成する。

次に、Ｓ６０３において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ６０２で得た検索用文字列に対して、Ｓ６０１で処理対象とした正規表現定義の正規表現式にマッチするかどうか判定するための正規表現検索を実施する。

文字列４１０の検索用文字列“ＡＢＣ（株）様 請求書”に対して正規表現定義９１０の正規表現式の検索を行った場合、“請求書”の部分が一致する。続いて、文字列４１１の検索用文字列“発行日：２０２０年 ５月 １５日”に対して正規表現定義９１０の正規表現式の検索を行った結果、一致する箇所は得られない。同様に、残りの文字列４１２乃至４１７に対しても正規表現定義９１０の正規表現式を用いて同様の処理を実施し、その結果、他の文字列には正規表現式は一致しない。

次にＳ６０４において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ６０３の検索結果で得られた“請求書”の一致情報をＲＡＭ３０２へと格納する。

次に、Ｓ６０５において、画像処理サーバ１０２のＣＰＵ３０１は、未処理の正規表現定義が残っているか判別し、未処理の正規表現定義が残っている場合は、Ｓ６０１へ戻って、未処理の正規表現定義の１つを次の処理対象として、同様の処理を繰り返す。

例えば、正規表現定義９１０を最初の処理対象としていた場合は、正規表現定義９２０を次の処理対象とする。この場合、Ｓ６０１において、文字認識結果１００２に対して、正規表現定義９２０のパラメータに基づいて、検索用文字列を生成する。正規表現定義９２０のパラメータは“スペース削除”であるため、文字間の距離にかかわらず、スペース文字を挿入しないので、文字認識結果１００２からは、検索用文字列として“発行日：２０２０年５月１５日”が得られる。そして、正規表現定義９２０の正規表現式に一致する箇所として、“２０２０年５月１５日”の検索結果が得られる。

同様に、正規表現定義９３０を処理対象とした場合は、Ｓ６０２において、文字認識結果１００３に対して、正規表現定義９３０のパラメータ“スペース＝１ｈ”に基づいて、“合計金額： １１，２８６円”の検索文字列を形成する。そして、正規表現定義６３０の正規表現式に一致する箇所として、Ｓ６０３において、“１１，２８６円”が検索される。

Ｓ６０６において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ６０４の処理でＲＡＭに格納された検索結果をもとに文字列の分割処理を実施する。分割処理とは、ＯＣＲ文字列中において、正規表現式で一致した箇所の両端で、ＯＣＲ文字列を分割する処理のことである。例えば、ＯＣＲ文字列４１０の“ＡＢＣ（株）様請求書”において、“請求書”の左右を文字列の区切りとして分割する。ただし、“請求書”の右側は、ＯＣＲ文字列の右端であるため分割は発生せず、“請求書”の左側の位置（すなわち、“様”と“請”の間）で分割することにより、ＯＣＲ文字列４１０を二つの文字列に分割する。同様に、“２０２０年５月１５日”、“１１，２８６円”についても処理を行い、図６のフローチャートの処理を終了する。テキスト分割処理により分割された後の文字列をテキスト分割結果と呼ぶこととする。このテキスト分割結果は、分割後の文字列を示すテキスト情報と、各文字の外接矩形の文字位置情報とを含む。

図１１は、帳票画像４００に対して、図６で詳細を説明したテキスト分割処理を適用した後のテキスト分割結果を示した図である。文字認識結果の文字列４１０がテキスト分割結果１１００と１１０１に分割され、文字認識結果の文字列４１１がテキスト分割結果１１０２と１１０３に分割され、文字認識結果の文字列４１３がテキスト分割結果１１０４と１１０５に分割されている。なお、文字認識結果４１２、４１４乃至４１７は元のままとなっている。

次にＳ５０４において、画像処理サーバ１０２のＣＰＵ３０１は、候補分割処理を行う。この候補分割処理の詳細については、図７のフローチャートを用いて説明する。

図７のＳ７０１において、画像処理サーバ１０２のＣＰＵ３０１は、ＨＤＤ３０３に格納された正規表現定義リスト９０１から、正規表現定義の１つ（正規表現定義９５０）を処理対象とする。そして、Ｓ７０２～Ｓ７０５の処理を実行することによって、Ｓ５０３のテキスト分割処理で分割したテキスト分割結果の中に、当該処理対象とした正規表現定義に一致するパターンがあるか判定する。Ｓ７０２～Ｓ７０５の処理は、Ｓ６０２～Ｓ６０５の処理と同様であるので、詳細説明は省略する。なお、図９の正規表現定義リスト９０１の例では、正規表現定義９５０が１つだけ定義されているので、Ｓ７０２で挿入したスペース文字の箇所がＳ７０３で検索され、当該検索されたスペース文字の箇所がマッチする位置としてＳ７０４で格納されることになる。当該格納されたスペース文字の位置情報は、後述するＳ５０６で表示される図１２のＵＩにおいて、候補分割点の位置として利用される。

なお、図９の正規表現定義リスト９０１では、スペース文字の位置を特定するための正規表現定義９５０だけを定義していたが、これだけに限るものではない。例えば、“：”（コロン）や“；”（セミコロン）の位置も検索できるように、正規表現式を定義してもよい。なお、“：”（コロン）や“；”（セミコロン）の位置を検索する場合は、スペース文字を挿入する必要が無いので、正規表現パラメータはスペース削除とすればよい。

次にＳ５０５において、画像処理サーバ１０２のＣＰＵ３０１は、テキスト補正処理を行う。このテキスト補正処理の詳細については、図８のフローチャートを用いて説明する。

図８のＳ８０１において、画像処理サーバ１０２のＣＰＵ３０１は、ＨＤＤ３０３に格納された正規表現定義リスト９０２から、正規表現定義の１つを処理対象とする。例えば、正規表現定義９６０、正規表現定義９７０、正規表現定義９８０の順で１つずつ処理対象としてＳ８０２～Ｓ８０７の処理を繰り返し行う。Ｓ８０２～Ｓ８０３の処理は、Ｓ６０２～Ｓ６０３の処理と同様であるので詳細説明を省略するが、Ｓ５０３のテキスト分割処理で分割したテキスト分割結果の中に、当該処理対象とした正規表現定義に一致するパターンがあるか判定する。

図１３の１３０１は、テキスト分割結果の文字列の中から正規表現定義９６０に一致すると判定された文字列である。テキスト分割結果１３０１の表における文字の行は各認識文字、距離の行は次の文字までの文字高さ相対距離を表している。また、テキスト分割結果１３０２は、テキスト分割結果の文字列の中から、正規表現定義９７０および正規表現定義９８０でマッチすると判定される文字列である。

Ｓ８０４において、画像処理サーバ１０２のＣＰＵ３０１は、あらかじめ定義した文字間の距離を用いて、文字認識結果のテキスト情報およびテキスト分割結果のテキスト情報に対して、スペース文字を挿入する。本実施例では、“スペース＝０．５ｈ”でスペース文字を挿入する。例えば、テキスト分割結果１３０１に対してＳ８０４のスペース挿入処理を行うと、スペース挿入結果１３０３となる。また、テキスト分割結果１３０２に対してＳ８０４のスペース挿入処理を行った場合は、結果的にスペース文字は挿入されずに、スペース挿入結果１３０４となる。

Ｓ８０５において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ８０３で正規表現定義にマッチすると判定された文字列を対象として、Ｓ８０６の処理に進む。テキスト分割結果１３０１、テキスト分割結果１３０２はマッチした文字列であるので、Ｓ８０６の処理対象となる。なお、Ｓ８０３で正規表現定義にマッチすると判定されなかった文字列に関しては、Ｓ８０６の処理対象とならずに、Ｓ８０７に進む。

Ｓ８０６において、画像処理サーバ１０２のＣＰＵ３０１は、当該処理対象の正規表現定義に対応づけられている処理を実行する。正規表現定義９６０にマッチしたテキスト分割結果１３０１に対しては、Ｓ８０４でスペース文字が挿入されて文字列１３０３となったが、Ｓ８０６で、正規表現定義９６０に対応付けられている処理がスペース文字を除去する処理であるので、結果的にテキスト補正結果１３０５となる。また、正規表現定義９７０にマッチしたテキスト分割結果１３０２については、Ｓ８０４の処理後の文字列１３０４に対して、正規表現定義９７０に対応付けられた処理（“，”を除去する処理）が実行されて、テキスト補正結果１３０６となる。さらに、テキスト分割結果１３０２は正規表現定義９８０にもマッチするので、テキスト補正結果１３０６に対して、正規表現定義９８０に対付けられた処理（“円”を除去する処理）がさらに実行されて、テキスト補正結果１３０７となる。

Ｓ５０６において、画像処理サーバ１０２のＣＰＵ３０１は、ユーザ端末１０３に対して、ファイル名を付与するためのＵＩ画面の表示を行わせるための情報を送信する。当該送信される情報には、表示のための文書画像と、各文字領域の文字認識結果の文字列と、各文字領域位置情報）と、候補分割点の位置情報などが含まれる。ユーザ端末１０３のＣＰＵ３１１は、当該受信した情報に基づいて、ディスプレイ３２０に文書画像を表示して、ユーザが当該文書画像上の所望の位置を指定すると、当該指定した位置に対応する文字列に基づきファイル名を付与するためのＵＩ表示を行う。ＵＩ画面の表示は、ユーザ端末１０３が備えるＷｅｂブラウザを介して表示されるＷｅｂアプリケーションであってもよいし、専用のアプリケーションを用いて表示されるものであってもよい。

図１２は、Ｓ５０３のテキスト分割処理結果の文字列の位置と、Ｓ５０４の候補分割処理結果の候補分割点の位置とが、文書画像上のどの位置に対応するかを模式的に示したものである。Ｓ５０３のテキスト分割処理結果の文字列の位置は、図１１と同様に、テキスト分割結果１１００～１１０５で示されている。また、Ｓ５０４の候補分割処理の結果の位置は、候補分割点１２００～１２０３で示されている。候補分割点１２００は、テキスト分割結果１１００において、Ｓ７０３の処理でマッチしたスペース文字の位置を候補分割点として示したものである。また、候補分割点１２０１および分割点１２０２は、テキスト分割結果１１０３において、Ｓ７０３の処理でマッチした位置を示したものである。また、候補分割点１２０３は、文字認識結果の文字列４１７において、Ｓ７０３の処理でマッチしたスペース文字の位置を候補分割点として示したものである。

Ｓ５０６で表示されるファイル名付与ＵＩ画面では、ユーザが文書画像上の所望の位置を指定すると、当該指定した位置に対応する文字列の領域（図１２の４１２～４１７、１１００～１１０５のいずれか）がフォーカスされ、その文字列の認識結果が、ファイル名入力欄に入力される。候補分割点１２００～１２０３は通常、非表示であるが、当該フォーカスされた領域に対して候補分割点を設定している場合は、当該フォーカスされた時点で、候補分割点の位置を表示してユーザが候補分割点を選べるようにする。例えば、ユーザにより指定された位置が、テキスト分割結果１１００に対応する位置であった場合は、当該テキスト分割結果１１００の領域をフォーカス表示するとともに、候補分割点１２００を指定可能に表示する。なお、候補分割点の位置は、図１２のように三角形のマークで表示してもよいし、縦線のバーなど、その他のマークで表示するようにしても構わない。

そして、Ｓ５０７において、ユーザ端末１０３のＣＰＵ３１１は、ユーザによる候補分割点に対する操作をトリガーにして、ファイル名入力欄に入力済みの文字列を修正することで、ファイル名として利用される文字列を変更する。例えば、ユーザの文書画像上でのクリック操作によりフォーカス表示された領域の文字列“ＡＢＣ（株）様”がユーザ所望の文字列ではなかった場合、ユーザは、さらに、候補分割点１２００を押下する操作を行うことにより、テキスト分割結果を修正し、出力結果として“ＡＢＣ（株）”を得ることができる。またテキスト分割結果１１０３の“２０２０年５月１５日”がユーザの所望する出力結果ではなかった場合、分割点１２０２を押下することにより、テキスト分割結果を修正し、出力テキストとして“２０２０年５月”を得ることができる。

なお、本実施形態では、候補分割点をユーザがクリック操作（またはタッチ操作）した場合、候補分割点の左側の文字列が出力されるものとするが、これに限るものではない。例えば、ユーザが候補分割点を押して右にドラッグする操作を行うと、候補分割点の右側の文字列を出力対象とし、ユーザが候補分割点を押して左にドラッグする操作を行うと、候補分割点の左側の文字列を出力対象とするようにしてもよい。このように、候補分割点に対して所定の操作が行われると、当該候補分割点で分割されたいずれかの文字列が出力対象となるようにすればよい。

Ｓ５０８において、ユーザ端末１０３のＣＰＵ３１１は、ユーザによるファイル名確定操作が行われると、それまでのＳ５０６～Ｓ５０７でファイル名入力欄に入力された文字列に基づき、当該文書画像に付与すべきファイル名を確定する。そして、ユーザ端末１０３のＣＰＵ３１１は、当該確定したファイル名の情報を、画像処理サーバ１０２に送信して、当該確定したファイル名の情報を文書画像に関連付けさせる。

なお、本実施形態では、Ｓ５０６～Ｓ５０８において、ユーザ端末１０３において表示されるＵＩ画面でファイル名を確定した後に、当該確定したファイル名の情報を画像処理サーバ１０２に表示するようにしたが、これに限るものではない。例えば、ユーザ端末１０３において、ユーザが文字列を指定したり候補分割点を操作したりするたびに、当該入力または変更された文字列の情報を画像処理サーバ１０２に通知するように構成してもよい。

以上のように本画像処理を適用することで、文字認識結果やテキスト分割結果をユーザが選択することでファイル名として付与することができるようになる。さらに、その領域がユーザの所望の結果ではないときに候補分割点に対する所定の操作を行うことにより文字認識結果やテキスト分割結果を修正することができ、それに伴い出力テキストを修正することが出来る。

なお、本実施形態では、文字認識処理の言語設定として日本語で説明したが、これに限るものではなく、文字認識言語が英語である場合は、英語に対応した正規表現定義を読み込み実行する構成であってもよい。さらにユーザによる言語指定を行わず、文字認識時に各行ごとに言語推定を行い、言語推定結果毎にテキスト分割時に読み込む正規表現定義を変更して実行する構成であってもよい。さらに文字認識前に帳票を分類し、その分類結果毎にテキスト分割時に読み込む正規表現定義を変更して実行する構成であってもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理システム
１０１ 画像形成装置
１０２ 画像処理サーバ（画像処理装置）
１０３ ユーザ端末
１０４ ネットワーク

Claims (14)

1. 文書画像に対して文字認識処理を実行する文字認識手段と、
   前記文字認識処理の認識結果の文字列において、候補分割点を特定する候補分割手段と、
   前記文書画像を表示し、当該表示した文書画像上でユーザにより指定された位置に対応する文字列を出力対象とするとともに、前記候補分割点を表示する表示手段と、
   前記表示した前記候補分割点が前記ユーザにより操作された場合、前記出力対象の文字列を前記候補分割点に基づく文字列に変更する変更手段と、
   を備えることを特徴とする画像処理システム。
2. 正規表現式とスペース文字に関するパラメータとを関連づけた正規表現定義を用いて、前記文字認識処理の認識結果の文字列を分割するテキスト分割手段を更に備え、
   前記候補分割手段は、前記文字認識処理の認識結果の文字列および前記テキスト分割手段で分割された後の文字列において、前記候補分割点を特定する、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記表示手段は、前記表示した文書画像上で前記ユーザにより指定された位置に対応する文字列を出力対象とするとともに、当該文書画像上で当該文字列に対応する領域をフォーカス表示し、かつ、前記候補分割点を表示する、ことを特徴とする請求項１または２に記載の画像処理システム。
4. 前記候補分割手段は、文字列における所定の文字の位置に基づいて、前記候補分割点を特定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記候補分割手段は、前記所定の文字を検索するための正規表現式とスペース文字に関するパラメータとを関連づけた正規表現定義を用いて、前記文字列における所定の文字の位置を検索し、当該検索した位置に基づいて、前記候補分割点を特定する、ことを特徴とする請求項４に記載の画像処理システム。
6. 前記所定の文字はスペース文字であり、前記候補分割手段は、文字列におけるスペース文字の位置に基づいて、前記候補分割点を特定する、ことを特徴とする請求項４または５に記載の画像処理システム。
7. 前記候補分割手段は、文字列におけるコロンの位置に基づいて、前記候補分割点を特定する、ことを特徴とする請求項４または５に記載の画像処理システム。
8. 前記所定の文字はセミコロンであり、前記候補分割手段は、文字列におけるセミコロンの位置に基づいて、前記候補分割点を特定する、ことを特徴とする請求項４または５に記載の画像処理システム。
9. 前記変更手段は、前記表示した前記候補分割点に対して前記ユーザにより所定の操作が為されるのに応じて、前記出力対象の文字列を前記候補分割点に基づき分割された文字列に変更する、ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記表示手段は、前記表示した文書画像上で前記ユーザにより前記位置の指定が行われるのに応じて、当該指定された位置に対応する文字列の領域を強調表示し、かつ、前記候補分割点を指定可能に表示する、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 前記画像処理システムは、サーバと端末とを備え、
    前記サーバが、前記文字認識手段と前記候補分割手段とを含み、
    前記端末が、前記表示手段と前記変更手段とを含む、
    ことを特徴とする請求項１に記載の画像処理システム。
12. 文書画像に対して文字認識処理を実行する文字認識手段と、
    前記文字認識処理の認識結果の文字列において、候補分割点を特定する候補分割手段と、
    前記文書画像と前記文字認識処理の認識結果の文字列と前記候補分割点とに関する情報を端末に送信する送信手段と、
    を備えることを特徴とする画像処理装置であって、
    前記情報を受信した端末では、前記文書画像を表示し、当該表示した文書画像上でユーザにより指定された位置に対応する文字列を出力対象とするとともに、前記候補分割点を表示し、さらに、当該表示した前記候補分割点が前記ユーザにより操作された場合は、前記出力対象の文字列を前記候補分割点に基づく文字列に変更する、
    ことを特徴とする画像処理装置。
13. 文書画像に対して文字認識処理を実行する文字認識ステップと、
    前記文字認識処理の認識結果の文字列において、候補分割点を特定する候補分割ステップと、
    前記文書画像を表示し、当該表示した文書画像上でユーザにより指定された位置に対応する文字列を出力対象とするとともに、前記候補分割点を表示する表示ステップと、
    前記表示した前記候補分割点が前記ユーザにより操作された場合、前記出力対象の文字列を前記候補分割点に基づく文字列に変更する変更ステップと、
    を備えることを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理システムの各手段、または、請求項１２に記載の画像処理装置の各手段として機能させるためのプログラム。

Images