JP2020126326A

JP2020126326A - 帳票に含まれる文字列を認識するための装置、方法、及びプログラム

Info

Publication number: JP2020126326A
Application number: JP2019017157A
Authority: JP
Inventors: 淳彦山井; Atsuhiko Yamai; 加藤　真; Makoto Kato; 真加藤
Original assignee: Primagest Inc
Current assignee: Primagest Inc
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2020-08-20
Anticipated expiration: 2039-02-01
Also published as: JP7329331B2

Abstract

【課題】様式情報の事前登録なしで行われる帳票の処理を支援する装置、方法及びプログラムを提供する。【解決手段】画像処理装置２０は、帳票のカラー画像を取得するように構成されたカラー画像取得部２０１と、取得したカラー画像において、帳票に含まれる所定の項目の名称に対応する文字列を検出するように構成された項目名称検出部２０２と、カラー画像から少なくとも特定の色が消去されたドロップアウト画像を生成するように構成されたドロップアウト画像生成部２０３と、生成したドロップアウト画像において、カラー画像において検出された名称に対応する文字列の位置に少なくとも基づいて、上記所定の項目の値に対応する文字列を検出するように構成された項目値検出部２０４と、様々な情報を記憶する記憶部２０５とを備える。【選択図】図３

Description

本発明は、帳票に含まれる文字列を認識するための装置、方法、及びプログラムに関
するものである。

従来、例えば、銀行や郵便局等の金融機関に持ち込まれる帳票を処理するために、当
該帳票の種類を特定し、さらに、当該帳票に含まれる項目（対応する処理の依頼者、口
座番号、及び各種の金額等）の種類及び位置を特定することが行われている。例えば、
下記特許文献１は、事前に帳票のサイズや罫線情報、項目の位置等を様式情報として登
録しておき、帳票の読取画像と登録済みの様式情報とを照合することを開示している。

特開２００５−２４２７８６号公報

しかしながら、帳票の様式は、典型的には、その作成元（例えば、収納企業や地方自
治体等）毎に異なるので、様式の数は膨大（数千又は数万等）となり、これらの様式情
報の全てを登録することが非現実的となってしまう場合がある。したがって、様式情報
の事前登録なしで帳票の処理が可能な仕組みの実現が望まれる。

本発明は、様式情報の事前登録なしで行われる帳票の処理を支援することを目的の１
つとする。本発明の他の目的は、本明細書全体を参照することにより明らかとなる。

本発明の実施形態に係る文字列認識装置は、帳票に含まれる文字列を認識するための文字列認識装置であって、前記帳票のカラー画像を取得するように構成されたカラー画像取得部と、取得した前記カラー画像において、前記帳票に含まれる所定の項目の名称に対応する第１文字列を検出するように構成された項目名称検出部と、前記カラー画像から少なくとも特定の色が消去されたドロップアウト画像を生成するように構成されたドロップアウト画像生成部と、生成した前記ドロップアウト画像において、前記カラー画像において検出された前記第１文字列の位置に少なくとも基づいて、前記所定の項目の値に対応する第２文字列を検出するように構成された項目値検出部と、を備える。

この構成によれば、帳票に含まれる所定の項目の名称に対応する第１文字列を検出し
、当該第１文字列の位置に基づいて当該所定の項目の値に対応する第２文字列を検出す
るから、帳票の様式情報の事前登録なしに、所定の項目の値（第２文字列）の認識が可
能となる。さらに、帳票のカラー画像から特定の色が消去されたドロップアウト画像に
おいて所定の項目の値（第２文字列）を検出するから、例えば、カラー画像において所
定の項目の値が特定の色の枠線／罫線等に重なっている場合であっても（こうした枠線
／罫線等との接触は不読／誤読の原因となる。）、ドロップアウト画像においては当該
特定の色の枠線／罫線が消去され、所定の項目の値の不読／誤読が抑制される。

また、上記装置において、前記ドロップアウト画像生成部は、黒色を除く色が消去されたドロップアウト画像を生成するように構成することもできる。こうすれば、黒色以外の様々な色の枠線／罫線を有する様々な帳票における所定の項目の値の不読／誤読を抑制することができる。

また、上記装置において、前記項目値検出部は、前記カラー画像における前記第１文字列との間の相対的な位置関係が所定の関係にある前記ドロップアウト画像における文字列を前記第２文字列として検出するように構成することもできる。こうすれば、第１文字列との間の相対的な位置関係に基づいて第２文字列を検出することが可能となる。

また、上記装置において、前記項目値検出部は、前記カラー画像における前記第１文字列の位置に基づいて設定される前記ドロップアウト画像における所定の領域に含まれる文字列を前記第２文字列として検出するように構成することもできる。前記所定の領域は、例えば、前記カラー画像における前記第１文字列の右側及び／又は下側の領域が少なくとも含まれるように構成され得る。こうすれば、第１文字列の位置に基づく所定の領域に含まれる文字列を第２文字列として検出することを可能とする。

また、上記装置において、前記所定の項目は、金額に関する項目であり、前記項目名称検出部は、前記第１文字列に加えて、通貨に関する所定の文字を検出するように構成されており、前記項目値検出部は、前記カラー画像において検出された前記第１文字列及び前記所定の文字の位置に少なくとも基づいて前記第２文字列を検出するように構成することもできる。通貨に関する所定の文字は、例えば、「円」又は「￥」を含む。こうすれば、第１文字列の位置に加えて、通貨に関する所定の文字の位置に基づいて第２文字列が検出されるから、当該第２文字列の検出の精度が向上し得る。

本発明の実施形態に係る文字列認識方法は、１又は複数のコンピュータによって実行
され、帳票に含まれる文字列を認識するための文字列認識方法であって、前記帳票のカ
ラー画像を取得する工程と、取得した前記カラー画像において、前記帳票に含まれる所
定の項目の名称に対応する第１文字列を検出する工程と、前記カラー画像から少なくと
も特定の色が消去されたドロップアウト画像を生成する工程と、生成した前記ドロップ
アウト画像において、前記カラー画像において検出された前記第１文字列の位置に少な
くとも基づいて、前記所定の項目の値に対応する第２文字列を検出する工程と、を備え
る。

本発明の実施形態に係る文字列認識プログラムは、帳票に含まれる文字列を認識する
ための文字列認識プログラムであって、コンピュータに、前記帳票のカラー画像を取得
する処理と、取得した前記カラー画像において、前記帳票に含まれる所定の項目の名称
に対応する第１文字列を検出する処理と、前記カラー画像から少なくとも特定の色が消
去されたドロップアウト画像を生成する処理と、生成した前記ドロップアウト画像にお
いて、前記カラー画像において検出された前記第１文字列の位置に少なくとも基づいて
、前記所定の項目の値に対応する第２文字列を検出する処理と、を実行させる。

本発明の様々な実施形態は、様式情報の事前登録なしで行われる帳票の処理を支援す
る。

本発明の一実施形態に係る文字列認識装置として機能する画像処理装置２０を含む帳票読取システム１のシステム構成を概略的に例示する構成図である。画像処理装置２０のハードウェア構成を概略的に例示する構成図である。画像処理装置２０が有する機能を概略的に例示する構成図である。画像処理装置２０が実行する処理を例示するフローチャートである。帳票の様式を例示する図である。図５に例示した帳票に含まれる項目の一部に対して値が印刷されている状態の帳票を例示する図である。対象の項目名称の矩形領域Ａ１及び通貨関連文字の矩形領域Ａ２が検出される様子を例示するための図である。図６に例示した帳票のカラー画像に基づいて生成されるドロップアウト画像を例示する図である。対象の項目値が検出される様子を例示するための図である。対象の項目値が、帳票の様式における枠線／罫線に重なって印刷されてしまっている場合を説明するための図。

図１は、本発明の一実施形態に係る文字列認識装置として機能する画像処理装置２０を含む帳票読取システム１のシステム構成を概略的に例示する構成図である。帳票読取システム１は、図示するように、処理対象となる帳票を光学的に読み取って画像を生成する帳票読取装置１０と、当該帳票読取装置１０によって生成された画像に対する画像処理を行う画像処理装置２０と、当該画像処理装置２０と通信ネットワークＮを介して通信可能に接続されたホストサーバ３０と、を備える。システム１は、帳票読取装置１０によって光学的に読み取られる帳票に含まれる文字列を、画像処理装置２０によって実行される画像処理を介して認識するように構成されている。本実施形態における帳票読取システム１による読取の対象となる帳票は、様々な種類の帳票が含まれ、例えば、口座振替依頼書及び税公金の領収済通知書等を含む任意の帳票である。

帳票読取装置１０は、一般的な業務用スキャナとして構成されており、所定の位置にセットされた帳票を光学的にスキャンし、当該スキャンを介して生成された画像を画像処理装置２０に入力するように構成されている。

ホストサーバ３０は、一般的なサーバ装置として構成されており、帳票内の文字列の認識のために必要な様々な情報／データを記憶し、当該情報／データを画像処理装置２０に対して適宜に提供するように構成されている。

本実施形態における画像処理装置２０は、帳票読取装置１０によって入力される画像を用いて、帳票内に存在する文字列を認識する。図２は、画像処理装置２０のハードウェア構成を概略的に例示する構成図である。画像処理装置２０は、一般的なコンピュータとしての構成を有しており、図示するように、ＣＰＵ２１と、メインメモリ２２と、ストレージ２３と、帳票読取装置インターフェイス２４と、入力インターフェイス２５と、表示コントローラ２６と、通信インターフェイス２７と、リーダ／ライタ２８とを有する。

画像読取装置インターフェイス２４は、ＣＰＵ２１と帳票読取装置１０との間のデー
タ伝送を仲介し、当該装置１０から入力される画像を一時的に蓄積するための画像バッ
ファ２４１を有している。入力インターフェイス２５は、ＣＰＵ２１と各種の入力部と
の間のデータ伝送を仲介する。入力部には、マウス３１、キーボード、及びタッチパネ
ル等が含まれる。表示コントローラ２６は、液晶モニタ等のディスプレイ３２が接続さ
れており、当該ディスプレイ３２における表示を制御する。通信インターフェイス２７
は、ＣＰＵ２１とパーソナルコンピュータ及びホストサーバ３０等との間のデータ伝送
を仲介する。リーダ／ライタ２８は、ＣＰＵ２１と各種の記録媒体（メモリカード３３
が含まれる）との間のデータ伝送を仲介する。各インターフェイスは、例えばＵＳＢ等
の規格に従うように構成される。

画像処理装置２０は、ＣＰＵ２１が、ストレージ２３等に格納されているプログラム
をメインメモリ２２に読み込んで実行することにより、各種の処理を実行する。ストレ
ージ２３等に格納されているプログラムは、例えば、メモリカード３３や光ディスク等
のコンピュータ読取可能な記録媒体を介して提供され、又は、インターネット等の通信
ネットワークＮを介して提供される。なお、本実施形態におけるプログラムは、単体の
アプリケーションプログラムとして構成されていてもよいし、他のプログラムの一部と
して組み込まれるモジュールとして構成されていてもよい。また、こうしたプログラム
を介して実行される処理の一部又は全部は、ＡＳＩＣ等の専用回路を介して実行される
ように構成され得る。

図３は、本実施形態の画像処理装置２０が有する機能を概略的に例示する構成図であ
る。画像処理装置２０は、図示するように、カラー画像取得部２０１と、項目名称検出
部２０２と、ドロップアウト画像生成部２０３と、項目値検出部２０４と、様々な情報
をストレージ２３等において記憶する記憶部２０５とを有する。

カラー画像取得部２０１は、帳票のカラー画像の取得に関する処理を実行する。例え
ば、カラー画像取得部２０１は、帳票読取装置１０から入力されるカラー画像を取得す
るように構成されている。

項目名称検出部２０２は、帳票に含まれる所定の項目の名称（以下、「項目名称」と
言う場合がある。）に対応する文字列（第１文字列）の検出に関する処理を実行する。
例えば、項目名称検出部２０２は、カラー画像取得部２０１によって取得されるカラー
画像を解析することにより、当該カラー画像に含まれる、項目名称に対応する文字列を
検出するように構成されている。

本実施形態において、文字列の認識の対象となる所定の項目は、「納入金額」、「税
額」、「納付額」、「収納金額」、「請求金額」等の金額に関する項目として構成され
る。これらの項目名称に対応する文字列は、例えば、所定の形式のファイル内にリスト
化されており、当該ファイルは、記憶部２０５（ストレージ２３）及び／又はホストサ
ーバ３０等に格納される。なお、本発明の他の実施形態においては、文字列の認識の対
象となる所定の項目は、金額に関する項目以外の様々な項目が含まれ得る。

本実施形態において、項目名称検出部２０２は、対象の項目名称に対応する文字列に
加えて、通貨に関する通貨関連文字（所定の文字）を検出するように構成されている。
例えば、項目名称検出部２０２は、カラー画像に含まれる「円」及び「￥」という文字
を検出するように構成されている。

ドロップアウト画像生成部２０３は、ドロップアウト画像の生成に関する処理を実行
する。例えば、ドロップアウト画像生成部２０３は、カラー画像取得部２０１によって
取得されたカラー画像に対してドロップアウト処理を行うことにより、ドロップアウト
画像を生成するように構成されている。本実施形態におけるドロップアウト処理は、黒
色以外の色を除去する処理であり、例えば、カラー画像から、Ｒ成分、Ｇ成分、及び、
Ｂ成分を順に除去する処理として構成される。なお、黒色とは、Ｒ成分、Ｇ成分、及び
、Ｂ成分を完全に除去したものに限定されず、帳票に含まれる項目値を検出できる程度
に各色の成分が除去されればよい。また、本発明の他の実施形態において、ドロップア
ウト処理においてカラー画像から除去される色は、黒色以外の色に限定されず、例えば
、黒色及び他の特定の色以外の色、又は、１又は複数の特定の色であってもよい。

項目値検出部２０４は、帳票に含まれる所定の項目の値（以下、「項目値」と言う場
合がある。）に対応する文字列（第２文字列）の検出に関する処理を実行する。例えば
、項目値検出部２０４は、ドロップアウト画像生成部２０３によって生成されたドロッ
プアウト画像を解析し、当該解析結果と、項目名称検出部２０２によって検出されたカ
ラー画像における項目名称に対応する文字列の位置と、に少なくとも基づいて、当該ド
ロップアウト画像における項目値に対応する文字列を検出するように構成されている。

次に、このように構成された本実施形態の画像処理装置２０の動作について説明する
。図４は、画像処理装置２０が実行する処理を例示するフローチャートである。当該装
置２０は、まず、図示するように、帳票読取装置１０から入力される帳票のカラー画像
を取得し（Ｓ１０１）、当該カラー画像に含まれる対象の項目名称及び通貨関連文字を
検出する（Ｓ１０２）。具体的には、上述したように、項目名称としての「納入金額」
、「税額」、「納付額」、「収納金額」、「請求金額」等の文字列が検出されると共に
、関連文字としての「円」及び「￥」という文字が検出される。以下、具体例を用いて
説明する。

図５は、本実施形態における帳票の様式を例示する。図５に例示される様式は、「水
道料金等納入済み通知書」の様式であって、様々なテキスト、枠線／罫線、項目名称（
例えば、お客様番号、水道料金、開栓手数料、納入期限等）、単位（例えば、「円」等
）等の情報が印刷されている。様式として予め印刷されているこれらの情報は、黒色以
外の色（例えば、青色）で印刷されている。

図６は、図５に例示した帳票に含まれる項目の一部に対して値が印刷されている状態
の帳票を例示する。具体的には、図６の帳票においては、お客様番号、使用期間、お客
様氏名、水道料金、下水道使用料、収納金額、納入期限、及び、発行日に対する値がそ
れぞれ対応する枠内に印刷されている。また、図６の帳票においては、領収日付印が押
印されている。これらの各項目の値、及び、領収日付印は、黒色で印刷又は押印されて
いる。ステップＳ１０１では、このように項目の値が印刷されている状態の帳票のカラ
ー画像が取得されている。

例えば、図５、６の帳票における項目「収納金額」は、対象の項目名称としてリスト
化されているので、当該文字列がカラー画像において検出される。また、図５、６の帳
票における「円」という文字が通貨関連文字としてカラー画像において検出される。具
体的には、図７に例示するように、「収納金額」と印字されている１つの矩形領域Ａ１
、及び、「円」と印字されている６つの矩形領域Ａ２がカラー画像において検出される
。

図４のフローチャートに戻り、続いて、画像処理装置２０は、カラー画像に基づいて
ドロップアウト画像を生成する（Ｓ１０３）。上述したように、本実施形態におけるド
ロップアウト画像は、黒色以外の色が除去された画像（二値画像）である。図８は、図
６に例示した帳票のカラー画像に基づいて生成されるドロップアウト画像を例示する。
図示するように、ドロップアウト画像では、帳票において黒色以外の色で印刷されてい
た様々なテキスト、枠線／罫線、項目名称、単位等の情報が除去され、黒色で印刷／押
印されていた項目値及び領収日付印が残存する。

図４のフローチャートに戻り、こうしてドロップアウト画像を生成すると、次に、画
像処理装置２０は、当該ドロップアウト画像に含まれる対象の項目値を検出する（Ｓ１
０４）。項目値の検出は、ステップＳ１０２において検出された項目名称及び通貨関連
文字のカラー画像上での位置に基づいて行われる。

図９は、対象の項目値が検出される様子を例示するための図である。本実施形態では
、図示するように、対象の項目名称の矩形領域Ａ１を拡張した拡張領域Ａ１１に含まれ
る文字列が対象の項目値の候補となる。当該拡張領域Ａ１１は、領域Ａ１を、上方向及
び左方向に第１の幅Ｗ１だけ拡張し、且つ、下方向に第１の幅Ｗ１よりも大きい第２の
幅Ｗ２だけ拡張すると共に右方向に第１の幅Ｗ１よりも大きい第３の幅Ｗ３だけ拡張し
た領域として構成される。図９の例では、拡張領域Ａ１１に含まれる「１４８，００４
」という文字列、及び、「平成２９年３月２７日」という文字列が対象の項目値の候補
となる。

また、対象の項目値は、通貨関連文字の矩形領域Ａ２との相対的な位置関係を考慮し
て検出される。具体的には、「円」という通貨関連文字の左側の文字列が優先的に対象
の項目値として検出され、例えば、図９の例では、対象の項目値の候補となる２つの文
字列「１４８，００４」及び「平成２９年３月２７日」のうち、通貨関連文字の領域Ａ
２の左側に位置する「１４８，００４」という文字列が対象の項目値として検出される
。なお、「￥」という通貨関連文字が検出されている場合には、当該文字の右側の文字
列が優先的に対象の項目値として検出される。

ここで、対象の項目値が、帳票の様式における枠線／罫線に重なって印刷されてしま
っている場合を考える。例えば、図１０の上側に例示するように、対象の項目である「
収納金額」の項目値「１４８，００４」がカラー画像において枠の下側の枠線／罫線に
重なってしまっている場合、当該カラー画像を用いて項目値を検出しようとすると、不
読／誤読のおそれがあるが、図１０の下側に例示するように、ドロップアウト画像にお
いては黒色以外の色で印刷されていた枠線／罫線が消去されるので、枠線／罫線に重な
ってしまうことに起因する項目値の不読／誤読のおそれがなくなる。

本実施形態では、対象の項目名称の矩形領域Ａ１を拡張した拡張領域Ａ１１に含まれ
る文字列が対象の項目値として検出されるようにしたが、こうした手法は例示であって
、本発明の他の実施形態では、他の手法が適用され、例えば、対象の項目名称の矩形領
域Ａ１との間の相対的な位置関係が所定の関係にある文字列が対象の項目値として検出
されるような様々な手法が適用される。

本実施形態では、カラー画像において、対象の項目名称に対応する文字列に加えて、
通貨に関する通貨関連文字を検出するように構成したが、本発明の他の実施形態では、
通貨関連文字の検出は行わず、例えばカラー画像に存在する罫線ないし枠線の情報を用
いて、項目名称の属する矩形領域を特定し、その右または下の矩形領域を探索対象領域として、項目値の検出を行なう手法が適用されてもよい。

以上説明した本発明の実施形態に係る画像処理装置２０は、帳票に含まれる所定の項
目の名称に対応する文字列を検出し、当該名称に対応する文字列の位置に基づいて当該
所定の項目の値に対応する文字列を検出するから、帳票の様式情報の事前登録なしに、
所定の項目の値に対応する文字列の認識が可能となる。さらに、帳票のカラー画像から
特定の色（例えば、黒色以外の色）が消去されたドロップアウト画像において項目値に
対応する文字列を検出するから、例えば、カラー画像において項目値が特定の色の枠線
／罫線に重なってしまっている場合であっても、ドロップアウト画像においては当該特
定の色の枠線／罫線が消去され、項目値に対応する文字列の不読／誤読が抑制される。

１…帳票読取システム、１０…帳票読取装置、２０…画像処理装置、２１…ＣＰＵ、
２２…メインメモリ、２３…ストレージ、２４…帳票読取装置インターフェイス、２４
１…画像バッファ、２５…入力インターフェイス、２６…表示コントローラ、２７…通
信インターフェイス、２８…リーダ／ライタ、３０…ホストサーバ、３１…マウス、３
２…ディスプレイ、３３…メモリカード、２０１…カラー画像取得部、２０２…項目名
称検出部、２０３…ドロップアウト画像生成部、２０４…項目値検出部、２０５…記憶
部。

Claims

帳票に含まれる文字列を認識するための文字列認識装置であって、
前記帳票のカラー画像を取得するように構成されたカラー画像取得部と、
取得した前記カラー画像において、前記帳票に含まれる所定の項目の名称に対応する第１文字列を検出するように構成された項目名称検出部と、
前記カラー画像から少なくとも特定の色が消去されたドロップアウト画像を生成するように構成されたドロップアウト画像生成部と、
生成した前記ドロップアウト画像において、前記カラー画像において検出された前記第１文字列の位置に少なくとも基づいて、前記所定の項目の値に対応する第２文字列を検出するように構成された項目値検出部と、を備える、
文字列認識装置。
前記ドロップアウト画像生成部は、黒色を除く色が消去されたドロップアウト画像を生成するように構成されている、
請求項１の文字列認識装置。
前記項目値検出部は、前記カラー画像における前記第１文字列との間の相対的な位置関係が所定の関係にある前記ドロップアウト画像における文字列を前記第２文字列として検出するように構成されている、
請求項１又は２の文字列認識装置。
前記項目値検出部は、前記カラー画像における前記第１文字列の位置に基づいて設定される前記ドロップアウト画像における所定の領域に含まれる文字列を前記第２文字列として検出するように構成されている、
請求項３の文字列認識装置。
前記所定の領域は、前記カラー画像における前記第１文字列の右側及び／又は下側の領域が少なくとも含まれるように構成されている、
請求項４の文字列認識装置。
前記所定の項目は、金額に関する項目であり、
前記項目名称検出部は、前記第１文字列に加えて、通貨に関する所定の文字を検出するように構成されており、
前記項目値検出部は、前記カラー画像において検出された前記第１文字列及び前記所定の文字の位置に少なくとも基づいて前記第２文字列を検出するように構成されている、
請求項１ないし５何れかの文字列認識装置。
１又は複数のコンピュータによって実行され、帳票に含まれる文字列を認識するため
の文字列認識方法であって、
前記帳票のカラー画像を取得する工程と、
取得した前記カラー画像において、前記帳票に含まれる所定の項目の名称に対応する第１文字列を検出する工程と、
前記カラー画像から少なくとも特定の色が消去されたドロップアウト画像を生成する工程と、
生成した前記ドロップアウト画像において、前記カラー画像において検出された前記第１文字列の位置に少なくとも基づいて、前記所定の項目の値に対応する第２文字列を検出する工程と、を備える、
文字列認識方法。
帳票に含まれる文字列を認識するための文字列認識プログラムであって、コンピュータに、
前記帳票のカラー画像を取得する処理と、
取得した前記カラー画像において、前記帳票に含まれる所定の項目の名称に対応する第１文字列を検出する処理と、
前記カラー画像から少なくとも特定の色が消去されたドロップアウト画像を生成する処理と、
生成した前記ドロップアウト画像において、前記カラー画像において検出された前記第１文字列の位置に少なくとも基づいて、前記所定の項目の値に対応する第２文字列を検出する処理と、を実行させる、
文字列認識プログラム。