JP2017151793A - 画像切出し装置、画像切出し方法および画像切出し処理プログラム - Google Patents

Abstract

【課題】帳票の全体画像取得時に位置ズレが生じた場合であっても、項目別の確認用画像の表示領域に、当該項目として記載された文字や文字列を見易く表示する手段を提供する。【解決手段】帳票の文字記載領域に記載された文字の切出し画像を生成する画像切出し装置が、前記帳票の全体画像を取得する画像取得部と、前記文字記載領域に含まれる文字の外接矩形を検出する検出部と、前記外接矩形に基づいて決定した切出し領域を、前記全体画像から切出して切出し画像を生成する切出し画像生成部と、を備える。【選択図】 図１

Description

本発明は、帳票から取得した全体画像から切出し画像を切出す画像切出し装置、画像切出し方法および画像切出し処理プログラムに関する。

従来の文字認識装置は、ＯＣＲによって文字認識を行った場合に、認識された文字に不読文字が含まれているときは、不読文字を補正するために、帳票の全体画像から画像切出し情報の切出し座標位置とそのサイズに基づいて当該領域の画像を切出し、その切出し画像を認識された文字列の表示位置の上に表示している（例えば、特許文献１参照。）。

特開平１０−１１５２７号公報（段落００２０−００３５、第１０図）

上述した従来の技術においては、文字認識により認識された文字に不読文字が含まれている場合にのみ、当該領域の切出し画像を表示しているため、認識文字に誤読文字が含まれているか否かを確認することができない。

このため、一般的に、銀行等の金融機関の応対窓口等における伝票等の帳票Ｔのベリファイ作業等においては、帳票Ｔの全体画像を取得し、帳票Ｔに設けられた銀行名や金額等の各項目に記載された文字または文字列を文字認識により認識すると共に、認識された文字の正誤を確認するための確認用画像を切出し、認識した文字と切出した確認用画像とを項目別に並べて表示し、不読文字や誤読文字が存在する場合に、オペレータは不読文字や誤読文字を正しい文字に修正している。

例えば、図７に示すように、帳票Ｔに金額の記載欄１（図７に細かい破線で示した矩形）が設けられている場合は、文字認識を行うための文字認識領域３（図７に２点鎖線でしました矩形）は、記載された文字の位置ズレ等を考慮して記載欄１の周囲にクリアエリアを設けた、記載欄１より広い領域として設定され、確認用画像を切出すための確認用画像切出し領域５（図７に荒い破線で示した矩形）は、記載欄１と同等の広さに設定されている。

この場合に、認識文字の確認を行う帳票Ｔが正しい位置にセットされたときは、図８に示すように、記載欄１と同等の広さに設定された確認用画像の表示領域７には、その項目として記載された文字や文字列の全てを正常に表示することができるが、帳票Ｔの浮上がりや折れ等で全体画像の取得時に位置ズレが生じた場合は、図９に示すように、文字認識領域３と確認用画像切出し領域５は、記載欄１からズレた位置になってしまう。

このとき、文字認識領域３は記載欄１より広い範囲に設定されているため、文字認識は記載された文字すべてについて行われるが、確認用画像切出し領域５は記載欄１と同等の広さに設定されているため、図１０（ａ）に示すように、確認用画像の表示領域７に表示される文字や文字列に欠けが生じ、オペレータによる照合時に文字の判読が困難になる場合があるという問題がある。

また、確認用画像切出し領域５を文字認識領域３と同等の広さに設定すると、記載された文字や文字列の全体を切出すことは可能になるが、確認用画像の表示領域７は記載欄１の広さと同等であるため、図１０（ｂ）に示すように、表示領域７に表示された文字が小さくなってしまい、オペレータによる照合時に文字が見辛くなってしまうという問題がある。
本発明は、上記の問題点を解決するためになされたもので、取得した帳票の全体画像において位置ズレが生じた場合であっても、項目別の確認用画像の表示領域に、当該項目として記載された文字や文字列を見易く表示する手段を提供することを目的とする。

本発明は、上記課題を解決するために、帳票の文字記載領域に記載された文字の切出し画像を生成する画像切出し装置であって、前記帳票の全体画像を取得する画像取得部と、前記文字記載領域に含まれる文字の外接矩形を検出する検出部と、前記外接矩形に基づいて決定した切出し領域を、前記全体画像から切出して切出し画像を生成する切出し画像生成部と、を備えたことを特徴とする。

これにより、本発明は、取得した帳票の全体画像において位置ズレが生じた場合であっても、確認用画像の切出し領域を常に文字認識領域に記載された各文字を全て含む領域に決定することができ、認識文字の照合時に表示する各項目の確認用画像の文字や文字列を見易くすることができるという効果が得られる。

実施例の画像切出し装置を示すブロック図 実施例の文字認識領域および切出し領域を示す説明図 実施例の切出し領域の設定方法を示す説明図 実施例の画像切出し処理を示すフローチャート図 実施例の確認用画像の表示例を示す説明図 実施例の作用を示す説明図 一般的な文字認識領域および確認用画像切出し領域を示す説明図 一般的な正常な確認画像の表示例を示す説明図 一般的な確認用画像切出し領域の課題を示す説明図 一般的な確認画像の表示例を示す説明図

以下に、図面を参照して本発明による画像切出し装置、画像切出し方法および画像切出し処理プログラムの実施例について説明する。

以下に、図１ないし図６を用いて本実施例の画像切出し装置等について説明する。なお、上記一般的な場合と同様の部分は、同一の符号を付してその説明を省略する。
本実施例の画像切出し装置１０は、金融機関における伝票等の帳票Ｔのベリファイ作業時に、帳票Ｔの全体画像を取得し、帳票Ｔに記載された文字または文字列を文字認識により認識し、認識された文字と、切出し画像としての確認用画像とを表示して、文字認識結果の修正を受付ける機能等を有しており、図１に示す構成を備えている。なお、認識対象の文字は、手書きであっても活字であってもよい。

画像切出し装置１０の制御部１１は、画像切出し装置１０内の各部を制御して、文字認識処理、文字座標検出処理、確認用画像生成処理、文字認識結果の修正処理等を実行する機能等を有している。
記憶部１２は、制御部１１が実行するプログラムやそれに用いる各種のデータおよび制御部１１による処理結果等が格納される。
画像取得部１３は、読取台上にセットされた帳票Ｔをイメージスキャナにより非接触で読取って、その全体画像を取得し、取得した全体画像の画像データを、記憶部１２の全体画像格納部１３ａに格納する機能等を有している。

表示部１４は、ＬＣＤ等の表示画面等を備えており、表示画面に文字認識結果やその確認用画像等を表示する機能等を有している。
入力部１５は、文字キーやテンキー等の各種の入力キーを有するキーボードやマウス等を備えており、文字認識された文字に含まれる誤読文字や不読文字の、オペレータによる修正入力等を受付ける機能等を有している。

上記の記憶部１２には、帳票Ｔの全体画像を取得し、帳票Ｔに設けられた銀行名や金額等の各項目の各記載欄１に記載された文字または文字列を文字認識により認識すると共に、認識された文字の正誤を確認するための確認用画像を切出し、認識した文字と切出した確認用画像とを項目別に並べて表示し、その文字認識結果の修正を受付ける画像切出し処理を実行する機能等を有する画像切出し処理プログラムが予め格納されており、制御部１１が実行する画像切出し処理プログラムのステップにより本実施例の画像切出し装置１０の各機能手段が形成される。

本実施例の画像切出し装置１０の制御部１１には、記憶部１２に格納された画像切出し処理プログラムにより、文字認識部２１、検出部としての文字座標検出部２２、確認用画像生成部２３等が形成されている。

また、記憶部１２には、全体画像格納部１３ａ、文字認識情報格納部２５、確認用画像格納部２６が予め設けられている。
本実施例の文字認識領域３は、図２に示すように、上記一般的な場合と同様に、記載欄１に記載された文字の位置ズレ等を考慮して、記載欄１の周囲にクリアエリアを設けた、記載欄１より広い領域として設定される。

また、本実施例の確認用画像の切出し領域３０は、図３（ａ）に示す、文字座標検出部２２で検出した当該文字列に含まれる各文字の文字認識時に認識した外接矩形の左上隅と右下隅とのＸ−Ｙ座標からなる文字座標領域３１を基に、図３（ｂ）に示すように、当該文字列を構成する最左端の文字の文字座標領域３１の最左端のＸ座標と、当該文字列を構成する各文字の文字座標領域３１の中の再上端のＹ座標からなる左上隅座標と、当該文字列を構成する最右端の文字の文字座標領域３１の最右端のＸ座標と、当該文字列を構成する各文字の文字座標領域３１の中の再下端のＹ座標からなる右下隅座標とで表される矩形の領域である。

本実施例の文字認識部２１は、全体画像格納部１３ａに格納されている帳票Ｔの全体画像から、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等の文字認識機能によって項目毎に文字認識領域３に記載されている文字または文字列を構成する各文字を認識し、認識した文字を文字コードに変換して文字認識情報格納部２５に項目別に格納する文字認識処理を実行する。

文字座標検出部２２は、文字認識部２１で認識した各文字の外接矩形の左上隅と右下隅とのＸ−Ｙ座標からなる文字座標領域３１（図３（ａ）参照）を検出して文字認識情報格納部２５に項目別に格納する文字座標検出処理を実行する。

確認用画像生成部２３は、文字座標検出部２２で検出した文字座標領域３１を基に、上記した確認画像の切出し領域３０を決定し、決定した切出し領域３０を全体画像から切出して確認用画像を生成し、生成した確認画像を確認用画像格納部２６に項目別に格納する確認用画像生成処理を実行する。

上記各処理を実行するために、本実施例の記憶部１２の文字認識情報格納部２５には、帳票種別（出金伝票、入金伝票、振込伝票等）毎に、その項目別の属性情報（項目名、当該項目の最大文字数、左つめ、右つめ等）と、項目別の文字認識領域３のサイズ情報としての座標領域（図２において、文字認識領域３の左上隅と右下隅とのＸ−Ｙ座標）等からなる文字認識情報が予め設定されて格納されている。

また、文字認識情報格納部２５には、文字認識部２１により認識された文字を項目別に格納するための認識文字格納エリア、文字座標検出部２２により検出された文字座標領域３１を項目別に格納するための文字座標領域格納エリア、確認用画像生成部２３により生成された確認画像を項目別に格納するための確認画像格納エリアが予め確保されている。

以下に、図４にＳで示すステップに従って本実施例の画像切出し装置による画像切出し処理の処理動作について説明する。
応対窓口のオペレータが、始業時等に画像切出し装置１０へ電源を投入すると、画像切出し装置１０の記憶部１２に格納されている画像切出し処理プログラムが自動的に起動される。

Ｓ１：画像切出し処理プログラムが起動すると、画像切出し装置１０の制御部１１は、表示部１４の画面に、応対窓口で行う各業務種別の選択ボタンを表示した業務選択画面を表示しながら、オペレータによる業務種別の選択を待つ選択待ち状態での待機を開始し、オペレータが入力部１５のマウス等によって業務種別の選択ボタンを選択したときにステップＳ２へ移行する。選択入力が行われていない場合は、前記の待機を継続する。
本実施例では、オペレータが業務種別として顧客が提出した帳票のベリファイ作業を選択し、ベリファイ作業を行う帳票種別を次画面として表示される帳票種別選択画面から選択した場合を例に説明する。

Ｓ２：オペレータによる帳票種別の選択入力を受付けた制御部１１は、選択された帳票種別を記憶部１２に一時保存すると共に、表示部１４に読取るべき帳票の画像取得部１３へのセットを促す文言を表示した帳票セット誘導画面を表示する。
オペレータが画像取得部１３に帳票をセットすると、これを検知した制御部１１は、画像取得処理を実行する。

すなわち、制御部１１は、画像取得部１３にセットされた帳票Ｔを、画像取得部１３のイメージスキャナにより読取って帳票Ｔの全体画像を取得し、取得した全体画像の画像データを、記憶部１２の全体画像格納部１３ａに格納する。

Ｓ３：帳票Ｔの全体画像を格納した制御部１１は、文字認識部２１によって文字認識処理を実行する。
すなわち、制御部１１は、記憶部１２に一時保存した帳票種別を基に、文字認識情報格納部２５から当該帳票Ｔの項目別の文字認識領域３の座標領域と、記憶部１２の全体画像格納部１３ａから上記ステップＳ２で取得した帳票Ｔの全体画像を読出し、読出した項目毎の文字認識領域３を基に全体画像の当該領域を特定して、文字認識機能により当該領域に記載された文字を認識し、認識した文字を文字コードに変換して文字認識情報格納部２５の認識文字格納エリアに項目別に格納する。

Ｓ４：文字認識処理を終えた制御部１１は、文字座標検出部２２によって、上記ステップＳ３で読出した項目別の文字認識領域３の座標領域と、帳票Ｔの全体画像を基に文字座標領域検出処理を実行する。
すなわち、制御部１１は、全体画像の、特定した文字認識領域３に記載されている各文字の文字認識時に認識した外接矩形を基に、その外接矩形の左上隅と右下隅とのＸ−Ｙ座標とを抽出して２つの隅座標からなる各文字の外接矩形の文字座標領域３１を検出する。

この処理動作を項目毎に繰返して全項目の文字座標領域３１を検出した制御部１１は、検出した各項目の文字座標領域３１を、文字認識情報格納部２５の文字座標領域格納エリアに項目別に格納する。
Ｓ５：文字座標領域検出処理を終えた制御部１１は、上記ステップＳ３で読出した帳票Ｔの全体画像を基に、確認用画像生成部２３によって確認用画像生成処理を実行する。

すなわち、制御部１１は、文字認識情報格納部２５の文字座標領域格納エリアから項目別の文字座標領域３１を読出し、その項目毎に、当該項目に記載された文字列の文字毎の文字座標領域３１を認識し、その文字列を構成する最左端の文字の文字座標領域３１の最左端のＸ座標と、当該文字列を構成する各文字の文字座標領域３１の中の再上端のＹ座標からなる左上隅座標と、当該文字列を構成する最右端の文字の文字座標領域３１の最右端のＸ座標と、当該文字列を構成する各文字の文字座標領域３１の中の再下端のＹ座標からなる右下隅座標とを抽出し、抽出した左上隅座標と右下隅座標からなる矩形領域を切出し領域３０（図３（ｂ）参照）として決定する。
そして、制御部１１は、全体画像から決定した切出し領域３０の画像を切出して項目毎の確認用画像を生成し、生成した各項目の確認用画像を、記憶部１２の確認用画像格納部２６に項目別に格納する。

Ｓ６：確認用画像生成処理を終えた制御部１１は、文字認識結果の正誤の確認をするために、文字認識結果確認画面の表示データを生成する。
すなわち、制御部１１は、文字認識情報格納部２５の認識文字格納エリアに項目別に格納した認識文字の各文字コードを読出すと共に、確認用画像格納部２６に項目別に格納した確認用画像を読出し、これらを項目別に並べた画面と「修正」ボタンおよび「終了」ボタン等を表示する文字認識結果確認画面の表示データを生成し、文字認識結果の修正処理を開始するためにステップＳ７へ移行する。

この場合に、本実施例の確認用画像の表示領域７は、記載欄１と同等の広さに設定されており、かつ本実施例の切出し領域３０は記載欄１より狭くなるので（図２参照）、記載欄１に記載された文字数が、記憶部１２の文字認識情報格納部２５の項目別の属性情報の最大文字数とほぼ同等の場合は、生成された表示データによる確認用画像は、図５（ａ）に示すように、表示領域７の広さの全体まで拡大して表示される。

このとき、図５（ｂ）に示すように、切出した確認用画像を拡大せずに、属性情報により左つめ、右つめを判定し（金額の場合は右つめ、銀行名の場合は左つめ）、この判定結果を基に切出し領域３０の周囲に空白エリアを設けて確認用画像をそのまま表示領域７に表示するようにしてもよい。また、確認用画像の縦横の比率は、記載欄１のサイズ情報に基づき記載欄１と同様の比率になるようにしてもよい。このようにすれば、確認用画像の文字を認識文字とほぼ同等の大きさで表示することが可能になる。
このことは、記載欄１に記載された文字数が、属性情報の最大文字数に比べて非常に少ない場合は、表示される確認用画像が横長になって見辛くなるため、特に有効である。

Ｓ７：上記ステップＳ６から移行した制御部１１は、表示部１４の画面に文字認識結果確認画面を表示してステップＳ８へ移行する。
文字認識結果確認画面を視認したオペレータは、項目別に認識文字と確認用画像とを照合し、全項目の認識文字に誤読文字または不読文字が含まれていない場合は、終了指示を行うために入力部１５のマウスによって「終了」ボタンを押下する。いずれかの項目の認識文字に誤読文字または不読文字が含まれている場合は、修正指示を行うためにマウスによって「修正」ボタンを押下する。

Ｓ８：制御部１１は、オペレータによる指示入力を待って待機し「修正」ボタンが押下された場合はステップＳ１０へ移行する。「修正」ボタンが押下されていない場合はステップＳ９へ移行する。
Ｓ９：制御部１１は、オペレータによる指示入力を待って待機し「終了」ボタンが押下されていない場合はステップＳ７へ戻って、文字認識結果確認画面を表示しながらステップＳ８、Ｓ９による待機を継続する。

「終了」ボタンが押下された場合は、今回の画像切出し処理を終了させ、ステップＳ１へ戻って表示部１４に業務選択画面を表示して待機する。
Ｓ１０：「修正」ボタンの押下を認識した制御部１１は、オペレータによる修正文字の入力を待って待機し、オペレータが入力部１５のマウスによって表示された項目別の認識文字から誤読文字または不読文字を選択し、キーボードによって正しい文字を入力する。

Ｓ１１：修正文字の入力を受付けた制御部１１は、選択された誤読文字または不読文字の画面上の位置によって選択された項目を特定し、その文字列の当該文字の文字コードを、入力された修正文字の文字コードに置き換えて修正し、修正した認識文字を、文字認識情報格納部２５の認識文字格納エリアの当該項目の認識文字として格納し、表示部１４に表示されている文字認識結果確認画面の当該項目の認識文字を修正された認識文字に変更してステップＳ７へ戻り、修正した文字認識結果確認画面を表示しながらステップＳ８、Ｓ９による待機を継続する。
このようにして、本実施例の画像切出し装置による画像切出し処理が実行される。

上記のように、本実施例では、確認用画像の切出し領域３０を、文字認識領域３に記載されている各文字の外接矩形を検出して、それらの外接矩形を基に決定するので、図６に示すように、帳票Ｔの浮上がりや折れ等で全体画像の取得時に位置ズレが生じた場合であったとしても、確認用画像の切出し領域３０を常に文字認識領域３に記載されている各文字を全て含む領域に決定することができ、文字の欠けや確認用画像の文字が小さく表示されることをなくして、認識文字の照合時に表示する各項目の確認用画像の文字や文字列を見易くすることができ、オペレータによるベリファイ作業における作業効率を向上させることができる。

なお、上記実施例においては、帳票Ｔの全体画像の取得は、画像取得部１３のイメージスキャナで読取って取得するとして説明したが、他の装置、例えば複数の帳票Ｔの全体画像を格納したデータサーバからの送信を受けて取得するようにしてもよい。

また、上記実施例においては、文字座標検出部２２よる文字座標検出処理において、文字の外接矩形の座標は文字認識部２１による文字認識時に認識するとして説明したが、文字認識処理を省略した場合は、文字認識領域３に相当する領域の画像のコントラストに閾値を設けて文字の外接矩形の座標を認識するようにしてもよい。

１ 記載欄
３ 文字認識領域
５ 確認用画像切出し領域
７ 表示領域
１０ 画像切出し装置
１１ 制御部
１２ 記憶部
１３ 画像取得部
１３ａ 全体画像格納部
１４ 表示部
１５ 入力部
２１ 文字認識部
２２ 文字座標検出部
２３ 確認用画像生成部
２５ 文字認識情報格納部
２６ 確認用画像格納部
３０ 切出し領域
３１ 文字座標領域

Claims (5)

1. 帳票の文字記載領域に記載された文字の切出し画像を生成する画像切出し装置であって、
   前記帳票の全体画像を取得する画像取得部と、
   前記文字記載領域に含まれる文字の外接矩形を検出する検出部と、
   前記外接矩形に基づいて決定した切出し領域を、前記全体画像から切出して切出し画像を生成する切出し画像生成部と、を備えたことを特徴とする画像切出し装置。
2. 請求項１に記載の画像切出し装置において、
   前記文字記載領域は、記載された文字を文字認識するための文字認識領域であり、
   前記切出し画像は、前記文字認識により認識された文字の確認用画像であることを特徴とする画像切出し装置。
3. 請求項１または請求項２に記載の画像切出し装置において、
   前記帳票の、前記文字記載領域のサイズ情報を記憶する記憶部を備えたことを特徴とする画像切出し装置。
4. 帳票の文字記載領域に記載された文字の切出し画像を生成する画像切出し方法であって、
   前記帳票の全体画像を取得し、
   前記全体画像の前記文字記載領域に含まれる文字の外接矩形を検出し、
   前記検出した外接矩形に基づいて切出し画像の切出し領域を決定し、
   前記全体画像から前記決定した切出し領域を切出して切出し画像を生成することを特徴とする画像切出し方法。
5. 帳票の文字記載領域に記載された文字の切出し画像を生成する画像切出し処理プログラムであって、
   前記帳票の全体画像を取得するステップと、
   前記全体画像の前記文字記載領域に含まれる文字の外接矩形を検出するステップと、
   前記検出した外接矩形に基づいて切出し画像の切出し領域を決定するステップと、
   前記全体画像から前記決定した切出し領域を切出して切出し画像を生成するステップと、を実行することを特徴とする画像切出し処理プログラム。

Images