JP2010140402A - 帳票処理装置、及び方法 - Google Patents

Abstract

【課題】人的・時間的なコストをかけることなく、帳票の部分領域の役割の不知に伴う帳票の処理誤りを削減することができる帳票処理装置、及び方法を提供する。
【解決手段】画像受付部１００は、帳票の画像データを受け付け、検出部１１０は、画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出し、取得部１２０は、文字列のうちキーワードとなるキー表現と、当該キー表現の属性を示すラベルを対応付けて記憶するキー表現記憶部４２からラベルを取得し、判定部１３０は、キー表現の位置情報及び当該キー表現を包含するフォームの位置情報にラベルを対応付けた帳票情報を用いて、切り取り線で区分けされた帳票上の部分領域の各々の役割を判定し、出力部２０は、判定部１３０の判定結果に基づいて、所定の役割の部分領域を識別可能な態様で出力する。
【選択図】 図１

Description

本発明は、帳票処理装置、及び方法に関する。

近年、郵政民営化やコンビニエンスストアなどのサービスの拡大、またＩＴ化による郵政端末やＰＯＳ端末の高機能化に伴い、業種を問わず様々な窓口で納付書などの帳票が処理されている。この結果、ユーザ及びバックオフィスの双方に、多種多様な帳票を取り扱う必要性が生じるため、種々の処理誤りの発生が懸念されている。

このため、例えば特許文献１では、読み取られた帳票の所定項目に関する情報に一致する情報が、過去に読み取られた帳票のイメージデータと関連付けられて記憶部に記憶されているかを検索し、一致する情報が記憶部に記憶されている場合には、警告を発することで、帳票の２重処理を防止する技術が開示されている。

特開２００６−２６０１４７号公報

ところで、帳票の多様化に伴って発生する処理誤りは２重処理に限られず、帳票の半券の渡し間違いなど帳票の部分領域の役割が分からないために発生する処理誤りもある。そして、このような処理誤りは、紙ファイル化されたマニュアルなどを参照することで回避が可能であるが、対応するページが直ぐに見つかるとは限らず、人的・時間的なコストがかかってしまうという問題がある。

本発明は、上記事情に鑑みてなされたものであり、人的・時間的なコストをかけることなく、帳票の部分領域の役割の不知に伴う帳票の処理誤りを削減することができる帳票処理装置、及び方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる帳票処理装置は、帳票の画像データを受け付ける画像受付部と、前記画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出する検出部と、前記文字列のうちキーワードとなるキー表現と、当該キー表現の属性を示すラベルを対応付けて記憶するキー表現記憶部から、前記ラベルを取得する取得部と、前記キー表現の位置情報及び当該キー表現を包含する前記フォームの位置情報に前記ラベルを対応付けた帳票情報を用いて、前記切り取り線で区分けされた帳票上の部分領域の各々の役割を判定する判定部と、前記判定部の判定結果に基づいて、所定の役割の前記部分領域を識別可能な態様で出力する出力部と、を備えることを特徴とする。

また、本発明の別の態様にかかる帳票処理方法は、画像受付部が、帳票の画像データを受け付ける画像受付ステップと、検出部が、前記画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出する検出ステップと、取得部が、前記文字列のうちキーワードとなるキー表現と、当該キー表現の属性を示すラベルを対応付けて記憶するキー表現記憶部から、前記ラベルを取得する取得ステップと、判定部が、前記キー表現の位置情報及び当該キー表現を包含する前記フォームの位置情報に前記ラベルを対応付けた帳票情報を用いて、前記切り取り線で区分けされた帳票上の部分領域の各々の役割を判定する判定ステップと、出力部が、前記判定部の判定結果に基づいて、所定の役割の前記部分領域を識別可能な態様で出力する出力ステップと、を含むことを特徴とする。

本発明では、画像データから検出したキー表現の位置情報及びキー表現を包含するフォームの位置情報にラベルを対応付けた帳票情報を用いて、切り取り線で区分けされた帳票上の部分領域の各々の役割を判定し、所定の役割の部分領域を識別可能な態様で出力する。従って本発明によれば、切り取り線で区分けされる帳票上の部分領域であって、所定の役割を有する部分領域を識別することができ、人的・時間的なコストをかけることなく、帳票の部分領域の役割の不知に伴う帳票の処理誤りを削減することができるという効果を奏する。

以下、添付図面を参照しながら、本発明にかかる帳票処理装置、及び方法の最良な実施の形態を詳細に説明する。

図１は、本実施の形態の帳票処理装置１の構成の一例を示すブロック図である。図１に示すように、帳票処理装置１は、画像読取部１０と、出力部２０と、記憶部４０と、画像受付部１００と、検出部１１０と、取得部１２０と、判定部１３０と、抽出部１４０と、検証部１５０と、検索部１６０と、更新部１７０と、出力制御部１８０とを備える。

画像読取部１０は、帳票を読み取って、帳票の画像データを生成するものであり、例えば、スキャナなどの既存の画像読取装置や、書画カメラ、監視カメラ、又はデジタルカメラなどの既存の撮像装置により実現できる。

出力部２０は、後述する出力制御部１８０の指示により、各種情報を出力するものであり、例えば、液晶ディスプレイなどの既存の表示装置により実現できる。

記憶部４０は、帳票処理装置１で行われる各種処理に使用される情報を記憶するものであり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの既存の記憶媒体により実現できる。そして記憶部４０は、キー表現記憶部４２と、帳票事例データベース４４と、マニュアル・処理事例データベース４６とを含む。なお、キー表現記憶部４２、帳票事例データベース４４、及びマニュアル・処理事例データベース４６の詳細については、後述する。

画像受付部１００は、画像読取部１０により読み取られた帳票の画像データを受け付ける。

検出部１１０は、画像受付部１００により受け付けられた画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出する。また検出部１１０は、ユーザが帳票を記入中に帳票の画像データを生成した場合には、帳票上のペン先の位置情報も検出する。そして検出部１１０は、レイアウト情報検出部１１２と、文字列検出部１１４とを含む。

レイアウト情報検出部１１２は、画像受付部１００により受け付けられた画像データの罫線情報に基づいて、フォーム（矩形）領域、切り取り線領域、及び文字領域などのレイアウト情報を検出する。なお、これらの領域（位置情報）は、既存の画像処理技術により実現することができる。

文字列検出部１１４は、レイアウト情報検出部１１２により検出された文字領域から、文字列を検出する。なお、文字列の検出は、ＯＣＲ（Optical Character Reader）技術など既存の文字認識技術により実現することができる。

キー表現記憶部４２は、キー表現と、当該キー表現の属性を示すラベルを対応付けたキー表現リストを記憶する。図２は、キー表現記憶部４２に記憶されているキー表現リストの一例を示す図である。図２に示す例では、キー表現リストは、キー表現のラベルＩＤ、キー表現のラベル、キー表現のインスタンスｉｄ、及びキー表現のインスタンスを対応付けた情報となっている。なお、キー表現のラベルには、例えば、店舗控え、顧客控え、お客様控え、受領証、領収証、氏名、電話番号、会員番号などキー表現の属性を設定することができる。

取得部１２０は、キー表現記憶部４２からラベルを取得する。そして取得部１２０は、取得したラベルを、文字列検出部１１４により検出された文字列のうちキーワードとなるキー表現の位置情報及び当該キー表現を包含するフォーム（矩形）の位置情報に対応付け、帳票情報を生成する。

具体的には、取得部１２０は、文字列検出部１１４により検出された文字列のうち、キー表現記憶部４２に記憶されているキー表現のインスタンスと一致する文字列に対応付けられたラベルを取得する。

例えば、図２に示すキー表現リストがキー表現記憶部４２に記憶されており、文字列検出部１１４により「納入済通知書」という文字列が検出されたものとする。この場合、取得部１２０は、「納入済通知書」という文字列（キー表現）に一致するインスタンスに対応付けられた「店舗」というラベルを取得する。

そして取得部１２０は、取得した「店舗」というラベルを、「納入済通知書」という文字列（キー表現）の位置情報及び当該文字列を包含する最小のフォームに対応付け、帳票情報を生成する。

図３は、帳票の一例を示す図であり、図４は、図３に示す帳票の帳票情報の一例を示す図である。図３及び図４に示す例では、破断境界線［１］が、切り取り線２０２の情報を示しており、破断境界線［２］が、切り取り線２０４の情報を示している。また、キー表現［１］が、文字列２０６の情報を示しており、キー表現［２］が、文字列２０８の情報を示しており、キー表現［３］が、文字列２１０の情報を示しており、キー表現［４］が、文字列２１２の情報を示しており、キー表現［５］が、文字列２１４の情報を示している。また、領域［ｎ］が、フォーム２１６の情報を示しており、領域［ｎ＋１］が、フォーム２１８の情報を示している。なお、フォーム２１６は、インスタンスと一致する文字列である「加入者名」（図２参照）を含む最小のフォームであるため、ラベルが対応付けられている。

図５は、帳票の一例を示す図であり、図６は、図５に示す帳票の帳票情報の一例を示す図である。図５及び図６に示す例では、破断境界線［１］が、切り取り線２３０の情報を示しており、破断境界線［２］が、切り取り線２３２の情報を示している。また、キー表現［１］が、文字列２３４の情報を示しており、領域［ｍ］が、フォーム２３６の情報を示しており、領域［ｍ＋１］が、フォーム２３８の情報を示している。

判定部１３０は、帳票情報を用いて、切り取り線で区分けされた帳票上の部分領域の各々の役割を判定する。そして判定部１３０は、照合部１３２と、推定部１３４とを含む。

照合部１３２は、帳票の事例及び過去に処理された帳票の少なくとも一方であって、当該帳票上のキー表現の位置情報及びフォームの位置情報にラベルを対応付けた帳票事例情報を記憶する帳票事例データベース４４に対し、帳票情報に類似する帳票事例情報が記憶されているか否かを照合する。

具体的には、照合部１３２は、帳票情報をベクトル化して（数式（１）参照）、帳票事例データベース４４に記憶されている帳票事例情報のモデルと照合する。そして照合部１３２は、モデルとの差分・距離を算出し、帳票情報と類似する帳票事例情報を決定する。

なお、数式（１）の第１変数Ｂｏｒｄｅｒｓは、切り取り線の本数及びその位置情報を示す変数である。第２変数Ｋｅｙｓは、帳票情報に格納されたキー表現のインスタンスｉｄを示す変数である。第３変数Ｒｅｃｔａｎｇｌｅｓは、帳票情報に格納されたキー表現のラベルＩＤ及び当該ラベルＩＤが示すラベルに対応付けられたフォームの位置情報を示す変数である。

図７は、図３に示す帳票情報をベクトル化したベクトル化表現の一例を示す図である。図７に示す例では、第１変数Ｂｏｒｄｅｒｓは、切り取り線が、切り取り線２０２、２０４の２本であること、及び各切り取り線のｘ座標を示している。また、第２変数Ｋｅｙｓは、帳票情報に格納されたキー表現［１］〜［５］などのインスタンスｉｄを示している。また、第３変数Ｒｅｃｔａｎｇｌｅｓは、領域［ｎ］のラベルＩＤ及び当該ラベルＩＤが示すラベルに対応付けられたフォーム２１６の位置情報を示している。

図８は、帳票事例データベース４４に記憶されている帳票事例情報のモデルの一例を示す図である。図８に示すように、帳票事例データベース４４には、帳票事例情報をベクトル化したモデルが記憶されている。

また照合部１３２は、帳票情報と類似すると照合された帳票事例情報を帳票事例データベース４４から取得する。そして、判定部１３０は、取得された帳票事例情報を用いて、部分領域の各々及びフォームの各々の役割を判定する。例えば判定部１３０は、部分領域が顧客控えであるのか店舗控えであるのかを判定したり、実際に窓口で切り取る切り取り線を判定したり、ラベルが対応付けられていないフォームに記入すべき内容などを判定する。なお、帳票事例情報には、部分領域やフォームの位置情報、部分領域とラベルとの対応関係、フォームとラベルとの対応関係、実際に窓口で切り取る切り取り線の情報などが示されている。

図９は、帳票事例情報で図４に示す帳票情報を更新した後の帳票情報の一例を示す図である。図９に示す例では、フォーム２１８の情報を示す矩形領域［ｎ＋１］にラベルが対応付けられ、切り取り線の切り取り有無情報などが追加されている。

図１０は、帳票事例情報で図６に示す帳票情報を更新した後の帳票情報の一例を示す図である。図１０に示す例では、フォーム２３６の情報を示す矩形領域［ｍ］及びフォーム２３８の情報を示す矩形領域［ｍ＋１］にラベルが対応付けられ、切り取り線の切り取り有無情報などが追加されている。

推定部１３４は、照合部１３２により帳票情報に類似する帳票事例情報が照合されない場合に、キー表現を包含しないフォームの位置情報にラベルを推定して対応付け、この対応付け結果で帳票情報を更新する。そして、判定部１３０は、更新された帳票情報を用いて、部分領域の各々及び前記フォームの各々の役割を判定する。

抽出部１４０は、文字列検出部１１４により検出された文字列から固有名詞などの固有表現を抽出する。なお、固有表現の抽出は、品詞並びをルールベースや統計量から判定するなどの既存の手法により実現でき、固有表現として抽出された文字列に、例えば、人名、地名、組織名、数値表現（郵便番号、電話番号、金額表現、割合表現）などの品詞を対応付ける。

図１１は、図５に示す帳票の文字列から固有表現を抽出した抽出結果の一例を示す図である。図１１に示す例では、「山田太郎」に対して「人名」という品詞が対応付けられ、「京都府」、「宇治市」に対しては、「地名」という品詞が対応付けられている。

検証部１５０は、抽出部１４０により抽出された固有表現を包含するフォームに対応付けられたラベルを用いて、フォームと固有表現との整合性を検証する。具体的には、検証部１５０は、抽出部１４０により抽出された固有表現に対応づけられた品詞と、当該固有表現が記載されたフォームのラベルとを対比して、フォームと固有表現との整合性を検証する。

例えば図１０及び図１１に示す例では、位置情報を参照することで、「山田太郎」及び「京都市」という固有表現は領域［ｍ］（図５に示すフォーム２３６）に記載されていることが判別できる。このため検証部１５０は、「山田太郎」、「京都市」にそれぞれ対応付けられた「人名」、「地名」という品詞と、フォーム２３６に対応付けられた「氏名」、「払込人」というラベルを対比し、整合性がとれていると判断する。

また検証部１５０は、領域［ｍ＋１］（図５に示すフォーム２３８）にも「氏名」、「払込人」というラベルが対応付けられているため、フォーム２３８にも「人名」、「地名」という品詞が対応付けられた固有表現が記載されているか否かを検証する。そして、検証部１５０は、位置情報を参照することで、フォーム２３８には、「人名」、「地名」という品詞がそれぞれ対応付けられた「山田太郎」、「宇治市」という固有表現が記載されていることが判別できるため、整合性がとれていると判断する。

検索部１６０は、帳票情報に含まれる情報、及び判定部１３０の判定結果の少なくとも一方を用いて、帳票に関する情報を検索する。具体的には、検索部１６０は、帳票のタイトルを示す文字列やラベルをクエリとして生成する。そして検索部１６０は、生成したクエリを用いて、マニュアルや処理事例が記憶されたマニュアル・処理事例データベース４６やＷｅｂ６０から帳票に関する情報を検索する。

また検索部１６０は、検出部１１０がペン先の位置情報を検出している場合には、当該ペン先の位置を含むフォーム及び、当該フォームのラベルをクエリとして生成し、マニュアルや処理事例を検索する。

なお、クエリは、これらの情報をキーワードとして羅列しても良いが、マニュアルが帳票別や項目別で検索可能なように、構造化してマニュアル・処理事例データベース４６に記憶されている場合には、これらの個々の情報を、マニュアルの対応する項目の絞り込み情報として利用して検索してもよい。

また検索部１６０は、フォームに対応付けられたラベルが「振込先」である場合、当該フォームに記載された文字列のうち、「人名」、「地名」、「組織名」、「企業名」などの品詞が対応付けられた固有表現を用いて、Ｗｅｂ検索を行う。そして、消費者相談センターや、一般のオークションサイトなどを参照して、注意喚起情報や被害報告などを検索する。

更新部１７０は、帳票情報、判定部１３０の判定結果、及び検証部１５０の検証結果の少なくともいずれかで、帳票事例データベース４４に記憶されている帳票事例情報を更新する。

出力制御部１８０は、判定部１３０の判定結果に基づいて、所定の役割の部分領域を識別可能な態様で出力部２０に出力させる。例えば出力制御部１８０は、出力部２０を液晶ディスプレイで実現する場合には、実際に窓口で切り取る切り取り線、即ち、顧客控えの部分領域と店舗控えの部分領域とを区分けする切り取り線を強調表示して出力部２０に表示させる。

また出力制御部１８０は、検索部１６０の検索結果を、帳票、部分領域、及びフォームの少なくともいずれかに対応付けて出力部２０に出力させる。例えば出力制御部１８０は、出力部２０を液晶ディスプレイで実現する場合には、関連するマニュアルや処理事例情報、注意喚起情報などを、帳票、部分領域、及びフォームの少なくともいずれかに対応付けて出力部２０に表示させる。

また出力制御部１８０は、検証部１５０の検証結果をフォームに対応付けて更に出力部２０に出力させる。例えば出力制御部１８０は、出力部２０を液晶ディスプレイで実現する場合には、記載内容の矛盾や不整合が生じたフォームに対応付けて、その旨出力部２０に表示させる。

例えば図１２に示す例では、出力制御部１８０は、切り取り線２３２を、破線２５０で強調し、部分領域２５２がお客様控えであることを識別可能に出力部２０に表示させている。また出力制御部１８０は、記入上の注意情報２５４、２５６などを出力部２０に表示させている。

なお、出力制御部１８０は、顧客控えの部分領域と店舗控えの部分領域とをアニメーションで出力部２０に表示させたり、顧客控えの部分領域と店舗控えの部分領域とを区分けする切り取り線を点線や色線（例えば、赤線）などで出力部２０に表示させるようにしてもよい。

次に、図１３を参照しながら、本実施の形態の帳票処理装置の動作について説明する。図１３は、帳票処理装置１で行われる全体の処理の流れの一例を示すフローチャートである。

まず、画像受付部１００は、画像読取部１０により読み取られた帳票の画像データを受け付ける（ステップＳ１０）。

次に、レイアウト情報検出部１１２は、画像受付部１００により受け付けられた画像データの罫線情報に基づいて、フォーム（矩形）領域、切り取り線領域、及び文字領域などのレイアウト情報を検出する（ステップＳ１２）。

次に、文字列検出部１１４は、レイアウト情報検出部１１２により検出された文字領域から、文字列を検出する（ステップＳ１４）。

次に、取得部１２０は、キー表現記憶部４２からラベルを取得するラベル取得処理を行う（ステップＳ１６）。なお、ラベル取得処理の詳細については後述する。

次に、照合部１３２は、帳票事例情報を記憶する帳票事例データベース４４に対し、帳票情報に類似する帳票事例情報が記憶されているか否かを照合する（ステップＳ１８）。そして、帳票情報に類似する帳票事例情報が照合された場合に（ステップＳ２０でＹｅｓ）、照合部１３２は、当該帳票事例情報を帳票事例データベース４４から取得し、判定部１３０は、取得された帳票事例情報を用いて、部分領域の各々及びフォームの各々の役割を判定する。

一方、照合部１３２により帳票情報に類似する帳票事例情報が照合されなかった場合には（ステップＳ２０でＮｏ）、推定部１３４は、キー表現を包含しないフォームの位置情報にラベルを推定して対応付ける役割推定処理（ステップＳ２２）。を行う。そして、推定部１３４は、この対応付け結果で帳票情報を更新し、判定部１３０は、更新された帳票情報を用いて、部分領域の各々及び前記フォームの各々の役割を判定する。なお、役割推定処理の詳細については後述する。

次に、抽出部１４０は、文字列検出部１１４により検出された文字列から固有表現を抽出し、固有表現として抽出された文字列に品詞を対応付ける（ステップＳ２４）。

次に、検証部１５０は、抽出部１４０により抽出された固有表現を包含するフォームに対応付けられたラベルを用いて、フォームと固有表現との整合性を検証する整合性検証処理を行う（ステップＳ２６）。なお、整合性検証処理の詳細については後述する。

次に、検索部１６０は、帳票情報に含まれる情報、及び判定部１３０の判定結果の少なくとも一方を用いて、マニュアル・処理事例データベース４６やＷｅｂ６０から帳票に関する関連情報を検索する（ステップＳ２８）。

次に、出力制御部１８０は、判定部１３０の判定結果に基づいて、帳票の画像データとともに、所定の役割の部分領域を識別可能な態様で示すアラートを出力部２０に出力させる（ステップＳ３０）。

次に、図１４を参照しながら、図１３のステップＳ１６に示すラベル取得処理について説明する。図１４は、ラベル取得処理の一例を示すフローチャートである。

まず、取得部１２０は、文字列検出部１１４により検出された文字列を、キー表現記憶部４２に記憶されているキー表現リストと照合する（ステップＳ１００）。

次に、取得部１２０は、検出された文字列がキー表現のインスタンスに存在する（検出された文字列がキー表現である）場合には（ステップＳ１０２でＹｅｓ）、当該インスタンスに対応付けられたラベルを取得して、キー表現の位置情報及び当該キー表現を包含するフォームの位置情報に対応付け、帳票情報として登録する（ステップＳ１０４）。

一方、取得部１２０は、検出された文字列がキー表現のインスタンスに存在しない場合には（ステップＳ１０２でＮｏ）、ステップＳ１０４の処理を行わない。

そして、取得部１２０は、文字列検出部１１４により検出された全ての文字列を照合するまで（ステップＳ１０６でＹｅｓ）、ステップＳ１００〜ステップＳ１０４の処理を継続し、全ての文字列を照合すると（ステップＳ１０６でＮｏ）、処理を終了する。

次に、図１５を参照しながら、図１３のステップＳ２２に示す役割推定処理について説明する。図１５は、役割推定処理の一例を示すフローチャートである。

まず、推定部１３４は、帳票情報の中にキー表現が存在しているか否かを確認する（ステップＳ２００）。

そして、推定部１３４は、キー表現が存在している場合には（ステップＳ２００でＹｅｓ）、キー表現を含む最小の矩形（フォーム）を検出する（ステップＳ２０２）。

次に、推定部１３４は、検出した矩形の辺のうち、切り取り線と重なっているものがあるか否かを確認する（ステップＳ２０４）。そして、切り取り線と重なっているものがある場合には（ステップＳ２０４でＹｅｓ）、推定部１３４は、キー表現のインスタンスに対応付けられたラベルを、検出した矩形に対応付け、帳票情報として登録する（ステップＳ２１２）。

一方、切り取り線と重なっているものがない場合には（ステップＳ２０４でＮｏ）、推定部１３４は、続いて、他の矩形と辺を共有しているか否かを判定する共有判定処理を行う（ステップＳ２０６）。なお、共有判定処理の詳細については後述する。

そして、共有判定処理の結果、辺を共有している他の矩形にラベルを設定できる場合には（ステップＳ２０８でＹｅｓ）、推定部１３４は、キー表現のインスタンスに対応付けられたラベルを当該矩形に対応付け、帳票情報として登録する（ステップＳ２１２）。

一方、辺を共有している他の矩形にラベルを設定できない場合（辺を共有している他の矩形が存在しない場合を含む）には（ステップＳ２０８でＮｏ）、推定部１３４は、検出された矩形を包含する最小の矩形を更に検出する（ステップＳ２１０）。

そして、ステップＳ２１０で検出した矩形が帳票全体と一致するまで（ステップＳ２１４でＮｏ）、ステップＳ２０４〜ステップＳ２１０の処理を繰り返す。

次に、ステップＳ２１０で検出した矩形が帳票全体と一致した場合（ステップＳ２１４でＹｅｓ）や、ステップＳ２００でキー表現が存在しない場合には（ステップＳ２００でＮｏ）には、デフォルトルールを適用して、暫定候補を付与したり、判定不能としてマーキングする（ステップＳ２１６）。なお、マーキングがされている場合には、出力制御部１８０にその旨を出力部２０に表示させ、ユーザからのフィードバックを獲得して、更新部１７０に帳票事例データベース４４に記憶されている帳票事例情報を更新させるようにしてもよい。

そして、推定部１３４は、帳票情報の中の全てのキー表現をチェックするまで（ステップＳ２１８でＮｏ）、ステップＳ２０２〜ステップＳ２１６の処理を継続し、全てのキー表現をチェックすると（ステップＳ２１８でＹｅｓ）、処理を終了する。

次に、図１６を参照しながら、図１５のステップＳ２０６に示す共有判定処理について説明する。図１６は、共有判定処理の一例を示すフローチャートである。

まず、推定部１３４は、検出された矩形（フォーム）の右辺を共有する矩形があるか否かを確認する（ステップＳ３００）。例えば図１７に示す例では、検出された矩形が、矩形３００である場合、矩形３１０が右辺を共有する矩形となる。

そして、右辺を共有する矩形がある場合には（ステップＳ３００でＹｅｓ）、推定部１３４は、当該矩形にラベルが設定されているか否かを確認し（ステップＳ３０２）、ラベルが設定されていない場合には（ステップＳ３０２でＮｏ）、処理を終了する。

一方、右辺を共有する矩形がない場合や（ステップＳ３００でＮｏ）、右辺を共有する矩形にラベルが設定されている場合には（ステップＳ３０２でＹｅｓ）、推定部１３４は、続いて、検出された矩形の下辺を共有する矩形があるか否かを確認する（ステップＳ３０４）。例えば図１７に示す例では、検出された矩形が、矩形３００である場合、矩形３２０が下辺を共有する矩形となる。

そして、下辺を共有する矩形がある場合には（ステップＳ３０４でＹｅｓ）、推定部１３４は、当該矩形にラベルが設定されているか否かを確認し（ステップＳ３０６）、ラベルが設定されていない場合には（ステップＳ３０６でＮｏ）、処理を終了する。

一方、下辺を共有する矩形がない場合や（ステップＳ３０４でＮｏ）、下辺を共有する矩形にラベルが設定されていない場合には（ステップＳ３０６でＹｅｓ）、推定部１３４は、続いて、検出された矩形の左辺を共有する矩形があるか否かを確認する（ステップＳ３０８）。例えば図１７に示す例では、検出された矩形が、矩形３００である場合、矩形３３０が左辺を共有する矩形となる。

そして、左辺を共有する矩形がある場合には（ステップＳ３０８でＹｅｓ）、推定部１３４は、当該矩形にラベルが設定されているか否かを確認し（ステップＳ３１０）、ラベルが設定されていない場合には（ステップＳ３１０でＮｏ）、処理を終了する。

一方、左辺を共有する矩形がない場合や（ステップＳ３０８でＮｏ）、下辺を共有する矩形にラベルが設定されている場合には（ステップＳ３１０でＹｅｓ）、推定部１３４は、続いて、検出された矩形の上辺を共有する矩形があるか否かを確認する（ステップＳ３１２）。例えば図１７に示す例では、検出された矩形が、矩形３００である場合、矩形３４０が上辺を共有する矩形となる。

そして、上辺を共有する矩形がある場合には（ステップＳ３１２でＹｅｓ）、推定部１３４は、当該矩形にラベルが設定されているか否かを確認し（ステップＳ３１４）、ラベルが設定されていない場合には（ステップＳ３１４でＮｏ）、処理を終了する。

一方、上辺を共有する矩形がない場合や（ステップＳ３１２でＮｏ）、下辺を共有する矩形にラベルが設定されている場合には（ステップＳ３１４でＹｅｓ）、辺を共有している他の矩形にラベルを設定できないとして、処理を終了する。

なお、一般的な帳票では、項目が記載されたフォームの右側のフォーム、下側のフォームに内容を記載させるケースが多いため、本実施の形態では、右、下、左、上の順番でラベルを設定できるか否かを確認している。

次に、図１８を参照しながら、図１３のステップＳ２６に示す整合性検証処理について説明する。図１８は、整合性検証処理の一例を示すフローチャートである。

まず、検証部１５０は、抽出部１４０により固有表現が抽出されたか否かを確認する（ステップＳ４００）。そして、固有表現が抽出されている場合には（ステップＳ４００でＹｅｓ）、検証部１５０は、当該固有表現が記載された矩形のラベルを読み出す（ステップＳ４０２）。なお検証部１５０は、固有表現が抽出されていない場合には（ステップＳ４００でＮｏ）、処理を終了する。

次に、検証部１５０は、固有表現に対応づけられた品詞と、読み出されたラベルとが対応しているか否かを検証する（ステップＳ４０４）。そして、固有表現に対応づけられた品詞と、読み出されたラベルとが対応していない場合には（ステップＳ４０４でＮｏ）、検証部１５０は、その旨をユーザに出力するためのアラートを設定する（ステップＳ４０６）。なお、固有表現に対応づけられた品詞と、読み出されたラベルとが対応している場合には（ステップＳ４０４でＹｅｓ）、検証部１５０は、ステップＳ４０６の処理を行わない。

次に、検証部１５０は、読み出されたラベルと同一のラベルが対応付けられた矩形に、同一の品詞が対応付けられた固有表現が記載されているか否かを検証する（ステップＳ４０８）。そして、同一の品詞が対応付けられた固有表現が記載されていない場合には（ステップＳ４０８でＮｏ）、検証部１５０は、その旨をユーザに出力するためのアラートを設定する（ステップＳ４１０）。なお、同一の品詞が対応付けられた固有表現が記載されている場合には、（ステップＳ４０８でＹｅｓ）、検証部１５０は、ステップＳ４１０の処理を行わない。

そして、検証部１５０は、抽出部１４０により抽出された全ての固有表現をチェックするまで（ステップＳ４１２でＮｏ）、ステップＳ４０２〜ステップＳ４１０の処理を繰り替えし、全ての固有表現をチェックすると（ステップＳ４１２でＹｅｓ）、処理を終了する。

以上のように、本実施の形態では、画像データから検出したキー表現の位置情報及びキー表現を包含するフォームの位置情報にラベルを対応付けた帳票情報を用いて、切り取り線で区分けされた帳票上の部分領域の各々の役割を判定し、所定の役割の部分領域を識別可能な態様で出力する。従って本実施の形態によれば、切り取り線で区分けされる帳票上の部分領域であって、所定の役割を有する部分領域を識別することができ、人的・時間的なコストをかけることなく、帳票の部分領域の役割の不知に伴う帳票の処理誤りを削減することができるという効果を奏する。

また本実施の形態では、ラベルなど帳票情報に含まれる情報をクエリとして、マニュアルや処理事例を検索しているので、記入すべき内容や領域に応じて、記入上の注意をポップアップで表示したり、関連するマニュアルや記入例などを表示することができる。

また本実施の形態では、固有表現に対応づけられた品詞と、当該固有表現が記載されたフォームのラベルとを対比して、フォームと固有表現との整合性を検証するため、帳票の領域と記載内容との対応付けや、連票間の記載組み合わせとして、不備や矛盾があればアラートを出力することができる。

従って本実施の形態では、店舗の窓口担当者の手を煩わせることなく、客への確認を促すことができ、また、ユーザは、記入ミスによる作業の後戻りや、控えの受領ミスによるトラブル、不適切な振込先への納付を回避することができる。

また本実施の形態では、フォームに対応付けられたラベルが「振込先」である場合、当該フォームに記載された文字列のうち、「人名」、「地名」、「組織名」、「企業名」などの品詞が対応付けられた固有表現を用いて、Ｗｅｂ検索を行い、注意喚起情報や被害報告などを検索する。従って本実施の形態では、振込み詐欺などの犯罪対策としての効果も期待できる。

また本実施の形態では、処理誤りの多かった事例や新規の帳票事例を蓄積できるので、サービス品質の向上を図ることができる。

なお本実施の形態では、帳票処理装置１がキー表現記憶部４２、帳票事例データベース４４、及びマニュアル・処理事例データベース４６を備えるようにしたが、図示せぬサーバなどが備えるようにしてもよい。このようにすると、複数の帳票処理装置で帳票事例情報やマニュアル・処理事例を共有することができる。

なお本実施の形態の帳票処理装置１は、ＣＰＵ（Central Processing Unit）などの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置、
スキャナなどの画像読取装置、液晶ディスプレイなどの表示装置、ネットワークに接続して通信を行う通信Ｉ／Ｆ等を備えたハードウェア構成となっている。

本実施の形態の帳票処理装置の構成の一例を示すブロック図である。 本実施の形態のキー表現リストの一例を示す図である。 本実施の形態の帳票の一例を示す図である。 図３に示す帳票の帳票情報の一例を示す図である。 本実施の形態の帳票の一例を示す図である。 図５に示す帳票の帳票情報の一例を示す図である。 図３に示す帳票情報をベクトル化したベクトル化表現の一例を示す図である。 本実施の形態の帳票事例情報のモデルの一例を示す図である。 帳票事例情報で図４に示す帳票情報を更新した後の帳票情報の一例を示す図である。 帳票事例情報で図６に示す帳票情報を更新した後の帳票情報の一例を示す図である。 図５に示す帳票の文字列から固有表現を抽出した抽出結果の一例を示す図である。 本実施の形態の出力内容の一例を示す図である。 本実施の形態の帳票処理装置で行われる全体の処理の流れの一例を示すフローチャートである。 本実施の形態のラベル取得処理の一例を示すフローチャートである。 本実施の形態の役割推定処理の一例を示すフローチャートである。 本実施の形態の共有判定処理の一例を示すフローチャートである。 本実施の形態の共有判定処理の処理例の一例を説明するための図である。 本実施の形態の整合性検証処理の一例を示すフローチャートである。

符号の説明

１ 帳票処理装置
１０ 画像読取部
２０ 出力部
４０ 記憶部
４２ キー表現記憶部
４４ 帳票事例データベース
４６ マニュアル・処理事例データベース
６０ Ｗｅｂ
１００ 画像受付部
１１０ 検出部
１１２ レイアウト情報検出部
１１４ 文字列検出部
１２０ 取得部
１３０ 判定部
１３２ 照合部
１３４ 推定部
１４０ 抽出部
１５０ 検証部
１６０ 検索部
１８０ 出力制御部
２０２、２０４ 切り取り線
２０６、２０８、２１０、２１２、２１４ 文字列
２１６、２１８ フォーム
２３０、２３２ 切り取り線
２３４ 文字列
２３６、２３８ フォーム
２５０ 破線
２５２ 部分領域
２５４、２５６ 注意情報
３００、３１０、３２０、３３０、３４０ 矩形

Claims (7)

1. 帳票の画像データを受け付ける画像受付部と、
   前記画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出する検出部と、
   前記文字列のうちキーワードとなるキー表現と、当該キー表現の属性を示すラベルを対応付けて記憶するキー表現記憶部から、前記ラベルを取得する取得部と、
   前記キー表現の位置情報及び当該キー表現を包含する前記フォームの位置情報に前記ラベルを対応付けた帳票情報を用いて、前記切り取り線で区分けされた帳票上の部分領域の各々の役割を判定する判定部と、
   前記判定部の判定結果に基づいて、所定の役割の前記部分領域を識別可能な態様で出力する出力部と、を備えることを特徴とする帳票処理装置。
2. 帳票の事例及び過去に処理された帳票の少なくとも一方であって、当該帳票上の前記キー表現の位置情報及び前記フォームの位置情報に前記ラベルを対応付けた帳票事例情報を記憶する帳票事例データベースに対し、前記帳票情報に類似する前記帳票事例情報が記憶されているか否かを照合する照合部を更に備え、
   前記判定部は、前記帳票情報に類似する前記帳票事例情報が照合された場合に、当該帳票事例情報を用いて、前記部分領域の各々及び前記フォームの各々の役割を判定することを特徴とする請求項１に記載の帳票処理装置。
3. 前記帳票情報に類似する前記帳票事例情報が照合されない場合に、前記キー表現を包含しない前記フォームの位置情報に前記ラベルを推定して対応付ける推定部を更に備え、
   前記判定部は、前記推定部の対応付け結果で更新された前記帳票情報を用いて、前記部分領域の各々及び前記フォームの各々の役割を判定することを特徴とする請求項２に記載の帳票処理装置。
4. 前記帳票情報に含まれる情報、及び前記判定部の判定結果の少なくとも一方を用いて、前記帳票に関する情報を検索する検索部を更に備え、
   前記出力部は、更に、前記検索部の検索結果を、前記帳票、前記部分領域、及び前記フォームの少なくともいずれかに対応付けて出力することを特徴とする請求項１〜３のいずれか１つに記載の帳票処理装置。
5. 前記検出部により検出された前記文字列から固有表現を抽出する抽出部と、
   前記固有表現を包含する前記フォームに対応付けられた前記ラベルを用いて、前記フォームと前記固有表現との整合性を検証する検証部を更に備え、
   前記出力部は、更に、前記検証部の検証結果を前記フォームに対応付けて出力することを特徴とする請求項１〜４のいずれか１つに記載の帳票処理装置。
6. 前記帳票情報及び前記判定部の判定結果で、前記帳票事例データベースに記憶されている前記帳票事例情報を更新する更新部を更に備えることを特徴とする請求項３に記載の帳票処理装置。
7. 画像受付部が、帳票の画像データを受け付ける画像受付ステップと、
   検出部が、前記画像データから、帳票上のフォームの位置情報、帳票上の切り取り線の位置情報、並びに帳票上の文字列及びその位置情報を検出する検出ステップと、
   取得部が、前記文字列のうちキーワードとなるキー表現と、当該キー表現の属性を示すラベルを対応付けて記憶するキー表現記憶部から、前記ラベルを取得する取得ステップと、
   判定部が、前記キー表現の位置情報及び当該キー表現を包含する前記フォームの位置情報に前記ラベルを対応付けた帳票情報を用いて、前記切り取り線で区分けされた帳票上の部分領域の各々の役割を判定する判定ステップと、
   出力部が、前記判定部の判定結果に基づいて、所定の役割の前記部分領域を識別可能な態様で出力する出力ステップと、を含むことを特徴とする帳票処理方法。

Images