JP2023115575A - 文字照合装置、プログラム及び封入物確認システム - Google Patents

Abstract

【課題】ＯＣＲの精度を補う工夫をした文字照合装置、プログラム及び封入物確認システムを提供する。【解決手段】封入物確認装置１は、封入物を撮影して得られた画像に対して文字認識処理を行う文字認識部１５と、複数の封入物に対応する各文字列を比較して照合する文字照合部１８と、照合対象になる領域の画像を書類間で比較して、画像類似度を算出する画像類似度算出部２０と、文字照合部１８による照合結果と、画像類似度算出部２０が算出した画像類似度とに基づいて、識別文字情報が一致しているか否かを判定する文字判定部２１と、判定結果をモニタ４に出力する確認結果出力部２３と、を備える。【選択図】図２

Description

本発明は、文字照合装置、プログラム及び封入物確認システムに関する。

従来、同一人物に対して発送する通知書や明細書等の複数の書類を、封筒に封入する業務が行われている。書類には、例えば、住所や氏名等の個人を特定する情報を含むため、誤って他の送付先の書類を封入してしまうと、個人情報の流出につながる。そのため、封入作業を行う際に、封入する書類が同一人物への書類であることを確認する必要がある。確認作業を補助する取り組みには、様々なものがある。
例えば、同じ封筒に封入する書類に、二次元コードやバーコードといった光学的に自動読み取り可能な光学式認識コードを印字することで、同一人物への書類であることを確認するものがある。しかし、デザインを重視する等の理由で、光学式認識コードを帳票に印刷できない場合がある。

そこで、例えば、「帳票を撮影するためのカメラ装置と、同じ封筒に封入する帳票を検査する帳票検査装置と、帳票の検査履歴を記憶させる検査履歴データベースを備えたデータ記憶装置とから少なくとも構成され、前記帳票検査装置は、画像に含まれる文字を文字認識する文字認識部と、同じ封筒に封入する帳票を検査する帳票検査部を備え、前記帳票検査部は、通数連番と枝番で少なくとも構成される帳票番号をユーザが撮影した画像が前記カメラ装置から出力されると、前記カメラ装置から出力された帳票番号の画像をメモリに保持する画像取得処理と、同じ封筒に封入する全ての帳票について帳票番号の撮影が完了したことが示されると、メモリに保持している帳票番号の画像全てを前記文字認識部に文字認識させ、同じ封筒に封入する全ての帳票において帳票番号の通数連番が一致するか確認する照合検査を少なくとも実行する帳票検査処理と、前記帳票検査処理が終了すると、前記照合検査の結果を関連付けた状態で、メモリに保持している帳票番号の画像を前記データ記憶装置の前記検査履歴データベースに記憶させる履歴記憶処理を実行する、ことを特徴とする帳票検査システム」が開示されている（例えば、特許文献１参照）。

特開２０１６－４３６５号公報

特許文献１に記載されているものを含み、画像に含まれる文字を文字認識するのには、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）が用いられる。しかし、ＯＣＲの精度には限界があり、誤認識が発生してしまう危険性を有している。特に、認識対象文字の周囲に枠があったり、他の文字があったりする場合に、誤認識をする危険性がある。また、髪の毛や紙シワ等を数字として誤って認識してしまうケースもある。

そこで、本発明は、ＯＣＲの精度を補う工夫をした文字照合装置、プログラム及び封入物確認システムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、同一の識別文字情報を有する複数種類の書類を照合する文字照合装置であって、前記書類を撮影した画像に対して文字認識処理を行う認識処理手段と、複数の前記書類に対応する各文字列を比較して照合する文字照合手段と、照合対象になる領域の画像を書類間で比較して、画像類似度を算出する画像類似度算出手段と、前記文字照合手段による照合結果と、前記画像類似度算出手段が算出した画像類似度とに基づいて、前記識別文字情報が一致しているか否かを判定する判定手段と、前記判定手段による判定結果を、表示部に出力する判定結果出力手段と、を備える、文字照合装置である。
第２の発明は、第１の発明の文字照合装置において、前記画像類似度算出手段は、前記照合対象になる領域に有する文字ごとの画像を書類間で比較して、画像類似度を算出する、文字照合装置である。
第３の発明は、第１の発明又は第２の発明の文字照合装置において、前記認識処理手段により得られた文字列から、前記照合対象になる領域を特定する領域特定手段を備え、前記文字照合手段は、前記領域特定手段が特定した前記照合対象になる領域に対応する各文字列を比較して照合する、文字照合装置である。
第４の発明は、第１の発明又は第２の発明の文字照合装置において、前記書類ごとに前記照合対象になる領域が記憶されており、前記書類を撮影した画像を分析して前記書類の種別を認識する種別認識手段を備え、前記文字照合手段は、前記種別認識手段が認識した前記書類の種別に基づいて、前記書類ごとの前記照合対象になる領域に対応する各文字列を比較して照合する、文字照合装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの文字照合装置において、前記書類を撮影した画像に対して前処理を行う前処理手段と、前記前処理手段による前処理後の画像に対して文字認識処理を行う前処理後認識処理手段と、を備え、前記文字照合手段は、前記認識処理手段で得られた複数の前記書類に対応する各文字列と、前記前処理後認識処理手段で得られた複数の前記書類に対応する各文字列とを用いて照合する、文字照合装置である。
第６の発明は、第５の発明の文字照合装置において、前記前処理手段は、前記書類を撮影した画像に対して複数種類の前記前処理を行う、文字照合装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの文字照合装置において、出力文字列を取得する出力文字列取得手段を備え、前記判定結果出力手段は、さらに前記出力文字列取得手段が取得した前記出力文字列と、前記照合対象になる各領域の画像とを出力する、文字照合装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの文字照合装置としてコンピュータを機能させるためのプログラムである。
第９の発明は、第１の発明から第７の発明までのいずれかの文字照合装置を含む封入物確認システムであって、複数の前記書類である封入物を並べて載置可能な載置台と、前記載置台を撮影可能な撮影部と、前記撮影部を介して、前記載置台に載置された複数の前記書類を撮影した画像を含む撮影画像を取得する画像取得手段と、前記画像取得手段が取得した前記撮影画像から各書類の画像を切り出す画像切出手段と、を備える、封入物確認システムである。
第１０の発明は、第９の発明の封入物確認システムにおいて、前記載置台のうち各封入物の載置領域に設けられた重量検出部と、前記複数の封入物の種別ごとの重量を記憶する重量記憶部と、前記重量検出部が検出した各封入物の重量が、前記重量記憶部に記憶された各封入物の重量と一致しているか否かを確認する重量確認手段と、前記重量確認手段により重量が不一致であることを確認した場合に、報知する報知手段と、を備える、封入物確認システムである。

本発明によれば、ＯＣＲの精度を補う工夫をした文字照合装置、プログラム及び封入物確認システムを提供することができる。

本実施形態に係る封入物確認システムの概要を示す図である。 本実施形態に係る封入物確認装置の機能ブロックを示す図である。 本実施形態に係る封入物確認装置の記憶部の例を示す図である。 本実施形態に係る封入物確認装置での封入物確認処理を示すフローチャートである。 本実施形態に係る封入物確認装置での照合領域特定処理を示すフローチャートである。 本実施形態に係る封入物確認装置での文字照合処理を示すフローチャートである。 本実施形態に係るモニタに出力される画面の例を示す図である。 本実施形態に係る封入物確認装置における処理を説明するための図である。 本実施形態に係るモニタに出力される判定結果画面の例を示す図である。 本実施形態に係るモニタに出力される判定結果画面の例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜封入物確認システム１００＞
図１は、本実施形態に係る封入物確認システム１００の概要を示す図である。
封入物確認システム１００は、例えば、取引先から依頼を受けた業務委託会社が、取引先の顧客に対して発送する複数の書類（封入物）を封筒に封入する作業の過程において使用するものであり、同一人物に対する複数の書類を封入する際の確認に使用するものである。

図１に示すように、封入物確認システム１００では、作業者Ｐが、作業者Ｐの右側の書類置き場に載置されている書類の束５１から５４から、それぞれ上から１枚ずつ取って、書類置き場に載置されている書類の順番に、作業者Ｐの前にある載置台４０に載置する。図１の例では、書類置き場には、４種類の書類がそれぞれ印刷した順に重ねられた書類の束５１から５４が載置されている。
ここで、書類は、例えば、銀行やクレジットカード会社等の金融機関や、生命保険や損害保険等の保険会社等の取引先が、その顧客に発送する通知書や明細書等である。各書類は、顧客を識別するためのキー情報（識別文字情報）が付与されている。キー情報は、例えば、キャッシュカードやクレジットカードの番号の少なくとも一部や、保険証書番号等である。また、書類は、取引先から受領したデータに基づいて印刷されたものであり、書類の束５１から５４は、いずれも同じ順番に書類が重ねられている。つまり、いずれの書類の束５１から５４は、顧客Ｘ、顧客Ｙ、・・・の順番になっている。

載置台４０には、例えば、緑色の単一色の布素材又は紙素材が敷かれている。載置台４０が緑色であれば、画像処理の際にグリーンバック（背景）として、載置台４０に載置された物体の画像を切り出しやすい利点がある。なお、緑色ではなく、青色であってもよい。そして、載置台４０には、書類を載置する載置領域４１から４４が、作業者Ｐが視認可能に設けられている。そこで、作業者Ｐは、載置領域４１から４４に、それぞれの書類５１ａから５４ａが収まるように、書類５１ａから５４ａを載置する。

そして、作業者Ｐが載置台４０に設けられたスイッチ８を操作することで、カメラ５（撮影部）が載置台４０を撮影する。すると、撮影画像を含む、同一人物のものであるかの確認結果が、モニタ４（表示部）に表示される。スイッチ８は、カメラ５を介して画像を取得するための操作部材である。スイッチ８は、載置台４０の作業者Ｐから見て右手前に設けられ、作業者Ｐの右手で操作可能になっている。なお、スイッチ８は、作業者Ｐの左手で操作が可能な位置に設けられていてもよい。カメラ５は、載置台４０を撮影可能な位置に予め調整されて設けられている。

作業者Ｐは、モニタ４に表示された確認結果によって同一人物のものであることを確認できた場合に、載置台４０に載置した書類５１ａから５４ａを再び手に取って、当該書類５１ａから５４ａまでを順番に重ね、作業者Ｐの左側の封筒置き場にある空の封筒５５に当該書類を封入する。これら一連の作業者Ｐによる作業によって、同一人物に対する複数の書類５１ａから５４ａが、１つの封筒５５に封入封緘される。

＜封入物確認装置１＞
次に、封入物確認システム１００で用いる、書類が同一人物のものであるかを確認する封入物確認装置１（文字照合装置）の機能ブロックについて説明する。
図２は、本実施形態に係る封入物確認装置１の機能ブロックを示す図である。
図３は、本実施形態に係る封入物確認装置１の記憶部３０の例を示す図である。
封入物確認装置１は、図１に示す載置台４０に載置された複数の書類５１ａから５４ａが、同一人物に発送するべきものであることを確認するための装置である。
図２に示すように、封入物確認装置１は、制御部１０と、記憶部３０と、モニタ４と、カメラ５と、スピーカ６と、重量センサ７１から７４（重量検出部）と、スイッチ８とを備える。

制御部１０は、封入物確認装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、開始受付部１１と、画像取得部１２（画像取得手段）と、画像切出部１３（画像切出手段）と、照合領域特定部１４（種別認識手段、領域特定手段）と、文字認識部１５（認識処理手段）と、前処理部１６（前処理手段）と、前処理後文字認識部１７（前処理後認識処理手段）と、文字照合部１８（文字照合手段）と、出力文字列取得部１９（出力文字列取得手段）と、画像類似度算出部２０（画像類似度算出手段）と、文字判定部２１（判定手段）と、重量確認部２２（重量確認手段）と、確認結果出力部２３（判定結果出力手段、報知手段）とを備える。

開始受付部１１は、作業者Ｐによるスイッチ８に対する操作を受け付けることで、処理の開始を受け付ける。
画像取得部１２は、開始受付部１１による受け付けに応じて、カメラ５を介して載置台４０の撮影画像を取得する。
画像切出部１３は、画像取得部１２が取得した撮影画像から書類部分の画像である書類画像（書類を撮影した画像）を切り出す。上記したように、載置台４０は、グリーンバック背景から色情報を用いて書類領域である書類の輪郭線を検出し、書類画像を切り出すことができる。なお、画像切出部１３は、切り出した書類画像に対して台形補正をしてもよい。

照合領域特定部１４は、画像切出部１３により切り出された書類画像を分析して、書類の種別を認識する。照合領域特定部１４は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の技術を用いて、各書類画像の種別を認識してもよい。また、書類画像を分析することで書類を識別するのではなく、撮影画像の全体に対する書類画像の位置に、書類の種別を予め対応付けることで、書類を識別してもよい。
そして、照合領域特定部１４は、画像切出部１３により切り出された書類画像から照合領域（照合対象になる領域）を特定する。照合領域は、照合対象である顧客を識別するためのキー情報を含む領域である。例えば、識別領域を、書類ごとに事前に座標領域として登録しておくことで、照合領域特定部１４は、照合領域を特定できる。

文字認識部１５は、照合領域特定部１４が特定した照合領域に対してＯＣＲ処理（文字認識処理）をすることで、文字列を得る。
前処理部１６は、照合領域特定部１４が特定した照合領域に対して前処理を行う。前処理部１６は、複数の異なる様々な前処理の手法を用いて処理をすることができる。前処理の手法としては、例えば、先鋭化、輝度変換、細線化、色抽出等がある。先鋭化とは、画像のエッジを強調することをいい、シャープな画像を得ることができる。輝度変換は、ガンマ補正をすることをいい、輝度の低い領域を強調することができる。細線化とは、二値化された画像において、線の中心１画素分だけを残すように線を細くして中心線を算出する処理をいう。色抽出は、例えば、画像のヒストグラムを確認することで、出現頻度の高い代表色を抽出することをいう。例えば、赤色の文字画像であれば、色抽出をすることで、赤色の文字画像を抽出することができる。
前処理後文字認識部１７は、前処理部１６による前処理後の照合領域に対してＯＣＲ処理をすることで、文字列を得る。

文字照合部１８は、文字認識部１５により得られた文字列と、前処理後文字認識部１７により得られた文字列とを用いて照合する。文字照合部１８は、例えば、同じ照合領域について文字認識部１５により得られた文字列同士を照合し、かつ、前処理後文字認識部１７により得られた文字列同士を照合してもよい。また、文字照合部１８は、例えば、複数の前処理の手法を用いた場合に、前処理の手法ごとに前処理後文字認識部１７により得られた複数の文字列同士を照合してもよいし、前処理の手法に関係なく前処理後文字認識部１７により得られた全ての文字列を照合してもよい。

出力文字列取得部１９は、複数の文字列から出力文字列を取得する。出力文字列取得部１９は、例えば、文字認識部１５により得られた文字列を、出力文字列として取得してもよい。また、出力文字列取得部１９は、例えば、文字照合部１８が照合した結果として一致度が一番高い文字列を、出力文字列として取得してもよい。

画像類似度算出部２０は、照合領域特定部１４が特定した照合領域に有する文字ごとの画像を、複数の書類間で比較して、文字ごとの画像類似度を算出する。画像類似度は、例えば、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）アルゴリズムを用いた特徴点マッチングや、テンプレートマッチング等の手法を採用して算出することができる。これらの手法は、いずれも同じ文字は、近い画像特徴量（構造情報）を持っているであろうという前提によるものであり、同じ文字であれば、画像類似度が高く算出される。

文字判定部２１は、文字照合部１８による照合結果に基づいて、キー情報が一致しているか否かを判定する。また、文字判定部２１は、文字照合部１８による照合結果と、画像類似度算出部２０が算出した画像類似度とに基づいて、キー情報が一致しているか否かを判定する。文字判定部２１は、例えば、画像類似度算出部２０が算出した画像類似度が、閾値以上である場合に、キー情報が一致していると判定してもよい。ここで、閾値は、統計的に決定してよく、例えば、直近１ヶ月の画像類似度の分布に基づいて決定してもよい。

重量確認部２２は、開始受付部１１による受け付けに応じて重量センサ７１から７４が重量を検出する。そして、重量確認部２２は、検出した書類の重量が、後述する書類記憶部３２（重量記憶部）に記憶された各書類の重量と一致しているか否かを確認する。
確認結果出力部２３は、文字判定部２１による判定結果を、モニタ４に出力する。確認結果出力部２３は、出力文字列取得部１９が取得した出力文字列と、各照合領域の画像とを、判定結果にさらに加えて出力してもよい。
また、確認結果出力部２３は、重量確認部２２により重量が不一致であることを確認した場合には、例えば、モニタ４に重量が不一致である旨の報知を行う。なお、確認結果出力部２３は、例えば、重量の不一致を確認した場合に、スピーカ６から警告音による報知をしてもよい。
なお、各処理の詳細については、後述する。

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、封入物確認装置１は、制御部１０、記憶部３０等を備えた情報処理装置であり、コンピュータの概念に含まれる。
記憶部３０は、プログラム記憶部３１と、書類記憶部３２と、封入順記憶部３３とを備える。

プログラム記憶部３１は、各種プログラムを記憶する記憶領域である。プログラム記憶部３１は、封入物確認装置１の制御部１０が実行する各種機能を行うためのプログラム（図示せず）を記憶している。
書類記憶部３２は、書類の重量を含む書類に関する情報を記憶する記憶領域である。図３（Ａ）に、書類記憶部３２の項目例を示す。図３（Ａ）に示す書類記憶部３２は、書類ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）と、画像と、書類名と、キー領域座標と、重量とを対応付けて記憶している。
書類ＩＤは、書類の種別を識別する識別情報であり、書類Ａ、書類Ｂ、書類Ｃ、・・・ごとに異なるＩＤが付与される。
画像は、書類の画像であり、書類名は、書類の名称である。
キー領域座標は、書類内でのキー情報の座標である。
重量は、封入する１書類あたりの重量であり、単位は、例えば、ｍｇ（ミリグラム）である。

封入順記憶部３３は、取引先からの依頼に対応した作業ごとに、封入する書類の重ね順と、載置台４０の位置に対応した書類ＩＤとを対応付けて記憶する記憶領域である。図３（Ｂ）に、封入順記憶部３３の項目例を示す。図３（Ｂ）に示す封入順記憶部３３は、作業ＩＤごとに、重ね順と、場所と、書類ＩＤとを対応付けて記憶している。
作業ＩＤは、取引先からの依頼に対応して、依頼ごとに１つの作業ＩＤを付与する。
重ね順は、封入する書類を重ねる順番である。
場所は、名称と載置台４０の位置とを有する。名称は、ＫＥＹが最上位に重ねるものであり、例えば、封筒の窓部から視認可能な書類である。ＳＵＢ１からＳＵＢ３は、重ね順に対応した名称である。
書類ＩＤは、書類の種別を識別する識別情報である。
その他、記憶部３０は、例えば、取引先と作業ＩＤとを記憶した取引先情報記憶部等を有してもよいが、詳細な説明は省略する。

モニタ４は、図１に示すように、例えば、載置台４０の作業者Ｐから見て奥側であって、載置台４０に書類を載置する作業者Ｐが視認しやすい位置に設けられている。モニタ４は、例えば、液晶パネル等で構成される表示部としての機能を有する表示装置である。
カメラ５は、撮影装置である。カメラ５は、載置台４０の鉛直方向上側に、レンズ（図示せず）が載置台４０に対向するように設けられ、載置台４０を撮影する。
スピーカ６は、音声出力装置であり、例えば、モニタ４の近傍に設けられている。
重量センサ７１から７４は、載置台４０に設けられた重量を検出するセンサである。重量センサ７１から７４は、それぞれ重量センサ７１から７４に載置された書類の重量を検出する。重量センサ７１は、例えば、載置領域４１の中央付近に設けられる。重量センサ７２から７４までも、重量センサ７１と同様に、それぞれ載置領域４２から４４の中央付近に設けられる。
スイッチ８は、作業者Ｐが操作する釦である。

＜処理の説明＞
次に、封入物確認装置１による処理について説明する。
図４は、本実施形態に係る封入物確認装置１での封入物確認処理を示すフローチャートである。
図５は、本実施形態に係る封入物確認装置１での照合領域特定処理を示すフローチャートである。
図６は、本実施形態に係る封入物確認装置１での文字照合処理を示すフローチャートである。
図７は、本実施形態に係るモニタ４に出力される画面６０の例を示す図である。
図８は、本実施形態に係る封入物確認装置１における処理を説明するための図である。
図９及び図１０は、本実施形態に係るモニタ４に出力される判定結果画面９０の例を示す図である。

事前作業として、例えば、作業者Ｐは、照合対象の書類に関する情報を、書類記憶部３２に登録しておく。
次に、作業者Ｐは、図１で説明したように、１つの封筒に封入する複数種類の書類を順番に載置台４０に載置する。

図４のステップＳ（以下、「Ｓ」という。）１１において、封入物確認装置１の制御部１０（開始受付部１１）は、スイッチ８の操作を受け付けたか否かを判断する。作業者Ｐが載置台４０の載置領域４１から４４までに、各領域に対応する書類を載置してスイッチ８を押下操作することで、制御部１０は、スイッチ８の操作を受け付けたと判断する。スイッチ８の操作を受け付けた（Ｓ１１：ＹＥＳ）には、制御部１０は、処理をＳ１２に移す。他方、スイッチ８の操作を受け付けていない場合（Ｓ１１：ＮＯ）には、制御部１０は、スイッチ８の操作を受け付けるまで、本処理にとどまる。
Ｓ１２において、制御部１０は、重量検出処理を行う。より具体的には、制御部１０は、Ｓ１１の処理によりスイッチ操作を受け付けたことに応じて、重量センサ７１から７４がそれぞれ重量を検出する。そして、制御部１０は、検出した重量を、記憶部３０に一時記憶する。

Ｓ１３において、制御部１０は、照合領域特定処理を行う。
ここで、照合領域特定処理について、図５に基づき説明する。
図５のＳ２１において、制御部１０（画像取得部１２）は、載置台４０を撮影し、撮影画像を取得する。図１の例の場合には、取得した撮影画像に、４つの異なる書類５１ａから５４ａまでを含む。
Ｓ２２において、制御部１０は、取得した撮影画像を、モニタ４に出力する。
図７は、モニタ４に出力された画面６０の例である。
画面６０は、図１に示す載置領域４１から４４に対応する書類領域６１から６４を含む。
作業者Ｐは、自身がスイッチ８を操作したことによってカメラ５が撮影したことを、モニタ４の画面６０を見て確認できる。

Ｓ２３において、制御部１０（画像切出部１３）は、撮影画像から書類画像を切り出す。なお、制御部１０は、切り出した書類画像を台形補正して長方形状にする処理を行ってもよい。
Ｓ２４において、制御部１０（照合領域特定部１４）は、切り出した書類画像ごとに照合領域を特定する。制御部１０は、書類記憶部３２を参照して書類ごとに照合領域の位置を特定した上で、照合領域を特定する。例えば、図８（Ａ）に示す画像８１Ａは、例えば、書類５１ａの照合領域を特定したものであり、図８（Ｂ）に示す画像８１Ｂは、例えば、書類５２ａの照合領域を特定したものである。その後、制御部１０は、処理を図４のＳ１４に移す。
図４のＳ１４において、制御部１０は、文字照合処理を行う。

ここで、文字照合処理について、図６に基づき説明する。
図６のＳ３１において、制御部１０（文字認識部１５）は、各照合領域に対してＯＣＲ処理を行って、各照合領域に含まれる文字を取得する。
図８（Ａ）に示す文字列８１Ｘは、照合領域の画像８１Ａから得られた文字列である。ここで、図８（Ａ）では、画像８１Ａの文字列と、文字列８１Ｘとは同一である。他方、図８（Ｂ）に示す文字列８１Ｙは、照合領域の画像８１Ｂから得られた文字列である。図８（Ｂ）では、画像８１Ｂの文字列と、文字列８１Ｙとが同一ではない。これは、画像８１Ｂに対してＯＣＲ処理をした際に、数字９の左側にある線を、数字の１と認識したためである。
このように、ＯＣＲ処理では、ＯＣＲの精度によって誤認識が生じてしまう。

図６のＳ３２において、制御部１０（前処理部１６）は、各照合領域に対して前処理を行う。
図８（Ａ）に示す画像８２Ａから８５Ａは、それぞれ、画像８１Ａに対して先鋭化、輝度変換、細線化、代表色の色抽出を行った画像である。図８（Ｂ）に示す画像８２Ｂから８５Ｂも同様である。

図６のＳ３３において、制御部１０（前処理後文字認識部１７）は、前処理後の各照合領域に対してＯＣＲ処理を行い、各照合領域に含まれる文字列を取得する。
図８（Ａ）に示す文字列８２Ｘから８５Ｘは、それぞれ照合領域の画像８２Ａから８５Ａにより得られた文字列である。また、図８（Ｂ）に示す文字列８２Ｙから８５Ｙは、それぞれ照合領域の画像８２Ｂから８５Ｂにより得られた文字列である。

図６のＳ３４において、制御部１０（文字照合部１８）は、取得した各文字列を照合する。より具体的には、制御部１０は、同じ照合領域について、Ｓ３１の処理で取得した文字列同士を照合する。
また、制御部１０は、Ｓ３３の処理により得られた文字列同士を照合する。そして、制御部１０（文字判定部２１）は、キー情報の一致を判定する。
Ｓ３１の処理で取得した文字列同士を照合した結果、各文字列同士が同じであれば、制御部１０は、一致していると判断し、さらに、Ｓ３３の処理により得られた文字列同士を照合して一致しているか否かを判断する。他方、Ｓ３１の処理で取得した文字列同士を照合した結果、各文字列同士が同じでなければ、制御部１０は、不一致であると判断する。

ここで、複数の前処理をした後にＯＣＲ処理により取得した複数の文字列の照合方法には、各種の方法を用いることができる。
方法の１つは、例えば、同じ前処理をしたＯＣＲ結果同士で照合を行うものである。この場合、各前処理に対する照合成功率を確信度とし、確信度が１００％であれば、制御部１０は、一致すると判定し、確信度が１００％以外であれば、制御部１０は、後述する判定結果の出力において、アラートで警告する等の処理を行う。

例えば、制御部１０は、書類５１ａの先鋭化後のＯＣＲ処理で認識した文字列と、同一人物の書類である書類５２ａの先鋭化後のＯＣＲ処理で認識した文字列とが同一であるか否かを確認する。同様に、制御部１０は、書類５１ａの輝度変換後のＯＣＲ処理で認識した文字列と、同一人物の書類である書類５２ａの輝度変換後のＯＣＲ処理で認識した文字列とが同一であるか否かを確認する。そして、制御部１０は、照合した個数に対する同一であった個数を、確信度とする。照合した個数、すなわち、前処理の手法の種類が４つであり、照合して同一であったものが３つであった場合には、確信度は、３／４（＝０．７５）である。

また、他の方法として、例えば、単純に各数字の出現頻度を比較するものであってもよい。制御部１０は、例えば、書類ごとに各数字に対する出現回数を集計する。そして、制御部１０は、数字ごとに、出現回数の差を算出し、差の絶対値の平均を不一致率とする。そして、不一致率が０であれば、制御部１０は、一致すると判定し、不一致率が０以外の場合には、制御部１０は、後述する判定結果の出力において、アラートで警告する等の処理を行う。
上記の方法例は、一例であって、他の方法によるものであってももちろんよい。

図６のＳ３５において、制御部１０（出力文字列取得部１９）は、出力文字列を取得する。制御部１０は、出力文字列を、例えば、Ｓ３１の処理で取得したＫＥＹの書類の文字列にすることができる。
Ｓ３６において、制御部１０（画像類似度算出部２０）は、各照合領域に対して文字ごとに画像を比較して、画像類似度を算出する。
Ｓ３７において、制御部１０（文字判定部２１）は、算出した画像類似度に基づいて、キー情報が一致しているか否かを、閾値に基づいて判定する。制御部１０は、画像類似度が閾値以上である場合に、キー情報が一致していると判定する。その後、制御部１０は、処理を図４のＳ１５に移す。

図４のＳ１５において、制御部１０（重量確認部２２）は、重量確認処理を行う。制御部１０は、Ｓ１２の処理で記憶部３０に一時記憶した各重量センサ７１から７４までに対応した重量と、書類記憶部３２に記憶された重量とが一致するか否かを確認する。制御部１０は、重量に多少の誤差（例えば、書類記憶部３２に記憶されている重量の前後１０％程度の誤差等）が生じていても、一致するとしてもよい。重量の確認は、主に、複数枚を誤って載置したことを検出するのに用いるためものだからである。
Ｓ１６において、制御部１０（確認結果出力部２３）は、判定結果をモニタ４に出力する。

図９は、モニタ４に出力される判定結果画面９０の例を示す。判定結果画面９０は、例えば、図７の画面６０に重ねてポップアップ画面として出力してもよい。
判定結果画面９０は、キー情報出力部９１と、各書類の照合領域出力部９２から９５と、結果出力部９６とを含む。
キー情報出力部９１は、出力文字列を出力する領域である。図９の例では、２つのキー情報が抽出されたものであり、２つの出力文字列を出力している。
照合領域出力部９２から９５は、書類５１ａから５４ａまでの各書類の照合領域を出力する領域である。
結果出力部９６は、照合結果を一目で分かりやすく示す領域であり、例えば、「○」、「×」、「△」等によって照合結果を表示する。
メッセージ出力部９７は、メッセージを出力する領域である。

図９に示す判定結果画面９０は、判定結果が一致である場合に出力される例である。そのため、結果出力部９６には、一致である「○」のマークが出力される。ここで、一致である場合とは、例えば、
（ａ）照合領域に対して単純にＯＣＲ処理をして取得した文字列が一致し、
（ｂ）前処理後にＯＣＲ処理をして取得した文字列が一致し、
（ｃ）画像類似度により一致と判断されて、
（ｄ）重量が一致している、
場合をいう。
図９の判定結果画面９０に示すように、判定結果が一致している場合には、メッセージ出力部９７には、特段のメッセージが出力されず、空欄である。

他方、図１０に示す判定結果画面９０－２は、判定結果が不一致である場合に出力される例である。図１０の例では、照合領域出力部９３－２が不一致である場合を示す。照合領域出力部９３－２は、不一致である旨を明示するため、当該欄が着色されている。また、結果出力部９６－２には、不一致である「×」のマークが出力される。ここで、不一致である場合とは、例えば、照合領域に対して単純にＯＣＲ処理をして取得した文字列が不一致である場合や、重量が不一致の場合をいう。重量が不一致の場合は、複数枚の帳票を重ねた場合や、載置する書類が不足している場合にも該当する。

判定結果画面９０－２のメッセージ出力部９７－２には、不一致の箇所がメッセージとして出力される。また、判定結果画面９０－２には、ウィンドウ９８がさらに出力される。ウィンドウ９８は、作業者Ｐが解除キーを入力しない限りにおいて、次の処理に進めないようにして、作業者Ｐに確認を促す。
なお、重量が不一致だった場合には、文字列が不一致である場合と判別するために、制御部１０（確認結果出力部２３）は、例えば、スピーカ６から警告音を発するようにして作業者Ｐに報知してもよい。

なお、図示しないが、照合領域に対して単純にＯＣＲ処理をして取得した文字列が一致し、重量が一致している場合であっても、前処理後にＯＣＲ処理をして取得した文字列が不一致である場合や、画像類似度により不一致と判断された場合には、制御部１０は、判定結果画面９０の結果出力部９６に「△」のマークを出力した判定結果画面を出力する。そして、例えば、上記した図１０の判定結果画面９０－２のようウィンドウ９８を出力して、作業者Ｐに目視等で確認するように、作業者Ｐを促す。

その後、図４のＳ１７において、制御部１０は、処理を終了するか否かを判断する。例えば、書類の封入確認が終わったことで、作業者Ｐが図示しない終了のための操作をすることで、制御部１０は、処理を終了すると判断する。処理を終了する場合（Ｓ１７：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、処理を終了しない場合（Ｓ１７：ＮＯ）には、制御部１０は、処理をＳ１１に移し、作業者Ｐによってスイッチ８の操作がされるまで本処理にとどまる。

このように、本実施形態の封入物確認システム１００によれば、以下のような効果がある。
（１）封入物確認装置１は、書類画像からキー情報を含む照合領域を抽出し、照合領域に対してＯＣＲ処理を行って文字列を取得し、照合領域に対してノイズを除去する前処理を行った後にＯＣＲ処理を行って文字列を取得し、取得した文字列を照合する。また、封入物確認装置１は、照合領域の画像を書類間で比較して、画像類似度を算出する。そして、封入物確認装置１は、ＯＣＲ処理に基づく照合結果と、算出した画像類似度とに基づいて、キー情報が一致しているか否かを判定する。
よって、画像類似度を用いることで、ＯＣＲの精度を補うことができ、書類の誤封入を未然に防止することができる。

（２）封入物確認装置１は、照合領域に有する文字ごとの画像を書類間で比較して、文字ごとの画像類似度を算出する。
よって、文字ごとの画像類似度を用いることで、より細かい単位で類似度を算出して、照合に生かすことができる。

（３）封入物確認装置１は、書類ごとに照合領域を記憶しておき、書類画像から書類の種別を認識することで、認識した書類種別に対応する照合領域を、書類画像から得ることができる。そして、封入物確認装置１は、照合領域に対応する文字列を比較して照合する。
よって、封入物確認装置１は、書類の種別を判定することで、照合領域を得ることができる。

（４）封入物確認装置１は、書類画像に対して前処理を行った後にＯＣＲ処理を行って文字列を取得し、取得した文字列と、前処理を行う前にＯＣＲ処理を行って得た文字列とを用いて照合する。
よって、封入物確認装置１は、単純にＯＣＲ処理したものをキー情報の一致に関する判定に用いるだけでなく、前処理を行った後にＯＣＲ処理をしたものをも判定に用いることができ、ＯＣＲの精度を補う工夫を加えることによって、書類の誤封入を未然に防止することができる。

（５）封入物確認装置１は、取得した文字列の照合を、照合領域に対してＯＣＲ処理を行って得た文字列同士を照合し、及び、ノイズを除去する前処理を行った後にＯＣＲ処理を行って得た文字列同士を照合して、各照合結果に基づいて、キー情報が一致しているか否かを判断する。
よって、ノイズを除去する前処理を行った後にＯＣＲ処理を行って得た文字列同士の照合を、照合領域に対してＯＣＲ処理を行って得た文字列同士の照合による照合の誤りの補完として用いることができる。
特に、キー情報が不一致であるにもかかわらず、ＯＣＲ処理を行って得た文字列同士の照合が一致する場合が最もリスクが高い。そのようなものであっても、ノイズを除去する前処理を行った後にＯＣＲ処理を行って得た文字列同士を照合した結果を用いることで、実際にはキー情報が不一致であるにもかかわらず、一致と判定されるためのリスクを軽減できる。

（６）封入物確認装置１は、前処理の手法として、複数種類のものを用いるので、照合領域の画像の特徴にあった前処理を含めることができる。そのため、実際にはキー情報が不一致であるにもかかわらず、一致と判定してしまう照合処理の精度を向上させることができる。

（７）封入物確認装置１は、取得した文字列からキー情報を取得し、キー情報と照合領域の画像とをさらに含む判定結果を、モニタ４に出力する。
よって、キー情報が一致しているか否かを作業者Ｐが目視にて確認しやすい表示態様で、作業者Ｐに情報を提供できる。

（８）複数の書類を並べて載置可能な載置台４０と、載置台４０を撮影可能なカメラ５とを備え、カメラ５が撮影した撮影画像から、載置台４０に載置された複数の書類画像を切り出す。
よって、載置台４０に同一の封筒に封入する書類を並べて配置させるだけで、キー情報の照合ができる。

（９）載置台４０のうち各書類の載置領域に重量センサ７１から７４を設け、重量センサ７１から７４が検出した各書類の重量が、複数の書類の各々の重量を記憶する書類記憶部３２に記憶された各書類の重量と一致しているか否かを確認し、重量が不一致であることを確認した場合には、報知する。
よって、同一の封筒に封入する書類を、重量によっても確認することができ、例えば、次の封筒に封入する書類が混入していないかを含めて判断することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、封入物確認装置が、照合領域に対してＯＣＲ処理を行って得た文字列を照合し、照合領域に対して前処理を行った後にＯＣＲ処理を行って得た文字列を照合し、照合領域に有する文字ごとの画像を複数の書類間で比較して算出した文字ごとの画像類似度に基づいて判定するものを例に説明したが、これに限定されない。例えば、照合領域に対して前処理を行った後にＯＣＲ処理を行って得た文字列を照合するもののみをし、照合領域に有する文字ごとの画像を複数の書類間で比較して算出した文字ごとの画像類似度に基づいて判定するものを省略してもよい。また、逆に、照合領域に有する文字ごとの画像を複数の書類間で比較して算出した文字ごとの画像類似度に基づいて判定するもののみにし、照合領域に対して前処理を行った後にＯＣＲ処理を行って得た文字列を照合するものを省略してもよい。いずれの場合にも、照合領域に対してＯＣＲ処理を行って得た文字列を照合するのみでなく、ＯＣＲの精度を補う他の処理を利用することで、書類の誤封入を未然に防止することができる。

（２）本実施形態では、全ての書類にキー情報を含むものを例に説明したが、これに限定されない。キー情報を含まない、例えば、全ての顧客に送付する、パンフレットのような同一内容の書類を、同一の封筒に一部封入する場合にも用いることができる。その場合には、ＯＣＲによる照合を、該当するキー情報を含まない書類の部分にのみ行わないようにして、重量センサによる検出は行うようにすればよい。
そのようにすれば、封入する順番を含み、パンフレットのような書類を含んで封入する際にも封入物があっているかどうかの確認を行うことができる。

（３）本実施形態では、予め照合領域を登録するものを例に説明したが、これに限定されない。例えば、封入物確認装置は、書類画像をＯＣＲすることで得られた文字列から照合領域を特定し、特定した照合領域に対応する文字列を比較して照合してもよい。
そうすれば、封入物確認装置は、照合領域を予め登録しておく必要がなく、書類に含まれる文字列から照合領域を得ることができる。

（４）本実施形態では、前処理として、４つの異なる処理を説明したが、これに限定されない。４種類の処理を全て用いる必要はなく、１種類以上の処理を用いればよい。
（５）本実施形態では、封入物確認装置のシステム構成について、特段の説明をしなかったが、端末内で単独で照合処理を行う構成であるスタンドアロンの装置であってもよいし、制御部や記憶部をサーバに備えて、サーバで処理するものであってもよい。

１ 封入物確認装置
４ モニタ
５ カメラ
６ スピーカ
８ スイッチ
１０ 制御部
１１ 開始受付部
１２ 画像取得部
１３ 画像切出部
１４ 照合領域特定部
１５ 文字認識部
１６ 前処理部
１７ 前処理後文字認識部
１８ 文字照合部
１９ 出力文字列取得部
２０ 画像類似度算出部
２１ 文字判定部
２２ 重量確認部
２３ 確認結果出力部
３０ 記憶部
３２ 書類記憶部
３３ 封入順記憶部
４０ 載置台
４１，４２，４３，４４ 載置領域
５１ａ，５２ａ，５３ａ，５４ａ 書類
５５ 封筒
６０ 画面
６１，６２，６３，６４ 書類領域
７１，７２，７３，７４ 重量センサ
９０，９０－２ 判定結果画面
１００ 封入物確認システム
Ｐ 作業者

Claims (10)

1. 同一の識別文字情報を有する複数種類の書類を照合する文字照合装置であって、
   前記書類を撮影した画像に対して文字認識処理を行う認識処理手段と、
   複数の前記書類に対応する各文字列を比較して照合する文字照合手段と、
   照合対象になる領域の画像を書類間で比較して、画像類似度を算出する画像類似度算出手段と、
   前記文字照合手段による照合結果と、前記画像類似度算出手段が算出した画像類似度とに基づいて、前記識別文字情報が一致しているか否かを判定する判定手段と、
   前記判定手段による判定結果を、表示部に出力する判定結果出力手段と、
   を備える、文字照合装置。
2. 請求項１に記載の文字照合装置において、
   前記画像類似度算出手段は、前記照合対象になる領域に有する文字ごとの画像を書類間で比較して、画像類似度を算出する、文字照合装置。
3. 請求項１又は請求項２に記載の文字照合装置において、
   前記認識処理手段により得られた文字列から、前記照合対象になる領域を特定する領域特定手段を備え、
   前記文字照合手段は、前記領域特定手段が特定した前記照合対象になる領域に対応する各文字列を比較して照合する、文字照合装置。
4. 請求項１又は請求項２に記載の文字照合装置において、
   前記書類ごとに前記照合対象になる領域が記憶されており、
   前記書類を撮影した画像を分析して前記書類の種別を認識する種別認識手段を備え、
   前記文字照合手段は、前記種別認識手段が認識した前記書類の種別に基づいて、前記書類ごとの前記照合対象になる領域に対応する各文字列を比較して照合する、文字照合装置。
5. 請求項１から請求項４までのいずれかに記載の文字照合装置において、
   前記書類を撮影した画像に対して前処理を行う前処理手段と、
   前記前処理手段による前処理後の画像に対して文字認識処理を行う前処理後認識処理手段と、
   を備え、
   前記文字照合手段は、前記認識処理手段で得られた複数の前記書類に対応する各文字列と、前記前処理後認識処理手段で得られた複数の前記書類に対応する各文字列とを用いて照合する、文字照合装置。
6. 請求項５に記載の文字照合装置において、
   前記前処理手段は、前記書類を撮影した画像に対して複数種類の前記前処理を行う、文字照合装置。
7. 請求項１から請求項６までのいずれかに記載の文字照合装置において、
   出力文字列を取得する出力文字列取得手段を備え、
   前記判定結果出力手段は、さらに前記出力文字列取得手段が取得した前記出力文字列と、前記照合対象になる各領域の画像とを出力する、文字照合装置。
8. 請求項１から請求項７までのいずれかに記載の文字照合装置としてコンピュータを機能させるためのプログラム。
9. 請求項１から請求項７までのいずれかに記載の文字照合装置を含む封入物確認システムであって、
   複数の前記書類である封入物を並べて載置可能な載置台と、
   前記載置台を撮影可能な撮影部と、
   前記撮影部を介して、前記載置台に載置された複数の前記書類を撮影した画像を含む撮影画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記撮影画像から各書類の画像を切り出す画像切出手段と、
   を備える、封入物確認システム。
10. 請求項９に記載の封入物確認システムにおいて、
    前記載置台のうち各封入物の載置領域に設けられた重量検出部と、
    前記複数の封入物の種別ごとの重量を記憶する重量記憶部と、
    前記重量検出部が検出した各封入物の重量が、前記重量記憶部に記憶された各封入物の重量と一致しているか否かを確認する重量確認手段と、
    前記重量確認手段により重量が不一致であることを確認した場合に、報知する報知手段と、
    を備える、封入物確認システム。

Images