JP2008077606A - マーク認識装置およびマーク認識方法 - Google Patents

Abstract

【課題】プレ印刷文字を含む帳票上に記入されたマークを、プレ印刷文字の情報を予め登録することなしに認識可能なマーク認識装置を提供する。
【解決手段】マーク認識対象領域の画像の範囲内で、走査ライン毎に画素集合の分布幅を検出する投影情報作成部１３１と、走査ライン毎の画素集合の分布幅を比較し、分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出する文字範囲検出部１３３と、分布幅が所定の閾値未満となる走査ラインで構成されるマーク範囲であって、文字範囲の両側の範囲で、画素集合の分布範囲を近似する矩形領域を各々に検出するマーク範囲検出部１３４と、文字範囲の両側の範囲で各々に検出された矩形領域を、文字範囲を介して結合し、認識対象領域の画像上において結合された矩形領域の座標を特定するマーク範囲結合部１３５と、を含むマーク認識装置が提供される。
【選択図】図１

Description

本発明は、マーク認識の装置および方法に関し、特に、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識する、マーク認識の装置および方法に関する。

一般に、定型文書である帳票上に記入されたマークを認識するには、帳票上に予め印刷された文字（以下、プレ印刷文字とも称する。）と、記入されたマークとを判別する必要がある。このために、例えば、予め登録されたプレ印刷文字の情報（位置や大きさ等）を用いてプレ印刷文字を除去することでマークのみを認識する装置や、文字列表記知識などを用いてプレ印刷文字およびマークを共に認識する装置が知られている。

特に、前者の装置では、プレ印刷文字を含む帳票の画像をマークが記入されていない状態で読取り、ディスプレイ上に表示された帳票画像上で、マウスなどのポインティングデバイスを用いて、プレ印刷文字の情報を記憶装置内などに予め登録しておく必要がある。また、このような登録作業には多大な労力や作業時間を要するため、登録作業の一部を自動処理する装置も知られている。

しかしながら、依然として登録作業には労力や作業時間を要するとともに、プレ印刷文字の情報を予め登録しておく記憶装置などには多大な負荷が課せられているのが実状である。

本発明は上記問題点に鑑みてなされたものであり、その目的は、予め印刷された文字を含む帳票上に記入されたマークを、予め印刷された文字の情報を予め登録することなしに認識可能な、新規かつ改良された、マーク認識の装置および方法を提供することにある。

上記課題を解決するために、本発明の第１の観点によれば、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識するマーク認識装置が提供される。ここで、本装置は、マーク認識の対象とされる認識対象領域の画像の範囲内で、走査ライン毎に画素集合の分布幅を検出する投影情報作成部と、走査ライン毎の画素集合の分布幅を比較し、分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出する文字範囲検出部と、を含む。さらに、本装置は、分布幅が所定の閾値未満となる走査ラインで構成されるマーク範囲であって、文字範囲の両側の範囲で、画素集合の分布範囲を近似する矩形領域を各々に検出するマーク範囲検出部と、文字範囲の両側の範囲で各々に検出された矩形領域を、文字範囲を介して結合し、認識対象領域の画像上において結合された矩形領域の座標を特定するマーク範囲結合部と、を含む。

一般に、帳票上に記入されたマークは、プレ印刷文字より大きく、プレ印刷文字の文字列方向と直交する方向の両側にはみ出している。よって、走査ラインの方向がプレ印刷文字の文字列方向と略一致すれば、プレ印刷文字を含む範囲を構成する走査ラインでは、画素集合の開始位置と終了位置との差分として定義される、画素集合の分布幅が、プレ印刷文字を含まない範囲を構成する走査ラインに比して大きくなる。かかる構成によれば、文字範囲検出部において、走査ライン毎の画素集合の分布幅を比較し、分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出することで、帳票上でプレ印刷文字を含む範囲が検出される。さらに、マーク範囲検出部において、分布幅が所定の閾値未満となる走査ラインで構成されるマーク範囲であって、文字範囲の両側で、画素集合の分布範囲を近似する矩形領域を各々に検出することで、マークを含むマーク範囲が検出される。ここで、マーク範囲結合部において、文字範囲の両側で矩形領域として各々に検出された、マーク範囲が、文字範囲を介して互いに結合されて１つの矩形領域として表され、認識対象領域の画像上における当該矩形領域の座標がマークの座標として特定される。これにより、プレ印刷文字を含む帳票上に記入されたマークの位置が、プレ印刷文字の情報を予め登録することなしに認識可能となる。

また、マーク認識の対象とされる認識対象領域の画像の範囲内で、走査ライン毎に画素集合の分布幅を検出する前に、認識対象領域の画像の範囲内で走査ライン毎に画素の累積値を検出するようにしてもよい。かかる構成によれば、投影情報作成部において、走査ライン毎に算出された画素の累積値に応じて、認識対象領域の画像の範囲内で画素集合の分布幅を検出すべき走査ラインが効率的に特定されうる。

また、矩形領域の検出に際しては、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理するようにしてもよい。かかる構成によれば、マーク範囲結合部において、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理することで、マークを含む範囲が適切に検出されうる。

また、本発明の第２の観点によれば、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識するマーク認識装置が提供される。ここで、本装置は、マーク認識の対象とされる認識対象領域の画像を、収縮処理して収縮画像を作成する膨張収縮画像作成部と、収縮画像上で画素集合の分布範囲を近似する矩形領域を検出し、認識対象領域の画像上において矩形領域の座標を特定するマーク範囲検出部と、を含む。

一般に、帳票上に記入されたマークは、プレ印刷文字より大きな線幅を伴う。よって、認識対象領域の画像を適切な収縮度で収縮処理して作成された収縮画像上では、相対的に小さな線幅を伴うプレ印刷文字を表す画素集合の大部分が除去され、相対的に大きな線幅を伴うマークを表す画素集合が残される。かかる構成によれば、膨張収縮画像作成部において、認識対象領域の画像を収縮処理して収縮画像を作成することで、マークを表す画素集合が抽出される。さらに、マーク範囲検出部において、収縮画像上でマークを表す画素集合の分布範囲を近似する矩形領域を検出することで、マークを含む範囲が検出され、認識対象領域の画像上における当該矩形領域の座標がマークの座標として特定される。これにより、プレ印刷文字を含む帳票上に記入されたマークの位置が、プレ印刷文字の情報を予め登録することなしに検出可能となる。本装置は、特に、マークがプレ印刷文字と略同一の大きさを伴い、プレ印刷文字の文字列方向と直交する方向の両側にはみ出しておらず、本発明の第１の観点により提供される装置を適用不能な場合に効果的に適用されうる。

また、収縮処理時の収縮度が、認識対象領域の画像の範囲内で算出された、画素集合の平均線幅に基づいて設定されるようにしてもよい。かかる構成によれば、膨張収縮画像作成部において、マークとプレ印刷文字との線幅に応じて、認識対象領域の画像の範囲内において適切な収縮度が設定されうる。

また、矩形領域の検出に際しては、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理するようにしてもよい。かかる装置によれば、マーク範囲検出部において、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理することで、マークを含む範囲が適切に検出されうる。

また、本装置は、画素集合の分布範囲を近似する矩形領域として検出された収縮画像を、収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像を作成するマーク座標検出部と、膨張画像で認識対象領域の画像をマスク処理する文字認識画像作成部と、マスク処理された認識対象領域の画像上で、予め印刷された文字を認識する文字認識部と、をさらに含むようにしてもよい。かかる構成によれば、マーク座標検出部において、画素集合の分布範囲を近似する矩形領域として検出された収縮画像を収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像を作成することで、マークを表す画素集合が復元される。そして、文字認識画像作成部において、膨張画像で認識対象画像をマスク処理することで、マスク処理された認識対象画像上では、マークを表す画素集合の大部分が除去され、プレ印刷文字を表す画素集合が抽出される。さらに、文字認識部において、抽出されたプレ印刷文字を認識することで、マークで選択されたプレ印刷文字が認識される。これにより、プレ印刷文字を含む帳票上に記入されたマークで選択されたプレ印刷文字が、プレ印刷文字の情報を予め登録することなしに認識可能となる。本装置は、特に、プレ印刷文字が異なる帳票を同一の帳票として取扱う場合など、プレ印刷文字の内容が予め既知でない場合に効果的に適用されうる。

また、認識された文字をコード化された文字列に変換して出力するようにしてもよい。かかる構成によれば、プレ印刷文字を含む帳票上に記入されたマークで選択されたプレ印刷文字が、プレ印刷文字の情報を予め登録することなしに、コード化された文字列として識別されうる。

また、本発明の第３の観点によれば、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識するマーク認識装置が提供される。ここで、本装置は、マーク認識の対象とされる認識対象領域の画像の範囲内で、マーク位置の座標を検出するマーク座標検出部と、マーク抽出画像を作成するマーク抽出画像作成部と、マーク抽出画像によって帳票画像からマークを除去した画像を得るマーク除去画像作成部と、マーク除去画像のうちマーク位置の座標情報により特定される領域に含まれる文字を認識する文字認識部と、を含む。

かかる構成によれば、マーク座標検出部において、マーク認識の対象とされる認識対象領域の画像の範囲内で、マーク位置の座標が検出され、マーク抽出画像作成部において、マーク抽出画像が作成される。そして、マーク除去画像作成部において、マーク抽出画像によって帳票画像からマークを除去した画像が得られ、文字認識部において、マーク除去画像のうちマーク位置の座標情報により特定される領域に含まれる文字が認識される。これにより、プレ印刷文字を含む帳票上に記入されたマークで選択されたプレ印刷文字が、プレ印刷文字の情報を予め登録することなしに認識可能となる。本装置は、特に、プレ印刷文字が異なる帳票を同一の帳票として取扱う場合など、プレ印刷文字の内容が予め既知でない場合に効果的に適用されうる。

また、本発明の第４の観点によれば、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識するマーク認識方法が提供される。ここで、本方法は、マーク認識の対象とされる認識対象領域の画像の範囲内で、走査ライン毎に画素集合の分布幅を検出する第１のステップと、走査ライン毎の画素集合の分布幅を比較し、分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出する第２のステップと、を含む。さらに、本方法は、分布幅が所定の閾値未満となる走査ラインで構成されるマーク範囲であって、文字範囲の両側の範囲で、画素集合の分布範囲を近似する矩形領域を各々に検出する第３のステップと、文字範囲の両側の範囲で各々に検出された矩形領域を、文字範囲を介して結合し、認識対象領域の画像上において結合された矩形領域の座標を特定する第４のステップと、を含む。

かかる方法によれば、帳票上に記入されたマークとプレ印刷文字との大きさの相違に基づいてマークを認識可能なマーク認識方法が提供される。

また、本発明の第５の観点によれば、予め印刷された文字を含む帳票上に記入されたマークの位置を、文字およびマークを画素集合として表現する帳票画像上で認識するマーク認識方法が提供される。ここで、本方法は、マーク認識の対象とされる認識対象領域の画像を、収縮処理して収縮画像を作成する第１のステップと、収縮画像上で画素集合の分布範囲を近似する矩形領域を検出し、認識対象領域の画像上において矩形領域の座標を特定する第２のステップと、を含む。

かかる方法によれば、帳票上に記入されたマークとプレ印刷文字との線幅の相違に基づいてマークを認識可能なマーク認識方法が提供される。

また、本方法は、画素集合の分布範囲を近似する矩形領域として検出された収縮画像を、収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像を作成する第３のステップと、膨張画像で認識対象領域の画像をマスク処理する第４のステップと、マスク処理された認識対象領域の画像上で、予め印刷された文字を認識する第５のステップと、をさらに含むようにしてもよい。かかる方法によれば、収縮画像の膨張処理と膨張画像によるマスク処理とに基づいてマークを認識可能なマーク認識方法が提供される。

以上説明したように、本発明によれば、予め印刷された文字を含む帳票上に記入されたマークを、予め印刷された文字の情報を予め登録することなしに認識可能な、マーク認識の装置および方法が提供される。

以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るマーク認識装置１００（以下、単に「認識装置」とも称する。）の構成を処理の流れに沿って概念的に示すブロック図である。本実施形態に係る認識装置１００は、例えば、制御部１１０、画像バッファ部１２０およびマーク座標検出部１３０で構成される。なお、認識装置１００は、例えば、操作入力部や画像入力部（いずれも不図示）などを含む上位装置１０に制御部１１０を介して接続される。

以下、本実施形態に係る認識装置１００を構成する各部の機能について説明する。制御部１１０は、認識装置１００全体の制御手段と、上位装置１０−認識装置１００間の通信手段とを有する。画像バッファ部１２０は、上位装置１０から入力された認識対象画像を一次的に保存する手段を有する。ここで、認識対象画像には、帳票上のプレ印刷文字およびマークが図形成分を表す画素集合として表現されている。マーク座標検出部１３０は、認識対象画像上におけるマークの座標を検出する手段を有する。

さらに、マーク座標検出部１３０は、例えば、投影情報作成部１３１、投影情報保存部１３２、文字範囲検出部１３３、マーク範囲検出部１３４、マーク範囲結合部１３５およびマーク座標保存部１３６で構成される。

投影情報作成部１３１は、認識対象画像の範囲内で走査ライン毎の画素の累積値を検出する手段と、走査ライン毎の画素集合の開始位置および終了位置を検出する手段と、検出された走査ライン毎の画素の累積値と画素集合の開始位置および終了位置とを投影情報保存部１３２に一時的に保存させる手段とを有する。投影情報保存部１３２は、投影情報作成部１３１で検出された走査ライン毎の画素の累積値と画素集合の開始位置および終了位置とを一時的に保存する手段を有する。

文字範囲検出部１３３は、投影情報保存部１３２に保存された情報を参照し、走査ライン毎の画素集合の分布幅を比較して文字範囲を検出する手段を有する。マーク範囲検出部１３４は、文字範囲検出部１３３で検出された文字範囲の画像の両側でマークの画像の範囲を近似する矩形領域を各々に検出する手段を有する。

マーク範囲結合部１３５は、マーク範囲検出部１３４で検出された矩形領域から所定の閾値未満の大きさを伴う矩形領域を検出誤差として除去する手段と、文字範囲の画像の両側で各々に検出された矩形領域を結合する手段と、結合された矩形領域の座標をマーク座標保存部１３６に一時的に保存させる手段とを有する。マーク座標保存部１３６は、マーク範囲結合部１３５で検出されたマーク座標を一時的に保存する手段を有する。

以下、図１〜図５を参照することで、処理の流れに沿って認識装置１００を構成する各部の処理内容について説明する。図２〜図５は、マーク座標検出部１３０で行われる処理の一部を概略的に示す説明図であって、説明の便宜上、認識対象画像上での処理に関連する、プリ印刷文字およびマークの周囲の画素のみが示されている。

帳票上の認識対象画像は、画像入力部（不図示）などを介して上位装置１０に入力された上で、制御部１１０を介して認識装置１００に入力される。画像バッファ部１２０では、認識装置１００に入力された認識対象画像が一時的に保存される。マーク座標検出部１３０では、画像バッファ部１２０に保存された認識対象画像がマーク座標の検出に用いられる。マーク座標検出部１３０で検出されたマーク座標は、制御部１１０を介して上位装置１０に出力される。

マーク座標検出部１３０では、図２〜図５に示すように、以下の処理が実行される。投影情報作成部１３１では、認識対象画像の範囲内で走査ライン毎の画素が読取られる。すなわち、図２に例示するように、認識対象画像１５０に対して、走査ライン毎の画素が読取られる。ここで、認識対象画像上の座標範囲が（ｉ０、ｊ０）〜（ｉ１、ｊ１）、（ｉ０＜ｉ１、ｊ０＜ｊ１）で規定されるものとする。

投影情報作成部１３１では、まず、走査ライン毎にプレ印刷文字およびマークを表す画素集合の累積値が検出される。そして、画素集合の累積値が所定値以上である走査ラインの範囲が、マーク座標の検出処理に用いられる認識対象画像として再定義される。すなわち、図２に例示するように、画素集合の累積値ｎが１以上となる走査ラインｊ０’〜ｊ１’の範囲が、認識対象画像１５３として再定義される。ここでは、画素集合の累積値ｎが１以上という条件をもって、認識対象画像１５３として再定義する場合を示すが、累積値ｎが１以上という条件に限定されるものではない。例えば、画像にノイズが混入することを予め考慮して、累積値ｎを例えば１０以上に設定してもよく、また、画像の解像度に応じて設定するようにしてもよい。

そして、再定義された認識対象画像の範囲内で、走査ライン毎に画素集合の開始位置と終了位置とが検出されることで、画素集合の分布幅が検出される。ここで、画素集合の分布幅とは、走査ライン毎の画素集合の開始位置と終了位置との差分として定義される。図２に例示するように、走査ラインｊでは、画素集合の開始位置および終了位置がｓｊおよびｅｊとして各々に検出されることで、走査ラインｊの画素集合の分布幅ｗｊ（＝ｅｊ−ｓｊ＋１、ｅｊ≧ｓｊ）が算出される。さらに、投影情報作成部１３１では、これらの投影情報（走査ライン毎の画素集合の累積値ｎ、開始／終了位置ｓ，ｅおよび分布幅ｗ）を投影情報保存部１３２に一時的に保存させる。

投影情報保存部１３２では、走査ライン毎の投影情報が一時的に保存される。図５は、投影情報保存部１３２に保存された投影情報を、説明の便宜上、イメージ的に示すものである。図５では、認識対象画像１５０上の走査ラインが縦軸に示され、走査ライン毎の画素集合の累積値ｎ（白点）、および分布幅ｗ（黒点）が横軸に各々に示されている。

文字範囲検出部１３３では、走査ライン毎に画素集合の分布幅が比較され、文字範囲が検出される。すなわち、図５に例示するように、画素集合の分布幅が所定の閾値ｗｔ１以上となる走査ラインｊｃ０〜ｊｃ１で構成される範囲が、プレ印刷文字を含む文字範囲ｈｃ（＝ｊｃ１−ｊｃ０＋１）として検出される。ここで、所定の閾値ｗｔ１としては、例えば、認識対象画像１５３の範囲内で画素集合の分布幅ｗが最大となる走査ラインの分布幅ｗｍａｘの１／４未満という条件が適用されうる。なお、閾値ｗｔ１としては、この条件以外にも、例えば、認識対象画像１５０、１５３の構成に応じて、分布幅ｗとの比率を調整したり、基準となる走査ラインの分布幅ｗを調整したり、分布幅ｗに依存しない固有値としたりしてもよい。また、閾値ｗｔ１は、投影情報作成部１３１でマーク座標の検出に用いた累積値ｎより十分に大きな値とする。

マーク範囲検出部１３４では、文字範囲の画像の両側でマークの画像の範囲が検出される。図３に例示するように、走査ラインｊ０’〜ｊｃ０−１および走査ラインｊｃ１＋１〜ｊ１’の範囲でマーク画像の範囲が各々に検出される。そして、走査ラインｊ０’〜ｊｃ０−１の範囲からは、マーク画像の範囲を近似する矩形領域Ｒ１が検出され、走査ラインｊｃ１＋１〜ｊｃ１’の範囲からは、マーク範囲を近似する矩形領域Ｒ２が検出される。ここで、矩形領域Ｒ１およびＲ２は、（ｉｒ１０、ｊｒ１０）〜（ｉｒ１１、ｊｒ１１）および（ｉｒ２０、ｊｒ２０）〜（ｉｒ２１、ｊｒ２１）の座標範囲を各々に有する。

マーク範囲結合部１３５では、検出された矩形領域の大きさが確認され、その大きさが所定の閾値未満であると判断されれば、当該矩形領域で近似されるマーク範囲が検出誤差とみなされて除去される。所定の閾値ｗｔ２としては、例えば、矩形領域を構成する画素集合の分布幅ｗが文字範囲ｈｃの１／４未満という条件が適用されうる。ここで、所定の閾値ｗｔ２としては、文字範囲ｈｃに対して、矩形領域を構成する画素集合の分布幅ｗ、すなわちｉ方向の幅で規定するのみならず、ｊ方向の幅またはｉ，ｊ両方向の幅で規定するような条件が適用されてもよい。

図３に示す例によれば、文字範囲ｈｃが１５画素であり、矩形領域Ｒ１およびＲ２を構成する画素集合の分布幅ｗが各々に４６および４４画素である。よって、矩形領域Ｒ１およびＲ２は、それらの大きさが所定の閾値（ｗｔ２＝ｈｃ／４＝３．７５）以上であると判断され、マーク範囲とみなされる。そして、マーク範囲結合部１３５では、マーク範囲を近似する矩形領域Ｒ１およびＲ２が、文字範囲を介して１つの矩形領域Ｒ０として結合される。すなわち、矩形領域Ｒ１およびＲ２を包含する座標範囲（ｉｒ２０，ｊｒ１０）〜（ｉｒ１１、ｊｒ２１）を有する矩形領域Ｒ０が、帳票上に記入されたマークを含む範囲に相当するマーク範囲として検出される。そして、マーク範囲結合部１３５では、矩形領域Ｒ０の座標範囲をマーク座標としてマーク座標保存部１３６に一時的に保存させる。これにより、図３の例では、「昭和」の位置にマークが記入されている旨が検出される。

一方、図４に示す例によれば、矩形領域Ｒ２’を構成する画素集合の分布幅ｗが３画素である。よって、矩形領域Ｒ２’は、その大きさが所定の閾値ｗｔ２未満であると判断され、検出誤差とみなされて除去される。この場合には、マーク範囲結合部１３５では、座標範囲（ｉｒ１０，ｊｒ１０）〜（ｉｒ１１、ｊｃ１）を有する矩形領域Ｒ０’が、帳票上に記入されたマークを含む範囲に相当するマーク範囲として検出される。そして、マーク範囲結合部１３５では、矩形領域Ｒ０’の座標範囲をマーク座標としてマーク座標保存部１３６に一時的に保存させる。これにより、図４の例では、「昭和」の位置にマークが記入されている旨が検出される。

マーク座標保存部１３６では、矩形領域Ｒ０またはＲ０’の座標範囲がマーク座標として一時的に保存される。そして、マーク座標検出部１３０で検出されたマーク座標は、制御部１１０を介して上位装置１０に出力される。

以上、本発明の第１の実施形態に係るマーク認識装置１００について説明した。一般に、帳票上に記入されたマークは、プレ印刷文字より大きく、プレ印刷文字の文字列方向と直交する方向の両側にはみ出している。よって、走査ラインの方向がプレ印刷文字の文字列方向と略一致すれば、プレ印刷文字を含む範囲を構成する走査ラインでは、画素集合の開始位置と終了位置との差分として定義される、画素集合の分布幅が、プレ印刷文字を含まない範囲を構成する走査ラインに比して大きくなる。

本実施形態によれば、文字範囲検出部１３３において、走査ライン毎の画素集合の分布幅ｗを比較し、分布幅ｗが所定の閾値ｗｔ１以上となる走査ラインで構成される文字範囲ｈｃを検出することで、帳票上でプレ印刷文字を含む範囲が検出される。さらに、マーク範囲検出部１３４において、分布幅ｗが所定の閾値ｗｔ１未満となる走査ラインで構成されるマーク範囲であって、文字範囲の両側で、画素集合の分布範囲を近似する矩形領域Ｒ１およびＲ２を各々に検出することで、マークを含むマーク範囲が検出される。ここで、マーク範囲結合部１３５において、文字範囲の両側で矩形領域として各々に検出された、マーク範囲Ｒ１およびＲ２が、文字範囲を介して互いに結合されて１つの矩形領域Ｒ０として表され、認識対象領域の画像１５０，１５３上における当該矩形領域Ｒ０の座標がマーク座標として特定される。これにより、プレ印刷文字を含む帳票上に記入されたマークの位置が、プレ印刷文字の情報を予め登録することなしに検出可能となる。

また、本実施形態では、投影情報作成部１３１において、走査ライン毎に算出された画素の累積値に応じて、認識対象領域の画像１５０の範囲内で画素集合の分布幅ｗを検出すべき走査ラインが効率的に特定されるようにしてもよい。

なお、前述の説明においては、ｉ方向の走査ライン（横書きのプレ印刷文字）に適用される場合の実施形態が例示されているが、本発明の適用対象は、かかる実施形態のみに限定されるものではない。すなわち、本発明は、例えば、走査ラインがｊ方向（縦書きのプレ印刷文字）である場合においても、同様に適用可能なものである。

また、前述の説明においては、走査ライン毎に画素集合の開始位置ｓと終了位置ｅとが検出されることで、走査ライン毎に画素集合の分布幅ｗが検出される場合の実施形態が例示されているが、本発明は、かかる実施形態のみに限定されるものではない。すなわち、本発明は、例えば、走査ライン毎の画素集合の分布幅ｗが予め記録部などにより記録されており、予め記録された情報を用いることで、走査ライン毎の画素集合の開始位置ｓと終了位置ｅとが検出されない場合においても、同様に適用可能なものである。

（第２の実施形態）
図４は、本発明の第２の実施形態に係るマーク認識装置２００（以下、単に「認識装置」とも称する。）の構成を処理の流れに沿って概念的に示すブロック図である。本実施形態に係る認識装置２００は、例えば、制御部２１０、画像バッファ部２２０およびマーク座標検出部２３０で構成される。

以下、本実施形態に係る認識装置２００を構成する各部の機能について説明する。なお、第１の実施形態と同一の機能構成を有する部分についての重複説明は省略する。ここで、認識装置２００を構成するマーク座標検出部２３０は、例えば、平均線幅算出部２３１、膨張収縮画像作成部２３２、膨張収縮画像バッファ部２３３、マーク範囲検出部２３４、マーク座標保存部２３５で構成される。

平均線幅算出部２３１は、画像バッファ部２２０に保存された認識対象画像を構成する画素集合の平均線幅を算出する手段を有する。膨張収縮画像作成部２３２は、画像バッファ部２２０などに保存された認識対象画像から膨張画像および収縮画像を作成する手段と、膨張収縮画像バッファ部２３３に一時的に保存させる手段とを有する。膨張収縮画像バッファ部２３３は、膨張収縮画像作成部２３２で作成された膨張収縮画像を一時的に保存する手段を有する。

マーク範囲検出部２３４は、膨張収縮画像バッファ部２３３に保存された収縮画像からマーク画像の範囲を近似する矩形領域を検出する手段を有する。マーク座標保存部２３５は、マーク範囲検出部２３４で検出されたマーク座標を一時的に保存する手段を有する。

以下、図６〜図８を参照することで、処理の流れに沿って認識装置２００を構成する各部の処理内容について説明する。なお、図７および図８は、マーク座標検出部２３０で行われる処理の一部を概略的に示す説明図であって、説明の便宜上、認識対象画像上での処理に関連する、プリ印刷文字およびマークの周囲の画素のみが示されている。

マーク座標検出部２３０では、図７および図８に示すように、以下の処理が実行される。ここで、認識対象画像上の画像座標が、（ｉ０，ｊ０）〜（ｉ１，ｊ１）、（ｉ０＜ｉ１、ｊ０＜ｊ１）で規定されるものとする。

平均線幅算出部２３１では、画像バッファ部２３０に保存された認識対象画像を構成する画素集合の平均線幅が算出される。すなわち、図７に例示するように、認識対象画像２５０を構成する画素集合から、連結領域を構成する画素集合が抽出され、当該画素集合毎の平均線幅が算出された上で、認識対象画像２５０を構成する連結領域全体としての平均線幅が算出される。

膨張収縮画像作成部２３２では、画像バッファ部２２０に保存された認識対象画像から収縮処理により収縮画像が作成される。なお、画像の収縮処理とは、与えられた図形成分（プレ印刷文字およびマーク）の境界にある画素の値を背景成分の画素の値に変換して任意画素分縮める処理を意味する。

図７に示す例によれば、認識対象画像２５０を構成する画素集合の平均線幅の３／４に相当する収縮度および１／２に相当する収縮度で、認識対象画像２５０を段階的に収縮処理した収縮画像２５２，２５４が各々に作成される。収縮処理された認識対象画像２５４では、プレ印刷文字を表す画素集合の大部分が除去され、マークを表す画素集合が残される。そして、膨張収縮画像作成部２３２では、収縮画像２５４を膨張収縮画像バッファ部２３３に一時的に保存させる。

マーク範囲検出部２３４では、収縮処理された認識対象画像上でマークの画像の範囲が検出される。図８に示す例によれば、収縮画像２５４上で、各々に連結領域を構成する画素集合が、マーク画像の範囲を近似する矩形領域Ｒ１，Ｒ２およびＲ３として検出される。ここで、矩形領域Ｒ１、Ｒ２およびＲ３は、（ｉｒ１０、ｊｒ１０）〜（ｉｒ１１、ｊｒ１１）、（ｉｒ２０、ｊｒ２０）〜（ｉｒ２１、ｊｒ２１）および（ｉｒ３０、ｊｒ３０）〜（ｉｒ３０、ｊｒ３１）の座標範囲を各々に有する。

さらに、マーク範囲検出部２３４では、検出された矩形領域の大きさが確認され、その大きさが所定の閾値未満であると判断されれば、当該矩形領域で近似されるマーク範囲が検出誤差とみなされて除去される。所定の閾値ｗｔ３としては、例えば、矩形領域を構成する画素集合の分布幅ｗが認識対象画像２５０の幅ｗｉ（＝ｉ１−ｉ０＋１，ｉ１＞ｉ０）の１／１０未満という条件が適用されうる。ここで、所定の閾値ｗｔ３としては、認識対象画像２５０の幅ｗｉに対して、矩形領域を構成する画素集合の分布幅ｗ、すなわちｉ方向の幅で規定するのみならず、ｊ方向の幅またはｉ，ｊ両方向の幅で規定するような条件が適用されてもよい。また、所定の閾値ｗｔ３は、認識対象画像２５０の幅ｗｉに対してのみならず、認識対象画像２５０の幅ｗｊに対して規定するような条件が適用されてもよく、または、認識対象画像２５０の幅ｗｉ，ｗｊに依存しない固有値が適用されてもよい。

ここで、図８に示す例によれば、認識対象画像２５０の幅ｗｉが１４４画素であり、矩形領域Ｒ１、Ｒ２およびＲ３を構成する画素集合の分布幅が各々に４７画素、４７画素および１画素である。よって、矩形領域Ｒ１およびＲ２は、それらのｉ方向の幅が所定の閾値（ｗｔ３＝ｗｉ／１０＝１４．４）以上であると判断され、検出誤差とはみなされない。一方、矩形領域Ｒ３は、そのｉ方向の幅が所定の閾値ｗｔ３未満であると判断され、検出誤差とみなされて除去される。

そして、マーク範囲検出部２３４では、マーク範囲を近似する複数の矩形領域が結合される。すなわち、図８に例示するように、矩形領域Ｒ１およびＲ２を包含する座標範囲（ｉｒ２０，ｊｒ１０）〜（ｉｒ１１、ｊｒ２１）を有する矩形領域Ｒ０が、帳票上に記入されたマークを含む範囲に相当するマーク範囲として検出される。そして、マーク範囲検出部２３４では、矩形領域Ｒ０の座標範囲をマーク座標としてマーク座標保存部２３５に一時的に保存させる。

マーク座標保存部２３５では、矩形領域Ｒ０の座標範囲がマーク座標として一時的に保存される。そして、マーク座標検出部２３０で検出されたマーク座標は、制御部２１０を介して上位装置１０に出力される。

以上、本発明の第２の実施形態に係るマーク認識装置２００について説明した。一般に、帳票上に記入されたマークは、プレ印刷文字より大きな線幅を伴う。よって、認識対象領域の画像を適切な収縮度で収縮処理して作成された収縮画像上では、相対的に小さな線幅を伴うプレ印刷文字を表す画素集合の大部分が除去され、相対的に大きな線幅を伴うマークを表す画素集合が残される。

本実施形態によれば、膨張収縮画像作成部２３２において、認識対象領域２５０の画像を収縮処理して収縮画像２５４を作成することで、マークを表す画素集合が抽出される。さらに、マーク範囲検出部２３４において、収縮画像２５４上でマークを表す画素集合の分布範囲を近似する矩形領域Ｒ０を検出することで、マークを含む範囲が検出され、認識対象領域２５０の画像上における当該矩形領域Ｒ０の座標がマーク座標として特定される。これにより、プレ印刷文字を含む帳票上に記入されたマークの位置が、プレ印刷文字の情報を予め登録することなしに検出可能となる。なお、本実施形態は、特に、マークがプレ印刷文字と略同一の大きさを伴い、プレ印刷文字の文字列方向と直交する方向の両側にはみ出しておらず、第１の実施形態に係る認識装置を適用不能な場合に効果的に適用されうる。

また、本実施形態では、収集膨張画像作成部２３２において、収縮処理時の収縮度が、認識対象領域２５０の画像の範囲内で算出された、画素集合の平均線幅に基づいて設定されるようにしてもよい。かかる構成によれば、マークとプレ印刷文字との線幅に応じて、認識対象領域の画像の範囲内において適切な収縮度が設定されうる。

なお、前述の説明においては、収縮処理時の収縮度が画素集合の平均線幅に基づいて設定される場合の実施形態が例示されているが、本発明は、かかる実施形態のみに限定されるものではない。すなわち、本発明は、例えば、収縮処理時の収縮度が画素集合の平均線幅に依存せずに、所定の固有値に基づいて設定される場合や、他の条件に基づいて設定される場合においても、同様に適用可能なものである。

（第３の実施形態）
図９は、本発明の第３の実施形態に係るマーク認識装置３００（以下、単に「認識装置」とも称する。）の構成を処理の流れに沿って概念的に示すブロック図である。本実施形態に係る認識装置３００は、例えば、制御部３１０、画像バッファ部３２０およびマーク座標検出部３３０、マーク画像バッファ部３４０、文字認識画像作成部３５０、文字認識画像バッファ部３６０および文字認識部３７０で構成される。

以下、本実施形態に係る認識装置３００を構成する各部の機能について説明する。なお、第１および第２の実施形態と同一の機能構成を有する部分についての重複説明は省略する。

マーク座標検出部３３０内の膨張収縮画像作成部３３２では、マーク座標検出に用いられた収縮画像を、収縮処理時の収縮度を補償するような膨張度で膨張処理することで、膨張画像が予め作成される。

マーク画像バッファ部３４０は、膨張収縮画像作成部３３２で作成された膨張画像、すなわち、マークのみを抽出したマーク抽出画像、を一次的に保存する手段を有する。文字認識画像作成部３５０は、画像バッファ部３２０に保存された認識対象画像とマーク画像バッファ部３４０に保存された膨張画像とを用いて文字認識画像を作成する手段と、文字認識画像バッファ部３６０に一時的に保存させる手段とを有する。

文字認識画像バッファ部３６０は、文字認識画像作成部３５０で作成した文字認識画像を一時的に保存する手段を有する。文字認識部３７０は、文字認識画像バッファ部３６０に保存された文字認識画像から、プレ印刷文字を切り出して文字認識を行う手段を有する。

以下、図９および図１０を参照することで、処理の流れに沿って認識装置３００を構成する各部の処理内容について説明する。なお、図１０は、膨張収縮画像作成部３３２および文字認識画像作成部３５０で行われる処理の一部を概略的に示す説明図であって、説明の便宜上、認識対象画像上での処理に関連する、プリ印刷文字およびマークの周囲の画素のみが示されている。

膨張収縮画像作成部３３２、およびマーク画像バッファ部３４０〜文字認識部３７０では、図９および図１０に示すように、以下の処理が実行される。なお、マーク座標検出部３３０でマーク座標を検出するまでの処理は、第２の実施形態と同様である。

膨張収縮画像作成部３３２では、マーク座標検出に用いられた収縮画像から膨張処理により膨張画像が作成される。なお、画像の膨脹処理とは、収縮処理とは逆に図形成分（プレ印刷文字およびマーク）の境界画素に接する背景成分中の画素の値を図形成分の画素の値に変換して任意画素分膨らませる処理を意味する。

すなわち、図１０に例示するように、収縮画像３８０の収縮度を補償するような膨張度で、収縮画像３８０を膨張処理した膨張画像３８２が作成される。膨張画像３８２では、マークを表す画像が明確に復元されている。そして、膨張収縮画像作成部３３２では、膨張収縮画像作成部３３２で作成された膨張画像３８２をマーク画像バッファ部３４０に一時的に保存させる。

マーク画像バッファ部３４０では、膨張収縮画像作成部３３２で作成された膨張画像３８２を一次的に保存する。

文字認識画像作成部３５０では、マーク画像バッファ部３４０に保存された膨張画像３８２を用いて、画像バッファ部３２０に保存された認識対象画像（例えば、図７の２５０）をマスク処理する。すなわち、認識対象画像２５０に膨張画像３８２が重畳された上で、膨張画像３８２上の画素値（ここでは、説明の便宜上、図形成分の画素値を“１”とする。）と、認識対象画像２５０上の対応する画素値との排他的論理和に応じて、認識対象画像２５０をマスク処理する。これにより、マスク処理された認識対象画像３８４上では、マーク画像を表す画素集合の大部分が除去され、マーク座標（ｉｒ２０、ｊｒ１０）〜（ｉｒ１１、ｊｒ２１）の範囲で、プレ印刷文字を表す画素集合が文字認識画像Ｒ０として抽出される。そして、文字認識画像作成部３５０では、文字認識画像Ｒ０を文字認識画像バッファ部３６０に一時的に保存させる。すなわち、文字認識画像作成部３５０は、マーク除去画像作成部としても捉えることができる。

文字認識画像バッファ部３６０では、文字認識画像作成部３５０で作成された文字認識画像Ｒ０を一時的に保存する。

文字認識部３７０では、文字認識画像バッファ部３６０に保存された文字認識画像Ｒ０からプレ印刷文字を表す画像を切り出して認識処理する。これにより、マークを記入されたプレ印刷文字が認識される。そして、文字認識部３７０で認識されたプレ印刷文字は画像として、制御部３１０を介して上位装置１０に出力される。また、認識されたプレ印刷文字の画像がパターン認識処理等により変換され、コード化された文字列として出力されるようにしてもよい。これにより、図１０の例では、マークで囲まれた文字である「昭和」が文字認識されて出力される。なお、マーク除去の過程において、文字パターンに多少の欠損が認められる場合でも、数画素単位の欠損であれば問題なく認識される。

以上、本発明の第３の実施形態に係るマーク認識装置３００について説明した。本実施形態によれば、膨張収縮画像作成部３３２において、画素集合の分布範囲を近似する矩形領域として検出された収縮画像３８０を収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像３８２を作成することで、マークを表す画素集合が復元される。そして、文字認識画像作成部３５０において、膨張画像３８２で認識対象画像２５０をマスク処理することで、マスク処理された認識対象画像３８４上では、マークを表す画素集合の大部分が除去され、マーク座標の範囲Ｒ０で、プレ印刷文字を表す画素集合が抽出される。さらに、文字認識部３７０において、抽出されたプレ印刷文字を認識することで、マークで選択されたプレ印刷文字が認識される。これにより、プレ印刷文字を含む帳票上に記入されたマークで選択されたプレ印刷文字が、プレ印刷文字の情報を予め登録することなしに認識可能となる。本実施形態は、特に、プレ印刷文字が異なる帳票を同一の帳票として取扱う場合など、プレ印刷文字の内容が予め既知でない場合などに効果的に適用されうる。

また、本実施形態では、文字認識部３７０において、認識された文字をコード化された文字列に変換して出力するようにしてもよい。かかる構成によれば、プレ印刷文字を含む帳票上に記入されたマークで選択されたプレ印刷文字が、プレ印刷文字の情報を予め登録することなしに、コード化された文字列として識別されうる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、前述の説明の一部においては、２値画像として表現される帳票画像に適用される場合の実施形態が例示されているが、本発明の適用対象は、かかる実施形態のみに限定されるものではない。すなわち、本発明は、例えば、帳票画像がグレイ画像またはカラー画像として表現される場合においても、実質的に同様に適用可能なものである。

第１の実施形態に係るマーク認識装置の構成を処理の流れに沿って概念的に示すブロック図である。 第１の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第１の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第１の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第１の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第２の実施形態に係るマーク認識装置の構成を処理の流れに沿って概念的に示すブロック図である。 第２の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第２の実施形態に係るマーク座標検出部で行われる処理の一部を概略的に示す説明図である。 第３の実施形態に係るマーク認識装置の構成を処理の流れに沿って概念的に示すブロック図である。 第３の実施形態に係る膨張収縮画像作成部および文字認識画像作成部で行われる処理の一部を概略的に示す説明図である。

符号の説明

１００ マーク画像認識装置
１１０ 制御部
１２０ 画像バッファ部
１３０ マーク座標検出部
１３１ 投影情報作成部
１３２ 投影情報保存部
１３３ 文字範囲検出部
１３４ マーク範囲検出部
１３５ マーク範囲結合部
１３６ マーク座標保存部

Claims (12)

1. 予め印刷された文字を含む帳票上に記入されたマークの位置を、前記文字および前記マークを画素集合として表現する帳票画像上で認識するマーク認識装置であって、
   マーク認識の対象とされる認識対象領域の画像の範囲内で、走査ライン毎に前記画素集合の分布幅を検出する投影情報作成部と、
   走査ライン毎の前記画素集合の前記分布幅を比較し、前記分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出する文字範囲検出部と、
   前記分布幅が前記所定の閾値未満となる走査ラインで構成されるマーク範囲であって、前記文字範囲の両側の範囲で、前記画素集合の分布範囲を近似する矩形領域を各々に検出するマーク範囲検出部と、
   前記文字範囲の両側の範囲で各々に検出された前記矩形領域を、前記文字範囲を介して結合し、前記認識対象領域の画像上において結合された矩形領域の座標を特定するマーク範囲結合部と、
   を含むことを特徴とするマーク認識装置。
2. マーク認識の対象とされる前記認識対象領域の画像の範囲内で、走査ライン毎に前記画素集合の分布幅を検出する前に、前記認識対象領域の画像の範囲内で走査ライン毎に画素の累積値を検出することを特徴とする、請求項１に記載のマーク認識装置。
3. 前記矩形領域の検出に際しては、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理することを特徴とする、請求項１または２に記載のマーク認識装置。
4. 予め印刷された文字を含む帳票上に記入されたマークの位置を、前記文字および前記マークを画素集合として表現する帳票画像上で認識するマーク認識装置であって、
   マーク認識の対象とされる認識対象領域の画像を、収縮処理して収縮画像を作成する膨張収縮画像作成部と、
   前記収縮画像上で前記画素集合の分布範囲を近似する矩形領域を検出し、前記認識対象領域の画像上において前記矩形領域の座標を特定するマーク範囲検出部と、
   を含むことを特徴とするマーク認識装置。
5. 前記収縮処理時の収縮度が、前記認識対象領域の画像の範囲内で算出された、前記画素集合の平均線幅に基づいて設定されることを特徴とする、請求項４に記載のマーク認識装置。
6. 前記矩形領域の検出に際しては、所定の閾値未満の大きさを伴う矩形領域を検出誤差として処理することを特徴とする、請求項４または５に記載のマーク認識装置。
7. 前記画素集合の分布範囲を近似する前記矩形領域として検出された前記収縮画像を、収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像を作成するマーク座標検出部と、
   前記膨張画像で前記認識対象領域の画像をマスク処理する文字認識画像作成部と、
   前記マスク処理された認識対象領域の画像上で、予め印刷された文字を認識する文字認識部と、
   をさらに含むことを特徴とする、請求項４〜６のいずれかに記載のマーク認識装置。
8. 前記認識された文字をコード化された文字列に変換して出力することを特徴とする、請求項７に記載のマーク認識装置。
9. 予め印刷された文字を含む帳票上に記入されたマークの位置を、前記文字および前記マークを画素集合として表現する帳票画像上で認識するマーク認識装置であって、
   マーク認識の対象とされる認識対象領域の画像の範囲内で、マーク位置の座標を検出するマーク座標検出部と、マーク抽出画像を作成するマーク抽出画像作成部と、
   前記マーク抽出画像によって前記帳票画像からマークを除去した画像を得るマーク除去画像作成部と、
   マーク除去画像のうち前記マーク位置の座標情報により特定される領域に含まれる文字を認識する文字認識部と、
   を含むことを特徴とするマーク認識装置。
10. 予め印刷された文字を含む帳票上に記入されたマークの位置を、前記文字および前記マークを画素集合として表現する帳票画像上で認識するマーク認識方法であって、
    マーク認識の対象とされる認識対象領域の画像の範囲内で、走査ライン毎に前記画素集合の分布幅を算出する第１のステップと、
    走査ライン毎の前記画素集合の前記分布幅を比較し、前記分布幅が所定の閾値以上となる走査ラインで構成される文字範囲を検出する第２のステップと、
    前記分布幅が前記所定の閾値未満となる走査ラインで構成されるマーク範囲であって、前記文字範囲の両側の範囲で、前記画素集合の分布範囲を近似する矩形領域を各々に検出する第３のステップと、
    前記文字範囲の両側の範囲で各々に検出された前記矩形領域を、前記文字範囲を介して結合し、前記認識対象領域の画像上において結合された矩形領域の座標を特定する第４のステップと、
    を含むことを特徴とするマーク認識方法。
11. 予め印刷された文字を含む帳票上に記入されたマークの位置を、前記文字および前記マークを画素集合として表現する帳票画像上で認識するマーク認識方法であって、
    マーク認識の対象とされる認識対象領域の画像を、収縮処理して収縮画像を作成する第１のステップと、
    前記収縮画像上で前記画素集合の分布範囲を近似する矩形領域を検出し、前記認識対象領域の画像上において前記矩形領域の座標を特定する第２のステップと、
    を含むことを特徴とするマーク認識方法。
12. 前記画素集合の分布範囲を近似する前記矩形領域として検出された前記収縮画像を、収縮処理時の収縮度を補償する膨張度で膨張処理して膨張画像を作成する第３のステップと、
    前記膨張画像で前記認識対象領域の画像をマスク処理する第４のステップと、
    前記マスク処理された認識対象領域の画像上で、予め印刷された文字を認識する第５のステップと、
    をさらに含むことを特徴とする、請求項１１に記載のマーク認識方法。

Images