JP2012084132A

JP2012084132A - 文字認識装置、文字認識方法および区分装置

Info

Publication number: JP2012084132A
Application number: JP2011191506A
Authority: JP
Inventors: Masaya Maeda; 匡哉前田; Tomoyuki Hamamura; 倫行浜村; Bumpei Irie; 文平入江; Hide Boku; 英朴
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-09-16
Filing date: 2011-09-02
Publication date: 2012-04-26

Abstract

【課題】隠れている文字列の高さが他の文字列の高さと異なる場合にも効果的に文字認識が行なえ、かつ、隠れによる文字の欠けが大きな場合にも効果的に文字認識が行なえ、さらに、隠れ度合いが文字ごとに異なる場合にも文字認識を可能とする文字認識装置を提供する。
【解決手段】複数の文字が列状に記載された文字列を認識する文字認識装置において、前記文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とする隠蔽文字列候補検出手段と、この隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補に対して実際に文字が隠蔽されているか否かを確認する確認手段と、この確認手段の確認結果に基づき対象文字列の認識処理を行なう認識手段とを具備している。
【選択図】図２

Description

本発明の実施形態は、たとえば、窓付き郵便物であって宛先情報を示す文字列の一部が上記窓に隠されている郵便物上の上記文字列を認識する文字認識装置および文字認識方法に関する。
また、本発明の実施形態は、たとえば、上記郵便物上の文字列を上記文字認識装置を用いて認識することにより上記郵便物を区分処理する区分装置に関する。

たとえば、窓の付いた封書等の窓付き郵便物において、宛先情報を示す文字列が窓の端に位置し、文字の一部が隠れて見えないことがある。このような場合の宛先情報の読取りは難しい課題である。このような課題を解決するものとして、たとえば、以下に示す技術が公知である。
（１）隠れている行の文字の高さを隠れていない行を用いて推定し、テンプレートとのマッチングの際に補正を行なう。

また、郵便物の窓に限らず、一般に一部が欠けた文字の読取方法が各種提案されており、たとえば、以下に示す技術が公知である。
（２）下線を除去する際に欠けた文字の高さを下線のない行から推定し、テンプレートとのマッチングの際に補正を行なう。
（３）帳票の罫線を除去する際に欠けた文字の高さおよび上下位置を推定し、テンプレートとのマッチングの際に補正を行なう。
（４）ドット状の欠損部の復元方法。
（５）帳票の認識において罫線に重なった部分の復元方法。

特開平４−１４８３９１号公報特許第２７９７８４８号公報特許第３０５５４８４号公報

しかしながら、上記した従来の方法は必ずしも効果的に課題を解決できているとはいえない。すなわち、
上記（１）の方法は、隠れている行の高さが隠れていない行の高さと異なる場合に推定失敗となる。
上記（２）の方法は、下線のある行の文字の高さと下線のない行の文字の高さが異なる場合に推定失敗となる。
上記（３）の方法は、決まったサイズの文字のみを対象としており、文字サイズの不明な対象には適用できない。
上記（４）の方法は、欠けが微小な場合のみに適用できるものであり、窓による隠れのように欠けが大きい場合には適用できない。
上記（５）の方法は、欠けが細い領域である場合のみに適用できるものであり、窓による隠れのように欠けが大きい場合には適用できない。

そこで、実施形態は、隠れている文字列の高さが他の文字列の高さと異なる場合にも効果的に文字認識が行なえ、かつ、隠れによる文字の欠けが大きな場合にも効果的に文字認識が行なえ、さらに、隠れ度合いが文字ごとに異なる場合にも文字認識を可能とする文字認識装置、文字認識方法および区分装置を提供することを目的とする。

実施形態に係る文字認識装置は、複数の文字が列状に記載された文字列を認識する文字認識装置において、前記文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とする隠蔽文字列候補検出手段と、この隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補に対して実際に文字が隠蔽されているか否かを確認する確認手段と、この確認手段の確認結果に基づき対象文字列の認識処理を行なう認識手段とを具備している。

本実施形態に係る窓付き封書等の窓付き郵便物（日本語表記）の一例を示す平面図。本実施形態に係る文字認識装置および文字認識方法が適用される区分装置の構成を模式的に示すブロック図。本実施形態に係る文字認識処理の流れについて説明するフローチャート。本実施形態に係る文字認識処理の流れについて説明するフローチャート。窓付き郵便物の窓に文字列の一部が隠れたものとそれに対する輪郭追跡の様子を説明する図。排他部分文字テーブルの一例を示す図。日本語の使用文字での排他部分文字の例とそうならない例を説明する図。ハイフン検出による文字列（日本語表記）の欠損部分の高さ推定の一例を説明する図。本実施形態に係る窓付き封書等の窓付き郵便物（英語表記）の一例を示す平面図。英語の使用文字での排他部分文字の例とそうならない例を説明する図。ハイフン検出による文字列（英語表記）の欠損部分の高さ推定の一例を説明する図。

以下、実施形態について図面を参照して説明する。
図１は、本実施形態に係る処理対象物体である窓付き封書等の窓付き郵便物の一例を示している。この窓付き郵便物１１は、表面にセロファン等の窓１２を有していて、この窓１２内に区分情報としての宛先情報１３が複数の文字からなる文字列により表示（記載）されている。図１、図９の例は、宛先情報１３を示す文字列の一部が窓１２の上端で隠蔽されている状況を示している。

図２は、本実施形態に係る文字認識装置および文字認識方法が適用される区分装置の構成を模式的に示すものである。

図２に示すように、本実施形態に係る区分装置は、たとえば、図１、図９に示した窓付き郵便物１１をその宛先情報１３に基づき区分処理するもので、郵便物供給部２１、搬送手段としての搬送路２２、区分手段としての区分部２３、読取手段としての読取部２４、認識手段としての認識部２５、辞書部２６、隠蔽文字列候補検出・確認手段としての隠蔽文字列候補検出・確認部２７、隠蔽文字列高さ推定手段としての隠蔽文字列高さ推定部２８、文字列検証手段としての文字列検証部２９およびデータベース３０により構成されている。

郵便物供給部２１は、処理する郵便物（たとえば、図１、図９に示した窓付き郵便物１１）を１通づつ供給する。搬送路２２は、郵便物供給部２１により供給される郵便物１１を１通づつ搬送する。区分部２３は、搬送路２２で搬送されてくる郵便物１１を認識部２５の認識結果に基づき宛先別に区分処理する。

読取部２４は、搬送路２２の途中において、搬送路２２で搬送される郵便物１１の窓１２が存在する面の画像を光学的に読取る。認識部２５は、読取部２４で読取られた画像から宛先情報１３を示す文字列を認識する。

辞書部２６は、複数の文字認識辞書２６_１〜２６_Ｎにより構成されている。文字認識辞書２６_１〜２６_Ｎは、たとえば、１つの完全文字辞書と文字の欠損割合（たとえば、１０％、２０％、３０％、４０％）ごとの欠損文字辞書から構成される。ここに、完全文字辞書とは隠蔽による欠損なしの文字パターンである通常の文字辞書のことを言い、欠損文字辞書とは隠蔽により左右上下が何割か削れたもの（欠損したもの）を言うものとする。

隠蔽文字列候補検出・確認部２７は、文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とし、その隠蔽文字列領域候補が実際の隠蔽文字列領域であるか否かを確認する。隠蔽文字列高さ推定部２８は、隠蔽文字列候補検出・確認部２７により検出された隠蔽文字列領域に対して実際に文字が隠蔽されているか否かを確認し、文字が隠蔽されていると判断された場合、当該対象文字列に対して高さを推定する。

認識部２５は、文字認識を行なう際、隠蔽文字列候補検出・確認部２７により宛先情報１３が隠蔽されている可能性のある候補があるかどうかを検出し、隠蔽文字列高さ推定部２８により隠蔽されている文字列部分の高さを推定し、文字列の欠け割合（欠損割合）に見合った文字認識辞書を使用して個別の文字認識スコアを求める。

文字列検証部２９は、認識部２５から得られる文字認識スコア（文字認識結果）を用いて、データベース３０内の住所データとのマッチング処理を行ない、その結果を最終的な認識結果として区分部２３へ出力する。

本実施形態の特徴は、文字列の隠蔽候補を検出して確認し、隠蔽文字列の高さを推定することで文字の欠け割合を知ることにあり、そのため、以降は上記の２点を中心に詳細な説明を行なう。

以下、図３および図４に示すフローチャートを参照して本実施形態に係る文字認識処理の流れについて説明する。

読取部２４で読取られた郵便物１１上の画像が入力されると（ステップＳ１）、隠蔽文字列候補検出・確認部２７は、入力された画像に対して窓１３（窓枠）の候補（隠蔽文字列領域候補）を検出する（ステップＳ２，Ｓ３）。ここの窓枠候補検出の手法は、どの手法を使用しても構わないが、たとえば、微分画像に対してハフ変換を適用して窓枠の４つの線分を見つける手法や、郵便物１１の地肌と窓枠の部分に濃度差がある場合には濃度２値ラベルから適当な大きさのラベルが検出された部分を窓枠候補とする手法などが利用可能である。

窓枠候補が検出された場合、一般に隠蔽文字列（以下、欠損文字列ともいう）の近辺は図５に示すような状態となっている。図５において、３１は窓枠の上端を示し、３２は窓枠の上端３１で文字の一部が欠損（隠蔽）している欠損文字列を示し、３４は輪郭追跡の状態を示している。

窓枠の左右上下の端でそれぞれ輪郭追跡を行なっていき（ステップＳ４）、それぞれの方向成分を投票していくと、欠損文字列が存在していない端は同じ方向成分だけが連続する。たとえば、投票方向成分を、右方向を「０」、上方向を「１」、左方向を「２」、下方向を「３」とすると、窓枠のエッジ内部から右手伝いに探索していった場合、窓枠下端では上成分と下成分が多少混じるものの、ほとんど右成分の「０」のみが投票される結果となる。同様に、窓枠の右端では上成分がほとんど全て投票され、上端では左成分がほとんど全て投票されるといった結果となる。

ここで、図５のように欠損文字列３２を含んでいる場合には、本来主要成分となるべき方向と逆の方向も多々混じってくる。それにより、輪郭追跡の方向成分に異常があると判断する（ステップＳ５）。異常があった場合は、その部分を欠損文字列が連続していると判定し、実際の対象領域（隠蔽文字列領域）とする（ステップＳ６）。

ステップＳ２，Ｓ３において窓枠候補が検出されない場合、あるいは、ステップＳ５において窓枠候補の方向成分に異常が見られない場合、郵便物１１に存在する文字列に対して、完全文字辞書での通常文字認識を実施する（ステップＳ７）。本実施形態では、完全文字辞書というのは、前述したように、欠損なしのパターンである通常の文字辞書のことを言い、欠損辞書というのは左右上下が何割か削れたものを指す。この欠損割合は、たとえば、左右上下それぞれで１０％おきに削れた辞書を持っておくなどすればよく、テンプレートマッチングで個別文字認識を行なうならば正規化した画像でも構わないし、それぞれのカテゴリの欠損パターンで学習した特徴ベクトル群の辞書でも構わない。

ステップＳ７における完全文字辞書での文字認識の結果、文字認識スコアの悪い文字が続いている部分があるようなら（ステップＳ８）、欠損文字列が連続している可能性があると判断してステップＳ６へ進み、欠損文字列が連続していると判定して、実際の対象領域（隠蔽文字列領域）とする。
ステップＳ８において、特に文字認識スコアが悪いものが連続している状況でなければ、通常の宛先情報の認識処理を行なって終了となる。

本例では、窓枠が検出できたものと仮定して話を進める。窓枠の検出ができている場合には、窓枠部分のエッジが後段の処理のノイズになる可能性が高いので、位置だけ記憶して外枠のエッジ部分は消去などすると都合がよくなる。

ステップＳ６において欠損文字列領域が検出された場合、隠蔽文字列高さ推定部２８は、以下に説明する欠損文字列の高さ推定処理を行なう。なお、本実施形態では、欠損文字辞書として数字を限定使用したケースで説明していくが、他の文字辞書でも構わない。

まず、数字の欠損文字辞書で、それぞれの欠損割合ごとに文字認識を繰り返し実施していく（ステップＳ９）。もちろん、左右上下全ての候補に対して認識させて行ってもよいが、先に説明したように輪郭追跡の方向成分で欠損文字列領域を検出した場合（ステップＳ５の流れに対応）、窓枠の左右上下端のどこで異常が見られるのかがわかるため、その方向のみの欠損文字辞書で文字認識させれば充分である。

文字認識スコアの悪い文字列が連続しているという判断から欠損文字列領域を検出した場合（ステップＳ８の流れに対応）であっても、対象領域の付近の文字列で正しい文字認識が連続で行なわれる部分があるならば、その方向には欠損状態が存在し得ないと推察できるため、正しい文字認識が続いている領域とは逆側に欠損状態が発生していると推察できる。これにより、輪郭追跡の方向成分で実施したのと同様に欠損文字辞書を優先使用する方向が確定できる。欠損文字領域の文字に対して繰り返し実施した各欠損割合での文字認識スコアは一旦保持しておき、後段の処理で使用する。

次に、図６に示すような排他部分文字テーブル３４を使用して、その登録内容との比較を行なう。排他部分文字テーブル３４は、動作前にあらかじめ作成しておくものであり、対象言語の非数字文字としてあり得ない数字欠損パターンを登録しておくものである。たとえば、日本語で使用する文字を例に取ると、図７（ａ）に示すような欠損数字のパターンは、他の日本語の部分文字としては存在し得ないものである。すなわち、図７（ａ）は、たとえば、日本語の通常使用文字であれば、当該図形は数字「８」の下側２０％欠損しか有り得ないので、排他部分文字となる。また、英語で使用する文字を例に取ると、図１０（ａ）に示すような欠損数字のパターンは、他の英語の部分文字としては存在し得ないものである。すなわち、図１０（ａ）は、たとえば、英語の通常使用文字であれば、当該図形は数字「８」の下側２０％欠損しか有り得ないので、排他部分文字となる。

この場合は、図６に示すように、排他部分文字テーブル３４に下側欠損２０％の「８」といったものを登録しておくことで、実際に下側欠損２０％の「８」が認識された場合には、数字辞書の認識だけでも間違いなく２０％隠れた「８」だと判断することが可能となる。

なお、図７（ｂ）は、たとえば、日本語の通常使用文字であれば、当該図形は漢字「東」の下側３０％欠損のほかに、漢字「車」や「恵」などの下側欠損の可能性もあるため、排他部分文字とならない。また、図１０（ｂ）は、たとえば、英語の通常使用文字であれば、当該図形は英語「Ｅ」の下側７０％欠損のほかに、英語「Ｆ」の下側７０％欠損の可能性もあるため、排他部分文字とならない。

こうして、排他部分文字テーブル３４にある割合の欠損文字で高スコア認識された場合（ステップＳ１０）、認識辞書の欠損割合から文字列の欠損部分の高さＨ１（図５参照）が推定できる（ステップＳ１１）。もちろん、認識処理に１００％というものは存在しないので、高スコアで認識されたものが３つ以上必要など、精度を上げるために高さ推定処理に移行する制限を設けても構わない。

ステップＳ１０において文字列欠損部分の高さ推定ができなかった場合、先の数字認識のスコアを羅列していったときに、同じ割合で連続して高スコアを取得している場所があるかどうかをチェックしていく（ステップＳ１２）。数字は郵便番号や番地などで連続することが多いため、同じ割合の欠損文字辞書で連続して高スコアが出るような場合は実際に欠損している場所だと判断することが可能となる。
ステップＳ１２の判定において高スコアが連続する場合、認識辞書の欠損割合からそのまま文字列の欠損部分の高さＨ１（図５参照）が推定できる（ステップＳ１３）。

ステップＳ１２の判定において高スコアが連続しない場合、対象文字列にハイフンらしき文字が存在しているかどうかを文字認識で確認する（ステップＳ１４）。ハイフンらしき文字が検出できた場合には、ハイフンは一般に文字の中央高さに記載されるので、図８、図１１に示すように、ハイフン以外のその他の文字の高さから文字列の欠損部分の高さＨ２を推定することが可能となる（ステップＳ１５）。

すなわち、図８、図１１の例は、文字列の上側が欠損しているので、ハイフンから文字列の下端までの高さＨ３を推定でき、この高さＨ３の倍の位置を文字列の高さＨ４と推定することができる。そして、この推定した文字列の高さＨ４と欠損している文字の高さＨ５から欠損部分の高さＨ２を推定（Ｈ２＝Ｈ４−Ｈ５）することができるものである。

これは認識対象の言語やフォントによって推定高さが微妙に変わるため、随時必要に応じた高さ推定をしてよい。ここでのキーポイントは、ハイフンの認識で欠損部分の高さ検出が可能となることにある。

また、たとえば、宛先情報の郵便番号や番地など数字とハイフンは近接して記載されることが多いため、先のステップＳ１１やＳ１３で欠損部分の高さ推定を行なうに至らなかった場合でも、ハイフンの認識結果との位置関係が近接しているという条件を加えることで、さらに誤りなく高さ推定することが可能となる。こうして、ハイフン文字を見つけた場合も高さ推定が実行できる。

なお、ステップＳ１０〜Ｓ１５までの３種類の高さ推定処理に関しては、それぞれ独立で行なっても構わないし、全てを実施して優先順位付けしてもよいし、各推定結果の平均値をとるなど、統合した欠損部分の高さ推定値を改めて取ってもよい。

ステップＳ１４の判定においてハイフンらしき文字が検出できない場合、文字列の欠損部分の高さを推定することができないので、通常の宛先情報の認識処理を行なって終了となる（ステップＳ１６）。

ステップＳ１１あるいはＳ１３あるいはＳ１５において、文字列の欠損部分の高さが推定されると、その高さ推定結果を受けた認識部２５は、受取った高さ推定結果から、何割欠損の欠損文字辞書を用いるかを確定し（ステップＳ１７）、確定した欠損文字辞書を辞書部２６から選択して対象文字列に対する文字認識処理を行なう（ステップＳ１８）。

すなわち、高さ推定結果から、対象文字列が本来どの高さで文字認識すれば最適かを判断し、判明したら、その欠損具合の文字カテゴリだけに絞って文字認識を行なう。この場合、あらかじめ全ての文字カテゴリの欠損文字辞書を持たせていても構わないし、テンプレートマッチングなどの場合はテンプレートとして使用する範囲を欠損部分の高さがわかってから指定して文字認識してもよい。

次に、文字列検証部２９は、ステップＳ１８における指定された欠損文字辞書での文字認識結果を用いて、データベース３０内の住所データとのマッチング処理を行ない（ステップＳ１９）、その結果を最終的な認識結果として区分部２３へ出力する（ステップＳ２０）。

以上説明したように上記実施形態によれば、高さ推定処理により文字列の隠れている部分の高さが精度よく見つけることができるので、隠れている文字列の高さが他の文字列の高さと異なる場合にも効果的に文字認識が行なえ、かつ、隠れによる文字の欠けが大きな場合にも効果的に文字認識が行なえ、さらに、隠れ度合いが文字ごとに異なる場合にも文字認識が可能となり、文字列の認識精度が著しく向上する。したがって、郵便物区分装置などの省力化機器に用いた場合に省力効果が著しく向上する。

なお、前記実施形態では、窓付き郵便物をその宛先情報に基づき区分処理する区分装置に適用した場合について説明したが、これに限定されるものでなく、たとえば、銀行券等の有価証券や小荷物等の配達物など、文字列により区分先を示す区分情報が表示されている物体を区分情報に基づいて区分処理する区分装置であれば適用可能である。

１１…窓付き郵便物（物体）、１２…窓、１３…宛先情報（区分情報）、２１…郵便物供給部、２２…搬送路（搬送手段）、２３…区分部（区分手段）、２４…読取部（読取手段）、２５…認識部（認識手段）、２６…辞書部、２７…隠蔽文字列候補検出・確認部（隠蔽文字列候補検出・確認手段）、２８…隠蔽文字列高さ推定部（隠蔽文字列高さ推定手段）、２９…文字列検証部（文字列検証手段）、３０…データベース、３４…排他部分文字テーブル。

Claims

複数の文字が列状に記載された文字列を認識する文字認識装置において、
前記文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とする隠蔽文字列候補検出手段と、
この隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補に対して実際に文字が隠蔽されているか否かを確認する確認手段と、
この確認手段の確認結果に基づき対象文字列の認識処理を行なう認識手段と、
を具備したことを特徴とする文字認識装置。
前記隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補の輪郭追跡を行ない、輪郭追跡の方向成分のばらつきを確認することにより、前記検出された隠蔽文字列領域候補が実際の隠蔽文字列領域であるか否かを確認する隠蔽文字列候補確認手段をさらに具備したことを特徴とする請求項１記載の文字認識装置。
前記確認手段により文字が隠蔽されていると判断された場合、当該対象文字列に対して高さを推定する隠蔽文字列高さ推定手段をさらに具備し、
前記認識手段は、前記隠蔽文字列高さ推定手段により推定された文字列の高さに基づき文字列の認識処理を行なうことを特徴とする請求項１記載の文字認識装置。
前記隠蔽文字列高さ推定手段は、対象文字列に対して隠蔽用部分文字認識辞書を用いて文字認識を行ない、高スコアの認識結果が連続して得られた場合に、文字列の隠蔽部分の高さを推定することを特徴とする請求項３記載の文字認識装置。
前記隠蔽用部分文字認識辞書を用いた文字認識結果に対して、対象言語のその他の文字では存在し得ない部分文字をあらかじめマーキングしておくことにより、文字列の隠蔽高さ推定のキーとすることを特徴とする請求項４記載の文字認識装置。
前記隠蔽文字列高さ推定手段は、文字列中のハイフンを検出することで文字列の隠蔽部分の高さを推定することを特徴とする請求項３記載の文字認識装置。
複数の文字が列状に記載された文字列を認識する文字認識方法において、
前記文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とする第１のステップと、
この第１のステップにより検出された隠蔽文字列領域候補に対して実際に文字が隠蔽されているか否かを確認する第２のステップと、
この第２のステップの確認結果に基づき対象文字列の認識処理を行なう第３のステップと、
を具備したことを特徴とする文字認識方法。
文字列により区分先を示す区分情報が表示されている物体を前記区分情報に基づいて区分処理する区分装置において、
前記物体を搬送する搬送手段と、
この搬送手段により搬送される前記物体の画像を読取る読取手段と、
この読取手段により読取られた画像から前記区分情報を示す文字列を認識する文字認識手段と、
この文字認識手段により認識された区分情報としての文字列に基づき前記物体を区分する区分手段とを具備し、
前記文字認識手段は、
前記文字列の一部が隠蔽されている状況下で、隠蔽されている可能性のある文字部分を検出して隠蔽文字列領域候補とする隠蔽文字列候補検出手段と、
この隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補に対して実際に文字が隠蔽されているか否かを確認する確認手段と、
この確認手段の確認結果に基づき対象文字列の認識処理を行なう認識手段と、
を具備したことを特徴とする区分装置。
前記物体は、窓付き郵便物であって、区分情報を示す文字列の一部が前記窓に隠されている郵便物であることを特徴とする請求項８記載の区分装置。
前記隠蔽文字列候補検出手段により検出された隠蔽文字列領域候補の輪郭追跡を行ない、輪郭追跡の方向成分のばらつきを確認することにより、前記検出された隠蔽文字列領域候補が実際の隠蔽文字列領域であるか否かを確認する隠蔽文字列候補確認手段をさらに具備したことを特徴とする請求項８記載の区分装置。
前記確認手段により文字が隠蔽されていると判断された場合、当該対象文字列に対して高さを推定する隠蔽文字列高さ推定手段をさらに具備し、
前記認識手段は、前記隠蔽文字列高さ推定手段により推定された文字列の高さに基づき文字列の認識処理を行なうことを特徴とする請求項８記載の区分装置。