JP2005339398A - 特徴抽出装置、特徴抽出方法、および、プログラム - Google Patents

Abstract

【課題】 少量のデータで高い文字識別性能がを得ることができる画像パターンからの特徴抽出技術を提供する。
【解決手段】 特徴抽出装置１３を、画像パターンを入力する画像入力手段２１、入力された画像パターンを線幅検出領域に分割し、分割した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出手段２２、各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力手段２３、から構成する。
【選択図】 図４

Description

本発明は、画像内にどのような対象が写っているかを識別する画像識別技術に係り、さらに、文字認識システムに関する技術に関するものである。

実用化されているＯＣＲの代表的な方法では、対象画像をスキャナなどにより取り込み、取り込んだ画像の全ての領域を２値化をして文字領域を切り出し、２値画像に対して各画素から複数方向の白または黒の連結距離を計算し、その各値を特徴ベクトルとみなして識別をしている(例えば、非特許文献１参照。)。
荻田紀博、内藤誠一郎、増田功「外郭方向寄与度特徴による手書き漢字の識別」、電子通信学会論文詩Ｖｏ１．Ｊ６６−Ｄ，１０，ｐｐ．１１８５−１１９２ １９８３年１０月

従来手法の特徴抽出においては取り込んだ画像の全ての領域の２値化を前提としていたため、景観中に存在する文字のように照明変動による影響を大きく受ける対象の場合、２値化に失敗する確率が高く、文字の識別性能が低いという課題があった。

また、従来特徴はフォントなどの微小変形により大きく変化するため、識別率確保のためには大量の文字データの統計的学習が必要であった。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、少量のデータで高い文字識別性能がを得ることができる画像パターンからの特徴抽出技術を提供することにある。

本発明では、画像パターンから特徴を抽出する際に、任意の画素において複数の方向の線幅を検出し、定められた局所領域内において方向別に線幅のヒストグラムを計算することにより上記課題の解決を実現する。

請求項１に記載の発明は、画像パターンから特徴を抽出する特徴抽出装置であって、画像パターンを入力する画像入力手段と、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出手段と、前記各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力手段と、を有することを特徴とする。

請求項２に記載の発明は、画像パターンから特徴を抽出する特徴抽出装置であって、画像パターンを入力する画像入力手段と、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出手段と、入力された画像パターンにヒストグラム算出領域を設定し、設定した各ヒストグラム算出領域について、前記複数の方向別に前記線の線幅のヒストグラムを計算する線幅ヒストグラム計算手段と、前記各ヒストグラム算出領域の各方向の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する出力手段と、を有することを特徴とする。

請求項３に記載の発明は、前記線幅検出手段は、線幅を検出する方向および線の線幅に応じた複数のフィルタを算出するフィルタ算出手段と、着目画素を中心とした領域と前記複数のフィルタとの一致度を算出する一致度算出手段と、前記算出した一致度において最大の一致度を示すフィルタの線の線幅の値と前記一致度とを乗算して得た値を線の線幅とする線幅計算手段と、を有することを特徴とする。

請求項４に記載の発明は、前記一致度算出手段は、前記着目画素を中心とした局所領域と前記複数のフィルタとの正規化相関を算出する正規化相関手段を有することを特徴とする。

請求項５に記載の発明は、画像パターンから特徴を抽出する特徴抽出装置における特徴抽出方法であって、画像入力手段が、画像パターンを入力する入力ステップと、線幅検出手段が、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出ステップと、出力手段が、前記各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力ステップと、を有することを特徴とする。

請求項６に記載の発明は、画像パターンから特徴を抽出する特徴抽出装置における特徴抽出方法であって、画像入力手段が、画像パターンを入力する入力ステップと、線幅検出手段が、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出ステップと、線幅ヒストグラム計算手段が、入力された画像パターンにヒストグラム算出領域を設定し、設定した各ヒストグラム算出領域について、前記複数の方向別に前記線の線幅のヒストグラムを計算するヒストグラム計算ステップと、出力手段が、前記各ヒストグラム算出領域の各方向の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する出力ステップと、を有することを特徴とする。

請求項７に記載の発明は、前記線幅検出ステップは、フィルタ算出手段が、線幅を検出する方向および線の線幅に応じた複数のフィルタを算出するフィルタ算出ステップと、一致度算出手段が、着目画素を中心とした領域と前記複数のフィルタとの一致度を算出する一致度算出ステップと、線幅計算手段が、前記算出した一致度において最大の一致度を示すフィルタの線の線幅の値と前記一致度とを乗算して得た値を線の線幅とする線幅計算ステップと、を有することを特徴とする。

請求項８に記載の発明は、前記一致度算出ステップは、正規化相関手段が、前記着目画素を中心とした局所領域と前記複数のフィルタとの正規化相関を算出する正規化相関算出ステップを有することを特徴とする。

請求項９に記載の発明は、上記の請求項１〜８のいずれか１項に記載の特徴抽出装置または特徴抽出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

上記発明によると、以下の２つの作用を得ることができる。

画像全体の２値化を行わず、直接線幅を求めることができる。

局所領域において方向別に線幅のヒストグラムを検出することができる。

以上、説明したように、本発明により、画像全体の２値化を行わず、直接線幅を求めるため、景観などの中に存在する文字を高精度に識別できる。

また、局所領域において方向別に線幅のヒストグラムを検出するため、フォントなどの変形に頑健になり、少量の学習データでも高い識別性能を得ることが出来る。

以下、本発明を文字識別システムに適用した例について図面を用いて詳細に説明する。

図１は、文字認識システムの構成例である。文字認識システムは辞書識別装置１１と、識別装置１２と、から構成することができ、辞書生成装置１１は文字パターン群から文字を識別するための識別辞書を生成し、識別装置１２は生成された識別辞書と入力された画像とを比較して、文字の識別結果を出力する。

図２は、辞書生成装置１１の構成例である。辞書生成装置１１は、文字パターン群から特徴を抽出する第１特徴抽出装置１３と、抽出した特徴群から識別辞書を生成する学習装置１４と、から構成される。

辞書生成装置１１においては、例えば、予め用意された文字パターン群を入力して、第１特徴量抽出装置１３が特徴量を抽出し、学習装置１４が抽出された特徴量から識別関数を作成して識別辞書を作成することができる。

第１特徴抽出装置１３の詳細は後述する。学習装置１４の例としては、部分空間法(石井健一郎、上田修功、前田英作、村瀬洋、共著、Ｏｈｍｓｈａ、「わかりやすいパターン認識」ｐ．１４７〜)などの従来技術により構成できる。

この部分空間法は、類別すべきカテゴリを特徴ベクトル成分の分布から形成される部分空間への射影を通して判定する統計的手法の一種である。この場合の、変換するベクトル成分の固有ベクトル計算には、例えば、量子化アルゴリズムであるカルーネン・レーベ変換によるＫＬ解析が採用される。部分空間法における代表的な手法には、ＣＬＡＦＩＣ法や、平均学習部分空間法が知られている。また、ＡＬＳＭは、対抗するカテゴリをも考慮した適応的な学習アプローチに属し、所定の訓練パターンに対する誤認識が最小となるように空間を反復的に張り直してカテゴリ境界の学習が進められる。

まずは、識別したいパターンのサンプルデータを予め入力し、そのパターンを表す部分空間を算出しておき、蓄積する。部分空間は、識別パターンから得られる特徴ベクトルの共分散行列の固有値および固有ベクトルを算出することにより、求めることができる。

識別の際には、蓄積したデータから全てのパターンの部分空間データを呼び出し、それらの部分空間との距離をもとにパターンの識別を行う。距離は、特徴空間内での単純ユークリッド距離にて計測し、距離が最も近い部分空間のパターンを識別結果とする。

なお、部分空間法以外にも例えば最近傍法、フィッシャーの線形判別法、サポートベクトルマシン、ニューラルネットワーク、カーネル非線形部分空間法等を用いても良い。

図３は、識別装置１２の例であり、画像から特徴を抽出する第２特徴抽出装置１５と、特徴と識別辞書から文字識別の結果を出力する判定装置１６と、から構成される。

識別装置１２においては、例えば、画像を入力し、第２特徴量抽出装置１５において特徴量を抽出し、判定装置１６が抽出された特徴量をもとに識別処理を行う。識別処理は、入力画像に対して複数のクラスのうち一つを対応させることによって行う。例えば、抽出された特徴量と、識別辞書とを照合することにより入力された画像の所属するクラスを出力する。

第２特徴抽出装置１５の詳細は後述する。判定装置１６の例としては、上記のような部分空間法などの従来技術により構成できる。

図４は、第１特徴抽出装置１３の構成例を説明した図である。第１特徴抽出装置１３は、文字パターン群または画像（画像パターンと呼ぶ）を入力する画像入力手段２１と、任意の線幅検出領域において複数の方向の線の線幅を検出する線幅検出手段２２と、各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力手段２３と、から構成される。

図５は第１特徴抽出装置１３の動作例のフローチャートである。図５に示すように、画像パターンの入力を行った後(Ｓ１１)、線幅検出領域の所定の方向について線幅の計算を行い(Ｓ１２)、全ての線幅検出領域について線幅の算出を行ったかを判断し(Ｓ１３)、全ての線幅検出領域について線幅を算出した場合には、全ての画像枚数について前記処理を行ったかを判断する(Ｓ１４)。全ての画像枚数について前記処理を行った場合には、各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルとして出力する(Ｓ１５)。

図６は、線の線幅検出の計算例であって、「ア」の画像に対して０度、４５度、９０度、１３５度の方向についての線の線幅を算出する。例えば、局所領域内で２値化を行い、各方向の連結の長さを測定する。なお、ここで行う２値化は画像全体について行うのではなく局所領域内で行うので、照明変動による影響を大きく受ける対象の場合でも２値化に失敗する確率は低く、文字の識別性能は高い。図６に示すように各線幅検出領域(図面中の一の区画が一の線幅検出領域に対応する。)で４つの方向の線の線輻値が得られ、これを特徴ベクトルとみなす（ただし、数値の記載がない線幅検出領域の線幅の値は０とする）。特徴ベクトルの次元は、方向数×線幅検出領域数である。線幅検出領域は例えば画像を格子状に単純に分割すること、または任意の画素を中心とした領域を設定することにより求めることができる。

図７は、第２特徴抽出装置１５の構成例を示す図である。第２特徴抽出装置１５は、文字パターン群または画像（画像パターンと呼ぶ）を入力する画像入力手段３１と、任意の線幅検出領域において複数の方向の線の線幅を検出する線幅検出手段３２と、定められたヒストグラム算出領域において方向別に線の線幅のヒストグラムを計算する線幅ヒストグラム計算手段３３と、各ヒストグラム算出領域の各方向の線の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する出力手段３４と、から構成される。

図８は第２特徴抽出装置１３の動作例のフローチャートである。図８に示すように、画像パターンの入力を行った後(Ｓ２１)、線幅検出領域の所定の方向について線幅の計算を行い(Ｓ２２)、全ての線幅検出領域について線幅の算出を行ったかを判断する(Ｓ２３)。全ての線幅検出領域について線幅を算出した場合には、ヒストグラム算出領域において方向別に線の線幅のヒストグラムを計算し(Ｓ２４)、全てのヒストグラム算出領域および全ての方向についてヒストグラムを計算したかを判断する(Ｓ２５)。全てのヒストグラム算出領域および全ての方向についてヒストグラムを計算した場合には、全ての画像枚数について前記処理を行ったかを判断する(Ｓ２６)。全ての画像枚数について前記処理を行った場合には、各ヒストグラム算出領域の各方向の線の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する(Ｓ２７)。

図９は、線幅ヒストグラムの計算例を示す図である。画像に対してヒストグラム算出領域を設定し、図６で説明した方法と同様に算出された線の線幅に対して、ヒストグラム算出領域内で角度方向別に、線幅の大きさを加算する。本例では図９に示すように、０度の中央付近のヒストグラム算出領域７１では、各線幅検出領域の線の線幅が１、１、０．５、０であるため、これを加算して２．５となる。図９のように各ヒストグラム算出領域で４つの方向の線幅ヒストグラムが得られ、これを特徴ベクトルとみなす。特徴ベクトルの次元は、方向数×ヒストグラム算出領域数である。ヒストグラム算出領域は例えば画像を格子状に単純に分割すること、または任意の画素を中心とした領域を設定することにより求めることができるが、外縁は線幅検出領域の外縁と一致するものとする。つまり線幅検出領域をいくつか集合させた領域がヒストグラム算出領域となる。

図１０は、線幅検出手段３２の構成例を説明した図である。線幅検出手段３２は、任意の方向および線幅に応じた複数のフィルタを算出するフィルタ生成手段４１と、着目画素(または注目領域)を中心とした領域と前記複数のフィルタとの一致度を算出する一致度算出手段４２と、最大の一致度を示すフィルタの線幅の大きさと一致度を乗算し線の線幅とする線幅計算手段４３と、から構成される。

図１１は線幅検出手段３２の動作例のフローチャートである。図１１に示すように、任意の方向および線幅に応じた複数のフィルタを算出し(Ｓ３１)、規定した方向の数および線幅の種類数についてフィルタを算出したかを確認する(Ｓ３２)。規定した方向の数および線幅の種類数についてフィルタを算出した場合には、着目画素(または注目領域)を中心とした領域と前記複数のフィルタとの一致度を算出する(Ｓ３３)。そして、最大の一致度を示すフィルタの線幅の大きさと一致度を乗算し線の線幅とする(Ｓ３４)。

図１２は、フィルタ生成手段４１により生成されるフィルタの例を示す図であって、４方向、３種類の線の線幅を検出するフィルタ例である。本例の場合、線の線幅は２、３、４である。各フィルタと着目画素(または注目領域)を中心とした領域との一致度を計算する。一致度は例えば内積値や距離などを利用することができる。

図１３は、一致度計算手段４２の構成例を説明した図である。一致度計算手段４２は、着目画素(または注目領域)を中心とした領域と複数のフィルタとの正規化相関を算出する正規化相関手段５１より構成される。正規化相関を用いることにより、文字画像のコントラストに影響されない特徴を得ることができ、照明変動に強い識別が可能となる。

図１４は一致度計算手段４２の動作例のフローチャートである。図１４に示すように、一致度計算手段４２は、着目画素(または注目領域)を中心とした領域と複数のフィルタとの正規化相関を算出して一致度を算出する(Ｓ４１)。

なお、図５、図８、図１１、図１４において、線の線幅を検出する方向数、線幅の種類数、領域の定義等は、あらかじめ入力しているものとすることが可能である。

また、本発明は図１、図２、図３、図４、図７、図１０、図１３に示したシステムまたは装置の一部または全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図５、図６、図８、図９、図１１、図１２、図１４で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

文字認識システムの構成例。 辞書生成装置の構成例。 識別装置の例。 第１特徴抽出装置の構成例。 第１特徴抽出装置の動作例。 線の線幅検出の計算例。 第２特徴抽出装置の構成例。 第２特徴抽出装置の動作例。 線幅ヒストグラムの計算例。 線幅検出手段の構成例。 線幅検出手段の動作例。 フィルタ生成手段により生成されるフィルタの例。 一致度計算手段の構成例。 一致度計算手段の動作例。

符号の説明

１１…辞書生成装置
１２…識別装置
１３…第１特徴量抽出装置
１４…学習装置
１５…第２特徴量抽出装置
１６…判定装置
２１…画像入力手段
２２…線幅検出手段
２３…出力手段
３１…画像入力手段
３２…線幅検出手段
３３…線幅ヒストグラム計算手段
３４…出力手段
４１…フィルタ生成手段
４２…一致度計算手段
４３…線幅計算手段
５１…正規化相関手段
７１…０度の中央付近のヒストグラム算出領域

Claims (9)

1. 画像パターンから特徴を抽出する特徴抽出装置であって、
   画像パターンを入力する画像入力手段と、
   入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出手段と、
   前記各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力手段と、を有することを特徴とする特徴抽出装置。
2. 画像パターンから特徴を抽出する特徴抽出装置であって、
   画像パターンを入力する画像入力手段と、
   入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出手段と、
   入力された画像パターンにヒストグラム算出領域を設定し、設定した各ヒストグラム算出領域について、前記複数の方向別に前記線の線幅のヒストグラムを計算する線幅ヒストグラム計算手段と、
   前記各ヒストグラム算出領域の各方向の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する出力手段と、を有することを特徴とする特徴抽出装置。
3. 前記線幅検出手段は、
   線幅を検出する方向および線の線幅に応じた複数のフィルタを算出するフィルタ算出手段と、
   着目画素を中心とした領域と前記複数のフィルタとの一致度を算出する一致度算出手段と、
   前記算出した一致度において最大の一致度を示すフィルタの線の線幅の値と前記一致度とを乗算して得た値を線の線幅とする線幅計算手段と、を有することを特徴とする請求項１または２に記載の特徴抽出装置。
4. 前記一致度算出手段は、
   前記着目画素を中心とした局所領域と前記複数のフィルタとの正規化相関を算出する正規化相関手段を有することを特徴とする請求項３に記載の特徴抽出装置。
5. 画像パターンから特徴を抽出する特徴抽出装置における特徴抽出方法であって、
   画像入力手段が、画像パターンを入力する入力ステップと、
   線幅検出手段が、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出ステップと、
   出力手段が、前記各線幅検出領域の各方向の線の線幅を特徴値とした特徴ベクトルを出力する出力ステップと、を有することを特徴とする特徴抽出方法。
6. 画像パターンから特徴を抽出する特徴抽出装置における特徴抽出方法であって、
   画像入力手段が、画像パターンを入力する入力ステップと、
   線幅検出手段が、入力された画像パターンに線幅検出領域を設定し、設定した各線幅検出領域について、複数の方向に線の線幅を検出する線幅検出ステップと、
   線幅ヒストグラム計算手段が、入力された画像パターンにヒストグラム算出領域を設定し、設定した各ヒストグラム算出領域について、前記複数の方向別に前記線の線幅のヒストグラムを計算するヒストグラム計算ステップと、
   出力手段が、前記各ヒストグラム算出領域の各方向の線幅のヒストグラムを特徴値とした特徴ベクトルを出力する出力ステップと、を有することを特徴とする特徴抽出方法。
7. 前記線幅検出ステップは、
   フィルタ算出手段が、線幅を検出する方向および線の線幅に応じた複数のフィルタを算出するフィルタ算出ステップと、
   一致度算出手段が、着目画素を中心とした領域と前記複数のフィルタとの一致度を算出する一致度算出ステップと、
   線幅計算手段が、前記算出した一致度において最大の一致度を示すフィルタの線の線幅の値と前記一致度とを乗算して得た値を線の線幅とする線幅計算ステップと、を有することを特徴とする請求項５または６に記載の特徴抽出方法。
8. 前記一致度算出ステップは、
   正規化相関手段が、前記着目画素を中心とした局所領域と前記複数のフィルタとの正規化相関を算出する正規化相関算出ステップを有することを特徴とする請求項７に記載の特徴抽出方法。
9. 上記の請求項１〜８のいずれか１項に記載の特徴抽出装置または特徴抽出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。