JP2010211346A - 手書き文字認識システム - Google Patents

Abstract

【課題】 欠損手書き文字に関する文字認識手法に関して、非線形正規化処理における問題を緩和すると共に、実用可能なパターンマッチング検索方法を提供すること
【解決手段】 この欠損手書き文字を解読する文字認識システムは、欠損部をグレーゾーンとして指定した解読対象の文字パターンを非線形正規化し、字形の特徴を表す多次元ベクトルを生成する手段と、解読済みの文字パターンを非線形正規化し、テンプレートとして字形の特徴を表す多次元ベクトルの形式で蓄積したデータベースと、前記グレーゾーンに対応して、前記テンプレートの多次元ベクトルを修正するテンプレート修正手段と、前記解読対象の文字パターンと修正後のテンプレートとの間でベクトル演算により距離計算を行う手段とを備えている。
【選択図】 図２

Description

本発明は、手書き文字認識システムに関する。更に具体的には、本発明は、例えば、古代木簡に表された欠損を伴った手書き文字の解読を支援する文字認識システムに関する。

考古学・歴史学等の分野において、古文書の解読によって得られる情報は重要である。特に、国内各地の遺跡から出土する古代木簡の解読結果には大きな注目が集まっている。木簡とは、奈良時代及び平安時代の古代遺跡から出土した木片に文字が記載された文書の総称である。

木簡が完全な形で出土して文字に欠損が無い場合には、コンピュータによる木簡文字解読支援が利用されている。

しかし、1000年以上もの間地中に埋没していた古代木簡の多くは、汚損、変色及び文字を表記した墨の欠落等の解読の障害となる欠損が見られる。出土した古代木簡の欠損を伴った手書き文字（以下、「欠損手書き文字」ともいう。）は、現在までほんの僅かしか解読されていない。

欠損手書き文字を解読する場合、この分野の専門家が、他の古代木簡、その他の史料等から類似した部位を有する文字パターンを探し出し、豊富な知識・経験を用いて解読を試みている。

本発明者等は、以下の先行技術文献を承知している。
特開平11-110486号「文字認識装置」（公開日：1999年4月23日） 特開2003-281470号「文字認識装置及び文字認識方法」（公開日：2003年10月3日） 特許文献１では、欠損部分の局所的特徴量を、マッチング対象の特徴量と置き換えて類似度を算出している。

特許文献２では、文字フォントのつぶれ・かすれ領域の照合重みを変更し、登録されている各文字の特徴量と照合している。

従って、以下に説明する本発明の特徴であるグレーゾーンを利用した非線形正規化処理及びテンプレートの修正に関しては、何等開示するものではない。

手書き文字認識では、コンピュータを利用して、解読対象の文字の文字パターン（字体）を検索キーとして、既に解読済みの文字パターン群のデータベースから類似文字パターンを探し出すパターンマッチング検索が行われる。この手書き文字認識手法は、木簡に記載された文字に欠損が無い場合には比較的有効な手段である。

しかし、欠損手書き文字の場合、幾つかの問題が生じて、コンピュータを利用したパターンマッチング検索で実用可能な有効な手段はない。

例えば、パターンマッチング検索を行うためには、解読対象文字パターンと解読済み文字パターンとをコンピュータ上で比較出来るように、文字パターンを規格化する必要がある。このため、後述する非線形正規化処理を施して、個々の文字のサイズ、くせ等を除去して文字パターンを規格化している。

しかし、欠損手書き文字に関して非線形正規化処理を施すと、正規化後の文字パターンに過剰な変形が生じる問題がある。

更に、欠損手書き文字と解読済みの文字パターン群との間のパターンマッチングに際し、欠損部の取扱いについて有効な提案も為されていない。

本発明者等は、欠損手書き文字に関する文字認識手法に関して鋭意研究開発を継続している。

本発明は、欠損手書き文字に関する文字認識手法に関して、非線形正規化処理における問題を緩和すると共に、実用可能なパターンマッチング検索方法を提供することを目的とする。

上記目的に鑑みて、本発明に係る手書き文字認識システムは、欠損を伴った手書き文字を解読する文字認識システムであって、欠損部をグレーゾーンとして指定した解読対象の文字パターンを非線形正規化し、字形の特徴を表す多次元ベクトルを生成する手段と、解読済みの文字パターンを非線形正規化し、テンプレートとして字形の特徴を表す多次元ベクトルの形式で蓄積したデータベースと、前記グレーゾーンに対応して、前記テンプレートの多次元ベクトルを修正するテンプレート修正手段と、前記解読対象の文字パターンと修正後のテンプレートとの間でベクトル演算により距離計算を行う手段とを備えている。

更に、本発明に係る手書き文字認識システムは、欠損を伴った手書き文字を解読する文字認識システムであって、解読対象の欠損を伴った手書き文字の文字パターン画像データを生成する手段と、欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理する手段と、前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成する手段と、解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースと、前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正する手段と、前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行う手段とを備えている。

更に、上記手書き文字認識システムでは、欠損部をグレーゾーンとして指定して該グレーゾーン内の画素は灰色とすることにより、線密度に従って行われる非線形正規化処理において、欠損部による過重な文字パターンの変形を抑制することも出来る。

更に、上記手書き文字認識システムでは、前記テンプレートの修正は、多次元特徴ベクトルの各要素に対して、各要素の特徴残存率を乗じて行ってもよい。

更に、本発明に係る手書き文字認識方法は、欠損を伴った手書き文字を解読する文字認識方法であって、解読対象の欠損を伴った手書き文字の文字パターン画像データを生成するステップと、欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップと、前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成するステップと、解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースを作成するステップと、前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップと、前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行うステップとを含む。

更に、上記手書き文字認識方法では、前記欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップは、該グレーゾーン内の画素は灰色とすることにより、線密度に従って行われる非線形正規化において、欠損部による過重文字パターンの変形を抑制してもよい。

更に、上記手書き文字認識方法では、前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップは、多次元特徴ベクトルの各要素に対して、各要素の特徴残存率を乗じて行ってもよい。

更に、本発明に係るコンピュータプログラムは、コンピュータに、解読対象の欠損を伴った手書き文字の文字パターン画像データを生成するステップと、欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップと、前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成するステップと、解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースを作成するステップと、前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップと、前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行うステップとを実行させるコンピュータプログラムである。

更に、本発明に係る記録媒体は、上記コンピュータプログラムを記録した記録媒体である。

本発明によれば、欠損手書き文字に関する文字認識手法に関して、非線形正規化処理における問題を緩和すると共に、実用可能なパターンマッチング検索方法を提供することが出来る。

図１は、欠損手書き文字に対する文字認識システムの全体構成を示すブロック図である。 図２（Ａ）は、欠損手書き文字に対する文字認識システムの動作フローを示し、図２（Ｂ）は、欠損無しの手書き文字に対する文字認識システムの動作フローを示す図である。 図３は、特徴抽出及び多次元特徴ベクトル化（図２のステップＳ６０，Ｓ６００）の動作フローを示す図である。 図４は、テンプレートの修正（図２のステップＳ２０）の動作フローを示す図である。 図５は、文字パターンの非線形正規化処理をイメージ的に説明する図である。 図６は、文字パターンの特徴抽出について説明する図である。 図７は、文字パターンの各区画の特徴からなる特徴ベクトルの生成を説明する図である。 図８は、欠損手書き文字を非線形正規化した場合の問題点を説明する図である。 図９は、グレーゾーンの指定と非線形正規化の抑制について説明する図である。 図１０は、擬似的なグレーゾーンを規定するため16種類の欠損用マスクを説明する図である。 図１１は、文字画像にマスクを順次重ねた、解読対象の欠損手書き文字画像及び疑似グレーゾーンを付加した文字画像を説明する図である。 図１２は、特徴残存率を説明する図である。 図１３は、辞書であるデータベースに含まれる文字画像（テンプレート）の例を示す図である。

以下、本発明に係る手書き文字認識システムの実施形態に関して添付の図面を参照しながら詳細に説明する。なお、図面に表示された同じ要素に対しては同じ参照符号を付して、重複した説明を省略する。

［手書き文字認識システム］
（全体構成）
図１は、欠損手書き文字に対する文字認識システム１０の全体構成を示すブロック図である。手書き文字認識システム１０は、ＣＰＵ(Central Processing Unit)１２及びこれに接続された記憶装置２０を備え、記憶装置には、例えば、文字認識プログラム２２、辞書２４等が蓄積されている。更に、ＣＰＵ１２は、画像データを入力するデジタルカメラ１４、キーボード等１６及びＧＵＩ(Graphical User Interface)１８を有する。更に、ＣＰＵ１２は、出力データを表示するモニタ２６を有している。

カメラ１４は、木簡に表された手書き文字を撮影して、文字パターンのデジタル画像データを生成してＣＰＵ１２に入力する入力装置である。

ＧＵＩ１８は、例えば、利用者が、文字パターンを見ながらペンデバイス等２０を使って、文字パターンに関連したデータを入力する入力装置である。

記憶装置２０は、例えば、ＨＤＤ（ハードディスクドライブ）であってよい。ＨＤＤに蓄積された文字認識プログラム２２は、本実施形態に記載する文字認識を実行するプログラムである。辞書２４は、既に解読された文字パターン（これを「テンプレート」という。）のデータを多数集めたデータベースである。

このようなコンピュータシステム１０は、特殊なものでなく、現在広く利用されているパーソナルコンピュータで実現することが出来る。

（動作フロー）
図２（Ａ）は、図１に示す手書き文字認識システム１０で実行される欠損手書き文字に対する文字認識の動作フローを示す。この動作フローは、ＣＰＵ１２によって記憶装置２０に蓄積されている文字認識プログラム２２を使って実行される。

（欠損の無い文字に対する文字認識の動作フロー）
この欠損手書き文字に対する文字認識の動作フロー（図２（Ａ））の特徴を分かり易くするため、図２（Ｂ）に欠損の無い文字に対する文字認識の動作フローを示し、これと比較して説明する。

図２（Ｂ）に示す文字認識の動作フローでは、一方で、既に解読済みの多数の文字パターンが、テンプレートとして記憶装置２０の辞書２４として蓄積されている。このテンプレートのデータは、文字の画像データでなく、字形の特徴を抽出した多次元特徴ベクトルの形式となっている。他方で、ステップＳ６００で、解読対象の文字パターンから字形の特徴を抽出した多次元特徴ベクトルを生成する。ステップＳ７００で、パターンマッチング検索を実行して、辞書２４に登録された多数のテンプレートの中から、解読対象文字に類似の文字を探し出す。このパターンマッチング検索は、解読対象文字の多次元特徴ベクトルと、辞書２４に登録されたテンプレートの多次元特徴ベクトルとの間でベクトル演算を行い実行される。

図２（Ｂ）に示す欠損の無い文字に対する文字認識の動作フローに関して、更に詳しく説明する。

ステップＳ３００で、解読対象の文字を画像化する。例えば、古代木簡に表された文字から、デジタルカメラ１４を利用して、文字パターンのモノクロのデジタル画像データを生成する。なお、複数の文字を解読する場合、予め全ての文字を画像データ化して記憶装置２０に取り込んでおくことが好ましい。

ステップＳ５００で、このデジタル画像データに対して、非線形正規化処理を行う。

手書き文字の文字パターン認識では、解読対象の手書き文字を規定のサイズに正規化し、同様に正規化された解読済み文字との間でパターンマッチング検索する必要がある。手書き文字は、様々なサイズで表記され、また筆記者の癖を有し、筆記環境により文字パターンに変形がある。手書き文字のパターン認識においては、このような字種と無関係の癖、文字パターンの変形等を除去して、文字のサイズ、縦横比、線幅等を規格化するため、非線形正規化処理を行う。

効果的な非線形正規化手法として、例えば、線密度を用いたものが挙げられる。この非線形正規化処理では、単に文字サイズを線形的に2倍、3倍等するのではなく、線密度に応じて、即ち、情報密度が少ない部分を圧縮し、情報密度が多い部分を伸張する非線形処理を行っている。

図５は、非線形正規化処理をイメージ的に説明する図である。図５（Ａ）では、文字「遅」が、高い縦横比（縦長）で太い線で書かれている。正規化処理により、予め定められた規定のサイズ、縦横比、線幅等の文字パターンに変形される。図５（Ｂ）では、文字「波」が、低い縦横比（横長）で細い線で書かれている。正規化処理により、予め定められた規定のサイズ、縦横比、線幅等の文字パターンに変形される。

種々のサイズ、文字変形、筆記者の癖等のある手書き文字が、非線形正規化処理により、変形、癖等が除去されて、予め規定されたサイズ、縦横比、線幅等に統一される。非線形正規化処理を行うことにより、手書き文字間で高い精度のパターンマッチング検索が可能となる。

図２（Ｂ）のステップＳ６００で、正規化処理された文字パターンから字形の特徴を抽出して、抽出した特徴を表す多次元特徴ベクトルを生成する。

解読対象の文字を非線形正規化処理した後、解読対象の文字パターンから字体の特徴を抽出する。この特徴抽出手法としては、例えば、字体の輪郭線に注目した手法がある。図３は、ステップＳ６００で行われる特徴抽出及び多次元特徴ベクトル化の動作フローを示す図である。

ステップＳ６１０で、文字パターンを表わす全ての画素の特徴を定義する。即ち、文字パターンのデジタル画像の全ての黒画素から、その黒画素が形成している輪郭線の特徴を抽出する。

図６は、特徴抽出について説明する図である。図６に示すように、注目する黒画素（図中、下地黒に白色抜き文字０を表示した部分）とその８個の近傍画素（注目画素を中心に合計３×３個の画素）について、４方向の特徴（右下がり、上下、右上がり、左右）のいずれに該当するか、当てはめを試みる。これら４方向の特徴には、注目の黒画素及び隣接白画素を含むため文字の輪郭部分に該当し、注目の黒画素及び隣接黒画素を含むため文字の輪郭の延在方向（輪郭線）を表す要素となる。従って、注目黒画素が、４方向の特徴のいずれかに合致した場合、その画素は合致した輪郭線の特徴を有すると定義される。文字パターンを構成する全ての黒画素に対して特徴の有無を調べることにより、字形の輪郭線の４方向成分を抽出することができる。

図７は、各区画の特徴からなる特徴ベクトルを説明する図である。

文字の全ての画素について特徴の抽出が完了した後、非線形正規化処理だけでは取り除けない字体の変動による特徴の位置ズレを吸収するため、ガウスフィルタによる処理を行う。

図３のステップＳ６２０で、図７の左部分に示すように文字パターンをｍ×ｎ個（図では、４×４個）の格子状の区画（小領域）に分割する。ここで、第ｉ行第ｊ列の区画をＣijと表す。

ステップＳ６３０で、各々の区画に対してガウスフィルタを定義する。図７に、区画Ｃ11、Ｃ12及びＣ44に対する夫々のガウスフィルタをイメージ的に示す。ガウスフィルタは、その頂点は注目の小領域の中心とし、その縁部は周辺の小領域まで延在するガウス関数を使ったぼかしフィルタである。ガウス関数をフィルタリングに使うことにより、画素の特徴を算出するときの重みを小領域の中心からの距離に応じてガウス関数で決定する。

ステップＳ６４０で、区画Ｃellij（小領域毎）の特徴量を算出する。具体的には、図７に示すように、ステップＳ６１０で定義された黒画素毎の特徴に対して、その黒画素の属する区画のガウスフィルタを乗じて、各画素の特徴量を得る。区画Ｃij内の全ての画素の特徴量の総和を求めて、区画Ｃijの特徴量Ｆijを得る。

各区画（小領域）の特徴量には、ガウスフィルタを通して当該小領域の外の画素の特徴も加算される。ガウスフィルタの利用によって、非線形正規化処理だけでは取り除けない字体の変動による特徴の位置ズレが吸収される。なお、小領域の概念は、ガウスフィルタの中心を定めるために導入された概念である。

ステップＳ６５０で、文字パターンの多次元特徴ベクトルを得る。文字パターンをｍ×ｎ個（例えば、４×４個）の小領域に分割した場合、この文字パターンの特徴ベクトルは、ｍ×ｎの特徴量から成る要素（例えば、Ｆ11，Ｆ12，…，Ｆmn）を持ったｍ×ｎ次元の特徴ベクトルで表現される。文字パターンを多次元ベクトル化することにより、パターン空間上にマッピングすることが可能となる。以上により、図２（Ｂ）のステップＳ６００の特徴抽出及び特徴ベクトル化が終了する。

図２（Ｂ）に示すテンプレート側を説明する。ステップＳ１００で、既に解読済みの手書き文字を読み出す。図１の記憶装置２０の辞書２４には、既に解読済みの手書き文字（テンプレート）のデータが予め多数蓄積されている。テンプレートは、解読済みの手書き文字の画像を、（ステップＳ３００と同様の手段で）デジタルデータ化し、（ステップＳ５００と同様の手段で）非線形正規化処理し、（ステップＳ６００と同様の手段で）特徴抽出及び特徴ベクトル化して、多次元特徴ベクトルの形式で蓄積されている。テンプレートに関するこれらの処理は、解読対象の文字に対して文字認識をする時点で行うのではなく、予め処理を行って、辞書２４として登録されている。

その後、判別処理（尤度計算）として、多数の解読済み文字（テンプレート）の中から、解読対象の文字に類似する文字を探し出すパターンマッチング検索を行い（Ｓ７００）、その検索結果から類似の文字候補を挙げる（Ｓ８００）。

即ち、ステップＳ７００で、解読対象文字の特徴ベクトルとテンプレートとの間でパターンマッチング検索が行われる。テンプレートとしては、辞書に蓄積された全ての文字が対象となる。従って、解読対象文字と辞書の多数のテンプレートとの間で、逐次パターンマッチングが実行される。パターンマッチングは、具体的には、ステップＳ６００で得られた解読対象文字のｍ×ｎ次元特徴ベクトルと、ステップＳ１００で読み出されたテンプレートのｍ×ｎ次元特徴ベクトルとの間で、対応する要素の座標間の空間内の距離を求める距離計算を行う。即ち、文字間の字体の類似の程度を数値化して求める。辞書２４に蓄積された全てのテンプレートに対して、このパターンマッチング検索が行われる。

解読対象の欠損手書き文字と全てのテンプレートとの間でパターンマッチングが終了したら、ステップＳ８００で、距離計算の結果をモニタ２６に出力する。例えば、解読済み文字パターンの中から、解読対象の文字パターンに近いものを順番に類似文字候補として出力する。

以上により、欠損の無い文字に対する文字認識は終了する。

（欠損手書き文字の文字認識の問題）
しかし、図２（Ｂ）に示す動作フローをそのまま欠損手書き文字に適用すると、(1)非線形正規化による過度の変形、(2)文字の多次元特徴ベクトル化に際しての欠損部の取扱い等の問題が生じる。

（欠損手書き文字の文字認識の動作フロー）
そこで、これらの問題の解決手段を説明しながら、本実施形態に係る欠損手書き文字の文字認識の動作フロー（図２（Ａ））を説明する。本発明者等は、この方法を「テンプレート修正法」と称している。以下に説明するテンプレート修正法では、解読対象の文字パターンから黒画素の特徴だけを抽出すると共に、テンプレートからグレーゾーンに対応する部分の特徴を取り除くテンプレートの修正を行う。これにより、欠損手書き文字に関しても、残存する字形に注目した特徴抽出及び判別処理が可能となる。

ステップＳ３０で、解読対象の手書き文字をデジタル画像データにする。ステップＳ３００の処理と同様である。

ステップＳ４０で、(1)の非線形正規化による過度の変形に対処するため、欠損手書き文字の欠損部に対してグレーゾーンの指定を行う。

非線形正規化処理は、欠損部には字形の一部が存在しないという前提で処理されるため、欠損手書き文字パターンに対して実行すると過剰に変形処理される。その結果、本来の字種の文字パターンから遠くなる（非類似になる）という問題を生じる。

図８は、欠損手書き文字を非線形正規化した場合の問題点を説明する図である。図８（Ａ）は、左側の黒い部分が残存する木簡の部分を表し、右側の白い部分が失われた木簡の部分を表す。図８（Ｂ）は、木簡に表された欠陥手書き文字を表し、図８（Ｃ）は、この文字の２値画像（デジタル画像データ）であり、図８（Ｄ）は、この画像を非線形正規化処理して過剰に変形された文字パターンを表す。

非線形正規化処理は、文字パターンの情報密度に注目した処理であり、字形を形成する黒画素を対象としている。即ち、白画素は字形を構成してないとの前提に立っている。文字に欠損が無い場合、文字パターンは白画素と黒画素とから構成されるので、この前提は正しい。

欠損手書き文字の場合、欠損部は、元々黒画素であったか白画素であったか不明である。しかし、現状の非線形正規化処理では、欠損部に字形の一部が存在したか否かに拘わらず、欠損部は情報密度が少ない部分として圧縮される。即ち、欠損部を埋めるように、黒画素が表す部分が拡大される。図８（Ｂ），（Ｃ）に示すように、元々この漢字のへんの部分が「魚」であったものが、非線形正規化処理により過剰に変形され、図８（Ｄ）では漢字のつくりの部分まで拡大される。

図９は、グレーゾーンの指定と非線形正規化について説明する図である。欠損部をグレーゾーンに指定することにより、欠損部の画素は全て灰色とされ、文字部分（黒画素）と下地部分（白画素）との間の線密度となる。典型的には、灰色の色濃度は黒と白の中間に指定される。手書き文字の欠損部をグレーゾーンと指定することにより、線密度に注目した非線形正規化処理における過剰な変形が抑制される。グレーゾーンの指定は、コンピュータのＧＵＩ１８により、専門家がペンデバイス等１９を利用して行う。

図９に示すように、欠損部に対するグレーゾーンの指定に際し、グレー（灰色）の濃度を可変にしてもよい。具体的には、墨が比較的少量であったと推定される場合は薄い灰色を指定し（図９（Ａ））、平均的な量であったと推定される場合は平均的な灰色を指定し（図９（Ｂ））、比較的多量であったと推定される場合は濃い灰色を指定（図９（Ｃ））する。このような灰色の濃度の相違は、非線形正規化処理において、線密度の高低の相違として反映され、欠損部以外に表れた字形の拡大の程度に反映される。なお、グレーゾーンの指定は、図示のように文字パターンの必ずしも右半分、左半分ではなく、実際の欠損部に対応して行われるため、複数個の島状に分かれて指定される場合もある。

図２のステップＳ５０で、グレーゾーン指定後の文字画像データに対して、非線形正規化処理を行う。ステップＳ５００と同様の処理である。欠損部に対しても、グレーゾーン指定により一定の線密度が付与されているため、過度の文字変形は生じない。

ステップＳ６０で、特徴抽出及び特徴ベクトル化を行う。ステップＳ６００と同様の処理である。なお、グレーゾーンを指定した場合、非線形正規化段階で過剰な変形は抑制される。しかし、非線形正規化後の特徴抽出段階では、文字パターンの黒画素から特徴が抽出され、クレーゾーンからは特徴は抽出されない。図６に関連して説明したように、黒画素のみに注目して特徴抽出するからである。

一方、テンプレート側を説明する。

ステップＳ１０で、既に解読済みの手書き文字（テンプレート）を読み出す。ステップＳ１００と同様の処理である。

ステップＳ２０で、全てのテンプレートに対して、グレーゾーンに対応する部分の特徴を目減りさせるテンプレート修正を行う。

この場合、例えば、既に解読済みの文字の画像パターンを、解読対象の文字で指定したグレーゾーンと同じ大きさのマスクで覆って特徴抽出し、多次元ベクトル化することも考えられる。その後、パターマッチング検索することにより、欠損手書き文字の文字認識は可能になる。しかし、現状では、１つの文字パターンの特徴抽出に比較的長いコンピュータ処理時間（例えば、数10分）を必要としている。従って、解読対象の文字にグレーゾーン指定を行う毎に、全てのテンプレートの文字画像にこのグレーゾーンと同じ大きさのマスクをかけて、特徴抽出及び多次元ベクトル化することは、莫大な時間を要し、実用的でない。

そこで、テンプレート修正法では、解読済みの文字から作成されたテンプレートの多次元特徴ベクトルに対して、グレーゾーンに対応する部分の特徴を目減りさせる方法を採ることにより、コンピュータ処理時間を大幅に短縮している。

テンプレート修正法では、グレーゾーンに含まれない画素からは特徴抽出が可能であり、反対にグレーゾーンに含まれた画素からは特徴抽出は行わないとする。そこで、図３のステップＳ６２０で説明した区画（小領域）毎に、グレーゾーン外の画素の割合（特徴残存率）を算出し、この特徴残存率によりテンプレートの多次元ベクトルの要素を修正、即ち、目減りさせている。区画単位で行う、グレーゾーン内の画素の集計及びグレーゾーン外の画素集の際、ステップＳ６３０で説明したガウスフィルタを利用して、特徴ベクトルを作成したときと同様の修正を行う。

図４は、このテンプレート修正法の動作フローである。

図１２に示すように、ステップＳ２１で、グレーゾーンに含まれた画素を特定する。具体的には、全ての画素に対して、灰色画素にｃ（ｃはゼロより大きい定数）、黒画素及び白画素にゼロのスコアｓgrayを付与する。なお、灰色画素のｃは、典型的には白と黒の中間値50％を付与する。しかし、図７に説明するように、薄い灰色にｃ1、灰色にｃ2、濃い灰色にｃ3（ｃ1＜ｃ2＜ｃ3）のように、複数の色濃度に対応する値を付与してもよい。

ｓgray＝ｃ（灰色画素に対して），０（黒画素，白画素に対して）
ステップＳ２２で、各画素のスコアｓgrayに対して、図２のステップＳ６０で用いた該当する区画のガウスフィルタを乗じて、ステップＳ２３で、区画Ｃellijにおける評価値としてこれを集計してＳgrayijを求める。

ステップＳ２４で、区画Ｃellijに含まれる全ての画素に対して、スコアｓ＝ｃ（ｃは灰色画素のスコアに同じ。）を付与する。

ステップＳ２５で、各画素のスコアｓに対して、該当する区画のガウスフィルタを乗じて、ステップＳ２６で、区画Ｃellijにおける評価値としてこれを集計してＳijを求める。

ステップＳ２７で、各区画の特徴残存率を求める。区画Ｃellijの特徴残存率Ｒijは次式で求められる。区画Ｃellijの特徴残存率Ｒijは、区画Ｃellij内の特徴出可能な画素の割合（グレーゾーン外の画素の割合）を表す。

Ｒij＝１−（Ｓgrayij／Ｓij）
ステップＳ２８で、次式に示すように、各区画の特徴残存率を使って、テンプレートの多次元ベクトルの対応する要素を修正する。即ち、多次元ベクトルの要素毎に、異なる特徴残存率Ｒijで修正される。

Ｆij→Ｒij×Ｆij
以上のステップで、区画単位で特徴の残存率に基づき、テンプレートの多次元特徴ベクトルを修正する。

図２（Ａ）のステップＳ７０で、欠損手書き文字の多次元ベクトルと、修正されたテンプレートとの間でパターンマッチングが行われる。ステップＳ７００と同様の処理である。

ステップＳ８０で、距離計算の結果をモニタ２６に出力する。ステップＳ８００と同様の処理である。

以上により、欠損手書き文字の文字認識が可能になる。

［本実施形態の評価検証］
本実施形態に係る欠損手書き文字の文字認識の評価検証について説明する。

評価用データベースの辞書として、309字種で1字種あたり2画像を含む2,108画像を用意した。図１３は、辞書であるデータベースに含まれる文字画像（テンプレート）の例を示す図である。

解読対象の欠損手書き文字を用意するため、図１０に示すように、擬似的なグレーゾーンを規定するため16種類の欠損用マスクを用意した。図１１に示すように、2,108画像の文字画像にこのマスクを順次重ね、2108×16個の画像を作成し、解読対象の欠損手書き文字画像及び疑似グレーゾーンを付加した文字画像とした。なお、灰色の色濃度は、濃度50％（白と黒の単純平均）及び薄い灰色から濃い灰色まで複数の色濃度のうちの最適値で試験した。

評価試験では、1個抜きクロスバリデーション法を用いて、解読対象の欠損手書き文字画像に使用した文字画像は辞書から外して行った。即ち、解読対象の欠損手書き文字画像を、辞書の2,107画像と順次比較した。

評価結果として、解読対象の欠損手書き文字が、検索結果の尤度上位10位以内に含まれる確立を検索率として求めた。

尤度計算は、特徴ベクトル相互間の距離計算として、シティブロック処理(Cityblock distance)とユークリッド距離(Euclidian distance)を用いた。

評価試験では、文字画像を2通り用意した。１つは画像サイズ64×64画素、区画数8×8（即ち、特徴ベクトルの次元数8×8）であり、他の１つは画像サイズ100×100画素、区画数10×10（即ち、特徴ベクトルの次元数10×10）である。

最初に、マスクを適用しない場合の検索率を求めた。表１にその結果を示す。表１の数字は、尤度上位10位以内に含まれた検索率（％）及び回数（括弧内）である。表１は、欠損部がない文字に対するコンピュータによる文字検索の現在の実力を表す。検索率は、約69〜76％である。

上述したように、現在まで、欠損手書き文字に対するコンピュータによる文字検索は行われていない。次に、テンプレート修正を行わず、グレーゾーン指定後に非線形正規化処理を行う場合として、疑似欠損を付加して検索率を求めた。即ち、グレーゾーン後の非線形正規化を採用し、テンプレート修正不採用の場合のデータである。テンプレート表２にその結果を示す。検索率は、約36〜43％である。

次に、テンプレート修正を行って、検索率を求めた。即ち、グレーゾーン後の非線形正規化を採用し、テンプレート修正を採用した場合のデータである。表３にその結果を示す。検索率は、色濃度50％の場合で約56〜63％、最適色濃度で約69〜75％であった。表１の検索率とほぼ同じ結果を得ることが出来た。

以上の評価試験は、Intel Xeon 3060 (2.4ＧＨｚ)をＣＰＵ１２とするコンピュータ上で実施した。特徴ベクトルの次元数を8×8とし、疑似グレーゾーンの色濃度を50％に固定し、テンプレート修正法を採用してユークリッド距離計算を行った場合、処理時間は試行1回につき約0.13秒であった。これは、1文字に関して辞書全てのテンプレートに対する試行回数2，107回で4分半程度である。この程度であれば、実用に際して問題は無い。この時間短縮は、テンプレートに関して比較的長い時間を要する特徴抽出処理を予め行い、解読作業時には多次元ベクトルに対してテンプレートの修正を行うために可能となる。

この結果から、本実施形態のテンプレート修正法は、欠損手書き文字の文字認識に関して有効な手段と判断される。

［実施形態の利点・効果］
本実施形態による手書き文字認識システムにより、次のような利点・効果を得ることが出来る。

(1)欠陥手書き文字に関して、コンピュータを利用した文字認識が可能となる。

(2)欠損部をグレーゾーンに指定することで、非線形正規化処理における過重な変形を抑制で来る。

(3)グレーゾーンに対応してテンプレートを修正することで、検索率を大幅に控除することが出来る。

(4)グレーゾーンの色濃度を可変にして複数回の検索を行うことで、検索率を一層向上する事が出来る。

(5)これらの文字認識が、短時間のコンピュータ処理で可能になる。

［変形例・代替例］
以上、古代木簡に記載された欠損手書き文字の解読を支援する文字認識システムの実施形態に関して説明したが、本発明は、これに限定されない。本発明は、古代木簡に限らず、部分的に欠けてしまった手書き文字の解読支援に広く応用することが出来る。

本発明の技術的範囲は、添付の特許請求の範囲の記載によって定められる。

１０：文字認識システム、 １２：ＣＰＵ（中央演算処理装置）、 １４：カメラ、 １６：キーボード等、 １８：ＧＵＩ、 ２０：記憶装置、 ２２：文字認識プログラム、 ２４：辞書，テンプレートのデータベース、 ２６：モニタ、

Claims (9)

1. 欠損を伴った手書き文字を解読する文字認識システムにおいて、
   欠損部をグレーゾーンとして指定した解読対象の文字パターンを非線形正規化し、字形の特徴を表す多次元ベクトルを生成する手段と、
   解読済みの文字パターンを非線形正規化し、テンプレートとして字形の特徴を表す多次元ベクトルの形式で蓄積したデータベースと、
   前記グレーゾーンに対応して、前記テンプレートの多次元ベクトルを修正するテンプレート修正手段と、
   前記解読対象の文字パターンと修正後のテンプレートとの間でベクトル演算により距離計算を行う手段とを備えた、文字認識システム。
2. 欠損を伴った手書き文字を解読する文字認識システムにおいて、
   解読対象の欠損を伴った手書き文字の文字パターン画像データを生成する手段と、
   欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理する手段と、
   前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成する手段と、
   解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースと、
   前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正する手段と、
   前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行う手段とを備えた、文字認識システム。
3. 請求項１又は２に記載の欠損を伴った手書き文字を解読する文字認識システムにおいて、
   欠損部をグレーゾーンとして指定して該グレーゾーン内の画素は灰色とすることにより、線密度に従って行われる非線形正規化処理において、欠損部による過重な文字パターンの変形を抑制している、文字認識システム。
4. 請求項１又は２に記載の欠損を伴った手書き文字を解読する文字認識システムにおいて、
   前記テンプレートの修正は、多次元特徴ベクトルの各要素に対して、各要素の特徴残存率を乗じて行っている、文字認識システム。
5. 欠損を伴った手書き文字を解読する文字認識方法において、
   解読対象の欠損を伴った手書き文字の文字パターン画像データを生成するステップと、
   欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップと、
   前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成するステップと、
   解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースを作成するステップと、
   前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップと、
   前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行うステップとを含む、文字認識方法。
6. 請求項５に記載の欠損を伴った手書き文字を解読する文字認識方法において、
   前記欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップは、該グレーゾーン内の画素は灰色とすることにより、線密度に従って行われる非線形正規化において、欠損部による過重文字パターンの変形を抑制している、文字認識方法。
7. 請求項５に記載の欠損を伴った手書き文字を解読する文字認識方法において、
   前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップは、多次元特徴ベクトルの各要素に対して、各要素の特徴残存率を乗じて行っている、文字認識方法。
8. コンピュータに、
   解読対象の欠損を伴った手書き文字の文字パターン画像データを生成するステップと、
   欠損部をグレーゾーンとして指定した文字画像データを、該グレーゾーン内の画素は灰色として非線形正規化処理するステップと、
   前記非線形正規化処理後の解読対象の文字パターンの字形の特徴を表す多次元特徴ベクトルを生成するステップと、
   解読済みの文字の非線形正規化処理後の文字パターンの字形の特徴を表す多次元特徴ベクトルをテンプレートとして多数集積したデータベースを作成するステップと、
   前記グレーゾーンに対応して、前記データベースのテンプレートの多次元特徴ベクトルの要素を修正するステップと、
   前記解読対象の文字パターンの特徴を表す多次元特徴ベクトルと、修正後のテンプレートの多次元特徴ベクトルとの間で尤度計算を行うステップとを実行させる、コンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを記録した記録媒体。