JP2000105798A - 手書き文字認識装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 オンライン認識とオフライン認識との両方の
認識特性を活かして、高速で高精度に手書き文字を認識
する手書き文字認識装置の提供。 【解決手段】 ペン入力手段１より入力された時系列ベ
クトル情報からイメージ情報生成手段２が生成した二次
元イメージ情報をもとに認識候補を獲得するオフライン
認識手段３が獲得した認識候補の認識スコアと、手書き
文字の時系列ベクトル情報をもとに、オフライン認識手
段３が獲得した認識候補の中の認識スコアの得点が高い
上位の認識候補に対する認識スコアを算出して認識候補
を獲得するオンライン認識手段５が獲得した認識スコア
とを正規化する認識スコア正規化手段６１と、正規化後
の認識スコアに基づいて、オフライン認識手段３及びオ
ンライン認識手段５が獲得した認識候補を統合し、認識
スコアの得点が高い上位複数個の認識候補を認識結果と
して出力する候補統合手段６２とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ペン入力コンピュ
ータ、ペン操作型携帯情報端末装置（PDA:Personal Dig
ital Asistant ）等において、電子ペン（以下、ペンと
いう）のような筆記具で筆記された手書き文字を認識し
て文字コードに変換する手書き文字認識装置、及び手書
き文字認識のコンピュータプログラムが記録されている
記録媒体に関する。

【０００２】

【従来の技術】手書き文字認識は、タブレット型の座標
入力装置から所定時間毎に入力される、ペンによる手書
き文字の各筆点（座標点）の時系列ベクトル情報（スト
ローク情報ともいう）に基づいて認識するオンライン手
書き文字認識（以下、オンライン認識という）と、筆記
された文字を光学的に読み取り、二次元のイメージ情報
として認識するＯＣＲ（Optical Character Recognitio
n ）とに大別される。なお、ＯＣＲはオンライン認識と
の比較のため、オフライン手書き文字認識（以下、オフ
ライン認識という）と呼ばれる。

【０００３】オンライン認識では、ストローク情報を認
識対象とするので筆順及び画数の情報が簡単に得られ、
これらをもとにした比較的簡単なパターン・マッチング
で高精度の認識結果を得ることができるという特長があ
る。しかし、筆順の誤り、くずし書き、重ね書き、塗り
つぶし等によって筆順、画数が変動した場合、変動の情
報が認識辞書に登録されていない限り、手書き文字を認
識できない、また変動を吸収するようなアルゴリズムは
計算量が膨大になるので、実時間で手書き文字を認識で
きない等の欠点がある。

【０００４】一方、オフライン認識では、二次元イメー
ジ情報を認識対象とし、筆順及び画数に依存しないた
め、筆順、画数に変動のある手書き文字の全体の形から
文字を認識することができるという特長がある。しか
し、画数が少ない文字、非漢字等ではわずかの変形が全
体の形の変形につながる率が高いため、筆順及び画数の
情報から容易に認識できるにもかかわらず、認識辞書に
膨大な数のテンプレートが登録されていない限り、実用
的な認識性能を得ることが難しいという欠点がある。

【０００５】以上のように、ストローク情報と二次元イ
メージ情報といった異なる特徴量に基づいて手書き文字
を認識するオンライン認識とオフライン認識とでは、認
識特性に相補性があるので、両者を併用して認識性能を
高めようとする多くの提案が従来からなされている（特
開昭５５−１４０９７０号公報、特開平９−２８８７１
７号公報、特開平９−１７９９３８号公報等）。

【０００６】特開昭５５−１４０９７０号公報、及び特
開平９−２８８７１７号公報に代表される手書き文字認
識は、オフライン認識により獲得した認識候補とオンラ
イン認識により獲得した認識候補とを統合する並列型ハ
イブリッド認識と呼ばれる手書き文字認識である。

【０００７】特開昭５５−１４０９７０号公報に開示さ
れた並列型ハイブリッド認識では、総合判定手段がオン
ライン認識とオフライン認識とから出力される認識候補
を統合する。その方法は、オンライン認識が出力する識
別クラス（Ａ−ｉ）と、オフライン認識が出力する識別
クラス（Ｂ−ｊ）とを行及び列とする二次元の表に文字
コードＣijが記載されている場合、即ちオンライン認識
及びオフライン認識のいずれでも認識候補として獲得さ
れた場合、文字コードＣijを認識結果として出力する。

【０００８】また、図１は特開平９−２８８７１７号公
報に開示された並列型ハイブリッド認識の手順を示すフ
ローチャートである。手書き文字のストローク情報を用
いてオンライン認識を行う一方、ストローク情報から生
成したイメージ情報の特徴データを用いてオフライン認
識を行う。次にオンライン認識で獲得した認識候補とオ
フライン認識で獲得した認識候補との認識スコアを加算
して両方の認識候補を統合し、統合結果に基づいて認識
結果を出力する。

【０００９】一方、特開平９−１７９９３８号公報に代
表される手書き文字認識は、直列型ハイブリッド認識と
呼ばれ、図２に示すように、ストローク情報から生成し
たイメージ情報の特徴データを用いてオフライン認識を
行い、認識候補を絞り（大分類）、これらの認識候補に
対して、手書き文字のストローク情報を用いてオンライ
ン認識を行ってオフライン認識で獲得した認識候補をさ
らに絞り込み（細分類）、最終的な認識結果を出力す
る。

【００１０】従って、オンライン認識はオフライン認識
に比べて認識に長時間を要するが、直列型ハイブリッド
認識では、辞書の全ての文字コードに対してオンライン
認識を行う前述の並列型ハイブリッドに比べて、オンラ
イン認識に要する時間が短縮され、これにより全体の認
識時間が短縮される。

【００１１】

【発明が解決しようとする課題】前述のように、特開昭
５５−１４０９７０号公報に開示された並列型ハイブリ
ッド認識では、オフライン認識とオンライン認識との両
方で認識候補として獲得された文字コードだけが認識結
果として出力されるので、相補正を有するオフライン認
識とオンライン認識との特性が活かされない。

【００１２】また、特開平９−２８８７１７号公報に開
示された並列型ハイブリッド認識のように、オンライン
認識の認識候補の認識スコアとオフライン認識の認識候
補の認識スコアとを加算するという単純な演算では高い
認識性能を期待することはできない。例えば認識不能な
筆順で筆記された場合、オフライン認識において獲得さ
れた正解の文字に対して、オンライン認識が極端に悪い
スコアを返すことがある。このような場合にオフライン
認識の認識スコアとオンライン認識の認識スコアとを加
算すると、正解の文字の順位が大幅に下がり、認識スコ
アの得点が高い順に選択したいくつかの認識候補の中に
正解の文字が含まれていないという虞がある。

【００１３】また、特開平９−１７９９３８号公報に代
表される直列型ハイブリッド認識では、オフライン認識
により絞った認識候補に対してオンライン認識を行って
認識候補をさらに絞り込むので、オフライン認識により
獲得した認識候補の中の得点が高い上位の認識候補が脱
落する可能性があり、認識に要する時間は上述の並列型
ハイブリッド認識より短縮されるが、相補正を有するオ
フライン認識とオンライン認識との特性が活かされな
い。例えば、塗りつぶし文字のように、オフライン認識
は得意とするがオンライン認識が不得手とするような文
字はオフライン認識で正解の文字コードが認識候補とし
て獲得されていてもオンライン認識で脱落してしまう。

【００１４】本発明はこのような問題点を解決するため
になされたものであって、オフライン認識で認識候補を
絞り込むとともに、それぞれが高い認識性能を有し、ま
た認識の得手、不得手、認識速度等といった認識特性に
相補正を有するオンライン認識とオフライン認識との両
方の認識特性を活かして最終的な認識結果を出力するこ
とにより、高速で高精度に手書き文字を認識する手書き
文字認識装置、及び手書き文字認識のコンピュータプロ
グラムが記録されている記録媒体の提供を目的とする。

【００１５】

【課題を解決するための手段】図３は本発明の原理図で
ある。ペン入力手段１は、ペンによりタブレットに手書
きされていく文字の筆点の座標データを所定時間毎に入
力する座標入力手段である。イメージ情報生成手段２
は、ペン入力手段１により入力された筆点の時系列ベク
トル情報を二次元のイメージ情報に変換する。

【００１６】オフライン認識手段３は、各文字の、文字
コード及び二次元イメージの特徴情報が格納されている
オフライン認識辞書３１を参照し、二次元のイメージ情
報をもとに認識処理を行い、文字コードと認識スコアと
の対からなる複数個の認識候補を獲得する。照合テーブ
ル４はオフライン認識手段３が獲得した認識候補のう
ち、認識スコアの得点が高いＮ個の文字コードを格納す
る。

【００１７】オンライン認識手段５は、各文字の、文字
コード及び時系列ベクトル情報が格納されているオンラ
イン認識辞書５１を参照し、手書き文字の筆点の時系列
ベクトル情報を、照合テーブル４に格納された文字コー
ドに対応するオンライン認識辞書５１の文字コードの時
系列ベクトル情報と照合して認識処理を行い、文字コー
ドと認識スコアとの対からなる認識候補を獲得する。

【００１８】統合手段６の認識スコア正規化手段６１
は、オフライン認識手段３が獲得した認識候補のうち、
認識スコアの得点が高い上位Ｍ個の認識候補の認識スコ
アと、オンライン認識手段５が獲得した認識候補の中
の、認識スコアの得点が高い上位Ｌ個の認識候補の認識
スコアとを正規化し、各認識候補の新しい認識スコアを
決定する。

【００１９】統合手段６の候補統合手段６２は、正規化
後の認識スコアに基づいて、オフライン認識手段３の認
識候補及びオンライン認識手段５の認識候補を統合し、
認識スコアの得点が高い上位Ｋ個の認識候補を認識結果
として出力する。

【００２０】第１発明の手書き文字認識装置は、手書き
で入力される文字から手書き文字を認識する装置におい
て、手書きされた文字の二次元イメージ情報をもとに、
文字コード及び認識スコアを対とする複数個の認識候補
を獲得する第１の認識手段と、前記第１の認識手段が獲
得した複数個の認識候補の中の上位複数個の認識候補に
対して、手書き文字の時系列ベクトル情報をもとに認識
スコアを算出し、認識スコア及び文字コードを対とする
認識候補を獲得する第２の認識手段と、第１の認識手段
が獲得した複数個の認識候補の中の認識スコアの得点が
高い上位複数個の認識候補の認識スコア、及び第２の認
識手段が獲得した認識候補の中の認識スコアの得点が高
い上位複数個の認識候補の認識スコアを正規化する認識
スコア正規化手段と、正規化後の認識スコアに基づい
て、複数個の認識候補を認識結果として出力する候補統
合手段とを備えたことを特徴とする。

【００２１】第１発明では、手書き入力された文字の二
次元のイメージ情報をもとに、第１の認識手段が認識処
理を行って複数個の認識候補を獲得し、第２の認識手段
は、手書き文字の筆点の時系列ベクトル情報をもとに、
第１の認識手段が獲得した複数個の認識候補の中の、例
えば認識スコアの得点が高い上位複数個の認識候補に対
して認識処理を行って複数個の認識候補を獲得し、認識
スコア正規化手段が、第１の認識手段が獲得した複数個
の認識候補の中の認識スコアの得点が高い上位複数個の
認識候補の認識スコアと、第２の認識手段が獲得した複
数個の認識候補の中の認識スコアの得点が高い上位複数
個の認識候補の認識スコアとを正規化し、候補統合手段
が、正規化後の認識スコアに基づいて、複数個の認識候
補を認識結果として出力する。従って、オンライン認識
及びオフライン認識の両方の認識特性の長所が活かさ
れ、認識性能が向上するとともに、実用的に十分高速に
認識結果が得られる。

【００２２】第２発明の手書き文字認識装置は、手書き
で入力される文字の筆点における時系列ベクトル情報か
ら手書き文字を認識する装置において、時系列ベクトル
情報を二次元イメージ情報に変換するイメージ情報生成
手段と、各文字の、文字コード及び二次元イメージの特
徴情報が格納されているオフライン認識辞書と、イメー
ジ情報生成手段により生成された二次元イメージ情報か
ら得られる特徴情報をオフライン認識辞書の特徴情報と
照合して文字コード及び認識スコアを対とする複数個の
認識候補を獲得するオフライン認識手段と、オフライン
認識手段が獲得した複数個の認識候補の中の認識スコア
の得点が高い上位Ｎ個の認識候補の文字コードを格納す
る照合テーブルと、各文字の、文字コード及び時系列ベ
クトル情報が格納されているオンライン認識辞書と、手
書き文字の時系列ベクトル情報を、照合テーブルに格納
されているＮ個の文字コードに対応するオンライン認識
辞書の時系列ベクトル情報と照合して、文字コード及び
認識スコアを対とする複数個の認識候補を獲得するオン
ライン認識手段と、オフライン認識手段が獲得した複数
個の認識候補の中の認識スコアの得点が高い上位Ｍ個
（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオン
ライン認識手段が獲得した複数個の認識候補の中の認識
スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識
候補の認識スコアを正規化する認識スコア正規化手段
と、認識スコア正規化手段による正規化後の認識スコア
に基づいて、オフライン認識手段が獲得したＭ個の認識
候補、及びオンライン認識手段が獲得したＬ個の認識候
補を統合し、認識スコアの得点が高い上位Ｋ個（ただ
し、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力する
候補統合手段とを備えたことを特徴とする。

【００２３】第２発明では、イメージ情報生成手段が、
筆点の時系列ベクトル情報から生成した二次元のイメー
ジ情報をもとに、オフライン認識手段が認識処理を行っ
て複数個の認識候補を獲得し、これらの中の認識スコア
の得点が高い上位Ｎ個の認識候補を照合テーブルに格納
する一方、オンライン認識手段は、手書き文字の筆点の
時系列ベクトル情報をもとに、照合テーブルに格納され
た認識候補に対して認識処理を行って複数個の認識候補
を獲得し、認識スコア正規化手段が、オフライン認識手
段が獲得した認識候補の中の認識スコアの得点が高い上
位Ｍ個の認識候補の認識スコアと、オンライン認識手段
が獲得した認識候補の中の認識スコアの得点が高い上位
Ｌ個の認識候補の認識スコアとを正規化し、候補統合手
段が、認識スコアが正規化されたオフライン認識手段の
認識候補及びオンライン認識手段の認識候補から認識ス
コアの得点が高い上位Ｋ個の認識候補を選択し、認識結
果として出力する。従って、オンライン認識及びオフラ
イン認識の両方の認識特性の長所が活かされ、認識性能
が向上するとともに、実用的に十分高速に認識結果が得
られる。

【００２４】第３発明の手書き文字認識装置は、第１又
は第２発明において、前記候補統合手段は、オフライン
認識手段及びオンライン認識手段が同一の文字コードを
有する認識候補を獲得した場合は、該認識候補の認識ス
コアを正規化後の得点が高い方の認識スコアと決定し、
またいずれか一方が獲得した認識候補の認識スコアを正
規化後の認識スコアと決定する手段を備えることを特徴
とする。

【００２５】第３発明では、オフライン認識手段及びオ
ンライン認識手段がそれぞれ獲得したＭ個及びＬ個の認
識候補に同一の認識候補が含まれる場合のこの認識候補
の認識スコアを、正規化後の得点が高い方の認識スコア
と決定し、またいずれか一方が獲得した認識候補の認識
スコアを、正規化後の認識スコアと決定する。従って、
例えば塗りつぶし文字のように、オフライン認識が得意
とし、オフライン認識において認識スコアの得点が高か
った認識候補が、このような文字を不得手とするオンラ
イン認識において脱落せず、認識性能が向上する。

【００２６】第４発明の手書き文字認識装置は、第２又
は第３発明において、前記オンライン認識手段は、オン
ライン認識辞書にオフライン認識辞書と異なる文字セッ
トが格納されており、前記照合テーブルに格納された文
字コードがオンライン認識辞書に存在しない場合、前記
照合テーブルに格納された文字コードのオンライン認識
による認識スコアを所定の固定値とした認識候補として
獲得する手段であることを特徴とする。

【００２７】第４発明では、オンライン認識辞書にオフ
ライン認識辞書と異なる文字セットが格納されており、
例えばほとんど書く機会がないようなＪＩＳ第２水準の
複雑な文字がオフライン認識の結果として照合テーブル
に格納されたが、オンライン認識辞書にこの文字が認識
対象として含まれていない場合、照合テーブルに格納さ
れた文字コードのオンライン認識の認識スコアを、例え
ば最悪の０といった固定値とする。

【００２８】従って、オンライン認識とオフライン認識
との認識対象の文字セットが同一でなく、オンライン認
識の認識対象の数の方が少ない場合でも、手書き文字が
オフライン認識の認識対象に含まれていれば認識結果が
得られる。この場合、オフライン認識のスコアが十分高
ければ、オンライン認識の認識対象に含まれていなくて
も認識することができる。通常、オフライン認識辞書は
手書き文字のパターンを収集さえすれば辞書を自動的に
合成することができるのに対し、オンライン認識辞書は
文字のストローク情報を人手で記述するため、例えばほ
とんど書く機会がないようなＪＩＳ第２水準の複雑な文
字の認識辞書を作成することは非常に困難であるが、オ
フライン認識辞書に含まれていれば、オンライン認識辞
書に含まれていなくても認識結果を得ることができて、
認識対象の拡張が容易である。

【００２９】第５発明の手書き文字認識装置は、第１乃
至第４発明のいずれかにおいて、前記認識スコア正規化
手段は、オフライン認識手段が獲得した複数個の認識候
補の中の認識スコアの得点が高い上位複数個の認識候補
の認識スコアと、オフライン認識手段が獲得した複数個
の認識候補の中の認識スコアの得点が高い上位ｍ個の認
識候補の認識スコアの平均値との差に所定の係数を乗
じ、オンライン認識手段の認識候補が正解である場合の
認識スコアの平均値に応じた所定値を加算して前記上位
複数個の認識スコアを正規化する手段であることを特徴
とする。

【００３０】従って、オフライン認識手段が獲得した認
識候補の認識スコア及びオンライン認識手段が獲得した
認識候補の認識スコアとが同レベルで比較できるように
補正される。

【００３１】第６発明の記録媒体は、手書きで入力され
る文字の筆点における時系列ベクトル情報からコンピュ
ータに手書き文字を認識させる装置で使用するコンピュ
ータプログラムを記録しており、コンピュータでの読み
取りが可能な記録媒体において、前記コンピュータに、
時系列ベクトル情報を二次元イメージ情報に変換させる
プログラムコード手段と、各文字の、文字コード及び二
次元イメージの特徴情報が格納されているオフライン認
識辞書と、前記コンピュータに、生成された二次元イメ
ージ情報から得られる特徴情報をオフライン認識辞書の
特徴情報と照合するオフライン認識を実行させて文字コ
ード及び認識スコアを対とする複数個の認識候補を獲得
させるプログラムコード手段と、前記コンピュータに、
オフライン認識により獲得した複数個の認識候補の中の
認識スコアの得点が高い上位Ｎ個の認識候補の文字コー
ドを照合テーブルに格納させるプログラムコード手段
と、各文字の、文字コード及び時系列ベクトル情報が格
納されているオンライン認識辞書と、前記コンピュータ
に、手書き文字の時系列ベクトル情報を、照合テーブル
に格納されているＮ個の文字コードに対応するオンライ
ン認識辞書の時系列ベクトル情報と照合するオンライン
認識を実行させて、文字コード及び認識スコアを対とす
る複数個の認識候補を獲得させるプログラムコード手段
と、前記コンピュータに、オフライン認識により獲得し
た複数個の認識候補の中の認識スコアの得点が高い上位
Ｍ個（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及び
オンライン認識により獲得した複数個の認識候補の中の
認識スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の
認識候補の認識スコアを正規化させるプログラムコード
手段と、前記コンピュータに、正規化後の認識スコアに
基づいて、オフライン認識により獲得したＭ個の認識候
補、及びオンライン認識により獲得したＬ個の認識候補
を統合させ、認識スコアの得点が高い上位Ｋ個（ただ
し、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力させ
るプログラムコード手段とを含むことを特徴とする。

【００３２】第６発明では、コンピュータが記録媒体の
コンピュータプログラムを読み取り、筆点の時系列ベク
トル情報から生成した二次元のイメージ情報をもとに、
オフライン認識処理を行って複数個の認識候補を獲得
し、これらのうちのＮ個の認識候補を照合テーブルに格
納する一方、手書き文字の筆点の時系列ベクトル情報を
もとに、照合テーブルに格納された認識候補に対してオ
ンライン認識処理を行って複数個の認識候補を獲得し、
オフライン認識で獲得した認識候補の中のＭ個の認識候
補の認識スコアと、オンライン認識で獲得した認識候補
の中のＬ個の認識候補の認識スコアとを正規化し、認識
スコアが正規化されたオフライン認識の認識候補及びオ
ンライン認識の認識候補からＫ個の認識候補を選択し、
認識結果として出力する。従って、手書き文字認識のコ
ンピュータプログラムを、CD-ROM、MO等の可搬型記録媒
体、又は回線経由で提供することができる。

【００３３】

【発明の実施の形態】次に、本発明の手書き文字認識装
置の具体的な実施形態について、以下に説明する。な
お、装置の構成は図３の原理図と同様である。手書きで
筆記された一文字分のストローク情報が座標入力装置で
あるペン入力手段１により入力されると、イメージ情報
生成手段２は、ストローク情報をビットマップ情報に展
開し、手書き文字イメージ情報を生成する。図４はイメ
ージ情報生成の概念図である。

【００３４】オフライン認識手段３は、イメージ情報生
成手段２が生成したイメージ情報からイメージ特徴を抽
出し、オフライン認識辞書３１と照合して得た認識スコ
ア及び文字コードの対からなる複数個の認識候補を獲得
する。これらの認識候補のうち、認識スコアの得点が高
い上位Ｎ個が選択され、これらの文字コードが照合テー
ブル４に格納される。

【００３５】次に、オンライン認識手段５は、一文字分
のストローク情報を、照合テーブル４に格納された文字
コードに対応するオンライン認識辞書５１のストローク
情報と照合して得た認識スコア及び文字コードの対から
なる複数個の認識候補を獲得する。統合手段６は、オフ
ライン認識手段３が獲得した複数個の認識候補のうち、
認識スコアの得点が高い上位Ｍ個の認識候補を選択し、
またオンライン認識手段５が獲得した複数個の認識候補
のうち、認識スコアの得点が高い上位Ｌ個の認識候補を
選択する。

【００３６】なお、オンライン認識手段５は、オフライ
ン認識辞書３１とオンライン認識辞書５１とに異なる文
字セットが格納されており、例えばほとんど書く機会が
ないようなＪＩＳ第２水準の複雑な文字がオフライン認
識の結果として照合テーブル４に格納されたが、オンラ
イン認識辞書５１にこの文字が認識対象として含まれて
いない場合、照合テーブル４に格納された文字コードの
認識スコアを、例えば最悪の０といった固定値としてオ
ンライン認識の認識候補として出力する。

【００３７】統合手段６の認識スコア正規化手段６１
は、Ｍ個のオフライン認識の認識候補と、Ｌ個のオンラ
イン認識の認識候補とのいずれか一方の認識スコア、又
は両方の認識スコアに対して所定のアルゴリズムで演算
を行って認識スコアを正規化し、オフライン認識手段３
及びオンライン認識手段５の認識スコアとを同レベルで
比較できるように補正する。

【００３８】統合手段６の候補統合手段６２は、正規化
された認識スコアをもとに、オフライン認識及びオンラ
イン認識の認識候補を統合し、認識スコアの得点が高い
上位Ｋ個の認識候補を最終的な認識結果として出力す
る。このとき、候補統合手段６２は、オフライン認識手
段３とオンライン認識手段５との両方から同一の文字コ
ードの認識候補の出力がある場合は、正規化後の得点が
高い方の認識スコアを採用する。なお、以上のようにし
て得られた認識結果の認識精度を高めるために、文脈処
理を行って補正してもよい。

【００３９】

【実施例】以下に、本発明の手書き文字認識装置を使用
した手書き文字認識の具体例について説明する。オフラ
イン認識としては株式会社富士通研究所で開発された２
８８次元特徴ベクトルによる認識方式（鎌田、他：「圧
縮特徴と原特徴を併用した高速かつ高精度な文字認識方
式」：信学技報、ＰＲＵ96-205（1997-03 ））を用い
る。このオフライン認識は、領域を１２×６分割し、縦
横斜め等の４方向からスキャンして得られる２８８次元
の特徴ベクトルを基に認識処理を行うもので、コンパク
トな辞書で高速に認識処理を行うことができる。なお、
イメージ情報生成では、文字サイズの正規化後、各スト
ロークの幅を１とした２値化処理を行っている。

【００４０】一方、オンライン認識としては、東京農工
大で開発された続け字認識アルゴリズム「線型時間伸縮
マッチング法」（秋山、中川：「ストロークのつながり
に寛容なオンライン手書き文字認識」：画像の認識・理
解シンポジウム（ＭＩＲＵ'94 ）Ｉ、145-152 （1994.0
7 ））を用いる。このオンライン認識では、画数が変動
した続け文字であっても、筆順が辞書に登録されている
範囲であれば高精度に認識処理を行うことができる。認
識辞書は部首毎に構造化・共有されているため非常にコ
ンパクトであるが、計算時間がかかるため、通常、なん
らかの大分類機構で１００〜数百程度に絞り込んだ後で
使用すると効果的である。

【００４１】本実施例では、オフライン認識の結果、上
位１００位までの認識候補の文字コードを照合テーブル
に格納する。オンライン認識では、照合テーブルに格納
された文字コードの辞書パターンを順次読み出し、前述
の「線型時間伸縮マッチング法」を実施する。なお、照
合テーブルに格納された文字コードが辞書にない場合は
照合処理を行わず、認識スコアを固定値（例えば最悪値
０）とする。

【００４２】本実施例では、以上のような照合処理で得
られた認識候補のうち、上位１０位をオンライン認識の
認識候補として出力する。同様に、オフライン認識の結
果として得られた上位１０位を認識候補として出力す
る。認識スコア正規化は、以下のようなアルゴリズムで
認識スコアを正規化する。

【００４３】(1) オンライン認識の認識スコアはそのま
まの値を正規化後の認識スコアとして使用する。(2) オ
フライン認識の認識候補を認識スコアの得点が高い順に
ソートし、第ｉ番目の認識候補の認識スコアをｄ_i とす
る。以下の式で示すように、上位５位の認識候補の認識
スコアの平均ｍを算出し、正規化後の認識スコアＤ_i を
決定する。

【００４４】

【数１】

【００４５】ここで、パラメータα、βは、認識実験等
により最適の値が決定される数値であって、本実施例で
はα＝0.7 、β＝680 とする。βの値は、オンライン認
識が正解であった場合の平均的な認識スコアよりやや小
さい値である。候補統合では、認識スコアを上述のアル
ゴリズムによって正規化した後、両認識により同一の文
字コードが認識候補として獲得されている場合は、得点
が高い方の認識スコアを選択し、認識候補が一方の認識
でしか得られていない場合は、それぞれの認識スコアを
最終的な認識スコアとして決定する。以上の結果、認識
スコアの得点が高い上位１０個を認識結果として出力す
る。

【００４６】表１は、公開されている認識評価データに
対して本実施例の手書き文字認識を実行した時の認識実
験結果を示している。なお、認識評価データとしては、
東京農工大の中川研究室が中心になって収集したオンラ
イン手書きＤＢ（ＴＵＡＴNakagawa Lab．ＨＡＮＤＳ-k
uchibue-97-01 ）より、mdb0051 、mdb0055 、mdb0066
の中の非漢字を除いたＪＩＳ第一水準の漢字（ 16929
字）を用いた。

【００４７】

【表１】

【００４８】表１から明らかなように、本実施例では、
一位認識（正解の文字が一位に存在する場合だけ正解と
する）、累積認識（正解の文字が一位か二位、一位から
三位までのいずれか、一位から五位までのいずれか、又
は一位から十位までのいずれかに存在すれば正解とす
る）のいずれにおいても認識性能が大幅に向上してい
る。

【００４９】なお、照合テーブルに格納する文字コード
の数を１００としたが、文字コードの数はこれより多く
てもよい。文字コードの数を多くすれば計算量は増加す
るが、一般的に認識性能は向上する。文字コード数を１
００とした時の認識速度は、ＪＩＳ第一水準＋非漢字の
合計3345字の認識対象に対し、Pentium Pro 266 MHzの
ＣＰＵで、平均33ms／文字であった。

【００５０】本発明の手書き文字認識装置は、上述した
ような手書き文字認識のコンピュータプログラムを、磁
気ディスク，ＣＤ−ＲＯＭ等の可搬型記録媒体、コンピ
ュータと無線又は有線にてプログラムの通信が可能な、
例えばセンタに備えられた回線先メモリ、あるいは、コ
ンピュータに備えつけられたＲＡＭ、ハードディスク等
の処理装置側メモリ等の記録媒体からロードする。

【００５１】

【発明の効果】以上のように、本発明の手書き文字認識
装置及び記録媒体は、オフライン認識で認識候補を絞り
込むとともに、それぞれが高い認識性能を有し、また認
識の得手不得手、認識速度等といった認識特性に相補正
を有するオンライン認識とオフライン認識との両方の認
識特性を活かして最終的な認識結果を出力するので、高
速で高精度に手書き文字を認識するという優れた効果を
奏する。

【図面の簡単な説明】

【図１】並列型ハイブリッド認識手順のフローチャート
である。

【図２】直列型ハイブリッド認識手順のフローチャート
である。

【図３】本発明の原理図である。

【図４】イメージ情報生成の概念図である。

【符号の説明】

１ ペン入力手段 ２ イメージ情報生成手段 ３ オフライン認識手段 ３１ オフライン認識辞書 ４ 照合テーブル ５ オンライン認識手段 ５１ オンライン認識辞書 ６ 統合手段 ６１ 認識スコア正規化手段 ６２ 候補統合手段

Claims (6)

【特許請求の範囲】
1. 【請求項１】 手書きで入力される文字から手書き文字
   を認識する装置において、 手書きされた文字の二次元イメージ情報をもとに、文字
   コード及び認識スコアを対とする複数個の認識候補を獲
   得する第１の認識手段と、 前記第１の認識手段が獲得した複数個の認識候補の中の
   上位複数個の認識候補に対して、手書き文字の時系列ベ
   クトル情報をもとに認識スコアを算出し、認識スコア及
   び文字コードを対とする認識候補を獲得する第２の認識
   手段と、 第１の認識手段が獲得した複数個の認識候補の中の認識
   スコアの得点が高い上位複数個の認識候補の認識スコ
   ア、及び第２の認識手段が獲得した認識候補の中の認識
   スコアの得点が高い上位複数個の認識候補の認識スコア
   を正規化する認識スコア正規化手段と、 正規化後の認識スコアに基づいて、複数個の認識候補を
   認識結果として出力する候補統合手段とを備えたことを
   特徴とする手書き文字認識装置。
2. 【請求項２】 手書きで入力される文字の筆点における
   時系列ベクトル情報から手書き文字を認識する装置にお
   いて、 時系列ベクトル情報を二次元イメージ情報に変換するイ
   メージ情報生成手段と、 各文字の、文字コード及び二次元イメージの特徴情報が
   格納されているオフライン認識辞書と、 イメージ情報生成手段により生成された二次元イメージ
   情報から得られる特徴情報をオフライン認識辞書の特徴
   情報と照合して文字コード及び認識スコアを対とする複
   数個の認識候補を獲得するオフライン認識手段と、 オフライン認識手段が獲得した複数個の認識候補の中の
   認識スコアの得点が高い上位Ｎ個の認識候補の文字コー
   ドを格納する照合テーブルと、 各文字の、文字コード及び時系列ベクトル情報が格納さ
   れているオンライン認識辞書と、 手書き文字の時系列ベクトル情報を、照合テーブルに格
   納されているＮ個の文字コードに対応するオンライン認
   識辞書の時系列ベクトル情報と照合して、文字コード及
   び認識スコアを対とする複数個の認識候補を獲得するオ
   ンライン認識手段と、 オフライン認識手段が獲得した複数個の認識候補の中の
   認識スコアの得点が高い上位Ｍ個（ただし、Ｍ≦Ｎ）の
   認識候補の認識スコア、及びオンライン認識手段が獲得
   した複数個の認識候補の中の認識スコアの得点が高い上
   位Ｌ個（ただし、Ｌ≦Ｎ）の認識候補の認識スコアを正
   規化する認識スコア正規化手段と、 認識スコア正規化手段による正規化後の認識スコアに基
   づいて、オフライン認識手段が獲得したＭ個の認識候
   補、及びオンライン認識手段が獲得したＬ個の認識候補
   を統合し、認識スコアの得点が高い上位Ｋ個（ただし、
   Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力する候補
   統合手段とを備えたことを特徴とする手書き文字認識装
   置。
3. 【請求項３】 前記候補統合手段は、オフライン認識手
   段及びオンライン認識手段が同一の文字コードを有する
   認識候補を獲得した場合は、該認識候補の認識スコアを
   正規化後の得点が高い方の認識スコアと決定し、またい
   ずれか一方が獲得した認識候補の認識スコアを正規化後
   の認識スコアと決定する手段を備える請求項１又は２記
   載の手書き文字認識装置。
4. 【請求項４】 前記オンライン認識手段は、オンライン
   認識辞書にオフライン認識辞書と異なる文字セットが格
   納されており、前記照合テーブルに格納された文字コー
   ドがオンライン認識辞書に存在しない場合、前記照合テ
   ーブルに格納された文字コードのオンライン認識による
   認識スコアを所定の固定値とした認識候補として獲得す
   る手段である請求項２又は３記載の手書き文字認識装
   置。
5. 【請求項５】 前記認識スコア正規化手段は、オフライ
   ン認識手段が獲得した複数個の認識候補の中の認識スコ
   アの得点が高い上位複数個の認識候補の認識スコアと、
   オフライン認識手段が獲得した複数個の認識候補の中の
   認識スコアの得点が高い上位ｍ個の認識候補の認識スコ
   アの平均値との差に所定の係数を乗じ、オンライン認識
   手段の認識候補が正解である場合の認識スコアの平均値
   に応じた所定値を加算して前記上位複数個の認識スコア
   を正規化する手段である請求項１乃至４のいずれかに記
   載の手書き文字認識装置。
6. 【請求項６】 手書きで入力される文字の筆点における
   時系列ベクトル情報からコンピュータに手書き文字を認
   識させる装置で使用するコンピュータプログラムを記録
   しており、コンピュータでの読み取りが可能な記録媒体
   において、 前記コンピュータに、時系列ベクトル情報を二次元イメ
   ージ情報に変換させるプログラムコード手段と、 各文字の、文字コード及び二次元イメージの特徴情報が
   格納されているオフライン認識辞書と、 前記コンピュータに、生成された二次元イメージ情報か
   ら得られる特徴情報をオフライン認識辞書の特徴情報と
   照合するオフライン認識を実行させて文字コード及び認
   識スコアを対とする複数個の認識候補を獲得させるプロ
   グラムコード手段と、 前記コンピュータに、オフライン認識により獲得した複
   数個の認識候補の中の認識スコアの得点が高い上位Ｎ個
   の認識候補の文字コードを照合テーブルに格納させるプ
   ログラムコード手段と、 各文字の、文字コード及び時系列ベクトル情報が格納さ
   れているオンライン認識辞書と、 前記コンピュータに、手書き文字の時系列ベクトル情報
   を、照合テーブルに格納されているＮ個の文字コードに
   対応するオンライン認識辞書の時系列ベクトル情報と照
   合するオンライン認識を実行させて、文字コード及び認
   識スコアを対とする複数個の認識候補を獲得させるプロ
   グラムコード手段と、 前記コンピュータに、オフライン認識により獲得した複
   数個の認識候補の中の認識スコアの得点が高い上位Ｍ個
   （ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオン
   ライン認識により獲得した複数個の認識候補の中の認識
   スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識
   候補の認識スコアを正規化させるプログラムコード手段
   と、 前記コンピュータに、正規化後の認識スコアに基づい
   て、オフライン認識により獲得したＭ個の認識候補、及
   びオンライン認識により獲得したＬ個の認識候補を統合
   させ、認識スコアの得点が高い上位Ｋ個（ただし、Ｋ≦
   Ｍ＋Ｌ）の認識候補を認識結果として出力させるプログ
   ラムコード手段とを含むことを特徴とする記録媒体。