JP2005141604A

JP2005141604A - 携帯情報端末における文字認識方法および携帯情報端末

Info

Publication number: JP2005141604A
Application number: JP2003379289A
Authority: JP
Inventors: Eiji Makimoto; 英二巻本; Hisao Ogata; 日佐男緒方
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-11-10
Filing date: 2003-11-10
Publication date: 2005-06-02

Abstract

【課題】
従来の携帯情報端末を用いた文字認識方法では、端末のメモリリソースの制限等により認識対象字種が限定されてしまい、カタカナ、漢字や各国言語を認識対象として場合、メモリ使用量や起動時間・処理時間の増加が課題となっている。
【解決手段】
上記課題を解決するために、画像を入力する画像入力部と、入力した画像データを表示する表示部と、利用者がボタン入力操作する操作部と、画像内の文字を認識する文字認識部と、全体を制御する制御部とを備えた携帯情報端末において、文字認識に使用する文字識別辞書データを制御部内部メモリとメモリカードへ分割し、制御部メモリリソースを効率良く利用することで、より多くの認識対象文字に対して、高速に文字認識する文字認識方法を提供する。
【選択図】図１

Description

本発明は、付属のカメラ等から取得した画像中の文字列を文字認識し、コード化して利用する文字認識機能を搭載する携帯情報端末およびその文字認識方法に関する。

従来、携帯情報端末にて入力した画像から文字認識をする場合、端末のメモリリソースの制限等により認識対象字種が英数字の活字に限られており、カタカナ、漢字または各国言語や手書き文字を認識対象とした場合、起動時や文字認識の処理時間増加やメモリ使用量増加が課題となっている。携帯情報端末にカメラや外部入力等の画像入力部を具備し、入力した画像中の文字列を文字認識によりコード化して利用する技術としては、例えば特許文献１に記載の発明がある。

特開２００２−２５２６９１号公報（第３〜４項、第１〜２図）

従来の携帯情報端末にて入力した画像から文字認識をする場合、端末のメモリリソースの制限等により認識対象字種が英数字の活字に限られており、カタカナ、漢字または各国言語や手書き文字を認識対象とした場合、文字認識処理に必要なメモリ使用量の増加や、起動時や認識処理の処理時間増加が課題となっている。

本発明は、前述の課題に鑑みなされたもので、携帯情報端末にて多数の認識対象文字に対して文字認識を行う場合に限られたメモリリソースを効率良く利用し、高速な文字認識を実現することを目的とする。

前述した課題を解決するための手段として、付属カメラ等の画像入力部と、画像入力部によって入力した画像を表示する表示部と、利用者が入力操作する操作部と、画像中の文字列イメージを文字認識し、コード化する文字認識部と、前記各部を制御する制御部を備えた携帯情報端末で入力した画像中の文字列をコード化する場合の文字認識部では、プログラム部と文字識別に使用する識別辞書データ部とを認識対象字種別に複数に分割し、利用状況に応じてアクセス速度の異なるメモリへ分けてロードして使用することによって、多数の字種を認識対象とすることが出来る。

また、上記の文字認識部について、文字識別に使用する識別辞書データを文字識別精度のレベルに応じて複数に分割し、プログラム起動時には文字識別に必要最低限の辞書データをロードし、プログラム起動後に必要に応じて辞書データを追加ロードすることでプログラム起動時間を短縮することが出来る。

携帯情報端末の画像入力部より取得した画像から文字認識をする場合に、限られたメモリリソースを効率良く利用することで、多くの字種を認識対象文字として扱うことができる。また、プログラムの起動時間や認識処理時間を短縮することができる。

以下、本発明の実施例として図を用いて説明する。

図１は、本実施形態に係る画像入力手段を持つ携帯情報端末あるいは携帯電話１００の概略を示す構成図である。名刺や雑誌、あるいは看板などの文字認識対象の画像が、画像入力部１１０から入力され、文字認識部１６０において行候補の抽出を行い、文字行の候補（画像）を表示部１２０に表示する。利用者が操作部１３０を操作することで抽出した文字行候補から認識対象となる文字行を選択し、選択した文字行を端末内部に備えられた認識部１６０において文字認識する。

メモリカード１４０は、用途に応じて脱着可能なフラッシュメモリで、利用者が画像入力部１１０にて撮影した画像や、インターネット等からダウンロードしたデータを記録、保存することが可能である。また、メモリカード１４０は、一般的に携帯情報端末に内蔵している物理メモリよりもアクセス速度が遅い。

なお、上記動作は端末内部に備えられた制御部１５０によって制御される。

図２は文字認識処理のうち、各文字データに対する文字識別処理についての概略を示す図である。まず、識別対象の文字２０１と認識対象字種２０２が入力され、入力文字の特徴量情報を抽出する（Ｓ２０３）、特徴量情報としては、入力文字情報をさまざまな尺度で表現した情報量で、例えば黒画素分布情報や文字輪郭情報が挙げられる。

次に、抽出した文字特徴量と文字識別の為の標準パターン情報を格納した文字識別辞書情報を使い入力文字の文字識別を行う。通常、文字識別処理では高速処理を目的とし、多階層の識別を行う。候補絞込み識別（Ｓ２０４）では多数の候補字種から候補絞込み辞書２０５を用いて高速に文字候補を絞り込み（２０６）、絞り込んだ候補の中から詳細文字識別（Ｓ２０７）により詳細辞書２０８を用いて、高精度に文字識別を行い、最終結果を出力する（Ｓ２０９）
図３は携帯情報端末１００の文字認識部１６０での処理手順を示す。文字認識プログラムが起動するとメモリ上へ文字識別辞書データがロードされる（Ｓ３０１）。次に画像入力部１１０で取得された画像と文字認識に必要な認識対象字種等の認識情報が入力され（Ｓ３０２）、入力画像から認識対象の文字行を抽出（Ｓ３０３）し、文字行から１文字ごとに切り出す（Ｓ３０４）。

切り出された文字は図２で説明した文字識別部に入力され（Ｓ３０５）、文字特徴量抽出（Ｓ３０６）、候補絞込み識別（Ｓ３０７）、詳細文字識別（Ｓ３０８）を行い、識別結果を出力する（Ｓ３０９）。文字列中の全ての文字に対して文字識別を実施（Ｓ３１０）した後、各文字の文字識別結果から文字列としての結果を出力し（Ｓ３１１）、携帯情報端末の表示部１２０に文字認識結果を表示する。

上記図３に示す文字認識方法で、漢字等の多くの字種を認識対象とした場合、認識候補数分だけの文字識別辞書データが必要となり、これを起動時にメモリ上へ展開する必要がある為に、多くのメモリリソースが必要となり、また、認識処理を実施するまでの起動時間が多くかかるといった問題がある。

図４は、上記問題を改善した第２の実施形態の構成図である。制御部４０１及びメモリカード４０４は、図１における制御部１５０及びメモリカード１４０に相当する。携帯情報端末の制御部４０１に含まれる高速アクセス可能なメモリには認識プログラム４０２と候補絞込み辞書４０３のみをロードし、詳細辞書データ４０５はメモリカード４０４に格納し、必要に応じてメモリカードへアクセスをする。

図５に本実施形態の処理手順を示す。まずプログラム起動時に候補絞込み辞書のみをロードする（Ｓ５０１）、これにより図２の場合に比べプログラム起動時間が早くなる。以降（Ｓ５０２〜Ｓ５０７）は図２の手順と同じである。候補絞込み識別（Ｓ５０７）にて絞り込まれた候補字種についてのみ、メモリカードに格納してある詳細辞書データを制御部のメモリ上にロードし（Ｓ５０８）、以降（Ｓ５０９〜Ｓ５１２）と図２と同様に文字識別を実施し、文字列認識結果を出力する。

図５に示す文字認識手順で処理させた場合、１文字識別する毎に絞込み後の候補数分だけメモリカードのアクセスが発生し、認識処理時間がかかるといった課題も考えられる。そこで、図６は、メモリカードをへのアクセスを減らす第３の実施形態の処理手順である。図５の処理と同様にプログラム起動時に候補絞込み辞書のみをロードし（Ｓ６０１）、以降（Ｓ６０２〜Ｓ６０７）は図５の手順と同じである。ここでは、候補絞込み識別（Ｓ６０７）を入力文字行中の全文字に対して実施し（Ｓ６０８）、全文字に対する絞込み候補について重複を省いて必要な詳細辞書データをメモリカードから制御部のメモリ上にロードし（Ｓ６０９）、全文字分の詳細文字識別を行い（Ｓ６１０）、文字列認識結果を出力する。これにより、認識対象文字列中に同一文字や類似文字がある場合等に重複して同じ詳細辞書データをメモリカードへアクセスすることを防ぐことが出来る。

図７は、図１の携帯情報端末上で動作する文字認識方式において、多種の文字を認識対象とする為の実施形態の概略図である。図４と同様に文字認識部を携帯情報端末の制御部７０１に含まれる高速アクセス可能なメモリとメモリカード７０５に分けて格納する。制御部のメモリ上には認識プログラム７０２、候補絞込み辞書７０３と詳細辞書情報を格納するキャッシュ領域７０４を設け、メモリカード上には多種多様な言語の詳細辞書７０６を格納し、文字認識処理時に入力される認識対象情報によって使用頻度が高いと想定される詳細辞書データを制御部メモリのキャッシュ領域にロードして使用できるようにあらかじめカテゴリ分けしておく。

図８に本実施形態の処理手順を示す。まずプログラム起動時に候補絞込み辞書のみをロードし（Ｓ８０１）、画像・認識情報を入力する（Ｓ８０２）。次に入力された認識情報から認識対象に合わせた使用されると想定される詳細辞書データをキャッシュ領域へロードする（Ｓ８０３）。以降（Ｓ８０４〜Ｓ８０９）までは図６の認識手順と同様である。認識対象の全文字に対して候補絞込みを実施後、詳細文字識別に必要な詳細辞書データがキャッシュ領域にない場合にはメモリカードから必要な詳細辞書データをロードする。以降は図６の処理手順と同様に全文字分の詳細文字識別を行い（Ｓ８１１）、文字列認識結果を出力する（Ｓ８１２）。

図９は、図１の携帯情報端末上で動作する文字認識方式において、多種の文字を認識対象とし、プログラム起動時間を短縮する為の実施形態の概略図である。図７と同様に文字認識部を形態情報端末の制御部９０１に含まれる高速アクセス可能なメモリとメモリカード９０５に分けて格納する。

制御部のメモリ上には認識プログラム９０２、候補絞込み辞書９０３と詳細辞書情報を格納するキャッシュ領域９０４を設け、メモリカード上には詳細辞書９０６を格納し、詳細辞書データを識別精度のレベルに合わせて分割してロードして使用できるようにあらかじめレベル分けしておく。プログラム起動時には最低レベルの詳細辞書データをロードして起動し、以降の文字認識処理と平行して残りの詳細辞書データを追加ロードしていくことでプログラム起動時間を短縮できる。

図１０に本実施形態の処理手順を示す。まずプログラム起動時に候補絞込み辞書をロードし（Ｓ１００１）、続けてメモリカードに格納している詳細辞書から文字識別に必要な最低レベルの辞書データをキャッシュ領域へロードし（Ｓ１００２）、プログラム実行可能状態とする。また、必要に応じて以降文字認識処理と平行し、残りの詳細辞書データについても追加ロードすることで高精度の文字識別も実現できる（Ｓ１０２０）。

以降、画像・認識情報入力（Ｓ１００３）から文字列認識結果出力（Ｓ１０１１）まで図８の処理手順と同じである。

携帯情報端末の構成図を示す図である。文字識別処理の概要を説明する図である。一般的な文字認識処理の手順を示す図である。本願発明の実施形態の構成・概要を説明する図である。本願発明の実施形態の処理手順を示す図である。本願発明の実施形態の処理手順を示す図である。本願発明の実施形態の構成・概要を説明する図である。本願発明の実施形態の処理手順を示す図である。本願発明の実施形態の構成・概要を説明する図である。本願発明の実施形態の処理手順を示す図である。

符号の説明

１００…携帯情報端末（携帯端末）、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…メモリカード、１５０…制御部、１６０…文字認識部

Claims

画像入力部と、
前記画像入力部から入力した画像データを表示する表示部と、
入力の操作を行う操作部と、
画像データに含まれる文字列イメージをコード化する文字認識部と、
データやプログラムを一時的に記憶する高速メモリと、
前記各部を制御する制御部と、
を有し、文字識別プログラムと文字識別辞書データを用いて候補絞込みをしてから文字識別を行う携帯情報端末であって、
前記制御部は前記文字識別プログラムと候補絞込み用の辞書データとを前記高速メモリ上へロードして候補絞込みを行い、端末付属のメモリカードに記憶した詳細辞書データを用いて最終的な文字識別結果を算出することを特徴とする携帯情報端末。
請求項１に記載の携帯情報端末であって、
前記制御部は、認識対象となっている行単位の全ての文字に対して前記候補絞込み用の辞書データを用いて候補絞込みを実施した後、必要な候補文字に対してのみ詳細辞書データにアクセスすることを特徴とする携帯情報端末。
請求項１に記載の携帯情報端末であって、
前記高速メモリ内に詳細辞書データを格納する一定もしくは可変容量のキャッシュ領域を有し、認識対象文字の種類や言語によって、キャッシュ領域の詳細辞書データの種類や容量を切替えて使用することを特徴とする携帯情報端末。
請求項３に記載の携帯情報端末であって、
前記詳細辞書データを文字識別精度のレベルに応じて分割し、プログラム起動時には文字識別に必要な最低限の辞書データを前記高速メモリ上のキャッシュ領域へロードしてプログラム実行可能な状態とし、文字認識プログラム起動後、必要に応じて辞書データを追加的にロードすることを特徴とする携帯情報端末。
入力した画像データに含まれる文字列イメージをコード化する、携帯情報端末における文字認識方法であって、
文字識別プログラムと候補絞込み用の辞書データとを当該携帯情報端末内の高速メモリ上へロードするステップと、
前記文字識別プログラムと候補絞込み用の辞書データとを用いて候補絞込みを行うステップと、
当該端末付属のメモリカードに記憶した詳細辞書データを用いて最終的な文字識別結果を算出するステップと
から成ることを特徴とする携帯情報端末における文字認識方法。
請求項５に記載の携帯情報端末における文字認識方法であって、
前記候補絞込みを行うステップは、認識対象となっている行単位の全ての文字に対して前記候補絞込み用の辞書データを用いて候補絞込みを実施し、
前記文字識別結果を算出するステップは、必要な候補文字に対してのみ詳細辞書データにアクセスすることを特徴とする携帯情報端末における文字認識方法。
請求項５に記載の携帯情報端末における文字認識方法であって、
前記文字識別結果を算出するステップは、
当該携帯情報端末内の高速メモリに詳細辞書データを格納する一定もしくは可変容量のキャッシュ領域を確保するステップと、
認識対象文字の種類や言語によって、前記キャッシュ領域の詳細辞書データの種類や容量を切替えて使用するステップと
から成ることを特徴とする携帯情報端末における文字認識方法。
請求項７に記載の携帯情報端末における文字認識方法であって、
前記文字識別結果を算出するステップは、
前記詳細辞書データを文字識別精度のレベルに応じて分割するステップと、
文字識別に必要な最低限の辞書データを前記高速メモリ上のキャッシュ領域へロードしてプログラム実行可能な状態とするステップと、
必要に応じて辞書データを追加的にロードするステップと
から成ることを特徴とする携帯情報端末における文字認識方法。