JP2005316912A - カメラ付携帯情報端末を用いた文字認識方法 - Google Patents

Abstract

【課題】カメラ付携帯情報端末を大型化することなく、静止画像内の文字領域から正確な文字認識が容易にでき、しかも辞書機能を無理なく内蔵することができるカメラ付携帯情報端末を用いた文字認識方法を提供する。
【解決手段】カメラを用いて静止画像を撮影する撮影部と、上記撮影部により撮影された静止画像から文字認識を行うための領域を抽出する画像抽出部と、上記画像抽出部により抽出された静止画像について文字認識を行う文字認識部とを備えたカメラ付携帯情報端末を用いた文字認識方法であり、このカメラ付携帯情報端末を用いた文字認識方法に内蔵された辞書機能を用いて上記文字認識部で認識された文字に関する情報をモニタに表示できるようにしたことを特徴とするカメラ付携帯情報端末を用いた文字認識方法。
【選択図】 図２

Description

この発明は、カメラ機能を付加したカメラ付携帯情報端末を用いた文字認識方法に関する。

従来、一般的な携帯型情報端末としては、携帯電話やＰＨＳ（Personal Handy Phone System）、ＰＤＡ（Personal Digital Assistance）等が日常的に利用されてきている。
これらの携帯情報端末における文字の入力方法としては、キーボード入力やタブレットを利用した手書き入力が一般的である。上記キーボードを用いた入力では、各キーに文字を割り当てておき、一つのキーを操作することにより一文字入力する一方、タブレットを利用した手書き入力では、一文字一文字を手書き入力しながら文字認識を行う。

これとは別に、カメラ等の光学系機器を用いた文字入力もすでに提案されている。例えば、特開平９−８３７８９号公報（特許文献１参照）では、静止画像を取り込み文字認識を行い、その結果、文字認識できない領域に関しては、拡大化や高解像度化を行った後に文字認識を行う方法が記載されている。
また、特開２００３−２１６８９３公報（特許文献２参照）では、カメラを用いて撮影部により撮影された動画像から文字認識を行うための静止画像を画像抽出部により抽出するとともに、上記画像抽出部により抽出された静止画像について文字認識部により文字認識を行う方法が記載されている。
特開平９−８３７８９号公報 特開２００３−２１６８９３公報

しかしながら、上記携帯情報端末では、タブレットやキーボードを使用する場合、一文字一文字入力を行う必要があり、それらの機器に不慣れな人にとっては煩わしい操作を行うことになり、文字入力に時間がとられるという問題がある。

また、カメラ等を用いた文字入力の場合、特開平９−８３７８９号公報（特許文献１参照）のものにおいてはデジタルカメラを用いて静止画像内の文字領域を文字認識する方法が示されているものの、パーソナルコンピュータ等を用いた大掛かりなシステムであり、本願発明のようなカメラ付携帯情報端末を用いたコンパクトな形態ではない。
さらに、特開２００３−２１６８９３公報（特許文献２参照）のものにおいてはカメラ付携帯情報端末を用いてはいるが、動画中から静止画像を切り出し、その中の文字分を文字認識するものであるため、撮影した動画のデータ量があまりにも大きく、カメラ付携帯情報端末の内部では処理しきれないためパーソナルコンピュータ等を用いた大掛かりなシステムとなるか、カメラ付携帯情報端末自体を大型化したり、他の必要な機能、例えば辞書機能の部分を内蔵することができないという問題があった。

そこで、この発明の目的は、カメラ付携帯情報端末を大型化することなく、静止画像内の文字領域から正確な文字認識が容易にでき、しかも辞書機能を無理なく内蔵することができるカメラ付携帯情報端末を用いた文字認識方法を提供することにある。

上記目的を達成するため、この発明のカメラ付携帯情報端末を用いた文字認識方法は、カメラを用いて静止画像を撮影する撮影部と、上記撮影部により撮影された静止画像から文字認識を行うための領域を抽出する画像抽出部と、上記画像抽出部により抽出された静止画像について文字認識を行う文字認識部とを備えたカメラ付携帯情報端末を用いた文字認識方法であり、このカメラ付携帯情報端末を用いた文字認識方法に内蔵された辞書機能を用いて上記文字認識部で認識された文字に関する情報をモニタに表示できるようにしたことを特徴とするものである。

上記構成のカメラ付携帯情報端末を用いた文字認識方法は、静止画像について文字認識ができなかった場合、上記モニタ表示画面に、文字認識ができなかったことを表示するようにしたことをも特徴とするものである。

上記構成のカメラ付携帯情報端末を用いた文字認識方法は、カメラ付携帯情報端末を用いた文字認識方法が、上記画像抽出部により抽出された静止画像について上記文字認識部により文字認識を行うことによって文字入力を行う文字入力モードと、上記撮影部により動画像の撮影を行う撮影モードのいずれか一方の動作モードに設定するモード設定部を備えたことをも特徴とするものである。

上記構成のカメラ付携帯情報端末を用いた文字認識方法は、カメラ付携帯情報端末を用いた文字認識方法に内蔵された辞書機能が、辞書データベースと文字認識プログラムとで構成されたことをも特徴とするものである。

上記構成のカメラ付携帯情報端末を用いた文字認識方法によれば、操作者が静止画像を上記撮影部により撮影すると、上記静止画像抽出部により自動的に文字認識しやすい文字領域を設定抽出し、正確な文字認識が容易にできるようになった。

以下、この発明のカメラ付携帯情報端末を用いた文字認識方法を図示の実施の形態により詳細に説明する。
図１はこの発明のカメラ付携帯情報端末を用いた文字認識方法に使用される機器の構成を示すブロック図、図２はこの発明のカメラ付携帯情報端末を用いた文字認識方法の１実施例を示すフローチャート、図３はフロー図、図４は静止画像の概略図である。

この発明のカメラ付携帯情報端末を用いた文字認識方法に使用される機器の構成を示す図１において、１はカメラ付携帯電話のカメラを用いて静止画像の撮影を行う撮影部、２は上記撮影部１により撮影された静止画像から文字領域を抽出する静止画像抽出部、３はパターンマッチング等の文字認識手法を用いて文字認識を行う文字認識部、４はカメラ付携帯情報端末の主要な機能の制御を行うＣＰＵ(中央処理装置)、５は上記ＣＰＵ４からの表示データを表示する表示部、６はＲＯＭ(リード・オンリー・メモリー)、７はＲＡＭ(ランダム・アクセス・メモリー)、８は文字入力モード・撮影モード(ズームイン/アウト)などの操作指令を操作者が直接入力する入力部、９は文字入力モードや撮影モード等の動作モードの設定を行うモード設定部、１０はカメラ制御部である。

上記ＲＯＭ６は、文字認識プログラムやカメラ制御プログラム・文字コード変換プログラム等を格納するのに使用される。また、上記ＲＡＭ７は、カメラ付携帯情報端末を用いた文字認識方法の各ユーザープログラム、単語・熟語等の辞書データ、静止画像記憶メモリと静止画像の文字コード記憶メモリおよび移動経路記憶メモリ等として使用される。

また、図２は上記ＣＰＵ４の動作を説明するフローチャート、図３はそのフロー図であり、以下、図１ないし図３に基づいてカメラ付携帯情報端末を用いた文字認識方法の文字入力について説明を行う。

スタート（ステップＳ１）に際して、操作者により入力部８が操作されて文字入力モードが設定されると、カメラ制御部１０により撮影部１を制御し、静止画像を撮影して（ステップＳ２）、撮影された静止画像を画像抽出部２に入力する。次に、撮影された静止画像から画像抽出部２により文字領域を抽出する（ステップＳ３）。そして、文字認識部３で、抽出された静止画像で文字認識できるかどうかを判定し（ステップＳ４）、その結果、文字認識部３においてデータ認識できれば（ステップＳ５）、次のステップに進む一方、文字認識ができなければ再度ステップＳ４およびステップＳ５を繰り返す。
そして、抽出された文字領域は文字認識部３に入力され、パターンマッチング等の文字認識を行い、上記辞書機能を用いて引き出された語意／漢字の照合（ステップＳ６）及び変換を行う（ステップＳ７）。最後に、携帯情報端末用の文字コード化を行い、変換された文字コードを表示部５により表示する（ステップＳ８）ことにより終了する（ステップＳ９）。

すなわち、上記カメラ付携帯情報端末にはＲＯＭ６の文字認識プログラムやＲＡＭ７の単語・熟語等の辞書データ当で構成される電子辞書機能が付設されている。したがって、英語の資料等を読んでいるときに分からない英単語等が出てきたときに、カメラ付携帯情報端末の文字入力モードのボタンを操作者が押すと、電子辞書はモード設定部９を使用して文字入力モードに切り替え、カメラ制御部１０を使用してカメラを起動する。操作者は、目的の英単語をカメラで映すと、静止画像抽出部２が文字領域を抽出する。静止画像抽出部２が自動的に文字領域を抽出するプロセスとしては、静止画像が入力されたときにその静止画像に対して文字領域の切り出しを行う。すなわち、文字領域部分において上下左右に領域を設定する。その結果、文字領域の検出が全領域に対して良好に行えた場合は、その静止画像に対して文字認識を行う。また、静止画像に対して文字領域の検出が行えない場合は、ある一定時間待機し、再度前記の文字領域の検出を行う。このプロセスを繰り返すことにより、操作者による手ぶれなどによって発生する文字認識率の低下を抑えることが可能である。抽出された文字領域に対して文字認識部３を使用して、従来からあるパターンマッチング等の文字認識手法を用いて英単語等の文字コードを獲得する。そうして獲得された英単語を表示部５により表示し、同時に辞書機能を使用して英単語の語彙を表示部５により表示する。

上記においては英単語の文字認識について説明したが、漢字かな混じり文等において使用されている漢字の変換処理等を行うことも可能である。この発明は特に、ひらがなを手書きしたものを漢字変換する場合に有効である。なお、手書き文字が正確に書かれていないときは、文字認識不可という結果となることが通例である。
さらに、「カメラ付携帯電話」のように１つのキーに複数文字が割り当てられている場合には、この方式の簡便さが特に有効である。

このように、上記撮影部１により文字情報を含む静止画像を撮影すると、静止画像抽出部２により自動的に文字認識しやすい文字領域を抽出するので、その抽出された文字領域について文字認識部３により正確な文字認識が容易にできる。

文字領域の検出が全領域に対して良好に行えた場合は、その静止画像に対して文字認識を行う。また、静止画像に対して文字領域の検出が行えない場合は、ある一定時間待機し、再度前記の文字領域の検出を行う。このプロセスを繰り返すことにより、操作者による手ぶれなどによって発生する文字認識率の低下を抑えることが可能である。抽出された文字領域に対して文字認識部３を使用して、従来からあるパターンマッチング等の文字認識手法を用いて英単語等の文字コードを獲得する。そうして獲得された英単語を表示部５により表示し、同時に辞書機能を使用して英単語の語彙を表示部５により表示する。

文字領域の検出が全領域に対して良好に行えなかった場合は、再度その静止画像に対して文字認識を行う。なお、静止画像に対して文字領域の検出が行えない場合は、図２のようにズームイン／ズームアウトして、再度前記の文字領域の検出を行う。このプロセスを繰り返すことにより、適正な文字サイズに調整して文字認識率の低下を抑えることが可能である。

次に、図４のような文字領域１２を含む静止画像１１から文字領域１２を抽出する場合の、カメラ付携帯情報端末を用いた文字認識方法の文字入力について説明を行う。
図４のような文字領域１２を含む静止画像１１から文字領域１２を抽出する作業は、静止画像１１内の認識すべき文字を含む文字領域１２のエッジ１３を自動的に、あるいは入力部８を操作して指定し、その上で認識範囲の設定とその確認を行う。

もちろん、図４の静止画像１１において複数の文字領域１２があった場合にはそれぞれについて文字領域を設定し、確認することができる。またこのような文字領域１２に対してのみならず、上記静止画像１１から画像領域１４の特徴を抽出し、これと辞書機能中の画像と比較して、例えば富士山の文字情報をも引き出すことができる。
同様のことは、草花や昆虫、自動車や列車、飛行機等の画像データについても行うことが可能である。

上記実施例では、カメラ付携帯情報端末としてカメラ付携帯電話を用いた場合について説明したが、カメラ付ＰＨＳ（Personal Handy Phone System）やカメラ付ＰＤＡ(Personal Digital Assistance)等のカメラ付携帯情報端末を用いた文字認識方法にこの発明を適用してもよい。

この発明のカメラ付携帯情報端末を用いた文字認識方法に使用される機器の構成を示すブロック図である。 この発明のカメラ付携帯情報端末を用いた文字認識方法の１実施例を示すフローチャートである。 フロー図である。 静止画像の概略図である。

符号の説明

１・撮影部
２・静止画像抽出部
３・文字認識部
４・ＣＰＵ
５・表示部
６・ＲＯＭ
７・ＲＡＭ
８・入力部
９・モード設定部
１０・カメラ制御部
１１・静止画像
１２・文字領域
１３・エッジ
１４・画像領域

Claims (4)

1. カメラを用いて静止画像を撮影する撮影部と、上記撮影部により撮影された静止画像から文字認識を行うための領域を抽出する画像抽出部と、上記画像抽出部により抽出された静止画像について文字認識を行う文字認識部とを備えたカメラ付携帯情報端末を用いた文字認識方法であり、このカメラ付携帯情報端末を用いた文字認識方法に内蔵された辞書機能を用いて上記文字認識部で認識された文字に関する情報をモニタに表示できるようにしたことを特徴とするカメラ付携帯情報端末を用いた文字認識方法。
2. 請求項１に記載のカメラ付携帯情報端末を用いた文字認識方法において、静止画像について文字認識ができなかった場合、上記モニタ表示画面に、文字認識ができなかったことを表示するようにしたことを特徴とするカメラ付携帯情報端末を用いた文字認識方法。
3. 請求項１または２に記載のカメラ付携帯情報端末を用いた文字認識方法において、カメラ付携帯情報端末を用いた文字認識方法が、上記画像抽出部により抽出された静止画像について上記文字認識部により文字認識を行うことによって文字入力を行う文字入力モードと、上記撮影部により動画像の撮影を行う撮影モードのいずれか一方の動作モードに設定するモード設定部を備えたことを特徴とするカメラ付携帯情報端末を用いた文字認識方法。
4. 請求項１ないし３のいずれかに記載のカメラ付携帯情報端末を用いた文字認識方法において、カメラ付携帯情報端末を用いた文字認識方法に内蔵された辞書機能が、辞書データベースと文字認識プログラムとで構成されたことを特徴とするカメラ付携帯情報端末を用いた文字認識方法。
   

Images