JP4566740B2 - 携帯端末装置 - Google Patents

Description

本発明は、携帯電話機や携帯情報端末等の携帯端末装置に用いて好適な文字認識処理装置及び文字認識処理方法、並びに携帯端末装置に関する。

従来の文字認識方法及び装置として、例えば特開２００１−６０２５０号公報（特許文献１）や特開２０００−７６３７８号公報（特許文献２）に開示されているものが知られている。

特開２００１−６０２５０号公報に開示された文字認識方法及び装置は、画像入力された文字から特徴量を抽出し、抽出した特徴量に基づいて文字の認識を行うものである。この従来例では、画像入力された文字を所定間隔で走査する毎に走査線と文字との交差回数を取得するとともに、取得した交差回数の隣接する走査線毎の差分の総和を特徴量の１つとして文字の認識を行うものである。認識対象となる文字に対する走査は、少なくとも２つの異なる方向に所定間隔に行ったり、直交する２方向に所定間隔で行うようにしている。

他方、特開２０００−７６３７８号公報に開示されている文字認識方法は、入力された画像データの輪郭線データを作成し、作成した輪郭線データを正規化して得たデータを、予め登録している標準文字の輪郭線データを抽出して作成した辞書データに照合して文字認識を行うものである。この際、入力された画像データの書体や歪などによっては、辞書データとの照合前に画像データの輪郭線データを辞書データで認識できる書体に変形したり、あるいは歪が是正されるように変形するようにしている。
特開２００１−６０２５０号公報 特開２０００−７６３７８号公報

しかしながら、従来の文字認識方法及び装置においては、取り込んだ文字画像データから文字認識処理を行う際に、認識率や認識速度の向上を図るためには、レイアウト解析や行、文字の切り出し作業においてそれぞれ走査線や輪郭線データ等を用いて特別な処理を行う必要があった。

また、一般に文字認識を行う文字列全体を一度に撮影する場合、１文字に対する解像度を確保するには撮影装置（例えばＣＣＤカメラなど）の画素数を大きくしなければならない上、必要以上に大規模なデータを扱うために、処理に必要なホストＣＰＵやＤＳＰのＭＩＰＳ(Million Instructions Per Second)値やワークＲＡＭを大きくしなければならないという問題点もある。

本発明は、上記事情に鑑みてなされたもので、その目的は、認識率及び認識速度の向上を図りつつ、撮影装置やシステムを構成するデバイスに必要とされる仕様の程度を低減でき、低消費電力化及びコストダウンを図ることが可能な文字認識処理装置及び文字認識処理方法、並びに携帯端末装置を提供することにある。

本発明に係る携帯端末装置は、複数の文字を含む文字画像に対応づけられた文字列を文字単位で文字認識するために前記複数の文字を文字ごとに区切る線を備える文字認識用文字枠の位置を示すカーソル位置情報を出力するカーソル情報出力手段と、前記カーソル位置情報に対応する範囲内の文字画像を文字認識用の認識対象となる文字画像として撮影する撮影手段と、前記撮影手段による撮影時に、前記文字画像と重ねて前記文字認識用文字枠を表示する文字枠表示手段と、前記撮影された文字画像の画像データを取り込む画像取り込み手段と、前記取り込んだ文字画像の画像データと前記カーソル位置情報とを利用して文字の配置を解析するレイアウト解析手段と、前記レイアウト解析手段の解析結果を基に文字画像を文字単位で切り出す文字切り出し手段と、前記切り出された文字画像を文字単位で文字として認識し文字情報に変換する文字認識手段と、を備えたものである。

上記構成によれば、文字画像の画像データと文字認識用文字枠の位置を示すカーソル位置情報とに基づき、文字認識用文字枠に対応する文字のレイアウト解析を行って文字認識処理を実行することによって、文字認識の認識率及び認識速度の向上を図りつつ、撮影部やＣＰＵ、ＤＳＰ、メモリ等のシステムを構成するデバイスに必要とされるスペックを軽減できる。このため、装置各部の仕様の程度を低減でき、低消費電力化及びコストダウンを図れる。また、使用者は表示された文字認識用文字枠を見ながら容易に認識対象の文字を文字認識用文字枠に合わせて撮影し、文字認識を行うことが可能となる。

また、上記いずれかの構成において、前記文字認識手段による認識結果の文字情報を表示する認識文字表示手段を備えるものとする。
この構成によれば、使用者は認識結果の文字情報を表示によって容易に確認可能となる。

また、上記構成において、前記認識文字表示手段は、前記認識結果の文字情報を所定の文字単位ごとに個別に選択可能に表示するものとする。
この構成によれば、使用者は表示された文字情報を基に、認識した文字情報を文字種別などの単位ごとに個別に選択して活用することが可能となる。

また、上記いずれかの構成において、前記文字認識手段による認識結果の文字情報を保存する認識文字保存手段を備えるものとする。
この構成によれば、使用者は認識した文字情報を所望の形態で保存して活用することが可能となる。

また、上記構成において、前記認識文字保存手段は、前記文字情報を認識文字格納領域に保存するものであることとする。
この構成によれば、認識文字格納領域において例えば複数の認識結果の文字情報を格納して利用することが可能となる。

また、上記構成において、前記認識文字保存手段は、前記文字情報の種別が電話番号、メールアドレス、ＵＲＬ（Uniform Resource Locator）のいずれかであった場合に、その文字情報の種別に応じたデータベースに登録するものであることとする。

この構成によれば、電話番号、メールアドレス、ＵＲＬなどを文字認識した場合に、その文字情報の種別に応じて電話帳やブックマークなどのデータベースへ登録して利用することが可能となる。

また、上記いずれかの構成において、前記文字認識手段による認識結果の文字情報を当該文字情報の種別に応じて活用する認識文字活用手段を備えることとする。
この構成によれば、認識した文字情報の種別に応じて、例えば電話番号、メールアドレス、ＵＲＬなどの種別毎に文字情報を使用者が有効に利用することが可能となる。

また、上記構成において、前記認識文字活用手段は、前記文字情報の種別が電話番号であった場合にその電話番号への発信画面を表示するものとする。
この構成によれば、認識した文字情報が電話番号であった場合にその電話番号への発信画面を表示し、使用者は簡便に発信動作を行うことが可能となる。

また、上記構成において、前記認識文字活用手段は、前記文字情報の種別がメールアドレスであった場合にそのメールアドレスへの電子メール作成画面を表示するものとする。
この構成によれば、認識した文字情報がメールアドレスであった場合にそのメールアドレスへの電子メール作成画面を表示し、使用者は簡便に電子メールの作成、送信動作を行うことが可能となる。

また、上記構成において、前記認識文字活用手段は、前記文字情報の種別がＵＲＬ（Uniform Resource Locator）であった場合にそのＵＲＬへのネットワーク接続画面を表示するものとする。

この構成によれば、認識した文字情報がＵＲＬであった場合にそのＵＲＬへのネットワーク接続画面を表示し、使用者は簡便にインターネット等のネットワークへの接続動作を行って目的の情報を得ることが可能となる。

また、上記いずれかの構成において、前記撮影手段は、認識対象となる文字画像を連続的に撮影する機能を有し、前記画像取り込み手段は、前記撮影手段により認識対象となる文字画像を複数取得した場合に、これらの複数の文字画像の画像データを連結して取り込み、前記文字認識手段は、前記連結された文字画像の画像データの文字認識を行って文字情報に変換するものとする。

この構成によれば、認識対象の文字列が１回の撮影範囲に収まらない場合に、連続的に文字画像を文字認識用文字枠と対応づけて撮影し、得られた複数の文字画像を連結することで、長い文字列であっても文字認識の認識率及び認識速度の向上を図ることが可能である。

また、上記いずれかの構成において、前記撮影手段は、認識対象となる文字画像を連続的に撮影する機能を有し、前記画像取り込み手段は、前記撮影手段により認識対象となる文字画像を複数取得した場合に、これらの複数の文字画像の画像データを取り込み、前記文字認識手段は、前記取り込まれた複数の文字画像のそれぞれについて画像データの文字認識を行って文字情報に変換するものとする。

この構成によれば、認識対象の文字列が１回の撮影範囲に収まらない場合に、連続的に文字画像を文字認識用文字枠と対応づけて撮影し、得られた複数の文字画像のそれぞれについて画像データの文字認識を行うことで、長い文字列であっても文字認識の認識率及び認識速度の向上を図ることが可能である。

また、上記いずれかの構成において、前記文字認識手段は、認識対象の文字種別に応じた複数の認識モードを有し、予め設定された認識モードによって対応する文字種別に適した文字認識処理を行うものとする。

この構成によれば、使用者が文字認識しようとする文字種別に対応した認識モードを設定することで、その文字種別に適した文字認識処理を行うことができ、認識率を高めることが可能となる。

本発明によれば、認識率及び認識速度の向上を図りつつ、撮影装置やシステムを構成するデバイスに必要とされる仕様の程度を低減でき、低消費電力化及びコストダウンを図ることが可能な文字認識処理装置及び文字認識処理方法を提供できる。

以下、図面を参照して本発明の実施形態を説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る文字認識処理装置を備えた携帯端末装置の構成を示すブロック図である。本実施形態では、文字認識処理装置２を携帯端末装置１に搭載した構成例を説明する。

本実施形態の文字認識処理装置２は、画像取り込み部３と、カーソル制御部４と、レイアウト解析部５と、文字切り出し部６と、文字認識部７と、フォーマット出力部８とを備えて構成される。これらの構成要素は、プロセッサ及びメモリ等を有してなる制御処理部におけるソフトウェアプログラムの動作、またはソフトウェアとハードウェアの組み合わせ、もしくは専用のハードウェアによって実現される。

携帯端末装置１は、文字認識処理装置２とともに、例えばＣＣＤカメラ等からなる撮影部９と、表示制御部１０と、アプリケーション部１１とを有している。撮影部９は、文字認識対象物を撮影して撮影データとして取り込み、文字認識処理装置２の画像取り込み部３に入力する。画像取り込み部３は、画像取り込み手段に相当するもので、入力された撮影データを所定のフォーマットの画像データに変換して表示制御部１０に入力する。カーソル制御部４は、カーソル情報出力手段に相当するもので、文字認識用文字枠として機能するカーソルに関するカーソル位置情報を表示制御部１０に入力する。表示制御部１０は、入力された画像データとカーソル位置情報とを表示データに変換し、さらに液晶表示素子等からなるディスプレイ１２に適したフォーマットに加工して出力し、ディスプレイ１２において情報表示を行う。

レイアウト解析部５は、レイアウト解析手段に相当するもので、文字認識時に画像取り込み部３から所定フォーマットの画像データを受け取るとともに、カーソル制御部４からカーソル位置情報を受け取り、カーソル位置情報及び画像データを照合してレイアウト解析を行う。文字切り出し部６は、文字切り出し手段に相当するもので、レイアウト解析結果を元に画像データを文字単位で切り出して抽出する。文字認識部７は、文字認識手段に相当するもので、切り出された文字単位の画像データの認識処理を行って文字データに変換する。フォーマット出力部８は、文字認識部７で認識された文字データを適切なフォーマットに変換する。アプリケーション部１１は、フォーマット出力部８でフォーマット変換された文字データをアプリケーション用のデータとして利用し、必要に応じて表示制御部１０に入力してディスプレイ１２に表示する。

次に、図２を参照して第１実施形態の文字認識処理装置の動作について説明する。図２は第１実施形態に係る文字認識処理時の動作説明図であり、認識対象文字列を撮影している状態を示している。

携帯端末装置１の撮影部９によって文字認識対象物１６の中の認識対象文字列１７を撮影し、文字認識を行う。撮影している認識対象文字列１７をディスプレイ１２に表示する際に、認識対象文字列１７と併せて文字認識用文字枠であるカーソル１８が表示される。使用者は撮影位置を調整しながら認識対象文字列１７をカーソル１８に合わせ、この状態で操作ボタン１９を操作して静止画像の撮影を実行する。

撮影された認識対象文字列１７の静止画像は、画像取り込み部３で定められたフォーマットの画像データに変換されて取り込まれ、レイアウト解析部５に渡される。また、レイアウト解析部５ではカーソル制御部４からカーソル位置情報を受け取り、カーソル位置情報と文字画像の画像データとを照合する。このように、レイアウト解析部５では、カーソル位置情報を利用して認識対象文字列１７の行及び文字の配置情報を正確に解析することができる。そして、文字切り出し部６で画像データの文字単位での切り出しが行われ、文字認識部７において抽出された文字単位の画像データが文字データに変換され、文字認識が行われる。

このように、第１実施形態の文字認識処理装置では、文字認識対象物１６の認識対象文字列１７を文字認識する際に、ディスプレイ１２に認識対象文字列１７の画像と併せて文字認識用文字枠のカーソル１８を表示させておき、使用者が認識対象文字列１７にカーソル１８を合わせた状態で静止画像の撮影を行い、撮影された文字画像の画像データをカーソル位置情報とともに取り込むようにする。これにより、レイアウト解析部５においてカーソル位置情報を利用して行や文字の配置情報を容易かつ正確に解析することができ、文字認識における認識率及び認識速度の向上を図ることができる。

（第２実施形態）
次に、図３及び図４を用いて本発明の第２実施形態に係る文字認識処理装置の動作について説明する。図３及び図４は第２実施形態に係る文字認識処理時の動作説明図であり、図３は認識対象文字列を撮影している状態を示し、図４は複数に分割した認識対象文字列に対する文字認識処理の様子を示している。なお、文字認識処理装置の構成は第１実施形態と同様であるので、図１を援用するものとする。

第２実施形態では、第１実施形態と同様、携帯端末装置１の撮影部９によって文字認識対象物２２の中の認識対象文字列２３を撮影して文字認識を行う。この場合、認識対象文字列２３の範囲が広いために１度に取込めない場合は以下のように操作する。

撮影している認識対象文字列２３をディスプレイ１２に表示する際に、認識対象文字列２３と併せて文字認識用文字枠であるカーソル１８が表示される。使用者は撮影位置を調整しながら認識対象文字列２３の開始端位置の部分（図３の例では左端の部分）をカーソル１８に合わせ、この状態で操作ボタン１９を操作して連続静止画像撮影を開始する。撮影開始後、使用者は携帯端末装置１の移動方向を固定しながら、文字の筆記方向に向かうように撮影開始時の開始端位置と逆方向（図３の例では右方向）に認識対象文字列２３に対して平行にスライドさせ、認識対象文字列２３の終了端位置（図３の例では右端位置）までカーソル１８に収まるようにディスプレイ１２に表示させたところで連続静止画像撮影を終了する。このとき、使用者は例えば連続静止画像撮影の最中は操作ボタン１９を押下したままにする。

撮影された認識対象文字列２３の連続静止画像は、画像取り込み部３で図４のように複数の画像データに分割されて取り込まれる。この場合、文字画像全体から１行分の文字画像についていくつかのコマ（１）〜（４）の静止画像に分割されて抽出された後、定められたフォーマットの画像データに変換されてレイアウト解析部５に渡される。

また、レイアウト解析部５ではカーソル制御部４からカーソル位置情報を受け取り、カーソル位置情報と文字画像の画像データとを照合する。但し、レイアウト解析に利用する各コマの文字画像に関してそれぞれの文字がカーソルの文字枠に収まっていない可能性があるため、カーソル位置情報としては「行」に対する配置情報の解析には問題なく利用することができるが、文字ごとの配置情報の解析には利用できない場合がある。この場合、カーソル位置情報を連続静止画像の移動方向にシフトさせることによって各文字の配置情報を解析することも可能である。このように、レイアウト解析部５においては、認識対象文字列２３が長い場合でもカーソル位置情報を利用して認識対象文字列２３の配置情報を正確に解析することができる。本実施形態では、行の配置情報について正確な解析が可能である。

そして、文字切り出し部６で文字単位の切り出しが行われ、文字認識部７において抽出された文字単位の画像データが文字データに変換され、文字認識が行われる。この場合、文字認識結果として、コマ（１）では「ＡＢＣＤＥＦＧＨＩＪＫＬ」が得られ、コマ（２）では「ＦＧＨＩＪＫＬＭＮＯＰ」が得られ、コマ（３）では「ＪＫＬＭＮＯＰＱＲＳＴＵ」が得られ、コマ（４）では「ＯＰＱＲＳＴＵＶＷ」が得られる。文字認識部７では、これらのコマ毎の文字認識結果を合成することにより、最終文字認識結果として「ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷ」が得られる。

なお、第２実施形態では、簡単のため１行分の文字画像をカーソルと照合して一連の文字認識の処理をするかのごとく説明したが、図３に示すようにカーソル１８が２行分存在する場合、一連の文字認識の処理についても２行分同時に行うことができる。

このように、第２実施形態の文字認識処理装置では、文字認識対象物２２の認識対象文字列２３を文字認識する際に、ディスプレイ１２に認識対象文字列１７の画像と併せて文字認識用文字枠のカーソル１８を表示させておき、使用者が携帯端末装置１を移動させながら連続静止画像撮影を行う。そして、撮影した文字画像をいくつかの静止画像に分けて、各コマの画像データをカーソル位置情報とともに取り込むようにする。これにより、レイアウト解析部５においてカーソル位置情報を利用して行の配置情報を容易かつ正確に解析することができ、文字認識における認識率及び認識速度の向上を図ることができる。

なお、上記の第２実施形態においては、連続静止画像撮影を行って複数の画像データを得る際に、携帯端末装置１の操作ボタン１９を押下したままで認識対象文字列上を移動させるようにしているが、これに限るものではない。例えば、使用者が携帯端末装置１本体を動かして撮影範囲を移動させながらその都度操作ボタン１９を押下することで断続的に複数の画像データを取得し、認識対象文字列の画像として連続した広い範囲の画像データを得ることも可能である。

また、レイアウト解析部５は、画像取り込み部３によって取り込まれた複数の文字画像（静止画像）について、各文字画像毎にレイアウト解析してもよいし、複数の文字画像を一旦１つの文字画像に連結した後レイアウト解析してもよい。

上述したように本実施形態では、カーソル位置情報を利用することで文字認識用の画像データの画素数を多くしなくても精度の高い文字認識が可能であるため、撮影部９を多画素化するなどの高性能の仕様は必要なく、装置に要求されるスペックの軽減が図れる。さらに、装置内でのデータ処理量を低減することができ、これによって、ＣＰＵやＤＳＰ、メモリ等のシステムを構成するデバイスに必要とされるスペックを軽減できる。したがって、装置各部の仕様の程度を低減でき、低消費電力化及びコストダウンを図れる。

（第３実施形態）
次に、第３実施形態として、携帯電話装置に文字認識処理装置を搭載した場合の構成及び動作の一例を示す。

図５は本発明の第３実施形態に係る携帯電話装置の外観構成を示す図であり、（Ａ）は正面図、（Ｂ）は背面図である。本実施形態の携帯電話装置３０は、第１筐体３１と第２筐体３２とを有して構成される。第１筐体３１の正面側、すなわち使用者が第１筐体３１及び第２筐体３２を開いて把持したときに主に使用者側に向く面には、液晶表示素子等からなる第１表示部３３が設けられている。また、第１筐体３１の正面とは反対側の背面側には、撮影部としてのカメラ３４と、液晶表示素子等からなる第２表示部３５とが設けられている。

第２筐体３２の正面側には、オンフック／オフフックキー、数字キー、機能キーなどを含む複数のキーボタンからなる操作部としての操作キー３６が配設されている。機能キーＰＦ１〜ＰＦ５には、装置の動作モードや表示画面などによって各種の機能が割り当てられるようになっている。

図６は第３実施形態に係る携帯電話装置の構成を示すブロック図である。携帯電話装置は、文字認識対象物等の画像を撮影する撮影手段の機能を有する撮影部４１、使用者が操作入力を行う操作部４２、文字認識結果等の各種情報を表示する文字枠表示手段及び認識文字表示手段の機能を有する表示部４３、移動体通信システムの基地局等との間で無線通信を行う通信部４４、音声通話や着信音等の音声処理を行う音声処理部４５、各種情報を記憶する認識文字保存手段の機能を有する記憶部４６、文字認識処理動作や認識文字データの利用などのアプリケーション処理や各部の制御などを行う制御処理部４７を有して構成される。

携帯電話装置で音声通話を行う際は、通信部４４、音声処理部４５及び制御処理部４７によって通話音声の入力、送受信、出力を行う。電子メール等のメッセージのやり取りを行ったり、インターネット等のネットワークにアクセスして各種情報を取得する際は、操作部４２、表示部４３、通信部４４及び制御処理部４７によって文字データの入力、文字データや画像データ等の情報の送受信、表示を行う。画像撮影を行う際は、撮影部４１及び制御処理部４７によって被写体を撮影して撮影画像の画像データを取得する。記憶部４６は、通信相手の電話番号やメールアドレス等の電話帳登録情報、電子メール等の文字データ、撮影画像等の画像データ、着信音等の音声データなどの各種情報を記憶する。

図７は第３実施形態の携帯電話装置における文字認識処理に関する機能的構成を示すブロック図である。第３実施形態では、第１及び第２実施形態と同様の撮影部４１及び文字認識部５１を備えると共に、認識結果の文字データを各部の機能において利用する認識文字活用手段の機能を有する文字利用部５２を備えている。これらの文字認識部５１及び文字利用部５２は、制御処理部４７及び記憶部４６において、プロセッサ及びメモリを含むハードウェアとこれらを用いて動作するソフトウェアプログラムとによって実現される。

図８は図７の構成における文字利用部の機能的構成を示す説明図である。文字利用部５２は、仮保存部６１、保存部６２、出力部６３を有する。仮保存部６１は、認識文字保存手段であり、文字認識処理後の文字データを一時記憶するものである。保存部６２は、認識文字保存手段であり、認識文字格納領域として複数の保存領域を有し、複数の文字データをそれぞれ格納して保存するものである。出力部６３は、文字データの種別を判別する種別判別部６４を有し、認識結果の文字データの種別に応じた出力動作を行うものである。文字認識によって得られた文字データが電話番号の場合は、その電話番号への音声発信またはデータベースである電話帳登録に関する動作を行う。また、メールアドレスの場合は、そのメールアドレスへのメール作成または電話帳登録に関する動作を行う。また、ＵＲＬ（Uniform Resource Locator）の場合は、そのＵＲＬへアクセスするインターネット接続またはデータベースであるブックマーク登録に関する動作を行う。

次に、第３実施形態における文字認識及び文字利用に関する動作の具体例について説明する。図９は文字認識及び文字利用に関する全体の処理の流れを示す説明図である。この図９は、表示部４３に表示する表示画面を中心に各動作状態の遷移を示したものである。ここでは、図１０に示すような文字認識対象物である名刺１０１に記載された文字を認識対象として撮影し、携帯電話装置に搭載したＯＣＲ（Optical Character Recognition ）機能によって文字認識を行う場合を説明する。

携帯電話装置のＯＣＲ機能を起動すると、初期画面に相当するメインメニュー画面７１が表示される。図１１はメインメニュー画面７１の一例を示したものである。このメインメニュー画面７１には、複数の文字データ登録内容が一覧表示される。本実施形態では、認識文字列の文字データを複数（例えば２０個）登録可能となっている。ここで、使用者が「未登録」の欄を選択してハイライト表示等によってフォーカスが当たった状態（図において斜線で示す）とし、機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、新規の認識対象文字列画像の撮影のため、撮影部４１が起動してカメラ撮影待機状態となり、プレビュー表示画面７２が表示される。なお、フォーカスを当てる位置を移動して選択対象を切り換える場合は、機能キーＰＦ１の外周部に割り当てられた十字キーを操作することで行う。

図１２（Ａ）はプレビュー表示画面７２の一例を示したものである。このプレビュー表示画面７２には、撮影部４１で撮影する認識対象の文字画像８１が表示され、この文字画像８１上に文字認識領域を示す文字認識用文字枠８２が重畳表示される。使用者が文字画像８１を見ながら認識対象文字列が文字認識用文字枠８２内に収まるように撮影範囲を調整し、機能キーＰＦ１に割り当てられた「撮影」ボタンを押下すると、文字画像８１の撮影が行われ、文字認識部５１によって認識対象文字列のレイアウト解析、文字切り出し、文字認識等の第１実施形態で述べた一連の文字認識処理が行われる。

また、図１２（Ａ）のプレビュー表示画面７２において使用者が機能キーＰＦ３に割り当てられた「機能」ボタンを押下すると、撮影部４１の機能設定モードに移行し、カメラ機能設定画面７３が表示される。図１２（Ｂ）はカメラ機能設定画面７３の一例を示したものである。このカメラ機能設定画面７３では、設定対象として、認識モード、明暗調整、フォトライト（撮影用照明）のいずれかを選択できるようになっている。ここで、使用者が「認識モード」の欄を選択してフォーカスが当たった状態とし、機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、認識モード設定画面７４が表示される。

図１２（Ｃ）は認識モード設定画面７４の一例を示したものである。この認識モード設定画面７４では、認識モードとして、自動、ＵＲＬ、メールアドレス、電話番号の各モードのいずれかが選択されると、撮影された文字画像の全ての文字列に対して、選択されたモードに特化した文字認識処理を行う。フリーモードが選択されると、任意の文字列を対象として文字認識を行い、認識可能な文字列が全て認識文字データとして出力される。自動モードが選択されると、上記４つのモードの中から文字認識部５１が文字画像８１の内容に応じて自動的に判定して適切な認識モードで文字認識を行う。ここで、使用者が認識モードを選択してフォーカスが当たった状態とし、機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、プレビュー表示画面７２に戻る。なお、上記動作では、撮影された文字画像の全ての文字列に対して、選択されたモードに特化した文字認識処理を行うようにしたが、自動、ＵＲＬ、メールアドレス、電話番号の各モードのいずれかが選択された場合に、ＵＲＬなどの対応する文字列のみを認識文字データとして出力するようにしても良い。

プレビュー表示画面７２の状態から撮影及び文字認識処理が完了すると、認識文字表示画面７５が表示される。図１３（Ａ）は認識文字表示画面７５の一例を示したものである。この認識文字表示画面７５では、認識結果の文字列の文字データを表示する。ここで、認識文字列に電話番号、メールアドレス、ＵＲＬが含まれる場合は、それぞれに下線が付されたアンカー表示がなされ、選択文字列にフォーカスが当たった状態となる。本実施形態では、認識文字列を解析して電話番号、メールアドレス、ＵＲＬを識別し、それぞれを個別に選択可能であり、文字列の種別に応じた利用ができるようになっている。

電話番号、メールアドレス、ＵＲＬの識別には、例えば以下の判定方法を用いる。
（１）電話番号
・０から始まる１０桁以上の数字が存在する場合
（２）メールアドレス
・「＠」を含んだ文字が存在する場合
（３）ＵＲＬ
・「http://」または「https://」から始まる文字が存在する場合
なお、上記メインメニュー画面７１において、使用者が登録済みの文字列の欄を選択してフォーカスが当たった状態とし、機能キーＰＦ１に割り当てられた「選択」ボタンを押下した場合は、認識文字表示画面７５が表示され、過去に認識されて保存された文字列の文字データが表示される。

認識文字表示画面７５において使用者が機能キーＰＦ３に割り当てられた「機能」ボタンを押下すると、機能メニュー表示画面７６が表示される。図１３（Ｂ）は機能メニュー表示画面７６の一例を示したものである。機能メニュー表示画面７６では、連結、編集、コピー、保存、電話帳新規登録、電話帳追加登録、ブックマーク登録のいずれかを選択できるようになっている。

一回で撮影できない長い文字列について続けて撮影し、認識結果を一つにつなぎ合わせる場合は、機能メニュー表示画面７６で「連結」の機能を選択する。使用者が「連結」の欄を選択してフォーカスが当たった状態とし、機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、再度プレビュー表示画面７２が表示され、撮影可能な状態となる。そして前回に続く認識対象文字列の撮影及び文字認識処理が完了すると、認識文字表示画面７５に切り替わり、今回認識された文字列が追加して表示される。なお、文字認識については、複数の画像毎に行ってもよいし、複数の画像を１つの画像に連結してから行ってもよい。

機能メニュー表示画面７６において使用者が「連結」以外の各機能を選択して機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、それぞれの機能に対応する機能画面７７が表示され、各機能が実行可能となる。「編集」を選択した場合は、テキストエディタが起動して編集画面が表示される。使用者は編集画面において誤認識された文字について修正を行うことができる。「コピー」を選択した場合は、コピー機能が呼び出されてコピー範囲選択画面が表示され、使用者は範囲指定した文字データをコピーして他の文字入力画面などで利用することができる。「保存」を選択した場合は、認識文字列の文字データの保存処理が行われ、完了すると「保存しました」などの保存完了通知画面が表示される。これにより、メインメニュー画面７１で選択した「未登録」の欄に今回の文字認識処理により得られた認識文字列が格納される。

また、「電話帳新規登録」または「電話帳追加登録」を選択した場合は、電話帳登録画面が表示され、使用者は電話番号やメールアドレス、名前などの認識文字列を電話帳の所望の欄に登録することができる。「ブックマーク登録」を選択した場合は、ブックマーク登録画面が表示され、使用者はＵＲＬの認識文字列をブックマークとして登録することができる。

認識文字表示画面７５において、使用者が電話番号、メールアドレス、ＵＲＬのいずれかの文字列を選択した状態で機能キーＰＦ１に割り当てられた「選択」ボタンを押下すると、それぞれの文字列の種別に応じた利用画面７８が表示される。電話番号を選択した場合は、図１３（Ｃ）に示すように利用画面として音声発信画面７８ａが表示される。この音声発信画面７８ａでは、文字認識した電話番号宛の音声発信を簡易な操作で行うことが可能である。ＵＲＬを選択した場合は、図１３（Ｄ）に示すように利用画面としてインターネット接続画面７８ｂが表示され、文字認識したＵＲＬによるインターネット接続を簡易な操作で行うことが可能である。メールアドレスを選択した場合は、図１３（Ｅ）に示すように利用画面としてメール作成画面７８ｃが表示され、文字認識したメールアドレス宛の電子メール作成を簡易な操作で行うことが可能である。

このように、第３実施形態では、上記第１及び第２実施形態と同様に、撮影時のプレビュー表示画面において文字認識用文字枠を表示して認識対象の文字画像を撮影し、枠内の画像について文字認識処理を行うことで、文字認識処理にかかる負荷を軽減できる。

また、認識モードの選択によって、予め設定した認識対象文字の種別に応じた文字認識処理を行うことにより、文字認識精度を向上できる。また、認識文字表示画面において、認識結果として複数の種別の文字データを並べて表示し、所定の文字単位ごとに分けて個別に選択、利用、保存が可能なようになっている。これにより、例えば電話番号の場合は音声発信、メールアドレスの場合はメール作成など、文字列の種別に応じた認識文字データの利用が容易に可能となる。

なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の態様で実施し得るものである。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2002年8月7日出願の日本特許出願Ｎｏ．2002-230312、2003年5月12日出願の日本特許出願Ｎｏ．2003-133171に基づくものであり、その内容はここに参照として取り込まれる。

以上説明したように、本発明によれば、認識率及び認識速度の向上を図りつつ、撮影装置やシステムを構成するデバイスに必要とされる仕様の程度を低減でき、低消費電力化及びコストダウンを図ることが可能な文字認識処理装置及び文字認識処理方法を提供できる。

本発明の第１実施形態に係る文字認識処理装置を備えた携帯端末装置の構成を示すブロック図 本発明の第１実施形態に係る文字認識処理装置における文字認識処理時の動作説明図（認識対象文字列を撮影している状態を示す図） 本発明の第２実施形態に係る文字認識処理装置における文字認識処理時の動作説明図（認識対象文字列を撮影している状態を示す図） 本発明の第２実施形態に係る文字認識処理装置における文字認識処理時の動作説明図（複数に分割した認識対象文字列に対する文字認識処理の様子を示す図） 本発明の第３実施形態に係る携帯電話装置の外観構成を示す図、（Ａ）は正面図、（Ｂ）は背面図 第３実施形態に係る携帯電話装置の構成を示すブロック図 第３実施形態の携帯電話装置における文字認識処理に関する機能的構成を示すブロック図 図７の構成における文字利用部の機能的構成を示す説明図 第３実施形態における文字認識及び文字利用に関する全体の処理の流れを示す説明図 文字認識対象物の一例を示す図 第３実施形態におけるＯＣＲ機能のメインメニュー画面の一例を示す図 第３実施形態におけるＯＣＲ機能の各画面の一例を示したもので、（Ａ）はプレビュー表示画面、（Ｂ）はカメラ機能設定画面、（Ｃ）は認識モード設定画面をそれぞれ示す図 第３実施形態におけるＯＣＲ機能の各画面の一例を示したもので、（Ａ）は認識文字表示画面、（Ｂ）は機能メニュー表示画面、（Ｃ）は音声発信画面、（Ｄ）はインターネット接続画面、（Ｅ）はメール作成画面をそれぞれ示す図

符号の説明

１ 携帯端末装置
２ 文字認識処理装置
３ 画像取り込み部
４ カーソル制御部
５ レイアウト解析部
６ 文字切り出し部
７ 文字認識部
８ フォーマット出力部
９ 撮影部
１０ 表示制御部
１１ アプリケーション部
１２ ディスプレイ
３０ 携帯電話装置
３３ 第１表示部
３４ カメラ
３５ 第２表示部
３６ 操作キー
４１ 撮影部
４２ 操作部
４３ 表示部
４４ 通信部
４５ 音声処理部
４６ 記憶部
４７ 制御処理部
５１ 文字認識部
５２ 文字利用部
６１ 仮保存部
６２ 保存部
６３ 出力部
６４ 種別判定部

Claims (13)

1. 複数の文字を含む文字画像に対応づけられた文字列を文字単位で文字認識するために前記複数の文字を文字ごとに区切る線を備える文字認識用文字枠の位置を示すカーソル位置情報を出力するカーソル情報出力手段と、
   前記カーソル位置情報に対応する範囲内の文字画像を文字認識用の認識対象となる文字画像として撮影する撮影手段と、
   前記撮影手段による撮影時に、前記文字画像と重ねて前記文字認識用文字枠を表示する文字枠表示手段と、
   前記撮影された文字画像の画像データを取り込む画像取り込み手段と、
   前記取り込んだ文字画像の画像データと前記カーソル位置情報とを利用して文字の配置を解析するレイアウト解析手段と、
   前記レイアウト解析手段の解析結果を基に文字画像を文字単位で切り出す文字切り出し手段と、
   前記切り出された文字画像を文字単位で文字として認識し文字情報に変換する文字認識手段と、
   を備えた携帯端末装置。
2. 請求項１記載の携帯端末装置であって、
   前記文字認識手段による認識結果の文字情報を表示する認識文字表示手段を備える携帯端末装置。
3. 請求項２記載の携帯端末装置であって、
   前記認識文字表示手段は、前記認識結果の文字情報を所定の文字単位ごとに個別に選択可能に表示するものである携帯端末装置。
4. 請求項１記載の携帯端末装置であって、
   前記文字認識手段による認識結果の文字情報を保存する認識文字保存手段を備える携帯端末装置。
5. 請求項４記載の携帯端末装置であって、
   前記認識文字保存手段は、前記文字情報を認識文字格納領域に保存するものである携帯端末装置。
6. 請求項４記載の携帯端末装置であって、
   前記認識文字保存手段は、前記文字情報の種別が電話番号、メールアドレス、ＵＲＬ（Uniform Resource Locator）のいずれかであった場合に、その文字情報の種別に応じたデータベースに登録するものである携帯端末装置。
7. 請求項１記載の携帯端末装置であって、
   前記文字認識手段による認識結果の文字情報を当該文字情報の種別に応じて活用する認識文字活用手段を備える携帯端末装置。
8. 請求項７記載の携帯端末装置であって、
   前記認識文字活用手段は、前記文字情報の種別が電話番号であった場合にその電話番号への発信画面を表示するものである携帯端末装置。
9. 請求項７記載の携帯端末装置であって、
   前記認識文字活用手段は、前記文字情報の種別がメールアドレスであった場合にそのメールアドレスへの電子メール作成画面を表示するものである携帯端末装置。
10. 請求項７記載の携帯端末装置であって、
    前記認識文字活用手段は、前記文字情報の種別がＵＲＬ（Uniform Resource Locator）であった場合にそのＵＲＬへのネットワーク接続画面を表示するものである携帯端末装置。
11. 請求項１項記載の携帯端末装置であって、
    前記撮影手段は、認識対象となる文字画像を連続的に撮影する機能を有し、
    前記画像取り込み手段は、前記撮影手段により認識対象となる文字画像を複数取得した場合に、これらの複数の文字画像の画像データを連結して取り込み、
    前記文字認識手段は、前記連結された文字画像の画像データの文字認識を行って文字情報に変換するものである携帯端末装置。
12. 請求項１記載の携帯端末装置であって、
    前記撮影手段は、認識対象となる文字画像を連続的に撮影する機能を有し、
    前記画像取り込み手段は、前記撮影手段により認識対象となる文字画像を複数取得した場合に、これらの複数の文字画像の画像データを取り込み、
    前記文字認識手段は、前記取り込まれた複数の文字画像のそれぞれについて画像データの文字認識を行って文字情報に変換するものである携帯端末装置。
13. 請求項１記載の携帯端末装置であって、
    前記文字認識手段は、認識対象の文字種別に応じた複数の認識モードを有し、予め設定された認識モードによって対応する文字種別に適した文字認識処理を行うものである携帯端末装置。

Images