JP2005049920A - 文字認識方法とそれを用いた携帯端末システム - Google Patents
文字認識方法とそれを用いた携帯端末システム Download PDFInfo
- Publication number
- JP2005049920A JP2005049920A JP2003202764A JP2003202764A JP2005049920A JP 2005049920 A JP2005049920 A JP 2005049920A JP 2003202764 A JP2003202764 A JP 2003202764A JP 2003202764 A JP2003202764 A JP 2003202764A JP 2005049920 A JP2005049920 A JP 2005049920A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- image
- character
- portable terminal
- string image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
【課題】カメラ等により入力した画像中に複数の文字列を含む場合、目的の文字列の識別を素早く行う文字認識方法を提供する。
【解決手段】カメラ等により入力した画像中の複数の文字列を含む文字列画像を文字列テーブルに登録し、ボタン等の入力手段により、登録された文字列画像を選択することにより、選択した文字列画像から文字を認識する。
【選択図】 図１
【解決手段】カメラ等により入力した画像中の複数の文字列を含む文字列画像を文字列テーブルに登録し、ボタン等の入力手段により、登録された文字列画像を選択することにより、選択した文字列画像から文字を認識する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラなどの画像入力手段を持った携帯型端末または携帯電話等において、入力した画像中の文字列画像を選択して文字認識をする技術に関する。
【０００２】
【従来の技術】
携帯型端末を用いて、画像入力手段より入力された画像の文字認識をする際には、利用者が端末本体の位置や向きを手動で調整することで、表示部に表示された入力画像の中に認識対象が収まるようにする方法がある。
例えば、特許文献１に記載されているようにカメラを用いた入力画像を用いて文字認識を行い、認識結果を用いて電話の発信、ホームページへの接続、電子メールの送信などを行う方法が提案されている。
【０００３】
また、特許文献２に記載されているように、カメラ等で撮影した画像を表示画面上に表示し、同時にマーカーを表示させマーカーの近傍の文字列に対して文字認識を実行する方法が提案されている。また、認識結果をネットワークに接続された計算機に送り、認識結果に応じて処理結果を携帯端末装置に返送する方法が提案されている。
【０００４】
【特許文献１】特開２００２−１５２６９６号公報
【特許文献２】特開２００３−７８６４０号公報
【発明が解決しようとする課題】
従来の方法は、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影された場合、再度撮影し直す必要があった。
【０００５】
また、広い範囲を撮影し、表示される文字列が小さくなる点を考慮されていなかった。また、画像中に複数の文字列種が混在していても選択できる文字種を選択することを考慮されていなかった。
【０００６】
また、例えば日本語文章のように、単語間にスペースが存在しない文字から一部の文字列を選択する場合、携帯電話などの携帯型端末では内蔵するメモリが少なく、さらにプログラムの実行速度が遅いため、単語辞書の内蔵や文章を解析しながら単語を識別できない課題があった。
【０００７】
また、メモリ容量が少なく実行速度の遅い携帯型端末では、文字認識の精度や、文字認識可能な文字種の制限がある課題があった。
【０００８】
また、メモリが豊富で実行速度が速いサーバ装置上で文字認識を実行する場合、携帯電話などの携帯型端末から文字列を含む画像を送信すると、通信速度が遅いために結果の返信が遅い、通信料が必要であるなどの課題があった。
【０００９】
本発明の目的は、再度撮影し直すことなく、またマーカーによる認識位置を指定することなく、予め認識された文字列画像を選択することにより文字を認識することにあり、かつ、画像中に複数の文字列種が混在していても、認識したい文字種のみを選択して文字認識することにあり、かつ、文字認識の対象となる文字列画像を見やすくすることにある。
また、内蔵するメモリが少なく、さらにプログラムの実行速度が遅い携帯電話などの携帯型端末でも、認識したい文字種に応じて実行するプログラムを選択することにあり、かつ、メモリが豊富で実行速度が速いサーバ装置上で文字認識を実行することにあり、かつ、携帯電話などの携帯型端末からサーバ装置に送信するデータ量を削減し、通信コストや転送速度、通信エラー発生確率を低下することにある。
【００１０】
【課題を解決するための手段】
本発明は、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像がガイドよりはずれて撮影された場合に、再度撮影し直しを行わないために、撮影した画像から文字列が存在する位置を複数検出し、検出した文字列を移動ボタンにより選択可能にしたものである。
【００１１】
本発明はまた、画像入力時に素早く文字認識を行うため、画像入力後直ちに画像中央部に最も近い文字列画像に文字認識を適用したものである。
【００１２】
本発明はまた、広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末で選択した文字列を見やすくするために、選択した文字列画像の一部を拡大および移動して表示するものである。
【００１３】
本発明はまた、画像中に異なる文字種が混在されて表示されている場合に、認識したい文字列種のみ選択して文字認識素早く行うために、文字列画像から文字列種を検出し、指定された文字列種のみ含む文字列画像のみを選択して文字認識を行うものである。
【００１４】
本発明はまた、複数の文字列が混在して選択された文字列画像から、文字認識したい文字列を取り出すために、文字列画像から１文字単位に文字画像を識別し、選択できる手段を設けたものである。
【００１５】
本発明はまた、ペンによる入力手段を持つ携帯型端末において、２つの文字列画像を一つの文字列画像に合成し、または文字列画像を２つの文字列画像に分割するために、ペンのストロークを検出し、ペンの位置が２つの文字列画像の中間を示す場合は左右の文字列画像を合成し、ペンの位置が文字列画像上を示す場合は文字列画像を一文字単位の文字画像に分割し、ペン位置の左右の文字画像を境に文字列画像を分割するものである。
【００１６】
本発明はまた、２つの文字列画像を一つの文字列画像に合成し、さらに文字列画像を２つの文字列画像に分割するために、文字列画像を選択することにより選択した文字列画像の前の文字列画像と合成し、選択した文字列画像を一文字単位の文字画像に分割し、分割したい点の文字画像を選択することにより選択した文字画像を境に文字列画像を分割するものである。
【００１７】
本発明はまた、プログラムメモリが少ない携帯型端末において複数のプログラムを実行し、さらにプログラムの更新を素早く行うために、サーバ装置にプログラムを格納し、携帯型端末での実行に必要なプログラムのみをダウンロードして実行できるようにしたものである。
【００１８】
本発明はまた、プログラムメモリが少ない携帯型端末において文字認識精度を向上させ、さらに通信料の削減や、通信エラーの確率を小さくするために、携帯型端末で画像を撮影し、文字認識を行う文字列画像を選択した後、選択された文字列画像を圧縮してサーバに送信し、サーバで文字列画像に文字認識を適用させるようにしたものである。
【００１９】
本発明はまた、ネットワーク上での盗聴を防止するために、送信データに暗号化を適用するものである。
【００２０】
【発明の実施の形態】
以下、本発明の第１の実施例を図１から図７を用いて詳細に説明する。図１は、本発明の第１の実施例を示すブロック図、図２は、本発明の第１の実施例を説明する表示例、図３は、本発明の第１の実施例の動作を示すフローチャート図、図４は、本発明の第１の実施例の文字列選択方法を説明する第１の表示例、図５は、本発明の第１の実施例の図４の表示例で用いるデータ構造、図６は、本発明の第１の実施例の文字列選択方法を説明する第２の表示例、図７は、本発明の第１の実施例の図６の表示例で用いるデータ構造である。
【００２１】
図１において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像の画像から文字を認識する文字認識手段、１１は、文字列テーブル８に登録された文字列画像の画像中心からの距離を算出し中心に最も近い文字列画像を検索する中央検索手段である。
【００２２】
図２において、３０は、図１の画像記憶手段に記憶された画像の表示例であり、３１は、選択された文字列画像を中心に拡大移動後の表示例である。表示例３０において、２０は図１の表示手段２に表示される表示例、２１は、図１の文字列テーブルに登録された文字列画像の外周を表示する文字列枠、２２は、現在選択された文字列画像の外周を強調して表示する選択文字列枠、２３は、画像表示時に撮影対象の水平および中心を示すガイドマークである。表示例３１において、２４は、拡大表示された画像の全体からの位置を示すサブ画面である。
【００２３】
画像入力手段１のカメラを起動（１００）し、ボタン入力手段３によるボタン入力により画像入力手段１から入力された画像を画像記憶手段６に記憶（１０１）する。文字列検索手段７は、画像記憶手段６に記憶された画像から文字列画像を抽出し文字列画像の座標を文字列テーブルに記録（１０２）する。中央検索手段１１は、文字列テーブル８に記憶された文字列画像の座標と画像中央からの距離を算出し、画像中央に最も近い文字列画像を検索、選択（１０３）し、表示手段２は、選択された画面上の文字列画像の外周を強調枠で強調して表示し（１０４）、必要に応じて選択された文字列画像を表示手段２中央に表示されるように表示位置をスクロールして画面上に拡大し文字列画像の外周を強調枠で強調して表示し、さらに選択されない文字列画像の外周を枠で表示（３１）する。ユーザにより選択された文字列画像が確認されると、選択された文字列画像は、文字認識手段１０により文字が認識（１０５）され認識結果を表示手段２に表示する。
ボタン入力手段３の移動ボタンが押された場合（１０６）、移動ボタンが上ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ前の文字列画像が選択（１０７）され、移動ボタンが下ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ後の文字列画像が選択（１０８）され、表示手段２上に強調表示（１０４）される。
【００２４】
文字列検索手段７は、例えば図４の様に、文字列画像が行単位であれば例えば表示例３２、行を複数の文字列画像で分解されれば例えば表示例３３のように検出し表示することができる。検出された文字列画像は、画像中の文字列画像が左上から順番に番号が振られ、文字列画像の座標が図５の文字列テーブルの例のように登録される。移動ボタンによる操作では、上ボタンでは登録順の小さい方の番号の順に選択、下ボタンでは登録順の大きい方の番号の順に選択する。最も小さい番号が選択された時に上ボタンが押された時は選択される文字を変えない、または最も大きい番号の文字列画像を選択するようにすることもできる。また、最も大きい番号が選択された時に下ボタンが押された時は選択される文字を変えない、または最も小さい番号の文字列画像を選択するようにすることもできる。
【００２５】
文字列テーブル８は、図７のように文字列画像を行と列に分けて登録することもできる。行と列に分けた場合、図６のように移動ボタンを上下左右の４通り用意することも可能である。
【００２６】
また、図２の拡大移動後の表示例３１のように選択された文字列画像を拡大表示する場合、選択された文字列画像の上下左右の文字列画像が表示されるように拡大表示することにより、移動ボタンによる移動先の文字列画像が見えるようにすることも可能である。
【００２７】
また、ペンによる入力手段を設け表示手段２上の文字列画像をペンによる画面タップにて選択することも可能である。
【００２８】
本実施例によれば、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影されても、操作にボタン等の簡単な装置しかない携帯電話のような携帯型端末でも、移動ボタンにより容易に認識したい文字列画像に移動できるので、再度撮影し直すことたないため文字認識の時間を短縮する効果がある。さらに選択した文字列画像の外周を表示することにより次に選択可能な文字列画像を事前に知ることができ、さらに広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末でも画像の拡大および移動を行うことにより、文字列選択の時間を短縮する効果がある。
【００２９】
本発明の第２の実施例を図８から図１２を用いて詳細に説明する。図８は、本発明の第２の実施例を示すブロック図、図９は、本発明の第２の実施例を説明する表示例、図１０は、本発明の第２の実施例の動作を示すフローチャート図、図１１は、本発明の第２の実施例の他の表示例、図１２は、本発明の第２の実施例の他の表示例で用いるデータ構造である。
【００３０】
図８において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、９は、選択された文字列画像の文字列種を調べる文字列種検出手段、１０は、選択された文字列画像から文字を認識する文字認識手段、１１は、文字列テーブル８に登録された文字列画像を画像中心からの距離を算出し中心に近い文字列画像であり、かつ選択された文字列画像から文字列種検出手段９により検出された文字列種が最初に設定された文字列種と一致する文字列画像を選択する中央検出手段である。
【００３１】
文字列種は、例えば電話番号、ＵＲＬ、英単語、Ｅメールアドレス等、所定の表記規則に則った形式で記述されるものである。文字列種の判定には、文字列の文字を認識し、例えば正規表現によるパターンマッチングにより実現できる。文字列種を判定するためには必ずしも文字列全体について文字認識する必要はなく。例えば、電話番号であれば、文字列の一部、例えば先頭の１または複数の文字が数字であることや、数字とハイフンや括弧（ ）があることなどで、判断することができる。ＵＲＬやＥメールアドレスであれば、文字列が「ｈｔｔｐ」や「＠」などＵＲＬやＥメールアドレス特有の表現の文字を含むことなどにより判断することができる。
【００３２】
次に図８のブロック図を図１０のフローチャートを用いて説明する。画像入力手段１のカメラを起動（１００）し、ボタン入力手段３の操作により、検索する文字列種を設定（１１０）し、さらにボタン操作により画像入力手段１から入力された画像を画像記憶手段６に記憶（１０１）する。文字列検索手段７は、画像記憶手段６に記憶された画像から文字列画像を抽出し文字列画像の座標を文字列テーブルに記録（１０２）する。中央検索手段１１は、文字列テーブル８に記憶された文字列画像の座標と画像中央からの距離を算出し、画像中央に近い文字列画像を検索、さらに画像中央に近い順から文字列種検索手段９により文字列画像の文字列種を調べ、当初設定された文字列種と一致する文字列画像を選択（１１５）する。表示手段２は、選択された文字列画像を表示手段２中央に表示されるように表示位置をスクロールすると同時に、画面上に拡大し文字列画像の外周を枠で強調して表示（１０４）、さらに選択されない文字列画像の外周を枠で表示する。選択された文字列画像は、文字認識手段１０により文字が認識（１０５）され認識結果を表示手段２に表示する。ボタン入力手段３の移動ボタンが押された場合（１０６）、移動ボタンが上ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ前の文字列画像を選択（１０７）し、文字列種検索手段９により選択された文字列画像の文字列種を識別（１１１）し、当初設定された文字列種と比較（１１３）、一致しなければ、さらに一つ前の文字列画像を選択（１０７）することを繰り返す。移動ボタンが下ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ後の文字列画像を選択（１０８）し、文字列種検索手段９により選択された文字列画像の文字列種を識別（１１２）し、当初設定された文字列種と比較（１１４）、一致しなければ、さらに一つ後の文字列画像を選択（１０８）することを繰り返す。一致すれば、選択された文字列画像を表示手段２上に強調表示（１０４）する。一致する文字列画像がなければ表示手段２に検索終了の表示を出力することも可能である。
【００３３】
図９は、例えば検索する文字列種を電話番号に設定した場合に、上下のボタンにて電話番号の文字列画像のみ強調表示された例である。携帯電話の場合、検索する文字列種が電話番号であれば、画像中から電話番号のみを順次文字認識して電話を発信することも可能である。
【００３４】
本実施例では、文字列種を選択毎に文字列画像から文字列種を識別しているが、画像入力時に文字列画像を抽出する時に同時に各文字列画像から文字を認識し文字列種を識別しておくこともちろん可能である。この場合、図１２のデータ構造において文字列画像の位置と文字列種を登録しておくことにより、図１１のように表示手段により設定した文字列種と同じ文字列画像のみの外周の枠を表示させることも可能である。
【００３５】
本実施例によれば、認識したい文字列種を指定しておくことにより、画像中に複数の文字列種が混在していても設定した文字列種の文字列画像のみを他の文字列種の文字列画像を飛び越えて選択することが可能であり選択時間の短縮に効果がある。
【００３６】
本発明の第３の実施例を図１３乃至図１５を用いて詳細に説明する。図１３は、本発明の第３の実施例を示すブロック図、図１４は、本発明の第３の実施例を説明する表示例、図１５は、本発明の第３の実施例の動作を示すフローチャート図である。
【００３７】
図１３において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段である。
【００３８】
次に図１３の各部の動作を図１５のフローチャートを用いて説明する。図１４の選択された文字列画像から一部の文字列画像を選択する編集例である。
【００３９】
ボタン入力手段３の操作によりメニューを表示、文字選択を選択（２００）し、文字位置検出手段１２により選択されている文字列画像を１文字単位の画像に分割（２０１）する。ボタン入力手段３の左右の移動ボタンにより文字を選択（２０２）し、先頭文字画像を選択して選択ボタンを押す（２０３）、さらにボタン入力手段３の左右の移動ボタンで末尾の文字画像を選択（２０４）し、ボタン入力手段３の選択ボタンを押す（２０５）、先頭と末尾の文字画像の選択が確定したら（２０５）、ボタン入力手段３の選択ボタンを押し、先頭から末尾の文字画像から文字認識手段１０により文字を認識（２０７）する。
【００４０】
本実施例によれば、例えば日本語文章のように、単語間にスペースが存在しない文字のような場合でも、認識したい文字を選ぶことが可能であり、さらに携帯電話のように操作がボタン等の単純な入力装置しかない携帯型端末でもボタン操作で容易に認識したい文字を選択することができる効果がある。
【００４１】
本発明の第４の実施例を図１６乃至図１８を用いて詳細に説明する。図１６は、本発明の第４の実施例を示すブロック図、図１７は、本発明の第４の実施例を説明する表示例、図１８は、本発明の第４の実施例の動作を示すフローチャート図である。
【００４２】
図１６において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、４は、表示手段２を用いてペンを使って表示画面上の座標とペンの動きを検出するペン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段、１５は、２つの文字列画像を合成する合成手段、１６は、文字列画像を２つの文字列画像に分割する分割手段である。
【００４３】
ペンを用いて表示画面上をポインティングすることにより操作を行うペン入力型の携帯型端末において図１７の選択された文字列画像の結合および分離を行う編集例について、図１６のブロック図を図１８のフローチャートを用いて説明する。
【００４４】
画像入力手段から入力し画像記憶手段に記憶された画像から、文字列検出手段７により文字列画像を抽出し、表示手段２において抽出した文字列画像の外周を枠で表示し、ペン入力手段４がペン入力を待機している状態（２１０）において、ペン入力手段４が、ペンが文字列画像枠内の一点のタップを検出した場合（２１１）は、タップした点を含む文字列画像枠内の文字列画像の文字認識を行い（２０７）、ペン入力手段４は、ペンが線を書くように表示画面上の移動（２１３）を検出した場合、下から上へのペン移動であれば、ペンが通過した場所が、文字列画像の間（２１４）であれば、合成手段１５によりペンが通過した左右の文字列画像を結合し一つの文字列画像とする（２１５）。ペンの移動が上から下であり、かつペンが文字列画像の中を通過（２１６）していれば、文字位置検出手段１２は通過した文字列画像付近の文字間のスペースを識別（２１７）し、分割手段１６はペンが通過した文字間で文字列画像を分割（２１８）する。
【００４５】
本実施例によれば、ペンにより画面上の位置を示すことが可能な携帯型端末において、ペン操作によって、表示手段に表示されている文字列画像が表示されている画面を見ながら、直接ペンで結合または分離したい場所を直接指し示すことができるので文字列画像の編集時間を短縮できる効果がある。
【００４６】
本発明の第５の実施例を図１９乃至図２１を用いて詳細に説明する。図１９は、本発明の第５の実施例を示すブロック図、図２０は、本発明の第５の実施例を説明する表示例、図２１は、本発明の第５の実施例の動作を示すフローチャート図である。
【００４７】
携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、図２０の選択された文字列画像の結合および分離を行う編集例について図１９のブロック図を図１６のフローチャートを用いて説明する。
【００４８】
図１９において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段、１５は、２つの文字列画像を合成する合成手段、１６は、文字列画像を２つの文字列画像に分割する分割手段である。
【００４９】
次に図１９の各部の動作を図２１のフローチャートを用いて説明する。画像入力手段から入力し画像記憶手段に記憶された画像から、文字列検出手段７により文字列画像を抽出し、表示手段２において抽出した文字列画像の外周を枠で表示した状態において、ボタン入力手段３の上下左右ボタンにより文字列画像を選択（２５０）し、選択している文字列画像でボタン入力手段３の選択ボタンを押した場合（２５１）選択された文字列画像から文字を認識する（２０７）。ボタン入力手段３のメニューボタンによりメニューを表示手段２に表示（２５３）し、メニューの中から結合を選択した場合、合成手段１５は選択されている文字列画像と同一行の前にある文字列画像と結合して一つの文字列画像として再登録（２５４）し、結合した文字列画像を選択状態にする（２５５）。メニューで分割を選択した場合、文字位置検出手段１２は現在選択されている文字列画像内を一文字単位の画像に分割（２５６）し、一文字単位にボタン入力手段３の左右ボタンで分割する文字間の後ろの一文字画像を選択（２５７）し、ボタン入力手段３の選択ボタンを押すことにより（２５８）、分割手段１６は選択した一文字画像の前で文字列画像を分割し、分割した文字を再登録（２５９）し、現在選択している一文字画像を含む文字列画像を選択状態にする（２６０）。
【００５０】
本実施例によれば、携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、誤って文字列画像とされた状態でも、再度撮影しなおすことなく、ボタンの操作で文字列画像を編集することができるため、目的とする文字列画像に対して短時間に文字認識を行うことができる効果がある。
【００５１】
本発明の第６の実施例を図２２乃至図２４を用いて詳細に説明する。図２２は、本発明の第６の実施例を示すブロック図、図２３は、本発明の第６の実施例の動作を示す連携図、図２４は、本発明の第６の実施例の送受信データである。
【００５２】
図２２において、３２０は、携帯電話や携帯端末などの端末装置であり、３２１は、端末装置３２０とインターネットなどネットワークを経由して接続されるサーバ装置である。
端末装置３２０において、３００は、カメラなどの画像入力手段、３０１は、画像入力手段３００にて入力された画像を記憶する画像記憶手段、３０２は、画像を２値化する２値化手段、３０３は、２値化手段３０２で２値化された画像から文字列の領域の画像を抽出する領域抽出手段、３０４は、領域抽出手段３０３により切り抜かれた文字列領域の画像を圧縮する画像圧縮手段、３０５は、サーバ装置３２１からダウンロードする前処理プログラム、３０６は、端末装置３２０を制御するためのボタン等の入力手段、３０７は画像を表示したり結果を表示したりする表示手段、３０８は、送受信するデータの暗号化復号化を行う暗号化手段、３０９は、携帯端末３２０全体の制御を行う制御手段、３１０は、インターネット等へネットワークに接続してサーバと通信を行う通信手段である。
【００５３】
サーバ装置３２１において、３１１は、インターネット等へネットワークに接続して端末装置と通信を行う通信手段、３１２は、サーバ装置３２１の全体を制御する制御手段、３１３は、端末装置３２０で実行する前処理プログラム３０５を記憶するプログラム記憶手段、３１４は、文字列画像から文字を認識する文字認識プログラム、３１５は、端末装置３２０から送信された文字列画像の圧縮された画像を元に復元する画像伸張手段、３１６は、画像伸張手段より伸張された文字列画像から文字を認識する文字認識手段、３１７は、端末装置とサーバ装置間でデータの暗号化復号化を行う暗号化手段である。
【００５４】
図２４において、４００は、端末装置３２０からサーバ装置３２１に送信されるデータのデータ構造の一例の端末装置３２０からの送信データ、４１０は、サーバ装置３２１から端末装置３２０に送信されるデータのデータ構造の一例の端末装置３２０の受信データである。
【００５５】
４００において、４０１は、データ長やデータの種類等、データ全体を識別するデータを含むヘッダ、４０２は、選択された文字列画像の高さ、４０３は、選択された文字列画像の幅、４０４は、文字列の種類を示す文字列種、４０５は、２値化された選択した文字列画像を圧縮した画像データである。
【００５６】
４１０において、４１１は、データ長やデータの種類等、データ全体を識別するデータを含むヘッダ、４１２は、文字列の認識結果、４１３は、文字認識後の文字位置の座標、４１４は、認識結果４１２以外の文字候補である。
【００５７】
図２２の各部の動作を図２３のフローチャート図を用いて詳細に説明する。端末装置３２０は、実行する文字認識の前処理プログラム３０５をサーバ装置３２１に要求（４５０）し、サーバ装置３２１は、前処理プログラム３０５を画像入力手段３００に送信（４５３）する。端末装置３２０は、前処理プログラム３０５を起動（４５５）し、画像入力手段３００から画像を取得（４５６）し、画像記憶手段３０１に一時保存する。画像記憶手段３０１に保存した画像を２値化手段３０２で２値画像化（４５７）した後、領域抽出手段３０３で文字列領域の画像を切り出し（４５８）、入力手段３０６による操作により、文字を認識したい文字列画像を選択（４５９）し、選択した文字列画像を画像圧縮手段３０４で圧縮（４６０）し、圧縮された文字列画像を暗号化手段３０８により暗号化（４６１）かした後、通信手段３１０を経由してサーバ装置３２１に送信データ４００を送信（４６２）する。
【００５８】
サーバ装置３２１は、端末装置３２０から送信された送信データ４００を通信装置３１１で受信（４６３）し、暗号化手段３１７で復号化し、圧縮された選択された文字列画像を伸張手段３１５で伸張（４６５）し、文字認識手段３１６で文字列画像から文字を認識（４６６）した後、文字列認識結果を含む受信データ４１０を、通信手段３１１を経由して端末装置３２０に送信（４６７）する。
【００５９】
端末装置３２０は、サーバ装置３２１から送信された受信データ４１０を通信手段３１０で受信（４６８）し、受信データ４１０に含まれる文字列認識結果を表示手段３０７により表示（４６９）する。
【００６０】
本実施例によれば、メモリ容量が少なく実行速度の遅い端末装置でも、メモリや実行速度に影響がある文字認識処理を、メモリ量が多く実行速度が速いＣＰＵを備えたサーバ装置で実行することにより、文字認識率の向上や、文字認識対象の文字を多くできる効果がある。さらにサーバ装置に送信する画像を、認識したい文字列の画像に限定し、２値化や画像圧縮を行うことにより通信に必要なデータ量が削減でき、送信速度の高速化や、ネットワーク上のエラーによるデータの損失の確率が低くなる効果がある。
【００６１】
第１乃至第５の実施例において、画像入力手段１は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されるカメラ、表示手段２は、液晶や有機ＥＬ等で構成されるパネル、ボタン入力手段３は、押しボタンやタッチパネルやダイアル等、ペン入力手段４は、表示手段２に張られた感圧シートによるペン接触時の抵抗値変化検出や、超音波等を用いたセンサとペンとの距離測定などによる位置検出、画像記憶手段６は、メモリ、文字列テーブル８は、メモリに記憶、により実現される。また、制御手段５、文字列検出手段７、文字列種検出手段９、文字認識手段１０、中央検出手段１１、文字位置検出手段１２、合成手段１５、分割手段１６はＣＰＵにて実行により実現される。
第６の実施例において、画像入力手段３００は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されるカメラ、画像記憶手段３０１やプログラム記憶手段３１３は、メモリ、入力手段３０６は、押しボタンやタッチパネルやペン、表示手段３０７は、液晶や有機ＥＬ等で構成されるパネル、前処理プログラム３０５と文字認識プログラム３１４は、メモリに記憶、により実現される。また、制御手段３０９、３１２、２値化手段３０２、領域抽出手段３０３、画像圧縮手段３０４、画像伸張手段３１５、文字認識手段３１６はＣＰＵにて実行により実現される。暗号化手段３０８、３１７は、専用の論理回路又はＣＰＵで実行により実現される。通信手段３１０，３１１は、専用の論理回路とアナログ回路により実現される。
【００６２】
【発明の効果】
本発明によれば、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影されても、操作にボタン等の簡単な入力装置しかない携帯電話のような携帯型端末でも、移動ボタンにより容易に認識したい文字列画像に移動できるので、再度撮影し直すことたないため文字認識の時間を短縮する効果がある。さらに選択文字列画像の外周を表示することにより次に選択可能な文字列画像を事前に知ることができ、さらに広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末でも画像の拡大および移動を行うことにより、文字列画像選択の時間を短縮する効果がある。
また、認識したい文字列種を指定しておくことにより、画像中に複数の文字列種が混在していても設定した文字列種の文字列画像のみを他の文字列種の文字列画像を飛び越えて選択することが可能であり選択時間の短縮に効果がある。
【００６３】
本発明によれば、例えば日本語文章のように、単語間にスペースが存在しないもじのような場合でも、認識したい文字を選ぶことが可能であり、さらに携帯電話のように操作がボタン等の簡単な入力装置しかない携帯型端末でもボタン操作で容易に認識したい文字を選択することができる効果がある。
【００６４】
また、ペンにより画面上の位置を示すことが可能な携帯型端末において、ペン操作によって、表示手段に表示されている文字列画像が表示されている画面を見ながら、直接ペンで結合または分離したい場所を直接指し示すことができるので文字列画像の編集時間を短縮できる効果がある。
【００６５】
また、携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、誤って文字列画像とされた状態でも、再度撮影しなおすことなく、ボタンの操作で文字列画像を編集することができるため、目的とする文字列画像に対して短時間に文字認識を行うことができる効果がある。
【００６６】
また、メモリ容量が少なく実行速度の遅い端末装置でも、メモリや実行速度に影響がある文字認識処理を、メモリ量が多く実行速度が速いＣＰＵを備えたサーバ装置で実行することにより、文字認識率の向上や、文字認識対象の文字を多くできる効果がある。さらにサーバ装置に送信する画像を、認識したい文字列の画像に限定し、２値化や画像圧縮を行うことにより通信に必要なデータ量が削減でき、送信速度の高速化や、ネットワーク上のエラーによるデータの損失の確率が低くなる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】本発明の第１の実施例を説明する表示例である。
【図３】本発明の第１の実施例の動作を示すフローチャート図である。
【図４】本発明の第１の実施例の文字列選択方法を説明する第１の表示例である。
【図５】本発明の第１の実施例の図４の表示例で用いるデータ構造である。
【図６】本発明の第１の実施例の文字列選択方法を説明する第２の表示例である。
【図７】本発明の第１の実施例の図６の表示例で用いるデータ構造である。
【図８】本発明の第２の実施例を示すブロック図である。
【図９】本発明の第２の実施例を説明する表示例である。
【図１０】本発明の第２の実施例の動作を示すフローチャート図である。
【図１１】本発明の第２の実施例の他の表示例である。
【図１２】本発明の第２の実施例の他の表示例で用いるデータ構造。
【図１３】本発明の第３の実施例を示すブロック図である。
【図１４】本発明の第３の実施例を説明する表示例である。
【図１５】本発明の第３の実施例の動作を示すフローチャート図である。
【図１６】本発明の第４の実施例を示すブロック図である。
【図１７】本発明の第４の実施例を説明する表示例である。
【図１８】本発明の第４の実施例の動作を示すフローチャート図である。
【図１９】本発明の第５の実施例を示すブロック図である。
【図２０】本発明の第５の実施例を説明する表示例である。
【図２１】本発明の第５の実施例の動作を示すフローチャート図である。
【図２２】本発明の第６の実施例を示すブロック図である。
【図２３】本発明の第６の実施例の動作を示す連携図である。
【図２４】本発明の第６の実施例の送受信データである。
【図２５】本発明の携帯端末の一例である。
【符号の説明】
１．画像入力手段、２．表示手段、３．ボタン入力手段、４．ペン入力手段、５．制御手段、６．画像記憶手段、７．文字列検出手段、８．文字列テーブル、９．文字列種検出手段、１０．文字認識手段、１１．中央検索手段、１２．文字位置検出手段。
【発明の属する技術分野】
本発明は、カメラなどの画像入力手段を持った携帯型端末または携帯電話等において、入力した画像中の文字列画像を選択して文字認識をする技術に関する。
【０００２】
【従来の技術】
携帯型端末を用いて、画像入力手段より入力された画像の文字認識をする際には、利用者が端末本体の位置や向きを手動で調整することで、表示部に表示された入力画像の中に認識対象が収まるようにする方法がある。
例えば、特許文献１に記載されているようにカメラを用いた入力画像を用いて文字認識を行い、認識結果を用いて電話の発信、ホームページへの接続、電子メールの送信などを行う方法が提案されている。
【０００３】
また、特許文献２に記載されているように、カメラ等で撮影した画像を表示画面上に表示し、同時にマーカーを表示させマーカーの近傍の文字列に対して文字認識を実行する方法が提案されている。また、認識結果をネットワークに接続された計算機に送り、認識結果に応じて処理結果を携帯端末装置に返送する方法が提案されている。
【０００４】
【特許文献１】特開２００２−１５２６９６号公報
【特許文献２】特開２００３−７８６４０号公報
【発明が解決しようとする課題】
従来の方法は、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影された場合、再度撮影し直す必要があった。
【０００５】
また、広い範囲を撮影し、表示される文字列が小さくなる点を考慮されていなかった。また、画像中に複数の文字列種が混在していても選択できる文字種を選択することを考慮されていなかった。
【０００６】
また、例えば日本語文章のように、単語間にスペースが存在しない文字から一部の文字列を選択する場合、携帯電話などの携帯型端末では内蔵するメモリが少なく、さらにプログラムの実行速度が遅いため、単語辞書の内蔵や文章を解析しながら単語を識別できない課題があった。
【０００７】
また、メモリ容量が少なく実行速度の遅い携帯型端末では、文字認識の精度や、文字認識可能な文字種の制限がある課題があった。
【０００８】
また、メモリが豊富で実行速度が速いサーバ装置上で文字認識を実行する場合、携帯電話などの携帯型端末から文字列を含む画像を送信すると、通信速度が遅いために結果の返信が遅い、通信料が必要であるなどの課題があった。
【０００９】
本発明の目的は、再度撮影し直すことなく、またマーカーによる認識位置を指定することなく、予め認識された文字列画像を選択することにより文字を認識することにあり、かつ、画像中に複数の文字列種が混在していても、認識したい文字種のみを選択して文字認識することにあり、かつ、文字認識の対象となる文字列画像を見やすくすることにある。
また、内蔵するメモリが少なく、さらにプログラムの実行速度が遅い携帯電話などの携帯型端末でも、認識したい文字種に応じて実行するプログラムを選択することにあり、かつ、メモリが豊富で実行速度が速いサーバ装置上で文字認識を実行することにあり、かつ、携帯電話などの携帯型端末からサーバ装置に送信するデータ量を削減し、通信コストや転送速度、通信エラー発生確率を低下することにある。
【００１０】
【課題を解決するための手段】
本発明は、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像がガイドよりはずれて撮影された場合に、再度撮影し直しを行わないために、撮影した画像から文字列が存在する位置を複数検出し、検出した文字列を移動ボタンにより選択可能にしたものである。
【００１１】
本発明はまた、画像入力時に素早く文字認識を行うため、画像入力後直ちに画像中央部に最も近い文字列画像に文字認識を適用したものである。
【００１２】
本発明はまた、広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末で選択した文字列を見やすくするために、選択した文字列画像の一部を拡大および移動して表示するものである。
【００１３】
本発明はまた、画像中に異なる文字種が混在されて表示されている場合に、認識したい文字列種のみ選択して文字認識素早く行うために、文字列画像から文字列種を検出し、指定された文字列種のみ含む文字列画像のみを選択して文字認識を行うものである。
【００１４】
本発明はまた、複数の文字列が混在して選択された文字列画像から、文字認識したい文字列を取り出すために、文字列画像から１文字単位に文字画像を識別し、選択できる手段を設けたものである。
【００１５】
本発明はまた、ペンによる入力手段を持つ携帯型端末において、２つの文字列画像を一つの文字列画像に合成し、または文字列画像を２つの文字列画像に分割するために、ペンのストロークを検出し、ペンの位置が２つの文字列画像の中間を示す場合は左右の文字列画像を合成し、ペンの位置が文字列画像上を示す場合は文字列画像を一文字単位の文字画像に分割し、ペン位置の左右の文字画像を境に文字列画像を分割するものである。
【００１６】
本発明はまた、２つの文字列画像を一つの文字列画像に合成し、さらに文字列画像を２つの文字列画像に分割するために、文字列画像を選択することにより選択した文字列画像の前の文字列画像と合成し、選択した文字列画像を一文字単位の文字画像に分割し、分割したい点の文字画像を選択することにより選択した文字画像を境に文字列画像を分割するものである。
【００１７】
本発明はまた、プログラムメモリが少ない携帯型端末において複数のプログラムを実行し、さらにプログラムの更新を素早く行うために、サーバ装置にプログラムを格納し、携帯型端末での実行に必要なプログラムのみをダウンロードして実行できるようにしたものである。
【００１８】
本発明はまた、プログラムメモリが少ない携帯型端末において文字認識精度を向上させ、さらに通信料の削減や、通信エラーの確率を小さくするために、携帯型端末で画像を撮影し、文字認識を行う文字列画像を選択した後、選択された文字列画像を圧縮してサーバに送信し、サーバで文字列画像に文字認識を適用させるようにしたものである。
【００１９】
本発明はまた、ネットワーク上での盗聴を防止するために、送信データに暗号化を適用するものである。
【００２０】
【発明の実施の形態】
以下、本発明の第１の実施例を図１から図７を用いて詳細に説明する。図１は、本発明の第１の実施例を示すブロック図、図２は、本発明の第１の実施例を説明する表示例、図３は、本発明の第１の実施例の動作を示すフローチャート図、図４は、本発明の第１の実施例の文字列選択方法を説明する第１の表示例、図５は、本発明の第１の実施例の図４の表示例で用いるデータ構造、図６は、本発明の第１の実施例の文字列選択方法を説明する第２の表示例、図７は、本発明の第１の実施例の図６の表示例で用いるデータ構造である。
【００２１】
図１において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像の画像から文字を認識する文字認識手段、１１は、文字列テーブル８に登録された文字列画像の画像中心からの距離を算出し中心に最も近い文字列画像を検索する中央検索手段である。
【００２２】
図２において、３０は、図１の画像記憶手段に記憶された画像の表示例であり、３１は、選択された文字列画像を中心に拡大移動後の表示例である。表示例３０において、２０は図１の表示手段２に表示される表示例、２１は、図１の文字列テーブルに登録された文字列画像の外周を表示する文字列枠、２２は、現在選択された文字列画像の外周を強調して表示する選択文字列枠、２３は、画像表示時に撮影対象の水平および中心を示すガイドマークである。表示例３１において、２４は、拡大表示された画像の全体からの位置を示すサブ画面である。
【００２３】
画像入力手段１のカメラを起動（１００）し、ボタン入力手段３によるボタン入力により画像入力手段１から入力された画像を画像記憶手段６に記憶（１０１）する。文字列検索手段７は、画像記憶手段６に記憶された画像から文字列画像を抽出し文字列画像の座標を文字列テーブルに記録（１０２）する。中央検索手段１１は、文字列テーブル８に記憶された文字列画像の座標と画像中央からの距離を算出し、画像中央に最も近い文字列画像を検索、選択（１０３）し、表示手段２は、選択された画面上の文字列画像の外周を強調枠で強調して表示し（１０４）、必要に応じて選択された文字列画像を表示手段２中央に表示されるように表示位置をスクロールして画面上に拡大し文字列画像の外周を強調枠で強調して表示し、さらに選択されない文字列画像の外周を枠で表示（３１）する。ユーザにより選択された文字列画像が確認されると、選択された文字列画像は、文字認識手段１０により文字が認識（１０５）され認識結果を表示手段２に表示する。
ボタン入力手段３の移動ボタンが押された場合（１０６）、移動ボタンが上ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ前の文字列画像が選択（１０７）され、移動ボタンが下ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ後の文字列画像が選択（１０８）され、表示手段２上に強調表示（１０４）される。
【００２４】
文字列検索手段７は、例えば図４の様に、文字列画像が行単位であれば例えば表示例３２、行を複数の文字列画像で分解されれば例えば表示例３３のように検出し表示することができる。検出された文字列画像は、画像中の文字列画像が左上から順番に番号が振られ、文字列画像の座標が図５の文字列テーブルの例のように登録される。移動ボタンによる操作では、上ボタンでは登録順の小さい方の番号の順に選択、下ボタンでは登録順の大きい方の番号の順に選択する。最も小さい番号が選択された時に上ボタンが押された時は選択される文字を変えない、または最も大きい番号の文字列画像を選択するようにすることもできる。また、最も大きい番号が選択された時に下ボタンが押された時は選択される文字を変えない、または最も小さい番号の文字列画像を選択するようにすることもできる。
【００２５】
文字列テーブル８は、図７のように文字列画像を行と列に分けて登録することもできる。行と列に分けた場合、図６のように移動ボタンを上下左右の４通り用意することも可能である。
【００２６】
また、図２の拡大移動後の表示例３１のように選択された文字列画像を拡大表示する場合、選択された文字列画像の上下左右の文字列画像が表示されるように拡大表示することにより、移動ボタンによる移動先の文字列画像が見えるようにすることも可能である。
【００２７】
また、ペンによる入力手段を設け表示手段２上の文字列画像をペンによる画面タップにて選択することも可能である。
【００２８】
本実施例によれば、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影されても、操作にボタン等の簡単な装置しかない携帯電話のような携帯型端末でも、移動ボタンにより容易に認識したい文字列画像に移動できるので、再度撮影し直すことたないため文字認識の時間を短縮する効果がある。さらに選択した文字列画像の外周を表示することにより次に選択可能な文字列画像を事前に知ることができ、さらに広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末でも画像の拡大および移動を行うことにより、文字列選択の時間を短縮する効果がある。
【００２９】
本発明の第２の実施例を図８から図１２を用いて詳細に説明する。図８は、本発明の第２の実施例を示すブロック図、図９は、本発明の第２の実施例を説明する表示例、図１０は、本発明の第２の実施例の動作を示すフローチャート図、図１１は、本発明の第２の実施例の他の表示例、図１２は、本発明の第２の実施例の他の表示例で用いるデータ構造である。
【００３０】
図８において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、９は、選択された文字列画像の文字列種を調べる文字列種検出手段、１０は、選択された文字列画像から文字を認識する文字認識手段、１１は、文字列テーブル８に登録された文字列画像を画像中心からの距離を算出し中心に近い文字列画像であり、かつ選択された文字列画像から文字列種検出手段９により検出された文字列種が最初に設定された文字列種と一致する文字列画像を選択する中央検出手段である。
【００３１】
文字列種は、例えば電話番号、ＵＲＬ、英単語、Ｅメールアドレス等、所定の表記規則に則った形式で記述されるものである。文字列種の判定には、文字列の文字を認識し、例えば正規表現によるパターンマッチングにより実現できる。文字列種を判定するためには必ずしも文字列全体について文字認識する必要はなく。例えば、電話番号であれば、文字列の一部、例えば先頭の１または複数の文字が数字であることや、数字とハイフンや括弧（ ）があることなどで、判断することができる。ＵＲＬやＥメールアドレスであれば、文字列が「ｈｔｔｐ」や「＠」などＵＲＬやＥメールアドレス特有の表現の文字を含むことなどにより判断することができる。
【００３２】
次に図８のブロック図を図１０のフローチャートを用いて説明する。画像入力手段１のカメラを起動（１００）し、ボタン入力手段３の操作により、検索する文字列種を設定（１１０）し、さらにボタン操作により画像入力手段１から入力された画像を画像記憶手段６に記憶（１０１）する。文字列検索手段７は、画像記憶手段６に記憶された画像から文字列画像を抽出し文字列画像の座標を文字列テーブルに記録（１０２）する。中央検索手段１１は、文字列テーブル８に記憶された文字列画像の座標と画像中央からの距離を算出し、画像中央に近い文字列画像を検索、さらに画像中央に近い順から文字列種検索手段９により文字列画像の文字列種を調べ、当初設定された文字列種と一致する文字列画像を選択（１１５）する。表示手段２は、選択された文字列画像を表示手段２中央に表示されるように表示位置をスクロールすると同時に、画面上に拡大し文字列画像の外周を枠で強調して表示（１０４）、さらに選択されない文字列画像の外周を枠で表示する。選択された文字列画像は、文字認識手段１０により文字が認識（１０５）され認識結果を表示手段２に表示する。ボタン入力手段３の移動ボタンが押された場合（１０６）、移動ボタンが上ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ前の文字列画像を選択（１０７）し、文字列種検索手段９により選択された文字列画像の文字列種を識別（１１１）し、当初設定された文字列種と比較（１１３）、一致しなければ、さらに一つ前の文字列画像を選択（１０７）することを繰り返す。移動ボタンが下ボタンであれば、現在選択されている文字列画像の文字列テーブル８に登録されている一つ後の文字列画像を選択（１０８）し、文字列種検索手段９により選択された文字列画像の文字列種を識別（１１２）し、当初設定された文字列種と比較（１１４）、一致しなければ、さらに一つ後の文字列画像を選択（１０８）することを繰り返す。一致すれば、選択された文字列画像を表示手段２上に強調表示（１０４）する。一致する文字列画像がなければ表示手段２に検索終了の表示を出力することも可能である。
【００３３】
図９は、例えば検索する文字列種を電話番号に設定した場合に、上下のボタンにて電話番号の文字列画像のみ強調表示された例である。携帯電話の場合、検索する文字列種が電話番号であれば、画像中から電話番号のみを順次文字認識して電話を発信することも可能である。
【００３４】
本実施例では、文字列種を選択毎に文字列画像から文字列種を識別しているが、画像入力時に文字列画像を抽出する時に同時に各文字列画像から文字を認識し文字列種を識別しておくこともちろん可能である。この場合、図１２のデータ構造において文字列画像の位置と文字列種を登録しておくことにより、図１１のように表示手段により設定した文字列種と同じ文字列画像のみの外周の枠を表示させることも可能である。
【００３５】
本実施例によれば、認識したい文字列種を指定しておくことにより、画像中に複数の文字列種が混在していても設定した文字列種の文字列画像のみを他の文字列種の文字列画像を飛び越えて選択することが可能であり選択時間の短縮に効果がある。
【００３６】
本発明の第３の実施例を図１３乃至図１５を用いて詳細に説明する。図１３は、本発明の第３の実施例を示すブロック図、図１４は、本発明の第３の実施例を説明する表示例、図１５は、本発明の第３の実施例の動作を示すフローチャート図である。
【００３７】
図１３において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段である。
【００３８】
次に図１３の各部の動作を図１５のフローチャートを用いて説明する。図１４の選択された文字列画像から一部の文字列画像を選択する編集例である。
【００３９】
ボタン入力手段３の操作によりメニューを表示、文字選択を選択（２００）し、文字位置検出手段１２により選択されている文字列画像を１文字単位の画像に分割（２０１）する。ボタン入力手段３の左右の移動ボタンにより文字を選択（２０２）し、先頭文字画像を選択して選択ボタンを押す（２０３）、さらにボタン入力手段３の左右の移動ボタンで末尾の文字画像を選択（２０４）し、ボタン入力手段３の選択ボタンを押す（２０５）、先頭と末尾の文字画像の選択が確定したら（２０５）、ボタン入力手段３の選択ボタンを押し、先頭から末尾の文字画像から文字認識手段１０により文字を認識（２０７）する。
【００４０】
本実施例によれば、例えば日本語文章のように、単語間にスペースが存在しない文字のような場合でも、認識したい文字を選ぶことが可能であり、さらに携帯電話のように操作がボタン等の単純な入力装置しかない携帯型端末でもボタン操作で容易に認識したい文字を選択することができる効果がある。
【００４１】
本発明の第４の実施例を図１６乃至図１８を用いて詳細に説明する。図１６は、本発明の第４の実施例を示すブロック図、図１７は、本発明の第４の実施例を説明する表示例、図１８は、本発明の第４の実施例の動作を示すフローチャート図である。
【００４２】
図１６において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、４は、表示手段２を用いてペンを使って表示画面上の座標とペンの動きを検出するペン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段、１５は、２つの文字列画像を合成する合成手段、１６は、文字列画像を２つの文字列画像に分割する分割手段である。
【００４３】
ペンを用いて表示画面上をポインティングすることにより操作を行うペン入力型の携帯型端末において図１７の選択された文字列画像の結合および分離を行う編集例について、図１６のブロック図を図１８のフローチャートを用いて説明する。
【００４４】
画像入力手段から入力し画像記憶手段に記憶された画像から、文字列検出手段７により文字列画像を抽出し、表示手段２において抽出した文字列画像の外周を枠で表示し、ペン入力手段４がペン入力を待機している状態（２１０）において、ペン入力手段４が、ペンが文字列画像枠内の一点のタップを検出した場合（２１１）は、タップした点を含む文字列画像枠内の文字列画像の文字認識を行い（２０７）、ペン入力手段４は、ペンが線を書くように表示画面上の移動（２１３）を検出した場合、下から上へのペン移動であれば、ペンが通過した場所が、文字列画像の間（２１４）であれば、合成手段１５によりペンが通過した左右の文字列画像を結合し一つの文字列画像とする（２１５）。ペンの移動が上から下であり、かつペンが文字列画像の中を通過（２１６）していれば、文字位置検出手段１２は通過した文字列画像付近の文字間のスペースを識別（２１７）し、分割手段１６はペンが通過した文字間で文字列画像を分割（２１８）する。
【００４５】
本実施例によれば、ペンにより画面上の位置を示すことが可能な携帯型端末において、ペン操作によって、表示手段に表示されている文字列画像が表示されている画面を見ながら、直接ペンで結合または分離したい場所を直接指し示すことができるので文字列画像の編集時間を短縮できる効果がある。
【００４６】
本発明の第５の実施例を図１９乃至図２１を用いて詳細に説明する。図１９は、本発明の第５の実施例を示すブロック図、図２０は、本発明の第５の実施例を説明する表示例、図２１は、本発明の第５の実施例の動作を示すフローチャート図である。
【００４７】
携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、図２０の選択された文字列画像の結合および分離を行う編集例について図１９のブロック図を図１６のフローチャートを用いて説明する。
【００４８】
図１９において、１は、カメラなどの画像入力手段、２は、液晶パネルなどの表示手段、３は、キーボードやボタンなどのボタン入力手段、５は、全体の制御を行う制御手段、６は、入力手段１から入力された画像を記憶する画像記憶手段、７は、画像記憶手段６に記憶された画像から文字列画像の位置を検索する文字列検索手段、８は、文字列検索手段７で取得された文字列画像の画像上の場所を記憶する文字列テーブル、１０は、選択された文字列画像から文字を認識する文字認識手段、１２は、文字列画像から１文字単位の画像に分割する文字位置検出手段、１５は、２つの文字列画像を合成する合成手段、１６は、文字列画像を２つの文字列画像に分割する分割手段である。
【００４９】
次に図１９の各部の動作を図２１のフローチャートを用いて説明する。画像入力手段から入力し画像記憶手段に記憶された画像から、文字列検出手段７により文字列画像を抽出し、表示手段２において抽出した文字列画像の外周を枠で表示した状態において、ボタン入力手段３の上下左右ボタンにより文字列画像を選択（２５０）し、選択している文字列画像でボタン入力手段３の選択ボタンを押した場合（２５１）選択された文字列画像から文字を認識する（２０７）。ボタン入力手段３のメニューボタンによりメニューを表示手段２に表示（２５３）し、メニューの中から結合を選択した場合、合成手段１５は選択されている文字列画像と同一行の前にある文字列画像と結合して一つの文字列画像として再登録（２５４）し、結合した文字列画像を選択状態にする（２５５）。メニューで分割を選択した場合、文字位置検出手段１２は現在選択されている文字列画像内を一文字単位の画像に分割（２５６）し、一文字単位にボタン入力手段３の左右ボタンで分割する文字間の後ろの一文字画像を選択（２５７）し、ボタン入力手段３の選択ボタンを押すことにより（２５８）、分割手段１６は選択した一文字画像の前で文字列画像を分割し、分割した文字を再登録（２５９）し、現在選択している一文字画像を含む文字列画像を選択状態にする（２６０）。
【００５０】
本実施例によれば、携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、誤って文字列画像とされた状態でも、再度撮影しなおすことなく、ボタンの操作で文字列画像を編集することができるため、目的とする文字列画像に対して短時間に文字認識を行うことができる効果がある。
【００５１】
本発明の第６の実施例を図２２乃至図２４を用いて詳細に説明する。図２２は、本発明の第６の実施例を示すブロック図、図２３は、本発明の第６の実施例の動作を示す連携図、図２４は、本発明の第６の実施例の送受信データである。
【００５２】
図２２において、３２０は、携帯電話や携帯端末などの端末装置であり、３２１は、端末装置３２０とインターネットなどネットワークを経由して接続されるサーバ装置である。
端末装置３２０において、３００は、カメラなどの画像入力手段、３０１は、画像入力手段３００にて入力された画像を記憶する画像記憶手段、３０２は、画像を２値化する２値化手段、３０３は、２値化手段３０２で２値化された画像から文字列の領域の画像を抽出する領域抽出手段、３０４は、領域抽出手段３０３により切り抜かれた文字列領域の画像を圧縮する画像圧縮手段、３０５は、サーバ装置３２１からダウンロードする前処理プログラム、３０６は、端末装置３２０を制御するためのボタン等の入力手段、３０７は画像を表示したり結果を表示したりする表示手段、３０８は、送受信するデータの暗号化復号化を行う暗号化手段、３０９は、携帯端末３２０全体の制御を行う制御手段、３１０は、インターネット等へネットワークに接続してサーバと通信を行う通信手段である。
【００５３】
サーバ装置３２１において、３１１は、インターネット等へネットワークに接続して端末装置と通信を行う通信手段、３１２は、サーバ装置３２１の全体を制御する制御手段、３１３は、端末装置３２０で実行する前処理プログラム３０５を記憶するプログラム記憶手段、３１４は、文字列画像から文字を認識する文字認識プログラム、３１５は、端末装置３２０から送信された文字列画像の圧縮された画像を元に復元する画像伸張手段、３１６は、画像伸張手段より伸張された文字列画像から文字を認識する文字認識手段、３１７は、端末装置とサーバ装置間でデータの暗号化復号化を行う暗号化手段である。
【００５４】
図２４において、４００は、端末装置３２０からサーバ装置３２１に送信されるデータのデータ構造の一例の端末装置３２０からの送信データ、４１０は、サーバ装置３２１から端末装置３２０に送信されるデータのデータ構造の一例の端末装置３２０の受信データである。
【００５５】
４００において、４０１は、データ長やデータの種類等、データ全体を識別するデータを含むヘッダ、４０２は、選択された文字列画像の高さ、４０３は、選択された文字列画像の幅、４０４は、文字列の種類を示す文字列種、４０５は、２値化された選択した文字列画像を圧縮した画像データである。
【００５６】
４１０において、４１１は、データ長やデータの種類等、データ全体を識別するデータを含むヘッダ、４１２は、文字列の認識結果、４１３は、文字認識後の文字位置の座標、４１４は、認識結果４１２以外の文字候補である。
【００５７】
図２２の各部の動作を図２３のフローチャート図を用いて詳細に説明する。端末装置３２０は、実行する文字認識の前処理プログラム３０５をサーバ装置３２１に要求（４５０）し、サーバ装置３２１は、前処理プログラム３０５を画像入力手段３００に送信（４５３）する。端末装置３２０は、前処理プログラム３０５を起動（４５５）し、画像入力手段３００から画像を取得（４５６）し、画像記憶手段３０１に一時保存する。画像記憶手段３０１に保存した画像を２値化手段３０２で２値画像化（４５７）した後、領域抽出手段３０３で文字列領域の画像を切り出し（４５８）、入力手段３０６による操作により、文字を認識したい文字列画像を選択（４５９）し、選択した文字列画像を画像圧縮手段３０４で圧縮（４６０）し、圧縮された文字列画像を暗号化手段３０８により暗号化（４６１）かした後、通信手段３１０を経由してサーバ装置３２１に送信データ４００を送信（４６２）する。
【００５８】
サーバ装置３２１は、端末装置３２０から送信された送信データ４００を通信装置３１１で受信（４６３）し、暗号化手段３１７で復号化し、圧縮された選択された文字列画像を伸張手段３１５で伸張（４６５）し、文字認識手段３１６で文字列画像から文字を認識（４６６）した後、文字列認識結果を含む受信データ４１０を、通信手段３１１を経由して端末装置３２０に送信（４６７）する。
【００５９】
端末装置３２０は、サーバ装置３２１から送信された受信データ４１０を通信手段３１０で受信（４６８）し、受信データ４１０に含まれる文字列認識結果を表示手段３０７により表示（４６９）する。
【００６０】
本実施例によれば、メモリ容量が少なく実行速度の遅い端末装置でも、メモリや実行速度に影響がある文字認識処理を、メモリ量が多く実行速度が速いＣＰＵを備えたサーバ装置で実行することにより、文字認識率の向上や、文字認識対象の文字を多くできる効果がある。さらにサーバ装置に送信する画像を、認識したい文字列の画像に限定し、２値化や画像圧縮を行うことにより通信に必要なデータ量が削減でき、送信速度の高速化や、ネットワーク上のエラーによるデータの損失の確率が低くなる効果がある。
【００６１】
第１乃至第５の実施例において、画像入力手段１は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されるカメラ、表示手段２は、液晶や有機ＥＬ等で構成されるパネル、ボタン入力手段３は、押しボタンやタッチパネルやダイアル等、ペン入力手段４は、表示手段２に張られた感圧シートによるペン接触時の抵抗値変化検出や、超音波等を用いたセンサとペンとの距離測定などによる位置検出、画像記憶手段６は、メモリ、文字列テーブル８は、メモリに記憶、により実現される。また、制御手段５、文字列検出手段７、文字列種検出手段９、文字認識手段１０、中央検出手段１１、文字位置検出手段１２、合成手段１５、分割手段１６はＣＰＵにて実行により実現される。
第６の実施例において、画像入力手段３００は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されるカメラ、画像記憶手段３０１やプログラム記憶手段３１３は、メモリ、入力手段３０６は、押しボタンやタッチパネルやペン、表示手段３０７は、液晶や有機ＥＬ等で構成されるパネル、前処理プログラム３０５と文字認識プログラム３１４は、メモリに記憶、により実現される。また、制御手段３０９、３１２、２値化手段３０２、領域抽出手段３０３、画像圧縮手段３０４、画像伸張手段３１５、文字認識手段３１６はＣＰＵにて実行により実現される。暗号化手段３０８、３１７は、専用の論理回路又はＣＰＵで実行により実現される。通信手段３１０，３１１は、専用の論理回路とアナログ回路により実現される。
【００６２】
【発明の効果】
本発明によれば、画面上に複数の文字列画像がある場合や、手ぶれや操作ミスにより認識したい文字列画像が多少ガイドよりはずれて撮影されても、操作にボタン等の簡単な入力装置しかない携帯電話のような携帯型端末でも、移動ボタンにより容易に認識したい文字列画像に移動できるので、再度撮影し直すことたないため文字認識の時間を短縮する効果がある。さらに選択文字列画像の外周を表示することにより次に選択可能な文字列画像を事前に知ることができ、さらに広い範囲を撮影した場合、携帯電話などの表示画面が小さい携帯型端末でも画像の拡大および移動を行うことにより、文字列画像選択の時間を短縮する効果がある。
また、認識したい文字列種を指定しておくことにより、画像中に複数の文字列種が混在していても設定した文字列種の文字列画像のみを他の文字列種の文字列画像を飛び越えて選択することが可能であり選択時間の短縮に効果がある。
【００６３】
本発明によれば、例えば日本語文章のように、単語間にスペースが存在しないもじのような場合でも、認識したい文字を選ぶことが可能であり、さらに携帯電話のように操作がボタン等の簡単な入力装置しかない携帯型端末でもボタン操作で容易に認識したい文字を選択することができる効果がある。
【００６４】
また、ペンにより画面上の位置を示すことが可能な携帯型端末において、ペン操作によって、表示手段に表示されている文字列画像が表示されている画面を見ながら、直接ペンで結合または分離したい場所を直接指し示すことができるので文字列画像の編集時間を短縮できる効果がある。
【００６５】
また、携帯電話などのボタン操作等の簡単な入力装置しかない携帯型端末において、誤って文字列画像とされた状態でも、再度撮影しなおすことなく、ボタンの操作で文字列画像を編集することができるため、目的とする文字列画像に対して短時間に文字認識を行うことができる効果がある。
【００６６】
また、メモリ容量が少なく実行速度の遅い端末装置でも、メモリや実行速度に影響がある文字認識処理を、メモリ量が多く実行速度が速いＣＰＵを備えたサーバ装置で実行することにより、文字認識率の向上や、文字認識対象の文字を多くできる効果がある。さらにサーバ装置に送信する画像を、認識したい文字列の画像に限定し、２値化や画像圧縮を行うことにより通信に必要なデータ量が削減でき、送信速度の高速化や、ネットワーク上のエラーによるデータの損失の確率が低くなる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】本発明の第１の実施例を説明する表示例である。
【図３】本発明の第１の実施例の動作を示すフローチャート図である。
【図４】本発明の第１の実施例の文字列選択方法を説明する第１の表示例である。
【図５】本発明の第１の実施例の図４の表示例で用いるデータ構造である。
【図６】本発明の第１の実施例の文字列選択方法を説明する第２の表示例である。
【図７】本発明の第１の実施例の図６の表示例で用いるデータ構造である。
【図８】本発明の第２の実施例を示すブロック図である。
【図９】本発明の第２の実施例を説明する表示例である。
【図１０】本発明の第２の実施例の動作を示すフローチャート図である。
【図１１】本発明の第２の実施例の他の表示例である。
【図１２】本発明の第２の実施例の他の表示例で用いるデータ構造。
【図１３】本発明の第３の実施例を示すブロック図である。
【図１４】本発明の第３の実施例を説明する表示例である。
【図１５】本発明の第３の実施例の動作を示すフローチャート図である。
【図１６】本発明の第４の実施例を示すブロック図である。
【図１７】本発明の第４の実施例を説明する表示例である。
【図１８】本発明の第４の実施例の動作を示すフローチャート図である。
【図１９】本発明の第５の実施例を示すブロック図である。
【図２０】本発明の第５の実施例を説明する表示例である。
【図２１】本発明の第５の実施例の動作を示すフローチャート図である。
【図２２】本発明の第６の実施例を示すブロック図である。
【図２３】本発明の第６の実施例の動作を示す連携図である。
【図２４】本発明の第６の実施例の送受信データである。
【図２５】本発明の携帯端末の一例である。
【符号の説明】
１．画像入力手段、２．表示手段、３．ボタン入力手段、４．ペン入力手段、５．制御手段、６．画像記憶手段、７．文字列検出手段、８．文字列テーブル、９．文字列種検出手段、１０．文字認識手段、１１．中央検索手段、１２．文字位置検出手段。
Claims (11)
- 画像中の文字の文字認識を行うための携帯型端末であって、
画像入力手段と、
入力された画像を表示する表示手段と、
ユーザによる操作の入力を受け付ける操作入力手段と、
情報処理部とを有し、
該情報処理部は、前記入力された画像から文字列を含む複数の文字列画像を検出し、
前記表示手段は前記検出した文字列画像の位置を前記文字列画像とともに前記表示手段に表示し、
前記情報処理部は、前記複数の文字列画像のうち前記操作入力手段への入力により選択された文字列画像について文字認識を行うことを特徴とする携帯型端末。 - 請求項１記載の携帯型端末において、前記情報処理部は、前記検出された文字列画像の位置情報を用いて前記複数の文字列画像の中で前記画像の中央部に最も近い文字列画像を選択し強調して表示することを特徴とする携帯型端末。
- 請求項１記載の携帯型端末において、前記表示手段は前記選択された前記文字列画像を前記表示手段の表示画面中央に拡大、移動して表示することを特徴とする携帯型端末。
- 請求項１記載の携帯型端末において、
前記情報処理部は、前記複数の文字列画像の少なくとも１つについて該文字列画像に含まれる文字列種を検出し、該検出した文字列種が所定の文字列種と一致するかどうかを判定し、一致すると判定された文字列画像を選択して文字認識を行うことを特徴とする携帯型端末。 - 請求項１記載の携帯型端末において、前記情報処理部は、前記選択した前記文字列画像において、１文字単位に文字位置を検出し、前記操作入力手段により選択された文字位置に基づいて文字列を選択することを特徴とする携帯型端末。
- 請求項１記載の携帯型端末において、前記表示手段の画面上へのペンのタッチによる入力手段と、前記ペンが示す前記表示手段上の位置を検出するペンストローク検出手段とを設け、
前記情報処理部は、前記ペンストローク検出手段により検出された前記ペンが示す位置と前記文字列画像の位置とに基づいて、隣接する複数の文字列画像の合成または文字列画像の分割を行うことを特徴とする携帯型端末。 - 請求項１記載の携帯型端末において、
前記操作入力手段により、前記文字列画像を選択と文字列画像の合成または分割の指示の入力を受け、
前記情報処理部は、文字列画像の合成の場合、選択した前記文字列画像の前又は後の文字列画像と前記合成手段により合成し、文字列分割の場合、選択した前記文字列画像を前記文字位置検出手段により１文字単位の文字位置を識別し、分割したい前記文字位置を選択することにより選択した前記文字位置を境として前記分割手段により文字列画像を分割することを特徴とする携帯型端末。 - 携帯端末で入力された画像から認識された文字列情報に基づいてサーバ装置から該携帯型端末へのダウンロードを行う携帯端末システムであって、
上記携帯端末は、画像入力手段と入力された画像を表示する表示手段と操作入力手段を備え、
前記サーバ装置は、前記携帯端末で実行する文字認識の前処理プログラムの記憶手段と、文字認識処理手段を備え、
前記携帯端末は、前記サーバ装置に前記前処理プログラムを要求し、前記前処理プログラムを前記サーバ装置から前記携帯端末にダウンロードし実行することを特徴とする携帯端末システム。 - 請求項８記載の携帯端末システムにおいて、前記前処理プログラムは、前記画像入力手段から入力された画像を２値化する２値化手段と、前記２値化手段により２値化された画像から文字列を抽出する文字列抽出手段と、前記入力手段により選択された文字列画像を圧縮する圧縮手段を備え、前記圧縮された文字列画像を前記サーバ装置に送信することを特徴とする携帯端末システム。
- 請求項８乃至９記載の携帯端末システムにおいて、前記サーバ装置に送信される前記圧縮された文字列画像は、暗号化されることを特徴とする携帯端末システム。
- 請求項８乃至１０記載の携帯端末システムにおいて、前記サーバ装置が受信した前記圧縮された文字列画像を伸張し文字認識を行うことを特徴とする携帯端末システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003202764A JP4596754B2 (ja) | 2003-07-29 | 2003-07-29 | 文字認識方法とそれを用いた携帯端末システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003202764A JP4596754B2 (ja) | 2003-07-29 | 2003-07-29 | 文字認識方法とそれを用いた携帯端末システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005049920A true JP2005049920A (ja) | 2005-02-24 |
| JP2005049920A5 JP2005049920A5 (ja) | 2006-05-11 |
| JP4596754B2 JP4596754B2 (ja) | 2010-12-15 |
Family
ID=34262347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003202764A Expired - Fee Related JP4596754B2 (ja) | 2003-07-29 | 2003-07-29 | 文字認識方法とそれを用いた携帯端末システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4596754B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012194984A (ja) * | 2006-01-26 | 2012-10-11 | Evryx Technologies Inc | データ取得及び識別のためのシステム及び方法 |
| US8712193B2 (en) | 2000-11-06 | 2014-04-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8792750B2 (en) | 2000-11-06 | 2014-07-29 | Nant Holdings Ip, Llc | Object information derived from object images |
| JP2014186455A (ja) * | 2013-03-22 | 2014-10-02 | Brother Ind Ltd | 操作入力処理プログラム及び操作入力処理方法 |
| WO2015145572A1 (ja) * | 2014-03-25 | 2015-10-01 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| WO2015145571A1 (ja) * | 2014-03-25 | 2015-10-01 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| JP2015233284A (ja) * | 2015-06-10 | 2015-12-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| JPWO2015145570A1 (ja) * | 2014-03-25 | 2017-04-13 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| US10617568B2 (en) | 2000-11-06 | 2020-04-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
-
2003
- 2003-07-29 JP JP2003202764A patent/JP4596754B2/ja not_active Expired - Fee Related
Cited By (97)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9152864B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8948460B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8718410B2 (en) | 2000-11-06 | 2014-05-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8774463B2 (en) | 2000-11-06 | 2014-07-08 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8792750B2 (en) | 2000-11-06 | 2014-07-29 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8798368B2 (en) | 2000-11-06 | 2014-08-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8798322B2 (en) | 2000-11-06 | 2014-08-05 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8824738B2 (en) | 2000-11-06 | 2014-09-02 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US8837868B2 (en) | 2000-11-06 | 2014-09-16 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8842941B2 (en) | 2000-11-06 | 2014-09-23 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8849069B2 (en) | 2000-11-06 | 2014-09-30 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9154694B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8855423B2 (en) | 2000-11-06 | 2014-10-07 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8861859B2 (en) | 2000-11-06 | 2014-10-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8867839B2 (en) | 2000-11-06 | 2014-10-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8873891B2 (en) | 2000-11-06 | 2014-10-28 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8885983B2 (en) | 2000-11-06 | 2014-11-11 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8885982B2 (en) | 2000-11-06 | 2014-11-11 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8923563B2 (en) | 2000-11-06 | 2014-12-30 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8938096B2 (en) | 2000-11-06 | 2015-01-20 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8948459B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9170654B2 (en) | 2000-11-06 | 2015-10-27 | Nant Holdings Ip, Llc | Object information derived from object images |
| US8948544B2 (en) | 2000-11-06 | 2015-02-03 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9014513B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9014512B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9014516B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9014515B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9014514B2 (en) | 2000-11-06 | 2015-04-21 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9020305B2 (en) | 2000-11-06 | 2015-04-28 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9025813B2 (en) | 2000-11-06 | 2015-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9025814B2 (en) | 2000-11-06 | 2015-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9031290B2 (en) | 2000-11-06 | 2015-05-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9031278B2 (en) | 2000-11-06 | 2015-05-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9036862B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9036949B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9036947B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9036948B2 (en) | 2000-11-06 | 2015-05-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9046930B2 (en) | 2000-11-06 | 2015-06-02 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9087240B2 (en) | 2000-11-06 | 2015-07-21 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10772765B2 (en) | 2000-11-06 | 2020-09-15 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9110925B2 (en) | 2000-11-06 | 2015-08-18 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9116920B2 (en) | 2000-11-06 | 2015-08-25 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9135355B2 (en) | 2000-11-06 | 2015-09-15 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9141714B2 (en) | 2000-11-06 | 2015-09-22 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9148562B2 (en) | 2000-11-06 | 2015-09-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10639199B2 (en) | 2000-11-06 | 2020-05-05 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10635714B2 (en) | 2000-11-06 | 2020-04-28 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9154695B2 (en) | 2000-11-06 | 2015-10-06 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9104916B2 (en) | 2000-11-06 | 2015-08-11 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10617568B2 (en) | 2000-11-06 | 2020-04-14 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US8712193B2 (en) | 2000-11-06 | 2014-04-29 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9182828B2 (en) | 2000-11-06 | 2015-11-10 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10509821B2 (en) | 2000-11-06 | 2019-12-17 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9235600B2 (en) | 2000-11-06 | 2016-01-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9244943B2 (en) | 2000-11-06 | 2016-01-26 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9262440B2 (en) | 2000-11-06 | 2016-02-16 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9288271B2 (en) | 2000-11-06 | 2016-03-15 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9311554B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9311552B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings IP, LLC. | Image capture and identification system and process |
| US9311553B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings IP, LLC. | Image capture and identification system and process |
| US9317769B2 (en) | 2000-11-06 | 2016-04-19 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9324004B2 (en) | 2000-11-06 | 2016-04-26 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9330326B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9330328B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9330327B2 (en) | 2000-11-06 | 2016-05-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9336453B2 (en) | 2000-11-06 | 2016-05-10 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9342748B2 (en) | 2000-11-06 | 2016-05-17 | Nant Holdings Ip. Llc | Image capture and identification system and process |
| US9360945B2 (en) | 2000-11-06 | 2016-06-07 | Nant Holdings Ip Llc | Object information derived from object images |
| US10509820B2 (en) | 2000-11-06 | 2019-12-17 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9536168B2 (en) | 2000-11-06 | 2017-01-03 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9578107B2 (en) | 2000-11-06 | 2017-02-21 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US10500097B2 (en) | 2000-11-06 | 2019-12-10 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9613284B2 (en) | 2000-11-06 | 2017-04-04 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US10095712B2 (en) | 2000-11-06 | 2018-10-09 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US10089329B2 (en) | 2000-11-06 | 2018-10-02 | Nant Holdings Ip, Llc | Object information derived from object images |
| US10080686B2 (en) | 2000-11-06 | 2018-09-25 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9785651B2 (en) | 2000-11-06 | 2017-10-10 | Nant Holdings Ip, Llc | Object information derived from object images |
| US9785859B2 (en) | 2000-11-06 | 2017-10-10 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9805063B2 (en) | 2000-11-06 | 2017-10-31 | Nant Holdings Ip Llc | Object information derived from object images |
| US9808376B2 (en) | 2000-11-06 | 2017-11-07 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9824099B2 (en) | 2000-11-06 | 2017-11-21 | Nant Holdings Ip, Llc | Data capture and identification system and process |
| US9844469B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844466B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844468B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| US9844467B2 (en) | 2000-11-06 | 2017-12-19 | Nant Holdings Ip Llc | Image capture and identification system and process |
| JP2012194984A (ja) * | 2006-01-26 | 2012-10-11 | Evryx Technologies Inc | データ取得及び識別のためのシステム及び方法 |
| JP2014186455A (ja) * | 2013-03-22 | 2014-10-02 | Brother Ind Ltd | 操作入力処理プログラム及び操作入力処理方法 |
| US10031667B2 (en) | 2014-03-25 | 2018-07-24 | Fujitsu Limited | Terminal device, display control method, and non-transitory computer-readable recording medium |
| JPWO2015145570A1 (ja) * | 2014-03-25 | 2017-04-13 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| JPWO2015145572A1 (ja) * | 2014-03-25 | 2017-04-13 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| JPWO2015145571A1 (ja) * | 2014-03-25 | 2017-04-13 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| EP3125088A4 (en) * | 2014-03-25 | 2017-03-22 | Fujitsu Limited | Terminal device, display control method, and program |
| CN105917297A (zh) * | 2014-03-25 | 2016-08-31 | 富士通株式会社 | 终端装置、显示控制方法以及程序 |
| WO2015145571A1 (ja) * | 2014-03-25 | 2015-10-01 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| WO2015145572A1 (ja) * | 2014-03-25 | 2015-10-01 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
| JP2015233284A (ja) * | 2015-06-10 | 2015-12-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4596754B2 (ja) | 2010-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9274646B2 (en) | Method and apparatus for selecting text information | |
| US7190833B2 (en) | Mobile device and transmission system | |
| US8880338B2 (en) | Portable electronic device, and method for operating portable electronic device | |
| KR101220709B1 (ko) | 한글 및 한자가 혼용된 문서에 대한 전자 사전 검색 장치 및 방법 | |
| JP2013502861A (ja) | 連絡先情報入力方法及びシステム | |
| EP2704061A2 (en) | Apparatus and method for recognizing a character in terminal equipment | |
| US20110142344A1 (en) | Browsing system, server, and text extracting method | |
| CN110188365B (zh) | 一种取词翻译的方法和装置 | |
| JP4596754B2 (ja) | 文字認識方法とそれを用いた携帯端末システム | |
| US20150324086A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP5989479B2 (ja) | 文字認識装置、文字認識装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| TWI294100B (en) | Mobile handset and the method of the character recognition on a mobile handset | |
| JP4668345B1 (ja) | 情報処理装置、および情報処理装置の制御方法 | |
| JP2006209599A (ja) | 携帯端末、文字読取方法および文字読取プログラム | |
| JP2008217660A (ja) | 検索方法、および装置 | |
| JP5991323B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| KR20090114759A (ko) | 이동통신 단말기의 웹 뷰어 화면 갱신 처리 시스템 및 그방법 | |
| KR20100124952A (ko) | 문자인식을 이용한 휴대형 단말기의 증강현실 기반 실시간 ａｒ컨텐츠 제공시스템 및 그 방법 | |
| CN114998102A (zh) | 图像处理方法、装置及电子设备 | |
| JP2008225676A (ja) | 辞書検索装置及びその制御プログラム | |
| JP2006350964A (ja) | 文字認識装置、文字認識方法、データ変換装置、データ変換方法、文字認識プログラム、データ変換プログラム、並びに文字認識プログラムおよびデータ変換プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US20110109763A1 (en) | Apparatus and method for image registration in portable terminal | |
| US9521228B2 (en) | Mobile electronic apparatus and control method of mobile electronic apparatus | |
| CN104598545A (zh) | 一种文件操作方法 | |
| KR20120063127A (ko) | 데이터확장 휴대단말기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090804 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100921 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |