JP2003216893A - カメラ付携帯情報端末 - Google Patents

Abstract

(57)【要約】 【課題】 静止画像を操作者が撮影するのではなく、操
作者が文字情報を含む映像を映すだけで文字認識しやす
い静止画像を自動的に取り込んで、正確な文字認識が容
易にできるカメラ付携帯情報端末を提供する。 【解決手段】 カメラを用いて撮影部１により撮影され
た動画像から文字認識を行うための静止画像を画像抽出
部２により抽出する。上記画像抽出部２により抽出され
た静止画像について文字認識部３により文字認識を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カメラ機能を付
加したカメラ付携帯情報端末に関する。

【０００２】

【従来の技術】従来、一般的な携帯情報端末としては、
入力方法にタブレットを利用した手書き入力やキーボー
ドを用いたものがある。上記タブレットを利用した手書
き入力では、一文字一文字を手書き入力しながら文字認
識を行う一方、キーボードを用いた入力では、各キーに
文字を割り当てておき、一つのキーを操作することによ
り一文字入力する。

【０００３】また、カメラ等の光学系機器を用いた文字
入力もすでに提案されている。例えば、特開平９−８３
７８９号公報では、静止画像を取り込み文字認識を行
い、その結果、文字認識できない領域に関しては、拡大
化や高解像度化を行った後に文字認識を行う方法が記載
されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記携
帯情報端末では、タブレットやキーボードを使用する場
合、一文字一文字入力を行う必要があり、それらの機器
に不慣れな人にとっては煩わしい操作を行うことにな
り、文字入力に時間がとられるという問題がある。

【０００５】また、カメラ等を用いた文字入力の場合
は、操作者のカメラ撮影技術により文字認識が行いにく
い静止画像を撮影してしまい、文字認識を行えないとい
う場合もある。さらに、スキャナ等を利用して文字認識
を行う場合があるが、スキャナの大きさ等により制限が
かかり、自由に文字認識を行って、文字入力を行うこと
ができない。

【０００６】そこで、この発明の目的は、静止画像を操
作者が撮影するのではなく、操作者が文字情報を含む映
像を映すだけで文字認識しやすい静止画像を自動的に取
り込んで、正確な文字認識が容易にできるカメラ付携帯
情報端末を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、この発明のカメラ付携帯情報端末は、カメラを用い
て動画像を撮影する撮影部と、上記撮影部により撮影さ
れた動画像から文字認識を行うための静止画像を抽出す
る画像抽出部と、上記画像抽出部により抽出された静止
画像について文字認識を行う文字認識部と、上記画像抽
出部により抽出された静止画像について上記文字認識部
により文字認識を行うことによって文字入力を行う文字
入力モードとを備えたことを特徴としている。

【０００８】上記構成のカメラ付携帯情報端末によれ
ば、操作者が動画像を上記撮影部により撮影すると、上
記画像抽出部により自動的に文字認識しやすい静止画像
を抽出するので、静止画像を操作者が撮影することな
く、操作者が映像を映すだけで文字認識しやすい静止画
像を自動的に取り込んで、その抽出された静止画像につ
いて文字認識部により正確な文字認識が容易にできる。

【０００９】また、一実施形態のカメラ付携帯情報端末
は、上記撮影部が撮影している動画像と上記文字認識部
の文字認識結果を２つの画面に分割して表示する表示部
を備えたことを特徴としている。

【００１０】上記実施形態のカメラ付携帯情報端末によ
れば、上記表示部の表示画面を分割し、カメラ画像と文
字認識結果をリアルタイムに表示するので、撮影してい
る画像に対して、携帯情報端末が正確に文字認識を行え
ているかどうかを操作者がすぐに確認できる。

【００１１】また、一実施形態のカメラ付携帯情報端末
は、入力すべき文字情報全てを１つの画面で撮影できな
いとき、カメラ付携帯情報端末本体を動かして上記入力
すべき文字情報の範囲を撮影すると、上記画像抽出部に
より抽出された静止画像の走査位置を検出する位置検出
部を備えたことを特徴としている。

【００１２】上記実施形態のカメラ付携帯情報端末によ
れば、撮影画像の幾つかの点に注目し、それらの点が時
系列にどのように移動しているかを測定し、現在の静止
画像と過去の静止画像との位置関係を把握することによ
って、上記位置検出部は、撮影した画像の走査位置を検
出するので、入力したい文字情報全てをカメラを動かし
ながら撮影しても、現在撮影している文字情報が全体の
どの部分を表しているのか的確に把握でき、各静止画像
の文字情報の関連づけが容易にできる。したがって、各
静止画像の文字情報を結合して、文字情報の全てを認識
することができる。

【００１３】また、一実施形態のカメラ付携帯情報端末
は、上記位置検出部は、本体の動きを検出する動きセン
サーを有し、上記動きセンサーにより検出された本体の
動きに基づいて、上記画像抽出部により抽出された静止
画像の走査位置を検出することを特徴としている。

【００１４】上記実施形態のカメラ付携帯情報端末によ
れば、上記動きセンサーにより本体の動きを検出し、現
在の静止画像と過去の静止画像との位置関係を把握する
ことによって、カメラを動かしながら文字情報を撮影し
ても、現在撮影している文字情報が全体のどの部分を表
しているのか的確に把握でき、各静止画像の文字情報の
関連づけが容易にできる。

【００１５】また、一実施形態のカメラ付携帯情報端末
は、動画撮影時に文字認識ができない操作を行ったと
き、上記操作の命令を拒否し、上記表示部の表示画面
に、文字認識ができない操作であることを表示すること
を特徴としている。

【００１６】上記実施形態のカメラ付携帯情報端末によ
れば、動画撮影時の操作により文字認識が困難な画像が
撮影されると、その時点で行った操作を拒否し、上記表
示部の表示画面にその旨を表示するので、例えば拡大さ
れた大き過ぎる文字情報のように認識が困難な文字情報
であることを操作者に知らせることができる。

【００１７】また、一実施形態のカメラ付携帯情報端末
は、上記画像抽出部により抽出された静止画像について
上記文字認識部により文字認識を行うことによって文字
入力を行う文字入力モードと、上記撮影部により動画像
の撮影を行う撮影モードのいずれか一方の動作モードに
設定するモード設定部を備えたことを特徴としている。

【００１８】上記実施形態のカメラ付携帯情報端末によ
れば、文字入力を行う場合は、上記モード設定部によっ
て文字入力モードに動作モードを設定して、上記画像抽
出部により抽出された静止画像について上記文字認識部
により文字認識を行う一方、動画像の撮影を行う場合
は、上記モード設定部によって撮影モードに動作モード
を設定するので、操作者の選択により文字入力と動画撮
影の両方が行える。

【００１９】また、一実施形態のカメラ付携帯情報端末
は、動画撮影時に文字認識ができない操作を行うとき、
上記表示部の表示画面に、文字認識ができない操作であ
ることを表示し、上記モード設定部により上記文字入力
モードから上記撮影モードに切り替えることを特徴とし
ている。

【００２０】上記実施形態のカメラ付携帯情報端末によ
れば、文字認識が困難な画像を撮影すると、その時点で
行った操作を拒否し、上記表示部の表示画面にその旨を
表示し、文字入力モードから撮影モードに切り替えるの
で、例えば拡大されて大き過ぎる文字情報のように認識
が困難な文字情報であることを操作者に知らせ、そのま
ま撮影モードで動画像の撮影を続けることができる。

【００２１】

【発明の実施の形態】以下、この発明のカメラ付携帯情
報端末を図示の実施の形態により詳細に説明する。 （第１実施形態）図１はこの発明の第１実施形態のカメ
ラ付携帯情報端末のカメラ入力部の構成を示すブロック
図であり、１はカメラを用いて動画像の撮影を行う撮影
部、２は上記撮影部１により撮影された動画像から静止
画像を抽出する画像抽出部、３はパターンマッチング等
の文字認識手法を用いて文字認識を行う文字認識部、４
は携帯情報端末機能等の制御を行うＣＰＵ(中央処理装
置)、５は上記ＣＰＵ４からの表示データを表示する表
示部、６はＲＯＭ(リード・オンリー・メモリー)、７は
ＲＡＭ(ランダム・アクセス・メモリー)、８は文字入力
モード・撮影モード(ズームイン/アウト)などの操作指
令を操作者が直接入力する入力部、１３は文字入力モー
ドや撮影モード等の動作モードの設定を行うモード設定
部、１４はカメラ制御部である。

【００２２】上記ＲＯＭ６は、文字認識プログラムやカ
メラ制御プログラム・文字コード変換プログラム等を格
納するのに使用される。また、上記ＲＡＭ７は、カメラ
付携帯情報端末の各ユーザープログラム,単語辞書デー
タ,動画像の一時記憶メモリと静止画像記憶メモリと静
止画像の文字コード記憶メモリおよび移動経路記憶メモ
リ等として使用される。

【００２３】また、図２は上記ＣＰＵ４の動作を説明す
るフローチャートであり、以下、図１および図２に基づ
いてカメラ付携帯情報端末の文字入力について説明を行
う。

【００２４】まず、ステップＳ１で文字入力モードの設
定か否かを判定し、操作者により入力部８が操作されて
文字入力モードが設定されると、ステップＳ２に進み、
モード設定部１３により文字入力モードを設定する。 次に、ステップＳ３に進み、カメラ制御部１４により撮
影部１を制御し、動画像を撮影して、撮影された動画像
を画像抽出部２に入力する。 次に、ステップＳ４に進み、撮影された動画像から画像
抽出部２により静止画像を抽出する。 そして、ステップＳ５で、抽出された静止画像で文字認
識できるかどうかを判定し、その結果、文字認識できれ
ば、ステップＳ６に進む一方、文字認識ができなければ
ステップＳ３に戻り、静止画像抽出を繰り返す。この場
合、撮影部１の動画像の撮影は連続的に行われているの
で、順次新たな静止画像を抽出する。 そして、ステップＳ６で、抽出された静止画像は文字認
識部３に入力され、パターンマッチング等の文字認識を
行い、ステップＳ７に進み、携帯情報端末用の文字コー
ド化を行う。そうして、変換された文字コードを表示部
５により表示する。

【００２５】例えば、携帯情報端末を電子辞書とする
と、英語の資料等を読んでいるときに分からない英単語
が出てきたときに、電子辞書の文字入力モードのボタン
を操作者が押すと、電子辞書はモード設定部１３を使用
して文字入力モードに切り替え、カメラ制御部１４を使
用してカメラを起動し、動画像の撮影を始める。操作者
は、目的の英単語をカメラで映すと、電子辞書が自動的
に静止画像を抽出する。電子辞書が自動的に静止画像を
抽出するプロセスとしては、動画像が入力されたときに
まず一度静止画像として抽出し、その静止画像に対して
エッジの検出を行う。その結果、エッジの検出が全領域
に対して良好に行えた場合は、その静止画像に対して文
字認識を行う。また、静止画像に対してエッジの検出が
行えない場合は、ある一定時間待機し、その後、動画像
から静止画像を抽出し、前記のエッジ検出を行う。この
プロセスを繰り返すことにより、操作者による手ぶれな
どによって発生する文字認識率の低下を抑えることが可
能である。抽出された静止画像に対して文字認識部３を
使用して文字領域の切り出しを行い、その文字領域に対
して従来からあるパターンマッチング等の文字認識手法
を用いて英単語の文字コードを獲得する。そうして獲得
された英単語を表示部５により表示し、同時に辞書機能
を使用して英単語の語彙を表示部５により表示する。

【００２６】このように、上記撮影部１により文字情報
を含む動画像を撮影すると、画像抽出部２により自動的
に文字認識しやすい静止画像を抽出するので、静止画像
を操作者が撮影することなく、操作者が映像を映すだけ
で文字認識しやすい静止画像を取り込んで、その抽出さ
れた静止画像について文字認識部３により正確な文字認
識が容易にできる。

【００２７】（第２実施形態）次に、この発明の第２実
施形態のカメラ付携帯情報端末について説明する。な
お、この第２実施形態のカメラ付携帯情報端末は、ＣＰ
Ｕ４の動作を除いて第１実施形態のカメラ付携帯情報端
末と同一の構成をしており、図１については説明を省略
し、図１を援用する。

【００２８】また、図３は上記カメラ付携帯情報端末の
ＣＰＵ４の動作を説明するフローチャートであり、以
下、図１および図３に基づいてカメラ付携帯情報端末の
文字入力について説明を行う。

【００２９】まず、ステップＳ１１で文字入力モードの
設定か否かを判定し、操作者により入力部８が操作され
て文字入力モードが設定されると、ステップＳ１２に進
み、モード設定部１３により文字入力モードを設定す
る。 次に、ステップＳ１３に進み、カメラ制御部１４により
撮影部１を制御して、動画像を撮影して、撮影された動
画像を画像抽出部２に入力する。 次に、ステップＳ１５に進み、撮影された動画像から画
像抽出部２により静止画像を抽出する。 次に、ステップＳ１４に進み、入力された動画像を表示
部５の上半分に表示する。 次に、ステップＳ１６に進み、抽出された静止画像が文
字認識できるかどうかを判定し、その結果、文字認識で
きれば、ステップＳ１７に進み、静止画像は文字認識部
３に入力され、パターンマッチング等の文字認識を行
う。一方、ステップＳ１６で文字認識ができなければス
テップＳ１５に戻り、静止画像抽出を繰り返す。 次に、ステップＳ１８に進み、携帯情報端末用の文字コ
ード化を行う。 そして、ステップＳ１９に進み、変換された文字コード
を表示部５に送り、表示部５の下半分に表示する。

【００３０】このように、上記第２実施形態のカメラ付
携帯情報端末は、第１実施形態のカメラ付携帯情報端末
と同様の効果を有すると共に、上記表示部５の表示画面
を分割して、カメラ画像と文字認識結果をリアルタイム
に表示するので、操作者は、文字認識結果を動画像と比
較しながら確認することができる。

【００３１】（第３実施形態）次に、この発明の第３実
施形態のカメラ付携帯情報端末おいて、一度にカメラに
撮影できないような多量の文字情報を図４や図５のよう
に携帯情報端末を動かしながら撮影(動画像)し、携帯情
報端末に文字入力する処理について図６を用いて説明を
行う。なお、この第２実施形態のカメラ付携帯情報端末
は、ＣＰＵ４の動作を除いて第１実施形態のカメラ付携
帯情報端末と同一の構成をしており、図１については説
明を省略し、図１を援用する。上記ＣＰＵ４とＲＯＭ６
およびＲＡＭ７で位置検出部を構成している。

【００３２】また、図６は上記カメラ付携帯情報端末の
ＣＰＵ４の動作を説明するフローチャートであり、以
下、図１および図６に基づいてカメラ付携帯情報端末の
文字入力について説明を行う。

【００３３】また、ステップＳ２１で文字入力モードの
設定か否かを判定し、操作者により入力部８が操作され
て文字入力モードが設定されると、ステップＳ２２に進
み、モード設定部１３により文字入力モードを設定す
る。 次に、ステップＳ２３に進み、カメラ制御部１４により
撮影部１を制御し、動画像を撮影して、撮影された動画
像を画像抽出部２に入力する。 次に、ステップＳ２４に進み、撮影された動画像から画
像抽出部２により静止画像を抽出する。 次に、ステップＳ２５で機器が移動したか否かを判定
し、機器が移動したと判定すると、ステップＳ２６に進
み、抽出された複数の静止画像情報から、特徴のあるパ
ターン(文字や図形など)を抽出して、そのパターンが時
系列でどのように移動したかを表す動きベクトルを検出
する。 次に、ステップＳ２７に進み、動きベクトルで表される
機器移動経路を記録して、ステップＳ２８に進む。 一方、ステップＳ２５で機器が移動しないと判定する
と、ステップＳ２８に進む。 そして、ステップＳ２８に進み、ステップＳ２４で抽出
された静止画像から文字認識できるか否かを判別し、文
字認識できるならば、ステップＳ２９に進む一方、文字
認識ができないならば、ステップＳ２４に戻る。 また、ステップＳ２９に進み、静止画像に対して文字認
識部３を用いて文字認識を行い、ステップＳ３０に進
み、静止画像毎に文字コード化を行う。 次に、ステップＳ３１に進み、動き検出か否かを判別す
る。すなわち、得られた文字コードに対して移動経路が
記録されているか否かを判別して、移動経路が記録され
ているときは、ステップＳ３２に進む一方、移動経路が
記録されていないときは、処理を終了する。 そして、ステップＳ３２では、認識した結果(静止画像
毎に文字コード)を元の情報と同じになるように結合す
る。

【００３４】上記ステップＳ２４における動画像から静
止画像を抽出する作業は、抽出済みの静止画像のあるパ
ターンが無くなる前に新たに静止画像を抽出するように
する。

【００３５】例えば、図７の画像１のような情報があ
り、操作者が携帯情報端末を文字入力モードに切り替え
て、画像１をからのように携帯情報端末を移動しな
がら撮影した場合、からに移動したと判明する材料
として、の特徴である雪の情報がある一定分現画像か
ら無くなった場合にの静止画像の抽出を行う。この作
業をからへの移動やからへの移動に関しても同
様に繰り返しながら静止画像を抽出していく。また、移
動経路の記憶においては、静止画像からへの雪の動
きベクトルを計算し、携帯情報端末がどのように移動し
たかをメモリに逐次記録しておく。記録形式としては、
最初の静止画像の点をＸＹ座標(０,０)として記録して
おき、この点からどの方向にどれだけ移動したかをＸＹ
座標で記録しておく。この作業を繰り返すことにより、
携帯情報端末の移動経路を記憶できるようになる。ま
た、静止画像の文字が認識できた場合は、文字をコード
化しておき、情報を入力終了した後で移動経路より文字
コードの結合を行い、重複している文字コードの削除な
どを行う。

【００３６】このように、上記第３実施形態のカメラ付
携帯情報端末は、第１実施形態のカメラ付携帯情報端末
と同様の効果を有すると共に、入力すべき文字情報全て
を１つの画面で撮影できないとき、カメラ付携帯情報端
末本体を動かしながら文字情報を撮影し、現在撮影して
いる文字情報が全体のどの部分を表しているのか的確に
把握することにより、各静止画像の文字情報の関連づけ
が容易にでき、各静止画像の文字情報を結合して、文字
情報の全てを認識することができる。

【００３７】（第４実施形態）次に、この発明の第４実
施形態のカメラ付携帯情報端末おいて、一度にカメラに
撮影できないような多量の文字情報を図４や図５のよう
に携帯情報端末を動かしながら撮影(動画像)し、携帯情
報端末に文字入力する処理について図８を用いて説明を
行う。なお、この第２実施形態のカメラ付携帯情報端末
は、ＣＰＵ４の動作および第１〜第４センサー９〜１２
を除いて第１実施形態のカメラ付携帯情報端末と同一の
構成をしており、図１については説明を省略し、図１を
援用する。

【００３８】上記第１〜第４センサー９〜１２は、加速
度センサー等を用いた本体の動きを検出する動きセンサ
ーであり、各第１〜第４センサー９〜１２が３方向(前
後,左右および上下)の動きをそれぞれ検出し、各第１〜
第４センサー９〜１２の検出結果を例えば平均化するこ
とにより、検出精度が向上するようにしている。なお、
前後方向の１方向の動きを検出するセンサーと、左右方
向の１方向の動きを検出するセンサーと、上下方向の１
方向の動きを検出するセンサーをそれぞれ１つ用いて、
本体の動きを検出する動きセンサーとしてもよい。上記
ＣＰＵ４とＲＯＭ６とＲＡＭ７および第１〜第４センサ
ー９〜１２で位置検出部を構成している。

【００３９】また、図８は上記カメラ付携帯情報端末の
ＣＰＵ４の動作を説明するフローチャートであり、以
下、図１および図８に基づいてカメラ付携帯情報端末の
カメラ入力について説明を行う。

【００４０】一度にカメラに撮影できないような多量の
文字情報を図４や図５のように携帯情報端末を動かしな
がら動画像を撮影して、携帯情報端末に文字入力する場
合について図８を用いて説明を行う。

【００４１】まず、ステップＳ４１で文字入力モードの
設定か否かを判定し、操作者により入力部８が操作され
て文字入力モードが設定されると、ステップＳ４２に進
み、モード設定部１３は文字入力モードを設定する。 次に、ステップＳ４３に進み、カメラ制御部１４により
撮影部１を制御し、動画像を撮影して、撮影された動画
像を画像抽出部２に入力する。 次に、ステップＳ４４に進み、撮影している動画像から
画像抽出部２により複数の静止画像を抽出する。 次に、ステップＳ４５で機器が移動したか否かを判定す
る。すなわち、ステップＳ４３の動画像の撮影時に動き
センサーとしての第１〜第４センサー９〜１２(加速度
センサー等)を使用して、本体の動きを検出しておき、
その検出結果に基づいて移動の有無を判定する。そし
て、ステップＳ４５で機器が移動したと判定すると、ス
テップＳ４６に進み、携帯情報端末の現時点からの移動
方向および移動距離を検出する。 次に、ステップＳ４７に進み、機器移動経路を記録す
る。すなわち、静止画像毎に検出された移動方向および
移動距離を移動経路としてＲＡＭ７に保存して、ステッ
プＳ４８に進む。 一方、ステップＳ４５で機器が移動していないと判定す
ると、ステップＳ４８に進む。 次に、ステップＳ４８で、ステップＳ４４において抽出
された複数の静止画像から文字認識できるか否かを判別
し、文字認識できるならば、ステップＳ４９に進む一
方、文字認識ができないならば、ステップＳ４４に戻
る。 次に、ステップＳ４９に進み、複数の静止画像に対して
文字認識部３を用いて文字認識を行い、ステップＳ５０
に進み、静止画像毎の文字コード化を行う。 次に、ステップＳ５１に進み、動き検出か否かを判別す
る。すなわち、得られた文字コードに対して移動経路が
記録されているか否かを判別して、移動経路が記録され
ているときは、ステップＳ５２に進む一方、移動経路が
記録されていないときは、処理を終了する。 そして、ステップＳ５２で、認識した結果(静止画像毎
の文字コード)を元の文字情報と同じになるように結合
する。

【００４２】また、動画像から静止画像を抽出する作業
も、携帯情報端末がある一定距離を動く前に新たに静止
画像を抽出するようにする。

【００４３】このように、上記第４実施形態のカメラ付
携帯情報端末は、第１実施形態のカメラ付携帯情報端末
と同様の効果を有すると共に、動きセンサー９〜１２に
より本体の動きを検出し、現在の静止画像と過去の静止
画像との位置関係を把握することによって、カメラを動
かしながら文字情報を撮影しても、現在撮影している文
字情報が全体のどの部分を表しているのか的確に把握で
き、各静止画像の文字情報の関連づけが容易にでき、各
静止画像の文字情報を結合して、文字情報の全てを認識
することができる。

【００４４】（第５実施形態）図９はこの発明の第５実
施形態のカメラ付携帯情報端末の動作を示すフローチャ
ートである。この第５実施形態では、上記第１実施形態
や第２実施形態のように文字認識を行っているときに、
操作者によりズームインやズームアウト等の操作が行わ
れ、その結果、文字認識を行うことができない場合の処
理について図９を用いて説明を行う。

【００４５】まず、ステップＳ６１で文字入力モードの
設定か否かを判定し、操作者により入力部８が操作され
て文字入力モードが設定されると、ステップＳ６２に進
み、モード設定部１３により文字入力モードを設定す
る。 次に、ステップＳ６３に進み、カメラ制御部１４により
撮影部１を制御し、動画像を撮影して、撮影された動画
像を画像抽出部２に入力する。 次に、ステップＳ６４に進み、撮影された動画像から画
像抽出部２により静止画像を抽出する。 そして、ステップＳ６５で上記抽出された静止画像につ
いて文字認識ができるか否かを判別して、抽出された静
止画像について文字認識が不可能な場合、ステップＳ６
８に進み、その静止画像を得るために操作者がズームイ
ンまたはズームアウト等のカメラ操作を行ったか否かを
判定する。その結果、カメラ操作が行われていれば、ス
テップＳ６９に進み、文字認識ができないとの旨を表示
部５により表示する一方、カメラ操作が行われていない
ときは、ステップＳ６４に戻る。 次に、ステップＳ７０に進み、直前のカメラ操作を拒否
する。その後、ステップＳ６４に戻り、動画像から静止
画像を抽出して文字認識を行う。 一方、ステップＳ６５で文字認識ができる場合、ステッ
プＳ６６に進み、静止画像に対して文字認識部３を用い
て文字認識を行い、ステップＳ７７に進み、文字コード
への変換を行い、この処理を終了する。

【００４６】このように、上記第５実施形態のカメラ付
携帯情報端末は、第１実施形態のカメラ付携帯情報端末
と同様の効果を有すると共に、動画撮影時の操作により
文字認識が困難な画像を撮影すると、その時点で行った
操作を拒否し、表示部５の表示画面にその旨を表示する
ので、認識が困難な文字情報であることを操作者に知ら
せることができる。

【００４７】（第６実施形態）図１０はこの発明の第６
実施形態のカメラ付携帯情報端末の動作を示すフローチ
ャートである。この第６実施形態では、上記第１実施形
態や第２実施形態のように文字認識を行っているとき
に、操作者によりズームインやズームアウトが行われ、
その結果、文字認識を行うことができない場合の処理に
ついて図１０を用いて説明を行う。

【００４８】まず、ステップＳ７１で文字入力モードの
設定か否かを判定し、操作者により入力部８が操作され
て文字入力モードが設定されると、ステップＳ７２に進
み、モード設定部１３により文字入力モードを設定す
る。 次に、ステップＳ７３に進み、カメラ制御部１４は撮影
部１を制御して、動画像を撮影して、撮影された動画像
を画像抽出部２に入力する。 次に、ステップＳ７４に進み、撮影された動画像から画
像抽出部２により静止画像を抽出する。 そして、ステップＳ７５で文字認識ができるか否かを判
別して、抽出された静止画像について文字認識が不可能
な場合、ステップＳ７８に進み、その静止画像を得るた
めに操作者がズームインまたはズームアウト等のカメラ
操作を行ったか否かを判定する。その結果、カメラ操作
が行われていれば、ステップＳ７９に進み、文字認識が
できないとの旨を表示部５により表示して、ステップＳ
８０に進む。一方、カメラ操作が行われていなければ、
ステップＳ７３に戻り、動画像から静止画像を抽出して
文字認識を行う。 次に、ステップＳ８０で、文字入力モードから通常のカ
メラ撮影モードに移行して、ステップＳ７１に戻る。 一方、ステップＳ７５で文字認識ができる場合、ステッ
プＳ７６に進み、静止画像に対して文字認識部３を用い
て文字認識を行い、ステップＳ７７に進み、文字コード
化を行う。

【００４９】このように、上記第６実施形態のカメラ付
携帯情報端末は、第１実施形態のカメラ付携帯情報端末
と同様の効果を有すると共に、文字認識が困難な画像を
撮影すると、その時点で行った操作を拒否し、表示部５
の表示画面にその旨を表示すると共に、文字入力モード
から撮影モードに切り替えるので、認識が困難な文字情
報であることを操作者に知らせ、そのまま撮影モードで
動画像の撮影を続けることができる。

【００５０】上記第１実施形態では、カメラ付携帯情報
端末として電子辞書について説明したが、ＰＤＡ(Perso
nal Digital Assistance)や携帯電話等のカメラ付携帯
情報端末にこの発明を適用してもよい。

【００５１】

【発明の効果】以上より明らかなように、この発明のカ
メラ付携帯情報端末によれば、携帯情報端末が動画像か
ら自動的に静止画像の抽出を行うことにより、文字認識
が容易にかつ正確にできる。

【００５２】また、文字認識結果を表示部に表示するこ
とで操作者が文字認識結果を把握しやすい。

【００５３】また、多量の文字情報を一度に動画像で撮
影することにより文字認識するので、一度に多くの文字
情報を入力することができる。

【００５４】また、動かした携帯情報端末の走査位置を
把握することにより、文字情報の撮影を自由に行うこと
ができる。

【００５５】また、文字入力モード中に誤ってズームイ
ン・ズームアウトを行っても、携帯情報端末が自動的に
拒否することにより、文字認識を行いやすい。

【００５６】また、文字入力を行う場合は、モード設定
部によって文字入力モードに動作モードを設定して、抽
出された静止画像について文字認識を行う一方、動画像
の撮影を行う場合は、モード設定部によって撮影モード
に動作モードを設定するので、操作者が必要な機能(文
字入力機能と動画撮影機能)を選択することができる。

【００５７】また、文字認識が困難な操作(例えば大き
過ぎる文字情報に拡大する操作)を行う場合は、モード
設定部により文字入力ではなく普通の撮影を行う撮影モ
ードに自動的に移行できる。

【図面の簡単な説明】

【図１】 図１はこの発明の第１実施形態のカメラ付携
帯情報端末のカメラ入力部のブロック図である。

【図２】 図２は上記カメラ付携帯情報端末の動作を説
明するフローチャートである。

【図３】 図３はこの発明の第２実施形態のカメラ付携
帯情報端末の動作を説明するフローチャートである。

【図４】 図４は上記カメラ付携帯情報端末の多量の情
報撮影方法を説明するための図である。

【図５】 図５は上記カメラ付携帯情報端末の多量の情
報撮影方法を説明するための図である。

【図６】 図６はこの発明の第３実施形態のカメラ付携
帯情報端末の動作を説明するフローチャートである。

【図７】 図７は上記カメラ付携帯情報端末の多量の情
報撮影方法を説明するための図である。

【図８】 図８はこの発明の第４実施形態のカメラ付携
帯情報端末の動作を説明するフローチャートである。

【図９】 図９はこの発明の第５実施形態のカメラ付携
帯情報端末の動作を説明するフローチャートである。

【図１０】 図１０はこの発明の第６実施形態のカメラ
付携帯情報端末の動作を説明するフローチャートであ
る。

【符号の説明】

１…撮影部、 ２…画像抽出部、 ３…文字認識部、 ４…ＣＰＵ、 ５…表示部、 ６…ＲＯＭ、 ７…ＲＡＭ、 ８…入力部、 ９…第１センサー、 １０…第２センサー、 １１…第３センサー、 １２…第４センサー、 １３…モード設定部、 １４…カメラ制御部。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｍ 11/00 ３０２ Ｈ０４Ｍ 11/00 ３０２ 11/10 11/10 Ｆターム(参考） 5B029 BB02 CC27 5B064 AA07 BA01 CA08 5K027 AA11 FF01 FF22 HH29 MM00 5K036 AA07 DD22 DD48 JJ01 JJ13 KK00 5K101 LL12 NN06 NN18

Claims (7)

【特許請求の範囲】
1. 【請求項１】 カメラを用いて動画像を撮影する撮影部
   と、 上記撮影部により撮影された動画像から文字認識を行う
   ための静止画像を抽出する画像抽出部と、 上記画像抽出部により抽出された静止画像について文字
   認識を行う文字認識部とを備えたことを特徴とするカメ
   ラ付携帯情報端末。
2. 【請求項２】 請求項１に記載のカメラ付携帯情報端末
   において、 上記撮影部が撮影している動画像と上記文字認識部の文
   字認識結果を２つの画面に分割して表示する表示部を備
   えたことを特徴とするカメラ付携帯情報端末。
3. 【請求項３】 請求項１または２に記載のカメラ付携帯
   情報端末において、 入力すべき文字情報全てを１つの画面で撮影できないと
   き、カメラ付携帯情報端末本体を動かして上記入力すべ
   き文字情報の範囲を撮影すると、上記画像抽出部により
   抽出された静止画像の走査位置を検出する位置検出部を
   備えたことを特徴とするカメラ付携帯情報端末。
4. 【請求項４】 請求項３に記載のカメラ付携帯情報端末
   において、 上記位置検出部は、本体の動きを検出する動きセンサー
   を有し、上記動きセンサーにより検出された本体の動き
   に基づいて、上記画像抽出部により抽出された静止画像
   の走査位置を検出することを特徴とするカメラ付携帯情
   報端末。
5. 【請求項５】 請求項１乃至４のいずれか１つに記載の
   カメラ付携帯情報端末において、 動画撮影時に文字認識ができない操作を行ったとき、上
   記操作の命令を拒否し、上記表示部の表示画面に、文字
   認識ができない操作であることを表示することを特徴と
   するカメラ付携帯情報端末。
6. 【請求項６】 請求項１乃至４のいずれか１つに記載の
   カメラ付携帯情報端末において、 上記画像抽出部により抽出された静止画像について上記
   文字認識部により文字認識を行うことによって文字入力
   を行う文字入力モードと、上記撮影部により動画像の撮
   影を行う撮影モードのいずれか一方の動作モードに設定
   するモード設定部を備えたことを特徴とするカメラ付携
   帯情報端末。
7. 【請求項７】 請求項６に記載のカメラ付携帯情報端末
   において、 動画撮影時に文字認識ができない操作を行うとき、上記
   表示部の表示画面に、文字認識ができない操作であるこ
   とを表示し、上記モード設定部により上記文字入力モー
   ドから上記撮影モードに切り替えることを特徴とするカ
   メラ付携帯情報端末。