【０００１】
本発明は、携帯電話機の文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：ＯＣＲ）機能に関し、特に、認識した数字の処理を行う文字認識機能付き携帯電話機に関する。
【０００２】
【従来の技術】
従来、携帯電話機の備えられた撮像手段のより文字情報が含まれる映像を画像データとして撮像し、自動文字認識によりテキストデータに変換することが知られており、また、画像データから文字認識により得た数字データを使用して発呼動作を行う携帯電話機が知られている（特許文献１、非特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−１８２９９号公報
【非特許文献１】
ＮＥＣ：プレスリリース：２００２年１１月２０日−１ ＮＥＣ Ｅｍｐｏｗｅｒｅｄ ｂｙ ｉｎｎｏｖａｔｉｏｎ．プレスリリース 「有効画素数３１万画素の高画質カメラと２．２インチＴＦＴ高精細液晶を搭載した携帯電話の発売について」〜新機能カメラによる文字データ取り込みやリモコン機能を搭載〜 １／４−４／４ページ ［平成１５年４月１２日検索］，
インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｎｅｃ．ｃｏ．ｊｐ／ｐｒｅｓｓ／ｊａ／０２１１／２００１．ｈｔｍｌ＞
【０００４】
図７は、従来例のＯＣＲ動作のフローチャートを示す図である。
カメラを起動した後にＯＣＲ機能を起動し（ｓ７０１，７０２）、カメラにより文字を撮像する（ｓ７０３）。撮像された文字は文字認識され（ｓ７０４）、液晶表示装置（ＬＣＤ）に表示される（ｓ７０５）。ここで、ＬＣＤに表示された文字に誤認識があった場合は（ｓ７０６）、キー入力により文字を修正する（ｓ７１０）。文字認識されＬＣＤに表示された文字が問題ないと判断されたならば、確定キー等の任意のキーによって表示データを取り込み（ｓ７０７）、取り込んだデータをＬＣＤに表示する。再度文字を撮像してデータを取り込むときには（ｓ７０８）、同様の文字認識の処理、表示及び修正の処理を行い（ｓ７０３〜ｓ７０７）、最終的に最新のデータをＬＣＤに表示する（ｓ７０９）。最終的にＬＣＤに表示されたデータが電話番号であった場合には、そのデータから発呼動作を行い、またインターネット接続電話機であれば、最終的にＬＣＤに表示されたデータがＵＲＬであった場合には、そのデータからインターネットに接続することが可能である。
【０００５】
【発明が解決しようとする課題】
しかし、前述の従来の文字認識機能を有する携帯電話機では、カメラにて撮像され、ＯＣＲ機能により文字認識されたデータは電話番号の場合に発呼動作に利用することを可能とするものに限られていた。
【０００６】
本発明の目的は、各種の演算を可能とする文字認識機能付き携帯電話機を提供することにある。
本発明の目的は、文字認識により得られた数字データを任意に演算することを可能とした文字認識機能付き携帯電話機を提供することにある。
本発明の目的は、カメラにて撮像され、ＯＣＲ機能により文字認識された数字を使用して計算することを可能とし、計算用入力に電卓のようにキーによる数字データの入力を不要とする文字認識機能付き携帯電話機を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の文字認識機能付き携帯電話機は、カメラ付き携帯電話機のＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能により、撮像して文字認識された数字について、撮像して文字認識された毎に演算しＬＣＤに表示していくものであり、電卓のキーによる数字入力に相当する処理部分にカメラにて撮像され文字認識された数字を用いる。即ち、
【０００８】
本発明の文字認識機能付き携帯電話機は、カメラ部を備える文字認識機能付き携帯電話機であって、カメラ部で撮影した撮影画像を入力し文字認識により数字データを選択的に出力するＯＣＲ機能部（例えば図１の１、７）と、撮影画像の入力毎に出力される数字データを、当該出力以前に出力された数字データ又はその演算結果に対し演算する演算機能部（例えば図１の１、８）と、前記演算機能部の演算結果を表示する表示部（例えば図１の１、４）と、を備えることを特徴とする。
【０００９】
また、前記演算機能部は、撮影画像の入力毎に出力される数字データを順次積算する演算を行うことを特徴とし、予め設定された演算処理の手順に基づき撮影画像の入力毎に出力される数字データを当該出力以前に出力された数字データ又はその演算結果に対し四則演算又は関数演算を行うことを特徴とし、演算処理の指示を行うキー操作部（例えば図１の２）を備え、前記演算機能部は、撮影画像の入力毎に出力される数字データに対し、それぞれの演算処理の指示に応じた演算を行うことを特徴とする。
【００１０】
更に、前記キー操作部からの操作により撮影画像の数字部分の選択又は数字データの選択及び文字認識の誤りの訂正を可能としたこと、及び演算処理に為替レートの換算を含む金銭計算又は税金額を加味した金銭計算を行うことを特徴とする。
【００１１】
より具体的には、カメラ付き携帯電話機において、カメラ機能及びＯＣＲ機能を起動し、カメラにて文字を撮像し、撮像された文字を文字認識し、数字のみをＬＣＤに表示する。ここで、ＬＣＤに表示された数字が誤認識があった場合には、キー入力により数字を修正することを可能とする。文字認識されＬＣＤに表示された数字に問題がないと判断されたならば、確定キー等の任意のキーによって表示データを取り込み、既存の積算データへ積算（初回のみ０（ゼロ）へ積算）し、積算後のデータをＬＣＤに表示する。再度撮像してデータを取り込むときには、上述の文字認識および積算の処理を繰り返し、最終的に積算後のデータをＬＣＤに表示することを特徴とする（図１参照）。
【００１２】
【発明の実施の形態】
（構成の説明）
図１は、本実施の形態の文字認識機能付き携帯電話機の外観を示す図である。
携帯電話機の前面には、使用者が各種設定等を行うキー操作部と、カメラ部と、各種の設定画面、カメラ部で撮影した画像やＯＣＲ読み取りデータ、計算結果のデータを表示するための液晶表示部と、が設けられている。
【００１３】
図２は、携帯電話機の内部回路の構成を示すブロック図である。プログラム及び各種データを記憶するメモリやハードディスク等で構成する記憶部３と、携帯電話機の各種の設定画面、送信及び受信に関連する各種表示及び数字データの表示、数字の演算結果等を表示する液晶表示部（ＬＣＤ）４と、機能設定操作、データの入力等、各種の入力操作を行うためのキー操作部２と、電波を送受し基地局と無線通信を行うためのアンテナとを有する無線部５と、撮影用のカメラ部６と、カメラ部６からの撮影画像データを入力し、撮影画像データの文字認識を行いキャラクタデータに変換して出力する文字認識部（ＯＣＲ部）７と、数字データを入力し所定の演算を行う演算部８と、携帯電話機の各種機能及び前記各部をソフトウエアにより制御し動作させる制御部１とから構成される。各部の機能は以下のとおりである。
【００１４】
記憶部３は、制御部１における携帯電話機の各種機能を実現する制御用及びアプリケーション用のプログラム及び本発明の撮影画像データ、文字認識処理プログラム及び文字認識により得られた数字データ、数字データの演算処理プログラム等を記録する機能を有する。
【００１５】
キー操作部２は、テンキー、機能キー及び各種スイッチ類等で構成され、制御部３１に対し各種の設定、ダイヤル入力、文書入力等に加え、カメラシャッター操作等の操作機能を有する。
【００１６】
ＬＣＤ４は、制御部１から表示情報を入力し、通話及びメール等に加え、撮影画像、文字認識により変換後のデータ等、各種情報を表示し、また、各種設定画面の表示を行う機能を有する。無線部５は、基地局との間で無線通信を行い、制御部１からの送信信号を変調して基地局に送信し、基地局から受信した受信信号及び各種の制御信号等を復調して制御部３１に出力する通信機能を有する。
【００１７】
カメラ部６は、制御部１により制御され、キー操作部２からの操作により撮影機能が起動され撮影画像を出力する。ＯＣＲ部７は制御部１により制御され、文字認識機能を備え、制御部１から入力した撮影画像をテキストデータ等に変換して出力する。演算部８は、ＯＣＲ部７で文字認識したテキストデータの数字データに関し以前に抽出した数字データ又はその演算結果のデータと演算して制御部１に出力する。
【００１８】
制御部１は、記憶部３に記憶されたプログラム及び各種のデータにより動作し、基地局との間の電話及びメール等の通信のための発着信等の通信制御機能、文書作成機能等、携帯電話機の殆どの制御機能を有し、特に、ＯＣＲ機能及び演算機能に関して、キー操作部２からの設定操作により、カメラ部６で撮影した画像データ又はカメラ部６等で撮影し記憶部３に記憶した画像データを入力してＯＣＲ部７に転送し、テキストデータ等に変換し、テキストデータから数字データを抽出しＬＣＤ４に表示するとともに、演算部８に転送し演算結果を入力してＬＣＤ４に表示する等の制御機能を有する。数値データの抽出はキー操作部２から選択するように構成することもできる。
【００１９】
（動作の説明）
以下、本発明の実施の形態の文字認識機能付き携帯電話機の機能、動作について図を参照して説明する。
図３は、第１の実施の形態の文字認識機能付き携帯電話機の動作のフローチャートを示す図である。文字認識をするためのＯＣＲ機能および加算機能を含む演算（計算）機能とにより、撮影画像の文字認識データから数字データを選択して、前回までの数字データに対し、所定の計算を施し、計算結果をＬＣＤに表示する動作を示している。
【００２０】
カメラ付き携帯電話機において、カメラ部６のカメラ機能を起動した後（ｓ３０１）、ＯＣＲ部７のＯＣＲ機能を起動し（ｓ３０２）、カメラ部６にて文字を撮像する（ｓ３０３）。撮像された文字はＯＣＲ部７で文字認識され（ｓ３０４）、数字のみＬＣＤ４に表示される（ｓ３０５）。ここで、ＬＣＤ４に表示された数字が誤認識であった場合には（ｓ３０６）、キー操作部２により数字を修正することが可能である（ｓ３１２）。文字認識されＬＣＤ４に表示された数字が正しい（問題がない）と判断されたならば（ｓ３０６）、確定キー等によって表示データを取り込み（ｓ３０７）、例えば既存の積算データ（初回のみ０）に積算し（ｓ３０８）、積算の後データをＬＣＤ４に表示する（ｓ３０９）。再度の撮像によりデータを取り込み演算を行うときには（ｓ３１０）、上述撮影から積算までの処理（ｓ３０３〜ｓ３０９）を繰り返し、最終的に積算後の最終合計データをＬＣＤ４に表示する（ｓ３１１）。
【００２１】
（他の実施の形態）
次に、本発明の他の実施の形態について図を参照して説明する。
図４は、第２の実施の形態の動作のフローチャートを示す図である。従来のＯＣＲ機能と本発明の演算機能の両方を備える実施の形態の例である。
カメラ部６のカメラ機能を起動した後に（ｓ４０１）、通常のＯＣＲモード（通常ＯＣＲモード）又は積算するＯＣＲモード（積算ＯＣＲモード）の何れかの選択を行い（ｓ４０２）、通常ＯＣＲモードを選択した場合は（ｓ４１４）、ＯＣＲ部７のＯＣＲ機能を起動し（ｓ４１５）、カメラ部６にて文字を撮像する（ｓ４１６）。撮像された文字は文字認識され（ｓ４１７）、ＬＣＤ４に表示される（ｓ４１８）。ここで、ＬＣＤ４に表示された文字に誤認識があった場合には（ｓ４１９）、キー操作部２により文字データを修正することが可能である（ｓ４２３）。文字認識されＬＣＤ４に表示された文字に問題がないと判断されたならば（ｓ４１９）、確定キー等によって表示データを取り込み（ｓ４２０）、取り込んだデータをＬＣＤ４に表示する。再度の撮像によりデータを取り込むときには（ｓ４２１）、撮像から表示データの取り込みまでを繰り返し（ｓ４１６〜ｓ４２０）、最終的に最新データをＬＣＤ４に表示する（ｓ４２２）。
【００２２】
ステップｓ４０２において、積算ＯＣＲモードを選択したときには（ｓ４０３）、ＯＣＲ部７の機能を起動し（ｓ４０４）、カメラ部６にて文字を撮像し（ｓ４０５）、撮像された文字は文字認識され（ｓ４０６）、数字データのみＬＣＤ４に表示される（ｓ４０７）。ここで、ＬＣＤ４に表示された数字に誤認識があった場合には（ｓ４０８）、キー操作部２により数字を修正することが可能である（ｓ４１４）。文字認識されＬＣＤ４に表示された数字に問題がないと判断されたならば（ｓ４０８）、確定キー等によって表示データを取り込み（ｓ４０９）、既存の積算データ（初回のみ０）へ積算し（ｓ４１０）、積算後のデータをＬＣＤ４に表示する（ｓ４１１）。再度の撮像によりデータを取り込むときには（ｓ４１２）、撮像から積算後のデータの表示までの処理（ｓ４０５〜ｓ４１０）を繰り返し、最終的に積算後の最終合計データをＬＣＤ４に表示する（ｓ４１３）。
【００２３】
図５は、第３の実施の形態の動作のフローチャートを示す図である。本実施の形態は、撮像し文字認識されたデータを電卓のように四則演算等の計算を行うことを可能とするものである。
カメラ付き携帯電話機において、カメラ部６のカメラ機能を起動した後（ｓ５０１）、ＯＣＲ部７の機能を起動し（ｓ５０２）、カメラ部６にて文字を撮像する（ｓ５０３）。撮像された文字は文字認識され（ｓ５０４）、数字のみがＬＣＤ４に表示される（ｓ５０５）。ここで、ＬＣＤ４に表示された数字に誤認識があった場合には（ｓ５０６）、キー操作部２により数字を修正することが可能である（ｓ５１２）。文字認識されＬＣＤ４に表示された数字に問題がないと判断されたならば（ｓ５０６）、確定キー等によって表示データを取り込み（ｓ５０７）、予め設定された四則演算（四則演算の場合は初回は例えば０に加算）や指数関数等の関数演算を行い（ｓ５０８）、撮像を継続しない場合は（ｓ５０９）、計算結果を表示する（ｓ５１１）。再度の撮像によりデータを取り込み演算を行う場合は（ｓ５０９）、キー操作部２により次に取り込むデータに関して、四則演算の選択又は関数演算の選択を行い（ｓ５１０）、撮影から演算までの処理（ｓ５０３〜ｓ５０８）を繰り返し、ステップｓ５０８では、ステップｓ５１０で選択した演算を既存のデータ等に行い、最終的に撮像を継続しなくなったら（ｓ５０９）、計算結果データをＬＣＤ４に表示する（ｓ５１１）。以上により撮像から文字認識および四則演算や指数関数等のキー操作部２からの入力に応じた計算を繰り返し、最終的に計算後のデータをＬＣＤ４に表示する。
【００２４】
図６は、第４の実施の形態の動作のフローチャートを示す図である。本実施の形態は撮像する被写体がバーコードの場合の例である。カメラ付き携帯電話機において、カメラ部６のカメラ機能を起動した後（ｓ６０１）、ＯＣＲ宇７の機能を起動し（ｓ６０２）、カメラ部６にてバーコードを撮像する（ｓ６０３）。撮像されたバーコードは文字として認識され（ｓ６０４）、ＬＣＤ４に表示される（ｓ６０５）。ここで、ＬＣＤ４に表示された文字に誤認識があった場合には（ｓ６０６）、キー操作部２により文字を修正することが可能である（ｓ６１２）。文字として認識されＬＣＤ４に表示された文字に問題がないと判断されたならば（ｓ６０６）、確定キー等によって表示データを取り込み（ｓ６０７）、既存の積算データ（初回のみ０）へ積算し（ｓ６０８）、積算の後データをＬＣＤ４に表示する（ｓ６０９）。再度のバーコードの撮像によりデータを取り込むときには（ｓ６１０）、撮影から積算後のデータの表示までのバーコード認識および積算を繰り返し（ｓ６０３〜ｓ６０９）、最終的に積算後の最終合計データをＬＣＤ４に表示する（ｓ６１１）。
【００２５】
以上の実施の形態の使用例としては、数多くの買い物をする際などに購入しようとする品物の概算の合計金額がわからなくなりがちであるが、このようなときに商品の値札を一つずつ撮像していく操作により品物の合計金額を容易に算出することができる。このような使用例で分かるように、本発明によれば電卓のような細かなキー入力操作等が不要となる。
【００２６】
また、撮像対象が金額の数字であり金額（金銭）計算の場合に、金額の通貨記号の「￥」や「＄」等の記号を文字認識で判断して、数字データの抽出に利用したり、この数字データの取り込み時に、予め登録されたレートによって日本円での計算結果を算出するように演算処理を設定するように構成することが可能である。また、金額の単位である「百」、「千」、「万」等の記号の文字認識データにより、単位別の計算結果を算出する等、計算データとして利用するように構成することができる。
更に、最終の合計金額に消費税を加算したデータを算出して表示させるように構成することが可能である。
以上の実施の形態において、撮影、文字認識及び演算の対象として、漢数字（一、二、三・・・）、その他、各種の数字表記方法のものを対象とすることができることは云うまでもない。
【００２７】
【発明の効果】
本発明によれば、カメラ付き携帯電話機のカメラ機能、ＯＣＲ機能により撮像し文字認識した数字について、撮像し文字認識する毎に繰り返し積算する等、所望演算を行うように構成しているから、当該演算の対象となる画像を単に撮影するだけで、簡単にＬＣＤに表示し且つ演算結果が得られ、キー入力等の煩雑な操作を不要とし、使い勝手の良い数値演算が携帯電話機により実現することが可能である。すなわち、電卓のキーによる数字入力に相当する処理部分をカメラ部にて撮像することにより数字データに変換でき、且つ演算結果も直ちに得ることを可能としている。
【００２８】
また、演算機能としては、撮影画像の入力毎に得られる数字データを自動的に順次積算する演算に限らず、予め設定された演算処理の手順に基づき撮影画像の入力毎に出力される数字データを当該出力以前に出力された数字データ又はその演算結果に対し四則演算又は関数演算等を行うように構成することが可能であり、更に、撮影画像の入力毎に得られる数字データに対し、キー操作部から演算処理の内容を順次指示するように構成することにより、任意の演算が可能となる。
【００２９】
また、通貨単位、税率等を加味した演算処理を行うように構成することにより為替レートの換算を含む金額（金銭）計算又は税金額を加味した金額計算を行うことも可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態の文字認識機能付き携帯電話機の外観を示す図である。
【図２】本実施の形態の携帯電話機の内部回路の構成を示すブロック図である。
【図３】第１の実施の形態の動作のフローチャートを示す図である。
【図４】第２の実施の形態の動作のフローチャートを示す図である。
【図５】第３の実施の形態の動作のフローチャートを示す図である。
【図６】第４の実施の形態の動作のフローチャートを示す図である。
【図７】従来例のＯＣＲ動作のフローチャートを示す図である。
【符号の説明】
１ 制御部
２ キー操作部
３ 記憶部
４ 液晶表示部
５ 無線部
６ カメラ部
７ ＯＣＲ部
８ 演算部[0001]
The present invention relates to a character recognition (Optical Character Reader: OCR) function of a mobile phone, and more particularly, to a mobile phone with a character recognition function for processing recognized numbers.
[0002]
[Prior art]
Conventionally, it has been known that a video including character information is captured as image data by an image capturing means provided in a mobile phone, and is converted into text data by automatic character recognition. A mobile phone that performs a calling operation using numeric data is known (see Patent Literature 1 and Non-Patent Literature 1).
[0003]
[Patent Document 1]
JP-A-2003-18299 [Non-Patent Document 1]
NEC: Press release: November 20, 2002-1 NEC Enhanced by innovation. Press Release “Release of Mobile Phone with High Quality Camera with Effective Pixels of 310,000 Pixels and 2.2-inch TFT High-Definition Liquid Crystal”-Equipped with Character Data Capture and Remote Control Function with New Function Camera- / 4 page [Search on April 12, 2003],
Internet <http: // www. nec. co. jp / press / ja / 0211/2001. html>
[0004]
FIG. 7 is a diagram showing a flowchart of the OCR operation of the conventional example.
After activating the camera, the OCR function is activated (s701, 702), and characters are imaged by the camera (s703). The captured characters are recognized (s704) and displayed on a liquid crystal display (LCD) (s705). Here, if the characters displayed on the LCD are erroneously recognized (s706), the characters are corrected by key input (s710). If the characters are recognized and the characters displayed on the LCD are determined to have no problem, display data is fetched by using an arbitrary key such as a decision key (s707), and the fetched data is displayed on the LCD. When capturing characters and capturing data again (s708), similar character recognition processing, display and correction processing are performed (s703 to s707), and finally the latest data is displayed on the LCD (s709). If the data finally displayed on the LCD is a telephone number, a calling operation is performed from the data. If the data is an Internet-connected telephone, the data finally displayed on the LCD is a URL. In that case, it is possible to connect to the Internet from the data.
[0005]
[Problems to be solved by the invention]
However, in the above-mentioned conventional mobile phone having a character recognition function, data captured by a camera and character-recognized by the OCR function is limited to data that can be used for a calling operation in the case of a telephone number. I was
[0006]
An object of the present invention is to provide a mobile phone with a character recognition function that enables various calculations.
An object of the present invention is to provide a mobile phone with a character recognition function that can arbitrarily calculate numeric data obtained by character recognition.
An object of the present invention is to enable characters to be calculated by using numbers captured by a camera and recognized by the OCR function, and to eliminate the need for inputting numerical data by keys, such as a calculator, for calculation input. It is to provide a mobile phone with a recognition function.
[0007]
[Means for Solving the Problems]
The mobile phone with a character recognition function of the present invention calculates and displays on a LCD each time a character is picked up and character-recognized by an OCR (Optical Character Reader) function of a camera-equipped mobile phone. In the processing part corresponding to the number input by the keys of the calculator, the numbers captured by the camera and recognized as characters are used. That is,
[0008]
A mobile phone with a character recognition function according to the present invention is a mobile phone with a character recognition function including a camera unit, and an OCR function unit that inputs an image captured by the camera unit and selectively outputs numeric data by character recognition ( For example, 1 and 7 in FIG. 1 and an arithmetic function unit (for example, 1 and 2 in FIG. 1) that calculates numeric data output for each input of a captured image with respect to the numeric data output before the output or the calculation result thereof 8), and a display unit (for example, 1 and 4 in FIG. 1) for displaying a calculation result of the calculation function unit.
[0009]
Further, the arithmetic function unit performs an arithmetic operation for sequentially integrating numerical data output each time a captured image is input, and is output for each input of a captured image based on a preset calculation processing procedure. A numerical operation unit for performing an arithmetic operation or an arithmetic operation on the numerical data output before the output or the operation result thereof, comprising a key operation unit (e.g., 2 in FIG. 1) for instructing the operation processing; The arithmetic function unit performs an arithmetic operation on numeric data output each time a captured image is input, according to an instruction of each arithmetic processing.
[0010]
Further, it is possible to select a numeric part of the photographed image or select numeric data and correct an error in character recognition by operating the key operation unit, and to perform a monetary calculation or a tax amount including an exchange rate conversion in the arithmetic processing. It is characterized by performing a monetary calculation in consideration of
[0011]
More specifically, in the camera-equipped mobile phone, the camera function and the OCR function are activated, characters are captured by the camera, the captured characters are recognized, and only numerals are displayed on the LCD. Here, when the number displayed on the LCD is erroneously recognized, the number can be corrected by key input. If it is determined that there is no problem with the characters displayed on the LCD after character recognition, the display data is fetched with an arbitrary key such as the enter key and integrated into the existing integrated data (only the first time is integrated into 0 (zero)). The data after the integration is displayed on the LCD. When capturing data again by capturing an image, the above-described character recognition and integration processing is repeated, and finally the integrated data is displayed on the LCD (see FIG. 1).
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
(Description of configuration)
FIG. 1 is a diagram illustrating an appearance of a mobile phone with a character recognition function according to the present embodiment.
On the front of the mobile phone, a key operation section for the user to make various settings, a camera section, various setting screens, a liquid crystal for displaying images taken by the camera section, OCR read data, and calculation result data And a display unit.
[0013]
FIG. 2 is a block diagram showing a configuration of an internal circuit of the mobile phone. A storage unit 3 including a memory or a hard disk for storing programs and various data, various setting screens of a mobile phone, various displays related to transmission and reception, a display of numeric data, a liquid crystal for displaying numeric calculation results, and the like. A radio unit having a display unit (LCD) 4, a key operation unit 2 for performing various input operations such as a function setting operation and data input, and an antenna for transmitting and receiving radio waves and performing radio communication with a base station. 5, a camera unit 6 for photographing, a photographing image data from the camera unit 6, a character recognizing unit (OCR unit) 7 for performing character recognition of the photographed image data, converting it into character data, and outputting the character data, and a numeral. It comprises an operation unit 8 for inputting data and performing a predetermined operation, and a control unit 1 for controlling and operating various functions of the mobile phone and the respective units by software. The function of each part is as follows.
[0014]
The storage unit 3 is a control and application program for realizing various functions of the mobile phone in the control unit 1, the photographed image data of the present invention, a character recognition processing program, and numerical data obtained by character recognition, and arithmetic of numerical data. It has a function of recording a processing program and the like.
[0015]
The key operation unit 2 includes ten keys, function keys, various switches, and the like, and has an operation function such as a camera shutter operation in addition to various settings, dial input, document input, and the like for the control unit 31.
[0016]
The LCD 4 has a function of inputting display information from the control unit 1, displaying various information such as a photographed image, data converted by character recognition, and the like, in addition to a call and an email, and displaying various setting screens. . The wireless unit 5 performs wireless communication with the base station, modulates a transmission signal from the control unit 1 and transmits the modulated signal to the base station, and demodulates a received signal received from the base station and various control signals. It has a communication function for outputting to the control unit 31.
[0017]
The camera unit 6 is controlled by the control unit 1, and a photographing function is activated by an operation from the key operation unit 2 to output a photographed image. The OCR unit 7 is controlled by the control unit 1 and has a character recognition function. The OCR unit 7 converts a photographed image input from the control unit 1 into text data or the like and outputs the data. The arithmetic unit 8 calculates the numerical data of the text data recognized by the OCR unit 7 with the previously extracted numerical data or the data of the operation result, and outputs the result to the control unit 1.
[0018]
The control unit 1 operates according to the programs and various data stored in the storage unit 3, and performs communication control functions such as outgoing / incoming calls for communication such as telephone calls and e-mails with the base station; It has most of the control functions of the telephone, and particularly, regarding the OCR function and the calculation function, by setting operation from the key operation unit 2, image data photographed by the camera unit 6 or photographed by the camera unit 6 and stored in the storage unit 3. The input image data is input and transferred to the OCR unit 7, converted into text data and the like, numeric data is extracted from the text data and displayed on the LCD 4, and also transferred to the calculation unit 8 and the calculation result is input and displayed on the LCD 4. It has a control function such as performing. The numerical data can be extracted from the key operation unit 2.
[0019]
(Description of operation)
Hereinafter, functions and operations of the mobile phone with a character recognition function according to the embodiment of the present invention will be described with reference to the drawings.
FIG. 3 is a diagram illustrating a flowchart of the operation of the mobile phone with the character recognition function according to the first embodiment. With the OCR function for character recognition and the calculation (calculation) function including the addition function, numerical data is selected from the character recognition data of the photographed image, and a predetermined calculation is performed on the numerical data up to the previous time, and the calculation is performed. The operation of displaying the result on the LCD is shown.
[0020]
In the camera-equipped mobile phone, after activating the camera function of the camera unit 6 (s301), the OCR function of the OCR unit 7 is activated (s302), and characters are imaged by the camera unit 6 (s303). The imaged characters are recognized by the OCR unit 7 (s304), and only numbers are displayed on the LCD 4 (s305). Here, if the number displayed on the LCD 4 is incorrectly recognized (s306), the number can be corrected by the key operation unit 2 (s312). If it is determined that the characters are recognized and the numbers displayed on the LCD 4 are correct (there is no problem) (s306), the display data is fetched by a decision key or the like (s307), for example, integrated with the existing integrated data (0 only at the first time). Then, the data after the integration is displayed on the LCD 4 (s309). When data is taken in by re-imaging and calculation is performed (s310), the above-described processing from photographing to integration (s303 to s309) is repeated, and finally the final total data after integration is displayed on the LCD 4 (s311).
[0021]
(Other embodiments)
Next, another embodiment of the present invention will be described with reference to the drawings.
FIG. 4 is a diagram illustrating a flowchart of an operation according to the second embodiment. It is an example of an embodiment having both the conventional OCR function and the arithmetic function of the present invention.
After activating the camera function of the camera unit 6 (s401), either the normal OCR mode (normal OCR mode) or the OCR mode for integrating (integrated OCR mode) is selected (s402), and the normal OCR mode is selected. In this case (s414), the OCR function of the OCR unit 7 is activated (s415), and characters are imaged by the camera unit 6 (s416). The captured characters are recognized (s417) and displayed on the LCD 4 (s418). Here, if the characters displayed on the LCD 4 are erroneously recognized (s419), the character data can be corrected by the key operation unit 2 (s423). If it is determined that there is no problem with the characters displayed on the LCD 4 after the character recognition (s419), the display data is fetched by a decision key or the like (s420), and the fetched data is displayed on the LCD 4. When the data is captured by re-imaging (s421), the processes from the imaging to the capture of the display data are repeated (s416 to s420), and the latest data is finally displayed on the LCD 4 (s422).
[0022]
In step s402, when the integrated OCR mode is selected (s403), the function of the OCR unit 7 is activated (s404), and a character is imaged by the camera unit 6 (s405), and the character is recognized (s406). ), Only the numerical data is displayed on the LCD 4 (s407). Here, when the number displayed on the LCD 4 is incorrectly recognized (s408), the number can be corrected by the key operation unit 2 (s414). If it is determined that the characters are recognized and there are no problems with the numbers displayed on the LCD 4 (s408), the display data is fetched by using a decision key or the like (s409), and integrated into the existing integrated data (0 only for the first time) (s410). Then, the integrated data is displayed on the LCD 4 (s411). When data is taken in again by imaging (s412), the processing from imaging to display of the integrated data (s405 to s410) is repeated, and finally the totalized data after integration is displayed on the LCD 4 (s413).
[0023]
FIG. 5 is a diagram showing a flowchart of the operation of the third embodiment. In the present embodiment, it is possible to perform calculations such as four arithmetic operations on data obtained by imaging and character recognition like a calculator.
In the camera-equipped mobile phone, after activating the camera function of the camera unit 6 (s501), the function of the OCR unit 7 is activated (s502), and characters are captured by the camera unit 6 (s503). The imaged characters are recognized as characters (s504), and only the numbers are displayed on the LCD 4 (s505). Here, if the number displayed on the LCD 4 is incorrectly recognized (s506), the number can be corrected by the key operation unit 2 (s512). If it is determined that the characters are recognized and the numbers displayed on the LCD 4 have no problem (s506), the display data is fetched using a decision key or the like (s507), and the four arithmetic operations set in advance (in the case of the four arithmetic operations, for example, for the first time, A function operation such as an addition to 0) or an exponential function is performed (s508), and if imaging is not continued (s509), the calculation result is displayed (s511). In the case where data is taken in by re-imaging and calculation is performed (s509), selection of four arithmetic operations or function calculation is performed for the data to be taken in next by the key operation unit 2 (s510), and processing from photographing to calculation (s503). To s508) are repeated, and in step s508, the operation selected in step s510 is performed on the existing data and the like. When the imaging is finally not continued (s509), the calculation result data is displayed on the LCD 4 (s511). As described above, from the imaging, the character recognition and the calculation according to the input from the key operation unit 2 such as the four arithmetic operations and the exponential function are repeated, and finally the data after the calculation is displayed on the LCD 4.
[0024]
FIG. 6 is a diagram showing a flowchart of the operation of the fourth embodiment. This embodiment is an example in a case where a subject to be imaged is a barcode. In the mobile phone with a camera, after activating the camera function of the camera unit 6 (s601), the function of the OCR unit 7 is activated (s602), and the camera unit 6 captures a bar code (s603). The captured barcode is recognized as a character (s604) and displayed on the LCD 4 (s605). Here, if the characters displayed on the LCD 4 are erroneously recognized (s606), the characters can be corrected by the key operation unit 2 (s612). If it is determined that there is no problem with the character displayed on the LCD 4 after being recognized as a character (s606), the display data is fetched using a decision key or the like (s607), and integrated with the existing integrated data (0 for the first time only) (s608). ), And display the data after integration on the LCD 4 (s609). When data is taken in again by capturing a barcode (s610), barcode recognition and integration from photographing to display of data after integration are repeated (s603 to s609), and finally the totalized data after integration is stored in the LCD 4. It is displayed (s611).
[0025]
As an example of use of the above-described embodiment, it is easy to lose the approximate total price of goods to be purchased when performing a lot of shopping. In such a case, the price tag of the product is imaged one by one. By performing this operation, the total amount of the goods can be easily calculated. As can be seen from such a usage example, according to the present invention, a fine key input operation like a calculator is not required.
[0026]
Further, when the imaging target is a numerical value of money and the amount (money) is calculated, a symbol such as “￥” or “＄” of a currency symbol of the amount is determined by character recognition and used for extracting numerical data. At the time of importing the numerical data, it is possible to configure the arithmetic processing so as to calculate the calculation result in Japanese yen at the rate registered in advance. Further, it can be configured to be used as calculation data, such as calculating a calculation result for each unit based on character recognition data of symbols such as “hundred”, “thousand”, and “man”, which are units of money.
Further, it is possible to calculate and display data obtained by adding the consumption tax to the final total amount.
In the above-described embodiment, it is needless to say that kanji numerals (1, 2, 3,...) And various other types of numeral notation can be used as objects of photographing, character recognition, and calculation. Absent.
[0027]
【The invention's effect】
According to the present invention, it is configured to perform a desired calculation such as repeatedly integrating a number captured and character-recognized by the camera function and the OCR function of the camera-equipped mobile phone every time the image capturing and character recognition is performed. By simply photographing an image to be calculated, the result can be easily displayed on the LCD and the calculation result can be obtained, and complicated operations such as key input are not required. It is possible. That is, by processing the portion corresponding to the number input by the keys of the calculator with the camera section, it can be converted into the number data, and the calculation result can be obtained immediately.
[0028]
In addition, the arithmetic function is not limited to an operation of automatically integrating numerical data obtained each time a photographed image is input, but may be a numerical data output every time a photographed image is input based on a preset calculation processing procedure. Can be configured to perform an arithmetic operation or a function operation on the numerical data output before the output or the operation result thereof, and further, a key is applied to the numerical data obtained for each input of the captured image. Arbitrary calculations can be performed by configuring the operation unit to sequentially indicate the contents of the calculation processing.
[0029]
In addition, by performing an arithmetic process in consideration of a currency unit, a tax rate, and the like, it is also possible to calculate an amount (money) including conversion of an exchange rate or calculate an amount in consideration of a tax amount.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an appearance of a mobile phone with a character recognition function according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an internal circuit of the mobile phone according to the present embodiment.
FIG. 3 is a diagram illustrating a flowchart of an operation according to the first embodiment.
FIG. 4 is a diagram illustrating a flowchart of an operation according to the second embodiment.
FIG. 5 is a diagram illustrating a flowchart of an operation according to the third embodiment.
FIG. 6 is a diagram illustrating a flowchart of an operation according to a fourth embodiment.
FIG. 7 is a diagram showing a flowchart of a conventional OCR operation.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 control unit 2 key operation unit 3 storage unit 4 liquid crystal display unit 5 wireless unit 6 camera unit 7 OCR unit 8 calculation unit
