JP2005018507A - Personal digital assistant and method of recognizing character using it - Google Patents

Personal digital assistant and method of recognizing character using it Download PDF

Info

Publication number
JP2005018507A
JP2005018507A JP2003183736A JP2003183736A JP2005018507A JP 2005018507 A JP2005018507 A JP 2005018507A JP 2003183736 A JP2003183736 A JP 2003183736A JP 2003183736 A JP2003183736 A JP 2003183736A JP 2005018507 A JP2005018507 A JP 2005018507A
Authority
JP
Japan
Prior art keywords
image
character
unit
character string
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003183736A
Other languages
Japanese (ja)
Other versions
JP2005018507A5 (en
Inventor
Atsuhiro Imaizumi
敦博 今泉
Teruyuki Yamaguchi
輝幸 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003183736A priority Critical patent/JP2005018507A/en
Publication of JP2005018507A publication Critical patent/JP2005018507A/en
Publication of JP2005018507A5 publication Critical patent/JP2005018507A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Telephone Function (AREA)
  • Character Input (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem with a method of recognizing characters using a mobile terminal wherein a user must make manual adjustments by holding a terminal body in hand and adjusting the position and direction of the body so that the subject of recognition fits inside the frame of a display part. <P>SOLUTION: A personal digital assistant or a cellphone comprises an image input part for inputting images; a display part for displaying inputted image data; an operating part for the user to operate buttons for inputs; a character recognition part for recognizing characters within the images; and a control part for controlling the whole terminal. After shooting, images of strings or rows of characters on the image are extracted. From the extracted images of strings or rows of characters, the image of the string or row of characters to be recognized is selected by the user's operation to automatically recognize the characters. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像入力手段、具体的にはカメラを持った携帯情報端末または携帯電話等において、撮影した画像中の文字列を選択し文字認識する技術に関する。
【0002】
【従来の技術】
携帯電話にカメラを備えたような特許文献1が提案されている。一般的にこの携帯情報端末を用いて、画像の文字認識をする際には、利用者が端末本体の位置や向きを手動で調整することで、表示部に表示された認識対象フレームの中に、認識対象が収まるように調整する必要がある。
【0003】
【特許文献1】
特開2003−169187号
【0004】
【発明が解決しようとする課題】
このような従来の携帯端末を用いて文字認識などの複雑な処理をするには、利用者が端末本体を手に取り、本体の位置や向きを調整することで認識対象が表示部のフレーム内に収まるように利用者自らが微調整しなければならず、操作性の面で以下のような課題があった。
(1)この際、表示部の画面が小さいため、フレーム内の認識対象文字の判別が難しい。
(2)本体を認識対象に向けるために、本体の位置や向きを調整すると同時に、表示部の位置や向きも変わってしまうため表示部の表示が見づらい。
(3)本体を認識対象に向けるために、表示部が覗き込めなくなる角度に向けることができない。
(4)画像取得時のシャッターボタンの押下動作で、端末本体が振動し、認識対象がフレームから外れてしまう。
(5)画像取得時に認識対象を決めるため、画像取得後には認識対象を変更するなどの操作ができず、一度の画像取得で複数箇所の文字認識ができない。
などの問題があった。
【0005】
そこで、本発明では、以上のような点に鑑みてなされたもので、上記課題の一部又は全部を解決すると共に、特に、携帯情報端末または携帯電話等を用いた文字認識において、画像取得後に利用者の操作によって認識対象となる文字列画像を任意に選択することで、容易に対象となる文字列画像を選択できる文字列選択方法、および選択された文字列画像を認識する文字認識方法を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記目的を達成するため、画像を入力する画像入力部(又はカメラ、撮像部)と、この入力部によって入力した画像データを表示する表示部と、利用者がボタンなどの入力操作する操作部と、画像内の文字を認識する文字認識部と、全体を制御する制御部を備えた携帯情報端末あるいは携帯電話において、撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出した文字列画像あるいは文字行画像の中から利用者の操作によって或る範囲の認識対象となる文字列画像あるいは文字行画像を選択するのに好適な携帯端末、又は文字認識方法を提供する。
【0007】
また、携帯情報端末あるいは携帯電話、そしてその端末を用いた文字認識方法において、文字列画像内部或いは文字行画像内部を文字認識した後に、文字認識結果と表記辞書との照合によって認識対象文字列を抽出する装置、又は方法を提供する。
【0008】
また、文字列画像あるいは文字行画像の抽出後に、文字列画像あるいは文字行画像の中ら単語を切り出し、切り出した単語の中から利用者の操作によって認識対象となる単語を選択し、選択した単語を文字認識する装置、方法を提供する。
【0009】
また、利用者に予め操作部によって画像のどの部分を認識して欲しいのかを選択させることで、その選択された画像の位置を基準に簡単に画像の文字認識を行う装置、また文字認識方法を提供する。
【0010】
【発明の実施の形態】
以下、本発明の実施形態を図1から図16を用いて説明する。
図1は、本実施形態に係る画像入力手段を持つ携帯情報端末あるいは携帯電話100(又は単に形態端末、形態装置とも言う)の概略を示す構成図である。名刺や雑誌、あるいは看板などの文字認識対象の画像が、画像入力部110から入力され、文字認識部150において行候補の抽出を行い、文字行の候補(画像)を表示部120に表示する。利用者が操作部130を操作することで抽出した文字行候補から認識対象となる文字行を選択し、選択した文字行を認識部150において文字認識する。
【0011】
操作部130は、利用者が一般的に電話をかけるときなどに使用されるものであるが、他に利用者が表示部120に表示された画像の認識を実行する時に押下する認識実行ボタン131、表示部に表示された画像の認識対象である上の行あるいは文字列を選択する上ボタン132、右の文字列を選択するときに使用する右ボタン133、下の行あるいは文字列を選択するときに使用する下ボタン134、左の文字列を選択するときに使用する左ボタン135も有している。
【0012】
文字認識部150は、画像入力部110から入力されるディジタル画像を二値化する画像二値化部151、黒画素のつながった連結成分を抽出する連結成分抽出部152、連結成分同士を融合して文字行候補を抽出する文字行抽出部153、文字行画像から文字を切り出す文字切り出し部154、一文字ごとに分けられた文字パターンを文字コードに変換する文字識別部155、文字認識結果と予め具備している表記辞書との照合を行う表記辞書照合部156を有し、この文字認識部150、操作部130、画像入力部110、表示部120などの各部、各ユニットの制御は、CPU、メモリ等から構成される制御部140によってその機能が制御される。尚、上述及び以下に説明する各部は、手段、機構、ユニットとも表現でき、基本的にソフトウェア又はハード、又はソフトウェアとハードとの結合によって処理、制御される機能である。なお、撮影、取得、入力などされた画像は、後述する文字認識に用いるように、制御部等のメモリ又は携帯端末に備わるメモリカードに記憶しておくような態様が望ましい。また、本例では横書きの画像を使用しているため、各箇所の例では文字行として説明するものの、表示画像に対して垂直方向の縦書き画像、即ち、文字列としても良いことは言うまでもない。
【0013】
図2は、図1の携帯端末を使用した第1の実施形態の処理手順を説明する図である。以下に示す処理、制御は制御部、制御手段140によって主に行われるが説明を省略する。
【0014】
利用者は、携帯情報端末あるいは携帯電話100が具備するCCDやイメージセンサ等の画像入力手段110を用いて、文字認識対象となる名刺や雑誌、あるいは看板などの画像を撮影し、装置内の一時記憶メモリ又は制御部140に具備されるメモリ上にディジタル画像として取込む(ステップ201)。この撮影し、取込んだディジタル画像を文字認識部150の画像二値化部151によって二値化し(ステップ202)、連結成分抽出部152によって二値化された成分のうち黒画素の連結成分を抽出する(ステップ203)。
【0015】
この抽出した連結成分の外接矩形のサイズや、外接矩形間の距離の比較を文字行抽出部153によって実行し、取得した画像に含まれる文字行の抽出を行う(ステップ204)。後述するが、この抽出された文字行は、表示部120に利用者が理解できるように表示され、それを見た利用者が操作部130のボタン操作によって、画像内の文字認識対象となる文字行を選択する(ステップ205)。
【0016】
ステップ206では、利用者が文字認識対象となる文字行を選択し終えた後、認識実行ボタン131を押下することで、認識対象となる文字行を決定し、次ステップへ移る。
このステップ206で選択した文字行内に対して、1文字毎の文字切り出しを実施し(ステップ207)、切り出された一つ一つの文字パターンに対して文字識別部155によって文字識別を行う(ステップ208)。そして文字識別の結果として予め具備している表記辞書との照合を表記辞書照合部156によって行い(ステップ209)、ステップ210で照合一致となった文字列を認識結果として出力し、文字認識処理を終了する。この文字認識結果は、表示部120に表示され、それを保存するなどの操作を操作部130によって実行することで、利用者は画像入力部110によって入力した画像の特定領域における一部分を文字認識した形態(文字コード)でアドレス帳などと結合させて保存できる。
【0017】
図3は、図2の文字行抽出ステップ204で主要な働きを行う文字行抽出部153の詳細な処理手順を示す図である。
【0018】
上述したように、ディジタル画像は二値化処理により特に黒画素の連結成分を抽出されるが、その抽出された画像、特に黒画素の状態を分析することで画像の横方向の投影分布を求める(ステップ301)。そして投影分布から文字行の縦方向の範囲、具体的にはある基準を基に縦方向の座標位置を求め(ステップ302)、この文字行の範囲内で、ステップ203で求めた連結成分の外接矩形のサイズや、外接矩形間の距離の比較、即ち連結成分を融合する処理を実行することで(ステップ303)、最終的な文字行座標を求めることができ(ステップ304)、上述した文字行検出する。
【0019】
図4は、ステップ302において、画像情報として含まれる文字行の投影の算出を説明する原理図を示す。図示するように文字行抽出領域400はステップ201で取得した文字認識対象画像の全面あるいは一部分であり、名刺を例示し名前、会社名、会社の住所、電話及びFAX番号、eーmailアドレスの情報を含んでいる。
【0020】
上述した入力された画像を図面の横方向に投影し、投影分布を求める。投影を求める方法としては、図示するように横方向の画素数を加算する方法が簡素で望ましい。あるいは、ステップ203で抽出した連結成分の外接矩形の横辺の長さの加算値を採ってもよい。座標軸412は横方向投影分布であり、座標軸411は領域の縦方向の座標軸に相当する。この投影分布の算出処理によって、非零値の範囲413〜418が文字行が存在する縦方向座標の範囲に相当するものであることが携帯端末において把握することができる。
【0021】
図5は、ステップ303において連結成分を融合し、ステップ304によって文字行座標を計算する処理を説明する図である。
1行抽出領域500は、ステップ302において計算した文字行範囲の1つであり、具体的に図4の文字行範囲416の電話番号の項目を例示している。この1行抽出領域500は、連結成分の複数の外接矩形501が含まれ、これら複数の外接矩形は、文字成分の外接矩形となる。そして次にこれらの外接矩形のサイズや、外接矩形間の距離を比較して、サイズが同様であるものや、距離が近い矩形を横方向に融合する。この連結成分の外接矩形501の融合によって、文字行左上座標511および文字行右下座標512を算出し、最終的なステップ304で説明した文字行510が生成される。
【0022】
図6は、文字行抽出結果を説明する図である。文字行抽出領域600は、図4の当初の画像を上述した特に図3のステップによって認識し、得られた文字行(画像)に展開したものを示し、図示するように6個の文字行601〜606が含まれた形式で装置上において自動認識できる。これら文字行の座標点はある基準位置から左上座標および右下座標が求められ、図7に示すように文字行毎の左上座標のX軸、Y軸の座標点と、右下座標のX軸、Y軸座標点が、制御部140内に設けられたメモリ上の文字行テーブル700に格納される。
【0023】
図8は、ステップ205における文字行選択操作の際の、表示部120の画面遷移の表示例を説明する図である。
表示部120に、文字行選択画面800と現在選択行801を表示する。現在選択行801は、ステップ204にて抽出された文字行の1つである。利用者が上ボタン132あるいは下ボタン134を押下することによってそれを検知し、図7に示す文字行テーブル700の参照ポインタをインクリメントあるいはデクリメントし、テーブル700に一時記憶された文字行の左上、右下座標を読み出し、表示部120に画面として表示する。結果として、現在選択行801の表示が移動され認識対象となる新しい文字行が選択され表示される。尚、上ボタン押下では、現在選択行の1つ上の行を次の現在選択行とし、下ボタン押下では、現在選択行の1つ下の行を次の現在選択行とする。
【0024】
利用者は、認識対象となる文字行が現在選択行となるようにボタン操作し(ステップ205)、認識実行ボタン131を押下することによって、認識対象となる文字行を決定する(ステップ206)。尚、カメラから取得した画像データから文字行認識の操作を利用者が行う際、現在選択行801の初期位置は、文字行601〜606の内、最も画像の中心に近いものとして表示部120に表示するのが望ましい。
【0025】
図9は、文字行の文字認識をし、表記辞書との照合を説明する図である。
ステップ205で選択し、ステップ206で決定した認識対象文字行900に対して、ステップ207では1文字毎に切り出し、ステップ208では各文字の文字識別処理を実行し、文字認識ネットワーク910を生成する。文字認識ネットワーク910は、文字識別の候補文字をネットワーク表現しメモリに格納したものである。文字認識ネットワーク910には、間違った文字識別の候補文字(図面の「|」「/」など)や、認識対象文字列の前後に不要な文字列(図面の「T」「e」「直」など)が含まれる場合がある。そこで、文字認識ネットワーク910と、予め具備する表記辞書との照合を行い(図2のステップ209)、表記と照合が一致した箇所の文字列を抽出することで、正しい認識結果を簡単に、短時間な処理で得ることができる。
【0026】
また図9は、表記辞書920として電話番号の複数の表記パターンを予め記憶しておく例を示し、この表記辞書と上記抽出した文字列とを照合し、そのうち1つの表記921と一致した電話番号部分のみを認識結果文字列として抽出した例も示している。そして最終的に認識できた認識結果930は携帯端末の制御部140等にあるメモリに記憶、そして表示部120に表示され、利用者がその後に操作する内容に併せて、文字のテキストベースによる編集が可能となる。
【0027】
以上説明した第1実施形態の特徴は、利用者が画像入力部110によって画像を撮影すると、その画像情報に含まれる文字行(画像情報の一部)が携帯端末100で自動認識され、それが図8に示されるような枠801として表示部120に表示されることで、利用者が操作部130のボタン操作の選択によって自身が所望の文字行を選択できる点が大きな特徴である。更に、その文字行のうち、表記辞書920などを使用して必要な部分、例えば、図9の電話番号のみを自動認識し、必要でない部分(Tel:(直通)の部分)を認識しない点も特徴である。
【0028】
図10は、本発明に係る第2の実施形態の処理手順を説明する図である。尚、図10の中の符号が図2と同一のステップは、同一機能を有するものとする為ここでの説明は省略する。
【0029】
第2の実施形態において、上述した画像二値化(S202)や連結成分の抽出(S203)が行われた後、抽出した連結成分の外接矩形のサイズや、外接矩形間の距離の比較によって単語の抽出を行う(ステップ1004)。続いて、ステップ1005では、利用者が操作部130のボタン操作によって、画像内の文字認識対象となる単語を選択する。
【0030】
図11は、ステップ1004において、文字行および単語を抽出し、単語座標を計算する処理を説明する図である。
図示する1行抽出領域1100は、ステップ302と同様の方法で算出した文字行範囲の1つを示す画像の一部分、一領域であって、この1行抽出領域1100は、連結成分の複数の外接矩形1101〜1108が含まれる。これらの外接矩形は、文字成分の外接矩形、具体的には1文字単位を示すものとなる。これらの外接矩形のサイズや、外接矩形間の距離を比較して、サイズが同様であるものや、距離が近い矩形を横方向に融合する。この矩形の融合の際には、単語と単語間の距離は、単語内の文字と文字間の距離と比べて大きいという原理を利用している。
【0031】
続いて外接矩形1101〜1104の融合によって、単語左上座標1111および単語右下座標1112を算出し単語1110を得る。同様に、外接矩形1105〜1108の融合によって、単語左上座標1121および単語右下1122を算出し単語1120を得る。後述の例で明らかになるが、図示する1110,1120の単位が単語の単位を示し、1101〜1108の単位が文字の単位を示す。
【0032】
図12は、単語抽出結果を説明する図である。単語抽出領域1200は上述からも明らかなように画像入力部110で入力された画像を示し、この領域内には複数の単語1201が含まれる。このうち、単語1202〜1204は、単語抽出領域1200に含まれる単語の一例であり、図12に示すX軸、Y軸とある基準点を基に、図13に示すように、各単語1202〜1204の左上座標および右下座標は、X軸とY軸に展開され、メモリ上の単語テーブル1300に格納される。
【0033】
図14は、ステップ1005における単語選択操作の際の、表示部120の画面遷移の表示例を説明する図である。
表示部120に、単語選択画面1400と現在選択単語1401を表示する。現在選択単語1401は、ステップ1004にて抽出された単語の1つで、この現在選択単語1401は図示するように単語の周りを枠で囲み、更に強調表示(赤色や緑色等)された方が望ましい。尚、上述した現在選択行801についても同様である。
【0034】
利用者は表示部120に表示された画像1400とその枠1401の表示を見ながら、操作部130の上ボタン132、右ボタン133、下ボタン134、左ボタン135を押下することによって、制御部140がそれを検知し、図13に示す単語テーブル1300の参照ポインタをインクリメントあるいはデクリメントし、単語の左上、右下座標を読み出し、表示部120の画面に表示する。
【0035】
結果として、現在選択単語1401の表示が移動され認識対象となる新しい単語が選択され表示される。尚、上ボタン押下では、現在選択単語の1つ上の行に含まれる単語の内、現在選択単語からの座標値が最も近い単語を次の現在選択単語としてもよい。あるいは、現在選択単語の1つ上の行に含まれる単語の内、横方向の重なり合う部分が最も多い単語を次の現在選択単語としてもよい。下ボタン押下でも、同様の方法によって次の現在選択単語を決定する。左ボタン押下では、現在選択単語の1つ左にある単語を次の現在選択単語とし、右ボタン押下では、現在選択単語の1つ右にある単語を次の現在選択単語とする。
【0036】
以上説明したように第2の実施形態によれば、利用者は表示部120に表示された画像のうち、認識対象となる単語が現在選択単語となるように操作部130のボタン操作し、認識実行ボタン131を押下することによって、認識対象となる単語を決定し、認識対象単語の文字認識処理を実行することが可能となる。
【0037】
次に第3の実施形態について説明するが、第1,2実施形態が携帯端末100において文字行又は単語を自動的に画像の中から自動的に抽出し、認識するのに対し、次に述べる例では利用者自身が画像の或る特定位置を選んで、その位置に基づいた認識を行う点で、第1,2実施形態に比較して安価で、簡便な装置を提供する点で優位である。
【0038】
図15は、本発明に係る第3の実施形態の処理手順を説明する図である。尚、図15の中の符号が図2と同一のステップは、同一機能を有するものとする為ここでの説明は省略する。
【0039】
ステップ1504では、取得した画像のある部分領域内部に含まれる文字行の抽出を行う。図16は、部分領域内部の文字行の抽出を説明する図である。表示部120には、画像入力部110より取得した認識対象画像1600と、予め携帯端末100に備わるカーソル1601が表示されている。この認識対象画像1600に対して、カーソル1601を中心とした一定の領域1603内部で、前記実施例と同様の処理によって文字行の抽出を行い、抽出した複数の文字行のうち、カーソルに最も近い文字行を現在選択文字行1602とする処理を制御部140によって実行する。
【0040】
これにより、利用者が操作部130のボタン操作によって、表示部120に表示されたカーソル1601を、上下左右の一定の距離だけ移動させ(ステップ1505)、移動後のカーソル位置を中心として再び文字行抽出処理を実施し、カーソル1601に最も近い文字行を現在選択文字行とする。
【0041】
そして、利用者が文字認識対象となる文字行を選択し終えた後、認識実行ボタン131を押下することで、認識対象となる文字行を決定し、次ステップへ移る。
【0042】
尚、この実施例では文字行画像あるいは文字列画像選択後に文字認識を実行したが、予め画像に含まれる各画像の文字認識を行い、利用者がボタン操作によって選択した文字行画像あるいは文字列画像に対応する認識結果を、文字認識対象の認識結果とする形でもよく、また、上記例の文字行は、文字列と読み替えてもよい。
【0043】
また、以上説明した第1〜3実施形態の各構成、制御、処理等は最適な形態にて組み合わせ可能であって、例えば、第1実施形態で制御部が抽出、認識した文字行に対し、第3実施形態で表示されたカーソルで指定することで、文字行のうちカーソルで指定された部分の単語(第2実施形態)を文字認識するような形態でも良い。
【0044】
また、第1実施形態の文字行選択と、第2実施形態の単語選択とを携帯端末上の制御部にて判断させやすいように、表示部に予め文字行認識モードか或いは単語認識モードかをメニュー画面で表示し、利用者が操作部によってどちらのモードを判断するかを制御部で認識することで、上述した第1又は第2実施形態の何れか一方の処理、制御を行う形態であっても良い。
【0045】
【発明の効果】
以上に説明したように、携帯端末の入力部より取得した画像を、その表示部の画像表示のみを見て、認識対象を選択することができる。また、画像撮影時に、表示部を覗き込めない状態で撮影しても、撮影後に表示部に表示された画像をみながら、認識対象を選択することができる。また、画像撮影の際に手ブレがあっても、取得した画像の範囲内にあっては画像撮影後に認識対象の位置を変更することができる。また、同じ画像に対して、再度認識対象を選択する操作を繰り返すことで、同一画像の複数箇所の認識をすることができる。
【図面の簡単な説明】
【図1】携帯端末の詳細構成図を示す。
【図2】第1の実施形態に係る文字認識方法のフロー図である。
【図3】第1の実施形態に係る文字行抽出処理を説明するフロー図である。
【図4】第1の実施形態に係る文字行抽出の投影分布を説明する図である。
【図5】第1の実施形態に係る文字行の座標計算の方法を説明する図である。
【図6】第1の実施形態に係る文字行抽出結果の例を説明する図である。
【図7】第1の実施形態に係る文字行テーブルを説明する図である。
【図8】第1の実施形態に係る文字行選択時の表示部における画面遷移の例を説明する図である。
【図9】第1の実施形態に係る文字行内の文字認識を説明する図である。
【図10】第2の実施形態に係る文字認識方法の処理のフロー図である。
【図11】第2の実施形態に係る単語の座標計算の方法を説明する図である。
【図12】第2の実施形態に係る単語抽出結果の例を説明する図である。
【図13】第2の実施形態に係る単語テーブルを説明する図である。
【図14】第2の実施形態に係る単語選択時の表示部における画面遷移の例を説明する図である。
【図15】第3の実施形態を説明する文字認識処理のフロー図を示す。
【図16】第3の実施形態における表示部の画面選択操作及び画像の認識領域を説明する図である。
【符号の説明】
100…携帯情報端末(携帯端末)、110…画像入力部、120…表示部、130…操作部、140…制御部、150…文字認識部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for selecting a character string in a captured image and recognizing the character in an image input means, specifically, a portable information terminal or a mobile phone having a camera.
[0002]
[Prior art]
Patent Document 1 in which a mobile phone is equipped with a camera has been proposed. Generally, when recognizing characters on an image using this portable information terminal, the user manually adjusts the position and orientation of the terminal main body, so that the recognition target frame displayed on the display unit , It is necessary to adjust so that the recognition object fits.
[0003]
[Patent Document 1]
JP 2003-169187 A
[Problems to be solved by the invention]
To perform complex processing such as character recognition using such a conventional portable terminal, the user picks up the terminal body and adjusts the position and orientation of the body so that the recognition target is within the frame of the display unit. The user himself had to make fine adjustments so as to be within the range, and there were the following problems in terms of operability.
(1) At this time, since the screen of the display unit is small, it is difficult to determine the character to be recognized in the frame.
(2) In order to direct the main body toward the recognition object, the position and orientation of the main body are adjusted and the position and orientation of the display section change at the same time, so the display on the display section is difficult to see.
(3) Since the main body is directed to the recognition target, it cannot be directed to an angle at which the display unit cannot be viewed.
(4) When the shutter button is pressed during image acquisition, the terminal main body vibrates and the recognition target comes off the frame.
(5) Since the recognition target is determined at the time of image acquisition, an operation such as changing the recognition target cannot be performed after the image acquisition, and character recognition at a plurality of locations cannot be performed with one image acquisition.
There were problems such as.
[0005]
In view of the above, the present invention has been made in view of the above points, and solves some or all of the above problems. In particular, in character recognition using a portable information terminal or a mobile phone, after image acquisition. A character string selection method by which a character string image to be recognized can be easily selected by arbitrarily selecting a character string image to be recognized by a user operation, and a character recognition method for recognizing the selected character string image. It is intended to provide.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an image input unit (or a camera or an imaging unit) for inputting an image, a display unit for displaying image data input by the input unit, and an operation unit for a user to perform an input operation such as a button, In a portable information terminal or mobile phone having a character recognition unit for recognizing characters in an image and a control unit for controlling the whole, a character string image or a character line image on the image is extracted after shooting, and the extracted character string Provided is a portable terminal or a character recognition method suitable for selecting a character string image or a character line image to be recognized within a certain range by a user operation from an image or a character line image.
[0007]
Further, in a character recognition method using a portable information terminal or a mobile phone and the terminal, after recognizing the inside of the character string image or the inside of the character line image, the recognition target character string is obtained by collating the character recognition result with the notation dictionary. An apparatus or method for extraction is provided.
[0008]
In addition, after extracting a character string image or character line image, a word is extracted from the character string image or character line image, a word to be recognized is selected from the extracted words by a user operation, and the selected word An apparatus and method for character recognition are provided.
[0009]
In addition, by allowing the user to select in advance which part of the image the user wants to recognize by the operation unit, an apparatus and a character recognition method for easily recognizing the character of the image based on the position of the selected image. provide.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a configuration diagram showing an outline of a portable information terminal or a mobile phone 100 (or simply referred to as a form terminal or form apparatus) having an image input unit according to the present embodiment. An image of a character recognition target such as a business card, magazine, or signboard is input from the image input unit 110, line candidates are extracted by the character recognition unit 150, and character line candidates (images) are displayed on the display unit 120. A user selects a character line to be recognized from character line candidates extracted by operating the operation unit 130, and the recognition unit 150 recognizes the selected character line.
[0011]
The operation unit 130 is generally used when a user makes a call or the like. In addition, a recognition execution button 131 that is pressed when the user performs recognition of an image displayed on the display unit 120. The upper button 132 for selecting the upper line or character string to be recognized for the image displayed on the display unit, the right button 133 used for selecting the right character string, and the lower line or character string are selected. A lower button 134 used sometimes and a left button 135 used when selecting a left character string are also provided.
[0012]
The character recognition unit 150 includes an image binarization unit 151 that binarizes the digital image input from the image input unit 110, a connected component extraction unit 152 that extracts a connected component in which black pixels are connected, and a combination of the connected components. A character line extraction unit 153 that extracts character line candidates, a character cutout unit 154 that cuts out characters from the character line image, a character identification unit 155 that converts a character pattern divided into characters into character codes, and a character recognition result. The character recognition unit 150, the operation unit 130, the image input unit 110, the display unit 120, etc., and the control of each unit are controlled by a CPU, a memory The function is controlled by the control unit 140 including the above. Each unit described above and below can be expressed as means, mechanism, and unit, and is basically a function that is processed and controlled by software or hardware, or a combination of software and hardware. It should be noted that it is desirable that an image captured, acquired, input, or the like is stored in a memory such as a control unit or a memory card provided in a portable terminal so as to be used for character recognition described later. In this example, since a horizontally written image is used, the example of each part is described as a character line, but it goes without saying that it may be a vertically written image in the vertical direction with respect to the display image, that is, a character string. .
[0013]
FIG. 2 is a diagram for explaining the processing procedure of the first embodiment using the mobile terminal of FIG. The processing and control described below are mainly performed by the control unit and control unit 140, but the description is omitted.
[0014]
The user uses the image input means 110 such as a CCD or an image sensor provided in the portable information terminal or the cellular phone 100 to take an image of a business card, magazine, signboard, or the like as a character recognition target, and temporarily stores the image in the apparatus. The digital image is captured on the memory provided in the storage memory or the control unit 140 (step 201). The digital image captured and binarized is binarized by the image binarization unit 151 of the character recognition unit 150 (step 202), and among the components binarized by the connected component extraction unit 152, the connected components of black pixels are converted. Extract (step 203).
[0015]
The character line extraction unit 153 compares the size of the circumscribed rectangles of the extracted connected components and the distance between the circumscribed rectangles, and extracts the character lines included in the acquired image (step 204). As will be described later, the extracted character line is displayed on the display unit 120 so as to be understood by the user, and the user who sees the extracted character line operates as a character recognition target in the image by operating the button of the operation unit 130. A row is selected (step 205).
[0016]
In step 206, after the user has selected the character line to be recognized, the user presses the recognition execution button 131 to determine the character line to be recognized, and proceeds to the next step.
Character extraction for each character is performed in the character line selected in step 206 (step 207), and character identification is performed by the character identification unit 155 for each extracted character pattern (step 208). ). Then, the notation dictionary matching unit 156 performs matching with a notation dictionary provided in advance as a result of character identification (step 209), and the character string that has been matched in step 210 is output as a recognition result to perform character recognition processing. finish. The character recognition result is displayed on the display unit 120, and the user recognizes a part of a specific area of the image input by the image input unit 110 by executing an operation such as saving the character by the operation unit 130. It can be saved in the form (character code) combined with the address book.
[0017]
FIG. 3 is a diagram showing a detailed processing procedure of the character line extraction unit 153 that performs the main function in the character line extraction step 204 of FIG.
[0018]
As described above, in particular, connected components of black pixels are extracted from the digital image by the binarization process, and the projection distribution in the horizontal direction of the image is obtained by analyzing the extracted image, particularly the state of the black pixels. (Step 301). Then, the vertical range of the character line, specifically, the vertical coordinate position is obtained based on a certain reference from the projection distribution (step 302), and the circumscribing of the connected component obtained in step 203 within this character line range. The final character line coordinates can be obtained (step 304) by comparing the size of the rectangle and the distance between the circumscribed rectangles, that is, the process of merging the connected components (step 304). To detect.
[0019]
FIG. 4 is a principle diagram for explaining the calculation of the projection of the character line included as the image information in step 302. As shown in the figure, the character line extraction area 400 is the whole or a part of the character recognition target image acquired in step 201. The name, company name, company address, telephone and fax number, and e-mail address information are shown as examples of business cards. Is included.
[0020]
The input image described above is projected in the horizontal direction of the drawing to obtain a projection distribution. As a method for obtaining the projection, a method of adding the number of pixels in the horizontal direction as shown in the figure is simple and desirable. Or you may take the addition value of the length of the side of the circumscribed rectangle of the connected component extracted at step 203. The coordinate axis 412 is a horizontal projection distribution, and the coordinate axis 411 corresponds to the vertical coordinate axis of the region. By this projection distribution calculation process, it is possible to grasp in the portable terminal that the non-zero value range 413 to 418 corresponds to the range of the vertical coordinate where the character line exists.
[0021]
FIG. 5 is a diagram for explaining the processing for fusing the connected components in step 303 and calculating the character line coordinates in step 304.
The one-line extraction area 500 is one of the character line ranges calculated in step 302, and specifically illustrates items of telephone numbers in the character line range 416 of FIG. The one-line extraction area 500 includes a plurality of circumscribed rectangles 501 of connected components, and the plurality of circumscribed rectangles become circumscribed rectangles of character components. Then, the sizes of these circumscribed rectangles and the distances between the circumscribed rectangles are compared, and rectangles having the same size or rectangles close to each other are merged in the horizontal direction. By merging the circumscribed rectangles 501 of the connected components, a character line upper left coordinate 511 and a character line lower right coordinate 512 are calculated, and the character line 510 described in the final step 304 is generated.
[0022]
FIG. 6 is a diagram for explaining a character line extraction result. The character line extraction area 600 shows the original image of FIG. 4 recognized by the above-described steps of FIG. 3 and developed into the obtained character lines (images). As shown in the figure, six character lines 601 are shown. ˜606 can be automatically recognized on the apparatus. As for the coordinate points of these character lines, upper left coordinates and lower right coordinates are obtained from a certain reference position, and as shown in FIG. 7, the upper left coordinates X-axis and Y-axis coordinate points and the lower right coordinates X-axis for each character line. , Y-axis coordinate points are stored in a character line table 700 on a memory provided in the control unit 140.
[0023]
FIG. 8 is a diagram for explaining a display example of screen transition of the display unit 120 in the character line selection operation in step 205.
A character line selection screen 800 and a currently selected line 801 are displayed on the display unit 120. The currently selected line 801 is one of the character lines extracted in step 204. When the user depresses the upper button 132 or the lower button 134, this is detected, the reference pointer of the character line table 700 shown in FIG. 7 is incremented or decremented, and the upper left and right of the character line temporarily stored in the table 700 are displayed. The lower coordinates are read and displayed on the display unit 120 as a screen. As a result, the display of the currently selected line 801 is moved, and a new character line to be recognized is selected and displayed. When the up button is pressed, the line immediately above the currently selected line is set as the next currently selected line, and when the down button is pressed, the line immediately below the currently selected line is set as the next currently selected line.
[0024]
The user operates the buttons so that the character line to be recognized becomes the currently selected line (step 205), and presses the recognition execution button 131 to determine the character line to be recognized (step 206). When the user performs a character line recognition operation from the image data acquired from the camera, the initial position of the currently selected line 801 is assumed to be closest to the center of the image among the character lines 601 to 606 on the display unit 120. It is desirable to display.
[0025]
FIG. 9 is a diagram illustrating character recognition of a character line and explaining collation with a notation dictionary.
In step 207, the recognition target character line 900 selected in step 205 and determined in step 206 is cut out character by character. In step 208, character recognition processing for each character is executed to generate a character recognition network 910. The character recognition network 910 is a character representation candidate character represented in a network and stored in a memory. The character recognition network 910 includes incorrect character identification candidate characters (such as “|” and “/” in the drawing) and unnecessary character strings (“T”, “e”, and “direct” in the drawing) before and after the recognition target character string. Etc.) may be included. Therefore, collation between the character recognition network 910 and a notation dictionary provided in advance is performed (step 209 in FIG. 2), and a character string where the notation and collation match is extracted, so that a correct recognition result can be easily and easily shortened. It can be obtained with time-consuming processing.
[0026]
FIG. 9 shows an example in which a plurality of phone number notation patterns are stored in advance as the notation dictionary 920. The notation dictionary is compared with the extracted character string, and the phone number that matches one of the notation 921 is shown. An example in which only a portion is extracted as a recognition result character string is also shown. The finally recognized recognition result 930 is stored in a memory in the control unit 140 or the like of the portable terminal, and is displayed on the display unit 120, and the text-based editing of characters is performed in accordance with the content that the user subsequently operates. Is possible.
[0027]
The feature of the first embodiment described above is that when a user takes an image with the image input unit 110, a character line (part of the image information) included in the image information is automatically recognized by the portable terminal 100, A great feature is that the user can select a desired character line by selecting a button operation on the operation unit 130 by being displayed on the display unit 120 as a frame 801 as shown in FIG. Further, in the character line, a necessary part, for example, only the telephone number in FIG. 9 is automatically recognized by using the notation dictionary 920 and the like (Tel: (direct) part) is not recognized. It is a feature.
[0028]
FIG. 10 is a diagram for explaining the processing procedure of the second embodiment according to the present invention. Note that steps having the same reference numerals in FIG. 10 as those in FIG. 2 have the same functions, and thus description thereof will be omitted.
[0029]
In the second embodiment, after the above-described image binarization (S202) and connected component extraction (S203) are performed, the word is determined by comparing the size of the circumscribed rectangle of the extracted connected component and the distance between the circumscribed rectangles. Is extracted (step 1004). Subsequently, in step 1005, the user selects a word to be a character recognition target in the image by operating a button on the operation unit 130.
[0030]
FIG. 11 is a diagram for explaining the process of extracting character lines and words and calculating word coordinates in step 1004.
The one-line extraction area 1100 shown in the figure is a part of an image showing one of the character line ranges calculated by the same method as in step 302, and this one-line extraction area 1100 is a plurality of circumscribed parts of connected components. Rectangles 1101-1108 are included. These circumscribed rectangles indicate circumscribed rectangles of character components, specifically, one character unit. The sizes of these circumscribed rectangles and the distances between the circumscribed rectangles are compared, and rectangles having the same size or rectangles close to each other are merged in the horizontal direction. When the rectangles are merged, the principle that the distance between the words is larger than the distance between the characters in the word is used.
[0031]
Subsequently, the word 1110 is obtained by calculating the word upper left coordinate 1111 and the word lower right coordinate 1112 by fusing the circumscribed rectangles 1101 to 1104. Similarly, a word 1120 is obtained by calculating a word upper left coordinate 1121 and a word lower right 1122 by fusing the circumscribed rectangles 1105 to 1108. As will be apparent from the example described later, the units 1110 and 1120 shown in the figure indicate word units, and the units 1101 to 1108 indicate character units.
[0032]
FIG. 12 is a diagram for explaining a word extraction result. As is clear from the above, the word extraction area 1200 indicates an image input by the image input unit 110, and a plurality of words 1201 are included in this area. Among these, the words 1202 to 1204 are examples of words included in the word extraction area 1200. Based on the X axis and the Y axis shown in FIG. 12 and a certain reference point, as shown in FIG. The upper left coordinates and lower right coordinates 1204 are expanded on the X axis and the Y axis and stored in the word table 1300 on the memory.
[0033]
FIG. 14 is a diagram for explaining a display example of screen transition of the display unit 120 at the time of the word selection operation in step 1005.
A word selection screen 1400 and a currently selected word 1401 are displayed on the display unit 120. The currently selected word 1401 is one of the words extracted in step 1004. The currently selected word 1401 should be surrounded by a frame as shown in the figure and further highlighted (red, green, etc.). desirable. The same applies to the currently selected row 801 described above.
[0034]
The user presses the upper button 132, the right button 133, the lower button 134, and the left button 135 of the operation unit 130 while viewing the image 1400 displayed on the display unit 120 and the display of the frame 1401, thereby the control unit 140. Is detected, the reference pointer of the word table 1300 shown in FIG. 13 is incremented or decremented, and the upper left and lower right coordinates of the word are read and displayed on the screen of the display unit 120.
[0035]
As a result, the display of the currently selected word 1401 is moved, and a new word to be recognized is selected and displayed. When the up button is pressed, a word having the closest coordinate value from the currently selected word among the words included in the line immediately above the currently selected word may be set as the next currently selected word. Or it is good also considering the word with the most overlapping part of the horizontal direction among the words contained in the line one line above the present selection word as the next present selection word. Even when the down button is pressed, the next currently selected word is determined by the same method. When the left button is pressed, the word to the left of the currently selected word is the next currently selected word, and when the right button is pressed, the word to the right of the currently selected word is the next currently selected word.
[0036]
As described above, according to the second embodiment, the user operates the buttons of the operation unit 130 so that the word to be recognized becomes the currently selected word among the images displayed on the display unit 120, and the recognition is performed. By depressing the execution button 131, a word to be recognized can be determined, and character recognition processing for the recognition target word can be executed.
[0037]
Next, a third embodiment will be described. The first and second embodiments automatically extract and recognize character lines or words from an image in the portable terminal 100, whereas the following will be described. In the example, the user himself / herself selects a specific position of the image and performs recognition based on the position, which is advantageous in terms of providing an inexpensive and simple apparatus compared to the first and second embodiments. is there.
[0038]
FIG. 15 is a diagram for explaining the processing procedure of the third embodiment according to the present invention. Note that the steps in FIG. 15 having the same reference numerals as those in FIG. 2 have the same functions, and thus the description thereof is omitted here.
[0039]
In step 1504, a character line included in a partial area of the acquired image is extracted. FIG. 16 is a diagram for explaining extraction of a character line inside a partial area. The display unit 120 displays a recognition target image 1600 acquired from the image input unit 110 and a cursor 1601 provided in advance on the mobile terminal 100. In this recognition target image 1600, a character line is extracted by a process similar to that in the above embodiment within a certain region 1603 centered on the cursor 1601, and the closest to the cursor among the extracted character lines. The control unit 140 executes processing for setting the character line to the currently selected character line 1602.
[0040]
As a result, the user moves the cursor 1601 displayed on the display unit 120 by a certain distance up, down, left, and right by a button operation on the operation unit 130 (step 1505), and the character line is again centered on the moved cursor position. Extraction processing is performed, and the character line closest to the cursor 1601 is set as the currently selected character line.
[0041]
Then, after the user finishes selecting the character line to be recognized, the user presses the recognition execution button 131 to determine the character line to be recognized, and proceeds to the next step.
[0042]
In this embodiment, the character recognition is executed after selecting the character line image or the character string image. However, the character line image or the character string image selected by the user by performing the character recognition of each image included in the image beforehand. The recognition result corresponding to 1 may be the recognition result of the character recognition target, and the character line in the above example may be read as a character string.
[0043]
In addition, the configurations, controls, processes, and the like of the first to third embodiments described above can be combined in an optimal form. For example, for the character line extracted and recognized by the control unit in the first embodiment, By specifying with the cursor displayed in the third embodiment, the form of the word (second embodiment) of the part specified by the cursor in the character line may be recognized.
[0044]
In addition, whether the character line recognition mode or the word recognition mode is set in advance on the display unit so that the control unit on the portable terminal can easily determine the character line selection of the first embodiment and the word selection of the second embodiment. This is a mode in which one of the processes in the first or second embodiment described above is controlled by displaying on the menu screen and recognizing which mode the user determines with the operation unit by the control unit. May be.
[0045]
【The invention's effect】
As described above, it is possible to select a recognition target for an image acquired from the input unit of the mobile terminal by looking only at the image display on the display unit. Further, even when the image is shot in a state where the display unit cannot be looked into, the recognition target can be selected while viewing the image displayed on the display unit after shooting. Even if there is a camera shake at the time of image capturing, the position of the recognition target can be changed after image capturing within the range of the acquired image. Further, by repeating the operation of selecting a recognition target again for the same image, a plurality of locations of the same image can be recognized.
[Brief description of the drawings]
FIG. 1 shows a detailed configuration diagram of a mobile terminal.
FIG. 2 is a flowchart of a character recognition method according to the first embodiment.
FIG. 3 is a flowchart for explaining character line extraction processing according to the first embodiment;
FIG. 4 is a diagram for explaining a projected distribution of character line extraction according to the first embodiment.
FIG. 5 is a diagram for explaining a method of calculating coordinates of a character line according to the first embodiment.
FIG. 6 is a diagram illustrating an example of a character line extraction result according to the first embodiment.
FIG. 7 is a diagram illustrating a character line table according to the first embodiment.
FIG. 8 is a diagram illustrating an example of screen transition in the display unit when a character line is selected according to the first embodiment.
FIG. 9 is a diagram for explaining character recognition in a character line according to the first embodiment.
FIG. 10 is a flowchart of processing of a character recognition method according to a second embodiment.
FIG. 11 is a diagram illustrating a method for calculating word coordinates according to the second embodiment.
FIG. 12 is a diagram for explaining an example of a word extraction result according to the second embodiment.
FIG. 13 is a diagram for explaining a word table according to the second embodiment.
FIG. 14 is a diagram illustrating an example of screen transition on the display unit when a word is selected according to the second embodiment.
FIG. 15 is a flowchart of character recognition processing for explaining the third embodiment;
FIG. 16 is a diagram illustrating a screen selection operation and an image recognition area of a display unit according to the third embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Portable information terminal (mobile terminal), 110 ... Image input part, 120 ... Display part, 130 ... Operation part, 140 ... Control part, 150 ... Character recognition part

Claims (9)

画像を撮影又は取得又は入力する画像入力部と、前記画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する文字認識部と、前記各部を制御する制御部とを有する携帯情報端末において、
前記制御部は、前記画像入力部からの画像データのうち、文字列又は文字行又は単語を自動的に抽出し、前記表示部に画像データと共に抽出した画像内容を文字列又は文字行又は単語として表示し、前記操作部からの選択操作によって前記表示部に表示された特定の文字列又は文字行又は単語を認識することを特徴とする携帯情報端末。
An image input unit that captures or acquires or inputs an image, a display unit that displays image data from the image input unit, an operation unit that can perform an input operation, and a character recognition unit that recognizes characters included in the image data And a portable information terminal having a control unit for controlling each unit,
The control unit automatically extracts a character string, a character line, or a word from the image data from the image input unit, and the image content extracted together with the image data on the display unit as a character string, a character line, or a word. A portable information terminal that displays and recognizes a specific character string, character line, or word displayed on the display unit by a selection operation from the operation unit.
前記文字認識部は、複数の異なる表記情報を記憶する辞書を有し、
前記制御部は、抽出した文字列又は文字行のうち、前記辞書の表記情報と照合し、文字列又は文字行の特定の画像のみ認識することを特徴とする請求項1記載の携帯情報端末。
The character recognition unit has a dictionary for storing a plurality of different notation information,
2. The portable information terminal according to claim 1, wherein the control unit recognizes only a specific image of the character string or the character line by comparing with the notation information of the dictionary among the extracted character string or the character line.
前記制御部は、抽出すべき文字列又は文字行を、画像データに含まれる各文字の複数の外接矩形を求め、複数の外接矩形を連結して作成する融合処理を実行することを特徴とする請求項1又は2記載の携帯情報端末。The control unit performs a fusion process for obtaining a plurality of circumscribed rectangles of each character included in the image data and connecting the plurality of circumscribed rectangles for the character string or character line to be extracted. The portable information terminal according to claim 1 or 2. 前記表示部の表示する文字列又は文字行又は単語は、共に表示される画像データに対して枠で囲むように表示する又は強調表示することを特徴とする請求項1乃至3の何れかの項記載の携帯情報端末。4. The character string, character line, or word displayed by the display unit is displayed so as to be surrounded by a frame or highlighted with respect to the image data displayed together. The portable information terminal described. 画像を撮影又は取得又は入力する画像入力部と、前記画像入力部からの画像データを表示する表示部と、入力の操作が可能な操作部と、画像データに含まれる文字を認識する文字認識部と、前記各部を制御する制御部とを有する携帯情報端末において、
前記制御部は、前記表示部に表示された画像データと共にカーソルを表示し、前記操作部からの前記カーソルの操作及び選択によって指定された位置を含む或る特定領域の画像を抽出し、抽出した特定領域の画像内に含まれる文字列又は文字行又は単語を抽出して前記表示部に表示することを特徴とする携帯情報端末。
An image input unit that captures or acquires or inputs an image, a display unit that displays image data from the image input unit, an operation unit that can perform an input operation, and a character recognition unit that recognizes characters included in the image data And a portable information terminal having a control unit for controlling each unit,
The control unit displays a cursor together with the image data displayed on the display unit, and extracts and extracts an image of a specific area including a position designated by the operation and selection of the cursor from the operation unit. A portable information terminal, wherein a character string, a character line, or a word included in an image of a specific area is extracted and displayed on the display unit.
画像を入力する入力部と、前記入力部によって入力した画像データを表示する表示部と、利用者の操作する操作部と、画像内の文字を認識する文字認識部と、前記各部を制御する制御部とを備えた携帯情報端末あるいは携帯電話において、
前記入力部による撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出した文字列画像あるいは文字行画像の中から前記操作部の操作によって認識対象となる文字列画像あるいは文字行画像を選択し、選択した文字列画像内部あるいは文字行画像内部を文字認識することを特徴とする文字認識方法。
An input unit for inputting an image, a display unit for displaying image data input by the input unit, an operation unit operated by a user, a character recognition unit for recognizing characters in the image, and a control for controlling each unit In a portable information terminal or mobile phone equipped with a
A character string image or a character line image on the image is extracted after shooting by the input unit, and a character string image or a character line image to be recognized by an operation of the operation unit is extracted from the extracted character string image or character line image. A character recognition method comprising: selecting and recognizing characters inside a selected character string image or character line image.
請求項6記載の文字認識方法において、文字列画像内部あるいは文字行画像内部を前記文字認識部によって文字認識した後に、文字認識結果と表記辞書との照合によって認識対象文字列を抽出することを特徴とする文字認識方法。7. The character recognition method according to claim 6, wherein a character string to be recognized is extracted by collating a character recognition result with a notation dictionary after the character recognition unit recognizes the character string image or the character line image. Character recognition method. 請求項6又は7記載の文字認識方法において、前記制御部は、文字列画像あるいは文字行画像の抽出後に、文字列画像あるいは文字行画像の中から単語を切り出し、切り出した単語の中から前記操作部の操作によって認識対象となる単語を選択し、選択した単語を文字認識することを特徴とする文字認識方法。8. The character recognition method according to claim 6, wherein the control unit cuts out a word from the character string image or the character line image after extracting the character string image or the character line image, and performs the operation from the cut out word. A character recognition method, comprising: selecting a word to be recognized by an operation of a unit; and recognizing the selected word. 請求項6乃至8記載の文字認識方法において、前記制御部は、文字列画像あるいは文字行画像を抽出し、予め文字列画像あるいは文字行画像内部の文字認識を前記文字認識部によって行い、前記操作部の操作によって選択した文字列画像あるいは文字行画像に対応する認識結果を最終結果とする文字認識方法。9. The character recognition method according to claim 6, wherein the control unit extracts a character string image or a character line image, performs character recognition in the character string image or the character line image in advance by the character recognition unit, and performs the operation. A character recognition method in which a recognition result corresponding to a character string image or a character line image selected by operation of a section is a final result.
JP2003183736A 2003-06-27 2003-06-27 Personal digital assistant and method of recognizing character using it Pending JP2005018507A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003183736A JP2005018507A (en) 2003-06-27 2003-06-27 Personal digital assistant and method of recognizing character using it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003183736A JP2005018507A (en) 2003-06-27 2003-06-27 Personal digital assistant and method of recognizing character using it

Publications (2)

Publication Number Publication Date
JP2005018507A true JP2005018507A (en) 2005-01-20
JP2005018507A5 JP2005018507A5 (en) 2005-12-22

Family

ID=34183698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003183736A Pending JP2005018507A (en) 2003-06-27 2003-06-27 Personal digital assistant and method of recognizing character using it

Country Status (1)

Country Link
JP (1) JP2005018507A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331216A (en) * 2005-05-27 2006-12-07 Sharp Corp Image processor, processing object range designation method in image processor, image processing range designation program and recording medium for recording image processing range designation program
JP2013046410A (en) * 2011-08-19 2013-03-04 Newsoft Technology Corp Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and storage medium therefor
WO2013046512A1 (en) * 2011-09-26 2013-04-04 Necカシオモバイルコミュニケーションズ株式会社 Information processing terminal
US10528852B2 (en) 2017-03-22 2020-01-07 Kabushiki Kaisha Toshiba Information processing apparatus, method and computer program product
US10832100B2 (en) 2017-03-22 2020-11-10 Kabushiki Kaisha Toshiba Target recognition device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006331216A (en) * 2005-05-27 2006-12-07 Sharp Corp Image processor, processing object range designation method in image processor, image processing range designation program and recording medium for recording image processing range designation program
JP2013046410A (en) * 2011-08-19 2013-03-04 Newsoft Technology Corp Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and storage medium therefor
WO2013046512A1 (en) * 2011-09-26 2013-04-04 Necカシオモバイルコミュニケーションズ株式会社 Information processing terminal
US10528852B2 (en) 2017-03-22 2020-01-07 Kabushiki Kaisha Toshiba Information processing apparatus, method and computer program product
US10832100B2 (en) 2017-03-22 2020-11-10 Kabushiki Kaisha Toshiba Target recognition device

Similar Documents

Publication Publication Date Title
US9589198B2 (en) Camera based method for text input and keyword detection
US8698937B2 (en) Terminal and image capturing method thereof
US20060045374A1 (en) Method and apparatus for processing document image captured by camera
US7623742B2 (en) Method for processing document image captured by camera
EP2138955A2 (en) Method and apparatus for recognizing character in character recognizing apparatus
JPWO2004015619A1 (en) Character recognition processing device, character recognition processing method, and portable terminal device
US7561741B2 (en) Apparatus for operating a mobile communication terminal with integrated photographic apparatus and method thereof
JP2003178067A (en) Portable terminal-type image processing system, portable terminal, and server
WO2008012905A1 (en) Authentication device and method of displaying image for authentication
CN108694400B (en) Information processing apparatus, control method therefor, and storage medium
EP4273745A1 (en) Gesture recognition method and apparatus, electronic device, readable storage medium, and chip
TWI294100B (en) Mobile handset and the method of the character recognition on a mobile handset
JP2006277001A (en) Input image displaying method, and input image displaying program
JP2005018507A (en) Personal digital assistant and method of recognizing character using it
JP2003331217A (en) Character input device, character input method and character input program
JP2000048215A (en) Data processor and medium recording control program for the same
US20090087102A1 (en) Method and apparatus for registering image in telephone directory of portable terminal
JP2012015657A (en) Communication device, communication method and communication program
JP2006139681A (en) Object detection system
JP2003223610A (en) Character recognizing device and character recognizing method
JP2007166383A (en) Digital camera, image composing method, and program
JP2003337937A (en) Terminal device with fingerprint sensor
JP2012226085A (en) Electronic apparatus, control method and control program
JP2002298078A (en) Character display, its control method, record medium, and program
JP2005346628A (en) Character input method, character input device and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090901