JP4130646B2 - 映像入力部付き携帯用端末機において文字を認識する方法 - Google Patents

映像入力部付き携帯用端末機において文字を認識する方法 Download PDF

Info

Publication number
JP4130646B2
JP4130646B2 JP2004169104A JP2004169104A JP4130646B2 JP 4130646 B2 JP4130646 B2 JP 4130646B2 JP 2004169104 A JP2004169104 A JP 2004169104A JP 2004169104 A JP2004169104 A JP 2004169104A JP 4130646 B2 JP4130646 B2 JP 4130646B2
Authority
JP
Japan
Prior art keywords
key
character
recognition mode
key signal
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004169104A
Other languages
English (en)
Other versions
JP2005004760A (ja
Inventor
采煥 林
正旭 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005004760A publication Critical patent/JP2005004760A/ja
Application granted granted Critical
Publication of JP4130646B2 publication Critical patent/JP4130646B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/27475—Methods of retrieving data using interactive graphical means or pictorial representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/2753—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
    • H04M1/2755—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by optical scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Description

本発明は、携帯用端末機の文字認識に関し、特に、文字を認識する方法とこの方法によって認識された文字を編集する方法に関する。
携帯用端末機は、通話を行う一般の機能と、通話機能以外の付加機能とを有する。前記付加機能に対し、携帯用端末機ではカメラなどを備えており、該カメラを用いて映像を撮影する。前記撮影された映像は、静止映像または動映像などがあり、いずれも前記携帯用端末機に格納されることができる。
ところで、前記カメラが名刺、本などを撮影する場合、携帯用端末機は前記撮影された映像の全体を格納する。そこで、本発明は、入力される映像から文字を別途に認識できる方法を提案する。
したがって、本発明の目的は、携帯用端末機において文字を認識する方法を提供することにある。
本発明の他の目的は、携帯用端末機において認識された文字を編集する方法を提供することにある。
上記の目的を達成するべく、本発明は、映像を撮影できる映像入力部と、前記映像を格納できるメモリとを備えた携帯用端末機において、文字を自動で認識できる自動認識モードにおいて撮影された映像を自動で認識する方法において、前記自動認識モードを設定する過程と、前記設定された自動認識モードにおいて、撮影された映像を前記メモリに格納し、前記撮影された映像から前記文字を認識して格納するように制御する過程と、を含むことを特徴とする。
また、本発明は、映像を撮影できる映像入力部と、前記映像を格納できるメモリとを備えた携帯用端末機において、文字を指定して認識できる手動認識モードにおいて撮影された映像を手動で認識する方法において、前記手動認識モードを設定する過程と、前記設定された手動認識モードにおいて、撮影された映像を前記メモリに格納し、前記撮影された映像から前記文字を認識して格納するように制御する過程と、を含むことを特徴とする。
また、本発明は、映像を撮影できる映像入力部と、前記映像を格納できるメモリとを備えた携帯用端末機において、前記メモリに格納された認識された文字と前記映像を編集できる編集モードにおいて認識された映像を編集する方法において、前記メモリに格納された映像を表示する過程と、認識する文字を選択する過程と、前記選択された文字と前記映像を格納するように制御する過程と、を含むことを特徴とする。
上述した如く、本発明は、携帯用端末機において映像入力部から入力された映像(名刺、本など)から文字を認識し目録として格納するため、使用者が格納された目録から所望の文字を検索・編集・ダイヤルリングできるという利点がある。
以下、本発明に係る好ましい実施例を添付図面を参照しつつ詳細に説明する。下記の説明にあたり、本発明に係る動作を理解する上で必要な部分だけが説明され、それ以外の部分に対する説明が、本発明の要旨を曖昧にするとされる場合には適宜説明を省略するものとする。
図１は、本発明の一実施例に係る携帯用端末機の内部構成図である。
図１を参照すれば、ＲＦ(Radio Frequency)部１２１は、携帯用端末機の通信を行う。該ＲＦ部１２１は、送信される信号の周波数をアップコンバート及び増幅するＲＦ送信機と、受信される信号を低雑音増幅して周波数をダウンコンバートするＲＦ受信機などを含む。データ処理部１２３は、前記送信される信号を符号化及び変調する送信機及び前記受信される信号を復調及び復号化する受信機などを備える。前記データ処理部１２３は、モデム(MODEM)及びコデック(CODEC)などで構成されると良い。オーディオ処理部１２５は、前記データ処理部１２３から出力される受信オーディオ信号を再生したりマイクから発生する送信オーディオ信号を前記データ処理部１２３に転送する機能を行う。
キー入力部１２７は、数字及び文字情報を入力するためのキー及び各種機能を設定するためのファンクションキーを備える。前記各種ファンクションキーは、文字認識モードキー、自動認識モードキー、手動認識モードキー、編集モードキーなどを意味する。これらのファンクションキーは、それぞれのモードに切り換えるために設定されたり選択されたりするキーであり、ナビゲーションキー、数字キー、文字キーなどを使用してもよく、これらのキーの組合せでもファンクションキーの機能を果たすことができる。
メモリ１２９は、プログラムメモリ及びデータメモリで構成される。前記プログラムメモリには携帯用端末機の一般的な動作を制御するためのプログラム及び本発明の実施例による文字認識モードにおいて設定されたモードによって動作できるように制御するプログラムを格納することができる。また、前記データメモリは、前記プログラムを行う途中に発生するデータを一時格納したり、外部から入力されるデータを格納する機能を行う。また、前記データメモリは、ポップアップされた文字を目録に格納したり撮影された映像を格納する。ここで、前記メモリ１２９は、ポップアップされた文字を格納する目録と前記撮影された映像とを分離して格納することができる。これについては下記で詳細に説明するものとする。
映像入力部１５０は、カメラ、カムコーダ、スキャナーなど映像を入力するものならいずれも使用可能である。また、映像入力部１５０は、映像を撮影し、撮影された光信号を電気的信号に変換するカメラセンサーを備える。ここで前記カメラセンサーは、ＣＣＤセンサーとする。また、本発明では、前記映像入力部１５０を内蔵型としているが、携帯用端末機と接続して使用する外付け型の映像入力部１５０であってもいい。
信号処理部１６０は、前記映像入力部１５０から入力される映像をイメージ信号に変換する。ここで前記信号処理部１６０はデジタル信号処理器(Digital Signal Processor：ＤＳＰ)で具現できる。映像処理部１７０は、前記信号処理部１６０から出力されるイメージ信号を表示するための画面データを発生する機能を行う。該映像処理部１７０は、制御部１１０の制御の下に受信される映像信号を表示部１８０の規格に合わせて転送し、前記映像データを圧縮及び伸張する。
前記制御部１１０は、携帯用端末機の全般的な動作を制御する機能を行う。また、前記制御部１１０は前記データ処理部１２３を含むことができ、前記キー入力部１２７からのキー信号を受けて自動認識モード、手動認識モード、編集モードに切り換えるように制御し、設定されたモードに応じて携帯用端末機の動作を制御する。その詳細は後述する。
表示部１８０は、液晶表示装置(ＬＣＤ)などを使用することができ、この場合、前記表示部１８０は、ＬＣＤ制御部(LCD controller)、映像データを格納できるメモリ、及びＬＣＤ表示素子などを備える。前記表示部１８０は、前記映像処理部１７０から送られてきた映像信号を画面に表示する。また、使用者のキー入力に応じて前記制御部１１０は、ボックス(box)及びライン(line)が前記表示部１８０に表示されるように制御する。ここで、使用者が前記ボックス(box)の大きさまたは前記ライン(line)の長さを調節できるように設定されることができる。例えば、前記ボックスの大きさまたは前記ラインの長さを様々にしてそれを使用者に選択させ、特定のキー(ナビゲーションキー、数字キー、特殊キーなど)の操作で前記ボックスの大きさまたは前記ラインの長さが調節できる。
図２は、本発明の一実施例に係る携帯用端末機の表示部に表示される情報を示す図である。図３は、本発明の一実施例に係る携帯用端末機において文字認識モードの設定を説明するための図である。図１ないし図３を参照して文字認識モードにおいて自動認識モード設定及び手動認識モード設定について述べる。
３０１段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が文字認識モードキー信号でなければ初期状態を維持し、前記キー信号が前記文字認識モードキー信号だと前記制御部１１０は３０３段階に進むように制御する。ここで前記文字認識モードキー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、前記キー入力部１２７は文字認識モードキーを別途に含むことができる。
３０３段階において、前記制御部１１０は、文字認識モードに切り換え、前記表示部１８０に前記文字認識モードの情報を表示させ、３０５段階に進むように制御する。これにより、前記表示部１８０は、図２の(ａ)のように前記文字認識モードの情報を表示できる。前記文字認識モードは、使用者が前記文字認識モードキーを押すことで切り換えられ、数字キー、特殊キー、ナビゲーションキーなどの組合せで切り換えられる。
前記３０５段階において、前記制御部１１０は、前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が自動認識モードキー信号でないと３０９段階に進み、前記キー信号が自動認識モードキー信号なら前記制御部１１０は３０７段階に進むように制御する。この３０７段階において、前記制御部１１０は自動認識モードを設定する。この自動認識モードは、前記映像入力部１５０から入力される映像を自動で認識するモードであり、その詳細は図４に基づいて後述する。
一方、前記３０９段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が手動認識モードキー信号でないと３２１段階に進み、前記キー信号が手動認識モードキー信号なら前記制御部１１０は３１１段階に進むように制御する。この３１１段階において、前記制御部１１０は手動認識モードに切り換え、前記表示部１８０に前記手動認識モードの情報を表示させ、３１３段階に進むように制御する。これにより、前記表示部１８０は、図２の(ｂ)のように前記手動認識モードの情報を表示できる。
前記３１３段階で、前記制御部１１０はボックス(box)指定が選択されるか検査する。この検査の結果、前記ボックス指定が選択されなかった場合は３１７段階に進み、前記ボックス指定が選択されたら前記制御部１１０は３１５段階に進むように制御する。前記３１５段階において、前記制御部１１０はボックス指定と設定する。ここで前記ボックス指定は、認識する文字をボックスで指定するように環境を設定するものであり、手動認識モードにおいて使用者が希望する文字をボックスで指定して認識できるように設定されるものである。
一方、前記３１７段階において、前記制御部１１０はライン(line)指定が選択されるか検査する。この検査の結果、前記ライン指定が選択されなかった場合は３１１段階に戻り、前記ライン指定が選択されたら前記制御部１１０は３１９段階に進むように制御する。この３１９段階において、前記制御部１１０はライン指定と設定する。ここで前記ライン指定は、認識する文字をラインで指定して認識できるように環境を設定するものであり、手動認識モードにおいて使用者が希望する文字をラインで指定して認識できるように設定されるものである。前記手動認識モードにおいて使用者が前記ボックス指定または前記ライン指定を設定すれば、前記制御部１１０は前記自動認識モードを設定できないように制御する。また、使用者が前記自動認識モードを設定すれば、前記制御部１１０は前記手動認識モードを設定できないように制御する。
一方、前記３２１段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が編集モードキー信号でないと３２５段階に進み、前記キー信号が前記編集モードキー信号なら前記制御部１１０は３２３段階に進むように制御する。この３２３段階において、前記制御部１１０は編集モードに切り換えるように制御する。前記編集モードは前記メモリ１２９に格納された映像を編集するモードであり、その詳細は図６に基づいて後述する。
前記３２５段階において、前記制御部１１０は設定された時間、例えば、１分の時間が経過したか検査する。この検査の結果、設定された１分の時間が経過しなかった場合は前記３０３段階に戻り、設定された１分の時間が経過したら前記制御部１１０は終了されるように制御する。前記設定された時間は、あらかじめ設定する時間であり、前記自動認識モードキー信号、前記手動認識モードキー信号、前記編集モードキー信号が一定時間(設定した時間)の間に入力されないと前記制御部１１０は終了するように制御する。
図４は、本発明の一実施例に係る文字認識モードにおいて設定された自動認識モードの動作を説明するための図である。図１、図２、及び図４を参照して、前記文字認識モードにおいて自動認識モードと設定された時、前記制御部１１０が文字を認識する方法を説明する。
まず、４０１段階において、前記制御部１１０は、使用者が携帯用端末機を利用して映像を撮影したか検査する。この検査の結果、前記映像が撮影されなかった場合は初期状態を維持し、前記映像が撮影されたら前記制御部１１０は４０３段階に進むように制御する。この４０３段階において、前記制御部１１０は、前記表示部１８０に前記撮影された映像を表示し、文字大きさの最も大きい文字をポップアップ(蓄積されているデータのうち、最も上に存在するデータを取り出すこと：pop-up)表示し、４０５段階に進むように制御する。
文字を認識すべく、前記制御部１１０は、文字のある黒(black)と文字のない白(white)を差別化するよう制御する。差別化するに当たって、前記制御部１１０は、黒(black)部分はより濃く白(white)部分はより薄くなるように制御する。また、前記制御部１１０は、差別化した黒(black)部分を文字領域として認識しコード値に切り換えるように制御する。前記メモリ１２９は、前記コード値を格納する。前記表示部１８０に表示された映像において、前記制御部１１０は液晶表示装置(ＬＣＤ)のドット数から文字大きさが分かる。前記制御部１１０は、測定された文字の大きさのうち最も大きい文字を前記表示部１８０に表示するように制御する。これにより、前記表示部１８０は、図２の(ｃ)と(ｄ)のように表示できる。図２の(ｃ)は本(book)の一部分を撮影したものであり、前記制御部１１０は、文字大きさの最も大きい“第１章 幸せ”を前記表示部１８０にポップアップ(pop-up)表示するように制御する。図２の(ｄ)は、名刺を撮影したものであり、前記制御部１１０は、文字大きさの最も大きい“三星電子”をポップアップ(pop-up)表示するように前記表示部１８０を制御する。
また、文字を認識する方法には、特徴的な文字を自動で認識して格納する方法もある。すなわち、共通的に認識可能な文字をデータベースに格納し、前記データベースに格納された文字と認識された文字とを比較しこれらが一致する場合、前記認識された文字をポップアップ表示できる。例えば、名刺にはTEL、Tel、Phone、電話番号、電話、Tなどの電話番号フィールドと、C.P.、CP、C.P、HHP、H.P、Mobile、MOBILE、携帯フォン、携帯電話などの携帯電話フィールドがあり、E-mail、Email、e-mail、イメールなどのイメールフィールドが存在する。前記特徴的な文字とは、共通的に適用可能な文字のことであって、前記特徴的な文字は前記電話番号フィールド、前記携帯電話フィールド、前記イメールフィールドの外に、電話番号識別字、“-”(例えば、０２-０００-１１１１)などになり得る。これらの特徴的な文字は、データベース(ＤＢ)に格納されることができ、前記特徴的な文字を基準に認識された文字と前記データベースに格納された文字とを比較した後、ポップアップ表示するように前記表示部１８０を制御できる。例えば、 図２の(ｄ)において０５４-１２３-１２３４がポップアップ表示されたとすれば、特徴的な文字“-”がデータベースに格納されたことがわかる。すなわち、前記(ｄ)で特徴的な文字“-”があったため、前記制御部１１０は前記“-”が入っている文字列０５４-１２３-１２３４をポップアップ表示するように前記表示部１８０を制御する。
次いで、前記４０５段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が格納キー信号でなければ４０９段階に進み、前記キー信号が前記格納キー信号なら前記制御部１１０は４０７段階に進むように制御する。前記格納キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、格納キーは、前記キー入力部１２７に一つのキーで構成されてもよく、ナビゲーションキー、確認キーなどの選択的組合せにより構成されても良い。前記４０７段階において、前記制御部１１０はポップアップされた文字(例えば、“第１章 幸せ”または“三星電子”)を目録に格納し、撮影された映像を前記メモリ１２９に格納するように制御する。前記目録は、前記メモリ１２９に格納されてもよく、別途のメモリに格納されてもいい。前記ポップアップされた文字を格納するに当たって、前記メモリ１２９は大きい文字列の集合を目次として格納してもいい。例えば、本や文書などを認識すれば、前記制御部１１０は大きい文字(題目、小題目など)をポップアップ表示するように前記表示部１８０を制御する。また、前記制御部１１０は前記ポップアップされた文字を目次として格納できるように前記メモリ１２９を制御できる。前記目次は、本、文書などの形式に分類され、一つのカテゴリを持つ内容に分類されると良い。
前記４０９段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が取消キー信号でないと４１７段階に進み、前記キー信号が前記取消キー信号なら前記制御部１１０は４１１段階に進むように制御する。前記取消キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、取消キーは前記キー入力部１２７に一つのキーで構成されてもよく、ナビゲーションキー、確認キーなどの選択的組合せにより構成されても良い。
前記４１１段階において、前記制御部１１０は撮影された文字大きさのうち、２番目に大きい文字大きさを持つ文字を前記表示部１８０に表示し、４１３段階に進むように制御する。前記表示部１８０に表示された映像において、前記制御部１１０は液晶表示装置(ＬＣＤ)のドット数から文字大きさが分かる。前記制御部１１０は、測定された文字の大きさのうち２番目に大きい文字を、前記表示部１８０にポップアップ表示するように制御する。これにより、前記表示部１８０は表示された文字のうち２番目に大きい“ホンギルドン”を、図２の(ｅ)のようにポップアップ表示できる。すなわち、使用者が前記キー入力部１２７の前記取消キーを押す度ごとに、前記制御部１１０は大きい文字から小さい文字の順に前記表示部１８０に文字がポップアップ表示されるように制御する。撮影された映像において最も小さい文字の大きさが前記表示部１８０にポップアップ表示され、使用者が前記取消キーを押すと前記制御部１１０は前記４０３段階に戻るように制御する。
次いで前記４１３段階において、前記制御部１１０は、前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が格納キー信号でないと前記４１１段階に戻り、前記キー信号が格納キー信号なら４１５段階に進むように制御する。４１５段階において、一定の時間(例えば、１分の時間)の中に前記格納キー信号が入力されないと、前記制御部１１０は終了するように制御する。また、前記４１５段階において、前記制御部１１０はポップアップされた文字を目録に格納し、撮影された映像を前記メモリ１２９に格納するように制御する。
一方、４１７段階において、前記制御部１１０は設定された時間、例えば１分の時間が経過されたか検査する。この検査結果、１分の時間が経過しなかったら前記４０３段階に戻り、１分の時間が経過したら前記制御部１１０は終了するように制御する。前記設定された時間は、あらかじめ設定される時間であり、前記格納キー信号、前記取消キー信号が一定の時間(設定された時間)の間に入力されないと前記制御部１１０は終了するように制御する。
図５は、本発明の一実施例による文字認識モードにおいて設定された手動認識モードの動作を説明するための図である。次に、図１、図２、及び図５に基づき、前記文字認識モードにおいて手動認識モードと設定されたとき前記制御部１１０が文字を認識する方法について説明する。
まず、５０１段階において、使用者が携帯用端末機を使って映像を撮影したか検査する。この検査の結果、前記映像が撮影されなかった場合は初期状態を維持し、前記映像が撮影されたら前記制御部１１０は５０３段階に進むように制御する。この５０３段階において、前記制御部１１０は、前記表示部１８０に撮影された映像を表示し、５０５段階に進むように制御する。これにより、前記表示部１８０は、図２の(ｉ)と(ｊ)のように表示できる。図２の(ｉ)は前記文字認識モードにおいてボックス(box)指定を選択した場合を表示したものであり、図２の(ｊ)は前記文字認識モードにおいてライン(line)指定を選択した場合を表示したものである。
その後、５０５段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が指定キー信号でないと５１３段階に進み、前記キー信号が前記指定キー信号なら前記制御部１１０は５０７段階に進むように制御する。この５０７段階において、前記制御部１１０は指定された文字を前記表示部１８０に表示し、５０９段階に進むように制御する。すなわち、使用者が前記キー入力部１２７の指定キーを利用して認識する文字を選択すれば、前記制御部１１０は指定された文字を前記表示部１８０に表示するように制御する。ここで、指定キーは前記キー入力部１２７に１つのキーとして含まれ、使用者はナビゲーションキー、確認キー、数字キーなどの組合せで認識する文字を選択できる。すなわち、撮影された映像が名刺であり、前記文字認識モードにおいてボックス(box)指定が設定された場合、使用者は前記指定キーを利用して認識する文字(例えば、“ホンギルドン”)をボックス(box)中に位置するように指定する。また、撮影された映像が名刺であり、前記文字認識モードにおいてライン(line)指定が設定された場合、使用者は前記指定キーを利用して認識する文字(例えば、“ホンギルドン”)をライン(line)上に位置するように指定する。ここでボックスの大きさと前記ラインの長さが調節可能であることは前述のとおりである。
前記５０９段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が格納キー信号でないと前記５０７段階に戻り、前記キー信号が前記格納キー信号なら前記制御部１１０は５１１段階に進むように制御する。前記格納キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、格納キーは前記キー入力部１２７に一つのキーで構成されてもよく、ナビゲーションキー、確認キーなどの選択的組合せで構成されてもいいい。その後、５１１段階において、前記制御部１１０は指定された文字を認識して目録に格納し、撮影された映像を前記メモリ１２９に格納するように制御する。
一方、前記５１３段階において、前記制御部１１０は設定された時間、例えば１分の時間が経過したか検査する。この検査の結果、１分の時間が経過しなかった場合は前記５０３段階に戻り、１分の時間が経過したら前記制御部１１０は終了するように制御する。前記設定された時間は、あらかじめ設定される時間であり、前記指定キー信号が一定時間(設定された時間)の間に入力されないと前記制御部１１０は終了するように制御する。
図６は、本発明の一実施例による文字認識モードにおいて編集モードの動作を説明するための図である。次に、図１、図２、及び図６を参照して編集モードにおいての制御部の動作について説明する。
使用者が編集モードを選択すると、前記制御部１１０は６０１段階に進むように制御する。この６０１段階において、前記制御部１１０は編集モードの情報を前記表示部１８０に表示するように制御し、６０３段階に進むように制御する。これにより、前記表示部１８０は、図２の(ｆ)のように前記編集モードの情報を表示できる。
前記６０３段階において、前記制御部１１０は、前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が修正キー信号でないと６１９段階に進み、前記キー信号が前記修正キー信号なら前記制御部１１０は６０５段階に進むように制御する。この６０５段階において、前記制御部１１０は目録を前記表示部１８０に表示し、６０７段階に進むように制御する。これにより、前記表示部１８０は図２の(ｇ)のように目録を表示できる。
その後、６０７段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が選択キー信号でないと前記６０５段階に戻り、前記キー信号が前記選択キー信号なら前記制御部１１０は６０９段階に進むように制御する。前記選択キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、選択キーは目録を選択できるナビゲーションキー、確認キー、数字キーなどを意味する。次いで、６０９段階において、前記制御部１１０は選択された目録の映像を前記表示部１８０に表示し、６１１段階に進むように制御する。これにより、前記表示部１８０は図２の(ｉ)または(ｊ)のように表示できる。
次いで前記６１１段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が指定キー信号でないと前記６０９段階に戻り、前記キー信号が前記指定キー信号なら前記制御部１１０は６１３段階に進むように制御する。この６１３段階において、前記制御部１１０は指定された文字を前記表示部１８０に表示し、６１５段階に進むように制御する。すなわち、使用者が前記キー入力部１２７の指定キーを利用して認識する文字を選択すれば、前記制御部１１０は指定された文字を前記表示部１８０に表示するように制御する。ここで、前記指定キーは、前記キー入力部１２７に一つのキーとして含まれ、使用者はナビゲーションキー、確認キー、数字キーなどの組合せで認識する文字を選択できる。すなわち、撮影された映像が名刺であり、前記文字認識モードでボックス(box)指定が設定された場合、使用者は前記指定キーを利用して認識する文字、例えば“ホンギルドン”をボックス(box)中に位置するように指定する。また、撮影された映像が名刺であり、前記文字認識モードにおいてライン(line)指定が設定された場合、使用者は前記指定キーを利用して認識する文字、例えば“ホンギルドン”をライン(line)上に位置するように指定する。ここで前記ボックスの大きさと前記ラインの長さが調節可能であることは前述したとおりである。
その後、６１５段階において、前記制御部１１０は、前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が格納キー信号でないと前記６１３段階に戻り、前記キー信号が前記格納キー信号なら前記制御部１１０は６１７段階に進むように制御する。前記格納キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、格納キーは前記キー入力部１２７に一つのキーで構成されてもよく、ナビゲーションキー、確認キーなどの選択的組合せにより構成されてもいい。前記６１７段階において、前記制御部１１０は、指定された文字を認識して目録に格納し、映像(名刺全体)を前記メモリ１２９に格納するように制御する。
一方、前記６１９段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が目録閲覧キー信号でないと前記６０１段階に戻り、前記キー信号が前記目録閲覧キー信号なら前記制御部１１０は６２１段階に進むように制御する。この６２１段階において、前記制御部１１０は目録を前記表示部１８０に表示し、６２３段階に進むように制御する。これにより、前記表示部１８０は、図２の(ｇ)のように表示できる。
前記６２３段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が選択キー信号でないと６２１段階に戻り、前記キー信号が前記選択キー信号なら前記制御部１１０は６２５段階に進むように制御する。前記選択キー信号は使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、選択キーは、目録を選択できるナビゲーションキー、確認キー、数字キーなどを意味する。その後、６２５段階において、前記制御部１１０は選択された目録の映像を前記表示部１８０に表示し、６２７段階に進むように制御する。前記表示部１８０は図２の(ｈ)のように表示できる。すなわち、使用者が“２．ホンギルドン”という目録を選択すれば、前記制御部１１０は“ホンギルドン”という目録を題目として前記メモリ１２９に格納された映像を前記表示部１８０に表示するように制御する。
その後、６２７段階において、前記制御部１１０は前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が削除キー信号でないと６３１段階に進み、前記キー信号が前記削除キー信号なら前記制御部１１０は６２９段階に進むように制御する。この６２９段階において、前記制御部１１０は選択された目録“ホンギルドン”及び映像(名刺)を前記メモリ１２９から削除するように制御する。
一方、前記６３１段階において、前記制御部１１０は、前記キー入力部１２７からキー信号が入力されるか検査する。この検査の結果、前記キー信号が確認キー信号でないと前記６２５段階に戻るように制御し、前記キー信号が前記確認キー信号なら前記制御部１１０は終了するように制御する。ここで前記確認キー信号は、使用者が前記キー入力部１２７のキーを押すことで発生する信号であり、確認キーは使用者が確認及び終了する時に使用するキーである。
さらに、使用者が電話をかける時、前記認識された文字を使用することができる。すなわち、使用者が前記文字認識モードの手動認識モードにおいてボックス指定を設定したとすれば、前記制御部１１０は、撮影された映像(例えば、名刺)においてボックスにて名前と電話番号を別途に認識し格納するように制御できる。前記名前と前記電話番号を別途に認識して格納するにおいて、前記制御部１１０は文字(名前、電話番号など)のある黒(black)と文字のない白(white)を差別化するよう制御する。つまり、前記制御部１１０は黒(black)部分はより濃く白(white)部分はより薄くなるように制御する。また前記制御部１１０は、差別化した黒(black)部分を文字領域と認識してコード値に切り換えるように制御する。このコード値は前記メモリ１２９に格納される。すなわち、前記メモリ１２９は、文字(名前、電話番号など)のコード値を格納する。したがって、使用者が前記メモリ１２９に格納された名前及び電話番号を検索すると、前記制御部１１０はそれが前記表示部１８０に表示されるように制御する。このとき、使用者が通話(SEND)キーを押すと、前記制御部１１０は前記表示部１８０に表示された電話番号にダイヤルリングする。
以上の本発明の詳細な説明では具体的な実施例を上げて説明してきたが、本発明の範囲を外れない限度内で様々な変形が可能であることはもちろんである。したがって、本発明の範囲は、説明された実施例によって限定されるものではなく、特許請求の範囲及びこの特許請求の範囲と均等なものによって定められるべきである。
本発明の一実施例に係る携帯用端末機の内部構成図。 本発明の一実施例に係る携帯用端末機の表示部に表示される情報を示す図。 本発明の一実施例に係る携帯用端末機において文字認識モードの設定を説明するための図。 本発明の一実施例に係る文字認識モードにおいて設定された自動認識モードの動作を説明するための図。 本発明の一実施例に係る文字認識モードにおいて設定された手動認識モードの動作を説明するための図。 本発明の一実施例に係る文字認識モードにおいて編集モードの動作を説明するための図。
符号の説明
１１０・・・制御部、１２３・・・データ処理部、１２７・・・キー入力部、１２９・・・メモリ、１５０・・・映像入力部、１６０・・・信号処理部、１７０・・・映像処理部、１８０・・・表示部。




Claims (3)

  1. 映像を撮影できる映像入力部と、前記映像を格納できるメモリとを持つ携帯用端末機において、
    文字認識モードにおいて、一定時間の経過前にキー信号が入力されるかを判断する過程と、
    前記一定時間が経過しても前記キー信号が入力されないと、前記文字認識モードを終了する過程と、
    前記一定時間の経過前に前記キー信号が入力されると、前記入力されるキー信号によって撮影された映像から文字を自動に認識できる自動認識モードまたは撮影された映像から文字を指定して認識できる手動認識モード、またはメモリに格納された認識された文字と前記映像を編集できる編集モードを判断する過程と、
    前記自動認識モードに判断されると、撮影された映像から、文字を自動に認識する自動認識モードを設定する過程と、
    前記設定された自動認識モードにおいて、前記撮影された映像から自動に認識された文字をキーが入力されるごとに大きさ順にポップアップ表示しながら大きさ別に表示する過程と、を含むことを特徴とする方法。
  2. 前記大きさ別に表示された文字を前記メモリ目録に格納するように制御する過程、をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記文字を大きさ別に表示する過程は、
    共通的に認識可能な文字が格納されたデータベースに格納された文字と前記認識された文字とを比較する過程と、
    前記比較結果、それらの文字が一致する場合、前記認識された文字をポップアップ表示する過程と、を含むことを特徴とする請求項１に記載の方法。
JP2004169104A 2003-06-10 2004-06-07 映像入力部付き携帯用端末機において文字を認識する方法 Expired - Fee Related JP4130646B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030037006A KR100584344B1 (ko) 2003-06-10 2003-06-10 영상입력부를 가진 휴대용 단말기에서 문자를 인식하는 방법

Publications (2)

Publication Number Publication Date
JP2005004760A JP2005004760A (ja) 2005-01-06
JP4130646B2 true JP4130646B2 (ja) 2008-08-06

Family

ID=33411750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004169104A Expired - Fee Related JP4130646B2 (ja) 2003-06-10 2004-06-07 映像入力部付き携帯用端末機において文字を認識する方法

Country Status (5)

Country Link
US (1) US7486821B2 (ja)
EP (1) EP1492046A1 (ja)
JP (1) JP4130646B2 (ja)
KR (1) KR100584344B1 (ja)
CN (1) CN100562192C (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100547738B1 (ko) * 2003-08-12 2006-01-31 삼성전자주식회사 카메라를 구비한 휴대용 단말기에서의 주소록 관리 장치및 방법
US7450960B2 (en) * 2004-10-07 2008-11-11 Chen Alexander C System, method and mobile unit to sense objects or text and retrieve related information
DE102005013541B4 (de) * 2005-03-23 2014-02-13 Hewlett-Packard Development Co., L.P. Verfahren zur Einstellung eines Kommunikationsendgerätes und Kommunikationsendgerät
CA2604097A1 (en) * 2005-04-14 2006-10-26 Any Corner Llc Systems and methods for a multimedia communications system
EP1973315A1 (en) * 2007-03-21 2008-09-24 Lucent Technologies Inc. Image recognition for placing a call
KR101430461B1 (ko) * 2007-11-23 2014-08-18 엘지전자 주식회사 통신 단말기 및 이것의 디스플레이 방법
CN101609365B (zh) 2009-07-21 2012-10-31 上海合合信息科技发展有限公司 字符输入方法及系统、电子设备及其键盘
KR101643563B1 (ko) * 2009-07-27 2016-07-29 주식회사 엘지유플러스 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법
KR101645994B1 (ko) * 2009-12-29 2016-08-05 삼성전자주식회사 문자 인식 영역 검출 장치 및 문자 인식 방법
JP5601027B2 (ja) * 2010-05-24 2014-10-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101701839B1 (ko) * 2010-07-13 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN103535019A (zh) * 2011-05-24 2014-01-22 惠普发展公司，有限责任合伙企业 图像的感兴趣区域
KR101834987B1 (ko) * 2011-08-08 2018-03-06 삼성전자주식회사 휴대용 단말기에서 화면 캡쳐를 위한 장치 및 방법
KR102034486B1 (ko) * 2012-11-13 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN104113622B (zh) * 2014-06-26 2017-02-22 小米科技有限责任公司 在通讯录中添加联系人信息的方法和装置
CN105955626B (zh) * 2016-04-29 2019-04-09 广东小天才科技有限公司 拍照搜索的方法及装置
CN110163088A (zh) * 2019-04-10 2019-08-23 珠海市优质生活供应链管理有限公司 一种对指定用户自动照相的系统和方法
JP2022092837A (ja) * 2020-12-11 2022-06-23 株式会社東海理化電機製作所 制御装置およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0650538B2 (ja) * 1984-03-28 1994-06-29 株式会社日立製作所 手書き文字・図形認識の認識モード指定方法
DE69028337T2 (de) * 1989-04-28 1997-01-09 Hitachi Ltd Zeichenerkennungsanlage
JPH07225809A (ja) 1994-02-14 1995-08-22 Fuji Facom Corp 文書読取り枠の自動生成方法
JPH07288722A (ja) 1994-04-15 1995-10-31 Canon Inc 撮像装置
US5923792A (en) * 1996-02-07 1999-07-13 Industrial Technology Research Institute Screen display methods for computer-aided data entry
US5995919A (en) * 1997-07-24 1999-11-30 Inventec Corporation Multi-lingual recognizing method using context information
US6091546A (en) * 1997-10-30 2000-07-18 The Microoptical Corporation Eyeglass interface system
JP2001005599A (ja) 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
JP2001160848A (ja) 1999-12-03 2001-06-12 Matsushita Electric Ind Co Ltd 通信端末装置及び通信端末装置における画像読取／処理方法
JP2001202475A (ja) 2000-01-19 2001-07-27 Sharp Corp 文字認識装置及び文字認識装置の制御方法
JP3987264B2 (ja) 2000-03-24 2007-10-03 富士通株式会社 ナンバープレート読取装置及び方法
US7577618B2 (en) * 2000-10-10 2009-08-18 Stamps.Com Inc. Generic value bearing item labels
JP2002252691A (ja) 2001-02-26 2002-09-06 Seiko Epson Corp ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ：光学的文字読み取り）機能付き携帯電話端末
JP2002269495A (ja) 2001-03-13 2002-09-20 Ricoh Co Ltd 文字認識装置および文字認識プログラム
US20020131636A1 (en) 2001-03-19 2002-09-19 Darwin Hou Palm office assistants
JP4240859B2 (ja) 2001-09-05 2009-03-18 株式会社日立製作所 携帯端末装置及び通信システム

Also Published As

Publication number Publication date
CN100562192C (zh) 2009-11-18
KR100584344B1 (ko) 2006-05-26
US20040252887A1 (en) 2004-12-16
EP1492046A1 (en) 2004-12-29
US7486821B2 (en) 2009-02-03
CN1575007A (zh) 2005-02-02
JP2005004760A (ja) 2005-01-06
KR20040106975A (ko) 2004-12-20

Similar Documents

Publication Publication Date Title
JP4130646B2 (ja) 映像入力部付き携帯用端末機において文字を認識する方法
US7889267B2 (en) Focus state display apparatus and focus state display method
US20070255571A1 (en) Method and device for displaying image in wireless terminal
US7711255B2 (en) Camera-equipped portable terminal and photograph transmission method using the same
KR100547738B1 (ko) 카메라를 구비한 휴대용 단말기에서의 주소록 관리 장치및 방법
EP1662776A1 (en) Camera having transmission function, mobile telephone device, and image data acquiring/transmitting program
KR100692005B1 (ko) 사진별 메모 입력 기능을 갖는 이동통신 단말기 및 그제어 방법
KR20060050746A (ko) 카메라로 촬영된 문서 영상 처리 방법
US8760486B2 (en) Method for providing phone book using business card recognition in mobile communication terminal and mobile communication terminal using the method
KR100566230B1 (ko) 이동통신 단말기에서 전화번호와 연관된 기능 수행 방법
KR100591839B1 (ko) 이동 통신 단말기의 사진영상 관리장치 및 방법
KR100800896B1 (ko) 휴대용 단말기의 메시지 전송 장치 및 방법
KR20050112998A (ko) 연속 촬영 영상의 선택 저장 기능을 가지는무선통신단말기 및 그 방법
KR100689405B1 (ko) 휴대단말기의 이미지 저장 및 검색방법
JP5061838B2 (ja) 携帯型情報処理装置
KR20060076557A (ko) 이동통신 단말기의 메모리 용량 표시방법
KR20060057251A (ko) 디지털 카메라를 구비한 단말기의 메뉴 관리 방법
KR20070023182A (ko) 음성안내를 통한 멀티미디어 메시지 전송이 가능한이동통신 단말기 및 그 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees