JP2010217997A - Device, program, and method for recognizing character - Google Patents
Device, program, and method for recognizing character Download PDFInfo
- Publication number
- JP2010217997A JP2010217997A JP2009061149A JP2009061149A JP2010217997A JP 2010217997 A JP2010217997 A JP 2010217997A JP 2009061149 A JP2009061149 A JP 2009061149A JP 2009061149 A JP2009061149 A JP 2009061149A JP 2010217997 A JP2010217997 A JP 2010217997A
- Authority
- JP
- Japan
- Prior art keywords
- character recognition
- character
- image
- stationary
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Input (AREA)
Abstract
Description
この発明は、例えば画像データに含まれている文字を認識するような文字認識装置、文字認識プログラム、および文字認識方法に関する。 The present invention relates to a character recognition device, a character recognition program, and a character recognition method that recognize characters included in image data, for example.
従来、文字認識機能を搭載したカメラ付き携帯情報端末が提案されている(特許文献1参照)。このカメラ付き携帯情報端末により、撮影した画像から文字を認識し、さらに英単語を認識して辞書機能から英語の語彙を表示できるとされている。 Conventionally, a portable information terminal with a camera equipped with a character recognition function has been proposed (see Patent Document 1). This camera-equipped mobile information terminal can recognize characters from captured images, and can recognize English words and display English vocabulary from the dictionary function.
ここで、カメラによる撮影を開始するトリガとして、撮影ボタンの押下が考えられる。 Here, as a trigger for starting shooting by the camera, it is conceivable to press the shooting button.
しかし、撮影ボタンの押下をトリガとすると、カメラ付き携帯情報端末の位置を調節して認識したい文字が撮影範囲に入るようにする動作と、撮影ボタンの押下という2つの操作を同時にしなければならず、操作が煩雑であるという問題点がある。 However, if the shooting button is pressed as a trigger, the two operations of adjusting the position of the camera-equipped portable information terminal so that the character to be recognized enters the shooting range and pressing the shooting button must be performed simultaneously. However, there is a problem that the operation is complicated.
また、撮影ボタンの押下操作によってカメラ付き携帯情報端末にブレが生じると、撮影画像にもブレが生じ、文字認識に適さない画像になるという問題点もある。 In addition, when the camera-operated portable information terminal is blurred due to the pressing operation of the shooting button, the shot image is also blurred, resulting in an image that is not suitable for character recognition.
この発明は、上述した問題に鑑み、認識したい文字の画像を利用者が容易に撮影できる文字認識装置、文字認識プログラム、および文字認識方法を提供し、利用者の満足度を向上させることを目的とする。 SUMMARY OF THE INVENTION In view of the above-described problems, the present invention provides a character recognition device, a character recognition program, and a character recognition method that allow a user to easily capture an image of a character that the user wants to recognize, and to improve user satisfaction. And
この発明は、撮影により画像データを取得する撮影手段と、前記画像データ内の文字を認識する文字認識手段とを備えた文字認識装置であって、静止状態を検知する静止検知手段と、前記文字認識手段による文字認識を開始する文字認識開始手段とを備え、該文字認識開始手段は、前記静止検知手段により静止状態を検知したことを文字認識開始の一条件とする文字認識装置であることを特徴とする。 The present invention is a character recognition device comprising a photographing means for acquiring image data by photographing, and a character recognition means for recognizing characters in the image data, the stationary detection means for detecting a stationary state, and the character A character recognition start unit that starts character recognition by the recognition unit, and the character recognition start unit is a character recognition device that uses a detection of a stationary state by the stationary detection unit as a condition for starting character recognition. Features.
前記撮影手段は、例えばCCDカメラやCMOSカメラなど、画像データを取得可能な適宜の手段で構成することができる。 The photographing means can be constituted by an appropriate means capable of acquiring image data, such as a CCD camera or a CMOS camera.
前記画像データは、カラー画像やグレースケール画像やモノクロ2階調画像など、適宜の画像のデータとすることができる。 The image data may be appropriate image data such as a color image, a gray scale image, or a monochrome two-tone image.
前記文字認識手段は、例えば、画像データ中の文字画像から特徴データを抽出し該特徴データをマッチングデータの特徴データとマッチングし、どの文字かを認識する手段とすることができる。 The character recognizing means may be, for example, means for extracting feature data from a character image in image data and matching the feature data with feature data of matching data to recognize which character.
前記静止検知手段は、撮影手段で連続的に撮影している画像の移動が所定範囲内に収まっている場合に静止状態であると検知する演算手段、加速度に変化がない場合(あるいは変化が所定範囲内の場合)に静止していると検知する加速度センサ、角速度に変化がない場合(あるいは変化が所定範囲内の場合)に静止していると検知するジャイロセンサ(gyroscope)など、静止状態を検知する適宜の手段により構成することができる。画像に基づく静止状態の検知は、撮影手段と被写体(文字印刷媒体)との相対的な静止状態の検知となり、加速度センサやジャイロセンサといった物理センサによる検知は、物理的な静止状態の検知となる。いずれの場合も、地球上に静止している状態だけでなく、交通機関等による一定速度での移動中で加速度がかからない状態であっても静止状態を検知できる。 The stillness detection means is a calculation means for detecting that the movement of the images continuously taken by the photographing means is within a predetermined range, and that the acceleration is not changed (or the change is predetermined). Acceleration sensor that detects that the camera is stationary when it is within the range, and a gyroscope that detects that the sensor is stationary when the angular velocity has not changed (or the change is within the specified range). It can be configured by an appropriate means for detection. Detection of a stationary state based on an image is detection of a relative stationary state between the photographing unit and the subject (character print medium), and detection by a physical sensor such as an acceleration sensor or a gyro sensor is detection of a physical stationary state. . In any case, the stationary state can be detected not only in a state where it is stationary on the earth, but also in a state where acceleration is not applied during movement at a constant speed by transportation or the like.
前記文字認識開始手段は、前記静止検知手段により静止状態を検知すれば文字認識を開始する制御手段、あるいは、静止状態を検知すると共に他の条件も満たせば文字認識を開始する制御手段など、適宜の制御手段により構成することができる。他の条件は、例えばピントが合っていること、文字が存在していること、文字が傾いていないこと、文字の大きさが適切であること、あるいはこれらの複数の条件とすることができる。 The character recognition starting means is suitably a control means for starting character recognition if the stationary state is detected by the stationary state detecting means, or a control means for starting character recognition if the stationary state is detected and other conditions are met. The control means can be used. The other conditions may be, for example, that the subject is in focus, the character is present, the character is not tilted, the character size is appropriate, or a plurality of these conditions.
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる。 According to the present invention, the user can easily take an image of a character to be recognized, and the satisfaction of the user can be improved.
この発明の態様として、前記画像データに文字列が適切に撮影されているか否か判別する適否判別手段を備え、前記文字認識開始手段は、前記適否判別手段により文字が適切に撮影されていると判別したことを文字認識開始の一条件とすることができる。 As an aspect of the present invention, there is provided suitability determining means for determining whether or not a character string is properly photographed in the image data, and the character recognition starting means is characterized in that a character is properly photographed by the suitability distinguishing means. This determination can be made a condition for starting character recognition.
前記適否判別手段は、例えばピントが合っていること、文字が存在していること、文字が傾いていないこと、文字の大きさが適切であること、あるいはこれらの複数の条件を満たすか否か判別する演算手段により構成することができる。 The suitability judging means, for example, whether the subject is in focus, the character is present, the character is not tilted, the character size is appropriate, or whether these multiple conditions are satisfied. It can be configured by a computing means for discrimination.
この態様により、携帯端末が静止状態で、かつ文字を適切に撮影している場合に文字認識を開始することができる。従って、適切に文字認識が出来ない画像データをもとに文字認識を開始することを防止でき、利用者の満足度を向上させることができる。 According to this aspect, it is possible to start character recognition when the mobile terminal is in a stationary state and the character is properly captured. Therefore, it is possible to prevent character recognition from starting based on image data that cannot be properly recognized, and to improve user satisfaction.
またこの発明の態様として、文字認識の開始指示の入力を受け付ける入力手段を備え、前記文字認識開始手段は、文字認識開始の条件を満たしているか否かにかかわらず前記入力手段により開始指示の入力を受け付けると文字認識手段による文字認識を開始する構成とすることができる。 Further, as an aspect of the present invention, an input means for receiving an input of a character recognition start instruction is provided, and the character recognition start means inputs a start instruction by the input means regardless of whether or not a character recognition start condition is satisfied. Can be configured to start character recognition by the character recognition means.
前記入力手段は、利用者の押下操作を受け付ける押下ボタン、利用者のタッチ操作を検出するタッチパネル、または「開始」などの利用者の指示音声を受け付ける音声認識手段など、入力操作を受け付ける適宜の手段により構成することができる。 The input means is an appropriate means for accepting an input operation, such as a push button for accepting a user's push operation, a touch panel for detecting the user's touch operation, or a voice recognition means for accepting a user's instruction voice such as “start”. Can be configured.
この態様により、利用者自身が任意のタイミングで文字認識を開始させることが可能になる。従って、例えば静止状態を検知できない場合に利用者が開始指示する、あるいは文字の背景柄等によって画像データ内の文字が適切であると判別できない場合に利用者が開始指示するといったことができる。 This aspect enables the user himself / herself to start character recognition at an arbitrary timing. Therefore, for example, the user can give a start instruction when the stationary state cannot be detected, or the user can give a start instruction when the character in the image data cannot be determined to be appropriate based on the background pattern of the character.
またこの発明の態様として、前記撮影手段は、プレビューモードで連続的に画像を取得する構成であり、前記静止検知手段は、プレビューモードでの前記撮影画像から予め定めた第1領域の第1画像を取得し、プレビューモードの次以降の所定枚数の画像について、前記第1領域よりも広い第2領域内に前記第1画像が認識されれば、静止状態であると検知する構成とすることができる。 Further, as an aspect of the present invention, the photographing unit is configured to continuously acquire images in a preview mode, and the stillness detecting unit is a first image in a first region determined in advance from the captured image in the preview mode. For a predetermined number of images subsequent to the preview mode, if the first image is recognized in a second area wider than the first area, it is detected that the image is stationary. it can.
この態様により、撮影手段で撮影した画像データを利用して静止状態かいなか検知することができ、文字認識装置を簡潔な構成にすることができる。 According to this aspect, it is possible to detect whether the image is still using the image data photographed by the photographing means, and the character recognition device can be simplified.
またこの発明は、撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとをコンピュータに実行させる文字認識プログラムであって、静止検知手段により静止状態を検知する静止検知ステップと、前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとをコンピュータに実行させる文字認識プログラムとすることができる。 According to another aspect of the present invention, there is provided a character recognition program for causing a computer to execute an image data acquisition step of acquiring image data by a photographing unit and a character recognition step of recognizing characters in the image data by a character recognition unit. Character recognition for causing a computer to execute a stationary detection step for detecting a stationary state by means, and a character recognition starting step for starting the character recognition step on the condition that the stationary state is detected by the stationary detection step. It can be a program.
前記文字認識プログラムは、CD(Compact Disc)、DVD(Digital Versatile Disk)、フレキシブルディスク、メモリ、チップ、またはハードディスクなど、適宜の記憶媒体に格納することができる。
この発明により、コンピュータに文字認識プログラムをインストールすれば、画像データに対して手軽な操作で高速の文字認識を実現することができる。
The character recognition program can be stored in an appropriate storage medium such as a CD (Compact Disc), a DVD (Digital Versatile Disk), a flexible disk, a memory, a chip, or a hard disk.
According to the present invention, if a character recognition program is installed in a computer, high-speed character recognition can be realized with a simple operation on image data.
またこの発明は、撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとを実行する文字認識方法であって、静止検知手段により静止状態を検知する静止検知ステップと、前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとを実行する文字認識方法とすることができる。 According to another aspect of the present invention, there is provided a character recognition method for executing an image data acquisition step of acquiring image data by a photographing unit and a character recognition step of recognizing a character in the image data by a character recognition unit. A character recognition method for executing a stationary detection step for detecting a stationary state and a character recognition starting step for starting the character recognition step on the condition that the stationary state is detected by the stationary detection step as a condition for starting the character recognition. Can do.
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる。 According to the present invention, the user can easily take an image of a character to be recognized, and the satisfaction of the user can be improved.
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる According to the present invention, the user can easily take an image of a character to be recognized, and the satisfaction of the user can be improved.
この発明の一実施形態を以下図面と共に説明する。 An embodiment of the present invention will be described below with reference to the drawings.
図1は、携帯端末1の斜視図を示し、図2は、携帯端末1の構成のブロック図を示す。
携帯端末1は、図1に示すように、正面に表示部3および操作部4(キー操作部4a〜4e)が設けられ、背面に撮影部2が設けられている。
FIG. 1 shows a perspective view of the
As shown in FIG. 1, the
撮影部2は、画像を撮影するデジタルカメラである。表示部3は、画像を表示する液晶ディスプレイあるいは有機ELディスプレイである。この撮影部2と表示部3は、背中合わせに設けられている。これにより、撮影対象と利用者の間に携帯端末1が位置すると、携帯端末1の背面の撮影部2で撮影対象(文字)が撮影され、携帯端末1の正面の表示部3で利用者が撮影画像を確認できるようになっている。
The photographing
操作部4は、押下操作されるボタンである。なお、表示部3にタッチ操作部としてタッチパネルを設け、このタッチ操作部とキー操作部4a〜4eにより操作部4を構成してもよい。
The
図2に示すように、携帯端末1は、撮影部2、表示部3、及び操作部4に加えて、中央制御部5、RAM6、およびROM7が設けられている。撮影部2、表示部3、操作部4、RAM6、およびROM7は、全て中央制御部5に接続されている。
As shown in FIG. 2, the
撮影部2は、CCDカメラまたはCMOSカメラなどのデジタルカメラである。撮影部2が撮影して得た撮影画像は、デジタル画像データとして中央制御部5に送信される。このデジタル画像データは、最終的に別途の記憶装置(不揮発性メモリなど)に記憶しても良い。なお、撮影部2は、中央制御部5から撮影信号を受けて撮影を開始する。
The photographing
表示部3は、操作画面を表示する操作表示部としての機能と、文字認識した認識結果を表示する認識結果表示部としての機能とを有している。表示部3は、中央制御部5から画像データが送られてくると、この画像データの画像を表示する。
The
操作部4は、利用者にキー操作部4a〜4e(図1)が押下操作された押下信号を、中央制御部5に送信する。
The
中央制御部5は、RAM6やROM7に記憶されたプログラムに従ってRAM6を一時記憶領域に使用して各種動作を行うプロセッサである。この中央制御部5は、プレビュー機能部11、静止検知機能部12、ピント判定機能部13、文字適否判定機能部14、文字切出機能部15、文字認識機能部16、および翻訳機能部17として機能する。
The
プレビュー機能部11は、撮影部2で静止画像を連続撮影して動画像として表示するプレビュー表示を実行する。このプレビュー画像では、図3(A)の画面説明図に示すように、文字位置調節ガイド41と、説明表示部42とを撮影画像40に重ねて表示する。文字位置調節ガイド41と説明表示部42は停止したまま、連続撮影している撮影画像40を動画として連続表示するため、利用者が読取りたい文字を文字位置調節ガイド41に位置あわせすることができる。
The
静止検知機能部12は、プレビュー表示用に連続撮影している静止画像に基づいて、被写体となっている撮影対象と携帯端末1が相対的に静止しているか否かを判定し、静止していると判定した場合に静止検知とする処理を実行する。
The stillness
詳述すると、図3(A)に示すように、撮影画像40から予め定めた静止判定用画像取得領域51の画像を切り出し、これを図3(B)に示すように基準画像51aとする。そして、この静止画像以降の連続撮影した所定枚数(例えば3枚)の撮影画像40に対して、ブレ許容領域52内に基準画像51aと同一の画像が入っているか否か判定する。
More specifically, as shown in FIG. 3A, an image of a predetermined still determination
図3(B)の例では、第1マッチング画像51b、第2マッチング画像51c、第3マッチング画像51dと、基準画像51aと同一のマッチング画像(51b〜51d)が3回連続でブレ許容領域52内で確認されている。第3マッチング画像51dを得られた時点で、撮影対象と携帯端末1が相対的に静止したと判定し、これを静止検知とする。
In the example of FIG. 3B, the
なお、この例ではブレ許容領域52内に基準画像51aと同一の画像を連続して複数回検知することを条件としているが、例えば撮影画像5枚中3枚のブレ許容領域52内に基準画像51aと同一の画像が入っていれば静止状態と認識するなど、所定割合の検知によって静止状態と判定してもよい。
In this example, the same image as the
ピント判定機能部13は、撮影した静止画像のピントが合っているか否か判定する処理を実行する。このピントが合っているか否かの判定は、静止判定用画像取得領域51の画像を用いてエッジ抽出を行い、エッジ抽出が良好に行えた場合にピントが合っていると判定する。
The focus
文字適否判定機能部14は、文字が存在しているか、文字サイズが適切か、および傾いていないかを判定する処理を実行する。具体的に説明すると、図4(A)の射影ヒストグラム説明図に示すように、文字位置調節ガイド41内の画像を2値化し、文字列方向の射影ヒストグラム61を作成する。
The character suitability
文字位置調節ガイド41の中に認識対象となる文字が適切な大きさで傾くことなく存在していれば、図4(A)に示すように文字列方向の射影ヒストグラム61に明確な山と谷が現れる。特に上下方向の中心に山が現れ、その上下に谷が現れる。
If the character to be recognized exists in the character
仮に文字が傾いていた場合、図4(B)に示すように、射影ヒストグラム61に山と谷が現れず、適切ではないことが解る。同様に、文字が文字位置調節ガイド41の上下にはみ出すほど大きい場合は谷が消え、小さすぎる場合は谷と谷の感覚が狭くなる。また、文字が存在していない場合は明確な谷が現れない。
If the characters are inclined, it can be seen that peaks and valleys do not appear in the
このようにして、射影ヒストグラム61から文字の傾き、大きさ、および存在について適否を判別できる。なお、判定基準やパラメータは、携帯端末1の機種毎に調整することができる。
In this way, suitability can be determined from the
文字切出機能部15は、撮影画像から文字部分を切り出す処理を実行する。この文字部分の切り出しは、文字列方向(図示左右の文字幅方向)の射影ヒストグラム61を用いて文字の高さを認識し、同様に文字列直角方向(図示上下の文字高さ方向)の射影ヒストグラムを用いて単語の幅を認識し、1単語を切り出せばよい。
The character
文字認識機能部16は、文字切出機能部15により切り出された範囲内の文字を文字認識辞書部31と照合し、マッチング信頼度を算出して文字を認識する。
The character
翻訳機能部17は、認識した文字からなる単語を翻訳辞書部32と照合し、単語の意味を日本語あるいは外国語に翻訳する。
The translation function unit 17 collates a word made up of recognized characters with the
ROM7は、カメラ制御プログラム21、文字認識開始判定プログラム22、文字認識プログラム23、翻訳プログラム24を記憶している。
カメラ制御プログラム21は、プレビュー用の低解像度画像を連続取得するプレビューモードや、文字認識用の高解像度画像を取得する認識用撮影モード、確認表示用画像の低解像度画像を取得する表示用撮影モードなど、適宜の撮影制御を実行するプログラムである。
文字認識開始判定プログラム22は、静止検知機能部12に静止したか否かを判定させて文字認識を開始するプログラムである。
文字認識プログラム23は、文字認識機能部16に文字認識を実行させるプログラムである。
翻訳プログラム24は、翻訳機能部17に翻訳を実行させるプログラムである。
The
The
The character recognition start
The
The
RAM6は、中央制御部5が各種制御や演算に使用するデータを一時記憶すると共に、文字認識辞書部31および翻訳辞書部32を含めて各種データを記憶する。
The
文字認識辞書部31は、文字コードとマッチング情報などで構成される文字認識用の辞書である。マッチング情報は、文字の特徴データ等により構成するとよく、このマッチング情報と文字画像とのマッチングにより文字を認識することが可能となる。
翻訳辞書部32は、和英辞書や英和辞書、日中辞書や中日辞書など、単語を翻訳するための適宜の辞書である。
The character
The
なお、携帯端末1には、無線通信を行う通信アンテナ、音声出力を行うスピーカ、および集音を行うマイク等も設けてもよい。この場合、携帯電話機として利用することも可能である。
Note that the
また、中央制御部5とRAM6とROM7は、1つのチップに搭載して電子部品として構成してもよい。この場合、このチップを携帯端末1に備えれば、簡単に文字認識機能を追加することができる。
Further, the
図5は、携帯端末1の中央制御部5が、カメラ制御プログラム21、文字認識開始判定プログラム22、文字認識プログラム23、および翻訳プログラム24に従って実行する動作のフローチャートである。ここでは英日翻訳の例を用いて説明する。
FIG. 5 is a flowchart of operations executed by the
中央制御部5は、利用者の操作入力によって文字認識翻訳モードが開始されるまで待機する(ステップS1:No)。文字認識翻訳モードが開始(たとえば英日単語翻訳機能の開始ボタンが押下)されると(ステップS1:Yes)、中央制御部5は、表示部3に図6(A)に示す初期画面を表示し、終了されるまで(ステップS2:No)、以降の処理を実行する。
The
この初期画面では、撮影画像40の上に、操作者に認識させたい文字の位置を誘導する文字位置調節ガイド41と説明表示部42を重ねてオーバーレイ表示する。文字位置調節ガイド41は、このガイド内に文字を位置させるために表示しており、説明表示部42は、ガイドの左側に読みたい文字の先頭を位置させるように案内している。この表示により、利用者は、携帯端末1を移動させ、文字位置調節ガイド41に翻訳したい文字をあわせることができる。
利用者に終了操作されると(ステップS2:Yes)、中央制御部5は、文字認識翻訳モードを終了する。
On this initial screen, a character
When the user performs an end operation (step S2: Yes), the
キー操作部4a〜4eの1つに割り当てられた撮影ボタンが利用者に押下されると(ステップS3:Yes)、中央制御部5は、処理をスキップしてステップS11に進む。なお、プレビューモードの開始以降でステップS11までのどのタイミングで撮影ボタンが押下されてもステップS11へのスキップを実行するとよい。
When the user presses the photographing button assigned to one of the
撮影ボタンが利用者に押下されなければ(ステップS3:No)、中央制御部5は、プレビュー機能部11によりプレビューモードを開始する(ステップS4)。このプレビューモードでは、撮影部2のピント調整やホワイトバランス調整や露光調整など、先に必要な調整を実行する、あるいはプレビュー表示しつつ必要な調整をリアルタイムに実行することが好ましい。これにより、後の文字認識用の撮影(ステップS9)を適切なタイミングですばやく実行することができる。
If the photographing button is not pressed by the user (step S3: No), the
中央制御部5は、Nms毎にプレビュー用の低解像度の静止画像を撮影し記憶する(ステップS5)。中央制御部5は、このとき取得した静止画像を、図6(B)に示すように、表示部3にリアルタイムに表示する。これにより、利用者は、表示部3に表示される撮影画像40を見て、文字位置調節ガイド41内の左端に読み取りたい文字の先頭を合わせることができる。
The
またこの画面は、静止判定中表示43も表示して静止判定中画面として機能する。この静止判定中表示43は、ブレ許容領域52(図3参照)内に基準画像51aと同一の画像が入っていると判定する毎にバーが伸びるように表示し、所定回数連続して基準画像51aと同一の画像が入っていると判定すると、最後までバーが伸びて静止状態を認識したことを示し、次の処理に移ることを利用者に知らせる。ブレ許容領域52(図3参照)内に基準画像51aと同一の画像が入っていないと判定すると、バーをゼロに戻して再度やり直す。
In addition, this screen also displays a still determination in
中央制御部5は、静止検知機能部12により静止状態か否かを判定し、静止状態を検知するまで(ステップS6:No)、ステップS2へ処理を戻す。
静止状態を検知すると(ステップS6:Yes)、中央制御部5は、ピント判定機能部13によりピントが合っているか否かを判定し、合っていなければ(ステップS7:No)、ステップS2に処理を戻す。
The
When the stationary state is detected (step S6: Yes), the
ピントが合っていれば(ステップS7:Yes)、中央制御部5は、文字適否判定機能部14により文字が適正か否か判定し、文字が適正でなければ(ステップS8:No)、ステップS2に処理を戻す。この文字の適正か否かの判定は、文字の存在の有無、文字のサイズの適否、文字の傾きの適否を判定し、全てが適切であれば適正、1つでも不適切であれば不適とする。
If the image is in focus (step S7: Yes), the
文字が適正であれば(ステップS8:Yes)、中央制御部5は、撮影部2により文字認識用矩形画像を撮影する(ステップS9)。このときの撮影では、文字認識に用いるためにステップS5,S10よりも高解像度の画像を取得する。また、このときの撮影では、文字位置調節ガイド41内の矩形画像のみを取得する。これにより、文字認識に用いる文字位置調節ガイド41内の画像だけを取得して、効率よく処理することができる。
If the character is appropriate (step S8: Yes), the
中央制御部5は、さらに文字列切出結果表示用画像を撮影する(ステップS10)。この文字列切出結果表示用画像は、結果確認に表示部3に表示するためのものであるから、ステップS9よりも低解像度(ステップS5のプレビュー用の撮影画像と同じ解像度)の画像を取得する。また、この文字列切出結果表示用画像も、文字位置調節ガイド41内だけ取得する構成にしてもよい。
The
中央制御部5は、図6(C)に示すように表示部3に文字認識中表示44を表示する(ステップS11)。このとき同時に、「カシャ」といった撮影音を鳴らすなど、音声出力も行うとよい。これらにより、利用者に対して撮影を完了して文字認識を開始したことを通知できる。利用者は、この画面を見るか音声を聞くと、携帯端末1を持って読み取りたい文字が文字位置調節ガイド41内に入るように位置調整する動作を終了でき、リラックスして認識完了を待つことができる。
The
中央制御部5は、文字切出機能部15による文字の切り出しと、切り出した文字についての文字認識機能部16による文字認識とを実行する(ステップS12)。
The
中央制御部5は、認識した文字について、翻訳機能部17による翻訳処理を実行する(ステップS13)。
翻訳が完了すると、中央制御部5は、図6(D)に示すように表示部3に結果を表示する(ステップS14)。このとき、表示部3には、ステップS10で撮影した撮影画像40を表示し、この撮影画像40のうち切り出した単語部分Gを認識対象枠45で囲んで表示する。また、撮影画像40の下方位置に、認識文字表示47と、翻訳表示48とを表示する。これにより、どのように文字を認識したかを表示すると共に、その認識した文字からなる単語の翻訳を表示することができる。
The
When the translation is completed, the
中央制御部5は、一定時間が経過するまで結果表示を継続し(ステップS15No)、一定時間が経過するとステップS2に処理を戻して繰り返す(ステップS15:Yes)。
The
以上の構成および動作により、携帯端末1の静止状態を検知して文字認識を開始することができる。これにより、利用者は、読取りたい文字に携帯端末1の位置を合わせながら撮影ボタンを押下するといった煩雑な操作を行わずとも、読取りたい文字に携帯端末1の位置を合わせるだけで文字認識や翻訳を行うことができる。特に、手元操作の不自由なお年寄り等の利用者にとって非常に便利に利用できる。
With the above configuration and operation, character recognition can be started by detecting the stationary state of the
詳述すると、利用者は、単語を読み取りたいとき、プレビュー画面で単語を文字位置調節ガイド41の枠内に収めようとする。上手く枠内に収まり文字認識を開始したいと思った瞬間、決まってカメラは静止しており、ピント、文字位置ともに適切である。上述した携帯端末1は、その状態を自動で検知するものであり、利用者が読み取りたい時に自動で読み取りを開始できるものである。このため、使い勝手が非常に良く、利用者は便利に利用することができる。
More specifically, when a user wants to read a word, the user tries to fit the word within the frame of the character
また、撮影ボタンを押下せずとも撮影開始できるため、撮影ボタンの押下によって携帯端末1にブレが生じ、それによって取得する静止画像にブレが生じて文字認識精度が低下するといったことを防止できる。
In addition, since shooting can be started without pressing the shooting button, it is possible to prevent the
また、携帯端末1の静止状態を検知するまで文字認識を開始しないため、一瞬ピントが合っただけ等で利用者が意図しない画像や文字を撮影して文字認識してしまうことを防止できる。これにより、意図せず文字認識が開始されてその文字認識が完了するまで不必要に待たなければならないといったことを防止でき、無駄な文字認識処理が大幅に軽減される。
Moreover, since character recognition is not started until the stationary state of the
また、携帯端末1の静止状態を撮影部2により撮影した撮影画像により判定するため、加速度センサやジャイロセンサといった別途の装置を設ける必要がなく、携帯端末1を簡潔な構成にすることができる。また、撮影画像により静止状態を判定するため、利用者が移動中であっても被写体となる文字印刷媒体と携帯端末1が相対的に静止していれば文字認識を開始できる。
In addition, since the stationary state of the
また、ステップS8にて文字が存在すること、文字が適切な向きであること、文字が適切な大きさであることを検知してから文字認識を行うため、文字が存在しない状態、不適切な向きの状態、不適切な大きさの状態で文字認識を開始して利用者を無駄に待たせるといったことを防止できる。 In addition, since character recognition is performed after detecting that a character is present in step S8, that the character is in an appropriate direction, and that the character is in an appropriate size, the state where the character does not exist is inappropriate. It is possible to prevent a user from waiting in vain by starting character recognition in a state of orientation or an inappropriate size.
また、撮影ボタンで強制的に文字認識を開始できるため、文字の背景に模様があってステップS8の文字適否で適切と判定できない場合でも、操作者が撮影ボタンを押下して任意のカメラ位置で文字認識を開始することができる。 Also, since the character recognition can be forcibly started with the shooting button, even if there is a pattern on the background of the character and the character suitability cannot be determined as appropriate in step S8, the operator presses the shooting button and moves to any camera position. Character recognition can be started.
また、撮影ボタンで強制的に文字認識を開始できることにより、利用者が操作に不慣れで上手くピントが合わない場合や静止状態が検知できない場合でも文字認識を開始できる。
また、カメラレンズの制限等で上手くピントが合わない場合でも、撮影ボタンで強制的に文字認識を開始することができる。
In addition, since the character recognition can be forcibly started with the shooting button, the character recognition can be started even when the user is unfamiliar with the operation and cannot focus well or when the stationary state cannot be detected.
Even if the camera lens is not in good focus due to camera lens limitations, character recognition can be forcibly started with the shooting button.
また、文字認識の開始の判定(静止判定、ピント判定、文字存在判定、文字向き判定、文字サイズ判定、またはこれらの複数)は、プレビュー表示する画像全体ではなく、その一部の静止判定用画像取得領域51のみで行うため、高速かつ精度よく判定することができる。この静止判定用画像取得領域51を判定に必要最小限の領域とすることで、判定の精度および速度を最大限向上させることができる。従って、比較的処理速度の遅い安価な端末でもストレスなく単語読み取り機能や翻訳機能を実現することができる。
In addition, the determination of the start of character recognition (stillness determination, focus determination, character presence determination, character orientation determination, character size determination, or a plurality of these) is not the entire preview image, but a portion of the still determination image Since only the
また、静止判定は、静止判定用画像取得領域51より広いブレ許容領域52内にて行うため、多少のブレがあっても静止している(利用者が静止させようとしている)と判定することができる。またブレ許容領域52は、撮影画像40の一部の領域であるため、静止判定の演算処理を高速に軽く処理することができる。
In addition, since the stillness determination is performed in the shake
また、ステップS9で取得する文字認識用の撮影画像は、ステップS5のプレビュー画像よりも解像度が高い画像で、かつ文字位置調節ガイド41内の矩形画像だけを撮影もしくは読み出したものであるため、高精度かつ高速に文字認識を行うことができる。
The captured image for character recognition acquired in step S9 is an image having a higher resolution than the preview image in step S5, and is a captured or read image of only the rectangular image in the character
また、撮影ボタンを押下しなければ文字認識できない方法に比べて、利用者は、文字認識がうまくいかない場合に何度も位置調整して撮影ボタンを押下してピント調整、撮影、文字認識といった動作を繰り返す必要がなく、便利に利用できる。すなわち、プレビューモードで既にピント等が調整されており、文字認識をやりなおす場合に、位置調整すれば撮影および文字認識が始まり、短時間でストレスなく繰り返すことができる。 Compared to the method in which characters cannot be recognized unless the shooting button is pressed, the user can adjust the position many times and press the shooting button to perform focus adjustment, shooting, and character recognition when character recognition is not successful. There is no need to repeat, it can be used conveniently. That is, when the focus has already been adjusted in the preview mode and character recognition is performed again, if the position is adjusted, shooting and character recognition can be started and repeated in a short time without stress.
また、仮に、静止判定などをせずに自動的に撮影画像を取得して文字認識する方法であれば、利用者の意図しない位置で撮影して文字認識することになり、かえって不便になる。すなわち、意図しない位置で撮影して文字認識が開始されると、利用者は文字認識が完了するまで待たなければならない。その間、携帯端末は文字認識の演算処理を行っているため、プレビュー表示が停止し、利用者は読取りたい文字に位置あわせすることができない。そして、文字認識処理が完了した後に再度位置あわせを開始するが、この途中で撮影、文字認識が開始されると、利用者は再度待たなければならず非常に不便である。 In addition, if a method of automatically acquiring a captured image and recognizing characters without performing stillness determination or the like, the characters will be captured and recognized at a position not intended by the user, which is inconvenient. That is, when character recognition is started by photographing at an unintended position, the user must wait until character recognition is completed. Meanwhile, since the portable terminal is performing the character recognition calculation process, the preview display is stopped and the user cannot position the character to be read. Then, alignment is started again after the character recognition process is completed. If shooting and character recognition are started in the middle of this process, the user must wait again, which is very inconvenient.
これに対し、上述の携帯端末1は、利便性を向上させることができる。すなわち、利用者が文字を認識や翻訳等したい場合、携帯端末1を移動させて撮影部2の撮影範囲内に翻訳したい文字等をあわせる操作をすることになる。その際、利用者は位置あわせした状態で携帯端末1を静止させようとするのが通常の操作である。上記実施例では、この操作を検知(静止状態を検知)して文字認識を開始するため、利用者の意図しない位置で撮影し文字認識することを防止でき、操作性に優れ、ストレスなく使いやすい文字認識機能および翻訳機能を提供することができる。
On the other hand, the above-described portable terminal 1 can improve convenience. That is, when the user wants to recognize or translate characters, the user moves the
なお、ステップS8にて文字の傾き判定のみを実行しないといったモードを追加し、文字の傾き判定の実行可否を操作者に選択させる構成にしてもよい。これにより、文字の傾き判定を行う場合は、紙上の文章などで特に良い結果を示すことができ、文字の傾き判定を行わない場合は、背景に模様がある場合など傾き判定が不得意な場合にも静止状態を検知してから文字認識と翻訳を実行することができる。 Note that a mode in which only the character inclination determination is not executed in step S8 may be added, and the operator may select whether or not to execute the character inclination determination. This makes it possible to show particularly good results with text on paper when character inclination is determined, and when character inclination is poor, such as when there is a pattern in the background, when character inclination is not determined. In addition, character recognition and translation can be performed after the stationary state is detected.
また、文字認識プログラム23にピンボケに強いアルゴリズムを採用し、ステップS7のピント判定を行わない構成にしてもよい。この場合でも適切に文字を認識することができる。
Further, an algorithm that is resistant to blurring may be adopted for the
また、文字認識プログラム23および翻訳プログラム24は、インターネットなどの電気通信回線に接続されたサーバの記憶手段に記憶しておき、電気通信回線を通じてダウンロード可能とする、あるいは電気通信回線を通じてASP(Application Service Provider)のサービスとして利用可能にする構成とすることも可能である。この場合、携帯端末1の演算処理の負荷を軽減することができる。
The
また、ステップS10では画像撮影を行わず、ステップS5で取得したプレビュー画像を文字切り出し結果表示表画像として利用する構成にしてもよい。 In addition, the image may not be taken in step S10, and the preview image acquired in step S5 may be used as the character cutout result display table image.
また、静止状態の検知は、加速度センサやジャイロセンサ等によって行う構成にすることもできる。この場合も、静止すれば文字認識を開始するということを実現することができる。 The stationary state can be detected by an acceleration sensor, a gyro sensor, or the like. In this case as well, it is possible to realize that character recognition starts when it is stationary.
この発明の構成と、上述の実施形態との対応において、
この発明の文字認識装置およびコンピュータは、実施形態の携帯端末1に対応し、
以下同様に、
撮影手段は、撮影部2に対応し、
入力手段は、キー操作部4a〜4eの1つに割り当てられた撮影ボタンに対応し、
静止検知手段は、ステップS6を実行する中央制御部5に対応し、
文字認識開始手段は、ステップS6〜S8を実行する中央制御部5に対応し、
文字認識手段は、ステップS12を実行する中央制御部5に対応し、
適否判別手段は、ステップS7〜S8を実行する中央制御部5に対応し、
文字認識プログラムは、カメラ制御プログラム21、文字認識開始判定プログラム22、および文字認識プログラム23に対応し、
画像データは、撮影画像40に対応し、
第1領域は、静止判定用画像取得領域51に対応し、
第1画像は、基準画像51aに対応し、
第2領域は、ブレ許容領域52に対応し、
画像データ取得ステップは、ステップS5に対応し、
静止検知ステップは、ステップS6に対応し、
文字認識開始ステップは、ステップS6〜S8に対応し、
文字認識ステップは、ステップS12に対応し、
開始指示の入力は、撮影ボタンの押下に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
In correspondence between the configuration of the present invention and the above-described embodiment,
The character recognition device and computer of this invention correspond to the
Similarly,
The photographing means corresponds to the photographing
The input means corresponds to the shooting button assigned to one of the
The stationary detection means corresponds to the
The character recognition starting means corresponds to the
The character recognition means corresponds to the
The suitability determination means corresponds to the
The character recognition program corresponds to the
The image data corresponds to the captured
The first area corresponds to the still determination
The first image corresponds to the
The second area corresponds to the shake
The image data acquisition step corresponds to step S5,
The stationary detection step corresponds to step S6,
The character recognition start step corresponds to steps S6 to S8,
The character recognition step corresponds to step S12,
Input of the start instruction corresponds to pressing of the shooting button,
The present invention is not limited only to the configuration of the above-described embodiment, and many embodiments can be obtained.
この発明は、文字を認識する装置に利用することができ、特に、利用者が装置を手に持って認識したい文字を撮影すると文字認識を行うような携帯端末に利用することができる。 The present invention can be used for a device for recognizing characters, and in particular, can be used for a portable terminal that performs character recognition when a user captures a character to be recognized by holding the device.
1…携帯端末、2…撮影部、4a〜4e…キー操作部、5…中央制御部、21…カメラ制御プログラム、22…文字認識開始判定プログラム、23…文字認識プログラム、40…撮影画像、51…静止判定用画像取得領域、51a…基準画像、52…ブレ許容領域
DESCRIPTION OF
Claims (6)
前記画像データ内の文字を認識する文字認識手段とを備えた文字認識装置であって、
静止状態を検知する静止検知手段と、
前記文字認識手段による文字認識を開始する文字認識開始手段とを備え、
該文字認識開始手段は、
前記静止検知手段により静止状態を検知したことを文字認識開始の一条件とする
文字認識装置。 Photographing means for acquiring image data by photographing;
A character recognition device comprising character recognition means for recognizing characters in the image data,
A stationary detection means for detecting a stationary state;
Character recognition start means for starting character recognition by the character recognition means,
The character recognition starting means
A character recognition device that makes one condition of character recognition start that the stationary state is detected by the stationary detection means.
前記文字認識開始手段は、
前記適否判別手段により文字が適切に撮影されていると判別したことを文字認識開始の一条件とする
請求項1記載の文字認識装置。 Suitability determination means for determining whether or not a character string is properly captured in the image data,
The character recognition start means
The character recognition device according to claim 1, wherein a condition for starting character recognition is that the character determination unit determines that the character is properly photographed.
前記文字認識開始手段は、
文字認識開始の条件を満たしているか否かにかかわらず前記入力手段により開始指示の入力を受け付けると文字認識手段による文字認識を開始する構成である
請求項1または2記載の文字認識装置。 An input means for receiving an input of a character recognition start instruction;
The character recognition start means
3. The character recognition device according to claim 1, wherein the character recognition unit starts character recognition when an input of a start instruction is received by the input unit regardless of whether a character recognition start condition is satisfied.
前記静止検知手段は、
プレビューモードでの前記撮影画像から予め定めた第1領域の第1画像を取得し、
プレビューモードの次以降の所定枚数の画像について、前記第1領域よりも広い第2領域内に前記第1画像が認識されれば、静止状態であると検知する構成である
請求項1、2、または3記載の文字認識装置。 The photographing means is configured to continuously acquire images in a preview mode,
The stationary detection means includes
Obtaining a first image of a predetermined first area from the captured image in the preview mode;
2. A configuration in which a predetermined number of images subsequent to the preview mode are detected as being stationary when the first image is recognized in a second area wider than the first area. Or the character recognition apparatus of 3 description.
静止検知手段により静止状態を検知する静止検知ステップと、
前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとをコンピュータに実行させる
文字認識プログラム。 A character recognition program that causes a computer to execute an image data acquisition step of acquiring image data by a photographing unit and a character recognition step of recognizing characters in the image data by a character recognition unit,
A stationary detection step for detecting a stationary state by a stationary detection means;
A character recognition program for causing a computer to execute a character recognition start step for starting the character recognition step on the condition that a stationary state is detected by the stillness detection step as a condition for starting character recognition.
静止検知手段により静止状態を検知する静止検知ステップと、
前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとを実行する
文字認識方法。
A character recognition method for executing an image data acquisition step of acquiring image data by a photographing means and a character recognition step of recognizing characters in the image data by a character recognition means,
A stationary detection step for detecting a stationary state by a stationary detection means;
A character recognition method for executing a character recognition start step for starting the character recognition step on the condition that the stationary state is detected by the stillness detection step as a condition for starting character recognition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009061149A JP2010217997A (en) | 2009-03-13 | 2009-03-13 | Device, program, and method for recognizing character |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009061149A JP2010217997A (en) | 2009-03-13 | 2009-03-13 | Device, program, and method for recognizing character |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010217997A true JP2010217997A (en) | 2010-09-30 |
Family
ID=42976825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009061149A Pending JP2010217997A (en) | 2009-03-13 | 2009-03-13 | Device, program, and method for recognizing character |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010217997A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012226748A (en) * | 2011-04-15 | 2012-11-15 | Lg Electronics Inc | Network system and control method thereof |
JP2013077075A (en) * | 2011-09-29 | 2013-04-25 | Furyu Kk | Image display system, learning system, image display method and control program |
JP2016167128A (en) * | 2015-03-09 | 2016-09-15 | 株式会社東芝 | Information processing apparatus, information processing method, and program |
JP2018005622A (en) * | 2016-07-04 | 2018-01-11 | 株式会社ウェルキャット | Portable type electronic device |
CN110889389A (en) * | 2019-12-03 | 2020-03-17 | 上海诺信汽车零部件有限公司 | Automatic recognition device and recognition method for automobile part characters |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01109970A (en) * | 1987-10-23 | 1989-04-26 | Matsushita Electric Ind Co Ltd | Moving picture fluctuation elimination device |
JPH0396931A (en) * | 1989-09-08 | 1991-04-22 | Sharp Corp | Image blurring preventing device |
JP2003216893A (en) * | 2002-01-23 | 2003-07-31 | Sharp Corp | Portable information terminal with camera |
JP2005006255A (en) * | 2003-06-16 | 2005-01-06 | Sharp Corp | Image pickup device |
JP2008250818A (en) * | 2007-03-30 | 2008-10-16 | Omron Corp | Program for portable terminal device and portable terminal device |
-
2009
- 2009-03-13 JP JP2009061149A patent/JP2010217997A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01109970A (en) * | 1987-10-23 | 1989-04-26 | Matsushita Electric Ind Co Ltd | Moving picture fluctuation elimination device |
JPH0396931A (en) * | 1989-09-08 | 1991-04-22 | Sharp Corp | Image blurring preventing device |
JP2003216893A (en) * | 2002-01-23 | 2003-07-31 | Sharp Corp | Portable information terminal with camera |
JP2005006255A (en) * | 2003-06-16 | 2005-01-06 | Sharp Corp | Image pickup device |
JP2008250818A (en) * | 2007-03-30 | 2008-10-16 | Omron Corp | Program for portable terminal device and portable terminal device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012226748A (en) * | 2011-04-15 | 2012-11-15 | Lg Electronics Inc | Network system and control method thereof |
US9043033B2 (en) | 2011-04-15 | 2015-05-26 | Lg Electronics Inc. | Network system and control method thereof |
JP2013077075A (en) * | 2011-09-29 | 2013-04-25 | Furyu Kk | Image display system, learning system, image display method and control program |
JP2016167128A (en) * | 2015-03-09 | 2016-09-15 | 株式会社東芝 | Information processing apparatus, information processing method, and program |
JP2018005622A (en) * | 2016-07-04 | 2018-01-11 | 株式会社ウェルキャット | Portable type electronic device |
CN110889389A (en) * | 2019-12-03 | 2020-03-17 | 上海诺信汽车零部件有限公司 | Automatic recognition device and recognition method for automobile part characters |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100767922B1 (en) | Portable terminal device and portable cellular phone | |
US10803367B2 (en) | Method and apparatus for recognizing characters | |
CN101909156B (en) | Electronic camera and image processing method thereof | |
KR101002899B1 (en) | Character recognition method and apparatus | |
JP2010218061A (en) | Image processing device | |
JP2010148052A (en) | Mobile terminal with camera | |
KR20130126929A (en) | Text image trimming method | |
JP2010217997A (en) | Device, program, and method for recognizing character | |
KR100746755B1 (en) | The Electronic dictionary PMP of image processing by Digital camera | |
TWI294100B (en) | Mobile handset and the method of the character recognition on a mobile handset | |
JP2006094082A (en) | Image photographing device, and program | |
JP2005323015A (en) | Digital camera | |
JP2012205089A (en) | Information processing device, information processing method, and information processing program | |
JP2003216893A (en) | Portable information terminal with camera | |
JP2007259004A (en) | Digital camera, image processor, and image processing program | |
JP6598402B1 (en) | Receipt and other form image automatic acquisition / reading method, program, and portable terminal device | |
CN106415528B (en) | Translation device | |
JP4098889B2 (en) | Electronic camera and operation control method thereof | |
KR100772581B1 (en) | Dictionary report providing apparatus having camera part and providing method thereof | |
JP2006323762A (en) | Information processing device, photographing method, and program | |
JP2010218041A (en) | Portable character recognition device, character recognition program, and character recognition method | |
US8218072B2 (en) | Image pickup system | |
JP2005202543A (en) | Object extracting method | |
JP2006331216A (en) | Image processor, processing object range designation method in image processor, image processing range designation program and recording medium for recording image processing range designation program | |
JP6144168B2 (en) | Translation apparatus and control program therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130219 |