JP2006277315A - Pattern recognition device, pattern recognition method, and electronic equipment provided with the pattern recognition device - Google Patents

Pattern recognition device, pattern recognition method, and electronic equipment provided with the pattern recognition device Download PDF

Info

Publication number
JP2006277315A
JP2006277315A JP2005095306A JP2005095306A JP2006277315A JP 2006277315 A JP2006277315 A JP 2006277315A JP 2005095306 A JP2005095306 A JP 2005095306A JP 2005095306 A JP2005095306 A JP 2005095306A JP 2006277315 A JP2006277315 A JP 2006277315A
Authority
JP
Japan
Prior art keywords
image
signal
pattern recognition
corrected
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005095306A
Other languages
Japanese (ja)
Other versions
JP4412214B2 (en
Inventor
Satoshi Kato
聰 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005095306A priority Critical patent/JP4412214B2/en
Publication of JP2006277315A publication Critical patent/JP2006277315A/en
Application granted granted Critical
Publication of JP4412214B2 publication Critical patent/JP4412214B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily execute recognition in a pattern recognition device including bar code and character readers while improving the recognition rate thereof. <P>SOLUTION: This device comprises an image analysis means (CPU 19) analyzing an image inputted from an image input part (camera module 10); a correction means (CPU 19) determining a quality adjustment parameter necessary for improvement in recognition rate based on the analysis result of the image by the image analysis means, and feeding back the image quality adjustment parameter to the image input part 10 to correct the image; and a recognition means (CPU 19) performing, after correcting the image by the correction means, pattern recognition of the corrected image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、バーコード読取装置などのパターン認識装置、パターン認識方法およびそのパターン認識装置を設けた電子機器に関し、特に認識率を改善したバーコード読取装置、バーコード読取方法およびそのバーコード読取装置を設けた電子機器に関する。   BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern recognition device such as a barcode reader, a pattern recognition method, and an electronic apparatus provided with the pattern recognition device, and in particular, a barcode reader, a barcode reading method, and a barcode reader thereof with improved recognition rate. The present invention relates to an electronic device.

近年、携帯電話に小型カメラモジュールを装備し、QRコードなどの2次元バーコードを撮影し、バーコードに格納されているデータ(URL、画像、音声、テキスト)を読み取ったり、OCRに代表されるように文字情報を直接読み取る事ができるものが開発、発売されている。バーコード、文字情報にはその方式、サイズ、ピッチなど様々なものがあるが、その認識率向上、読み取り時間短縮が求められている。認識率向上・認識時間短縮の為にはカメラの基本性能(解像度、コントラストなど)の向上と、読み取りエンジンの能力の向上、読み取り手法・シーケンスの改善が必要となるが、中でも入力ソースとしてのカメラ撮影画像の画質が認識率を大きく左右している。   In recent years, mobile phones are equipped with small camera modules, and two-dimensional barcodes such as QR codes are photographed and data (URLs, images, sounds, texts) stored in the barcodes are read or represented by OCR. In this way, products that can read character information directly have been developed and put on the market. There are various types of barcodes and character information, such as their methods, sizes, and pitches, and there is a need to improve the recognition rate and shorten the reading time. In order to improve the recognition rate and shorten the recognition time, it is necessary to improve the basic performance of the camera (resolution, contrast, etc.), improve the performance of the reading engine, and improve the reading method and sequence. The image quality of the captured image greatly affects the recognition rate.

通常、カメラにはAE(Automatic Exposure)による明るさ調整、エッジ強調、コントラスト調整機能が備わっており、認識率を向上させる為の調整が行われ、カメラの画質に合わせて認識エンジン側でも読み取り性能向上の為のエンジンチューニングが行われたりしている。   Usually, the camera is equipped with brightness adjustment, edge enhancement, and contrast adjustment functions by AE (Automatic Exposure), and adjustments are made to improve the recognition rate. Reading performance is also recognized by the recognition engine according to the image quality of the camera. The engine tuning for improvement is performed.

しかしながら,カメラでバーコードを読み取るシーンを考えると、照明条件、バーコードの印刷状態、撮影距離、ピントなど撮影画質に影響を与える外部要因が多種多様に渡り、全ての撮影条件で最適な認識率を得る調整を実現するのは難しく、同じコードであっても必ずしも認識がうまくいくとは限らない。バーコード、文字などの認識率向上を意図した装置は、例えば特許文献1(従来例1)によって提案されている。   However, considering the scene where the barcode is read by the camera, there are a wide variety of external factors that affect the image quality, such as lighting conditions, barcode printing status, shooting distance, and focus. It is difficult to realize the adjustment to get the recognition, and even the same code does not necessarily recognize well. For example, Patent Document 1 (Conventional Example 1) proposes an apparatus intended to improve the recognition rate of barcodes, characters, and the like.

図7に従来例1の画像読取装置の構成を示すブロック図、図8にその動作フローチャートを示す。この従来例1の画像読取装置は、制御部31と、メモリ20aと、状態検出部32と、動作制御部33と、画像入力部34と、画像処理部35と、画像圧縮部36と、外部I/F(インタフェース)15aと、操作部37と、バス18aとを備えている。   FIG. 7 is a block diagram showing the configuration of the image reading apparatus of Conventional Example 1, and FIG. The image reading apparatus of Conventional Example 1 includes a control unit 31, a memory 20a, a state detection unit 32, an operation control unit 33, an image input unit 34, an image processing unit 35, an image compression unit 36, an external An I / F (interface) 15a, an operation unit 37, and a bus 18a are provided.

制御部31は装置全体を制御し、メモリ20aは制御の為のプログラムや制御に必要な種々のデータを記憶している。状態検出部32は本装置の動作状態および操作状態の検査を行い、動作制御部33は原稿読取動作等の機器動作の制御を行う。画像入力部34は画像をスキャンニングして電気信号に変換し、画像処理部35は読み取った画情デジタル処理を行う。画像圧縮部36は画像データの圧縮処理を行い、外部I/F15aは読取条件の設定および読取データの転送をするコンピュータとインタフェースを行う。操作部37はオペレータによる操作を入力するとともに情報をオペレータに伝え、バス18aはこれら各部を接続する。   The control unit 31 controls the entire apparatus, and the memory 20a stores a control program and various data necessary for the control. The state detection unit 32 inspects the operation state and operation state of the apparatus, and the operation control unit 33 controls device operations such as a document reading operation. The image input unit 34 scans the image and converts it into an electrical signal, and the image processing unit 35 performs the read image digital processing. The image compression unit 36 performs image data compression processing, and the external I / F 15a interfaces with a computer for setting reading conditions and transferring read data. The operation unit 37 inputs an operation by the operator and transmits information to the operator, and the bus 18a connects these units.

図8の動作フローチャートにおいて、まず、ステップS21で、スキャナ配信機能を選択する。次に、読み取る原稿をADF(自動原稿送り装置)またはコンタクトガラス上にセットし(S22)、装置操作部の画面内でメニューとして設けた自動読み取り条件のモードを選択し、必要設定項目を選択しスタートする(S23)。そして予め設定された条件N個のうちの1番目の読み取り条件を設定してプレスキャンを実行させる(S24)。その読み取りイメージをメモリに一時保存する(S25)。保存した画像イメージを画像処理ライブラリのOCRエンジンを使用してOCR処理し,認識文字数を計数し記載する(S26)。これらプレスキャンとOCR処理をN番目まで繰り返しその結果を記録する(S27)。ここでOCR認識した文字数が一番多い条件を選択する(S28)。この選択した読み取り条件で本スキャンし、画像入力部に読み取りを実行させる(S29)。この本スキャンした画像イメージを指定した配信先に配信する(S30)。   In the operation flowchart of FIG. 8, first, in step S21, the scanner distribution function is selected. Next, a document to be read is set on an ADF (automatic document feeder) or contact glass (S22), an automatic reading condition mode provided as a menu on the screen of the apparatus operation unit is selected, and necessary setting items are selected. Start (S23). Then, the first reading condition among the preset conditions N is set and the pre-scan is executed (S24). The read image is temporarily stored in the memory (S25). The stored image is subjected to OCR processing using the OCR engine of the image processing library, and the number of recognized characters is counted and described (S26). These prescan and OCR processes are repeated up to the Nth and the results are recorded (S27). Here, the condition with the largest number of characters recognized by OCR is selected (S28). A main scan is performed under the selected reading condition, and the image input unit performs reading (S29). The main scanned image is distributed to the designated distribution destination (S30).

この場合の読み取り条件は、MTF補正強度、スムージング補正強度、解像度、コントラスト、輝度、二値化しきい値などである。   The reading conditions in this case are MTF correction intensity, smoothing correction intensity, resolution, contrast, luminance, binarization threshold value, and the like.

この装置は、スキャナの読み取り条件を選択してプレスキャンし、その画像をOCR処理して認識率の高い読み取り条件を自動的に見つけることにより、簡単な方法により最適な読み取り条件を設定することができる画像読み取り装置となっている。   This device can set the optimum reading condition by a simple method by selecting the reading condition of the scanner, pre-scanning, and OCR processing the image to automatically find the reading condition with a high recognition rate. It is an image reading device that can.

また、複数の読み取り条件により制御された画像診断支援装置(CAD;Computer Aided Diagnosis)が、特許文献(従来例2)に示されている。   Further, an image diagnosis support apparatus (CAD: Computer Aided Diagnosis) controlled by a plurality of reading conditions is disclosed in Patent Document (Conventional Example 2).

図9はこの従来例2の画像診断支援装置の構成を示すブロック図、図10はこの装置の動作を説明するフロー図である。この画像診断支援装置は、入力部41、画像入力部34a、処理部42、記憶部20b、表示部21b、一時記憶部20cから構成される。また、処理部42は、画像データ特性検出部51、しきい値補正部52、診断部53を備え、記憶部20bは、基本プログラム55、画像データ特性検出プログラム56、しきい値57、しきい値補正テーブル58を記憶する。   FIG. 9 is a block diagram showing the configuration of the conventional image diagnosis support apparatus of FIG. 2, and FIG. 10 is a flowchart for explaining the operation of this apparatus. The image diagnosis support apparatus includes an input unit 41, an image input unit 34a, a processing unit 42, a storage unit 20b, a display unit 21b, and a temporary storage unit 20c. The processing unit 42 includes an image data characteristic detection unit 51, a threshold value correction unit 52, and a diagnosis unit 53. The storage unit 20b includes a basic program 55, an image data characteristic detection program 56, a threshold value 57, and a threshold value. A value correction table 58 is stored.

入力部41は、キーボードなどによりデータ入力をする部分で、入力されたデータは処理部42に供給される。画像入力部34aは、X線フィルムなどの医用画像データを入力をする部分で、この画像データもデータは処理部42に供給される。   The input unit 41 is a part for inputting data using a keyboard or the like, and the input data is supplied to the processing unit 42. The image input unit 34 a is a part for inputting medical image data such as an X-ray film, and the image data is also supplied to the processing unit 42.

処理部42は、CPUなどで構成され、各種処理を実行する。具体的には、処理部42は、入力部41からに指示により、基本プログラム55や各種アプリケーションプログラムを実行し、その結果を一時記憶部20cに記憶したり、表示部21bに表示したりする。   The processing unit 42 is configured by a CPU or the like and executes various processes. Specifically, the processing unit 42 executes the basic program 55 and various application programs according to instructions from the input unit 41, and stores the results in the temporary storage unit 20c or displays them on the display unit 21b.

画像データ特性検出部51は、画像データ特性検出プログラム56に従って、画像データの画像特性を検出する。しきい値補正部52は、しきい値補正テーブル58に基づいて、検出された画像特性に対応するしきい値の補正値を決め、補正をする。診断部53は、補正されたしきい値を用いて、画像データの異常箇所を検出し病状診断をする。     The image data characteristic detection unit 51 detects the image characteristic of the image data according to the image data characteristic detection program 56. Based on the threshold correction table 58, the threshold correction unit 52 determines and corrects a threshold correction value corresponding to the detected image characteristic. The diagnosis unit 53 uses the corrected threshold value to detect an abnormal part of the image data and diagnose a medical condition.

また、画像データ特性検出プログラム56は、画像データの画像特性を検出するサブプログラムであり、検出した空間周波数特性からその特性レベルを決めている。この画像特性として、階調特性、解像度、輝度、濃度でもいいとしている。しきい値57は、診断部53が画像データのパターン認識を行う際に用いられる。しきい値補正テーブル58は、画像データ特性検出部51によって検出された画像データの特性レベルとしきい値の補正値とを対応ずけられて記憶している。   The image data characteristic detection program 56 is a subprogram for detecting the image characteristic of the image data, and determines the characteristic level from the detected spatial frequency characteristic. The image characteristics may be gradation characteristics, resolution, brightness, and density. The threshold value 57 is used when the diagnosis unit 53 performs image data pattern recognition. The threshold value correction table 58 stores the characteristic level of the image data detected by the image data characteristic detection unit 51 and the correction value of the threshold value in association with each other.

図10のフロー図において、まず、画像入力部34aから画像データを入力し処理部42に出力する(ステップS41)。そして画像データ特性検出部51は、画像データ特性検出プログラム56に従って処理を実行し、画像特性を検出する(ステップS42)。画像データ特性検出部51は、入力画像データに対してフーリエ変換を施し空間周波数変換を行い、空間周波数成分の大きさを解析する。この空間周波数成分の大きさに基づいて特性レベルを決定する。   In the flowchart of FIG. 10, first, image data is input from the image input unit 34a and output to the processing unit 42 (step S41). Then, the image data characteristic detection unit 51 executes processing according to the image data characteristic detection program 56 to detect the image characteristic (step S42). The image data characteristic detection unit 51 performs Fourier transform on the input image data to perform spatial frequency conversion, and analyzes the magnitude of the spatial frequency component. The characteristic level is determined based on the magnitude of the spatial frequency component.

次に、しきい値補正部52は、しきい値補正テーブル58に基づいて、画像データ特性検出処理で決めた特性レベルに対応する補正値を決める(ステップS43)。しきい値補正部52は、しきい値57に記憶したしきい値と補正値とを用いて新しいしきい値を算出する(ステップS44)。そして診断部53がステップS44のしきい値に従って画像データのパターン認識を行い、画像データの異常箇所を検出し診断をする(ステップS45)。   Next, the threshold value correction unit 52 determines a correction value corresponding to the characteristic level determined in the image data characteristic detection process based on the threshold value correction table 58 (step S43). The threshold value correcting unit 52 calculates a new threshold value using the threshold value stored in the threshold value 57 and the correction value (step S44). Then, the diagnosis unit 53 recognizes the pattern of the image data according to the threshold value in step S44, detects an abnormal part of the image data, and diagnoses it (step S45).

処理部42は、入力部41から異常診断の指示データが入力されたか否かを判定する(ステップS46)。指示データが入力された場合(yes)、処理部42は表示部21bにそのしきい値の入力画面を表示する。そして指示データが入力された場合(ステップS47)、処理部42は入力されたしきい値をしきい値57に記憶し、ステップS44に戻る。一方、指示データが入力されない場合(no)、処理部42は処理を終了する。   The processing unit 42 determines whether or not abnormality diagnosis instruction data is input from the input unit 41 (step S46). When the instruction data is input (yes), the processing unit 42 displays the threshold value input screen on the display unit 21b. When the instruction data is input (step S47), the processing unit 42 stores the input threshold value in the threshold value 57, and returns to step S44. On the other hand, when the instruction data is not input (no), the processing unit 42 ends the process.

この診断装置は、画像データの特性に基づいてしきい値を補正し、補正したしきい値を用いて画像データの異常箇所を検出することにより、複数の画像データの画像データ特性にばらつきがあっても、均一な条件で異常箇所を検出することが出来る。   The diagnostic apparatus corrects the threshold value based on the characteristics of the image data, and detects an abnormal portion of the image data using the corrected threshold value, thereby causing variations in the image data characteristics of the plurality of image data. However, it is possible to detect an abnormal part under uniform conditions.

特開2004−234261号JP 2004-234261 A 特開2004−113281号JP 2004-113281 A

しかし、上述の従来例1の構成においては、解像度、コントラストなどの複数の読み取り条件から1つを選択して認識率の高い読み取り条件を見つけており、複数の読み取り条件から自動的に認識率を改善している訳ではないので、何回かの処理に時間がかかるという問題がある。また、認識率の高い読み取り条件を見つけるためのプレスキャンを行う為に時間、手間が係り、かつデータ格納用のメモリを確保しなければならないという問題がある。特に使い勝手、操作性が重要視される携帯電話に搭載する場合は、プレスキャンをする時間、手間が商品性が大きく落とす事になる。更にプレスキャンを行う為には予めいくつかの読み取り条件を設定する必要があるが、この設定値の決め方によってはプレスキャンによる認識率向上作業によって必ずしも最適解が見つかるとはいえない。   However, in the configuration of Conventional Example 1 described above, one of a plurality of reading conditions such as resolution and contrast is selected to find a reading condition with a high recognition rate, and the recognition rate is automatically determined from the plurality of reading conditions. Since it has not improved, there is a problem that some processing takes time. In addition, there is a problem in that it takes time and effort to perform a pre-scan for finding a reading condition with a high recognition rate, and a memory for storing data must be secured. In particular, when it is installed in a cellular phone where usability and operability are important, pre-scanning time and effort greatly reduce the merchantability. Further, in order to perform pre-scanning, it is necessary to set some reading conditions in advance. However, depending on how to determine the setting value, it cannot be said that an optimal solution is necessarily found by the recognition rate improvement work by pre-scanning.

また、上述の従来例2の構成では、画像診断支援装置として、画像データの特性を検出し、しきい値を補正し、補正後の画像診断の認識率の向上を試みるものであり、複数のパラメータを補正する記載がある。しかし、これら補正パラメータは、自動的に判定されるものではなく、パラメータ毎に補正値を算出するものでもないので、処理時間がかかるという問題がある。   In the configuration of Conventional Example 2 described above, the image diagnosis support apparatus detects the characteristics of the image data, corrects the threshold value, and attempts to improve the recognition rate of the corrected image diagnosis. There is a description to correct the parameters. However, these correction parameters are not automatically determined and do not calculate a correction value for each parameter, so that there is a problem that processing time is required.

本発明の目的は,上記問題点を解決し、カメラによって撮影された対象画像の認識エンジンでの解析結果に基づき、認識率を向上させるために必要と判断された画質調整パラメータをカメラ側にフィードバックして、バーコードなどの読み取りに最適な画質調整を自動的に行う事で、メモリ容量の増大を招くことなく、様々な撮影環境下にあっても最適な認識率を得る事が出来るパターン認識装置、パターン認識方法およびそのパターン認識装置をもつ電子機器を提供することにある。   An object of the present invention is to provide an image quality adjustment parameter determined to be necessary for improving the recognition rate based on the analysis result of the recognition engine of the target image taken by the camera to solve the above-described problems and feed back to the camera side. In addition, by automatically performing image quality adjustment that is optimal for reading barcodes and the like, pattern recognition that can obtain the optimum recognition rate even in various shooting environments without causing an increase in memory capacity An apparatus, a pattern recognition method, and an electronic apparatus having the pattern recognition apparatus.

本発明のパターン認識装置の構成は、撮影による画像信号を発生する画像信号発生手段と、この画像信号発生手段からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、この画像解析手段からの画質調整パラメータに基づいて前記画像信号発生手段からの前記画像信号を補正する補正手段と、この補正手段により補正された補正画像をパターン認識する認識手段と、を備えることを特徴とする。   The configuration of the pattern recognition apparatus of the present invention includes an image signal generating means for generating an image signal by photographing, an image for analyzing the image signal from the image signal generating means, and determining and outputting an image quality adjustment parameter based on the analysis result. Analysis means, correction means for correcting the image signal from the image signal generation means based on image quality adjustment parameters from the image analysis means, recognition means for recognizing the corrected image corrected by the correction means, It is characterized by providing.

本発明の他のパターン認識装置の構成は、撮像手段と、この撮像手段から出力されるアナログ信号をデジタル信号に変換しこのデジタル信号に対して所定の画像処理を行いデジタル映像信号を生成する画像処理手段と、この画像処理手段を制御する制御手段とを含むカメラ部と、前記カメラ部と接続し、かつ前記デジタル映像信号に基づき画像パターン認識処理を実行するデータ処理部とを含み、前記データ処理部は、前記デジタル映像信号の認識のための解析結果に基づき、画質調整パラメータを発生し、前記カメラ部にフィードバックし、さらに、前記カメラ部は、前記画質調整パラメータに基づいて自動的に画質補正することを特徴とする。   Another pattern recognition apparatus according to the present invention includes an image pickup unit and an image that converts an analog signal output from the image pickup unit into a digital signal and performs predetermined image processing on the digital signal to generate a digital video signal. A camera unit that includes a processing unit and a control unit that controls the image processing unit; and a data processing unit that is connected to the camera unit and that executes an image pattern recognition process based on the digital video signal. The processing unit generates an image quality adjustment parameter based on an analysis result for recognizing the digital video signal and feeds back to the camera unit. Further, the camera unit automatically performs image quality adjustment based on the image quality adjustment parameter. It is characterized by correcting.

本発明のさらに他のパターン認識装置の構成は、撮影による画像信号を発生する画像信号発生手段と、この画像信号発生手段からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、この画像解析手段からの画質調整パラメータに基づいて所定画像処理プログラムにより画質を高めるよう前記画像信号を画質補正する画像処理手段と、この画像処理手段で補正した補正画像をパターン認識する認識手段と、を備えたことを特徴とする。   According to still another pattern recognition apparatus of the present invention, an image signal generating unit that generates an image signal by photographing, an image signal from the image signal generating unit are analyzed, and an image quality adjustment parameter is determined based on the analysis result. An image analysis means for outputting, an image processing means for correcting the image quality of the image signal so as to improve the image quality by a predetermined image processing program based on an image quality adjustment parameter from the image analysis means, and a corrected image corrected by the image processing means And a pattern recognition means.

本発明において、画質調整パラメータが、画像の解像度またはコントラストであることができ、また、画像の解像度は、入力画像信号に関して2次微分演算を行い輪郭信号を抽出し、この輪郭信号のレベルが映像信号レベルに対して大きくなるように制御することができ、また、画像のコントラストは、入力画像信号の信号レベルについてヒストグラム分布を解析し、このヒストグラム分布が急峻なパターンとなるように制御することができ、また、パターン認識装置がバーコード読取装置であることが出来る。   In the present invention, the image quality adjustment parameter can be an image resolution or a contrast, and the image resolution is obtained by performing a second derivative operation on the input image signal to extract a contour signal, and the level of the contour signal is a video. It can be controlled so as to increase with respect to the signal level, and the contrast of the image can be controlled such that the histogram distribution is analyzed with respect to the signal level of the input image signal and the histogram distribution becomes a steep pattern. Also, the pattern recognition device can be a bar code reader.

本発明の電子機器の構成は、上記のパターン認識装置を備えたことを特徴とし、また、電子機器を、バーコード読取が可能なカメラ付き携帯端末とすることもできる。   The configuration of the electronic device according to the present invention is characterized by including the pattern recognition device described above, and the electronic device can be a portable terminal with a camera capable of reading a barcode.

本発明のパターン認識方法の構成は、画像信号発生手段からの画像信号を、画像解析手段により解析し、その解析結果に基づき画質調整パラメータを決定して出力し、この画像解析手段からの画質調整パラメータに基づいて前記画像信号発生手段からの前記画像信号を補正手段により補正し、この補正された補正画像を認識手段によりパターン認識することを特徴とする。   The configuration of the pattern recognition method of the present invention is such that the image signal from the image signal generation means is analyzed by the image analysis means, the image quality adjustment parameter is determined and output based on the analysis result, and the image quality adjustment from this image analysis means is performed. The image signal from the image signal generating unit is corrected by a correcting unit based on a parameter, and the corrected corrected image is recognized by a recognition unit.

本発明の他のパターン認識方法の構成は、画像信号発生手段からの画像信号を、画像解析手段により解析し、その解析結果に基づいて画質調整パラメータを決定して出力し、画像処理手段により、前記画像解析手段からの画質調整パラメータを用いて所定画像処理プログラムにより画質を高めるよう前記画像信号を画質補正し、前記画像処理手段で補正した補正画像を認識手段によりパターン認識することを特徴とする。   The configuration of another pattern recognition method of the present invention is to analyze the image signal from the image signal generation means by the image analysis means, determine and output an image quality adjustment parameter based on the analysis result, and by the image processing means, The image signal is subjected to image quality correction by a predetermined image processing program using an image quality adjustment parameter from the image analysis unit, and the corrected image corrected by the image processing unit is subjected to pattern recognition by a recognition unit. .

以上説明したように、本発明によれば、画像解析結果に基づき、カメラの画質調整パラメータの読み取りに最適な画質調整を自動的に行っているので、バーコード、文字読取装置などを含むパターン認識装置の認識率向上を図る事が容易に出来るという効果がある。   As described above, according to the present invention, since the image quality adjustment optimum for reading the image quality adjustment parameter of the camera is automatically performed based on the image analysis result, the pattern recognition including the barcode, the character reader, etc. There is an effect that the recognition rate of the device can be easily improved.

次に図面により本発明の実施形態を説明する。図1は本発明の一実施形態のブロック図である。本実施形態は、パターン認識装置の1つとして、カメラ付き携帯電話に搭載されたバーコード読み取り装置を示している。図1において、カメラ(カメラモジュール10)によって対象画像(バーコード)が撮影される。この対象画像は、その画像認識率を向上させるに必要と判断された画質調整パラメータを、認識エンジンで解析される。この解析結果に基づき、必要と判断された画質調整パラメータをカメラ側にフィードバックして、読み取りに最適な画質調整を自動的に行う。従って、この構成によれば、認識率の向上を図ることが出来る。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of an embodiment of the present invention. This embodiment shows a barcode reader mounted on a camera-equipped mobile phone as one of pattern recognition devices. In FIG. 1, a target image (barcode) is taken by a camera (camera module 10). The target image is analyzed by the recognition engine for the image quality adjustment parameter determined to be necessary for improving the image recognition rate. Based on the analysis result, an image quality adjustment parameter determined to be necessary is fed back to the camera side, and image quality adjustment optimal for reading is automatically performed. Therefore, according to this configuration, the recognition rate can be improved.

図1において、カメラ部となるカメラモジュール10は、光学レンズ11、撮像素子12、AD変換器13、画像処理DSP(Digital Signal Processor)14 、I/F回路(インターフェイス)15、電源ドライバ回路16、マイコン17から構成される。光学レンズ11、撮像素子12が撮像手段となる。AD変換器13、画像処理DSP14が、撮像手段から出力されるアナログ信号をデジタル信号に変換しこのデジタル信号に対して所定の画像処理を行いデジタル映像信号を生成する画像処理手段となる。AD変換器13は、撮像素子12から出力されるアナログ画像信号をデジタル画像信号に変換する。また、画像処理DSP15は、AD変換器13から出力されるデジタル信号に対して所定の画像処理を行い、デジタル映像信号を生成・出力すると共に、水平垂直同期信号やクロック(CLK)信号を出力する。また、電源ドライバ回路16は、撮像素子12を駆動する回路である。制御手段となるマイコン17は、DSP14や電源ドライバ回路16を制御する。   1, a camera module 10 serving as a camera unit includes an optical lens 11, an image sensor 12, an AD converter 13, an image processing DSP (Digital Signal Processor) 14, an I / F circuit (interface) 15, a power driver circuit 16, It consists of a microcomputer 17. The optical lens 11 and the image sensor 12 serve as an imaging unit. The AD converter 13 and the image processing DSP 14 serve as image processing means for converting an analog signal output from the imaging means into a digital signal, performing predetermined image processing on the digital signal, and generating a digital video signal. The AD converter 13 converts the analog image signal output from the image sensor 12 into a digital image signal. In addition, the image processing DSP 15 performs predetermined image processing on the digital signal output from the AD converter 13 to generate and output a digital video signal, and also output a horizontal / vertical synchronization signal and a clock (CLK) signal. . The power driver circuit 16 is a circuit that drives the image sensor 12. The microcomputer 17 serving as a control unit controls the DSP 14 and the power supply driver circuit 16.

このカメラモジュール10は、装置内部バス18を介してCPU19,メモリ20を含むデータ処理部に接続される。また、装置内部バス18には画像表示手段としてLCD(液晶)表示部21が接続されている。CPU19を含むデータ処理部は、デジタル映像信号の認識のための解析結果に基づき、画質調整パラメータを発生し、カメラモジュール10にフィードバックする。カメラモジュール10は、画質調整パラメータに基づいて自動的に画質補正し、補正した画像をデータ処理部に転送する。また、画質調整(補正)後、バーコード読み取りエンジン処理が、デジタル映像信号に基づき画像パターン認識処理として、CPU19で実行される。   The camera module 10 is connected to a data processing unit including a CPU 19 and a memory 20 via a device internal bus 18. An LCD (liquid crystal) display unit 21 is connected to the apparatus internal bus 18 as image display means. The data processing unit including the CPU 19 generates an image quality adjustment parameter based on the analysis result for recognizing the digital video signal and feeds it back to the camera module 10. The camera module 10 automatically corrects the image quality based on the image quality adjustment parameter, and transfers the corrected image to the data processing unit. After image quality adjustment (correction), the barcode reading engine process is executed by the CPU 19 as an image pattern recognition process based on the digital video signal.

また、本発明の実施形態は、次のようにも構成される。すなわち、カメラモジュール10には、撮影による画像信号を発生する画像信号発生手段と、画像解析手段からの画質調整パラメータに基づいて画像信号発生手段からの前記画像信号を補正する補正手段とが含まれる。また、CPU19を含むデータ処理部には、画像信号発生手段からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、補正手段により補正された補正画像をパターン認識する認識手段とが含まれる。   The embodiment of the present invention is also configured as follows. That is, the camera module 10 includes an image signal generating unit that generates an image signal by photographing, and a correcting unit that corrects the image signal from the image signal generating unit based on an image quality adjustment parameter from the image analyzing unit. . The data processing unit including the CPU 19 analyzes the image signal from the image signal generation unit, determines an image quality adjustment parameter based on the analysis result, and outputs the corrected image corrected by the correction unit. Pattern recognition means.

図2は図1の処理を説明するフロー図である。図2において、ステップS1で、装置電源ONとした後、ユーザーがメニュー等からバーコード読み取りを開始すると(ステップS2)、直ちにカメラが起動され(ステップS3)、カメラモジュール10内のDSP14にて所定の画質設定がなされる(ステップS4)。この画質設定完了後、ステップS4でカメラでの撮影が可能となり、読み取り対象の映像信号が装置内部バス18を介してメモリ20に取り込まれる(ステップS6)。   FIG. 2 is a flowchart for explaining the processing of FIG. In FIG. 2, after the apparatus power is turned on in step S1, when the user starts barcode reading from a menu or the like (step S2), the camera is immediately activated (step S3), and the DSP 14 in the camera module 10 performs predetermined processing. Is set (step S4). After the image quality setting is completed, the camera can shoot in step S4, and the video signal to be read is taken into the memory 20 via the device internal bus 18 (step S6).

次のステップS7において、メモリ20からCPU19の読み取りエンジンに画像データが読み込まれ、画像データの解析がなされる。この解析内容としては、ヒストグラム解析などによる解像度、コントラスト等の評価であり、この評価値がエンジンがコードを読み取る為に必要なレベル(経験から来る目標値など)に達しているかどうかが判断される。   In the next step S7, the image data is read from the memory 20 into the reading engine of the CPU 19, and the image data is analyzed. This analysis includes evaluation of resolution, contrast, etc. by histogram analysis, etc., and it is judged whether or not this evaluation value has reached a level necessary for the engine to read the code (such as a target value derived from experience). .

ステップS7における画像解析が行われた結果、ステップS8で、補正の必要があるかどうか判定される。ここで、画質補正の必要がある(YES)と判断された項目がある場合、CPU19からカメラモジュール10のDSP14に対して設定変更の指示が送信される(ステップS9)。CPU19からの指示に基づきカメラモジュール10のDSP14ではマイコン17による制御のもとに再度画質設定が実行され、上記一連の撮影動作が実行される。新しい画質設定に基づいた撮影によってメモリ20に取り込まれた画像データは、再びステップS7にて解析され、ステップS8によって画質補正の可否が判断される。   As a result of the image analysis in step S7, it is determined in step S8 whether correction is necessary. Here, if there is an item determined to require image quality correction (YES), the CPU 19 transmits a setting change instruction to the DSP 14 of the camera module 10 (step S9). Based on an instruction from the CPU 19, the DSP 14 of the camera module 10 executes image quality setting again under the control of the microcomputer 17, and the above series of shooting operations is executed. The image data taken into the memory 20 by photographing based on the new image quality setting is analyzed again in step S7, and whether or not image quality correction is possible is determined in step S8.

そしてステップ7において画質補正の必要がないと判断されるまで,画質補正、再撮影動作が繰り返され、最終的に画質補正の必要がないと判断された後、次ステップS10のバーコード読み取り動作に移行する。   The image quality correction and re-shooting operations are repeated until it is determined in step 7 that image quality correction is not necessary. Finally, after it is determined that image quality correction is not necessary, the barcode reading operation in the next step S10 is performed. Transition.

次のステップS11では、認識エンジンにより入力された画像データの輝度情報を基にCPU19はデータのニ値化処理等を施し、バーコードに格納された情報の読み取りを行う。この読み取り動作が問題なく行われたかどうかが,ステップS11で判断され、読み取りがOKの場合は,CPU19によりステップS12の結果の表示を経て一連の動作を終了する(ステップS15)。ステップS11にて読み取り動作がNGであった場合は、ステップS13にてリトライの必要かどうか(YES/NO)の判断がされ、リトライ回数が所定のリトライ回数以下の場合、ステップS5に戻り、一連の撮影、画像データの取り込み、読み取り動作を所定の回数繰り返す(リトライ)。所定のリトライ回数を経ても読み取りがNGの場合はステップ13にて読み取り動作を諦め、ステップS14で読み取り不成功結果を表示し、動作を終了する(ステップS15)。   In the next step S11, the CPU 19 performs a binarization process on the data based on the luminance information of the image data input by the recognition engine, and reads the information stored in the barcode. It is determined in step S11 whether or not the reading operation has been performed without any problem. If the reading is OK, the CPU 19 displays the result of step S12 and ends the series of operations (step S15). If the reading operation is NG in step S11, it is determined whether or not a retry is necessary (YES / NO) in step S13. If the number of retries is equal to or smaller than the predetermined number of retries, the process returns to step S5, Are repeated a predetermined number of times (retries). If the reading is NG even after the predetermined number of retries, the reading operation is abandoned in step 13, the unsuccessful reading result is displayed in step S14, and the operation is terminated (step S15).

以上説明した動作により、カメラによって撮影された対象画像(コード)の認識エンジンでの解析結果に基づき、認識率を向上させるために必要と判断された画質調整パラメータをカメラ側にフィードバックして、読み取りに最適な画質調整を自動的に行う事が出来るようにしたので、バーコードの認識率向上を図ることが可能となる。また、画質調整を自動的に行う事が出来るので、処理の途中で必要となるメモリの確保を不要とすることが出来る。   Through the operation described above, based on the analysis result of the target image (code) captured by the camera, the image quality adjustment parameter judged to be necessary for improving the recognition rate is fed back to the camera and read. Since the optimum image quality adjustment can be automatically performed, it is possible to improve the barcode recognition rate. Further, since the image quality adjustment can be automatically performed, it is possible to eliminate the need for securing the memory required during the processing.

本実施例の構成は、図1と同様であり、その動作も図2のフローと同様である。図1において、カメラモジュール10の撮像素子12は、レンズ11からの光学被写体像を電気信号に変換する。また、画像処理撮DSP14は、AD変換器13から出力されるデジタル信号に対して色補間、色補正、画質調整など所定の画像処理を行い、デジタル映像信号を生成・出力すると共に、水平垂直同期信号やCLK信号を出力する。I/F回路15は、画像処理DSP14の出力信号と後述するCPU19からの制御信号を装置内部バス18を介してやり取りする。   The configuration of this embodiment is the same as that of FIG. 1, and the operation thereof is also the same as the flow of FIG. In FIG. 1, an image sensor 12 of a camera module 10 converts an optical subject image from a lens 11 into an electrical signal. The image processing DSP 14 performs predetermined image processing such as color interpolation, color correction, and image quality adjustment on the digital signal output from the AD converter 13 to generate and output a digital video signal, and at the same time, horizontal and vertical synchronization. Signal and CLK signal are output. The I / F circuit 15 exchanges an output signal of the image processing DSP 14 and a control signal from a CPU 19 described later via the apparatus internal bus 18.

ここでステップS7における画像解析方法に関して説明する。まず、解像度に関して、図3の画像とその出力信号の模式図を用いて説明する。解像度に関しては、得られた画像G内の写体画像Bに関して2次微分演算を行い輪郭信号の抽出を行う。図3には一例としてnライン目の映像信号とその2次微分信号(輪郭信号)、mライン目の映像信号とその2次微分信号(輪郭信号)を示している。nライン目の映像信号レベルを 、その2次微分信号のレベルをa、mライン目の映像信号レベルをb、その2次微分信号のレベルをβとする。ここでそれぞれのラインの映像信号レベルと2次微分信号レベルの比をそれぞれ α/a=kn 、β/b=kmとし、その比の基準値をkとする。この時、解像度の判定は、kn≧k、km≧kであるか否かとし、kn<k、km<kの場合は所定の解像度が出ていないと判定する。この判定結果によって解像度不足と判定された場合、ステップS9においてCPU19からカメラモジュール10に対してkm≧k、kn≧kとなる様に、輪郭強調レベルの増加が指示される。
この解像度判定による輪郭強調レベルの増加の指示により、撮影画像の解像度を増加させることができ、結果としてコードの認識率を上げることができる。
Here, the image analysis method in step S7 will be described. First, the resolution will be described with reference to the schematic diagram of the image in FIG. 3 and its output signal. Regarding the resolution, a second derivative operation is performed on the body image B in the obtained image G to extract a contour signal. As an example, FIG. 3 shows a video signal of the nth line and its secondary differential signal (contour signal), and a video signal of the mth line and its secondary differential signal (contour signal). The video signal level of the nth line is a, the level of the secondary differential signal is a, the video signal level of the mth line is b, and the level of the secondary differential signal is β. Here, the ratio between the video signal level and the second-order differential signal level of each line is α / a = kn and β / b = km, respectively, and the reference value of the ratio is k. At this time, the determination of the resolution is based on whether or not kn ≧ k and km ≧ k. When kn <k and km <k, it is determined that the predetermined resolution is not obtained. If it is determined that the resolution is insufficient based on the determination result, in step S9, the CPU 19 instructs the camera module 10 to increase the edge enhancement level so that km ≧ k and kn ≧ k.
The resolution of the captured image can be increased by an instruction to increase the contour enhancement level by the resolution determination, and as a result, the code recognition rate can be increased.

次にコントラストの判定・調整方法に関して図4、図5により説明する。図4(a)(b)は画面の模式図および図5のコントラストレベル図である。図4(a)はコントラストが低い画像のコントラスト補正前の撮影画像例、図4(b)はコントラスト補正後の画像例である。図4(a)、図4(b)中の「AA’列信号波形」はAA’列の信号波形をアナログ的に表した模式波形、「2値化後予想波形」は「AA’列信号波形」を「2値化閾値」に基づいて2値化した場合の予想模式波形である。また、図5はコントラスト補正前の画像のヒストグラムとコントラスト補正後の画像のヒストグラムを模式的に示したものである。図の縦軸は数量、度数を示し、横軸は信号強度(8ビットの場合)を示し、右端が白、左端が黒となる。   Next, a contrast determination / adjustment method will be described with reference to FIGS. 4A and 4B are a schematic diagram of a screen and a contrast level diagram of FIG. 4A shows an example of a photographed image before contrast correction of an image with low contrast, and FIG. 4B shows an example of an image after contrast correction. 4A and 4B, “AA ′ column signal waveform” is a schematic waveform representing the signal waveform of AA ′ column in an analog manner, and “binary expected waveform” is “AA ′ column signal”. It is an expected schematic waveform when binarizing “waveform” based on “binarization threshold”. FIG. 5 schematically shows the histogram of the image before contrast correction and the histogram of the image after contrast correction. In the figure, the vertical axis represents quantity and frequency, the horizontal axis represents signal strength (in the case of 8 bits), the right end is white, and the left end is black.

図4(a)に示したコントラストが低い画像のヒストグラム分布は、図5のレベルaの様に全体的になだらかであり、分布のピークがはっきりとせず中間レベルの信号が多く含まれる。これに対し図4(b)に示したコントラスト補正を施してコントラストが高くなった画像では、白黒パターンのメリハリが大きくなる為、ヒストグラム(図5のレベルb)において分布のピークがはっきりと 極化し、中間レベルの信号分布は少なくなる。このようにCPU19は画像データのヒストグラム分布を解析することにより、理想とするヒストグラム分布に近づくようにカメラ側の調整パラメータを制御することが出来る(ステップS9)。この調整パラメータとしては、γ補正カーブの変更、輝度信号のゲインアップが考えられる。   The histogram distribution of the low-contrast image shown in FIG. 4A is generally smooth like the level a in FIG. 5, and the distribution peak is not clear and many intermediate level signals are included. On the other hand, in the image with high contrast as shown in FIG. 4 (b), the sharpness of the black-and-white pattern increases, so the distribution peak is clearly poled in the histogram (level b in FIG. 5). The signal distribution at the intermediate level is reduced. Thus, the CPU 19 can control the adjustment parameter on the camera side so as to approach the ideal histogram distribution by analyzing the histogram distribution of the image data (step S9). As this adjustment parameter, it is conceivable to change the γ correction curve or increase the gain of the luminance signal.

図4(a)に示したように、コントラストが低い画像を2値化した場合は、映像信号のピークレベルが低い為に 値化閾値に達せず、本来のコードパターンを正確に再現出来ない場合がある(2値化予想波形参照)。その結果としてコード内容を正確に読み取れなくなる。これに対し図4(b)の様にコントラスト補正後は、映像信号のピークレベルが高くなり、本来のコードパターンを正確に再現でき(2値化予想波形)、コード内容を読み取れるようになる。   As shown in Fig. 4 (a), when an image with low contrast is binarized, the peak level of the video signal is low, so the threshold value is not reached, and the original code pattern cannot be reproduced accurately (Refer to the binarized expected waveform). As a result, the code contents cannot be read accurately. On the other hand, after the contrast correction as shown in FIG. 4B, the peak level of the video signal becomes high, the original code pattern can be accurately reproduced (binary expected waveform), and the code contents can be read.

以上説明した動作により、カメラによって撮影された対象画像(コード)の認識エンジンでの解析結果に基づき、認識率を向上させるために必要と判断された画質調整パラメータをカメラ側にフィードバックして、読み取りに最適な画質調整を自動的に行う事が出来るようにしたので、バーコードの認識率向上を図る事が可能となる。   Through the operation described above, based on the analysis result of the target image (code) captured by the camera, the image quality adjustment parameter judged to be necessary for improving the recognition rate is fed back to the camera and read. Since the optimum image quality adjustment can be automatically performed, it is possible to improve the barcode recognition rate.

なお、本実施例は、画質調整パラメータとして解像度およびコントラストについて説明したが、更に輝度などの画質調整パラメータを追加して解析し、調整できるようにしてもよい。   In the present embodiment, the resolution and contrast have been described as the image quality adjustment parameters. However, the image quality adjustment parameters such as luminance may be added and analyzed for adjustment.

図6は本発明の第2の実施例を説明するフロー図である。図6を用いて説明する。第1の実施例と本実施例との相違点は、エンジン解析結果のフィードバック先を、カメラモジュール10のDSP14ではなく、端末装置側に実装されたCPU19とした点である。   FIG. 6 is a flowchart for explaining the second embodiment of the present invention. This will be described with reference to FIG. The difference between the first embodiment and this embodiment is that the feedback destination of the engine analysis result is not the DSP 14 of the camera module 10 but the CPU 19 mounted on the terminal device side.

この場合、CPU19で実行される画像処理SW(ソフトウエア)にエンジン解析結果がフィードバックされる。すなわち、画像処理SWとしては、ある種の携帯電話に、画質を高めるためのソフトウエアが装備されており、本実施例は、このようなソフトウエアを用いて画質を高めるものである。   In this case, the engine analysis result is fed back to the image processing SW (software) executed by the CPU 19. That is, as the image processing SW, software for enhancing image quality is installed in a certain mobile phone, and in this embodiment, image quality is enhanced by using such software.

本実施例において、データ処理部は、カメラ部(10)からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、この画像解析手段からの画質調整パラメータに基づいて所定画像処理プログラムにより画質を高めるよう前記画像信号を画質補正する画像処理手段と、この画像処理手段で補正した補正画像をパターン認識する認識手段とを含んでいる。   In this embodiment, the data processing unit analyzes an image signal from the camera unit (10), determines an image quality adjustment parameter based on the analysis result, and outputs it, and an image quality adjustment parameter from the image analysis unit. The image processing means for correcting the image quality of the image signal so as to improve the image quality based on the predetermined image processing program, and the recognition means for recognizing the corrected image corrected by the image processing means.

この場合、画像解析手段が、第1の実施例と同様に、画像信号を解析しその解析結果に基づき認識率の向上のために必要な画質調整パラメータを判断して出力する。そして本実施例では、画像処理手段が、画像解析手段からの画質調整パラメータにより所定画像処理プログラムに従って画質を高めるよう前記画像信号を画質補正し、認識手段が、画像処理手段で補正した補正画像をパターン認識する。   In this case, as in the first embodiment, the image analysis means analyzes the image signal, and determines and outputs an image quality adjustment parameter necessary for improving the recognition rate based on the analysis result. In this embodiment, the image processing unit corrects the image quality of the image signal so as to improve the image quality according to the predetermined image processing program by the image quality adjustment parameter from the image analysis unit, and the recognition unit corrects the corrected image corrected by the image processing unit. Recognize patterns.

図6のフローにおいて、装置電源ON(ステップS1)後、ステップS2でユーザーがメニュー等からバーコード読み取りを開始する。この場合、ステップS3で直ちにカメラが起動され、ステップS4でカメラモジュール10内のDSP14にて所定の画質設定がなされる。この画質設定完了後、ステップS5でカメラでの撮影が可能となり、ステップS6で読み取り対象の映像信号が装置内部バス18を介してメモリ20に取り込まれる。   In the flow of FIG. 6, after the apparatus power is turned on (step S1), the user starts barcode reading from the menu or the like in step S2. In this case, the camera is immediately activated in step S3, and a predetermined image quality setting is made in the DSP 14 in the camera module 10 in step S4. After the image quality setting is completed, the camera can shoot in step S5, and the video signal to be read is fetched into the memory 20 via the apparatus internal bus 18 in step S6.

メモリ20に取り込まれた画像データは、次に画像処理SWにより、ステップS7aで、読所定の映像信号処理が施される。ここで実行される映像信号処理は、カメラモジュール10から出力される画像に対して画質を高めるために、補完的に実行される処理であり、マイコン17において実行される。   Next, the image data taken into the memory 20 is read and subjected to predetermined video signal processing in step S7a by the image processing SW. The video signal process executed here is a process executed in a complementary manner to improve the image quality of the image output from the camera module 10 and is executed in the microcomputer 17.

次のステップS7bにおいて、画像データをメモリ20からCPU19の読み取りエンジンに画像データが読み込まれ、画像データの解析がなされる。この解析内容としては、ヒストグラム解析による解像度、コントラスト等の評価であり、この評価値は、エンジンがコードを読み取る為に必要なレベル(経験から来る目標値など)に達しているかどうかで判断される。ステップS7bにおける画像解析が行われた結果、ステップS8で画質補正の必要があるか否かが判定される。ここで、画質補正の必要があると判断された項目がある場合(YES)、ステップS9aでCPU19から画像処理SWに対して設定変更の指示が送信される。そしてステップS7aで、CPU19からの指示に基づき画像処理SWでは再度画質設定が実行され、上記一連の撮影動作が実行される。新しい画質設定に基づいた撮影によってメモリ20に取り込まれた画像データは、再びステップS7bにて解析され、ステップS8によって画質補正の可否が判断される。   In the next step S7b, the image data is read from the memory 20 into the reading engine of the CPU 19, and the image data is analyzed. This analysis includes evaluation of resolution, contrast, etc. by histogram analysis. This evaluation value is judged by whether or not the engine has reached a level necessary for reading the code (such as a target value derived from experience). . As a result of the image analysis in step S7b, it is determined in step S8 whether image quality correction is necessary. If there is an item that is determined to require image quality correction (YES), a setting change instruction is transmitted from the CPU 19 to the image processing SW in step S9a. In step S7a, the image processing SW performs image quality setting again on the basis of an instruction from the CPU 19, and the series of photographing operations is performed. The image data taken into the memory 20 by photographing based on the new image quality setting is analyzed again in step S7b, and whether or not image quality correction is possible is determined in step S8.

ここまでの工程はステップS8において画質補正の必要がないと判断されるまで画質補正、再撮影動作が繰り返され、最終的に画質補正の必要がないと判断された後、次ステップS10の読み取り動作に移行する。   In the process up to this point, image quality correction and re-shooting operations are repeated until it is determined in step S8 that image quality correction is not necessary. After it is finally determined that image quality correction is not necessary, the reading operation in next step S10 is performed. Migrate to

ステップS10では、認識エンジンにより入力された画像データの輝度情報を基にCPU19はデータの2値化処理等を施し、バーコードに格納された情報の読み取りが行われる。次のステップS11で読み取り動作が問題なく行われたかどうかが判断され、読み取りがOKの場合は結果の表示(ステップS12)を経て一連の動作を終了する(ステップS15)。ステップS11にて読み取り動作がNGであった場合は、CPU19によりステップ S13にてリトライの必要の有無の判断がされる。リトライ回数が所定のリトライ回数以下の場合、ステップS5の撮影の動作に戻り、一連の撮影、画像データの取り込み、読み取り動作を所定の回数繰り返す(リトライ)。所定のリトライ回数を経ても読み取りがNGの場合は、ステップS13にて読み取り動作を諦め、読み取り不成功結果を表示し(ステップS14)、動作を終了する(ステップS15)。   In step S10, the CPU 19 performs a binarization process on the data based on the luminance information of the image data input by the recognition engine, and reads the information stored in the barcode. In the next step S11, it is determined whether or not the reading operation has been performed without any problem. If the reading is OK, the result display (step S12) is performed and the series of operations is terminated (step S15). If the reading operation is NG in step S11, the CPU 19 determines whether or not a retry is necessary in step S13. If the number of retries is less than or equal to the predetermined number of retries, the process returns to the shooting operation in step S5, and a series of shooting, image data capture, and reading operations are repeated a predetermined number of times (retry). If the reading is NG even after the predetermined number of retries, the reading operation is abandoned in step S13, the reading unsuccessful result is displayed (step S14), and the operation is ended (step S15).

以上説明した本実施例の効果は、前述した第1の実施例と同様のものとなるが、カメラモジュール10との通信が不要となるので、処理の簡素化、時間削減が実現できる。   The effects of the present embodiment described above are the same as those of the first embodiment described above, but communication with the camera module 10 is not required, so that the processing can be simplified and the time can be reduced.

なお、以上述べた本実施例によるバーコード読取装置は、携帯電話に限らず、図1に示したカメラモジュール10を用いた構成をとる電子機器全てに適用出来ることは明らかである。   It should be noted that the barcode reading apparatus according to the present embodiment described above can be applied not only to a mobile phone but also to all electronic devices having a configuration using the camera module 10 shown in FIG.

また、読み取り対象として2次元バーコードを例として挙げたが、他の読み取り対象、例えばJANコードなどの1次元バーコード、文字情報などの読み取り装置にも適用可能な事は明白である。   In addition, although a two-dimensional barcode has been described as an example of a reading target, it is obvious that the present invention can be applied to other reading targets, for example, a one-dimensional barcode such as a JAN code, and a reading device for character information.

また、本実施例は、カメラモジュール10とデータ処理部とが内部バス18を介して接続された場合を説明したが、電波または赤外線になどの無線により接続されることも出来る。   In the present embodiment, the case where the camera module 10 and the data processing unit are connected via the internal bus 18 has been described. However, the camera module 10 and the data processing unit may be connected by radio waves or infrared rays.

本発明は、バーコード読取が可能なカメラ付き携帯端末・携帯電話のみならず、各種バーコード読取装置に適当でき、さらに一般のパタ−ン認識装置に適当でき、またこのようなパターン認識装置を備えた電子機器にも適用することが出来る。   The present invention can be applied not only to camera-equipped mobile terminals and mobile phones that can read barcodes, but also to various barcode readers, and can also be applied to general pattern recognition devices. The present invention can also be applied to equipped electronic devices.

本発明の第1の実施形態を説明するカメラモジュールのブロック図である。It is a block diagram of a camera module explaining a 1st embodiment of the present invention. 図1の処理を説明するフロー図である。It is a flowchart explaining the process of FIG. 図1の画像レベルを説明する信号レベル図である。It is a signal level diagram explaining the image level of FIG. (a)(b)は図1の他の画像レベルを説明する信号レベル図である。(A) and (b) are signal level diagrams for explaining other image levels in FIG. 図1の他の画像レベルを説明する信号レベル図である。It is a signal level diagram explaining the other image level of FIG. 本発明の第2の実施例を説明するフロー図である。It is a flowchart explaining the 2nd Example of this invention. 従来例の画像読取装置を説明するブロック図である。It is a block diagram explaining the image reading apparatus of a prior art example. 図7の処理を説明するフロー図である。It is a flowchart explaining the process of FIG. 他の従来例の診断支援装置を説明するブロック図である。It is a block diagram explaining the diagnosis assistance apparatus of another prior art example. 図9の処理を説明するフロー図である。It is a flowchart explaining the process of FIG.

符号の説明Explanation of symbols

10 カメラモジュール
11 レンズ
12 撮像素子
13 AD変換器
14 画像処理DSP
15 I/F(インタフェース)回路
15a 外部I/F
16 電源ドライバ回路
17 マイコン
18 内部バス
18a バス
19 CPU
20,20a メモリ
20b 記憶部
20c 一時記憶部
21,21a,21b LCD(表示部)
31 制御部
32 状態検出部
33 動作制御部
34,34a 画像入力部
35 画像処理部
36 画像圧縮部
37 操作部
41 入力部
42 処理部
51 画像データ特性検出部
52 しきい値補正部
53 診断部
55 基本プログラム
56 画像データ特性検出プログラム
57 しきい値
58 しきい値補正テーブル
DESCRIPTION OF SYMBOLS 10 Camera module 11 Lens 12 Image pick-up element 13 AD converter 14 Image processing DSP
15 I / F (interface) circuit 15a External I / F
16 Power Driver Circuit 17 Microcomputer 18 Internal Bus 18a Bus 19 CPU
20, 20a Memory 20b Storage unit 20c Temporary storage unit 21, 21a, 21b LCD (display unit)
Reference Signs List 31 control unit 32 state detection unit 33 operation control unit 34, 34a image input unit 35 image processing unit 36 image compression unit 37 operation unit 41 input unit 42 processing unit 51 image data characteristic detection unit 52 threshold correction unit 53 diagnostic unit 55 Basic program 56 Image data characteristic detection program 57 Threshold value 58 Threshold value correction table

Claims (15)

撮影による画像信号を発生する画像信号発生手段と、この画像信号発生手段からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、この画像解析手段からの画質調整パラメータに基づいて前記画像信号発生手段からの前記画像信号を補正する補正手段と、この補正手段により補正された補正画像をパターン認識する認識手段と、を備えることを特徴とするパターン認識装置。 Image signal generating means for generating an image signal by photographing, image analyzing means for analyzing the image signal from the image signal generating means, determining and outputting an image quality adjustment parameter based on the analysis result, and output from the image analyzing means A pattern recognition apparatus comprising: a correction unit that corrects the image signal from the image signal generation unit based on an image quality adjustment parameter; and a recognition unit that recognizes a pattern of the corrected image corrected by the correction unit. . 撮像手段と、この撮像手段から出力されるアナログ信号をデジタル信号に変換しこのデジタル信号に対して所定の画像処理を行いデジタル映像信号を生成する画像処理手段と、この画像処理手段を制御する制御手段とを含むカメラ部と、
前記カメラ部と接続し、かつ前記デジタル映像信号に基づき画像パターン認識処理を実行するデータ処理部とを含み、
前記データ処理部は、前記デジタル映像信号の認識のための解析結果に基づき、画質調整パラメータを発生し、前記カメラ部にフィードバックし、さらに、前記カメラ部は、前記画質調整パラメータに基づいて自動的に画質補正することを特徴とするパターン認識装置。
Image pickup means, image processing means for converting an analog signal output from the image pickup means into a digital signal, performing predetermined image processing on the digital signal to generate a digital video signal, and control for controlling the image processing means A camera unit including means,
A data processing unit connected to the camera unit and executing an image pattern recognition process based on the digital video signal;
The data processing unit generates an image quality adjustment parameter based on an analysis result for recognizing the digital video signal and feeds it back to the camera unit. Further, the camera unit automatically generates an image based on the image quality adjustment parameter. A pattern recognition apparatus characterized by correcting image quality.
撮影による画像信号を発生する画像信号発生手段と、この画像信号発生手段からの画像信号を解析しその解析結果に基づき画質調整パラメータを決定して出力する画像解析手段と、この画像解析手段からの画質調整パラメータに基づいて所定画像処理プログラムにより画質を高めるよう前記画像信号を画質補正する画像処理手段と、この画像処理手段で補正した補正画像をパターン認識する認識手段と、を備えたことを特徴とするパターン認識装置。 Image signal generating means for generating an image signal by photographing, image analyzing means for analyzing the image signal from the image signal generating means, determining and outputting an image quality adjustment parameter based on the analysis result, and output from the image analyzing means An image processing unit that corrects the image quality of the image signal so as to improve the image quality by a predetermined image processing program based on an image quality adjustment parameter, and a recognition unit that recognizes a pattern of the corrected image corrected by the image processing unit. A pattern recognition device. 画質調整パラメータが、画像の解像度またはコントラストである請求項1,2または3記載のパターン認識装置。 4. The pattern recognition apparatus according to claim 1, wherein the image quality adjustment parameter is image resolution or contrast. 画像の解像度の補正は、入力画像信号に関して2次微分演算を行い輪郭信号を抽出し、この輪郭信号のレベルが映像信号レベルに対して大きくなるように制御する請求項4記載のパターン認識装置。 5. The pattern recognition apparatus according to claim 4, wherein the image resolution is corrected by performing a second order differential operation on the input image signal to extract a contour signal and controlling the contour signal level to be higher than the video signal level. 画像のコントラストの補正は、入力画像信号の信号レベルについてヒストグラム分布を解析し、このヒストグラム分布が急峻なパターンとなるように制御する請求項4記載のパターン認識装置。 5. The pattern recognition apparatus according to claim 4, wherein the image contrast is corrected by analyzing the histogram distribution for the signal level of the input image signal and controlling the histogram distribution to be a steep pattern. パターン認識装置がバーコード読取装置である請求項1乃至6のうちの1項に記載のパターン認識装置。 The pattern recognition apparatus according to claim 1, wherein the pattern recognition apparatus is a bar code reader. 請求項1乃至6のうちの1項に記載のパターン認識装置を備えたことを特徴とする電子機器。 An electronic apparatus comprising the pattern recognition device according to claim 1. 電子機器が、バーコード読取が可能なカメラ付き携帯端末である請求項8記載の電子機器。 The electronic device according to claim 8, wherein the electronic device is a mobile terminal with a camera capable of reading a barcode. 画像信号発生手段からの画像信号を、画像解析手段により解析し、その解析結果に基づき画質調整パラメータを決定して出力し、この画像解析手段からの画質調整パラメータに基づいて前記画像信号発生手段からの前記画像信号を補正手段により補正し、この補正された補正画像を認識手段によりパターン認識することを特徴とするパターン認識方法。 The image signal from the image signal generation means is analyzed by the image analysis means, and an image quality adjustment parameter is determined and output based on the analysis result. Based on the image quality adjustment parameter from the image analysis means, the image signal generation means A pattern recognition method characterized in that the image signal is corrected by a correction means, and the corrected corrected image is recognized by a recognition means. 画像信号発生手段からの画像信号を、画像解析手段により解析し、その解析結果に基づいて画質調整パラメータを決定して出力し、画像処理手段により、前記画像解析手段からの画質調整パラメータを用いて所定画像処理プログラムにより画質を高めるよう前記画像信号を画質補正し、前記画像処理手段で補正した補正画像を認識手段によりパターン認識することを特徴とするパターン認識方法。 The image signal from the image signal generation means is analyzed by the image analysis means, and an image quality adjustment parameter is determined and output based on the analysis result, and the image processing means uses the image quality adjustment parameter from the image analysis means. A pattern recognition method, wherein the image signal is subjected to image quality correction so as to improve image quality by a predetermined image processing program, and the corrected image corrected by the image processing means is recognized by the recognition means. 画質調整パラメータが、画像の解像度またはコントラストである請求項10または11記載のパターン認識方法。 12. The pattern recognition method according to claim 10, wherein the image quality adjustment parameter is image resolution or contrast. 画像の解像度の補正は、入力画像信号に関して2次微分演算を行い輪郭信号の抽出し、この輪郭信号のレベルが映像信号レベルに対して大きくなるように制御する請求項12記載のパターン認識方法。 13. The pattern recognition method according to claim 12, wherein the image resolution is corrected by performing a second derivative operation on the input image signal to extract a contour signal, and controlling the contour signal level to be higher than the video signal level. 画像のコントラストの補正は、入力画像信号の信号レベルについてヒストグラム分布を解析し、このヒストグラム分布が急峻なパターンとなるように制御する請求項12記載のパターン認識方法。 13. The pattern recognition method according to claim 12, wherein the image contrast is corrected by analyzing the histogram distribution for the signal level of the input image signal and controlling the histogram distribution to be a steep pattern. パターン認識方法がバーコード読取方法である請求項10乃至14のうちの1項に記載のパターン認識方法。
15. The pattern recognition method according to claim 10, wherein the pattern recognition method is a barcode reading method.
JP2005095306A 2005-03-29 2005-03-29 Pattern recognition apparatus, pattern recognition method, and electronic apparatus having the pattern recognition apparatus Expired - Fee Related JP4412214B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005095306A JP4412214B2 (en) 2005-03-29 2005-03-29 Pattern recognition apparatus, pattern recognition method, and electronic apparatus having the pattern recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005095306A JP4412214B2 (en) 2005-03-29 2005-03-29 Pattern recognition apparatus, pattern recognition method, and electronic apparatus having the pattern recognition apparatus

Publications (2)

Publication Number Publication Date
JP2006277315A true JP2006277315A (en) 2006-10-12
JP4412214B2 JP4412214B2 (en) 2010-02-10

Family

ID=37212021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005095306A Expired - Fee Related JP4412214B2 (en) 2005-03-29 2005-03-29 Pattern recognition apparatus, pattern recognition method, and electronic apparatus having the pattern recognition apparatus

Country Status (1)

Country Link
JP (1) JP4412214B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031175A (en) * 2007-07-30 2009-02-12 Hitachi High-Technologies Corp Automatic analyzer
JP2010072847A (en) * 2008-09-17 2010-04-02 Toshiba Corp Information recognition processing device and information recognition processing method
JP2010136221A (en) * 2008-12-05 2010-06-17 Bankutekku Japan Kk Image processing system and image processing method
JP2010226580A (en) * 2009-03-25 2010-10-07 Denso Wave Inc Color correction method and imaging system
JP2011505051A (en) * 2007-12-14 2011-02-17 シンボル テクノロジーズ インコーポレイテッド Method and system for a configurable communication interface
KR101198595B1 (en) 2011-09-08 2012-11-07 (주)이컴앤드시스템 An extracting/decoding device for 2D barcode image of arbitrary contrast
JP2015087940A (en) * 2013-10-30 2015-05-07 キヤノン株式会社 Information processing device, information processing method and program
JP2015187853A (en) * 2014-03-14 2015-10-29 株式会社リコー Method for reading optical information code
WO2016021366A1 (en) * 2014-08-06 2016-02-11 ローランドディー.ジー.株式会社 Optical symbol reading device and reading method
CN106210529A (en) * 2016-07-29 2016-12-07 广东欧珀移动通信有限公司 The image pickup method of mobile terminal and device
JP2017016549A (en) * 2015-07-06 2017-01-19 株式会社日立システムズ Character recognition device, character recognition method, and program
WO2018123900A1 (en) * 2016-12-26 2018-07-05 新日鉄住金ソリューションズ株式会社 Information processing device, system, information processing method, and storage medium
WO2024024283A1 (en) * 2022-07-29 2024-02-01 株式会社Jvcケンウッド Image recognition assistance device, method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466001B1 (en) 2015-04-07 2016-10-11 Toshiba Tec Kabushiki Kaisha Image processing apparatus and computer-readable storage medium

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031175A (en) * 2007-07-30 2009-02-12 Hitachi High-Technologies Corp Automatic analyzer
JP2011505051A (en) * 2007-12-14 2011-02-17 シンボル テクノロジーズ インコーポレイテッド Method and system for a configurable communication interface
JP2010072847A (en) * 2008-09-17 2010-04-02 Toshiba Corp Information recognition processing device and information recognition processing method
JP2010136221A (en) * 2008-12-05 2010-06-17 Bankutekku Japan Kk Image processing system and image processing method
JP2010226580A (en) * 2009-03-25 2010-10-07 Denso Wave Inc Color correction method and imaging system
KR101198595B1 (en) 2011-09-08 2012-11-07 (주)이컴앤드시스템 An extracting/decoding device for 2D barcode image of arbitrary contrast
JP2015087940A (en) * 2013-10-30 2015-05-07 キヤノン株式会社 Information processing device, information processing method and program
JP2015187853A (en) * 2014-03-14 2015-10-29 株式会社リコー Method for reading optical information code
WO2016021366A1 (en) * 2014-08-06 2016-02-11 ローランドディー.ジー.株式会社 Optical symbol reading device and reading method
JPWO2016021366A1 (en) * 2014-08-06 2017-04-27 ローランドディー.ジー.株式会社 Optical symbol reading apparatus and reading method
US9928395B2 (en) 2014-08-06 2018-03-27 Roland Dg Corporation Optical symbol reading apparatus and reading method
JP2017016549A (en) * 2015-07-06 2017-01-19 株式会社日立システムズ Character recognition device, character recognition method, and program
CN106210529A (en) * 2016-07-29 2016-12-07 广东欧珀移动通信有限公司 The image pickup method of mobile terminal and device
WO2018123900A1 (en) * 2016-12-26 2018-07-05 新日鉄住金ソリューションズ株式会社 Information processing device, system, information processing method, and storage medium
JP2018106345A (en) * 2016-12-26 2018-07-05 新日鉄住金ソリューションズ株式会社 Information processing apparatus, system, information processing method and program
US10755100B2 (en) 2016-12-26 2020-08-25 Ns Solutions Corporation Information processing device, system, information processing method, and storage medium
WO2024024283A1 (en) * 2022-07-29 2024-02-01 株式会社Jvcケンウッド Image recognition assistance device, method, and program

Also Published As

Publication number Publication date
JP4412214B2 (en) 2010-02-10

Similar Documents

Publication Publication Date Title
JP4412214B2 (en) Pattern recognition apparatus, pattern recognition method, and electronic apparatus having the pattern recognition apparatus
US7873221B2 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method
JP5162730B2 (en) Imaging device and dark current correction method thereof
JP2011513818A (en) Image capture device with integrated barcode scanning
JP2010004302A (en) Signal processing device, signal processing method, control program, readable recording medium, solid-state imaging device and electronic information appliance
JP5358384B2 (en) Optical information reading apparatus and imaging condition setting method thereof
JP6521084B2 (en) Image reading apparatus and image forming apparatus
KR20100028315A (en) Method for taking pictures in mobie communication terminal having camera module and apparatus therefor
WO2007039947A1 (en) Image correction device and image correction method
US10070039B2 (en) Image processing device and image processing method
JP2006054519A (en) Imaging apparatus
JP2012221095A (en) Information processing apparatus and method, program, and imaging apparatus
JPH08235355A (en) Picture processor
US20120075495A1 (en) Electronic camera
US7464875B2 (en) Image acquiring apparatus capable of processing image quickly and method of acquiring image thereof
US20190073558A1 (en) Information processing apparatus, information processing method, and computer program
US6028966A (en) Image reading apparatus and method including pre-scanning
JP2006209277A (en) Object detecting device, object detecting method and imaging device
KR100765257B1 (en) Method and apparatus for compensating defect of camera module
KR20170026999A (en) Method for pre-processing image data, computer readable medium including set of commands for performing the same and optical object recognition appratus using the same
JP5482925B2 (en) Image capturing apparatus and program
US9565358B2 (en) Apparatus and method for scanning and recognizing
EP3614298A1 (en) Portable terminal apparatus, information recording method and storage medium
JP2007324648A (en) Image reading system and control method thereof
JP2009194469A (en) Imaging apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090410

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees