JP6890427B2 - Car number recognition device - Google Patents

Car number recognition device Download PDF

Info

Publication number
JP6890427B2
JP6890427B2 JP2017011786A JP2017011786A JP6890427B2 JP 6890427 B2 JP6890427 B2 JP 6890427B2 JP 2017011786 A JP2017011786 A JP 2017011786A JP 2017011786 A JP2017011786 A JP 2017011786A JP 6890427 B2 JP6890427 B2 JP 6890427B2
Authority
JP
Japan
Prior art keywords
color
unit
plate
character
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017011786A
Other languages
Japanese (ja)
Other versions
JP2018120445A (en
Inventor
忠明 北村
忠明 北村
健 志磨
健 志磨
隆一 神
隆一 神
みづ穂 村田
みづ穂 村田
鈴木 寿法
寿法 鈴木
文明 小野
文明 小野
秀昭 高倉
秀昭 高倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2017011786A priority Critical patent/JP6890427B2/en
Publication of JP2018120445A publication Critical patent/JP2018120445A/en
Application granted granted Critical
Publication of JP6890427B2 publication Critical patent/JP6890427B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

テレビカメラで車両を撮影し、その画像からナンバープレートの文字を認識する車番認識装置に関する。 The present invention relates to a vehicle number recognition device that photographs a vehicle with a TV camera and recognizes the characters on the license plate from the image.

車番認識は20数年前から普及し、多くの装置が色々な個所に設置されている。これまでのナンバープレートは白地に緑色の文字、緑地に白文字、黄色地に黒文字、黒地に黄色文字の4種類だけであったが、2017年以降、ラグビーワールドカップ向けに図柄プレートが配布される予定である。また、2020年の東京オリンピック向けにも図柄プレートが配布される予定である。 Car number recognition has been popular for more than 20 years, and many devices are installed in various places. Until now, there were only four types of license plates: green letters on a white background, white letters on a green background, black letters on a yellow background, and yellow letters on a black background, but after 2017, design plates will be distributed for the Rugby World Cup. It is planned. In addition, design plates will be distributed for the 2020 Tokyo Olympics.

車番認識装置の特許は多く出願されているが、これから支給される図柄のプレートについて対応する特許はまだ、公開されていない。特許文献1はナンバープレートを高精度に切り出す方式であり、図柄補正に関しての記載はない。特許文献2は、多車線対応のナンバープレート認識装置(別名、車番認識装置)であり、この文献にも図柄補正の記載はない。一般の文字認識に関して特許文献3がある。この従来技術は、OCRなどの文字読み取り装置において、カラー成分の色ずれ、色ボケによって文字が綺麗に抽出できない場合の対処方法であり、文字の輪郭のカラー成分あるいは輝度成分を文字の中央のカラー成分、輝度成分に置き換えるものである。 Many patents have been filed for car number recognition devices, but the corresponding patents for the design plates that will be provided in the future have not yet been published. Patent Document 1 is a method of cutting out a license plate with high accuracy, and there is no description about symbol correction. Patent Document 2 is a license plate recognition device (also known as a car number recognition device) for multiple lanes, and there is no description of symbol correction in this document either. There is Patent Document 3 regarding general character recognition. This conventional technique is a coping method when a character cannot be extracted neatly due to color shift or color blur of a character reading device such as OCR, and the color component or the brightness component of the outline of the character is set to the color of the center of the character. It replaces the component and the brightness component.

特開2008−108063号公報Japanese Unexamined Patent Publication No. 2008-108063 特開2016−95763号公報Japanese Unexamined Patent Publication No. 2016-957763 特開2008−269509号公報Japanese Unexamined Patent Publication No. 2008-269509

図柄プレートでは、従来の文字検出、文字認識手法では、図柄の影響で文字認識を誤る場合があった。また、ラグビーワールドカップ向け図柄プレートでは、事業用のプレートが、従来の緑地に白文字が、白地のプレート枠だけ緑色となり、自家用、事業用の判断が従来手法では不可能となってきた。 In the design plate, in the conventional character detection and character recognition methods, character recognition may be erroneous due to the influence of the design. In addition, in the design plate for the Rugby World Cup, the plate for business use has white letters on the conventional green background and only the plate frame on the white background turns green, making it impossible to judge for private use or business use by the conventional method.

ナンバープレートに描かれている図柄がナンバープレートの文字に接触している場合に、文字認識の対象領域がノイズを含んだ領域となり誤認識する課題がある。また、ナンバープレートには自家用と事業用があるが、事業用のプレートがプレートの枠だけ緑色の場合、従来の緑地背景が事業用、白地が自家用と判断できない問題がある。 When the pattern drawn on the license plate is in contact with the characters on the license plate, the target area for character recognition becomes an area containing noise, and there is a problem of erroneous recognition. In addition, there are two types of license plates, one for private use and the other for business use. However, if only the frame of the plate for business use is green, there is a problem that it cannot be determined that the conventional green background is for business use and the white background is for private use.

そこで本発明では、図柄プレートにおいて高精度に認識できるともに、高精度な認識を維持することが可能となる。 Therefore, in the present invention, it is possible to recognize the symbol plate with high accuracy and maintain high accuracy recognition.

上記の課題を解決するために、本発明に係る車番認識装置は、ナンバープレートを撮影する撮像部と、前記ナンバープレートの領域を検出するプレート検出部と、前記ナンバープレートの領域における一連番号を検出する一連番号検出部と、前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、前記文字色判定部の結果から背景色を判定する背景色判定部、前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、前記色補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する。 In order to solve the above problems, the vehicle number recognition device according to the present invention has an imaging unit that captures a number plate, a plate detection unit that detects a region of the license plate, and a serial number in the region of the license plate. The sequence number detection unit to be detected, the peripheral position calculation unit that calculates the position of the character area around the sequence number from the size of the sequence number, and the color information of the character area of the detection result of the sequence number detection unit are detected. , The character color determination unit that determines the character color, the background color determination unit that determines the background color from the result of the character color determination unit, and the area obtained from the position calculated by the peripheral position calculation unit are the color images of the plate area. It was cut out after passing through a noise color detection unit that extracts color components other than the color of characters and a background, a color correction processing unit that corrects a region of the color component extracted by the noise color detection unit, and the color correction processing unit. It has a character recognition unit that recognizes characters using image data in the character area.

本発明によれば、図柄プレートにおける文字を高精度に認識し、高精度な認識を維持する車番認識装置の提供をすることが可能となる。 According to the present invention, it is possible to provide a vehicle number recognition device that recognizes characters on a design plate with high accuracy and maintains high accuracy recognition.

本発明の第1の実施例を説明する構成図である。It is a block diagram explaining the 1st Embodiment of this invention. 本発明の図柄補正処理の内部構成を説明する図である。It is a figure explaining the internal structure of the symbol correction processing of this invention. 文字色判定処理のフローを説明する図である。It is a figure explaining the flow of the character color determination processing. 文字色判定のH,S,I画像での処理例を説明する図である。It is a figure explaining the processing example in the H, S, I image of the character color judgment. 日本車のナンバープレートの色を説明する図である。It is a figure explaining the color of the license plate of a Japanese car. 日本車のナンバープレートの色を判断するフローを説明する図である。It is a figure explaining the flow of determining the color of the license plate of a Japanese car. 用途コードを例に、色補正する処理を説明する図である。It is a figure explaining the process of color correction using the use code as an example. 輝度情報を周囲の情報に置き換える処理を説明する図である。It is a figure explaining the process which replaces the luminance information with the ambient information. 用途コード領域の補正例を示す図である。It is a figure which shows the correction example of the use code area. 同様に用途コード領域の補正例である。Similarly, it is a correction example of the usage code area. 本発明の第2の実施例を説明する構成図である。It is a block diagram explaining the 2nd Example of this invention. ナンバープレート全体の中から文字色、背景色以外を補正する処理を説明する図である。It is a figure explaining the process of correcting other than a character color and a background color from the whole license plate. 仮ナンバーの判定処理を説明する図である。It is a figure explaining the determination process of a temporary number. 配送ナンバーの判定処理を説明する図である。It is a figure explaining the determination process of a delivery number. 本発明の第3の実施例を説明する構成図である。It is a block diagram explaining the 3rd Example of this invention. 濃淡画像での図柄補正処理のフローを説明する図である。It is a figure explaining the flow of the symbol correction processing in a shading image. 濃淡画像での図柄補正結果を示す図である。It is a figure which shows the symbol correction result in a shading image. ラグビーワールドカップ向け図柄ナンバーの事業用ナンバー判定処理フローを説明する図である。It is a figure explaining the business number determination processing flow of the symbol number for Rugby World Cup. 事業用プレート判定処理部を有する場合の車番認識処理の全体のフローを説明する図である。It is a figure explaining the whole flow of the vehicle number recognition processing in the case of having a business plate determination processing unit. 上記、事業用ナンバーの判定処理を説明する図である。It is a figure explaining the determination process of the above-mentioned business number. 事業用ナンバーの判定処理を説明する図である。It is a figure explaining the determination process of the business number. 従来の車番認識処理の全体のフローを説明する図である。It is a figure explaining the whole flow of the conventional car number recognition process. 文字認識のフローを説明する図である。It is a figure explaining the flow of character recognition. 従来の車番認識装置の構成を説明する図である。It is a figure explaining the structure of the conventional car number recognition device. 日本車のナンバーの種類を説明する図であるIt is a figure explaining the type of the number of a Japanese car.

本発明の説明の前に、従来のナンバー認識(特開平6−215293)の概要を説明する。図22に処理の流れを示す。図22では、車のプレート近傍は縦エッジが強いので縦エッジを検出し、これを2値画像とし、2値画像を成形処理することでプレート形状の候補が得られている。このほかにも様々な手法が公開されている。すなわち、入力画像からプレート候補画像を作成する200と、プレート候補を切り出す201と、プレート領域を最適なしきい値で2値化する202(この時点で自家用か事業用かが分かる)と、各物体のサイズをチェックするとともに並びをチェックし、一連番号だけを切り出す203と、一連番号の傾きを求め、文字が正立するように補正する204と、再度、2値化する205と、一連番号を検出する206と、一連番号の文字の大きさから中型プレートか大型かを判断し、それに応じて周囲の文字位置を計算する207と、から構成されている。
各領域が求まれば、それぞれの領域の画像を切り出し、識別器(ニューラルネットワークやSVM、ランダムフォレストなど、様々ある)で認識する。この例は一例で、他にもナンバープレート認識手法は色々と公開されている。
Prior to the description of the present invention, the outline of the conventional number recognition (Japanese Patent Laid-Open No. 6-215293) will be described. FIG. 22 shows the processing flow. In FIG. 22, since the vertical edge is strong in the vicinity of the plate of the car, the vertical edge is detected, this is used as a binary image, and the binary image is formed to obtain a plate shape candidate. In addition to this, various methods are open to the public. That is, 200 for creating a plate candidate image from an input image, 201 for cutting out a plate candidate, 202 for binarizing a plate area with an optimum threshold value (at this point, it can be known whether it is for private use or business use), and each object. 203 to cut out only the serial number by checking the size and the sequence, 204 to find the slope of the serial number and correct it so that the characters are upright, 205 to binarize again, and the serial number. It is composed of 206 to be detected and 207 to determine whether it is a medium-sized plate or a large-sized plate from the size of the characters of the serial number and calculate the surrounding character positions accordingly.
Once each region is obtained, an image of each region is cut out and recognized by a classifier (neural network, SVM, random forest, etc.). This example is just an example, and various other license plate recognition methods have been published.

図23は分類番号(車種コード)を認識する例を示す。文字色が常に白色(背景が黒)となるように変換し210、1桁目の領域を設定211、2桁目の領域を設定する212、3桁目の領域を設定する213。領域設定できれば、あらかじめ設定されているサイズに正規化し214、この画像データを用いて文字認識する。文字認識はニューラルネットワーク、SVM(Support Vector Machine),ランダムフォレスト、最近注目されているDeepLearningなどがある。この認識処理も所定領域を2値化処理し、2値画像で認識する方法もあるが、本発明では、濃淡画像を用いて認識する方式を例にする。 FIG. 23 shows an example of recognizing the classification number (vehicle type code). Convert so that the character color is always white (the background is black) 210, set the first digit area 211, set the second digit area 212, and set the third digit area 213. If the area can be set, it is normalized to a preset size 214, and characters are recognized using this image data. Character recognition includes neural networks, SVM (Support Vector Machine), random forest, and deep learning, which has been attracting attention recently. In this recognition process, there is also a method of binarizing a predetermined area and recognizing it with a binary image, but in the present invention, a method of recognizing using a shade image is taken as an example.

このような処理を実現するハードウエア構成を図24に示す。ナンバープレート認識装置10は、カメラ1(カラーカメラやモノクロカメラ、別名撮像部)から取り込んだ映像を記憶する画像メモリ2が複数枚備わっており、この画像メモリ2の画像を処理し、プレート検出部3でプレートを検出し、一連番号検出部4で一連番号を検出する。周辺位置算出部5では、一連番号の大きさから中型プレートか大型プレートかを判断し、一連番号の周辺の文字領域の座標に基づいて位置を計算する(日本のプレートでは、中型・大型があり、一連番号の位置に応じ陸運支局コード(漢字)、車種コード(小さい数字)、用途コード(ひらがな)の領域座標を計算して求めることが可能である)。文字認識部6では、切り出した文字領域の画像データを用いて文字認識する。CPU7は全体の流れを制御するものである。通信制御8は認識結果の送信や、パラメータの受信などを行う。 FIG. 24 shows a hardware configuration that realizes such processing. The license plate recognition device 10 is provided with a plurality of image memories 2 for storing images captured from a camera 1 (color camera, monochrome camera, also known as an imaging unit), processes images in the image memory 2, and plate detection unit. 3 detects the plate, and the serial number detection unit 4 detects the serial number. The peripheral position calculation unit 5 determines whether it is a medium-sized plate or a large-sized plate from the size of the serial number, and calculates the position based on the coordinates of the character area around the serial number (Japanese plates have medium-sized and large-sized plates). , It is possible to calculate the area coordinates of the Land Transport Office code (Kanji), vehicle type code (small number), and usage code (Hiragana) according to the position of the serial number). The character recognition unit 6 recognizes characters using the image data of the cut out character area. The CPU 7 controls the overall flow. The communication control 8 transmits the recognition result, receives the parameter, and the like.

日本のプレートには、図25のように登録自動車の自家用、事業用、軽自動車の自家用、事業用の4種類の色だけが存在する。濃淡で認識する場合、文字色が背景より暗ければ自家用、明るければ事業用と判断できる。 As shown in FIG. 25, Japanese plates have only four colors, one for private use of registered automobiles, one for commercial use, one for private use of light automobiles, and one for commercial use. When recognizing by shading, if the character color is darker than the background, it can be judged as private use, and if it is bright, it can be judged as business use.

このような従来の構成で、将来配布予定の図柄プレートが認識対象となると、図柄のカラー成分がノイズとなる。 With such a conventional configuration, when a symbol plate to be distributed in the future becomes a recognition target, the color component of the symbol becomes noise.

以下、本発明の実施例を図1により説明する。図22の従来の構成と同じ番号は同じ機能である。本発明では、図1のように一連番号検出部4の出力を用いて、図柄補正する図柄補正処理部9が備わる。図柄補正処理部9は、図2のように、文字色判定部20と背景色判定部21とノイズ色検出部215とノイズ色補正処理部22から構成される。 Hereinafter, examples of the present invention will be described with reference to FIG. The same numbers as in the conventional configuration of FIG. 22 have the same function. In the present invention, as shown in FIG. 1, a symbol correction processing unit 9 for correcting a symbol is provided by using the output of the serial number detection unit 4. As shown in FIG. 2, the symbol correction processing unit 9 includes a character color determination unit 20, a background color determination unit 21, a noise color detection unit 215, and a noise color correction processing unit 22.

文字色判定部20は、図1の一連番号検出部4で検出した一連場号の2値画像を用いて処理する。文字判定部20における処理フローを図3に示す。図3の処理フローでは、入力したカラーカメラの画像データをH,S,I画像に変換する処理30を含む。H,S,I画像は、それぞれHue angle (色相角度)、Saturation (彩度)、Intensity (強度)を表わす。R、G、B画像を用いても同様な効果があるが、本発明ではH,S,I画像で説明する。なおH,S,I画像についてはH,S,V画像とも別名言い、VはValue(強度)を表す。 The character color determination unit 20 processes using the binary image of the serial field number detected by the serial number detection unit 4 of FIG. The processing flow in the character determination unit 20 is shown in FIG. The processing flow of FIG. 3 includes a process 30 of converting the input color camera image data into H, S, and I images. The H, S, and I images represent Hue angle, Saturation, and Intensity, respectively. Similar effects can be obtained by using R, G, and B images, but this will be described by using H, S, and I images in the present invention. H, S, I images are also called H, S, V images, and V represents Value (intensity).

このH,S,I画像に対し、一連番号の2値画像とそれぞれAND処理し、一連番号領域のH,S,I画像を作成する31。一連番号でANDしたH,S,I画像の頻度分布(ヒストグラム)を求める処理32を含む。また、色ごとに定めたしきい値を設定する処理33、及びしきい値に応じ文字色を判定する処理34を含む。 The H, S, I image is subjected to AND processing with the binary image of the serial number, respectively, to create an H, S, I image of the serial number region31. The process 32 of obtaining the frequency distribution (histogram) of the H, S, I images ANDed by the serial number is included. Further, it includes a process 33 for setting a threshold value determined for each color and a process 34 for determining a character color according to the threshold value.

処理フロー図3の具体的な例を図4に示す。プレート領域画像40に対し、一連番号を検出して、その2値画像とH,S,I画像でAND処理41をする。H画像の例が42であり、その文字領域のヒストグラムを表示している。同様にS画像の例が43、I画像の例が44である。この3つのヒストグラムを使って色判定を実行する。図4の例では事業用の車(背景が文字より暗い)なので、ヒストグラムを用いて黄色文字か白文字かを判定できれば良い。 Processing flow A specific example of FIG. 3 is shown in FIG. A serial number is detected for the plate area image 40, and AND processing 41 is performed on the binary image and the H, S, I images. An example of the H image is 42, and a histogram of the character area is displayed. Similarly, the example of the S image is 43, and the example of the I image is 44. Color determination is performed using these three histograms. In the example of FIG. 4, since the vehicle is for business use (the background is darker than the characters), it is sufficient if the histogram can be used to determine whether the characters are yellow or white.

文字色判定しきい値は、白色の場合、H画像のしきい値を24〜105とし、S画像のしきい値は0〜90とする。緑色の場合、H画像のしきい値を10〜126とし、S画像のしきい値を0〜170とする。黄色の場合、H画像のしきい値を50〜150とし、S画像のしきい値は0〜224とする。黒色の場合、H画像のしきい値を25〜150とし、S画像のしきい値は0〜175とする。図4のH,S画像の分布を見ると、H画像のピークは約130、S画像のピークは約110であり、事業用と分かっているので、文字色は黄色と判断出来る。 When the character color determination threshold value is white, the threshold value of the H image is 24 to 105, and the threshold value of the S image is 0 to 90. In the case of green, the threshold value of the H image is 10 to 126, and the threshold value of the S image is 0 to 170. In the case of yellow, the threshold value of the H image is 50 to 150, and the threshold value of the S image is 0 to 224. In the case of black, the threshold value of the H image is 25 to 150, and the threshold value of the S image is 0 to 175. Looking at the distribution of the H and S images in FIG. 4, the peak of the H image is about 130 and the peak of the S image is about 110, and since it is known that it is for business use, it can be judged that the character color is yellow.

なお、これらのしきい値は、例であり対象画像に応じ変更される場合がある。また、H画像は0〜360度で表わされる円形の指数であるが、画像処理では8ビット画像が用いられるため0〜255の値に変換される(始点の0度をどこに決めるかによっても変化する)。また、S画像は0〜1の値を0〜255に変換している。I画像は輝度情報であるので、0〜255となる。また、カメラのカラー感度によって、上記しきい値は変更されるので一例である。 Note that these threshold values are examples and may be changed according to the target image. The H image is a circular exponent expressed from 0 to 360 degrees, but since an 8-bit image is used in image processing, it is converted to a value of 0 to 255 (it also changes depending on where the starting point of 0 degrees is determined). To do). Further, in the S image, the value of 0 to 1 is converted to 0 to 255. Since the I image is luminance information, it is 0 to 255. Further, the above threshold value is changed depending on the color sensitivity of the camera, which is an example.

ここで、日本車のナンバープレートの色は4種類しかない。これをプレートサイズ、自家用、事業用、登録車、軽自動車で区分けすると、図5のように、中型で自家用車の場合は、登録車か軽自動車であるため、文字色は緑か黒である。その背景色は白か黄色である。また、中型で事業用の場合は、登録車か軽自動車で文字色が白か黄色である。その背景色は緑か黒である。 Here, there are only four types of license plate colors for Japanese cars. When this is divided into plate size, private use, business use, registered car, and light car, as shown in Fig. 5, in the case of a medium-sized private car, since it is a registered car or a light car, the character color is green or black. .. Its background color is white or yellow. In the case of medium-sized vehicles for business use, the text color is white or yellow for registered vehicles or light vehicles. Its background color is green or black.

一方、大型プレートの場合は自家用車であれば文字色は緑色しかなく、事業用であれば白色となる。すなわち、大型の場合は、自家用か、事業用が分かれば文字色は特定できる。 On the other hand, in the case of a large plate, if it is a private car, the character color is only green, and if it is for business use, it is white. That is, in the case of a large size, the character color can be specified if it is known whether it is for private use or for business use.

これを図6で示すと、大型か中型かを判定して50(この処理は図1の一連番号検出部4で実行できる)、大型ならば、自家用か事業用を判定して51(この処理も図1の一連番号検出部4で文字色が背景より明るいか、暗いかで判断出来る)、事業用なら白文字、自家用なら緑文字と決まる。中型プレートの場合、自家用か事業用かを判定し52、事業用の場合は文字色を判定し53、白文字か黄色文字かを判定する。自家用の場合、文字色は黒か、緑であるが、H,S,I画像で文字色を判定できれば、緑文字、黒文字かが分かる。H.S,I画像で緑、黒の色判定は区別が難しい場合は、背景色を背景色判定部21で判定する54。その結果、白であれば登録車の自家用車。黄色であれば軽自動車の自家用車となる。以上のような処理を実行すれば、文字色判定、背景色判定が可能となる。 When this is shown in FIG. 6, it is determined whether it is large or medium size and 50 (this process can be executed by the serial number detection unit 4 in FIG. 1), and if it is large, it is determined whether it is for private use or business use and 51 (this process). The serial number detection unit 4 in Fig. 1 can determine whether the character color is brighter or darker than the background), white characters for business use, and green characters for private use. In the case of a medium-sized plate, it is determined whether it is for private use or business use 52, in the case of business use, the character color is determined 53, and it is determined whether it is white characters or yellow characters. In the case of private use, the character color is black or green, but if the character color can be determined from the H, S, I images, it is possible to know whether the character is green or black. When it is difficult to distinguish between the green and black colors in the H.S.I image, the background color is determined by the background color determination unit 21 54. As a result, if it is white, it is a private car of the registered car. If it is yellow, it will be a private car of a light car. By executing the above processing, the character color determination and the background color determination can be performed.

大型/中型判定は、図1の一連番号検出部4で文字検出したときに判断できており、自家用、事業用の判断も同じく一連番号検出部4で判断出来ている(文字検出時にプレートの全体のヒストグラムを求めることで、頻度が多いのが暗い方にあるか、明るい方にあるかで自家用、事業用の判断が可能である。もし、判断を間違えたとしても、一連番号が検出できない場合は反転画像を作成し一連番号を検出するので、一連番号が検出できれば、プレートサイズ(大型、中型)、プレート種別(自家用、事業用)は求まっている)。 The large / medium size determination can be made when the character is detected by the serial number detection unit 4 in FIG. 1, and the judgment for private use and business use can also be made by the serial number detection unit 4 (the entire plate at the time of character detection). By finding the histogram of, it is possible to make a judgment for private use or business use depending on whether the frequency is in the dark side or the bright side. Even if the judgment is wrong, the serial number cannot be detected. Creates an inverted image and detects the sequence number, so if the sequence number can be detected, the plate size (large and medium size) and plate type (for private use and business use) can be obtained).

以上の処理で文字色判定が実行でき、背景色も特定できる。 With the above processing, the character color determination can be executed and the background color can be specified.

図2のノイズ色補正部22は、周辺位置算出部5で求めた領域において、文字色判定部20、背景色判定部21によって求めた文字色と背景色以外のノイズ色をノイズ色検出部215で検出し、その領域のH,S,I画像を周囲のH,S,I画像に置き換える処理である。この時、図1の周辺位置算出部5によって、一連番号の座標から、分類番号(小文字の数字)、陸運支局コード(漢字)、用途コード(ひらがな)の領域は計算で求まっているので、それぞれの領域に限定してノイズ色補正処理部22が補正する(プレート画像領域全体の補正を実行しても構わない)。 In the area obtained by the peripheral position calculation unit 5, the noise color correction unit 22 of FIG. 2 detects the character color and the noise color other than the background color obtained by the character color determination unit 20 and the background color determination unit 21 in the noise color detection unit 215. It is a process of detecting with and replacing the H, S, I image of the area with the surrounding H, S, I image. At this time, the peripheral position calculation unit 5 in FIG. 1 calculates the area of the classification number (lowercase number), the land transportation branch code (kanji), and the usage code (hiragana) from the coordinates of the serial number. The noise color correction processing unit 22 corrects the area only in the above area (the entire plate image area may be corrected).

図7に用途コード領域の補正の例を示す。この画像60は自家用車の登録車両(背景が文字より明るく、背景が黄色で無い)なので、緑文字、白背景であるため、緑、白以外の色を検出し補正する。用途コード領域全体のH画像のヒストグラム(濃度頻度分布)を求め61、この頻度分布で文字色(緑)、背景色(白)以外の濃度の部分を検出64し、この濃度値を背景のH画像の代表値(ピーク濃度あるいは平均濃度)に変換する。同様に用途コード全体のS画像のヒストグラムを求め62、この頻度分布で文字色、背景色以外の濃度の部分を検出65し、S画像の代表値に変換する。濃度の変換は画像処理の濃度変換処理(入力濃度のテーブルと出力濃度のテーブルを用意し、そのテーブルに応じ、濃度変換する処理)を用いれば良い。図7のH画像については、約0〜90と約170〜255までは入力、出力の濃度を同じにし、約90〜170の濃度の出力濃度を代表濃度に設定すれば良い。 FIG. 7 shows an example of correction of the usage code area. Since this image 60 is a registered vehicle of a private car (the background is brighter than the characters and the background is not yellow), the background is green characters and white background, so colors other than green and white are detected and corrected. Histogram (density frequency distribution) of the entire H image of the entire usage code area is obtained 61, and the density part other than the character color (green) and background color (white) is detected by this frequency distribution 64, and this density value is used as the background H. Convert to the representative value (peak density or average density) of the image. Similarly, a histogram of the S image of the entire usage code is obtained 62, and a portion having a density other than the character color and the background color is detected 65 by this frequency distribution and converted into a representative value of the S image. The density conversion may be performed by using the density conversion process of image processing (a process of preparing an input density table and an output density table and converting the density according to the tables). For the H image of FIG. 7, the input and output densities may be the same for about 0 to 90 and about 170 to 255, and the output density of about 90 to 170 may be set as the representative density.

I画像63は周辺濃度で置き換える。周辺濃度に置き換える処理として、例えば図8で示す処理がある。図8にI画像の周辺濃度への置き換え処理のフローを示す。元画像80を水平方向にMAXフィルタ(数画素の最大値を中心画素の濃度と置き換える処理)をN回実行すると、文字領域や、ノイズ成分の輝度情報は他の輝度情報に置き換えできる81。一方、元画像のノイズ領域を検出した除外領域画像82(文字色と背景色以外の領域)とMAXフィルタの画像81をAND処理83することで、補正する濃度画像ができる84(白色が置き換える濃度を示す。黒は置き換えない領域)。更に、除外領域82の反転画像を作成し85、この画像と元画像80のAND処理を実行し86、元の画像の除外以外の領域の濃度を検出しておく87。そして埋める濃度画像84と埋めない画像87でOR処理88することで、補正画像89が作成できる。図8の89では、補正濃度が強調されているように見えるが、実際は文字の背景に近い濃度になる。 I image 63 is replaced with the peripheral density. As a process of replacing with the peripheral concentration, for example, there is a process shown in FIG. FIG. 8 shows the flow of the replacement process for the peripheral density of the I image. When the original image 80 is horizontally executed by the MAX filter (processing of replacing the maximum value of several pixels with the density of the central pixel) N times, the luminance information of the character area and the noise component can be replaced with other luminance information 81. On the other hand, by performing AND processing 83 between the exclusion area image 82 (the area other than the character color and the background color) in which the noise area of the original image is detected and the image 81 of the MAX filter, a density image to be corrected can be obtained 84 (the density replaced by white). Indicates. Black is the area not to be replaced). Further, an inverted image of the exclusion region 82 is created 85, AND processing of this image and the original image 80 is executed 86, and the density of the region other than the exclusion of the original image is detected 87. Then, the corrected image 89 can be created by performing the OR process 88 on the filled density image 84 and the unfilled image 87. In 89 of FIG. 8, the correction density seems to be emphasized, but the density is actually close to the background of the characters.

補正後の結果を図9に示す。薄い青が少し残っているがピンクの色成分は完全に除去できている90。これを模式的に示すと、図10のような補正となる。元画像100を補正すると、101のような画像となる。これによって、文字認識が問題なく可能となる。用途コードの変換例を示したが、陸運支局コード、分類番号も同様な処理で実行する。 The corrected result is shown in FIG. A little light blue remains, but the pink color component has been completely removed 90. When this is schematically shown, the correction is as shown in FIG. When the original image 100 is corrected, an image like 101 is obtained. This enables character recognition without any problem. An example of conversion of the usage code is shown, but the land transportation branch code and classification number are also executed in the same process.

本実施例によれば、一連番号を切り出し、文字色、背景色を特定し、その色以外を補正することで図柄のナンバープレートでも高精度に認識できる効果がある。また、本実施例の副産物として、一連番号の色検出、背景色の色判定を実施することで、軽自動車の判定が容易となる。すなわち、文字色が黒で、背景領域に黄色が多い場合、自家用の軽自動車、文字色が黄色で、背景領域に黒が多い場合は、事業用の軽自動車と判定できる。モノクロ画像では、軽自動車の判定は困難であるが(用途コードと、分類番号の組み合わせで判断可能であるが、古い車の分類番号が2桁の場合、この組み合わせでは判断できない場合がある)、カラー画像を利用することで軽自動車の判定が可能となる効果がある。 According to this embodiment, by cutting out a serial number, specifying a character color and a background color, and correcting other colors, there is an effect that even a license plate of a pattern can be recognized with high accuracy. Further, as a by-product of this embodiment, the color detection of the serial number and the color determination of the background color facilitate the determination of the light vehicle. That is, when the character color is black and the background area has a lot of yellow, it can be determined as a private light vehicle, and when the character color is yellow and the background area has a lot of black, it can be determined as a business light vehicle. Although it is difficult to judge a mini vehicle in a monochrome image (it can be judged by the combination of the usage code and the classification number, but if the classification number of the old car is 2 digits, it may not be possible to judge by this combination). Using a color image has the effect of making it possible to determine a light vehicle.

実施例1では、一連番号の切り出しには図柄が影響しないことを前提に処理を説明したが、実際には、一連番号の近傍に図柄が来る場合が想定される。この場合、実施例1では一連番号の検出に失敗する。一連番号の検出に失敗すると文字色判定ができないため、図柄色を補正ができなくなる。このため、図11のプレート検出部3の情報を用いて、第2の図柄補正処理部11を設ける。 In the first embodiment, the process has been described on the premise that the symbol does not affect the cutting out of the serial number, but in reality, it is assumed that the symbol comes in the vicinity of the serial number. In this case, in the first embodiment, the detection of the serial number fails. If the detection of the serial number fails, the character color cannot be determined, and the pattern color cannot be corrected. Therefore, the second symbol correction processing unit 11 is provided by using the information of the plate detection unit 3 of FIG.

第2の図柄補正処理部11は、プレート領域を切り出したあと(図1のプレート検出部3の結果)、日本車には基本的に緑、黒、白、黄色しかナンバープレートの色は無いため、緑、黒、白、黄色以外のカラー成分を検出し、その領域のH,S,I画像を補正するものである。この時、文字色のカラー成分が補正されてしまうと文字検出に影響が出るため、文字色、背景色から離れている色成分のみを除去する。実施例1のように詳細なカラー成分除去は不要で、大まかに補正できれば、一連番号は大きな文字であるため、一連番号検出には問題がない(文字に非常に近い色が文字近傍にあると人間でも文字認識が難しくなるため、使用されない)。 After the plate area is cut out by the second symbol correction processing unit 11 (result of the plate detection unit 3 in FIG. 1), Japanese cars basically have only green, black, white, and yellow color plates. , Green, black, white, and yellow are detected, and the H, S, and I images in that area are corrected. At this time, if the color component of the character color is corrected, the character detection is affected, so only the color component that is far from the character color and the background color is removed. If detailed color component removal as in Example 1 is not necessary and can be roughly corrected, there is no problem in detecting the sequence number because the sequence number is a large character (when a color very close to the character is near the character). It is not used because it makes character recognition difficult even for humans).

図12に処理の流れを説明する。実際の画像はカラー画像であるが、明細書ではカラー画像が表示できないため濃淡で表わす。図11のプレート検出部3で検出したプレート領域に対し、カラー画像をH,S,I画像120に変換し、緑、黒、白、黄色以外の色成分を検出する121。 The flow of processing will be described with reference to FIG. The actual image is a color image, but since the color image cannot be displayed in the specification, it is represented by shading. A color image is converted into an H, S, I image 120 with respect to the plate region detected by the plate detection unit 3 of FIG. 11, and color components other than green, black, white, and yellow are detected 121.

この領域をH画像はH画像の代表値(プレート領域全体の代表値)で補正し、S画像はS画像の代表値(プレート領域全体の代表値)、I画像はI画像の代表値(平均輝度より明るい濃度のピーク値)で置き換えることで、補正画像122を作成でき、一連番号の検出が可能である。H,Sの代表値は平均濃度かピーク濃度で求めることができる。本処理はプレート全体の領域について処理する。 This region is corrected by the representative value of the H image (representative value of the entire plate region) for the H image, the representative value of the S image (representative value of the entire plate region) for the S image, and the representative value of the I image (average) for the I image. The corrected image 122 can be created by replacing the peak value with a density brighter than the brightness), and the serial number can be detected. The representative values of H and S can be obtained by the average concentration or the peak concentration. This treatment treats the entire area of the plate.

本実施例によれば、一連番号の近傍に図柄があってもカラー成分を補正することで一連番号を正しく検出することが可能となる。 According to this embodiment, even if there is a symbol in the vicinity of the serial number, the serial number can be detected correctly by correcting the color component.

なお、一般文書の場合、文字色、背景色をあらかじめ設定することで、文字色、背景色以外を検出し、上記と同様な補正処理で、文字以外の背景色を補正することも可能である。 In the case of general documents, it is possible to detect other than the character color and background color by setting the character color and background color in advance, and to correct the background color other than the character by the same correction process as above. ..

また、図13のように、プレート全体の画像130(黒く見える斜線の領域は赤色画像である)のH,S,I画像を用いて、赤色成分を検出し131(背景より少し明るい領域)、この画像を2値化して成型処理する132(プレート領域における検出された赤色成分の領域について膨張、収縮を数回繰り返すことで成型できる)。この領域の色成分H,S,Iを図12と同様に補正することで、133のような画像が得られる。この結果、臨時運行許可番号標(以下、仮ナンバーと称す)でも数字の認識が可能となる。この赤成分の形状が斜めになっている場合(2値画像の直線近似で右上がりの直線なら仮ナンバー。あるいは、2値画像の右上の水平座標位置と左下の水平位置座標を比較し、左下が小さければ仮ナンバー)仮ナンバーと判定可能となる。なお、通常のプレートと仮ナンバーでは数字の周辺の文字配列が異なる。図13では、左に地名、右下に地名があり、仮ナンバーの場合はそこの位置を認識することで、地名の認識も可能である(ただし、通常のプレートの地名は水平になっているので、識別器の学習が必要)。 Further, as shown in FIG. 13, the red component was detected using the H, S, and I images of the image 130 of the entire plate (the shaded area that looks black is the red image), and 131 (the region slightly brighter than the background). This image is binarized and molded 132 (it can be molded by repeating expansion and contraction of the detected red component region in the plate region several times). By correcting the color components H, S, and I in this region in the same manner as in FIG. 12, an image like 133 can be obtained. As a result, numbers can be recognized even with temporary license plates (hereinafter referred to as temporary numbers). When the shape of this red component is slanted (a tentative number if it is a straight line that rises to the right in a straight line approximation of a binary image. Or, compare the horizontal coordinate position of the upper right of the binary image with the horizontal coordinate of the lower left, and lower left. If is small, it can be determined as a temporary number) temporary number. In addition, the character arrangement around the numbers is different between the normal plate and the temporary number. In FIG. 13, there is a place name on the left and a place name on the lower right, and in the case of a temporary number, it is possible to recognize the place name by recognizing the position (however, the place name on the normal plate is horizontal). Therefore, it is necessary to learn the classifier).

また、図14のようにプレート領域画像140から赤色検出した画像141を作成し、これを2値化した画像142を作成し、この画像の大きさがプレートサイズであれば、回送運行許可番号標(以下、回送ナンバーと称す)であると判断出来る。 Further, as shown in FIG. 14, an image 141 detected in red from the plate area image 140 is created, and an image 142 obtained by binarizing the image 142 is created. (Hereinafter referred to as the forwarding number).

本実施例によれば、赤色成分を検出し、その形状をチェックすることで、仮ナンバーか、回送ナンバーか、通常ナンバーかの判断が可能となるとともに、赤色領域のカラー成分を補正することで、仮ナンバーでも一連番号の検出が可能となり、一連番号の文字認識が可能となる。 According to this embodiment, by detecting the red component and checking its shape, it is possible to determine whether it is a temporary number, a forwarding number, or a normal number, and by correcting the color component in the red region. , The serial number can be detected even with a temporary number, and the characters of the serial number can be recognized.

実施例1、2はカラー画像での補正を利用しているが、文字色(たとえば緑色)に近い色を除去することは難しい。このため、文字認識する前処理に濃淡の補正処理を用いる。 Although Examples 1 and 2 utilize correction in a color image, it is difficult to remove a color close to a character color (for example, green). Therefore, the shading correction process is used as the preprocessing for character recognition.

具体的には、図15のように、周辺位置算出部5の情報から、認識する領域の濃淡補正を実施する第3の図柄補正処理部12を設ける。第三の図柄補正処理部は、領域決定部と濃度補正部から構成されている。 Specifically, as shown in FIG. 15, a third symbol correction processing unit 12 that corrects the shading of the area to be recognized from the information of the peripheral position calculation unit 5 is provided. The third symbol correction processing unit is composed of a region determination unit and a density correction unit.

文字認識領域が求まった後、その領域の濃度値を所定の濃度以下は0の濃度に置き換える処理を領域決定部で実行する(ノイズ的な濃度を削除する処理)。この濃度値を濃度補正部で変化させて認識させ、認識できれば終了する流れとなる。第3の図柄補正処理部12における処理フローを図16に示す。3回ループ処理する160。ループが1回目の場合、基準の濃度値(たとえば、領域の平均濃度の1/3)以下の濃度を0に変換し161、文字認識部164で文字認識し、その結果を認識結果格納部165へ格納する。ループ2回目は、基準濃度値の2倍の濃度以下を0の濃度に変換し162、同様に処理する。ループ3回は基準濃度の3倍の濃度以下を0に変換する163。 After the character recognition area is obtained, the area determination unit executes a process of replacing the density value of the area with a density of 0 when the density is equal to or less than a predetermined density (a process of deleting a noise-like density). This density value is changed by the density correction unit to be recognized, and if it can be recognized, the flow ends. FIG. 16 shows a processing flow in the third symbol correction processing unit 12. 160 to loop 3 times. When the loop is the first time, the density below the reference density value (for example, 1/3 of the average density of the area) is converted to 0, the character is recognized by the character recognition unit 164, and the result is recognized by the recognition result storage unit 165. Store in. In the second loop, a concentration less than twice the reference concentration value is converted to a concentration of 0, and 162 is processed in the same manner. The loop 3 times converts the concentration less than 3 times the reference concentration to 0 163.

ループが終わると、認識結果採用部にてループごとに求めた認識結果と確信度(評価値)を比較し、確信度が最も高い認識結果を採用する(文字認識後に、確信度が所定値以上ならループを抜けて終了しても良い)。 When the loop ends, the recognition result adoption section compares the recognition result obtained for each loop with the certainty (evaluation value), and adopts the recognition result with the highest certainty (after character recognition, the certainty is equal to or higher than the predetermined value). Then you can exit the loop and end).

このようにノイズ成分の濃度を除去しながら認識することで、図17のように元画像170に対し、最初はノイズがあるため、文字認識領域が大きく171、認識できないが、濃度値を削除することで適正な領域に文字認識領域が設定されるため172、正しい答えが得られる。本方式の着目点は、図柄の色成分を濃淡で表わすと、文字の濃度より暗い濃度であることである。もし、文字色より明るい濃度の図柄があれば補正することは困難である。 By recognizing while removing the density of the noise component in this way, as shown in FIG. 17, since there is noise at first with respect to the original image 170, the character recognition area is large 171 and cannot be recognized, but the density value is deleted. As a result, the character recognition area is set in the appropriate area, so that the correct answer can be obtained 172. The point of interest of this method is that the color component of the pattern is darker than the character density when expressed in shades. If there is a pattern with a density brighter than the character color, it is difficult to correct it.

本実施例によれば、カラー補正処理で完全に補正できない色の図柄があっても、濃淡画像の補正処理でノイズの画像を削除しながら認識できるので、高い認識率が得られる。なお、ループ処理の回数や、ノイズと判定する濃度の倍率は適時変更してもかまわない。 According to this embodiment, even if there is a color pattern that cannot be completely corrected by the color correction processing, it can be recognized while deleting the noise image by the shading image correction processing, so that a high recognition rate can be obtained. The number of loop processes and the magnification of the density determined as noise may be changed as appropriate.

ラグビーワールドカップ向けの図柄ナンバープレートでは、事業用のプレートの背景が緑で無く、背景は自家用車と同じ白色で、プレートに描かれている縁だけが緑色となることになっている。この場合、図6の自家用か事業用かの判断を用いると間違ってしまう。このため、事業用の判定を変更する必要がある。図18のフローの自家用と判断した場合に、ラグビー図柄の事業用判定処理部180を追加する。すなわち具体的処理フローは図19のようになる。事業用判定処理部180で自家用か事業用を判断した結果をバスを通じCPUで結果を格納し、プレート認識結果とともに、通信部で結果を送信する。事業用判定処理180は、図20のように、プレートの一連番号を検出する190と、一連番号検出時に中型・大型の判定ができているので一連番号の文字ピッチなどからプレート枠の矩形座標が算出可能である191から、このプレート枠の矩形座標の内側に数画素の幅を持たせて領域を設定し192、この領域の色成分を求める。この領域の色が緑に近い場合は、事業用ナンバーであると判定する。あるいは、算出したプレート枠の面積と、白地の面積の比率を求め、白地が所定値以下であれば、事業用ナンバーと判断できる。図20のフローを更に詳細にしたものが図21である。図21において一連番号検出201までは一連番号検出部で実行し、プレート枠位置算出202以降は図19の事業用プレート判定部で処理する。 In the design license plate for Rugby World Cup, the background of the business plate is not green, the background is the same white as the private car, and only the edge drawn on the plate is green. In this case, it would be wrong to use the judgment of whether it is for private use or business use in FIG. Therefore, it is necessary to change the judgment for business. When it is determined that the flow of FIG. 18 is for private use, the business determination processing unit 180 of the rugby symbol is added. That is, the specific processing flow is as shown in FIG. The business judgment processing unit 180 determines whether it is for private use or business use, stores the result in the CPU via the bus, and transmits the result together with the plate recognition result in the communication unit. As shown in FIG. 20, in the business judgment process 180, 190 for detecting the serial number of the plate and medium / large size can be determined at the time of detecting the serial number, so that the rectangular coordinates of the plate frame can be determined from the character pitch of the serial number and the like. From 191 which can be calculated, a region is set with a width of several pixels inside the rectangular coordinates of this plate frame, and the color component of this region is obtained. If the color of this area is close to green, it is judged to be a business number. Alternatively, the ratio of the calculated area of the plate frame to the area of the white background is obtained, and if the white background is equal to or less than a predetermined value, it can be determined to be a business number. A more detailed version of the flow of FIG. 20 is shown in FIG. In FIG. 21, the serial number detection 201 is executed by the serial number detection unit, and the plate frame position calculation 202 and thereafter are processed by the commercial plate determination unit of FIG.

本実施例によれば、ラグビーワールドカップ向け図柄プレートの特殊な事業用プレートでも自家用、事業用の判定が可能となる。 According to this embodiment, even a special business plate of a design plate for the Rugby World Cup can be judged for private use or business use.

1 カメラ
2 画像メモリ
3 プレート検出部
4 連番号検出部
5 周辺位置算出部
6 文字認識部
9 図柄補正処理部
11 第2の図柄補正処理部
12 第3の図柄補正処理部
1 Camera 2 Image memory 3 Plate detection unit 4 Serial number detection unit 5 Peripheral position calculation unit 6 Character recognition unit 9 Symbol correction processing unit 11 Second symbol correction processing unit 12 Third symbol correction processing unit

Claims (8)

ナンバープレートを撮影する撮像部と、
前記ナンバープレート領域を検出するプレート検出部と、
前記ナンバープレート領域における一連番号を検出する一連番号検出部と、
前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、
前記一連番号検出部及び前記周辺位置出部の出力を用いて図柄補正を行う図柄補正処理部と、
前記図柄補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する車番認識装置であって、
前記図柄補正処理部は、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、
前記文字色判定部の結果から背景色を判定する背景色判定部と、
前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、
前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、を有し、
前記色補正処理部は、前記プレート領域における色成分は前記一連番号以外の領域を色成分の平均値又は色成分の頻度が最も多い色成分に置き換え、前記プレート領域における輝度成分は前記一連番号以外の領域を色成分の平均値又は頻度が最も多い輝度値に置き換えることを特徴とする車番認識装置。
An imaging unit that shoots license plates and
A plate detection unit that detects the license plate region and
A serial number detection unit that detects serial numbers in the license plate region, and
A peripheral position calculation unit that calculates the position of the character area around the serial number from the size of the serial number, and
The symbol correction processing unit for performing symbol correction using the output of the sequence number detection unit and the peripheral position calculation output unit,
A vehicle number recognition device having a character recognition unit that recognizes characters using image data of a character area cut out after passing through the design correction processing unit.
The symbol correction processing unit detects the color information of the character area of the detection result of the serial number detection unit, and determines the character color, and the character color determination unit.
A background color determination unit that determines the background color from the results of the character color determination unit, and
For the area obtained from the position calculated by the peripheral position calculation unit, a noise color detection unit that extracts color components other than the character and background colors in the color image of the plate area, and
Have a, a color correction processing unit for correcting the region of the extracted color component in the noise color detection unit,
In the color correction processing unit, the color component in the plate region replaces the region other than the serial number with the average value of the color component or the color component having the highest frequency of the color component, and the luminance component in the plate region is other than the serial number. vehicle number recognition device average value or frequency of the color component is characterized Rukoto replaced highest luminance value regions of.
請求項に記載の車番認識装置であって、
前記色補正処理部は、一連番号以外の領域の輝度情報を伝播させて前記輝度成分を置き換える処理とすることを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1.
The color correction processing unit is a vehicle number recognition device characterized in that it performs a process of propagating brightness information in a region other than the serial number to replace the brightness component.
請求項1又は2に記載の車番認識装置であって、
前記撮像部はカラーカメラであり、前記ノイズ色検出部は前記プレート検出部で検出したプレート領域全体の黒、緑、白若しくは黄色のいずれか又は複数の色以外のカラー成分を検出することを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1 or 2.
The imaging unit is a color camera, and the noise color detecting unit detects a color component other than black, green, white, yellow, or a plurality of colors of the entire plate region detected by the plate detecting unit. Vehicle number recognition device.
請求項1に記載の車番認識装置であって、
前記プレート検出部で前記プレート領域を切り出した後に図柄補正を行う第二図柄補正処理部を備えることを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1.
A vehicle number recognition device including a second symbol correction processing unit that performs symbol correction after cutting out the plate region by the plate detection unit.
請求項に記載の車番認識装置であって、
前記撮像部はカラーカメラであり、
前記第二図柄補正処理部は、赤成分を検出する赤色検出処理部と、
赤色領域の形状を判定する赤色形状判定部と、
赤色形状が斜線の場合に、赤色領域のカラー成分を補正する色補正処理部と、を有することを特徴とする車番認識装置。
The vehicle number recognition device according to claim 4.
The imaging unit is a color camera.
The second symbol correction processing unit includes a red detection processing unit that detects a red component and a red detection processing unit.
A red shape determination unit that determines the shape of the red region,
A vehicle number recognition device characterized by having a color correction processing unit that corrects a color component in a red region when the red shape is a diagonal line.
請求項1又はに記載の車番認識装置であって、
前記文字認識部の文字認識結果を格納する認識結果格納部と、
前記文字認識結果と文字認識度合いを評価する認識評価値を比較し、文字認識度が高い前記認識結果を採用する認識結果採用部と、
前記周辺位置算出部の情報から認識する領域の濃淡補正を行う第三図柄補正処理部と、を備え、
前記第三図柄補正処理部は、前記周辺位置算出部で求めた領域の画像に対し、文字を明るく、背景を暗くする濃度変換を実行し、認識可能な文字が存在するときの濃度の始点及び終点を求める領域決定部と、
文字認識可能な濃度の最低値を段階的に変更する濃度補正部と、を有することを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1 or 4.
A recognition result storage unit that stores the character recognition result of the character recognition unit,
A recognition result adoption unit that compares the character recognition result with a recognition evaluation value that evaluates the character recognition degree and adopts the recognition result having a high character recognition degree.
It is provided with a third symbol correction processing unit that corrects the shading of the area recognized from the information of the peripheral position calculation unit.
The third symbol correction processing unit executes density conversion to brighten the characters and darken the background of the image in the area obtained by the peripheral position calculation unit, and performs density conversion to obtain a start point of density and a density when recognizable characters are present. The area determination unit for finding the end point and
A vehicle number recognition device characterized by having a density correction unit that gradually changes the minimum value of a density that can recognize characters.
請求項1又はに記載の車番認識装置であって、
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート枠内側に領域を設定し、前記領域の色成分が緑色でのとき事業用プレートと判断する事業用判定処理部と、を有することを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1 or 4.
Equipped with a business judgment processing unit that judges that it is a business plate
The business determination processing unit includes a plate position calculation unit that calculates the coordinates of the plate frame determined from the position of the serial number, and the plate position calculation unit.
A vehicle number recognition device comprising a business determination processing unit that sets an area inside the plate frame and determines that the area is a business plate when the color component of the area is green.
請求項1又はに記載の車番認識装置であって、
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート位置算出部で求めたプレート枠面積と前記プレート枠内での白領域の面積との比率が、所定の比率より小さい場合に事業用プレートと判断する事業用判定部と、を有することを特徴とする車番認識装置。
The vehicle number recognition device according to claim 1 or 4.
Equipped with a business judgment processing unit that judges that it is a business plate
The business determination processing unit includes a plate position calculation unit that calculates the coordinates of the plate frame determined from the position of the serial number, and the plate position calculation unit.
Having a business determination unit that determines that the plate is a business plate when the ratio of the plate frame area obtained by the plate position calculation unit to the area of the white area in the plate frame is smaller than a predetermined ratio. A featured vehicle number recognition device.
JP2017011786A 2017-01-26 2017-01-26 Car number recognition device Active JP6890427B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017011786A JP6890427B2 (en) 2017-01-26 2017-01-26 Car number recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017011786A JP6890427B2 (en) 2017-01-26 2017-01-26 Car number recognition device

Publications (2)

Publication Number Publication Date
JP2018120445A JP2018120445A (en) 2018-08-02
JP6890427B2 true JP6890427B2 (en) 2021-06-18

Family

ID=63044412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017011786A Active JP6890427B2 (en) 2017-01-26 2017-01-26 Car number recognition device

Country Status (1)

Country Link
JP (1) JP6890427B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6945490B2 (en) * 2018-04-27 2021-10-06 三菱電機株式会社 License plate classification device, license plate classification system and license plate classification program
CN110956169A (en) * 2018-09-27 2020-04-03 杭州海康威视数字技术股份有限公司 License plate recognition method and device and electronic equipment
CN111768629B (en) * 2019-11-04 2022-04-12 北京京东乾石科技有限公司 Vehicle scheduling method, device and system
JP7464252B2 (en) 2020-02-13 2024-04-09 i-PRO株式会社 License plate image correction method, license plate image correction program, passport image correction method, and passport image correction program
KR102331453B1 (en) * 2020-02-26 2021-11-25 금오공과대학교 산학협력단 System for vehicle number plate recognition using neural network and its method
CN111932902B (en) * 2020-08-18 2021-03-26 明觉科技(北京)有限公司 Vehicle maintenance monitoring system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727732B2 (en) * 2007-02-15 2011-07-20 三菱重工業株式会社 Vehicle number recognition device
JP5222779B2 (en) * 2009-04-20 2013-06-26 株式会社日立製作所 License plate recognition device
JP2012155586A (en) * 2011-01-27 2012-08-16 Mitsubishi Heavy Ind Ltd Image binarization method and image binarization device
JP5510468B2 (en) * 2012-01-18 2014-06-04 住友電気工業株式会社 License plate color determination device, computer program, and license plate color determination method
JP6139493B2 (en) * 2014-11-17 2017-05-31 住友電工システムソリューション株式会社 License plate detection device and license plate detection method

Also Published As

Publication number Publication date
JP2018120445A (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6890427B2 (en) Car number recognition device
KR100339691B1 (en) Apparatus for recognizing code and method therefor
CN101421748B (en) Automatic detection and correction of non-red eye flash defects
CN110008954B (en) Complex background text image extraction method and system based on multi-threshold fusion
JP4396376B2 (en) Graphic reading method and apparatus, and main color extraction method and apparatus
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
CN108985305B (en) Laser etching industrial detonator coded image positioning and correcting method
KR101549495B1 (en) An apparatus for extracting characters and the method thereof
US11151402B2 (en) Method of character recognition in written document
Wang et al. Car license plate detection based on MSER
Lee et al. License plate detection using local structure patterns
CN114782953A (en) Seal intelligent identification method
KR101613703B1 (en) detection of vehicle video and license plate region extraction method
US8300929B2 (en) Automatic red-eye object classification in digital photographic images
JP4062987B2 (en) Image area dividing method, image area dividing apparatus, and image area dividing program
CN112818983A (en) Method for judging character inversion by using picture acquaintance
Arévalo et al. Detecting shadows in QuickBird satellite images
US20230118236A1 (en) Collation device and non-transitory computer readable medium storing program
CN113569859B (en) Image processing method and device, electronic equipment and storage medium
US20230098952A1 (en) Collation device
Deb et al. Vehicle license plate detection algorithm based on color space and geometrical properties
KR101954404B1 (en) CCTV System and Method for improving Recognition of Car Number by Using dynamic Thresholds
CN107909075A (en) A kind of Binarization of License Plate Images based on Laplacian enlargement oprators
JP5337844B2 (en) Region detection apparatus, region detection method, and program
CN113469980A (en) Flange identification method based on image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210525

R150 Certificate of patent or registration of utility model

Ref document number: 6890427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150