JP2016091346A - License plate reader - Google Patents

License plate reader Download PDF

Info

Publication number
JP2016091346A
JP2016091346A JP2014225884A JP2014225884A JP2016091346A JP 2016091346 A JP2016091346 A JP 2016091346A JP 2014225884 A JP2014225884 A JP 2014225884A JP 2014225884 A JP2014225884 A JP 2014225884A JP 2016091346 A JP2016091346 A JP 2016091346A
Authority
JP
Japan
Prior art keywords
image
license plate
vehicle
line sensor
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014225884A
Other languages
Japanese (ja)
Inventor
岳人 堀内
Takehito Horiuchi
岳人 堀内
昌宏 福田
Masahiro Fukuda
昌宏 福田
真治 井深
Shinji Ibuka
真治 井深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brains Corp
Original Assignee
Brains Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brains Corp filed Critical Brains Corp
Priority to JP2014225884A priority Critical patent/JP2016091346A/en
Publication of JP2016091346A publication Critical patent/JP2016091346A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce a processing load necessary for reading.SOLUTION: An installation body is erected in the upper space of a running traffic lane so as to traverse the running traffic lane on which a vehicle carrying a license plate travels. Line sensor imaging means having a line sensor in which imaging devices are arranged in a line is installed such that the arrangement direction of the imaging devices traverses the running traffic lane and the vehicle traveling along the running traffic lane can be imaged from obliquely upward of the vehicle. A license plate is read on the basis of the image of the license plate included in a two-dimensional image generated from time series line sensor images imaged by the line sensor imaging means.SELECTED DRAWING: Figure 1

Description

本発明は、走行中の車輌のナンバープレートを読み取るナンバープレート読み取り装置に関する。   The present invention relates to a license plate reading device that reads a license plate of a running vehicle.

従来、走行中の車輌のナンバープレートを読み取るナンバープレート読み取り装置としては、高解像度のイメージセンサを有する撮像カメラを各走行車線に対応して配置し、それぞれの撮像カメラにおいて撮像された画像のうち、ナンバープレートが映っている複数のフレーム画像を処理して、それぞれの撮像カメラ毎に読み取りを行い、複数のカメラの読み取り結果を参照して、文字列を補完してナンバープレートの読み取りの精度を向上させたものがある(例えば、特許文献1参照)。
また、従来のナンバープレート読み取り装置として、幅方向に複数の走行車線にわたって撮像可能なエリアセンサを設置したものがあり、複数車線の同時監視や、撮像領域において車線間をまたいで走行する車両に対応して撮像するようにしたものがある(特許文献2参照)。
更に、ナンバープレート読み取り装置に用いるカメラとして、比較的広角で解像度の低いカメラと、小さい画角で撮像方向やズームを調整可能なPTZカメラとを組み合わせ特定車線を撮像するようにしたものがある(特許文献3参照)。
Conventionally, as a license plate reading device that reads a license plate of a running vehicle, an imaging camera having a high-resolution image sensor is arranged corresponding to each traveling lane, and among images captured by each imaging camera, Processes multiple frame images showing the license plate, reads each imaged camera, references the reading results of the multiple cameras, complements the character string, and improves the accuracy of license plate reading (For example, refer to Patent Document 1).
In addition, as a conventional license plate reader, there is an area sensor that can be imaged across multiple lanes in the width direction, for simultaneous monitoring of multiple lanes and for vehicles that run across lanes in the imaging area In some cases, an image is captured (see Patent Document 2).
Furthermore, as a camera used for a license plate reading device, there is a camera that captures a specific lane by combining a camera with a relatively wide angle and a low resolution with a PTZ camera capable of adjusting an imaging direction and zoom with a small angle of view ( (See Patent Document 3).

特開2009−169827号公報JP 2009-169827 A 特開2014−191763号公報JP 2014-191763 A 特開2013−182550号公報JP 2013-182550 A

しかしながら、特許文献1にあっては、各撮像カメラで撮像された全てのフレーム画像からナンバープレートが映っている多数のフレーム画像を特定し、該特定した多数のフレーム画像を処理してナンバープレートを読み取る場合があり、この場合、読み取りに要する処理負荷が非常に大きくなる虞があった。
また、特許文献2にあっては、エリアセンサを用いた複数車線の同時監視や、車線間をまたいで走行する車両に対応して撮像するためには、高解像度の撮影が必須となるが、エリアセンサの場合、解像度の増加に伴い感度が低下するため、満足な画像精度が得られず実現性に乏しいという問題があった。
更に、特許文献3にあっては、撮像可能領域が特定車線のみに限られており、幅方向に制限されるため、例えば車線間をまたいで走行する車両を当該カメラで撮像することは困難であった。
However, in Patent Document 1, a large number of frame images showing a license plate are identified from all the frame images captured by each imaging camera, and the number of frame images thus identified is processed to obtain a license plate. In this case, there is a possibility that the processing load required for the reading becomes very large.
In addition, in Patent Document 2, high-resolution imaging is indispensable for simultaneous monitoring of multiple lanes using an area sensor and imaging corresponding to a vehicle traveling across lanes. In the case of an area sensor, since the sensitivity decreases as the resolution increases, there is a problem in that satisfactory image accuracy cannot be obtained and feasibility is poor.
Furthermore, in Patent Document 3, the imageable area is limited to only a specific lane and is limited in the width direction. For example, it is difficult to image a vehicle traveling across lanes with the camera. there were.

本発明は、このような問題点に着目してなされたもので、読み取りに要する処理負荷を低減することのできるうえに、複数車線にわたり走行する車両等の幅広の撮像対象を同時かつ高解像度・高感度で撮像し処理することができるナンバープレート読み取り装置を提供することを目的とする。   The present invention has been made paying attention to such problems, and can reduce the processing load required for reading, and can simultaneously capture a wide imaging target such as a vehicle traveling in a plurality of lanes with high resolution. An object of the present invention is to provide a license plate reader capable of imaging and processing with high sensitivity.

前記課題を解決するために、本発明の請求項1に記載のナンバープレート読み取り装置は、
ナンバープレートが装着された車輌が走行する走行車線を横断するように該走行車線の上方空間に架設された架設体と、
撮像素子が1列状に配列されたラインセンサを有し、該撮像素子の配列方向が前記走行車線を横断する方向となるとともに、前記走行車線を走行する車輌を該車輌の斜め上方から撮像可能となるように前記架設体に設置されるラインセンサ撮像手段と、
前記ラインセンサ撮像手段にて撮像された時系列のラインセンサ画像から2次元画像を生成する時系列2次元画像生成手段と、
前記時系列2次元画像生成手段にて生成された2次元画像に含まれるナンバープレートの画像にもとづいて、ナンバープレートを読み取る読み取り手段と、
を備えることを特徴としている。
この特徴によれば、従来のイメージセンサを有する撮像カメラを用いて多数のフレーム画像を処理する場合と比較して、ラインセンサ撮像手段を採用することで、時系列のラインセンサ画像から生成された時系列2次元画像だけを順次処理することによりナンバープレートを読み取ることができるので、読み取り処理における処理負荷等を大幅に低減することができるうえに、ラインセンサの採用により、例えば8192画素や16384画素などの高分解能センサの入手が可能で、複数車線等の幅広の撮像対象に応じて好適なセンサを選択できるばかりか、エリアセンサと比較して高感度かつ高速なスキャンレートを容易に実現できるため、高速で移動する物体を高い解像度で撮像することが可能となる。
In order to solve the above-mentioned problem, a license plate reading device according to claim 1 of the present invention provides:
A construction body constructed in a space above the traveling lane so as to cross the traveling lane in which the vehicle on which the license plate is mounted travels;
The image sensor has a line sensor arranged in a line, the array direction of the image sensor is a direction crossing the travel lane, and the vehicle traveling in the travel lane can be imaged from an obliquely upper side of the vehicle A line sensor imaging means installed on the installation body so that
Time-series two-dimensional image generation means for generating a two-dimensional image from a time-series line sensor image imaged by the line sensor imaging means;
Reading means for reading the license plate based on the image of the license plate included in the two-dimensional image generated by the time-series two-dimensional image generating means;
It is characterized by having.
According to this feature, compared to the case where a large number of frame images are processed using an imaging camera having a conventional image sensor, the line sensor imaging unit is used to generate the time-series line sensor image. Since the license plate can be read by sequentially processing only the time-series two-dimensional image, the processing load in the reading process can be greatly reduced, and the use of a line sensor, for example, 8192 pixels or 16384 pixels. High-resolution sensors such as multiple lanes can be obtained, and a suitable sensor can be selected according to a wide imaging target such as multiple lanes, and a high-sensitivity and high-speed scan rate can be easily realized compared to area sensors. It is possible to image an object moving at high speed with high resolution.

本発明の請求項2に記載のナンバープレート読み取り装置は、請求項1に記載のナンバープレート読み取り装置であって、
前記ラインセンサ撮像手段の撮像領域を帯状に照光する照光手段を備えることを特徴としている。
この特徴によれば、照光範囲が狭いので、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができるとともに、照光に要する消費電力も抑えることができる。
A license plate reader according to claim 2 of the present invention is the license plate reader according to claim 1,
An illumination unit that illuminates the imaging region of the line sensor imaging unit in a strip shape is provided.
According to this feature, since the illumination range is narrow, the license plate can be satisfactorily read without dazzling the driver, and the power consumption required for illumination can be suppressed.

本発明の請求項3に記載のナンバープレート読み取り装置は、請求項2に記載のナンバープレート読み取り装置であって、
前記撮像素子が赤外線撮像素子であって、
前記照光手段は、前記赤外線撮像素子が撮像可能な赤外線により帯状の前記撮像領域を照光することを特徴としている。
この特徴によれば、ドライバが視認できない赤外線を用いるので、より一層、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができる。
The license plate reader according to claim 3 of the present invention is the license plate reader according to claim 2,
The image sensor is an infrared image sensor,
The illumination means illuminates the band-shaped imaging region with infrared rays that can be imaged by the infrared imaging element.
According to this feature, since the infrared light that cannot be visually recognized by the driver is used, the license plate can be read well without further dazzling the driver.

本発明の請求項4に記載のナンバープレート読み取り装置は、請求項1〜3のいずれかに記載のナンバープレート読み取り装置であって、
前記走行車線を走行する車輌の色を特定する車輌色特定手段を備え、
前記車輌色特定手段にて特定した車輌の色のデータを、前記読み取り手段による読み取りデータに対応付けて記憶する記憶手段を備えることを特徴としている。
この特徴によれば、読み取ったナンバープレートの車輌の色も解るようになる。
The license plate reader according to claim 4 of the present invention is the license plate reader according to any one of claims 1 to 3,
Vehicle color specifying means for specifying the color of a vehicle traveling in the travel lane,
The vehicle color data of the vehicle specified by the vehicle color specifying means is stored in association with the read data by the reading means.
According to this feature, the color of the read license plate vehicle can also be understood.

本発明の請求項5に記載のナンバープレート読み取り装置は、請求項4に記載のナンバープレート読み取り装置であって、
前記撮像素子がモノクロ撮像素子であって、
前記車輌色特定手段は、前記走行車線を撮像可能に前記架設体に前記ラインセンサ撮像手段と並設されたカラー画像撮像手段を含み、該カラー画像撮像手段にて撮像されたカラー画像にもとづいて車輌の色を特定することを特徴としている。
この特徴によれば、ラインセンサの撮像素子をモノクロにできるので、ラインセンサの解像度を高めつつ、車輌の色も特定することができる。
The license plate reader according to claim 5 of the present invention is the license plate reader according to claim 4,
The image sensor is a monochrome image sensor,
The vehicle color specifying means includes color image imaging means arranged in parallel with the line sensor imaging means on the installation body so as to be able to take an image of the traveling lane, and based on a color image taken by the color image imaging means. It is characterized by specifying the color of the vehicle.
According to this feature, since the image sensor of the line sensor can be monochrome, the color of the vehicle can be specified while increasing the resolution of the line sensor.

本発明の請求項6に記載のナンバープレート読み取り装置は、請求項1〜5のいずれかに記載のナンバープレート読み取り装置であって、
前記ラインセンサ撮像手段は、複数の走行車線に対して1つのみが設けられていることを特徴としている。
この特徴によれば、ナンバープレート読み取り装置の設置コストを低減できるとともに、車輌が車線を移動しても、処理負荷が増大することなく良好にナンバープレートを読み取ることができる。
The license plate reader according to claim 6 of the present invention is the license plate reader according to any one of claims 1 to 5,
Only one line sensor imaging means is provided for a plurality of traveling lanes.
According to this feature, the installation cost of the license plate reader can be reduced, and the license plate can be satisfactorily read without increasing the processing load even when the vehicle moves in the lane.

実施例におけるナンバープレート読み取り装置の構成例を示す斜視図である。It is a perspective view which shows the structural example of the license plate reader in an Example. 実施例におけるナンバープレート読み取り装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the license plate reader in an Example. ナンバープレート読み取り装置の画像処理装置において実行される画像処理の処理内容の一例を示すフロー図である。It is a flowchart which shows an example of the processing content of the image processing performed in the image processing apparatus of a license plate reader. ナンバープレート読み取り装置にて撮像された2次元画像の処理状況を示す説明図である。It is explanatory drawing which shows the processing condition of the two-dimensional image imaged with the license plate reader.

本発明に係るナンバープレート読み取り装置を実施するための形態を実施例に基づいて以下に説明する。   An embodiment for implementing a license plate reading apparatus according to the present invention will be described below based on an example.

実施例に係るナンバープレート読み取り装置につき、図1から図4を参照して説明する。   A license plate reading apparatus according to an embodiment will be described with reference to FIGS.

本実施例のナンバープレート読み取り装置は、図1に示すように、赤外線撮像素子が1列状に配列された赤外線ラインセンサを備えるとともに、該赤外線ラインセンサによる撮像を行うための赤外線光学機構を備えた赤外線ラインセンサカメラ10と、通過する車輌の色を特定するために使用され、可視光の撮像素子が2次元的に平面状に配列されたエリアセンサを備えるとともに、該エリアセンサによる撮像を行うための光学機構を備えたエリアセンサカメラ20と、赤外線ラインセンサカメラ10の輝線状の撮像領域を帯状に照らすための近赤外線を照射するライン照光装置12と、車輌の走行車線を横断するように該走行車線の上方空間に架設され、赤外線ラインセンサカメラ10、エリアセンサカメラ20並びにライン照光装置12が設置される架設体5と、これら赤外線ラインセンサカメラ10、エリアセンサカメラ20並びにライン照光装置12が接続される本体装置1と、から主に構成されている。   As shown in FIG. 1, the license plate reading apparatus of the present embodiment includes an infrared line sensor in which infrared imaging elements are arranged in a line, and an infrared optical mechanism for performing imaging by the infrared line sensor. The infrared line sensor camera 10 and an area sensor that is used for specifying the color of a vehicle passing therethrough and in which two-dimensional imaging elements for visible light are arranged in a two-dimensional plane are used for imaging by the area sensor. An area sensor camera 20 having an optical mechanism for the above, a line illuminating device 12 for irradiating near-infrared rays for illuminating the bright line-like imaging region of the infrared line sensor camera 10 in a strip shape, and so as to cross the traveling lane of the vehicle An infrared line sensor camera 10, an area sensor camera 20, and a line illumination device 12 are installed in the space above the travel lane. A bridging member 5 installed is, these infrared line sensor camera 10, the main unit 1 the area sensor camera 20 and the line illumination device 12 is connected, is mainly composed.

本実施例に用いた架設体5は、鉄骨製の構造体とされており、通路の側方に立設された2つの支柱体と、該2つの支柱体の間に掛け渡された橋脚体とからなり、橋脚体のほぼ中央位置、つまり、3つの車線の中央車線の上方となる位置に、赤外線ラインセンサカメラ10、エリアセンサカメラ20、ライン照光装置12が橋脚体から吊り下げられる形態にて、道路面から約5メートル程度の高さ位置に、走行車線を通過する車輌を、斜め上方の所定角度から撮像できるように設置されている。なお、本発明の架設体は、必ずしも上記したように、走行車線の両側方に立設された2つの支柱体と、該支柱体間に架け渡された橋脚体とからなるものに限られず、例えば、通路の片側方のみに立設された1つの支柱体と、該支柱体から横持ち状態で走行車線の上方に架設された橋脚体とからなるものであってもよい。   The erection body 5 used in the present embodiment is a steel structure, and has two struts erected on the side of the passage, and a bridge pier spanned between the two struts. The infrared line sensor camera 10, the area sensor camera 20, and the line illumination device 12 are suspended from the pier at approximately the center position of the pier body, that is, above the center lane of the three lanes. Thus, the vehicle passing through the traveling lane is installed at a height position of about 5 meters from the road surface so as to capture an image from a predetermined angle obliquely upward. In addition, as described above, the erection body of the present invention is not necessarily limited to the one composed of the two support columns erected on both sides of the traveling lane and the piers spanned between the support columns, For example, it may be composed of one strut body that is erected only on one side of the passage and a pier body that is horizontally supported from the strut body and is constructed above the traveling lane.

尚、走行車線を通過する車輌を撮像する角度は、これが大きいと、ナンバープレートを撮像しても、その時系列2次元画像の時系列方向の幅が非常に小さくなってしまうとともに、プレートの数字等の変形も大きくなってしまい、後述するように、画像の補正を行っても認識の精度が低下してしまう一方、撮像する角度が小さいと、赤外線ラインセンサカメラ10と撮像対象の車輌までの距離が大きくなって、振動の影響や前方の車両の陰となってナンバープレートを撮像できない可能性が高くなってしまうことから、好ましくは30〜45度の範囲の角度とすることが好ましい。   If the angle at which the vehicle passing through the traveling lane is imaged is large, even if the license plate is imaged, the width in the time-series direction of the time-series two-dimensional image becomes very small, and the number of the plate, etc. As will be described later, the accuracy of recognition is reduced even when image correction is performed. On the other hand, if the imaging angle is small, the distance between the infrared line sensor camera 10 and the vehicle to be imaged is small. Increases the possibility that the license plate cannot be imaged due to the influence of vibration and the shadow of the vehicle ahead, and therefore it is preferable to set the angle in the range of 30 to 45 degrees.

また、エリアセンサカメラ20は、図1に示すように、撮像位置(画角)が赤外線ラインセンサカメラ10の撮像位置とほぼ一致するように設置されていれば良く、赤外線ラインセンサカメラ10により撮像されたナンバープレートに対応する車輌を、赤外線ラインセンサカメラ10による画像の水平方向の位置と、撮像時とから特定できるようになっていれば良い。   As shown in FIG. 1, the area sensor camera 20 only needs to be installed so that the imaging position (angle of view) substantially matches the imaging position of the infrared line sensor camera 10. It is only necessary that the vehicle corresponding to the made license plate can be identified from the horizontal position of the image by the infrared line sensor camera 10 and at the time of imaging.

尚、本実施例では、ラインセンサカメラ10やエリアセンサカメラ20には、車両の通過に伴う振動によるブレを防止するための図示しないブレ防止機構が内蔵されている。また、これらブレ防止機構に加えて、支柱体には、図示しないが、道路を通過する車輌による振動が支柱体に伝わることを防止するとともに、支柱体からさらに橋脚体に振動が伝搬して橋脚体が揺れてしまうことを防止するための防振部が設けられており、通過車輌による振動が橋脚体に伝搬してしまうことによって橋脚体が揺れて、良好な撮像ができなくなってしまったり、読み取りの精度が低下してしまうことを防止できるようになっているが、本発明はこれに限定されるものではなく、例えば、ラインセンサカメラ10やエリアセンサカメラ20に内蔵されているブレ防止機構のみ十分な振動対策が出来る場合等にあっては、これら架設体5に防振部を設けなくても良い。   In this embodiment, the line sensor camera 10 and the area sensor camera 20 have a built-in anti-shake mechanism (not shown) for preventing a shake caused by vibration accompanying the passage of the vehicle. In addition to these anti-blur mechanisms, although not shown in the figure, the strut body prevents vibration from a vehicle passing through the road from being transmitted to the strut body, and vibration is further propagated from the strut body to the pier body. An anti-vibration part is provided to prevent the body from shaking, and the vibration caused by the passing vehicle propagates to the pier body, causing the pier body to sway, making it impossible to capture good images. Although it is possible to prevent the reading accuracy from being deteriorated, the present invention is not limited to this. For example, an anti-shake mechanism built in the line sensor camera 10 or the area sensor camera 20 is used. In the case where only sufficient vibration countermeasures can be taken, it is not necessary to provide a vibration isolating portion on these erected bodies 5.

赤外線ラインセンサカメラ10は、1次元の線状の画像を撮影可能な赤外線ラインセンサ(モノクロ)と、該赤外線ラインセンサ(モノクロ)による撮像を可能とするための赤外線レンズ等の赤外線光学機構と、振動によるブレを防止するための公知のブレ防止機構を有している。   The infrared line sensor camera 10 includes an infrared line sensor (monochrome) capable of capturing a one-dimensional linear image, an infrared optical mechanism such as an infrared lens for enabling imaging by the infrared line sensor (monochrome), A known anti-shake mechanism for preventing shake due to vibration is provided.

これら赤外線ラインセンサ(モノクロ)には、公知の赤外線ラインセンサを使用することができる。   As these infrared line sensors (monochrome), known infrared line sensors can be used.

これら赤外線ラインセンサは、撮像素子の両側に信号線を形成できるので、エリアセンサに比較して、高精細、高感度のセンサを低コストにて入手することができる。これら赤外線ラインセンサの素子数は、得られる時系列2次元画像の解像度となることから、赤外線ラインセンサカメラ10が設置される道路の車線数等に応じたものを使用すれば良い。   Since these infrared line sensors can form signal lines on both sides of the image sensor, a high-definition and high-sensitivity sensor can be obtained at a lower cost than an area sensor. Since the number of elements of these infrared line sensors is the resolution of the obtained time-series two-dimensional image, it is sufficient to use one according to the number of lanes on the road where the infrared line sensor camera 10 is installed.

例えば、解像度8192ピクセルの市販品の赤外線ラインセンサを利用することで、本実施例のように、1車線3.6メートルの走行車線の3車線同時監視を行っても1.3〜1.5ミリ/ピクセル程度の水平解像度の実現が可能となる。これはナンバープレート1 枚の横方向サイズに対して220〜250ピクセルの分解能に相当し、画像処理による読み取り(車番認識)に十分な解像度である。   For example, by using a commercially available infrared line sensor with a resolution of 8192 pixels, even if three-lane simultaneous monitoring of a driving lane of 3.6 meters is performed as in this embodiment, it is 1.3 to 1.5. A horizontal resolution of about millimeter / pixel can be realized. This corresponds to a resolution of 220 to 250 pixels with respect to the lateral size of one license plate, which is sufficient for reading by image processing (vehicle number recognition).

つまり、使用する赤外線ラインセンサの画素数は、撮像する車線の総幅を撮像したときに、ナンバープレート1枚の横方向サイズに対して、画像処理による読み取り(車番認識)に必要となる画素数(例えば200ピクセル)が割り当てられるようなものとすればよい。   In other words, the number of pixels of the infrared line sensor to be used is the number of pixels required for reading (vehicle number recognition) by image processing with respect to the lateral size of one license plate when the total width of the lane to be imaged is imaged. A number (for example, 200 pixels) may be assigned.

これに対し、エリアセンサカメラ20の解像度は、車輌の色を特定できるものであれば良いので、赤外線ラインセンサカメラ10に比較して低解像度のもので良いが、車輌の色を特定するために可視光の撮像素子を使用する必要がある。但し、可視光の撮像素子を使用した場合において、撮像のために可視光の照光装置を使用すると、車輌の前方斜め上方から可視光を車輌に照射することになってしまい、運転者を眩惑してしまう可能性があるため、高感度な撮像素子を使用した高感度撮像カメラを使用することで、可視光の照光装置を用いることなく撮像できるようにすることが好ましい。尚、高感度撮像カメラとしては、市販されている高感度撮像カメラを好適に利用することができる。   On the other hand, the resolution of the area sensor camera 20 may be any resolution as long as the color of the vehicle can be specified. Therefore, the resolution of the area sensor camera 20 may be lower than that of the infrared line sensor camera 10, but to specify the color of the vehicle. It is necessary to use a visible light image sensor. However, when a visible light imaging device is used and a visible light illumination device is used for imaging, the vehicle is irradiated with visible light from an obliquely upper front of the vehicle, which dazzles the driver. Therefore, it is preferable to use a high-sensitivity imaging camera using a high-sensitivity imaging element so that imaging can be performed without using a visible light illumination device. In addition, as a high sensitivity imaging camera, the commercially available high sensitivity imaging camera can be utilized suitably.

上記のように、本実施例では、ナンバープレートの読み取り(車番認識)を行うためのカメラと、車輌の色特定を行うためのカメラとを個別のカメラとすることで、車輌の色特定を行うためのカメラを高感度の可視光カメラとすることができ、その結果、可視光を車輌に照射することなしに車輌の色を特定できるようになっている。   As described above, in this embodiment, the camera for color plate reading (vehicle number recognition) and the camera for specifying the color of the vehicle are separate cameras, so that the color of the vehicle can be specified. The camera to be used can be a highly sensitive visible light camera, and as a result, the color of the vehicle can be specified without irradiating the vehicle with visible light.

ライン照光装置12は、赤外線ラインセンサカメラ10が撮像可能な近赤外線光を帯状に放射することが可能とされている。具体的には、発光光源となる赤外線LEDを1列状に配列するとともに、該赤外線LEDから発光された近赤外線光を帯状の光束に変換するシリンドリカルレンズを備えている。   The line illumination device 12 is capable of emitting near infrared light that can be imaged by the infrared line sensor camera 10 in a band shape. Specifically, an infrared LED serving as a light emitting light source is arranged in a line, and a cylindrical lens that converts near-infrared light emitted from the infrared LED into a strip-shaped light beam is provided.

尚、本実施例では、ライン照光装置12を1列状の赤外線LEDとシリンドリカルレンズとを有するものを例示しているが、本発明はこれに限定されるものではなく、赤外線ラインセンサカメラ10が撮像可能な近赤外線光を発光可能なものであれば、照光装置として使用できることはいうまでもない。但し、本実施例のように、照光装置をライン照光装置12とすることで、無駄な領域を照らすことがないので、装置の消費電力を抑えることができる。   In the present embodiment, the line illumination device 12 is illustrated as having a single-row infrared LED and a cylindrical lens, but the present invention is not limited to this, and the infrared line sensor camera 10 is Needless to say, any device capable of emitting near-infrared light that can be imaged can be used as an illumination device. However, by using the line illumination device 12 as the illumination device as in this embodiment, a useless area is not illuminated, so that the power consumption of the device can be suppressed.

これらライン照光装置12が照射する帯状の照射範囲の幅としては、赤外線ラインセンサカメラ10の撮像範囲を照らすことができれば、撮像範囲の1ピクセルの幅でも良いが、この場合、ライン照光装置12と赤外線ラインセンサカメラ10との位置合わせが非常に難しくなってしまうとともに、振動等によってライン照光装置12の照光領域が移動して赤外線ラインセンサカメラ10の撮像位置から離れてしまう可能性があるので、ある程度の幅を有するようにしておくことが好ましいが、逆に、この照光領域の幅が広いと、赤外線LEDの発光光量を増やす必要があり、赤外線LEDの消費電力が増大してしまうので、必要最小限の幅、例えば、5〜10センチ程度にすれば良い。   The width of the band-shaped irradiation range irradiated by these line illumination devices 12 may be one pixel width of the imaging range as long as the imaging range of the infrared line sensor camera 10 can be illuminated. Since alignment with the infrared line sensor camera 10 becomes very difficult, there is a possibility that the illumination area of the line illumination device 12 may be moved away from the imaging position of the infrared line sensor camera 10 due to vibration or the like. It is preferable to have a certain width, but conversely, if the width of the illumination region is wide, it is necessary to increase the amount of light emitted from the infrared LED, and the power consumption of the infrared LED increases. What is necessary is just to make it the minimum width, for example, about 5-10 cm.

尚、本実施例では、ライン照光装置12の照射を連続照射としているが、本発明はこれに限定されるものではなく、照射に伴う消費電力を低減することを目的として、赤外線ラインセンサカメラ10の画像がスキャンされるタイミングにおいてだけ、赤外線LEDを発光させるようにしても良い。   In the present embodiment, the irradiation of the line illumination device 12 is continuous irradiation. However, the present invention is not limited to this, and the infrared line sensor camera 10 is intended to reduce power consumption associated with irradiation. The infrared LED may be caused to emit light only at the timing when the image is scanned.

次に、図2を用いて本体装置1について説明する。本体装置1には、図2に示すように、前述した赤外線ラインセンサカメラ10、エリアセンサカメラ20、ライン照光装置12が接続されている。   Next, the main device 1 will be described with reference to FIG. As shown in FIG. 2, the infrared line sensor camera 10, the area sensor camera 20, and the line illumination device 12 are connected to the main body device 1.

本体装置1は、読み取り装置全体の動作制御を行う制御用コンピュータ50と、画像処理を行うためのDSP等のデバイスか構成される画像処理装置25とを有しており、画像処理装置25には、赤外線ラインセンサカメラ10やエリアセンサカメラ20が接続されていて、赤外線ラインセンサカメラ10やエリアセンサカメラ20にて撮像された画像のデータが画像処理装置25に入力されるようになっている。   The main body apparatus 1 includes a control computer 50 that controls the operation of the entire reading apparatus, and an image processing apparatus 25 that includes a device such as a DSP for performing image processing. The infrared line sensor camera 10 and the area sensor camera 20 are connected, and image data captured by the infrared line sensor camera 10 and the area sensor camera 20 are input to the image processing device 25.

また、画像処理装置25には画像処理用メモリ26が接続されていて、該画像処理用メモリ26に、画像処理装置25が画像処理を行うために画像等を記憶できるようになっている。   In addition, an image processing memory 26 is connected to the image processing device 25, and an image or the like can be stored in the image processing memory 26 for the image processing device 25 to perform image processing.

画像処理装置25には、接続されている赤外線ラインセンサカメラ10からの画像を、画像処理用メモリ26の所定の記憶領域に時系列に積み重ねて時系列2次元画像を生成する2次元画像生成処理部と、該2次元画像生成処理部にて生成された時系列2次元画像と、エリアセンサカメラ20にて撮像された可視光画像とに基づいて、ナンバープレートの読み取りと車輌の色を特定する画像認識処理(図3参照)を行う画像認識処理部とが設けられている。   The image processing device 25 includes a two-dimensional image generation process for generating a time-series two-dimensional image by stacking images from the connected infrared line sensor camera 10 in a predetermined storage area of the image processing memory 26 in a time-series manner. The license plate and the color of the vehicle are specified based on the time series two-dimensional image generated by the unit, the two-dimensional image generation processing unit, and the visible light image captured by the area sensor camera 20. An image recognition processing unit that performs image recognition processing (see FIG. 3) is provided.

2次元画像生成処理部は、通過する車輌の速度を考慮して予め設定されたスキャンレートにて、赤外線ラインセンサカメラ10からラインセンサ画像を取得し、該取得したラインセンサ画像を順次積み重ねて時系列2次元画像を生成し、画像処理用メモリ26に記憶する機能部である。   The two-dimensional image generation processing unit acquires line sensor images from the infrared line sensor camera 10 at a preset scan rate in consideration of the speed of the passing vehicle, and sequentially stacks the acquired line sensor images. This is a functional unit that generates a series two-dimensional image and stores it in the image processing memory 26.

よって、2次元画像生成処理部にて生成される時系列2次元画像の時系列方向の解像度は、スキャンレートに依存することになり、通過する車輌の速度が速くなれば、ナンバープレートが映っているラインセンサ画像の数が減少することになるが、一般道路での車輌の通過速度は50〜100Km/hであり、たとえ、100Km/hで車輌が通過しても、20KHz程度のスキャンレートでラインセンサ画像を取得することにより、時系列2次元画像の時系列方向の解像度は200ピクセル以上を確保できるとともに、一般的に、ラインセンサ画像のスキャンレートは数百KHz程度であるので、通過する車輌の最高速度においても、画像認識処理が可能な200ピクセル以上の解像度を確保できるスキャンレートを予め設定しておけば良い。   Therefore, the resolution in the time-series direction of the time-series two-dimensional image generated by the two-dimensional image generation processing unit depends on the scan rate. If the speed of the passing vehicle increases, the license plate is reflected. Although the number of line sensor images will decrease, the speed of vehicles passing on ordinary roads is 50-100 km / h, even if the vehicles pass at 100 km / h, at a scan rate of about 20 kHz. By acquiring the line sensor image, the resolution in the time series direction of the time series two-dimensional image can be secured at 200 pixels or more, and generally, the scan rate of the line sensor image is about several hundreds KHz, so it passes. It is only necessary to set a scan rate that can ensure a resolution of 200 pixels or higher that allows image recognition processing even at the maximum speed of the vehicle. .

尚、本実施例では実施していないが、これらスキャンレートを車輌の速度に応じて変更するようにしても良い。例えば、道路が渋滞していて車輌の速度が低い場合には、スキャンレートを低下させ、車輌の速度が一定速度(例えば、40Km/h)以上であれば、予め設定されたスキャンレートとするようにしても良いし、車輌の速度が上限速度(例えば、100Km/h)を超える場合には、一時的に、予め設定されたスキャンレートよりも早いスキャンレートにてスキャンするようにしても良い。   Although not implemented in this embodiment, these scan rates may be changed according to the speed of the vehicle. For example, if the road is congested and the vehicle speed is low, the scan rate is reduced. If the vehicle speed is equal to or higher than a certain speed (for example, 40 km / h), a preset scan rate is set. Alternatively, when the speed of the vehicle exceeds the upper limit speed (for example, 100 Km / h), scanning may be temporarily performed at a scan rate faster than a preset scan rate.

また、ライン照光装置12は制御用コンピュータ50に接続され、該ライン照光装置12の点灯制御や点灯状況の監視が制御用コンピュータ50において行われる。   The line lighting device 12 is connected to the control computer 50, and lighting control of the line lighting device 12 and monitoring of the lighting state are performed in the control computer 50.

本実施例の制御用コンピュータ50には、認識結果データを表示出力するための表示装置30や、認識結果データを記憶するための記憶装置40も接続されている。   The control computer 50 of the present embodiment is also connected to a display device 30 for displaying and outputting recognition result data and a storage device 40 for storing recognition result data.

尚、表示装置30は必須な装置ではなく、これら表示装置30に代えて、記憶装置40に記憶されている認識結果データを外部に送信するための通信装置や、本体装置1に着脱可能な外部記憶装置を接続するためのインターフェイスを設けるようにしても良い。   The display device 30 is not an essential device. Instead of the display device 30, a communication device for transmitting recognition result data stored in the storage device 40 to the outside, or an external device that can be attached to and detached from the main body device 1. An interface for connecting a storage device may be provided.

本実施例の制御用コンピュータ50には、制御用プログラム等が記憶された不揮発性メモリであるROM(図示略)や、日時や時刻の情報を出力可能なリアルタイムクロック(RTC)が設けられている。   The control computer 50 of this embodiment is provided with a ROM (not shown) that is a nonvolatile memory in which a control program and the like are stored, and a real-time clock (RTC) that can output date and time information. .

ここで、記憶装置40に記憶されている本実施例の認識結果データについて説明すると、本実施例の認識結果データは、図2に示すように、車輌が通過してナンバープレートの読み取りが実行され日時(車輌の通過時刻とほぼ同一)に対応付けて、ナンバープレートの認識結果(読み取り結果)、認識対象となったナンバープレートのラインセンサ画像のファイル名、特定された車輌色、該車輌色の特定に使用したエリアセンサの画像のファイル名とが記憶されており、通過した車輌のナンバープレートと色、および通過日時とが特定できるようになっている。   Here, the recognition result data of this embodiment stored in the storage device 40 will be described. As shown in FIG. 2, the recognition result data of this embodiment passes through the vehicle and the license plate is read. Corresponding to the date and time (almost the same as the passage time of the vehicle), the license plate recognition result (read result), the file name of the line sensor image of the license plate to be recognized, the specified vehicle color, the vehicle color The file name of the image of the area sensor used for identification is stored, and the license plate and color of the vehicle that has passed and the date and time of passage can be identified.

尚、本実施例の認識結果データの形態は一例であり、本実施例とは異なる形態の認識結果データとしても良いことはいうまでもない。   It should be noted that the form of the recognition result data in the present embodiment is an example, and needless to say, the recognition result data may be in a form different from that in the present embodiment.

図3は、本実施例の画像認識処理部にて実行される画像認識処理の一例を示すフロチャートである。画像認識処理においては、まず、画像認識の実行タイミングであるか否かを判定する(ステップS1)。つまり、本実施例では、赤外線ラインセンサを用いているために、該赤外線ラインセンサにて撮像した1のラインセンサ画像だけでは画像認識をすることは不可能であるので、例えば、ナンバープレートの認識に必要な画素数である200ピクセル程度のラインセンサ画像による時系列2次元画像が蓄積されたタイミング(例えば、20KHzの場合には、200ピクセルが蓄積された10ミリ秒毎)で画像認識を実行する。   FIG. 3 is a flowchart showing an example of image recognition processing executed by the image recognition processing unit of the present embodiment. In the image recognition processing, first, it is determined whether or not it is the execution timing of image recognition (step S1). That is, in this embodiment, since an infrared line sensor is used, it is impossible to perform image recognition using only one line sensor image captured by the infrared line sensor. Image recognition is performed at the timing when a time-series two-dimensional image is accumulated by a line sensor image of about 200 pixels, which is the number of pixels required for the image (for example, every 20 milliseconds when 200 pixels are accumulated in the case of 20 KHz) To do.

画像認識の実行タイミングである場合には(ステップS1;Yes)、画像処理用メモリ26に記憶されている時系列2次元画像のうち、新たに蓄積された200ピクセル分と、その直前に蓄積された100ピクセル分の合計300ピクセル分の領域を処理対象の領域として特定して抽出する(ステップS2)。   When it is the execution timing of the image recognition (step S1; Yes), the newly accumulated 200 pixels of the time-series two-dimensional image stored in the image processing memory 26 and the immediately preceding one are accumulated. A region corresponding to a total of 300 pixels corresponding to 100 pixels is specified and extracted as a processing target region (step S2).

このように本実施例では、処理対象の領域として、新たに蓄積された200ピクセル分と、その直前に蓄積された100ピクセル分の合計300ピクセル分の領域を特定して抽出するので、図4に示すように、処理対象の領域が半分ずつ移動して処理に供されるようになるため、例えば、領域n+2の終了位置に示されるように、画像認識のタイミングにおいてナンバープレートの全体が未だ撮像されていない場合、つまり、画像認識のタイミングにおいてナンバープレートが赤外線ラインセンサカメラ10の撮像領域を通過中である場合であっても、次の画像認識においては領域n+3が処理領域として特定されて、ナンバープレートの全体が撮像された状態で画像認識が実行されるので、画像認識を間歇的に実行しても認識の精度が低下することがないようになっている。   In this way, in this embodiment, as the processing target area, the newly accumulated 200 pixels and the area of 300 pixels in total, which is 100 pixels accumulated immediately before, are specified and extracted. As shown in FIG. 4, the processing target area moves half by half and is used for processing. For example, as shown in the end position of the area n + 2, the entire license plate is still imaged at the timing of image recognition. If not, that is, even if the license plate is passing the imaging area of the infrared line sensor camera 10 at the timing of image recognition, the area n + 3 is specified as the processing area in the next image recognition, Since image recognition is performed with the entire license plate imaged, the accuracy of recognition is reduced even if image recognition is performed intermittently. So that the there is no Rukoto.

尚、本実施例では、処理対象の領域を300ピクセルとした形態を例示したが、本発明はこれに限定されるものではなく、これら処理対象の領域のピクセル数は、画像認識を行う間隔とスキャンレート等に基づいて決定すれば良い。   In the present embodiment, an example in which the area to be processed is 300 pixels is illustrated, but the present invention is not limited to this, and the number of pixels in the area to be processed is the interval between image recognitions. It may be determined based on the scan rate or the like.

そして、抽出した処理対象の領域内に、認識対象となるナンバープレートと推定される四角状の領域が存在するか否かを判定する。尚、四角状の領域は、1カ所とは限らず、複数箇所、存在する場合もあり得る。   Then, it is determined whether or not there is a square area estimated as a license plate to be recognized in the extracted area to be processed. Note that the square region is not limited to one location, and there may be a plurality of locations.

認識対象となる領域が存在しない場合(ステップS3;No)は、ステップS1に戻る一方、認識対象となる領域が存在する場合には、認識対象となる領域に、認識精度を高めるために対象領域画像補正処理を行う(ステップS4)。本実施例では、上記したように、3つの車線を1の赤外線ラインセンサカメラ10にて撮像するので、図4に示すように、中央車線を通過する車輌のナンバープレート画像の形状と、右車線を通過する車輌のナンバープレート画像の形状と、左車線を通過する車輌のナンバープレート画像の形状とが異なるので、ナンバープレート画像の形状を、画像認識に適した正面視の画像に補正する。   If there is no region to be recognized (step S3; No), the process returns to step S1, while if there is a region to be recognized, the target region is used to increase the recognition accuracy in the region to be recognized. Image correction processing is performed (step S4). In the present embodiment, as described above, since three lanes are imaged by one infrared line sensor camera 10, as shown in FIG. 4, the shape of the license plate image of the vehicle passing through the center lane and the right lane Since the shape of the license plate image of the vehicle passing through and the shape of the license plate image of the vehicle passing through the left lane are different, the shape of the license plate image is corrected to a front view image suitable for image recognition.

具体的には、中央車線のナンバープレート画像は、図4の領域nに示すように台形状となっているので、該台形状を本来のナンバープレートの長方形の形状に補正し、車輌の進行方向に向かって左車線を通過する車輌のナンバープレート画像は、図4の領域n+3に示すように、左車線の左側位置側の方に伸びるように歪んだ四角形状となっているとともに、車両走行に伴う歪を含むので、該歪んだ四角形状を本来のナンバープレートの長方形の形状に形状補正する。尚、これらの補正としては、例えば、公知のアフィン変換等を実行すれば良い。   Specifically, the license plate image of the center lane has a trapezoidal shape as shown in the area n of FIG. 4. Therefore, the trapezoidal shape is corrected to the original rectangular shape of the license plate, and the traveling direction of the vehicle The license plate image of the vehicle passing through the left lane toward the vehicle is a rectangular shape distorted so as to extend toward the left side of the left lane as shown in the area n + 3 in FIG. Since the accompanying distortion is included, the shape of the distorted square is corrected to the original rectangular shape of the license plate. As these corrections, for example, a known affine transformation or the like may be executed.

尚、本実施例では、従来のエリアセンサにより撮像されたフレームの映像を処理する場合に比較して、1の処理対象の画像のみを処理すれば良いことから、処理に必要とされる演算量を大幅に減少できるので、これら補正としてより複雑なアルゴリズムによる補正を実行するようにしても良い。   In this embodiment, as compared with the case of processing a frame image captured by a conventional area sensor, only one processing target image needs to be processed. Can be greatly reduced, and correction using a more complicated algorithm may be performed as these corrections.

そして、対象領域画像補正処理にて補正したナンバープレート画像(複数の場合には、各ナンバープレート画像)に対して、車番認識処理を行う(ステップS5)。   Then, a vehicle number recognition process is performed on the license plate image corrected in the target area image correction process (in the case of a plurality of license plate images, each license plate image) (step S5).

車番認識処理においては、具体的には、補正後のナンバープレート画像に含まれる漢字やひらがなや数字を、予め記憶装置40に記憶されているナンバープレートに使用されている漢字やひらがなや数字とマッチングさせ、最も一致するものを選択することで読み取りを実施すれば良い。尚、これらの車番認識処理としては、公知の文字認識等の処理を利用することもできる。   In the car number recognition process, specifically, the kanji and hiragana and numbers included in the corrected license plate image are replaced with the kanji and hiragana and numbers used in the license plate stored in the storage device 40 in advance. Reading may be performed by matching and selecting the best match. In addition, as these vehicle number recognition processes, processes, such as well-known character recognition, can also be utilized.

そして、ステップS6に進んで、認識対象領域に対応するエリアセンサ画像のフレーム、例えば、その時に最も近い時点にてエリアセンサカメラ20にて撮像されたフレームと、該フレームの画像における認識対象領域に対応する位置を特定し、特定した位置に該当する車輌領域について、隣接画素の色を集計するビニング処理等を行って、車輌の色を特定する。   Then, the process proceeds to step S6, in which the area sensor image frame corresponding to the recognition target area, for example, the frame imaged by the area sensor camera 20 at the closest time and the recognition target area in the image of the frame are displayed. The corresponding position is specified, and the vehicle color corresponding to the specified position is specified by performing binning processing for summing up the colors of adjacent pixels.

次いで、車番認識処理において認識した車番(認識結果)と該車番認識処理の対象とした、対象領域画像補正処理にて補正したナンバープレート画像に付与したファイル名と、ステップS6にて特定した車輌の色と、ステップS6にて該車輌の色の特定に使用したフレームのエリアセンサカメラ20の画像に付与したファイル名とを、RTCから取得したその時点の日時情報に対応付けて認識結果データに追加した後(ステップS7)、ステップS1に戻る。   Next, the car number (recognition result) recognized in the car number recognition process, the file name given to the license plate image corrected in the target area image correction process, which is the target of the car number recognition process, and the identification in step S6 The recognition result corresponding to the date and time information obtained from the RTC and the file name given to the image of the area sensor camera 20 of the frame used for specifying the color of the vehicle in step S6 After adding to the data (step S7), the process returns to step S1.

尚、画像認識処理の処理対象として特定された領域の時系列2次元画像のうち、時系列的に古い100ピクセルの画像は、ステップS6において、認識結果データへの追加に伴い、画像処理用メモリ26から消去される。但し、これら処理済みの時系列2次元画像の消去タイミングは、画像処理用メモリ26のメモリ容量等から適宜に決定すれば良い。   Of the time-series two-dimensional images of the region specified as the processing target of the image recognition process, an image of 100 pixels that is old in time series is added to the recognition result data in step S6. 26 is erased. However, the erase timing of these processed time-series two-dimensional images may be determined as appropriate from the memory capacity of the image processing memory 26 and the like.

以上、本実施例のナンバープレート読み取り装置によれば、安価で高解像度の赤外線ラインセンサを備える赤外線ラインセンサカメラ10(ラインセンサ撮像手段)を使用してナンバープレートを読み取ることができ、装置のコストを抑えることができるばかりか、従来のイメージセンサを有する撮像カメラを用いて多数のフレーム画像を処理する場合と比較して、ラインセンサ撮像手段を採用することで、時系列2次元画像だけを順次処理することによりナンバープレートを読み取ることができるので、読み取り処理における処理負荷等を大幅に低減することができるとともに、これら多数のフレーム画像を記憶しておく必要もないので、読み取りに使用する画像を記憶するための記憶容量も低減することができる。また、ラインセンサの採用により、例えば8192画素や16384画素などの高分解能センサの入手が可能で、複数車線等の幅広の撮像対象に応じて好適なセンサを選択できるばかりか、エリアセンサと比較して高感度かつ高速なスキャンレートを容易に実現できるため、高速で移動する物体を高い解像度で撮像することが可能となる。   As described above, according to the license plate reading apparatus of the present embodiment, the license plate can be read using the infrared line sensor camera 10 (line sensor imaging means) including an inexpensive and high-resolution infrared line sensor. Compared with the case where a large number of frame images are processed using an imaging camera having a conventional image sensor, the line sensor imaging means is adopted so that only a time-series two-dimensional image is sequentially obtained. Since the license plate can be read by processing, the processing load in the reading process can be greatly reduced, and it is not necessary to store a large number of these frame images. The storage capacity for storing can also be reduced. In addition, by adopting a line sensor, it is possible to obtain high-resolution sensors such as 8192 pixels and 16384 pixels, and not only a suitable sensor can be selected according to a wide imaging target such as a plurality of lanes, but also compared with an area sensor. Therefore, a high-sensitivity and high-speed scan rate can be easily realized, so that an object moving at high speed can be imaged with high resolution.

また、本実施例のナンバープレート読み取り装置によれば、ライン照光装置12を用いているため、照光範囲が狭いとともに、運転者が視認できない赤外線光を用いているので、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができるとともに、照光に要する消費電力も抑えることができる。   In addition, according to the license plate reading device of the present embodiment, because the line illumination device 12 is used, the illumination range is narrow and infrared light that cannot be visually recognized by the driver is used, so the driver is not dazzled. The license plate can be read well, and the power consumption required for illumination can be suppressed.

また、本実施例のナンバープレート読み取り装置によれば、エリアセンサカメラ20により撮像された可視光画像により、車輌の色が特定されるので、読み取ったナンバープレートの車輌の色も解るようになるとともに、ラインセンサの撮像素子を解像度の高いモノクロ撮像素子や赤外線撮像素子にできるので、ラインセンサの解像度を高めつつ、車輌の色も特定することができる。   Further, according to the license plate reading device of the present embodiment, since the color of the vehicle is specified by the visible light image captured by the area sensor camera 20, the color of the vehicle of the read license plate can be understood. Since the image sensor of the line sensor can be a monochrome image sensor or infrared image sensor with high resolution, the color of the vehicle can be specified while increasing the resolution of the line sensor.

また、本実施例のナンバープレート読み取り装置によれば、赤外線ラインセンサカメラ10が、複数の走行車線である3車線に対して1つのみが設けられているため、ナンバープレート読み取り装置の設置コストを低減できるとともに、例えば、赤外線ラインセンサカメラ10の撮像位置において走行車両が、車線移動のために、車線を跨いで走行している場合等であっても、処理負荷が増大することなく良好にナンバープレートを読み取ることができる。   In addition, according to the license plate reading device of this embodiment, only one infrared line sensor camera 10 is provided for three lanes that are a plurality of traveling lanes. For example, even when the traveling vehicle is traveling across the lane for moving the lane at the imaging position of the infrared line sensor camera 10, the number is satisfactorily increased without increasing the processing load. The plate can be read.

以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。   Although the embodiments of the present invention have been described with reference to the drawings, the specific configuration is not limited to these embodiments, and modifications and additions within the scope of the present invention are included in the present invention. It is.

例えば、前記実施例では、本体装置1において、画像処理装置25と制御用コンピュータ50とを個別とした形態を例示したが、本発明はこれに限定されるものではなく、これら画像処理装置25と制御用コンピュータ50とを一体化したものとしても良い。   For example, in the above-described embodiment, the image processing device 25 and the control computer 50 are individually illustrated in the main body device 1, but the present invention is not limited to this, and the image processing device 25 The control computer 50 may be integrated.

また、前記実施例では、図1に示すように、本発明のナンバープレート読み取り装置を、走行車線が3車線の道路に適用した形態を例示しているが、本発明はこれに限定されるものではなく、車線数は1車線であっても良いし、2車線であっても良いし、4車線以上であっても良い。   Moreover, in the said Example, as shown in FIG. 1, although the number plate reader of this invention was illustrated to the form applied to the road of 3 lanes, this invention is limited to this. Instead, the number of lanes may be one lane, two lanes, or four or more lanes.

また、前記実施例では、走行車両を、車輌の前方側から撮像した形態を例示しているが、本発明はこれに限定されるものではなく、車輌の後方から撮像しても良く、この場合にあっては、時系列2次元画像においてナンバープレートの上下方向が反転しているので、上記した時系列2次元画像の補正に加えて上下方向を反転(180度回転)する画像補正を行えば良い。尚、車輌の前方と後方の双方から撮像するようにしても良い。   Further, in the above-described embodiment, the form in which the traveling vehicle is imaged from the front side of the vehicle is illustrated, but the present invention is not limited to this, and may be captured from the rear side of the vehicle. In this case, since the up-and-down direction of the license plate is inverted in the time-series two-dimensional image, in addition to the correction of the time-series two-dimensional image described above, image correction that inverts the vertical direction (rotates 180 degrees) is performed. good. In addition, you may make it image from both the front and back of a vehicle.

また、前記実施例では、赤外線ラインセンサ(モノクロ)を利用した形態を例示したが、本発明はこれに限定されるものではなく、高感度のカラー撮像素子を1列状に配列された可視光ラインセンサを備える可視光ラインセンサカメラのみを用い、該可視光ラインセンサカメラから生成された時系列2次元カラー画像を用いて、ナンバープレートの読み取りと車輌の色の特定とを行うようにしても良い。尚、この場合においては、車輌の後方のナンバープレートは、照光が義務づけられているので、撮像方向を後方とすることで、より確実にナンバープレートを読み取ることができる。   Moreover, in the said Example, although the form using an infrared line sensor (monochrome) was illustrated, this invention is not limited to this, The visible light which arranged the highly sensitive color image sensor in 1 row form Using only a visible light line sensor camera equipped with a line sensor, and using a time-series two-dimensional color image generated from the visible light line sensor camera, the license plate is read and the color of the vehicle is specified. good. In this case, since the license plate at the rear of the vehicle is required to be illuminated, the license plate can be read more reliably by setting the imaging direction to the rear.

また、前記実施例では、車輌の色を特定しているが、本発明はこれに限定されるものではなく、例えば、赤外線ラインセンサカメラ10のみを設置して、エリアセンサカメラ20を設置しない構成として、車輌の色を特定しないようにしても良い。   Moreover, in the said Example, although the color of the vehicle is specified, this invention is not limited to this, For example, the structure which installs only the infrared line sensor camera 10 and does not install the area sensor camera 20 As such, the color of the vehicle may not be specified.

また、前記実施例では、実施していないが、撮像された時系列2次元画像におけるナンバープレートの時系列方向の大きさに基づいて、走行車両の速度も特定して、特定した速度を含む認識結果データを記憶するようにしても良い。   Further, although not implemented in the above embodiment, the speed of the traveling vehicle is also identified based on the size of the license plate in the time-series direction in the captured time-series two-dimensional image, and the recognition including the identified speed is performed. The result data may be stored.

1 本体装置
5 架設体
10 赤外線ラインセンサカメラ
12 ライン照光装置
20 エリアセンサカメラ
25 画像処理装置
26 画像処理用メモリ
40 記憶装置
50 制御用コンピュータ
DESCRIPTION OF SYMBOLS 1 Main body apparatus 5 Construction body 10 Infrared line sensor camera 12 Line illumination apparatus 20 Area sensor camera 25 Image processing apparatus 26 Memory for image processing 40 Storage apparatus 50 Control computer

Claims (6)

ナンバープレートが装着された車輌が走行する走行車線を横断するように該走行車線の上方空間に架設された架設体と、
撮像素子が1列状に配列されたラインセンサを有し、該撮像素子の配列方向が前記走行車線を横断する方向となるとともに、前記走行車線を走行する車輌を該車輌の斜め上方から撮像可能となるように前記架設体に設置されるラインセンサ撮像手段と、
前記ラインセンサ撮像手段にて撮像された時系列のラインセンサ画像から2次元画像を生成する時系列2次元画像生成手段と、
前記時系列2次元画像生成手段にて生成された2次元画像に含まれるナンバープレートの画像にもとづいて、ナンバープレートを読み取る読み取り手段と、
を備えることを特徴とするナンバープレート読み取り装置。
A construction body constructed in a space above the traveling lane so as to cross the traveling lane in which the vehicle on which the license plate is mounted travels;
The image sensor has a line sensor arranged in a line, the array direction of the image sensor is a direction crossing the travel lane, and the vehicle traveling in the travel lane can be imaged from an obliquely upper side of the vehicle A line sensor imaging means installed on the installation body so that
Time-series two-dimensional image generation means for generating a two-dimensional image from a time-series line sensor image imaged by the line sensor imaging means;
Reading means for reading the license plate based on the image of the license plate included in the two-dimensional image generated by the time-series two-dimensional image generating means;
A license plate reading apparatus comprising:
前記ラインセンサ撮像手段の撮像領域を帯状に照光する照光手段を備えることを特徴とする請求項1に記載のナンバープレート読み取り装置。   The license plate reading apparatus according to claim 1, further comprising an illumination unit that illuminates an imaging region of the line sensor imaging unit in a strip shape. 前記撮像素子が赤外線撮像素子であって、
前記照光手段は、前記赤外線撮像素子が撮像可能な赤外線により帯状の前記撮像領域を照光することを特徴とする請求項2に記載のナンバープレート読み取り装置。
The image sensor is an infrared image sensor,
The license plate reading apparatus according to claim 2, wherein the illumination unit illuminates the band-shaped imaging region with infrared rays that can be imaged by the infrared imaging element.
前記走行車線を走行する車輌の色を特定する車輌色特定手段を備え、
前記車輌色特定手段にて特定した車輌の色のデータを、前記読み取り手段による読み取りデータに対応付けて記憶する記憶手段を備えることを特徴とする請求項1〜3のいずれかに記載のナンバープレート読み取り装置。
Vehicle color specifying means for specifying the color of a vehicle traveling in the travel lane,
4. The license plate according to claim 1, further comprising storage means for storing the color data of the vehicle specified by the vehicle color specifying means in association with the read data by the reading means. Reading device.
前記撮像素子がモノクロ撮像素子であって、
前記車輌色特定手段は、前記走行車線を撮像可能に前記架設体に前記ラインセンサ撮像手段と並設されたカラー画像撮像手段を含み、該カラー画像撮像手段にて撮像されたカラー画像にもとづいて車輌の色を特定することを特徴とする請求項4に記載のナンバープレート読み取り装置。
The image sensor is a monochrome image sensor,
The vehicle color specifying means includes color image imaging means arranged in parallel with the line sensor imaging means on the installation body so as to be able to take an image of the traveling lane, and based on a color image taken by the color image imaging means. The license plate reading device according to claim 4, wherein a color of the vehicle is specified.
前記ラインセンサ撮像手段は、複数の走行車線に対して1つのみが設けられていることを特徴とする請求項1〜5のいずれかに記載のナンバープレート読み取り装置。   6. The license plate reading apparatus according to claim 1, wherein only one line sensor imaging unit is provided for a plurality of traveling lanes.
JP2014225884A 2014-11-06 2014-11-06 License plate reader Pending JP2016091346A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014225884A JP2016091346A (en) 2014-11-06 2014-11-06 License plate reader

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014225884A JP2016091346A (en) 2014-11-06 2014-11-06 License plate reader

Publications (1)

Publication Number Publication Date
JP2016091346A true JP2016091346A (en) 2016-05-23

Family

ID=56019680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014225884A Pending JP2016091346A (en) 2014-11-06 2014-11-06 License plate reader

Country Status (1)

Country Link
JP (1) JP2016091346A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199504B2 (en) * 2017-12-08 2021-12-14 Nippon Steel Corporation Shape inspection apparatus and shape inspection method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199504B2 (en) * 2017-12-08 2021-12-14 Nippon Steel Corporation Shape inspection apparatus and shape inspection method

Similar Documents

Publication Publication Date Title
JP6176028B2 (en) Vehicle control system, image sensor
US10275669B2 (en) System and method for detecting objects in an automotive environment
KR102385280B1 (en) Camera system and method for contextually capturing the surrounding area of a vehicle
JP3909691B2 (en) In-vehicle image processing device
JP4725391B2 (en) Visibility measuring device for vehicle and driving support device
US9619895B2 (en) Image processing method of vehicle camera and image processing apparatus using the same
JP6137081B2 (en) Car equipment
US20150371097A1 (en) Image recognition system for vehicle for traffic sign board recognition
JP2008021196A (en) Surrounding recognition device and system for vehicle
KR102397156B1 (en) A method of providing a camera system and driver assistance functions for photographing the surrounding area of one's vehicle
WO2014084251A1 (en) Onboard image processing system
KR102431215B1 (en) Camera system and method for capturing the surrounding area of a vehicle
JP2009017157A (en) Image processor, method and program
JP2005323190A (en) Imaging system and imaging method
JP2009156704A (en) Brightness measuring device and method of display panel, and display device
JP2012027773A (en) Pseudo grayscale image generation device and program
JP6280659B2 (en) Vehicle monitoring apparatus and vehicle monitoring method
JP2014165638A (en) Image processing device, image pickup device, moving body control system, and program
JP2015148887A (en) Image processing device, object recognition device, moving body instrument control system and object recognition program
US20150165978A1 (en) Device and method for recording images of a vehicle underbody
CN110536814B (en) Camera device and method for detecting a region of the surroundings of a vehicle in response to the surroundings
JP5986206B2 (en) Image processing apparatus, imaging apparatus, moving object, program, and region setting method
JP2010020710A (en) Device for detecting road side fixed object
JP2007124676A (en) On-vehicle image processor
JP2016091346A (en) License plate reader