JP2016091346A - License plate reader - Google Patents
License plate reader Download PDFInfo
- Publication number
- JP2016091346A JP2016091346A JP2014225884A JP2014225884A JP2016091346A JP 2016091346 A JP2016091346 A JP 2016091346A JP 2014225884 A JP2014225884 A JP 2014225884A JP 2014225884 A JP2014225884 A JP 2014225884A JP 2016091346 A JP2016091346 A JP 2016091346A
- Authority
- JP
- Japan
- Prior art keywords
- image
- license plate
- vehicle
- line sensor
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Character Discrimination (AREA)
Abstract
Description
本発明は、走行中の車輌のナンバープレートを読み取るナンバープレート読み取り装置に関する。 The present invention relates to a license plate reading device that reads a license plate of a running vehicle.
従来、走行中の車輌のナンバープレートを読み取るナンバープレート読み取り装置としては、高解像度のイメージセンサを有する撮像カメラを各走行車線に対応して配置し、それぞれの撮像カメラにおいて撮像された画像のうち、ナンバープレートが映っている複数のフレーム画像を処理して、それぞれの撮像カメラ毎に読み取りを行い、複数のカメラの読み取り結果を参照して、文字列を補完してナンバープレートの読み取りの精度を向上させたものがある(例えば、特許文献1参照)。
また、従来のナンバープレート読み取り装置として、幅方向に複数の走行車線にわたって撮像可能なエリアセンサを設置したものがあり、複数車線の同時監視や、撮像領域において車線間をまたいで走行する車両に対応して撮像するようにしたものがある(特許文献2参照)。
更に、ナンバープレート読み取り装置に用いるカメラとして、比較的広角で解像度の低いカメラと、小さい画角で撮像方向やズームを調整可能なPTZカメラとを組み合わせ特定車線を撮像するようにしたものがある(特許文献3参照)。
Conventionally, as a license plate reading device that reads a license plate of a running vehicle, an imaging camera having a high-resolution image sensor is arranged corresponding to each traveling lane, and among images captured by each imaging camera, Processes multiple frame images showing the license plate, reads each imaged camera, references the reading results of the multiple cameras, complements the character string, and improves the accuracy of license plate reading (For example, refer to Patent Document 1).
In addition, as a conventional license plate reader, there is an area sensor that can be imaged across multiple lanes in the width direction, for simultaneous monitoring of multiple lanes and for vehicles that run across lanes in the imaging area In some cases, an image is captured (see Patent Document 2).
Furthermore, as a camera used for a license plate reading device, there is a camera that captures a specific lane by combining a camera with a relatively wide angle and a low resolution with a PTZ camera capable of adjusting an imaging direction and zoom with a small angle of view ( (See Patent Document 3).
しかしながら、特許文献1にあっては、各撮像カメラで撮像された全てのフレーム画像からナンバープレートが映っている多数のフレーム画像を特定し、該特定した多数のフレーム画像を処理してナンバープレートを読み取る場合があり、この場合、読み取りに要する処理負荷が非常に大きくなる虞があった。
また、特許文献2にあっては、エリアセンサを用いた複数車線の同時監視や、車線間をまたいで走行する車両に対応して撮像するためには、高解像度の撮影が必須となるが、エリアセンサの場合、解像度の増加に伴い感度が低下するため、満足な画像精度が得られず実現性に乏しいという問題があった。
更に、特許文献3にあっては、撮像可能領域が特定車線のみに限られており、幅方向に制限されるため、例えば車線間をまたいで走行する車両を当該カメラで撮像することは困難であった。
However, in
In addition, in Patent Document 2, high-resolution imaging is indispensable for simultaneous monitoring of multiple lanes using an area sensor and imaging corresponding to a vehicle traveling across lanes. In the case of an area sensor, since the sensitivity decreases as the resolution increases, there is a problem in that satisfactory image accuracy cannot be obtained and feasibility is poor.
Furthermore, in Patent Document 3, the imageable area is limited to only a specific lane and is limited in the width direction. For example, it is difficult to image a vehicle traveling across lanes with the camera. there were.
本発明は、このような問題点に着目してなされたもので、読み取りに要する処理負荷を低減することのできるうえに、複数車線にわたり走行する車両等の幅広の撮像対象を同時かつ高解像度・高感度で撮像し処理することができるナンバープレート読み取り装置を提供することを目的とする。 The present invention has been made paying attention to such problems, and can reduce the processing load required for reading, and can simultaneously capture a wide imaging target such as a vehicle traveling in a plurality of lanes with high resolution. An object of the present invention is to provide a license plate reader capable of imaging and processing with high sensitivity.
前記課題を解決するために、本発明の請求項1に記載のナンバープレート読み取り装置は、
ナンバープレートが装着された車輌が走行する走行車線を横断するように該走行車線の上方空間に架設された架設体と、
撮像素子が1列状に配列されたラインセンサを有し、該撮像素子の配列方向が前記走行車線を横断する方向となるとともに、前記走行車線を走行する車輌を該車輌の斜め上方から撮像可能となるように前記架設体に設置されるラインセンサ撮像手段と、
前記ラインセンサ撮像手段にて撮像された時系列のラインセンサ画像から2次元画像を生成する時系列2次元画像生成手段と、
前記時系列2次元画像生成手段にて生成された2次元画像に含まれるナンバープレートの画像にもとづいて、ナンバープレートを読み取る読み取り手段と、
を備えることを特徴としている。
この特徴によれば、従来のイメージセンサを有する撮像カメラを用いて多数のフレーム画像を処理する場合と比較して、ラインセンサ撮像手段を採用することで、時系列のラインセンサ画像から生成された時系列2次元画像だけを順次処理することによりナンバープレートを読み取ることができるので、読み取り処理における処理負荷等を大幅に低減することができるうえに、ラインセンサの採用により、例えば8192画素や16384画素などの高分解能センサの入手が可能で、複数車線等の幅広の撮像対象に応じて好適なセンサを選択できるばかりか、エリアセンサと比較して高感度かつ高速なスキャンレートを容易に実現できるため、高速で移動する物体を高い解像度で撮像することが可能となる。
In order to solve the above-mentioned problem, a license plate reading device according to
A construction body constructed in a space above the traveling lane so as to cross the traveling lane in which the vehicle on which the license plate is mounted travels;
The image sensor has a line sensor arranged in a line, the array direction of the image sensor is a direction crossing the travel lane, and the vehicle traveling in the travel lane can be imaged from an obliquely upper side of the vehicle A line sensor imaging means installed on the installation body so that
Time-series two-dimensional image generation means for generating a two-dimensional image from a time-series line sensor image imaged by the line sensor imaging means;
Reading means for reading the license plate based on the image of the license plate included in the two-dimensional image generated by the time-series two-dimensional image generating means;
It is characterized by having.
According to this feature, compared to the case where a large number of frame images are processed using an imaging camera having a conventional image sensor, the line sensor imaging unit is used to generate the time-series line sensor image. Since the license plate can be read by sequentially processing only the time-series two-dimensional image, the processing load in the reading process can be greatly reduced, and the use of a line sensor, for example, 8192 pixels or 16384 pixels. High-resolution sensors such as multiple lanes can be obtained, and a suitable sensor can be selected according to a wide imaging target such as multiple lanes, and a high-sensitivity and high-speed scan rate can be easily realized compared to area sensors. It is possible to image an object moving at high speed with high resolution.
本発明の請求項2に記載のナンバープレート読み取り装置は、請求項1に記載のナンバープレート読み取り装置であって、
前記ラインセンサ撮像手段の撮像領域を帯状に照光する照光手段を備えることを特徴としている。
この特徴によれば、照光範囲が狭いので、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができるとともに、照光に要する消費電力も抑えることができる。
A license plate reader according to claim 2 of the present invention is the license plate reader according to
An illumination unit that illuminates the imaging region of the line sensor imaging unit in a strip shape is provided.
According to this feature, since the illumination range is narrow, the license plate can be satisfactorily read without dazzling the driver, and the power consumption required for illumination can be suppressed.
本発明の請求項3に記載のナンバープレート読み取り装置は、請求項2に記載のナンバープレート読み取り装置であって、
前記撮像素子が赤外線撮像素子であって、
前記照光手段は、前記赤外線撮像素子が撮像可能な赤外線により帯状の前記撮像領域を照光することを特徴としている。
この特徴によれば、ドライバが視認できない赤外線を用いるので、より一層、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができる。
The license plate reader according to claim 3 of the present invention is the license plate reader according to claim 2,
The image sensor is an infrared image sensor,
The illumination means illuminates the band-shaped imaging region with infrared rays that can be imaged by the infrared imaging element.
According to this feature, since the infrared light that cannot be visually recognized by the driver is used, the license plate can be read well without further dazzling the driver.
本発明の請求項4に記載のナンバープレート読み取り装置は、請求項1〜3のいずれかに記載のナンバープレート読み取り装置であって、
前記走行車線を走行する車輌の色を特定する車輌色特定手段を備え、
前記車輌色特定手段にて特定した車輌の色のデータを、前記読み取り手段による読み取りデータに対応付けて記憶する記憶手段を備えることを特徴としている。
この特徴によれば、読み取ったナンバープレートの車輌の色も解るようになる。
The license plate reader according to claim 4 of the present invention is the license plate reader according to any one of
Vehicle color specifying means for specifying the color of a vehicle traveling in the travel lane,
The vehicle color data of the vehicle specified by the vehicle color specifying means is stored in association with the read data by the reading means.
According to this feature, the color of the read license plate vehicle can also be understood.
本発明の請求項5に記載のナンバープレート読み取り装置は、請求項4に記載のナンバープレート読み取り装置であって、
前記撮像素子がモノクロ撮像素子であって、
前記車輌色特定手段は、前記走行車線を撮像可能に前記架設体に前記ラインセンサ撮像手段と並設されたカラー画像撮像手段を含み、該カラー画像撮像手段にて撮像されたカラー画像にもとづいて車輌の色を特定することを特徴としている。
この特徴によれば、ラインセンサの撮像素子をモノクロにできるので、ラインセンサの解像度を高めつつ、車輌の色も特定することができる。
The license plate reader according to
The image sensor is a monochrome image sensor,
The vehicle color specifying means includes color image imaging means arranged in parallel with the line sensor imaging means on the installation body so as to be able to take an image of the traveling lane, and based on a color image taken by the color image imaging means. It is characterized by specifying the color of the vehicle.
According to this feature, since the image sensor of the line sensor can be monochrome, the color of the vehicle can be specified while increasing the resolution of the line sensor.
本発明の請求項6に記載のナンバープレート読み取り装置は、請求項1〜5のいずれかに記載のナンバープレート読み取り装置であって、
前記ラインセンサ撮像手段は、複数の走行車線に対して1つのみが設けられていることを特徴としている。
この特徴によれば、ナンバープレート読み取り装置の設置コストを低減できるとともに、車輌が車線を移動しても、処理負荷が増大することなく良好にナンバープレートを読み取ることができる。
The license plate reader according to claim 6 of the present invention is the license plate reader according to any one of
Only one line sensor imaging means is provided for a plurality of traveling lanes.
According to this feature, the installation cost of the license plate reader can be reduced, and the license plate can be satisfactorily read without increasing the processing load even when the vehicle moves in the lane.
本発明に係るナンバープレート読み取り装置を実施するための形態を実施例に基づいて以下に説明する。 An embodiment for implementing a license plate reading apparatus according to the present invention will be described below based on an example.
実施例に係るナンバープレート読み取り装置につき、図1から図4を参照して説明する。 A license plate reading apparatus according to an embodiment will be described with reference to FIGS.
本実施例のナンバープレート読み取り装置は、図1に示すように、赤外線撮像素子が1列状に配列された赤外線ラインセンサを備えるとともに、該赤外線ラインセンサによる撮像を行うための赤外線光学機構を備えた赤外線ラインセンサカメラ10と、通過する車輌の色を特定するために使用され、可視光の撮像素子が2次元的に平面状に配列されたエリアセンサを備えるとともに、該エリアセンサによる撮像を行うための光学機構を備えたエリアセンサカメラ20と、赤外線ラインセンサカメラ10の輝線状の撮像領域を帯状に照らすための近赤外線を照射するライン照光装置12と、車輌の走行車線を横断するように該走行車線の上方空間に架設され、赤外線ラインセンサカメラ10、エリアセンサカメラ20並びにライン照光装置12が設置される架設体5と、これら赤外線ラインセンサカメラ10、エリアセンサカメラ20並びにライン照光装置12が接続される本体装置1と、から主に構成されている。
As shown in FIG. 1, the license plate reading apparatus of the present embodiment includes an infrared line sensor in which infrared imaging elements are arranged in a line, and an infrared optical mechanism for performing imaging by the infrared line sensor. The infrared
本実施例に用いた架設体5は、鉄骨製の構造体とされており、通路の側方に立設された2つの支柱体と、該2つの支柱体の間に掛け渡された橋脚体とからなり、橋脚体のほぼ中央位置、つまり、3つの車線の中央車線の上方となる位置に、赤外線ラインセンサカメラ10、エリアセンサカメラ20、ライン照光装置12が橋脚体から吊り下げられる形態にて、道路面から約5メートル程度の高さ位置に、走行車線を通過する車輌を、斜め上方の所定角度から撮像できるように設置されている。なお、本発明の架設体は、必ずしも上記したように、走行車線の両側方に立設された2つの支柱体と、該支柱体間に架け渡された橋脚体とからなるものに限られず、例えば、通路の片側方のみに立設された1つの支柱体と、該支柱体から横持ち状態で走行車線の上方に架設された橋脚体とからなるものであってもよい。
The
尚、走行車線を通過する車輌を撮像する角度は、これが大きいと、ナンバープレートを撮像しても、その時系列2次元画像の時系列方向の幅が非常に小さくなってしまうとともに、プレートの数字等の変形も大きくなってしまい、後述するように、画像の補正を行っても認識の精度が低下してしまう一方、撮像する角度が小さいと、赤外線ラインセンサカメラ10と撮像対象の車輌までの距離が大きくなって、振動の影響や前方の車両の陰となってナンバープレートを撮像できない可能性が高くなってしまうことから、好ましくは30〜45度の範囲の角度とすることが好ましい。
If the angle at which the vehicle passing through the traveling lane is imaged is large, even if the license plate is imaged, the width in the time-series direction of the time-series two-dimensional image becomes very small, and the number of the plate, etc. As will be described later, the accuracy of recognition is reduced even when image correction is performed. On the other hand, if the imaging angle is small, the distance between the infrared
また、エリアセンサカメラ20は、図1に示すように、撮像位置(画角)が赤外線ラインセンサカメラ10の撮像位置とほぼ一致するように設置されていれば良く、赤外線ラインセンサカメラ10により撮像されたナンバープレートに対応する車輌を、赤外線ラインセンサカメラ10による画像の水平方向の位置と、撮像時とから特定できるようになっていれば良い。
As shown in FIG. 1, the
尚、本実施例では、ラインセンサカメラ10やエリアセンサカメラ20には、車両の通過に伴う振動によるブレを防止するための図示しないブレ防止機構が内蔵されている。また、これらブレ防止機構に加えて、支柱体には、図示しないが、道路を通過する車輌による振動が支柱体に伝わることを防止するとともに、支柱体からさらに橋脚体に振動が伝搬して橋脚体が揺れてしまうことを防止するための防振部が設けられており、通過車輌による振動が橋脚体に伝搬してしまうことによって橋脚体が揺れて、良好な撮像ができなくなってしまったり、読み取りの精度が低下してしまうことを防止できるようになっているが、本発明はこれに限定されるものではなく、例えば、ラインセンサカメラ10やエリアセンサカメラ20に内蔵されているブレ防止機構のみ十分な振動対策が出来る場合等にあっては、これら架設体5に防振部を設けなくても良い。
In this embodiment, the
赤外線ラインセンサカメラ10は、1次元の線状の画像を撮影可能な赤外線ラインセンサ(モノクロ)と、該赤外線ラインセンサ(モノクロ)による撮像を可能とするための赤外線レンズ等の赤外線光学機構と、振動によるブレを防止するための公知のブレ防止機構を有している。
The infrared
これら赤外線ラインセンサ(モノクロ)には、公知の赤外線ラインセンサを使用することができる。 As these infrared line sensors (monochrome), known infrared line sensors can be used.
これら赤外線ラインセンサは、撮像素子の両側に信号線を形成できるので、エリアセンサに比較して、高精細、高感度のセンサを低コストにて入手することができる。これら赤外線ラインセンサの素子数は、得られる時系列2次元画像の解像度となることから、赤外線ラインセンサカメラ10が設置される道路の車線数等に応じたものを使用すれば良い。
Since these infrared line sensors can form signal lines on both sides of the image sensor, a high-definition and high-sensitivity sensor can be obtained at a lower cost than an area sensor. Since the number of elements of these infrared line sensors is the resolution of the obtained time-series two-dimensional image, it is sufficient to use one according to the number of lanes on the road where the infrared
例えば、解像度8192ピクセルの市販品の赤外線ラインセンサを利用することで、本実施例のように、1車線3.6メートルの走行車線の3車線同時監視を行っても1.3〜1.5ミリ/ピクセル程度の水平解像度の実現が可能となる。これはナンバープレート1 枚の横方向サイズに対して220〜250ピクセルの分解能に相当し、画像処理による読み取り(車番認識)に十分な解像度である。 For example, by using a commercially available infrared line sensor with a resolution of 8192 pixels, even if three-lane simultaneous monitoring of a driving lane of 3.6 meters is performed as in this embodiment, it is 1.3 to 1.5. A horizontal resolution of about millimeter / pixel can be realized. This corresponds to a resolution of 220 to 250 pixels with respect to the lateral size of one license plate, which is sufficient for reading by image processing (vehicle number recognition).
つまり、使用する赤外線ラインセンサの画素数は、撮像する車線の総幅を撮像したときに、ナンバープレート1枚の横方向サイズに対して、画像処理による読み取り(車番認識)に必要となる画素数(例えば200ピクセル)が割り当てられるようなものとすればよい。 In other words, the number of pixels of the infrared line sensor to be used is the number of pixels required for reading (vehicle number recognition) by image processing with respect to the lateral size of one license plate when the total width of the lane to be imaged is imaged. A number (for example, 200 pixels) may be assigned.
これに対し、エリアセンサカメラ20の解像度は、車輌の色を特定できるものであれば良いので、赤外線ラインセンサカメラ10に比較して低解像度のもので良いが、車輌の色を特定するために可視光の撮像素子を使用する必要がある。但し、可視光の撮像素子を使用した場合において、撮像のために可視光の照光装置を使用すると、車輌の前方斜め上方から可視光を車輌に照射することになってしまい、運転者を眩惑してしまう可能性があるため、高感度な撮像素子を使用した高感度撮像カメラを使用することで、可視光の照光装置を用いることなく撮像できるようにすることが好ましい。尚、高感度撮像カメラとしては、市販されている高感度撮像カメラを好適に利用することができる。
On the other hand, the resolution of the
上記のように、本実施例では、ナンバープレートの読み取り(車番認識)を行うためのカメラと、車輌の色特定を行うためのカメラとを個別のカメラとすることで、車輌の色特定を行うためのカメラを高感度の可視光カメラとすることができ、その結果、可視光を車輌に照射することなしに車輌の色を特定できるようになっている。 As described above, in this embodiment, the camera for color plate reading (vehicle number recognition) and the camera for specifying the color of the vehicle are separate cameras, so that the color of the vehicle can be specified. The camera to be used can be a highly sensitive visible light camera, and as a result, the color of the vehicle can be specified without irradiating the vehicle with visible light.
ライン照光装置12は、赤外線ラインセンサカメラ10が撮像可能な近赤外線光を帯状に放射することが可能とされている。具体的には、発光光源となる赤外線LEDを1列状に配列するとともに、該赤外線LEDから発光された近赤外線光を帯状の光束に変換するシリンドリカルレンズを備えている。
The
尚、本実施例では、ライン照光装置12を1列状の赤外線LEDとシリンドリカルレンズとを有するものを例示しているが、本発明はこれに限定されるものではなく、赤外線ラインセンサカメラ10が撮像可能な近赤外線光を発光可能なものであれば、照光装置として使用できることはいうまでもない。但し、本実施例のように、照光装置をライン照光装置12とすることで、無駄な領域を照らすことがないので、装置の消費電力を抑えることができる。
In the present embodiment, the
これらライン照光装置12が照射する帯状の照射範囲の幅としては、赤外線ラインセンサカメラ10の撮像範囲を照らすことができれば、撮像範囲の1ピクセルの幅でも良いが、この場合、ライン照光装置12と赤外線ラインセンサカメラ10との位置合わせが非常に難しくなってしまうとともに、振動等によってライン照光装置12の照光領域が移動して赤外線ラインセンサカメラ10の撮像位置から離れてしまう可能性があるので、ある程度の幅を有するようにしておくことが好ましいが、逆に、この照光領域の幅が広いと、赤外線LEDの発光光量を増やす必要があり、赤外線LEDの消費電力が増大してしまうので、必要最小限の幅、例えば、5〜10センチ程度にすれば良い。
The width of the band-shaped irradiation range irradiated by these
尚、本実施例では、ライン照光装置12の照射を連続照射としているが、本発明はこれに限定されるものではなく、照射に伴う消費電力を低減することを目的として、赤外線ラインセンサカメラ10の画像がスキャンされるタイミングにおいてだけ、赤外線LEDを発光させるようにしても良い。
In the present embodiment, the irradiation of the
次に、図2を用いて本体装置1について説明する。本体装置1には、図2に示すように、前述した赤外線ラインセンサカメラ10、エリアセンサカメラ20、ライン照光装置12が接続されている。
Next, the
本体装置1は、読み取り装置全体の動作制御を行う制御用コンピュータ50と、画像処理を行うためのDSP等のデバイスか構成される画像処理装置25とを有しており、画像処理装置25には、赤外線ラインセンサカメラ10やエリアセンサカメラ20が接続されていて、赤外線ラインセンサカメラ10やエリアセンサカメラ20にて撮像された画像のデータが画像処理装置25に入力されるようになっている。
The
また、画像処理装置25には画像処理用メモリ26が接続されていて、該画像処理用メモリ26に、画像処理装置25が画像処理を行うために画像等を記憶できるようになっている。
In addition, an
画像処理装置25には、接続されている赤外線ラインセンサカメラ10からの画像を、画像処理用メモリ26の所定の記憶領域に時系列に積み重ねて時系列2次元画像を生成する2次元画像生成処理部と、該2次元画像生成処理部にて生成された時系列2次元画像と、エリアセンサカメラ20にて撮像された可視光画像とに基づいて、ナンバープレートの読み取りと車輌の色を特定する画像認識処理(図3参照)を行う画像認識処理部とが設けられている。
The
2次元画像生成処理部は、通過する車輌の速度を考慮して予め設定されたスキャンレートにて、赤外線ラインセンサカメラ10からラインセンサ画像を取得し、該取得したラインセンサ画像を順次積み重ねて時系列2次元画像を生成し、画像処理用メモリ26に記憶する機能部である。
The two-dimensional image generation processing unit acquires line sensor images from the infrared
よって、2次元画像生成処理部にて生成される時系列2次元画像の時系列方向の解像度は、スキャンレートに依存することになり、通過する車輌の速度が速くなれば、ナンバープレートが映っているラインセンサ画像の数が減少することになるが、一般道路での車輌の通過速度は50〜100Km/hであり、たとえ、100Km/hで車輌が通過しても、20KHz程度のスキャンレートでラインセンサ画像を取得することにより、時系列2次元画像の時系列方向の解像度は200ピクセル以上を確保できるとともに、一般的に、ラインセンサ画像のスキャンレートは数百KHz程度であるので、通過する車輌の最高速度においても、画像認識処理が可能な200ピクセル以上の解像度を確保できるスキャンレートを予め設定しておけば良い。 Therefore, the resolution in the time-series direction of the time-series two-dimensional image generated by the two-dimensional image generation processing unit depends on the scan rate. If the speed of the passing vehicle increases, the license plate is reflected. Although the number of line sensor images will decrease, the speed of vehicles passing on ordinary roads is 50-100 km / h, even if the vehicles pass at 100 km / h, at a scan rate of about 20 kHz. By acquiring the line sensor image, the resolution in the time series direction of the time series two-dimensional image can be secured at 200 pixels or more, and generally, the scan rate of the line sensor image is about several hundreds KHz, so it passes. It is only necessary to set a scan rate that can ensure a resolution of 200 pixels or higher that allows image recognition processing even at the maximum speed of the vehicle. .
尚、本実施例では実施していないが、これらスキャンレートを車輌の速度に応じて変更するようにしても良い。例えば、道路が渋滞していて車輌の速度が低い場合には、スキャンレートを低下させ、車輌の速度が一定速度(例えば、40Km/h)以上であれば、予め設定されたスキャンレートとするようにしても良いし、車輌の速度が上限速度(例えば、100Km/h)を超える場合には、一時的に、予め設定されたスキャンレートよりも早いスキャンレートにてスキャンするようにしても良い。 Although not implemented in this embodiment, these scan rates may be changed according to the speed of the vehicle. For example, if the road is congested and the vehicle speed is low, the scan rate is reduced. If the vehicle speed is equal to or higher than a certain speed (for example, 40 km / h), a preset scan rate is set. Alternatively, when the speed of the vehicle exceeds the upper limit speed (for example, 100 Km / h), scanning may be temporarily performed at a scan rate faster than a preset scan rate.
また、ライン照光装置12は制御用コンピュータ50に接続され、該ライン照光装置12の点灯制御や点灯状況の監視が制御用コンピュータ50において行われる。
The
本実施例の制御用コンピュータ50には、認識結果データを表示出力するための表示装置30や、認識結果データを記憶するための記憶装置40も接続されている。
The
尚、表示装置30は必須な装置ではなく、これら表示装置30に代えて、記憶装置40に記憶されている認識結果データを外部に送信するための通信装置や、本体装置1に着脱可能な外部記憶装置を接続するためのインターフェイスを設けるようにしても良い。
The
本実施例の制御用コンピュータ50には、制御用プログラム等が記憶された不揮発性メモリであるROM(図示略)や、日時や時刻の情報を出力可能なリアルタイムクロック(RTC)が設けられている。
The
ここで、記憶装置40に記憶されている本実施例の認識結果データについて説明すると、本実施例の認識結果データは、図2に示すように、車輌が通過してナンバープレートの読み取りが実行され日時(車輌の通過時刻とほぼ同一)に対応付けて、ナンバープレートの認識結果(読み取り結果)、認識対象となったナンバープレートのラインセンサ画像のファイル名、特定された車輌色、該車輌色の特定に使用したエリアセンサの画像のファイル名とが記憶されており、通過した車輌のナンバープレートと色、および通過日時とが特定できるようになっている。
Here, the recognition result data of this embodiment stored in the
尚、本実施例の認識結果データの形態は一例であり、本実施例とは異なる形態の認識結果データとしても良いことはいうまでもない。 It should be noted that the form of the recognition result data in the present embodiment is an example, and needless to say, the recognition result data may be in a form different from that in the present embodiment.
図3は、本実施例の画像認識処理部にて実行される画像認識処理の一例を示すフロチャートである。画像認識処理においては、まず、画像認識の実行タイミングであるか否かを判定する(ステップS1)。つまり、本実施例では、赤外線ラインセンサを用いているために、該赤外線ラインセンサにて撮像した1のラインセンサ画像だけでは画像認識をすることは不可能であるので、例えば、ナンバープレートの認識に必要な画素数である200ピクセル程度のラインセンサ画像による時系列2次元画像が蓄積されたタイミング(例えば、20KHzの場合には、200ピクセルが蓄積された10ミリ秒毎)で画像認識を実行する。 FIG. 3 is a flowchart showing an example of image recognition processing executed by the image recognition processing unit of the present embodiment. In the image recognition processing, first, it is determined whether or not it is the execution timing of image recognition (step S1). That is, in this embodiment, since an infrared line sensor is used, it is impossible to perform image recognition using only one line sensor image captured by the infrared line sensor. Image recognition is performed at the timing when a time-series two-dimensional image is accumulated by a line sensor image of about 200 pixels, which is the number of pixels required for the image (for example, every 20 milliseconds when 200 pixels are accumulated in the case of 20 KHz) To do.
画像認識の実行タイミングである場合には(ステップS1;Yes)、画像処理用メモリ26に記憶されている時系列2次元画像のうち、新たに蓄積された200ピクセル分と、その直前に蓄積された100ピクセル分の合計300ピクセル分の領域を処理対象の領域として特定して抽出する(ステップS2)。
When it is the execution timing of the image recognition (step S1; Yes), the newly accumulated 200 pixels of the time-series two-dimensional image stored in the
このように本実施例では、処理対象の領域として、新たに蓄積された200ピクセル分と、その直前に蓄積された100ピクセル分の合計300ピクセル分の領域を特定して抽出するので、図4に示すように、処理対象の領域が半分ずつ移動して処理に供されるようになるため、例えば、領域n+2の終了位置に示されるように、画像認識のタイミングにおいてナンバープレートの全体が未だ撮像されていない場合、つまり、画像認識のタイミングにおいてナンバープレートが赤外線ラインセンサカメラ10の撮像領域を通過中である場合であっても、次の画像認識においては領域n+3が処理領域として特定されて、ナンバープレートの全体が撮像された状態で画像認識が実行されるので、画像認識を間歇的に実行しても認識の精度が低下することがないようになっている。
In this way, in this embodiment, as the processing target area, the newly accumulated 200 pixels and the area of 300 pixels in total, which is 100 pixels accumulated immediately before, are specified and extracted. As shown in FIG. 4, the processing target area moves half by half and is used for processing. For example, as shown in the end position of the area n + 2, the entire license plate is still imaged at the timing of image recognition. If not, that is, even if the license plate is passing the imaging area of the infrared
尚、本実施例では、処理対象の領域を300ピクセルとした形態を例示したが、本発明はこれに限定されるものではなく、これら処理対象の領域のピクセル数は、画像認識を行う間隔とスキャンレート等に基づいて決定すれば良い。 In the present embodiment, an example in which the area to be processed is 300 pixels is illustrated, but the present invention is not limited to this, and the number of pixels in the area to be processed is the interval between image recognitions. It may be determined based on the scan rate or the like.
そして、抽出した処理対象の領域内に、認識対象となるナンバープレートと推定される四角状の領域が存在するか否かを判定する。尚、四角状の領域は、1カ所とは限らず、複数箇所、存在する場合もあり得る。 Then, it is determined whether or not there is a square area estimated as a license plate to be recognized in the extracted area to be processed. Note that the square region is not limited to one location, and there may be a plurality of locations.
認識対象となる領域が存在しない場合(ステップS3;No)は、ステップS1に戻る一方、認識対象となる領域が存在する場合には、認識対象となる領域に、認識精度を高めるために対象領域画像補正処理を行う(ステップS4)。本実施例では、上記したように、3つの車線を1の赤外線ラインセンサカメラ10にて撮像するので、図4に示すように、中央車線を通過する車輌のナンバープレート画像の形状と、右車線を通過する車輌のナンバープレート画像の形状と、左車線を通過する車輌のナンバープレート画像の形状とが異なるので、ナンバープレート画像の形状を、画像認識に適した正面視の画像に補正する。
If there is no region to be recognized (step S3; No), the process returns to step S1, while if there is a region to be recognized, the target region is used to increase the recognition accuracy in the region to be recognized. Image correction processing is performed (step S4). In the present embodiment, as described above, since three lanes are imaged by one infrared
具体的には、中央車線のナンバープレート画像は、図4の領域nに示すように台形状となっているので、該台形状を本来のナンバープレートの長方形の形状に補正し、車輌の進行方向に向かって左車線を通過する車輌のナンバープレート画像は、図4の領域n+3に示すように、左車線の左側位置側の方に伸びるように歪んだ四角形状となっているとともに、車両走行に伴う歪を含むので、該歪んだ四角形状を本来のナンバープレートの長方形の形状に形状補正する。尚、これらの補正としては、例えば、公知のアフィン変換等を実行すれば良い。 Specifically, the license plate image of the center lane has a trapezoidal shape as shown in the area n of FIG. 4. Therefore, the trapezoidal shape is corrected to the original rectangular shape of the license plate, and the traveling direction of the vehicle The license plate image of the vehicle passing through the left lane toward the vehicle is a rectangular shape distorted so as to extend toward the left side of the left lane as shown in the area n + 3 in FIG. Since the accompanying distortion is included, the shape of the distorted square is corrected to the original rectangular shape of the license plate. As these corrections, for example, a known affine transformation or the like may be executed.
尚、本実施例では、従来のエリアセンサにより撮像されたフレームの映像を処理する場合に比較して、1の処理対象の画像のみを処理すれば良いことから、処理に必要とされる演算量を大幅に減少できるので、これら補正としてより複雑なアルゴリズムによる補正を実行するようにしても良い。 In this embodiment, as compared with the case of processing a frame image captured by a conventional area sensor, only one processing target image needs to be processed. Can be greatly reduced, and correction using a more complicated algorithm may be performed as these corrections.
そして、対象領域画像補正処理にて補正したナンバープレート画像(複数の場合には、各ナンバープレート画像)に対して、車番認識処理を行う(ステップS5)。 Then, a vehicle number recognition process is performed on the license plate image corrected in the target area image correction process (in the case of a plurality of license plate images, each license plate image) (step S5).
車番認識処理においては、具体的には、補正後のナンバープレート画像に含まれる漢字やひらがなや数字を、予め記憶装置40に記憶されているナンバープレートに使用されている漢字やひらがなや数字とマッチングさせ、最も一致するものを選択することで読み取りを実施すれば良い。尚、これらの車番認識処理としては、公知の文字認識等の処理を利用することもできる。
In the car number recognition process, specifically, the kanji and hiragana and numbers included in the corrected license plate image are replaced with the kanji and hiragana and numbers used in the license plate stored in the
そして、ステップS6に進んで、認識対象領域に対応するエリアセンサ画像のフレーム、例えば、その時に最も近い時点にてエリアセンサカメラ20にて撮像されたフレームと、該フレームの画像における認識対象領域に対応する位置を特定し、特定した位置に該当する車輌領域について、隣接画素の色を集計するビニング処理等を行って、車輌の色を特定する。
Then, the process proceeds to step S6, in which the area sensor image frame corresponding to the recognition target area, for example, the frame imaged by the
次いで、車番認識処理において認識した車番(認識結果)と該車番認識処理の対象とした、対象領域画像補正処理にて補正したナンバープレート画像に付与したファイル名と、ステップS6にて特定した車輌の色と、ステップS6にて該車輌の色の特定に使用したフレームのエリアセンサカメラ20の画像に付与したファイル名とを、RTCから取得したその時点の日時情報に対応付けて認識結果データに追加した後(ステップS7)、ステップS1に戻る。
Next, the car number (recognition result) recognized in the car number recognition process, the file name given to the license plate image corrected in the target area image correction process, which is the target of the car number recognition process, and the identification in step S6 The recognition result corresponding to the date and time information obtained from the RTC and the file name given to the image of the
尚、画像認識処理の処理対象として特定された領域の時系列2次元画像のうち、時系列的に古い100ピクセルの画像は、ステップS6において、認識結果データへの追加に伴い、画像処理用メモリ26から消去される。但し、これら処理済みの時系列2次元画像の消去タイミングは、画像処理用メモリ26のメモリ容量等から適宜に決定すれば良い。
Of the time-series two-dimensional images of the region specified as the processing target of the image recognition process, an image of 100 pixels that is old in time series is added to the recognition result data in step S6. 26 is erased. However, the erase timing of these processed time-series two-dimensional images may be determined as appropriate from the memory capacity of the
以上、本実施例のナンバープレート読み取り装置によれば、安価で高解像度の赤外線ラインセンサを備える赤外線ラインセンサカメラ10(ラインセンサ撮像手段)を使用してナンバープレートを読み取ることができ、装置のコストを抑えることができるばかりか、従来のイメージセンサを有する撮像カメラを用いて多数のフレーム画像を処理する場合と比較して、ラインセンサ撮像手段を採用することで、時系列2次元画像だけを順次処理することによりナンバープレートを読み取ることができるので、読み取り処理における処理負荷等を大幅に低減することができるとともに、これら多数のフレーム画像を記憶しておく必要もないので、読み取りに使用する画像を記憶するための記憶容量も低減することができる。また、ラインセンサの採用により、例えば8192画素や16384画素などの高分解能センサの入手が可能で、複数車線等の幅広の撮像対象に応じて好適なセンサを選択できるばかりか、エリアセンサと比較して高感度かつ高速なスキャンレートを容易に実現できるため、高速で移動する物体を高い解像度で撮像することが可能となる。 As described above, according to the license plate reading apparatus of the present embodiment, the license plate can be read using the infrared line sensor camera 10 (line sensor imaging means) including an inexpensive and high-resolution infrared line sensor. Compared with the case where a large number of frame images are processed using an imaging camera having a conventional image sensor, the line sensor imaging means is adopted so that only a time-series two-dimensional image is sequentially obtained. Since the license plate can be read by processing, the processing load in the reading process can be greatly reduced, and it is not necessary to store a large number of these frame images. The storage capacity for storing can also be reduced. In addition, by adopting a line sensor, it is possible to obtain high-resolution sensors such as 8192 pixels and 16384 pixels, and not only a suitable sensor can be selected according to a wide imaging target such as a plurality of lanes, but also compared with an area sensor. Therefore, a high-sensitivity and high-speed scan rate can be easily realized, so that an object moving at high speed can be imaged with high resolution.
また、本実施例のナンバープレート読み取り装置によれば、ライン照光装置12を用いているため、照光範囲が狭いとともに、運転者が視認できない赤外線光を用いているので、ドライバを眩惑することなく、良好にナンバープレートを読み取ることができるとともに、照光に要する消費電力も抑えることができる。
In addition, according to the license plate reading device of the present embodiment, because the
また、本実施例のナンバープレート読み取り装置によれば、エリアセンサカメラ20により撮像された可視光画像により、車輌の色が特定されるので、読み取ったナンバープレートの車輌の色も解るようになるとともに、ラインセンサの撮像素子を解像度の高いモノクロ撮像素子や赤外線撮像素子にできるので、ラインセンサの解像度を高めつつ、車輌の色も特定することができる。
Further, according to the license plate reading device of the present embodiment, since the color of the vehicle is specified by the visible light image captured by the
また、本実施例のナンバープレート読み取り装置によれば、赤外線ラインセンサカメラ10が、複数の走行車線である3車線に対して1つのみが設けられているため、ナンバープレート読み取り装置の設置コストを低減できるとともに、例えば、赤外線ラインセンサカメラ10の撮像位置において走行車両が、車線移動のために、車線を跨いで走行している場合等であっても、処理負荷が増大することなく良好にナンバープレートを読み取ることができる。
In addition, according to the license plate reading device of this embodiment, only one infrared
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 Although the embodiments of the present invention have been described with reference to the drawings, the specific configuration is not limited to these embodiments, and modifications and additions within the scope of the present invention are included in the present invention. It is.
例えば、前記実施例では、本体装置1において、画像処理装置25と制御用コンピュータ50とを個別とした形態を例示したが、本発明はこれに限定されるものではなく、これら画像処理装置25と制御用コンピュータ50とを一体化したものとしても良い。
For example, in the above-described embodiment, the
また、前記実施例では、図1に示すように、本発明のナンバープレート読み取り装置を、走行車線が3車線の道路に適用した形態を例示しているが、本発明はこれに限定されるものではなく、車線数は1車線であっても良いし、2車線であっても良いし、4車線以上であっても良い。 Moreover, in the said Example, as shown in FIG. 1, although the number plate reader of this invention was illustrated to the form applied to the road of 3 lanes, this invention is limited to this. Instead, the number of lanes may be one lane, two lanes, or four or more lanes.
また、前記実施例では、走行車両を、車輌の前方側から撮像した形態を例示しているが、本発明はこれに限定されるものではなく、車輌の後方から撮像しても良く、この場合にあっては、時系列2次元画像においてナンバープレートの上下方向が反転しているので、上記した時系列2次元画像の補正に加えて上下方向を反転(180度回転)する画像補正を行えば良い。尚、車輌の前方と後方の双方から撮像するようにしても良い。 Further, in the above-described embodiment, the form in which the traveling vehicle is imaged from the front side of the vehicle is illustrated, but the present invention is not limited to this, and may be captured from the rear side of the vehicle. In this case, since the up-and-down direction of the license plate is inverted in the time-series two-dimensional image, in addition to the correction of the time-series two-dimensional image described above, image correction that inverts the vertical direction (rotates 180 degrees) is performed. good. In addition, you may make it image from both the front and back of a vehicle.
また、前記実施例では、赤外線ラインセンサ(モノクロ)を利用した形態を例示したが、本発明はこれに限定されるものではなく、高感度のカラー撮像素子を1列状に配列された可視光ラインセンサを備える可視光ラインセンサカメラのみを用い、該可視光ラインセンサカメラから生成された時系列2次元カラー画像を用いて、ナンバープレートの読み取りと車輌の色の特定とを行うようにしても良い。尚、この場合においては、車輌の後方のナンバープレートは、照光が義務づけられているので、撮像方向を後方とすることで、より確実にナンバープレートを読み取ることができる。 Moreover, in the said Example, although the form using an infrared line sensor (monochrome) was illustrated, this invention is not limited to this, The visible light which arranged the highly sensitive color image sensor in 1 row form Using only a visible light line sensor camera equipped with a line sensor, and using a time-series two-dimensional color image generated from the visible light line sensor camera, the license plate is read and the color of the vehicle is specified. good. In this case, since the license plate at the rear of the vehicle is required to be illuminated, the license plate can be read more reliably by setting the imaging direction to the rear.
また、前記実施例では、車輌の色を特定しているが、本発明はこれに限定されるものではなく、例えば、赤外線ラインセンサカメラ10のみを設置して、エリアセンサカメラ20を設置しない構成として、車輌の色を特定しないようにしても良い。
Moreover, in the said Example, although the color of the vehicle is specified, this invention is not limited to this, For example, the structure which installs only the infrared
また、前記実施例では、実施していないが、撮像された時系列2次元画像におけるナンバープレートの時系列方向の大きさに基づいて、走行車両の速度も特定して、特定した速度を含む認識結果データを記憶するようにしても良い。 Further, although not implemented in the above embodiment, the speed of the traveling vehicle is also identified based on the size of the license plate in the time-series direction in the captured time-series two-dimensional image, and the recognition including the identified speed is performed. The result data may be stored.
1 本体装置
5 架設体
10 赤外線ラインセンサカメラ
12 ライン照光装置
20 エリアセンサカメラ
25 画像処理装置
26 画像処理用メモリ
40 記憶装置
50 制御用コンピュータ
DESCRIPTION OF
Claims (6)
撮像素子が1列状に配列されたラインセンサを有し、該撮像素子の配列方向が前記走行車線を横断する方向となるとともに、前記走行車線を走行する車輌を該車輌の斜め上方から撮像可能となるように前記架設体に設置されるラインセンサ撮像手段と、
前記ラインセンサ撮像手段にて撮像された時系列のラインセンサ画像から2次元画像を生成する時系列2次元画像生成手段と、
前記時系列2次元画像生成手段にて生成された2次元画像に含まれるナンバープレートの画像にもとづいて、ナンバープレートを読み取る読み取り手段と、
を備えることを特徴とするナンバープレート読み取り装置。 A construction body constructed in a space above the traveling lane so as to cross the traveling lane in which the vehicle on which the license plate is mounted travels;
The image sensor has a line sensor arranged in a line, the array direction of the image sensor is a direction crossing the travel lane, and the vehicle traveling in the travel lane can be imaged from an obliquely upper side of the vehicle A line sensor imaging means installed on the installation body so that
Time-series two-dimensional image generation means for generating a two-dimensional image from a time-series line sensor image imaged by the line sensor imaging means;
Reading means for reading the license plate based on the image of the license plate included in the two-dimensional image generated by the time-series two-dimensional image generating means;
A license plate reading apparatus comprising:
前記照光手段は、前記赤外線撮像素子が撮像可能な赤外線により帯状の前記撮像領域を照光することを特徴とする請求項2に記載のナンバープレート読み取り装置。 The image sensor is an infrared image sensor,
The license plate reading apparatus according to claim 2, wherein the illumination unit illuminates the band-shaped imaging region with infrared rays that can be imaged by the infrared imaging element.
前記車輌色特定手段にて特定した車輌の色のデータを、前記読み取り手段による読み取りデータに対応付けて記憶する記憶手段を備えることを特徴とする請求項1〜3のいずれかに記載のナンバープレート読み取り装置。 Vehicle color specifying means for specifying the color of a vehicle traveling in the travel lane,
4. The license plate according to claim 1, further comprising storage means for storing the color data of the vehicle specified by the vehicle color specifying means in association with the read data by the reading means. Reading device.
前記車輌色特定手段は、前記走行車線を撮像可能に前記架設体に前記ラインセンサ撮像手段と並設されたカラー画像撮像手段を含み、該カラー画像撮像手段にて撮像されたカラー画像にもとづいて車輌の色を特定することを特徴とする請求項4に記載のナンバープレート読み取り装置。 The image sensor is a monochrome image sensor,
The vehicle color specifying means includes color image imaging means arranged in parallel with the line sensor imaging means on the installation body so as to be able to take an image of the traveling lane, and based on a color image taken by the color image imaging means. The license plate reading device according to claim 4, wherein a color of the vehicle is specified.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014225884A JP2016091346A (en) | 2014-11-06 | 2014-11-06 | License plate reader |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014225884A JP2016091346A (en) | 2014-11-06 | 2014-11-06 | License plate reader |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016091346A true JP2016091346A (en) | 2016-05-23 |
Family
ID=56019680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014225884A Pending JP2016091346A (en) | 2014-11-06 | 2014-11-06 | License plate reader |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016091346A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11199504B2 (en) * | 2017-12-08 | 2021-12-14 | Nippon Steel Corporation | Shape inspection apparatus and shape inspection method |
-
2014
- 2014-11-06 JP JP2014225884A patent/JP2016091346A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11199504B2 (en) * | 2017-12-08 | 2021-12-14 | Nippon Steel Corporation | Shape inspection apparatus and shape inspection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6176028B2 (en) | Vehicle control system, image sensor | |
US10275669B2 (en) | System and method for detecting objects in an automotive environment | |
KR102385280B1 (en) | Camera system and method for contextually capturing the surrounding area of a vehicle | |
JP3909691B2 (en) | In-vehicle image processing device | |
JP4725391B2 (en) | Visibility measuring device for vehicle and driving support device | |
US9619895B2 (en) | Image processing method of vehicle camera and image processing apparatus using the same | |
JP6137081B2 (en) | Car equipment | |
US20150371097A1 (en) | Image recognition system for vehicle for traffic sign board recognition | |
JP2008021196A (en) | Surrounding recognition device and system for vehicle | |
KR102397156B1 (en) | A method of providing a camera system and driver assistance functions for photographing the surrounding area of one's vehicle | |
WO2014084251A1 (en) | Onboard image processing system | |
KR102431215B1 (en) | Camera system and method for capturing the surrounding area of a vehicle | |
JP2009017157A (en) | Image processor, method and program | |
JP2005323190A (en) | Imaging system and imaging method | |
JP2009156704A (en) | Brightness measuring device and method of display panel, and display device | |
JP2012027773A (en) | Pseudo grayscale image generation device and program | |
JP6280659B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP2014165638A (en) | Image processing device, image pickup device, moving body control system, and program | |
JP2015148887A (en) | Image processing device, object recognition device, moving body instrument control system and object recognition program | |
US20150165978A1 (en) | Device and method for recording images of a vehicle underbody | |
CN110536814B (en) | Camera device and method for detecting a region of the surroundings of a vehicle in response to the surroundings | |
JP5986206B2 (en) | Image processing apparatus, imaging apparatus, moving object, program, and region setting method | |
JP2010020710A (en) | Device for detecting road side fixed object | |
JP2007124676A (en) | On-vehicle image processor | |
JP2016091346A (en) | License plate reader |