JP2017097783A - Vehicle type determination device and vehicle type determination method - Google Patents
Vehicle type determination device and vehicle type determination method Download PDFInfo
- Publication number
- JP2017097783A JP2017097783A JP2015232165A JP2015232165A JP2017097783A JP 2017097783 A JP2017097783 A JP 2017097783A JP 2015232165 A JP2015232165 A JP 2015232165A JP 2015232165 A JP2015232165 A JP 2015232165A JP 2017097783 A JP2017097783 A JP 2017097783A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- vehicle type
- dimensional shape
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明の実施形態は、車種判別装置および車種判別方法に関する。 Embodiments described herein relate generally to a vehicle type identification device and a vehicle type identification method.
大型車両を対象とした道路交通法違反の取締対象の車種区分は、料金収受システムで用いられる車種区分により細分化されている。そして、取締対象の車種には、当該車種毎に、道路の通行を許可される車両の幅、高さ、長さ、および重量が定められている。 The types of vehicles subject to control for violation of the Road Traffic Law for large vehicles are subdivided according to the types of vehicles used in the toll collection system. For the vehicle types to be controlled, the width, height, length, and weight of vehicles that are permitted to pass on the road are determined for each vehicle type.
ところで、道路の老朽化の要因として、過積載で重量超過の大型車両が問題となっており、取締対象の車種の判別の効率化が求められている。現状、取締対象の車種の判別は、人手によって行われているため、高精度な車種の判別方法が必要である。 By the way, as a cause of the aging of the road, there is a problem of a large vehicle that is overloaded and overweight, and there is a need for efficient identification of the vehicle type to be controlled. At present, the vehicle type to be controlled is determined manually, so a highly accurate vehicle type determination method is required.
実施形態の車種判別装置は、取得部と、生成部と、推定部と、補間部と、判別部と、を備える。取得部は、車両が通過する所定位置においてレーザを照射した検出点までの検出距離および検出点で反射したレーザの反射強度を検出するセンサから、検出距離および反射強度を取得し、かつ撮像部から、所定位置を撮像して得られた撮像画像を取得する。生成部は、所定位置の画像であり、検出点の濃度を、当該検出点において反射したレーザの反射強度に応じて異ならせたリフレクタンス画像を生成する。推定部は、撮像画像に基づいて車両の三次元形状を推定する。補間部は、三次元形状の特徴点とリフレクタンス画像の検出点とを照合するマッチング処理を実行し、マッチング処理の結果および検出距離を用いて、三次元形状の特徴点を補間する。判別部は、特徴点を補間した三次元形状に基づいて車両の車種を判別する。 The vehicle type determination device of the embodiment includes an acquisition unit, a generation unit, an estimation unit, an interpolation unit, and a determination unit. The acquisition unit acquires the detection distance and the reflection intensity from the sensor that detects the detection distance to the detection point irradiated with the laser at a predetermined position where the vehicle passes and the reflection intensity of the laser reflected at the detection point, and from the imaging unit. Then, a captured image obtained by imaging a predetermined position is acquired. The generation unit is an image at a predetermined position, and generates a reflectance image in which the density of the detection point is varied according to the reflection intensity of the laser reflected at the detection point. The estimation unit estimates the three-dimensional shape of the vehicle based on the captured image. The interpolation unit executes a matching process for matching the feature point of the three-dimensional shape with the detection point of the reflectance image, and interpolates the feature point of the three-dimensional shape using the result of the matching process and the detection distance. The determination unit determines the vehicle type based on the three-dimensional shape obtained by interpolating the feature points.
以下、添付の図面を用いて、本実施形態にかかる車種判別装置および車種判別方法について説明する。 Hereinafter, a vehicle type identification device and a vehicle type identification method according to the present embodiment will be described with reference to the accompanying drawings.
図１は、本実施形態にかかる車種判別システムの構成の一例を示す図である。車種判別システムは、大型の車両が通行する道路、駐車場の出入口、高速道路の料金所等に設けられている。図１に示すように、本実施形態では、車種判別システムは、カメラ１０１と、センサ１０２と、路側装置１０３と、を有している。 FIG. 1 is a diagram illustrating an example of a configuration of a vehicle type identification system according to the present embodiment. The vehicle type identification system is provided on a road through which a large vehicle passes, a parking lot entrance / exit, a highway toll booth, and the like. As shown in FIG. 1, in the present embodiment, the vehicle type identification system includes a camera 101, a sensor 102, and a roadside device 103.
カメラ１０１（撮像部の一例）は、単眼カメラ等であり、車両Ｖが通過する所定位置Ｔを撮像可能に設けられている。本実施形態では、カメラ１０１は、後述するセンサ１０２から撮像トリガ信号が入力された場合に、所定位置Ｔを通過する車両Ｖの撮像を行う。また、カメラ１０１は、所定位置Ｔに進入した車両Ｖの斜め上方に設けられている。また、カメラ１０１は、所定位置Ｔの道路の路面から５〜７ｍ上方に設けられている。取締対象の車種の車両の車高は、３．８ｍである。よって、カメラ１０１は、取締対象の車種の車両よりも高い位置に設けられている。 The camera 101 (an example of an imaging unit) is a monocular camera or the like, and is provided so as to be able to image a predetermined position T through which the vehicle V passes. In the present embodiment, the camera 101 captures an image of the vehicle V passing through the predetermined position T when an imaging trigger signal is input from the sensor 102 described later. The camera 101 is provided obliquely above the vehicle V that has entered the predetermined position T. The camera 101 is provided 5 to 7 m above the road surface of the road at the predetermined position T. The vehicle height of the vehicle subject to control is 3.8 m. Therefore, the camera 101 is provided at a position higher than the vehicle of the vehicle type to be controlled.
また、カメラ１０１は、所定位置Ｔの道路の路面を基準として、俯角２５〜４５度で設けられている。また、カメラ１０１は、所定位置Ｔを通過する車両Ｖ（大型車を含む）の全景を撮像可能に設けられている。具体的には、カメラ１０１は、車両Ｖの前方領域（例えば、大型車のトラクタ部の下端）と車両Ｖの後方領域（例えば、大型車のトレーラ部の後端）とが、当該カメラ１０１の画角に収まるように設けられている。さらに、カメラ１０１は、大型車の車長が長いため、当該カメラ１０１の上下方向の画角を広げるために、当該カメラ１０１を傾けて（例えば、９０度傾けて）撮像可能に設けられていても良い。そして、カメラ１０１は、車両Ｖの撮像により得られた撮像画像を、路側装置１０３に送信する。 The camera 101 is provided at a depression angle of 25 to 45 degrees with reference to the road surface of the road at the predetermined position T. The camera 101 is provided so as to be able to capture the entire view of the vehicle V (including a large vehicle) passing through the predetermined position T. Specifically, the camera 101 has a front region of the vehicle V (for example, a lower end of a tractor portion of a large vehicle) and a rear region of the vehicle V (for example, a rear end of a trailer portion of a large vehicle). It is provided to fit within the angle of view. Furthermore, since the length of the large vehicle is long, the camera 101 is provided so as to be able to capture an image by tilting the camera 101 (for example, tilting 90 degrees) in order to widen the vertical angle of view of the camera 101. Also good. Then, the camera 101 transmits a captured image obtained by capturing the vehicle V to the roadside device 103.
センサ１０２は、赤外線センサ等のレーザセンサである。センサ１０２は、所定位置Ｔに対してレーザを照射可能に設けられている。そして、センサ１０２は、所定位置Ｔにおいてレーザを照射した点である検出点と自センサ（センサ１０２）との間の距離である検出点距離（検出距離の一例）を検出する。言い換えると、センサ１０２は、所定位置Ｔにおいてレーザを照射した検出点までの検出点距離を検出する。さらに、センサ１０２は、検出点で反射したレーザの反射強度を検出する。その後、センサ１０２は、各検出点について検出した検出点間距離および反射強度を路側装置１０３に送信する。 The sensor 102 is a laser sensor such as an infrared sensor. The sensor 102 is provided so as to be able to irradiate a laser at a predetermined position T. Then, the sensor 102 detects a detection point distance (an example of a detection distance) that is a distance between a detection point that is a point irradiated with a laser at the predetermined position T and the self sensor (sensor 102). In other words, the sensor 102 detects the detection point distance to the detection point irradiated with the laser at the predetermined position T. Further, the sensor 102 detects the reflection intensity of the laser reflected at the detection point. Thereafter, the sensor 102 transmits the distance between the detection points and the reflection intensity detected for each detection point to the roadside device 103.
本実施形態では、センサ１０２は、所定位置Ｔの路側に設置されている。また、センサ１０２は、所定位置Ｔで反射したレーザに基づいて、所定位置Ｔを通過する車両Ｖの検知処理を行う。そして、センサ１０２は、車両Ｖを検知した場合に、車両Ｖの撮像を指示する撮像トリガ信号をカメラ１０１に出力する。また、センサ１０２は、車両Ｖを検知してから（車両Ｖが所定位置に進入してから）、車両Ｖが検知されなくなるまで（車両Ｖが所定位置から退出するまで）、車両Ｖの複数の検出点に対してレーザを照射する。具体的には、センサ１０２は、車両Ｖの進行方向に直交する方向（以下、走査方向と言う）にレーザを走査しながら、複数の検出点における検出点間距離および反射強度を検出する。 In the present embodiment, the sensor 102 is installed on the road side of the predetermined position T. Further, the sensor 102 performs detection processing of the vehicle V passing through the predetermined position T based on the laser reflected at the predetermined position T. When the sensor 102 detects the vehicle V, the sensor 102 outputs an imaging trigger signal instructing imaging of the vehicle V to the camera 101. In addition, the sensor 102 detects a plurality of vehicles V from when the vehicle V is detected (after the vehicle V enters the predetermined position) until the vehicle V is not detected (until the vehicle V leaves the predetermined position). A laser is irradiated to the detection point. Specifically, the sensor 102 detects the distance between the detection points and the reflection intensity at a plurality of detection points while scanning the laser in a direction orthogonal to the traveling direction of the vehicle V (hereinafter referred to as a scanning direction).
路側装置１０３（車種判別装置の一例）は、カメラ１０１から、撮像画像を取得する。また、路側装置１０３は、センサ１０２から、各検出点の検出点間距離および反射強度を取得する。そして、路側装置１０３は、撮像画像、各検出点の検出点間距離および反射強度を用いて、所定位置Ｔを通過する車両Ｖの車種を判別する。 The roadside device 103 (an example of a vehicle type identification device) acquires a captured image from the camera 101. In addition, the roadside device 103 acquires the distance between the detection points and the reflection intensity of each detection point from the sensor 102. Then, the roadside device 103 determines the vehicle type of the vehicle V passing through the predetermined position T using the captured image, the distance between the detection points of each detection point, and the reflection intensity.
図２は、本実施形態にかかる路側装置の機能構成の一例を示すブロック図である。図２に示すように、本実施形態では、路側装置１０３は、記憶部９０と、取得部９１と、生成部９２と、推定部９３と、補間部９４と、判別部９５と、を有している。記憶部９０は、予め設定された判別対象の車種（例えば、取締対象の車種）の画像パターンを記憶する。例えば、記憶部９０は、取締対象の大型車のトラクタ部やトレーラ部の形状を示す画像パターンを記憶する。取得部９１は、センサ１０２により所定位置Ｔへの車両Ｖの進入が検知された場合、センサ１０２から、複数の検出点それぞれの検出点間距離および反射強度を取得する。また、取得部９１は、センサ１０２により所定位置Ｔへの車両Ｖの進入が検知された場合、カメラ１０１から、撮像画像を取得する。 FIG. 2 is a block diagram illustrating an example of a functional configuration of the roadside device according to the present embodiment. As shown in FIG. 2, in the present embodiment, the roadside apparatus 103 includes a storage unit 90, an acquisition unit 91, a generation unit 92, an estimation unit 93, an interpolation unit 94, and a determination unit 95. ing. The storage unit 90 stores an image pattern of a preset vehicle model to be determined (for example, a vehicle model to be controlled). For example, the storage unit 90 stores an image pattern indicating the shape of a tractor unit or trailer unit of a large vehicle to be controlled. When the sensor 102 detects that the vehicle V has entered the predetermined position T, the acquisition unit 91 acquires, from the sensor 102, the distance between the detection points and the reflection intensity of each of the plurality of detection points. The acquisition unit 91 acquires a captured image from the camera 101 when the sensor 102 detects that the vehicle V has entered the predetermined position T.
生成部９２は、所定位置Ｔの画像であり、車両Ｖの検出点の濃度を、当該検出点において反射したレーザの反射強度に応じて異ならせたリフレクタンス画像Ｇを生成する。本実施形態では、生成部９２は、検出点の濃度を、当該検出点において反射したレーザの反射強度が強くなるに従って薄くした画像を、リフレクタンス画像Ｇとして生成する。 The generation unit 92 is an image of the predetermined position T, and generates a reflectance image G in which the density of the detection point of the vehicle V is varied according to the reflection intensity of the laser reflected at the detection point. In the present embodiment, the generation unit 92 generates, as the reflectance image G, an image in which the density of the detection point is reduced as the reflection intensity of the laser reflected at the detection point increases.
図３Ａは、所定位置Ｔの画像であり、検出点の濃度を、当該検出点の検出点間距離に応じて異ならせた画像（以下、点群データｇと言う）の一例を示す図である。図３Ｂは、本実施形態にかかる路側装置において生成されたリフレクタンス画像の一例を示す図である。図３Ａおよび図３Ｂにおいて、縦軸は、車両Ｖの各検出点ｐにレーザを走査した際の走査角度である。図３Ａおよび図３Ｂにおいて、横軸は、車両Ｖの各検出点ｐにレーザを走査した時刻である。 FIG. 3A is an image of a predetermined position T, and shows an example of an image (hereinafter referred to as point cloud data g) in which the density of detection points is varied according to the distance between the detection points. . FIG. 3B is a diagram illustrating an example of a reflectance image generated in the roadside device according to the present embodiment. 3A and 3B, the vertical axis represents the scanning angle when the detection point p of the vehicle V is scanned with the laser. 3A and 3B, the horizontal axis represents the time at which each detection point p of the vehicle V is scanned with a laser.
図３Ａに示すように、点群データｇは、検出点ｐの濃度が、当該検出点ｐの検出点間距離が近くなるに従って薄くなる。また、図３Ｂに示すように、リフレクタンス画像Ｇは、上述したように、検出点ｐの濃度が、当該検出点ｐで反射したレーザの反射強度が強くなるに従って薄くなる。ここで、検出点間距離は、反射強度が強くなるに従って、短くなる。そのため、図３Ａおよび図３Ｂに示すように、リフレクタンス画像Ｇおよび点群データｇは、同様の車両画像を含む画像となる。 As shown in FIG. 3A, in the point cloud data g, the density of the detection point p becomes thinner as the distance between the detection points of the detection point p becomes closer. As shown in FIG. 3B, as described above, the reflectance image G becomes thinner as the density of the detection point p increases as the reflection intensity of the laser reflected at the detection point p increases. Here, the distance between detection points becomes shorter as the reflection intensity increases. Therefore, as shown in FIGS. 3A and 3B, the reflectance image G and the point cloud data g are images including the same vehicle image.
ところで、リフレクタンス画像Ｇは、カメラ１０１の撮像により得られた撮像画像との親和性が高い。そのため、リフレクタンス画像Ｇと撮像画像とを比較することにより、リフレクタンス画像Ｇ内の検出点と一致する、撮像画像の特徴点（例えば、撮像画像が含むエッジ）を特定することができる。そこで、後述する補間部９４は、リフレクタンス画像Ｇの検出点と、撮像画像を用いて推定された車両Ｖの三次元形状の特徴点とを照合する。そして、補間部９４は、その照合結果に基づいて、当該三次元形状の特徴点を補間して、より詳細な全景を得る。ただし、リフレクタンス画像Ｇが含む車両画像の長さである車長は、車両Ｖの速度によって伸縮するため、生成部９２は、車両Ｖの速度に応じて、リフレクタンス画像Ｇが含む車両画像の車長を正規化する必要がある。具体的には、生成部９２は、車両Ｖの速度が速くなるに従い、リフレクタンス画像Ｇが含む車両画像の車長を伸長する。 By the way, the reflectance image G has a high affinity with a captured image obtained by capturing with the camera 101. Therefore, by comparing the reflectance image G and the captured image, it is possible to specify a feature point (for example, an edge included in the captured image) of the captured image that matches the detection point in the reflectance image G. Therefore, the interpolation unit 94 described later collates the detection point of the reflectance image G with the feature point of the three-dimensional shape of the vehicle V estimated using the captured image. Then, the interpolation unit 94 interpolates the feature points of the three-dimensional shape based on the collation result to obtain a more detailed panoramic view. However, since the vehicle length, which is the length of the vehicle image included in the reflectance image G, expands and contracts depending on the speed of the vehicle V, the generation unit 92 generates the vehicle image included in the reflectance image G according to the speed of the vehicle V. The commander needs to be normalized. Specifically, the generation unit 92 extends the vehicle length of the vehicle image included in the reflectance image G as the speed of the vehicle V increases.
図２に戻り、推定部９３は、カメラ１０１の撮像により得られた撮像画像に基づいて車両Ｖの三次元形状Ｄ（以下、全景と言う）を推定する。図４Ａ、図４Ｂ、および図４Ｃは、本実施形態にかかる路側装置における車両の全景の推定処理の一例を説明するための図である。本実施形態では、推定部９３は、カメラ１０１によって所定位置Ｔを複数回撮像して得られた複数の撮像画像を取得する。そして、推定部９３は、ＳｆＭ（Structured from Motion）等を用いて、複数の撮像画像に従って、車両Ｖの全景Ｄを推定する。 Returning to FIG. 2, the estimation unit 93 estimates the three-dimensional shape D (hereinafter referred to as a full view) of the vehicle V based on the captured image obtained by the imaging of the camera 101. 4A, 4B, and 4C are diagrams for explaining an example of the estimation process of the entire view of the vehicle in the roadside device according to the present embodiment. In the present embodiment, the estimation unit 93 acquires a plurality of captured images obtained by capturing the predetermined position T a plurality of times with the camera 101. Then, the estimation unit 93 estimates the entire view D of the vehicle V according to a plurality of captured images using SfM (Structured from Motion) or the like.
具体的には、推定部９３は、複数の撮像画像について、当該撮像画像が含む車両画像の特徴点（例えば、エッジ）を抽出する。次いで、図４Ａに示すように、推定部９３は、被写体となった車両Ｖとカメラ１０１との位置関係に基づいて、抽出した各特徴点Ｐの位置を特定することによって、車両Ｖの全景Ｄを推定する。さらに、推定部９３は、推定した全景Ｄに対して、当該全景Ｄ内の特徴点Ｐ近傍の撮像画像を貼り合わせる。これにより、図４Ｂに示すように、推定部９３は、車両Ｖの画像が重畳された車両Ｖの全景Ｄを得ることができる。また、図４Ｂに示すように、推定部９３は、ｘ軸、ｙ軸、またはｚ軸を回転軸として、車両Ｖの全景Ｄを、任意に回転させる。これにより、図４Ｃに示すように、推定部９３は、センサ１０２のレーザの放射位置と同様の位置から車両Ｖを見た場合の車両Ｖの全景Ｄを得ることができる。 Specifically, the estimation unit 93 extracts, for a plurality of captured images, feature points (for example, edges) of the vehicle image included in the captured images. Next, as illustrated in FIG. 4A, the estimation unit 93 specifies the position of each extracted feature point P based on the positional relationship between the vehicle V that is the subject and the camera 101, thereby performing a panoramic view D of the vehicle V. Is estimated. Further, the estimation unit 93 pastes a captured image in the vicinity of the feature point P in the whole view D to the estimated whole view D. Thereby, as shown to FIG. 4B, the estimation part 93 can obtain the panoramic view D of the vehicle V on which the image of the vehicle V was superimposed. 4B, the estimation unit 93 arbitrarily rotates the entire view D of the vehicle V with the x axis, the y axis, or the z axis as a rotation axis. As a result, as shown in FIG. 4C, the estimation unit 93 can obtain the entire view D of the vehicle V when the vehicle V is viewed from the same position as the laser emission position of the sensor 102.
図２に戻り、補間部９４は、推定した全景Ｄの特徴点Ｐと、リフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する。そして、補間部９４は、マッチング処理の結果および検出点ｐの検出点間距離を用いて、全景Ｄの特徴点Ｐを補間する。 Returning to FIG. 2, the interpolation unit 94 executes a matching process for collating the estimated feature point P of the entire scene D with the detection point p of the reflectance image G. Then, the interpolation unit 94 interpolates the feature point P of the whole scene D using the result of the matching process and the distance between the detection points of the detection point p.
図５Ａは、本実施形態にかかる路側装置におけるマッチング処理の一例を説明するための図である。図５Ｂおよび図６は、本実施形態にかかる路側装置における特徴点の補間処理の一例を説明するための図である。図５Ａに示すように、補間部９４は、全景Ｄの特徴点Ｐと一致する、リフレクタンス画像Ｇの検出点ｐを特定する。その際、補間部９４は、車両Ｖの速度に依存しないように、生成部９２によって車長が正規化された車両画像を含むリフレクタンス画像Ｇを用いて、全景Ｄの特徴点Ｐと一致する、当該リフレクタンス画像Ｇの検出点ｐを特定することが好ましい。一方、車両Ｖの全景Ｄは、カメラ１０１の撮像により得られた撮像画像を用いて推定されるため、車両Ｖの速度により受ける影響が少ない。そのため、補間部９４は、推定した全景Ｄについては、全景Ｄの車長の正規化を行わなくても良い。 FIG. 5A is a diagram for explaining an example of matching processing in the roadside device according to the present embodiment. 5B and 6 are diagrams for explaining an example of the feature point interpolation processing in the roadside device according to the present embodiment. As illustrated in FIG. 5A, the interpolation unit 94 identifies the detection point p of the reflectance image G that matches the feature point P of the whole scene D. At that time, the interpolation unit 94 matches the feature point P of the whole scene D using the reflectance image G including the vehicle image whose vehicle length is normalized by the generation unit 92 so as not to depend on the speed of the vehicle V. The detection point p of the reflectance image G is preferably specified. On the other hand, since the entire view D of the vehicle V is estimated using a captured image obtained by the imaging of the camera 101, it is less affected by the speed of the vehicle V. Therefore, the interpolation unit 94 does not need to normalize the vehicle length of the entire view D for the estimated entire view D.
ところで、図５Ｂに示すように、点群データｇは、車両Ｖの走査方向には密に検出点ｐを有している。すなわち、センサ１０２は、車両Ｖの走査方向に密に検出点間距離を検出している。しかしながら、点群データｇは、車両Ｖの時間軸方向には検出点ｐが疎になる。言い換えると、点群データｇは、車両Ｖの時間軸方向には検出点ｐが周期的に欠落する性質を有する。一方、車両Ｖの全景Ｄは、カメラ１０１の撮像により得られた撮像画像に基づいて推定される。そのため、車両Ｖの全景Ｄは、被写体（車両Ｖ）や当該被写体を撮像する際の撮像条件等の影響を受け易く、一般的に、当該全景Ｄに含まれる特徴点Ｐが疎になる性質を有する。 Incidentally, as shown in FIG. 5B, the point cloud data g has densely detected points p in the scanning direction of the vehicle V. That is, the sensor 102 detects the distance between detection points densely in the scanning direction of the vehicle V. However, in the point cloud data g, the detection points p are sparse in the time axis direction of the vehicle V. In other words, the point cloud data g has a property that the detection points p are periodically lost in the time axis direction of the vehicle V. On the other hand, the entire view D of the vehicle V is estimated based on a captured image obtained by imaging with the camera 101. Therefore, the panoramic view D of the vehicle V is easily affected by the subject (the vehicle V) and imaging conditions when the subject is imaged, and generally the characteristic point P included in the panoramic view D is sparse. Have.
そこで、補間部９４は、推定した全景Ｄにおいて、検出点ｐと一致（照合）した特徴点Ｐ間を、当該特徴点Ｐ間に存在する検出点ｐによって補間（拡充）する。これにより、図５Ｂに示すように、補間部９４は、密な特徴点Ｐを有する全景Ａ（言い換えると、特徴点Ｐが拡充された全景Ａ）を得ることができる。 Therefore, the interpolation unit 94 interpolates (enlarges) between the feature points P that match (match) the detection point p with the detection points p existing between the feature points P in the estimated whole scene D. As a result, as shown in FIG. 5B, the interpolation unit 94 can obtain a panoramic view A having dense feature points P (in other words, a panoramic view A in which the feature points P are expanded).
例えば、図６（ａ）に示すように、補間部９４は、全景Ｄが含む特徴点Ｐ（角部）とリフレクタンス画像Ｇの検出点ｐ（角部）とを照合するマッチング処理を実行する。次いで、図６（ｂ）に示すように、補間部９４は、全景Ｄにおいて、検出点ｐと照合した特徴点Ｐ間を、当該特徴点Ｐ間に存在する点群データｇによって補間して、密な特徴点Ｐを有する全景Ｄを得る。 For example, as illustrated in FIG. 6A, the interpolation unit 94 executes a matching process for collating the feature points P (corner portions) included in the entire scene D with the detection points p (corner portions) of the reflectance image G. . Next, as illustrated in FIG. 6B, the interpolation unit 94 interpolates between the feature points P collated with the detected points p in the entire scene D with the point cloud data g existing between the feature points P, A panoramic view D having dense feature points P is obtained.
図２に戻り、判別部９５は、補間部９４によって特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車種を判別する。これにより、人手に依らずに、詳細な全景Ｄに基づいて、車両Ｖの車種の判別を行うことができるので、車種の判別を効率化することができ、かつ高精度な車種の判別を実現することができる。また、高精度な車種の判別を実現するために、センサ１０２の数を増やしたり、ガントリーを設置したりする必要がないので、車種の判別に要するコストを大幅に削減することができる。さらに、車種の判別結果と、所定位置Ｔを通過する車両Ｖの重量を検知する重量計による重量の検知結果とを組み合わせて、車両Ｖの車種を判別することで、過積載車両の自動検知の検知精度をより高めることができる。 Returning to FIG. 2, the determination unit 95 determines the vehicle type of the vehicle V based on the full view D in which the feature points P are interpolated by the interpolation unit 94. As a result, the vehicle type of the vehicle V can be discriminated based on the detailed panoramic view D without any human intervention, so that the discrimination of the vehicle type can be made more efficient and the vehicle type can be discriminated with high accuracy. can do. Further, since it is not necessary to increase the number of sensors 102 or install a gantry in order to realize highly accurate vehicle type discrimination, the cost required for vehicle type discrimination can be greatly reduced. Further, by combining the determination result of the vehicle type and the detection result of the weight by the weigh scale that detects the weight of the vehicle V passing through the predetermined position T, the vehicle type of the vehicle V is determined, thereby automatically detecting the overloaded vehicle. The detection accuracy can be further increased.
本実施形態では、判別部９５は、特徴点Ｐが補間された全景Ｄと記憶部９０に記憶された各車種の画像パターンとを照合（マッチング）する。また、判別部９５は、全景Ｄと各車種の画像パターンとの類似度（以下、マッチングスコアと言う）を算出する。そして、判別部９５は、全景Ｄとのマッチングスコアが最も高い画像パターンに対応する車種を、所定位置Ｔを通過した車両Ｖの車種とする。 In the present embodiment, the determination unit 95 collates (matches) the panoramic view D in which the feature points P are interpolated with the image patterns of each vehicle type stored in the storage unit 90. Further, the determination unit 95 calculates the similarity (hereinafter referred to as a matching score) between the panoramic view D and the image pattern of each vehicle type. Then, the determination unit 95 sets the vehicle type corresponding to the image pattern having the highest matching score with the whole view D as the vehicle type of the vehicle V that has passed the predetermined position T.
次に、図７および図８を用いて、リフレクタンス画像Ｇが含む車両画像の車長を正規化する処理について説明する。図７および図８は、本実施形態にかかる路側装置におけるリフレクタンス画像が含む車両画像の車長の正規化の一例を説明するための図である。 Next, a process for normalizing the vehicle length of the vehicle image included in the reflectance image G will be described with reference to FIGS. 7 and 8. 7 and 8 are diagrams for explaining an example of normalization of the vehicle length of the vehicle image included in the reflectance image in the roadside device according to the present embodiment.
車両Ｖが速度Ｖ１で通過した場合のリフレクタンス画像Ｇ（図７参照）が含む車両画像の車長ｌは、車両Ｖが速度Ｖ１より速い速度Ｖ２で通過した場合のリフレクタンス画像Ｇ（図８参照）が含む車両画像の車長ｌよりも長くなる。すなわち、リフレクタンス画像Ｇが含む車両画像の車長ｌは、所定位置Ｔを通過する車両Ｖの速度が速くなるに従って、短くなる。そこで、図７および図８に示すように、生成部９２は、車両Ｖの速度に応じて、リフレクタンス画像Ｇが含む車両画像の車長ｌを所定の長さＬに正規化する。ここで、所定の長さＬは、予め設定された長さであり、全景Ｄの車長に近いことが好ましい。ただし、車両Ｖの速度に応じてリフレクタンス画像Ｇのサイズの変化率も異なるため、正規化後のリフレクタンス画像Ｇは、所定位置Ｔを通過する車両Ｖの速度が速くなるに従って、車両Ｖの車長方向（時間軸方向）への検出点ｐの数が少なくなる（図７および図８参照）。 The vehicle length l of the vehicle image included in the reflectance image G when the vehicle V passes at the speed V1 (see FIG. 7) is the reflectance image G when the vehicle V passes at the speed V2 faster than the speed V1 (see FIG. 8). It becomes longer than the vehicle length l of the vehicle image included in (see). That is, the vehicle length l of the vehicle image included in the reflectance image G becomes shorter as the speed of the vehicle V passing through the predetermined position T increases. Therefore, as illustrated in FIGS. 7 and 8, the generation unit 92 normalizes the vehicle length l of the vehicle image included in the reflectance image G to a predetermined length L according to the speed of the vehicle V. Here, the predetermined length L is a preset length, and is preferably close to the vehicle length of the entire view D. However, since the rate of change of the size of the reflectance image G also varies depending on the speed of the vehicle V, the normalized reflectance image G shows the vehicle V as the speed of the vehicle V passing through the predetermined position T increases. The number of detection points p in the vehicle length direction (time axis direction) is reduced (see FIGS. 7 and 8).
次に、図９を用いて、リフレクタンス画像Ｇを正規化する処理の具体例について説明する。図９は、本実施形態にかかる路側装置におけるリフレクタンス画像が含む車両画像の車長の正規化の具体例を説明するための図である。 Next, a specific example of processing for normalizing the reflectance image G will be described with reference to FIG. FIG. 9 is a diagram for explaining a specific example of normalization of the vehicle length of the vehicle image included in the reflectance image in the roadside device according to the present embodiment.
図９に示すように、まず、生成部９２は、リフレクタンス画像Ｇが含む車両画像の車長ｌを特定する。さらに、生成部９２は、リフレクタンス画像Ｇが含む前車軸ＦＳおよび後車軸ＢＳを検知する。次いで、生成部９２は、前車軸ＦＳの幅および後車軸ＢＳの幅を特定する。さらに、生成部９２は、前車軸ＦＳの幅と後車軸ＢＳの幅の比率を、車両Ｖが所定位置Ｔを通過する際の速度変化率として算出する。そして、生成部９２は、速度変化率が「１」であり、車両Ｖが所定位置Ｔを通過する際に等速で通過した可能性が高い場合、車両画像の車長方向に向かってリフレクタンス画像Ｇを均一に伸縮させて、リフレクタンス画像Ｇが含む車両画像の車長を所定の長さＬに正規化する。 As illustrated in FIG. 9, first, the generation unit 92 specifies the vehicle length l of the vehicle image included in the reflectance image G. Further, the generation unit 92 detects the front axle FS and the rear axle BS included in the reflectance image G. Next, the generation unit 92 specifies the width of the front axle FS and the width of the rear axle BS. Further, the generation unit 92 calculates the ratio between the width of the front axle FS and the width of the rear axle BS as a speed change rate when the vehicle V passes the predetermined position T. When the speed change rate is “1” and there is a high possibility that the vehicle V has passed at a constant speed when passing through the predetermined position T, the generation unit 92 reflects the vehicle image in the vehicle length direction. The vehicle G of the vehicle image included in the reflectance image G is normalized to a predetermined length L by uniformly expanding and contracting the image G.
一方、生成部９２は、速度変化率が「１」でない場合、車両Ｖが所定位置Ｔを通過する際に加減速した可能性が高いため、リフレクタンス画像Ｇの部分よって、車両画像の車長方向に対する伸縮率を変える。例えば、生成部９２は、速度変化率が「１」より小さく、車両Ｖが所定位置Ｔを通過する際に減速した可能性が高い場合、車両画像の車長方向に向かって、車両画像の後端に向かうに従い、当該リフレクタンス画像Ｇの検出点の間隔を小さくする。一方、生成部９２は、速度変化率が「１」より大きく、車両Ｖが所定位置Ｔを通過する際に加速した可能性が高い場合、車両画像の車長方向に向かって、車両画像の後端に向かうに従い、当該リフレクタンス画像Ｇの検出点の間隔を大きくする。 On the other hand, when the speed change rate is not “1”, the generation unit 92 has a high possibility of acceleration / deceleration when the vehicle V passes the predetermined position T. Therefore, the vehicle length of the vehicle image is determined by the portion of the reflectance image G. Change the expansion / contraction ratio with respect to the direction. For example, when the rate of change in speed is smaller than “1” and there is a high possibility that the vehicle V has decelerated when passing through the predetermined position T, the generation unit 92 moves toward the vehicle length direction of the vehicle image. As it goes to the end, the interval between the detection points of the reflectance image G is reduced. On the other hand, when the speed change rate is greater than “1” and there is a high possibility that the vehicle V has accelerated when passing through the predetermined position T, the generation unit 92 moves toward the vehicle length direction of the vehicle image. As it goes to the end, the interval between the detection points of the reflectance image G is increased.
すなわち、生成部９２は、リフレクタンス画像Ｇが含む車軸を検知し、当該車軸の検知結果に基づく車両Ｖの速度に応じて、当該リフレクタンス画像Ｇが含む車両画像の車長ｌを所定の長さに正規化する。そして、補間部９４は、全景Ｄの特徴点Ｐと、車両画像の車長を正規化したリフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する。これにより、全景Ｄの特徴点Ｐとリフレクタンス画像Ｇの検出点ｐとの照合率が高まり、全景Ｄに対してより多くの特徴点Ｐを補間できるようになるので、全景Ｄの特徴点の密度を高められる。また、判別部９５は、より精度の高い全景Ｄを用いて、車両Ｖの車種を判別することができるので、車両Ｖの車種の判別精度を高めることができる。 That is, the generation unit 92 detects the axle included in the reflectance image G, and sets the vehicle length l of the vehicle image included in the reflectance image G to a predetermined length according to the speed of the vehicle V based on the detection result of the axle. Normalize to And the interpolation part 94 performs the matching process which collates the feature point P of the whole view D, and the detection point p of the reflectance image G which normalized the vehicle length of the vehicle image. As a result, the matching rate between the feature point P of the overall view D and the detection point p of the reflectance image G is increased, and more feature points P can be interpolated with respect to the overall view D. The density can be increased. Moreover, since the discrimination | determination part 95 can discriminate | determine the vehicle type of the vehicle V using the more accurate whole view D, the discrimination | determination precision of the vehicle type of the vehicle V can be improved.
例えば、判別部９５は、全景Ｄの特徴点の密度が高まることによって、当該全景Ｄに含まれるトラクタ部とトレーラ部の分離が容易になる。そして、判別部９５は、トラクタ部から分離したトレーラ部の形状に従って、車両Ｖの車種を判別することができる。さらに、判別部９５は、全景Ｄを用いて車両Ｖの寸法をより高精度に求めることができるので、特に、大型車両または特大車両の判別精度を高めることができる。 For example, when the density of the feature points of the overall view D increases, the determination unit 95 can easily separate the tractor portion and the trailer portion included in the overall view D. And the discrimination | determination part 95 can discriminate | determine the vehicle type of the vehicle V according to the shape of the trailer part isolate | separated from the tractor part. Furthermore, since the determination part 95 can obtain | require the dimension of the vehicle V more accurately using the whole view D, it can raise especially the determination precision of a large sized vehicle or an oversized vehicle.
次に、図１０および図１１を用いて、本実施形態にかかる路側装置１０３による車両Ｖの車種の判別処理の具体例について説明する。図１０および図１１は、本実施形態にかかる路側装置による車両の車種の判別処理の具体例を説明するための図である。 Next, a specific example of the vehicle type determination process of the vehicle V by the roadside device 103 according to the present embodiment will be described with reference to FIGS. 10 and 11. FIGS. 10 and 11 are diagrams for explaining a specific example of the vehicle type determination process of the vehicle by the roadside device according to the present embodiment.
本実施形態では、判別部９５は、特徴点Ｐが補間された全景Ｄから、所定の注視領域を抽出する。次いで、判別部９５は、注視領域に基づいて、車両Ｖの車種を判別する。具体的には、判別部９５は、注視領域と記憶部９０に記憶された所定の注視領域毎の画像パターンとの照合結果に基づいて、車両Ｖの車種を判別する。これにより、車種の判別において重要な注視領域のみに基づいて、車両Ｖの車種を判別するので、車両Ｖの車種の判別の誤りを軽減することができる。また、特徴点Ｐが補間された全景Ｄの注視領域のみに基づいて、車両Ｖの車種を判別するので、車種の判別による処理負荷を軽減することができる。 In the present embodiment, the determination unit 95 extracts a predetermined gaze area from the entire scene D in which the feature points P are interpolated. Next, the determination unit 95 determines the vehicle type of the vehicle V based on the gaze area. Specifically, the determination unit 95 determines the vehicle type of the vehicle V based on the collation result between the gaze area and the image pattern for each predetermined gaze area stored in the storage unit 90. Thereby, since the vehicle type of the vehicle V is determined based only on the gaze area important in the determination of the vehicle type, errors in the determination of the vehicle type of the vehicle V can be reduced. In addition, since the vehicle type of the vehicle V is determined based only on the gaze area of the entire view D in which the feature points P are interpolated, the processing load due to the determination of the vehicle type can be reduced.
例えば、図１０に示すように、判別部９５は、まず、特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車幅、車長、車高等の寸法を特定する。さらに、判別部９５は、全景Ｄから、トレーラ部９０１を注視領域として分離する。具体的には、判別部９５は、図１１（ａ）に示すように、全景Ｄに含まれるトラクタ部１００１とトレーラ部９０１との間の隙間１００２を検出する。そして、判別部９５は、図１１（ｂ）に示すように、隙間１００２を挟んで、車両Ｖの後方側の領域をトレーラ部９０１として分離する。 For example, as illustrated in FIG. 10, the determination unit 95 first identifies dimensions such as the vehicle width, the vehicle length, and the vehicle height of the vehicle V based on the full view D in which the feature points P are interpolated. Further, the determination unit 95 separates the trailer unit 901 from the entire view D as a gaze area. Specifically, the determination unit 95 detects a gap 1002 between the tractor unit 1001 and the trailer unit 901 included in the entire view D as shown in FIG. And the discrimination | determination part 95 isolate | separates the area | region of the back side of the vehicle V as the trailer part 901 on both sides of the clearance gap 1002, as shown in FIG.11 (b).
次いで、図１０に示すように、判別部９５は、記憶部９０に記憶された車種別の画像パターン９０２と、分離したトレーラ部９０１とを照合する。そして、判別部９５は、車種別の画像パターン９０２とトレーラ部９０１との照合結果、および車両Ｖの寸法に基づいて、車両Ｖの車種（例えば、特大車両）を判別する。 Next, as illustrated in FIG. 10, the determination unit 95 collates the vehicle-type image pattern 902 stored in the storage unit 90 with the separated trailer unit 901. Then, the determination unit 95 determines the vehicle type (for example, an oversized vehicle) of the vehicle V based on the collation result between the vehicle type image pattern 902 and the trailer unit 901 and the dimensions of the vehicle V.
また、本実施形態では、判別部９５は、マッチング処理の結果に基づいて、特徴点が補間された全景Ｄの車長方向の付属物の長さを検出する。次いで、判別部９５は、検出した付属物の長さに基づいて、当該全景Ｄの車長を補正する。そして、判別部９５は、当該車長を補正した全景Ｄに基づいて、車両Ｖの車種を判別しても良い。図１２は、本実施形態にかかる路側装置による全景の車長の補正処理の一例を説明するための図である。例えば、図１２に示すように、判別部９５は、マッチング処理の結果に基づいて、リフレクタンス画像Ｇが含む車両画像の車長方向への付属物（例えば、ミラー）の長さΔＬ１を検知する。そして、判別部９５は、全景Ｄの車長を、当該長さΔＬ１を引いた長さに補正する。これにより、より正確な全景Ｄの寸法を用いて車両Ｖの車種を判別することができるので、車種の判別精度を向上させることができる。 Further, in the present embodiment, the determination unit 95 detects the length of the appendage in the vehicle length direction of the overall view D in which the feature points are interpolated based on the result of the matching process. Next, the determination unit 95 corrects the vehicle length of the entire view D based on the detected length of the appendage. And the discrimination | determination part 95 may discriminate | determine the vehicle type of the vehicle V based on the whole view D which correct | amended the said vehicle length. FIG. 12 is a diagram for explaining an example of the correction process of the vehicle length of the entire view by the roadside device according to the present embodiment. For example, as illustrated in FIG. 12, the determination unit 95 detects the length ΔL1 of an appendage (for example, a mirror) in the vehicle length direction of the vehicle image included in the reflectance image G based on the result of the matching process. . Then, the determination unit 95 corrects the vehicle length of the entire view D to a length obtained by subtracting the length ΔL1. Thereby, since the vehicle type of the vehicle V can be discriminated using the more accurate dimensions of the entire view D, the discrimination accuracy of the vehicle type can be improved.
次に、図１３を用いて、本実施形態にかかる路側装置１０３による車種の判別処理の流れについて説明する。図１３は、本実施形態にかかる路側装置による車種の判別処理の流れの一例を示すフローチャートである。 Next, with reference to FIG. 13, the flow of the vehicle type determination process by the roadside device 103 according to the present embodiment will be described. FIG. 13 is a flowchart illustrating an example of a flow of a vehicle type determination process by the roadside device according to the present embodiment.
取得部９１は、センサ１０２によって所定位置Ｔを通過する車両Ｖが検知されると、カメラ１０１から、撮像画像を取得する（ステップＳ１３０１）。推定部９３は、取得部９１により取得された撮像画像が含む車両画像の特徴点を抽出する（ステップＳ１３０２）。さらに、推定部９３は、車両Ｖとカメラ１０１との位置関係に基づいて、抽出した各特徴点Ｐの位置を特定することによって、車両Ｖの全景Ｄを推定する（ステップ１３０３）。次に、推定部９３は、推定した全景Ｄを回転させることによって、センサ１０２のレーザの放射位置から車両Ｖを見た場合の車両Ｖの全景を得る（ステップＳ１３０４）。 When the sensor 102 detects the vehicle V passing through the predetermined position T, the acquisition unit 91 acquires a captured image from the camera 101 (step S1301). The estimation unit 93 extracts feature points of the vehicle image included in the captured image acquired by the acquisition unit 91 (step S1302). Further, the estimation unit 93 estimates the entire view D of the vehicle V by specifying the position of each extracted feature point P based on the positional relationship between the vehicle V and the camera 101 (step 1303). Next, the estimation unit 93 rotates the estimated whole view D to obtain a whole view of the vehicle V when the vehicle V is viewed from the laser radiation position of the sensor 102 (step S1304).
また、取得部９１は、センサ１０２によって所定位置Ｔを通過する車両Ｖが検知されると、センサ１０２から、各検出点の検出点間距離および反射強度を取得する（ステップＳ１３０５）。生成部９２は、車両Ｖの検出点の濃度を、当該検出点の反射強度に応じて異ならせたリフレクタンス画像を生成する。次いで、生成部９２は、リフレクタンス画像Ｇが含む車両画像の車長を特定する（ステップＳ１３０６）。さらに、生成部９２は、リフレクタンス画像Ｇが含む前車軸ＦＳおよび後車軸ＢＳを検知する（ステップＳ１３０７）。そして、生成部９２は、前車軸ＦＳおよび後車軸ＢＳの検知結果に基づいて、車両Ｖの速度を検出する（ステップＳ１３０８）。その後、生成部９２は、車両Ｖの速度に基づいて、リフレクタンス画像Ｇが含む車両画像の車長を所定の長さに正規化する（ステップＳ１３０９）。 Further, when the sensor 102 detects the vehicle V passing through the predetermined position T, the acquisition unit 91 acquires, from the sensor 102, the distance between the detection points and the reflection intensity at each detection point (step S1305). The generation unit 92 generates a reflectance image in which the density at the detection point of the vehicle V is varied according to the reflection intensity at the detection point. Next, the generation unit 92 specifies the vehicle length of the vehicle image included in the reflectance image G (step S1306). Further, the generation unit 92 detects the front axle FS and the rear axle BS included in the reflectance image G (step S1307). And the production | generation part 92 detects the speed of the vehicle V based on the detection result of the front axle FS and the rear axle BS (step S1308). Thereafter, the generation unit 92 normalizes the vehicle length of the vehicle image included in the reflectance image G to a predetermined length based on the speed of the vehicle V (step S1309).
補間部９４は、推定した全景Ｄの特徴点Ｐと、正規化されたリフレクタンス画像Ｇの検出点ｐとを照合するマッチング処理を実行する（ステップＳ１３１０）。次いで、補間部９４は、マッチング処理の結果および検出点ｐの検出点間距離に基づいて、全景Ｄの特徴点Ｐを補間する（ステップＳ１３１１）。判別部９５は、特徴点Ｐが補間された全景Ｄに基づいて、車両Ｖの車種を判別する（ステップＳ１３１２）。そして、判別部９５は、車両Ｖの車種の判別結果を、外部装置に出力する（ステップＳ１３１３）。その際、判別部９５は、特徴点Ｐが補間された全景Ｄを用いて（例えば、全景Ｄを回転させて）、所定位置Ｔを通過した車両Ｖの車軸を検知し、その検知結果（例えば、検知した車軸の数、検知した車軸の配置）を外部装置に出力しても良い。 The interpolation unit 94 executes a matching process for collating the estimated feature point P of the entire scene D with the detected point p of the normalized reflectance image G (step S1310). Next, the interpolation unit 94 interpolates the feature point P of the entire scene D based on the result of the matching process and the distance between the detection points p (step S1311). The determination unit 95 determines the vehicle type of the vehicle V based on the full view D in which the feature points P are interpolated (step S1312). And the discrimination | determination part 95 outputs the discrimination | determination result of the vehicle type of the vehicle V to an external device (step S1313). At that time, the determination unit 95 detects the axle of the vehicle V that has passed the predetermined position T using the entire view D in which the feature point P is interpolated (for example, by rotating the entire view D), and the detection result (for example, The number of detected axles and the arrangement of detected axles) may be output to an external device.
このように、本実施形態にかかる車種判別システムによれば、車種の判別を効率化することができ、かつ高精度な車種の判別を実現することができる。 Thus, according to the vehicle type discrimination system according to the present embodiment, the discrimination of the vehicle type can be made more efficient, and the discrimination of the vehicle type with high accuracy can be realized.
なお、本実施形態の路側装置１０３で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。本実施形態の路側装置１０３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 Note that the program executed by the roadside device 103 of the present embodiment is provided by being incorporated in advance in a ROM (Read Only Memory) or the like. The program executed by the roadside apparatus 103 of the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). You may comprise so that it may record and provide on a readable recording medium.
さらに、本実施形態の路側装置１０３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の路側装置１０３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Furthermore, the program executed by the roadside apparatus 103 of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the roadside apparatus 103 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
本実施形態の路側装置１０３で実行されるプログラムは、上述した各部（取得部９１、生成部９２、推定部９３、補間部９４、および判別部９５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部９１、生成部９２、推定部９３、補間部９４、および判別部９５が主記憶装置上に生成されるようになっている。 The program executed by the roadside apparatus 103 according to the present embodiment has a module configuration including the above-described units (acquisition unit 91, generation unit 92, estimation unit 93, interpolation unit 94, and determination unit 95). As the hardware, a CPU (Central Processing Unit) reads out the program from the ROM and executes it, so that the respective units are loaded onto the main storage device, and an acquisition unit 91, a generation unit 92, an estimation unit 93, an interpolation unit 94, and A determination unit 95 is generated on the main storage device.
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment is included in the scope and gist of the invention, and is also included in the invention described in the claims and the equivalent scope thereof.
１０１ カメラ
１０２ センサ
１０３ 路側装置
９０ 記憶部
９１ 取得部
９２ 生成部
９３ 推定部
９４ 補間部
９５ 判別部
Ｔ 所定位置
Ｖ 車両
DESCRIPTION OF SYMBOLS 101 Camera 102 Sensor 103 Roadside apparatus 90 Storage part 91 Acquisition part 92 Generation part 93 Estimation part 94 Interpolation part 95 Discrimination part T Predetermined position V Vehicle
Claims (10)
前記所定位置の画像であり、前記検出点の濃度を、当該検出点において反射したレーザの前記反射強度に応じて異ならせたリフレクタンス画像を生成する、生成部と、
前記撮像画像に基づいて前記車両の三次元形状を推定する推定部と、
前記三次元形状の特徴点と前記リフレクタンス画像の前記検出点とを照合するマッチング処理を実行し、前記マッチング処理の結果および前記検出距離を用いて、前記三次元形状の前記特徴点を補間する補間部と、
前記特徴点を補間した前記三次元形状に基づいて前記車両の車種を判別する判別部と、
を備えた車種判別装置。 From the sensor that detects the detection distance to the detection point irradiated with the laser at a predetermined position where the vehicle passes and the reflection intensity of the laser reflected at the detection point, the detection distance and the reflection intensity are obtained, and from the imaging unit, An acquisition unit for acquiring a captured image obtained by imaging the predetermined position;
A generation unit that is an image of the predetermined position and generates a reflectance image in which the density of the detection point is varied according to the reflection intensity of the laser reflected at the detection point;
An estimation unit that estimates a three-dimensional shape of the vehicle based on the captured image;
A matching process for matching the feature point of the three-dimensional shape and the detection point of the reflectance image is executed, and the feature point of the three-dimensional shape is interpolated using the result of the matching process and the detection distance An interpolation unit;
A discriminator for discriminating a vehicle type of the vehicle based on the three-dimensional shape obtained by interpolating the feature points;
A vehicle type identification device.
前記補間部は、前記三次元形状の特徴点と、前記車両画像の車長を正規化した前記リフレクタンス画像の前記検出点とを照合する前記マッチング処理を実行する請求項１に記載の車種判別装置。 The generation unit detects an axle included in the reflectance image, and normalizes a vehicle length of the vehicle image included in the reflectance image to a predetermined length according to a speed of the vehicle based on a detection result of the axle. ,
2. The vehicle type determination according to claim 1, wherein the interpolation unit executes the matching process for collating the feature point of the three-dimensional shape with the detection point of the reflectance image obtained by normalizing a vehicle length of the vehicle image. apparatus.
撮像部から、前記所定位置を撮像して得られた撮像画像を取得し、
前記所定位置の画像であり、前記検出点の濃度を、当該検出点において反射したレーザの前記反射強度に応じて異ならせたリフレクタンス画像を生成し、
前記撮像画像に基づいて前記車両の三次元形状を推定し、
前記三次元形状の特徴点と前記リフレクタンス画像の前記検出点とを照合するマッチング処理を実行し、
前記マッチング処理の結果および前記検出距離を用いて、前記三次元形状の前記特徴点を補間し、
前記特徴点を補間した前記三次元形状に基づいて前記車両の車種を判別する、
ことを含む車種判別方法。 The detection distance and the reflection intensity are acquired from a sensor that detects a detection distance to a detection point irradiated with a laser at a predetermined position where the vehicle passes and a reflection intensity of the laser reflected at the detection point,
From the imaging unit, obtain a captured image obtained by imaging the predetermined position,
A reflectance image in which the density of the detection point is different depending on the reflection intensity of the laser reflected at the detection point.
Estimating the three-dimensional shape of the vehicle based on the captured image,
Performing a matching process for matching the feature point of the three-dimensional shape and the detection point of the reflectance image;
Using the result of the matching process and the detection distance, the feature point of the three-dimensional shape is interpolated,
Determining the vehicle type of the vehicle based on the three-dimensional shape obtained by interpolating the feature points;
A vehicle type discrimination method including the above.
当該注視領域に基づいて、前記車両の車種を判別する請求項６に記載の車種判別方法。 A predetermined gaze area is extracted from the three-dimensional shape obtained by interpolating the feature points,
The vehicle type determination method according to claim 6, wherein the vehicle type of the vehicle is determined based on the gaze area.
当該車軸の検知結果に基づく前記車両の速度に応じて、前記リフレクタンス画像が含む車両画像の車長を所定の長さに正規化し、
前記三次元形状の特徴点と、前記車両画像の車長を正規化した前記リフレクタンス画像の前記検出点とを照合する前記マッチング処理を実行する請求項６に記載の車種判別方法。 Detecting the axle contained in the reflectance image;
In accordance with the speed of the vehicle based on the detection result of the axle, the vehicle length of the vehicle image included in the reflectance image is normalized to a predetermined length,
The vehicle type identification method according to claim 6, wherein the matching process is performed to collate the feature point of the three-dimensional shape with the detection point of the reflectance image obtained by normalizing a vehicle length of the vehicle image.
検出した前記付属物の長さに基づいて、当該三次元形状の長さを補正し、
当該補正後の三次元形状に基づいて、前記車両の車種を判別する請求項６に記載の車種判別方法。 Based on the result of the matching process, detect the length of the appendage in the length direction of the three-dimensional shape interpolated the feature point,
Based on the detected length of the appendage, correct the length of the three-dimensional shape,
The vehicle type determination method according to claim 6, wherein the vehicle type of the vehicle is determined based on the corrected three-dimensional shape.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232165A JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015232165A JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017097783A true JP2017097783A (en) | 2017-06-01 |
| JP6685704B2 JP6685704B2 (en) | 2020-04-22 |
Family
ID=58817971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015232165A Active JP6685704B2 (en) | 2015-11-27 | 2015-11-27 | Vehicle type identification device and vehicle type identification method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6685704B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107978151A (en) * | 2017-11-22 | 2018-05-01 | 武汉万集信息技术有限公司 | A kind of vehicle checking method and system |
| JP2019117434A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Image generation device |
| JP2020038651A (en) * | 2018-08-31 | 2020-03-12 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Intelligent roadside unit and control method thereof, computer device and storage medium |
| JP2020194145A (en) * | 2019-05-30 | 2020-12-03 | 金川 典代 | Road peripheral wall surface photographing device and road peripheral wall surface photographing method |
| JP2022106885A (en) * | 2017-12-26 | 2022-07-20 | パイオニア株式会社 | Image generation device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002190023A (en) * | 2000-12-21 | 2002-07-05 | Toshiba Corp | Device and method for discriminating car model, and storage medium storing car model discriminating program readable in computer |
| JP2009104232A (en) * | 2007-10-19 | 2009-05-14 | Toyota Motor Corp | Vehicle model discriminating device |
| JP2010014706A (en) * | 2008-06-06 | 2010-01-21 | Mitsubishi Electric Corp | Laser vehicle detecting system |
| JP2011096022A (en) * | 2009-10-30 | 2011-05-12 | Mitsubishi Electric Corp | Vehicle detection device and toll charging system |
| JP2014035702A (en) * | 2012-08-09 | 2014-02-24 | Topcon Corp | Optical data processing device, optical data processing system, optical data processing method, and program for processing optical data |
| JP2014215719A (en) * | 2013-04-23 | 2014-11-17 | 株式会社東芝 | Vehicle model determination device |
| US20170294118A1 (en) * | 2014-12-30 | 2017-10-12 | Nuctech Company Limited | Vehicle identification methods and systems |
-
2015
- 2015-11-27 JP JP2015232165A patent/JP6685704B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002190023A (en) * | 2000-12-21 | 2002-07-05 | Toshiba Corp | Device and method for discriminating car model, and storage medium storing car model discriminating program readable in computer |
| JP2009104232A (en) * | 2007-10-19 | 2009-05-14 | Toyota Motor Corp | Vehicle model discriminating device |
| JP2010014706A (en) * | 2008-06-06 | 2010-01-21 | Mitsubishi Electric Corp | Laser vehicle detecting system |
| JP2011096022A (en) * | 2009-10-30 | 2011-05-12 | Mitsubishi Electric Corp | Vehicle detection device and toll charging system |
| JP2014035702A (en) * | 2012-08-09 | 2014-02-24 | Topcon Corp | Optical data processing device, optical data processing system, optical data processing method, and program for processing optical data |
| JP2014215719A (en) * | 2013-04-23 | 2014-11-17 | 株式会社東芝 | Vehicle model determination device |
| US20170294118A1 (en) * | 2014-12-30 | 2017-10-12 | Nuctech Company Limited | Vehicle identification methods and systems |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107978151A (en) * | 2017-11-22 | 2018-05-01 | 武汉万集信息技术有限公司 | A kind of vehicle checking method and system |
| CN107978151B (en) * | 2017-11-22 | 2019-12-10 | 武汉万集信息技术有限公司 | vehicle detection method and system |
| JP2019117434A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Image generation device |
| JP2022106885A (en) * | 2017-12-26 | 2022-07-20 | パイオニア株式会社 | Image generation device |
| JP2020038651A (en) * | 2018-08-31 | 2020-03-12 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Intelligent roadside unit and control method thereof, computer device and storage medium |
| US11506780B2 (en) | 2018-08-31 | 2022-11-22 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Intelligent roadside unit and control method thereof |
| JP2020194145A (en) * | 2019-05-30 | 2020-12-03 | 金川 典代 | Road peripheral wall surface photographing device and road peripheral wall surface photographing method |
| JP7267557B2 (en) | 2019-05-30 | 2023-05-02 | 金川 典代 | Track surrounding wall photographing device and track surrounding wall photographing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6685704B2 (en) | 2020-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017097783A (en) | Vehicle type determination device and vehicle type determination method | |
| JP6514192B2 (en) | Object movement classification based on lidar | |
| US10943131B2 (en) | Image based lane marking classification | |
| CA2958832C (en) | Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic | |
| JP6458734B2 (en) | Passenger number measuring device, passenger number measuring method, and passenger number measuring program | |
| EP2616768B1 (en) | A calibration apparatus, a distance measurement system, a calibration method and a calibration program | |
| US9842269B2 (en) | Video processing apparatus, video processing method, and recording medium | |
| JP6349742B2 (en) | Multi-lane detection method and detection system | |
| JP6950170B2 (en) | Information processing device, imaging device, device control system, information processing method, and program | |
| CN108162858B (en) | Vehicle-mounted monitoring device and method thereof | |
| JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
| US20200074212A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| JP2017220076A (en) | Vehicle type discrimination device and vehicle type discrimination method | |
| JP2016184316A (en) | Vehicle type determination device and vehicle type determination method | |
| JP2014009975A (en) | Stereo camera | |
| JP6361313B2 (en) | Vehicle detection method and apparatus | |
| CN108629225B (en) | Vehicle detection method based on multiple sub-images and image significance analysis | |
| KR101818842B1 (en) | Driving assistant apparatus, distance detection method and width of lane detection method | |
| US20140285362A1 (en) | Apparatus for determining available parking space and method thereof | |
| WO2016151977A1 (en) | Moving body detection device, image processing device, moving body detection method, and integrated circuit | |
| CN112304293B (en) | Road height detection method and device, readable storage medium and electronic equipment | |
| JP2009104232A (en) | Vehicle model discriminating device | |
| US10482320B2 (en) | Device and method for providing moving body information for a vehicle, and recording medium, on which a program for executing the method is recorded | |
| WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| KR20140096576A (en) | Apparatus and method for detecting vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170911 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170912 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6685704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |