JP2016186756A - Device and method of detecting joint part of road - Google Patents
Device and method of detecting joint part of road Download PDFInfo
- Publication number
- JP2016186756A JP2016186756A JP2015067281A JP2015067281A JP2016186756A JP 2016186756 A JP2016186756 A JP 2016186756A JP 2015067281 A JP2015067281 A JP 2015067281A JP 2015067281 A JP2015067281 A JP 2015067281A JP 2016186756 A JP2016186756 A JP 2016186756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- unit
- road structure
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 86
- 238000001514 detection method Methods 0.000 claims abstract description 222
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 167
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 55
- 238000007689 inspection Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 239000010426 asphalt Substances 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
Images
Abstract
Description
本発明は、物体を検出する物体検出装置及び物体検出方法に関する。 The present invention relates to an object detection apparatus and an object detection method for detecting an object.
従来、路面に関連する路面構造物や路面の周辺に設置された付属構造物等を含む道路構造物の点検作業は、点検者が目視により行っていた。例えば、道路構造物の点検方法としては、点検者が、走行する点検車両から目視により道路構造物の状態を確認したり、点検車両に設置したカメラ等で撮影した全画像から道路構造物の状態を目視判定したりする方法が用いられてきた。しかしながら、前者の方法では、点検車両を低速走行させなければならず、道路渋滞を招くおそれがある。また、後者の方法では、点検者は道路構造物が撮影されていない画像についても確認しなければならず、非効率である。 Conventionally, an inspector has visually inspected road structures including road surface structures related to the road surface and attached structures installed around the road surface. For example, as an inspection method for road structures, an inspector visually confirms the state of the road structure from a traveling inspection vehicle, or the state of the road structure from all images taken with a camera installed on the inspection vehicle. Such a method has been used for visually judging the above. However, in the former method, the inspection vehicle must be run at a low speed, which may cause road congestion. Moreover, in the latter method, the inspector must confirm an image in which the road structure is not photographed, which is inefficient.
車載のカメラで撮影した画像から道路構造物を自動的に検出する装置としては、例えば特許文献１に記載の技術がある。この技術は、車両に設置したカメラで撮影した車両前方の路面上の画像に対しエッジ検出、パターン認識などの画像処理を行うことで、車両前方の路面上の構造物（例えば、道路のジョイント部やマンホール等）を識別するものである。ここでは、路面上の構造物についての位置情報を記憶したデータベースを予め準備しておき、当該データベースに記憶された構造物の位置に車両が接近したとき、車両前方に道路構造物が存在するか否かを判断している。
As an apparatus for automatically detecting a road structure from an image taken by an in-vehicle camera, for example, there is a technique described in
上記特許文献１に記載の技術にあっては、道路構造物の位置情報を記憶したデータベースを予め準備しておかなければ、道路構造物を適切に検出することができない。すなわち、例えば道路構造物として道路のジョイント部を検出対象とした場合、当該ジョイント部の設置位置や設置間隔等が未知である場合には、適切に当該ジョイント部を検出することができない。また、上記特許文献１に記載の技術では、パターン認識により道路構造物を検出している。このようにパターン認識を用いた検出方法では、例えば、道路のジョイント部を検出する場合、道路の幅方向に沿って互い違いに正対状態で形成される三角形や四角形などの継ぎ目をパターンマッチングにより検出することで、道路のジョイント部を検出することになる。しかしながら、ジョイント部の継ぎ目の形状にはさまざまなものがあり、すべてのマッチング用パターンを用意することは困難である。したがって、上記の検出方法では、道路構造物の誤検出や検出漏れ等が発生しやすい。
そこで、本発明は、撮影画像から物体を容易且つ適切に検出することができる物体検出装置及び物体検出方法を提供することを課題としている。
In the technique described in
Therefore, an object of the present invention is to provide an object detection apparatus and an object detection method that can easily and appropriately detect an object from a captured image.
上記課題を解決するために、本発明に係る物体検出装置の一態様は、移動体に搭載された撮影部で撮影した当該移動体の周辺の画像から特異点を抽出する特異点抽出部と、前記特異点抽出部で抽出した特異点のうち、前記画像における所定の方向に連続する特異点の数に基づいて、検出対象の物体を検出する物体検出部と、を備える。したがって、従来のパターンマッチングを用いた場合のように、検出対象である物体に対応したマッチング用パターンを用意する必要がない。そのため、数種類の物体を検出対象とする場合であっても、物体の誤検出や検出漏れを抑制することができる。 In order to solve the above-described problem, an aspect of the object detection device according to the present invention includes a singular point extraction unit that extracts a singular point from an image around the moving body photographed by a photographing unit mounted on the moving body, An object detection unit that detects an object to be detected based on the number of singular points that are continuous in a predetermined direction in the image among the singular points extracted by the singular point extraction unit. Therefore, unlike the case of using conventional pattern matching, it is not necessary to prepare a matching pattern corresponding to an object to be detected. Therefore, even when several types of objects are set as detection targets, it is possible to suppress erroneous detection and detection omission of objects.
また、上記の物体検出装置において、前記特異点抽出部は、前記撮影部で撮影した画像から、前記物体の輝度値に対応する値の輝度値を有する画素を前記特異点として抽出してもよい。このように、物体の輝度値を有する画素を特異点として抽出するので、検出対象である物体とは輝度値の異なる物体は、仮に形状が同じであっても検出対象から除外することができる。したがって、所望の物体を適切に検出することができる。 In the object detection device, the singular point extraction unit may extract, as the singular point, a pixel having a luminance value corresponding to the luminance value of the object from the image captured by the imaging unit. . As described above, since the pixel having the luminance value of the object is extracted as a singular point, an object having a luminance value different from that of the detection target object can be excluded from the detection target even if the shape is the same. Therefore, a desired object can be detected appropriately.
さらに、上記の物体検出装置において、前記特異点抽出部は、前記撮影部で撮影した画像に対して所定の閾値で二値化処理および多値化処理のいずれかを施し、当該処理後の画像から、前記物体の前記処理後の輝度値を有する画素を前記特異点として抽出してもよい。このように、二値化処理または多値化処理を行って特異点を抽出するので、比較的簡易に特異点、即ち検出対象である物体の候補に対応する画素を抽出することができる。また、二値化処理または多値化処理を行うことで、データ量を削減することができ、処理を軽くすることができる。 Furthermore, in the object detection apparatus, the singular point extraction unit performs either binarization processing or multi-level processing on the image captured by the imaging unit with a predetermined threshold, and the image after the processing From the above, a pixel having the processed luminance value of the object may be extracted as the singular point. As described above, since the binarization process or the multi-value process is performed to extract the singular point, it is possible to extract the singular point, that is, the pixel corresponding to the candidate object to be detected, relatively easily. Further, by performing the binarization process or the multi-value process, the data amount can be reduced and the process can be lightened.
また、上記の物体検出装置において、ユーザが入力した情報に基づいて、前記閾値を調整可能な閾値調整部をさらに備えてもよい。このように、二値化処理または多値化処理で用いる閾値を調整することで、検出可能となる物体を調整することができる。すなわち、非検出としたい物体がある場合には、その物体が検出されないように上記閾値を設定することができ、所望の物体を検出することができる。 The object detection apparatus may further include a threshold adjustment unit that can adjust the threshold based on information input by a user. In this way, by adjusting the threshold value used in the binarization process or the multi-value process, the object that can be detected can be adjusted. That is, when there is an object that should not be detected, the threshold value can be set so that the object is not detected, and a desired object can be detected.
さらにまた、上記の物体検出装置において、前記物体検出部は、前記連続する特異点の数が、前記物体の前記画像内における前記所定の方向における大きさに相当する判定範囲内にあるとき、前記画像内に前記物体が存在すると判断してもよい。これにより、検出対象の物体の画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象の物体として検出することができる。したがって、複雑な処理を必要とすることなく、適切に物体の検出が可能となる。また、検出対象の物体と同等の輝度値を有する物体が存在する場合であっても、検出対象の物体とは大きさや姿勢が異なる物体は検出対象から除外することができる。したがって、所望の物体を適切に検出することができる。 Furthermore, in the above object detection device, the object detection unit, when the number of consecutive singular points is within a determination range corresponding to the size of the object in the predetermined direction in the image, It may be determined that the object is present in the image. As a result, it is possible to detect a point group of singular points having a size and orientation that approximately match the size and orientation in the image of the detection target object as the detection target object. Therefore, it is possible to appropriately detect an object without requiring complicated processing. Further, even when there is an object having a luminance value equivalent to that of the detection target object, an object having a size or orientation different from that of the detection target object can be excluded from the detection target. Therefore, a desired object can be detected appropriately.
また、上記の物体検出装置において、前記物体検出部は、前記物体の前記画像内における前記所定の方向における大きさを、前記移動体の車速と、前記物体の前記画像のフレーム間での変位量とに基づいて導出してもよい。これにより、画像内の物体の位置および大きさが、画像フレーム間で変位することを利用して判定範囲を設定することができる。したがって、例えば他車両の影などの移動体は、物体として検出されないようにすることができる。このように、より高精度に物体を検出することができる。 In the object detection device, the object detection unit may determine the size of the object in the predetermined direction in the image, the amount of displacement between the vehicle speed of the moving object and the frame of the image of the object. And may be derived based on Thereby, the determination range can be set by using the displacement and position of the object in the image between the image frames. Therefore, for example, a moving body such as a shadow of another vehicle can be prevented from being detected as an object. Thus, an object can be detected with higher accuracy.
さらに、上記の物体検出装置において、ユーザが入力した情報に基づいて、前記判定範囲を調整可能な判定範囲調整部をさらに備えてもよい。このように、物体の検出に用いる判定範囲を調整することで、検出する物体を調整することができる。したがって、所望の物体を検出することができる。
また、上記の物体検出装置において、前記物体は、道路、橋、トンネル、及び配管の少なくとも１つに関連する構造物であってもよい。これにより、道路構造物や、橋に取り付けられたボルト、トンネル内壁に設置された照明、配管の接続部などを検出することができる。
Furthermore, the object detection apparatus may further include a determination range adjustment unit that can adjust the determination range based on information input by a user. Thus, the object to be detected can be adjusted by adjusting the determination range used for detecting the object. Therefore, a desired object can be detected.
In the object detection apparatus, the object may be a structure related to at least one of a road, a bridge, a tunnel, and a pipe. Thereby, it is possible to detect road structures, bolts attached to the bridge, lighting installed on the inner wall of the tunnel, pipe connection portions, and the like.
さらに、上記の物体検出装置において、前記物体検出部で物体を検出したとき、当該物体が撮影されている前記画像を記憶装置に記憶する記憶制御部をさらに備えてもよい。これにより、移動体が撮影対象領域の移動を完了した後、点検者は記憶装置に記憶された画像を詳細に確認することができる。また、記憶装置には、物体が撮影されている画像のみを記憶するので、点検者は物体の状態を効率良く確認することができる。
また、上記の物体検出装置において、前記記憶制御部は、前記画像の撮影時刻および前記移動体の位置の少なくとも一方を、前記画像と対応付けて前記記憶装置に記憶してもよい。これにより、点検者は、画像に映っている物体の位置や、当該物体が撮影された時刻等を容易に把握することができる。
Furthermore, the object detection apparatus may further include a storage control unit that stores the image in which the object is captured in a storage device when the object detection unit detects the object. Thereby, after the moving body completes the movement of the imaging target region, the inspector can check the image stored in the storage device in detail. Further, since only the image in which the object is photographed is stored in the storage device, the inspector can efficiently check the state of the object.
In the object detection device, the storage control unit may store at least one of the shooting time of the image and the position of the moving body in the storage device in association with the image. Thereby, the inspector can easily grasp the position of the object shown in the image, the time when the object is photographed, and the like.
さらにまた、上記の物体検出装置において、前記物体検出部で物体を検出したとき、当該物体が撮影されている前記画像を表示部に表示する表示制御部をさらに備えてもよい。このように、検出対象である物体が撮影された画像を表示部に表示させるので、移動体を移動させながらモニタ上で物体の状態を確認することができる。
また、上記の物体検出装置において、前記表示制御部は、前記物体検出部で検出した物体を強調表示してもよい。これにより、検出対象である物体の状態の確認作業を効率的に行うことができる。
Furthermore, the object detection apparatus may further include a display control unit that displays the image on which the object is captured when the object is detected by the object detection unit. In this way, since an image obtained by photographing an object that is a detection target is displayed on the display unit, the state of the object can be confirmed on the monitor while moving the moving body.
In the object detection apparatus, the display control unit may highlight the object detected by the object detection unit. Thereby, the confirmation operation | work of the state of the object which is a detection target can be performed efficiently.
また、上記の物体検出装置において、前記物体検出部で物体を検出したとき、当該物体が撮影されている前記画像をサーバ装置へ転送する転送部をさらに備えてもよい。このように、検出対象である物体が撮影された画像をサーバ装置へ転送するので、遠隔地にいる監視員等は、リアルタイムで物体の状態を確認することができる。
また、本発明に係る物体検出方法の一態様は、移動体に搭載された撮影部で撮影した当該移動体の周辺の画像から特異点を抽出するステップと、抽出した特異点のうち、前記画像における所定の方向に連続する特異点の数に基づいて、検出対象の物体を検出するステップと、を含む。したがって、従来のパターンマッチングを用いた場合のように、検出対象である物体に対応したマッチング用パターンを用意する必要がない。そのため、数種類の物体を検出対象とする場合であっても、物体の誤検出や検出漏れを抑制することができる。
In addition, the object detection apparatus may further include a transfer unit that transfers the image in which the object is photographed to the server device when the object detection unit detects the object. In this way, since an image in which an object to be detected is captured is transferred to the server device, a monitor or the like at a remote location can check the state of the object in real time.
Also, one aspect of the object detection method according to the present invention is the step of extracting a singular point from an image around the moving body photographed by a photographing unit mounted on the moving body, and among the extracted singular points, the image Detecting an object to be detected based on the number of singular points continuous in a predetermined direction. Therefore, unlike the case of using conventional pattern matching, it is not necessary to prepare a matching pattern corresponding to an object to be detected. Therefore, even when several types of objects are set as detection targets, it is possible to suppress erroneous detection and detection omission of objects.
本発明によれば、検出対象の物体の設置位置やパターンが未知であっても、移動体に搭載した撮影部で撮影した画像から物体を容易且つ適切に検出することができる。また、撮影画像から物体を自動的に検出するので、検出対象である物体の状態確認作業を支援することができる。 According to the present invention, even if the installation position and pattern of an object to be detected are unknown, the object can be easily and appropriately detected from an image captured by an imaging unit mounted on the moving body. In addition, since the object is automatically detected from the captured image, it is possible to support the state confirmation work of the object that is the detection target.
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における物体検出装置の一例を示す概略構成図である。本実施形態では、物体検出装置を道路（歩道を含む）に関連する構造物（以下、「道路構造物」という。）を検出対象の物体として検出する道路構造物検出装置に適用する例を説明する。
この図１に示すように、道路構造物検出装置１００は、移動体である車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検車両である。道路構造物検出装置１００は、カメラ１０と、画像処理装置２０と、ＧＰＳ受信機３０とを備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a schematic configuration diagram illustrating an example of an object detection apparatus according to the present embodiment. In the present embodiment, an example in which the object detection device is applied to a road structure detection device that detects a structure (hereinafter referred to as “road structure”) related to a road (including a sidewalk) as an object to be detected will be described. To do.
As shown in FIG. 1, the road
カメラ１０は、例えば車両２００の正面の屋根部分に取り付けられ、車両２００の周辺を撮影する撮影部である。このカメラ１０は、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮影するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮影することができる。
カメラ１０は、例えば車両２００が所定の点検対象道路を走行しているときに、当該車両２００の周辺を撮影することで、道路構造物を検出するための映像を撮影する。ここで、道路構造物とは、舗装やジョイント部、道路区画線（白線）、マンホール、排水溝、中央分離帯等のような路面に関連する路面構造物や、標識や照明灯、防音壁、ガードレール、縁石、横断歩道橋等のような路面の周辺に設置された付属構造物等を含む。さらに、道路構造部は、車両が通る橋梁やトンネル等を含んでもよい。
The
For example, when the
本実施形態では、カメラ１０は、車両２００の前方の映像を撮影する。ここで、カメラ１０の撮影範囲（方向や画角（視野角））は、検出対象である道路構造物に応じて適宜設定するものとする。検出対象がジョイント部や道路区画線等、路面上の構造物である場合には、カメラ１０の撮影範囲は、路面を撮影可能な範囲に設定する。一方、検出対象が道路の側部に設置された標識や照明、防音壁等である場合には、カメラ１０の撮影範囲は、道路の側部を撮影可能な範囲に設定する。
なお、カメラ１０は複数台設置することもできる。例えば、カメラ１０は、車両２００の前方を撮影する第一のカメラと、車両２００の左側方を撮影する第二のカメラと、車両２００の右側方を撮影する第三のカメラとで構成することもできる。この場合、各カメラでそれぞれ撮影した撮影方向の異なる映像を１つの動画情報として出力可能な構成とする。また、カメラ１０は、車両の後方を撮影するように構成されていてもよい。
In the present embodiment, the
A plurality of
画像処理装置２０は、カメラ１０で撮影した映像データの各画像フレーム（画像データ）を取得し、取得した画像データに対して画像処理を行って道路構造物を検出する。この画像処理装置２０は、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成されており、画像処理によりカメラ１０から取得した画像データから特異点を抽出し、当該特異点に基づいて道路構造物を検出する。当該画像処理については後で詳述する。なお、画像処理装置２０は、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０は、例えば、カメラ１０に搭載されていてもよい。
ＧＰＳ受信機３０は、ＧＰＳ（Global Positioning System）衛星から発信された信号を受信し、車両２００の走行位置を示す位置情報を画像処理装置２０に出力する。画像処理装置２０は、ＧＰＳ受信機３０から取得した位置情報を予め格納した道路情報とマッチングし、車両２００の走行位置を検出可能である。
The
The
以下、画像処理装置２０の具体的構成について説明する。
図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
画像処理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、メモリ２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
ＣＰＵ２１は、画像処理装置２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。
Hereinafter, a specific configuration of the
FIG. 2 is a diagram illustrating an example of a hardware configuration of the
The
The
ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
The
The
メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を予め記憶している。また、メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。メモリ２４は、ＳＤカードやＵＳＢメモリ等の外部記憶媒体であってもよい。また、メモリ２４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記憶媒体（記憶装置）であってもよい。
For example, the
入力部２５は、キーボードやマウス等のポインティングデバイスで構成され、画像処理装置２０のユーザは、入力部２５を介して当該画像処理装置２０に指示を与えることができるようになっている。
表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。
通信Ｉ／Ｆ２７は、外部装置（図１では、カメラ１０やＧＰＳ受信機３０）と通信するためのインターフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインターフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ２４、入力部２５、表示部２６及び通信Ｉ／Ｆ２７を通信可能に接続する。
すなわち、ＣＰＵ２１は、ＲＯＭ２２に記憶されたプログラムを実行することで、上述した画像処理を実現する。
The
The
The communication I /
The
That is, the
図３は、画像処理装置２０の機能ブロック図である。画像処理装置２０は、画像取得部１２１と、画像処理部１２２と、記憶制御部１２３と、表示制御部１２４と、パラメータ取得部１２５と、閾値調整部１２６と、判定範囲調整部１２７とを備える。
画像取得部１２１は、カメラ１０で撮影した映像から１画像フレーム相当の撮影画像を取得し、これを画像処理部１２２へ出力する。画像処理部１２２は、画像取得部１２１で取得した画像データに対して後述する画像処理を施し、その結果を記憶制御部１２３及び表示制御部１２４に出力する。記憶制御部１２３は、画像処理部１２２の画像処理結果をメモリ２４に記憶し、表示制御部１２４は、画像処理部１２２の画像処理結果を表示部２６に表示する。
FIG. 3 is a functional block diagram of the
The
パラメータ取得部１２５は、ユーザ（例えば、車両２００の乗員等）が入力した、上記画像処理のパラメータに関する情報を取得する。当該パラメータは、後述する二値化閾値や判定範囲等である。例えば、パラメータ取得部１２５は、入力部２５によって入力された上記情報を取得可能に構成されている。閾値調整部１２６は、パラメータ取得部１２５で取得した情報をもとに、上記二値化閾値の設定ファイルを調整する。また、判定範囲調整部１２７は、パラメータ取得部１２５で取得した情報をもとに、上記判定範囲の設定ファイルを調整する。ここで、上記設定ファイルは、例えばメモリ２４に記憶されているものとする。
The
図４は、画像処理装置２０のＣＰＵ２１で実行する画像処理手順を示すフローチャートである。この画像処理は、例えば画像処理装置２０の電源が投入されたタイミングで実行開始することができる。なお、当該画像処理の開始タイミングは上記のタイミングに限定されるものではない。例えば、画像処理装置２０に乗員が操作可能な処理開始ボタン等が設置されている場合、当該ボタンが押下されたことを検知したときに当該画像処理を開始するようにしてもよい。
FIG. 4 is a flowchart showing an image processing procedure executed by the
先ずステップＳ１で、ＣＰＵ２１は、カメラ１０から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、ＣＰＵ２１は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。二値化閾値の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。
First, in step S1, the
In step S2, the
この二値化閾値は、検出対象である道路構造物を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、例えばジョイント部では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。 The binarization threshold is set to a value that can detect the road structure that is the detection target. Generally, asphalt pavement is applied to the road surface, and in the photographed image, the luminance value of the pixel corresponding to the asphalt road surface portion (hereinafter also referred to as “pixel value”) is close to the black luminance value “0”. Become. On the other hand, for example, in the joint portion, metal joint members and post-cast concrete are exposed on the road surface, and in the photographed image, the pixel value of the region corresponding to the joint portion is in the above asphalt road surface portion. It becomes a value closer to the white luminance value “255” than the pixel value of the corresponding region.
したがって、道路構造物としてジョイント部を検出する場合には、二値化閾値をジョイント部に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。例えば、ステップＳ１で図５に示すような撮影画像を取得した場合、二値化処理の結果、図６に示すような二値化画像が得られる。図５に示すように、ジョイント部５１、白線５２、轍５３、照明灯の影５４などが撮影されている場合、二値化処理の結果、ジョイント部５１や白線５２、轍５３に対応する領域（６１〜６３）は白となり、照明灯の影５４に対応する領域（６４）は黒となる。
Therefore, when a joint part is detected as a road structure, the binarization threshold value is equal to or lower by a predetermined margin than the lower limit value of the pixel value of the region corresponding to the joint part (black luminance value). Set near). As a result of the binarization processing, the pixels corresponding to the joint portion are white, and the pixels corresponding to the asphalt road surface are black. For example, when a captured image as shown in FIG. 5 is acquired in step S1, a binarized image as shown in FIG. 6 is obtained as a result of the binarization process. As shown in FIG. 5, when the
次にステップＳ３で、ＣＰＵ２１は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物の二値化処理後の画素値に設定しておく。例えば、検出対象の道路構造物が上記のジョイント部である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。
Next, in step S3, the
ステップＳ４では、ＣＰＵ２１は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、ＣＰＵ２１は、先ず二値化画像に対してラベリング処理を施し、道路構造物候補となる領域（点群）を識別する。次にＣＰＵ２１は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、道路構造物の有無を判定する。
In step S4, the
上記判定範囲は、検出対象である道路構造物の撮影画像内での大きさをもとに設定する。例えば、ジョイント部は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象である道路構造物がジョイント部である場合、特異点数Ｎｘの判定範囲は、上記のジョイント部の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、上記のジョイント部の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、道路構造物の有無を判定する。なお、判定範囲の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。
The determination range is set based on the size of the road structure to be detected in the captured image. For example, the joint portion has a length corresponding to the road width along the width direction of the road, and a predetermined width (for example, about 500 mm) along the traveling direction of the vehicle. Therefore, when the road structure to be detected is a joint part, the determination range of the singularity number Nx is set based on the number of pixels corresponding to the length (road width) of the joint part, and the singularity number Ny The determination range is set based on the number of pixels corresponding to the width of the joint portion. In this way, the presence or absence of a road structure is determined based on the number of extracted point groups of singular points. The determination range setting file is stored in the
ステップＳ５では、ＣＰＵ２１は、ステップＳ４の判定の結果、道路構造物があると判断した場合にはステップＳ６に移行し、道路構造物がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、ＣＰＵ２１は、ステップＳ１で取得した撮影画像に対して関連情報を付加する。当該関連情報とは、撮影画像を撮影した時点での車両２００の位置情報、撮影画像を撮影した時刻情報、検出された道路構造物の種類を判別するための属性情報等を含む
In step S5, if the
In step S6, the
ステップＳ７では、ＣＰＵ２１は、上記関連情報付きの撮影画像をメモリ２４に保存すると共に、道路構造物の検出結果を表示部２６に表示可能である。図７は、当該検出結果の表示例を示す図である。図７に示すように、表示画面７１は画像表示部７２を備え、当該画像表示部７２に撮影画像を表示する。また、このとき、画像表示部７２において、検出した道路構造物に対して検出枠７３を重畳表示することにより、当該道路構造物を識別可能に強調表示することもできる。さらに、表示画面７１内に撮影画像を撮影した時刻を表示したり、撮影画像を撮影した場所（例えば地図）を表示するためのボタン７４を設けたりすることもできる。なお、検出結果の表示方法（強調表示の方法やボタン７４の表示位置など）は、これに限定されるものではない。
In step S <b> 7, the
ステップＳ８では、ＣＰＵ２１は、道路構造物の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０に設けられた処理終了ボタンを押すなどにより、ＣＰＵ２１が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。そして、ＣＰＵ２１は、道路構造物の検出処理を継続すると判断した場合にはステップＳ１に戻り、道路構造物の検出処理を終了すると判断した場合には、そのまま図４に示す処理を終了する。
なお、図４において、ステップＳ２及びＳ３の処理が特異点抽出部に対応し、ステップＳ４の処理が物体検出部に対応している。
In step S8, the
In FIG. 4, the processes in steps S2 and S3 correspond to a singular point extraction unit, and the process in step S4 corresponds to an object detection unit.
以上のように、本実施形態では、車両２００が、点検対象道路である例えば高速道路の所定の点検開始位置に到達し、当該車両２００の乗員が、道路構造物の検出処理を開始するべく画像処理装置２０の電源を投入すると、画像処理装置２０は道路構造物の検出処理を開始する。このとき、画像処理装置２０は、カメラ１０から撮影画像を取り込み、当該撮影画像から特異点を抽出し、画像内で連続する特異点の数に基づいて道路構造物の有無を判定する。そして、画像処理装置２０は、道路構造物を検出すると、当該道路構造物が撮影された撮影画像をメモリ２４に保存する。また、画像処理装置２０は、当該撮影画像を、道路構造物の検出箇所を明示して表示部（モニタ）２６に表示する。画像処理装置２０は、上記の処理を、車両２００が点検対象道路の走行を完了するまで継続する。
As described above, in the present embodiment, the
このように、道路構造物の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、道路構造物の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域を道路構造物として検出する。 As described above, when detecting a road structure, a singular point is extracted from the captured image, and the continuity of the singular point is determined. That is, using the fact that the luminance in the captured image of the road structure is different from the luminance of the road surface, a pixel having a luminance value different from the luminance value of the road surface is extracted as a singular point. When it is determined that the number of singular points continuous in a predetermined direction in the image is within a predetermined determination range, an area corresponding to the point group of the singular points is detected as a road structure.
そのため、検出対象の道路構造物の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象の道路構造物として検出することができる。したがって、複雑な処理を必要とすることなく、適切に道路構造物の検出が可能となる。また、検出対象の道路構造物と同等の輝度値を有する構造物が存在する場合であっても、検出対象の道路構造物とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、所望の道路構造物を適切に検出することができる。 Therefore, it is possible to detect a point group of singular points having a size and posture that approximately match the size and posture in the captured image of the detection target road structure as the detection target road structure. Accordingly, it is possible to appropriately detect the road structure without requiring complicated processing. In addition, even when there is a structure having a luminance value equivalent to that of the road structure to be detected, a structure having a size or posture different from that of the road structure to be detected can be excluded from the detection target. . Therefore, a desired road structure can be detected appropriately.
さらに、撮影画像は、走行中の車両２００に搭載されたカメラ１０が撮影するので、当該撮影画像内の道路構造物の位置および大きさは、画像フレーム間で変位する。すなわち、撮影画像内の道路構造物は、徐々に車両２００に近づく方向に移動し、その大きさも大きくなる。その変位量は、車両２００の車速に応じて決定される。したがって、上記判定範囲は、車両２００の車速と、画像フレーム間での道路構造物の大きさの変位とに基づいて導出してもよい。これにより、例えば他車両の影などの移動体は、道路構造物として検出されないようにすることができる。このように、より高精度に道路構造物を検出することができる。
Furthermore, since the captured image is captured by the
撮影画像から特定の物体を検出する方法としては、エッジを検出してパターンマッチングする方法が広く用いられている。しかしながら、検出対象の道路構造物が複数存在する場合、それぞれについてマッチング用のパターンを用意しなければならない。また、同じ道路構造物であっても、種類によってはそれぞれ形状が異なるため、パターンマッチングによる検出方法では、誤検出や検出漏れが発生しやすい。 As a method for detecting a specific object from a photographed image, a method for detecting an edge and performing pattern matching is widely used. However, when there are a plurality of road structures to be detected, matching patterns must be prepared for each. Moreover, even if the road structure is the same, the shape differs depending on the type. Therefore, the detection method using pattern matching tends to cause erroneous detection and omission of detection.
これに対して、本実施形態では、上述したように撮影画像から特異点を抽出し、特異点数に基づいて道路構造物を検出するため、パターンマッチングを用いた検出方法と比べて道路構造物の誤検出や検出漏れを抑制することができる。例えば、継ぎ目の形状がそれぞれ異なる数種類のジョイント部等についても適切に検出することが可能である。
また、エッジ検出により道路構造物を検出しようとした場合、車幅方向に伸びる影（例えば、図５に示す照明灯の影５４や他車両の影等）を道路のジョイント部として誤検出してしまうおそれがある。本実施形態では、道路構造物の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいて道路構造物を検出するので、検出対象であるジョイント部とは輝度値の異なる影は検出対象から除外することができる。このように、所望の道路構造物を適切に検出することができる。
On the other hand, in the present embodiment, as described above, singular points are extracted from the captured image and road structures are detected based on the number of singular points. Therefore, the road structure is detected in comparison with the detection method using pattern matching. False detection and detection omission can be suppressed. For example, it is possible to appropriately detect several types of joint portions having different seam shapes.
In addition, when detecting a road structure by edge detection, a shadow extending in the vehicle width direction (for example, a
さらに、撮影画像に対して二値化処理を施すことで特異点を抽出する。したがって、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。 Furthermore, a singular point is extracted by performing binarization processing on the captured image. Therefore, a singular point can be extracted by a relatively simple process. The binarization threshold used in the binarization process is stored in an external storage medium or the like, and can be adjusted according to the luminance value of the road structure to be detected. In other words, the road structure that can be detected can be changed by changing the binarization threshold. Therefore, when there is a road structure that is not desired to be detected, the binarization threshold can be set so that the road structure is not detected.
例えば、道路のジョイント部を非検出とし、道路の白線のみを検出したい場合には、二値化閾値をより白色の輝度値「２５５」に近い値とする。これにより、ジョイント部に対応する灰色の画素を二値化処理により黒色の輝度値「０」とすることができ、特異点として抽出されないようにすることができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。なお、特異点の抽出に際し、撮影画像内の画素の彩度や色相を考慮するようにしてもよい。 For example, when the road joint is not detected and only the white line of the road is to be detected, the binarization threshold is set to a value closer to the white luminance value “255”. Thereby, the gray pixel corresponding to the joint portion can be set to the black luminance value “0” by the binarization process, and can be prevented from being extracted as a singular point. Thus, since it can be set as the detection of only a road structure required for an analysis, workability | operativity can be improved. Note that the saturation and hue of the pixels in the captured image may be taken into account when extracting the singular points.
また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。例えば、当該判定範囲を、車幅方向に道路幅相当の長さを有する領域に設定すれば、特異点の点群として、道路のジョイント部に対応する領域と道路の白線に対応する領域とを認識している場合であっても、ジョイント部に対応する領域のみを検出対象の道路構造物である判断することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。
このように、二値化閾値や判定範囲を設定するための設定ファイルを外部記憶媒体等に記憶し、ユーザにより任意に調整可能とすることで、自由度の高い検出処理が可能となる。
The determination range is stored in an external storage medium or the like, and can be adjusted according to the road structure to be detected. Therefore, similarly to the above-described binarization threshold, the road structure that can be detected can be changed by changing the determination range. For example, if the determination range is set to an area having a length corresponding to the road width in the vehicle width direction, an area corresponding to the joint portion of the road and an area corresponding to the white line of the road are used as a point cloud of singular points. Even in the case of recognition, it is possible to determine that only the area corresponding to the joint portion is the road structure to be detected. Thus, since it can be set as the detection of only a road structure required for an analysis, workability | operativity can be improved.
As described above, the setting file for setting the binarization threshold value and the determination range is stored in an external storage medium or the like, and can be arbitrarily adjusted by the user, so that detection processing with a high degree of freedom is possible.
また、道路構造物を検出したときの撮影画像をメモリ２４に保存するので、車両２００が点検対象の道路の走行を完了した後、点検者は保存した撮影画像を詳細に確認することができる。メモリ２４には、道路構造物が撮影されている撮影画像のみを保存するので、点検者は道路構造物の状態を効率良く確認することができる。
撮影画像を保存するメモリ２４は、着脱可能な記憶媒体であってもよいし、着脱不可能な記憶媒体であってもよい。メモリ２４として着脱可能な外部記憶媒体を用いれば、車両２００以外の場所での撮影画像の確認や、別の場所にある管理システムへのデータのアップロード等が可能となる。
Further, since the captured image when the road structure is detected is stored in the
The
さらに、メモリ２４に保存する撮影画像は、関連情報として車両位置情報や撮影時刻情報等を有するので、点検者は、撮影画像に映っている道路構造物の位置や、当該道路構造物が撮影された時刻等を容易に把握することができる。したがって、点検者は、撮影画像から道路構造物の異常を検出したとき、道路構造物の詳細点検や応急処置を行う車両を当該道路構造物の位置に適切に向かわせることができる。
また、道路構造物を検出したときの撮影画像をモニタ表示するので、車両２００の乗員はリアルタイムで道路構造物の状態を確認することができる。このとき、検出した道路構造物に対して検出枠を重畳表示する等、道路構造物を強調表示するので、乗員による点検作業効率を向上させることができる。
Furthermore, since the captured image stored in the
Moreover, since the captured image when the road structure is detected is displayed on the monitor, the occupant of the
このように、本実施形態では、カメラ１０で撮影した撮影画像をもとに道路構造物を自動で検出する。したがって、車両２００は、点検対象の道路を、車線規制を必要としない速度で走行することができる。点検車両の乗員が目視により道路構造物の状態を確認する点検方法の場合、当該点検車両は低速走行をしなければならず、点検作業に長時間を要する。また、車線規制を必要とするので、道路渋滞を招くおそれもある。これに対して、本実施形態では、短時間で作業を行うことができると共に、道路渋滞を招くおそれもない。
As described above, in this embodiment, the road structure is automatically detected based on the captured image captured by the
また、本実施形態では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような路面構造物としては、道路のジョイント部、道路区画線（白線等）、轍、路面上の落下物、路面の損傷による穴などが挙げられる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような付属構造物としては、標識、標識の文字、他車両のナンバープレートの文字、照明灯、防音壁やトンネル等の損傷部（亀裂、ボルト抜け部等）などが挙げられる。 Moreover, in this embodiment, since a road structure is detected by the method of extracting a singular point, various road structures can be detected. That is, if a pixel corresponding to a road structure in the captured image can be extracted as a singular point, the road structure can be automatically detected. In the case of a road surface structure related to a road surface, any structure having a luminance value different from that of an asphalt road surface can be set as a detection target. Examples of such road surface structures include road joints, road lane markings (white lines, etc.), fences, fallen objects on road surfaces, holes due to road surface damage, and the like. Similarly, in the case of an accessory structure around the road surface, any structure having a luminance value different from that of the surrounding area can be set as a detection target. For example, examples of such an attached structure include a sign, a character of the sign, a character of a license plate of another vehicle, an illumination light, a damaged part (such as a crack or bolt missing part) of a soundproof wall or a tunnel.
道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。また、トンネル内の照明や破線状の白線等、通常は等間隔で配列している道路構造物について、点検者は、照明切れや白線切れの有無を判断することもできる。
このように、本道路構造物検出装置１００は、撮影画像から道路構造物を適切に自動検出することで、道路維持管理の一環である道路構造物の状態確認作業を支援することができる。
The photographed image in which the road structure is detected can be used for checking the state of the road structure. That is, the inspector can determine whether there is an abnormality in the road structure from the captured image. In addition, the inspector can also determine whether or not there is a light outage or a white line outage for road structures that are usually arranged at regular intervals, such as lighting in a tunnel or white lines in broken lines.
As described above, the road
（変形例）
なお、上記実施形態においては、物体検出装置を走行車両に搭載する場合について説明したが、物体検出装置を搭載する移動体は車両に限定されるものではない。例えば、ラジコン、ドローン（無人航空機）、ヘリコプターなどに物体検出装置を搭載してもよい。
また、上記実施形態においては、物体検出装置を、道路に関連する構造物（道路構造物）を検出する道路構造物検出装置に適用する場合について説明したが、検出対象の物体は道路構造物に限定されるものではない。例えば、電気や電話のケーブル、ガス管、水道管等を通すための橋やトンネルに関連する構造物を、検出対象の物体とすることもできる。さらに、上下水道管などの配管に関連する構造物を検出対象の物体とすることもできる。
(Modification)
In the above-described embodiment, the case where the object detection device is mounted on the traveling vehicle has been described. However, the moving body on which the object detection device is mounted is not limited to the vehicle. For example, the object detection device may be mounted on a radio control, a drone (unmanned aerial vehicle), a helicopter, or the like.
In the above embodiment, the case where the object detection device is applied to a road structure detection device that detects a structure (road structure) related to a road has been described. However, the detection target object is a road structure. It is not limited. For example, a structure related to a bridge or a tunnel for passing an electric or telephone cable, a gas pipe, a water pipe, or the like can be used as an object to be detected. Furthermore, a structure related to piping such as a water and sewage pipe can be used as an object to be detected.
例えば、ラジコンに物体検出装置を搭載し、下水道管などの配管内部を走行させれば、配管の内壁や接続部等における損傷部を検出することが可能となる。また、例えば、ラジコンに物体検出装置を搭載し、ラジコンのタイヤに磁石を設置すれば、橋梁のケーブル上や橋桁の裏側など、点検者が直接点検に行くことが困難な場所の撮像画像を容易に取得し、損傷部等を検出することが可能となる。
また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。
For example, if an object detection device is mounted on a radio control and travels inside a pipe such as a sewer pipe, it is possible to detect a damaged part on the inner wall or connection part of the pipe. Also, for example, if an object detection device is mounted on a radio control and a magnet is installed on the radio control tire, it is easy to capture images of places where it is difficult for an inspector to go directly to the inspection, such as on the cable of a bridge or the back side of a bridge girder. It is possible to detect damaged parts and the like.
Further, in the above-described embodiment, the case where the captured image is binarized when the singular point is extracted has been described. However, the captured image is subjected to multi-value processing, and from the image after multi-value processing, the road structure You may extract the pixel which has the luminance value after the said multi-value process as a singular point.
さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の物体の色に対応する画素を選出し、これを特異点として抽出することができる。例えば、検出対象の物体が道路標識である場合、道路標識に主に用いられる色（赤、緑、青、黄など）に対応する画素を特異点として抽出する。また、例えば、検出対象の物体が錆である場合、錆の色（茶色、茶褐色など）に対応する画素を特異点として抽出する。これにより、より高精度に検出対象の物体を検出することができる。この検出方法は、検出対象の物体の色が既知である場合に有効である。 Further, when extracting the singularity, a color reduction process may be performed on the captured image, and the singularity may be extracted from the image after the color reduction process. For example, converting a full-color captured image into an image reduced to 256 colors or 16 colors, selecting a pixel corresponding to the color of the object to be detected from the image after the color reduction process, and extracting this as a singular point Can do. For example, when the object to be detected is a road sign, pixels corresponding to colors (red, green, blue, yellow, etc.) mainly used for the road sign are extracted as singular points. For example, when the object to be detected is rust, pixels corresponding to the color of rust (brown, brown, etc.) are extracted as singular points. As a result, the object to be detected can be detected with higher accuracy. This detection method is effective when the color of the object to be detected is known.
また、上記実施形態においては、画像処理装置２０が検出対象の物体（道路構造物）を検出した際、撮影画像をメモリ２４に保存する場合について説明したが、これに加えて当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。また、撮影画像をメモリ２４に保存するのに代えて、当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。これにより、遠隔地にいる点検者がリアルタイムで撮影画像を確認することができ、作業の効率化が図れる。したがって、仮に道路構造物に異常が発生している場合には、当該異常を迅速に検出することができ、道路構造物の位置に詳細点検及び応急処置を行うための車両を赴かせる等の対応を迅速に行うことができる。
In the above-described embodiment, the case where the captured image is stored in the
また、撮影画像をサーバ装置へ転送するタイミングは、これに限定されるものではない。例えば、画像処理装置２０が道路構造物を検出し、撮影画像を表示部２６へ表示した際に、車両２００の乗員が表示部２６の表示画面上で道路構造物の異常を検出、若しくは異常が疑われることを検出した場合に、撮影画像をサーバ装置へ転送するようにしてもよい。これにより、道路構造物の詳細点検が必要であることを遠隔地にいる管理者等に緊急通報することができる。
Moreover, the timing which transfers a picked-up image to a server apparatus is not limited to this. For example, when the
なお、上記実施形態における画像処理装置２０で実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０で実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。
The program executed by the
As mentioned above, although embodiment of this invention was described in detail, embodiment mentioned above showed only an example in implementing this invention, and the technical scope of this invention is limited to embodiment mentioned above. It is not something. The present invention can be variously modified or changed without departing from the spirit of the present invention.
１０…カメラ、２０…画像処理装置、３０…ＧＰＳ受信機、５１…ジョイント部、５２…白線、５３…轍、５４…照明灯の影、７１…表示画面、７２…画像表示部、７３…検出枠、７４…ボタン、１００…道路構造物検出装置、１２１…画像取得部、１２２…画像処理部、１２３…記憶制御部、１２４…表示制御部、１２５…パラメータ取得部、１２６…閾値調整部、１２７…判定範囲調整部、２００…車両
DESCRIPTION OF
本発明は、道路のジョイント部を検出する検出装置及び検出方法に関する。 The present invention relates to a detection apparatus and detection method for detecting the joint portion of the road.
従来、路面に関連する構造物や路面の周辺に設置された付属構造物等を含む道路構造物の点検作業は、点検者が目視により行っていた。例えば、道路構造物の点検方法としては、点検者が、走行する点検車両から目視により道路構造物の状態を確認したり、点検車両に設置したカメラ等で撮影した全画像から道路構造物の状態を目視判定したりする方法が用いられてきた。しかしながら、前者の方法では、点検車両を低速走行させなければならず、道路渋滞を招くおそれがある。また、後者の方法では、点検者は道路構造物が撮影されていない画像についても確認しなければならず、非効率である。 Conventionally, inspection of the road structure including the installed around the structure creation and road related to the road surface comes structures, etc., inspector had done visually. For example, as an inspection method for road structures, an inspector visually confirms the state of the road structure from a traveling inspection vehicle, or the state of the road structure from all images taken with a camera installed on the inspection vehicle. Such a method has been used for visually judging the above. However, in the former method, the inspection vehicle must be run at a low speed, which may cause road congestion. Moreover, in the latter method, the inspector must confirm an image in which the road structure is not photographed, which is inefficient.
車載のカメラで撮影した画像から道路構造物を自動的に検出する装置としては、例えば特許文献１に記載の技術がある。この技術は、車両に設置したカメラで撮影した車両前方の路面上の画像に対しエッジ検出、パターン認識などの画像処理を行うことで、車両前方の路面上の構造物（例えば、道路のジョイント部）を識別するものである。ここでは、路面上の構造物についての位置情報を記憶したデータベースを予め準備しておき、当該データベースに記憶された構造物の位置に車両が接近したとき、車両前方に道路構造物が存在するか否かを判断している。
As an apparatus for automatically detecting a road structure from an image taken by an in-vehicle camera, for example, there is a technique described in
上記特許文献１に記載の技術にあっては、道路構造物の位置情報を記憶したデータベースを予め準備しておかなければ、道路構造物を適切に検出することができない。すなわち、例えば道路構造物として道路のジョイント部を検出対象とした場合、当該ジョイント部の設置位置や設置間隔等が未知である場合には、適切に当該ジョイント部を検出することができない。また、上記特許文献１に記載の技術では、パターン認識により道路構造物を検出している。このようにパターン認識を用いた検出方法では、例えば、道路のジョイント部を検出する場合、道路の幅方向に沿って互い違いに正対状態で形成される三角形や四角形などの継ぎ目をパターンマッチングにより検出することで、道路のジョイント部を検出することになる。しかしながら、ジョイント部の継ぎ目の形状にはさまざまなものがあり、すべてのマッチング用パターンを用意することは困難である。したがって、上記の検出方法では、ジョイント部の誤検出や検出漏れ等が発生しやすい。
そこで、本発明は、撮影画像から道路のジョイント部を容易且つ適切に検出することができる検出装置及び検出方法を提供することを課題としている。
In the technique described in
Accordingly, the present invention has an object to provide a detection apparatus and detection method capable of easily and properly detect the joint portion of the road from the captured image.
上記課題を解決するために、本発明に係る道路のジョイント部の検出装置の一態様は、移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得る処理部と、前記二値化または多値化画像フレームから特異点を抽出する特異点抽出部と、前記特異点抽出部で抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出する検出部と、を備え、前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする。したがって、従来のパターンマッチングを用いた場合のように、検出対象である物体（ジョイント部）に対応したマッチング用パターンを用意する必要がない。そのため、ジョイント部の誤検出や検出漏れを抑制することができる。 In order to solve the above problems, an aspect of the detection device of the joint portion of the road according to the present invention, the entire each image frame of the captured image of the periphery of the moving object captured by onboard imaging unit to the mobile , using the binarization threshold or multi-level threshold value for detecting the joint portion of the road, a processing unit for obtaining a binarization or multi-level image frames, specifically from the binarization or multi-level image frame a singular point extraction unit that extracts a point, among the extracted specific point in the singular point extraction unit, based on the number of singularities continuous in a predetermined direction in the binarization or multi-level image frame, wherein A detection unit for detecting a joint part , wherein the binarization threshold value and the multi-value threshold value are values based on a difference in luminance values of pixels between the joint part and the periphery of the joint part, To do . Therefore, unlike the case where the conventional pattern matching is used, it is not necessary to prepare a matching pattern corresponding to an object (joint portion) that is a detection target. Therefore, erroneous detection and detection omission of the joint part can be suppressed.
また、上記の検出装置において、前記特異点抽出部は、前記処理部により得られた画像フレームから、前記ジョイント部の輝度値に対応する値の輝度値を有する画素を前記特異点として抽出してもよい。このように、ジョイント部の輝度値を有する画素を特異点として抽出するので、検出対象であるジョイント部とは輝度値の異なる物体は、仮に形状が同じであっても検出対象から除外することができる。したがって、ジョイント部を適切に検出することができる。 Further, in the detection device described above, the singular point extraction unit, from the image frame obtained by the processing unit extracts a pixel having a luminance value of a value corresponding to the luminance value of the joint portion as the singular point May be. In this way, since the pixel having the luminance value of the joint portion is extracted as a singular point, an object having a luminance value different from that of the joint portion that is the detection target may be excluded from the detection target even if the shape is the same. it can. Therefore, the joint part can be detected appropriately.
上記の検出装置において、前記処理部は、前記撮影した画像フレームに対して所定の閾値で二値化処理および多値化処理のいずれかを施し、前記特異点抽出部は当該処理後の画像フレームから前記特異点として抽出している。このように、二値化処理または多値化処理を行って特異点を抽出するので、比較的簡易に特異点、即ち検出対象であるジョイント部の候補に対応する画素を抽出することができる。また、二値化処理または多値化処理を行うことで、データ量を削減することができ、処理を軽くすることができる。 In detection device above reporting, the processing unit, the shooting subjected to any of the binarization processing and multi-level conversion with a predetermined threshold value with respect to the shadow image frames, the singular point extraction unit after the process It is extracted as a pre-Symbol singularities from the image frame. As described above, the binarization process or the multi-value process is performed to extract the singular point, so that the singular point, that is, the pixel corresponding to the candidate joint part to be detected can be extracted relatively easily. Further, by performing the binarization process or the multi-value process, the data amount can be reduced and the process can be lightened.
また、上記の検出装置において、ユーザが入力した情報に基づいて、前記閾値を調整可能な閾値調整部をさらに備えてもよい。このように、二値化処理または多値化処理で用いる閾値を調整することで、検出可能となるジョイント部を調整することができる。 Further, in the detection device of the above, based on the information input by the user, the threshold value may further include a threshold adjustment unit adjustable. As described above, the joint portion that can be detected can be adjusted by adjusting the threshold value used in the binarization process or the multi-value process .
さらにまた、上記の検出装置において、前記検出部は、前記連続する特異点の数が、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさに相当する判定範囲内にあるとき、前記画像フレーム内に前記ジョイント部が存在すると判断してもよい。これにより、検出対象のジョイント部の画像フレーム内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象のジョイント部として検出することができる。したがって、複雑な処理を必要とすることなく、適切にジョイント部の検出が可能となる。また、検出対象のジョイント部と同等の輝度値を有する物体が存在する場合であっても、検出対象のジョイント部とは大きさや姿勢が異なる物体は検出対象から除外することができる。したがって、所望のジョイント部を適切に検出することができる。 Furthermore, the detection device described above, the detection unit, the number of singular points where the consecutive, when in the determination range corresponding to the size in the predetermined direction within the image frame of the joint portion It may be determined that the joint portion exists in the image frame . Thus, the point group of the singular point having a size and orientation corresponding generally to the size and orientation in the image frame of the joint portion to be detected, can be detected as a joint portion to be detected. Therefore, it is possible to appropriately detect the joint portion without requiring complicated processing. Further, even when an object having a luminance value equivalent to that of the joint portion to be detected exists, an object having a size or orientation different from that of the joint portion to be detected can be excluded from the detection target. Therefore, a desired joint part can be detected appropriately.
また、上記の検出装置において、前記検出部は、前記ジョイント部の前記画像フレーム内における前記所定の方向における大きさを、前記移動体の車速と、前記ジョイント部の前記画像フレーム間での変位量とに基づいて導出してもよい。これにより、画像フレーム内のジョイント部の位置および大きさが、画像フレーム間で変位することを利用して判定範囲を設定することができる。したがって、例えば他車両の影などの移動体は、ジョイント部として検出されないようにすることができる。このように、より高精度にジョイント部を検出することができる。 Further, in the detection device described above, the detection unit, the size in the predetermined direction within the image frame of the joint portion, and the vehicle speed of the moving body, between the image frames of the joint portion And may be derived based on the amount of displacement. Thus, the position and size of the joint portion of the image frame, the determination range by utilizing the fact that the displacement between the image frames can be set. Therefore, for example, a moving body such as a shadow of another vehicle can be prevented from being detected as a joint portion . Thus, the joint part can be detected with higher accuracy.
さらに、上記の検出装置において、ユーザが入力した情報に基づいて、前記判定範囲を調整可能な判定範囲調整部をさらに備えてもよい。このように、ジョイント部の検出に用いる判定範囲を調整することで、検出するジョイント部を調整することができる。したがって、所望のジョイント部を検出することができる。 Furthermore, the detection device of the above, based on the information input by the user, the determination range may further comprise an adjustable determination range adjusting section. Thus, the joint part to be detected can be adjusted by adjusting the determination range used for detection of the joint part . Therefore, a desired joint part can be detected.
さらに、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像を記憶装置に記憶する記憶制御部をさらに備えてもよい。これにより、移動体が撮影対象領域の移動を完了した後、点検者は記憶装置に記憶された画像を詳細に確認することができる。また、記憶装置には、ジョイント部が撮影されている画像のみを記憶するので、点検者はジョイント部の状態を効率良く確認することができる。
また、上記の検出装置において、前記記憶制御部は、前記画像の撮影時刻および前記移動体の位置の少なくとも一方を、前記画像と対応付けて前記記憶装置に記憶してもよい。これにより、点検者は、画像に映っているジョイント部の位置や、当該ジョイント部が撮影された時刻等を容易に把握することができる。
Furthermore, the detection device described above, upon detection of the joint in the detection unit may further include a storage control unit that stores the image to which the joint portion is captured in a storage device. Thereby, after the moving body completes the movement of the imaging target region, the inspector can check the image stored in the storage device in detail. Moreover, since only the image in which the joint part is image | photographed is memorize | stored in a memory | storage device, the inspector can confirm the state of a joint part efficiently.
Further, in the detection device described above, wherein said storage control unit, at least one of the position of the imaging time and the movable body of the image may be stored in the storage device in association with the image. Thereby, the inspector can easily grasp the position of the joint part shown in the image, the time when the joint part was photographed, and the like.
さらにまた、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像を表示部に表示する表示制御部をさらに備えてもよい。このように、検出対象であるジョイント部が撮影された画像を表示部に表示させるので、移動体を移動させながらモニタ上でジョイント部の状態を確認することができる。
また、上記の検出装置において、前記表示制御部は、前記検出部で検出したジョイント部を強調表示してもよい。これにより、ジョイント部の状態の確認作業を効率的に行うことができる。
Furthermore, the detection device described above, upon detection of the joint in the detection unit may further include a display control unit for displaying the image in which the joint portion is captured on the display unit. As described above, since the image obtained by photographing the joint part to be detected is displayed on the display part, the state of the joint part can be confirmed on the monitor while moving the moving body.
Further, in the detection device of the above, the display control unit may highlight the joint portion detected by the detection unit. Thereby, the confirmation operation | work of the state of a joint part can be performed efficiently.
また、上記の検出装置において、前記検出部でジョイント部を検出したとき、当該ジョイント部が撮影されている前記画像をサーバ装置へ転送する転送部をさらに備えてもよい。このように、検出対象であるジョイント部が撮影された画像をサーバ装置へ転送するので、遠隔地にいる監視員等は、リアルタイムでジョイント部の状態を確認することができる。
また、本発明に係る検出方法の一態様は、処理部と、特異点抽出部と、検出部とを備える検出装置が実行する検出方法であって、前記処理部が、移動体に搭載された撮影部で撮影した当該移動体の周辺の撮影画像の各画像フレーム全体から、道路のジョイント部を検出するための二値化閾値または多値化閾値を用いて、二値化または多値化画像フレームを得るステップと、前記特異点抽出部が、前記二値化または多値化画像フレームから特異点を抽出するステップと、前記検出部が、抽出した特異点のうち、前記二値化または多値化画像フレーム内における所定の方向に連続する特異点の数に基づいて、前記ジョイント部を検出するステップと、を含み、前記二値化閾値及び多値化閾値は、前記ジョイント部と当該ジョイント部の周囲との画素の輝度値の相違に基づく値であることを特徴とする検出方法である。したがって、従来のパターンマッチングを用いた場合のように、検出対象であるジョイント部に対応したマッチング用パターンを用意する必要がない。そのため、ジョイント部の誤検出や検出漏れを抑制することができる。
Further, in the detection device described above, upon detection of the joint in the detection unit may further include a transfer unit that transfers the image to which the joint portion is taken to the server device. Thus, since the image in which the joint part that is the detection target is captured is transferred to the server device, a monitor or the like at a remote location can check the state of the joint part in real time.
Another embodiment of the detection method according to the present invention, a processing unit, a singular point extraction unit, a detection method detecting device executes and a detection unit, wherein the processing unit is mounted on a mobile body from each entire image frame of the captured image of the periphery of the photographed the mobile photographing unit, by using the binarization threshold or multi-level threshold value for detecting the joint portion of the road, binarization or multi-level and obtaining an image frame, the singular point extraction unit, extracting the singular point from the binarized or multivalued image frames, the detection unit, among the extracted singularities, the binarized Or detecting the joint unit based on the number of singular points continuous in a predetermined direction in the multilevel image frame , wherein the binarization threshold and the multilevel threshold are the joint unit and Drawing with the surroundings of the joint A detection method is characterized in that the a values based on the difference in luminance value. Therefore, unlike the case where the conventional pattern matching is used, it is not necessary to prepare a matching pattern corresponding to the joint part to be detected. Therefore, erroneous detection and detection omission of the joint part can be suppressed.
本発明によれば、検出対象のジョイント部の設置位置やパターンが未知であっても、移動体に搭載した撮影部で撮影した画像からジョイント部を容易且つ適切に検出することができる。また、撮影画像からジョイント部を自動的に検出するので、ジョイント部の状態確認作業を支援することができる。 ADVANTAGE OF THE INVENTION According to this invention, even if the installation position and pattern of the joint part of a detection target are unknown, a joint part can be detected easily and appropriately from the image image | photographed with the imaging | photography part mounted in the moving body. Further, since the joint portion is automatically detected from the photographed image, it is possible to support the state confirmation operation of the joint portion .
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における検出装置の一例を示す概略構成図である。本実施形態では、検出装置を、道路（歩道を含む）に関連する構造物（以下、「道路構造物」という。）を検出する道路構造物検出装置に適用する例を説明する。
この図１に示すように、道路構造物検出装置１００は、移動体である車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検車両である。道路構造物検出装置１００は、カメラ１０と、画像処理装置２０と、ＧＰＳ受信機３０とを備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
Figure 1 is a schematic configuration diagram showing an example of a detection device in the present embodiment. In the present embodiment, the detection device, associated structures in road (including sidewalks) (hereinafter, referred to as. "Road structures") describes an example of applying the road structures detector you detect.
As shown in FIG. 1, the road
カメラ１０は、例えば車両２００の正面の屋根部分に取り付けられ、車両２００の周辺を撮影する撮影部である。このカメラ１０は、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮影するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮影することができる。
カメラ１０は、例えば車両２００が所定の点検対象道路を走行しているときに、当該車両２００の周辺を撮影することで、道路構造物を検出するための映像を撮影する。
The
For example, when the
本実施形態では、カメラ１０は、車両２００の前方の映像を撮影する。ここで、カメラ１０の撮影範囲（方向や画角（視野角））は、検出対象である道路構造物に応じて適宜設定するものとする。検出対象が道路のジョイント部である場合には、カメラ１０の撮影範囲は、路面を撮影可能な範囲に設定する。一方、検出対象が道路の側部に設置された標識や照明、防音壁等である場合には、カメラ１０の撮影範囲は、道路の側部を撮影可能な範囲に設定する。
なお、カメラ１０は複数台設置することもできる。例えば、カメラ１０は、車両２００の前方を撮影する第一のカメラと、車両２００の左側方を撮影する第二のカメラと、車両２００の右側方を撮影する第三のカメラとで構成することもできる。この場合、各カメラでそれぞれ撮影した撮影方向の異なる映像を１つの動画情報として出力可能な構成とする。また、カメラ１０は、車両の後方を撮影するように構成されていてもよい。
In the present embodiment, the
A plurality of
画像処理装置２０は、カメラ１０で撮影した映像データの各画像フレーム（画像データ）を取得し、取得した画像データに対して画像処理を行って道路構造物を検出する。この画像処理装置２０は、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成されており、画像処理によりカメラ１０から取得した画像データから特異点を抽出し、当該特異点に基づいて道路構造物を検出する。当該画像処理については後で詳述する。なお、画像処理装置２０は、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０は、例えば、カメラ１０に搭載されていてもよい。
ＧＰＳ受信機３０は、ＧＰＳ（Global Positioning System）衛星から発信された信号を受信し、車両２００の走行位置を示す位置情報を画像処理装置２０に出力する。画像処理装置２０は、ＧＰＳ受信機３０から取得した位置情報を予め格納した道路情報とマッチングし、車両２００の走行位置を検出可能である。
The
The
以下、画像処理装置２０の具体的構成について説明する。
図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
画像処理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、メモリ２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
ＣＰＵ２１は、画像処理装置２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。
Hereinafter, a specific configuration of the
FIG. 2 is a diagram illustrating an example of a hardware configuration of the
The
The
ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
The
The
メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を予め記憶している。また、メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。メモリ２４は、ＳＤカードやＵＳＢメモリ等の外部記憶媒体であってもよい。また、メモリ２４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記憶媒体（記憶装置）であってもよい。
For example, the
入力部２５は、キーボードやマウス等のポインティングデバイスで構成され、画像処理装置２０のユーザは、入力部２５を介して当該画像処理装置２０に指示を与えることができるようになっている。
表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。
通信Ｉ／Ｆ２７は、外部装置（図１では、カメラ１０やＧＰＳ受信機３０）と通信するためのインターフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインターフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、メモリ２４、入力部２５、表示部２６及び通信Ｉ／Ｆ２７を通信可能に接続する。
すなわち、ＣＰＵ２１は、ＲＯＭ２２に記憶されたプログラムを実行することで、上述した画像処理を実現する。
The
The
The communication I /
The
That is, the
図３は、画像処理装置２０の機能ブロック図である。画像処理装置２０は、画像取得部１２１と、画像処理部１２２と、記憶制御部１２３と、表示制御部１２４と、パラメータ取得部１２５と、閾値調整部１２６と、判定範囲調整部１２７とを備える。
画像取得部１２１は、カメラ１０で撮影した映像から１画像フレーム相当の撮影画像を取得し、これを画像処理部１２２へ出力する。画像処理部１２２は、画像取得部１２１で取得した画像データに対して後述する画像処理を施し、その結果を記憶制御部１２３及び表示制御部１２４に出力する。記憶制御部１２３は、画像処理部１２２の画像処理結果をメモリ２４に記憶し、表示制御部１２４は、画像処理部１２２の画像処理結果を表示部２６に表示する。
FIG. 3 is a functional block diagram of the
The
パラメータ取得部１２５は、ユーザ（例えば、車両２００の乗員等）が入力した、上記画像処理のパラメータに関する情報を取得する。当該パラメータは、後述する二値化閾値や判定範囲等である。例えば、パラメータ取得部１２５は、入力部２５によって入力された上記情報を取得可能に構成されている。閾値調整部１２６は、パラメータ取得部１２５で取得した情報をもとに、上記二値化閾値の設定ファイルを調整する。また、判定範囲調整部１２７は、パラメータ取得部１２５で取得した情報をもとに、上記判定範囲の設定ファイルを調整する。ここで、上記設定ファイルは、例えばメモリ２４に記憶されているものとする。
The
図４は、画像処理装置２０のＣＰＵ２１で実行する画像処理手順を示すフローチャートである。この画像処理は、例えば画像処理装置２０の電源が投入されたタイミングで実行開始することができる。なお、当該画像処理の開始タイミングは上記のタイミングに限定されるものではない。例えば、画像処理装置２０に乗員が操作可能な処理開始ボタン等が設置されている場合、当該ボタンが押下されたことを検知したときに当該画像処理を開始するようにしてもよい。
FIG. 4 is a flowchart showing an image processing procedure executed by the
先ずステップＳ１で、ＣＰＵ２１は、カメラ１０から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、ＣＰＵ２１は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。二値化閾値の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。
First, in step S1, the
In step S2, the
この二値化閾値は、検出対象である道路構造物を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、例えばジョイント部では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。 The binarization threshold is set to a value that can detect the road structure that is the detection target. Generally, asphalt pavement is applied to the road surface, and in the photographed image, the luminance value of the pixel corresponding to the asphalt road surface portion (hereinafter also referred to as “pixel value”) is close to the black luminance value “0”. Become. On the other hand, for example, in the joint portion, metal joint members and post-cast concrete are exposed on the road surface, and in the photographed image, the pixel value of the region corresponding to the joint portion is in the above asphalt road surface portion. It becomes a value closer to the white luminance value “255” than the pixel value of the corresponding region.
したがって、道路構造物としてジョイント部を検出する場合には、二値化閾値をジョイント部に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。例えば、ステップＳ１で図５に示すような撮影画像を取得した場合、二値化処理の結果、図６に示すような二値化画像が得られる。図５に示すように、ジョイント部５１、白線５２、轍５３、照明灯の影５４などが撮影されている場合、二値化処理の結果、ジョイント部５１や白線５２、轍５３に対応する領域（６１〜６３）は白となり、照明灯の影５４に対応する領域（６４）は黒となる。
Therefore, when a joint part is detected as a road structure, the binarization threshold value is equal to or lower by a predetermined margin than the lower limit value of the pixel value of the region corresponding to the joint part (black luminance value). Set near). As a result of the binarization processing, the pixels corresponding to the joint portion are white, and the pixels corresponding to the asphalt road surface are black. For example, when a captured image as shown in FIG. 5 is acquired in step S1, a binarized image as shown in FIG. 6 is obtained as a result of the binarization process. As shown in FIG. 5, when the
次にステップＳ３で、ＣＰＵ２１は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物の二値化処理後の画素値に設定しておく。例えば、検出対象の道路構造物が上記のジョイント部である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。
Next, in step S3, the
ステップＳ４では、ＣＰＵ２１は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、ＣＰＵ２１は、先ず二値化画像に対してラベリング処理を施し、道路構造物候補となる領域（点群）を識別する。次にＣＰＵ２１は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、道路構造物の有無を判定する。
In step S4, the
上記判定範囲は、検出対象である道路構造物の撮影画像内での大きさをもとに設定する。例えば、ジョイント部は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象である道路構造物がジョイント部である場合、特異点数Ｎｘの判定範囲は、上記のジョイント部の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、上記のジョイント部の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、道路構造物の有無を判定する。なお、判定範囲の設定ファイルは、予めメモリ２４に記憶しておき、ユーザが適宜調整可能である。
The determination range is set based on the size of the road structure to be detected in the captured image. For example, the joint portion has a length corresponding to the road width along the width direction of the road, and a predetermined width (for example, about 500 mm) along the traveling direction of the vehicle. Therefore, when the road structure to be detected is a joint part, the determination range of the singularity number Nx is set based on the number of pixels corresponding to the length (road width) of the joint part, and the singularity number Ny The determination range is set based on the number of pixels corresponding to the width of the joint portion. In this way, the presence or absence of a road structure is determined based on the number of extracted point groups of singular points. The determination range setting file is stored in the
ステップＳ５では、ＣＰＵ２１は、ステップＳ４の判定の結果、道路構造物があると判断した場合にはステップＳ６に移行し、道路構造物がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、ＣＰＵ２１は、ステップＳ１で取得した撮影画像に対して関連情報を付加する。当該関連情報とは、撮影画像を撮影した時点での車両２００の位置情報、撮影画像を撮影した時刻情報、検出された道路構造物の種類を判別するための属性情報等を含む
In step S5, if the
In step S6, the
ステップＳ７では、ＣＰＵ２１は、上記関連情報付きの撮影画像をメモリ２４に保存すると共に、道路構造物の検出結果を表示部２６に表示可能である。図７は、当該検出結果の表示例を示す図である。図７に示すように、表示画面７１は画像表示部７２を備え、当該画像表示部７２に撮影画像を表示する。また、このとき、画像表示部７２において、検出した道路構造物に対して検出枠７３を重畳表示することにより、当該道路構造物を識別可能に強調表示することもできる。さらに、表示画面７１内に撮影画像を撮影した時刻を表示したり、撮影画像を撮影した場所（例えば地図）を表示するためのボタン７４を設けたりすることもできる。なお、検出結果の表示方法（強調表示の方法やボタン７４の表示位置など）は、これに限定されるものではない。
In step S <b> 7, the
ステップＳ８では、ＣＰＵ２１は、道路構造物の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０に設けられた処理終了ボタンを押すなどにより、ＣＰＵ２１が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。そして、ＣＰＵ２１は、道路構造物の検出処理を継続すると判断した場合にはステップＳ１に戻り、道路構造物の検出処理を終了すると判断した場合には、そのまま図４に示す処理を終了する。
なお、図４において、ステップＳ２及びＳ３の処理が特異点抽出部に対応し、ステップＳ４の処理が検出部に対応している。
In step S8, the
In FIG. 4, the processing of steps S2 and S3 correspond to the singular point extraction unit, the processing of step S4 corresponds to the unit detect.
以上のように、本実施形態では、車両２００が、点検対象道路である例えば高速道路の所定の点検開始位置に到達し、当該車両２００の乗員が、道路構造物の検出処理を開始するべく画像処理装置２０の電源を投入すると、画像処理装置２０は道路構造物の検出処理を開始する。このとき、画像処理装置２０は、カメラ１０から撮影画像を取り込み、当該撮影画像から特異点を抽出し、画像内で連続する特異点の数に基づいて道路構造物の有無を判定する。そして、画像処理装置２０は、道路構造物を検出すると、当該道路構造物が撮影された撮影画像をメモリ２４に保存する。また、画像処理装置２０は、当該撮影画像を、道路構造物の検出箇所を明示して表示部（モニタ）２６に表示する。画像処理装置２０は、上記の処理を、車両２００が点検対象道路の走行を完了するまで継続する。
As described above, in the present embodiment, the
このように、道路構造物の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、道路構造物の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域を道路構造物として検出する。 As described above, when detecting a road structure, a singular point is extracted from the captured image, and the continuity of the singular point is determined. That is, using the fact that the luminance in the captured image of the road structure is different from the luminance of the road surface, a pixel having a luminance value different from the luminance value of the road surface is extracted as a singular point. When it is determined that the number of singular points continuous in a predetermined direction in the image is within a predetermined determination range, an area corresponding to the point group of the singular points is detected as a road structure.
そのため、検出対象の道路構造物の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、検出対象の道路構造物として検出することができる。したがって、複雑な処理を必要とすることなく、適切に道路構造物の検出が可能となる。また、検出対象の道路構造物と同等の輝度値を有する構造物が存在する場合であっても、検出対象の道路構造物とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、所望の道路構造物を適切に検出することができる。 Therefore, it is possible to detect a point group of singular points having a size and posture that approximately match the size and posture in the captured image of the detection target road structure as the detection target road structure. Accordingly, it is possible to appropriately detect the road structure without requiring complicated processing. In addition, even when there is a structure having a luminance value equivalent to that of the road structure to be detected, a structure having a size or posture different from that of the road structure to be detected can be excluded from the detection target. . Therefore, a desired road structure can be detected appropriately.
さらに、撮影画像は、走行中の車両２００に搭載されたカメラ１０が撮影するので、当該撮影画像内の道路構造物の位置および大きさは、画像フレーム間で変位する。すなわち、撮影画像内の道路構造物は、徐々に車両２００に近づく方向に移動し、その大きさも大きくなる。その変位量は、車両２００の車速に応じて決定される。したがって、上記判定範囲は、車両２００の車速と、画像フレーム間での道路構造物の大きさの変位とに基づいて導出してもよい。これにより、例えば他車両の影などの移動体は、道路構造物として検出されないようにすることができる。このように、より高精度に道路構造物を検出することができる。
Furthermore, since the captured image is captured by the
撮影画像から特定の道路構造物を検出する方法としては、エッジを検出してパターンマッチングする方法が広く用いられている。しかしながら、検出対象の道路構造物が複数存在する場合、それぞれについてマッチング用のパターンを用意しなければならない。また、同じ道路構造物であっても、種類によってはそれぞれ形状が異なるため、パターンマッチングによる検出方法では、誤検出や検出漏れが発生しやすい。 As a method of detecting a specific road structure from a photographed image, a method of pattern matching by detecting an edge is widely used. However, when there are a plurality of road structures to be detected, matching patterns must be prepared for each. Moreover, even if the road structure is the same, the shape differs depending on the type. Therefore, the detection method using pattern matching tends to cause erroneous detection and omission of detection.
これに対して、本実施形態では、上述したように撮影画像から特異点を抽出し、特異点数に基づいて道路構造物を検出するため、パターンマッチングを用いた検出方法と比べて道路構造物の誤検出や検出漏れを抑制することができる。例えば、継ぎ目の形状がそれぞれ異なる数種類のジョイント部等についても適切に検出することが可能である。
また、エッジ検出により道路構造物を検出しようとした場合、車幅方向に伸びる影（例えば、図５に示す照明灯の影５４や他車両の影等）を道路のジョイント部として誤検出してしまうおそれがある。本実施形態では、道路構造物の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいて道路構造物を検出するので、検出対象であるジョイント部とは輝度値の異なる影は検出対象から除外することができる。このように、所望の道路構造物を適切に検出することができる。
On the other hand, in the present embodiment, as described above, singular points are extracted from the captured image and road structures are detected based on the number of singular points. Therefore, the road structure is detected in comparison with the detection method using pattern matching. False detection and detection omission can be suppressed. For example, it is possible to appropriately detect several types of joint portions having different seam shapes.
In addition, when detecting a road structure by edge detection, a shadow extending in the vehicle width direction (for example, a
さらに、撮影画像に対して二値化処理を施すことで特異点を抽出する。したがって、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。 Furthermore, a singular point is extracted by performing binarization processing on the captured image. Therefore, a singular point can be extracted by a relatively simple process. The binarization threshold used in the binarization process is stored in an external storage medium or the like, and can be adjusted according to the luminance value of the road structure to be detected. In other words, the road structure that can be detected can be changed by changing the binarization threshold. Therefore, when there is a road structure that is not desired to be detected, the binarization threshold can be set so that the road structure is not detected.
このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。なお、特異点の抽出に際し、撮影画像内の画素の彩度や色相を考慮するようにしてもよい。 As this, it is possible to configure so as to detect only road structures necessary for the analysis, it is possible to improve the workability. Note that the saturation and hue of the pixels in the captured image may be taken into account when extracting the singular points.
また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。例えば、当該判定範囲を、車幅方向に道路幅相当の長さを有する領域に設定すれば、特異点の点群として、道路のジョイント部に対応する領域と道路の白線に対応する領域とを認識している場合であっても、ジョイント部に対応する領域のみを検出対象の道路構造物である判断することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。
このように、二値化閾値や判定範囲を設定するための設定ファイルを外部記憶媒体等に記憶し、ユーザにより任意に調整可能とすることで、自由度の高い検出処理が可能となる。
The determination range is stored in an external storage medium or the like, and can be adjusted according to the road structure to be detected. Therefore, similarly to the above-described binarization threshold, the road structure that can be detected can be changed by changing the determination range. For example, if the determination range is set to an area having a length corresponding to the road width in the vehicle width direction, an area corresponding to the joint portion of the road and an area corresponding to the white line of the road are used as a point cloud of singular points. Even in the case of recognition, it is possible to determine that only the area corresponding to the joint portion is the road structure to be detected. Thus, since it can be set as the detection of only a road structure required for an analysis, workability | operativity can be improved.
As described above, the setting file for setting the binarization threshold value and the determination range is stored in an external storage medium or the like, and can be arbitrarily adjusted by the user, so that detection processing with a high degree of freedom is possible.
また、道路構造物を検出したときの撮影画像をメモリ２４に保存するので、車両２００が点検対象の道路の走行を完了した後、点検者は保存した撮影画像を詳細に確認することができる。メモリ２４には、道路構造物が撮影されている撮影画像のみを保存するので、点検者は道路構造物の状態を効率良く確認することができる。
撮影画像を保存するメモリ２４は、着脱可能な記憶媒体であってもよいし、着脱不可能な記憶媒体であってもよい。メモリ２４として着脱可能な外部記憶媒体を用いれば、車両２００以外の場所での撮影画像の確認や、別の場所にある管理システムへのデータのアップロード等が可能となる。
Further, since the captured image when the road structure is detected is stored in the
The
さらに、メモリ２４に保存する撮影画像は、関連情報として車両位置情報や撮影時刻情報等を有するので、点検者は、撮影画像に映っている道路構造物の位置や、当該道路構造物が撮影された時刻等を容易に把握することができる。したがって、点検者は、撮影画像から道路構造物の異常を検出したとき、道路構造物の詳細点検や応急処置を行う車両を当該道路構造物の位置に適切に向かわせることができる。
また、道路構造物を検出したときの撮影画像をモニタ表示するので、車両２００の乗員はリアルタイムで道路構造物の状態を確認することができる。このとき、検出した道路構造物に対して検出枠を重畳表示する等、道路構造物を強調表示するので、乗員による点検作業効率を向上させることができる。
Furthermore, since the captured image stored in the
Moreover, since the captured image when the road structure is detected is displayed on the monitor, the occupant of the
このように、本実施形態では、カメラ１０で撮影した撮影画像をもとに道路構造物を自動で検出する。したがって、車両２００は、点検対象の道路を、車線規制を必要としない速度で走行することができる。点検車両の乗員が目視により道路構造物の状態を確認する点検方法の場合、当該点検車両は低速走行をしなければならず、点検作業に長時間を要する。また、車線規制を必要とするので、道路渋滞を招くおそれもある。これに対して、本実施形態では、短時間で作業を行うことができると共に、道路渋滞を招くおそれもない。
As described above, in this embodiment, the road structure is automatically detected based on the captured image captured by the
また、本実施形態では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。 Moreover, in this embodiment, since a road structure is detected by the method of extracting a singular point, various road structures can be detected. That is, if a pixel corresponding to a road structure in the captured image can be extracted as a singular point, the road structure can be automatically detected. In the case of a road surface structure related to a road surface, any structure having a luminance value different from that of an asphalt road surface can be set as a detection target . Similarly, in the case of an accessory structure around the road surface, any structure having a luminance value different from that of the surrounding area can be set as a detection target .
道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。
このように、本道路構造物検出装置１００は、撮影画像から道路構造物を適切に自動検出することで、道路維持管理の一環である道路構造物の状態確認作業を支援することができる。
The photographed image in which the road structure is detected can be used for checking the state of the road structure. That is, the inspector can determine whether there is an abnormality in the road structure from the captured image .
As described above, the road
（変形例）
なお、上記実施形態においては、道路構造物検出装置を走行車両に搭載する場合について説明したが、道路構造物検出装置を搭載する移動体は車両に限定されるものではない。例えば、ラジコン、ドローン（無人航空機）、ヘリコプターなどに道路構造物検出装置を搭載してもよい。
(Modification)
In the above embodiment has described the case of mounting the road structures detecting device on the traveling vehicle, the moving body mounting the road structure detection device is not limited to the vehicle. For example, radio-controlled, drone (unmanned aircraft), but it may also be equipped with a road structure detection device such as a helicopter.
また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。 Also, in the above embodiment, upon extraction of the singularity, the case has been described where the binarization processing of the captured image, the captured image and processing multivalued, the image after multi-value processing, road structures A pixel having a luminance value after the multi-value processing may be extracted as a singular point.
さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の道路構造物の色に対応する画素を選出し、これを特異点として抽出することができる。これにより、より高精度に検出対象の道路構造物を検出することができる。この検出方法は、検出対象の道路構造物の色が既知である場合に有効である。 Further, when extracting the singularity, a color reduction process may be performed on the captured image, and the singularity may be extracted from the image after the color reduction process. For example, a full-color captured image is converted into an image that has been reduced to 256 colors or 16 colors, and pixels corresponding to the color of the road structure to be detected are selected from the image after the color reduction processing and extracted as singular points. it can be. This ensures that it is possible to detect the road structure of the detection target with higher accuracy. This detection method is effective when the color of the road structure to be detected is known.
また、上記実施形態においては、画像処理装置２０が検出対象の物体（道路構造物）を検出した際、撮影画像をメモリ２４に保存する場合について説明したが、これに加えて当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。また、撮影画像をメモリ２４に保存するのに代えて、当該撮影画像を画像処理装置２０の通信Ｉ／Ｆ２７を介してサーバ装置へ転送するようにしてもよい。これにより、遠隔地にいる点検者がリアルタイムで撮影画像を確認することができ、作業の効率化が図れる。したがって、仮に道路構造物に異常が発生している場合には、当該異常を迅速に検出することができ、道路構造物の位置に詳細点検及び応急処置を行うための車両を赴かせる等の対応を迅速に行うことができる。
In the above-described embodiment, the case where the captured image is stored in the
また、撮影画像をサーバ装置へ転送するタイミングは、これに限定されるものではない。例えば、画像処理装置２０が道路構造物を検出し、撮影画像を表示部２６へ表示した際に、車両２００の乗員が表示部２６の表示画面上で道路構造物の異常を検出、若しくは異常が疑われることを検出した場合に、撮影画像をサーバ装置へ転送するようにしてもよい。これにより、道路構造物の詳細点検が必要であることを遠隔地にいる管理者等に緊急通報することができる。
Moreover, the timing which transfers a picked-up image to a server apparatus is not limited to this. For example, when the
なお、上記実施形態における画像処理装置２０で実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０で実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。
The program executed by the
As mentioned above, although embodiment of this invention was described in detail, embodiment mentioned above showed only an example in implementing this invention, and the technical scope of this invention is limited to embodiment mentioned above. It is not something. The present invention can be variously modified or changed without departing from the spirit of the present invention.
１０…カメラ、２０…画像処理装置、３０…ＧＰＳ受信機、５１…ジョイント部、５２…白線、５３…轍、５４…照明灯の影、７１…表示画面、７２…画像表示部、７３…検出枠、７４…ボタン、１００…道路構造物検出装置、１２１…画像取得部、１２２…画像処理部、１２３…記憶制御部、１２４…表示制御部、１２５…パラメータ取得部、１２６…閾値調整部、１２７…判定範囲調整部、２００…車両
DESCRIPTION OF
Claims (16)
前記特異点抽出部で抽出した特異点のうち、前記画像における所定の方向に連続する特異点の数に基づいて、検出対象の物体を検出する物体検出部と、を備えることを特徴とする物体検出装置。 A singular point extraction unit that extracts a singular point from an image around the moving body imaged by the imaging unit mounted on the moving body;
An object detection unit that detects an object to be detected based on the number of singular points that are continuous in a predetermined direction in the image among the singular points extracted by the singular point extraction unit. Detection device.
抽出した特異点のうち、前記画像における所定の方向に連続する特異点の数に基づいて、検出対象の物体を検出するステップと、を含むことを特徴とする物体検出方法。 Extracting a singular point from an image around the moving body imaged by an imaging unit mounted on the moving body;
Detecting an object to be detected based on the number of singular points that are continuous in a predetermined direction in the image among the extracted singular points.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015067281A JP5911623B1 (en) | 2015-03-27 | 2015-03-27 | Detection device and detection method for road joints |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015067281A JP5911623B1 (en) | 2015-03-27 | 2015-03-27 | Detection device and detection method for road joints |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5911623B1 JP5911623B1 (en) | 2016-04-27 |
| JP2016186756A true JP2016186756A (en) | 2016-10-27 |
Family
ID=55808261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015067281A Active JP5911623B1 (en) | 2015-03-27 | 2015-03-27 | Detection device and detection method for road joints |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5911623B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021168144A (en) * | 2017-01-25 | 2021-10-21 | 株式会社ユピテル | Data collection device, road status evaluation support device, and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003002256A (en) * | 2001-06-22 | 2003-01-08 | Matsushita Electric Ind Co Ltd | Drive recorder for vehicle |
| JP2011089977A (en) * | 2009-09-24 | 2011-05-06 | Denso Corp | Guidance system for street crossings |
| JP2012211815A (en) * | 2011-03-31 | 2012-11-01 | Aisin Aw Co Ltd | Stop line recognition device, stop line recognition method and program |
| JP2012221303A (en) * | 2011-04-11 | 2012-11-12 | Mitsubishi Electric Corp | In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system |
| JP2013020293A (en) * | 2011-07-07 | 2013-01-31 | Mitsubishi Motors Corp | Vehicle control device |
| JP2013195783A (en) * | 2012-03-21 | 2013-09-30 | Ricoh Co Ltd | Position shift detection device, vehicle, and position shift detection method |
| JP2014013451A (en) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | In-vehicle lane recognition device |
-
2015
- 2015-03-27 JP JP2015067281A patent/JP5911623B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003002256A (en) * | 2001-06-22 | 2003-01-08 | Matsushita Electric Ind Co Ltd | Drive recorder for vehicle |
| JP2011089977A (en) * | 2009-09-24 | 2011-05-06 | Denso Corp | Guidance system for street crossings |
| JP2012211815A (en) * | 2011-03-31 | 2012-11-01 | Aisin Aw Co Ltd | Stop line recognition device, stop line recognition method and program |
| JP2012221303A (en) * | 2011-04-11 | 2012-11-12 | Mitsubishi Electric Corp | In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system |
| JP2013020293A (en) * | 2011-07-07 | 2013-01-31 | Mitsubishi Motors Corp | Vehicle control device |
| JP2013195783A (en) * | 2012-03-21 | 2013-09-30 | Ricoh Co Ltd | Position shift detection device, vehicle, and position shift detection method |
| JP2014013451A (en) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | In-vehicle lane recognition device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021168144A (en) * | 2017-01-25 | 2021-10-21 | 株式会社ユピテル | Data collection device, road status evaluation support device, and program |
| JP7195021B2 (en) | 2017-01-25 | 2022-12-23 | 株式会社ユピテル | Data collection device, road condition evaluation support device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5911623B1 (en) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8284996B2 (en) | Multiple object speed tracking system | |
| Chen et al. | Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions | |
| US8818026B2 (en) | Object recognition device and object recognition method | |
| CN102867414B (en) | Vehicle queue length measurement method based on PTZ (Pan/Tilt/Zoom) camera fast calibration | |
| JP6904614B2 (en) | Object detection device, prediction model creation device, object detection method and program | |
| US20120166033A1 (en) | Method and apparatus for detecting driving information of autonomous driving system | |
| JP6408434B2 (en) | Road marking body deterioration detection method | |
| JP4363295B2 (en) | Plane estimation method using stereo images | |
| EP2955664A1 (en) | Traffic lane boundary line extraction apparatus, traffic lane boundary line extraction method, and program | |
| JP2007234019A (en) | Vehicle image area specifying device and method for it | |
| Puente et al. | Automatic detection of road tunnel luminaires using a mobile LiDAR system | |
| KR20110037180A (en) | System and method for road visibility measurement using camera | |
| JP2009017157A (en) | Image processor, method and program | |
| JP6278791B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP2015090679A (en) | Vehicle trajectory extraction method, vehicle region extraction method, vehicle speed estimation method, vehicle trajectory extraction program, vehicle region extraction program, vehicle speed estimation program, vehicle trajectory extraction system, vehicle region extraction system, and vehicle speed estimation system | |
| JP2011170599A (en) | Outdoor structure measuring instrument and outdoor structure measuring method | |
| KR102418823B1 (en) | Deep learning-based illegal parking enforcement system using wide-area detection images | |
| JP2007316856A (en) | Traveling object detecting device, computer program, and traveling object detection method | |
| JP2011209896A (en) | Obstacle detecting apparatus, obstacle detecting method, and obstacle detecting program | |
| JP2005332071A (en) | System for tracking visually handicapped person and method for detecting visually handicapped person | |
| JP2016186756A (en) | Device and method of detecting joint part of road | |
| KR101582348B1 (en) | Method for monitoring parking lot and apparatus thereof | |
| JP2019066368A (en) | System and method for detecting displacement of structure | |
| KR101327256B1 (en) | System and method of detecting vehicle using detecting shadow region of the vehicle by ptz camera | |
| Burghardt et al. | Camera contrast ratio of road markings at dual carriageway roads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5911623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |