JP2005043324A - Method of checking defective condition of road surface, and method of specifying defective position of the road surface - Google Patents

Method of checking defective condition of road surface, and method of specifying defective position of the road surface Download PDF

Info

Publication number
JP2005043324A
JP2005043324A JP2003280255A JP2003280255A JP2005043324A JP 2005043324 A JP2005043324 A JP 2005043324A JP 2003280255 A JP2003280255 A JP 2003280255A JP 2003280255 A JP2003280255 A JP 2003280255A JP 2005043324 A JP2005043324 A JP 2005043324A
Authority
JP
Japan
Prior art keywords
road surface
step
damage
position
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003280255A
Other languages
Japanese (ja)
Inventor
Ryuji Horie
Muneo Momosawa
Isao Sugie
Tatsuji Yamazaki
竜司 堀江
龍次 山崎
功 杉江
宗夫 桃澤
Original Assignee
Hanshin Expressway Public Corp
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
阪神高速道路公団
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanshin Expressway Public Corp, Matsushita Electric Ind Co Ltd, 松下電器産業株式会社, 阪神高速道路公団 filed Critical Hanshin Expressway Public Corp
Priority to JP2003280255A priority Critical patent/JP2005043324A/en
Publication of JP2005043324A publication Critical patent/JP2005043324A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method of checking defective conditions of a road surface capable of automatically and correctly detecting the defective part, while running on the road. <P>SOLUTION: The method of checking defective conditions of the road surface for checking defective conditions of the road surface, while a check vehicle is running comprises a vehicle's own shadow elimination process S5 for eliminating vehicle's own shadow projected on the road surface; a white color discriminating and eliminating process S3 for eliminating the white color part including painted guide display from a taken image; a lane discrimination and elimination process S4 for eliminating the outside of a lane area under inspection from the image; a joint discrimination and elimination process S6 for eliminating the joint part from the image; a dirt of paved road surface discrimination and elimination process S12 for eliminating dirt on the road surface from the image; and a shadow of structure discriminating and eliminating process S7 for eliminating the shadows of peripheral structures. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、走行する車両から路面の撮像画像を逐次取り込んで所要の画像処理を行うことにより、路面の損傷状態を点検する路面損傷状態点検方法、及び路面の点検の実施と同時に、若しくはその後に、路面損傷箇所である損傷発見位置を特定する路面損傷位置の特定方法に関する。 The present invention, by performing sequential takes in required image processing a captured image of the road surface from a running vehicle, a road surface damage condition inspection method for inspecting a damage state of the road surface, and at the same time as in the inspection of the road surface, or followed relates to a particular method of road surface damage location to identify the damage found position is road damaged portion.

従来、路上点検は点検員が目視による巡視を行うことが多いため、路面の損傷の有無などを確認するための巡視作業は、通常、その作業内容を熟知した点検員が行うことが多い。 Conventionally, the road inspection inspector is often to perform a patrol by visual inspection, patrol work in order to confirm the presence or absence of the road surface of the damage, usually, it is often performed inspection who was familiar with the work. 従って、このような点検作業の際に、例えば熟練した点検員の要員数が少ないような場合には、点検員の交代を効率よく行うといった人的な努力などにより、目視による路面損傷の点検作業を遂行していた。 Therefore, during such inspection, for example, when a skilled inspector personnel number such that little, due human efforts such to efficiently replace inspector, inspection of road damage visually the had been carried out.

ところで、このような路面点検を実際の路上で行う場合には、通常、車両からの巡視(目視)によって行っているため、例えば高速道路においても、走行する車両から目視点検できるように車両を低速で走行させて行っていたが、危険性を伴うばかりか、点検作業に長時間を要している。 Incidentally, when performing such road check on the actual road is usually because doing the patrol from the vehicle (visual), for example, even in the expressway, slow the vehicle to allow visual inspection from the running vehicle in had been carried out by traveling, but not only with the risk, it takes a long time for the inspection work.

そこで、点検員の目視による点検方法ではなく、自動検測車に据え付けたカメラで路面を逐次撮影しながら路面損傷状態の点検を少人数で、かつ、安全に、しかもスピーディに行うことができる路面巡視装置などの開発も検討されている(例えば、特許文献1参照。)。 Therefore, instead of the inspection method according to visual inspection personnel, in small inspect the road surface intact condition while sequentially capturing the road surface camera installed in automatic Kensokusha, and can safely, yet be done speedily road development of patrol devices have been studied (for example, see Patent Document 1.).

また、このような路面などの具体的な損傷状態について、例えば、ひび割れなどを自動的に検測するための具体的な実現手段として、検査対象である被写体の表面を撮像するとともに、適宜の数学的な処理などを伴う画像処理方法などによってひび割れ部分を検出することができるひび割れ検出装置も提案されている(例えば、特許文献2参照。)。 Further, specific damage conditions such as such road, for example, specific realizing means for automatically gage and cracking, as well as imaging the surface of an object to be inspected, appropriate mathematical It has also been proposed crack detecting apparatus capable of detecting a crack portion by an image processing method such as with specific treatment (for example, see Patent Document 2.).

さらに、例えば、車体に搭載の光源から路面に向けて扇形のファンビーム光線を照射し、その光線の軌跡を撮影してそのデータをデータ処理装置にかけ、路面横断凹凸の演算を行う構成の凹凸測定装置も提案されている(例えば、特許文献3参照。)。 Furthermore, for example, by irradiating the fan of the fan beam rays toward the road surface from the mounting of the light source on the vehicle body, over the data to the data processing apparatus by photographing the trajectory of the beam, unevenness measuring arrangement for performing the calculation of the road crossing irregularities device have also been proposed (e.g., see Patent Document 3.).
特開平8−86645号公報(第2頁右欄上段、段落[0002]) JP-8-86645 discloses (page 2, right column upper, paragraph [0002]) 特開平3−160349号公報(第3頁、右欄上段〜左欄下段) JP-3-160349 discloses (page 3, right column upper-left column bottom) 特公平7−49942号公報(第2頁左欄、中段) Kokoku 7-49942 Patent Publication (second left column, middle)

しかしながら、前述した特許文献2及び特許文献3に記載の装置にあっては、天候の条件によっては影を損傷として誤認識したり、路上の汚れなどを損傷として誤認識したりする虞がある。 However, in the apparatus described in Patent Document 2 and Patent Document 3 described above, depending on the weather conditions there is a risk or to false recognition or misrecognition shadows as damage, dirt on the street as damage.

こういった事情から、これらの非損傷データを排除して損傷部分を具体的に、かつ、正確に自動検出することができる路面の点検検出方法の開発が強く求められている。 From these circumstances or, specifically the damaged portion with the exclusion of those undamaged data, and are exactly developed inspection method for detecting the road surface which can be automatically detected is strongly demanded.

そこで、本発明は、上記した事情に鑑み、路面を走行しながら路面の損傷部分を自動的に、しかも正確に検出することが可能となる路面損傷状態点検方法、及び、走行中に検出した路面上の損傷位置について、走行路線内で特定することができる路面損傷位置の特定方法を提供することを目的とするものである。 The present invention has been made in view of the circumstances described above, automatically the damaged portion of the road while traveling on a road surface, and accurately detect the road surface intact condition inspection method is possible to, and detected during the traveling road surface damage up position, it is an object to provide a method of identifying a road surface damage locations that can be identified in a running route.

本発明の路面損傷状態点検方法は、点検車両を路面上で走行させながら前記走行中の路面をカメラで撮像し、その撮像画像から前記路面の損傷状態を点検する路面損傷状態点検方法であって、 Road damage state inspection method of the present invention, an inspection vehicle road in the traveling while traveling on the road surface captured by the camera, a road damage state inspection method for inspecting a damage state of the road surface from the captured image ,
前記撮像画像から前記路面に投影される少なくとも前記点検車両に積載した点検装置の影を除去する自車影判別除去工程と、 And the vehicle shadow determination step of removing the shadow of at least the inspection inspection apparatus loaded on a vehicle is projected from the captured image on the road surface,
前記路面上のペイントされた表示案内を含む白色部分を前記撮像画像から除去する白色判別除去工程と、 White discrimination removing step of removing the white portions including painted display guidance on the road surface from the captured image,
前記撮像画像内から前記路面内の点検中の車線領域に隣接する他の車線領域を除去する車線判別除去工程と、 A lane determination step of removing the other lane area adjacent lane region in inspection of said road surface from the captured image,
前記走行する路面のうち橋梁部分と一般の舗装路面部分とをつなぐジョイント部分を、前記撮像画像から除去するジョイント判別除去工程と、 The joints connecting the pavement surface portion of the bridge portion and generally out of the road surface on which said traveling, the joint determination removal step of removing from the captured image,
前記路面の汚れを前記撮像画像から除去する路面汚れ判別除去工程と、 And the road dirt determination step of removing the dirt of the road surface from the captured image,
前記路面に投影された周辺構造物の影を除去する構造物影判別除去工程と を有することを特徴としている。 It is characterized by having a structure Monokage determination step of removing the shadow of peripheral structure projected on the road surface.

これにより、路面を走行しながら路面の損傷部分を自動的に、しかも正確に検出することが可能となる。 Thus, the road surface to the damaged portion of the road surface automatically while traveling, yet it is possible to accurately detect.

また、本発明の路面損傷状態点検方法は、前記自車影判別除去工程は、前記路面に投影される前記点検装置の影、又は前記路面に投影される前記点検車及び前記点検装置の影からなる自車影に対応して形成した自車影マスクを用いて、前記撮像画像から前記自車影を除去することを特徴としている。 Further, the road surface intact condition inspection method of the present invention, the self Kurumakage discriminating removal step, the shadow of the inspection device that is projected on the road surface, or from the shadows of the inspection vehicle and the checking device is projected on the road surface obtained by using the self Kurumakage mask formed in correspondence to the vehicle shadow, it is characterized by removing the self Kurumakage from the captured image.

本発明の路面損傷状態点検方法は、前記車線判別除去工程は、少なくとも前記路面の白線に対応する領域を撮像画像の濃淡から判別して形成した車線マスクを用いて、前記撮像画像から前記白線よりも外側領域を除去することを特徴としている。 Road damage state inspection method of the present invention, the lane determination step of removing at least a region corresponding to the white line of the road surface using a lane mask formed to determine the shading of the captured image, from the white line from the captured image It is characterized by removing the outer region.

また、本発明の路面損傷状態点検方法は、前記ジョイント判別除去工程は、前記ジョイント部分に対応する領域を撮像画像のエッジ画像により判別して形成したジョイントマスクを用いて、前記撮像画像から前記ジョイントを除去することを特徴としている。 Further, the road surface intact condition inspection method of the present invention, the joint determination removing step, by using a joint mask formed to determine the edge image of the captured image an area corresponding to the joint portion, the joint from the captured image It is characterized by removing the.

本発明の路面損傷状態点検方法は、前記路面汚れ判別除去工程は、前記路面の汚れに対応する領域を、前記撮像画像の濃淡のコントラストから形成したヒストグラムを判別手段として用いて抽出し、前記撮像画像から除去することを特徴としている。 Road damage state inspection method of the present invention, the road dirt discrimination removing step, a region corresponding to the contamination of the road surface, and extracted with histogram formed from the contrast of shading of the captured image as the discrimination means, said imaging It is characterized by removing from the image.

また、本発明の路面損傷状態点検方法は、前記構造物影判別除去工程は、前記撮像画像から前記構造物影の輪郭部分での空間微分値の平均と標準偏差とを用いた所定の判別式により形成した構造物影マスクを用いて、前記撮像画像から前記構造物影を除去することを特徴している。 Further, the road surface intact condition inspection method of the present invention, the structure Monokage discriminating removal step, a predetermined discriminant from the captured image using the average and the standard deviation of the spatial derivative value at the contour portion of the structure Monokage using structure Monokage mask formed by, and characterized in that the removal of the structural Monokage from the captured image.

本発明の路面損傷位置の特定方法は、点検すべき高速道路の特定路線全体に亙って点検車両を走行しながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記損傷箇所である損傷発見位置を特定する路面損傷位置の特定方法であって、 Particular method of road surface damage position of the present invention, simultaneously with the inspection will detect the damaged portion of the road surface while traveling inspection vehicle throughout a particular route of highway to be inspected, or thereafter, the a particular method of road surface damage location to identify the damage found position is damaged portion,
前記特定路線が、下り車線又は登り車線走行の場合、路線変更の場合、渡り車線で走行するときのいずれについても、 The specific routes in the case of outbound lane or climbing lane running, if the route change, for any time running at over lane also
ビーコンIDの設置位置から前記損傷発見位置までの距離を所定の演算式から導出し、 A distance to the damaged discovery position derived from a predetermined arithmetic expression from the installation position of the beacon ID,
前記ビーコンIDの設置位置のキロポストと、前記ビーコンIDの設置位置から前記損傷発見位置までの距離とから、前記損傷発見位置のキロポスト値を求め、 And kilo post installation position of the beacon ID, and a distance to the damaged discovered position from the installation position of the beacon ID, obtains a kilo post value of the damage found position,
前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最近接するキロポストのピアを前記損傷発見位置として特定する ことを特徴としている。 Wherein the route of the peer table in said inspection that is installed in the beacon ID, it is characterized by identifying a peer of kilo post closest to the kilo post value of the damage found position as the damage found position.

また、本発明の路面損傷位置の特定方法は、点検すべき高速道路の下り車線又は上り車線で点検車を走行させながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の下り車線又は上り車線の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 Furthermore, the particular method of road surface damage position of the present invention, at the same time, or after the detection to continue inspection the damaged portion of the road surface while traveling inspection car outbound lane or the inbound lane of the expressway to be inspected, wherein a highway outbound lane or specific method of road surface damage positions that specify the distance from the reference position of the inbound lane damage to finding a position wherein a damaged portion,
前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から損傷発見位置までの距離D 0を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance D 0 to damage discovered position from the installation position of the beacon ID registered in advance,
前記ビーコンIDの設置位置のキロポストと、前記ビーコンIDの設置位置から前記損傷発見位置までの距離との2つのデータを用いて前記損傷発見位置のキロポスト値を求め、 And kilo post installation position of the beacon ID, obtains a kilo post value of the damage discovered position using the two data and the distance to the damage discovered position from the installation position of the beacon ID,
前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを前記損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as the damage found position,
前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納することを特徴としている。 Peer and the damaged portion of kilo post that the specific is characterized by storing the data of the image captured in memory.

また、本発明の路面損傷位置の特定方法は、点検すべき高速道路の路線を分岐点から変更させて点検車両を走行させながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の下り車線又は上り車線の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 Furthermore, the particular method of road surface damage position of the present invention, simultaneously with the inspection will detect the damaged portion of the road surface while traveling inspection vehicle by changing the routes of highway to be inspected from the branch point, or after to, a particular method of road surface damage positions that specify the distance from the reference position of the outbound lane or the inbound lane of the expressway to damage found position is the damage site,
前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から前記損傷発見位置までの距離D 0を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance D 0 to the damage discovered position from the installation position of the beacon ID registered in advance,
前記ビーコンIDの設置位置から前記分岐点までの距離D 1を求めた後、前記距離D 0と前記距離D 1の大小関係に分けて前記損傷発見位置のキロポスト値を算出し、 After determining the distance D 1 of the the installation position of the beacon ID to said branch point, wherein calculating a kilo post value of damage found located separately in magnitude relation of the distance D 0 between the distance D 1,
前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as damage found position,
前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納することを特徴としている。 Peer and the damaged portion of kilo post that the specific is characterized by storing the data of the image captured in memory.

また、本発明の路面損傷位置の特定方法は、点検すべき高速道路の渡り車線を通りながら点検車両を走行させて走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 Furthermore, the particular method of road surface damage position of the present invention, simultaneously with detecting and going inspection the damaged portion of the road surface by driving the inspected vehicle while passing the crossing lane highway to be inspected, or thereafter, the a particular method of road surface damage positions that specify the distance from the reference position of the highway to the damage found position is the damage site,
前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から前記損傷発見位置までの距離D 0を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance D 0 to the damage discovered position from the installation position of the beacon ID registered in advance,
前記渡り線の長さをL Wと前記ビーコンIDの設置位置から分岐点までの距離D 1とを求めた後、前記距離D 0 、前記距離D 1 、前記L Wの大小関係に分けて損傷発見位置のキロポスト値を算出し、 After determining the distance D 1 of the to the branch point the length of the connecting wire from the installation position of L W to the beacon ID, the distance D 0, the distance D 1, is divided into large and small relation of the L W damage to calculate the kilo post value of the discovery position,
前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置のキロポスト値に最も近接するキロポストのピアを前記損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as the damage found position,
前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納することを特徴としている。 Peer and the damaged portion of kilo post that the specific is characterized by storing the data of the image captured in memory.

本発明は、路面上で点検車両を走行させながら路面をカメラで撮像し、その撮像画像から路面の損傷状態を点検する路面損傷状態点検方法であって、路面に投影される点検車両の影を除去する自車影判別除去工程と、路面上のペイントされた表示案内を含む白色部分を撮像画像から除去する白色判別除去工程と、撮像画像内から路面の点検中の車線領域に隣接する他の車線領域を除去する車線判別除去工程と、橋梁部分と一般の舗装路面とをつなぐ境界部分に設けたジョイント部分を撮像画像から除去するジョイント判別除去工程と、撮像画像の濃淡についてのコントラストにより、ヒストグラムを用いて舗装路面の汚れを撮像画像から除去する路面汚れ判別除去工程と、点検しようとする路面に投影された周辺構造物の影を除去する構造物 The present invention, while traveling inspection vehicle on the road surface by imaging a road surface with a camera, a road damage state inspection method for inspecting a damage state of the road surface from the captured image, the shadow of the inspection vehicle projected on the road surface and the vehicle shadow determination step of removing, on the road surface painted displayed guided and white discrimination removing step of removing the white portion from the captured image including the, from the captured image inspection in other adjacent to the lane area of ​​the road surface a lane determination removing step of removing the lane region, the joint determination removal step of removing from the captured image a joint part provided in the boundary portion connecting the pavement of the bridge portions and generally, by contrast of shading of the captured image, the histogram structure to remove the road surface stain determination step of removing stains pavement from the captured image, the shadow of the peripheral structure projected on the road surface to be inspected using a 判別除去工程とを有するものである。 Those having a discriminating removal step.

従って、本発明によれば、路面を走行しながら、特に高速道路を高速走行しながらでも、路面の損傷部分を自動的に、しかも正確に検出することができる。 Therefore, according to the present invention, while traveling the road surface, in particular even with high speeds on a highway, automatically the damaged portion of the road surface, yet can be accurately detected.

以下、この発明に係る実施の形態について、添付図面を参照しながら詳細に説明する。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
[第1の実施の形態] First Embodiment
<A. <A. 舗装路面損傷状態点検方法について> For paved road surface damage state inspection method>
図1は、この発明の第1の実施の形態に係る舗装路面損傷状態点検方法を示すフローチャートであり、この舗装路面損傷状態点検方法では、舗装路面状態点検用のアームを取り付けた点検車両1を高速道路上で高速走行させながら、この点検車両1に積載された点検装置2を用いて、舗装路面の表面状態をカメラで撮像し、その撮像画像から舗装路面の損傷状態を確認していくようになっており、具体的には、第1ステップ(S1)〜第12ステップ(S12)で構成されている。 Figure 1 is a flowchart showing a first pavement intact condition inspection method according to an embodiment of the present invention, in this pavement damage state inspection method, the inspection vehicle 1 fitted with arms for pavement condition inspection while high speed on the highway, with been inspected device 2 loaded on the inspection vehicle 1, as will check the damage state of pavement surface condition of the pavement surface captured by the camera, from the captured image has become, specifically, it is composed of a first step (S1) ~ 12th step (S12).

ここで、本実施の形態の舗装路面損傷状態点検方法を具体的に説明するのに先立ち、最初に、舗装路面損傷状態点検方法に用いる点検装置2について、図2を参照しながら説明する。 Here, prior to describing the pavement damage state inspection method of this embodiment specifically, first, the inspection apparatus 2 for use in pavement damage state inspection method will be described with reference to FIG.

この点検装置2は、舗装路面損傷状態点検方法に用いる点検車両1に備えており、具体的には、この点検車両1の車体10の上部(ルーフ部分)の左右両側から立ち上げて設置した略門型状のガントリー21と、このガントリー21の左右上部の両端部に設置した一対のレーザ用撮像カメラ22と、車体10上部の中央にガントリー21よりも低く起立させて設けた直立アーム23に固定する1台の可視画像用カメラ24と、車体10上部で直立アーム23とガントリー21の両縦アーム部21Aとの間に設けた一対のレーザヘッド25と、車体10の一対のサイドミラー26と、画像データ処理装置3(図3参照)などとを備えている。 The inspection apparatus 2 is provided with the inspection vehicle 1 for use in pavement damage state inspection method, specifically, substantially Placing a raised from the right and left sides of the upper (roof part) of the vehicle body 10 of the inspection vehicle 1 fixed gate-shaped gantry 21, a pair of laser imaging camera 22 installed at the left and right end portions of the upper portion of the gantry 21, the upright arm 23 which is provided by standing lower than gantry 21 in the center of the vehicle body 10 upper and one of the visible image camera 24, a pair of laser head 25 provided between the two longitudinal arm sections 21A of the upstanding arms 23 and gantry 21 in the body 10 upper, a pair of side mirrors 26 of the vehicle body 10, and a and an image data processing apparatus 3 (see FIG. 3).

画像データ処理装置3は、高速走行しながら撮像された舗装路面の画像データに対して、本発明の舗装路面損傷状態点検方法に基づく画像処理を行い、舗装路面の損傷の有無及び損傷状態などを検出するものである。 Image data processing apparatus 3, the image data of the pavement captured while traveling at high speed, performs image processing based on the pavement surface damage state inspection method of the present invention, the presence or absence and damage condition of the damaged pavement it is intended to be detected. この画像データ処理装置3は、図3に示すように、大略構成として、前述した左右のレーザ用撮像カメラ22と、可視画像用カメラ(CCD)24と、左右のレーザ用撮像カメラ22でそれぞれ取り込んだ路面についての各原画像を前述した所定の画像処理を行うための画像処理装置31と、制御装置(CPU)32と、各画像処理データを格納・保存するための記憶装置(メモリ)33とを備えている。 The image data processing apparatus 3, as shown in FIG. 3, as generally construction, laser imaging camera 22 of the left and right as described above, a visible image camera (CCD) 24, taken respectively on the left and right of the laser imaging camera 22 I and the image processing apparatus 31 for performing a predetermined image processing described above each original image for the road surface, and a control unit (CPU) 32, a storage device (memory) 33 for storing and saving the image processing data It is equipped with a.

このうち、各画像処理装置31には、ビデオキャプチャ部31Aと、レーザ画像処理部31Bと、入出力(I/O)部31Cとを備えている。 Among them, in each image processing apparatus 31 includes a video capture section 31A, a laser image processing section 31B, and input and output (I / O) unit 31C.

さらに、本実施の形態では、この路面の損傷部分の画像処理による検出動作ととともに、この損傷部分を検出した場合には、走行中の路線での損傷場所の特定も、後述する本発明の損傷位置の特定方法を用いて同時に算出するようになっている。 Further, in this embodiment, the detection operation by the image processing of the damaged portion of the road surface, when it is detected the damaged portion, also identify damage location on route during traveling, damage of the present invention to be described later and it calculates simultaneously using a specific method of position. このため、この画像データ処理装置3には、制御装置32の内部に図示外のカウンタを設けており、点検車両1側に設置した図示外の車速パルス装置からのパルス信号を入力するとともに、点検車両1に設けたアンテナ5を介してVICSモニタ装置(Vehicle Information and Communication System;道路交通情報通信システム)4から出力されるVICS信号による情報も入力するように構成されている。 Therefore, the image data processing apparatus 3, inside of the control device 32 is provided with a not shown counter inputs the pulse signal from the vehicle speed pulse device not shown installed in inspection vehicle 1 side, inspection VICS monitor device through the antenna 5 provided in the vehicle 1; information by VICS signal outputted from the (vehicle information and communication system vehicle information and communication system) 4 is also configured to enter.

(I)第1ステップ(S1)について: (I) for the first step (S1):
第1ステップ(S1)は、点検装置2のレーザ用撮像カメラ22で取り込んだ(二次元の白黒画像)撮像画像に対して所定の画像処理を行って正規化させるものである(画像正規化工程)。 The first step (S1) is to be normalized by performing predetermined image processing on the captured (two-dimensional monochrome images) captured image by the laser imaging camera 22 of the inspection apparatus 2 (image normalization step ).

この画像正規化工程では、前述のレーザ用撮像カメラ22で取り込んだ撮像画像(例えば、図4(A)参照)が、路面に対して傾斜した状態で撮影されているため、近傍にある画像と遠方にある画像とでは、実質的には縦横の距離の関係が大きく異なることから、同図(B)に示すように、縦横の寸法比が同じ又はそれに近い関係となるように、適宜の手段で画像処理を行う。 In this image normalization process, the captured image captured by the laser imaging camera 22 described above (e.g., FIG. 4 (A) refer) for has been taken in a state of being inclined with respect to the road surface, and the image in the vicinity in the image on the distant, substantially the relationship between the distance of the vertical and horizontal are significantly different, as shown in FIG. (B), as the size ratio of the vertical and horizontal is closely related to the same or, appropriate means in performing image processing.

このようにして、矩形状の画面全体において、先方(画面上部)ほど撮像画像が広がった広角の画像データから、正規化のための画像処理及び必要な画角変換などを行うことにより、路面状態を垂直上方から撮影したときの画像と実質的に同等の画像データが得られるようになる。 In this way, the entire rectangular screen, from the wide-angle image data spread captured image as other party (the top of the screen), by performing such image processing and the required angle transformation for normalization, the road surface condition an image substantially equivalent to an image data when the shooting may be obtained from vertically upward.

なお、この正規化された画像データでは、所定の画面において、横方向が路面の幅方向に平行な方向を示すとともに、縦方向が道路の長さ方向を示すようになるので、その後の数学的処理を考慮して、画面の縦横直交する方向にデカルト座標(O−XY)を設定する(図4(B)参照)。 In this normalized image data in a predetermined screen, along with showing a direction parallel to the width direction of the lateral road surface, since the longitudinal direction exhibits a length direction of the road, then the mathematical processing into consideration, setting the Cartesian coordinates (O-XY) in a direction vertical and horizontal orthogonal screen (see FIG. 4 (B)).

また、この画像正規化工程では、レーザ用撮像カメラ22(図2参照)で画像を取り込む際に、図示外の撮像レンズなどが、固有に有する各種の収差、例えば歪曲収差などを生じているような場合には、この正規化作業に先立ち、適宜の方法によりこれらの収差をできるだけ補正しておくことが好ましい。 Further, in this image normalization process, when capturing an image with laser imaging camera 22 (see FIG. 2), as such an unillustrated imaging lens, it is occurring various aberrations, such as such as distortion with unique the case, prior to the normalization operation, it is preferable to correct as possible these aberrations by a suitable method.

なお、この第1ステップ(S1)においては、屋外における路面撮影であるため、日光の入射加減などにより、サンプリングした画像データが暗すぎたり明るすぎたりするのを回避するため、換言すれば、安定した良好な原画像を得るため、必要に応じて公知手段による適宜の処理を行うようにしてもよい。 Incidentally, the first in the step (S1), for outdoor is road shooting in, due incident subtraction of sunlight, the sampling image data to avoid too dark or too bright, in other words, stable for good original images, it may be performed as appropriate for processing by known means if desired.

(II)第2ステップ(S2)について: (II) for the second step (S2):
次に、第2ステップ(S2)では、舗装路面の損傷部分を含む損傷候補のデータを捜し出す(抽出する)ため、第1ステップ(S1)で形成した正規化された画像データに対して、例えば一定方向に走査を行いながら、公知の空間微分処理などを行ってエッジ検出を行うとともに、予め決定された閾値を用いて二値化処理を行うことにより、画像データ内において鋭角的なピークを描く白黒境界領域の輪郭を抽出する(輪郭抽出工程)。 Next, in the second step (S2), locate data damage candidates including damaged portion of the pavement surface (extracted) for the image data that has been normalized formed in the first step (S1), for example, while scanning in a predetermined direction, and performs edge detection performed such known spatial differentiation processing, by performing binarization processing using a predetermined threshold, draw sharp peaks in the image data extracting the outline of the white border region (contour extraction step).

この輪郭抽出工程では、エッジ検出方法として、例えば、一次又は二次微分法、ソーベル法、ロバーツ法、プレウィット法、ラプアシアン法などが知られている。 The contour extraction step, as an edge detection method, for example, primary or secondary differential method, Sobel method, Roberts method, Prewitt method, etc. Rapuashian method are known. また、二値化閾値の決定方法には、モード法、判別分析法、P−タイル法などが知られている。 Further, the method of determining the binarization threshold, mode method, discriminant analysis method, such as P- tile method is known.

このようにして抽出された輪郭データから生成される線で囲まれる領域から、後述する「ジョイントマスク」などを生成することができる。 Thus from region surrounded by a line that is generated from the extracted contour data, it is possible to generate such "joint mask" to be described later.

(III)第3ステップ(S3)について: (III) Third for step (S3):
第3ステップ(S3)では、第2ステップ(S2)において、正規化させた画像データから輪郭抽出された(損傷候補のデータが含まれた)データの中から、点検対象となる車線の路面部分のみの画像データを取り出す(抽出する)ため、ペイントされた路面上の表示案内部分に相当する部分の白色マスクM1(以下、これを「ペイントマスク」とよぶ)を作成する(ペイントマスク作成工程)。 In the third step (S3), in a second step (S2), which is contour extracted from the image data obtained by the normalized (containing the data of the damaged candidate) from the data, the road surface portion of the lane to be inspected target retrieve the image data of only (extracted) for the portion of the white mask M1 corresponding to the painted display guide portion on a road surface (hereinafter referred to as "paint mask") to create a (paint mask preparation step) . なお、このとき、画像データの角隅部分(即ち、図5において、左右下側角隅部分)などには空白部分が発生するのでこれを除去する。 At this time, the corner portion of the image data (i.e., in FIG. 5, the left and right lower angle corners) in such to remove it because the blank space occurs.

即ち、前述の第1ステップ(S1)では、矩形状の画面全体に撮像画像が広がった画像データ(図4(A)参照)から、正規化のための画像処理を行うことにより、路面状態を垂直上方から撮影したときの画像と実質的に同等の画像データが得られるようになる(図4(B)参照)。 That is, in the first step of the above (S1), from the image data spread captured image on the entire rectangular screen (see FIG. 4 (A)), by performing image processing for normalization, the road surface condition image substantially equivalent to image data will be obtained when taken from vertically upward (see FIG. 4 (B)).

ところが、この画面内では、手元(下)側の画像は縮小され遠方(上)側の画像は拡大されることになるので、元々矩形状に撮影してあった画像データから得られる全体画像は略逆台形状をなす形状となり(図5参照)、前述したように、矩形状の画面全体に対して四隅(角隅)部分が欠けた画像となっている。 However, in this screen, it means that the hand (bottom) side of the image of the reduced far (upper) side image is enlarged, the whole image obtained from the original image data that had been captured in a rectangular shape a shape forming a Ryakugyakudai shape (see FIG. 5), as described above, has a chipped image corners (corner) portions for the entire rectangular screen. このように、この正規化された画像データには、例えば、路面以外の欠損画像データや、損傷部分以外の不要な画像データも含まれている。 Thus, this normalized image data, for example, or other defect image data road also includes unnecessary image data other than the damaged portion.

そこで、この第3ステップ(S3)では、第1ステップS1による画像正規化処理後に発生している画像データ内の四隅部分の画像が欠けた何も撮影されていない白色の欠損画像エリア(非路面データ領域)の部分(図5参照)や、路面上にペイントされた表示(文字や数字)或いは安全上の案内などの白色エリア(表示案内データ領域)などの部分を、損傷候補の画像データから除去するために、これらの白色部分に相当する「ペイントマスク」M1(図5の白色に相当する部分)を作成する。 Therefore, in the third step (S3), a white defect image area (non-road nothing is photographed with the cut images of four corners in the image data being generated after image normalization processing by the first step S1 portion of the data area) (see FIG. 5) and a portion of a display that is painted on the road surface (white area, such as letters or numbers), or safety guide (display guidance data area) from the image data of the damaged candidate to remove, to create a corresponding to those of the white portion "paint mask" M1 (portion corresponding to white in Figure 5).

なお、この損傷候補の画像データにおいて、特にサイズの小さな白色部分は、(最終的な検出対象である)損傷データである可能性も残っているので、これらの白色部分だけは除去しないようにしている。 In the image data of the damage candidates, in particular small white part of the size (the ultimate detected) because there are still potentially damage data, only these white portions so as not to remove there.

(IV)第4ステップ(S4)について: (IV) Fourth step (S4):
第4ステップ(S4)は、損傷候補の画像データについて、検査・点検しようとする所望の走行中の車線内だけに撮像画像を制限するための工程であり、走行車線を規制する白線部分を検出して「ペイントマスク」M2(図5参照)を作成するとともに、その白線部分から外部側領域を除去する(図6参照)。 The fourth step (S4), for image data of damaged candidates, a process for limiting the desired only in the captured image lane during running to be examined and inspection, detecting the white line segments to regulate the traffic lane to "paint mask" M2 with creating a (see FIG. 5), to remove the outer side region from the white line segments (see Fig. 6).

即ち、この車線マスク形成工程(S4)では、例えば図5において、「ペイントマスク」M2を用いることにより、所定の長さを超えて縦方向に平行に伸びる矩形状の領域を車線表示用の白線と判断し、この白線領域から左又は右のエリア全体を路面点検の対象としない車線外領域と判別させるようになっている。 That is, in the lane mask forming step (S4), in FIG. 5, for example, by using a "paint mask" M2, a rectangular region extending parallel to the longitudinal direction beyond a predetermined length for the lane display white It determines that has become the entire left or right area from the white line area so as to determine the target and not the lane area outside the road surface inspection. 従って、これにより、図6に示すように、路面損傷状態を検出する車線を1車線だけに絞った画像データとして抽出することができるようになっている。 Thus, Thus, as shown in FIG. 6, thereby making it possible to extract the lane to detect the road surface intact condition as image data focused only one lane.

なお、この白線領域の左右何れが車線外領域であるかの判別は、例えば、画面内において白線領域が1本だけと判断された場合、この白線領域の部分よりも画面の左右縁部までの水平距離が短い方を車線外領域と判断することができる。 Incidentally, any lateral of the white area is the discrimination of whether the lane outside region, for example, if the white line area in the screen is determined that only one, to the right and left edges of the screen than the portion of the white line area towards the horizontal distance shorter it can be determined that the lane outside area.
一方、画面内において白線領域が2本あると判断された場合、それぞれの白線領域の部分よりも画面の左右縁部までの領域を全て車線外領域と判断するようにすることができる。 On the other hand, if it is determined that the white line area is two in the screen, can be a region to the left and right edges of the screen than the portion of each of the white line area to be determined that all lanes extracellular region.

(V)第5ステップ(S5)について: (V) Fifth step (S5):
第5ステップ(S5)では、路面を点検する点検車両1の車体10自身の車体の影、この車体10から突出している前述した点検装置2のカメラやレーザ及びこれらの取り付けている各種のアームなどの影を損傷候補のデータから除去するために、「自車影マスク」M3(図13(B)参照)を作成する(自車影マスク作成工程)。 In the fifth step (S5), the shadow of the vehicle body of the vehicle body 10 itself inspection vehicle 1 to check the road surface, the projects from the vehicle body 10 has a checking device 2 described above camera or laser, and various arms that attach these to eliminate shadows from data damage candidate, creating a "Jikurumakage mask" M3 (see FIG. 13 (B)) (Jikurumakage mask making process).

本実施の形態の第5ステップ(S5)は、具体的に説明すると、図7に示すように、横アーム検索工程(S51)、縦アーム検索工程(S52)、マスクデータ作成工程(S53)の3工程で構成されている。 The fifth step of the present embodiment (S5), when specifically described, as shown in FIG. 7, the horizontal arm search step (S51), the vertical arm search step (S52), the mask data creation step of (S53) It is composed of three steps.

(i)横アーム検索工程(S51)について: (I) for the horizontal arm search step (S51):
この横アーム検索工程(S51)は、撮像された画面上で水平(X)方向に直線的に伸びる特徴を有する横アーム21B(図2参照)検索を行って横アーム21Bの位置を特定するものであり、具体的には図8に示すように、第51−01工程(S51−01)〜第51−13工程(S51−13)で構成されている。 The transverse arms search step (S51) is intended to identify the position of the transverse arms 21B performs the horizontal arm 21B (see FIG. 2) searches having features extending linearly in a horizontal direction (X) in the imaged screen , and the specifically as shown in FIG. 8, and a second 51-01 step (S51-01) ~ No. 51-13 step (S51-13).

(1)第51−01工程(S51−01)では、白黒画像データの中から黒二値化レベル(閾値)を自動設定する。 (1) In a 51-01 step (S51-01), and automatically sets the black binarization level (threshold) from the monochrome image data.

(2)第51−02工程(S51−02)では、第51−01工程(S51−01)で設定した閾値を基準として、二値化処理を行う。 (2) In a 51-02 step (S51-02), the threshold value as a reference set by the 51-01 step (S51-01), performs binarization processing.

(3)第51−03工程(S51−03)では、水平プロファイル処理を行って、「水平プロファイル」を形成する(図9(A)参照)。 (3) In a 51-03 step (S51-03), performs horizontal profile processing, to form a "horizontal profile" (see FIG. 9 (A)).

(4)第51−04工程(S51−04)では、横アーム21Bに相当すると思われるデータ候補を抽出する(二値化プロファイル)(図9(B)参照)。 In (4) the 51-04 step (S51-04), the data candidate is believed to correspond to the horizontal arm 21B to extract (binarization profile) (see FIG. 9 (B)).

また、図8において、これら第51−01工程(S51−01)から第51−04工程(S51−04)での処理とほぼ同時に、次の第51−05工程(S51−05)から第51−09工程(S51−09)が行われる。 Further, in FIG. 8, these from a 51-01 step (S51-01) almost simultaneously with the processing in the first 51-04 step (S51-04), the next first 51-05 step (S51-05) 51 -09 step (S51-09) is performed.

即ち、 In other words,
(5)第51−05工程(S51−05)では、水平(X成分)方向について一般的な微分処理を行い、ソーベル(Sobel)オペレータにより、水平方向に伸びるエッジ部分を検出する。 (5) In a 51-05 step (S51-05), performs typical differential processing for the horizontal (X component) direction, the Sobel (Sobel) operator detects an edge portion extending in the horizontal direction.

(6)第51−06工程(S51−06)では、「多値(微分)プロファイル」を行い、その微分結果に対して「多値水平プロファイル」を生成する。 In (6) first 51-06 step (S51-06), perform "multilevel (Differential) Profile", it generates a "multilevel horizontal profile" for the differential result.

(7)第51−07工程(S51−07)では、第51−03工程(S51−03)で生成した二値化結果の水平プロファイルと、第51−06工程(51−06)で生成した微分結果の多値水平プロファイルとのプロファイル合成を行い、暗くて影の輪郭のある部分を検出する。 In (7) first 51-07 step (S51-07), and the horizontal profile of the generated binarized results in the 51-03 step (S51-03), it was produced in the first 51-06 step (51-06) perform profile combination of multi-level horizontal profiles of the differentiation results, detecting a portion of the dark and shadow outline.

(8)第51−08工程(S51−08)では、横アーム21Bに相当すると思われるデータ候補を抽出する(合成プロファイル)。 (8) In a 51-08 step (S51-08), and extracts the data candidate is believed to correspond to the lateral arm 21B (synthetic profile).

(9)第51−09工程(S51−09)では、この後、横アーム21Bに相当するデータであるか否かを判定するために、第51−04工程(S51−04)で得られた横アーム21Bについての候補データと、第51−04工程(S51−04)で得られた横アーム21Bについての候補データとを重合するとともに、その重合部分のデータを抽出する。 In (9) The 51-09 step (S51-09), after this, to determine whether the data corresponding to the horizontal arm 21B, was obtained in the 51-04 step (S51-04) and candidate data for the horizontal arm 21B, with polymerizing and candidate data for the horizontal arm 21B obtained in the 51-04 step (S51-04), and extracts the data of the overlapping portion.

次に、 next,
(10)第51−10工程(S51−10)では、第51−09工程(S51−09)で検出した重合部分のデータが横アームであると判定(確定)した場合には、その確定した横アームのデータから、「横アーム座標」を算出・確定する(図9(C)参照)。 (10) In a 51-10 step (S51-10), if the data of overlapping portion detected in the 51-09 step (S51-09) is determined to be the horizontal arm (confirmed) was that determined from the data of the horizontal arm, calculates and determine the "horizontal arm coordinates" (see FIG. 9 (C)).

一方、 on the other hand,
(11)第51−11工程(S51−11)では、第51−10工程(S51−10)において、第51−09工程(S51−09)で検出した重合部分のデータが横アームでないと判定(確定)した場合には、第51−12工程(S51−12)へ移行する。 (11) determines that the first 51-11 step (S51-11), in the first 51-10 step (S51-10), the data of the overlapping portion detected in the 51-09 step (S51-09) is not transverse arms when (determined), the process proceeds to a 51-12 step (S51-12).

従って、 Therefore,
(12)第51−12工程(S51−12)では、自車影なしとの判断を行う。 (12) In a 51-12 step (S51-12), a determination is made with no vehicle shadows.

(13)そして、第51−13工程(S51−13)では、自車影マスクの生成を中止する。 (13) Then, in the 51-13 step (S51-13), stops the generation of Jikurumakage mask.

これにより、横アーム検索工程(S51)は終了する。 Thus, the lateral arm search step (S51) is terminated.

(ii)縦アーム検索工程(S52)について: (Ii) in the vertical arm search step (S52):
この縦アーム検索工程(S52)は、点検装置2の構造上、横アーム21Bがあると判断した場合にのみ行うものであり、横アーム検索工程(S51)での第51−10工程(S51−10)(図8参照)において、横アーム21B(図2参照)の存在が確定され、かつ、その特定された横アーム座標に基づいて「縦アーム座標」を特定するものである。 The vertical arm search step (S52) is the structure of the inspection apparatus 2, which made only when it is judged that there is horizontal arm 21B, the 51-10 steps in the transverse arm search step (S51) (S51- 10) (see FIG. 8), the presence of the transverse arm 21B (see FIG. 2) is determined, and is to specify the "vertical arm coordinates" on the basis of the identified horizontal arm coordinates.

即ち、この縦アーム検索工程S52では、画面上で垂直(Y)方向に直線的に伸びる特徴を有する左右一対の縦アーム21Aの検索を行って縦アーム21Aの位置を特定するものであり、具体的には図10に示すように、第52−01工程(S52−01)〜第52−20工程(S52−20)で構成されている。 That is, in the vertical arm search step S52, is intended to identify the position of the vertical arm 21A by performing a search of the right and left pair of vertical arms 21A having features extending linearly in the vertical (Y) direction on the screen, particularly thereof it includes, as shown in FIG. 10, and a second 52-01 step (S52-01) ~ No. 52-20 step (S52-20).

(1)第52−01工程(S52−01)では、横アーム検索工程(S51)で得られた横アーム21B座標に基づき、この座標よりも下側領域に対して(縦アームの長さ分だけ)縦プロファイル処理を行い、「縦プロファイル」を作成する。 (1) In a 52-01 step (S52-01), based on the horizontal arm 21B coordinates obtained by transverse arms search step (S51), the length of the (longitudinal arm relative to the lower region than the coordinate only) performs a vertical profile processing, to create a "vertical profile".

(2)第52−02工程(S52−02)では、この作成された縦プロファイルのデータから、公知の方法により、縦アーム候補を抽出する。 In (2) the 52-02 step (S52-02), from the data of the vertical profile this created by a known method, for extracting a vertical arm candidates.

(3)第52−03工程(S52−03)では、後述する第52−05工程(S52−05)で得られた検索エリア内において、縦アーム候補を限定する(図11(A)参照)。 (3) In a 52-03 step (S52-03), the search area obtained in the 52-05 step described later (S52-05), limiting the vertical arm candidate (Fig. 11 (A) see) .

(4)第52−04工程(S52−04)では、同様にして、他方の縦アーム21Aについても、縦アーム候補を抽出するとともに、縦アーム候補を限定する。 (4) In a 52-04 step (S52-04), Similarly, for the other longitudinal arm 21A, it extracts the vertical arm candidates, to limit the vertical arm candidates. これにより、左右の縦アームの検索を行う。 As a result, do a search of the left and right of the vertical arm.

(5)第52−05工程(S52−05)では、左右の縦アーム候補から共に縦アーム21Aであると確定できるか否かを判定する。 (5) In a 52-05 step (S52-05), and determines whether it is possible to confirm that both longitudinal arms 21A from the left and right vertical arms candidate. そして、ここで、その左右の縦アームを共に確定できたと判定される場合には、次に第52−06工程(S52−06)へ移行する。 And wherein, in a case that it is determined that can both determine the vertical arm of the left and right, then moves to the 52-06 step (S52-06). 一方、左右の縦アームを共に確定できたとは判定されない場合には、後述する第52−10工程(S52−10)へ移行する。 On the other hand, was able both determine the left and right vertical arm when it is not determined, the process proceeds to a 52-10 step described later (S52-10).

(6)そして、第52−06工程(S52−06)では、第52−05工程(S52−05)で確定された左右縦アームの間隔が所定の範囲に収まっているか否かを判断する。 (6) Then, in the 52-06 step (S52-06), distance between the left and right vertical arm which is determined in the 52-05 step (S52-05) determines whether within a predetermined range. そして、所定の範囲に収まっている、妥当であると判断された場合には、次に、第52−07工程(S52−07)へ移行する。 Then, is within a predetermined range, if it is determined to be valid, then the process proceeds to a 52-07 step (S52-07). また、妥当でないと判断された場合には、後述する第52−13工程(S52−13)へ移行する。 When it is determined to be invalid, the process proceeds to a 52-13 step described later (S52-13).

(7)第52−07工程(S52−07)では、中アーム23(図2参照)の検索を行う。 In (7) first 52-07 step (S52-07), to search for middle arm 23 (see FIG. 2). 例えば、横アーム検索工程S51で確定した横アーム21Bの座標から、この座標近辺の領域に対して「垂直プロファイル」を作成する。 For example, the lateral arm search step transverse arm 21B which is determined in S51 coordinates, to create a "vertical profile" for the area in the vicinity of the coordinates.

(8)第52−08工程(S52−08)では、第52−07工程(S52−07)で形成した垂直プロファイルから、中アーム23を確定してその座標を算出する(図11(B)参照)。 (8) In a 52-08 step (S52-08), the vertical profile is formed in the first 52-07 step (S52-07), and calculates the coordinates to confirm the middle arm 23 (FIG. 11 (B) reference).

そして、このように、中アーム23を確定できた場合には、次に第52−09工程(S52−09)へ移行する。 And thus, when the indeterminate medium arm 23, and then proceeds to the 52-09 step (S52-09). 一方、この中アーム23を確定できなかったときには、後述する第52−16工程(S52−16)へ移行する。 On the other hand, when it does not confirm this in arms 23, it moves to the 52-16 step described later (S52-16).

(9)第52−09工程(S52−09)では、以上の各工程処理を経て、縦アーム21Aの座標が確定するので、縦アームの検索工程が終了する。 (9) In a 52-09 step (S52-09), through each step process described above, since the vertical arm 21A coordinate is determined, the search process of the vertical arm is completed.

また、この縦アーム検索工程では、第52−01工程(S52−01)へ移行するのと同時に、第52−10工程(S52−10)以下の工程も同時に行われる。 Further, in this vertical arm search step, simultaneously with the transition to the 52-01 step (S52-01), the 52-10 step (S52-10) the following steps are also performed simultaneously.

即ち、 In other words,
(10)第52−10工程(S52−10)では、横アーム検索工程(S51)で得られた横アーム21B座標に基づき、この座標の周辺において特定画素数の範囲に対して、縦プロファイル処理を行い、縦プロファイルを作成する。 (10) In a 52-10 step (S52-10), based on the horizontal arm 21B coordinates obtained by transverse arms search step (S51), for a range of a specified number of pixels in the vicinity of the coordinates, vertical profiling It was carried out, to create a vertical profile.

(11)第52−11工程(S52−11)では、縦アーム検索エリアを作成する。 (11) In a 52-11 step (S52-11), to create a vertical arm search area.

(12)第52−12工程(S52−12)では、第52−11工程(SB11)において縦アーム検索エリアを実際に作成することができたか否かを判断する。 (12) In a 52-12 step (S52-12), determines whether it was possible to actually create a vertical arm search area in the first 52-11 step (SB11). そして、縦アーム検索エリアを作成できたと判断された場合には、その縦アーム検索エリアについてのデータを前述したB3工程(SB3)での処理に用いる。 When it is determined that can create a vertical arm search area, using data about the longitudinal arm search area for processing by the aforementioned B3 step (SB3). 他方、縦アーム検索エリアを作成できなかったと判断された場合、次の第52−13工程(S52−13)へ移行する。 On the other hand, if it is determined that it could not create a vertical arm search area, the process proceeds to the next first 52-13 step (S52-13).

(13)第52−13工程(S52−13)では、第52−12工程(S52−12)で縦アーム検索エリアを作成できなかったと判断されたので、自車影がないと判断する。 (13) In a 52-13 step (S52-13), since it is determined that it could not create a vertical arm search area at the 52-12 step (S52-12), it is determined that there is no vehicle shadows.

(14)従って、第52−14工程(S52−14)では、自車影マスクM3の作成を中止する。 (14) Thus, in the 52-14 step (S52-14), to stop the creation of Jikurumakage mask M3.

また、第52−05工程(S52−05)において左右の縦アーム21Aを共に確定できたとは判定されない場合には、次に、第52−15工程(S52−15)以下の工程へ移行する。 Also, that can both determine the left and right vertical arm 21A in the first 52-05 step (S52-05) if not determined, then the process proceeds to a 52-15 step (S52-15) the following steps.

即ち、 In other words,
(15)第52−15工程(S52−15)では、第52−05工程(S52−05)において左右の縦アーム21Aを共に確定できたとは判定されない場合に相当するので、いずれか一方の縦アーム21Aだけ確定していることが判明している。 (15) In a 52-15 step (S52-15), since that could determine both the left and right vertical arm 21A in the first 52-05 step (S52-05) corresponds to the case where not judged, either vertical it has been found that has been determined only arm 21A. 従って、縦アーム検索処理中の画像データにおいて、左または右の縦アームに対して、つまり、左右いずれか一方の確定してある縦アーム21Aの座標から、所定のアーム間隔離れたエリア内で、中アーム23の検索を行う。 Accordingly, the image data in the vertical arm search process, the left or right of the longitudinal arm, that is, from one of the left and right confirmed by Aru vertical arm 21A coordinates, in the area apart predetermined arm spacing, a search of the middle arm 23 is carried out.

(16)第52−16工程(S52−16)では、中アーム23が確定したか否かを判定する。 (16) determines the first 52-16 step (S52-16), whether the medium arm 23 is confirmed. そして、中アーム23が確定していると判定した場合には、第52−09工程(S52−09)に移行し、縦アーム座標の確定作業が完了する。 When it is determined that the middle arm 23 is determined, the routine advances to a 52-09 step (S52-09), confirmed the work of the vertical arm coordinate is completed. 一方、中アーム23が確定していないと判定した場合には、第52−17工程(S52−17)に移行する。 On the other hand, when the middle arm 23 is determined not to be determined, the process proceeds to a 52-17 step (S52-17).

(17)第52−17工程(S52−17)では、既に確定していた一方の縦アーム21Aの座標を利用し、この座標位置から所定のアーム間隔分の距離座標のところを、中アーム23として確定する。 (17) In a 52-17 step (S52-17), utilizing the already coordinates determined to have been one of the vertical arm 21A, the place from the coordinate position of the predetermined arm spacing amount of distance coordinates, middle arm 23 determined as.

そして、次に、前述した第52−09工程(S52−09)へ移行し、以上の各工程処理を経て、縦アーム21Aの座標が確定するので、縦アームの検索工程が終了する。 And then, the process proceeds to the 52-09 steps described above (S52-09), through each step process described above, since the vertical arm 21A coordinate is determined, the search process of the vertical arm is completed.

また、第52−06工程(S52−06)において、左右の縦アーム21Aの間隔が所定の範囲に収まっていないと判断された場合には、次に、第52−18工程(S52−18)以下の工程へ移行する。 Further, in the 52-06 step (S52-06), when the distance between the right and left longitudinal arms 21A is determined not within a predetermined range, then the 52-18 step (S52-18) to migrate to the following steps.

即ち、 In other words,
(18)第52−18工程(S52−18)では、横アーム検索工程S51で得られた横アーム21B座標に基づき、この座標の周辺において、例えば横アーム21Bの周辺の所定の画素数のエリアにおいて、縦プロファイル処理を行い、縦プロファイルを作成する。 (18) In a 52-18 step (S52-18), based on the horizontal arm 21B coordinates obtained by transverse arms search step S51, in the vicinity of the coordinates, for example, an edge of a predetermined number of pixels of the area of ​​the transverse arm 21B in, it performs a vertical profile processing, to create a vertical profile.

(19)第52−19工程(S52−19)では、第52−18工程(S52−18)で形成した縦プロファイルの値が大きい方を、左側または右側の縦アーム21Aとして固定し、次に、前述した第52−15工程(S52−15)へ移行する。 In (19) the 52-19 step (S52-19), towards the value of the longitudinal profile formed in the first 52-18 step (S52-18) is large, fixed as left or right vertical arm 21A, then , it proceeds to the 52-15 steps described above (S52-15).

また、前述したように、第52−08工程(S52−08)で中アーム23が確定できなかったときには、第52−20工程(S52−20)へ移行する。 Further, as described above, when the middle arm 23 can not be determined in the 52-08 step (S52-08) proceeds to the 52-20 step (S52-20).

(20)この第52−20工程(S52−20)では、確定していた左右の縦アーム21Aの各座標の中点を中アーム23の座標として固定する。 (20) In the first 52-20 step (S52-20), fixing the center point of each coordinate of the left and right vertical arm 21A which has been determined as the coordinates of the middle arm 23.

そして、次に、前述した第52−09工程(S52−09)へ移行し、以上の各工程処理を経て、縦アーム21Aの座標が確定するので、縦アームの検索工程が終了する。 And then, the process proceeds to the 52-09 steps described above (S52-09), through each step process described above, since the vertical arm 21A coordinate is determined, the search process of the vertical arm is completed.

(iii)自車影マスク作成工程(S53)について: (Iii) Jikurumakage mask making process (S53) for:
この自車影マスク作成工程(S53)は、図12に示すように、第53−01工程(S53−01)及び第53−02工程(S53−02)で構成されている。 The self Kurumakage mask preparation step (S53), as shown in FIG. 12, is constituted by the 53-01 step (S53-01) and the 53-02 step (S53-02).

(1)第53−01工程(S53−01)では、図7に示す横アーム検索工程(S51)と、縦アーム検索工程(S52)で確定した横アーム座標(又は中アーム座標でもよいし、双方の座標を用いてもよい)を用いて、自車影の基準位置座標P(Xb,Yb)を確定する(図13(A)参照)。 (1) In a 53-01 step (S53-01), and the horizontal arm search step (S51) shown in FIG. 7, the vertical arm search step may be a finalized lateral arm coordinates (or intermediate arm coordinates (S52), using also be) using both coordinates, the reference position coordinates P of Jikurumakage (Xb, Yb) to determine the (FIG. 13 (a) refer).

即ち、図14において、例えば横アーム座標の中央位置を基準として、点検装置2の各構成部分(以下、これらをブロックとよぶ)について、所定のテーブル(これは、予め設定されていてもよいし、太陽高度などの各種環境要素などから逐次設定し直しても良い)からそれぞれのブロック毎のマスク領域(X,Y)を決定する。 That is, in FIG. 14, as a reference example a central position of the horizontal arm coordinates, the components of the inspection apparatus 2 (hereinafter, referred to as a block) for a predetermined table (This may be set in advance , it determines the mask area per each block (X, Y) from may be again sequentially set from various environmental elements such as solar altitude).

(2)第53−02工程(S53−02)では、前工程(S51)で確定した自車影基準データに基づき、構成部材(構成ブロック)ごとに予め決定された位置計算テーブルから、各マスク領域、つまり自車影マスクM3を作成する(図13(B)参照)。 (2) In a 53-02 step (S53-02), based on the own Kurumakage reference data determined in the previous step (S51), from the position calculation table which is previously determined for each component (building blocks), each mask regions, namely to create a Jikurumakage mask M3 (see FIG. 13 (B)).

例えば図14において、確定している横アーム座標の基準位置座標P(Xb,Yb)と、この位置計算テーブルとにより、左レーザ用カメラのマスクブロック(X,Y)は、 For example, in FIG. 14, the reference position coordinates P of the horizontal arm coordinates are determined (Xb, Yb), the and the position calculation table, mask block (X, Y) of the camera for the left laser,
X1<X<X2,Y1<Y<Y2 X1 <X <X2, Y1 <Y <Y2
・・・(1) ... (1)
ただし、位置計算テーブルから、例えば However, from the position calculation table, for example
X1=Xb−A,X2=Xb−B X1 = Xb-A, X2 = Xb-B
Y1=Yb−C,Y2=Yb−D Y1 = Yb-C, Y2 = Yb-D
A〜D;定数を満たす領域となる。 The area satisfying the constant; to D.

他のマスクブロックについても、同様にして、領域が決定されこれらを全て集合させたものが、求める自車影マスクM3となる。 For the other mask block, similarly, that region is determined by assembling all of these becomes a self Kurumakage mask M3 seeking.

(VI)第6ステップS6について: (VI) Sixth Step S6:
第6ステップS6では、道路と橋梁部分との繋ぎ目などにおいて道路の幅方向に沿って互い違いに正対状態で形成されている(連続的に繰返し設けてある)三角形や四角形などの金属継ぎ目(以下、これを「ジョイント」とよぶ)などを検出して画像データから除去するため、「ジョイントマスク」M4(図16(C)参照)を形成するものである(ジョイントマスク形成工程)。 In the sixth step S6, roads and the like joint of the bridge portion along the width direction of the road (is provided repeatedly on continuously) alternately directly facing state are formed by a metal joint, such as a triangle or a quadrangle ( hereinafter, in order to remove it from called "joint") to detect and image data, and forms a "joint mask" M4 reference (FIG. 16 (C)) (joint mask formation step).

特に、本発明では、点検装置2の一部を構成するカメラの取り付け向きの精度やレンズの歪曲収差などのために、実際の領域よりも広範囲な領域をジョイント領域と判断して除去する虞がある。 In particular, the present invention, such as for distortion of the mounting orientation of accuracy and the lens of the camera which constitutes a part of the inspection device 2, is likely to remove the wide region than the actual area by determining the joint region is there. 特にこのような場合には、ジョイント領域の近傍に発生している路面の損傷部分も同時にジョイント領域と判断してその損傷部分を見逃す、といったトラブルが発生するおそれがある。 Especially in such a case, the damaged portion of the road surface is generated in the vicinity of the joint region be determined at the same time the joint region again with its damaged part, there is a possibility that trouble occurs such.

そこで、この第6ステップS6では、このような損傷部分の漏れが生じることを防止するようになっているものである。 Therefore, in the sixth step S6, in which it is adapted to prevent the leakage of such damaged portion occurs.

本実施形態の第6ステップS6では、図15に示すように、大きく分けて、3つの工程、つまり、ジョイント判別前処理工程(S61)と、ジョイント判別工程(S62)と、ジョイントマスク形成工程(S63)とで構成されている。 In a sixth step S6 in the present embodiment, as shown in FIG. 15, roughly, three steps, that is, the joint determination pretreatment step (S61), a joint determination step (S62), the joint mask formation process ( is constructed out with S63).

(i)ジョイント判別前処理工程(S61)について: (I) for the joint determination pretreatment step (S61):
ジョイント判別前処理工程(S61)では、ジョイント判定を行うのに先立ち、撮像画像に対して正規化させた画像データを形成し、換言すれば、レンズの収差を補正するとともに、路面に対して真上から見たときの画像データへが各変換を施すといったジョイント判別前処理行う(ジョイント判別前処理工程)。 In the joint determination pretreatment step (S61), prior to performing the joint decision to form an image data obtained by normalizing the captured image, in other words, while correcting the aberration of the lens, true to the road surface to the image data when viewed from above makes a joint determination pretreatment such subjected to the conversion (joint determination pretreatment step).

そして、本実施の形態の第6ステップ(S6)は、図15に示すように、具体的に説明すると、第61−1工程(S61−1)〜第61−8工程(S61−8)の8工程で構成されている。 The sixth step of the present embodiment (S6), as shown in FIG. 15, More specifically, the 61-1 step (S61-1) ~ No. 61-8 steps (S61-8) It is composed of 8 steps.

(1)第61−1工程(S61−1)では、画角に対して画像データを正規化する(図16(A)参照)。 In (1) the 61-1 step (S61-1), to normalize the image data with respect to the angle of view (see FIG. 16 (A)). この正規化処理については、前述の第1ステップS1における画像正規化方法と同様に行うことができる。 This normalization process may be performed similarly to the image normalization method in the first step S1 described above.

(2)第61−2工程(S61−2)では、ノイズ除去処理を行う。 In (2) the 61-2 step (S61-2), the noise removal process. このノイズ除去処理方法としては、公知の平滑化処理などが知られているが、この平滑化処理方法には、例えば適宜のマトリクス演算子などを用いて演算処理することにより、画素中の孤立的な輝度(濃度)のばらつきをスムージングさせ、撮像データ中からノイズを除去することができる。 As the noise removal processing method, although such a known smoothing process is known, this smoothing processing method, for example, by arithmetic processing by using a suitable matrix operator, isolated manner in the pixel is smoothed variations of such intensity (concentration), it is possible to remove noise from being imaged data.

(3)第61−3工程(S61−3)では、平滑化画像データに対して微分処理を行う。 (3) In a 61-3 step (S61-3), performs differential processing with respect to the smoothed image data. なお、この微分処理の方法としては、前述の第2ステップS2における微分処理と同様であり、例えば、前述のソーベル(Sobel)フィルタにより行うことができる。 As a method for the differential processing is similar to the differentiation process in the second step S2 described above, for example, it can be carried out by the above-described Sobel (Sobel) filter. 従って、第2ステップS2のときのデータを一部利用することも可能である。 Therefore, it is possible to use some of the data at the time of the second step S2.

(4)第61−4工程(S61−4)では、第61−3工程(S61−3)で得られた微分処理画像に対して、公知の方法により、予め設定された閾値などを用いて二値化処理を行う。 (4) In a 61-4 step (S61-4), the obtained differential processing image in the 61-3 step (S61-3), by a known method, by using a preset threshold performing a binary process.

(5)第61−5工程(S61−5)では、第61−4工程(S61−4)で得られた二値化処理画像から水平プロファイルを形成する(図16(B)参照)。 (5) In a 61-5 step (S61-5), to form a horizontal profile from the obtained binarization image at the 61-4 step (S61-4) (see FIG. 16 (B)).

(6)第61−6工程(S61−6)では、第61−4工程(S61−4)で得られた水平プロファイルからプロファイル形状、つまり突起部を検出し、ジョイント部を決定する。 (6) In a 61-6 step (S61-6), the profile shape from the horizontal profile obtained in the 61-4 step (S61-4), that is to detect the protrusions, determines the joint portion.

この場合、特に、画像処理画面におけるジョイント部の高さ方向(Y座標)の幅(W)決定にあたっては、図16(C)において、次式 In this case, in particular, when the width (W) determined in the height direction of the joint portion of the image processing screen (Y coordinate), in FIG. 16 (C), the following equation
W=Y1−Y2 W = Y1-Y2
ただし、Y1;水平プロファイルの上端部 However, Y1; upper portion of the horizontal profile
Y2;水平プロファイルの下端部 Y2; a lower end portion of the horizontal profile
・・・(2) ... (2)
による。 by.

(7)第61−7工程(S61−7)では、第61−4工程(S61−4)で得られたジョイント部(ジョイント領域)において、輝度値に関するヒストグラムを形成する。 (7) In a 61-7 step (S61-7), the joint portion obtained in the 61-4 step (S61-4) in (joint region), forming a histogram of brightness values.

(8)第61−8工程(S61−8)では、第61−4工程(S61−4)で得られたジョイント部(ジョイント領域)において、単位画素ごとに尖度を算出する。 (8) In a 61-8 step (S61-8), the joint portion obtained in the 61-4 step (S61-4) in (joint region), and calculates the kurtosis for each unit pixel.

このようにして、ジョイント判別のための輝度尖度の相関グラフを形成したところで、ジョイント判別前処理工程(S61)が終了する。 In this way, at the formation of the correlation graph of the luminance kurtosis for the joint determination, the joint determination pretreatment step (S61) is completed.

(ii)ジョイント判別工程(S62)について: (Ii) the joint determination step (S62):
このジョイント判別工程(S62)では、微分処理により得られた水平プロファイルに基づいてジョイント領域を生成するため、例えば構造物影などにより路面上で横(水平)方向に広がる影がある場合、その影をジョイントとしてご認識し易いことから、ジョイントとそれ以外のものとを区別するため、後述するジョイント判別式を作成して使用している。 In the joint determination step (S62), to produce a joint region based on the horizontal profile obtained by the differentiation process, if there is a shadow extending transverse (horizontal) direction on the road surface by, for example, structures Monokage, its shadow from that you recognized easily as a joint, to distinguish between those joint and the other, are used to create a joint discriminant described later.

即ち、このジョイント判別工程(S62)では、ジョイント判別前処理工程(S61)において、ジョイント判別のため形成したジョイント部の幅(W)と輝度尖度/プロファイルピーク数(Kpp)とに関する相関関係を示す図17の相関図から、次のジョイント判別式 (a)ジョイント部の場合: That is, in the joint determination step (S62), the joint determination pretreatment step (S61), the correlation in the width of the joint portion formed for joint judged (W) luminance kurtosis / profile peak number and (Kpp) from the correlation diagram of FIG. 17 showing, in the following joint discriminant (a) joint:
Kpp≦(W/E)+K1 ・・・(α) Kpp ≦ (W / E) + K1 ··· (α)
(b)照明などの影の場合: (B) In the case of the shadow of lighting:
Kpp>(W/E)+K1,Kpp≦(W/F)+K2 Kpp> (W / E) + K1, Kpp ≦ (W / F) + K2
・・・(β) ··· (β)
(c)その他の場合: (C) In other cases:
Kpp>(W/F)+K2 ・・・(γ) Kpp> (W / F) + K2 ··· (γ)
ただし、1/E,1/F;固有の傾き(定数) However, 1 / E, 1 / F; specific slope (constant)
K1,K2;切片(定数) K1, K2; intercept (constant)
を満たすことにより、ジョイント部を数学的方法により他と判別することができる。 By satisfying, it is possible to determine that other mathematical methods joint.

従って、ジョイント判別前処理工程(S61)において形成した2値化画像データにおいて、ジョイント判別工程(S62)のジョイント判別式により、ジョイント部の幅(W)を一義的に決定することができる。 Thus, the binary image data formed in the joint determination pretreatment step (S61), by a joint discriminant joint determination step (S62), the width of the joint portion (W) can be uniquely determined. しかも、このジョイント部の幅(W)は従来ご認識していたような広めの幅に設定する虞がなく、正確なジョイントマスクM4を形成することができる。 Moreover, the width of the joint portion (W) has no possibility to set the width of spread, such as articles previously recognized, it is possible to form an accurate joint mask M4.

即ち、このジョイント判別工程(S62)では、画像処理データの各画面において、ジョイント部の候補である各水平プロファイルの高さ方向(Y座標)の幅(W)を前述したジョイント判別式(α)〜(γ)により判別し、(α)式を満足する場合には、次にジョイントマスク形成工程(S63)へ移行するとともに、これ以外の(β)式又は(γ)式を満足する場合には、第6ステップ(S6)、つまりジョイントマスク形成工程を終了する。 That is, in the joint determination step (S62), in each screen of the image processing data, joint discriminants described above the width (W) of the height direction of the horizontal profile is a candidate for joints (Y coordinate) (alpha) determine the ~ (gamma), in the case of satisfying the (alpha) expression with then proceeds to joint a mask forming step (S63), if satisfying the other of (beta) type or (gamma) formula the sixth step (S6), that is to terminate the joint mask formation process.

(iii)ジョイントマスク形成工程(S62)について: (Iii) the joint mask formation step (S62):
このジョイントマスク形成工程(S62)では、前述した(α)式を満足する水平プロファイルの高さ方向(Y座標)の幅(W)に合わせて横方向全体に亙って切り出した矩形領域を、ジョイントマスクM4として形成する(図16(C)参照)。 In the joint mask forming step (S62), a rectangular area cut out over the entire transverse direction to the width (W) of the height direction of the horizontal profiles that satisfy the aforementioned (alpha) expression (Y-coordinate), formed as a joint mask M4 (see FIG. 16 (C)).

(VII)第7ステップS7について: (VII) Seventh Step S7:
第7ステップS7では、点検しようとする道路の周辺構造物の影を除去するため、構造物影マスクを形成するものである(構造物影マスク形成工程)。 In a seventh step S7, in order to remove the shadow of peripheral structure of a road to be inspected, and forms a structure Monokage mask (Structure Monokage mask formation step).

そして、本実施の形態の第7ステップS7は、具体的に説明すると、図18に示すように、第71工程(S71)から第73工程(S73)で構成されている。 The seventh step S7 of the present embodiment, when specifically described, as shown in FIG. 18, from the 71 step (S71) is composed of 73 step (S73).

(1)第71工程(S71)では、第1ステップS1で説明と同様にして画角変換された原画像について、公知の手段、例えば積分演算などにより平滑化処理を行うことにより、(母集団)集団から外れてランダムに散在したノイズの除去処理を行い、平滑化画像データ(図19(A)参照)を形成する(ノイズの除去処理工程)。 In (1) 71 step (S71), the original image is angle converted in the same manner as described in the first step S1, a known means, for example, by performing a smoothing process such as by integral operation, (the population ) deviates from a population subjected to noise removal processing scattered randomly to form a smoothed image data reference (FIG. 19 (a)) (removal process of noise).

(2)第72工程(S72)では、第71工程(S71)でノイズの除去処理がなされた画像データに対して、公知の手段で等濃度線(等高線)画像データを作成する(等濃度線(等高線)画像作成工程)。 (2) first 72 In step (S72), the image data noise removal processing has been performed in the first 71 step (S71), it creates an equal concentration lines (contour) image data by a known means (equidensity line (contour) image creation process).

(3)第3工程(S73)では、第72工程(S72)で作成された等濃度線(等高線)画像データに対して、4近傍の膨張処理を施してデータの拡大を行う(4近傍膨張処理工程)。 (3) In the third step (S73), with respect to equal concentrations line (contour line) image data created by the 72 step (S72), performs enlargement of data by performing expansion processing of four neighbors (4 neighborhood expansion processing step). これにより、図19(B)に示すような構造物影マスクを形成する。 This forms a structure Monokage mask as shown in FIG. 19 (B).

(VIII)第8ステップS8について: (VIII) an eighth step S8:
次に、この第8ステップS8では、前述した各工程で形成した各マスク、即ち、ペイントマスク、自車影マスク、車線マスク、ジョイントマスクを用いて、路面のペイント領域、自車影領域、車線外領域、ジョイント領域などのノイズ(一次ノイズ)を判別(抽出)して除去する(一次ノイズ除去工程)。 Next, in the eighth step S8, the mask formed in the step described above, i.e., a paint mask, Jikurumakage mask, lane mask, with joints mask, painting area of ​​the road surface, Jikurumakage region, lane outer region, determine the noise (primary noise), such as a joint area (extraction) and removed (primary noise removal step).

この1次ノイズの判定・除去の方法については、具体的には、例えば図20に示すように、次の第81工程(S81)から第83工程(S83)で構成されている。 The method of determination and removal of the primary noise, specifically, for example, as shown in FIG. 20, and a second 83 step (S83) of the following 81 step (S81).

(1)第81工程(S81)では、逐次撮像していくと共に記憶媒体へ取り込んでいく現画像データに対して、画像データの正規化、空間微分などの適宜の画像処理を行うことにより、原画像データにおける輪郭線を抽出する。 In (1) 81 step (S81), for the current image data going incorporating a storage medium with gradually sequentially captured, the normalized image data, by performing an appropriate image processing such as spatial differentiation, Hara extracting a contour line in the image data.

(2)第82工程(S82)では、そして、この抽出した輪郭線データと、前述した各固有形状を呈する各マスク(M1〜M4)とをつき合わせて照合させ、それぞれのパターンに一致するか否かを判断する。 In (2) 82 step (S82), and, if this extraction and contour line data, is collated butt-jointing with each mask exhibiting the specific shape described above (M1 to M4), to match the respective patterns to determine whether or not. そして、一致すると判断した場合には、次に第83工程へ移行する。 Then, if it is determined that matching is then shifted to 83 steps. 一方、一致しないと判断した場合には、この一次ノイズ(ペイント領域・自車影領域・車線外領域・ジョイント領域など)除去工程を終了する。 On the other hand, if it is determined that do not match to end the primary noise (such as a paint area, Jikurumakage region-lane extracellular region joint area) removal step.

(3)第83工程(S83)では、原画像データの中から、第82工程(S82)でマスク(M1〜M4)と一致すると判断されたマスク領域に対応する輪郭線を除去する。 (3) In a 83 step (S83), from among the original image data, removes the contour lines corresponding to the mask region is determined to match the mask (M1 to M4) in the first 82 step (S82). これにより、ペイント領域・自車影領域・車線外領域・ジョイント領域(一次ノイズ)が除去された画像データが得られるので、これで、この一次ノイズ(ペイント領域・自車影領域・車線外領域・ジョイント領域など)除去工程を終了する。 Thus, since the paint area, Jikurumakage region-lane extracellular region joint area (primary noise) image data that has been removed is obtained, which in this primary noise (painted area, Jikurumakage region-lane outside area joint area, etc.) to end the removal process.

(IX)第9ステップS9について: (IX) Ninth Step S9:
前述したように、以上の第8ステップS8までの工程では、原画像データの中から、ペイント領域・自車影領域・車線外領域・ジョイント領域についてのデータ(1次ノイズ)が除去された。 As described above, in the process up to the eighth step S8 described above, from the original image data, data for the paint area, Jikurumakage region-lane extracellular region joint area (primary noise) has been removed.

そこで、この第9ステップ(S9)から第12ステップ(S12)では、これらのデータ(ノイズ)が除去された、換言すれば、1次ノイズを除去した画像データ(以下、「1次処理済画像データ」とよぶ)に対して、路面損傷データと誤認識する虞のある構造物影及び路面汚れについてのデータ(以下、「2次ノイズ」とよぶ)を判別して、この2次ノイズを1次処理済画像データから除去することにより、最終的な損傷データを得ることができる。 Therefore, in the ninth twelfth step from step (S9) (S12), these data (noise) is removed, in other words, the image data obtained by removing the primary noise (hereinafter, "primary processed image relative referred to as data "), data of a certain structure Monokage and road dirt recognized risk erroneously road damage data (hereinafter, to determine the called) and" secondary noise ", the secondary noise 1 by removing from the next processed image data, it is possible to obtain a final damage data.

このように、第1ステップ(S1)〜第8ステップ(S8)までの工程において、逐次撮像する路面の原画像データから、前述の1次ノイズを除去した1次処理画像データを形成してきたので、この第9ステップ(S9)では、 Thus, in the steps up to the first step (S1) ~ eighth step (S8), from the original image data of the road surface to be sequentially imaged, so has to form the primary processing image data obtained by removing the aforementioned primary noise In the ninth step (S9),
(i)初めに、この1次処理済画像データについて、画面内に各種形状の画像データが何か残っているか否かを判別する。 (I) First, this primary processed image data, the image data of various shapes it is determined whether there remains any on the screen.

(ii)そして、次に、画像データが何か残っているようであれば、これの画像データから後述の「損傷候補抽出マスク」を形成して以下の工程へ移行する(損傷候補抽出マスク作成工程)。 (Ii) Then, then, if so image data remains something from which the image data to form an "injury candidate extraction mask" below proceeds to the following steps (creating damage candidate extraction mask process). なお、通常、この損傷候補抽出マスクは、個々の画像データによって特徴が全く異なる固有のパターン形状を有するものである。 Normally, this damage candidate extraction mask are those having a completely different specific pattern is characterized by the individual image data.

(iii)一方、何も残っていないと判断された場合には、その画像データはその後の画像処理を行わず、「路面上に損傷はない」との判断を行う。 (Iii) On the other hand, if it is determined that nothing remains, the image data is not performed subsequent image processing, a determination of "no damage on the road surface".

(X)第10ステップ(S10)について: (X) 10 for step (S10):
次に、この第10ステップ(S10)(図1参照)では、第9ステップ(S9)において形成した損傷候補抽出マスクのデータについて、微分画像2値化処理を行って、例えば、第2工程(S2)と同様にして、画像データ内において鋭角的なピークを描く白黒境界領域の輪郭を抽出する(微分画像2値化工程)。 Next, in the tenth step (S10) (see FIG. 1), the data damage candidate extraction mask formed in the ninth step (S9), performs differential image binarization processing, for example, the second step ( S2) and in the same manner, to extract the outline of the white border region to draw a sharp peak in the image data (differential image binarization process).

(XI)第11ステップ(S11)について: (XI) 11 for step (S11):
第11ステップ(S11)(図1参照)では、損傷候補を含む画像データに対して、損傷候補領域プロファイルを形成する(損傷候補領域プロファイル作成工程)。 11th step (S11) (see FIG. 1), the image data including the damage candidates, to form a damaged candidate region profile (damaged candidate region profile creating step).

例えば、第6工程(S6)のジョイント判別前処理工程(S61)のように、損傷候補を含む画像データに対して、(i)画角変換処理、(ii)ノイズ除去処理、(iii)微分処理などの複数の画像処理作業を経て、「損傷候補領域プロファイル」を作成する。 For example, as in the joint determination preprocessing step of the sixth step (S6) (S61), the image data including the injury candidate, (i) angle conversion processing, (ii) the noise removal process, (iii) differential through a plurality of image processing operations, such as processing, to create a "damaged candidate area profile".

(XII)第12ステップ(S12)について: (XII) About 12 step (S12):
次に、前述の第9ステップ(S9)から第11ステップ(S11)により、1次ノイズ除去後の画像データから損傷候補領域プロファイルを形成し、この形成した損傷候補領域プロファイルの形状から、路面損傷データと誤認識する虞のある構造物影及び路面汚れについてのデータ(以下、これを「2次ノイズ」とよぶ)を判別して、この2次ノイズを1次ノイズ除去後の画像データから除去することにより、最終的に求めている路面上の損傷データを得る(2次ノイズ除去処理工程)。 Next, the eleventh step (S11) from the ninth step of the above (S9), to form a damaged candidate region profile from the image data after the primary noise removal, from the shape of the damaged candidate area profiles this form, the road damage data structure Monokage and road dirt with recognized risk erroneous data (hereinafter, referred to as "secondary noise") to determine the removal of the secondary noise from the image data subjected to the first noise removal by obtain damage data on the road surface that is finally determined (secondary noise removal process).

従って、この第12ステップ(S12)では、図21に示すように、第12−1工程(S12−1)〜第12−3(S12−3)工程で構成されている。 Therefore, in the twelfth step (S12), as shown in FIG. 21, and a second 12-1 step (S12-1) ~ No. 12-3 (S 12 - 3) process.

(i)第12−1(S12−1)工程について: (I) For the first 12-1 (S12-1) process:
この第12−1(S12−1)工程では、第11ステップ(S11)で得られた損傷候補プロファイルのデータに対して、構造物影があるか否かを判定する。 In this first 12-1 (S12-1) step determines to data damage candidate profiles obtained in the 11 step (S11), whether there is a structure Monokage. そして、この構造物影があると判断した場合には、その構造物影を除去する。 When it is determined that there is the structure Monokage removes the structure Monokage.

この第12ステップ(S12)で行う構造物影除去判定では、ノイズの原因の一つである照明柱の影などの道路周辺の不要な影を除去するものであるが、このような構造物の影には、以下のような特徴がある。 The twelfth at Structure Monokage removal determination performed in step (S12), but is intended to remove unwanted shadows near the road, such as the shadow of the lighting column, which is one of the causes of noise, such structures the shadow, has the following characteristics.

即ち、この第12−1ステップ(S12−1)では、ノイズの原因の一つである照明柱の影などの道路周辺の不要な影を除去するものであるが、このような構造物の影には、以下のような特徴がある。 That is, the shadow of the first 12-1 in step (S12-1), but is intended to remove unwanted shadows near the road, such as the shadow of the lighting column, which is one of the causes of noise, such structures the, it has the following characteristics.

(a)影を作り出している構造物は、通常、路面に対して比較的遠い位置に存在するので、影の輪郭がぼやける傾向がある。 (A) structure that creates a shadow is usually due to the presence in the relatively far position relative to the road surface tends to shade the contour is blurred. このため、構造物影の輪郭のエッジ強度は比較的小さくなる。 Thus, the edge intensity of the contour of the structure Monokage is relatively small.

(b)影の輪郭に強いエッジ成分が存在しないため、輪郭のエッジ強度のばらつきも小さくなる。 (B) for a strong edge components in the shadow of the outline is not present, also small variations in the contour of the edge strength.

そこで、この第12−1工程(S12−1)では、後述する図22に示すように、第12−11工程(S12−11)〜第12−15工程(S12−15)で構成されている。 Therefore, in the first 12 - step (S12-1), as shown in FIG. 22 to be described later, and a second 12-11 step (S12-11) ~ No. 12-15 step (S12-15) .

即ち、この第12−1工程(S12−1)では、構造物影の輪郭のエッジ強度と、損傷の輪郭のエッジ強度との分布(微分標準偏差)に関する相関図を作成するとともに、この相関関係から構造物影と損傷との輪郭の違いについての特徴を求める。 That is, in the first 12 - step (S12-1), thereby creating an edge strength of the edge of the structure Monokage, the correlation diagram of the distribution of the contour of the edge intensity of the damage (differential standard deviation), this correlation It calculates a characteristic of the contour differences between the structure Monokage and damage from. そして、この相関から係る特徴に基づき、構造物影の輪郭を分離抽出するための構造物影判定用の判別式を導出し、この判別式を用いて構造物影の判定を行う。 Then, based on the feature according this correlation, derive the discriminant for structural Monokage determination for separating extract the contour of the structure Monokage, it is determined structure Monokage using this discriminant.

例えば、照明柱など道路近傍の構造物などの影の輪郭と、実際の路面上の損傷部分の輪郭との双方について、輪郭部分での空間微分値の平均(AVE EDGE )と標準偏差(σ EDGE )に関して、図23に示すような分布を確認することができる。 For example, the contour of the shadow of such a structure in the vicinity of the road, such as light poles, for both the actual contour of the damaged portion on the road surface, the average of the spatial derivative value at the contour portion (AVE EDGE) and standard deviation (sigma EDGE ) respect, it is possible to confirm the distribution shown in Figure 23.

そして、この図23の相関図から、損傷候補から構造物影だけを分離するための判別式、 Then, from the correlation diagram of FIG. 23, discriminant to separate only the structure Monokage from damage candidates,
σ EDGE ≦(AVE EDGE /m)+G ・・・(3) σ EDGE ≦ (AVE EDGE / m ) + G ··· (3)
σ EDGE ;輪郭部分の微分標準偏差 differential standard deviation of the contour portion; sigma EDGE
AVE EDGE ;輪郭部分の微分平均 Differential average contoured portion; AVE EDGE
1/m;傾き(定数) 1 / m; gradient (constant)
G;定数(切片) G; constant (intercept)
を得ることができる。 It is possible to obtain.

次に、図22を参照しながら、ここでの処理工程について詳細に説明する。 Next, referring to FIG. 22 will now be described in the processing steps for detail.

(1)第12−11工程(S12−11)では、第11ステップS11において得られた損傷候補を含む画像データについての微分画像データに対して、第7ステップS7で形成した(各画像データによってパターン形状が異なる)固有の構造物影マスクを用いて、この構造物マスクの輪郭外領域での微分成分を除去する。 In (1) the 12-11 step (S12-11), with respect to the differential image data for the image data including the damage candidates obtained in the first 11 step S11, the (respective image data formed in the seventh step S7 pattern shape different) with a specific structure Monokage mask to remove the differential component of the contour area outside of the structure mask.

(2)第12−12工程(S12−12)では、構造物マスク上での微分値に関するヒストグラムを形成する。 (2) In a 12-12 step (S12-12), forming a histogram of differential values ​​on the structure mask.

(3)第12−13工程(S12−13)では、前述した構造物影分離判別式(3)を用いて構造物影を分離・除去するために、第1212工程(S1212)で作成されたヒストグラムにより、平均微分値(AVE EDGE )及び微分標準偏差(σ EDGE )を算出する。 In (3) the 12-13 step (S12-13) to the structure Monokage separated and removed by using the above-described structure Monokage separated discriminant (3), was created in the 1212 step (S1212) the histogram, an average differential value (AVE EDGE) and differential standard deviation (sigma EDGE).

(4)第12−14工程(S12−14)では、前述した構造物影分離判別式(3)を用いて構造物影の有無を数学的に判別する。 (4) In a 12-14 step (S12-14), mathematically determine the presence or absence of structural Monokage using the above-described structure Monokage separated discriminant (3). そして、構造物影が存在すると判断された場合には、次に第12−15工程(S12−15)へ移行する一方、構造物影が存在すると判断された場合には、ここで、構造物影の判別・除去工程を終了する。 When it is determined that there is structure Monokage is then the program shifts to the 12-15 step (S12-15), if it is determined that there is structure Monokage will now structure to end the discrimination and removal process of the shadow.

(5)第12−15工程(S12−15)では、構造物影があると判断された領域について、1次ノイズ除去済画像データから除去することにより、求める2次ノイズ除去作業の前半段階が完了する。 In (5) The 12-15 step (S12-15), the region determined that there is a structure Monokage, by removing from the primary noise-removed image data, the first half stage of the secondary noise removal operations required by completed.

(ii)第12−2(S12−2)工程について: (Ii) About 12-2 (S12-2) Step:
損傷候補プロファイルのデータ(1次ノイズ除去済画像データ)に対して、第12−1工程(S12−1)では、構造物影があると判断された領域について除去したものであるが、この第12−2(S12−2)工程では、その後に、路面汚れがあるか否かを判定する。 For the data damage candidate profile (1 order noise-removed image data), in the 12 - step (S12-1), but is obtained by removing the region determined that there is a structure Monokage, the first in 12-2 (S12-2) step, thereafter, it determines whether there is a road surface dirt. そして、この路面汚れがあると判断した場合には、その路面汚れを除去するものである。 When it is determined that there is the road dirt is to remove the road dirt.

ところで、路面上の(ペイントを含む)汚れと路面上の損傷とを判別するための対象となる要素について、本発明者により、路面の汚れ(ペイント)および一部の(不特定な)影が、損傷候補領域の輝度のコントラスト値によって判別可能である、との知見を得た。 Incidentally, (including paint) on a road surface for target element for discriminating between damage on dirt and the road surface, by the inventors, the road dirt (paint) and some (unspecified) shadow to give a distinguishable by the contrast value of the luminance of the damaged candidate region, a finding that.

即ち、これについては、図24に示すように、損傷候補領域の外接矩形内の輝度のコントラスト値(CNT)と、微分の標準偏差(σ)との分布図により、相関性が確認されている。 That is, for this, as shown in FIG. 24, the contrast value of the luminance of the circumscribed rectangle of the damaged candidate region and (CNT), a distribution diagram of the standard deviation of the differential (sigma), have been identified correlation .

なお、この図24などでは、2次元プロットの方が、ヒストグラムの作成よりも容易であり、かつ、各種要素量間の相関性などを確認しやすいため、2次元プロットによる解析を用いている。 In the like FIG. 24, toward the two-dimensional plot, it is easier than creating a histogram, and for the like correlation between the various elements amount easily confirmed, and using an analysis by the two-dimensional plot.

これにより、その輝度のコントラストによる路面汚れ(ペイント)・影の判別については、損傷候補領域の外接矩形内の輝度のコントラスト値(CNT)と、微分の標準偏差(σ)との2つのパラタメータを用いて、以下の路面汚れ判別式 (a)CNT≧k1の場合、 ・・・路面汚れ(ペイント) Thus, for the determination of the road surface stains (paint) shadow by the contrast of the brightness, contrast value of the luminance in the circumscribed rectangle of the damaged candidate region and (CNT), two Paratameta the standard deviation of the differential (sigma) used, following the road dirt discriminant (a) if the CNT ≧ k1, · · · road dirt (paint)
(b)k2≦CNT≦k1の場合、 (B) For k2 ≦ CNT ≦ k1,
(c)CNT≦k2の場合 (C) if the CNT ≦ k2
ただし、CNT;コントラスト値 However, CNT; contrast value
k1;固有定数 k1; specific constant
k2;固有定数を得ることができる。 k2; can be obtained specific constants.

従って、この路面汚れ判別式において、除去すべき対象である路面汚れ(ペイント)を特定する第1式、及び除去すべき対象である不特定部分の影を特定する第3式、 Thus, third equation In this road dirt discriminant identifying the shadow of the first equation, and unspecified portion of the target to be removed to identify the road dirt (paint) is the object to be removed,
k2≦CNT≦k1 k2 ≦ CNT ≦ k1
CNT≦k2 CNT ≦ k2
・・・(4) ... (4)
から、路面汚れや不特定な影などの領域をノイズとして特定し、損傷候補データから除去することができる。 From specified areas such as road dirt and unspecified shadows as noise can be removed from the damaged candidate data.

なお、この路面汚れ判定除去工程では、路面上の汚れと損傷との判別を行うため、損傷候補周辺に対して図26に示すような3種類の領域(A・B・C)を定義し、各領域に対する輝度値に対して分散分析を行なったところ、正規化距離の絶対値が大きい特徴量ほど、路面上での損傷と汚れとの分布が離れているとの知見が得られ、路面上での損傷と汚れを分離できることが分かった。 Incidentally, in this road dirt decision removing step, for performing discrimination between dirt and damage on the road surface, it defines three regions (A · B · C), as shown in FIG. 26 to damage candidates around, was subjected to a dispersion analysis on the luminance value for each region, as the absolute value is larger feature amount of the normalized distance, obtained knowledge and distribution of damage and dirt on the road surface are separated, on the road surface it has been found that it is possible to separate the damage and dirt in.

また、ここで、周囲のアスファルトに比べて黒っぽくなる油汚れなどの黒汚れと、逆に白っぽくなる白汚れとは区別して取り扱うことにした。 Further, here, was to be handled separately from the black stains such as blackish comprising grease than the surrounding asphalt, a whitish become white stains reversed.

ここで、正規化距離とは、損傷の標準偏差を1とした場合の、路面上での汚れの各特徴量の平均と路面上での損傷の平均との差であり、次式 Here, the normalized distance, in the case of a 1 standard deviation of the damage is the difference between the average of the damage on the average and a road surface of each feature amount of the soiling on the road surface, the following equation
正規化距離=(汚れの平均−損傷の平均)/損傷の標準偏差 Normalized distance = (soiled average - Mean damage) / damage standard deviation
・・・(5) ... (5)
から求めることができる。 It can be obtained from.

さらに、分散分析の結果、路面上での損傷と汚れとで分布が比較的離れている特徴量を選択し、特徴量相互の相関分析を行なったところ、相関の絶対値が1.0に近い2つの特徴量は、お互いに同じような傾向を示すことがわかったため、どちらか一方を除外してもかまわない。 Further, analysis of variance, and select the feature quantity damage and dirt and in distribution on the road surface is relatively distant, was subjected to correlation analysis of the feature cross, it is close to 1.0 absolute value of the correlation two features, because it was found to exhibit a similar trend to each other, may be excluded either.

そこで、図21における第12−2工程(S12−2)の具体的な処理方法については、図25に示すように、第12−21工程(S12−21)〜第12−25工程(S12−25)で構成している。 Therefore, for the specific treatment method of the 12-2 step (S12-2) in FIG. 21, as shown in FIG. 25, the 12-21 step (S12-21) ~ No. 12-25 step (S12- It is composed of 25).

(1)この第12−21工程(S12−21)では、第12−1工程(S12−1)で得られた構造物影がない(除去された)画像(損傷候補)データに対して、例えば、前述した第6ステップ(S6)での第6−12工程(S6−12)のように、平滑化処理を施して、ノイズの除去を行う(ノイズ除去処理工程)。 (1) relative to the first 12-21 step in (S12-21), there is no structure Monokage obtained in the 12-1 step (S12-1) (removed) image (injury candidate) data, for example, as in the first 6-12 steps in the sixth step described above (S6) (S6-12), subjected to a smoothing process, to remove the noise (noise removal process).

(2)この第12−22工程(S12−22)では、第12−21工程(S12−21)でノイズの除去処理が施された画像(損傷候補)データに対して、損傷検出領域内でのヒストグラムを作成する(損傷領域内ヒストグラム作成工程)。 (2) In the first 12-22 step (S12-22), against the 12-21 steps image noise removal processing is performed by (S12-21) (injury candidate) data, in flaw detection regions creating a histogram (damaged region in the histogram creation step).

(3)次に、この第12−23工程(S12−23)では、第12−22工程(S12−22)で形成された画像(損傷候補)データに対する損傷検出領域内でのヒストグラムにより、コントラスト値(CNT)を算出する。 (3) Next, in the first 12-23 step (S12-23), the histogram of the damaged detection region with respect to the image (injury candidate) data formed at the 12-22 step (S12-22), contrast calculating a value (CNT).

(4)この第12−24工程(S12−24)では、各領域でのコントラスト値(CNT)により、前述した路面汚れ判別式(4)から、求める路面汚れを判別する。 (4) In the first 12-24 step (S12-24), the contrast value in each region (CNT), from the road dirt discriminant (4) described above, to determine the road surface dirt finding. そして、路面汚れと判別された領域については、次に、第12−25工程(S12−25)へ移行する。 And, for the road dirt discriminated area, then the process proceeds to a 12-25 step (S12-25).

一方、路面汚れと判別されなかった領域については、ここで第12−2工程(S12−2)が終了する。 On the other hand, the region that has not been determined that the road surface dirt, where the 12-2 step (S12-2) is completed.

従って、ここまでの処理により、2次除去処理が施された、換言すれば、路面汚れ及び影がない、画像データが得られる。 Accordingly, the processing up to this point, the secondary removal processing has been performed, in other words, the road dirt and there is no shadow, image data is obtained.

(5)この第12−25工程(S12−25)では、前述した路面汚れ判別式(4)から路面汚れと判別された領域について、画像(損傷候補)データからその路面汚れが除去される。 (5) In the first 12-25 step (S12-25), the area is determined as the road dirt from the road dirt discriminants described above (4), the image that road dirt from (damage candidate) data are removed. 従って、ここまでの処理により、2次ノイズの除去処理が施された、換言すれば、路面汚れ及び影がない、画像データが得られる。 Accordingly, the processing up to this point, removal processing of the secondary noise is applied, in other words, the road dirt and there is no shadow, image data is obtained.

(iii)第12−3(S12−3)工程について: (Iii) About 12-3 (S 12 - 3) Step:
図22における第12−3(S12−3)工程では、これまでの1次、2次のノイズ除去処理によって、路面のペイント領域、自車影領域、車線外領域、ジョイント領域を除去し、さらに路面汚れ及び影を除去した画像データが得られることになる。 In a 12-3 (S 12 - 3) process in FIG. 22, the previous primary, the secondary noise removal processing, painting area of ​​the road surface, Jikurumakage region, lane outside area, removing the joint area, further so that the image data obtained by removing road dirt and the shadow is obtained.

従って、これまでの工程で得られた画像データ、つまり図1における第1ステップ(S1)から第12ステップ(S12)までを経て得られた画像データが、最終的に求めている真の路面損傷データを含んだ画像データとなる。 Accordingly, previous image data obtained in step, i.e. the image data from the first step (S1) obtained through the up twelfth step (S12) in FIG. 1 is finally true road damage seeking data the image data including the.

このようにして、一連の路面損傷データの作成処理が終了する。 In this way, the process of creating a series of road surface damage data is completed.

なお、本発明の第3ステップS3〜第7ステップS7の各工程については、特に本実施の形態のような順序に行う必要はなく、適宜の順序で行ってもよい。 Note that the third step S3~ seventh steps in step S7 of the present invention is not particularly necessary to perform the order as in the present embodiment may be performed in an appropriate order.
[第2の実施の形態] Second Embodiment
<B. <B. 損傷場所の特定方法> Specific method of damage location>
次に、本発明の第2の実施の形態に係る路面損傷位置の特定方法について説明する。 It will now be described a specific method of road surface damage location according to the second embodiment of the present invention.

本実施の形態に係る路面損傷位置の特定方法は、点検すべき高速道路の特定路線全体に亙って点検車を高速走行させながら、前述した舗装路面損傷状態点検方法によって損傷箇所を発見していくものであり、最終的に、基準点から損傷位置までの距離を特定するようになっている。 Particular method of road surface damage location according to the present embodiment, while high speed inspection cars throughout a particular route of highway to be inspected, to discover the damaged portion by pavement damage state inspection method described above and a go ones, ultimately, so as to identify the distance to the damaged position from the reference point.

即ち、本実施の形態に係る路面損傷位置の特定方法は、(I)下り車線走行の場合、(II)上り車線走行の場合、(III)路線変更の場合、(IV)渡り車線での走行の場合の都合3種類の走行場所のいずれについても、図27に示すように、第1ステップS1〜第3ステップS3で構成されている。 That is, the particular method of road surface damage location according to the present embodiment, (I) if the outbound lane running case of (II) inbound lane travel, (III) if the route change, running at (IV) over the lane for any convenient three travel locations case, as shown in FIG. 27, and a first step S1~ third step S3.

そこで、本実施の形態では、この(I)〜(IV)のそれぞれのステップについて、詳細に分けて説明する。 Accordingly, in this embodiment, for each step of the (I) ~ (IV), it will be described separately in detail.

(I)<下り車線走行の場合> (I) <In the case of outbound lane traveling>
この場合、図28に示すように、同一路線上を下り(上り)方向に走行しているので、キロポスト(高速道路の中央分離帯に立っている緑色の数字の書かれた「立て札」;所定の基準点を起点として一定間隔で設置)が増加(減少)しているため、以下のような方法で損傷発見位置を特定する。 In this case, as shown in FIG. 28, since running the downlink on the same line (up) direction, written a green figures standing median strip of kilo post (freeway "Tatefuda"; predetermined for installation at regular intervals a reference point as a starting point for) is increased (decreased), to identify the damage found position in the following manner.

(1)第1ステップS1: (1) First Step S1:
適宜のファイルを作成し、そのファイルのヘッダに登録されている損傷発見時のパルスカウンタの値及び車速係数より、同ヘッダに登録されているビーコンID(準マイクロ波を利用した電波ビーコンにより送信される現在位置情報区分ID)から損傷発見位置までの距離D 0を、次式 Create an appropriate file, the more the value and the vehicle speed coefficient of the pulse counter at the time of damage found registered in the header of the file, sent by radio beacon using a beacon ID (quasi-microwave registered in the header that the distance D 0 from the current position information division ID) to damage found position, the following formula
0 =PLUSE H /SCFC H [km] ・・・(6) D 0 = PLUSE H / SCFC H [km] ··· (6)
ただし、PLUSE H ;ファイルのヘッダに登録されているパル スカウンタ値(各損傷発見時のパルスカウンタ値) However, Pluse H; pulse counter value registered in the header of the file (pulse counter value at the time of the injury found)
SCFC H ;ファイルのヘッダに登録されている車速係 数[PLUSE/km] SCFC H; vehicle speed coefficient registered in the file header [PLUSE / km]
に基づいて算出する。 It is calculated on the basis of the.

(2)第2ステップS2: (2) Second Step S2:
ファイルのヘッダに登録されているビーコンIDのキロポストKp Rと、ビーコンIDから損傷発見位置までの距離(前述の(6)式から得られる)D 0との2つのデータを用いて、次式 A kilo post Kp R beacon ID registered in the file header, the distance from the beacon ID to damage discovered position (obtained from the above equation (6)) using the two data with D 0, the following equation
Kp D =Kp R +D 0 [km] ・・・(7) Kp D = Kp R + D 0 [km] ··· (7)
ただし、Kp D ;損傷発見位置のキロポストにより、損傷発見位置のキロポストKp Dを求める。 However, Kp D; by damage discovery position kilo post, seek kilo post Kp D of damage found position.

(3)第3ステップS3: (3) Third Step S3:
ファイルのヘッダに登録されているビーコンIDの設置してある路線のピアテーブル(データベース)により、次式 The route of the peer table are installed in the beacon ID registered in a file header (database), the following equation
Kp P ≦Kp D・・・(8) Kp P ≦ Kp D ··· (8 )
ただし、Kp P ;損傷発見位置に近接するピアのキロポストを満たすピア(橋脚番号)を抽出する。 However, Kp P; extracts the peer (pier number) satisfying kilo post peer proximate the damaged discovery position. そして、損傷発見位置のキロポストKp Dに最も近接するキロポストKp Pのピアを損傷発見位置として特定し、これに対応する損傷データが撮像された画像とともにメモリに格納する。 Then, identify the peer of kilo post Kp P closest to the kilo post Kp D of damage found position as damage found position, damage data corresponding thereto is stored in memory along with the image captured.

(II)<上り車線走行の場合> (II) <In the case of inbound lane traveling>
なお、上り車線走行時には、図29に示すように、同一路線上を上り方向に走行しているので、キロポストが減少している。 At the time of the inbound lane running, as shown in FIG. 29, since the traveling on the same route in the upward direction, kilo post is reduced. このため、この下り車線走行の場合における第1ステップS1から第3ステップS3のうち、第2ステップS2において、(7)式のみが、次式のように Therefore, of the first step S1 in the case of the outbound lane travel of the third step S3, the second step S2, only the equation (7), the following equation
Kp D =Kp R −D 0 [km] ・・・(9) Kp D = Kp R -D 0 [ km] ··· (9)
異なるだけであり、他は下り車線走行の場合と同様の方法を用いることにより、損傷発見位置のキロポストKp Dを算出することができる。 And only different other by using the same method as in the outbound lane running, it is possible to calculate the kilo post Kp D of damage found position.

(III)<路線変更の場合> (III) <In the case of route change>
この場合、図30に示すように、路線変更(A→B)があるので、以下のような方法で損傷発見位置を特定することができる。 In this case, as shown in FIG. 30, there is a route change (A → B), it is possible to specify the damage found position in the following manner.

(1)第1ステップS1: (1) First Step S1:
(I)、(II)の場合と同様に、ファイルのヘッダに登録されているビーコンIDから損傷発見位置までの距離D 0を、前述した式 (I), as in the case of (II), the distance D 0 from the beacon ID registered in the file header to damage found position, the above-mentioned formula
0 =PLUSE H /SCFC H [km] ・・・(6) D 0 = PLUSE H / SCFC H [km] ··· (6)
によって求める。 Determined by.

(2)第2ステップS2: (2) Second Step S2:
次に、ファイルのヘッダに登録されているビーコンIDから分岐点までの距離D 1を次式 Then, the following equation the distance D 1 of the to the branch point from the beacon ID registered in a file header
1 =Kp B −Kp R [km] ・・・(10) D 1 = Kp B -Kp R [ km] ··· (10)
ただし、Kp B ;分岐でのキロポスト However, Kp B; kilo post at the branch
Kp R ;損傷発見位置に近接するピアのキロポストから求め、その後、以下のように損傷発見位置のキロポストKp Dを算出する。 Kp R; determined from kilo post peer proximate the damaged discovery position, then, calculates a kilo post Kp D of damage found position as follows.

なお、このとき、以下の2つの場合で、路面損傷位置の特定方法が異なる。 At this time, in the following two cases, the particular method of road surface damage different positions.

(i)D 0 <D 1の場合 この場合には、発見された損傷は、路線を変更する前の(A)路線上に存在するので、例えば、下りの車線を走行していた場合には前述した(I)の場合の下り車線での方法により、上り車線を走行していた場合には(II)の場合の上り車線での方法により、損傷発見位置のキロポストKp Dを算出することができる。 (I) if this the case of D 0 <D 1 is discovered damage is due to the presence in front of (A) on the route to change the route, for example, if you were traveling lane downlink the method in the outbound lane if the aforementioned (I), by the method in the inbound lane of the case of when you were traveling inbound lane (II), is possible to calculate the kilo post Kp D of damage found position it can.

(ii)D 0 >D 1の場合 (a)この場合には、損傷場所は、路線の変更後の(B)路線上に存在するので、先ず次受信ビーコンから損傷発見位置までの距離D 2を次式、 (Ii) D 0> For D 1 (a) in this case, damage location, due to the presence in the line of the changed (B) on the line, firstly the distance from the next received beacon to damage discovered position D 2 following equation,
2 =(PLUSE L −PLUSE H )× SCFC H [km] ・・・(11) D 2 = (PLUSE L -PLUSE H ) × SCFC H [km] ··· (11)
から求める。 Obtained from.

(b)次に、次受信ビーコンのキロポストKp LとD 2とより、次式 (B) Next, more and kilo post Kp L and D 2 follows the reception beacon, the following equation
Kp D =Kp L −D 2 [km] ・・・(12) Kp D = Kp L -D 2 [ km] ··· (12)
ただし、Kp L ;次受信ビーコンのキロポスト However, Kp L; the next received beacon kilo post
2 ;次受信ビーコンIDから損傷発見位置までの距離から、損傷発見位置のキロポストKp Dを算出する。 D 2; from the distance from the next received beacon ID to damage discovered position, calculates a kilo post Kp D of damage found position.

(3)第3ステップS3: (3) Third Step S3:
最後に、前述した(I)下り車線走行の場合の(3)第3ステップS3と同様にして、ファイルのヘッダに登録されているビーコンIDの設置してある路線のピアテーブル(データベース)により、 Finally, in the same manner as in (3) Third step S3 in the case of the above-mentioned (I) the outbound lane traveling routes that are installed beacon ID registered in a file header by peer table (database),
Kp P ≦Kp D・・・(13) Kp P ≦ Kp D ··· (13 )
を満たすピアを抽出する。 To extract a peer to meet the. そして、損傷発見位置のキロポストKp Dに最も近接するキロポストKp Pのピアを損傷発見位置として特定し、これに対応する損傷データが撮像された画像とともにメモリに格納する。 Then, identify the peer of kilo post Kp P closest to the kilo post Kp D of damage found position as damage found position, damage data corresponding thereto is stored in memory along with the image captured.

(IV)<渡り線での走行の場合(路線変更のため)> (IV) <For running at crossover wire (for route change)>
この場合、図31に示すように、路線変更(A→C→B)があるので、以下のような方法で損傷発見位置を特定することができる。 In this case, as shown in FIG. 31, there is a route change (A → C → B), it is possible to specify the damage found position in the following manner.

(1)第1ステップS1: (1) First Step S1:
(I)、(II)での上下車線の場合と同様に、ファイルのヘッダに登録されているビーコンIDから損傷発見位置までの距離D 0を、前述した式 (I), as in the case of the upper and lower lane in (II), the distance D 0 from the beacon ID registered in the file header to damage discovered position, wherein the above-mentioned
0 =PLUSE H /SCFC H [km] ・・・(6) D 0 = PLUSE H / SCFC H [km] ··· (6)
によって求める。 Determined by.

(2)第2ステップS2: (2) Second Step S2:
次に、(III)での路線変更の場合と同様に、ファイルのヘッダに登録されているビーコンIDから分岐点までの距離D 1を求める。 Then, as in the case of route changes in (III), we obtain a distance D 1 of the from the beacon ID registered in the file header to the branch point.

1 =Kp B −Kp R [km] ・・・(10) D 1 = Kp B -Kp R [ km] ··· (10)
このとき、以下の3つの場合で、損傷発見位置キロポストKp Dの算出方法が異なる。 In this case, in the following three cases, the method of calculating the damage discovered position kilo post Kp D are different.

(i)D 0 <D 1の場合 この場合には、発見された損傷は、路線を変更する前の(A)路線上に存在するので、例えば、下りの車線を走行していた場合には前述した(I)の場合の下り車線での方法により、上り車線を走行していた場合には(II)の場合の上り車線での方法により、損傷発見位置のキロポストKp Dを算出する。 (I) if this the case of D 0 <D 1 is discovered damage is due to the presence in front of (A) on the route to change the route, for example, if you were traveling lane downlink the method in the outbound lane if the aforementioned (I), by the method in the inbound lane of the case of when you were traveling inbound lane (II), to calculate a kilo post Kp D of damage found position.

(ii)一方、渡り線の長さをL Wとして、次式を (Ii) On the other hand, the length of the connecting wire as L W, the following equation
1 ≦D 0 ≦D 1 +L W D 1 ≦ D 0 ≦ D 1 + L W
満たしている場合であれば、損傷は渡り線上にあるので、渡り線の開始地点から損傷発見位置までの距離(キロポストに対応する)D 3を求める。 If you meet, because the damage over line (corresponding to the kilo post) distance from the start point of the connecting wire to the damage found position seek D 3.

3 =D 0 −D 1 [km] ・・・(14) D 3 = D 0 -D 1 [ km] ··· (14)
(iii)他方、渡り線の長さをL Wとしたときに、次式を (Iii) On the other hand, the length of the connecting wire is taken as L W, the following equation
0 ≧D 1 +L W D 0 ≧ D 1 + L W
満たしている場合であれば、損傷は渡り線を通過した後の路線(B)上に存在するから、 If you meet, because present on line after passing through the damaged connecting wire (B),
(a)先ず次受信ビーコンから損傷発見位置までの距離D 2を次式 (A) First the following equation the distance D 2 from the next received beacon to damage discovered position
2 =(PLUSE L −PLUSE H )× SCFC H [km] ・・・(11) D 2 = (PLUSE L -PLUSE H ) × SCFC H [km] ··· (11)
ただし、PLUSE L ;次受信ビーコン受信時のパルスカウンタ値によって求める。 However, Pluse L; determined by the pulse counter value of the next received beacon reception.

(b)次に、次受信ビーコンのキロポストKp LとD 2により、損傷発見位置のキロポストKp Dを、次式から (B) Next, the kilo post Kp L and D 2 follows the reception beacon, a kilo post Kp D of damage found position, the following equation
Kp D =Kp L −D 2・・・(12) Kp D = Kp L -D 2 ··· (12)
算出する。 calculate.

(3)第3ステップS3: (3) Third Step S3:
第2ステップS2での(i),(iii)のケースの場合には、最後に、(I)下り車線走行の場合の(3)ステップと同様にして、ファイルのヘッダに登録されているビーコンIDの設置してある路線のピアテーブル(データベース)により、 In the second step S2 (i), in the case of the case of (iii) is, finally, a beacon that is registered in the (I) downstream (3) when the lane travel in the same manner as the step, the file header the route of the peer table that is installed in the ID (database),
Kp P ≦Kp D・・・(15) Kp P ≦ Kp D ··· (15 )
を満たすピアを抽出する。 To extract a peer to meet the. そして、損傷発見位置のキロポストKp Dに最も近接するキロポストKp Pのピアを損傷発見位置として特定し、これに対応する損傷データが撮像された画像とともにメモリに格納する。 Then, identify the peer of kilo post Kp P closest to the kilo post Kp D of damage found position as damage found position, damage data corresponding thereto is stored in memory along with the image captured.

他方、第2ステップS2での(ii)の場合には、渡り線のピアテーブル(データベース)により、 On the other hand, in the case of (ii) in the second step S2 is the connecting wire peer table (database),
Kp P ≧D 3・・・(16) Kp P ≧ D 3 ··· (16 )
となるピアを抽出し、損傷発見位置までの距離D 3に最も近接するキロポストKp Pのピアを損傷発見位置として特定する。 Become extracts peer to identify the peer of kilo post Kp P closest to the distance D 3 to the damage found position as damage found position.

なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。 The present invention is not in any way limited to the embodiment described above, but may be practiced in various forms without departing from the scope and spirit thereof.

本発明の路面損傷状態点検方法及び路面損傷位置の特定方法は、路面を走行しながら、特に高速道路を高速走行しながらでも、路面の損傷部分を自動的に、しかも正確に検出することができる効果を有し、走行する車両から路面の撮像画像を逐次取り込んで所要の画像処理を行うことにより、路面の損傷状態を点検する路面損傷状態点検方法、及び路面の点検の実施と同時に、若しくはその後に、路面損傷箇所である損傷発見位置を特定する路面損傷位置の特定方法に等に有用である。 Particular method of road surface damage state inspection method and road damage position of the present invention, while traveling the road surface, in particular a motorway, even while traveling at high speed, the damaged portion of the road surface automatically, yet it is possible to accurately detect has the effect, by performing sequential takes in required image processing a captured image of a road surface from a vehicle traveling road surface damage condition inspection method for inspecting a damage state of the road surface, and as in the inspection of the road surface at the same time, or after in useful in such a method of identifying the road surface damage location to identify the damage found position is road damaged portion.

本発明の第1の実施の形態に係る路面損傷状態点検方法を示すフローチャート Flowchart showing a road surface damage condition inspection method according to the first embodiment of the present invention 本発明の第1の実施の形態に係る路面損傷状態点検方法に用いる点検装置を示す構成ブロック図 A block diagram illustrating an inspection apparatus used in the road surface intact condition inspection method according to the first embodiment of the present invention 本発明の第1の実施の形態に係る路面損傷状態点検方法に用いる点検装置の備えた画像データ処理装置を示す構成ブロック図 A block diagram illustrating an image data processing apparatus comprising a checking device for use in road damage state inspection method according to the first embodiment of the present invention (A)は本発明の第1の実施の形態に係る路面損傷状態点検方法に用いる原画像データの一例を示す説明図、(B)は本発明の第1の実施の形態に係る路面損傷状態点検方法の第1ステップで生成する正規化画像の一例を示す説明図 (A) explanatory diagram showing an example of original image data to be used for road damage state inspection method according to the first embodiment of the present invention, (B) is a road surface damage state according to the first embodiment of the present invention explanatory diagram showing an example of a normalized image generated in the first step of the inspection method 本発明の第1の実施の形態に係る路面損傷状態点検方法の第3ステップで生成するペイントマスクの一例を示す説明図 Explanatory view showing an example of a paint mask generated in the third step of the road surface intact condition inspection method according to the first embodiment of the present invention 本発明の第1の実施の形態に係る路面損傷状態点検方法の第4ステップで生成する車線マスクの一例を示す説明図 Explanatory view showing an example of a lane mask generated in the fourth step of the road surface intact condition inspection method according to the first embodiment of the present invention 本発明の第1の実施の形態に係る路面損傷状態点検方法の第4ステップで生成する自車影マスクの一例を示す説明図 Explanatory view showing an example of Jikurumakage mask generated in the fourth step of the road surface intact condition inspection method according to the first embodiment of the present invention 図7に示す自車影マスクの生成工程のうちの第51工程の具体例を示すフローチャート Flowchart showing a specific example of the 51 steps of the production process of self Kurumakage mask shown in FIG. 7 (A)は図8に示す自車影マスクの横アーム検索工程のうちの第51−04工程で形成する二値化プロファイル(横アーム候補抽出)を示す説明図、(B)は自車影マスクの生成工程のうちの第51−08工程で形成する合成プロファイル(横アーム候補抽出)を示す説明図、(C)は自車影マスクの生成工程のうちの第51−11工程で確定する横アームを示す説明図 (A) is an explanatory view showing the binarization profile formed at the 51-04 step (transverse arms candidate extraction) of the transverse arms search step of the self Kurumakage mask shown in FIG. 8, (B) is Jikurumakage the 51-08 synthetic profile forming in the process explanatory view showing a (lateral arms candidate extraction) of the process of generating the mask, (C) is determined in the first 51-11 step of generating process of Jikurumakage mask explanatory view showing a lateral arm 図7に示す自車影マスクの生成工程のうちの第52工程の具体例を示すフローチャート Flowchart showing a specific example of the 52 steps of the production process of self Kurumakage mask shown in FIG. 7 (A)は図10に示す自車影マスクの縦アーム検索工程のうちの第52−02工程で形成する縦アーム候補抽出を示す説明図、(B)は同じく縦アーム検索工程のうちの第52−08工程で形成する中アームの確定方法を示す説明図 (A) is an explanatory view showing a vertical arm candidate extraction to form in the first 52-02 step of longitudinal arm search step of the self Kurumakage mask shown in FIG. 10, of the (B) is also vertical arm search process first explanatory view showing a method for determining the arm in the formation by 52-08 step 本発明の第1の実施の形態に係る路面損傷状態点検方法の第4ステップで生成する自車影マスクの作成方法を示すフローチャート Flowchart illustrating a method of creating Jikurumakage mask generated in the fourth step of the road surface intact condition inspection method according to the first embodiment of the present invention (A)は図12に示す本発明の自車影マスクの作成工程における自車影の基準位置座標P(Xb,Yb)の確定方法を示す説明図、(B)は形成した自車影マスクの一例を示す説明図 (A) is an explanatory view showing a method for determining the self Kurumakage reference position coordinates of the vehicle shadow under creation process of the mask P (Xb, Yb) of the present invention shown in FIG. 12, (B) is formed by the own Kurumakage mask explanatory view showing an example of 本発明の自車影マスクの作成工程における自車影マスクを構成する各ブロック毎のマスク領域(X,Y)を決定するための方法を示す説明図 Explanatory view showing a method for determining a mask area for each block that constitutes a self Kurumakage mask in its own Kurumakage mask creation process of the present invention (X, Y) 本発明の第1の実施の形態に係る路面損傷状態点検方法の第6ステップで生成するジョイントマスクの作成方法を具体的に示すフローチャート First detailed flowchart illustrating how to create joints mask generated in the sixth step of the road surface intact condition inspection method according to an embodiment of the present invention (A)は本発明の第1の実施の形態に係るジョイントマスク作成途中の正規化画像の一例を示す説明図、(B)は同ジョイントマスク作成途中の二値化画像の水平プロファイルを示す説明図、(C)はジョイントマスクを示す説明図 (A) is an explanatory view showing an example of a first partially composed joints mask according to the embodiment normalized image of the present invention, (B) is explained in the horizontal profile of the binarized image in the middle of creating the joint mask FIG, (C) is an explanatory view showing a joint mask 本発明の第1の実施の形態に係るジョイント判別のため形成したジョイント部の幅(W)と輝度尖度/プロファイルピーク数(Kpp)とに関する相関図 Correlation diagram in the width of the joint portion formed for joint determination according to a first embodiment of the present invention and (W) luminance kurtosis / profile peak number and (Kpp) 本発明の第1の実施の形態に係る路面損傷状態点検方法の第7ステップでの構造物影マスク生成のための具体的な処理方法を示すフローチャート Flowchart showing a specific processing method for the construction Monokage mask generation at the seventh step of the road surface intact condition inspection method according to the first embodiment of the present invention 図18に示す構造物影マスク生成途中の画像データを示すものであり、(A)は平滑化画像、(B)は構造物影マスクの一例を示す説明図 And it shows the image data of the structure Monokage mask generation way shown in FIG. 18, (A) is the smoothed image, (B) is an explanatory view showing an example of a structure Monokage mask 本発明の第1の実施の形態に係る路面損傷状態点検方法の第8ステップでの1次ノイズを除去するための具体的な処理方法を示すフローチャート Flowchart showing a specific processing method for removing primary noise at an eighth step of the road surface intact condition inspection method according to the first embodiment of the present invention 本発明の第1の実施の形態に係る路面損傷状態点検方法の第12ステップでの2次ノイズを除去処理するための具体的な処理方法を示すフローチャート Flowchart showing a specific processing method for removing processed secondary noise in the twelfth step of the road surface intact condition inspection method according to the first embodiment of the present invention 図21に示す第12ステップの第12−1工程である構造物影の具体的な判別除去方法を示すフローチャート Flowchart showing a concrete determination method for removing structural Monokage a first 12-1 process the twelfth step shown in FIG. 21 図22に示す第12ステップの第12−1工程で行う構造物影の具体的な判別方法を説明するために、構造物影の輪郭と路面上の損傷部分の輪郭との双方の輪郭部分での空間微分値の平均(AVE EDGE )と標準偏差(σ EDGE )との相関を示す相関図 To illustrate a specific method for determining the structure Monokage performed in a 12-1 process the twelfth step shown in FIG. 22, in both the contour portion of the contours of the damaged portion of the road surface structure Monokage correlation diagram showing the correlation between the average of the spatial differential value (AVE EDGE) and standard deviation (sigma EDGE) of 図22に示す第12ステップの第12−2工程で行う路面汚れの具体的な判別方法を説明するために、損傷候補領域の外接矩形内の輝度のコントラスト値(CNT)と微分の標準偏差(σ)との相関を示す相関図 To illustrate a specific method for determining road dirt performed in a 12-2 process the twelfth step shown in FIG. 22, the contrast value of the luminance of the circumscribed rectangle of the damaged candidate region (CNT) and the derivative of the standard deviation ( correlation diagram showing the correlation between sigma) 図21に示す第12ステップの第12−2工程である路面汚れの具体的な判別除去方法を示すフローチャート Flowchart showing a concrete determination method for removing road dirt is first 12-2 process the twelfth step shown in FIG. 21 図21に示す第12ステップの第12−2工程である路面汚れの判別のための特徴量計算領域の定義を示す説明図 Explanatory view showing a definition of a feature quantity calculation region for road dirt determination is first 12-2 process the twelfth step shown in FIG. 21 本発明の第2の実施の形態に係る路面損傷位置の特定方法を示すフローチャート Flowchart illustrating a method of specifying the road surface damage location according to the second embodiment of the present invention 本発明に係る点検車両が路面損傷状態の点検のために下り路線を走行中に損傷を発見した場合にその位置の特定方法を示すための説明図 Explanatory view showing a specific method of its position when the inspection vehicle according to the present invention have found damaged during traveling down line for inspection of the road surface intact condition 本発明に係る点検車両が路面損傷状態の点検のために上り路線を走行中に損傷を発見した場合にその位置の特定方法を示すための説明図 Explanatory view showing a specific method of its position in a case of finding the damage during traveling upstream route for inspection vehicle according to the present invention inspection of road surface intact condition 本発明に係る点検車両が路面損傷状態の点検のために路線を変更しながら走行中に損傷を発見した場合にその位置の特定方法を示すための説明図 Explanatory view showing a specific method of its position when the inspection vehicle according to the present invention have found damage during running while changing the route for the inspection of the road surface intact condition 本発明に係る点検車両が路面損傷状態の点検のために路線を変更するために渡り線を走行中に損傷を発見した場合にその位置の特定方法を示すための説明図 Explanatory view showing a specific method of its position in a case of finding the damage during running and the crossover to change the routes for inspection vehicle inspection road damage state according to the present invention

符号の説明 DESCRIPTION OF SYMBOLS

1 点検車両 10 車体 2 点検装置 21 (略門型状の)ガントリー 21A 縦アーム部 22 レーザ用撮像カメラ 23 直立アーム 24 可視画像用カメラ 25 レーザヘッド 26 ミラー 3 画像データ処理装置 31 画像処理装置 31A ビデオキャプチャ部 31B レーザ画像処理部 31C 入出力(I/O)部 32 制御装置 33 記憶装置(メモリ) 1 inspection vehicle 10 vehicle body 2 inspection device 21 (substantially gate-type shape) gantry 21A vertical arm 22 laser imaging camera 23 upstanding arm 24 visible image camera 25 the laser head 26 mirror 3 image data processing device 31 the image processing apparatus 31A video capturing unit 31B laser image processing unit 31C output (I / O) unit 32 control unit 33 storage unit (memory)
M1 ペイントマスク(白色マスク) M1 paint mask (white mask)
M2 ペイントマスク(車線マスク) M2 paint mask (lane mask)
M3 自車影マスク M4 ジョイントマスク P 自車影の基準位置座標 M3 Jikurumakage mask M4 reference position coordinates of the joints mask P Jikurumakage

Claims (10)

  1. 点検車両を路面上で走行させながら前記走行中の路面をカメラで撮像し、その撮像画像から前記路面の損傷状態を点検する路面損傷状態点検方法であって、 The inspection vehicle road in the traveling while traveling on the road surface captured by the camera, a road damage state inspection method for inspecting a damage state of the road surface from the captured images,
    前記撮像画像から前記路面に投影される少なくとも前記点検車両に積載した点検装置の影を除去する自車影判別除去工程と、 And the vehicle shadow determination step of removing the shadow of at least the inspection inspection apparatus loaded on a vehicle is projected from the captured image on the road surface,
    前記路面上のペイントされた表示案内を含む白色部分を前記撮像画像から除去する白色判別除去工程と、 White discrimination removing step of removing the white portions including painted display guidance on the road surface from the captured image,
    前記撮像画像内から前記路面内の点検中の車線領域に隣接する他の車線領域を除去する車線判別除去工程と、 A lane determination step of removing the other lane area adjacent lane region in inspection of said road surface from the captured image,
    前記走行する路面のうち橋梁部分と一般の舗装路面部分とをつなぐジョイント部分を、前記撮像画像から除去するジョイント判別除去工程と、 The joints connecting the pavement surface portion of the bridge portion and generally out of the road surface on which said traveling, the joint determination removal step of removing from the captured image,
    前記路面の汚れを前記撮像画像から除去する路面汚れ判別除去工程と、 And the road dirt determination step of removing the dirt of the road surface from the captured image,
    前記路面に投影された周辺構造物の影を除去する構造物影判別除去工程と を有することを特徴とする路面損傷状態点検方法。 Road intact condition inspection method characterized by having a structure Monokage determination step of removing the shadow of peripheral structure projected on the road surface.
  2. 前記自車影判別除去工程は、前記路面に投影される前記点検装置の影、又は前記路面に投影される前記点検車及び前記点検装置の影からなる自車影に対応して形成した自車影マスクを用いて、前記撮像画像から前記自車影を除去することを特徴とする請求項1に記載の路面損傷状態点検方法。 The self Kurumakage discriminating removal step, the inspection shadow device, or vehicle which is formed corresponding to the vehicle shadows consisting shadow of the inspection vehicle and the checking device is projected on the road surface to be projected on the road surface using a shadow mask, the road surface intact condition inspection method according to claim 1, characterized in that the removal of the self Kurumakage from the captured image.
  3. 前記車線判別除去工程は、少なくとも前記路面の白線に対応する領域を撮像画像の濃淡から判別して形成した車線マスクを用いて、前記撮像画像から前記白線よりも外側領域を除去することを特徴とする請求項1又は2に記載の路面損傷状態点検方法。 The lane determination removing step, said the removal of at least a region corresponding to the white line of the road surface using a lane mask formed to determine the shading of the captured image, the outer region than the white line from the captured image road intact condition inspection method according to claim 1 or 2.
  4. 前記ジョイント判別除去工程は、前記ジョイント部分に対応する領域を撮像画像のエッジ画像により判別して形成したジョイントマスクを用いて、前記撮像画像から前記ジョイントを除去することを特徴とする請求項1〜3のいずれか1項に記載の路面損傷状態点検方法。 The joint determination removing step, according to claim 1 by using a joint mask formed to determine the area corresponding to the joint part by an edge image of the captured image, and removing the joint from the captured image road intact condition inspection method according to any one of the three.
  5. 前記路面汚れ判別除去工程は、前記路面の汚れに対応する領域を、前記撮像画像の濃淡のコントラストから形成したヒストグラムを判別手段として用いて抽出し、前記撮像画像から除去することを特徴とする請求項1〜4のいずれか1項に記載の路面損傷状態点検方法。 The road dirt discrimination removing step, according to the area corresponding to the contamination of the road surface, and extracted with histogram formed from the contrast of shading of the captured image as the discrimination means, and removing from the captured image road intact condition inspection method according to any one of clauses 1-4.
  6. 前記構造物影判別除去工程は、前記撮像画像から前記構造物影の輪郭部分での空間微分値の平均と標準偏差とを用いた所定の判別式により形成した構造物影マスクを用いて、前記撮像画像から前記構造物影を除去することを特徴とする請求項1〜5のいずれか1項に記載の路面損傷状態点検方法。 The structure Monokage discrimination removing step, by using the mean and structure Monokage mask formed by a predetermined discriminant using the standard deviation of the spatial differential value from the captured image in the contour portion of the structure Monokage, wherein road intact condition inspection method according to any one of claims 1 to 5, characterized in that the removal of the structural Monokage from a captured image.
  7. 点検すべき高速道路の特定路線全体に亙って点検車両を走行させながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記損傷箇所である損傷発見位置を特定する路面損傷位置の特定方法であって、 Simultaneously with detecting and going inspection the damaged portion of the road surface while traveling inspection vehicle throughout a particular route of highway to be inspected, or after, the road surface to identify the damage found position is the damage site a method of identifying damage location,
    前記特定路線が、下り車線又は上り車線走行の場合、路線変更の場合、渡り車線で走行するときのいずれについても、 The specific routes in the case of outbound lane or inbound lane running, if the route change, for any time running at over lane also
    ビーコンIDの設置位置から前記損傷発見位置までの距離を所定の演算式から導出し、 A distance to the damaged discovery position derived from a predetermined arithmetic expression from the installation position of the beacon ID,
    前記ビーコンIDの設置位置のキロポストと、前記ビーコンIDの設置位置から前記損傷発見位置までの距離とから、前記損傷発見位置のキロポスト値を求め、 And kilo post installation position of the beacon ID, and a distance to the damaged discovered position from the installation position of the beacon ID, obtains a kilo post value of the damage found position,
    前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを前記損傷発見位置として特定する ことを特徴とする路面損傷位置の特定方法。 Wherein the route of the peer table in said inspection that is installed in the beacon ID, the road surface damage location and identifies the peer kilo post closest to the kilo post value of the damage found position as the damage discovered position specific way.
  8. 点検すべき高速道路の下り車線又は上り車線で点検車を走行させながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の下り車線又は上り車線の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 Simultaneously with detecting and going inspection the damaged portion of the road surface while traveling inspection car outbound lane or the inbound lane of the expressway to be inspected, or after, the reference position of the outbound lane or the inbound lane of the expressway a particular method of road surface damage positions that specify the distance to the damage found position is the damage site,
    前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から損傷発見位置までの距離を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance to the damage discovered position from the installation position of the beacon ID registered in advance,
    前記ビーコンIDの設置位置のキロポストと、前記ビーコンIDの設置位置から前記損傷発見位置までの前記距離との2つのデータを用いて前記損傷発見位置のキロポスト値を求め、 And kilo post installation position of the beacon ID, obtains a kilo post value of the damage discovered position using the two data of the distance to the damage discovered position from the installation position of the beacon ID,
    前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを前記損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as the damage found position,
    前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納する ことを特徴とする路面損傷位置の特定方法。 Particular method of road surface damage position, characterized in that the peer and the damaged portion of kilo post that the identified store data of an image captured in memory.
  9. 点検すべき高速道路の路線を分岐点から変更させて点検車両を走行させながら走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の下り車線又は上り車線の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 At the same time the highway route to be inspected and detecting and going inspection the damaged portion of the road surface while traveling inspected vehicle is changed from the branch point, or after, the reference of the outbound lane or the inbound lane of the expressway a particular method of road surface damage positions that specify the distance to the damage found position is the damaged portion from the position,
    前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から前記損傷発見位置までの距離D 0を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance D 0 to the damage discovered position from the installation position of the beacon ID registered in advance,
    前記ビーコンIDの設置位置から前記分岐点までの距離D 1を求めた後、前記距離D 0と前記距離D 1の大小関係に分けて前記損傷発見位置のキロポスト値を算出し、 After determining the distance D 1 of the the installation position of the beacon ID to said branch point, wherein calculating a kilo post value of damage found located separately in magnitude relation of the distance D 0 between the distance D 1,
    前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as damage found position,
    前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納する ことを特徴とする路面損傷位置の特定方法。 Particular method of road surface damage position, characterized in that the peer and the damaged portion of kilo post that the identified store data of an image captured in memory.
  10. 点検すべき高速道路の渡り車線を通りながら点検車両を走行させて走行路面の損傷箇所を検出していく点検作業と同時に、若しくはその後に、前記高速道路の基準位置から前記損傷箇所である損傷発見位置までの距離を特定する路面損傷位置の特定方法であって、 Detect and take inspection the damaged portion of the road surface by driving the inspected vehicle while passing the crossing lane highway to be inspected at the same time, or thereafter, the are the damaged portion from the reference position of the motorway damage found a particular method of road surface damage positions that specify the distance to the position,
    前記損傷箇所を発見時のパルスカウンタの値及び車速係数より、予め登録されているビーコンIDの設置位置から前記損傷発見位置までの距離D 0を算出し、 Than the value and the vehicle speed coefficient of the pulse counter at the time of discovering the damage site, and calculates the distance D 0 to the damage discovered position from the installation position of the beacon ID registered in advance,
    前記渡り線の長さをL Wと前記ビーコンIDの設置位置から分岐点までの距離D 1とを求めた後、前記距離D 0 、前記距離D 1 、前記L Wの大小関係に分けて損傷発見位置のキロポスト値を算出し、 After determining the distance D 1 of the to the branch point the length of the connecting wire from the installation position of L W to the beacon ID, the distance D 0, the distance D 1, is divided into large and small relation of the L W damage to calculate the kilo post value of the discovery position,
    前記ビーコンIDの設置してある前記点検中の路線のピアテーブルにより、前記損傷発見位置の前記キロポスト値に最も近接するキロポストのピアを前記損傷発見位置として特定し、 Wherein the route of the peer table in said inspection that is installed in the beacon ID, to identify the peer of kilo post closest to the kilo post value of the damage found position as the damage found position,
    前記特定したキロポストのピアと前記損傷箇所が撮像された画像とのデータをメモリに格納する ことを特徴とする路面損傷位置の特定方法。 Particular method of road surface damage position, characterized in that the peer and the damaged portion of kilo post that the identified store data of an image captured in memory.
JP2003280255A 2003-07-25 2003-07-25 Method of checking defective condition of road surface, and method of specifying defective position of the road surface Pending JP2005043324A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003280255A JP2005043324A (en) 2003-07-25 2003-07-25 Method of checking defective condition of road surface, and method of specifying defective position of the road surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003280255A JP2005043324A (en) 2003-07-25 2003-07-25 Method of checking defective condition of road surface, and method of specifying defective position of the road surface

Publications (1)

Publication Number Publication Date
JP2005043324A true JP2005043324A (en) 2005-02-17

Family

ID=34266134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003280255A Pending JP2005043324A (en) 2003-07-25 2003-07-25 Method of checking defective condition of road surface, and method of specifying defective position of the road surface

Country Status (1)

Country Link
JP (1) JP2005043324A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252269A (en) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd Wide area image generator, vehicle periphery monitoring device and wide area image generation method
JP2007265281A (en) * 2006-03-29 2007-10-11 Denso It Laboratory Inc Self-shadow determining method
JP2007300559A (en) * 2006-05-02 2007-11-15 Alpine Electronics Inc Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image
CN103955923A (en) * 2014-04-18 2014-07-30 南京理工大学 Fast pavement disease detecting method based on image
CN104700427A (en) * 2015-04-03 2015-06-10 电子科技大学 Road damage information extracting method based on SAR images
JP2015210602A (en) * 2014-04-24 2015-11-24 日立建機株式会社 Periphery monitoring device of work machine
JP2016218762A (en) * 2015-05-20 2016-12-22 株式会社東芝 Image processing device, method and program
JP6259959B1 (en) * 2016-09-30 2018-01-10 株式会社オプティム Drone control system, drone control method and program
KR101870084B1 (en) * 2017-07-10 2018-06-22 극동대학교 산학협력단 Method for Shadow Removal from High Resolution Satellite Imagery using Vertical Borders of Shadow Region

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252269A (en) * 2005-03-11 2006-09-21 Aisin Seiki Co Ltd Wide area image generator, vehicle periphery monitoring device and wide area image generation method
JP2007265281A (en) * 2006-03-29 2007-10-11 Denso It Laboratory Inc Self-shadow determining method
JP4625418B2 (en) * 2006-03-29 2011-02-02 株式会社デンソーアイティーラボラトリ Jikage determination method
JP2007300559A (en) * 2006-05-02 2007-11-15 Alpine Electronics Inc Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image
CN103955923A (en) * 2014-04-18 2014-07-30 南京理工大学 Fast pavement disease detecting method based on image
CN103955923B (en) * 2014-04-18 2017-03-01 南京理工大学 A rapid image-based detection methods Pavement
JP2015210602A (en) * 2014-04-24 2015-11-24 日立建機株式会社 Periphery monitoring device of work machine
CN104700427A (en) * 2015-04-03 2015-06-10 电子科技大学 Road damage information extracting method based on SAR images
CN104700427B (en) * 2015-04-03 2018-03-09 电子科技大学 An information extraction method based on damage to roads sar image
JP2016218762A (en) * 2015-05-20 2016-12-22 株式会社東芝 Image processing device, method and program
JP6259959B1 (en) * 2016-09-30 2018-01-10 株式会社オプティム Drone control system, drone control method and program
WO2018061176A1 (en) * 2016-09-30 2018-04-05 株式会社オプティム Drone control system, drone control method, and program
KR101870084B1 (en) * 2017-07-10 2018-06-22 극동대학교 산학협력단 Method for Shadow Removal from High Resolution Satellite Imagery using Vertical Borders of Shadow Region

Similar Documents

Publication Publication Date Title
Koch et al. Pothole detection in asphalt pavement images
US20100017060A1 (en) Road-edge detection
CN101929867B (en) Clear path detection using road model
US20120242835A1 (en) Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
US20040062442A1 (en) Method and apparatus for identifying objects depicted in a videostream
JP3049603B2 (en) Stereoscopic image - object detection method
Jaakkola et al. Retrieval algorithms for road surface modelling using laser-based mobile mapping
JP4016735B2 (en) Lane mark recognition method
JP3868876B2 (en) Obstacle detecting apparatus and method
CN1237327C (en) System and method for discriminating road gap
JP4981808B2 (en) Vehicle starting control method and driver assistance system based on the sensor
JP2917661B2 (en) Traffic flow measurement processing method and apparatus
US8670592B2 (en) Clear path detection using segmentation-based method
Son et al. Real-time illumination invariant lane detection for lane departure warning system
US20070127778A1 (en) Object detecting system and object detecting method
US6546118B1 (en) Image processing apparatus for vehicle
US20100104137A1 (en) Clear path detection using patch approach
CN103080978B (en) Object recognition device
KR100317790B1 (en) Lane area extractor and method thereof
US9196048B2 (en) Autonomous pavement condition assessment
CN102682292B (en) Method based on monocular vision for detecting and roughly positioning edge of road
JP2007316997A (en) Vehicle type determining program and apparatus
JP2001351200A (en) Onboard object detecting device
CN1144328A (en) Object observing method and device
EP0380659A1 (en) Method of recognizing linear pattern

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424