JP2011128844A - Road shape recognition device - Google Patents
Road shape recognition device Download PDFInfo
- Publication number
- JP2011128844A JP2011128844A JP2009286178A JP2009286178A JP2011128844A JP 2011128844 A JP2011128844 A JP 2011128844A JP 2009286178 A JP2009286178 A JP 2009286178A JP 2009286178 A JP2009286178 A JP 2009286178A JP 2011128844 A JP2011128844 A JP 2011128844A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- surface shape
- distance
- plot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 44
- 238000005070 sampling Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、路面形状認識装置に係り、特に、距離画像生成手段により得られた位置のデータに基づいて路面形状モデルを生成する路面形状認識装置に関する。 The present invention relates to a road surface shape recognition device, and more particularly to a road surface shape recognition device that generates a road surface shape model based on position data obtained by a distance image generation means.
近年、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等の撮像装置やレーザレーダ測距装置を車両に搭載し、撮像手段で撮像した画像の画像解析やレーザレーダ測距装置から発射された電波やレーザビームの反射光解析等により、それらの装置を搭載した車両が走行する路面形状を認識する路面形状認識装置の開発が進められている(例えば特許文献1、2等参照)。
In recent years, an imaging device such as a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera or a laser radar distance measuring device has been mounted on a vehicle. Development of a road surface shape recognition device for recognizing a road surface shape on which a vehicle equipped with such a device travels is performed by analyzing reflected light of emitted radio waves or laser beams (see, for example,
特許文献1では、ステレオカメラからなる撮像装置で撮像された一対の画像のうち、一方の画像の各画素の輝度に基づいて画像中から自車両の側方の車線に対応する各画素を検出し、検出した車線に対応する各画素の位置のデータを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の路面形状のモデルを算出する技術が開示されている。なお、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の路面上に標示された連続線や破線をいう。
In
また、特許文献2では、物体までの距離を計測して得られた位置のデータを3次元座標に投影し、それらの分布に基づいて路面を割り出す技術が開示されている。
しかしながら、特許文献1に記載された技術では、路面上に車線が標示されている通常の道路では車線を検出し、それに基づいて路面形状を検出することができるが、未舗装道路や山道等の路面上に車線が標示されていない路面ではその形状を検出することができなかった。
However, in the technique described in
また、特許文献2に記載された技術では、ステレオカメラ等を用いて検出された位置のデータが正確であることが必要であるが、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では、ミスマッチが生じるケースが必ずしも少なくない。そして、位置のデータにばらつきが生じるため、位置のデータの3次元分布から路面を割り出すことは必ずしも容易ではない。
Moreover, in the technique described in
また、特許文献2に記載された技術では、未舗装道路や山道等の路面のようにテクスチャが多い路面ではその有効性が期待できるが、通常の道路のように比較的テクスチャが少ない場合には、路面に対応する位置のデータのデータ点数が少なくなる。そして、他の立体物等が存在すると、路面に対応する少ない位置のデータが立体物に対応する位置のデータと混ざり合ってしまうため、路面形状を安定して検出できない虞れがあった。
Moreover, in the technique described in
本発明は、以上のような事情に鑑みてなされたものであり、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能な路面形状認識装置を提供することを目的とする。 The present invention has been made in view of the circumstances as described above, and it is possible to accurately detect the actual road surface shape. Of course, when the lane is marked on the road surface, the lane is marked. An object of the present invention is to provide a road surface shape recognition device capable of accurately detecting the road surface shape even when the road surface is not.
前記の問題を解決するために、第1の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする。
In order to solve the above problem, the first invention is a road surface shape recognition apparatus,
A position image including a horizontal position, height and distance in real space on a road surface on which the vehicle travels is detected at a plurality of different points, and a distance image representing the data of each position on a two-dimensional plane is obtained. A distance image generating means for generating;
The distance data in the position data existing on each horizontal line of the distance image is voted for a histogram created for each horizontal line, and a statistical value in each histogram is calculated for each horizontal line. Representative distance detecting means for detecting as a representative distance and plotting the representative distance on a virtual plane for each horizontal line;
Evaluation means for evaluating the continuity of the plot of the representative distance on the virtual plane for each horizontal line and excluding the plot evaluated as having no continuity from the virtual plane;
Approximating straight line calculating means for calculating approximating straight lines for all the plots remaining on the virtual plane without being excluded by the evaluating means;
Road surface shape model generating means for generating a road surface shape model using a combination of the approximate straight lines;
It is characterized by providing.
第2の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする。 According to a second aspect of the present invention, in the road surface shape recognition device according to the first aspect, the representative distance detecting means uses the class value of the class to which the mode value of the frequency of the histogram belongs as a statistical value in the histogram. To do.
第3の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数における所定個数のピーク値が属する階級の階級値を前記ヒストグラムにおける統計値とし、前記所定個数のピーク値が属する階級の階級値をそれぞれ当該水平ラインの代表距離として検出することを特徴とする。 According to a third aspect of the present invention, in the road surface shape recognition device according to the first aspect, the representative distance detecting means uses a class value of a class to which a predetermined number of peak values in the frequency of the histogram belong as a statistical value in the histogram, and A class value of a class to which the number of peak values belong is detected as a representative distance of the horizontal line.
第4の発明は、第1から第3のいずれかの発明の路面形状認識装置において、
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする。
4th invention is the road surface shape recognition apparatus in any one of 1st to 3rd invention,
The representative distance detecting means performs processing in order from the lower horizontal line while shifting the horizontal line to be processed upward on the distance image generated by the distance image generating means,
When the representative distance plotted later on the virtual plane is not on the far side of the representative distance plotted earlier, the subsequent plot has continuity with the previous plot. It is evaluated that it does not have, and the subsequent plot is excluded from the virtual plane.
第5の発明は、第4の発明の路面形状認識装置において、前記評価手段は、前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする。 According to a fifth aspect of the present invention, in the road surface shape recognition device according to the fourth aspect of the invention, when the evaluation means reaches a predetermined number of horizontal lines obtained by continuously performing the process of excluding the plot, It is characterized by excluding the plot.
第6の発明は、第1から第5のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。 A sixth aspect of the present invention is the road surface shape recognition device according to any one of the first to fifth aspects of the invention, wherein the representative distance detecting means includes past data among the position data existing on each horizontal line of the distance image. Only the data of the distance in the data of the position existing within a predetermined range from the position of the road surface in the current sampling period estimated based on the road surface shape model generated in the sampling period and the subsequent behavior of the host vehicle Are voted on the histogram.
第7の発明は、第1から第6のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。 A seventh aspect of the present invention is the road surface shape recognition device according to any one of the first to sixth aspects, wherein the representative distance detecting means includes a traveling path of the host vehicle estimated from the behavior of the host vehicle in the distance image. A predetermined range is set, and only the distance data in the position data existing on each horizontal line within the predetermined range is voted on the histogram.
第8の発明は、第1から第7のいずれかの発明の路面形状認識装置において、
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
An eighth invention is the road surface shape recognition device according to any one of the first to seventh inventions,
Lane detection means for detecting a lane on the distance image,
The representative distance detection means sets a predetermined range based on the lane detected by the lane detection means among the horizontal lines of the distance image, and exists on each horizontal line within the predetermined range. Only the distance data in the position data to be voted on the histogram.
第9の発明は、第1から第8のいずれかの発明の路面形状認識装置において、
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、2つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする。
A ninth aspect of the invention is the road surface shape recognition device according to any one of the first to eighth aspects of the invention,
The approximate straight line calculation means, for all the plots that remain on the virtual plane without being excluded by the evaluation means, based on the representative distance, the plots on the side closer to the host vehicle. Each time the plot of the boundary part of two groups is transferred from one group to the other group, an approximate straight line that approximates each plot for each group is divided into a group and a group on the far side. Respectively,
The road surface shape model generation means calculates a statistical value based on the approximate line for each group in which the plot is transferred, and based on the calculated statistical value based on the approximate lines of the two groups. One of the combinations of the approximate lines in the two groups is selected, and the road surface shape model is generated using the selected combination of the approximate lines.
第10の発明は、第9の発明の路面形状認識装置において、
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする。
A tenth aspect of the invention is the road surface shape recognition device of the ninth aspect of the invention,
The approximate straight line calculating means calculates the approximate straight line that approximates each plot for each group by a least square method,
The road surface shape model generation means calculates, for each group, a variance or a standard deviation of the plots belonging to each group with respect to the approximate line as a statistical value based on the approximate line, and the calculated two groups of the two groups A combination of the approximate lines that minimizes a total value of statistical values based on the approximate lines is selected.
第11の発明は、第10の発明の路面形状認識装置において、前記近似直線算出手段は、前記代表距離をz、前記距離画像における前記水平ラインの位置をjと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をza、前記水平ラインの位置をjaと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣz、Σj、Σz2、Σzjからそれぞれza、ja、za2、zajaを減算し、前記他方の群におけるΣz、Σj、Σz2、Σzjにそれぞれza、ja、za2、zajaを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする。 An eleventh aspect of the present invention is the road surface shape recognition device according to the tenth aspect of the invention, wherein the approximate straight line calculating means represents the representative distance as z and the position of the horizontal line in the distance image as j, and the boundary portion to be transferred. When the representative distance in the plot is represented by za, the position of the horizontal line is represented by ja, and the sum for each group is represented by Σ, the plot of the boundary portion is expressed from one group to the other group. each time transferring the, Shigumaz in said one group, Σj, Σz 2, respectively, from Σzj za, ja, subtracts za 2, zaja, Σz in the other group, Σj, Σz 2, respectively Σzj za, The approximate straight lines that approximate the plot for each group are calculated by adding the values of ja, za 2 , and zaja, respectively, by the least square method.
第12の発明は、第1から第8のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、2本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする。 A twelfth aspect of the invention is the road surface shape recognition device according to any one of the first to eighth aspects of the invention, wherein the road surface shape model generation means is not excluded by the evaluation means and remains on the virtual plane. Hough transform is performed on the plot, two approximate straight lines are calculated, and the road surface shape model is generated as a shape on at least the virtual plane.
第13の発明は、第1から第12のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記選択した前記2つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする。 In a thirteenth aspect of the present invention, in the road surface shape recognition device according to any one of the first to twelfth aspects, the road surface shape model generation means calculates the intersection of the approximate lines of the selected two groups. The generated road surface shape model is corrected by replacing the approximate straight line with a relaxation curve having a tangent line.
第14の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする。
A fourteenth aspect of the invention is the road surface shape recognition device according to any one of the first to thirteenth aspects of the invention,
Imaging means for capturing an image of the front of the host vehicle and acquiring an image;
A search is made on a horizontal line on the image to detect a pixel whose luminance difference between adjacent pixels is not less than a predetermined threshold as a lane candidate point, and the horizontal line to be searched is shifted in the vertical direction of the image while shifting the horizontal line. Lanes that detect lane candidate points, connect the detected lane candidate points, detect lanes on the image, and generate a road surface shape model as a shape on at least a virtual plane based on the detected lane information Detection means;
A processing unit that evaluates each of the road surface shape model generated by the road surface shape model generation unit and the road surface shape model generated by the lane detection unit, and selects any one of the road surface shape models;
It is characterized by providing.
第15の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする。
A fifteenth aspect of the invention is the road surface shape recognition device according to any one of the first to thirteenth aspects of the invention.
Imaging means for capturing an image of the front of the host vehicle and acquiring an image;
A search is made on a horizontal line on the image to detect a pixel whose luminance difference between adjacent pixels is not less than a predetermined threshold as a lane candidate point, and the horizontal line to be searched is shifted in the vertical direction of the image while shifting the horizontal line. Lanes that detect lane candidate points, connect the detected lane candidate points, detect lanes on the image, and generate a road surface shape model as a shape on at least a virtual plane based on the detected lane information Detection means;
The road surface shape model generated by the road surface shape model generation unit and the road surface shape model generated by the lane detection unit are each evaluated, and a weighted average of both the road surface shape models is generated to generate a road surface shape model. Processing means;
It is characterized by providing.
第16の発明は、第14または第15の発明の路面形状認識装置において、前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも1つに基づいてそれぞれ評価することを特徴とする。 A sixteenth aspect of the present invention is the road surface shape recognition device according to the fourteenth or fifteenth aspect, wherein the processing means is the road surface shape model generated by the road surface shape model generating means and the road surface shape generated by the lane detecting means. Model, the number of points of data used when detecting each road surface shape model, the range in which the data is detected, each road surface shape model generated in the past sampling period, and the behavior of the host vehicle thereafter. Of the difference between each position of the road surface and the position of each road surface shape model in the current sampling period estimated based on the variance or standard deviation of the data with respect to each approximate line constituting each road surface shape model It is characterized by evaluating each based on at least one of these.
第1の発明によれば、距離画像の各水平ライン上の各画素の距離のデータを水平ラインごとのヒストグラムに投票して、その統計値を各水平ラインごとの代表距離として検出し、代表距離を各水平ラインごとに仮想平面上にプロットし、連続性を有しないプロットは除外し、仮想平面上に残存している全てのプロットに対して近似直線を算出して、最も適切な近似直線の組み合わせを選択して路面形状モデルを生成する。そのため、例えば後述する図2に示すような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。 According to the first invention, the distance data of each pixel on each horizontal line of the distance image is voted on the histogram for each horizontal line, and the statistical value is detected as the representative distance for each horizontal line. Is plotted on the virtual plane for each horizontal line, excluding plots that do not have continuity, and an approximation line is calculated for all remaining plots on the virtual plane to determine the most appropriate approximation line. A combination is selected to generate a road surface shape model. Therefore, for example, as shown in FIG. 2 to be described later, it is possible to accurately and stably detect the shape of a road surface on which a lane is not marked on a road surface such as an unpaved road or a mountain road.
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ライン上での出現頻度が正常な値の出現頻度より小さいため、そのようなデータは、距離画像の各水平ライン上の各画素の距離のデータの各ヒストグラムへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離として採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。そのため、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。 Even if a mismatch occurs in stereo matching processing or abnormal data is obtained by a laser radar ranging device, the frequency of occurrence of such data on each horizontal line is smaller than the frequency of normal values. Therefore, such data is shaken off in the voting process for each histogram of the distance data of each pixel on each horizontal line of the distance image. Even if such data is adopted as the representative distance, the plot is excluded if the corresponding plot does not have continuity. Therefore, even when a mismatch occurs in the stereo matching process or abnormal data is obtained by the laser radar distance measuring device, the road surface shape can be accurately and stably detected.
さらに、車線等が標示されている路面では、例えば後述する図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離のデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。 Further, on a road surface on which a lane or the like is marked, for example, data of a relatively large number of distances are effectively detected at the edge portion of the marking such as a lane illustrated in FIG. 16 to be described later or an arrow marked on the road surface. Therefore, it becomes possible to accurately and stably detect the road surface shape based on it.
第2の発明によれば、前記発明の効果に加え、ヒストグラムの度数の最頻値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上で最も高い頻度で出現する距離の階級値を当該水平ラインの代表距離として検出し、それに基づいて路面形状モデルを的確に生成することが可能となる。 According to the second invention, in addition to the effect of the invention, the class value of the class to which the mode value of the frequency of the histogram belongs is used as the statistical value in the histogram, so that the distance that appears most frequently on the horizontal line. Is detected as a representative distance of the horizontal line, and a road surface shape model can be accurately generated based on the detected value.
第3の発明によれば、前記発明の効果に加え、ヒストグラムの度数における所定個数のピーク値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上に多数出現する距離の階級値をそれぞれ当該水平ラインの代表距離として検出し、それらに基づいて路面形状モデルを的確に生成することが可能となる。 According to the third invention, in addition to the effect of the invention, the class value of the class to which the predetermined number of peak values in the frequency of the histogram belongs is used as the statistical value in the histogram, so that the distance that appears frequently on the horizontal line can be reduced. Each class value is detected as a representative distance of the horizontal line, and a road surface shape model can be accurately generated based on these.
第4の発明によれば、路面形状では、距離画像の下側の水平ラインでは上側の水平ラインより自車両に近い側の代表距離が検出されるはずである。従って、距離画像の下側の水平ラインから順に代表距離検出手段における処理を行うことで、それらを仮想平面上にプロットした場合、後にプロットされたプロットの代表距離が、先にプロットされたプロットの代表距離よりも遠方側にない場合には、当該後のプロットが先のプロットと連続性を有しないと容易かつ的確に評価することが可能となる。 According to the fourth aspect of the present invention, in the road surface shape, the lower horizontal line of the distance image should detect the representative distance closer to the host vehicle than the upper horizontal line. Therefore, by performing the processing in the representative distance detection means in order from the horizontal line on the lower side of the distance image, when plotting them on the virtual plane, the representative distance of the plot plotted later is the same as that of the plot plotted earlier. If it is not on the far side from the representative distance, it is possible to easily and accurately evaluate the subsequent plot if it does not have continuity with the previous plot.
そのため、このような場合に当該後のプロットを仮想平面上から除外するように構成することで、路面形状としてふさわしくないプロットを的確に除外して路面形状モデルを生成することが可能となり、前記各発明の効果がより的確に発揮されるとともに、生成された路面形状モデルの信頼性をより向上させることが可能となる。 Therefore, in such a case, by configuring the subsequent plot to be excluded from the virtual plane, it becomes possible to accurately exclude a plot that is not suitable as a road surface shape, and to generate a road surface shape model. The effect of the invention can be exhibited more accurately, and the reliability of the generated road surface shape model can be further improved.
第5の発明によれば、第4の発明においては後のプロットを除外したが、もともと先のプロットが異常な代表距離に基づいてプロットされたものであれば、その後の正常なプロットが次々と除外されてしまい不都合である。そのため、プロットを除外する処理を連続して行った水平ラインが所定の本数に達した場合に当該先のプロットを除外するように構成することで、異常な先のプロットを除外して後の正常なプロットを路面形状モデル生成の対象とすることが可能となり、前記第4の発明の効果をより的確に発揮させることが可能となる。 According to the fifth invention, the subsequent plots are excluded in the fourth invention, but if the previous plots were originally plotted based on an abnormal representative distance, the subsequent normal plots were successively It is inconvenient because it is excluded. Therefore, when the number of horizontal lines that have been continuously excluded from the plot reaches a predetermined number, the previous plot is excluded, so that the abnormal previous plot is excluded and normal It is possible to make a simple plot as a target for generating a road surface shape model, and to exhibit the effect of the fourth invention more accurately.
第6の発明によれば、過去のサンプリング周期において生成された路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する距離のデータのみをヒストグラムに投票する対象とすることで、前記各発明の効果が的確に発揮されるとともに、路面形状モデルをサンプリング周期ごとに安定的に生成することが可能となる。 According to the sixth aspect of the present invention, the distance existing within a predetermined range from the road surface position in the current sampling cycle estimated based on the road surface shape model generated in the past sampling cycle and the subsequent behavior of the host vehicle. By using only data as a target for voting on the histogram, the effects of the above-described inventions can be exhibited accurately, and a road surface shape model can be stably generated for each sampling period.
第7の発明によれば、前記各発明の効果に加え、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い自車両の進行路を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。 According to the seventh invention, in addition to the effects of the respective inventions, the search range of the data of the position existing on each horizontal line is set to a predetermined range including the traveling path of the host vehicle where the road surface is highly likely to exist. By limiting the speed, it is possible to speed up the processing, and it is possible to generate a road surface shape model without being affected by three-dimensional objects outside the traveling road, and stably generate the road surface shape model. It becomes possible to do.
第8の発明によれば、前記各発明の効果に加え、装置が車線検出手段を備える場合には、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い車線を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。 According to the eighth invention, in addition to the effects of the respective inventions, in the case where the apparatus includes a lane detection means, it is highly possible that a road surface exists in a search range of data at positions on each horizontal line. By limiting to a predetermined range including the lane, it is possible to speed up the processing, and it is possible to generate a road surface shape model without being affected by a solid object outside the traveling road. A shape model can be generated stably.
第9の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線により構成されるが、群の境界を可変させながら2本の近似直線の適切な組み合わせを探索することで、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせで的確かつ高速に生成することが可能となり、路面形状を的確に認識することが可能となる。また、近似直線に基づく統計値に基づいて2つの群の近似直線の組み合わせの中から選択した近似直線の組み合わせを用いて路面形状モデルを生成することで、生成された路面形状モデルの信頼性をより向上させることが可能となり、前記各発明の効果がより的確に発揮される。 According to the ninth invention, in the actual road design, the shape of the road on the virtual plane is constituted by two straight lines, but an appropriate combination of the two approximate straight lines is obtained while changing the group boundary. By searching, in accordance with the actual road design, a road surface shape model can be generated accurately and at high speed by combining two approximate straight lines, and the road surface shape can be recognized accurately. . Further, by generating a road surface shape model using a combination of approximate lines selected from a combination of two groups of approximate lines based on statistical values based on the approximate lines, the reliability of the generated road surface shape model can be improved. It becomes possible to improve more and the effect of said each invention is exhibited more correctly.
第10の発明によれば、第9の発明において、最小二乗法により群ごとに各プロットをそれぞれ近似する近似直線を算出し、近似直線に基づく統計値を各群に属する各プロットの近似直線に対する分散または標準偏差の合計値として算出することで、近似直線の組み合わせを的確かつ容易に選択することが可能となり、前記第9の発明の効果をより的確に発揮させることが可能となる。 According to the tenth invention, in the ninth invention, an approximate line for approximating each plot for each group is calculated by the least square method, and a statistical value based on the approximate line is calculated for the approximate line of each plot belonging to each group. By calculating as the total value of the variances or standard deviations, it is possible to accurately and easily select a combination of approximate straight lines, and to exhibit the effects of the ninth invention more accurately.
第11の発明によれば、第10の発明において、最小二乗法を用いて近似直線を算出する際に、各群の境界部分の距離データDaを一方の群から他方の群に移し替えるごとに、距離データDaに対応するza等を、一方の群における各総和Σz等から減算し、他方の群における各総和Σz等に加算するだけで近似直線の各式を算出することが可能となるため、近似直線の算出を容易かつ高速に行うことが可能となり、前記第10の発明の効果をより的確に発揮させることが可能となる。 According to the eleventh invention, in the tenth invention, each time the distance data Da of the boundary portion of each group is transferred from one group to the other group when the approximate straight line is calculated using the least square method. Since it is possible to calculate each equation of the approximate line simply by subtracting za corresponding to the distance data Da from each sum Σz etc. in one group and adding it to each sum Σz etc. in the other group. The approximate straight line can be calculated easily and at high speed, and the effects of the tenth aspect of the invention can be exhibited more accurately.
第12の発明によれば、近似直線の組み合わせは、評価手段により除外されずに仮想平面上に残存している全てのプロットに対するハフ変換によっても得ることが可能である。そのため、ハフ変換により2本の近似直線を算出して路面形状モデルを生成することで、容易かつ的確に近似直線の組み合わせを選択して路面形状モデルを生成することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。 According to the twelfth aspect, the combination of approximate straight lines can be obtained by the Hough transform for all plots remaining on the virtual plane without being excluded by the evaluation means. Therefore, by calculating two approximate straight lines by Hough transform and generating a road surface shape model, a road surface shape model can be generated by selecting a combination of approximate straight lines easily and accurately. It is possible to exert the effect accurately.
第13の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線と緩和曲線により構成されるが、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせと緩和曲線との組み合わせで的確に生成することが可能となり、路面形状を的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。 According to the thirteenth invention, in the actual road design, the shape of the road on the virtual plane is composed of two straight lines and a relaxation curve. In accordance with the actual road design, the road surface shape model is It is possible to accurately generate a combination of two approximate straight lines and a relaxation curve, and it is possible to accurately recognize the road surface shape. Therefore, the effects of the above inventions can be more accurately exhibited.
第14の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択するように構成することで、より的確で信頼性が高い路面形状モデルを選択して、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。 According to the fourteenth aspect of the invention, a road surface shape model is generated on the basis of the information of the lane detected on the captured image by the lane detection means separately from the road surface shape model generation means, and the road surface shape is determined by the processing means. By evaluating each of the road surface shape model generated by the shape model generating means and the road surface shape model generated by the lane detecting means, and selecting one of the road surface shape models, more accurate and reliable It is possible to accurately detect the actual road surface shape even on unpaved roads and mountain roads where lanes are not marked, as well as when lanes are marked on the road surface by selecting a high road surface shape model Thus, the effects of the respective inventions can be more accurately exhibited.
第15の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、それらの評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成するように構成することで、新たに生成された路面形状モデルにより、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。 According to the fifteenth aspect, in addition to the road surface shape model generation means, the road surface shape model is generated by the lane detection means based on the information of the lane detected on the captured image, and the road surface shape is determined by the processing means. The road surface shape model generated by the shape model generation means and the road surface shape model generated by the lane detection means are each evaluated, and both road surface shape models are weighted and averaged according to those evaluations, and a new road surface shape model is obtained. By configuring so that the lanes are generated, not only when the lanes are marked on the road surface by the newly generated road surface shape model, but also on roads such as unpaved roads and mountain roads where the lanes are not marked. The road surface shape can be accurately detected, and the effects of the inventions described above can be more accurately exhibited.
第16の発明によれば、前記2つの前記路面形状モデルを、各路面形状モデルを検出する際に用いられたデータの点数やデータが検出された範囲、過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と各路面形状モデルの位置との差、各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差の少なくとも1つに基づいてそれぞれ評価することで、より信頼性が高い路面形状モデルを選択したり、評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。 According to the sixteenth aspect of the present invention, the two road surface shape models are divided into the number of data points used when detecting each road surface shape model, the range in which the data is detected, and each road surface generated in the past sampling period. The difference between each position of the road surface and the position of each road surface shape model in the current sampling cycle estimated based on the shape model and the behavior of the host vehicle thereafter, the distribution of data for each approximate line constituting each road surface shape model, or By evaluating each based on at least one of the standard deviations, a more reliable road surface shape model is selected or a new road surface shape model is generated by weighted averaging of both road surface shape models according to the evaluation. It becomes possible, and it becomes possible to exhibit the effect of each said invention more correctly.
以下、本発明に係る路面形状認識装置の実施の形態について、図面を参照して説明する。 Embodiments of a road surface shape recognition apparatus according to the present invention will be described below with reference to the drawings.
[第1の実施の形態]
本発明の第1の実施形態に係る路面形状認識装置1は、図1に示すように、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13等を有する処理部9等を備えて構成されている。
[First Embodiment]
As shown in FIG. 1, the road surface
なお、距離画像生成手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された前記特許文献1等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
The upstream configuration of the
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ2aと助手席側のサブカメラ2bとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
In the present embodiment, the image pickup means 2 includes a built-in image sensor such as a CCD or a CMOS sensor that is synchronized with each other, and is mounted in the vicinity of a vehicle rearview mirror, for example, at a predetermined interval in the vehicle width direction. This is a stereo camera composed of a
なお、以下では、メインカメラ2aで撮像される図2に示すような一方の画像を基準画像T、サブカメラ2bで撮像される図示しない画像を比較画像Tcという。また、以下では、基準画像Tを対象として近似直線算出手段12等における処理を行う場合について説明するが、比較画像Tcを対象として行ったり、両方の画像T、Tcをそれぞれ処理するように構成することも可能である。
In the following, one image as shown in FIG. 2 captured by the
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれモノクロの画像データが取得されるようになっているが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
In the present embodiment, the
メインカメラ2a等で基準画像T等を撮像する場合、例えば図2に示すように、基準画像T等の各水平ラインJの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインJを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像T等の各画素の輝度の画像データがそれぞれ変換手段3に順次送信されるようになっている。
When the reference image T or the like is picked up by the
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aやサブカメラ2bで撮像された基準画像T等の画素ごとの各画像データをそれぞれ例えば256階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部4に出力するようになっている。
The
また、画像補正部4では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像Tcの各画像データを距離画像生成手段6にも順次送信するようになっている。
In addition, the
距離画像生成手段6は、イメージプロセッサ7を備えており、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出し、また、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
The distance image generating means 6 includes an
距離画像生成手段6のイメージプロセッサ7では、基準画像Tと比較画像Tcの各画像データに対して順次ステレオマッチングやフィルタリング処理を施して、基準画像Tの画素ごとに視差dpを順次算出するようになっている。
The
イメージプロセッサ7で行われるステレオマッチングでは、図3に示すように、基準画像Tを例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBに分割する。そして、1つの基準画素ブロックPBに対して、比較画像Tc中の当該基準画素ブロックPBと同じJ座標のエピポーララインEPL上の各比較画素ブロックPBcを探索し、各比較画素ブロックPBcについて、
SAD=Σ|p1st−p2st| …(1)
を算出し、SAD値が最小の比較画素ブロックPBcを特定する。
In stereo matching performed by the
SAD = Σ | p1st−p2st | (1)
And the comparison pixel block PBc having the smallest SAD value is specified.
なお、(1)式においてp1stは基準画素ブロックPB内の各画素の輝度を表し、p2stは比較画素ブロックPBc内の各画素の輝度を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。 In Equation (1), p1st represents the luminance of each pixel in the reference pixel block PB, and p2st represents the luminance of each pixel in the comparison pixel block PBc. Further, the above sum is obtained when the reference pixel block PB and the comparison pixel block PBc are set as a 3 × 3 pixel region, for example, a range of 1 ≦ s ≦ 3, 1 ≦ t ≦ 3, and 4 × 4 pixels. When set as a region, calculation is performed for all pixels in the range of 1 ≦ s ≦ 4 and 1 ≦ t ≦ 4.
そして、ステレオマッチングでは、基準画素ブロックPBの基準画像T上の位置と、当該基準画素ブロックPBについて特定した比較画素ブロックPBcの比較画像Tc上の位置から基準画像Tの画素ごとに視差dpが順次算出されるようになっている。 In stereo matching, the parallax dp is sequentially obtained for each pixel of the reference image T from the position on the reference image T of the reference pixel block PB and the position on the comparison image Tc of the comparison pixel block PBc specified for the reference pixel block PB. It is calculated.
なお、実空間上において上記の一対のカメラ2a、2bの中央真下の路面上の点を原点とし、自車両の車幅方向(すなわち水平方向)をX軸方向、車高方向(すなわち高さ方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の水平位置x、高さyおよび距離zを含む位置のデータ(x,y,z)と、基準画像T上の画素の座標(I,J)および視差dpとは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により1対1に対応付けることができる。
x=CD/2+z×PW×(I−IV) …(2)
y=CH+z×PW×(J−JV) …(3)
z=CD/(PW×(dp−DP)) …(4)
In real space, the point on the road surface directly below the center of the pair of
x = CD / 2 + z * PW * (I-IV) (2)
y = CH + z × PW × (J−JV) (3)
z = CD / (PW × (dp−DP)) (4)
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の基準画像T上のI座標およびJ座標、DPは消失点視差を表す。 In the above equations, CD is the distance between the pair of cameras, PW is the viewing angle per pixel, CH is the mounting height of the pair of cameras, and IV and JV are I on the reference image T at the infinity point in front of the host vehicle. Coordinates, J coordinates, and DP represent vanishing point parallax.
また、フィルタリング処理では、イメージプロセッサ7は、基準画像Tの基準画素ブロックと比較画像Tcの画素ブロックとの輝度パターンの類似性の度合いが低い場合には、算出した視差dpを無効と出力するようになっている。
In the filtering process, the
そのため、本実施形態では、距離画像生成手段6は、このようにして基準画像Tの各画素に対して算出された視差dpのうち、イメージプロセッサ7が有効として算出した視差dpのみを上記(4)式に従って換算し、算出された実空間上の距離zを基準画像Tの対応する各画素(I,J)に割り当てて、図4に示すように、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
For this reason, in the present embodiment, the distance
なお、前述したように、ステレオマッチングでは、基準画像T上の例えば3×3画素の基準画素ブロックPBに1つの視差dpが割り当てられるため、上記のように、基準画像T上では3×3画素の9画素に同じ視差dpが割り当てられる。 As described above, in stereo matching, one parallax dp is assigned to a reference pixel block PB of, for example, 3 × 3 pixels on the reference image T. Therefore, as described above, 3 × 3 pixels on the reference image T. The same parallax dp is assigned to these nine pixels.
また、以下の処理では、基準画像T上の例えば3×3画素の1つの基準画素ブロックPBを、距離画像Tzの1画素と見なすようにして、距離画像Tzを生成することとする。 In the following process, the distance image Tz is generated so that one reference pixel block PB of 3 × 3 pixels, for example, on the reference image T is regarded as one pixel of the distance image Tz.
その場合、距離画像Tzの各画素の座標(i,j)と基準画像Tの各画素の座標(I,J)とは異なるものとなるが、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとを、上記(2)〜(4)式と同様の下記(5)〜(7)式に従って1対1に対応付けることができる。
x=CD/2+z×PW×(i−IV) …(5)
y=CH+z×PW×(j−JV) …(6)
z=CD/(PW×(dp−DP)) …(7)
In this case, the coordinates (i, j) of each pixel of the distance image Tz and the coordinates (I, J) of each pixel of the reference image T are different, but the coordinates (i, j) of each pixel of the distance image Tz are different. ) And the parallax dp and the horizontal position x, height y, and distance z in the real space are associated one-to-one according to the following equations (5) to (7) similar to the above equations (2) to (4). be able to.
x = CD / 2 + z * PW * (i-IV) (5)
y = CH + z * PW * (j-JV) (6)
z = CD / (PW × (dp−DP)) (7)
この場合、上記のCDやPW、CH、IV、JV、DPの意味合いは上記(2)〜(4)式の場合と同様であるが、距離画像Tz用に各数値が置換されている。そして、上記(5)〜(7)式により、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとが1対1に対応付けられる。 In this case, the meanings of CD, PW, CH, IV, JV, and DP are the same as those in the above formulas (2) to (4), but each numerical value is replaced for the distance image Tz. The coordinates (i, j) and parallax dp of each pixel of the distance image Tz, and the horizontal position x, height y, and distance z in the real space are in a one-to-one relationship according to the expressions (5) to (7). Is associated with.
また、本実施形態のように、基準画像Tの各画素に実空間上の距離zを割り当てて距離画像Tzを生成する代わりに、基準画像Tの各画素に有効な視差dpを割り当てて距離画像Tzを生成するように構成することも可能である。 Further, instead of generating a distance image Tz by assigning a real space distance z to each pixel of the reference image T as in the present embodiment, a valid parallax dp is assigned to each pixel of the reference image T and the distance image is generated. It can also be configured to generate Tz.
距離画像生成手段6は、このようにして生成した距離画像Tzを距離データメモリ8に順次格納させるとともに、処理部9に順次送信するようになっている。
The distance image generation means 6 stores the distance image Tz generated in this way in the
なお、本実施形態では、上記のように、距離画像生成手段6が、メインカメラ2aとサブカメラ2bで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング等により算出した実空間上の距離zや視差dpに基づいて距離画像Tzを生成するように構成されている場合について説明するが、これに限定されない。
In the present embodiment, as described above, the distance
すなわち、距離画像生成手段6は、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出することが可能であり、それらの各位置のデータを二次元平面上に表して距離画像Tzを生成することが可能であればよい。例えば前述したレーザレーダ測距装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて自車両が走行する路面についての位置のデータを複数の地点で検出することができるものであればよく、検出の手法は特定の手法に限定されない。 That is, the distance image generation means 6 can detect data of positions including the horizontal position x, height y, and distance z in real space on a road surface on which the host vehicle travels at a plurality of points different from each other. It suffices if the distance image Tz can be generated by representing the data of each position on a two-dimensional plane. For example, like the laser radar distance measuring device described above, it is possible to irradiate a laser beam in front of the host vehicle and detect position data on the road surface on which the host vehicle travels based on information of the reflected light at a plurality of points. Any detection method can be used, and the detection method is not limited to a specific method.
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部9は、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13を備え、また、図示しないメモリを備えている。
In this embodiment, the
なお、処理部9において先行車両等の物体を検出する物体検出等の他の処理を行うように構成することも可能である。また、処理部9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、車速やヨーレート、舵角等の測定値が随時入力されるようになっている。
Note that the
以下、処理部9における各処理について、図5および図6のフローチャートに従って説明するとともに、本実施形態に係る路面形状認識装置1の作用について説明する。
Hereinafter, each process in the
代表距離検出手段10は、本実施形態では、まず、距離画像Tz中に、自車両の挙動すなわち自車両の車速やヨーレート等から自車両が今後進行すると推定される自車両の進行路を算出し、図7に示すように、距離画像Tz上に、算出した進行路を含む所定の範囲Rを設定するようになっている(ステップS1)。なお、この所定の範囲Rの設定は必ずしも行われなくてもよい。
In the present embodiment, the representative
そして、代表距離検出手段10は、続いて、距離画像Tzの各水平ラインj上に存在する実空間上の距離zのデータを、水平ラインjごとに作成されたヒストグラムHjに投票するようになっている(ステップS2)。その際、本実施形態では、代表距離検出手段10は、上記の所定範囲R内の水平ラインj上に存在する距離zのデータのみをヒストグラムHjに投票するようになっている。自車両の進行路を含む所定の範囲R以外の実空間上の距離zのデータは路面形状の検出には必ずしも必要がなく、処理の範囲を限定することで処理の高速化を図るためである。
Then, the representative
また、本実施形態では、代表距離検出手段10は、上記の各水平ラインj上に存在する位置のデータ、すなわち位置のデータ中の距離zを水平ラインjごとに仮想平面上にプロットした場合のプロット(z,j)が、過去のサンプリング周期において生成された後述する路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在するような距離zのデータのみを、それぞれヒストグラムHjに投票するようになっている。過去の路面形状モデル等から推定される路面の位置から遠く離れて存在する位置のデータは、路面形状の検出の対象としてふさわしくないためである。
Further, in this embodiment, the representative
また、上記のように、本実施形態では、基準画像Tの最も下側の水平ラインjから順に画像データが撮像手段2から送信され、距離画像生成手段6により生成された距離画像Tzの実空間上の距離zのデータも最も下側の水平ラインjから順に入力される。そのため、代表距離検出手段10も、距離画像Tzの下側の水平ラインjから順に実空間上の距離zのデータをヒストグラムHjに投票し、下側の水平ラインjでの投票が終了すると、その直ぐ上側の水平ラインj+1の実空間上の距離zのデータをヒストグラムHj+1に投票するようにして、各水平ラインjごとに実空間上の距離zのデータを各ヒストグラムHjにそれぞれ投票する。
Further, as described above, in this embodiment, image data is transmitted from the
本実施形態では、代表距離検出手段10は、このようにして、距離画像生成手段6が生成した距離画像Tzに対して処理を行う水平ラインjを上方にシフトさせながら下側の水平ラインjから順に処理を行うようになっている。
In this embodiment, the representative
代表距離検出手段10は、このようにして当該水平ラインjの所定の範囲R内に存在する実空間上の距離zのデータのヒストグラムHjへの投票を完了すると、当該水平ラインjのヒストグラムHjにおける統計値を算出し、その統計値を当該水平ラインjの代表距離zjとして検出するようになっている(ステップS3)。
When the representative
本実施形態では、代表距離検出手段10は、図7に示したように、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjをヒストグラムHjにおける統計値とするようになっており、代表距離検出手段10は、この度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出するようになっている。
In the present embodiment, as shown in FIG. 7, the representative distance detection means 10 uses the class value zj of the class to which the mode value of the frequency F of the histogram Hj belongs as a statistical value in the histogram Hj. The representative
また、代表距離検出手段10は、図8に示すように、検出した水平ラインjの代表距離zjを水平ラインjごとに仮想平面(以下z−j平面という。)上にプロットするようになっている(ステップS4)。 Further, as shown in FIG. 8, the representative distance detecting means 10 plots the representative distance zj of the detected horizontal line j on a virtual plane (hereinafter referred to as zj plane) for each horizontal line j. (Step S4).
また、上記のように、本実施形態では、代表距離検出手段10は、処理を行う水平ラインjを上方にシフトさせながら、代表距離zjのz−j平面上へのプロット処理を水平ラインjごとに行うようになっている。
Further, as described above, in this embodiment, the representative
評価手段11は、代表距離検出手段10が行ったz−j平面上への代表距離zのプロットの連続性を水平ラインjごとに評価するようになっており(ステップS5)、連続性を有しない(ステップS5;NO)と評価したプロットをz−j平面上から除外するようになっている(ステップS6)。前述したように、ステレオマッチング処理ではミスマッチが生じるケースが少なくなく、プロットが路面に対応するような連続性を有しない場合には当該プロットを路面形状の検出の対象としてふさわしくないためである。 The evaluation means 11 evaluates the continuity of the plot of the representative distance z on the zj plane performed by the representative distance detection means 10 for each horizontal line j (step S5), and has continuity. The plot evaluated as not (step S5; NO) is excluded from the zj plane (step S6). As described above, there are not a few cases in which mismatching occurs in stereo matching processing, and if the plot does not have continuity corresponding to the road surface, the plot is not suitable for detection of the road surface shape.
本実施形態では、評価手段11は、z−j平面上に後からプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも遠方側にない場合には、当該後のプロットを先のプロットとの連続性を有しないと評価して、当該後のプロットをz−j平面上から除外するようになっている。
In the present embodiment, when the representative distance zjnew plotted later on the zj plane is not on the far side of the representative distance zjold plotted earlier, the
具体的には、図9に示すように、後でプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも近傍側に存在することになったり、先にプロットされた代表距離zjoldと同じ実空間上の距離zjoldに存在するのは路面形状としては異常である。そのため、評価手段11は、このような場合には、当該後のプロット(zjnew,jnew)を先のプロット(zjold,jold)との連続性を有しないと評価して、当該後のプロット(zjnew,jnew)をz−j平面上から除外するようになっている(ステップS6)。
Specifically, as shown in FIG. 9, the representative distance zjnew plotted later is closer to the representative distance zjold plotted earlier, or the representative distance zjold plotted earlier is used. Existing at the same distance zjold in the real space as the road surface shape is abnormal. Therefore, in such a case, the
一方、図10に示すように、例えば、最初の水平ラインj(j=0)でミスマッチが多数発生する等して代表距離検出手段10で異常な代表距離z0が検出されると、それ以降の水平ラインjで正常な代表距離zjが検出されても、上記の原則に従った場合、それらの正常な代表距離zjを有するプロットが全て除外されてしまい、代表距離z0より遠方側の代表距離zj*を有するプロット(zj*,j*)が出現した時点でようやくz−j平面上へのプロットが再開される状態となる。
On the other hand, as shown in FIG. 10, for example, when an abnormal representative distance z0 is detected by the representative
また、このような状態では、図10を見ても分かるように、例えば、プロット(z0,0)とプロット(zj*,j*)とのZ軸方向に対する傾きと、プロット(zj*,j*)とそれ以降の各プロットとのZ軸方向に対する傾き連続性とが同様の傾きであるとは言い難く、路面形状を表すものとしてのプロットの連続性が確保されているとは言い難い。 Further, in this state, as can be seen from FIG. 10, for example, the inclination of the plot (z0, 0) and the plot (zj * , j * ) with respect to the Z-axis direction and the plot (zj * , j * ) It is difficult to say that the slope continuity with respect to the Z-axis direction of each plot is the same slope, and it is difficult to say that the continuity of the plot representing the road surface shape is ensured.
そこで、本実施形態では、評価手段11は、このような場合、すなわち、連続性を有しないと評価してプロットを除外する処理を連続して行った水平ラインjが例えば4本等に設定される所定の本数に達した場合には(ステップS7;YES)、先のプロットを除外するように構成されている(ステップS8)。
Therefore, in this embodiment, the
そのため、例えば図10に示したような状況になった場合、評価手段11は、図11に示すように、z−j平面上に水平ラインj(j=0)に対応するプロット(z0,0)をプロットした後、連続性を有しないと評価して水平ラインj(j=1)、j(j=2)、j(j=3)、j(j=4)に対応する各プロット(z1,1)、(z2,2)、(z3,3)、(z4,4)を除外する処理を連続して行った場合には、水平ラインj(j=0)に対応するプロット(z0,0)の方が異常なプロットであるとして、z−j平面上からプロット(z0,0)を除外する。そして、評価手段11は、この場合、水平ラインj(j=5)に対応するプロット(z5,5)からz−j平面上へのプロットが再開させるようになっている。
Therefore, for example, when the situation shown in FIG. 10 occurs, the
近似直線算出手段12は、評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロット(zj,j)に対して近似直線を算出するようになっている。上記のように、評価手段11で除外されたプロット(zj,j)もあるため、以下では、プロットの座標を単に(z,j)で表し、上記の代表距離zjを単に代表距離zと表す。 The approximate straight line calculation means 12 calculates approximate straight lines for all plots (zj, j) remaining on the zj plane (virtual plane) without being excluded by the evaluation means 11. . Since there is also a plot (zj, j) excluded by the evaluation means 11 as described above, in the following, the coordinates of the plot are simply expressed as (z, j), and the above representative distance zj is simply expressed as the representative distance z. .
以下、まず、近似直線算出手段12における処理の概要について説明する。 Hereinafter, first, an outline of processing in the approximate straight line calculation means 12 will be described.
本実施形態では、近似直線算出手段12は、評価手段11により除外されずにz−j平面上に残存している全てのプロット(z,j)について、その代表距離zに基づいて、全てのプロットを、自車両に近い側の群G1と遠い側の群G2とに分割するようになっている。そして、2つの群G1、G2の境界部分のプロットを一方の群から他方の群に移し替えるごとに、各群G1、G2に属する各プロットを近似する近似直線L1、L2をそれぞれ群G1、G2ごとに算出するようになっている。
In the present embodiment, the approximate straight
また、本実施形態では、近似直線算出手段12は、最小二乗法を用いて、群G1、G2ごとに、各群G1、G2に属する各プロットをそれぞれ近似する近似直線L1、L2を算出するようになっている。
Further, in the present embodiment, approximation line calculating means 12, using the least squares method, for each
なお、各プロット(z,j)を、
j=a×z+b …(8)
の形で表される近似直線で近似する場合、周知のように、最小二乗法では、a、bは、
a=(nΣzj−Σz・Σj)/{nΣz2−(Σz)2}…(9)
b=(Σz2・Σj−Σzj・Σz)/{nΣz2−(Σz)2}…(10)
の形で算出される。なお、上記(9)、(10)式中のnは各群中のプロットの数を表し、総和Σは各群中の全プロットについて行う。
Each plot (z, j) is
j = a × z + b (8)
As is well known, in the least square method, a and b are as follows.
a = (nΣzj−Σz · Σj) / {nΣz 2 − (Σz) 2 } (9)
b = (Σz 2 · Σj−Σzj · Σz) / {nΣz 2 − (Σz) 2 } (10)
It is calculated in the form of In the above equations (9) and (10), n represents the number of plots in each group, and the total sum Σ is performed for all plots in each group.
本実施形態では、近似直線算出手段12における群G1、G2の分割および近似直線L1、L2の算出は、以下のようにして行われるようになっている。
In the present embodiment, the division of the groups G 1 and G 2 and the calculation of the approximate lines L 1 and L 2 in the approximate
評価手段11により除外されなかった各プロットが、例えば図12(A)に示すようにz−j平面上に残存しているものとする。また、その際、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjは既に全プロットについて算出されているものとする。
It is assumed that each plot that is not excluded by the
近似直線算出手段12は、まず、図12(B)に示すように、残存している全てのプロットDのうち、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して、全てのプロットDを、代表距離zが最も近いプロットD1から3番目に遠いプロットDn−2までのn−2個のプロットDからなる自車両(z=0)に近い側の群G1と、代表距離zが2番目に遠いプロットDn−1と最も遠いプロットDnの2つのプロットDからなる自車両(z=0)から遠い側の群G2に分割する。 First, as shown in FIG. 12 (B), the approximate straight line calculation means 12 has a plot D n−1 that is the second most distant plot D and a plot D that is the third furthest from among all remaining plots D. The boundary DL is set between n−2 , and all plots D are automatically composed of n−2 plots D from the plot D 1 having the closest representative distance z to the plot D n−2, which is the third most distant. It is far from the own vehicle (z = 0) consisting of the group G 1 on the side closer to the vehicle (z = 0) and the two plots D, the plot D n−1 having the second most distant representative distance z and the plot D n farthest. divided into groups of side G 2.
そして、群G1、G2ごとに、各群G1、G2に属する複数のプロットDを近似する近似直線L1、L2をそれぞれ算出する。すなわち、群G1では、プロットD1〜Dn−2のn−2個のプロットDに対して直線近似を行い、群G2では、プロットDn−1、Dnの2つのプロットDに対して直線近似を行って、それぞれ近似直線L1、L2を算出する。
Then, for each
その際、群G1に属する各プロットD1〜Dn−2については、既に算出されているΣz、Σj、Σz2、Σzjから群G2のプロットDn−1、Dnのz、j、z2、zjをそれぞれ減算し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L1の式j=a1×z+b1を算出する。 At this time, for each plot D 1 to D n-2 belonging to the group G 1 , the plots D n−1 and D n of z, j of the group G 2 from the already calculated Σz, Σj, Σz 2 and Σzj. , Z 2 , zj are subtracted, and their values are substituted into the above equations (9) and (10) to calculate a and b, and are substituted into the above equation (8) to obtain the approximate straight line L 1 The equation j = a 1 × z + b 1 is calculated.
また、群G2に属する各プロットDn−1、Dnについては、各プロットDn−1、Dnについてそれぞれ算出したz、j、z2、zjを加算し、すなわちΣz、Σj、Σz2、Σzjを算出し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L2の式j=a2×z+b2を算出する。 For each plot D n−1 , D n belonging to the group G 2 , z, j, z 2 , zj calculated for each plot D n−1 , D n are added, that is, Σz, Σj, Σz 2, calculates the Shigumazj, those values above (9), (10) are substituted into equation a, calculates b, thereof equation (8) is substituted into the approximate straight line L 2 wherein j = a 2 × z + b 2 is calculated.
続いて、境界DL部分のプロットDn−2を群G1から群G2に移し替えて、群G1と群G2とを分割する境界DLの位置を図13に示すように手前側すなわち自車両(z=0)側に1つ分移動させる。すなわち、境界DLを、代表距離zが3番目に遠いプロットDn−2と4番目に遠いプロットDn−3の間に設定する。 Subsequently, the plot D n-2 of the boundary DL portion transferred from a group G 1 in the group G 2, the front side That is, as shown in FIG. 13 the position of the boundary DL for dividing the group G 1 and the group G 2 Move one vehicle toward the vehicle (z = 0). That is, the boundary DL is set between the plot D n−2 where the representative distance z is the third furthest and the plot D n−3 which is the fourth furthest.
そして、上記のようにして算出した群G1に属する各プロットD1〜Dn−2についての各総和Σz、Σj、Σz2、Σzjから、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−2 2、zn−2jn−2をそれぞれ減算して、群G1に属する各プロットD1〜Dn−3についての各総和Σz、Σj、Σz2、Σzjを算出する。 Then, z n corresponding to the plot D n−2 to be transferred from each sum Σz, Σj, Σz 2 , Σzj for each plot D 1 to D n−2 belonging to the group G 1 calculated as described above. −2 , j n−2 , z n−2 2 , z n−2 j n−2 are subtracted, respectively, and the respective sums Σz, Σj, and the respective sums Σz, Σj for the plots D 1 to D n-3 belonging to the group G 1 Σz 2 and Σzj are calculated.
また、群G2については、上記のようにして算出した群G2に属する各プロットDn−1、Dnについての各総和Σz、Σj、Σz2、Σzjに、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−2 2、zn−2jn−2を加算して、群G2に属する各プロットDn−2〜Dnについての各総和Σz、Σj、Σz2、Σzjを算出する。 As for the group G 2, the sum Shigumaz for each plot D n-1, D n which belongs to the group G 2 calculated as described above, Σj, Σz 2, the Shigumazj, plot is transferred D n- 2 by adding the z n-2, j n- 2, z n-2 2, z n-2 j n-2 corresponding, respective for each plot D n-2 to D n which belongs to the group G 2 Sums Σz, Σj, Σz 2 , and Σzj are calculated.
そして、上記と同様にして群G1に属する各プロットD1〜Dn−3について近似直線L1の式j=a1×z+b1を算出し、群G2に属する各プロットDn−2〜Dnについて近似直線L2の式j=a2×z+b2を算出する。
Then, to calculate the
本実施形態では、近似直線算出手段12は、このようにして評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDについて、代表距離zに基づいて全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割し、2つの群G1、G2の境界DL部分のプロットDaを一方の群G1から他方の群G2に移し替えるごとに、プロットDa(xa,ja)から算出されるza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjからは減算し、群G2における各総和Σz、Σj、Σz2、Σzjには加算して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出するようになっている。
In the present embodiment, the approximate straight line calculation means 12 is based on the representative distance z for all plots D remaining on the zj plane (virtual plane) without being excluded by the evaluation means 11 in this way. All the plots D are divided into a group G 1 on the side closer to the host vehicle and a group G 2 on the far side, and the plot Da of the boundary DL portion between the two groups G 1 and G 2 is changed from one group G 1 to the other. Each time the transfer to the group G 2 is performed, za, ja, za 2 and zaja calculated from the plot Da (xa, ja) are subtracted from the respective sums Σz, Σj, Σz 2 and Σzj in the group G 1 , each sum Shigumaz in G 2, Σj, Σz 2, by adding the Shigumazj, has an approximate
このように構成すれば、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ容易かつ高速に算出することが可能となる。
According to this structure, the sum Shigumaz in each group G 1, G 2, Σj, Σz 2, approximate line calculated easily and fast to each Shigumazj, approximating each plot for each
なお、上記の構成例では、群G1と群G2を分割する境界DLの位置を自車両から最も遠い側に設定し、境界DLの位置を自車両に近づく方向に移動させながら近似直線L1、L2の算出処理を行う場合について説明したが、その逆に、境界DLの位置を自車両から最も近い側、すなわち代表距離zが2番目に近いプロットD2と3番目に近いプロットD3の間に設定し、境界DLの位置を自車両から遠ざかる方向に移動させながら近似直線L1、L2の算出処理を行うように構成することも可能である。 In the above configuration example, the position of the boundary DL that divides the group G 1 and the group G 2 is set on the farthest side from the own vehicle, and the approximate straight line L is moved while moving the position of the boundary DL in a direction approaching the own vehicle. 1 and L 2 have been described, but conversely, the position of the boundary DL is closest to the vehicle, that is, the plot D 2 where the representative distance z is second closest and the plot D closest to third. It is also possible to set between 3 and to calculate the approximate lines L 1 and L 2 while moving the position of the boundary DL in a direction away from the host vehicle.
その場合も、境界部分のプロットDaを群G2から群G1に移し替えるごとに、プロットDaに対応するza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjに加算し、群G2における各総和Σz、Σj、Σz2、Σzjから減算するだけで、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出することが可能となる。 Also in this case, every time the boundary portion plot Da is transferred from the group G 2 to the group G 1 , za, ja, za 2 , zaja corresponding to the plot Da are converted into the sums Σz, Σj, Σz 2 in the group G 1 . It adds to Σzj, Σz the sum of the group G 2, Σj, Σz 2, only subtracted from Shigumazj, the sum Shigumaz in each group G 1, G 2, Σj, Σz 2, Σzj easy and fast to each It is possible to calculate.
そこで、図5のフローチャートに示すように、近似直線算出手段12は、まず、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjを算出するために、z−j平面上に対するプロットが評価手段11により連続性を有すると評価され除外されずにプロットされるごとに(ステップS5;YES)、それまでに算出されているΣz、Σj、Σz2、Σzjに、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ加算していく(ステップS9)。 Therefore, as shown in the flowchart of FIG. 5, the approximate straight line calculating means 12 first calculates z−, in order to calculate Σz, Σj, Σz 2 , Σzj necessary for the calculations of the above equations (9) and (10). Each time the plot on the j plane is evaluated by the evaluation means 11 as having continuity and plotted without being excluded (step S5; YES), the previously calculated Σz, Σj, Σz 2 , Σzj Z, j, z 2 and zj calculated from the current plot (z, j) are added (step S9).
また、z−j平面上に対するプロットが、評価手段11により連続性を有しないと評価されて除外されると(ステップS8)、近似直線算出手段12は、それまでにΣz、Σj、Σz2、Σzjが算出されていれば、それらのΣz、Σj、Σz2、Σzjから、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ減算する(ステップS10)。
If the plot on the z-j plane is evaluated as having no continuity by the
代表距離検出手段10や評価手段11、近似直線算出手段12は、以上の処理を、距離画像生成手段6から距離画像Tzの各水平ラインjごとの距離zのデータが送信されてくるごとに行い、全ての水平ラインjについて処理を終了していなければ(ステップS11;NO)、次の水平ラインj+1(すなわち本実施形態では水平ラインjの直ぐ上側の水平ラインj+1)に対して上記の処理を繰り返すようになっている。
The representative
なお、本実施形態では、上記のように、距離画像Tz上に所定の範囲R(図7参照)を設定して(ステップS1)、所定の範囲Rの距離zのデータについて処理を行うため、ステップS11の判断処理における全ての水平ラインjとは所定の範囲Rが存在する水平ラインjを指す。 In the present embodiment, as described above, the predetermined range R (see FIG. 7) is set on the distance image Tz (step S1), and the data of the distance z in the predetermined range R is processed. All the horizontal lines j in the determination process of step S11 indicate horizontal lines j in which a predetermined range R exists.
一方、全ての水平ラインjについて処理を終了すると(ステップS11;YES)、近似直線算出手段12は、上記のようにして、z−j平面(仮想平面)上に残存している全てのプロットDのうち、まず、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割して(図6のステップS12)、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出して、群G1、G2を分割する境界DLの位置と群G1、G2ごとの近似直線L1、L2のa1、b1、a2、b2等の情報とを対応付けてメモリに保存するようになっている(ステップS13)。 On the other hand, when the processing is completed for all the horizontal lines j (step S11; YES), the approximate straight line calculation means 12 makes all the plots D remaining on the zj plane (virtual plane) as described above. of, first, the representative distance z plot distant second D n-1 and the third distant plot D n-2 sets the boundary DL between to the group closer to all plots D in the vehicle G 1 and the group G 2 on the far side (step S12 in FIG. 6), approximate lines L 1 and L 2 that approximate the respective plots for each of the groups G 1 and G 2 are calculated, and the group G 1 , G 2 and the information of the approximate lines L 1 , L 2 such as a 1 , b 1 , a 2 , b 2, etc. for each of the groups G 1 and G 2 are stored in the memory in association with each other. (Step S13).
また、路面形状モデル生成手段13は、近似直線算出手段12がプロットDを移し替えて群G1、G2ごとに算出した近似直線L1、L2に基づいてそれぞれ統計値を算出してメモリに保存するようになっている(ステップS14)。
In addition, the road surface shape
本実施形態では、路面形状モデル生成手段13は、近似直線L1、L2に基づく統計値として、各群G1、G2に属する各プロットDの近似直線L1、L2に対する分散σ1 2、σ2 2を下記(11)、(12)式に従ってそれぞれ算出するようになっている。
σ1 2=Σ{(a1×z+b1)−j}2/n1 …(11)
σ2 2=Σ{(a2×z+b2)−j}2/n2 …(12)
In the present embodiment, the road surface shape
σ 1 2 = Σ {(a 1 × z + b 1 ) −j} 2 / n 1 (11)
σ 2 2 = Σ {(a 2 × z + b 2 ) −j} 2 / n 2 (12)
なお、n1、n2はそれぞれ群G1、G2に属する各プロットDの数を表す。また、統計値として、分散σ2の代わりに、各群G1、G2に属する各プロットDの標準偏差を群G1、G2ごとに算出するように構成することも可能である。 Note that n 1 and n 2 represent the numbers of plots D belonging to the groups G 1 and G 2 , respectively. Moreover, as the statistical value, instead of the variance sigma 2, it is also possible to constitute the standard deviation of each plot D belonging to each group G 1, G 2 to calculate for each group G 1, G 2.
そして、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了していなければ(ステップS15;NO)、境界DL部分のプロットDaを群G1から群G2に移し替えて(ステップS16)、上記のステップS13、S14の処理を繰り返す。 If the transfer of the plot Da of the boundary DL portion between the two groups G 1 and G 2 to the group G 2 on the far side from the group G 1 on the far side of the host vehicle has not been completed (step S15; NO) ), a plot Da boundary DL portion transferred from a group G 1 in the group G 2 (step S16), and repeats the processing of steps S13, S14.
また、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了すると(ステップS15;YES)、路面形状モデル生成手段13は、近似直線L1、L2の組み合わせのうち、各近似直線L1、L2の組み合わせごとに算出した統計値に基づいて、例えばσ1 2、σ2 2の合計値が最小となる近似直線L1、L2の組み合わせを選択する等して、2つの群G1、G2の近似直線L1、L2の組み合わせの中から1つの組み合わせを選択する(ステップS17)。
When the transfer of the plot Da of the boundary DL portion between the two groups G 1 and G 2 to the group G 2 on the far side from the group G 1 on the far side is completed (step S15; YES), the road surface The shape model generation means 13 is, for example, a total value of σ 1 2 and σ 2 2 based on a statistical value calculated for each combination of the approximate lines L 1 and L 2 among the combinations of the approximate lines L 1 and L 2. There are equal to select a combination of the
そして、路面形状モデル生成手段13は、選択した近似直線L1、L2の組み合わせを用いて路面形状モデルをz−j平面(仮想平面)上の形状として生成するようになっている(ステップS18)。 Then, the road surface shape model generation means 13 generates a road surface shape model as a shape on the zj plane (virtual plane) using the selected combination of the approximate lines L 1 and L 2 (step S18). ).
例えば、図12(A)に示したようにz−j平面上に行われたプロットDの場合、路面形状モデル生成手段13は、図14に示すような近似直線L1、L2の組み合わせを選択して、z−j平面(仮想平面)上の形状として路面形状モデルを生成する。すなわち、この場合、自車両(z=0)から境界DLまでの範囲では近似直線L1、境界DLよりも遠方の範囲では近似直線L2をモデルとする路面形状モデルが生成される。 For example, in the case of a plot D performed on the zj plane as shown in FIG. 12A, the road surface shape model generation means 13 uses a combination of approximate straight lines L 1 and L 2 as shown in FIG. A road surface shape model is generated as a shape on the zj plane (virtual plane). That is, in this case, the vehicle (z = 0) approximate line L 1 in the range of up to the boundary DL from the distant range than the boundary DL road surface shape model to model an approximate straight line L 2 is generated.
また、本実施形態では、路面形状モデル生成手段13は、さらに、図14のように選択した2つの群G1、G2の各近似直線L1、L2の交点Cの部分を、各近似直線L1、L2を接線とする緩和曲線で置換して、生成した路面形状モデルL1、L2を補正するようになっている。
Further, in the present embodiment, the road surface shape
本実施形態では、緩和曲線として、図15に示すような円弧Raが用いられるようになっている。また、緩和曲線として、二次曲線等を用いるように構成することも可能である。そして、緩和曲線として円弧Raを用いる場合、その曲率半径rを、予め設定された固定値としてもよく、また、近似直線L1、L2の傾きa1、a2の差分等に依存して変化するように構成してもよい。さらに、曲率半径rを種々変化させ、プロットされた各プロットDの円弧Raに対する分散等に基づいて最適な曲率半径rを算出するように構成することも可能である。 In the present embodiment, an arc Ra as shown in FIG. 15 is used as the relaxation curve. It is also possible to use a quadratic curve or the like as the relaxation curve. When the arc Ra is used as the relaxation curve, the radius of curvature r may be a fixed value set in advance, and depends on the difference between the slopes a 1 and a 2 of the approximate straight lines L 1 and L 2 , etc. You may comprise so that it may change. Furthermore, the curvature radius r can be variously changed, and the optimum curvature radius r can be calculated based on the variance or the like of each plotted plot D with respect to the arc Ra.
路面形状モデル生成手段13は、以上のようにして算出した路面形状モデル、すなわち選択した近似直線L1、L2のa1、b1、a2、b2等の情報や境界DLの位置の情報、また、必要に応じて上記の各手段が算出等した結果を、メモリに保存するとともに、外部装置に出力するようになっている。
The road surface shape
なお、図2に示した例では、自車両の前方に上り坂や平坦な路面が存在する場合について説明したが、自車両の前方に下り坂が存在する場合にも同様にして処理が行われる。そして、そのような場合でも、的確に境界DLが設定され、自車両に近い側の群G1と遠い側の群G2について、それぞれ的確に近似直線L1、L2を選択して路面形状モデルを生成することが可能となる。 In the example shown in FIG. 2, the case where there is an uphill or a flat road surface ahead of the host vehicle has been described, but the same processing is performed when there is a downhill ahead of the host vehicle. . Even in such a case, the boundary DL is accurately set, and the approximate straight lines L 1 and L 2 are selected accurately for the group G 1 on the side closer to the host vehicle and the group G 2 on the far side, respectively, and the road surface shape is selected. A model can be generated.
以上のように、本実施形態に係る路面形状認識装置1によれば、距離画像Tzの各水平ラインj上の各画素の距離zのデータを水平ラインjごとのヒストグラムHjに投票して、その統計値を各水平ラインjごとの代表距離zjとして検出し、水平ラインjごとに代表距離zjをz−j平面(仮想平面)上にプロットし、連続性を有しないプロットは除外し、z−j平面上に残存している全てのプロット(z,j)に対して近似直線L1、L2を算出して、最も適切な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する。
As described above, according to the road surface
そのため、本実施形態に係る路面形状認識装置1では、例えば図2に示したような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。
Therefore, in the road surface
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ラインj上での出現頻度は正常な値の出現頻度より小さいため、そのようなデータは、距離画像Tzの各水平ラインj上の各画素の距離zのデータの各ヒストグラムHjへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離zjとして採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。 Even when a mismatch occurs in the stereo matching process or abnormal data is obtained by the laser radar ranging device, the frequency of appearance of such data on each horizontal line j is higher than the frequency of appearance of normal values. Since it is small, such data is shaken off in the voting process for each histogram Hj of the data of the distance z of each pixel on each horizontal line j of the distance image Tz. Even if such data is adopted as the representative distance zj, the plot is excluded if the corresponding plot does not have continuity.
そのため、本実施形態に係る路面形状認識装置1では、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。
Therefore, the road surface
さらに、車線等が標示されている路面では、例えば図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。 Furthermore, on a road surface on which a lane or the like is marked, for example, data of a relatively large number of distances z are effectively detected at the edge of the marking such as the lane illustrated in FIG. 16 or an arrow marked on the road surface. Based on this, the road surface shape can be accurately and stably detected.
このように、本実施形態に係る路面形状認識装置1によれば、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能となる。
As described above, according to the road surface
なお、本実施形態では、距離画像Tz中に設定する所定の範囲R(図7参照)として、自車両の進行路を含む所定の範囲Rを設定する場合について説明したが、例えば図16に示したように、基準画像T中に車線が撮像されるようなシーンでは、上記のように、図示しない距離画像Tz中の車線等のエッジ部分に比較的多数の距離zのデータが有効に検出される。 In the present embodiment, the case where the predetermined range R including the traveling path of the host vehicle is set as the predetermined range R (see FIG. 7) set in the distance image Tz has been described. As described above, in a scene in which a lane is captured in the reference image T, as described above, a relatively large number of distance z data is effectively detected at the edge portion of the lane in the distance image Tz (not shown). The
そのため、例えば後述する第2の実施形態のように、基準画像Tや距離画像Tz上に車線を検出する車線検出手段を設けておき、距離画像Tz中に設定する所定の範囲Rを、車線検出手段が検出した車線に基づき、例えばそれらの車線を含む所定の範囲に設定するように構成することも可能である。 Therefore, for example, as in a second embodiment described later, lane detection means for detecting a lane is provided on the reference image T or the distance image Tz, and a predetermined range R set in the distance image Tz is detected as a lane detection. Based on the lane detected by the means, for example, a predetermined range including the lane may be set.
また、本実施形態では、図7に示したように、代表距離検出手段10において、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出する場合について説明したが、例えば図17に示すように、ヒストグラムHjの度数Fにおける例えば2個等の所定個数のピーク値がそれぞれ属する階級の各階級値zj1、zj2をヒストグラムHjにおける統計値とし、各階級値zj1、zj2をそれぞれ当該水平ラインjの代表距離zj1、zj2として検出するように構成することも可能である。
In the present embodiment, as shown in FIG. 7, the representative
また、ヒストグラムHjの度数Fの最頻値やピーク値に対して予め閾値を設けておき、最頻値やピーク値が閾値以上の場合にのみ、最頻値やピーク値が属する階級の階級値を当該水平ラインjの代表距離zjとして検出するように構成することも可能である。 Further, a threshold value is set in advance for the frequency value or peak value of the frequency F of the histogram Hj, and the class value of the class to which the mode value or peak value belongs only when the mode value or peak value is equal to or greater than the threshold value. Can be detected as a representative distance zj of the horizontal line j.
さらに、本実施形態では、近似直線算出手段12で評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDに対して境界DLを設定し、その境界DLを移動させながら自車両に近い側の群G1と遠い側の群G2についてそれぞれ近似直線L1、L2を算出し、路面形状モデル生成手段13で最適な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する場合について説明した。
Further, in this embodiment, the boundary DL is set for all plots D remaining on the zj plane (virtual plane) without being excluded by the
しかし、路面形状モデルの生成のさせ方は、これに限定されず、例えば、路面形状モデル生成手段13が、プロット(zj,j)が評価手段11により除外されずにz−j平面上にプロットされるごとに、当該プロットの座標(zj,j)を図示しないハフ平面に投票してハフ変換を行い、その結果から適切な2本の直線を選択することで2本の近似直線L1、L2を算出して前述した路面形状モデルを生成するように構成することも可能である。
However, the method for generating the road surface shape model is not limited to this. For example, the road surface shape
[第2の実施の形態]
自車両が走行する路面の形状は、例えば図16に示したようなカメラ等の撮像手段で撮像した画像T中から車線を検出し、検出した車線に基づいて路面形状モデルを生成するようにして認識することも可能である。本発明の第2の実施形態では、第1の実施形態に係る路面形状認識装置1の機能のほかに、さらに、上記のように画像T中に検出した車線に基づいて路面形状モデルを生成する機能を備えた路面形状認識装置20について説明する。
[Second Embodiment]
As for the shape of the road surface on which the host vehicle travels, for example, a lane is detected from an image T captured by an imaging means such as a camera as shown in FIG. 16, and a road surface shape model is generated based on the detected lane. It is also possible to recognize. In the second embodiment of the present invention, in addition to the function of the road surface
なお、以下では、前述した路面形状モデル生成手段13により生成された路面形状モデルを第1の路面形状モデルといい、後述する車線検出手段14により画像T中に検出した車線に基づいて生成された路面形状モデルを第2の路面形状モデルという。また、第1の実施形態で説明したように、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された路面形状モデルを第1の路面形状モデルという。
In the following, the road surface shape model generated by the road surface shape
図18に示すように、第2の実施形態に係る路面形状認識装置20においても、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13が設けられており、これらの構成は第1の実施形態に係る路面形状認識装置1の場合と同様である。
As shown in FIG. 18, also in the road surface
本実施形態では、処理部9に、さらに、車線検出手段14と処理手段15とが設けられており、車線検出手段14は、代表距離検出手段10や路面形状モデル生成手段13等とは独立して、それらの処理と同時並行で車線検出等を行うようになっている。
In the present embodiment, the
車線検出手段14は、本実施形態では、自車両の前方を撮像した基準画像T上に車線を検出するようになっている。なお、以下では、基準画像T上に車線を検出する場合について説明するが、比較画像Tc上に車線を検出するように構成することも可能である。また、車線検出手段14における車線検出処理の構成は、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。 In the present embodiment, the lane detection means 14 detects a lane on the reference image T obtained by imaging the front of the host vehicle. In the following, a case where a lane is detected on the reference image T will be described. However, a configuration may be adopted in which a lane is detected on the comparison image Tc. The configuration of the lane detection process in the lane detection means 14 is described in detail in Japanese Patent Application Laid-Open No. 2006-331389 previously filed by the applicant of the present application, and the detailed description is left to those publications.
車線検出手段14は、撮像手段2から画像データメモリ5等を介して基準画像Tの水平ラインJの画像データが送信されてくると、当該水平ラインJ上を探索して、互いに隣接する画素の輝度pの差Δpが所定の閾値Δpth1以上である画素であって、道路面の位置にある画素を車線候補点cr、clとして検出するようになっている。そして、この車線候補点cr、clの検出処理を、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら行い、検出した車線候補点cr、clをつなぎ合わせて、今回のサンプリング周期で撮像された基準画像T上に車線LR、LLを検出するようになっている。
When the image data of the horizontal line J of the reference image T is transmitted from the
なお、本実施形態では、前述したように、撮像手段2から、撮像した基準画像Tの各画素の輝度pのデータが、1画素幅の水平ラインJごとに、かつ、下方の水平ラインJから順に送信されてくるため、車線検出手段14は上記のように探索する水平ラインJを基準画像Tの上方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成されている。
In the present embodiment, as described above, the luminance p data of each pixel of the captured reference image T from the
具体的には、車線検出手段14は、本実施形態では、まず、前回のサンプリング周期で検出した右側の車線LRlastと左側の車線LLlastの基準画像T上での位置を、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のサンプリング周期から今回のサンプリング周期までの間の自車両の挙動に基づいて修正して、今回のサンプリング周期における基準画像T上での車線の各位置を推定する。
Specifically, in this embodiment, the
そして、例えば図19に示すように、推定した今回のサンプリング周期での基準画像T上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインJ上で車線候補点cr、clを探索する探索領域Sr、Slとしてそれぞれ自車両の左右に設定するようになっている。 Then, for example, as shown in FIG. 19, with respect to each position of the lane on the reference image T in the estimated current sampling period, a range that is a predetermined distance apart in the real space in the left-right direction is set to each horizontal Search areas Sr and Sl for searching for lane candidate points cr and cl on the line J are set to the left and right of the host vehicle, respectively.
そして、図19に示すように、撮像手段2から、撮像した基準画像Tのうち1画素幅の水平ラインJの各画素の輝度pが入力されてくると、本実施形態では、車線検出手段14は、まず、右側の探索領域Srにおける水平ラインJ上を領域Srの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図20に示すように、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された所定の閾値Δpth1以上となり輝度pが大きく変化する画素を車線候補点crとして検出するようになっている。
As shown in FIG. 19, when the luminance p of each pixel of the horizontal line J having a width of one pixel is input from the
車線検出手段14は、水平ラインJ上における右側の探索領域Srでの探索を終了すると、続いて、同じ水平ラインJ上における左側の探索領域Slでの探索を領域Slの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点clを検出するようになっている。 When the lane detection means 14 finishes the search in the right search area Sr on the horizontal line J, the lane detection means 14 subsequently searches the left search area S1 on the same horizontal line J for the search start point isl at the right end of the area Sl. To the left end search end point iel, and the lane candidate point cl is detected in the same manner as described above.
車線検出手段14は、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインJの各画素の輝度pが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら車線候補点cr、clを検出するようになっている。
The
このようにして検出された車線候補点cr、clを基準画像T上にプロットすると、図21に示すように、右側の車線付近の領域Aと左側の車線付近の領域Bにそれぞれ車線候補点cr、clがプロットされる。なお、図21や以下の各図では、右側と左側の車線候補点cr、clがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、非常に多くの車線候補点cr、clが検出される。 When the lane candidate points cr and cl detected in this way are plotted on the reference image T, as shown in FIG. 21, lane candidate points cr are respectively displayed in a region A near the right lane and a region B near the left lane. , Cl are plotted. In FIG. 21 and the following figures, it is described that only a dozen or so lane candidate points cr and cl on the right side and the left side are detected, but in reality, there are usually very many lane candidate points. cr and cl are detected.
また、本実施形態では、車線検出手段14は、例えば右側の車線に対応する車線候補点crを検出するごとに、検出した車線候補点crの座標(I,J)を図示しないハフ平面に投票するようになっており、上記のように各水平ラインJでの車線候補点crの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。
In this embodiment, for example, each time the
左側の車線に対応する車線候補点clについても同様にハフ変換処理を行うと、図21に示した結果から、例えば図22に示すように、右側の車線に対応する直線として直線r1、r2が、また、左側の車線に対応する直線として直線l1、l2がそれぞれ抽出される。そこで、車線検出手段14は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図23に示すように、右側および左側の車線にふさわしい直線として直線r1、l1をそれぞれ選択するようになっている。
If the Hough conversion process is similarly performed for the lane candidate point cl corresponding to the left lane, the straight lines r1 and r2 as straight lines corresponding to the right lane are obtained from the result shown in FIG. 21, for example, as shown in FIG. In addition,
そして、車線検出手段14は、自車両に近い側では、図24に示すように、選択した直線r1、l1の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点cr、clからのI軸方向およびJ軸方向の各変位が所定範囲内にある車線候補点cr、clをそれぞれ追跡しながらつなぎ合わせていくことで、図25に示すように、基準画像T上に車線LR、LLをそれぞれ検出するようになっている。 Then, the lane detection means 14 determines the portion on the near side of the selected straight lines r1 and l1 as a straight line suitable for the lane, as shown in FIG. As shown in FIG. 25, the lane candidate points cr and cl whose displacements in the I-axis direction and J-axis direction from the lower lane candidate points cr and cl are within a predetermined range are tracked and connected. In addition, the lanes LR and LL are detected on the reference image T, respectively.
車線検出手段14は、このようにして検出した車線LR、LLの情報、車線LR、LL検出の基となった車線候補点cr、clの各座標等をそれぞれメモリに保存するようになっている。 The lane detection means 14 stores the information on the lanes LR and LL detected in this way, the coordinates of the lane candidate points cr and cl that are the basis of the detection of the lanes LR and LL, and the like in a memory. .
また、車線検出手段14は、このようにして検出した左右の車線LR、LLの情報に基づいて、実空間上における車線の三次元的なモデルを形成して路面形状モデル(すなわち第2の路面形状モデル)を生成するようになっている。 Further, the lane detection means 14 forms a three-dimensional model of the lane in the real space based on the information on the left and right lanes LR, LL detected in this way, thereby creating a road surface shape model (that is, the second road surface). (Shape model) is generated.
本実施形態では、車線検出手段14は、例えば図26(A)、(B)に示すように、検出した車線LL、LRを所定区間ごとに三次元の近似直線で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。なお、図26(A)では車線LR、LLを自車両前方の7つの区間でそれぞれ近似直線で近似し、図26(B)では車線LR、LLを自車両前方の2つの区間に分割してそれぞれ近似直線で近似する場合が示されているが、これに限定されない。
In the present embodiment, the
本実施形態では、各所定区間ごとの直線式を、下記(13)、(14)式で表され図26(A)に示される仮想平面(すなわちZ−X平面)上の路面モデルである水平形状モデルと、下記(15)、(16)式で表され図26(B)に示される仮想平面(すなわちZ−Y平面)上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。 In the present embodiment, the linear equation for each predetermined section is represented by the following equations (13) and (14), and is a horizontal road surface model on a virtual plane (that is, the ZX plane) shown in FIG. A shape model and a road height model which is a road surface model on a virtual plane (that is, a ZY plane) represented by the following equations (15) and (16) and shown in FIG. The detected road surface model information is stored in the memory.
[水平形状モデル]
左車線LL x=aL・z+bL …(13)
右車線LR x=aR・z+bR …(14)
[道路高モデル]
左車線LL y=cL・z+dL …(15)
右車線LR y=cR・z+dR …(16)
[Horizontal shape model]
Left lane LL x = a L · z + b L (13)
Right lane LR x = a R · z + b R (14)
[Road height model]
Left lane LL y = c L · z + d L (15)
Right lane LR y = c R · z + d R (16)
なお、図26(B)では、右車線LRの場合が代表して示されているが、左車線LLについても同様に道路高モデルが生成されるようになっており、本実施形態では、第2の路面形状モデルは、左右の車線LR、LLの道路高モデルの各距離Zでの平均値として算出されるようになっている。
In FIG. 26 (B), the case of the right lane LR is representatively shown, but a road height model is similarly generated for the left lane LL. The road
また、図26(B)に示した道路高モデル(第2の路面形状モデル)において自車両前方の2つの区間に分割する境界Z0は、第1の実施形態において示した境界DLと、その実空間上の距離zが必ずしも同じになるように設定される必要はなく、また、境界Z0の位置は固定の位置でもよく、或いはサンプリング周期ごとに位置が可変されるように構成されていてもよい。 In addition, the boundary Z0 divided into two sections ahead of the host vehicle in the road height model (second road surface shape model) shown in FIG. 26B is the boundary DL shown in the first embodiment and its real space. The upper distance z does not necessarily have to be set to be the same, and the position of the boundary Z0 may be a fixed position, or may be configured so that the position can be varied for each sampling period.
処理手段15は、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択して、必要に応じて外部装置に出力するようになっている。なお、上記のように第1の路面形状モデルはz−j平面上のモデルであり、第2の路面形状モデルはZ−Y平面上のモデルであるため、評価においては、例えば上記(6)式に従ってjをyに適宜変換し、或いはyをjに適宜変換して評価が行われる。
The
本実施形態では、処理手段15は、下記の各観点を総合的に評価して、第1および第2の路面形状モデルのいずれかを選択するようになっている。 In the present embodiment, the processing means 15 comprehensively evaluates the following viewpoints and selects one of the first and second road surface shape models.
(1)各路面形状モデルを検出する際に用いられたデータの点数。
第1の路面形状モデルにおけるデータの点数とは、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)の数である。また、第2の路面形状モデルにおけるデータの点数とは、車線LR、LLの検出に用いられた車線候補点cr、cl、すなわち検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clの数である。
(1) The number of data points used when detecting each road surface shape model.
The data score in the first road surface shape model is the number of plots (zj, j) remaining on the zj plane (virtual plane) without being excluded by the evaluation means 11. The number of data points in the second road surface shape model is the lane candidate points cr, cl used for detecting the lanes LR, LL, that is, on the detected lanes LR, LL or within a predetermined vicinity thereof. This is the number of lane candidate points cr and cl.
なお、プロット(zj,j)は距離画像Tzの各水平ラインj上に最大でも1つ検出されるのに対し、車線候補点cr、clは基準画像Tの各水平ラインJ上に左右に2つずつ検出される可能性があるため、プロット(zj,j)の数や車線候補点cr、clの数を比較できる形に変換して比較される。また、データの点数が多いほど、評価が高くなる。 Note that at most one plot (zj, j) is detected on each horizontal line j of the distance image Tz, while lane candidate points cr and cl are 2 on the left and right on each horizontal line J of the reference image T. Since there is a possibility that they will be detected one by one, the number of plots (zj, j) and the number of lane candidate points cr, cl are converted into a form that can be compared and compared. In addition, the higher the score of data, the higher the evaluation.
(2)データが検出された範囲。
すなわち、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)や、検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clが、自車両前方のどの距離からどの距離までの間に検出されているかに関する観点である。データが検出された範囲が大きいほど、評価が高くなる。
(2) A range in which data is detected.
In other words, the plot (zj, j) remaining on the zj plane (virtual plane) without being excluded by the evaluation means 11 or on the detected lanes LR and LL or within a predetermined vicinity thereof. This is a point of view regarding which lane candidate points cr and cl are detected from which distance in front of the host vehicle to which distance. The larger the range in which data is detected, the higher the evaluation.
(3)過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と、各路面形状モデルの位置との差。
この場合は、サンプリング周期ごとの位置のずれが小さいほど、路面形状モデルが安定的に生成されているとして評価が高くなる。
(3) The difference between each road surface shape model generated in the past sampling cycle and the position of each road surface shape model in the current sampling cycle estimated based on the behavior of the host vehicle thereafter.
In this case, the smaller the position shift for each sampling period, the higher the evaluation that the road surface shape model is stably generated.
(4)各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差。
第1の実施形態で説明したように、境界DLで区分される2つの2つの群G1、G2の各近似直線L1、L2に対するデータ(すなわちプロット)の分散σ1 2、σ2 2は上記(11)、(12)式で算出されている。また、標準偏差を用いる場合には、標準偏差は各分散σ2の平方根として算出することができる。
(4) Data variance or standard deviation for each approximate straight line constituting each road surface shape model.
As described in the first embodiment, the variances σ 1 2 and σ 2 of data (that is, plots) for the two approximate groups L 1 and L 2 of the two groups G 1 and G 2 divided by the boundary DL. 2 is calculated by the above equations (11) and (12). In the case of using the standard deviation, the standard deviation can be calculated as the square root of the variance sigma 2.
また、車線検出手段14は、検出した車線LL、LRを近似した上記(15)、(16)式で表される近似直線に対する検出された各データ(すなわち車線候補点cr、cl)の分散σ2または標準偏差を、上記(11)、(12)式と同様の式に従って算出するようになっている。そして、この場合は、分散や標準偏差が小さいほど、評価が高くなる。
Further, the
なお、上記の各観点を全て評価するように構成する必要はなく、それらの観点のうち少なくとも1つに基づいて第1の路面形状モデルと第2の路面形状モデルとがそれぞれ評価される。 In addition, it is not necessary to comprise so that all said viewpoints may be evaluated, and a 1st road surface shape model and a 2nd road surface shape model are each evaluated based on at least 1 among those viewpoints.
また、第1の路面形状モデルと第2の路面形状モデルとのいずれかを選択するように構成する代わりに、処理手段15で、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成するように構成することも可能である。 In addition, instead of configuring to select either the first road surface shape model or the second road surface shape model, the processing means 15 performs weighted averaging of the road surface shape models according to the evaluation and newly adds them. It can also be configured to generate a road surface shape model.
この場合、処理手段15は、例えば、上記の各観点から第1および第2の路面形状モデルに対してそれぞれ評価ポイントs1、s2を割り当て、評価ポイントs1、s2にそれぞれ依存して変わる重みをそれぞれ第1および第2の路面形状モデルにつけて平均化して、新たに路面形状モデルを生成するように構成することができる。 In this case, for example, the processing means 15 assigns evaluation points s1 and s2 to the first and second road surface shape models from the above viewpoints, and weights that change depending on the evaluation points s1 and s2, respectively. The first and second road surface shape models can be averaged to generate a new road surface shape model.
次に、本実施形態に係る路面形状認識装置20の作用について説明する。
Next, the operation of the road surface
例えば、例えば図16に示したような画像Tが撮像されるシーンでは、道路面に標示された車線や矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、路面形状モデル生成手段13においても車線検出手段14においても路面形状モデルがそれぞれ的確に生成できる。 For example, in a scene where an image T as shown in FIG. 16 is captured, for example, a relatively large number of distance z data is effectively detected at the edge portions of the markings such as lanes and arrows marked on the road surface. The road surface shape model generation means 13 and the lane detection means 14 can generate the road surface shape model accurately.
そのため、上記のように、処理手段15で、上記の各観点から第1の路面形状モデルと第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択し、或いは、評価に応じてそれらの路面形状モデルを重み付け平均して新たに路面形状モデルを生成することで、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。
Therefore, as described above, the
また、例えば図2に示したような画像Tが撮像されるシーンでは、路面上に車線が標示されていないため、車線検出手段14による第2の路面形状モデルを生成することができず、或いは仮に生成されたとしても、非常に評価が低く信頼性に乏しい路面形状モデルしか得ることができない。
Further, for example, in the scene where the image T as shown in FIG. 2 is captured, the lane is not marked on the road surface, so the second road surface shape model cannot be generated by the
しかし、このような場合でも、本実施形態では、上記の第1の実施形態で説明したように、距離画像生成手段6におけるステレオマッチングで各画素ブロックごとに得られた実空間上の距離zの情報が割り当てられた距離画像Tzに基づいて代表距離検出手段10で的確に代表距離zjを算出し、評価手段11や近似直線算出手段12での処理を経て、路面形状モデル生成手段13で的確に第1の路面形状モデルを生成することができる。
However, even in such a case, in this embodiment, as described in the first embodiment, the distance z in the real space obtained for each pixel block by the stereo matching in the distance
そのため、処理手段15では、上記の各観点からこの第1の路面形状モデルが的確に選択され、或いは、第2の路面形状モデルに対して第1の路面形状モデルが圧倒的に大きな重み付けをされた状態で重み付け平均が行われるため、この場合も、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。 Therefore, in the processing means 15, the first road surface shape model is accurately selected from the above viewpoints, or the first road surface shape model is overwhelmingly weighted with respect to the second road surface shape model. In this case, it is possible to obtain a road surface shape model that accurately reflects the shape of the road surface ahead of the host vehicle.
以上のように、本実施形態に係る路面形状認識装置20によれば、上記の第1の実施形態に係る路面形状認識装置1の効果が的確に発揮されるとともに、路面形状モデル生成手段13により生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとのいずれかを選択し、或いは、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成して、路面上に車線LR、LLが標示されている場合は勿論、車線LR、LLが標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となる。
As described above, according to the road surface
1、20 路面形状認識装置
2 撮像手段
6 距離画像生成手段
10 代表距離検出手段
11 評価手段
12 近似直線算出手段
13 路面形状モデル生成手段
14 車線検出手段
15 処理手段
C 交点
cr、cl 車線候補点
D、(z,j)、(zj,j) プロット
Da 群の境界部分のプロット
DL 境界
F 度数
G1 自車両に近い側の群
G2 自車両から遠い側の群
Hj ヒストグラム
J 水平ライン
j 水平ライン(水平ラインの位置)
LR、LL 車線
L1、L2 近似直線
p 輝度
R 所定の範囲
Ra 円弧(緩和曲線)
T 基準画像(画像)
Tz 距離画像
x 実空間上の水平位置
y 実空間上の高さ
z 実空間上の距離、代表距離
za 群の境界部分のプロットの実空間上の距離
zj 代表距離
(zjnew,jnew) 後のプロット
(zjold,jold) 先のプロット
Δp 輝度差
Δpth1 所定の閾値
σ1 2、σ2 2 分散(統計値)
DESCRIPTION OF
LR, LL lane L 1 , L 2 approximate straight line p brightness R predetermined range Ra arc (relaxation curve)
T Reference image (image)
Tz Distance image x Horizontal position in real space y Height in real space z Distance in real space, distance zj in real space of plot of boundary portion of representative distance za group Plot after representative distance (zjnew, jnew) (Zjold, jold) Previous plot Δp Luminance difference Δpth1 Predetermined threshold σ 1 2 , σ 2 2 variance (statistical value)
Claims (16)
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする路面形状認識装置。 A position image including a horizontal position, height and distance in real space on a road surface on which the vehicle travels is detected at a plurality of different points, and a distance image representing the data of each position on a two-dimensional plane is obtained. A distance image generating means for generating;
The distance data in the position data existing on each horizontal line of the distance image is voted for a histogram created for each horizontal line, and a statistical value in each histogram is calculated for each horizontal line. Representative distance detecting means for detecting as a representative distance and plotting the representative distance on a virtual plane for each horizontal line;
Evaluation means for evaluating the continuity of the plot of the representative distance on the virtual plane for each horizontal line and excluding the plot evaluated as having no continuity from the virtual plane;
Approximating straight line calculating means for calculating approximating straight lines for all the plots remaining on the virtual plane without being excluded by the evaluating means;
Road surface shape model generating means for generating a road surface shape model using a combination of the approximate straight lines;
A road surface shape recognition apparatus comprising:
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする請求項1から請求項3のいずれか一項に記載の路面形状認識装置。 The representative distance detecting means performs processing in order from the lower horizontal line while shifting the horizontal line to be processed upward on the distance image generated by the distance image generating means,
When the representative distance plotted later on the virtual plane is not on the far side of the representative distance plotted earlier, the subsequent plot has continuity with the previous plot. The road surface shape recognition apparatus according to any one of claims 1 to 3, wherein the road surface shape recognition device is evaluated not to have and excludes the subsequent plot from the virtual plane.
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項7のいずれか一項に記載の路面形状認識装置。 Lane detection means for detecting a lane on the distance image,
The representative distance detection means sets a predetermined range based on the lane detected by the lane detection means among the horizontal lines of the distance image, and exists on each horizontal line within the predetermined range. The road surface shape recognition apparatus according to any one of claims 1 to 7, wherein only the distance data in the position data to be voted is voted on the histogram.
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする請求項1から請求項8のいずれか一項に記載の路面形状認識装置。 The approximate straight line calculation means, for all the plots that remain on the virtual plane without being excluded by the evaluation means, based on the representative distance, the plots on the side closer to the host vehicle. Each time the plot of the boundary part of two groups is transferred from one group to the other group, an approximate straight line that approximates each plot for each group is divided into a group and a group on the far side. Respectively,
The road surface shape model generation means calculates a statistical value based on the approximate line for each group in which the plot is transferred, and based on the calculated statistical value based on the approximate lines of the two groups. 9. The road surface shape model is generated by selecting one of the combinations of the approximate lines in the two groups and using the selected combination of the approximate lines. The road surface shape recognition apparatus as described in any one of Claims.
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする請求項9に記載の路面形状認識装置。 The approximate straight line calculating means calculates the approximate straight line that approximates each plot for each group by a least square method,
The road surface shape model generation means calculates, for each group, a variance or a standard deviation of the plots belonging to each group with respect to the approximate line as a statistical value based on the approximate line, and the calculated two groups of the two groups The road surface shape recognition apparatus according to claim 9, wherein a combination of the approximate lines that minimizes a total value of statistical values based on the approximate lines is selected.
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。 Imaging means for capturing an image of the front of the host vehicle and acquiring an image;
A search is made on a horizontal line on the image to detect a pixel whose luminance difference between adjacent pixels is not less than a predetermined threshold as a lane candidate point, and the horizontal line to be searched is shifted in the vertical direction of the image while shifting the horizontal line. Lanes that detect lane candidate points, connect the detected lane candidate points, detect lanes on the image, and generate a road surface shape model as a shape on at least a virtual plane based on the detected lane information Detection means;
A processing unit that evaluates each of the road surface shape model generated by the road surface shape model generation unit and the road surface shape model generated by the lane detection unit, and selects any one of the road surface shape models;
The road surface shape recognition apparatus according to any one of claims 1 to 13, further comprising:
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。 Imaging means for capturing an image of the front of the host vehicle and acquiring an image;
A search is made on a horizontal line on the image to detect a pixel whose luminance difference between adjacent pixels is not less than a predetermined threshold as a lane candidate point, and the horizontal line to be searched is shifted in the vertical direction of the image while shifting the horizontal line. Lanes that detect lane candidate points, connect the detected lane candidate points, detect lanes on the image, and generate a road surface shape model as a shape on at least a virtual plane based on the detected lane information Detection means;
The road surface shape model generated by the road surface shape model generation unit and the road surface shape model generated by the lane detection unit are each evaluated, and a weighted average of both the road surface shape models is generated to generate a road surface shape model. Processing means;
The road surface shape recognition apparatus according to any one of claims 1 to 13, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286178A JP5502448B2 (en) | 2009-12-17 | 2009-12-17 | Road surface shape recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286178A JP5502448B2 (en) | 2009-12-17 | 2009-12-17 | Road surface shape recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011128844A true JP2011128844A (en) | 2011-06-30 |
JP5502448B2 JP5502448B2 (en) | 2014-05-28 |
Family
ID=44291382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009286178A Active JP5502448B2 (en) | 2009-12-17 | 2009-12-17 | Road surface shape recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5502448B2 (en) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103129468A (en) * | 2013-02-19 | 2013-06-05 | 河海大学常州校区 | Vehicle-mounted roadblock recognition system and method based on laser imaging technique |
JP2013196401A (en) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | Road environment recognizing apparatus |
WO2013179993A1 (en) * | 2012-05-31 | 2013-12-05 | Ricoh Company, Ltd. | Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification |
JP2014115980A (en) * | 2012-11-13 | 2014-06-26 | Ricoh Co Ltd | Target-point arrival detection device, target-point arrival detection program, and mobile-body apparatus control system |
JP2014225220A (en) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | Moving surface information detection device, mobile apparatus control system using the same, and moving surface information detection program |
JP2014237412A (en) * | 2013-06-10 | 2014-12-18 | 富士重工業株式会社 | Controller for engine surging |
WO2015053100A1 (en) | 2013-10-07 | 2015-04-16 | 日立オートモティブシステムズ株式会社 | Object detection device and vehicle using same |
JP2015179302A (en) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | Solid object detection device, solid object detection method, solid object detection program, and mobile apparatus control system |
WO2015178497A1 (en) * | 2014-05-19 | 2015-11-26 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
JP2017166866A (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measurement device, measurement method, and program |
KR101796507B1 (en) | 2015-04-29 | 2017-12-01 | 주식회사 만도 | System and method for detecting a region of interest about tilted line |
WO2018025632A1 (en) * | 2016-08-05 | 2018-02-08 | 日立オートモティブシステムズ株式会社 | Image-capturing device |
EP3282389A1 (en) | 2016-08-09 | 2018-02-14 | Ricoh Company, Ltd. | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program |
EP3287948A1 (en) | 2016-08-22 | 2018-02-28 | Ricoh Company, Ltd. | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program |
EP3293671A1 (en) | 2016-09-12 | 2018-03-14 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, moving body, image processing method, and program |
EP3306525A2 (en) | 2016-09-12 | 2018-04-11 | Ricoh Company, Ltd. | Image processing device, object recognition device, device control system, image processing method, and carrier medium |
US10041791B2 (en) | 2015-07-21 | 2018-08-07 | Denso Corporation | Object detection apparatus method |
JP2018530825A (en) * | 2015-09-18 | 2018-10-18 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | System and method for non-obstacle area detection |
JP2019086479A (en) * | 2017-11-10 | 2019-06-06 | 矢崎総業株式会社 | Display device for vehicles |
JP2019114149A (en) * | 2017-12-25 | 2019-07-11 | 株式会社Subaru | Vehicle outside environment recognition device |
WO2020100784A1 (en) * | 2018-11-13 | 2020-05-22 | 国立大学法人東京大学 | Road surface profile estimating device, road surface profile estimating system, road surface profile estimating method, and road surface profile estimating program |
CN111294561A (en) * | 2020-02-18 | 2020-06-16 | 广州正为明昱信息科技有限公司 | Video-based online patrol method, electronic device, storage medium and system |
WO2023281647A1 (en) * | 2021-07-07 | 2023-01-12 | 株式会社Subaru | Machine learning device |
CN116279792A (en) * | 2023-05-22 | 2023-06-23 | 深圳市聚力得电子股份有限公司 | Vehicle-mounted intelligent steering control system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101922852B1 (en) * | 2017-01-10 | 2018-11-28 | (주)베라시스 | Method for Detecting Border of Grassland Using Image-Based Color Information |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
JP2001092970A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Lane recognizing device |
JP2001227944A (en) * | 2000-02-14 | 2001-08-24 | Mazda Motor Corp | Traveling environment recognizing device for vehicle |
JP2004028728A (en) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | Topography recognition device and topography recognition method |
JP2006302133A (en) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | Information processor, information processing method, and image information processor and image information processing method using the same |
JP2008033750A (en) * | 2006-07-31 | 2008-02-14 | Fuji Heavy Ind Ltd | Object inclination detector |
JP2009086882A (en) * | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | Object detector |
JP2009139323A (en) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | Travel road surface detecting apparatus for vehicle |
-
2009
- 2009-12-17 JP JP2009286178A patent/JP5502448B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
JP2001092970A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Lane recognizing device |
JP2001227944A (en) * | 2000-02-14 | 2001-08-24 | Mazda Motor Corp | Traveling environment recognizing device for vehicle |
JP2004028728A (en) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | Topography recognition device and topography recognition method |
JP2006302133A (en) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | Information processor, information processing method, and image information processor and image information processing method using the same |
JP2008033750A (en) * | 2006-07-31 | 2008-02-14 | Fuji Heavy Ind Ltd | Object inclination detector |
JP2009086882A (en) * | 2007-09-28 | 2009-04-23 | Konica Minolta Holdings Inc | Object detector |
JP2009139323A (en) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | Travel road surface detecting apparatus for vehicle |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196401A (en) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | Road environment recognizing apparatus |
WO2013179993A1 (en) * | 2012-05-31 | 2013-12-05 | Ricoh Company, Ltd. | Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification |
JP2014006882A (en) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | Road surface slope recognition device, road surface slope recognition method, and road surface slope recognition program |
JP2014115980A (en) * | 2012-11-13 | 2014-06-26 | Ricoh Co Ltd | Target-point arrival detection device, target-point arrival detection program, and mobile-body apparatus control system |
JP2014225220A (en) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | Moving surface information detection device, mobile apparatus control system using the same, and moving surface information detection program |
CN103129468A (en) * | 2013-02-19 | 2013-06-05 | 河海大学常州校区 | Vehicle-mounted roadblock recognition system and method based on laser imaging technique |
JP2014237412A (en) * | 2013-06-10 | 2014-12-18 | 富士重工業株式会社 | Controller for engine surging |
WO2015053100A1 (en) | 2013-10-07 | 2015-04-16 | 日立オートモティブシステムズ株式会社 | Object detection device and vehicle using same |
US9886649B2 (en) | 2013-10-07 | 2018-02-06 | Hitachi Automotive Systems, Ltd. | Object detection device and vehicle using same |
JP2015179302A (en) * | 2014-03-18 | 2015-10-08 | 株式会社リコー | Solid object detection device, solid object detection method, solid object detection program, and mobile apparatus control system |
WO2015178497A1 (en) * | 2014-05-19 | 2015-11-26 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
JP2016001463A (en) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | Processor, processing system, processing program, and processing method |
CN106463060A (en) * | 2014-05-19 | 2017-02-22 | 株式会社理光 | Processing apparatus, processing system, processing program, and processing method |
CN106463060B (en) * | 2014-05-19 | 2020-01-10 | 株式会社理光 | Processing apparatus, processing system, and processing method |
US10402664B2 (en) | 2014-05-19 | 2019-09-03 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
KR101796507B1 (en) | 2015-04-29 | 2017-12-01 | 주식회사 만도 | System and method for detecting a region of interest about tilted line |
US9886635B2 (en) | 2015-04-29 | 2018-02-06 | Mando Corporation | System and method for detecting a region of interest about tilted line |
US10041791B2 (en) | 2015-07-21 | 2018-08-07 | Denso Corporation | Object detection apparatus method |
JP2018530825A (en) * | 2015-09-18 | 2018-10-18 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | System and method for non-obstacle area detection |
CN108419441B (en) * | 2016-03-14 | 2020-06-02 | 欧姆龙株式会社 | Road surface shape measuring device, measuring method, and computer-readable storage medium |
WO2017158952A1 (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measuring device, measuring method, and program |
CN108419441A (en) * | 2016-03-14 | 2018-08-17 | 欧姆龙株式会社 | Road pavement form measurement device, assay method and program |
JP2017166866A (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measurement device, measurement method, and program |
US10508912B2 (en) | 2016-03-14 | 2019-12-17 | Omron Corporation | Road surface shape measuring device, measuring method, and non-transitory computer-readable medium |
WO2018025632A1 (en) * | 2016-08-05 | 2018-02-08 | 日立オートモティブシステムズ株式会社 | Image-capturing device |
US10810448B2 (en) | 2016-08-05 | 2020-10-20 | Hitachi Automotive Systems, Ltd. | Image-capturing device |
EP3282389A1 (en) | 2016-08-09 | 2018-02-14 | Ricoh Company, Ltd. | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program |
EP3287948A1 (en) | 2016-08-22 | 2018-02-28 | Ricoh Company, Ltd. | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program |
EP3306525A3 (en) * | 2016-09-12 | 2018-06-06 | Ricoh Company, Ltd. | Image processing device, object recognition device, device control system, image processing method, and carrier medium |
EP3293671A1 (en) | 2016-09-12 | 2018-03-14 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, moving body, image processing method, and program |
EP3306525A2 (en) | 2016-09-12 | 2018-04-11 | Ricoh Company, Ltd. | Image processing device, object recognition device, device control system, image processing method, and carrier medium |
JP2019086479A (en) * | 2017-11-10 | 2019-06-06 | 矢崎総業株式会社 | Display device for vehicles |
DE102018218955B4 (en) | 2017-11-10 | 2024-03-28 | Yazaki Corporation | VEHICLE DISPLAY DEVICE |
JP2019114149A (en) * | 2017-12-25 | 2019-07-11 | 株式会社Subaru | Vehicle outside environment recognition device |
US10803605B2 (en) | 2017-12-25 | 2020-10-13 | Subaru Corporation | Vehicle exterior environment recognition apparatus |
JPWO2020100784A1 (en) * | 2018-11-13 | 2021-09-30 | 国立大学法人 東京大学 | Road profile estimation device, road surface profile estimation system, road surface profile estimation method and road surface profile estimation program |
CN112997225A (en) * | 2018-11-13 | 2021-06-18 | 国立大学法人东京大学 | Road surface vertical section estimation device, road surface vertical section estimation system, road surface vertical section estimation method, and road surface vertical section estimation program |
WO2020100784A1 (en) * | 2018-11-13 | 2020-05-22 | 国立大学法人東京大学 | Road surface profile estimating device, road surface profile estimating system, road surface profile estimating method, and road surface profile estimating program |
CN112997225B (en) * | 2018-11-13 | 2023-02-03 | 国立大学法人东京大学 | Road surface vertical section estimation device, road surface vertical section estimation system, road surface vertical section estimation method, and storage medium |
JP7390731B2 (en) | 2018-11-13 | 2023-12-04 | 国立大学法人 東京大学 | Road surface profile estimation device, road surface profile estimation system, road surface profile estimation method, and road surface profile estimation program |
CN111294561A (en) * | 2020-02-18 | 2020-06-16 | 广州正为明昱信息科技有限公司 | Video-based online patrol method, electronic device, storage medium and system |
WO2023281647A1 (en) * | 2021-07-07 | 2023-01-12 | 株式会社Subaru | Machine learning device |
CN116279792A (en) * | 2023-05-22 | 2023-06-23 | 深圳市聚力得电子股份有限公司 | Vehicle-mounted intelligent steering control system |
CN116279792B (en) * | 2023-05-22 | 2023-07-18 | 深圳市聚力得电子股份有限公司 | Vehicle-mounted intelligent steering control system |
Also Published As
Publication number | Publication date |
---|---|
JP5502448B2 (en) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5502448B2 (en) | Road surface shape recognition device | |
JP5188452B2 (en) | Road shape recognition device | |
JP5820774B2 (en) | Road boundary estimation apparatus and program | |
JP5188430B2 (en) | Image processing device | |
JP4876080B2 (en) | Environment recognition device | |
JP6208260B2 (en) | Object recognition device | |
JP5631581B2 (en) | Road recognition device | |
CN105069804B (en) | Threedimensional model scan rebuilding method based on smart mobile phone | |
JP2009176087A (en) | Vehicle environment recognizing system | |
CN105335955A (en) | Object detection method and object detection apparatus | |
JP2014138420A (en) | Depth sensing method and system for autonomous vehicle | |
JP5164351B2 (en) | Object detection apparatus and object detection method | |
JP5834933B2 (en) | Vehicle position calculation device | |
JP2006236104A (en) | Object determining device | |
JP4032843B2 (en) | Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system | |
JP2012159469A (en) | Vehicle image recognition device | |
JP5073700B2 (en) | Object detection device | |
JP4067340B2 (en) | Object recognition device and object recognition method | |
JP2023184572A (en) | Electronic apparatus, movable body, imaging apparatus, and control method for electronic apparatus, program, and storage medium | |
JP5091897B2 (en) | Stop line detector | |
JP4788399B2 (en) | Pedestrian detection method, apparatus, and program | |
JP5903901B2 (en) | Vehicle position calculation device | |
JP5760523B2 (en) | Runway estimation apparatus and program | |
JP5399775B2 (en) | Lane recognition device | |
JP4171282B2 (en) | Terrain recognition device and terrain recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5502448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |