New! View global litigation for patent families

JP2001331787A - Road shape estimating device - Google Patents

Road shape estimating device

Info

Publication number
JP2001331787A
JP2001331787A JP2000148687A JP2000148687A JP2001331787A JP 2001331787 A JP2001331787 A JP 2001331787A JP 2000148687 A JP2000148687 A JP 2000148687A JP 2000148687 A JP2000148687 A JP 2000148687A JP 2001331787 A JP2001331787 A JP 2001331787A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
road
shape
image
extracting
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000148687A
Other languages
Japanese (ja)
Inventor
Sachiko Kojima
Yoshiki Ninomiya
芳樹 二宮
祥子 小島
Original Assignee
Toyota Central Res & Dev Lab Inc
株式会社豊田中央研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To secure sufficient shape estimating precision and reliability in a road shape estimating device mounting only a monocular camera on a vehicle as an image pickup device for picking up the image of the foreground. SOLUTION: This road shape obtaining means 1 is for extracting the shape of a road in an image and consists of an intra-screen road shape extracting means for extracting a white line and a road end by processing the image. A method for extracting a white line can be a method for converting a front image to be monochromatic to obtain the change of luminance by a differential filter to extract a part where luminance changes remarkably, as the white line. A road map obtaining means 1 is for extracting the coordinate point of the road end on which its own vehicle travels from the obtained map information and consists of a road shape in a map surface extracting means. When estimating a three-dimensional road shape by using image road information and map road information, the projection error of the image is excluded, thereby the shape of the road can be estimated more precisely than it is estimated by single information. A road shape estimating device like this is useful for judging a precedent vehicle and automatic navigation, e.g.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、自車両の前景を撮像する単眼カメラ画像より抽出した道路形状(或いは、 The present invention relates to the road shape extracted from monocular camera images for imaging a foreground of the vehicle (or,
レーダのレーダ信号より推定した道路形状)と、通常のデジタル道路地図の道路形状とを照合することにより、 A road shape) estimated from the radar signals of the radar, by collating the normal digital road map of a road shape,
走行中の道路又はレーンの概略的な形状を推定する道路形状推定装置に関する。 A schematic shape of the road or lane traveling about a road shape estimating device that estimates. また、本発明は例えば、加速制御やブレーキ制御等の速度制御等を行うアダプティブ・ Further, the present invention is, for example, adaptive to the acceleration control and brake control, etc. Speed ​​control of
クルーズ制御システム等に対して有用である。 Useful for the cruise control system or the like.

【0002】 [0002]

【従来の技術】走行中の道路の形状と自車両の位置姿勢を推定する装置としては、例えば、公開特許公報「特開平7−27541:道路形状及び自車両位置の計測装置」に記載されている装置が一般に知られている。 2. Description of the Related Art As an apparatus for estimating the position and orientation of the shape and the vehicle of the traveling road, for example, patent publication: is described in the "JP-A 7-27541 road shape and the vehicle position of the measuring device" there devices are known in general. 本従来技術(以下、「従来技術1」と言う場合がある。)では、地図情報と画像情報の道路形状照合によって自車両の位置姿勢を推定する。 This prior art (hereinafter, sometimes referred to as "prior art 1".), To estimate the position and orientation of the vehicle by the road shape matching the map information and image information.

【0003】この従来技術1では、画像から得られる道路形状と、三次元道路形状に対応するデータを含む地図情報を用いる。 [0003] In the prior art 1, and the road shape obtained from the image, the map information including data corresponding to the three-dimensional road shape is used. 即ち、本従来技術1は、車両の進行方向の道路を撮影した画像から道路形状を検出し、地図情報から得られる三次元道路形状を画像面に投影し、地図による道路形状と画像の道路形状を比較して、双方が重なる様に自車両の位置姿勢パラメータ(カメラ高さ、ヨー角、ピッチ角、ロール角、道路端からの距離など)を調整することにより、前方の道路形状と自車両の位置姿勢を逐次推定するものである。 That is, this conventional art 1 detects the road shape from images obtained by photographing the traveling direction of the road of the vehicle, projecting the three-dimensional road shape obtained from the map information to the image plane, a road shape of a road shape and the image by the map by comparing the position and orientation parameters of the vehicle so as both overlap by adjusting the (camera height, yaw angle, pitch angle, roll angle, distance etc. from roadside), own and shape of the road ahead of the vehicle it is intended to sequentially estimate the position and orientation.

【0004】上記の地図情報は、水平曲率、垂直曲率、 [0004] The above map information, horizontal curvature, vertical curvature,
バンク角等の道路の三次元形状を示すデータが予め格納されたものであり、本従来技術1によれば、自車両位置データに基づいて前方道路の三次元道路形状モデルを算出することができる。 Are those data representing the three-dimensional shape of a road bank angle, etc. are stored in advance, according to the prior art 1, it is possible to calculate the three-dimensional road shape model of the road ahead on the basis of the vehicle position data . 即ち、本従来技術1は、地図情報に予め道路形状の三次元データを格納し、基本的には地図を用いて道路形状の復元を行うものである。 That is, this conventional technique 1 stores three-dimensional data in advance the road shape in the map information, basically performs a restoration of the road shape by using a map.

【0005】また、走路形状を少ない演算負荷で認識しようとするその他の装置としては、例えば、公開特許公報「特開平11−203458:道路形状認識装置」に記載されている装置が一般に知られている。 Further, as the other devices to be recognized the road shape with a small operation load, for example, Patent Publication "JP-11-203458: the road shape recognizing device" device described in the commonly known there. 本従来技術(以下、「従来技術2」と言う場合がある。)では、カメラによって得られる画像から、大きさと設置高さが分かっているリフレクタ等の道路上に存在する対象物体を画像から検出する。 This prior art (hereinafter sometimes referred to as "prior art 2".) In, from an image obtained by the camera, detects the object existing on the road such as a reflector with known size and installation height from the image to. 更に、路面が平坦な時の対象物体の画像上での位置を記憶し、画像から随時検出される対象物体が所定大きさ時の高さと記憶した高さとを比較する。 Further, the road surface is stored the position of the image of the target object when flat, the object is at any time detected from the image is compared with the height and height and storage at a predetermined size.

【0006】そして、この比較の結果、検出位置と記憶位置の差が所定範囲以内ならば前方道路は平坦であると判断し、検出位置が記憶位置より下ならば下り坂、検出位置が記憶位置より上ならば上り坂と判断する。 [0006] As a result of this comparison, the road ahead is determined to be a flat difference detection position and the storage position if within the predetermined range, downhill if below the detection position storage position, the detection position storage locations it is determined that the uphill if the above and more. 本従来技術2によれば、白線の形状から道路勾配を推定する必要がなく、簡易に道路勾配を検出することができ、対象物体の位置の比較を行うことで、カーブや直線といった道路形状も検出することができる。 According to the prior art 2, it is not necessary to estimate the road gradient from the shape of the white line can be detected road gradient easily, by performing a comparison of the position of the target object, even road shape such as a curve or a straight line it is possible to detect.

【0007】 [0007]

【発明が解決しようとする課題】上記の従来技術1には、以下の問題点がある。 In the prior art 1 described above [0007] are the following problems. (問題点1)上記の従来技術1で用いる地図情報は、縦断曲率の情報等の三次元道路形状情報を含むものであるが、昨今では未だ、三次元道路形状を含む地図情報は高速道路以外の大半の道路については入手困難であり、また、三次元道路形状情報を含む地図の新規作成は莫大なコストが掛かり現実的ではない。 Map information used in (Problem 1) The above prior art 1, but is intended to include three-dimensional road shape information such as information of a longitudinal curvature, the majority still, the map information including a three-dimensional road shape other than a highway nowadays for the road it is difficult to obtain, also, create a new map that includes a three-dimensional road shape information is not realistic takes enormous cost. 即ち、上記の従来技術1は、基本的に高精度な地図を使って画像情報を補完するものであり、現在、カーナビゲーションシステム等で使われている、数メートル程度の精度を持つ地図を用いることはできない。 That is, prior art 1 described above is to complement the image information using essentially accurate map currently being used in a car navigation system or the like, using a map with a precision of several meters It is not possible.

【0008】より具体的には、例えば、道路の垂直曲率等の三次元データを有する地図データは現在一般に入手困難であるが、仮に比較的詳細な三次元データが入手可能であったとしても、実際に50m先の先行車両を判定するためには、例えば従来技術1で実現する場合、地図道路形状の精度は水平及び垂直の両方向で少なくともそれぞれ0.3m程度の精度が必要となる。 More specifically [0008], for example, although the map data with three-dimensional data such as vertical curvature of the road is now generally difficult to obtain, even if relatively detailed three-dimensional data were available, to determine actual of 50m destination preceding vehicle, for example, when implemented in the prior art 1, the accuracy of the map road shape is required at least each 0.3m order of accuracy both the horizontal and vertical directions. しかしながら、 However,
現状では、一般的に入手可能な地図の高さ方向の精度は数メートル程度が限界であるので、上記の従来技術1により十分な道路形状復元精度を確保するためには、精度の高い地図を作成する必要が生じ、膨大なコストが必要になる。 At present, since generally the height direction of the accuracy of the available maps several meters is the limit, in order to ensure sufficient road shape restoration accuracy by the prior art 1 described above, the highly accurate map it is necessary to create, will require enormous cost.

【0009】また、上記の従来技術2には、以下の問題点がある。 [0009] The above-described in the prior art 2 has the following problems. (問題点2)上記の従来技術2では、大きさや設置高さなどが予めわかっている物体を検出対象にして勾配推定を行っているが、この手法の場合、常に検出対象物体が存在する環境で動作する場合はよいが、検出対象物体が存在しない環境においては、距離と高さの推定が困難になり、勾配推定は困難となる。 In (Problem 2) The prior art 2, although the size and installation height is performing a gradient estimated by the object is known in advance to the detection object, in this approach, always environment where the target object is present in is good when operating in an environment where the target object does not exist, the estimated distance and the height becomes difficult, the gradient estimation is difficult. また、上記の従来技術2では、カメラから得られる画像によって物体検出を行って勾配推定を行うため、悪天候時等においては、カメラで前方道路の情報が得難く、従ってこの様な場合には、前方の勾配推定等を行うことは困難となる。 Further, the prior art 2 described above, for performing the gradient estimation performs object detection by an image obtained from the camera, in the bad weather or the like, information of the road ahead in the camera inaccessible, therefore In such a case, performing the front of the gradient estimation, etc. becomes difficult.

【0010】また、前方道路が縦断曲率や横断曲率を有する場合、画像による道路形状を平面内に投影すると、 Further, if the road ahead has a longitudinal curvature and transverse curvature, when projecting the road shape according to image plane,
投影誤差によって実際の道路形状と大きく異なる可能性があり、現在一般的に入手可能な地図の精度では、先行車両判定に必要な精度の道路形状を推定することは困難である。 There are actual road shape largely differ depending projection errors, is now commonly available precision map, it is difficult to estimate the accuracy of the road shape required preceding vehicle determination.

【0011】即ち、画面内で抽出される道路形状を平面に投影した形状と、地図から得られる道路形状から、平面上の道路形状を推定する場合、前方道路が縦断曲率や横断曲率を有する際に、投影誤差が非常に大きくなる可能性があり、画像データだけで遠方の形状を精度よく推定することは困難である。 [0011] That is, a shape obtained by projecting the road shape extracted in the screen plane, the road shape obtained from the map, when estimating the road shape on a plane, when the road in front has a longitudinal curvature and transverse curvature in, there is a possibility that the projection error becomes very large, it is difficult to estimate the image data only distant shape accurately. また、一般的に入手可能な道路地図と自車両位置推定の精度は、現在数メートル程度であり、地図の情報だけでは精度よく推定することができない。 Further, the accuracy of the commonly available road map and the vehicle position estimation is currently several meters, it is impossible to estimate alone is precisely information of the map.

【0012】また、特に自車両位置推定については、例えば、ランドマークを画像によって検出し、地図上に記載されたランドマークと位置あわせを行うことで、自車両のグローバルな位置推定を行う等のその他の従来技術も公知である。 Further, particularly for vehicle position estimation, for example, to detect a landmark by the image, by aligning a landmark described on the map, such as performing the global position estimate of the vehicle other prior art is also known. しかしながら、この様な方法では、天候が悪い場合や、ランドマークが存在しない場所では、位置推定を行うことができない。 However, in such a method, if the weather is bad and, in the place where the landmark does not exist, it is not possible to perform the position estimation.

【0013】また、特別な地図情報を用いない通常の位置推定方法としてGPSや推測航法があるが、GPSの測位精度は限界があり測位間隔も限られており、推測航法も累積誤差が大きく、精度の高い位置推定を行うことが困難である。 Further, there is a GPS or dead reckoning as a normal position estimating method using no special map information, GPS positioning accuracy are also limited positioning interval is limited, dead reckoning even large accumulated error, it is difficult to perform highly accurate position estimation.

【0014】本発明は、上記の課題を解決するために成されたものであり、その目的は、概略的な道路形状又は車線(レーン)形状を推定する車載用の装置の形状推定精度や、信頼性を向上させることであり、特に、前景を撮像する撮像装置として単眼のカメラのみを車載した場合にも、十分に形状推定精度や、信頼性を確保することができる道路形状推定装置を提供することを目的とする。 [0014] The present invention has been made to solve the above problems, the purpose and the shape estimation accuracy of the apparatus for vehicle that estimates a schematic road shape or the lane (lane) that shape, it is to improve the reliability, particularly, even when the vehicle only monocular camera as an imaging apparatus for imaging a foreground, provide a sufficiently and shape estimation accuracy, a road shape estimating device capable of ensuring reliability an object of the present invention is to.

【0015】 [0015]

【課題を解決するための手段】上記の課題を解決するためには、以下の手段が有効である。 In order to solve the above object, according to an aspect of the following measures are effective. 即ち、第1の手段は、自車両の前景を画像データとして取得する撮像装置を有し、自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置において、 That is, the first means has an imaging device for acquiring foreground of the vehicle as image data, a road shape estimation apparatus for vehicle which the vehicle is estimated shape of a road that is expected or traveling traveling,
道路の第1形状候補を画像データから抽出する画像道路形状抽出手段と、自車両の周辺の地図データを取得する地図データ取得手段と、道路の第2形状候補を上記の地図データから抽出する地図道路形状抽出手段と、第1形状候補と第2形状候補とを3次元又は2次元で構成された一つの論理的空間に投影し、この投影された双方の道路形状の論理的空間における重なり状態に基づいて、上記の道路の形状、路面に対する自車両の姿勢、又は、道路に対する自車両の絶対位置を推定する道路形状推定手段とを設けることである。 An image road shape extracting means for extracting a first shape candidate of the road from the image data, the map data acquisition means for acquiring map data around the vehicle, a map for extracting a second shape candidate of a road from the map data and the road shape extracting means, and a first shape candidate and the second shape candidate projected in 3-dimensional or one composed of a two-dimensional logical space, the overlapping state of the logical space of the projected both road shape based on the shape of the road, the attitude of the vehicle relative to the road surface, or is to provide a road shape estimating means for estimating the absolute position of the vehicle relative to the road.

【0016】また、第2の手段は、上記の第1の手段の道路形状推定手段において、路面に対する自車両の姿勢を予め推定する自車両姿勢推定手段、又は、道路に対する自車両の絶対位置を予め推定する自車両位置推定手段を設けることである。 Further, the second means, a road shape estimation means in the first means described above, the vehicle attitude estimation means for previously estimating the posture of the vehicle relative to the road surface, or the absolute position of the vehicle relative to the road it is to provide a vehicle position estimating means for previously estimated.

【0017】また、第3の手段は、上記の第1又は第2 Further, the third means, the first of the above or the second
の手段の道路形状推定手段に、上記の第1形状候補と第2形状候補との互いに対応すべき各点毎に、上記の重なり状態を確率的に評価する照合手段を設けることである。 The road shape estimation unit means, for each point should correspond with each other between the first shape candidate and the second shape candidate described above, it is to provide a collating means for evaluating the overlap state stochastically.

【0018】また、第4の手段は、上記の第1乃至第3 Further, the fourth means, the first to third above
の何れか1つの手段の道路形状推定手段に、上記の第1 The road shape estimation unit of any one means, first the
形状候補の信頼度R1と第2形状候補の信頼度R2とを、第1形状候補と第2形状候補との互いに対応すべき各点毎に算出する信頼度算出手段と、この信頼度R1、 And reliability R1 shape candidate and reliability R2 of the second shape candidate, a reliability calculation means for calculating for each point should correspond with each other between the first shape candidate and the second shape candidate, the reliability R1,
R2に基づいて、この各点毎にその2点間の内分点を座標加重平均演算により算出する内分点算出手段とを設けることである。 Based on R2, it is to provide a dividing point calculating means for calculating a dividing point between the two points by coordinate weighted average calculation for each the respective points.

【0019】また、第5の手段は、上記の第1乃至第4 Further, the fifth means, the first to fourth above
の何れか1つの手段において、上記の道路形状推定手段により推定された道路の形状を構成する各代表点間の位置関係における矛盾を所定の物理的制約条件に基づいて排除することにより、適正な道路形状を抽出する適正道路形状抽出手段を設けることである。 In any one means, by eliminating based inconsistencies in the positional relationship between the representative points constituting the shape of the estimated road by the road shape estimation means in a predetermined physical constraints, proper it is to provide a proper road shape extracting means for extracting the road shape.

【0020】また、第6の手段は、上記の第1乃至第5 Further, sixth means, first to fifth of the
の何れか1つの手段の道路形状推定手段において、撮像装置のカメラ視点を投影中心(投影原点)として、第1 In the road shape estimation unit of any one means, the camera viewpoint of the image capturing apparatus as the projection center (projection origin), first
形状候補を上記の論理的空間に投影する投影手段を設け、自車両の位置と姿勢に基づいてカメラ座標系と地図座標系との位置合わせを行うことである。 The shape candidate provided a projection means for projecting the logical space of the, it is to perform positioning between the camera coordinate system and the map coordinate system based on the position and orientation of the vehicle.

【0021】また、第7の手段は、上記の第1乃至第6 Further, it means the seventh, first the through sixth
の何れか1つの手段において、道路形状推定手段の推定結果、及び第2形状候補に基づいて、撮像装置の死角領域における道路の形状を推定する推定領域拡張手段を設けることである。 In any one means, the estimation result of the road shape estimation means, and on the basis of the second shape candidate, is to provide the estimated area extension means for estimating a shape of a road in the blind spot of the imaging device.

【0022】更に、第8の手段は、自車両の前方を探査してレーダ信号を取得するレーダを有し、自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置において、上記のレーダ信号より自車両の前方の物体の位置を検出し、この物体の並びに基づいて、道路の道路線形を推定する道路線形推定手段を設け、更に、「自車両の前景を画像データとして取得する撮像装置と、道路の第1形状候補を画像データから抽出する画像道路形状抽出手段」又は「自車両の周辺の地図データを取得する地図データ取得手段と、道路の第2形状候補を地図データから抽出する地図道路形状抽出手段」の少なくとも何れか一方を設け、上記の第1形状候補又は第2形状候補と、上記の道路線形とを3次元又は2次元で構成さ Furthermore, the eighth means includes a radar for obtaining a radar signal to probe the front of the own vehicle, a road-vehicle which the vehicle is estimated shape of a road that is expected or traveling traveling a shape estimation apparatus detects the position of the front object of the own vehicle than the radar signal, based on the arrangement of the object, provided the road shape estimating means for estimating a road shape of a road, further, "foreground vehicle an imaging device for obtaining the image data, and the map data acquisition means for acquiring the map data around the image road shape extracting means "or" vehicle extracting a first shape candidate of the road from the image data, the second road map road shape extracting means "at least one of the provided, is configured a first shape candidate or the second shape candidate described above, and the above road shape in three-dimensional or 2-dimensional to extract shape candidate from the map data た一つの論理的空間に投影し、この投影された道路形状と道路線形との論理的空間における重なり状態に基づいて、上記の論理的空間における道路の形状を推定する道路形状推定手段を設けることである。 One projected logical space has, based on the overlapping state in the logical space between the projected road shape and road alignment, provided road shape estimating means for estimating a shape of a road in the logical space that it is.

【0023】また、第9の手段は、自車両の前景を画像データとして取得する撮像装置と、自車両の前方を探査してレーダ信号を取得するレーダを有し、自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置において、道路の第1形状候補を画像データから抽出する画像道路形状抽出手段と、レーダ信号より自車両の前方の物体までの距離を推定する物体距離推定手段と、この物体までの距離に基づいて、画像データから道路の路面高さを推定する道路面高さ推定手段と、第1形状候補と道路の路面高さとに基づいて、 Further, the ninth means includes an imaging device for acquiring the foreground of the vehicle as image data, having a radar to obtain a radar signal to probe the front of the own vehicle, traveling in or running the vehicle is Then the road shape estimation apparatus for vehicle that estimates a shape of a road to be expected, the distance between the image road shape extracting means for extracting a first shape candidate of the road from the image data, to the front of the object vehicle from radar signals and the object distance estimation means for estimating a, based on the distance to the object, and the road surface height estimation means for estimating a road surface height of the road from the image data, on the basis of the road surface height of the first shape candidate and the road ,
道路の三次元形状を推定する道路形状推定手段とを設けることである。 It is to provide a road shape estimating means for estimating a three-dimensional shape of a road. 以上の手段により、前記の課題を解決することができる。 By the above means, it is possible to solve the above problems.

【0024】 [0024]

【作用】以下、本発明の作用について説明する。 [Action] The following is a description of the operation of the present invention. 本発明の画像道路形状抽出手段では、例えば、白線検出によって道路端を検出し、検出した白線組から道路線形を取得することができる。 The image road shape extracting means of the present invention, for example, it is possible to detect the roadside by the white line detection, and acquires a road alignment from the detected white line pairs. また、地図道路形状抽出手段では、 Also, in the map road shape extracting means,
取得した自車両位置周辺の地図から道路形状(道路線形)を抽出する。 From the acquired vehicle location neighborhood map extracting the road shape (the road alignment). 例えば、地図に道路の区画線が与えられている場合は、区画線組の中央を抽出することで道路線形を取得することができ、ナビゲーション・システム用のノードデータが与えられている場合は、そのノードをつなぐことで道路線形を取得することができる。 For example, if the division line of the road is given a map, it is possible to obtain the road line by extracting a central compartment line sets, if the node data for the navigation system is provided, it is possible to obtain the road line by connecting that node.

【0025】また、本発明の道路形状推定手段によれば、例えば、カメラ視点を投影中心として、得られた画像道路形状を2次元で構成された一つの論理的空間に投影し、この操作で得られた地図道路平面形状を更に3次元の論理的空間に垂直投影することができる。 Further, according to the road shape estimation unit of the present invention, for example, as a projection center of the camera viewpoint, and projecting the resulting image road shape in one logical space consists of a two-dimensional, in this operation the resulting map road plane shape can be vertical projection logical space of the further three-dimensional. この3次元の論理的空間において、画像道路形状は一定の候補領域を有し、また、上記の地図道路形状も一定の候補領域を有する。 In the logical space of the three-dimensional image road shape has a constant candidate region, the map above the road shape has a constant candidate region. そして、本発明の道路形状推定手段によれば、例えば、双方の候補領域を重ね合わせ、最も照合度が高くなる道路形状位置を推定道路形状として出力することができる。 Then, according to the road shape estimation unit of the present invention, for example, superimposing both of the candidate region, it is possible to output a road shape positions the most matching degree is higher as the estimated road shape.

【0026】(作用1)例えば、この様な本発明の手段によれば、複数の道路形状情報(画像データ、地図データ)を用いて推定を行うことで、推定結果の信頼性が向上し、画像処理だけでは推定誤差が大きくなる状況においても、地図道路形状と画像道路形状とを重ね合わせて照合度が高い道路形状を推定することで、精度の良い道路形状推定が可能になる。 [0026] (Operation 1) For example, according to the means of such invention, a plurality of road shape information (image data, map data) by performing estimation using improves the reliability of the estimation results, even in a situation only the image processing that estimation error becomes large, to estimate the matching degree higher road shape by superposing a map road shape image road shape allows accurate road shape estimation.

【0027】(作用2)また、自車両の位置・姿勢を表す所定のパラメータ群の各数値によって、3次元又は2 [0027] (action 2) Further, the respective numerical values ​​of the predetermined parameter group representing the position and orientation of the vehicle, three-dimensional or 2
次元で構成された一つの論理的空間への投影結果が変化するため、推定道路形状も変化する。 Since the projected results of the configured one logical space dimension changes, so does the estimate road shape. 従って、本発明の手段により、より照合度が高くなる様に自車両位置・姿勢を変化させることで、自車両位置・姿勢と道路形状の推定値をより正確に求めることができる。 Thus, by means of the present invention, by changing the vehicle position and orientation as more matching degree is higher, it is possible to obtain an estimate of the vehicle position and posture and the road shape more precisely.

【0028】(作用3)画像と地図の道路形状を三次元空間内に投影し、双方の重なりを考慮した三次元空間内の存在確率として算出し、存在確率と現実世界の物理的制約によって三次元的に道路形状を推定することで、平面推定で生じる投影誤差を排除することができ推定精度を高くすることが可能になる。 [0028] (action 3) the image and the map of the road shape by projecting into the three-dimensional space, is calculated as the existence probability in both three-dimensional space in consideration of overlap of tertiary by physical constraints of the existence probability and the real world to estimate the original to the road shape, it is possible to increase the estimation accuracy can eliminate the projection error occurring in the plane estimation. また、三次元空間内で道路形状を推定することから、前方道路の勾配も合わせて推定することが可能となる。 Further, since estimating the road shape in the three-dimensional space, it is possible to estimate also to the gradient of the road ahead.

【0029】(作用4)また、道路の縦断曲率や横断曲率が大きいこと等により前方の道路に不可視領域が生じる状況、即ち、峠やカーブ等の道路形状や、或いは先行車両等により生じる死角領域等の、撮像装置から画像データが取得できない領域が生じる様な状況においても、 [0029] (action 4) In addition, longitudinal curvature and the invisible region in the forward direction of the road by such that transverse curvature is large resulting situation of the road, i.e., and a road shape such as mountain passes and curves, or the blind spot region generated by the preceding vehicle or the like etc., and even in such situations region occurs in which the image data can not be acquired from the imaging device,
地図情報を用いることで道路形状の推定が可能になり、 It becomes possible to estimate the road shape by using the map information,
道路形状の推定結果に対する信頼性が向上する。 Reliability is improved with respect to the estimation result of the road shape. 更に、 In addition,
見える範囲(画像データが取得できた範囲)で推定した道路形状と地図の情報とを重ねて(照合して)、道路形状を延長することにより、その先の見えない範囲の道路形状をも予測すれば、地図単体で推定した場合よりも比較的精度よく道路形状を推定することが可能になる。 Visible range overlapping the information of the road shape and the map estimated in (range image data has been acquired) (for matching), by extending the road shape, predict the road shape in the range invisible ahead If, it is possible to estimate a relatively high accuracy road shape than estimated on map alone.

【0030】(作用5)自車両至近の道路形状の推定には、投影誤差が少ないため画像の情報が有効であり、遠方の道路形状の推定には、地図情報の誤差は自車両からの距離によらずほぼ一定であるため、地図情報が有効である。 [0030] The estimation of the (action 5) vehicle near road shape is effective information of the image for projection error is small, the estimation of the distant road shape, a distance error of the map information from the vehicle it is almost constant regardless of the map information is valid. カメラからの距離に合わせて画像と地図の重みを変えて双方の情報を合わせることで、それぞれ単体で推定する場合よりも、道路形状の推定精度が高くなる。 In accordance with the distance from the camera by combining the images with both the information by changing the weight map, than when each estimated alone, the estimation accuracy of the road shape is high.

【0031】(作用6)前記の本発明の第8の手段によれば、レーダによって検出した物体の距離・方位・速度の結果に基づいた、被検出物体の並びやその時間的な位置変化と自車両の位置変化等によって、前方道路の大まかな道路線形を推定することが可能になる。 According to the eighth means of the (action 6) wherein the present invention, based on the distance and direction and speed of the results of the detected object by the radar, the arrangement of the target object and a temporal change in position the position change of the vehicle, it is possible to estimate a rough road linear road ahead. レーダのみによって道路線形を推定することが可能になるため、外部環境条件が悪い状況であってもロバストに道路形状を推定することが可能になる。 It becomes possible to estimate the road shape by the radar only, it is possible to estimate the road shape robust even in a situation external environmental conditions are poor.

【0032】(作用7)前記の本発明の第9の手段によれば、レーダによる物体検出により、前方障害物までの距離を測定することができ、物体までの距離が明らかになる。 According to a ninth means of the (action 7) wherein the present invention, the object detection by the radar can measure the distance to the front obstacle, the distance to the object is clear. 距離を検出できるため、画像で得られる情報の距離と高さ方向の曖昧性を削減し、画像中の物体の三次元位置を明らかにすることが可能になる。 The distance can detect, reduce the distance and ambiguity in the height direction of the information obtained by the image, it is possible to clarify the three-dimensional position of an object in an image. 道路上に存在する物体の位置がわかることから、道路面の高さを類推し、地図情報がない場合でも前方道路の三次元形状の推定が可能になる。 Since the position of an object existing on the road is known, by analogy the height of the road surface, it is possible to estimate the three-dimensional shape of the road ahead, even when there is no map information.

【0033】 [0033]

【発明の効果】(効果1) (a)前方道路形状によって、前方の道路面が画像では見えない状況や単眼画像で水平面を仮定して推定した時に推定誤差が大きくなる状況においても、画像の他に地図等の情報を用いることで、道路形状と自車両の位置・ The Effect of the Invention] (Effect 1) (a) forward road shape, even in a situation where the estimation error becomes large when the estimated assuming a horizontal plane in the situation or monocular images of the road ahead surface is not visible in the image, the image of the other by using the information such as maps, location-road shape and the vehicle
姿勢を精度(推定結果に対する信頼度)良く、ロバストに外乱等に対して影響を受けにくく推定することが可能になる。 The accuracy (reliability of the estimation results) may pose, it is possible to estimate robustly hardly susceptible to external disturbance or the like. (b)また、地図道路形状と画像道路形状に基づいて、 (B) In addition, based on the map road shape image road shape,
道路形状を推定するとともに自車両の道路面に対する姿勢を推定することで、画像道路形状のみによる姿勢推定に比較して自車両姿勢推定精度が向上することが期待できる。 By estimating the attitude relative to the road surface of the vehicle as well as estimating the road shape, compared to only by the attitude estimation image road shape can be expected to be improved vehicle attitude estimation accuracy.

【0034】(c)また、地図道路形状と画像道路形状に基づいて、道路形状を推定するとともに自車両の地図に対する絶対位置を推定することで、特別なランドマークや三次元情報が記載された地図が無くとも、自車両位置を推定することができる。 Moreover (c), based on map road shape image road shape, with estimates the road shape to estimate the absolute position relative to the map of the vehicle, special landmark or three-dimensional information is described without the maps, it is possible to estimate the vehicle position. (d)また、GPSやINS(Inertial Navigation Sy (D) In ​​addition, GPS and INS (Inertial Navigation Sy
stem)による推定精度に比較して、推定精度が向上することが期待できる。 Compared to the estimated accuracy of stem), estimation accuracy can be expected to improve. (e)更に、自車両姿勢、位置推定精度が向上することで道路形状推定精度の向上も期待できる。 (E) In addition, the vehicle posture, also improvement of the road shape estimation accuracy by improving the position estimation precision can be expected.

【0035】(効果2) (a)道路形状推定手段では、画像、地図の一方だけでは、十分な推定精度を得られない状況においても、それぞれの道路形状を三次元空間内に投影したものを重ね合わせることで三次元的に道路形状を推定し、道路形状推定精度を高くすることが可能になる。 [0035] In (Effect 2) (a) the road shape estimation unit, an image, only one of the maps, in sufficient estimation accuracy is not obtained status, the projection of each of the road shape within a three-dimensional space three-dimensionally by superimposing estimates the road shape, it is possible to increase the road shape estimation accuracy. よって、道路勾配も推定することが可能になり、速度制御などに有用である。 Therefore, the road gradient also makes it possible to estimate, speed control is useful for such.

【0036】(b)また、カーブや峠等の道路形状や、 [0036] (b) In addition, and road shape such as a curve or a hill,
先行車両等によって、画像データでは探知できない領域(死角領域等)が発生した場合においても、推定した道路形状や地図から得られる道路形状に基づいて、画像では見えない領域(死角領域等)の道路形状を推定することが可能になる。 By the preceding vehicle or the like, when the area that can not be detected in the image data (the blind spot area, etc.) occurs also on the basis of the road shape obtained from the estimated road shape and the map, not visible in the image region (the blind area, etc.) Road shape it is possible to estimate the. 従って、道路形状を精度良くロバストに推定することができ、先行車両判定や自動操舵などが実現できる。 Therefore, it is possible to estimate the road shape with high accuracy robust, such as a preceding vehicle judgment and automatic steering can be realized.

【0037】(c)即ち、本発明の推定領域拡張手段を用いれば、例えば、上記の三次元道路形状推定手段により、画像情報が得られない範囲においても、画像データ等の可視領域のデータに基づいて推定した三次元道路形状(及び/又は地図で得られる道路地図形状:第2形状候補)に基づいて道路形状を推定する三次元道路形状推定手段を実現することも可能である。 [0037] (c) i.e., the use of the estimation region expansion means of the present invention, for example, by the three-dimensional road shape estimation unit, even to the extent that the image information is not available, the data in the visible region, such as the image data based estimated three-dimensional road shape (and / or obtained on map road map shape: second shape candidates) it is also possible to realize a three-dimensional road shape estimating means for estimating a road shape based on.

【0038】(d)また、上記の三次元道路形状推定手段において、推定した道路に対し現実に即した道路モデルとの照合をとることで、更に精度良く道路形状を推定することが可能となる。 Further (d), in the three-dimensional road shape estimation means by taking matching between the road model realistic to estimated road, it is possible to further accurately estimated road shape .

【0039】(効果3) (a)上記の道路形状推定手段における前記の論理的空間は、2次元空間によって構成することも可能である。 [0039] The logical space of the (Effect 3) (a) above the road shape estimation means can be constructed by a two-dimensional space.
この様な道路形状推定手段(以下、「平面内道路形状推定手段」と言う場合がある。)によっても、画像から得られる道路形状を平面に投影したものと地図から得られる道路形状から、道路形状推定精度を高くすることが可能である。 Such road shape estimating means by (hereinafter sometimes referred to as "plane road shape estimation unit".), Resulting road shape from the road shape obtained from a map obtained by projecting the plane from the image, the road it is possible to increase the shape estimation accuracy. 従って、特に、前記の論理的空間を2次元で構成することにより、即ち、三次元空間内で形状推定を行わず、ある一平面で形状推定を行うことで、道路形状推定処理に要する計算量を削減することが可能になる。 Thus, in particular, by configuring the logical space in two dimensions, i.e., without shape estimation in three-dimensional space, by performing a shape estimation in some one plane, the amount of calculation required for the road shape estimation processing it is possible to reduce the.

【0040】(b)また、本発明の推定領域拡張手段を用いれば、上記の平面内道路形状推定手段により、例えば、前記の三次元道路形状推定手段の場合と同様に、画像情報が得られない範囲においても、画像データ等の可視領域のデータに基づいて推定した平面内道路形状(及び/又は地図で得られる道路地図形状:第2形状候補) [0040] (b) In addition, the use of the estimation region expansion means of the present invention, the planar road shape estimation unit described above, for example, as in the case of the three-dimensional road shape estimating means, image information is obtained also in no range, plane road shape estimated based on the data in the visible region, such as the image data (and / or obtained on map road map shape: second shape candidate)
に基づいて道路形状を推定する平面内道路形状推定手段を実現することも可能である。 It is also possible to realize the planar road shape estimating means for estimating a road shape based on.

【0041】(c)また、上記の平面内道路形状推定手段において、推定した道路に対し現実に即した道路モデルとの照合をとることで、更に精度良く道路形状を推定することが可能となる。 Further (c), the plane road shape estimation unit described above, by taking matching between the road model realistic to estimated road, it is possible to further accurately estimated road shape .

【0042】(効果4) (a)本発明の第8の手段によれば、悪天候時で画像情報が得られない場合や、トンネル内や高速道路下等の自車両位置が得られない場合などにおいても、レーダによってロバストに道路の形状を推定することが可能になる。 [0042] According to the eighth means of the (Effect 4) (a) the present invention, at the time of bad weather or when the image information is not available, such as when the vehicle position, such as under tunnels or highway can not be obtained in also, it is possible to estimate the shape of the road robustly by the radar.

【0043】(b)また、本発明の第9の手段によれば、レーダによる物体までの測距結果から画像中に検出された物体の距離と高さが明白になる。 [0043] The (b), according to the ninth means of the present invention, the distance and height of the detected object in the image it is evident from the result of distance measurement to the object by the radar. これにより、ステレオ・カメラを利用しなくとも前方物体の三次元位置を推定することができるため、地図を利用しなくても道路の三次元形状推定が可能になる。 Accordingly, it is possible to estimate the three-dimensional position of the preceding object without using a stereo camera, it is possible to three-dimensional shape estimation road without using a map.

【0044】 [0044]

【発明の実施の形態】前記の本発明の手段を用いれば、 DETAILED DESCRIPTION OF THE INVENTION By using the means of the of the present invention,
例えば以下の〔主要構成例1〕〜〔主要構成例20〕に例示される道路形状推定装置等の様に、「自車両の前景を画像データとして取得する撮像装置を有し、前記自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置」の主要構成を構成することができる。 For example, the following [major configuration example 1] to as a road shape estimating device or the like which is illustrated in [main configuration example 20], an image pickup apparatus for obtaining foreground "vehicle as image data, the host vehicle estimating a shape of a road that is expected or traveling traveling can constitute the main structure of the road shape estimation apparatus "for vehicle. これらの構成(基本的な実施形態)に従えば、上記の本発明の作用・効果を得ることが可能となる。 According to these configurations (basic embodiment), it is possible to obtain the operation and effect of the present invention described above.

【0045】〔主要構成例1〕道路情報を画像で取得する撮像装置と、取得した画像から画面内の道路形状を抽出する画像道路形状抽出手段と、自車両周辺の地図データを取得する地図データ取得手段と、取得した地図データから自車両が走行すると予想される地図上の道路形状を抽出する地図道路形状抽出手段と、抽出した画像道路形状と地図道路形状に基づき、双方の形状を一つの論理的空間に投影し、形状の重なりに基づいて照合度を算出し照合度が高くなる様に、「道路形状」「道路に対する自車両の位置・姿勢」を推定する道路形状推定手段とを有し、「道路形状」を出力とする道路形状推定装置。 [0045] [main structure Example 1 and an imaging device for acquiring road information in the image, an image road shape extracting means for extracting the road shape in the screen from the obtained image, the map data for acquiring map data around the host vehicle an acquiring unit, from the acquired map data and the map road shape extracting means for extracting the road shape on the map which is expected to vehicle is traveling, based on the extracted image road shape and the map road shape, one both in shape projected logically space, as the higher the calculated matching degree of matching degrees based on the overlap of shape, have a road shape estimating means for estimating the "road shape" "position and orientation of the vehicle relative to the road" then, the road shape estimation apparatus to output the "road shape".

【0046】〔主要構成例2〕上記の〔主要構成例1〕 [0046] [main configuration example 2] of the [main structure Example 1
に記載の撮像装置と画像道路形状抽出手段と地図データ取得手段と地図道路形状抽出手段と道路形状推定手段とを有し、「自車両の道路面に対する姿勢」を出力とする道路形状推定装置。 Road shape estimating device having an image pickup device and an image road shape extracting means and the map data acquisition means and the map road shape extracting means and the road shape estimation unit, and outputs the "position relative to the road surface of the vehicle" according to.

【0047】〔主要構成例3〕上記の〔主要構成例1〕 [0047] [main configuration example 3] of the [main structure Example 1
に記載の撮像装置と画像道路形状抽出手段と地図データ取得手段と地図道路形状抽出手段と道路形状推定手段とを有し、「自車両の地図に対する絶対位置」を出力とする道路形状推定装置。 Road shape estimating device having an image pickup device and an image road shape extracting means and the map data acquisition means and the map road shape extracting means and the road shape estimation unit, and outputs the "absolute position relative to the map of the vehicle" according to.

【0048】〔主要構成例4〕上記の〔主要構成例1〕、及び/又は、〔主要構成例2〕、及び/又は、 [0048] [main configuration Example 4 of the [main structure Example 1, and / or, [major configuration example 2], and / or,
〔主要構成例3〕とを任意に組み合わせた道路形状推定装置。 [Main configuration example 3] and any combination road shape estimation apparatus.

【0049】〔主要構成例5〕上記の〔主要構成例1〕 [0049] [main configuration example 5] of the [main structure Example 1
〜〔主要構成例4〕に記載の道路形状推定装置において、撮像装置と画像道路形状抽出手段、あるいは地図データ取得手段と地図道路形状抽出手段の代わりに、周辺に存在する物体の位置と速度を検出するレーダ装置と、 In the road shape estimation apparatus according to ~ [main configuration Example 4, the image pickup apparatus and an image road shape extracting means, or instead of the map data acquisition means and the map road shape extracting means, the position and velocity of an object existing around and a radar device for detecting,
検出した物体の並びから道路形状を推定するレーダ道路形状抽出手段とを有する道路形状推定装置。 Road shape estimation apparatus and a radar road shape extracting means for estimating a road shape from a sequence of detected object.

【0050】〔主要構成例6〕上記の〔主要構成例1〕 [0050] [main configuration example 6] of the [main structure Example 1
〜〔主要構成例5〕に記載の道路形状推定装置において、画像道路形状抽出手段によって取得された画像道路形状に基づいて「自車両の道路面に対する姿勢」を予め推定する自車両姿勢推定手段を有し、道路面に対する自車両姿勢推定結果を道路形状推定手段へ入力することで照合を簡単にする道路形状推定装置。 In the road shape estimation apparatus according to ~ [main structure Example 5, the vehicle attitude estimation means for pre-estimating the "orientation relative to the road surface of the vehicle" on the basis of the image the road shape obtained by the image road shape extracting means a road shape estimating device of the vehicle attitude estimation result with respect to the road surface to simplify the verification by entering the road shape estimation unit.

【0051】〔主要構成例7〕上記の〔主要構成例1〕 [0051] [main structure Example 7] of the above-mentioned [main structure Example 1]
〜〔主要構成例5〕に記載の道路形状推定装置において、画像道路形状抽出手段によって取得された画像道路形状と、地図道路形状抽出手段によって取得された地図道路形状とに基づいて「自車両の地図に対する絶対位置」を予め推定する自車両位置推定手段を有し、地図に対する自車両位置推定結果を道路形状推定手段へ入力とすることで照合を簡単にする道路形状推定装置。 In the road shape estimation apparatus according to ~ [main structure Example 5, an image road shape obtained by the image road shape extracting means, based on the map road shape obtained by the map road shape extracting means "of the vehicle estimated in advance to have a vehicle position estimating means, a road shape estimation apparatus to simplify the verification by an input of the own vehicle position estimation result for the map road shape estimation means the absolute position "for the map.

【0052】〔主要構成例8〕上記の〔主要構成例6〕 [0052] [main structure Example 8] of the above-mentioned [the main components Example 6]
と〔主要構成例7〕とを組み合わせた道路形状推定装置。 And [main configuration Example 7 and the road shape estimating device combining.

【0053】〔主要構成例9〕上記の〔主要構成例1〕 [0053] [main configuration example 9] of the [main structure Example 1
〜〔主要構成例8〕に記載の道路形状推定装置における、道路形状推定手段において推定した「道路形状」、 The road shape estimation apparatus according to ~ [main structure Example 8, was estimated in the road shape estimation unit "road shape",
「自車両の道路面に対する姿勢」、「自車両の地図に対する絶対位置」の推定結果の一部、あるいは推定結果の全部に対し、現実世界の物理的な形状制約条件を満たす道路モデルと照合し、最も照合する形状を道路形状として出力する道路形状モデル照合手段を有し、より精度の高い道路形状推定を可能にする道路形状推定装置。 "Orientation with respect to the road surface of the vehicle", a part of estimation results of "absolute position relative to the map of the vehicle", or to all of the estimation results, against a physical shape satisfies the constraints road model in the real world most matching shape has a road shape model matching means for outputting as a road shape, a road shape estimation apparatus that enables more accurate road shape estimation.

【0054】〔主要構成例10〕前方の画像を取得する前方画像撮像装置と、取得した前方画像から画像面での道路形状を抽出する道路画像取得手段と、自車両の位置を取得する自車両位置取得手段と、取得した自車両位置周辺の地図上での道路形状を取得する道路地図取得手段と、取得した道路画像と道路地図から、道路面に対するピッチ角、地図に対するカメラのヨー角、横位置、進行方向位置、傾斜角度等の自車両の姿勢を推定する自車両姿勢推定手段と、取得した道路画像と道路地図と地図に対する自車両の姿勢から、三次元空間へ道路形状を投影して存在確率を算出し、適正な三次元道路形状候補を抽出する三次元道路形状推定手段とを有する道路形状推定装置。 [0054] [main configuration Example 10 and the front image capturing apparatus for acquiring image ahead of a road image acquiring means for extracting the road shape on the image plane from the obtained front image, the vehicle for acquiring the position of the vehicle a position obtaining unit, a road map acquiring means for acquiring the road shape on the map around the vehicle position acquired from the acquired road image and a road map, a pitch angle with respect to the road surface, yaw angle of the camera relative to the map, the horizontal position, direction of travel position, and the vehicle attitude estimation means for estimating the attitude of the vehicle tilt angle, etc., from the posture of the vehicle with respect to the acquired road image and a road map and the map, by projecting the road shape to the three-dimensional space calculating the existence probability, the road shape estimating device having a three-dimensional road shape estimating means for extracting the proper three-dimensional road shape candidate.

【0055】〔主要構成例11〕上記の〔主要構成例1 [0055] [main structure Example 11] of the above-mentioned [main configuration example 1
0〕の道路画像取得手段において、取得した前方画像を画像処理し、白線や道路端等の形状を抽出する画面内道路形状抽出手段を有し、上記の〔主要構成例10〕の道路地図取得手段において、取得した自車両周辺の地図情報を処理し、自車両が走行する道路端を示す道路形状を抽出する地図面内道路形状抽出手段とを有する道路形状推定装置。 In a road image acquisition means 0], the image processing forward image acquired, has a screen road shape extracting means for extracting a shape such as a white line or a road edge, the road map acquisition of the above [main configuration Example 10 in section, the obtained treated map information around the vehicle, a road shape estimating device having a map plane road shape extracting means for extracting the road shape indicating the roadside which the vehicle is traveling.

【0056】〔主要構成例12〕上記の〔主要構成例1 [0056] [main structure Example 12] of the above-mentioned [main configuration example 1
1〕に記載の道路画像取得手段において、白線などを抽出する画面内道路形状抽出手段と、抽出した画面内道路形状から画面中の道路の線形を推定する画面内道路形状推定手段を有し、上記の〔主要構成例11〕に記載の道路地図取得手段において、自車両が走行する道路形状を抽出する地図面内道路形状抽出手段と、抽出した地図面内道路形状から、画像面内で推定された線形と同等の横位置での道路線形を推定する地図面内道路形状推定手段とを有する道路形状推定装置。 In a road image obtaining means according to 1] has a screen the road shape extracting means for extracting and white lines, the screen road shape estimating means for estimating a linear road on the screen from the extracted intra road shape, in the road map acquirer of [main configuration example 11 above, a map plane road shape extracting means for extracting the road shape on which the vehicle is traveling, from the extracted map plane road shape estimation in the image plane road shape estimation apparatus and a map plane road shape estimating means for estimating a road shape in the linear equivalent of the horizontal position is.

【0057】〔主要構成例13〕上記の〔主要構成例1 [0057] [main structure Example 13] of the above-mentioned [main configuration example 1
0〕に記載の三次元道路形状推定手段において、取得した道路画像と取得した道路地図と、自車両姿勢推定手段によって推定した自車両の地図に対する姿勢から、カメラ座標系と地図座標系の位置あわせを行い、カメラ視点から三次元空間に投影した道路画像の候補領域と、地図面から三次元空間に投影した道路地図の候補領域の重なりから存在確率を算出する道路形状存在確率算出手段を有し、存在確率と現実の世界の物理的制約を考慮して適正な道路形状を抽出する適正道路形状抽出手段を有し、 In the three-dimensional road shape estimating means according to 0], and road map obtained with the obtained road image, from the attitude with respect to the vehicle map estimated by the vehicle position estimating means, alignment of the camera coordinate system and the map coordinate system was carried out, a candidate region of the road image projected on the three-dimensional space from the camera viewpoint, the road shape existence probability calculation means for calculating the existence probability from the overlap of the candidate region of the road map is projected on the three-dimensional space map surface have a proper road shape extracting means for extracting a proper road shape in consideration of the existence probability and the real world of physical constraints,
可視領域において三次元道路形状を推定する道路形状推定装置。 Road shape estimating device for estimating a three-dimensional road shape in the visible region.

【0058】〔主要構成例14〕前方の画像を取得する前方画像撮像装置と、取得した前方画像から画像面での道路形状を抽出する道路画像取得手段と、自車両の位置を取得する自車両位置取得手段と、取得した自車両位置周辺の地図上での道路形状を取得する道路地図取得手段と、取得した道路画像と道路地図から、地図に対するカメラのヨー角、道路面に対するピッチ角、横位置、進行方向位置等の自車両の姿勢を推定する自車両姿勢推定手段と、取得した道路画像と道路地図と、地図に対する自車両の姿勢から、前方の道路のある一平面での形状を推定する平面内道路形状推定手段とを有する道路形状推定装置。 [0058] [main configuration example 14] and front image capturing apparatus for acquiring image ahead of a road image acquiring means for extracting the road shape on the image plane from the obtained front image, the vehicle for acquiring the position of the vehicle a position obtaining unit, a road map acquiring means for acquiring the road shape on the map of the vehicle position around acquired from the acquired road image and a road map, the yaw angle of the camera relative to the map, the pitch angle with respect to the road surface, transverse position, and the vehicle attitude estimation means for estimating the attitude of the vehicle, such as a process position, and the road image and a road map obtained from the attitude of the vehicle with respect to the map, the shape in one plane with the road ahead estimation road shape estimating device having a planar road shape estimating means for.

【0059】〔主要構成例15〕上記の〔主要構成例1 [0059] [main structure Example 15] of the above-mentioned [main configuration example 1
4〕の道路画像取得手段において、取得した前方画像を画像処理し、白線や道路端等の形状を抽出する画面内道路形状抽出手段を有し、上記の〔主要構成例14〕の道路地図取得手段において、取得した自車両周辺の地図情報を処理し、自車両が走行する道路端を示す道路形状を抽出する地図面内道路形状抽出手段とを有する道路形状推定装置。 In road image acquiring means 4], the image processing forward image acquired, has a screen road shape extracting means for extracting a shape such as a white line or a road edge, the road map acquisition of the above [major configuration example 14] in section, the obtained treated map information around the vehicle, a road shape estimating device having a map plane road shape extracting means for extracting the road shape indicating the roadside which the vehicle is traveling.

【0060】〔主要構成例16〕上記の〔主要構成例1 [0060] [main structure Example 16] of the above-mentioned [main configuration example 1
5〕に記載の道路画像取得手段において、白線などを抽出する画面内道路形状抽出手段と、抽出した画面内道路形状から画面中の道路の線形を推定する画面内道路形状推定手段を有し、更に、上記の〔主要構成例15〕に記載の道路地図取得手段において、自車両が走行する道路形状を抽出する地図面内道路形状抽出手段と、抽出した地図面内道路形状から画像面内で推定された線形と同等の横位置での道路線形を推定する地図面内道路形状推定手段とを有する道路形状推定装置。 In a road image obtaining means according to 5] has a screen the road shape extracting means for extracting and white lines, the screen road shape estimating means for estimating a linear road on the screen from the extracted intra road shape, Moreover, the road map acquirer of [major configuration example 15] above, the vehicle and the map plane road shape extracting means for extracting the road shape that travels from the extracted map plane road shape in the image plane road shape estimation apparatus and a map plane road shape estimating means for estimating a road shape in the estimated linear equivalent lateral position.

【0061】〔主要構成例17〕上記の〔主要構成例1 [0061] [main structure Example 17] of the above-mentioned [main configuration example 1
4〕の平面内道路形状推定手段において、自車両姿勢推定手段によって推定された結果からカメラ座標系と地図座標系の位置あわせを行い、カメラ視点からある平面に投影した道路形状とそれに重ねた地図による道路形状から可視領域の平面内道路形状推定を行う道路形状推定装置。 In plane road shape estimating means 4], perform vehicle attitude positioning of the camera coordinate system and the map coordinate system from the results estimated by the estimating means, a road shape obtained by projecting the plane in which the camera viewpoint and the map superimposed on it road shape estimation apparatus for performing plane road shape estimation in the visible region from by the road shape.

【0062】〔主要構成例18〕前方道路画像を取得する撮像装置と、前方道路上の物体を検出しその距離を測定するレーダ装置と、画像データから白線抽出等の画像処理によって道路形状を抽出する画像面内道路形状取得手段と、画像データから物体を検出する画像面内物体検出手段と、画像で得られた物体とレーダで得られた物体とを照合してレーダで得られる物体までの距離と画像で得られる物体の存在可能性領域から物体の位置を推定する物体位置推定手段と、物体の位置から道路面の高さを推定する道路面高さ推定手段と、推定した道路面高さと画像面内道路形状に基づいて前方道路の三次元形状を推定する道路形状推定手段とを有する道路形状推定装置。 [0062] an imaging device for obtaining [main configuration example 18] forward road image, a radar device for measuring the distance to detect an object on the road ahead, a road shape by image processing of the white line such as extraction from the image data extraction and an image plane road shape acquiring means for, and the image plane within the object detection means for detecting an object from the image data, and collating the object obtained by the obtained object and the radar image to the object obtained by the radar distance and the object position estimating means for estimating a position of an object from the possible presence area of ​​the obtained object image, and a road surface height estimation means for estimating the height of the road surface from the position of the object, the estimated road surface height It is to road shape estimation apparatus and a road shape estimation means for estimating a three-dimensional shape of the road ahead on the basis of the image plane road shape.

【0063】〔主要構成例19〕前方道路画像を取得する撮像装置と、前方道路上の物体を検出し、その距離と方位と速度とを測定するレーダ装置と、画像データから白線抽出等の画像処理によって道路形状を抽出する画像面内道路形状抽出手段と、レーダによって検出された物体の並びから道路線形を推定する道路線形推定手段と、 [0063] [main configuration example 19] and an imaging device that acquires the road ahead image, it detects an object on the road ahead, a radar device for measuring its distance and orientation and speed, image of the white line such as extraction from the image data a road shape estimating means for estimating the image plane road shape extracting means for extracting the road shape, the road alignment of a sequence of object detected by the radar by treatment,
画像面内道路形状とレーダによる道路線形に基づいて、 Based on the road alignment of the image plane road shape and the radar,
前方道路の三次元形状を推定する道路形状推定手段とを有する道路形状推定装置。 Road shape estimation apparatus and a road shape estimation means for estimating a three-dimensional shape of the road ahead.

【0064】〔主要構成例20〕前方道路上の物体を検出し、その距離と方位と速度とを測定するレーダ装置と、自車両の位置を取得する自車両位置取得手段と、自車両周辺の道路地図を取得する道路地図形状取得手段と、レーダによって検出された物体の並びから道路線形を推定する道路線形推定手段と、地図によって得られた道路形状と、レーダによって得られた道路形状を重ね合わせて前方道路の平面での形状を推定する道路形状推定手段とを有する道路形状推定装置。 [0064] [main configuration example 20] detects an object on the road ahead, a radar device for measuring its distance and orientation and speed, and the vehicle position acquiring unit that acquires a position of the vehicle, around the host vehicle overlapping the road map shape acquiring means for acquiring road map, and road shape estimating means for estimating a road shape of a sequence of the object detected by the radar, a road shape obtained by the map, the road shape obtained by the radar road shape estimation apparatus and a road shape estimation means for estimating a shape of a plane of the road ahead in total.

【0065】例えば以上の様な主要構成に従えば、前記の本発明の作用・効果を得ることが可能となる。 [0065] For example according to the above such main components, it is possible to obtain the operation and effect of the invention described above. 以下、 Less than,
本発明の基本的且つ代表的な実施形態の概要をより具体的に例示する。 Basic and illustrating the outline of a typical embodiment more specifically the present invention. ここで例示される基本的且つ代表的な実施形態は、後述の更に詳細且つ具体的な個々の実施例と、基本的思想において共通点又は関連を有するものである。 Here basic and exemplary embodiments illustrated in the more detailed and specific individual examples below, and has a common point or related in the basic idea.

【0066】(基本的且つ代表的な実施形態)本発明に係わる道路形状推定装置について図面を用いて説明する。 [0066] will be described with reference to the drawings a road shape estimating device according to (basic and exemplary embodiment) the present invention. 図1は本発明の基本的な構成要素の概略を示すものである。 Figure 1 shows a schematic of the basic components of the present invention. 前方道路の情報を画像で取得するための撮像装置と、取得した画像から道路形状を抽出する画像道路形状抽出手段と、自車両周辺の地図データを取得する地図データ取得手段と、取得した地図データから地図の道路形状を抽出する地図道路形状抽出手段とを有し、取得した画像道路形状と地図道路形状を3次元又は2次元で構成された一つの論理的空間に投影し、投影した画像道路形状と地図道路形状の候補領域のうち、照合度が高い位置を道路形状として推定し、道路形状の推定と同時に自車両の道路面に対する姿勢推定と、自車両の地図に対する位置推定とを行う道路形状推定手段を有し、道路形状を出力する道路形状推定装置である。 An imaging device for obtaining information of the road ahead in the image, an image road shape extracting means for extracting the road shape from the acquired image, a map data acquisition means for acquiring map data around the host vehicle, the map data acquired and a map road shape extracting means for extracting a shape of the road map from the obtained projected images road shape and the map road shape in 3-dimensional or one logical space composed of two-dimensional projected image road of the shape and the candidate region map road shape, the road matching degree higher position estimates as a road shape is performed and orientation estimation for estimating simultaneously with the road surface of the vehicle of a road shape and a position estimate for a map of the vehicle has a shape estimating means, a road shape estimating device for outputting the road shape.

【0067】この出力に結果については、図2、図3で示す様に自車両姿勢を出力としても良いし、自車両位置を出力としても良いし、その他、道路形状、及び/又は、自車両姿勢、及び/又は、自車両位置等の各種情報からなる任意の組合わせを出力としても良い。 [0067] For the results in this output may be used as the output vehicle attitude as shown in Figure 2, Figure 3, it may be output to the vehicle position, other road shape, and / or, the vehicle orientation, and / or it may be output to any combination consisting of various kinds of information such as the vehicle position. 撮像装置は、基本的には単一のカメラで構成されるものであり、 Imaging apparatus is basically intended to be composed of a single camera,
カメラの焦点距離、撮像面大きさは予め既知とする。 Focal length of the camera, the imaging surface size is a known beforehand. ただし、複数台のカメラを用いてこれらの撮像装置を構成することも可能である。 However, it is also possible to configure these imaging devices using a plurality of cameras.

【0068】地図データ取得手段は、自車両周辺の地図データを取得する方法である。 [0068] The map data acquisition means is a method for acquiring the map data around the host vehicle. 測定されるDGPS(Di The measured DGPS (Di
fferential Global Positioning System)の測位結果と地図データベースから周辺地図データを取得しても良いし、DGPSに加えてINSなどによって推定した自車両位置と地図データベースから周辺地図データを取得しても良いし、過去に取得した自車両位置に基づきINS fferential Global Positioning System) of from positioning results and from the map database may be acquired peripheral map data, to the vehicle position and the map database estimated such as by INS in addition to DGPS may acquire peripheral map data, INS based on the vehicle position acquired in the past
などによって現在まで推定した自車両位置と地図データベースから周辺地図データを取得しても良い。 It may acquire a peripheral map data from the vehicle position and the map database estimated to date the like. 即ち、本発明の地図データ取得手段においては、地図データを取得する方法は特に限定されるものではない。 That is, in the map data acquisition means of the present invention, a method for acquiring map data is not limited in particular.

【0069】また、地図データベースは、基本的には二次元の道路情報が記載されたデータであり、ナビゲーション・システム用の道路のリンクが記載された地図データベースでも良いし、道路区画線の座標値が記載されている地図データベースでも良いし、道路中心線の座標値が記録されている地図データベースでも良い。 [0069] Further, the map database is the data road information of the two-dimensional have been described basically, to road links for navigation system may be a map database that has been described, the coordinate value of the road segment lines There may be a map database that is described may be a map database coordinates of the road center line is recorded. また、専用に作られた地図データベースを用いても良いし、三次元情報が記載されているデータを用いても良い。 Further, may be used a map database made in the private, it may also be used data which the 3D information is described.

【0070】道路形状の情報を取得する手段として、撮像装置と地図データの組合わせのほかに、撮像装置とレーダ装置、レーダ装置と地図データ、撮像装置とレーダ装置と地図データベース、という組合わせでも良い。 [0070] As means for obtaining information of a road shape, in addition to the combination of the imaging apparatus and the map data, the imaging device and the radar apparatus, the radar apparatus and the map data, the imaging device and the radar apparatus and the map database, also in combination of good. 図1の地図データベース取得手段をレーダ装置に置き換え、地図道路形状抽出手段をレーダ道路形状抽出手段に置き換えた道路形状推定装置を図4に例示する。 Replaced by radar map database acquisition unit of FIG. 1 illustrates a road shape estimating device by replacing the map road shape extracting means to the radar road shape extracting means in FIG.

【0071】図1に示す道路形状推定装置について、各手段の具体的な方法について説明する。 [0071] The road shape estimating device shown in FIG. 1, a description will be given of a specific method for each unit. 画像道路形状抽出手段では、撮像装置によって取得した前方道路画像から画像処理によって画面上の道路形状を抽出する。 The image road shape extracting means extracts the road shape on the screen by the image processing from the front road image obtained by the imaging device. 図5 Figure 5
にその一例を示す。 To show an example. 例えば、取得した画像から微分フィルタなどによって画像の輝度変化を求め、輝度変化が大きい部分を白線候補として抽出する。 For example, obtains a luminance change of an image from the acquired image, such as by differential filter, it extracts a partial luminance change is large as white line candidate. 抽出した左右の白線組からその中央線にあたる部分を抽出して、画像上の道路形状とする。 Extracted left and right by extracting portion corresponding its center line from the white line pairs, the road shape on the image.

【0072】地図道路形状抽出手段では、自車両位置取得手段によって取得した自車両位置とその周辺の地図データから地図上の道路形状を抽出する。 [0072] In the map road shape extracting means extracts the road shape on the map the vehicle position acquired by the vehicle position acquiring means and the map data around the. 図6にその一例を示す。 Figure 6 shows an example thereof. 例えば、道路の区画線の座標値が記載された地図データベースを用いるとき、自車両周辺の道路区画線を示す点を抽出し、その中から自車両が走行する道路区画線を示す点を抽出する。 For example, when using a map database that coordinates of the road lane line has been described, to extract the point indicating the road segment lines around the host vehicle, to extract a point indicating the road segment line which the vehicle is traveling from among them . 抽出した道路区画線を示す点と、自車両が走行していると予想されるレーンから、走行レーン中央に位置する道路形状を抽出する。 A point indicating the extracted road lane lines from the lane that is expected that the vehicle is traveling, to extract a road shape located driving lane center. 道路形状は左右の道路区画線を示す点の内分点でも良いし、内分点を線分でつないだ形状でも良いし、内分点を曲線で近似した形状でも良い。 Road shape may be a dividing point of the point indicating the left and right road lane lines, may be in the connected form a segment of internally dividing point, or a shape approximating the internally dividing point in the curve.

【0073】また、道路形状推定手段では、取得した画像道路形状と地図道路形状を一つの論理的空間に投影し、投影結果として得られる双方の候補領域の重なり度合いを示す照合度Cを算出し、照合度Cが大きくなる様に、パラメータを推定することで、道路形状や、道路面に対する自車両姿勢、地図面に対する自車両位置を推定する。 [0073] In the road shape estimation unit projects the obtained image road shape and the map road shape in one logical space to calculate a matching degree C indicating the degree of overlapping candidate regions both obtained as the projection result , as matching degrees C is increased, by estimating the parameter estimates the road shape and the host vehicle orientation with respect to the road surface, the vehicle position relative to the map plane.

【0074】図7に画像道路形状と地図道路形状の座標系を例示する。 [0074] illustrates the coordinate system of the image road shape and the map road shape in FIG. 画像道路形状は撮像面上で得られ、画像座標系(Ximage ,Yimage )で示される。 Image road shape is obtained on the imaging surface, represented by the image coordinate system (Ximage, Yimage). 地図道路形状は地図上で得られ、地図座標系(Xm,Ym,Zm) Map road shape is obtained on the map, a map coordinate system (Xm, Ym, Zm)
で示される。 In shown. 撮像面はカメラの光軸に対して直角とし、 The imaging surface is perpendicular to the optical axis of the camera,
焦点距離をfとする。 The focal length and f. カメラの座標系は(Xc,Yc, The camera coordinate system of (Xc, Yc,
Zc)で示し、カメラ視点をカメラ座標系の原点とし、 Shown in Zc), the camera viewpoint as the origin of the camera coordinate system,
カメラの光軸方向をYc軸方向とする。 The optical axis direction of the camera and Yc axis direction.

【0075】カメラのYc軸と地図のXm−Ym平面とのなす角を地図平面に対するカメラのピッチ角θとし、 [0075] The angle between the Yc-axis and the Xm-Ym plane map of the camera and the pitch angle θ of the camera with respect to the map plane,
カメラのYc軸と地図のYm軸とのなす角をXm−Ym Xm-Ym the angle between the Yc-axis and the Ym axis of the map of the camera
平面上に投影した角度を地図に対するカメラのヨー角をφとする。 The angle projected on a plane and a yaw angle of the camera with respect to the map phi. また、カメラ原点と地図原点のずれをXm軸方向d、Ym軸方向L、Zm軸方向hとすると、カメラ座標系(Xc,Yc,Zc;原点Oc)における、地図座標系(Xm,Ym,Zm)の原点Omの位置座標は、 Further, the deviation of the camera origin and the map origin Xm-axis direction d, Ym-axis direction L, and the Zm-axis direction h, the camera coordinate system (Xc, Yc, Zc; origin Oc) in the map coordinate system (Xm, Ym, position coordinates of the origin Om of Zm) is,
(Xc,Yc,Zc)=(d,L,h)となる。 (Xc, Yc, Zc) = a (d, L, h).

【0076】カメラ座標系(Xc,Yc,Zc)と画像座標系(Ximage ,Yimage )の関係は、次式(1)で示される。 [0076] relation of the camera coordinate system (Xc, Yc, Zc) and the image coordinate system (XImage, Yimage) is represented by the following formula (1).

【数1】 (Xc,Yc,Zc)=(Ximage ,f,Yimage ) …(1) [Number 1] (Xc, Yc, Zc) = (Ximage, f, Yimage) ... (1)

【0077】図8に画像道路形状による候補領域と、地図道路形状による候補領域を例示する。 [0077] and the candidate region of the image the road shape in FIG. 8 illustrates the candidate region by the map road shape. 画像道路形状の点 (Ximage ,Yimage )に投影された実際の点は、カメラ座標系ではカメラ視点Oc から撮像面上の点(Xim Point in the image road shape (Ximage, Yimage) the actual point which is projected to a point on the imaging plane from the camera viewpoint Oc in the camera coordinate system (Xim
age ,Yimage )への方向ベクトル(Ximage ,f,Y age, direction vector to Yimage) (Ximage, f, Y
image )の定数α倍で示される位置にあると考えられるので、この投影された実際の点は地図座標系(Xm,Y It is considered to be at the position indicated by a constant α times the image), the projected real point map coordinates (Xm, Y
m,Zm)に変換すると、図7に示す式で表すことができる。 m, is converted into Zm), it can be expressed as shown in FIG.

【0078】図8の様に、画像道路形状の点を地図座標系に透視投影した投影候補領域と、地図道路形状の点を垂直投影した投影候補領域とを重ね合わせ、双方の照合度を算出する。 [0078] As in FIG. 8, a projection candidate regions perspective projection image road shape point to the map coordinate system, superimposing the projection candidate region vertically projecting the points of map road shape calculating both matching degree to. ここでは照合度Cを変化させるパラメータ(独立変数)をα,d,L,φ,θとし、照合度Cを関数C(α,d,L,φ,θ)として表現する。 Here the parameter changing the matching degree C (the independent variable) alpha is, d, L, φ, and theta, representing the matching degree C function C (α, d, L, φ, θ) as. ただし、地図面に対するカメラ高さhは既知とした。 However, the camera height h with respect to map surface was known. この照合度Cの算出方法については、適切な手法であれば何でも良い。 The method for calculating the matching degrees C is may be any suitable technique. 例えば、最急降下法等の公知の数値解析の手法により、上記双方が最も良く一致する様にこれらのパラメータの値を具体的に決定(最適化)することができる。 For example, by a method known numerical analysis such as a steepest descent method, as the both the best match you can determine the value of these parameters specifically (optimization).

【0079】図9に、簡単なパラメータ決定方法を例示する。 [0079] Figure 9 illustrates a simple parameter determining method. まず、取得した画像道路形状と地図道路形状とを3次元又は2次元で構成された一つの論理的空間に投影する。 First, it projected logical space of one configured the acquired image road shape and the map road shape in the three-dimensional or two-dimensional. 投影に必要なパラメータについて、未知のものは初期値を与えて投影を行う。 The parameters required for the projection, those of unknown performing projection giving initial values. 算出した照合度Cが最大になる様にパラメータを制限範囲内において順次更新することで、未知のパラメータを推定することができる。 By calculated matching degrees C is sequentially updated within limits parameters so as to become maximum, it is possible to estimate the unknown parameters. このパラメータの推定方法については、順次更新しても良いし、初めは大まかにパラメータを更新し、照合度が大きくなる範囲でさらに細かくパラメータを変化させても良い。 Method for estimating the parameter sequentially may be updated, initially approximately, update the parameters may be changed more finely parameter range checking degree increases. パラメータ推定方法は特に限定する必要はなく、 Parameter estimation method is not critical,
これらのパラメータは、公知の適当な数値解析手法を用いて最適化することができる。 These parameters can be optimized using known appropriate numerical methods.

【0080】上記の様に、照合度Cが大きくなる様にパラメータを推定することで、道路形状、道路面に対する自車両の姿勢、地図面に対する自車両の位置を推定することが可能になる。 [0080] As described above, by estimating the as matching degrees C is increased parameter, the road shape, and orientation of the vehicle relative to the road surface, it is possible to estimate the position of the vehicle with respect to the map surface. ここではカメラの焦点距離fと地図座標系に対するカメラ座標系のz方向ずれhは既知であると仮定して推定例を示したが、hは未知数であっても、上記と略同様に推定することが可能である。 Here is shown a hypothetical examples assume that the z-direction displacement h is a known camera coordinate system to the focal length f and the map coordinates of the camera, h is even unknown, substantially similarly estimated as above It is possible. また、 Also,
地図平面に対するピッチ角θは道路面に対するカメラのピッチ角θ1と地図面に対する道路の傾斜角度θ2の和であり、別個に推定しても良い。 Map pitch angle θ relative to the plane is the sum of the road inclination angle θ2 with respect to the pitch angle θ1 and the map plane of the camera with respect to the road surface may be estimated separately.

【0081】図10は画像道路形状抽出手段によって取得した画像道路形状から、自車両の道路面に対する姿勢を予め推定する方法である。 [0081] Figure 10 is an image road shape obtained by the image road shape extracting means, a method of pre-estimating the attitude relative to the road surface of the vehicle. 推定した結果を道路形状推定手段に入力することで、パラメータ変化範囲を限定することが可能になる。 The results of estimation and inputs the road shape estimation unit, it is possible to limit the parameter change range. 道路形状推定手段では予め推定した道路面に対する姿勢をそのまま採用して更新を行わなくても良いし、更新を行っても良い。 It may not be performed update adopted an attitude for pre estimated road surface as a road shape estimating means, may be made the update.

【0082】図11は画像道路形状抽出手段によって取得した画像道路形状と、地図道路形状抽出手段によって取得した地図道路形状にから、自車両の地図面に対する位置を予め推定する方法である。 [0082] Figure 11 is a method of previously estimated image road shape obtained by the image road shape extracting means, from the map road shape obtained by the map road shape extracting means, the position relative to map surface of the vehicle. 推定した結果を道路形状推定手段に入力することで、パラメータ変化範囲を限定することが可能になる。 The results of estimation and inputs the road shape estimation unit, it is possible to limit the parameter change range. 道路形状推定手段では、予め推定した地図面に対する位置をそのまま採用して更新を行わなくても良いし、更新を行っても良い。 The road shape estimating means, may be without the update adopted position relative advance estimated map plane as it may be updated.

【0083】図12は図1に示す道路形状推定装置に対して、道路形状モデル照合手段を付加したものである。 [0083] Figure 12 for the road shape estimation apparatus shown in FIG. 1, is obtained by adding a road shape model matching means.
道路形状モデル照合手段は、道路形状推定手段によって推定した道路形状に対し、例えば「規定値以上に急激な坂(勾配)は無い」等の現地付近の道路が実際に満たしている物理的な制約条件によって修正を加えても良いし、道路形状を曲率等のパラメータ空間で表現し、DP Road shape model matching means, compared road shape estimated by the road shape estimation unit, for example "sudden slope than the specified value (gradient) is not" physical constraints road near field is actually met such it may be added to modify the conditions, represent the road shape in the parameter space of curvature such, DP
(Dynamic Programing)マッチングやカルマンフィルタ等によって修正を加えても良い。 (Dynamic Programing) may be added to modify the matching and Kalman filter or the like.

【0084】図13 は、図10に示す画像道路形状から自車両の道路面に対する姿勢を推定する方法の一例である。 [0084] Figure 13 is an example of a method of estimating the attitude relative to the road surface of the vehicle from the image a road shape shown in FIG. 10. 自車両至近の道路端の延長線は画面上で直線1、直線2の様に示される。 Extension of the vehicle near the roadside is shown as a straight line 1, a straight line 2 on the screen. 自車両至近の左右の道路端は平行であると仮定すると、消失点は道路面に対するピッチ角が0deg である場合Yimage =0の位置になる。 When the left and right roadside of the vehicle near the assumed to be parallel, vanishing point is at the position where Yimage = 0 pitch angle with respect to the road surface is 0 deg. また、 Also,
ヨー角が0deg である場合Ximage =0の位置になる。 The yaw angle is in the position of the case Ximage = 0 is 0deg.
画面上での消失点の位置から、道路面に対するピッチ角と道路中心線に対するヨー角とを推定することができる。 From the position of the vanishing point on the screen, it is possible to estimate the yaw angle with respect to the pitch angle and the center line of the road for the road surface.

【0085】また、直線1と直線2から自車両の道路中心線に対する横位置ズレdと、車線幅2Wも求めることができる。 [0085] Further, the lateral position deviation d from the straight line 1 and the line 2 with respect to the road center line of the vehicle can also be determined lane width 2W. 直線1の傾きをa0、y切片をb0とし、直線2の傾きをa1、y切片をb1とすると、ピッチ角θ The slope of the line 1 and b0 to a0, y-intercept, if the slope of the straight line 2 a1, the y-intercept and b1, pitch angle θ
1、ヨー角φ、横位置ズレd、車線幅2Wは、それぞれ幾何学的手法により一意に求めることができる。 1, the yaw angle phi, the lateral misalignment d, lane width 2W can be uniquely determined by the respective geometric approach. 即ち、 In other words,
これらの数値(θ1,φ,W,d)は、それぞれ図13 These values ​​(θ1, φ, W, d) are respectively 13
に纏めて記載した4つの式により各々求めることができる。 It can be obtained respectively by the four equations described collectively.

【0086】例えば上記の様に、本発明の道路形状推定装置では、車両前方を撮像した画像データから道路形状を抽出する手段と、地図データから道路形状を抽出する手段のそれぞれ抽出結果を照合して、車両の位置・姿勢や、車両前方の道路形状を推定する。 [0086] for example as described above, the road shape estimation apparatus of the present invention includes means for extracting the road shape from the image data of the captured vehicle front, it compares each extraction result of means for extracting the road shape from the map data Te, and the position and posture of the vehicle, estimates a vehicle ahead road shape. また、照合される道路形状を抽出する手段の一つとして、レーダを用いることも可能である。 Further, as a means for extracting the road shape to be matched, it is also possible to use radar. これらの構成(実施形態)に従えば、遠方の道路形状を高精度で推定することが可能となる。 According to these configurations (Embodiment), it is possible to estimate the distant road shape with high accuracy.

【0087】また、上記の様な本発明の道路形状推定装置によれば、峠やカーブ等の前方道路形状や、或いは先行車両等によって、前方の道路面が画像データからでは探知できない状況においても、或いは、単眼画像による水平面形状推定では推定誤差が大きくなる状況においても、画像データの他に地図等の情報を用いることで、道路形状と自車両の位置・姿勢を精度良くロバストに推定することが可能になる。 [0087] Also, according to the road shape estimation apparatus of the such the present invention, and the front road shape such as mountain passes and curves, or by the preceding vehicle or the like, even in a situation where the road ahead face can not be detected than from the image data or, even in a situation where the estimation error becomes large in the horizontal plane shape estimation by monocular images, by using the information such as a map in addition to the image data, to estimate the position and orientation of the road shape and the vehicle to accurately robustly It becomes possible.

【0088】また、地図道路形状と画像道路形状に基づいて、道路形状を推定するとともに自車両の道路面に対する姿勢を推定することで、画像道路形状のみによる姿勢推定に比較して自車両姿勢推定精度が向上することが期待できる。 [0088] Further, based on the map road shape image road shape, to estimate the attitude relative to the road surface of the vehicle as well as estimating the road shape, compared to only by the attitude estimation image road shape the own vehicle posture estimation accuracy can be expected to improve.

【0089】以上の様に、画像から得られる道路端位置とデジタル道路地図の照合を行うことにより、地図上の自車両の位置・姿勢と自車両前方の道路形状を従来よりも精度良く推定することができる。 [0089] As described above, by performing the verification of the roadside location and digital road maps obtained from the image, accurately estimated than before the position and posture and the vehicle ahead road shape of the vehicle on the map be able to. また、本発明の道路形状推定装置によれば、遠方の道路形状が比較的高精度で推定できるため、例えば、レーダで検出した対象の危険判定等をも実施することが可能である。 Further, according to the road shape estimation apparatus of the present invention, since the distant road shape can be estimated with relatively high accuracy, for example, it is possible to implement also the danger judgment, etc. of a subject detected by the radar. また、本発明の道路形状推定装置は、自車両の位置・姿勢を推定する位置姿勢推定装置としても利用可能である。 The road shape estimating device of the present invention can also be utilized as a position and orientation estimation apparatus for estimating the position and orientation of the vehicle.

【0090】 [0090]

【実施例】以下、本発明を具体的な実施例に基づいて説明する。 BRIEF DESCRIPTION based on specific examples of the present invention. ただし、本発明は以下に示す実施例に限定されるものではない。 However, the present invention is not intended to be limited to the following examples. (第1実施例)本第1実施例の道路形状推定装置は、車両前方を撮像した画像データから抽出される道路形状(第1形状候補)と、デジタル地図データから抽出される道路形状(第2形状候補)とを照合して、走行中の道路の3次元形状を推定するものである。 Road shape estimating device (first embodiment) according to the first embodiment, the road shape is extracted from the image data of the captured vehicle front (first shape candidates), the road shape (the extracted from the digital map data 2 shape candidates) and by matching, and estimates the three-dimensional shape of the traveling road.

【0091】本第1実施例の道路形状推定装置によれば、抽出した道路形状の情報(第1形状候補、第2形状候補)と推定した自車両の位置姿勢とに基づいて、論理的な3次元空間に道路形状を投影し、存在確率を算出し、推定された道路端の代表点が満たすべき物理的制約条件をチェックすることにより、適正な3次元道路形状を推定することができる。 [0091] According to the road shape estimation apparatus of the first embodiment, the extracted road shape information (first shape candidate, a second shape candidate) based on the position and orientation of the vehicle that is estimated to be, logical a three-dimensional space by projecting the road shape, and calculates the existence probability, by checking the physical constraints to the representative point of the estimated road ends meet, it is possible to estimate an appropriate three-dimensional road shape. 以下、本第1実施例に係わる道路形状推定装置について図面を用いて説明する。 Hereinafter will be described with reference to the drawings a road shape estimating device according to the first embodiment. 図1 Figure 1
4は本発明の構成要素の概略を示すものである。 4 schematically shows the components of the present invention.

【0092】道路形状推定装置は、前方の情報を画像で取得する撮像装置と画像から画像中の道路形状を取得する道路画像取得手段と、自車両の位置を取得する手段と自車両位置周辺の地図から地図上の道路形状を取得する道路地図取得手段とを有し、自車両の位置と姿勢を推定する手段を有する。 [0092] road shape estimating device, a road image acquisition means for acquiring road shape in the image from the imaging device and the image obtained in front of the information in the image, the means and around the host vehicle position to obtain the position of the vehicle and a road map acquiring means for acquiring the road shape on the map from the map comprises means for estimating the position and orientation of the vehicle. 三次元道路形状推定手段では、自車両位置姿勢推定結果に基づいて道路画像と道路地図を三次元空間内の投影して重ね合わせ、存在確率と物理的な制約条件から三次元空間におけるロバストな道路形状の推定を精度良く行う。 The three-dimensional road shape estimation means, the vehicle position and orientation estimation result of the road image and a road map overlay projected in three-dimensional space on the basis of the existence probability and physical constraints robust road in three-dimensional space from the the estimation of the shape accurately.

【0093】撮像装置は、設置高さ、焦点距離、視野角が予め既知のカメラであり、複数個のカメラを用いても良いが、画像からは正確な距離情報を必要としないので、基本的には単一のカメラを用いる。 [0093] imaging device, installation height, the focal length, the viewing angle is previously known cameras, may be used a plurality of cameras, does not require an accurate distance information from the image, basically use of a single camera is in. 自車両の位置の取得はDGPS等の衛星による測位結果を逐次用いても良いし、一旦測位した結果からジャイロやINSによって推定しても良い。 It obtains the position of the vehicle may be sequentially used positioning result by satellite, such as DGPS, it may be estimated by the gyro and INS from once a result of the positioning. また、地図データベースは、ナビゲーション・システム用のデジタル地図データでも良いし、市販されている数値地図データでも良いし、専用に作られたデータベースを用いても良い。 The map database may be a digital map data for navigation systems, it may be a digital map data which is commercially available, may be used a database specially constructed.

【0094】図15は、道路画像・道路地図取得手段1 [0094] FIG. 15, the road image and road map acquirer 1
の概略を示すものである。 It shows a schematic. 本道路画像取得手段1は画像中にある道路形状を抽出するものであり、白線や道路端を画像処理によって抽出する画面内道路形状抽出手段からなる。 This road image acquisition unit 1 serves to extract the road shape in the image, consisting of screen the road shape extracting means for extracting a white line or a road end by image processing. 白線抽出の方法は、図15に示す様に前方画像をモノクロに変換し微分フィルタによって輝度変化を取得し、輝度変化が大きい部分を白線として抽出を行う方法等がある。 The method of the white line extracting obtains the luminance changed by the differential filter converts the forward image to the monochrome as shown in FIG. 15, there is a method for extracting a partial luminance change is large as a white line. また、上記の道路地図取得手段1は、取得した地図情報から、自車両が走行する道路端の座標点を道路形状として抽出するものであり、地図面内道路形状抽出手段からなる。 The road map acquirer 1 above, the acquired map information, the coordinate points of the road edge on which the vehicle is traveling is intended to extract a road shape, consisting map plane road shape extracting means.

【0095】図16は道路画像・道路地図取得手段2の概略を示すものである。 [0095] FIG. 16 shows a schematic of a road image and road map acquirer 2. 道路画像取得手段2は上記の画面内道路形状抽出手段によって抽出された白線等の形状に基づいて、さら画面内で道路線形を示す形状を推定する画面内道路形状推定手段からなる。 Road image acquisition unit 2 is based on the shape of the white line or the like which is extracted by the above screen the road shape extracting means, consisting of screen road shape estimating means for estimating a shape indicating the road shape in the further screen. 画面内道路形状推定の方法は、図16に示す様に抽出した白線を結ぶ水平線の中点の連続として推定する方法等がある。 The method of intra road shape estimation, there is a method of estimating a series of midpoint of a horizontal line connecting the white lines extracted as shown in FIG. 16.

【0096】道路地図取得手段2は上記の地図面内道路形状抽出手段によって抽出された道路端座標値などに基づいて、更に地図面内で道路線形を示す形状を推定する地図面内道路形状推定手段からなる。 [0096] road map acquiring means 2 based on the roads end coordinate values ​​extracted by the map plane road shape extracting means, further map plane road shape estimation for estimating a shape indicating the road shape in the map plane consisting of means. 地図面内道路形状推定の方法は、図16に示す様に道路幅の内分点の連続として推定する方法等がある。 The method of map plane road shape estimation, there is a method of estimating a series of internally dividing point of the road width as shown in FIG. 16.

【0097】道路形状推定に用いる道路画像と道路地図は、道路端などを抽出した結果をそのまま用いても良いし、抽出結果から、道路の中央ライン、自車両が走行しているレーンの中央ラインや自車両が走行していると予想されるラインを推定して用いても良い。 [0097] road shape road image and a road map used in the estimation, to the results of extracting roads end may be used as it is, from the extraction result, the center line of the road, the center line of the lane the vehicle is traveling it may be used and to estimate the line that is expected that the vehicle is traveling. 図17は、三次元道路形状推定手段の概略を例示するものである。 Figure 17 illustrates the outline of the three-dimensional road shape estimating means. 本三次元道路形状推定手段では、道路画像取得手段によって取得された道路形状と道路地図取得取得手段によって取得された道路形状から、三次元空間での道路形状を推定する。 In this three-dimensional road shape estimation means, the road shape obtained by the obtaining road shape and the road map acquirer acquiring means by a road image acquiring means estimates the road shape in three dimensional space.

【0098】道路形状存在確率算出手段において、自車両姿勢推定結果に基づいてカメラ座標系と地図座標系の位置あわせを行い、画面上の道路形状をカメラ視点から三次元空間内に投影し、同じ空間内へ地図面上の道路形状を投影して道路形状の情報を重ね合わせる。 [0098] In the road shape existence probability calculating means performs positioning of the camera coordinate system and the map coordinate system based on the vehicle posture estimation result, and projecting the road shape on the screen three-dimensional space from the camera viewpoint, the same by projecting the road shape on the map plane to superimpose information of a road shape into the space. 画面内の道路形状と地図の道路形状を三次元空間内に投影した状況は前述の図8の様になる。 Situation by projecting the road shape and the map of the road shape of the screen in three-dimensional space is as shown in the aforementioned FIG.

【0099】図18は存在確率の算出方法の一例を示すグラフである。 [0099] Figure 18 is a graph showing an example of a method of calculating the existence probability. 地図による道路形状を座標点の集合とし、各座標点での地図の存在確率を、n番目の地図座標点m n (x,y)を中心とする確率分布Pm n (x, The road shape by the map as a set of coordinate points, the existence probability map at each coordinate point, n-th map coordinate point m n (x, y) probability around the distribution Pm n (x,
y)として考える。 Considered as y). 図18に示すような地図座標点の広がり範囲にi番目の画素の投影範囲が重なる部分を斜線部で示す。 The i-th partial projection ranges overlap of pixels spread range of the map coordinate points as shown in FIG. 18 indicated by hatched portions. 重なり部分の存在確率は例えば次式(2)で示される。 Existence probability of the overlapping portion is represented by the example, the following equation (2). i ( x,y)は、i番目の画素を三次元空間内に投影した時の座標点(x,y) での存在確率である。 P i (x, y) is the i-th pixel is the presence probability of coordinate points when projected into a three-dimensional space (x, y).

【0100】 [0100]

【数2】 P n ( x,y) =∬Pm n ( x,y )・Pi(x,y)dxdy …(2) 上記の他にも、積和をとらず重なり領域の最大値を推定点としても良いし、x軸の中点を推定点としても良い。 [Number 2] P n (x, y) = ∬Pm n (x, y) · Pi (x, y) dxdy ... (2) In addition to the above, estimating the maximum value of the overlap region without taking a sum of products may be used as the point, the middle point of the x-axis may be estimated point.

【0101】適正道路形状抽出手段において、前段で算出された三次元空間内での道路形状存在確率から、確率の高い位置を推定点をして抽出する。 [0102] In a proper road shape extracting means, the road shape existence probability in a three-dimensional space calculated in the previous stage to extract the probable position by the estimated point. 抽出した推定点をそのまま三次元道路形状推定点として採用しても良いし、推定点に対し、いくつかの条件を満たしているか検定を行い、満たしていない場合は別の推定点を三次元道路形状の推定点として採用しても良い。 It extracted an estimated point may be directly employed as a three-dimensional road shape estimation point, with respect to the estimated point, do some of the conditions are or test meets, meets if not another estimated point three-dimensional road it may be adopted as the estimated point of shape.

【0102】例えば、画面上で滑らかに連続した道路形状は画面の下ほどカメラに近くなる。 [0102] For example, a smooth continuous road shape on the screen is close to the camera as the bottom of the screen. 推定点を画像面に投影した時、画面上と地図上での順序関係に矛盾が生じるときは、別の推定点を採用することが望ましい。 When projecting the estimated point on the image plane, when the inconsistency order relation on screen and the map occurs, it is desirable to adopt a different estimate point. また、隣あう推定点の高さ方向の変化が、一般的な道路で許容される勾配変化以上となる場合は、別の推定点を採用することが望ましい。 The change in the height direction of the next fit estimate point is, if the gradient change than is acceptable in general road, it is preferable to adopt a different estimate point. 図19に三次元道路形状推定手段のフローチャートを例示する。 It illustrates a flow chart of a three-dimensional road shape estimation unit 19.

【0103】三次元形状の推定は、推定点をそのまま連結したものでも良いし、全部、あるいは一部の推定点の最小二乗近似による多項式でも良い。 [0103] Estimation of the three-dimensional shape to the estimate point may be those directly connected, all, or may be a polynomial least squares approximation of a portion of the estimate point. また、個々の推定点を直接決定せず、推定する三次元道路形状を曲率等のパラメータで表現し、これらのパラメータの値を推定することにより三次元道路形状を推定しても良い。 Also, without determining the individual estimate point directly, a three-dimensional road shape estimating expressed by parameters curvature or the like may be estimated a three-dimensional road shape by estimating the values ​​of these parameters. 即ち、 In other words,
推定点の決定方法と三次元形状の推定方法については、 Estimation method of determining how a three-dimensional shape of the estimated point,
特定の方法に限定する必要はなく、公知の数値解析手法の中から適当な方法を選択することができる。 Need not be limited to a specific method, it is possible to select an appropriate method from known numerical analysis techniques.

【0104】三次元空間内で道路形状を推定することで、前方道路が例えば縦断曲率や横断曲率を有して、平面内での推定では投影誤差が生じるような場合においても、図20に示す様な投影誤差を排除して形状推定を行うことができ、高精度な道路形状推定を行うことが可能になる。 [0104] By estimating the road shape in the three-dimensional space, the road ahead is for example a longitudinal curvature and transverse curvature, even if the estimation in the plane as a projection error occurs, shown in FIG. 20 can perform shape estimation by eliminating such projection errors, it becomes possible to perform highly accurate road shape estimation.

【0105】図21は道路形状により、不可視領域(死角領域等)が発生し画像から道路の情報が得られなくなる状況を示す。 [0105] Figure 21 shows a road shape, a situation where invisible regions (blind area, etc.) is not information of the road is obtained from the generated image. この様な道路状況や天候などによって前方の画像情報が得られない場合、見えている範囲は画像と地図の両方の情報を用いて推定し、見えていない範囲(死角領域等)についても、見えている範囲で推定された道路形状を延長して推定道路形状とすることができる。 If such front image information, such as by road conditions and weather can not be obtained, the range that is visible estimated using both the information of the image and the map, the range that is not visible (blind spot, etc.), visible the road shape estimated by the range which can be extended to estimate the road shape. 或いは、更に得られる地図情報を用いて補正を行って推定道路形状としても良いし、実際の道路形状に即した道路モデルと照合して補正を行い推定道路形状としても良い。 Alternatively, may be used as the estimated road shape by performing correction using the map information further obtained, may be estimated road shape corrects against the road model in line with the actual road shape. 例えば上記の状況下の様に画像で見えない範囲(死角領域等)がある場合の形状推定のフローチャートを図22に例示する。 For example illustrates a flow chart of a shape estimation when there is a range (dead angle region, etc.) which is not visible in the image as under the above conditions in Figure 22.

【0106】以上の様に、画像道路情報と地図道路情報を用い、三次元道路形状を推定する本発明の道路形状推定装置を用いれば、画像の投影誤差を排除し、単体で推定するよりも精度よく道路形状を推定することができる。 [0106] As described above, using image road information and the map road information, by using the road shape estimation apparatus of the present invention for estimating a three-dimensional road shape, eliminating the projection error of the image, compared to estimation alone it can be estimated accurately road shape. この様な道路形状推定装置は、例えば、先行車両判定や自動操舵に有用である。 Such road shape estimation apparatus is useful, for example, the preceding vehicle judgment and automatic steering. また、前方道路の勾配推定も可能になるため、本発明の道路形状推定装置は、ブレーキやアクセル制御といった速度制御にも有効である。 Also, to become a possible gradient estimation of the road ahead, a road shape estimation apparatus of the present invention is also effective for speed control such as brake and accelerator control.
また、本発明の道路形状推定装置によれば、画像データが得られない範囲についても、前方(死角領域等)の道路形状を推定することが可能になる。 Further, according to the road shape estimation apparatus of the present invention, the range in which the image data can not be obtained also becomes possible to estimate the road shape of the front (blind area, etc.).

【0107】(第2実施例)本第2実施例の道路形状推定装置は、前方の道路(又はレーン)のある1平面上における形状を推定するものである。 [0107] (Second Embodiment) road shape estimation apparatus of the second embodiment is to estimate the shape on one plane with the road ahead (or lanes). 本第2実施例の道路形状推定装置によれば、画像データから情報が得られていない範囲や、画像地図単位の情報では道路形状の推定精度が十分に確保できない状況においても、必要な精度で前方の道路形状を推定することができる。 According to the road shape estimation apparatus of the second embodiment, the range and the information from the image data is not obtained, even in a situation where the estimation accuracy of the road shape can not be sufficiently secured in the information of the image map units, with the required accuracy it is possible to estimate the road configuration ahead of the.

【0108】以下、本第2実施例の道路形状推定装置について図面を用いて説明する。 [0108] Hereinafter, will be explained with reference to the drawings a road shape estimation apparatus of the second embodiment. 図23は、本第2実施例の構成要素の概略を示すものである。 Figure 23 shows a schematic of the components of the second embodiment. 道路形状推定装置は、前方の情報を画像で取得する撮像装置と画像から画像中の道路形状を取得する道路画像取得手段と、自車両の位置を取得する手段と自車両位置周辺の地図から地図上の道路形状を取得する道路地図取得手段とを有し、自車両の位置姿勢を推定する手段を有する。 Road shape estimating device, a map in front of the information and the road image acquisition means for acquiring road shape in the image from the imaging device and the image acquired by the image, the means and the vehicle position near map to get the location of the vehicle and a road map acquiring means for acquiring the road shape of the upper comprises means for estimating the position and orientation of the vehicle.

【0109】平面内道路形状推定手段では、自車両位置姿勢推定結果に基づいて道路画像と道路地図を一つの平面内で重ね合わせ、画像と地図の両方の情報に基づいて、平面内でのロバストな道路形状の推定を精度良く行う。 [0109] In-plane road shape estimation means, based on the host vehicle position and orientation estimation result superimposed road image and a road map in one plane, based on the image and both the information of the map, robust in the plane estimated accurately perform such road shape. 撮像装置は、設置高さ、焦点距離、視野角が予め既知のカメラであり、複数個のカメラを用いても良いが、 Imaging device, installation height, the focal length, previously known camera viewing angle, may be used a plurality of cameras,
画像からは正確な距離情報を必要としないので、基本的には単一のカメラを用いる。 It does not require an accurate distance information from the image, basically using a single camera.

【0110】自車両の位置の取得はDGPS等の衛星による測位結果を逐次用いても良いし、一旦測位した結果からジャイロやINSによって推定しても良い。 [0110] It is obtaining the position of the vehicle may be sequentially used positioning result by satellite, such as DGPS, it may be estimated by the gyro and INS from once a result of the positioning. 地図データベースは、ナビゲーション・システム用のデジタル地図データでも良いし、市販されている数値地図データでも良いし、専用に作られたデータベースを用いても良い。 The map database may be a digital map data for navigation systems, it may be a digital map data which is commercially available, may be used a database specially constructed.

【0111】本第2実施例における道路画像・道路地図取得手段1の概略は、前述の第1実施例の図15に示したものと略同じである。 [0111] This summary of the road image, road map acquirer 1 in the second embodiment is substantially the same as that shown in FIG. 15 of the first embodiment described above. ただし、抽出された道路形状が投影される論理的な空間は平面(n=2)で構成されているものとする。 However, the logical space extracted road shape is projected is assumed to be a plane (n = 2). この道路画像取得手段1は画像中にある道路形状を抽出するものであり、白線や道路端を画像処理によって抽出する画面内道路形状抽出手段からなる。 The road image acquisition unit 1 serves to extract the road shape in the image, consisting of screen the road shape extracting means for extracting a white line or a road end by image processing. この白線抽出の方法には、図15に示す様に前方画像をモノクロに変換し微分フィルタによって輝度変化を取得し、輝度変化が大きい部分を白線として抽出を行う方法等がある。 The method of this white line extracted to obtain the luminance changed by the differential filter converts the forward image as shown in FIG. 15 in monochrome, and a method for extracting a partial luminance change is large as a white line. 道路地図取得手段1は取得した地図情報から、自車両が走行する道路端の座標点を道路形状として抽出するものであり、地図面内道路形状抽出手段からなる。 The road map acquirer 1 map information acquired, the coordinate points of the road edge on which the vehicle is traveling is intended to extract a road shape, consisting map plane road shape extracting means.

【0112】本第2実施例における道路画像・道路地図取得手段2の概略は、前述の第1実施例の図16に示したものと略同じである。 [0112] This summary of the road image, road map acquirer 2 in the second embodiment is substantially the same as that shown in FIG. 16 of the first embodiment described above. ただし、抽出された道路形状が投影される論理的な空間は平面(n=2)で構成されているものとする。 However, the logical space extracted road shape is projected is assumed to be a plane (n = 2). この道路画像取得手段2は上記の画面内道路形状抽出手段によって抽出された白線等の形状に基づいて、さら画面内で道路線形を示す形状を推定する画面内道路形状推定手段からなる。 The road image acquisition unit 2 is based on the shape, such as white lines extracted by the above screen the road shape extracting means, consisting of screen road shape estimating means for estimating a shape indicating the road shape in the further screen. この画面内道路形状推定の方法には、図16に示す様に抽出した白線を結ぶ水平線の中点の連続として推定する方法等がある。 The method of this screen the road shape estimation, and a method of estimating a series of midpoint of a horizontal line connecting the white lines extracted as shown in FIG. 16.

【0113】道路地図取得手段2は上記の地図面内道路形状抽出手段によって抽出された道路端座標値などに基づいて、更に地図面内で道路線形を示す形状を推定する地図面内道路形状推定手段からなる。 [0113] road map acquiring means 2 based on the roads end coordinate values ​​extracted by the map plane road shape extracting means, further map plane road shape estimation for estimating a shape indicating the road shape in the map plane consisting of means. 地図面内道路形状推定の方法は、図16に示す様に道路幅の内分点の連続として推定する方法等がある。 The method of map plane road shape estimation, there is a method of estimating a series of internally dividing point of the road width as shown in FIG. 16.

【0114】道路形状推定に用いる道路画像と道路地図は、道路端などを抽出した結果をそのまま用いても良いし、抽出結果から、道路の中央ライン、自車両が走行しているレーンの中央ラインや自車両が走行していると予想されるラインを推定して用いても良い。 [0114] road shape road image and a road map used in the estimation, to the results of extracting roads end may be used as it is, from the extraction result, the center line of the road, the center line of the lane the vehicle is traveling it may be used and to estimate the line that is expected that the vehicle is traveling.

【0115】図24に平面内道路形状推定手段の概略を例示する。 [0115] schematically illustrates a planar road shape estimation unit in Figure 24. 平面内道路形状推定手段では、道路画像取得手段で得られる画面上の道路形状と、道路地図取得手段で得られる地図面上の道路形状から、ある一平面での道路形状を推定する。 The planar road shape estimating means, and the road shape on the resulting screen the road image acquiring means, the road shape on the map surface obtained by the road map acquirer, estimates the road shape of a certain one plane. 道路形状同一平面投影部において、 In the road shape same plane projection unit,
自車両位置姿勢推定結果に基づいてカメラ座標系と地図座標系の位置あわせを行い、画面上の道路形状をカメラ視点からある一平面に対して投影し、同じ平面に対し、 Aligns the camera coordinate system and the map coordinates system on the basis of the vehicle position and posture estimation result, and projecting the road shape on the screen with respect to a plane in the camera viewpoint for the same plane,
地図面上の道路形状を垂直投影して道路形状の情報を重ね合わせる。 The road shape on the map plane vertical projection to superimpose information of a road shape. 画像面内の道路形状と地図の道路形状を重ね合わせると、図25の様になる。 When superimposing the road shape and the map of the road shape in the image plane, it becomes as in FIG. 25.

【0116】前方道路が縦断曲率や横断曲率を有する場合、第1実施例の図20に示す様に、画像面内の道路形状に対応する実際の道路位置に対し、平面内の対応位置は大きくずれる可能性がある。 [0116] If the road ahead has a longitudinal curvature and transverse curvature, as shown in FIG. 20 of the first embodiment, the actual road position corresponding to the road shape in the image plane with respect to the corresponding positions in a plane is greater there is a possibility that the displaced. このずれはカメラの中心から離れるほど大きくなり、実際の形状と全く異なる形状となる可能性がある。 This deviation increases as the distance from the center of the camera, there is a possibility that a completely different shape from the actual shape. しかし、カメラに近い範囲や、 However, and close to the camera range,
道路の形状によってはこのずれはさほど大きくない。 This deviation is not so large depending on the shape of the road. また、一般的に入手可能な地図の相対的形状精度は1m程度であり、これはカメラからの位置には依存しない。 Further, the relative shape accuracy of the commonly available maps is about 1 m, which does not depend on the position of the camera. 誤差の性質を利用して画像による情報と地図による情報を組み合わせることで、それぞれ単一で推定するよりも精度よく道路形状を推定することが可能になる。 By combining information from information and the map according to the image by utilizing the property of the error, respectively can be accurately estimated road shape than estimated in a single.

【0117】例えば、図26に示す様に、地図の座標点とそれに対応する画像の座標点の内分点として推定する場合、自車両近くは画像寄り、遠くは地図寄りになる様に内分比(a/(a+b))をカメラからの距離に応じて変化させることで、画像と地図の情報を加味した道路形状を推定することが可能になる。 [0117] For example, as shown in FIG. 26, when estimating the internally dividing point of the coordinate points of the image and the corresponding coordinate point of the map, the vehicle near the image closer, far internal division so as to be nearer map the ratio of the (a / (a ​​+ b)) is changed in accordance with the distance from the camera, it is possible to estimate the road shape in consideration of the information of the image and the map.

【0118】即ち、例えば本図26に示す様、画像の座標点(第1形状候補)の信頼度をR1、地図の座標点(第2形状候補)の信頼度をR2と仮定した場合、次式(3)が成り立つ様に、推定座標点を決定することができる。 [0118] That is, for example, as shown in the figure 26, when the coordinate point of the image the reliability of the (first shape candidate) R1, it was assumed that the coordinate point of the map the reliability of the (second shape candidate) R2, following as equation (3) holds, it is possible to determine the estimated coordinate points.

【数3】 a/(a+b)=R2/(R1+R2) …(3) [Number 3] a / (a ​​+ b) = R2 / (R1 + R2) ... (3)

【0119】図26に示す推定の流れを図27に示す。 [0119] The flow of estimation shown in FIG. 26 is shown in FIG. 27.
内分点を連結して道路形状としても良いし、途中までの推定結果をもとに予測した形状と、画像と地図の情報から逐次補正を行って道路形状としても良いし、また、実際の道路形状に即した道路モデルと照合し補正を行って道路形状としても良い。 May be used as the road shape by connecting the internally dividing point, the estimation results were predicted based on the shape of the halfway, performed sequentially correcting the information of the image and the map may be used as the road shape, the actual it may be road shape by performing the correction against the road model in line with the road shape.

【0120】例えば、前述の図21にも示した様に、道路形状により、不可視領域が発生し画像から道路の情報が得られなくなる状況が発生する場合がある。 [0120] For example, as shown in FIG. 21 described above, the road shape, a situation where the invisible range not information of the road is obtained from the generated image may be generated. しかしながら、本道路形状推定装置によれば、この様な状況においても、見えている範囲は図26の様に画像と地図の両方の情報を用いて推定し、見えていない範囲についても、見えている範囲で推定された道路形状から先の道路形状を推定して、推定道路形状として出力することができる。 However, according to this road shape estimation apparatus, even in such a situation, the range that is visible estimated using an image with both information of the map as in FIG. 26, the range that is not visible also visible the road shape is estimated within a range are to estimate the previous road shape, it can be outputted as the estimated road shape.

【0121】また、更に、前述の図22にも示した様に、得られる地図情報を用いて補正を行って推定道路形状としても良い。 [0121] In addition, further, as shown in Figure 22 described above may be estimated road shape by performing correction using map information obtained. ただし、このときの抽出された道路形状の投影先の論理空間の次元数nは、2とする。 However, the number of dimensions n of the logical space of the projection target of the extracted road shape at this time, and 2. また、 Also,
実際の道路形状に即した道路モデルと照合して補正を行い推定道路形状としても良い。 Against the road model in line with the actual road shape may be estimated road shape performs correction.

【0122】以上の様に、撮像装置(カメラ)が単眼の場合でも、画像道路情報と地図道路情報を用いることで、単体(どちらか一方の情報)で道路形状を推定した場合よりも、精度よく道路形状を推定することができる様になる。 [0122] As described above, even when the imaging apparatus (camera) is monocular, by using the image road information and the map road information, than when the estimated road shape alone (one information either), precision often it becomes as it is possible to estimate the road shape. また、前方の縦断曲率等により画像の情報が得られない範囲についても、本発明によれば比較的高精度に道路形状を推定することが可能になる。 As for the range not information of an image obtained by the front of the longitudinal curvature and the like, to a relatively high precision according to the present invention makes it possible to estimate the road shape.

【0123】(第3実施例)本第3実施例の道路形状推定装置は、撮像装置の画像データとレーダのレーダ信号から、車両前方の物体(或いは路面)の高さを推定し、 [0123] road shape estimation apparatus of the Third Embodiment This third embodiment, the image data and the radar radar signal of the imaging device to estimate the height of the vehicle front of the object (or road surface),
抽出された道路形状(第1形状候補、又は第2形状候補)と車両前方の物体(或いは路面)の高さを用いて、 Using the height of the extracted road shape (the first shape candidate, or second shape candidate) and the vehicle in front of the object (or road surface),
前方道路の3次元形状を推定するものである。 And estimates the three-dimensional shape of the road ahead. 本第3実施例の道路形状推定装置によれば、レーダのレーダ信号から抽出される物体の並び具合から道路線形を推定し、 According to the road shape estimation apparatus of the third embodiment estimates the road shape of a sequence degree of the object to be extracted from the radar signals of the radar,
この推定された道路線形と上記の道路形状(第1形状候補、又は第2形状候補)に基づいて道路形状推定処理を行うことにより、前方道路の3次元形状を高精度に推定することも可能である。 By performing the road shape estimation processing based on the estimated road shape and the road shape (the first shape candidate, or second shape candidate), also possible to estimate the three-dimensional shape of a road ahead at high precision it is.

【0124】以下、本第3実施例における、道路形状推定装置について図面を用いて説明する。 [0124] Hereinafter, in the third embodiment will be described with reference to the drawings a road shape estimating device. 図28は本発明の構成要素の概略を示すものである。 Figure 28 shows a schematic of the components of the present invention. 図28において、 In FIG. 28,
道路形状推定装置は、前方道路を画像で取得する撮像装置と、前方物体を検出するレーダ装置を有する。 Road shape estimating device includes an imaging device that acquires the road ahead in the image, a radar device for detecting the forward object.

【0125】撮像装置によって取得した画像から画像処理によって画像面内の道路形状を抽出する手段と、画像面内の物体を検出する手段を有し、取得したレーダの信号から物体までの距離を検出する物体検出手段とを有する。 [0125] detecting means for extracting the road shape in the image plane by the image processing from the image obtained by the imaging device comprises means for detecting an object in the image plane, the distance from the signal of the acquired radar to the object and a object detecting means for. 更に、レーダの物体距離検出結果と画像の物体検出結果から、対応する物体に対してその高さを推定する物体高さ推定手段と、物体の高さから物体存在位置での道路面の高さを推定する道路面高さ推定手段を有する。 Furthermore, the object detection result of the object distance detection result and the image of the radar, the height of the road surface of the object height estimation means for estimating the height relative to the corresponding object in the object presence position from the height of the object having a road surface height estimation means for estimating a. また、推定した道路面高さと画像面内の道路形状抽出結果から道路の三次元形状を推定する道路形状推定手段を有する。 Further, a road shape estimating means for estimating a three-dimensional shape of a road from the road shape extraction result of the estimated road surface height and the image plane.

【0126】画像からは正確な距離情報を必要としないため、撮像装置は、基本的には単一のカメラにより構成される。 [0126] since it does not require an accurate distance information from the image, the imaging apparatus is basically constituted by a single camera. 図31、図32は、物体位置推定手段の概略を示すものである。 Figure 31, Figure 32 shows the outline of the object position estimating means. 画像面内の物体検出手段によって検出された物体の画像面内での範囲をカメラ視点から三次元空間内に投影し、物体が存在する可能性のある領域を得る。 The range in the image plane of the object detected by the object detecting means in the image plane is projected from the camera viewpoint in a three-dimensional space, to obtain a region that may be present is an object.

【0127】レーダによる物体距離検出手段によって検出された水平面内での物体位置を三次元空間内に投影し、物体が存在する可能性のある領域を得る。 [0127] projecting an object located in a horizontal plane that is detected by the object distance detection means according to the radar into a three-dimensional space, to obtain a region that may be present is an object. 双方の領域が重なる部分を求めることで、物体が存在する三次元位置を推定することが可能になる。 By determining the portion where both regions overlap, it is possible to estimate the three-dimensional position of the object exists. この時、双方の領域が重なる部分が一意に定まらない場合は、複数の可能性を考える。 In this case, if a portion where both regions overlap not uniquely determined, consider the multiple possibilities.

【0128】道路面高さ推定手段では、物体が道路面上に接して存在すると判断される時は物体位置の下端を道路面と考え、道路面の高さを推定する。 [0128] In the road surface level estimating means, considered a road surface lower end of the object position is when it is determined that the object is present on and in contact with the road surface, to estimate the height of the road surface. 図33、図34 Figure 33, Figure 34
は、道路形状推定手段の概略を示すものである。 It shows a schematic of a road shape estimation unit. 図33 Figure 33
に示す様に、前方道路にバンクがない場合、レーダと画像によって推定された物体の三次元存在可能性位置での道路面高さを示す水平線を三次元空間内に引く。 As shown in, when there is no bank road ahead, draw a horizontal line indicating the road surface height of a three-dimensional possible presence position of the object estimated by the radar and the image in three-dimensional space. 三次元空間での道路面高さを示す水平線と、カメラの位置関係から、三次元空間内の高さを示す水平線に対応する画像面内での直線を推定することができる。 And the horizontal line indicating the road surface height in three-dimensional space, from the positional relationship of the camera, it is possible to estimate the straight line in the image plane corresponding to the horizontal line indicating a height of the three-dimensional space.

【0129】三次元空間における物体存在位置での高さに対応する画像中の直線と、抽出した画像中の道路形状との交点を探索することで、三次元空間における物体存在位置での道路形状に対応する点を画像中で求めることができる。 [0129] By searching the intersection of the straight line in the image corresponding to the height of an object present at a position in three-dimensional space, and extracted road shape in image, a road shape of an object present at a position in three-dimensional space it can be determined corresponding points in the image. 対応点をカメラ視点から三次元空間に投影し、道路面高さを示す水平線と重なる部分が、道路形状の三次元位置となる。 The corresponding point is projected from the camera viewpoint in a three-dimensional space, the portion overlapping with the horizontal line indicating the road surface height, the three-dimensional position of the road shape. 三次元位置を推定できる点が複数個ある場合は、それらを連結して三次元道路形状を推定できる。 If there are a plurality of points can estimate the three-dimensional position can be estimated a three-dimensional road shape by connecting them. また、一点しか推定できない場合でも、勾配は一定、なだらかに変化する等の条件を用いることで、道路の三次元形状を推定することが可能になる。 Further, even if only one point can not be estimated, gradient constant, by using a condition that change gradually, it becomes possible to estimate the three-dimensional shape of a road.

【0130】画像面内で抽出された道路形状のみで実際の道路形状推定を行う場合、前方道路が縦断曲率や横断曲率を有する場合、実際の道路位置と水平面上投影位置とに大きな誤差が生じる可能性がある。 [0130] When performing the actual road shape estimation only the road shape extracted in the image plane, if the road ahead has a longitudinal curvature and transverse curvature, a large error in the actual road position and the horizontal plane on the projection position occurs there is a possibility. 実際の道路面高さを推定し、正しい高さで道路形状を推定することで、 Estimating the actual road surface height, to estimate the road shape in the correct height,
道路の三次元形状を推定することが可能になり、誤差を軽減することができる。 It is possible to estimate the three-dimensional shape of a road, it is possible to reduce the error.

【0131】また、図29と図30はレーダを用いて道路線形を推定し、画像から得た道路形状、あるいは、地図から得た道路形状と合わせて、道路形状を推定する装置の概略を示すものである。 [0131] Further, FIGS. 29 and 30 estimates the road shape by using a radar, showing the road shape obtained from the image or, together with the road shape obtained from the map, the outline of the apparatus for estimating a road shape it is intended. レーダによる道路線形推定を行うことで、外部環境条件が悪く、画像データから道路形状が得られない場合や、或いは連続的にGPS受信状態が悪く、地図から道路形状が得られない場合においても、精度は劣化するもののロバストに道路形状推定を続けることが可能になる。 By performing the road shape estimation by radar, poor external environment conditions, and if the road shape from the image data can not be obtained, or continuously poor GPS reception state, even when not obtained road shape map, accuracy becomes possible to continue to robustly road shape estimation of what deteriorates.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の道路形状推定装置の基本的な構成例を示す論理的構成図。 Logical configuration diagram showing a basic configuration example of a road shape estimation apparatus of the present invention; FIG.

【図2】本発明の道路形状推定装置のその他の代表的な構成例を示す論理的構成図。 Logical configuration diagram showing another example a typical configuration of the road shape estimation apparatus of the present invention; FIG.

【図3】本発明の道路形状推定装置のその他の代表的な構成例を示す論理的構成図。 Logical configuration diagram showing another example a typical configuration of the road shape estimation apparatus of the present invention; FIG.

【図4】レーダを搭載した本発明の道路形状推定装置の基本的な構成例を示す論理的構成図。 [Figure 4] logical configuration diagram showing a basic configuration example of a road shape estimation apparatus of the present invention equipped with radar.

【図5】本発明の道路形状推定装置の画像道路形状抽出手段を例示するデータフロー図。 [5] Data flow diagram illustrating an image road shape extracting unit of the road shape estimation apparatus of the present invention.

【図6】本発明の道路形状推定装置の地図道路形状抽出手段を例示するデータフロー図。 [6] Data flow diagram illustrating a map road shape extracting unit of the road shape estimation apparatus of the present invention.

【図7】本発明の道路形状推定装置の画像道路形状と地図道路形状の座標系を例示する3次元イメージ図。 [7] 3-dimensional image diagram illustrating the coordinate system of the image road shape and map road shape of a road shape estimation apparatus of the present invention.

【図8】本発明の道路形状推定装置の照合手段における、画像道路形状による候補領域と、地図道路形状による候補領域を含んだ3次元論理空間のイメージ図。 [8] in the collating unit of the road shape estimation apparatus of the present invention, the candidate area by the image road shape image diagram of a three-dimensional logical space including a candidate region by the map road shape.

【図9】本発明の道路形状推定装置の照合手段における、照合度Cを最適化するパラメータ群の決定手順を例示するフローチャート。 FIG. 9 is a flowchart of the checking means, illustrating the procedure for determining the parameter group that optimizes the matching degrees C of a road shape estimation apparatus of the present invention.

【図10】自車両姿勢推定手段を有する本発明の道路形状推定装置の基本的な構成例を示す論理的構成図。 [10] Logical block diagram showing a basic configuration example of a road shape estimation apparatus of the present invention having a vehicle attitude estimation means.

【図11】自車両位置推定手段を有する本発明の道路形状推定装置の基本的な構成例を示す論理的構成図。 [11] Logical block diagram showing a basic configuration example of a road shape estimation apparatus of the present invention having a vehicle position estimating means.

【図12】道路形状モデル照合手段を有する本発明の道路形状推定装置の基本的な構成例を示す論理的構成図。 [12] Logical block diagram showing a basic configuration example of a road shape estimation apparatus of the present invention having a road shape model matching means.

【図13】本発明の道路形状推定装置の自車両の道路面に対する姿勢を推定する方法を例示する説明図。 Figure 13 is an explanatory view illustrating a method of estimating the attitude relative to the road surface of the vehicle of a road shape estimation apparatus of the present invention.

【図14】第1実施例の適正道路形状抽出手段を有する道路形状推定装置の基本的な構成を示す論理的構成図。 [14] Logical block diagram showing a basic configuration of the road shape estimation apparatus having a proper road shape extracting means in the first embodiment.

【図15】第1実施例の道路画像・道路地図取得手段1 [15] the road image, road map acquirer 1 of the first embodiment
の基本的な構成を示すデータフロー図。 Data flow diagram showing a basic configuration of.

【図16】第1実施例の道路画像・道路地図取得手段2 [16] Road first embodiment the image-road map acquirer 2
の基本的な構成を示すデータフロー図。 Data flow diagram showing a basic configuration of.

【図17】第1実施例の適正道路形状抽出手段を有する3次元道路形状推定手段の基本的な構成を示す論理的構成図。 [17] Logical block diagram showing a basic configuration of a three-dimensional road shape estimating means for having a proper road shape extracting means in the first embodiment.

【図18】第1実施例の存在確率の算出方法の一例を示すグラフ。 Figure 18 is a graph showing an example of a method of calculating the existence probability of the first embodiment.

【図19】第1実施例の三次元道路形状推定手段の情報処理手順を例示するフローチャート。 Figure 19 is a flowchart illustrating a processing procedure of the three-dimensional road shape estimation unit of the first embodiment.

【図20】第1実施例の道路形状投影誤差が生じる状況を説明する、前方道路の垂直断面図(a)と水平面図(b)。 [20] The situation where road shape projection error of the first embodiment is generated will be described, vertical sectional view of the road ahead (a) and a horizontal plane diagram (b).

【図21】第1実施例の不可視領域が生じる状況を説明する、前方道路の垂直断面図。 [21] The situation where the invisible region occurs in the first embodiment will be described, vertical sectional view of the road ahead.

【図22】第1実施例の見えない領域の道路形状を推定する基本的な情報処理手順を例示するフローチャート。 Figure 22 is a flowchart illustrating the basic processing steps of estimating a road shape of the region invisible first embodiment.

【図23】第2実施例の平面内道路形状推定手段を有する道路形状推定装置の基本的な構成を示す論理的構成図。 [23] Logical block diagram showing a basic configuration of a road shape estimating device having a planar road shape estimation unit of the second embodiment.

【図24】第2実施例の平面内道路形状推定手段の基本的な構成を示す論理的構成図。 [24] Logical block diagram showing a basic configuration of the plane road shape estimation unit of the second embodiment.

【図25】第2実施例の座標加重平均演算により内分点を算出する内分点算出手段の概要を説明する平面図。 Figure 25 is a plan view illustrating the outline of the dividing point calculating means for calculating a dividing point by the coordinate weighted average operation of the second embodiment.

【図26】第2実施例の内分点を算出する内分点算出手段の演算方法を例示する平面内道路形状の拡大図。 Figure 26 is an enlarged view of a planar road configuration illustrating a method of calculating the dividing point calculating means for calculating a dividing point of the second embodiment.

【図27】第2実施例の平面内道路形状推定手段の基本的な情報処理手順を例示するフローチャート。 Figure 27 is a flowchart illustrating the basic processing steps of the plane road shape estimation unit of the second embodiment.

【図28】第3実施例の、レーダを搭載した本発明の道路形状推定装置の基本的な構成例を示す論理的構成図(全体構成1)。 [Figure 28] of the third embodiment, a logical block diagram showing a basic configuration example of a road shape estimation apparatus of the present invention equipped with a radar (Overall Structure 1).

【図29】第3実施例の、レーダを搭載した本発明の道路形状推定装置の基本的な構成例を示す論理的構成図(全体構成2)。 [29] Logical configuration diagram showing a third embodiment, a basic configuration example of a road shape estimation apparatus of the present invention equipped with a radar (Overall Structure 2).

【図30】第3実施例の、レーダを搭載した本発明の道路形状推定装置の基本的な構成例を示す論理的構成図(全体構成3)。 [Figure 30] of the third embodiment, a logical block diagram showing a basic configuration example of a road shape estimation apparatus of the present invention equipped with a radar (Overall Structure 3).

【図31】第3実施例の道路形状推定装置の概要を説明する平面図。 Figure 31 is a plan view illustrating the outline of a road shape estimation apparatus of the third embodiment.

【図32】第3実施例の物体位置推定手段の情報処理イメージを例示する論理的空間の斜視図。 Figure 32 is a perspective view of a logical space illustrating the processing image of the object position estimating unit in the third embodiment.

【図33】第3実施例の道路形状推定手段の情報処理イメージを例示する論理的空間の斜視図。 Figure 33 is a perspective view of a logical space illustrating the processing image of the road shape estimation unit of the third embodiment.

【図34】第3実施例の推定装置1の道路形状推定方法の情報処理手順を例示するフローチャート。 Figure 34 is a flowchart illustrating a processing procedure of a third road shape estimation method of estimating apparatus 1 of the embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

C … 照合度 (Xc,Yc,Zc) … カメラ座標 (Xm,Ym,Zm) … 地図座標 (Ximage ,Yimage ) … 画像座標 f … 撮像装置の焦点距離 θ … ピッチ角 φ … ヨー角 α … 拡大比 (d,L,h) … 地図座標系でのカメラ座標原点O C ... matching degree (Xc, Yc, Zc) ... camera coordinate (Xm, Ym, Zm) ... map coordinates (Ximage, Yimage) ... focal length theta ... pitch angle phi ... yaw angle α of the image coordinates f ... imaging apparatus ... Enlarge the ratio (d, L, h) ... the camera coordinate origin O in the map coordinate system
mの座標 Oc … カメラ視点(カメラ座標系の原点) (α,d,L,φ,θ) … 照合度Cの最適化パラメータ群 2W … 車線幅 m coordinate Oc ... camera viewpoint (the origin of the camera coordinate system) (α, d, L, φ, θ) ... optimization parameter group 2W ... lane width of matching degree C

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06T 11/60 300 G09B 29/10 A 5J070 G08G 1/16 G01B 11/24 K 5J084 G09B 29/10 G01S 17/88 A Fターム(参考) 2C032 HB05 HB22 HC01 HC05 HC08 HC23 HD03 2F065 AA14 AA56 BB05 BB27 CC40 DD00 FF01 FF04 FF64 FF65 FF67 JJ03 JJ05 JJ26 MM06 QQ00 QQ32 QQ38 QQ45 RR06 SS13 UU05 5B050 AA01 BA09 BA11 EA07 EA19 EA28 FA02 5B057 AA06 CA13 CB13 DB03 5H180 AA01 CC04 CC12 CC14 FF05 5J070 AC01 AC02 AE01 AF03 AK22 BD08 BF19 5J084 AA02 AA05 AB20 AC02 DA01 EA40 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06T 11/60 300 G09B 29/10 a 5J070 G08G 1/16 G01B 11/24 K 5J084 G09B 29/10 G01S 17 / 88 A F-term (reference) 2C032 HB05 HB22 HC01 HC05 HC08 HC23 HD03 2F065 AA14 AA56 BB05 BB27 CC40 DD00 FF01 FF04 FF64 FF65 FF67 JJ03 JJ05 JJ26 MM06 QQ00 QQ32 QQ38 QQ45 RR06 SS13 UU05 5B050 AA01 BA09 BA11 EA07 EA19 EA28 FA02 5B057 AA06 CA13 CB13 DB03 5H180 AA01 CC04 CC12 CC14 FF05 5J070 AC01 AC02 AE01 AF03 AK22 BD08 BF19 5J084 AA02 AA05 AB20 AC02 DA01 EA40

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 自車両の前景を画像データとして取得する撮像装置を有し、前記自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置であって、 前記道路の第1形状候補を前記画像データから抽出する画像道路形状抽出手段と、 前記自車両の周辺の地図データを取得する地図データ取得手段と、 前記道路の第2形状候補を前記地図データから抽出する地図道路形状抽出手段と、 前記第1形状候補と前記第2形状候補とを3次元又は2 1. A has an imaging device for acquiring the foreground of the vehicle as image data, wherein a road shape estimation apparatus for vehicle which the vehicle is estimated shape of a road that is expected or traveling traveling, an image road shape extracting means for extracting a first shape candidate of the road from the image data, the map data acquisition means for acquiring map data around the vehicle, the second shape candidate of the road from the map data a map road shape extracting means for extracting, wherein the first shape candidate second shape candidate and the 3-dimensional or 2
    次元で構成された一つの論理的空間に投影し、この投影された双方の道路形状の前記論理的空間における重なり状態に基づいて、 前記道路の形状、 前記道路の路面に対する前記自車両の姿勢、又は、 前記道路に対する前記自車両の絶対位置を推定する道路形状推定手段とを有することを特徴とする道路形状推定装置。 Projected onto one logical space consists of dimensions, based on the state overlap in the logical space of the projected both road shape, the shape of the road, the attitude of the vehicle with respect to the road surface of the road, or, the road shape estimation apparatus, comprising a road shape estimating means for estimating the absolute position of the vehicle with respect to the road.
  2. 【請求項2】 前記道路形状推定手段は、 前記路面に対する前記自車両の姿勢を予め推定する自車両姿勢推定手段、又は、前記道路に対する前記自車両の絶対位置を予め推定する自車両位置推定手段、を有することを特徴とする請求項1に記載の道路形状推定装置。 Wherein said road shape estimation means, the vehicle attitude estimation means for pre-estimating the posture of the vehicle with respect to the road surface, or the vehicle position estimating means for pre-estimating the absolute position of the vehicle relative to the road road shape estimation apparatus according to claim 1, characterized in that it comprises a.
  3. 【請求項3】 前記道路形状推定手段は、 前記第1形状候補と前記第2形状候補との互いに対応すべき各点毎に、前記重なり状態を確率的に評価する照合手段を有することを特徴とする請求項1又は請求項2に記載の道路形状推定装置。 Wherein the road shape estimation means, characterized in that for each point should correspond with each other and the second shape candidate and the first shape candidate, a verification means for evaluating said lap state stochastically road shape estimation apparatus according to claim 1 or claim 2,.
  4. 【請求項4】 前記道路形状推定手段は、 前記第1形状候補の信頼度R1と前記第2形状候補の信頼度R2とを、前記第1形状候補と前記第2形状候補との互いに対応すべき各点毎に、算出する信頼度算出手段と、 前記信頼度R1、R2に基づいて、前記各点毎にその2 Wherein said road shape estimation unit, and a reliability R2 of the second shape candidate and the reliability R1 of the first shape candidate, to correspond to each other between the second shape candidate and the first shape candidate for each point to the reliability calculation means for calculating, the reliability R1, R2 on the basis, the 2 wherein each point
    点間の内分点を座標加重平均演算により算出する内分点算出手段とを有することを特徴とする請求項1乃至請求項3の何れか1項に記載の道路形状推定装置。 Road shape estimation apparatus according to any one of claims 1 to 3 and having a dividing point calculating means for calculating the coordinate weighted average operation the internally dividing point between points.
  5. 【請求項5】 前記道路形状推定手段により推定された前記道路の形状を構成する各代表点間の位置関係における矛盾を所定の物理的制約条件に基づいて排除することにより、適正な道路形状を抽出する適正道路形状抽出手段を有することを特徴とする請求項1乃至請求項4の何れか1項に記載の道路形状推定装置。 5. By eliminating based inconsistencies in the positional relationship between the representative points constituting the shape of the road estimated by the road shape estimation means in a predetermined physical constraints, a proper road shape road shape estimation apparatus according to any one of claims 1 to 4, characterized in that it has a proper road shape extracting means for extracting.
  6. 【請求項6】 前記道路形状推定手段は、 前記撮像装置のカメラ視点を投影中心として、前記第1 Wherein said road shape estimating device, a projection center of the camera viewpoint of the imaging device, the first
    形状候補を前記論理的空間に投影する投影手段を有し、 前記自車両の位置と姿勢に基づいてカメラ座標系と地図座標系との位置合わせを行うことを特徴とする請求項1 The shape candidate having a projection means for projecting the logical space, the claim 1, characterized in that to align the camera coordinate system and the map coordinate system based on the position and orientation of the vehicle
    乃至請求項5の何れか1項に記載の道路形状推定装置。 To the road shape estimation apparatus according to any one of claims 5.
  7. 【請求項7】 前記道路形状推定手段の推定結果、及び、前記第2形状候補に基づいて、前記撮像装置の死角領域における前記道路の形状を推定する推定領域拡張手段を有することを特徴とする請求項1乃至請求項6の何れか1項に記載の道路形状推定装置。 7. A result of estimation of the road shape estimation unit, and, on the basis of the second shape candidate, and having an estimated area extension means for estimating a shape of the road in the blind spot region of the imaging device road shape estimation apparatus according to any one of claims 1 to 6.
  8. 【請求項8】 自車両の前方を探査してレーダ信号を取得するレーダを有し、前記自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置であって、 前記レーダ信号より前記自車両の前方の物体の位置を検出し、 前記物体の並びに基づいて、前記道路の道路線形を推定する道路線形推定手段を有し、 「前記自車両の前景を画像データとして取得する撮像装置と、前記道路の第1形状候補を前記画像データから抽出する画像道路形状抽出手段」、又は、 「前記自車両の周辺の地図データを取得する地図データ取得手段と、前記道路の第2形状候補を前記地図データから抽出する地図道路形状抽出手段」の少なくとも何れか一方を有し、 前記第1形状候補又は前記第2形状候補と、前記道路線形とを3次元又 Has 8. radar to acquire radar signal to probe the front of the own vehicle, a said road shape estimation apparatus for vehicle which the vehicle is estimated shape of a road that is expected or traveling traveling Te, wherein detecting the position of an object in front of the vehicle than the radar signal, based on the arrangement of the object, has a road shape estimating means for estimating a road shape of the road, "image foreground of the vehicle an imaging device for acquiring as data, image road shape extracting means for extracting a first shape candidate of the road from the image data ", or the map data acquisition means for acquiring" map data around the vehicle, wherein the second shape candidate of a road having at least one of the map road shape extracting means "for extracting from said map data, said first shape candidate or the second shape candidate 3D also and said road linear 2次元で構成された一つの論理的空間に投影し、この投影された道路形状と前記道路線形との前記論理的空間における重なり状態に基づいて、前記論理的空間における前記道路の形状を推定する道路形状推定手段を有することを特徴とする道路形状推定装置。 Projected onto one logical space consists of two-dimensional, based on the state overlap in the logical space between the projected road shape and the road shape, to estimate the shape of the road in the logical space road shape estimation apparatus characterized by having a road shape estimation unit.
  9. 【請求項9】 自車両の前景を画像データとして取得する撮像装置と、前記自車両の前方を探査してレーダ信号を取得するレーダを有し、前記自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置であって、 前記道路の第1形状候補を前記画像データから抽出する画像道路形状抽出手段と、 前記レーダ信号より前記自車両の前方の物体までの距離を推定する物体距離推定手段と、 前記物体までの距離に基づいて、前記画像データから前記道路の路面高さを推定する道路面高さ推定手段と、 前記第1形状候補と前記道路の路面高さとに基づいて、 9. an imaging apparatus that acquires foreground of the vehicle as image data, having a radar to obtain a radar signal to probe the front of the vehicle, the are expected to host vehicle or traveling traveling a road shape estimation apparatus for vehicle that estimates a shape of a road, the image road shape extracting means for extracting a first shape candidate of the road from the image data, to the front of the object of the own vehicle from the radar signal and the object distance estimation means for estimating the distance based on the distance to the object, and the road surface height estimation means for estimating a road surface height of the road from the image data, the road and the first shape candidate on the basis of the road surface height,
    前記道路の三次元形状を推定する道路形状推定手段とを有することを特徴とする道路形状推定装置。 Road shape estimation apparatus, comprising a road shape estimating means for estimating a three-dimensional shape of the road.
JP2000148687A 2000-05-19 2000-05-19 Road shape estimating device Pending JP2001331787A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000148687A JP2001331787A (en) 2000-05-19 2000-05-19 Road shape estimating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000148687A JP2001331787A (en) 2000-05-19 2000-05-19 Road shape estimating device

Publications (1)

Publication Number Publication Date
JP2001331787A true true JP2001331787A (en) 2001-11-30

Family

ID=18654672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000148687A Pending JP2001331787A (en) 2000-05-19 2000-05-19 Road shape estimating device

Country Status (1)

Country Link
JP (1) JP2001331787A (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (en) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation Moving body navigate information display method and moving body navigate information display device
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007218705A (en) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp White line model measurement system, measuring truck, and white line model measuring device
JP2007232408A (en) * 2006-02-27 2007-09-13 Toyota Motor Corp Apparatus and method for estimating shape of structure and obstacle detection apparatus
JP2008003253A (en) * 2006-06-21 2008-01-10 Toyota Motor Corp Road shape acquisition device
WO2009087716A1 (en) * 2008-01-07 2009-07-16 Panasonic Corporation Image transformation method, image display method, image transformation apparatus and image display apparatus
JP2010107224A (en) * 2008-10-28 2010-05-13 Mitsubishi Electric Corp Position determining apparatus and apparatus for detecting changed building
WO2010061773A1 (en) * 2008-11-28 2010-06-03 日立オートモティブシステムズ株式会社 Camera device
US7848884B2 (en) 2003-05-30 2010-12-07 Toyota Jidosha Kabushiki Kaisha Collision prediction apparatus
WO2011013586A1 (en) * 2009-07-29 2011-02-03 日立オートモティブシステムズ株式会社 Road shape recognition device
US8195386B2 (en) 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
WO2013030932A1 (en) * 2011-08-29 2013-03-07 パイオニア株式会社 Navigation device, image display device, server, adjustment device, and forward image display method
WO2014076769A1 (en) * 2012-11-13 2014-05-22 株式会社東芝 Detection device, method, and program
JP2015005298A (en) * 2008-01-15 2015-01-08 グーグル インコーポレイテッド Three-dimensional annotations for street view data
JP2015045622A (en) * 2013-08-29 2015-03-12 株式会社デンソー Road feature recognition method, road feature recognition apparatus, program, and recording medium
JPWO2013030932A1 (en) * 2011-08-29 2015-03-23 パイオニア株式会社 Navigation system, an image display control device, a server, the adjusting device, and the front image display control method
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
JP2015534152A (en) * 2012-08-27 2015-11-26 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト The method for recognizing a lane changes for vehicles
KR20160057174A (en) * 2014-11-13 2016-05-23 한국건설기술연구원 Measuring Method of Standard Road Width using Laser Scanner and Image
US20170015317A1 (en) * 2015-07-13 2017-01-19 Cruise Automation, Inc. Method for image-based vehicle localization
WO2018030010A1 (en) * 2016-08-12 2018-02-15 パナソニックIpマネジメント株式会社 Road surface estimation device, vehicle control device, road surface estimation method, and program

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (en) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation Moving body navigate information display method and moving body navigate information display device
US7848884B2 (en) 2003-05-30 2010-12-07 Toyota Jidosha Kabushiki Kaisha Collision prediction apparatus
US7848886B2 (en) 2003-05-30 2010-12-07 Toyota Jidosha Kabushiki Kaisha Collision prediction apparatus
US8195386B2 (en) 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007218705A (en) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp White line model measurement system, measuring truck, and white line model measuring device
JP4619962B2 (en) * 2006-02-15 2011-01-26 三菱電機株式会社 Road marking measurement system, the white line model measurement system and the white line models measuring device
JP4655961B2 (en) * 2006-02-27 2011-03-23 トヨタ自動車株式会社 Structure shape estimating device, an obstacle detection location and structure shape estimating method
JP2007232408A (en) * 2006-02-27 2007-09-13 Toyota Motor Corp Apparatus and method for estimating shape of structure and obstacle detection apparatus
JP2008003253A (en) * 2006-06-21 2008-01-10 Toyota Motor Corp Road shape acquisition device
WO2009087716A1 (en) * 2008-01-07 2009-07-16 Panasonic Corporation Image transformation method, image display method, image transformation apparatus and image display apparatus
JP2015005298A (en) * 2008-01-15 2015-01-08 グーグル インコーポレイテッド Three-dimensional annotations for street view data
JP2010107224A (en) * 2008-10-28 2010-05-13 Mitsubishi Electric Corp Position determining apparatus and apparatus for detecting changed building
JP2010128949A (en) * 2008-11-28 2010-06-10 Hitachi Automotive Systems Ltd Camera apparatus
WO2010061773A1 (en) * 2008-11-28 2010-06-03 日立オートモティブシステムズ株式会社 Camera device
WO2011013586A1 (en) * 2009-07-29 2011-02-03 日立オートモティブシステムズ株式会社 Road shape recognition device
JP2011028659A (en) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd Road shape recognition device
US9074906B2 (en) 2009-07-29 2015-07-07 Hitachi Automotive Systems, Ltd. Road shape recognition device
JPWO2013030932A1 (en) * 2011-08-29 2015-03-23 パイオニア株式会社 Navigation system, an image display control device, a server, the adjusting device, and the front image display control method
WO2013030932A1 (en) * 2011-08-29 2013-03-07 パイオニア株式会社 Navigation device, image display device, server, adjustment device, and forward image display method
JP2015534152A (en) * 2012-08-27 2015-11-26 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト The method for recognizing a lane changes for vehicles
CN103988241A (en) * 2012-11-13 2014-08-13 株式会社东芝 Detection device, method, and program
WO2014076769A1 (en) * 2012-11-13 2014-05-22 株式会社東芝 Detection device, method, and program
US9122936B2 (en) 2012-11-13 2015-09-01 Kabushiki Kaisha Toshiba Detecting device, detection method, and computer program product
JP2015045622A (en) * 2013-08-29 2015-03-12 株式会社デンソー Road feature recognition method, road feature recognition apparatus, program, and recording medium
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
US9494942B1 (en) 2014-01-22 2016-11-15 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
KR20160057174A (en) * 2014-11-13 2016-05-23 한국건설기술연구원 Measuring Method of Standard Road Width using Laser Scanner and Image
KR101630248B1 (en) * 2014-11-13 2016-06-14 한국건설기술연구원 Measuring Method of Standard Road Width using Laser Scanner and Image
US20170015317A1 (en) * 2015-07-13 2017-01-19 Cruise Automation, Inc. Method for image-based vehicle localization
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
WO2018030010A1 (en) * 2016-08-12 2018-02-15 パナソニックIpマネジメント株式会社 Road surface estimation device, vehicle control device, road surface estimation method, and program

Similar Documents

Publication Publication Date Title
US20090303077A1 (en) Image Processing System and Method
Tardif et al. Monocular visual odometry in urban environments using an omnidirectional camera
Schreiber et al. Laneloc: Lane marking based localization using highly accurate maps
US20100034426A1 (en) Measurement apparatus, measurement method, and feature identification apparatus
Schroedl et al. Mining GPS traces for map refinement
US20090118994A1 (en) Vehicle and lane recognizing device
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
US20060227211A1 (en) Method and apparatus for measuring position and orientation
Zhao et al. A vehicle-borne urban 3-D acquisition system using single-row laser range scanners
Wedel et al. B-spline modeling of road surfaces with an application to free-space estimation
US20100183192A1 (en) System and method for object motion detection based on multiple 3d warping and vehicle equipped with such system
US20100315505A1 (en) Object motion detection system based on combining 3d warping techniques and a proper object motion detection
WO2009098154A1 (en) Method for map matching with sensor detected objects
US20090041337A1 (en) Image processing apparatus and method
US20060139619A1 (en) Distance calculation device and calculation program
US8174568B2 (en) Unified framework for precise vision-aided navigation
US20100004856A1 (en) Positioning device
US20080279421A1 (en) Object detection using cooperative sensors and video triangulation
US20080253606A1 (en) Plane Detector and Detecting Method
US20110206236A1 (en) Navigation method and aparatus
Badino A robust approach for ego-motion estimation using a mobile stereo platform
JP2003329411A (en) Camera calibration device
Zho et al. Reconstructing urban 3D model using vehicle-borne laser range scanners
JPH0953939A (en) Method and system for measuring position of mobile vehicle
US20100080419A1 (en) Image processing device for vehicle