JP2019212154A - Road boundary detection device - Google Patents
Road boundary detection device Download PDFInfo
- Publication number
- JP2019212154A JP2019212154A JP2018109347A JP2018109347A JP2019212154A JP 2019212154 A JP2019212154 A JP 2019212154A JP 2018109347 A JP2018109347 A JP 2018109347A JP 2018109347 A JP2018109347 A JP 2018109347A JP 2019212154 A JP2019212154 A JP 2019212154A
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- road
- road boundary
- unit
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、道路境界を検出する道路境界検出装置に関する。 The present invention relates to a road boundary detection device that detects a road boundary.
特許文献１には、縁石などの路側物を検出する路側物検出装置が開示されている。この路側物検出装置では、自車両の近傍領域における撮影対象の高さを検出し、その高さの変化から道路モデルを推定し、道路モデルを遠方まで外挿して仮想線を設定し、その仮想線を中心とした一定範囲においてエッジを探索し、探索されたエッジから路側物を検出する。この従来技術では、遠方において測距精度が低下することを考慮して、近傍領域における高さの変化を利用して路側物の境界を検出している。路側物の境界は、道路境界としても利用可能である。 Patent Document 1 discloses a roadside object detection device that detects a roadside object such as a curbstone. In this roadside object detection device, the height of the object to be imaged in the vicinity region of the host vehicle is detected, a road model is estimated from the change in the height, a virtual line is set by extrapolating the road model far away, An edge is searched in a certain range centered on a line, and a roadside object is detected from the searched edge. In this prior art, the boundary of roadside objects is detected by utilizing the change in height in the vicinity region in consideration of the fact that the distance measurement accuracy is lowered at a distance. The roadside boundary can also be used as a road boundary.
しかしながら、本願の発明者は、従来技術では道路境界における高さの変化が小さいとき（例えば歩道と路面がほぼ同じ高さのとき）に、道路境界を正しく検出できない場合があるという問題があることを見出した。そこで、上述した従来技術とは異なる方法で道路境界を検出する技術が望まれる。 However, the inventor of the present application has a problem that the road boundary may not be detected correctly when the change in height at the road boundary is small (for example, when the sidewalk and the road surface are approximately the same height). I found. Therefore, a technique for detecting a road boundary by a method different from the conventional technique described above is desired.
本発明の一形態によれば、道路境界を検出する道路境界検出装置（２３０，２３０ａ，２３０ｂ，２３０ｃ）が提供される。この道路境界検出装置は、ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と；前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３２）と；前記複数の境界候補点から複数の道路境界候補を推定する推定処理を実行する道路境界候補推定部（２３３）と；前記複数の道路境界候補の中から道路境界を選択する選択処理を実行する境界選択部（２３４）と；を備える。前記境界選択部は、各道路境界候補に関して、予め定められた複数の特徴量を算出する特徴量算出部（２４１）と；各特徴量と境界線尤度との予め定められた関係を用いて、前記複数の特徴量に対応する複数の境界線尤度を算出する尤度算出部（２４２）と；各道路境界候補に関して、前記複数の境界線尤度を統合して統合尤度を算出する統合尤度算出部（２４３）と；前記複数の道路境界候補の中で前記統合尤度が最も大きな道路境界候補を前記道路境界として選択する選択実行部（２４４）と；を備える。 According to one aspect of the present invention, a road boundary detection device (230, 230a, 230b, 230c) for detecting a road boundary is provided. This road boundary detection apparatus uses a left and right image captured by a stereo camera (412) as a reference image and a comparison image, and generates a distance image representing a distance image representing a distance to an object existing in the reference image. (231); and a boundary candidate point extraction unit (232) that extracts a plurality of boundary candidate points (CP) from pixels in which a difference in distance between adjacent pixels in the distance image is equal to or greater than a predetermined distance threshold. A road boundary candidate estimation unit (233) for executing an estimation process for estimating a plurality of road boundary candidates from the plurality of boundary candidate points; and a selection process for selecting a road boundary from the plurality of road boundary candidates And a boundary selection unit (234) for performing. The boundary selection unit is configured to calculate a plurality of predetermined feature amounts with respect to each road boundary candidate; and using a predetermined relationship between each feature amount and the boundary line likelihood. A likelihood calculation unit (242) for calculating a plurality of boundary line likelihoods corresponding to the plurality of feature amounts; and for each road boundary candidate, calculating the integrated likelihood by integrating the plurality of boundary line likelihoods. An integrated likelihood calculating unit (243); and a selection executing unit (244) for selecting a road boundary candidate having the largest integrated likelihood among the plurality of road boundary candidates as the road boundary.
この道路境界検出装置によれば、複数の境界候補点から得られる複数の道路境界候補のなかで、特徴量から算出される統合尤度が最も大きなものを道路境界として選択するので、道路境界を精度良く推定できる。 According to this road boundary detection device, the road boundary having the largest integrated likelihood calculated from the feature amount is selected as the road boundary from among the plurality of road boundary candidates obtained from the plurality of boundary candidate points. It can be estimated with high accuracy.
A. 第１実施形態：
図１に示すように、第１実施形態の車両５０は、自動運転制御システム１００を備える。自動運転制御システム１００は、自動運転ＥＣＵ２００（Electronic Control Unit）と、車両制御部３００と、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、を備える。なお、本明細書において、車両５０を「自車両５０」とも呼ぶ。
A. First embodiment:
As shown in FIG. 1, the vehicle 50 according to the first embodiment includes an automatic driving control system 100. The automatic driving control system 100 includes an automatic driving ECU 200 (Electronic Control Unit), a vehicle control unit 300, a front detection device 410, a rear detection device 420, and a support information acquisition unit 500. In the present specification, the vehicle 50 is also referred to as “own vehicle 50”.
自動運転ＥＣＵ２００は、ＣＰＵとメモリとを含む回路である。自動運転ＥＣＵ２００は、不揮発性記憶媒体に格納されたコンピュータプログラムを実行することによって、自動運転制御部２１０と、状況認知部２２０と、の機能をそれぞれ実現する。なお、自動運転ＥＣＵ２００の機能の一部をハードウェア回路で実現するようにしてもよい。 The automatic operation ECU 200 is a circuit including a CPU and a memory. The automatic driving ECU 200 implements the functions of the automatic driving control unit 210 and the situation recognition unit 220 by executing a computer program stored in a nonvolatile storage medium. A part of the function of the automatic driving ECU 200 may be realized by a hardware circuit.
状況認知部２２０は、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、一般センサ類３４０から提供される各種の情報や検出値を利用して、自車両５０及び他車両６０の走行状況や、周囲の環境を認知する。第１実施形態において、状況認知部２２０は、ステレオカメラ４１２で撮影された２つの画像から道路境界線を検出する道路境界検出部２３０を有する。この道路境界検出部２３０は、道路境界検出装置に相当する。道路境界検出部２３０の機能については後述する。 The situation recognition unit 220 uses the various information and detection values provided from the front detection device 410, the rear detection device 420, the support information acquisition unit 500, and the general sensors 340 to detect the host vehicle 50 and other vehicles. Recognize 60 driving conditions and surrounding environment. In the first embodiment, the situation recognition unit 220 includes a road boundary detection unit 230 that detects a road boundary line from two images captured by the stereo camera 412. The road boundary detection unit 230 corresponds to a road boundary detection device. The function of the road boundary detection unit 230 will be described later.
車両制御部３００は、車両５０の運転のための各種の制御を実行する部分であり、自動運転と手動運転のいずれの場合にも利用される。車両制御部３００は、駆動部制御装置３１０と、ブレーキ制御装置３２０と、操舵角制御装置３３０と、一般センサ類３４０とを含む。駆動部制御装置３１０は、車両５０の車輪を駆動する駆動部（図示せず）を制御する機能を有する。車輪の駆動部としては、内燃機関と電動モータのうちの１つ以上の原動機を使用可能である。ブレーキ制御装置３２０は、車両５０のブレーキ制御を実行する。ブレーキ制御装置３２０は、例えば電子制御ブレーキシステム（ＥＣＢ）として構成される。操舵角制御装置３３０は、車両５０の車輪の操舵角を制御する。「操舵角」とは、車両５０の２つの前輪の平均操舵角を意味する。操舵角制御装置３３０は、例えば電動パワーステアリングシステム（ＥＰＳ）として構成される。一般センサ類３４０は、車速センサ３４２と操舵角センサ３４４とヨーレートセンサ３４６を含んでおり、車両５０の運転に必要とされる一般的なセンサ類である。一般センサ類３４０は、自動運転と手動運転のいずれの場合にも利用されるセンサを含んでいる。 The vehicle control unit 300 is a part that executes various controls for driving the vehicle 50, and is used in both cases of automatic driving and manual driving. The vehicle control unit 300 includes a drive unit control device 310, a brake control device 320, a steering angle control device 330, and general sensors 340. The drive unit control device 310 has a function of controlling a drive unit (not shown) that drives the wheels of the vehicle 50. One or more prime movers of an internal combustion engine and an electric motor can be used as the wheel drive unit. The brake control device 320 performs brake control of the vehicle 50. The brake control device 320 is configured as an electronically controlled brake system (ECB), for example. The steering angle control device 330 controls the steering angle of the wheels of the vehicle 50. “Steering angle” means the average steering angle of the two front wheels of the vehicle 50. The steering angle control device 330 is configured as an electric power steering system (EPS), for example. The general sensors 340 include a vehicle speed sensor 342, a steering angle sensor 344, and a yaw rate sensor 346, and are general sensors necessary for driving the vehicle 50. The general sensors 340 include sensors that are used for both automatic operation and manual operation.
前方検出装置４１０は、車載センサを使用して、自車両５０の前方に存在する物体や道路設備（車線、交差点、信号機等）等の各種の対象物に関する情報を取得する。本実施形態において、前方検出装置４１０は、ステレオカメラ４１２と、レーダー４１４とを含んでいる。ステレオカメラ４１２は、対象物の色（例えば白線の走路区画線と黄線の走路区画線）を区別するために、カラーカメラであることが好ましい。レーダー４１４としては、光を放射するＬＩＤＡＲ（Light Detection and Ranging）や、電波を放射するレーダー（例えばミリ波レーダー）など、電磁波を放射する各種のレーダーを使用可能である。後方検出装置４２０は、自車両５０の後方に存在する物体や道路設備等の各種の対象物に関する情報を取得する。後方検出装置４２０も、前方検出装置４１０と同様な車載センサを含むように構成可能である。 The forward detection device 410 uses an in-vehicle sensor to acquire information on various objects such as an object existing in front of the host vehicle 50 and road equipment (lanes, intersections, traffic lights, etc.). In the present embodiment, the front detection device 410 includes a stereo camera 412 and a radar 414. The stereo camera 412 is preferably a color camera in order to distinguish the color of the object (for example, a white line and a yellow line). As the radar 414, various radars that emit electromagnetic waves, such as LIDAR (Light Detection and Ranging) that emits light and radars that emit radio waves (for example, millimeter wave radar) can be used. The rear detection device 420 acquires information on various objects such as an object and road equipment existing behind the host vehicle 50. The rear detection device 420 can also be configured to include a vehicle-mounted sensor similar to the front detection device 410.
支援情報取得部５００は、自動運転のための各種の支援情報を取得する。支援情報取得部５００は、ＧＮＳＳ受信機５１０と、ナビゲーション装置５２０と、無線通信装置５３０とを含んでいる。ＧＮＳＳ受信機５１０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信した航法信号に基づいて、自車両５０の現在位置（経度・緯度）を測位する。ナビゲーション装置５２０は、目的地とＧＮＳＳ受信機５１０で検出される自車位置とに基づいて、自動運転における予定ルートを決定する機能を有する。予定ルートの決定や修正のために、ＧＮＳＳ受信機５１０に加えて、ジャイロ等の他のセンサを利用してもよい。無線通信装置５３０は、高度道路交通システム７０（Intelligent Transport System）との無線通信によって自車両５０の状況や周囲の状況に関する状況情報を交換することが可能であり、また、他車両６０との車車間通信や、道路設備に設置された路側無線機との路車間通信を行って状況情報を交換することも可能である。支援情報取得部５００は、このような無線通信を介して得られる状況情報を利用して、自車の走行状況に関する情報の一部を取得するようにしてもよい。支援情報取得部５００によって取得された各種の支援情報は、自動運転ＥＣＵ２００に送信される。 The support information acquisition unit 500 acquires various support information for automatic driving. The support information acquisition unit 500 includes a GNSS receiver 510, a navigation device 520, and a wireless communication device 530. The GNSS receiver 510 measures the current position (longitude / latitude) of the host vehicle 50 based on navigation signals received from artificial satellites constituting a GNSS (Global Navigation Satellite System). The navigation device 520 has a function of determining a planned route in automatic driving based on the destination and the vehicle position detected by the GNSS receiver 510. In addition to the GNSS receiver 510, another sensor such as a gyro may be used to determine or correct the scheduled route. The wireless communication device 530 can exchange situation information regarding the situation of the host vehicle 50 and the surrounding situation by wireless communication with an intelligent transport system 70 (Intelligent Transport System). It is also possible to exchange situation information by performing inter-vehicle communication or road-to-vehicle communication with a roadside radio installed in road equipment. The support information acquisition unit 500 may acquire a part of the information related to the traveling state of the own vehicle using the state information obtained through such wireless communication. Various types of support information acquired by the support information acquisition unit 500 is transmitted to the automatic driving ECU 200.
本明細書において「自動運転」とは、ドライバ（運転者）が運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。従って、自動運転では、駆動部の動作状態と、ブレーキ機構の動作状態と、車輪の操舵角が、自動的に決定される。「手動運転」とは、駆動部制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵角制御のための操作（ステアリングホイールの回転）を、ドライバが実行する運転を意味する。 In this specification, “automatic driving” means driving in which all of drive unit control, brake control, and steering angle control are automatically performed without a driver (driver) performing a driving operation. Therefore, in the automatic operation, the operation state of the drive unit, the operation state of the brake mechanism, and the steering angle of the wheel are automatically determined. “Manual operation” means operations for controlling the drive unit (depressing the accelerator pedal), operations for controlling the brake (depressing the brake pedal), and operations for controlling the steering angle (rotating the steering wheel). , Meaning the driving performed by the driver.
自動運転制御部２１０は、状況認知部２２０で認知される各種の状況を使用して、自車両５０の自動運転の制御を実行する。具体的には、自動運転制御部２１０は、駆動部（エンジンやモータ）の駆動力を示す駆動力指令値を駆動部制御装置３１０に送信し、ブレーキ機構の動作状態を示すブレーキ指令値をブレーキ制御装置３２０に送信し、車輪の操舵角を示す操舵角指令値を操舵角制御装置３３０に送信する。各制御装置３１０，３２０，３３０は、与えられた指令値に従ってそれぞれの制御対象機構の制御を実行する。なお、自動運転制御部２１０の各種の機能は、例えばディープラーニングなどの機械学習を利用した人工知能により実現可能である。 The automatic driving control unit 210 executes automatic driving control of the host vehicle 50 using various situations recognized by the situation recognition unit 220. Specifically, the automatic operation control unit 210 transmits a driving force command value indicating the driving force of the driving unit (engine or motor) to the driving unit control device 310, and brakes a brake command value indicating the operating state of the brake mechanism. This is transmitted to the control device 320, and a steering angle command value indicating the steering angle of the wheel is transmitted to the steering angle control device 330. Each control device 310, 320, 330 executes control of each control target mechanism in accordance with a given command value. Note that various functions of the automatic operation control unit 210 can be realized by artificial intelligence using machine learning such as deep learning.
自動運転制御システム１００は、自動運転ＥＣＵ２００を含む多数の電子機器を有している。これらの複数の電子機器は、ＣＡＮ（Controller Area Network）などの車載ネットワークを介して互いに接続されている。 The automatic driving control system 100 has a large number of electronic devices including an automatic driving ECU 200. The plurality of electronic devices are connected to each other via an in-vehicle network such as a CAN (Controller Area Network).
図２に示すように、道路境界検出部２３０は、距離画像生成部２３１と、境界候補点抽出部２３２と、道路境界候補推定部２３３と、境界選択部２３４とを含んでいる。距離画像生成部２３１は、ステレオカメラ４１２で撮影された左右の画像を基準画像及び比較画像として用いて、視差画像を生成する。視差画像は、基準画像に存在する物体までの距離を表す画像なので、「距離画像」とも呼ぶ。境界候補点抽出部２３２は、距離画像を用いて、道路境界上にあると推定される複数の境界候補点を抽出する。道路境界候補推定部２３３は、複数の境界候補点を用いて複数の道路境界候補を推定する。境界選択部２３４は、複数の道路境界候補の中から道路境界を選択する選択処理を実行する。 As shown in FIG. 2, the road boundary detection unit 230 includes a distance image generation unit 231, a boundary candidate point extraction unit 232, a road boundary candidate estimation unit 233, and a boundary selection unit 234. The distance image generation unit 231 generates a parallax image using the left and right images captured by the stereo camera 412 as a reference image and a comparison image. The parallax image is also referred to as a “distance image” because it is an image representing the distance to an object existing in the reference image. The boundary candidate point extraction unit 232 uses the distance image to extract a plurality of boundary candidate points estimated to be on the road boundary. The road boundary candidate estimation unit 233 estimates a plurality of road boundary candidates using a plurality of boundary candidate points. The boundary selection unit 234 executes a selection process for selecting a road boundary from a plurality of road boundary candidates.
境界選択部２３４は、特徴量算出部２４１と、尤度算出部２４２と、統合尤度算出部２４３と、選択実行部２４４と、を有する。特徴量算出部２４１は、各道路境界候補に関して、予め定められた複数の特徴量を算出する。尤度算出部２４２は、各特徴量と境界線尤度との予め定められた関係を用いて、複数の特徴量に対応する複数の境界線尤度を算出する。統合尤度算出部２４３は、各道路境界候補に関して、複数の境界線尤度を統合して統合尤度を算出する。選択実行部２４４は、複数の道路境界候補の中で統合尤度が最も大きな道路境界候補を道路境界として選択する。 The boundary selection unit 234 includes a feature amount calculation unit 241, a likelihood calculation unit 242, an integrated likelihood calculation unit 243, and a selection execution unit 244. The feature amount calculation unit 241 calculates a plurality of predetermined feature amounts for each road boundary candidate. The likelihood calculating unit 242 calculates a plurality of boundary line likelihoods corresponding to a plurality of feature amounts using a predetermined relationship between each feature amount and the boundary line likelihood. The integrated likelihood calculating unit 243 calculates a combined likelihood by integrating a plurality of boundary line likelihoods for each road boundary candidate. The selection execution unit 244 selects a road boundary candidate having the largest integrated likelihood among the plurality of road boundary candidates as a road boundary.
図３に示すように、道路境界検出処理では、まず、ステップＳ１１０において、道路境界検出部２３０が、ステレオカメラ４１２によって撮影された左画像と右画像を取得する。本実施形態では、右画像を基準画像として使用し、左画像を比較画像として使用する。 As shown in FIG. 3, in the road boundary detection process, first, in step S <b> 110, the road boundary detection unit 230 acquires a left image and a right image captured by the stereo camera 412. In the present embodiment, the right image is used as a reference image, and the left image is used as a comparison image.
図４に示すように、図３のステップＳ１２０では、距離画像生成部２３１が、基準画像と比較画像から、距離画像としての視差画像を作成する。視差画像の作成処理としては、例えばＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）を類似度の指標として用いたブロックマッチング等の既知の方法を使用可能である。視差画像において、遠い物体ほど視差が小さく、近い物体ほど視差が大きい。従って、視差画像は、基準画像に存在する物体までの距離を表す画像として使用できる。なお、視差Ｄと距離Ｚとの間には次式の関係が成立する。
Ｚ＝ｋ／Ｄ …（１）
ここで、ｋはカメラの特性に応じて決まる係数である。
As shown in FIG. 4, in step S120 in FIG. 3, the distance image generation unit 231 creates a parallax image as a distance image from the reference image and the comparison image. As the parallax image creation processing, for example, a known method such as block matching using SAD (Sum of Absolute Difference) or SSD (Sum of Squared Difference) as an index of similarity can be used. In the parallax image, the farther the object, the smaller the parallax, and the closer the object, the larger the parallax. Therefore, the parallax image can be used as an image representing the distance to the object existing in the reference image. It should be noted that the following relationship is established between the parallax D and the distance Z.
Z = k / D (1)
Here, k is a coefficient determined according to the characteristics of the camera.
（１）式に従って求めた距離Ｚを画素値とした距離画像（狭義の距離画像）を視差画像の代わりに用いることも可能である。本実施形態では、視差画像を距離画像（広義の距離画像）として使用する。また、以下の説明では、「視差」と「距離」を同義語として使用する。図４から理解できるように、視差画像では、路面から段差のある部分において距離の差が現れる。 It is also possible to use a distance image (narrowly defined distance image) with the distance Z obtained according to the equation (1) as a pixel value instead of the parallax image. In this embodiment, a parallax image is used as a distance image (broadly defined distance image). In the following description, “parallax” and “distance” are used as synonyms. As can be understood from FIG. 4, in the parallax image, a difference in distance appears at a stepped portion from the road surface.
図５に示すように、図３のステップＳ１３０では、境界候補点抽出部２３２が、距離画像内を予め定めた走査方向に沿って順次走査し、走査方向に隣接する画素の間の距離の差を計算する。ステップＳ１４０では、境界候補点抽出部２３２が、距離の差が予め定めた距離閾値以上となる画素を「高さ変化画素」に設定する。なお、「高さ変化画素」という語句を使用した理由は、図５から理解できるように、隣接する画素同士の距離の差が大きい場合には、それらの画素で表される地点の高さが異なるからである。本実施形態では、走査方向を画像の横方向に設定しているが、他の走査方向（例えば画像の上下方向）に設定してもよい。但し、自車両５０が走行している道路の境界は画像内の消失線の方向を向いているので、走査方向を画像の横方向に設定した方が、高さ変化画素をより正確に検出できるという利点がある。なお、距離の差を求める際に、１つの走査方向を決めずに、各画素に隣接する複数の隣接画素との間の距離の差を求めて、そのうちの最大値をその画素に関する「距離の差」として使用してもよい。 As shown in FIG. 5, in step S <b> 130 of FIG. 3, the boundary candidate point extraction unit 232 sequentially scans the distance image along a predetermined scanning direction, and a difference in distance between adjacent pixels in the scanning direction. Calculate In step S140, the boundary candidate point extraction unit 232 sets a pixel whose distance difference is equal to or greater than a predetermined distance threshold as a “height change pixel”. The reason for using the phrase “height change pixel” is that, as can be understood from FIG. 5, when the difference in distance between adjacent pixels is large, the height of the point represented by those pixels is Because it is different. In this embodiment, the scanning direction is set to the horizontal direction of the image, but may be set to another scanning direction (for example, the vertical direction of the image). However, since the boundary of the road on which the host vehicle 50 is running faces the direction of the disappearance line in the image, the height change pixel can be detected more accurately if the scanning direction is set to the horizontal direction of the image. There is an advantage. When determining the difference in distance, without determining one scanning direction, the difference in distance between a plurality of adjacent pixels adjacent to each pixel is determined, and the maximum value among them is determined as the “distance of the distance”. It may be used as “difference”.
図６に示すように、図３のステップＳ１５０では、境界候補点抽出部２３２が、高さ変化画像から複数の境界候補点ＣＰを抽出する。図６の上部の図では、高さ変化画素を黒で塗りつぶした画素として示している。この例から分かるように、画像内では複数の高さ変化画素が隣接してクラスタを構成する。そこで、境界候補点抽出部２３２は、予め定められた抽出規則に従って、各クラスタから境界候補点ＣＰを抽出する。例えば、図６の例では、各クラスタにおいて、画像内の最も下にある画素のうちで、画像の左右方向の中心に最も近い１つの画素を境界候補点ＣＰとして抽出している。但し、抽出規則としては、これ以外の他の規則を使用してもよい。例えば、各クラスタの中心に最も近い１つの画素を境界候補点ＣＰとして抽出してもよい。また、各クラスタから複数の画素を境界候補点ＣＰとして抽出してもよい。 As shown in FIG. 6, in step S150 of FIG. 3, the boundary candidate point extraction unit 232 extracts a plurality of boundary candidate points CP from the height change image. In the upper part of FIG. 6, the height change pixels are shown as pixels filled with black. As can be seen from this example, a plurality of height change pixels are adjacent in the image to form a cluster. Therefore, the boundary candidate point extraction unit 232 extracts the boundary candidate point CP from each cluster according to a predetermined extraction rule. For example, in the example of FIG. 6, in each cluster, one pixel closest to the center in the horizontal direction of the image is extracted as the boundary candidate point CP among the lowest pixels in the image. However, other rules other than this may be used as the extraction rule. For example, one pixel closest to the center of each cluster may be extracted as the boundary candidate point CP. Further, a plurality of pixels may be extracted from each cluster as boundary candidate points CP.
図７に示すように、図３のステップＳ１６０では、道路境界候補推定部２３３が、複数の境界候補点ＣＰから複数の道路境界候補ＲＢＬ１〜ＲＢＬ３を推定する。この推定処理としては、ハフ変換や、ＲＡＮＳＡＣ（Random Sampling Consensus）、ＬＭｅｄＳ（最小メジアン法）のような各種の推定処理を使用可能である。本実施形態では、ハフ変換を使用する。 As shown in FIG. 7, in step S160 of FIG. 3, the road boundary candidate estimation unit 233 estimates a plurality of road boundary candidates RBL1 to RBL3 from a plurality of boundary candidate points CP. As this estimation process, various estimation processes such as Hough transform, RANSAC (Random Sampling Consensus), and LMedS (minimum median method) can be used. In this embodiment, the Hough transform is used.
図７の例では、基準画像ＲＭＧ内に以下の要素が符号付きで示されている。
・建物ＢＬ
・境界候補点ＣＰ
・縁石ＥＳ
・道路境界候補ＲＢＬ１〜ＲＢＬ３
・道路面ＲＳ
・・自車の走行車線ＲＬ１
・・対向車線ＲＬ２
・歩道ＷＫ
・道路区画線（白線）ＷＬ
・・車両通行帯最外側線ＷＬ１
・・車道中央線ＷＬ２
In the example of FIG. 7, the following elements are shown in the reference image RMG with signs.
・ Building BL
・ Boundary candidate point CP
-Curb ES
・ Road boundary candidates RBL1 to RBL3
・ Road surface RS
..Running lane RL1 of own vehicle
..Oncoming lane RL2
・ Sidewalk WK
・ Road marking line (white line) WL
..Vehicle traffic zone outermost line WL1
..Roadway Chuo Line WL2
一般に、道路境界は、基準画像ＲＭＧの左側と右側に存在する。図７の例では、左側の縁石ＥＳと道路面ＲＳとの境界が左側の道路境界であり、右側の縁石ＥＳと道路面ＲＳとの境界が右側の道路境界である。本実施形態では、左側の道路境界を検出する場合の処理について説明するが、右側の道路境界の検出にも同様の処理を適用可能である。左側の道路境界を検出する場合には、基準画像ＲＭＧの左半分に存在する境界候補点ＣＰを用いて道路境界の検出が実行される。 Generally, road boundaries exist on the left and right sides of the reference image RMG. In the example of FIG. 7, the boundary between the left curb ES and the road surface RS is the left road boundary, and the boundary between the right curb ES and the road surface RS is the right road boundary. In the present embodiment, processing for detecting the left road boundary will be described, but the same processing can be applied to detection of the right road boundary. When detecting the left road boundary, the detection of the road boundary is executed using the boundary candidate point CP existing in the left half of the reference image RMG.
図７に示す３つの道路境界候補ＲＢＬ１〜ＲＢＬ３のうち、道路境界として検出したい線は、縁石ＥＳと道路面ＲＳの境界にある道路境界候補ＲＢＬ１である。しかし、建物ＢＬの壁のように歩道ＷＫとの境界が明瞭な物体が存在する場合には、その境界に多数の境界候補点ＣＰが抽出されるので、それらの境界候補点ＣＰから推定された道路境界候補ＲＢＬ２を道路境界として誤認識してしまう可能性がある。そこで、本実施形態では、以下に詳述するように、道路境界候補ＲＢＬ１〜ＲＢＬ３のそれぞれに関して複数の特徴量を算出し、各特徴量に対応する境界線尤度を算出し、それらを統合した統合した統合尤度を用いて道路境界を決定する。この結果、歩道境界等を道路境界と誤検出する可能性を低減できる。 Of the three road boundary candidates RBL1 to RBL3 shown in FIG. 7, the line to be detected as the road boundary is the road boundary candidate RBL1 at the boundary between the curb ES and the road surface RS. However, when there is an object with a clear boundary with the sidewalk WK, such as the wall of the building BL, a large number of boundary candidate points CP are extracted at the boundary, and thus estimated from those boundary candidate points CP. The road boundary candidate RBL2 may be erroneously recognized as a road boundary. Therefore, in this embodiment, as will be described in detail below, a plurality of feature quantities are calculated for each of the road boundary candidates RBL1 to RBL3, boundary likelihoods corresponding to the respective feature quantities are calculated, and they are integrated. The road boundary is determined using the integrated integrated likelihood. As a result, the possibility of erroneously detecting a sidewalk boundary or the like as a road boundary can be reduced.
図８に示すように、図３のステップＳ１７０では、特徴量算出部２４１が、道路境界候補ＲＢＬ１〜ＲＢＬ３のそれぞれに関して、予め定められた複数の特徴量を算出する。特徴量としては、例えば以下の６つの特徴量（１）〜（６）のうちの２つ以上を使用可能である。
（１）境界候補点数Ｎｃｐ
（２）道路境界候補の線分長さＬＬ
（３）道路境界候補の傾きθ
（４）画像基準点ＭＲＰからの道路境界候補の距離ＤＬ
（５）道路境界候補の道路面ＲＳからの高さの平均又は分散
（６）道路境界候補の基準画像ＲＭＧにおける輝度の平均又は分散
図８では、２番目の道路境界候補ＲＢＬ２に関して、上記の４つの特徴量（１）〜（４）が示されている。
As shown in FIG. 8, in step S170 of FIG. 3, the feature amount calculation unit 241 calculates a plurality of predetermined feature amounts for each of the road boundary candidates RBL1 to RBL3. As the feature amount, for example, two or more of the following six feature amounts (1) to (6) can be used.
(1) Number of boundary candidate points Ncp
(2) Line segment length LL of road boundary candidate
(3) Inclination θ of road boundary candidate
(4) Distance DL of road boundary candidate from image reference point MRP
(5) Average or variance in height from road surface RS of road boundary candidates (6) Average or variance in brightness in reference image RMG of road boundary candidates In FIG. 8, the above 4 for the second road boundary candidate RBL2 Two feature quantities (1) to (4) are shown.
第１の特徴点である「境界候補点数Ｎｃｐ」は、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰの数である。道路境界候補の推定処理にハフ変換を使用した場合には、境界候補点数Ｎｃｐは、ハフ変換において道路境界候補ＲＢＬ２の直線に投票された投票数に等しい。ハフ変換以外の直線推定処理を使用した場合には、道路境界候補ＲＢＬ２からの距離が所定の許容誤差以下である境界候補点ＣＰの数を、境界候補点数Ｎｃｐとして使用できる。なお、いずれの直線推定処理を使用した場合にも、道路境界候補ＲＢＬ２からの距離が所定の許容誤差以下である境界候補点ＣＰを、その道路境界候補ＲＢＬ２を構成する境界候補点ＣＰとして保持しておくことが好ましい。なお、ここでの「距離」という語句は、画像上における距離を意味する。 The “number of boundary candidate points Ncp” as the first feature point is the number of boundary candidate points CP constituting the road boundary candidate RBL2. When the Hough transform is used for the road boundary candidate estimation process, the boundary candidate score Ncp is equal to the number of votes voted on the straight line of the road boundary candidate RBL2 in the Hough transform. When straight line estimation processing other than the Hough transform is used, the number of boundary candidate points CP whose distance from the road boundary candidate RBL2 is equal to or smaller than a predetermined allowable error can be used as the number of boundary candidate points Ncp. Note that, regardless of which straight line estimation process is used, a boundary candidate point CP whose distance from the road boundary candidate RBL2 is equal to or smaller than a predetermined tolerance is held as a boundary candidate point CP constituting the road boundary candidate RBL2. It is preferable to keep it. Note that the phrase “distance” here means a distance on the image.
第２の特徴点である「道路境界候補ＲＢＬ２の線分長さＬＬ」は、道路境界候補ＲＢＬ２を構成する複数の境界候補点ＣＰのうち、その道路境界候補ＲＢＬ２の両端に存在する境界候補点ＣＰの間の距離を意味する。この距離も、画像上の距離である。 The second feature point “line segment length LL of road boundary candidate RBL2” is a boundary candidate point existing at both ends of the road boundary candidate RBL2 among a plurality of boundary candidate points CP constituting the road boundary candidate RBL2. It means the distance between CPs. This distance is also a distance on the image.
第３の特徴点である「道路境界候補ＲＢＬ２の傾きθ」は、基準画像ＲＭＧの下端の辺と、道路境界候補ＲＢＬ２とが成す角度である。図８には、基準画像ＲＭＧの画像座標系としてＸ軸とＹ軸が示されており、基準画像ＲＭＧの下端の辺はＸ軸に平行な直線である。 The third feature point “inclination θ of road boundary candidate RBL2” is an angle formed by the lower edge side of the reference image RMG and the road boundary candidate RBL2. FIG. 8 shows an X axis and a Y axis as the image coordinate system of the reference image RMG, and the lower end side of the reference image RMG is a straight line parallel to the X axis.
第４の特徴点である「画像基準点ＭＲＰからの道路境界候補ＲＢＬ２の距離ＤＬ」は、画像基準点ＭＲＰから道路境界候補ＲＢＬ２に下ろした垂線の長さである。図８の例では、画像基準点ＭＲＰが下辺の中央に設定されているが、画像基準点ＭＲＰは基準画像ＲＭＧ内の任意の位置に設定可能である。 The fourth feature point “distance DL of road boundary candidate RBL2 from image reference point MRP” is the length of a perpendicular line dropped from image reference point MRP to road boundary candidate RBL2. In the example of FIG. 8, the image reference point MRP is set at the center of the lower side, but the image reference point MRP can be set at an arbitrary position in the reference image RMG.
第５の特徴点である「道路境界候補の道路面ＲＳからの高さの平均又は分散」は、例えば図９に示す処理を利用して道路面ＲＳを求めることによって算出できる。この処理では、まず、視差画像から視差ヒストグラム画像を生成する。ここで、図９の上部に示すように、視差画像の横軸をＵ，縦軸をＶとする。視差ヒストグラム画像は、視差値Ｄと視差画像のＶ座標値とを２つの座標軸とした画像であり、視差画像においてＶ座標値毎に視差値Ｄの出現度数を算出し、その出現度数を座標（Ｄ，Ｖ）における画素の画素値とした画像である。図９の例では、視差ヒストグラム画像において、そのＶ座標値毎に出現度数がピークとなっている画素を求め、それらのピーク画素から推定された直線であるピーク度数直線ＰＬが描かれている。このピーク度数直線ＰＬは、以下の式で表される。
Ｖ＝ａ・Ｄ＋ｂ …（２）
ここで、ａ，ｂは係数、Ｖは視差画像におけるＶ座標値、Ｄは視差値である。
The fifth feature point “average or variance of the height of road boundary candidates from the road surface RS” can be calculated, for example, by obtaining the road surface RS using the process shown in FIG. 9. In this process, first, a parallax histogram image is generated from a parallax image. Here, as shown in the upper part of FIG. 9, the horizontal axis of the parallax image is U, and the vertical axis is V. The parallax histogram image is an image having the parallax value D and the V coordinate value of the parallax image as two coordinate axes. D, V) is an image with pixel values of pixels. In the example of FIG. 9, in the parallax histogram image, a pixel having a peak appearance frequency is obtained for each V coordinate value, and a peak frequency line PL that is a straight line estimated from these peak pixels is drawn. This peak frequency line PL is expressed by the following equation.
V = a · D + b (2)
Here, a and b are coefficients, V is a V coordinate value in the parallax image, and D is a parallax value.
図９の上部に示した視差画像から理解できるように、視差画像において、Ｖ座標値毎に視差値Ｄの出現度数を求めると、出現度数がピークとなる視差値Ｄは道路面ＲＳに相当する位置の視差である。従って、ピーク度数直線ＰＬ上の視差値Ｄを有する画素は、視差画像において道路面ＲＳに相当する画素であると判定することができる。具体的には、まず、視差画像におけるＶ座標値を上記（２）式に代入することによって、そのＶ座標値におけるピーク度数の視差値Ｄｐを求め、その視差値Ｄｐに許容誤差δを考慮した許容範囲（Ｄｐ±δ）を求める。そして、Ｖ座標値が同一の走査線上の画素のうちで、その画素値Ｄが許容範囲（Ｄｐ±δ）内にある画素は道路面ＲＳ上の画素であると判定し、この許容範囲（Ｄｐ±δ）外にある画素は道路面ＲＳ上に無い画素であると判定することができる。道路境界候補ＲＢＬ２の道路面ＲＳからの高さは、この道路面ＲＳと道路境界候補ＲＢＬ２上の各点の高さの差である。このとき、高さの差を求める道路境界候補ＲＢＬ２上の点としては、道路境界候補ＲＢＬ２上のすべての点を使用してもよく、或いは、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰのみを使用してもよい。 As can be understood from the parallax image shown in the upper part of FIG. 9, when the appearance frequency of the parallax value D is obtained for each V coordinate value in the parallax image, the parallax value D having the peak appearance frequency corresponds to the road surface RS. This is the position parallax. Therefore, it is possible to determine that the pixel having the parallax value D on the peak frequency line PL is a pixel corresponding to the road surface RS in the parallax image. Specifically, first, the parallax value Dp of the peak frequency in the V coordinate value is obtained by substituting the V coordinate value in the parallax image into the above equation (2), and the allowable error δ is taken into consideration for the parallax value Dp. An allowable range (Dp ± δ) is obtained. Then, among the pixels on the scanning line having the same V coordinate value, a pixel whose pixel value D is within the allowable range (Dp ± δ) is determined to be a pixel on the road surface RS, and this allowable range (Dp It can be determined that the pixels outside ± δ) are pixels that are not on the road surface RS. The height of the road boundary candidate RBL2 from the road surface RS is the difference in height between the road surface RS and each point on the road boundary candidate RBL2. At this time, all points on the road boundary candidate RBL2 may be used as the points on the road boundary candidate RBL2 to obtain the height difference, or only the boundary candidate points CP constituting the road boundary candidate RBL2 are used. May be used.
第６の特徴点である「道路境界候補の基準画像ＲＭＧにおける輝度の平均又は分散」の「輝度」は、画素値と同義語である。この場合にも、輝度を求める道路境界候補ＲＢＬ２上の点として、道路境界候補ＲＢＬ２上のすべての点を使用してもよく、或いは、道路境界候補ＲＢＬ２を構成する境界候補点ＣＰのみを使用してもよい。 “Luminance” of “average or variance of luminance in the reference image RMG of road boundary candidates” that is the sixth feature point is synonymous with the pixel value. Also in this case, all the points on the road boundary candidate RBL2 may be used as the points on the road boundary candidate RBL2 for obtaining the luminance, or only the boundary candidate points CP constituting the road boundary candidate RBL2 are used. May be.
以下では、上述した４つの特徴量（１）〜（４）を使用した場合の例を説明する。 Below, the example at the time of using four feature-values (1)-(4) mentioned above is demonstrated.
図１０に示すように、図３のステップＳ１８０では、尤度算出部２４２が、各特徴量と境界線尤度Ｌｉとの予め定められた関係を用いて、各特徴量に対応する境界線尤度Ｌｉを算出する。境界線尤度Ｌｉは、道路境界候補のもっともらしさを示す値である。以下では、境界線尤度Ｌｉを単に「尤度Ｌｉ」と呼ぶ。 As shown in FIG. 10, in step S180 of FIG. 3, the likelihood calculating unit 242 uses the predetermined relationship between each feature amount and the boundary line likelihood Li, and uses the boundary line likelihood corresponding to each feature amount. The degree Li is calculated. The boundary line likelihood Li is a value indicating the likelihood of the road boundary candidate. Hereinafter, the boundary line likelihood Li is simply referred to as “likelihood Li”.
図１０に示すように、境界候補点数Ｎｃｐが増加するほど尤度Ｌｉは増大する。図示は省略するが、道路境界候補の線分長さＬＬが増大すると、尤度Ｌｉは一旦上昇した後に下降する凸状又は山状の曲線となる。この理由は、正しい道路境界は、図７に示した第１の道路境界候補ＲＢＬ１のように、基準画像ＲＭＧ内の手前の一端部（例えば左端部）から中央に向かう直線なので、道路境界候補が短すぎても長すぎても正しい道路境界でない可能性が高いからである。道路境界候補の傾きθと尤度Ｌｉの関係、及び、画像基準点ＭＲＰからの道路境界候補の距離ＤＬと尤度Ｌｉの関係も、同様の理由により、凸状又は山状の曲線となる。これらの関係は一例であり、これら以外の関係を設定してもよい。 As shown in FIG. 10, the likelihood Li increases as the number of boundary candidate points Ncp increases. Although illustration is omitted, when the line segment length LL of the road boundary candidate increases, the likelihood Li becomes a convex or mountain-shaped curve that once rises and then descends. This is because the correct road boundary is a straight line from the front end (for example, the left end) in the reference image RMG to the center as in the first road boundary candidate RBL1 shown in FIG. This is because there is a high possibility that the road boundary is not correct if it is too short or too long. For the same reason, the relationship between the slope θ of the road boundary candidate and the likelihood Li, and the relationship between the distance DL of the road boundary candidate from the image reference point MRP and the likelihood Li are also convex or mountain-like curves. These relationships are examples, and other relationships may be set.
なお、上述した特徴量（５）は、「境界候補点ＣＰの道路面ＲＳからの高さ」が大きくなるほど尤度が上昇した後に、尤度がほぼ一定となる形状となる。また、上記特徴量（６）は、凸状又は山状の曲線となる。 Note that the feature amount (5) described above has a shape in which the likelihood becomes substantially constant after the likelihood increases as “the height of the boundary candidate point CP from the road surface RS” increases. The feature quantity (6) is a convex or mountain-like curve.
図３のステップＳ１９０では、統合尤度算出部２４３が、各道路境界候補ＲＢＬ１〜ＲＢＬ３に関して、複数の境界線尤度Ｌｉを統合して統合尤度Ｌｔを算出する。各道路境界候補の統合尤度Ｌｔは、その道路境界候補の複数の特徴量の尤度Ｌｉを変数とする予め定められた関数ｆ（Ｌｉ）を用いて算出することができる。統合尤度Ｌｔを求める関数ｆ（Ｌｉ）としては、個々の尤度Ｌｉが大きくなるほど統合尤度Ｌｔが大きくなるような任意の関数を使用可能である。例えば、関数ｆ（Ｌｉ）として、以下の式の右辺で与えられるような各種の関数のいずれか１つを使用可能である。
Ｌｔ＝ΠＬｉ／｛ΠＬｉ＋Π（１−Ｌｉ)｝ …（３ａ）
Ｌｔ＝ΣＬｉ／Ｎ …（３ｂ）
Ｌｔ＝（ΠＬｉ）1/N …（３ｃ）
Ｌｔ＝｛ΣＬｉ2／Ｎ｝1/2 …（３ｄ）
ここで、Ｎ（２≦Ｎ）は尤度Ｌｉの個数、Πは乗算の演算子,Σは加算の演算子、である。（３ｂ）式は相加平均であり、（３ｃ）式は相乗平均、（３ｄ）式は二乗平均平方根（Root Mean Square）である。
In step S190 of FIG. 3, the integrated likelihood calculating unit 243 calculates a combined likelihood Lt by integrating a plurality of boundary line likelihoods Li for each of the road boundary candidates RBL1 to RBL3. The integrated likelihood Lt of each road boundary candidate can be calculated by using a predetermined function f (Li) having the likelihood Li of a plurality of feature quantities of the road boundary candidate as a variable. As the function f (Li) for obtaining the integrated likelihood Lt, an arbitrary function in which the integrated likelihood Lt increases as the individual likelihood Li increases can be used. For example, as the function f (Li), any one of various functions given by the right side of the following expression can be used.
Lt = ΠLi / {ΠLi + Π (1-Li)} (3a)
Lt = ΣLi / N (3b)
Lt = (ΠLi) 1 / N (3c)
Lt = {ΣLi 2 / N} 1/2 (3d)
Here, N (2 ≦ N) is the number of likelihoods Li, Π is a multiplication operator, and Σ is an addition operator. Equation (3b) is the arithmetic mean, equation (3c) is the geometric mean, and equation (3d) is the root mean square.
Ｎ＝２の場合には、上記（３ａ）〜（３ｄ）は以下の（４ａ）〜（４ｄ）式となる。
Ｌｔ＝（Ｌ１・Ｌ２）／｛Ｌ１・Ｌ２＋（１−Ｌ１)（１−Ｌ２)｝ …（４ａ）
Ｌｔ＝（Ｌ１＋Ｌ２）／２ …（４ｂ）
Ｌｔ＝（Ｌ１・Ｌ２）1/2 …（４ｃ）
Ｌｔ＝｛（Ｌ１ 2＋Ｌ２ 2）／２｝1/2 …（４ｄ）
In the case of N = 2, the above (3a) to (3d) become the following expressions (4a) to (4d).
Lt = (L 1 · L 2 ) / {L 1 · L 2 + (1−L 1 ) (1−L 2 )} (4a)
Lt = (L 1 + L 2 ) / 2 (4b)
Lt = (L 1 · L 2 ) 1/2 (4c)
Lt = {(L 1 2 + L 2 2 ) / 2} 1/2 (4d)
図３のステップＳ２００では、選択実行部２４４が、複数の道路境界候補ＲＢＬ１〜ＲＢＬ３の中で統合尤度Ｌｔが最も大きな道路境界候補を道路境界として選択する。 In step S200 of FIG. 3, the selection execution unit 244 selects a road boundary candidate having the largest integrated likelihood Lt as a road boundary from among the plurality of road boundary candidates RBL1 to RBL3.
図１１に示す例では、３つの道路境界候補ＲＢＬ１〜ＲＢＬ３に対する統合尤度Ｌｔ１，Ｌｔ２，Ｌｔ３がそれぞれ示されている。Ｌｔ１＝０．７，Ｌｔ２＝０．５，Ｌｔ３＝０．２なので、統合尤度Ｌｔが最も大きな第１の道路境界候補ＲＢＬ１が道路境界として選択されている。 In the example shown in FIG. 11, the integrated likelihoods Lt1, Lt2, and Lt3 for the three road boundary candidates RBL1 to RBL3 are shown. Since Lt1 = 0.7, Lt2 = 0.5, and Lt3 = 0.2, the first road boundary candidate RBL1 having the largest integrated likelihood Lt is selected as the road boundary.
以上のように、第１実施形態では、複数の境界候補点ＣＰから得られる複数の道路境界候補ＲＢＬ１〜ＲＢＬ３のなかで、特徴量から算出される統合尤度Ｌｔが最も大きなものを道路境界として選択するので、道路境界を精度良く推定できる。 As described above, in the first embodiment, among the plurality of road boundary candidates RBL1 to RBL3 obtained from the plurality of boundary candidate points CP, the road having the largest integrated likelihood Lt calculated from the feature amount is used as the road boundary. Since the selection is made, the road boundary can be estimated with high accuracy.
B. 第２実施形態：
図１２に示すように、第２実施形態の道路境界検出部２３０ａは、図２に示した第１実施形態の道路境界検出部２３０に境界選択再実行部２３５を追加したものであり、他の構成は第１実施形態と同じである。境界選択再実行部２３５は、選択実行部２４４によって道路境界が一度選択された後に、（ａ）その道路境界からの距離が許容範囲内にある複数の境界候補点ＣＰを再抽出し、（ｂ）再抽出された複数の境界候補点ＣＰを用いて道路境界候補推定部２３３による推定処理を実行させ、（ｃ）境界選択部２３４による選択処理を実行させる。
B. Second embodiment:
As shown in FIG. 12, the road boundary detection unit 230a of the second embodiment is obtained by adding a boundary selection re-execution unit 235 to the road boundary detection unit 230 of the first embodiment shown in FIG. The configuration is the same as in the first embodiment. The boundary selection re-execution unit 235, after a road boundary is selected once by the selection execution unit 244, (a) re-extracts a plurality of boundary candidate points CP whose distance from the road boundary is within an allowable range, (b ) Using the re-extracted plurality of boundary candidate points CP, the estimation process by the road boundary candidate estimation unit 233 is executed, and (c) the selection process by the boundary selection unit 234 is executed.
図１３に示すように、第２実施形態の道路境界検出処理は、図３に示した第１実施形態の処理のステップＳ２００の後にステップＳ２１０，Ｓ２２０を追加したものであり、他の処理は第１実施形態と同じである。 As shown in FIG. 13, the road boundary detection process of the second embodiment is obtained by adding steps S210 and S220 after step S200 of the process of the first embodiment shown in FIG. The same as in the first embodiment.
図１４Ａには、第２実施形態において図１３のステップＳ１１０〜Ｓ２００を一度実行した場合の例を示している。この例では、４つの道路境界候補ＲＢＬ１〜ＲＢＬ４が推定され、それらの統合尤度Ｌｔ１〜Ｌｔ４が算出されて、統合尤度Ｌｔが最大となる道路境界候補ＲＢＬ４が選択されている。 FIG. 14A shows an example in which steps S110 to S200 of FIG. 13 are executed once in the second embodiment. In this example, four road boundary candidates RBL1 to RBL4 are estimated, their combined likelihoods Lt1 to Lt4 are calculated, and the road boundary candidate RBL4 that maximizes the combined likelihood Lt is selected.
図１４Ｂに示すように、ステップＳ２１０では、図１４Ａで選択された道路境界候補ＲＢＬ４からの距離が許容範囲内にある複数の境界候補点ＣＰが再抽出される。その後、ステップＳ１６０が再度実行されて、複数の道路境界候補が再推定される。図１４Ｂの例では、２つの道路境界候補ＲＢＬ１１，ＲＢＬ１２が推定されている。その次に、ステップＳ１６０〜２００が再度実行され、これらの道路境界候補ＲＢＬ１１，ＲＢＬ１２の中から統合尤度Ｌｔが最も大きな道路境界候補ＲＢＬ１１が最終的な道路境界として選択されている。 As shown in FIG. 14B, in step S210, a plurality of boundary candidate points CP whose distance from the road boundary candidate RBL4 selected in FIG. 14A is within the allowable range are re-extracted. Thereafter, step S160 is executed again to re-estimate a plurality of road boundary candidates. In the example of FIG. 14B, two road boundary candidates RBL11 and RBL12 are estimated. Next, steps S160 to S200 are executed again, and the road boundary candidate RBL11 having the largest integrated likelihood Lt is selected as the final road boundary from among these road boundary candidates RBL11 and RBL12.
以上のように、第２実施形態では、境界選択再実行部２３５が、選択実行部２４４によって道路境界が一度選択された後に、その道路境界からの距離が許容範囲内にある複数の境界候補点ＣＰを再抽出し、再抽出された複数の境界候補点ＣＰを用いて、道路境界候補推定部２３３による推定処理と、境界選択部２３４による選択処理とを再実行させる。一度選択された道路境界から所定範囲内にある境界候補点ＣＰはノイズである可能性が非常に低いので、それらの境界候補点ＣＰを用いることによって、より確からしい道路境界を推定できる。 As described above, in the second embodiment, the boundary selection re-execution unit 235 selects a plurality of boundary candidate points whose distance from the road boundary is within the allowable range after the selection execution unit 244 selects the road boundary once. The CP is re-extracted, and the estimation process by the road boundary candidate estimation unit 233 and the selection process by the boundary selection unit 234 are re-executed using the plurality of re-extracted boundary candidate points CP. Since the possibility that the candidate boundary point CP within the predetermined range from the once selected road boundary is noise is very low, a more likely road boundary can be estimated by using these candidate boundary points CP.
C. 第３実施形態：
図１５に示すように、第３実施形態の道路境界検出部２３０ｂは、図１３に示した第２実施形態の道路境界検出部２３０ａに、道路区画線検出部２５１と、移動体検出部２５２と、消失点検出部２５３とを追加したものであり、他の構成は第２実施形態と同じである。道路区画線検出部２５１は、基準画像内の道路区画線を検出する。移動体検出部２５２は、基準画像内の移動体を検出する。消失点検出部２５３は、基準画像ＲＭＧの消失点を検出する。なお、道路区画線検出部２５１と移動体検出部２５２と消失点検出部２５３とをすべて設ける必要はなく、そのうちの一部を省略してもよい。また、第３実施形態において、境界選択再実行部２３５を省略してもよい。
C. Third embodiment:
As shown in FIG. 15, the road boundary detection unit 230b of the third embodiment is different from the road boundary detection unit 230a of the second embodiment shown in FIG. The vanishing point detection unit 253 is added, and the other configuration is the same as that of the second embodiment. The road lane marking detection unit 251 detects a road lane marking in the reference image. The moving body detection unit 252 detects a moving body in the reference image. The vanishing point detection unit 253 detects the vanishing point of the reference image RMG. In addition, it is not necessary to provide all the road marking line detection unit 251, the moving body detection unit 252, and the vanishing point detection unit 253, and some of them may be omitted. In the third embodiment, the boundary selection re-execution unit 235 may be omitted.
図１６に示すように、第３実施形態の道路境界検出処理は、図１３に示した第２実施形態の処理にステップＳ３１０，Ｓ３２０，３２０を追加したものであり、他の処理は第２実施形態と同じである。 As shown in FIG. 16, the road boundary detection process of the third embodiment is obtained by adding steps S310, S320, and 320 to the process of the second embodiment shown in FIG. The form is the same.
図１７に示すように、ステップＳ３１０において、道路区画線検出部２５１は基準画像ＲＭＧ内の道路区画線ＷＬを検出する。図１７の例では道路区画線ＷＬとして、２本の車両通行帯最外側線ＷＬ１と、車道中央線ＷＬ２とが検出されている。なお、道路区画線ＷＬは通常は白線である。検出された道路区画線ＷＬの情報は、道路区画線検出部２５１から境界候補点抽出部２３２に通知され、ステップＳ１５０における境界候補点ＣＰの抽出の際に利用される。すなわち、境界候補点抽出部２３２は、距離画像から抽出した各境界候補点ＣＰが道路区画線ＷＬ上に存在するか否かを調べ、道路区画線ＷＬ上に存在する場合にはその境界候補点ＣＰを除外する。図１７の例では、３つの境界候補点ＣＰｗが道路区画線ＷＬ上に存在するので、これらの境界候補点ＣＰｗが除外される。白線などの道路境界線ＷＬ上にある境界候補点ＣＰｗはノイズである可能性が高いので、それらの境界候補点ＣＰｗを除外することによって、道路境界をより精度良く推定できる。 As shown in FIG. 17, in step S310, the road lane marking detection unit 251 detects a road lane marking WL in the reference image RMG. In the example of FIG. 17, two road outermost lines WL1 and a road center line WL2 are detected as road marking lines WL. The road marking line WL is usually a white line. Information on the detected road marking line WL is notified from the road marking line detection unit 251 to the boundary candidate point extraction unit 232, and is used when the boundary candidate point CP is extracted in step S150. That is, the boundary candidate point extraction unit 232 checks whether each boundary candidate point CP extracted from the distance image exists on the road lane line WL, and if it exists on the road lane line WL, the boundary candidate point Exclude CP. In the example of FIG. 17, since three boundary candidate points CPw exist on the road lane marking WL, these boundary candidate points CPw are excluded. Since the boundary candidate point CPw on the road boundary line WL such as a white line is highly likely to be noise, the road boundary can be estimated with higher accuracy by excluding those boundary candidate points CPw.
図１８に示すように、ステップＳ３２０において、移動体検出部２５２は、基準画像ＲＭＧ内の移動体ＭＢを検出する。本明細書において、「移動体」とは、移動し得る物体を意味しており、四輪車や二輪車を含む車両と、人とを含んでいる。検出された移動体ＭＢの情報は、移動体検出部２５２から境界候補点抽出部２３２に通知され、ステップＳ１５０における境界候補点ＣＰの抽出の際に利用される。すなわち、境界候補点抽出部２３２は、距離画像から抽出した各境界候補点ＣＰが移動体ＭＢ上に存在するか否かを調べ、移動体ＭＢ上に存在する場合にはその境界候補点ＣＰを除外する。図１８の例では、３つの境界候補点ＣＰｍが移動体ＭＢ上に存在するので、これらの境界候補点ＣＰｍが除外される。車両や人などの移動体ＭＢ上にある境界候補点ＣＰｍはノイズである可能性が高いので、それらの境界候補点ＣＰｍを除外することによって、道路境界をより精度良く推定できる。 As shown in FIG. 18, in step S320, the moving body detection unit 252 detects the moving body MB in the reference image RMG. In this specification, the “moving body” means an object that can move, and includes a vehicle including a four-wheeled vehicle or a two-wheeled vehicle, and a person. Information on the detected mobile object MB is notified from the mobile object detection unit 252 to the boundary candidate point extraction unit 232, and is used when extracting the boundary candidate point CP in step S150. That is, the boundary candidate point extraction unit 232 checks whether or not each boundary candidate point CP extracted from the distance image exists on the mobile body MB. If the boundary candidate point CP exists on the mobile body MB, the boundary candidate point CP is determined. exclude. In the example of FIG. 18, since three boundary candidate points CPm exist on the moving body MB, these boundary candidate points CPm are excluded. Since the boundary candidate point CPm on the moving body MB such as a vehicle or a person is highly likely to be noise, the road boundary can be estimated with higher accuracy by excluding these boundary candidate points CPm.
図１９に示すように、ステップＳ３３０において、消失点検出部２５３は、基準画像ＲＭＧの消失点ＶＰを検出する。消失点ＶＰは、道路区画線ＷＬ等のように、現実には平行な線同士が基準画像ＲＭＧにおいて交わる点である。検出された消失点ＶＰの情報は、消失点検出部２５３から道路境界候補推定部２３３に通知され、ステップＳ１６０における道路境界候補の推定の際に利用される。すなわち、道路境界候補推定部２３３は、各道路境界候補ＲＢＬ１〜ＲＢＬ３について、その道路境界候補の延長線と消失点ＶＰとの距離を求める。図１９の例では、道路境界候補ＲＢＬ３と消失点ＶＰとの距離Ｄ３が示されている。この距離Ｄ３が予め定められた閾値以上の場合には、その道路境界候補ＲＢＬ３を除外する。一般に、道路境界は消失点ＶＰに向かっていると仮定できるので、消失点ＶＰからの距離が閾値以上である場合は道路境界である確度は極めて低い。従って、そのような道路境界候補を除外すれば、道路境界をより精度良く推定できる。 As shown in FIG. 19, in step S330, the vanishing point detection unit 253 detects the vanishing point VP of the reference image RMG. The vanishing point VP is a point where actually parallel lines intersect in the reference image RMG, such as a road marking line WL. The information of the detected vanishing point VP is notified from the vanishing point detecting unit 253 to the road boundary candidate estimating unit 233, and is used when estimating the road boundary candidate in step S160. That is, the road boundary candidate estimation unit 233 obtains the distance between the extension line of the road boundary candidate and the vanishing point VP for each of the road boundary candidates RBL1 to RBL3. In the example of FIG. 19, the distance D3 between the road boundary candidate RBL3 and the vanishing point VP is shown. If the distance D3 is greater than or equal to a predetermined threshold, the road boundary candidate RBL3 is excluded. In general, since it can be assumed that the road boundary is heading toward the vanishing point VP, when the distance from the vanishing point VP is equal to or greater than a threshold, the probability of being a road boundary is extremely low. Therefore, if such road boundary candidates are excluded, the road boundary can be estimated with higher accuracy.
以上のように、第３実施形態では、基準画像ＲＭＧ内の道路区画線や移動体を利用して境界候補点ＣＰのノイズを除去し、また、消失点ＶＰを利用して道路境界候補のノイズを除去するので、道路境界をより精度良く推定することが可能である。なお、前述したように、道路区画線検出部２５１と移動体検出部２５２と消失点検出部２５３のうちの一部を省略してもよく、これに併せてステップＳ３１０，Ｓ３２０，Ｓ３３０のうちの一部も省略してよい。 As described above, in the third embodiment, the noise of the boundary candidate point CP is removed using the road lane markings and the moving body in the reference image RMG, and the noise of the road boundary candidate is used using the vanishing point VP. Therefore, the road boundary can be estimated with higher accuracy. As described above, some of the road marking line detection unit 251, the moving body detection unit 252, and the vanishing point detection unit 253 may be omitted, and in conjunction with this, of the steps S310, S320, and S330 Some may be omitted.
D. 第４実施形態：
図２０に示すように、第４実施形態の道路境界検出部２３０ｃは、図２に示した第１実施形態の道路境界検出部２３０に候補点記憶部２６１と現在位置推定部２６２とを追加したものであり、他の構成は第１実施形態と同じである。候補点記憶部２６１は、境界選択部２３４によって過去に選択された道路境界を構成する複数の境界候補点ＣＰを、複数の過去境界候補点ＣＰｒとして記憶する。現在位置推定部２６２は、複数の過去境界候補点ＣＰｒから、現在の基準画像ＲＭＧ内における複数の過去境界候補点ＣＰｒの位置を推定する。
D. Fourth embodiment:
As shown in FIG. 20, the road boundary detection unit 230c of the fourth embodiment adds a candidate point storage unit 261 and a current position estimation unit 262 to the road boundary detection unit 230 of the first embodiment shown in FIG. Other configurations are the same as those of the first embodiment. The candidate point storage unit 261 stores a plurality of boundary candidate points CP constituting the road boundary previously selected by the boundary selection unit 234 as a plurality of past boundary candidate points CPr. The current position estimation unit 262 estimates the positions of the plurality of past boundary candidate points CPr in the current reference image RMG from the plurality of past boundary candidate points CPr.
図２１に示すように、第４実施形態の道路境界検出処理は、図３に示した第１実施形態の処理にステップ４１０，Ｓ４２０を追加したものであり、他の処理は第１実施形態と同じである。 As shown in FIG. 21, the road boundary detection process of the fourth embodiment is obtained by adding steps 410 and S420 to the process of the first embodiment shown in FIG. 3, and other processes are the same as those of the first embodiment. The same.
ステップＳ４１０では、候補点記憶部２６１は、境界選択部２３４によって選択された道路境界を構成する複数の境界候補点ＣＰを、複数の過去境界候補点ＣＰｒとして記憶する。複数の過去境界候補点ＣＰｒは、次回以降の道路境界検出処理において利用される。 In step S410, the candidate point storage unit 261 stores a plurality of boundary candidate points CP constituting the road boundary selected by the boundary selecting unit 234 as a plurality of past boundary candidate points CPr. The plurality of past boundary candidate points CPr are used in the road boundary detection process after the next time.
ステップＳ４２０では、現在位置推定部２６２が、複数の過去境界候補点ＣＰｒから、現在の基準画像ＲＭＧ内における複数の過去境界候補点ＣＰｒの位置を推定する。この推定は、過去と現在における基準画像ＲＭＧの撮影時刻の差分と、その間の車両５０の車速の履歴と、ヨーレートの履歴とを用いて行うことが可能である。推定後の複数の過去境界候補点ＣＰｒ＊は、現在位置推定部２６２から道路境界候補推定部２３３に通知され、ステップＳ１６０における道路境界候補の推定の際に利用される。すなわち、道路境界候補推定部２３３は、境界候補点抽出部２３２で抽出された複数の境界候補点ＣＰに加えて、現在位置推定部２６２によって推定された位置での複数の過去境界候補点ＣＰｒ＊を使用して、複数の道路境界候補を推定する。このように、過去境界候補点ＣＰｒを利用して複数の道路境界候補を推定すれば、境界線候補を推定する際の情報量を増やせるので、道路境界をより精度良く推定できる。 In step S420, the current position estimation unit 262 estimates the positions of the plurality of past boundary candidate points CPr in the current reference image RMG from the plurality of past boundary candidate points CPr. This estimation can be performed using the difference between the shooting time of the reference image RMG in the past and the present, the vehicle speed history of the vehicle 50 and the yaw rate history in between. The plurality of estimated past boundary candidate points CPr * are notified from the current position estimation unit 262 to the road boundary candidate estimation unit 233 and used when estimating the road boundary candidates in step S160. That is, the road boundary candidate estimation unit 233 adds a plurality of past boundary candidate points CPr * at the position estimated by the current position estimation unit 262 in addition to the plurality of boundary candidate points CP extracted by the boundary candidate point extraction unit 232 . Is used to estimate multiple road boundary candidates. As described above, if a plurality of road boundary candidates are estimated using the past boundary candidate points CPr, the amount of information when estimating the boundary line candidates can be increased, so that the road boundary can be estimated with higher accuracy.
なお、第４実施形態で追加された構成や処理は、第２実施形態や第３実施形態にも適用可能である。 Note that the configuration and processing added in the fourth embodiment can also be applied to the second embodiment and the third embodiment.
本発明は上述した実施形態やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。 The present invention is not limited to the above-described embodiment and its modifications, and can be implemented in various modes without departing from the spirit of the invention.
２３０，２３０ａ，２３０ｂ，２３０ｃ…道路境界検出部、２３１…距離画像生成部、２３２…境界候補点抽出部、２３３…道路境界候補推定部、２３４…境界選択部、２３５…境界選択再実行部、２４１…特徴量算出部、２４２…尤度算出部、２４３…統合尤度算出部、２４４…選択実行部、２５１…道路区画線検出部、２５２…移動体検出部、２５３…消失点検出部、２６１…候補点記憶部、２６２…現在位置推定部 230, 230a, 230b, 230c ... road boundary detection unit, 231 ... distance image generation unit, 232 ... boundary candidate point extraction unit, 233 ... road boundary candidate estimation unit, 234 ... boundary selection unit, 235 ... boundary selection re-execution unit, 241 ... feature amount calculation unit, 242 ... likelihood calculation unit, 243 ... integral likelihood calculation unit, 244 ... selection execution unit, 251 ... road marking line detection unit, 252 ... moving body detection unit, 253 ... vanishing point detection unit, 261 ... Candidate point storage unit, 262 ... Current position estimation unit
Claims (7)
ステレオカメラ（４１２）で撮影された左右の画像を基準画像及び比較画像として用いて、前記基準画像に存在する物体までの距離を表す距離画像を生成する距離画像生成部（２３１）と、
前記距離画像内で隣接する画素の間の距離の差が予め定めた距離閾値以上となる画素から、複数の境界候補点（ＣＰ）を抽出する境界候補点抽出部（２３３）と、
前記複数の境界候補点から複数の道路境界候補を推定する推定処理を実行する道路境界候補推定部（２３４）と、
前記複数の道路境界候補の中から道路境界を選択する選択処理を実行する境界選択部（２３５）と、
を備え、
前記境界選択部は、
各道路境界候補に関して、予め定められた複数の特徴量を算出する特徴量算出部（２４１）と、
各特徴量と境界線尤度との予め定められた関係を用いて、前記複数の特徴量に対応する複数の境界線尤度を算出する尤度算出部（２４２）と、
各道路境界候補に関して、前記複数の境界線尤度を統合して統合尤度を算出する統合尤度算出部（２４３）と、
前記複数の道路境界候補の中で前記統合尤度が最も大きな道路境界候補を前記道路境界として選択する選択実行部（２４４）と、
を備える道路境界検出装置。 A road boundary detection device (230) for detecting a road boundary,
A distance image generation unit (231) that generates a distance image representing a distance to an object existing in the reference image using the left and right images captured by the stereo camera (412) as a reference image and a comparison image;
A boundary candidate point extraction unit (233) that extracts a plurality of boundary candidate points (CP) from a pixel in which a difference in distance between adjacent pixels in the distance image is equal to or greater than a predetermined distance threshold;
A road boundary candidate estimation unit (234) that executes an estimation process for estimating a plurality of road boundary candidates from the plurality of boundary candidate points;
A boundary selection unit (235) for executing a selection process for selecting a road boundary from the plurality of road boundary candidates;
With
The boundary selection unit includes:
A feature amount calculation unit (241) that calculates a plurality of predetermined feature amounts for each road boundary candidate;
A likelihood calculating unit (242) that calculates a plurality of boundary line likelihoods corresponding to the plurality of feature amounts using a predetermined relationship between each feature amount and the boundary line likelihood;
For each road boundary candidate, an integrated likelihood calculating unit (243) that calculates the integrated likelihood by integrating the plurality of boundary line likelihoods;
A selection execution unit (244) for selecting, as the road boundary, a road boundary candidate having the largest integrated likelihood among the plurality of road boundary candidates;
A road boundary detection device comprising:
各道路境界候補に関する前記複数の特徴量は、
前記基準画像の基準点から当該道路境界候補までの距離と、
前記基準画像内における当該道路境界候補の傾きと、
当該道路境界候補を構成する境界候補点の数と、
当該道路境界候補の線分長と、
当該道路境界候補の道路面からの高さの平均又は分散と、
当該道路境界候補の前記基準画像における輝度の平均又は分散と、
のうちの２つ以上を含む、道路境界検出装置。 The road boundary detection device according to claim 1,
The plurality of feature amounts related to each road boundary candidate are:
The distance from the reference point of the reference image to the road boundary candidate;
The slope of the candidate road boundary in the reference image;
The number of boundary candidate points constituting the road boundary candidate,
The line length of the candidate road boundary,
The average or variance in height from the road surface of the candidate road boundary;
Average or variance of luminance in the reference image of the road boundary candidate;
A road boundary detection device including two or more of the above.
前記選択実行部によって前記道路境界が選択された後に、当該道路境界からの距離が許容範囲内にある複数の境界候補点を再抽出し、当該複数の境界候補点を用いて、前記道路境界候補推定部による前記推定処理と、前記境界選択部による前記選択処理とを再実行させる境界選択再実行部（２３５）を備える、道路境界検出装置。 The road boundary detection device according to claim 1, further comprising:
After the road boundary is selected by the selection execution unit, a plurality of boundary candidate points whose distance from the road boundary is within an allowable range are re-extracted, and the road boundary candidates are used by using the plurality of boundary candidate points. A road boundary detection apparatus comprising: a boundary selection re-execution unit (235) that re-executes the estimation processing by the estimation unit and the selection processing by the boundary selection unit.
前記基準画像の消失点を検出する消失点検出部（２５３）を備え、
前記道路境界候補推定部は、各道路境界候補について、当該道路境界候補の延長線と前記消失点との距離が閾値以上の場合に、当該道路境界候補を前記複数の道路境界候補から除外する、道路境界検出装置。 The road boundary detection device according to any one of claims 1 to 3, further comprising:
A vanishing point detecting unit (253) for detecting the vanishing point of the reference image;
The road boundary candidate estimation unit, for each road boundary candidate, excludes the road boundary candidate from the plurality of road boundary candidates when the distance between the extension line of the road boundary candidate and the vanishing point is equal to or greater than a threshold value. Road boundary detection device.
前記基準画像内の道路区画線を検出する道路区画線検出部（２５１）を備え、
前記境界候補点抽出部は、各境界候補点について、当該境界候補点が前記道路区画線上に存在する場合に、当該境界候補点を前記複数の境界候補点から除外する、道路境界検出装置。 The road boundary detection device according to any one of claims 1 to 4, further comprising:
A road marking line detection unit (251) for detecting a road marking line in the reference image;
The boundary candidate point extraction unit, for each boundary candidate point, excludes the boundary candidate point from the plurality of boundary candidate points when the boundary candidate point exists on the road lane marking.
前記基準画像内の移動体を検出する移動体検出部（２５２）を備え、
前記境界候補点抽出部は、各境界候補点について、当該境界候補点が前記移動体上に存在する場合に、当該境界候補点を前記複数の境界候補点から除外する、道路境界検出装置。 The road boundary detection device according to any one of claims 1 to 5, further comprising:
A moving body detection unit (252) for detecting a moving body in the reference image;
The boundary candidate point extraction unit, for each boundary candidate point, excludes the boundary candidate point from the plurality of boundary candidate points when the boundary candidate point exists on the moving object.
前記境界選択部によって過去に選択された道路境界を構成する複数の境界候補点を、複数の過去境界候補点として記憶する候補点記憶部（２６１）と、
前記複数の過去境界候補点から、現在の前記基準画像内における当該複数の過去境界候補点の位置を推定する現在位置推定部（２６２）と、
を備え、
前記道路境界候補推定部は、前記境界候補点抽出部で抽出された前記複数の境界候補点に加えて、前記推定された位置での前記複数の過去境界候補点を使用して、前記複数の道路境界候補を推定する、道路境界検出装置。 The road boundary detection device according to any one of claims 1 to 6, further comprising:
A candidate point storage unit (261) for storing a plurality of boundary candidate points constituting a road boundary selected in the past by the boundary selection unit as a plurality of past boundary candidate points;
A current position estimating unit (262) for estimating positions of the plurality of past boundary candidate points in the current reference image from the plurality of past boundary candidate points;
With
The road boundary candidate estimation unit uses the plurality of past boundary candidate points at the estimated position in addition to the plurality of boundary candidate points extracted by the boundary candidate point extraction unit, and A road boundary detection device that estimates road boundary candidates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018109347A JP7115910B2 (en) | 2018-06-07 | 2018-06-07 | road boundary detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018109347A JP7115910B2 (en) | 2018-06-07 | 2018-06-07 | road boundary detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019212154A true JP2019212154A (en) | 2019-12-12 |
| JP7115910B2 JP7115910B2 (en) | 2022-08-09 |
Family
ID=68845535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018109347A Active JP7115910B2 (en) | 2018-06-07 | 2018-06-07 | road boundary detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7115910B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021171776A1 (en) * | 2020-02-25 | 2021-09-02 | 日立Astemo株式会社 | Processing device |
| KR102318586B1 (en) * | 2020-08-26 | 2021-10-28 | 주식회사 카비 | Method of detecting median strip and predicting collision risk through analysis of images |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007264714A (en) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | Lane recognition device |
| JP2011248638A (en) * | 2010-05-27 | 2011-12-08 | Nissan Motor Co Ltd | Road environment information acquiring apparatus and method of the same |
| JP2012033149A (en) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | Object identification device |
| JP2014006885A (en) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | Level difference recognition apparatus, level difference recognition method, and program for level difference recognition |
| JP2015184891A (en) * | 2014-03-24 | 2015-10-22 | 株式会社日本自動車部品総合研究所 | Travel compartment line recognition apparatus and travel compartment line recognition program |
| JP2016162323A (en) * | 2015-03-04 | 2016-09-05 | 株式会社日本自動車部品総合研究所 | Travelling section line recognition device |
| JP2017037472A (en) * | 2015-08-10 | 2017-02-16 | 富士重工業株式会社 | Lane recognition device |
-
2018
- 2018-06-07 JP JP2018109347A patent/JP7115910B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007264714A (en) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | Lane recognition device |
| JP2011248638A (en) * | 2010-05-27 | 2011-12-08 | Nissan Motor Co Ltd | Road environment information acquiring apparatus and method of the same |
| JP2012033149A (en) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | Object identification device |
| JP2014006885A (en) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | Level difference recognition apparatus, level difference recognition method, and program for level difference recognition |
| JP2015184891A (en) * | 2014-03-24 | 2015-10-22 | 株式会社日本自動車部品総合研究所 | Travel compartment line recognition apparatus and travel compartment line recognition program |
| JP2016162323A (en) * | 2015-03-04 | 2016-09-05 | 株式会社日本自動車部品総合研究所 | Travelling section line recognition device |
| JP2017037472A (en) * | 2015-08-10 | 2017-02-16 | 富士重工業株式会社 | Lane recognition device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021171776A1 (en) * | 2020-02-25 | 2021-09-02 | 日立Astemo株式会社 | Processing device |
| JP2021135596A (en) * | 2020-02-25 | 2021-09-13 | 日立Astemo株式会社 | Processor |
| JP7225149B2 (en) | 2020-02-25 | 2023-02-20 | 日立Astemo株式会社 | processing equipment |
| US11881034B2 (en) | 2020-02-25 | 2024-01-23 | Hitachi Astemo, Ltd. | Processing device |
| KR102318586B1 (en) * | 2020-08-26 | 2021-10-28 | 주식회사 카비 | Method of detecting median strip and predicting collision risk through analysis of images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7115910B2 (en) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107798699B (en) | Depth map estimation with stereo images | |
| CN104833370B (en) | System and method for mapping, positioning and pose correction | |
| US9669829B2 (en) | Travel lane marking recognition system | |
| US11092442B2 (en) | Host vehicle position estimation device | |
| JP6171612B2 (en) | Virtual lane generation apparatus and program | |
| US11938926B2 (en) | Polyline contour representations for autonomous vehicles | |
| CN112208533B (en) | Vehicle control system, vehicle control method, and storage medium | |
| JP7005326B2 (en) | Roadside object recognition device | |
| JP6828655B2 (en) | Own vehicle position estimation device | |
| CN112149460A (en) | Obstacle detection method and device | |
| CN114945952A (en) | Generating depth from camera images and known depth data using neural networks | |
| JP2020071122A (en) | Own vehicle position estimation device | |
| WO2019065970A1 (en) | Vehicle exterior recognition device | |
| CN115900738A (en) | Path planning method, device, vehicle and storage medium | |
| JP2020003463A (en) | Vehicle's self-position estimating device | |
| JP7115910B2 (en) | road boundary detector | |
| JP7071154B2 (en) | Road boundary detector | |
| US10953885B2 (en) | Road surface detecting apparatus | |
| US11068735B2 (en) | Reliability calculation apparatus | |
| KR102604821B1 (en) | Apparatus and method for estimating location of vehicle | |
| WO2019220765A1 (en) | Self-position estimation device | |
| KR101706455B1 (en) | Road sign detection-based driving lane estimation method and apparatus | |
| US20230110391A1 (en) | 3d sensing and visibility estimation | |
| US20230186638A1 (en) | Device for determining a topography of a vehicle environment, vehicle and method | |
| Jarnea et al. | Advanced driver assistance system for overtaking maneuver on a highway |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7115910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |