JP5472137B2 - Boundary detection device and boundary detection program - Google Patents

Boundary detection device and boundary detection program Download PDF

Info

Publication number
JP5472137B2
JP5472137B2 JP2011011996A JP2011011996A JP5472137B2 JP 5472137 B2 JP5472137 B2 JP 5472137B2 JP 2011011996 A JP2011011996 A JP 2011011996A JP 2011011996 A JP2011011996 A JP 2011011996A JP 5472137 B2 JP5472137 B2 JP 5472137B2
Authority
JP
Japan
Prior art keywords
boundary
road model
boundary detection
edge component
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011011996A
Other languages
Japanese (ja)
Other versions
JP2012155399A (en
Inventor
広樹 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011011996A priority Critical patent/JP5472137B2/en
Publication of JP2012155399A publication Critical patent/JP2012155399A/en
Application granted granted Critical
Publication of JP5472137B2 publication Critical patent/JP5472137B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両が走行する走行領域の境界を検出する境界検出装置、および境界検出プログラムに関する。   The present invention relates to a boundary detection device that detects a boundary of a travel region in which a vehicle travels, and a boundary detection program.

上記境界検出装置として、車両の進行方向を撮像して得られる撮像画像を画像処理することによって走行領域の境界を検出する装置が広く知られている。このような装置では、通常、隣接する画素間で輝度が大きく変化する部位をエッジ成分(エッジ点)として抽出し、このエッジ成分から走行領域の境界を検出する手法が採用されるが、特に、地図データに基づいて道路モデルを生成し、この道路モデルから逸脱するエッジ成分を除外することによって走行領域の境界の検出精度を向上させるものが知られている(例えば、特許文献1参照)。   As the boundary detection device, a device that detects a boundary of a travel region by performing image processing on a captured image obtained by capturing the traveling direction of a vehicle is widely known. In such an apparatus, a method of extracting a part where the luminance greatly changes between adjacent pixels as an edge component (edge point) and detecting a boundary of the traveling region from the edge component is usually adopted. It is known that a road model is generated based on map data and an edge component that deviates from the road model is excluded to improve the detection accuracy of the boundary of the travel region (for example, see Patent Document 1).

特開2010−170488号公報JP 2010-170488 A

しかしながら、上記境界検出装置では、道路モデルを地図データから生成するため、地図データを格納するデータベースが必要となる。また、地図データと実際の道路形状が異なると、走行領域の境界を示すエッジ成分を除外してしまう虞があった。   However, in the boundary detection apparatus, a road model is generated from map data, so a database for storing map data is required. Further, when the map data and the actual road shape are different, there is a possibility that the edge component indicating the boundary of the travel area is excluded.

そこで、このような問題点を鑑み、車両が走行する走行領域の境界を検出する境界検出装置において、地図データのデータベースを必要としない簡素な構成で精度よく走行領域の境界を検出できるようにすることを本発明の目的とする。   Accordingly, in view of such problems, a boundary detection apparatus for detecting a boundary of a travel region in which a vehicle travels can accurately detect a boundary of the travel region with a simple configuration that does not require a map data database. This is an object of the present invention.

かかる目的を達成するために成された第1の構成の境界検出装置において、エッジ方向演算手段は、自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算する。また、エッジ成分抽出手段は、多数の画素のそれぞれについて、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出する。そして、角度演算手段は、各エッジ成分について、予め設定された撮像画像中の無限遠点の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対するエッジ方向のなす角を演算し、第1重み付け設定手段は、なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。さらに、端部検出手段は、各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、走行領域の境界の端部を検出する。   In the boundary detection device having the first configuration configured to achieve the above object, the edge direction calculation means includes a vertical direction of the captured image for each of a large number of pixels constituting the captured image captured around the host vehicle. By detecting the magnitude of the luminance change between adjacent pixels and the magnitude of the luminance change between adjacent pixels in the horizontal direction, and comparing the magnitude of the luminance change in each direction, the direction in which the luminance changes most greatly is determined. Calculate the edge direction to represent. Further, the edge component extraction means extracts an edge component representing an area where the luminance change between adjacent pixels is equal to or greater than the luminance reference value for each of a large number of pixels. Then, the angle calculation means calculates the angle formed by the edge direction with respect to the direction of the virtual reference straight line representing the straight line connecting the position of the infinity point in the captured image and the position of the edge component for each edge component. The first weighting setting unit sets the weighting for each edge component so that the weighting increases as the angle formed becomes closer to a right angle. Further, the edge detection means detects the edge of the boundary of the traveling region by performing image processing in consideration of the weighting set for each edge component.

このような境界検出装置によれば、各エッジ成分についてエッジ方向と仮想基準直線とのなす角に応じて重み付けを設定し、この重み付けを考慮して画像処理を行うので、画像処理の際に、走行領域の境界である可能性が高いエッジ方向の向きを有するエッジ成分の影響を大きくすることができる。したがって、簡素な構成で精度よく走行領域の境界を検出することができる。   According to such a boundary detection device, weighting is set for each edge component according to the angle formed by the edge direction and the virtual reference line, and image processing is performed in consideration of this weighting. The influence of the edge component having the direction in the edge direction that is likely to be the boundary of the traveling region can be increased. Therefore, it is possible to accurately detect the boundary of the travel region with a simple configuration.

なお、本発明において、エッジ成分を抽出する際には、撮像画像の縦方向、横方向、或いはエッジ方向等の任意の方向における輝度変化と輝度基準値とを比較するようにすればよい。また、本発明の画像処理としては、周知のハフ変換等の投票処理や、最小二乗法等、走行領域の境界となる曲線(直線)を求めるための周知の処理を採用することができる。   In the present invention, when extracting the edge component, the luminance change in any direction such as the vertical direction, the horizontal direction, or the edge direction of the captured image may be compared with the luminance reference value. In addition, as the image processing of the present invention, a known process for obtaining a curve (straight line) serving as a boundary of the traveling region, such as a well-known voting process such as a Hough transform or a least square method, can be employed.

ところで、上記境界検出装置においては、第2の構成のように、境界検出装置は、繰り返し走行領域の境界を検出するよう設定されており、走行領域の境界が検出される度に、この走行領域の境界の位置に従って撮像画像中の新たな無限遠点の位置を検出し、以前の無限遠点の位置を新たな無限遠点の位置に更新する無限遠点更新手段、を備え、角度演算手段は、新たな無限遠点の位置を利用してなす角を演算するようにしてもよい。   By the way, in the boundary detection device, as in the second configuration, the boundary detection device is set to repeatedly detect the boundary of the traveling region, and this traveling region is detected each time the boundary of the traveling region is detected. An infinity point updating means for detecting the position of a new infinity point in the captured image in accordance with the position of the boundary and updating the previous infinity point position to a new infinity point position, and an angle calculation means May calculate the angle formed using the position of the new infinity point.

このような境界検出装置によれば、無限遠点の位置をフィードバックして利用することができるので、乗員や荷物の量の変化に伴って車両の傾きに変化が生じた場合等においても、適切に撮像画像中の無限遠点の位置を設定することができる。本発明の構成では、走行領域の境界が概ね直線と判断できる場合に有効である。   According to such a boundary detection device, the position of the infinity point can be fed back and used, so that even when the vehicle inclination changes with the change in the amount of passengers or luggage, it is appropriate It is possible to set the position of the infinity point in the captured image. The configuration of the present invention is effective when it is possible to determine that the boundary of the travel region is substantially a straight line.

また、上記境界検出装置においては、第3の構成のように、以前に検出された走行領域の境界の形状に基づいて、撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成する判断用道路モデル生成手段、を備え、角度演算手段は、エッジ成分の位置毎に、判断用道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。   Further, in the boundary detection device, as in the third configuration, the road model for determination indicating the shape of the boundary of the travel region predicted in the captured image based on the shape of the boundary of the travel region detected previously. A determination road model generation means for generating a virtual reference straight line in a tangential direction at a portion corresponding to the position of the edge component of the determination road model for each position of the edge component. The angle formed by the edge direction with respect to the direction of the virtual reference straight line may be calculated.

このような境界検出装置によれば、車両が走行する道路が直線でない場合であっても走行領域の形状に応じて適切にエッジ成分の重み付けを行うことができる。なお、第2の構成と第3の構成とを組み合わせる場合には、以前に検出された走行領域の境界の形状に基づいて、走行領域の境界が直線であるか曲線であるかを判断し、直線である場合には第2の構成を採用し、曲線である場合には第3の構成を採用すればよい。   According to such a boundary detection device, even when the road on which the vehicle travels is not a straight line, the edge component can be appropriately weighted according to the shape of the travel region. In addition, when combining the second configuration and the third configuration, based on the previously detected shape of the boundary of the travel region, determine whether the boundary of the travel region is a straight line or a curve, If it is a straight line, the second configuration may be adopted, and if it is a curve, the third configuration may be adopted.

さらに、上記境界検出装置においては、第4の構成のように、エッジ成分の位置毎に、このエッジ成分の位置を通過し、判断用道路モデルを構成する複数のパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成する類似道路モデル生成手段、を備え、角度演算手段は、エッジ成分の位置毎に、類似道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。   Further, in the boundary detection device, as in the fourth configuration, for each of the edge component positions, a part of the parameters that pass through the position of the edge component and constitute the determination road model is selected. Similar road model generation means for generating similar road models that differ only in the angle calculation means for each position of the edge component, the virtual reference in the tangential direction in the part corresponding to the position of the edge component of the similar road model A straight line may be set, and the angle formed by the edge direction with respect to the direction of the virtual reference straight line may be calculated.

このような境界検出装置によれば、エッジ成分の位置を通過する仮想基準直線を設定するので、エッジ成分の位置に走行領域の境界が存在すると仮定した場合の仮想基準直線を適切に設定することができる。   According to such a boundary detection device, since the virtual reference straight line that passes through the position of the edge component is set, the virtual reference straight line when it is assumed that the boundary of the traveling region exists at the position of the edge component is appropriately set. Can do.

また、上記境界検出装置においては、第5の構成のように、類似道路モデルと判断用道路モデルとで異なるパラメータについて、類似道路モデルにおけるこのパラメータの値と、判断用道路モデルにおけるこのパラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第2重み付け設定手段、を備えていてもよい。   Further, in the boundary detection device, as in the fifth configuration, for parameters that are different between the similar road model and the determination road model, the value of this parameter in the similar road model and the value of this parameter in the determination road model And a second weight setting means for setting the weight for each edge component so that the weight increases as the difference decreases.

このような境界検出装置によれば、判断用道路モデルに近い類似道路モデルを構成するエッジ成分に対して重み付けを大きく設定することができるので、判断用道路モデルに近い走行領域の境界が検出されやすくすることができる。   According to such a boundary detection device, it is possible to set a large weight to the edge component constituting the similar road model close to the determination road model, so that the boundary of the travel region close to the determination road model is detected. It can be made easier.

次に、上記目的を達成するために成された第6の構成としての境界検出プログラムは、コンピュータを請求項1〜請求項5の何れか1項に記載の境界検出装置を構成する各手段として機能させるためのプログラムであることを特徴とする。   Next, a sixth aspect of the boundary detection program configured to achieve the above object is a computer as each means constituting the boundary detection device according to any one of claims 1 to 5. It is a program for making it function.

このような境界検出プログラムによれば、少なくとも請求項1に記載の強化検出装置と同様の効果を享受することができる。   According to such a boundary detection program, at least the same effect as that of the enhancement detection apparatus according to claim 1 can be obtained.

車両に搭載された境界検出システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the boundary detection system 1 mounted in the vehicle. 境界検出処理を示すフローチャート(a)、および道路モデル設定処理を示すフローチャート(b)である。It is the flowchart (a) which shows a boundary detection process, and the flowchart (b) which shows a road model setting process. 白線候補抽出処理を示すフローチャート(a)、およびエッジ強度・方向算出処理(b)を示すフローチャートである。It is a flowchart which shows a white line candidate extraction process (a), and an edge intensity | strength and direction calculation process (b). エッジ強度およびエッジ方向を示す説明図である。It is explanatory drawing which shows edge strength and edge direction. 重み付け処理を示すフローチャート(a)、および具体的な重み付けの値を示すグラフ(b)(c)である。It is the flowchart (a) which shows a weighting process, and the graph (b) and (c) which show the value of a specific weight. 局所的な無限遠点を示す説明図である。It is explanatory drawing which shows a local infinity point.

以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は、車両に搭載された境界検出システム1の構成を示すブロック図であり、(a)は全体構成、(b)は主要部となる車線境界検出装置の詳細構成である。図1(a)に示すように、境界検出システム1は、車線境界検出装置10(境界検出装置)と車両制御ECU20とを備えている。
Embodiments according to the present invention will be described below with reference to the drawings.
[Configuration of this embodiment]
FIG. 1 is a block diagram illustrating a configuration of a boundary detection system 1 mounted on a vehicle. FIG. 1A is an overall configuration, and FIG. 1B is a detailed configuration of a lane boundary detection device as a main part. As shown in FIG. 1A, the boundary detection system 1 includes a lane boundary detection device 10 (boundary detection device) and a vehicle control ECU 20.

車線境界検出装置10は、自車両が走行中の車線(走行領域)の境界(以下「車線境界」という)となる位置等を示す境界パラメータを生成する機能を有する。また、車両制御ECU20は、車線境界検出装置10とは車載LANを介して接続され、その車載LANを介して車線境界検出装置10から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する機能を有する。   The lane boundary detection device 10 has a function of generating a boundary parameter indicating a position or the like that becomes a boundary (hereinafter referred to as “lane boundary”) of a lane (traveling area) in which the host vehicle is traveling. The vehicle control ECU 20 is connected to the lane boundary detection device 10 via an in-vehicle LAN, and deviates from the lane in which the host vehicle is traveling based on boundary parameters acquired from the lane boundary detection device 10 through the in-vehicle LAN. This function has a function of executing various processes for obtaining the possibility and notifying the driver of the possibility.

車線境界検出装置10は、図1(b)に示すように、CCDカメラ11と、アナログ・デジタル変換器(ADC)12と、画像メモリ13と、CPU14と、ROM15と、RAM16と、通信IC17とを備えている。CCDカメラ11は、車両の進行方向(車両前方)の路面を撮像するように配置されている。   As shown in FIG. 1B, the lane boundary detection device 10 includes a CCD camera 11, an analog / digital converter (ADC) 12, an image memory 13, a CPU 14, a ROM 15, a RAM 16, and a communication IC 17. It has. The CCD camera 11 is arranged so as to image the road surface in the traveling direction of the vehicle (front of the vehicle).

ADC12は、CCDカメラ11から出力されるアナログの画像信号をデジタルの画像データに変換する。画像メモリ13は、ADC12によって得られた画像データを格納する。   The ADC 12 converts an analog image signal output from the CCD camera 11 into digital image data. The image memory 13 stores the image data obtained by the ADC 12.

CPU14は、画像メモリ13に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行する。なお、ROM15は、CPU14が実行する処理のプログラムなどを記憶しており、RAM16はCPU14の作業領域として機能する。   The CPU 14 executes processing for generating boundary parameters based on the image data stored in the image memory 13. The ROM 15 stores a program for processing executed by the CPU 14, and the RAM 16 functions as a work area for the CPU 14.

通信IC17は、CPU14での処理結果等を、車載LANを介して外部へ出力する。 車両制御ECU20は、車線境界検出装置10と同様に、CPU,ROM,RAM,通信ICを備える他、当該ECU20に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのIOポート等を備えている。   The communication IC 17 outputs the processing result in the CPU 14 to the outside via the in-vehicle LAN. Like the lane boundary detection device 10, the vehicle control ECU 20 includes a CPU, a ROM, a RAM, and a communication IC. In addition, the vehicle control ECU 20 receives a detection signal from a sensor directly connected to the ECU 20, and outputs a control signal for a control target. An IO port or the like is provided.

ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。なお、車両制御ECU20は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。   Here, at least a speaker that generates an alarm sound is connected as a control target. The vehicle control ECU 20 may be configured to function as a device for preventing a traffic accident such as a steering torque control device that controls the steering torque so that the vehicle does not depart from the travel lane.

[本実施形態の処理]
次に、CPU14が実行する境界検出処理(境界検出プログラムによる処理の内容)を、図2以下に示すフローチャートに沿って説明する。本処理は、例えば、イグニションスイッチ等の車両の電源がON状態にされると開始され、その後、一定時間毎(例えば100ms毎)に繰り返し実施される処理である。
[Process of this embodiment]
Next, boundary detection processing (contents of processing by the boundary detection program) executed by the CPU 14 will be described with reference to the flowcharts shown in FIG. This process is a process that is started, for example, when a vehicle such as an ignition switch is turned on, and then repeatedly performed at regular intervals (for example, every 100 ms).

図2(a)は境界検出処理を示すフローチャート、図2(b)は境界検出処理のうちの道路モデル設定処理を示すフローチャートである。また、図3(a)は境界検出処理のうちの白線候補抽出処理を示すフローチャート、図3(b)は白線候補抽出処理のうちのエッジ強度・方向算出処理を示すフローチャートである。さらに、図5(a)は白線候補抽出処理のうちの重み付け処理を示すフローチャートである。   FIG. 2A is a flowchart showing the boundary detection process, and FIG. 2B is a flowchart showing the road model setting process in the boundary detection process. FIG. 3A is a flowchart showing white line candidate extraction processing in the boundary detection processing, and FIG. 3B is a flowchart showing edge strength / direction calculation processing in white line candidate extraction processing. FIG. 5A is a flowchart showing the weighting process in the white line candidate extraction process.

境界検出処理においては、図2(a)に示すように、まず、道路モデル設定処理を実施する(S110)。道路モデル設定処理は、前回以前の境界検出処理において検出した白線位置(走行領域の境界)と自車両の運動状態とを利用して、自車両が走行する道路の形状(曲率等)を推定し、撮像画像中の白線の推定位置を道路モデルとして設定する処理である。   In the boundary detection process, as shown in FIG. 2A, first, a road model setting process is performed (S110). The road model setting process estimates the shape (curvature, etc.) of the road on which the vehicle travels using the white line position (boundary of the travel region) detected in the previous boundary detection process and the motion state of the vehicle. This is processing for setting the estimated position of the white line in the captured image as a road model.

詳細には、図2(b)に示すように、道路モデル設定処理は、まず、前回検出した無限遠点の位置を取得する(S210)。そして、無限遠点の位置が取得できたか否かを判定する(S220)。   Specifically, as shown in FIG. 2B, the road model setting process first acquires the position of the infinity point detected last time (S210). Then, it is determined whether or not the position of the infinity point has been acquired (S220).

当該境界検出処理が起動した直後(つまり、初めて境界検出処理を開始した場合)には、前回以前に検出された無限遠点の位置の情報が存在しないため、この処理では否定判定され、その他の場合には肯定判定される。無限遠点の位置が取得できていれば(S220:YES)、後述するS240の処理に移行する。   Immediately after the boundary detection process is started (that is, when the boundary detection process is started for the first time), there is no information on the position of the infinity point detected before the previous time. In the case, an affirmative determination is made. If the position of the point at infinity has been acquired (S220: YES), the process proceeds to S240 described later.

また、無限遠点の位置が取得できていなければ(S220:NO)、推定道路モデルを設定する(S230)。ここで設定する推定道路モデルは、例えば図4(a)に示すように、無限遠点(FOE)の位置と、無限遠点に向かって延びる2本の直線状の白線とを備えて構成される。   If the position of the point at infinity has not been acquired (S220: NO), an estimated road model is set (S230). For example, as shown in FIG. 4A, the estimated road model set here includes a position of an infinite point (FOE) and two linear white lines extending toward the infinite point. The

続いて、自車両の車速およびヨーレートを、車内LANを介して接続された周知の車速センサ(図示省略)およびヨーレートセンサ(図示省略)から取得し(S240)、ヨーレートの零点補正を行う(S250)。なお、ヨーレートの零点補正については、例えば特開平9−49875号公報等に開示されているような周知の処理を実施すればよい。   Subsequently, the vehicle speed and yaw rate of the host vehicle are acquired from a well-known vehicle speed sensor (not shown) and yaw rate sensor (not shown) connected via the in-vehicle LAN (S240), and zero point correction of the yaw rate is performed (S250). . For the zero point correction of the yaw rate, a known process as disclosed in, for example, Japanese Patent Laid-Open No. 9-49875 may be performed.

次に、自車両に搭載された車速センサおよびヨーレートセンサによる検出結果を利用して自車両が走行する道路の曲率を演算し、判断用道路モデルを生成し、設定する(S260:判断用道路モデル生成手段)。   Next, the curvature of the road on which the vehicle travels is calculated using the detection results of the vehicle speed sensor and the yaw rate sensor mounted on the vehicle, and a road model for determination is generated and set (S260: road model for determination). Generating means).

ここで、判断用道路モデルは、S230の処理や前回の境界検出処理(後述するS150の処理)において設定された推定道路モデルを補正することによって生成される。詳細には、推定道路モデルには、車線幅(デフォルト値または前回検出値を利用)、白線の形状、無限遠点の位置等の情報が含まれている。ただし、推定道路モデルは、過去(またはデフォルト値)の道路形状を示すものであるため、この処理では、推定道路モデルを、車速、旋回角速度、カーブの曲率等の情報を利用して、現在の撮像画像で得られると推定されるモデルに補正する。   Here, the determination road model is generated by correcting the estimated road model set in the process of S230 or the previous boundary detection process (the process of S150 described later). Specifically, the estimated road model includes information such as the lane width (using the default value or the previously detected value), the shape of the white line, the position of the infinity point, and the like. However, since the estimated road model shows the past (or default value) road shape, this process uses the estimated road model by using information such as the vehicle speed, turning angular velocity, curve curvature, etc. The model is estimated to be obtained from the captured image.

例えば、車速に応じて車両が前進することを予測し、予測した位置で撮像されると推定される白線の形状を生成する。また、推定道路モデルに含まれるカーブの曲率とヨーレートセンサによるカーブの曲率が異なる場合には、ヨーレートセンサによるカーブの曲率に応じて白線の形状を補正する。   For example, it predicts that the vehicle will move forward according to the vehicle speed, and generates a white line shape that is estimated to be imaged at the predicted position. When the curvature of the curve included in the estimated road model is different from the curvature of the curve by the yaw rate sensor, the shape of the white line is corrected according to the curvature of the curve by the yaw rate sensor.

このとき、判断用道路モデルのカーブの曲率は、ヨーレートセンサによるカーブの曲率をそのまま採用してもよいし、推定道路モデルのカーブの曲率との加重平均を採用してもよい。このような処理が終了すると、道路モデル設定処理を終了する。   At this time, as the curvature of the curve of the road model for determination, the curvature of the curve by the yaw rate sensor may be employed as it is, or a weighted average with the curvature of the curve of the estimated road model may be employed. When such processing ends, the road model setting processing ends.

続いて、図2(a)に戻り、白線候補抽出処理を実施する(S120)。白線候補抽出処理は、撮像画像から白線候補(走行領域の境界となる可能性がある境界候補)を抽出する処理である。   Subsequently, returning to FIG. 2A, white line candidate extraction processing is performed (S120). The white line candidate extraction process is a process of extracting a white line candidate (a boundary candidate that may be a boundary of the travel region) from the captured image.

詳細には、図3(a)に示すように、まず、CCDカメラ11からこのカメラ11による撮像画像を取得し(S310)、エッジ方向・方向算出処理を実施する(S320:エッジ方向演算手段)。この処理は、撮像画像を構成する各画素を順に選択し、選択した各画素についてそれぞれ実施される。例えば、左上隅の画素から右上隅の画素まで順次実施され、その後、1つ下の左隅の画素から右隅の画素まで順次実施することを繰り返すことによって実施される。   Specifically, as shown in FIG. 3A, first, an image captured by the camera 11 is acquired from the CCD camera 11 (S310), and edge direction / direction calculation processing is performed (S320: edge direction calculation means). . This process is performed for each selected pixel by sequentially selecting each pixel constituting the captured image. For example, the processing is performed sequentially from the pixel in the upper left corner to the pixel in the upper right corner, and then performed sequentially from the pixel in the lower left corner to the pixel in the right corner.

エッジ方向・方向算出処理では、図3(b)に示すように、まず、各画素について撮像画像の縦方向のエッジ強度を検出し(S410)、撮像画像の横方向のエッジ強度を検出する(S420)。ここで、エッジ強度とは、隣接する画素間の明るさの差を意味する。   In the edge direction / direction calculation processing, as shown in FIG. 3B, first, the vertical edge strength of the captured image is detected for each pixel (S410), and the horizontal edge strength of the captured image is detected (S410). S420). Here, the edge strength means a difference in brightness between adjacent pixels.

エッジ強度について図4を用いてより詳細に説明する。図4はエッジ方向・方向算出処理を示す説明図である。
例えば、図4(a)に示すような直線状の白線が撮像された撮像画像において、横方向に設定されたラインA上の各画素の明るさを検出すると、ラインA上の横位置と明るさとの間には、図4(b)に示すような関係が得られる。そして、ある画素の明るさと左側で隣接する画素の明るさとの差を変化量とすると、ラインA上の横位置と変化量との間には、図4(c)に示すような関係が得られる。
The edge strength will be described in detail with reference to FIG. FIG. 4 is an explanatory diagram showing edge direction / direction calculation processing.
For example, when the brightness of each pixel on the line A set in the horizontal direction is detected in a captured image obtained by capturing a linear white line as shown in FIG. 4A, the horizontal position and brightness on the line A are detected. The relationship as shown in FIG. 4B is obtained. If the difference between the brightness of a certain pixel and the brightness of the adjacent pixel on the left side is the amount of change, the relationship shown in FIG. 4C is obtained between the horizontal position on the line A and the amount of change. It is done.

また同様に、縦方向に設定されたラインB上の各画素の明るさを検出すると、ラインB上の縦位置と明るさとの間には、図4(d)に示すような関係が得られ、ある画素の明るさと下側で隣接する画素の明るさとの差を変化量とすると、ラインB上の縦位置と変化量との間には、図4(e)に示すような関係が得られる。つまり、それぞれの方向(縦方向または横方向)において隣接する画素間の明るさの差が大きくなるほど、エッジ強度が大きくなるといえる。   Similarly, when the brightness of each pixel on the line B set in the vertical direction is detected, the relationship shown in FIG. 4D is obtained between the vertical position on the line B and the brightness. If the difference between the brightness of a certain pixel and the brightness of the adjacent pixel on the lower side is the amount of change, the relationship shown in FIG. 4E is obtained between the vertical position on the line B and the amount of change. It is done. That is, it can be said that the edge strength increases as the difference in brightness between adjacent pixels in each direction (vertical direction or horizontal direction) increases.

続いて、図3(b)に戻り、縦方向・横方向のエッジ強度に基づいてエッジ方向を算出する(S430)。ここで、エッジ方向とは、ある画素間において最も明るさが変化する方向(白線に対する接線に垂直な方向)を示す。   Subsequently, returning to FIG. 3B, the edge direction is calculated based on the edge strengths in the vertical and horizontal directions (S430). Here, the edge direction indicates a direction in which the brightness changes most between certain pixels (a direction perpendicular to a tangent to the white line).

例えば、横断歩道のように、白線が撮像画像中の真横に向いて配置される場合には、縦方向のエッジ強度は大きくなるが、横方向のエッジ強度はほぼ0となる。また、図4(a)に示すように、白線が撮像画像中に斜め約45度に配置されている場合には、概ね縦方向および横方向のエッジ強度が同等になる。このような特性を利用して、縦方向および横方向のエッジ強度のバランスによって、エッジ方向を特定することができる。   For example, when the white line is arranged so as to be directly beside the captured image as in a pedestrian crossing, the edge strength in the vertical direction increases, but the edge strength in the horizontal direction becomes almost zero. Further, as shown in FIG. 4A, when the white line is arranged at an angle of about 45 degrees in the captured image, the edge strengths in the vertical direction and the horizontal direction are substantially equal. By using such characteristics, the edge direction can be specified by the balance of the edge strength in the vertical direction and the horizontal direction.

このような処理が終了すると、エッジ強度・方向算出処理を終了する。続いて、図3(a)に戻り、この撮像画像中に含まれるエッジ成分を検出する(S330:エッジ抽出手段)。   When such processing ends, the edge strength / direction calculation processing ends. Subsequently, returning to FIG. 3A, an edge component included in the captured image is detected (S330: edge extraction means).

エッジ成分とは、撮像画像を構成する多数の画素のうちの隣接する画素間において輝度基準値以上の輝度変化(エッジ強度)がある領域を表し、一般的にはエッジ点とも呼ばれる。輝度基準値以上の輝度変化があるか否かについては、縦方向または横方向の輝度変化(エッジ強度)と輝度基準値とを比較するようにしてもよいし、エッジ方向における輝度変化(例えば縦方向におけるエッジ強度と横方向におけるエッジ強度との二乗平均)と輝度基準値とを比較するようにしてもよい。   An edge component represents a region where there is a luminance change (edge intensity) that is equal to or greater than a luminance reference value between adjacent pixels among a large number of pixels constituting a captured image, and is generally also referred to as an edge point. As to whether or not there is a luminance change equal to or higher than the luminance reference value, the luminance change (edge strength) in the vertical direction or the horizontal direction may be compared with the luminance reference value, or the luminance change in the edge direction (for example, vertical The root mean square of the edge strength in the direction and the edge strength in the horizontal direction) may be compared with the luminance reference value.

続いて、重み付け処理を行う(S350)。重み付け処理は、エッジ成分の位置およびエッジ方向の妥当性により各エッジ成分に対する重み付けを設定する処理である。詳細には図5(a)に示すように、まず、エッジ成分の位置を通過し、判断用道路モデルに類似する類似道路モデルを算出する(S510:類似道路モデル生成手段)。   Subsequently, a weighting process is performed (S350). The weighting process is a process of setting a weight for each edge component according to the validity of the position and edge direction of the edge component. Specifically, as shown in FIG. 5A, first, a similar road model that passes through the position of the edge component and is similar to the determination road model is calculated (S510: similar road model generation means).

例えば、類似道路モデルは、判断用道路モデルに対して、カーブの曲率(カーブの半径)のみが異なるモデルである。続いて、類似道路モデルのカーブの半径と、判断用道路モデルのカーブの半径とを比較し、これらの差に応じた重み付けを行う(S520:第2重み付け設定手段)。詳細には、例えば図5(b)に示すように、カーブの半径の差が大きくなると係数(重み付け)が小さくなるようにする。   For example, the similar road model is a model in which only the curvature of the curve (the radius of the curve) is different from the determination road model. Subsequently, the radius of the curve of the similar road model is compared with the radius of the curve of the road model for determination, and weighting according to these differences is performed (S520: second weight setting means). Specifically, for example, as shown in FIG. 5B, the coefficient (weighting) is decreased as the difference in the radius of the curve increases.

次に、類似道路モデルの局所的な無限遠点(局所FOE)を算出する(S530)。この処理では、図6に示すように、局所的な無限遠点を算出しようとするエッジ成分の位置毎に、エッジ成分の位置と、この位置と等距離に位置する部位とにおいて、類似道路モデルに接線を引き、エッジ成分の位置毎の無限遠点を求める。   Next, a local infinity point (local FOE) of the similar road model is calculated (S530). In this process, as shown in FIG. 6, for each position of the edge component for which a local infinity point is to be calculated, a similar road model is used at the position of the edge component and the part located at the same distance from this position. A tangent line is drawn to find an infinite point for each edge component position.

そして、このエッジ成分の位置と、このエッジ成分に対する局所的な無限遠点とを結ぶ直線とエッジ方向とのなす角を演算し、このなす角に応じて、エッジ成分の重み付けを設定する(S540:角度演算手段、第1重み付け設定手段)。この処理では、例えば、図5(c)に示すように、なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定し、S520の処理で設定された係数(図5(b)参照)とS540の処理で設定された係数(図5(c)参照)との積がエッジ成分に対する重み付けとして設定される。   Then, an angle formed by a straight line connecting the position of the edge component and a local infinity point with respect to the edge component and the edge direction is calculated, and weighting of the edge component is set according to the formed angle (S540). : Angle calculation means, first weight setting means). In this process, for example, as shown in FIG. 5C, the weight is set for each edge component so that the weight becomes larger as the angle formed becomes closer to the right angle, and the coefficient set in the process of S520 is performed. The product of (see FIG. 5B) and the coefficient set in S540 (see FIG. 5C) is set as a weight for the edge component.

このような処理を終了すると、重み付け処理を終了する。続いて、図3(a)に戻り、各エッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を周知のハフ変換を行うことで白線候補として抽出する(S360:端部検出手段)。ただし、このハフ変換を行う際には、重み付けが考慮され、大きな値の重み付けがされたエッジ成分ほど白線候補に選ばれやすくなる。このような処理が終了すると、白線候補抽出処理を終了する。   When such processing is finished, the weighting processing is finished. Subsequently, returning to FIG. 3A, a candidate for a curve (including a straight line) serving as a boundary of the traveling region is extracted as a white line candidate by performing well-known Hough transform based on the arrangement of each edge component (S360: End detection means). However, when this Hough transform is performed, weighting is taken into consideration, and an edge component with a larger weight is more likely to be selected as a white line candidate. When such processing ends, the white line candidate extraction processing ends.

そして、図2(a)に戻り、最も確からしい白線候補を走行領域の境界を示す白線として設定し、RAM16等のメモリに記録する(S130)。続いて、撮像画像中において自車両両側の白線を延長したときの交点と予想される位置を無限遠点として設定し、RAM16等のメモリに上書き記録する(S140:無限遠点更新手段)。   Then, returning to FIG. 2A, the most probable white line candidate is set as a white line indicating the boundary of the travel region and recorded in a memory such as the RAM 16 (S130). Subsequently, in the captured image, an intersection point when the white line on both sides of the host vehicle is extended is set as an infinite point, and is overwritten and recorded in a memory such as the RAM 16 (S140: infinite point updating means).

そして、この白線の形状を、推定道路モデルとしてRAM16等のメモリに上書き記録し(S150)、境界検出処理を終了する。なお、S130〜S150の処理で記録された白線の位置および無限遠点の位置を含む推定道路モデルは、次回以降の境界検出処理の際に利用される。   Then, the shape of the white line is overwritten and recorded in the memory such as the RAM 16 as an estimated road model (S150), and the boundary detection process ends. Note that the estimated road model including the position of the white line and the position of the infinity point recorded in the processes of S130 to S150 is used in the next and subsequent boundary detection processes.

[本実施形態による効果]
以上のように詳述した車線境界検出装置10においてCPU14は、自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出し、各エッジ成分について各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算する。そして、CPU14は、各エッジ成分について、所定の仮想基準直線の方向に対するエッジ方向のなす角を演算し、このなす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。さらに、CPU14は、各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、走行領域の境界の端部を検出する。
[Effects of this embodiment]
In the lane boundary detection device 10 described in detail above, the CPU 14 has a large luminance change between pixels adjacent to each other in the vertical direction of the captured image for each of a large number of pixels constituting the captured image captured around the host vehicle. And the magnitude of the luminance change between adjacent pixels in the horizontal direction, the edge component representing the area where the luminance change between adjacent pixels is equal to or greater than the luminance reference value is extracted, and the luminance change in each direction is detected for each edge component. By comparing the sizes, the edge direction representing the direction in which the luminance changes the largest is calculated. Then, the CPU 14 calculates the angle formed by the edge direction with respect to the direction of the predetermined virtual reference straight line for each edge component, and weights each edge component so that the weight increases as the formed angle approaches a right angle. Set. Further, the CPU 14 performs image processing in consideration of the weighting set for each edge component, thereby detecting the end of the boundary of the traveling region.

このような車線境界検出装置10によれば、各エッジ成分についてエッジ方向と仮想基準直線とのなす角に応じて重み付けを設定し、この重み付けを考慮して画像処理を行うので、画像処理の際に、走行領域の境界である可能性が高いエッジ方向の向きを有するエッジ成分の影響を大きくすることができる。したがって、簡素な構成で精度よく走行領域の境界を検出しやすくすることができる。   According to such a lane boundary detection device 10, weighting is set for each edge component according to the angle formed by the edge direction and the virtual reference line, and image processing is performed in consideration of this weighting. In addition, it is possible to increase the influence of the edge component having the direction of the edge direction that is highly likely to be the boundary of the traveling region. Therefore, it is possible to easily detect the boundary of the travel region with a simple configuration and with high accuracy.

また、上記車線境界検出装置10においてCPU14は、以前に検出された走行領域の境界の形状に基づいて、今回得られた撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成し、エッジ成分の位置毎に、判断用道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算する。   Further, in the lane boundary detection device 10, the CPU 14 determines a road model for determination that indicates the shape of the boundary of the traveling region that is expected in the captured image obtained this time, based on the shape of the boundary of the traveling region detected previously. Generate and set a virtual reference line in the tangential direction at the part corresponding to the position of the edge component in the judgment road model for each position of the edge component, and calculate the angle formed by the edge direction with respect to the direction of this virtual reference line To do.

このような車線境界検出装置10によれば、車両が走行する道路が直線でない場合であっても走行領域の形状に応じて適切にエッジ成分の重み付けを行うことができる。
さらに、上記車線境界検出装置10においてCPU14は、エッジ成分の位置毎に、このエッジ成分の位置を通過し、判断用道路モデルを構成するパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成し、エッジ成分の位置毎に、類似道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算する。
According to such a lane boundary detection device 10, even when the road on which the vehicle travels is not a straight line, the edge component can be appropriately weighted according to the shape of the travel region.
Further, in the lane boundary detection device 10, the CPU 14, for each edge component position, passes a similar road model that passes through the position of the edge component and differs only in some of the parameters that constitute the determination road model. For each position of the edge component, a virtual reference line is set in the tangential direction at the part corresponding to the position of the edge component in the similar road model, and the angle formed by the edge direction with respect to the direction of the virtual reference line is calculated. .

このような車線境界検出装置10によれば、エッジ成分の位置を通過する仮想基準直線を設定するので、エッジ成分の位置に走行領域の境界が存在すると仮定した場合の仮想基準直線を適切に設定することができる。   According to the lane boundary detection device 10 as described above, the virtual reference straight line that passes through the position of the edge component is set, so that the virtual reference straight line is appropriately set when it is assumed that the boundary of the traveling region exists at the position of the edge component. can do.

また、上記車線境界検出装置10においてCPU14は、類似道路モデルと判断用道路モデルとで異なるパラメータについて、類似道路モデルにおけるこのパラメータの値と、判断用道路モデルにおけるこのパラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。   In the lane boundary detection device 10, the CPU 14 compares the value of this parameter in the similar road model with the value of this parameter in the determination road model for different parameters between the similar road model and the determination road model. Weighting is set for each edge component so that the weighting increases as these differences decrease.

このような車線境界検出装置10によれば、判断用道路モデルに近い類似道路モデルを構成するエッジ成分に対して重み付けを大きく設定することができるので、判断用道路モデルに近い走行領域の境界が検出されやすくすることができる。   According to such a lane boundary detection device 10, it is possible to set a large weight to the edge component constituting the similar road model close to the determination road model, so that the boundary of the travel region close to the determination road model is It can be easily detected.

[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[Other Embodiments]
Embodiments of the present invention are not limited to the above-described embodiments, and can take various forms as long as they belong to the technical scope of the present invention.

例えば、本実施形態の画像処理では、周知のハフ変換等の投票処理を利用して走行領域の境界を検出したが、最小二乗法等の周知の処理を採用してもよい。
さらに、S330の処理とS350の処理との間において、画像座標系を平面(路面)座標系に変換する処理を実施してもよい(S340)。このようにすると、平面座標系において車両の移動量を算出する等の処理を行うことができ、処理を容易にすることができる。また、他のアプリケーション(例えば、衝突するか否かの判定を行うアプリケーション等)による処理も容易にすることができる。なお、上記のように座標系を変換した場合には、必要に応じて平面座標系での値を画像座標系に換算して道路モデル等を生成すればよい。
For example, in the image processing of the present embodiment, the boundary of the travel region is detected using a known voting process such as a Hough transform, but a known process such as a least square method may be employed.
Furthermore, a process of converting the image coordinate system to a plane (road surface) coordinate system may be performed between the process of S330 and the process of S350 (S340). In this way, it is possible to perform processing such as calculating the amount of movement of the vehicle in the planar coordinate system, and to facilitate processing. In addition, processing by another application (for example, an application that determines whether or not to collide) can be facilitated. When the coordinate system is converted as described above, a road model or the like may be generated by converting a value in the plane coordinate system into an image coordinate system as necessary.

また、上記実施形態では、以前に検出された走行領域の境界の形状(類似道路モデルの形状)が曲線である場合の処理について説明したが、例えば、S520とS530との間で、以前に検出された走行領域の境界の形状が直線であるか曲線であるかを判断し、直線である場合には、S540の処理で、撮像画像中の無限遠点(以前に検出された走行領域の境界における無限遠点)の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。このようにすれば、より簡素な構成で、仮想基準直線を設定することができる。   Further, in the above-described embodiment, the processing in the case where the shape of the boundary of the travel region detected before (the shape of the similar road model) is a curve has been described. For example, the processing previously detected between S520 and S530 is performed. It is determined whether the shape of the boundary of the travel region thus obtained is a straight line or a curve, and if it is a straight line, in the process of S540, a point at infinity in the captured image (boundary of the travel region previously detected) The angle formed by the edge direction with respect to the direction of the virtual reference straight line representing the straight line connecting the position of the infinity point) and the position of the edge component may be calculated. In this way, the virtual reference straight line can be set with a simpler configuration.

また、上記実施形態では、類似道路モデルを生成したが、類似道路モデルを生成することなく、判断用道路モデルのみから仮想基準直線を求めてもよい。この場合S540の処理では、例えば、エッジ成分の位置と等距離に位置する判断用道路モデルの部位において接線方向を求め、この方向とエッジ方向とのなす角によって重み付けを行うようにすればよい。   In the above embodiment, the similar road model is generated. However, the virtual reference straight line may be obtained only from the determination road model without generating the similar road model. In this case, in the process of S540, for example, a tangential direction may be obtained at a portion of the determination road model located at the same distance from the position of the edge component, and weighting may be performed according to the angle formed by this direction and the edge direction.

1…境界検出システム、10…車線境界検出装置、11…CCDカメラ、12…ADC、13…画像メモリ、14…CPU、15…ROM、16…RAM、20…車両制御ECU、17…通信IC。   DESCRIPTION OF SYMBOLS 1 ... Boundary detection system, 10 ... Lane boundary detection apparatus, 11 ... CCD camera, 12 ... ADC, 13 ... Image memory, 14 ... CPU, 15 ... ROM, 16 ... RAM, 20 ... Vehicle control ECU, 17 ... Communication IC.

Claims (6)

車両に搭載され、自車両が走行する走行領域の境界を検出する境界検出装置であって、
自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、前記撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、前記各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算するエッジ方向演算手段と、
前記多数の画素のそれぞれについて、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出するエッジ成分抽出手段と、
各エッジ成分について、予め設定された撮像画像中の無限遠点の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対する前記エッジ方向のなす角を演算する角度演算手段と、
前記なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第1重み付け設定手段と、
前記各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、前記走行領域の境界の端部を検出する端部検出手段と、
を備えたことを特徴とする境界検出装置。
A boundary detection device that is mounted on a vehicle and detects a boundary of a travel region in which the host vehicle travels,
For each of a large number of pixels constituting a captured image obtained by imaging the periphery of the host vehicle, the magnitude of the luminance change between pixels adjacent in the vertical direction of the captured image and the magnitude of the luminance change between pixels adjacent in the horizontal direction are calculated. Edge direction calculating means for calculating an edge direction representing the direction in which the luminance changes the most by detecting and comparing the magnitude of the luminance change in each direction;
For each of the plurality of pixels, an edge component extraction unit that extracts an edge component representing a region where the luminance change between adjacent pixels is equal to or greater than a luminance reference value;
For each edge component, an angle calculation means for calculating an angle formed by the edge direction with respect to a direction of a virtual reference straight line representing a straight line connecting the position of the infinity point in the captured image and the position of the edge component;
First weight setting means for setting a weight for each edge component so that the weight becomes larger as the angle formed becomes closer to a right angle;
By performing image processing in consideration of the weighting set for each edge component, end detection means for detecting the end of the boundary of the travel region;
A boundary detection apparatus comprising:
請求項1に記載の境界検出装置において、
当該境界検出装置は、繰り返し走行領域の境界を検出するよう設定されており、
走行領域の境界が検出される度に、該走行領域の境界の位置にしたがって撮像画像中の新たな無限遠点の位置を検出し、以前の無限遠点の位置を新たな無限遠点の位置に更新する無限遠点更新手段、を備え、
前記角度演算手段は、新たな無限遠点の位置を利用して前記なす角を演算すること
を特徴とする境界検出装置。
The boundary detection apparatus according to claim 1,
The boundary detection device is set to detect the boundary of the traveling region repeatedly,
Each time a boundary of the traveling area is detected, the position of a new infinity point in the captured image is detected according to the position of the boundary of the traveling area, and the position of the previous infinity point is determined as the position of the new infinity point. Infinity point updating means for updating to,
The said angle calculating means calculates the said angle | corner using the position of a new infinity point, The boundary detection apparatus characterized by the above-mentioned.
請求項1または請求項2に記載の境界検出装置において、
以前に検出された走行領域の境界の形状に基づいて、前記撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成する判断用道路モデル生成手段、を備え、
前記角度演算手段は、前記エッジ成分の位置毎に、前記判断用道路モデルのうちの前記エッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、該仮想基準直線の方向に対する前記エッジ方向のなす角を演算すること
を特徴とする境界検出装置。
In the boundary detection apparatus according to claim 1 or 2,
A determination road model generation means for generating a determination road model indicating the shape of the boundary of the travel region expected in the captured image based on the shape of the boundary of the travel region detected previously;
For each position of the edge component, the angle calculation means sets a virtual reference line in a tangential direction at a part corresponding to the position of the edge component in the road model for determination, and A boundary detection device characterized by calculating an angle formed by an edge direction.
請求項3に記載の境界検出装置において、
前記エッジ成分の位置毎に、該エッジ成分の位置を通過し、前記判断用道路モデルを構成する複数のパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成する類似道路モデル生成手段、を備え、
前記角度演算手段は、前記エッジ成分の位置毎に、前記類似道路モデルのうちの前記エッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、該仮想基準直線の方向に対する前記エッジ方向のなす角を演算すること
を特徴とする境界検出装置。
In the boundary detection apparatus according to claim 3,
A similar road model generation unit that generates a similar road model that passes through the position of the edge component for each position of the edge component and that differs only in some of the parameters from the plurality of parameters that form the determination road model; With
The angle calculation means sets, for each position of the edge component, a virtual reference line in a tangential direction in a part corresponding to the position of the edge component in the similar road model, and the edge with respect to the direction of the virtual reference line A boundary detection device characterized by calculating an angle formed by a direction.
請求項4に記載の境界検出装置において、
前記類似道路モデルと前記判断用道路モデルとで異なるパラメータについて、前記類似道路モデルにおける該パラメータの値と、前記判断用道路モデルにおける該パラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第2重み付け設定手段、を備えたこと
を特徴とする境界検出装置。
The boundary detection apparatus according to claim 4,
For parameters that are different between the similar road model and the judgment road model, the value of the parameter in the similar road model is compared with the value of the parameter in the judgment road model, and weighting is performed as the difference decreases. A boundary detection apparatus comprising: a second weight setting unit configured to set a weight for each edge component so that the
コンピュータを請求項1〜請求項5の何れか1項に記載の境界検出装置を構成する各手段として機能させるための境界検出プログラム。   The boundary detection program for functioning a computer as each means which comprises the boundary detection apparatus of any one of Claims 1-5.
JP2011011996A 2011-01-24 2011-01-24 Boundary detection device and boundary detection program Expired - Fee Related JP5472137B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011011996A JP5472137B2 (en) 2011-01-24 2011-01-24 Boundary detection device and boundary detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011011996A JP5472137B2 (en) 2011-01-24 2011-01-24 Boundary detection device and boundary detection program

Publications (2)

Publication Number Publication Date
JP2012155399A JP2012155399A (en) 2012-08-16
JP5472137B2 true JP5472137B2 (en) 2014-04-16

Family

ID=46837099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011011996A Expired - Fee Related JP5472137B2 (en) 2011-01-24 2011-01-24 Boundary detection device and boundary detection program

Country Status (1)

Country Link
JP (1) JP5472137B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132747A1 (en) 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 Object sensing device
CN111832368A (en) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 Training method and device for travelable region detection model and application

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016735B2 (en) * 2001-11-30 2007-12-05 株式会社日立製作所 Lane mark recognition method
JPWO2007138858A1 (en) * 2006-05-25 2009-10-01 日本電気株式会社 Special effect detection device for video, special effect detection method, special effect detection program, and video reproduction device

Also Published As

Publication number Publication date
JP2012155399A (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP6163453B2 (en) Object detection device, driving support device, object detection method, and object detection program
JP6184877B2 (en) Vehicle external recognition device
JP5656732B2 (en) Collision probability computation device and collision probability computation program
US9912933B2 (en) Road surface detection device and road surface detection system
JP6233345B2 (en) Road surface gradient detector
JP5804185B2 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
JP5687702B2 (en) Vehicle periphery monitoring device
US9202106B2 (en) Eyelid detection device
JP5402828B2 (en) Lane boundary detection device, lane boundary detection program
JP6139465B2 (en) Object detection device, driving support device, object detection method, and object detection program
JP6377970B2 (en) Parallax image generation apparatus and parallax image generation method
CN106183979A (en) A kind of method and apparatus vehicle reminded according to spacing
JP6601506B2 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method, image processing program, and vehicle
WO2014168083A1 (en) Boundary line recognition device
JP6396729B2 (en) Three-dimensional object detection device
JP5310027B2 (en) Lane recognition device and lane recognition method
JP6350082B2 (en) Image processing device
JP6936098B2 (en) Object estimation device
JP5304804B2 (en) Boundary detection device and boundary detection program
JP6408935B2 (en) Traveling line recognition device
JP5472137B2 (en) Boundary detection device and boundary detection program
JP5039013B2 (en) Vehicle travel support device, vehicle, vehicle travel support program
JP5345999B2 (en) Lane mark recognition device
JP5760523B2 (en) Runway estimation apparatus and program
JP5958368B2 (en) White line detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5472137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees