JP7068017B2 - Vehicle travel path recognition device and travel control device - Google Patents

Vehicle travel path recognition device and travel control device Download PDF

Info

Publication number
JP7068017B2
JP7068017B2 JP2018077616A JP2018077616A JP7068017B2 JP 7068017 B2 JP7068017 B2 JP 7068017B2 JP 2018077616 A JP2018077616 A JP 2018077616A JP 2018077616 A JP2018077616 A JP 2018077616A JP 7068017 B2 JP7068017 B2 JP 7068017B2
Authority
JP
Japan
Prior art keywords
line
unit
vehicle
edge
paint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018077616A
Other languages
Japanese (ja)
Other versions
JP2019185535A (en
Inventor
俊也 熊野
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018077616A priority Critical patent/JP7068017B2/en
Publication of JP2019185535A publication Critical patent/JP2019185535A/en
Application granted granted Critical
Publication of JP7068017B2 publication Critical patent/JP7068017B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、車両に搭載され、車両周囲の撮像画像から車両の走行路の左右の区画線を算出して、走行路の道路形状を認識する、車両の走行路認識装置及び走行制御装置に関する。 The present disclosure relates to a vehicle travel path recognition device and a travel control device, which are mounted on a vehicle and calculate the left and right lane markings of the vehicle travel path from an image captured around the vehicle to recognize the road shape of the travel path.

この種の走行路認識装置としては、特許文献1に記載のように、車両周囲の撮像画像から、輝度の変化が閾値以上となるエッジ点を抽出し、線状に連続するエッジ点を接続することで、車両の走行路の左右の区画線を算出するように構成された装置が知られている。 As a travel path recognition device of this type, as described in Patent Document 1, edge points whose brightness change is equal to or greater than a threshold value are extracted from an image captured around the vehicle, and edge points that are continuously linearly connected are connected. As a result, a device configured to calculate the left and right lane markings of the vehicle's travel path is known.

また、特許文献1においては、抽出したエッジ点に基づき算出された区画線の数が所定本数を超える場合に、エッジ点の抽出に用いる閾値を変更して、エッジ点の抽出が行われ難くすることが提案されている。つまり、エッジ点抽出用の閾値を変更することで、走行路の左右の区画線をより正確に算出できるようにするのである。 Further, in Patent Document 1, when the number of division lines calculated based on the extracted edge points exceeds a predetermined number, the threshold value used for extracting the edge points is changed to make it difficult to extract the edge points. Has been proposed. That is, by changing the threshold value for edge point extraction, the left and right lane markings of the traveling path can be calculated more accurately.

特開2007-257449号公報Japanese Unexamined Patent Publication No. 2007-257449

しかしながら、撮像画像において、走行路の路面に描画された白線等の線ペイントは、車両から離れた遠方ほど識別し難く、線ペイントの両側で生じる輝度変化も、遠方ほど小さくなる。 However, in the captured image, the line paint such as a white line drawn on the road surface of the traveling road is difficult to identify as the distance from the vehicle increases, and the change in brightness occurring on both sides of the line paint becomes smaller as the distance increases.

また、エッジ点の抽出に用いられる輝度等の画素パラメータは、例えば、天候、走行路周囲の建造物の有無、トンネルの出入り口、線ペイントのかすれ、といった、走行路の環境によって変化する。 In addition, pixel parameters such as brightness used for extracting edge points change depending on the environment of the travel path, such as the weather, the presence or absence of buildings around the travel path, the entrance / exit of a tunnel, and the faintness of line paint.

このため、上記提案のように、エッジ点の抽出に用いる閾値を撮像画像全体で一律に変更したのでは、エッジ点から得られる不要な区画線を除去することはできても、最終的に得られる区画線の距離が短くなることがある。 Therefore, if the threshold value used for extracting the edge points is uniformly changed for the entire captured image as in the above proposal, the unnecessary dividing line obtained from the edge points can be removed, but the final result is obtained. The distance between the lane markings may be shorter.

また、このように、算出された区画線の距離が短くなると、区画線から認識される道路形状の距離も短くなることから、走行路認識装置にて認識された道路形状に従い車両を自動走行させる走行制御装置においては、車両制御を正常に実施できなくなる。 Further, as the calculated distance of the lane marking becomes shorter, the distance of the road shape recognized from the lane marking also becomes shorter. Therefore, the vehicle is automatically driven according to the road shape recognized by the lane marking device. In the travel control device, vehicle control cannot be normally performed.

つまり、車両の走行制御装置においては、走行路認識装置にて認識された道路形状の距離が短くなると、自動走行時の操舵に応答遅れが生じ、車両を安定して走行させることができなくなる、という問題が生じる。そして、この場合には、車両制御をレーンキープのための自動操舵から、運転者による手動操舵に切り替えなければならなくなり、走行制御装置の機能が損なわれる。 That is, in the vehicle travel control device, if the distance of the road shape recognized by the travel path recognition device becomes short, a response delay occurs in steering during automatic driving, and the vehicle cannot be stably traveled. The problem arises. Then, in this case, the vehicle control must be switched from the automatic steering for lane keeping to the manual steering by the driver, and the function of the driving control device is impaired.

本開示の一局面は、車両周囲の撮像画像から走行路の左右の区画線を算出して道路形状を認識する走行路認識装置において、算出可能な区画線の距離を延ばすことが望ましい。 In one aspect of the present disclosure, it is desirable to extend the distance of the lane markings that can be calculated in the lane marking device that recognizes the road shape by calculating the left and right lane markings of the traveling lane from the captured image of the surroundings of the vehicle.

本開示の走行路認識装置は、車両周囲の画像を撮像する撮像部(4)、及び、車両の走行状態を検出するセンサ部(6)、を備えた車両に搭載され、撮像部及びセンサ部から得られた情報を用いて、車両の走行路の形状を認識する装置である。 The travel path recognition device of the present disclosure is mounted on a vehicle including an image pickup unit (4) for capturing an image of the surroundings of the vehicle and a sensor unit (6) for detecting the traveling state of the vehicle, and is mounted on the image pickup unit and the sensor unit. It is a device that recognizes the shape of the traveling path of a vehicle by using the information obtained from.

本開示の一局面の走行路認識装置は、エッジ算出部(12)と、区画線認識部(14)とを備える。
そして、エッジ算出部は、撮像部にて撮像された画像に基づき、その撮像画像上で所定の画素パラメータが所定の基準値以上変化するエッジ点の座標を算出し、区画線認識部は、エッジ算出部の算出結果に基づき、走行路の左右の区画線を認識する。
The travel path recognition device of one aspect of the present disclosure includes an edge calculation unit (12) and a lane marking unit (14).
Then, the edge calculation unit calculates the coordinates of the edge point where the predetermined pixel parameter changes by a predetermined reference value or more on the captured image based on the image captured by the image pickup unit, and the lane marking recognition unit calculates the coordinates of the edge point. Based on the calculation result of the calculation unit, the left and right lane markings of the travel path are recognized.

また、エッジ算出部は、区画線認識部にて認識された区画線の認識距離が短い場合に、認識距離が長くなるよう、エッジ点の座標を算出するのに用いる基準値を変化させる。
このため、本開示の一局面の走行路認識装置によれば、エッジ算出部が撮像画像上のエッジ点を検出するのに用いる、所定の画素パラメータの基準値を変化させることで、区画線認識部にて認識される区画線の認識距離が短くなるのを抑制できる。
Further, the edge calculation unit changes the reference value used for calculating the coordinates of the edge points so that the recognition distance becomes longer when the recognition distance of the division line recognized by the division line recognition unit is short.
Therefore, according to the traveling path recognition device of one aspect of the present disclosure, the lane marking recognition is performed by changing the reference value of a predetermined pixel parameter used by the edge calculation unit to detect the edge point on the captured image. It is possible to prevent the recognition distance of the division line recognized by the unit from becoming short.

よって、本開示の一局面の走行路認識装置によれば、区画線認識部にて認識された走行路の左右の区画線から得られる道路形状の距離が短くなって、その道路形状に従い車両を自動走行させる走行制御装置において制御に異常が生じるのを抑制できる。 Therefore, according to the one-phase traveling path recognition device of the present disclosure, the distance of the road shape obtained from the left and right marking lines of the driving path recognized by the marking line recognition unit is shortened, and the vehicle is driven according to the road shape. It is possible to suppress the occurrence of abnormalities in control in the traveling control device for automatic traveling.

次に、本開示の他の局面の走行路認識装置は、上記一局面の走行路認識装置と同様、エッジ算出部(12)と、区画線認識部(14)を備える。
そして、エッジ算出部は、上記と同様、撮像部にて撮像された画像に基づき、その撮像画像上で所定の画素パラメータが閾値以上変化するエッジ点の座標を算出する。
Next, the travel path recognition device of the other aspect of the present disclosure includes an edge calculation unit (12) and a lane marking unit (14), similarly to the travel path recognition device of the one aspect.
Then, the edge calculation unit calculates the coordinates of the edge point on which the predetermined pixel parameter changes by the threshold value or more on the image captured image based on the image captured by the image pickup unit in the same manner as described above.

一方、区画線認識部は、ペイント抽出部(20)と、線候補算出部(22)と、トレースエッジ部(26)と、を備える。
ここで、ペイント抽出部は、エッジ算出部の算出結果に基づき、走行路の区画線として路面に描画された線ペイントを抽出するよう構成されている。
On the other hand, the division line recognition unit includes a paint extraction unit (20), a line candidate calculation unit (22), and a trace edge unit (26).
Here, the paint extraction unit is configured to extract the line paint drawn on the road surface as a road marking line based on the calculation result of the edge calculation unit.

また、線候補算出部は、ペイント抽出部にて抽出された線ペイントとセンサ部にて検出された車両の走行状態とに基づき、区画線の候補となる線候補を算出するよう構成されている。 Further, the line candidate calculation unit is configured to calculate line candidates that are candidates for lane markings based on the line paint extracted by the paint extraction unit and the running state of the vehicle detected by the sensor unit. ..

また、トレースエッジ部は、エッジ算出部にて算出されたエッジ点の座標に基づき、線候補算出部にて算出された線候補の延伸方向に存在するエッジ点を探索するよう構成されている。 Further, the trace edge portion is configured to search for an edge point existing in the extension direction of the line candidate calculated by the line candidate calculation unit based on the coordinates of the edge point calculated by the edge calculation unit.

そして、線候補算出部は、トレースエッジ部によるエッジ点の探索結果に基づき、線候補の延伸方向に存在するエッジ点を線候補のエッジ点として登録する。
つまり、本開示の走行路認識装置においては、線候補算出部にて線ペイントと車両の走行状態とに基づき算出した線候補の延伸方向に、トレースエッジ部にて探索されたエッジ点が存在する場合に、そのエッジ点を線候補のエッジ点として登録するのである。
Then, the line candidate calculation unit registers the edge points existing in the extending direction of the line candidate as the edge points of the line candidate based on the search result of the edge point by the trace edge unit.
That is, in the travel path recognition device of the present disclosure, there is an edge point searched by the trace edge portion in the extension direction of the line candidate calculated based on the line paint and the traveling state of the vehicle by the line candidate calculation unit. In this case, the edge point is registered as the edge point of the line candidate.

この結果、本開示の走行路認識装置によれば、線候補算出部にて算出される線候補の距離を延ばし、区画線認識部にて認識される区画線の距離が短くなるのを抑制できる。
よって、本開示の走行路認識装置においても、上記一局面の走行路認識装置と同様、区画線認識部にて認識された区画線から得られる道路形状の距離が短くなって、その道路形状に従い車両を自動走行させる走行制御装置において制御に異常が生じるのを抑制できる。
As a result, according to the travel path recognition device of the present disclosure, it is possible to extend the distance of the line candidate calculated by the line candidate calculation unit and suppress the distance of the lane marking recognized by the lane marking unit from becoming short. ..
Therefore, also in the traveling path recognition device of the present disclosure, the distance of the road shape obtained from the marking line recognized by the marking line recognition unit becomes shorter as in the traveling path recognition device of the above-mentioned one aspect, and the road shape is followed. It is possible to suppress the occurrence of abnormalities in the control of the travel control device that automatically drives the vehicle.

次に、本開示の一局面の車両の走行制御装置は、車両周囲の画像を撮像するよう構成された撮像部(4)と、車両の走行状態を検出するよう構成されたセンサ部(6)と、走行路認識部(10)と、制御部(8)とを備える。 Next, the vehicle travel control device of one aspect of the present disclosure includes an image pickup unit (4) configured to capture an image of the surroundings of the vehicle and a sensor unit (6) configured to detect the traveling state of the vehicle. And a travel path recognition unit (10) and a control unit (8).

そして、制御部は、走行路認識部から得られる走行路の形状等の情報に基づき、車両の走行状態を制御するように構成され、走行路認識部は、上述した本開示の一局面若しくは他の局面の走行路認識装置にて構成されている。 The control unit is configured to control the traveling state of the vehicle based on the information such as the shape of the traveling path obtained from the traveling path recognition unit, and the traveling path recognition unit is one aspect of the above-mentioned disclosure or the like. It is composed of a traveling path recognition device in the above phase.

従って、本開示の一局面の車両の走行制御装置によれば、走行路認識部にて認識される走行路の距離が短くなるのを抑制し、走行路認識部にて認識された走行路の形状に従い、車両の走行状態を、応答遅れなく安定して制御することができるようになる。 Therefore, according to the vehicle travel control device of one aspect of the present disclosure, it is possible to suppress the shortening of the distance of the travel path recognized by the travel path recognition unit, and to suppress the distance of the travel path recognized by the travel path recognition unit. According to the shape, the running state of the vehicle can be stably controlled without a response delay.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present invention is defined. It is not limited.

実施形態の車両の走行制御装置全体の構成を表すブロック図である。It is a block diagram which shows the structure of the whole travel control device of the vehicle of an embodiment. 図1に示す走行路認識部の構成を表すブロック図である。It is a block diagram which shows the structure of the traveling path recognition part shown in FIG. エッジ算出部におけるエッジ検出動作を説明する説明図である。It is explanatory drawing explaining the edge detection operation in an edge calculation part. 線候補算出部として実行される線候補算出処理を表すフローチャートである。It is a flowchart which shows the line candidate calculation process executed as a line candidate calculation part. 図4のS150にて実行される除外判定処理を表すフローチャートである。It is a flowchart which shows the exclusion determination process which is executed in S150 of FIG. 図4のS160にて実行される再接続判定処理を表すフローチャートである。It is a flowchart which shows the reconnection determination process executed in S160 of FIG. 図4のS110及びS140における線候補の接続動作を説明する説明図である。It is explanatory drawing explaining the connection operation of the line candidate in S110 and S140 of FIG. 図5に示す除外判定処理による線候補の除外動作を説明する説明図である。It is explanatory drawing explaining the exclusion operation of the line candidate by the exclusion determination process shown in FIG. 実施形態の走行路認識部による区画線の認識結果を従来装置と比較して表す説明図である。It is explanatory drawing which shows the recognition result of the lane marking by the traveling path recognition part of embodiment in comparison with the conventional apparatus. エッジ算出部における基準値更新動作を説明する説明図である。It is explanatory drawing explaining the reference value update operation in an edge calculation part. 図10に示す基準値更新動作を実現するために実行される基準値更新処理を表すフローチャートである。It is a flowchart which shows the reference value update process executed in order to realize the reference value update operation shown in FIG.

以下に本発明の実施形態を図面と共に説明する。
図1に示すように、本実施形態の車両の走行制御装置は、車載カメラ4と、センサ部6と、走行路認識部10と、制御部8と、を備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
As shown in FIG. 1, the vehicle travel control device of the present embodiment includes an in-vehicle camera 4, a sensor unit 6, a travel path recognition unit 10, and a control unit 8.

車載カメラ4は、本開示の撮像部に相当するものであり、車両2において、進行方向前方の画像を撮像するように設置されている。
センサ部6は、車両2の走行状態を検出するためのものであり、車両2の挙動を予測可能とするため、少なくとも、車速を検出する車速センサと、車両2のヨーレートを検出するヨーレートセンサと、を備える。
The in-vehicle camera 4 corresponds to the image pickup unit of the present disclosure, and is installed in the vehicle 2 so as to capture an image in front of the traveling direction.
The sensor unit 6 is for detecting the running state of the vehicle 2, and in order to be able to predict the behavior of the vehicle 2, at least a vehicle speed sensor for detecting the vehicle speed and a yaw rate sensor for detecting the yaw rate of the vehicle 2 , Equipped with.

走行路認識部10は、本開示の走行路認識装置に相当するものであり、車載カメラ4による撮像画像とセンサ部6にて検出された車両の走行状態とに基づき、車両2が走行中の道路(詳しくは走行車線)の左右の区画線を認識する。 The lane recognition unit 10 corresponds to the lane recognition device of the present disclosure, and the vehicle 2 is traveling based on the image captured by the in-vehicle camera 4 and the travel state of the vehicle detected by the sensor unit 6. Recognize the left and right lane markings of the road (more specifically, the driving lane).

つまり、走行路認識部10は、車載カメラ4による撮像画像を処理可能なマイコン若しくはASIC等にて構成されており、撮像画像から走行路(車線)の左右の区画線を認識して、制御部8が車両2を自動走行させるのに必要な道路形状を認識する。 That is, the travel path recognition unit 10 is composed of a microcomputer or an ASIC capable of processing an image captured by the in-vehicle camera 4, recognizes the left and right lane markings of the travel path (lane) from the captured image, and is a control unit. 8 recognizes the road shape required for the vehicle 2 to automatically travel.

そして、制御部8は、走行路認識部10にて認識された道路形状に基づき、例えば、車両を走行路に沿って自動走行させるのに要する操舵量を演算して、車両2に搭載されたステアリング装置の操舵量を制御する、所謂レーンキープ制御を実施する。 Then, the control unit 8 calculates, for example, the steering amount required to automatically drive the vehicle along the travel path based on the road shape recognized by the travel path recognition unit 10, and is mounted on the vehicle 2. So-called lane keeping control, which controls the steering amount of the steering device, is performed.

なお、制御部8は、マイコンにて構成された車両制御用の電子制御装置、所謂ECUである。また、制御部8は、走行路認識部10にて認識された道路形状に基づき、車両の操舵量と駆動力と制動力とを制御することで、車両2を自動走行させる、自動走行制御用のECUであってもよい。これらのレーンキープ制御や自動走行制御は周知であるため、ここでは、制御部8に関する詳細な説明は省略する。 The control unit 8 is a so-called ECU, which is an electronic control device for vehicle control composed of a microcomputer. Further, the control unit 8 is for automatic driving control that automatically drives the vehicle 2 by controlling the steering amount, the driving force, and the braking force of the vehicle based on the road shape recognized by the driving road recognition unit 10. It may be the ECU of. Since these lane-keeping controls and automatic driving controls are well known, detailed description of the control unit 8 will be omitted here.

次に、本開示の主要部となる走行路認識部10について説明する。
図2に示すように、走行路認識部10は、エッジ算出部12、区画線認識部14、及び、道路形状推定部16としての機能を有する。また、区画線認識部14は、ペイント抽出部20、線候補算出部22、線候補選択部24、及び、トレースエッジ部26としての機能を有する。
Next, the travel path recognition unit 10 which is the main part of the present disclosure will be described.
As shown in FIG. 2, the travel path recognition unit 10 has functions as an edge calculation unit 12, a lane marking unit 14, and a road shape estimation unit 16. Further, the division line recognition unit 14 has functions as a paint extraction unit 20, a line candidate calculation unit 22, a line candidate selection unit 24, and a trace edge unit 26.

なお、本実施形態では、走行路認識部10は、CPU、ROM、RAM等を含むマイコンにて構成されており、上記各部の機能は、CPUがROMに記憶された制御プログラムを実行することで、実現されるものとする。 In the present embodiment, the travel path recognition unit 10 is composed of a microcomputer including a CPU, ROM, RAM, etc., and the function of each of the above units is that the CPU executes a control program stored in the ROM. , Should be realized.

ここで、エッジ算出部12は、車載カメラ4にて撮像された撮像画像に基づき、撮像画像上で、画素パラメータとしての輝度が予め設定された基準値以上変化する画素をエッジ点として検出し、その座標を算出する機能ブロックである。 Here, the edge calculation unit 12 detects as an edge point a pixel whose brightness as a pixel parameter changes by a reference value or more set in advance on the captured image based on the captured image captured by the in-vehicle camera 4. It is a functional block that calculates the coordinates.

具体的には、エッジ算出部12は、図3Aに示すように、撮像画像を進行方向に向かって左右方向であるX方向に走査することで、輝度が基準値以上増加方向及び減少方向に変化した点をエッジ点として探索し、探索したエッジ点の座標を求める。 Specifically, as shown in FIG. 3A, the edge calculation unit 12 scans the captured image in the X direction, which is the left-right direction toward the traveling direction, so that the brightness changes in the increasing direction and the decreasing direction by the reference value or more. The specified point is searched as an edge point, and the coordinates of the searched edge point are obtained.

また、エッジ点探索のための走査は、X方向に直行するY方向に走査位置を変化させて順次行い、走査位置毎にエッジ点を探索する。この結果、例えば、走査位置Y1、Y2で、走行路の路面に左右の区画線として描画された白線等の線ペイントが存在する場合には、図3B,図3Cに示すように、各線ペイントの両側でエッジ点が検出されることになる。 Further, the scanning for the edge point search is performed sequentially by changing the scanning position in the Y direction orthogonal to the X direction, and the edge point is searched for each scanning position. As a result, for example, when there is a line paint such as a white line drawn as a left and right dividing line on the road surface of the traveling path at the scanning positions Y1 and Y2, as shown in FIGS. 3B and 3C, the line paint of each line paint is present. Edge points will be detected on both sides.

一方、撮像画像上の線ペイントは、天候、走行路周囲の建造物の有無、トンネルの出入り口、線ペイントのかすれ、といった、走行路の環境によって変化することから、こうした環境変化によって不鮮明となることがある。特に、線ペイントは、車両2から離れる程、幅が細くなるため、不鮮明になり易い。 On the other hand, the line paint on the captured image changes depending on the environment of the road, such as the weather, the presence or absence of buildings around the road, the entrance and exit of the tunnel, and the faint line paint. There is. In particular, the line paint tends to be unclear because the width becomes narrower as the distance from the vehicle 2 increases.

そして、このように、撮像画像上で線ペイントが不鮮明になった場合、線ペイントは、不連続な線のエッジ点として検出され、そのエッジ点は輝度の高い白のエッジ点若しくは輝度の低い黒のエッジ点として認識されるようになる。 Then, when the line paint becomes unclear on the captured image in this way, the line paint is detected as an edge point of a discontinuous line, and the edge point is a white edge point with high brightness or a black with low brightness. Will be recognized as an edge point of.

次に、区画線認識部14は、エッジ算出部12の算出結果に基づき、走行路となる車線の左右の区画線を認識する機能ブロックであり、道路形状推定部16は、区画線認識部14にて認識された左右の区画線と、予め設定されている道路形状モデルとに基づき、走行路の道路形状を推定する機能ブロックである。 Next, the lane marking unit 14 is a functional block that recognizes the left and right lane markings of the lane that is the travel path based on the calculation result of the edge calculation unit 12, and the road shape estimation unit 16 is the lane marking recognition unit 14. It is a functional block that estimates the road shape of the driving path based on the left and right lane markings recognized in the above and the road shape model set in advance.

また、区画線認識部14において、ペイント抽出部20は、エッジ算出部12にて算出されたエッジ点の座標に基づき、走行路の区画線として路面に描画された線ペイントを抽出する機能ブロックである。 Further, in the pavement recognition unit 14, the paint extraction unit 20 is a functional block that extracts line paint drawn on the road surface as a pavement line of a traveling road based on the coordinates of the edge points calculated by the edge calculation unit 12. be.

つまり、ペイント抽出部20は、エッジ算出部12にて算出されたエッジ点の座標から、線状に連続するエッジ点を抽出する。そして、抽出したエッジ点を接続した線の中から、線の間隔が、白線等の線ペイント抽出用として予め設定された許容範囲内で一定若しくは連続的に変化する2本の線を、白線等の線ペイントの左右の境界線として特定し、特定した左右の境界線から線ペイントを抽出する。 That is, the paint extraction unit 20 extracts linearly continuous edge points from the coordinates of the edge points calculated by the edge calculation unit 12. Then, from the lines connecting the extracted edge points, two lines whose line spacing changes constantly or continuously within a predetermined allowable range for line paint extraction such as white lines are defined as white lines or the like. Specify as the left and right borders of the line paint, and extract the line paint from the specified left and right borders.

なお、こうした線ペイントの抽出方法については、特許文献1にも記載されており、周知であるため、ここでは詳細な説明は省略する。
次に、線候補算出部22は、ペイント抽出部20にて抽出された線ペイントに基づき、左右の区画線の候補となる線候補を算出する機能ブロックである。
It should be noted that such a method for extracting line paint is also described in Patent Document 1, and since it is well known, detailed description thereof will be omitted here.
Next, the line candidate calculation unit 22 is a functional block that calculates line candidates that are candidates for the left and right division lines based on the line paint extracted by the paint extraction unit 20.

この線候補算出部22としての機能は、走行路認識部10を構成するCPUが図4に示す線候補算出処理を実行することにより実現される。
すなわち、図4に示すように、線候補算出処理においては、S110にて、既に算出されている線候補から予測線を求め、ペイント抽出部20にて抽出された線ペイントの中から、予測線近傍に位置する線ペイントを選択し、線候補に接続する。
This function as the line candidate calculation unit 22 is realized by the CPU constituting the travel path recognition unit 10 executing the line candidate calculation process shown in FIG.
That is, as shown in FIG. 4, in the line candidate calculation process, the predicted line is obtained from the already calculated line candidate in S110, and the predicted line is obtained from the line paint extracted by the paint extraction unit 20. Select a line paint located nearby and connect it to a line candidate.

なお、予測線は、既に算出される線候補の先端から車両が走行すると予測される予測経路であり、既に算出される線候補の形状と、センサ部6にて検出された車両2の現在の走行状態とに基づき、図7Aに示すように推定される。尚、予測線の推定には、センサ部6にて検出された車速及びヨーレートが使用される。 The predicted line is a predicted route in which the vehicle is predicted to travel from the tip of the already calculated line candidate, and the shape of the already calculated line candidate and the current shape of the vehicle 2 detected by the sensor unit 6 are present. It is estimated as shown in FIG. 7A based on the running condition. The vehicle speed and yaw rate detected by the sensor unit 6 are used for estimating the prediction line.

また、S110においては、予測線から所定範囲LA(例えば0.4m)内、に位置する線ペイントが存在するか否かを判断し、予測線から所定範囲LA内に位置する線ペイントが存在すれば、その線ペイントを線候補に接続する。また、S110において、予測線から所定範囲LA内に位置する線ペイントが存在しない場合には、予測線に基づく線候補の接続は実施しない。 Further, in S110, it is determined whether or not there is a line paint located within a predetermined range LA (for example, 0.4 m) from the predicted line, and there is a line paint located within the predetermined range LA from the predicted line. If so, connect the line paint to the line candidate. Further, in S110, when the line paint located within the predetermined range LA from the predicted line does not exist, the line candidate based on the predicted line is not connected.

また、S110にて、線ペイントを線候補に接続する際には、線ペイントの左右の境界線のうち、一方の境界線、例えば、走行路の内側の境界線、を線候補として、現在の線候補に接続する。 Further, in S110, when connecting the line paint to the line candidate, one of the left and right boundary lines of the line paint, for example, the inner boundary line of the traveling path is used as the line candidate, and the current line candidate is used. Connect to line candidates.

こうして、S110にて、予測線に基づく線ペイントの線候補への接続処理が実施されると、S120に移行し、線候補として接続されている最終の線ペイントから線状に伸びるエッジ点が存在するか否かを判断する。なお、以下の説明において、最終の線ペイントから線状に伸びるエッジ点を、トレースエッジという。 In this way, when the connection process of the line paint based on the predicted line to the line candidate is performed in S110, the process proceeds to S120, and there is an edge point extending linearly from the final line paint connected as the line candidate. Decide whether to do it or not. In the following description, the edge points extending linearly from the final line paint are referred to as trace edges.

このトレースエッジは、線候補算出部22で線候補として接続されている最終の線ペイントと、エッジ算出部12にて検出された撮像画像上のエッジ点とに基づき、トレースエッジ部26にて求められる。 This trace edge is obtained by the trace edge unit 26 based on the final line paint connected as a line candidate by the line candidate calculation unit 22 and the edge points on the captured image detected by the edge calculation unit 12. Be done.

つまり、トレースエッジ部26は、エッジ算出部12にて検出されたエッジ点の中から、線候補の最終の線ペイントから線状に連続するエッジ点を探索することで、図7Aに示すトレースエッジを生成する。 That is, the trace edge portion 26 searches for edge points that are linearly continuous from the final line paint of the line candidate from the edge points detected by the edge calculation unit 12, and thus the trace edge shown in FIG. 7A. To generate.

なお、トレースエッジ部26は、エッジ算出部12で輝度が増加方向に変化したと判定された高輝度(例えば白)のエッジ点同士、或いは、輝度が減少方向に変化したと判定された低輝度(例えば黒)のエッジ点同士を、それぞれ探索する。また、トレースエッジ部26は、輝度又は輝度変化が一定範囲内にあるエッジ点同士を探索する。 The trace edge portion 26 has high-luminance (for example, white) edge points determined by the edge calculation unit 12 to change in the increasing direction, or low-luminance determined to have changed in the decreasing direction. Search for each of the (for example, black) edge points. Further, the trace edge portion 26 searches for edge points whose luminance or luminance change is within a certain range.

このため、トレースエッジは、撮像画像上で、白線、黒線というように色が略一定に見える線、或いは、色が、グレーから黒、白からグレー、というように徐々に変化するように見える線、にて生成されることになる。また、トレースエッジは、撮像画像上で線が不連続であっても、エッジ点が線状に並んでいれば生成される。 For this reason, the trace edge appears to be a line whose color appears to be substantially constant, such as a white line or a black line, or a color that gradually changes from gray to black, white to gray, and the like on the captured image. It will be generated by a line. Further, the trace edge is generated if the edge points are aligned linearly even if the lines are discontinuous on the captured image.

そして、S120では、トレースエッジ部26にて、トレースエッジが生成されると、トレースエッジが存在すると判断して、S130に移行し、トレースエッジが生成されていなければ、S150に移行する。 Then, in S120, when the trace edge is generated in the trace edge portion 26, it is determined that the trace edge exists, and the process proceeds to S130. If the trace edge is not generated, the process proceeds to S150.

次に、S130では、ペイント抽出部20にて抽出された線ペイントの中で、トレースエッジの近傍に位置し、トレースエッジを介して接続可能な線ペイントが存在するか否かを判断する。なお、この判断は、トレースエッジから所定範囲LB(例えば0.2m)内に位置する線ペイントが存在するか否かを判断することで実施される。 Next, in S130, among the line paints extracted by the paint extraction unit 20, it is determined whether or not there is a line paint that is located in the vicinity of the trace edge and can be connected via the trace edge. It should be noted that this determination is performed by determining whether or not there is a line paint located within a predetermined range LB (for example, 0.2 m) from the trace edge.

そして、S130にて、トレースエッジの近傍に線ペイントが存在すると判断されると、S140に移行し、図7Bに例示するように、トレースエッジを介して、トレースエッジ近傍の線ペイントまで線候補を延ばし、その線ペイントに線候補を接続する。 Then, when it is determined in S130 that the line paint exists in the vicinity of the trace edge, the process proceeds to S140, and as illustrated in FIG. 7B, a line candidate is provided to the line paint in the vicinity of the trace edge via the trace edge. Stretch and connect the line candidate to the line paint.

なお、S140では、トレースエッジ近傍に存在すると判断された線ペイントが、予測線から、上記LAよりも大きい所定範囲LC(例えば0.96m)内に存在しない場合には、予測線から大きく外れているので、線候補の接続を実施しない。 In S140, when the line paint determined to exist near the trace edge does not exist within the predetermined range LC (for example, 0.96 m) larger than the LA from the predicted line, the line paint deviates significantly from the predicted line. Therefore, the line candidates are not connected.

そして、S140の処理が実施されるか、或いは、S130にて、トレースエッジ近傍に線ペイントは存在しないと判断された場合には、S150に移行する。
次に、S150では、本開示の線候補除外部としての除外判定処理を実行する。
Then, when the processing of S140 is performed, or when it is determined in S130 that the line paint does not exist in the vicinity of the trace edge, the process proceeds to S150.
Next, in S150, the exclusion determination process as the line candidate exclusion unit of the present disclosure is executed.

図5に示すように、除外判定処理においては、まずS210にて、線候補を構成する線ペイントの中から、車両から最も離れた最終の第1線ペイントP1よりも車両側で1つ手前の第2線ペイントP2を選択する。そして、その選択した第2線ペイントP2の形状に対応したフィッティング係数を算出する。 As shown in FIG. 5, in the exclusion determination process, first, in S210, one of the line paints constituting the line candidates is one before the final first line paint P1 farthest from the vehicle on the vehicle side. Select the second line paint P2. Then, the fitting coefficient corresponding to the shape of the selected second line paint P2 is calculated.

次に、S220では、図8Aに示すように、S210にて算出したフィッティング係数に基づき、第2線ペイントP2から第2線ペイントP2の形状に沿って延伸させた延伸線を求め、この延伸線と第1線ペイントP1との位置ずれ量を算出する。 Next, in S220, as shown in FIG. 8A, an extension line extended along the shape of the second line paint P2 from the second line paint P2 is obtained based on the fitting coefficient calculated in S210, and this extension line is obtained. And the first line paint P1 are calculated.

そして、続くS230では、S220で算出した位置ずれ量が、予め設定された閾値以上であるか否かを判断し、位置ずれ量が閾値以上である場合には、S240に移行して、図8Bに示すように、最終の第1線ペイントP1を線候補から除外する。この結果、線候補は、第2線ペイントP2までに制限されることになる。 Then, in the following S230, it is determined whether or not the misalignment amount calculated in S220 is equal to or greater than the preset threshold value, and if the misalignment amount is equal to or greater than the threshold value, the process proceeds to S240 and FIG. 8B. As shown in, the final first line paint P1 is excluded from the line candidates. As a result, the line candidates are limited to the second line paint P2.

また、S240にて最終の第1線ペイントP1を線候補から除外するか、或いは、S230にて、位置ずれ量は閾値未満であると判断された場合には、当該除外判定処理を終了し、S160に移行する。 Further, if the final first line paint P1 is excluded from the line candidates in S240, or if it is determined in S230 that the amount of misalignment is less than the threshold value, the exclusion determination process is terminated. Move to S160.

なお、線候補算出部22において、上記除外判定処理を実施するのは、本実施形態では、トレースエッジ部26にてトレースエッジを生成して、線候補を延長させるためである。
つまり、トレースエッジ部26にて生成されたトレースエッジに基づき線候補を延長させると、走行路ではない線ペイントが線候補として誤って接続されることが考えられるため、除外判定処理を実施することにより、線候補を誤って延長するのを抑制している。
The reason why the exclusion determination process is performed in the line candidate calculation unit 22 is that, in the present embodiment, the trace edge unit 26 generates a trace edge to extend the line candidate.
That is, if the line candidate is extended based on the trace edge generated by the trace edge portion 26, it is possible that the line paint that is not the running path is erroneously connected as the line candidate. Therefore, the exclusion determination process should be performed. This prevents the line candidate from being accidentally extended.

従って、除外判定部としての除外判定処理を実行することで、車両2の走行路である車線の左右の区画線の認識精度を向上することができる。
次に、S160では、本開示の再接続判定部としての再接続判定処理を実行する。
Therefore, by executing the exclusion determination process as the exclusion determination unit, it is possible to improve the recognition accuracy of the left and right lane markings of the lane which is the traveling path of the vehicle 2.
Next, in S160, the reconnection determination process as the reconnection determination unit of the present disclosure is executed.

図6に示すように、再接続判定処理においては、まず、S310にて、線候補として接続されている線ペイントの位置及び形状に基づき、線候補に沿った走行路の道路形状を求め、線候補から更に伸びる走行路の道路形状を推定する。 As shown in FIG. 6, in the reconnection determination process, first, in S310, the road shape of the road along the line candidate is obtained based on the position and shape of the line paint connected as the line candidate, and the line is lined. Estimate the road shape of the road that extends further from the candidate.

また、続くS320では、S310にて推定した道路形状と、ペイント抽出部20にて抽出された線ペイントのうち、線候補として接続されていない未接続線ペイントと、の位置ずれ量を算出する。 Further, in the following S320, the amount of misalignment between the road shape estimated in S310 and the unconnected line paint that is not connected as a line candidate among the line paints extracted by the paint extraction unit 20 is calculated.

そして、S330にて、S320で算出した位置ずれ量は、予め設定された閾値未満であるか否かを判断することで、推定した道路形状からの位置ずれ量が閾値未満となる未接続線ペイントが存在するか否かを判断する。 Then, in S330, by determining whether or not the misalignment amount calculated in S320 is less than the preset threshold value, the unconnected line paint in which the misalignment amount from the estimated road shape is less than the threshold value. Determine if is present.

S330にて、推定した道路形状からの位置ずれ量が閾値未満となる未接続線ペイントが存在すると判断されると、S340に移行して、その未接続線ペイントを、線候補に接続することで、線候補を延長する。 When it is determined in S330 that there is an unconnected line paint whose position deviation amount from the estimated road shape is less than the threshold value, the process proceeds to S340 and the unconnected line paint is connected to the line candidate. , Extend line candidates.

そして、S340にて、未接続線ペイントを線候補に接続するか、或いは、S330にて、推定した道路形状からの位置ずれ量が閾値未満となる未接続線ペイントは存在しないと判断された場合には、当該再接続判定処理を終了する。 Then, in S340, the unconnected line paint is connected to the line candidate, or in S330, it is determined that there is no unconnected line paint in which the amount of displacement from the estimated road shape is less than the threshold value. Ends the reconnection determination process.

この結果、S310にて推定された走行路の道路形状に対し、位置ずれ量が閾値未満となる未接続線ペイントが存在する場合には、除外判定処理にて線候補から除外されたとしても、未接続線ペイントが線候補に接続されて、線候補が延長されることになる。 As a result, if there is an unconnected line paint whose misalignment amount is less than the threshold value with respect to the road shape of the travel path estimated in S310, even if it is excluded from the line candidates by the exclusion determination process. The unconnected line paint is connected to the line candidate, and the line candidate is extended.

以上説明したように、線候補算出部22では、ペイント抽出部20にて抽出された線ペイントを、車両2の走行状態を考慮して設定した予測線に沿って、順に接続することで、走行路(車線)の左右の区画線の線候補を生成する。 As described above, in the line candidate calculation unit 22, the line paint extracted by the paint extraction unit 20 is connected in order along the prediction line set in consideration of the traveling state of the vehicle 2 to travel. Generate line candidates for the left and right lane markings of the road (lane).

そして、線候補に線ペイントを接続できなくなると、最終の線候補から線状に配置されるエッジ部を探索することで、トレースエッジを生成し、そのトレースエッジの近傍に線ペイントが存在する場合には、その線ペイントを線候補として接続する。従って、本実施形態によれば、トレースエッジを生成しない従来装置に比べ、線候補の距離を長くすることができる。 Then, when the line paint cannot be connected to the line candidate, a trace edge is generated by searching for the edge portion arranged in a line shape from the final line candidate, and the line paint exists in the vicinity of the trace edge. Connect the line paint as a line candidate. Therefore, according to the present embodiment, the distance of the line candidate can be made longer than that of the conventional apparatus that does not generate a trace edge.

また、トレースエッジは、画素パラメータである輝度若しくは輝度変化が所定範囲内となる同系統のエッジ部を探索することで、生成されることから、撮像画像上の白線であっても黒線であっても、トレースエッジとして生成されることになる。 Further, since the trace edge is generated by searching for the edge portion of the same system in which the luminance or the luminance change, which is a pixel parameter, is within a predetermined range, even a white line on the captured image is a black line. However, it will be generated as a trace edge.

そして、トレースエッジ近傍に線ペイントが存在すれば、その線ペイントが線候補として接続されることから、車両2から離れた位置で線ペイントが不鮮明になっていても、不鮮明な線ペイントを線候補として接続して、線候補の距離を延ばすことができる。 If the line paint exists near the trace edge, the line paint is connected as a line candidate. Therefore, even if the line paint is unclear at a position away from the vehicle 2, the unclear line paint is used as the line candidate. Can be connected as to extend the distance of line candidates.

次に、図2に示す線候補選択部24は、線候補算出部22で算出した線候補が、走行路の左側又は右側に複数存在する場合に、その複数の線候補の中から、走行路の左右の区画線となる線候補を選択する、機能ブロックである。 Next, in the line candidate selection unit 24 shown in FIG. 2, when a plurality of line candidates calculated by the line candidate calculation unit 22 exist on the left side or the right side of the travel path, the travel path is selected from the plurality of line candidates. It is a functional block that selects line candidates that will be the left and right lane markings of.

線候補選択部24は、複数の線候補が存在する場合、例えば、車載カメラ4から得られる撮像画像上で輝度が高く鮮明な線候補を選択したり、センサ部6から得られる車両2の進行方向に沿った線候補を選択したりすることで、区画線となる線候補を選択する。 When a plurality of line candidates exist, the line candidate selection unit 24 selects, for example, a high-brightness and clear line candidate on the captured image obtained from the vehicle-mounted camera 4, or the progress of the vehicle 2 obtained from the sensor unit 6. By selecting a line candidate along the direction, a line candidate that becomes a dividing line is selected.

そして、線候補算出部22にて区画線として算出され、線候補選択部24にて区画線として選択された線候補は、走行路の左右の区画線として、区画線認識部14から道路形状推定部16に出力される。 Then, the line candidate calculated as a lane marking by the line candidate calculation unit 22 and selected as the lane marking by the line candidate selection unit 24 is estimated from the lane marking recognition unit 14 as the left and right lane markings of the traveling path. It is output to the unit 16.

従って、図9に示すように、区画線認識部14から道路形状推定部16に出力される左右の区画線の最終端Pel,Perまでの距離は、従来装置に比べて長くなる。そして、道路形状推定部16においては、線候補選択部24から入力される左右の区画線に基づき、走行路の道路形状を推定する。このため、道路形状推定部16にて推定される道路形状の長さも、従来装置に比べて長くなる。 Therefore, as shown in FIG. 9, the distance from the lane marking unit 14 to the final ends Pel and Per of the left and right lane markings output to the road shape estimation unit 16 is longer than that of the conventional device. Then, the road shape estimation unit 16 estimates the road shape of the travel path based on the left and right lane markings input from the line candidate selection unit 24. Therefore, the length of the road shape estimated by the road shape estimation unit 16 is also longer than that of the conventional device.

なお、図9において、図9Aは、従来装置において認識される区画線を表し、図9Bは、本実施形態の区画線認識部14にて認識される区画線を表す。
この図から明らかなように、道路に描画された左右の区画線のうち、連続する白線にて描画された右側の区画線は、1本の線ペイントとして認識されるため、従来装置と本実施形態とでは、認識距離は略同じである。
Note that, in FIG. 9, FIG. 9A represents a lane marking line recognized by the conventional apparatus, and FIG. 9B represents a lane marking line recognized by the lane marking unit 14 of the present embodiment.
As is clear from this figure, of the left and right lane markings drawn on the road, the right lane marking drawn by continuous white lines is recognized as one line paint. In the form, the recognition distance is almost the same.

これに対し、短い白線を所定間隔で描画した左側の区画線は、撮像画像上で、車両から離れる程線ペイントが不鮮明になるので、線候補として接続するのが難しく、従来装置では、認識距離が短くなる。 On the other hand, the left lane markings drawn with short white lines at predetermined intervals are difficult to connect as line candidates because the line paint becomes unclear as the distance from the vehicle increases on the captured image. Becomes shorter.

しかし、本実施形態では、トレースエッジを使って、線ペイントを接続するので、右側の区画線と略同じ認識距離となる。
従って、制御部8が走行路認識部10から出力される道路形状に基づき、レーンキープ制御を実行する際に、走行路認識部10から出力される道路形状の距離が短くなって、例えば、高速走行時に操舵遅れが生じ、車両2の走行が不安定となるのを抑制できる。
However, in the present embodiment, since the line paint is connected by using the trace edge, the recognition distance is substantially the same as the lane marking on the right side.
Therefore, when the control unit 8 executes the lane keep control based on the road shape output from the travel path recognition unit 10, the distance of the road shape output from the travel path recognition unit 10 becomes shorter, for example, high speed. It is possible to prevent the vehicle 2 from becoming unstable due to a steering delay during traveling.

ところで、本実施形態では、線候補算出部22において、ペイント抽出部20にて撮像画像の中から抽出された白線等の線ペイントから、走行路の区画線の候補となる線候補を生成する際に、トレースエッジを利用することで、線候補の距離を延ばすようにしている。 By the way, in the present embodiment, when the line candidate calculation unit 22 generates a line candidate as a candidate for a section line of a travel path from a line paint such as a white line extracted from a captured image by a paint extraction unit 20. In addition, by using the trace edge, the distance of the line candidate is extended.

しかし、線候補は、エッジ算出部12で抽出される撮像画像上のエッジ部に基づき生成され、トレースエッジも、そのエッジ部に基づき生成されることから、エッジ算出部12において、線候補の距離を延ばすには、エッジ部を正確に検出できるようにするとよい。 However, since the line candidate is generated based on the edge portion on the captured image extracted by the edge calculation unit 12 and the trace edge is also generated based on the edge portion, the distance of the line candidate is generated in the edge calculation unit 12. In order to extend the length, it is advisable to enable accurate detection of the edge portion.

つまり、撮像画像において、車両2から遠くに位置する遠方領域では、白線等の線ペイントは不鮮明となり易く、また、天候、走行路周囲の建造物の有無、トンネルの出入り口、線ペイントのかすれ、といった、走行路の環境によっても線ペイントは変化する。 That is, in the captured image, the line paint such as white lines tends to be unclear in a distant region located far from the vehicle 2, and the weather, the presence or absence of buildings around the driving path, the entrance / exit of the tunnel, the faint line paint, etc. , The line paint changes depending on the environment of the road.

例えば、図10Aに示すように、遠方の道路上に影を発生させる橋等の建造物が存在する場合には、建造物の影によって、撮像画像の一部が暗くなり、その暗領域では、画素パラメータである輝度が低下する。 For example, as shown in FIG. 10A, when a building such as a bridge that casts a shadow exists on a distant road, the shadow of the building darkens a part of the captured image, and in the dark area, the image is partially darkened. Luminance, which is a pixel parameter, decreases.

そして、図10Aに示す暗領域のように、遠方領域で輝度変化が小さくなって、輝度変化から白線部分のエッジを検出できなくなると、区画線認識部14にて認識し得る線候補の距離が短くなってしまう。 Then, as in the dark region shown in FIG. 10A, when the luminance change becomes small in the distant region and the edge of the white line portion cannot be detected from the luminance change, the distance of the line candidate that can be recognized by the division line recognition unit 14 is increased. It will be shortened.

そこで、本実施形態では、エッジ算出部12の一機能として、図11に示す基準値更新処理を実行することで、区画線認識部14から出力される区画線の距離が短い場合に、撮像画像の輝度変化からエッジ部を検出するのに用いる基準値を補正するようにしている。 Therefore, in the present embodiment, as one function of the edge calculation unit 12, by executing the reference value update process shown in FIG. 11, when the distance of the division line output from the division line recognition unit 14 is short, the captured image is captured. The reference value used to detect the edge portion is corrected from the change in the brightness of.

すなわち、基準値更新処理においては、まずS410にて、区画線認識部14から道路形状推定部16に出力される左右の区画線の情報を取得し、左右の区画線の認識距離を算出する。 That is, in the reference value update process, first, in S410, the information of the left and right lane markings output from the lane marking recognition unit 14 to the road shape estimation unit 16 is acquired, and the recognition distance of the left and right lane markings is calculated.

次に、S420では、左右の区画線の認識距離の少なくとも一方は、予め設定された閾値以下であるか否かを判断し、認識距離が閾値以下であれば、S430に移行して、エッジ抽出用の基準値を、エッジ点を検出し易い値に変更する。 Next, in S420, it is determined whether or not at least one of the recognition distances of the left and right lane markings is equal to or less than a preset threshold value, and if the recognition distance is equal to or less than the threshold value, the process proceeds to S430 to extract edges. Change the reference value for to a value that makes it easy to detect the edge point.

そして、S430にて、基準値を変更するか、或いは、S420にて、左右の区画線の認識距離は共に基準値よりも大きいと判断された場合には、当該基準値更新処理を終了する。 Then, when the reference value is changed in S430 or when it is determined in S420 that the recognition distances of the left and right lane markings are both larger than the reference value, the reference value update process is terminated.

なお、更新後の基準値は、走行制御装置の動作が停止されるまで保持されるが、例えば、車両2のイグニッションスイッチがオンされ、走行制御装置が起動されると、初期値に設定される。 The updated reference value is held until the operation of the travel control device is stopped. However, for example, when the ignition switch of the vehicle 2 is turned on and the travel control device is activated, it is set to the initial value. ..

この結果、エッジ算出部12においては、図10Bに示すように、区画線の認識距離が短い場合に、撮像画像上で輝度変化が生じた画素をエッジ点として検出するのに用いられる閾値が、初期値である基準閾値から、基準閾値よりも小さい値に補正されることになる。 As a result, in the edge calculation unit 12, as shown in FIG. 10B, when the recognition distance of the dividing line is short, the threshold value used to detect the pixel whose brightness has changed on the captured image as an edge point is set. The reference threshold value, which is the initial value, is corrected to a value smaller than the reference threshold value.

従って、本実施形態のエッジ算出部12においては、車両2の周囲環境によって、区画線の認識距離が短くなった場合に、撮像画像の輝度変化からエッジ点を検出する際の検出感度を調整して、区画線の認識距離を長くすることができる。 Therefore, in the edge calculation unit 12 of the present embodiment, when the recognition distance of the lane marking is shortened due to the surrounding environment of the vehicle 2, the detection sensitivity when detecting the edge point from the change in the brightness of the captured image is adjusted. Therefore, the recognition distance of the lane marking can be lengthened.

よって、本実施形態によれば、エッジ算出部12における基準値の更新動作によっても、区画線の認識距離を長くし、制御部8がレーンキープ制御を実行する際に、走行路認識部10から出力される道路形状の距離が短くなって、操舵遅れが生じるのを抑制できる。 Therefore, according to the present embodiment, the recognition distance of the lane marking is lengthened even by the operation of updating the reference value in the edge calculation unit 12, and when the control unit 8 executes the lane keep control, the travel path recognition unit 10 is used. It is possible to suppress the occurrence of steering delay due to the shortened distance of the output road shape.

以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
例えば、上記実施形態では、図2に示すように、トレースエッジ部26は、線候補算出部22にて線候補として接続される最終の線ペイントから線状に伸びるエッジ点を、トレースエッジとして探索するものとして説明した。
Although the embodiment for carrying out the present invention has been described above, the present invention is not limited to the above-described embodiment and can be variously modified and carried out.
For example, in the above embodiment, as shown in FIG. 2, the trace edge unit 26 searches for an edge point extending linearly from the final line paint connected as a line candidate by the line candidate calculation unit 22 as a trace edge. Explained as what to do.

しかし、線候補算出部22では、線候補選択部24にて区画線として選択されない線候補についても生成されることから、線候補算出部22にて複数の線候補が生成されると、トレースエッジ部26では、各線候補に対しトレースエッジを生成することになる。 However, since the line candidate calculation unit 22 also generates line candidates that are not selected as lane markings by the line candidate selection unit 24, when a plurality of line candidates are generated by the line candidate calculation unit 22, the trace edge In part 26, a trace edge is generated for each line candidate.

そこで、図2に点線矢印で示すように、トレースエッジ部26には、線候補選択部24にて区画線として選択された左右の線候補を入力し、各区画線から線状に延びるエッジ点だけをトレースエッジとして探索するようにしてもよい。 Therefore, as shown by the dotted arrow in FIG. 2, the left and right line candidates selected as the dividing line by the line candidate selection unit 24 are input to the trace edge portion 26, and the edge points extending linearly from each dividing line. You may want to search only as a trace edge.

このようにすれば、走行路認識部10において、トレースエッジ部26としての機能を実現するためにCPUにて実行される処理負荷を軽減することができるようになる。
また、上記実施形態では、エッジ算出部12にて撮像画像からエッジ部を抽出する際には、画素パラメータとして輝度を利用し、輝度変化からエッジ部を検出するものとして説明した。しかし、エッジ部を抽出するのに用いる画素パラメータは、路面に描画された白線等、線ペイントによって変化する画素値であればよく、必ずしも輝度を利用する必要はない。
By doing so, it becomes possible to reduce the processing load executed by the CPU in order to realize the function as the trace edge portion 26 in the travel path recognition unit 10.
Further, in the above embodiment, when the edge calculation unit 12 extracts the edge portion from the captured image, the luminance is used as a pixel parameter, and the edge portion is detected from the change in luminance. However, the pixel parameter used to extract the edge portion may be a pixel value that changes depending on the line paint, such as a white line drawn on the road surface, and it is not always necessary to use the luminance.

また、上記実施形態では、走行路認識装置としての走行路認識部10は、マイコンにて構成されており、図2に示す機能は、CPUがROMに記憶された制御プログラムを実行することで、実現されるものとして説明した。 Further, in the above embodiment, the travel path recognition unit 10 as the travel path recognition device is configured by a microcomputer, and the function shown in FIG. 2 is that the CPU executes a control program stored in the ROM. Explained as being realized.

しかし、例えば、トレースエッジ部26等、CPUの処理負荷が高くなる一部の機能については、ASIC等の専用回路にて構成してもよいし、全ての機能を、ASIC等の専用回路にて構成してもよい。 However, for example, some functions such as the trace edge portion 26 that increase the processing load of the CPU may be configured by a dedicated circuit such as an ASIC, or all the functions may be configured by a dedicated circuit such as an ASIC. It may be configured.

また、上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 Further, a plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified only by the wording described in the claims are embodiments of the present invention.

2…車両、4…車載カメラ、6…センサ部、8…制御部、10…走行路認識部、12…エッジ算出部、14…区画線認識部、16…道路形状推定部、20…ペイント抽出部、22…線候補算出部、24…線候補選択部、26…トレースエッジ部。 2 ... Vehicle, 4 ... In-vehicle camera, 6 ... Sensor unit, 8 ... Control unit, 10 ... Travel path recognition unit, 12 ... Edge calculation unit, 14 ... Compartment line recognition unit, 16 ... Road shape estimation unit, 20 ... Paint extraction Unit, 22 ... Line candidate calculation unit, 24 ... Line candidate selection unit, 26 ... Trace edge unit.

Claims (11)

車両周囲の画像を撮像する撮像部(4)、及び、車両の走行状態を検出するセンサ部(6)、を備えた車両(2)に搭載され、前記車両の走行時に、前記撮像部及び前記センサ部から得られた情報を用いて、車両の走行路の形状を認識する車両の走行路認識装置(10)であって、
前記撮像部にて撮像された画像に基づき、該画像上で所定の画素パラメータが所定の基準値以上変化するエッジ点の座標を算出するよう構成されたエッジ算出部(12)と、
前記エッジ算出部の算出結果に基づき、前記走行路の左右の区画線を認識するよう構成された区画線認識部(14)と、
を備え、前記エッジ算出部は、前記区画線認識部にて認識された前記区画線の認識距離が短い場合に、該認識距離が長くなるよう、前記エッジ点の座標を算出するのに用いる前記基準値を変化させるように構成されている、車両の走行路認識装置。
It is mounted on a vehicle (2) provided with an image pickup unit (4) for capturing an image of the surroundings of the vehicle and a sensor unit (6) for detecting the traveling state of the vehicle. It is a vehicle travel path recognition device (10) that recognizes the shape of the vehicle travel path by using the information obtained from the sensor unit.
An edge calculation unit (12) configured to calculate the coordinates of an edge point at which a predetermined pixel parameter changes by a predetermined reference value or more on the image based on the image captured by the image pickup unit.
Based on the calculation result of the edge calculation unit, the division line recognition unit (14) configured to recognize the left and right division lines of the travel path, and the division line recognition unit (14).
The edge calculation unit is used to calculate the coordinates of the edge point so that the recognition distance becomes longer when the recognition distance of the division line recognized by the division line recognition unit is short. A vehicle track recognition device configured to change the reference value.
車両周囲の画像を撮像する撮像部(4)、及び、車両の走行状態を検出するセンサ部(6)、を備えた車両(2)に搭載され、前記車両の走行時に、前記撮像部及び前記センサ部から得られた情報を用いて、車両の走行路の形状を認識する車両の走行路認識装置(10)であって、
前記撮像部にて撮像された画像に基づき、該画像上で所定の画素パラメータが所定の基準値以上変化するエッジ点の座標を算出するよう構成されたエッジ算出部(12)と、
前記エッジ算出部の算出結果に基づき、前記走行路の左右の区画線を認識するよう構成された区画線認識部(14)と、
を備え、
前記区画線認識部は、
前記エッジ算出部の算出結果に基づき、前記走行路の区画線として路面に描画された線ペイントを抽出するよう構成されたペイント抽出部(20)と、
前記ペイント抽出部にて抽出された前記線ペイントと前記センサ部にて検出された前記走行状態とに基づき、前記区画線の候補となる線候補を算出するよう構成された線候補算出部(22)と、
前記エッジ算出部にて算出された前記エッジ点の座標に基づき、前記線候補算出部にて算出された前記線候補の延伸方向に存在するエッジ点を探索するよう構成されたトレースエッジ部(26)と、
を備え、前記線候補算出部は、前記トレースエッジ部による前記エッジ点の探索結果に基づき、前記線候補の延伸方向に存在する前記エッジ点を前記線候補のエッジ点として登録するよう構成されており、
前記エッジ算出部は、前記区画線認識部にて認識された前記区画線の認識距離が短い場合に、該認識距離が長くなるよう、前記エッジ点の座標を算出するのに用いる前記基準値を変化させるように構成されている、車両の走行路認識装置。
It is mounted on a vehicle (2) provided with an image pickup unit (4) for capturing an image of the surroundings of the vehicle and a sensor unit (6) for detecting the traveling state of the vehicle. It is a vehicle travel path recognition device (10) that recognizes the shape of the vehicle travel path by using the information obtained from the sensor unit.
An edge calculation unit (12) configured to calculate the coordinates of an edge point at which a predetermined pixel parameter changes by a predetermined reference value or more on the image based on the image captured by the image pickup unit.
Based on the calculation result of the edge calculation unit, the division line recognition unit (14) configured to recognize the left and right division lines of the travel path, and the division line recognition unit (14).
Equipped with
The lane marking recognition unit is
Based on the calculation result of the edge calculation unit, the paint extraction unit (20) configured to extract the line paint drawn on the road surface as the dividing line of the traveling road, and the paint extraction unit (20).
A line candidate calculation unit (22) configured to calculate line candidates that are candidates for the division line based on the line paint extracted by the paint extraction unit and the traveling state detected by the sensor unit. )When,
A trace edge portion (26) configured to search for an edge point existing in the extension direction of the line candidate calculated by the line candidate calculation unit based on the coordinates of the edge point calculated by the edge calculation unit. )When,
The line candidate calculation unit is configured to register the edge points existing in the extending direction of the line candidate as the edge points of the line candidate based on the search result of the edge point by the trace edge unit. Ori,
The edge calculation unit uses the reference value used to calculate the coordinates of the edge point so that the recognition distance becomes longer when the recognition distance of the division line recognized by the division line recognition unit is short. A vehicle track recognition device that is configured to change .
前記線候補算出部は、
前記トレースエッジ部による前記エッジ点の探索結果と前記ペイント抽出部にて抽出された線ペイントとに基づき、前記トレースエッジ部にて探索されたエッジ点にて接続可能な線ペイントが存在するか否かを判断し、接続可能な線ペイントが存在する場合に、前記トレースエッジ部にて探索された前記エッジ点を前記線候補のエッジ点として登録するよう構成されている、請求項2に記載の車両の走行路認識装置。
The line candidate calculation unit
Whether or not there is a line paint that can be connected at the edge point searched by the trace edge portion based on the search result of the edge point by the trace edge portion and the line paint extracted by the paint extraction unit. The second aspect of the present invention, wherein the edge point searched by the trace edge portion is registered as the edge point of the line candidate when the line paint to be connected is present. Vehicle travel path recognition device.
前記トレースエッジ部は、
前記エッジ算出部にて前記画素パラメータが増加方向に変化したと判定された前記エッジ点及び前記画素パラメータが減少方向に変化したと判定された前記エッジ点をそれぞれ一つの線として探索するように構成されている、請求項2又は請求項3に記載の車両の走行路認識装置。
The trace edge portion is
The edge calculation unit is configured to search for the edge point determined to have changed in the increasing direction and the edge point determined to have changed in the decreasing direction as one line. The vehicle path recognition device according to claim 2 or 3 .
前記トレースエッジ部は、
前記エッジ算出部にて算出された前記エッジ点のうち、前記画素パラメータ若しくは前記画素パラメータの変化が一定範囲内にあるエッジ点を一つの線として探索するように構成されている、請求項2~請求項4の何れか1項に記載の車両の走行路認識装置。
The trace edge portion is
2. To claim 2, among the edge points calculated by the edge calculation unit, the edge points whose pixel parameters or changes in the pixel parameters are within a certain range are searched for as one line. The vehicle travel path recognition device according to any one of claims 4 .
前記線候補算出部は、
前記線候補を算出するのに用いた前記線ペイントの内、前記車両から最も離れた第1線ペイントよりも1つ手前の第2線ペイントから、該第2線ペイントの形状に沿って延伸させた延伸線を求め、該延伸線に対する前記第1線ペイントの位置ずれ量が所定値以上である場合に、前記第1線ペイントを前記線候補から除外するように構成された線候補除外部(22,S150)、
を備えている請求項2~請求項5の何れか1項に記載の車両の走行路認識装置。
The line candidate calculation unit
Of the line paints used to calculate the line candidates, the second line paint one before the first line paint farthest from the vehicle is stretched along the shape of the second line paint. A line candidate exclusion unit configured to exclude the first line paint from the line candidates when the drawn line is obtained and the amount of misalignment of the first line paint with respect to the drawn line is equal to or more than a predetermined value. 22, S150),
The vehicle travel path recognition device according to any one of claims 2 to 5 .
前記線候補算出部は、
前記線候補を構成する複数の線ペイントから車両進行方向の道路形状を推定し、該推定した道路形状と、前記ペイント抽出部にて抽出された前記線ペイントのうち前記線候補として接続されていない未接続線ペイントとの位置ずれ量を求め、該位置ずれ量が所定値未満の未接続線ペイントを、前記線候補として接続するように構成された再接続判定部(22,S160)、
を備えている請求項2~請求項6の何れか1項に記載の車両の走行路認識装置。
The line candidate calculation unit
The road shape in the vehicle traveling direction is estimated from the plurality of line paints constituting the line candidate, and the estimated road shape and the line paint extracted by the paint extraction unit are not connected as the line candidate. A reconnection determination unit (22, S160) configured to determine the amount of misalignment with the unconnected line paint and to connect the unconnected line paint having the misalignment amount less than a predetermined value as the line candidate.
The vehicle travel path recognition device according to any one of claims 2 to 6 .
前記区画線認識部において、前記線候補算出部にて前記区画線の候補として複数の線候補が算出されている場合に、前記撮像部及び前記センサ部からの情報に基づき、前記複数の線候補の中から前記区画線となる線候補を選択するよう構成された線候補選択部(24)と、
前記線候補算出部にて算出され、前記線候補選択部にて選択された、前記区画線の線候補に基づき、前記走行路の道路形状を推定するよう構成された道路形状推定部(16)と、
を備えている、請求項2~請求項7の何れか1項に記載の車両の走行路認識装置。
When a plurality of line candidates are calculated as candidates for the lane marking in the lane marking recognition unit, the plurality of line candidates are calculated based on the information from the imaging unit and the sensor unit. A line candidate selection unit (24) configured to select a line candidate to be the division line from among the above, and a line candidate selection unit (24).
A road shape estimation unit (16) calculated by the line candidate calculation unit and selected by the line candidate selection unit to estimate the road shape of the travel path based on the line candidates of the lane marking line. When,
2. The vehicle travel path recognition device according to any one of claims 2 to 7 .
前記トレースエッジ部は、前記線候補選択部にて前記区画線として選択された前記線候補の延伸方向に存在するエッジ点を探索するよう構成されている、請求項8に記載の車両の走行路認識装置。 The travel path of the vehicle according to claim 8 , wherein the trace edge portion is configured to search for an edge point existing in the extending direction of the line candidate selected as the section line by the line candidate selection section. Recognition device. 車両周囲の画像を撮像するよう構成された撮像部(4)と、
車両の走行状態を検出するよう構成されたセンサ部(6)と、
前記撮像部及び前記センサ部から得られた情報を用いて、車両の走行路の形状を認識するよう構成された走行路認識部(10)と、
前記走行路認識部から得られる情報に基づき、前記車両の走行状態を制御するよう構成された制御部(8)と、
を備え、前記走行路認識部は、請求項1~請求項9の何れか1項に記載の走行路認識装置にて構成されている、車両の走行制御装置。
An image pickup unit (4) configured to capture an image of the surroundings of the vehicle, and
A sensor unit (6) configured to detect the running state of the vehicle, and
A traveling path recognition unit (10) configured to recognize the shape of the traveling path of the vehicle by using the information obtained from the image pickup unit and the sensor unit.
A control unit (8) configured to control the traveling state of the vehicle based on the information obtained from the traveling road recognition unit, and a control unit (8).
The travel path recognition unit is a vehicle travel control device including the travel path recognition device according to any one of claims 1 to 9 .
前記制御部は、前記走行路認識部にて認識された前記走行路の形状に基づき、車両の操舵量を制御するよう構成されている、請求項10に記載の車両の走行制御装置。 The travel control device for a vehicle according to claim 10 , wherein the control unit is configured to control the steering amount of the vehicle based on the shape of the travel path recognized by the travel path recognition unit.
JP2018077616A 2018-04-13 2018-04-13 Vehicle travel path recognition device and travel control device Active JP7068017B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018077616A JP7068017B2 (en) 2018-04-13 2018-04-13 Vehicle travel path recognition device and travel control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018077616A JP7068017B2 (en) 2018-04-13 2018-04-13 Vehicle travel path recognition device and travel control device

Publications (2)

Publication Number Publication Date
JP2019185535A JP2019185535A (en) 2019-10-24
JP7068017B2 true JP7068017B2 (en) 2022-05-16

Family

ID=68341432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018077616A Active JP7068017B2 (en) 2018-04-13 2018-04-13 Vehicle travel path recognition device and travel control device

Country Status (1)

Country Link
JP (1) JP7068017B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309023A (en) * 2020-03-03 2020-06-19 西安交通大学 Lane keeping control system and method based on all-round vision image and machine vision
CN115253356B (en) * 2021-04-30 2023-12-22 合肥福彻工业科技有限公司 Distillation column control system and method based on edge calculation technology and distillation column system
CN114550415B (en) * 2022-01-28 2022-09-06 交通运输部公路科学研究所 Large vehicle lane-level accurate management and control method and system based on vehicle-road cooperation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257449A (en) 2006-03-24 2007-10-04 Toyota Motor Corp Road division line detector
JP2014123301A (en) 2012-12-21 2014-07-03 Toyota Motor Corp White line detection device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257449A (en) 2006-03-24 2007-10-04 Toyota Motor Corp Road division line detector
JP2014123301A (en) 2012-12-21 2014-07-03 Toyota Motor Corp White line detection device

Also Published As

Publication number Publication date
JP2019185535A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
JP5276637B2 (en) Lane estimation device
JP7027738B2 (en) Driving support device
JP6220327B2 (en) Traveling lane marking recognition device, traveling lane marking recognition program
US8477999B2 (en) Road division line detector
JP4697101B2 (en) Vehicle detection device and light control device
US10870450B2 (en) Vehicle control apparatus
US10127460B2 (en) Lane boundary line information acquiring device
JP6363518B2 (en) Lane marking recognition system
JP7068017B2 (en) Vehicle travel path recognition device and travel control device
JP4744537B2 (en) Driving lane detector
CN110991214A (en) Lane line recognition device
JP5884635B2 (en) Driving environment detection device, driving environment detection program, and light control device
US8160300B2 (en) Pedestrian detecting apparatus
JP2007220013A (en) Device for detecting white line for vehicle
JP2018005618A (en) Road recognition device
JP2018181093A (en) Mark line recognition device
JP6408935B2 (en) Traveling line recognition device
JP2010061375A (en) Apparatus and program for recognizing object
JP4997191B2 (en) Device for assisting parking
US11170235B2 (en) Image processing device and image processing method
JP2007299045A (en) Lane recognition device
US10906540B2 (en) Vehicle control apparatus
JP5559650B2 (en) Lane estimation device
JP2017123009A (en) Section line recognition device
JP6200780B2 (en) Lane recognition determination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220428

R150 Certificate of patent or registration of utility model

Ref document number: 7068017

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150