JP2018112989A - Driving assist device and driving assist method - Google Patents

Driving assist device and driving assist method Download PDF

Info

Publication number
JP2018112989A
JP2018112989A JP2017004559A JP2017004559A JP2018112989A JP 2018112989 A JP2018112989 A JP 2018112989A JP 2017004559 A JP2017004559 A JP 2017004559A JP 2017004559 A JP2017004559 A JP 2017004559A JP 2018112989 A JP2018112989 A JP 2018112989A
Authority
JP
Japan
Prior art keywords
lane mark
mark candidate
candidate
lane
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017004559A
Other languages
Japanese (ja)
Other versions
JP6832164B2 (en
Inventor
麻衣子 足立
Maiko ADACHI
麻衣子 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017004559A priority Critical patent/JP6832164B2/en
Publication of JP2018112989A publication Critical patent/JP2018112989A/en
Application granted granted Critical
Publication of JP6832164B2 publication Critical patent/JP6832164B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a driving assist device and a driving assist method, capable of automatic driving suitable for a plan of a vehicle traveling passage by interpolating a virtual line between a detected depth-side lane mark candidate and a near-side lane mark candidate, for example, thereby setting a virtual lane mark with high precision at an intersection.SOLUTION: The driving assist device includes: a specific scene detection unit 202 for detecting a specific scene 208 in which a far-side and a near-side lane mark candidates exist at an interval of a predetermined distance or more on a camera image 206; and a first interpolation processing unit 204A for interpolating between the far-side and the near-side lane mark candidates on the basis of detection of the specific scene 208.SELECTED DRAWING: Figure 3

Description

本発明は、運転者の運転操作を補助する運転補助装置及び運転補助方法に関する。   The present invention relates to a driving assistance device and a driving assistance method for assisting a driving operation of a driver.

特許文献１では、交差点が存在しても、より効果的に白線を検出することができる白線検出装置を提供することを課題としている。   In patent document 1, even if an intersection exists, it makes it the subject to provide the white line detection apparatus which can detect a white line more effectively.

当該課題を解決するため、特許文献１に係る白線検出装置は、車両の前方の路面を撮像する撮像手段と、撮像された画像に基づいて交差点を検出する検出手段と、路面の白線を検出する白線検出を行う白線検出手段と、交差点が存在する場合に白線検出の直線近似領域探索に用いられる複数の閾値のうち少なくともいずれかの設定を行う設定手段とを含む。   In order to solve the problem, the white line detection device according to Patent Document 1 detects an imaging unit that images a road surface ahead of the vehicle, a detection unit that detects an intersection based on the captured image, and a white line on the road surface. White line detection means for performing white line detection; and setting means for setting at least one of a plurality of threshold values used for a straight line approximate area search for white line detection when an intersection exists.

特開２０１４−１４９６３６号公報JP 2014-149636 A

特許文献１では、白線のエッジが検出されて、交差点として認識した場合に、交差点手前側の白線のエッジから遠方に近似直線を延ばし、閾値の感度を低下させて、近似直線上の遠方の白線領域（白線のエッジ）を探索するようにしている。   In Patent Document 1, when an edge of a white line is detected and recognized as an intersection, an approximate straight line is extended far from the edge of the white line on the near side of the intersection, the threshold sensitivity is lowered, and a far white line on the approximate line is reduced. The region (the edge of the white line) is searched.

しかしながら、閾値の感度を低下させて白線のエッジを探索することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマーク候補を正しく認識することも困難である。   However, since the white line edge is searched by reducing the sensitivity of the threshold, another object or dirt on the road is detected as the white line edge far from the intersection, or the right white line edge on the near side, There is a risk of connecting the white line edge on the left side on the back side with an approximate straight line. At an intersection or the like, the length of the extracted lane mark candidate is short, and it is difficult to correctly recognize the lane mark candidate on the near side.

本発明は上述した問題を解決するためになされたものであり、検知した手前側レーンマーク候補と奥側のレーンマーク候補との間を補間することで、例えば交差点に仮想のレーンマークを精度良く設定することができ、自車移動経路の計画に応じた好適な自動運転を可能とする運転補助装置及び運転補助方法を提供することを目的とする。   The present invention has been made to solve the above-described problem, and by interpolating between the detected near-side lane mark candidate and the back-side lane mark candidate, for example, a virtual lane mark can be accurately obtained at an intersection. It is an object of the present invention to provide a driving assistance device and a driving assistance method that can be set and enable suitable automatic driving according to the plan of the own vehicle movement route.

［１］ 第１の本発明に係る運転補助装置は、運転者の運転操作を補助する運転補助装置であって、道路上に存在するレーンマークを検知するレーンマーク検知部と、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理する補間処理部とを有することを特徴とする。 [1] A driving assistance device according to the first aspect of the present invention is a driving assistance device that assists a driving operation of a driver, and includes a lane mark detection unit that detects a lane mark present on a road, and a predetermined on an image. Interpolation processing that interpolates between the back lane mark candidate and the near lane mark candidate when a specific scene in which there is a lane mark candidate on each of the back side and the near side with an interval of a distance or more is detected Part.

従来は、手前側の白線を検知し、その後、近似直線上に奥側の白線が検知された場合にレーンマークとして認識することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマークを正しく認識することも困難である。   Conventionally, a white line on the near side is detected and then recognized as a lane mark when a white line on the back side is detected on the approximate straight line, so another object or dirt on the road is distant from the intersection. There is a possibility that it is detected as an edge of a white line, or a white line edge on the right side on the near side and a white line edge on the left side on the far side are connected by an approximate straight line. At an intersection or the like, the length of the extracted lane mark candidate is short in the first place, and it is difficult to correctly recognize the lane mark on the near side.

しかし、第１の本発明では、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理することから、仮想のレーンマークを精度良く設定することができる。つまり、ＥＣＵ等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。   However, in the first aspect of the present invention, when a specific scene in which lane mark candidates exist on the back side and the near side is detected at an interval of a predetermined distance or more on the image, the back lane mark candidate and the near side are detected. Since the interpolation processing is performed between the lane mark candidates, virtual lane marks can be set with high accuracy. That is, the ECU or the like can recognize the virtual lane mark with high accuracy and with a small load, and enables suitable automatic driving according to the plan of the own vehicle movement route.

［２］ 第１の本発明において、前記補間処理部は、前記奥側のレーンマーク候補と手前側のレーンマーク候補とが前記手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、前記奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理してもよい。 [2] In the first aspect of the present invention, the interpolation processing unit is within a predetermined range at a distance in a direction in which the far-side lane mark candidate and the near-side lane mark candidate are orthogonal to the near-side lane mark candidate. In this case, an interpolation process may be performed between the back lane mark candidate and the near lane mark candidate.

これにより、実際にレーンマークのない、例えば交差点において、仮想の一対のレーンマークを精度良く設定することができ、ＥＣＵ等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。   As a result, a virtual pair of lane marks can be set with high accuracy, for example, at an intersection where there is no actual lane mark, and the ECU or the like can recognize the virtual lane mark with high accuracy and a small load. This makes it possible to perform a suitable automatic driving according to the plan of the own vehicle moving route.

［３］ 第１の本発明において、前記補間処理とは、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補の間に仮想的なレーンマークを設定し、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補を連結することである。 [3] In the first aspect of the present invention, the interpolation processing sets a virtual lane mark between the back side lane mark candidate and the near side lane mark candidate, and the back side lane mark candidate. And lane mark candidates on the near side.

［４］ 第１の本発明において、前記補間処理部は、前記奥側のレーンマーク候補が存在する領域と前記手前側のレーンマーク候補が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結してもよい。 [4] In the first aspect of the present invention, the interpolation processing unit excludes an area between the area where the back lane mark candidate exists and the area where the near lane mark candidate exists, The area on the side and the area on the near side may be connected.

これにより、奥側のレーンマーク候補と手前側のレーンマーク候補とを連結することが可能となるため、センサ等にぶれが生じても、確実に、奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理することができる。   This makes it possible to connect the back lane mark candidate and the near lane mark candidate, so that even if the sensor is shaken, the back lane mark candidate and the near lane mark are surely Interpolation processing can be performed between mark candidates.

たとえ、奥側のレーンマーク候補と手前側のレーンマーク候補とが連結しない場合でも、奥側のレーンマーク候補と手前側のレーンマーク候補との離間距離が短くなることから、センサ等にぶれが生じても、確実に、奥側のレーンマーク候補と手前側のレーンマーク候補との間に仮想のレーンマークを設定することができる。   Even if the back lane mark candidate and the near lane mark candidate are not connected, the distance between the back lane mark candidate and the near lane mark candidate is shortened, so that the sensor or the like is shaken. Even if it occurs, a virtual lane mark can be surely set between the back lane mark candidate and the near lane mark candidate.

［５］ さらに、前記補間処理部は、道路に沿って３以上の複数の領域を設定し、前記間の領域にレーンマークの候補が検出されない場合に、前記補間処理を行ってもよい。 [5] Furthermore, the interpolation processing unit may set a plurality of regions of three or more along a road, and may perform the interpolation processing when no lane mark candidate is detected in the region between the regions.

奥側と手前側でそれぞれレーンマークが存在するシーンとしては、交差点のほか、破線のレーンマークが引かれている車線等がある。破線のレーンマークが引かれた車線は、画像上において破線として描画されるため、ＥＣＵ等はレーンマークとして認識することができる。   As scenes in which lane marks exist on the back side and the near side, there are lanes and the like in which broken lane marks are drawn in addition to intersections. A lane with a broken lane mark drawn is drawn as a broken line on the image, so that the ECU or the like can recognize it as a lane mark.

一方、交差点等においては、実線のレーンマークや破線のレーンマークが引かれていないため、ＥＣＵ等は走行レーンを認識することができない。そこで、３以上の領域のうち、間の領域にレーンマークの候補が検出されない場合、すなわち、破線のレーンマーク等が検出されない場合に補間処理を行うことで、補間処理したレーンマークをそれぞれ仮想的に延長させて長いレーンマークとすることで、仮想のレーンマークとして認識させることができる。   On the other hand, since no solid lane mark or broken lane mark is drawn at an intersection or the like, the ECU or the like cannot recognize the traveling lane. Therefore, when no lane mark candidate is detected in the area between the three or more areas, that is, when a dashed lane mark or the like is not detected, the interpolation processing is performed so that each of the interpolated lane marks is virtual. By extending the lane mark to a long lane mark, it can be recognized as a virtual lane mark.

すなわち、補間処理を実施しなくてもよい場面で、補間処理を実施するという無駄を省くことができ、ＥＣＵ等による認識負荷を抑えることができ、タイムラグの無い認識を行うことができる。   That is, in a scene where the interpolation process need not be performed, waste of performing the interpolation process can be eliminated, the recognition load by the ECU or the like can be suppressed, and recognition without a time lag can be performed.

［６］ 第１の本発明において、前記特定シーンは交差点であってもよい。交差点においては、実線のレーンマークや破線のレーンマークが引かれていないため、ＥＣＵ等は走行レーンを認識することができない。そこで、上述の補間処理を行うことで、交差点において、仮想のレーンマークとして認識させることができる。 [6] In the first aspect of the present invention, the specific scene may be an intersection. Since no solid lane mark or broken lane mark is drawn at the intersection, the ECU or the like cannot recognize the traveling lane. Therefore, by performing the above-described interpolation processing, it can be recognized as a virtual lane mark at the intersection.

［７］ 第２の本発明に係る運転補助方法は、運転者の運転操作を補助する運転補助方法であって、画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマークが存在する特定シーンを検知するステップと、前記特定シーンの検知に基づいて、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理するステップとを有することを特徴とする。 [7] The driving assistance method according to the second aspect of the present invention is a driving assistance method for assisting the driving operation of the driver, and has a lane mark on the back side and the near side at intervals of a predetermined distance or more on the image. And a step of interpolating between the rear lane mark candidate and the near lane mark candidate based on the detection of the specific scene. .

本発明に係る運転補助装置及び運転補助方法によれば、例えば交差点等に仮想のレーンマークを精度良く設定することができ、自車移動経路の計画に応じた好適な自動運転を可能とすることができる。   According to the driving assistance device and the driving assistance method according to the present invention, for example, virtual lane marks can be accurately set at intersections and the like, and it is possible to perform suitable automatic driving according to the plan of the own vehicle movement route. Can do.

本実施の形態に係る運転補助装置としての走行電子制御装置を含む車両の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle containing the driving | running | working electronic control apparatus as a driving assistance device which concerns on this Embodiment. 自動運転制御の全体的な流れを示すフローチャートである。It is a flowchart which shows the whole flow of automatic operation control. 第１周辺監視部の構成、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御に関する機能ブロック図である。It is a functional block diagram regarding the periphery monitoring control regarding the configuration of the first periphery monitoring unit, mainly recognition of intersections, etc., and interpolation of virtual lane marks to intersections. 図４Ａはカメラ画像中の特定シーンの画像の一例を示す説明図であり、図４Ｂは特定シーンを鳥瞰図（ＢＥＶ：バードアイビュー）の画像（以下、ＢＥＶ画像と記す）に変換した一例を示す説明図である。4A is an explanatory diagram showing an example of an image of a specific scene in the camera image, and FIG. 4B is an explanatory diagram showing an example of converting the specific scene into a bird's eye view (BEV: bird eye view) image (hereinafter referred to as a BEV image). FIG. 図５Ａは奥側の第１レーンマーク候補と手前側の第３レーンマーク候補とにおける手前側の第３レーンマーク候補と直交する方向の距離を示す説明図であり、図５Ｂは奥側の第２レーンマーク候補と手前側の第４レーンマーク候補とにおける手前側の第４レーンマーク候補と直交する方向の距離を示す説明図である。FIG. 5A is an explanatory diagram showing the distance in the direction orthogonal to the third lane mark candidate on the near side between the first lane mark candidate on the back side and the third lane mark candidate on the near side, and FIG. It is explanatory drawing which shows the distance of the direction orthogonal to the near 4th lane mark candidate in 2 lane mark candidates and the near 4th lane mark candidate. 図６Ａは第１レーンマーク候補と第３レーンマーク候補とを補間するように仮想の左側レーンマークを設定し、第２レーンマーク候補と第４レーンマーク候補とを補間するように仮想の右側レーンマークを設定した例を示す説明図であり、図６Ｂは交差点内に自車の進行方向に沿って延長する２本のレーンマークが描画された画像の一例を示す説明図である。In FIG. 6A, a virtual left lane mark is set so as to interpolate the first lane mark candidate and the third lane mark candidate, and a virtual right lane is interpolated between the second lane mark candidate and the fourth lane mark candidate. FIG. 6B is an explanatory diagram illustrating an example of an image in which two lane marks extending along the traveling direction of the vehicle are drawn in an intersection. 第１補間処理部の第１処理動作を示すフローチャートである。It is a flowchart which shows the 1st process operation | movement of a 1st interpolation process part. 第１補間処理部の第２処理動作を示すフローチャートである。It is a flowchart which shows the 2nd processing operation of a 1st interpolation process part. 第２周辺監視部の構成、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御に関する機能ブロック図である。It is a functional block diagram regarding the periphery monitoring control regarding the configuration of the second periphery monitoring unit, mainly recognition of intersections and the like, and interpolation of virtual lane marks at intersections and the like. 図１０Ａは特定シーンのＢＥＶ画像を４つの領域に分離した状態を示す説明図であり、図１０Ｂは奥側の領域と手前側の領域を連結した状態を示す説明図である。FIG. 10A is an explanatory diagram illustrating a state in which a BEV image of a specific scene is separated into four regions, and FIG. 10B is an explanatory diagram illustrating a state in which a rear region and a front region are connected. 図１１Ａは第１レーンマーク候補と第３レーンマーク候補とが連結されておらず、第２レーンマーク候補と第４レーンマーク候補とが連結されていない状態を示す説明図であり、図１１Ｂは第１レーンマーク候補と第３レーンマーク候補とを補間するように仮想の左側レーンマークを設定し、第２レーンマーク候補と第４レーンマーク候補とを補間するように仮想の右側レーンマークを設定した例を示す説明図である。FIG. 11A is an explanatory diagram showing a state in which the first lane mark candidate and the third lane mark candidate are not connected, and the second lane mark candidate and the fourth lane mark candidate are not connected. A virtual left lane mark is set to interpolate the first lane mark candidate and the third lane mark candidate, and a virtual right lane mark is set to interpolate the second lane mark candidate and the fourth lane mark candidate. It is explanatory drawing which shows the done example. 第２補間処理部の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of a 2nd interpolation process part.

以下、本発明に係る運転補助装置及び運転補助方法の実施の形態例を図１〜図１２を参照しながら説明する。   Embodiments of a driving assistance device and a driving assistance method according to the present invention will be described below with reference to FIGS.

図１は、本発明の一実施の形態に係る運転補助装置としての走行電子制御装置３６（以下「走行ＥＣＵ３６」という。）を含む車両１０の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of a vehicle 10 including a travel electronic control device 36 (hereinafter referred to as “travel ECU 36”) as a driving assistance device according to an embodiment of the present invention.

車両１０（以下「自車１０」ともいう。）は、走行ＥＣＵ３６に加え、車両周辺センサ群２０と、車体挙動センサ群２２と、運転操作センサ群２４と、通信装置２６と、ヒューマン・マシン・インタフェース２８（以下「ＨＭＩ２８」という。）と、駆動力制御システム３０と、制動力制御システム３２と、電動パワーステアリングシステム３４（以下「ＥＰＳシステム３４」という。）とを有する。   In addition to the travel ECU 36, the vehicle 10 (hereinafter also referred to as “own vehicle 10”) includes a vehicle peripheral sensor group 20, a vehicle body behavior sensor group 22, a driving operation sensor group 24, a communication device 26, a human machine machine. It has an interface 28 (hereinafter referred to as “HMI 28”), a driving force control system 30, a braking force control system 32, and an electric power steering system 34 (hereinafter referred to as “EPS system 34”).

車両周辺センサ群２０は、車両１０の周辺に関する情報（以下「車両周辺情報Ｉｃ」ともいう。）を検出する。車両周辺センサ群２０には、複数の車外カメラ５０と、複数のレーダ５２と、ＬＩＤＡＲ５４（Light Detection And Ranging）と、グローバル・ポジショニング・システム・センサ５６（以下「ＧＰＳセンサ５６」という。）とが含まれる。複数の車外カメラ５０からの各々の撮像画像（以下、カメラ画像２０６と記す）は、それぞれ対応する画像メモリに描画される。もちろん、レーンマークを認識するに当たっては、単一のカメラでもよい。   The vehicle periphery sensor group 20 detects information related to the periphery of the vehicle 10 (hereinafter also referred to as “vehicle periphery information Ic”). The vehicle periphery sensor group 20 includes a plurality of outside cameras 50, a plurality of radars 52, a LIDAR 54 (Light Detection And Ranging), and a global positioning system sensor 56 (hereinafter referred to as “GPS sensor 56”). included. Each captured image (hereinafter referred to as camera image 206) from the plurality of outside cameras 50 is drawn in a corresponding image memory. Of course, a single camera may be used to recognize the lane mark.

複数の車外カメラ５０は、車両１０の周辺（前方、側方及び後方）を撮像した画像情報Ｉｉｍａｇｅを出力する。複数のレーダ５２は、車両１０の周辺（前方、側方及び後方）に送信した電磁波に対する反射波を示すレーダ情報Ｉｒａｄｅｒを出力する。ＬＩＤＡＲ５４は、車両１０の全方位にレーザーを連続的に発射し、その反射波に基づいて反射点の三次元位置を測定して三次元情報Ｉｌｉｄａｒとして出力する。ＧＰＳセンサ５６は、車両１０の現在位置Ｐｃｕｒを検出する。車外カメラ５０、レーダ５２、ＬＩＤＡＲ５４及びＧＰＳセンサ５６は、車両周辺情報Ｉｃを認識する周辺認識装置である。   The plurality of in-vehicle cameras 50 outputs image information Iimage obtained by imaging the periphery (front, side, and rear) of the vehicle 10. The plurality of radars 52 output radar information Irader indicating reflected waves with respect to electromagnetic waves transmitted to the periphery (front, side, and rear) of the vehicle 10. The LIDAR 54 continuously emits a laser in all directions of the vehicle 10, measures the three-dimensional position of the reflection point based on the reflected wave, and outputs it as three-dimensional information Ilidar. The GPS sensor 56 detects the current position Pcur of the vehicle 10. The outside camera 50, the radar 52, the LIDAR 54, and the GPS sensor 56 are peripheral recognition devices that recognize the vehicle peripheral information Ic.

車体挙動センサ群２２は、車両１０（特に車体）の挙動に関する情報（以下「車体挙動情報Ｉｂ」ともいう。）を検出する。車体挙動センサ群２２には、車速センサ６０と、横加速度センサ６２と、ヨーレートセンサ６４とが含まれる。   The vehicle body behavior sensor group 22 detects information related to the behavior of the vehicle 10 (particularly, the vehicle body) (hereinafter also referred to as “vehicle body behavior information Ib”). The vehicle body behavior sensor group 22 includes a vehicle speed sensor 60, a lateral acceleration sensor 62, and a yaw rate sensor 64.

車速センサ６０は、車両１０の車速Ｖ［ｋｍ／ｈ］を検出する。横加速度センサ６２は、車両１０の横加速度Ｇｌａｔ［ｍ／ｓ／ｓ］を検出する。ヨーレートセンサ６４は、車両１０のヨーレートＹｒ［ｒａｄ／ｓ］を検出する。   The vehicle speed sensor 60 detects the vehicle speed V [km / h] of the vehicle 10. The lateral acceleration sensor 62 detects the lateral acceleration Glat [m / s / s] of the vehicle 10. The yaw rate sensor 64 detects the yaw rate Yr [rad / s] of the vehicle 10.

運転操作センサ群２４は、運転者による運転操作に関する情報（以下「運転操作情報Ｉｏ」ともいう。）を検出する。運転操作センサ群２４には、アクセルペダルセンサ８０と、ブレーキペダルセンサ８２と、舵角センサ８４と、操舵トルクセンサ８６とが含まれる。   The driving operation sensor group 24 detects information related to driving operation by the driver (hereinafter also referred to as “driving operation information Io”). The driving operation sensor group 24 includes an accelerator pedal sensor 80, a brake pedal sensor 82, a steering angle sensor 84, and a steering torque sensor 86.

アクセルペダルセンサ８０（以下「ＡＰセンサ８０」ともいう。）は、アクセルペダル９０の操作量θａｐ（以下「ＡＰ操作量θａｐ」ともいう。）［％］を検出する。ブレーキペダルセンサ８２（以下「ＢＰセンサ８２」ともいう。）は、ブレーキペダル９２の操作量θｂｐ（以下「ＢＰ操作量θｂｐ」ともいう。）［％］を検出する。舵角センサ８４は、ステアリングハンドル９４の舵角θｓｔ（以下「操作量θｓｔ」ともいう。）［ｄｅｇ］を検出する。操舵トルクセンサ８６は、ステアリングハンドル９４に加えられた操舵トルクＴｓｔ［Ｎ・ｍ］を検出する。   An accelerator pedal sensor 80 (hereinafter also referred to as “AP sensor 80”) detects an operation amount θap of the accelerator pedal 90 (hereinafter also referred to as “AP operation amount θap”) [%]. The brake pedal sensor 82 (hereinafter also referred to as “BP sensor 82”) detects an operation amount θbp of the brake pedal 92 (hereinafter also referred to as “BP operation amount θbp”) [%]. The steering angle sensor 84 detects the steering angle θst (hereinafter also referred to as “operation amount θst”) [deg] of the steering handle 94. The steering torque sensor 86 detects the steering torque Tst [N · m] applied to the steering handle 94.

通信装置２６は、外部機器との無線通信を行う。ここでの外部機器には、例えば、図示しない交通情報サーバが含まれる。交通情報サーバは、渋滞情報、事故情報、工事情報等の交通情報を各車両１０に対して提供する。あるいは、外部機器には、図示しない経路案内サーバが含まれてもよい。経路案内サーバは、通信装置２６から受信した車両１０の現在位置Ｐｃｕｒ及び目標地点Ｐｇｏａｌに基づいて、目標地点Ｐｇｏａｌまでの予定経路Ｒｖを走行ＥＣＵ３６に代わって生成又は算出する。   The communication device 26 performs wireless communication with an external device. The external device here includes, for example, a traffic information server (not shown). The traffic information server provides traffic information such as traffic jam information, accident information, and construction information to each vehicle 10. Alternatively, the external device may include a route guidance server (not shown). The route guidance server generates or calculates a planned route Rv to the target point Pgoal instead of the travel ECU 36 based on the current position Pcur of the vehicle 10 received from the communication device 26 and the target point Pgoal.

なお、本実施の形態の通信装置２６は、車両１０に搭載（又は常時固定）されているものを想定しているが、例えば、携帯電話機又はスマートフォンのように車両１０の外部へ持ち運び可能なものであってもよい。   In addition, although the communication apparatus 26 of this Embodiment assumes what is mounted (or always fixed) in the vehicle 10, for example, what can be carried out of the vehicle 10 like a mobile telephone or a smart phone. It may be.

ＨＭＩ２８は、乗員からの操作入力を受け付けると共に、乗員に対して各種情報の提示を、視覚的、聴覚的及び触覚的に行う。ＨＭＩ２８には、自動運転スイッチ１１０（以下「自動運転ＳＷ１１０」ともいう。）と、表示部１１２とが含まれる。自動運転ＳＷ１１０は、乗員の操作により自動運転制御の開始及び終了を指令するためのスイッチである。自動運転ＳＷ１１０に加えて又はこれに代えて、その他の方法（図示しないマイクロホンを介しての音声入力等）により自動運転制御の開始又は終了を指令することも可能である。表示部１１２は、例えば、液晶パネル又は有機ＥＬパネルを含む。表示部１１２は、タッチパネルとして構成されてもよい。   The HMI 28 receives an operation input from the occupant and presents various information to the occupant visually, audibly, and tactilely. The HMI 28 includes an automatic operation switch 110 (hereinafter also referred to as “automatic operation SW 110”) and a display unit 112. The automatic operation SW 110 is a switch for instructing the start and end of automatic operation control by the operation of the occupant. In addition to or instead of the automatic operation SW 110, the start or end of the automatic operation control can be instructed by other methods (such as voice input via a microphone (not shown)). The display unit 112 includes, for example, a liquid crystal panel or an organic EL panel. The display unit 112 may be configured as a touch panel.

駆動力制御システム３０は、エンジン１２０（駆動源）及び駆動電子制御装置１２２（以下「駆動ＥＣＵ１２２」という。）を有する。上述のＡＰセンサ８０及びアクセルペダル９０を駆動力制御システム３０の一部として位置付けてもよい。駆動ＥＣＵ１２２は、ＡＰ操作量θａｐ等を用いて車両１０の駆動力制御を実行する。駆動力制御に際し、駆動ＥＣＵ１２２は、エンジン１２０の制御を介して車両１０の走行駆動力Ｆｄを制御する。   The driving force control system 30 includes an engine 120 (drive source) and a drive electronic control device 122 (hereinafter referred to as “drive ECU 122”). The AP sensor 80 and the accelerator pedal 90 described above may be positioned as a part of the driving force control system 30. The drive ECU 122 executes drive force control of the vehicle 10 using the AP operation amount θap and the like. In driving force control, the drive ECU 122 controls the driving force Fd of the vehicle 10 through the control of the engine 120.

制動力制御システム３２は、ブレーキ機構１３０及び制動電子制御装置１３２（以下「制動ＥＣＵ１３２」という。）を有する。上述のＢＰセンサ８２及びブレーキペダル９２を制動力制御システム３２の一部として位置付けてもよい。ブレーキ機構１３０は、ブレーキモータ（又は油圧機構）等によりブレーキ部材を作動させる。   The braking force control system 32 includes a brake mechanism 130 and a braking electronic control device 132 (hereinafter referred to as “braking ECU 132”). The BP sensor 82 and the brake pedal 92 described above may be positioned as a part of the braking force control system 32. The brake mechanism 130 operates a brake member by a brake motor (or a hydraulic mechanism) or the like.

制動ＥＣＵ１３２は、ＢＰ操作量θｂｐ等を用いて車両１０の制動力制御を実行する。制動力制御に際し、制動ＥＣＵ１３２は、ブレーキ機構１３０等の制御を介して車両１０の制動力Ｆｂを制御する。   The braking ECU 132 executes the braking force control of the vehicle 10 using the BP operation amount θbp and the like. In the braking force control, the braking ECU 132 controls the braking force Fb of the vehicle 10 through the control of the brake mechanism 130 and the like.

ＥＰＳシステム３４は、ＥＰＳモータ１４０と、ＥＰＳ電子制御装置１４２（以下「ＥＰＳ−ＥＣＵ１４２」という。）とを有する。上述の舵角センサ８４、操舵トルクセンサ８６及びステアリングハンドル９４をＥＰＳシステム３４の一部として位置付けてもよい。   The EPS system 34 includes an EPS motor 140 and an EPS electronic control unit 142 (hereinafter referred to as “EPS-ECU 142”). The steering angle sensor 84, the steering torque sensor 86, and the steering handle 94 described above may be positioned as a part of the EPS system 34.

ＥＰＳ−ＥＣＵ１４２は、走行ＥＣＵ３６からの指令に応じてＥＰＳモータ１４０を制御して、車両１０の旋回量Ｒを制御する。旋回量Ｒには、舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒが含まれる。   The EPS-ECU 142 controls the EPS motor 140 in accordance with a command from the travel ECU 36 to control the turning amount R of the vehicle 10. The turning amount R includes the steering angle θst, the lateral acceleration Glat, and the yaw rate Yr.

走行ＥＣＵ３６は、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する自動運転制御を実行するものであり、例えば、中央処理装置（ＣＰＵ）を含む。ＥＣＵ３６は、入出力部１５０、演算部１５２及び記憶部１５４を有する。   The traveling ECU 36 performs automatic driving control for driving the vehicle 10 to the target point Pgoal without requiring a driving operation by the driver, and includes, for example, a central processing unit (CPU). The ECU 36 includes an input / output unit 150, a calculation unit 152, and a storage unit 154.

なお、走行ＥＣＵ３６の機能の一部を車両１０の外部に存在する外部機器に担わせることも可能である。例えば、車両１０自体では、後述する行動計画部１７２及び／又は地図データベース１９０を有さず、上記経路案内サーバから予定経路Ｒｖ及び／又は地図情報Ｉｍａｐを取得する構成も可能である。   A part of the function of the traveling ECU 36 can be assigned to an external device existing outside the vehicle 10. For example, the vehicle 10 itself may have a configuration in which the planned route Rv and / or the map information Imap is acquired from the route guidance server without having the action plan unit 172 and / or the map database 190 described later.

入出力部１５０は、ＥＣＵ３６以外の機器（センサ群２０、２２、２４、通信装置２６等）との入出力を行う。入出力部１５０は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。   The input / output unit 150 performs input / output with devices other than the ECU 36 (sensor groups 20, 22, 24, communication device 26, etc.). The input / output unit 150 includes an A / D conversion circuit (not shown) that converts an input analog signal into a digital signal.

演算部１５２は、各センサ群２０、２２、２４、通信装置２６、ＨＭＩ２８及び各ＥＣＵ１２２、１３２、１４２等からの信号に基づいて演算を行う。そして、演算部１５２は、演算結果に基づき、通信装置２６、駆動ＥＣＵ１２２、制動ＥＣＵ１３２及びＥＰＳ−ＥＣＵ１４２に対する信号を生成する。   The computing unit 152 performs computation based on signals from the sensor groups 20, 22, 24, the communication device 26, the HMI 28, the ECUs 122, 132, 142, and the like. And the calculating part 152 produces | generates the signal with respect to the communication apparatus 26, drive ECU122, brake ECU132, and EPS-ECU142 based on a calculation result.

図１に示すように、走行ＥＣＵ３６の演算部１５２は、周辺認識部１７０と、行動計画部１７２と、走行制御部１７４とを有する。これらの各部は、記憶部１５４に記憶されているプログラムを実行することにより実現される。前記プログラムは、通信装置２６を介して外部機器から供給されてもよい。前記プログラムの一部をハードウェア（回路部品）で構成することもできる。   As illustrated in FIG. 1, the calculation unit 152 of the travel ECU 36 includes a periphery recognition unit 170, an action plan unit 172, and a travel control unit 174. Each of these units is realized by executing a program stored in the storage unit 154. The program may be supplied from an external device via the communication device 26. A part of the program can be configured by hardware (circuit parts).

周辺認識部１７０は、車両周辺センサ群２０からの車両周辺情報Ｉｃに基づいて、道路の境界（レーンマークやガードレール、斜面等）及び周辺障害物（他車、静止物体等）を認識する。例えば、道路の境界は、画像情報Ｉｉｍａｇｅに基づいて認識する。周辺認識部１７０は、認識した道路の境界に基づいて車両１０の走行レーンを認識する。   The periphery recognition unit 170 recognizes road boundaries (lane marks, guardrails, slopes, etc.) and surrounding obstacles (other vehicles, stationary objects, etc.) based on the vehicle periphery information Ic from the vehicle periphery sensor group 20. For example, the road boundary is recognized based on the image information Iimage. The periphery recognition unit 170 recognizes the travel lane of the vehicle 10 based on the recognized road boundary.

また、周辺障害物は、画像情報Ｉｉｍａｇｅ、レーダ情報Ｉｒａｄｅｒ及び三次元情報Ｉｌｉｄａｒを用いて認識する。周辺障害物には、他車（他車等）等の移動物体と、建物、標識（例えば信号機）等の静止物体とが含まれる。周辺障害物が信号機である場合、周辺認識部１７０は、信号機の色を判定する。   In addition, peripheral obstacles are recognized using image information Iimage, radar information Irader, and three-dimensional information Ilidar. The peripheral obstacles include moving objects such as other vehicles (other vehicles etc.) and stationary objects such as buildings and signs (eg traffic lights). When the surrounding obstacle is a traffic signal, the surrounding recognition unit 170 determines the color of the traffic signal.

行動計画部１７２は、ＨＭＩ２８を介して入力された目標地点Ｐｇｏａｌまでの自車１０の予定経路Ｒｖを算出し、予定経路Ｒｖに沿った経路案内を行う。   The action planning unit 172 calculates the planned route Rv of the host vehicle 10 to the target point Pgoal input via the HMI 28, and performs route guidance along the planned route Rv.

走行制御部１７４は、車体挙動を制御する各アクチュエータの出力を制御する。ここにいうアクチュエータには、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０が含まれる。走行制御部１７４は、アクチュエータの出力を制御することで、車両１０（特に車体）の挙動量（以下「車体挙動量Ｑｂ」という。）を制御することとなる。   The travel control unit 174 controls the output of each actuator that controls the vehicle behavior. The actuator here includes the engine 120, the brake mechanism 130, and the EPS motor 140. The travel control unit 174 controls the behavior amount of the vehicle 10 (particularly the vehicle body) (hereinafter referred to as “vehicle body behavior amount Qb”) by controlling the output of the actuator.

ここにいう車体挙動量Ｑｂには、車速Ｖ、前後加速度α［ｍ／ｓ／ｓ］、前後減速度β［ｍ／ｓ／ｓ］、舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒが含まれる。加速度α及び減速度βは、車速Ｖの時間微分値として算出可能である。   The vehicle body behavior amount Qb mentioned here includes the vehicle speed V, the longitudinal acceleration α [m / s / s], the longitudinal deceleration β [m / s / s], the steering angle θst, the lateral acceleration Glat, and the yaw rate Yr. The acceleration α and the deceleration β can be calculated as time differential values of the vehicle speed V.

走行制御部１７４は、駆動力制御部１８０と、制動力制御部１８２と、旋回制御部１８４とを有する。駆動力制御部１８０は、主としてエンジン１２０の出力を制御することにより、車両１０の走行駆動力Ｆｄ（又は加速度α）を制御する。制動力制御部１８２は、主としてブレーキ機構１３０の出力を制御することにより、車両１０の制動力Ｆｂ（又は減速度β）を制御する。旋回制御部１８４は、主として、ＥＰＳモータ１４０の出力を制御することにより、車両１０の旋回量Ｒ（又は舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹｒ）を制御する。   The travel control unit 174 includes a driving force control unit 180, a braking force control unit 182, and a turning control unit 184. The driving force control unit 180 controls the traveling driving force Fd (or acceleration α) of the vehicle 10 mainly by controlling the output of the engine 120. The braking force control unit 182 controls the braking force Fb (or the deceleration β) of the vehicle 10 mainly by controlling the output of the brake mechanism 130. The turning control unit 184 mainly controls the turning amount R (or the steering angle θst, the lateral acceleration Glat, and the yaw rate Yr) of the vehicle 10 by controlling the output of the EPS motor 140.

記憶部１５４は、演算部１５２が利用するプログラム及びデータ（地図データベース１９０を含む。）を記憶する。地図データベース１９０（以下「地図ＤＢ１９０」という。）には、道路地図の情報（地図情報Ｉｍａｐ）が記憶される。地図情報Ｉｍａｐには、道路の形状等に関する道路情報Ｉｒｏａｄが含まれる。   The storage unit 154 stores programs and data (including the map database 190) used by the calculation unit 152. The map database 190 (hereinafter referred to as “map DB 190”) stores road map information (map information Imap). The map information Imap includes road information Iload related to the shape of the road.

記憶部１５４は、例えば、ランダム・アクセス・メモリ（以下「ＲＡＭ」という。）を備える。ＲＡＭとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部１５４は、ＲＡＭに加え、リード・オンリー・メモリ（以下「ＲＯＭ」という。）を有してもよい。   The storage unit 154 includes, for example, a random access memory (hereinafter referred to as “RAM”). As the RAM, a volatile memory such as a register and a non-volatile memory such as a flash memory can be used. The storage unit 154 may include a read only memory (hereinafter referred to as “ROM”) in addition to the RAM.

上記のように、本実施の形態の走行ＥＣＵ３６は、自動運転制御を実行する。自動運転制御では、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する。但し、自動運転制御では、運転者がアクセルペダル９０、ブレーキペダル９２又はステアリングハンドル９４を操作した場合、当該操作を運転に反映してもよい。本実施の形態の自動運転制御では、自動駆動力制御と、自動制動力制御と、自動旋回制御を組み合わせて用いる。   As described above, the travel ECU 36 of the present embodiment performs automatic operation control. In the automatic driving control, the vehicle 10 is driven to the target point Pgoal without requiring a driving operation by the driver. However, in the automatic driving control, when the driver operates the accelerator pedal 90, the brake pedal 92, or the steering handle 94, the operation may be reflected in the driving. In the automatic driving control of the present embodiment, automatic driving force control, automatic braking force control, and automatic turning control are used in combination.

自動駆動力制御は、車両１０の走行駆動力Ｆｄを自動的に制御する。自動制動力制御は、車両１０の走行駆動力Ｆｄを自動的に制御する。自動旋回制御は、車両１０の旋回を自動的に制御する。ここにいう車両１０の旋回は、カーブ路を走行する場合のみならず、車両１０の右左折、走行レーンの変更、別レーンへの合流及び走行レーンの維持を含む。なお、走行レーンを維持するための旋回とは、車幅方向において車両１０を基準位置（例えば車幅方向の中央）に維持するために旋回（又は操舵）することを意味する。   The automatic driving force control automatically controls the traveling driving force Fd of the vehicle 10. The automatic braking force control automatically controls the traveling driving force Fd of the vehicle 10. The automatic turning control automatically controls turning of the vehicle 10. The turning of the vehicle 10 here includes not only the case of traveling on a curved road, but also includes turning the vehicle 10 left and right, changing the driving lane, joining to another lane, and maintaining the driving lane. Note that turning for maintaining the traveling lane means turning (or steering) to maintain the vehicle 10 at the reference position (for example, the center in the vehicle width direction) in the vehicle width direction.

自動駆動力制御は、走行駆動力Ｆｄを制御して車両１０を走行させる。この際、ＥＣＵ３６は、走行駆動力Ｆｄの目標値（例えば、目標エンジントルク）を設定し、この目標値に応じてアクチュエータ（エンジン１２０）を制御する。また、ＥＣＵ３６は、車両１０の前後加速度αの上限値αｍａｘ（以下「加速度上限値αｍａｘ」ともいう。）を設定し、前後加速度αが加速度上限値αｍａｘを超えないように走行駆動力Ｆｄを制御する。   In the automatic driving force control, the vehicle 10 travels by controlling the traveling driving force Fd. At this time, the ECU 36 sets a target value (for example, target engine torque) of the travel driving force Fd, and controls the actuator (engine 120) according to the target value. Further, the ECU 36 sets an upper limit value αmax (hereinafter also referred to as “acceleration upper limit value αmax”) of the longitudinal acceleration α of the vehicle 10 and controls the driving force Fd so that the longitudinal acceleration α does not exceed the acceleration upper limit value αmax. To do.

自動制動力制御は、車両１０の制動力Ｆｂを制御して車両１０を減速させる。この際、ＥＣＵ３６は、制動力Ｆｂの目標値（例えば、目標前後減速度βｔａｒ）を設定し、この目標値に応じてアクチュエータ（ブレーキ機構１３０）を制御する。また、ＥＣＵ３６は、車両１０の減速度βの上限値βｍａｘ（以下「減速度上限値βｍａｘ」ともいう。）を設定し、減速度βが減速度上限値βｍａｘを超えないように（急激に減速し過ぎないように）制動力Ｆｂを制御する。   In the automatic braking force control, the vehicle 10 is decelerated by controlling the braking force Fb of the vehicle 10. At this time, the ECU 36 sets a target value (for example, target longitudinal deceleration βtar) of the braking force Fb, and controls the actuator (brake mechanism 130) according to the target value. Further, the ECU 36 sets an upper limit value βmax of the deceleration β of the vehicle 10 (hereinafter also referred to as “deceleration upper limit value βmax”) so that the deceleration β does not exceed the deceleration upper limit value βmax (sudden deceleration). The braking force Fb is controlled so as not to overdo it.

自動旋回制御は、車両１０の旋回量Ｒを制御して車両１０を旋回させる。この際、ＥＣＵ３６は、旋回量Ｒの目標値（例えば、目標舵角θｓｔｔａｒ又は目標横加速度Ｇｌａｔｔａｒ）を設定し、この目標値に応じてアクチュエータ（ＥＰＳモータ１４０）を制御する。また、ＥＣＵ３６は、車両１０の旋回量Ｒの上限値Ｒｍａｘ（以下「旋回量上限値Ｒｍａｘ」ともいう。）を設定し、旋回量Ｒが旋回量上限値Ｒｍａｘを超えないように旋回量Ｒを制御する。旋回量上限値Ｒｍａｘは、例えば、舵角θｓｔの上限値θｓｔｍａｘ又は横加速度Ｇｌａｔの上限値Ｇｌａｔｍａｘの形で用いられる。   In the automatic turning control, the turning amount R of the vehicle 10 is controlled to turn the vehicle 10. At this time, the ECU 36 sets a target value (for example, target steering angle θstar or target lateral acceleration Glatar) of the turning amount R, and controls the actuator (EPS motor 140) according to the target value. Further, the ECU 36 sets an upper limit value Rmax of the turning amount R of the vehicle 10 (hereinafter also referred to as “turning amount upper limit value Rmax”), and sets the turning amount R so that the turning amount R does not exceed the turning amount upper limit value Rmax. Control. The turning amount upper limit value Rmax is used, for example, in the form of an upper limit value θstmax of the steering angle θst or an upper limit value Glatmax of the lateral acceleration Glat.

ここで、本実施の形態の自動運転制御の全体的な流れを、図２のフローチャートを参照しながら説明する。   Here, the overall flow of the automatic operation control of the present embodiment will be described with reference to the flowchart of FIG.

先ず、ステップＳ１１において、走行ＥＣＵ３６は、自動運転を開始するか否かを判定する。例えば、ＥＣＵ３６は、自動運転スイッチ１１０（図１）がオフからオンに切り替えられたか否かを判定する。自動運転を開始する場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進む。自動運転を開始しない場合（ステップＳ１１：ＮＯ）、今回の処理を終え、所定時間の経過後にステップＳ１１に戻る。   First, in step S11, the travel ECU 36 determines whether to start automatic driving. For example, the ECU 36 determines whether or not the automatic operation switch 110 (FIG. 1) has been switched from OFF to ON. When the automatic operation is started (step S11: YES), the process proceeds to step S12. When the automatic operation is not started (step S11: NO), the current process is finished, and the process returns to step S11 after a predetermined time has elapsed.

ステップＳ１２において、ＥＣＵ３６は、目標地点Ｐｇｏａｌを設定する。具体的には、ＨＭＩ２８を介してユーザ（運転者等）から目標地点Ｐｇｏａｌの入力を受け付ける。ステップＳ１３において、ＥＣＵ３６は、現在位置Ｐｃｕｒから目標地点Ｐｇｏａｌまでの予定経路Ｒｖを算出する。なお、後述するステップＳ２１の後にステップＳ１３を行う場合、ＥＣＵ３６は、予定経路Ｒｖを更新する。   In step S12, the ECU 36 sets a target point Pgoal. Specifically, the input of the target point Pgoal is received from the user (driver or the like) via the HMI 28. In step S13, the ECU 36 calculates a planned route Rv from the current position Pcur to the target point Pgoal. In addition, when performing step S13 after step S21 mentioned later, ECU36 updates the scheduled path | route Rv.

ステップＳ１４において、ＥＣＵ３６は、各センサ群２０、２２、２４から車両周辺情報Ｉｃ、車体挙動情報Ｉｂ及び運転操作情報Ｉｏを取得する。上記のように、車両周辺情報Ｉｃには車外カメラ５０からの画像情報Ｉｉｍａｇｅ、レーダ５２からのレーダ情報Ｉｒａｄｅｒ、ＬＩＤＡＲ５４からの三次元情報Ｉｌｉｄａｒ、及びＧＰＳセンサ５６からの現在位置Ｐｃｕｒが含まれる。車体挙動情報Ｉｂには、車速センサ６０からの車速Ｖ、横加速度センサ６２からの横加速度Ｇｌａｔ及びヨーレートセンサ６４からのヨーレートＹｒが含まれる。運転操作情報Ｉｏには、ＡＰセンサ８０からのＡＰ操作量θａｐ、ＢＰセンサ８２からのＢＰ操作量θｂｐ、舵角センサ８４からの舵角θｓｔ及び操舵トルクセンサ８６からの操舵トルクＴｓｔが含まれる。   In step S <b> 14, the ECU 36 acquires vehicle surrounding information Ic, vehicle body behavior information Ib, and driving operation information Io from each of the sensor groups 20, 22, 24. As described above, the vehicle periphery information Ic includes the image information Iimage from the outside camera 50, the radar information Irader from the radar 52, the three-dimensional information Ilidar from the LIDAR 54, and the current position Pcur from the GPS sensor 56. The vehicle body behavior information Ib includes the vehicle speed V from the vehicle speed sensor 60, the lateral acceleration Glat from the lateral acceleration sensor 62, and the yaw rate Yr from the yaw rate sensor 64. The driving operation information Io includes an AP operation amount θap from the AP sensor 80, a BP operation amount θbp from the BP sensor 82, a steering angle θst from the steering angle sensor 84, and a steering torque Tst from the steering torque sensor 86.

ステップＳ１５において、ＥＣＵ３６は、各アクチュエータの出力上限値Ｐｍａｘを算出する。ここにいうアクチュエータには、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０が含まれる。   In step S15, the ECU 36 calculates the output upper limit value Pmax of each actuator. The actuator here includes the engine 120, the brake mechanism 130, and the EPS motor 140.

また、エンジン１２０の出力Ｐｅｎｇの上限値Ｐｍａｘ（以下「出力上限値Ｐｅｎｇｍａｘ」ともいう。）とは、例えば、エンジン１２０のトルクの上限値である。ブレーキ機構１３０の出力Ｐｂの上限値Ｐｍａｘ（以下「出力上限値Ｐｂｍａｘ」ともいう。）とは、例えば、制動力Ｆｂの上限値である。ＥＰＳモータ１４０の出力Ｐｅｐｓの上限値Ｐｍａｘ（以下「出力上限値Ｐｅｐｓｍａｘ」ともいう。）とは、例えば、ＥＰＳモータ１４０のトルクの上限値である。これらの出力上限値Ｐｍａｘ（Ｐｅｎｇｍａｘ、Ｐｂｍａｘ、Ｐｅｐｓｍａｘ）を用いることで、過度の出力を避けて乗員の乗り心地を高めること等が可能となる。   The upper limit value Pmax of the output Peng of the engine 120 (hereinafter also referred to as “output upper limit value Pengmax”) is, for example, the upper limit value of the torque of the engine 120. The upper limit value Pmax of the output Pb of the brake mechanism 130 (hereinafter also referred to as “output upper limit value Pbmax”) is, for example, the upper limit value of the braking force Fb. The upper limit value Pmax of the output Peps of the EPS motor 140 (hereinafter also referred to as “output upper limit value Pepsmax”) is, for example, the upper limit value of the torque of the EPS motor 140. By using these output upper limit values Pmax (Pengmax, Pbmax, Pepsmax), it becomes possible to avoid excessive output and enhance the riding comfort of the occupant.

出力上限値Ｐｍａｘは、車体挙動量Ｑｂの上限値Ｑｂｍａｘに基づいて算出される。本実施の形態のステップＳ１５では、車速Ｖに応じて出力上限値Ｐｍａｘを切り替える制限制御を実行する。   The output upper limit value Pmax is calculated based on the upper limit value Qbmax of the vehicle body behavior amount Qb. In step S15 of the present embodiment, limit control for switching the output upper limit value Pmax according to the vehicle speed V is executed.

ステップＳ１６において、ＥＣＵ３６は、自車１０の走行可能領域を算出する。走行可能領域は、現時点で車両１０が走行可能な領域を示す。例えば、車両１０の基準点（例えば車両１０の重心、左右後輪を結ぶ線分の中央）を基準として、車両１０と各周辺物体との距離が所定値以上となる領域を示す。走行可能領域の算出に当たっては、車両１０の周辺障害物（特に、前方障害物）との関係も考慮される。周辺障害物との関係では、ＥＣＵ３６は、周辺監視制御を行う。   In step S <b> 16, the ECU 36 calculates a travelable area of the host vehicle 10. The travelable area indicates an area where the vehicle 10 can travel at the present time. For example, a region where the distance between the vehicle 10 and each of the surrounding objects is a predetermined value or more with reference to the reference point of the vehicle 10 (for example, the center of gravity of the vehicle 10 and the center of a line segment connecting the left and right rear wheels) is shown. In calculating the travelable area, the relationship with the obstacles around the vehicle 10 (particularly, front obstacles) is also taken into consideration. In relation to surrounding obstacles, the ECU 36 performs surrounding monitoring control.

また、走行ＥＣＵ３６は、例えば交差点の検知、交差点に対する仮想のレーンマークの補間等において、周辺監視制御を行う。この周辺監視制御については、図３以降を参照して後述する。   In addition, the travel ECU 36 performs peripheral monitoring control in, for example, detecting an intersection and interpolating a virtual lane mark with respect to the intersection. This periphery monitoring control will be described later with reference to FIG.

なお、周辺認識部１７０が赤信号を認識した場合、信号機手前の停止線より先の領域は、走行可能領域から除外することができる。あるいは、走行可能領域は、単に周辺障害物との関係（距離等）によって算出し、後述する目標走行軌跡Ｌｔａｒの算出に際して、赤信号による走行制限を反映させてもよい。   In addition, when the periphery recognition part 170 recognizes a red signal, the area | region ahead of the stop line before a traffic light can be excluded from a driving | running | working area | region. Alternatively, the travelable area may be simply calculated based on the relationship (distance etc.) with the surrounding obstacles, and the travel restriction due to the red signal may be reflected when calculating the target travel locus Ltar described later.

ステップＳ１７において、走行ＥＣＵ３６は、目標走行軌跡Ｌｔａｒを算出する。目標走行軌跡Ｌｔａｒは、車両１０の走行軌跡Ｌの目標値である。本実施の形態において、目標走行軌跡Ｌｔａｒは、ステップＳ１６で算出された走行可能領域の中から種々の条件を満たす軌跡Ｌのうち最適のものが選択される。   In step S17, the travel ECU 36 calculates a target travel locus Ltar. The target travel locus Ltar is a target value of the travel locus L of the vehicle 10. In the present embodiment, as the target travel locus Ltar, an optimal one of the trajectories L satisfying various conditions is selected from the travelable area calculated in step S16.

ステップＳ１８において、走行ＥＣＵ３６は、目標走行軌跡Ｌｔａｒに基づいて各アクチュエータの目標制御量（換言すると目標車体挙動量Ｑｂｔａｒ）を算出する。目標車体挙動量Ｑｂｔａｒには、例えば、目標前後加速度αｔａｒ、目標前後減速度βｔａｒ及び目標横加速度Ｇｌａｔｔａｒが含まれる。   In step S18, the travel ECU 36 calculates a target control amount (in other words, a target vehicle body behavior amount Qbtar) of each actuator based on the target travel locus Ltar. The target vehicle body behavior amount Qbtar includes, for example, a target longitudinal acceleration αtar, a target longitudinal deceleration βtar, and a target lateral acceleration Glatar.

ステップＳ１９において、走行ＥＣＵ３６は、ステップＳ１８で算出した目標制御量を用いて各アクチュエータ（換言すると車体挙動量Ｑｂ）を制御する。例えば、駆動力制御部１８０は、目標前後加速度αｔａｒを実現するようにエンジン１２０（アクチュエータ）の目標出力Ｐｅｎｇｔａｒ（例えば目標エンジントルク）を算出する。そして、駆動力制御部１８０は、当該目標出力Ｐｅｎｇｔａｒを実現するように駆動ＥＣＵ１２２を介してエンジン１２０を制御する。   In step S19, the travel ECU 36 controls each actuator (in other words, the vehicle body behavior amount Qb) using the target control amount calculated in step S18. For example, the driving force control unit 180 calculates a target output Pengtar (for example, target engine torque) of the engine 120 (actuator) so as to realize the target longitudinal acceleration αtar. Then, the driving force control unit 180 controls the engine 120 via the driving ECU 122 so as to realize the target output Pengtar.

また、制動力制御部１８２は、目標前後減速度βｔａｒを実現するようにブレーキ機構１３０（アクチュエータ）の目標出力Ｐｂｔａｒを算出する。そして、制動力制御部１８２は、当該目標出力Ｐｂｔａｒを実現するように制動ＥＣＵ１３２を介してブレーキ機構１３０を制御する。   Further, the braking force control unit 182 calculates the target output Pbtar of the brake mechanism 130 (actuator) so as to realize the target longitudinal deceleration βtar. Then, the braking force control unit 182 controls the brake mechanism 130 via the braking ECU 132 so as to realize the target output Pbtar.

さらに、旋回制御部１８４は、目標横加速度Ｇｌａｔｔａｒを実現するように目標舵角θｓｔｔａｒを設定する。そして、旋回制御部１８４は、当該目標舵角θｓｔｔａｒを実現するようにＥＰＳ−ＥＣＵ１４２を介してＥＰＳモータ１４０（アクチュエータ）を制御する。なお、ＥＰＳモータ１４０による旋回に加え又はこれに代えて、左右の車輪のトルク差により車両１０を旋回させること（いわゆるトルクベクタリング）も可能である。   Further, the turning control unit 184 sets the target rudder angle θstart so as to realize the target lateral acceleration Glattar. Then, the turning control unit 184 controls the EPS motor 140 (actuator) via the EPS-ECU 142 so as to realize the target steering angle θstar. In addition to or instead of turning by the EPS motor 140, it is also possible to turn the vehicle 10 by a torque difference between the left and right wheels (so-called torque vectoring).

ステップＳ２０において、ＥＣＵ３６は、目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更するか否かを判定する。目標地点Ｐｇｏａｌを変更する場合とは、ＨＭＩ２８の操作を通じて新たな目標地点Ｐｇｏａｌが入力された場合である。予定経路Ｒｖを変更する場合とは、例えば、予定経路Ｒｖにおいて渋滞が発生し、迂回路の設定を要する場合である。渋滞の発生は、例えば、通信装置２６を介して前記交通情報サーバから取得した渋滞情報を用いて認識することが可能となる。   In step S20, the ECU 36 determines whether or not to change the target point Pgoal or the planned route Rv. The case where the target point Pgoal is changed is a case where a new target point Pgoal is input through the operation of the HMI 28. The case where the planned route Rv is changed is, for example, a case where traffic congestion occurs in the planned route Rv and it is necessary to set a detour. The occurrence of traffic jams can be recognized using traffic jam information acquired from the traffic information server via the communication device 26, for example.

目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更する場合（ステップＳ２０：ＹＥＳ）、ステップＳ１３に戻り、新たな目標地点Ｐｇｏａｌに基づく予定経路Ｒｖを算出する又は新たな予定経路Ｒｖを算出する。目標地点Ｐｇｏａｌ又は予定経路Ｒｖを変更しない場合（ステップＳ２０：ＮＯ）、ステップＳ２１に進む。   When the target point Pgoal or the planned route Rv is changed (step S20: YES), the process returns to step S13, and the planned route Rv based on the new target point Pgoal is calculated or a new planned route Rv is calculated. When the target point Pgoal or the planned route Rv is not changed (step S20: NO), the process proceeds to step S21.

ステップＳ２１において、走行ＥＣＵ３６は、自動運転を終了するか否かを判定する。自動運転を終了するのは、例えば、車両１０が目標地点Ｐｇｏａｌに到着した場合、又は自動運転スイッチ１１０がオンからオフに切り替えられた場合である。あるいは、自動運転が困難な周辺環境になった場合、ＥＣＵ３６は、自動運転を終了する。   In step S21, the traveling ECU 36 determines whether or not to end the automatic driving. The automatic driving is terminated, for example, when the vehicle 10 arrives at the target point Pgoal or when the automatic driving switch 110 is switched from on to off. Or when it becomes a surrounding environment where automatic driving | operation becomes difficult, ECU36 complete | finishes automatic driving | operation.

自動運転を終了しない場合（ステップＳ２１：ＮＯ）、ステップＳ１３に戻り、ＥＣＵ３６は、現在位置Ｐｃｕｒに基づいて予定経路Ｒｖを更新する。自動運転を終了する場合（ステップＳ２１：ＹＥＳ）、ステップＳ２２に進む。   When the automatic operation is not terminated (step S21: NO), the process returns to step S13, and the ECU 36 updates the planned route Rv based on the current position Pcur. When the automatic operation is terminated (step S21: YES), the process proceeds to step S22.

ステップＳ２２において、ＥＣＵ３６は、終了処理を実行する。具体的には、車両１０が目標地点Ｐｇｏａｌに到着した場合、ＥＣＵ３６は、車両１０が目標地点Ｐｇｏａｌに到着した旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。自動運転スイッチ１１０がオンからオフに切り替えられた場合、ＥＣＵ３６は、自動運転を終了する旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。自動運転が困難な周辺環境になった場合、ＥＣＵ３６は、その旨を、ＨＭＩ２８を介して音声、表示等により運転者等に通知する。   In step S22, the ECU 36 executes an end process. Specifically, when the vehicle 10 arrives at the target point Pgoal, the ECU 36 notifies the driver or the like by voice, display, or the like via the HMI 28 that the vehicle 10 has arrived at the target point Pgoal. When the automatic operation switch 110 is switched from on to off, the ECU 36 notifies the driver or the like via voice, display, or the like via the HMI 28 that automatic operation is to be terminated. When the surrounding environment becomes difficult for automatic driving, the ECU 36 notifies the driver or the like via the HMI 28 by voice, display, or the like.

上記のように、走行可能領域の算出（図２のステップＳ１６）に際し、ＥＣＵ３６は、周辺監視制御を実行する。周辺監視制御は、周辺認識部１７０からの情報に基づいて、車両１０の周辺（特に前方）に存在する周辺障害物との接触回避等を行う制御である。また、交差点等の認識や交差点等への仮想のレーンマークの補間に際し、走行ＥＣＵ３６は、周辺監視制御を実行する。   As described above, when calculating the travelable region (step S16 in FIG. 2), the ECU 36 performs the periphery monitoring control. The surrounding monitoring control is control for avoiding contact with surrounding obstacles existing around the vehicle 10 (particularly forward) based on information from the surrounding recognition unit 170. Further, when recognizing an intersection or the like and interpolating a virtual lane mark at an intersection or the like, the travel ECU 36 performs the periphery monitoring control.

以下、主に交差点等の認識や交差点等への仮想のレーンマークの補間に関する周辺監視制御について、図３〜図１２を参照しながら説明する。   Hereinafter, the peripheral monitoring control mainly related to recognition of intersections and the like and interpolation of virtual lane marks at intersections and the like will be described with reference to FIGS.

周辺認識部１７０について代表的に２つの例（第１周辺認識部１７０Ａ及び第２周辺認識部１７０Ｂ）を説明する。   Two examples of the peripheral recognition unit 170 (first peripheral recognition unit 170A and second peripheral recognition unit 170B) will be described representatively.

第１周辺認識部１７０Ａは、図３に示すように、特定シーン検知部２０２と、第１補間処理部２０４Ａとを有する。   As shown in FIG. 3, the first periphery recognition unit 170A includes a specific scene detection unit 202 and a first interpolation processing unit 204A.

特定シーン検知部２０２は、図３に示すように、前方を撮像する例えば車外カメラ５０（図１参照）によって画像メモリに描画されたカメラ画像２０６（図４Ａ参照）上で、所定距離以上の間隔を置いて奥側と手前側でそれぞれ線（短い線）が存在する特定シーンの画像（以下、特定シーン２０８と記す）を検知する。   As shown in FIG. 3, the specific scene detection unit 202 captures an image of the front, for example, on a camera image 206 (see FIG. 4A) drawn in the image memory by an outside camera 50 (see FIG. 1). And an image of a specific scene (hereinafter referred to as a specific scene 208) in which lines (short lines) exist on the back side and the near side respectively.

第１補間処理部２０４Ａは、特定シーン検知部２０２での特定シーン２０８の検知に基づいて、奥側のレーンマーク候補と手前側のレーンマーク候補とを補間処理する。   Based on the detection of the specific scene 208 by the specific scene detection unit 202, the first interpolation processing unit 204A interpolates the back lane mark candidate and the near lane mark candidate.

ここで、具体的に、図４Ａ〜図５Ｂも参照しながら、特定シーン２０８として交差点を想定した場合について説明する。   Here, the case where an intersection is assumed as the specific scene 208 will be specifically described with reference to FIGS. 4A to 5B.

特定シーン検知部２０２で検知される特定シーン２０８は、図４Ａに示すように、カメラ画像２０６のうち、上側の領域（奥側を示す領域）に、左から右に向かって１本目のレーンマーク候補の画像（以下、第１レーンマーク候補２１０ａと記す）と、２本目のレーンマーク候補の画像（以下、第２レーンマーク候補２１０ｂと記す）とが間隔を置いて並び、描画領域のうち、下側の領域（手前側を示す領域）に、左から右に向かって１本目のレーンマーク候補の画像（以下、第３レーンマーク候補２１０ｃと記す）と、２本目のレーンマーク候補の画像（以下、第４レーンマーク候補２１０ｄと記す）とが間隔を置いて並んだ画像である。   As shown in FIG. 4A, the specific scene 208 detected by the specific scene detection unit 202 is the first lane mark from the left to the right in the upper area (area indicating the back side) of the camera image 206. A candidate image (hereinafter referred to as a first lane mark candidate 210a) and a second lane mark candidate image (hereinafter referred to as a second lane mark candidate 210b) are arranged at an interval. In the lower area (area indicating the front side), from left to right, the first lane mark candidate image (hereinafter referred to as third lane mark candidate 210c) and the second lane mark candidate image ( Hereinafter, the fourth lane mark candidate 210d) is an image arranged at intervals.

そして、図３に示すように、第１補間処理部２０４Ａは、画像変換部２１２、レーンマーク候補判定部２１６と、第１レーンマーク補間部２１８Ａとを有する。   As shown in FIG. 3, the first interpolation processing unit 204A includes an image conversion unit 212, a lane mark candidate determination unit 216, and a first lane mark interpolation unit 218A.

画像変換部２１２は、特定シーン２０８を、図４Ｂに示すように、鳥瞰図（ＢＥＶ：バードアイビュー）の画像（以下、ＢＥＶ画像２２０と記す）に変換する。ＢＥＶ画像２２０は、同一の画像メモリに描画してもよいし、別の画像メモリに描画してもよい。同一の画像メモリに描画する場合は、特定シーン２０８の描画領域とは別の描画領域に描画することが好ましい。   The image conversion unit 212 converts the specific scene 208 into a bird's eye view (BEV: bird eye view) image (hereinafter referred to as a BEV image 220), as shown in FIG. 4B. The BEV image 220 may be drawn in the same image memory or in a different image memory. When drawing in the same image memory, it is preferable to draw in a drawing area different from the drawing area of the specific scene 208.

レーンマーク候補判定部２１６は、図５Ａに示すように、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとにおける手前側の第３レーンマーク候補２１０ｃと直交する方向の距離Ｄａが所定範囲内であるかどうかを判定する。例えば第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとの間のずれ、特に、第３レーンマーク候補２１０ｃと直交する方向のずれ（距離Ｄａ）が所定範囲内（例えば５０ｃｍ以内）であるかどうかを判定する。この所定範囲は、交差点の道路形状等に応じて適宜選択してもよい。以下、同様である。   As shown in FIG. 5A, the lane mark candidate determination unit 216 is arranged in a direction orthogonal to the front-side third lane mark candidate 210c in the back-side first lane mark candidate 210a and the front-side third lane mark candidate 210c. It is determined whether the distance Da is within a predetermined range. For example, is the deviation between the first lane mark candidate 210a and the third lane mark candidate 210c, in particular, the deviation in the direction orthogonal to the third lane mark candidate 210c (distance Da) within a predetermined range (for example, within 50 cm)? Determine if. This predetermined range may be appropriately selected according to the road shape of the intersection. The same applies hereinafter.

また、レーンマーク候補判定部２１６は、図５Ｂに示すように、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとにおける手前側の第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂが所定範囲内であるかどうかを判定する。例えば第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとの間のずれ、特に、第４レーンマーク候補２１０ｄと直交する方向のずれ（距離Ｄｂ）が所定範囲内であるかどうかを判定する。   Further, as shown in FIG. 5B, the lane mark candidate determination unit 216 is orthogonal to the front-side fourth lane mark candidate 210d in the back-side second lane mark candidate 210b and the front-side fourth lane mark candidate 210d. It is determined whether the direction distance Db is within a predetermined range. For example, it is determined whether or not the deviation between the second lane mark candidate 210b and the fourth lane mark candidate 210d, in particular, the deviation in the direction orthogonal to the fourth lane mark candidate 210d (distance Db) is within a predetermined range.

なお、奥側の第１レーンマーク候補２１０ａ及び第２レーンマーク候補２１０ｂ並びに手前側の第３レーンマーク候補２１０ｃ及び第４レーンマーク候補２１０ｄを求めるには、例えばハフ変換を利用することができる。   In order to obtain the first lane mark candidate 210a and the second lane mark candidate 210b on the far side and the third lane mark candidate 210c and the fourth lane mark candidate 210d on the near side, for example, Hough transform can be used.

第１レーンマーク補間部２１８Ａは、レーンマーク候補判定部２１６において、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとにおける上述した距離Ｄａが所定範囲内であると判別された場合は、図６Ａに示すように、同一のレーンマークとみなして、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。   The first lane mark interpolation unit 218A determines in the lane mark candidate determination unit 216 that the above-described distance Da between the first lane mark candidate 210a on the back side and the third lane mark candidate 210c on the near side is within a predetermined range. If this is the case, as shown in FIG. 6A, the virtual left lane mark 224L is set so that the first lane mark candidate 210a and the third lane mark candidate 210c are interpolated as the same lane mark.

同様に、第１レーンマーク補間部２１８Ａは、レーンマーク候補判定部２１６において、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとにおける上述した距離Ｄｂが所定範囲内であると判別された場合は、図６Ａに示すように、同一のレーンマークとみなして、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。   Similarly, in the lane mark candidate determination unit 216, the first lane mark interpolation unit 218A has the above-mentioned distance Db between the second lane mark candidate 210b on the back side and the fourth lane mark candidate 210d on the near side within a predetermined range. If it is determined that there is, the virtual right lane mark 224R is set so that the second lane mark candidate 210b and the fourth lane mark candidate 210d are interpolated as the same lane mark as shown in FIG. 6A. To do.

ここで、第１補間処理部２０４Ａについての２つの処理動作（第１処理動作及び第２処理動作）を説明する。   Here, two processing operations (first processing operation and second processing operation) for the first interpolation processing unit 204A will be described.

最初に、第１処理動作について図７を参照しながら説明する。先ず、図７のステップＳ１０１において、特定シーン検知部２０２は、カメラ画像２０６から特定シーン２０８（図４Ａ参照）を検知する。特定シーン２０８を検知した段階で、ステップＳ１０２に進み、画像変換部２１２は、特定シーン２０８の画像をＢＥＶ画像２２０（図４Ｂ参照）に変換する。   First, the first processing operation will be described with reference to FIG. First, in step S101 of FIG. 7, the specific scene detection unit 202 detects a specific scene 208 (see FIG. 4A) from the camera image 206. When the specific scene 208 is detected, the process proceeds to step S102, and the image conversion unit 212 converts the image of the specific scene 208 into a BEV image 220 (see FIG. 4B).

ステップＳ１０３において、レーンマーク候補判定部２１６は、図５Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとにおける第３レーンマーク候補２１０ｃと直交する方向の距離Ｄａを算出する。   In step S103, the lane mark candidate determination unit 216 calculates a distance Da in the direction orthogonal to the third lane mark candidate 210c between the first lane mark candidate 210a and the third lane mark candidate 210c, as shown in FIG. 5A. .

ステップＳ１０４において、レーンマーク候補判定部２１６は、算出した距離Ｄａが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ１０５に進み、レーンマーク候補判定部２１６は、図５Ｂに示すように、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとにおける第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂを算出する。   In step S104, the lane mark candidate determination unit 216 determines whether or not the calculated distance Da is within a predetermined range. If it is within the predetermined range, the process proceeds to step S105, and the lane mark candidate determination unit 216 is orthogonal to the fourth lane mark candidate 210d in the second lane mark candidate 210b and the fourth lane mark candidate 210d, as shown in FIG. 5B. The distance Db in the direction to be calculated is calculated.

ステップＳ１０６において、レーンマーク候補判定部２１６は、算出した距離Ｄｂが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ１０７に進み、第１レーンマーク補間部２１８は、図６Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。さらに、第１レーンマーク補間部２１８は、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。   In step S106, the lane mark candidate determination unit 216 determines whether or not the calculated distance Db is within a predetermined range. If it is within the predetermined range, the process proceeds to step S107, and the first lane mark interpolating unit 218, as shown in FIG. 6A, imaginary left side to interpolate the first lane mark candidate 210a and the third lane mark candidate 210c. A lane mark 224L is set. Further, the first lane mark interpolation unit 218 sets the virtual right lane mark 224R so as to interpolate the second lane mark candidate 210b and the fourth lane mark candidate 210d.

これによって、図６Ｂに示すように、交差点内に、自車１０の進行方向に沿って延長する２本のレーンマークＬＭ１及びＬＭ２が描画された画像が得られ、行動計画部１７２等に、交差点内に引かれた仮想のレーンマークとして認識させることができる。その結果、例えば交差点内でのレーンキープ走行等を好適に行うことが可能となる。   As a result, as shown in FIG. 6B, an image in which two lane marks LM1 and LM2 extending along the traveling direction of the host vehicle 10 are drawn in the intersection is obtained. It can be recognized as a virtual lane mark drawn inside. As a result, for example, it is possible to suitably perform lane keeping traveling within an intersection.

なお、図７の上記ステップＳ１０４あるいはステップＳ１０６において、算出した距離Ｄａ、Ｄｂが所定範囲を超えていると判別された場合は、今回の処理を終え、所定時間の経過後にステップＳ１０１に戻る。   If it is determined in step S104 or step S106 in FIG. 7 that the calculated distances Da and Db exceed the predetermined range, the current process is terminated, and the process returns to step S101 after a predetermined time has elapsed.

上述の例では、ステップＳ１０４での判定結果が、距離Ｄａ≦所定範囲でない場合（ステップＳ１０４：ＮＯ）、ステップＳ１０６での判定処理を行わないが、ステップＳ１０４での判定結果に関わらず、ステップＳ１０６での判定処理を行うようにしてもよい。   In the above example, if the determination result in step S104 is not the distance Da ≦ predetermined range (step S104: NO), the determination process in step S106 is not performed, but step S106 is performed regardless of the determination result in step S104. You may make it perform the determination process in.

次に、第１補間処理部２０４Ａの第２処理動作について図８を参照しながら説明する。   Next, the second processing operation of the first interpolation processing unit 204A will be described with reference to FIG.

先ず、図８のステップＳ２０１〜Ｓ２０３において、上述した第１処理動作のステップＳ１０１〜Ｓ１０３と同様の処理を行う。   First, in steps S201 to S203 in FIG. 8, the same processing as that in steps S101 to S103 of the first processing operation described above is performed.

その後、ステップＳ２０４において、レーンマーク候補判定部２１６は、上述した第１処理動作のステップＳ１０５と同様に、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとにおける第４レーンマーク候補２１０ｄと直交する方向の距離Ｄｂを算出する。   Thereafter, in step S204, the lane mark candidate determination unit 216 is orthogonal to the fourth lane mark candidate 210d in the second lane mark candidate 210b and the fourth lane mark candidate 210d, as in step S105 of the first processing operation described above. The distance Db in the direction to be calculated is calculated.

ステップＳ２０５において、レーンマーク候補判定部２１６は、算出した距離Ｄａが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ２０６に進み、第１レーンマーク補間部２１８Ａは、図６Ａに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定する。   In step S205, the lane mark candidate determination unit 216 determines whether or not the calculated distance Da is within a predetermined range. If it is within the predetermined range, the process proceeds to step S206, and the first lane mark interpolating unit 218A, as shown in FIG. 6A, imaginary left side to interpolate the first lane mark candidate 210a and the third lane mark candidate 210c. A lane mark 224L is set.

上記ステップＳ２０６での処理が終了した段階、あるいは、上記ステップＳ２０５において、距離Ｄａが所定範囲内でないと判別された場合は、ステップＳ２０７に進み、ステップＳ２０７において、レーンマーク候補判定部２１６は、算出した距離Ｄｂが所定範囲内であるかどうかを判定する。所定範囲内であれば、ステップＳ２０８に進み、第１レーンマーク補間部２１８Ａは、図６Ａに示すように、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。   When the process in step S206 is completed, or when it is determined in step S205 that the distance Da is not within the predetermined range, the process proceeds to step S207. In step S207, the lane mark candidate determination unit 216 calculates It is determined whether the measured distance Db is within a predetermined range. If it is within the predetermined range, the process proceeds to step S208, and the first lane mark interpolation unit 218A, as shown in FIG. 6A, virtually interpolates the second lane mark candidate 210b and the fourth lane mark candidate 210d. A lane mark 224R is set.

次に、第２周辺認識部１７０Ｂについて図９〜図１２を参照しながら説明する。なお、第１周辺認識部１７０Ａと同様の構成及び機能については、その重複説明を省略する。   Next, the second periphery recognition unit 170B will be described with reference to FIGS. In addition, about the structure and function similar to 170 A of 1st periphery recognition parts, the duplication description is abbreviate | omitted.

第２周辺認識部１７０Ｂは、図９に示すように、特定シーン検知部２０２と、第２補間処理部２０４Ｂとを有する。   As shown in FIG. 9, the second periphery recognition unit 170B includes a specific scene detection unit 202 and a second interpolation processing unit 204B.

第２補間処理部２０４Ｂは、上述した第１補間処理部２０４Ａと同様に、特定シーン検知部２０２での特定シーン２０８の検知に基づいて、奥側のレーンマーク候補と手前側のレーンマーク候補とを補間処理する。   Similar to the first interpolation processing unit 204A described above, the second interpolation processing unit 204B, based on the detection of the specific scene 208 by the specific scene detection unit 202, includes a lane mark candidate on the back side and a lane mark candidate on the near side. Is interpolated.

この第２補間処理部２０４Ｂは、上述した画像変換部２１２と、シーン分割処理部２２６と、補間処理判定部２２８と、領域連結処理部２３０と、連結判定部２３２と、第２レーンマーク補間部２１８Ｂとを有する。   The second interpolation processing unit 204B includes the image conversion unit 212, the scene division processing unit 226, the interpolation processing determination unit 228, the region connection processing unit 230, the connection determination unit 232, and the second lane mark interpolation unit. 218B.

シーン分割処理部２２６は、図１０Ａに示すように、ＢＥＶ画像２２０を自車１０の進行方向に３つ以上の領域に分割する。図１０Ａでは、ＢＥＶ画像２２０を自車１０の進行方向に４つの領域（第１領域Ｚ１、第２領域Ｚ２、第３領域Ｚ３及び第４領域Ｚ４）に分割した例を示す。   As shown in FIG. 10A, the scene division processing unit 226 divides the BEV image 220 into three or more regions in the traveling direction of the host vehicle 10. FIG. 10A shows an example in which the BEV image 220 is divided into four regions (first region Z1, second region Z2, third region Z3, and fourth region Z4) in the traveling direction of the host vehicle 10.

補間処理判定部２２８は、分割された４つ領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在するか否かを判定する。レーンマークの候補としては、破線の白線の一部が挙げられる。第２領域Ｚ２又は第３領域Ｚ３にレーンマークの候補が存在する場合は、第２補間処理部２０４Ｂでの補間処理を行わない。破線の白線が引かれた車線は、画像上において破線として描画され、奥側の領域と、手前側の領域の間である第２領域Ｚ２又は第３領域Ｚ３で走行ＥＣＵ３６等においてレーンマークとして認識されるからである。これにより、交差点と思われる特定シーン２０８でのみ、補間処理を行うことができる。   The interpolation processing determination unit 228 determines whether there is a lane mark candidate in a region (second region Z2 and third region Z3) between the four divided regions (first region Z1 to fourth region Z4). Determine whether or not. As a lane mark candidate, a part of a broken white line can be cited. When there is a lane mark candidate in the second region Z2 or the third region Z3, the interpolation processing in the second interpolation processing unit 204B is not performed. A lane with a dashed white line is drawn as a broken line on the image, and is recognized as a lane mark in the travel ECU 36 or the like in the second area Z2 or the third area Z3 between the rear area and the front area. Because it is done. Thereby, the interpolation process can be performed only in the specific scene 208 that seems to be an intersection.

一方、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在しない場合は、領域連結処理部２３０は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外して、奥側の第１領域Ｚ１と手前の第４領域Ｚ４とを連結する。すなわち、図１０Ｂに示すように、第１領域Ｚ１と第４領域Ｚ４とが連結されたＢＥＶ画像２２０（以下、連結画像２３４と記す）が描画される。   On the other hand, if there is no lane mark candidate in the region between the second region Z2 and the third region Z3, the region connection processing unit 230 displays the four divided regions (first region Z1 to fourth region Z4). ), The inner region (second region Z2 and third region Z3) is excluded, and the first region Z1 on the back side and the fourth region Z4 on the near side are connected. That is, as shown in FIG. 10B, a BEV image 220 (hereinafter referred to as a connected image 234) in which the first region Z1 and the fourth region Z4 are connected is drawn.

連結判定部２３２は、第１領域Ｚ１の第１レーンマーク候補２１０ａと第４領域Ｚ４の第３レーンマーク候補２１０ｃとが連結され、また、第１領域Ｚ１の第２レーンマーク候補２１０ｂと第４領域Ｚ４の第４レーンマーク候補２１０ｄとが連結されているか否かを判別する。いずれも連結されていれば、図１０Ｂに示すように、第２レーンマーク補間部２１８Ｂは、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを１つの左側レーンマーク２３６Ｌとして認識し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを１つの右側レーンマーク２３６Ｒとして認識する。   The connection determination unit 232 connects the first lane mark candidate 210a in the first region Z1 and the third lane mark candidate 210c in the fourth region Z4, and also connects the second lane mark candidate 210b in the first region Z1 and the fourth lane mark candidate 210b. It is determined whether or not the fourth lane mark candidate 210d in the region Z4 is connected. If both are connected, as shown in FIG. 10B, the second lane mark interpolation unit 218B recognizes the first lane mark candidate 210a and the third lane mark candidate 210c as one left lane mark 236L, and The two lane mark candidates 210b and the fourth lane mark candidate 210d are recognized as one right lane mark 236R.

一方、図１１Ａに示すように、連結判定部２３２によって、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結されておらず、また、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結されていないと判別された場合は、第２レーンマーク補間部２１８Ｂは、図１１Ｂに示すように、上述した第１レーンマーク補間部２１８Ａと同様の処理を行って、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定してもよい。   On the other hand, as shown in FIG. 11A, the first lane mark candidate 210a and the third lane mark candidate 210c are not connected by the connection determining unit 232, and the second lane mark candidate 210b and the fourth lane mark candidate are not connected. If it is determined that the second lane mark interpolation unit 218B is not connected to the second lane mark interpolation unit 218B, the second lane mark interpolation unit 218B performs the same processing as the first lane mark interpolation unit 218A described above, as illustrated in FIG. A virtual left lane mark 224L is set so as to interpolate between the mark candidate 210a and the third lane mark candidate 210c, and a virtual right lane mark is interpolated between the second lane mark candidate 210b and the fourth lane mark candidate 210d. 224R may be set.

ここで、第２補間処理部２０４Ｂの処理動作を図１２のフローチャートを参照しながら説明する。なお、第１補間処理部２０４Ａと同様の処理を行うステップは、その重複説明を省略する。   Here, the processing operation of the second interpolation processing unit 204B will be described with reference to the flowchart of FIG. Note that the description of the step of performing the same processing as that of the first interpolation processing unit 204A is omitted.

先ず、図１２のステップＳ３０１において、特定シーン検知部２０２は、カメラ画像２０６から特定シーン２０８（図４Ａ参照）を検知する。特定シーン２０８を検知した段階で（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２に進み、画像変換部２１２は、特定シーン２０８の画像をＢＥＶ画像２２０（図４Ｂ参照）に変換する。   First, in step S301 of FIG. 12, the specific scene detection unit 202 detects a specific scene 208 (see FIG. 4A) from the camera image 206. When the specific scene 208 is detected (step S301: YES), the process proceeds to step S302, and the image conversion unit 212 converts the image of the specific scene 208 into a BEV image 220 (see FIG. 4B).

ステップＳ３０３において、シーン分割処理部２２６は、図１０Ａに示すように、ＢＥＶ画像２２０を自車１０の進行方向に３つ以上の領域に分割する。例えば４つの領域（第１領域Ｚ１〜第４領域Ｚ４）に分割する。   In step S303, the scene division processing unit 226 divides the BEV image 220 into three or more regions in the traveling direction of the host vehicle 10, as shown in FIG. 10A. For example, it is divided into four regions (first region Z1 to fourth region Z4).

ステップＳ３０４において、補間処理判定部２２８は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在するか否かを判定する。   In step S304, the interpolation processing determination unit 228 selects candidate lane marks in the regions (second region Z2 and third region Z3) among the four divided regions (first region Z1 to fourth region Z4). It is determined whether or not exists.

レーンマークの候補が存在しない場合（Ｓ３０４：ＹＥＳ）は、ステップＳ３０５に進み、領域連結処理部２３０は、分割された４つの領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外して、図１０Ｂに示すように、奥側の第１領域Ｚ１と手前の第４領域Ｚ４とを連結する。なお、間の領域（第２領域Ｚ２及び第３領域Ｚ３）にレーンマークの候補が存在している場合（ステップＳ３０４：ＮＯ）は、この第２補間処理部２０４Ｂでの処理を終了する。   If there is no lane mark candidate (S304: YES), the process proceeds to step S305, and the region connection processing unit 230 is a region between the divided four regions (first region Z1 to fourth region Z4). Excluding (second region Z2 and third region Z3), as shown in FIG. 10B, the first region Z1 on the back side and the fourth region Z4 on the near side are connected. If there is a lane mark candidate in the area between the second area Z2 and the third area Z3 (step S304: NO), the processing in the second interpolation processing unit 204B is terminated.

ステップＳ３０６において、連結判定部２３２は、第１領域Ｚ１の第１レーンマーク候補２１０ａと第４領域Ｚ４の第３レーンマーク候補２１０ｃとが連結され、また、第１領域Ｚ１の第２レーンマーク候補２１０ｂと第４領域Ｚ４の第４レーンマーク候補２１０ｄとが連結されているか否かを判別する。   In step S306, the connection determination unit 232 connects the first lane mark candidate 210a in the first region Z1 and the third lane mark candidate 210c in the fourth region Z4, and also the second lane mark candidate in the first region Z1. It is determined whether 210b and the fourth lane mark candidate 210d in the fourth area Z4 are connected.

いずれも連結されていれば（ステップＳ３０６：ＹＥＳ）、ステップＳ３０７に進み、第２レーンマーク補間部２１８Ｂは、図１０Ｂに示すように、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃを、１つの左側レーンマーク２３６Ｌとして認識する。同様に、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄを、１つの右側レーンマーク２３６Ｒとして認識する。   If both are connected (step S306: YES), the process proceeds to step S307, and the second lane mark interpolation unit 218B determines the first lane mark candidate 210a and the third lane mark candidate 210c as shown in FIG. 10B. This is recognized as one left lane mark 236L. Similarly, the second lane mark candidate 210b and the fourth lane mark candidate 210d are recognized as one right lane mark 236R.

上記ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結されておらず、また、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結されていないと判別された場合は（ステップＳ３０６：ＮＯ）、ステップＳ３０８に進み、第２レーンマーク補間部２１８Ｂは、図１１Ｂに示すように、上述した第１レーンマーク補間部２１８Ａと同様の処理を行って、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定する。   In step S306, it is determined that the first lane mark candidate 210a and the third lane mark candidate 210c are not linked, and the second lane mark candidate 210b and the fourth lane mark candidate 210d are not linked. If (step S306: NO), the process proceeds to step S308, and the second lane mark interpolation unit 218B performs the same processing as the first lane mark interpolation unit 218A as shown in FIG. A virtual left lane mark 224L is set so as to interpolate the lane mark candidate 210a and the third lane mark candidate 210c, and a virtual right lane so that the second lane mark candidate 210b and the fourth lane mark candidate 210d are interpolated. The mark 224R is set.

なお、ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結し、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結していないと判別された場合は、ステップＳ３０７において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃを、１つの左側レーンマーク２３６Ｌとして認識し、ステップＳ３０８において、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとを補間するように仮想の右側レーンマーク２２４Ｒを設定してもよい。   In step S306, if it is determined that the first lane mark candidate 210a and the third lane mark candidate 210c are connected and the second lane mark candidate 210b and the fourth lane mark candidate 210d are not connected, In step S307, the first lane mark candidate 210a and the third lane mark candidate 210c are recognized as one left lane mark 236L, and in step S308, the second lane mark candidate 210b and the fourth lane mark candidate 210d are interpolated. As described above, the virtual right lane mark 224R may be set.

もちろん、ステップＳ３０６において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとが連結しておらず、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとが連結していると判別された場合は、ステップＳ３０７において、第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄを、１つの右側レーンマーク２３６Ｒとして認識し、ステップＳ３０８において、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとを補間するように仮想の左側レーンマーク２２４Ｌを設定してもよい。   Of course, in step S306, it is determined that the first lane mark candidate 210a and the third lane mark candidate 210c are not linked, and the second lane mark candidate 210b and the fourth lane mark candidate 210d are linked. In step S307, the second lane mark candidate 210b and the fourth lane mark candidate 210d are recognized as one right lane mark 236R. In step S308, the first lane mark candidate 210a and the third lane mark candidate 210c The virtual left lane mark 224L may be set so as to interpolate.

また、上述したステップＳ３０６及びＳ３０８の処理を省略してもよい。この場合、奥側のレーンマークと手前側のレーンマークが連結されない場合もあり得る。しかし、間の領域（第２領域Ｚ２及び第３領域Ｚ３）を除外することで、奥側のレーンマークと手前側のレーンマークとを互いに近づけることができる。そのため、例えば破線のレーンマークよりも間隔を近づけた状態で認識することが可能となり、レーンマークを精度良く認識することが可能となる。   In addition, the processes in steps S306 and S308 described above may be omitted. In this case, the rear lane mark and the front lane mark may not be connected. However, by excluding the intervening regions (second region Z2 and third region Z3), the rear lane mark and the near lane mark can be brought closer to each other. For this reason, for example, it is possible to recognize in a state where the interval is closer than that of the broken lane mark, and it is possible to recognize the lane mark with high accuracy.

このように、本実施の形態に係る運転補助装置は、運転者の運転操作を補助する運転補助装置であって、道路上に存在するレーンマークを検知するレーンマーク検知部（車外カメラ５０等）と、カメラ画像２０６上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補（第１レーンマーク候補２１０ａ〜第４レーンマーク候補２１０ｄ）が存在する特定シーン２０８を検知した場合、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第２レーンマーク候補２１０ｂ、第４レーンマーク候補２１０ｄ）との間を補間処理する補間処理部（第１補間処理部２０４Ａ、第２補間処理部２０４Ｂ）とを有する。   As described above, the driving assistance device according to the present embodiment is a driving assistance device that assists the driving operation of the driver, and a lane mark detection unit (such as a vehicle camera 50) that detects a lane mark present on the road. And a specific scene 208 in which lane mark candidates (first lane mark candidate 210a to fourth lane mark candidate 210d) exist on the back side and the near side at intervals of a predetermined distance or more on the camera image 206, respectively. Interpolation processing between the rear lane mark candidates (first lane mark candidate 210a and second lane mark candidate 210b) and the front lane mark candidates (second lane mark candidate 210b and fourth lane mark candidate 210d) Interpolation processing units (first interpolation processing unit 204A, second interpolation processing unit 204B).

従来は、手前側の白線を検知し、その後、近似直線上に奥側の白線が検知された場合にレーンマークとして認識することから、道路上の別の物体や汚れ等を、交差点の遠方の白線のエッジとして検出したり、手前側の右側の白線エッジと、奥側の左側の白線エッジとを近似直線で接続するおそれがある。交差点等では、そもそも抽出されるレーンマーク候補の長さが短く、手前側のレーンマークを正しく認識することも困難である。   Conventionally, a white line on the near side is detected and then recognized as a lane mark when a white line on the back side is detected on the approximate straight line, so another object or dirt on the road is distant from the intersection. There is a possibility that it is detected as an edge of a white line, or a white line edge on the right side on the near side and a white line edge on the left side on the far side are connected by an approximate straight line. At an intersection or the like, the length of the extracted lane mark candidate is short in the first place, and it is difficult to correctly recognize the lane mark on the near side.

しかし、本実施の形態では、カメラ画像２０６上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補（第１レーンマーク候補２１０ａ〜第４レーンマーク候補２１０ｄ）が存在する特定シーン２０８を検知した段階で、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）との間を補間処理することから、例えば交差点内に仮想のレーンマークを精度良く設定することができる。つまり、走行ＥＣＵ３６等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。   However, in the present embodiment, the lane mark candidates (first lane mark candidate 210a to fourth lane mark candidate 210d) exist on the back side and the near side at intervals of a predetermined distance or more on the camera image 206. When the scene 208 is detected, the rear lane mark candidates (first lane mark candidate 210a, second lane mark candidate 210b) and the near lane mark candidates (third lane mark candidate 210c, fourth lane mark candidate 210d). ), The virtual lane mark can be accurately set in the intersection, for example. That is, it is possible to cause the travel ECU 36 or the like to recognize the virtual lane mark with high accuracy and with a small load, and it is possible to perform a suitable automatic driving according to the plan of the own vehicle movement route.

本実施の形態において、第１補間処理部２０４Ａは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）とが手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理する。   In the present embodiment, the first interpolation processing unit 204A includes a back lane mark candidate (first lane mark candidate 210a, second lane mark candidate 210b) and a front lane mark candidate (third lane mark candidate 210c, When the fourth lane mark candidate 210d) is within a predetermined range at a distance in a direction orthogonal to the near lane mark candidate, interpolation processing is performed between the far lane mark candidate and the near lane mark candidate. .

これにより、実際にレーンマークのない、例えば交差点等において、仮想の一対のレーンマークを精度良く設定することができ、走行ＥＣＵ３６等に仮想のレーンマークを精度良く、且つ、小さな負荷で認識させることができ、自車移動経路の計画に応じた好適な自動運転を可能とする。   As a result, a virtual pair of lane marks can be set with high accuracy at an intersection or the like that does not actually have a lane mark, and the travel ECU 36 can recognize the virtual lane mark with high accuracy and with a small load. This makes it possible to perform suitable automatic driving according to the plan of the own vehicle movement route.

この場合、補間処理とは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）の間に仮想的なレーンマークを設定し、奥側のレーンマーク候補と手前側のレーンマーク候補を連結することである。   In this case, the interpolation processing includes the rear lane mark candidate (first lane mark candidate 210a, second lane mark candidate 210b) and the front lane mark candidate (third lane mark candidate 210c, fourth lane mark candidate 210d). ) Between the lane mark candidates on the back side and the lane mark candidates on the near side.

本実施の形態において、第２補間処理部２０４Ｂは、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ、第２レーンマーク候補２１０ｂ）が存在する領域と手前側のレーンマーク候補（第３レーンマーク候補２１０ｃ、第４レーンマーク候補２１０ｄ）が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結してもよい。   In the present embodiment, the second interpolation processing unit 204B includes the area where the rear lane mark candidates (first lane mark candidate 210a and second lane mark candidate 210b) exist and the front lane mark candidate (third lane). The area on the back side and the area on the near side may be connected by excluding the area between the area where the mark candidate 210c and the fourth lane mark candidate 210d) exist.

これにより、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとを連結し、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとを連結することが可能となる。その結果、センサ等にぶれが生じても、確実に、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの間を補間処理することができると共に、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとを補間処理することができる。   As a result, the back side first lane mark candidate 210a and the front side third lane mark candidate 210c are connected, and the back side second lane mark candidate 210b and the front side fourth lane mark candidate 210d are connected. It becomes possible. As a result, even if the sensor or the like is shaken, it is possible to reliably interpolate between the back-side first lane mark candidate 210a and the near-side third lane mark candidate 210c, and the back-side first lane mark candidate 210c. The two-lane mark candidate 210b and the front-side fourth lane mark candidate 210d can be interpolated.

たとえ、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとが連結せず、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとが連結しない場合でも、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの離間距離、並びに奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとの離間距離が短くなることから、センサ等にぶれが生じても、確実に、奥側の第１レーンマーク候補２１０ａと手前側の第３レーンマーク候補２１０ｃとの間に仮想の左側レーンマーク２２４Ｌを補間処理することができると共に、奥側の第２レーンマーク候補２１０ｂと手前側の第４レーンマーク候補２１０ｄとの間に仮想の右側レーンマーク２２４Ｒを補間処理することができる。   For example, the back first lane mark candidate 210a and the front third lane mark candidate 210c are not connected, and the back second lane mark candidate 210b and the front fourth lane mark candidate 210d are not connected. Even in this case, the distance between the back first lane mark candidate 210a and the front third lane mark candidate 210c and the distance between the back second lane mark candidate 210b and the front fourth lane mark candidate 210d. Since the distance becomes shorter, even if the sensor or the like is shaken, the virtual left lane mark 224L is reliably interpolated between the first lane mark candidate 210a on the back side and the third lane mark candidate 210c on the near side. And a virtual right lane mark between the second lane mark candidate 210b on the back side and the fourth lane mark candidate 210d on the near side. 24R can be the interpolation processing.

さらに、第２補間処理部２０４Ｂは、道路に沿って３以上の領域（例えば第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２、第３領域Ｚ３）にレーンマークの候補が検出されない場合に、補間処理を行う。   Furthermore, the second interpolation processing unit 204B lane marks in the regions (second region Z2, third region Z3) among three or more regions (for example, the first region Z1 to the fourth region Z4) along the road. If no candidate is detected, interpolation processing is performed.

奥側と手前側でそれぞれ線が存在するシーンとしては、交差点のほか、破線のレーンマークが引かれている車線等がある。破線のレーンマークが引かれた車線は、画像上において破線として描画されるため、走行ＥＣＵ３６等はレーンマークとして認識することができる。   Scenes in which lines exist on the far side and the near side include lanes with dashed lane marks in addition to intersections. Since the lane with the broken lane mark drawn is drawn as a broken line on the image, the traveling ECU 36 can recognize the lane mark as a lane mark.

一方、交差点等においては、実線のレーンマークや破線のレーンマークが引かれていないため、走行ＥＣＵ３６等は走行レーンを認識することができない。そこで、３以上の領域（第１領域Ｚ１〜第４領域Ｚ４）のうち、間の領域（第２領域Ｚ２、第３領域Ｚ３）にレーンマークの候補が検出されない場合、すなわち、破線のレーンマーク等が検出されない場合に補間処理を行うことで、ＥＣＵ等に仮想のレーンマークとして認識させることができる。   On the other hand, since no solid lane mark or broken lane mark is drawn at an intersection or the like, the travel ECU 36 cannot recognize the travel lane. Therefore, if no lane mark candidate is detected in the region (second region Z2, third region Z3) among the three or more regions (first region Z1 to fourth region Z4), that is, a broken lane mark. By performing the interpolation process when no etc. are detected, the ECU or the like can be recognized as a virtual lane mark.

すなわち、補間処理を実施しなくてもよい場面で、補間処理を実施するという無駄を省くことができ、ＥＣＵ等による認識負荷を抑えることができ、タイムラグの無い認識を行うことができる。   That is, in a scene where the interpolation process need not be performed, waste of performing the interpolation process can be eliminated, the recognition load by the ECU or the like can be suppressed, and recognition without a time lag can be performed.

なお、この発明は、上述した実施の形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。   Note that the present invention is not limited to the above-described embodiment, and it is needless to say that the present invention can be freely changed without departing from the gist of the present invention.

上述の例では、第１レーンマーク候補２１０ａと第３レーンマーク候補２１０ｃとの間、並びに第２レーンマーク候補２１０ｂと第４レーンマーク候補２１０ｄとの間を、それぞれ直線で補間するようにしたが、それぞれ曲線で補間してもよい。曲線としては、円弧状、楕円弧状等がある。   In the above example, the first lane mark candidate 210a and the third lane mark candidate 210c and the second lane mark candidate 210b and the fourth lane mark candidate 210d are respectively interpolated with straight lines. Each may be interpolated with a curve. Examples of the curve include an arc shape and an elliptic arc shape.

また、うねった道路に交差点が存在する場合、奥側のレーンマーク候補（第１レーンマーク候補２１０ａ及び第３レーンマーク候補２１０ｃ）を撮像できない場合が生ずる。このような場合、撮像できたレーンマーク候補を含む交差点の画像のＢＥＶ画像２２０に、現在位置Ｐｃｕｒの地図情報Ｉｍａｐを重ね合せて、奥側のレーンマーク候補を描画することで、特定シーン２０８を検知してもよい。   In addition, when there is an intersection on a wavy road, there may be a case where the rear lane mark candidates (first lane mark candidate 210a and third lane mark candidate 210c) cannot be imaged. In such a case, the specific scene 208 is drawn by superimposing the map information Imap of the current position Pcur on the BEV image 220 of the intersection image including the captured lane mark candidate, and drawing the lane mark candidate on the back side. It may be detected.

レーンマークとしては、例えば白線、破線の白線等が挙げられるが、レーンマークを表すものであれば何でも適用可能であり、例えば黄色線等も対象としてもよい。   Examples of the lane mark include a white line and a broken white line. However, any lane mark may be applied as long as it represents a lane mark. For example, a yellow line may be used.

本実施の形態は、周辺監視に基づく仮想のレーンマークの設定を主体としているため、自動走行制御に限らず、レーン逸脱時に警報を出力するという警報装置にも利用することができる。   Since the present embodiment is mainly configured to set virtual lane marks based on surrounding monitoring, the present embodiment can be used not only for automatic travel control but also for an alarm device that outputs an alarm when the vehicle departs from a lane.

図４Ａ及び図４Ｂ、図５Ａ及び図５Ｂ、図１０Ａ及び図１０Ｂ、図１１Ａ及び図１１Ｂでは、レーンマーク候補を幅を持つものとして認識しているが、必ずしもそうする必要はなく、幅を持たない単なる線としてレーンマーク候補を認識してもよい。   4A and 4B, FIG. 5A and FIG. 5B, FIG. 10A and FIG. 10B, and FIG. 11A and FIG. 11B recognize the lane mark candidate as having a width. The lane mark candidate may be recognized as a simple line.

上述の例では、主に、車外カメラ５０にて撮像した画像に基づいて特定シーンを検知するようにしているが、その他、地図情報Ｉｍａｐから特定シーン２０８を検知（取得）してもよい。   In the above example, the specific scene is mainly detected based on the image captured by the outside camera 50, but the specific scene 208 may be detected (acquired) from the map information Imap.

上述の実施の形態では、特定シーン２０８を検知した場合にＢＥＶ画像２２０を作成するようにしているが、それに限らず、必要な場合に適宜作成してもよいし、常時作成してもよい。   In the above-described embodiment, the BEV image 220 is generated when the specific scene 208 is detected. However, the present invention is not limited to this, and the BEV image 220 may be appropriately generated when necessary.

上述の実施の形態では、奥側の領域と手前側の領域のいずれか一つにてレーンマーク候補が抽出された場合は、補間処理を行わないとしたが、レーンマーク候補が抽出されなかった領域のみ除外して、抽出された領域同士を連結してレーンマークを認識してもよい。これは、特定シーン２０８を例えば４分割や６分割等、多く分割した場合に、レーンマーク候補が存在しない領域のみ除外し、レーンマーク候補が存在する領域同士を連結してレーンマークを認識する等が挙げられる。もちろん、交差点でない場合でも適用可能である。   In the above-described embodiment, when a lane mark candidate is extracted in any one of the back area and the near area, interpolation processing is not performed, but no lane mark candidate is extracted. Only the areas may be excluded, and the extracted areas may be connected to recognize the lane mark. This is because, for example, when the specific scene 208 is divided into many parts such as four or six, only the areas where no lane mark candidates exist are excluded, and the lane marks are recognized by connecting the areas where the lane mark candidates exist Is mentioned. Of course, it is applicable even when it is not an intersection.

上述の実施の形態では、車両周辺センサ群２０に複数の車外カメラ５０を含むが、複数の車外カメラ５０に、車両１０の前方を検出するステレオカメラが含まれてもよい。もちろん、レーンマークを認識するに当たっては、単一のカメラでもよい。   In the above-described embodiment, the vehicle periphery sensor group 20 includes a plurality of outside cameras 50, but the plurality of outside cameras 50 may include a stereo camera that detects the front of the vehicle 10. Of course, a single camera may be used to recognize the lane mark.

上記実施の形態の車体挙動センサ群２２には、車速センサ６０、横加速度センサ６２及びヨーレートセンサ６４を含むが（図１参照）、これに限らない。例えば、横加速度センサ６２及びヨーレートセンサ６４のいずれか１つ又は複数を省略することも可能である。   The vehicle body behavior sensor group 22 of the above embodiment includes a vehicle speed sensor 60, a lateral acceleration sensor 62, and a yaw rate sensor 64 (see FIG. 1), but is not limited thereto. For example, any one or more of the lateral acceleration sensor 62 and the yaw rate sensor 64 can be omitted.

上記実施の形態の運転操作センサ群２４には、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６を含むが（図１参照）、これに限らない。例えば、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６のいずれか１つ又は複数を省略することも可能である。   The driving operation sensor group 24 of the embodiment includes the AP sensor 80, the BP sensor 82, the steering angle sensor 84, and the steering torque sensor 86 (see FIG. 1), but is not limited thereto. For example, any one or more of the AP sensor 80, the BP sensor 82, the steering angle sensor 84, and the steering torque sensor 86 may be omitted.

上記の実施の形態では、自動運転制御で対象となるアクチュエータとして、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０を用いたが（図１参照）、これに限らない。例えば、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０のいずれか１つ又は２つを自動運転制御の対象から外すことも可能である。いずれかのアクチュエータを自動運転制御の対象から外した場合、対象から外されたアクチュエータに関する制御は、運転者が行うこととなる。さらに、上記のように、ＥＰＳモータ１４０の代わりに、左右の車輪のトルク差を用いて旋回することも可能である。もちろん、例えばレーンキープ制御や車間維持制御等も自動運転制御に含む。   In the above-described embodiment, the engine 120, the brake mechanism 130, and the EPS motor 140 are used as the actuators that are targets in the automatic operation control (see FIG. 1), but are not limited thereto. For example, any one or two of the engine 120, the brake mechanism 130, and the EPS motor 140 can be excluded from the targets of automatic operation control. When one of the actuators is excluded from the target of the automatic operation control, the driver performs control related to the actuator that is excluded from the target. Further, as described above, it is possible to turn using the torque difference between the left and right wheels instead of the EPS motor 140. Of course, for example, lane keeping control, inter-vehicle maintenance control, and the like are included in the automatic operation control.

上記の実施の形態では、車両１０の加速、減速及び旋回のいずれについても運転者の運転操作を要さない自動運転について説明したが（図２参照）、これに限らない。例えば、車両１０の加速、減速及び旋回のいずれか１つ又は２つについてのみ運転者の運転操作を要さない自動運転、又は運転者の運転操作を補助する自動運転に本発明を適用することも可能である。   In the above-described embodiment, the automatic driving that does not require the driver's driving operation for any of acceleration, deceleration, and turning of the vehicle 10 has been described (see FIG. 2), but is not limited thereto. For example, the present invention is applied to automatic driving that does not require the driver's driving operation for only one or two of acceleration, deceleration, and turning of the vehicle 10, or automatic driving that assists the driving operation of the driver. Is also possible.

１０…車両（自車） ２０…車両周辺センサ群
３６…走行ＥＣＵ（ＥＣＵ） ５０…車外カメラ
１７０…周辺認識部 １７０Ａ…第１周辺認識部
１７０Ｂ…第２周辺認識部 １７２…行動計画部
１７４…走行制御部 ２０２…特定シーン検知部
２０４Ａ…第１補間処理部 ２０４Ｂ…第２補間処理部
２０６…カメラ画像 ２０８…特定シーン
２１０ａ〜２１０ｄ…第１レーンマーク候補〜第４レーンマーク候補
２１２…画像変換部 ２１６…レーンマーク候補判定部
２１８Ａ…第１レーンマーク補間部 ２１８Ｂ…第２レーンマーク補間部
２２０…ＢＥＶ画像 ２２４Ｌ…左側レーンマーク
２２４Ｒ…右側レーンマーク ２２６…シーン分割処理部
２２８…補間処理判定部 ２３０…領域連結処理部
２３２…連結判定部 ２３４…連結画像
Ｚ１〜Ｚ４…第１領域〜第４領域 DESCRIPTION OF SYMBOLS 10 ... Vehicle (own vehicle) 20 ... Vehicle periphery sensor group 36 ... Traveling ECU (ECU) 50 ... Outside camera 170 ... Periphery recognition part 170A ... 1st periphery recognition part 170B ... 2nd periphery recognition part 172 ... Action plan part 174 ... Travel control unit 202 ... specific scene detection unit 204A ... first interpolation processing unit 204B ... second interpolation processing unit 206 ... camera image 208 ... specific scenes 210a to 210d ... first lane mark candidate to fourth lane mark candidate 212 ... image conversion 216 ... Lane mark candidate determination unit 218A ... First lane mark interpolation unit 218B ... Second lane mark interpolation unit 220 ... BEV image 224L ... Left lane mark 224R ... Right lane mark 226 ... Scene division processing unit 228 ... Interpolation process determination unit 230 ... region connection processing unit 232 ... connection determination unit 234 ... connected images Z1 to Z4 ... first region -Fourth region

Claims (7)

運転者の運転操作を補助する運転補助装置であって、
道路上に存在するレーンマークを検知するレーンマーク検知部と、
画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知した場合、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理する補間処理部を有することを特徴とする運転補助装置。 A driving assistance device that assists the driving operation of the driver,
A lane mark detection unit for detecting a lane mark present on the road;
When a specific scene with lane mark candidates on the far side and near side is detected at an interval of a predetermined distance or more on the image, interpolation is performed between the far side lane mark candidate and the near side lane mark candidate. A driving assistance device comprising an interpolation processing unit for processing. 請求項１記載の運転補助装置において、
前記補間処理部は、前記奥側のレーンマーク候補と手前側のレーンマーク候補とが前記手前側のレーンマーク候補と直交する方向の距離にて所定範囲内である場合に、前記奥側のレーンマーク候補と手前側のレーンマーク候補の間を補間処理することを特徴とする運転補助装置。 The driving assistance device according to claim 1,
The interpolation processing unit, when the back side lane mark candidate and the near side lane mark candidate are within a predetermined range at a distance in a direction perpendicular to the near side lane mark candidate, A driving assistance device that performs an interpolation process between a mark candidate and a front lane mark candidate. 請求項２記載の運転補助装置において、
前記補間処理とは、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補の間に仮想的な線を設定し、前記奥側のレーンマーク候補と前記手前側のレーンマーク候補を連結することであることを特徴とする運転補助装置。 The driving assistance device according to claim 2,
In the interpolation process, a virtual line is set between the back lane mark candidate and the near lane mark candidate, and the back lane mark candidate and the near lane mark candidate are connected. A driving assistance device characterized by that. 請求項１〜３のいずれか１項に記載の運転補助装置において、
前記補間処理部は、
前記奥側のレーンマーク候補が存在する領域と前記手前側のレーンマーク候補が存在する領域との間の領域を除外して、奥側の領域と手前の領域とを連結することを特徴とする運転補助装置。 In the driving assistance device according to any one of claims 1 to 3,
The interpolation processing unit
The area on the back side and the area on the near side are connected to each other by excluding the area between the area on which the lane mark candidate on the back side exists and the area on which the lane mark candidate on the near side exists. Driving assistance device. 請求項４記載の運転補助装置において、
前記補間処理部は、
前記道路に沿って３以上の複数の領域を設定し、
前記３以上の領域のうち、前記間の領域にレーンマーク候補が検出されない場合に、前記補間処理を行うことを特徴とする運転補助装置。 The driving assistance device according to claim 4, wherein
The interpolation processing unit
Set multiple areas of 3 or more along the road,
The driving assist device, wherein the interpolation process is performed when no lane mark candidate is detected in the region between the three or more regions. 請求項１〜５のいずれか１項に記載の運転補助装置において、
前記特定シーンは交差点であることを特徴とする運転補助装置。 In the driving assistance device according to any one of claims 1 to 5,
The driving assistance device, wherein the specific scene is an intersection. 運転者の運転操作を補助する運転補助方法であって、
画像上で所定距離以上の間隔を置いて奥側と手前側でそれぞれレーンマーク候補が存在する特定シーンを検知するステップと、
前記特定シーンの検知に基づいて、前記奥側のレーンマーク候補と手前側のレーンマーク候補との間を補間処理するステップとを有することを特徴とする運転補助方法。 A driving assistance method for assisting the driving operation of the driver,
Detecting a specific scene where lane mark candidates exist on the back side and the near side at an interval of a predetermined distance or more on the image, and
And a step of interpolating between the back lane mark candidate and the near lane mark candidate based on the detection of the specific scene.
JP2017004559A 2017-01-13 2017-01-13 Driving assistance device and driving assistance method Active JP6832164B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017004559A JP6832164B2 (en) 2017-01-13 2017-01-13 Driving assistance device and driving assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017004559A JP6832164B2 (en) 2017-01-13 2017-01-13 Driving assistance device and driving assistance method

Publications (2)

Publication Number Publication Date
JP2018112989A true JP2018112989A (en) 2018-07-19
JP6832164B2 JP6832164B2 (en) 2021-02-24

Family

ID=62911237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017004559A Active JP6832164B2 (en) 2017-01-13 2017-01-13 Driving assistance device and driving assistance method

Country Status (1)

Country Link
JP (1) JP6832164B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045428A1 (en) * 2018-08-31 2020-03-05 株式会社デンソー Traveling track data generation device at intersection, traveling track data generation program, and vehicle-mounted device
JP2020038622A (en) * 2018-09-04 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Lane line tracking method and device
JP2020038365A (en) * 2018-08-31 2020-03-12 株式会社デンソー Device and program for generating travel path data in intersection and on-vehicle machine
JPWO2020157532A1 (en) * 2019-01-31 2020-08-06
CN112309232A (en) * 2020-10-15 2021-02-02 北京三快在线科技有限公司 Method and device for determining lane line
JP2021531462A (en) * 2018-08-17 2021-11-18 ベイジン ジンドン ３６０ ディグリー イー—コマース カンパニー リミテッド Intelligent navigation methods and systems based on topology maps
JP2022509774A (en) * 2018-11-15 2022-01-24 モービルアイ ヴィジョン テクノロジーズ リミテッド High-speed CNN classification of multi-frame semantic signals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014006759A1 (en) * 2012-07-06 2014-01-09 トヨタ自動車株式会社 Traveling control device for vehicle
JP2014006885A (en) * 2012-05-31 2014-01-16 Ricoh Co Ltd Level difference recognition apparatus, level difference recognition method, and program for level difference recognition
JP2016090344A (en) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 Navigation device and navigation program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006885A (en) * 2012-05-31 2014-01-16 Ricoh Co Ltd Level difference recognition apparatus, level difference recognition method, and program for level difference recognition
WO2014006759A1 (en) * 2012-07-06 2014-01-09 トヨタ自動車株式会社 Traveling control device for vehicle
JP2016090344A (en) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 Navigation device and navigation program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351487B2 (en) 2018-08-17 2023-09-27 ベイジン ジンドン ３６０ ディグリー イー―コマース カンパニー リミテッド Intelligent navigation method and system based on topology map
JP2021531462A (en) * 2018-08-17 2021-11-18 ベイジン ジンドン ３６０ ディグリー イー—コマース カンパニー リミテッド Intelligent navigation methods and systems based on topology maps
WO2020045428A1 (en) * 2018-08-31 2020-03-05 株式会社デンソー Traveling track data generation device at intersection, traveling track data generation program, and vehicle-mounted device
JP2020038365A (en) * 2018-08-31 2020-03-12 株式会社デンソー Device and program for generating travel path data in intersection and on-vehicle machine
JP7136043B2 (en) 2018-08-31 2022-09-13 株式会社デンソー TRAVEL TRACK DATA GENERATOR AND TRAVEL DATA GENERATION PROGRAM IN INTERSECTION
CN112602133A (en) * 2018-08-31 2021-04-02 株式会社电装 Travel track data generation device in intersection, travel track data generation program, and vehicle-mounted device
JP2020038622A (en) * 2018-09-04 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Lane line tracking method and device
JP7179695B2 (en) 2018-09-04 2022-11-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド Lane tracking method and device
US11100341B2 (en) 2018-09-04 2021-08-24 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line tracking method and device
JP2022509774A (en) * 2018-11-15 2022-01-24 モービルアイ ヴィジョン テクノロジーズ リミテッド High-speed CNN classification of multi-frame semantic signals
JP7258137B2 (en) 2018-11-15 2023-04-14 モービルアイ ヴィジョン テクノロジーズ リミテッド Fast CNN Classification of Multiframe Semantic Signals
WO2020157532A1 (en) * 2019-01-31 2020-08-06 日産自動車株式会社 Vehicle travel control method and travel control device
JP7192890B2 (en) 2019-01-31 2022-12-20 日産自動車株式会社 VEHICLE TRIP CONTROL METHOD AND TRIP CONTROL DEVICE
JPWO2020157532A1 (en) * 2019-01-31 2020-08-06
CN112309232A (en) * 2020-10-15 2021-02-02 北京三快在线科技有限公司 Method and device for determining lane line

Also Published As

Publication number Publication date
JP6832164B2 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
US9896101B2 (en) Autonomous driving vehicle system
JP6494121B2 (en) Lane change estimation device, lane change estimation method, and program
RU2645388C2 (en) Device for identifying wrong recognition
US9550496B2 (en) Travel control apparatus
JP6832164B2 (en) Driving assistance device and driving assistance method
CN110949388B (en) Vehicle control device, vehicle control method, and storage medium
WO2018158873A1 (en) Vehicle control apparatus, vehicle control method, and program
JP6601696B2 (en) Prediction device, prediction method, and program
JP7180426B2 (en) vehicle control system
US10421394B2 (en) Driving assistance device, and storage medium
JPWO2017154152A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JPWO2019073511A1 (en) Vehicle control device, vehicle control method, and program
JP7084896B2 (en) Vehicle control devices, vehicle control methods, and programs
US10854083B2 (en) Vehicle control device, vehicle control method, and storage medium
WO2016194168A1 (en) Travel control device and method
JP2019159611A (en) Vehicle control device, vehicle control method, and program
JP2018041379A (en) Travel control device
JP2019144689A (en) Vehicle control device
JP2020163903A (en) Vehicle control device, vehicle control method, and program
JP7379033B2 (en) Driving support method and driving support device
JP2019156180A (en) Vehicle controller, vehicle control method and program
EP3626570A1 (en) Driving assistance method and driving assistance apparatus
WO2020148561A1 (en) Driving assistance method and driving assistance device
JP7202982B2 (en) Driving support method and driving support device
JP6583697B2 (en) Perimeter monitoring device, control device, perimeter monitoring method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6832164

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150