JP2015189403A - Lane keeping controller - Google Patents

Lane keeping controller Download PDF

Info

Publication number
JP2015189403A
JP2015189403A JP2014069685A JP2014069685A JP2015189403A JP 2015189403 A JP2015189403 A JP 2015189403A JP 2014069685 A JP2014069685 A JP 2014069685A JP 2014069685 A JP2014069685 A JP 2014069685A JP 2015189403 A JP2015189403 A JP 2015189403A
Authority
JP
Japan
Prior art keywords
lane
recognition rate
recognition
vehicle
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014069685A
Other languages
Japanese (ja)
Other versions
JP6210012B2 (en
Inventor
和典 礒本
Kazunori Isomoto
和典 礒本
優己 吉田
Yuki Yoshida
優己 吉田
剛 有永
Tsuyoshi Arinaga
剛 有永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2014069685A priority Critical patent/JP6210012B2/en
Publication of JP2015189403A publication Critical patent/JP2015189403A/en
Application granted granted Critical
Publication of JP6210012B2 publication Critical patent/JP6210012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a lane keeping controller that safely performs lane keeping control while suppressing an increase in cost.SOLUTION: A lane keeping controller 1 which controls a vehicle to travel while keeping a predetermined position in a width direction of a travel lane partitioned by lane partition lines, comprises: partition line recognition means 4 that recognizes lane partition lines on both sides of right and left; partition line recognition rate calculating means 5 that calculates recognition rates of lane partition lines recognized by the partition line recognition means 4; and travel position change means 6 that sets a target position of keeping traveling within the travel lanes when the recognition rate for the lane partition line of lower recognition rate, out of right and left lane partition lines recognized by the partition line recognition means 4, is lower than a first threshold value, and controls the vehicle to travel while keeping the target position. The travel position change means 6 sets a target position so that the target position becomes closer to a lane partition line of a higher recognition rate, as the recognition rate of the lane partition line of lower recognition rate out of right and left lane partition lines recognized by the partition line recognition means 4 is lower.

Description

本発明は、車線維持制御装置に関し、特に、製造コストを抑えつつ安全に車線維持制御を行うことができる車線維持制御装置に関するものである。   The present invention relates to a lane keeping control device, and more particularly to a lane keeping control device capable of performing lane keeping control safely while suppressing manufacturing costs.

従来から、車両の運転支援を行う技術として、車線維持制御装置(LAS:Lane-Keep Assist system)がある。特許文献1には、車線区画線上に障害物が存在する等の理由で車線区画線の認識率が低下している場合に、過去の走行データや地図情報等を用いて仮想区画線を生成し、この仮想区画線を用いて車線維持制御を行うことで、障害物との衝突を回避しつつ車線維持制御を行う技術が開示されている。   2. Description of the Related Art Conventionally, there is a lane keeping control device (LAS: Lane-Keep Assist system) as a technology for assisting driving of a vehicle. In Patent Literature 1, when the recognition rate of a lane line is reduced due to an obstacle on the lane line, a virtual lane line is generated using past travel data, map information, and the like. A technique for performing lane keeping control while avoiding a collision with an obstacle by performing lane keeping control using this virtual lane marking is disclosed.

また、特許文献2には、突起物(ポール)が立てられた白線を検知したときに、検知した白線から離れるように車線維持制御を行う技術が開示されている。   Patent Document 2 discloses a technique for performing lane keeping control so as to be separated from a detected white line when a white line on which a protrusion (pole) is raised is detected.

特開2013−25535号公報JP 2013-25535 A 特開2007−22134号公報Japanese Patent Laid-Open No. 2007-22134

しかしながら、上記した従来技術には、以下のような課題が存在した。   However, the above-described prior art has the following problems.

すなわち、特許文献1に記載の技術では、仮想区画線を生成するので、複雑な演算処理が必要となり、制御が複雑化し、製造コストが増大するという問題がある。   That is, in the technique described in Patent Document 1, since a virtual lane marking is generated, there is a problem that complicated arithmetic processing is required, control is complicated, and manufacturing cost is increased.

また、特許文献2に記載の技術では、突起物を検出する度に車両の走行ラインが変化するので、ドライバが走行ラインの変更を煩わしく感じるという問題がある。   In addition, the technique described in Patent Document 2 has a problem that the driving line of the vehicle changes each time a protrusion is detected, so that the driver feels troublesome to change the driving line.

本発明は、このような実情に鑑みてなされたもので、製造コストを抑えつつ安全に車線維持制御を行うことができる車線維持制御装置(LAS:Lane-Keep Assist system)を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a lane keeping control device (LAS: Lane-Keep Assist system) capable of performing lane keeping control safely while suppressing manufacturing costs. And

上記の課題を解決するために、本発明は、車線区画線により区画された走行車線の幅方向所定位置を維持して走行するように車両を制御する車線維持制御装置であって、左右両側の車線区画線を認識する区画線認識手段と、区画線認識手段により認識された車線区画線の認識率を算出する区画線認識率算出手段と、区画線認識手段により認識された左右の車線区画線のうち、認識率が低い方の車線区画線の認識率が第1の閾値より低い場合に、走行車線内で走行を維持する目標位置を設定し、当該目標位置を維持して走行するように車両を制御する走行位置変更手段とを備え、走行位置変更手段は、区画線認識手段により認識された左右の車線区画線のうち、認識率が低い方の車線区画線の認識率が低いほど、目標位置が、認識率が高い方の車線区画線に近くなるように目標位置を設定することとしている。   In order to solve the above-described problems, the present invention is a lane keeping control device for controlling a vehicle so as to run while maintaining a predetermined position in the width direction of a running lane divided by lane markings. A lane line recognition unit that recognizes a lane line, a lane line recognition rate calculation unit that calculates a recognition rate of the lane line recognized by the lane line recognition unit, and a left and right lane line recognized by the lane line recognition unit When the recognition rate of the lane line with the lower recognition rate is lower than the first threshold, a target position for maintaining the travel in the travel lane is set, and the target position is maintained to travel Driving position changing means for controlling the vehicle, the traveling position changing means, the lower the recognition rate of the lane line with the lower recognition rate among the left and right lane line recognized by the lane line recognition means, The target position with the higher recognition rate It is as setting the target position to be close to the line division line.

この構成によれば、走行位置変更手段は、区画線認識手段により認識された左右の車線区画線のうち、認識率が低い方の車線区画線の認識率が低いほど、目標位置が、認識率が高い方の車線区画線に近くなるように目標位置を設定する。これにより、走行を維持する位置(走行ライン)を認識率の算出といった比較的簡単な演算処理を行って変更し、コストの増大を抑えつつ安全に車線維持制御を行うことができる。すなわち、車線区画線の認識率が低いほど、車線区画線上に存在する障害物が大きい可能性があるので、車線区画線の認識率が低いほど、そのような大きな障害物と目標位置の距離(マージン)を大きくし、走行の安全性を高めることができる。   According to this configuration, the travel position changing unit is configured such that the lower the recognition rate of the lane line with the lower recognition rate among the left and right lane line recognized by the lane line recognition unit, the lower the target rate, The target position is set so that it is close to the higher lane marking. Thereby, the position (travel line) for maintaining the travel can be changed by performing a relatively simple calculation process such as calculating the recognition rate, and the lane keeping control can be performed safely while suppressing an increase in cost. That is, the lower the lane line recognition rate, the larger the obstacles that may be present on the lane line. The lower the lane line recognition rate, the greater the distance between such a large obstacle and the target position ( (Margin) can be increased and driving safety can be improved.

また、本発明においては、好ましくは、走行位置変更手段は、前回設定された目標位置に車両が移動してから所定時間が経過するまで、認識率が変化しても目標位置を変更せず、車両の走行位置を維持する。   In the present invention, preferably, the travel position changing means does not change the target position even if the recognition rate changes until a predetermined time has elapsed after the vehicle has moved to the previously set target position. Maintain the running position of the vehicle.

この構成によれば、ドライバが走行ラインの変更を煩わしく感じるのを防ぐことができる。例えば、車線区画線上に反射ポールが一定間隔毎に設けられているような場合に、反射ポールに隠れて車線区画線の認識率が低下しても、反射ポール毎に逐一目標位置を変更することがなく、ドライバが走行ラインの変更を煩わしく感じるのを防ぐことができる。   According to this configuration, it can be prevented that the driver feels troublesome to change the travel line. For example, when reflection poles are provided at regular intervals on the lane line, even if the recognition rate of the lane line is lowered due to the reflection pole, the target position is changed for each reflection pole. Therefore, it is possible to prevent the driver from feeling troublesome about the change of the driving line.

また、本発明においては、好ましくは、左右両側の車線区画線の認識率が第1の閾値以上であるときは、走行位置変更手段は、目標位置を設定せず、車両が所定位置を走行するように車両を制御する。   In the present invention, preferably, when the recognition rates of the left and right lane markings are equal to or higher than the first threshold, the travel position changing means does not set the target position and the vehicle travels at a predetermined position. To control the vehicle.

この構成によれば、左右両側の車線区画線の認識率が高い場合に、左右両側の車線区画線上に障害物が存在しても自車両の走行に影響を及ぼさないものとして、走行を維持する位置を所定位置(例えば車線中央)から移動させずに車線維持制御を行うことができる。   According to this configuration, when the recognition rate of the left and right lane lanes is high, even if an obstacle is present on the left and right lane lanes, the vehicle is maintained as having no influence on the driving of the host vehicle. Lane maintaining control can be performed without moving the position from a predetermined position (for example, the center of the lane).

また、本発明においては、好ましくは、認識率が低い側の車線区画線の認識率が第1の閾値より低い第2の閾値以下であるときは、車線維持制御を行わない。   In the present invention, preferably, the lane keeping control is not performed when the recognition rate of the lane marking on the side with the low recognition rate is equal to or lower than the second threshold value lower than the first threshold value.

この構成によれば、車線区画線の認識率が極端に低い場合に、安全性確保の観点から車線維持制御を行うのを禁止することができる。   According to this configuration, when the recognition rate of the lane line is extremely low, it is possible to prohibit the lane maintenance control from the viewpoint of ensuring safety.

また、本発明においては、好ましくは、第1の閾値が80%である。   In the present invention, the first threshold is preferably 80%.

この構成によれば、第1の閾値を適切な値に設定し、より安全に車線維持制御を行うことができる。   According to this configuration, the first threshold value can be set to an appropriate value, and lane keeping control can be performed more safely.

以上説明したように、本発明によれば、比較的簡単な演算処理で制御を行って、コストの増大を抑えつつ安全に車線維持制御を行う装置を提供することができる。   As described above, according to the present invention, it is possible to provide an apparatus for performing lane keeping control safely while performing control with relatively simple arithmetic processing and suppressing an increase in cost.

本発明の第1実施形態に係る車線維持制御装置の構成を機能的に示すブロック図である。It is a block diagram which shows functionally the composition of the lane maintenance control device concerning a 1st embodiment of the present invention. 本発明の第1実施形態に係る車線維持制御装置によって車両制御が行われる様子を示す図である。It is a figure which shows a mode that vehicle control is performed by the lane keeping control apparatus which concerns on 1st Embodiment of this invention. 本発明において、白線認識率と目標位置のオフセット量との関係の一例を示すグラフである。In this invention, it is a graph which shows an example of the relationship between the white line recognition rate and the offset amount of a target position. 本発明において、白線認識率と目標位置のオフセット量との関係の他の例を示すグラフである。In this invention, it is a graph which shows the other example of the relationship between the white line recognition rate and the offset amount of a target position. 本発明において、白線認識率と目標位置のオフセット量との関係のさらに他の例を示すマップである。In this invention, it is a map which shows the further another example of the relationship between the white line recognition rate and the offset amount of a target position. 本発明の第1実施形態に係る車線維持制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the lane keeping control apparatus which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る車線維持制御装置によって車両制御が行われる様子を示す図である。It is a figure which shows a mode that vehicle control is performed by the lane keeping control apparatus which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る車線維持制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the lane keeping control apparatus which concerns on 2nd Embodiment of this invention.

以下、添付図面を参照しながら本発明の好ましい実施の形態について詳述する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

(第1実施形態)
本発明の第1実施形態について、図面を参照しつつ説明する。図1は、第1実施形態に係る車線維持制御装置の構成を機能的に示すブロック図である。図2は、第1実施形態に係る車線維持制御装置によって車両制御が行われる様子を示す図である。
(First embodiment)
A first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram functionally showing the configuration of the lane keeping control device according to the first embodiment. FIG. 2 is a diagram illustrating a state in which vehicle control is performed by the lane keeping control device according to the first embodiment.

第1実施形態に係る車線維持制御装置1は、図2に示されるように、車線区画線9,10により区画された走行車線の幅方向所定位置(例えば車線中央)を維持して走行するように車両13を制御する装置である。なお、幅方向所定位置は、車線中央でなくてもよく、車線中央から左側または右側にずれた位置であってもよいが、以下の説明では、幅方向所定位置が車線中央であるものとして説明を行う。   As shown in FIG. 2, the lane keeping control device 1 according to the first embodiment travels while maintaining a predetermined position in the width direction (for example, the center of the lane) of the traveling lane divided by the lane markings 9 and 10. This is a device for controlling the vehicle 13. The predetermined position in the width direction may not be the center of the lane, and may be a position shifted from the center of the lane to the left side or the right side. However, in the following description, the predetermined position in the width direction is described as the center of the lane. I do.

図1に示されるように、車線維持制御装置1は、主要な構成として、区画線認識手段4と、区画線認識率算出手段5と、走行位置変更手段6とを備えている。区画線認識手段4、区画線認識率算出手段5、走行位置変更手段6は、各々、ECU(Electronic Control Unit)3が有する機能部として構成されている。ECU3は、CPU、RAM、ROM等で構成されている。   As shown in FIG. 1, the lane keeping control device 1 includes a lane line recognition unit 4, a lane line recognition rate calculation unit 5, and a travel position change unit 6 as main components. The lane line recognition unit 4, the lane line recognition rate calculation unit 5, and the travel position change unit 6 are each configured as a functional unit included in an ECU (Electronic Control Unit) 3. The ECU 3 includes a CPU, RAM, ROM, and the like.

また、車線維持制御装置1は、さらに、カメラ2と、ディスプレイ7と、ステアリングアクチュエータ8と備えている。カメラ2、ディスプレイ7、ステアリングアクチュエータ8は、各々、ECU3に電気的に接続されている。   The lane keeping control device 1 further includes a camera 2, a display 7, and a steering actuator 8. The camera 2, the display 7, and the steering actuator 8 are each electrically connected to the ECU 3.

以下、各構成要素について詳しく説明する。   Hereinafter, each component will be described in detail.

<カメラ2について>
カメラ2は、路面を含む車両前方の領域11(図2参照)を撮像するものであり、車両13に対して左側の車線区画線9および右側の車線区画線10の撮像画像を取得する。図2では、車両左側の撮像領域11のみを示している。車線区画線9,10は、走行車線を区画する線であり、白線や黄線、車線長さ方向に連続的に続く実線(例えば車線区画線9)や、車線長さ方向に断続的に続く破線(例えば車線区画線10)等が含まれる。以下の説明では、車線区画線9,10を左側白線9,右側白線10と称して説明を行う。
<About camera 2>
The camera 2 images a region 11 (see FIG. 2) in front of the vehicle including the road surface, and acquires captured images of the left lane line 9 and the right lane line 10 with respect to the vehicle 13. FIG. 2 shows only the imaging area 11 on the left side of the vehicle. Lane lanes 9 and 10 are lines that divide the traveling lane, and are white lines, yellow lines, solid lines that continue in the lane length direction (for example, lane line 9), and intermittently in the lane length direction. A broken line (for example, lane marking 10) etc. are included. In the following description, the lane markings 9 and 10 are referred to as the left white line 9 and the right white line 10 for explanation.

<区画線認識手段4について>
区画線認識手段4は、カメラ2から取得した撮像画像に基づいて、左側白線9,右側白線10を認識する。白線認識の手法としては種々のものが公知であるが、本実施形態では、例えば、撮像画像の横方向に沿って、画像の輝度値を微分し、この微分値に基づいて、輝度値が急激に変化する点を見いだし、この点を白線として検出する。
<Regarding the lane marking recognition means 4>
The lane marking recognition unit 4 recognizes the left white line 9 and the right white line 10 based on the captured image acquired from the camera 2. Various methods for white line recognition are known, but in this embodiment, for example, the luminance value of the image is differentiated along the horizontal direction of the captured image, and the luminance value is rapidly increased based on this differential value. A point that changes to is detected, and this point is detected as a white line.

すなわち、白線が存在する画像が撮影された際に、横方向の走査線上のデータについて、輝度の微分値を求める。そして、微分値のピークが、左側からマイナス、プラスの順に並んで現れ、且つ、それぞれのピークの間隔が、白線の幅として妥当と思われる程度に納まっていれば、左右のピーク位置を白線のエッジであると判断し、両ピーク位置の中間点を白線位置として認識する。   That is, when an image in which a white line is present is captured, a luminance differential value is obtained for the data on the horizontal scanning line. If the differential peaks appear in the order of minus and plus from the left side, and the interval between the peaks is within a reasonable level as the width of the white line, the left and right peak positions are It is determined that it is an edge, and an intermediate point between both peak positions is recognized as a white line position.

<区画線認識率算出手段5について>
区画線認識率算出手段5は、区画線認識手段4により認識された白線9,10の認識率を算出する。図2に示されるように、車両8に対して白線は、左右一本ずつあるので、画像の左側から右側に向けて白線検出のための走査を行うと、1回の走査について白線は左側に1点、右側に1点検出されることになる。また、画像の画素数が、例えば縦方向に300個あった場合、画像の上から下まで白線が存在し且つ全ての走査線(300本)について白線検出ができたとすると、左側に300点、右側に300点の白線が認識されることになる。
<Regarding the lane marking recognition rate calculation means 5>
The lane marking recognition rate calculation means 5 calculates the recognition rates of the white lines 9 and 10 recognized by the lane marking recognition means 4. As shown in FIG. 2, there are one white line on the left and right for the vehicle 8, so when scanning for white line detection is performed from the left side to the right side of the image, the white line is on the left side for one scan. One point is detected on the right side. Also, if the number of pixels of the image is 300 in the vertical direction, for example, if there are white lines from the top to the bottom of the image and white lines can be detected for all scanning lines (300 lines), 300 points on the left side, 300 white lines are recognized on the right side.

しかしながら、白線上に障害物が存在する等により、全ての白線を認識できないことがある。ここでは、認識された白線の点数を全走査線数で除算し、その割合を認識率とすることにする。例えば、車両の左側に150点の白線が認識され、車両の右側に270点の白線が認識され、全走査線数が300本であるとした場合、左側白線の認識率は150/300=50%、右側白線の認識率は270/300=90%となる。なお、ここで説明した算出方法は一例であり、他の方法で算出しても構わない。   However, not all white lines may be recognized due to obstacles on the white line. Here, the number of recognized white lines is divided by the total number of scanning lines, and the ratio is used as the recognition rate. For example, if 150 white lines are recognized on the left side of the vehicle, 270 white lines are recognized on the right side of the vehicle, and the total number of scanning lines is 300, the recognition rate of the left white line is 150/300 = 50. %, The right white line recognition rate is 270/300 = 90%. Note that the calculation method described here is an example, and another method may be used.

<走行位置変更手段6について>
図2に示す例では、車両8の走行車線において、一部の区間で左側白線9の上に複数の障害物12が存在しており、左側白線9の認識率は、障害物12が存在している区間において、右側白線10の認識率よりも低くなっている。なお、ここにいう「障害物」とは、白線を認識するのに障害となる物という意味であり、例えば、反射ポール、交通標識、コーン、駐車車両等を挙げることができる。また、白線の劣化によって白線自体が薄くなっていたり白線が汚れていて、白線の認識率が低下している状態を障害物12が存在する状態とみなしてもよい。
<About the traveling position changing means 6>
In the example shown in FIG. 2, in the traveling lane of the vehicle 8, there are a plurality of obstacles 12 on the left white line 9 in some sections, and the recognition rate of the left white line 9 is that the obstacle 12 exists. The recognition rate of the right white line 10 is lower in the interval. The “obstacle” here means an obstacle that recognizes a white line, and examples thereof include a reflection pole, a traffic sign, a cone, and a parked vehicle. Further, a state in which the white line itself is thinned due to deterioration of the white line or the white line is dirty and the white line recognition rate is reduced may be regarded as a state in which the obstacle 12 exists.

走行位置変更手段6は、図2に示されるように、区画線認識手段4により認識された左右の白線9,10のうち、認識率が低い方の白線の認識率が第1の閾値th1より低い場合に、走行車線内で走行を維持する目標位置を設定し、当該目標位置を維持して走行するように車両13を制御する。具体的には、走行位置変更手段6は、目標位置を、車線中央から認識率が高い方の白線側にオフセットした位置に設定する。また、走行位置変更手段6は、区画線認識手段4により認識された左右の白線9,10のうち、認識率が低い方の白線9の認識率が低いほど、目標位置が、認識率が高い方の白線10に近くなるように目標位置を設定する。つまり、認識率が低い方の白線9の認識率が低いほど、車線中央からのオフセット量は大きくなる。図2に示される例では、(A)→(B)→(C)の順に車両13の状態が遷移する。図2に示す例では、障害物12の存在により、左側白線9の認識率が右側白線10の認識率よりも低くなっている。また、第1の閾値th1は、特に限定されるものではないが、予め、例えば80%に設定されている。   As shown in FIG. 2, the traveling position changing unit 6 has a lower white line recognition rate than the first threshold th1 among the left and right white lines 9 and 10 recognized by the lane marking recognition unit 4. When it is low, a target position for maintaining traveling in the travel lane is set, and the vehicle 13 is controlled to travel while maintaining the target position. Specifically, the travel position changing means 6 sets the target position to a position offset from the center of the lane to the white line side with a higher recognition rate. Further, the travel position changing means 6 has a higher recognition rate as the recognition rate of the white line 9 with the lower recognition rate among the left and right white lines 9 and 10 recognized by the lane marking recognition means 4 is lower. The target position is set so as to be closer to the white line 10 on the other side. That is, the lower the recognition rate of the white line 9 with the lower recognition rate, the larger the offset amount from the lane center. In the example shown in FIG. 2, the state of the vehicle 13 changes in the order of (A) → (B) → (C). In the example shown in FIG. 2, the recognition rate of the left white line 9 is lower than the recognition rate of the right white line 10 due to the presence of the obstacle 12. Further, the first threshold th1 is not particularly limited, but is set to 80% in advance, for example.

図3は、白線認識率が低い方の白線の認識率と目標位置のオフセット量との関係の一例を示すグラフである。図3に示す例においては、白線認識率が低下するにつれて、オフセット量は次第に増加している。また、白線認識率が低下するにつれて、オフセット量の増加率(グラフの傾き)は次第に小さくなっている。また、白線認識率が100%を下回ると同時にオフセット量が増加している。また、認識率がある程度低くなると(例えば20%以下)、車線維持制御を行わない。   FIG. 3 is a graph showing an example of the relationship between the white line recognition rate with the lower white line recognition rate and the offset amount of the target position. In the example shown in FIG. 3, the offset amount gradually increases as the white line recognition rate decreases. As the white line recognition rate decreases, the increase rate of the offset amount (slope of the graph) gradually decreases. Also, the offset amount increases at the same time that the white line recognition rate falls below 100%. Further, when the recognition rate is lowered to some extent (for example, 20% or less), the lane keeping control is not performed.

図4は、白線認識率が低い方の白線の認識率と目標位置のオフセット量との関係の他の例を示すグラフである。図4に示す例では、白線認識率が低い方の白線の認識率が100〜80%の間は、オフセット量はゼロのままであり、白線認識率が80%を下回ると同時にオフセット量が増加している。すなわち、図4に示す例では、白線認識率が低い方の白線の認識率が高い状態(80%以上)では、車両13は車線中央を走行するように車線維持制御される。   FIG. 4 is a graph showing another example of the relationship between the recognition rate of the white line with the lower white line recognition rate and the offset amount of the target position. In the example shown in FIG. 4, when the white line recognition rate of the lower white line recognition rate is between 100% and 80%, the offset amount remains zero, and at the same time the white line recognition rate falls below 80%, the offset amount increases. doing. That is, in the example shown in FIG. 4, in a state where the white line recognition rate with the lower white line recognition rate is high (80% or more), the vehicle 13 is controlled to maintain the lane so as to travel in the center of the lane.

図5は、白線認識率が低い方の白線の認識率と目標位置のオフセット量との関係のさらに他の例を示すマップである。図5に示される例でも、白線認識率が低下するにつれて、オフセット量が次第に増加している。なお、図5に示す数値は一例であり、数値を適宜変更しても構わない。   FIG. 5 is a map showing still another example of the relationship between the white line recognition rate of the lower white line recognition rate and the offset amount of the target position. Also in the example shown in FIG. 5, the offset amount gradually increases as the white line recognition rate decreases. Note that the numerical values shown in FIG. 5 are examples, and the numerical values may be changed as appropriate.

<ディスプレイ7について>
ディスプレイ7は、車線維持制御の状態を表示する装置である。ディスプレイ7は、例えば、左側白線9の認識率NL、右側白線10の認識率NRを画面に表示する。また、ディスプレイ7は、走行を維持する目標位置が走行車線のどこに設定されているかを表示する。また、ディスプレイ7は、車線維持制御が行われているかどうかを表示する。
<About display 7>
The display 7 is a device that displays the state of lane keeping control. For example, the display 7 displays the recognition rate NL of the left white line 9 and the recognition rate NR of the right white line 10 on the screen. Further, the display 7 displays where the target position for maintaining the travel is set in the travel lane. The display 7 displays whether lane keeping control is being performed.

<ステアリングアクチュエータ8について>
ステアリングアクチュエータ8は、走行位置変更手段6からの指示に基づいて、車両13が車線中央または車線中央からオフセットした目標位置を維持して走行するように車両13のステアリングシャフトに操舵トルクを付与する。
<About the steering actuator 8>
The steering actuator 8 applies steering torque to the steering shaft of the vehicle 13 based on an instruction from the travel position changing means 6 so that the vehicle 13 travels while maintaining the target position offset from the center of the lane or the center of the lane.

次に、車線維持制御装置1の動作について、図6を参照しつつ説明する。図6は、車線維持制御装置1の動作を示すフローチャートである。   Next, the operation of the lane keeping control device 1 will be described with reference to FIG. FIG. 6 is a flowchart showing the operation of the lane keeping control device 1.

まず、車線維持制御装置1の電源スイッチがオンになっているかどうかが判断される(ステップS1)。YESである場合、区画線認識手段4は、カメラ2から撮像画像を取得する(ステップS2)。一方、NOである場合、ステップS1に戻る。   First, it is determined whether or not the power switch of the lane keeping control device 1 is turned on (step S1). If YES, the lane marking recognition unit 4 acquires a captured image from the camera 2 (step S2). On the other hand, if NO, the process returns to step S1.

次いで、車両13の両側にある左側白線9,右側白線10が検出される(ステップS3)。次いで、左側白線9の認識率NL,右側白線10の認識率NRが算出される(ステップS4)。   Next, the left white line 9 and the right white line 10 on both sides of the vehicle 13 are detected (step S3). Next, the recognition rate NL of the left white line 9 and the recognition rate NR of the right white line 10 are calculated (step S4).

次いで、左側白線9の認識率NLが第1の閾値th1以上であり、かつ、右側白線10の認識率NRが第1の閾値th1以上であるかどうかが判定される(ステップS5)。第1の閾値th1は、例えば、予め80%に設定されている。YESである場合、車両の目標位置が車線中央となるように車両13の車線維持制御が行われる(ステップS6)。ステップS6では、車両13は図2の状態(A)の如く走行する。   Next, it is determined whether the recognition rate NL of the left white line 9 is equal to or higher than the first threshold th1 and the recognition rate NR of the right white line 10 is equal to or higher than the first threshold th1 (step S5). For example, the first threshold th1 is set to 80% in advance. If YES, the lane keeping control of the vehicle 13 is performed so that the target position of the vehicle is at the center of the lane (step S6). In step S6, the vehicle 13 travels as shown in the state (A) of FIG.

ステップS6の次は、ステップS7に進む。ステップS7では、車線維持制御装置1の電源スイッチがオフになっているかどうかが判断される(ステップS7)。YESである場合、処理を終了する。一方、NOである場合、ステップS2に戻る。   After step S6, the process proceeds to step S7. In step S7, it is determined whether or not the power switch of the lane keeping control device 1 is turned off (step S7). If yes, the process ends. On the other hand, if NO, the process returns to step S2.

ステップS5においてNOである場合、左側白線9の認識率NLまたは右側白線10の認識率NRの少なくともいずれか一方が第2の閾値th2以下であるかどうかが判定される(ステップS8)。第2の閾値th2は、第1の閾値th1よりも低い値であり、例えば、予め20%に設定されている。YESである場合、ステップS2に戻る。一方、NOである場合、左側白線9の認識率NLが右側白線10の認識率NRより大きいかどうかが判定される(ステップS9)。YESである場合、車両13の目標位置が車線中央から左側にL(m)オフセットした位置に設定され、設定された目標位置を走行するように車両13が車線維持制御される(ステップS10)。オフセット量L(m)は、例えば、図3〜4いずれかのグラフ、または図5のマップに基づいて設定される。一方、NOである場合、左側白線9の認識率NLが右側白線10の認識率NRより小さいかどうかが判定される(ステップS11)。YESである場合、車両13の目標位置が車線中央から右側にL(m)オフセットした位置に設定され、設定された目標位置を走行するように車両13が車線維持制御される(ステップS12)。ステップS12では、車両13は図2の状態(C)の如く走行する。一方、NOである場合、白線9の認識率NLが右側白線10の認識率NRと等しく、ステップS6に進む。ステップS10、ステップS12の次は、ステップS7に進む。以上が、車線維持制御装置1の動作である。   If NO in step S5, it is determined whether at least one of the recognition rate NL of the left white line 9 or the recognition rate NR of the right white line 10 is equal to or less than the second threshold th2 (step S8). The second threshold th2 is a value lower than the first threshold th1, and is set to 20% in advance, for example. If yes, the process returns to step S2. On the other hand, if NO, it is determined whether the recognition rate NL of the left white line 9 is greater than the recognition rate NR of the right white line 10 (step S9). If YES, the target position of the vehicle 13 is set to a position offset L (m) to the left from the center of the lane, and the vehicle 13 is controlled to maintain the lane so as to travel the set target position (step S10). The offset amount L (m) is set based on, for example, any graph in FIGS. 3 to 4 or the map in FIG. On the other hand, if NO, it is determined whether the recognition rate NL of the left white line 9 is smaller than the recognition rate NR of the right white line 10 (step S11). If YES, the target position of the vehicle 13 is set to a position offset L (m) to the right from the center of the lane, and the vehicle 13 is controlled to maintain the lane so as to travel the set target position (step S12). In step S12, the vehicle 13 travels as shown in the state (C) of FIG. On the other hand, if NO, the recognition rate NL of the white line 9 is equal to the recognition rate NR of the right white line 10, and the process proceeds to step S6. After step S10 and step S12, the process proceeds to step S7. The above is the operation of the lane keeping control device 1.

車線維持制御装置1によれば、走行位置変更手段6は、区画線認識手段4により認識された左右の白線9,10のうち、認識率が低い方の白線9の認識率が低いほど、目標位置が、認識率が高い方の白線10に近くなるように目標位置を設定する。これにより、走行を維持する位置を認識率の算出といった比較的簡単な演算処理を行って変更することができ、コストの増大を抑えつつ安全に車線維持制御を行うことができる。白線9の認識率が低いほど、白線9上に存在する障害物が大きい可能性がある。車線維持制御装置1によれば、車線区画線の認識率が低いほど、そのような大きな障害物12と目標位置の距離(マージン)を大きくし、走行の安全性を高めることができる。   According to the lane keeping control device 1, the travel position changing unit 6 is configured such that the lower the white line 9 with the lower recognition rate among the left and right white lines 9 and 10 recognized by the lane marking recognition unit 4, the lower the target rate. The target position is set so that the position is close to the white line 10 with the higher recognition rate. As a result, the position where the running is maintained can be changed by performing a relatively simple arithmetic process such as calculating the recognition rate, and the lane keeping control can be performed safely while suppressing an increase in cost. As the recognition rate of the white line 9 is lower, there is a possibility that the obstacle present on the white line 9 is larger. According to the lane keeping control device 1, the lower the lane marking recognition rate, the larger the distance (margin) between such a large obstacle 12 and the target position, and the safety of traveling can be improved.

なお、図2に示される例では、白線9とほぼ同じ幅の障害物12が示されているが、障害物12が白線9よりも大きな幅を有する駐車車両や砂溜り等である場合に、安全面でより大きな効果が奏される。   In the example shown in FIG. 2, the obstacle 12 having almost the same width as the white line 9 is shown, but when the obstacle 12 is a parked vehicle having a larger width than the white line 9, a sand reservoir, or the like, Greater safety is achieved.

また、車線維持制御装置1によれば、左右両側の白線9,10の認識率が高い場合(例えば80%以上)に、車両13の走行に影響を及ぼす障害物が左右両側の白線9,10上に存在しないものとして、走行を維持する位置を車線中央から移動させずに車線維持制御を行うことができる。   Further, according to the lane keeping control device 1, when the recognition rate of the white lines 9 and 10 on both the left and right sides is high (for example, 80% or more), the obstacles that affect the traveling of the vehicle 13 are white lines 9 and 10 on the left and right sides. Lane maintenance control can be performed without moving the position where the running is maintained from the center of the lane.

また、車線維持制御装置1によれば、白線9の認識率が極端に低い場合(例えば20%以下)に、安全性確保の観点から車線維持制御を行うのを禁止することができる。   Further, according to the lane keeping control device 1, when the recognition rate of the white line 9 is extremely low (for example, 20% or less), it is possible to prohibit the lane keeping control from the viewpoint of ensuring safety.

(第2実施形態)
本発明の第2実施形態について、図面を参照しつつ説明する。図7は、第2実施形態に係る車線維持制御装置によって車両制御が行われる様子を示す図である。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to the drawings. FIG. 7 is a diagram illustrating a state in which vehicle control is performed by the lane keeping control device according to the second embodiment.

第2実施形態に係る車線維持制御装置が第1実施形態と異なる点は、認識率が低い方の白線の認識率が回復した後であっても、前回のオフセットから所定時間が経過するまで、車両の走行位置を維持するようにした点であり、その他の構成は第1実施形態と同様である。   The lane keeping control device according to the second embodiment is different from the first embodiment in that, even after the recognition rate of the white line with the lower recognition rate is recovered, until a predetermined time elapses from the previous offset, This is the point that the traveling position of the vehicle is maintained, and other configurations are the same as in the first embodiment.

具体的には、図7に示されるように、左側白線9の認識率が回復しても、前回設定された目標位置に車両13が移動してから所定時間が経過するまで目標位置を変更せず、車両13の走行位置を維持する(状態(D))。   Specifically, as shown in FIG. 7, even if the recognition rate of the left white line 9 is recovered, the target position is changed until a predetermined time elapses after the vehicle 13 moves to the previously set target position. First, the traveling position of the vehicle 13 is maintained (state (D)).

図8を用いて説明する。図8は、本発明の第2実施形態に係る車線維持制御装置の動作を示すフローチャートである。図6と異なる処理について説明し、図6と同じ処理については説明を省略する。   This will be described with reference to FIG. FIG. 8 is a flowchart showing the operation of the lane keeping control device according to the second embodiment of the present invention. Processing different from that in FIG. 6 will be described, and description of the same processing as in FIG. 6 will be omitted.

図8に示されるように、第2実施形態では、ステップS8とステップS9の間にステップS13が介挿されている。ステップS13では、前回設定された目標位置への車両の移動(ステップS10またはステップS12)から所定時間が経過しているかどうかが判断される。但し、ステップS1でスイッチオンと判断されてから最初のステップS13では、この処理は省略され、ステップS8からステップS9に直接移行する。つまり、ステップS10またはステップS12の処理が少なくとも1回行われた後、ステップS13の処理が行われる。所定時間は、特に限定されるものではなく、予め適切な値に設定される。ステップS13でYESと判定された場合、車両13の目標位置が図3〜4いずれかのグラフ、または図5のマップに基づいて変更され、変更後の目標位置を走行するように車両13が車線維持制御される(ステップS10、S12)。一方、ステップS13でNOと判定された場合、ステップS2に戻る。   As shown in FIG. 8, in the second embodiment, step S13 is inserted between step S8 and step S9. In step S13, it is determined whether or not a predetermined time has elapsed since the movement of the vehicle to the previously set target position (step S10 or step S12). However, in the first step S13 after the switch-on is determined in step S1, this process is omitted, and the process directly proceeds from step S8 to step S9. That is, after the process of step S10 or step S12 is performed at least once, the process of step S13 is performed. The predetermined time is not particularly limited, and is set to an appropriate value in advance. When it is determined YES in step S13, the target position of the vehicle 13 is changed based on any of the graphs of FIGS. 3 to 4 or the map of FIG. 5, and the vehicle 13 is in the lane so as to travel the changed target position. Maintenance control is performed (steps S10 and S12). On the other hand, if NO is determined in step S13, the process returns to step S2.

第2実施形態によれば、ドライバがオフセットによる走行ラインの変更を煩わしく感じるのを防ぐことができる。例えば、白線9上に反射ポールが一定間隔毎に設けられているような場合に、反射ポールに隠れて白線9の認識率が低下しても、反射ポール毎に逐一目標位置を変更することがなく、ドライバが目標位置の変更を煩わしく感じるのを防ぐことができる。   According to the second embodiment, it is possible to prevent the driver from bothering to change the travel line due to the offset. For example, when reflection poles are provided on the white line 9 at regular intervals, the target position can be changed for each reflection pole even if the recognition rate of the white line 9 decreases due to being hidden by the reflection pole. Therefore, it is possible to prevent the driver from feeling troublesome about the change of the target position.

1 車線維持制御装置
2 カメラ
3 ECU
4 区画線認識手段
5 区画線認識率算出手段
6 走行位置変更手段
7 ディスプレイ
8 ステアリングアクチュエータ
9 左側白線
10 右側白線
11 撮像エリア
12 障害物
13 車両
1 Lane Keeping Control Device 2 Camera 3 ECU
4 lane marking recognition means 5 lane marking recognition rate calculation means 6 travel position change means 7 display 8 steering actuator 9 left white line 10 right white line 11 imaging area 12 obstacle 13 vehicle

Claims (5)

車線区画線により区画された走行車線の幅方向所定位置を維持して走行するように車両を制御する車線維持制御装置であって、
左右両側の車線区画線を認識する区画線認識手段と、
前記区画線認識手段により認識された車線区画線の認識率を算出する区画線認識率算出手段と、
前記区画線認識手段により認識された左右の車線区画線のうち、認識率が低い方の車線区画線の認識率が第1の閾値より低い場合に、走行車線内で走行を維持する目標位置を設定し、当該目標位置を維持して走行するように車両を制御する走行位置変更手段とを備え、
前記走行位置変更手段は、前記区画線認識手段により認識された左右の車線区画線のうち、認識率が低い方の車線区画線の認識率が低いほど、前記目標位置が、認識率が高い方の車線区画線に近くなるように前記目標位置を設定することを特徴とする車線維持制御装置。
A lane keeping control device for controlling a vehicle so as to run while maintaining a predetermined position in the width direction of a traveling lane divided by lane markings,
Lane marking recognition means for recognizing lane markings on the left and right sides;
A lane line recognition rate calculating means for calculating a recognition rate of the lane line recognized by the lane line recognition means;
Of the left and right lane markings recognized by the lane marking recognition means, the target position for maintaining the running in the driving lane when the recognition rate of the lane marking with the lower recognition rate is lower than the first threshold A travel position changing means for setting and controlling the vehicle to travel while maintaining the target position,
The travel position changing means has a higher recognition rate as the target position has a higher recognition rate as the recognition rate of the lane line having the lower recognition rate among the left and right lane line recognized by the lane line recognition unit is lower. A lane keeping control device, wherein the target position is set so as to be close to a lane marking line.
前記走行位置変更手段は、前回設定された目標位置に車両が移動してから所定時間が経過するまで、前記認識率が変化しても目標位置を変更せず、車両の走行位置を維持することを特徴とする請求項1に記載の車線維持制御装置。   The travel position changing means maintains the travel position of the vehicle without changing the target position even if the recognition rate changes until a predetermined time has elapsed since the vehicle moved to the previously set target position. The lane keeping control device according to claim 1. 左右両側の車線区画線の認識率が前記第1の閾値以上であるときは、前記走行位置変更手段は、前記目標位置を設定せず、車両が前記所定位置を走行するように車両を制御することを特徴とする、請求項1または2に記載の車線維持制御装置。   When the recognition rates of the left and right lane markings are equal to or higher than the first threshold, the travel position changing means does not set the target position and controls the vehicle so that the vehicle travels the predetermined position. The lane keeping control device according to claim 1, wherein the lane keeping control device is provided. 前記認識率が低い側の車線区画線の認識率が前記第1の閾値より低い第2の閾値以下であるときは、車線維持制御を行わないことを特徴とする請求項1乃至3いずれかに記載の車線維持制御装置。   4. The lane keeping control is not performed when the recognition rate of the lane marking on the low recognition rate side is equal to or lower than a second threshold value lower than the first threshold value. The lane keeping control device described. 前記第1の閾値が、80%であることを特徴とする請求項1乃至4いずれかに記載の車線維持制御装置。   The lane keeping control device according to any one of claims 1 to 4, wherein the first threshold value is 80%.
JP2014069685A 2014-03-28 2014-03-28 Lane maintenance control device Expired - Fee Related JP6210012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014069685A JP6210012B2 (en) 2014-03-28 2014-03-28 Lane maintenance control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014069685A JP6210012B2 (en) 2014-03-28 2014-03-28 Lane maintenance control device

Publications (2)

Publication Number Publication Date
JP2015189403A true JP2015189403A (en) 2015-11-02
JP6210012B2 JP6210012B2 (en) 2017-10-11

Family

ID=54424271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014069685A Expired - Fee Related JP6210012B2 (en) 2014-03-28 2014-03-28 Lane maintenance control device

Country Status (1)

Country Link
JP (1) JP6210012B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206895A (en) * 2015-04-21 2016-12-08 トヨタ自動車株式会社 White line follow-up travel controller
JP2018114930A (en) * 2017-01-20 2018-07-26 トヨタ自動車株式会社 Drive assisting device
CN109484404A (en) * 2017-09-11 2019-03-19 本田技研工业株式会社 Controller of vehicle, control method for vehicle and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11180328A (en) * 1997-12-18 1999-07-06 Mitsubishi Motors Corp Deviation preventing device from traffic lane
JP2001014595A (en) * 1999-06-29 2001-01-19 Mitsubishi Motors Corp Device for detecting traffic lane for vehicle
JP2001092970A (en) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd Lane recognizing device
JP2009061878A (en) * 2007-09-05 2009-03-26 Toyota Motor Corp Running controller
JP2009214785A (en) * 2008-03-12 2009-09-24 Honda Motor Co Ltd Vehicle travel support device, vehicle, and vehicle travel support program
JP2010052716A (en) * 2008-07-29 2010-03-11 Nissan Motor Co Ltd Vehicle driving support device and vehicle driving support method
JP2010271999A (en) * 2009-05-22 2010-12-02 Toyota Motor Corp Driving support apparatus
WO2014038452A1 (en) * 2012-09-04 2014-03-13 日産自動車株式会社 Stability control device
JP2015191372A (en) * 2014-03-27 2015-11-02 トヨタ自動車株式会社 Travel path demarcating compartment line detector

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11180328A (en) * 1997-12-18 1999-07-06 Mitsubishi Motors Corp Deviation preventing device from traffic lane
JP2001014595A (en) * 1999-06-29 2001-01-19 Mitsubishi Motors Corp Device for detecting traffic lane for vehicle
JP2001092970A (en) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd Lane recognizing device
JP2009061878A (en) * 2007-09-05 2009-03-26 Toyota Motor Corp Running controller
JP2009214785A (en) * 2008-03-12 2009-09-24 Honda Motor Co Ltd Vehicle travel support device, vehicle, and vehicle travel support program
JP2010052716A (en) * 2008-07-29 2010-03-11 Nissan Motor Co Ltd Vehicle driving support device and vehicle driving support method
JP2010271999A (en) * 2009-05-22 2010-12-02 Toyota Motor Corp Driving support apparatus
WO2014038452A1 (en) * 2012-09-04 2014-03-13 日産自動車株式会社 Stability control device
JP2015191372A (en) * 2014-03-27 2015-11-02 トヨタ自動車株式会社 Travel path demarcating compartment line detector

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206895A (en) * 2015-04-21 2016-12-08 トヨタ自動車株式会社 White line follow-up travel controller
JP2018114930A (en) * 2017-01-20 2018-07-26 トヨタ自動車株式会社 Drive assisting device
CN109484404A (en) * 2017-09-11 2019-03-19 本田技研工业株式会社 Controller of vehicle, control method for vehicle and storage medium
JP2019048570A (en) * 2017-09-11 2019-03-28 本田技研工業株式会社 Vehicle control device, vehicle control method, and program
CN109484404B (en) * 2017-09-11 2021-11-26 本田技研工业株式会社 Vehicle control device, vehicle control method, and storage medium

Also Published As

Publication number Publication date
JP6210012B2 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6613795B2 (en) Display control device and vehicle control device
JP6222785B2 (en) Steering support device
US10843729B2 (en) Deviation avoidance apparatus
JP4721279B2 (en) Lane tracking support device
JP6447639B2 (en) Target route generation device and travel control device
EP2741270B1 (en) Driving assistance apparatus and driving assistance method
JP5966965B2 (en) Lane boundary departure control device and lane boundary departure suppression method
WO2011118110A1 (en) Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device
JP6129167B2 (en) Driving lane recognition method using a camera
JP2015189404A (en) Lane keeping controller
JP6397248B2 (en) Vehicle travel support device
JP5692668B2 (en) Driving assistance device
JP2009286279A (en) Drive support device for vehicle
JP3704987B2 (en) Vehicle travel control device
US9536431B2 (en) Driving support apparatus and driving support method
JP2012253906A5 (en) Electric drive dump truck
JP2018097431A (en) Driving support apparatus, driving support system and driving support method
JP6210012B2 (en) Lane maintenance control device
JP5348180B2 (en) Driving assistance device
JP2011198110A (en) Vehicle control device
JP2005182753A (en) Vehicle driving assisting apparatus
KR20190016195A (en) Driving assistant system and method thereof
JP2001206237A (en) Device for preventing vehicle from deviating from lane
JP6838391B2 (en) Risk estimation device
JP6598303B2 (en) Vehicle travel control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170828

R150 Certificate of patent or registration of utility model

Ref document number: 6210012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees