JP2017198566A - Lane marker recognition device and own vehicle position estimation device - Google Patents

Lane marker recognition device and own vehicle position estimation device Download PDF

Info

Publication number
JP2017198566A
JP2017198566A JP2016090057A JP2016090057A JP2017198566A JP 2017198566 A JP2017198566 A JP 2017198566A JP 2016090057 A JP2016090057 A JP 2016090057A JP 2016090057 A JP2016090057 A JP 2016090057A JP 2017198566 A JP2017198566 A JP 2017198566A
Authority
JP
Japan
Prior art keywords
lane marker
data
vehicle
marker recognition
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016090057A
Other languages
Japanese (ja)
Other versions
JP6838285B2 (en
Inventor
茂規 早瀬
Shigenori Hayase
茂規 早瀬
玉林 段
Yulin Duan
玉林 段
功 越智
Isao Ochi
功 越智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2016090057A priority Critical patent/JP6838285B2/en
Publication of JP2017198566A publication Critical patent/JP2017198566A/en
Application granted granted Critical
Publication of JP6838285B2 publication Critical patent/JP6838285B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide lane marker recognition means using a sensor, and means for estimating the position of an own vehicle using the recognition means, the estimation means doing an estimation based on a lane marker which indicates lanes or the boundary between lanes since the relation between lanes and the position of an own vehicle is important in an own driving system.SOLUTION: The present invention according to one typical embodiment generates a trail of an own vehicle by output of an own vehicle information sensor, and generates a large lane marker map of regions around an own vehicle from information on a lane marker recognized by a sensor.SELECTED DRAWING: Figure 1

Description

本発明はセンサを用いたレーンマーカ認識装置、およびそれを利用した自車両位置の推定装置に関する。   The present invention relates to a lane marker recognizing device using a sensor, and a host vehicle position estimating device using the same.

自動運転システムでは自車両の正確な位置を推定する必要がある。特許文献１では、車両前方の撮像画像から道路特性や周辺特徴を判断し、道路特性や周辺特徴を予め対応づけた道路特性データを参照して、相関の高い地点を含む道路を自車両が走行する道路であると特定し、特定された道路を含む地図情報と検出された現在位置とに基づいて、地図情報上における自車両の位置を算出する方法が開示されている。   In an automatic driving system, it is necessary to estimate the exact position of the host vehicle. In Patent Document 1, the vehicle travels on a road including a highly correlated point by determining road characteristics and surrounding characteristics from a captured image in front of the vehicle and referring to road characteristic data in which the road characteristics and surrounding characteristics are associated in advance. A method for calculating the position of the host vehicle on the map information based on the map information including the specified road and the detected current position is disclosed.

特開２０１５−６８６６５号公報Japanese Patent Laying-Open No. 2015-68665

特許文献１では、道路特性や周辺特徴を基準に自車両位置を推定している。しかし、自動運転システムにおいては車線と自車両位置の関係が重要になるため、車線あるいは車線と車線の間の境界線を示すレーンマーカを基準とした自車両位置の推定手段が必要となる。そこで、本発明ではセンサを用いたレーンマーカ認識手段、およびそれを利用した自車両位置の推定手段を提供する。   In patent document 1, the own vehicle position is estimated on the basis of road characteristics and surrounding features. However, since the relationship between the lane and the own vehicle position is important in the automatic driving system, a means for estimating the own vehicle position based on the lane marker indicating the lane or the boundary line between the lane and the lane is required. Therefore, the present invention provides a lane marker recognizing unit using a sensor and a vehicle position estimating unit using the lane marker recognizing unit.

上記課題を解決するため、代表的な本発明の実施の形態の１つは、自車情報センサの出力による自車軌跡の生成と、センサによって認識されたレーンマーカの情報により、自車両周辺のレーンマーカ地図を広範囲に生成するものである。   In order to solve the above-described problem, one of the typical embodiments of the present invention is that a lane marker around the host vehicle is generated by generating the vehicle trajectory based on the output of the host vehicle information sensor and information on the lane marker recognized by the sensor. The map is generated extensively.

本発明によれば車線に対する自車両位置の推定精度を向上させることができる。上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。   According to the present invention, it is possible to improve the estimation accuracy of the vehicle position with respect to the lane. Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.

本発明の実施形態に係るレーンマーカ認識装置と、そのレーンマーカ認識装置を利用した自車両位置推定装置の実施の形態を示す図The figure which shows embodiment of the lane marker recognition apparatus which concerns on embodiment of this invention, and the own vehicle position estimation apparatus using the lane marker recognition apparatus マーカ位置算出部の動作を説明する図The figure explaining operation | movement of a marker position calculation part 間引き処理部の実施の形態を示す図The figure which shows embodiment of a thinning-out process part マーカ位置算出部の動作を説明する図The figure explaining operation | movement of a marker position calculation part

以下、図面を用いて実施例を説明する。   Embodiments will be described below with reference to the drawings.

図１は、本実施形態に係るレーンマーカ認識装置と、そのレーンマーカ認識装置を利用した自車両位置推定装置の実施の形態を示す図である。   FIG. 1 is a diagram showing an embodiment of a lane marker recognition device according to the present embodiment and a host vehicle position estimation device using the lane marker recognition device.

レーンマーカ認識装置１００は、信頼度生成部１０２、自車軌跡生成部１０４、マーカ位置算出部１０５、マーカ認識データ１０６、マネージャ１０７、間引き処理部１０８から構成される。レーンマーカ認識装置１００は１つ以上のｍ個の周辺認識センサ１０１、１つ以上のｎ個の自車情報センサ１０３からデータを入力される。レーンマーカ認識装置１００は形状マッチ処理部１１３に対してレーンマーカ認識結果を出力する。   The lane marker recognition device 100 includes a reliability generation unit 102, a vehicle trajectory generation unit 104, a marker position calculation unit 105, marker recognition data 106, a manager 107, and a thinning processing unit 108. The lane marker recognizing device 100 receives data from one or more m surrounding recognition sensors 101 and one or more n vehicle information sensors 103. The lane marker recognition device 100 outputs a lane marker recognition result to the shape match processing unit 113.

周辺認識センサ１０１は、例えばカメラやレーダ、レーザレーダのような、自車両の周辺を認識するセンサであり、レーンマーカを認識して、その位置データをレーンマーカ認識装置１００に向けて出力する。また、周辺認識センサ１０１は、レーンマーカ認識の信頼度に関わるデータをレーンマーカ認識装置１００に向けて出力しても良い。例えば周辺認識センサ１０１がカメラで合った場合、撮像された画像の明るさや、認識されたレーンマーカのかすれ具合、車線の曲率半径をレーンマーカ認識の信頼度に関わるデータとすることができる。レーンマーカ認識装置１００では、その構成要素である信頼度生成部１０２が周辺認識センサ１０１の個数ｍと同じ個数だけ準備され、周辺認識センサ１０１からの入力を受け取る。   The periphery recognition sensor 101 is a sensor that recognizes the periphery of the host vehicle, such as a camera, radar, or laser radar. The periphery recognition sensor 101 recognizes the lane marker and outputs the position data to the lane marker recognition device 100. The periphery recognition sensor 101 may output data related to the reliability of lane marker recognition toward the lane marker recognition device 100. For example, when the periphery recognition sensor 101 is matched with a camera, the brightness of the captured image, the degree of fading of the recognized lane marker, and the curvature radius of the lane can be used as data related to the reliability of lane marker recognition. In the lane marker recognizing device 100, the reliability generation unit 102 which is a constituent element thereof is prepared in the same number as the number m of the peripheral recognition sensors 101 and receives input from the peripheral recognition sensors 101.

自車情報センサ１０３は、例えばヨーレートセンサ、車速センサのような、自車両の走行状態を認識するセンサであり、データをレーンマーカ認識装置１００に向けて出力する。レーンマーカ認識装置１００では、その構成要素である自車軌跡生成部１０４が自車情報センサ１０３の個数ｎと同じ個数だけ準備され、自車情報センサ１０３からの入力を受け取る。   The own vehicle information sensor 103 is a sensor that recognizes the traveling state of the own vehicle, such as a yaw rate sensor or a vehicle speed sensor, and outputs data to the lane marker recognition device 100. In the lane marker recognizing device 100, the vehicle trajectory generation unit 104, which is a constituent element, is prepared in the same number as the number n of the vehicle information sensors 103, and receives input from the vehicle information sensor 103.

信頼度生成部１０２は、周辺認識センサ１０１から受け取ったレーンマーカの位置データに対して信頼度を生成し、レーンマーカ位置とその信頼度をマーカ位置算出部１０５に向けて出力する。信頼度の生成には、周辺認識センサ１０１から入力されたレーンマーカ認識の信頼度に関わるデータを用いることができる。例えば、撮像された画像が明るいほうが正しい認識が可能だと判断し、撮像された画像の明るさが明るくなるに応じて高い信頼度を設定することができる。レーンマーカがかすれている場合には認識が困難となるため、認識されたレーンマーカがかすれるに応じて低い信頼度を設定することができる。車線の曲率半径小さく、急なカーブの場合にはレーンマーカの認識が困難になるため、車線の曲率半径が小さくなるに応じて低い信頼度を設定することができる。また、位置が遠くなるほどレーンマーカの認識は困難となるため、レーンマーカ位置の遠さに応じて低い信頼度を設定することができる。   The reliability generation unit 102 generates reliability for the lane marker position data received from the periphery recognition sensor 101, and outputs the lane marker position and its reliability to the marker position calculation unit 105. For generation of reliability, data related to reliability of lane marker recognition input from the peripheral recognition sensor 101 can be used. For example, it can be determined that the brighter the captured image is, the higher the reliability can be set as the brightness of the captured image becomes brighter. Since recognition becomes difficult when the lane marker is blurred, a low reliability can be set according to the recognized lane marker being blurred. In the case of a sharp curve with a small radius of curvature of the lane, it becomes difficult to recognize the lane marker. Therefore, a low reliability can be set as the radius of curvature of the lane decreases. Further, since the lane marker becomes more difficult to recognize as the position is further away, a low reliability can be set according to the distance of the lane marker position.

自車軌跡生成部１０４は、自車情報センサ１０３から受け取った自車両の走行状態のデータから、自車の走行軌跡を生成し、その結果をマーカ位置算出部１０５に向けて出力する。   The own vehicle trajectory generation unit 104 generates a travel trajectory of the own vehicle from the data on the travel state of the own vehicle received from the own vehicle information sensor 103, and outputs the result to the marker position calculation unit 105.

マーカ位置算出部１０５は、信頼度生成部１０２からレーンマーカ位置データとその信頼度を受け取り、自車軌跡生成部１０４から自車の走行軌跡を受け取る。マーカ位置算出部１０５は、レーンマーカ位置データとその信頼度、自車の走行軌跡から、過去に取得したレーンマーカ位置データと現在のレーンマーカ位置データの位置関係を算出し、その結果に応じてマーカ認識データ１０６に格納されているデータを更新する。その動作内容を図２で説明する。レーンマーカ位置データ２０１が周辺認識センサ１０１から受け取ったレーンマーカの位置データ、走行軌跡２０２が自車軌跡生成部１０４から受け取った自車軌跡を示す。ここでは、周辺認識センサ１０１が自車の前方のレーンマーカをある程度の距離にわたって認識できることを想定している。走行軌跡２０２内で、２１１が２回前に測定された自車位置、２１２が１回前に測定された自車位置、２１３が現在の自車位置を示している。レーンマーカ位置算出結果２０３は、過去に取得したレーンマーカ位置データと現在のレーンマーカ位置データの位置関係の算出結果を示している。２２１が２回前に測定されたレーンマーカ位置データ、２２２が１回前に測定されたレーンマーカ位置データ、２１３が現在のレーンマーカ位置データを示している。マーカ位置算出部１０５は、マーカ認識データ１０６に格納されている過去に測定されたレーンマーカ位置データを読み出し、走行軌跡２０２で得られる過去に測定された自車位置と現在の自車位置の位置・方向の関係に基づいてレーンマーカ位置データの位置を修正して、レーンマーカ位置データ２２１、２２２とし、さらに現在のレーンマーカ位置データ２２３を付け加えて、マーカ認識データ１０６を更新する。マーカ認識データ１０６を更新する際には、レーンマーカ位置データに対応する信頼度データをペアにして更新する。マーカ位置算出部１０５は自車位置の情報をマネージャ１０７に向けて出力する。   The marker position calculation unit 105 receives the lane marker position data and its reliability from the reliability generation unit 102, and receives the traveling locus of the own vehicle from the own vehicle locus generation unit 104. The marker position calculation unit 105 calculates the positional relationship between the lane marker position data acquired in the past and the current lane marker position data from the lane marker position data, its reliability, and the travel locus of the host vehicle, and marker recognition data according to the result. The data stored in 106 is updated. The operation content will be described with reference to FIG. The lane marker position data 201 indicates the position data of the lane marker received from the periphery recognition sensor 101, and the traveling locus 202 indicates the own vehicle locus received from the own vehicle locus generating unit 104. Here, it is assumed that the periphery recognition sensor 101 can recognize the lane marker in front of the host vehicle over a certain distance. In the travel locus 202, 211 indicates the own vehicle position measured twice before, 212 indicates the own vehicle position measured once before, and 213 indicates the current own vehicle position. The lane marker position calculation result 203 indicates the calculation result of the positional relationship between the lane marker position data acquired in the past and the current lane marker position data. Reference numeral 221 denotes lane marker position data measured two times before, 222 denotes lane marker position data measured one time before, and 213 denotes current lane marker position data. The marker position calculation unit 105 reads the lane marker position data measured in the past stored in the marker recognition data 106, and obtains the position of the vehicle position measured in the past and the current position of the vehicle Based on the direction relationship, the position of the lane marker position data is corrected to obtain lane marker position data 221 and 222, and the current lane marker position data 223 is added to update the marker recognition data 106. When updating the marker recognition data 106, the reliability data corresponding to the lane marker position data is updated as a pair. The marker position calculation unit 105 outputs information on the vehicle position to the manager 107.

マーカ認識データ１０６は、レーンマーカ位置データと信頼度のペアを格納する。データはマーカ位置算出部１０５とマネージャ１０７によって更新される。また、マーカ認識データ１０６に格納されたデータは間引き処理部１０８の処理で使用される。   The marker recognition data 106 stores a pair of lane marker position data and reliability. The data is updated by the marker position calculation unit 105 and the manager 107. The data stored in the marker recognition data 106 is used in the processing of the thinning processing unit 108.

マネージャ１０７は、マーカ位置算出部１０５から自車位置の情報を受け取り、マーカ認識データ１０６を更新する。マーカ認識データ１０６に格納されているデータのうち、自車位置から遠く離れた位置のデータは不要となるため、マーカ位置算出部１０５から受けとった自車位置情報を基準として、ある閾値を越えて遠く離れた位置のレーンマーカ位置データを削除する。また、過去のデータは現在のデータと比べて信頼度が低下するため、マーカ認識データ１０６に格納されたデータの信頼度を、時間の経過に応じて低下させる。以上の変更に従って、マネージャ１０７はマーカ認識データ１０６のデータを更新する。   The manager 107 receives information on the vehicle position from the marker position calculation unit 105 and updates the marker recognition data 106. Of the data stored in the marker recognition data 106, data at a position far away from the own vehicle position is not necessary, and therefore exceeds a certain threshold with reference to the own vehicle position information received from the marker position calculation unit 105. Delete the lane marker position data at a far away position. In addition, since the past data has a lower reliability than the current data, the reliability of the data stored in the marker recognition data 106 is lowered as time passes. In accordance with the above changes, the manager 107 updates the marker recognition data 106 data.

間引き処理部１０８は、マーカ認識データ１０６に格納されているデータを読み出し、データの間引きを実施して、形状マッチ処理部１１３に向けて出力する。この出力は、レーンマーカ認識装置１００の出力となる。マーカ認識データ１０６に格納されるデータは、そのデータ量が大きくなる傾向にあり、そのままでは形状マッチ処理部１１３の処理量が増大するという問題がある。その問題に対応するため、間引き処理部１０８でデータの間引きを実施する。また、マーカ認識データ１０６に格納されるデータは、同一位置に対するレーンマーカ認識データを複数保持している可能性があるため、間引き処理部１０８では信頼度を用いて複数のレーンマーカ認識データを融合する。   The thinning processing unit 108 reads data stored in the marker recognition data 106, performs data thinning, and outputs the data to the shape matching processing unit 113. This output is the output of the lane marker recognition device 100. The data stored in the marker recognition data 106 tends to increase in data amount, and there is a problem that the processing amount of the shape match processing unit 113 increases as it is. In order to deal with the problem, the thinning processing unit 108 performs data thinning. Further, since the data stored in the marker recognition data 106 may hold a plurality of lane marker recognition data for the same position, the thinning-out processing unit 108 combines the plurality of lane marker recognition data using the reliability.

実車位置センサ１０９は、例えばＧｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）のような自車位置を測定するセンサであり、測定された自車位置を自車周辺地図取得部１１０に向けて出力する。   The actual vehicle position sensor 109 is a sensor that measures the vehicle position, such as a Global Positioning System (GPS), and outputs the measured vehicle position to the vehicle surrounding map acquisition unit 110.

自車周辺地図取得部１１０は、実車位置センサ１０９から受け取った自車位置データに基づき、高精度地図１１１に格納されている高精度地図から、自車周辺の部分を選択して取り出す。高精度地図１１１が格納している地図は、位置精度の高い地図であり、車線あるいはレーンマーカの位置情報や車線幅の情報も地図として保持している。自車周辺地図取得部１１０は、取り出した自車周辺の高精度地図を車線−マーカ変換部１１２へ向けて出力する。   The own vehicle surrounding map acquisition unit 110 selects and extracts a portion around the own vehicle from the high accuracy map stored in the high accuracy map 111 based on the own vehicle position data received from the actual vehicle position sensor 109. The map stored in the high-accuracy map 111 is a map with high positional accuracy, and also holds lane or lane marker position information and lane width information as a map. The own vehicle surrounding map acquisition unit 110 outputs the extracted high-accuracy map around the own vehicle to the lane-marker conversion unit 112.

車線−マーカ変換部１１２は、自車周辺地図取得部１１０から受け取った高精度地図に保持されている車線位置情報と、車線幅情報から、レーンマーカを算出して、形状マッチ処理部１１３に向けて出力する。   The lane-marker conversion unit 112 calculates a lane marker from the lane position information and the lane width information held in the high-accuracy map received from the host vehicle surrounding map acquisition unit 110, and proceeds toward the shape match processing unit 113. Output.

形状マッチ処理部１１３は、レーンマーカ認識装置１００の構成要素である間引き処理部１０８からレーンマーカ認識データを受け取り、車線−マーカ変換部１１２からレーンマーカの高精度位置情報を受け取る。形状マッチ処理部１１３は受け取った２つのレーンマーカ位置情報に対してマッチング処理を実施する。マッチング処理方法にはＩｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ（ＩＣＰ）のような公知のアルゴリズムを活用することができる。これにより、レーンマーカ認識装置１００から入力されたレーンマーカが、車線−マーカ変換部１１２から入力されたレーンマーカの高精度位置情報の中で、どの位置に相当するかを算出することができる。この結果により、高精度地図１１１に格納されている地図の範囲内で、自車位置がどの場所に相当するかを算出することができる。形状マッチ処理部１１３は、ここで算出された高精度地図上の自車位置データを、フィルタ処理部１１４に向けて出力する。   The shape match processing unit 113 receives lane marker recognition data from the thinning processing unit 108 that is a component of the lane marker recognition device 100, and receives high-precision position information of the lane marker from the lane-marker conversion unit 112. The shape matching processing unit 113 performs matching processing on the received two lane marker position information. For the matching processing method, a known algorithm such as Iterative Closest Point (ICP) can be used. Thereby, it is possible to calculate which position the lane marker input from the lane marker recognition apparatus 100 corresponds to in the high-accuracy position information of the lane marker input from the lane-marker conversion unit 112. Based on this result, it is possible to calculate which location the vehicle position corresponds to within the range of the map stored in the high-accuracy map 111. The shape match processing unit 113 outputs the vehicle position data on the high-accuracy map calculated here to the filter processing unit 114.

フィルタ処理部１１４は、形状マッチ処理部１１３から受け取った高精度地図上の自車位置データにフィルタ処理を実施する。フィルタ処理とは、例えばカルマンフィルタ処理のことであり、自車位置の推定精度を向上させるために実施される。この結果で得られる自車位置推定値が自動運転等のアプリケーションで利用される。   The filter processing unit 114 performs a filtering process on the vehicle position data on the high-accuracy map received from the shape match processing unit 113. The filter process is, for example, a Kalman filter process, and is performed in order to improve the estimation accuracy of the vehicle position. The vehicle position estimated value obtained as a result of this is used in applications such as automatic driving.

レーンマーカ認識装置１００は、周辺認識センサと自車情報センサのデータの組み合わせにより、自車周辺の広い範囲のレーンマーカ認識データを構築して出力することが可能なレーンマーカ認識装置を実現することができる。このレーンマーカ認識装置１００用いて図１に示すような自車両位置推定装置を構成することで、広い範囲のレーンマーカ認識データを高精度地図とマッチングすることで、精度の高い自車位置推定値を得ることが可能となる。   The lane marker recognizing device 100 can realize a lane marker recognizing device capable of constructing and outputting a wide range of lane marker recognizing data around the vehicle by combining the data of the periphery recognizing sensor and the vehicle information sensor. By using this lane marker recognizing device 100 to construct a host vehicle position estimation device as shown in FIG. 1, a wide range of lane marker recognition data is matched with a high-accuracy map to obtain a highly accurate vehicle position estimation value. It becomes possible.

図３は、図１に記載の間引き処理部１０８の実施の形態を示す図である。   FIG. 3 is a diagram showing an embodiment of the thinning processing unit 108 shown in FIG.

レーンマーカ位置データ２２１、２２２、２２３は、それぞれ２回前、１回前、現在のレーンマーカ位置データである。ここでは２回前までを図示してあるが、処理負荷や使用メモリ量が許す限り多くのレーンマーカ位置データを使用しても良い。これらのレーンマーカ位置データからデータを間引くため、間引きレーンマーカ算出位置２１３−１、２１３−２、２１３−３、２１３−４、２１３−５、２１３−６を設定する。間引きレーンマーカ算出位置の設定に制限は無いが、例えば自車位置を基準として、道なりに等間隔に間引きレーンマーカ算出位置を定めることができる。ここで定めた間引きレーンマーカ算出位置におけるレーンマーカ位置を推定して間引き処理部１０８の出力とする。   The lane marker position data 221, 222, and 223 are the current lane marker position data two times before, one time before, respectively. Although up to two times are shown here, as much lane marker position data may be used as the processing load and the amount of memory used allow. In order to thin out data from these lane marker position data, thinned lane marker calculation positions 213-1, 213-2, 213-3, 213-4, 213-5, and 213-6 are set. Although the setting of the thinning lane marker calculation position is not limited, for example, the thinning lane marker calculation position can be determined at equal intervals along the road with the vehicle position as a reference. The lane marker position at the decimation lane marker calculation position determined here is estimated and used as the output of the decimation processing unit 108.

間引きレーンマーカ算出位置２１３−５におけるレーンマーカ位置推定を例にして推定方法を説明する。間引きレーンマーカ算出位置２１３−５付近を拡大して図３右に示す。間引きレーンマーカ算出位置２１３−５付近には、レーンマーカ位置データ２２１と２２２のデータが存在する。レーンマーカ位置データ２２１の左側レーンマーカ位置データが３１１−Ｌ、３１２−Ｌ、右側レーンマーカ位置データが３１１−Ｒ、３１２−Ｒである。レーンマーカ位置データ２２２の左側レーンマーカ位置データが３２１−Ｌ、３２２−Ｌ、右側レーンマーカ位置データが３２１−Ｒ、３２２−Ｒである。ここでは、間引きレーンマーカ算出位置２１３−５における左側レーンマーカ位置３３１−Ｌの推定について説明するが、右側レーンマーカ位置３３１−Ｒの推定も同様に可能である。まず、間引きレーンマーカ算出位置２１３−５が、レーンマーカ位置データ２２１の左側レーンマーカ位置データ３１１−Ｌ、３１２−Ｌを結ぶ直線上のどの位置にあたるかを算出して、レーンマーカ位置データ３１３−Ｌとする。そして、左側レーンマーカ位置データ３１１−Ｌ、３１２−Ｌとレーンマーカ位置データ３１３−Ｌとの距離をそれぞれｘ３２１、ｘ３２２とする。以上のデータを用いてレーンマーカ位置データ３１３−Ｌの信頼度を算出する。例えば、左側レーンマーカ位置データ３１１−Ｌ、３１２−Ｌの信頼度と、距離ｘ３２１、ｘ３２２を用いて線形補完することでレーンマーカ位置データ３１３−Ｌの信頼度を算出することができる。同様に、間引きレーンマーカ算出位置２１３−５が、レーンマーカ位置データ２２２の左側レーンマーカ位置データ３２１−Ｌ、３２２−Ｌを結ぶ直線上のどの位置にあたるかを算出してレーンマーカ位置データ３２３−Ｌとし、その信頼度を算出する。さらに、レーンマーカ位置データ３１３−Ｌの信頼度と、レーンマーカ位置データ３２３−Ｌの信頼度から、間引きレーンマーカ算出位置２１３−５における左側レーンマーカ位置３３１−Ｌを推定する。例えば、レーンマーカ位置データ３１３−Ｌの座標と、レーンマーカ位置データ３２３−Ｌの座標に対して、それぞれの信頼度を重みとして、重み付き平均を計算することで左側レーンマーカ位置３３１−Ｌを推定することができる。   An estimation method will be described using lane marker position estimation at the thinned lane marker calculation position 213-5 as an example. The vicinity of the thinning lane marker calculation position 213-5 is enlarged and shown on the right side of FIG. The lane marker position data 221 and 222 data exist in the vicinity of the thinned lane marker calculation position 213-5. The left lane marker position data of the lane marker position data 221 is 311 -L and 312 -L, and the right lane marker position data is 311 -R and 312 -R. The left lane marker position data of the lane marker position data 222 are 321 -L and 322 -L, and the right lane marker position data are 321 -R and 322 -R. Here, estimation of the left lane marker position 331-L at the thinned lane marker calculation position 213-5 will be described, but estimation of the right lane marker position 331-R is also possible. First, the lane marker position data 313-5 is calculated by calculating which position on the straight line connecting the left lane marker position data 311-L and 312-L of the lane marker position data 221 is the thinned lane marker calculation position 213-5. The distances between the left lane marker position data 311-L and 312-L and the lane marker position data 313-L are x321 and x322, respectively. The reliability of the lane marker position data 313-L is calculated using the above data. For example, the reliability of the lane marker position data 313 -L can be calculated by performing linear interpolation using the reliability of the left lane marker position data 311 -L and 312 -L and the distances x321 and x322. Similarly, the thinned lane marker calculation position 213-5 is calculated as which position on the straight line connecting the left lane marker position data 321-L and 322-L of the lane marker position data 222 to be the lane marker position data 323-L. Calculate reliability. Further, the left lane marker position 331-L at the thinned lane marker calculation position 213-5 is estimated from the reliability of the lane marker position data 313-L and the reliability of the lane marker position data 323-L. For example, the left lane marker position 331-L is estimated by calculating a weighted average with respect to the coordinates of the lane marker position data 313-L and the coordinates of the lane marker position data 323-L, with respective reliability as weights. Can do.

ここでは、自車走行車線のレーンマーカのみについて記載したが、隣接車線等、複数車線についてのレーンマーカが認識されていれば、それぞれについて同様の処理を実施することが可能である。また、ここでは、レーンマーカ位置データが２つ存在する場合を説明したが、３つ以上存在する場合にも同様に処理することが可能である。   Here, only the lane marker for the host vehicle lane is described, but if lane markers for a plurality of lanes such as adjacent lanes are recognized, the same processing can be performed for each. Although the case where two lane marker position data are present has been described here, the same processing can be performed when there are three or more lane marker position data.

以上の方法によって、間引き処理部１０８において、信頼度を用いた複数のレーンマーカ認識データの融合を実現することができる。   By the above method, the thinning processing unit 108 can realize the fusion of a plurality of lane marker recognition data using the reliability.

図３を用いて、図１に記載の間引き処理部１０８の実施の形態について、実施例２とは異なる形態を説明する。   With reference to FIG. 3, an embodiment of the thinning processing unit 108 illustrated in FIG. 1 will be described which is different from the embodiment 2.

レーンマーカ位置データ３１３−Ｌは左側レーンマーカ位置データ３１１−Ｌ、３１２−Ｌを結ぶ直線状の点である。レーンマーカ位置データ３１１−Ｌ、３１２−Ｌのうち、レーンマーカ位置データ３１３−Ｌに近い方を選択する。図３ではレーンマーカ位置データ３１１−Ｌが選択される。   The lane marker position data 313-L is a straight point connecting the left lane marker position data 311-L and 312-L. Of the lane marker position data 311-L and 312-L, the one closer to the lane marker position data 313-L is selected. In FIG. 3, the lane marker position data 311-L is selected.

レーンマーカ位置データ３２３−Ｌは左側レーンマーカ位置データ３２１−Ｌ、３２２−Ｌを結ぶ直線状の点である。レーンマーカ位置データ３２１−Ｌ、３２２−Ｌのうち、レーンマーカ位置データ３２３−Ｌに近い方を選択する。図３ではレーンマーカ位置データ３２２−Ｌが選択される。   The lane marker position data 323-L is a straight point connecting the left lane marker position data 321-L and 322-L. Of the lane marker position data 321 -L and 322 -L, the one closer to the lane marker position data 323 -L is selected. In FIG. 3, the lane marker position data 322-L is selected.

以上で選択されたレーンマーカ位置データ３１１−Ｌ、３２２−Ｌを用いて、間引きレーンマーカ算出位置２１３−５における左側レーンマーカ位置３３１−Ｌを推定する。例えば、レーンマーカ位置データ３１１−Ｌの座標と、レーンマーカ位置データ３２２−Ｌの座標に対して、それぞれの信頼度を重みとして、重み付き平均を計算することで左側レーンマーカ位置３３１−Ｌを推定することができる。   The left lane marker position 331-L at the thinned lane marker calculation position 213-5 is estimated using the lane marker position data 311-L and 322-L selected above. For example, the left lane marker position 331 -L is estimated by calculating a weighted average with respect to the coordinates of the lane marker position data 311 -L and the coordinates of the lane marker position data 322 -L and using the respective reliability as a weight. Can do.

ここでは、自車走行車線のレーンマーカのみについて記載したが、隣接車線等、複数車線についてのレーンマーカが認識されていれば、それぞれについて同様の処理を実施することが可能である。また、ここでは、レーンマーカ位置データが２つ存在する場合を説明したが、３つ以上存在する場合にも同様に処理することが可能である。   Here, only the lane marker for the host vehicle lane is described, but if lane markers for a plurality of lanes such as adjacent lanes are recognized, the same processing can be performed for each. Although the case where two lane marker position data are present has been described here, the same processing can be performed when there are three or more lane marker position data.

以上の方法によって、間引き処理部１０８において、信頼度を用いた複数のレーンマーカ認識データの融合を実現することができる。   By the above method, the thinning processing unit 108 can realize the fusion of a plurality of lane marker recognition data using the reliability.

実施例１のマーカ位置算出部１０５において、レーンマーカ位置データとその信頼度、自車の走行軌跡から、過去に取得したレーンマーカ位置データと現在のレーンマーカ位置データの位置関係を算出し、その結果に応じてマーカ認識データ１０６に格納されているデータを更新する方法について、実施例１とは異なる形態を図４で説明する。   In the marker position calculation unit 105 of the first embodiment, the positional relationship between the lane marker position data acquired in the past and the current lane marker position data is calculated from the lane marker position data, its reliability, and the traveling locus of the host vehicle, and according to the result. A method of updating the data stored in the marker recognition data 106 will be described with reference to FIG.

周辺認識センサには、自車近傍のみを認識範囲とするセンサがあり、レーンマーカの認識可能範囲が狭い、あるいはレーンマーカを１点でしか認識できない場合がある。ここでは、そのような場合のマーカ認識データ１０６に格納されているデータの更新方法を示す。   The peripheral recognition sensor includes a sensor having a recognition range only in the vicinity of the own vehicle, and there are cases where the recognizable range of the lane marker is narrow or the lane marker can be recognized only at one point. Here, a method for updating the data stored in the marker recognition data 106 in such a case is shown.

走行軌跡２０２内で、２１１が２回前に測定された自車位置、２１２が１回前に測定された自車位置、２１３が現在の自車位置を示している。レーンマーカ位置算出結果２０３は、過去に取得したレーンマーカ位置データと現在のレーンマーカ位置データの位置関係の算出結果を示している。２２１が２回前に測定されたレーンマーカ位置データ、２２２が１回前に測定されたレーンマーカ位置データ、２１３が現在のレーンマーカ位置データを示している。マーカ位置算出部１０５は、マーカ認識データ１０６に格納されている過去に測定されたレーンマーカ位置データを読み出し、走行軌跡２０２で得られる過去に測定された自車位置と現在の自車位置の位置・方向の関係に基づいてレーンマーカ位置データの位置を修正して、レーンマーカ位置データ２４１、２４２とし、さらに現在のレーンマーカ位置データ２４３を付け加えて、マーカ認識データ１０６を更新する。このとき、過去のレーンマーカ位置と、現在のレーンマーカ位置データ間には直線情のレーンマーカが存在するとして、レーンマーカ位置データ２４１、２４２、２４３が連結されているものとする。   In the travel locus 202, 211 indicates the own vehicle position measured twice before, 212 indicates the own vehicle position measured once before, and 213 indicates the current own vehicle position. The lane marker position calculation result 203 indicates the calculation result of the positional relationship between the lane marker position data acquired in the past and the current lane marker position data. Reference numeral 221 denotes lane marker position data measured two times before, 222 denotes lane marker position data measured one time before, and 213 denotes current lane marker position data. The marker position calculation unit 105 reads the lane marker position data measured in the past stored in the marker recognition data 106, and obtains the position of the vehicle position measured in the past and the current position of the vehicle Based on the direction relationship, the position of the lane marker position data is corrected to obtain lane marker position data 241 and 242, and the current lane marker position data 243 is added to update the marker recognition data 106. At this time, it is assumed that there is a straight-line lane marker between the past lane marker position and the current lane marker position data, and the lane marker position data 241, 242, and 243 are connected.

このようにマーカ認識データ１０６に格納されているデータを更新することで、実施例２、３に記載の間引き処理部１０８の実施が可能となる。   By updating the data stored in the marker recognition data 106 in this manner, the thinning processing unit 108 described in the second and third embodiments can be implemented.

１００：レーンマーカ認識装置
１０１：周辺認識センサ
１０２：自車情報センサ
１０３：信頼度生成部
１０４：自車軌跡生成部
１０５：マーカ位置算出部
１０６：マーカ認識データ
１０７：マネージャ
１０８：間引き処理部
１０９：自車位置センサ
１１０：自車周辺地図取得部
１１１：高精度地図
１１２：車線−マーカ変換部
１１３：形状マッチ処理部
１１４：フィルタ処理部
２０１：レーンマーカ位置データ
２０２：走行軌跡
２０３：レーンマーカ位置算出結果
２１１：２回前に測定された自車位置
２１２：１回前に測定された自車位置
２１３：現在の自車位置
２２１：２回前のレーンマーカ位置データ
２２２：１回前のレーンマーカ位置データ
２２３：現在のレーンマーカ位置データ
２３１：間引きレーンマーカ算出位置
２４１：２回前のレーンマーカ位置データ
２４２：１回前のレーンマーカ位置データ
２４３：現在のレーンマーカ位置データ
３１１、３１２、３１３：レーンマーカ位置データ２２１に属するレーンマーカ位置データ
３２１、３２２、３２３：レーンマーカ位置データ２２２に属するレーンマーカ位置データ
３３１：推定されたレーンマーカ位置 100: Lane marker recognition device 101: Surrounding recognition sensor 102: Own vehicle information sensor 103: reliability generation unit 104: own vehicle locus generation unit 105: marker position calculation unit 106: marker recognition data 107: manager 108: thinning processing unit 109: Own vehicle position sensor 110: own vehicle surrounding map acquisition unit 111: high accuracy map 112: lane-marker conversion unit 113: shape match processing unit 114: filter processing unit 201: lane marker position data 202: travel locus 203: lane marker position calculation result 211: Own vehicle position 212 measured two times before: Own vehicle position 213 measured before one time: Current own vehicle position 221: Lane marker position data two times before 222: Lane marker position data 223 one time before : Current lane marker position data 231: Thinned lane marker calculation position 241: 2 times before Lane marker position data 242: Previous lane marker position data 243: Current lane marker position data 311, 312, 313: Lane marker position data 321, 322, 323 belonging to lane marker position data 221: Lane marker position data 331 belonging to lane marker position data 222 : Estimated lane marker position

Claims (4)

１つ以上の周辺認識センサと、１つ以上の自車情報センサからのデータを受け取り、レーンマーカ認識データを出力するレーンマーカ認識装置において、
前記自車情報センサから自車両の走行状態を受け取り、自車の走行軌跡を生成する自車軌跡生成部と、
前記周辺センサからレーンマーカ認識位置データ、前記自車軌跡生成部から前記自車の走行軌跡を受け取り、マーカ位置を算出して内部で記憶しているマーカ認識データを更新する、マーカ位置算出部を具備し、
レーンマーカ認識データを出力することを特徴とする、レーンマーカ認識装置。 In the lane marker recognition device that receives data from one or more surrounding recognition sensors and one or more vehicle information sensors and outputs lane marker recognition data,
A host vehicle trajectory generating unit that receives a travel state of the host vehicle from the host vehicle information sensor and generates a travel track of the host vehicle;
A marker position calculation unit that receives lane marker recognition position data from the peripheral sensor and a traveling locus of the vehicle from the vehicle locus generation unit, calculates a marker position, and updates the marker recognition data stored therein; And
A lane marker recognition device that outputs lane marker recognition data. 請求項１に記載のレーンマーカ認識装置において、
前記レーンマーカ認識位置データに信頼度を付与する信頼度生成部と、
前記信頼度を用いてマーカ認識データの間引き処理を実施する間引き処理部を具備し、
レーンマーカ認識データを出力することを特徴とする、レーンマーカ認識装置。 The lane marker recognition device according to claim 1,
A reliability generation unit for providing reliability to the lane marker recognition position data;
A decimation processing unit for performing decimation processing of marker recognition data using the reliability,
A lane marker recognition device that outputs lane marker recognition data. 請求項１に記載のレーンマーカ認識装置において、
前記周辺認識センサを複数具備し、
前記間引き処理部において、前記複数の周辺認識センサから受け取ったレーンマーカ認識位置データに対して、前記マーカ認識データの間引き処理を実施し、
レーンマーカ認識データを出力することを特徴とする、レーンマーカ認識装置 The lane marker recognition device according to claim 1,
A plurality of the peripheral recognition sensors;
In the thinning-out processing unit, the marker recognition data is thinned out for the lane marker recognition position data received from the plurality of peripheral recognition sensors,
Lane marker recognition device, characterized by outputting lane marker recognition data 高精度地図を用いて自車位置を推定し、自車位置推定値を出力する自車両位置推定装置において、
前記請求項１から３のいずれかに記載のレーンマーカ認識装置を具備し、
前記高精度地図から生成したレーンマーカ地図と、前記レーンマーカ認識装置から受け取った前記レーンマーカ認識データでマッチング処理を行うことで自車位置推定値を生成し、
前期自車位置推定値を出力することを特徴とする自車両位置推定装置。 In the own vehicle position estimation device that estimates the own vehicle position using a high-precision map and outputs the estimated vehicle position value,
The lane marker recognition device according to any one of claims 1 to 3,
A lane marker map generated from the high-accuracy map and the vehicle position estimation value are generated by performing a matching process on the lane marker recognition data received from the lane marker recognition device,
A host vehicle position estimation device that outputs a host vehicle position estimated value in the previous period.
JP2016090057A 2016-04-28 2016-04-28 Lane marker recognition device, own vehicle position estimation device Active JP6838285B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016090057A JP6838285B2 (en) 2016-04-28 2016-04-28 Lane marker recognition device, own vehicle position estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016090057A JP6838285B2 (en) 2016-04-28 2016-04-28 Lane marker recognition device, own vehicle position estimation device

Publications (2)

Publication Number Publication Date
JP2017198566A true JP2017198566A (en) 2017-11-02
JP6838285B2 JP6838285B2 (en) 2021-03-03

Family

ID=60239156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016090057A Active JP6838285B2 (en) 2016-04-28 2016-04-28 Lane marker recognition device, own vehicle position estimation device

Country Status (1)

Country Link
JP (1) JP6838285B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016005A (en) * 2017-07-03 2019-01-31 アルパイン株式会社 Lane recognition device
WO2020008221A1 (en) * 2018-07-04 2020-01-09 日産自動車株式会社 Travel assistance method and travel assistance device
JP2020034441A (en) * 2018-08-30 2020-03-05 トヨタ自動車株式会社 Own vehicle position estimation device
JP2020087001A (en) * 2018-11-27 2020-06-04 株式会社デンソー Traffic lane position information output device
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
US11573095B2 (en) 2017-08-22 2023-02-07 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11740093B2 (en) 2018-02-14 2023-08-29 Tusimple, Inc. Lane marking localization and fusion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194371A1 (en) * 2014-06-19 2015-12-23 日立オートモティブシステムズ株式会社 Object recognition apparatus and vehicle travel controller using same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194371A1 (en) * 2014-06-19 2015-12-23 日立オートモティブシステムズ株式会社 Object recognition apparatus and vehicle travel controller using same

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016005A (en) * 2017-07-03 2019-01-31 アルパイン株式会社 Lane recognition device
US11573095B2 (en) 2017-08-22 2023-02-07 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11874130B2 (en) 2017-08-22 2024-01-16 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11740093B2 (en) 2018-02-14 2023-08-29 Tusimple, Inc. Lane marking localization and fusion
WO2020008221A1 (en) * 2018-07-04 2020-01-09 日産自動車株式会社 Travel assistance method and travel assistance device
CN112673230A (en) * 2018-07-04 2021-04-16 日产自动车株式会社 Driving assistance method and driving assistance device
JP2020034441A (en) * 2018-08-30 2020-03-05 トヨタ自動車株式会社 Own vehicle position estimation device
JP7020348B2 (en) 2018-08-30 2022-02-16 トヨタ自動車株式会社 Vehicle position estimation device
JP2020087001A (en) * 2018-11-27 2020-06-04 株式会社デンソー Traffic lane position information output device
WO2020110751A1 (en) * 2018-11-27 2020-06-04 株式会社デンソー Lane position information output device
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
US11810322B2 (en) 2020-04-09 2023-11-07 Tusimple, Inc. Camera pose estimation techniques

Also Published As

Publication number Publication date
JP6838285B2 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6838285B2 (en) Lane marker recognition device, own vehicle position estimation device
CN110530372B (en) Positioning method, path determining device, robot and storage medium
CN107636751B (en) Travel lane determination device and travel lane determination method
CN108351216B (en) Estimation device, control method, program, and storage medium
CN108291813B (en) Position data fusion by means of an attitude map
JP6298772B2 (en) In-vehicle control device, own vehicle position and orientation identification device, in-vehicle display device
US11193782B2 (en) Vehicle position estimation apparatus
KR102016549B1 (en) System and methof of detecting vehicle and lane position
JP6492469B2 (en) Own vehicle travel lane estimation device and program
JP6690703B2 (en) RUNWAY ESTIMATION METHOD AND RUNWAY ESTIMATION DEVICE
KR102547274B1 (en) Moving robot and method for estiating location of moving robot
CN111164648B (en) Position estimating device and position estimating method for mobile body
JP2022188203A (en) Measurement precision calculation device, self-position estimation device, control method, program and storage medium
JP2020052585A (en) Lane line recognition device
KR20180103462A (en) System for localization by accummulation of LiDAR scanned data use for a automatic driving car and method therefor
JP2020003463A (en) Vehicle's self-position estimating device
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
KR102103651B1 (en) Method for reduction of particle filtering degeneracy exploiting lane number from digital map and system using the method
JP2023099851A (en) Measurement device, method for measurement, and program
US20230105255A1 (en) Measurement device, measurement method and program
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
JP6604052B2 (en) Runway boundary estimation device and runway boundary estimation method
JP2018128386A (en) Position estimation device
Kim et al. Lane-level localization based on situational awareness on highway
KR101934297B1 (en) METHOD FOR DEVELOPMENT OF INTERSECTION RECOGNITION USING LINE EXTRACTION BY 3D LiDAR

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200312

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6838285

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250