JP2018036075A - Own vehicle position specification device and own vehicle position specification method - Google Patents
Own vehicle position specification device and own vehicle position specification method Download PDFInfo
- Publication number
- JP2018036075A JP2018036075A JP2016167183A JP2016167183A JP2018036075A JP 2018036075 A JP2018036075 A JP 2018036075A JP 2016167183 A JP2016167183 A JP 2016167183A JP 2016167183 A JP2016167183 A JP 2016167183A JP 2018036075 A JP2018036075 A JP 2018036075A
- Authority
- JP
- Japan
- Prior art keywords
- roadside object
- vehicle
- roadside
- registered
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 description 16
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 101150093282 SG12 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、地図上の自車位置を特定する自車位置特定装置、及び自車位置特定方法に関する。 The present invention relates to a vehicle position specifying device and a vehicle position specifying method for specifying a vehicle position on a map.
従来、縁石、ガードレール等の道路の路肩に存在する路側物を用いて地図上の自車位置を特定する自車位置特定装置が知られている。例えば、自車位置特定装置は、自車両が備える計測装置により自車前方の路側物の位置を計測し、計測した位置を地図上の同一の路側物の位置に位置合わせした結果に基づいて現在の地図上での自車位置を補正する。 2. Description of the Related Art Conventionally, an own vehicle position specifying device that specifies an own vehicle position on a map using roadside objects existing on the shoulders of roads such as curbs and guardrails is known. For example, the own vehicle position specifying device measures the position of a roadside object ahead of the own vehicle with a measuring device provided in the own vehicle, and based on the result of aligning the measured position with the position of the same roadside object on the map Correct the vehicle position on the map.
また、特許文献1では、地物の種別毎に定められた認識率に基づいて、撮像画像内で認識された複数の地物の中から自車位置の特定に用いる地物を選択する自車位置特定装置が開示されている。特許文献1では、画像認識処理により認識が成功する種別毎の割合に基づいて、地物に対して認識率を定めている。
Moreover, in
特許文献1に記載したように、路側物の種別により認識率を設定する場合、認識率が高い路側物であっても、この路側物を誤って認識してしまう場合がある。例えば、自車両の周囲が暗い場合や、対象となる路側物の周囲に植物等の路側物の認識の妨げとなる物体が存在している場合では、この認識率の高低に関わらず、路側物を誤認識してしまう場合がある。路側物を誤認識することで、地図に登録されている路側物の位置に、この路側物と異なる路側物の位置を位置合わせすることとなり、地図上の自車位置精度を低下させるおそれがある。
As described in
本発明は上記課題に鑑みたものであり、自車位置精度の低下を抑制することができる自車位置特定装置、及び自車位置特定方法の提供を目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle position specifying device and a vehicle position specifying method that can suppress a decrease in the vehicle position accuracy.
上記課題を解決するために本発明では、自車両が走行する道路に沿って存在する路側物に基づいて、地図上の自車位置を特定する自車位置特定装置であって、前記自車両に搭載された計測部による計測結果に基づいて、自車前方の前記路側物を検出する検出部と、前記検出部により複数の前記路側物が検出された場合に、各路側物の相対位置を記録する位置記録部と、前記検出部が検出した前記路側物に、前記地図に登録されている登録路側物が含まれているか否かを判定する判定部と、前記判定部により前記登録路側物が含まれていないと判定された場合に、前記位置記録部により記録されている前記相対位置の内、現時点で検出されている前記路側物と同じ路側物の前記相対位置と前記登録路側物の前記相対位置とに基づいて、前記登録路側物の推定位置を算出する推定位置算出部と、算出された前記推定位置と前記地図上での前記登録路側物の位置とを位置合わせした結果に基づいて、前記地図上での自車位置を特定する位置特定部と、備える。 In order to solve the above-described problems, the present invention provides a vehicle position specifying device for specifying a vehicle position on a map based on roadside objects that exist along a road on which the vehicle travels. Based on the measurement result of the mounted measurement unit, a detection unit that detects the roadside object in front of the host vehicle, and when a plurality of the roadside objects are detected by the detection unit, the relative position of each roadside object is recorded. A position recording unit, a determination unit that determines whether or not the roadside object detected by the detection unit includes a registered roadside object registered in the map, and the registered roadside object is determined by the determination unit. If it is determined that it is not included, among the relative positions recorded by the position recording unit, the relative position of the same roadside object as the roadside object currently detected and the registered roadside object The registration based on relative position Based on a result of aligning the calculated estimated position and the position of the registered roadside object on the map based on an estimated position calculating unit that calculates an estimated position of the side object, the vehicle position on the map And a position specifying unit for specifying.
検出した路側物の中に、自車位置の特定に用いる登録路側物が含まれていない場合、登録路側物の位置に基づいて自車位置を特定できなくなる。この点、上記構成では、検出部により複数の路側物が検出された場合に、複数の路側物の相対位置を記録する。そして、検出した路側物の中に登録路側物を含んでいないと判定した場合に、過去に記録されている相対位置であって、現時点で検出されている路側物と同じ路側物の相対位置と登録路側物の相対位置とに基づいて、登録路側物の推定位置を算出する。そして、算出された推定位置と地図上での登録路側物の位置とを位置合わせした結果に基づいて、地図上での自車位置を特定することとした。この場合、登録路側物を検出していないと判定された場合は、過去に記録した路側物の相対位置から推定した推定位置により地図上の自車位置を特定することで、誤った路側物の位置を地図上の登録路側物の位置に位置合わせすることを防止し、自車位置精度の低下を抑制することができる。 If the detected roadside object does not include a registered roadside object used for specifying the vehicle position, the vehicle position cannot be specified based on the position of the registered roadside object. In this regard, in the above configuration, when a plurality of roadside objects are detected by the detection unit, the relative positions of the plurality of roadside objects are recorded. Then, when it is determined that the detected roadside object does not include the registered roadside object, the relative position of the roadside object that is recorded in the past and that is the same as the roadside object currently detected is An estimated position of the registered roadside object is calculated based on the relative position of the registered roadside object. Then, the vehicle position on the map is specified based on the result of aligning the calculated estimated position and the position of the registered roadside object on the map. In this case, if it is determined that the registered roadside object has not been detected, the vehicle's position on the map is identified based on the estimated position estimated from the relative position of the roadside object recorded in the past. It is possible to prevent the position from being aligned with the position of the registered roadside object on the map, and to suppress a decrease in the vehicle position accuracy.
本発明にかかる自車位置特定装置、及び自車位置特定方法の実施形態を図面と共に説明する。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。また、この実施形態では、路側物は、道路の路側に存在する地物を意味し、縁石、ガードレール、道路壁等の道路の形状を特定することができる立体物を意味している。 Embodiments of a vehicle position specifying device and a vehicle position specifying method according to the present invention will be described with reference to the drawings. In the following embodiments, parts that are the same or equivalent to each other are denoted by the same reference numerals in the drawings, and the description of the same reference numerals is used. In this embodiment, the roadside object means a feature existing on the roadside of the road, and means a three-dimensional object that can specify the shape of the road such as a curb, a guardrail, or a road wall.
(第1実施形態)
本実施形態に係る自車位置特定装置は車両を制御する車両制御装置の一部として構成されている。また、車両制御装置は、自車位置特定装置により算出された自車位置を用いて、自車両の走行を制御する。まず、図1を参照して車両制御装置100の構成について説明する。車両制御装置100は、各種センサ30、自車位置特定装置として機能するECU20、運転支援装置40、を備えている。
(First embodiment)
The own vehicle position specifying device according to the present embodiment is configured as a part of a vehicle control device that controls a vehicle. Further, the vehicle control device controls traveling of the host vehicle using the host vehicle position calculated by the host vehicle position specifying device. First, the configuration of the
各種センサ30は、GPS受信機31、計測センサ32、車速センサ33、ヨーレートセンサ34、を備えている。
The
GPS受信機31は、周知の衛星測位システム(GNSS)の一部として機能することで、衛星から送信される電波をGPS情報として受信する。GPS情報には、衛星の位置や電波が送信された時刻が含まれている。GPS受信機31は、GPS情報を受信した受信時刻とGPS情報に含まれる発信時刻との差に基づいて、衛星から自車両CSまでの距離を算出する。そして、算出した距離と衛星の位置とをECU20に出力する。
The
計測センサ32は、計測部として機能し、自車前方の路側物における自車両を基準とする相対位置を計測する。計測センサ32が、レーザレーダ装置の場合、ポリゴンミラーを回転させてパルス状のレーザ光を走査することで、前方の路側物の計測点(反射点)の相対位置を含むスキャンラインデータを生成する。スキャンラインデータに含まれる各計測点は、自車両に搭載された計測センサ32を基準とする三次元座標(X,Y,Z)上の相対位置として取得される。
The
車速センサ33は、自車両の車輪に動力を伝達する回転軸に設けられており、その回転軸の回転数に基づいて自車両の速度を検出する。ヨーレートセンサ34は、自車両に実際に発生したヨーレート、すなわち車両の重心点回りの角速度を検出する。
The
ECU20は、CPU、ROM、RAMを備えたコンピュータとして構成されている。そして、CPUが、メモリに記憶されているプログラムを実行することにより、図1に示す各部として機能することができる。また、ECU20は外部メモリ45と接続されており、この外部メモリ45に記録された地図を参照することで、自車両が走行する道路の位置や形状を取得することができる。
ECU20 is comprised as a computer provided with CPU, ROM, and RAM. And CPU can function as each part shown in FIG. 1 by running the program memorize | stored in memory. Further, the
地図には、道路上の車線を示すリンクと車線の連結点を示すノードとを記録している。このノードには地図上での絶対座標が記録されており、ノードの位置を参照することにより、地図上での各位置を検出することができる。各リンクには、所定距離毎の車線の中心の座標、自車線数等の情報が関連づけて記録されている。図2(a)では、車線の中心として、片側車線における所定距離毎の中心FMを示している。また、地図は、車線の連結を示すノードに加えて、所定距離毎に、道路上の位置を示す補助点を備えるものであってもよい。 In the map, a link indicating a lane on the road and a node indicating a connection point of the lane are recorded. In this node, absolute coordinates on the map are recorded, and each position on the map can be detected by referring to the position of the node. Information such as the coordinates of the center of the lane for each predetermined distance, the number of own lanes, and the like are recorded in association with each link. In FIG. 2A, the center FM for each predetermined distance in one side lane is shown as the center of the lane. Further, the map may be provided with auxiliary points indicating positions on the road at predetermined distances in addition to nodes indicating lane connections.
また、地図には、道路に沿った方向に配置された路側物の情報が登録されている。例えば、ノードやリンクに関連づけて、路側物の形状を示す形状情報や属性情報が関連づけて登録されている。以下では、地図上でその位置や形状情報が登録されている路側物を登録路側物と記載する。図2(a)では、縁石F1,F2が登録路側物に該当している。また、図2(b)に例示するように、形状情報は、登録路側物の代表点の座標と、各代表点を繋ぐ近似曲線とを備える周知のベクターデータにより形成されている。そのため、この形状情報により、地図上での登録路側物の位置を参照することができる。 In addition, information on roadside objects arranged in the direction along the road is registered in the map. For example, in association with nodes and links, shape information and attribute information indicating the shape of roadside objects are registered in association with each other. Hereinafter, a roadside object whose position and shape information are registered on the map is referred to as a registered roadside object. In FIG. 2A, the curbs F1 and F2 correspond to registered roadside objects. Further, as illustrated in FIG. 2B, the shape information is formed by well-known vector data including coordinates of representative points of registered roadside objects and approximate curves connecting the representative points. Therefore, the position of the registered roadside object on the map can be referred to by this shape information.
ECU20は、計測センサ32の計測結果に応じて検出した周囲の登録路側物の相対位置とこの登録路側物の地図上での位置とを位置合わせした結果に基づいて、現在の地図上の自車位置を特定する。図3(a)では、ECU20は、計測センサ32により、自車両を基準とする登録路側物Obrの相対位置を示す計測点MPを、地図上で形状情報により示される登録路側物の位置RPに位置合わせしている。例えば、各計測点MPを、自車位置を基準とするベクトルで表した場合に、このベクトルに地図上で推定されている自車両の推定自車位置CP1を示すベクトルを加算することで、絶対座標上の位置に変換する。そして、絶対座標上の位置に変換された計測点MPを、登録路側物の位置RPに位置合わせすることで、両位置のずれ量を算出する。例えば、位置と地図上での位置RPとの関係をずれ量を要素とする行列式を用いて両者を位置合わせするとともに、この行列式の各要素を解くことでずれ量を算出することができる。そして、算出されたずれ量により、推定自車位置CP1を補正することで、補正後の自車位置CP2により地図上の自車位置を特定する。
The
運転支援装置40は、ECU20が特定した自車位置に基づいて、自車両の走行を制御する。例えば、運転支援装置40は、自車位置、車速及びヨーレートにより自車両の将来の位置を予測し、予測した将来の位置と道路の認識結果とを用いて、自車両が区画線で規定された自車線から逸脱するおそれがあるか否かを判断する。例えば、運転支援装置40が警報機能を有していれば、自車両が自車線を逸脱するおそれがあると判断した場合、自車両が備えるディスプレイにより警告表示を行ったり、自車両が備えるスピーカにより警告音を発生させたりする。また、運転支援装置40が運転補助機能を有していれば、自車両CSが自車線を逸脱するおそれがあると判断した場合、操舵装置に操舵力を加える。
The driving
ここで、図3(b)に示すように、ECU20が、登録路側物Obrを検出できない場合、地図上の自車位置を特定することができなくなる。また、地図に登録されていない路側物Obnを登録路側物Obrとして誤検出した場合、誤った位置を地図上の登録路側物の位置RPにマッチングさせることとなり、ずれ量が適正な値とならず、自車位置CP2に誤差を生じさせる。そのため、ECU20は、地図上の自車位置精度の低下を抑制するため、図1に示す各機能を備えている。
Here, as shown in FIG. 3B, when the
図1に戻り、検出部21は、自車両に搭載された計測センサ32による計測結果に基づいて、自車前方の路側物を検出する。図4(a)では、所定の高さにおける計測センサ32により検出された車両前方の路側物の計測点MPの位置を示している。検出部21は、スキャンラインデータに含まれる計測点を抽出し、この計測点群をグループ化することで、路側物毎の計測点の束であるセグメントを生成する。セグメントは、計測点間の距離やその位置に応じて計測点群をグループ化することで生成される。例えば、図4(b)では、車両前方の計測点群のグループ化により、3つのセグメントSGa〜SGcが生成されている。そのため、検出部21は、生成したセグメントにより車両前方に存在する路側物を検出することができる。
Returning to FIG. 1, the
位置記録部22は、検出部21により複数の路側物が検出された場合に、各路側物の相対位置を記録する。また、図5(a)に示すように、位置記録部22は、相対位置を履歴上に記録しており、この履歴には、相対位置が取得された各路側物の形状を示す形状情報を関連づけて記録している。形状情報は、例えば、検出部21により生成されたセグメントに基づいて算出する。そのため、この形状情報を参照することで、各位置がどの路側物に対応しているかを識別することが可能となる。
The
判定部23は、検出部21が検出した路側物の中に、地図に登録されている登録路側物が含まれているか否かを判定する。検出部21は、例えば、今回検出した路側物の形状情報と、登録路側物の形状情報とを比較し、比較結果に基づいて、今回検出した路側物の中に登録路側物が含まれているか否かを判定する。
The
推定位置算出部24は、判定部23により、検出部21が検出した路側物の中に登録路側物が含まれていないと判定された場合に、位置記録部22により記録されている相対位置であって、現時点で検出されている路側物と同じ路側物の相対位置と登録路側物の相対位置とに基づいて、登録路側物の推定位置を算出する。図5(b)に示すように、推定位置ESPは、現在検出している路側物の計測点MPの位置から、位置記録部22により記録されている路側物間の距離だけずれた位置として算出される。
The estimated
自車位置推定部25は、地図上での自車両の位置を推定自車位置として推定する。自車位置推定部25は、GPS情報に基づく自車両の測位結果や、車速センサ33の出力を積分した値により、自車両の位置を地図内の道路上の位置に合わせこんだ推定自車位置を算出する。
The own vehicle
位置特定部26は、自車前方の路側物の位置により地図上の自車位置を特定する。このとき、検出部21が自車前方の登録路側物を検出している場合は、この登録路側物の相対位置と、地図上の位置とを位置合わせした結果により、自車位置を特定する。一方、検出部21が登録路側物を検出していない場合は、推定位置算出部24により算出された推定位置と、地図上での登録路側物の位置とを位置合わせした結果により、自車位置を特定する。
The
次に、ECU20により実施される自車位置の特定を、図6を用いて説明する。なお図6に示すフローチャートは、ECU20により所定周期で実施される。また、図6の処理では、登録路側物が縁石である場合を例に説明を行う。
Next, the identification of the vehicle position performed by the
ステップS11では、地図上の自車位置を推定する。ステップS12では、ステップS11で推定した推定自車位置から所定範囲内にある情報を地図から取得する。ステップS12による情報の取得により、ECU20は、自車両の周囲に存在する登録路側物の位置や形状を地図から取得することができる。
In step S11, the vehicle position on the map is estimated. In step S12, information within a predetermined range from the estimated host vehicle position estimated in step S11 is acquired from the map. By acquiring the information in step S12, the
ステップS13では、計測センサ32による計測結果に基づいて、自車前方の路側物を検出する。ステップS13が検出工程として機能する。この実施形態では、ECU20は、計測センサ32による計測結果である複数の計測点を、自車線を基準とする道幅方向での位置に基づいてグループ化し、グループ化された各計測点に基づいて各路側物を検出する。図7(a)は、自車前方の計測点の位置を示している。そして、図7(b)は、図7(a)内でのA−A断面での各計測点の位置を示している。
In step S13, a roadside object ahead of the host vehicle is detected based on the measurement result by the
具体的には、ECU20は、スキャンラインデータから抽出した計測点の相対位置を、自車線を基準とする道幅方向での位置に基づいてグループ化することで、自車前方の各路側物に対応するセグメントを生成する。図7(a),(b)では、自車線の中心OMから道幅方向(図中X軸方向)での位置に基づいて各計測点Pを2つのグループG1,G2に分けている。そのため、各グループに属する計測点群がそれぞれ路側物のセグメントSG1,SG2にそれぞれ対応している。例えば、図7(b)では、自車線の中心から道幅方向に一番近い縁石がセグメントSG1に属する計測点により検出されている。また、道路壁がセグメントSG2に属する計測点により検出されている。
Specifically, the
図6に戻り、ステップS14では、計測点の分布に基づいて、ステップS13で検出された各路側物の形状を示す形状情報を作成する。この第1実施形態では、ECU20は、路側物毎の計測点の束であるセグメントに基づいて、路側物が有する各面における勾配角を算出し、算出した勾配角の出現頻度を形状情報として算出する。ここで、勾配角は、高さ方向に平行な線分を基準とした場合の各面の角度を意味している。ステップS14が形状情報作成部として機能する。
Returning to FIG. 6, in step S14, shape information indicating the shape of each roadside object detected in step S13 is created based on the distribution of measurement points. In the first embodiment, the
例えば、図8(a)に示すように、路側物が縁石Ob1であれば、図8(b)に示すように勾配角の出現頻度には、計測点が点在する斜面の勾配角と天面の勾配角度との出現頻度FAが多くなる。一方で、図8(c)に示すように、路側物が道路壁Ob2であれば、図8(d)に示すように、計測点が点在する壁面の勾配角の頻度が多くなる。そのため、この勾配角θの出現頻度FAの分布を用いて、路側物の形状を認識することができる。 For example, as shown in FIG. 8 (a), if the roadside object is curb Ob1, the appearance frequency of the slope angle as shown in FIG. The appearance frequency FA with the surface gradient angle increases. On the other hand, if the roadside object is the road wall Ob2 as shown in FIG. 8C, the frequency of the gradient angle of the wall surface where the measurement points are scattered increases as shown in FIG. 8D. Therefore, the shape of the roadside object can be recognized using the distribution of the appearance frequency FA of the gradient angle θ.
勾配角の出現頻度を算出する手法の一例として、ECU20は、セグメント内の計測点の分布に基づいて路側物のある位置での勾配角θを作成する。そして、勾配角θを算出するセグメントの位置を進行方向(Y軸方向)に変更することで、変更後のセグメントの位置における勾配角θを算出する。そして、算出した各勾配角θを集計することで、勾配角の出現頻度を算出する。ステップS14が形状認識部として機能する。
As an example of a method for calculating the appearance frequency of the gradient angle, the
ステップS15では、自車両がカーブ路に進入したか否かを判定する。カーブ路は、直進路と比べて路側物の相対位置が異なる可能性が高い。そこで、ECU20は、直進路で記録した相対位置がカーブ路を走行中に用いられることがないようにしている。そのため、自車両がカーブ路に進入したことを判定した場合(ステップS15:YES)、ステップS16では、現時点で履歴に記録されている各路側物の相対位置を消去する。ステップS15がカーブ路判定部として機能する。
In step S15, it is determined whether or not the host vehicle has entered a curved road. A curved road is more likely to have a different relative position of roadside objects than a straight road. Therefore, the
例えば、ECU20は、自車両の方向の変化を検出するヨーレートセンサ34による検出結果に基づいて、自車両がカーブ路に進入したか否かを判定する。これ以外にも、地図上における自車両の前方の道路形状の変化を検出し、この検出結果に基づいて、自車両がカーブ路に進入したか否かを判定するものであってもよい。
For example, the
ステップS17では、路側物を複数検出しているか否か判定する。ステップS13の処理により、セグメントが複数生成されている場合(ステップS17:YES)、ステップS18では、今回検出した各路側物における相対位置及びステップS14で作成した形状情報をそれぞれ関連づけて履歴に記録する。ステップS18が位置記録工程として機能する。一方、1つの路側物しか検出していない場合(ステップS17:NO)、履歴を記録することなく、ステップS19に進む。 In step S17, it is determined whether a plurality of roadside objects are detected. When a plurality of segments are generated by the process of step S13 (step S17: YES), in step S18, the relative position of each roadside object detected this time and the shape information created in step S14 are associated with each other and recorded in the history. . Step S18 functions as a position recording process. On the other hand, when only one roadside object has been detected (step S17: NO), the process proceeds to step S19 without recording the history.
ステップS19では、現時点で検出している路側物と同じ路側物の相対位置(計測点)を、過去に記録しているか否かを判定する。例えば、ECU20は、ステップS14により今回検出された路側物のセグメントにより算出された形状情報と、履歴に記録されている過去の形状情報とを比較した比較結果に基づいて、今回検出している路側物と同じ路側物の相対位置を、過去に記録しているか否かを判定する。
In step S19, it is determined whether the relative position (measurement point) of the same roadside object currently detected is recorded in the past. For example, the
今回検出した路側物に対応する過去の相対位置を履歴に記録していない場合(ステップS19:NO)、ステップS24では、今回検出している路側物の内、自車線の中心から最も近い路側物を、地図上で自車線の中心から最も近い路側物の地図上の位置に位置合わせした結果に基づいて、地図上の自車位置を特定する。ステップS24が未記録時特定部として機能する。 When the past relative position corresponding to the roadside object detected this time is not recorded in the history (step S19: NO), in step S24, the roadside object closest to the center of the own lane among the roadside objects detected this time The vehicle position on the map is specified based on the result of aligning the vehicle with the position on the map of the roadside closest to the center of the lane on the map. Step S24 functions as an unrecorded specifying unit.
図9(a)では、ECU20は、位置合わせの対象として、自車線の中心OMから道幅方向に最も近い位置のセグメントSG1上の相対位置を選択する。次に、図9(b)に示すように、地図上における自車線の中心FMから最も近い位置の路側物である縁石F11の位置を選択する。そして、選択した計測点の相対位置を、地図上で選択した路側物(縁石F11)の位置に位置合わせした結果に基づいて、地図上の自車位置を特定する。無論、地図上に登録路側物が一つしか存在しない場合は、この登録路側物が自車線の中心FMから最も近い位置の路側物となる。そして、ステップS24の処理が終了すると、図6に示す処理を一旦終了する。
In FIG. 9A, the
一方、今回検出した路側物に対応する過去の相対位置を履歴に記録している場合(ステップS19:YES)、ステップS20では、ステップS13の処理により検出した路側物の中に登録路側物が含まれているか否かを判定する。ECU20は、ステップS14の処理により今回算出した形状情報と、履歴に記録されている形状情報と比較した比較結果に基づいて、検出した路側物の中に、登録路側物を含んでいるか否かを判定する。例えば、今回算出した形状情報と、履歴に記録された形状情報との類似度を算出し、類似度が高い形状情報が存在する場合に、登録路側物が含まれていると判定する。ステップS19が判定工程として機能する。
On the other hand, when the past relative position corresponding to the roadside object detected this time is recorded in the history (step S19: YES), in step S20, the registered roadside object is included in the roadside objects detected by the process of step S13. It is determined whether or not. The
検出した路側物の中に登録路側物が含まれていると判定した場合(ステップS20:YES)、ステップS21では、今回検出した登録路側物の相対位置を用いて、自車位置の特定を行う。この場合、登録路側物に該当するセグメント内の計測点の相対位置を、地図上の登録路側物の位置に位置合わせした結果に基づいて、ステップS11で推定した推定自車位置CP1を補正する。 If it is determined that the registered roadside object is included in the detected roadside object (step S20: YES), in step S21, the vehicle position is specified using the relative position of the registered roadside object detected this time. . In this case, the estimated host vehicle position CP1 estimated in step S11 is corrected based on the result of aligning the relative position of the measurement point in the segment corresponding to the registered roadside object with the position of the registered roadside object on the map.
一方、登録路側物が含まれていないと判定した場合(ステップS20:NO)、ステップS22では、履歴に記録されている相対位置であって、現時点で検出されている路側物と同じ路側物の相対位置と登録路側物の相対位置とに基づいて、登録路側物の推定位置を算出する。ステップS22が推定位置算出工程として機能する。 On the other hand, when it is determined that the registered roadside object is not included (step S20: NO), in step S22, the relative position recorded in the history and the same roadside object as the roadside object detected at the present time is displayed. An estimated position of the registered roadside object is calculated based on the relative position and the relative position of the registered roadside object. Step S22 functions as an estimated position calculation step.
図10は、図6のステップS22の処理を詳細に説明するフローチャートである。まず、ステップS31では、履歴から、今回検出された路側物と同じ路側物の相対位置を抽出する。例えば、ECU20は、今回算出された形状情報と履歴に対応づけて記録された形状情報との類似度を比較することで、今回検出された路側物と同じ路側物の相対位置を履歴から抽出する。
FIG. 10 is a flowchart for explaining in detail the process of step S22 of FIG. First, in step S31, the relative position of the same roadside object as the roadside object detected this time is extracted from the history. For example, the
次に、ステップS32では、履歴上で、ステップS31で抽出した相対位置と同時刻で記録された登録路側物の相対位置を抽出する。図11(a)では、今回の処理よりも過去において履歴に記録された、地図上に登録されていない路側物の相対位置を示すセグメントSG2と、この路側物と同じタイミングで抽出された登録路側物の相対位置を示すセグメントSG1とが、それぞれ抽出されている。 Next, in step S32, the relative position of the registered roadside object recorded at the same time as the relative position extracted in step S31 is extracted on the history. In Fig.11 (a), segment SG2 which shows the relative position of the roadside thing which is recorded on the history in the past rather than this process, and is registered on the map, and the registration roadside extracted at the same timing as this roadside thing A segment SG1 indicating the relative position of the object is extracted.
ステップS33では、ステップS31及びステップS32で抽出した両相対位置により各路側物間の距離を算出する。図11(a)の例では、履歴に記録された地図に登録されていない路側物のセグメントSG2と、登録路側物のセグメントSG1との道幅方向での距離Dが算出されている。例えば、ECU20は、セグメント内の複数の相対位置間の距離を算出し、算出した複数の距離を平均化したものを路側物間の距離Dとして用いるものであってもよい。
In step S33, the distance between each roadside object is calculated from the relative positions extracted in steps S31 and S32. In the example of FIG. 11A, the distance D in the road width direction between the segment SG2 of the roadside object not registered in the map recorded in the history and the segment SG1 of the registered roadside object is calculated. For example, the
ステップS34では、ステップS33で算出した距離を、今回検出された路側物の相対位置に加えることで、今回検出した路側物に対応する登録路側物の推定位置を算出する。図11(b)では、今回検出された路側物の相対位置に、ステップS33で算出された距離を加えることで、登録路側物の推定位置ESPを算出している。セグメントSG2内の複数の相対位置にステップS33で算出された距離Dを加えることで、登録路側物の複数の推定位置ESPが算出されている。 In step S34, the estimated position of the registered roadside object corresponding to the roadside object detected this time is calculated by adding the distance calculated in step S33 to the relative position of the roadside object detected this time. In FIG. 11B, the estimated position ESP of the registered roadside object is calculated by adding the distance calculated in step S33 to the relative position of the roadside object detected this time. A plurality of estimated positions ESP of the registered roadside objects are calculated by adding the distance D calculated in step S33 to the plurality of relative positions in the segment SG2.
図6に戻り、ステップS23では、ステップS22で算出した推定位置を、地図上での登録路側物の位置に位置合わせした結果に基づいて、地図上での自車位置を特定する。ECU20は、例えば、図3(a)に示したように、推定位置ESPを、図上で同一の縁石の位置に位置合わせすることでずれ量を算出する。そして、このずれ量により地図上の推定自車位置を補正することで、補正後の自車位置により地図上の位置を特定する。ステップS23が位置特定工程として機能する。
Returning to FIG. 6, in step S23, the vehicle position on the map is specified based on the result of aligning the estimated position calculated in step S22 with the position of the registered roadside object on the map. For example, as shown in FIG. 3A, the
そして、ステップS24の処理が終了すると、図6に示す処理を一旦終了する。 Then, when the process of step S24 ends, the process shown in FIG. 6 is temporarily ended.
以上説明したように第1実施形態では、ECU20は、複数の路側物を検出した場合に、複数の路側物の相対位置を記録する。そして、検出した路側物の中に登録路側物を含んでいないと判定した場合に、履歴に記録されている相対位置の内、現時点で検出されている路側物と同じ路側物の相対位置と登録路側物の相対位置とに基づいて、登録路側物の推定位置を算出する。そして、算出した推定位置と地図上での登録路側物の位置とを位置合わせした結果に基づいて、地図上での自車位置を特定することとした。この場合、登録路側物を検出していない場合は、過去に記録した路側物の相対位置から推定した推定位置により地図上の自車位置を特定することで、自車位置精度の低下を抑制することができる。
As described above, in the first embodiment, the
ECU20は、計測センサ32による計測結果である複数の計測点を、自車線を基準とする道幅方向での位置に基づいてグループ化し、グループ化された各計測点に基づいて各路側物を検出する。異なる位置に複数の路側物が存在する場合、各路側物を計測した計測点を道幅方向での位置でグループ化することで、各路側物を個別に認識することができる。この点、上記構成では、複数の計測点を、自車線を基準とする道幅方向での位置に基づいてグループ化し、グループ化された各計測点に基づいて各路側物を検出することとした。この場合、複数の路側物をその位置に応じて適正に検出することができ、各路側物の検出精度を高めることができる。
The
ECU20は、路側物の相対位置を履歴に記録していない場合に、今回検出した路側物の内で、自車線の中心から道幅方向で最も近い路側物の相対位置を、地図上で自車線の中心から道幅方向で最も近い路側物の位置に位置合わせした結果に基づいて、地図上の自車位置を特定する。道路上の路側物を検出する場合、相対位置を記録していない場合も想定される。この点、上記構成では、検出した路側物の内、自車線の中心からの道幅方向で最も近い路側物の相対位置を、地図上で自車線の中心から最も近い距離の路側物の位置に位置合わせした結果に基づいて、地図上の自車位置を特定することとした。この場合、相対位置を記録していない場合でも、地図上での自車位置を特定できなくなることを防止することができる。
When the relative position of the roadside object is not recorded in the history, the
ECU20は、計測センサ32による計測結果である複数の計測点の分布に基づいて路側物の形状を示す形状情報を作成し、この形状情報を各路側物の位置に対応づけて記録する。そして、今回計測された計測点の分布により作成された形状情報を、地図に記録されている形状情報と比較した比較結果に基づいて、登録路側物を検出しているか否かを判定する。複数の路側物が存在する場合でも、各路側物の形状は異なっている可能性が高く、この形状を利用することで、各路側物を識別することができる。この点、上記構成では、今回計測された計測点の分布により作成された形状情報を、地図に記録されている形状情報と比較した比較結果に基づいて、登録路側物を検出しているか否かを判定することとした。この場合、形状情報を用いることで検出された路側物が登録路側物であるか否かを精度よく判定することができる。
The
ECU20は、自車両がカーブ路に進入したか否かを判定し、自車両がカーブ路に進入したと判定した場合に、現時点で記録している相対位置を消去する。カーブ路は、路側物間の相対位置も大きく変化し易く、直進路と異なる相対位置となる可能性が高くなる。この点、上記構成では、自車両が前記カーブ路に進入したと判定された場合に、現時点で記録している相対位置を消去することとした。この場合、カーブ路を走行中に、直進路での路側物間の相対位置により推定位置を算出することを防止し、推定位置の精度が低下することを抑制することができる。
The
(第2実施形態)
この第2実施形態では、路側物を検出するに際し、自車線を基準とする高さ方向での位置により各計測点をグループ化することで、路側物を検出する。
(Second Embodiment)
In this 2nd Embodiment, when detecting a roadside thing, a roadside thing is detected by grouping each measurement point by the position in the height direction on the basis of the own lane.
図12は、第2実施形態における路側物の検出を説明する図である。ECU20は、図6のステップS13において、自車前方で抽出した計測点を、自車線を基準とする高さ方向での位置に基づいてグループ化する。そのため、自車線からの高さ方向の位置により2つのグループG11,G12に分けている。そのため、各グループに属する計測点群がそれぞれ路側物のセグメントSG11,SG12にそれぞれ対応している。そして、生成されたセグメントにより各路側物を検出する。
FIG. 12 is a diagram for explaining detection of a roadside object in the second embodiment. In step S13 of FIG. 6, the
以上説明したようにこの第2実施形態では、ECU20は、自車線を基準として高さ方向の位置により計測点をグループ化し、このグループ化された各計測点に基づいて各路側物を検出する。この場合、高さ方向での計測点の位置が異なる路側物において、各路側物を適正に検出することが可能となる。
As described above, in the second embodiment, the
(その他の実施形態)
相対位置として計測点の位置を履歴に記録することに代えて、複数の路側物間での距離を履歴に記録するものであってもよい。この場合、ECU20は、図6のステップS18において、各路側物の計測位置から路側物間の距離を算出し、算出した距離を履歴に記録する。
(Other embodiments)
Instead of recording the position of the measurement point as a relative position in the history, the distance between a plurality of roadside objects may be recorded in the history. In this case, in step S18 of FIG. 6, the
ECU20は、路側物間の相対位置を履歴に記録する代わりに、地図上に記録するものであってもよい。この場合、地図上の登録路側物の位置に、地図上で登録されていない周囲の路側物の相対位置が関連づけて記録されることとなる。
The
履歴に記録された相対位置を、前回相対位置を記録してからの走行時間が所定距離以上と成る場合に、消去するものであってもよい。この場合、ECU20は、路側物毎に、前回、相対位置を記録した時点からの累積走行時間を記録している。そして、図6のステップS15において、累積走行時間を閾値と比較し、累積走行時間が閾値を超えた場合に、履歴に記録された該当する路側物の相対位置を消去する。なお、累積走行時間を比較する閾値の一例として、10分以上、60分以下の値とすることができるが、これに限定されず、道路の形状や登録路側物の種別に応じて適宜変更されるものであってもよい。
The relative position recorded in the history may be deleted when the traveling time after recording the previous relative position is equal to or longer than a predetermined distance. In this case, the
図6のステップS14で算出される形状情報は、勾配角の出現頻度に限定されない。例えば、ECU20は、計測点の位置により路側物の形状を示す近似曲線を算出し、算出した近似曲線を形状情報として用いるものであってもよい。
The shape information calculated in step S14 in FIG. 6 is not limited to the appearance frequency of the gradient angle. For example, the
計測センサ32は、ステレオカメラ装置を用いるものであってもよい。計測センサ32がステレオカメラ装置の場合、自車前方を撮像したステレオ画像により、三次元距離が付与された距離画像を生成し、この距離画像内に含まれる路側物の特徴点におけるステレオカメラを基準とした相対位置を逐次計算する。
The
20…ECU、21…検出部、22…位置記録部、23…判定部、24…推定位置算出部、26…位置特定部、32…計測センサ、CP…自車位置。
DESCRIPTION OF
Claims (6)
前記自車両に搭載された計測部(32)による計測結果に基づいて、自車前方の前記路側物を検出する検出部と、
前記検出部により複数の前記路側物が検出された場合に、各路側物の相対位置を記録する位置記録部と、
前記検出部が検出した前記路側物に、前記地図に登録されている登録路側物が含まれているか否かを判定する判定部と、
前記判定部により前記登録路側物が含まれていないと判定された場合に、前記位置記録部により記録されている前記相対位置の内、現時点で検出されている前記路側物と同じ路側物の前記相対位置と前記登録路側物の前記相対位置とに基づいて、前記登録路側物の推定位置を算出する推定位置算出部と、
算出された前記推定位置と前記地図上での前記登録路側物の位置とを位置合わせした結果に基づいて、前記地図上での自車位置を特定する位置特定部と、を備える自車位置特定装置。 A vehicle position specifying device (20) for specifying a vehicle position on a map based on roadside objects existing along a road on which the vehicle travels,
Based on the measurement result by the measurement unit (32) mounted on the host vehicle, the detection unit detects the roadside object ahead of the host vehicle;
A position recording unit that records a relative position of each roadside object when a plurality of the roadside objects are detected by the detection unit;
A determination unit that determines whether the roadside object detected by the detection unit includes a registered roadside object registered in the map;
When the determination unit determines that the registered roadside object is not included, among the relative positions recorded by the position recording unit, the same roadside object as the roadside object currently detected An estimated position calculating unit that calculates an estimated position of the registered roadside object based on the relative position and the relative position of the registered roadside object;
A vehicle position specification comprising: a position specifying unit for specifying the vehicle position on the map based on a result of aligning the calculated estimated position and the position of the registered roadside object on the map apparatus.
前記位置記録部は、前記検出部により複数の前記路側物が検出された場合に、前記形状情報を、記録された各路側物の前記相対位置に対応づけて記録し、
前記判定部は、前記情報作成部により今回計測された前記計測点の分布により作成された前記形状情報を、前記地図に記録されている前記形状情報と比較した比較結果に基づいて、前記登録路側物を検出しているか否かを判定する、請求項1から請求項3のいずれか一項に記載の自車位置特定装置。 An information creation unit that creates shape information indicating the shape of the roadside object based on a distribution of a plurality of measurement points that are measurement results by the measurement unit;
The position recording unit records the shape information in association with the recorded relative position of each roadside object when a plurality of the roadside objects are detected by the detection unit,
The determination unit is based on a comparison result obtained by comparing the shape information created by the distribution of the measurement points measured this time by the information creation unit with the shape information recorded in the map. The own vehicle position specifying device according to any one of claims 1 to 3, wherein it is determined whether or not an object is detected.
前記位置記録部は、前記自車両が前記カーブ路に進入したと判定された場合に、現時点で記録している前記相対位置を消去する、請求項1に記載の自車位置特定装置。 A curve road determination unit for determining whether or not the host vehicle has entered a curve road;
The said position recording part is the own vehicle position specifying device of Claim 1 which erase | eliminates the said relative position currently recorded when it determines with the said own vehicle approaching the said curve road.
前記自車両に搭載された計測部(32)による計測結果に基づいて、自車前方の前記路側物を検出する検出工程と、
前記検出工程により複数の前記路側物が検出された場合に、前記複数の路側物の相対位置を記録する位置記録工程と、
前記検出工程で検出した前記路側物に、前記地図に登録されている登録路側物が含まれているか否かを判定する判定工程と、
前記判定工程により前記登録路側物が含まれていないと判定された場合に、前記位置記録工程により記録されている前記相対位置であって、現時点で検出されている前記路側物と同じ路側物の前記相対位置と前記登録路側物の前記相対位置とに基づいて、前記登録路側物の推定位置を算出する推定位置算出工程と、
算出された前記推定位置と前記地図上での前記登録路側物の位置とを位置合わせした結果に基づいて、前記地図上での自車位置を特定する位置特定工程と、を備える自車位置特定方法。 A vehicle position identification method for identifying a vehicle position on a map based on roadside objects existing along a road on which the vehicle travels,
A detection step of detecting the roadside object in front of the vehicle based on a measurement result by the measurement unit (32) mounted on the vehicle;
A position recording step of recording relative positions of the plurality of roadside objects when a plurality of the roadside objects are detected by the detection step;
A determination step of determining whether the roadside object detected in the detection step includes a registered roadside object registered in the map;
When the determination step determines that the registered roadside object is not included, the relative position recorded by the position recording step is the same as the roadside object detected at the present time. An estimated position calculating step for calculating an estimated position of the registered roadside object based on the relative position and the relative position of the registered roadside object;
A vehicle position specifying step for specifying a vehicle position on the map based on a result of aligning the calculated estimated position and a position of the registered roadside object on the map; Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167183A JP6726064B2 (en) | 2016-08-29 | 2016-08-29 | Own vehicle position identifying device, own vehicle position identifying method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167183A JP6726064B2 (en) | 2016-08-29 | 2016-08-29 | Own vehicle position identifying device, own vehicle position identifying method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018036075A true JP2018036075A (en) | 2018-03-08 |
JP6726064B2 JP6726064B2 (en) | 2020-07-22 |
Family
ID=61565636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167183A Active JP6726064B2 (en) | 2016-08-29 | 2016-08-29 | Own vehicle position identifying device, own vehicle position identifying method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6726064B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110530378A (en) * | 2019-08-28 | 2019-12-03 | 重庆长安汽车股份有限公司 | A kind of vehicle positioning method of the MAP message collection based on V2X |
JP6890726B1 (en) * | 2019-12-19 | 2021-06-18 | 三菱電機株式会社 | In-vehicle device, information processing method and information processing program |
CN114577224A (en) * | 2022-02-24 | 2022-06-03 | 中汽创智科技有限公司 | Object positioning method and device, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044836A (en) * | 2001-07-26 | 2003-02-14 | Nissan Motor Co Ltd | Device for recognizing partition line |
JP2005265494A (en) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | Car location estimation system and drive support device using car location estimation system and drive support device using this |
JP2006031553A (en) * | 2004-07-20 | 2006-02-02 | Aisin Seiki Co Ltd | Lane traveling support device for vehicle |
JP2011191239A (en) * | 2010-03-16 | 2011-09-29 | Mazda Motor Corp | Mobile object position detecting device |
WO2015083538A1 (en) * | 2013-12-06 | 2015-06-11 | 日立オートモティブシステムズ株式会社 | Vehicle position estimation system, device, method, and camera device |
-
2016
- 2016-08-29 JP JP2016167183A patent/JP6726064B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044836A (en) * | 2001-07-26 | 2003-02-14 | Nissan Motor Co Ltd | Device for recognizing partition line |
JP2005265494A (en) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | Car location estimation system and drive support device using car location estimation system and drive support device using this |
JP2006031553A (en) * | 2004-07-20 | 2006-02-02 | Aisin Seiki Co Ltd | Lane traveling support device for vehicle |
JP2011191239A (en) * | 2010-03-16 | 2011-09-29 | Mazda Motor Corp | Mobile object position detecting device |
WO2015083538A1 (en) * | 2013-12-06 | 2015-06-11 | 日立オートモティブシステムズ株式会社 | Vehicle position estimation system, device, method, and camera device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110530378A (en) * | 2019-08-28 | 2019-12-03 | 重庆长安汽车股份有限公司 | A kind of vehicle positioning method of the MAP message collection based on V2X |
JP6890726B1 (en) * | 2019-12-19 | 2021-06-18 | 三菱電機株式会社 | In-vehicle device, information processing method and information processing program |
WO2021124504A1 (en) * | 2019-12-19 | 2021-06-24 | 三菱電機株式会社 | Vehicle-mounted device, information processing method, and information processing program |
CN114577224A (en) * | 2022-02-24 | 2022-06-03 | 中汽创智科技有限公司 | Object positioning method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6726064B2 (en) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109752741B (en) | Vehicle positioning apparatus | |
US8085984B2 (en) | Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method | |
US20210229280A1 (en) | Positioning method and device, path determination method and device, robot and storage medium | |
US10480949B2 (en) | Apparatus for identifying position of own vehicle and method for identifying position of own vehicle | |
JP2019108116A (en) | Device and method for controlling speed of vehicle in longitudinal direction | |
JP6881369B2 (en) | Vehicle position estimation device | |
JP2018092483A (en) | Object recognition device | |
JP2018040693A (en) | Driving support device and driving support method | |
JP6593088B2 (en) | Vehicle position estimation apparatus and program | |
JP2016057750A (en) | Estimation device and program of own vehicle travel lane | |
JP2018048949A (en) | Object recognition device | |
US20180208197A1 (en) | Lane keeping assistance system | |
KR20150112536A (en) | Apparatus and Method for Compensating Position of Vehicle, System for Compensating Position of Vehicle and Unmanned Vehicle Using the Same | |
JP6834914B2 (en) | Object recognition device | |
JP6726064B2 (en) | Own vehicle position identifying device, own vehicle position identifying method | |
CN113306559A (en) | Compensation for vertical road camber in road shape estimation | |
JP2002334330A (en) | Vehicle recognition device | |
JP6649859B2 (en) | Vehicle position estimation device and vehicle position estimation method | |
JP6115429B2 (en) | Own vehicle position recognition device | |
JP7025293B2 (en) | Vehicle position estimation device | |
JP2018055222A (en) | Runway detection method and runway detection device | |
JP6932018B2 (en) | Vehicle position detector | |
JP2010139478A (en) | Navigation device | |
JP6232883B2 (en) | Own vehicle position recognition device | |
KR102303238B1 (en) | System and method for correcting position information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6726064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |