JP2018140735A - Travel track generation device - Google Patents

Travel track generation device Download PDF

Info

Publication number
JP2018140735A
JP2018140735A JP2017036654A JP2017036654A JP2018140735A JP 2018140735 A JP2018140735 A JP 2018140735A JP 2017036654 A JP2017036654 A JP 2017036654A JP 2017036654 A JP2017036654 A JP 2017036654A JP 2018140735 A JP2018140735 A JP 2018140735A
Authority
JP
Japan
Prior art keywords
trajectory
constraint information
state quantity
track
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017036654A
Other languages
Japanese (ja)
Other versions
JP6724820B2 (en
Inventor
功 大川
Isao Okawa
功 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017036654A priority Critical patent/JP6724820B2/en
Publication of JP2018140735A publication Critical patent/JP2018140735A/en
Application granted granted Critical
Publication of JP6724820B2 publication Critical patent/JP6724820B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a travel track generation device that can keep the maximum calculation amount to a predetermined calculation amount or less without depending on a travel scene and a parameter.SOLUTION: A travel track generation device 20 comprises: a normative track generation part 201 that generates a normative track based on information on a lane on which an own vehicle is travelling; a constraint information generation part 202 that calculates state quantity restraint information and operation quantity restraint information; and a track generation part 203 that generates a travel track for the own vehicle on the basis of the normative track and at least either of the state quantity restraint information and the operation quantity restraint information. The track generation part 203 generates a partially-reflected track on which is reflected the state quantity restraint information or the operation quantity restraint information with the normative track as a reference, and generates a travel track by reflecting on the track the state quantity restraint information or the operation quantity restraint information which is not reflected on the partially-reflected track, with the partially-reflected track as a reference.SELECTED DRAWING: Figure 1

Description

本開示は、走行軌道生成装置に関する。   The present disclosure relates to a traveling track generation device.

車両といった移動体の走行軌道を生成する装置として、下記特許文献１に記載の装置が提案されている。下記特許文献１に記載の装置は、路上障害物や周囲の物と衝突しない条件や道路境界外に出ない条件をリスクポテンシャルとして扱い、前輪舵角の可動範囲を不等式制約条件として扱うことで、最適制御問題へとモデリングし走行軌道を生成している。   As an apparatus for generating a traveling track of a moving body such as a vehicle, an apparatus described in Patent Document 1 has been proposed. The device described in Patent Document 1 below treats conditions that do not collide with obstacles on the road and surrounding objects and conditions that do not go out of the road boundary as risk potentials, and treats the movable range of the front wheel rudder angle as inequality constraint conditions. Modeling into an optimal control problem and generating a running track.

特開２０１１−１８６８７８号公報JP 2011-186878 A

特許文献１では、最適制御問題を解くにあたって、適当な解の候補を与えて、解の候補に補正を加える演算を反復する処理を行っている。反復演算の処理を行った後、その結果をチェックし、反復演算を終了する条件が満たされているか否かを判定する。反復演算の終了条件としては、例えば反復回数が所定の回数に達した場合や、反復演算による変化量の大きさが所定の水準よりも小さくなった場合等、種々のものが用いられる。そのため、リスクポテンシャルのパラメータや、終了条件の設定によっては、終了条件を満たすのに想定以上の時間を要する場合がある。従って、最大演算量が走行シーンに依存し、走行軌道を更新する周期の上限を明確に把握することができない。   In Patent Literature 1, when solving an optimal control problem, an appropriate solution candidate is given, and a process for correcting the solution candidate is repeated. After performing the iterative operation processing, the result is checked to determine whether or not a condition for terminating the iterative operation is satisfied. Various conditions are used as termination conditions for the iterative calculation, for example, when the number of iterations reaches a predetermined number of times, or when the amount of change by the iterative calculation becomes smaller than a predetermined level. Therefore, depending on the risk potential parameter and the end condition setting, it may take longer than expected to satisfy the end condition. Therefore, the maximum calculation amount depends on the traveling scene, and the upper limit of the cycle for updating the traveling track cannot be clearly grasped.

本開示は、最大演算量が走行シーンやパラメータに依存することなく、最大演算量を既定の演算量以下に収めることができる走行軌道生成装置を提供することを目的とする。   An object of the present disclosure is to provide a traveling trajectory generation device that can keep the maximum calculation amount below a predetermined calculation amount without the maximum calculation amount being dependent on a travel scene or a parameter.

本開示は、走行軌道生成装置であって、自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部（２０１）と、自車両の状態量に対する上下限制約を規定する状態量制約情報及び自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部（２０２）と、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両の走行軌道を生成する軌道生成部（２０３）と、を備える。軌道生成部は、規範軌道を基準として、状態量制約情報又は操作量制約情報を反映させた一部反映軌道を生成し、一部反映軌道を基準として、一部反映軌道に反映されていない状態量制約情報又は操作量制約情報を反映させることで走行軌道を生成する。   The present disclosure is a travel trajectory generation device, which includes a reference trajectory generation unit (201) that generates a reference trajectory based on lane information that the host vehicle is traveling, and state quantities that define upper and lower limit constraints on the state quantities of the host vehicle. A constraint information generating unit (202) that calculates operation amount constraint information that defines upper and lower limit constraints on the constraint information and the operation amount of the host vehicle, a norm trajectory, and at least one of state amount constraint information and operation amount constraint information; A track generation unit (203) that generates a travel track of the host vehicle based on the track. The trajectory generator generates a partially reflecting trajectory that reflects state quantity constraint information or manipulated variable constraint information with reference to the reference trajectory, and is not reflected in the partially reflecting trajectory with reference to the partially reflecting trajectory. A traveling track is generated by reflecting the amount restriction information or the operation amount restriction information.

本開示では、制約を受けず車線情報のみに基づく規範軌道を生成し、その規範軌道に制約情報を１種類ずつ反映させることで、走行軌道を生成するまでの演算量を既定以下に抑えることができる。   In the present disclosure, a reference trajectory based on only lane information is generated without being restricted, and the amount of computation until a traveling trajectory is generated can be suppressed to a predetermined value or less by reflecting the restriction information one by one on the reference trajectory. it can.

尚、「課題を解決するための手段」及び「特許請求の範囲」に記載した括弧内の符号は、後述する「発明を実施するための形態」との対応関係を示すものであって、「課題を解決するための手段」及び「特許請求の範囲」が、後述する「発明を実施するための形態」に限定されることを示すものではない。   Reference numerals in parentheses described in “Means for Solving the Problems” and “Claims” indicate a correspondence relationship with “Mode for Carrying Out the Invention” described later, It does not indicate that “means for solving the problems” and “claims” are limited to “mode for carrying out the invention” described later.

本開示によれば、最大演算量が走行シーンやパラメータに依存することなく、最大演算量を既定の演算量以下に収めることができる走行軌道生成装置を提供することができる。   According to the present disclosure, it is possible to provide a traveling trajectory generation device that can keep the maximum calculation amount below a predetermined calculation amount without depending on the travel scene and parameters.

図１は、本実施形態における走行軌道生成装置の機能的な構成を説明するためのブロック構成図である。FIG. 1 is a block configuration diagram for explaining a functional configuration of a traveling trajectory generation apparatus according to the present embodiment. 図２は、状態量の設定について説明するための図である。FIG. 2 is a diagram for explaining the setting of the state quantity. 図３は、進入禁止領域の設定について説明するための図である。FIG. 3 is a diagram for explaining setting of the entry prohibition area. 図４は、横位置に対する上下限設定について説明するための図である。FIG. 4 is a diagram for explaining upper and lower limit settings for the horizontal position. 図５は、加速度に対する上下限設定について説明するための図である。FIG. 5 is a diagram for explaining upper and lower limit settings for acceleration. 図６は、走行軌道生成装置の処理フローについて説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the processing flow of the traveling track generation device. 図７は、走行軌道生成の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of travel track generation. 図８は、走行軌道生成の一例を説明するための図である。FIG. 8 is a diagram for explaining an example of travel track generation. 図９は、追従誤差の処理について説明するための図である。FIG. 9 is a diagram for explaining the tracking error processing.

以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。   Hereinafter, the present embodiment will be described with reference to the accompanying drawings. In order to facilitate the understanding of the description, the same constituent elements in the drawings will be denoted by the same reference numerals as much as possible, and redundant description will be omitted.

図１は、本実施形態における走行軌道生成装置２０が含まれるシステムのブロック構成図である。   FIG. 1 is a block configuration diagram of a system including a traveling track generation device 20 in the present embodiment.

車載カメラ１０は、自車両の前方を撮影する。車載カメラ１０は、自車両が走行する走路上の車道外側線や車線境界線や車道中央線を含む風景画像を連続的に撮影する。車載カメラ１０は、撮影した風景画像の画像データを走行軌道生成装置２０に出力する。   The in-vehicle camera 10 images the front of the host vehicle. The in-vehicle camera 10 continuously captures landscape images including a roadway outer line, a lane boundary line, and a roadway center line on the runway on which the host vehicle travels. The in-vehicle camera 10 outputs image data of the photographed landscape image to the traveling trajectory generation device 20.

測距センサ１１は、他車両や歩行者や自転車といった、走路上の障害物表面までの距離を計測するセンサである。計測は、測距角度を変えながら連続的に実行される。測距センサ１１は、距離と測距角度が対になったデータを測距データとして走行軌道生成装置２０に出力する。   The distance measuring sensor 11 is a sensor that measures the distance to the surface of an obstacle such as another vehicle, a pedestrian, or a bicycle. Measurement is performed continuously while changing the distance measurement angle. The distance measuring sensor 11 outputs data obtained by pairing the distance and the distance measuring angle to the traveling track generating device 20 as distance measurement data.

車速センサ１２は、自車両の速度を検出し、車速データとして走行軌道生成装置２０に出力する。ヨーレートセンサ１３は、自車両のヨーレートを検出し、ヨーレートデータとして走行軌道生成装置２０に出力する。   The vehicle speed sensor 12 detects the speed of the host vehicle and outputs it to the traveling track generation device 20 as vehicle speed data. The yaw rate sensor 13 detects the yaw rate of the host vehicle and outputs the yaw rate data to the traveling track generation device 20 as yaw rate data.

走行軌道生成装置２０は、画像データ、測距データ、車速データ、及びヨーレートデータに基づいて走行軌道を生成する演算を実行し、制御装置１４に出力する。制御装置１４は、出力された走行軌道を追従するための操舵トルクを演算し、操舵トルク指令として電動パワーステアリング装置１５に出力する。電動パワーステアリング装置１５は、操舵トルク指令に基づいて前輪を操舵する。   The traveling track generation device 20 executes a calculation for generating a traveling track based on the image data, distance measurement data, vehicle speed data, and yaw rate data, and outputs the calculation to the control device 14. The control device 14 calculates a steering torque for following the output traveling track, and outputs it to the electric power steering device 15 as a steering torque command. The electric power steering device 15 steers the front wheels based on the steering torque command.

走行軌道生成装置２０及び制御装置１４は、ハードウェア的な構成要素として、ＣＰＵといった演算部、ＲＡＭやＲＯＭといった記憶部、データの授受を行うためのインターフェイス部を備えるコンピュータとして構成されている。   The traveling track generation device 20 and the control device 14 are configured as hardware components such as a computer including a calculation unit such as a CPU, a storage unit such as a RAM and a ROM, and an interface unit for transferring data.

続いて、走行軌道生成装置２０の機能的な構成要素について説明する。走行軌道生成装置２０は機能的な構成要素として、規範軌道生成部２０１と、制約情報生成部２０２と、軌道生成部２０３と、を備えている。   Next, functional components of the traveling track generation device 20 will be described. The traveling trajectory generation apparatus 20 includes a reference trajectory generation unit 201, a constraint information generation unit 202, and a trajectory generation unit 203 as functional components.

規範軌道生成部２０１は、自車両が走行中の車線情報に基づく規範軌道を生成する部分である。規範軌道生成部２０１は、自車両が走行中の車線情報に基づき、路上障害物が存在しないとした場合の走行軌道を規範軌道として生成する。   The reference trajectory generation unit 201 is a part that generates a reference trajectory based on lane information on which the host vehicle is traveling. The reference trajectory generation unit 201 generates, as a reference trajectory, a travel trajectory when there is no obstacle on the road based on lane information that the host vehicle is traveling.

規範軌道生成部２０１は、車載カメラ１０で撮像した風景画像の画像データから、車道外側線や車線境界線や車道中央線といった白線をハフ変換等の方法により検出する。規範軌道生成部２０１は、図２に示されるように、検出した白線から左右の車線境界の中央に位置する仮想線を規範軌道Ｔｒとして生成する。規範軌道生成部２０１は、生成した規範軌道を軌道生成部２０３に出力する。   The reference trajectory generation unit 201 detects white lines such as a roadway outer line, a lane boundary line, and a roadway center line from image data of a landscape image captured by the in-vehicle camera 10 by a method such as Hough transform. As shown in FIG. 2, the reference trajectory generation unit 201 generates a virtual line located at the center of the left and right lane boundaries from the detected white line as the reference trajectory Tr. The reference trajectory generation unit 201 outputs the generated reference trajectory to the trajectory generation unit 203.

制約情報生成部２０２は、自車両の状態量に対する上下限制約を規定する状態量制約情報及び自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する部分である。   The constraint information generation unit 202 is a part that calculates state amount constraint information that defines upper and lower limit constraints for the state amount of the host vehicle and operation amount constraint information that defines upper and lower limit constraints for the operation amount of the host vehicle.

制約情報生成部２０２は、自車両の状態量を算出する。図２に示されるように、一例として、自車位置ｙ及び自車角度θを自車両Ｃの状態量とすることができる。自車位置ｙは、規範軌道Ｔｒ上の最近傍点Ｎｐに対する自車中心の横位置として定義される。自車角度θは、最近傍点Ｎｐにおける規範軌道Ｔｒの接線に対する自車両Ｃの向きとして定義される。   The constraint information generation unit 202 calculates the state quantity of the host vehicle. As shown in FIG. 2, for example, the host vehicle position y and the host vehicle angle θ can be used as the state quantity of the host vehicle C. The own vehicle position y is defined as the lateral position of the own vehicle center with respect to the nearest point Np on the reference track Tr. The own vehicle angle θ is defined as the direction of the own vehicle C with respect to the tangent to the reference track Tr at the nearest point Np.

尚、自車角度θに変えて、自車位置ｙの変化速度ｖｙを状態量とすることができる。変化速度ｖｙは、例えば自車位置ｙを用いた差分近似や近似微分フィルタといった方法で推定することができる。   In addition, the change speed vy of the own vehicle position y can be used as the state quantity instead of the own vehicle angle θ. The change speed vy can be estimated by a method such as differential approximation or approximate differential filter using the vehicle position y, for example.

制約情報生成部２０２は、自車両を操作する入力である操作量を算出する。操作量の例としては、前輪舵角δや、自車位置ｙの加速度ａｙが用いられる。   The constraint information generation unit 202 calculates an operation amount that is an input for operating the host vehicle. As an example of the operation amount, the front wheel steering angle δ and the acceleration ay of the vehicle position y are used.

制約情報生成部２０２は、自車両の状態量である自車位置ｙに対して、上下限制約を規定する状態量制約情報を算出する。例えば図３に示されるように、路上障害物３１，３２が含まれる侵入禁止領域を、自車位置ｙの上下限制約によって回避することができる。図３に示される例では、自車両Ｃの前方における規範軌道Ｔｒ上に、予測点を等間隔で設定している。その予測点毎に上限値と下限値がセットになったデータ群として、（ｙｌ［１］，ｙｕ［１］）、（ｙｌ［２］，ｙｕ［２］）、（ｙｌ［３］，ｙｕ［３］）を状態量制約情報として算出する。   The constraint information generation unit 202 calculates state quantity constraint information that defines upper and lower limit constraints for the host vehicle position y that is the state quantity of the host vehicle. For example, as shown in FIG. 3, the entry prohibition area including the road obstacles 31 and 32 can be avoided by the upper and lower limit constraints of the vehicle position y. In the example shown in FIG. 3, prediction points are set at equal intervals on the reference trajectory Tr in front of the host vehicle C. As a data group in which an upper limit value and a lower limit value are set for each prediction point, (yl [1], yu [1]), (yl [2], yu [2]), (yl [3], yu [3]) is calculated as state quantity constraint information.

具体的な状態量制約情報の算出手法について、図４を参照しながら説明する。図４は、上限値を規定する状態量制約情報の算出について例示しているが、下限値を規定する状態量制約情報についても同様に算出することができる。   A specific method for calculating state quantity constraint information will be described with reference to FIG. Although FIG. 4 illustrates the calculation of the state quantity constraint information that defines the upper limit value, the state quantity constraint information that defines the lower limit value can be similarly calculated.

図４の（Ａ）に示されるように、測距センサ１１の計測データを、規範軌道に沿った道程を意味するｓ軸と、自車位置ｙに対応するｙ軸からなる座標上の点群に変換する。より具体的には、路上障害物３１，３２を避けるように座標上の点群を生成する。   As shown in FIG. 4A, the measurement data of the distance measuring sensor 11 is obtained by using a coordinate point group consisting of an s-axis indicating a path along the reference trajectory and a y-axis corresponding to the vehicle position y. Convert to More specifically, a point group on the coordinates is generated so as to avoid the obstacles 31 and 32 on the road.

続いて、図４の（Ｂ）に示されるように、点群データを道程ｓをパラメータとする曲線に当てはめ、ｙｕ＝ｆｕ（ｓ）とする。この際に、車線外に位置するデータは使用せず、車載カメラ１０で検出した車線上に点を設定する。   Subsequently, as shown in FIG. 4B, the point cloud data is applied to a curve having the path s as a parameter, and yu = fu (s). At this time, data located outside the lane is not used, and a point is set on the lane detected by the in-vehicle camera 10.

続いて、図４の（Ｃ）に示されるように、曲線を自車両の半幅以上オフセットさせてマージンを与え、ｙｕ'＝ｆｕ（ｓ）−ｙｄとする。このようにして得られた曲線において、各予測点に対応する上限値となる。   Subsequently, as shown in FIG. 4C, a margin is given by offsetting the curve by more than a half width of the host vehicle, so that yu ′ = fu (s) −yd. In the curve thus obtained, the upper limit value corresponding to each prediction point is obtained.

状態量制約情報としては、状態量を自車角度θや自車位置の変化速度ｖｙとし、それらに対する上下限制約を規定することができる。これらの場合は、路上障害物等の外的要因による制約ではなく、自車両の達成したい運動状態による制約となるので、その制約を前提として所望の上下限を規定する。   As the state quantity constraint information, the state quantity can be defined as the own vehicle angle θ or the own vehicle position change speed vy, and upper and lower limit constraints on these can be defined. In these cases, it is not a restriction caused by an external factor such as an obstacle on the road, but a restriction caused by the motion state desired to be achieved by the own vehicle.

制約情報生成部２０２は、自車両の操作量である前輪舵角δや、自車位置ｙの加速度ａｙに対して、上下限制約を規定する操作量制約情報を算出する。これらの場合も、路上障害物等の外的要因による制約ではなく、自車両の達成したい運動状態による制約となるので、その制約を前提として所望の上下限を規定する。   The constraint information generation unit 202 calculates operation amount constraint information that defines upper and lower limit constraints for the front wheel steering angle δ, which is the operation amount of the host vehicle, and the acceleration ay of the host vehicle position y. In these cases as well, it is not a restriction due to an external factor such as an obstacle on the road, but a restriction due to the motion state desired to be achieved by the own vehicle.

図５に示されるように、状態量の場合とは異なり、現在の自車位置を含み、終端の予測点を含まないデータセットを算出する。このような点列おける操作量の上限値と下限値とがセットになったデータ群として、（ａｌ［０］，ａｕ［０］）、（ａｌ［１］，ａｕ［１］）、（ａｌ［２］，ａｕ［２］）を操作量制約情報として算出する。   As shown in FIG. 5, unlike the case of the state quantity, a data set that includes the current vehicle position and does not include the terminal predicted point is calculated. As a data group in which the upper limit value and the lower limit value of the operation amount in such a point sequence are set, (al [0], au [0]), (al [1], au [1]), (al [2], au [2]) are calculated as operation amount constraint information.

制約情報生成部２０２は、状態量制約情報及び操作量制約情報を、軌道生成部２０３に出力する。   The constraint information generation unit 202 outputs the state amount constraint information and the operation amount constraint information to the trajectory generation unit 203.

軌道生成部２０３は、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両の走行軌道を生成する部分である。軌道生成部２０３の処理内容に対する説明の準備として、各種の変数及び関数を設定する。   The track generation unit 203 is a part that generates a traveling track of the host vehicle based on the reference track and at least one of the state quantity constraint information and the operation amount constraint information. Various variables and functions are set as preparation for explanation of the processing contents of the trajectory generation unit 203.

状態量と操作量は扱う制約に応じて異なる物理量となるため、一般に状態量をｘ［ｋ]＝[ｘ１[ｋ],ｘ２[ｋ]]Tとし、操作量をｕ[ｋ] とする．ただしｘ１[ｋ]＝ｙ[ｋ]とする。ｋは予測点のインデックスで、ｋ＝０で現在の自車位置を示すものとする。 Since the state quantity and the operation quantity are different physical quantities depending on the constraints to be handled, the state quantity is generally x [k] = [x1 [k], x2 [k]] T and the operation quantity is u [k]. However, x1 [k] = y [k]. k is an index of prediction points, and k = 0 indicates the current vehicle position.

このとき、ｘ［ｋ]とｕ[ｋ]との関係は、必要に応じて非線形関数を線形近似することで、式ｆ０１で表現される。

Figure 2018140735
At this time, the relationship between x [k] and u [k] is expressed by Expression f01 by linearly approximating a nonlinear function as necessary.
Figure 2018140735

Ａは行列、ｂはベクトルである。例えば、状態量を自車位置ｙと自車角度θ、操作量を前輪舵角δとした場合、式ｆ０２の関係が成立する。

Figure 2018140735
A is a matrix and b is a vector. For example, when the state quantity is the host vehicle position y and the host vehicle angle θ, and the operation amount is the front wheel steering angle δ, the relationship of Formula f02 is established.
Figure 2018140735

続いて、各種の変数を自車位置と各予測点の値を要素とするベクトルでまとめると次のようになる。操作量ｕ［ｋ］は、式ｆ０３で表される。状態量ｘ［ｋ］は、式ｆ０４で表される。第１状態量ｘ1［ｋ］は、式ｆ０５で表される。第２状態量ｘ2［ｋ］は、式ｆ０６で表される。操作量下限値ｕl［ｋ］は、式ｆ０７で表される。操作量上限値ｕu［ｋ］は、式ｆ０８で表される。状態量下限値ｘl［ｋ］は、式ｆ０９で表される。状態量上限値ｘu［ｋ］は、式ｆ１０で表される。

Figure 2018140735
Subsequently, various variables are grouped into vectors having the vehicle position and the value of each prediction point as elements. The manipulated variable u [k] is expressed by equation f03. The state quantity x [k] is expressed by an expression f04. The first state quantity x 1 [k] is expressed by Expression f05. The second state quantity x 2 [k] is represented by Expression f06. The operation amount lower limit value u l [k] is expressed by an expression f07. The manipulated variable upper limit value u u [k] is expressed by Expression f08. The state quantity lower limit value x l [k] is expressed by an expression f09. The state quantity upper limit value x u [k] is represented by Expression f10.
Figure 2018140735

続いて、制約を満たす走行軌道は無数に存在するため、走行軌道の良し悪しの指標を設定することで一意に決定できるようにする。本実施形態では一般に「２次形式」と呼ばれる式ｆ１１の関数を指標として使用する。

Figure 2018140735
Subsequently, since there are an infinite number of traveling tracks that satisfy the constraints, it is possible to determine uniquely by setting a good or bad index of the traveling track. In the present embodiment, a function of the expression f11 generally called “secondary form” is used as an index.
Figure 2018140735

ここで、Ｑは、生成する軌道を規範軌道に近づける作用を調整するためのパラメータ行列、Ｒは生成する軌道の変化の急峻さを調整するためのパラメータである。また、Ｎは予測点の総数である。式ｆ１１を変形すると、Ｕを用いて式ｆ１２のように表現することができる。

Figure 2018140735
Here, Q is a parameter matrix for adjusting the action of bringing the generated trajectory closer to the reference trajectory, and R is a parameter for adjusting the steepness of the change of the generated trajectory. N is the total number of prediction points. When Expression f11 is transformed, it can be expressed as Expression f12 using U.
Figure 2018140735

ただし、Ｈは式ｆ１３で表される行列、Ｆは式ｆ１４で表される行列である。

Figure 2018140735
However, H is a matrix represented by Formula f13, and F is a matrix represented by Formula f14.
Figure 2018140735

さらにＸ、Ｘ１＝Ｙ、Ｘ２は、式ｆ１５，ｆ１６，ｆ１７のように表すことができる。

Figure 2018140735
Further, X, X1 = Y, and X2 can be expressed as equations f15, f16, and f17.
Figure 2018140735

続いて、規範軌道生成部２０１及び軌道生成部２０３の処理について、図６、図７、図８を参照しながら説明を続ける。ステップＳ１０１では、規範軌道生成部２０１が、制約がない場合の走行軌道を規範軌道として生成する。図７の（Ａ）のように、制約がない場合に指標とした関数を最小にする走行軌道を規範軌道Ｔｒとして生成する。規範軌道Ｔｒは、式ｆ１８，ｆ１９，ｆ２０のように代数的に成立する。規範軌道Ｔｒは、Ｙ0 *で表される。

Figure 2018140735
Subsequently, the processes of the reference trajectory generation unit 201 and the trajectory generation unit 203 will be described with reference to FIGS. 6, 7, and 8. In step S101, the reference trajectory generation unit 201 generates a travel trajectory when there is no restriction as a reference trajectory. As shown in FIG. 7A, a traveling trajectory that minimizes a function as an index when there is no restriction is generated as a reference trajectory Tr. The reference trajectory Tr is established algebraically as in the equations f18, f19, and f20. The reference trajectory Tr is represented by Y 0 * .
Figure 2018140735

ステップＳ１０１に続くステップＳ１０２では、軌道生成部２０３が、規範軌道Ｔｒを、状態量の下限制約を満たす一部反映軌道Ｔｒａに修正する。図７の（Ｂ）に示されるように、路上障害物３３及び車線が下限制約となっている。第１状態量に対する一部反映軌道は式ｆ２１で求められ、第２状態量に対する一部反映軌道は式ｆ２２で求められる。尚、修正ベクトルλｘｌは、軌道の修正量を決定するベクトルである。

Figure 2018140735
In step S102 following step S101, the trajectory generation unit 203 corrects the reference trajectory Tr to a partially reflecting trajectory Tra that satisfies the lower limit constraint of the state quantity. As shown in FIG. 7B, the road obstacle 33 and the lane are lower limit constraints. The partial reflection trajectory for the first state quantity is obtained by Expression f21, and the partial reflection trajectory for the second state quantity is obtained by Expression f22. The correction vector λxl is a vector that determines the correction amount of the trajectory.
Figure 2018140735

制約を満たすための修正ベクトルを求める問題は、線形相補性問題と呼ばれ、これを解く方法としてはＬｅｍｋｅ法等の公知の方法が知られている。１種類の制約に対する修正ベクトルを求める場合は、演算量が有限で既定以下となるので、ステップＳ１０２での最大演算量は既定以下となる。   The problem of obtaining a correction vector for satisfying the constraint is called a linear complementarity problem, and a known method such as the Lemke method is known as a method for solving this problem. When obtaining a correction vector for one type of constraint, the amount of calculation is finite and not more than the default, so the maximum amount of calculation in step S102 is not more than the default.

ステップＳ１０２に続くステップＳ１０３では、軌道生成部２０３が、一部反映軌道Ｔｒａを、状態量の上限制約を満たす一部反映軌道Ｔｒｂに修正する。図７の（Ｃ）に示されるように、路上障害物３４及び車線が上限制約となっている。第１状態量に対する一部反映軌道は式ｆ２３で求められ、第２状態量に対する一部反映軌道は式ｆ２４で求められる。

Figure 2018140735
In step S103 following step S102, the trajectory generation unit 203 corrects the partially reflected trajectory Tra to a partially reflected trajectory Trb that satisfies the upper limit constraint of the state quantity. As shown in FIG. 7C, the road obstacle 34 and the lane are the upper limit restrictions. The partial reflection trajectory for the first state quantity is obtained by Expression f23, and the partial reflection trajectory for the second state quantity is obtained by Expression f24.
Figure 2018140735

ステップＳ１０２と同様に、修正ベクトルを求める演算量は有限で既定以下となるので、ステップＳ１０３での最大演算量も既定以下となる。   As in step S102, the amount of calculation for obtaining the correction vector is finite and not more than the default, and therefore the maximum amount of calculation in step S103 is also not more than the default.

ステップＳ１０３に続くステップＳ１０４では、軌道生成部２０３が、一部反映軌道Ｔｒｂを、操作量の下限制約を満たす一部反映軌道Ｔｒｃに修正する。図８の（Ａ）に示される一部反映軌道Ｔｒｃは、式ｆ２５で求められる。

Figure 2018140735
In step S104 subsequent to step S103, the trajectory generation unit 203 corrects the partially reflected trajectory Trb to a partially reflected trajectory Trc that satisfies the lower limit constraint of the operation amount. A partially reflected trajectory Trc shown in FIG. 8A is obtained by Expression f25.
Figure 2018140735

ステップＳ１０２，Ｓ１０３と同様に、修正ベクトルを求める演算量は有限で既定以下となるので、ステップＳ１０４での最大演算量も既定以下となる。   Similar to steps S102 and S103, the amount of calculation for obtaining the correction vector is finite and not more than the default, so the maximum amount of calculation in step S104 is also not more than the default.

ステップＳ１０４に続くステップＳ１０５では、軌道生成部２０３が、一部反映軌道Ｔｒｃを、操作量の上限制約を満たす一部反映軌道Ｔｒｄに修正する。図８の（Ｂ）に示される一部反映軌道Ｔｒｄは、式ｆ２６で求められる。

Figure 2018140735
In step S105 following step S104, the trajectory generation unit 203 corrects the partially reflected trajectory Trc to a partially reflected trajectory Trd that satisfies the upper limit constraint of the operation amount. The partially reflected trajectory Trd shown in FIG. 8B is obtained by Expression f26.
Figure 2018140735

ステップＳ１０５に続くステップＳ１０６では、軌道生成部２０３が、以上のステップで求められた一部反映軌道Ｔｒｄが全ての制約を満たしているかチェックする。図８の（Ｃ）に示されるように、全ての制約を満たしていれば走行軌道Ｔｒｅとし、ステップＳ１０７の処理に進む。全ての制約を満たしていなければ、ステップＳ１０８の処理に進む。   In step S106 following step S105, the trajectory generation unit 203 checks whether the partially reflected trajectory Trd obtained in the above steps satisfies all constraints. As shown in FIG. 8C, if all the constraints are satisfied, the travel path Tre is determined, and the process proceeds to step S107. If all the constraints are not satisfied, the process proceeds to step S108.

ステップＳ１０７では、軌道生成部２０３は、走行軌道Ｔｒｅの生成が完了したこと及び走行軌道Ｔｒｅを制御装置１４に通知し処理を終了する。ステップＳ１０８では、軌道生成部２０３は、生成した走行軌道が制約を満たしていないことを制御装置１４に通知し処理を終了する。   In step S107, the track generation unit 203 notifies the control device 14 that the generation of the travel track Tre has been completed and the travel track Tre, and ends the processing. In step S108, the track generation unit 203 notifies the control device 14 that the generated travel track does not satisfy the constraints, and ends the process.

続いて、図９を参照しながら、制御装置１４の処理について説明する。制御装置１４は、走行軌道Ｔｒｆを成す予測点の内１点を選択し、自車両の中央軸と選択した点との距離ｅを算出する。距離ｅを追従誤差として、これを減少させるように、目標前輪舵角δｔを式ｆ２７で算出する。尚、ｇは適合パラメータである。

Figure 2018140735
Next, processing of the control device 14 will be described with reference to FIG. The control device 14 selects one of the predicted points that form the traveling track Trf, and calculates a distance e between the central axis of the host vehicle and the selected point. The target front wheel steering angle δt is calculated by Formula f27 so as to reduce the distance e as a tracking error. Note that g is a conforming parameter.
Figure 2018140735

続いて、実際の前輪舵角δｗと目標前輪舵角δｔとを用いて、式ｆ２８に基づいて操舵トルクＴｗを算出する。尚、ｇp、ｇd、ｇiは適合パラメータである。

Figure 2018140735
Subsequently, the steering torque Tw is calculated based on the equation f28 using the actual front wheel steering angle δw and the target front wheel steering angle δt. Note that g p , g d , and g i are conforming parameters.
Figure 2018140735

上記したように本実施形態に係る走行軌道生成装置２０は、自車両Ｃが走行中の車線情報に基づく規範軌道を生成する規範軌道生成部２０１と、自車両Ｃの状態量に対する上下限制約を規定する状態量制約情報及び自車両Ｃの操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部２０２と、規範軌道と、状態量制約情報及び操作量制約情報の少なくとも一方と、に基づいて自車両Ｃの走行軌道を生成する軌道生成部２０３と、を備える。軌道生成部２０３は、規範軌道を基準として、状態量制約情報又は操作量制約情報を反映させた一部反映軌道を生成し、一部反映軌道を基準として、一部反映軌道に反映されていない状態量制約情報又は操作量制約情報を反映させることで走行軌道を生成する。   As described above, the traveling track generation device 20 according to this embodiment includes the reference track generation unit 201 that generates a reference track based on lane information that the host vehicle C is traveling, and upper and lower limit constraints on the state quantity of the host vehicle C. Constraint information generating unit 202 that calculates operation amount constraint information that defines upper and lower limit constraints for the operation amount constraint information for the specified state amount constraint information and the own vehicle C, at least one of the norm trajectory, the state amount constraint information, and the operation amount constraint information And a track generation unit 203 that generates a travel track of the host vehicle C based on the above. The trajectory generation unit 203 generates a partially reflecting trajectory reflecting state quantity constraint information or manipulated variable constraint information with reference to the reference trajectory, and is not reflected in the partially reflecting trajectory with reference to the partially reflecting trajectory. A traveling track is generated by reflecting state quantity constraint information or operation quantity constraint information.

本実施形態では、制約を受けず車線情報のみに基づく規範軌道を生成し、その規範軌道に制約情報を１種類ずつ反映させることで、走行軌道を生成するまでの演算量を既定以下に抑えることができる。   In this embodiment, by generating a reference trajectory based only on lane information without being restricted, and by reflecting the restriction information one by one on the reference trajectory, the amount of computation until a traveling trajectory is generated is suppressed to a predetermined value or less. Can do.

また本実施形態では、軌道生成部２０３は、規範軌道に状態量制約情報を反映させて一部反映軌道として状態量反映軌道（図７の（Ｂ）（Ｃ）及びその説明参照）を生成し、状態量反映軌道に操作量制約情報を反映させて走行軌道を生成する。自車両側でコントロールできない外的要因である状態量制約情報を先に反映させることで、その反映させた状態量反映軌道を前提として、操作量を制御することができる。   Further, in this embodiment, the trajectory generation unit 203 generates a state quantity reflecting trajectory (see FIGS. 7B and 7C and its description) as a partial reflecting trajectory by reflecting the state quantity constraint information in the reference trajectory. Then, the travel amount trajectory is generated by reflecting the operation amount restriction information on the state amount reflecting trajectory. By reflecting the state quantity constraint information, which is an external factor that cannot be controlled on the own vehicle side, in advance, the manipulated variable can be controlled on the premise of the reflected state quantity reflecting trajectory.

また本実施形態では、制約情報生成部２０２は、自車両Ｃの中心の、自車両Ｃが走行する車線の横位置に対する上下限制約を規定して状態量制約情報を算出する。   Further, in the present embodiment, the constraint information generation unit 202 calculates state quantity constraint information by defining upper and lower limit constraints on the lateral position of the lane in which the host vehicle C travels at the center of the host vehicle C.

また本実施形態では、制約情報生成部２０２は、自車両Ｃの向く方向が規範軌道と成す角に対する上下限制約を規定して状態量制約情報を算出することもできる。   In the present embodiment, the constraint information generation unit 202 can also calculate state quantity constraint information by defining upper and lower limit constraints on the angle formed by the direction in which the host vehicle C faces the reference trajectory.

また本実施形態では、制約情報生成部２０２は、自車両Ｃの横位置が変化する速度に対する上下限制約を規定して状態量制約情報を算出することもできる。   In the present embodiment, the constraint information generation unit 202 can also calculate state quantity constraint information by defining upper and lower limit constraints on the speed at which the lateral position of the host vehicle C changes.

また本実施形態では、制約情報生成部２０２は、自車両Ｃの前輪舵角に対する上下限制約を規定して操作量制約情報を算出することもできる。   In the present embodiment, the constraint information generation unit 202 can also calculate the operation amount constraint information by defining upper and lower limit constraints on the front wheel steering angle of the host vehicle C.

また本実施形態では、制約情報生成部２０２は、自車両Ｃの中心の横位置が変化する加速度に対する上下限制約を規定して操作量制約情報を算出することもできる。   In the present embodiment, the constraint information generation unit 202 can also calculate the manipulated variable constraint information by defining upper and lower limit constraints for acceleration at which the lateral position of the center of the host vehicle C changes.

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。   The present embodiment has been described above with reference to specific examples. However, the present disclosure is not limited to these specific examples. Those in which those skilled in the art appropriately modify the design of these specific examples are also included in the scope of the present disclosure as long as they have the features of the present disclosure. Each element included in each of the specific examples described above and their arrangement, conditions, shape, and the like are not limited to those illustrated, and can be changed as appropriate. Each element included in each of the specific examples described above can be appropriately combined as long as no technical contradiction occurs.

２０：走行軌道生成装置
２０１：規範軌道生成部
２０２：制約情報生成部
２０３：軌道生成部 20: Traveling track generation device 201: Reference track generation unit 202: Restriction information generation unit 203: Track generation unit

Claims (7)

走行軌道生成装置であって、
自車両が走行中の車線情報に基づく規範軌道を生成する規範軌道生成部（２０１）と、
前記自車両の状態量に対する上下限制約を規定する状態量制約情報及び前記自車両の操作量に対する上下限制約を規定する操作量制約情報を算出する制約情報生成部（２０２）と、
前記規範軌道と、前記状態量制約情報及び前記操作量制約情報の少なくとも一方と、に基づいて前記自車両の走行軌道を生成する軌道生成部（２０３）と、を備え、
前記軌道生成部は、
前記規範軌道を基準として、前記状態量制約情報又は前記操作量制約情報を反映させた一部反映軌道を生成し、
前記一部反映軌道を基準として、前記一部反映軌道に反映されていない前記状態量制約情報又は前記操作量制約情報を反映させることで前記走行軌道を生成する、走行軌道生成装置。 A traveling trajectory generator,
A reference trajectory generator (201) that generates a reference trajectory based on lane information in which the host vehicle is traveling;
A constraint information generating unit (202) that calculates state quantity constraint information that defines upper and lower limit constraints on the state quantity of the host vehicle and operation amount constraint information that defines upper and lower limit constraints on the operation quantity of the host vehicle;
A track generation unit (203) that generates a traveling track of the host vehicle based on the reference track and at least one of the state quantity constraint information and the operation amount constraint information;
The trajectory generator is
Using the reference trajectory as a reference, generate a partially reflecting trajectory reflecting the state quantity constraint information or the operation amount constraint information,
A travel trajectory generating apparatus that generates the travel trajectory by reflecting the state quantity constraint information or the manipulated variable constraint information that is not reflected in the partially reflected trajectory with reference to the partially reflected trajectory. 請求項１に記載の走行軌道生成装置であって、
前記軌道生成部は、前記規範軌道に前記状態量制約情報を反映させて一部反映軌道として状態量反映軌道を生成し、前記状態量反映軌道に前記操作量制約情報を反映させて前記走行軌道を生成する、走行軌道生成装置。 The travel trajectory generating device according to claim 1,
The trajectory generating unit reflects the state quantity constraint information in the reference trajectory to generate a state quantity reflecting trajectory as a partially reflecting trajectory, and reflects the operation quantity constraint information in the state quantity reflecting trajectory. A traveling trajectory generating device for generating 請求項１又は２に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の中心の、前記自車両が走行する車線の横位置に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。 The travel trajectory generating device according to claim 1 or 2,
The restriction information generation unit is a traveling track generation apparatus that calculates upper and lower limit restrictions on a lateral position of a lane in which the host vehicle runs at the center of the host vehicle and calculates the state quantity constraint information. 請求項１又は２に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の向く方向が前記規範軌道と成す角に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。 The travel trajectory generating device according to claim 1 or 2,
The constraint information generation unit is a travel track generation device that calculates upper and lower limit constraints on an angle formed by a direction in which the host vehicle faces and the reference track to calculate the state quantity constraint information. 請求項１又は２に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の横位置が変化する速度に対する上下限制約を規定して前記状態量制約情報を算出する、走行軌道生成装置。 The travel trajectory generating device according to claim 1 or 2,
The constraint information generation unit is a travel track generation device that calculates upper and lower limit constraints on a speed at which a lateral position of the host vehicle changes and calculates the state quantity constraint information. 請求項１から５のいずれか１項に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の前輪舵角に対する上下限制約を規定して前記操作量制約情報を算出する、走行軌道生成装置。 The travel trajectory generating device according to any one of claims 1 to 5,
The said restriction information generation part is a driving | running track generation apparatus which prescribes | regulates the upper / lower limit restrictions with respect to the front-wheel steering angle of the said own vehicle, and calculates the said operation amount restriction information. 請求項１から５のいずれか１項に記載の走行軌道生成装置であって、
前記制約情報生成部は、前記自車両の中心の横位置が変化する加速度に対する上下限制約を規定して前記操作量制約情報を算出する、走行軌道生成装置。 The travel trajectory generating device according to any one of claims 1 to 5,
The constraint information generation unit is a traveling track generation device that calculates upper and lower limit constraints for acceleration at which a lateral position of the center of the host vehicle changes and calculates the operation amount constraint information.
JP2017036654A 2017-02-28 2017-02-28 Running trajectory generator Active JP6724820B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017036654A JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036654A JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Publications (2)

Publication Number Publication Date
JP2018140735A true JP2018140735A (en) 2018-09-13
JP6724820B2 JP6724820B2 (en) 2020-07-15

Family

ID=63527573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036654A Active JP6724820B2 (en) 2017-02-28 2017-02-28 Running trajectory generator

Country Status (1)

Country Link
JP (1) JP6724820B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111483459A (en) * 2019-01-29 2020-08-04 丰田自动车株式会社 Vehicle control device
WO2023286538A1 (en) * 2021-07-15 2023-01-19 株式会社デンソー Trajectory processing system, trajectory processing device, trajectory processing method, and trajectory processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117079A (en) * 2015-12-22 2017-06-29 アイシン・エィ・ダブリュ株式会社 Automatic driving support system, automatic driving support method, and computer program
JP2018086948A (en) * 2016-11-29 2018-06-07 マツダ株式会社 Vehicle control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117079A (en) * 2015-12-22 2017-06-29 アイシン・エィ・ダブリュ株式会社 Automatic driving support system, automatic driving support method, and computer program
JP2018086948A (en) * 2016-11-29 2018-06-07 マツダ株式会社 Vehicle control device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111483459A (en) * 2019-01-29 2020-08-04 丰田自动车株式会社 Vehicle control device
JP2020121584A (en) * 2019-01-29 2020-08-13 トヨタ自動車株式会社 Vehicle controller
US11507085B2 (en) 2019-01-29 2022-11-22 Toyota Jidosha Kabushiki Kaisha Vehicle control apparatus
JP7243227B2 (en) 2019-01-29 2023-03-22 トヨタ自動車株式会社 vehicle controller
WO2023286538A1 (en) * 2021-07-15 2023-01-19 株式会社デンソー Trajectory processing system, trajectory processing device, trajectory processing method, and trajectory processing program

Also Published As

Publication number Publication date
JP6724820B2 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
Piazzi et al. Quintic G/sup 2/-splines for the iterative steering of vision-based autonomous vehicles
CN108692734B (en) Path planning method and device
US11092967B2 (en) Vehicle movement control device
Broggi et al. The ARGO autonomous vehicle’s vision and control systems
JP6323473B2 (en) Travel control device
JP6829255B2 (en) Control system for steering means of motorized vehicles in situations where a collision with an obstacle is imminent
CN110361013B (en) Path planning system and method for vehicle model
WO2020063817A1 (en) Traffic lane line fitting method and system
CN105774801B (en) Method and device for guiding a vehicle on a lane
CN109690649B (en) Vehicle travel control method and vehicle travel control device
US20140169630A1 (en) Driving assistance apparatus and driving assistance method
CN110657814A (en) Trajectory planning method and device, vehicle and control method and system thereof
CN110398963A (en) Trackless navigation correction control method, device, storage medium and controller
CN110789530B (en) Four-wheel independent steering-independent driving vehicle trajectory tracking method and system
JP6419671B2 (en) Vehicle steering apparatus and vehicle steering method
JP7125286B2 (en) Behavior prediction device and automatic driving device
JP6293213B2 (en) Lane marking detection correction device, lane marking detection correction method, and automatic driving system
CN113247023B (en) Driving planning method and device, computer equipment and storage medium
CN115551756A (en) Path control module, associated path control device and associated method
CN111679660A (en) Unmanned deep reinforcement learning method integrating human-like driving behaviors
JPH03113513A (en) Speed-sensitive steering controller for self-traveling vehicle
CN111795699A (en) Unmanned vehicle path planning method and device and computer readable storage medium
JP6724820B2 (en) Running trajectory generator
CN113010959A (en) Method for determining continuous information about an expected trajectory of an object
CN113830174B (en) Steering angle correction method, device and equipment and readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R151 Written notification of patent or utility model registration

Ref document number: 6724820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250