JP2020095339A - 移動体、移動体の制御方法及びプログラム - Google Patents

移動体、移動体の制御方法及びプログラム Download PDF

Info

Publication number
JP2020095339A
JP2020095339A JP2018231033A JP2018231033A JP2020095339A JP 2020095339 A JP2020095339 A JP 2020095339A JP 2018231033 A JP2018231033 A JP 2018231033A JP 2018231033 A JP2018231033 A JP 2018231033A JP 2020095339 A JP2020095339 A JP 2020095339A
Authority
JP
Japan
Prior art keywords
self
parameter
position estimation
environment
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018231033A
Other languages
English (en)
Other versions
JP7275553B2 (ja
Inventor
佑允 高橋
Yusuke Takahashi
佑允 高橋
諒 渡辺
Ryo Watanabe
諒 渡辺
之寛 斉藤
Yukihiro Saito
之寛 斉藤
鍋田 将臣
Masaomi Nabeta
将臣 鍋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018231033A priority Critical patent/JP7275553B2/ja
Priority to US17/299,366 priority patent/US20220019224A1/en
Priority to PCT/JP2019/047290 priority patent/WO2020121900A1/en
Publication of JP2020095339A publication Critical patent/JP2020095339A/ja
Application granted granted Critical
Publication of JP7275553B2 publication Critical patent/JP7275553B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Abstract

【課題】走行環境の変化に影響を受けることなく、自己位置推定の精度を高める。【解決手段】移動体は、自己位置推定のためのパラメータに基づいて自己位置を推定する自己位置推定部600と、走行中の走行環境に応じて前記パラメータを動的に切り換えるパラメータ切換部500と、を備える。この構成により、走行中の走行環境に応じて自己位置推定のためのパラメータが動的に切り換わるため、走行環境の変化に影響を受けることなく、自己位置推定の精度を高めることが可能となる。【選択図】図4

Description

本開示は、移動体、移動体の制御方法及びプログラムに関する。
従来、例えば下記の特許文献1には、走行環境の地図データと距離センサ部の検知結果である幾何形状データとを用いて自装置の位置姿勢を推定して、自装置の位置姿勢が一意に定まる状態と、自装置の位置姿勢が一意に定まらない状態とで走行モードを切り替えることが記載されている。
特許第6348971号公報
しかし、上記特許文献に記載された手法は、環境に応じて走行モードを切り替えることは想定しているが、自己装置の位置姿勢が一意に定まらない状態を許容するものであるため、移動体自身が自己位置を認識できなくなる(自己位置をロストする)可能性を内在している。
そこで、走行環境の変化に影響を受けることなく、自己位置推定の精度を高めることが求められていた。
本開示によれば、自己位置推定のためのパラメータに基づいて自己位置を推定する自己位置推定部と、走行中の走行環境に応じて前記パラメータを動的に切り換えるパラメータ切換部と、を備える、移動体が提供される。
また、本開示によれば、自己位置推定のためのパラメータに基づいて自己位置を推定することと、走行中の走行環境に応じて前記パラメータを動的に切り換えることと、を備える、移動体の制御方法が提供される。
また、本開示によれば、自己位置推定のためのパラメータに基づいて自己位置を推定する手段、走行中の走行環境に応じて前記パラメータを動的に切り換える手段、としてコンピュータを機能させるためのプログラムが提供される。
本開示の一実施形態に係る移動体のシステムの構成を示す模式図である。 移動体が走行するルートを示す模式図である。 移動体が走行するルートを示す模式図である。 移動体が図2A及び図2Bに示す経路を走行する際に、目標位置を点で示す模式図である。 移動体が図2A及び図2Bに示す経路を走行する際に、目標位置を点で示す模式図である。 事前地図に環境情報を埋め込む場合のシステムの構成を示す模式図である。 事前地図に環境情報を埋め込む場合の処理を示すフローチャートである。 移動体自身が環境を認識する場合のシステムの構成を示す模式図である。 自己位置推定プロファイルの例を示す模式図である。 移動体自身が環境を認識する場合の処理を示すフローチャートである。 パラメータを埋め込んだ地図とセンサ状況に応じて経路計画を行う場合のシステムの構成を示す模式図である。 パラメータを埋め込んだ地図とセンサ状況に応じて経路計画を行う場合の処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の概要
2.自己位置推定の方法
2.1.デッドレコニング
2.2.SLAM
2.3.ビジュアルオドメトリ
2.4.GPS
2.5.ホイールオドメトリ
2.6.IMU
3.拡張カルマンフィルタによる自己位置推定
4.環境に応じたパラメータの例
4.1.周りに何も無い環境
4.2.砂場
4.3.ビルに囲まれた屋外環境
4.4.ガラス壁と隣接した廊下環境
4.5.繰り返しパターンが多いオフィス環境
5.パラメータの切換方法
5.1.事前地図に環境情報を埋め込む例
5.2.移動体自身が環境を認識する場合
1.本開示の概要
ロボットなどの移動体が自立移動をする際、予め周辺環境地図を生成し、センシング情報に基づき、地図に対する自身の位置を推定して、目的地を目指して走行する。この際、推定した自己位置と目的地に向けた経路を参照しながら制御量を計算する。そのため、自己位置推定の精度は、自律走行ができるか否かを決定する重要な要因となる。
自己位置推定手法としては様々な手法が存在しており、ロボティクスにおいて大きな研究テーマとなっている。それぞれの自己位置推定手法は、使用センサやアルゴリズムの特性上、得意とする環境や苦手とする環境が異なる。また、各手法にはそれぞれ多くの設定パラメータが存在するため、環境に応じたチューニングが必要となる場合もある。
また、センサーフュージョン(センサの融合)により自己位置推定のロバスト性を向上させることを想定した場合、フュージョンに利用するセンサの重みを決定するパラメータも、環境に応じてチューニングすることが望ましい。従って、複数の異なる特性を有する走行環境を跨がって自律移動するためには、それぞれの環境に応じて自己位置推定の手法やパラメータを適切に切り替えることが求められる。
本実施形態では、ロボットなどの移動体の自己位置推定に関し、ロバスト性の高い自己位置推定を実現させるために、特性の異なる環境にチューニングした自己位置推定の設定パラメータを、自身が走行している環境に応じて動的に変更する。これにより、自己位置推定の設定パラメータ、使用するセンサ、自己位置推定アルゴリズム、処理の設定を変更させる。なお、本実施形態では、地上を車輪で走行する移動体を例示するが、移動体は飛行するドローンなどであっても良い。
2.自己位置推定の方法
自己位置推定の方法として、以下のデッドレコニング、SLAM(Simultaneous Localization And Mapping)、ビジュアルオドメトリ(VO;Visual
Odometry)、GPS(Global Positioning System)、ホイールオドメトリ、IMU(Inertial Measurement
Unit)を例示する。なお、自己位置推定の方法はこれらに限定されるものではなく、他の方法を用いても良い。以下では、それぞれの方法の特徴を説明する。
2.1.デッドレコニング
デッドレコニングは、内界センサを利用して相対的な自己位置を推定する手法である。慣性センサやホイールオドメトリから得られる速度や角速度を積分して累積していくことで、基準点(原点)からの自身の移動量を求める。移動量を累積していくため時間と共に誤差が大きくなる場合があるが、比較的短時間であれば、連続的で精密な自己位置を推定することができる。
2.2.SLAM
SLAMは、レーザスキャナやカメラを用いて自己位置と周辺地図を同時に推定する手法である。移動体の周辺の見え方と自身の移動量を鑑みて、辻褄を合わせながら自己位置を推定し、同時に環境地図を作成する。特徴的な地物がない環境では、地図による補正が難しいため自己位置推定の精度が下がるという特徴を持つ。また、ガラスや鏡などの近辺では、レーザスキャナの観測値にノイズが乗るため、自己位置推定精度が低下する特性を有する。
2.3.ビジュアルオドメトリ
ビジュアルオドメトリは、カメラ画像内の特徴量の時間的変化量から自身の移動量を推定する手法である。カメラのキャリブレーションによっては距離オーダーが実測と異なる場合がある。ステレオ視を利用することで実測値に近い距離を求めることができるが、精度としては比較的低い場合がある。また、明暗がある環境では特徴点を見失うことがあり、自己位置推定精度が低下する場合もある。また、画像にブレがある場合は特徴量を抽出できないこともあり得る。
2.4.GPS
GPSは、人工衛星が発する信号を受信し、三角測量的に受信機の位置を推定する手法である。屋外であれば地球上での絶対座標を直接計測することができる。建物付近では反射波、回折波といったマルチパスの影響により測位誤差が発生する場合がある。また、中途半端に信号が届く高層ビルに囲まれた環境での測位精度が低い。
2.5.ホイールオドメトリ
ホイールオドメトリは、タイヤの回転量を計測し、累積することで自身の移動量を計算する手法であり、デッドレコニングの一種である。タイヤが滑ると自己位置に誤差が生じるため、滑りやすい地面では自己位置推定精度が劣化する場合もある。
2.6.IMU
IMUは、慣性計測装置と呼ばれ、加速度や角速度を検出する。自身の姿勢の推定や、前エポックでの状態から現エポックの状態を予測する際に利用される。カルマンフィルタでは、予測更新処理や時刻更新処理と呼ばれる処理時に利用されることが多い。
3.拡張カルマンフィルタによる自己位置推定
実環境下において移動体が走行する場合、様々な環境が想定される。例えば、屋内であれば、物が多く特徴点の抽出がし易い環境、鏡やガラスが多くレーザスキャナなどのセンサが使いにくい環境、廊下のように特徴がない環境、などが挙げられる。
また、屋外であれば、付近に建物が多く、GPS信号にノイズが入りやすい環境、周りに何も存在しない広場のような環境、走行面に砂が多く車輪が滑りやすい環境などが挙げられる。
このような特性の異なる環境では、それぞれの環境に適した組み合わせのセンサを用いて、最適化したパラメータで自己位置推定を行うことが求められる。本実施形態では、拡張カルマンフィルタで複数のセンサや自己位置推定手法を融合させる。
図1は、本開示の一実施形態に係る移動体のシステム1000の構成を示す模式図である。図1に示すように、このシステム1000は、自己位置推定を行う機能ブロックとして、IMU100、ホイールオドメトリ110、ビジュアルオドメトリ120、SLAM130、GPS140、を有している。また、システム1000は、自己位置推定を行う機能ブロック(センサ)として、磁気センサ150、カメラ200、レーザスキャナ210、を有している。カメラ200はビジュアルオドメトリ120に利用され、レーザスキャナ210はSLAM130に利用される。また、磁気センサ150は方位を検出する。また、システム1000は、これらの自己位置推定手法を融合する拡張カルマンフィルタ300を有している。なお、図1に示すシステム1000の各構成要素は、センサ、回路などのハードウェア、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラムから構成することができる。後述する図4、図6、図9においても同様である。
一例として、拡張カルマンフィルタ300を用いた自己位置推定では、IMU100とホイールオドメトリ110によるデッドレコニングで前時刻サンプルから現時刻サンプルでの自己位置を予測し、現時刻サンプルで取得された観測値を用いて予測値を補正することで自己位置を推定する。前時刻サンプルから現時刻サンプルでの自己位置の予測は、時刻更新のブロック310で行われる。また、現時刻サンプルで取得された観測値を用いた予測値の補正は、観測更新のブロック320で行われる。なお、観測値は、主にビジュアルオドメトリ120、SLAM130、GPS140、磁気センサ150から得られ、共分散の値に基づいてフュージョンされる。
本実施形態では、予測値を求めるために、IMU100、ホイールオドメトリ110などの内界センサを利用する。拡張カルマンフィルタ300は、観測値と推定値の関係を表すモデルを適切に定義することで、様々なセンサ値や自己位置推定手法を統合することができる。但し、観測値の信頼度を決定する設定パラメータとして、各観測値の共分散を適切に設定する。共分散の値が小さいほど信頼性の高いセンサ値、自己位置推定となり、共分散の値が大きいほど信頼性の低いセンサ値、自己位置推定となる。本実施形態では、移動体の走行環境に応じて、拡張カルマンフィルタ300の共分散の値を動的に変更する例を示す。
4.環境に応じたパラメータの例
図2A及び図2Bは、移動体10が走行するルートを示す模式図である。図2A及び図2Bに示すように、移動体10は、まず広場30から砂場40を通り、付近がビル20に囲まれた道50を経由して、オフィスがある建物40内に入る。
図2Bは、建物40の内部を示している。移動体10は、横にガラス壁52のある廊下54を通り、デスク60の間を通り抜けて目標地点90(席70)に到着する。
図1で示したように、自律移動体の自己位置推定に用いるセンサは、IMU100、ホイールオドメトリ110、レーザスキャナ210、GPS140、カメラ200、磁気センサ150とし、拡張カルマンフィルタ300にてセンサーフュージョンを行うものとする。ただし、レーザスキャナ210はICPマッチングを行うSLAM130を利用し、カメラ200はビジュアルオドメトリ120を利用しているものとする。
以下では、図2A及び図2Bに示す経路を移動体10が走行する場合に、環境に応じたパラメータの例について説明する。
4.1.周りに何も無い環境
移動体10が屋外を走行し、周りに地物がない環境を走行する場合は、特に誤差要因となるものは無いが、目印となるランドマークが存在しないため、SLAM130は役に立たない。このような環境では、GPS140の測位信号を主としても用い、自己位置推定を行う。つまり、周りに地物が存在しない広場30を走行する際には、GPS140の誤差要因となるマルチパスの影響を受けにくいため、GPS140の信頼度を高くする。従って、拡張カルマンフィルタ300では、GPSの共分散の値を小さくするとともに、SLAM130の共分散の値を大きくすることが望ましい。
4.2.砂場
移動体10が、屋外の環境ではあるが地面が滑りやすい砂場40を走行する場合、ホイールオドメトリ110は誤差が発生しやすいため、ホイールオドメトリ110によるデッドレコニングの信頼度は低くなる。このため、ホイールオドメトリ110を利用せずに、IMU100によるデッドレコニングを利用する。また、砂場40では、周りに地物が存在せず、広場30と同様にGPS140が利用できるので、GPS140の共分散は引き続き小さくする。
4.3.ビルに囲まれた屋外環境
ビル20に囲まれた道50のような屋外の環境では、GPS140の測位解にマルチパス誤差が含まれるため、GPS140の共分散の値を大きくすることが望ましい。また、道50が舗装されていれば、移動体10の車輪が滑ることは考えにくいため、ホイールオドメトリ110の共分散を小さくする。
4.4.ガラス壁と隣接した廊下環境
図2Bに示すように、移動体10がガラス壁52に隣接した廊下54を走行する場合、屋内の走行であるためGPS140は使用しない。また、ガラス壁52は、レーザー光を透過したり反射したりするため、レーザスキャナ210による測距情報には誤差が生じる。従って、このようなガラスが多い環境では、レーザスキャナ210を利用したSLAM130の信頼度を下げることが望ましい。このため、拡張カルマンフィルタ300では、SLAM130から得られる自己位置の共分散を大きく設定する。
4.5.繰り返しパターンが多いオフィス環境
図2Bに示すように、建物40の内部では、物体が多く、デスク60などの規則的な繰り返しパターンが存在する。このような環境では、特徴点の抽出がし易いため、ビジュアルオドメトリ120やSLAM130の利用が好適である。一方、SLAM130で地図とのマッチング処理が含まれる場合は、規則的な繰り返しパターンが存在するため、誤マッチングが生じ易い環境となる。従って、拡張カルマンフィルタ300の共分散の設定ではなく、SLAM130におけるマップマッチング処理の停止や、マップマッチング処理の周期を遅くすることで誤マッチング発生率を下げることが効果的となる。
以上の例のように、自己位置推定を行う環境に応じてパラメータを設定することが、ロバストな自己位置推定には好適である。また、繰り返しパターンが多いオフィス環境の例のように、拡張カルマンフィルタ300の共分散行列を変更するだけではなく、SLAM130などの各自己位置推定手法のパラメータを変更することが望ましい。
5.パラメータの切換方法
以上では、自己位置推定のパラメータを環境に応じて設定する例を述べた。以下では、走行環境に応じて自己位置推定のパラメータを実際に切り換える手法について説明する。自己位置推定のパラメータを切り換えるためには、移動体10に予め走行環境の情報を与えるか、移動体10自身が走行環境を認識する必要がある。
ここでは、移動体10がナビゲーション時に利用する目的地の位置情報と合わせて自己位置推定用のパラメータを与える手法と、移動体が識別器を用いて外環境を認識し、自己位置推定用のパラメータプロファイルを切り替える手法について述べる。
5.1.事前地図に環境情報を埋め込む例
図3A及び図3Bは、移動体10が図2A及び図2Bに示す経路を走行する際に、目標位置80を点で示す模式図である。移動体10が自律移動をする際は、予め移動体10に目標地点90を与える。移動体10は、環境地図に基づき、周囲の障害物を避けるように目標地点90に向けた走行経路を計算する。このとき、経路探索アルゴリズムが利用されるが、目標位置が遠すぎると処理負荷が大きくなる。このため、移動体10に与える目標位置80は、図3A及び図3Bに示すように、例えば10m程度の間隔に設定される。この移動体10に与える目標位置80の情報は、自己位置推定に環境地図を利用する場合、環境地図上にプロットされる。ここで、目標位置80がプロットされた環境地図を事前地図と称することとする。
事前地図は、環境地図に経由地情報(目標位置80の情報)が追加されたものである。本実施形態では、事前地図に対して、更に走行環境に応じた自己位置推定用のパラメータを予め埋め込んでおく。このため、事前地図から、各目標位置80に対応した地点で、自己位置推定用のパラメータを取得することができる。
移動体10は、事前地図から、目標位置80の情報と共に、その目標位置80に移動する際に利用する自己位置推定用のパラメータを読み込み、走行環境に適したパラメータを利用して自己位置推定処理を行う。このパラメータには、使用するセンサの適否、拡張カルマンフィルタ300の共分散の値、上述したSLAM130などの各自己位置推定手法に必要な設定が含まれる。
図4は、事前地図に環境情報を埋め込む場合のシステム2000の構成を示す模式図である。図4に示すように、システム1000は、事前地図400、パラメータ選択部500(パラメータ切換部)、自己位置推定部600、経路計画部700、車両制御部800を有している。この例では、事前地図400が予め準備され、事前地図400は環境地図410、自己位置推定パラメータ420、経由地情報430を含む。
自己位置推定部600は、自己位置推定に利用するパラメータを受け取り、そのパラメータを利用して自己位置推定処理を行う。自己位置推定部600は、図1に示すシステム1000に対応する。パラメータ選択部500は、経路計画部700がどの目標位置80に対しての経路を計算しているのかという目的地の情報を受け取り、その目的地情報と紐づいた自己位置推定パラメータ420を選択し、自己位置推定部600にパラメータを渡す。
経路計画部700は、いわゆるナビゲーション装置に相当し、移動体10が進みたい経路を計算する。経路計画部700は、目標位置80と自己位置に基づき経路を計算し、車両制御部800に計算した経路を送る。また、上述のように経路計画部700は、目標位置80をパラメータ選択部500に送る。車両制御部800は、経路に追従するように移動体10を制御する。
図5は、事前地図に環境情報を埋め込む場合の処理を示すフローチャートである。先ず、ステップS10では、目標地点90の情報(目標位置)を取得する。これにより、移動体10の走行経路に目標位置80が順次に定められる。次のステップS12では、環境情報が埋め込まれた事前地図から、目標位置80に基づいてパラメータ選択部500が選択した、自己位置推定に利用するパラメータを取得する。次のステップS14では、ステップS12で取得したパラメータに基づき、自己位置推定演算を行う。次のステップS16では、推定した自己位置を出力し、次のステップS18では、自己位置に基づいて経路計画処理を行う。次のステップS20では、目標地点90までの走行が完了したか否かを判定し、走行が完了した場合は処理を終了する。一方、走行が完了していない場合は、ステップS10に戻る。
5.2.移動体自身が環境を認識する場合
次に、移動体10自身が環境を認識する場合について説明する。移動体10は、識別器を搭載することで、自身で環境を認識することができる。例えば、識別子として、路面状況を監視する識別器、建物で上空が隠れているか否かを監視する識別器、光を透過する材質の障害物がないか監視する識別器、といったものが挙げられる。
移動体10は、識別した情報の組み合わせによって、その環境に適した自己位置推定用パラメータを設定したプロファイルを選択する。例えば、各識別器による識別結果を“0”、“1”の2値で示し、これらの組み合わせに応じたプロファイルを予め設定しておくことで、環境の認識結果に応じたプロファイルを選択することができる。プロファイルは自己位置推定用パラメータをリスト化したもので、予め代表的な環境のパラメータリストを作成し、移動体10のデータベースに与えておく。移動体10は、環境の識別情報を判断し、データベース内にある適切なプロファイルを選択することで、動的に自己位置推定のパラメータを変更する。
図6は、移動体自身が環境を認識する場合のシステム3000の構成を示す模式図である。図6に示すように、システム3000は、識別機650、環境識別部900、プロファイル選択部(パラメータ切換部)950、自己位置推定プロファイル980、事前地図400、自己位置推定部600、経路計画部700、車両制御部800を有している。事前地図400は環境地図410、経由地情報430を含む。
環境認識部900は、複数の識別器650の識別結果に基づいて、移動体10が現在どのような走行環境を走行しているのかを判断し、クラス分けをする。ここで、クラスとは、GPS140が使いにくい環境、ホイールオドメトリ110が使いにくい環境、といった代表的な環境をクラス分けしたものである。
識別器650は、画像を主な入力とするもので、機械学習などにより予め抽出して欲しい特徴が画像内に写っているかを判断し、クラスを判別する処理を行う環境判別部900に通知する。ここでの機械学習とは、例えば、ディープラーニング(DeepLearning)やテンプレート画像をマッチングする方法といった、画像を入力して特徴を含まれているかどうかを判別するものを想定する。環境判別部900は、多数の識別器650の識別結果を統合して、どのプロファイルを利用する環境か、クラス分けを行う。クラス分けにもディープラーニングを用いることができる。
プロファイル選択部950は、クラス分けされた環境に適合する自己位置推定用プロファイル980を選択し、自己位置推定部600に送る。自己位置推定部600は、自己位置推定用プロファイル980のパラメータを用いて自己位置推定処理をおこなう。その後は、経路計画部700が経路を作成し、車両制御部800が移動体10を制御する。
図7は、自己位置推定プロファイル980の例を示す模式図である。図7に示すように、自己位置推定プロファイル980には、環境判別部900が判別した走行環境に応じて、SLAM130、GPS140などの共分散の値など、自己位置推定に関するパラメータが予め定められている。なお、図7の例では、走行環境に応じたプロファイルの例として、広場30とガラス壁52を示している。上述した複数の識別器による識別結果に応じて、走行環境が図7に示す広場30なのか、ガラス壁52であるのかが判定される。走行環境が広場30と判定された場合は、図7中に示す「広場」のプロファイルが選択される。この「広場」のプロファイルには、SLAM130、GPS140などの共分散の値や、自己位置推定用の各種センサのパラメータが予め設定されている。従って、走行環境に応じたプロファイルを選択することで、自己位置推定のためのパラメータを取得できる。
図8は、移動体自身が環境を認識する場合の処理を示すフローチャートである。先ず、ステップS30では、環境判別部900が環境の識別を行う。次のステップS32では、プロファイル選択部950が、環境の判別結果に応じた自己位置推定プロファイル980を選択する。次のステップS34では、ステップS32で選択された自己位置推定プロファイル980に基づいて、自己位置推定の演算を行う。次のステップS36では、ステップS34の演算の結果に基づいて、自己位置を出力する。次のステップS38では、自己位置に基づいて経路計画処理を行う。次のステップS40では、目標地点90までの走行が完了したか否かを判定し、走行が完了した場合は処理を終了する。一方、走行が完了していない場合は、ステップS30に戻る。
5.3.事前地図に環境情報を埋め込み、センサ状況に応じて経路計画を行う例
環境地図に自己位置推定用のパラメータを埋め込むことにより、現在の移動体10のセンサ状況から最適な経路を選ぶことができる。例えば、ある目的地に行く場合に、最短経路だがガラス壁52に囲まれた屋内の経路と、遠回りだが屋外で上空が開けている経路の2つの選択肢があるものとする。この場合、前者の経路を選択するとホイールオドメトリ110とIMU100を主に使用して走行することになる。一方、後者の経路を選択すると、GPS140、ホイールオドメトリ110、IMU100を主に使用して走行することになる。
全てのセンサ類が問題なく利用できる場合は、最短経路として前者の経路で進むのが望ましい。一方、ホイールオドメトリ110が故障してしまった場合、前者の経路では自己位置推定を行うことができなくなることが予測される。
このため、ホイールオドメトリ110の故障を考慮した場合は、後者の経路で進むことが望ましい。事前地図に自己位置推定のパラメータを埋め込むことにより、移動体10のセンサ状況を鑑みながら、走行経路を動的に切り替えることも可能となる。つまり、予め事前地図にパラメータを埋め込むことで、故障したセンサがあった場合でも自己位置を失いにくい経路を選び取ることができるようになる。
図9は、パラメータを埋め込んだ地図とセンサ状況に応じて経路計画を行う場合のシステム4000の構成を示す模式図である。図9に示すように、システム4000は、図4の構成に加えて、センサ監視部640を有している。図9では、センサ監視部640に加えて、カメラ200、レーザスキャナ210、ホイールエンコーダ112、IMU100、GPS140、磁気センサ150などの各種センサ類を図示している。なお、ホイールエンコーダ112は、ホイールオドメトリ110で使用される。センサ監視部640は、カメラ200、レーザスキャナ210、ホイールエンコーダ112、IMU100、GPS140、磁気センサ150などの各種センサ類を監視する。センサ監視部650は、これらのセンサが故障していることが判別されると、経路計画部700に通知する。
例えば、センサ監視部640は、外れ値を出力し続けるセンサがあれば、そのセンサの故障フラグを経路計画部700に通知する。経路計画部700は、事前地図に埋め込まれたパラメータを参照して、故障したセンサを除いた構成で自己位置がロストしないような目標位置を選択する。故障フラグが立っているセンサ(故障しているセンサ)について、地図に埋め込まれたパラメータの共分散が小さい場合は、自己位置をロストしてしまう可能性が高くなるので、別の目標位置を選択して経路計画計算をやり直す。このように、パラメータを埋め込んだ地図を用いることで、センサ状況に応じて自己位置をロストしにくい経路を選択することができる。
図10は、パラメータを埋め込んだ地図とセンサ状況に応じて経路計画を行う場合の処理を示すフローチャートである。先ず、ステップS50では、目標地点90の情報(目標位置)を取得する。これにより、移動体10の走行経路に目標位置80が順次に定められる。次のステップS52では、環境情報が埋め込まれた事前地図から、目標位置80に基づいてパラメータ選択部500が選択した、自己位置推定に利用するパラメータを取得する。次のステップS54では、センサ監視部640がセンサ故障情報を取得する。次のステップS56では、センサ故障情報に基づき、センサが正常であるか否かを判定し、センサが正常である場合はステップS58へ進む。ステップS58では、自己位置推定の演算を行う。一方、センサが異常である場合は、ステップS57へ進み、目標位置を変更した後、ステップS52へ戻る。
ステップS58の後はステップS60へ進み、推定した自己位置を出力する。次のステップS62では、自己位置に基づいて経路計画処理を行う。次のステップS64では、目標地点90までの走行が完了したか否かを判定し、走行が完了した場合は処理を終了する。一方、走行が完了していない場合は、ステップS50に戻る。
本開示は、車輪型の移動体の他にも、様々なプラットフォームにおいて応用が可能である。自動運転車、パーソナルモビリティ、ヒューマノイド、ドローンといった自律移動体において、センシングして自己位置推定するものであれば、適用範囲は特に限定されるものではない。本開示を適用した移動体では、自己位置推定結果に特定の環境下で誤差が乗る現象、それに伴い自律移動ができなくなるという現象が大幅に改善される。動的に環境に特化したパラメータを変更することができるため、各環境において自己位置推定精度が向上するとともにロバスト性を向上することができる。
自己位置推定精度とロバスト性の向上によって得られる効果としては、自身の経路に対する位置推定精度が向上するので、より細やかな車両制御が可能になるという、経路追従性の向上効果が得られる。また、ドローンのような飛行プラットフォームではホバリング時の停止精度が向上し、飛行撮影の安定化など停止精度の向上を実現できる。更に、ロバスト性が向上することで一度の走行で対応できる環境が増えるため、一度の走行において走行可能な領域が拡大され、走行可能領域の拡大を実現できる。
自己位置推定技術は。移動体の基本性能を向上させる重要なファクターである。本開示は、今後さらに加速する移動体を用いたアプリケーション開発において、基本性能を向上させることで大幅な貢献に寄与するものである。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)自己位置推定のためのパラメータに基づいて自己位置を推定する自己位置推定部と、
走行中の走行環境に応じて前記パラメータを動的に切り換えるパラメータ切換部と、
を備える、移動体。
(2)前記パラメータは、前記自己位置推定のために使用するセンサ、自己位置推定のための複数の方式を融合する拡張カルマンフィルタにおける共分散の値、又は個々の前記方式における設定値に対応するパラメータである、前記(1)に記載の移動体。
(3)前記パラメータは、前記自己位置推定のために使用するIMU、ホイールオドメトリ、ビジュアルオドメトリ、SLAM、またはGPSに対応するパラメータである、前記(1)又は(2)に記載の移動体。
(4)前記パラメータは、環境地図の経由地情報と対応付けて予め定められ、
前記パラメータ切換部は、走行経路の経由地を前記経由地情報に当てはめて前記パラメータを切り換える、前記(1)〜(3)のいずれかに記載の移動体。
(5)走行時に前記走行環境を認識する環境認識部を備え、
前記パラメータ切換部は、走行時に認識した前記走行環境に応じて前記パラメータを切り換える、前記(1)〜(3)のいずれかに記載の移動体。
(6)前記走行環境に応じた前記パラメータのプロファイルが予め登録され、
前記パラメータ切換部は、走行時に認識した前記走行環境から得られる前記プロファイルに基づいて、前記パラメータを切り換える、前記(5)に記載の移動体。
(7)前記パラメータは、環境地図の経由地情報と対応付けて予め定められ、
前記パラメータ切換部は、走行経路の経由地を前記経由地情報に当てはめて前記パラメータを切り換え、
前記自己位置推定のために使用するセンサの状態を監視するセンサ監視部を備え、
異なる走行経路における前記パラメータと前記パラメータに対応する前記センサの状態に基づいて、経路を選択する経路選択部を更に備える、前記(1)に記載の移動体。
(8)自己位置推定のためのパラメータに基づいて自己位置を推定することと、
走行中の走行環境に応じて前記パラメータを動的に切り換えることと、
を備える、移動体の制御方法。
(9)自己位置推定のためのパラメータに基づいて自己位置を推定する手段、
走行中の走行環境に応じて前記パラメータを動的に切り換える手段、
としてコンピュータを機能させるためのプログラム。
500 パラメータ選択部
600 自己位置推定部

Claims (9)

  1. 自己位置推定のためのパラメータに基づいて自己位置を推定する自己位置推定部と、
    走行中の走行環境に応じて前記パラメータを動的に切り換えるパラメータ切換部と、
    を備える、移動体。
  2. 前記パラメータは、前記自己位置推定のために使用するセンサ、自己位置推定のための複数の方式を融合する拡張カルマンフィルタにおける共分散の値、又は個々の前記方式における設定値に対応するパラメータである、請求項1に記載の移動体。
  3. 前記パラメータは、前記自己位置推定のために使用するIMU、ホイールオドメトリ、ビジュアルオドメトリ、SLAM、またはGPSに対応するパラメータである、請求項2に記載の移動体。
  4. 前記パラメータは、環境地図の経由地情報と対応付けて予め定められ、
    前記パラメータ切換部は、走行経路の経由地を前記経由地情報に当てはめて前記パラメータを切り換える、請求項1に記載の移動体。
  5. 走行時に前記走行環境を認識する環境認識部を備え、
    前記パラメータ切換部は、走行時に認識した前記走行環境に応じて前記パラメータを切り換える、請求項1に記載の移動体。
  6. 前記走行環境に応じた前記パラメータのプロファイルが予め登録され、
    前記パラメータ切換部は、走行時に認識した前記走行環境から得られる前記プロファイルに基づいて、前記パラメータを切り換える、請求項5に記載の移動体。
  7. 前記パラメータは、環境地図の経由地情報と対応付けて予め定められ、
    前記パラメータ切換部は、走行経路の経由地を前記経由地情報に当てはめて前記パラメータを切り換え、
    前記自己位置推定のために使用するセンサの状態を監視するセンサ監視部を備え、
    異なる走行経路における前記パラメータと前記パラメータに対応する前記センサの状態に基づいて、経路を選択する経路選択部を更に備える、請求項1に記載の移動体。
  8. 自己位置推定のためのパラメータに基づいて自己位置を推定することと、
    走行中の走行環境に応じて前記パラメータを動的に切り換えることと、
    を備える、移動体の制御方法。
  9. 自己位置推定のためのパラメータに基づいて自己位置を推定する手段、
    走行中の走行環境に応じて前記パラメータを動的に切り換える手段、
    としてコンピュータを機能させるためのプログラム。
JP2018231033A 2018-12-10 2018-12-10 移動体、移動体の制御方法及びプログラム Active JP7275553B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018231033A JP7275553B2 (ja) 2018-12-10 2018-12-10 移動体、移動体の制御方法及びプログラム
US17/299,366 US20220019224A1 (en) 2018-12-10 2019-12-03 Mobile body, method of controlling mobile body, and program
PCT/JP2019/047290 WO2020121900A1 (en) 2018-12-10 2019-12-03 Mobile body controller, mobile body and method of controlling mobile body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018231033A JP7275553B2 (ja) 2018-12-10 2018-12-10 移動体、移動体の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020095339A true JP2020095339A (ja) 2020-06-18
JP7275553B2 JP7275553B2 (ja) 2023-05-18

Family

ID=68965963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018231033A Active JP7275553B2 (ja) 2018-12-10 2018-12-10 移動体、移動体の制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20220019224A1 (ja)
JP (1) JP7275553B2 (ja)
WO (1) WO2020121900A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137792A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11853079B2 (en) 2020-11-05 2023-12-26 Panasonic Holdings Corporation Self-position estimation apparatus and mobile object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230333560A1 (en) * 2020-09-01 2023-10-19 Ceva Technologies, Inc. Planar robots dead-reckoning with optical flow, wheel encoder and inertial measurement unit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170127A (ja) * 2014-03-06 2015-09-28 トヨタ自動車株式会社 自律移動ロボット、及びその制御方法
WO2016059930A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
JP2018206004A (ja) * 2017-06-02 2018-12-27 村田機械株式会社 自律走行台車の走行制御装置、自律走行台車

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55116830A (en) 1979-02-28 1980-09-08 Toray Industries Raw yarn for hard twisting
US10712160B2 (en) * 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9952056B2 (en) * 2016-03-11 2018-04-24 Route4Me, Inc. Methods and systems for detecting and verifying route deviations
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
WO2019019136A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170127A (ja) * 2014-03-06 2015-09-28 トヨタ自動車株式会社 自律移動ロボット、及びその制御方法
WO2016059930A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
JP2018206004A (ja) * 2017-06-02 2018-12-27 村田機械株式会社 自律走行台車の走行制御装置、自律走行台車

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853079B2 (en) 2020-11-05 2023-12-26 Panasonic Holdings Corporation Self-position estimation apparatus and mobile object
WO2022137792A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP7275553B2 (ja) 2023-05-18
US20220019224A1 (en) 2022-01-20
WO2020121900A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US10365657B2 (en) Autonomous moving object
CA2983540C (en) Systems and methods for determining indoor location and floor of a mobile device
KR20170088228A (ko) 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
US11321572B2 (en) Self-position estimation method and self-position estimation device
CN108020229B (zh) 用于定位车辆的方法
JP7275553B2 (ja) 移動体、移動体の制御方法及びプログラム
US11079492B1 (en) Condition dependent parameters for large-scale localization and/or mapping
CN113330279A (zh) 用于确定车辆的位置的方法和系统
US11555705B2 (en) Localization using dynamic landmarks
KR20140003987A (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 slam 시스템
KR102561263B1 (ko) 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
KR101803195B1 (ko) 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
JP2020042007A (ja) 地図上のランドマークを使用して車両の長手方向位置を補正するためのシステム及び方法
KR102134841B1 (ko) 자율주행차의 위치추정시스템 및 그의 위치추정방법
KR20200133184A (ko) 무인 운전차의 내비게이션 설비
KR101907268B1 (ko) 경로 선택에 기반한 자율 주행 방법 및 장치
CN111089595B (zh) 一种机器人的检测数据融合方法和主控芯片及机器人
Lee et al. Curb feature based localization of a mobile robot in urban road environments
US20210018926A1 (en) Navigation Method and System
US20140100776A1 (en) Method for determining the position of moving objects
Lagmay et al. Automated indoor drone flight with collision prevention
WO2019138640A1 (ja) 情報処理装置、情報処理方法、および、プログラム
CN114740869A (zh) 多传感器融合估计与迭代预搜索的机器人避障方法及系统
Song et al. Real-time localization measure and perception detection using multi-sensor fusion for Automated Guided Vehicles
Chiang et al. Multisensor-based outdoor tour guide robot NTU-I

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7275553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151