JP2019537077A - 指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム - Google Patents

指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム Download PDF

Info

Publication number
JP2019537077A
JP2019537077A JP2018558212A JP2018558212A JP2019537077A JP 2019537077 A JP2019537077 A JP 2019537077A JP 2018558212 A JP2018558212 A JP 2018558212A JP 2018558212 A JP2018558212 A JP 2018558212A JP 2019537077 A JP2019537077 A JP 2019537077A
Authority
JP
Japan
Prior art keywords
index
positioning target
positioning
posture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018558212A
Other languages
English (en)
Other versions
JP6781771B2 (ja
Inventor
▲ユイ▼毓鋒
李洪波
劉凱
王政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geekplus Technology Co Ltd
Original Assignee
Beijing Geekplus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geekplus Technology Co Ltd filed Critical Beijing Geekplus Technology Co Ltd
Publication of JP2019537077A publication Critical patent/JP2019537077A/ja
Application granted granted Critical
Publication of JP6781771B2 publication Critical patent/JP6781771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3859Differential updating map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)

Abstract

【課題】新型で改良された指標を使用した同時位置決め地図作成ナビゲーション方法を提供する。【解決手段】本出願は、指標を使用した同時位置決め地図作成ナビゲーション方法を提供する。当該方法は、位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路、前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて位置・姿勢情報、指標情報、及び非指標類図形情報のうちの少なくとも1種を含む指標が設置されていることと、前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御することと、進行経路において前記指標を通過した場合、前記指標に基づいて前記位置決め対象の現在位置・姿勢を更新することと、ドッキング装置とドッキングする時に、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整することとを含む。【選択図】図1

Description

本出願は、2017年08月16日に中国知的財産権局に提出した、出願番号201710703818.3の中国専利出願に基づいて優先権を主張し、そのすべての内容を本出願に援用する。
本出願は自動ナビゲーション分野に関し、例えば、指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステムに関する。
レーザレーダと視覚に基づく同時位置決め地図作成(Simultaneous localization and mapping、SLAM)ナビゲーション方案は、完全に未知なシーンでリアルタイム位置決めを行い、シーンの二次元・三次元の地図を生成することができる。
例えば、完全に未知な環境に対して、SLAMシステムは、初期化の位置・姿勢を基に、位置決め対象の進行過程において位置決めし地図を更新し続け、初期化位置・姿勢を基準とする地図を生成する。また、地図を確立した環境に対して、SLAMシステムは初期化位置・姿勢領域で捜索し地図をマッチングし、初期位置・姿勢情報を取得し、位置決め対象の進行過程において位置決めし地図を更新し続ける。
SLAMナビゲーションは、シーンで標識物を配置する必要がなく、その利便性から室内ナビゲーション方案における重要な分岐点となっている。SLAMナビゲーションの精度は主に閉鎖精度によって決められ、シーンが大きくなる場合、地図の閉鎖を効果的に行うことができず、位置決めと地図の効果に極めて大きく影響することになる。また、SLAMシステムの精度はセンサーの精度に影響されるため、低コストのSLAMシステムは、コンベヤーのドッキング、アーム操作などに必要となる精確な位置決めを満たすことができない。
そのため、上記課題に基づき、改良した同時位置決め地図作成ナビゲーション方法、装置及びシステムが必要とされる。
本出願は、新型で改良された指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステムを提供する。
本出願は、位置決め対象の初期化領域を設置することと、前記位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加することと、位置決め対象が前記位置決め対象の初期化領域からスタートし、前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することと、位置決め対象の進行経路において第2の指標を添加することと、位置決め対象が第2の指標を通過した場合、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することとを含む、指標を使用した同時位置決め地図作成ナビゲーション方法を提供する。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボット、及び携帯コンベヤー、ラック、ケージトロリー(Cage Trolley)及びアームなどの移動装置のうちの1つを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第1の指標は位置・姿勢情報を含み、且つ前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出することを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第1の指標は指標情報を含み、且つ前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、前記第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第1の指標の複数の位置・姿勢情報と誤差共分散行列に変換することと、ガウスモデルにより前記複数の第1の指標の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差共分散行列を推定することと、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出することとを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第2の指標は位置・姿勢情報を含み、或いは指標情報を含み、或いは非指標類図形情報を含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第2の指標は位置・姿勢情報を含み、且つ前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出することを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第2の指標は指標情報を含み、且つ前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、前記第2の指標の指標情報を用いてマッチング行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換することと、ガウスモデルにより前記複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定することと、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出することとを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第2の指標は非指標類図形情報を含み、且つ前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定することと、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換することと、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定することと、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出することとを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記第2の指標が複数の第2の指標を含む場合、前記位置決め対象の進行経路において第2の指標を添加することは、位置決め対象の進行経路において複数の第2の指標を添加することと、前記位置決め対象が前記第2の指標を通過した場合、前記第2の指標に基づいて前記位置決め対象の現在位置・姿勢を更新することとを含み、位置決め対象が前記複数の第2の指標を通過した場合、前記複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することを更に含む。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、複数の第2の指標における2つの隣り合う第2の指標同士に前記第2の指標を連結する補助位置決めストライブを含み、前記位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させ、前記位置決め対象が第2の指標を通過し識別することを確保する。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加することと、前記位置決め対象が前記第3の指標を通過した場合、前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了することとを更に含む。
本出願は、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段と、前記位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加するように設置される第1の指標添加手段と、位置決め対象が前記位置決め対象の初期化領域からスタートし、前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定するように設置される位置決め対象スタート手段と、位置決め対象の進行経路において第2の指標を添加するように設置される第2の指標添加手段と、位置決め対象が第2の指標を通過した場合、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段とを含む、指標を使用した同時位置決め地図作成ナビゲーション装置を提供する。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボット、及び携帯コンベヤー又はアームなどの移動装置のうちの1つを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第1の指標は位置・姿勢情報を含み、且つ前記位置決め対象スタート手段は、更に、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第1の指標は指標情報を含み、且つ前記位置決め対象スタート手段は、更に、利用前記第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第1の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標は位置・姿勢情報、指標情報、又は非指標類図形情報を含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標は位置・姿勢情報を含み、且つ前記位置・姿勢更新手段は、更に、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標は指標情報を含み、且つ前記位置・姿勢更新手段は、更に、前記第2の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより前記複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標は非指標類図形情報を含み、且つ前記位置・姿勢更新手段は、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定し、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標が複数の第2の指標を含む場合、前記第1の指標添加手段は、更に、位置決め対象の進行経路において複数の第2の指標を添加するように設置され、且つ、前記位置・姿勢更新手段は、位置決め対象が前記複数の第2の指標を通過した場合、前記複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを添加し、前記位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加するように設置される第3の指標添加手段と、前記位置決め対象が前記第3の指標を通過した場合、前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了するように設置されるドッキング手段とを更に含む。
本出願は、シーンでリアルタイム位置決めし地図を生成するための位置決め対象と、位置・姿勢情報又は指標情報を含む第1の指標と、第2の指標と、同時位置決め地図作成装置であって、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段、前記第1の指標を前記位置決め対象の初期化領域に添加するように設置される第1の指標添加手段、位置決め対象が前記位置決め対象の初期化領域からスタートし、前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定するように設置される位置決め対象スタート手段、第2の指標を前記位置決め対象の進行経路に添加するように設置される第2の指標添加手段、位置決め対象が第2の指標を通過した場合、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段を含む同時位置決め地図作成装置とを含む、指標を使用した同時位置決め地図作成ナビゲーションシステムを提供する。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボット、及び携帯コンベヤー又はアームなどの移動装置のうちの1つである。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第1の指標は位置・姿勢情報を含み、且つ前記位置決め対象スタート手段は、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第1の指標は指標情報を含み、且つ前記位置決め対象スタート手段は、前記第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第1の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第2の指標は位置・姿勢情報、指標情報、又は非指標類図形情報を含む。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第2の指標は位置・姿勢情報を含み、且つ前記位置・姿勢更新手段は、更に、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第2の指標は指標情報を含み、且つ前記位置・姿勢更新手段は、更に、前記第2の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより前記複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第2の指標は非指標類図形情報を含み、且つ前記位置・姿勢更新手段は、更に、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定し、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差共分散行列を記録し、第2の指標の複数の位置・姿勢情報と誤差共分散行列に変換し、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差共分散行列を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当前記第2の指標が複数の第2の指標を含む場合、前記第1の指標添加手段は、更に、位置決め対象の進行経路において複数の第2の指標を添加するように設置され、且つ、前記位置・姿勢更新手段は、位置決め対象が前記複数の第2の指標を通過した場合、前記複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、複数の第2の指標における2つの隣り合う第2の指標同士に補助位置決めストライブを含み、前記同時位置決め地図作成装置は、前記位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加するように設置される第3の指標添加手段と、前記位置決め対象が前記第3の指標を通過した場合、前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了するように設置されるドッキング手段とを更に含む。
本出願の実施例において、位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路、前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて、位置・姿勢情報、指標情報、及び非指標類図形情報のうちの少なくとも1種を含む指標が設置されていることと、前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御することと、進行経路において前記指標を通過した場合、前記指標に基づいて前記位置決め対象の現在位置・姿勢を更新することと、ドッキング装置とドッキングする時に、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整することとを含む、指標を使用した同時位置決め地図作成ナビゲーション方法を提供する。
一実施例において、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む。
一実施例において、前記ドッキング装置は、コンベヤー又はアームを含む。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出することを含む。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成することと、前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換することと、ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定することと、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定することとを含む。
一実施例において、前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出することを含む。
一実施例において、前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換することと、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定することと、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定することとを含む。
一実施例において、前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定することと、前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換することと、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定することと、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定することとを含む。
一実施例において、前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている。
一実施例において、前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを含み、前記位置決め対象が前記補助位置決めストライブを通過した時に、前記位置決め対象の前記補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させる。
本出願の実施例は、初期化領域設置手段と、位置決め対象スタート手段と、位置・姿勢更新手段と、ドッキング手段とを含む指標を使用した同時位置決め地図作成ナビゲーション装置を提供する。初期化領域設置手段は、位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路、及び前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて、位置・姿勢情報、指標情報、非指標類図形情報のうちの少なくとも1種を含む指標が設置されているように設置され、位置決め対象スタート手段は、前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御するように設置され、位置・姿勢更新手段は、進行経路において指標を通過した場合、前記指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置され、ドッキング手段は、ドッキング装置とドッキングする場合、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整するように設置される。
一実施例において、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む。
一実施例において、前記ドッキング装置は、携帯コンベヤー又はアームを含む。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、前記位置決め対象スタート手段は、更に、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、前記位置決め対象スタート手段は、更に、前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成し、前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングして前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定し、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、前記位置・姿勢更新手段は、更に、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、前記位置・姿勢更新手段は、更に、前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングし前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、前記位置・姿勢更新手段は、前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定し、前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている。
一実施例において、前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを添加し、前記位置決め対象が前記補助位置決めストライブを通過した時に、前記位置決め対象の前記補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む。
本出願の実施例において、シーンでリアルタイム位置決めし地図を生成するように設置される位置決め対象と、位置・姿勢情報、指標情報、及び非指標類図形情報のうちの少なくとも1種を含む指標と、同時位置決め地図作成装置であって、位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路及び前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて指標が設置されているように設置される初期化領域設置手段、前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御するように設置される位置決め対象スタート手段、進行経路において指標を通過した場合、前記指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段、ドッキング装置とドッキングする場合、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整するように設置されるドッキング手段を含む同時位置決め地図作成装置とを含む、指標を使用した同時位置決め地図作成ナビゲーションシステムを提供する。
一実施例において、前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む。
一実施例において、前記ドッキング装置は、携帯コンベヤー又はアームを含む。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、前記位置決め対象スタート手段は、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
一実施例において、前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、前記位置決め対象スタート手段は、前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成し、前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定し、前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、前記位置・姿勢更新手段は、更に、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、前期位置・姿勢更新手段は、更に、前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置決め情報と誤差に変換し、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、前記位置・姿勢更新手段は、更に、前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定し、前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定するように設置される。
一実施例において、前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている。
一実施例において、前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う前記第2の指標を連結する補助位置決めストライブを含み、前記同時位置決め地図作成装置は、前記位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む。
図1は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法の模式的なフローチャートである。 図2は、本出願の実施例に係る指標の一例を示す模式図である。 図3は、本出願の実施例に係る指標の射影変換を示す模式図である。 図4は、本出願の実施例に係る指標画像の座標変換模式図である。 図5は、本出願の実施例に係る位置・姿勢情報を結合した模式図である。 図6Aは、本出願の実施例に係る視覚的指標とレーザ指標の模式図である。 図6Bは、本出願の実施例に係る視覚的指標とレーザ指標の模式図である。 図7Aは、本出願の実施例に係る視覚的指標とレーザ指標に対して定義した座標系の模式図である。 図7Bは、本出願の実施例に係る視覚的指標とレーザ指標に対して定義した座標系の模式図である。 図8は、本出願の実施例に係る類似する指標位置・姿勢に対して結合する模式図である。 図9Aは、本出願の実施例に係る指標とカラーストライブとの連結形態の模式図である。 図9Bは、本出願の実施例に係る指標とカラーストライブとの連結形態の模式図である。 図10は、本出願の実施例に係るロボットとカラーストライブとのずれを計算することを示す模式図である。 図11は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置の模式的なブロック図である。 図12は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーションシステムの模式的なブロック図である。
以下の説明は、当業者が本発明を実現することができるように本発明を開示するために用いられる。以下の説明における好ましい実施例は例示的なものに過ぎず、当業者にとって、他の自明な変形を想到することができる。以下の説明において定義される本発明の基本原理は、他の実施形態、変形形態、改良形態、等価形態及び本発明の構想と範囲から逸脱しない他の技術案に適用することができる。
以下、明細書と請求の範囲に用いられる用語と語彙は、書面の意味に限らず、発明者が本発明を明瞭に共通して理解できるよう用いたものに過ぎない。したがって、以下の本発明の種々の実施例に対する説明の提供は、請求の範囲とそれらの等価物により定義されるように本発明を限定する目的ではなく、説明する目的だけであることは、当業者にとって自明である。
「一」という用語は、「少なくとも1つ」又は「1つ又は複数」と理解されるべきであることを理解されたい。即ち、1つの実施例において、1つの素子の数は、1つであってもよいが、他の実施例において、当該素子の数は、複数であってもよい。「一」という用語は、数を限定するものであると理解されてはいけない。
「第1の」、「第2の」などの序数は、種々のモジュールを説明するために用いられるが、ここでは、それらのモジュールを制限するものではない。当該用語は、1つのモジュールと他のモジュールを区別するために用いられるものに過ぎない。例えば、発明構想の教示から逸脱しない限り、第1のモジュールは、第2のモジュールと呼ばれてもよく、且つ同様に、第2のモジュールは、第1のモジュールと呼ばれてもよい。ここで用いられる「及び/又は」という用語は、1つ又は複数の関連する、挙げられた項目のいずれかとすべての組合せを含む。
ここで用いられる用語は、種々の実施例を説明するためのものに過ぎず、制限するものではない。文脈で明瞭に指示される以外、ここで用いられる単数形は、複数形を含んでもよい。また、「含む」及び/又は「有する」という用語は、本明細書に用いられる場合、記載する特徴、数、ステップ、操作、モジュール、素子やこれらの組合せの存在を指定するが、1つ又は複数の他の特徴、数、ステップ、操作、モジュール、素子やそれらの組合せの存在又は付加を排除しないことを理解すべきである。
技術と科学用語を含む、ここで用いられる用語は、当該用語を異なって限定しない限り、当業者にとって通常理解する用語と同様な意味を有している。通常使用する辞書において限定する用語は、関連技術における用語と一致する意味を有していると理解すべきである。
以下、図面と実施形態を結び付けて本出願について詳しく説明する。
本出願の実施例は、位置決め対象の初期化領域を設置することと、当該位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加することと、位置決め対象が当該位置決め対象の初期化領域からスタートし、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することと、位置決め対象の進行経路に第2の指標を添加することと、位置決め対象が第2の指標を通過した場合、当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することとを含む、指標を使用した同時位置決め地図作成ナビゲーション方法を提供する。
図1は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法の模式的なフローチャートである。図1に示すように、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法は、ステップS1〜ステップS5を含む。
ステップS1において、位置決め対象の初期化領域を設置する。
ステップS2において、当該位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加する。
ステップS3において、位置決め対象が当該位置決め対象の初期化領域からスタートし、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定する。
ステップS4において、位置決め対象の進行経路において第2の指標を添加する。
ステップS5において、位置決め対象が第2の指標を通過した場合、当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新する。
そのため、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法は、関連技術における位置決め対象の初期化位置・姿勢が不明確であるという問題、及び進行過程における位置・姿勢がオフセットするという問題を同時に解決することで、SLAMナビゲーション方法の高精度と高ロバスト性を実現し、正確な位置決めを必要とする産業環境に適応することができる。
一実施例において、位置決め対象の初期化領域を設置し第1の指標を添加し、位置決め対象が当該位置決め対象の初期化領域からスタートし、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することにより、位置決め対象の初期化位置・姿勢が不明確であるという問題を解決することができる。このように、明確な初期化位置・姿勢情報に基づいて同時位置決め地図作成を行うことにより、SLAMナビゲーションシステムのナビゲーション結果と実際環境とのマッチングを実現することができるので、当該ナビゲーションシステムと実際適用との結合に寄与する。また、既知の地図で再度位置決めすれば、位置決め対象の初期位置・姿勢を制限することができるので、地図とのマッチングをうまく実現できる。
また、位置決め対象の進行経路に指標を添加することにより、位置決め対象の進行過程においてSLAMナビゲーションシステムによる位置決めのずれを補正することができるので、地図の閉鎖を実現し、地図作成と位置決め効果の改良に寄与する。
上記指標を使用した同時位置決め地図作成ナビゲーション方法において、位置決め対象の進行経路に複数の第2の指標を添加することと、位置決め対象が当該複数の第2の指標を通過した場合、当該複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することとを更に含む。
つまり、本出願の実施例に係る指標を使用したSLAMナビゲーション方法において、位置決め対象の進行過程においてSLAMナビゲーションシステムの位置決めによるオフセットを補正するために、大きなシーンでは、位置決め対象の進行経路に複数の指標を添加することで、位置決め対象が各指標を通過した時に、指標に基づいて位置決め対象が当該指標を通過した時の現在位置・姿勢に対してリアルタイム更新を行うので、位置決め対象が大きなシーンで移動する時の累積オフセットを低減させ、SLAMナビゲーションシステムが閉鎖検出を行うことができないことを回避する。
ここで、当業者であれば、本出願の実施例に係る指標を使用したSLAMナビゲーション方法において、位置決め対象は適用シーンに基づいて複数種の対象であってもよいことを理解するべきである。例えば、一般的なSLAMナビゲーション方法とナビゲーションシステムにおいて、リアルタイム位置決め地図作成を実現するためのロボットであるが、コンベヤーのドッキング、アーム操作などの正確な位置決めに用いられる場合、正確な位置決めを行う必要があるコンベヤー、アームなどである。
よって、上記指標を使用したSLAMナビゲーション方法において、当該位置決め対象はSLAMナビゲーションにおいて進行しているロボット、或いはコンベヤーのドッキング又はアーム操作などのシーンに適用される装置又は機器であってもよい。
本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法は、指標に基づいて位置決め対象の位置・姿勢を確定する方法であり、当該指標は、複数種の形態を有してもよい。
図2は、本出願の実施例に係る指標の一例を示す模式図である。例えば、図2に示すように、当該指標はQRコード(登録商標)(QRCode、DataMatrixなどの符号化形態)、バーコード及び他の視覚的指標などの人工指標物であってもよい。
また、記憶情報によれば、指標は、複数のタイプに分けられてもよい。例えば、1種の指標は位置・姿勢情報(x、y、θ)を含み、他の1種の指標は位置・姿勢情報を含まず、指標(Identification、ID)情報のみを含み、別の1種の指標は非指標類図形情報を含んでもよい。
指標のタイプにより、相応する指標に基づく位置決め対象の位置・姿勢を確定する適用形態も異なり、以下、詳しく説明する。
まず、位置・姿勢情報を含む指標に対して、指標のコードワードに記憶した情報は、少なくとも当該指標のシーンにおける実際位置(x、y)を含む。指標に角度ずれがある場合、コードワードにおいて角度θの情報を更に提供する必要がある。
以下は、位置決め対象がSLAMナビゲーションシステムにおけるロボットであることを例として、指標に基づいて位置決め対象の位置を確定する具体的な形態について説明する。もちろん、当業者であれば、位置決め対象は、ロボットに限らず、上述したコンベヤーのドッキング又はアーム操作などのシーンに適用される移動装置であってもよいことを理解するべきである。
QRcode(QRコード)を例として、ロボットがスタートする前に、ロボットをQRコードの上方まで移動させる。ロボットのスタート過程において、カメラ画像を撮像する。カメラのロボットにおける位置が一定であり、且つ地面が平らであるため、画像座標系は射影変換によって平面座標系に変換される。即ち、下記式(1)を満たす。
Figure 2019537077
式中において、Hは3×3行列であり、カメラから実際座標までの射影変換を説明する。uとνは、変換後の画素であり、u’とν’は、変換前の画素であり、ここで、3×3行列Hによって座標変換を行う。図3は、本出願の実施例に係る指標の射影変換を示す模式図である。そのため、図3に示すように、当該射影変換により、元画像を平面図に変換することができる。
新たな図形において、画像は、QRコードに正対し、且つ画像における画素のそれぞれ対応する実際地面距離は既知であり、画像における画素点(u、ν)は、唯一のロボット座標系の下座標(x、y)に対応し、対応形態は、下記式(2)で示される。
Figure 2019537077
式中において、fは、焦点距離であって、1つの画素に対応する実際距離である。uとνとは、カメラの焦点距離中心の画像における横座標と縦座標を指し、カメラにおけるパラメータの一部である。
上記式(2)は、行列の形態で下記式(3)に記載されてもよい。
Figure 2019537077
式中において、Hは、画像座標系からロボット座標系までの変換行列である。
図4は、本出願の実施例に係る指標画像の座標変換模式図である。図4に示すように、(u、ν)は、ロボット座標系原点の画像における座標である。画像座標は、右がuで、下がνであり、ロボット座標系は、右がxで、下がyである。
続いて、画像においてQRコードが存在するか否かを検出する。下向きのカメラによってQRコードを走査してQRコードのカメラ座標系における座標(u、ν、θ)を取得する。変換行列Hに基づき、QRコードのロボット座標系における位置を取得することができる。逆方向の変換により、ロボットのQRコードにおける座標を取得することができる。下記式(4)で示される。
Figure 2019537077
式中において、ロボットのQRコード座標系における実際角度は−θである。
用いられたQRコードを初期化し、コードワードにおいてQRコードのシーンにおける実際座標情報(x、y、θ)が記憶されており、QRコードにおけるコードワードを復号することにより、QRコードのシーンにおける実際位置・姿勢を取得する。そのため、ロボットのシーンにおける座標は、下記式(5)で示される。
Figure 2019537077
ロボットのシーンにおける針路角、ロボットのQRコードにおける針路角「−θ」、及びQRコード自体の針路角θは、下記式(6)で示される。
Figure 2019537077
ここまでは、ロボットがQRコードの可視位置においてスタートする場合、QRコードのカメラにおける位置とQRコードのコードワードによってロボットの初期位置・姿勢(x、y、θ)を確定することができる。当該初期位置・姿勢でロボットをスタートさせることにより、システム座標系全体の一致性を保証することができる。
つまり、指標が位置・姿勢情報を含む場合、位置決め対象は、配置された画像形成機器、例えばカメラで指標を撮像し指標の位置・姿勢情報を取得するため、位置決め対象の位置・姿勢情報と指標の位置・姿勢情報との間に確定した空間関係が存在する。そのため、指標に含まれる位置・姿勢情報を用いて指標に基づいて位置決め対象の画像形成機器に画像形成した位置・姿勢に対して座標変換を行うことにより、指標の位置・姿勢情報から位置決め対象の初期位置・姿勢情を直接抽出することができる。
ここで、当業者であれば、指標の位置決め対象の画像形成機器における画像形成によって指標と位置決め対象、例えば上記ロボット的相対位置・姿勢を確定してもよく、他の形態でロボットと指標との相対位置・姿勢を確定してもよいため、座標変換を介して指標の位置・姿勢情報から位置決め対象の位置・姿勢情報を抽出する。且つ、相対的に、他の形態でロボットと指標との相対位置・姿勢を確定する場合、他の形態の座標で変換して指標の位置・姿勢情報から位置決め対象の位置・姿勢情報を直接抽出する方法を用いてもよいことを理解するべきである。
そのため、上記指標を使用したSLAMナビゲーション方法において、当該第1の指標は位置・姿勢情報を含み、且つ当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出することであってもよい。
更に、上記指標を使用したSLAMナビゲーション方法において、当該第1の指標の位置決め対象に対する位置・姿勢は、当該第1の指標に基づいて当該位置決め対象のために用意する画像形成機器において形成した画像の位置・姿勢により確定される。
また、本出願の実施例に係る指標を使用したSLAMナビゲーション方法において、指標はIDを含んでもよいが、位置・姿勢情報は含まない。この情況に対して、ロボットが当該指標においてスタートする時に指標に含まれるIDを記録し、SLAM過程において当該IDを座標原点として位置決めし地図を作成する。ロボットが当該指標を繰り返し通過した時に、当該指標に含まれるIDを用いてマッチングを行い、毎回のロボットの位置・姿勢を取得し、毎回のロボットの位置・姿勢の平均値μと共分散行列Σを記録し、上述した通りに逆方向の座標変換過程によって相応する指標の位置・姿勢平均値と共分散行列に変換する。その後、ガウスモデルにより、複数回得た指標の位置・姿勢情報を結合して、当該指標の最適位置・姿勢推定と共分散行列を推定し、上述した通りに逆方向の座標変換過程によって相応するロボット位置・姿勢をロボットの初期位置・姿勢に変換する。
図5は、本出願の実施例に係る位置・姿勢情報を結合した模式図である。図5に示すように、ロボットが当該指標を5回通過した場合、SLAMナビゲーション位置決めによって5つの異なる位置・姿勢と誤差(例えば、共分散行列)を取得する。位置・姿勢の結合により、右図における最適化後の位置・姿勢と誤差(即ち、最適位置・姿勢推定と誤差)を指標の実際位置・姿勢と誤差として取得した。ロボットが当該指標において再度スタートする場合、当該指標の最適位置・姿勢推定を指標の初期化位置・姿勢情報として用い、ロボットと当該指標との相対位置・姿勢に基づいてロボットの初期位置・姿勢と誤差を計算する。
一実施例において、ロボットが当該指標をN回通過し或いは観察したと仮定する場合、k回目の当該指標を通過し或いは観察した位置・姿勢が二次元のガウス分布を満たすように定義される。即ち、以下の通りである。
Figure 2019537077
式中において、p(p)は、k回目の位置・姿勢確率分布であり、μは位置・姿勢平均値であり、Σは共分散行列である。当該指標を複数回通過し或いは観察した場合、当該指標の最適推定は、以下の通りである。
Figure 2019537077
毎回観察する時にいずれも単独分布であると仮定する場合、最適推定は、複数のガウス分布の乗積に変換されてもよい。即ち、以下の通りである。
Figure 2019537077
ここで、ロボットと指標との相対位置・姿勢に基づいて指標に含まれる位置・姿勢情報からロボットの初期位置・姿勢情報を直接確定する方法について、上記の通りに説明したため、贅言するまでもない。
そのため、上記指標を使用した同時位置決め地図作成ナビゲーション方法において、当該第1の指標は指標情報を含み、且つ当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、当該第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を記録して、第1の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該第1の指標の複数の位置・姿勢情報を結合して当該第1の指標の最適位置・姿勢情報と誤差を推定し、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の最適位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出することであってもよい。
このように、第1の指標が位置・姿勢情報又は指標情報を含む場合、位置決め対象が当該位置決め対象の初期化領域においてスタートする場合、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することができるので、位置決め対象の初期化位置・姿勢が不明確であるという問題を解決する。
上述したように、位置決め対象の進行過程における位置決めのずれを解決するために、位置決め対象の進行経路に1つ又は複数の指標を添加して位置決めのずれを補正する。更に、位置決め対象の初期化において、指標は位置・姿勢情報又は指標情報を含む必要があることに対して、位置決め対象の進行経路に添加した指標は非指標類図形情報を含んでもよい。
つまり、上記指標を使用したSLAMナビゲーション方法において、当該第2の指標は位置・姿勢情報を含み、或いは指標情報を含み、或いは非指標類図形情報を含んでもよい。
更に、上記指標を使用したSLAMナビゲーション方法において、当該第3の指標は位置・姿勢情報を含み、或いは指標情報を含み、或いは非指標類図形情報を含んでもよい。
位置・姿勢情報を含む第2の指標に対して、位置決め対象が当該第2の指標を通過した場合、上述した方法により、第2の指標の位置・姿勢情報からコードワード情報を抽出し、第2の指標の位置決め対象に対する位置・姿勢に基づき、位置決め対象の位置・姿勢情報を得て位置決め結果を直接修正することができる。
指標情報を含む第2の指標に対して、位置決め対象が当該第2の指標を毎回通過した場合、位置決め対象の推定位置・姿勢と誤差(例えば、共分散行列)を記録し、第2の指標の位置・姿勢と誤差(例えば、共分散行列)に変換する。複数回の結合によって位置・姿勢情報(x、y、θ)を含む第2の指標を得ることができる。その後、得た位置・姿勢情報と誤差(例えば、共分散行列)によって位置決め対象の現在位置・姿勢を直接更新することができる。以上、当該方法についてはすでに説明したため、贅言はしない。
つまり、上記指標を使用したSLAMナビゲーション方法において、当該第2の指標は、位置・姿勢情報を含み、且つ当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接確定することであってもよい。
或いは、上記指標を使用したSLAMナビゲーション方法において、当該第2の指標は指標情報を含み、且つ当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、当該第2の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を取得・記録し、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接確定することであってもよい。
また、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法において、第2の指標は、非指標類図形情報を含む指標であってもよい。非指標類図形情報は何らかの意味がある情報を含まなくてもよい。例えば、非指標類図形情報指標は、規則的な図形類指標であってもよく、位置決め対象の初期化領域において複数の上述した規則的な図形類指標を添加することができる。また、例えば、第2の指標は視覚的指標(規則的な図形)或いはレーザ指標(規則的なブロック)であってもよい。図6A、図6Bは、本出願の実施例に係る視覚的指標とレーザ指標の模式図である。図6Aに示すように、視覚的指標は、検出可能で向きがある図形であり、且つ図6Bに示すように、レーザ指標は規則的なブロックである。
指標の検出において、図6Aに示す視覚的指標に対して、三角形と矩形とが交差した3つの点(p、p、p)を検出し、この3つの点を基礎として、図7Aに示す座標系を定義する。座標原点Oは、下記式(10)で示される。
Figure 2019537077
式中において、x軸の向きは、p−pであり、y軸の向きはp−Oである。最後に、当該指標のロボット座標系における座標を確定した。
レーザ指標に対して、図7Bに示す座標系を定義する。それと同時に、指標ブロックを複数のレーザ点として離散し、ロボットのレーザレーダにより類似するパターンを監視した場合、ポイントクラウドマッチングの方案を用いて当該指標のレーザレーダ座標系における座標を検出した後、標定パラメータを用いて当該指標のロボット座標系における座標を求める。図7A、図7Bは、本出願の実施例に係る視覚的指標とレーザ指標に対して定義した座標系の模式図である。
ロボットが同一の指標を複数回通過し或いは観察した場合、ロボットが当該指標を複数回通過し或いは観察した位置・姿勢を用いて指標位置・姿勢の最適化を行うことができる。IDを含む指標と異なる点について、IDを含まない指標は、マッチングを行う時に対応した具体的なIDがなく、位置・姿勢情報を用いて対応する必要がある。図8に示すように、ロボットが複数回通過し或いは観察した指標と指標との間に一定の位置間隔が存在し、ロボットが当該指標を検出した場合、ロボットの位置・姿勢を取得し、ロボットの位置・姿勢を記録する。同一の指標に対して、記録した複数のロボットの位置・姿勢が類似する。類似する位置・姿勢情報を結合して当該指標の最適位置決め推定を求めることができる。ロボットが当該指標を再度検出した時に、記録した指標におけるロボットから最も近い指標をマッチングし、距離が一定の閾値より小さい場合、当該指標の位置・姿勢情報を用いてロボットの位置・姿勢情報を最適化し、そうでない場合、1つの新たな指標を作成する。ここで、図8は、本出願の実施例に係る類似する指標位置・姿勢を結合した模式図である。
つまり、指標自体が非指標類図形情報を含む場合、ロボットの当該指標を通過した時の位置・姿勢の類似性によって同一の指標であるか否かを確定する。或いは、ロボットの指標を通過した時の類似する位置・姿勢を指標の相応するIDとすることができる。その後の過程は、実質上、上述した指標がID情報を含む場合と同様である。一実施例において、同一の指標であると確定した後、ロボットが当該指標を毎回通過した時の類似する位置・姿勢を得た後、指標の位置・姿勢を結合して異なる指標の最適位置決め推定を求めることができる。そのため、指標がいずれの情報も含まない場合、実質上、ロボットが指標を通過した時の位置・姿勢の類似性によって指標に対してIDを付与し、且つその後の過程は、以上で説明した、指標が指標情報を含む場合と同様である。
そのため、上記指標を使用したSLAMナビゲーション方法において、当該第2の指標は非指標類図形情報を含み、且つ当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定し、第2の指標であると、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差を記録して、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出することであってもよい。
更に、本出願の実施例に係る同時位置決め地図作成ナビゲーション方法において、位置決め対象の進行経路において複数の指標が設置された場合、各指標に対して上記形態に応じて位置決め対象の当該指標を通過した時の位置・姿勢を更新することで、累積オフセットを低減させ、SLAMシステムの閉鎖検出を実現することができる。
また、一実施例において、本出願の実施例に係る方法は、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加することと、前記位置決め対象が前記第3の指標を通過した場合、位置決め対象が前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了することとを更に含む。例えば、位置決め対象が物品を携帯して搬送すると、位置決め対象が第3の指標を通過した場合、第3の指標に基づいて位置決め対象とドッキング装置との相対位置・姿勢を調整して正確なドッキング目的を達成することができる。
本出願の実施例に係るSLAMナビゲーション方法において、コンベヤー又はアームなどの正確なドッキングに対する高精度の位置決めニーズを解決するために、ドッキング領域において1つ又は複数の指標を添加して位置決め対象の正確な位置決めを行う。具体的な実現形態は、以上のロボットに対する説明と同様であり、冗長を回避するためにこれ以上贅言はしない。
また、位置決め対象、例えばロボットが位置決めのずれが大きすぎて、進行する時に指標を正確に通過できないという問題を解決するために、指標同士にカラーストライブを添加することができる。このように、ロボットがカラーストライブを通過した場合、ロボットのカラーストライブに対する角度ずれを補正し、ロボットをカラーストライブに沿って進行させるので、ロボットが指標に直面した時に正確な位置決めを行うことを促進する。
一実施例において、前記第2の指標が複数の第2の指標を含む場合、前記位置決め対象の進行経路に第2の指標を添加することは、位置決め対象の進行経路に複数の第2の指標を添加することと、前記位置決め対象が前記第2の指標を通過した場合、前記第2の指標に基づいて前記位置決め対象の現在位置・姿勢を更新することとを含み、位置決め対象が前記複数の第2の指標を通過した場合、前記複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することを更に含む。例えば、複数の第2の指標は2種の指標であってもよい。
図9A、図9Bは、本出願の実施例に係る指標とカラーストライブとの間の連結形態の模式図である。図9A、図9Bに示すように、2種の典型的な指標とカラーストライブとの連結形態が示されている(指標はQRコードを例とする)。図9Aにおいて直線で連結する形態が示されており、即ち2つの指標がx又はy方向に一致する場合、直線のカラーストライブで2つの指標を直接連結する。また、図9Bにおいて曲線連結が示されており、即ち、2つの指標がx又はy方向において一致しない、或いは角度が一致しない場合、平滑な曲線のカラーストライブを用いて連結してもよい。もちろん、当業者であれば、カラーストライブの連結形態はこの2種の連結形態に限らず、カラーストライブの曲線が平滑で、ロボットがカラーストライブに沿って進行できればよいことを理解するべきである。
ロボットがカラーストライブを通過した場合、カラーストライブ曲線を検出する。ロボットから最も近い点を曲線から探し出して、当該点でロボットとカラーストライブとの間の位置ずれΔdと角度ずれΔθ(例えば、図10を参照)を算出する。同時に、カラーストライブの曲率Cを検出する。ロボットがカラーストライブの真上に位置する場合、即ちΔd=0、Δθ=0、カラーストライブの曲率を追跡することによってカラーストライブに沿って進行する目的を達成することができる。2輪差動ロボットを例として、制御パラメータが速度vと角速度wであり、開ループ追跡方法が、w=v*Cを満たすものである。実際に制御する時に、制御にずれが生成され、且つロボットの初期位置とカラーストライブとにも一定のずれもある。そのため、開ループ位置決めw=v・Cを基に、位置ずれΔdと角度ずれΔθを制御量としてPID制御を行う。1つの簡単な方法は、下記式(11)で示される。
Figure 2019537077
式中において、λ1とλ2は、2つのパラメータであり、角度ずれと位置ずれによる制御重みを制御することを示す。
当該方法により、ロボットをカラーストライブに沿って進行させ、カラーストライブの終点に進行した時に終点にある指標を検出可能であることを保証する。指標を通過した場合、上記で説明した形態に基づいてロボットの位置・姿勢を補正することができる。ここで、図10は、本出願の実施例に係るロボットとカラーストライブとの間のずれを計算することを示す模式図である。そのため、上記指標を使用した同時位置決め地図作成ナビゲーション方法において、複数の第2の指標における2つの隣り合う第2の指標同士に当該複数の第2の指標を連結する補助位置決めストライブを含み、当該位置決め対象が当該補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して当該位置決め対象を当該補助位置決めストライブに沿って進行させ、前記位置決め対象が複数の第2の指標を通過し識別することを確保する。
他の実施例において、複数の第2の指標は、2種の指標を含んでもよいし、少なくとも2種の指標を含んでもよい。少なくとも2種の指標の設置位置は、行列、矩形などの異なる形状であってもよく、いずれかの2種の指標同士に補助位置決めストライブを設置してもよい。本出願の実施例に係る指標を使用したSLAMナビゲーション方法により、SLAMナビゲーションシステムの位置決め精度とロバスト性を向上させ、正確な位置決めを必要とする産業環境に適応することができる。
本出願の実施例に係る他の態様によれば、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段と、当該位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加するように設置される第1の指標添加手段と、位置決め対象が前記位置決め対象の初期化領域からスタートし、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定するように設置される位置決め対象スタート手段と、位置決め対象の進行経路において第2の指標を添加するように設置される第2の指標添加手段と、位置決め対象が第2の指標を通過した場合、当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段とを含む指標を使用した同時位置決め地図作成ナビゲーション装置を提供する。
図11は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置の模式的なブロック図である。図11に示すように、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置200は、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段210と、当該初期化領域設置手段210により設置した位置決め対象の初期化領域において位置・姿勢情報又は指標情報を含む第1の指標を添加するように設置される第1の指標添加手段220と、位置決め対象が当該初期化領域設置手段210により設置した位置決め対象の初期化領域からスタートし、当該第1の指標添加手段220により添加した第1の指標に基づいて位置決め対象の初期位置・姿勢を確定するように設置される位置決め対象スタート手段230と、位置決め対象の進行経路において第2の指標を添加するように設置される第2の指標添加手段240と、位置決め対象が第の指標添加手段240により添加した第2の指標を通過した場合、当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段250とを含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボット、及び携帯コンベヤー又はアームなどの移動装置である。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第1の指標は位置・姿勢情報を含み、且つ当該位置決め対象スタート手段は、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第1の指標は指標情報を含み、且つ前記位置決め対象スタート手段は、当該第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を記録して、第1の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該第1の指標の複数の位置・姿勢情報を結合して当該第1の指標の最適位置・姿勢情報と誤差を推定し、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の最適位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第2の指標は位置・姿勢情報、指標情報、又は非指標類図形情報を含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第2の指標は位置・姿勢情報を含み、且つ当該位置・姿勢更新手段は、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第2の指標は指標情報を含み、且つ当該位置・姿勢更新手段は、当該第2の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を記録して、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該第2の指標は非指標類図形情報を含み、且つ当該位置・姿勢更新手段は、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定し、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差を記録して、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記第2の指標が複数の第2の指標を含む場合、前記第1の指標添加手段は、位置決め対象の進行経路において複数の第2の指標を添加するように設置され、且つ当該位置・姿勢更新手段は、更に、位置決め対象が当該複数の第2の指標を通過した場合、当該複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、当該複数の第2の指標における2つの隣り合う第2の指標を連結する補助位置決めストライブを添加し、当該位置決め対象が当該補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して当該位置決め対象を当該補助位置決めストライブに沿って進行させ、前記位置決め対象が第2の指標を通過し識別することを確保するように設置される補助位置決め手段を更に含む。
上記指標を使用した同時位置決め地図作成ナビゲーション装置において、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加するように設置される第3の指標添加手段と、前記位置決め対象が前記第3の指標を通過した場合、前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了するように設置されるドッキング手段とを更に含む。
ここで、当業者であれば、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置において、第1の指標添加手段と第2の指標添加手段は、指標を添加するための同一の指標添加手段として集積されてもよく、且つ位置決め対象スタート手段における一部の機能も指標に基づいて位置決め対象の位置情報を更新するために用いられるように位置・姿勢更新手段に含まれてもよいことを理解するべきである。
また、当業者であれば、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置における他の詳細は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法に関する説明における相応する詳細と同様であり、冗長を回避するために贅言しないことを理解するべきである。
本出願における別の態様によれば、シーンでリアルタイム位置決めし地図を生成するように設置される位置決め対象と、位置・姿勢情報又は指標情報を含む第1の指標と、第2の指標と、同時位置決め地図作成装置であって、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段、当該第1の指標を当該位置決め対象の初期化領域に添加するように設置される第1の指標添加手段、位置決め対象が当該位置決め対象の初期化領域からスタートし、当該第1の指標に基づいて位置決め対象の初期位置・姿勢を確定するように設置される位置決め対象スタート手段、第2の指標を当該位置決め対象の進行経路に添加するように設置される第2の指標添加手段、位置決め対象が第2の指標を通過した場合、当該第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段を含む同時位置決め地図作成装置とを含む、指標を使用した同時位置決め地図作成ナビゲーションシステムを提供する。
図12は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーションシステムの模式的なブロック図である。図12に示すように、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーションシステム300は、シーンでリアルタイム位置決めし地図を生成するように設置される位置決め対象301と、位置・姿勢情報又は指標情報を含む第1の指標302と、第2の指標303と、同時位置決め地図作成装置310であって、位置決め対象の初期化領域を設置するように設置される初期化領域設置手段311、当該第1の指標302を当該初期化領域設置手段311により設置した位置決め対象の初期化領域に添加するように設置される第1の指標添加手段312、位置決め対象301が当該初期化領域設置手段311により設置した位置決め対象の初期化領域からスタートし、当該第1の指標添加手段312により添加した第1の指標302に基づいて位置決め対象301の初期位置・姿勢を確定するように設置される位置決め対象スタート手段313、第2の指標303を当該位置決め対象の進行経路に添加するように設置される第2の指標添加手段314、位置決め対象301が当該第2の指標添加手段314により添加した第2の指標303を通過した場合、当該第2の指標303に基づいて位置決め対象301の現在位置・姿勢を更新するように設置される位置・姿勢更新手段315を含む同時位置決め地図作成装置310とを含む。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボット、及び携帯コンベヤー又はアームなどの移動装置である。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第1の指標は位置・姿勢情報を含み、且つ当該位置決め対象スタート手段は、更に、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第1の指標は指標情報を含み、且つ当該位置決め対象スタート手段は、更に、当該第1の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を記録して、第1の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該第1の指標の複数の位置・姿勢情報を結合して当該第1の指標の最適位置・姿勢情報と誤差を推定し、当該第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第1の指標の最適位置・姿勢情報から当該位置決め対象の初期位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第2の指標は位置・姿勢情報、指標情報、又は非指標類図形情報を含む。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第2の指標は位置・姿勢情報を含み、且つ当該位置・姿勢更新手段は、更に、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第2の指標は指標情報を含み、且つ当該位置・姿勢更新手段は、更に、当該第2の指標の指標情報を用いてマッチングを行い、位置決め対象の複数の位置・姿勢情報と誤差を記録して、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより当該複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該第2の指標は非指標類図形情報を含み、且つ当該位置・姿勢更新手段は、更に、位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、位置決め対象の通過した指標が第2の指標であるか否かを確定し、第2の指標を通過した位置決め対象の複数の位置・姿勢情報と誤差を記録して、第2の指標の複数の位置・姿勢情報と誤差に変換し、ガウスモデルにより第2の指標の複数の位置・姿勢情報を結合して当該第2の指標の最適位置・姿勢情報と誤差を推定し、当該第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して当該第2の指標の最適位置・姿勢情報から当該位置決め対象の現在位置・姿勢情報を直接抽出するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記第2の指標が複数の第2の指標を含む場合、前記第1の指標添加手段は、複数の第2の指標を位置決め対象の進行経路に添加するように設置され、且つ当該位置・姿勢更新手段は、更に、位置決め対象が当該複数の第2の指標を通過した場合、当該複数の第2の指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、当該複数の第2の指標における2つの隣り合う第2の指標同士に補助位置決めストライブを含み、当該位置決め地図作成装置は、当該位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して当該位置決め対象を当該補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を含む。
上記指標を使用した同時位置決め地図作成ナビゲーションシステムにおいて、前記同時位置決め地図作成装置は、前記位置決め対象の進行経路におけるドッキング装置において第3の指標を添加するように設置される第3の指標添加手段と、前記位置決め対象が前記第3の指標を通過した場合、前記第3の指標に基づいて前記ドッキング装置とのドッキング操作を完了するように設置されるドッキング手段とを更に含む。
また、当業者であれば、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション装置における他の詳細は、本出願の実施例に係る指標を使用した同時位置決め地図作成ナビゲーション方法に関する説明における相応する詳細と同様であり、冗長を回避するために贅言するまでもないことを理解するべきである。
本出願に係る指標を使用した同時位置決め地図作成ナビゲーション方法、装置とシステムは、同時位置決め地図作成ナビゲーションシステムの位置決め精度とロバスト性を向上させ、正確な位置決めを必要とする産業環境に適応することができる。
当業者にとっては、上記説明及び図面に示された本出願の実施例は、例示的なものに過ぎず、本出願を限定するものではないことを理解すべきである。本出願の目的はすでに完全且つ効果的に実現されている。本出願における機能及び構造原理も実施例で説明したため、当該原理を逸脱しない限り、本出願における実施形態は、いずれも変更・修正することができる。

Claims (30)

  1. 位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路、前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて位置・姿勢情報、指標情報、及び非指標類図形情報のうちの少なくとも1種を含む指標が設置されていることと、
    前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御することと、
    進行経路において前記指標を通過した場合、前記指標に基づいて前記位置決め対象の現在位置・姿勢を更新することと、
    ドッキング装置とドッキングする時に、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整することとを含む、指標を使用した同時位置決め地図作成ナビゲーション方法。
  2. 前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む、請求項1に記載の方法。
  3. 前記ドッキング装置は、コンベヤー又はアームを含む、請求項1又は2に記載の方法。
  4. 前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、
    前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出することを含む、請求項1に記載の方法。
  5. 前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、
    前記第1の指標に基づいて位置決め対象の初期位置・姿勢を確定することは、
    前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成することと、
    前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換することと、
    ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定することと、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定することとを含む、請求項1に記載の方法。
  6. 前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、
    前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出することを含む、請求項1に記載の方法。
  7. 前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、
    前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、
    前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換することと、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定することと、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定することとを含む、請求項1に記載の方法。
  8. 前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、
    前記第2の指標に基づいて位置決め対象の現在位置・姿勢を更新することは、
    前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定することと、
    前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換することと、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定することと、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定することとを含む、請求項1に記載の方法。
  9. 前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている、請求項1に記載の方法。
  10. 前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを含み、前記位置決め対象が前記補助位置決めストライブを通過した時に、前記位置決め対象の前記補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させる、請求項9に記載の方法。
  11. 位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路、及び前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて、位置・姿勢情報、指標情報、非指標類図形情報のうちの少なくとも1種を含む指標が設置されているように設置される初期化領域設置手段と、
    前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御するように設置される位置決め対象スタート手段と、
    進行経路において前記指標を通過した場合、前記指標に基づいて前記位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段と、
    ドッキング装置とドッキングする時に、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整するように設置されるドッキング手段とを含む、指標を使用した同時位置決め地図作成ナビゲーション装置。
  12. 前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む、請求項11に記載の装置。
  13. 前記ドッキング装置は、携帯コンベヤー又はアームを含む、請求項11又は12に記載の装置。
  14. 前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、
    前記位置決め対象スタート手段は、更に、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される、請求項11に記載の装置。
  15. 前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、
    前記位置決め対象スタート手段は、更に、
    前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成し、
    前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定し、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される、請求項11に記載の装置。
  16. 前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される、請求項11に記載の装置。
  17. 前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される、請求項11に記載の装置。
  18. 前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定し、
    前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定するように設置される、請求項11に記載の装置。
  19. 前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている、請求項11に記載の装置。
  20. 前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを添加し、前記位置決め対象が前記補助位置決めストライブを通過した時に、前記位置決め対象の前記補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む、請求項19に記載の装置。
  21. シーンでリアルタイム位置決めし、地図を生成するように設置される位置決め対象と、
    位置・姿勢情報、指標情報、非指標類図形情報のうちの少なくとも1種を含む指標と、
    同時位置決め地図作成装置であって、
    位置決め対象の初期化領域を設置し、前記位置決め対象の初期化領域、前記位置決め対象の進行経路及び前記位置決め対象のドッキング装置のうちの少なくとも1つにおいて指標が設置されているように設置される初期化領域設置手段、
    前記位置決め対象の初期化領域からスタートし、前記指標に基づいて位置決め対象の初期位置・姿勢を確定する操作のうちの少なくとも1種を実行するように、位置決め対象を制御するように設置される位置決め対象スタート手段、
    進行経路において指標を通過した場合、前記指標に基づいて位置決め対象の現在位置・姿勢を更新するように設置される位置・姿勢更新手段、
    ドッキング装置とドッキングする場合、前記指標に基づいて前記位置決め対象と前記ドッキング装置との相対位置・姿勢を調整するように設置されるドッキング手段を含む、同時位置決め地図作成装置とを含む、指標を使用した同時位置決め地図作成ナビゲーションシステム。
  22. 前記位置決め対象は、同時位置決め地図作成ナビゲーションにおいて進行しているロボットと、ドッキング装置とドッキングする必要がある移動装置とを含む、請求項21に記載のシステム。
  23. 前記ドッキング装置は、携帯コンベヤー又はアームを含む、請求項21に記載のシステム。
  24. 前記位置決め対象の初期化領域に設置した指標は、位置・姿勢情報を含む第1の指標であり、且つ、
    前記位置決め対象スタート手段は、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接抽出するように設置される、請求項21に記載のシステム。
  25. 前記位置決め対象の初期化領域に設置した指標は、指標情報を含む第1の指標であり、且つ、
    前記位置決め対象スタート手段は、
    前記第1の指標においてスタートする場合、前記第1の指標に含まれる指標情報を記録し、前記指標情報を座標原点として位置決めし地図を作成し、
    前記位置決め対象が前記第1の指標を繰り返し複数回通過した場合、前記第1の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第1の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第1の指標の複数の位置・姿勢情報を結合して前記第1の指標の最適位置・姿勢情報と誤差を推定し、
    前記第1の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第1の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される、請求項21に記載のシステム。
  26. 前記位置決め対象の進行経路に設置した指標は、位置・姿勢情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接抽出するように設置される、請求項21に記載のシステム。
  27. 前記位置決め対象の進行経路に設置した指標は、指標情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記位置決め対象が前記第2の指標を繰り返し複数回通過した場合、前記第2の指標の指標情報を用いてマッチングを行い、前記位置決め対象の位置・姿勢情報を取得し、前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の初期位置・姿勢情報を直接確定するように設置される、請求項21に記載のシステム。
  28. 前記位置決め対象の進行経路に設置した指標は、非指標類図形情報を含む第2の指標であり、且つ、
    前記位置・姿勢更新手段は、更に、
    前記位置決め対象が同一の指標を通過した時の位置・姿勢の類似性を用いて、前記位置決め対象の繰り返し複数回通過した指標が第2の指標であるか否かを確定し、
    前記第2の指標である場合、前記第2の指標を通過した前記位置決め対象の複数の位置・姿勢情報と誤差を記録して、前記第2の指標の複数の位置・姿勢情報と誤差に変換し、
    ガウスモデルにより前記第2の指標の複数の位置・姿勢情報を結合して前記第2の指標の最適位置・姿勢情報と誤差を推定し、
    前記第2の指標の位置決め対象に対する位置・姿勢に基づき、座標変換を介して前記第2の指標の最適位置・姿勢情報から前記位置決め対象の現在位置・姿勢情報を直接確定するように設置される、請求項21に記載のシステム。
  29. 前記位置決め対象の進行経路に設置した指標は、第2の指標であり、且つ複数の第2の指標が設置されている、請求項21に記載のシステム。
  30. 前記複数の第2の指標における2つの隣り合う第2の指標同士に前記2つの隣り合う第2の指標を連結する補助位置決めストライブを含み、
    前記同時位置決め地図作成装置は、
    前記位置決め対象が前記補助位置決めストライブを通過した時に、位置決め対象の補助位置決めストライブに対する角度ずれを補正して前記位置決め対象を前記補助位置決めストライブに沿って進行させるように設置される補助位置決め手段を更に含む、請求項29に記載のシステム。
JP2018558212A 2017-08-16 2018-08-16 指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム Active JP6781771B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710703818.3A CN107727104B (zh) 2017-08-16 2017-08-16 结合标识的同时定位和地图创建导航方法、装置及系统
CN201710703818.3 2017-08-16
PCT/CN2018/100869 WO2019034115A1 (zh) 2017-08-16 2018-08-16 结合标识的同时定位和地图创建导航方法、装置及系统

Publications (2)

Publication Number Publication Date
JP2019537077A true JP2019537077A (ja) 2019-12-19
JP6781771B2 JP6781771B2 (ja) 2020-11-04

Family

ID=61205194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558212A Active JP6781771B2 (ja) 2017-08-16 2018-08-16 指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム

Country Status (7)

Country Link
US (1) US11340628B2 (ja)
EP (1) EP3598072A4 (ja)
JP (1) JP6781771B2 (ja)
KR (1) KR102367438B1 (ja)
CN (1) CN107727104B (ja)
SG (1) SG11202001328PA (ja)
WO (1) WO2019034115A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727104B (zh) * 2017-08-16 2019-04-30 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
KR102396731B1 (ko) * 2018-02-27 2022-05-11 삼성전자주식회사 정밀 지도 데이터 제공 방법 및 이를 위한 시스템
CN108955668A (zh) * 2018-08-02 2018-12-07 苏州中德睿博智能科技有限公司 一种融合二维码与色带的复合导航方法、装置及系统
CN108931982A (zh) * 2018-09-04 2018-12-04 赵凯雅 用于移动机器人设备的视觉导航系统和方法
CN114999308A (zh) * 2018-11-19 2022-09-02 深圳市海柔创新科技有限公司 地图生成方法、装置、计算机可读存储介质和计算机设备
CN113409401A (zh) * 2018-11-20 2021-09-17 深圳市海柔创新科技有限公司 定位码贴设方法、装置、计算机设备和存储介质
CN109571408B (zh) * 2018-12-26 2020-03-10 北京极智嘉科技有限公司 一种机器人、库存容器的角度校准方法及存储介质
CN109813319B (zh) * 2019-03-07 2021-09-28 山东大学 一种基于slam建图的开环优化方法及系统
CN110197509B (zh) * 2019-04-30 2023-07-11 上海理工大学 一种基于彩色人工标识的相机位姿求解法
CN110108283B (zh) * 2019-05-10 2020-11-17 成都四相致新科技有限公司 一种基于多二维码视觉的高精度定位方法
CN112327818B (zh) * 2019-07-19 2023-06-23 杭州海康机器人股份有限公司 校正导引图形的位姿偏差的方法及行走设备
DE102019128927A1 (de) * 2019-10-25 2021-04-29 Vorwerk & Co. Interholding Gmbh Verfahren zur Erstellung einer Umgebungskarte für ein sich selbsttätig fortbewegendes Bodenbearbeitungsgerät, sowie System aus zwei sich selbsttätig fortbewegenden Bodenbearbeitungsgeräten
CN111123926A (zh) * 2019-12-20 2020-05-08 上海点甜农业专业合作社 一种基于二维码路标自动导航场景的搭建方法
CN111830969B (zh) * 2020-06-12 2024-03-26 北京布科思科技有限公司 一种基于反光板及二维码的融合对接方法
CN112153568B (zh) * 2020-08-28 2022-08-30 汉海信息技术(上海)有限公司 基于业务场景的Wi-Fi识别、绑定方法、装置及设备
CN112130567A (zh) * 2020-09-22 2020-12-25 广州小鹏自动驾驶科技有限公司 一种数据处理方法和装置
CN112338910A (zh) * 2020-09-22 2021-02-09 北京无线体育俱乐部有限公司 空间地图确定方法、机器人、存储介质及系统
CN112712018A (zh) * 2020-12-29 2021-04-27 东软睿驰汽车技术(沈阳)有限公司 标识地图的建立方法、视觉定位方法及装置
CN112596070B (zh) * 2020-12-29 2024-04-19 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN113310484B (zh) * 2021-05-28 2022-06-24 杭州艾米机器人有限公司 一种移动机器人定位方法和系统
CN113515126B (zh) * 2021-07-12 2024-05-10 北京经纬恒润科技股份有限公司 一种车辆定位方法及装置
CN113733043A (zh) * 2021-09-24 2021-12-03 深圳先进技术研究院 一种自动化递送机器人及其自动驱动方法
CN114779755A (zh) * 2022-03-01 2022-07-22 国以贤智能科技(上海)股份有限公司 基于混合导航方式的单舵轮叉车运动控制方法及系统
CN114537555B (zh) * 2022-03-14 2023-09-01 恒达富士电梯有限公司 基于多机器人和多agv协同的电梯协同柔性生产线
DE102022206041A1 (de) 2022-06-15 2023-12-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen von Objekten in einer Umgebung für SLAM
KR102585353B1 (ko) * 2022-11-10 2023-10-06 주식회사 클로봇 무인 이동체, 라이다 및 브이 형상의 마커를 활용한 무인 이동체의 도킹 제어 방법 및 프로그램

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152787A (ja) * 2008-12-26 2010-07-08 Fujitsu Ltd 環境地図生成プログラム、環境地図生成方法及び移動ロボット
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
CN102402225A (zh) * 2011-11-23 2012-04-04 中国科学院自动化研究所 一种实现移动机器人同时定位与地图构建的方法
JP2013534624A (ja) * 2010-06-22 2013-09-05 トムトム インターナショナル ベスローテン フエンノートシャップ ナビゲーション装置及び方法
JP2013535013A (ja) * 2010-06-25 2013-09-09 トリンブル ナビゲーション リミテッド 画像ベースの測位のための方法および装置
CN103294059A (zh) * 2013-05-21 2013-09-11 无锡普智联科高新技术有限公司 基于混合导航带的移动机器人定位系统及其方法
JP2013537995A (ja) * 2010-09-24 2013-10-07 エボリューション・ロボティクス・インコーポレイテッド Vslam最適化のためのシステムおよび方法
CN103869814A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种终端定位和导航方法以及可移动的终端
CN104848858A (zh) * 2015-06-01 2015-08-19 北京极智嘉科技有限公司 二维码以及用于机器人的视觉-惯性组合导航系统及方法
JP2015535373A (ja) * 2012-10-05 2015-12-10 アイロボット コーポレイション 移動ロボットを含むドッキングステーション姿勢を決定するためのロボット管理システムとこれを用いる方法
JP2016522895A (ja) * 2014-03-31 2016-08-04 小米科技有限責任公司Xiaomi Inc. 測位・ナビゲーション方法、装置、プログラム、及び記録媒体
JP2017045447A (ja) * 2015-08-28 2017-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
CN106643759A (zh) * 2016-09-29 2017-05-10 王德龙 一种基于电子导航地图的实时定位导航信息共享方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1828862A2 (en) * 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7693654B1 (en) * 2005-11-23 2010-04-06 ActivMedia Robotics/MobileRobots Method for mapping spaces with respect to a universal uniform spatial reference
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US8874261B2 (en) * 2007-07-25 2014-10-28 Deere & Company Method and system for controlling a mobile robot
DE102010012187B4 (de) * 2010-03-19 2020-12-31 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Bestimmung der Position zumindest eines ersten und eines zweiten Fahrzeuges innerhalb einer Anlage
US9448758B2 (en) 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
CN104142683B (zh) * 2013-11-15 2016-06-08 上海快仓智能科技有限公司 基于二维码定位的自动引导车导航方法
CN103631264A (zh) * 2013-12-04 2014-03-12 苏州大学张家港工业技术研究院 一种同时定位与地图创建方法及装置
EP2916189B1 (en) * 2014-03-06 2019-05-08 Hexagon Technology Center GmbH Quality assured manufacturing
CN104062973B (zh) 2014-06-23 2016-08-24 西北工业大学 一种基于图像标志物识别的移动机器人slam方法
EP3249419A4 (en) * 2015-01-22 2018-02-28 Guangzhou Airob Robot Technology Co., Ltd. Color block tag-based localization and mapping method and device thereof
CN106662631A (zh) * 2015-01-22 2017-05-10 广州艾若博机器人科技有限公司 基于rfid的定位与地图构建方法及其装置
US9758305B2 (en) * 2015-07-31 2017-09-12 Locus Robotics Corp. Robotic navigation utilizing semantic mapping
CN106803261A (zh) 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
CN106323294B (zh) 2016-11-04 2023-06-09 新疆大学 变电站巡检机器人定位方法及定位装置
CN106527432B (zh) * 2016-11-04 2019-02-05 浙江大学 基于模糊算法和二维码自矫正的室内移动机器人协作系统
CN106708051B (zh) 2017-01-10 2023-04-18 北京极智嘉科技股份有限公司 基于二维码的导航系统和方法、导航标记物及导航控制器
CN106989746A (zh) * 2017-03-27 2017-07-28 远形时空科技(北京)有限公司 导航方法及导航装置
CN107727104B (zh) 2017-08-16 2019-04-30 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152787A (ja) * 2008-12-26 2010-07-08 Fujitsu Ltd 環境地図生成プログラム、環境地図生成方法及び移動ロボット
JP2013534624A (ja) * 2010-06-22 2013-09-05 トムトム インターナショナル ベスローテン フエンノートシャップ ナビゲーション装置及び方法
JP2013535013A (ja) * 2010-06-25 2013-09-09 トリンブル ナビゲーション リミテッド 画像ベースの測位のための方法および装置
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
JP2013537995A (ja) * 2010-09-24 2013-10-07 エボリューション・ロボティクス・インコーポレイテッド Vslam最適化のためのシステムおよび方法
CN102402225A (zh) * 2011-11-23 2012-04-04 中国科学院自动化研究所 一种实现移动机器人同时定位与地图构建的方法
JP2015535373A (ja) * 2012-10-05 2015-12-10 アイロボット コーポレイション 移動ロボットを含むドッキングステーション姿勢を決定するためのロボット管理システムとこれを用いる方法
CN103869814A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种终端定位和导航方法以及可移动的终端
CN103294059A (zh) * 2013-05-21 2013-09-11 无锡普智联科高新技术有限公司 基于混合导航带的移动机器人定位系统及其方法
JP2016522895A (ja) * 2014-03-31 2016-08-04 小米科技有限責任公司Xiaomi Inc. 測位・ナビゲーション方法、装置、プログラム、及び記録媒体
CN104848858A (zh) * 2015-06-01 2015-08-19 北京极智嘉科技有限公司 二维码以及用于机器人的视觉-惯性组合导航系统及方法
JP2017045447A (ja) * 2015-08-28 2017-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
CN106643759A (zh) * 2016-09-29 2017-05-10 王德龙 一种基于电子导航地图的实时定位导航信息共享方法

Also Published As

Publication number Publication date
SG11202001328PA (en) 2020-03-30
CN107727104B (zh) 2019-04-30
KR20200041355A (ko) 2020-04-21
EP3598072A1 (en) 2020-01-22
EP3598072A4 (en) 2020-05-06
JP6781771B2 (ja) 2020-11-04
KR102367438B1 (ko) 2022-02-24
WO2019034115A1 (zh) 2019-02-21
US20210333797A1 (en) 2021-10-28
US11340628B2 (en) 2022-05-24
CN107727104A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
JP2019537077A (ja) 指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
CN108012325B (zh) 一种基于uwb和双目视觉的导航定位方法
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN105912971B (zh) 一种用于agv导航的规则图形码码阵系统及其读码方法
US20210012124A1 (en) Method of collecting road sign information using mobile mapping system
CN106003052B (zh) 一种机器人视觉导航地图的创建方法
CN107063229A (zh) 基于人工路标的移动机器人定位系统及方法
CN114415736B (zh) 一种无人机多阶段视觉精准降落方法和装置
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
US20220390954A1 (en) Topology Processing for Waypoint-based Navigation Maps
Dobie et al. Visual odometry and image mosaicing for NDE
CN105096341A (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN113643380A (zh) 一种基于单目相机视觉标靶定位的机械臂引导方法
CN112729318A (zh) 一种agv叉车自主定位移动slam导航系统
CN104166995A (zh) 一种基于马步测度的Harris-SIFT双目视觉定位方法
KR101552773B1 (ko) 인공 표식을 이용한 이동 로봇의 위치 추정 방법
CN112074706A (zh) 精确定位系统
Lee et al. Robust self-localization of ground vehicles using artificial landmark
Lang et al. Mobile robot localization and object pose estimation using optical encoder, vision and laser sensors
US20240085448A1 (en) Speed measurement method and apparatus based on multiple cameras
Yap et al. Landmark-based automated guided vehicle localization algorithm for warehouse application
Aggarwal Machine vision based SelfPosition estimation of mobile robots
CN111649746B (zh) 一种融合惯导测量和ArUco标记的定位与导航方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181203

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201016

R150 Certificate of patent or registration of utility model

Ref document number: 6781771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250