JP2020161142A - 移動ロボットの制御方法 - Google Patents
移動ロボットの制御方法 Download PDFInfo
- Publication number
- JP2020161142A JP2020161142A JP2020058988A JP2020058988A JP2020161142A JP 2020161142 A JP2020161142 A JP 2020161142A JP 2020058988 A JP2020058988 A JP 2020058988A JP 2020058988 A JP2020058988 A JP 2020058988A JP 2020161142 A JP2020161142 A JP 2020161142A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- mobile robot
- block
- stage
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 136
- 238000000605 extraction Methods 0.000 claims abstract description 83
- 238000009826 distribution Methods 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 26
- 239000002245 particle Substances 0.000 claims description 24
- 239000000758 substrate Substances 0.000 claims description 17
- 238000012952 Resampling Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000004807 localization Effects 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 61
- 238000006073 displacement reaction Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 31
- 238000004140 cleaning Methods 0.000 description 28
- 239000000428 dust Substances 0.000 description 26
- 238000001514 detection method Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/0085—Cleaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
- G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/40—Indoor domestic environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
もしくは、前記又は他の目的を達成するために、本発明の一側面による移動ロボットの制御方法は、前記走行中に走行情報を獲得する段階と前記映像獲得段階で映像獲得部を介して獲得される映像のうち、以前ノードからの移動量が閾値より大きい映像をキーフレーム映像として選択する段階をさらに含み、前記ポイント基盤の特徴点抽出段階と前記ブロック基盤の特徴点抽出段階は、前記キーフレーム映像を対象として遂行することができる。
一方、以下の説明で使われる構成要素に対する接尾辞“モジュール”及び“部”は単にこの明細書作成の容易性のみ考慮して付与するもので、そのものが特別に重要な意味又は役割を付与するものではない。よって、前記“モジュール”及び“部”は互いに混用されることもできる。
を生成させる図式が示される。
で表現することができる。
はそれぞれX軸及びY軸方向変位を意味し、θは回転角度を意味する。
を生成する。前記ディスクリプタ生成過程(S506)で、獲得された複数の映像から抽出された複数の特徴点f1、f2、f3、...、fmに基づいてディスクリプタ
を生成する(ここで、mは自然数)。複数の特徴点f1、f2、f3、...、fmに複数のディスクリプタ
は一対一で対応する。
の中括弧{}内のf1(1)、f1(2)、f1(3)、...、f1(n)は
を成す各次元の数値を意味する。残りの
に対する表記もこのような方式であるので、説明を省略する。
を生成することができる。
図9は第1マップMaの一例を示す概念図で、生成されたノードマップを含んでいる図である。図9には、図5によるマップ生成過程を経て生成されたいずれか一つのマップMaの一例が示される。前記マップMaは、ノードマップ及び境界マップBaを含む。前記ノードマップは、複数の第1ノードNa1〜Na99を含む。
を生成する。認識特徴点h1、h2、h3、...、h7に複数の認識ディスクリプタ
は一対一で対応する。
はn次元ベクターを意味する。
の中括弧{}内のh1(1)、h1(2)、h1(3)、...、h1(n)は
を成す各次元の数値を意味する。残りの
に対する表記もこのような方式であるので説明を省略する。
を生成することができる。コンピュータビジョン技術分野で映像から特徴を検出する多様な方法及びこれら特徴の検出に適したさまざまな特徴検出器についての説明は前述したようである。
にそれぞれ距離上最も近い全域ラベルディスクリプタをマッチングさせる。図10で、認識ディスクリプタと全域ラベルディスクリプタの対応関係をマッチング線で示す。マッチング過程(S231)を進めれば、複数の認識ディスクリプタ
に複数の全域ラベルディスクリプタ
は一対一で対応する。
に距離上最も近い全域ラベルディスクリプタは
であり、認識ディスクリプタ
に全域ラベルディスクリプタ
が対応する。認識ディスクリプタ
に距離上最も近い全域ラベルディスクリプタは
であり、認識ディスクリプタ
に全域ラベルディスクリプタ
が対応する。認識ディスクリプタ
に距離上最も近い全域ラベルディスクリプタは
であり、認識ディスクリプタ
に全域ラベルディスクリプタ
が対応する。認識ディスクリプタ
に距離上最も近い全域ラベルディスクリプタは
であり、認識ディスクリプタ
に全域ラベルディスクリプタ
が対応する。この場合、全域X内の全ての全域ラベルディスクリプタ
の中で複数の認識ディスクリプタ
にマッチングした全域ラベルディスクリプタは
である。図11には、マッチングした全域ラベルディスクリプタ
の生成根拠となったグループXG1、XG3、XG5、XG32で表示されている。
に対応する比較対象ノードを選択する。マッチングした複数の全域ラベルディスクリプタ
に複数のノードは一対多で対応する。
に対応する比較対象ノードはN1、N14、N15、N38、N62、N63、N64である。選択されるそれぞれの比較対象ノードN1、N14、N15、N38、N62、N63、N64内の複数の全域ラベルディスクリプタは、前記マッチングした全域ラベルディスクリプタ
の少なくとも一つを含む。選択されなかった残りのノード内の複数の全域ラベルディスクリプタは、前記マッチングした全域ラベルディスクリプタ
の全部を含まない。
の生成根拠となったディスクリプタを選択し、選択されたディスクリプタの生成根拠となった映像を選択し、選択された映像に対応するノードを比較対象ノードとする。
の生成根拠となった映像を選択し、全てのノードの中で前記選択された映像に一対一で対応する比較対象ノードを選択する。図12には、選択された比較対象ノードN1、N14、N15、N38、N62、N63、N64を黒い点で表示する。
に基づいて生成される。マッチングした全域ラベルディスクリプタ
の認識スコア(Sh)は所定の数学式によって算出することができる。
に基づいて映像特徴分布が生成される。マッチングした全域ラベルディスクリプタ
の認識スコア(Sh)は所定の数学式によって算出することができる。
の他にも他の全域ラベルディスクリプタ
があり得る。このような他の全域ラベルディスクリプタ
は映像特徴分布ヒストグラムの代表値となる必要がない。ただ、このような他の全域ラベルディスクリプタ
のウェイトは、マッチングした全域ラベルディスクリプタ
のスコア(S)に影響を与えることはできる。
105 保存部
110 本体
120 映像獲得部
125 入力部
150 制御部
160 走行部
170 センサー部
180 出力部
190 通信部
Claims (15)
- 走行中に走行区域内の映像を獲得する段階と、
前記獲得された映像から特徴点を抽出するポイント(point)基盤の特徴点抽出段階と、
前記獲得された映像を既設定の大きさのブロック(Bolck)に区分し、区分されたそれぞれのブロック単位映像から特徴点を抽出するブロック基盤の特徴点抽出段階と、
前記ポイント基盤の特徴点抽出段階で抽出された特徴点を用いて、現在位置に対応するノード及び前記現在位置に対応するノードを基準に既設定の基準距離以内のノードの特徴点をマッチング(matching)するポイント基盤の特徴点マッチング段階と、
前記ブロック基盤の特徴点抽出段階で抽出された特徴点を用いて、前記現在位置に対応するノード及び前記現在位置に対応するノードを基準に前記基準距離以内のノードの特徴点をマッチングするブロック基盤の特徴点マッチング段階と、
前記ポイント基盤の特徴点マッチング結果及び前記ブロック基盤の特徴点マッチング結果に基づいて前記現在位置を認識する段階と、
前記認識された現在位置の情報、前記現在位置に対応するノードのポイント基盤の特徴点情報、及び前記現在位置に対応するノードのブロック基盤の特徴点情報をマップ(map)に登録する段階と、を含む、移動ロボットの制御方法。 - 前記ポイント基盤の特徴点抽出段階は、前記抽出された特徴点周辺の一定区域に属するピクセルの明るさ勾配(gradient)の分布特性に基づいて前記抽出された特徴点に対応するディスクリプタ(descriptor)を生成する段階を含む、請求項1に記載の移動ロボットの制御方法。
- 前記ブロック基盤の特徴点抽出段階は、前記区分されたそれぞれのブロック単位映像の明るさ勾配(gradient)の分布特性に基づいてそれぞれのブロック別ディスクリプタを生成する段階を含む、請求項1に記載の移動ロボットの制御方法。
- 前記走行中に走行情報を獲得する段階をさらに含み、
前記映像を獲得する段階は、前記獲得された走行情報に基づいて、以前ノードからの移動量が閾値(threshold)より大きい場合、前記映像を獲得する段階を含む、請求項1に記載の移動ロボットの制御方法。 - 前記走行中に走行情報を獲得する段階と、
前記映像を獲得する段階で獲得される映像のうち、前記獲得された走行情報に基づいて、以前ノードからの移動量が閾値より大きいときの映像をキーフレーム映像として選択する段階と、をさらに含み、
前記ポイント基盤の特徴点抽出段階と前記ブロック基盤の特徴点抽出段階は、前記キーフレーム映像を対象として行われる、請求項1に記載の移動ロボットの制御方法。 - 走行中に走行区域内の映像を獲得する段階と、
前記獲得された映像を既設定の大きさのブロック(Bolck)に区分し、区分されたそれぞれのブロック単位映像から特徴点を抽出するブロック基盤の特徴点抽出段階と、
前記ブロック基盤の特徴点抽出段階で抽出された特徴点をマップに登録されたブロック基盤の特徴点情報とマッチングするブロック基盤の特徴点マッチング段階と、
前記ブロック基盤の特徴点マッチング結果に基づいて現在位置を認識する段階と、を含む、移動ロボットの制御方法。 - 前記ブロック基盤の特徴点抽出段階は、前記区分されたそれぞれのブロック単位映像の明るさ勾配(gradient)の分布特性に基づいてそれぞれのブロック別ディスクリプタを生成する段階を含む、請求項6に記載の移動ロボットの制御方法。
- 前記獲得された映像から特徴点を抽出するポイント(point)基盤の特徴点抽出段階と、
前記ポイント基盤の特徴点抽出段階で抽出された特徴点を前記マップに登録されたポイント基盤の特徴点情報とマッチングするポイント基盤の特徴点マッチング段階と、をさらに含み、
前記現在位置を認識する段階は、前記ポイント基盤の特徴点マッチング結果と前記ブロック基盤の特徴点マッチング結果に基づいて前記現在位置を認識する段階を含む、請求項6に記載の移動ロボットの制御方法。 - 前記ポイント基盤の特徴点抽出段階は、前記抽出された特徴点周辺の一定区域に属するピクセルの明るさ勾配(gradient)の分布特性に基づいて前記抽出された特徴点に対応するディスクリプタ(descriptor)を生成する段階を含む、請求項8に記載の移動ロボットの制御方法。
- 前記走行中に走行情報を獲得する段階をさらに含み、
前記映像を獲得する段階は、前記獲得された走行情報に基づいて、以前ノードからの移動量が閾値(threshold)より大きい場合、前記映像を獲得する段階を含む、請求項6に記載の移動ロボットの制御方法。 - 前記走行中に走行情報を獲得する段階と、
前記映像を獲得する段階で獲得される映像のうち、前記獲得された走行情報に基づいて、以前ノードからの移動量が閾値より大きいときの映像をキーフレーム映像として選択する段階と、をさらに含み、
前記ブロック基盤の特徴点抽出段階は、前記キーフレーム映像を対象として行われる、請求項6に記載の移動ロボットの制御方法。 - 照度情報を獲得する段階をさらに含み、
前記照度情報が低照度環境に設定された条件を満たす場合、前記ブロック基盤の特徴点抽出段階が行われる、請求項6に記載の移動ロボットの制御方法。 - 前記照度情報が前記低照度環境に設定された条件を満たさない場合、前記獲得された映像から特徴点を抽出するポイント(point)基盤の特徴点抽出段階と、
前記ポイント基盤の特徴点抽出段階で抽出された特徴点を前記マップに登録されたポイント基盤の特徴点情報とマッチングするポイント基盤の特徴点マッチング段階と、
前記ポイント基盤の特徴点マッチング結果に基づいて前記現在位置を認識する段階と、をさらに含む、請求項12に記載の移動ロボットの制御方法。 - 前記ポイント基盤の特徴点抽出段階は、前記抽出された特徴点周辺の一定区域に属するピクセルの明るさ勾配(gradient)の分布特性に基づいて前記抽出された特徴点に対応するディスクリプタ(descriptor)を生成する段階を含む、請求項13に記載の移動ロボットの制御方法。
- 前記現在位置を認識する段階は、
前記ブロック基盤の特徴点マッチングに基づいて位置候補である複数のパーティクル(particle)を設定する段階と、
前記複数のパーティクルに対する加重値(weight)を算出する段階と、
前記複数のパーティクルの加重値に基づいて前記現在位置を決定する段階と、
前記複数のパーティクルをリサンプリング(resampling)する段階と、を含む、請求項6に記載の移動ロボットの制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0035040 | 2019-03-27 | ||
KR1020190035040A KR102143349B1 (ko) | 2019-03-27 | 2019-03-27 | 이동 로봇의 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020161142A true JP2020161142A (ja) | 2020-10-01 |
JP6977093B2 JP6977093B2 (ja) | 2021-12-08 |
Family
ID=72048173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020058988A Active JP6977093B2 (ja) | 2019-03-27 | 2020-03-27 | 移動ロボットの制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11348276B2 (ja) |
EP (1) | EP3946839A4 (ja) |
JP (1) | JP6977093B2 (ja) |
KR (1) | KR102143349B1 (ja) |
AU (1) | AU2020244635B2 (ja) |
WO (1) | WO2020197303A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022059815A (ja) * | 2020-10-02 | 2022-04-14 | 本田技研工業株式会社 | 移動体制御装置、移動体、移動体制御方法、およびプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112621753B (zh) * | 2020-12-09 | 2022-12-06 | 浙江大华技术股份有限公司 | 机器人定位方法、电子设备及存储介质 |
KR20230092801A (ko) | 2021-12-17 | 2023-06-26 | 한국기계연구원 | 광학식 시차 생성을 이용한 단일 카메라 스테레오 비전의 3차원 형상 측정 방법 및 장치 |
CN114627496B (zh) * | 2022-03-01 | 2023-10-20 | 中国科学技术大学 | 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 |
TWI815613B (zh) * | 2022-08-16 | 2023-09-11 | 和碩聯合科技股份有限公司 | 適用於機器人之導航方法及其機器人 |
CN116105720B (zh) * | 2023-04-10 | 2023-06-23 | 中国人民解放军国防科技大学 | 低照度场景机器人主动视觉slam方法、装置和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132253A (ja) * | 1997-07-08 | 1999-02-02 | Hitachi Ltd | 画像処理装置 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JP2008071352A (ja) * | 2006-09-13 | 2008-03-27 | Samsung Electronics Co Ltd | 移動ロボットの姿勢推定装置および方法 |
JP2008197884A (ja) * | 2007-02-13 | 2008-08-28 | Toyota Motor Corp | 環境地図の生成方法及び移動ロボット |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001041451A1 (en) * | 1999-11-29 | 2001-06-07 | Sony Corporation | Video/audio signal processing method and video/audio signal processing apparatus |
KR101072876B1 (ko) | 2009-03-18 | 2011-10-17 | 연세대학교 산학협력단 | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 |
JP2011008687A (ja) * | 2009-06-29 | 2011-01-13 | Sharp Corp | 画像処理装置 |
US8744665B2 (en) * | 2009-07-28 | 2014-06-03 | Yujin Robot Co., Ltd. | Control method for localization and navigation of mobile robot and mobile robot using the same |
KR101618030B1 (ko) * | 2009-07-28 | 2016-05-09 | 주식회사 유진로봇 | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 |
KR101686170B1 (ko) * | 2010-02-05 | 2016-12-13 | 삼성전자주식회사 | 주행 경로 계획 장치 및 방법 |
KR20120021064A (ko) * | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 로봇 및 이의 제어 방법 |
KR101697857B1 (ko) * | 2015-04-08 | 2017-01-18 | 엘지전자 주식회사 | 이동 로봇 및 그의 위치인식방법 |
CA3002308A1 (en) * | 2015-11-02 | 2017-05-11 | Starship Technologies Ou | Device and method for autonomous localisation |
KR20180023302A (ko) * | 2016-08-25 | 2018-03-07 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
KR101982780B1 (ko) * | 2016-10-20 | 2019-05-27 | 엘지전자 주식회사 | 이동 로봇 및 이동 로봇의 제어방법 |
CN108615248B (zh) * | 2018-04-27 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
-
2019
- 2019-03-27 KR KR1020190035040A patent/KR102143349B1/ko active IP Right Grant
-
2020
- 2020-03-26 US US16/830,964 patent/US11348276B2/en active Active
- 2020-03-27 AU AU2020244635A patent/AU2020244635B2/en active Active
- 2020-03-27 EP EP20779632.7A patent/EP3946839A4/en active Pending
- 2020-03-27 WO PCT/KR2020/004158 patent/WO2020197303A1/en unknown
- 2020-03-27 JP JP2020058988A patent/JP6977093B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1132253A (ja) * | 1997-07-08 | 1999-02-02 | Hitachi Ltd | 画像処理装置 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2008003674A (ja) * | 2006-06-20 | 2008-01-10 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JP2008071352A (ja) * | 2006-09-13 | 2008-03-27 | Samsung Electronics Co Ltd | 移動ロボットの姿勢推定装置および方法 |
JP2008197884A (ja) * | 2007-02-13 | 2008-08-28 | Toyota Motor Corp | 環境地図の生成方法及び移動ロボット |
Non-Patent Citations (1)
Title |
---|
萩原良信, 外3名: ""SURFを用いたView−Based Navigationによる位置分解能の向上"", 電気学会論文誌C, vol. 第130巻, 第8号, JPN6021018812, 1 August 2010 (2010-08-01), JP, pages 1395 - 1403, ISSN: 0004513569 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022059815A (ja) * | 2020-10-02 | 2022-04-14 | 本田技研工業株式会社 | 移動体制御装置、移動体、移動体制御方法、およびプログラム |
JP7366373B2 (ja) | 2020-10-02 | 2023-10-23 | 本田技研工業株式会社 | 移動体制御装置、移動体、移動体制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200311970A1 (en) | 2020-10-01 |
EP3946839A1 (en) | 2022-02-09 |
WO2020197303A1 (en) | 2020-10-01 |
KR102143349B1 (ko) | 2020-08-11 |
US11348276B2 (en) | 2022-05-31 |
AU2020244635A1 (en) | 2021-11-18 |
JP6977093B2 (ja) | 2021-12-08 |
EP3946839A4 (en) | 2023-01-25 |
AU2020244635B2 (en) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6977093B2 (ja) | 移動ロボットの制御方法 | |
US11400600B2 (en) | Mobile robot and method of controlling the same | |
KR102314539B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
US10939791B2 (en) | Mobile robot and mobile robot control method | |
EP3575046B1 (en) | Mobile robot and method for controlling same | |
KR102319489B1 (ko) | 이동 로봇 및 그 제어방법 | |
EP3349087B1 (en) | Moving robot | |
US20190179333A1 (en) | Mobile robot and control method for controlling the same | |
US20160089783A1 (en) | Robot cleaner and control method thereof | |
WO2016100221A1 (en) | Systems and methods for capturing images and annotating the captured images with information | |
KR102024094B1 (ko) | 인공지능을 이용한 이동 로봇 및 그 제어방법 | |
US20200326722A1 (en) | Mobile robot, system for multiple mobile robot, and map learning method of mobile robot using artificial intelligence | |
KR102147210B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
KR102147211B1 (ko) | 인공지능 이동 로봇의 제어 방법 | |
KR20180048088A (ko) | 로봇 청소기 및 그 제어방법 | |
KR102048363B1 (ko) | 이동 로봇 | |
KR20200091110A (ko) | 이동 로봇 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6977093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |