JP2017534869A - マルチ・スケール基準マーカー及び方法 - Google Patents

マルチ・スケール基準マーカー及び方法 Download PDF

Info

Publication number
JP2017534869A
JP2017534869A JP2017521194A JP2017521194A JP2017534869A JP 2017534869 A JP2017534869 A JP 2017534869A JP 2017521194 A JP2017521194 A JP 2017521194A JP 2017521194 A JP2017521194 A JP 2017521194A JP 2017534869 A JP2017534869 A JP 2017534869A
Authority
JP
Japan
Prior art keywords
reference marker
marker
scale
fiducial
fiducial marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017521194A
Other languages
English (en)
Other versions
JP6538163B2 (ja
Inventor
カール、 リアン ケルソ、
カール、 リアン ケルソ、
イヴス、 クリスチャン、 アルバース ショーンバーグ、
イヴス、 クリスチャン、 アルバース ショーンバーグ、
ジェームス ヤン、
ジェームス ヤン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2017534869A publication Critical patent/JP2017534869A/ja
Application granted granted Critical
Publication of JP6538163B2 publication Critical patent/JP6538163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06056—Constructional details the marking comprising a further embedded marking, e.g. a 1D bar code with the black bars containing a smaller sized coding
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06131—Constructional details the marking comprising a target pattern, e.g. for indicating the center of the bar code or for helping a bar code reader to properly orient the scanner or to retrieve the bar code inside of an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06168—Constructional details the marking being a concentric barcode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1426—Multi-level bar codes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K2019/06215—Aspects not covered by other subgroups
    • G06K2019/06243—Aspects not covered by other subgroups concentric-code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K2019/06215—Aspects not covered by other subgroups
    • G06K2019/06262—Aspects not covered by other subgroups with target- or other orientation-indicating feature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

マルチ・スケール基準マーカーの様々の実施形態が開示される。マルチ・スケール基準マーカーは３つ以上のスケールを有することができる。ここで、子基準マーカーは、入れ子にされているか、または、相対的位置によって親基準マーカーにリンクされる。マルチ・スケール基準マーカーは、様々の距離において、潜在的にスケール・インヴァリアント認識アルゴリズムの支援無しに目標の識別およびトラッキングを容易にすることができる。マルチ・スケール基準マーカーの１つの応用は、自律的に制御される空中運搬手段のための目標識別を含むことができる。

Description

基準マーカーは、コンピュータ・ビジョンの応用においてしばしば用いられる光学的に認識できる特徴である。一般的な基準マーカーは固定サイズの白及び黒の複数のブロックからなるグリッドを含む。これらのグリッドはランダムに生成され得る。基準マーカーのための応用は、これらの特徴によってマーキングされた対象物の、ローカライゼーション、トラッキング、及び、方向検出を含み、ロボット工学、プリント回路基板製造、印刷、拡張現実、及び、自動品質保証を含む。
本開示の多くの態様は、以下の図面を参照してより一層理解され得る。図中の構成要素は、必ずしも同一のスケールで描かれているわけではなく、その代わりに、本開示の原理を明確に説明することに重点が置かれている。さらに、図面の幾つかを通して、対応する部分は同様の参照符号によって示されている。
本開示の様々の実施形態によるマルチ・スケール基準マーカーの１例を、マルチ・スケール基準マーカーが図示された構成部分の分解図と共に示す。 本開示の様々の実施形態による自律的に制御される空中運搬手段のブロック図である。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 本開示の様々の実施形態によるマルチ・スケール基準マーカーのさらに幾つかの例を示す。 親基準マーカーが本開示の様々の実施形態によって撮像デバイスの視野から切り取られたマルチ・スケール基準マーカーの１例を示す。 本開示の様々の実施形態による、自律的に制御される図２の空中運搬手段において実行される制御ロジックの一部として実装される機能の１例を示すフローチャートである。 本開示の様々の実施形態によるコンピューティング装置の１例を提供する概略ブロック図である。
本出願は、変化する距離において目標の識別及び追跡を容易にすることができるマルチ・スケール基準マーカーに関するものである。撮像デバイスと基準マーカーとの間の距離の変化は、撮画像中の基準マーカーの見かけ上のサイズの変化をもたらす。例えば、基準マーカーからの第１の距離においては、基準マーカーのブロックの特徴が、撮画像の中の５ピクセル四方の正方形である場合がある。基準マーカーからの第２の、より近い、距離においては、同じブロックの特徴は、撮画像の中の２０ピクセル四方の正方形となる場合がある。したがって、様々の距離において、基準マーカー認識アルゴリズムは、基準マーカーのスケールの変化を補償する必要がある場合がある。
スケールの変化を補償する１つのアプローチは、スケール・インヴァリアント・アルゴリズム（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔａｌｇｏｒｉｔｈｍ，すなわち、基準マーカーの現在のサイズに関係なく動作できるアルゴリズム）を使用することであり得る。しかし、場合によっては、装置の処理能力または基準マーカー認識ロジックを修正する能力の限界のために、スケール・インヴァリアント・アルゴリズムが使用できない。
本開示の様々の実施形態は、様々の距離において基準マーカーのサイズの変化を利用するために、様々のスケールの基準マーカーを使用する。そのような性質を有する基準マーカーは、幅広い距離にわたって光学的目標をランディングさせ、追跡するために用いられ得る。非限定的な例として、そのような基準マーカーは、自律的に制御される空中運搬手段を誘導するために、または、移動可能な他の車両において、用いられ得る。しかし、そのような基準マーカーは、基準マーカーが関係するいかなるコンピュータ・ビジョンの応用においても有用な場合があることは、理解されている。ここに記述される基準マーカーは、ラベルに印刷されること、対象物に張り付けられること、対象物に直接塗られること、対象物の構造に直接組み入れられること等ができる。基準マーカーは、固定された対象物または移動対象物上に存在し得る。１つのシナリオにおいては、本明細書で記載される基準マーカーは、他の自律的に制御される空中運搬手段上に存在し得る。
図１を参照して、マルチ・スケール基準マーカー１００の１例を、図示されたマルチ・スケール基準マーカー１００の構成部分の分解図と共に示す。この例では、マルチ・スケール基準マーカー１００は、親（すなわち、第１の）基準マーカー１０３、子（すなわち、第２の）基準マーカー１０６、及び、孫（すなわち、第３の）基準マーカー１０９からなる、３つのコンポーネント基準マーカーから構成される。この非限定的な例では３の入れ子構成が用いられるが、マルチ・スケール基準マーカーは、基準マーカーの特定の構成及び目的によって、任意の深さで入れ子にされるか、或いは、全く入れ子にされない場合があるものと理解される。
この例では、コンポーネント基準マーカー１０３、１０６、及び、１０９の各々は、黒または白の正方形タイルからなる６×６のグリッドを含む。実際、この例では、コンポーネント基準マーカー１０３、１０６、及び、１０９の各々は、同じグリッドの３つの異なるスケールのバージョンである。単に対象物の識別を容易にするだけではなく、コンポーネント基準マーカー１０３、１０６、及び、１０９は、特定の情報をコード化することができる。例えば、各タイルは、そのタイルが白か黒かによって情報の小部分をコード化することとして観測され得る。マルチ・スケール基準マーカー１００の各スケールは、その各親基準マーカー、及び／または、その各子基準マーカーの相対的位置を決定するために独立して用いられ得る。
マルチ・スケール基準マーカー１００に関して、コンポーネント基準マーカー１０３、１０６の部分１１２は、入れ子にされた対応する基準マーカーのために確保され得る。コンポーネント基準マーカー１０３、１０６を認識するためのスケール・ヴァリアント・アルゴリズム（ｓｃａｌｅ−ｖａｒｉａｎｔａｌｇｏｒｉｔｈｍ）は、子基準マーカーのために予定された位置である、対応する確保された部分１１２に対応するデータを能動的に無視するように構成され得る。この例では確保された部分１１２がコンポーネント基準マーカー１０３、１０６の中央に存在するように示されているが、確保された部分１１２は中央に存在する必要はなく、同じ相対的位置に存在する必要さえない。実際、確保された部分１１２は、また、基準マーカー１０３、１０６の境界の外であって基準マーカー１０３、１０６に対して相対的な位置に存在することができる。前記確保された部分１１２は、基準マーカー認識アルゴリズムに知られている位置に存在し得る。そうでなければ、例えば、親基準マーカー１０３の確保された部分１１２は、基準マーカー認識アルゴリズムへのノイズとして現れ得る。
以下において、基準マーカー認識システムの一例、及び、その構成部分の一般的な記述が提供される。その後に、それらの動作に関する記述が続く。
ここで図２に転ずると、様々の実施形態による、自律的に制御される空中運搬手段２００のブロック図が示される。自律的に制御される空中運搬手段２００は、制御ロジック２０３、撮像デバイス２０６、パワー・システム２０９、推進システム２１２、ガイダンス・ナビゲーション及び制御システム２１５、及び／または、他の構成部分を含むことができる。自律的に制御される空中運搬手段２００は、例えば、マルチ・ロータ・ドローンまたは他の航空機である場合がある。
撮像デバイス２０６は、１または複数の分解能で、自律的に制御される空中運搬手段２００の周囲のデジタル画像を撮るように構成されたイメージセンサを含むことができる。１つの実施形態においては、撮像デバイス２０６はカラー画像を撮ることができる。しかし、カラーフィルタの存在のために、カラー画像の感度は比較的低い場合がある。こうして、他の実施形態においては、撮像デバイス２０６はグレースケール画像を撮るように構成され得る。幾つかの実施形態においては、自律的に制御される空中運搬手段２００は、例えば、様々の方向を観察し、ステレオ・データを提供し、幾何学的なデータを提供する等のために、複数の撮像デバイス２０６を使用することができる。撮像デバイス２０６は、（例えば、赤外線、紫外線のような）非可視の電磁放射を撮ることができる。
パワー・システム２０９は、バッテリまたは他の動力源を含むことができる。バッテリは充電式であり得る。本開示の１つの用途は、自律的に制御される空中運搬手段２００に充電スタンドに入るように指示することである場合がある。推進システム２１２は、自律的に制御される空中運搬手段２００の推進力またはスラストを制御することができる。例えば、推進システム２１２は、垂直揚力及び横推進力を提供する複数のプロペラの動作を制御することができる。ガイダンス・ナビゲーション及び制御システム２１５は、自律的に制御される空中運搬手段２００の方向（例えば、自律的に制御される空中運搬手段２００の回転）を制御することができる。
制御ロジック２０３は、自律的に制御される空中運搬手段２００の動作を制御するように構成される。このために、制御ロジック２０３は、自律的に制御される空中運搬手段２００の他の複数のシステムの間で、撮像デバイス２０６、パワー・システム２０９、推進システム２１２、ガイダンス・ナビゲーション及び制御システム２１５の動作を制御することができる。制御ロジック２０３には、基準マーカー認識設定データ２２１に作用する基準マーカー認識ロジック２１８を組み入れ得る。基準マーカー認識設定データ２２１は、基準マーカー・パターン２２４と、基準マーカー・パターン２２４を認識すると実行される複数の動作２２７とを含むことができる。
基準マーカー認識ロジック２１８は、撮像デバイス２０６によって撮られた画像に作用して、基準マーカー・パターン２２４がこれらの画像に存在するかどうかを決定するように構成される。基準マーカー認識ロジック２１８は、基準マーカー・パターン２２４を認識するために、スケール・ヴァリアント・アルゴリズムを使用することができる。非限定的な例として、基準マーカー認識ロジック２１８は、特徴サイズが２０ピクセルであって１０ピクセルではない場合に、または、その逆の場合に、特定の基準マーカー・パターン２２４を認識することができる。幾つかの実施形態においては、スケール・インヴァリアント・アルゴリズムは、複数のスケールの基準マーカーの同時使用を可能とするようにマルチ・スケール基準マーカーを認識する間に基準マーカー認識ロジック２１８によって用いられ得る。
。
基準マーカー・パターン２２４が存在するならば、制御ロジック２０３は特定の動作２２７を実行するように構成され得る。この動作２２７は、自律的に制御される空中運搬手段２００を、検出された基準マーカー・パターン２２４に対して特定の方向に操縦すること、自律的に制御される空中運搬手段２００を回転するか、もしくは、自律的に制御される空中運搬手段２００の向きを他の方法で調節すること、及び／または、他の動作を含むことができる。自律的に制御される空中運搬手段２００が検出された基準マーカー・パターン２２４に向かうように操縦されるにつれて、撮像デバイス２０６によって撮られた画像中で、入れ子にされた他の基準マーカー・パターン２２４が見える（すなわち、認識できる）ようになる場合がある。同様に、以前に検出された基準マーカー・パターン２２４は、少なくとも部分的に切り取られるか、または、撮像デバイス２０６の視野から外れる場合がある。
１つの非限定的な例においては、親基準マーカーは、建物の壁上で見られる場合がある。親基準マーカーのブロックは、塗装されたコンクリート・ブロックに一致する場合がある。親基準マーカーは、自律的に制御される空中運搬手段２００が、どの壁に向かって操縦されるかを決定することを支援することができる。親基準マーカーの範囲内には、自律的に制御される空中運搬手段２００が、壁上の潜在的に複数の電力ポートの１つに近づくために用いられるべき方位を識別することを支援する１または複数の子基準マーカーが存在し得る。これらの子基準マーカーは、親基準マーカーが認識される画像からは最初には解像不可能である場合がある。すなわち、自律的に制御される空中運搬手段２００は、最初には余りに遠く離れていて子基準マーカーを解像することができない場合がある。さらに入れ子にされた基準マーカーは、利用できる電圧等のような追加情報を提供することができる。その情報は、電力ポートが近くなるにつれて、より詳細に提供され得る。
他の非限定的な例においては、マルチ・スケール基準マーカーは、移動する対象物（例えば、自律的に制御される空中運搬手段２００、凧、風船等）上に存在して、固定されたシステムまたは他の１つの自律的に制御される空中運搬手段２００によって認識される場合がある。こうして、観測システムの動きだけでなく、基準マーカー自体の動きによって、撮画像の間でその基準マーカーの距離の変化がを生じ得る。
ここで、基準マーカー認識ロジック２１８によって認識され得るマルチ・スケール基準マーカーの更なる非限定的な例について論ずる。マルチ・スケール基準マーカーの特徴は、コントラストの大きい、言い換えれば、くっきりとした角または端を含むように選ばれ得る。高コントラストの特徴は、本質的に並外れており、多種多様な状況にわたって認識を容易にする。
図３Ａは、親基準マーカー３０３と子基準マーカー３０６とを有するマルチ・スケール基準マーカー３００を示す。親基準マーカー３０３の構成は、親基準マーカー１０３（図１）に類似した黒または白のタイルからなる６×６グリッドである。しかし、マルチ・スケール基準マーカー１００（図１）とは異なり、子基準マーカー３０６は、中心を外れて位置する。
図３Ｂは、図３Ａと類似しているが、同じスケールで複数の子基準マーカー３０６、３０９を含む。両方の子基準マーカー３０６、３０９は、同じ情報をコード化する。
マルチ・スケール基準マーカー３００が同じスケールの複数の子基準マーカー３０６、３１２を含むという点で、図３Ｃは図３Ｂと類似している。しかし、子基準マーカー３１２は子基準マーカー３０６の情報と異なる情報をコード化し、子基準マーカー３１２は異なる構成を示す。
図４Ａは、親基準マーカー４０３と子基準マーカー４０６とを有するマルチ・スケール基準マーカー４００を示す。親基準マーカー４０３の構成は、親基準マーカー１０３（図１）に類似した黒または白の複数のタイルからなる６×６グリッドである。しかし、マルチ・スケール基準マーカー１００（図１）とマルチ・スケール基準マーカー３００（図３Ａ）とは異なり、子基準マーカー４０６は異なる構成で、異なる情報をコード化することができる。具体的には、子基準マーカー４０６は、黒または白のタイルからなる８×８グリッドである。子基準マーカー４０６は、子基準マーカー４０６が親基準マーカー４０３に対してどのくらい深いかについての情報をコード化することができる。子基準マーカー４０６は、多くの入れ子構成を有するマルチ・スケール基準マーカー４００のために有用であり得る。このことは、観測される対象物のグランド・トゥルース計量を光学系に与えることができるローカライゼーション・フィードバックを提供する。
場合によっては、マルチ・スケール基準マーカー４００は同じネストの深さで幾つかの子基準マーカーを含むことができ、それは、互いの繰り返しであり得る。これにより、（例えば、影等のように）特徴を見えなくすることによって起こる難問を克服するために情報を冗長にコード化することを支援することができる。
図４Ｂはマルチ・スケール基準マーカー４００を示し、ここで、子基準マーカー４０６は親基準マーカー４０３の境界４１２内で入れ子にされていない。その代わりに、子基準マーカー４０６は、親基準マーカー４０３に対して相対的な位置に配置される。そのような位置は予め決定され得、子基準マーカー４０６が親基準マーカー４０３にリンクされると推測するために用いられ得る。例えば、自律的に制御される空中運搬手段２００（図２）は、親基準マーカー４０３を認識すると、期待される子基準マーカー４０６を認識するために、右へ動いてもよい。このように、マルチ・スケール基準マーカー４００は、親基準マーカー４０３内に入れ子することによってリンクされた、あるいは、親基準マーカー４０３に対して所定の相対的位置にあることによってリンクされた子基準マーカー４０６を含むことができる。
図５は、親基準マーカー５０３と子基準マーカー５０６とを有するマルチ・スケール基準マーカー５００を示す。マルチ・スケール基準マーカー１００（図１）、マルチ・スケール基準マーカー３００（図３Ａ）、及び、マルチ・スケール基準マーカー４００（図４Ａ）とは異なり、マルチ・スケール基準マーカー５００は、黒または白の複数の正方形からなるグリッドではなく、入れ子にされた環を用いる。この場合、マルチ・スケール基準マーカー５００は親基準マーカー５０３と子基準マーカー５０６とを含む。しかし、いかなるレベルの入れ子でも用いられ得る。ここでは、親基準マーカー５０３及び子基準マーカー５０６は同心の環である。しかし、他の例においては、親基準マーカー５０３及び子基準マーカー５０６は中心からはずれていてもよい。
コンポーネント基準マーカー５０３及び５０６の各々は、それぞれの回転マーカー５０９を含むことができる。この場合、回転マーカー５０９は黒または白である。しかし、色もまた用いられ得る。回転マーカー５０９は、特定情報をコード化するために用いられ得る。例えば、範囲情報を引き出すために、各回転マーカー５０９の角測長さ及び、または径方向厚さが、対応するコンポーネント基準マーカー５０３、５０６の周長に対して比較され得る。また、複数の回転マーカー５０９の間の角度は、情報をコード化するために用いられ得る。１つの例においては、回転マーカー５０９は、同期フィールドと他の情報を有するバーコードを含むことができる。親基準マーカー５０３によってコード化される情報は、子基準マーカー５０６によってコード化される情報と異なることができる。中央からの距離に関係なく、コンポーネント基準マーカー５０３、５０６の回転マーカー５０９は同じ角度情報をコード化することができる。親基準マーカー５０３と子基準マーカー５０６の間における境界が本来有する対称性のために、子基準マーカー５０６は、回転情報をコード化するために自由に回転され得る。勿論、他の幾何学的構成も、図６におけるような程度まで使用され得る様々の対称性を有する。
図６は、親基準マーカー６０３、子基準マーカー６０６、及び、孫基準マーカー６０９を有するマルチ・スケール基準マーカー６００を示す。この例のマルチ・スケール基準マーカー６００は、コンポーネント基準マーカー６０３、６０６、６０９間でＬ字形をなす。この例では、マルチ・スケール基準マーカー６００は、情報を伝達するために、色、テクスチャ、反射率、または、パターンを使うことができる。例えば、この例のコンポーネント基準マーカー６０３、６０６、６０９は、最も上の部分６１２及び横の部分６１５を有している。最も上の部分６１２及び横の部分６１５それぞれの明確に認識できる、色、テクスチャ、反射率、または、パターンが特定情報を伝達することができる。図６では説明を単純にするために複数のパターンが用いられているが、複数の色が用いられ得ることが理解される。
認知のしやすさのために、対応する最も上の部分６１２と同じスケールの対応する横の部分６１５の色及びパターンは類似しているか、または、関連がある場合がある。（例えば、最も上の部分６１２は横線のパターンを有し、横の部分６１５は縦線のパターンを有する、あるいは、最も上の部分６１２は濃い色合いの青を有し、横の部分６１５は中間的な色合いの青を有する。）非限定的な例として、３つの異なる色が用いられる場合を考える。この場合、２つの部分を有するコンポーネント基準マーカーに対しては９つの異なる組合せをもたらす。これらの組合せの各々は、基準マーカー認識ロジック２１８（図２）への特定の信号に対応し得る。さらに、最も上の部分６１２と横の部分６１５との接続性が特定情報を伝達することができる。例えば、最も上の部分６１２と横の部分６１５とは孫基準マーカー６０９内で位置を交換する（すなわち、横の代わりに上に接続される）。
図７に進むと、図１の場合のようにマルチ・スケール基準マーカー１００が示されているが、ここでは、撮像デバイス２０６（図２）のために特定の視野７００が示されている。この例では、撮像デバイス２０６はマルチ・スケール基準マーカー１００に余りに近く、マルチ・スケール基準マーカー１００の親基準マーカー１０３の全体（図１）を見ることができない。言い換えると、親基準マーカー１０３の一部は、切り取られているか、または、撮像デバイス２０６には見えない。図７では、この部分は、灰色のパターンを用いて視覚的に示されている。撮像デバイス２０６は、親基準マーカー１０３の複数の部分を見ることができるが、恐らく、正しく親基準マーカー１０３を認識するためには十分でない。
しかし、子基準マーカー１０６（図１）及び孫基準マーカー１０９（図１）が視野７００の中にあるので、撮像デバイス２０６は子基準マーカー１０６（図１）及び孫基準マーカー１０９（図１）の全体を見ることができる。この例では、子基準マーカー１０６及び孫基準マーカー１０９は同じ情報をコード化するので、情報の損失はない。こうして、基準マーカー認識ロジック２１８（図１）は、親基準マーカー１０３を認識することなく、子基準マーカー１０６や孫基準マーカー１０９を認識することができる。幾つかのシナリオでは、基準マーカー認識ロジック２１８は、親基準マーカー１０３を既に認識している場合がある。制御ロジック２０３（図２）は、子基準マーカー１０６及び／または孫基準マーカー１０９から更なる命令を受け取るために、自律的に制御される空中運搬手段を、上記既定の視野７００を有する現在位置へ移らせる特定の動作２２７（図２）を既に適用している場合がある。
次に図８を参照すると、様々の実施形態による制御ロジック２０３の一部の動作の１例を示すフローチャートが示されている。図８のフローチャートは、本明細書に記載されるような制御ロジック２０３の一部の動作を実行するために用いられ得る多くの異なるタイプの機能上の構成の１例を単に提供するものと理解される。１つの選択肢として、１または複数の実施形態による自律的に制御される空中運搬手段２００（図２）において実行される方法の複数の要素の１例を示すものとして、図８のフローチャートは見られ得る。
枠８０３から始めて、制御ロジック２０３は撮像デバイス２０６（図２）によって画像を撮る。例えば、自律的に制御される空中運搬手段２００は、所定の位置または対象物へ向けて操縦され、連続的に画像を撮り、空中運搬手段２００がどのようにして所定の位置に到着すべきか、または、どのようにして所定の対象物と対話すべきかについて確認することができる。枠８０６において、制御ロジック２０３は、基準マーカー認識ロジック２１８（図２）を用いて画像認識を実行する。枠８０９において、制御ロジック２０３は、該画像が所定の基準マーカー・パターン２２４（図２）によるマルチ・スケール基準マーカーの親基準マーカーを示すかどうかを決定する。該画像が親基準マーカーを示さないと制御ロジック２０３が決定する場合、または、結果が確定的でないならば、制御ロジック２０３は枠８１２へ移り、自律的に制御される空中運搬手段をその進路に進み続けさせる。それから、制御ロジック２０３は枠８０３に戻って、画像を撮り続ける。
上記の場合と異なり、前記画像が親基準マーカーを示すと制御ロジック２０３が決定する場合、制御ロジック２０３は枠８０９から枠８１５へ移る。枠８１５において、制御ロジック２０３は、少なくとも部分的には、既に認識された基準マーカー・パターン２２４に基づいて、動作２２７（図２）を決定する。枠８１８において、制御ロジック２０３は、例えば、結果として前記自律的に制御される空中運搬手段２００が上記の認識された基準マーカーに近づくようにできる動作２２７を実行する。
枠８２１において、制御ロジック２０３は、撮像デバイス２０６によって、認識された基準マーカーに、より近い距離から画像を撮る。枠８２４において、制御ロジック２０３は、基準マーカー認識ロジック２１８を用いて画像認識を実行する。枠８２７で、上記の画像がマルチ・スケール基準マーカーの子基準マーカーを示すかどうかを、制御ロジック２０３が決定する。子基準マーカーが認識されないならば、制御ロジック２０３は枠８３０へ移り、自律的に制御される空中手段２００はその進路に進み続ける。それから、制御ロジック２０３は枠８１５に戻ることができる。
上記の場合と異なり、制御ロジック２０３が子基準マーカーを認識するならば、制御ロジック２０３は枠８２７から枠８３３へ移行する。枠８３３において、制御ロジックは、子基準マーカーを昇格させて親基準マーカーとするべきかどうかを決定する。もしそうであるならば、制御ロジック２０３は枠８３６へ移り、子を親に昇格させる。それから、制御ロジック２０３は枠８１５に戻る。子基準マーカーが親に昇格されないならば、制御ロジック２０３は枠８３３から枠８３９へ移る。
枠８３９において、制御ロジック２０３は、少なくとも部分的には子基準マーカーに基づいて動作２２７を決定する。枠８４２において、制御ロジック２０３は、動作２２７が実行されるようにする。その後、制御ロジック２０３は枠８２１に戻り、撮像デバイス２０６によって画像を撮り続けることができる。それから、更なる子基準マーカーが認識され得、そして、更なる動作２２７が実行され得る。
図８のフローチャートは親基準マーカーから子基準マーカーへの移動に関係するフローを示すが、その逆も実行され得るものと理解される。つまり、同様の制御フローは、子基準マーカーから親基準マーカーへ、それから、祖父基準マーカーへ等の移動を含むことができる。
図９を参照すると、本開示の実施形態によるコンピューティング装置９００の概略ブロック図が示されている。例えば、自律的に制御される空中運搬手段２００は、コンピューティング装置９００を含むことができる。或いは、コンピューティング装置９００は（地上車両を含む）移動可能な他のタイプの車両内に具現化され得る。幾つかの実施形態においては、制御ロジック２０３の機能は、自律的に制御される空中運搬手段２００との、または、ネットワークを介して他の車両とのデータ通信において、別のサーバまたはクライアント・コンピューティング装置９００によって実行され得る。そのようなコンピューティング装置９００は、自律的に制御される空中運搬手段２００または他の車両から遠く離れて配置されことができる。
コンピューティング装置９００は少なくとも１つのプロセッサ回路を含む。このプロセッサ回路は、例えば、プロセッサ９０３及びメモリ９０６を有する。プロセッサ９０３及びメモリ９０６は、両方共、ローカル・インターフェース９０９に接続される。理解され得るように、ローカル・インターフェース９０９は、例えば、付随的なアドレス／制御バスまたは他のバス構造を有するデータバスを有することができる。
プロセッサ９０３によって実行可能である幾つかのコンポーネント及びデータの両方が記憶領域９０６に格納される。特に、（基準マーカー認識ロジック２１８を含み、さらに、潜在的に他の複数のシステムをも含む）制御ロジック２０３は、メモリ９０６に保存され、プロセッサ９０３によって実行可能である。さらに、基準マーカー認識設定データ２２１及び他のデータもメモリ９０６に保存され得る。さらに、オペレーティング・システムもまた、メモリ９０６に保存され、プロセッサ９０３によって実行可能である。
理解され得るように、記憶領域９０６に格納されプロセッサ９０３によって実行可能である他のアプリケーションも存在し得るものと理解される。ここに記述されるいかなるコンポーネントもソフトウェアの形で実装され、幾つかのプログラミング言語（例えば、Ｃ，Ｃ＋＋，Ｃ＃，Ｏｂｊｅｃｔｉｖｅ Ｃ，Ｊａｖａ（登録商標），ＪａｖａＳｃｒｉｐｔ（登録商標），Ｐｅｒｌ，Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標），Ｐｙｔｈｏｎ（登録商標），Ｆｌａｓｈ（登録商標），アセンブリ，または、他のプログラミング言語）の何れの１つでも用いられ得る。
複数のソフトウェア・コンポーネントが記憶領域９０６に格納され、プロセッサ９０３によって実行可能である。ここで、「実行可能である」という語は、プロセッサ９０３によって最終的に実行され得る形にあるプログラム・ファイルを意味する。実行可能プログラムの複数の例は、例えば、メモリ９０６のランダム・アクセス部分へロードされ得、プロセッサ９０３によって実行され得るフォーマットのマシンコードに翻訳され得るコンパイル済みプログラム、または、メモリ９０６のランダム・アクセス部分へロードされ得、プロセッサ９０３によって実行され得るバイトコードのような適当なフォーマットで表され得るソースコード、または、プロセッサ９０３によって実行されるためにメモリ９０６のランダム・アクセス部分内に命令を生成するために他の１つの実行可能なプログラムによって解釈され得るソースコード等であり得る。例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハード・ドライブ、ソリッド・ステート・ドライブ、ＵＳＢフラッシュ・ドライブ、メモリ・カード、光ディスク（例えば、コンパクトディスク（ＣＤ）または汎用デジタル・ディスク（ＤＶＤ））、フロッピ・ディスク、磁気テープ、プロセッサ９０３に一体化されたメモリ、または、その他のメモリ・コンポーネントを含む、メモリ９０６のいかなる部分またはコンポーネントにも、実行可能なプログラムは格納され得る。
ここでは、メモリ９０６は、揮発性及び不揮発性の両方のメモリ及びデータ記憶コンポーネントを含むように定義される。揮発性のコンポーネントは、電源の喪失に際しデータの値を保持しないものである。不揮発性のコンポーネントは、電源の喪失に際しデータを保持するものである。このように、メモリ９０６は、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハード・ディスク・ドライブ、ソリッド・ステート・ドライブ、ＵＳＢフラッシュ・ドライブ、メモリ・カード・リーダーによってアクセスされるメモリ・カード、関連するフロッピ・ディスク・ドライブによってアクセスされるフロッピ・ディスク、光学ディスク・ドライブによってアクセスされる光ディスク、適切なテープ装置によってアクセスされる磁気テープ、及び／または、他のメモリ・コンポーネント、または、これらのメモリ・コンポーネントのうちの２つ以上の組合せを含む。さらに、ＲＡＭは、例えば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、強誘電体メモリ（ＦＲＡＭ（登録商標））、または、磁気ランダム・アクセス・メモリ（ＭＲＡＭ）、そして、他のそのようなデバイスを含む。ＲＯＭは、例えば、プログラマブル読取り専用メモリ（ＰＲＯＭ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、または、他の同様のメモリ素子を含む。
さらに、プロセッサ９０３はマルチプロセッサ９０３、及び／または、マルチプロセッサ・コアを意味する場合があり、メモリ９０６は、並列処理回路においてそれぞれ動作する複数のメモリ９０６を意味する場合もある。そのような場合には、ローカル・インターフェース９０９は、マルチプロセッサ９０３のうちの何れの２つの間のコミュニケーションでも、マルチプロセッサ９０３のうちの何れの１つと複数のメモリ９０６のうちの何れの１つとの間のコミュニケーションでも、または、複数のメモリ９０６のうちの何れの２つの間のコミュニケーションでも、または、その他同様のコミュニケーションでも容易にする適切なネットワークであり得る。ローカル・インターフェース９０９は、このコミュニケーションを調整する（例えば、ロード・バランシングを実行することを含む）ように構成された更なるシステムを含むことができる。プロセッサ９０３は、電気的な構造を有するもの、または、他の何らかの利用可能な構造を有するものであり得る。
制御ロジック２０３、基準マーカー認識ロジック２１８、及び、本明細書に記載される他の様々のシステムは、上に記述されたような汎用ハードウェアによって実行されるソフトウェアまたはコードで具現化され得るが、その代わりに、制御ロジック２０３、基準マーカー認識ロジック２１８、及び、ここに記述される他の様々のシステムは、専用のハードウェアによっても、または、ソフトウェア／汎用ハードウェアと専用のハードウェアとの組合せによっても具現化され得る。制御ロジック２０３、基準マーカー認識ロジック２１８、及び、ここに記述される他の様々のシステムが専用のハードウェアで具現化される場合、これらの各々は、幾つかの技術の何れか１つ、または、複数の技術の組合せを用いる回路または状態マシンとして実現され得る。これらの技術は、１または複数のデータ信号の印加に際し様々の論理関数を実行するための複数の論理ゲートを有する別個の論理回路、複数の適切な論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、複数のフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、複数のコンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、または、他の構成部品等を含むが、これらに限定されるものではない。上記のような技術は、一般に当業者によって良く知られており、したがって、本明細書では詳述しない。
図８のフローチャートは、制御ロジック２０３の複数の部分の、１つの実施態様の機能及び動作を示す。制御ロジック２０３、基準マーカー認識ロジック２１８、及び、ここに記述される他の様々のシステムがソフトウェアで具現化される場合、各ブロックは、指定された論理関数を実行するための複数のプログラム命令を含むコードのモジュール、セグメント、または、部分を示すことができる。プログラム命令は、プログラミング言語で書き込まれた、人間が読み取れる複数のステートメントを含むソースコードの形で、または、アセンブリ・コードの形で、または、コンピュータシステムまたは他のシステムにおいてプロセッサ９０３のような適当な実行システムによって認識可能な数字による命令を含むマシンコードの形で実装され得る。マシンコードは、ソースコード等から変換され得る。ハードウェアで具現化される場合、各ブロックは、指定された１または複数の論理関数を実行するための、１つの回路、または、相互接続した複数の回路を示すことができる。
図８のフローチャートは実行の特定の順序を示すが、実行の順序は、示されている順序とは異なってもよいものと理解される。例えば、２つ以上のブロックの実行の順序は、示される順序に対して変更される場合がある。また、図８に連続して示される２つ以上のブロックは、完全に、または、部分的に並行して実行される場合がある。さらに、幾つかの実施形態において、図８に示されるブロックのうちの１または複数は、スキップしたり、または、省略される場合がある。さらに、拡大された有用性、アカウンティング、性能測定、または、トラブルシューティング支援の提供等の目的で、任意の数の、カウンタ、状態変数、警告セマフォ、または、メッセージが、本明細書に記載される論理フローに追加され得る。そのような変形の全ては本開示の範囲内であるものと理解される。
さらに、制御ロジック２０３及び基準マーカー認識ロジック２１８のように、本明細書に記述され、ソフトウェアまたはコードを含むいかなるロジックまたはアプリケーションであっても、（例えば、コンピュータシステムまたは他のシステム内のプロセッサ９０３のような）命令実行システムによって、または、その命令実行システムに関連して使用されるための何らかの非一時的なコンピュータで読取り可能な媒体によって具現化され得る。この意味で、該ロジックは、例えば、コンピュータで読取り可能な媒体からフェッチされ得、命令実行システムによって実行され得る、命令及び宣言を含むステートメントを含むことができる。本開示の文脈では、「コンピュータで読取り可能な媒体」は、命令実行システムによって、または、この命令実行システムに関連して使用されるためにここに記述されるロジックまたはアプリケーションを格納し、保存し、または、維持することができるいかなる媒体でもあり得る。
コンピュータで読取り可能な媒体は、多くの物理媒体（例えば、磁気、光学的、または、半導体の媒体）の何れか１つを含むことができる。適当な前記コンピュータで読取り可能な媒体の、より特定の幾つかの例は、磁気テープ、磁気フロッピ・ディスケット、磁気ハード・ドライブ、メモリ・カード、ソリッド・ステート・ドライブ、ＵＳＢフラッシュ・ドライブ、または、光ディスクを含むが、これらに限定されるものではない。また、コンピュータで読取り可能な媒体は、例えば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）及びダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、または、マグネティック・ランダム・アクセス・メモリ（ＭＲＡＭ）を含むランダム・アクセス・メモリ（ＲＡＭ）であり得る。さらに、前記コンピュータで読取り可能な媒体は、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、または、他のタイプのメモリ素子であり得る。
さらに、本明細書に記載される、制御ロジック２０３及び基準マーカー認識ロジック２１８を含むいかなるロジックまたはアプリケーションであっても、様々の方法で実装及び構築され得る。例えば、記述される１または複数のアプリケーションは、単一のアプリケーションのモジュールまたはコンポーネントとして実装され得る。さらに、本明細書に記載される１または複数のアプリケーションは、共用または別個のコンピューティング装置またはその組合せによって実行され得る。例えば、本明細書に記載される複数のアプリケーションは、同一のコンピューティング装置９００において、または、複数のコンピューティング装置９００において実行することができる。さらに、「アプリケーション」、「サービス」、「システム」、「エンジン」、「モジュール」等のような用語は交換可能であり得、これらに限定することを目的としないものと理解される。
この開示によって考えられる、選ばれた実施形態においては、自律的に制御される空中運搬手段と、この空中運搬手段に実装される制御ロジックとを含むシステムを含むことができる。ここで、制御ロジックは、前記自律的に制御される空中運搬手段の撮像デバイスによって第１の位置で第１の画像を撮ること、前記第１の画像の範囲内に示されるマルチ・スケール基準マーカーの中の第１のスケールの第１の基準マーカーを認識すること、少なくとも部分的には前記第１の基準マーカーに含まれる情報に基づいて、前記自律的に制御される空中運搬手段を、前記マルチ・スケール基準マーカーに対して相対的に操縦すること、前記撮像デバイスによって第２の位置で第２の画像を撮ること、前記マルチ・スケール基準マーカーの中の第２のスケールの前記第２の画像の範囲内に示される第２の基準マーカーを認識すること、及び少なくとも部分的には前記第２の基準マーカーに含まれる情報に基づく動作を実行すること、のうちの１または複数を含む方法を実行するように構成される。
随意に、前記マルチ・スケール基準マーカーの各スケールは、各親基準マーカー及び各子基準マーカーのうちの少なくとも１つの相対的位置を決定するために独立して用いられ得る。随意に、前記第１の基準マーカーの少なくとも一部分は前記第２の画像中では切り取られているか、または、前記第２の基準マーカーは前記第１の画像からは前記制御ロジックによっては解像不能である。随意に、前記第１の基準マーカーを認識することは、前記第１の画像からの、前記第２の基準マーカーの期待される位置に対応するデータを能動的に無視することをさらに含むことができる。随意に、前記制御ロジックは、スケール・インヴァリアント・アルゴリズムを使用することなく前記第１の基準マーカー及び前記第２の基準マーカーを認識するように構成され得る。随意に、前記動作は、少なくとも部分的には前記第２の基準マーカーに含まれる情報に基づいて、前記自律的に制御される空中運搬手段を、前記マルチ・スケール基準マーカーに対して相対的に操縦することを含むことができる。随意に、前記マルチ・スケール基準マーカーは、前記第１の画像が撮られた時と前記第２の画像が撮られた時との間に移動した対象物に添付されているものであり得る。上記の選択肢の何れもが単独で、または、組合せて前述のシステムに対して適用され得る。
この開示によって考えられる、選ばれた実施形態は、第１のスケールの第１の基準マーカーと、前記第１の基準マーカーにリンクされた、前記第１のスケールより小さい第２のスケールの第２の基準マーカーと、前記第２の基準マーカーにリンクされた、前記第２のスケールより小さい第３のスケールの第３の基準マーカーとを含むマルチ・スケール基準マーカーを含むこともできる。
随意に、前記マルチ・スケール基準マーカーは、前記第１のスケール、前記第２のスケール、及び、前記第３のスケールの少なくとも１つにリンクされた、前記第１のスケール、前記第２のスケール、及び、前記第３のスケールと異なるスケールの少なくとも１つの付加的な基準マーカーをさらに含むことができる。随意に、前記第２の基準マーカーは、前記第１の基準マーカーの境界の外で所定の相対的位置に配置され得る。随意に、前記第１の基準マーカーは黒または白の複数のブロックからなる第１のグリッドを含むことができ、前記第２の基準マーカーは黒または白の複数のブロックからなる第２のグリッドを含むことができ、第３の基準マーカーは黒または白の複数のブロックからなる第３のグリッドを含むことができ、前記第２の基準マーカーは前記第１のグリッドの範囲内で所定のブロック位置に配置されることができ、前記第３の基準マーカーは前記第２のグリッドの範囲内で所定のブロック位置に配置されることができる。随意に、前記マルチ・スケール基準マーカーは、前記第１の基準マーカーにリンクされた、前記第２のスケールの第４の基準マーカーをさらに含むことができる。随意に、前記第２の基準マーカーは前記第１の基準マーカーの中心に配置され得、前記第３の基準マーカーは前記第２の基準マーカーの中心に配置され得る。随意に、前記第２の基準マーカーは前記第１の基準マーカーの中心に配置されないようにでき、或いは、前記第３の基準マーカーは前記第２の基準マーカーの中心に配置されないようにできる。随意に、前記第１の基準マーカー、前記第２の基準マーカー、または、前記第３の基準マーカーのうちの少なくとも２つは、異なる情報をコード化することができ、あるいは、前記第１の基準マーカー、前記第２の基準マーカー、または、前記第３の基準マーカーのうちの少なくとも２つは、異なる色、異なるテクスチャ、または、異なるパターンのうちの少なくとも１つを用いることができる。随意に、前記第１の基準マーカー、前記第２の基準マーカー、及び、前記第３の基準マーカーは、各々、少なくとも１つの回転マーカーを有する同心環を有することができる。上記の選択肢の何れもが単独で、または、組合せて前記マルチ・スケール基準マーカーに対して適用され得る。
この開示によって考えられる、選ばれた実施形態は、以下の動作を含む方法を含む。ある位置の第１の画像を第１の距離においてコンピューティング装置の撮像デバイスによって撮ること、そして、前記第１の画像の範囲内に示され、前記第１の画像によって少なくとも部分的に切り取られている第１の基準マーカー内に入れ子にされた第２の基準マーカーを前記コンピューティング装置によって認識すること。
随意に、前記第２の基準マーカーを認識することは、スケール・ヴァリアント・アルゴリズムを用いて前記第２の基準マーカーを前記コンピューティング装置によって認識することをさらに含むことができる。随意に、前記撮像デバイスは、移動可能である対象物上に取り付けられ得る。随意に、前記方法は、前記位置の第２の画像を、前記第１の距離より前記位置に近い第２の距離において前記コンピューティング装置の前記撮像デバイスによって撮ることと、前記第２の画像の範囲内に示され、前記第２の基準マーカー内に入れ子にされている第３の基準マーカーを前記コンピューティング装置によって認識することとをさらに含むことができる。上記の選択肢の何れもが単独で、または、組合せて前記方法に対して適用され得る。
特に別の記載が無い限り、「Ｘ、Ｙ、または、Ｚのうちの少なくとも１つ」という表現のような択一的な記載は、項目、条件等がＸ、Ｙ、または、Ｚ、或いは、それらの何れかの組合せであってよいということ（例えば、Ｘ、Ｙ、及び／または、Ｚ）を表現するために一般に用いられるものとして文脈に対応して理解される。こうして、上記のような択一的な記載は、一般に、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、及び、Ｚの少なくとも１つが各々存在することを要求するということを含意する意図ではなく、また、そうあってはならない。
本開示の上述の実施形態は、単に、本開示の原理のより明確な理解のために記載された実施態様の可能な例に過ぎないことは強調されなければならない。上述の実施形態に対して、多くの変形及び部分的変更が、本開示の精神及び原理から実質的に外れることなく、なされ得る。そのような変形及び部分的変更の全ては、本開示の範囲内に含まれ、以下の請求項によって保護されることを意図している。
関連出願の相互参照
本出願は、２０１４年１０月２９日に出願された米国特許出願第１４／５２７，２６１号の優先権及び利益を主張し、その内容全体を参照により本明細書に援用する。

Claims (13)

  1. 第１のスケールの第１の基準マーカーと、
    前記第１の基準マーカーにリンクされた、前記第１のスケールより小さい第２のスケールの第２の基準マーカーと、
    前記第２の基準マーカーにリンクされた、前記第２のスケールより小さい第３のスケールの第３の基準マーカーと
    を含むマルチ・スケール基準マーカー。
  2. 前記第１の基準マーカー、前記第２の基準マーカー、及び、前記第３の基準マーカーのうちの少なくとも１つにリンクされた、前記第１の基準マーカー、前記第２の基準マーカー、及び、第３の基準マーカーと異なるスケールで、少なくとも１つの付加的な基準マーカーをさらに含む請求項１に記載のマルチ・スケール基準マーカー。
  3. 前記第２の基準マーカーは、所定の相対的位置で、前記第１の基準マーカーの境界の外に配置される請求項１または２のいずれかに記載のマルチ・スケール基準マーカー。
  4. 前記第１の基準マーカーは黒または白の複数のブロックからなる第１のグリッドを含み、前記第２の基準マーカーは黒または白の複数のブロックからなる第２のグリッドを含み、前記第３の基準マーカーは黒または白の複数のブロックからなる第３のグリッドを含み、前記第２の基準マーカーは前記第１のグリッドの範囲内で所定のブロック位置に配置され、前記第３の基準マーカーは前記第２のグリッドの範囲内で予所定のブロック位置に配置される請求項１、２、または、３のいずれかに記載のマルチ・スケール基準マーカー。
  5. 前記第１の基準マーカーにリンクされた、前記第２のスケールの第４の基準マーカーをさらに含む請求項１、２、３、または、４のいずれかに記載のマルチ・スケール基準マーカー。
  6. 前記第２の基準マーカーは前記第１の基準マーカーの範囲内の中心に配置され、前記第３の基準マーカーは前記第２の基準マーカーの範囲内の中心に配置される請求項１、２、３、４、または、５の何れかに記載のマルチ・スケール基準マーカー。
  7. 前記第２の基準マーカーは前記第１の基準マーカーの中心には配置されず、または、前記第３の基準マーカーは前記第２の基準マーカーの中心には配置されない請求項１、２、３、４、５、または、６のいずれかに記載のマルチ・スケール基準マーカー。
  8. 前記第１の基準マーカー、前記第２の基準マーカー、または、前記第３の基準マーカーのうちの少なくとも２つは異なる情報をコード化し、または、前記第１の基準マーカー、前記第２の基準マーカー、または、前記第３の基準マーカーのうちの少なくとも２つは、異なる色、異なるテクスチャ、または、異なるパターンのうちの少なくとも１つを用いる請求項１、２、３、４、５、６、または、７の何いずれかに記載のマルチ・スケール基準マーカー。
  9. 前記第１の基準マーカー、前記第２の基準マーカー、及び、前記第３の基準マーカーの各々は、それぞれ少なくとも１つの回転マーカーを有する同心環を含む請求項１、２、３、４、５、６、７、または、８のいずれかに記載のマルチ・スケール基準マーカー。
  10. 第１の位置の第１の画像を第１の距離においてコンピューティング装置の撮像デバイスによって撮ることと、
    前記第１の画像によって少なくとも部分的に切り取られている第１の基準マーカーの範囲内で入れ子にされ、前記第１の画像の範囲内に示される第２の基準マーカーを前記コンピューティング装置によって認識することと、
    を含む方法。
  11. 前記第２の基準マーカーを認識することは、スケール・ヴァリアント・アルゴリズムを用いる前記第２の基準マーカーを前記コンピューティング装置によって認識することをさらに含む請求項１０に記載の方法。
  12. 前記撮像デバイスは移動可能である対象物上に取り付けられる請求項１０または１１のいずれかに記載の方法。
  13. 前記第１の距離より位置に近い第２の距離において、前記位置の第２の画像を前記コンピューティング装置の前記撮像デバイスによって撮ることと、
    前記第２の画像の範囲内に示され、前記第２の基準マーカーの範囲内で入れ子にされた第３の基準マーカーを前記コンピューティング装置によって認識することと
    をさらに含む請求項１０、１１、または、１２のいずれかに記載の方法。
JP2017521194A 2014-10-29 2015-10-27 マルチ・スケール基準マーカー及び方法 Active JP6538163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/527,261 2014-10-29
US14/527,261 US9791865B2 (en) 2014-10-29 2014-10-29 Multi-scale fiducials
PCT/US2015/057563 WO2016069587A1 (en) 2014-10-29 2015-10-27 Multi-scale fiducials

Publications (2)

Publication Number Publication Date
JP2017534869A true JP2017534869A (ja) 2017-11-24
JP6538163B2 JP6538163B2 (ja) 2019-07-03

Family

ID=54542525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521194A Active JP6538163B2 (ja) 2014-10-29 2015-10-27 マルチ・スケール基準マーカー及び方法

Country Status (6)

Country Link
US (2) US9791865B2 (ja)
EP (1) EP3213262B1 (ja)
JP (1) JP6538163B2 (ja)
CN (1) CN107111768B (ja)
CA (1) CA2961912C (ja)
WO (1) WO2016069587A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080068A (ja) * 2018-11-13 2020-05-28 株式会社日立製作所 二次元マーカ、二次元マーカ認識処理システム
JPWO2019175993A1 (ja) * 2018-03-13 2021-03-25 日本電気株式会社 目標部材
CN113366539A (zh) * 2018-11-15 2021-09-07 皇家飞利浦有限公司 对虚拟对象针对混合现实的系统定位
WO2022101892A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 垂直離着陸機の自動着陸システム、垂直離着陸機および垂直離着陸機の着陸制御方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9791865B2 (en) 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
CN108604382A (zh) * 2015-12-03 2018-09-28 奥斯兰姆施尔凡尼亚公司 用于移动运输系统的基于光的车辆定位
US10417469B2 (en) * 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
US11036946B2 (en) * 2016-05-07 2021-06-15 Canyon Navigation, LLC Navigation using self-describing fiducials
US11828859B2 (en) * 2016-05-07 2023-11-28 Canyon Navigation, LLC Navigation using self-describing fiducials
FR3051591B1 (fr) * 2016-05-17 2020-06-19 Horiba Jobin Yvon Sas Dispositif et procede de micro-localisation pour instrument imageur et appareil de mesure
CN109803735B (zh) * 2016-08-04 2021-10-08 索尼互动娱乐股份有限公司 信息处理装置、信息处理方法和信息介质
KR102494742B1 (ko) 2016-09-28 2023-02-01 쓰리엠 이노베이티브 프로퍼티즈 캄파니 머신-판독 물품을 위한 계층적 광학 요소 세트
EP3520031B1 (en) 2016-09-28 2021-12-08 3M Innovative Properties Company Occlusion-resilient optical codes for machine-read articles
KR102494746B1 (ko) 2016-09-28 2023-02-01 쓰리엠 이노베이티브 프로퍼티즈 캄파니 정적 데이터 및 동적 룩업 데이터 광학 요소 세트를 갖는 다차원 광학 코드
US10929730B2 (en) 2016-09-28 2021-02-23 3M Innovative Properties Company Retroreflective multiscale codes
US11086337B2 (en) * 2017-06-20 2021-08-10 Planck Aerosystems Inc. Systems and methods for charging unmanned aerial vehicles on a moving platform
US10432912B2 (en) * 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration
KR102444693B1 (ko) * 2017-11-15 2022-09-20 삼성전자 주식회사 청소용 이동장치 및 그 제어방법
DE102018203620A1 (de) 2018-03-09 2019-09-12 Robert Bosch Gmbh Entfernungsmesselement
US11429803B2 (en) 2018-03-27 2022-08-30 3M Innovative Properties Company Identifier allocation for optical element sets in machine-read articles
US10942045B1 (en) * 2018-04-03 2021-03-09 Waymo Llc Portable sensor calibration target for autonomous vehicle
US11249492B2 (en) * 2019-03-26 2022-02-15 Intel Corporation Methods and apparatus to facilitate autonomous navigation of robotic devices
US10623727B1 (en) 2019-04-16 2020-04-14 Waymo Llc Calibration systems usable for distortion characterization in cameras
CN110239677A (zh) * 2019-06-21 2019-09-17 华中科技大学 一种无人机自主识别靶标并降落到运动的无人艇上的方法
CN110239685B (zh) * 2019-07-09 2021-01-15 上海大学 一种用于无人艇平台的基于平行四连杆机构的自平稳多无人机降落装置
US11438886B2 (en) * 2020-02-27 2022-09-06 Psj International Ltd. System for establishing positioning map data and method for the same
WO2023105347A1 (en) * 2021-12-10 2023-06-15 Atai Labs Private Limited Computer implemented system and method for encoding and decoding color-coded fiducial markers

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235617A (ja) * 1999-02-17 2000-08-29 Olympus Optical Co Ltd データ読取装置
JP2002340756A (ja) * 2001-05-11 2002-11-27 Kansai Tlo Kk 位置決めマーカおよび位置決め装置
JP2003526842A (ja) * 1999-09-29 2003-09-09 イノベイティブ・テクノロジー・ライセンシング・エルエルシー グラフィカル・モデルを用いた三次元物体の動的な視覚的位置合せ
US20100203933A1 (en) * 2007-05-31 2010-08-12 Sony Computer Entertainment Europe Limited Entertainment system and method
JP2011019707A (ja) * 2009-07-15 2011-02-03 Fujifilm Corp Ｘ線撮影装置、ｘ線撮影装置の制御方法、及びプログラム
JP2012071645A (ja) * 2010-09-28 2012-04-12 Topcon Corp 自動離着陸システム
US20130016876A1 (en) * 2011-07-12 2013-01-17 Lucasfilm Entertainment Company Ltd. Scale independent tracking pattern
JP2013250684A (ja) * 2012-05-30 2013-12-12 Sharp Corp 自走式電子機器および自走式電子機器の制御システム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990007162A1 (en) * 1988-12-20 1990-06-28 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
JP2867904B2 (ja) * 1994-12-26 1999-03-10 株式会社デンソー ２次元コード読取装置
JP2002503338A (ja) * 1997-05-30 2002-01-29 ブリティッシュ・ブロードキャスティング・コーポレーション 位置検出
US6362875B1 (en) * 1999-12-10 2002-03-26 Cognax Technology And Investment Corp. Machine vision system and method for inspection, homing, guidance and docking with respect to remote objects
US6817539B2 (en) * 2000-06-30 2004-11-16 Silverbrook Research Pty Ltd Generating landscape and portrait oriented tags
US7231063B2 (en) * 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
FR2846432B1 (fr) * 2002-10-24 2005-03-11 Commissariat Energie Atomique Cible codee et procede de photogrammetre utilisant de telles cibles
US7878415B2 (en) * 2005-04-25 2011-02-01 Direct Measurements Inc. Segmented circular bar code
JP2006351620A (ja) * 2005-06-13 2006-12-28 Toshiba Corp 半導体装置、半導体装置の製造方法および半導体装置の情報管理システム
US8849943B2 (en) * 2005-12-19 2014-09-30 Palo Alto Research Center Incorporated Using multi-resolution visual codes to facilitate information browsing in the physical world
WO2008021458A2 (en) * 2006-08-17 2008-02-21 Gregory Hovis Two dimensional bar code having increased accuracy
US8459567B2 (en) * 2006-08-17 2013-06-11 Direct Measurements, Inc. Non-linear strain gage incorporating a nested binary code symbol
CN101354705B (zh) * 2007-07-23 2012-06-13 夏普株式会社 文档图像处理装置和文档图像处理方法
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US8439275B2 (en) * 2011-04-06 2013-05-14 Eastman Kodak Company Multi-resolution optical codes
US8807435B2 (en) * 2011-04-06 2014-08-19 Eastman Kodak Company Decoding multi-resolution optical codes
US9538892B2 (en) * 2012-10-05 2017-01-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same
EP2921997B1 (en) * 2012-11-13 2021-01-06 Kyodo Printing Co., Ltd. Two-dimensional code
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US10723442B2 (en) * 2013-12-26 2020-07-28 Flir Detection, Inc. Adaptive thrust vector unmanned aerial vehicle
US10839336B2 (en) * 2013-12-26 2020-11-17 Flir Detection, Inc. Unmanned delivery
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
EP3177531B1 (en) * 2014-08-08 2019-05-01 SZ DJI Technology Co., Ltd. Multi-zone battery exchange system for uav
US9359074B2 (en) * 2014-09-08 2016-06-07 Qualcomm Incorporated Methods, systems and devices for delivery drone security
US9791865B2 (en) 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
CN112859899A (zh) * 2014-10-31 2021-05-28 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US9969486B1 (en) * 2016-06-21 2018-05-15 Amazon Technologies, Inc. Unmanned aerial vehicle heat sensor calibration
US10733896B2 (en) * 2018-03-30 2020-08-04 Intel Corporation Projection-based cooperative collision avoidance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235617A (ja) * 1999-02-17 2000-08-29 Olympus Optical Co Ltd データ読取装置
JP2003526842A (ja) * 1999-09-29 2003-09-09 イノベイティブ・テクノロジー・ライセンシング・エルエルシー グラフィカル・モデルを用いた三次元物体の動的な視覚的位置合せ
JP2002340756A (ja) * 2001-05-11 2002-11-27 Kansai Tlo Kk 位置決めマーカおよび位置決め装置
US20100203933A1 (en) * 2007-05-31 2010-08-12 Sony Computer Entertainment Europe Limited Entertainment system and method
JP2011019707A (ja) * 2009-07-15 2011-02-03 Fujifilm Corp Ｘ線撮影装置、ｘ線撮影装置の制御方法、及びプログラム
JP2012071645A (ja) * 2010-09-28 2012-04-12 Topcon Corp 自動離着陸システム
US20130016876A1 (en) * 2011-07-12 2013-01-17 Lucasfilm Entertainment Company Ltd. Scale independent tracking pattern
JP2013250684A (ja) * 2012-05-30 2013-12-12 Sharp Corp 自走式電子機器および自走式電子機器の制御システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019175993A1 (ja) * 2018-03-13 2021-03-25 日本電気株式会社 目標部材
JP7028310B2 (ja) 2018-03-13 2022-03-02 日本電気株式会社 目標部材
US11866197B2 (en) 2018-03-13 2024-01-09 Nec Corporation Target member
JP2020080068A (ja) * 2018-11-13 2020-05-28 株式会社日立製作所 二次元マーカ、二次元マーカ認識処理システム
JP7239301B2 (ja) 2018-11-13 2023-03-14 株式会社日立製作所 二次元マーカ、二次元マーカ認識処理システム
CN113366539A (zh) * 2018-11-15 2021-09-07 皇家飞利浦有限公司 对虚拟对象针对混合现实的系统定位
JP2022513013A (ja) * 2018-11-15 2022-02-07 コーニンクレッカ フィリップス エヌ ヴェ 複合現実のための仮想オブジェクトの体系的配置
WO2022101892A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 垂直離着陸機の自動着陸システム、垂直離着陸機および垂直離着陸機の着陸制御方法

Also Published As

Publication number Publication date
WO2016069587A1 (en) 2016-05-06
US9791865B2 (en) 2017-10-17
US20170371351A1 (en) 2017-12-28
JP6538163B2 (ja) 2019-07-03
CA2961912A1 (en) 2016-05-06
US10613551B2 (en) 2020-04-07
EP3213262A1 (en) 2017-09-06
CN107111768A (zh) 2017-08-29
EP3213262B1 (en) 2020-05-06
CN107111768B (zh) 2020-11-24
CA2961912C (en) 2020-05-12
US20160124431A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
JP6538163B2 (ja) マルチ・スケール基準マーカー及び方法
Badrloo et al. Image-based obstacle detection methods for the safe navigation of unmanned vehicles: A review
US10679355B2 (en) System and method for detecting moving obstacles based on sensory prediction from ego-motion
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
Held et al. Precision tracking with sparse 3d and dense color 2d data
BR112020024333A2 (pt) rastrear veículos em um ambiente de armazém
JP2021516817A (ja) 目標対象の運動の向きを予測するための方法、車両制御方法及び装置
US11410405B2 (en) Imaging-based sensor calibration
CN105765627A (zh) 具有基于顶灯定位的工业车辆
Volden et al. Vision-based positioning system for auto-docking of unmanned surface vehicles (USVs)
US10134135B1 (en) System and method for finding open space efficiently in three dimensions for mobile robot exploration
CN113095184A (zh) 定位方法、行驶控制方法、装置、计算机设备及存储介质
CN114556252A (zh) 信息处理装置、信息处理方法和程序
Küçükyildiz et al. Development and optimization of a DSP-based real-time lane detection algorithm on a mobile platform
Dufek et al. Visual pose estimation of rescue unmanned surface vehicle from unmanned aerial system
KR20200128865A (ko) Cnn 기반의 객체 검출 장치 및 그 방법
US20210011495A1 (en) Moving body guidance apparatus, moving body guidance method, and computer-readable recording medium
Machkour et al. Monocular based navigation system for autonomous ground robots using multiple deep learning models
US11662739B2 (en) Method, system and apparatus for adaptive ceiling-based localization
US9165208B1 (en) Robust ground-plane homography estimation using adaptive feature selection
BR102018003125B1 (pt) Método para reconhecimento ótico de marcadores em ambiente externo
Sharma et al. Road Lane Line and Object Detection Using Computer Vision
US20220282977A1 (en) Noise reduction apparatus and method for map of robot
Shao et al. Water hazard detection based on 3D lidar
Pirasteh et al. Developing an expansion‐based obstacle detection using panoptic segmentation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190605

R150 Certificate of patent or registration of utility model

Ref document number: 6538163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250