JP2017224280A - 視覚的測位によるナビゲーション装置およびその方法 - Google Patents

視覚的測位によるナビゲーション装置およびその方法 Download PDF

Info

Publication number
JP2017224280A
JP2017224280A JP2017080318A JP2017080318A JP2017224280A JP 2017224280 A JP2017224280 A JP 2017224280A JP 2017080318 A JP2017080318 A JP 2017080318A JP 2017080318 A JP2017080318 A JP 2017080318A JP 2017224280 A JP2017224280 A JP 2017224280A
Authority
JP
Japan
Prior art keywords
robot
posture
feature
image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017080318A
Other languages
English (en)
Other versions
JP6475772B2 (ja
Inventor
ファン、チー−ミン
Ji Ming Huang
黄成�
Cheng Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Twoantz Inc
Original Assignee
Twoantz Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Twoantz Inc filed Critical Twoantz Inc
Publication of JP2017224280A publication Critical patent/JP2017224280A/ja
Application granted granted Critical
Publication of JP6475772B2 publication Critical patent/JP6475772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)

Abstract

【課題】屋内天井のORBの特徴点を測定・追跡して取得した特徴情報に基づいてシーンの地図を構築することで、ロボットの正確な測位およびルート計画を実現するナビゲーション装置及び方法を提供する。【解決手段】ロボットを駆動し、ロボットの現在の位置・姿勢情報をリアルタイムに取得する動作モジュールと、ロボット移動過程における環境画像を採取するカメラモジュールと、環境画像に対して特徴抽出と特徴描写を行う画像処理モジュールと、環境画像の特徴点描写をマッチングし、特徴データベースを構築し、ロボットの位置・姿勢修正量を算出し、さらにロボットの現在の位置・姿勢と位置・姿勢修正量に基づいて、修正後のロボット位置・姿勢を取得する位置・姿勢推定モジュールとを備える。【選択図】図1

Description

本発明は、ロボット制御領域に関し、特に天井の特徴点に基づく視覚的測位によるナビゲーション装置およびその方法に関する。
ホームオートメーションの発展に伴い、ロボット掃除機はより多くの家庭にて愛用されている。従来のロボット掃除機は、赤外線センサとカメラを利用することにより、視覚的測位によるナビゲーションを可能としているが、SLAM(Simultaneous Localization And Mapping、自己位置推定と環境地図の同時作成)技術はロボット領域において古い課題である。通常、SLAM問題とは、ロボットは未知環境において、ある未知の位置から移動を開始し、移動過程において、位置・姿勢推定と地図に基づいて自己を測位し、同時に自己を測位した基礎の上に増分地図を作成し、ロボットの自主測位とナビゲーションを実現することをいう。VSLAM(Visual Simultaneous Localization And Mapping、視覚的な自己位置推定と環境地図の同時作成)技術とは、ロボットが視覚的システムを利用して自主測位と地図作成を実現することを指し、従来とは異なるナビゲーション技術であり、コンピュータの視覚的技術に基づくロボット測位方法であり、その情報量は多く、適用範囲は広い。ロボットは、リアルタイムに自主測位と地図作成を行わなければナビゲーションタスクを完了できない。
しかしながら、従来のVSLAM手段について、天井に在る物体は限りがあるため、測位とナナビゲーション精度を保証するための均等に分布するに足りる特徴点が不足している。
本発明は、視覚的測位によるナビゲーション装置およびその方法を提供しており、屋内天井のORB(Oriented Fast and Rotated Brief)特徴点を計算・追跡した特徴情報に基づいて、周囲環境の地図を構築することにより、正確な測位ナビゲーション機能を実現する。
本発明は、ロボットを駆動し、前記ロボットの現在の位置・姿勢情報をリアルタイムに取得する動作モジュールと、画像センサーを含み、ロボット移動過程における環境画像を採取するカメラモジュールと、前記環境画像に対して特徴抽出と特徴描写を行う、画像処理モジュールと、複数の特徴点を含む特徴データベースを構築し、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢情報と前記位置・姿勢修正量に基づいて、修正後のロボットの位置・姿勢を取得する位置・姿勢推定モジュールと、を備える視覚的測位によるナビゲーション装置を開示する。
本発明は、ロボットを駆動しながら、前記ロボットの現在の位置・姿勢情報をリアルタイムに取得するステップと、ロボット移動過程における環境画像を採取するステップと、前記環境画像に対して特徴抽出と特徴描写を行うステップと、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢情報と前記位置・姿勢修正量に基づいて、修正後のロボットの位置・姿勢を取得するステップと、を含む視覚的測位によるナビゲーション方法をさらに開示する。
本発明の視覚的測位によるナビゲーション装置およびその方法は、屋内天井のORB特徴点を測定・追跡して取得した特徴情報に基づいてシーンの地図を構築することにより、ロボットの正確な測位およびルート計画を実現する。
本発明の実施例にかかる視覚的測位によるナビゲーション装置のモジュール図である。 本発明の実施例にかかる視覚的測位によるナビゲーション装置の詳細なモジュール図である。 本発明の実施例にかかる視覚的測位によるナビゲーション方法のフローチャートである。
本発明が解決しようとする技術問題、技術手段および有益效果をさらにわかりやすく説明するため、以下に図と実施例を結合して本発明をさらに詳細に陳述するが、次に陳述する実施例は単に本発明のいくつかの実施例であり、その全てではないことは明白である。
図1は、本発明実施例にかかる視覚的測位によるナビゲーション装置100のモジュール図である。図1に示すように、視覚的測位によるナビゲーション装置100は、動作モジュール111、カメラモジュール112、画像処理モジュール113、および位置・姿勢推定モジュール114を備える。図2は、本発明実施例にかかる視覚的測位によるナビゲーション装置200の詳細なモジュール図である。
図1と図2を結合すると、動作モジュール111は、ロボットを駆動し(駆動制御モジュール2112)、前記ロボットの現在の位置・姿勢情報をリアルタイムに取得する(位置・姿勢取得ユニット2114)。各モジュールは、ロジック、記憶された指令を有する非一時的コンピュータ可読媒体、ファームウェア、及び/又はそれらの組合せを含むように選択的に実施される。記憶された指令及び/又はファームウェアによる実現されるロジックは、このような指令を実行することにより、従来の視覚的測位によるナビゲーション装置が本発明に係る方法を実行可能となるように、プロセッサを提供することができる。例えば、ジャイロスコープにより、ロボットの現在の偏向角度θを取得でき、ロボットのホイール上の光電パルスカウンターにより、ロボットの移動距離dを取得できる。ロボットの初期位置と初期角度を0とした場合に、以下の数式:
Rth2=Rth1+θ
Rx2=Rx1+d*cos(θ)
Ry2=Ry1+d*sin(θ)
により累加して、ロボットの現在の位置・姿勢(Rx、Ry、Rth)の推定値を取得できる。
カメラモジュール112は、適切であれば任意の画像センサを備えてもよい。例えば、相補型金属酸化物半導体(CMOS)センサ、電荷結合素子(CCD)[AO1]センサ、又は任意の他の適切なセンサがある。カメラモジュール112は、視覚的測位によるナビゲーション装置100(例えば、ロボット)の真上に位置することができ、ロボットの移動過程における環境画像(例えば、天井の写真)を採取する。
画像処理モジュール113はカメラモジュール112に結合でき、前記環境画像に対して特徴抽出と特徴描写を行う。すなわち、前記環境画像に対して前処理を行うことにより、レンズの歪みが特徴描写に及ぼす影響(画像前処理ユニット2132)を取り除くとともに、ORB(Oriented Fast and Rotated Brief)特徴点検出方法を用いて前記環境画像における特徴点を抽出し、前記特徴点を多次元描写する(特徴描写ユニット2134)。
位置・姿勢推定モジュール114は画像処理モジュール113に結合でき、複数の特徴点に対する多次元描写に基づいて、前記環境画像の特徴点描写をマッチング(マッチングユニット2142)し、特徴データベースを構築[AO2]し(特徴データベース2144)、前記ロボットの姿勢修正量を算定し、さらに前記ロボットの現在の姿勢と前記姿勢修正量に基づいて、修正後のロボット姿勢を取得する(姿勢修正ユニット2146)。また、位置・姿勢推定モジュール114は、地図管理ユニット2148をさらに備えてもよい。地図管理ユニット2148は修正後のロボット位置・姿勢を取得してロボットによる現在環境での地図構築を実現する。
図3は本発明の実施例にかかる視覚的測位によるナビゲーション方法300のフローチャートであり、以下のステップ308、ステップ310、ステップ312、ステップ314、ステップ316およびステップ306を含む。
ステップ308では、ロボット掃除機のカメラモジュールにより、動作過程において天井を撮影し、天井の異なる視角での画像を取得し、撮影した天井の動画を画像処理モジュールへ送信し、処理する。
ステップ310では、画像処理モジュールによる特徴抽出は、主に画像における点特徴を抽出することにより行われ、OpenCVが固有のORB特徴抽出という方法を用いる。このような方法は、演算速度が速いことを特徴とし、一定の騒音防止と回転防止等の特性を有する。ORB特徴抽出の方法により画像を処理した後、一連の特徴点データを取得でき、特徴情報を特徴データベースに保存する。特徴データベースは主にすでに分析した画像フレームに対応するデータを記憶し、各グループのデータには以下の情報を保存している。
(1)当該画像フレームを取得する時のロボットの現在の位置・姿勢
(2)画像の特徴点のインデックス番号
(3)画像の特徴点の画素位置
(4)画像の特徴描写
特徴データベースにおいて、各グループの保存データ同士は一定の規定条件を満たす必要がある。即ち、各グループのデータに記録したロボット位置の間の最小間隔は10cmより大きくされる必要がある。これにより、ロボットが一定の面積で動作を繰り返す時、データベースのサイズが無制限に増大しないことを保証できる。
ステップ312では、リアルタイムのVSLAM測位過程において、取得した現在の画像の特徴点描写情報により、確立したデータベースとマッチングする。特徴点描写情報をマッチングする時、ユークリッド距離を特徴の類似性尺度として用い、閾値を設定し、類似性尺度により2フレーム画像における特徴点のマッチペアを得る。マッチング結果が当該現在の環境画像はすでに特徴データベースに存在していることを示した場合に、次の位置・姿勢修正ステップに進み、当該現在の環境画像が特徴データベースに存在していない場合に、特徴データベースに保存する。
ステップ314では、ロボットの位置・姿勢修正を算出する前に、2つの画像におけるマッチング画素の画素距離に表される空間におけるカメラ位置間の距離値を算出する必要がある。ここで、ロボットを円心とし、周囲約1メートルの範囲内で天井の高さが一様であるとみなされることができる。現在は垂直視野角のカメラを使用しているため、カメラの内部パラメータが変化しない場合に、画像の歪みを校正した後、画素の画素距離と空間におけるカメラ位置間の距離の比も固定値であると考えられる。前記の値をパラメータkとし、特徴データベースでのマッチング点のデータを利用して当該パラメータを算出する。まず特徴データベースにおいて現在のフレームにおける特徴点をマッチングし、マッチング点の有るフレームFr1、Fr2に対して、データに記録したロボット位置により2グループのデータ間の変位距離d(Fr1、Fr2)を算出できる。2グループのデータに記録した特徴点情報を利用して、2フレーム画像間の画素の並進量pd(Fr1、Fr2)を算出する。
画像のマッチング点のアフィン変換を算出する。

src[i]とdst[i]はそれぞれマッチング点における第i点であり、
はを示す。
SVDを用いてアフィン変換マトリックスを分解し、


ここで、centroidAとcentroidBを画像中心とする。マッチング点の画像の変位変換dx、dyと回転変換dthを取得する。
このように、各グループのデータについて、いずれもk値:k=d(Fr1、Fr2)/pd(Fr1、Fr2)を算出することができ、さらにそれぞれFr1、Fr2のカメラ位置に対する変位と回転
Movement1=k*sqrt(Fr1.dx*Fr1.dx+Fr1.dy*Fr1.dy)
Movement2=k*sqrt(Fr1.dx*Fr1.dx+Fr1.dy*Fr1.dy)
Angle1=mean(Fr1.angle、Fr1.angle+Fr1.dth)
Angle2=mean(Fr2.angle、Fr2.angle+Fr2.dth)
を算出する。
このように、各グループデータについて、いずれも2グループのカメラ位置・姿勢の推定値を算出することができる。データベースにおいて、各2つのデータ同士は相互に計算を行い、複数の現在のフレームの位置・姿勢の推定値を取得する。これらの位置・姿勢推定値を選別した後、平均値を算出し、偏差が大きい結果を取り除く。その後、残りの結果をk−meansクラスティング演算を行い、最後の結果を取得する。
ステップ316では、画素の画素距離に表される空間におけるカメラ位置間の距離値kを取得した後、データベースにおいて1グループのロボットに近い位置の特徴データDnを順次抽出する。TDとDnとの間に特徴点のマッチング演算を行い、信頼性の高い特徴点セットを選別する。その後、これらの特徴点セットを用いて、各2フレーム画像間の回転角度θと画素の並進量pdを算出する。同時に、データDnに当時のロボットの位置・姿勢Dx、Dy、Dthを保存する。ステップ312において取得したパラメータkと結合して、1グループの現在のロボットの推定位置・姿勢
Rth=Dth+θ
Rx=Dx+pd*k*cos(Rth)
Ry=Dy+pd*k*sin(Rth)
を算出できる。
データベースにおける各グループのデータは、全て現在のロボットが取得した画像と位置・姿勢推定を一度行うことができる。これにより、複数グループのロボットの現在の位置・姿勢に関する推定値を取得できる。k−meansクラスタリング手法を用いて、ロボット位置・姿勢の最終推定値を求める(ステップ318)。推定値とロボット現在の未修正の位置・姿勢の結果とを減算した値はロボットの位置・姿勢修正量である(ステップ304)。
ステップ306では、画像の取得にはある程度の遅延が存在する場合があることを考慮すると、出力したデータは位置・姿勢修正量であって、位置・姿勢データそのものではない。このように、たとえ短時間の画像遅延が発生したとしても、位置・姿勢修正量は有効な修正效果を奏する。ステップ314において出力した位置・姿勢修正量を取得すると、現在の位置・姿勢と修正量を加算して、修正後の位置・姿勢を取得する。ロボットは、該位置・姿勢を信頼性の高い値として、動作制御とルート計画を行う。
さらに、ステップ304とステップ306の前に、さらにステップ302を含んでも良い。ステップ302では、ジャイロスコープにより、ロボットの現在の偏向角度θを取得でき、ロボットのホイール上の光電パルスカウンターにより、ロボットの移動距離dを取得できる。ロボットの初期位置と初期角度を0とした場合に、以下の数式:
Rth2=Rth1+θ;
Rx2=Rx1+d*cos(θ);
Ry2=Ry1+d*sin(θ)
により累加して、ロボットの現在の位置・姿勢(Rx、Ry、Rth)の推定値を取得できる。
本発明の視覚的測位によるナビゲーション装置およびその方法は、屋内天井のORBの特徴点を測定・追跡して取得した特徴情報に基づいてシーンの地図を構築することにより、ロボットの正確な測位およびルート計画を実現することができる。
以上は本発明のいくつかの好ましい実施例そのすべてではない。当該領域の普通の技術者にとって、創造性的労働をしなくてもこれらの実施例に基づいて、ほかの実施例を取得することができ、これは本願の保護を求める範囲から逸脱しない。

Claims (16)

  1. ロボットを駆動し、前記ロボットの現在の位置・姿勢情報をリアルタイムに取得する動作モジュールと、
    画像センサーを含み、ロボット移動過程における環境画像を採取するカメラモジュールと、
    前記画像センサーによって採取された前記環境画像に対して特徴抽出と特徴描写を行う画像処理モジュールと、
    複数の特徴点を含む特徴データベースを構築し、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢情報と前記位置・姿勢修正量に基づいて、修正後のロボットの位置・姿勢を取得する位置・姿勢推定モジュールと、を備えることを特徴とする視覚的測位によるナビゲーション装置。
  2. 前記動作モジュールは、ジャイロスコープにより、ロボットの現在の偏向角度θを取得し、ロボットのホイール上の光電パルスカウンターにより、ロボットの移動距離dを取得し、以下の数式:
    Rth2=Rth1+θ
    Rx2=Rx1+d*cos(θ)
    Ry2=Ry1+d*sin(θ)
    を用いて、ロボットの現在の位置・姿勢(Rx、Ry、Rth)を算出することを特徴とする請求項1に記載の視覚的測位によるナビゲーション装置。
  3. 前記カメラモジュールは、ロボットの真上に位置し、前記環境画像は、天井の写真であることを特徴とする請求項1に記載の視覚的測位によるナビゲーション装置。
  4. 前記画像処理モジュールは、
    前記環境画像に対して前処理を行うことにより、レンズの歪みが特徴描写に及ぼす影響を取り除く画像前処理ユニットと、
    ORB特徴点検出方法を用いて前記環境画像における特徴点を抽出し、前記特徴点を多次元描写する特徴点描写ユニットと、を備えることを特徴とする請求項1に記載の視覚的測位によるナビゲーション装置。
  5. 前記位置・姿勢推定モジュールは、
    複数の特徴点に対する多次元描写に基づいて、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記現在の環境画像の特徴点描写が特徴データベースにおける少なくとも1つの特徴点とマッチングしない場合に、前記環境画像の対応するデータを前記特徴データベースに保存するマッチングユニットと、
    前記マッチングユニットが前記現在の環境画像の特徴点描写が前記特徴データベースにおける少なくとも1つの特徴点とマッチングすることを示した場合に、前記ロボットの位置・姿勢修正量を算出し、前記ロボットの現在の位置・姿勢と前記位置・姿勢修正量に基づいて、修正後のロボット位置・姿勢を取得する位置・姿勢修正ユニットと、を備えることを特徴とする請求項1に記載の視覚的測位によるナビゲーション装置。
  6. 前記マッチングユニットは、ユークリッド距離を特徴の類似性尺度として用いて、2フレーム画像における特徴点マッチングセットを取得することを特徴とする請求項5に記載の視覚的測位によるナビゲーション装置。
  7. 前記位置・姿勢修正ユニットは、
    2つの画像におけるマッチング画素の画素距離に表される空間におけるカメラ位置間の距離値を算出し、
    各2フレーム画像間の回転角度θと画素の並進量pdに基づいて、1グループの現在のロボットの推定位置・姿勢を算出し、
    k−meansクラスタリング手法を用いて、ロボットの位置・姿勢の最終推定値を求め、
    当該推定値とロボットの現在の未修正の位置・姿勢の結果を減算して、ロボット位置・姿勢の修正量を取得し、
    現在の位置・姿勢と修正量を加算して、修正後の位置・姿勢を取得することを特徴とする請求項5に記載の視覚的測位によるナビゲーション装置。
  8. 前記位置・姿勢修正ユニットは、以下の数式:
    Rth=Dth+θ
    Rx=Dx+pd*k*cos(Rth)
    Ry=Dy+pd*k*sin(Rth)
    を用いて、ロボットの現在の推定位置・姿勢を算出し、
    ここで、kは、画素の画素距離と空間におけるカメラ位置間の距離との比であり、Dx、Dy、Dthは、当時のロボットの位置・姿勢であることを特徴とする請求項7に記載の視覚的測位によるナビゲーション装置。
  9. ロボットを駆動しながら、ロボットの現在の位置・姿勢情報をリアルタイムに取得するステップと、
    ロボット移動過程における環境画像を採取するステップと、
    前記環境画像に対して特徴抽出と特徴描写を行うステップと、
    複数の特徴点を含む特徴データベースを構築するステップと、
    前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢情報と前記位置・姿勢修正量に基づいて、修正後のロボットの位置・姿勢を取得するステップと、を含むことを特徴とする視覚的測位によるナビゲーション方法。
  10. 前記ロボットの現在の位置・姿勢情報をリアルタイムに取得するステップは、ジャイロスコープにより、ロボットの現在の偏向角度θを取得し、ロボットのホイール上の光電パルスカウンターにより、ロボットの移動距離dを取得し、以下の数式:
    Rth2=Rth1+θ;
    Rx2=Rx1+d*cos(θ);
    Ry2=Ry1+d*sin(θ)
    を用いて、前記ロボットの現在の位置・姿勢(Rx,Ry,Rth)を算出するステップを含むことを特徴とする請求項9に記載の視覚的測位によるナビゲーション方法。
  11. 前記環境画像は、天井の写真であることを特徴とする請求項9に記載の視覚的測位によるナビゲーション方法。
  12. 前記環境画像に対して特徴抽出と特徴描写を行うステップは、
    前記環境画像に対して前処理を行うことにより、レンズの歪みが特徴描写に及ぼす影響を取り除くステップと、
    ORB特徴点検出方法を用いて前記環境画像における特徴点を抽出し、前記特徴点を多次元描写するステップと、を含むことを特徴とする請求項9に記載の視覚的測位によるナビゲーション方法。
  13. 前記複数の特徴点を含む特徴データベースを構築し、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢情報と前記位置・姿勢修正量に基づいて、修正後のロボットの位置・姿勢を取得するステップは、
    複数の特徴点に対する多次元描写に基づいて、前記環境画像の特徴点描写と前記特徴データベースにおける複数の特徴点とを比較し、前記現在の環境画像の特徴点描写が特徴データベースにおける少なくとも1つの特徴点とマッチングしない場合に、前記環境画像の対応するデータを前記特徴データベースに保存するステップと、
    前記現在の環境画像の特徴点描写が前記特徴データベースにおける少なくとも1つの特徴点とマッチングする場合に、前記ロボットの位置・姿勢修正量を算出し、前記ロボットの現在の位置・姿勢と前記位置・姿勢修正量に基づいて、修正後のロボット位置・姿勢を取得するステップと、を含むことを特徴とする請求項9に記載の視覚的測位によるナビゲーション方法。
  14. 前記複数の特徴点に対する多次元描写に基づいて、前記環境画像の特徴点描写をマッチングするステップは、
    ユークリッド距離を特徴の類似性尺度として用いて、2フレーム画像における特徴点マッチングセットを取得するステップを含むことを特徴とする請求項13に記載の視覚的測位によるナビゲーション方法。
  15. 前記ロボットの位置・姿勢修正量を算出し、さらに前記ロボットの現在の位置・姿勢と前記位置・姿勢修正量に基づいて、修正後のロボット位置・姿勢を取得するステップは、
    2つの画像におけるマッチング画素の画素距離に表される空間におけるカメラ位置間の距離値を算出するステップと、
    各2フレーム画像間の回転角度θと画素の並進量pdに基づいて、1グループの現在のロボットの推定位置・姿勢を算出するステップと、
    k−meansクラスタリング手法を用いて、ロボット位置・姿勢の最終推定値を求めるステップと、
    当該推定値とロボットの現在の未修正の位置・姿勢の結果を減算して、ロボットの位置・姿勢の修正量を取得するステップと、
    現在の位置・姿勢と修正量を加算して、修正後の位置・姿勢を取得するステップと、を含むことを特徴とする請求項13に記載の視覚的測位によるナビゲーション方法。
  16. 前記1グループの現在のロボットの推定位置・姿勢を算出するステップは、以下の数式:
    Rth=Dth+θ
    Rx=Dx+pd*k*cos(Rth)
    Ry=Dy+pd*k*sin(Rth)
    により計算するステップを含み、
    ここで、kは、画素の画素距離と空間におけるカメラ位置間の距離との比であり、Dx、Dy、Dthは、当時のロボットの位置・姿勢であることを特徴とする請求項15に記載の視覚的測位によるナビゲーション方法。
JP2017080318A 2016-05-09 2017-04-14 視覚的測位によるナビゲーション装置およびその方法 Active JP6475772B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610302662 2016-05-09
CN201610302662.3 2016-05-09

Publications (2)

Publication Number Publication Date
JP2017224280A true JP2017224280A (ja) 2017-12-21
JP6475772B2 JP6475772B2 (ja) 2019-02-27

Family

ID=60271265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017080318A Active JP6475772B2 (ja) 2016-05-09 2017-04-14 視覚的測位によるナビゲーション装置およびその方法

Country Status (2)

Country Link
JP (1) JP6475772B2 (ja)
CN (1) CN107357286A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506624A (zh) * 2018-10-31 2019-03-22 台州职业技术学院 一种基于移动机器人的分布式视觉定位系统及方法
CN109739254A (zh) * 2018-11-20 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN110095111A (zh) * 2019-05-10 2019-08-06 广东工业大学 一种地图场景的构建方法、构建系统及相关装置
CN110220476A (zh) * 2019-06-03 2019-09-10 西安飞机工业(集团)有限责任公司 一种基于三维激光扫描的航空零件自动快速测量方法
CN110727009A (zh) * 2019-10-10 2020-01-24 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法
CN110824525A (zh) * 2019-11-15 2020-02-21 中冶华天工程技术有限公司 机器人的自定位方法
CN110968023A (zh) * 2019-10-14 2020-04-07 北京航空航天大学 一种基于plc与工业相机的无人机视觉引导系统及方法
KR102154043B1 (ko) * 2019-11-07 2020-09-09 주식회사 케이스랩 이동체의 위치 인식을 위한 비전 모듈 및 이동체의 위치 인식 방법
KR102196076B1 (ko) * 2020-05-15 2020-12-29 주식회사 케이스랩 삼각-육각 지도 생성방법 및 장치와 이를 이용한 이동체의 광역위치 결정방법 및 장치
CN112415535A (zh) * 2020-10-22 2021-02-26 武汉万集信息技术有限公司 导航系统和导航方法
CN112621753A (zh) * 2020-12-09 2021-04-09 浙江大华技术股份有限公司 机器人定位方法、电子设备及存储介质
US20210349469A1 (en) * 2019-01-24 2021-11-11 Imperial College Innovations Limited Mapping an environment using a state of a robotic device
CN113793379A (zh) * 2021-08-12 2021-12-14 视辰信息科技(上海)有限公司 相机姿态求解方法及系统、设备和计算机可读存储介质
CN114415698A (zh) * 2022-03-31 2022-04-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
US11662740B2 (en) 2019-11-15 2023-05-30 Kabushiki Kaisha Toshiba Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium
CN112215887B (zh) * 2019-07-09 2023-09-08 深圳市优必选科技股份有限公司 一种位姿确定方法、装置、存储介质及移动机器人

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104740A1 (zh) * 2017-12-01 2019-06-06 深圳市沃特沃德股份有限公司 测量视觉扫地机器人里程计补偿系数的方法及系统
WO2019104741A1 (zh) * 2017-12-01 2019-06-06 深圳市沃特沃德股份有限公司 测量视觉扫地机器人里程计补偿系数的方法及系统
CN109960254B (zh) * 2017-12-25 2022-09-23 深圳市优必选科技有限公司 机器人及其路径规划方法
CN108256574B (zh) * 2018-01-16 2020-08-11 广东省智能制造研究所 机器人定位方法及装置
JP7032440B2 (ja) 2018-02-02 2022-03-08 達闥機器人有限公司 測位方法、装置、ロボット及びコンピューター読み取り可能な記憶媒体
CN110388922A (zh) * 2018-04-17 2019-10-29 菜鸟智能物流控股有限公司 位置测量方法和位置测量装置
CN108560942A (zh) * 2018-06-26 2018-09-21 河南水利与环境职业学院 一种大型玻璃外墙的擦窗装置及方法
WO2020014864A1 (zh) * 2018-07-17 2020-01-23 深圳市大疆创新科技有限公司 位姿确定方法、设备、计算机可读存储介质
CN108937742A (zh) * 2018-09-06 2018-12-07 苏州领贝智能科技有限公司 一种扫地机的陀螺仪角度修正方法和扫地机
TWI728469B (zh) * 2018-09-27 2021-05-21 台灣塔奇恩科技股份有限公司 移動載具之教導路徑模組
CN114847803B (zh) * 2018-10-29 2024-04-16 北京石头创新科技有限公司 机器人的定位方法及装置、电子设备、存储介质
CN109871863A (zh) * 2018-12-29 2019-06-11 北京航天测控技术有限公司 一种针对小批量大型装备的便携式视觉检测设备
CN110108283B (zh) * 2019-05-10 2020-11-17 成都四相致新科技有限公司 一种基于多二维码视觉的高精度定位方法
WO2021026705A1 (zh) * 2019-08-09 2021-02-18 华为技术有限公司 匹配关系确定方法、重投影误差计算方法及相关装置
CN110686676A (zh) * 2019-09-12 2020-01-14 深圳市银星智能科技股份有限公司 机器人重定位方法、装置及机器人
CN114918944A (zh) * 2022-06-02 2022-08-19 哈尔滨理工大学 基于卷积神经网络融合的家庭服务机器人抓取检测方法
CN114982460B (zh) * 2022-06-13 2024-04-30 深圳拓邦股份有限公司 一种割草机位置修正方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63124114A (ja) * 1986-11-14 1988-05-27 Hitachi Ltd 移動体用環境認識装置
JP2008009533A (ja) * 2006-06-27 2008-01-17 Toyota Industries Corp 位置検出システム
WO2011145239A1 (ja) * 2010-05-19 2011-11-24 国立大学法人東京工業大学 位置推定装置、位置推定方法及びプログラム
JP2013508874A (ja) * 2009-10-30 2013-03-07 ユージン ロボット シーオー., エルティーディー. 移動ロボットの位置認識のための地図生成および更新方法
WO2016013095A1 (ja) * 2014-07-25 2016-01-28 株式会社日立製作所 自律移動装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
CN102768042B (zh) * 2012-07-11 2015-06-24 清华大学 一种视觉-惯性组合导航方法
CN103644904A (zh) * 2013-12-17 2014-03-19 上海电机学院 一种基于sift算法的视觉导航方法
CN104023228A (zh) * 2014-06-12 2014-09-03 北京工业大学 一种基于全局运动估计的自适应室内视觉定位方法
CN104729506B (zh) * 2015-03-27 2017-11-14 北京航空航天大学 一种视觉信息辅助的无人机自主导航定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63124114A (ja) * 1986-11-14 1988-05-27 Hitachi Ltd 移動体用環境認識装置
JP2008009533A (ja) * 2006-06-27 2008-01-17 Toyota Industries Corp 位置検出システム
JP2013508874A (ja) * 2009-10-30 2013-03-07 ユージン ロボット シーオー., エルティーディー. 移動ロボットの位置認識のための地図生成および更新方法
WO2011145239A1 (ja) * 2010-05-19 2011-11-24 国立大学法人東京工業大学 位置推定装置、位置推定方法及びプログラム
WO2016013095A1 (ja) * 2014-07-25 2016-01-28 株式会社日立製作所 自律移動装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506624A (zh) * 2018-10-31 2019-03-22 台州职业技术学院 一种基于移动机器人的分布式视觉定位系统及方法
CN109506624B (zh) * 2018-10-31 2021-11-02 台州职业技术学院 一种基于移动机器人的分布式视觉定位系统及方法
CN109739254A (zh) * 2018-11-20 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
US11874133B2 (en) * 2019-01-24 2024-01-16 Imperial College Innovations Limited Mapping an environment using a state of a robotic device
US20210349469A1 (en) * 2019-01-24 2021-11-11 Imperial College Innovations Limited Mapping an environment using a state of a robotic device
CN110095111A (zh) * 2019-05-10 2019-08-06 广东工业大学 一种地图场景的构建方法、构建系统及相关装置
CN110220476A (zh) * 2019-06-03 2019-09-10 西安飞机工业(集团)有限责任公司 一种基于三维激光扫描的航空零件自动快速测量方法
CN112215887B (zh) * 2019-07-09 2023-09-08 深圳市优必选科技股份有限公司 一种位姿确定方法、装置、存储介质及移动机器人
CN110727009A (zh) * 2019-10-10 2020-01-24 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法
CN110727009B (zh) * 2019-10-10 2023-04-11 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法
CN110968023A (zh) * 2019-10-14 2020-04-07 北京航空航天大学 一种基于plc与工业相机的无人机视觉引导系统及方法
KR102154043B1 (ko) * 2019-11-07 2020-09-09 주식회사 케이스랩 이동체의 위치 인식을 위한 비전 모듈 및 이동체의 위치 인식 방법
CN110824525A (zh) * 2019-11-15 2020-02-21 中冶华天工程技术有限公司 机器人的自定位方法
US11662740B2 (en) 2019-11-15 2023-05-30 Kabushiki Kaisha Toshiba Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium
KR102196076B1 (ko) * 2020-05-15 2020-12-29 주식회사 케이스랩 삼각-육각 지도 생성방법 및 장치와 이를 이용한 이동체의 광역위치 결정방법 및 장치
CN112415535A (zh) * 2020-10-22 2021-02-26 武汉万集信息技术有限公司 导航系统和导航方法
CN112415535B (zh) * 2020-10-22 2024-05-28 武汉万集信息技术有限公司 导航系统和导航方法
CN112621753A (zh) * 2020-12-09 2021-04-09 浙江大华技术股份有限公司 机器人定位方法、电子设备及存储介质
CN113793379A (zh) * 2021-08-12 2021-12-14 视辰信息科技(上海)有限公司 相机姿态求解方法及系统、设备和计算机可读存储介质
CN114415698B (zh) * 2022-03-31 2022-11-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
CN114415698A (zh) * 2022-03-31 2022-04-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备

Also Published As

Publication number Publication date
JP6475772B2 (ja) 2019-02-27
CN107357286A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
JP6475772B2 (ja) 視覚的測位によるナビゲーション装置およびその方法
Zhu et al. Camvox: A low-cost and accurate lidar-assisted visual slam system
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
Lu et al. Robust RGB-D odometry using point and line features
Urban et al. Mlpnp-a real-time maximum likelihood solution to the perspective-n-point problem
CN102313536B (zh) 基于机载双目视觉的障碍物感知方法
US10260862B2 (en) Pose estimation using sensors
Heng et al. Leveraging image‐based localization for infrastructure‐based calibration of a multi‐camera rig
Alismail et al. Automatic calibration of a range sensor and camera system
JP2015181042A (ja) 移動オブジェクトの検出及び追跡
JP2016516977A (ja) 環境の3dモデルの生成
Momeni-k et al. Height estimation from a single camera view
CN104376575A (zh) 一种基于多摄像头监控的行人计数方法和装置
Lu et al. Robustness to lighting variations: An RGB-D indoor visual odometry using line segments
Zhen et al. LiDAR-enhanced structure-from-motion
Xiang et al. Vilivo: Virtual lidar-visual odometry for an autonomous vehicle with a multi-camera system
Kostavelis et al. Visual odometry for autonomous robot navigation through efficient outlier rejection
Schneider et al. Real-time accurate geo-localization of a mav with omnidirectional visual odometry and gps
Murphy et al. Experimental comparison of odometry approaches
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
Hong et al. Performance evaluation of a pose estimation method based on the SwissRanger SR4000
Buribayev et al. The Optimized Distance Calculation Method with Stereo Camera for an Autonomous Tomato Harvesting
Nguyen et al. Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
Shen et al. Emv-lio: An efficient multiple vision aided lidar-inertial odometry

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190201

R150 Certificate of patent or registration of utility model

Ref document number: 6475772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250