JP2021082265A

JP2021082265A - 深度点線特徴に基づくドローン視覚走行距離計方法

Info

Publication number: JP2021082265A
Application number: JP2020168211A
Authority: JP
Inventors: 仁全魯; Renquan Lu; 偉孟; Wei Meng; 倩倩蔡; Qianqian Cai; 彬邱; Bin Qiu; 鴻一李; Hongyi Li
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-11-15
Filing date: 2020-10-05
Publication date: 2021-05-27
Anticipated expiration: 2040-10-05
Also published as: JP6852936B1; CN111047620A

Abstract

【課題】深度点線特徴に基づくドローン視覚走行距離計方法を提供する。【解決手段】ドローン視覚走行距離計方法は、深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、視覚的画像の線特徴を抽出するステップＳ３と、平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む。本発明は、ドローンの姿勢推定の正確度を高める。【選択図】図１

Description

本発明は、ロボット視覚の技術分野に関し、より具体的には、深度点線特徴に基づくドローン視覚走行距離計方法に関する。

ロボットは、ＧＰＳのない未知の環境では、センサ（例えばレーザ、カメラなど）を通じて収集した距離や画像などの情報に基づいてロボットの移動を推定し地図を作成することによって、未知の区域で自由に移動することができ、それは、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）である。ここ数十年の間、ＳＬＡＭはロボットの分野で最も盛んに研究されており、軍事や民間用のさまざまな分野、たとえばロボット掃除機、グリッド巡視・監督用ドローンなどに使用されている。センサによってレーザＳＬＡＭと視覚ＳＬＡＭに分けられる。視覚ＳＬＡＭでは、たとえば、ＯＲＢＳＬＡＭ（特徴点検出手法の代表例）、ＶＩＮＳ−ＭＯＮＯ（オプティカルフロー法による追跡及びＩＭＵ融合）、ＲＧＢＤＳＬＡＭなど、多くの優れたアルゴリズムがオープンソースになっている。

レーザＳＬＡＭは、現在非常に成熟しており、広く実用されている。ただし、レーザＳＬＡＭに比べて、視覚ＳＬＡＭはカメラが低価であり、より多くの情報を収集できることから、研究者たちの注目を集めているが、もちろん、視覚的画像には多くの無用な情報があることにより、処理の難度を上げ、大量の計算資源をしめてしまう。特徴点に基づくＳＬＡＭは、特徴点の算出に時間がかかるため、実際にはあまり適用されていない。従来の特徴点に基づくＳＬＡＭアルゴリズムでは、カメラで抽出された特徴点が外部環境の影響（たとえば、動的環境、明らかな光の変化がある屋外、特徴点の少ない平坦な壁や天井など）を受けるため、システムによる特徴点追跡が失敗しやすく、誤マッチングや特徴ロスの状況がよくあり、その結果、ＳＬＡＭシステム全体の精度が低下し、深刻な場合は作動できなくなる。

現在、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスという欠陥が発生しやすく、その結果、姿勢推定の正確性が不十分になる。

本発明は、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスにより、姿勢推定の正確性が不十分になるという上記従来技術の欠点を解決するために、深度点線特徴に基づくドローン視覚走行距離計方法を提供する。

本発明の第１の目的は、上記技術的課題を解決することであり、本発明の技術案は、以下のとおりである。

深度点線特徴に基づくドローン視覚走行距離計方法であって、
深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、
深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、
視覚的画像の線特徴を抽出するステップＳ３と、
平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、
抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、
推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む。

さらに、ステップＳ２は、具体的には、
視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出するステップＳ２０１と、
グレースケール重心法を利用して、以下の計算式

（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出するステップＳ２０２と、
キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、ＢＲＩＥＦ記述子の算出過程としては、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対をＰ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０であるステップＳ２０３と、
深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換するステップＳ２０４と、を含む。

さらに、ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓ_ｉ,ｉ＝１,２,３,…,｝（ここで、Ｓ_ｉ＝［Ａ_ｉ,Ｂ_ｉ］、Ａ_ｉ、Ｂ_ｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ

Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む。

さらに、マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
誤差を除去されたサンプリング点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式

Ｑ＝Ａ＋ω（Ｂ−Ａ）をマハラノビス距離の計算式に代入し、

ωの最適解を代入すると、マハラノビス距離の最適解を得る。

さらに、ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである。

さらに、ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む。

さらに、ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める。

従来技術に比べて、本発明の技術案の有益な効果は以下のとおりである。
本発明では、視覚的画像の点特徴と線特徴をそれぞれ抽出し、点特徴と線特徴のマッチングに応じてキーフレームを選択することにより、特徴点の少ないシーンや高速移動の場合は、ドローンに特徴の誤マッチング、特徴点ロスにより、姿勢の推定の正確性が不十分になるという上記従来技術の欠点を解決し、姿勢推定の正確性を高める。

本発明の方法のフローチャートである。

本発明の上記目的、特徴及び利点をより明瞭に理解できるように、以下、図面及び特定の実施形態を参照しながら本発明をさらに詳細に説明する。なお、矛盾しない限り、本願の実施例及び実施例における特徴を互いに組み合わせることができる。

以下の説明において、本発明を十分に理解するために多くの詳細を記載するが、本発明はここで説明するものと異なる別の形態で実施してもよく、したがって、本発明の特許範囲は以下で開示する特定の実施例により制限されない。

実施例１
図１に示すように、深度点線特徴に基づくドローン視覚走行距離計方法は、ステップＳ１〜Ｓ６を含む。

Ｓ１：深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得する。
特定の実施例では、ｒｏｓ（ロボット操作システム）のｃａｍｅｒａ＿ｃａｌｉｂｒａｔｉｏｎ機能パケットを用いて深度カメラのキャリブレーションを行い、カメラの内部パラメータ行列（ｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙ）及び外部パラメータ（歪み係数）を取得する。

Ｓ２：深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換する。
より具体的には、ステップＳ２は、具体的には、ステップＳ２０１〜Ｓ２０４を含む。
Ｓ２０１：視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出する。
なお、特定の実施例では、前記ガウシアンピラミッドは７層、前記キーポイントはｆａｓｔキーポイントであるようにしてもよい。
Ｓ２０２：グレースケール重心法を利用して、計算式

（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出する。
Ｓ２０３：キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、密集点を削除して、特徴点を均一に分布させ、マッチングを行う。記述子を算出する際に、具体的には、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対を、Ｐ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０である。
Ｓ２０４：深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換する。計算式は以下に示される。

（式中、ｕは画素の横座標、ｖは画素の縦座標、ｄは視覚的画像の深度、Ｐはキーポイントを表し、（ｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙ）は深度カメラの内部パラメータ行列である。）

Ｓ３：視覚的画像の線特徴を抽出する。
ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓ_ｉ,ｉ＝１,２,３,…,｝（ここで、Ｓ_ｉ＝［Ａ_ｉ,Ｂ_ｉ］、Ａ_ｉ、Ｂ_ｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ

Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む。
さらに、マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
誤差を除去されたサンプリング点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式

Ｓ４：平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出する。
ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである。

Ｓ５：抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定する。
ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む。

Ｓ６：推定した移動の姿勢について局所的最適化を行い、姿勢を出力する。
より具体的には、ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める。

たとえば、現在のキーフレームのシーケンスが｛ｋ１_,ｋ２_,…,ｋ１０｝である場合、キーフレームｋ１１が追加されると、最も前のフレームｋ１を捨てて、そうすると、スライドウィンドウのフレームシーケンスは｛ｋ２_,ｋ３_,…,ｋ１１｝になり、この１０フレームの姿勢について局所的非線形最適化を行うたびに、
最小二乗モデル

ｋはステップ１でキャリブレーションされたカメラの内部パラメータ行列であり、ξは求める姿勢のリー代数表現である。）を作成し、レーベンバーグ・マルカート法により最適姿勢を求める。

もちろん、本発明の上記実施例は、本発明を明瞭に説明するために例示するものに過ぎず、本発明の実施形態を限定するものではない。当業者であれば、上記説明に基づいてさまざまな形態の変化や変更を行うことができる。ここでは、すべての実施形態を挙げる必要がなく、またすべての実施形態を挙げることが不可能なことである。本発明の主旨及び原則を逸脱することなく行われるすべての修正、等同な置換や改良などは、本発明の特許請求の範囲の特許範囲に含まれるものとする。

Claims

深度点線特徴に基づくドローン視覚走行距離計方法であって、
深度カメラのキャリブレーションを行い、深度カメラの内部パラメータ行列及び歪み係数を取得するステップＳ１と、
深度カメラを用いて視覚的画像を取得し、視覚的画像のキーポイントの特徴を抽出し、キーポイントの画素座標を三次元座標に変換するステップＳ２と、
視覚的画像の線特徴を抽出するステップＳ３と、
平均視差法及び質量追跡法によって、視覚的画像から現在のキーフレームを抽出するステップＳ４と、
抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定するステップＳ５と、
推定した移動の姿勢について局所的最適化を行い、姿勢を出力するステップＳ６と、を含む、ことを特徴とする深度点線特徴に基づくドローン視覚走行距離計方法。
ステップＳ２は、具体的には、
視覚的画像をグレースケールに変換してグレースケール画像を得て、グレースケール画像についてガウシアンピラミッドを作成し、ガウシアンピラミッドの各層の画像のスケール因子に従って各層の画像の特徴点の数を決定し、特徴点の数に応じてキーポイントを抽出するステップＳ２０１と、
グレースケール重心法を利用して、以下の計算式

（式中、ｆはグレースケール値であり、画素グレースケール値がしきい値Ｔ未満である場合、０であり、しきい値Ｔよりも大きい場合、ｆである。）によりキーポイントの重心画素座標を算出するステップＳ２０２と、
キーポイントのＢＲＩＥＦ記述子を算出して、ＢＲＩＥＦ記述子を用いて特徴点を並べ替え、ＢＲＩＥＦ記述子の算出過程としては、Ｐをキーポイントとして、キーポイントＰの周囲からＮ個の点対を選択し、Ｎ個の点対をＰ１（Ａ,Ｂ）、Ｐ２（Ａ,Ｂ）、ＰＮ（Ａ,Ｂ）として組み合わせて記述子とし、ここで、Ａ及びＢは１つの点対の２つの画素点を表し、ＡのグレースケールがＢよりも大きい場合、値が１であり、逆の場合は、０であるステップＳ２０３と、
深度カメラを用いて測定した視覚的画像の深度を利用して、キーポイントの画素座標を三次元座標に変換するステップＳ２０４と、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
ステップＳ３の線特徴の抽出は、具体的には、
線分検出器ＬＳＤで視覚的画像のグレースケール図についてリニアカットを行い、視覚的画像上の線分Ｓ＝｛Ｓ_ｉ,ｉ＝１,２,３,…,｝（ここで、Ｓ_ｉ＝［Ａ_ｉ,Ｂ_ｉ］、Ａ_ｉ、Ｂ_ｉはそれぞれ線分の２つの端点の画素座標である。）を抽出するステップＳ３０１と、
サンプリング点の数を設定して、線分Ｓについてサンプリングし、サンプリングにより得られた点を対応する深度及びカメラの内部パラメータ行列で空間三次元座標に変換し、ここで、サンプリング点の数はｎ

Ｓ長さ以下の最大整数である、ステップＳ３０２と、
ランダムサンプリング一貫性方法でサンプリング点のうちの誤差点を除去し、誤差点を除去された点集合を得てｎ’とし、点集合ｎ’のうちの点について直線フィッティングを行い、点集合ｎ’における点を選択してフィッティング直線までのマハラノビス距離を算出し、最適３Ｄ点を得て、最適３Ｄ点を用いて直線をフィッティングするステップＳ３０３と、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
マハラノビス距離の式を用いて最適３Ｄ点を得ることは、具体的には、
点集合ｎ’における点の数と元のサンプリング点の数との比が所定のしきい値よりも大きい場合、サンプリング点のマハラノビス距離を、計算式

Ｑ＝Ａ＋ω（Ｂ−Ａ）をマハラノビス距離の計算式に代入し、

ωの最適解を代入すると、マハラノビス距離の最適解を得る、ことを特徴とする請求項３に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
ステップＳ４の前記平均視差法は、現在の視覚的画像フレームと前のキーフレームの前に追跡した特徴点の平均視差がしきい値Ｔを超えると、現在の視覚的画像フレームを新しいキーフレームとすることであり、
前記質量追跡法は、現在の視覚的画像フレームが追跡する特徴点の数が所定の数のしきい値未満であると、現在の視覚的画像フレームをキーフレームとして設定することである、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
ステップＳ５では、抽出されたキーポイントの特徴及び線特徴を用いて、視覚的画像の隣接フレームに対して特徴マッチングを行い、ＩＣＰアルゴリズムを用いて機器の移動の姿勢を推定することは、具体的には、
マッチング中、線特徴が検出されておらず、点特徴だけが検出された場合、検出された点を３Ｄ点に変換して、ＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、特徴点が検出されておらず、線特徴だけが検出された場合、検出された線から点をランダムに選択し、選択された点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、
マッチング中、点特徴と線特徴の両方が検出された場合、検出した点についてＩＣＰアルゴリズムによってカメラ移動を推定するステップと、を含む、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。
ステップＳ６では、前記推定した移動の姿勢について局所的最適化を行う際に、スライドウィンドウの姿勢図を用いて最適化を行い、具体的には、スライドウィンドウのサイズをＭフレーム（Ｍは正整数）とし、Ｍフレームの姿勢に対して局所的な非線形最適化を行うたびに、最小二乗モデルを作成し、深度カメラの観察画素値、内部パラメータ行列を用いて、レーベンバーグ・マルカート法により最適姿勢を求める、ことを特徴とする請求項１に記載の深度点線特徴に基づくドローン視覚走行距離計方法。