JP2017054501A

JP2017054501A - 運動予測の最適化方法、装置及びシステム

Info

Publication number: JP2017054501A
Application number: JP2016164269A
Authority: JP
Inventors: ジンウエヌリ; Jing Wen Li; ティエヌユィヤン; Tianyu Yang; ヤオジエル; Lu Yaojie; ジョォンチャオシ; Zhongchao Shi; リィウディエヌチャオ; Dianchao Liu
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-09-08
Filing date: 2016-08-25
Publication date: 2017-03-16
Anticipated expiration: 2036-08-25
Also published as: CN106504265B; CN106504265A; JP6194995B2

Abstract

【課題】運動予測の最適化方法、装置及びシステムを提供する。【解決手段】当該方法は、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップとが含まれる。【選択図】図３

Description

本願は、デジタル画像処理、コンピュータの視覚及びモデル認識分野に関するものであり、且つより具体的には、視覚オドメーター計算に利用できる運動予測の最適化方法、装置及びシステムに関するものである。

運動予測に基づく視覚オドメーター計算アルゴリズムはロボットに搭載したカメラが撮影する画面を分析することによって自動的に運動予測を行い、それによりロボットの方位情報を取得することができる。当該アルゴリズムはロボット分野、スマートカー、無人機など広範囲に使用できる。現在すでに関連の研究及び製品が少なからず存在しているが、応用場面の多様性のため、今なお挑戦すべき研究分野となっている。

現在広く用いられているアルゴリズムでは、最初に固定特徴を取得且つ採用して特徴点とするが、実際のところシステムは様々な応用場面に直面するため、予め固定した特徴及びパラメーターでは恐らく良い実行結果を備えていない。

そのため、視覚オドメーター計算に利用できる運動予測の最適化技術が必要とされる。

本発明の一つの態様では、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップと、を含む、運動予測の最適化方法を提供する。

本発明の別の態様では、映像中の現フレームの特徴点及び前フレームの特徴点を検出する検出手段であって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、検出手段と、現フレームの特徴点及び前フレームの特徴点をマッチングするマッチング手段と、マッチングの結果に基づき運動予測を行う運動予測手段と、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新する更新手段と、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行う最適化運動予測手段と、を含む、運動予測最適化装置を提供する。

本発明のさらに別の態様では、処理器と、前記処理器と結合し、且つコンピュータが実行できるコマンドを記憶する記憶装置と、を含み、前記記憶装置が前記処理器により実行する時には、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うステップと、を実行する、運動予測最適化システムを提供する。

本技術は効果的な適応学習視覚オドメーター計算アルゴリズムを提出し、当該方法は異なる場面で効果的に応用できる。従来方法と比べ、本技術は一連の重み付けサブ特徴を用いて特徴点ペアを表し、且つリアルタイムでサブ特徴の重み付けを更新する。当該方法は現在の場面に従って選択した最も有効な特徴で特徴点を表すことができる。また、本技術は同時に最適化モジュールを含み、適応学習結果によって運動予測の最適化ができる。そのうえ、本技術は良好なロバスト性及び正確性を備えている。

本発明の実施例を応用した運動予測最適化アルゴリズムのハードウェア情景図である。本発明の実施例の運動予測最適化アルゴリズム200の簡略化ブロック図例である。本発明の実施例の運動予測最適化方法300の詳細なフローチャート例である。本発明の実施例の運動予測最適化方法中の特徴点の検出と描写の具体的なプロセス例である。本発明の実施例の運動予測最適化方法中の特徴点のマッチングの具体的なプロセス例である。本発明の実施例の運動予測最適化方法中の適応学習の具体的なプロセス例である。本発明の実施例の運動予測最適化方法中の運動予測結果の最適化の具体的なプロセス例である。特徴点のマッチングペアの最適化プロセス期間における位置の変化を示した概略図である。本発明の実施例の運動予測最適化装置のブロック図例である。本発明の実施例の運動予測最適化システムのブロック図例である。

これから本技術の具体的な実施例を詳しく参照し、図面中に本技術の例を示す。具体的な実施例と合わせて本技術を説明するとしても、本技術を前記の実施例に限定するものではないと理解できる。むしろ、特許請求の定める本技術の精神及び範囲内に含まれる変更、修正及び同等物をカバーするものとする。注意すべき点として、ここで説明する方法のステップは任意の機能ブロックまたは機能構成により実行でき、且つ任意の機能ブロックまたは機能構成は物理エンティティまたは論理エンティティ、或いは両者の組合せによって実行され得る。

当業者が本技術をより良く理解するため、以下では図面と具体的な実施方式を合わせて本技術についてさらに詳細な説明を行う。

注意点として、次に紹介する例は一つの具体例に過ぎず、本技術の実施例は以下のような具体的なステップ、数値、条件、データ、順序等でなければならないと制限するものではない。当業者は本明細書を見ることで、本技術運用の考えを用いて本明細書中に述べていないさらに多くの実施例を構成できる。

図1は本発明の実施例を応用した運動予測最適化アルゴリズムのハードウェア情景図である。

図1に示すように、移動ロボット（スマートカー、無人機など）に装着されたカメラが動画を撮影し、動画フレームを取得する。動画を本発明の実施例の運動予測最適化アルゴリズムに入力し、そこから運動予測最適化の結果を取得する。

ここで、当該カメラは普通の一眼カメラで撮影した平面動画フレームでもよいし、また二眼カメラで撮影したステレオ動画フレームでもよいし、さらにまた全方向カメラなどその他のカメラでもよい。平面動画フレームを撮影する状況において、運動予測の結果は二次元運動予測マトリクスでよい。ステレオ動画フレームを撮影する状況において、運動予測の結果は奥行情報を含む三次元運動予測マトリクスでよい。全方向カメラで360度の全方位動画フレームを撮影する状況において、運動予測の結果は奥行情報と角度情報を含む三次元運動予測マトリクスでよい。

以下の説明において、制限的ではなく例として、ステレオ動画フレームの撮影に二眼カメラを採用した場合の実施例の方法及びステップを説明する。

図2は本発明の実施例の運動予測最適化アルゴリズム200の簡略化ブロック図例である。

図2に示すように、モジュール210は入力した動画フレームを受け取る。当該動画フレーム画像は移動ロボット（スマートカー、無人機など）に装着された二眼カメラから取得できる。

モジュール210において、動画フレーム画像中の各フレーム中の複数の特徴点を検出し、検出結果には各特徴点の位置及び特徴記述を含むことができる。ここで、特徴点は一連のサブ特徴の集合により記述でき、各サブ特徴は各自の重み付け係数（または重み）を有する。すなわち、一つの特徴の一連のサブ特徴の重み付け総和をその特徴点の特徴とする。

モジュール220は特徴点のマッチングモジュールであり、当該ブロックは各特徴点の特徴（すなわち、サブ特徴の重み付け総和）に基づき、隣接する両フレーム間の特徴点ペアをマッチングする。いわゆる特徴点ペアとはすなわち隣接する両フレーム中に存在する同一目標点の特徴点ペアである。これは従来の運動予測プロセス中の既知の特徴点マッチングのプロセスである。

モジュール230において、マッチングした特徴点ペアに基づいて、回転マトリクス及びシフトマトリクスを運動予測マトリクスとして計算しカメラの運動を表す。例えば四次元に基づく、ランサック（RANdom SAmple Consensus,RANSAC）など、既知のいかなる運動予測方法でも使用できる。

モジュール240は適応学習モジュールである。当該モジュールは現運動予測の結果に従ってリアルタイムで更新し、特徴点ペアの一連のサブ特徴の各重み付け係数を表すことができる。

モジュール250は最適化モジュールであり、当該モジュールは適応学習の結果に従って運動予測マトリクスを最適化し、そこから最終的に最適化した運動予測の結果を出力する。

図3は本発明の実施例の運動予測最適化方法300の詳細なフローチャート例である。

図3に示すように、本発明の実施例の運動予測最適化方法300には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有するステップ310、現フレームの特徴点及び前フレームの特徴点をマッチングするステップ320、マッチングの結果に基づき運動予測を行うステップ330、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップ340、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップ350を含む。

このように、それぞれの重み付け係数を有する複数のサブ特徴を用いて動画フレーム中のすべての特徴点を記述することによって、各サブ特徴に重み係数または重要度を分配させ、且つリアルタイムの運動予測の結果に基づきリアルタイムに各サブ特徴の重み付け係数を更新して各サブ特徴の重み係数または重要度を調整することにより、更新した重み付け係数から得た調整後の重要度を用いてより最適化した運動予測の結果を得て、より正確にカメラの運動状況を予測させることができ、それによって様々な応用が行える。さらに、動画フレームの常時撮影及び更新と最適化の常時進行に伴って、適応的に運動予測結果を常時最適化することができ、それにより運動予測結果を実際の運動状況に自動的に近づけていくことができる。

図4は本発明の実施例の運動予測最適化方法中の特徴点の検出、モジュール210の特徴点検出とステップ310描写の具体的なプロセス例である。

ステップ311において、入力したカメラが集める連続の動画フレーム画像を受け取り、且つ各動画フレーム画像に対して、複数の特徴点を検出する。ここで、例えばSIFT （Scale-invariant feature transform）特徴、SURF（Speeded Up Robust Features）特徴、Harrisコーナー点など既知のまたは今後出現する特徴点検出に用いられる如何なる方法をも使用することができる。

ステップ312において、それぞれの重み付け係数
（外１）

を有する複数のサブ特徴f_kの集合を特徴Fとして用いて各特徴点を記述し、

となる。ここでのKはサブ特徴の個数を指す。例えばカラー特徴、グレースケール特徴、勾配特徴、視差情報など、既知のまたは今後出現する特徴記述に用いられる如何なる方法をも本願中のサブ特徴記述の方法として用いることができる。

その後、各動画フレーム中の各特徴点の位置及び各特徴点に対応するそれぞれの重み付け係数
（外２）

を有する複数のサブ特徴f_kの集合した特徴Fを含む、特徴点検出の位置及び記述結果を出力する。

ここで、この少し後で行う特徴点のマッチングのために、少なくとも（好ましくは、隣接した）二つの動画フレームの特徴点の検出した位置及び記述結果を取得する。

図5は本発明の実施例の運動予測最適化方法中の特徴点のマッチングの具体的なプロセス例である。

特徴点マッチングのプロセスは現フレームにおいて前フレーム中の特徴点の現在位置と、前フレーム中の物体（例えばボール）が現フレームのどの位置まで運動したかを見つけるためのものである。つまり、二つの動画フレームにおいて基本的に同じ特徴点を見つけて特徴点ペアにできるようにする。基本的に同じ特徴点を見つけるために、まず特徴点を用いて各特徴点を記述し、その後見つけた基本的に同じ特徴を持つ特徴点ペアを比較しマッチングペアとする。本願において、一連のサブ特徴及びその重み付け係数を用いて上述の特徴としている。前述したように、サブ特徴にはグレースケール特徴、カラー特徴、勾配特徴などを含むことができ、ここで詳細な説明はしない。

具体的には、ステップ321において、入力した（好ましくは、隣接する）二つの動画フレーム中の特徴点の検出及びその記述の結果を受け取るが、上述のように、それは二つの動画フレーム中の各特徴点の位置及び各特徴点に対応するそれぞれの重み付け係数
（外３）

を有する複数のサブ特徴f_kの集合した特徴Fを含む。ステップ321において、特徴点検出及び記述の結果に基づき、さらに二つの動画フレーム同士の異なる特徴点ペアの特徴上の差異を計算する。

ここで、一つ前のフレーム映像中の第i特徴点
（外４）

はこのように表す。

式中、
（外５）

はその第i特徴点のx軸方向の座標値を示し、
（外６）

はその第i特徴点のy軸方向の座標値を示し、
（外７）

はその第i特徴点のz軸方向の座標値を示す。iはmより小さいまたは同等の正の整数である。mは正の整数である。この例において、当該特徴点は三次元を用いて表すが、当然これは例示に過ぎず、実際にはカメラの属性に基づき採用した他の次元によってその特徴点を表してもよく、ここで一つ一つ取り上げることはしない。

現フレーム映像中の第j特徴点
（外８）

はこのように表す。

式中、
（外９）

は当該第j特徴点のx軸方向の座標値を示し、
（外１０）

は当該第j特徴点のy軸方向の座標値を示し、
（外１１）

は当該第j特徴点のz軸方向の座標値を示す。jはnより小さいまたは同等の正の整数である。nは正の整数である。

一つ前のフレーム中の特徴点の集合
（外１２）

及び現フレーム中の特徴点の集合
（外１３）

はそれぞれこのように表す。

二つのフレーム間の特徴点ペア
（外１４）

の特徴上の差異
（外１５）

はこのように表す。

式中、前述のように、複数の（ここでは、K個とする）サブ特徴（それぞれ重み付け係数
（外１６）

を有する）を用いて特徴とする。第kサブ特徴上の特徴点ペアの差異を
（外１７）

と表す。k,Kはすべて正の整数である。
（外１８）

は
（外１９）

が一対のマッチングペアであることを表す。注意する点として、
（外２０）

は一つ前のフレームの特徴点
（外２１）

の特徴の値と現フレームの特徴点
（外２２）

の当該特徴の値の差を表せる。同じように、
（外２３）

は一つ前のフレームの特徴点
（外２４）

の第kサブ特徴の値と現フレームの特徴点
（外２５）

の当該第kサブ特徴の値の差を表す。第kサブ特徴の重み付け係数
（外２６）

によって第kサブ特徴に重み係数または重要度を分配する。

ここで、

である。

ステップ322において、取得した二つのフレーム間の特徴点ペアの差異に従って、最適な特徴点ペアのマッチング結果を選択取得する。最適な特徴点ペアのマッチング結果を選択取得する方法は、以下の公式に示すように、すべての差異が最も小さい特徴点ペアのマッチング結果を選択取得することを含められる（なぜなら前述のように、基本的に同じ特徴を有する特徴点を見つけるためである）。

式中、Nはマッチング上の特徴点ペアの数量を表す。

当然、総差異の最も少ない特徴点ペアを取得する方法は上述の公式に限らず、他の実施例において既知の最小平均二乗誤差法、最小平均絶対値誤差法などを採用できる。

その後、特徴点ペアのマッチング結果を出力するが、次のように表される。

図2及び図3の示すモジュール230及びステップ330において、両フレーム間の特徴点ペアのマッチング結果を基に、現フレームのマッチングのそれぞれの特徴点と前フレームのマッチングのそれぞれの特徴点同士の相対的回転及びシフトから運動予測を行い、両フレーム間の全体的回転マトリクスR及びシフトマトリクスtを取得することができる。

ここで、既知の各種運動予測計アルゴリズムを用いて運動予測を行うことができるが、一般的な運動予測計アルゴリズムは既知のRANSAC、四元数方法などである。両フレーム間のマッチングの特徴点を基に動きマトリクス（例えば、三次元の状況下で、回転マトリクスとシフトマトリクスを含む）を予測するのは動画処理の基礎知識であるので、以下に運動予測計アルゴリズムの簡単なステップの概略だけを説明し、具体的な詳細については述べない。

運動予測の結果には回転マトリクス（Rotation matrix）、

及びシフトマトリクス（Translation vector）を含むことができる。

両フレーム間の特徴点マッチングペアに基づき、最終的なR,t値を求めることができる。RANSAC、四元数方法など、既知の多くの方法がある。例を挙げると、以下の公式で表すように、最小化投影誤差に基づきR,tを求められる。

例えばRANSAC方法では、毎回n個の点を選択し、ガウス・ニュートン最適化法によって一組のR,tを取得し、その後その結果を各マッチングペア中に当てはめ、最多適格マッチングペア（inlier）を得て最適なR,t結果とする。

図6は本発明の実施例の運動予測最適化方法中の適応学習の具体的なプロセス例である。

図5で述べる方式を用いて特徴の総差異が最も小さい特徴点ペアを選択しても誤った特徴点ペアが含まれることもあるが、ノイズ、光、遮蔽などの原因により、誤ってマッチングすべきでない特徴点の特徴間の差異も小さくしてしまうことがある。従って、運動予測を最適化してより正確な運動予測結果を取得するために、最初に比較的正確な特徴点ペア（適格マッチングペアとする）をふるい分け、恐らく誤っている特徴点ペアは排除することができる。

具体的には、ステップ341において、入力した隣接する動画フレーム中の特徴点マッチングペア及び運動予測の結果、運動予測マトリクス（当該例では、回転マトリクスR及びシフトマトリクスt）を受け取り、その後、受け取った現在の運動予測結果、即ち運動予測マトリクスに従って当該現在の運動予測結果に適合するすべての特徴点ペアを取得し、適格マッチングペア（またはinliers）、もしくは不適格マッチングペア（またはoutlier）とする。

具体的には、一つの実施例において、各特徴点ペア
（外２７）

に関して、（前フレームの）特徴点
（外２８）

について、現在の運動予測結果（すなわち回転マトリクスRとシフトマトリクスt）によってその現フレーム中の位置
（外２９）

を予測することができる。

以下のような公式によって当該特徴点ペア
（外３０）

が適格マッチングペア（またはinliers）と不適格マッチングペア（またはoutlier）のどちらに属するか判断する。（thrを用いて判断しきい値とする）

式中、
（外３１）

は現フレーム中の特徴点の実際の位置
（外３２）

と前フレーム中の特徴点
（外３３）

の現フレーム中の計算上の位置
（外３４）

同士の距離を表す。例えば三次元の状況では、当該距離は空間上の距離でよい。

つまり、各マッチングペア中の現フレーム中の特徴点の実際の位置
（外３５）

と運動予測の結果を用いて予測した前フレーム中の特徴点
（外３６）

の現フレーム中の計算上の位置
（外３７）

は比較的近く（一つの距離しきい値より小さい）、当該マッチングペアがより運動予測の結果に適合することを表す。よって、ふるい分けによって運動予測結果により適合するとしたマッチングペアを適格マッチングペアとし、運動予測の結果により適合しない恐らく誤ったマッチングペアを排除することで、続くサブ特徴の重み付け係数の更新を行い、それによってより正確な更新結果を取得する。

ステップ342において、各適格マッチングペア（inlier）の各サブ特徴上の差異を計算する。

例えば、適格マッチングペア
（外３８）

の第kサブ特徴
（外３９）

の差異は以下のように計算される。

ここで、

上述の公式は適格マッチングペア中の前フレームの特徴点
（外４０）

の第kサブ特徴の一つ目の値
（外４１）

及び適格マッチングペア中の現フレームの特徴点
（外４２）

の第kサブ特徴の二つ目の値
（外４３）

同士の差の値
（外４４）

を正規化し、当該差の値に関連する上述の差異を取得するものである。

このように、すべての適格マッチングペアの第kサブ特徴
（外４５）

上の差異の集合
（外４６）

は以下のように計算される。

ステップ343において、各サブ特徴の重み付け係数の調整量を計算するが、例えば、第kサブ特徴
（外４７）

の重み付け係数の調整量
（外４８）

は以下のように示す。

（外４９）

は各種の関数でよい。通常、
（外５０）

は以下の関数を取得するよう設置できるが、すなわち、取得した計算の差異
（外５１）

が大きいほど、重み付け係数
（外５２）

を小さく（すなわち、
（外５３）

を絶対値のより大きな負数とする）調整し、且つ計算した差異
（外５４）

が小さいほど、重み付け係数
（外５５）

をより大きく（すなわち、
（外５６）

を絶対値のより大きな整数とする）調整する。本例においては、例えば

と設定できるが、これは例に過ぎず、その他の例においては上述の条件を満たす他の関数を設置してもよい。

ステップ344において、計算した調整量
（外５７）

を用いて、現第kサブ特徴の重み付け係数
（外５８）

をこのように調整する。

このように、計算した差異
（外５９）

が大きいほど、重み付け係数
（外６０）

をより小さく調整し、且つ計算した差異
（外６１）

が小さいほど、重み付け係数
（外６２）

をより大きく調整する。

これは、通常は適格マッチングペア中の二つの特徴点のサブ特徴上の値は接近している、ひいては同じはずであるとみなすためであり、正確なマッチングペアは同じ物体を表すはずであり、同じ物体のある一つのサブ特徴上の値は同じまたは接近しているはずなので、仮に適格マッチングペアに対して計算したある一つのサブ特徴の値の差異が大きいほど、当該サブ特徴は当該物体（または当該マッチングペア中の二つの特徴点）の記述に適合しないとみなし、したがって当該サブ特徴の重み係数または重要度はより低くなるはずなので、当該サブ特徴の値の差異はより小さくなる。仮に適格マッチングペアに対して計算したある一つのサブ特徴上の値の差異が小さいほど、当該サブ特徴は当該物体（または当該マッチングペア中の二つの特徴点）の記述に適合するとみなし、したがってそのサブ特徴の重み係数または重要度はより高くなるはずなので、当該サブ特徴の重み付け係数をより大きく調整する。

その後、適応学習の結果（具体的には、更新後のサブ特徴の重み付け係数を含む）を出力する。

このように、適応的に現在の運動予測の結果からサブ特徴の重み付け係数を調整し、サブ特徴の重み付け係数に当該サブ特徴の重み係数または重要度を常時に、より正確に反映させ、それにより動画フレームの常時撮影及び運動予測の常時進行に伴って、取得したより正確なサブ特徴の重み付け係数を適応的に調整でき、それにより自動的に各サブ特徴の重み係数及び行う運動予測の結果を用いて実際の運動状況に次第に近づけていくことができる。

図7は本発明の実施例の運動予測最適化方法中の運動予測結果の最適化の具体的なプロセス例である。

ステップ351において、入力したマッチングして得た特徴点ペアの集合（詳細はステップ322）及び適応学習して得た更新後のサブ特徴の重み付け係数（詳細はステップ344）を受け取る。その後、マッチングペア
（外６３）

に対して（本例では、好ましくは、適格マッチングペア（inliers））、更新後のサブ特徴重み付け係数に従い再度特徴点のマッチングプロセスを行い（詳細はステップ321及び322）、それにより
（外６４）

のマッチングポイント
（外６５）

の位置を調整し、最適化後のマッチングペア
（外６６）

（図8に示す）を取得する。図8は特徴点のマッチングペアの、最適化プロセス期間における位置の変化を示した概略図である。

当然、図8は前フレーム中のマッチングポイント
（外６７）

の位置調整を例示的に描いたに過ぎず、その他の例において、現フレーム中のマッチングポイント
（外６８）

の位置に対して調整を行ってもよい。

ステップ352において、現在選択した適格マッチングペア（inliers）に従って運動予測マトリクスを再計算し最適化した運動予測結果とする。

このように、新たな最適化後の運動予測結果を出力する。

注意点として、ここで、上述の最適化操作を適格マッチングペアに対してだけ行うので、恐らく誤っているマッチングペアの悪影響を排除することができ、最良の運動予測結果を取得できる。

このように、それぞれの重み付け係数を有する複数のサブ特徴を用いて動画フレーム中のすべての特徴点を記述することによって、各サブ特徴に重み係数または重要度を分配させ、且つリアルタイムの運動予測の結果に基づき各サブ特徴の重み付け係数をリアルタイムに更新して各サブ特徴の重み係数または重要度を調整し、それにより更新した重み付け係数により得た調整後の重要度を用いてより最適化した運動予測の結果を取得して、カメラの運動状況をより正確に予測させることができ、そこから各種の応用を行うことができる。さらに、動画フレームの常時撮影及び更新と最適化の常時進行に伴って、運動予測結果を適応的に常時更新及び最適化でき、それにより自動的に運動予測結果を実際の運動状況に次第に近づけていくことができる。最適化したマッチング特徴点ペアに基づいて取得する再度実行した運動予測結果によって、映像の撮影用カメラの運動情報を予測し、それによりカメラを搭載した無人機、車両などの運動動線を予測することで、各種の実際的な応用を行うことができる。

図9は本発明の実施例の運動予測最適化装置900のブロック図例である。

図9に示す運動予測最適化装置900には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有するように構成された検出部901、現フレームの特徴点及び前フレームの特徴点をマッチングするように構成されたマッチング部902、マッチングの結果に基づき運動予測を行うように構成された運動予測部903、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するように構成された更新部904、及び更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うように構成された最適化運動予測部905を含む。

一つの実施例において、前記更新部904は、運動予測の結果に基づき、当該運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとし、前記適格マッチングペアの各サブ特徴上の差異を計算し、計算した差異に基づき、各サブ特徴の重み付け係数の調整量を決定し、前記調整量に基づき、各サブ特徴それぞれの重み付け係数を更新するように構成される。

一つの実施例において、更新部904が行う前記運動予測の結果に基づき、運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップには、前フレームの特徴点について、当該運動予測の結果から現フレーム中の位置を予測すること、前記予測した位置と現フレームの特徴点の実際の位置の距離を計算すること、計算した距離が所定しきい値より小さな現フレームの特徴点及び前フレームの特徴点のマッチングペアを選択して適格マッチングペアとすることを含む。

一つの実施例において、更新部904が行う前記適格マッチングペアの各サブ特徴上の差異を計算するステップには、前記適格マッチングペアの前フレームの特徴点のサブ特徴の一番目の値を計算すること、前記適格マッチングペアの現フレームの特徴点のサブ特徴の二番目の値を計算すること、前記適格マッチングペアの各サブ特徴上の差異を計算し、前記差異と一番目の値及び二番目の値の差異は相関することを含む。

一つの実施例において、更新部904が行う前記計算した差異に基づき、サブ特徴の各重み付け係数の調整量を決定するステップには、重み付け係数の調整量を決定し、計算した差異が大きいほど、重み付け係数の調整は小さくなり、且つ計算した差異が小さいほど、重み付け係数の調整が大きくなるようにすることを含む。

一つの実施例において、運動予測最適化装置900はさらに最適化した運動予測の結果に基づき、視覚オドメーター計算によって、映像の撮影用カメラの運動情報を予測することができる。

一つの実施例において、映像はステレオ映像でよい。

図10は本発明の実施例の運動予測最適化システム1000のブロック図例である。

運動予測最適化システム1000には、処理器（H1）、前記処理器（H1）と結合し、且つコンピュータが実行できるコマンドを記憶し、前記処理器により実行する時には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有すること、現フレームの特徴点及び前フレームの特徴点をマッチングすること、マッチングの結果に基づき運動予測を行うこと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新すること、更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うこと、という図3に示すようなステップを行うための記憶装置（H2）を含むことができる。

処理器（H1）には例えば、一つまたは複数の処理器或いはマイクロ処理器を含められるがこれらに限らない。

記憶装置（H2）には例えば、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、フロッピーディスク、ソリッドステートドライブ、リムーバブルディスク、CD-ROM、DVD-ROM、ブルーレイディスクを含められるがこれらに限らない。

それ以外にも、運動予測最適化システム1000にはさらに、データバス（H3）、入力/出力（I/O）バス（H4）、ディスプレイ（H5）、及び入力/出力設備（H6）（例えば、キーボード、マウス、スピーカーなど）などを含むことができる。

処理器（H1）はI/Oバス（H4）を通じて有線または無線ネットワーク（図示せず）を介して外部設備（H5、H6など）と通信できる。

メモリ（H2）はさらに少なくとも一つのコマンドを含み、処理器（H1）により実行する際、本技術の各実施例の各機能または方法のステップを実施することができる。

メモリ（H2）はさらにコンピュータが実行可能なコマンドを記憶でき、それは処理器（H1）により実行する際、本技術が述べる実施例中の各機能及び/または方法のステップを行うためのものである。

当然、上述の具体的な実施例は限定ではなくあくまで例に過ぎず、且つ当業者は本技術の概念を基に上述でそれぞれ説明した各実施例中のステップ及び装置を合成及び組み合わせることで本技術の効果を実現することができ、こうした合成及び組合せからなる実施例も本技術中に含まれるので、ここでそうした合成及び組合せを一つ一つ説明することはしない。

注意点として、本開示中で述べる長所、利点、効果などは限定ではなくあくまで例に過ぎず、これら長所、利点、効果は本技術の各実施例が必ず備えていなければならないものと見なすことはできない。別の点として、上述で開示した具体的な詳細は例示のため及び理解を容易にするためのものであり、限定ではなく、上述の詳細は本技術が必ず上述の具体的な詳細を用いて実現しなければならないと限定するものではない。

本開示において関係する器材、装置、機器、システムのブロック図は例示的な例に過ぎず、且つブロック図に示す方式に従い接続、配置、構成を行わなければならないと要求または暗示することを意図したものではない。当業者であれば、これらの器材、装置、機器、システムは任意の方式で接続、配置、構成できると知っている。例えば「含む」「包含する」「有する」などの語句は開放性の語彙であり、「含むがこれに限らない」を指し、且つ互換的に使用できる。ここで用いる語彙「または」及び「及び」は「及び/または」の語彙を指し、且つ文脈で明確にそうでないと指示する場合を除き、互換的に使用できる。ここで使用する語彙「例えば」は「例えるが限定しない」の句を指し、且つ互換的に使用できる。

本開示におけるステップフローチャート及び以上の方法説明は例示的な例に過ぎず、且つ与えた順序に従い各実施例のステップを実行しなければならないと要求または暗示することを意図するものではない。当業者であれば、以上の実施例中のステップの順序を任意の順序で実行できると知っている。例えば「その後」、「それから」、「続いて」などの語句にステップの順序を制限する意図はない。こうした語句はこれらの方法説明を読む読者を導くために用いたに過ぎない。その他に、例えば単数の要素に「一つの」「一」または「該」という冠詞を用いた任意の引用も、その要素を単数に限定するとは解釈されない。

その他に、本文中の各実施例のステップ及び装置は、ある実施例中だけで実行すると限定するものではなく、実際は本技術の概念に基づいて本文中の各実施例において関連する部分的なステップ及び一部の装置と合わせて新たな実施例を構想することができ、それら新たな実施例も本技術の範囲に含まれる。

以上で述べた方法の各操作は相応する機能を実行できる任意の適切な手段によって実行できる。当該手段には、各種ハードウェア及び/またはソフトウェアコンポーネント及び/またはモジュールを含むことができ、ハードウェアの回路、特定用途向け集積回路（ASIC）または処理器を含むがこれらに限らない。

ここで述べる機能を実行するために設計された汎用処理器、デジタルシグナル処理器（DSP）、ASIC、フィールドプログラマブルゲートアウェイ（FPGA）またはその他のプログラマブルロジックデバイス（PLD）、離散ゲートまたはトランジスタ論理、離散のハードウェアコンポーネント或いはその任意の組み合わせを利用して、上述の各例のロジックモジュール、モジュール及び回路を実現または実行することができる。汎用処理器はマイクロ処理器でよいが、ただし代替として、当該処理器はいかなる市販の処理器、制御機、マイクロ制御機または状態機械でもよい。処理器はさらに、例えばDSPとマイクロ処理器の組合せ、複数のマイクロ処理器、DSPコアと連携した一つ或いは複数のマイクロ処理器またはその他のいかなるこうした構成など、計算機器の組み合わせを実現できる。

本開示が説明する方法またはアルゴリズムと合わせたステップはハードウェア、処理器が実行するソフトウェアモジュール或いはこの両者の組合せ中に直接組入れることができる。ソフトウェアモジュールはどんな形式の有形記憶媒体中にでも存在できる。使用できる記憶媒体のいくつかの例としてランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROMなどが含まれる。記憶媒体は処理器と結合し、処理器が当該記憶媒体から情報の読み取り及び当該記憶媒体に情報を書き込めるようにする。代替方式では、記憶媒体は処理器と一体でよい。ソフトウェアモジュールは一つのコマンド或いは多数のコマンドでよく、さらにいくつかの異なるコード・セグメント上、異なるプログラム間及び複数の記憶媒体を越えて分布できる。

本開示の方法は上述の方法を実現するための一つまたは複数の動作を含む。方法及び/または動作は特許請求の範囲から逸脱することなく互換性をもてる。言い換えれば、動作の具体的な順序を指定している場合を除き、具体的動作の順序及び/または使用は特許請求の範囲から逸脱することなく修正できる。

ここで述べる機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実現できる。もしソフトウェアによって実現する場合、機能は一つまたは複数のコマンドとして相応しいコンピュータ可読媒体上に記憶できる。記憶媒体はコンピュータによりアクセスできる使用可能な如何なる相応しい媒体でもよい。このようなコンピュータ可読媒体にはRAM、ROM、EEPROM、CD-ROMまたはその他の光ディスクメモリ、磁気ディスクメモリまたはその他の磁気メモリデバイス、或いはコマンドまたはデータ構造の形式で所望のプログラムコードを携帯または記憶するために使用し、且つコンピュータによってアクセスできるその他いかなる媒体をも含むことができるが、これは例であって限定ではない。ここで使用するようなディスク（disk及びdisc）には、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク及びブルーレイディスクを含むが、そのうちのディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザーを用いてデータを光学的に再生する。

従って、コンピュータプログラム製品はここで与える操作を行うことができる。例えば、このようなコンピュータプログラム製品は有形記憶媒体（及び/またはエンコード）にそのコマンドを備えたコンピュータ可読有形媒体でよく、当該コマンドは一つ或いは複数の処理器の実行によってここで述べる操作を行える。コンピュータプログラム製品はパッケージ材料を含むことができる。

ソフトウェアまたはコマンドは伝送媒体を通して伝送できる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者ライン（DSL）、または例えば赤外線、無線及びマイクロ波の無線技術の伝送媒体を使用してウェブサイト、サーバーまたは他のリモートソースからソフトウェアを伝送できる。

その他に、ここに述べる方法及び技術を実行するためのモジュール及び/またはその他適切な手段は、適宜、ユーザー端末及び／または基地局によってダウンロード及び／または他の方法で入手できる。例えば、そうした機器をサーバーと結合してここに述べる方法の手段の伝送を実行するよう促すことができる。或いは、ここで述べる各種方法は、記憶部材（例えばRAM、ROM、CDまたはフロッピーディスクなどの物理記憶媒体）を通じて提供し、ユーザー端末及び／または基地局がその機器或いはその機器に提供する記憶部材と結合する際に各種方法を取得できるようにすることができる。その他に、ここで述べる方法及び技術を機器に提供するために適切なその他如何なる技術でも使用できる。

その他の例及び実現方法は本開示及び添付の特許請求の範囲及び精神内にある。例えば、ソフトウェアの本質により、上述の機能は処理器、ハードウェア、ファームウェア、ハードワイヤードまたはこれらの任意の組合せにより実行するソフトウェアを用いて実現できる。機能を実現する特徴も各位置に物理的に置かれるが、それは機能の一部を異なる物理位置において実現するために配置されることを含む。そのうえ、特許請求において使用したものを含め、「少なくとも一つの」から始まる項の列挙中で使用する「あるいは」は分離の列挙を指し、例えば「A、BまたはCの少なくとも一部」の列挙はAまたはBまたはC、またはABまたはACまたはBC、またはABC（すなわちA及びB及びC）を意味する。その他、「例示的」の用語は説明する例が好ましい或いは他の例より良いことを意味するものではない。

添付の特許請求の定義の教示する技術から逸脱することなくここに述べる技術の各種改良、代替及び変更を行うことができる。その他、本開示の特許請求の範囲は以上に述べる処理、機器、製造、事柄の構成、手段、方法及び動作の具体的な方面に限定しない。ここで述べるのと同様の方面において行う基本的に同じ機能或いは基本的に同じ結果を実現する従来または今後開発される処理、機器、製造、事柄の構成、手段、方法または動作を利用することができる。従って、添付の特許請求はその範囲内のこのような処理、機器、製造、事柄の構成、手段、方法または動作を含む。

本開示の提供する方面の以上の説明によりいかなる当業者も本技術を実行または使用できるようにした。これらの方面の各種修正は当業者にとって非常に明らかなものであり、さらにここで定義する一般原理は本技術の範囲から逸脱することなくその他の方面に応用できる。従って、本技術はここに示した方面に限定することを意図しておらず、ここに開示する原理及び新規の特徴との一致に基づく最大範囲に及ぶ。

例示及び説明のために以上の説明を行ったが、ここでの説明は本技術の実施例をこの開示の形式に限定することを意図していない。以上、幾つかの方面及び実施例について述べたが、当業者であれば、種々の変形、修正、変更、追加及びサブ組合せが可能であることが理解できる。

Claims

映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、
現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、
マッチングの結果に基づき運動予測を行うステップと、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、
更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップと、を含む、運動予測の最適化方法。
前記運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップは、
運動予測の結果に基づき、当該運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップと、
前記適格マッチングペアの各サブ特徴上の差異を計算するステップと、
前記計算した差異に基づき、各サブ特徴の重み付け係数の調整量を決定するステップと、
前記調整量に基づき、各サブ特徴それぞれの重み付け係数を更新するステップと、を含む、請求項１に記載の運動予測の最適化方法。
前記運動予測の結果に基づき、前記運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップは、
前フレームの特徴点について、前記運動予測の結果に基づき現フレーム中の位置を予測するステップと、
前記予測した位置と現フレームの特徴点の実際の位置の距離を計算するステップと、
前記計算した距離が所定しきい値より小さな、現フレームの特徴点及び前フレームの特徴点のマッチングペアを選択し、適格マッチングペアとするステップと、を含む、請求項２に記載の運動予測の最適化方法。
前記適格マッチングペアの各サブ特徴上の差異を計算するステップは、
前記適格マッチングペア中の前フレームの特徴点のサブ特徴の一番目の値を計算するステップと、
前記適格マッチングペア中の現フレームの特徴点のサブ特徴の二番目の値を計算するステップと、
前記適格マッチングペアの各サブ特徴上の差異を計算するステップであって、前記差異と一番目の値及び二番目の値の差異は相関する、ステップと、を含む、請求項２に記載の運動予測の最適化方法。
前記計算した差異に基づき、サブ特徴の各重み付け係数の調整量を決定するステップは、
計算した差異が大きいほど、重み付け係数の調整は小さくなり、且つ計算した差異が小さいほど、重み付け係数の調整が大きくなるように、重み付け係数の調整量を決定するステップ、を含む、請求項２に記載の運動予測の最適化方法。
映像の連続フレームの継続に伴って、適応的に運動予測の最適化を行う、請求項１に記載の運動予測の最適化方法。
最適化した運動予測の結果に基づき、視覚オドメーターによって計算し、映像の撮影用カメラの運動情報を予測するステップ、をさらに含む、請求項１に記載の運動予測の最適化方法。
前記映像はステレオ映像である、請求項１に記載の運動予測の最適化方法。
映像中の現フレームの特徴点及び前フレームの特徴点を検出する検出手段であって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、検出手段と、
現フレームの特徴点及び前フレームの特徴点をマッチングするマッチング手段と、
マッチングの結果に基づき運動予測を行う運動予測手段と、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新する更新手段と、
更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行う最適化運動予測手段と、を含む、運動予測最適化装置。
処理器と、
前記処理器と結合し、且つコンピュータが実行できるコマンドを記憶する記憶装置と、を含み、
前記記憶装置が前記処理器により実行する時には、
映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、
現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、
マッチングの結果に基づき運動予測を行うステップと、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、
更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うステップと、を実行する、運動予測最適化システム。