JP2017526082A

JP2017526082A - 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体

Info

Publication number: JP2017526082A
Application number: JP2017511789A
Authority: JP
Inventors: ビークペトルスジェイ．エル．ヴァン; シンユシュ; ミアオリャオ
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2014-09-03
Filing date: 2015-08-31
Publication date: 2017-09-07
Also published as: CN107077137A; WO2016035324A1; US20160063330A1; US10339389B2

Abstract

本発明の態様は、エゴモーションのビジョンベースの計算方法およびシステムに関する。

Description

本発明の実施形態は、概して、動作推定方法およびシステムに関し、特に、エゴモーション（ego-motion）のビジュアルベースの計算方法およびシステムに関する。

車両が走行する表面道路に関する車両のエゴモーションの正確な推定は、自動運転およびコンピュータビジョンベースの運転支援の重要な要素となり得る。エゴモーションを計算するために、他のセンサに対して１つ以上のカメラを使用することによって、センサ間の較正を必要とぜずに、エゴモーションデータと、ビジョンベースアルゴリズム（例えば、障害物検出および／または回避、歩行者検出および／または回避、対象物検出および／または回避、および他のビジョンベースのアルゴリズム）との統合が可能となり得る。これによって、メンテナンスの必要性およびコストが低減され得る。主体（例えば車両、ヒト、ロボット、他の移動体等）に設置された１つ以上のカメラからの入力のみを使用した、上記主体のエゴモーションの推定プロセスは、ビジュアルオドメトリ（ＶＯ）と称される。

ＶＯにおいては、移動体の移動が１つ以上の車載カメラから取得される画像にもたらす変化を検査することによって、移動体の位置が増分的に推定される。ＶＯが効果的に機能するためには、明白な移動を抽出することができるように、その状況における十分な照明と、十分な内容を有する静的場面とが必要となり得る。さらに、場面が十分に重複されるように、一時的な連続フレームが取得されるべきである。

動作推定を提供するＶＯの１つの利点は、ＶＯが凹凸のある地形や他の悪条件での車輪スリップの影響を受けないことである。さらに、ＶＯは、例えば、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーザオドメトリ、および動作推定をもたらす他のシステム等の他の動作推定プロセスおよびシステムに、重要な補足情報を提供することができる。さらに、例えば、水中、空中、およびＧＰＳが機能しないであろう他の環境等のＧＰＳが機能しない環境、ならびに、例えばマルチパス、不十分な衛星範囲、および他の信頼性に関わる要因等のためにＧＰＳ情報が信頼できない環境において、ＶＯの重要性が増加し得る。

映像入力のみを利用する動作推定のための動作推定アルゴリズムの多くは、静的場面を仮定する。さらに、映像入力のみを利用する動作推定のための動作推定アルゴリズムの多くは、通過する車両によって生じる、動的環境および／または混雑した環境、または大規模な閉塞状態に対処することができない。さらに、動作推定における特徴照合および外れ値除去は正確なものではなく、そして失敗することがある。動作推定スキームの多くは、非常に多くの数のキーポイントを必要とし、構造物のない場面において利用可能なキーポイントの数が制限される場合、失敗することがある。

上述の仮定に依存せず、上述の制限を克服するリアルタイムＶＯ法およびシステムが所望される。

本発明のいくつかの実施形態は、エゴモーションを推定するためのカメラを用いる方法およびシステムを含んでいる。

本発明の第１の態様によると、移動体および接地面に対して、正確に較正されたカメラが上記移動体に強固に設置されてもよい。移動体が主に平らな接地面上を移動すると仮定することによって、任意の時刻における移動体の動作のパラメータ化を、６自由度から３自由度に簡略化することができ、それによって、移動体が移動する間の各時刻におけるカメラと地面との固定関係が維持される。

本発明の第２の態様によると、カメラから着信画像が受信され得る。本発明の第３の態様によると、受信した着信画像における特徴検出が行われ得る。本発明の第４の態様によると、検出された各特徴についての特徴記述子が計算され得る。本発明の第５の態様によると、受信した着信画像に関して計算された特徴記述子と、先に受信した画像に関して計算された特徴記述子との間で特徴照合が行われ得る。本発明の第６の態様によると、特徴対応に関するキーポイントが、画像座標から世界座標に投影され得る。本発明の第７の態様によると、特徴対応に関する複数組の世界座標から動作推定が計算され得る。本発明の第８の態様によると、キー位置が検出された時、グローバル座標系における現カメラ位置が生成され得る。本発明の第９の態様によると、現カメラ位置から動作軌道が決定され得る。本発明の第１０の態様によると、先に受信した画像に関して計算された特徴記述子が、受信した着信画像に関して計算された特徴記述子に更新され得る。

本発明の上述の、およびその他の目的、特徴、利点は、添付の図面と共に説明される、本発明の以下の詳細な説明を検討することによってより容易に理解されるであろう。

図１は、本発明の例示的な実施形態を示すチャートであり、本発明は、受信した着信画像における特徴検出を行う工程と、検出された上記各特徴に関する特徴記述子を計算する工程と、上記受信した着信画像に関して計算された特徴記述子と、前に受信した画像に関して計算された特徴記述子との間の特徴照合を行う工程と、特徴対応に関するキーポイントを、画像座標から世界座標に投影する工程と、上記特徴対応に関する複数組の世界座標から動作推定を計算する工程と、キー位置が検出された時、グローバル座標系における現カメラ位置を生成する工程と、上記現カメラ位置から動作軌道を決定する工程と、前に受信した画像に関して計算された上記特徴記述子を、上記受信した着信画像に関して計算された上記特徴記述子に更新する工程とを含んでいる。図２は、本発明の実施形態に関する複数の座標系を示す図である。本発明の例示的な実施形態に係る、移動体プラットホームにおける例示的なカメラ構成を示す図である。絶対標定に基づく（ＡＯベース）動作推定を含む本発明の例示的な実施形態を示すチャートである。直交プロクラステス分析に基づく動作推定を含む本発明の例示的な実施形態を示すチャートである。

本発明の実施形態は、全図面を通して類似部分には類似の番号が示されている図面を参照することによって最もよく理解されるであろう。上述の図面は、本詳細な説明の一部として明確に組み込まれている。

本明細書において概略的に説明され、図面に示されている本発明の要素は、種々の他の構成に配置および設計可能であることが容易に理解されるであろう。したがって、本発明の方法、システムおよび装置の実施形態の下記のより詳細な説明は、本発明の範囲を限定することを意図しておらず、単に、本発明の現在の好ましい実施形態を示しているにすぎない。

本発明の実施形態の要素は、ハードウェア、ファームウェア、および／またはコンピュータ可読記憶媒体を備えている非一時的コンピュータプログラム製品に組み込まれ得る。コンピュータ可読記憶媒体は、当該コンピュータ可読記憶媒体内に記憶された、計算システムをプログラムするために利用可能な命令を有している。本明細書に示す例示的な実施形態は、複数の実施形態のうちの１つを説明するにすぎないが、当業者であれば、本発明の範囲にありながら、任意の実施形態において、上記の要素を実施することができることが理解されるべきである。

図面のチャートおよびグラフは、実行の明確な順序を示し得るが、実行順序は、図示されている順序と異なってもよいことが理解される。例えば、図示されている順序に対して、ブロックの実行順序を変更してもよい。また、他の例として、図面で連続的に示している２つ以上のブロックを同時に実行してもよく、あるいは、部分的に同時に実行してもよい。当業者は、コンピュータ可読記憶媒体を備えている非一時的コンピュータプログラム製品（コンピュータ可読記憶媒体は、当該コンピュータ可読記憶媒体内に記憶された、計算システムをプログラムするために利用可能な命令を有している）、ハードウェア、および／またはファームウェアは、本明細書に記載されている種々の論理関数を実行するために当業者によって作成されてもよいことを理解する。

図１に関して説明されている本発明のいくつかの実施形態は、ビジュアルオドメトリのための方法１００を備え得る。着信画像フレームおよび着信フレームとも称される着信画像が、プロセッサ要素内で受信され得る（１０２）。本発明のいくつかの実施形態においては、上記着信画像は、画像取得要素から直接的に受信されてもよい。代替実施形態においては、上記着信画像は、画像取得要素から間接的に受信されてもよい。本発明のいくつかの実施形態においては、上記画像取得要素および上記プロセッサ要素は、共に、移動体に強固に取り付けられたカメラ内にあってもよい。本発明の代替実施形態においては、上記画像取得要素は、移動体に強固に取り付けられたカメラ内にあってもよく、一方、上記プロセッサ要素は、移動体に搭載されるが、強固に取り付けられたカメラに一体化されなくてもよい。本発明のいくつかの実施形態においては、上記着信画像は、カラー画像であってもよい。本発明の代替実施形態においては、上記着信画像は、グレースケール画像であってもよい。本発明のいくつかの実施形態においては、上記着信画像は、取得したカラー画像から生成したグレースケール画像であってもよい。いくつかの実施形態においては、着信グレースケール画像は、画像取得要素内に生成されてもよい。これらの実施形態の代替実施形態においては、上記着信グレースケール画像は、画像取得要素の外部で、取得したカラー画像から生成されてもよい。

例えばエッジ、コーナー、ブロブ、ピーク、および強度における顕著に強い変化を示す他の空間的特徴等の、強度における顕著に強い変化を示す、受信した着信画像における１つ以上の領域を特定するために、受信した着信画像において特徴検出が行われ得る（１０４）。１つ以上の特定された各領域の中心、または略中心が、キーポイントと示され、それによって、受信した着信画像に関する１つ以上のキーポイントが生成される。特徴検出を行うことは、例えば、コーナー検出器、ブロブ検出器、ピーク検出器、Scale-Invariant Feature Transform (SIFT)キーポイント検出器、Speeded Up Robust Features (SURF)キーポイント検出器、Features from Accelerated Segment Test (FAST)キーポイント検出器、Oriented FAST and Rotated BRIEF (ORB)キーポイント検出器、Maximally Stable Extremal Regions (MSER)キーポイント検出器、Binary Robust Independent Elementary Features (BRIEF)キーポイント検出器、Binary Robust Invariant Scalable Keypoints (BRISK)キーポイント検出器、Fast REtinA Keypoint (FREAK)キーポイント検出器、STARキーポイント検出器、およびその他のキーポイント特徴検出器等の本技術で公知の１つ以上のキーポイント特徴検出器を、受信した着信画像に利用することを含んでもよい。本発明のいくつかの実施形態においては、ＦＡＳＴキーポイント検出器が、リアルタイムの自動ナビゲーション用途に適したその迅速な検出スピードのため使用され得る。

本発明のいくつかの実施形態においては、特徴検出１０４を行うために、グリッドベースＦＡＳＴ特徴検出器を使用してもよい。これらの実施形態においては、受信した着信画像を、ｍ×ｎグリッドに分割してもよい。本発明のいくつかの実施形態においては、ｍおよびｎは異なる値でもよい。代替実施形態においては、ｍの値、およびｎの値は同じであってもよい。ＦＡＳＴキーポイント検出器を各グリッド要素に利用してもよい。本発明のいくつかの実施形態においては、画像内に検出されるキーポイントの最大カウントにおける最大キーポイントカウント閾値が指定されてもよい。最大キーポイントカウント閾値の値は、各着信画像フレームの処理スピードを調整するために使用されてもよい。本発明のいくつかの実施形態においては、グリッド要素の数は、着信画像の所望の処理スピードに基づいて選択されてもよい。

各指定キーポイントの周囲の領域を特徴付けるための特徴記述子が計算され得る（１０６）。本発明のいくつかの実施形態においては、領域に関する特徴記述子は、例えば、当該領域の画素強度または色値等の外観であってもよい。本発明のいくつかの実施形態においては、領域に関する特徴記述子は、当該領域の外観に基づいてもよく、例えば、原画素値は、画素値、画素値のエネルギー、または原画素値から計算されるいくつかのその他の統計値の平均によって、正規化されてもよい。代替実施形態においては、原画素値が画素値の平均によって調整されてもよく、例えば、平均画素値が原画素値から引かれてもよい。本発明のいくつかの実施形態においては、特徴記述子は、領域を横断する空間的勾配であってもよい。本発明のいくつかの実施形態においては、上記領域に関する特徴記述子は、視点変化、回転、スケール変化の１つ以上に対してロバストであってもよい。例示的な記述子として、ＳＩＦＴ特徴記述子、ＳＵＲＦ特徴記述子、ＯＲＢ特徴記述子、ＢＲＩＥＦ特徴記述子、ＢＲＩＳＫ特徴記述子、ＦＲＥＡＫ特徴記述子、および他の視点不変、回転不変、またはスケール不変特徴記述子が含まれる。本発明のいくつかの実施形態においては、上記特徴記述子は小型の特徴記述子であってもよい。上述の特徴記述子は、例示するためのものであって限定するためのものではない。

受信した着信フレームから計算した特徴記述子と、前フレームから計算した特徴記述子との間の特徴照合が行われ得る（１０８）。受信した着信フレームにおける各キーポイントが、前フレームからのキーポイントに関連付けられてもよく、それによって、複数の特徴対応が生成され、各特徴対応は、受信した着信フレームにおけるキーポイントと、前フレームにおけるキーポイントとを関連付ける。

本発明のいくつかの実施形態においては、受信した着信フレームに関して計算された各特徴記述子が、前フレームに関して計算された各特徴記述子と網羅的に比較されてもよい。着信フレーム特徴記述子と、前フレーム特徴記述子とを比較することは、類似性尺度を計算することを含んでもよい。特徴記述子が特徴の外観である本発明のいくつかの実施形態においては、上記類似性尺度が２乗和であってもよい。上記特徴記述子が特徴の外観である本発明の代替実施形態においては、上記類似性尺度が正規化相互相関であってもよい。

本発明のいくつかの実施形態においては、特徴照合を行うこと（１０８）は、ｋｄ木（k-dimensional tree）を用いた高速最近傍探索を含んでもよい。上記特徴記述子がＢＲＩＥＦ記述子等のバイナリ記述子である本発明のいくつかの実施形態においては、ハミング距離を使用して類似性が測定されてもよい。他の非バイナリ特徴記述子が利用され得る代替実施形態においては、例えばＬ２ノルム、Ｌ１ノルム、およびノルムによって定義される他の距離等の数学的ノルムが類似性尺度のために利用されてもよい。

本発明のいくつかの実施形態においては、特徴照合は、動作変化を計算するための十分に正確な照合のみを保持するように、余分なものが除去されてもよい。本発明のいくつかの実施形態においては、上位２つの照合間の距離比テストが行われてもよい。最も近接する照合と、２番目に近接する照合との間の比が計算されてもよい。上記の比がユーザが指定した閾値より小さい場合、最も近接する照合が採用されてもよい。本発明のいくつかの実施形態においては、ユーザが指定した閾値は、０．６５に等しくてもよい。距離比テストによって照合を行った後、前画像において１つ以上の特徴に照合する受信した入力画像における特徴を除くために、相互整合性チェックが行われてもよい。上記相互整合性チェックは、相互に望ましくない全ての照合を除去する。

各特徴対応組に関連付けられたキーポイントの座標が、画像座標系から、移動体座標系とも称される世界座標系に投影されてもよい（１１０）。

図２は、本発明の実施形態に係る複数の座標系を示している。図２は、２つの時刻ｔ＝ｋおよびｔ＝ｋ＋１のそれぞれにおける、強固に設置された単一の車載カメラ２０４および２０６を有する、移動体２００および２０２を示している。Ｘ_Ｗ、Ｙ_ＷおよびＺ_Ｗで示された座標軸を有するグローバル世界座標系２０８がＷと示されてもよい。グローバル世界座標系２０８（Ｗ）は、移動体２００および２０２が平らな接地面経路２１０に沿って移動する時、固定されている。平らな接地面２１０は、Ｚ＝０の平面にあると仮定され得る。グローバル世界座標系２０８（Ｗ）の起点は、経路の出発地点である。カメラ座標系２１２は、Ｘ_Ｃ、Ｙ_ＣおよびＺ_Ｃで示された座標軸を有し、Ｃと示され、画像座標系２１４は、Ｘ_Ｉ、Ｙ_ＩおよびＺ_Ｉで示された座標軸を有し、Ｉと示され、移動体座標系２１６は、Ｘ_Ｍ、Ｙ_ＭおよびＺ_Ｍで示された座標軸を有し、Ｍと示されてもよい。移動体座標系２１６は、世界座標系と称されてもよい。カメラ座標系２１２（Ｃ）、および移動体座標系２１６（Ｍ）は、移動体２００および２０２が移動すると移動してもよい。

カメラ２０４および２０６は、移動体２００および２０２に強固に設置されているため、カメラ座標系２１２（Ｃ）は、移動体座標系２１６（Ｍ）と固定関係を有している。Ｐと示され得る点に対応する移動体座標系２１６（Ｍ）における座標ベクトルＸＸ_Ｍが、式ＸＸ_Ｃ＝Ｒ_Ｃ＊ＸＸ_Ｍ＋ｔ_Ｃに従って、カメラ座標系２１２（Ｃ）における点Ｐの座標ベクトルＸＸ_Ｃに関連付けられてもよい。
上記式において、Ｒ_Ｃは移動体座標系２１６（Ｍ）からカメラ座標系２１２（Ｃ）までの回転行列を示し、ｔ_Ｃは、カメラ座標系２１２（Ｃ）における移動体座標系２１６（Ｍ）の起点の座標ベクトルである並進ベクトルを示してもよい。Ｒ_Ｃおよびｔ_Ｃは、外部カメラパラメータであり、カメラ較正によって取得されてもよい。点Ｐは、カメラによって画像平面に投影されてもよい。投影された像点を、画像座標系座標ベクトルＸＸ_Ｉと共にｐとして示すことによって、カメラ座標ベクトルＸＸ_Ｃが、式ｌ＊ＸＸ_Ｉ＝Ｋ＊ＸＸ_Ｃに従って、ＸＸ_Ｉに関連付けられてもよい。
上記式において、Ｋはカメラ内部行列を示し、ｌは３次元から２次元への表示による奥行きの損失を示す倍率を示してもよい。

内部カメラパラメータおよび外部カメラパラメータは、本技術で公知の技術によって概算され得る。

本発明のいくつかの実施形態においては、内部パラメータが取得され、移動体に不変に記憶されてもよい。本発明のいくつかの実施形態においては、移動体の動作中に、外部カメラパラメータの再較正が行われてもよい。地上の較正パターンが取得されてもよい。較正パターンの画像から得られるコーナー点が抽出され、外部カメラパラメータが計算されてもよい。これらの新たに計算された外部カメラパラメータ、および記憶された内部カメラパラメータは、再較正が必要な時にカメラパラメータを更新するために使用されてもよい。

［ｘ，ｙ］^Ｔと示される画像座標における画像のキーポイントについて、世界座標系とも称される移動体座標系における対応点は、下記式に従って計算されてもよい。

上記式において、Ｋは内部カメラパラメータを示し、Ｒ_Ｃおよびｔ_Ｃは外部カメラパラメータを示し、［Ｘ，Ｙ，Ｚ］^Ｔは移動体座標系における座標を示し、ｌは移動体座標系における座標の未知の倍数を示してもよい。したがって、移動体座標は、下記式に従って計算されてもよい。

移動体が主に接地面上を移動し、カメラが設置面のみを写すと仮定すると、世界座標系のキーポイント座標は、接地面の方程式を満たさなければならない。任意の面の一般式はａＸ＋ｂＹ＋ｃＺ＋ｄ＝０と表してもよく、下記式に書き換えてもよい。

したがって、

および

地面が、Ｚ＝０の平面にあり、ｄ＝０であると仮定すると、接地面の法線ベクトルは、［ａｂｃ］^Ｔ＝［００１］^Ｔであり、上記方程式中の全変数は公知である。したがって、キーポイントの各座標についてｌの値が計算され、計算されたｌの値を利用して移動体座標が計算されてもよい。

再び図１を参照すると、複数組の特徴対応に関するキーポイントの世界座標を用いて動作推定を計算してもよい（１１２）。動作推定は、前フレームにおける特徴対応点に関連付けられた各キーポイントの３次元座標と、現フレームにおける対応するキーポイントの３次元座標とを合わせることが可能な、Ｔ_{ｋ，ｋ−１}と示され得る、最適な剛体変換を含んでもよい。

前フレームにおける特徴対応点に関連付けられたキーポイントの３次元座標の集合をＡ、現フレームにおける対応するキーポイントの３次元座標の集合をＢと示すことによって、ＡとＢとの関係をＢ＝Ｔ_{ｋ，ｋ−１}Ａと改めてもよい。
上記式において、Ｔ_{ｋ，ｋ−１}は現フレームと前フレームとの間の変換を示してもよい。カメラ動作は剛体動作であるため、変換Ｔ_{ｋ，ｋ−１}は、Ｒ_{ｋ，ｋ−１}と示され得る、前時間と現時間との間の剛体回転、およびｔ_{ｋ，ｋ−１}と示され得る、前時間と現時間との間の並進から構成されてもよい。したがって、下記式となる。

本発明のいくつかの実施形態においては、移動体プラットホームにおけるカメラ構成を図３に関連して示してもよい。正確に較正されたカメラ３００を、移動体３０２および接地面３０４に対して強固に設置してもよい。本発明のいくつかの実施形態においては、カメラ３００を、本体シャーシ上の移動体３０２の前方に設置してもよい。移動体３０２の真正面における地面の良好な視野をもたらすために、カメラ３００を地面に向かって傾斜させてもよい。本発明の代替実施形態においては（不図示）、カメラを本体シャーシ上の移動体の後端に設置してもよい。移動体の背後の地面の良好な視野をもたらすために、カメラを地面に向かって傾斜させてもよい。

Ｈと示され得る接地面３０４上の高さ３０６、およびΘと示され得る、接地面３０４に対する垂線３１０と、カメラ３００の照準線３１２との間の角度３０８を一定であると仮定してもよい。さらに、角度Θ（３０８）は、移動体３０２が地面を移動する時に大きな振動を受けないと仮定してもよい。地面に対する外部カメラパラメータは、ＨおよびΘの値、移動体座標系からのカメラ座標系の回転および並進を特徴付ける。

移動体３０２が主に平らな接地面３０４上を移動するとさらに仮定すると、カメラと地面との固定関係が、移動体が移動する間の各時刻で保持されるという仮定が引き続き有効となる。

上述した仮定は、任意の時刻における移動体の動作のパラメータ化（つまり、全てグローバル世界座標系に関する、［ｘ_{ｋ，ｋ−１}，ｙ_{ｋ，ｋ−１}］と示され得るｘおよびｙにおける並進、およびθ_{ｋ，ｋ−１}と示され得る回転）を６自由度から３自由度に簡略化することを可能にする。したがって、フレーム間変換Ｔ_{ｋ，ｋ−１}を以下のように改めてもよい。

剛体回転Ｒ_{ｋ，ｋ−１}および並進ｔ_{ｋ，ｋ−１}を推定するための絶対標定に基づく方法４００を含むいくつかの実施形態を図４に関連して示してもよい。これらの例示的な実施形態においては、剛体回転Ｒ_{ｋ，ｋ−１}、および並進ｔ_{ｋ，ｋ−１}を、下記式に従って、ＡとＢとの組となる点に対応する中心点間の、Ｅと示され得る平均二乗誤差（ＭＳＥ）を最小化することによって推定してもよい。

上記式において、ｎは特徴対応組の数を示し、Ａ_ｉ’およびＢ_ｉ’は下記式に従って計算された中心点を示してもよい。

これらの例示的な実施形態においては、下記式にそれぞれ従って、ＡおよびＢの各点集合について重心が計算されてもよい（４０２）。

下記式に従って、各点集合を、それぞれの起点に戻してもよい（４０４）。

下記式に従って、回転角θ_{ｋ，ｋ−１}を計算してもよい（４０６）。

上記式において、以下の通りである。

上記式において、・はドット積、ｘは外積を示してもよい。

上記式は、回転が起こる平面に対する垂線を示してもよい。

下記式に従って、回転角θ_{ｋ，ｋ−１}を用いて、回転行列Ｒ_{ｋ，ｋ−１}を構成してもよい（４０８）。

下記式に従って、並進ｔ_{ｋ，ｋ−１}を計算してもよい（４１０）。

剛体回転Ｒ_{ｋ，ｋ−１}、および並進ｔ_{ｋ，ｋ−１}を推定するための直交プロクラステス分析に基づく方法５００を含む代替実施形態を図５に関連して示してもよい。

これらの例示的な実施形態においては、下記式にそれぞれ従って、ＡおよびＢの各点集合について重心が計算されてもよい（５０２）。

下記式に従って、各点集合を、それぞれの起点に戻してもよい（５０４）。

特異値分解（ＳＶＤ）を用いて、回転行列を計算してもよい（５０６）。まず、下記式に従って、Ｈと示され得る共分散行列を計算してもよい。

共分散行列Ｈの特異値分解が計算されてもよい。

下記式に従って、回転行列Ｒ_{ｋ，ｋ−１}を計算してもよい。

上記式において、ｄ＝ｓｉｇｎ（ｄｅｔ（ＶＵ^Ｔ））であり、右手座標系が保持される。

下記式に従って、並進ｔ_{ｋ，ｋ−１}を計算してもよい（５０８）。

本発明のいくつかの実施形態においては、動作推定（１１２）は、例えば、画像ノイズ、閉塞、振れ、視点の変化、照明の変化、特徴検出器の数学的モデルが原因ではない他の要因等によって生じる外れ値を除去するための外れ値除去を含んでもよい。本発明のいくつかの実施形態においては、ランダムサンプルコンセンサス（RANdom Sample Consensus (RANSAC)）反復動作推定が行われてもよい。ＲＡＮＳＡＣはランダムに抽出されたデータ点集合からモデル仮説を計算し、上記の仮説を他のデータ点で確認する。他のデータと最も強く一致した仮説が解として選択される。これらの実施形態においては、推定されたモデルは、２つのカメラ位置間の相対動作Ｒ_{ｋ，ｋ−１}およびｔ_{ｋ，ｋ−１}であり、データ点は候補特徴対応である。本発明のいくつかの実施形態においては、下記の疑似コードに従って動作推定が行われてもよい。

〔シンタックス１〕

いくつかの実施形態においては、反復数Ｎが５０に設定され、サンプルのペア数ｋが３に設定され、誤差閾値Ｔ_１が３〜５ｍｍの範囲にあり、インライア（inlier）閾値の数がＴ_２＝５であり、インライア比の閾値がＴ_３＝０．５５である。ドリフトは誤差蓄積に影響し得る。本発明のいくつかの実施形態は、ドリフトを減らすために、増加する一連の動作推定に関する増加する誤差の蓄積のため、各動作推定に対応するカメラ位置を決定しなくてもよい。したがって、図１を再び参照すると、現在計算された動作推定が、カメラ位置を推定するために利用され、それによってキー位置が特定されるべきかどうかが決定されてもよい（１１８）。本発明のいくつかの実施形態においては、現在の動作推定の回転角θ_{ｋ，ｋ−１}が角度閾値に対する第１の条件を満たす場合、または移動距離が距離閾値に対する第２の条件を満たす場合、現カメラ位置がキー位置とみなされてもよい。いくつかの実施形態においては、回転角θ_{ｋ，ｋ−１}が角度閾値より大きい場合、または移動距離が距離閾値より大きい場合、現カメラ位置がキー位置とみなされてもよい。下記式に従って移動距離を計算してもよい。

現カメラ位置がキー位置と見なされない場合（１２０）、方法１００は、次の着信画像が受信される（１０２）のを待って続いてもよい。

現カメラ位置がキー位置であると判断された場合（１２２）、式Ｃ_ｋ＝Ｃ_ｋ−１Ｔ_{ｋ，ｋ−１}
に従って、現カメラ位置が生成されてもよい。
上記式において、Ｃ_ｋ−１は時間ｋ−１におけるカメラ位置を示している。本発明のいくつかの実施形態においては、最初のカメラ位置は恒等行列に設定されてもよい。現カメラ位置は、一連の全変換Ｔ_{ｋ，ｋ−１}（ｋ＝１，．．．，ｎ）を含み、ｎは現時刻である。現カメラ位置Ｃ_ｋは下記式を有している。

そして、動作パラメータ[ｘ_ｋ，ｙ_ｋ，θ_ｋ]が、キー位置から決定され、記憶されてもよい（１２８）。現フレームから設定された記述子が、前フレームから設定された記述子を更新してもよい（１３０）。方法１００は、次の着信画像が受信される（１０２）のを待って続いてもよい。

本発明のいくつかの実施形態は、コンピュータ可読記憶媒体を含むコンピュータプログラム製品を含んでもよい。コンピュータ可読記憶媒体は、当該コンピュータ可読記憶媒体内に記憶された、本明細書に記載された任意の特徴および方法を実行するための計算システムをプログラムするために利用可能な命令を有している。例示的なコンピュータ可読記憶媒体としては、限定するわけではないが、フラッシュメモリ装置、ディスク記録媒体（例えば、フロッピー（登録商標）ディスク、光学ディスク、磁気光学ディスク、デジタル多目的ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、マイクロドライブ、および他のディスク記憶媒体等）、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭＳ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ（登録商標））、ランダムアクセスメモリ（ＲＡＭＳ）、ビデオランダムアクセスメモリ（ＶＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、および命令および／またはデータを記憶するのに適した任意のタイプの媒体または装置が挙げられる。

上述の説明において用いられた用語および表現は、限定ではなく説明するための用語として本明細書で使用されており、そのような用語および表現の使用において、例示および説明された特徴、またはその一部の均等物を排除することは意図していない。本発明の範囲は、以下の請求項によってのみ定義および限定されることが認識されている。

Claims

動作推定方法であって、上記方法は、
着信画像を受信する工程と、
上記受信した着信画像における複数の領域を特定するために、上記受信した着信画像における特徴検出を行い、上記複数の領域における各領域が画像座標系のキーポイントに関連付けられている工程と、
上記複数の領域における各領域に関する特徴記述子を計算し、それによって上記着信画像に関する複数の特徴記述子を生成する工程と、
上記受信した着信画像に関する上記複数の特徴記述子と、前画像に関して計算された複数の特徴記述子との間の特徴照合を行い、それによって、複数の特徴対応を生成し、上記複数の特徴対応における各特徴対応に関して、上記画像座標系から、世界座標系に上記関連するキーポイントを投影し、それによって複数組の世界座標を生成する工程と、
上記複数組の世界座標から動作推定を計算する工程と、
キー位置を選択する工程と、
グローバル座標系における現カメラ位置を生成する工程と、
上記現カメラ位置から動作軌道を決定する工程と、
前フレームに関して計算された上記複数の特徴記述子を、上記受信した着信フレームに関する上記複数の特徴記述子に更新する工程とを含むことを特徴とする方法。
上記動作推定は、回転行列と、並進ベクトルとを含むことを特徴とする、請求項１に記載の方法。
上記回転行列は面内回転に関連することを特徴とする、請求項２に記載の方法。
上記受信した着信画像は、移動体に強固に設置されたカメラから受信されることを特徴とする、請求項１に記載の方法。
特徴検出を行う上記工程は、エッジ検出器、コーナー検出器、ブロブ検出器、ピーク検出器、ＳＩＦＴキーポイント検出器、ＳＵＲＦキーポイント検出器、ＦＡＳＴキーポイント検出器、グリッドベースＦＡＳＴキーポイント検出器、ＯＲＢキーポイント検出器、ＭＳＥＲキーポイント検出器、ＢＲＩＥＦキーポイント検出器、ＢＲＩＳＫキーポイント検出器、ＦＲＥＡＫキーポイント検出器、およびＳＴＡＲキーポイント検出器からなる群から選択される特徴検出器を使用することを含むことを特徴とする、請求項１に記載の方法。
上記特徴記述子が、画素値のブロック、正規化画素値のブロック、勾配値のブロック、調整画素値のブロック、ＳＩＦＴ特徴記述子、ＳＵＲＦ特徴記述子、ＯＲＢ特徴記述子、ＢＲＩＥＦ特徴記述子、ＢＲＩＳＫ特徴記述子、およびＦＲＥＡＫ特徴記述子からなる群から選択される特徴記述子であることを特徴とする、請求項１に記載の方法。
特徴照合を行う上記工程は、ｋｄ木を用いた高速最近傍探索を含むことを特徴とする、請求項１に記載の方法。
特徴照合を行う上記工程は、複数の候補照合を除くことを含むことを特徴とする、請求項１に記載の方法。
動作推定を計算する上記工程は、直交プロクラステス分析に基づく動作推定器、および絶対標定に基づく動作推定器からなる群から選択される動作推定器を使用することを含むことを特徴とする、請求項１に記載の方法。
動作推定を計算する上記工程は、上記複数の特徴対応における外れ値を除去することを含むことを特徴とする、請求項１に記載の方法。
上記除去工程は、ＲＡＮＳＡＣ動作推定を行うことを含むことを特徴とする、請求項１０に記載の方法。
キー位置を選択する上記工程は、上記動作推定の回転角と角度閾値とを比較し、移動体の移動距離と距離閾値とを比較する工程と、
上記角度比較が第１の基準を満たす場合、または上記距離比較が第２の基準を満たす場合、キー位置を検出する工程とを含むことを特徴とする、請求項１に記載の方法。
上記第１の基準は、上記回転角であって、上記角度閾値より大きく、
上記第２の基準は、上記移動距離であって、上記距離閾値より大きいことを特徴とする、請求項１２に記載の方法。
現カメラ位置を生成する上記工程は、上記の推定された動作と、前カメラ位置とを連結する工程を含むことを特徴とする、請求項１に記載の方法。
強固に設置されたカメラと、
プロセッサ要素と、
上記プロセッサ要素に動作推定を行う方法を実行させるための、コンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体とを備えている移動体であって、上記方法は、
着信画像を受信する工程と、
上記受信した着信画像における複数の領域を特定するために、上記受信した着信画像における特徴検出を行い、上記複数の領域における各領域が画像座標系のキーポイントに関連付けられている工程と、
上記複数の領域における各領域に関する特徴記述子を計算し、それによって上記着信画像に関する複数の特徴記述子を生成する工程と、
上記受信した着信画像に関する上記複数の特徴記述子と、前画像に関して計算された複数の特徴記述子との間の特徴照合を行い、それによって、複数の特徴対応を生成し、上記複数の特徴対応における各特徴対応に関して、上記画像座標系から、世界座標系に上記関連するキーポイントを投影し、それによって複数組の世界座標を生成する工程と、
上記複数組の世界座標から動作推定を計算する工程と、
キー位置を選択する工程と、
グローバル座標系における現カメラ位置を生成する工程と、
上記現カメラ位置から動作軌道を決定する工程と、
前フレームに関して計算された上記複数の特徴記述子を、上記受信した着信フレームに関する上記複数の特徴記述子に更新する工程とを含むことを特徴とする移動体。
上記カメラは、接地面に対して強固に設置されていることを特徴とする、請求項１５に記載の移動体。
上記カメラは、上記移動体の先端または後端、および上記移動体の本体シャーシ上に設置され、
上記カメラが上記移動体の上記先端に設置された場合、上記カメラは、上記移動体の真正面における接地経路の視野を有するように傾斜し、上記カメラが上記移動体の上記後端に設置された場合、上記カメラは、上記移動体の背後における上記接地経路の視野を有するように傾斜することを特徴とする、請求項１５に記載の移動体。
プロセッサに動作推定を行う方法を実行させるための、コンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体であって、上記方法は、
着信画像を受信する工程と、
上記受信した着信画像における複数の領域を特定するために、上記受信した着信画像における特徴検出を行い、上記複数の領域における各領域が画像座標系のキーポイントに関連付けられている工程と、
上記複数の領域における各領域に関する特徴記述子を計算し、それによって上記着信画像に関する複数の特徴記述子を生成する工程と、
上記受信した着信画像に関する上記複数の特徴記述子と、前画像に関して計算された複数の特徴記述子との間の特徴照合を行い、それによって、複数の特徴対応を生成し、上記複数の特徴対応における各特徴対応に関して、上記画像座標系から、世界座標系に上記関連するキーポイントを投影し、それによって複数組の世界座標を生成する工程と、
上記複数組の世界座標から動作推定を計算する工程と、
キー位置を選択する工程と、
グローバル座標系における現カメラ位置を生成する工程と、
上記現カメラ位置から動作軌道を決定する工程と、
前フレームに関して計算された上記複数の特徴記述子を、上記受信した着信フレームに関する上記複数の特徴記述子に更新する工程とを含むことを特徴とする非一時的コンピュータ可読媒体。
上記プロセッサが移動体に一体化されることを特徴とする、請求項１８に記載の非一時的コンピュータ可読媒体。
上記着信画像は、移動体に取り付けられたカメラによって生成されることを特徴とする、請求項１８に記載の非一時的コンピュータ可読媒体。