JP2017529709A - オプティカルフロー場を構築する方法 - Google Patents

Abstract

オプティカルフロー場を構築するシステム、及びオプティカルフロー場を構築して使用する方法。システムは、選択ビデオフレームに対応するオプティカルフロー場を構築することができる。撮像デバイスを有するモバイルプラットフォームの第１の動き及び撮像デバイスの状態に基づいて、オプティカルフロー場を構築することができる。モバイルプラットフォーム上に設置されたセンサ及び／又はモバイルプラットフォーム上に設置された撮像デバイスの測定を用いて、第１の動き及び状態を判定することができる。第１の動きは、モバイルプラットフォームの第１の回転、水平移動及び垂直移動を含むことができる。状態は、撮像デバイスの回転、及び／又はモバイルプラットフォームに対する撮像デバイスの向きを含むことができる。有利なことに、無人航空機などのモバイルプラットフォームを含むビデオアプリケーションを含む広範囲のビデオアプリケーションにシステムを適用することができる。

Description

著作権表示
この特許文献の開示部分は、著作権保護の対象であるものを含む。著作権の所有者は、特許商標局の書類又は記録に見られるが、別の方法であらゆる著作権の権利を有するので、著作権の所有者は、特許文献又は特許開示が複写されることに異存がない。

開示の実施形態は一般的に、モバイルプラットフォームに対応付けられた撮像デバイスによるビデオ撮像に関し、より詳細には、モバイルプラットフォームの動き及び撮像デバイスの状態を判定することによって選択ビデオフレームに対してオプティカルフロー場を構築するシステム及び方法に関する。

ビデオ圧縮の技術分野では、オプティカルフロー場を使用して、ビデオフレーム内の全ての画素に関する動き情報の方向及び速度を実証することができる。オプティカルフロー場が与える情報は、隣接するフレームからフレームの各画素を探索するのに必要な労力を減らすのに役立つことができるので、ビデオの圧縮又は圧縮ビデオの復号に非常に有用である。

従来の技術では、オプティカルフロー場は一般的に、取り込まれた静止画像又はビデオ画像を介した推定によって得られる。これらの手法は、複雑なアルゴリズムを含み、時間がかかる。更に、このような手法は、航空ビデオ撮像アプリケーションなどのリアルタイムアプリケーションに適用できないテクスチャ分解などの技術を含むこともある。

前述のことに鑑みて、迅速且つコスト効果の高い方法でオプティカルフロー場を構築することができる撮像システム及び方法の必要性がある。

ここに開示の第１の態様によれば、オプティカルフロー場を構築する方法であって、
撮像デバイスを有するモバイルプラットフォームの第１の動きを取得するステップと、
モバイルプラットフォームに対する撮像デバイスの状態を得るステップと、
モバイルプラットフォームの第１の動き及び撮像デバイスの状態に基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
を含む方法が示してある。

開示方法の例示的な実施形態において、第１の動きを取得するステップは、モバイルプラットフォームの第１の回転、水平方向におけるモバイルプラットフォームの第１の移動、及び垂直方向におけるモバイルプラットフォームの第２の移動のうち少なくとも１つを判定するステップを含む。

開示方法の別の例示的な実施形態において、状態を得るステップは、撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するステップを含む。

開示方法の別の例示的な実施形態において、撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するステップは、ズーム、水平方向における撮像デバイスの第１の回転、及び垂直方向における撮像デバイスの第２の回転のうち少なくとも１つを判定するステップを含む。

開示方法の別の例示的な実施形態において、撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するステップは、撮像デバイスの向き及び傾斜角のうち少なくとも１つを取得するステップを含む。

開示方法の別の例示的な実施形態において、取得するステップは、モバイルプラットフォーム上に配置された１つ又は複数の第１のセンサを介して第１の動きを取得するステップを含む。

開示方法の別の例示的な実施形態において、構築するステップは、事前分類されたオプティカルフロー場を、モバイルプラットフォームの第１の動き及び／又は撮像デバイスの状態の分類シナリオに対応付けるステップを含む。

開示方法の例示的な実施形態は、モバイルプラットフォームの第１の動き及び撮像デバイスの状態に基づいてモバイルプラットフォーム及び撮像デバイスのシナリオを分類するステップを更に含む。

開示方法の別の例示的な実施形態において、シナリオを分類するステップは、モバイルプラットフォームの第１の動き及び撮像デバイスの状態のシナリオを、事前に定義された基本シナリオに定義するステップを更に含む。

開示方法の別の例示的な実施形態において、モバイルプラットフォームは無人航空機（ＵＡＶ）である。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、回転ビューを第１の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、回転ビューを対応付けるステップは、フレームの外側部分における動きがフレームの内側部分における動きよりも非常に速い所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、水平面と直交する方向に撮像デバイスが撮影しており、水平面と平行な面でＵＡＶが回転している場合として、第１の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、サイド移動ビューを第２の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、サイド移動ビューを対応付けるステップは、フレームの全ての物体が曲線経路に沿って移動している所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、水平面と平行な方向に撮像デバイスが撮影しており、水平面と平行な面でＵＡＶ又は撮像デバイスが回転している場合として、第２の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、ズームインビューを第３の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、ズームインビューを対応付けるステップは、フレームの中心から離れた点が中心点及びフレームから出る点よりも速く移動している所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、ズームインしながら、又はＵＡＶが地面の方へ移動しながら、水平面と直交する方向に撮像デバイスが撮影している場合として、第３の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、ズームアウトビューを第４の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、ズームアウトビューを対応付けるステップは、フレームの中心から離れた点が中心点及びフレームに入る点よりも速く移動している所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、ズームアウトしながら、又はＵＡＶが地面から離れて移動しながら、水平面と直交する方向に撮像デバイスが撮影している場合として、第４の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、直線移動ビューを第５の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、直線移動ビューを対応付けるステップは、動きがフレーム内の全画素に対して大域的であるが、フレームの上側部分における画素が相対的に静止しており、フレームの下側部分における近い物体上の画素が相対的に一層速く移動する、所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、水平面に対してある特定の角度を有する方向に撮像デバイスが撮影しており、ある特定の速度でＵＡＶが移動している場合として、第５の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、撮像デバイスが撮影している方向にＵＡＶが移動している。

開示方法の別の例示的な実施形態において、直線移動ビューを対応付けるステップは、遠い物体を深さ及び／又は局所性によって判定するステップを含み、
フレームの上側部分における物体を遠い物体として通常判定し、同様の深さを有する物体を近い物体として判定する。

開示方法の別の例示的な実施形態において、対応するオプティカルフロー場を構築するステップは、大域的動きビューを第６の基本シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、大域的動きビューを対応付けるステップは、超高速の大域的な一定の速度で撮像デバイスが移動する所定のビューを対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを定義するステップは、ＵＡＶが静止状態を保持しており、水平面と垂直な面でカメラが回転している場合として、第６の基本シナリオを定義するステップを含む。

開示方法の別の例示的な実施形態において、シナリオを分類するステップは、事前に定義された基本シナリオを結合して結合シナリオを生成するステップと、対応するオプティカルフロー場を結合して対応する結合オプティカルフロー場を生成するステップとを更に含む。

開示方法の別の例示的な実施形態において、オプティカルフロー場を対応付けるステップは、対応する結合オプティカルフロー場を結合シナリオに対応付けるステップを含む。

開示方法の別の例示的な実施形態において、シナリオを分類するステップは、少なくとも１つの学習プロセスを介してシナリオを定義して学習シナリオを生成するステップと、対応する学習オプティカルフロー場を定義するステップとを更に含む。

開示方法の別の例示的な実施形態において、オプティカルフロー場を対応付けるステップは、対応する学習オプティカルフロー場を学習シナリオに対応付けるステップを更に含む。

ここに開示の第２の態様によれば、フレームに対してオプティカルフロー場を選択する方法であって、
上述の実施形態のいずれか１つに記載のシナリオに基づいて対応するオプティカルフロー場を選択するステップを含み、
シナリオはモバイルプラットフォームの第１の動きとモバイルプラットフォームに連結された撮像デバイスの状態とを含む、方法が示してある。

ここに開示の別の態様によれば、上述の実施形態のいずれか１つに記載のフレームに対してオプティカルフロー場を構築するステップを実行するように構成されている撮像システムが示してある。

ここに開示の別の態様によれば、オプティカルフロー場を構築する撮像システムであって、
モバイルプラットフォームと、
モバイルプラットフォームに対応付けられた撮像デバイスとを含み、
モバイルプラットフォーム及び／又は撮像デバイスは、上述の実施形態のいずれか１つに記載のフレームに対してオプティカルフロー場を構築するように構成されている、撮像システムが示してある。

開示システムの例示的な実施形態において、モバイルプラットフォーム及び／又は撮像デバイスは、フレームに対してオプティカルフロー場を構築するプロセッサを含む。

ここに開示の別の態様によれば、上述の実施形態のいずれか１つに記載のフレームに対してオプティカルフロー場を選択する命令を含むコンピュータプログラム製品が示してある。

ここに開示の別の態様によれば、オプティカルフロー場を構築する方法であって、
モバイルプラットフォームの第１の動き及び／又はモバイルプラットフォームに装着された撮像デバイスの第２の動きのうち少なくとも１つを取得するステップと、
モバイルプラットフォームに対する撮像デバイスの位置を得るステップと、
第１の動き、第２の動き及び位置のうち少なくとも１つに基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
を含む方法が示してある。

開示方法の例示的な実施形態において、取得するステップは、モバイルプラットフォーム又は撮像デバイスに対応付けられた１つ又は複数の動きセンサを介して第１の動き及び第２の動きのうち少なくとも１つを取得するステップを含む。

ここに開示の別の態様によれば、オプティカルフロー場を構築する装置であって、
撮像デバイスを有するモバイルプラットフォームの第１の動きを取得するステップと、
モバイルプラットフォームに対する撮像デバイスの状態を得るステップと、
モバイルプラットフォームの第１の動き及び撮像デバイスの状態に基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
のために構成されているプロセッサを含む装置が示してある。

開示装置の例示的な実施形態において、プロセッサは、モバイルプラットフォームの第１の回転、水平方向におけるモバイルプラットフォームの第１の移動、及び垂直方向におけるモバイルプラットフォームの第２の移動のうち少なくとも１つを判定するように構成されている。

開示装置の例示的な実施形態において、プロセッサは、撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するように構成されている。

開示装置の別の例示的な実施形態において、プロセッサは、ズーム、水平方向における撮像デバイスの第１の回転、及び垂直方向における撮像デバイスの第２の回転のうち少なくとも１つを判定するように構成されている。

開示装置の別の例示的な実施形態において、プロセッサは、撮像デバイスの向き及び傾斜角のうち少なくとも１つを取得するように構成されている。

開示装置の例示的な実施形態は、モバイルプラットフォームの第１の動きを取得する、モバイルプラットフォーム上に配置された１つ又は複数の第１のセンサを更に含む。

開示装置の別の例示的な実施形態において、プロセッサは、事前分類されたオプティカルフロー場を、モバイルプラットフォームの第１の動き及び／又は撮像デバイスの状態の分類シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、プロセッサは、モバイルプラットフォームの第１の動き及び撮像デバイスの状態に基づいてモバイルプラットフォーム及び撮像デバイスのシナリオを分類するように構成されている。

開示装置の別の例示的な実施形態において、プロセッサは、モバイルプラットフォーム及び撮像デバイスの状態のシナリオを、事前に定義された基本シナリオに定義するように構成されている。

開示装置の別の例示的な実施形態において、モバイルプラットフォームは無人航空機（ＵＡＶ）である。

開示装置の別の例示的な実施形態において、プロセッサは、回転ビューを第１の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、回転ビューは、フレームの外側部分における動きがフレームの内側部分における動きよりも非常に速いことを含む。

開示装置の別の例示的な実施形態において、第１の基本シナリオは、水平面と直交する方向に撮像デバイスが撮影しており、水平面と平行な面でＵＡＶが回転している場合として、定義されている。

開示装置の別の例示的な実施形態において、プロセッサは、サイド移動ビューを第２の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、サイド移動ビューは、フレームの全ての物体が曲線経路に沿って移動していることを含む。

開示装置の別の例示的な実施形態において、第２の基本シナリオは、水平面と平行な方向に撮像デバイスが撮影しており、水平面と平行な面でＵＡＶ又は撮像デバイスが回転している場合として、定義されている。

開示装置の別の例示的な実施形態において、プロセッサは、ズームインビューを第３の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、第３の基本シナリオは、ズームインしながら、又はＵＡＶが地面の方へ移動しながら、水平面と直交する方向に撮像デバイスが撮影している場合として、定義されている。

開示装置の別の例示的な実施形態において、ズームインビューは、フレームの中心から離れた点が中心点及びフレームから出る点よりも速く移動していることを含む。

開示装置の別の例示的な実施形態において、プロセッサは、ズームアウトビューを第４の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、ズームアウトビューは、フレームの中心から離れた点が中心点及びフレームに入る点よりも速く移動していることを含む。

開示装置の別の例示的な実施形態において、第４の基本シナリオは、ズームアウトしながら、又はＵＡＶが地面から離れて移動しながら、水平面と直交する方向に撮像デバイスが撮影している場合として、定義されている。

開示装置の別の例示的な実施形態において、プロセッサは、直線移動ビューを第５の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、直線移動ビューは、動きがフレーム内の全画素に対して大域的であるが、フレームの上側部分における画素が相対的に静止しており、フレームの下側部分における近い物体上の画素が相対的に一層速く移動することを含む。

開示装置の別の例示的な実施形態において、第５の基本シナリオは、水平面に対してある特定の角度を有する方向に撮像デバイスが撮影しており、ある特定の速度でＵＡＶが移動している場合として、定義されている。

開示装置の別の例示的な実施形態において、撮像デバイスが撮影している方向にＵＡＶが移動している。

開示装置の別の例示的な実施形態において、直線移動ビューを対応付けるプロセッサは、遠い物体を深さ及び／又は局所性によって判定するように構成されており、
フレームの上側部分における物体を遠い物体として通常判定し、同様の深さを有する物体を近い物体として判定する。

開示装置の別の例示的な実施形態において、プロセッサは、大域的動きビューを第６の基本シナリオに対応付けるように構成されている。

開示装置の別の例示的な実施形態において、大域的動きビューは、超高速の大域的な一定の速度で撮像デバイスが移動することを含む。

開示装置の別の例示的な実施形態において、第６の基本シナリオは、ＵＡＶが静止状態を保持しており、水平面と垂直な面でカメラが回転している場合として、定義されている。

開示装置の別の例示的な実施形態において、プロセッサは、事前に定義された基本シナリオを結合して結合シナリオを生成し、対応するオプティカルフロー場を結合して対応する結合オプティカルフロー場を生成するように構成されている。

開示装置の別の例示的な実施形態において、対応する結合オプティカルフロー場を結合シナリオに対応付ける。

開示装置の別の例示的な実施形態において、プロセッサは、少なくとも１つの学習プロセスを介してシナリオを定義して学習シナリオを生成し、対応する学習オプティカルフロー場を定義するように構成されている。

オプティカルフロー場を構築する例示的な方法の実施形態を示す例示的な最上位ブロック図である。 モバイルプラットフォーム上に設置された撮像デバイスからなる、図１の方法を実施する航空ビデオ撮像システムの実施形態を示す例示的な略図である。 撮像デバイスの回転を示す、図２の航空ビデオ撮像システムの代替の実施形態を示す例示的な図である。 モバイルプラットフォームの動きを示す、図２の航空ビデオ撮像システムの別の代替の実施形態を示す例示的な図である。 対応するオプティカルフロー場を構築するステップを方法が含む、図１の方法の実施形態を示す例示的なブロック図である。 センサパラメータのシナリオの異なるカテゴリを構築する手法を方法が含む、図５の方法の代替の実施形態を示す例示的なブロック図である。 シナリオのカテゴリを示す、図７の方法の代替の実施形態を示す例示的なブロック図である。 シナリオのカテゴリに従ってオプティカルフロー場の対応するビューを方法が対応付ける、図５の方法の代替の実施形態を示す例示的なブロック図である。 対応するオプティカルフロー場を選択するステップを方法が含む、図８の方法の代替の実施形態を示す例示的なブロック図である。 図７のセンサパラメータの第１の基本シナリオの回転ビューの実施形態を示す例示的なフレーム図である。 図７のセンサパラメータの第２の基本シナリオのサイド移動ビューの実施形態を示す例示的なフレーム図である。 図７のセンサパラメータの第３の基本シナリオのズームインビューの実施形態を示す例示的なフレーム図である。 図７のセンサパラメータの第５の基本シナリオの直線移動ビューの実施形態を示す例示的なフレーム図である。 図７のセンサパラメータの第６の基本シナリオの大域的動きビューの実施形態を示す例示的なフレーム図である。 図２の航空ビデオ撮像システムの制御コンソールの実施形態を示す例示的なレイアウト図である。 センサ及び事前構築オプティカルフロー場を用いて図１の方法を実施する、撮像システムの実施形態の例示的なブロック図である。 撮像デバイスの状態を検出するセンサ及び撮像デバイスをシステムが含む、図１６のシステムの代替の実施形態を示す例示的なブロック図である。

図面は原寸に比例して描かれていないこと、及び同様な構造又は機能の要素は図面全体を通して図示するために全体が同じ参照符号で表されていることに留意すべきである。図面は、好ましい実施形態の説明を容易にすることを単に目的とすることにも留意すべきである。図面は、記載の実施形態のあらゆる態様を示すものではなく、本開示の範囲を限定しない。

オプティカルフロー場を構築する現在利用可能なシステムは、複雑で高価であり、アプリケーションに制限があり、リアルタイムビデオ撮像アプリケーションが不可能であるので、モバイルプラットフォームの動き及びモバイルプラットフォームに対応付けられた撮像デバイスの状態に基づいて選択できるオプティカルフロー場構築システム及び方法は、望ましいことが分かり、航空ビデオ撮像などの撮像アプリケーションの基礎を提供することができる。図１に開示の一実施形態に従って、この結果を達成することができる。

図１は、モバイルプラットフォーム１１０の第１の動きと撮像デバイス１１６（図２に一括して示す）の状態とに基づいてオプティカルフロー場を構築する方法２００の例示的な実施形態を示す。図１に示すように、２２２では、モバイルプラットフォーム１１０を介してモバイルプラットフォーム１１０の第１の動きを取得することができる。第１の動きは、モバイルプラットフォーム１１０の移動及び第１の回転のうち少なくとも１つを含むことができ、任意の適当な方法で取得できる。２２２でモバイルプラットフォーム１１０の第１の動きを取得する１つの適当な方法は、モバイルプラットフォーム１１０に対応付けられた１つ又は複数の動きセンサ（図１６及び図１７に示す）を介して第１の動きを取得するステップを含む。図２を参照して、第１の動きに関する詳細を示して説明する。幾つかの例示的な実施形態では、第１の動きを判定する以外の目的でモバイルプラットフォーム１１０上に既に設置できるある特定のセンサを介して２２２で第１の動きを取得することができる。図２〜図９を参照して、センサのパラメータを更に詳しく示して説明する。

２２６で、モバイルプラットフォーム１１０に対する撮像デバイス１１６の状態を得ることができる。状態は、モバイルプラットフォーム１１０との相対値であり、撮像デバイス１１６の第２の動きとモバイルプラットフォーム１１０に対する撮像デバイス１１６の相対位置とを含む。第２の動きは、撮像デバイス１１６の第２の回転（又は水平回転）１２０及び／又は第３の回転（又は垂直回転）１２２を含むことができる。図４を参照して、撮像デバイス１１６の第２の動きを更に詳しく示して説明する。撮像デバイス１１６の相対位置は、横向き及び／又は傾斜角も含むことができる。図４を参照して、撮像デバイス１１６の相対位置も詳しく示して説明する。

２２８で、モバイルプラットフォーム１１０の第１の動き及び／又は撮像デバイス１１６の状態に基づいて、選択フレームに対して対応するオプティカルフロー場を構築することができる。例示的な実施形態では、モバイルプラットフォーム１１０の第１の動き及び／又は撮像デバイス１１６の状態を、異なるシナリオのカタログに分類することができる。各シナリオに対して、対応するオプティカルフロー場を事前構築することができる。シナリオを判定する場合、対応するオプティカルフロー場を２２８で選択することができる。図１１〜図１９を参照して、オプティカルフロー場の事前構築及び選択の例を詳しく示して説明する。

モバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１６の状態に基づいて対応するオプティカルフロー場を構築するように示して説明しているが、他の適当な情報を使用して対応するオプティカルフロー場を構築することもできる。このような情報は、モバイルプラットフォーム１１０及び／又は撮像デバイス１１６の他の動き又は状態を含むことができるが、限定されない。

図２を参照して、撮像デバイス１１６を有する航空ビデオ撮像システム１００を示す。航空ビデオ撮像システム１００は、モバイルプラットフォーム１１０上に設置されたビデオカメラ、例えば無人航空機（ＵＡＶ）であることができる。図２では、取り付けブラケット１１２及びテラス、例えばジンバル１１７を介して、撮像デバイス１１６をモバイルプラットフォーム１１０に設置することができる。第１の軸１３０を中心として第１の回転１２０（又は垂直回転）を行い、第２の軸１３１を中心として第２の回転１２２（又は水平回転）を行うように構成できるレンズ１１８を、撮像デバイス１１６に装備することができる。垂直回転１２０及び／又は第２の回転１２２は、モバイルプラットフォーム１１０に対して相対的であることができる。第１の軸１３０及び第２の軸１３１は、互いに直交することができ、レンズ１１８の中心線を通過している第３の軸１３２と各軸１３０、１３１は直交することができる。第１及び第２の回転１２０、１２２に対する回転角は、任意の適当な角度を含むことができ、少なくとも第１の限界角度（図示せず）よりも大きいことが好ましい。

図２は、撮像デバイス１１６の位置及び第２の動きを状態が含むことができる撮像デバイス１１６の状態を示す。図２では、撮像デバイス１１６の位置は、例えば、横向き（図示せず）と第３の軸１３２に対する傾斜角Ωとを含む２つの角度を含むことができる。水平回転角は、第２の軸１３１に対する水平回転（第２の回転）１２０の結果であることができる。傾斜角Ωは、第３の軸１３２から傾斜角Ωを有する撮像デバイス１１６による垂直回転（第３の回転）１２２の結果であることができる。撮像デバイス１１６は、取り付けブラケット１１２上に設置されたジンバル１１７を介してこのような回転１２０、１２２を行うことができる。要するに、レンズ１１８は、水平及び／又は垂直に角度回転を行うように構成でき、回転１２０、１２２は、モバイルプラットフォーム１１０に対する撮像デバイス１１６の水平角及び／又は傾斜角Ωという結果になることができる。図４を参照して、撮像デバイス１１６の例示的な回転を更に詳しく後述する。

図２では、モバイルプラットフォーム１１０は、撮像デバイス１１６を保護するハウジング１１４を含むことができる。ハウジング１１４は、第２の回転１２０及び／又は第３の回転１２２を自由に行うための十分な空間を撮像デバイス１１６に与えることができるのが有利である。任意選択的に、ハウジング１１４は、撮像デバイス１１６がハウジング１１４を介して画像を取り込むことを可能にするために透明であることができる。更に、ハウジング１１４は、撮像デバイス１１６が所定の場面の画像を取り込むことができる開口部（図示せず）を規定することができる。その開口部を介して画像を取り込むことができ、図２及び図３を参照して説明したように撮像デバイス１１６が自由回転を行うことを可能にする限り、任意のサイズ、任意の形状及び／又は任意の空間で、ハウジング１１４を設けることができる。

単に図示するために図２を参照してハウジング形状のように示して説明しているが、ハウジング１１４は、ブラケット、脚、柱及び／又は任意の他のタイプの支持要素を含む任意の構造的構成であることができるが、これらに限定されない。

図３は、物体（図示せず）、例えば地面上の物体に対するモバイルプラットフォーム１１０（図２に示す）の第１の動きを示す。図３では、第１の動きは、最大６方向における最大３軸に沿った移動、即ち、ｘ軸に沿った前後移動１５０、ｙ軸に沿った左右移動１５２及び／又はｚ軸に沿った上下移動１５４を含むことができる。ｚ軸は、図２の第２の軸１３１と同軸である、又は第２の軸１３１と平行であることができる。撮像デバイス１１６（図２に示す）は、モバイルプラットフォーム１１０と一緒に移動する。図１５を参照して更に詳しく後述するように任意の適切な制御器によって、モバイルプラットフォーム１１０の方向１５０、１５２、１５４の何れかにおける移動を行うことができる。

代替的及び／又は追加的に、図３に示すように、モバイルプラットフォーム１１０の第１の動きは、上述の移動１５０、１５２、１５４に加えて、水平面（図示せず）と平行な面でのｚ軸を中心とした第１の回転１２４を含むことができる。モバイルプラットフォーム１１０が回転すると、撮像デバイス１１６はモバイルプラットフォーム１１０と一緒に移動する。水平面と平行な面と水平面との間の角度が１０度（１０°）未満である場合、水平面と平行な面でモバイルプラットフォーム１１０を考えることができる。モバイルプラットフォーム１１０に対応付けられた移動センサ（図示せず）によって、各第１の動き１５０、１５２、１５４、１２４を測定及び／又は実行することができる。図１６を参照して、モバイルプラットフォーム１１０の第１の動きに関する追加詳細を示して後述する。単に図示するために図３を参照して３つの移動１５０、１５２、１５４及び１つの第１の回転１２４を有するように示して説明しているが、モバイルプラットフォーム１１０は任意の所望の方法で移動することができ、これらの移動をセンサによって測定することができる。

図４は、例示的な平面関係、図２の撮像デバイス１１６の第２の回転１２０及び第３の回転１２２を示す。図４は、モバイルプラットフォーム面１４０と、面１４０と平行であることができる水平レンズ面１４２と、モバイルプラットフォーム面１４０及び水平レンズ面１４２の両方と垂直であることができる垂直面１４４とを示す。モバイルプラットフォーム面１４０は、例えば、無人航空機（「ＵＡＶ」）のプロペラによって規定される面であることができる。水平レンズ面１４２は、モバイルプラットフォーム面１４０と平行な方向にレンズ１１８が撮影している場合にレンズ１１８によって規定される面であることができる。更に、第１の軸１３０（図２に示す）は、水平レンズ面１４２で延びることができ、垂直面１４４と垂直であることができ、第２の軸１３１（図２に示す）は、両方の面１４０、１４２と垂直であることができる。第２の軸１３１は、撮像デバイス１１６（図２に示す）が回転するにつれて第２の軸１３１を中心として回転できる垂直面１４４で延びることができる。

図４は、２つの回転、撮像デバイス１１６の第２の回転１２０及び第３の回転１２２を示す。図４に示すように、第２の回転１２０は、第１の軸１３０を中心として垂直面１４４で行われることができ、第３の回転１２２は、第１の軸１３０と垂直であることができる第２の軸１３１を中心として水平面１４２で行われることができる。更に、第２の回転１２０は、少なくとも第１の限界角度（図示せず）であることができ、第３の回転１２２は、少なくとも第２の限界角度（図示せず）であることができる。

図２を参照して示して上述したように、モバイルプラットフォーム１１０に対応付けられた取り付けブラケット１１２の一部であることができるジンバル１１７を介して第２及び第３の回転１２０、１２２を行うことができる。好ましい実施形態において、ジンバル１１７は、２つの軸１３０、１３１を中心として制御可能に回転することができる。ジンバル１１７及び／又は撮像デバイス１１６に対応付けられた動きセンサ（図１７に示す）によって、ジンバル１１７の第２及び第３の回転１２０、１２２の両方を測定及び／又は実行することができる。２つの回転１２０、１２２だけを有するように示して説明しているが、撮像デバイス１１６は、ズームイン及びズームアウトを含む他の動作（図示せず）を行うことができるが、これらに限定されない。１つ又は複数のセンサは、これらの動作を測定して、測定データをシステム１００に提供することができる。

更に、図２を参照して示して説明したように、撮像デバイス１１６の状態は、２つの位置を含むことができる。水平レンズ面１４２に対して１０度（±１０°）の角度内の方向に中心線１３２がある場合、水平に撮影しているとして、撮像デバイス１１６を考えることができ、水平レンズ面１４２に対して８０度（８０°）よりも大きく１００度（１００°）よりも小さい角度内の方向に中心線１３２がある場合、地面の方へ撮影しているとして、撮像デバイス１１６を考えることができる。

図３及び図４のモバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１６の状態を、関連センサパラメータを介して取得されたデータに基づいて異なるシナリオのカタログに分類することができる。

図５は、２５０で対応するオプティカルフロー場を構築する前に２１０でモバイルプラットフォーム１１０及び撮像デバイス１１６（図２に一括して示す）のシナリオを分類するステップを含む方法２００を示す。２１０で、図７及び図８に示して説明するように、シナリオをカテゴリに分類することができる。モバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１６の状態に基づいて分類を行うことができる。分類されたシナリオに従って、２５０で、対応するオプティカルフロー場を構築して各シナリオに対応付けることができる。

対応するオプティカルフロー場を各シナリオに対して構築する前にモバイルプラットフォーム１１０及び撮像デバイス１１６のシナリオを分類するように示して説明しているが、モバイルプラットフォーム１１０及び撮像デバイス１１６のシナリオを分類する前にオプティカルフロー場を構築することもできる。後者の場合、オプティカルフロー場に対してモバイルプラットフォーム１１０及び撮像デバイス１１６のシナリオを算出する前に各オプティカルフロー場の特性に基づいてオプティカルフロー場を構築することができる。

図６は、２１０でモバイルプラットフォーム１１０及び撮像デバイス１１６（図２に一括して示す）のシナリオを分類する３つの手法を示す方法２００の別の代替の実施形態を示す。図６では、２１２でモバイルプラットフォーム１１０及び撮像デバイス１１６の複数のシナリオを定義することができる。シナリオは、モバイルプラットフォーム１１０の第１の動き及び／又は撮像デバイス１１６の状態を反映する事前に定義された基本シナリオであることができる。

図３及び図４を参照して上述したように、シナリオは、モバイルプラットフォーム１１０の第１の動き及び／又は撮像デバイス１１６の状態を反映する。モバイルプラットフォーム１１０及び／又は撮像デバイス１１６に対応付けられた移動センサ（図示せず）は、モバイルプラットフォーム１１０及び／又は撮像デバイス１１６の移動及び回転１２０、１２２、１５０、１５２、１５４、１２４を含む第１の動き及び状態を測定する。幾つかの事前に定義された基本シナリオにおいて、第１の動き及び／又は状態は、実際の操作で一般的に見られ、２１２で、対応するオプティカルフロー場を事前に定義することができる。

２１４で、シナリオを分類する別の手法は、２つ又は複数の事前に定義された基本シナリオを結合するステップを含むことができる。事前に定義された基本シナリオを結合して、１つ又は複数の結合シナリオカテゴリを生成することができる。事前に定義された基本シナリオを結合する場合、対応するオプティカルフロー場の結合にベクトル演算を適用することができる。例えば、２つの事前に定義された基本シナリオを結合する場合、ベクトル重ね合わせを適用することができる。

２１６で、学習プロセスを介してシナリオの新規のカテゴリを生成することができる。新規に生成されたカテゴリは、メモリ２９０（図１６に示す）などの記憶装置に記憶されたシナリオに含めることができる。記憶装置は、データベース又は任意のタイプのデータ記憶構造物であることができる。学習プロセスは、手動プロセス及び／又は自動プロセスを含むことができる。手動プロセスを採用する場合、記録システムを利用して、学習シナリオの手動選択及び生成を行うことができる。更に、２１６で、新規選択及び／又は生成学習シナリオは、対応するオプティカルフロー場に対応付けることができる。

単に図示するために２１２、２１４及び２１６の順序に３つの手法でシナリオを分類するように示して説明しているが、他の適当な手法及び／又は他の順序をシナリオの分類に適用することができる。

図７は、事前に定義された基本シナリオ７２０、結合基本シナリオ７４０及び学習シナリオ７６０の３つのカテゴリにシナリオを分類することができる、図６の分類シナリオの例示的な構造を示す。図７に示すように、モバイルプラットフォーム１１０及び撮像デバイス１１６の６つの事前に定義された基本シナリオは、第１の基本シナリオ７２１、第２の基本シナリオ７２３、第３の基本シナリオ７２５、第４の基本シナリオ７２７、第５の基本シナリオ７２８及び第６の基本シナリオ７２９を含むことができる。

図７では、水平面と平行な面でモバイルプラットフォーム１１０が回転しており、水平面と直交する方向に撮像デバイス１１６が撮影している場合として、第１の基本シナリオ７２１を定義することができる。水平面と平行な方向に撮像デバイス１１６が撮影しており、水平面と平行な面でモバイルプラットフォーム１１０又は撮像デバイス１１６が回転している場合として、第２の基本シナリオ７２３を定義することができる。ズームインしながら、又はモバイルプラットフォーム１１０が地面の方へ移動しながら、水平面と直交する方向に撮像デバイス１１６が撮影している場合として、第３の基本シナリオ７２５を定義することができる。ズームアウトしながら、又はモバイルプラットフォーム１１０が地面から離れて移動しながら、水平面と直交する方向に撮像デバイス１１６が撮影している場合として、第４の基本シナリオ７２７を定義することができる。水平面に対してある特定の角度を有する方向に撮像デバイス１１６が撮影しており、ある特定の速度でモバイルプラットフォーム１１０が移動している場合として、第５の基本シナリオ７２８を定義することができる。モバイルプラットフォーム１１０が静止状態を保持しており、水平面と垂直な面で撮像デバイス１１６が回転している場合として、第６の基本シナリオ７２９を定義することができる。

図７では、事前に定義された基本シナリオ７２０の結合を７４０で示す。結合シナリオは、事前に定義された基本シナリオ７２０のうち２つ又は複数の任意の結合からなることができる。結合シナリオは、１つ又は複数の結合シナリオ７４０及び／又は１つ又は複数の学習シナリオ７６０を含むこともできる。

図７は、図６を参照して説明したように一連の操作中に学習された任意のシナリオであることができる学習シナリオ７６０のカテゴリも示す。学習シナリオは、即時に及び／又は所定の時間後に設定された作業に含めることができる。

単に図示するために図７を参照してシナリオの３つのカテゴリ及び６つの事前に定義された基本シナリオ７２０を含むように示して説明しているが、センサパラメータのシナリオカテゴリ及び／又は事前に定義された基本シナリオ７２０の数は、要望通り、任意の適当な数であることができる。

図８は、方法２００の代替の実施形態を示す。図８を参照して、対応するオプティカルフロー場を構築する１つの方法を２２８で示す。８１０で、モバイルプラットフォーム１１０及び撮像デバイス１１６の基本シナリオ７２０（図７に示す）を定義することができる。オプティカルフロー場の対応するビューを、各事前に定義された基本シナリオ７２０に対応付けることができる。

８１１で、第１の基本シナリオの場合、対応する回転ビュー（図１０を参照して更に詳しく後述する）を８１２で対応付ける。図７を参照して説明したように、このシナリオでは、水平面と直交する方向に撮像デバイス１１６が撮影しており、水平面と平行な面でモバイルプラットフォーム１１０が回転している。

８１３で、第２の基本シナリオの場合、対応するサイド移動ビュー（図１１を参照して更に詳しく後述する）を８１４で対応付ける。図７を参照して説明したように、このシナリオでは、水平面と平行な方向に撮像デバイス１１６が撮影しており、水平面と平行な面でモバイルプラットフォーム１１０及び／又は撮像デバイス１１６が回転している。

８１５で、第３の基本シナリオの場合、対応するズームインビュー（図１２を参照して更に詳しく後述する）を８１６で対応付ける。図７を参照して説明したように、このシナリオでは、ズームインしながら、又はモバイルプラットフォーム１１０が地面の方へ移動しながら、水平面と直交する方向に撮像デバイス１１６が撮影している。

８１７で、第４の基本シナリオの場合、対応するズームアウトビュー（図１２を参照して更に詳しく後述する）を８１８で対応付ける。図７を参照して説明したように、このシナリオでは、ズームアウトしながら、又はモバイルプラットフォーム１１０が地面から離れて移動しながら、水平面と直交する方向に撮像デバイス１１６が撮影している。

８１９で、第５の基本シナリオの場合、対応する直線移動ビュー（図１３を参照して更に詳しく後述する）を８２０で対応付ける。図７を参照して説明したように、このシナリオでは、水平面に対してある特定の角度を有する方向に撮像デバイス１１６が撮影しており、ある特定の速度でモバイルプラットフォーム１１０が移動している。

８２１で、第６の基本シナリオの場合、対応する大域的動きビュー（図１４を参照して更に詳しく後述する）を８２２で対応付ける。図７を参照して説明したように、このシナリオでは、モバイルプラットフォーム１１０が静止状態を保持しており、水平面と垂直な面で撮像デバイス１１６が回転している。

図９は、図５の方法２００の例示的な実施形態を示す。図９では、追加の手続き９１０を方法２００の工程に取り入れる。９１０で、センサパラメータのシナリオに基づいて、対応するオプティカルフロー場を選択して返す。図７を参照して説明したように、明らかなシナリオは、事前に定義された基本シナリオ、結合基本シナリオ及び学習シナリオを含む。例示的な例として、事前定義基本に対する対応する関係を、図８を参照して説明する。

９１０で、分類シナリオを判定する場合、ビデオ圧縮などの画像処理の目的で、シナリオに対応付けられたオプティカルフロー場を選択することができる。

ここで図１０を参照して、対応するオプティカルフロー場を用いて、図８の第１の基本シナリオ８１１としてのフレーム７１５の回転ビュー７１６の実施形態を示す。図８を参照して説明したように、第１の事前に定義された基本シナリオ８１１は２つの条件からなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、モバイルプラットフォーム１１０（図２に示す）の第１の動きが水平面と平行な面で回転することをからなることであり、次の条件は、撮像デバイス１１６（図２に示す）の状態が水平面と直交する方向に撮影する位置からなることである。第１の事前に定義された基本シナリオ８１１に対する２つの条件を満たす場合、方法２００（図９に示す）は、図１０の対応する回転ビュー７１６を選択することができる。回転ビュー７１６では、フレーム内の全ベクトルは、中心点７１０を中心として循環していることができ、外側部分、例えば７１４における画素が、フレーム７１５の内側部分、例えば７１２における画素よりも非常に速く移動していることができる。

図１０に示すように、回転ビュー７１６において、最も外側の部分、例えば部分７１４における画素が、中心７１０を中心として最も速く移動し、最も内側の部分、例えば部分７１２における画素が、非常に遅く移動する。他の部分における画素の移動速度は、中心７１０までの画素の距離に左右される。

図１１を参照して、対応するオプティカルフロー場を用いて、図８の第２の事前に定義された基本シナリオ８１３としてのフレーム７３０のサイド移動ビュー７３１の実施形態を示す。図８を参照して説明したように、第２の事前に定義された基本シナリオ８１３は２つの条件からなることができ、図３、図４、図７及び図８を参照して説明したように、最初の条件は、モバイルプラットフォーム１１０の第１の動き又は撮像デバイス１１６（図２に一括して示す）の第２の動きが水平面と平行な面で回転することをからなることであり、次の条件は、撮像デバイス１１６の位置が水平面と平行な方向に撮影することをからなることである。第２の事前に定義された基本シナリオ８１３に対する２つの条件を満たす場合、方法２００（図９に示す）は、対応するサイド移動ビュー７３１を選択することができる。サイド移動ビュー７３１では、フレーム７３０内の全ベクトル、例えば７３２及び７３４は、曲線経路に従って移動していることができる。フレーム７３０の画素移動を表すベクトルは、フレーム７３０全体にわたって均一であることができる。

図１１に示すように、フレーム７３０内の画素を、フレーム７３０の任意の１つの部分内で方向及び大きさが同一又は同様であるとみなすことができる。フレーム７３０の任意の２つの部分の間で、ベクトルは、大きさが同一又は同様であるが、方向は異なることができる。

ここで図１２を参照して、対応するオプティカルフロー場を用いて、図８の第３の事前に定義された基本シナリオ８１５としてのフレーム７５０のズームインビュー７５１の実施形態を示す。図８を参照して説明したように、第３の事前に定義された基本シナリオ８１５は２つの条件からなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、撮像デバイス１１６の位置が水平面と直交する方向に撮影することからなることであり、次の条件は、撮像デバイス１１６の第２の動きがズームインすることからなること、又はモバイルプラットフォーム１１０の第１の動きが地面の方へ移動することからなることである。第３の事前に定義された基本シナリオ８１５に対する２つの条件を満たす場合、方法２００（図９に示す）は、図１２の対応するズームインビュー７５１を選択することができる。ズームインビュー７５１では、中心点７１０から遠い画素は、中心点７１０に近い画素よりも速く移動していることができる。フレーム７５０内の全画素は、外向きに放射していることができる。

図１２の小さい変形例に関して、対応するオプティカルフロー場を用いて、図８の第４の事前に定義された基本シナリオ８１７としてのフレーム７５０のズームアウトビュー７５３（図示せず）の実施形態を示す。図８を参照して説明したように、第４の事前に定義された基本シナリオ８１７は２つの条件をからなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、撮像デバイス１１６の位置が水平面と直交する方向に撮影することからなることであり、次の条件は、撮像デバイス１１６の第２の動きがズームアウトすることからなること、又はモバイルプラットフォーム１１０の第１の動きが地面から離れて移動することからなることである。ズームインビュー７５１と同様に、ズームアウトビュー７５１では、中心点７１０から遠い画素は、中心点７１０に近い画素よりも速く移動していることができる。ズームインビュー７５１と違って、ズームアウトビュー７５３では、フレーム７５０内の画素は、フレーム７５０の外側から来て、内向きに放射していることができる。

図１２に示すように、外側の部分、例えば７５４における画素が、中心７１０を中心として最も速く移動し、内側の部分、例えば７５２における画素が、非常に遅く移動する。ズームインビュー７５１における画素の移動速度は、中心７１０までの画素の距離に左右される。撮像デバイス１１６がズームインしている場合、画素は、中心点７１０からフレーム７５０に入り、最も内側の部分から外向きに外側部分へ移動し、フレーム７５０から出る。撮像デバイス１１６がズームアウトしている場合、画素は、フレーム７５０に入り、アウトバウンドから最も外側の部分及び内側部分に移動し、中心点７１０で消える。

ここで図１３を参照して、対応するオプティカルフロー場を用いて、図８の第５の事前に定義された基本シナリオ８１９としてのフレーム７７０の直線移動ビュー７７１の実施形態を示す。図８を参照して説明したように、第５の事前に定義された基本シナリオ８１９は２つの条件からなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、撮像デバイス１１６の位置が水平面に対してある特定の角度Ωを有する方向に撮影することからなることであり、次の条件は、モバイルプラットフォーム１１０の第２の動きがある特定の速度で移動することからなることである。第５の事前に定義された基本シナリオ８１９に対する２つの条件を満たす場合、方法２００（図１０に示す）は、図１３の対応する直線移動ビュー７７１を選択することができる。

直線移動ビュー７７１では、図１３に示すように、はるかに遠い物体を表す、フレーム７７０の上側部分における画素は、相対的に静止していることができ、より近いビュー又は物体を表す、フレーム７７０の下側部分における画素は、相対的に速く移動していることができる。更に、このシナリオは、モバイルプラットフォーム１１０が飛び去っている場合のビューを表す。

図１３に示すように、直線移動ビュー７７１では、上側部分における画素は、この画素が遠い物体を表すので、ほとんど静止していることができ、下側部分における下側部分の画素は、上側部分の画素よりも非常に速く移動することができる。下側部分における画素は、図１３に示すように、ある角度でフレームの上側部分から下側部分に移動しており、フレーム７７０から外に移動することができる。

図１４を参照して、対応するオプティカルフロー場を用いて、第６の事前に定義された基本シナリオ８２１としてのフレーム７９０の大域的動きビュー７９１の実施形態を示す。図８を参照して説明したように、第６の事前に定義された基本シナリオ８２１は２つの条件からなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、モバイルプラットフォーム１１０の第１の動きが静止状態を保持することからなることであり、次の条件は、撮像デバイス１１６の第２の動きが、第１の限界よりも大きい、水平面と垂直な面で回転することからなることである。第６の事前に定義された基本シナリオ８２１に対する２つの条件を満たす場合、方法２００（図１０に示す）は、図１４の対応する大域的動きビュー７９１を選択する。大域的動きビュー７９１では、フレーム７９０内の画素は、例えば、速度ベクトル（例えば、７９２及び７９４）によって表される動きでフレームの上側部分からフレームの下側部分へ、１つの方向に大域的に移動しており、フレーム７９０の下側部分からフレームの外に移動することができる。

このシナリオ８２１では、全ベクトル（例えば、ベクトル７９２及び７９４）は、方向及び大きさが同一又は同様である。従って、フレーム７９０の画素を、フレーム７９０全体にわたって大域的動きを有するとみなすことができる。

図１５は、ＵＡＶ１１０（図２に示す）の移動を実行する例示的な制御コンソール８００を示す。図１５に示すように、コンソール８００は、１つ又は複数のジョイスティック８１０、８２０、及び電源スイッチ８３０からなることができる。ジョイスティック８１０、８２０は、図１５に示すように、縦揺れ、偏揺れ、スロットル及び／又は横揺れの動作を介して移動を実行するのにＵＡＶ１１０を制御する。追加的及び／又は代替的に、コンソール８００は、撮像デバイス１１６（図２に示す）の動作を行う別のセットの制御（図１５に図示せず）を有することができ、又は、別個の制御コンソール（図示せず）を用いて、撮像デバイス１１６を制御することができる。別個の制御コンソールは、例えば、携帯電話で動作するモバイルアプリであることができる。

制御コンソール８００は、図１５に示すものと同様なゲームコンソールを含む、任意のタイプの遠隔制御器、及びコンピュータ、携帯電話、タブレットで動作する任意のアプリ、及びＵＡＶ１１０及び／又は撮像デバイス１１６に関する機能を制御する制御機能を果たすことができる任意の他のモバイルプラットフォームであることができる。

図１６は、モバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１１の状態を利用して対応するオプティカルフロー場を構築することができる撮像システム３００の例示的な実施形態を示す。撮像システム３００は、モバイルプラットフォーム１１０の第１の動き用の１つ又は複数の第１のセンサ、及び撮像デバイス１１６の状態用の１つ又は複数の第２のセンサを含むことができる。図１６に示すように、第１及び第２のセンサのうち少なくとも１つをプロセッサ２８０に対応付けることができる。図３及び図４を参照して示して上述したように、第１の回転センサ２５１は、第１の軸１３１を中心としてプラットフォーム１１０の回転を測定する。第１の回転センサ２５１は、慣性測定ユニット（「ＩＭＵ」）であることができる。代替的及び／又は追加的に、第１の動きの第１の移動センサ２５２及び第２の移動センサ２５３を、同じＩＭＵ又は他の速度デバイスによって実現することができる。

各第１のセンサ２５１〜２５３は、事前分類オプティカルフロー場１１１を選択するベースとして使用できるモバイルプラットフォーム１１０の第１の動きの測定をプロセッサ２８０に与えることができる。例示的な実施形態では、位置センサ３１０及び第２の動きセンサ３２０を含む、撮像デバイス１１６用の第２のセンサのうち少なくとも１つの測定と、第１の動きの測定を結合することができる。

単に図示するためにモバイルプラットフォーム１１０の第１の動き用の第１のセンサ２５１〜２５３及び撮像デバイス１１６の第２のセンサ３１０、３２０を対応付けるように示して説明しているが、オプティカルフロー場を選択するために、他の適当な動き及び状態の測定をプロセッサ２８０に対応付けることもできる。多少言い方を変えれば、モバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１６の状態用の第１及び第２のセンサのうち少なくとも１つを含むことができる複数の適当なセンサに、プロセッサ２８０を対応付けることができる。

図１６に示すように、プロセッサ２８０をメモリ２９０に対応付けることができる。メモリ２９０の例は、ランダムアクセスメモリ（「ＲＡＭ」）、スタティックＲＡＭ、ダイナミックＲＡＭ、読み取り専用メモリ（「ＲＯＭ」）、プログラマブルＲＯＭ、消去可能プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、フラッシュメモリ、セキュアデジタル（「ＳＤ」）カードなどを含むことができる。メモリ２９０を使用して、事前分類シナリオ及び対応するオプティカルフロー場１１１を含むプリロードデータを記憶することができるが、これらに限定されない。プロセッサ２８０は、第１の動き用の第１のセンサ及び撮像デバイス１１６の状態用の第２のセンサを介して取得されたモバイルプラットフォーム１１０の第１の動きに基づいてシナリオを判定することができる。例示的な実施形態では、シナリオが事前分類シナリオのうちの１つと一致する場合、プロセッサ２８０は、対応するオプティカルフロー場を選択することができる。

プロセッサ２８０は、現在入手可能なビデオ機器に使用できる任意の市販のグラフィックチップを含むことができる。例えば、プロセッサ２８０は、撮像デバイス１１１用に特別製造された特注設計のグラフィックチップであることができる。プロセッサ２８０は、２Ｄ（又は３Ｄ）場面のレンダリング、又は他のグラフィックス、ＭＰＥＧ−２／ＭＰＥＧ−４の復号、テレビ出力、又は多数のディスプレイを接続する機能を高速化する１つ又は複数の追加チップを含むことができ、又はこれらの追加チップと通信するように構成できる。追加的及び／又は代替的に、プロセッサ２８０は、１つ又は複数の汎用マイクロプロセッサ（例えば、単一又はマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィックス処理装置、物理処理装置、デジタル信号処理装置、コプロセッサ、ネットワーク処理装置、音声処理装置、暗号化処理装置などを含むことができる。

シナリオを判定して対応するオプティカルフロー場１１１を選択するモバイルプラットフォーム１１０の第１の動き用の第１のセンサ及び撮像デバイス１１６の状態用の第２のセンサと操作可能にプロセッサ２８０を接続することができる。プロセッサ２８０と第１及び第２のセンサとの間の接続は、有線及び／又は無線リンクであることができる。プロセッサ２８０は、画僧処理に関する様々な操作を含む、ここに記載の方法１００の何れかを実行するように構成できるが、これらに限定されない。幾つかの実施形態では、プロセッサ２８０は、画僧処理に関する特定の操作を処理する専用ハードウエアを含むことができる。

幾つかの他の実施形態では、メモリ２９０は、画僧処理に関する様々な操作を含む、ここに記載の方法の何れかを実行するようにプログラムされたソフトウェア製品を記憶するのに使用できるが、これらに限定されない。

図１７は、撮像デバイス１１６の位置センサ３１０及び第２の動きセンサ３２０を含む撮像デバイス１１６（図２に示す）の状態用の第２のセンサを示すシステム３００の例示的な実施形態を示す。図１７では、撮像デバイス１１６の位置センサ３１０は、撮像デバイス１１６の横向きを測定する向きセンサ３１２、及び撮像デバイス１１６の傾斜角（図４に一括して示す）を検出する角度センサ３１４を含むことができる。向きセンサ３１２及び角度センサ３１４は、ジンバル１１７（図２に示す）に対応付けられた少なくとも１つのセンサであることができる。

単に図示するために向きセンサ３１２及び角度センサ３１４を有するように示して説明しているが、他の適当なセンサを使用して、撮像デバイス１１６の位置３１０を検出することができる。

撮像デバイス１１６の第２の動きセンサ３２０は、ズームセンサ３２２、第２の回転センサ３２４及び第３の回転センサ３２６を含むことができる。ズームセンサ３２２は、ズームインの動き及び／又はズームアウトの動きを検出する、撮像デバイス１１６に対応付けられた少なくとも１つのセンサを含むことができる。第２の回転センサ３２４及び第３の回転センサ３２６は、撮像デバイス１１６の水平回転及び垂直回転を検出する、ジンバル１１７に対応付けられた１つ又は複数の動きセンサを含むことができる。

単に図示するためにズームセンサ３２２及び回転センサ３２４、３２６を有するように示して説明しているが、他の適当なセンサを使用して、撮像デバイス１１６の第２の動き３２０を検出することができる。

記載の実施形態は、様々な修正及び代替の形態が可能であり、実施形態の特定の例が、図面で例示されており、ここに詳しく記載されている。しかし、記載の実施形態は、開示の具体的な形態又は方法に限定されるべきではなく、それとは反対に、本開示は、全ての修正、均等物及び代替物を含むことが理解されるものとする。

開示の実施形態は一般的に、モバイルプラットフォームに対応付けられた撮像デバイスによるビデオ撮像に関し、より詳細には、モバイルプラットフォームの動き及び撮像デバイスの状態を判定することによって選択ビデオフレームに対してオプティカルフロー場を構築する方法に関する。

前述のことに鑑みて、迅速且つコスト効果の高い方法でオプティカルフロー場を構築することができる方法の必要性がある。

図１２の小さい変形例に関して、対応するオプティカルフロー場を用いて、図８の第４の事前に定義された基本シナリオ８１７としてのフレーム７５０のズームアウトビュー７５３（図示せず）の実施形態を示す。図８を参照して説明したように、第４の事前に定義された基本シナリオ８１７は２つの条件をからなり、図３、図４、図７及び図８を参照して説明したように、最初の条件は、撮像デバイス１１６の位置が水平面と直交する方向に撮影することからなることであり、次の条件は、撮像デバイス１１６の第２の動きがズームアウトすることからなること、又はモバイルプラットフォーム１１０の第１の動きが地面から離れて移動することからなることである。ズームインビュー７５１と同様に、ズームアウトビュー７５３では、中心点７１０から遠い画素は、中心点７１０に近い画素よりも速く移動していることができる。ズームインビュー７５１と違って、ズームアウトビュー７５３では、フレーム７５０内の画素は、フレーム７５０の外側から来て、内向きに放射していることができる。

図１６は、モバイルプラットフォーム１１０の第１の動き及び撮像デバイス１１６の状態を利用して対応するオプティカルフロー場を構築することができる撮像システム３００の例示的な実施形態を示す。撮像システム３００は、モバイルプラットフォーム１１０の第１の動き用の１つ又は複数の第１のセンサ、及び撮像デバイス１１６の状態用の１つ又は複数の第２のセンサを含むことができる。図１６に示すように、第１及び第２のセンサのうち少なくとも１つをプロセッサ２８０に対応付けることができる。図３及び図４を参照して示して上述したように、第１の回転センサ２５１は、第１の軸１３１を中心としてプラットフォーム１１０の回転を測定する。第１の回転センサ２５１は、慣性測定ユニット（「ＩＭＵ」）であることができる。代替的及び／又は追加的に、第１の動きの第１の移動センサ２５２及び第２の移動センサ２５３を、同じＩＭＵ又は他の速度デバイスによって実現することができる。

シナリオを判定して対応するオプティカルフロー場１１１を選択するモバイルプラットフォーム１１０の第１の動き用の第１のセンサ及び撮像デバイス１１６の状態用の第２のセンサと操作可能にプロセッサ２８０を接続することができる。プロセッサ２８０と第１及び第２のセンサとの間の接続は、有線及び／又は無線リンクであることができる。プロセッサ２８０は、画僧処理に関する様々な操作を含む、ここに記載の方法２００の何れかを実行するように構成できるが、これらに限定されない。幾つかの実施形態では、プロセッサ２８０は、画僧処理に関する特定の操作を処理する専用ハードウエアを含むことができる。

Claims (74)

1. オプティカルフロー場を構築する方法であって、
   撮像デバイスを有するモバイルプラットフォームの第１の動きを取得するステップと、
   前記モバイルプラットフォームに対する前記撮像デバイスの状態を得るステップと、
   モバイルプラットフォームの前記第１の動き及び前記撮像デバイスの前記状態に基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
   を含む方法。
2. 前記第１の動きを取得する前記ステップは、前記モバイルプラットフォームの第１の回転、水平方向における前記モバイルプラットフォームの第１の移動、及び垂直方向における前記モバイルプラットフォームの第２の移動のうち少なくとも１つを判定するステップを含む、請求項１に記載の方法。
3. 前記状態を得る前記ステップは、前記撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するステップを含む、請求項１又は２に記載の方法。
4. 前記撮像デバイスの前記第２の動き及び前記位置のうち前記少なくとも１つを判定する前記ステップは、ズーム、水平方向における前記撮像デバイスの第１の回転、及び垂直方向における前記撮像デバイスの第２の回転のうち少なくとも１つを判定するステップを含む、請求項３に記載の方法。
5. 前記撮像デバイスの前記第２の動き及び前記位置のうち前記少なくとも１つを判定する前記ステップは、前記撮像デバイスの向き及び傾斜角のうち少なくとも１つを取得するステップを含む、請求項４に記載の方法。
6. 前記取得するステップは、前記モバイルプラットフォーム上に配置された１つ又は複数の第１のセンサを介して前記第１の動きを取得するステップを含む、請求項１乃至５の何れか１項に記載の方法。
7. 前記構築するステップは、事前分類されたオプティカルフロー場を、前記モバイルプラットフォームの前記第１の動き又は前記撮像デバイスの前記状態の分類シナリオの少なくとも一方に対応付けるステップを含む、請求項１乃至６の何れか１項に記載の方法。
8. 前記モバイルプラットフォームの前記第１の動き及び前記撮像デバイスの前記状態に基づいて前記モバイルプラットフォーム及び前記撮像デバイスの前記シナリオを分類するステップを更に含む、請求項７に記載の方法。
9. 前記シナリオを分類する前記ステップは、前記モバイルプラットフォームの前記第１の動き及び前記撮像デバイスの前記状態の前記シナリオを、事前に定義された基本シナリオに定義するステップを更に含む、請求項８に記載の方法。
10. 前記モバイルプラットフォームは無人航空機（ＵＡＶ）である、請求項９に記載の方法。
11. 前記対応するオプティカルフロー場を構築する前記ステップは、回転ビューを第１の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
12. 前記回転ビューを対応付ける前記ステップは、フレームの外側部分における動きが前記フレームの内側部分における動きよりも非常に速い所定のビューを対応付けるステップを含む、請求項１１に記載の方法。
13. 前記シナリオを定義する前記ステップは、水平面と直交する方向に前記撮像デバイスが撮影しており、前記水平面と平行な面で前記ＵＡＶが回転している場合として、前記第１の基本シナリオを定義するステップを含む、請求項１２に記載の方法。
14. 前記対応するオプティカルフロー場を構築する前記ステップは、サイド移動ビューを第２の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
15. 前記サイド移動ビューを対応付ける前記ステップは、前記フレームの全ての物体が曲線経路に沿って移動している所定のビューを対応付けるステップを含む、請求項１４に記載の方法。
16. 前記シナリオを定義する前記ステップは、水平面と平行な方向に前記撮像デバイスが撮影しており、前記水平面と平行な面で前記ＵＡＶ又は前記撮像デバイスが回転している場合として、前記第２の基本シナリオを定義するステップを含む、請求項１５に記載の方法。
17. 前記対応するオプティカルフロー場を構築する前記ステップは、ズームインビューを第３の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
18. 前記ズームインビューを対応付ける前記ステップは、フレームの中心から離れた点が前記中心点及び前記フレームから出る点よりも速く移動している所定のビューを対応付けるステップを含む、請求項１７に記載の方法。
19. 前記シナリオを定義する前記ステップは、ズームインしながら、又は前記ＵＡＶが地面の方へ移動しながら、前記水平面と直交する方向に前記撮像デバイスが撮影している場合として、前記第３の基本シナリオを定義するステップを含む、請求項１８に記載の方法。
20. 前記対応するオプティカルフロー場を構築する前記ステップは、ズームアウトビューを第４の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
21. 前記ズームアウトビューを対応付ける前記ステップは、フレームの中心から離れた点が前記中心点及び前記フレームに入る点よりも速く移動している所定のビューを対応付けるステップを含む、請求項２０に記載の方法。
22. 前記シナリオを定義する前記ステップは、ズームアウトしながら、又は前記ＵＡＶが地面から離れて移動しながら、前記水平面と直交する方向に前記撮像デバイスが撮影している場合として、前記第４の基本シナリオを定義するステップを含む、請求項２１に記載の方法。
23. 前記対応するオプティカルフロー場を構築する前記ステップは、直線移動ビューを第５の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
24. 前記直線移動ビューを対応付ける前記ステップは、前記動きが前記フレーム内の全画素に対して大域的であるが、前記フレームの上側部分における前記画素が相対的に静止しており、前記フレームの下側部分における近い物体上の前記画素が相対的に一層速く移動する、所定のビューを対応付けるステップを含む、請求項２３に記載の方法。
25. 前記シナリオを定義する前記ステップは、前記水平面に対してある特定の角度を有する方向に前記撮像デバイスが撮影しており、ある特定の速度で前記ＵＡＶが移動している場合として、前記第５の基本シナリオを定義するステップを含む、請求項２４に記載の方法。
26. 前記撮像デバイスが撮影している前記方向に前記ＵＡＶが移動している、請求項２５に記載の方法。
27. 前記直線移動ビューを対応付ける前記ステップは、遠い物体を深さ又は局所性の少なくとも一方によって判定するステップを含み、
    前記フレームの上側部分における前記物体を遠い物体として通常判定し、同様の深さを有する物体を近い物体として判定する、請求項２６に記載の方法。
28. 前記対応するオプティカルフロー場を構築する前記ステップは、大域的動きビューを第６の基本シナリオに対応付けるステップを含む、請求項１乃至１０の何れか１項に記載の方法。
29. 前記大域的動きビューを対応付ける前記ステップは、超高速の大域的な一定の速度で前記撮像デバイスが移動する所定のビューを対応付けるステップを含む、請求項２８に記載の方法。
30. 前記シナリオを定義する前記ステップは、前記ＵＡＶが静止状態を保持しており、前記水平面と垂直な面で前記カメラが回転している場合として、前記第６の基本シナリオを定義するステップを含む、請求項２９に記載の方法。
31. シナリオを分類する前記ステップは、前記事前に定義された基本シナリオを結合して結合シナリオを生成するステップと、前記対応するオプティカルフロー場を結合して対応する結合オプティカルフロー場を生成するステップとを更に含む、請求項３０に記載の方法。
32. 前記オプティカルフロー場を対応付ける前記ステップは、前記対応する結合オプティカルフロー場を前記結合シナリオに対応付けるステップを含む、請求項３１に記載の方法。
33. シナリオを分類する前記ステップは、少なくとも１つの学習プロセスを介して前記シナリオを定義して学習シナリオを生成するステップと、対応する学習オプティカルフロー場を定義するステップとを更に含む、請求項１１乃至３２の何れか１項に記載の方法。
34. 前記オプティカルフロー場を対応付ける前記ステップは、前記対応する学習オプティカルフロー場を前記学習シナリオに対応付けるステップを更に含む、請求項３３に記載の方法。
35. フレームに対してオプティカルフロー場を選択する方法であって、
    請求項１１乃至３４の何れか１項に記載のシナリオに基づいて対応するオプティカルフロー場を選択するステップを含み、
    前記シナリオはモバイルプラットフォームの第１の動きと前記モバイルプラットフォームに連結された撮像デバイスの状態とを含む、方法。
36. 請求項３５に記載のフレームに対して前記オプティカルフロー場を構築するステップを実行するように構成されている撮像システム。
37. オプティカルフロー場を構築する撮像システムであって、
    モバイルプラットフォームと、
    前記モバイルプラットフォームに対応付けられた撮像デバイスとを含み、
    前記モバイルプラットフォーム又は前記撮像デバイスの少なくとも一方は、請求項１１乃至３４の何れか１項に記載のフレームに対して前記オプティカルフロー場を構築するように構成されている、撮像システム。
38. 前記モバイルプラットフォーム又は前記撮像デバイスの少なくとも一方は、前記フレームに対して前記オプティカルフロー場を構築するプロセッサを含む、請求項３７に記載の撮像システム。
39. 請求項３５に記載のフレームに対して前記オプティカルフロー場を選択する命令を含むコンピュータプログラム製品。
40. オプティカルフロー場を構築する方法であって、
    モバイルプラットフォームの第１の動き又は前記モバイルプラットフォームに装着された撮像デバイスの第２の動きのうち少なくとも１つを取得するステップと、
    前記モバイルプラットフォームに対する撮像デバイスの位置を得るステップと、
    前記第１の動き、前記第２の動き及び前記位置のうち少なくとも１つに基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
    を含む方法。
41. 前記取得するステップは、前記モバイルプラットフォーム又は前記撮像デバイスに対応付けられた１つ又は複数の動きセンサを介して前記第１の動き及び前記第２の動きのうち少なくとも１つを取得するステップを含む、請求項４０に記載の方法。
42. オプティカルフロー場を構築する装置であって、
    撮像デバイスを有するモバイルプラットフォームの第１の動きを取得するステップと、
    前記モバイルプラットフォームに対する前記撮像デバイスの状態を得るステップと、
    モバイルプラットフォームの前記第１の動き及び前記撮像デバイスの前記状態に基づいてフレームに対して対応するオプティカルフロー場を構築するステップと
    のために構成されているプロセッサを含む装置。
43. 前記プロセッサは、前記モバイルプラットフォームの第１の回転、水平方向における前記モバイルプラットフォームの第１の移動、及び垂直方向における前記モバイルプラットフォームの第２の移動のうち少なくとも１つを判定するように構成されている、請求項４２に記載の装置。
44. 前記プロセッサは、前記撮像デバイスの第２の動き及び位置のうち少なくとも１つを判定するように構成されている、請求項４２又は４３に記載の装置。
45. 前記プロセッサは、ズーム、水平方向における前記撮像デバイスの第１の回転、及び垂直方向における前記撮像デバイスの第２の回転のうち少なくとも１つを判定するように構成されている、請求項４４に記載の装置。
46. 前記プロセッサは、前記撮像デバイスの向き及び傾斜角のうち少なくとも１つを取得するように構成されている、請求項４５に記載の装置。
47. 前記モバイルプラットフォームの前記第１の動きを取得する、前記モバイルプラットフォーム上に配置された１つ又は複数の第１のセンサを更に含む、請求項４２乃至４６の何れか１項に記載の装置。
48. 前記プロセッサは、事前分類されたオプティカルフロー場を、前記モバイルプラットフォームの前記第１の動き又は前記撮像デバイスの前記状態の分類シナリオの少なくとも一方に対応付けるように構成されている、請求項４２乃至４７の何れか１項に記載の装置。
49. 前記プロセッサは、前記モバイルプラットフォームの前記第１の動き及び前記撮像デバイスの前記状態に基づいて前記モバイルプラットフォーム及び前記撮像デバイスの前記シナリオを分類するように構成されている、請求項４８に記載の装置。
50. 前記プロセッサは、前記モバイルプラットフォーム及び前記撮像デバイスの前記状態の前記シナリオを、事前に定義された基本シナリオに定義するように構成されている、請求項４９に記載の装置。
51. 前記モバイルプラットフォームは無人航空機（ＵＡＶ）である、請求項５０に記載の装置。
52. 前記プロセッサは、回転ビューを第１の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
53. 前記回転ビューは、フレームの外側部分における動きが前記フレームの内側部分における動きよりも非常に速いことを含む、請求項５２に記載の装置。
54. 前記第１の基本シナリオは、水平面と直交する方向に前記撮像デバイスが撮影しており、前記水平面と平行な面で前記ＵＡＶが回転している場合として、定義されている、請求項５３に記載の装置。
55. 前記プロセッサは、サイド移動ビューを第２の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
56. 前記サイド移動ビューは、前記フレームの全ての物体が曲線経路に沿って移動していることを含む、請求項５５に記載の装置。
57. 前記第２の基本シナリオは、水平面と平行な方向に前記撮像デバイスが撮影しており、前記水平面と平行な面で前記ＵＡＶ又は前記撮像デバイスが回転している場合として、定義されている、請求項５６に記載の装置。
58. 前記プロセッサは、ズームインビューを第３の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
59. 前記第３の基本シナリオは、ズームインしながら、又は前記ＵＡＶが地面の方へ移動しながら、前記水平面と直交する方向に前記撮像デバイスが撮影している場合として、定義されている、請求項５８に記載の装置。
60. 前記ズームインビューは、フレームの中心から離れた点が前記中心点及び前記フレームから出る点よりも速く移動していることを含む、請求項５９に記載の装置。
61. 前記プロセッサは、ズームアウトビューを第４の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
62. 前記ズームアウトビューは、フレームの中心から離れた点が前記中心点及び前記フレームに入る点よりも速く移動していることを含む、請求項６１に記載の装置。
63. 前記第４の基本シナリオは、ズームアウトしながら、又は前記ＵＡＶが地面から離れて移動しながら、前記水平面と直交する方向に前記撮像デバイスが撮影している場合として、定義されている、請求項６２に記載の装置。
64. 前記プロセッサは、直線移動ビューを第５の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
65. 前記直線移動ビューは、前記動きが前記フレーム内の全画素に対して大域的であるが、前記フレームの上側部分における前記画素が相対的に静止しており、前記フレームの下側部分における近い物体上の前記画素が相対的に一層速く移動することを含む、請求項６４に記載の装置。
66. 前記第５の基本シナリオは、前記水平面に対してある特定の角度を有する方向に前記撮像デバイスが撮影しており、ある特定の速度で前記ＵＡＶが移動している場合として、定義されている、請求項６５に記載の装置。
67. 前記撮像デバイスが撮影している前記方向に前記ＵＡＶが移動している、請求項６６に記載の装置。
68. 前記直線移動ビューを対応付ける前記プロセッサは、遠い物体を深さ又は局所性の少なくとも一方によって判定するように構成されており、
    前記フレームの上側部分における前記物体を遠い物体として通常判定し、同様の深さを有する物体を近い物体として判定する、請求項６７に記載の装置。
69. 前記プロセッサは、大域的動きビューを第６の基本シナリオに対応付けるように構成されている、請求項４２乃至５１の何れか１項に記載の装置。
70. 前記大域的動きビューは、超高速の大域的な一定の速度で前記撮像デバイスが移動することを含む、請求項６９に記載の装置。
71. 前記第６の基本シナリオは、前記ＵＡＶが静止状態を保持しており、前記水平面と垂直な面で前記カメラが回転している場合として、定義されている、請求項７０に記載の装置。
72. 前記プロセッサは、前記事前に定義された基本シナリオを結合して結合シナリオを生成し、前記対応するオプティカルフロー場を結合して対応する結合オプティカルフロー場を生成するように構成されている、請求項７１に記載の装置。
73. 前記対応する結合オプティカルフロー場を前記結合シナリオに対応付ける、請求項７２に記載の装置。
74. 前記プロセッサは、少なくとも１つの学習プロセスを介して前記シナリオを定義して学習シナリオを生成し、対応する学習オプティカルフロー場を定義するように構成されている、請求項７３に記載の装置。