JP2017509986A - 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 - Google Patents

Abstract

【課題】多種多様の照明状況において、従来のシステムに比較して改善された画像を提供することを可能にする、オプティカルフロー画像化システムを提供する。【解決手段】深度データを含む画像を生成する超音波アレイを有するオプティカルフロー画像化システム、及びオプティカルフロー画像化システムを製造し、使用する方法。オプティカルフロー画像化システムは、超音波エミッタと複数の超音波センサを含む、筐体上に配置された超音波センサアレイを含む。オプティカルフロー画像化システムは、超音波センサとの平行面の筐体上に配置され、超音波センサに操作可能に接続される赤、緑、青（ＲＧＢ）カメラアセンブリを含む。

Description

本発明は、デジタル画像化、コンピュータビジョン、及び超音波検出に関し、より詳細にはオプティカルフロー画像化システム及び方法に関するが、これに限定されない。

赤、緑、青プラス深度（ＲＧＢ−Ｄ）カメラとは、３次元画像（深度図画像を加えた平面での２次元画像）を生成できるカメラである。従来のＲＧＢ−Ｄカメラには２つの異なるグループのセンサがある。このグループの一方は、従来、３つの色、つまりＲ（赤）、Ｇ（緑）、及びＢ（青）のそれぞれの強度値で表される周囲画像を捉えるために使用される（ＲＧＢカメラ等の）光学受光センサを含んでいる。他方のグループは、観察されている物体の距離（または深度）（Ｄ）を検出し、及び深度図画像を取得する赤外線レーザーまたは構造化光センサを含んでいる。ＲＧＢ−Ｄカメラの用途には、空間画像化、ジェスチャ識別、距離検出等が挙げられる。

あるタイプのＲＧＢ−Ｄカメラは、画像化の赤外線光源（例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）を使用する。このようなカメラには、特有の空間構造の赤外光を発し得る光源を有する。さらに、このようなカメラには、レンズ、及び赤外光を受光するフィルターチップが備えられている。カメラの内部プロセッサは、受光した赤外光の構造を評価する。そして、プロセッサは、光構造の変動を通して、物体の構造及び距離の情報を認識する。

Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ等の従来のＲＧＢ−Ｄカメラは、深度情報を取得するために赤外光検出手法を活用している。しかし、太陽光スペクトルには強力な赤外線シグネチャーがあり、検出器から発せられる赤外光を隠し得る。よって赤外光検出を基本とするこの手法は、屋外環境で、特に太陽光によって照明される物体に対しては十分に機能しない。（例えば、レーザーを用いて、または光源の輝度を増すことによって）そのパワーを増すことによって、この問題を解決しようと試みる赤外光検出器がある。しかし、この手法はより大きな電力消費を要するために望ましくない。

オプティカルフローは、カメラと情景との間の相対運動によって引き起こされる情景の中の物体、表面、及び端縁の見かけ上の動きのパターンである。従来のオプティカルフローは、ピクセルフィールドに対して移動を比較できるにすぎず、実際の距離と速度に関して移動を比較できるわけではない。したがって、従来のオプティカルフローシステム及び方法は、無人航空機（ＵＡＶ）または他の輸送機等の可動プラットフォームのナビゲーションを含んだ現実の世界の環境における荒々しい用途には適していない。

したがって、従来のオプティカルフロー画像化システムの、上述した障害及び欠点を克服する改善されたオプティカルフロー画像化システム及び方法に対する必要性が存在する。

本発明における一態様は、物理空間でオプティカルフローを決定する方法を含む。この方法は、物理空間で複数の特徴点のオプティカルフロー速度を決定することを含む。特徴点はＲＧＢ画像データで特定され、特徴点と関連付けられた深度データを使用して物理空間でユニットを取得する。ある実施形態では、ＲＧＢカメラを使用してＲＧＢ画像データを取得する。また、超音波センサアレイを使用して深度データを取得する実施形態もある。

また、他の実施形態では、この方法は、ＲＧＢカメラアセンブリ及び第１の超音波アレイを使用し、第１のＲＧＢ−Ｄ画像を生成することも含む。さらに他の実施形態では、この方法は、第１のＲＧＢ−Ｄ画像のＲＧＢ部分で複数の特別な関心点を特定することも含む。また、この方法は、ＲＧＢカメラアセンブリ及び第１の超音波アレイを使用し、第２のＲＧＢ−Ｄ画像を生成することを含む場合もある。

他の実施形態において、この方法は、第１のＲＧＢ−Ｄ画像と第２のＲＢＧ−Ｄ画像のＲＧＢ部分を比較することによって特徴点の部分のピクセル速度を決定することも含む。また、この方法は、第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像の深度データを使用し、特徴点の部分の決定されたピクセル速度を物理空間の速度に変換することを含む場合もある。また、この方法は、ＲＧＢカメラアセンブリと第１の超音波アレイを使用し、第３のＲＧＢ−Ｄ画像を生成することを含む場合もある。

ある実施形態では、この方法は、第２のＲＧＢ−Ｄ画像と第３のＲＧＢ−Ｄ画像のＲＧＢ部分を比較することによって特徴点の部分のピクセル速度を決定することをさらに含む。また、この方法は、第２のＲＧＢ−Ｄ画像と第３のＲＧＢ−Ｄ画像の深度データを使用し、特徴点の部分の決定されたピクセル速度を物理空間の速度に変換することを含む実施形態もある。

ある実施形態では、この方法は、以下を含む。ＲＧＢカメラアセンブリからＲＧＢ画像データを受け取ること。ＲＧＢ画像データの第１の部分に対応する第１の超音波アレイから第１の深度マップデータセットを受け取ること。ＲＧＢ画像データの第２の部分に対応する第２の超音波アレイから第２の深度マップデータセットを受け取ること。第１のＲＧＢ−Ｄ画像を生成するために対応する深度マップデータセットとＲＧＢ画像データを結合すること。

他の実施形態では、この方法は、ＲＧＢ画像データと、第１の深度マップデータセットと第２の深度マップデータセットとを位置合わせすることを含む。また、この方法は第１の深度マップデータセットと第２の深度マップデータセットをトリミングすることを含む場合もある。さらに、第１の深度マップデータセットと第２の深度マップデータセットをトリミングすることは、以下を含む実施形態もある。ＲＧＢ画像データに対応しない第１の深度マップデータセットの第１の部分をトリミングすること。ＲＧＢ画像データに対応しない第２の深度マップデータセットの第２の部分をトリミングすること。

ある実施形態では、この方法は、ビーム形成を介して超音波アレイから受け取られる深度マップデータを処理することも含む。他の実施形態では、第１の深度マップデータセットと第２の深度マップデータセットは、ＲＧＢ画像データの解像度よりも低い解像度となる。また、この方法は、ＲＧＢ画像データの解像度に等しいより高い解像度まで深度マップデータをアップサンプリングすることを含む場合もある。さらに、この方法は、ＲＧＢデータでのコーナー検出に加速されたセグメントテストからの特徴（ＦＡＳＴ）アルゴリズムを使用することを含む場合もある。また、この方法は、ＲＧＢデータから特徴記述子を特定するためにバイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用することを含む場合もある。

本発明の他の態様は、物理空間でオプティカルフローを決定するシステムを含み、このシステムは上述された方法のいずれかを実行する。本発明の他の態様は、物理空間でオプティカルフローを決定するコンピュータプログラム製品を含む。コンピュータプログラム製品は、１つ以上の機械可読記憶媒体上で符号化され、上述された方法のいずれかを実行する命令を含む。さらにその他の態様はコンピュータプログラム製品を含む。上述された物理空間でオプティカルフローを決定する方法は、非一時的記憶媒体に記憶される一連の命令として提供される。

本発明のある態様は、物理空間でオプティカルフローを決定するコンピュータプログラム製品を含む。コンピュータプログラム製品は、非一時的機械可読記憶媒体上で符号化され、以下の命令を有する。第１のＲＧＢ−Ｄ画像を生成する命令。第１のＲＧＢ−Ｄ画像のＲＧＢ部分で複数の特別な関心点を特定する命令。第２のＲＧＢ−Ｄ画像を生成する命令。第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像のＲＧＢ部分を比較することによって特徴点の部分のピクセル速度を決定する命令。第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像の深度データを使用し、特徴点の部分の決定されたピクセル速度を物理空間の速度に変換する命令。

本発明の他の態様は、オプティカルフロー画像化システムを含む。このオプティカルフロー画像化システムは、第１の超音波センサアレイ、赤、緑、青（ＲＧＢ）カメラ、及び物理空間で複数の特徴点のオプティカルフロー速度を決定する処理モジュールを備える。特徴点はＲＧＢ画像データで特定され、特徴点と関連付けられた深度データは物理空間でユニットを取得するために使用される。

本発明の他の態様は、オプティカルフロー画像化システムを含む。このオプティカルフロー画像化システムは、以下を備える。筐体。深度センサ。筐体上に配置され、第１の超音波センサアレイに操作可能に接続された赤、緑、青（ＲＧＢ）カメラアセンブリ。物理空間内の複数の特徴点のオプティカルフロー速度を決定する処理モジュール。この場合、ＲＧＢカメラは感光性の画像化チップとレンズを含む。また、特徴点はＲＧＢ画像データで特定され、特徴点と関連付けられた深度データは物理空間でユニットを取得するために使用される。

ある実施形態では、深度センサは超音波エミッタと複数の超音波センサを有する第１の超音波センサアレイを含む。他の実施形態では、第１の超音波センサアレイは筐体上に配置され得る。また、第１の超音波アレイと感光性画像化チップは、筐体上の平行面に配置される場合もある。また、第１の超音波センサアレイと感光性画像化チップが、１０ｃｍ以下の距離で筐体上の平行面に配置される実施形態もある。

他の実施形態では、超音波センサは行と列を有するマトリックス構成の基板上に配置される。超音波エミッタは行と列との間のマトリックス構成内に配置される。また、他の実施形態は、筐体の中に配置され、超音波センサアレイとＲＧＢカメラアセンブリに操作可能に接続されたプロセッサとメモリを含む。

ある実施形態は、筐体上に配置されたディスプレイを含む。他の実施形態は、第２の超音波センサアレイを含む。第２の超音波センサアレイは、筐体に配置され、第１の超音波センサアレイとＲＧＢカメラアセンブリに操作可能に接続される。また、第１の超音波アレイと第２の超音波アレイ、及び感光性画像化チップは、筐体上の平行面に配置される場合もある。さらに、第１の超音波アレイと第２の超音波アレイ、及び感光性画像化チップは線形構成で配置され、感光性画像化チップは第１の超音波アレイと第２の超音波アレイとの間に配置されている実施形態もある。

ある実施形態は、複数の対にされた超音波センサアレイを含む。超音波センサアレイは、それぞれの対が異なる平行面に配置されている。他の実施形態では、ＲＧＢカメラアセンブリは赤外線カットフィルターを含む。また、ＲＧＢカメラアセンブリが赤外線通過フィルターを含み、感光性画像化チップが赤外光を検出する実施形態もある。

ある実施形態では、処理モジュールは、ＲＧＢ−Ｄ画像のＲＧＢ部分で複数の特別な関心点を特定する。さらに他の実施形態では、処理モジュールは、第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像のＲＧＢ部分を比較することによって特徴点の部分のピクセル速度を決定する。また、処理モジュールが、第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像の深度データを使用し、特徴点の決定されたピクセル速度を物理空間の速度に変換する実施形態もある。

ある実施形態では、処理モジュールは、ＲＧＢ画像でのコーナー検出のために、加速されたセグメントテストからの特徴（ＦＡＳＴ）アルゴリズムを使用して、１つ以上の特徴点を特定する。他の実施形態では、処理モジュールは、バイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用して、ＲＧＢ画像データにおける特徴記述子を特定する。また、ＲＧＢ画像データがＲＧＢ−Ｄ画像の部分である実施形態もある。

ある態様は、上述した実施形態のいずれか１つに関わるオプティカルフロー画像化システムを備える移動プラットフォームを含む。ある実施形態では、移動プラットフォームは無人航空機である。また、処理モジュールが、決定されたオプティカルフロー速度に基づいて移動プラットフォームをナビゲーションする実施形態もある。

本発明の実施形態に関わる、オプティカルフロー画像化システムの例を示す最上位図である。 本発明の実施形態に関わる、深度データをＲＧＢデータに結合する例を説明する図である。 本発明の他の実施形態に関わる、深度データをＲＧＢデータに結合する例を説明する図である。 １つのＲＧＢカメラシステムと１台の超音波深度センサを含む、図１に示すオプティカルフロー画像化システムの他の実施形態を示す正面図である。 図４に示すオプティカルフロー画像化システムにおける視野を説明する平面図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。 １つのＲＧＢカメラシステムと２台の超音波深度センサを含む、図１に示すオプティカルフロー画像化システムの他の実施形態を示す正面図である。 図７に示すオプティカルフロー画像化システムの視野を説明する平面図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。 複数のオプティカルフロー画像化システムを含むＲＧＢ−Ｄ画像化アセンブリの実施形態を示す図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。 画像取込み装置が静止したままである、第１の画像と第２の画像との間の回転円の２次元オプティカルフローの例を説明する図である。 静止球に対する画像取込み装置の回転により生じる２次元オプティカルフロー画像と３次元オプティカルフロー画像の例を説明する図である。 本発明の実施形態に従って物理空間でオプティカルフローを決定する方法のステップを示すフローチャートである。 本発明の実施形態に従ってピクセル距離におけるオプティカルフローを実際の距離におけるオプティカルフローに変換する方法のステップを示すフローチャートである。 図１に示すオプティカルフロー画像化システムを含む無人航空機（ＵＡＶ）の実施形態を示す図である。 ＵＡＶが複数のオプティカルフロー画像化システムを含む、図１６に示すＵＡＶの他の実施形態を示す図である。

図は正確な縮尺率ではないこと、及び類似する構造または機能の要素が図を通じて例示的な目的で類似した参照番号により概して表されることに留意する必要がある。図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意する必要がある。図は、説明された実施形態のあらゆる態様を説明するわけではなく、本開示の範囲を制限しない。

現在利用可能なオプティカルフロー画像化システムと方法は、太陽光の屋外等さまざまな動作状況では機能できない。従来のオプティカルフロー方法は、ピクセル空間の速度を提供するだけで、物理空間の速度を提供できない。よって、超音波深度（または距離）検出を含むオプティカルフロー画像化システムが所望される事実が示され、空間画像化、ナビゲーション、３次元マッピング等の広範囲の画像化用途の基礎となり得る。

従来のオプティカルフロー画像化システムとは対照的に、ビーム形成を使用する超音波アレイは、周囲光干渉にさらされることなく深度情報を含んだ３次元マップを取得できる。さらに、超音波センサは赤外線センサを使用し、オプティカルフローシステムより実質的に少ない電力を使用する。したがって、無人航空機（ＵＡＶ）等の可動プラットフォームまたは移動プラットフォームに望ましいことがある。これらの成果は、本明細書に開示する一実施形態に従って、図１に示すようなオプティカルフロー画像化システム１００によって達成できる。

図１において、オプティカルフロー画像化システム１００は、画像化装置１２０に操作可能に接続される超音波センサアレイ１１０、及び画像化装置１２０に操作可能に接続されるＲＧＢカメラアセンブリ１３０を含む。

様々な実施形態において、超音波センサアレイ１１０は、複数の行Ｒと列Ｃによって画定されるマトリックス１１４内の基板１１３上に配置される複数の超音波センサ１１２を含み得る。１つ以上の超音波エミッタ１１１は、超音波センサ１１２の行Ｒと列Ｃの間のマトリックス１１４の中の基板１１３上に配置できる。他の実施形態では、１つ以上の超音波エミッタ１１１は、オプティカルフロー画像化システム１００の回りの任意の適切な位置でマトリックス１１４の外部に配置できる。例えば、１つ以上の超音波エミッタ１１１は、同じ平行面またはマトリックス１１４から離れた平面に配置できる。

ある実施形態では、基板１１３は、単一の超音波エミッタ１１１または任意の適切な複数の超音波エミッタ１１１を含み得る。この超音波エミッタ１１１は、基板１１３上の任意の所望される構成または適切な構成で、配置あるいは配列される。また、基板１１３は、任意の適切な複数の超音波センサ１１２を含むこともあり得る。この超音波センサ１１２は、マトリックス１１４の構成であることもあれば、ないこともある任意の所望の構成または適切な構成で、配置あるいは配列される。様々な実施形態において、超音波センサアレイ１１０は、圧電変換器、容量性変換器、磁気歪み材料等を含み得る。したがって、様々な実施形態において、任意の適切な周波数の音波の伝達と検出の少なくとも一方を実現する任意の適切なアレイを制限なく利用できる。

カメラアセンブリ１３０は、レンズ１３１を含み得る。レンズ１３１は、光１３２の焦点を、ピクセル１３４の光検出アレイ（またはチップ）１３３上に合わせる。ピクセル１３４は、受光した光１３２を、本明細書で説明される画像を画定する信号に変換する。レンズ１３１は、デジタル一眼レフ（ＤＳＬＲ）レンズとして示されているが、任意の適切なタイプのレンズを使用できる。例えば、ある実施形態では、レンズ１３１はピンホールレンズ、生物学レンズ、単凸ガラスレンズ等を含んだ任意の適切なレンズ系を含み得る。さらに、様々な実施形態に関わるレンズは、マクロレンズ、ズームレンズ、望遠レンズ、魚眼レンズ、広角レンズ等を含んだ特定の画像化特性で構成できる。

カメラシステム１３０を使用して、可視スペクトルの光を検出し、その光から画像を生成できるが、ある実施形態では、カメラ１３０が、Ｘ線、赤外光、マイクロ波等を含んだ他の波長の光を検出するようにできる。さらに、カメラシステム１３０は、１つ以上のフィルターを含むことがある。例えば、カメラシステム１３０は、赤外線干渉が問題となる環境において、ＲＧＢ−Ｄシステムの動作に対して望ましい方法で、赤外波長を実質的に除外する赤外線カットフィルターを含み得る。他の例では、カメラシステム１３０は、赤外波長を除く実質的にすべての波長を除外する赤外線通過フィルターを含むことがあり、光検出アレイまたはチップ１３３は、赤外波長を検出できる。

カメラシステム１３０は、静止画像、ビデオ画像、及び３次元画像等のために使用することもできる。したがって、本発明に関わるカメラシステムは、本明細書において説明されたカメラシステム１３０に制限される、と解釈されるべきではない。

図１に示すように、画像化装置１２０は、プロセッサ１２１、メモリ１２２、及びディスプレイ１２３を含むことがある。カメラシステム１３０と超音波センサアレイ１１０は、画像化装置１２０に動作可能に接続され得る。よって、カメラシステム１３０と超音波センサアレイ１１０によって生成された画像（またはデータ）は、プロセッサ１２１によって処理されること、及び、メモリ１２２に記憶されること、の少なくとも一方が可能である。処理された画像はディスプレイ１２３に表示できる。

他の実施形態では、プロセッサ１２１、メモリ１２２、及びディスプレイ１２３のいずれも複数で存在すること、存在しないこと、の少なくとも一方があり得る。例えば、ある実施形態では、オプティカルフロー画像化システム１００はディスプレイ１２３を含まない。本明細書に説明される生成された画像は、このような画像を表示できる別のコンピューティング装置またはディスプレイに送信される。

ある実施形態では、カメラシステム１３０、画像化装置１２０、及び超音波センサアレイ１１０のいずれも任意の適切な複数で存在し得る。例えば、本明細書により詳細に説明され、図４に示すように、オプティカルフロー画像化システム１００の一実施形態１００Ａは、１つのカメラシステム１３０と１つの超音波センサアレイ１１０を含み得る。他の例では、本明細書により詳細に説明され、図７に示すように、オプティカルフロー画像化システム１００の一実施形態１００Ｂは、１つのカメラシステム１３０と２つの超音波センサアレイ１１０を含み得る。さらに、１つ以上のオプティカルフロー画像化システム１００は、図１６及び図１７に示すようにＵＡＶ１３００の上に配置され得る。

他の例では、本明細書により詳細に説明され、図１０と図１７に示されるように、３次元画像化システム８００は、それぞれが１つのカメラシステム１３０と１つ以上の超音波センサアレイ１１０を備える複数のオプティカルフロー画像化システム１００を含み得る。このような実施形態では、各オプティカルフロー画像化システム１００は、（図１に示される）個々の画像化装置１２０と関連付けられ得る。または各オプティカルフロー画像化システム１００は、中心のまたは共通の画像化装置１２０と関連付けられ得る。言い換えると、カメラシステム１３０と超音波センサアレイ１１０の関連付けられたセットは、以下の少なくとも１つが可能である。それぞれ画像化装置１２０に関連付けられること。中心のまたは共通の画像化装置１２０に動作可能に接続されること。

本明細書でさらに詳細に説明するように、オプティカルフロー画像化システム１００は、ＲＧＢ−Ｄ画像を生成できる。例えば、図１、図２、及び図３を参照すると、カメラシステム１３０は、赤値２１１Ｒ、緑値２１１Ｇ、及び青値２１１Ｂ、のピクセルアレイを含んだＲＧＢトリプレット画像２１０を生成できる。超音波センサアレイ１１０は、深度マップアレイ２２０を生成できる。また、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０は結合され、赤値２１１Ｒ、緑値２１１Ｇ、及び青値２１１Ｂ、並びに深度マップアレイ２２０のピクセルアレイを含むＲＧＢ−Ｄクワッド画像２３０を生成できる。したがって、ＲＧＢ−Ｄクワッド画像２３０の各ピクセルの位置は、超音波センサアレイ１１０またはオプティカルフロー画像化システム１００からの距離に対応する深度または距離の値（Ｄ）に加えて、赤値（Ｒ）、緑値（Ｇ）、及び青値（Ｂ）と関連付けられる。

ある実施形態では、図２に示すように、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０は、同じ解像度とサイズ（つまり、定められた画像サイズに対して、同数のピクセル）となり得る。このような実施形態では、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０は、図２に示すように、ともに結合され得る。

しかし、ある実施形態では、図３に示すように、ＲＧＢトリプレット画像２１０と深度マップアレイ３２０は、異なる解像度（つまり、定められた画像サイズの場合、異なる数のピクセル）となり得る。例えば、深度マップアレイ３２０はＮ２ｘＭ２の画像サイズで４ｘ４ピクセルであるのに対し、図３の赤値２１１Ｒ、緑値２１１Ｇ、及び青値２１１Ｂ、は、Ｎ１ｘＭ１の画像サイズで８ｘ８ピクセルである。Ｎ１＝Ｎ２及びＭ１＝Ｍ２の実施形態で、ＲＧＢトリプレット画像２１０及び深度マップアレイ３２０の少なくとも一方は、結合のために修正され、ＲＧＢ−Ｄクワッド画像２３０を形成できる。図３に示す例では、深度マップアレイ３２０はＮ３ｘＭ３の画像サイズで８ｘ８ピクセルにアップサンプリングできる。結果として、より低い解像度の深度マップアレイ３２０のピクセル３２１の距離値は、ＲＧＢ−Ｄクワッド画像２３０に存在するアップサンプリングされた深度マップアレイ３４０に存在する４個のピクセルの強調表示されたセット３２３のピクセル３２２と関連して使用される。

この例で、より低い解像度４ｘ４の深度マップアレイ３２０をより高い解像度８ｘ８の深度マップアレイ３４０にアップサンプリングすると、ピクセル３２１を明確に４個のピクセル３２３に分割できるならば明確なアップサンプリングが生じる。しかし、他の実施形態では、より低い解像度の深度マップアレイ３２０の変換には、アップサンプリング（例えば、４ｘ４画像の１１ｘ１１画像へのアップサンプリング等）中に特定のピクセルの補間が必要になり得る。このような実施形態では、任意の適切な補間方法が使用できる。補間方法は例えば、最近傍補間、双一次補間、双三次補間、双三次のより滑らかな補間、双三次のより鋭い補間等を含み得る。

ある実施形態では、距離値の補間は距離値に基づくことがある。言い換えると、補間は、より小さい差異に比較してより大きい距離の場合、異なるように処理できる。例えば、距離値が、物体が遠い背景（例えば、山、雲）にあることを示す場合、補間は前景の物体またはオプティカルフロー画像化システム１００に近い物体と比較して異なることがある。ある実施形態では、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０の少なくとも一方は再サンプリングされ得る。ＲＧＢトリプレット画像２１０と深度マップアレイ２２０の少なくとも一方の再サンプリング方法は、距離値に基づくことがある。

ある実施形態は、Ｎ１＝Ｎ２及びＭ１＝Ｍ２の場合、ＲＧＢトリプレット画像２１０及び深度マップアレイ３２０を含むが、他の実施形態では、ＲＧＢトリプレット画像２１０及び深度マップアレイ３２０は異なるサイズであり得る。例えば、ある実施形態では、ＲＧＢトリプレット画像２１０は、深度マップアレイ３２０よりも大きいことがある。他の実施形態では、ＲＧＢトリプレット画像２１０は深度マップアレイ３２０よりも小さいことがある。さらに、Ｍ３／Ｎ３の比率がＭ１／Ｎ１の比率及びＭ２／Ｎ２の比率と異なる実施形態があり得るが、Ｍ３／Ｎ３の比率はＭ１／Ｎ１の比率とＭ２／Ｎ２の少なくとも一方の比率と同じである場合もあり得る。

オプティカルフロー画像化システム１００は多様で適切な方法で具現化できる。例えば、図４に示すように、一実施形態１００Ａは、筐体４０１上に配置された超音波センサアレイ１１０とカメラシステム１３０を含む。図４において、（図１に示される）画像化装置１２０は、筐体４０１内及び筐体４０１上の少なくとも一方に配置できる。例えば、（図１に示される）プロセッサ１２１と（図１に示される）メモリ１２２は、筐体４０１内部の適切な場所に配置でき、（図１に示される）ディスプレイ１２３は、筐体４０１の適切な部分に配置できる。

図５は、図４に示すオプティカルフロー画像化システムにおける視野を説明する平面図である。図４と図５に示すように、超音波センサアレイ１１０と感光性画像化チップ１３３は、筐体４０１上の共通面及び平行面の少なくとも一方に並べて配置できる。好ましい実施形態では、超音波センサアレイ１１０と感光性画像化チップ１３３は、１０ｃｍ以下の距離で隔てられる。本明細書において使用される用語、「共通面」と「平行面」は同義語となることを意図しているのではなく、これらの用語は区別できることを意図している。

超音波センサアレイ１１０は、端縁４１１Ａ、４１１Ｂで画定された視野４１３を有し得る。感光性画像化チップ１３３は、端縁４１２Ａ、４１２Ｂで画定された視野４１４を有し得る。図５に示すように、視野４１３、４１４はオフセットされ得る。言い換えると、筐体上の画像化チップ１３３と超音波センサアレイ１１０の物理的距離のため、感光性画像化チップ１３３及び超音波センサアレイ１１０によって生成された画像は厳密に同じではない可能性がある。この例の実施形態では、視野４１３、４１４は表面４１０に対して図示されており、重複部分４１５と、視野が重複していないそれぞれのオフセット４２０Ａ、４２０Ｂを含む。より詳細には、オフセット４２０Ａが感光性チップの視野４１３内に存在するが、超音波センサアレイの視野４１４内には存在しない。対して、オフセット４２０Ｂは、超音波センサアレイの視野４１４内に存在するが、感光性画像化チップの視野４１３には存在しない。

重複部分４１５は、多様で適切な方法によって、特定または決定の少なくとも一方がなされる。例えば、ある実施形態では、重複部分４１５のサイズは既知であって（または仮定されて）よく、非重複部分４２０は既知の（または仮定された）サイズに基づいて自動的にトリミングできる。他の実施形態では、画像は任意の適切なマシンビジョンまたは画像処理の少なくとも一方の方法によって位置合わせされる。例えば、加速されたセグメントテストからの特徴アルゴリズム（ＦＡＳＴアルゴリズム）を画像内でコーナー検出のために使用して、１つ以上の特徴点を特定できる。バイナリロバスト独立要素特徴アルゴリズム（ＢＲＩＥＦアルゴリズム）を使用して、画像の特徴記述子を特定できる。２つの画像の特定された記述子間のハミング距離を使用して、第１の画像と第２の画像の重複部分を特定できる。

したがって、画像化チップ１３３と超音波センサアレイ１１０によって生成されたそれぞれの画像及び距離マップは、互いに一致しない部分を含み得る。このことは、これらの画像と距離マップを結合し、ＲＧＢ−Ｄ画像を形成するときに望ましくないことがある。言い換えると、ＲＧＢ−Ｄ画像が所与のピクセルで距離値を正確に示すためには、画像と距離マップは正しい距離値が正しいＲＧＢピクセルに対応するように位置合わせされる必要があり得る。ある実施形態では、オフセット距離とオフセット４２０Ａ、４２０Ｂは無視できると見なされ得、画像と距離マップは位置合わせされ得ない。オフセット距離が実質的に一定である他の実施形態では、画像と距離マップは既知の（または定められた）距離に基づいて位置合わせできる。例えば、センサアレイ１１０と感光性画像化チップ１３３が平行面に配置される実施形態では、センサアレイ１１０と感光性画像化チップ１３３との間の幾何学的距離は、位置合わせに使用される既知の距離または定められた距離に含まれ得る。同様に、センサアレイ１１０と感光性画像化チップ１３３が共通平面に配置される場合、センサアレイ１１０と感光性画像化チップ１３３との間の幾何学的な距離は、位置合わせに使用される既知の距離または定められた距離に含まれ得る。

しかしながら、オフセット距離が（例えば、被写体の物体の画像化システム１００からの距離、環境条件等のために）変わる場合、位置合わせは距離マップの距離値に基づいて実行できる。ある実施形態では、オフセットは距離に基づいて変化し、視野内の関心のある物体を特定し、画像と距離マップを最適化することが望ましいことがある。この場合、関心のある物体はより正確に位置合わせされる。例えば、１メートルの距離にある前景物体が関心のある物体であり、２０メートル以上離れた背景物体はあまり重要ではないという決定がなされ得る。したがって、位置合わせは、２０メートルの距離ではなく１メートルの距離に対して最適化される。その結果、前景オブジェクトに対応する距離データは、より正確であり、背景距離データに比較して位置合わせされる。

任意の適切な方法を用いて、多様な設定（例えば、接写、中間距離、遠い、人、景色等）に基づいて、関心のある物体を決定し得る。このような関心のある物体は、適切なマシンビジョン及び人工知能の少なくとも１つの方法等に基づいて特定できる。また、画像と距離マップの位置合わせは、特徴検出アルゴリズム、特徴抽出アルゴリズム抽出、特徴一致アルゴリズム、の少なくとも１つを使用して行い得る。この方法は、例えば、ＲＡＮＳＡＣ（ランダムサンプルコンセンサス）、Ｓｈｉ＆Ｔｏｍａｓｉコーナー検出、ＳＵＲＦブロブ検出（加速ロバスト特徴）、ＭＳＥＲブロブ検出（最大安定極値領域）、ＳＵＲＦ記述子（加速ロバスト特徴）、ＳＩＦＴ記述子（スケール不変特徴変換）、ＦＲＥＡＫ記述子（高速網膜キーポイント）、ＢＲＩＳＫ検出器（バイナリロボスと不変スケーラブルキーポイント）、ＨＯＧ記述子（配向傾きのヒストグラム）等がある。

様々な実施形態では、互いに一致しない画像と距離マップの少なくとも一方の部分をトリミングすることが望ましいことがある。例えば、図５に示すように、物体４１０を取り込んだ画像の場合、部分４２０Ａ、４２０Ｂを、それぞれの画像と距離マップからトリミングして、重複部分４１５を残すことができる。

図６は、本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法５００のステップを示すフローチャートである。方法５００は、ＲＧＢ画像データを（図１と図４に示される）ＲＧＢカメラアセンブリ１３０から受け取るステップ５１０で始まる。ステップ５２０で、深度マップデータをＲＧＢ画像データの部分に対応する（図１と図４に示される）超音波アレイ１１０から受け取る。

ステップ５３０で、ＲＧＢ画像データと深度マップデータを位置合わせする。ステップ５４０で、深度マップデータに対応しないＲＧＢ画像データの部分をトリミングする。ステップ５５０で、ＲＧＢデータに対応しない深度マップデータの部分をトリミングする。ステップ５６０で、深度マップデータをアップサンプリングして、ＲＧＢ画像データの解像度に一致させる。ステップ５７０で、対応する深度マップデータとＲＧＢ画像データを結合し、ＲＧＢ−Ｄ画像を生成する。

図７において、オプティカルフロー画像化システム１００の他の実施形態１００Ｂが示されている。実施形態１００Ｂは、筐体６０１に配置された第１の超音波センサアレイと第２の超音波センサアレイ１１０Ａ、１１０Ｂ、及びカメラシステム１３０を含む。（図１に示される）画像化装置１２０は、筐体６０１内及び筐体６０１上の少なくとも一方に配置できる。例えば、（図１に示される）プロセッサ１２１と（図１に示される）メモリ１２２は、筐体６０１の中に配置でき、（図１に示される）ディスプレイ１２３は筐体６０１の適切な部分に配置できる。

図７と図８に示すように、超音波センサアレイ１１０と感光性画像化チップ１３３は、感光性画像化チップ１３３が第１の超音波アレイと第２の超音波アレイ１１０Ａ、１１０Ｂの間に配置された線形構成で、筐体４０１上の平行面または共通面に並んで配置できる。好ましい実施形態では、感光性画像化チップ１３３は、１０ｃｍ以下の距離でそれぞれの超音波センサアレイ１１０から隔てられる。

図５に関して上記に詳細に説明した方法において、超音波センサアレイ１１０Ａ、１１０Ｂはそれぞれ端縁６１１Ｃ、６１１Ｄ、及び６１１Ａ、６１１Ｂによって画定された視野６１３Ａ、６１３Ｂを有し得る。感光性画像化チップ１３３は、端縁６１２Ａ、６１２Ｂによって画定された視野６１４を有し得る。図８に示すように、視野６１３Ａ、６１３Ｂ、６１４はオフセットされ得る。言い換えると、感光性画像化チップ１３３と超音波センサアレイ１１０によって生成される画像は、筐体６０１上の画像化チップ１３３と超音波センサアレイ１１０の物理的な距離のため、厳密には同じではない可能性がある。この例の実施形態では、視野６１３Ａ、６１３Ｂ、６１４は、表面６１０に対して示され、重複部分６１５と、視野６１３Ａ、６１３Ｂ、６１４が重複していないオフセット部分６２０Ａ、６２０Ｂを含む。すなわち、重複部分６１５は画像化チップの視野６１４からの対応する画像データと、アレイの視野６１３Ａ、６１３Ｂの一方または両方からの深度マップデータを含むのに対し、オフセット６２０Ａもオフセット６２０Ｂも感光性画像化チップの視野６１４には存在していない。

図９は、本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法７００のステップを示すフローチャートである。方法７００は、（図１と図７に示される）ＲＧＢカメラアセンブリ１３０からＲＧＢ画像データを受け取るステップ７１０で始まる。ステップ７２０で、ＲＧＢ画像データの部分に対応する（図１と図４に示される）第１の超音波アレイ１１０Ａから、第１の深度マップデータセットを受け取る。ステップ７３０で、ＲＧＢ画像データの部分に対応する（図１と図７に示される）第２の超音波アレイ１１０Ａから、第２の深度マップデータセットを受け取る。

ステップ７４０で、ＲＧＢ画像データと深度マップデータを互いに位置合わせする。ステップ７５０で、ＲＧＢ画像データに対応しない深度マップデータセットの部分をトリミングする。ステップ７６０で、深度マップデータセットをアップサンプリングして、ＲＧＢ画像データの解像度に一致させる。したがって、様々な実施形態では、第１の深度マップデータセットと第２の深度マップデータセットの内の一方または両方は、ＲＧＢ画像データの解像度よりも低い解像度となる。ステップ７７０で、対応する深度マップデータセットとＲＧＢ画像データを結合し、ＲＧＢ−Ｄ画像を生成する。

図１０は、筐体８０１のそれぞれの面８０２に配置される複数のオプティカルフロー画像化システム１００を含むＲＧＢ−Ｄ画像化アセンブリ８００の実施形態を示す図である。図１０において、実施形態８００は、８つの面８０２のそれぞれに画像化システム１００が配置された、八角形の筐体８０１として示されているが、これは説明のための１例にすぎない。従って、ＲＧＢ−Ｄ画像化アセンブリ８００は、任意の適切な数の面８０２及び任意の適切な数の画像化システム１００の少なくとも一方を含み得る。同様に、図１７に示すように、複数の画像化システム１００はＵＡＶ１３００上に配置できる。

異なる平面に複数の画像化システム１００を配置することが望ましい場合がある。なぜなら、複数の画像化システム１００によって、複数のＲＧＢ画像データと複数の距離マップデータの合成物である、パノラマ画像及び３次元ＲＧＢ−Ｄ画像の少なくとも一方の生成が可能になるためである。また、図１０において、ＲＧＢ−Ｄ画像化アセンブリ８００に備えられる画像化システム１００が、共通平面または平行面での共通の高さに配置されている例を示しているが、これは説明だけを目的とするためである。従って、ＲＧＢ−Ｄ画像化アセンブリ８００は、規則正しい多面体及び不規則な多面体の少なくとも一方等を含み得る筐体を含むことがある。

図１１は、本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法９００のステップを示すフローチャートである。方法９００は、複数のＲＧＢ画像のそれぞれを（図１に示される）ＲＧＢカメラアセンブリ１３０のそれぞれから受け取るステップ９１０で始まる。ステップ９２０で、複数の深度マップセットそれぞれを、ＲＧＢカメラアセンブリ１３０の内の１つと関連付けられる（図１に示される）複数の超音波アレイ１１０から受け取る。ステップ９３０で、ＲＧＢ画像と深度マップデータセットを位置合わせする。ステップ９４０で、深度マップデータセットに対応しないＲＧＢ画像をトリミングする。ステップ９５０で、ＲＧＢ画像に対応しない深度マップデータセットの部分をトリミングする。ステップ９６０で、深度マップデータセットをアップサンプリングして、ＲＧＢ画像の解像度に一致させる。ステップ９７０で、対応する深度マップデータセットとＲＧＢ画像を結合し、連続的なＲＧＢ−Ｄ画像を生成する。

図１２と図１３において、オプティカルフローは、物体、表面、及び一連の画像の端縁の見かけの運動のパターンであることが示されている。このパターンは、カメラアセンブリ１３０及び超音波センサアレイ１１０の少なくとも一方の間の相対運動によって引き起こされる。例えば、図１２において、ともに円１０１１を含む第１の画像１０１０と第２の画像１０２０が示されている。画像１０１０、１０２０は、静止しているカメラによって撮影されている。第１の画像１０１０では、円１０１１は第１の位置にあり、第２の画像１０２０では、円１０１１は第１の画像１０１０に対して右回りに回転する第２の位置にある。第１の画像と第２の画像との間のオプティカルフローを示すオプティカルフロー画像１０３０は、第１の画像１０１０から第２の画像１０２０への円１０１１の見かけの運動を示す複数のベクトル矢印１０３１を示す。ここでは、円だけしか回転していないため、ベクトル矢印は円の見かけの運動だけを示す。反対に、カメラは図１２の例では静止しているため、背景では運動は明らかではない。

しかし、図１３に示されるように、球体１０４１が静止しているが、観察カメラが、イラスト１０４０に示されるように軸１０４２を中心に球体１０４１に対して右回りに回転すると仮定する。結果として生じる球体１０４１の３次元オプティカルフローであるイラスト１０５０は、複数のベクトル矢印１０５２によって示される。同様に、２次元オプティカルフローであるイラスト１０６０も複数のベクトル矢印１０６１によって示される。

しかし、連続画像を比較することによってオプティカルフローを計算することは、実際の距離に関してではなく、ピクセルに関してだけオプティカルフローベクトルを提供するにすぎないことがある。ピクセルに関するオプティカルフロー速度は、画像で相対的なオプティカルフローを決定するために役立つことがある。しかし、このようなオプティカルフロー測定は、現実の世界の環境の中での場面が望まれるときには限られた値を有する。したがって、様々な実施形態においては、ピクセルに関してのオプティカルフロー速度は、（図１に示される）超音波アレイ１１０によって取得された深度データによる実際の距離のオプティカルフロー速度に変換される。

例えば、図１４は、本発明の実施形態に従って物理空間でオプティカルフローを決定する方法１１００のステップを示すフローチャートである。方法１１００は、第１のＲＧＢ−Ｄ画像を取得するステップ１１１０で始まる。ＲＧＢ−Ｄ画像を、本明細書で説明されるように生成するか、任意の他の適切なＲＧＢ−Ｄ画像生成方法またはシステムによって生成するか、の少なくとも一方が可能である。

ステップ１１２０で、複数の特徴点を第１のＲＧＢ−Ｄ画像において特定する。例えば、ある実施形態では、加速されたセグメントテストからの特徴アルゴリズム（ＦＡＳＴアルゴリズム）を第１の画像におけるコーナー検出に使用して、１つ以上の特徴点を特定できる。バイナリロバスト独立要素特徴アルゴリズム（ＢＲＩＥＦアルゴリズム）を使用して、画像の特徴記述子を特定できる。

ステップ１１３０で、第２のＲＧＢ−Ｄ画像を取得する。また、ＲＧＢ−Ｄ画像を、本明細書で説明されるように生成するか、任意の他の適切なＲＧＢ−Ｄ生成方法またはシステムによって生成するか、の少なくとも一方が可能である。

ステップ１１４０で、特徴点の部分のピクセル速度を、第１の画像１０１０と第２の画像１０２０のＲＧＢ部分を比較することによって決定する。言い換えると、特徴点の移動は、画像１０１０、１０２０の間で特徴点を追跡し、第１の画像１０１０と第２の画像１０２０との間で特徴点が移動するピクセル距離を測定することによって特定できる。このようなオプティカルフロー計算は、位相相関方法、ステップベース方法、差動法、離散最適化方法等を含んだ任意の適切な方法で実行できる。

ステップ１１５０で、特徴点のピクセル速度を、特徴点でのピクセル位置と関連付けられた深度データを使用して物理的空間の速度に変換する。

例えば、図１５は、ピクセル速度を、ピクセル空間で第１の位置１２０１から第２の位置１２０２に移動する特徴のための物理空間の速度に変換するために、ＲＧＢ−Ｄ画像の深度データを使用できる、１つの方法のステップを示すフローチャートである。図１５において、Ｖは物理空間の速度であり、ｕは画像上のピクセル速度であり、ｈは超音波アレイによって測定された物体のためのピクセル点での距離であり、Ｆはカメラヘッド１２１０の焦点距離である。相似三角形の原理に基づいて、Ｖ／ｕ＝ｈ／Ｆである。したがって、Ｖ＝ｕ^＊ｈ／Ｆであり、これが物理空間の速度を示す。

様々な実施形態では、物理空間でのオプティカルフローは、リアルタイムで、または取り込まれたビデオもしくは一連の画像に基づいた遅延を用いて決定できる。したがって、上述した例は、第１の画像と第２の画像を比較することによって物理空間でのオプティカルフローを決定することを示すが、物理空間でのオプティカルフローは、第１の画像と第２の画像との間、第２の画像と第３の画像との間、第３の画像と第４の画像との間、第４の画像と第５の画像との間等で決定できる。

様々な実施形態では、物理空間で計算されたオプティカルフローは、多様で適切な方法且つ所望の方法で使用できる。ある実施形態では、オプティカルフローデータは３Ｄモデリング、または（図１６と図１７に示される）無人航空機１３００（ＵＡＶ）等の可動プラットフォームによるナビゲーションに使用できる。例えば、物理空間でのオプティカルフローデータは、ＧＰＳまたは他の位置決めシステムの代替、ＧＰＳまたは他の位置決めシステムの増補、の少なくとも一方ができる位置決めに使用できる。したがって、本明細書で説明するいずれの方法も、以下の少なくとも一つが可能である。非一時的記憶媒体等の任意の従来の記憶媒体に記憶された一連の命令として記憶できるソフトウェア製品により実現される。（図１に示される）プロセッサ１２１または他の適切な動作環境上で操作可能に実行される。

本明細書において詳細に説明した本発明に関わる実施形態は、多様な修正形態及び代替形式を許容するものであり、その特定の例が図面中に一例として示されている。しかし、説明されている実施形態が、開示されている特定の形式または方法に制限されることはなく、逆に本開示が本発明に関わるすべての修正形態、均等物及び代替物を網羅することを理解されたい。

ある実施形態では、この方法は、ビーム形成を介して超音波アレイから受け取られる深度マップデータを処理することも含む。他の実施形態では、第１の深度マップデータセットと第２の深度マップデータセットは、ＲＧＢ画像データの解像度よりも低い解像度となる。また、この方法は、ＲＧＢ画像データの解像度に等しいより高い解像度まで深度マップデータをアップサンプリングすることを含む場合もある。また、この方法は、ＲＧＢデータから特徴記述子を特定するためにバイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用することを含む場合もある。

ある実施形態では、深度センサは超音波エミッタと複数の超音波センサを有する第１の超音波センサアレイを含む。他の実施形態では、第１の超音波センサアレイは筐体上に配置され得る。また、第１の超音波アレイと感光性画像化チップは、筐体上の平行面に配置される場合もある。

ある実施形態は、複数の対にされた超音波センサアレイを含む。超音波センサアレイは、それぞれの対が異なる平行面に配置されている。他の実施形態では、ＲＧＢカメラアセンブリは赤外線カットフィルターまたは赤外線通過フィルターを含む。

ある実施形態では、処理モジュールは、ＲＧＢ−Ｄ画像のＲＧＢ部分で複数の特別な関心点を特定する。さらに他の実施形態では、処理モジュールが、第１のＲＧＢ−Ｄ画像と第２のＲＧＢ−Ｄ画像の深度データを使用し、特徴点の決定されたピクセル速度を物理空間の速度に変換する実施形態もある。

ある実施形態では、処理モジュールは、ＲＧＢ画像でのコーナー検出のために、加速されたセグメントテストからの特徴（ＦＡＳＴ）アルゴリズムを使用して、１つ以上の特徴点を特定する。他の実施形態では、処理モジュールは、バイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用して、ＲＧＢ画像データにおける特徴記述子を特定する。

Claims (61)

1. 物理空間の複数の特徴点のオプティカルフロー速度を決定するステップ、を含み、
   前記特徴点は、ＲＧＢ画像データで特定され、
   前記特徴点と関連付けられた深度データを使用して、物理空間でユニットを取得する、
   物理空間のオプティカルフローを決定する方法。
2. 前記深度データは、前記特徴点のそれぞれの各距離値を示す、
   請求項１に記載の方法。
3. 物理空間でオプティカルフロー速度を前記決定するステップは、
   特徴点ごとにピクセル速度を決定するステップと、
   前記深度データ及び前記ピクセル速度を使用し、各特徴点の物理速度を決定するステップと、
   を含む、
   請求項１または請求項２に記載の方法。
4. 物理的対象と関連付けられた１つ以上の特徴点の決定された物理速度を使用し、前記ＲＧＢ画像に示される前記物理的対象の速度を決定するステップ、
   をさらに含む、
   請求項１から３のいずれか１項に記載の方法。
5. 前記ＲＧＢ画像データは、ＲＧＢカメラによって取得される、
   請求項１から４のいずれか１項に記載の方法。
6. 前記深度データは、距離センサによって取得される、
   請求項１から５のいずれか１項に記載の方法。
7. ＲＧＢカメラアセンブリ及び第１の超音波アレイを使用し、第１のＲＧＢ−Ｄ画像を生成するステップをさらに含む、
   請求項１から６のいずれか１項に記載の方法。
8. 前記第１のＲＧＢ−Ｄ画像のＲＧＢ部分で前記複数の特徴点を特定するステップをさらに含む、
   請求項７に記載の方法。
9. 前記ＲＧＢカメラアセンブリ及び前記第１の超音波アレイを使用し、第２のＲＧＢ−Ｄ画像を生成するステップをさらに含む、
   請求項８に記載の方法。
10. 前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の前記ＲＧＢ部分を比較することによって前記特徴点の部分のピクセル速度を決定するステップをさらに含む、
    請求項９に記載の方法。
11. 前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の深度データを使用し、前記特徴点の前記部分の決定されたピクセル速度を物理空間の速度に変換するステップをさらに含む、
    請求項１０に記載の方法。
12. 前記ＲＧＢ画像データ及び前記深度データを位置合わせするステップをさらに含む、
    請求項１から１１のいずれか１項に記載の方法。
13. 前記深度データをトリミングするステップをさらに含む、
    請求項１から１２のいずれか１項に記載の方法。
14. 前記深度データを前記トリミングするステップは、前記ＲＧＢ画像データに対応しない前記深度データの第１の部分をトリミングするステップを含む、
    請求項１３に記載の方法。
15. ＲＧＢカメラアセンブリからＲＧＢ画像データを受け取るステップと、
    前記ＲＧＢ画像データの第１の部分に対応する第１の深度マップデータセットを第１の超音波アレイから受け取るステップと、
    前記ＲＧＢ画像データの第２の部分に対応する第２の深度マップデータセットを第２の超音波アレイから受け取るステップと、
    第１のＲＧＢ−Ｄ画像を生成するために前記対応する深度マップデータセット及びＲＧＢ画像データを結合するステップと、
    をさらに含む、
    請求項１から１４のいずれか１項に記載の方法。
16. 前記ＲＧＢ画像データ並びに前記第１の深度マップデータセット及び前記第２の深度マップデータセットを位置合わせするステップをさらに含む、
    請求項１５に記載の方法。
17. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットをトリミングするステップをさらに含む、
    請求項１５または１６に記載の方法。
18. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットを前記トリミングするステップは、
    前記ＲＧＢ画像データに対応しない前記第１の深度マップデータセットの第１の部分をトリミングするステップと、
    前記ＲＧＢ画像データに対応しない前記第２の深度マップデータセットの第２の部分をトリミングするステップと、
    を含む、
    請求項１７に記載の方法。
19. ビーム形成を介して前記超音波アレイから受け取る深度マップデータを処理するステップをさらに含む、
    請求項１８に記載の方法。
20. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットは、
    前記ＲＧＢ画像データの解像度よりも低い解像度を有する、
    請求項１９に記載の方法。
21. 前記深度マップデータを、前記ＲＧＢ画像データの前記解像度に等しく、より高い解像度にアップサンプリングするステップをさらに含む、
    請求項１から２０のいずれか１項に記載の方法。
22. 前記ＲＧＢデータにおけるコーナー検出のために、加速されたセグメントテストからの特徴（ＦＡＳＴ）アルゴリズムを使用し、前記特徴点の内の１つ以上を特定するステップをさらに含む、
    請求項１から２１のいずれか１項に記載の方法。
23. バイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用し、１つ以上の前記特徴点と関連付けられた前記ＲＧＢデータの特徴記述子を特定するステップをさらに含む、
    請求項１から２２のいずれか１項に記載の方法。
24. 物理空間でオプティカルフローを決定するコンピュータプログラム製品において、
    前記コンピュータプログラム製品は、非一時的機械可読記憶媒体において符号化され、
    第１のＲＧＢ−Ｄ画像を生成する命令と、
    前記第１のＲＧＢ−Ｄ画像のＲＧＢ部分で複数の特徴点を特定する命令と、
    第２のＲＧＢ−Ｄ画像を生成する命令と、
    前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の前記ＲＧＢ部分を比較することにより、前記特徴点の部分のピクセル速度を決定する命令と、
    前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の深度データを使用し、前記特徴点の前記部分の決定されたピクセル速度を物理空間の速度に変換する命令と、
    を備える、
    ことを特徴とする、コンピュータプログラム製品。
25. 第１の超音波センサアレイと、
    赤、緑、青（ＲＧＢ）カメラと、
    物理空間の複数の特徴点のオプティカルフロー速度を決定する処理モジュールと、
    を備え、
    前記特徴点は、ＲＧＢ画像データで特定され、
    前記特徴点と関連付けられた前記深度データを使用して、物理空間でユニットを取得する、
    ことを特徴とする、オプティカルフロー画像化システム。
26. 距離センサと、
    感光性画像化チップ及びレンズを備え、第１の超音波センサアレイに操作可能に接続される、赤、緑、青（ＲＧＢ）カメラアセンブリと、
    物理空間の複数の特徴点のオプティカルフロー速度を決定する処理モジュールと、
    を備え、
    前記特徴点は、ＲＧＢ画像データで特定され、
    前記特徴点と関連付けられた深度データを使用して、物理空間でユニットを取得する、
    ことを特徴とする、オプティカルフロー画像化システム。
27. 筐体をさらに備え、
    前記距離センサ及び前記ＲＧＢカメラアセンブリは、前記筐体上に配置される、
    ことを特徴とする、請求項２６に記載のオプティカルフロー画像化システム。
28. 前記距離センサ及び前記感光性画像化チップは、前記筐体上の平行面に配置される、
    ことを特徴とする、請求項２６または２７に記載のオプティカルフロー画像化システム。
29. 前記距離センサ及び前記感光性画像化チップは、１０ｃｍ以下の距離で前記筐体上の平行面に配置される、
    ことを特徴とする、請求項２６から２８のいずれか１項に記載のオプティカル画像化システム。
30. 前記距離センサは、第１の超音波センサアレイを備える、
    ことを特徴とする、請求項２６から２９のいずれか１項に記載のオプティカルフロー画像化システム。
31. 前記第１の超音波センサアレイは、
    超音波エミッタと、
    複数の超音波センサと、
    を備える、
    ことを特徴とする、請求項３０に記載のオプティカルフロー画像化システム。
32. 前記超音波センサは、行及び列を有するマトリックス構成で基板上に配置され、
    前記超音波エミッタは、前記行と前記列との間の前記マトリックス構成の中に配置される、
    ことを特徴とする、請求項３１に記載のオプティカルフロー画像化システム。
33. 前記処理モジュールは、
    前記筐体の中に配置され、前記第１の超音波センサアレイ及び前記ＲＧＢカメラアセンブリに操作可能に接続されたプロセッサ及びメモリを備える、
    ことを特徴とする、請求項２７から３２のいずか１項に記載のオプティカルフロー画像化システム。
34. 前記筐体上に配置されるディスプレイをさらに備える、
    ことを特徴とする、請求項２７から３３のいずれか１項に記載のオプティカルフロー画像化システム。
35. 前記距離センサは、
    それぞれの対が異なる平行面に配置された複数の対にされた超音波センサアレイを備える、
    ことを特徴とする、請求項２６から３４のいずれか１項に記載のオプティカルフロー画像化システム。
36. 前記ＲＧＢカメラアセンブリは、赤外線カットフィルターを備える、
    ことを特徴とする、請求項２６から３５のいずれか１項に記載のオプティカルフロー画像化システム。
37. 前記ＲＧＢカメラアセンブリは、赤外線通過フィルターを備え、
    前記感光性画像化チップは、赤外線光を検出する、
    ことを特徴とする、請求項２６から３６のいずれか１項に記載のオプティカルフロー画像化システム。
38. 前記処理モジュールは、ＲＧＢ−Ｄ画像のＲＧＢ部分の複数の特徴点を特定する、
    ことを特徴とする、請求項２６から３７のいずれか１項に記載のオプティカルフロー画像化システム。
39. 前記処理モジュールは、前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の前記ＲＧＢ部分を比較することによって前記特徴点の部分のピクセル速度を決定する、
    ことを特徴とする、請求項３８に記載のオプティカルフロー画像化システム。
40. 前記処理モジュールは、前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の深度データを使用し、前記特徴点の前記部分の決定されたピクセル速度を物理空間の速度に変換する、
    ことを特徴とする、請求項３９に記載のオプティカルフロー画像化システム。
41. 前記処理モジュールは、１つ以上の特徴点を特定するためにＲＧＢ画像データでのコーナー検出に加速されたセグメントテストからの特徴（ＦＡＳＴ）アルゴリズムを使用する、
    ことを特徴とする、請求項２６から４０のいずれか１項に記載のオプティカルフロー画像化システム。
42. 前記処理モジュールは、前記特徴点と関連付けられたＲＧＢ画像データで特徴記述子を特定するためにバイナリロバスト独立要素特徴（ＢＲＩＥＦ）アルゴリズムを使用する、
    ことを特徴とする、請求項２６から４１のいずれか１項に記載のオプティカルフロー画像化システム。
43. 前記処理モジュールは、
    各特徴点にピクセル速度を決定することと、
    前記深度データ及び前記ピクセル速度を使用し、各特徴ポイントの物理速度を決定すること、
    によって、物理空間でオプティカルフロー速度を決定する、
    ことを特徴とする、請求項２６から４２のいずれか１項に記載のオプティカルフロー画像化システム。
44. 前記処理モジュールは、
    物理的対象と関連付けられた１つ以上の特徴点の決定された物理速度を使用し、前記ＲＧＢ画像データに示される前記物理的対象の速度を決定する、
    ことを特徴とする、請求項２６から４３のいずれか１項に記載のオプティカルフロー画像化システム。
45. 前記処理モジュールは、
    ＲＧＢカメラアセンブリ及び第１の超音波アレイを使用して第１のＲＧＢ−Ｄ画像を生成する、
    ことを特徴とする、請求項２６から４４のいずれか１項に記載のオプティカルフロー画像化システム。
46. 前記処理モジュールは、
    前記第１のＲＧＢ−Ｄ画像のＲＧＢ部分の複数の特徴点を特定する、
    ことを特徴とする、請求項４５に記載のオプティカルフロー画像化システム。
47. 前記処理モジュールは、
    前記ＲＧＢカメラアセンブリ及び前記距離センサを使用して第２のＲＧＢ−Ｄ画像を生成する、
    ことを特徴とする、請求項４６に記載のオプティカルフロー画像化システム。
48. 前記処理モジュールは、
    前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像の前記ＲＧＢ部分を比較することによって前記特徴点の部分のピクセル速度を決定する、
    ことを特徴とする、請求項４７に記載のオプティカルフロー画像化システム。
49. 前記処理モジュールは、
    前記第１のＲＧＢ−Ｄ画像及び前記第２のＲＧＢ−Ｄ画像データの深度データを使用して前記特徴点の前記部分の決定されたピクセル速度を物理空間の速度に変換する、
    ことを特徴とする、請求項４８に記載のオプティカルフロー画像化システム。
50. 前記処理モジュールは、
    前記ＲＧＢ画像データ及び前記深度データを位置合わせする、
    ことを特徴とする、請求項２６から４９のいずか１項に記載のオプティカルフロー画像化システム。
51. 前記処理モジュールは、
    前記深度データをトリミングする、
    ことを特徴とする、請求項２６から５０のいずれか１項に記載のオプティカルフロー画像化システム。
52. 前記処理モジュールは、
    ＲＧＢカメラアセンブリからＲＧＢ画像データを受け取る、
    前記ＲＧＢ画像データの第１の部分に対応する第１の深度マップデータセットを第１の超音波アレイから受け取る、
    前記ＲＧＢ画像データの第２の部分に対応する第２の深度マップデータセットを第２の超音波アレイから受け取る、
    第１のＲＧＢ−Ｄ画像を生成するために前記対応する深度マップデータセット及びＲＧＢ画像データを結合する、
    ことを特徴とする、請求項２６から５１のいずれか１項に記載のオプティカルフロー画像化システム。
53. 前記処理モジュールは、
    前記ＲＧＢ画像データ並びに前記第１の深度マップデータセット及び前記第２の深度マップデータセットを位置合わせする、
    ことを特徴とする、請求項５２に記載のオプティカルフロー画像化システム。
54. 前記処理モジュールは、
    前記第１の深度マップデータセット及び第２の深度マップデータセットをトリミングする、
    ことを特徴とする、請求項５２または５３に記載のオプティカルフロー画像化システム。
55. 前記処理モジュールは、
    前記ＲＧＢ画像データに対応しない前記第１の深度マップデータセットの第１の部分をトリミングすること、及び
    前記ＲＧＢ画像データに対応しない前記第２の深度マップデータセットの第２の部分をトリミングすること、
    によって、前記第１の深度マップデータセット及び前記第２の深度マップデータセットをトリミングする、
    ことを特徴とする、請求項５４に記載のオプティカルフロー画像化システム。
56. 前記処理モジュールは、
    ビーム形成を介して前記超音波アレイから受け取られる深度データを処理する、
    ことを特徴とする、請求項２６から５５のいずれか１項に記載のオプティカルフロー画像化システム。
57. 前記処理モジュールは、
    前記ＲＧＢ画像データの前記解像度に等しく、より高い解像度に前記深度データをアップサンプリングする、
    ことを特徴とする、請求項２６から５６のいずれか１項に記載のオプティカルフロー画像化システム。
58. 前記ＲＧＢ画像データは、
    ＲＧＢ−Ｄ画像の部分である、
    ことを特徴とする、請求項２６から５７のいずれか１項に記載のオプティカルフロー画像化システム。
59. 請求項２６から５８のいずれか１項に記載のオプティカルフロー画像化システムを備える、
    ことを特徴とする、移動プラットフォーム。
60. 前記移動プラットフォームは、
    無人航空機である、
    ことを特徴とする、請求項５９に記載の移動プラットフォーム。
61. 前記処理モジュールは、
    前記決定されたオプティカルフロー速度に基づいて前記移動プラットフォームをナビゲートする、
    ことを特徴とする、請求項６０に記載の移動プラットフォーム。