JP2017514330A - Ｒｇｂ−ｄ画像化システム及び超音波深度検知を使用するｒｇｂ−ｄ画像化方法 - Google Patents

Abstract

【課題】従来のシステムに比較して広範囲の照明状態で改善された撮像を実現、可能にし、電力消費の少ないＲＧＢ−Ｄ画像化システムと方法を提供する。【解決手段】深度データを含む画像を生成するための超音波アレイのあるＲＧＢ−Ｄ画像化システム、ＲＧＢ画像化システムの製造方法、及びＲＧＢ画像化システムの使用方法。ＲＧＢ−Ｄ画像化システムは、筐体に配置される超音波センサーアレイを含み、筐体は超音波エミッターと複数の超音波センサーを含む。また、ＲＧＢ−Ｄ画像化システムは、超音波センサーとの平行面で筐体上に操作可能に配置され、超音波センサーに操作可能に接続されるＲＧＢカメラアセンブリも含む。

Description

本開示はデジタル画像化、コンピュータビジョン、及び超音波検知に関し、より詳細にはＲＧＢ−Ｄカメラシステム及び方法に関する。

ＲＧＢ−Ｄカメラとは（平面での２次元画像に垂直深度図の画像を加えた）３次元画像を生成できるカメラである。従来、ＲＧＢ−Ｄカメラには２つの異なるセンサーグループがある。一方のセンサーグループには（ＲＧＢカメラ等の）光学受信センサーがあり、従来、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の３色それぞれの強度値で表す周囲画像の受信に使用される。他方のセンサーグループには、観察対象の距離（Ｄ）の検出と深度図画像の取得のための赤外線レーザーや構造化光センサーがある。ＲＧＢ−Ｄカメラの適用例には、空間画像化、ジェスチャー認識、距離検出等が挙げられる。

ある種類のＲＧＢ−Ｄカメラでは、撮像用の赤外線光源（例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）を使用する。このようなカメラには、特殊な空間的構造の赤外光を発することができる光源が付いている。さらに、このようなカメラには、レンズ、及び赤外光を受光するフィルターチップが備えられている。カメラの内部プロセッサは、受光した赤外光の構造を評価する。そして、プロセッサは、光構造の変動を通して、物体の構造及び距離の情報を知覚する。

Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ等の従来のＲＧＢ−Ｄカメラは赤外光検出手法を活用して深度情報を取得する。しかし、太陽光スペクトルには検出器から発せられる赤外光を隠すことがある強力な赤外線シグネチャーがあるために、赤外光検出に基づいた手法は、特に太陽光で照らされる対象物に対しては屋外状況で十分に機能しない。パワーを増すことによって（例えば、レーザーを用いてまたは光源の強度を増すことによって）この問題を解決しようとする赤外光検出器もあるが、この手法にはより大きな電力消費が必要になるため望ましくない。

上記を考慮し、従来のＲＧＢ−Ｄ画像化システムの上述の障害と欠陥を克服するために、改善されたＲＧＢ−Ｄ画像化システムと方法が必要とされている。

本発明の一態様は、ＲＧＢ−Ｄ画像化システムを含み、ＲＧＢ−Ｄ画像化システムは、筐体と、筐体上に配置され、超音波エミッターと複数の超音波センサーを備えた第１の超音波センサーアレイと、筐体上に配置され、第１の超音波センサーに操作可能に接続され、感光性画像化チップとレンズを含んだＲＧＢカメラアセンブリとを含む。一実施形態では、第１の超音波アレイと感光性画像化チップは筐体上の平行面に配置される。他の実施形態では、第１の超音波センサーアレイと感光性画像化チップは、１０ｃｍ以下の距離で筐体上の平行面に配置される。

他の実施形態では、超音波センサーは行と列があるマトリックス構成の基板に配置され、超音波エミッターは行と列の間のマトリックス構成の中に配置される。さらに他の実施形態では、システムは、筐体の中に配置され、第１の超音波センサーアレイとＲＧＢカメラアセンブリに操作可能に接続されるプロセッサとメモリを含む。

一実施形態では、システムは筐体上に配置されるディスプレイを含む。他の実施形態では、システムは、筐体上に配置され、第１の超音波センサーアレイとＲＧＢカメラアセンブリに操作可能に接続される第２の超音波センサーを含む。他の実施形態では、第１の超音波アレイと第２の超音波アレイ、及び感光性画像化チップが筐体上の平行面に配置される。さらに他の実施形態では、第１の超音波アレイと第２の超音波アレイ、及び感光性画像化チップは、第１の超音波アレイと第２の超音波アレイの間に感光性チップが配置される線状構成で配置される。

一実施形態では、システムは組にされた複数の超音波センサーアレイを含み、それぞれの組が異なる平行面に配置されている。他の実施形態では、ＲＧＢカメラアセンブリは赤外線除去フィルターを含む。他の実施形態では、ＲＧＢカメラアセンブリは赤外線通過フィルターを含み、感光性画像化チップは赤外線を検出する。さらに他の実施形態では、無人航空機のような移動プラットホームまたは車両が上述されたＲＧＢ−Ｄ画像化システムを含む。

本発明の他の態様は、ＲＧＢ−Ｄ画像を生成する方法を含み、ＲＧＢ−Ｄ画像を生成する方法は、ＲＧＢカメラアセンブリからＲＧＢ画像データを受信するステップ、ＲＧＢ画像データの一部に対応する深度マップデータを超音波アレイから受信するステップ、深度マップデータを受信するステップ、対応する深度マップデータとＲＧＢ画像データを結合してＲＧＢ−Ｄ画像を生成するステップ、を含む。

一実施形態は、さらにＲＧＢ画像データと深度マップデータを位置合わせするステップを含む。他の実施形態はさらに、ＲＧＢ画像データをトリミングするステップを含む。他の実施形態では、ＲＧＢ画像データをトリミングするステップは、深度マップデータに対応しないＲＧＢ画像データの一部をトリミングするステップを含む。さらに他の実施形態はさらに、深度マップデータをトリミングするステップを含む。

一実施形態では、深度マップをトリミングするステップは、ＲＧＢ画像データに対応しない深度マップデータの一部をトリミングするステップを含む。他の実施形態はさらに、ビーム形成を介して超音波アレイから受信する深度マップデータを処理するステップを含む。他の実施形態では、深度マップデータはＲＧＢ画像データの解像度よりも低い解像度となる。さらに他の実施形態は、深度マップデータをアップサンプリングし、ＲＧＢ画像データの解像度に一致させるステップをさらに含む。

本発明の他の態様は、ＲＧＢ−Ｄ画像を生成する方法を含み、ＲＧＢ−Ｄ画像を生成する方法は、ＲＧＢカメラアセンブリからＲＧＢ画像データを受信するステップ、ＲＧＢ画像データの第１の部分に対応する第１の深度マップデータセットを第１の超音波アレイから受信するステップ、ＲＧＢ画像データの第２の部分に対応する第２の深度マップデータセットを第２の超音波アレイから受信するステップ、対応する深度マップデータセットとＲＧＢ画像データを結合してＲＧＢ−Ｄ画像を生成するステップ、を含む。

一実施形態はさらに、ＲＧＢ画像データと、第１の深度マップデータセット及び第２の深度マップデータセットとを位置合わせするステップを含む。他の実施形態はさらに、第１の深度マップデータセットと第２の深度マップデータセットをトリミングするステップを含む。他の実施形態では、第１の深度マップデータセットと第２の深度マップデータセットをトリミングするステップは、ＲＧＢ画像データに対応しない第１の深度マップと第２の深度マップの一部分をトリミングするステップを含む。さらに他の実施形態では、ＲＧＢ−Ｄ画像を生成する方法はさらに、ビーム形成を介して超音波アレイから受信する深度マップデータを処理するステップを含む。

一実施形態では、第１の深度マップデータセット及び第２の深度マップデータセットは、ＲＧＢ画像データの解像度よりも低い解像度となる。他の実施形態はさらに、深度マップデータをアップサンプリングし、ＲＧＢ画像データの解像度に一致させるステップを含む。

本発明のさらなる他の態様は、ＲＧＢ−Ｄ画像を生成する方法を含み、ＲＧＢ−Ｄ画像を生成する方法は、それぞれのＲＧＢカメラアセンブリから複数のＲＧＢ画像をそれぞれ受信するステップ、ＲＧＢカメラアセンブリの内の１つとそれぞれ関連付けられる複数の超音波アレイから、各深度マップデータセットがＲＧＢ画像の内の１つの選択された一部に対応する複数の深度マップデータセットを受信するステップ、対応する深度マップデータセットとＲＧＢ画像を結合して連続するＲＧＢ−Ｄ画像を生成するステップ、を含む。

一実施形態はさらに、ＲＧＢ画像と深度マップデータセットを位置合わせするステップを含む。他の実施形態はさらにＲＧＢ画像をトリミングするステップを含む。他の実施形態では、ＲＧＢ画像をトリミングするステップは、深度マップデータセットに対応しないＲＧＢ画像の一部をトリミングするステップを含む。さらに他の実施形態は、深度マップデータセットをトリミングするステップも含む。

一実施形態では、深度マップデータセットをトリミングするステップは、ＲＧＢ画像に対応しない深度マップデータセットの一部をトリミングするステップを含む。他の実施形態は、ビーム形成を介して超音波アレイから受信される深度マップデータセットを処理するステップも含む。他の実施形態では、深度マップデータセットはＲＧＢ画像データの解像度よりも低い解像度となる。さらに他の実施形態は、深度マップデータセットをアップサンプリングし、ＲＧＢ画像の解像度に一致させるステップも含む。

本発明の実施形態に関わる、ＲＧＢ−Ｄ画像化システムの例を示す最上位図である。 本発明の実施形態に関わる、深度データをＲＧＢデータと結合する例を説明する図である。 本発明の実施形態に関わる、深度データをＲＧＢデータと結合する例を説明する図である。 １つのＲＧＢカメラシステム及び１つの超音波深度センサーを含む、ＲＧＢ−Ｄ画像化システムの一実施形態を示す正面図である。 図４に示すＲＧＢ−Ｄ画像化システムにおける視野を説明する平面図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。 １つのＲＧＢカメラシステム及び２つの超音波深度センサーを含むＲＧＢ−Ｄ画像化システムの実施形態を示す正面図である。 図７に示すＲＧＢ−Ｄ画像化システムの視野を説明する平面図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。 複数のＲＧＢ−Ｄ画像化システムを含むＲＧＢ−Ｄ画像化アセンブリの実施形態を示す図である。 本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法のステップを示すフローチャートである。

図が縮尺通りに描かれていないこと、及び類似する構造または機能の要素が、概して図の全体を通じて例示的な目的のために類似する参照番号で示されることに留意すべきである。また、図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意すべきである。図は説明される実施形態のあらゆる態様を示すわけではなく、本開示の範囲を制限しない。

現在入手可能なＲＧＢ−Ｄ画像化システムは太陽光の中での屋外等さまざまな動作状態で機能できないため不完全である。したがって、超音波深度検知または超音波距離検知を含むＲＧＢ−Ｄ画像化システムが望ましいことが判明し、空間画像化、ジェスチャー認識、距離検出、３次元マッピング等の広範囲のＲＧＢ−Ｄ画像化の適用例の基礎となり得る。従来のＲＧＢ−Ｄシステムとは対照的に、ビーム形成を使用する超音波アレイは、周辺光の干渉にさらされることなく深度情報を含んだ３次元マップを取得できる。さらに、超音波センサーが使用する電力は、赤外線センサーを使用するＲＧＢ−Ｄシステムよりも実質的に少ない。これは無人航空機（ＵＡＶ）等の可動プラットホームまたは移動プラットホームに望ましいことがある。これらの成果は、本明細書に開示する一実施形態に従って、図１に示すようなＲＧＢ−Ｄ画像化システム１００によって達成できる。

図１において、ＲＧＢ−Ｄ画像化システム１００は、画像化デバイス１２０に操作可能に接続される超音波センサーアレイ１１０と、画像化デバイス１２０に操作可能に接続されるＲＧＢカメラアセンブリ１３０を備える。

様々な実施形態においては、超音波センサーアレイ１１０は、複数の行Ｒと複数の列Ｃによって定められるマトリックス１１４の基板１１３上に配置される複数の超音波センサー１１２を備え得る。１つ以上の超音波エミッター１１１は、超音波センサー１１２の行Ｒと列Ｃの間のマトリックス１１４内部の基板１１３上に配置できる。他の実施形態では、１つ以上の超音波エミッター１１１は、ＲＧＢ−Ｄ画像化システム１００の周りの任意の適切な位置でマトリックス１１４の外側に配置できる。例えば、１つ以上の超音波エミッター１１１は同じ平行な平面またはマトリックス１１４から離れた平面に配置できる。

ある実施形態では、超音波エミッター１１１が単一であることもあれば、任意の適切な複数の超音波エミッター１１１が任意の所望される構成または適切な構成で配列または配置されることもある。また、任意の適切な複数の超音波センサー１１２が、任意の所望される構成または適切な構成で配列または配置されることもあり、その構成は、マトリックス１１４の構成であることもあれば、ないこともある。様々な実施形態では、超音波センサーアレイ１１０は圧電変換器、容量性トランスデューサ、磁気歪み材料等を備え得る。したがって、様々な実施形態では、任意の適切な周波数の音波の伝送と検知の少なくとも一方を実現する任意の適切なアレイを制限なく利用できる。

カメラアセンブリ１３０は、ピクセル１３４の光検知アレイまたは光検知チップ１３３の上に光を集束するレンズ１３１を備え得る。光検知アレイまたは光検知チップ１３３は、受光した光１３２を、上述したように画像を画定する信号に変換する。レンズ１３１はデジタル一眼レフ（ＤＳＬＲ）レンズとして示されているが、様々な実施形態では、適切なタイプであればどのようなレンズを使用することも可能である。例えば、ある実施形態では、レンズ１３１は、ピンホールレンズ、生物学的レンズ、老眼鏡レンズ等を含む任意の適切なレンズ系を備え得る。さらに、様々な実施形態によるレンズは、マクロレンズ、ズームレンズ、魚眼レンズ、広角レンズ等を含んだ特定の撮像特性を備える構成とできる。

カメラシステム１３０を使用して、可視スペクトルで光を検出し、そこから画像を生成できる。しかし、ある実施形態では、Ｘ線、赤外光、マイクロ波等を含んだ他の波長の光を検出することもできる。さらに、カメラシステム１３０は１つ以上のフィルターを含み得る。例えば、カメラシステム１３０は、赤外波長を実質的に除外する赤外線除去フィルターを備え得る。これは、赤外線干渉が問題となる環境でのＲＧＢ−Ｄシステムの動作には望ましい場合がある。他の例では、カメラシステム１３０が赤外波長を除くすべての波長を実質的に除外する赤外線通過フィルターを備えることがあり、光検知アレイまたは光検知チップ１３３を使用して赤外波長を検知できる。

カメラシステム１３０は、静止画像、ビデオ画像、及び３次元画像等のために使用することもできる。したがって、本発明は、実施形態の一例として本明細書において図示し、説明するカメラシステム１３０に制限される、と解釈してはならない。

様々な実施形態では、画像化デバイス１２０は、プロセッサ１２１、メモリ１２２、及びディスプレイ１２３を備え得る。カメラシステム１３０と超音波センサーアレイ１１０は、画像化デバイス１２０に動作可能に接続され得る。よって、カメラシステム１３０と超音波センサーアレイ１１０によって生成される画像またはデータは、プロセッサ１２１によって処理されること、メモリ１２２に記憶されること、の少なくとも一方が可能である。処理された画像はディスプレイ１２３に表示できる。

他の実施形態では、プロセッサ１２１、メモリ１２２、及びディスプレイ１２３のいずれかが複数台存在することもあれば、存在しないこともある。例えば、ある実施形態では、ＲＧＢ−Ｄ画像システム１００はディスプレイ１２３を含まず、本明細書において説明される生成画像は、このような画像を提示できる他のコンピューティング装置またはディスプレイに送信される。

ある実施形態では、カメラシステム１３０、画像化デバイス１２０、及び超音波センサーアレイ１１０のいずれかが任意の適切な複数台で存在し得る。例えば、本明細書において詳細に説明され、図４に示されるように、ＲＧＢ―Ｄ画像化システム１００の一実施形態１００Ａは、１つのカメラシステム１３０と１つの超音波センサーアレイ１１０を備え得る。他の例では、本明細書により詳細に説明され、図７に示されるように、ＲＧＢ−Ｄ画像化システム１００の一実施形態１００Ｂは、１つのカメラシステム１３０と２つの超音波センサーアレイ１１０を備え得る。

他の例では、本明細書により詳細に説明され、図１０に示されるように、３次元画像化システム８００は、複数のＲＧＢ−Ｄ画像化システム１００を備え得、そのそれぞれが１つのカメラシステム１３０と、１つ以上の超音波センサーアレイ１１０を備え得る。このような実施形態では、各ＲＧＢ−Ｄ画像化システム１００は、個々の画像化デバイス１２０（図１０では示されていない）と関連付けられ得る、または中心の、つまり共通の画像化デバイス１２０（図１０では示されていない）と関連付けられ得る。言い換えると、カメラシステム１３０と超音波センサーアレイ１１０の関連付けられたセットは、画像化デバイス１２０と関連付けられ得る、または中心の、つまり共通の画像化デバイス１２０に動作可能に接続され得る。

本明細書において、より詳細に説明するように、ＲＧＢ−Ｄ画像化システム１００はＲＧＢ−Ｄ画像を生成できる。例えば、図１、図２、及び図３において、カメラシステム１３０は、赤の値、緑の値、及び青の値２１１Ｒ、２１１Ｇ、２１１Ｂのピクセルアレイを備えるＲＧＢトリプレット画像２１０を生成できる。超音波センサーアレイ１１０は、深度マップアレイ２２０を生成できる。本明細書において、より詳細に説明するように、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０を結合して、赤の値、緑の値、及び青の値２１１Ｒ、２１１Ｇ、２１１Ｂのピクセルアレイと深度マップアレイ２２０とを含むＲＧＢ−Ｄのクワッド画像２３０を生成できる。その結果、ＲＧＢ−Ｄクワッド画像２３０の各ピクセル位置は、超音波センサーアレイ１１０またはＲＧＢ−Ｄ画像化システム１００からの距離に相当する深度値、つまり距離値（Ｄ）に加えて赤の値（Ｒ）、緑の値（Ｇ）、及び青の値（Ｂ）と関連付けられる。

ある実施形態では、図２に示すように、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０は同じ解像度とサイズ（つまり、定められた画像サイズの場合同数のピクセル）となり得る。このような実施形態では、ＲＧＢトリプレット画像２１０及び深度マップアレイ２２０は、ともに結合され得る。

しかし、ある実施形態では、図３に示すように、ＲＧＢトリプレット画像２１０と深度マップアレイ３２０は異なる解像度（つまり、異なる画像サイズの場合異なる数のピクセル）となり得る。例えば、図３の赤の値、緑の値、及び青の値２１１Ｒ、２１１Ｇ、２１１ＢのピクセルアレイがＮ１×Ｍ１の画像サイズで８×８ピクセルであるのに対し、深度マップアレイ３２０はＮ２×Ｍ２の画像サイズで４×４ピクセルである。Ｎ１＝Ｎ２及びＭ１＝Ｍ２の実施形態では、ＲＧＢトリプレット画像２１０と深度マップアレイ３２０の少なくとも一方を組合せのために修正し、ＲＧＢ−Ｄクワッド画像２３０を形成できる。図３に示す例では、深度マップアレイ３２０は、Ｎ３×Ｍ３の画像サイズで８×８ピクセルにアップサンプリングできる。その結果、より低い解像度の深度マップアレイ３２０でのピクセル３２１の距離値は、ＲＧＢ−Ｄクワッド画像２３０に存在するアップサンプリングされた深度マップアレイ３４０に存在する４個のピクセルが強調表示されたセット３２３で、ピクセル３２２と関連して使用される。

この例では、ピクセル３２１を明確に４個のピクセル３２３に分割できるのであれば、より低い解像度の４×４の深度マップアレイ３２０をより高い解像度の８×８の深度マップアレイ３４０にアップサンプリングすることによって、完全なアップサンプリングが生じることになる。ただし、他の実施形態では、より低い解像度の深度マップアレイ３２０の変換にはアップサンプリング中（例えば、４×４画像の１１×１１画像等へのアップサンプリング）に特定のピクセルを補間することが必要になり得る。このような実施形態では、任意の適切な補間法が使用できる。その補間方法は、最も近い近傍補間、双一次補間、双三次補間、双三次のより滑らかな補間、双三次のより鋭い補間、等を含み得る。

ある実施形態では、距離値の補間は距離値に基づき得る。例えば、補間は、より小さい差異に比較してより大きい距離に対して、異なるように処理できる。ある実施形態では、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０の少なくとも一方は、サンプリングし直すことが可能である。また、ＲＧＢトリプレット画像２１０と深度マップアレイ２２０の少なくとも一方の再サンプリング方法は、距離値に基づき得る。

ある実施形態では、Ｎ１＝Ｎ２とＭ１＝Ｍ２の場合、ＲＧＢトリプレット画像２１０と深度マップアレイ３２０を含み得る。しかし、他の実施形態では、ＲＧＢトリップレット画像２１０と深度マップアレイ３２０は異なるサイズであり得る。例えば、ある実施形態では、ＲＧＢトリプレット画像２１０は深度マップアレイ３２０よりも大きいことがある。他の実施形態では、ＲＧＢトリプレット画像２１０は深度マップアレイ３２０よりも小さいことがある。さらに、様々な実施形態では、Ｍ３／Ｎ３はＭ１／Ｎ１とＭ２／Ｎ２の少なくとも一方と同じであり得るが、ある実施形態では同じではないこともある。

ＲＧＢ−Ｄ画像化システム１００は、多様で適切なやり方で具現化できる。例えば、図４に示すように、一実施形態１００Ａは筐体４０１上に配置される超音波センサーアレイ１１０とカメラシステム１３０を含む。画像化デバイス１２０（図４では示されていない。図１を参照。）は、筐体４０１の中と筐体４０１の上の少なくとも一方に配置できる。例えば、プロセッサ１２１（図１を参照）とメモリ１２２（図１を参照）は筐体４０１の内部に配置することができ、ディスプレイ１２３（図１を参照）は筐体４０１の適切な部分に配置できる。

図４と図５に示されるように、超音波センサーアレイ１１０と感光性画像化チップ１３３は、筐体４０１上の共通の平面または平行面に並べて配置できる。好ましい実施形態では、超音波センサーアレイ１１０と感光性画像化チップ１３３は、１０ｃｍを超えない距離で隔てられている。本明細書において使用される用語、「共通の平面」と「平行面」は、同義語となることを意図しているのではなく、これらの用語は区別できることを意図している。

超音波センサーアレイ１１０は、エッジ４１１Ａ、４１１Ｂで定められる視野４１３を有し得る。ＲＧＢカメラアセンブリ１３０は、エッジ４１２Ａ、４１２Ｂで定められる視野４１４を有し得る。図５に示すように、視野４１３、４１４はオフセットされ得る。言い換えると、筐体上での画像化チップ１３３と超音波センサーアレイ１１０の物理的な距離のため、感光性画像化チップ１３３と超音波センサーアレイ１１０によって生成される画像は、厳密に同じではない可能性がある。この例の実施形態では、視野４１３、４１４は表面４１０に対して図示されており、重複部分４１５と、視野が重複していないオフセット４２０Ａ、４２０Ｂを備える。より詳細には、オフセット４２０Ａが感光性チップの視野４１３内に存在するが、超音波センサーアレイの視野４１４内には存在しない。対して、オフセット４２０Ｂは、超音波センサーアレイの視野４１４内に存在するが、感光性画像化チップの視野４１３には存在しない。

重複部分４１５は、多様で適切な方法によって、特定または決定の少なくとも一方がなされる。例えば、一実施形態では、重複部分４１５のサイズは既知であるか、仮定されることがあり、重複していない部分４２０はこのような既知の値または仮定される値に基づいて自動的にトリミングできる。他の実施形態では、画像は任意の適切なマシンビジョンまたは画像処理方法を介して位置合わせされる。例えば、一実施形態では、画像内のコーナーの検出にＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムを使用して、１つ以上の特別な特徴点を特定できる。ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）アルゴリズムを使用して、画像の特徴記述子を特定できる。２つの画像の特定された記述子間のハミング距離を使用して、第１の画像と第２の画像の重複部分を特定できる。

したがって、画像化チップ１３３と超音波センサーアレイ１１０によって生成されたそれぞれの画像及び距離マップは、互いに一致しない部分を含み得る。このことは、これらの画像と距離マップを結合し、ＲＧＢ−Ｄ画像を形成するときに望ましくないことがある。言い換えると、ＲＧＢ−Ｄ画像が所与のピクセルで距離値を正確に示すためには、画像と距離マップは位置合わせされる必要があり得る。ある実施形態では、オフセット距離とオフセット４２０Ａ、４２０Ｂは無視できると見なされ得、画像と距離マップは位置合わせされ得ない。オフセット距離が実質的に一定である他の実施形態では、画像と距離マップは既知の距離または定められた距離に基づいて位置合わせできる。例えば、センサーアレイ１１０と感光性画像化チップ１３３が平行面に配置される実施形態では、センサーアレイ１１０と感光性画像化チップ１３３との間の幾何学的距離は、位置合わせに使用される既知の距離または定められた距離に含まれ得る。同様に、センサーアレイ１１０と感光性画像化チップ１３３が共通平面に配置される場合、センサーアレイ１１０と感光性画像化チップ１３３との間の幾何学的な距離は、位置合わせに使用される既知の距離または定められた距離に含まれ得る。

しかし、オフセット距離が（例えば、被写体の物体の画像化システム１００からの距離、環境条件等のために）変わる場合、距離マップの距離値に基づいて位置合わせを実行できる。ある実施形態では、オフセットは距離に基づいて変化し、視野内の関心のある物体を特定し、画像と距離マップを最適化することが望ましいことがある。この場合、関心のある物体はより正確に位置合わせされる。例えば、１メートルの距離にある前景物体が関心のある物体であり、２０メートル以上離れた背景物体はあまり重要ではないと判断され得る。したがって、位置合わせは、２０メートルの距離ではなく１メートルの距離に対して最適化される。その結果、前景オブジェクトに対応する距離データは、より正確であり、背景距離データに比較して位置合わせされる。

任意の適切な方法を用いて、様々な設定（例えば、接写、中間距離、遠い、人、景色等）に基づいて、関心のある物体を決定し得る。このような関心のある物体は、適切なマシンビジョン及び人工知能の少なくとも１つの方法等に基づいて特定できる。
他の実施形態では、画像と距離マップの位置合わせは、特徴検出アルゴリズム、特徴抽出アルゴリズム抽出、特徴一致アルゴリズム、の少なくとも１つを使用して行い得る。この方法は、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）、Ｓｈｉ＆Ｔｏｍａｓｉコーナー検出（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）ブロブ検出、ＭＳＥＲ（Ｍａｘｉｍａｌｌｙ Ｓｔａｂｌｅ Ｅｘｔｒｅｍａｌ Ｒｅｇｉｏｎｓ）ブロブ検出、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）記述子、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）記述子、ＦＲＥＡＫ（Ｆａｓｔ ＲＥｔｉｎＡ Ｋｅｙｐｏｉｎｔ）記述子、ＢＲＩＳＫ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）検出器、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）記述子等がある。

様々な実施形態では、互いに一致しない画像と距離マップの少なくとも一方の部分をトリミングすることが望ましいことがある。例えば、図５に示すように、物体４１０を取り込んだ画像の場合、部分４２０Ａ、４２０Ｂを、それぞれの画像と距離マップからトリミングして、重複部分４１５を残すことができる。

図６は、本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法５００のステップを示すフローチャートである。方法５００は、ＲＧＢ画像データを（図１と図４に示される）ＲＧＢカメラアセンブリ１３０から受信するステップ５１０で始まる。ステップ５２０で、深度マップデータをＲＧＢ画像データの部分に対応する（図１と図４に示される）超音波アレイ１１０から受信する。

ステップ５３０で、ＲＧＢ画像データと深度マップデータを位置合わせする。ステップ５４０で、深度マップデータに対応しないＲＧＢ画像データの部分をトリミングする。ステップ５５０で、ＲＧＢデータに対応しない深度マップデータの部分をトリミングする。ステップ５６０で、深度マップデータをアップサンプリングして、ＲＧＢ画像データの解像度に一致させる。ステップ５７０で、対応する深度マップデータとＲＧＢ画像データを結合し、ＲＧＢ−Ｄ画像を生成する。

図７において、ＲＧＢ−Ｄ画像化システム１００の他の実施形態１００Ｂが示されている。実施形態１００Ｂは、筐体６０１上に配置される第１の超音波センサーアレイと第２の超音波センサーアレイ１１０Ａ、１１０Ｂ、及びカメラシステム１３０を含む。画像化デバイス１２０（図７には示されない。図１を参照）は、筐体６０１内及び筐体６０１上の少なくとも一方に配置できる。例えば、プロセッサ１２１（図１を参照）とメモリ１２２（図１を参照）は、筐体６０１の内部に配置でき、ディスプレイ１２３（図１を参照）は、筐体６０１の適切な部分に配置できる。

図７と図８に示すように、超音波センサーアレイ１１０と感光性画像化チップ１３３は、第１の超音波アレイと第２の超音波アレイ１１０Ａ、１１０Ｂの間に感光性画像化チップ１３３が配置された線形構成で、筐体４０１上の平行面または共通平面に並んで配置できる。好ましい実施形態では、感光性画像化チップ１３３は、１０ｃｍ以下の距離でそれぞれの超音波センサーアレイ１１０から隔てられている。

超音波センサーアレイ１１０Ａ、１１０Ｂは、それぞれエッジ６１１Ｃ、６１１Ｄと６１１Ａ、６１１Ｂによって画定される視野６１３Ａ、６１３Ｂを有し得る。ＲＧＢカメラアセンブリ１３０は、エッジ６１２Ａ、６１２Ｂによって画定された視野６１４を有し得る。図８に示すように、視野６１３Ａ、６１３Ｂ、６１４はオフセットされ得る。言い換えると、感光性画像化チップ１３３と超音波センサーアレイ１１０によって生成される画像は、筐体６０１上の画像化チップ１３３と超音波センサーアレイ１１０の物理的な距離のために厳密に同じではない可能性がある。この例の実施形態では、視野６１３Ａ、６１３Ｂ、６１４は表面６１０を基準にして示され、重複部分６１５と、視野６１３Ａ、６１３Ｂ、６１４が重複していないオフセット部分６２０Ａ、６２０Ｂを含む。すなわち、重複部分６１５は画像化チップの視野６１４からの対応する画像データと、アレイの視野６１３Ａ、６１３Ｂの一方または両方からの深度マップデータを含むのに対し、オフセット６２０Ａもオフセット６２０Ｂも感光性画像化チップの視野６１４には存在していない。

図９は、実施形態に従ってＲＧＢ−Ｄ画像を生成する方法７００のステップを示すフローチャートである。方法７００は、ＲＧＢカメラアセンブリ１３０（図１と図７を参照）からＲＧＢ画像データを受信するステップ７１０で始まる。ステップ７２０で、ＲＧＢ画像データの部分に対応する第１の超音波アレイ１１０Ａ（図１と図４を参照）から、第１の深度マップデータセットを受信する。ステップ７３０で、ＲＧＢ画像データの部分に対応する（図１と図７に示される）第２の超音波アレイ１１０Ａ（図１と図７を参照）から、第２の深度マップデータセットを受信する。

ステップ７４０で、ＲＧＢ画像データと深度マップデータを互いに位置合わせする。ステップ７５０で、ＲＧＢ画像データに対応しない深度マップデータセットの部分をトリミングする。ステップ７６０で、深度マップデータセットをアップサンプリングして、ＲＧＢ画像データの解像度に一致させる。したがって、様々な実施形態では、第１の深度マップデータセットと第２の深度マップデータセットの内の一方または両方は、ＲＧＢ画像データの解像度よりも低い解像度となる。ステップ７７０で、対応する深度マップデータセットとＲＧＢ画像データを結合し、ＲＧＢ−Ｄ画像を生成する。

図１０は、筐体８０１のそれぞれの面８０２に配置される複数のＲＧＢ−Ｄ画像化システム１００を含むＲＧＢ−Ｄ画像化アセンブリ８００の実施形態を示す図である。図１０において、実施形態８００は、各面に画像化システム１００が配置される８つの面８０２のある八角形の筐体８０１として示されている。しかし、他の実施形態では、様々な平面に任意の適切な複数の画像化システム１００を配置し得る。

異なる平面に複数の画像化システム１００を配置することが望ましい場合がある。なぜなら、複数の画像化システム１００によって、複数のＲＧＢ画像データと複数の距離マップデータの合成物である、パノラマ画像及び３次元ＲＧＢ−Ｄ画像の少なくとも一方の生成が可能になるためである。また、図１０において、ＲＧＢ−Ｄ画像化アセンブリ８００に備えられる画像化システム１００が、共通平面または平行面での共通の高さに配置されている例を示しているが、他の実施形態では、筐体は、規則正しい多面体または不規則な多面体等を備え得る。

図１１は、本発明の実施形態に従ってＲＧＢ−Ｄ画像を生成する方法９００のステップを示すフローチャートである。方法９００は、複数のＲＧＢ画像のそれぞれをＲＧＢカメラアセンブリ１３０（図１を参照）のそれぞれから受信するステップ９１０で始まる。ステップ９２０で、複数の深度マップセットそれぞれを、ＲＧＢカメラアセンブリ１３０の内の１つと関連付けられる複数の超音波アレイ１１０（図１を参照）から受信する。ステップ９３０で、ＲＧＢ画像と深度マップデータセットを位置合わせする。ステップ９４０で、深度マップデータセットに対応しないＲＧＢ画像をトリミングする。ステップ９５０で、ＲＧＢ画像に対応しない深度マップデータセットの部分をトリミングする。ステップ９６０で、深度マップデータセットをアップサンプリングして、ＲＧＢ画像の解像度に一致させる。ステップ９７０で、対応する深度マップデータセットとＲＧＢ画像を結合し、連続的なＲＧＢ−Ｄ画像を生成する。

本明細書において詳細に説明した本発明に関わる実施形態は、様々な修正形態及び代替形式を許容するものであり、その特定の例が図面中に一例として示されている。しかし、説明されている実施形態が、開示されている特定の形式または方法に制限されることはなく、逆に本開示が本発明に関わるすべての修正形態、均等物及び代替物を網羅することを理解されたい。

Claims (39)

1. 筐体と、
   前記筐体に配置され、
   超音波エミッターと、
   複数の超音波センサーと、
   を備える第１の超音波センサーアレイと、
   前記筐体上に配置され、前記第１の超音波センサーに操作可能に接続され、
   感光性画像化チップと、
   レンズと、
   を備えるＲＧＢカメラアセンブリと、
   を備える、ＲＧＢ−Ｄ画像化システム。
2. 前記第１の超音波アレイ及び前記感光性画像化チップは、前記筐体上の平行面に配置される、
   請求項１に記載のＲＧＢ−Ｄ画像化システム。
3. 前記第１の超音波センサーアレイ及び前記感光性画像化チップは、１０ｃｍ以下の距離で前記筐体上の平行面に配置される、
   請求項１または２に記載のＲＧＢ−Ｄ画像化システム。
4. 前記超音波センサーは、行及び列を有するマトリックス構成で基板上に配置され、
   前記超音波エミッターは、前記行と前記列との間の前記マトリックス構成の中に配置される、または前記超音波エミッターは、前記マトリックスの外部に配置される、
   請求項１から３のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
5. 前記筐体の中に配置され、前記第１の超音波センサーアレイ及び前記ＲＧＢカメラアセンブリに操作可能に接続されるプロセッサ及びメモリ、をさらに備える、
   請求項１から４のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
6. 前記筐体上に配置されるディスプレイ、をさらに備える、
   請求項１から５のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
7. 前記筐体上に配置され、前記第１の超音波センサーアレイ及び前記ＲＧＢカメラアセンブリに操作可能に接続される第２の超音波センサーアレイ、をさらに備える、
   請求項１から６のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
8. 前記第１の超音波アレイ及び前記第２の超音波アレイ、ならびに前記感光性画像化チップは、前記筐体上の平行面に配置される、
   請求項７に記載のＲＧＢ−Ｄ画像化システム。
9. 前記第１の超音波アレイ及び前記第２の超音波アレイ及び前記感光性画像化チップは、前記感光性画像化チップが前記第１の超音波アレイと前記第２の超音波アレイの間に配置される線状構成で配置される、
   請求項７または８に記載のＲＧＢ−Ｄ画像化システム。
10. 複数の組にされた超音波センサーアレイをさらに備え、それぞれの各組が異なる平行面に配置される、
    請求項１から９のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
11. 前記ＲＧＢカメラアセンブリは、赤外線除去フィルターを備える、
    請求項１から１０のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
12. 前記ＲＧＢカメラアセンブリは、赤外線通過フィルターを備え、
    前記感光性画像化チップは、赤外光を検出する、
    請求項１から１１のいずれか１つに記載のＲＧＢ−Ｄ画像化システム。
13. 請求項１から１２のいずれか１つに記載の前記ＲＧＢ−Ｄ画像化システムを備える、
    移動式プラットホーム。
14. 前記移動式プラットホームは、無人航空機である、
    請求項１３に記載の移動式プラットホーム。
15. ＲＧＢ−Ｄ画像の生成方法であって、
    ＲＧＢカメラアセンブリからＲＧＢ画像データを受信するステップ、
    前記ＲＧＢ画像データの一部に対応する深度マップデータを超音波アレイから受信するステップ、
    前記対応する深度マップデータ及び前記ＲＧＢ画像データを結合してＲＧＢ−Ｄ画像を生成するステップ、
    を含む、ＲＧＢ−Ｄ画像の生成方法。
16. 前記ＲＧＢ画像データ及び前記深度マップデータを位置合わせするステップ、をさらに含む、請求項１５に記載のＲＧＢ−Ｄ画像の生成方法。
17. 前記ＲＧＢ画像データをトリミングするステップ、をさらに含む、請求項１５または１６に記載のＲＧＢ−Ｄ画像の生成方法。
18. 前記ＲＧＢ画像データを前記トリミングするステップが、前記深度マップデータに対応しない前記ＲＧＢ画像データの一部をトリミングするステップ、を含む、請求項１７に記載のＲＧＢ−Ｄ画像の生成方法。
19. 前記深度マップデータをトリミングするステップ、をさらに含む、請求項１５から１８のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
20. 前記深度マップを前記トリミングするステップが、前記ＲＧＢ画像データに対応しない前記深度マップデータの一部をトリミングするステップ、を含む、請求項１９に記載のＲＧＢ−Ｄ画像の生成方法。
21. ビーム形成を介して前記超音波アレイから受信される前記深度マップデータを処理するステップ、をさらに含む、請求項１５から２０のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
22. 前記深度マップデータは、前記ＲＧＢ画像データの解像度よりも低い解像度を有する、請求項１５から２１のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
23. 前記深度マップデータをアップサンプリングし、前記ＲＧＢ画像データの前記解像度に一致させるステップ、をさらに含む、請求項１５から２２のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
24. ＲＧＢ−Ｄ画像の生成方法において、
    ＲＧＢカメラアセンブリからＲＧＢ画像データを受信するステップ、
    前記ＲＧＢ画像データの第１の部分に対応する第１の深度マップデータセットを第１の超音波アレイから受信するステップ、
    前記ＲＧＢ画像データの第２の部分に対応する第２の深度マップデータセットを第２の超音波アレイから受信するステップ、
    前記対応する深度マップデータセットと前記ＲＧＢ画像データを結合して、ＲＧＢ−Ｄ画像を生成するステップ、
    を含む、ＲＧＢ−Ｄ画像の生成方法。
25. 前記ＲＧＢ画像データ、ならびに前記第１の深度マップデータセット及び前記第２の深度マップデータセットを位置合わせするステップ、をさらに含む、請求項２４に記載のＲＧＢ−Ｄ画像の生成方法。
26. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットをトリミングするステップ、をさらに含む、請求項２４または２５に記載のＲＧＢ−Ｄ画像の生成方法。
27. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットを前記トリミングするステップは、前記ＲＧＢ画像データに対応しない前記第１の深度マップ及び前記第２の深度マップの一部をトリミングするステップを含む、請求項２６に記載のＲＧＢ−Ｄ画像の生成方法。
28. ビーム形成を介して前記超音波アレイから受信される深度マップデータを処理するステップ、をさらに含む、請求項２４から２７のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
29. 前記第１の深度マップデータセット及び前記第２の深度マップデータセットは、前記ＲＧＢ画像データの解像度よりも低い解像度を有する、請求項２４から２８のいずれか１項に記載のＲＧＢ−Ｄ画像の生成方法。
30. 前記深度マップデータをアップサンプリングし、前記ＲＧＢ画像データに一致させるステップ、をさらに含む、請求項２４から２９のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
31. ＲＧＢ−Ｄ画像の生成方法において、
    それぞれのＲＧＢカメラアセンブリから複数のＲＧＢ画像をそれぞれ受信するステップ、
    前記ＲＧＢカメラアセンブリの内の１つとそれぞれ関連付けられる複数の超音波アレイから、各深度マップデータセットが前記ＲＧＢ画像の内の１つの選択された一部に対応する複数の深度マップデータセットを受信するステップ、
    前記対応する深度マップデータセット及びＲＧＢ画像を結合して連続するＲＧＢ−Ｄ画像を生成するステップ、
    を含む、ＲＧＢ−Ｄ画像の生成方法。
32. 前記ＲＧＢ画像及び前記深度マップデータセットを位置合わせするステップ、をさらに含む、請求項３１に記載のＲＧＢ−Ｄ画像の生成方法。
33. 前記ＲＧＢ画像をトリミングするステップ、をさらに含む、請求項３１または３２に記載のＲＧＢ−Ｄ画像の生成方法。
34. 前記ＲＧＢ画像を前記トリミングするステップは、深度マップデータセットに対応しない前記ＲＧＢ画像の一部をトリミングするステップ、を含む、請求項３３に記載のＲＧＢ−Ｄ画像の生成方法。
35. 前記深度マップデータセットをトリミングするステップ、をさらに含む、請求項３１から３４のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
36. 前記深度マップデータセットを前記トリミングするステップは、ＲＧＢ画像に対応しない前記深度マップデータセットの一部をトリミングするステップ、を備える、請求項３５に記載のＲＧＢ−Ｄ画像の生成方法。
37. 前記超音波アレイからビーム形成を介して受信される深度マップデータセットを処理するステップ、をさらに含む、請求項３１から３６のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
38. 前記深度マップデータセットは、前記ＲＧＢ画像データの解像度よりも低い解像度を有する、請求項３１から３７のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。
39. 前記ＲＧＢ画像の前記解像度に一致するために前記深度マップデータセットをアップサンプリングするステップ、をさらに含む、請求項３１から３８のいずれか１つに記載のＲＧＢ−Ｄ画像の生成方法。

Images