JP2016502704A - 奥行きアーチファクトを除去するための画像処理方法および装置 - Google Patents

Abstract

画像処理システムは、第１の画像における少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルを識別し、１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成するために、第２の画像を利用して超分解能技術を適用するように構成された画像プロセッサを含む。超分解能技術を適用することは、再構成された奥行き情報を有する第３の画像を生成する。第１の画像は奥行き画像からなることができ、第３の画像は、第１の画像に概して対応する奥行き画像からなることができるが、奥行きアーチファクトは実質的に除去されている。追加の超分解能技術が、第４の画像を利用して適用され得る。追加の超分解能技術を適用することは、第３の画像に比べて増大した空間分解能を有する第５の画像を生成する。【選択図】図２

Description

背景
リアルタイムに空間的シーンの三次元（３Ｄ）画像を生成するための多数の異なる技術が知られている。例えば、空間的シーンの３Ｄ画像は、複数の二次元（２Ｄ）画像に基づいた三角測量（triangulation：三角形分割）を用いて生成され得る。しかしながら、そのような技術の重大な欠点は、それが一般に非常に集約的な演算処理を必要とし、それ故にコンピュータ又は他の処理デバイスの過大な量の利用可能な計算資源を浪費する可能性があることである。

他の知られた技術には、構造光（structured light：ＳＬ）カメラ又は飛行時間（time of flight：ＴｏＦ）カメラのような３Ｄ撮像装置を用いて３Ｄ画像を直接的に生成することが含まれる。このタイプのカメラは通常、コンパクトであり、迅速な画像生成を行い、低い量の電力を放出し、人間の視覚との干渉を避けるために、電磁スペクトルの近赤外線部分で動作する。結果として、ＳＬ及びＴｏＦカメラは一般に、ビデオゲームシステムにおけるジェスチャー認識またはジェスチャーによるヒューマンマシンインターフェースを必要とする他のシステムのような、画像処理システムの応用形態で使用される。

残念ながら、ＳＬ及びＴｏＦカメラにより生成された３Ｄ画像は一般に、非常に限られた空間分解能を有する。例えば、ＳＬカメラは、パターンのサイズが高分解能を達成するために任意に細かく粒状にされることができない光パターンによる三角測量を実施するので、ｘ−ｙ平面における精度に固有の障害を有する。また、眼球損傷を避けるために、パターン全体にわたる全体の放出電力、並びに各パターン要素（例えば、線形またはスポット）の空間的および角度的電力密度は、制限される。従って、結果としての画像は、低い信号対雑音比を呈し、制限された品質奥行き（depth：デプス）マップのみを提供し、潜在的に多くの奥行きアーチファクトを含む。

ＴｏＦカメラはＳＬカメラよりも正確なｘ−ｙ座標を求めることができるが、ＴｏＦカメラも空間分解能に関して問題を有する。例えば、ｚ座標の形態の奥行き測定値は一般に、アナログ回路における非常に高速なスイッチング及び時間積分を必要とする技術を用いてＴｏＦカメラで生成され、それにより奥行きマップの達成可能な品質が制限される可能性があり、やはりかなりの数の奥行きアーチファクトを含む可能性がある画像を生じる。

概要
本発明の実施形態は、奥行きアーチファクトが実質的に除去される又は特定の効率的な方法で低減されることを可能にするように、奥行きマップ又は他のタイプの奥行き画像を処理する画像処理システムを提供する。これら実施形態の１つ又は複数は、ＳＬカメラ又はＴｏＦカメラのような３Ｄ撮像装置により生成された奥行き画像における１つ又は複数の奥行きアーチファクトに関連した奥行き情報を再構成するために、実質的に同じシーンからなるけれども、考えられる別の画像ソースからの少なくとも１つの２Ｄ画像を利用する超分解能技術を適用することを含む。

一実施形態において、画像処理システムは、第１の画像における少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルを識別し、１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成するために、第２の画像を利用して超分解能技術を適用するように構成された画像プロセッサを含む。超分解能技術を適用することは、再構成された奥行き情報を有する第３の画像を生成する。第１の画像は奥行き画像からなることができ、第３の画像は、第１の画像に概して対応する奥行き画像からなることができるが、奥行きアーチファクトは実質的に除去されている。第１、第２、及び第３の画像は全て、実質的に同じ空間分解能を有することができる。追加の超分解能技術が、第１、第２、及び第３の画像の空間分解能より大きい空間分解能を有する第４の画像を利用して適用され得る。追加の超分解能技術を適用することは、第３の画像に比べて増大した空間分解能を有する第５の画像を生成する。

本発明の実施形態は、ＳＬ及びＴｏＦカメラ及び他のタイプのリアルタイム３Ｄ撮像装置により生成された奥行き画像から歪み、及び他のタイプの奥行きアーチファクトを有効に除去することができる。例えば、奥行きアーチファクトに関連した潜在的な欠陥ピクセルは、識別されて除去され、対応する奥行き情報が第１の超分解能技術を用いて再構成され、次いで第２の超分解能技術を用いて結果としての奥行き画像の空間分解能を高めることができる。

一実施形態における画像処理システムのブロック図である。 一実施形態における奥行きアーチファクトを除去するためのプロセスの流れ図である。 複数の連続した潜在的な欠陥ピクセルの領域を含む奥行きアーチファクトを含む例示的な奥行き画像の一部を示す図である。 例示的な奥行き画像において所与の分離された潜在的な欠陥ピクセルの周りのピクセル近隣部を示す図である。 別の実施形態における奥行きアーチファクトを除去するためのプロセスの流れ図である。

詳細な説明
本発明の実施形態は、例示的な画像処理システムに関連して本明細書で例示され、当該例示的な画像処理システムは、画像プロセッサ又は他のタイプの処理デバイスを含み、奥行きアーチファクトを検出して実質的に除去する又は低減するために奥行きマップ又は他の奥行き画像を処理するために超分解能技術を実施する。しかしながら、理解されるべきは、本発明の実施形態は、奥行きアーチファクトを実質的に除去する又は低減することが望ましい任意の画像処理システム又は関連するデバイス又は技術に、より広く適用可能である。

図１は、本発明の一実施形態における画像処理システム１００を示す。画像処理システム１００は、画像ソース１０４からの画像を受け取り、処理された画像を画像の宛先１０６へ提供する画像プロセッサ１０２を含む。

画像ソース１０４は、例えば、ＳＬ及びＴｏＦカメラのような３Ｄ撮像装置、並びに２Ｄ赤外線画像、グレースケール画像、カラー画像、又は他のタイプの２Ｄ画像を任意の組み合わせで生成するように構成された２Ｄ撮像装置のような１つ又は複数の２Ｄ撮像装置を含む。画像ソース１０４の１つの別の例は、処理するための画像プロセッサ１０２に画像を提供する記憶デバイス又はサーバである。

画像の宛先１０６は例示的に、例えばヒューマンマシンインターフェースの１つ又は複数のディスプレイスクリーン、又は処理された画像を画像プロセッサ１０２から受け取る少なくとも１つの記憶デバイス又はサーバを含む。

本実施形態において、画像ソース１０４及び画像の宛先１０６から分離されているように示されているが、画像プロセッサ１０２は、共通の処理デバイス上で１つ又は複数の画像ソース又は画像の宛先と少なくとも部分的に組み合わされ得る。従って、例えば１つ又は複数の画像ソース１０４及び画像プロセッサ１０２は、同じ処理デバイス上で集合的に実現され得る。同様に、１つ又は複数の画像の宛先１０６及び画像プロセッサ１０２は、同じ処理デバイス上で集合的に実現され得る。

一実施形態において、画像処理システム１００は、ユーザのジェスチャーを認識するために画像を処理するビデオゲームシステム又は他のタイプのジェスチャーベースのシステムとして実現される。開示された技術は、ジェスチャーによるヒューマンマシンインターフェースを必要とする広範囲の様々な他のシステムで使用するために同様に適合されることができ、ロボット工学および他の工業用途における機械視覚システムのような、ジェスチャー認識以外の応用形態にも適用可能である。

本実施形態の画像プロセッサ１０２は、少なくとも１つの処理デバイスを用いて実現され、メモリ１１２に結合されたプロセッサ１１０を含む。また、画像プロセッサ１０２には、ピクセル識別モジュール１１４及び超分解能モジュール１１６が含まれる。ピクセル識別モジュール１１４は、画像ソース１０４の１つから受け取った第１の画像における少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルを特定するように構成される。超分解能モジュール１１６は、１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成するために画像ソース１０４の考えられる異なる１つから受け取った第２の画像を利用するように構成され、それにより再構成された奥行き情報を有する第３の画像を生成する。

本実施形態において、第１の画像が画像ソース１０４の第１の画像ソースからの第１の分解能の奥行き画像からなり、第２の画像が実質的に同じシーンからなり、且つ第１の画像ソースと異なる画像ソース１０４の別の１つからの、第１の分解能と実質的に同じ分解能を有する２Ｄ画像からなると、制限なしに想定される。例えば、第１の画像ソースは、構造光カメラ又はＴｏＦカメラのような３Ｄ画像ソースを含むことができ、第２の画像ソースは、赤外線画像、グレースケール画像またはカラー画像として第２の画像を生成するように構成された２Ｄ画像ソースを含むことができる。上述したように、他の実施形態において、同じ画像ソースが第１及び第２の画像の双方を供給する。

超分解能モジュール１１６は、第３の画像に比べて増大した空間分解能を有する第５の画像を生成するために、第４の画像を利用して第３の画像を処理するように更に構成され得る。そのような構成において、第１の画像は例示的に、画像ソース１０４の第１の画像ソースからの、第１の分解能の奥行き画像からなり、第４の画像は、実質的に同じシーンからなり且つ第１の画像ソースと異なる画像ソース１０４の別の１つからの、第１の分解能より大幅に大きい分解能を有する２Ｄ画像からなる。

画像プロセッサ１０２のピクセル識別モジュール１１４及び超分解能モジュール１１６を用いて実現される例示的な画像処理動作は、図２〜図５に関連してより詳細に後述される。

図１の実施形態におけるプロセッサ１１０及びメモリ１１２は、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理装置（ＣＰＵ）、数値演算ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、又は他の類似した処理デバイスのコンポーネント、並びに画像処理回路の他のタイプ及び構成を任意の組み合せで含む少なくとも１つの処理デバイスの個々の部分を含むことができる。

ピクセル識別モジュール１１４及び超分解能モジュール１１６又はその一部は、メモリ１１２に格納され、プロセッサ１１０により実行されるソフトウェアの形態で少なくとも部分的に実現され得る。対応するプロセッサにより実行するためのソフトウェアコードを格納する所与の係るメモリは、コンピュータ可読媒体または内部に組み入れられたコンピュータプログラムコードを有する他のタイプのコンピュータプログラム製品として本明細書でより一般的に呼ばれるものの例であり、例えば、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）、磁気メモリ、光メモリ、又は任意の組合せでの他のタイプの記憶デバイスのような、電子メモリを含むことができる。上述したように、プロセッサは、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＡＬＵ、ＤＳＰ、又は他の画像処理回路の一部または組み合わせを含むことができる。

また、理解されるべきは、本発明の実施形態は、集積回路の形態で実現され得る。所与の係る集積回路の具現化形態において、同一のダイは一般に、半導体ウェハーの表面上で繰り返されたパターンで形成される。各ダイは、本明細書で説明されるような画像処理回路を含み、他の構造または回路を含むことができる。個々のダイは、ウェハーから切断またはダイシングされて、集積回路としてパッケージされる。当業者ならば、集積回路を製作するために、如何にしてウェハーをダイシングしてダイをパッケージするかを知っているであろう。そのように製造された集積回路は、本発明の実施形態とみなされる。

図１に示されたような画像処理システム１００の特定の構成は単なる例示であり、他の実施形態のシステム１００は、特に図示されたこれらのものに加えて又はこれらの代わりに他の要素を含むことができ、そのようなシステムの一般的な具現化形態において一般に見出されるタイプの１つ又は複数の要素を含む。

さて、図２の流れ図を参照すると、一実施形態における３Ｄ撮像装置により生成された奥行き画像において奥行きアーチファクトを除去するためのプロセスが示される。プロセスは、ピクセル識別モジュール１１４及び超分解能モジュール１１６を用いる画像プロセッサ１０２により実現されると想定される。この実施形態のプロセスは、例示的にＭ×Ｎのピクセルの空間分解能またはサイズを有する奥行き画像Ｄからなる第１の画像２００から始まる。係る画像は、ＳＬカメラ又はＴｏＦカメラのような３Ｄ撮像装置により提供されると想定され、それ故に一般に１つ又は複数の奥行きアーチファクトを含むであろう。例えば、奥行きアーチファクトは、ＳＬカメラ又は他の３Ｄ撮像装置を用いた場合に発生することが多い「シャドー（影、陰影）」を含むかもしれない。

ステップ２０２において、奥行き画像Ｄにおける少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルが識別される。これら潜在的な欠陥ピクセルは具体的には、本明細書において本実施形態および他の実施形態の文脈において「壊れた」ピクセルと呼ばれ、奥行き画像Ｄにおける１つ又は複数の奥行きアーチファクトに関連する確率が十分に高いと判断される任意のピクセルを含むことを一般的に理解されるべきである。そのように識別される任意のピクセルは、これらピクセルの除去または他の後続処理を容易にするように、ステップ２０２において壊れたピクセルとしてマーキング又は示されることができる。代案として、壊れたピクセルのサブセットのみが、除去のために、又は閾値化または他の基準に基づいた他の後続処理のためにマーキングされてもよい。

ステップ２０４において、ステップ２０２において識別された「壊れたピクセル」が、奥行き画像Ｄから除去される。留意すべきは、他の実施形態において、壊れたピクセルは、完全に除去される必要はない。代わりに、これらピクセルのサブセットのみが、閾値化または他の所定のピクセル除去基準に基づいて除去されることができ、又は奥行き情報の後続の再構成を容易にするように、特定の追加の処理動作がこれらピクセルの少なくともサブセットに適用され得る。従って、ステップ２０２において潜在的な欠陥として識別された全ピクセルの明確な除去は、必要ない。

ステップ２０６において、超分解能技術が、別の出所からの通常の画像として本実施形態で例示的に呼ばれる第２の画像２０８を用いて、修正される奥行き画像Ｄに適用される。従って、例えば第２の画像２０８は、実質的に同じシーンからなる画像とすることができるが、２Ｄ撮像装置のような、画像ソース１０４の異なる１つにより提供され、それ故に一般に奥行き画像Ｄで見出されるタイプの奥行きアーチファクトを含まないであろう。この実施形態における第２の画像２０８は、奥行き画像Ｄと同じ分解能（解像度）を有するものと想定され、それ故にＭ×Ｎ画像であるが、奥行き画像と対照的に通常の画像からなる。しかしながら、他の実施形態において、第２の画像２０８は、奥行き画像Ｄよりも高い分解能を有することができる。本実施形態および本明細書で説明される他の実施形態において使用され得る通常の画像の例には、２Ｄ撮像装置により生成される赤外線画像、グレースケール画像またはカラー画像が含まれる。

従って、本実施形態のステップ２０６は一般に、２つの異なるタイプの画像（除去される壊れたピクセルを備える奥行き画像および通常の画像、双方は実質的に同じサイズを有する）を利用する。

通常の画像２０８を利用するステップ２０６の超分解能技術の適用は、ステップ２０４の画像から除去された壊れたピクセルの奥行き情報を再構成することに役立ち、第３の画像２１０を生成する。例えば、ステップ２０４で除去された壊れたピクセルの奥行き情報は、奥行きマップＤの近接するピクセルからの奥行き情報を、第２の画像２０８に対応する赤外線画像、グレースケール画像またはカラー画像からの輝度データと組み合わせることにより再構成され得る。

この動作は、奥行き画像Ｄの空間分解能を増大せずに、除去されたピクセルに関連する奥行きグリッチ又は他の奥行きアーチファクトから回復するように視認され得る。本実施形態における第３の画像２１０は、壊れたピクセルを含まないけれども、代わりに再構成された奥行き情報を含む分解能（解像度）Ｍ×Ｎの奥行き画像Ｅからなる。ステップ２０６の超分解能技術は、対応するピクセル格子が、ランダムな位置にある壊れたピクセルがステップ２０４で除去されたギャップを含むように、奥行き点の不規則的なセットを扱うことができるべきである。

より詳細に後述されるように、ステップ２０６で適用される超分解能技術は、例えば、少なくとも部分的に、マルコフ確率場モデルに基づくことができる。しかしながら、理解されるべきは、除去されるピクセルに関連した奥行き情報を再構成するのに適した他の多くの超分解能技術を使用できる。

また、ステップ２０２、２０４、及び２０６は、更なる奥行きアーチファクトの場所を見つけて実質的に除去するために、繰り返され得る。

図２の実施形態において、第１の画像２００、第２の画像２０８及び第３の画像２１０の全ては、ピクセルの同じ空間分解能またはサイズ、即ちＭ×Ｎピクセルの分解能を有する。第１及び第３の画像は奥行き画像であり、第２の画像は通常の画像である。より具体的には、第３の画像は、第１の画像に概して対応する奥行き画像であるが、１つ又は複数の奥行きアーチファクトが実質的に除去されている。やはり、第１、第２、及び第３の画像の全ては、実質的に同じ空間分解能を有する。図５に関連して後述される別の実施形態において、第３の画像２１０の空間分解能は、ステップ２０６において奥行き情報を再構成するために適用されるものとは一般的に異なる技術である別の超分解能技術を用いて増大される。

図２のプロセスにより生成された奥行き画像Ｅは一般に、元の奥行き画像Ｄに比べて、より良好な視覚的および道具的品質、より規則的で自然な形状のより先鋭なエッジ、低いノイズの影響、及び奥行きの外れ値、斑点、反射率の高い表面からの色が濃いスポット又は他の奥行きアーチファクトのないことにより、特徴付けられる。

さて、図２のプロセスのステップ２０２における奥行き画像Ｄの潜在的な欠陥ピクセルを識別するための例示的な技術が、図３及び図４に関連してより詳細に説明される。最初に留意すべきは、係るピクセルは、幾つかの実施形態において、ＳＬカメラ又はＴｏＦカメラのような、関連する３Ｄ撮像装置による個々の所定のエラー値に対して設定された奥行き値を有する任意のピクセルとして識別され得る。例えば、係るカメラは、対応するピクセルがその奥行き情報に関して潜在的に欠陥であることを示すために、所定のエラー値としてｚ＝０の奥行き値を使用するように構成され得る。このタイプの実施形態において、所定のエラー値を有する任意のピクセルは、ステップ２０２の壊れたピクセルとして識別され得る。

奥行き画像Ｄにおいて潜在的な欠陥ピクセルを識別するための他の技術は、図３に示されるように、連続した潜在的な欠陥ピクセルの領域を検出することを含み、図４に示されるように、特定の潜在的な欠陥ピクセルを検出することを含む。

さて、図３を参照すると、奥行き画像Ｄの一部が、複数の連続した潜在的な欠陥ピクセルの網掛け部分からなる奥行きアーチファクトを含むように示される。網掛け部分の連続した潜在的な欠陥ピクセルのそれぞれは、網掛け部分の外側のピクセルの奥行き値とは実質的に異なる個々の予想外の奥行き値を有する連続したピクセルを含む可能性がある。例えば、本実施形態の網掛け部分は、網掛けされていない周囲の境界により取り囲まれ、当該網掛け部分は、当該周囲の境界に関連して以下の不等式を満たすように定義され得る。即ち、
｜mean{d_i:pixel i is in the area} - mean{d_j:pixel j is in the border}|>d_T
ここで、d_Tは閾値である。係る予想外の奥行き領域が検出される場合、検出された領域のそれぞれの内側の全ピクセルは、壊れたピクセルとしてマーキングされる。他の実施形態において、多くの他の技術を用いて、所与の奥行きアーチファクトに対応する連続した潜在的な欠陥ピクセルの領域を識別することができる。例えば、上述した不等式は、以下のようにstatisticを利用するためにより一般的に表され得る。即ち、
｜statistic{d_i:pixel i is in the area} - statistic{d_j:pixel j is in the border}|>d_T
ここで、statisticは、メジアン又はｐノルムの距離尺度のような、所与の以前の、又は任意の幅広い他のタイプの統計量としての平均（mean）とすることができる。ｐノルムの距離尺度の場合、上記の不等式のstatisticは、以下のように表され得る。

ここで、この例のｘ_ｉは、より具体的には所与のピクセルに関連したベクトルｘの要素を示し、ここでｐ≧１である。

図４は、奥行き画像Ｄにおける所与の分離された潜在的な欠陥ピクセルの周囲のピクセルの近隣部を示す。この実施形態において、ピクセルの近隣部は、特定のピクセルｐを取り囲む８個のピクセルｐ_１〜ｐ_８を含む。この実施形態の特定のピクセルｐは、特定のピクセルの奥行き値、及びピクセルの近隣部における個々のピクセルの奥行き値の平均および標準偏差の少なくとも一方に基づいて、潜在的な欠陥ピクセルとして識別される。

一例として、特定のピクセルｐに対するピクセルの近隣部が、ピクセルｐのｎ個の隣要素の集合Ｓ_ｐを例示的に含む。即ち、
Ｓ_ｐ＝｛ｐ_１、・・ｐ_ｎ｝
ここで、ｎ個の隣要素のそれぞれは以下の不等式を満たす。即ち、
‖ｐ−ｐ_ｉ‖＜ｄ
ここで、ｄは、閾値または近隣部の半径であり、‖．‖は、ｘ−ｙ平面において、個々の中心間を測定した場合のピクセルｐとｐ_ｉとの間のユークリッド距離を示す。この例においてユークリッド距離が使用されるが、マンハッタン距離尺度または前述したタイプのより一般的なｐノルムの距離尺度のような、他のタイプの距離尺度を使用することができる。円の半径に対応するｄの例は、ピクセルｐの８個のピクセルの近隣部に関して図４に示される。しかしながら、理解されるべきは、個々の特定のピクセルに対するピクセルの近隣部を識別するために、多くの他の技術が使用され得る。

やはり一例として、所与の特定のピクセルｐは、以下の不等式が満たされる場合に、潜在的な欠陥ピクセルとして識別され、壊れたピクセルとしてマーキングされ得る。即ち、
｜ｚ_ｐ−ｍ｜＞ｋσ
ここで、ｚ_ｐは特定のピクセルの奥行き値であり、ｍ及びσはそれぞれ、ピクセルの近隣部における個々のピクセルの奥行き値の平均および標準偏差であり、ｋは信頼度を指定する乗率である。一例として、幾つかの実施形態における信頼係数は、ｋ＝３により与えられる。様々な他の距離尺度が、他の実施形態において使用され得る。

上記の例における平均ｍ及び標準偏差σは、以下の式を用いて求められ得る。

しかしながら、理解されるべきは、σの他の定義が、他の実施形態において使用され得る。

上述したように識別される個々の潜在的な欠陥ピクセルは、例えば奥行きマップＤを生成するために使用される３Ｄ撮像装置の物理的限界に起因するスペックル状のノイズを含む奥行きアーチファクトに対応するかもしれない。

個々の潜在的な欠陥ピクセルを識別するための閾値化の手法は、オブジェクトの境界からピクセルを時々マーキングして除去することができるが、これは、ステップ２０６で適用される超分解能技術が任意の係る除去されたピクセルの奥行き値を再構成することができるので、問題にならない。

また、潜在的な欠陥ピクセルを識別するための上述した技術の複数の例は、パイプライン型の具現化形態において、場合によっては１つ又は複数の追加のフィルタを用いて、ステップ２０２で直列的に具現化され得る。

上述したように、図２のプロセスは、空間分解能を実質的に上げるために奥行き画像Ｅに適用される追加の潜在的な別個の超分解能技術の応用形態でもって補足され得る。このタイプの実施形態が図５の流れ図に示される。図示されたプロセスは、図２に関連して前述されたのと実質的に同じように、第３の画像２１０を生成するために第１の画像２００及び第２の画像２０８を利用するステップ２０２、２０４及び２０６を含む。プロセスは更に、追加のステップ２１２を含み、追加のステップ２１２において、第１、第２、及び第３の画像よりも大きい空間分解能を有する第４の画像２１４を利用して、追加の超分解能技術が適用される。

本実施形態におけるステップ２１２で適用される超分解能技術は一般に、ステップ２０６で適用されるものとは異なる技術である。例えば、上述したように、ステップ２０６で適用される超分解能技術は、奥行き情報の再構成に特に良好に適した超分解能技術または別の超分解能技術に基づいたマルコフ確率場を含むことができる。本発明の実施形態で使用するように適合され得る超分解能技術に基づいた例示的なマルコフ確率場に関する更なる詳細は、例えば、J. Diebel他著、「An Application of Markov Random Fields to Range sensing」,NIPS, MIT Press, pp. 291-298, 2005年に見出されることができ、これは参照により本明細書に組み込まれる。対照的に、ステップ２１２で適用される超分解能技術は、双方向フィルタに少なくとも部分的に基づいた超分解能技術のような、より高い分解能の画像を用いて低い分解能の画像の空間分解能を上げるのに特に良好に適した超分解能技術を含むことができる。このタイプの超分解能技術の例は、Q. Yang他著、「Spatial-Depth Super Resolution for Range Images」、IEEE Conference on Computer Vision and Pattern Recognition（CVPR）、2007年に説明されており、これは参照により本明細書に組み込まれる。

上記のことは、本発明の実施形態に使用され得る超分解能技術の単なる例である。本明細書で使用されるような用語「超分解能技術」は、場合によっては１つ又は複数の他の画像を用いることにより、所与の画像の分解能を高めるために使用され得る技術を包含するように広く解釈されることが意図されている。

ステップ２１２における追加の超分解能技術の適用は、第３の画像に比べて増大した空間分解能を有する第５の画像２１６を生成する。第４の画像２１４は、Ｍ１×Ｎ１ピクセルの空間分解能またはサイズを有する通常の画像であり、ここで、Ｍ１＞Ｍ及びＮ１＞Ｎであると想定される。第５の画像２１６は、第１の画像２００に概して対応する奥行き画像であるが、１つ又は複数の奥行きアーチファクトが実質的に除去され、空間分解能が増大している。

第３の画像２０８と同様に、第４の画像２１４は、第１の画像２００と実質的に同じシーンの２Ｄ画像であり、第１の画像を生成するために使用される３Ｄ撮像装置とは異なる撮像装置により例示的に提供される。例えば、第４の画像２１４は、２Ｄ撮像装置により生成される赤外線画像、グレースケール画像またはカラー画像とすることができる。

上述されたように、異なる超分解能技術が一般にステップ２０６とステップ２１２に使用される。例えば、壊れたピクセルを除去するために奥行き情報を再構成するためにステップ２０６で使用される超分解能技術は、ｘ−ｙ平面において十分に正確な結果を提供することができない。従って、ステップ２１２で適用される超分解能技術は、横方向の空間的エラーを補正するように最適化され得る。例には、前述したような双方向フィルタに基づいた超分解能技術、又は奥行き画像Ｅの特徴に対するものに比べて、通常の画像２１４のエッジ、輪郭、境界および他の特徴に敏感であるように構成された超分解能技術が含まれる。奥行きエラーは図５のプロセスのこのステップにおいて特に重要ではない。その理由は、これら奥行きエラーが、ステップ２０６で適用された超分解能技術により実質的に補正されるからである。

図５において、Ｍ１×Ｎ１の通常の画像２１４からＭ×Ｎの通常の画像２０８への破線の矢印は、後の画像がダウンサンプリング又は他の類似の動作を用いて、前の画像から生成され得ることを示す。

図５の実施形態において、奥行きアーチファクトに関連した潜在的な欠陥ピクセルが識別されて除去され、対応する奥行き情報がステップ２０６において第１の超分解能技術を用いて再構成され、続いてステップ２１２において第２の超分解能技術を用いて結果としての奥行き画像の空間分解能が高められる。この場合、第２の超分解能技術は、第１の超分解能技術とは一般に異なる。

また、留意すべきは、図５の実施形態は、奥行きアーチファクトを除去しない単一の超分解能技術の応用形態を含む従来の構成に優る著しい安定性の利点を提供する。図５の実施形態において、第１の超分解能技術は、奥行きアーチファクトを実質的に備えない低分解能の奥行きマップを達成し、それにより空間分解能を改善する際に第２の超分解能技術の性能を強化する。

ステップ２０６において第１の超分解能技術のみを用いる図２の実施形態は、奥行きマップの奥行きアーチファクトの除去のみが必要とされる応用形態において、又は図５の実施形態のステップ２１２における第２の超分解能技術を用いて奥行きマップの空間分解能を改善するために利用可能な処理能力または時間が不十分である場合に、使用され得る。しかしながら、画像プロセッサ１０２の前処理段階として図２の実施形態を使用することは、任意の後続の分解能強化プロセスから結果として生じる出力画像において著しい品質の改善をもたらすことができる。

これら及び他の実施形態において、歪み及び他のタイプの奥行きアーチファクトが、ＳＬカメラ及びＴｏＦカメラ及び他のタイプのリアルタイム３Ｄ撮像装置により生成された奥行き画像から有効に除去される。

再び強調されるべきは、本明細書で説明されたような本発明の実施形態が単なる例示であることが意図されていることである。例えば、本発明の他の実施形態は、多種多様の異なるタイプ及び構成の画像処理回路、ピクセル識別技術、超分解能技術、及び本明細書で説明された特定の実施形態において利用されるもの以外の他の処理動作を利用して実現され得る。更に、特定の実施形態を説明する文脈において本明細書でなされた特定の仮定は、他の実施形態に適用する必要はない。以下の特許請求の範囲の範囲内にあるこれら及び多くの他の代替の実施形態は、当業者に容易に明らかになるであろう。

Claims (24)

1. 第１の画像における少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルを識別し、
   前記１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成するために、第２の画像を利用して超分解能技術を適用することを含み、
   前記超分解能技術の適用が、再構成された奥行き情報を有する第３の画像を生成し、
   前記識別するステップ及び前記適用するステップが、メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスにおいて実施される、方法。
2. 前記第１の画像が奥行き画像からなり、前記第３の画像は、前記第１の画像に概して対応する奥行き画像からなるが、前記少なくとも１つの奥行きアーチファクトが実質的に除去されている、請求項１に記載の方法。
3. 第４の画像を利用して追加の超分解能技術を適用することを更に含み、
   前記追加の超分解能技術の適用が、前記第３の画像に比べて増大した空間分解能を有する第５の画像を生成する、請求項１に記載の方法。
4. 前記第１の画像が奥行き画像からなり、前記第５の画像は、前記第１の画像に概して対応する奥行き画像からなるが、前記少なくとも１つの奥行きアーチファクトが実質的に除去されて前記分解能が増大している、請求項３に記載の方法。
5. 前記１つ又は複数の潜在的な欠陥ピクセルを識別することが、
   前記潜在的な欠陥ピクセルの少なくともサブセットをマーキングし、
   前記超分解能技術を適用する前に、前記第１の画像から前記マーキングされた潜在的な欠陥ピクセルを除去することを含む、請求項１に記載の方法。
6. 前記第１の画像が、第１の画像ソースからの第１の分解能の奥行き画像からなり、前記第２の画像は、実質的に同じシーンからなり且つ前記第１の分解能と実質的に同じ分解能を有し、且つ前記第１の画像ソースとは異なる別の画像ソースからの二次元画像からなる、請求項１に記載の方法。
7. 前記第１の画像が、第１の画像ソースからの第１の分解能の奥行き画像からなり、前記第４の画像は、実質的に同じシーンからなり且つ前記第１の分解能より実質的に大きい分解能を有し、且つ前記第１の画像ソースとは異なる別の画像ソースからの二次元画像からなる、請求項３に記載の方法。
8. 前記１つ又は複数の潜在的な欠陥ピクセルを識別することが、
   関連する奥行き撮像装置により個々の所定のエラー値に設定された奥行き値を有する前記第１の画像のピクセルを検出することを含む、請求項１に記載の方法。
9. 前記１つ又は複数の潜在的な欠陥ピクセルを識別することが、
   領域の外側のピクセルの奥行き値とは実質的に異なる個々の予想外の奥行き値を有する連続したピクセルの前記領域を検出することを含む、請求項１に記載の方法。
10. 前記個々の予想外の奥行き値を有する連続したピクセルの前記領域が、前記領域の周囲の境界に関連して以下の不等式を満たすように定義され、即ち
    ｜statistic{d_i:pixel i is in the area} - statistic{d_j:pixel j is in the border}|>d_T
    ここで、d_Tは閾値であり、statisticは平均、メジアン及び距離尺度の１つを示す、請求項９に記載の方法。
11. 前記１つ又は複数の潜在的な欠陥ピクセルを識別することが、
    前記ピクセルの特定の１つを識別し、
    前記特定のピクセルに対してピクセルの近隣部を識別し、
    前記特定のピクセルの奥行き値、並びに前記ピクセルの近隣部における個々のピクセルの奥行き値の平均および標準偏差の少なくとも一方に基づいて、潜在的な欠陥ピクセルとして前記特定のピクセルを識別することを含む、請求項１に記載の方法。
12. 前記特定のピクセルに対してピクセルの近隣部を識別することが、特定のピクセルｐのｎ個の隣要素の集合Ｓ_ｐ、即ち
    Ｓ_ｐ＝｛ｐ_１、・・ｐ_ｎ｝
    を識別することを含み、
    ここで、ｎ個の隣要素のそれぞれは以下の不等式を満たし、即ち、
    ‖ｐ−ｐ_ｉ‖＜ｄ
    ここで、ｄは、近隣部の半径であり、‖．‖は、ｘ−ｙ平面において、ピクセルｐとｐ_ｉとの間の距離尺度を示す、請求項１１に記載の方法。
13. 前記潜在的な欠陥ピクセルとして前記特定のピクセルを識別することが、以下の不等式、即ち
    ｜ｚ_ｐ−ｍ｜＞ｋσ
    を満たす場合に、前記潜在的な欠陥ピクセルとして前記特定のピクセルを識別することを含み、
    ここで、ｚ_ｐは特定のピクセルの奥行き値であり、ｍ及びσはそれぞれ、前記ピクセルの近隣部における個々のピクセルの奥行き値の平均および標準偏差であり、ｋは信頼度を指定する乗率である、請求項１１に記載の方法。
14. 前記超分解能技術を適用することが、マルコフ確率場モデルに少なくとも部分的に基づいている超分解能技術を適用することを含む、請求項１に記載の方法。
15. 前記追加の超分解能技術を適用することが、双方向フィルタに少なくとも部分的に基づいている超分解能技術を適用することを含む、請求項３に記載の方法。
16. 内部に組み入れられたコンピュータプログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータプログラムコードは、前記処理デバイスにおいて実行された場合に、前記処理デバイスに請求項１に記載の方法を実行させる、コンピュータ可読記憶媒体。
17. メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスを含み、
    前記少なくとも１つの処理デバイスが、
    第１の画像における少なくとも１つの奥行きアーチファクトに関連した１つ又は複数の潜在的な欠陥ピクセルを識別するように構成されたピクセル識別モジュールと、
    前記１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成するために第２の画像を利用するように構成された超分解能モジュールとを含み、
    前記超分解能モジュールが、前記再構成された奥行き情報を有する第３の画像を生成する、装置。
18. 前記超分解能モジュールが、前記第３の画像に比べて増大した空間分解能を有する第５の画像を生成するために、第４の画像を利用して前記第３の画像を処理するように更に構成されている、請求項１７に記載の装置。
19. 前記第１の画像が、第１の画像ソースからの第１の分解能の奥行き画像からなり、前記第２の画像は、実質的に同じシーンからなり且つ前記第１の分解能と実質的に同じ分解能を有し、且つ前記第１の画像ソースとは異なる別の画像ソースからの二次元画像からなる、請求項１７に記載の装置。
20. 前記第１の画像ソースが、構造光カメラ又は飛行時間カメラの一方を含む三次元画像ソースからなる、請求項１９に記載の装置。
21. 前記第２の画像ソースが、赤外線画像、グレースケール画像、及びカラー画像の１つとして前記第２の画像を生成するように構成された二次元画像ソースからなる、請求項１９に記載の装置。
22. 前記第１の画像が、第１の画像ソースからの第１の分解能の奥行き画像からなり、前記第４の画像は、実質的に同じシーンからなり且つ前記第１の分解能より実質的に大きい分解能を有し、且つ前記第１の画像ソースとは異なる別の画像ソースからの二次元画像からなる、請求項１８に記載の装置。
23. 請求項１７に記載の装置を含む画像処理システム。
24. 請求項２３に記載の画像処理システムを含むジェスチャー検出システム。
    

Images