JP2016201117A - 深度測定の品質の向上 - Google Patents

Abstract

【課題】深度マップ画像における欠陥のある深度値を修正する。【解決手段】欠陥値は、連続する平らな表面上に位置している、ノイズがあるピクセル４３、および、前景オブジェクトと背景オブジェクトとの間のエッジに沿って位置している、補間されたフライング・ピクセル４６、４８に対応している。前景オブジェクトおよび背景オブジェクトを含むシーンの深度マップにアクセスするステップと、ある方法を使用して、深度マップ内のノイズおよび補間された深度測定を検出し識別するステップと、具体的に定義された重み修正係数を使用して、検出された欠陥のあるノイズおよび補間された深度測定のそれぞれに対する修正を定義し適用するステップとを含む。【選択図】図４

Description

本発明は、深度マップや「三次元ポイント・クラウド」データ情報を含んだ画像などの測距測定の品質向上に関し、特に、画像化された三次元的シーンにおける、深度測定のノイズ除去、および、前景オブジェクトと背景オブジェクトとの間のエッジに対応するピクセルに関連する問題の多い補間深度値の修正に関する。

深度測定カメラ・システムは、家庭用電子システムおよびコンシューマ・ゲームにおけるジェスチャー認識や人体骨格追跡のために使用される技術によりますます人気が高まっている、最近の測距測定デバイスである。

主として、このようなアプリケーションに適した２つのタイプの環境照明に依存しない深度知覚あるいは三次元（３Ｄ）カメラ技術が存在している。一方のタイプの３Ｄカメラ技術は、例えばPrimeSense社によって提供されている、Microsoft社のKinect for Xbox 360（Kinectとして知られている）のビデオ・ゲーム・コンソールにおいてジェスチャー認識のために使用される構造光３Ｄカメラである。（Microsoft、Kinect、およびKinect for Xbox 360は、Microsoft Corporationの商標である。）第２のタイプの３Ｄ知覚カメラ技術は、いくつかの独立した会社によって開発・製造され、例えば、自動車産業で、あるいは、ビデオ・ゲーム、ロボット、家庭オートメーションなどの人間対機械のインタラクションを含む様々な環境におけるジェスチャー認識および人体骨格追跡のために使用される、飛行時間（ＴｏＦ）カメラである。

しかし、３Ｄ知覚カメラのタイプに無関係に、複数のピクセルを含むシーンの画像が提供され、画像の個々のピクセルには、画像化されたオブジェクトからカメラまでの距離に関連する情報が少なくとも含まれており、このような情報は測定された深度値である。少なくとも深度測定情報が埋め込まれたこのような画像は「深度マップ」と呼ばれている。他のタイプの画像は、埋め込まれた深度測定情報、例えば「３Ｄポイント・クラウド」データ・マトリックスを含むことも可能であり、画像には、カメラ座標系に、あるいは仮想環境座標系に関する埋め込まれた情報が含まれている。このような画像では、ｘおよびｙは、それぞれ水平および垂直軸に対応しており、ｚ軸は深度に対応している。カメラ座標系から仮想環境座標系への変換は投射の問題であり、そして、このような変換は一般に「シーン較正（scene calibration）」と呼ばれている。

したがって、深度測定を提供する画像を利用する任意のアプリケーションまたはシステムは、解像度、ノイズ、精度、頑丈性、および、再現性の点で測定品質に依存している。とりわけ、主として３Ｄ ＴｏＦカメラ技術を考慮すると、シーンオブジェクトのエッジの周りの深度測定は、単一の、本来鮮明なエッジに対して、少なくとも１ピクセル半径で深度データに影響を及ぼすことがある、「フライング・ピクセル」とも呼ばれる、畳込みおよび／または補間の人為的結果を示すことが知られている。このような「フライング・ピクセル」は、オブジェクトのエッジの位置に生じるあらゆる潜在的な運動ぶれとは独立の、空間的な人為的結果であり、除去し、かつ／または、新たに計算される深度値に対応する、シーン中の正しい位置に修復しなければならず、新たに計算される深度値により、「フライング・ピクセル」は前景オブジェクトまたは背景オブジェクトのいずれかに適切に割り当てられる。このような修復の目的は、後続するオブジェクト検出の信頼性を著しく改善し、かつ、３Ｄシーン内のオブジェクトの深度情報の品質を向上させることである。

したがって、本発明の目的は、測距測定、例えば深度マップの、または、３Ｄポイント・クラウドの形態で提供される測定の品質を、ノイズがあるピクセル値の形態および／または補間された「フライング・ピクセル」値の形態であり得る欠陥ピクセルを検出することにより向上させる方法およびシステムを提供することである。特に、ノイズがあるピクセル値は、深度マップ全体に関連している。しかしながら、これらは、平らな連続する表面の品質を低下させる傾向がある。「フライング・ピクセル」値は、深度マップや対応する３Ｄポイント・クラウドに表現される３Ｄオブジェクトのエッジに関連しており、これらのエッジは、前景オブジェクトと、異なる深度に位置している背景オブジェクトとの間における境界として定義される。

本発明の一態様によれば、三次元画像における欠陥ピクセル値についての深度マップの品質を向上させるための方法であって、
ａ）シーンに関連する深度測定データを決定するステップと、
ｂ）深度測定データ内の欠陥を検出するステップと、
ｃ）検出された欠陥ピクセルのそれぞれに深度修正を定義するステップと、
ｄ）検出された欠陥ピクセルのそれぞれの深度測定データに深度修正を適用するステップと
を含む方法が提供される。

本発明の方法を使用することにより、とりわけ深度測定ノイズを減らすことができるため、深度マップあるいは３Ｄポイント・クラウド画像の品質を著しく向上させることができる。特に、オブジェクトのエッジに位置している補間された「フライング・ピクセル」に含まれている情報が修復され、その結果、これらのエッジが鮮明化され、したがって、それらがさらなる信号処理方法のために適切で、かつ、有用になる。

さらに、このような方法は深度マップ深度データ値の品質に依存しているため、本発明の１つの結果として、三次元シーン内の対象物に対して実施されるジェスチャー認識のような運動に関連するデータ解析と同様に、ユーザおよびオブジェクトの検出、識別、追跡が著しく改善される。もう１つの結果として、より容易に、より高い信頼性および精度で、シーン内のユーザの形状およびオブジェクトの形状に関連する画像の抽出を実施することができる。

さらに、オブジェクトの改良された検出により、３Ｄシーン内のユーザおよびオブジェクトの著しく良好なモデル化も提供され、特に、ユーザの身体部分とオブジェクトまたはそれ自体との溶け込みが最小化され、また、ユーザの身体の形状をより正確にモデル化することができるため、人体骨格への適合およびその追跡も著しく改善される。

本発明の好ましい実施例では、ステップｂ）は、ピクセルのそれぞれに、少なくとも１つの方向における、深度に関連する方向導関数を決定するステップを含む。

ステップｃ）は、好適には、識別された欠陥ピクセルのそれぞれについて、
ｃ１）深度の方向導関数に関連してベクトルを決定するステップと、
ｃ２）決定されたベクトルに対する法線を決定するステップと、
ｃ３）決定されたベクトル、および、決定されたベクトルに対する法線のうちの１つの結果をデータ・パラメータと共に少なくとも用いて、重み係数パラメータを決定するステップであって、その値が、ピクセル幅によって表される実空間における長さの大きさに関連している重み係数パラメータであるステップと、
ｃ４）重み係数パラメータ、および、隣接するピクセルに関連する情報のうちの少なくとも１つを用いて、修正係数を決定するステップと
を含む。

一実施例では、ステップｃ４）は、隣接するピクセルの深度値、重み係数、および、修正係数のうちの少なくとも１つを用いるステップをさらに含むことができる。代わりに、または、加えて、ステップｃ４）は、隣接するピクセルに関連する情報の統計的モードを用いるステップを含むことが可能である。

有利には、ステップｃ４）は、隣接する有効なピクセルのみを用いる。

ステップｃ４）は、隣接するピクセルにわたって決定される回帰平面から抽出される深度情報を用いるステップをさらに含むことができる。

本発明の一実施例では、欠陥ピクセルは、三次元画像内の前景オブジェクトと背景オブジェクトとの間のエッジに位置している補間されたピクセル・データ値を含むことができる。この場合、ステップｂ）は、ピクセルの少なくとも１つの深度の方向導関数が既定された閾値より大きく、かつ、少なくとも２つの連続する方向導関数が同じ符号を有している場合に、エッジにあるピクセルの欠陥のある深度測定を識別するために深度に関連する方向導関数を用いるステップをさらに含むことができる。これにより、上で説明した「フライング・ピクセル」のテストが提供される。

また、「フライング・ピクセル」の修正に加えて、本発明の方法は、「ノイズがあるピクセル」の修正も行う。この場合、ステップｂ）は、三次元画像内の連続面のピクセルの欠陥のある測定を決定するステップを含む。

この場合、ステップｂ）は、ピクセルの少なくとも１つの深度の方向導関数が既定された閾値より大きく、かつ、そのピクセルの他の深度の方向導関数もまた既定された閾値より大きく、かつ、２つの方向導関数が反対の符号を有している場合に、連続する表面上のピクセルの欠陥のある深度測定を識別するために深度に関連する方向導関数を用いるステップをさらに含む。

欠陥ピクセルが「ノイズがあるピクセル」である場合、ステップｃ）は、識別された欠陥ピクセルのそれぞれについて、
ｃ５）２つの直交軸を用いて、深度の方向導関数のデータ値に関連してベクトルを決定するステップと、
ｃ６）決定されたベクトルの半径値、決定されたベクトルに対する法線情報、およびピクセルによって表されるシーン内の実幅のうちの少なくとも１つを用いて、重み係数パラメータを決定するステップと、
ｃ７）決定された重み係数パラメータを、隣接するピクセルに関連する情報と組み合わせて用いて、修正係数を適用するステップと
をさらに含むことができる。

一実施例では、深度に関連する方向導関数は、少なくとも２つの直交軸を用いて決定される。別の実施例では、深度に関連する方向導関数は、法線マップを用いて決定される。別の好ましい実施例では、深度に関連する方向導関数が法線マップを決定するために用いられることがある。

本発明の一実施例では、上記方法は、「フライング・ピクセル」および「ノイズがあるピクセル」のうちの少なくとも１つを修正するために使用され、好ましい実施例では、上記方法は、「フライング・ピクセル」および「ノイズがあるピクセル」を修正する。

ステップａ）は、深度マップの形態、３Ｄポイント・クラウドの形態、または、任意の他の形態で、３Ｄ知覚デバイス、または、カメラによって提供される、あるいは、記憶媒体からの深度測定データにアクセスするステップを含むことができる。

次に、本発明をより深く理解するために、単なる実例にすぎないが、添付の図面を参照する。

三次元シーンの二次元上面図を示す概略図である。 図１の三次元シーンの二次元前方カメラ・ビューを示す概略図である。 図１の二次元上面図に対する三次元データ測定を表す概略図である。 深度値信号をピクセル位置と共に表す概略図である。 図４と同様であるが、本発明に従った修正後の深度値信号およびピクセル位置を表す図である。 本発明による深度マップのノイズ除去およびエッジ修正方法におけるステップのフローチャートである。 「フライング・ピクセル」を中心とする３×３の核を、２つの直交軸における隣接するピクセルと共に示す図である。 「フライング・ピクセル」を中心とする３×３の核を、有効であり、かつ、前景または背景のオブジェクト画像の一部を形成していると決定された隣接するピクセルと共に示す図である。

本発明について、特定の実施例に関して、また、特定の図面を参照して説明するが、本発明はそれらに限定されない。説明されている図面は、単なる概略図にすぎず、非限定的である。図面では、いくつかの要素の大きさは、説明のために、誇張され、スケール通りには描かれていないことがある。

「垂直」および「水平」という用語は、ここでは、図の特定の方向を意味するべく使用されており、これらの用語は、ここで説明されている特定の実施例に限定されないことは理解されよう。

典型的な飛行時間（ＴｏＦ）３Ｄカメラの場合、ＴＯＦ原理を使用して距離または深度データを計算するプロセスには、光学および電子装置とアナログ／ディジタル処理ユニットとの組合せが含まれる。典型的には、振幅変調（ＡＭ）赤外線（ＩＲ）信号がＴｏＦカメラ・デバイスに埋め込まれた照明システムによって風景に送り出される。専用のセンサがシーン内のオブジェクトで反射したＩＲ強度を位相の関数として同期的に記録する。次に、センサからの信号が時間で積分され、ピクセル毎に深度値の測定を推定するために、位相遅延計算が用いられる。ＴｏＦ ３Ｄ画像は、センサの解像度およびレンズの視野によって決定されるその解像度、光の変調周波数、シーンで反射する光の量、および、例えば光エンジンの品質、基本的に何らかの量子化の人為的結果を作り出す光学、電子および信号処理装置の組合せ、および測定におけるノイズといった画像化システムに関連するパラメータによって決定されるその深度測定精度、また、より深刻な問題として、基本的に「ぼやけた（fuzzy）」エッジを深度マップにもたらす何らかの補間深度測定によって制限されることがある。「ぼやけた」エッジ内のこのようなピクセルは、「フライング・ピクセル」とも呼ばれている。

本発明は、集合的に「欠陥ピクセル」と呼ばれている、「ノイズがある」および「フライング・ピクセル」を解決し、シーンに存在している物体に可能な限り対応するよう、深度マップ内のこれらの欠陥ピクセルの深度測定値を修正するための方法およびシステムに関するものである。本方法およびシステムは、深度に関連する測定が埋め込まれた画像を含む、３Ｄ知覚カメラ、媒体記憶装置、または、インターネットを介した媒体によって提供される、位相マップ、深度マップ、または、３Ｄポイント・クラウドの形態での入力を有している。「ノイズがある」および補間された「フライング・ピクセル」の両方を、ある特定の深度勾配測定、ベクトルおよび幾何学的条件付き計算、閾値、より具体的には重み付き畳込みに関して修正するために、３Ｄ画像の入力深度データに特定の信号処理が適用される。結果として得られる出力により、ノイズが少なく、また、ｚ軸あるいは深さ軸に沿ってエッジを有するシーンのオブジェクトの周りの補間された「フライング・ピクセル」が著しく少ない、再構築された深度マップ画像が提供される。向上された、および／または、修正された画像は、次に、３Ｄカメラ・デバイスまたは他の３Ｄ画像化システムによって提供された元の入力３Ｄ画像の代わりに、３Ｄ画像化アプリケーションによって使用されることが意図され、このようなアプリケーションの、より良好な操作性および効率を可能にする。

最初に図１を参照すると、あるシーンの二次元（２Ｄ）上面図がｘｚ平面に示されている。カメラ１０は、その中に前景オブジェクト１６および背景オブジェクト１８が存在している、点線１２、１４で画定される視野を有している。前景オブジェクト１６のエッジ２０は、図３を参照して説明するように、背景オブジェクト１８に対して「フライング・ピクセル」を生成することがある。

図２は、図１で定義された３Ｄシーンの、前景オブジェクト１６および背景オブジェクト１８をｘｙ平面に有する、２Ｄ前方カメラ・ビューである。このビューでは、エッジ２０は、前景オブジェクト１６と背景オブジェクト１８との間に良好に画定され、鮮明である。エッジ２０しか示されていないが、「フライング・ピクセル」は、前景オブジェクト１６が背景オブジェクト１８と重畳する上側および下側エッジ２２、２４にも存在し得ることは理解されよう。さらに、オブジェクト１６および１８の平らな連続面も、カメラ・センサの性能に起因するいくつかのノイズがあるピクセルを示すことがあることを理解されたい。

図３は、図１に示されている画像に対応するピクセルによって、前景オブジェクト３２および背景オブジェクト３４を示したものである。示されたとおり、２つの「フライング・ピクセル」３６、３８が前景オブジェクト３２と背景オブジェクト３４との間のエッジ上に位置している。これらの「フライング・ピクセル」は、いずれも前景オブジェクト３２または背景オブジェクト３４のいずれかに属するかもしれないし、あるいは一方のみが前景オブジェクト３２に属し、他方は背景オブジェクト３４に属することも可能である。前景オブジェクト３２は連続する平らな表面オブジェクトであり、その測定は少なくとも１つのノイズがあるピクセル３７を示している。

図４は、図３と同様であるが、深度マップに関連する信号４０も示している。示されたとおり、信号４０において、下側の線は、ピクセル４２によって示されている前景オブジェクトに対応しており、上側の線は、ピクセル４４によって示されている背景オブジェクトに対応しており、下側および上側の線の間の傾斜は、「フライング・ピクセル」４６、４８に対応している。下側の線のブリップ（blip）は、ピクセル４２によって示されている前景オブジェクト内の「ノイズがあるピクセル」４３に対応している。

本発明による処理の後、「ノイズがあるピクセル」４３および「フライング・ピクセル」４６、４８は、図５に示されているように修正されている。図５に示されているように、信号５０はより明確化されており、ピクセル５２に対応するまっすぐな下側の線、およびピクセル５４に対応するまっすぐな上側の線を有している。図４に４３で示されている「ノイズがあるピクセル」は、ピクセル５３で示されているように修正されており、「フライング・ピクセル」４６、４８は、前景オブジェクト（ピクセル５６）に対応するピクセル５２と背景オブジェクト（ピクセル５８）に対応するピクセル５４に適切に割り当てられている。

図６には、本発明の方法の一実施例の主要なステップを示すフローチャートが示されている。ステップ６０で、入力深度マップあるいは３Ｄポイント・クラウドが入手される。深度マップあるいは３Ｄポイント・クラウドは、３Ｄカメラ、媒体記憶装置、または、インターネットから直接入手することができる。ステップ６２で、集合的に「欠陥ピクセル」と呼ばれている、「ノイズがあるピクセル」および補間された「フライング・ピクセル」が検出される。「ノイズがあるピクセル」であると決定されているピクセル毎にノイズ除去修正係数が決定され、ステップ６４で、隣接するピクセルについて修正係数が適用される。次に、ステップ６６で、「欠陥ピクセル」であると決定されているピクセル毎の修正係数の決定が実施され、適用される。ステップ６６では、前景オブジェクトおよび背景オブジェクトの深度値について修正が実施される。ステップ６４および６６において、修正係数のこのような決定には、隣接するピクセルの平均、メジアン、および／または、モード値のうちの少なくとも１つに従って、修正されるピクセルに割り当てられる値が決定される統計的モードを使用するステップを含まれるかもしれない。次に、修復された深度マップあるいは３Ｄポイント・クラウドが出力される（ステップ６８）。ステップ６８からの出力は、正確かつ信頼性の高い深度マップが必要であるか、あるいは、好ましいとされる、任意のアプリケーションに使用することができる。

本発明の方法は、２つの主要なステップ、すなわち、「ノイズがあるピクセル」および補間された「フライング・ピクセル」を検出するステップと、検出された「ノイズがあるピクセル」および「フライング・ピクセル」の両方を修正するステップとを含む。

「ノイズがあるピクセル」および補間された「フライング・ピクセル」の両方を検出するために、最初のステップは、ピクセルが「ノイズがある」のか否か、あるいは「フライング」であるか否かを決定するために、評価中のピクセルに対応する１つの点の周りの方向導関数を使用する。すべての深度画像ピクセルが評価されることが好ましい。これらの方向導関数は多方向のものであり得るが、説明を簡単にするために、以下、垂直および水平方向のみ説明する。しかしながら、他の方向に対しても同じ原理が適用されることは理解されよう。さらに、方向導関数を使用する代わりに、他の方法を適用することも可能である。

「Ｐ」が深度マップ内の評価中のピクセルであり、「ａ」がその平面内の選択された方向である場合、ｄａ（Ｐ）は、ピクセル「Ｐ」における方向「ａ」での導関数の値になる。方向導関数の絶対値｜ｄａ（Ｐ）｜、および、｜ｄａ＋π（Ρ）｜が方向「ａ」のあらかじめ定義された閾値より大きく、かつ、ｄａ（Ｐ）およびｄａ＋π（Ρ）の符号が同じである場合、ピクセルは「フライング」であると宣言される。隣接するすべてのピクセルの深度値とは著しく異なる深度値をピクセルが有している場合、とりわけ、少なくとも１つの方向導関数があらかじめ定義された閾値より大きく、かつ、少なくとも２つの方向導関数が反対の符号を有している場合は、そのピクセルは「ノイズがある」と宣言される。ピクセル毎に、任意の数の方向について、「ノイズがあるピクセル」のテストまたは「フライング・ピクセル」のテストのいずれかを実施することができる。理想的には、これらの方向は、単位円、すなわち、１ピクセルの半径の円をカバーするべきである。典型的には、ｉ＝１からｎである一組の方向｛ａ＿ｉ｝を使用することができ、
a_i＝(i-1)*π/n
である。

方向導関数は、有限差分によって簡単に推定することができる。図７では、ピクセル７０は、ピクセル「Ｐ」の上の「Ｔ」、左の「Ｌ」、右の「Ｒ」、および下の「Ｂ」のピクセルに対応するピクセル７２、７４、７６、７８を用いて評価されているピクセル「Ｐ」である。そのピクセルが「フライング」であるか否か、および、そのピクセルが「ノイズがある」であるか否かを、２つの方向、すなわち、角度０°およびπ／２（水平および垂直方向）で決定するために、ピクセル７２、７４、７６、７８の値を使用することができる。

これらの２つの方向の場合、「ノイズがあるピクセル」のテストは、
(|R-P|＜Thおよび|L-P|＜Th)または(|T-P|＜Thおよび|B-P|＜Th)
および
sign(R-P)≠sign(P-L)またはsign(T-P)≠sign(P-B)
まで簡単になる。

「フライング・ピクセル」のテストは、
(|R-P|＞kThおよび|L-P|＞kTh)または(|T-P|＞kThおよび|B-P|＞kTh)
および
sign(R-P)＝sign(P-L)またはsign(T-P)＝sign(P-B)
まで簡単になり、ここで、Ｔｈは適用される閾値であり、また、ｋは既定された重み係数である。例えば０．０８ｍのＴｈの値を使用することができるが、任意の他の適切な値を使用することができることは理解されよう。上記の「フライング・ピクセル」のテスト、および、「ノイズがあるピクセル」のテストの代替として、以下を代わりに使用することも可能である。
|L-R|＞Thおよび|T-B|＞Th

この後者の場合、評価中のピクセルを取り囲んでいる２つのピクセルの間の値が使用されるため、閾値は、先のテストで与えられたそれより大きくてもよい。

「ノイズがあるピクセル」および「フライング・ピクセル」が識別されると、第２のステップにより、識別された「ノイズがあるピクセル」または「フライング・ピクセル」の各々に個別の修正を適用するための新しい深度値が推定される。修正は、単一プロセス内の単一パスで実施することができる。よりよく理解するために、時間について順を追って、修正ステップを説明する。

最初に、すべての「フライング・ピクセル」および「ノイズがあるピクセル」に無効であるとのフラグが立てられる。特に、ＴｏＦカメラを使用する場合、他の理由、例えば不良であるとの確信や低ＩＲ照明のために信頼できないと（すなわち、閾値処理を使用して）判定されるかもしれない他のピクセルも無効としてフラグを立てることができ、本発明の方法を使用して、それらの深度を推定し直すことも可能である。

原理は、無効ピクセルの周囲の有効ピクセルを使用して、その無効ピクセルの新しい深度を推定するということである。図８はこれを示したものであり、ピクセル８０は、ピクセルの対８２、８４で示されている、周囲の有効ピクセルとの関係で評価されている。ピクセルの対が評価のために示されているが、その決定のために任意の適切な数の有効ピクセルを使用することができることは理解されよう。

図８において、無効な「フライング・ピクセル」である「Ｐ」を取り囲んでいる有効なピクセルは「Ｖ」で示されている。しかしながらこの推定の場合、８２で示されている前景の有効ピクセル、または８４で示されている背景の有効ピクセルのいずれかのみが使用され、前景および背景の両方からの有効ピクセルの組合せではない。ピクセル８２は、「Ｐ」より小さい深度値を有し、また、ピクセル８４は、「Ｐ」より大きい深度値を有することになろう。

「ノイズがあるピクセル」については、ピクセルは有効ではあるが「ノイズがある」として識別され、「フライング・ピクセル」について上で説明したのと同じプロセスがこの「ノイズがあるピクセル」に対して実施される。

推定のために使用する有効ピクセルの選択により、無効な点が前景オブジェクトまたは背景オブジェクトのいずれに存在しているかの選好が評価される。選好のモードは、例えば、「フライング・ピクセル」を、それらの深度値に必要な修正が最少量になるようにマッピングすることによって、あるいは、「フライング・ピクセル」を、カメラからの距離が既定された閾値を超えている場合に前景オブジェクトに設定することによって、あるいは、「フライング・ピクセル」を、カメラまでの距離が既定された閾値未満である場合に背景オブジェクトに設定することによって、決定することができる。前景オブジェクトの選好が使用され、有効な前景オブジェクトのピクセルの集合が空でない場合、「Ｐ」の新しい深度値は、これらの有効な前景オブジェクトのピクセルのみに基づいて推定される。有効な前景オブジェクトのピクセルの集合が空であり、かつ、有効な背景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、有効な背景オブジェクトのピクセルのみに基づいて推定される。有効な前景および背景オブジェクトのピクセルに関連する両方の集合が空の場合、ピクセルを修正することはできず、そのピクセルは無効のままである。同様に、背景オブジェクトの選好が使用され、有効な背景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、これらの有効な背景オブジェクトのピクセルのみに基づいて推定される。有効な背景オブジェクトのピクセルの集合が空であり、かつ、有効な前景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、有効な前景オブジェクトのピクセルの集合のみに基づいて推定される。有効な背景および前景オブジェクトのピクセルに関連する両方の集合が空の場合、ピクセルを修正することはできず、そのピクセルは無効のままである。

一組の周囲のピクセルから（前景オブジェクトまたは背景オブジェクトのいずれかから）の「Ｐ」の深度値の推定は、重み係数の適用、統計的決定を使用した任意の補間方法、または、回帰平面の使用を含む様々な手段によって実施することができる。

本発明の一実施例では、有効な前景ピクセルに基づく回帰平面を使用する。点ｐにおける回帰平面の深度値が、ピクセル「Ｐ」のための新しい深度値として割り当てられる。

他の実施例では、前景オブジェクト内の有効ピクセルの平均深度値が決定され、ピクセル「Ｐ」のための新しい深度値として割り当てられる。代わりに、有効な前景オブジェクトのピクセル、および／または、有効な背景オブジェクトのピクセルの深度値の、最小、最大、メジアン、またはモードを使用することが可能である。有効な前景オブジェクトのピクセルの集合および有効な背景オブジェクトのピクセルの集合に、異なる予測方法を使用することが可能である。例えば、推定が有効な前景オブジェクトのピクセルに依存している場合、その集合中の有効ピクセルの最大深度値を使用してもよいし、推定が有効な背景オブジェクトのピクセルを利用している場合は、その集合中の有効ピクセルの最小深度値を使用してもよい。

この方法によってその深度値が首尾よく推定されたすべての無効ピクセル、すなわち、少なくとも１つの有効な隣接するピクセルを有するすべての無効ピクセルには有効であることのフラグが立てられる。この方法は反復して繰り返すことができ、プロセスの開始時に少なくとも１つのピクセルに有効とのフラグが立てられることを条件として、深度マップ内のすべての無効ピクセルを再構築することができる。

しかしながら、「フライング・ピクセル」の識別および修正の信頼性を改善するためには、カメラによって生成される深度マップからノイズを除去する必要がある。これは、最初にピクセル毎にω_ｉを決定し、次に３×３重み付きΩ_ｉ核をピクセル毎に使用することによって達成することができる。核Ω_ｉのパラメータを再計算して、あるいは、再計算することなく、複数パスを適用することができる。

再度、図８を参照すると、以下の式を使用して、深度の場から法線角度を決定することができる。
∂x＝(L-P)/2+(P-R)/2＝(L-R)/2 （１）
∂y＝(T-P)/2+(B-R)/2＝(T-B)/2 （２）
dz＝√(dx^２+dy^２)/4 （３）
dw＝Ｐの幅 （４）
r＝√(dz^２+dw^２) （５）
Ω_ｉ＝acos(dz/r) （６）

式（１）および（２）は、勾配∂ｚ（ｘ）および∂ｚ（ｙ）に関係しており、式（３）は、勾配の形での半径を与える。式（４）は、記載されているとおり、ピクセル「Ｐ」の幅であり、式（５）および（６）は、それぞれ法線半径および法線角度を与える。

法線角度を計算し、推定し、または、取得するために、他の方法を使用することができ、例えば、利用可能である場合はカメラから、カメラ、信号、およびプラットフォームの特性に応じて使用することも可能である。

例えば、計算効率のために、深度マップからのΩ_ｉを、
Ω_ｉ＝acos(atan(dz/dw))＝１/√(１+(dz/dw)^２)
と決定することができる。

一般に、関数Ω_ｉ＝Ｆｗ（ｄｚ）は窓関数と呼ばれている。

ノイズ除去のパスの後に、場の勾配が計算され、二次導関数ｄ^２ｚの符号が局所分離パラメータとして使用される。二次偏微分ｄ^２ｚは、投影空間における勾配ベクトルの両端における導関数ｄｚの差として計算される。

次に、重み付きΩ_ｉ３×３バイポーラ核が、ｎ≧１であるｎパス、適用される。分離パラメータは、核内のグループＩＤとして働いており、また、反対符号のピクセルは無視される一方で、同じ符号のピクセル値がまとめて平均化される。

この原理は、符号のない（つまり０に等しい）値を分離パラメータのために充てて、これらの点を両方の符号と平均化することができるように、改良されている。この改良により、分離することによって出力信号に導入されるノイズを小さくする努力の一環として、例えば∂^２ｚまたはＩＲパワーなどの他のデータを使用して、閾値を分離パラメータに適用することができる。

この核は、所望の効果を得るために複数回にわたって適用することができる。現在のＴＯＦ信号は、典型的には、２パスの処理によって最良の利益を得ている。

この分離を促進し、および／または、複数パスの処理を回避するために、勾配方向の変位マップを構築して局所展開を生成することができる。局所極小および／または極大値のみならず、個々の深度値を使用することができる。しかしながら、使用すべき展開方法は、出力信号中のノイズおよび所望の分離率によって決定されることになる。

Claims (15)

1. 三次元画像における欠陥ピクセルの深度データ値についての深度マップの品質を向上させるための方法であって、
   ａ）シーンに関連する深度測定データを決定するステップと、
   ｂ）前記深度測定データ内の欠陥ピクセルを検出するステップと、
   ｃ）検出された欠陥ピクセルのそれぞれに深度修正を定義するステップと、
   ｄ）検出された欠陥ピクセルのそれぞれの前記深度測定データに前記深度修正を適用するステップと
   を含む方法。
2. ステップｂ）が、ピクセルのそれぞれに、少なくとも１つの方向における、深度に関連する方向導関数を決定し、かつ、用いるステップを含む、請求項１に記載の方法。
3. ステップｃ）が、識別された欠陥ピクセルのそれぞれについて、
   ｃ１）前記深度の方向導関数に関連してベクトルを決定するステップと、
   ｃ２）前記決定されたベクトルに対する法線を決定するステップと、
   ｃ３）前記決定されたベクトル、および、前記決定されたベクトルに対する法線のうちの１つの結果をデータ・パラメータと共に少なくとも用いて、重み係数パラメータを決定するステップであって、その値が、ピクセル幅によって表される実空間における長さの大きさに関連している重み係数パラメータであるステップと、
   ｃ４）前記重み係数パラメータ、および、隣接するピクセルに関連する情報のうちの少なくとも１つを用いて、修正係数を決定するステップと
   を含む、請求項２に記載の方法。
4. ステップｃ４）が有効な隣接するピクセルのデータ値のみを用いる、請求項３に記載の方法。
5. ステップｃ４）が、前記隣接するピクセルの深度値、重み係数、および、修正係数のうちの少なくとも１つを用いるステップをさらに含む、請求項３または４のいずれか一項に記載の方法。
6. ステップｃ４）が、隣接するピクセルに関連する情報の統計的モードを用いるステップを含む、請求項３から５のいずれか一項に記載の方法。
7. ステップｃ４）が、前記隣接するピクセルにわたって決定される回帰平面から抽出される深度情報を用いるステップをさらに含む、請求項３から６のいずれか一項に記載の方法。
8. 前記欠陥ピクセルが、前記三次元画像内の前景オブジェクトと背景オブジェクトとの間のエッジに位置している補間されたピクセル・データ値を含む、請求項３から７のいずれか一項に記載の方法。
9. ステップｂ）が、ピクセルの少なくとも１つの深度の方向導関数が既定された閾値より大きく、かつ、少なくとも２つの連続する方向導関数が同じ符号を有している場合に、エッジにあるピクセルの欠陥のある深度測定を識別するために前記深度に関連する方向導関数を用いるステップをさらに含む、請求項８に記載の方法。
10. 前記欠陥ピクセルが、前記三次元画像の連続した表面に位置している、ノイズがあるピクセル・データ値を含む、請求項３から７に記載の方法。
11. ステップｂ）が、ピクセルの少なくとも１つの深度の方向導関数が別の既定された閾値より大きく、かつ、そのピクセルの他の深度の方向導関数もまた別の既定された閾値より大きく、かつ、前記２つの方向導関数が反対の符号を有している場合に、連続する表面上のピクセルの欠陥のある深度測定を識別するために前記深度に関連する方向導関数を用いるステップをさらに含む、請求項１０に記載の方法。
12. ステップｃ）が、識別された欠陥ピクセルのそれぞれについて、
    ｃ５）２つの直交軸を用いて、前記深度の方向導関数のデータ値に関連してベクトルを決定するステップと、
    ｃ６）前記決定されたベクトルの半径値、前記決定されたベクトルに対する法線情報、および、前記ピクセルによって表されるシーン内の実幅のうちの少なくとも１つを用いて、重み係数パラメータを決定するステップと、
    ｃ７）前記決定された重み係数パラメータを、隣接するピクセルに関連する情報と組み合わせて用いて、修正係数を適用するステップと
    をさらに含む、請求項１１に記載の方法。
13. 前記深度に関連する方向導関数が少なくとも２つの直交軸を用いて決定される、請求項２から１２のいずれか一項に記載の方法。
14. 前記深度に関連する方向導関数が法線マップを用いて決定される、請求項２から１２のいずれか一項に記載の方法。
15. 前記深度に関連する方向導関数が法線マップを決定するために用いられる、請求項２から１３のいずれか一項に記載の方法。

Images