JP2017527042A

JP2017527042A - 深度マップの改善

Info

Publication number: JP2017527042A
Application number: JP2017512694A
Authority: JP
Inventors: ビーンカーン，シーン; カーク，アダム; クシャール，アヴァニッシュ
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2014-09-05
Filing date: 2015-09-03
Publication date: 2017-09-14
Also published as: CN106688012A; EP3189494A1; WO2016036898A1; US20160073094A1; KR20170052634A

Abstract

本説明は、深度画像に関連し、深度依存測定モデリングにより高解像度深度画像を取得することに関連する。一実施例は深度カメラにより捕捉されるシーンについての深度画像群を受信することが可能である。一実施例は、深度カメラに対する深度依存ピクセル平均化関数を取得することが可能である。一実施例は、深度依存ピクセル平均化関数を利用して、深度画像群から、シーンについての高解像度深度画像を生成することも可能である。

Description

深度センサーは、多くのタイプのコンピューティング・デバイスで急速に利用可能になりつつある。多くの深度センサーは、限られた画像解像度を有する。本発明概念は、これらの深度センサーにより捕捉される深度マップの実効解像度を増やすことができる。

本説明は、深度画像(例えば、深度マップ)、及び、深度依存測定モデリングにより更なる解像度の深度画像を取得することに関連する。一実施例は、深度カメラにより捕捉されるシーンについての一群の深度画像を受信することができる。一実施例は、深度カメラに対する深度依存ピクセル平均化関数を取得することが可能である。一実施例は、深度依存ピクセル平均化関数利用して、一群の深度画像から、シーンの高解像度深度画像を生成することも可能である。

上記の言及された実施例は読者の便宜を図るための簡易なリファレンスを提供するように意図されており、本願で説明される概念の範囲を規定するようには意図されていない。

添付図面は本件出願書類で示される概念の実施形態を例示する。例示される実施形態の特徴は、添付図面に関連する以下の説明を参照することにより更に容易に理解できる。様々な図面において、同様な要素を示す場合には、同様な参照番号が使用されている。更に、各参照番号のうち最も左側の数字は、その参照番号が最初に示された図面及び関連する説明箇所を示す。

図1、2及び10は本願の概念による実施形態による深度画像解像度改善システムを示す。

図3ないし5は、実施形態による幾つかの結果についての図形表現を示す。

図6ないし9は、低解像度深度画像及び対応する高解像度深度画像を示し、それについて実施形態により本願の深度画像解像度を改善する概念が適用されることが可能である。

図11ないし12は、本願の概念による実施形態による深度マップ画像改善技術のフローチャートである。

＜概要＞
本説明は、深度画像(例えば、深度マップ)の解像度を改善することに関連する。個々の深度センサーは、所与の解像度の深度マップを取得する能力を有する。本願の実施形態はその所与の解像度を改善することが可能である。例えば、本願の実施形態は、所与の解像度の2倍又は3倍(又はそれ以上)の解像度を有する改善された深度マップを生成することが可能である。例えば、本願の一実施形態は、所与のシーンの僅かにシフトされたバージョンを利用して、捕捉(又はキャプチャー)された深度の実効解像度(effective resolution)(例えば、超解像度(super-resolution))を増進することが可能である。この目的に向けて、これらの実施形態は、キャプチャーされた深度マップの超解像度化における距離に関し、ピクセル平均化関数及びノイズ関数の双方に取り組むことが可能である。

別の観点から見ると、ある種の発明概念は、同じシーンについての幾つかのシフトされたバージョンから、超解像度深度マップを作成することが可能である。これらの発明形態を活用する実施形態は、2つのステージの間で反復することが可能である。すなわち、これらの実施形態は、入力深度マップと現在のウェイトとを利用して超解像度深度マップを推定することが可能である。これらの実施形態は、超解像度深度マップ、深度依存ノイズ特性、及び/又は、深度依存ピクセル平均化関数の現在の推定に基づいて、ウェイトを更新することが可能である。
＜シナリオ具体例＞

図1はデバイス102を含むシステム例100を示す。説明の便宜上、デバイス102は図1では複数回登場している。この場合において、デバイスは、深度カメラ104を含むスマートフォンとして現れている(深度カメラは読者と反対側に面しているので破線で示されている)。例えば、深度カメラはスタンド・アローン・コンポーネントであってもよいし、或いは、深度カメラは、レッド，グリーン，ブルー＋深度カメラの一部であってもよい。この特定のデバイス102はディスプレイ106を含むことも可能である。

デバイス102は、対象110についての一群の深度画像(L)(例えば、深度マップ)108をキャプチャーすることが可能である。この例では、対象はアーティチョーク(又は朝鮮薊)(artichoke)であるが、当然に、デバイスは任意の対象の画像をキャプチャーすることが可能である。キャプチャーされた深度画像108は低解像度深度画像と言及され、低解像度深度画像は、対象110の高解像度画像(high resolution image)又は潜在画像(latent image)114を作成するように「112」でまとめて処理されることが可能である。(以後の説明において、高解像度画像は「H」として言及され、低解像度画像は「L」として言及されてよいことに留意を要する)。この実施形態において、処理112は、深度依存測定モデリング(DDMモデリング)(DDM：depth dependent measurement)。一実施形態において、DDMモデリングは、深度依存ピクセル平均化(depth dependent pixel averaging：DDPA)関数118及び/又は深度依存ノイズ特性(depth dependent noise characteristics：DDNC)120を考慮することが可能である。場合によっては、処理112は、「122」により示されるように反復的な仕方で実行され、一群の深度画像108から高解像度画像114を取得することが可能である。これらの側面は以下において詳細に説明される。

別の言い方をすると、本願の実施形態が対処する技術的な問題の1つは、利用可能な一群の低解像度画像から、高解像度(例えば、超解像度)深度画像を生成する能力である。既存のカラー画像超解像度技術は、深度マップに適用される場合に、基準以下のソリューションしか提供しない。本解決手段は、既存の技術で取得可能な高解像度の超解像度深度画像を生成するために、深度依存ピクセル平均化関数を利用することが可能である。従って、深度カメラの解像度によらず、本技術は、より高い解像度の深度マップを提供することができる。この高解像度深度画像は深度の詳細をユーザーに提供することが可能であり、この技術が使用されない場合、ユーザーは既存の技術で深度カメラにより提供される結果に満足しないかもしれない。
＜深度依存ピクセル平均化関数＞

図2は、深度カメラ104に対する深度依存ピクセル平均化関数を識別するシステム例200を示す。図3はシステム200からの深度の結果を示す。図2のシステムは、深度カメラ104の深度依存ピクセル平均化関数を識別するために使用されており、その結果が図3に示されている。説明の目的で、深度依存ピクセル平均化関数は、個々の深度カメラ104について識別されるものとする。多くの状況において、深度依存ピクセル平均化関数は、深度カメラのモデルに対して識別されることが可能であることに留意を要する。例えば、その識別は、製造業者によって実行されることが可能である。識別された深度依存ピクセル平均化関数は、次に、そのモデルの個々の深度カメラに適用されることが可能である。

システム200では、深度カメラ104がステージ202に配置されている。システムは、シーン又は対象110(1)を含む。シーンの第1部分204はz基準方向で深度d₁にあり、シーンの第2部分206は深度d₂にある。シーンは、第1部分204と第2部分206との間に深度不連続部208も含んでいる。深度カメラ104は、電荷結合素子(CCD)のような画像センサーを含むことが可能であり、ピクセル(又は画素)210の情報をキャプチャーすることが可能である。この例では、説明の便宜上、唯1つのピクセル210(1)がラベル付けされ特に議論される。個々のピクセルは、領域αの範囲内でシーンからの情報を含むことが可能である。説明の簡明化のため、システム200は2次元(x及びz)で議論されるが、第3(y)の次元を含んでいる。x基準軸又は次元に関してここで説明される内容は、y基準軸に適用されることも可能である。

ステージ202はx基準方向に正確に動かすことが可能である。例えば、ステージは、x基準軸に沿って、1ピクセル未満の増分だけ動かされることが可能である。簡明化のため、図2には3つの例が示されているが、深度画像は、x基準軸に沿って何百ないし何千もの増分位置(incremental positions)で取得されることが可能である。

以下の説明では図2ないし3を一緒に参照している。図2の例1では、領域αは、専ら、第1部分204をカバーしている。従って、グラフ300に記録されるz方向深さは、302で示されるような深度d₁である。記録される深度は、例2で示されるように領域αが第1部分204及び第2部分206の双方を含むことになるまで(すなわち、領域αが不連続部208を含むことになるまで)、近似的にd1である状態が続く。例2については、グラフ300の「304」に反映されている。例3では、正のx方向への更なる動きは、グラフ300の306に反映されているように、領域αが、専ら第2部分206をカバーすることを引き起こす。一観点によれば、グラフの一部分304は、個別ピクセル210(1)のステップ応答関数を表現していると考えられる。個別ステップ応答関数はノイズを含み、従って、ステップ応答関数の形状ないし広がりを測定することは困難になる。これを是正するために、多くのキャプチャーが取得され、平均的なプロファイルが算出される。代替的に、不連続部208の境界が画像のy方向に正確に沿っている場合、同じ画像のエッジを越える複数の行は、ノイズを減らすように平均化されることが可能である。応答関数の幅は、境界の幅に依存する。例えば、図4のグラフ400は3つの異なる深度に対するステップ応答関数を示し：実線402は第1深度に関連する第1のステップ応答関数を表現し、破線404は第2深度に関連する第2のステップ応答関数を表現し、点線406は第3深度に関連する第3のステップ応答関数を表現する。

図5は或る平均プロファイル例502を示すグラフ500を示す。平均プロファイル502は、ステップ関数を全てのプロファイルに適合させること、及び、全てのステップ関数がステップ不連続性に関して整合するように、ステップ関数を或る量だけシフトさせること、により達成されることが可能である。全てのピクセルに対する平均プロファイルは、整合させられたステップ関数から算出されることが可能である。図5とともに図2-3を参照すると、平均プロファイル502は、深度カメラ104の深度依存ピクセル平均化関数の形状を図式的に示すことが可能である。カラー画像に使用されるもののような他の画像改善技術とは異なり、深度依存ピクセル平均化関数は、d₁及びd₂にある隣接値の単なる平均ではない。更に、304における深度依存ピクセル平均化関数の幅は、不連続部208における領域αの幅と必ずしも同一ではない。むしろ、ランプ関数(ramp function)の幅は、深度に依存することが可能であり、かつ、深度とともに単調に増加することが可能である。画像の異なる領域で異なるサイズのカーネル(kernel)を利用する動機付けとなることが可能である。上述したように、図5は、よく適合している（及び潜在的に最も適合している）ランプ関数の幅の、センサー(すなわち、深度カメラ)からの距離に対する変動を示す。この場合において、200ミリメートル(mm)から1200mmまでの深度範囲に対して、幅は、約1.8ピクセルから約3.2ピクセルまで変動する。不連続性は、z方向における小さな距離に対しては非常にシャープになることが予想される一方、z方向における大きな距離に対しては非常にぼやけることになる。当然に、304における深度依存エラーの形状は、可能な形状の1つに過ぎず、他の深度カメラの深度依存ピクセル平均化関数は他の形状を有することが可能である。
＜深度依存ノイズ特性＞

図1の深度カメラ104のような深度カメラによる深度測定は、多くの誤差原因により乱される虞がある。基本的には、センサー・ノイズの強度は深度に依存する。

ノイズの強度は深度に依存するが、多数のサンプルの平均は、正確な深度値に非常に近づくことが予想される。この目的に向けて、一実施形態は、平面の複数の観測(例えば、500ないし1000以上の観測)を行うことが可能である。そして、観測の平均が決定されることが可能である。そして、第2平面がその平均に対して適合されることが可能である。第2平面は、グランド・トゥルース(ground truth)として取り扱われることが可能であり、その平面からの逸脱はノイズ分布として分析されることが可能である。一実施形態は、第2平面において、空間誤差分布を特徴付けるように、2Dスプラインを適合させることが可能である。そして、異なる深度で同様な誤差を補正するために、スプラインは3Dに拡張されることが可能である。

更に、深度カメラの個々のセンサーは、所与のシーンについて同じ深度読み取り値を常には与えないかもしれない(例えば、深度読み取り値は環境条件とともに変動する可能性がある)。例えば、(全てのピクセルに対する)キャプチャーされたフレームの時間に対する平均深度のプロットは、静的なシーンについてでさえ平均深度が一定ではなく、規則的なパターンで揺らぐことを示し得る。この揺らぎ(fluctuation)は、深度カメラの内部温度、及び/又は、部屋の外部温度の関数になり得る。それを克服するため、一実施形態は、(いったん深度カメラが規則的なパターンに落ち着くと)各々のロケーションで例えば500-1000個のような相対的に多数のフレームをキャプチャーし、互いに平均深度に可能な限り近い例えば100個のような一群の連続的なフレームを取得することが可能である。異なる条件の下で取得された情報は、例えばルックアップ・テーブル等に保存されることが可能である。その情報は、以後、類似する状態で深度画像を深度カメラがキャプチャーする場合に、アクセスされることが可能である。別の言い方をすれば、深度カメラは、最も近い一群の保存された状態に対して事前に較正されることが可能であり、その較正を微調整するために補間が使用されることが可能である。

フレーム間の差分は加法性ノイズとしてモデル化されることが可能であるが；アフィン・モデルを利用することも可能である。従って、個々のフレームは同じ平均強度を有するように調整されることが可能である。
＜ランダム・ノイズ＞

実施形態は、深度カメラの前方の正面平行位置(fronto parallel position)に平面を配置することにより、深度カメラ104のランダム・ノイズ特性を測定することが可能である。例えば500ないし1000個のフレームの取得が可能である。深度マップの各ロケーションでこれら500ないし1000個のフレームを平均化することにより、平均フレームの算出が可能である。第2平面は、この平均フレームに適合するように適合され、グランド・トゥルース深度として取り扱われる。グランド・トゥルースと深度との間の誤差が測定され、各ロケーションにおいて全てのフレームで微調整され、誤差のヒストグラムを構築することが可能である。このプロセスは複数の深度で反復されることが可能である。誤差の分布は近似的にガウシアン(Gaussian)になる傾向がある。また、誤差は、より大きな深度では、かなり大きくなる傾向がある(分布は大きな分散を有する)。変分は、これらの分布と深度に対して適合されたガウシアンのシグマ(σ)により算出されることが可能である。シグマは、スクリーンの深度(Z)に関して線形依存性を有する傾向がある。
＜アルゴリズム例＞

図6ないし8の集まりは、本願の概念とともに使用されることが可能な上位概念的なアルゴリズム例を示す。この概念の一例は、上記の様々なセクションで紹介されている。図6ないし8は、エンド・ツー・エンドのシナリオを説明することに役立つ。図6ないし8に関連して議論される具体的な内容は、以下の記述により詳細に説明される。

説明の目的で、高解像度(例えば、超解像度)画像の初期推定が利用可能であり、図6における出力Hとして指定されていることが仮定されている。Hと何らかの低解像度画像(例えば、深度マップ入力L^k)との間に、変換T^k(回転R_k及び並進t_kにより構成される)が存在することも仮定されている。本実施形態は、602で示されるように、HからL^kの各々へ点を投影することが可能である。L^kにおける各ピクセルの深度は、何らかの不確定性(uncertainty)を有し；この不確定性は、事前に測定される深度依存エラー関数の形式によるものである(ガウシアン分布として図示されている)。更に、(高解像度画像Hと低解像度画像L^kとの間の回転R_k及び並進t_kの下で)604で示されるように、L^k _sの形式で観測を(潜在的に)最適に説明するように、推定される深度依存エラー関数から、Hの(複数の)ローカル値が組み合わせられる。従って、ノイズ特性が様々な深度でプロットされることが可能である。上述したように、深度センサーからの各距離における、平面からの逸脱に基づいて、プロットの算出が可能である。各々の距離において、(例えば何百もの)多くのサンプルから、平面方程式の推定が可能である。

図7は、図2に類似しており、フットプリント702として示される1つのピクセル210(1)(A)に対する深度依存ピクセル平均化関数の具体例を示す。このフットプリントは、d₁及びd₂という2つの深度に跨っている。深度依存ピクセル平均化関数は、測定値が双方の深度から与えられるサンプルであることを決定する。この実施形態では、深度依存ピクセル平均化関数は、様々な深度での各領域におけるピクセルのカバレッジの割合の関数である。別の言い方をすれば、深度依存ピクセル平均化関数は、高解像度画像Hで表現される深度704(1)，704(2)及び704(3)から、低解像度画像L^kの深度を推定することが可能である。

図8では図6ないし7で説明される概念を組み合わせることが可能である。この特定のアルゴリズムは2つのステージを有する。第1に、超解像度画像Hの推定H’が算出されることが可能である。H’はHに設定されることが可能であり、自身と入力深度マップL^kとの間の幾何変換(geometric transform)T^kが算出されることが可能である。Hのうちどの程度のピクセルがL^kのピクセルの下にあるかに基づいて、エリア・マトリクスAの算出が可能である。初めに、ウェイト・マトリクスCが単位行列に設定されることが可能である。次に、H’、誤差分布、及び、深度依存ピクセル平均化関数の下で、幾何変換Tk、エリア・マトリクスA、及び、ウェイト・マトリクスCが更新され、H’=Hという新たな推定をもたらす。第1及び第2のステージは、収束又は所定の反復回数に到達するまで、反復されることが可能である。

このセクションは、深度依存ピクセル平均化関数と深度依存ノイズ特性との双方を組み込み、深度センサーからキャプチャーされる低解像度深度画像を変位させたものの集まりL^kから、高解像度深度画像Hを算出することについての更なる詳細を提供する。
＜深度依存ピクセル平均化関数の利用＞

上述したように、高解像度画像Hを低解像度画像L^kに投影することは、高解像度画像それ自身を知ることを伴う。説明の目的で、高解像度画像Hの推定が利用可能であることを仮定して議論を始める。高解像度画像Hは、低解像度画像の各々に、特にL^kに投影されることが可能である。図9に示されるように、lj(エル・ジェイ)をそのような低解像度ポイントであるとし、センサー（例えば、深度カメラ）の深度依存ピクセル平均化関数に対する深度依存モデルを利用して算出されるランプ関数の幅を、rとする。(例えば、単独のピクセルによりキャプチャーされる)低解像度ポイントl_jに対する平均化領域と交わる投影高解像度ピクセルの数をn_jとする。a_jiにより与えられる領域内で平均化幅と交わる1つのそのようなピクセルをh_iとする(図9で影が付された領域)。インパルス応答関数はボックス関数であるとすることが可能であり、すなわち、全ての高解像度ピクセルh_iのl_jへの寄与はa_jiにより決定され、従って全てのサンプルは以下の数式により等しく重み付けされることが可能である：

＜深度依存ノイズの利用＞

上記の議論は、深度依存ノイズは、ガウシアン関数を利用して特徴付けられることが可能であり、従って、全てのサンプルが等しく取り扱われなくてもよいことを示している。むしろ、低解像度サンプルl_jが高解像度サンプルh_jからどの程度隔たっているかに依存して、信頼性尺度が次のように規定されてもよい：

この信頼性尺度は、上記の数式が以下のようになるように、上記の数式に統合されることが可能である：

各々の低解像度サンプルからの制約を結び付けることにより、数式は次のように簡潔に表現できる：

ここで、*は行列の要素毎の乗算を示し、C^k={c_ji}，A^k={a_ji}である。
＜反復アルゴリズム＞

交わりa_ji及びc_jiの領域の双方は、h_i、定義からc_ji及びa_jiの値に依存し、h_iの値はそのサンプルが各画像内に投影される場所を示すことに、留意を要する。同時最適化とともにa_ji、c_ji及びh_iについて解こうとすることは、問題を扱いにくくする。そこで、一実施形態は以下に示される「Algorithm 1」に示される反復的なアルゴリズムを利用して問題を解くことができる：

アルゴリズムの反復の各々において、高解像度画像は低解像度画像の各々L^kに投影され、交わりの領域a_ji及び信頼性尺度c_jiがノイズモデルに基づいて算出され、マトリクスA^k及びC^kをそれぞれ形成する。高解像度画像Hは、最小二乗の観点から全てのL^kを説明する(潜在的に)最良のHを算出することにより、更新されることが可能である。

実施形態は、902に示されるように低解像度画像L_kを高解像度グリッドに投影することにより、高解像度画像Hを初期化し、同じ交わりプロシジャ(intersection procedure)に従ってa_jiを算出することが可能である。別の言い方をすれば、高解像度ピクセルh_iの交わりの領域は、ランプ幅rにより与えられるように、l_jを囲む領域とともに計算されることが可能である。これらの実施形態は、c_ji=1∀i,jのように設定し、Hについて連立方程式を解くことができる。Hのこの値は、従って、期待値最大化(Expectation-Maximization：EM)アルゴリズムを初期化するために使用されることが可能である。
＜システム例＞

図10はシステム例1000を示し、システム例1000は深度マップを改善する概念についての様々なデバイス手段を示す。この例では、3つのデバイス手段が示されている。デバイス102は図1によるものの繰り返しである。図10に関連して、追加的なデバイス1002(1)、1002(2)及び1002(3)が導入されている。デバイス102は、スマートフォン型のデバイスとして現れている。デバイス1002(1)は、この例ではスマート眼鏡の中のウェラブル・スマート・デバイスとして現れている。デバイス1002(2)は3-Dプリンタとして現れている。デバイス1002(3)は娯楽機器コンソールとして現れている。当然に、全てのデバイス手段が示されるわけではなく、上記及び下記の説明から、当業者にとって、他のデバイス手段も明らかであるはずである。デバイス102、1002(1)、1002(2)及び/又は1002(3)はネットワーク104を介して結合されることが可能である。ネットワークは、クラウド1006に配置されるリソースのような他のリソースに接続されてもよい。

個々のデバイス102、1002(1)、1002(2)及び/又は1002(3)は、1つ以上の深度カメラ104を含むことが可能である。様々なタイプの深度カメラの使用が可能である。例えば、構造化された光深度カメラ、タイム・オブ・フライト(TOF)深度カメラ、及び/又は、ステレオ深度カメラの使用が可能である。

個々のデバイス102、1002(1)、1002(2)及び/又は1002(3)は、特に、2つの図示されている構成1008(1)及び1008(2)のうちの何れかとして現れることが可能である。概して、構成1008(1)はオペレーティング・システム中心の構成を表現し、構成1008(2)はシステム・オン・チップ構成を表現する。構成1008(1)は、1つ以上のアプリケーション1010、オペレーティング・システム1012及びハードウェア1014の中に組織化される。構成1008(2)は、共有リソース1016、個別リソース1018及びそれらの間のインターフェース1020の中に組織化される。

何れの構成においても、デバイス102、1002(1)、1002(2)及び/又は1002(3)は、ストレージ1022、プロセッサ1024、センサー1026及び/又は通信コンポーネント1028を含むことが可能である。個々のデバイスは、代替的又は追加的に、入力/出力デバイス、バス、グラフィックス・カード(例えば、グラフィックス・プロセッシング・ユニット(GPU))等のような他の要素を含み、他の要素は簡明化のため図示も議論もされていない。

複数のタイプのセンサー1026が、個々のデバイス102、1002(1)、1002(2)及び/又は1002(3)の中/上に備えられることが可能である。深度カメラ104はセンサーとして考えることが可能である。追加的なセンサーの具体例は、赤緑青(RGB)カメラ(例えば、カラーカメラ)のような可視光カメラ、及び/又は、組み合わせのRGBプラス深度カメラ(RGBDカメラ)を含むことが可能である。他のセンサーの具体例は、加速度計、ジャイロスコープ、磁力計、及び/又は、マイクロフォン等を特に含むことが可能である。

通信コンポーネント1028は、個々のデバイス102、1002(1)、1002(2)及び/又は1002(3)が、互いに及び/又はクラウド・ベース・リソースと通信することを許容することが可能である。通信コンポーネントは、セルラー、Wi-Fi(IEEE802.xx)、ブルートゥース(登録商標)等のような様々な技術との通信のために、受信機及び送信機及び/又は他の無線周波数回路を含むことが可能である。

場合によっては、個々のデバイスにおける深度依存測定モデリング・コンポーネント116は、ロバストであるようにすることが可能であり、個々のデバイスが、概ね自己完結式(self-contained manner)に動作することを許容することが可能である点に留意を要する。例えば、図1に関連して説明されるように、デバイス102は、対象110についての一群の低解像度深度画像108を取得することが可能である。深度依存測定モデリング・コンポーネント116は、一群の低解像度深度画像について、深度依存ピクセル平均化関数118及び深度依存ノイズ補正120を利用することが可能である。深度依存測定モデリング・コンポーネント116は、高解像度画像114を生成することが可能である。デバイス102は、様々な方法で高解像度画像114を利用することが可能である。1つの用途は、高解像度画像を3-Dプリンティング・デバイス1002(2)に送信することである。3-Dプリンタは、プリント・ヘッド1130を利用して、対象の複製をプリントすることが可能であり、プリント・ヘッド1130は高解像度画像に従って材料層を堆積するように構成される。

代替的に、ユーザーは3-Dプリンティング・デバイス1002(2)の中に対象(例えば、図1の例ではアーティチョーク)を配置することが可能である。3-Dプリンティング・デバイスは、深度カメラ104を利用して、一群の低解像度深度画像を取得することが可能である。3-Dプリンティング・デバイスの深度依存測定モデリング・コンポーネント116は、デバイスのストレージ1022に保存されている深度カメラ104に対する深度依存ピクセル平均化関数を利用して、対象の高解像度画像を生成することが可能である。具体的な技術例、関数及び数式例は、図8に関連する上記の説明で与えられている。プリント・ヘッド1130は、高解像度画像から対象の複製を生成することが可能である。

他の例において、個々のデバイス102、1002(1)、1002(2)及び/又は1002(3)は、ロバスト性の弱い深度依存測定モデリング・コンポーネント116を有することが可能である。そのような場合において、デバイスは、(処理されていない又は部分的に処理されている)一群の低解像度深度画像を、クラウド・ベースの深度依存測定モデリング・コンポーネント116に送信し、そのコンポーネント116は、個々のデバイスに対する深度依存ピクセル平均化関数を利用して、対応する高解像度画像を生成することが可能である。例えば、個々のデバイスは、メタデータとしての低解像度画像とともに、深度依存ピクセル平均化関数を送信することが可能である。代替的に、クラウド・ベースの深度依存測定モデリング・コンポーネント116(3)は、テーブルを維持し及び/又はテーブルにアクセスし、テーブルは、様々なモデルの深度カメラに対する深度依存ピクセル平均化関数を含む。クラウド・ベースの深度依存測定モデリング・コンポーネント116(3)は、高解像度画像を生成するために、個々のデバイスにおける深度カメラのモデルに対して、対応する深度依存ピクセル平均化関数を利用することが可能である。クラウド・ベースの深度依存測定モデリング・コンポーネント116(3)は、高解像度画像を個々のデバイスに返し、クラウドに高解像度画像を保存し、及び/又は、他の処理を行うことが可能であり、他の処理は、例えば、高解像度画像を3-Dプリンティング・デバイス1002(2)に送信することである。

一観点から言えば、任意のデバイス102、1002(1)、1002(2)及び/又は1002(3)を、コンピュータと考えることが可能である。本願で使用されるような「デバイス」、「コンピュータ」又は「コンピューティング・デバイス」という用語は、或る程度の処理能力及びストレージ能力を有する任意のタイプのデバイスを意味することが可能である。処理能力は、1つ以上のプロセッサにより提供されることが可能であり、プロセッサは、機能を発揮するために、コンピュータ読み取り可能な命令の形式によるデータを実行することが可能である。コンピュータ読み取り可能な命令及び/又はユーザー関連データ等のようなデータは、
コンピュータに対して内部又は外部であるとすることが可能なストレージのようなストレージに保存されることが可能である。ストレージは、特に、揮発性又は不揮発性のメモリ、ハード・ドライブ、フラッシュ・ストレージ・デバイス、及び/又は、光ストレージ・デバイス(例えば、CD、DVD等)、リモート・ストレージ(例えば、クラウド・ベースのストレージ)等のうちの任意の1つ以上を含むことが可能である。本願で使用されるように、「コンピュータ読み取り可能な媒体」という用語は信号を含むことが可能である。これに対して、「コンピュータ読み取り可能な記憶媒体」は信号を排除している。コンピュータ読み取り可能な記憶媒体は、「コンピュータ読み取り可能なストレージ・デバイス」を含む。コンピュータ読み取り可能なストレージ・デバイスの具体例は、RAMのような揮発性の記憶媒体、ハード・ドライブ、光ディスク及び/又はフラッシュ・メモリ等のような不揮発性の記憶媒体を特に包含する。

上述したように、構成1008(2)は、システム・オン・チップ(SOC)タイプの設計であると考えることが可能である。そのような場合、デバイスにより提供される機能は、単独のSCO又は複数の結合されたSOCに組み込まれることが可能である。1つ以上のプロセッサは、メモリ、ストレージ等のような共有リソース1016、及び/又は、ハードウェア・ブロック等のような1つ以上の専用リソース1018とともに協働し、所定の機能を実行するように構成されることが可能である。本願で使用されるような「プロセッサ」という用語は、中央処理ユニット(CPU)、グラフィカル処理ユニット(GPU)、コントローラ、マイクロコントローラ、プロセッサ・コア、或いは、他のタイプの処理デバイスを指すことも可能である。

一般に、本願で説明される任意の機能は、ソフトウェア、ファームウェア、ハードウェア(例えば、固定論理回路)、或いは、これらの手段の組み合わせを利用して実現されることが可能である。本願で使用されるような「コンポーネント」という用語は、一般に、ソフトウェア、ファームウェア、ハードウェア、全体的なデバイス又はネットワーク、或いは、それらの組み合わせを表現する。ソフトウェア実現手段の場合、例えば、これらはプログラム・コードを表現し、プログラム・コードは、プロセッサ(例えば、単独のCPU又は複数のCPU)で実行される場合に、特定のタスクを実行する。プログラム・コードは、コンピュータ読み取り可能な記憶媒体のような1つ以上のコンピュータ読み取り可能なメモリ・デバイスに保存されることが可能である。コンポーネントの特徴及び技術は、プラットフォーム独立式であり、様々な処理構成を有する様々な市販のコンピューティング・プラットフォームでそれらが実現されてよいことを意味する。

或る構成例では、深度依存測定モデリング・コンポーネント116及び/又はデバイス・モデル固有の深度依存ピクセル平均化関数118は、ハードウェア、ファームウェア又はソフトウェアとして、コンピュータの製造中に導入されることが可能であり、或いは、エンド・ユーザーに販売するためにコンピュータを準備する仲介者により導入されることが可能である。また、エンド・ユーザーは、深度依存測定モデリング・コンポーネント116及び/又はデバイス・モデル固有の深度依存ピクセル平均化関数118を、例えば、ダウンロード可能なアプリケーション及び関連するデータ(例えば、ファンクション)の形式でインストールしてもよい。

コンピューティング・デバイスの具体例は従来のコンピューティング・デバイスを含むことが可能であり、デバイスは、例えば、パーソナル・コンピュータ、デスクトップ・コンピュータ、ノートブック型コンピュータ、セル・フォン、スマートフォン、パーソナル・ディジタル・アシスタント、パッド型コンピュータ、娯楽機器コンソール、3-Dプリンタであってもよいし、及び/又は、任意の多数の今なお進歩しつつある進化した形態のコンピューティング・デバイスであってもよい。更に、システム1000の一形態は、単独のコンピューティング・デバイスの形態で、又は、複数のコンピューティング・デバイスに渡って分散された形態で現れてもよい。
＜第1方法例＞

図11は例示的な深度画像解像度改善方法1100を示す。

この例では、ブロック1102において、本方法は、深度の不連続性を有するシーンに対して、深度カメラを配置することが可能である。深度カメラは、シーンのピクセルをキャプチャーするセンサーを含むことが可能である。

ブロック1104において、本方法は、深度カメラによりシーンの画像をキャプチャーすることが可能である。

ブロック1106において、本方法は、深度カメラをシーンに平行にサブピクセル距離(1ピクセル未満の距離)だけ徐々に動かし、追加的な画像をキャプチャーする。

ブロック1108において、本方法は、深度カメラが深度の不連続性をキャプチャーするように、更なる画像をキャプチャーするために、上記の徐々に動かすこと及び追加的な画像をキャプチャーすることを反復することが可能である。

ブロック1110において、本方法は、深度カメラの深度依存ピクセル平均化関数を、画像、追加的な画像及び更なる画像から識別することが可能である。従って、方法1100は、個別の深度カメラについて、深度依存ピクセル平均化関数を識別することが可能である。方法1100において、深度依存ピクセル平均化関数は、その深度カメラ又は類似する深度カメラ(例えば、同一モデルの深度カメラ)からの深度画像を改善するために使用されることが可能である。
＜第2方法例＞

図12は例示的な深度画像解像度改善方法1200を示す。

この例では、ブロック1202において、本方法は深度カメラにより取得されるシーンの一群の深度画像を受信することが可能である。

ブロック1204において、本方法は、深度カメラに対する深度依存ピクセル平均化関数を取得することが可能である。例えば、カメラに対する深度依存ピクセル平均化関数は、深度カメラ又は類似する深度カメラに対する方法1100を利用して識別されることが可能である。

ブロック1206において、本方法は、深度依存ピクセル平均化関数を利用して、一群の深度画像から、シーンの高解像度深度画像を生成することが可能である。

上記の方法は、図1-10に関連して説明されたシステム及び/又はデバイスにより、及び/又は、その他のデバイス及び/又はシステムにより、実行されることが可能である。本方法が説明される順序は、限定として解釈されるようには意図されておらず、任意の数の説明された処理が、本方法又は代替方法を実現するために、任意の順序で組み合わせられることが可能である。更に、本方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されることが可能であり、それにより、デバイスは本方法を実現することが可能である。一例において、本方法は一群の命令としてコンピュータ読み取り可能な記憶媒体に保存され、それにより、コンピューティング・デバイスによる実行は、本方法の実行をコンピューティング・デバイスに引き起こす。
＜まとめ＞

深度画像解像度の改善に関連する技術、方法、デバイス、システム等は、構造的な特徴及び/又は方法的な処理に特有の言葉で説明されているが、添付の特許請求の範囲に規定される対象事項は、説明された特有の特徴又は処理に必ずしも限定されないことが,理解されるべきである。むしろ、特有の特徴及び処理は請求項に係る方法、デバイス、システム等を実現する例示的な形態として開示されている。

Claims

深度カメラ；
コンピュータ実行可能な命令を保存するように構成されるストレージ；
前記コンピュータ実行可能な命令を実行するように構成されるプロセッサ；
前記ストレージに保存される、前記深度カメラの深度依存ピクセル平均化関数；及び
保存されている前記深度依存ピクセル平均化関数を、前記深度カメラによりキャプチャーされる対象の一群の深度画像に適用し、前記対象についての相対的に高い解像度の深度画像を生成するように構成される深度依存測定モデリング・コンポーネント；
を有するデバイス。
前記深度カメラは、赤緑青＋深度（ＲＧＢＤ）カメラにより構成される、請求項１に記載のデバイス。
前記デバイスはディスプレイを更に有し、前記深度依存測定モデリング・コンポーネントは、前記相対的に高い解像度の深度画像を前記ディスプレイにおいてＲＧＢＤ画像として提供するように構成される、請求項２に記載のデバイス。
前記深度カメラはタイム・オブ・フライト深度カメラである、或いは、前記深度カメラは構造化された光深度カメラである、或いは、前記深度カメラはステレオ深度カメラである、請求項１に記載のデバイス。
前記デバイスは、スマートフォン、パッド型コンピュータ、ノートブック型コンピュータ、又は、娯楽機器コンソールとして現れている、請求項１に記載のデバイス。
前記デバイスは、３−Ｄプリンタとして現れており、前記対象の複製を作成するために、高解像度画像に基づいて材料を配置するように構成されるプリント・ヘッドを含む、請求項１に記載のデバイス。
前記相対的に高い解像度の深度画像の３−Ｄ解像度が、前記一群の深度画像の個々の任意の深度画像の３−Ｄ解像度の少なくとも約２倍である、請求項１に記載のデバイス。
前記相対的に高い解像度の深度画像の３−Ｄ解像度が、前記一群の深度画像の個々の任意の深度画像の３−Ｄ解像度の少なくとも約３倍である、請求項１に記載のデバイス。
少なくとも１つのコンピュータ読み取り可能な記憶媒体であって、コンピューティング・デバイスにより実行される場合に、前記コンピューティング・デバイスに処理を実行させる命令を保存しており、前記処理は：
深度カメラによりキャプチャーされるシーンについての一群の深度画像を受信するステップ；
前記深度カメラに対する深度依存ピクセル平均化関数を取得するステップ；及び
前記深度依存ピクセル平均化関数を利用して、前記一群の深度画像から、前記シーンの高解像度深度画像を生成するステップ；
を有する、コンピュータ読み取り可能な記憶媒体。
前記受信することは前記一群の深度画像をキャプチャーすることを含み、或いは、前記受信することは、前記一群の深度画像をキャプチャーしたデバイスから、前記一群の深度画像を受信することを含む、請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記深度カメラに対する深度依存ピクセル平均化関数を取得することが、
前記深度カメラを対象の方に徐々に動かし、追加的な画像を取得し、前記追加的な画像から、前記深度依存ピクセル平均化関数を算出することにより、前記深度依存ピクセル平均化関数を識別することを含む、請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記深度カメラに対する深度依存ピクセル平均化関数を取得することが、
前記一群の深度画像とともに、前記深度依存ピクセル平均化関数を取得することを含む、請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記深度カメラに対する深度依存ピクセル平均化関数を取得することが、前記深度カメラのモデルに対する前記深度依存ピクセル平均化関数を取得することを含む、請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記高解像度深度画像を生成することが、前記深度カメラに対する前記深度依存ピクセル平均化関数及び深度依存ノイズ特性を利用して、前記高解像度深度画像を生成することを含む、請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記高解像度深度画像を保存するステップ、或いは、前記高解像度深度画像をデバイスに対して微調整するステップを更に有し、当該デバイスから前記一群の深度画像が受信されている、請求項９に記載のコンピュータ読み取り可能な記憶媒体。