JP2018503066A - 画像ベースの深さ検知システムの精度測定 - Google Patents

Abstract

特別なテストターゲットが、画像ベースの深さ測定システムの性能の標準化された試験を可能にし得る。加えて、グラウンドトゥルースに対する測定深さの誤差が、システム性能の指標として使用され得る。このテストターゲットは、視差推定アルゴリズムの限界を特定することの助けとなり得る。

Description

マルチカメラ撮像は、新たに出現した計算的撮影術の一分野である。マルチカメラ撮像装置（イメージャ）は多くの用途に適しているが、視差（パララックス／ディスパリティ）を用いたシーン深さの測定は、その基本的な利点のうちの１つであり、非常に有望な用途につながるものである。マルチカメラプラットフォームは、同一シーンを複数の異なる視点からキャプチャする。１つの画像から次の画像への被写体の相対的なシフトを決定するために、画像が処理される。カメラにいっそう近い被写体は大きめの横方向シフトを示す一方で、カメラからいっそう遠い被写体は縮減された横方向シフトを示す。この相対シフトは、視差と呼ばれており、深さを計算するために使用される。視差（故に深さ）の推定は、様々なアルゴリズムを使用することができる。

画像ベースの深さ測定システムにおける深さ測定性能は、カメラパラメータ、相対的なカメラ位置、及び視差誤差に依存する。視差誤差は更に、例えば被写体のテクスチャ及び色などのシーン特性、カメラの特性、レンズにおける光学収差、及び推定アルゴリズムに依存する。

現在、深さ検知システムの深さ測定性能を決定するための標準的なテストターゲットは存在していない。様々なカメラ特性を測定することには、例えば、色応答を測定するためのマクベスカラーチェッカ（Macbeth ColorChecker）や、精細さに関するＩＳＯ１２２３３などの、テストターゲットが存在している。しかし、カメラの深さ検知性能を決定することに関しては、テストターゲットが存在していない。

一部の実施形態を以下の図に関して説明する。
一実施形態に従った、複数の異なるシーン深さに配置されたボードを有する深さターゲットの模式図である。 一実施形態に従った、最も遠くから最も近くまでを表す暗色から白色とメートル単位のカラーバーとを有するシーンの深さマップである。 一実施形態に関するグラウンドトゥルース（ground truth）深さマップである。 一実施形態に関するメートル単位のカラーバーを有する測定された深さマップである。 一実施形態に従った、７８ｍｍの最大基線を有し且つ全てのカメラが等しく離隔された、６＋１カメラシステム及び２＋１カメラシステムの幾何学配置を示している。 一実施形態に従った深さ測定における図３Ａのシステムについての誤差のプロットであり、破線は、視差測定における０．２ピクセル誤差に関して計算された理論上の誤差を示し、実線は０．１ピクセル誤差に関するものである。 一実施形態に従った、１０個の異なる深さ位置に色付きの枯葉チャートを有する深さターゲットのカメラ画像である。 一実施形態に関するフローチャートである。 一実施形態に関するシステム描写である。 一実施形態に関する正面図である。

特別なテストターゲットが、画像ベースの深さ測定システムの性能の標準化された試験を可能にし得る。加えて、グラウンドトゥルース（ground truth）に対する測定深さの誤差が、システム性能の指標として使用され得る。このテストターゲットはまた、深さ測定カメラ及び視差推定アルゴリズムの限界を特定することの助けとなり得る。

異なる既知の深さに積み重ねられた複数の２次元のカスタマイズされたチャートを有する明確に特徴付けられたシーンが組み立てられ得る。これらのチャートは、異なるテクスチャを有することができるという点で、“カスタマイズされる”とし得る。何故なら、画像ベースの深さ測定アルゴリズムの結果はテクスチャ依存だからである。一般に、深さを測定するためのチャートには、高めの空間周波数のテクスチャが要求される。

２次元チャートの使用の一例が図１Ａに示されており、そこでは、漸進的に大きいサイズとなる１０個のボードでシーンが生成されている。一実施形態において、ボードはそれらの中心がアライメントされた長方形であるが、その他の知られた形状が使用されてもよく、また、非アライメント配置も使用され得る。ボードのサイズは、カメラの視野とカメラからのボードの距離とによって決定される。各ボードの辺は、カメラからのボードの距離をｚとし、且つその方向に沿ったカメラの視野をθとして、２・ｚ・ｔａｎ（θ／２）よりも小さいとし得る。このサイズは、カメラ内にボード全体を捕えることを可能にする。

これらのボード上のテクスチャに関して、各ボード上のパターン（模様）が、カメラからのその距離に対して適切にスケーリングされ得る。これは何故なら、カメラは、自身からの被写体の距離に基づいて被写体を拡大するからである。故に、同じテクスチャが、より短い距離では、より長い距離でよりも低い空間周波数を呈することになる。従って、カメラからの距離ｚ２がカメラからの距離ｚ１よりも大きい場合、距離ｚ２にあるボード上の表示パターンは、ｚ１にあるボード上の表示パターンに対してｚ２／ｚ１の倍率だけスケーリングされ得る。これが行われるのは、異なる距離での深さの測定誤差が、深さの違いによってのみ異なるのであって、テクスチャの違いによっては異ならないことを確実にするためである。その狙いは、空間周波数コンテンツを異なる深さでも同じに保って、誤差測定をこのパラメータとは無関係にすることである。故に、実際には、１メートルの距離に、或るテクスチャを有する画像が表示される場合において、２メートルの深さに置かれるときには、同じ画像が２倍に拡大されるべきである。

このシーンのグラウンドトゥルース深さマップが、最も遠い距離から最も近い距離までを暗色から白色で表す図１Ｂに示されている。“グラウンドトゥルース”とは、より高精度又は正確であると分かっている一組の測定結果を指すものである。そして、このシーンが、深さ検知システムでキャプチャされ、深さが推定される。測定された深さが、グラウンドトゥルースに対して比較され、そして、測定精度が報告される。

現実のターゲットが物理的試験のために使用されてもよく、また、コンピュータシミュレーションを介して、そのような現実のターゲットの仮想イメージが試験のために使用されてもよい。コンピュータシミュレーションを介する試験の追加の利点は、正確なグラウンドトゥルース深さマップを知っていることである。テストターゲットがモデル化され、追加の光学的効果及びセンサ効果とともに３次元（３Ｄ）レンダリングパッケージによってデジタル描画され、それにより、正確なグラウンドトゥルースが与えられる。テストターゲットに関する別の検討事項は、積み重ねられるボード上に表示されるべきパターンである。

一実施形態において、２＋１ハイブリッドカメラシステムを、６＋１ハイブリッドカメラシステムと比較し得る。２＋１ハイブリッドカメラシステムは３つのカメラを有し、図３Ａに示されるように、そのうち２つは２つのエンドカメラである。一実施形態において、エンドカメラは１メガピクセル分解能のカメラとすることができ、センターカメラは８メガピクセル分解能のカメラとすることができる。これを、ハイブリッドマルチカメラアレイと称する。同様のことが、中心カメラと、該中心カメラの両側３つずつのカメラとを有する６＋１ハイブリッドシステムにも当てはまる。

深さターゲットは、一実施形態において、異なる深さにある色付きの複数の枯葉チャート（colored Dead-leaves charts）を使用し得る。枯葉チャートは、広範囲の空間周波数を持つこと及び縮尺不変（scale invariant）であることが知られており、すなわち、空間周波数コンテンツを同じに保つのに、異なる深さのチャートのスケーリングが必要とされない。故に、枯葉チャート及びその異形に関しては、上述のような異なる深さでのスケーリングは不要である。これは、テストシーンの設置を容易化する。しかし、例えばランダムノイズなどの他のテクスチャが使用される場合、スケーリングが必要とされ得る。この深さターゲットを含むシーンがデジタル描画される。マルチカメラアレイの異なるカメラによってキャプチャされるこのシーンの画像がシミュレーションされる。画像シミュレーションは、現実のカメラ画像内で観察される全ての光学効果、色効果及びノイズ効果を含む。そして、得られた画像が深さ（視差）推定アルゴリズムに送られる。

グラウンドトゥルース深さマップ及び計算された深さマップが、それぞれ、図２Ａ及び２Ｂに示されている。バーは、メートル単位での距離を示している。得られた深さマップ内の黒色の斑点（図２Ｂ）は、使用された特定の視差アルゴリズムが深さを推定することができない領域である。これは何故なら、これらの領域が、この特定のアルゴリズムによって要求されるものよりも低い空間周波数コンテンツを有するからである。この例は、テストターゲットがアルゴリズムの限界を特徴付けることにも使用され得ることを例証している。

図３Ａは、試験された２つのシステムの幾何学配置を示している。これら２つのシステムの性能を比較するため、深さ測定における（グラウンドトゥルースに対する）誤差を図３Ｂに示す。破線のバー及び破線のカーブは、２＋１カメラシステムに関する。最も幅広の基線（ベースライン）に依存するものである理論上のカーブも示されている。これらの結果は、深さ精度及び深さ範囲の双方で、６＋１カメラシステムが２＋１カメラシステムよりも良好であることを示している。理論から知られるように、これらシミュレーションされた結果はまた、視差測定における誤差もシステムの深さに依存することを指し示している。シミュレーション結果は理論値に合理的に従っている。しかしながら、理論値は各深さで同じ視差誤差を用いて計算されているので、これらは理論値に厳密には一致していない。しかし、実際には、視差誤差は、テクスチャ、色、光学収差、及び照明の深さに伴う変動のために、異なる深さでは僅かに異なり得る。

深さ誤差は理論上、次式：
深さ誤差＝（深さ^２×視差誤差）／（焦点距離×基線）
によって決定され、これが示すことには、深さ測定における誤差は、視差誤差、レンズの焦点距離、撮像される被写体の深さ、及びシステムの最大基線（すなわち、エンドカメラ間の距離）に依存する。これら２つのシステムでは、システム内のカメラ数及び使用されるアルゴリズムのために異なるものである視差誤差を除いて、全てのパラメータが同じである。図３Ｂにおけるプロットは、深さ又は視差における誤差が、より多くのカメラが使用される場合に低いことを示している。

故に、この深さターゲット及び測定指標は、システム全体の深さ測定性能を比較のために決定することに有用であり、また、個々のアルゴリズムの評価を可能にする。

深さセンサは、当該深さセンサが使用する技術と、それに合わせて当該深さセンサが設計される用途とに応じて、異なる深さ範囲を持つ。例えば、一部のセンサは、ジェスチャー認識に合わせて設計されて、数センチメートルから２〜３メートルの範囲でのみ動作するが、一部のセンサは、１メートルから１０メートルの範囲で動作する。異なる動作範囲を所与として、深さターゲットは、要求される範囲の中で試験することに応えるように変更される必要がある。特定のシステムの深さ検知範囲の中に、テストターゲット内のボード群が配置されなければならない。

また、ボードは、システムの深さ分解能を推定するために傾けられることができる。ボードが鉛直方向若しくは水平方向又はこれら両方の方向で傾けられることで、その方向に沿ったシステムの分解能を決定することができる。分解能は、測定がどれだけ連続的又は精緻であるかに関係する。アルゴリズムは大抵、速さ及び記憶の目的で視差測定を量子化する。

画像ベースの深さ測定システムのための推定アルゴリズムは、シーンテクスチャ（換言すれば、空間周波数コンテンツ）に依存するとともに、シーンテクスチャに対するカメラ応答に依存する。これらのシステムでは、一般に、最終画像における低いテクスチャが乏しい性能を与える一方で、より高いテクスチャが、より良い性能を与える。従って、シーンは、深さ推定のためには、高い空間周波数コンテンツを有するべきである。枯葉チャートは、非常に自然なシーンに関するテクスチャを表すことが分かっており、広範囲の空間周波数を持ち、そして最も重要なことには、カメラとチャートとの間の距離に対して縮尺不変である。従って、色付きの枯葉チャートが、画像ベースの深さ測定システムに関する深さテストターゲットに使用され得る。

一方、例えば構造化照明式及び飛行時間式などの、他の深さ測定方法では、それらは画像ベースではないので、表示されるパターンは問題にならない。しかし、これらの方法では、赤外域でいっそう高い反射を伴う材料が望ましい。故に、そのような材料でボードがコーティングされ得る。

以下の説明においては、一部の実施形態で有用な１つの視差推定アルゴリズムが記述される。以下に限られないが、位相マッチング、グラフカット、又はブロックマッチングによる視差推定を含め、他のアルゴリズムも使用され得る。ハイブリッドカメラアレイは、異なるタイプのセンサ（センサが、異なる解像度、色特性、ノイズパターンなどを有し得る）からの画像に跨ってのマッチングにおける技術的難しさを突きつける。複数のカメラからの全ての画像を与えられると、画像が、最も低い解像度のカメラと同じ解像度まで小型化され得る。これを行うことにより、全ての画像が同じ解像度を持ち、視差計算におけるピクセル・ツー・ピクセル対応探索を効率的に実行することができる。画像は、そして、新たな特徴表現へと変換される。異なるカメラでは色特性やノイズパターンがかなり異なるので、バラつきは、どのような特徴が画像を表現するために抽出されるかに応じて低減され得る。例えば、ＲＧＢ色が特徴として使用される場合、“色ヒストグラム正規化”を用いて、基準カメラと同じ色特性に対して画像をマッチングし得る。グレースケールが特徴として使用される場合、“強度ヒストグラム正規化”を用いて、基準カメラと同じ強度特性に対して画像をマッチングし得る。勾配、センサス、ローカルバイナリパターン（ＬＢＰ）のような特徴は、色バラつきの影響をあまり受けにくいが、ノイズの影響を受けやすく、故に、“ノイズ正規化”を用いて、基準カメラと同じノイズ特性に対して画像をマッチングし得る。

特徴が抽出されると、マルチベースライン視差アルゴリズムが実行され得る。第１に、正確な視差推定のためには、固定サイズの領域に代えて、適応的な形状のサポート領域が望ましい。故に、一実施形態において、同じ深さのピクセルのみが、差の絶対値和（sum of absolute difference；ＳＡＤ）の計算に使用される。適応的形状サポート領域を見出すため、各ピクセル（ｘ，ｙ）が、４方向（左、右、上、及び下）に、該ピクセル（ｘ，ｙ）との間の色、勾配、又はグレースケールの差が特定の閾値を超えるようなピクセルにぶつかるまで延ばされる。カメラのペア（対）（基準カメラＣｒに対するその他のカメラＣｉ）ごとに、そして、ベースライン比ｄｘ＝ｄ＊ｂｉ＿ｘ／ｂｉ及びｄｙ＝ｄ＊ｂｉ＿ｙ／ｂｉを用いて計算される水平方向及び鉛直方向の候補視差をｄｘ及びｄｙとして、候補視差ｄ＝（ｄｘ，ｄｙ）ごとに、Ｃｒ内の各ピクセル（ｘ，ｙ）及びＣｉ内の対応する比較ピクセル（ｘ＋ｄｘ，ｙ＋ｄｙ）に関するサポート領域を構築する。同じ処理を繰り返して、全てのピクセルに関するサポート領域を構築する。

第２に、カメラのペアＣｒ及びＣｉごとに、各候補視差ｄにおける特徴を用いてピクセル毎の差の絶対値（absolute difference；ＡＤ）を初期化する。式１：

は、各ピクセル（ｘ，ｙ）に関するＡＤ計算を示している。

第３に、カメラのペアＣｒ及びＣｉごとに、効率的な計算のための積分画像技術を用いたサポート領域Ｓ内の差の絶対値和（ＳＡＤ）：

を用いて、ＡＤ誤差を集約する。

第４に、カメラＣｒとＣｉとの間のペア毎の全てのＳＡＤ誤差コストを、双線形補間を用い、ベースライン比に基づいて、最長のベースラインに合わせてサイズ変更（resize）し、そして、集約関数を用いてそれらを一緒に集約する。集約関数（aggregate）は、例えば、最小の誤差を持つＳＡＤ_ｉ（ｄ）であるか、又は最も小さい方の誤差を持つ部分集合｛ＳＡＤ_ｉ（ｄ）｝として平均をとるかの何れかとすることができる：

を取る。

最後に、最長の基線に沿った、基準カメラにおける所与のピクセル（ｘ，ｙ）に関するマルチベースライン視差値が、全てのカメラペアからまとめられた誤差マップ内で最小のｄを見出すことによって計算される：

ステップ２からの視差はノイズを含み得る。一層きれいで平滑な視差出力を得るため、精緻化ステップが、ノイズ及び低確信の視差値を除去する。例えば、全体最小コストの一意性や、コスト曲線の分散などの方法が使用され得る。そして、この先行ステップで除去されてできた穴を充たすために、メジアンフィルタ、ジョイント双方向（バイラテラル）フィルタなどが使用され得る。最後に、視差マップの解像度が基準カメラ画像の元の解像度よりも低い場合に、視差マップが、基準カメラと同じ解像度まで大型化される。

図４は、複数の異なる深さに色付きの枯葉チャートを有する３Ｄ深さターゲットの画像を示している。深さ測定精度を測定するために、このようなテクスチャチャートのうちの１つが置かれ得る。色、ダイナミックレンジ、及びカメラのその他の応答が、深さとともに同時に特徴付けられる必要がある場合、それらに関するテストチャートも、積み重ねボード上に置かれることができる。使用事例の一例にて、複数のカメラが異なる色応答を有することがあり、故に、マクベスカラーチェッカが正面に配置され得る。それは、各カメラの色応答を与え、違いを補償する能力を与えることになる。

深さターゲットを用いて設計及び試験するための方法を、図５に示すフローチャート１０にて記述する。このフローチャートは、シミュレーション１６と物理的な試験２８との双方のパス（経路）を示している。これらの方法は互いに独立であり、何れかを使用することができる。シミュレーションは、グラウンドトゥルースが正確であるので、いっそう容易である。

ブロック１２、１４、１８、２０、２２及び２６に示されるステップを含むシミュレーション試験パス１６は、一部の実施形態において、ソフトウェア、ファームウェア、及び／又はハードウェアにて実装され得る。ソフトウェア及びファームウェアの実施形態において、これらのステップは、例えば磁気ストレージ、光ストレージ、又は半導体ストレージなどの、１つ以上の非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータ実行命令によって実装され得る。

ブロック１２に指し示されるように、３次元センサの深さ範囲に応じて、その深さ範囲内であるようにボードが置かれる必要がある位置が決定される。シミュレーションされる実施形態においては、物理的なボードを用いることに代えて、ボードの画像が設計される。次いで、ブロック１４に指し示されるように、物理的又は仮想的なボードを有するターゲットシーンが、複数の所望深さに、所望のチャートを用いて設計される。シミュレーション試験パス１６において、シーンがデジタル描画されるとともに、関連するグラウンドトゥルース深さマップがデジタル描画される（ブロック１８）。ブロック２０に指し示されるように、仮想的なマルチカメラアレイを用いて、シーンの画像キャプチャがシミュレーションされる。

実際の物理的キャプチャによる深さ試験シーケンス２８においては、ブロック３０にて指し示されるように、物理的なシーンが設置され、ブロック３２に指し示されるように、マルチカメラアレイを用いて画像がキャプチャされる。

シミュレーション及び実際の物理的キャプチャの双方において、ブロック２２に指し示されるように、画像上で視差推定アルゴリズムが走らされ、その結果が深さに変換される。最後に、ブロック２６にて、推定された深さがグラウンドトゥルースと比較される。

以前から存在する枯葉チャートと、複数の異なる深さ位置でのチャートの使用との組み合わせが、画像ベースの深さ検知システムの評価を可能にする。故に、この思想は、枯葉チャートを、これまで提案されていなかった深さ試験のために使用する。

コンピュータシミュレーションされたテストターゲットが、システム性能評価に使用され得る。コンピュータ生成された３Ｄテストシーンが、カメラシミュレーションにて使用され得る。利点は、一部の実施形態において、評価のための正確なグラウンドトゥルース深さマップの知識である。

コンピュータグラフィックス生成された画像が、カメラによってキャプチャされるシーンとして使用され得る。これらのシーンは、現実のカメラで見られる歪みなしで、カメラよりも遥かに高い空間及び色の解像度で生成され得る。マルチカメラシステムにおいては、カメラ間の空間的な隔たりが、キャプチャされる画像に視差を含ませて、様々な深さにある被写体が画像間で横方向にシフトして見えるようにする。マルチカメラシステムでは、単一のシーンの複数の画像が、カメラの幾何学配置に応じた複数の視点から生成される。そして、これらの画像が、カメラの入力シーンとしての役割を果たす。

シーンの２Ｄ投影が作成されると、このシーン画像は、光伝搬法によって光学的な像へと変換される。３Ｄモデル内の光源が、シーン照明、及び光源タイプ（ランバーシアン、点、拡散、拡大）のようなパラメータとを決める。光の色温度及び輝度（明るさ）が、３Ｄモデル内で制御され得る。

シーンのこの高解像度版が、レンズの入射瞳に伝搬される。そして、レンズがシーンの縮小像をセンサ平面上に形成するよう、シーンが処理される。センサ平面上に生成される像には、レンズ収差及び回折効果が忠実に与えられる。例えばレンズ間のミスアライメントや迷光効果などの様々な効果もモデル化される。

モデルは、カメラモジュールの光機械的な側面を含み、すなわち、レンズの光軸とセンサ中心との間のアライメントを含む。それは、レンズの背面焦点距離のバラつき、及びレンズ焦点面に対するセンサ一の誤差を含む。モデルには、最終的な画像内で光学収差のうちの１つとして現れる熱的効果及びその他の機械的効果も含められる。

センサが、シーンをサンプリングして、例えばショットノイズ、読み出しノイズ、光応答不均一性、固定パターンノイズ、ピクセルクロストーク、及びその他の電子的ノイズ源などの、ノイズ源からのノイズを付加した画像を作成する。センサモデルには、例えば光子−電子変換、有限ピクセルサイズ、カラーフィルタ、及び光変換の効率などの、センサのその他の側面も考慮に入れられる。

センサからの“ロー”画像が、典型的なカメラ画像信号処理パイプによって処理され、各カメラサブシステムからのＲＧＢ画像が送達される。これら全てのＲＧＢ画像が、“マルチカメラ”画像信号プロセッサ（image signal processor；ＩＳＰ）へと送られ、視差、深さ、及び同様のマルチカメラパラメータが抽出される。これらのＲＧＢ画像及びそれらの“マルチカメラ”メタデータが、エンドユーザによって選択された特別な効果を描画するメディアビューへと送られる。シミュレーションは、これら全ての側面を高精度にモデル化し得る。

始めにコンピュータ生成シーンを生成するプロセスの間に、カメラの各々に関して、シーンの“グラウンドトゥルース深さマップ”が生成される。“グラウンドトゥルース”を有することは、例えばテクスチャ、照明、フィールド位置、被写体距離、及びその他の特性などの様々なパラメータの関数としての、我々の視差・深さ抽出アルゴリズムの性能との比較を可能にする。受動的な深さ測定は、シーン依存であって、或る範囲の複数のシーンにわたって徹底的に試験しなければならないことが多いので、この分析は高度に望ましいものである。

シーンのシミュレーション部分において、必要に応じて、シーンについての高空間解像度情報が集められて、カメラシステムの色的な忠実性の試験を可能にする。

図６は、システム７００の一実施形態を例示している。実施形態において、システム７００は、メディアシステムとし得るが、システム７００はこの状況に限定されるものではない。例えば、システム７００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、結合携帯電話／ＰＤＡ、テレビジョン、スマート装置（例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン）モバイルインターネット装置（ＭＩＤ）、メッセージング装置、及びデータ通信装置などに組み込まれ得る。

実施形態において、システム７００は、ディスプレイ７２０に結合されたプラットフォーム７０２を有する。プラットフォーム７０２は、例えばコンテンツサービス装置７３０若しくはコンテンツ配信装置７４０又はその他同様なコンテンツ源などの、コンテンツ装置からコンテンツを受信し得る。例えばプラットフォーム７０２及び／又はディスプレイ７２０とインタラクトするために、１つ以上のナビゲーション機構を有するナビゲーションコントローラ７５０が使用され得る。これらのコンポーネントの各々を更に詳細に後述する。

実施形態において、プラットフォーム７０２は、チップセット７０５、プロセッサ７１０、メモリ７１２、ストレージ７１４、グラフィックスサブシステム７１５、アプリケーション７１６及び／又は無線装置７１８の組み合わせを有し得る。チップセット７０５は、プロセッサ７１０、メモリ７１２、ストレージ７１４、グラフィックスサブシステム７１５、アプリケーション７１６及び／又は無線装置７１８の間での相互通信を提供し得る。例えば、チップセット７０５は、ストレージ７１４との相互通信を提供することが可能なストレージアダプタ（図示せず）を含み得る。

プロセッサ７１０は、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサ若しくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又はその他のマイクロプロセッサ若しくは中央演算処理ユニット（ＣＰＵ）として実装され得る。実施形態において、プロセッサ７１０は、デュアルコアプロセッサやデュアルコアモバイルプロセッサなどを有し得る。プロセッサは、メモリ７１２とともに、図５のシーケンスを実装し得る。

メモリ７１２は、以下に限られないが例えばランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）などの、揮発性メモリデバイスとして実装され得る。

ストレージ７１４は、以下に限られないが例えば磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶装置、取付式記憶装置、フラッシュメモリ、電池バックアップ式ＳＤＲＡＭ（同期式ＤＲＡＭ）、及び／又はネットワークアクセス可能記憶装置などの、不揮発性記憶装置として実装され得る。実施形態において、ストレージ７１４は、例えば複数のハードドライブが含められるとき、貴重なデジタルメディアの対する記憶性能強化保護を高めるための技術を有し得る。

グラフィックスサブシステム７１５は、静止画又は動画などの画像の表示のための処理を実行し得る。グラフィックスサブシステム７１５は、例えば、グラフィック処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）とし得る。グラフィックスサブシステム７１５とディスプレイ７２０とを通信可能に結合するために、アナログ又はデジタルのインタフェースが使用され得る。例えば、このインタフェースは、ＨＤＭＩ（高精細度マルチメディアインタフェース）、ＤｉｓｐｌａｙＰｏｒｔ、ワイヤレスＨＤＭＩ、及び／又はワイヤレスＨＤに準拠した技術のうちの何れかとし得る。グラフィックスサブシステム７１５は、プロセッサ７１０又はチップセット７０５に統合されてもよい。グラフィックスサブシステム７１５は、チップセット７０５に通信可能に結合されたスタンドアローン型カードであってもよい。

ここに記載されるグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャにて実装され得る。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合されてもよい。他の例では、別個のグラフィックス及び／又はビデオプロセッサが使用されてもよい。更なる他の一実施形態として、グラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含め汎用プロセッサによって実装されてもよい。更なる一実施形態において、これらの機能は消費者電子装置にて実装されてもよい。

無線装置７１８は、様々な好適な無線通信技術を用いて信号の送信及び受信を行うことが可能な１つ以上の無線装置を含み得る。このような技術は、１つ以上の無線ネットワークを横切っての通信を伴い得る。典型的な無線ネットワークは、（以下に限られないが）無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ワーク、及び衛星ネットワークを含む。このようなネットワークを横切って通信する際、無線装置７１８は、何らかのバージョンの１つ以上の適用可能な規格に従って動作し得る。

実施形態において、ディスプレイ７２０は、如何なるテレビジョンタイプのモニタ若しくはディスプレイを有していてもよい。ディスプレイ７２０は、例えば、コンピュータ表示スクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビジョンのような装置、及び／又はテレビジョンを有し得る。ディスプレイ７２０は、デジタル及び／又はアナログとし得る。実施形態において、ディスプレイ７２０はホログラフィックディスプレイであってもよい。また、ディスプレイ７２０は、視覚投影を受け得る透明表面であってもよい。そのような投影は、様々な形態の情報、画像、及び／又はオブジェクトを伝達し得る。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーション用の視覚的オーバーレイとし得る。１つ以上のソフトウェアアプリケーション７１６の制御下で、プラットフォーム７０２はディスプレイ７２０上にユーザインタフェース７２２を表示し得る。

実施形態において、コンテンツサービス装置７３０は、何らかの国家サービス、国際サービス及び／又は独立系サービスをホストとすることができ、故に、例えばインターネットを介してプラットフォーム７０２にアクセス可能である。コンテンツサービス装置７３０は、プラットフォーム７０２及び／又はディスプレイ７２０に結合されてもよい。プラットフォーム７０２及び／又はコンテンツサービス装置７３０は、ネットワーク７６０に結合されて、ネットワーク７６０との間でメディア情報を通信（例えば送信及び／又は受信）してもよい。コンテンツ配信装置７４０もまた、プラットフォーム７０２及び／又はディスプレイ７２０に結合され得る。

実施形態において、コンテンツサービス装置７３０は、ケーブルテレビジョンボックス、パーソナルコンピュータ、ネットワーク、電話機、デジタル情報及び／又はコンテンツを配信することが可能なインターネット接続可能装置若しくは機器、及び、ネットワーク７６０を介して、あるいは直接的にコンテンツプロバイダとプラットフォーム７０２及び／又はディスプレイ７２０との間で単方向あるいは双方向にコンテンツを通信することが可能なその他の同様の装置を有し得る。認識されるように、コンテンツは、ネットワーク７６０を介して、システム７００内のコンポーネントのうちの何れか１つとコンテンツプロバイダとの間で単方向及び／又は双方向に通信され得る。コンテンツの例は、例えばビデオ、音楽、医療情報、及びゲーム情報などを含む如何なるメディア情報をも含み得る。

コンテンツサービス装置７３０は、例えばメディア情報、デジタル情報及び／又はその他のコンテンツを含む例えばケーブルテレビジョン番組などのコンテンツを受信する。コンテンツプロバイダの例は、ケーブルテレビジョンプロバイダ、衛星テレビジョンプロバイダ、ラジオプロバイダ、又はインターネットコンテンツプロバイダを含み得る。提示した例は、適用可能な実施形態を限定することを意図したものではない。

実施形態において、プラットフォーム７０２は、１つ以上のナビゲーション機構を有するナビゲーションコントローラ７５０から制御信号を受信し得る。コントローラ７５０のナビゲーション機構は、例えば、ユーザインタフェース７２２とインタラクト（対話）するために使用され得る。実施形態において、ナビゲーションコントローラ７５０は、ユーザが空間（連続的且つ多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインタフェース装置）であるポインティング装置とし得る。例えばグラフィカルユーザインタフェース（ＧＵＩ）、テレビジョン及びモニタなどの数多くのシステムは、ユーザが身体的なジェスチャーを用いてコンピュータ又はテレビジョンを制御したりそれにデータを提供したりすることを可能にしている。

コントローラ７５０のナビゲーション機構の動作は、ディスプレイ上に表示されるポインタ、カーソル、焦点リング又はその他の視覚的インジケータの動作によって、ディスプレイ（例えば、ディスプレイ７２０）上に反映され得る。例えば、ソフトウェアアプリケーション７１６の制御下で、ナビゲーションコントローラ７５０上に位置するナビゲーション機構が、例えば、ユーザインタフェース７２２上に表示される仮想ナビゲーション機構にマッピングされ得る。実施形態において、コントローラ７５０は、別個のコンポーネントではなくて、プラットフォーム７０２及び／又はディスプレイ７２０に統合されてもよい。実施形態は、しかしながら、ここに図示あるいは記載される要素又は状況に限定されるものではない。

実施形態において、テレビジョンのようなプラットフォームを、例えば使用可能にされるとき、最初の起動後にボタンのタッチを用いて即座にターンオン／オフすることを可能にする技術をドライバ（図示せず）が有し得る。プラットフォーム７０２がターン“オフ”されるとき、プラットフォーム７０２がコンテンツをメディアアダプタ又はその他のコンテンツサービス装置７３０若しくはコンテンツ配信装置７４０にストリーミングすることを、プログラムロジックが可能にし得る。さらに、例えば、５．１チャンネルサラウンド音声オーディオ及び／又は高精細７．１チャンネルサラウンド音声オーディオ用のハードウェア及び／又はソフトウェアサポートを、チップセット７０５が有し得る。ドライバは、統合グラフィックスプラットフォーム用のグラフィックスドライバを含み得る。実施形態において、グラフィックスドライバは、ＰＣＩ（ペリフェラルコンポーネントインターコネクト）Ｅｘｐｒｅｓｓ（エクスプレス）グラフィックスカードを有し得る。

様々な実施形態において、システム７００内に示したコンポーネントのうちの何れか１つ以上が統合されてもよい。例えば、プラットフォーム７０２とコンテンツサービス装置７３０とが一体にされてもよいし、プラットフォーム７０２とコンテンツ配信装置７４０とが一体にされてもよいし、プラットフォーム７０２とコンテンツサービス装置７３０とコンテンツ配信装置７４０とが一体にされてもよい。様々な実施形態において、プラットフォーム７０２及びディスプレイ７２０は、一体化されたユニットとし得る。例えば、ディスプレイ７２０とコンテンツサービス装置７３０とが一体にされてもよいし、ディスプレイ７２０とコンテンツ配信装置７４０とが一体にされてもよい。これらの例は、範囲限定であることを意図したものではない。

様々な実施形態において、システム７００は、無線システム、有線システム、又はこれら双方の組み合わせとして実装され得る。無線システムとして実装されるとき、システム７００は、例えば１つ以上のアンテナ、送信器、受信器、送受信器、増幅器、フィルタ、及び制御ロジックなどの、無線共有媒体上で通信を行うことに適したコンポーネント及びインタフェースを含み得る。無線共有媒体の一例は、例えばＲＦスペクトルなどの無線スペクトルの一部を含み得る。有線システムとして実装されるとき、システム７００は、例えば入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続する物理的なコネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、及びオーディオコントローラなどの、有線通信媒体上で通信を行うことに適したコンポーネント及びインタフェースを含み得る。有線通信媒体の例は、ワイヤ、ケーブル、金属リード、印刷回路基板（ＰＣＢ）、バックプレーン、スイッチ構成、半導体材料、ツイストペアワイヤ、同軸ケーブル、及び光ファイバを含み得る。

プラットフォーム７０２は、情報を通信する１つ以上の論理チャネル又は物理チャネルを構築し得る。情報は、メディア情報と制御情報とを含み得る。メディア情報は、ユーザに向けられるコンテンツを表すデータを意味し得る。コンテンツの例は、例えば、音声会話からのデータ、ビデオ会議、ストリーミングビデオ、電子メール（“ｅｍａｉｌ”）メッセージ、音声メールメッセージ、英数字記号、グラフィックス、画像、ビデオ、及びテキストなどを含み得る。音声会話からのデータは、例えば、音声情報、沈黙器官、背景雑音、快適雑音、及びトーンなどとし得る。制御情報は、自動化システムに向けられるコマンド、命令又は指令語を表すデータを意味し得る。例えば、制御情報は、メディア情報をシステム内で経路付けるため、あるいは所定の手法でノードがメディア情報を処理するように命令するために使用され得る。実施形態は、しかしながら、図６に図示あるいは記載された要素又は状況に限定されるものではない。

上述のように、システム７００は、様々な物理様式又はフォームファクタで具現化され得る。図７は、システム７００が具現化され得る小さいフォームファクタの装置８００の実施形態を例示している。実施形態において、例えば、装置８００は、無線機能を有するモバイルコンピューティング装置として実装され得る。モバイルコンピューティング装置は、プロセッシングシステムと、例えば１つ以上の電池などのモバイル電源又は電力供給とを有する如何なる装置をも指し得る。

上述のように、モバイルコンピューティング装置の例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、結合携帯電話／ＰＤＡ、テレビジョン、スマート装置（例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン）モバイルインターネット装置（ＭＩＤ）、メッセージング装置、及びデータ通信装置などを含み得る。

モバイルコンピューティング装置の例はまた、例えば、手首着用コンピュータ、指着用コンピュータ、指輪型コンピュータ、眼鏡型コンピュータ、ベルトクリップ型コンピュータ、アームバンド型コンピュータ、シューズ型コンピュータ、衣服型コンピュータ、及びその他のウェアラブルコンピュータなどの、人間によって着用されるように構成されたコンピュータを含み得る。実施形態において、例えば、モバイルコンピューティング装置は、コンピュータアプリケーション並びに音声通信及び／又はデータ通信を実行することが可能なスマートフォンとして実装され得る。一部の実施形態は、例としてスマートフォンとして実装されるモバイルコンピューティング装置を用いて記述され得るが、理解され得るように、その他の実施形態は、その他の無線モバイルコンピューティング装置を用いて同様に実装され得る。実施形態は、この状況に限定されるものではない。

ここに記載されたプロセッシング技術は、様々なハードウェアアーキテクチャにて実装され得る。例えば、この機能はチップセット内に統合され得る。それに代えて、ディスクリートのプロセッサが使用されてもよい。更なる他の一実施形態として、マルチコアプロセッサを含め、汎用プロセッサによって機能が実装され得る。

以下の条項及び／又は例は更なる実施形態に関する。

一実施形態例は、深さ測定能力を試験するためのテストターゲットであって、異なる既知の深さに配置される、逐次的に大きくなるサイズの、平面状のボードのアレイを有し、前記ボードは、色付きの枯葉を描写している、ターゲットとし得る。当該ターゲットはまた、前記ボードが、カメラからの距離に依存する量だけ漸進的に大型化されることを含み得る。当該ターゲットはまた、各ボードの辺が２・ｚ・ｔａｎ（θ／２）よりも小さく、ただし、ｚは前記カメラからの該ボードの距離であり、θは前記カメラの視野であることを含み得る。当該ターゲットはまた、前記カメラからの距離ｚ２が距離ｚ１よりも大きく、距離ｚ２にある前記ボード上に表示されるパターンが、距離ｚ１にある前記ボード上に表示されるパターンに対してｚ２／ｚ１の倍率だけスケーリングされることを含み得る。当該ターゲットはまた、前記ボードが、試験されるカメラシステムの深さ検知範囲内にあることを含み得る。

他の一実施形態例は、複数の現実の又はシミュレーションされた逐次的に大きくなるサイズの離間された平面状のボード、の形態をしたテストターゲットを、試験されるカメラシステムの深さ範囲内に配置することであり、前記ボードは、色付きの枯葉を描写している、配置することと、視差推定アルゴリズムを走らせることと、を有する方法とし得る。当該方法はまた、シーン及び関連するグラウンドトゥルースマップをデジタル描画することを含み得る。当該方法はまた、仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすることを含み得る。当該方法はまた、前記画像上で視差推定アルゴリズムを走らせることを含み得る。当該方法はまた、前記画像を深さに変換することを含み得る。当該方法はまた、推定された深さをグラウンドトゥルースと比較することを含み得る。

他の一実施形態例において、１つ以上の非一時的なコンピュータ読み取り可能媒体は、複数の逐次的に大きくなるサイズの離間された平面状のボードの画像の形態をしたテストターゲットを、試験されるカメラシステムの深さ範囲内に配置することであり、前記ボードは、色付きの枯葉を描写している、配置することと、ターゲットシーンを設計することと、を有するシーケンスを実行するように実行される命令を格納する。当該媒体はまた、前記シーケンスが、シーン及び関連するグラウンドトゥルースマップをデジタル描画することを含む、ことを含み得る。当該媒体は、前記シーケンスが、仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすることを含む、ことを含み得る。当該媒体は、前記シーケンスが前記画像上で視差推定アルゴリズムを走らせることを含む、ことを含み得る。当該媒体は、前記シーケンスが前記アルゴリズムの結果を深さに変換することを含む、ことを含み得る。当該媒体は、前記シーケンスが、推定された深さをグラウンドトゥルースと比較することを含む、ことを含み得る。

他の一実施形態例は、試験されるカメラシステムの深さ範囲内の、複数の逐次的に大きくなるサイズの離間された平面状のボードの画像、の形態をしたテストターゲットを配置して、ターゲットシーンを設計するハードウェアプロセッサであり、前記ボードは、色付きの枯葉を描写している、プロセッサと、前記プロセッサに結合された記憶装置と、を有する装置とし得る。当該装置は、前記シーケンスが、前記シーン及び関連するグラウンドトゥルースマップをデジタル描画することを含む、ことを含み得る。当該装置は、前記シーケンスが、仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすることを含む、ことを含み得る。当該装置は、前記シーケンスが前記画像上で視差推定アルゴリズムを走らせることを含む、ことを含み得る。当該装置は、前記シーケンスが前記画像を深さに変換することを含む、ことを含み得る。当該装置は、前記シーケンスが、推定された深さをグラウンドトゥルースと比較することを含む、ことを含み得る。当該装置は、異なる既知の深さに配置され、且つ色付きの枯葉を描写した、逐次的に大きくなるサイズのボードを含み得る。当該装置は、前記プロセッサに結合された電池を含み得る。

本明細書全体を通しての“一実施形態”又は“或る実施形態”への言及は、その実施形態との関連で記述される特定の機構、構造又は特徴が、本開示に包含される少なくとも１つの実装形態に含まれることを意味する。故に、“一実施形態において”又は“或る実施形態において”なる言い回しが複数現れることは、必ずしも同じ実施形態に言及するものではない。それら特定の機構、構造又は特徴は、その例示された特定の実施形態以外の好適な形態で設けられてもよく、そのような形態の全てが、本出願の請求項の中に包含され得る。

限られた数の実施形態を記述してきたが、当業者は、これらからの数多くの変更及び変形を理解することになる。意図されることには、添付の請求項は、本開示の真の精神及び範囲に入るような全ての変更及び変形に及ぶものである。

Claims (23)

1. 深さ測定能力を試験するためのテストターゲットであって、
   異なる既知の深さに配置される、逐次的に大きくなるサイズの、平面状のボードのアレイ
   を有し、前記ボードは、色付きの枯葉を描写している、
   ターゲット。
2. 前記ボードは、カメラからの距離に依存する量だけ漸進的に大型化される、請求項１に記載のターゲット。
3. 各ボードの辺は２・ｚ・ｔａｎ（θ／２）よりも小さく、ただし、ｚは前記カメラからの該ボードの距離であり、θは前記カメラの視野である、請求項２に記載のターゲット。
4. 前記カメラからの距離ｚ２が距離ｚ１よりも大きく、距離ｚ２にある前記ボード上に表示されるパターンが、距離ｚ１にある前記ボード上に表示されるパターンに対してｚ２／ｚ１の倍率だけスケーリングされる、請求項２に記載のターゲット。
5. 前記ボードは、試験されるカメラシステムの深さ検知範囲内にある、請求項１に記載のターゲット。
6. 複数の現実の又はシミュレーションされた逐次的に大きくなるサイズの離間された平面状のボード、の形態をしたテストターゲットを、試験されるカメラシステムの深さ範囲内に配置することであり、前記ボードは、色付きの枯葉を描写している、配置することと、
   視差推定アルゴリズムを走らせることと、
   を有する方法。
7. シーン及び関連するグラウンドトゥルースマップをデジタル描画すること、を含む請求項６に記載の方法。
8. 仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすること、を含む請求項７に記載の方法。
9. 前記アルゴリズムの結果を深さに変換すること、を含む請求項６に記載の方法。
10. 推定された深さをグラウンドトゥルースと比較すること、を含む請求項９に記載の方法。
11. 命令を格納した１つ以上の非一時的なコンピュータ読み取り可能媒体であって、前記命令は、実行されることで、
    複数の逐次的に大きくなるサイズの離間された平面状のボードの画像、の形態をしたテストターゲットを、試験されるカメラシステムの深さ範囲内に発現させることであり、前記ボードは、色付きの枯葉を描写している、発現させることと、
    視差推定アルゴリズムを走らせることと
    を有するシーケンスを実行する、媒体。
12. 前記シーケンスは、シーン及び関連するグラウンドトゥルースマップをデジタル描画することを含む、請求項１１に記載の媒体。
13. 前記シーケンスは、仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすることを含む、請求項１２に記載の媒体。
14. 前記シーケンスは、前記アルゴリズムの結果を深さに変換することを含む、請求項１１に記載の媒体。
15. 前記シーケンスは、推定された深さをグラウンドトゥルースと比較することを含む、請求項１４に記載の媒体。
16. 試験されるカメラシステムの深さ範囲内の、複数の逐次的に大きくなるサイズの離間された平面状のボードの画像、の形態をしたテストターゲットをシミュレーションして、ターゲットシーンを設計するハードウェアプロセッサであり、前記ボードは、色付きの枯葉を描写している、プロセッサと、
    前記プロセッサに結合された記憶装置と、
    を有する装置。
17. 前記シーケンスは、前記シーン及び関連するグラウンドトゥルースマップをデジタル描画することを含む、請求項１６に記載の装置。
18. 前記シーケンスは、仮想的なマルチカメラアレイを用いて前記シーンの画像キャプチャをシミュレーションすることを含む、請求項１７に記載の装置。
19. 前記シーケンスは、前記画像上で視差推定アルゴリズムを走らせることを含む、請求項１６に記載の装置。
20. 前記シーケンスは、前記画像を深さに変換することを含む、請求項１９に記載の装置。
21. 前記シーケンスは、推定された深さをグラウンドトゥルースと比較することを含む、請求項２０に記載の装置。
22. 異なる既知の深さに配置され、且つ色付きの枯葉を描写した、逐次的に大きくなるサイズのボード、を含む請求項１６に記載の装置。
23. 前記プロセッサに結合された電池、を含む請求項１６に記載の装置。

Images