JP2020502506A

JP2020502506A - 向上した深度感知のためのシステムおよび方法

Info

Publication number: JP2020502506A
Application number: JP2019531636A
Authority: JP
Inventors: アタナソフ、カリン; ゴマ、セルジュ; ベラール、スティーブン・マイケル
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2016-12-15
Filing date: 2017-10-30
Publication date: 2020-01-23
Anticipated expiration: 2037-10-30
Also published as: US10771768B2; BR112019011021A2; EP3555855B1; CN109983506A; US20180176542A1; JP6866484B2; EP3555855A1; KR20190096992A; WO2018111423A1

Abstract

開示する方法およびシステムは、画像化デバイスのための向上した深度感知を提供する。いくつかの態様では、第１の送信機を含む複数の送信機は、第１の解像度で第１の被写界深度を有する構造化された光パターンと第１の解像度で第２の被写界深度を有する第２の構造化された光パターンとを発生させるように構成されており、第２の被写界深度は、第１の被写界深度よりも広い。画像化センサのような受信機は、第１の被写界深度内に焦点を合わせて、第１の構造化された光パターンを受け取り、第１の構造化された光パターンを表す第１の画像を捕捉するように、および、第２の被写界深度内に焦点を合わせて、第２の構造化された光パターンを受け取り、第２の構造化された光パターンを表す第２の画像を捕捉するように構成されている。電子ハードウェアプロセッサは、第１の画像と第２の画像とに基づいて、シーンの深度マップを発生させるように構成されている。【選択図】図１

Description

分野

［０００１］
本技術は、アクティブな深度感知に関連し、より具体的には、シーンの深度マップを発生させて、画像捕捉パラメータの改善と後捕捉画像処理とを促進することに関連する。

関連技術の説明

［０００２］
構造化された光アクティブ感知システムである画像化デバイスは、空間コード（または「コードワード」）に対応するパターンを送信および受信して、画像化デバイスからのシーン中の１つ以上のオブジェクトの距離を示す深度マップを発生させるように構成されている、送信機と受信機とを含んでいる。送出するコードワードと反射されて到来するコードワードの伝搬パスがより平行であることから、シーン中のオブジェクトが送信機と受信機から遠く離れるほど、オブジェクトから反射され、受信されるコードワードは、（送信されるコードワードと比較して）そのオリジナルのポジションから近くなる。逆に、オブジェクトが送信機と受信機に近くなるほど、受信されるコードワードは、送信されるコードワード中のそのオリジナルのポジションから遠くなる。したがって、受信されるコードワードのポジションと対応する送信されるコードワードのポジションとの間の差を、シーン中のオブジェクトの深度を決定するために使用してもよい。構造化された光アクティブ感知システムは、これらの決定した深度を使用して、シーンの３次元表現であってもよい、シーンの深度マップを発生させてもよい。多くのアプリケーションは、画像品質向上およびコンピュータビジョン技術を含む、シーンの深度マップを決定することから利益を得ることができる。

［０００３］
いくつかの態様では、深度マップを発生させることは、コードワードを検出することを含んでいてもよい。いくつかの態様では、コードワードは、シンボルのアレイを含んでいてもよい。デコーディングフィルタは、コードワードとシンボルとに対する空間境界を識別してもよく、これらの強度値に基づいて、例えば、「０」または「１」のようにシンボルを分類してもよい。デコーディングフィルタは、到来基底関数を分類するために、可能性あるコードワードのセットを規定するために使用される調和基底関数のセットに対応する、マッチドフィルタを使用してもよい。したがって、深度マップ精度は、シンボル、コードワード、および／または、基底関数を正確に受信することに依存する。

［０００４］
パターンを投影するために使用される光源（例えば、レーザー）が薄暗すぎる場合、より明るいシンボルに対応するスポットは、より暗いシンボルから区分するのには暗すぎるかもしれない。したがって、デジタル画像化アプリケーションのための深度マップ発生を向上させるための方法とシステムに対する必要性がある。

概要

［０００５］
本発明のシステム、方法、およびデバイスはそれぞれ、いくつかの態様を有し、これらのうちのいずれも、その望ましい属性を単独で担うものではない。以下の特許請求の範囲によって表される本発明の範囲を限定することなく、いくつかの特徴を簡単に議論する。この議論を考慮した後、特に「詳細な説明」と題されたセクションを読んだ後、当業者は、向上した深度マップ発生を含む利点を本発明の特徴がどのように提供するかを理解するだろう。

［０００６］
開示している１つの実施形態は、画像化デバイスである。画像化デバイスは、第１の解像度で第１の被写界深度を有する構造化された光パターンと第１の解像度で第２の被写界深度を有する第２の構造化された光パターンとを発生させるように構成されている第１の送信機を含む複数の送信機と、第１の被写界深度内に焦点を合わせて、第１の構造化された光パターンを受け取り、第１の構造化された光パターンを表す第１の画像を捕捉するように、および、第２の被写界深度内に焦点を合わせて、第２の構造化された光パターンを受け取り、第２の構造化された光パターンを表す第２の画像を捕捉するように構成されている受信機と、第１の画像と第２の画像とに基づいて、シーンの深度マップを発生させるように構成されている電子ハードウェアプロセッサとを含み、第２の被写界深度は、第１の被写界深度よりも広い。

［０００７］
いくつかの態様では、電子ハードウェアプロセッサは、発生させた深度マップに基づいて、第３の画像の画像捕捉パラメータを調節し、画像捕捉パラメータを使用して、第３の画像を捕捉するようにさらに構成されている。いくつかの態様では、電子ハードウェアプロセッサは、深度マップに基づいて、第３の画像の、開口、シャッタースピード、または、照度パラメータのうちの１つ以上を調節するように構成されている。いくつかの態様では、電子ハードウェアプロセッサは、深度マップと第３の画像とのうちの１つ以上を安定記憶装置に記憶させるようにさらに構成されている。いくつかの態様では、第１の送信機は、画像化デバイスから第１の距離で第１の最大解像度を有する、第１の構造化された光パターンを発生させるように構成され、第２の送信機は、画像化デバイスから第２の距離で第１の構造化された光パターンよりも低い第２の最大解像度を有する、第２の構造化された光パターンを発生させるように構成されている。いくつかの態様では、第１の距離と第２の距離は、等しい。いくつかの態様では、第１の距離は、第２の距離とは異なる。いくつかの態様では、第１の送信機は、第２の被写界深度とオーバーラップする、第１の被写界深度を発生させるように構成されている。いくつかの態様では、第１の送信機は、第２の被写界深度内に含まれる第１の被写界深度を発生させるように構成されている。

［０００８］
開示している別の態様は、画像化デバイスにより画像を捕捉する方法である。方法は、第１の発光体を使用して、第１の解像度で第１の被写界深度を有する第１の構造化された光パターンをシーン上に発生させることと、電子ハードウェアプロセッサを介して、第１の被写界深度内に画像化センサの焦点を合わせて、第１の構造化された光パターンによって照光されたシーンを表す第１の画像を捕捉することと、第２の発光体を使用して、第１の解像度で第２の被写界深度を有する第２の構造化された光パターンを発生させることと、第２の被写界深度内に画像化センサの焦点を合わせて、第２の構造化された光パターンによって照光されたシーンを表す第２の画像を捕捉することと、電子ハードウェアプロセッサを使用して、第１の画像と第２の画像とに基づいて、シーンの深度マップを発生させることと、深度マップに基づいて、画像捕捉パラメータを決定することと、画像化センサを使用して、画像捕捉パラメータに基づいて、シーンの第３の画像を捕捉することと、第３の画像を安定記憶装置に記憶させることとを含み、第２の被写界深度は、第１の被写界深度よりも広い。いくつかの態様では、深度マップに基づいて、第３の画像の、開口、シャッタースピード、または、照度パラメータのうちの１つ以上を調節することを含む。いくつかの態様では、方法は、深度マップを安定記憶装置に記憶させることを含む。いくつかの態様では、方法は、画像化デバイスから第１の距離で第１の最大解像度を有する、第１の構造化された光パターンを発生させることを含み、第２の送信機は、画像化デバイスから第２の距離で第１の構造化された光パターンよりも低い第２の最大解像度を有する、第２の構造化された光パターンを発生させるように構成されている。いくつかの態様では、第１の距離と第２の距離は、等しい。いくつかの態様では、第１の距離は、第２の距離とは異なる。いくつかの態様では、方法は、第２の被写界深度とオーバーラップする、第１の被写界深度を発生させることを含む。いくつかの態様では、方法は、第２の被写界深度内に含まれる第１の被写界深度を発生させることを含む。

［０００９］
開示している別の態様は、命令を含む非一時的コンピュータ読取可能記憶媒体であり、命令は、実行されるとき、プロセッサに、画像化デバイスにより画像を捕捉する方法を実行させる。方法は、第１の発光体を使用して、第１の解像度で第１の被写界深度を有する第１の構造化された光パターンをシーン上に発生させることと、電子ハードウェアプロセッサを介して、第１の被写界深度内に画像化センサの焦点を合わせて、第１の構造化された光パターンによって照光されたシーンを表す第１の画像を捕捉することと、第２の発光体を使用して、第１の解像度で第２の被写界深度を有する第２の構造化された光パターンを発生させることと、第２の被写界深度内に画像化センサの焦点を合わせて、第２の構造化された光パターンによって照光されたシーンを表す第２の画像を捕捉することと、電子ハードウェアプロセッサを使用して、第１の画像と第２の画像とに基づいて、シーンの深度マップを発生させることと、深度マップに基づいて、画像捕捉パラメータを決定することと、画像化センサを使用して、画像捕捉パラメータに基づいて、シーンの第３の画像を捕捉することと、第３の画像を安定記憶装置に記憶させることとを含み、第２の被写界深度は、第１の被写界深度よりも広い。

［００１０］
いくつかの態様では、非一時的コンピュータ読取可能記憶媒体の方法は、画像化デバイスから第１の距離で第１の最大解像度を有する、第１の構造化された光パターンを発生させることを含み、第２の送信機は、画像化デバイスから第２の距離で第１の構造化された光パターンよりも低い第２の最大解像度を有する、第２の構造化された光パターンを発生させるように構成されている。いくつかの態様では、第１の距離と第２の距離は、等しい。

［００１１］
図面に図示したさまざまな特徴は、スケーリングして描かれていないかもしれない。したがって、さまざまな特徴の寸法は、明確化のために任意に拡大または縮小されているかもしれない。さらに、点線または破線およびオブジェクトは、オプション的特徴を示しているかもしれず、あるいは、コンポーネントの構成を示すために使用されているかもしれない。さらに、図面のうちのいくつかは、所定のシステム、方法、または、デバイスのコンポーネントのすべてを描いていないかもしれない。最後に、明細書および図の全体を通して、同様の参照番号は、同様の特徴を示すために使用している。
［００１２］図１は、構造化された光送信機と受信機を示している。［００１３］図２Ａは、レンズと画像化センサとを含む受信機を示している。［００１４］図２Ｂは、オブジェクトによって反射され、受信機によって受信される光の帯域幅が、オブジェクトの距離によってどのように影響を受けるかを明らかにするグラフを示している。［００１５］図３Ａは、回折光学素子を利用する送信機を示している。［００１６］図３Ｂは、図３Ａに関して上記で説明した効果により、送信機帯域幅が、距離によってどのように変化するかを明らかにするグラフを示している。［００１７］図４Ａは、より広い範囲のカバレッジを構造化された光パターンに提供するために、２つの発光体が単一のデバイスにどのように組み合わされるかを示している。［００１８］図４Ｂは、図４Ａの２つの発光体を装備した画像化デバイスの受信範囲を示している。［００１９］図５Ａは、受信機と３つの送信機または発光体の例示的なコンフィギュレーションを示している。［００２０］図５Ｂは、受信機と２つの送信機または発光体の別の例示的なコンフィギュレーションを示している。［００２１］図５Ｃは、受信機と２つの送信機の別の例示的なコンフィギュレーションを示している。［００２２］図６は、シーン中の１つ以上のオブジェクトに対して、どのように深度を感知できるかの例を図示している。［００２３］図７は、回折光学素子の代替設計に対する画像化性能を示すグラフである。［００２４］図８は、回折光学素子の代替設計に対する画像化性能を示すグラフである。［００２５］図９は、複数の構造化された光送信機を含む画像化デバイスの実例である。［００２６］図１０は、複数の放射体を含む画像化デバイスの第２の実例である。［００２７］図１１は、複数の放射体を含む画像化デバイスの第３の実例である。［００２８］図１２は、複数の放射体を含む画像化デバイスの第４の実例である。［００２９］図１３は、開示した実施形態を実現する例示的なデバイスのブロックダイヤグラムである。［００３０］図１４は、深度マップを発生させる例示的な方法のフローチャートである。

詳細な説明

［００３１］
新規のシステム、装置、および方法の多様な態様を、添付の図面を参照して以下でより十分に説明する。しかしながら、本開示の教示は、多くの異なる形態で具現化することができ、本開示の全体に渡って提示される任意の特定の構造または機能に限定されると解釈すべきではない。むしろ、本開示が、徹底的および完全になり、本開示の範囲を当業者に完全に伝えるように、これらの態様を提供している。本開示の他の何らかの態様から独立して実現するかまたは本開示の他の何らかの態様と組み合わせて実現するかにかかわらず、本開示の範囲が、ここで開示する新規なシステム、装置、および方法の任意の態様をカバーするように意図していることを、ここでの教示に基づいて、当業者は認識すべきである。例えば、ここで述べる任意の数の態様を使用して、装置を実現してもよく、または、方法を実施してもよい。さらに、ここで述べる本開示のさまざまな態様に加えて、または、ここで述べる開示のさまざまな態様以外の、他の構造、機能性、または、構造および機能性を使用して実施するこのような装置または方法をカバーすることを、本開示の範囲は意図している。ここで開示する任意の態様は、請求項の１つ以上の要素によって具現化してもよいことを理解すべきである。

［００３２］
さらに、特定の態様をここで説明するが、これらの態様の多くのバリエーションおよび並べ替えが本開示の範囲内に入る。さらに、本開示の範囲は、ここで開示する特定の利益、使用、または、目的に限定するように意図されていない。むしろ、本開示の態様は、異なるワイヤードおよびワイヤレステクノロジー、システムコンフィギュレーション、ネットワーク、ならびに、送信プロトコルに広く適用可能であるように意図されており、それらのうちのいくつかを、図面中で、および、好ましい態様の以下の説明中で例として示している。詳細な説明および図面は、限定よりむしろ、本開示の例示に過ぎず、本開示の範囲は、添付した特許請求の範囲およびそれらの均等物によって規定される。

［００３３］
図１は、構造化された光送信機１０２と受信機１０４を示している。アクティブ感知は、送信機１０２からの一意的なパターン（またはコード）をシーンに投影してもよく、受信機１０４においてこれらのパターンの反射を受信する。送信機１０２によって投影されるパターンまたはコードのサイズは、最も小さい検出可能なオブジェクトに影響を与える。さらに、送信機１０２と受信機１０４の両方は、ある深度平面において「帯域調整」され、シ−ンにおける深度はその平面から離れて移動するにつれて帯域制限される。

［００３４］
いくつかの態様では、送信機は、特定の深度に、例えば、１０６ａ〜ｂによって表した深度のいずれかに焦点が合っている構造化された光パターン１０５を送信するように構成されていてもよい。送信機は、さまざまな深度１０６ａ〜ｂにおける視野１０８を有している構造化された光パターンを生成させてもよい。

［００３５］
受信機は、さまざまな深度１０６ａ〜ｂのうちの１つ以上において、構造化された光パターン１０５を受信するように調整されていてもよい。受信機１０４によって受信される深度に依存して、構造化された光パターン１０５においてエンコードされる情報は、ポジション１１０ａおよび１１０ｂによって示すように、画像化センサ１０８上のさまざまなポジションで受信機中の画像化センサ１０８によって受信されてもよい。

［００３６］
図２Ａは、レンズと画像化センサとを含む受信機を示している。オブジェクト２１０ａ〜ｃとして示すように、画像化センサ２０２が異なる深度で複数のオブジェクトから反射される光情報を、レンズ２０４を介して受信できることを、図２Ａは明らかにしている。オブジェクト２１０ａ〜ｃの深度に依存して、画像化センサにおける、反射された光の品質は変化する。例えば、オブジェクト２１０ｂから反射される光は、ポイント２１２ｂとして画像化センサ２０２の表面に焦点が合ってはっきりと示されている。対照的に、２１２ａとしてオブジェクト２１０ａから反射された光は、画像化センサ２０２の幾分前方に焦点が合っているかもしれず、２１２ｃとして示されるオブジェクト２１０ｃから反射された光は、画像化センサ２０２の背後に焦点が合っている。これは、結果として、オブジェクト２１０ｂと比較して、オブジェクト２１０ａと２１０ｃを感知するために利用可能な光の帯域幅を低減させるかもしれない。

［００３７］
図２Ｂは、オブジェクトによって反射され、受信機によって受信される光の帯域幅が、オブジェクトの距離によってどのように影響されるかを明らかにするグラフ２５０を示している。これは、結果として、カメラの焦点面から離れて位置付けられている小さなオブジェクトを、画像化デバイスのカメラのような受信機が感知することを困難にするかもしれない。

［００３８］
図３Ａは、回折光学素子を利用する送信機を示している。図３Ａは、送信面の複数のロケーション３０４ａ〜ｃから放射される光を示している。光が回折光学素子３０２を通過すると、ポイント３０６ｂによって示される焦点面に焦点が合う。しかしながら、送信機は、深度３０６ａと３０６ｃによって示すような、シーン内の異なる深度で、同じ焦点が合った光を提供することができない。

［００３９］
図３Ｂは、図３Ａに関して上記で説明した効果により、送信機の帯域幅が距離によってどのように変化するかを明らかにするグラフ３５０である。

［００４０］
図４Ａは、構造化された光パターンのカバレッジのより広い範囲を提供するために、２つの発光体が単一のデバイスにどのように組み合わせられるかを示している。図４Ａは、発光体４０２ａと４０２ｂを示しており、これらは、単一の画像化デバイス中に含められていてもよい。２つの発光体４０２ａ〜ｂは、それぞれ回折光学素子４０４ａ〜ｂを含んでいる。２つの発光体４０２ａ〜ｂは、４０６ａ〜ｂでそれぞれ示すように、異なる焦点距離に調整される。このようなコンフィギュレーションの結果は、以下で議論するように図４Ｂで示している。

［００４１］
図４Ｂは、図４Ａの２つの発光体４０２ａ〜ｂを装備した画像化デバイスの受信範囲を示している。示しているように、受信範囲４５０は、発光体４０２ａによって提供される第１の深度感知ゾーン４５２ａと、発光体４０２ｂによって提供される第２の深度感知ゾーン４５２ｂとを含んでいる。

［００４２］
図５Ａは、受信機と３つの送信機または発光体の例示的なコンフィギュレーションを示している。図５Ａの例示的なコンフィギュレーションにおいて、３つの送信機５０４ａ〜ｃは、すべて受信機５０２と同じ水平側に位置付けられているが、各送信機５０４ａ〜ｃは、受信機５０２から異なる距離にある。このように、送信機５０４ａ〜ｃは、５０６ａ〜ｃによって示す組み合わせた構造化された光パターンを発生させる。各構造化された光パターン５０６ａ〜ｃのシーン中のオブジェクトからの反射は、３つの送信機４０５ａ〜ｃの異なるポジションに基づいて、異なるレベルの妨げを有していてもよい。３つの構造化された光パターン５０６ａ〜ｃによって提供されるオーバーラップするカバレッジは、他の送信機のコンフィギュレーションを利用するデバイスと比較するとき、向上した深度感知を提供する。

［００４３］
図５Ｂは、受信機と２つの送信機または発光体の別の例示的なコンフィギュレーションを示している。図５Ｂの例示的なコンフィギュレーションにおいて、２つの送信機は、異なる焦点深度である構造化された光パターンを提供するように設計されている。構造化された光パターン５４６ａ〜ｂによって示すように、送信機５４４ａは、結果として、構造化された光パターン５４６ａに対してより広い視野となる、より長い焦点深度を提供するように設計されている。対照的に、送信機５４４ｂは、結果として、構造化された光パターン５４６ｂに対して、より高い解像度とより狭い視野となる、より短い焦点深度を提供するように設計されている。２つの構造化された光パターン５４６ａ〜ｂによって提供される相補的なカバレッジは、他の送信機コンフィギュレーションを利用するデバイスと比較するとき、向上した深度感知を提供する。

［００４４］
図５Ｃは、受信機と２つの送信機の別の例示的なコンフィギュレーションを示している。コンフィギュレーション５６０において、送信機５４４ａ〜ｂは、受信機５６２の両方の側に位置付けられている。したがって、２つの送信機５４４ａ〜ｂによって放射される構造化された光パターンは、妨げから最小限の劣化を受ける深度情報から発生させる深度マップを提供する。例えば、オブジェクトの特定の側が送信機５４４ａから妨げられる範囲まで、送信機５４４ｂは、オブジェクトのその側を照光するポジションにあってもよく、深度情報を受信機５６２に提供してもよい。

［００４５］
図６は、シーン中の１つ以上のオブジェクトに対して深度がどのように感知されるかの例を図示している。図６に関しての説明は、構造化された光を利用する画像シーンの１つ以上の深度を決定するために、開示した実施形態のうちのいずれかによって使用してもよい。図６は、送信機１０２と受信機１０４とを含むデバイス６００を示している。デバイスは、コードワード投影６１０として送信機１０２から放射される構造化された光で、２つのオブジェクト６０６と６０８を照光している。コードワード投影６１０は、オブジェクト６０６および／または６０８から反射し、反射されたコードワード６１１としてセンサ平面６０７上で受信機１０４によって受信される。

［００４６］
図示した態様において、送信機１０２は、受信機１０４と同じ基準平面（例えば、レンズ平面６０５）上にある。送信機１０２は、開口６１３を通して、コードワード投影６１０をオブジェクト６０６と６０８に投影する。

［００４７］
コードワード投影６１０は、オブジェクト６０６を、投影されるセグメント６１２’として照光し、オブジェクト６０８を、照光されるセグメント６１２’’として照光する。投影されるセグメント６１２’と６１２’’とが、受信機開口６１５を通して受信機１０４によって受信されるとき、反射されたコードワード１１１は、第１の距離ｄ１における、オブジェクト６０８から発生された反射と、第２の距離ｄ２における、オブジェクト６０６から発生された放射とを示している。

［００４８］
図６によって示すように、オブジェクト６０６は、送信機１０２のより近く（例えば、送信機デバイスから第１の距離）に位置付けられていることから、投影されるセグメント６１２’は、その最初のロケーションから距離ｄ２で現れる。対照的に、オブジェクト６０８は、さらに離れて（例えば、送信機１０２から第２の距離）位置付けられていることから、投影されるセグメント６１２’’は、その最初のロケーションから距離ｄ１で現れる（ここで、ｄ１＜ｄ２である）。すなわち、オブジェクトが送信機／受信機から離れるほど、投影され受信されるセグメント／部分／ウィンドウは、受信機１０４におけるそのオリジナルポジションからより近くなる（例えば、送出投影と到来投影がより平行である）。逆に、オブジェクトが送信機／受信機から近くなるほど、投影され受信されるセグメント／部分／ウィンドウは、受信機１０４におけるそのオリジナルポジションからより遠くなる。したがって、受信されおよび送信されるコードワードポジション間の差は、オブジェクトの深度のインジケータとして使用してもよい。１つの例では、このような深度（例えば、相対深度）は、画像中の各ピクセルまたはグループ化したピクセル（例えば、２つ以上のピクセルの領域）によって描かれるオブジェクトに対する深度値を提供してもよい。

［００４９］
さまざまなタイプの変調およびコーディングスキームを使用して、コードワード投影またはコードマスクを発生させてもよい。これらの変調およびコーディングスキームは、時間コーディング、空間コーディング、および、直接コード化を含む。

［００５０］
時間コーディングにおいて、パターンは、測定する表面に連続して（例えば、経時的に）投影される。この技術は、高い精度と解像度を有しているが、動的シーンに対してはあまり適していない。

［００５１］
空間コーディングにおいて、情報は、形状とパターンとに基づいて、局所近傍中にエンコードされる。擬似ランダムコードは、コードブックを規定するド・ブラウンまたはＭアレイ（例えば、ｍ−ａｒｙ強度またはカラー変調）に基づいていてもよい。パターンセグメンテーションは、例えば、形状およびパターンが歪んでいる場合、容易に達成できないかもしれない。

［００５２］
直接コード化において、水平および垂直ピクセルの両方の座標がエンコードされる。変調は、単調位相または強度波形によるものであってもよい。しかしながら、このスキームは、他の方法に対して利用されるコードブックよりも大きいコードブックを利用するかもしれない。多くの方法において、受信されるコードワードは、（例えば、コードブック中の）可能性あるコードワードの規定したセットに対して相関されるかもしれない。したがって、コードワードの小さなセット（例えば、小さなコードブック）の使用は、より大きなコードブックよりも、よりよい性能を提供するかもしれない。また、より大きなコードブックは、結果としてコードワード間のより小さな距離になることから、より大きなコードブックを使用するインプリメンテーションによって、追加のエラーを経験するかもしれない。

アクティブ深度感知のための例示的なコード
［００５３］
コードマスクを通してライトを光らせることにより、構造化された光パターンをシーン上に投影してもよい。コードマスクを通して投影されるライトは、１つ以上のモザイク状のコードマスクプリミティブを含んでいてもよい。各コードマスクプリミティブは、空間コードのアレイを含んでいてもよい。コードブックまたはデータ構造は、コードのセットを含んでいてもよい。空間コード、コードマスク、および、コードマスクプリミティブは、基底関数を使用して発生させてもよい。基底関数の周期性は、（ゴースト画像をなくし、製造を単純化するための）エルミート対称性の集約パターンと、（コードワード毎の最小電力を確実にするための）最小デューティサイクルと、（最適な輪郭解像度と高い解像度に対するコードパッキングのための）完全なウィンドウ特性と、（オブジェクト境界上の向上した検出のための）ランダムシフトとに対する要件を満たすように選んでもよい。受信されたパターン中のエラーを復調し、デコードし、補正するとき、受信機は、制約に準拠するように意図されている設計の、コードブックおよび／または属性を使用してもよい。

［００５４］
空間コードのサイズおよび対応する解像度は、コードマスク上の空間コードの物理的空間範囲に対応する。サイズは、各コードワードを表す行列の行と列の数に対応していてもよい。コードワードが小さいほど、検出できるオブジェクトはより小さくなる。例えば、シャツ上のボタンとシャツの布との間の深度差を検出して決定するために、コードワードは、ボタンのサイズほどの大きさであるべきである。実施形態において、各空間コードは、４つの行と４つの列を占有していてもよい。実施形態において、コードは、例えば、３×３、４×４、４×５、５×５、６×４、または、１０×１０の行と列を占有するために、より多くのまたはより少ない行と列（行×列）、を占有してもよい。

［００５５］
空間コードの空間表現は、各コードワード要素がコードマスク上にどのようにパターン化され、その後、シーンに投影されるかに対応する。例えば、各コードワード要素は、１つ以上のドット、１つ以上の線セグメント、１つ以上のグリッド、他の何らかの形状、または、これらのいくつかの組み合わせを使用して表されていてもよい。

［００５６］
空間コードの「デューティサイクル」は、コードワード中の、非アサートビットまたは部分（例えば、「０」）の数に対する、アサートビットまたは部分（例えば、「１」）の数の比に対応する。コードワードを含むコード化された光パターンがシーンに投影されるとき、「１」の値を有する各ビットまたは部分は、エネルギー（例えば、「光エネルギー」）を有しているかもしれないが、「０」の値を有する各ビットは、エネルギーを持っていないかもしれない。コードワードを容易に検出可能にするために、コードワードは、十分なエネルギーを有するべきである。低いエネルギーのコードワードは、検出することがより難しいかもしれず、ノイズをより受けやすいかもしれない。例えば、コードワード中のビットのうちの８つ以上が「１」である場合、４×４コードワードは、５０％以上のデューティサイクルを有している。個々のコードワードに対する最小（または最大）デューティサイクル制約、すなわち、デューティサイクル制約、例えば、コードブック中のコードのセットに対する平均デューティサイクルがあってもよい。

［００５７］
コードの「輪郭解像度」または「完全なウィンドウ」特性は、量、例えば、１ビットの回転、だけコードワードがシフトされるときに、結果として生じるデータが、別のコードワードを表すことを示す。コードワードがシフトされる量は、シフト量と呼ばれることがある。高輪郭解像度を有するコードは、構造化された光深度感知システムが、比較的小さなオブジェクトの境界を認識し、異なるオブジェクトに対する認識の連続性を提供することを可能にするかもしれない。行次元における１と列次元における２のシフト量は、行次元に沿って右に１ビットのポジションだけ、そして、列次元に沿って下に２ビットのポジションだけシフトすることに対応していてもよい。コードワードの高輪郭解像度のセットは、一度に、受信された画像上のウィンドウを１行または１列移動させることを可能にし、各ウィンドウポジションにおける深度を決定する。これは、受信された画像の３行目と３列目に中心を置いた開始点で５×５ウィンドウを使用して、５×５ウィンドウを３行目から最後から３行目へ、３列目から最後から３列目へと、各行、列ロケーションに移動させて、深度の決定を可能にする。コードワードがオーバーラップするとき、決定されるオブジェクト（例えば、シャツ上のボタン）の深度の解像度に基づいて、ウィンドウをサイズ変更してもよい。

［００５８］
コードの対称性は、コードマスクまたはコードブックプリミティブがエルミート対称性を有していることを示してもよく、エルミート対称性は、非エルミート対称性コードブックプリミティブまたはパターンを使用することと比較して、いくつかの利点を提供できる。エルミート対称性を有するパターンは、ＸとＹ（行と列）軸の両方に沿って、「反転している」または対称である。

［００５９］
コードマスクまたはコードマスクプリミティブのエイリアシング特性は、同じである２つのコードワード間の距離に対応する。光学パターンがモザイク状のコードブックプリミティブを含むとき、そして、プリミティブ中の各コードブックが一意的であるとき、エイリアシング距離は、コードブックプリミティブのサイズに基づいていてもよい。したがって、エイリアシング距離は、コードブックプリミティブの各コードワードがコードブックプリミティブの他のそれぞれのコードワードと異なり、コードブックプリミティブが全体として一意的であることを示す、一意性の基準を表していてもよい。エイリアシング距離は、１つ以上の受信機デバイスに知られていてもよく、コードワード復調の間のエイリアシングを回避するために使用してもよい。コードマスクの濃度は、コードブックプリミティブ中の一意的なコードの数に対応する。

［００６０］
図７は、回折光学素子の代替設計に対する画像化性能を示すグラフである。グラフ７４０は、回折光学素子の４つの仮定的な設計の光学性能を表す４つのグラフ７４２ａ〜ｄを示している。第１の設計は、約７０ｃｍの距離で最良の解像度７４４ａを提供する。第２の設計は、約１００ｃｍの距離で最良の解像度の７４４ｂを提供する。第３の設計は、約１５０ｃｍの距離で最良の解像度７４４ｃを提供する。第４の設計は、約２００ｃｍの距離で最良の解像度７４４ｄを提供する。

［００６１］
図１Ｂ中に示されている設計のそれぞれの光学性能はまた、例えば、０．７の基準解像度７４６において比較できる。基準解像度は、次のように説明できる；いくつかの態様では、最良の焦点が特定の設計によって達成されるときに、画像化されているシーンの空間中のポイントは、設計のレンズ上に円を生成させるだろう。この円は、回折限界に少なくとも部分的に基づいている。基準（最大）解像度は、１／円＿直径であり；ポイントが最適な焦点から外れると、焦点がぼけることにより、円はより大きくなり、したがって、解像度を低下させる。任意の選択された低減、例えば０．７では、画像はもはや焦点が合っていない。

［００６２］
グラフ７４２ａで表される第１の設計の光学性能は、基準解像度において第１の深度の被写界深度７４８ａを提供する。グラフ７４２ｂによって表される第２の設計の光学性能は、基準解像度において第２の深度の被写界深度７４８ｂを提供し、これは、第１の被写界深度７４８ａよりも大きい。第２の設計の被写界深度７４８ｂはまた、第１の設計の被写界深度７４８ａと比べて画像化デバイスから異なる距離であることに留意すべきである。グラフ７４２ｃによって表される第３の設計の光学性能は、基準解像度において第３の深度の被写界深度７４８ｃを提供し、これは、第１および第２の被写界深度７４８ａ〜ｂの両方よりも大きい。第３の被写界深度７４８ｃはまた、画像化デバイスから異なる距離で提供される。第３の被写界深度７４８ｃは、第２の被写界深度７４８ｂといくらかオーバーラップすることに留意すべきである。グラフ７４２ｄによって表される第４の設計の光学性能は、基準解像度において第４の深度の被写界深度７４８ｄを提供し、これは、第１、第２、または、第３の被写界深度７４８ａ〜ｃのいずれよりも大きい。第４の被写界深度７４８ｄは、第３の被写界深度７４８ｃとオーバーラップするが、第４の被写界深度はまた、第１、第２、または、第３の被写界深度７４８ａ〜ｃと比べて画像化デバイスから異なる距離で提供される。

［００６３］
図８は、回折光学素子の代替設計に対する画像化性能を示すグラフである。図７中に示した設計は、画像化デバイスから異なる距離で、等しい解像度を達成する一方で、図８中に示した２つの設計の両方は、画像化デバイスから同じ距離（１５０ｃｍ）でこれらの最良の解像度を達成する。しかしながら、グラフ８６２ａによって示される第１の設計は、グラフ８６２ｂによって示される第２の設計よりも、実質的により高い解像度を達成する。

［００６４］
しかしながら、グラフ８６２ｂによって示される光学性能を有する第２の設計は、被写界深度８６８ａを有する第１の設計の光学性能８６２ａよりも、基準解像度８６６において、より大きな被写界深度８６８ｂを提供する。

［００６５］
図９は、複数の構造化された光送信機を含む画像化デバイスの実例である。図９は、画像化デバイス９０５と２つの構造化された光送信機９０８ａ〜ｂを示している。構造化された光送信機９０８ａ〜ｂのそれぞれは、構造化された光パターン９１０ａ〜ｂをそれぞれ送信する。構造化された光パターン９１０ａ〜ｂのそれぞれは、異なる距離９２０ａ〜ｂでそれぞれ焦点が合っている。

［００６６］
受信機９１２は、構造化された光パターン９１０ａ〜ｂのそれぞれからパターン情報を受信してもよい。いくつかの態様では、受信機９１２は、可変焦点距離を有するレンズを含んでいてもよい。いくつかの態様では、受信機９１２が焦点距離９２０ａに調節されるとき、画像化デバイス９０５は、第１の構造化された光パターン９１０ａを放射するように構成されていてもよい。受信機は、その後、第１の構造化された光パターン９１０ａによるシーンの照光に基づいて、第１の画像を捕捉するように構成されていてもよい。受信機９１２が異なる焦点距離９２０ｂに調節された後、画像化デバイス９０５は、第２の構造化された光パターン９１０ｂを発生させるように構成されていてもよい。受信機は、その後、シーンが第２の構造化された光画像によって照光されている間、第２の画像を捕捉するように構成されていてもよい。

［００６７］
画像化デバイス９０５は、第１の画像と第２の画像から深度情報を発生させるように構成されていてもよい。第１の構造化された光画像９１０ａと第２の構造化された光画像９１０ｂのそれぞれは、画像化デバイスから異なる距離９２０ａ〜ｂで焦点が合っていることから、発生させた深度情報は、構造化された光パターン９１０ａ〜ｂのうちのいずれかのような、１つだけの構造化された光パターンから深度情報を発生させる場合よりも、より完全および／または正確であるかもしれない。

［００６８］
図１０は、複数の放射体を含む、画像化デバイスの第２の実例である。図１０の画像化デバイス１０５５は、発光体１０５８ａ〜ｂを含んでいる。発光体１０５８ａは、画像化デバイス１０５５から１０７０ａの中間距離で、構造化された光パターン１０６０ａを発生させるように構成されている。第１の構造化された光パターン１０６０ａは、発光体１０５８ａによって発生され、１０７２ａとして示される被写界深度を有する。第２の発光体１０５８ｂは、構造化された光パターン１０６０ｂを発生させるように構成されている。構造化された光パターン１０６０ｂは、１０７２ｂの被写界深度を有している。構造化された光パターン１０６０ｂの被写界深度１０７２ｂは、実質的に、発光体１０５８ａによって発生された第１の構造化された光パターン１０６０ａの被写界深度１０７２ａ内にある。

［００６９］
いくつかの態様では、構造化された光パターン１０６０ａは、第１の解像度において発生させてもよく、第２の構造化された光パターン１０６０ｂは、第１の解像度よりも高い第２の解像度において発生させてもよい。

［００７０］
受信機１０６２は、構造化された光パターン１０６０ａ〜ｂのそれぞれから情報を受信してもよい。いくつかの態様では、受信機１０６２は、可変焦点距離を有するレンズを含んでいてもよい。いくつかの態様では、受信機１０６２が焦点距離１０７０ａに調節されるとき、画像化デバイス１０５５は、第１の構造化された光パターン１０５８ａを放射するように構成されていてもよい。受信機は、その後、第１の構造化された光パターン１０６０ａによるシーンの照光に基づいて、第１の画像を捕捉するように構成されていてもよい。受信機１０６２が異なる焦点距離１０７０ｂに調節された後、画像化デバイス１０５５は、その後、第２の構造化された光パターン１０６０ｂを発生させるように構成されていてもよい。受信機は、その後、シーンが第２の構造化された光画像によって照光されている間、第２の画像を捕捉するように構成されていてもよい。

［００７１］
図１１は、複数の放射体を含む画像化デバイスの第３の実例である。図１１の画像化デバイス１１０５は、発光体１１０８ａ〜ｂを含んでいる。発光体１１０８ａは、画像化デバイス１１０５から１１２０ａの中間距離で構造化された光パターン１１１０ａを発生させるように構成されている。第１の構造化された光パターン１１１０ａは、発光体１１０８ａによって発生され、１１２２ａとして示される被写界深度を有する。第２の発光体１１０８ｂは、構造化された光パターン１１１０ｂを発生させるように構成されている。構造化された光パターン１１１０ｂは、１１２２ｂの被写界深度を有している。構造化された光パターン１１１０ｂの被写界深度１１２２ｂは、発光体１１０８ａによって発生させた第１の構造化された光パターン１１１０ａの被写界深度１１２２ａよりも狭い。さらに、図１０の被写界深度１０２２ａ〜ｂとは異なり、図１１中の２つの構造化された光パターン１１１０ａ〜ｂの被写界深度は、実質的にオーバーラップしない。

［００７２］
いくつかの態様では、構造化された光パターン１１１０ａは、第１の解像度において発生させてもよく、第２の構造化された光パターン１１１０ｂは、第１の解像度よりも高い第２の解像度において発生させてもよい。

［００７３］
受信機１１１２は、構造化された光パターン１１１０ａ〜ｂのそれぞれからのパターン情報を受信してもよい。いくつかの態様では、受信機１１１２は、可変焦点距離を有するレンズを含んでいてもよい。いくつかの態様では、受信機１１１２が焦点距離１１２０ａに調節されるとき、画像化デバイス１１０５は、第１の構造化された光パターン１１１０ａを放射するように構成されていてもよい。受信機は、第１の構造化された光パターン１１１０ａによるシーンの照光に基づいて、第１の画像を捕捉するように構成されていてもよい。受信機１１１２が異なる焦点距離１１２０ｂに調節された後、画像化デバイス１１０５は、その後、第２の構造化された光パターン１１１０ｂを発生させるように構成されていてもよい。受信機は、その後、シーンが第２の構造化された光画像によって照光されている間、第２の画像を捕捉するように構成されていてもよい。

［００７４］
いくつかの態様では、デバイス１１０５は、３つ以上の放射体を含んでいてもよい。例えば、いくつかの態様では、第１の発光体は、画像化デバイス１１０５から５０センチメートルから４メートルの被写界深度を有する構造化された光パターンを発生させてもよい。第２の発光体は、画像化デバイス１１０５から３０ｃｍから５０ｃｍの被写界深度を有する第２の構造化された光パターンを発生させるように構成されていてもよい。第３の発光体は、画像化デバイス１１０５から２０ｃｍから３０ｃｍの被写界深度を有する第３の構造化された光パターンを発生させるように構成されていてもよい。

［００７５］
図１２は、複数の放射体を含む画像化デバイスの第４の実例である。図１２の画像化デバイス１２０５は、発光体１２０８ａ〜ｃを含んでいる。図９〜１１それぞれで示した発光体９０８ａ〜ｂ、１００８ａ〜ｂ、１１０８ａ〜ｂとは異なり、発光体１２０８ａ〜ｃは、受信機１２１４の同じ側ではあるが異なる距離に位置付けられている。

［００７６］
発光体１２０８ａは、画像化デバイス１２０５から１２２０ａの中間焦点距離で、構造化された光パターン１２１０ａを発生させるように構成されている。第２の発光体３０８は、中間焦点距離１２２０ａで、構造化された光パターン１２１０ｂを発生させるように構成されている。発光体１２０８ｃは、中間焦点距離１２２０ａで、構造化された光パターン１２１０ｃを発生させるように構成されている。いくつかの態様では、受信機１２１２から異なる距離である発光体１２０８ａ〜ｃから構造化された光パターン１２１０ａ〜ｃを発生させることにより、シーン１２０１中のオブジェクトは、構造化された光パターン１２１０ａ〜ｃのそれぞれに対して、異なるレベルの妨げを有していてもよい。このようなことから、例えば、シーン１２０１を照光するためにより少ない発光体を使用する画像化デバイスと比較するとき、画像化デバイス１２０５は、シーン１２０１に対する向上した深度情報を導出することが可能であるかもしれない。

［００７７］
受信機１２１２は、構造化された光パターン１２１０ａ〜ｃのそれぞれからパターン情報を受信してもよい。いくつかの態様では、画像化デバイス１２０５は、第１の構造化された光パターン１２０８ａを放射するように構成されていてもよい。受信機１２１２は、その後、第１の構造化された光パターン１２１０ａによるシーンの照光に基づいて、第１の画像を捕捉するように構成されていてもよい。画像化デバイス１２０５は、その後、第２の構造化された光パターン１２１０ｂを発生させるように構成されていてもよい。シーンが第２の構造化された光パターン１２１０ｂによって照光されている間、受信機１２１２は、第２の画像を捕捉するように構成されていてもよい。画像化デバイス１２０５は、その後、第３の構造化された光パターン１２１０ｃを発生させるように構成されていてもよい。シーンが第３の構造化された光パターン１２１０ｃによって照光されている間、受信機１２１２は、第３の画像を捕捉するように構成されていてよい。

［００７８］
画像化デバイス１２０５は、第１、第２、および、第３の画像からの情報を組み合わせて、深度マップを発生させるように構成されていてもよい。深度マップは、シーン１２０１に対するより完全な深度情報および／またはより正確な深度情報を含んでいてもよい。

［００７９］
図１３は、開示した実施形態を実現する例示的なデバイスのブロックダイヤグラムである。デバイス１３００は、図１０〜１２に関して上記で示したデバイス１００５、１０５５、１１０５、または、１２０５のうちのいずれかの実施形態であってもよい。デバイス１３００は、少なくとも２つの発光体１３０８ａ〜ｂと画像化センサ１３１２を含んでいる。２つの発光体１３０８ａ〜ｂは、図１０〜１２に関して上記で議論した発光体２０８ａ〜ｂ、１０５８ａ〜ｂ、３０８ａ〜ｂ、４０８ａ〜ｂのうちのいずれかを表していてもよい。画像化センサ１３１２は、上記で議論した画像化センサ９１２、１０６２、１１１２、１３１２、または、１２１２のうちのいずれかを表していてもよい。

［００８０］
デバイス１３００はまた、電子ハードウェアプロセッサ１３４０と、プロセッサ１３４０に動作可能に結合されている電子ハードウェアメモリ１３４５と、プロセッサ１３４０に動作可能に結合されている電子ディスプレイ１３５０と、プロセッサ１３４０に動作可能に結合されている記憶装置１３６０も含んでいる。メモリ１３４５は、ここで議論する１つ以上の機能を実行するようにプロセッサを構成する命令を記憶する。いくつかの態様では、命令は、これらの機能性の議論を促進するために、モジュールで編成されていてもよい。例えば、図１３のデバイス１３００の命令は、構造化された光モジュール１３４６ａ、深度マップモジュール１３４６ｂ、および、画像捕捉モジュール１３４６ｃで編成される。

［００８１］
図１４は、深度マップを発生させる例示的な方法のフローチャートである。いくつかの態様では、プロセス１４００は、図１３に関して上記で議論したデバイス１３００によって実行してもよい。代替的に、プロセス１４００は、図１、４Ａ〜Ｃ、５Ａ〜Ｃ、または、９〜１２中に示した、画像化デバイスのうちのいずれかによって、および／または、画像化コンフィギュレーションのうちのいずれかを使用して、実行してもよい。

［００８２］
プロセス１４００は、向上した深度感知を提供してもよい。上記で議論したように、アクティブ感知のための既存の設計は、一意的なパターンまたはコードを投影することまたは検出することに依存しているかもしれない。パターンのサイズは、最も小さい検出可能なオブジェクトを決定するかもしれない。構造化された光送信機と受信機の両方は、ある深度面に帯域同調されてもよく、画像化されているシーン中のオブジェクトが入る深度面からさらに遠くに帯域制限されてもよい。これらの状況下で、発光デバイスは、オブジェクトがある焦点面からさらに遠くに、構造化された光コードを投影するように要求されるかもしれない。

［００８３］
プロセス１４００のいくつかの態様は、構造化された光受信機としてオートフォーカスカメラを利用し、画像化されているシーンに基づいて、焦点範囲をシフトさせてもよい。異なる深度に焦点が合っている複数の構造化された光送信機を利用してもよい。送信機のサブセットは、シーン特性に、おそらくは他の考慮に依存して選択してもよい。

［００８４］
ブロック１４０５において、第１の構造化された光パターンをシーン上に発生させる。いくつかの態様では、第１の構造化された光パターンは、例えば、発光体１３０８ａ〜ｂのうちの１つによって発生される。いくつかの態様では、第１の構造化された光パターンは、上記で説明したような、回折光学素子を通して投影されるレーザーによって発生させてもよい。これらの態様において、第１の構造化された光パターンを発生させるために使用される回折光学素子は、第１の被写界深度を有する第１の構造化された光パターンを提供するように構成されている。いくつかの態様では、第１の構造化された光パターンを発生させる発光体は、第１の構造化された光パターンを捕捉するように構成されている受信機または画像化センサから第１の距離である。

［００８５］
ブロック１４１０において、レンズを調節して、第１の被写界深度内に焦点を合わせる。例えば、いくつかの態様では、レンズは、デバイス１３００に関して上記で議論した画像化センサ１３１２のような、画像化センサの一部であってもよい。

［００８６］
ブロック１４１５において、第１の被写界深度内に焦点を合わせながら、第１の画像をレンズで捕捉する。したがって、第１の画像は、シーン上に投影される第１の構造化された光パターンを表す。いくつかの態様では、第１の画像は、例示的なデバイス１３００に関して上記で議論した画像化センサを使用して捕捉される。

［００８７］
ブロック１４２０において、第２の構造化された光パターンをシーン上に発生させる。いくつかの態様では、第２の構造化された光パターンは、第１の構造化された光パターンを発生させるために使用されたものとは異なる発光体を使用して発生させてもよい。いくつかの態様において、第２の構造化された光パターンは、発光体３０８〜ｂのうちの１つによって発生させてもよい。第２の構造化された光パターンは、レーザー光源を照光することと、上記で議論したような第２の回折光学素子（ＤＯＥ）を通して、光源を投影することによって発生させてもよい。これらの態様において、第２のＤＯＥは、第１の構造化された光パターンの第１の被写界深度とは異なる第２の被写界深度を有するように、第２の構造化された光パターンを発生させるように構成されていてもよい。いくつかの態様において、被写界深度が画像化センサからまたは構造化された光パターンを捕捉するところから異なる距離に存在するという点で、被写界深度は、異なっていてもよい。いくつかの態様では、被写界深度が異なる幅のものであるという点で、被写界深度は、異なっていてもよい。言い換えると、１つの被写界深度は、例えば、２０ｃｍの深度であってもよい一方で、第２の被写界深度は、５０ｃｍの深度であってもよい。上記で議論したように、いくつかの態様では、２つの被写界深度は、実施形態のコンフィギュレーションに依存して、完全にまたは部分的にオーバーラップしていてもよく、あるいは、オーバーラップしていなくてもよい。

［００８８］
いくつかの態様では、第２の発光体は、画像化センサ１３１２または第１および第２の構造化された光パターンを捕捉するように構成されている受信機とは異なる第２の距離であってもよい。いくつかの態様では、第２の発光体は、第１および第２の構造化された光パターンを捕捉する画像化センサの等しい水平側にあってもよく、または、画像化センサの反対の水平側にあってもよい。いくつかの態様では、第１のＤＯＥは、第１の最大解像度を使用して、第１の構造化された光パターンを発生させるように構成されていてもよい一方で、第２のＤＯＥは、第１の解像度とは異なる（より高いまたはより低い）第２の最大解像度を有する、第２の構造化された光パターンを発生させるように構成されている。いくつかの態様では、第１および第２の構造化された光パターンは、構造化された光パターンを捕捉する受信機または画像化センサとは異なる（または等しい）距離でこれらの最大解像度を提供するように構成されていてもよい。

［００８９］
ブロック１４２５では、レンズを調節して、第２の被写界深度内に焦点を合わせる。ブロック１４３０では、第２の被写界深度内に焦点を合わせながら、第２の画像をレンズで捕捉する。したがって、第２の画像は、シーン上に投影された第２の構造化された光パターンを表す。いくつかの態様では、第２の画像は、画像化センサ１３１２によって捕捉されてもよい。

［００９０］
ブロック１４３５では、第１および／または第２の画像に基づいて、深度マップを発生させる。例えば、第１の被写界深度内の深度におけるシーン中に含まれるオブジェクトは、第１の画像に基づいて、深度マップ中に表されてもよい一方で、第２の被写界深度内の深度におけるシーン内のオブジェクトは、第２の画像から導出されたデータに基づいて、深度マップ中に表されてもよい。

［００９１］
いくつかの態様では、深度マップを発生させるために、第１および第２の画像のみを利用してもよい。例えば、いくつかの態様では、画像化されているシーンの特徴に基づいて、第１および第２の画像を利用してもよい。いくつかの態様では、画像中で提供される深度情報の品質レベルは、深度マップを発生させるために使用される最高品質の深度情報を含む画像により評価してもよい。品質レベルは、深度情報の量、あるいは、破損または欠落した深度情報の量に基づいていてもよい。いくつかの態様では、例えば、深度マップを発生させるために、最少量の欠落した深度情報を有する画像を利用してもよい。

［００９２］
プロセス１４００は、発生させた深度マップを安定記憶装置（または記憶媒体）に書き込むことも含んでいてもよい。いくつかの態様では、深度マップに基づいて、第３の画像の１つ以上の画像捕捉パラメータを調節してもよい。例えば、いくつかの態様では、深度マップに基づいて、露光時間または（フラッシュ強度および／またはフラッシュが使用されるか否かのような）フラッシュ照光設定を修正してもよい。その後、１つ以上の画像捕捉パラメータを使用して、第３の画像を捕捉してもよい。捕捉の後、安定記憶装置または他のＩ／Ｏデバイスに第３の画像を書き込んでもよい。

［００９３］
以下の表１は、深度マップを発生させるときに、さまざまな利点を提供するように組み合わせてもよい回折光学素子のさまざまなコンフィギュレーションを示している。さまざまな実施形態において、プロセス１４００は、深度マップを発生させるために、以下に示した例示的なコンフィギュレーションのうちのいずれかを利用してもよい。プロセス１４００はまた、図４Ａ〜Ｃ、５Ａ〜Ｃ、および、７〜１２のうちのいずれか１つにおいて、上記で示した例示的なコンフィギュレーションのうちのいずれかを利用してもよい。

［００９４］

［００９５］
表１において、第１および第２の構造化された光パターンに対する対応するブランクセルは、単一のコンフィギュレーションに渡って等しくてもよい。

［００９６］
用語「決定すること」は、ここで使用されるように、幅広い動作を含む。例えば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、表、データベースまたは別のデータ構造においてルックアップすること）、確認すること、および、これらに類するものを含んでいてもよい。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ中のデータにアクセスすること）、および、これらに類するものを含んでいてもよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、および、これらに類するものを含んでいてもよい。さらに、ここで使用されるような「チャネル帯域」は、ある態様において、帯域幅を含んでもよく、または、帯域幅と呼ばれることもある。

［００９７］
ここで使用されるように、項目のリスト「のうちの少なくとも１つ」を指すフレーズは、単一のメンバ−を含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、またはｃ、のうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするように意図されている。

［００９８］
上記に説明した方法のさまざまな動作は、さまざまなハードウェアおよび／またはソフトウェアのコンポーネント、回路、および／またはモジュールのような、動作を実行することができる任意の適切な手段によって実行してもよい。一般的に、図面中に図示した任意の動作は、動作を実行することが可能な対応する機能手段によって実行できる。

［００９９］
本開示に関連して説明した、さまざまな例示的な論理ブロック、モジュール、および、回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは、ここで説明した機能を実行するように設計されたこれらの任意の組み合わせを用いて実現または実行してもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替実施形態では、プロセッサは、何らかの商業的に入手可能なプロセッサ、制御装置、マイクロ制御装置、または、状態機械であってもよい。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、または、他の何らかのこのようなコンフィギュレーションのような、コンピューティングデバイスの組み合わせとして実現してもよい。

［００１００］
１つ以上の態様において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、または、これらの任意の組み合わせで実現してもよい。ソフトウェアで実現する場合、機能は、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上に記憶されていてもよく、あるいは、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上で送信されてもよい。コンピュータ読取可能媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む、コンピュータ記憶媒体および通信媒体の両方を含んでいる。記憶媒体は、コンピュータによってアクセスできる何らかの利用可能な媒体であるかもしれない。限定ではなく例として、このようなコンピュータ読取可能媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、コンピュータによってアクセスできる命令またはデータ構造の形態で所望のプログラムコードを運ぶまたは記憶するために使用できる他の何らかの媒体を含むことができる。また、任意の接続は、コンピュータ読取可能媒体と適切に呼ばれる。例えば、ソフトウェアが、ウェブサイト、サーバ、または、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、あるいは、赤外線、無線、および、マイクロ波のようなワイヤレステクノロジーを使用する他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または、赤外線、無線、および、マイクロ波のようなワイヤレステクノロジーは、媒体の定義に含まれる。ここで使用したようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイ（登録商標）ディスクを含むが、通常、ディスク（ｄｉｓｋ）はデータを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザーにより光学的に再生する。したがって、いくつかの態様では、コンピュータ読取可能媒体は、非一時的コンピュータ読取可能媒体（例えば、有形の媒体）を含んでいる。さらに、いくつかの態様では、コンピュータ読取可能媒体は、一時的コンピュータ読取可能媒体（例えば、
信号）を含んでいてもよい。先のものを組み合わせたものもまた、コンピュータ読取可能媒体の範囲内に含められるべきである。

［００１０１］
ここで開示した方法は、説明した方法を達成するための１つ以上のステップまたは動作を備えている。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換可能であってもよい。言い換えると、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび／またはアクションの順序および／または使用を、特許請求の範囲から逸脱することなく修正してもよい。

［００１０２］
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、または、これらの任意の組み合わせで実現してもよい。ソフトウェアにおいて実現する場合、機能は、コンピュータ読取可能媒体上の１つ以上の命令として記憶されてもよい。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってもよい。限定ではなく例として、このようなコンピュータ読取可能媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または、他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、コンピュータによってアクセスできる命令またはデータ構造の形態で所望のプログラムコードを運ぶまたは記憶するために使用できる他の何らかの媒体を含むことができる。ここで使用したような、ディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスクを含むが、一般的に、ディスク（ｄｉｓｋ）は、データを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザーにより光学的に再生する。

［００１０３］
したがって、ある態様は、ここで提示した動作を実行するためのコンピュータプログラム製品を備えていてもよい。例えば、このようなコンピュータプログラム製品は、その上に記憶されている（および／またはエンコードされている）命令を有するコンピュータ読取可能媒体を含んでいてもよく、命令は、ここで説明した動作を実行するために、１つ以上のプロセッサにより実行可能である。ある態様では、コンピュータプログラム製品は、パッケージングマテリアルを含んでいてもよい。

［００１０４］
さらに、ここで説明した方法および技術を実行するためのモジュールおよび／または他の適切な手段をダウンロードでき、および／または、そうでなければ、ユーザ端末および／または基地局によって、適宜、得ることができることが理解されるべきである。例えば、このようなデバイスは、ここで説明した方法を実行する手段の転送を促進するように、サーバに結合することができる。代替的に、ここで説明したさまざまな方法は、記憶手段をデバイスに結合または提供する際に、ユーザ端末および／または基地局がさまざまな方法を取得することができるように、記憶手段（例えば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理記憶媒体等）を介して提供することができる。さらに、ここで説明した方法および技術を提供するための、他の何らかの適切な技術が利用できる。

［００１０５］
特許請求の範囲が、上記に例示されたまさにそのコンフィギュレーションおよびコンポーネントに限定されないことを理解すべきである。さまざまな修正、変更、および、バリエーションが、上記で説明した方法ならびに装置の構成、動作、および、詳細において、特許請求の範囲から逸脱することなく行われてもよい。

［００１０６］
前述の内容は、本開示の態様に向けられているが、本開示の他の態様およびさらなる態様が、その基本的な範囲から逸脱することなく考案することができ、その範囲は、以下に続く特許請求の範囲によって決定される。

Claims

画像化デバイスにおいて、
第１の解像度で第１の被写界深度を有する構造化された光パターンと前記第１の解像度で第２の被写界深度を有する第２の構造化された光パターンとを発生させるように構成されている第１の送信機を含む複数の送信機と、
前記第１の被写界深度内に焦点を合わせて、前記第１の構造化された光パターンを受け取り、前記第１の構造化された光パターンを表す第１の画像を捕捉するように、および、前記第２の被写界深度内に焦点を合わせて、前記第２の構造化された光パターンを受け取り、前記第２の構造化された光パターンを表す第２の画像を捕捉するように構成されている受信機と、
前記第１の画像と前記第２の画像とに基づいて、シーンの深度マップを発生させるように構成されている電子ハードウェアプロセッサとを具備し、
前記第２の被写界深度は、前記第１の被写界深度よりも広い画像化デバイス。
前記電子ハードウェアプロセッサは、前記発生させた深度マップに基づいて、第３の画像の画像捕捉パラメータを調節し、前記画像捕捉パラメータを使用して、前記第３の画像を捕捉するようにさらに構成されている請求項１記載の画像化デバイス。
前記電子ハードウェアプロセッサは、前記深度マップに基づいて、前記第３の画像の、開口、シャッタースピード、または、照度パラメータのうちの１つ以上を調節するように構成されている請求項２記載の画像化デバイス。
前記電子ハードウェアプロセッサは、前記深度マップと前記第３の画像とのうちの１つ以上を安定記憶装置に記憶させるようにさらに構成されている請求項２記載の画像化デバイス。
前記第１の送信機は、前記画像化デバイスから第１の距離で第１の最大解像度を有する、前記第１の構造化された光パターンを発生させるように構成され、
第２の送信機は、前記画像化デバイスから第２の距離で前記第１の構造化された光パターンよりも低い第２の最大解像度を有する、前記第２の構造化された光パターンを発生させるように構成されている請求項１記載の画像化デバイス。
前記第１の距離と前記第２の距離は、等しい請求項５記載の画像化デバイス。
前記第１の距離は、前記第２の距離とは異なる請求項５記載の画像化デバイス。
前記第１の送信機は、前記第２の被写界深度とオーバーラップする、前記第１の被写界深度を発生させるように構成されている請求項１記載の画像化デバイス。
前記第１の送信機は、前記第２の被写界深度内に含まれる前記第１の被写界深度を発生させるように構成されている請求項８記載の画像化デバイス。
画像化デバイスにより画像を捕捉する方法おいて、
第１の発光体を使用して、第１の解像度で第１の被写界深度を有する第１の構造化された光パターンをシーン上に発生させることと、
電子ハードウェアプロセッサを介して、前記第１の被写界深度内に画像化センサの焦点を合わせて、前記第１の構造化された光パターンによって照光されたシーンを表す第１の画像を捕捉することと、
第２の発光体を使用して、前記第１の解像度で第２の被写界深度を有する第２の構造化された光パターンを発生させることと、
前記第２の被写界深度内に前記画像化センサの焦点を合わせて、前記第２の構造化された光パターンによって照光されたシーンを表す第２の画像を捕捉することと、
前記電子ハードウェアプロセッサを使用して、前記第１の画像と前記第２の画像とに基づいて、前記シーンの深度マップを発生させることと、
前記深度マップに基づいて、画像捕捉パラメータを決定することと、
前記画像化センサを使用して、前記画像捕捉パラメータに基づいて、前記シーンの第３の画像を捕捉することと、
前記第３の画像を安定記憶装置に記憶させることとを含み、
前記第２の被写界深度は、前記第１の被写界深度よりも広い方法。
前記深度マップに基づいて、前記第３の画像の、開口、シャッタースピード、または、照度パラメータのうちの１つ以上を調節することをさらに含む請求項１０記載の方法。
前記深度マップを前記安定記憶装置に記憶させることをさらに含む請求項１０記載の方法。
前記画像化デバイスから第１の距離で第１の最大解像度を有する、前記第１の構造化された光パターンを発生させることをさらに含み、
第２の送信機は、前記画像化デバイスから第２の距離で前記第１の構造化された光パターンよりも低い第２の最大解像度を有する、前記第２の構造化された光パターンを発生させるように構成されている請求項１０記載の方法。
前記第１の距離と前記第２の距離は、等しい請求項１３記載の方法。
前記第１の距離は、前記第２の距離とは異なる請求項１３記載の方法。
前記第２の被写界深度とオーバーラップする、前記第１の被写界深度を発生させることをさらに含む請求項１３記載の方法。
前記第２の被写界深度内に含まれる前記第１の被写界深度を発生させることをさらに含む請求項１６記載の方法。
命令を含む非一時的コンピュータ読取可能記憶媒体において、
前記命令は、実行されるとき、プロセッサに、画像化デバイスにより画像を捕捉する方法を実行させ、
前記方法は、
第１の発光体を使用して、第１の解像度で第１の被写界深度を有する第１の構造化された光パターンをシーン上に発生させることと、
電子ハードウェアプロセッサを介して、前記第１の被写界深度内に画像化センサの焦点を合わせて、前記第１の構造化された光パターンによって照光されたシーンを表す第１の画像を捕捉することと、
第２の発光体を使用して、前記第１の解像度で第２の被写界深度を有する第２の構造化された光パターンを発生させることと、
前記第２の被写界深度内に前記画像化センサの焦点を合わせて、前記第２の構造化された光パターンによって照光されたシーンを表す第２の画像を捕捉することと、
前記電子ハードウェアプロセッサを使用して、前記第１の画像と前記第２の画像とに基づいて、前記シーンの深度マップを発生させることと、
前記深度マップに基づいて、画像捕捉パラメータを決定することと、
前記画像化センサを使用して、前記画像捕捉パラメータに基づいて、前記シーンの第３の画像を捕捉することと、
前記第３の画像を安定記憶装置に記憶させることとを含み、
前記第２の被写界深度は、前記第１の被写界深度よりも広い非一時的コンピュータ読取可能記憶媒体。
前記方法は、
前記画像化デバイスから第１の距離で第１の最大解像度を有する、前記第１の構造化された光パターンを発生させることをさらに含み、
第２の送信機は、前記画像化デバイスから第２の距離で前記第１の構造化された光パターンよりも低い第２の最大解像度を有する、前記第２の構造化された光パターンを発生させるように構成されている請求項１８記載の非一時的コンピュータ読取可能記憶媒体。
前記第１の距離と前記第２の距離は、等しい請求項１９記載の非一時的コンピュータ読取可能記憶媒体。