JP2017529579A - エルミート対称性を有するコード化光パターン - Google Patents

エルミート対称性を有するコード化光パターン Download PDF

Info

Publication number
JP2017529579A
JP2017529579A JP2016573520A JP2016573520A JP2017529579A JP 2017529579 A JP2017529579 A JP 2017529579A JP 2016573520 A JP2016573520 A JP 2016573520A JP 2016573520 A JP2016573520 A JP 2016573520A JP 2017529579 A JP2017529579 A JP 2017529579A
Authority
JP
Japan
Prior art keywords
constraint
codeword
codebook
doe
codewords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016573520A
Other languages
English (en)
Other versions
JP6224276B2 (ja
Inventor
ナッシュ、ジェームズ・ウィルソン
アタナソフ、カリン・ミトコフ
ベラール、スティーブン・マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017529579A publication Critical patent/JP2017529579A/ja
Application granted granted Critical
Publication of JP6224276B2 publication Critical patent/JP6224276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0944Diffractive optical elements, e.g. gratings, holograms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4266Diffraction theory; Mathematical models
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1847Manufacturing methods
    • G02B5/1857Manufacturing methods using exposure or etching means, e.g. holography, photolithography, exposure to electron or ion beams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • G06V10/893Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter
    • G06V10/895Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter the filter being related to phase processing, e.g. phase-only filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

方法は、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することを含む。方法はまた、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去することを含む。方法は、パンクチャされたビット列が対称であるか否かを決定することをさらに含む。方法は、パンクチャされたビット列が対称であることを決定することに応答して、パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成すること、ここで、エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、を含む。

Description

関連出願の相互参照
[0001] 本願は、共通に所有される、2014年6月20日に出願された米国仮特許出願第62/015,349号、および2014年9月19日に出願された米国非仮特許出願第14/491,521号からの優先権を主張し、それらの内容は、それらの全文を参照により本明細書に明確に組み込まれる。
[0002] 本開示は一般的に、エルミート対称性を有するコード化光パターン(coded light pattern having hermitian symmetry)の生成に関する。
関連技術の説明
[0003] 技術における進歩は、より小型で、より強力な電子デバイスをもたらした。例えば、ワイヤレス電話、携帯情報端末(PDAs)、およびページングデバイスのような、様々なモバイルデバイスが現在存在する。ワイヤレスデバイスは、小型で軽量、かつユーザによって容易に持ち運ばれ得る。セルラ電話およびインターネットプロトコル(IP)電話のような、ワイヤレス電話は、ワイヤレスネットワークを介して音声およびデータパケットを通信することができる。また、ワイヤレス電話は、ウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む、インターネットにアクセスするために使用されることができる実行可能な命令を処理することができる。さらに、多くのワイヤレス電話は、そこに組み込まれる他のタイプのデバイスを含む。例えば、ワイヤレス電話は、デジタル静止カメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレイヤを含むこともできる。そのようなものとして、ワイヤレス電話および他のモバイルデバイスは、重要なコンピューティング機能を含むことができる。
[0004] 構造化光深度検知(structured light depth sensing)とも称されるアクティブ検知は、電子デバイスおよびモバイルデバイスと関連付けられるアプリケーションである。アクティブ検知では、既知の光学的パターンは、シーン上に照光される、または投影される。受信機センサは、シーンの画像をキャプチャし得る。キャプチャされた画像の中の光学的パターンは、もともと投影された光学的パターンとは異なり得る(例えば、もともと投影された光学的パターンに関連して動かされ(be displaced)得る)。キャプチャされた画像の中の光学的パターンと、もともと投影された光学的パターンとの間の差は、シーンの中の対象(objects)の深度(a depth)を確定する(ascertain)ために使用され得る。深度情報は、例えば、シーンおよびその中の対象の3次元(3D)表現を再構築するために使用され得る。
[0005] シーン上に投影される光学的パターンの様々な特徴は、アクティブ深度検知および3D再構築の精度に影響を与え得る。例えば、ある特定のパターンは、深度検知処理の間干渉を引き起こす「ゴースト像」をもたらし得る。別の例として、ある特定のパターンは、大きいゼロ次(すなわち、回折されていない(un-diffracted))ビームを生成する(create)可能性があり、それは、レーザを光源として使用するシステムの場合のような、目の安全性の問題をもたらし得る。さらに、適切な深度推定解像度(adequate depth estimation resolution)を提供する複雑なパターンは、製造するのに費用がかかり得る。例えば、複雑なパターンが構造化光送信機内で光学素子によって形成されるとき、送信機の光学素子は、高価な複数の段階(multi-stage)、複数のマスクフォトリソグラフィ工程(multi-mask photolithographic process)を使用して製造される必要があり得る。
[0006] 本開示は、(偶対称性(even symmetry)と代替的に称される)エルミート対称性を有する光学的(例えば、コード化光)パターンを生成することおよび使用することを説明する。エルミート対称パターンの使用は、ゴースト像を除外する(eliminate)ことができ、非対称パターン(asymmetric pattern)と比較してより小さくより低い強度の(lower-intensity)ゼロ次ビームを提供し得る。光学的パターンは、テッセレートされたコードブックプリミティブ(a tessellated codebook primitive)を含み得る。コードブックプリミティブは、サイズ制約(constraint)、最小および/または平均デューティサイクル制約、位相マップ制約、等のような、1つ以上のコードワード制約に基づいて生成され得る。例えば、コードブックプリミティブを生成する(generate)ための反復法(iterative method)は、(1つまたは複数の)コードワード制約を満たさない(1つまたは複数の)コードワードを除去するために、ランダムに初期化されたビット列(bit sequence)をパンクチャすること(puncturing)を含み得る。パンクチャされたビット列から生成されるコード化パターンがエルミート対称性を有し、一意性の基準(uniqueness criterion)を満たす場合、コード化パターンは、コードブックプリミティブを生成するために使用され得る。コード化パターンがエルミート対称でない場合、または一意性の基準を満たさない場合、新たなビット列が、初期化されることができ、方法は、繰り返され得る。
[0007] 説明された技法によって生成されたコードブックプリミティブは、単一のマスクフォトリソグラフィ工程(single-mask photolithographic process)を使用して回折光学素子(diffractive optical element)(DOE)を製造するために使用され得る。構造化光システムで使用されるとき、DOEは、光源(例えば、レーザ)から光を受信することができ、コードブックプリミティブのテッセレーションを含むエルミート対称光学的パターンを作り得る。エルミート対称光学的パターンは、シーン(またはその中の対象)上に投影されることができ、深度推定(depth estimation)を行うために使用され得る。
[0008] 特定の実施形態では、方法は、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することと、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去することとを含む。方法は、パンクチャされたビット列が対称であるか否かを決定することをさらに含む。パンクチャされたビット列が対称であることを決定することに応答して、方法は、パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成し、ここで、エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である。
[0009] 別の特定の実施形態では、非一時的なコンピュータ可読媒体は、コンピュータによって実行されるとき、コンピュータに、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することを含むオペレーションを行わせる命令を含む。オペレーションはまた、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去することを含む。オペレーションは、パンクチャされたビット列が対称であるか否かを決定することをさらに含む。オペレーションは、パンクチャされたビット列が対称であることを決定することに応答して、パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成すること、ここで、エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、を含む。
[0010] 別の特定の実施形態では、装置は、光学的パターンを生成するように構成される回折光学素子(DOE)を含む。光学的パターンは、エルミート対称性を有し、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを含む。
[0011] 別の特定の実施形態では、装置は、光を放射するための手段と、光の焦点を合わせる(focusing the light)ための手段と、光学的パターンを作るために光を回折するための手段とを含む。光学的パターンは、エルミート対称性を有し、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを含む。
[0012] 開示される実施形態のうちの少なくとも1つによって提供される1つの特定の利点は、3D深度マップを生成する構造化光深度検知システムにおける改善されたパフォーマンスを提供するエルミート対称光学的パターンを生成する能力である。開示される実施形態のうちの少なくとも1つによって提供される別の特定の利点は、製造するのに安価であるDOEであり、DOEがエルミート対称光学的パターンを生成し、投影するための構造化光深度検知システムに組み込まれることができることである。
[0013] 本開示の他の態様、利点、および特徴は、下記のセクション:図面の簡単な説明、発明を実施するための形態、および特許請求の範囲、を含む本願全体のレビュー後に明らかになるであろう。
[0014] 図1は、少なくとも1つのコードワード制約を満たすテッセレートされたコードブックプリミティブを含むエルミート対称光学的パターンを投影するように構成される回折光学素子(DOE)を含む構造化光深度検知システムの図である。 [0015] 図2は、図1のDOEを有する送信機デバイスを含む構造化光深度検知システムの図である。 [0016] 図3は、光学的パターンの投影されたバージョン、および光学的パターンのキャプチャされたバージョンに基づいて対象の深度情報を決定する特定の実施形態の図である。 [0017] 図4は、図1のDOEを含む送信機の特定の実施形態の図である。 [0018] 図5は、1つ以上のコードワード制約を満たすエルミート対称コードブックプリミティブを生成するように構成されるデバイスの特定の実施形態を例示するための図である。 [0019] 図6は、エルミート対称であるコードブックプリミティブの特定の実施形態を例示するための図である。 [0020] 図7は、テッセレートされたコードブックプリミティブを含む光学的パターンの特定の実施形態を例示するための図である。 [0021] 図8は、ゴースト像を除外し、ゼロ次ビームのサイズを低減するためのエルミート対称光学的パターンの能力を例示するための図である。 [0022] 図9は、エルミート対称コードブックプリミティブと関連付けられる例となるコード配電(exemplary code power distribution)の図である。 [0023] 図10は、コードワードがコードワード制約を満たすか否かを決定する方法の特定の実施形態を例示するための図である。 [0024] 図11は、図1のDOEを製造する方法の特定の実施形態の図である。 [0025] 図12は、図5のデバイスにおけるオペレーションの方法の特定の実施形態のフローチャートである。 [0026] 図13は、エルミート対称性を有し、1つ以上のコードワード制約を満たすコードブックプリミティブを生成する方法の代替の実施形態を例示するための図である。 [0027] 図14は、図1−13に関して説明される1つ以上のシステムまたは方法をサポートするように構成される電子デバイスの特定の実施形態を例示するための図である。
[0028] 図1は、既知のパターンがシーンまたは対象を照光するために使用される(アクティブ検知システムと本明細書で代替的に称される)構造化光深度検知システムの特定の実施形態を例示する。システムは、照光されたシーンからの深度情報を取得することができ、2次元(2D)画像および/または情報から3次元(3D)情報を生成するために深度情報を使用し得る。本明細書に説明される1つ以上の態様および/または特徴は、そのようなシステム内でインプリメントされ得る。
[0029] 図1のシステムでは、送信機101は、シーンまたは対象106上に1つ以上のコードワードを含む光学的パターン104を投影する。各コードワードは、光学的パターンの一意的に検出可能な部分に対応し得る。例えば、各コードワードは、1つ以上の点の配置、1つ以上の線の配置、グリッド配置、等に対応し得る。光学的パターン104は、光照射野(light field)を回折光学素子(DOE)190に通すことによって生成される光学的パターンに対応し得る。DOE190はしたがって、光照射野が光学的パターン104を生成するために通される「コードマスク(code mask)」を表し得る。本明細書にさらに説明されるように、DOE190によって生成される光学的パターン104は、エルミート対称性を有することができ、少なくとも1つのコードワード制約を満たすように生成される(例えば、設計される)テッセレートされたコードブックプリミティブを含み得る。エルミート対称光学的パターンおよびそのようなパターンを生成するように構成されるDOEsは、図5−13を参照してさらに説明される。
[0030] 受信機108は、反射された光学的パターン110およびその中のコードワードをキャプチャする。図1の例では、光学的パターン104のセクション/ポーション/ウィンドウ112は、シーンまたは対象106の表面(例えば、投影されたセクション/ポーション/ウィンドウ116)上に(セクション/ポーション/ウィンドウ114のように)投影される。投影されたセクション/ポーション/ウィンドウ116は、キャプチャされたセグメント118として受信機108によってキャプチャされ得る。セクション/ポーション/ウィンドウ112は、一意的に識別されることができるコードワードとして使用され得る。反射された光学的パターン110は、シーンまたは対象106の特徴(例えば、形状、深度、等)に基づいて最初に投影された光学的パターン104とは異なり得る。よって、シーンまたは対象106を一意的なコードワードでカバーすること(covering)によって、シーンまたは対象106のセクション/ポーションは、識別される/タグをつけられる(tagged)ことができ、そのような情報は、本明細書にさらに説明されるように、深度検知のために使用され得る。
[0031] 受信機108によってキャプチャされた画像から、複数のセグメントは、シーンまたは対象106を通じて(over)識別され得る。セグメント118のような、各セグメントは、受信機108で一意的に識別可能であることができ、他のセグメントに関連してセグメント118ロケーションのロケーションは、光学的パターン104から確定され得る。各セグメント/ポーション/ウィンドウからのコード(例えば、コードワード)の識別は、(例えば、歪に対処するための)パターンセグメンテーション、および(1つまたは複数の)対応するコードへの認知されたセグメント/ポーション/ウィンドウ(perceived segment/portion/window)の復号を含み得る。さらに、三角測量(triangulation)は、方向(orientation)および/または深度を確定するために各キャプチャされたセグメント/ポーション/ウィンドウにわたって(over)適用され得る。例示的な限定されない例(illustrative non-limiting example)として、キャプチャされた光学的パターン110と比較して投影された光学的パターン104の中の特定のコードワードのロケーションにおける差は、図2−3を参照してさらに説明されるように、対象106の深度情報を決定するために使用され得る。複数のそのようなセグメント/ポーション/ウィンドウは、キャプチャされた画像パターンをまとめる(stitch together)ために組み合わせられ得る。このようにして、3D点クラウドデータ(3D point cloud data)および/または深度マップ107は、シーンまたは対象106のために生成され得る。深度マップ107では、受信機108から同じ距離離れていると決定された対象(またはそれらのポーション/表面)は、同じ色を使用して表され得る。深度マップ107は、ゲーミング、ジェスチャ制御、ルーム/スペースマッピング、3Dプリンティング、等に限定されないが、それらを含む、様々なアプリケーションのために使用され得る。
[0032] 図2は、構造化光深度検知システムの別の特定の実施形態を例示する。送信機デバイス202は、送信チャネル204を介して(例えば、図1のDOE190を通して光を投影することに基づいて)エルミート対称光学的パターン220を投影し得る。例えば、エルミート対称光学的パターン220は、図1のエルミート対称光学的パターン104を含み得る、またはそれに対応し得る。光学的パターンは、ターゲット(例えば、シーンまたは対象)上に投影されることができ、反射された光は、画像として受信機センサ205によってキャプチャされ得る。受信機センサ205(例えば、図1の受信機108)において、ターゲット(例えば、シーンまたは対象)は、キャプチャされることができ、ターゲットの形状/深度は、符号化され得る。形状/深度の符号化は、例えば、深度情報を確定するために投影された光学的パターンを使用して行われ得る。例えば、投影された光学的パターン(の例えば、動かされた/修正されたバージョン)を含む、シーンまたは対象のキャプチャされた画像は、深度マップ208のような、深度データを取得するためにセグメンテーション/復号器206によってセグメント化され得るおよび/または復号され得る。深度マップ208は、ターゲットの3Dバージョン210a、210b、210c、210d、210eを提示する、生成する、および/または提供するために使用され得る。本明細書に説明された1つ以上の態様または特徴は、図1および2の例となる環境内でインプリメントされ得る。
[0033] 図3は、図1のシステムまたは図2のシステムのような、構造化光深度検知システムにおけるオペレーションの方法の特定の実施形態を例示する。図3に示されているように、送信機デバイス302は、受信機デバイス304と同じベースライン基準面(same baseline reference plane)(例えば、レンズ面305)上に存在し得る。例えば、送信機デバイス302は、図1のDOE190を含む送信機101または図2の送信機デバイス202であり得る。よって、送信機デバイス302は、アパーチャ(aperture)またはレンズを通してシーンまたは対象上に光学的パターン310を投影することができ、ここで、光学的パターン310は、エルミート対称であり、図5−13を参照してさらに説明されるように、少なくとも1つのコードワード制約を満たすテッセレートされたコードブックプリミティブを含む。
[0034] 例示の目的で、(コードワードを表す)セグメント/ポーション/ウィンドウ312は、送信された光学的パターン310の一部として示される。セグメント/ポーション/ウィンドウ312は、第1の距離でシーンまたは対象306上に、あるいは第2の距離で別のシーンまたは対象308上に投影され得る。受信機デバイス304は、示されているように、受信機アパーチャを通して(受信された光学的パターン311として)投影された光学的パターン310をキャプチャし得る。図3の実施形態では、送信された光学的パターン310は、受信された光学的パターン311として同じセンサ面307上で示される。
[0035] シーンまたは対象306が送信機デバイス302の近く(例えば、送信機デバイスからの第1の距離)に位置するとき、投影されたセグメント312は、その最初のロケーションからの距離d1に現れ得る。シーンまたは対象308がさらに遠く(例えば、送信機デバイスからの第2の距離)に配置されるとき、投影されたセグメント/ポーション/ウィンドウ312は、その最初のロケーションからの距離d2に現れ得る(ここで、d2<d1)。すなわち、対象が送信機/受信機から遠いほど、受信された投影されたセグメント/ポーション/ウィンドウは、受信機デバイス304においてそのもともとの(original)位置から近い(例えば、出ていく投影および入ってくる投影(the outgoing projection and incoming projection)は、より平行(parallel)である)。反対に、対象が送信機/受信機から近いほど、受信された投影されたセグメント/ポーション/ウィンドウは、受信機デバイス304におけるそのもともとの位置から遠い。
[0036] よって、受信されたコードワード位置と送信されたコードワード位置との間の差は、シーンまたは対象の深度を決定するために使用され得る。1つの例では、そのような深度(例えば、相対深度(relative depth))は、グループ分けされた画素の各サブセット(例えば、2つ以上の画素の領域)またはそれらの各画素に深度を提供し得る。
[0037] 変調およびコーディング方式の様々なタイプは、光学的パターンを生成するために使用され得る。例えば、そのような変調およびコーディング方式は、時間コーディング、空間コーディング、および直接コード化(direct codification)に限定されないが、それらを含み得る。時間コーディングでは、パターンは、(例えば、経時的に)測定面(measuring surface)上に連続して投影され得る。空間コーディングでは、情報は、形状およびパターンに基づいて近隣(local neighborhood)において符号化され得る。疑似ランダムコードは、De Bruijn列(De Bruijn sequences)に基づき得る。代替として、Mアレイは、コードブック(例えば、m−aryの強度または色変調(intensity or color modulation))を定義し得る。直接コード化では、水平と垂直との両方の画素座標は、符号化されることができ、単調位相変調(monotonic phase modulation)または強度波形変調(intensity waveform modulation)は、光学的パターンを生成するために使用され得る。
[0038] 図4は、送信機101の特定の実施形態を例示する。図4に示されているように、送信機101は、例示的なレーザ(illustrative laser)430(例えば、レーザ投影機)のような、光を放射するように構成されるデバイスである。送信機101はまた、例示的なレンズ432(例えば、単色フィルタ)のような、光の焦点を合わせるように構成されるデバイスを含み得る。特定のインプリメンテーションでは、レンズ432は、コリメーションレンズ(collimation lens)である。送信機101はまた、図1のDOE190を含む。図4に示されていないが、送信機101はまた、電源、レーザ430のためのベースおよび/またはヒートシンク、レンズ432のためのレンズマウント(lens mount)、ユーザインタフェース、プロセッサ、メモリ、制御器、等を可能にするように構成されるフィールドプログラマブルゲートアレイ(FPGA)のような、追加のコンポーネントを含み得る。送信機101は、モバイル電話またはタブレットコンピュータ、等の一部として、スタンドアロン投影機または投影システムのような、それのコンピューティングデバイスまたはそれの一部に組み込まれ得る。
[0039] いくつかのインプリメンテーションでは、送信機101は、第1のDOE(例えば、DOE190)および第2のDOEのような複数のDOEsを含み得る。第1のDOEは、第1の光学的パターンを生成するように構成されることができ、第2のDOEは、第2の光学的パターンを生成するように構成され得る。第1の光学的パターンは、エルミート対称であることができ、および/または1つ以上の第1のコードワード制約を満たすように生成される第1のテッセレートされたコードブックプリミティブを含み得る。さらにまたは代替として、第2の光学的パターンは、エルミート対称であることができ、および/または1つ以上の第2のコードワード制約を満たすように生成される第2のテッセレートされたコードブックプリミティブを含み得る。第1の光学的パターンは、第2の光学的パターンと異なり得る。
[0040] 送信機101の制御器は、対象までの距離、光の量、解像度、フレームレート、利用可能な電力の量、等のような、1つ以上の環境および/またはアプリケーション条件と関連付けられる1つ以上のパラメータを決定するように構成され得る。1つ以上のパラメータに基づいて、制御器は、送信機101によって使用されるべき複数のDOEsのうちの1つを選択し得る。いくつかのインプリメンテーションでは、送信機101は、選択されたDOEが対応する光学的パターンを生成するように位置付けられるような1つ以上のDOEsの位置を物理的に変更するためのコンポーネントおよび/または回路(circuitry)を含み得る。いくつかのインプリメンテーションでは、制御器は、送信機101のユーザインタフェースを介するユーザ入力のような、複数のDOEsの特定のDOEの選択を示す入力を受信するように構成され得る。よって、制御器は、入力に応答して特定のDOEを選択し得る。
[0041] 特定のインプリメンテーションでは、制御器は、プロセッサおよびメモリを含む。メモリは、プロセッサによって実行されるとき、プロセッサに、1つ以上の環境および/またはアプリケーション条件と関連付けられる1つ以上のパラメータを決定させる実行可能な命令を含み得る。命令はさらに、プロセッサに、1つ以上のパラメータに基づいて複数のDOEsのうちの1つを選択させ、光を選択されたDOEに通すためにレーザ430を開始させ得る。複数のDOEsが2つのDOEsを含むとして説明されるが、他のインプリメンテーションでは、複数のDOEsは、2つより多いDOEsを含むことができ、ここで、複数のDOEsの各DOEは、異なる対応する光学的パターンと関連付けられる。
[0042] オペレーションの間、レーザ430は、レンズ432によってDOE190上に焦点を合わせられる光を放射し得る。DOE190は、光がDOE190を通過するとき、エルミート対称光学的パターン104(または、図2のエルミート対称光学的パターン220)がシーンまたは対象106上に形成され、投影されるように(例えば、フォトリソグラフィエッチング(photolithographic etching)によって)製造され得る。受信機がシーンまたは対象106、およびその上に投影された光学的パターンをキャプチャするとき、キャプチャされたシーンまたは対象は、光学的パターンのエルミート対称性のためゴースト像がないことがある。さらに、光学的パターンがエルミート対称であるため、ゼロ次ビーム(例えば、回折されていないDOE190(DOE 190 un-diffracted)を通るレーザ光)は、より小さくて良く、非エルミート対称パターンによって生成されるゼロ次ビームと比較してより低い強度を有することができ、それは、シーンまたは対象106が人物に対応するとき目の安全性を改善し得る。
[0043] 図5は、1つ以上のコードワード制約を満たすエルミート対称コードブックプリミティブを生成するように構成されるデバイス500の特定の実施形態を例示する。特定のインプリメンテーションでは、デバイス500は、モバイル電話、タブレットコンピュータ、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、等のような、固定式のまたは携帯用のコンピューティングデバイスに対応する。
[0044] デバイス500は、メモリ510および1つ以上のプロセッサ520を含む。メモリ510は、コードブックプリミティブを生成するために(1つまたは複数の)プロセッサ520によって実行可能である命令511を記憶し得る。コードブックプリミティブは、エルミート対称性を有する2Dコード化パターンであり得る。例えば、図6は、エルミート対称であるコードブックプリミティブ602の特定の実施形態を例示する。コードブックプリミティブは、コードブックプリミティブの各点(x、y)が、同様にコードブックプリミティブの中にある点(−x、−y)に、原点(例えば、点(0、0))について反射される(reflected about an origin (e.g., a point (0,0)))場合かつその場合に限りエルミート対称を有し得る。例示の目的で、コードブックプリミティブ602の3つの点A、B、およびCは、原点で交わるX軸とY軸とともに、図6に示されている。対応する反射点(reflected points)A’、B’、およびC’もまた、エルミート対称性を例示するために示される。
[0045] コードブックプリミティブ602のような、エルミート対称コードブックプリミティブは、メモリ510に記憶された1つ以上のコードワード制約512を満たすようにデバイス500によって自動的に生成され得る。1つ以上のコードワード制約512は、前もってプログラムされる(pre-programmed)、および/またはユーザ入力を介して受信または選択され得る。1つ以上のコードワード制約512はまた、ユーザ入力に応答して、またはデバイス500のオペレーションの間プログラムで(programmatically)、修正され得る。1つ以上のコードワード制約512は、1次元(1D)ビット列の生成および処理の間、反復して適用され得る。1つ以上のコードワード制約512の各々を満たす特定の対称な、および一意的なビット列が識別されるとき、ビット列は、コードブックプリミティブを生成するために使用され得る。ビット列が対称であるため、コードブックプリミティブは、エルミート対称であり得る。特定のインプリメンテーションでは、コードブックプリミティブは、図1の光学的パターン104または図2の光学的パターン220のような、より大きい2D光学的パターンを形成するためにテッセレートされ得る。図7は、テッセレートされたコードブックプリミティブ702を含むそのような光学的パターン700の例を例示し、ここで、コードブックプリミティブ702は、エルミート対称であり、コードワード制約を満たす。光学的パターン700は、図1のDOE190のような、光をDOEに通すことによって生成され得る。例えば、DOEは、光がDOEを通るとき、光学的パターン700がDOEによって生成され、シーン上に投影されるように製造され得る。例示するために、DOEの異なる部分は、異なる厚さを有し得る。DOEに入る焦点を合わせられた光ビームは、DOEによって散乱されることができ、DOEによる光照射野出力の異なる部分(different parts)は、異なる位相を有することができ、それらは、図1−3に関して説明されたように、構造化光受信機によって検出されることができ、コードワードを決定するために復調され得る。DOEを製造する方法の例示的な実施形態は、図11を参照してさらに説明される。
[0046] 光学的パターンがコードブックプリミティブのテッセレーションを含むとき、光学的パターンは、テッセレーションファクタと関連付けられ得る。テッセレーションファクタは、コードブックプリミティブが光学的パターンの中でテッセレートされる(例えば、繰り返される)回数に対応し得る。例えば、図7の光学的パターン700に関するテッセレーションファクタは、9である。
[0047] (エルミート対称光学的パターンを形成するために使用される)エルミート対称コードブックプリミティブを使用することは、非エルミート対称コードブックプリミティブまたはパターンを使用することと比較していくつかの便益を提供し得る。図8は、エルミート対称コードブックプリミティブ/パターンを使用することの特定の便益を例示する図である。802において示されているように、パターンがエルミート対称性を有し、X軸とY軸との両方に沿って「反転されている(flipped)」ため、干渉を生成するゴースト像(interference-creating ghost image)は、除外され得る(例えば、受信機によって受信され得ない)。対照的に、非エルミート対称パターンは、804において灰色で示されている、ゴースト像を引き起こし得る。ゴースト像を除外することは、受信機側の信号処理を単純化し得る。深度検知のために使用される光学的パターンがエルミート対称であるとき、コードワード認識および復調精度(codeword recognition and demodulation accuracy)は、増加されることができ、動いている対象(例えば、移動中の対象(objects in motion))への耐性は、増加されることができ、ノイズへの耐性は、増加されることができ、シーンの中の照明変化(illumination changes)への耐性は、増加され得る、等。
[0048] 光(例えば、レーザ光)がDOEに通されるとき、光の一部は、ゼロ次ビームを生成して、回折されていないDOEの中心を通り得る。ゼロ次ビームが回折されていないため、ゼロ次ビームは、回折されたビームより高い強度を有し得る。受信機がより高い強度のゼロ次ビームによって飽和されるコードワードを正確に認識および復調することが困難であり得るため、ゼロ次ビームは、光学的パターンの中央に「盲点(blind spot)」をもたらし得る。806において示されているように、エルミート対称パターンと関連付けられるゼロ次ビームは、808において示されている非エルミート対称パターンと関連付けられるゼロ次ビームと比較して低減されたサイズを有し得る。よって、エルミート対称パターンは、より小さい「盲点」を提供し得る。806におけるゼロ次ビームはまた、808におけるゼロ次ビームより低い強度を有し得る。806におけるゼロ次ビームのより小さいサイズおよびより低い強度は、使用される光が、レーザ光、または人間の目のような、目に害を与える可能性がある別のタイプの光である場合のような、構造化光深度検知システムにおける目の安全性を改善し得る。
[0049] 図8はまた、エルミート対称コードブックプリミティブ810の例を例示する。とりわけ、エルミート対称であるコードブックプリミティブは、事実上2進数であり得る。すなわち、コードブックプリミティブの中のコードワードは、2進値を有し得る。コードブックプリミティブが2進数であるとき、コードブックプリミティブをテッセレートすることによって生成される光学的パターンもまた、2進数である。さらに、光学的パターンを生成するために製造されるDOEは、図10を参照してさらに説明されるように、単一のマスク処理を使用して形成され得る。単一のマスク処理は、非二進パターンのためのDOEを製造するために使用される複数のマスク処理より安価であり得る。非二進パターンの位相スペース(例えば、フーリエ領域)の例は、820において示されている。具体的には、パターン820は、4位相パターンであり、ここで、各シェーディング色(each shading color)は、異なる位相に対応する。4つの位相は、光がパターン820を通る4つの異なる量に対応し得る。よって、4位相パターン820と対照的に、エルミート対称コードブックプリミティブ810は、2位相パターンであり得る。
[0050] エルミート対称コードブックプリミティブは、ある特定の便益を提供し得るが、すべてのエルミート対称コードブックプリミティブが、構造化光深度検知システムで使用するのに適し得るわけではない。例えば、コードブックプリミティブがエルミート対称であるにもかかわらず、コードブックプリミティブが低いエネルギーを有し、繰り返されたコードワードを含む、等の場合、コードブックプリミティブは、不適切であり得る。本開示にしたがって、エルミート対称コードブックプリミティブの生成の間1つ以上のコードワード制約512の適用によって(例えば、1つ以上のコードワード制約512を満たさないコードワードを除去することによって)生成されたコードブックプリミティブは、構造化光深度検知システムで使用するのによく適し得る。
[0051] いくつかのインプリメンテーションでは、1つ以上のコードワード制約512は、代替として解像度制約と称されるサイズ制約を含み得る。例示するために、コードワードがより小さいほど、構造化光深度検知システムによって検出されることができる対象がより小さい。例えば、構造化光深度検知システムがシャツ上のボタンとシャツの布との間の深度差を検出する、および決定することが可能であるように、コードワードは、ボタンのサイズと同様の大きさであるべきである。1つ以上のコードワード制約512はまた、コードブックプリミティブの中の一意的なコードワードの数(a number of unique codewords)に対応するコードブックカーディナリティ制約(codebook cardinality constraint)を含み得る。例えば、一意的なコードワードの数は、構造化光深度検知システムの受信機デバイスに組み込まれるカメラのカメラ解像度に基づき得る。
[0052] 他のインプリメンテーションでは、1つ以上のコードワード制約512は、空間表現制約(spatial representation constraint)を含み得る。例えば、空間表現制約は、コードブックプリミティブの中のコードワードが1つ以上の点、1つ以上の線、1つ以上のグリッド、何らかの他の形状、またはそれらの任意の組み合わせを使用して表されるべきか否かを示し得る。
[0053] 1つ以上のコードワード制約512はまた、1つ以上のデューティサイクル制約も含み得る。コードワードの「デューティサイクル」は、コードワードの中のアサートされていないビット/部分(例えば、「0」)の数(a number of un-asserted bits/portions (e.g., "0"s))に対する、アサートされたビットまたは部分(例えば、「1」)の数の比率に対応し得る。コードワードを含むコード化光パターンがシーン上に投影されるとき、「1」の値を有する各ビットは、エネルギー(例えば、光エネルギー)を有することができるのに対し、「0」の値を有する各ビットは、エネルギーを持っていない(be devoid of energy)可能性がある。コードワードのデューティサイクルはしたがって、コードワードのエネルギーレベルを表し得る。コードワードが簡単に検出可能であるように、コードワードは、十分なエネルギーを有するべきである。低エネルギーコードワードは、検出することがより困難である可能性があり、ノイズの影響をより受けやすい可能性がある。例えば、低エネルギーコードワードが1個の「1」および15個の「0」を含む場合、カメラは、単一の「1」の値と関連付けられる光エネルギーを受信しないことがあり、よってコードワードを検出しないことがある。さらに、15個の「0」の値のうちの1つ以上は、ノイズのため「1」の値として誤って解釈され得る。よって、1つ以上のコードワード制約512は、0の値を有する複数のコードワードの各々の中のビットの数に対する、1の値を有する複数のコードワードの各々の中のビットの数の最小比に対応する最小デューティサイクル制約(minimum duty cycle constraint)を有し得る。代替として、または、それに加えて、1つ以上のコードワード制約512は、0の値を有する複数のコードワードの各々の中のビットの数に対する、1の値を有する複数のコードワードの各々の中のビットの数の平均比に対応する平均デューティサイクル制約(average duty cycle constraint)を有し得る。コードワード電力(例えば、エネルギー)配分の例示的な、限定されない例が、図9に示される。図9の配分は、特定の最小(または最大)および/または平均デューティサイクル制約にしたがって生成されるコードブックプリミティブに対応し得る。図9の例では、すべてのコードワードは、少なくとも50%のデューティサイクルを有し、コードワードのほぼ半分は、60%−65%の間のデューティサイクルを有する。
[0054] 他のインプリメンテーションでは、1つ以上のコードワード制約512は、コードワードが少量(例えば、1ビットローテーション)によってシフトされるとき、結果データは、別のコードワードを表すことを示す輪郭解像度制約(contour resolution constraint)を含み得る。コードワードがシフトされる量は、シフト量と称され得る。高い輪郭解像度は、構造化光深度検知システムが比較的小さい対象境界(object boundaries)を認識し、異なる対象に認識継続性(recognition continuity)(例えば、シャツの布とシャツのボタンを認識し、それらを区別するための能力)を提供することを可能にし得る。
[0055] 他のインプリメンテーションでは、1つ以上のコードワード制約512は、エイリアシング距離制約(aliasing distance constraint)を含み得る。エイリアシング距離制約は、同じである2つのコードワードの間の距離に対応し得る。光学的パターンがテッセレートされたコードブックプリミティブを含むとき、およびコードブックプリミティブの中の各コードワードが一意的であるとき、エイリアシング距離は、コードブックプリミティブのサイズに基づき得る。エイリアシング距離はしたがって、コードブックプリミティブの各コードワードがコードブックプリミティブの各他のコードワードとは異なるべきこと、およびコードブックプリミティブが全体として一意的であることを示す一意性の基準を表し得る。さらに、エイリアシング距離が受信機デバイスに知られている可能性があるため、受信機デバイスは、コードワード復調の間エイリアシングを防ぐことが可能であり得る。
[0056] 1つ以上のコードワード制約512はまた、位相シャッフリング制約(phase shuffling constraint)と代替的に称される、空間ベースの機能制約(spatial basis function constraint)を含み得る。例示するために、コードワードが空間シンボルにマッピングされるとき、シンボルは、ランダムにシフトされ得る。この追加されたランダム性(This added randomness)は、対象境界上で生じるコードワードを復調するのをより簡単にすることができ、それによって、対象境界近くの深度マップ精度を改善する。
[0057] 別のインプリメンテーションでは、1つ以上のコードワード制約512は、境界制約(boundary constraint)を含み得る。例えば、コードブックプリミティブの境界領域が認識可能であるコードワードを含むとき、図7の光学的パターン700のような、コードブックプリミティブがより大きい光学的パターンを形成するためにテッセレートされるときでさえ、境界制約は、満たされ得る。
[0058] オペレーションの間、デバイス500は、1つ以上のコードワード制約512に基づいてエルミート対称コードブックプリミティブを生成し得る。図5では、(1つまたは複数の)プロセッサ520が、ビット列初期化モジュール(bit sequence initialization module)521、(1つまたは複数の)コードワード制約のチェッキングモジュール(codeword constraint(s) checking module)522、ビット列パンクチャリングモジュール523、対称性検証モジュール(symmetry verification module)524、一意性検証モジュール525、およびコードブックプリミティブ生成モジュール526を含むとして例示される。モジュール521−526の各々は、(1つまたは複数の)プロセッサ520内のハードウェア(例えば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、制御器、論理ゲート、等)、(1つまたは複数の)プロセッサ520によって実行されるソフトウェア(例えば、命令511)、またはそれらの組み合わせに対応し得る。モジュール521−526のうちの1つ以上は、本明細書にさらに説明されるように、任意の順序でおよび/または反復して実行され得る。
[0059] ビット列初期化モジュール521は、コードブックプリミティブが生成され得るビット列を初期化するように構成され得る。例えば、ビット列は、ランダムにシードされたDe Bruijn列(randomly seeded De Bruijn sequence)に基づいて初期化され得る。代替として、ビット列は、別のメカニズムに基づいて生成され得る。特定のインプリメンテーションでは、ビット列初期化モジュール521は、ビット列が1つ以上のコードワード制約512のうちの少なくともいくつかを満たすようなビット列を初期化し得る。
[0060] コードワード制約のチェッキングモジュール522は、1つ以上のコードワード制約512のうちの少なくとも1つを満たさないビット列(例えば、ビット列初期化モジュール521によって初期化されるビット列)の1つ以上のコードワードを識別するように構成され得る。ビット列パンクチャリングモジュール523は、1つ以上のコードワード制約512のうちの少なくとも1つを満たさないとして制約のチェッキングモジュール522によって識別された1つ以上のコードワードを除去する(例えば、「パンクチャする」)ように構成され得る。例として、図10は、「最小デューティサイクル>=50%」制約が満たされるか否かをチェックすることを例示する。「最小デューティサイクル>=50%」制約は、検査されるK番目の制約である(ここで、Kが1以上の整数である)。1002において、第1の列「12314241321」と関連付けられる第1のパターンの第1のコードワードの検査が、示されている。コードワードは、最小デューティサイクル制約チェックに対して「PASS」の結果を生成する、16ビットのうちの8ビット(すなわち、ビットのうちの50%以上)がアサートされる4x4グリッドである。1004において、第2の列「12514241521」と関連付けられる第2のパターンの第2のコードワードの検査が、示されている。コードワードは、最小デューティサイクル制約チェックに対して「FAIL」の結果を生成する、16ビットのうちの6ビット(すなわち、ビットのうちの50%より小さい)がアサートされる4x4グリッドである。
[0061] 対称性検証モジュール524は、ビット列(例えば、ビット列パンクチャリングモジュール523によって生成されるパンクチャされたビット列)が対称であるか否かを決定するように構成され得る。1次元のビット列が対称であるとき、ビット列から生成される2次元のコードブックプリミティブは、エルミート対称を有し得る。例えば、対称性検証モジュール524は、ミラーされたビット列を生成するためにビット列を「ミラーする(mirror)」ことができ、ビット列およびミラーされたビット列が同一であるとき、ビット列が対称であることを決定し得る。
[0062] 一意性検証モジュール525は、ビット列(例えば、対称性検証モジュール524によって対称であることを決定されたビット列)が一意性の基準を満たすか否かを決定するように構成され得る。例えば、一意性検証モジュール525は、ビット列に含まれるコードワードの各々がビット列に含まれる各他のコードワードとは異なるか否か、ビット列が全体として一意的であるか否か、またはそれらの組み合わせを決定し得る。特定のインプリメンテーションでは、一意性検証モジュール525はまた、位相シャッフリングオペレーションを行い得る。しかしながら、位相シャッフリングオペレーションが、1つ以上のコードワード制約512のうちの1つを満たさない(1つまたは複数の)コードワードを導入する、または再導入し得るため、位相シャッフリングオペレーションの後に、コードワード制約のチェッキングモジュール522においてビット列を再チェックすることが続き得る。
[0063] コードブックプリミティブ生成モジュール526は、特定のビット列に基づいてコードブックプリミティブ(例えば、図6のコードブックプリミティブ602、または図7のコードブックプリミティブ702)を生成し得る。例えば、モジュール521−525のうちの1つ以上は、特定のビット列が対称であると識別され、1つ以上のコードワード制約512の各々を満たし、かつ一意性の基準を満たすまで反復して実行され得る。特定のインプリメンテーションでは、コードブックプリミティブ生成モジュール526は、(例えば、ビット列の中のコードワードの各々を特定のシンボルにマッピングするための)シンボルマッピングおよび/または(例えば、シンボルの各々を点、線、グリッド、等のような、特定の2Dパターンにマッピングするための)空間変調を行うことによって特定のビット列からコードブックプリミティブを生成し得る。
[0064] 図5のデバイス500はしたがって、構造化光深度検知システムのDOEに光を通すことによって作られる光学的パターンのような、光学的パターンを形成するためにテッセレートされることができるエルミート対称コードブックプリミティブを自動的に生成するように動作可能であり得る。光学的パターンは、ゴースト像を持たないことができ、より小さい、より低い強度のゼロ次ビーム(lower-intensity zero-order beam)を有し得る。さらに、コードブックプリミティブが1つ以上の様々なコードワード制約にしたがうように生成されるため、コードブックプリミティブを含む光学的パターンは、構造化光深度検知システムにおいて簡略化された信号処理および改善されたパフォーマンスを可能にし得る。
[0065] 1つ以上のコードワード制約を満たすエルミート対称コードブックプリミティブを生成するための図5のデバイス500の使用はまた、DOEの安価な製造を可能にし得る。例えば、図11は、図1のDOE190のような、DOEを製造する方法の例示的な実施形態の図である。本明細書に説明されているように、DOE190は、図5のデバイス500によって生成されたテッセレートされたコードブックプリミティブを含む光学的パターンのような、エルミート対称性を有する光学的パターンを生成するように製造される。
[0066] DOE190は、単一のマスクフォトリソグラフィ工程1100によって製造され得る。比較の目的のために、複数のマスクフォトリソグラフィ工程1150もまた、示されている。単一のマスクフォトリソグラフィ工程1100は、フォトレジスト堆積段階(photoresist deposition stage)1104を含むことができ、その間、感光材料は、DOEに対応するベース層上に堆積され得る。複数のマスクフォトリソグラフィ工程の場合、DOEは、ガラスで形成され得る。対照的に、光学的パターンが単一のエッチング段階を含む2進パターンであるため、単一のマスクフォトリソグラフィ工程1100の中のDOEは、ガラス、あるいはガラスより安価であるポリマーまたは他の光回折材料(other light diffracting material)のような、ガラス以外の材料で形成され得る。
[0067] 単一のマスクフォトリソグラフィ工程1100はまた、整列および露光段階(alignment and exposure stage)1106を含み得る。整列および露光段階1106の間、マスク1102は、フォトレジスト材料と整列され(be aligned)、フォトレジスト材料上に置かれ(例えば、堆積され)得る。マスクおよびフォトレジスト材料は次に、光(例えば、紫外線光)にさらされ得る。マスク1102は、DOEによって作られるように光学的パターン(例えば、図5のデバイス500によって生成されるエルミート対称コードブックプリミティブを含み、1つ以上のコードワード制約512を満たす光学的パターン)に対応し得る、または光学的パターンに基づいて生成され得る。
[0068] 単一のマスクフォトリソグラフィ工程1100は、現像段階(development stage)1108をさらに含み得る。現像段階1108の間、示されているように、フォトレジスト材料のマスクされていない部分が除去され得る。単一のマスクフォトリソグラフィ工程1100は、エッチング段階1110をさらに含み得る。エッチング段階1110の間、ベースのさらされた部分は、(例えば、電子ビーム(eビーム)エッチングによって)除去され得る。(例えば、位相マッピングによって決定される)異なる厚みを有するようにDOEの異なる部分をエッチングすることによって、DOEの中の屈折率(index of refraction)は、光がDOEに通されるとき光学的パターンを作るために変化され得る。
[0069] 単一のマスクフォトリソグラフィ工程1100と対照的に、複数のマスクフォトリソグラフィ工程1150は、各段階に対して異なるマスク1102を使用して、段階1104−1110を複数回反復し得る。例えば、図8の4位相パターン820を生成することができるDOEを製造するために、段階1104−1110は、各反復のために使用される異なるマスクを用いて、3または4回行われ得る。各追加のマスクは、製造の複雑性(manufacturing complexity)および費用を追加し得る。例えば、複数のマスクが使用されるとき、各マスクは、高精度に(例えば、数ナノメートル(nm)のオーダーで)整列させられ、それは、製造費用を増加させ、DOEを製造するために使用されることができる材料のタイプを制限し得る。
[0070] よって、図1のDOE190のような、単一のマスクフォトリソグラフィ工程1100によって形成されるDOEは、複数のマスクフォトリソグラフィ工程1150によって形成されるDOEより製造することが安価であり得る。
[0071] さらに、DOE190が2進法の光学的パターンに対応する比較的単純な単一のマスクDOEであり得るため、DOE190のパフォーマンスは、コンピュータによって正確にシミュレートされ得る。よって、DOE190は、製造される前にシミュレートされ、検査され、および/または検証され得る。コンピュータベースの検査および検証は、より複雑なDOEのために要求され得るような、各検査反復(each testing iteration)の後、新たなDOEを製造しなければならないことより早く、より安価であり得る。DOE検査が完了したとき、コードブックプリミティブに対応するデータ、コードブックプリミティブを含む光学的パターン、および/またはマスク1102は、制作システム(fabrication system)に提供されることができ、それは、単一のマスクフォトリソグラフィ工程1100を使用してポリマーDOEsを急速に「排除(stamp out)」し得る。
[0072] 例示するために、いくつかの実施形態では、図5のデバイス500のような、コンピュータシステムは、新たなDOEを検査および/または検証するように構成され得る。コンピュータシステムは、プロセッサ、およびプロセッサに結合されたメモリを含み得る。例えば、プロセッサおよびメモリはそれぞれ、図5の1つ以上のプロセッサ520およびメモリ510を含み得る、またはそれらに対応し得る。メモリは、プロセッサによって実行されるとき、プロセッサに、1つ以上のオペレーションを行わせる実行可能な命令を含み得る。
[0073] コンピュータシステムが図5のデバイス500を含む、またはデバイス500に対応するとき、命令は、プロセッサに、エルミート対称コードブックプリミティブを定義するデータファイルを生成させ、コンピューティングデバイスと関連付けられる特定のメモリにおいてデータファイルを記憶させ得る。特定のメモリは、命令を記憶する同じメモリ、または異なるメモリであり得る。他のインプリメンテーションでは、コンピュータシステムは、図5のデバイス500と異なることができ、命令は、プロセッサに、エルミート対称コードブックプリミティブを定義するデータファイルにアクセスさせ、エルミート対称コードブックプリミティブを定義するデータファイルを使用してシミュレーションを行わせ得る。例えば、コンピュータシステムは、図5のデバイス500と関連付けられるメモリからデータファイルにアクセスし得る。さらに、コンピュータシステムがデバイス500に対応する、またはデバイス500と異なるか否かに関わらず、命令はさらに、プロセッサに、シミュレーションの結果に基づいてエルミート対称コードブックプリミティブを有効にさせ(cause the processor validate)得る。例えば、プロセッサは、エルミート対称コードブックプリミティブがシミュレーションを通ったか否かを示す、ユーザインタフェースを介するメッセージのような、インジケーションの提示を開始し得る。
[0074] さらに、DOE190が(例えば、より小さいゼロ次ビームのために)電力効率が良く、製造するのに安価であり得るため、DOE190は、ワイヤレス電話またはタブレットコンピュータのような、モバイルデバイスへの組み込みによく適し得る。DOEsを速く、安価に製造する能力はまた、さらなる便益を提供し得る。例えば、構造化光深度検知システムは、環境および/またはアプリケーション条件に基づいて複数の利用可能なDOEsのうちの1つを動的に選択するように構成され得る。異なるDOEsは、異なる回数選択され、使用され得る。例えば、高解像度パターンを作るDOEは、近距離の深度検知(close-range depth sensing)のために使用されることができ、低解像度パターンを作るDOEは、遠く離れた対象の深度検知のために使用され得る。例示するために、図4を参照して説明されたように、送信機101は、複数のDOEsと、複数のDOEsのうちの特定のDOEを選択するように構成される回路とを含み得る。
[0075] 様々な実施形態が目に見える光学的パターンを生成するように本明細書に説明され得るが、このことは、限定することと見なされるべきでないことに留意されるべきである。代替の実施形態では、人間の目には見えない光学的パターンが構造化光アプリケーションのために使用され得る。例えば、赤外線光学的パターンが使用され得る。
[0076] 図12は、図5のデバイス500におけるオペレーションの方法1200の特定の実施形態のフローチャートである。方法1200は、1202において、少なくとも1つのコードワード制約を受信することを含む。例えば、図5では、デバイス500は、1つ以上のコードワード制約512を受信し得る。方法1200はまた、1204において、ビット列を初期化することを含む。ビット列は、ランダムにシードされたDe Bruijn列に基づいて初期化され得る。例えば、図5では、ビット列初期化モジュール521は、ビット列を初期化し得る。
[0077] 方法1200は、1206において、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することをさらに含む。例えば、図5では、コードワード制約のチェッキングモジュール522は、1つ以上のコードワード制約512のうちの少なくとも1つを満たさない1つ以上のコードワードを識別し得る。方法1200は、1208において、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去することを含む。例えば、図5では、ビット列パンクチャリングモジュール523は、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去し得る。
[0078] 方法1200はまた、1210において、パンクチャされたビット列が対称であるか否かを決定することを含む。例えば、図5では、対称性検証モジュール524は、パンクチャされたビット列が対称であるか否かを検証し得る。パンクチャされたビット列が対称でないとき、方法1200は、1204に戻ることができ、新たなビット列は、初期化され得る。パンクチャされたビット列が対称であるとき、方法1210は、1212において、パンクチャされたビット列が一意性の基準を満たすか否かを決定することを含む。例えば、図5では、一意性検証モジュール525は、パンクチャされたビット列および/またはその中に含まれるコードワードの一意性を検証し得る。一意性検証モジュール525はまた、図5を参照して説明されたように、位相シャッフリングオペレーションを行い得る。
[0079] パンクチャされたビット列が一意性の基準を満たさないとき、方法1200は、1204に戻ることができ、新たなビット列は、初期化され得る。パンクチャされたビット列が一意性の基準を満たすとき、方法1200は、1214において、パンクチャされたビット列に基づいてコードブックプリミティブを生成することを含む。例えば、図5では、コードブックプリミティブ生成モジュール526は、シンボルマッピングおよび/または空間変調によってコードブックプリミティブを生成し得る。コードブックプリミティブのテッセレーションは、構造化光深度検知システムのDOEによって生成されるように光学的パターンを形成する。例示的なインプリメンテーションでは、DOEは、図1のDOE190であり、図11の単一のマスクフォトリソグラフィ工程1100にしたがって製造される。
[0080] 代替のインプリメンテーションでは、方法1200のステップのうちの1つ以上は、異なる順番で行われ得る、および/または複数回行われ得ることに留意されるべきである。例示的な限定されない例(illustrative non-limiting example)として、コードワード制約チェックは、ビット列初期化の後、および一意性を検証した後のように、複数回行われ得る。コードブックプリミティブを生成する代替の方法もまた、使用され得る。例えば、図13は、全般的に1300と指定される、エルミート対称性を有し、1つ以上のコードワード制約を満たすコード化パターン(例えば、コードブックプリミティブ)を生成する方法の代替の実施形態を例示する。
[0081] 図13に図示されているように、列生成器(sequence generator)1310は、初期化シード(initialization seed)1301および1つ以上のコードパラメータ1302を受信し得る。いくつかのインプリメンテーションでは、1つ以上のコードパラメータは、ビット列生成の間使用されることができるコードワード制約512のサブセットに対応し得る。例えば、コードワードサイズは、どのくらいの長さのビット列を生成するのかを決定するために使用されるパラメータであり得る。生成されたビット列は、1320において、スペース変調され(space modulated)、1330において、位相シフトされ得る。スペース変調され、位相シフトされたビット列は、1340において、1つ以上のコードワード制約1303が満たされるか否かを検証するために、調べられ得る。例えば、1つ以上のコードワード制約1303は、1つ以上のコードパラメータ1302に含まれない1つ以上のコードワード制約512に対応し得る。1350において、ビット列(またはその中から生成される2Dパターン)の対称性は、検証され得る。コードワード制約1303および対称性要件(symmetry requirement)が満たされる場合、出力パターン1304は、生成され得る。コードワード制約1303のうちの少なくとも1つ、または対称性要件が満たされない場合、1360において、新たなシード値は、生成されることができ、新たなビット列を生成するために使用され得る。
[0082] 図10−13の方法に限定されないがそれらを含む、本明細書に説明された様々な方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、グラフィカル処理ユニット(GPU)、中央処理装置(CPU)のような処理ユニット、デジタルシグナルプロセッサ(DSP)、制御器、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの任意の組み合わせによってインプリメントされ得る。例として、そのような方法は、コードワード制約を満たすエルミート対称コードブックプリミティブを自動的に生成するための命令を実行する1つ以上のプロセッサによって行われることができ、エルミート対称コードブックプリミティブを含む光学的パターンを作るために光を回折するように構成されるDOEを製造すること、等ができる。
[0083] 図14を参照すると、ワイヤレス通信デバイス1400の特定の例示的な実施形態のブロック図は、描写される。デバイス1400は、図1の構造化光システム、図2の構造化光システム、図3の構造化光システム、図5のデバイス500、またはそれらの任意の組み合わせのうちの1つ以上のコンポーネントを含み得る。
[0084] デバイス1400は、デジタルシグナルプロセッサ(DSP)、グラフィカルプロセッサユニット(GPU)、および/または中央処理装置(CPU)のような1つ以上のプロセッサ1410(例えば、1つ以上の処理コア)を含む。例えば、1つ以上のプロセッサ1410は、図5の1つ以上のプロセッサ520を含み得る、またはそれらに対応し得る。1つ以上のプロセッサ1410は、メモリ1432に結合され得る。例えば、メモリ1432は、図5のメモリ510を含み得る、またはそれに対応し得る。メモリ1432は、コンピュータ可読命令またはプロセッサ可読命令のような、命令1468(例えば、実行可能な命令)を含む。命令1468は、1つ以上のプロセッサ1410の各々によるような、コンピュータによって実行可能である1つ以上の命令を含み得る。メモリ1432が物理デバイスを含み、信号でないことに留意されるべきである。
[0085] 例えば、1つ以上の命令は、1つ以上のプロセッサ1410に、図12の方法、図13の方法、またはそれらの組み合わせのすべて、またはそれらの一部を行わせるように1つ以上のプロセッサ1410によって実行可能であり得る。例えば、メモリ1432は、(1つまたは複数の)プロセッサ1410によって実行されるとき、プロセッサに、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することを含むオペレーションを行わせる命令を含み得る。オペレーションは、パンクチャされたビット列を生成するためにビット列から1つ以上のコードワードを除去すること、およびパンクチャされたビット列が対称であるか否かを決定することをさらに含み得る。パンクチャされたビット列が対称であると決定することに応答して、オペレーションはまた、パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成することを含み得る。エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能であり得る。
[0086] メモリ1432はまた、コードワード制約1472(例えば、図5の1つ以上のコードワード制約512、図13の1つ以上のコードパラメータ1302、および/または1つ以上のコードワード制約1303)を記憶し得る。図14では、(1つまたは複数の)プロセッサ1410は、パターン生成モジュール1470を含む。パターン生成モジュール1470は、コードワード制約1472を満たすエルミート対称コードブックプリミティブを自動的に生成するように構成され得る。例えば、パターン生成モジュール1470は、実例となる、限定されない例として、ビット列初期化モジュール521、(1つまたは複数の)コードワード制約のチェッキングモジュール522、ビット列パンクチャリングモジュール523、対称性検証モジュール524、一意性検証モジュール525、コードブックプリミティブ生成モジュール526、またはそれらの組み合わせを含み得る、またはそれらに対応し得る。
[0087] 図14はまた、1つ以上のプロセッサ1410に、およびディスプレイ1428に結合されるディスプレイ制御器1426を示す。コーダ/デコーダ(CODEC)1434もまた、1つ以上のプロセッサ1410に結合されることができる。スピーカー1436およびマイクロフォン1438は、CODEC1434に結合されることができる。1つ以上のプロセッサ1410はまた、構造化光送信機1480(例えば、投影機)および構造化光受信機1482(例えば、カメラ)に結合され得る。例えば、構造化光送信機1480は、図1の送信機1010、または図2の送信機202を含み得る、またはそれらに対応し得る。受信機1482は、図1の受信機108を含み得る、またはそれに対応し得る。構造化光送信機1480は、図1のDOD190を含み得る。よって、特定のインプリメンテーションでは、構造化光深度検知システムの送信機側と受信機側との両方のオペレーションは、単一のデバイスに組み込まれ得る。
[0088] 図14はまた、ワイヤレス制御器のような、ワイヤレスインタフェース1440が、1つ以上のプロセッサ1410に、およびアンテナ1442に結合されることができることを示す。特定のインプリメンテーションでは、1つ以上のプロセッサ1410、ディスプレイ制御器1426、メモリ1432、CODEC1434、およびワイヤレスインタフェース1440は、システムインパッケージまたはシステムオンチップデバイス1422に含まれる。特定のインプリメンテーションでは、入力デバイス1430および電力供給1444は、システムオンチップデバイス1422に結合される。さらに、いくつかのインプリメンテーションでは、ディスプレイ1428、入力デバイス1430、スピーカー1436、マイクロフォン1438、アンテナ1442、構造化光送信機1480、構造化光受信機1482、および/または電力供給1444は、システムオンチップデバイス1422の外部にあることができる。しかしながら、ディスプレイ1428、入力デバイス1430、スピーカー1436、マイクロフォン1438、アンテナ1442、構造化光送信機1480、構造化光受信機1482、および/または電力供給1444の各々は、インターフェース、制御器、送信機(例えば、送信機回路)、受信機(例えば、受信機回路)、等のような、システムオンチップデバイス1422のコンポーネントに結合されることができる。
[0089] 開示された実施形態のうちの1つ以上は、通信デバイス、固定ロケーションデータユニット、モバイルロケーションデータユニット、モバイル電話、セルラ電話、衛星電話、コンピュータ、タブレット、ポータブルコンピュータ、またはデスクトップコンピュータを含み得る、デバイス1400のような、システムまたは装置にインプリメントされ得る。代替として、またはさらに、デバイス1400は、セットトップボックス、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末(PDA)、モニタ、コンピュータモニタ、テレビジョン、チューナ、無線、衛星無線、音楽プレイヤ、デジタル音楽プレイヤ、ポータブル音楽プレイヤ、ビデオプレイヤ、デジタルビデオプレイヤ、デジタルビデオディスク(DVD)プレイヤ、ポータブルデジタルビデオプレイヤ、データまたはコンピュータ命令を記憶する、またはそれらを読み出す任意の他のデバイス、あるいはそれらの組み合わせを含み得る。別の例示的な、限定されない例として、システムまたは装置は、モバイル電話、ハンドヘルドパーソナル通信システム(PCS)ユニットのような遠隔ユニット、パーソナルデータアシスタント、全地球測位システム(GPS)使用可能デバイス、ナビゲーションデバイスのようなポータブルデータユニット、メーター読取機器のような固定ロケーションデータユニット、またはデータまたはコンピュータ命令を記憶する、またはそれらを読み出す任意の他のデバイス、またはそれらの任意の組み合わせを含み得る。
[0090] 本開示の実施形態は、メモリ、プロセッサ、およびオンチップ回路を含む集積回路を含む任意のデバイスに適切に用いられ得る。図1−14のうちの1つ以上が本開示の教示にしたがってシステム、装置、および/または方法を例示し得るが、本開示は、これらの例示されたシステム、装置、および/または方法に限定されない。本明細書に例示された、または説明された図1−14のうちのいずれかの1つ以上の機能またはコンポーネントは、図1−14の別の1つ以上の他の部分と結合され得る。したがって、本明細書に説明された実施形態は1つとして、限定すると解釈されるべきではなく、本開示の実施形態は、本開示の教示から逸脱することなく適切に組み合わせられ得る。
[0091] 説明された実施形態と併せて、光を放射するための手段を含む装置は、開示される。例えば、放射するための手段は、送信機101に含まれる、またはそれに結合される光源、送信機202に含まれる、またはそれに結合される光源、送信機デバイス302に含まれる、またはそれに結合される光源、レーザ430、赤外線光源、光を放射するように構成される1つ以上の他の構造、デバイス、または回路、あるいはそれらの任意の組み合わせを含み得る。
[0092] 装置はまた、光の焦点を合わせるための手段を含み得る。例えば、光の焦点を合わせるための手段は、送信機101に含まれる、またはそれに結合されるレンズ、送信機202に含まれる、またはそれに結合されるレンズ、送信機デバイス302に含まれる、またはそれに結合されるレンズ、レンズ432、コリメーションレンズ、光の焦点を合わせるように構成される1つ以上の他の構造、デバイス、または回路、あるいはそれらの任意の組み合わせを含み得る。
[0093] 装置はさらに、光学的パターンを作るために光を回折するための手段を含み得る。光学的パターンは、エルミート対称性を有し、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを含む。例えば、回折するための手段は、送信機101に含まれる、またはそれに結合される光学素子、送信機202に含まれる、またはそれに結合される光学素子、送信機デバイス302に含まれる、またはそれに結合される光学素子、DOE190、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを含むエルミート対称光学的パターンを作るための光を回折するように構成される1つ以上の他の構造、デバイス、または回路、あるいはそれらの任意の組み合わせを含み得る。
[0094] 当業者は、本明細書に開示された実施形態に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが、電子ハードウェアとして、プロセッサによって実行されるコンピュータソフトウェアとして、または両方の組み合わせとしてインプリメントされ得ることをさらに理解するであろう。様々な例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップは、一般的にそれらの機能性の観点から上記に説明されてきた。そのような機能性が、ハードウェアとして、またはプロセッサ実行可能な命令としてインプリメントされるか否かは、特定のアプリケーション、および全体のシステムに課せられる設計の制約に依存する。当業者は、各特定のアプリケーションに関して様々な方法で、説明された機能性をインプリメントし得るが、そのようなインプリメンテーションの決定は、本開示の範囲からの逸脱をもたらすと解釈されるべきではない。
[0095] 本明細書に開示された実施形態に関連して説明された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら2つの組み合わせにおいて、具現化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読取専用メモリ(ROM)、プログラマブル読取専用メモリ(PROM)、消去可能なプログラマブル読取専用メモリ(EPROM)、電気的に消去可能なプログラマブル読取専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取専用メモリ(CD−ROM)、または当技術分野において既知の非一時的な記憶媒体の任意の他の形式の中に存在し得る。例となる記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようなプロセッサに結合される。代替では、記憶媒体は、プロセッサと一体化され得る。プロセッサおよび記憶媒体は、特定用途向け集積回路(ASIC)の中に存在し得る。ASICは、コンピューティングデバイスまたはユーザ端末の中に存在し得る。代替では、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末の中の個別のコンポーネントとして存在し得る。
[0096] 開示された実施形態のこれまでの説明は、当業者が開示された実施形態を製造または使用することを可能にするために提供される。これらの実施形態への様々な修正は、当業者に容易に明らかとなり、本明細書に定義された原理は、本開示の範囲から逸脱することなく他の実施形態に応用され得る。よって、本開示は、本明細書に示された実施形態に限定されるように意図されず、下記の特許請求の範囲によって定義される原理および新規な特徴と一致する、考えられる最も広い範囲を与えられるべきである。
[0096] 開示された実施形態のこれまでの説明は、当業者が開示された実施形態を製造または使用することを可能にするために提供される。これらの実施形態への様々な修正は、当業者に容易に明らかとなり、本明細書に定義された原理は、本開示の範囲から逸脱することなく他の実施形態に応用され得る。よって、本開示は、本明細書に示された実施形態に限定されるように意図されず、下記の特許請求の範囲によって定義される原理および新規な特徴と一致する、考えられる最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
方法であって、
プロセッサを備えるコンピューティングデバイスにおいて、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することと、
パンクチャされたビット列を生成するために前記ビット列から前記1つ以上のコードワードを除去することと、
前記パンクチャされたビット列が対称であるか否かを決定することと、
前記パンクチャされたビット列が対称であることを決定することに応答して、前記パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成することと、ここにおいて、前記エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、
を備える、方法。
[C2]
前記コードブックプリミティブは、2次元(2D)コード化パターンを備える、C1に記載の方法。
[C3]
前記2Dコード化パターンの各点(x、y)は、前記2Dコード化パターンの点(−x、−y)に、前記2Dコード化パターンの原点について反射される、C2に記載の方法。
[C4]
前記2Dコード化パターンは、複数のコードワードを備える、C2に記載の方法。
[C5]
前記少なくとも1つのコードワード制約は、0の値を有する前記複数のコードワードの各々の中のビットの数に対する、1の値を有する前記複数のコードワードの各々の中のビットの数の平均比に対応する平均デューティサイクル制約を備える、C4に記載の方法。
[C6]
前記少なくとも1つのコードワード制約は、0の値を有する前記複数のコードワードの各々の中のビットの数に対する、1の値を有する前記複数のコードワードの各々の中のビットの数の最小比に対応する最小デューティサイクル制約を備える、C4に記載の方法。
[C7]
前記少なくとも1つのコードワード制約は、サイズ制約を備える、C1に記載の方法。
[C8]
前記少なくとも1つのコードワード制約は、コードブックカーディナリティ制約、空間表現制約、輪郭解像度制約、エイリアシング距離制約、位相シャッフリング制約、境界制約、またはそれらの任意の組み合わせを備える、C1に記載の方法。
[C9]
対称であり、かつ前記少なくとも1つのコードワード制約および一意性の基準を満たす特定のビット列が識別されるまで、反復して、ビット列を初期化することと、前記ビット列をパンクチャすることと、対称性を検証することと、をさらに備える、C1に記載の方法。
[C10]
前記特定のビット列に基づいて前記エルミート対称コードブックプリミティブを生成することをさらに備える、C9に記載の方法。
[C11]
前記エルミート対称コードブックプリミティブのテッセレーションは、前記構造化光深度検知システムの前記DOEによって生成されるように光学的パターンを形成する、C1に記載の方法。
[C12]
前記光学的パターンは、エルミート対称である、C11に記載の方法。
[C13]
前記DOEは、単一のマスクフォトリソグラフィ工程を使用して製造される、C1に記載の方法。
[C14]
前記エルミート対称コードブックプリミティブを定義するデータファイルを生成することと、
前記データファイルを前記コンピューティングデバイスと関連付けられるメモリに記憶することと、
をさらに備える、C1に記載の方法。
[C15]
前記エルミート対称コードブックプリミティブを定義する前記データファイルを使用してシミュレーションを行うことと、
前記シミュレーションの結果に基づいて前記エルミート対称コードブックプリミティブを有効にすることと、
をさらに備える、C14に記載の方法。
[C16]
命令を備える非一時的なコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されるとき、前記コンピュータに、
少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することと、
パンクチャされたビット列を生成するために前記ビット列から前記1つ以上のコードワードを除去することと、
前記パンクチャされたビット列が対称であるか否かを決定することと、
前記パンクチャされたビット列が対称であることを決定することに応答して、前記パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成することと、ここにおいて、前記エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、
を備えるオペレーションを行わせる、非一時的なコンピュータ可読媒体。
[C17]
前記少なくとも1つのコードワード制約は、サイズ制約、平均デューティサイクル制約、最小デューティサイクル制約、コードブックカーディナリティ制約、空間表現制約、輪郭解像度制約、エイリアシング距離制約、位相シャッフリング制約、境界制約、またはそれらの任意の組み合わせを備える、C16に記載の非一時的なコンピュータ可読媒体。
[C18]
前記少なくとも1つのコードワード制約は、1つ以上のデューティサイクル制約を備え、ここにおいて、前記1つ以上のデューティサイクル制約は、平均デューティサイクル制約、最小デューティサイクル制約、最大デューティサイクル制約、またはそれらの組み合わせを備える、C16に記載の非一時的なコンピュータ可読媒体。
[C19]
前記少なくとも1つのコードワード制約は、コードブックカーディナリティ制約を備え、ここにおいて、前記コードブックカーディナリティ制約は、コードブックプリミティブの中の一意的なコードワードの数に対応する、C16に記載の非一時的なコンピュータ可読媒体。
[C20]
前記少なくとも1つのコードワード制約は、空間表現制約を備え、ここにおいて、前記空間表現制約は、前記エルミート対称コードブックプリミティブが1つ以上の点、1つ以上の線、1つ以上のグリッド、またはそれらの組み合わせを使用して表されるべきであることを示す、C16に記載の非一時的なコンピュータ可読媒体。
[C21]
前記少なくとも1つのコードワード制約は、輪郭解像度制約を備え、ここにおいて、前記輪郭解像度制約は、コードワードと関連付けられるシフト量を示し、前記コードワードが前記シフト量によってシフトされるとき、前記コードワードは、別のコードワードを表す、C16に記載の非一時的なコンピュータ可読媒体。
[C22]
前記少なくとも1つのコードワード制約は、エイリアシング距離制約を備え、ここにおいて、前記エイリアシング距離制約は、2つのコードワード間の距離と関連付けられ、その2つのコードワードは、同じである、C16に記載の非一時的なコンピュータ可読媒体。
[C23]
前記少なくとも1つのコードワード制約は、位相シャッフリング制約を備え、ここにおいて、前記位相シャッフリング制約は、1つ以上のコードワードを空間シンボルにマッピングすることと関連付けられる、C16に記載の非一時的なコンピュータ可読媒体。
[C24]
前記少なくとも1つのコードワード制約は、境界制約を備え、ここにおいて、前記境界制約は、コードブックプリミティブの境界領域において認識可能である1つ以上のコードワードと関連付けられる、C16に記載の非一時的なコンピュータ可読媒体。
[C25]
装置であって、
光学的パターンを生成するように構成される回折光学素子(DOE)、
ここにおいて、前記光学的パターンはエルミート対称であり、
前記光学的パターンは、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを備える、
を備える、装置。
[C26]
前記DOEは、単一のマスクフォトリソグラフィ工程を使用して前記光学的パターンに基づいて製造される、C25に記載の装置。
[C27]
レーザおよびレンズをさらに備え、ここにおいて、前記レーザは、シーン上に前記光学的パターンを投影するために前記レンズおよび前記DOEを通して光を放射するように構成される、C25に記載の装置。
[C28]
第2の光学的パターンを生成するように構成される第2のDOEと、
1つ以上のパラメータに基づいて前記DOEまたは前記第2のDOEを選択するように構成される制御器と、
をさらに備える、C25に記載の装置。
[C29]
装置であって、
光を放射するための手段と、
前記光の焦点を合わせるための手段と、
光学的パターンを作るために前記光を回折するための手段と、
ここにおいて、前記光学的パターンは、エルミート対称性を有し、
前記光学的パターンは、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを備える、
を備える、装置。
[C30]
放射するための前記手段、焦点を合わせるための前記手段、および回折するための前記手段は、構造化光深度検知システムの送信機デバイスに含まれる、C29に記載の装置。

Claims (30)

  1. 方法であって、
    プロセッサを備えるコンピューティングデバイスにおいて、少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することと、
    パンクチャされたビット列を生成するために前記ビット列から前記1つ以上のコードワードを除去することと、
    前記パンクチャされたビット列が対称であるか否かを決定することと、
    前記パンクチャされたビット列が対称であることを決定することに応答して、前記パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成することと、ここにおいて、前記エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、
    を備える、方法。
  2. 前記コードブックプリミティブは、2次元(2D)コード化パターンを備える、請求項1に記載の方法。
  3. 前記2Dコード化パターンの各点(x、y)は、前記2Dコード化パターンの点(−x、−y)に、前記2Dコード化パターンの原点について反射される、請求項2に記載の方法。
  4. 前記2Dコード化パターンは、複数のコードワードを備える、請求項2に記載の方法。
  5. 前記少なくとも1つのコードワード制約は、0の値を有する前記複数のコードワードの各々の中のビットの数に対する、1の値を有する前記複数のコードワードの各々の中のビットの数の平均比に対応する平均デューティサイクル制約を備える、請求項4に記載の方法。
  6. 前記少なくとも1つのコードワード制約は、0の値を有する前記複数のコードワードの各々の中のビットの数に対する、1の値を有する前記複数のコードワードの各々の中のビットの数の最小比に対応する最小デューティサイクル制約を備える、請求項4に記載の方法。
  7. 前記少なくとも1つのコードワード制約は、サイズ制約を備える、請求項1に記載の方法。
  8. 前記少なくとも1つのコードワード制約は、コードブックカーディナリティ制約、空間表現制約、輪郭解像度制約、エイリアシング距離制約、位相シャッフリング制約、境界制約、またはそれらの任意の組み合わせを備える、請求項1に記載の方法。
  9. 対称であり、かつ前記少なくとも1つのコードワード制約および一意性の基準を満たす特定のビット列が識別されるまで、反復して、ビット列を初期化することと、前記ビット列をパンクチャすることと、対称性を検証することと、をさらに備える、請求項1に記載の方法。
  10. 前記特定のビット列に基づいて前記エルミート対称コードブックプリミティブを生成することをさらに備える、請求項9に記載の方法。
  11. 前記エルミート対称コードブックプリミティブのテッセレーションは、前記構造化光深度検知システムの前記DOEによって生成されるように光学的パターンを形成する、請求項1に記載の方法。
  12. 前記光学的パターンは、エルミート対称である、請求項11に記載の方法。
  13. 前記DOEは、単一のマスクフォトリソグラフィ工程を使用して製造される、請求項1に記載の方法。
  14. 前記エルミート対称コードブックプリミティブを定義するデータファイルを生成することと、
    前記データファイルを前記コンピューティングデバイスと関連付けられるメモリに記憶することと、
    をさらに備える、請求項1に記載の方法。
  15. 前記エルミート対称コードブックプリミティブを定義する前記データファイルを使用してシミュレーションを行うことと、
    前記シミュレーションの結果に基づいて前記エルミート対称コードブックプリミティブを有効にすることと、
    をさらに備える、請求項14に記載の方法。
  16. 命令を備える非一時的なコンピュータ可読媒体であって、前記命令は、コンピュータによって実行されるとき、前記コンピュータに、
    少なくとも1つのコードワード制約を満たさないビット列の1つ以上のコードワードを識別することと、
    パンクチャされたビット列を生成するために前記ビット列から前記1つ以上のコードワードを除去することと、
    前記パンクチャされたビット列が対称であるか否かを決定することと、
    前記パンクチャされたビット列が対称であることを決定することに応答して、前記パンクチャされたビット列に少なくとも部分的に基づいてエルミート対称コードブックプリミティブを生成することと、ここにおいて、前記エルミート対称コードブックプリミティブは、構造化光深度検知システムの回折光学素子(DOE)を形成するために使用可能である、
    を備えるオペレーションを行わせる、非一時的なコンピュータ可読媒体。
  17. 前記少なくとも1つのコードワード制約は、サイズ制約、平均デューティサイクル制約、最小デューティサイクル制約、コードブックカーディナリティ制約、空間表現制約、輪郭解像度制約、エイリアシング距離制約、位相シャッフリング制約、境界制約、またはそれらの任意の組み合わせを備える、請求項16に記載の非一時的なコンピュータ可読媒体。
  18. 前記少なくとも1つのコードワード制約は、1つ以上のデューティサイクル制約を備え、ここにおいて、前記1つ以上のデューティサイクル制約は、平均デューティサイクル制約、最小デューティサイクル制約、最大デューティサイクル制約、またはそれらの組み合わせを備える、請求項16に記載の非一時的なコンピュータ可読媒体。
  19. 前記少なくとも1つのコードワード制約は、コードブックカーディナリティ制約を備え、ここにおいて、前記コードブックカーディナリティ制約は、コードブックプリミティブの中の一意的なコードワードの数に対応する、請求項16に記載の非一時的なコンピュータ可読媒体。
  20. 前記少なくとも1つのコードワード制約は、空間表現制約を備え、ここにおいて、前記空間表現制約は、前記エルミート対称コードブックプリミティブが1つ以上の点、1つ以上の線、1つ以上のグリッド、またはそれらの組み合わせを使用して表されるべきであることを示す、請求項16に記載の非一時的なコンピュータ可読媒体。
  21. 前記少なくとも1つのコードワード制約は、輪郭解像度制約を備え、ここにおいて、前記輪郭解像度制約は、コードワードと関連付けられるシフト量を示し、前記コードワードが前記シフト量によってシフトされるとき、前記コードワードは、別のコードワードを表す、請求項16に記載の非一時的なコンピュータ可読媒体。
  22. 前記少なくとも1つのコードワード制約は、エイリアシング距離制約を備え、ここにおいて、前記エイリアシング距離制約は、2つのコードワード間の距離と関連付けられ、その2つのコードワードは、同じである、請求項16に記載の非一時的なコンピュータ可読媒体。
  23. 前記少なくとも1つのコードワード制約は、位相シャッフリング制約を備え、ここにおいて、前記位相シャッフリング制約は、1つ以上のコードワードを空間シンボルにマッピングすることと関連付けられる、請求項16に記載の非一時的なコンピュータ可読媒体。
  24. 前記少なくとも1つのコードワード制約は、境界制約を備え、ここにおいて、前記境界制約は、コードブックプリミティブの境界領域において認識可能である1つ以上のコードワードと関連付けられる、請求項16に記載の非一時的なコンピュータ可読媒体。
  25. 装置であって、
    光学的パターンを生成するように構成される回折光学素子(DOE)、
    ここにおいて、前記光学的パターンはエルミート対称であり、
    前記光学的パターンは、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを備える、
    を備える、装置。
  26. 前記DOEは、単一のマスクフォトリソグラフィ工程を使用して前記光学的パターンに基づいて製造される、請求項25に記載の装置。
  27. レーザおよびレンズをさらに備え、ここにおいて、前記レーザは、シーン上に前記光学的パターンを投影するために前記レンズおよび前記DOEを通して光を放射するように構成される、請求項25に記載の装置。
  28. 第2の光学的パターンを生成するように構成される第2のDOEと、
    1つ以上のパラメータに基づいて前記DOEまたは前記第2のDOEを選択するように構成される制御器と、
    をさらに備える、請求項25に記載の装置。
  29. 装置であって、
    光を放射するための手段と、
    前記光の焦点を合わせるための手段と、
    光学的パターンを作るために前記光を回折するための手段と、
    ここにおいて、前記光学的パターンは、エルミート対称性を有し、
    前記光学的パターンは、少なくとも1つのコードワード制約を満たすように生成されるテッセレートされたコードブックプリミティブを備える、
    を備える、装置。
  30. 放射するための前記手段、焦点を合わせるための前記手段、および回折するための前記手段は、構造化光深度検知システムの送信機デバイスに含まれる、請求項29に記載の装置。
JP2016573520A 2014-06-20 2015-06-01 エルミート対称性を有するコード化光パターン Active JP6224276B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015349P 2014-06-20 2014-06-20
US62/015,349 2014-06-20
US14/491,521 2014-09-19
US14/491,521 US9558436B2 (en) 2014-06-20 2014-09-19 Coded light pattern having hermitian symmetry
PCT/US2015/033531 WO2015195309A1 (en) 2014-06-20 2015-06-01 Coded light pattern having hermitian symmetry

Publications (2)

Publication Number Publication Date
JP2017529579A true JP2017529579A (ja) 2017-10-05
JP6224276B2 JP6224276B2 (ja) 2017-11-01

Family

ID=54869962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573520A Active JP6224276B2 (ja) 2014-06-20 2015-06-01 エルミート対称性を有するコード化光パターン

Country Status (7)

Country Link
US (2) US9558436B2 (ja)
EP (1) EP3158504B1 (ja)
JP (1) JP6224276B2 (ja)
KR (1) KR101781775B1 (ja)
CN (2) CN106415604B (ja)
CA (1) CA2952420C (ja)
WO (1) WO2015195309A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558436B2 (en) 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US10185906B2 (en) 2016-04-26 2019-01-22 Hand Held Products, Inc. Indicia reading device and methods for decoding decodable indicia employing stereoscopic imaging
US20180007045A1 (en) * 2016-06-30 2018-01-04 Mehdi Arashmid Akhavain Mohammadi Secure coding and modulation for optical transport
JP6319395B2 (ja) * 2016-10-14 2018-05-09 オムロン株式会社 3次元測定装置および3次元測定方法
CN108181777A (zh) * 2018-02-27 2018-06-19 广东欧珀移动通信有限公司 激光投射模组、深度相机及电子装置
US11006094B2 (en) * 2018-08-02 2021-05-11 Himax Technologies Limited Depth sensing apparatus and operation method thereof
US11543696B2 (en) * 2019-07-18 2023-01-03 Himax Technologies Limited Optical surface mapping system
US11852439B2 (en) * 2021-11-24 2023-12-26 Wrap Technologies, Inc. Systems and methods for generating optical beam arrays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130315501A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Design of code in affine-invariant spatial mask

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215620A (ja) 2000-02-07 2001-08-10 Mitsubishi Electric Corp 赤外線プロジェクタ
US7900836B2 (en) * 2002-08-20 2011-03-08 Illumina, Inc. Optical reader system for substrates having an optically readable code
US7391524B1 (en) * 2004-09-13 2008-06-24 N&K Technology, Inc. System and method for efficient characterization of diffracting structures with incident plane parallel to grating lines
US8142023B2 (en) 2007-12-21 2012-03-27 Honda Motor Co., Ltd. Optimized projection pattern for long-range depth sensing
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
WO2012125706A2 (en) * 2011-03-15 2012-09-20 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
EP2728305B1 (de) * 2012-10-31 2016-06-29 VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH Verfahren und Lichtmuster zum Messen der Höhe oder des Höhenverlaufs eines Objekts
US9558436B2 (en) 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130315501A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Design of code in affine-invariant spatial mask

Also Published As

Publication number Publication date
US9536186B2 (en) 2017-01-03
JP6224276B2 (ja) 2017-11-01
CN106415604A (zh) 2017-02-15
CA2952420A1 (en) 2015-12-23
EP3158504A1 (en) 2017-04-26
WO2015195309A1 (en) 2015-12-23
CN106415604B (zh) 2018-06-01
US9558436B2 (en) 2017-01-31
US20150371434A1 (en) 2015-12-24
CA2952420C (en) 2022-07-19
BR112016029616A2 (pt) 2017-08-22
KR101781775B1 (ko) 2017-09-25
CN108764227A (zh) 2018-11-06
US20150371127A1 (en) 2015-12-24
KR20170020787A (ko) 2017-02-24
EP3158504B1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
JP6224276B2 (ja) エルミート対称性を有するコード化光パターン
JP6449341B2 (ja) コンテンツフィルタリングに基づく構造化光3次元(3d)奥行きマップ
JP6162225B2 (ja) 能動奥行き検知のためのアフィン不変空間マスクの送信
JP6419988B2 (ja) 構造化光における誤り訂正のためのシステムおよび方法
US9530215B2 (en) Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
JP6513887B2 (ja) 構造化光深度マップのアウトライアの検出および補正のための方法および装置
CN107209007A (zh) 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
CN107408306B (zh) 一种产生对象的深度图信息的方法、设备及可读介质
BR112018002739B1 (pt) Correção de erro de luz codificada eficiente em termos de memória
CN113671519B (zh) 一种飞行时间测距方法、装置、飞行时间相机及电子设备
BR112016029616B1 (pt) Padrão de luz codificada tendo simetria par
Bui et al. Ray-tracing codec for structured light 3D camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6224276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250