JP2019500606A - 構造化光システムにおける深度マップ生成 - Google Patents

Abstract

光送信機が光受信機に対して傾斜している構造化光システムにおける、深度マップ生成のための技法が開示される。光送信機は、構造化光がその周囲に広がる送信機光学軸を有し、光受信機は、構造化光の反射がその周囲で捕捉され得る受信機光学軸を有する。送信機光学軸および受信機光学軸は、互いに交差する。処理回路は、反射されたパターンにおける傾斜における角度を補償して深度マップを生成する。

Description

本出願は、2016年1月4日に出願された米国仮特許出願第62/274,600号の利益を主張し、その内容全体が参照により本明細書に組み込まれる。

本開示は、深度マップ生成に関し、より詳細には、構造化光アクティブ感知システムにおける深度マップ生成に関する。

構造化光アクティブ感知システムは、シーンに対する深度マップを生成するために、空間コード(コードワード)に対応するパターンを送信および受信する。物体が送信機および受信機から離れて遠ければ遠いほど、出て行く空間コード投影および反射され入ってくる空間コード投影がより平行であるので、受信された空間コード投影は受信機においてその元の位置に近くなる。反対に、物体が送信機および受信機に近ければ近いほど、受信された空間コード投影は受信機においてその元の位置から遠くなる。したがって、受信コードワード位置と送信コードワード位置との間の差分が、シーンにおける物体の深度を示す。構造化光アクティブ感知システムは、これらの相対深度を使用して、深度マップ、すなわち、シーンの3次元表現を生成する。

本開示は、物体の深度マップを決定する例示的な技法を説明し、ここで、構造化光を物体へ送信する送信機は、物体からの構造化光の反射を受信する受信機に対して角度をなす。たとえば、送信機は、構造化光がそれに沿って広がる送信機光学軸に対して画角を有し、受信機は、反射された構造化光がそれに沿って捕捉される受信機光学軸に対して画角を有する。本開示で説明する例では、送信機光学軸および受信機光学軸は、送信機が受信機に対して角度をなすことに起因して交差する。より詳細に説明するように、互いに対して角度をなす送信機および受信機を有することにより、より近い視野が可能になり得、より簡単な設計が可能になり得る。

一例では、本開示は、画像処理の方法を説明し、方法は、光送信機を用いて構造化光を送信するステップであって、光送信機が、送信機光学軸に対して第1の画角を有する、ステップと、構造化光の反射を、光受信機を用いて受信するステップであって、光受信機が、受信機光学軸に対して第2の画角を有し、光送信機は、送信機光学軸が受信機光学軸に交差するように光受信機に対して角度をなし、光受信機に対する光送信機の位置が一定である、ステップと、1つまたは複数の画像に対する深度マップを、構造化光の受信された反射に基づいて生成するステップとを備える。

一例では、本開示は、画像処理のためのデバイスを説明し、デバイスは、構造化光を送信するように構成された光送信機であって、送信機光学軸に対して第1の画角を有する光送信機と、構造化光の反射を受信するように構成された光受信機であって、受信機が、受信機光学軸に対して第2の画角を有し、光送信機は、送信機光学軸が受信機光学軸に交差するように光受信機に対して角度をなし、光受信機に対する光送信機の位置が一定である、光受信機と、1つまたは複数の画像に対する深度マップを、構造化光の受信された反射に基づいて生成するように構成された処理回路とを備える。

一例では、本開示は、命令を記憶したコンピュータ可読記憶媒体を説明し、命令は、実行されたとき、画像処理のためのデバイスの1つまたは複数のプロセッサに、構造化光を光送信機に送信させることであって、光送信機が、送信機光学軸に対して第1の画角を有する、送信させることと、1つまたは複数の画像に対する深度マップを、構造化光の受信された反射に基づいて生成することであって、受信された反射が、光受信機を用いて受信され、光受信機が、受信機光学軸に対して第2の画角を有し、光送信機は、送信機光学軸が受信機光学軸に交差するように光受信機に対して角度をなし、光受信機に対する光送信機の位置が一定である、生成することとを行わせる。

一例では、本開示は、画像処理のためのデバイスを説明し、デバイスは、構造化光を送信するための手段であって、送信機光学軸に対して第1の画角を有する送信するための手段と、構造化光の反射を受信するための手段であって、受信機光学軸に対して第2の画角を有し、送信するための手段は、送信機光学軸が受信機光学軸に交差するように、受信するための手段に対して角度をなし、送信するための手段の位置が、受信するための手段に対して一定である、手段と、1つまたは複数の画像に対する深度マップを、構造化光の受信された反射に基づいて生成するための手段とを備える。

1つまたは複数の例の詳細が、添付図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

深度マップを生成するための送信機フィールドおよび受信機フィールドの例を示す概念図である。 深度マップを生成するための送信機フィールドおよび受信機フィールドの例を示す概念図である。 本開示で説明する1つまたは複数の例示的な技法を実行するように構成された、画像処理のためのデバイスのブロック図である。 本開示で説明する1つまたは複数の例示的な技法を実行するための、画像処理の方法のフローチャートである。 図2の送信機デバイスおよび受信機デバイスをより詳細に示すブロック図である。 近視野および遠視野の始まりを偏揺れの関数として示すグラフである。 近範囲視野オーバーラップの拡張を示すグラフである。 近範囲視野オーバーラップの拡張を示すグラフである。 近範囲視野オーバーラップの拡張を偏揺れおよび距離の関数として示すグラフである。 近範囲視野オーバーラップの拡張を偏揺れおよび距離の関数として示すグラフである。 パターンひずみを示すグラフである。

3次元空間を包含するようにユーザが知覚する立体視画像を生成するために、デバイスは、描写されるべき画像におけるシーンまたは物体の深度マップを生成する。深度マップを生成するための1つの方法は、集束型アクティブステレオシステムとも呼ばれる構造化光システムにおけるものである。構造化光システムでは、送信機デバイスが、既知のパターンまたはコードをシーンに投影し、受信機デバイスが、パターンまたはコードを受信して深度マップを取得する。たとえば、送信機デバイスは、パターンまたはコードを含む構造化光をシーンまたは物体上に送信し、受信機デバイスは、シーンまたは物体からの構造化光の反射を受信する。受信機デバイスは、受信されたパターンまたはコードが有効であることを確認するために、受信されたパターンまたはコードを既知のパターンまたはコードのリストと比較する。

次いで、受信機がパターンまたはコードを受信した場所の位置に基づいて、受信機デバイスは、受信機からのシーンまたは物体の距離の推定値を決定し得る。決定された距離に基づいて、受信機デバイスは深度マップを生成する。処理回路(プログラマブル処理回路および/または固定機能処理回路であってよい)が、次いで、生成された深度マップを使用して、1つまたは複数の画像に対するグラフィカルデータを生成し得る(たとえば、グラフィックス処理回路(GPU)が、深度マップを使用して立体視画像を生成する)。

送信機デバイスは、構造化光を送信するための光送信機を含み、受信機デバイスは、構造化光を受信するための光受信機を含む。光送信機および光受信機は、距離(B)だけ離されている。光送信機は構造化光を送信し、ここで、構造化光は投影フィールドを包含する。たとえば、光送信機は、送信機光学軸に対して画角を有する。送信機光学軸は、光送信機から外向きに延びる線であり、画角は、構造化光がその全域にわたって広がるエリアを規定する。

同様に、光受信機は、受信機光学軸に対して画角を有する。受信機光学軸は、光受信機から外向きに延びる線であり、画角は、光受信機が構造化光の反射をその全域にわたって捕捉できるエリアを規定する。

光送信機および光受信機が距離Bだけ離されているので、構造化光が広がるエリアおよび光受信機が光を捕捉できるエリアは同じでない。このことは、構造化光が到達しないエリアまたは構造化光の反射が捕捉され得ないエリアをもたらす。送信機および受信機の画角はまた、投影フィールドおよび捕捉フィールドに影響を及ぼす。したがって、光送信機および光受信機は各々、それぞれの視野(たとえば、送信機にとっての投影フィールド、および受信機にとっての捕捉フィールド)を有し、視野オーバーラップは、投影フィールドおよび捕捉フィールドがどのくらいオーバーラップするのかを規定する。

各構成要素の特性が他の構成要素の他の特性と相互作用し、構成要素の慎重なバランスをもたらすため、構成要素を選択するのに高度の注意が必要とされ得るので、深度マップを生成するための構造化光システムを設計することは複雑である。たとえば、スペックル雑音耐性が開口サイズに下限を設定し、ここで、受信機にとっての開口サイズは、光がそこを通って捕捉される開口部を規定し、送信機の開口サイズは、光がそこを通って投影される開口部を規定する。受信機および送信機にとっての開口サイズは異なってよいが、技法はそのように限定されない。

被写界深度(DoF:depth of field)は、焦点範囲を規定するとともにF値に上限を設定し、このF値とは、開口の直径に対するレンズの焦点距離(たとえば、光がレンズから集束する点)の比である。したがって、F値は焦点距離に下限を設定し、焦点距離は視野に上限を設定する。送信機と受信機との間の基線距離(B)がシステム確度に上限を設定し、基線は視野オーバーラップを縮小する。

視野オーバーラップは近視野を設定する。近視野(たとえば、どのくらい近くで物体が視野オーバーラップ内にあり得るのか)は、詳細には、これらのすべての例示的な特性によって影響を及ぼされる。

場合によっては、比較的近い近視野を有することが望ましいことがある。たとえば、デバイスがモバイルデバイスである場合、ユーザは、モバイルデバイスに比較的近い物体の深度マップを生成しようと望むことがある。しかしながら、上記で説明したように、視野を設定することが、いくつかの例として開口サイズ、焦点距離、およびスペックル雑音耐性と相互に関係するので、モバイルデバイスに比較的近い近視野を達成することは、深度マップを生成するのに必要とされる光学構成要素の極めて精密な選択を必要とし得る。

本開示で説明する技法は、深度マップを生成するために使用される光学構成要素の選択を限定することなく、光送信機および光受信機に比較的近い近視野を有する方法を提供する。本開示で説明する技法を用いると、近視野の設定は特定の構成要素から切り離され、多種多様な光学構成要素および構造化光システムに対して、深度マップ生成のために近視野を設定することが可能になる。

本開示で説明する例では、光送信機は傾斜しており、すなわち、光受信機に対して角度をなす。たとえば、光送信機および光受信機が同じ方向に配向される(たとえば、同じ方向に面している)のではなく、光送信機と光受信機との間に傾斜角がある。光送信機と光受信機との間の傾斜角は、光送信機および光受信機が同じ方向に配向される場合と比較して、投影フィールドを傾斜させデバイスのより近くで捕捉フィールドに交差させる。たとえば、光送信機および光受信機が同じ方向に配向されるならば、送信機光学軸および受信機光学軸は平行であることになる。本開示で説明する例では、受信機に対する送信機における傾斜により、送信機光学軸および受信機光学軸は平行でなく交差する結果となる。

光送信機が光受信機に対して角度をなす例では、受信機デバイスは構造化光の反射を捕捉し得る。受信機デバイスは、反射され捕捉された構造化光に基づいて深度マップを決定する。しかしながら、この場合、受信機デバイスは、深度マップを決定する際に傾斜の角度を補償する必要があり得る。たとえば、受信機デバイスは、構造化光の受信された反射における各要素の位置を、光受信機に対する光送信機の傾斜角および光受信機の焦点距離に基づいてスケーリングし得る。受信機デバイスは、構造化光の受信された反射における各要素のスケーリングされた位置、構造化光の受信された反射におけるそれぞれの要素に対応する構造化光における各要素、光受信機の焦点距離、および光送信機と光受信機との間の距離(たとえば、基線距離)に基づいて、深度マップを生成し得る。

したがって、本開示で説明する例では、近視野を拡張させるためにプロジェクタ(すなわち、光送信機)は意図的に傾斜され、すなわち、角度付けされる。光送信機の傾斜すなわち角度付けは、光送信機における「偏揺れ(yaw)」を生み出し、技法は、既知の偏揺れに対して適応するように計算を修正する。より詳細に説明するように、偏揺れはまた、反射されるパターンまたはコードをひずませる結果となる。しかしながら、場合によっては、受信機デバイスは、反射されるパターンまたはコードが、有効なパターンまたはコードであることを確認するために、偏揺れを補償することを必要としなくてよい。

図1Aおよび図1Bは、深度マップを生成するための送信機フィールドおよび受信機フィールドの例を示す概念図である。図1Aおよび図1Bは、光送信機16に結合されている送信機デバイス14および光受信機20に結合されている受信機デバイス18を含む、デバイス10を示す。デバイス10の例は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、ワイヤレス通信デバイス、電話、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオゲーミングコンソール、またはビデオストリーミングデバイスを含む。

送信機デバイス14および受信機デバイス18の例は、マイクロプロセッサ、集積回路、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)を含む。一般に、送信機デバイス14および受信機デバイス18は、プログラマブル回路構成を含む処理回路構成を含む。光送信機16の例はレーザーを含み、光受信機20の例は1つまたは複数の光センサーを含む。いくつかの例では、レーザーは赤外線スペクトルの中の光(すなわち、深度マップ)を出力し、センサーは赤外線スペクトルの中の光(すなわち、深度マップ)を受信する。

光送信機16が送信機デバイス14の一部として図示され、光受信機20が受信機デバイス18の一部として図示されるが、本開示で説明する技法はそのように限定されない。いくつかの例では、送信機デバイス14および受信機デバイス18は、光送信機16および光受信機20のそれぞれのものを含まなくてよい。いくつかの例では、送信機デバイス14および受信機デバイス18が他の処理回路と一緒に同じ集積回路の中に形成されて、システムオンチップ(SoC)を形成し得る。

送信機デバイス14は、パターンまたはコードワードを含む構造化光を光送信機16に送信させるように構成され得る。たとえば、送信機デバイス14は、深度マップ生成のために使用されるパターンまたはコードワードを記憶するローカルメモリを含み得る。送信機デバイス14の処理回路は、パターンまたはコードワードを取り出し、パターンまたはコードワードを光送信機16に送信させる。パターンまたはコードワードは、物体から反射し、パターンまたはコードワード反射として、レンズまたは開口を通って光受信機20によって受信される。

パターンまたはコードワードの反射は、光受信機20上の異なるロケーションにおいて捕捉される。たとえば、第1の物体がデバイス10から離れた第1の距離にあり、第2の物体がデバイス10から離れた第2の距離にあると想定する。この例では、第1の物体から反射するパターンまたはコードワードは、光受信機20上の第1のロケーションにおいて出現することになり、第2の物体から反射するパターンまたはコードワードは、光受信機20上の第2のロケーションにおいて出現することになる。この例では、第1のロケーションと第2のロケーションとの間の視差(たとえば、第1のロケーションの位置と第2のロケーションの位置との差分)は、第1および第2の物体の互いとの相対深度を示し、第1のロケーションおよび第2のロケーションの位置は、第1および第2の物体の絶対深度を示す。

いくつかの例では、物体が光送信機16および光受信機20から離れて遠ければ遠いほど、投影され受信されたパターンまたはコードワードは、光受信機20においてその元の位置から近くなる(たとえば、出て行く投影および入ってくる投影がより平行である)。反対に、物体が光送信機16および光受信機20から近ければ近いほど、投影され受信されたパターンまたはコードワードは、光受信機20においてその元の位置から遠くなる。したがって、受信コードワード位置と送信コードワード位置との間の差分は、物体の深度のインジケータとして使用され得る。一例では、そのような深度(たとえば、相対深度)は、画像の中の各ピクセルまたはグループ化されたピクセル(たとえば、2つ以上のピクセルの領域)によって示される物体に対する深度値を与え得る。

パターンまたはコードワードは、複数の要素を含むものと見なされてよく、ここで、構造化光における要素は、一緒にパターンまたはコードワードを形成する。構造化光における各要素は、送信時に特定のロケーションに位置し、次いで、光受信機20上の特定のロケーションに位置する。受信機デバイス18は、深度マップ生成のために使用されるパターンまたはコードワードを記憶するローカルメモリを含み得る。受信機デバイス18の処理回路は、受信されたパターンまたはコードワードの要素をローカルメモリに記憶されている要素と比較して、受信されたパターンまたはコードワードが、有効なパターンまたはコードワードであることを確認し、深度マップを決定する。

たとえば、構造化光における要素は、決定された特定のロケーションに位置し、反射された構造化光において受信された要素は、特定のロケーションに位置する。受信機デバイス18内の処理回路は、次いで、送信された構造化光および反射され受信された構造化光における各要素のロケーションの間の視差(たとえば、差分)を決定し、視差に基づいて深度マップを決定する。

光送信機16は、投影されるフィールドを生成するように広がる構造化光を光学軸22Aに沿って送信する。たとえば、光学軸22Aは、光送信機16に直交して外向きに延び、構造化光は、光学軸22Aに対して画角17に沿って広がる。光受信機20は、同様に、画角19に沿って光学軸24の周囲に広がる捕捉フィールドを含む。一例として、画角17は60°であり、画角19は53°であるが、他の角度が企図される。

図1Aに示すように、投影フィールドおよび捕捉フィールドは交差し、ここで、投影フィールドと捕捉フィールドとのオーバーラップは視野オーバーラップを設定する。物体が視野オーバーラップの中にある場合、物体は構造化光を受信し、光受信機20は反射された構造化光を受信する。物体が視野オーバーラップの外側にある場合、物体が捕捉フィールドの中だけにあり投影フィールドの中にないために物体は構造化光を受信せず、または物体が投影フィールドの中にしかないために光受信機20は反射された構造化光を受信しない。

場合によっては、物体が、投影フィールドの中にも捕捉フィールドの中にもないことがある。たとえば、物体が近視野よりも近くにある場合、物体は、投影フィールドの中にも捕捉フィールドの中にもないことがある。図1Aに示すように、投影フィールドおよび捕捉フィールドは、デバイス10から離れた距離12Aにある点において交差する。距離12Aは近視野を規定し得る。この場合、距離12Aよりも近い、光送信機16と光受信機20との間の物体は、捕捉され得ない。

しかしながら、デバイス10のユーザは、物体が距離12Aよりも近くにある画像に対する深度マップを決定することが望ましいと悟ることがある。上記で説明したように、光送信機16および光受信機20の様々な特性が互いに相互作用するので、近視野が距離12Aよりも近くにあるようにデバイス10を設計することは、広範なテストおよび特化された数の構成要素オプションを必要とすることがあり、所望の近視野を有し遠視野にも最小限の影響しか伴わない構造化光システムを生み出すために使用できる、利用可能な構成要素の数を限定する。

図1Bに示すように、光送信機16は傾斜しており、すなわち、光受信機20に対して角度をなす。たとえば、光送信機16および光受信機20は、同じ方向に配向されていない(たとえば、同じ方向に面していない)。光送信機16が光受信機20に対して傾斜しているように図示されるが、一般に、光送信機16または光受信機20のうちの一方はデバイス10の面と平行であり、光送信機16または光受信機20のうちの他方はデバイス10の面に対して傾斜している。たとえば、光送信機16および光受信機20はともに、デバイス10の背面上にあってよく、ここで、前面は、ユーザが対話するインターフェースを含む。図1Bに示すように、光受信機20がデバイス10の背面と平行であってよく、光送信機16がデバイス10の背面に対して傾斜してよい。しかしながら、いくつかの例では、光送信機16がデバイス10の背面と平行であってよく、光受信機20がデバイス10の背面に対して傾斜してよい。これらの例では、光送信機16は、光受信機20に対して傾斜している(角度をなす)と見なされてよい。

光受信機20と光送信機16の両方がデバイス10の背面に対して角度をなすことが可能であり得る。そのような例の場合、光送信機16および光受信機20がいくつかの方向に面しておらず、かつ/またはそれぞれの光学軸が交差するので、光送信機16は光受信機20に対して傾斜し得る。

図1Aと同様に、光送信機16は、光学軸22Bに沿って画角17において広がる構造化光を送信する。光学軸22Bは、図1Aにおける光学軸22Aのように光送信機16に直交する。ただし、図1Bでは、光学軸22B、および光受信機20の光学軸24は、光学軸22Aおよび光学軸24が平行である図1Aとは異なり互いに交差する。したがって、図1Bでは、光送信機16は、送信機光学軸22Bが受信機光学軸24に交差するように光受信機20に対して角度をなす。光受信機20に対する光送信機16の傾斜角は、傾斜角46(たとえば、交差によって形成される角度)によって規定される。傾斜角46は、ほぼ1°〜2°であってよいが、他の角度が企図される。

図1Bにおいて、投影フィールドは、デバイス10から離れた距離12Bにある点34において捕捉フィールドに交差する。距離12Bは距離12Aよりも短く、したがって、光送信機16を傾斜させる(角度付けする)ことによって、本開示で説明する技法は、特化した構成要素に依拠する必要なく、かつ多種多様な光学構成要素タイプの使用を可能にして、近視野をデバイス10により近くさせ得る。

しかしながら、光送信機16を傾斜させることは、深度マップを生成するための余分な計算をもたらす。たとえば、反射されるパターンまたはコードワードが図1Bに示す例において光受信機20上に出現することになるロケーションは、反射されるパターンまたはコードワードが図1Aに示す例において光受信機20上に出現することになるロケーションとは異なる。したがって、受信機デバイス18は、より詳細に説明するように、構造化光の受信された反射における各要素の位置を、傾斜角46および光受信機20の焦点距離に基づいてスケーリングし得る。

加えて、光送信機16と光受信機20との間の傾斜は、反射されるパターンまたはコードワードにおいてひずみを引き起こす。たとえば、図1Bにおいて光受信機20が受信する反射パターンは、図1Aにおいて光受信機20が受信する反射パターンに対して傾斜し得る。

上記で説明したように、光受信機20は、反射パターンが有効であることを確認するために、反射パターンを既知のパターンと比較する。反射パターンが傾斜しているので、場合によっては、パターンまたはコードワードを再構成する際にいくつかの誤差があり得る。いくつかの例では、傾斜は最小限であってよく、したがって、誤差が最小であり修正措置が必要とされない。いくつかの例では、光受信機20は傾斜を補償し得る。いくつかの例では、受信機デバイス18のローカルメモリに記憶されるパターンまたはコードワードが、傾斜角46に基づいて傾斜しており、したがって、受信機デバイス18は、誤差を伴わずにパターンまたはコードワードを再構成できることがある。

投影フィールドは、図1Bにおける線28および32によって規定され、捕捉フィールドは、図1Bにおける線26および30によって規定される。線28の式は、z4=-x4cot(φ1/2-γ)であり、線32の式は、z3=x3cot(φ1/2+γ)である。線26の式は、z2=-(x2-B)cot(φ2/2)であり、線30の式は、z1=(x1-B)cot(φ2/2)である。上式において、φ1は画角17であり、φ2は画角19であり、γは傾斜角46(偏揺れとも呼ばれる)であり、Bは光送信機16と光受信機20との間の距離である。本式において、x1、x2、x3、およびx4は、そこからz1、z2、z3、およびz4が決定されるそれぞれの線に沿った座標値を表す。

x1、x2、x3、およびx4は、視野オーバーラップを設定するものとして理解され得る。たとえば、点34において、投影フィールドおよび捕捉フィールドが最初に交差する。点34から点38まで、視野オーバーラップは線26および32によって規定され、線40によって示すようにx3-x2として表され得る。点38から点36まで、視野オーバーラップは線26および30によって規定され、線42によって示すようにx1-x2として表され得る。点36から上方では、視野オーバーラップは線28および30によって規定され、線44によって示すようにx1-x4として表され得る。

点34のロケーションは、B/(tan(φ1/2+γ)+tan(φ2/2))(tan(φ1/2+γ),1)である。点38のロケーションは、B/(tan(φ1/2+γ)-tan(φ2/2))(tan(φ1/2+γ),1)である。点36のロケーションは、B/(tan(φ2/2)-tan(φ1/2-γ))(-tan(φ1/2-γ),1)である。

図1Aおよび図1Bに示すように、距離12Bは距離12Aよりも短い。したがって、光受信機20に対して光送信機16を傾斜させることによって、近視野のロケーションを縮める(たとえば、近視野をデバイス10のより近くに持ってくる)ように偏揺れが活用され得る。

上記で説明したように、例示的な技法では、受信機デバイス18は、深度マップを決定するために偏揺れを補償する必要があり得る。たとえば、受信機デバイス18の処理回路は、構造化光の受信された反射における各要素の位置を、傾斜角γおよび光受信機20の焦点距離に基づいてスケーリングし得る。処理回路は、次いで、構造化光の受信された反射における各要素のスケーリングされた位置、構造化光の受信された反射におけるそれぞれの要素に対応する構造化光における各要素、光受信機20の焦点距離、および光送信機16と光受信機20との間の基線距離(B)に基づいて、深度マップを生成し得る。

一例として、処理回路は次式を実施し得る。
Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ)))

本式において、Zは深度マップ、fは光受信機20の焦点距離、Bは光送信機16と光受信機20との間の距離、xTは送信された構造化光における要素の位置、そしてxRは構造化光の受信された反射における対応する要素の位置である。たとえば、xTおよびxRは同じ要素に対する位置であるが、xTは送信時におけるロケーションであり、xRは構造化光の受信された反射におけるロケーションである。

受信機デバイス18の処理回路構成は、各要素に対する深度値(Z)を決定するために本式を実施し得る。たとえば、f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ))は、構造化光の受信された反射における各要素(たとえば、xR)の位置をスケーリングするために処理ユニットが使用する式と見なされてよい。スケーリングは、傾斜角γおよび焦点距離fに基づいて実行される。また、本式において、深度マップが、構造化光の受信された反射における各要素(たとえば、xR)のスケーリングされた位置、構造化光の受信された反射におけるそれぞれの要素(たとえば、xR)に対応する構造化光における各要素(たとえば、xT)、光受信機20の焦点距離(たとえば、f)、および光送信機16と光受信機20との間の距離(たとえば、基線距離B)から生成される。

本開示は、近視野を拡張させ、既知の偏揺れに適応するように視差計算を修正するために、光送信機16を意図的に傾斜させることを説明する。本開示で説明する技法を用いると、有用な深度マップサイズにおいて5%の利得があり得、システム構成要素は、深度マップ生成の性能から切り離され得る(たとえば、光学構成要素に対する多くの選択を可能にする)。たとえば、光送信機16および光受信機20によって生成される近距離場FOVは、光送信機16が光受信機20に対して角度をなしておらず送信機光学軸が受信機光学軸に交差しない図1Aの例と比較して、光送信機16および光受信機20を含むデバイス10のより近くにある。

同じく上記で説明したように、光送信機16における傾斜は、パターン検出またはコードワード検出のための構造化マップの受信された反射においてひずみを引き起こす。いくつかの例では、投影ひずみはグリッド検出アルゴリズムで処理され、そのことは、光送信機16の傾斜を補償するための追加の修正措置が必要とされなくてよいことを意味する。たとえば、上記で説明したように、受信機デバイス18が記憶するコードワードが、既知の傾斜角度に基づいてすでに傾斜されてよく、したがって、受信機デバイス18の処理回路は、コードワードを決定するためにグリッド検出を実行するとき、光送信機16の傾斜を補償するために追加の修正措置を実行する必要がない。

図2は、本開示で説明する1つまたは複数の例示的な技法を実行するように構成された、画像処理のためのデバイスのブロック図である。図2は、デバイス10をより詳細に示す。上記で説明したように、デバイス10の例は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、ビデオゲームプラットフォームまたはコンソール、ワイヤレス通信デバイス(たとえば、モバイル電話、セルラー電話、テーブルコンピュータ、衛星電話、および/またはモバイル電話ハンドセットなど)、固定電話、インターネット電話、ポータブルビデオゲームデバイスまたは携帯情報端末(PDA)などのハンドヘルドデバイス、パーソナル音楽プレーヤ、ビデオプレーヤ、ディスプレイデバイス、カメラ、テレビ、テレビセットトップボックス、サーバ、中間ネットワークデバイス、メインフレームコンピュータ、あるいはグラフィカルデータを処理および/または表示する任意の他のタイプのデバイスを含む。

図2の例に示すように、デバイス10は、光送信機16を含む送信機デバイス14、光受信機20を含む受信機デバイス18、中央処理回路(CPU)45、グラフィカル処理回路(GPU)48およびGPU48のローカルメモリ50、ユーザインターフェース52、システムメモリ60へのアクセスを提供するメモリコントローラ54、ならびにディスプレイ58上にグラフィカルデータを表示させる信号を出力するディスプレイインターフェース56を含む。

送信機デバイス14および受信機デバイス18は、図1Aおよび図1Bに関して上記で説明したものと類似であり、これ以上説明しない。しかしながら、いくつかの例では、受信機デバイス18はまた、デバイス10用のカメラとして機能してよく、そのような例では、受信機デバイス18は、深度マップ生成のために、かつ写真画像を取り込むために使用されてよく、またはデバイス10は、写真画像を取り込むための別個のカメラを含んでよい。本開示では、受信機デバイス18は、深度マップを生成することと写真画像を取り込むことの両方のために使用されるものとして説明される。受信機デバイス18の処理回路は、同様にカメラプロセッサとして機能してよい。

また、様々な構成要素が別個の構成要素として図示されるが、いくつかの例では、構成要素はシステムオンチップ(SoC)を形成するように組み合わせられてよい。一例として、受信機デバイス18の処理回路は、CPU45、GPU48、およびディスプレイインターフェース56のうちの1つまたは複数を用いて形成され得る。そのような例では、光受信機20は受信機デバイス18とは別個であってよい。さらに、受信機デバイス18の処理回路が深度マップを生成することに関して上記で説明した例は、理解を容易にするために提供されるにすぎない。いくつかの例では、CPU45、GPU48、またはいくつかの他のデバイスは、受信機デバイス18の処理回路のための上記で説明した例を実行するように構成され得る。

図2に示す様々な構成要素は、1つまたは複数のマイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、または他の等価な集積論理回路構成もしくは個別論理回路構成の中に形成され得る。また、送信機デバイス14および受信機デバイス18は、パターンまたはコードワードなどのデータの記憶のためのローカルメモリを含み得る。そのようなローカルメモリの例は、たとえば、ランダムアクセスメモリ(RAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、磁気データ媒体、または光記憶媒体などの、1つまたは複数の揮発性または不揮発性のメモリまたは記憶デバイスを含む。

図2に示す様々なユニットは、バス62を使用して互いに通信する。バス62は、第3世代バス(たとえば、HyperTransportバスまたはInfiniBandバス)、第2世代バス(たとえば、アドバンストグラフィックスポートバス、周辺構成要素相互接続(PCI)エクスプレスバス、またはAdvanced eXentisibleインターフェース(AXI)バス)、または別のタイプのバスもしくはデバイス相互接続などの、様々なバス構造のいずれかであってよい。図2に示す異なる構成要素間のバスおよび通信インターフェースの特定の構成が例示的にすぎず、同じまたは異なる構成要素を有するコンピューティングデバイスおよび/または他の画像処理システムの他の構成が、本開示の技法を実施するために使用され得ることに留意されたい。

CPU45は、デバイス10の動作を制御する汎用プロセッサまたは専用プロセッサを備え得る。ユーザは、1つまたは複数のソフトウェアアプリケーションをCPU45に実行させるために、コンピューティングデバイス10への入力を行い得る。CPU45上で実行するソフトウェアアプリケーションは、たとえば、オペレーティングシステム、ワードプロセッサアプリケーション、電子メールアプリケーション、スプレッドシートアプリケーション、メディアプレーヤアプリケーション、ビデオゲームアプリケーション、グラフィカルユーザインターフェースアプリケーション、または別のプログラムを含んでよい。ユーザは、キーボード、マウス、マイクロフォン、タッチパッド、またはユーザインターフェース52を介してコンピューティングデバイス10に結合されている別の入力デバイスなどの、1つまたは複数の入力デバイス(図示せず)を介して、コンピューティングデバイス10への入力を行い得る。

一例として、ユーザは、立体視画像のためのグラフィカルデータを生成するアプリケーションを実行し得る。アプリケーションは、光受信機20によって取り込まれた画像を使用し得る。そのような例では、送信機デバイス14および受信機デバイス18は、深度マップを生成するために、本開示で説明する例示的な技法を一緒に実行し得る。CPU45上で実行するアプリケーションは、深度マップおよび取り込まれた画像を使用し得る。

たとえば、CPU45は、グラフィカル画像を描写するために、命令およびデータをGPU48へ送信し得る。そのような例では、CPU45上で実行するアプリケーションは、命令、深度マップ、および他のデータを、GPU48へ送信して、立体視画像を生成するようにGPU48に命令し得る。たとえば、GPU48は、固定機能回路とプログラマブル回路との組合せである複数の並列パイプラインを含み、GPU48は、並列パイプラインを通じてピクセルを処理して立体視画像を生成する。

メモリコントローラ54は、システムメモリ60を出入りするデータの転送を容易にする。たとえば、メモリコントローラ54は、コンピューティングデバイス10の中の構成要素にメモリサービスを提供するために、メモリ読取りおよび書込みコマンドを受信し得、メモリ60に対してそのようなコマンドをサービスし得る。メモリコントローラ54は、システムメモリ60に通信可能に結合されている。メモリコントローラ54は、CPU45とシステムメモリ60の両方とは別個の処理モジュールであるものとして、図2の例示的なコンピューティングデバイス10に示されるが、他の例では、メモリコントローラ54の機能性の一部または全部が、CPU45およびシステムメモリ60のうちの一方または両方において実施されてよい。

システムメモリ60は、送信機デバイス14、受信機デバイス18、CPU45、およびGPU48によってアクセス可能な、プログラムモジュールならびに/または命令および/もしくはデータを記憶し得る。たとえば、システムメモリ60は、ユーザアプリケーション、およびアプリケーションに関連するグラフィックスデータを記憶し得る。システムメモリ60は、追加として、コンピューティングデバイス10の他の構成要素による使用のための、かつ/またはそうした構成要素によって生成される情報を、記憶し得る。たとえば、システムメモリ60は、送信機デバイス14用および受信機デバイス18用のデバイスメモリ(たとえば、受信機デバイス18のカメラプロセッサ用のデバイスメモリ)として働き得る。システムメモリ60は、たとえば、ランダムアクセスメモリ(RAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、読取り専用メモリ(ROM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリ、磁気データ媒体、または光記憶媒体などの、1つまたは複数の揮発性または不揮発性のメモリまたは記憶デバイスを含み得る。

いくつかの態様では、システムメモリ60は、送信機デバイス14、受信機デバイス18、CPU45、GPU48、およびディスプレイインターフェース56に、本開示において送信機デバイス14、受信機デバイス18、CPU45、GPU48、およびディスプレイインターフェース56に起因する機能を実行させる命令を含み得る。したがって、システムメモリ60は、実行されたとき、1つまたは複数のプロセッサ(たとえば、送信機デバイス14および/または受信機デバイス18の処理回路、ならびにCPU45、GPU48、およびディスプレイインターフェース56)に様々な機能を実行させる、命令を記憶したコンピュータ可読記憶媒体であってよい。

いくつかの例では、システムメモリ60は非一時的記憶媒体である。「非一時的」という用語は、記憶媒体が搬送波または伝搬する信号において具現化されないことを示す。ただし、「非一時的」という用語は、システムメモリ60が非可動であること、またはその内容が静的であることを意味するものと解釈されるべきでない。一例として、システムメモリ60は、デバイス10から取り外されてよく、別のデバイスに移動されてよい。別の例として、システムメモリ60と実質的に類似のメモリが、デバイス10の中に挿入されてよい。いくつかの例では、非一時的記憶媒体は、経時的に変化することができるデータを(たとえば、RAMの中に)記憶し得る。

受信機デバイス18、CPU45、およびGPU48は、深度マップ、画像データ、描写された画像データなどを、システムメモリ60内に割り振られているそれぞれのバッファに記憶し得る。ディスプレイインターフェース56は、システムメモリ60からデータを取り出し得、描写された画像データによって表される画像を表示するようにディスプレイ58を構成し得る。いくつかの例では、ディスプレイインターフェース56は、システムメモリ60から取り出されたデジタル値をディスプレイ58によって消費可能なアナログ信号に変換するように構成されている、デジタルアナログ変換器(DAC)を含み得る。他の例では、ディスプレイインターフェース56は、処理のためにデジタル値を直接ディスプレイ58に伝えてもよい。

ディスプレイ58は、モニタ、テレビ、投影デバイス、液晶ディスプレイ(LCD)、プラズマディスプレイパネル、発光ダイオード(LED)アレイ、陰極線管(CRT)ディスプレイ、電子ペーパー、表面伝導電子放出ディスプレイ(SED)、レーザーテレビディスプレイ、ナノ結晶ディスプレイ、または別のタイプのディスプレイユニットを含み得る。ディスプレイ58は、コンピューティングデバイス10内に統合されてよい。たとえば、ディスプレイ58は、モバイル電話ハンドセットまたはタブレットコンピュータのスクリーンであってよい。代替として、ディスプレイ58は、有線通信リンクまたはワイヤレス通信リンクを介してコンピューティングデバイス10に結合されたスタンドアロンデバイスであってもよい。たとえば、ディスプレイ58は、ケーブルリンクまたはワイヤレスリンクを介してパーソナルコンピュータに接続されたコンピュータモニタまたはフラットパネルディスプレイであってよい。

図3は、本開示で説明する1つまたは複数の例示的な技法を実行するための、画像処理の方法のフローチャートである。画像処理は、物体の深度マップを生成するためのものであってよく、物体の深度マップは、次いで、見ている人に奥行知覚を与える立体視画像を生成するために使用され得る。

図示したように、送信機デバイス14は、光送信機16を介して構造化光を送信し得、光送信機16は、送信機光学軸22Bに対して第1の画角17を有する(たとえば、規定する)(70)。構造化光を送信することは、構造化光を介してパターンを送信することを含み得る。受信機デバイス18は、光受信機20を介して構造化光の反射を受信し得、光受信機20は、受信機光学軸24に対して第2の画角19を有する(たとえば、規定する)(72)。構造化光の反射を受信することは、反射を介してひずんだパターンを受信することを含み得る。

受信機デバイス18は、受信機デバイス18の処理回路を介して、1つまたは複数の画像に対する深度マップを、構造化光の受信された反射に基づいて生成し得る(74)。たとえば、受信機デバイス18の処理回路構成は、Zについての式の演算を実行し得、ただし、Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ)))である。受信機デバイス18の処理回路構成は、受信された要素ごとに深度値(Z)を決定するための式の演算を実行し得る。上記で説明したように、Zについての式は、傾斜角を補償するために使用されるスケーリングを表す。スケーリングは、傾斜角γおよび焦点距離fに基づいて実行される。また、本式において、深度マップが、構造化光の受信された反射における各要素のスケーリングされた位置(たとえば、xR)、構造化光の受信された反射におけるそれぞれの要素(たとえば、xR)に対応する構造化光における各要素(たとえば、xT)、光受信機20の焦点距離(たとえば、f)、および光送信機16と光受信機20との間の距離(たとえば、基線距離B)から生成される。

GPU48は、1つまたは複数の画像に対するグラフィカルデータを、生成された深度マップに基づいて生成し得る(76)。たとえば、深度マップは、デバイス10からの物体の相対距離を示す。GPU48は、第1の画像および第2の画像を生成し得、ここで、第1の画像および第2の画像は、実質的に類似の内容を含む。しかしながら、内容の間に水平視差がある。一例として、GPU48は、水平視差の量を決定して第1および第2の画像の中の物体に加えてよく、その結果、見ている人が第1および第2の画像の両方を一緒に見ると、見ている人は、深度マップを用いて示される距離において物体を知覚する。

たとえば、テストから、かつディスプレイ58のサイズに基づいて、製造業者は、見ている人が第1の画像と第2の画像との間の所与の視差に対して物体を知覚する、デバイス10から離れた距離を決定し得る。画像における視差の間の関係および見ている人が画像を知覚する距離に基づいて、製造業者またはコンピュータモデルは、視差と深度(たとえば、デバイス10から離れた距離)との間の関係を抽出し得る。GPU48またはデバイス10のいくつかの他のユニットは、この関係情報を記憶し得、例示的な技法を介して決定された深度マップに基づいて、2つの画像の中の物体における視差を決定し得、GPU48は、物体における決定された視差を有するように画像を描写する。

別の例として、GPU48またはデバイス10のいくつかの他のユニットは、第1および第2の画像の中の物体の間の視差と深度とを関連付けるルックアップテーブルを記憶し得る。深度マップおよびルックアップテーブルから決定された深度に基づいて、GPU48またはいくつかの他のユニットは、第1および第2の画像の中の物体の間の視差(たとえば、第1および第2の画像の中の物体の位置)を決定する。GPU48は、第1および第2の画像の中の物体の決定された位置に基づいて、物体における決定された視差を有するように画像を描写する。

前の例は、1つまたは複数の画像に対するグラフィカルデータを、生成された深度マップに基づいて生成するための、2つの例示的なアルゴリズムを提供した。しかしながら、他の例示的な技法が可能であり、例は、上の例に限定されると見なされるべきでない。

いくつかの例では、受信機デバイス18は、光受信機20に対する光送信機16の傾斜角γを補償することなく、受信されたひずんだパターンが送信されたパターンに対応するかどうかを決定し得る。受信機デバイス18は、ひずんだパターンが光受信機20によって受信される場所のロケーションを決定し得、ひずんだパターンが光受信機20によって受信される場所のロケーション、および光受信機20に対する光送信機16の傾斜角γに基づいて、深度マップを生成し得る。

いくつかの例では、深度マップを生成するために、受信機デバイス18は、構造化光の受信された反射における各要素の位置を、光受信機20に対する光送信機16の傾斜角γおよび光受信機20の焦点距離(f)に基づいてスケーリングし得る。受信機デバイス18は、構造化光の受信された反射における各要素のスケーリングされた位置、構造化光の受信された反射におけるそれぞれの要素に対応する構造化光における各要素、光受信機20の焦点距離、および光送信機16と光受信機20との間の距離(たとえば、基線距離B)に基づいて、深度マップを生成し得る。

図4は、図2の送信機デバイスおよび受信機デバイスをより詳細に示すブロック図である。図4は、光送信機16に対する2つの位置を示す。破線では、光送信機16は傾斜しておらず、その送信機光学軸は光受信機20の受信機光学軸と平行である(たとえば、図1Aと同様に)。実線では、光送信機16は傾斜しており、その送信機光学軸は光受信機20の受信機光学軸と交差する(たとえば、図1Bと同様に)。

図4はまた、物体78および80を示し、物体78および80は各々、光送信機16が送信する構造化光がそこから光受信機20へ反射される物体である。例示的な技法では、送信機処理回路82は、メモリ86からコードワードを受け取ってよく、コードワードを有する構造化光を光送信機16に送信させ得る。この構造化光は、物体78および物体80から光受信機20に反射することになる。受信機処理回路84は、受信された構造化光をコードワードに変換し得、受信された光が認識されたコードワードを実際に含み周辺光ではないことを確認するために、変換されたコードワードをメモリ88に記憶されているコードワードと比較し得る。構造化光に対して、受信機処理回路84はまた、構造化光のコードワードが光受信機20上のどこで捕捉されたのかを決定し得、受信コードワードの位置に基づいて、物体78および80の深度を決定し得る。

深度を決定するための動作を説明する前に、以下のことが、実行され得る傾斜および補償の追加の説明を提供する。図4では、破線は、光送信機16の傾斜していない例(破線バージョン)によって出力され、次いで、物体78から跳ね返り、光受信機20のほぼ中間に反射するものとして示される。また、1つの実線は、光送信機16の傾斜したバージョン(実線バージョン)によって出力され、次いで、物体78から跳ね返り、光受信機20の端部の近くに反射するものとして示される。

図示したように、構造化光が光受信機20に反射する場所の位置は、光送信機16の傾斜したバージョンに対して、光送信機16の傾斜しないバージョンに対するものとは異なる。したがって、補償を行わないと、受信機処理回路84は、光送信機16の傾斜したバージョンおよび光送信機16の傾斜しないバージョンに対して、物体78に対する異なる深度を決定し得る。したがって、深度マップを決定するために、受信機処理回路84は、上記で説明したように、偏揺れ補償(たとえば、Z=fB/(xT-f*((fsinγ+xRcosγ)/(fcosγ-xRsinγ))))を実行し得る。

それぞれの深度を決定するための例示的なアルゴリズムを参照すると、図示したように、傾斜した光送信機16によって送信されるものとして示される第1の実線は、光受信機20の左端から離れた距離d1において、物体78から光受信機20に反射する。傾斜した光送信機16によって送信されるものとして示される第2の実線は、光受信機20の左端から離れた距離d2において、物体80から光受信機20に反射する。受信機処理回路84は、物体78および80の深度を、それぞれ、距離d1およびd2に基づいて決定し得る。たとえば、デバイス10により近い物体は、デバイス10から離れてより遠い物体よりも、光受信機20の縁部からより遠くに反射する傾向がある。図示したように、物体80は、物体78よりも離れて遠くにある。したがって、物体78の反射からのものである距離d1は、物体80の反射からのものである距離d2よりも、光受信機20の縁部から離れてより遠くにある。

1つまたは複数の例示的な技法では、光送信機16の位置は、受信機デバイス18に対して一定である(たとえば、それらのそれぞれの位置が固定されており、互いに対して移動していない)。走査パターンをなして物体上に光信号を光送信機16に出力させ、そのような走査パターンを光受信機20に受信させるのではなく、光送信機16は、光受信機20に対して一定の位置に固定されてよい。送信機光学軸および受信機光学軸は、深度マップの生成の間に角度γが変化しないような同じ点において常に交差し得る。

また、受信機処理回路84による深度マップの生成全体の間、光送信機16を用いて送信される構造化光は同じであってよい。送信機処理回路82は、特定のパターンを有する構造化光を出力してよく、そのパターンの反射から、受信機処理回路84は深度マップを生成し得る。送信および受信される1つの構造化光パターンがあり得、この1つの構造化光パターンから、受信機処理回路84は深度マップを決定し得る。

図5は、近視野および遠視野の始まりを偏揺れの関数として示すグラフである。図5では、下の線は、近視野の距離がどこでオーバーラップするのかを傾斜角γの関数として示し、上の線は、遠視野の距離がどこでオーバーラップするのかを傾斜角γの関数として示す。

図5における下の線によって示すように、傾斜角γが増大するにつれて、近視野はデバイス10により近くなるが、遠視野もより近くに来る。たとえば、再び図1Bを参照すると、傾斜角γが増大するにつれて、点34はデバイス10のより近くに来る(たとえば、距離12Bが縮小する)。しかしながら、図5における上の線によって示すように、傾斜角γの増大はまた、遠距離場をデバイス10のより近くに移動させる。たとえば、再び図1Bを参照すると、傾斜角γが増大するにつれて、点36は線26を下へ、デバイス10のより近くに移動する。したがって、近距離場および遠距離場があるべき場所に対する設計に基づいて、傾斜角γをどのくらいに設定すべきであるかという均衡がある。

図6Aおよび図6Bは、近範囲視野オーバーラップの拡張を示すグラフである。図6Aおよび図6Bは、異なる偏揺れ角γに対する視野の水平オーバーラップを示す。最も上の線90は、2°の偏揺れ角に対するものであり、次いで、線92は、1.5°の角度に対するものであり、次いで、線94は、1°の角度に対するものであり、次いで、線96は、0.5°に対するものであり、次いで、線98は、0°に対するものである。図6Bは、異なる偏揺れ角γに対する分離を示す、図6Aの変倍バージョンである。たとえば、図6Bにおける線100は、図6Aにおける線90に対応し、図6Bにおける線102は、図6Aにおける線92に対応し、図6Bにおける線104は、図6Aにおける線94に対応し、図6Bにおける線106は、図6Aにおける線96に対応し、図6Bにおける線108は、図6Aにおける線108に対応する。概して、偏揺れを増大させると、近範囲視野オーバーラップが拡張する。十分に大きい範囲において、偏揺れは視野を縮小させる。

図7Aおよび図7Bは、近範囲視野オーバーラップの拡張を偏揺れおよび距離の関数として示すグラフである。図7Aおよび図7Bでは、y軸は視野オーバーラップの拡張である。図7Aでは、x軸は偏揺れ角γであり、図7Bでは、x軸は距離である。たとえば、図7Aでは、異なる距離に対してグラフが描かれ、最も下の線118は3.5mに対するものであり、上方の次の線(線116)は1mに対し、その線の上(線114)は0.85mに対し、その線の上(線112)は0.75mに対し、その線の上(線110)は0.5mに対する。図7Aでは、距離3.5mにおける物体に対する近距離FOVオーバーラップ利得を最大にし得る例示的な偏揺れ角を示すために、1.5°の偏揺れ角が示される。図7Bでは、異なる偏揺れ角γに対してグラフが描かれる。最も上の線128は、2°に対するものであり、下方の次の線(線126)は、1.5°に対するものであり、下方の次の線(線124)は、1°に対するものであり、下方の次の線(線122)は、0.5°に対するものであり、下方の次の線(線120)は、0°に対するものである。

本開示で説明する例示的な技法では、近範囲視野(たとえば、近距離場FOV)は、他の例と比較してデバイス10のより近くにあり得る。たとえば、光送信機16および光受信機20によって生成される近距離場FOVは、光送信機16が光受信機20に対して角度をなしておらず送信機光学軸が受信機光学軸に交差しない場合と比較して、デバイス10のより近くにある。

図8は、パターンひずみを示すグラフである。たとえば、図8では、最も左は送信パターンを示すが、反射パターンおよび受信パターンは、傾斜角γに起因してひずんでいる(たとえば、受信パターンは、反射パターンに対してわずかに傾斜している)。概して、偏揺れに起因するパターンひずみは、小さい傾斜角度にとって無視できる。受信機デバイス18は、パターンひずみをパターン検出のためのグリッド検出方式内で適応し得る。たとえば、上記で説明したように、受信機処理回路84は、メモリ88に記憶されているコードワードに基づいて、構造化光からパターンを検出する必要があり得る。ひずみがある場合、受信機処理回路84は、パターンひずみ補償を実行する必要があり得る。そのようなパターンひずみ補償の1つの方法は、メモリ88に記憶されているコードワードを既知の偏揺れに基づいて事前にひずませることであり、したがって、受信機処理回路84は、誤差を伴わずにパターン検出を実行し得る。言い換えれば、偏揺れ角が既知であるので、ひずみフィールドは事前計算されてよく、高精度アプリケーションに対して、ひずみは確度を損なうことなく補償され得る。しかしながら、場合によっては、光送信機16の傾斜によって引き起こされるひずみが相対的に最小であり、そのことは、受信機処理回路84による追加の補償が必要とされないことを意味する。

1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されてよく、ハードウェアベースの処理回路によって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体を含んでよい。このようにして、コンピュータ可読媒体は、一般に、非一時的である有形コンピュータ可読記憶媒体に相当し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード、および/またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。コンピュータ可読記憶媒体およびデータ記憶媒体は、搬送波、信号、または他の一時的媒体を含まないが、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積論理回路構成もしくは個別論理回路構成などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明した機能性は、符号化および復号のために構成された専用のハードウェアモジュール内および/もしくはソフトウェアモジュール内に設けられてよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。

本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実施され得る。開示する技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示で説明されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わせられてよく、あるいは好適なソフトウェアおよび/またはファームウェアとともに、上記で説明したような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。

様々な例が説明されている。これらおよび他の例は、以下の特許請求の範囲内に入る。

10 デバイス
14 送信機デバイス
16 光送信機
17 画角
18 受信機デバイス
19 画角
20 光受信機
22〜24 光学軸
45 中央処理回路(CPU)
48 グラフィカル処理回路(GPU)
50 ローカルメモリ
52 ユーザインターフェース
54 メモリコントローラ
56 ディスプレイインターフェース
58 ディスプレイ
60 システムメモリ
78〜80 物体
82 送信機処理回路
84 受信機処理回路
86〜88 メモリ

Claims (29)

1. 画像処理の方法であって、
   光送信機を用いて構造化光を送信するステップであって、前記光送信機が、送信機光学軸に対して第1の画角を有する、ステップと、
   前記構造化光の反射を、光受信機を用いて受信するステップであって、前記光受信機が、受信機光学軸に対して第2の画角を有し、前記光送信機は、前記送信機光学軸が前記受信機光学軸に交差するように前記光受信機に対して角度をなし、前記光受信機に対する前記光送信機の位置が一定である、ステップと、
   1つまたは複数の画像に対する深度マップを、前記構造化光の前記受信された反射に基づいて生成するステップと
   を備える方法。
2. 前記深度マップの生成全体の間、前記光送信機を用いて送信される前記構造化光が同じである、請求項1に記載の方法。
3. 前記構造化光の前記受信された反射における各要素の位置を、前記光受信機に対する前記光送信機の傾斜角および前記光受信機の焦点距離に基づいてスケーリングするステップ
   をさらに備える、請求項1に記載の方法。
4. 前記深度マップを生成するステップが、前記構造化光の前記受信された反射における各要素の前記スケーリングされた位置、前記構造化光の前記受信された反射におけるそれぞれの要素に対応する前記構造化光における各要素、前記光受信機の前記焦点距離、および前記光送信機と前記光受信機との間の距離に基づいて、前記深度マップを生成するステップを備える、請求項3に記載の方法。
5. 前記構造化光を送信するステップが、前記構造化光を介してパターンを送信するステップを備え、前記構造化光の前記反射を受信するステップが、前記反射を介してひずんだパターンを受信するステップを備え、前記方法が、
   前記光受信機に対する前記光送信機の傾斜角を補償することなく、前記受信されたひずんだパターンが前記送信されたパターンに対応するかどうかを決定するステップ
   をさらに備える、請求項1に記載の方法。
6. 前記ひずんだパターンが前記光受信機によって受信される場所のロケーションを決定するステップをさらに備え、
   前記深度マップを生成するステップが、前記ひずんだパターンが前記光受信機によって受信される場所の前記ロケーション、および前記光受信機に対する前記光送信機の前記傾斜角に基づいて、前記深度マップを生成するステップを備える、
   請求項5に記載の方法。
7. 前記生成された深度マップを受信するステップと、
   前記1つまたは複数の画像に対するグラフィカルデータを、前記生成された深度マップに基づいて生成するステップと
   をさらに備える、請求項1に記載の方法。
8. デバイスが前記光送信機および前記光受信機を含み、前記光送信機または前記光受信機のうちの一方が、前記デバイスの面と平行であり、前記光送信機または前記光受信機のうちの他方が、前記デバイスの前記面に対して傾斜している、請求項1に記載の方法。
9. 前記光送信機が前記光受信機に対して角度をなしておらず前記送信機光学軸が前記受信機光学軸に交差しない場合と比較して、前記光送信機および前記光受信機によって生成される近距離場視野(FOV)が、前記光送信機および前記光受信機を含むデバイスのより近くにある、請求項1に記載の方法。
10. 画像処理のためのデバイスであって、
    構造化光を送信するように構成された光送信機であって、送信機光学軸に対して第1の画角を有する光送信機と、
    前記構造化光の反射を受信するように構成された光受信機であって、前記受信機が、受信機光学軸に対して第2の画角を有し、前記光送信機は、前記送信機光学軸が前記受信機光学軸に交差するように前記光受信機に対して角度をなし、前記光受信機に対する前記光送信機の位置が一定である、光受信機と、
    1つまたは複数の画像に対する深度マップを、前記構造化光の前記受信された反射に基づいて生成するように構成された処理回路と
    を備えるデバイス。
11. 前記深度マップの生成全体の間、前記光送信機が同じ構造化光を送信する、請求項10に記載のデバイス。
12. 前記処理回路が、
    前記構造化光の前記受信された反射における各要素の位置を、前記光受信機に対する前記光送信機の傾斜角および前記光受信機の焦点距離に基づいてスケーリングする
    ように構成される、請求項10に記載のデバイス。
13. 前記深度マップを生成するために、前記処理回路が、前記構造化光の前記受信された反射における各要素の前記スケーリングされた位置、前記構造化光の前記受信された反射におけるそれぞれの要素に対応する前記構造化光における各要素、前記光受信機の前記焦点距離、および前記光送信機と前記光受信機との間の距離に基づいて、前記深度マップを生成するように構成される、請求項12に記載のデバイス。
14. 前記光送信機が、前記構造化光を介してパターンを送信するように構成され、前記光受信機が、前記反射を介してひずんだパターンを受信するように構成され、前記処理回路が、前記光受信機に対する前記光送信機の傾斜角を補償することなく、前記受信されたひずんだパターンが前記送信されたパターンに対応するかどうかを決定するように構成される、請求項10に記載のデバイス。
15. 前記処理回路が、前記ひずんだパターンが前記光受信機によって受信される場所のロケーションを決定するように構成され、前記深度マップを生成するために、前記処理回路が、前記ひずんだパターンが前記光受信機によって受信される場所の前記ロケーション、および前記光受信機に対する前記光送信機の前記傾斜角に基づいて、前記深度マップを生成するように構成される、請求項14に記載のデバイス。
16. 前記処理回路が、第1の処理回路を備え、前記デバイスが、
    前記第1の処理回路から、前記生成された深度マップを受信し、
    前記1つまたは複数の画像に対するグラフィカルデータを、前記生成された深度マップに基づいて生成する
    ように構成された第2の処理回路をさらに備える、
    請求項10に記載のデバイス。
17. 前記第1の処理回路および前記第2の処理回路が同じ処理回路である、請求項16に記載のデバイス。
18. 前記デバイスが、
    ワイヤレス通信デバイス、ラップトップ、デスクトップ、タブレット、カメラ、およびビデオゲーミングコンソール
    のうちの1つを備える、請求項10に記載のデバイス。
19. 前記光送信機または前記光受信機のうちの一方が、前記デバイスの面と平行であり、前記光送信機または前記光受信機のうちの他方が、前記デバイスの前記面に対して傾斜している、請求項10に記載のデバイス。
20. 前記光送信機が前記光受信機に対して角度をなしておらず前記送信機光学軸が前記受信機光学軸に交差しない場合と比較して、前記光送信機および前記光受信機によって生成される近距離場視野(FOV)が、前記光送信機および前記光受信機を含む前記デバイスのより近くにある、請求項10に記載のデバイス。
21. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、画像処理のためのデバイスの1つまたは複数のプロセッサに、
    構造化光を光送信機に送信させることであって、前記光送信機が、送信機光学軸に対して第1の画角を有する、送信させることと、
    1つまたは複数の画像に対する深度マップを、前記構造化光の受信された反射に基づいて生成することであって、前記受信された反射が、光受信機を用いて受信され、前記光受信機が、受信機光学軸に対して第2の画角を有し、前記光送信機は、前記送信機光学軸が前記受信機光学軸に交差するように前記光受信機に対して角度をなし、前記光受信機に対する前記光送信機の位置が一定である、生成することと
    を行わせる、コンピュータ可読記憶媒体。
22. 前記深度マップの生成全体の間、前記光送信機を用いて送信される前記構造化光が同じである、請求項21に記載のコンピュータ可読記憶媒体。
23. 前記1つまたは複数のプロセッサに、
    前記構造化光の前記受信された反射における各要素の位置を、前記光受信機に対する前記光送信機の傾斜角および前記光受信機の焦点距離に基づいてスケーリングさせる
    命令をさらに備える、請求項21に記載のコンピュータ可読記憶媒体。
24. 画像処理のためのデバイスであって、
    構造化光を送信するための手段であって、送信機光学軸に対して第1の画角を有する送信するための手段と、
    前記構造化光の反射を受信するための手段であって、受信機光学軸に対して第2の画角を有し、送信するための前記手段は、前記送信機光学軸が前記受信機光学軸に交差するように、受信するための前記手段に対して角度をなし、送信するための前記手段の位置が、受信するための前記手段に対して一定である、手段と、
    1つまたは複数の画像に対する深度マップを、前記構造化光の前記受信された反射に基づいて生成するための手段と
    を備えるデバイス。
25. 前記深度マップの生成全体の間、送信するための前記手段が同じ構造化光を送信する、請求項24に記載のデバイス。
26. 前記構造化光の前記受信された反射における各要素の位置を、受信するための前記手段に対する送信するための前記手段の傾斜角および受信するための前記手段の焦点距離に基づいてスケーリングするための手段
    をさらに備える、請求項24に記載のデバイス。
27. 前記生成された深度マップを受信するための手段と、
    前記1つまたは複数の画像に対するグラフィカルデータを、前記生成された深度マップに基づいて生成するための手段と
    をさらに備える、請求項24に記載のデバイス。
28. 送信するための前記手段または受信するための前記手段のうちの一方が、前記デバイスの面と平行であり、送信するための前記手段または受信するための前記手段のうちの他方が、前記デバイスの前記面に対して傾斜している、請求項24に記載のデバイス。
29. 送信するための前記手段が受信するための前記手段に対して角度をなしておらず前記送信機光学軸が前記受信機光学軸に交差しない場合と比較して、送信するための前記手段および受信するための前記手段によって生成される近距離場視野(FOV)が、送信するための前記手段および受信するための前記手段を含む前記デバイスのより近くにある、請求項24に記載のデバイス。

Images