JP2015529372A - ディスプレイ一体型カメラアレイ - Google Patents

Abstract

モーションまたはジェスチャが、モーションまたはジェスチャを提供するために用いられる特徴の画像を取り込み、次にこの画像を分析することにより電子デバイスに入力を提供することができる。従来のカメラは限定された視野を有し、デバイスの近くで、視野の外に「デッドゾーン」を作り出す。種々の実施形態は、大型で低解像度のカメラとして動作するように構成される、ディスプレイ画面の裏に位置付けられる検出器のアレイを活用する。このアレイは、デッドゾーンの少なくとも一部分を網羅するために十分なデバイスの距離内で物体を解像し得る。いくつかの実施形態において、デバイスは、デッドゾーン内で物体によって反射され、検出器によって検出される、ＩＲ光を放射するための１つ以上の赤外線（ＩＲ）放射体を含み得る。異なる場所における複数の放射体の使用は、少なくともいくつかの深度情報がアレイ画像から決定されることを可能にする。【選択図】 図２（ａ）

Description

コンピューティングデバイスがより一層の処理能力および機能性を提供するので、ユーザは拡大するさまざまな方途で入力を提供することができる。例えば、ユーザは、モーションまたはジェスチャを実施することにより、コンピューティングデバイスからある距離を置いてコンピューティングデバイスを制御することができ得、このジェスチャはユーザの手または指を用いて実施される。ある特定のデバイスについて、このジェスチャはユーザを見ることができ、デバイスがこのユーザによって実施されるモーションを決定することを可能にするカメラによって取り込まれる画像によって決定される。いくつかの場合において、しかしながら、ユーザの少なくとも一部分がカメラの視野内にない場合があり、これはデバイスが実施されているモーションまたはジェスチャを決定することに成功することを妨げ得る。容量性の触覚手法がデバイスのタッチ画面に非常に近くにある指の存在を感知し得るが、この指の場所または動きが決定されることを妨げる、カメラの視野の外の大きなデッドゾーンが未だ存在する。

本開示に従う種々の実施形態が、以下の図面を参照して記載される。

ユーザが種々の実施形態に従いコンピューティングデバイスとやりとりする例示的な状況を示す。 種々の実施形態に従って利用され得るカメラアレイの例の図を示す。 種々の実施形態に従って利用され得るカメラアレイの例の図を示す。 種々の実施形態に従って利用され得るカメラアレイの例の図を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを用いて取り込まれ得る画像の例を示す。 種々の実施形態に従うカメラアレイを操作するための例示的な工程の一部分を示す。 種々の実施形態に従うカメラアレイを操作するための例示的な工程の一部分を示す。 種々の実施形態に従って利用され得るカメラ要素の組み合わせを用いて特徴の場所を決定するための例示的な手法を示す。 種々の実施形態に従って利用され得るカメラ要素の組み合わせを用いて特徴の場所を決定するための例示的な手法を示す。 種々の実施形態に従って利用され得るカメラ要素の組み合わせを用いて特徴の場所を決定するための例示的な手法を示す。 種々の実施形態に従って利用され得るカメラ要素の組み合わせを用いて特徴の場所を決定するための例示的な手法を示す。 種々の実施形態に従って利用され得る例示的なデバイスを示す。 図６に示されるものなどのデバイスの中に利用され得る例示的な一連の構成要素を示す。 種々の実施形態が実施され得る例示的な環境を示す。

本開示の種々の実施形態に従うシステムおよび方法は、電子デバイスに入力を提供するための従来の手法において経験される、上述および他の欠点のうちの１つ以上を克服し得る。特に、本明細書に記載の手法は、モーション、ジェスチャ、またはユーザによって実施される他のかかるアクションを決定する目的のために、カメラ要素の組み合わせを利用してユーザの特徴（またはユーザによって保持される物体など）の画像および／またはビデオを取り込む。少なくともいくつかの実施形態において、１つ以上の従来のカメラが、ユーザの指先、またはユーザによって保持される物体などのユーザの特徴の画像を取り込むために用いられ得るが、特徴（または物体）はデバイスの少なくとも１つのカメラの視野の中にある。デバイスはまた、比較的低解像度のカメラアレイを含み得、これはアレイの要素がディスプレイ画面を通過する光（例えば、周辺またはＩＲ）を取り込み得るように、統合されるか、またはデバイスのディスプレイ画面（または他の少なくとも半透明の要素）に近接して位置付けされ得る。

少なくともいくつかの実施形態において、アレイのそれぞれの素子は、フォトダイオードなどの別個の光または放射線検出器である。個々の検出器は、少なくともいくつかの実施形態においてディスプレイ画面の「後ろ」に位置付けられ得、いくつかの実施形態において周辺光がこの要素によって検出されることを防ぐことができるＩＲ透過シートまたは他のかかる要素の後ろに位置付けられ得、ディスプレイ画面が能動的にコンテンツを表示しているときでさえもカメラアレイが動作することを可能にする。１つ以上の照明要素が、近くの物体によって反射され、アレイによって検知される光を透過するように構成され得る。検出器は、少なくともいくつかの実施形態においてレンズを有しないため、アレイは、アレイからの距離の範囲内にわたり識別できる画像を取り込むことができるのみとなる。放射体は、ＩＲ透過シートを通過し得、かつ画面の動作と独立した、画面の近くの物体の場所の決定を可能にし得るＩＲを放射し得る。少なくともいくつかの実施形態において、画像は、検出されている配向または特徴の他の態様を決定するために有用な深度情報を取得するために、異なるＩＲ放射体からの異なる方向の照明によって取り込まれ得る。

多くの他の代替および変形が、種々の実施形態のうちの少なくともいくつかに関連して、以下に説明され、提案される。

図１は、種々の実施形態の態様が実施され得る例示的な環境１００を図示している。この例において、ユーザ１０２は、ユーザの指１０６を用いてコンピューティングデバイス１０４にジェスチャ入力を提供することを試みている。携帯型コンピューティングデバイス（例えば、電子書籍リーダ、スマートフォン、またはタブレットコンピュータ）が示されているが、入力を受け取り、決定、および／または処理することができる任意の電子デバイスが本明細書に記載の種々の実施形態に従って用いられ得るということが理解されるべきであり、このデバイスは、例えば、とりわけデスクトップコンピュータ、ノート型コンピュータ、個人携帯情報端末、ビデオゲーム機、テレビセットトップボックス、スマートテレビ、および携帯型メディアプレーヤを含み得る。

この例において、コンピューティングデバイス１０４は、コンピューティングデバイス１０４に対する指の相対的な場所を決定するためにコンピューティングデバイス上で実行されるアプリケーションによって分析され得る、ユーザの指１０６のビューを含む画像情報を取り込むように構成される１つ以上のカメラ１０８を含み得る。画像情報は、周辺光または赤外線（かかる選択肢の中でもとりわけ）、を用いて取り込まれる静止画像またはビデオ情報であり得る。さらに、同一または異なる種類の任意の適切な数のカメラが種々の実施形態の範囲内で用いられ得る。このアプリケーションは、デバイスへのモーションおよび／またはジェスチャ入力を可能にするために、取り込まれた画像情報によって分析することにより、指（または別のかかる物体）の位置を決定し得、かつ指の位置を経時的に追跡し得る。例えば、ユーザは、指を上下に動かして音量を調節したり、指を平面で動かして仮想カーソルを制御したりし得る。

カメラ情報に依存することは、しかしながら、それぞれのカメラが広角レンズ（すなわち、例えば約１２０度の取り込み角度を持つ）についてさえも限定された視野を概して有するため、ある特定の欠点を有し得る。魚眼または他の広角レンズでさえも限定された視野を有し、または視野の端近くで少なくともいくらか歪曲された画像を提供する。したがって、コンピューティングデバイスの周りに、物体がカメラのうちの任意のものの視野の外に出得る、概して１つ以上のデッドゾーンが存在する。指先が少なくとも１つのカメラの視野に入るまで、デバイスはカメラのうちの任意のものから取り込まれた画像の中に指先を場所特定することができず、ゆえに特徴のモーションを決定することも追跡することもできない。

種々の実施形態に従う手法は、デバイスのディスプレイ画面または他のかかる要素を通過する光（例えば、周辺またはＩＲ）を取り込むために位置付けられるカメラアレイ（またはセンサアレイ）を用いることにより、コンピューティングデバイス上の１つ以上のカメラの視野の間および／または外にあるデッドゾーンのうちの少なくともいくつかを考慮し得る。カメラアレイは、種々の実施形態に従うディスプレイ要素と統合されるか、またはそれに対して別様に位置付けられ得る。複数のディスプレイ要素を持つデバイスにおいて、デバイス上の少なくとも１つの従来のカメラの視野の外にあり得る、これらの要素の近くのモーション、ジェスチャ、ホバー、または他のアクションを検出するために利用される複数のカメラアレイが存在し得る。

図２（ａ）は、種々の実施形態に従って利用され得る例示的なカメラアレイの断面図２００を示す。この例において、アレイは、ディスプレイ画面の種類（例えば、ＬＣＤまたはＯＬＥＤ）に少なくとも部分的に基づいて少なくとも半透明であり得る少なくともディスプレイレイヤ２０２を含み得るディスプレイ画面の「後ろ」に位置付けられる。ディスプレイ画面の種類により、かかる目的のために知られる、または用いられる、種々の他のレイヤおよび構成要素もまた利用され得る。例えば、ＬＣＤディスプレイは、ディスプレイ画面上に画像を生成するために、光２０６（少なくとも１つのＬＥＤなどのデバイス上の光源から）を受容し、ディスプレイレイヤ２０２を通るように方向づけるためのバックライトレイヤ２０４を含み得る。本例のカメラアレイは、ディスプレイレイヤ２０２上の、またはこれを通過するコンピューティングデバイスの外からの光入射を取り込むことができるように、ディスプレイ画面に面して側面に位置付けられる検出器を持ち、プリント基板（ＰＣＢ）、フレックス回路、または他のかかる（実質的に平らまたは平面の）基板２１２上に位置付けられる、フォトダイオードなどの検出器のアレイ２１４を含む。しかしながら、さまざまな種類の単一値または多値の光または放射線センサもまた種々の実施形態の範囲内で用いられ得るということが理解されるべきである。さらに、ディスプレイの他のレイヤは、いくつかの実施形態において別個の基板レイヤが用いられないように、基板として機能し得るか、または種々の放射体および／または検出器を支持し得る。バックライトレイヤ２０６を持つディスプレイにおいて、検出器は、基板２１２上（中）の回路、ライン、および／または他の構成要素が、とりわけ複雑性またはコストを含む要因のために少なくともいくつかの実施形態において概して透明でない場合があるため、ディスプレイレイヤ２０２に対してバックライトレイヤ２０６の「後ろ」に位置付けられ得る。

この例において、検出器２１４は、他の構成もまた用いられ得るが、比較的一定した量で離間して規則的な間隔を置いて二次元に位置付けられる。この間隔は、それぞれの検出器のサイズ、ディスプレイ画面のサイズ、および／またはカメラアレイの所望の解像度に（他のかかる要因の中でもとりわけ）少なくとも部分的に基づいて決定され得る。少なくともいくつかの実施形態において、カメラアレイが近接カメラとして効果的に機能するように、検出器のいずれも集束レンズを含まない。レンズがないことは、指から戻る光をそれぞれの検出器に直接感知させ得、これは少なくともいくつかの実施形態において、画面から１〜２インチ未満などの相対的に短距離内にある指または他の物体についてのみ識別され得る。この範囲を超えるすべてのものはぼやけ過ぎて判読できないが、従来のカメラ構成についてのデッドゾーンがディスプレイ画面から約２インチ台またはそれ未満であり得るため、かかる範囲はデッドゾーン内の特徴のおおよその場所を少なくとも決定するには十分であり得る。

かかる手法は、レンズがないことが、携帯型コンピューティングデバイスなどの制限された空間を持つデバイスのために好適であり得るカメラアレイが比較的薄いということを可能にするため、利点を有する。さらに、アレイは比較的安価であり得、かつアレイにレンズを含むときに別様には必要とされ得る光学的位置合わせを必要としない。カメラアレイが網羅するように意図される距離が、上述のようにカメラのデッドゾーンの中などデバイスに比較的近いため、指先（または別のかかる物体）の位置がかかるレンズなしで決定され得るときに、レンズを追加することにはわずかな利点しか存在しない場合がある。

実質的に透明なＯＬＥＤディスプレイについてのいくつかの実施形態において、検出器は、ディスプレイレイヤを通過する周辺（または他の）光を取り込み得る。ＬＣＤディスプレイなどの表示デバイスについては、しかしながら、検出器は、検出器が飽和すること、または少なくとも取り込まれた画像データがディスプレイ画面上でレンダリングされている画像からの光によって支配または汚染されることを妨げるために、ディスプレイのリフレッシュタイム間に時限作動とされて画像を取り込む必要があり得る。少なくともいくつかのディスプレイ画面アセンブリは、光がデバイスの中へと方向付けられることを妨げる、および／またはディスプレイがコンテンツを表示していないときにディスプレイ画面を黒色（または別の適切な色）に見せ得る、少なくとも部分的に不透明なバックプレーンレイヤ２０８を含む。バックプレーンレイヤ２０８がディスプレイ画面とともに用いられる場合、検出器は、バックプレーンの中の穴または開口を通過する光を取り込むために位置付けられ得るか、または検出器は、他のかかる選択肢の中でもとりわけ、バックプレーンレイヤを少なくとも部分的に通過され得る。

図２（ａ）の例において、検出器は、ディスプレイレイヤ２０２を通過する（少なくとも）赤外（ＩＲ）光を取り込むように構成される。少なくともいくつかの実施形態において、反射したＩＲ光の少なくとも一部分がフォトダイオード２１４によって検出され得るように、デッドゾーン内の任意の物体によって反射され得るＩＲ光が照射されるようにするために、１つ以上のＩＲ放射体２１６（例えば、ＩＲ ＬＥＤ）がデバイス上に位置付けられ得る。任意の適切な数のＩＲ放射体がデバイス上の任意の適切な場所に位置付けられ得るが、本例において、光をディスプレイレイヤ（図中）を通って「上」に方向づけ、反射された光がこのレイヤを通って「下」に方向づけられるように、基板２１２上に位置付けられる複数の放射体２１６が存在する。「上」および「下」などの方向は、説明を簡単にするために用いられており、特定の実施形態について別様に記載のない限り、必要とされる方向であるように解釈されるべきでないということが理解されるべきである。さらに、上述のように、１つ以上の放射体は、少なくともいくつかの実施形態において、ディスプレイのバックライトのための光源の間に散在されるなど（他のかかる選択肢の中でもとりわけ）基板から離れて位置付けられ得る。放射体および検出体は、例えば、ＩＲの放射および検出器による検出の時間を測るために、基板２１２の端に位置付けられ得る制御回路２１８および／または構成要素を用いて制御および／または操作され得る。制御回路は、検出器から収集される画像データを収集および／または分析するための１つ以上のプロセッサを含み得るか、またはこのデータをデバイスの少なくとも１つの他のプロセッサ（図示せず）に伝達し得る。いくつかの手法においてはこの読み取りは少なくとも部分的に並行して実施され得るが、制限された数が逐次読み取り工程が比較的迅速に実施されることを可能にし得るため、それぞれの検出器をアドレス指定するための行／列選択工程を行い得る離散読み出し回路が用いられ得る。

上述のように、ディスプレイ画面は、ディスプレイレイヤ２０２の「後ろ」に位置付けられるバックプレーン２０８または他の少なくとも部分的に不透明なレイヤ（例えば、一片の黒色のプラスチックまたは類似の材料）を有し得る。少なくともいくつかの実施形態において、このレイヤは、可視スペクトルにわたり実質的に不透明であり得るが、少なくとも一部分のＩＲスペクトルの変換を可能にし得る。したがって、放射体２１６および検出体２１４は、バックプレーンの後ろに位置付けられ得、かつバックプレーン２０８を通過するＩＲをそれぞれ放射および取り込むように構成され得る。バックプレーンレイヤを通過するＩＲを利用することができる利点は、検出がディスプレイ画面の動作と独立して任意の時に発生し得ることである。さらに、デバイス上への周辺光入射が、検出器が専用のＩＲ検出器ではないが、可視およびＩＲスペクトルを含む広範囲な波長にわたる光を取り込み得る場合などに、検出器によって検出される光を干渉することができない。さらに、カメラアレイのかかる位置決めは、ディスプレイがコンテンツを表示していないときにアレイがユーザによって可視となることを妨げ得る。バックプレーンを用いないか、または放射体および／または検出器がバックプレーンの中の開口に位置付けられる実施形態について、放射体および検出体は実質的に黒色であり得、黒色の構成要素によって取り囲まれ得るが、まだ少なくともいくぶんはデバイスのユーザに可視となり得る。いくつかの実施形態において、散光表面は、デバイスのユーザへの検出器の見えを低減するため、バックプレーンの上方に位置付けられ得る。他の実施形態において、検出器は、少なくともいくつかの実施形態において、別様には白色のバックライトに対して検出器が暗い点として出現しないように、検出器のレンズをコーティングすることにより、白色に見えるようにされ得る。

少なくともいくつかの実施形態において、放射体はまた、放射体もまた相対的に幅広い角度であり得るように、レンズを有しない場合がある。光の方向を少なくとも部分的に制御するために、ディスプレイレイヤ上に位置付けられるか、バックプレーンの一部としてか、または他の適切な場所に、ディスプレイレイヤ２０２と放射体２１６との間に位置付けられ得る薄膜導波路レイヤ２１０が用いられ得る。この薄膜は、放射体について放射角度を制限するように構成される、複数のチャネルまたは回折特性を有し得る。かかる手法は、異なる放射体から反射された光を判別することをさらに支援し得る。他の膜は、ディスプレイの端を越えてデッドゾーンの中央などに向かって光を方向づけし得る光導体または他の特性などを含み得る。光を集束および方向づけする能力はまた、デバイスの効率を高めることをも支援し得る。

図２（ｂ）は、種々の実施形態に従って利用され得るカメラアレイアセンブリの一部分の例示的な上面図２４０を図示している。この例において、フォトダイオードのアレイ２４４は、フレックス回路基板２４２の面積の大部分にわたり一定の間隔（例えば、約１〜２ミリ離間して）で置かれ、これはアレイが位置付けられるディスプレイ画面とサイズが同程度である。アレイは基板の１つ以上のより小さい領域に位置付けられ得、端まで位置付けられ得、または別様に配置され得るということが理解されるべきである。さらに、間隔は不規則であるか、または決められたパターンであり得、かつ本明細書の別の箇所に記載されるように、異なる数または密度のフォトダイオードがあり得る。一例において、一方向または両方向に約３０個、４０個、または８０個台のダイオードが存在し、一方で他の例において、アレイの中に数百個〜数千個の検出器が存在する。従来のカメラが典型的に数百万個の画素を含むため、このカメラアレイは比較的低解像度であるとみなされ得る。本例において、基板２４２の端の周囲にいくつかの放射体２４６が存在する。種々の実施形態において、任意の数の放射体（例えば、１つ以上のＩＲ ＬＥＤ）が用いられ得、かつ放射体は、基板の四隅、検出器の少なくとも一部分の間に散在するなど、他の適切な場所に位置付けられ得るということが理解されるべきである。いくつかの実施形態において、放射体を基板の端の周囲に設置することは、デッドゾーンの中、または別様にカメラアレイの十分に近くにおいて、特徴の比較的均一な照明を可能にし得る。バックライトレイヤを含む実施形態において、バックライトは順に作動される領域に分割され得る。１つの領域のための検出器は、この領域のこの検出器が飽和しないように、対応する領域が作動されていないときに光を取り込み得る。

少なくともいくつかの実施形態が、異なる方向から異なる時間にＩＲを放射するために放射体の散開した配列を活用し得、これは異なる時間に特徴の異なる部分に照明が当たるようにし得る。かかる情報は、奥行、形状、および別様にはカメラアレイによって支持される近接カメラ手法で取得可能であり得ないかかる他の方法を取得するために用いられ得る。例えば、図２（ｃ）の状況２８０を検討する。基板の側面または隅にある１つ以上の放射体２８２からの光が起動され、これは起動された放射体の方向に向かう指２８４の領域に照明が当てられるようにする。図から明白であるように、照明を当てられた領域は、反対側または別の隅にある放射体２８６が同時に放射している場合、または放射体２８６が自身によって放射している場合に照明を当てられ得る領域とは異なる。さらに、反射された光を受容する検出器は、それぞれの方向について異なる。特徴が近接画像から区別されることができないが、異なる画像の中で物体の異なる領域に照明を当てる能力は、この物体についての追加情報が取得されることを可能にし得る。

例として、図３（ａ）は、すべての放射体が起動されたときに取得され得る例示的な画像３０２のビュー３００を図示している。本開示を踏まえて明白であるように、かかる画像は、それぞれの検出器から情報を取得すること、およびそれぞれの検出器の相対的な位置に少なくとも部分的に基づいてこの情報を単一の画像に組み立てることによって生成される。図示されるように、照明の領域３０４は画像の中に含まれ、これはカメラアレイの近くの物体の場所に対応する。領域３０４は物体の相対的な場所の決定に有用であり得るが、上述のように、近接カメラの制限に少なくとも部分的に起因して、わずかな追加情報しか存在しない。図３（ｂ）のビュー３１０において、しかしながら、図示された画像３１２は、物体に照明を当てるためにアレイの特定の面または隅の上にある放射体が用いられるため、図３（ａ）の画像に対して物体の一部分のみが照明を当てられる、物体に対応するわずかに異なる領域３１４を示す。図３（ｂ）における画像は、照明がディスプレイの左下の隅にある放射体から発せられる（図の配向に少なくとも部分的に基づいて）状況に対応し得る。同様に、図３（ｃ）、３（ｄ）、および３（ｅ）における物体のビュー３２０、３３０、３４０は、右上、左上、および右下にあるアレイの放射体によってそれぞれが照明を当てられた物体の領域３２４、３３４、３４４を図示している。図示されるように、それぞれのビューが深度情報をわずかに含むかまたは含まないにもかかわらず、物体が照明を当てられる方向に少なくとも部分的に基づいて、それぞれのビューが物体を表すわずかに異なる形状を含む。これらの画像は、図３（ｆ）のビュー３５０に図示されるような画像３５２を取得するために、マッピングおよび画素値の追加、または別のかかる工程を通じて統合され得る。画像３５２において、ほとんどの、またはすべての放射体によって照明を当てられ、よって取り込まれた画像のぞれぞれの中の明るい領域として見える物体の一部分に対応する明るい中央領域３５６が図示されている。明るい中央領域３５６の外にあるより低輝度の領域３５４もまた存在する。単一のより低輝度として示されるが、種々の実施形態に従い、画像部分内および間における輝度の変動が発生し得るということが理解されるべきである。より低輝度の領域は、すべてではない放射体によって、または少なくとも１つの放射体によって照明を当てられた物体の１つ以上の部分に対応する。領域が出現する画像が少ないほど、得られる統合された画像３５２においてこの面積はより低輝度に見え得る。輝度におけるこれらの差異は、個々の画像のいずれにおいても利用可能でなかった物体の形状および／または配向についてのいくらかの空間的情報を提供し得る。例えば、この物体は実質的に指先に対応する明るい領域３５６を持つ指などの細長い物体であり得るということが図３（ｆ）から決定され得る。より低輝度の領域３５４の形状から、指が画面（図中）の右下から現れるようだということが決定され得る。少なくともいくつかの実施形態において、より高輝度の領域に対するより低輝度の領域の相対的形状はまた、画面に対して直角に位置付けられる指が画像中では円形となり、画面に対して平行に位置付けられる指が画像中では非常に細長い形状となる傾向があるため、明るい中央領域に対する相対的伸長の量における差異を有するその間の角度の差異を用いて指の角度を推定するためにも用いられ得る。ゆえに、統合された画像３５２は、指先がある位置を決定するために用いられ得るだけでなく、統合された画像中の見かけの物体の形状に基づいて指がどこを指しているかを推定することをも支援し得る。

さらに、画像中の明るい中央領域３５６および／または輝度のより低い外側領域３５４のサイズは、検出器により近い物体が統合された画像中でより大きく見えるため、物体の距離を推定するために用いられ得る。例えば、ユーザの指先のおおよその直径（または他の寸法）を知ることにより、デバイスは、画像中に見えているサイズに基づいて、指先への距離を推定し得る。物体までの距離は、デバイスへの入力をより正確に受け取るために、物体がどこを指しているかをより正確に推定するために、統合された画像から取得される角度情報とともに用いられ得る。種々の他の種類の情報もまた、種々の実施形態の範囲内で決定および／または利用され得る。さらに、手または指の少なくとも一部分が、従来の、より高解像度のカメラのうちの少なくとも１つの視野の中で可視である場合、従来のカメラビューからの位置情報は、指先のおおよその場所および指または他のかかる物体の配向をより正確に決定するために、低解像度、大型フォーマットのカメラアレイからの情報とともに用いられ得る。

図４（ａ）は、種々の実施形態に従って利用され得る例示的な工程４００を図示している。しかしながら、別様に記載されない限り種々の実施形態の範囲内で、類似または代替的な順番でまたは並行して実施される、追加的な、より少ない、または代替的なステップが存在し得ることが理解されるべきである。この例において、コンピューティングデバイス上で赤外線照明源がトリガ４０２されるか、または別様に起動される。論じたように、この光源は検出器のアレイと共通して回路又は基板上に置かれ得、コンピューティングデバイス上のディスプレイ画面を通って光を方向づけするように構成され得る。近くの物体から反射される赤外線は、ディスプレイ画面を通って受け４０４戻され得、検出器のアレイの少なくとも一部分を用いて検出４０６され得る。上述のように、それぞれの検出器は、フォトダイオードまたは他の単独画素単一値検出器であり得、各々の位置で少なくとも単一の輝度値を生成する。データセット（またはいくつかの実施形態において画像）は、検出器の輝度値および検出器の相対位置を用いて生成４０８され得る。データセットは、比較的高い輝度、画素、または色値の領域の場所を特定することなどにより、物体の場所を特定４１０するために分析され得る。デバイスに対する物体の相対的な場所は、データセットによって決定されるように高輝度領域の場所に少なくとも部分的に基づいて決定４１２され得る。この場所に対応するユーザ入力が決定４１４され得、デバイス上で実行しているアプリケーションなどの適切な場所へと提供され得る。

図４（ｂ）は、複数の照明源がコンピューティングデバイス上に存在するときに利用され得るかかる工程の追加的部分４２０を図示している。この例示的な部分において、物体の場所の決定のために用いられる照明源のそれぞれが順にトリガ４２２される。上述のように、これは、ディスプレイ領域の四隅または側面のそれぞれからの照明（他のかかる選択肢の中でもとりわけ）を含み得る。照明源は、単一の放射体または一群の放射体を含み得る。順にトリガされるそれぞれの照明要素について、複数の検出器によって取り込まれる光を用いて、各々のデータセットを生成するためのステップ４０４〜４０８などのステップが実施され得る。統合データセットが次にそれぞれの照明について生成される個々のデータセットを用いて順に作成４２６される。論じたように、統合データセットは、物体からの光が同一の検出器によって取り込まれる画像の数に少なくとも部分的に基づいて異なる輝度を持つ領域を含み得る。物体の相対的な場所は、ステップ４１２に対して記載されるように、統合データセットの中の最も高い輝度の領域の場所を特定することによって決定４２８され得る。統合データセットを用いると、しかしながら、物体のおおよその配向を決定するために、輝度変化もまた分析４３０され得る。提供されるユーザ入力が次に、決定された物体の場所だけでなく配向をも用いて決定４３２され得る。論じたように、少なくともいくつかの実施形態において、入力の決定を支援するために、距離推定もまた行われ得る。

上述のように、カメラアレイからの情報は、デバイス上のどこかにある従来のカメラ、または少なくともより高い解像度のカメラから取得される情報を補うため、これらのカメラの視野間のデッドゾーンを補完するなどのために用いられ得る。図５（ａ）、（ｂ）、（ｃ）、および（ｄ）は、ユーザの少なくとも１つの特徴の相対距離および／または場所を決定するための、種々の実施形態に従って利用され得る１つの例示的な手法を示す。この例において、入力は、本明細書の別の箇所において検討および提示されるように、種々の他の特徴もまた用いられ得るが、デバイスに対するユーザの指先の位置５０４を観察することによってコンピューティングデバイス５０２に提供され得る。いくつかの実施形態において、単一のカメラがユーザの指先を含む画像情報を取り込むために用いられ得、相対的な場所が画像中の指先の位置から二次元に決定され得、かつ距離が画像中の指先の相対的なサイズによって決定され得る。他の実施形態において、距離検出器または他のかかるセンサが距離情報を提供するために用いられ得る。本例において図示されるコンピューティングデバイス５０２は、その代わりに、デバイスに対する１つ以上の特徴の相対位置を三次元で決定するためにデバイスが立体撮像（または別のかかる手法）を利用し得るように、十分な分離を持ってデバイス上に位置付けられる、少なくとも２つの異なる画像取り込み要素５０６、５０８を含む。この例において、デバイスの最上部および底部の近くに２つのカメラが示されるが、同一または異なる種類の追加的または代替的な撮像要素がデバイス上の種々の他の場所に種々の実施形態の範囲内で存在し得るということが理解されるべきである。さらに、「最上部」および「上部」という用語は、説明を明確にするために用いられており、別様に記載されない限り特定の配向を必要とするように意図されていないということが理解されるべきである。この例において、上部カメラ５０６は、この特徴が上部カメラ５０６の視野５１０内にあり、かつ上部カメラとこれらの特徴との間に障害物がない限り、ユーザの指先５０４を見ることができる。コンピューティングデバイス上で実行している（または別様にコンピューティングデバイスと通信している）ソフトウェアが、カメラの画角、この情報が現在取り込まれているズームレベル、および任意の他のかかる関連情報などの情報を決定することができる場合、このソフトウェアは、上部カメラに対する指先のおおよその方向５１４を決定し得る。いくつかの実施形態において、超音波検出、特徴のサイズ分析、能動照明を通じた光度分析、または他のかかる距離測定手法などの方法もまた、位置決定をしやすくするために用いられ得る。

この例において、場所の決定を支援するため、および立体撮像を通じた距離決定を可能にするために、第２のカメラが用いられる。図５（ａ）の下部カメラ５０８はまた、この特徴が下部カメラ５０８の視野５１２内に少なくとも部分的にある限り、指先５０４を撮像することもできる。上述のものに類似の工程を用いて、適切なソフトウェアは、ユーザの指先に対するおおよその方向５１６を決定するために、下部カメラによって取り込まれる画像情報を分析し得る。この方向は、少なくともいくつかの実施形態において、画像の中央の（または他の）点からの距離を見てこれをカメラの視野の角度と比較することによって決定され得る。例えば、取り込まれた画像の中ほどにある特徴は、各々の取り込み要素の真正面にある可能性が高い。この特徴が画像のまさに端にある場合、特徴は取り込み要素の画像面に対して直角のベクトルから４５度の角度である可能性が高い。端と中央との間の位置は、当業者には明白となるように、および立体撮像についての技術分野で知られているように、中間角度に対応する。少なくとも２つの画像取り込み要素からの所与の特徴についての方向ベクトルが決定されるとすぐに、これらのベクトルの交点が決定され得、これは各々の特徴の三次元のおおよその相対位置に対応する。

いくつかの実施形態において、単一のカメラからの情報を、ユーザの特徴までの相対距離を決定するために用いることができる。例えば、デバイスは、デバイスに入力を提供するために用いられる特徴（例えば、指、手、ペン、またはタッチペン）のサイズを決定し得る。取り込まれた画像情報における相対的サイズを観察することにより、デバイスは特徴への相対距離を推定し得る。この推定された距離は、単一のカメラまたはセンサ手法を用いた場所決定を支援するために用いられ得る。

かかる例示的な手法をさらに説明して、図５（ｂ）および図５（ｃ）は、図５（ａ）のカメラ５０６、５０８を用いて指先を取り込み得る例示的な画像５２０、５４０を図示している。この例において、図５（ｂ）は、図５（ａ）の上部カメラ５０６を用いて取り込まれ得る例示的な画像５２０を図示している。１つ以上の画像分析アルゴリズムが、画像を分析してパターン認識、形状認識、またはユーザの指先、親指、手、または他のかかる特徴などの対象となる特徴を識別するための別のかかる工程を実施するために用いられ得る。特徴検出、顔特徴抽出、特徴認識、立体視感知、文字認識、属性推定、または放射基底関数（ＲＢＦ）分析手法などを含み得る画像中の特徴を識別するための手法は当技術分野でよく知られており、本明細書に詳細に記載されない。特徴、ここではユーザの手５２２を識別するとすぐに、対象となる少なくとも１つの点５２４、ここではユーザの人差し指の先が決定される。上述のように、ソフトウェアは、指先への相対的な方向を決定するために、カメラについての情報とともにこの点の場所を用い得る。図５（ｃ）に図示されるように、手５４２が位置特定され、かつ対応する点５４４への方向が決定される、下部カメラ５０８によって取り込まれた画像５４０とともに類似の手法が用いられ得る。図５（ｂ）および図５（ｃ）に図示されるように、特徴の相対位置において少なくとも部分的にカメラの分離に起因するオフセットがあり得る。さらに、対象となる特徴の三次元の物理的な場所に起因するオフセットがあり得る。三次元の指先の位置を決定するために方向ベクトルの交差する点を探すことにより、決定される正確性のレベル内で対応する入力が決定され得る。より高い正確性が必要とされる場合は、種々の実施形態においてより高い解像度および／または追加的な要素が用いられ得る。さらに、相対位置を決定するための任意の他の立体手法または類似の手法もまた種々の実施形態の範囲内で用いられ得る。

図５（ａ）に見られるように、しかしながら、デバイス上の画面の表面の近くにカメラの視野の外に出る領域が存在し得、これはデバイスのカメラによって取り込まれる画像を用いて指先または他の特徴の場所が決定され得ない（少なくとも正確または迅速に）「デッドゾーン」を作り出す。

図５（ｄ）は、デバイス５６２が各々の視野にわたり画像を取り込む能力をそれぞれが有する一対の前向きのカメラ５６４、５６６を含む、例示的な構成５６０を図示している。デバイスのディスプレイ画面５６８近くの指先または他の特徴がこれらの視野のうちの少なくとも１つの中に入ると、デバイスは指先の場所を決定するためにこれらのカメラによって取り込まれる画像またはビデオを分析し得る。ディスプレイの近くの視野の外のデッドゾーンの中の位置を考慮するために、デバイスは、本明細書に記載されるように、ディスプレイ画面の表面または表面の近くの位置を検出し得る、ディスプレイ画面の後ろに位置付けられるカメラアレイを利用し得る。レンズを有しない検出器の性質に起因して、任意の詳細を解像する能力は制限される。論じたように、しかしながら、カメラアレイの有効範囲５７０は、デッドゾーンの少なくとも一部分を網羅し得、かつ少なくともいくつかの実施形態において、少なくとも部分的に視野に重なり得る。かかる手法は、指先がディスプレイ画面の所与の距離内にあるときに、指先が従来のカメラによって見えるか否かに関わらず、指先または特徴の場所が検出されることを可能にする。かかる手法はまた、物体がデッドゾーン内外を通過するにつれて、指または他の物体が追跡されることを可能にする。超音波検出、距離検出、光学分析などの他の場所検出手法も用いられ得る。

図６は、種々の実施形態に従って用いられ得る例示的な電子ユーザデバイス６００を図示している。携帯型コンピューティングデバイス（例えば、電子書籍リーダまたはタブレットコンピュータ）が示されるが、入力を受け取り、決定、および／または処理することが可能な任意の電子デバイスが本明細書に記載の種々の実施形態に従って用いられ得るということが理解されるべきであり、このデバイスは、例えば、デスクトップコンピュータ、ノート型コンピュータ、個人携帯情報端末、スマートフォン、ビデオゲーム機、テレビセットトップボックス、および携帯型メディアプレーヤを含み得る。この例において、コンピューティングデバイス６００は、正面にディスプレイ画面６０２を有し、これは通常の操作下において、ディスプレイ画面に面している（例えば、ディスプレイ画面としてのコンピューティングデバイスと同じ側）ユーザに情報を表示する。この例におけるコンピューティングデバイスは、少なくとも１つのカメラの少なくとも視野にわたり静止またはビデオ画像情報を取り込むための、少なくとも１つの従来のカメラ６０４または他の撮像要素を含む。いくつかの実施形態において、コンピューティングデバイスは、１つの撮像要素のみを含み得、他の実施形態において、コンピューティングデバイスは、いくつかの撮像要素を含み得る。それぞれの画像取り込み要素が、例えば、多くの他の可能性の中でもとりわけ、カメラ、電荷結合素子デバイス（ＣＣＤ）、モーション検出センサ、赤外線センサであり得る。コンピューティングデバイス上に複数の画像取り込み要素が存在する場合、画像取り込み要素は異なる種類であり得る。いくつかの実施形態において、少なくとも１つの撮像要素が、カメラが１８０度またはそれ以上などの広範な角度で画像を取り込むことを可能にする、魚眼レンズなどの少なくとも１つの広角光学要素を含み得る。さらに、それぞれの画像取り込み要素が、間断なく次のフレームを取り込むように構成されるデジタルスチルカメラまたはストリーミングビデオを取り込むことができるビデオカメラを備え得る。デバイスはまた、画像取り込みを支援するための、デバイスの周囲の周辺光の量を決定するための少なくとも１つの光センサ６０６および画像取り込みについて時限作動する照明の源を提供するための、白色光または着色ＬＥＤなどの少なくとも１つの照明要素６０８などの他の構成要素をも含み得る。

例示的なコンピューティングデバイス６００はまた、デバイスのユーザによって発話される単語またはコマンド、デバイスの近くで流れる音楽などの音声データを取り込むことができる少なくとも１つのマイク６０６または他の音声取り込むデバイスをも含み得る。この例において、マイクがデバイスのユーザによって話される単語を典型的によりよく取り込むことができるように、マイクはデバイスのディスプレイ画面と同一面上に設置される。例示的なコンピューティングデバイス６００はまた、デバイスがインターネット、セルラーネットワーク、ローカルエリアネットワークなどの少なくとも１つのネットワークにわたって有線または無線で通信することを可能にし得る、少なくとも１つの通信またはネットワーキング構成要素６１２も含む。いくつかの実施形態において、画像処理、分析、および／またはその組み合わせのうちの少なくとも一部分は、コンピューティングデバイスから遠隔のサーバまたは他の構成要素上で実施され得る。

図７は、図６に対して説明されるデバイス６００などの例示的なコンピューティングデバイス７００の一組の一般的な構成要素の論理配置を図示している。この例において、デバイスは、メモリデバイスまたは要素７０４の中に格納され得る命令を実行するためのプロセッサ７０２を含む。当業者には明白となるように、このデバイスは、多くの種類のメモリ、データ記憶、またはプロセッサ７０２による実行のためのプログラム命令のための第１のデータ記憶、画像またはデータのための別個のストレージ、他のデバイスと情報を共有するための取り外し可能なメモリなどの持続性コンピュータ可読記憶媒体を含み得る。デバイスは典型的に、タッチ画面または液晶画面（ＬＣＤ）などのいくつかの種類のディスプレイ要素７０６を含み得るが、携帯型メディアプレーヤなどのデバイスは音声スピーカを通すなどの他の手段を介して情報を伝え得る。論じたように、多くの実施形態におけるデバイスは、デバイスの近くの物体の画像を取り込むことができるカメラまたは赤外線センサなどの少なくとも１つの従来の画像取り込み要素７１０を含み得る。デバイスはまた、本明細書に記載されるように少なくとも１つのカメラアレイ７０８をも含み得、これは種々の実施形態において複数の検出器および放射体を含み得る。コンピューティングデバイスとともにカメラ要素を用いて画像またはビデオを取り込むための方法は、当技術分野でよく知られており、本明細書に詳細に記載されない。画像の取り込みは、単一の画像、複数の画像、周期的撮像、連続画像取り込み、画像ストリーミングなどを用いて実施され得るということが理解されるべきである。さらに、デバイスは、ユーザ、アプリケーション、または他のデバイスからコマンドを受信したときなどに、画像取り込みを開始および／または停止する能力を含み得る。例示的なデバイスは、少なくとも１つの主要な方向からの音声情報を取り込むように動作可能な少なくとも１つのモノラルまたはステレオマイクまたはマイクアレイを含み得る。マイクは、かかるデバイス用に知られているような一方向性または全方向性マイクであり得る。

いくつかの実施形態において、図７のコンピューティングデバイス７００は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦ、有線、または無線通信システムなどの１つ以上の通信構成要素を含み得る。多くの実施形態におけるデバイスは、インターネットなどのネットワークと通信し得、かつ他のかかるデバイスと通信し得る。いくつかの実施形態において、デバイスは、ユーザからの従来の入力を受け取ることができる少なくとも１つの追加的な入力要素７１２を含み得る。この従来の入力は、例えば、押しボタン、タッチパッド、タッチ画面、ホイール、ジョイスティック、キーボード、マウス、キーパッド、またはユーザがデバイスへのコマンドを入力し得る任意の他のかかるデバイスまたは要素を含み得る。いくつかの実施形態において、しかしながら、かかるデバイスはいかなるボタンも含まない場合があり、ユーザがデバイスとやりとりすることなくデバイスを制御し得るように、視覚および音声コマンドの組み合わせによってのみ制御される場合がある。

デバイスはまた、少なくとも１つの配向またはモーションセンサをも含み得る。論じたように、かかるセンサは、配向および／または配向の変化を検出するように動作可能な加速度計またはジャイロスコープ、またはデバイスが向いていると決定される方向を指す電子もしくはデジタルコンパスを含み得る。この機構はまた（または代替的に）、全地球測位システム（ＧＰＳ）またはコンピューティングデバイスの位置について相対座標を決定するように動作可能な類似の位置決め要素、ならびにデバイスの比較的大きい動きについての情報を含むかまたは備え得る。このデバイスは、三角測量または別のかかる手法を通じて場所決定を可能にし得るものなどの他の要素も含み得る。これらの機構は、プロセッサと通信し得、これによりデバイスは、本明細書に記載または提示されるいくつかのアクションのうちの任意のものを実施し得る。

論じたように、記載された実施形態に従う種々の環境において異なる手法が実装され得る。例えば、図８は、種々の実施形態に従う態様を実施するための例示的な環境８００を図示している。理解されるように、説明を目的としてウェブベースの環境が用いられるが、種々の実施形態を実施するために、異なる環境が適切に用いられ得る。システムは、適切なネットワーク８０４で要求、メッセージ、または情報を送受信し、および情報をデバイスのユーザに戻し伝えるように動作可能な電子クライアントデバイス８０２を含み得る、任意の適切なデバイスを含む。かかるクライアントデバイスの例は、パソコン、携帯電話、手持ち式メッセージングデバイス、ラップトップコンピュータ、セットトップボックス、個人携帯情報端末、電子書籍リーダなどを含む。ネットワークは、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、または任意の他のかかるネットワークまたはそれらの組み合わせを含む、任意の適切なネットワークを含み得る。かかるシステムのために用いられる構成要素は、ネットワークの種類および／または選択される環境に少なくとも部分的に依存し得る。かかるネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書に詳細に記載されない。ネットワークでの通信は、有線または無線接続およびこれらの組み合わせによって可能となり得る。この例において、ネットワークは、環境が、要求を受信し、かつこれに応じてコンテンツを供給するためのウェブサーバ８０６を含むのでインターネットを含むが、当業者には明白となるように、他のネットワークについては、類似の目的を果たす代替的なデバイスが用いられ得る。

例示的な環境は、少なくとも１つのアプリケーションサーバ８０８およびデータストア８１０を含む。連鎖されるかまたは別様に構成され、適切なデータストアからデータを取得するなどのタスクを実施するためにやりとりし得る、いくつかのアプリケーションサーバ、レイヤまたは他の要素、工程、または構成要素が存在し得るということが理解されるべきである。本明細書において用いられる場合、「データストア」という用語は、データを保存する、データにアクセスする、およびデータを読み出すことが可能な任意のデバイスまたはデバイスの組み合わせを意味し、これらは任意の組み合わせおよび数の任意の標準的な分散化またはクラスタ化された環境におけるデータサーバ、データベース、データ記憶装置およびデータ記憶媒体を含み得る。アプリケーションサーバ８０８は、クライアントデバイスについての１つ以上のアプリケーションの態様を実行するために必要に応じてデータストア８１０と統合されるための、およびアプリケーションについての大部分のデータアクセスおよびビジネス論理を管理するための、任意の適切なハードウェアおよびソフトウェアを含み得る。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、ユーザへと転送されるテキスト、グラフィック、音声および／またはビデオなどのコンテンツを生成することができ、これらは本例においてウェブサーバ８０６によってＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形式でユーザに供給され得る。すべての要求および応答の管理、ならびにクライアントデバイス８０２とアプリケーションサーバ８０８との間のコンテンツの送達は、ウェブサーバ８０６によって管理され得る。ウェブおよびアプリケーションサーバは必須ではなく、本明細書の別の箇所に記載されるように、本明細書に記載の構造化コードが任意の適切なデバイスまたはホストマシン上で実行され得るため、単に例示的な構成要素であるということが理解されるべきである。

データストア８１０は、いくつもの別個のデータ表、データベース、または特定の側面に関連するデータを記憶するための他のデータ記憶機構および媒体を含み得る。例えば、図示されるデータストアは、コンテンツ（例えば、生産データ）８１２およびコンテンツを生産側に供給するために用いられ得るユーザ情報８１６を記憶するための機構を含む。データストアはまた、ログまたはセッションデータ８１４を格納するための機構を含むように示される。ページ画像情報およびアクセス権情報など、データストアの中に格納される必要があり得る多くの他の様相が存在し得るということが理解されるべきであり、これらは適切であれば上述の機構のうちの任意のものの中に、またはデータストア８１０の中の追加的な機構の中に格納され得る。データストア８１０は、関連付けられる論理を通じて、アプリケーションサーバ８０８からの命令を受信し、かつこれに応答してデータを取得、更新、または別様に処理するように動作可能である。一例において、ユーザは、ある特定の種類の項目についての検索要求を提出し得る。この場合、データストアはユーザ情報にアクセスしてユーザの身元を確認し、カタログ詳細情報にアクセスしてその種類の項目についての情報を取得し得る。この情報は次に、このユーザがユーザデバイス８０２上のブラウザを介して閲覧することができるウェブページ上に一覧表示される結果の中などにおいてユーザに戻され得る。対象となる特定の項目についての情報は、専用のページまたはブラウザのウィンドウの中で閲覧され得る。

それぞれのサーバが典型的に、一般管理およびサーバの動作のための実行可能なプログラム命令を提供するオペレーティングシステムを含み得、および典型的に、サーバのプロセッサによって実行されると、サーバがその意図する機能を実施することを可能にする命令を格納するコンピュータ可読媒体を含み得る。オペレーティングシステムについての適切な実装およびサーバの一般的機能は、知られているかまたは市販されており、特に本明細書に記載の開示を踏まえて当業者によって容易に実装される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を用いて通信リンクを介して相互接続されるいくつかのコンピュータシステムおよび構成要素を利用する分散化コンピューティング環境である。しかしながら、かかるシステムが図８に図示されるものよりも少ないまたは多い数の構成要素を有するシステムにおいて等しく良好に動作し得るということが当業者によって理解されよう。ゆえに、図８におけるシステム８００の描写は、例示的な性質であると捉えられるべきであり、本開示の範囲を制限しない。

種々の実施形態は、さまざまな動作環境においてさらに実装され得、これはいくつかの場合において、いくつかのアプリケーションを動作させるために用いられ得る１つ以上のユーザコンピュータまたはコンピューティングデバイスを含み得る。ユーザまたはクライアントデバイスは、標準オペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ、ならびにモバイルソフトウェアを実行し、かついくつかのネットワーキングおよびメッセージングプロトコルに対応することが可能なセルラー、無線、および手持ち型デバイスなどのいくつかの汎用パソコンのうちの任意のものを含み得る。かかるシステムはまた、開発およびデータベース管理などの目的のためにオペレーティングシステムおよび他の既知のアプリケーションを実行するさまざまな商用のいくつかのワークステーションをも含み得る。これらのデバイスはまた、ダミー端子、シンクライアント、ゲーミングシステムおよびネットワークを介して通信することが可能な他のデバイスなどの他の電子デバイスをも含み得る。

ほとんどの実施形態が、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋなどのさまざまな商用のプロトコルのうちの任意のものを用いた通信に対応する、当業者に周知の少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびこれらの任意の組み合わせであり得る。

ウェブサーバを利用する実施形態において、ウェブサーバは、さまざまなＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバを含むサーバまたはミッドティアアプリケーションのうちの任意のものを実行し得る。サーバはまた、ユーザデバイスからの要求に応答して、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋などの任意のプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬなどの任意のスクリプト言語、またはこれらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行するなどにより、プログラムまたはスクリプトを実行する能力を有し得る。サーバはまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販されているものを含むがこれらに限定されないデータベースサーバをも含み得る。

環境は、上述のように、さまざまなデータストアおよび他のメモリおよび記憶媒体を含み得る。これらは、コンピュータのうちの１つ以上からローカルの（および／または常駐する）、またはネットワーク上のコンピュータのうちの任意のものまたはすべてから遠隔の記憶媒体上などのさまざまな場所に存在し得る。特定の１組の実施形態において、情報は、当業者によく知られているストレージエリアネットワーク（ＳＡＮ）内に存在し得る。同様に、コンピュータ、サーバまたは他のネットワークデバイスに属する機能を実施するための任意の必要なファイルは、必要に応じてローカルでおよび／または遠隔で格納され得る。システムがコンピュータ化デバイスを含む場合、それぞれのかかるデバイスは、バスを介して電子的に結合され得るハードウェア要素を含み得、この要素は、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチセンサ式ディスプレイ要素またはキーパッド）および少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカ）を含む。かかるシステムはまた、ディスクドライブ、光学式記憶装置およびランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）などのソリッドステート記憶装置、ならびに取り外し可能なメディアデバイス、メモリカード、フラッシュカードなどの１つ以上の記憶装置をも含み得る。

かかるデバイスはまた、コンピュータ可読記憶媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス）および上述のワーキングメモリをも含み得る。コンピュータ可読の記憶媒体リーダは、遠隔、ローカル、固定および／または取り外し可能な記憶装置に相当するコンピュータ可読な記憶媒体、ならびに一次的および／またはより恒久的に、コンピュータ可読の情報を含む、格納する、送信する、および取り出すための記憶媒体と接続されるか、これを受容するように構成される。システムおよび種々のデバイスもまた典型的に、クライアントアプリケーションまたはウェブブラウザなどのオペレーティングシステムおよびアプリケーションプログラムを含む少なくとも１つのワーキングメモリデバイス内に置かれるいくつかのソフトウェアアプリケーション、モジュール、サービスまたは他の要素を含み得る。代替の実施形態が、上述のものからの多数の変形を有し得るということが認識されるべきである。例えば、カスタマイズされたハードウェアもまた用いられ得、および／またはハードウェア、ソフトウェア（アプレットなどの携帯型ソフトウェアを含む）またはその両方に特定の要素が実装され得る。さらに、ネットワーク入力／出力デバイスなどの他のコンピューティングデバイスへの接続が採用され得る。

コード、またはコードの一部分を含むための記憶媒体およびコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの記憶および／または情報の送信のために任意の方法または技術で実施される、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含むがこれらに限定されない記憶媒体および通信媒体を含む、当技術分野で既知である、または用いられる任意の適切な媒体を含み得得、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学式記憶、磁気カセット、磁気テープ、磁気ディスク記憶、または他の磁気記憶装置、または所望の情報を記憶するために用いられ得、システムデバイスによってアクセスされ得る任意の他の媒体を含む。本明細書において提供される開示および教示に基づき、当業者は種々の実施形態を実施するための他の方途および／または方法を認識し得る。

本明細書および図面は、したがって、制限的ではなく例示的な意味と見なされる。しかしながら、本発明のより広範な精神および範囲を逸脱することなく、請求項に記載されるようにそこに種々の修正および変更がなされ得ることが明白となろう。

付記
付記１． コンピューティングデバイスであって、
少なくとも１つのプロセッサと、
コンテンツであって、コンピューティングデバイス上でディスプレイ画面の第１の側面から見ることができる、コンテンツを表示するための少なくとも透過レイヤを含む、ディスプレイ画面と、
ディスプレイ画面の第２の側面であって、第１の側面の反対側にある第２の側面に近接して位置付けられる検出器アレイであって、複数のフォトダイオードであって、それぞれが、ディスプレイ画面の第１の側面上の赤外線（ＩＲ）光入射を取り込み、少なくとも透過レイヤを通過するように構成される、複数のフォトダイオードを含む、検出器アレイと、
ＩＲ光を放射するように構成される、複数の赤外線放射体と、
少なくとも１つのプロセッサによって実行されると、コンピューティングデバイスに、
赤外線放射体のうちの少なくとも２つに、異なる特定の時間に光を照射させ、
特定の時間のそれぞれについて、検出器アレイによって取り込まれる輝度データであって、ＩＲ放射体のうちの少なくとも１つによって照射され、コンピューティングデバイスの決定可能な範囲内の場所にある物体によって反射されるＩＲ光に対応する、輝度データを収集させ、
特定の時間のそれぞれについての輝度データを含む統合データセットであって、検出器アレイの中のフォトダイオードのそれぞれについての少なくとも統合された輝度データを含む統合データセットを生成させ、
コンピューティングデバイスに対する物体の場所または配向のうちの少なくとも１つを決定するために、統合データセットの中の物体の表象を分析させる、命令を含む、メモリと、を備える、コンピューティングデバイス。
付記２． 少なくとも２つの赤外線放射体は、検出器アレイの異なる端に近接して位置付けられ、特定の時間のそれぞれについての輝度データの中の物体の表象が、各々の方向からの照明を表す、付記１に記載のコンピューティングデバイス。
付記３． 少なくとも２つの赤外線放射体は、検出器アレイのフォトダイオードと共通の基板上にあり、少なくとも２つの赤外線放射体は、共通の基板の隅または端のうちの少なくとも１つに近接して位置付けされる、付記１に記載のコンピューティングデバイス。
付記４． ディスプレイ画面からある距離を置いて位置付けられる少なくとも１つのカメラであって、物体が少なくとも１つのカメラの視野内にあるときに、物体の場所または配向のうちの少なくとも１つを決定するための、少なくとも１つのプロセッサと、物体が少なくとも１つのカメラの視野外にあるが、コンピューティングデバイスの決定可能な範囲にあるときに、物体の場所または配向のうちの少なくとも１つを決定するための、分析されることが可能な輝度データを取り込むように構成される、検出器アレイとによって、分析されることが可能な画像を取り込むように構成される、少なくとも１つのカメラをさらに備える、付記１に記載のコンピューティングデバイス。
付記５． コンピューティングデバイスであって、
プロセッサと、
コンテンツを表示するためのディスプレイ画面と、
それぞれが、物体によって反射され、かつディスプレイ画面を通過する光を検出するように構成される、複数の検出器を含む検出器アレイと、
プロセッサによって実行されると、コンピューティングデバイスに、コンピューティングデバイスに対する物体の位置を決定するために、検出器アレイによって検出される光についてのデータを分析させる命令を含む、メモリと、を備える、コンピューティングデバイス。
付記６． 検出器は、基板上の少なくとも所定の距離によって分離されるフォトダイオードであって、基板は、フォトダイオードのそれぞれによって検出された値を読み取るように動作可能な回路にフォトダイオードを接続するためのラインを備える、付記５に記載のコンピューティングデバイス。
付記７． 光がディスプレイ画面を通って物体から反射されるようにするために、照明の源を提供するように構成される、少なくとも１つの照明源をさらに備える、付記５に記載のコンピューティングデバイス。
付記８． 少なくとも１つの照明源は、ディスプレイ画面を通って赤外線を放射するように構成される、少なくとも１つの赤外線発光ダイオードを含み、検出器は、物体によって反射され、かつディスプレイ画面を通過する赤外線のうちの少なくとも一部分を検出することができる、付記７に記載のコンピューティングデバイス。
付記９． 少なくとも１つの照明源は、ディスプレイ画面のためのバックライトを含む、付記７に記載のコンピューティングデバイス。
付記１０． ディスプレイ画面と少なくとも１つの照明源および検出器アレイを支持する基板との間に位置付けられる赤外線透過要素をさらに備え、赤外線透過要素は、可視光線が検出器アレイによって検出されることを防ぐ、付記７に記載のコンピューティングデバイス。
付記１１． 少なくとも２つの照明源は、異なる特定の時間に、異なる方向から光を放射するように起動される、付記７に記載のコンピューティングデバイス。
付記１２． 命令は、実行されると、さらにコンピューティングデバイスに、
特定の時間のそれぞれについて、検出器アレイによって取り込まれた輝度データであって、少なくとも２つの照明源のうちの少なくとも１つによって照射され、かつ物体によって反射される光についての輝度データを含む、輝度データを収集させ、
特定の時間のそれぞれについての輝度データを含む統合データセットであって、検出器のそれぞれの検出器についての少なくとも統合輝度情報を含む、統合データセットを生成させ、
統合データセットにおける物体の表象を分析させて、コンピューティングデバイスに対する物体の配向をさらに決定させる、付記１１に記載のコンピューティングデバイス。
付記１３． ディスプレイ画面からある距離を置いて、コンピューティングデバイス上に位置付けられる少なくとも１つのカメラであって、物体が少なくとも１つのカメラの視野内にあるときに、物体の場所または配向のうちの少なくとも１つを決定するために、プロセッサによって分析されることができる画像を取り込むように構成される、少なくとも１つのカメラと、物体が少なくとも１つのカメラの視野外にあるときに、物体の場所または配向のうちの少なくとも１つを決定するために、分析されることができる画像データを取り込むように構成される、検出器アレイと、をさらに備える、付記５に記載のコンピューティングデバイス。
付記１４． 命令は、実行されると、さらに検出器アレイに、ディスプレイ画面の順次のアクティブ期間の合間の光を検出させる、付記５に記載のコンピューティングデバイス。
付記１５． アクティブレイヤは、液晶材料を含み、液晶材料は、ディスプレイ画面上の光入射の少なくとも一部分がディスプレイ画面を通過することができるように活性化されるように構成される、付記５に記載のコンピューティングデバイス。
付記１６． 命令は、実行されると、さらにコンピューティングデバイスに、コンピューティングデバイスが物体によって実施されるモーションまたはジェスチャのうちの少なくとも１つを決定することができるように、物体を経時的に追跡させる、付記５に記載のコンピューティングデバイス。
付記１７． 物体は、ユーザの指もしくは手、またはユーザによって保持される物体のうちの少なくとも１つを含む、付記５に記載のコンピューティングデバイス。
付記１８． 少なくとも２つの放射体に異なる特定の時間に光を放射させることであって、放射体は、コンピューティングデバイスのディスプレイ画面を通って光を放射するように構成される、光を放射させることと、
特定の時間のそれぞれについて、検出器アレイによって取り込まれた輝度データを収集することであって、輝度データは、放射体のうちの少なくとも１つによって照射され、かつコンピューティングデバイスの少なくとも検出範囲内で物体によって反射された光に対応し、物体によって反射された光は、検出器アレイによって検出される前にディスプレイ画面を通って戻る、収集することと、
特定の時間についての輝度データを含む統合データセットであって、検出器アレイの中のそれぞれの検出器についての少なくとも統合された輝度データを含む、統合データセットを生成することと、
コンピューティングデバイスに対する物体の場所または配向のうちの少なくとも１つを決定するために、統合データセットの中の物体の表象を分析することと、を含む、コンピュータ実装方法。
付記１９． 命令は、実行されると、さらにコンピューティングデバイスに、コンピューティングデバイスが物体によって実施されるモーションまたはジェスチャのうちの少なくとも１つを決定することができるように、物体を経時的に追跡させる、付記１８に記載のコンピュータ実装方法。
付記２０． 放射体は赤外線を放射し、検出器アレイの検出器は、放射体によって放射される赤外線の反射された部分を検出し、赤外線は、ディスプレイ画面の操作の間に検出されることができる、付記１８に記載のコンピュータ実装方法。
付記２１． コンピューティングデバイスは、ディスプレイ画面からある距離を置いて位置付けられる、少なくとも１つのカメラを含み、少なくとも１つのカメラは、物体が少なくとも１つのカメラの視野内にあるときに、物体の場所または配向のうちの少なくとも１つを決定するために、分析されることが可能な画像を取り込むように構成され、検出器アレイは、物体が少なくとも１つのカメラの視野外にあり、かつ検出範囲内にあるときに、物体の場所または配向のうちの少なくとも１つを決定するために、分析されることが可能な画像データを取り込むように構成される、付記１８に記載のコンピュータ実装方法。
付記２２． 少なくとも１つのプロセッサまたはコンピューティングデバイスによって実行されると、コンピューティングデバイスに、複数のフォトダイオードを用いて、光であって、物体によって反射され、かつコンピューティングデバイスのディスプレイ画面を通過する光を検出させ、
フォトダイオードのそれぞれの場所およびフォトダイオードのそれぞれによって検出される光の輝度に少なくとも部分的に基づいて、複数のフォトダイオードによって検出される光についてのデータセットを生成させ、
物体の表象の場所を決定するために、データセットを分析させ、
データセットにおける物体の表象の場所に少なくとも部分的に基づいて、コンピューティングデバイスに対する物体の場所を決定させる、命令を含む、持続性コンピュータ可読記憶媒体。
付記２３． 命令は、実行されると、さらにコンピューティングデバイスに、
コンピューティングデバイスのうちの少なくとも１つの放射体であって、物体によって反射される光の一部分が複数のフォトダイオードのうちの１つ以上によって検出されることができるように、光を放射するように構成される放射体を用いて光を放射させる、付記２２に記載の持続性コンピュータ可読記憶媒体。
付記２４． 命令は、実行されると、さらにコンピューティングデバイスに、
コンピューティングデバイスの少なくとも２つの放射体に、異なる特定の時間に光を放射させ、
特定の時間のそれぞれについて、複数のフォトダイオードによって検出される光についての輝度データであって、放射体のうちの少なくとも１つによって放射され、コンピューティングデバイスの少なくとも検出範囲内で物体によって反射される光であって、複数のフォトダイオードによって検出される前に、ディスプレイ画面を通って戻る、物体によって反射される光に対応する輝度データを取得させ、
特定の時間のそれぞれについての輝度データを含む統合データセットであって、それぞれのフォトダイオードについての少なくとも統合輝度データを含む、統合データセットを生成させ、
コンピューティングデバイスに対する少なくとも物体の配向を決定するために、統合データセットにおける物体の表象を分析させる、付記２３に記載の持続性コンピュータ可読記憶媒体。
付記２５． 命令は、実行されると、さらにコンピューティングデバイスに、コンピューティングデバイスが物体によって実施されるモーションまたはジェスチャのうちの少なくとも１つを決定することができるように、物体を経時的に追跡させる、付記２２に記載の持続性コンピュータ可読記憶媒体。

Claims (15)

1. コンピューティングデバイスであって、
   プロセッサと、
   コンテンツを表示するためのディスプレイ画面と、
   光が前記ディスプレイ画面を通って物体から反射されるようにするために、照明の源を提供するように動作可能な少なくとも１つの照明源と、
   複数の検出器を含む検出器アレイであって、それぞれが、前記物体によって反射され、かつ前記ディスプレイ画面を通過する光を検出するように構成される、複数の検出器を含む検出器アレイと、
   前記プロセッサによって実行されると、前記コンピューティングデバイスに、前記コンピューティングデバイスに対する前記物体の位置を決定するために、前記検出器アレイによって検出される前記光についてのデータを分析させる命令を含むメモリと、を備える、コンピューティングデバイス。
2. 前記検出器は、基板上の少なくとも所定の距離によって分離されるフォトダイオードであって、前記基板は、前記フォトダイオードのそれぞれによって検出された値を読み取るように動作可能な回路に前記フォトダイオードを接続するためのラインを備える、請求項１に記載のコンピューティングデバイス。
3. 前記少なくとも１つの照明源は、前記ディスプレイ画面を通って赤外線を放射するように構成される少なくとも１つの赤外線発光ダイオードを含み、前記検出器は、前記物体によって反射され、かつ前記ディスプレイ画面を通って戻る前記赤外線のうちの少なくとも一部分を検出することが可能である、請求項１に記載のコンピューティングデバイス。
4. 前記少なくとも１つの照明源は、前記ディスプレイ画面のためのバックライトを含む、請求項１に記載のコンピューティングデバイス。
5. 前記ディスプレイ画面と前記少なくとも１つの照明源および前記検出器アレイを支持する基板との間に位置付けられる赤外線透過要素をさらに備え、
   前記赤外線透過要素は、可視光線が前記検出器アレイによって検出されることを防ぐ、請求項１に記載のコンピューティングデバイス。
6. 前記少なくとも１つの照明源は、少なくとも２つの照明源を備え、
   前記少なくとも２つの照明源は、異なる特定の時間に、異なる方向から光を放射するように起動され、
   前記命令は、実行されると、さらに前記コンピューティングデバイスに、
   前記特定のそれぞれの時間について、前記検出器アレイによって取り込まれた輝度データであって、前記少なくとも２つの照明源のうちの少なくとも１つによって照射され、かつ前記物体によって反射される光についての輝度データを含む、輝度データを収集させ、
   前記特定の時間のそれぞれについての前記輝度データを含む統合データセットであって、前記検出器のそれぞれの前記検出器についての少なくとも統合輝度情報を含む、統合データセットを生成させ、
   前記統合データセットにおける前記物体の表象を分析させて、前記コンピューティングデバイスに対する前記物体の配向をさらに決定させる、請求項１に記載のコンピューティングデバイス。
7. 前記ディスプレイ画面からある距離を置いて、前記コンピューティングデバイス上に位置付けられる少なくとも１つのカメラであって、前記物体が前記少なくとも１つのカメラの視野内にあるときに、前記物体の場所または配向のうちの少なくとも１つを決定するために、前記プロセッサによって分析されることができる画像を取り込むように構成される、少なくとも１つのカメラと、前記物体が前記少なくとも１つのカメラの視野外にあるときに、前記物体の前記場所または前記配向のうちの少なくとも１つを決定するために、分析されることができる画像データを取り込むように構成される、前記検出器アレイと、をさらに備える、請求項１に記載のコンピューティングデバイス。
8. 前記命令は、実行されると、さらに前記検出器アレイに、前記ディスプレイ画面の順次のアクティブ期間の合間の光を検出させる、請求項１に記載のコンピューティングデバイス。
9. アクティブレイヤは、液晶材料を含み、前記液晶材料は、前記ディスプレイ画面上の光入射の少なくとも一部分が前記ディスプレイ画面を通過することができるように活性化されるように構成される、請求項１に記載のコンピューティングデバイス。
10. 前記命令は、実行されると、さらに前記コンピューティングデバイスに、前記コンピューティングデバイスが前記物体によって実施されるモーションまたはジェスチャのうちの少なくとも１つを決定することができるように、前記物体を経時的に追跡させる、請求項１に記載のコンピューティングデバイス。
11. 前記物体は、ユーザの指もしくは手、または前記ユーザによって保持される物体のうちの少なくとも１つを含む、請求項１に記載のコンピューティングデバイス。
12. 少なくとも２つの放射体に異なる特定の時間に光を放射させることであって、前記放射体は、コンピューティングデバイスのディスプレイ画面を通って光を放射するように構成される、光を放射させることと、
    前記特定の時間のそれぞれについて、検出器アレイによって取り込まれた輝度データを収集することであって、前記輝度データは、前記放射体のうちの少なくとも１つによって照射され、かつ前記コンピューティングデバイスの少なくとも検出範囲内で物体によって反射された光に対応し、前記物体によって反射された前記光は、前記検出器アレイによって検出される前に前記ディスプレイ画面を通って戻る、収集することと、
    前記特定の時間についての前記輝度データを含む統合データセットであって、前記検出器アレイの中のそれぞれの検出器についての少なくとも統合された輝度データを含む、統合データセットを生成することと、
    前記コンピューティングデバイスに対する前記物体の場所または配向のうちの少なくとも１つを決定するために、前記統合データセットにおける前記物体の表象を分析することと、を含む、コンピュータ実装方法。
13. 命令は、実行されると、さらに前記コンピューティングデバイスに、前記コンピューティングデバイスが前記物体によって実施されるモーションまたはジェスチャのうちの少なくとも１つを決定することができるように、前記物体を経時的に追跡させる、請求項１２に記載のコンピュータ実装方法。
14. 前記放射体は赤外線を放射し、前記検出器アレイの前記検出器は、前記放射体によって放射される前記赤外線の反射された部分を検出し、前記赤外線は、前記ディスプレイ画面の操作の間に検出されることができる、請求項１２に記載のコンピュータ実装方法。
15. 前記コンピューティングデバイスは、前記ディスプレイ画面からある距離を置いて位置付けられる、少なくとも１つのカメラを含み、前記少なくとも１つのカメラは、前記物体が前記少なくとも１つのカメラの視野内にあるときに、前記物体の場所または配向のうちの少なくとも１つを決定するために、分析されることができる画像を取り込むように構成され、前記検出器アレイは、前記物体が前記少なくとも１つのカメラの視野外にあり、かつ検出範囲内にあるときに、前記物体の前記場所または前記配向のうちの少なくとも１つを決定するために、分析されることができる画像データを取り込むように構成される、請求項１２に記載のコンピュータ実装方法。

Images