JP2010540970A - 一体型の物体取り込みシステム及び表示装置並びに関連方法 - Google Patents

Abstract

表示装置の近くの物体を取り込み測定するための、一体型の物体取り込みシステム及び表示装置並びに関連方法を提供する。物体取り込みシステムは、構造化光パターンを物体の表面上に投影するための少なくとも１つの投影装置と、物体の表面上に作用する構造化光パターンの少なくとも１つの画像を取り込むための少なくとも１つの検出装置と、取り込んだ画像に関する測定を求めるためのコンピューティング装置とを含むことが可能である。表示装置は、物体に対する位置を提供して物体取り込みシステムに関して仮定することが可能である。物体取り込みシステムは、表示装置と一体化されても、その装置に取り付けられても、又はそうではなくその装置と並んで位置決めされてもよい。測定は絶えず処理可能であり、表示装置、表示装置に接続されたコンピュータ、又は表示装置に接続された任意の装置の使用のレベルを求めることが可能である。

Description

本願開示は、表示装置の近くの物体の３次元（「３Ｄ」）測定及び２次元（「２Ｄ」）測定に基づく一体型の物体取り込みシステム及び表示装置並びに関連方法に関する。

構造化光三角測量法の使用等を通じ、有形物体の３Ｄ表面形状の非接触測定を実行するための知られている装置及び方法がある。有形物体の表面形状を測定する三角測量法は、一般に、振幅変調、時間変調、及び波長変調のうちの１つ以上をされた光（「構造化光」）の物体の表面上への投影を用いる。物体の表面上に投影される構造化光の画像（以後、「画像」という）が、構造化光が投影される方向とは異なる方向でカメラによって取り込まれる。次いで、画像を解析して、物体の表面の形状を計算する。構造化光を形成し、画像、表面の形状、物体の表面とシステムのコンポーネントとの間の距離、システムのコンポーネントに関係する物体の向きを走査する特定のシステムのパラメータ等の幾つかのパラメータは、解析結果に影響をもたらす。これらの列挙したパラメータの大部分は一般に、物体の形状、物体の表面とシステムのコンポーネントとの間の距離、システムのコンポーネントに関係する物体の向きを除いて、既知であるか又は容易に識別されるかの何れかであるので、三角測量法を使用して、物体の表面の形状を決定して、画像を解析することが可能である。

本願開示の実施形態によれば、表示装置と一体化されるか、表示装置と統合されるか、そうではなく表示装置に取り付けられるか、又はそうではなく表示装置と並んで位置決めされた物体取り込みシステムであって、構造化光パターンを物体の表面上に投影するための少なくとも１つの投影装置と、少なくとも１つの検出装置であって該検出装置のうちの少なくとも１つは物体の表面上に作用する構造化光パターンの少なくとも１つの画像を取り込む少なくとも１つの検出装置と、取り込んだ画像に関する測定を求めるためのコンピューティング装置とを備えたシステムが提供される。

本願開示の実施形態によれば、表示装置の近くの物体を取り込むための方法であって、少なくとも１つの構造化光パターンを少なくとも１つの投影装置から物体の表面上に投影するステップと、少なくとも１つの検出装置により物体の少なくとも１つの画像を取り込むステップであって、少なくとも１つの画像は物体の表面上に作用する構造化光パターンの画像を含む、ステップと、物体の表面に関する測定を求めるステップとを含む方法が提供される。

本願開示の実施形態によれば、表示装置は、物体に対する位置及び向きを提供して投影装置及び検出装置に関して仮定することが可能である。物体の表面は、表示装置の使用中に生じる位置及び向きで配置可能である。

本願開示の実施形態によれば、物体の表面に関する測定は、表示装置又は表示装置に接続されたコンピュータ若しくは表示装置に接続された任意の他の装置の使用のレベルを求めることが可能である。

本願開示の実施形態によれば、物体の表面に関する測定は、絶えず処理されて、表示装置又は表示装置に接続されたコンピュータ若しくは表示装置に接続された任意の他の装置の使用のレベルを求めることが可能である。

同様の参照符号が同様の要素を示す添付の図面と共に以下の説明を参照すると、本願開示の上述の機能及び目的はより明らかとなるだろう。

本願開示の１つ又は複数の実施形態による、表示装置の近くの物体を取り込むための一体型の物体取り込みシステム及び表示装置の実施形態の透視図である。 本願開示の１つ又は複数の実施形態による、表示装置の近くの物体を取り込むための一体型の物体取り込みシステム及び表示装置のブロック図である。 本願開示の１つ又は複数の実施形態による、デスクトップコンピュータを含む一体型の物体取り込みシステム及び表示装置の実施形態を示す図である。 本願開示の１つ又は複数の実施形態による、ラップトップコンピュータを含む一体型の物体取り込みシステム及び表示装置の実施形態を示す図である。

概して、本願開示は、表示装置の近くの物体の画像を取り込むための一体型の物体取り込みシステム及び表示装置を含む。次に、本願開示の特定の実施形態を、同様の参照符号が同様のコンポーネントを示す上述の図を参照して論じることにする。

図１は、本願開示の１つ又は複数の実施形態による、物体１１１の少なくとも１つの画像、シーン、又は映像を取り込むための一体型の物体取り込みシステム及び表示装置１００の実施形態の透視図を示しており、物体１１１は、統合された物体取り込みシステム及び表示装置１００の近くに位置決めされている。一体型の物体取り込みシステム及び表示装置１００は、物体取り込みシステム１０２を含むことが可能である。

１つ又は複数の実施形態においては、物体取り込みシステム１０２は、表示装置１０１と一体化されているか又は統合されている。本願明細書では、物体取り込みシステム１０２を、表示装置１０１と一体化されているか又は統合されているように示すことになるが、用語「一体化される」及び「統合される」はまた、固定若しくは取外し可能な関係で表示装置に接続されているか若しくはそうではなく取り付けられているか、又は、そうではなく表示装置１０１と並んで若しくは隣接して位置決めされている物体取り込みシステム１０２を示すものとすることが理解される。１つ又は複数の実施形態においては、表示装置１０１と並んで又は隣接して位置決めされた物体取り込みシステム１０２は、統合された装置である。

物体取り込みシステム１０２は、構造化光１１３を投影範囲１１４の辺りで投影する少なくとも１つの投影装置１０６を含む。構造化光１１３は、表示装置１０１の近くの物体１１１の表面１１０上に投影可能である。

物体取り込みシステム１０２は、少なくとも１つの検出装置１０８を更に含み、検出装置１０８のうちの少なくとも１つは、物体１１１の表面１１０上に作用する構造化光１１３の少なくとも１つの画像を取り込む。検出装置１０８は、物体１１１の表面１１０の一部分を包囲する視野１１８を含むことが可能である。本願明細書では、物体取り込みシステム１０２が物体１１１の画像を取り込むことを説明することになり、この場合、このような画像取り込みは、物体１１１の任意の数の取り込まれた画像又は映像若しくはシーンを含むことが可能であることが理解される。１つ又は複数の実施形態においては、コンピューティング装置１０４は、投影装置１０６と検出装置１０８とに接続され、それによりコンピューティング装置１０４は、検出装置１０８によって取り込まれる画像を解析して、物体１１１の表面１１０の３Ｄ形状、物体１１１に対する距離、取り込まれた表面１１０の向き、物体１１１の表面１１０の２Ｄ画像、及び物体１１１の認識等の、しかしこれらに限定されない所望の演算を実行することが可能になる。コンピューティング装置１０４はまた、投影装置１０６及び検出装置１０８の一方又は双方並びにそれぞれの装置の各コンポーネントを制御することも可能である。

１つ又は複数の実施形態においては、コンピューティング装置１０４は物体取り込みシステム１０２と統合可能である。１つ又は複数の実施形態においては、コンピューティング装置１０４は物体取り込みシステム１０２から分離可能である。

表示装置１０１は、ユーザ又は物体１１１に向けて情報を表示する任意の装置であることが可能である。表示装置１０１は、コンピュータモニタ、ＬＣＤ、デスクトップコンピュータ、ラップトップコンピュータ、テレビ、携帯電話若しくは移動電話、携帯情報端末（ａ ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ハンドヘルドコンピューティング装置、リモート端末、又は任意の他のタイプの表示部若しくは表示部を含むことが可能な装置を含むことが可能であるが、これらに限定されない。

１つ又は複数の実施形態においては、物体取り込みシステム１０２の少なくとも１つのコンポーネントは、固定可能又は取外し可能に表示装置１０１内に取り付け又は統合することができる。例えば、物体取り込みユニット１０２の投影装置１０６及び検出装置１０８はそれぞれ、固定可能又は取外し可能に表示装置１０１に取り付け又は表示装置１０１内に統合することができる。１つ又は複数の実施形態においては、物体取り込みシステム１０２の少なくとも１つのコンポーネントは表示装置１０１と並んで又は隣接して位置決め可能である。

１つ又は複数の実施形態においては、物体取り込みシステム１００に対する物体１１１の位置及び向きの一方又は双方は表示装置１０１に対する物体１１１の位置及び向きに基づいて決定可能である。表示装置１０１は、物体１１１の位置及び向きに対して、基準位置及び基準向きの一方又は双方を提供することが可能である。例えば、物体１１１は、表示装置１０１の表示部分又はスクリーンに隣接して位置決め可能であり、物体取り込みシステム１０２によって解析されることになる表面１１０が表示装置１０１の表示部分に向けて方向付けられるように向けることが可能である。表示装置１０１に関して仮定された位置及び向きで、物体取り込みシステム１０２は物体１１１の表面１１０を解析することが可能である。１つ又は複数の実施形態においては、物体取り込みシステム１０２は、物体１１１が基準位置及び基準向きの一方又は双方で配置されるという仮定に基づいてその計算を行うことが可能である。

１つ又は複数の実施形態においては、コンピューティング装置１０４は表示装置１０１と一体化又は統合することができる。１つ又は複数の実施形態においては、コンピューティング装置１０４は表示装置１０１から分離可能である。１つ又は複数の実施形態においては、コンピューティング装置１０４は表示装置１０１と相互作用し、それによって、コンピューティング装置１０４は表示装置１０１に画像を提供させる。１つ又は複数の実施形態においては、提供される画像はコンピューティング装置１０４上に配置又は記憶された情報を示す。

物体取り込みシステム１００のコンピューティング装置１０４は、本願開示による有形物体の形状を３Ｄ及び２Ｄ測定するための方法を実装するのに適している汎用コンピュータシステムを含むことが可能である。コンピューティングシステム１０４は、適切なコンピューティング環境の一例に過ぎず、本願発明の使用又は機能の範囲に関して何らかの限定を示唆することを意図するものではない。様々な実施形態においては、一体型の物体取り込みシステム及び表示装置１００のための本願システム及び方法は、多数の他の汎用又は専用のコンピューティングシステムの環境又は構成により動作する。本願発明とともに使用するのに適することが可能であるよく知られているコンピューティングシステム、環境、及び構成のうちの１つ以上の例は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上述のシステム又は装置の何れかを含む分散コンピューティング環境等を含むが、これらに限定されない。

様々な実施形態においては、より詳細に論じることになるアルゴリズム及び方法によるコンピューティングシステム１０４によって行われる解析は、コンピュータによって実行されるプログラムモジュール等、コンピュータ実行可能命令の一般的な状況において説明可能である。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。これらのアルゴリズム及び方法はまた、通信ネットワークを通じてリンクされているリモート処理装置によってタスクが実行される分散コンピューティング環境において実施可能である。分散コンピューティング環境においては、プログラムモジュールは、メモリ記憶装置を含むローカル及びリモート双方のコンピュータ記憶媒体内に配置可能である。１つ又は複数の実施形態においては、コンピューティングシステム１０４は、１つ又は複数のコンピュータプログラムを実行することによって、検出装置１０８により取り込まれた画像を解析することが可能である。コンピュータプログラムは、メモリ及びＲＯＭのうちの一方若しくは双方等のメモリ媒体若しくは記憶媒体内に記憶すること、又は、ネットワーク接続若しくは他のＩ／Ｏ接続を通じてＣＰＵに供給することができる。

本願明細書では、コンピュータ又はコンピューティング装置は表示装置１０１に接続されているか又は表示装置１０１装置に関連付けられているものと示すことになるが、用語「コンピュータ」及び「コンピューティング装置」はまた、コンピューティング装置１０４を示すか、又はそうではなく表示装置１０１に接続されるか若しくは関連付けられる別の装置を示すものとすることが理解される。

物体１１１は、物体取り込みシステム１０２で取り込むことが可能な任意の有形物体であってよく、この有形物体は、表示装置１０１のユーザの顔と、表示装置１０１のユーザの身体の一部（例えば、手、掌、指紋等）と、取り込み用のバッジと、一体型の物体取り込みシステム及び表示装置１００によって識別可能な任意の他の物体とを含むが、これらに限定されない。１つ又は複数の実施形態においては、物体１１１が表示装置１０１のユーザと関連付けられる場合、表示装置１０１によって提供される基準位置及び基準向きのうちの一方又は双方は、表示装置１０１のユーザと関連付けられる位置及び向きのうちの一方又は双方に対応することが可能である。例えば、物体１１１が表示装置１０１のユーザの顔である場合、表示装置１０１によって提供される基準位置及び基準向きのうちの一方又は双方は、表示装置１０１の動作の間、ユーザがその顔を維持することになる位置及び向きのうちの一方又は双方であることが可能である。

１つ又は複数の実施形態においては、物体１１１は物体取り込みシステム１０２によって取り込み可能であり、次いで、取り込まれた画像は一体型の物体取り込みシステム及び表示装置１００の履歴動作に基づいて識別目的のために使用可能である。履歴動作は、物体取り込みシステム１０２のセットアップフェーズを含むことが可能であり、このセットアップフェーズにおいて、投影装置１０６は構造化光１１３を物体１１１上に投影し、検出装置１０８は物体１１１の表面１１０の画像を取り込み、コンピューティング装置１０４は取り込まれた画像を解析する。物体１１１の履歴動作の結果に基づく測定が記録可能である。物体取り込みシステム１０２の後続動作では、コンピューティングシステム１０４によって生じる後続動作の測定が、履歴動作の測定と比較可能である。後続動作の測定が履歴動作の測定に対応する場合、物体１１１は履歴物体として識別され、そうでなければ、物体１１１は履歴物体以外の物体として識別される。

１つ又は複数の実施形態においては、セットアップフェーズに使用される測定結果は、外部ソースから取得可能であり、一体型の物体取り込みシステム及び表示装置１００内に入力可能である。

少なくとも１つの実施形態においては、物体取り込みシステム１０２は表示装置１０１とインターフェースを介して結合することができてよく、それによって、一体型の物体取り込みシステム及び表示装置１００の動作中に行われる測定は、表示装置１０１に表示装置１０１の機能を実行させる。少なくとも１つの実施形態においては、物体取り込みシステム１０２は表示装置１０１とインターフェースを介して結合することができてよく、それによって、物体取り込みシステム１０２の動作中に行われる測定に基づいて、表示装置１０１若しくはコンピューティング装置１０４、又は表示装置１０１若しくはコンピューティング装置１０４に接続された別の装置へのアクセスのレベルを提供することができる。物体１１１が履歴物体として識別可能である場合、物体１１１には表示装置１０１又は別の装置へのアクセスのレベルが許諾可能であり、このアクセスのレベルは履歴物体と関連付けられたものである。例えば、履歴物体と関連付けられるアクセスのレベルは、物体取り込みシステム１０２のセットアップフェーズ中に決定可能である。例えばユーザの顔を解析することが可能であり、それによって、物体取り込みシステム１０２によって取り込まれたユーザのある特性を認識することにより、ユーザにはコンピューティングシステム１０４への安全なアクセス及び表示装置１０１の安全な使用のうちの一方又は双方が提供されることになる。

少なくとも１つの実施形態においては、表示装置１０１へのアクセスのレベルは、表示装置１０１上に表示することができる画像と、表示装置１０１若しくはコンピューティング装置１０４又は表示装置１０１若しくはコンピューティング装置１０４に接続された任意の他の装置上でユーザが実行することができる機能へのアクセス又はその機能の使用と、自動的に表示装置１０１によって表示することができるか又はコンピューティング装置１０４によって実行することができる機能とのうちの少なくとも１つを決定することが可能である。少なくとも１つの実施形態においては、物体１１１が表示装置１０１又はコンピューティング装置１０４のある機能を実行するのに必要なアクセスのレベルと関連付けられる履歴物体として識別されない場合には、ユーザはそのような機能を実行することができない。

１つ又は複数の実施形態においては、本願明細書に説明する測定を絶えず処理することが可能である。
図２は、本願開示の１つ又は複数の実施形態による、表示装置１０１の近くの物体１１１を取り込むための一体型の物体取り込みシステム及び表示装置１００のブロック図を示している。一体型物体取り込みシステム及び表示装置１００は、少なくとも１つの投影装置１０６と、少なくとも１つの検出装置１０８とを含むことが可能である。少なくとも１つの実施形態においては、投影装置１０６は、光源１２６と、光源１２６から放出される光を変調するための光変調装置１２２とを含むスライド投影器である。光変調装置１２２は、スライドを含むスライドタイプであっても、液晶スクリーンを含む液晶表示（ＬＣＤ）タイプであっても、又は構造化光１１３を創出するための他の装置であってもよい。少なくとも１つの実施形態においては、投影装置１０６は、投影範囲１１４についての構造化光１１３として表示装置１０１の近くの物体１１１の表面１１０上にスライド画像を投影するための、頂点１２４を有するレンズ１８１を含むことが可能である。この及び他の実施形態によると、構造化光１１３はまた、干渉法、モアレ法、及び回折光生成法等の他の方法を使用しても生成可能である。

少なくとも１つの実施形態においては、投影装置１０６は、光学上の波長、可視波長、及び赤外線波長のうちの１つから選択された波長で構造化光１１３を投影する。少なくとも１つの実施形態においては、投影装置１０６は連続的な光源である。少なくとも１つの実施形態においては、投影装置１０６は表示装置１０１自体の中に組み込まれ、表示装置１０１が構造化光１１３を投影する。

少なくとも１つの実施形態においては、検出装置１０８は、頂点１３０を有する写真レンズ１８０と、マトリックス放射レシーバ１２８と、ドライバ１３２とを含むことが可能である。写真レンズ１８０は、マトリックス放射レシーバ１２８の表面上に画像を形成する。ドライバ１３２は、マトリックス放射レシーバ１２８の動作を制御する電子信号の管理及び処理ユニットとして機能し、取り込まれた画像がコンピューティング装置１０４に転送される前に、所望に又は必要なように、マトリックス放射レシーバ１２８によって取り込まれる画像を別のフォーマット（例えば、ＶＧＡ、ｂｍｐ、ｊｐｅｇ等）に変換することが可能である。検出装置１０８は、物体１１１の表面１１０の一部分を包含する視野１１８を含むことが可能である。投影装置１０６は投影器軸１１２を含むことが可能であり、検出装置１０８は検出器軸１１６を含むことが可能であり、それにより、三角角度１２０が投影器軸１１２と検出器軸１１６との間の角度になる。

図３に示す１つ又は複数の実施形態によると、一体型物の体取り込みシステム及び表示装置１００は、デスクトップコンピュータ１０４のためのディスプレイ又はモニタを備える表示装置１０１を含むことが可能である。

図４は本願開示の１つ又は複数の実施形態による一体型の物体取り込みシステム及び表示装置１００の実施形態を示しており、この一体型の物体取り込みシステム及び表示装置１００において、表示装置１０１はラップトップコンピュータ１０４のコンポーネントである。

装置及び方法を、現在最も実践的な実施形態であると考えられるものに関して説明してきたが、本願開示を開示した実施形態に限定する必要のないことは理解されたい。特許請求の範囲の趣旨及び範囲内に含まれる様々な修正形態及び類似の構成をカバーすることを意図しており、特許請求の範囲の範囲には、全てのこのような修正形態及び類似の構造を包含するように最も広い解釈が与えられるべきである。本願開示は、以下の特許請求の範囲の任意及び全ての実施形態を含んでいる。

Claims (20)

1. 有形物体の形状の３Ｄ測定のためのシステムであって、
   表示装置と、
   構造化光パターンを物体の表面上に投影するための少なくとも１つの投影装置と、
   前記物体の前記表面の少なくとも１つの画像を取り込むための少なくとも１つの検出装置であって、前記検出装置のうちの少なくとも１つは、前記物体の前記表面上に作用する前記構造化光パターンの少なくとも１つの画像を取り込む、前記少なくとも１つの検出装置と、
   取り込んだ前記画像に関する測定を求めるためのコンピューティング装置と
   を備えたシステム。
2. 前記表示装置は、前記物体に対する位置及び向きを提供して前記少なくとも１つの検出装置に関して仮定する、請求項１に記載のシステム。
3. 少なくとも１つの投影装置及び少なくとも１つの検出装置は、前記表示装置と統合された、請求項２に記載のシステム。
4. 少なくとも１つの投影装置及び少なくとも１つの検出装置は、前記表示装置から分離した、請求項２に記載のシステム。
5. 前記表示装置は、コンピュータディスプレイである、請求項２に記載のシステム。
6. 前記物体は、前記表示装置のユーザの顔である、請求項２に記載のシステム。
7. 前記測定は、前記表示装置に接続されたコンピュータの使用のレベルを求める、請求項２に記載のシステム。
8. 前記コンピューティング装置は、前記測定を少なくとも１つの履歴測定と比較する、請求項２に記載のシステム。
9. 前記履歴測定は、前記表示装置に接続されたコンピュータの使用の所定のレベルと関連付けられた、請求項８に記載のシステム。
10. 前記測定は、絶えず処理されて前記表示装置に接続された前記コンピュータの使用の前記レベルを求める、請求項９に記載のシステム。
11. 表示装置の近くに位置決めされた物体の形状の３Ｄ測定のための方法であって、
    構造化光パターンを少なくとも１つの投影装置から表示装置の近くに位置決めされた前記物体の表面上に投影するステップと、
    少なくとも１つの検出装置により前記物体の前記表面の少なくとも１つの画像を取り込むステップであって、取り込んだ前記画像のうちの少なくとも１つは前記物体の前記表面上に作用する前記構造化光パターンの画像を含む、ステップと、
    前記物体の前記表面に関する測定を求めるステップと
    を含む方法。
12. 前記表示装置は、前記物体に対する位置及び向きを提供して前記検出装置に関して仮定する、請求項１１に記載の方法。
13. 少なくとも１つの投影装置及び少なくとも１つの検出装置は、前記表示装置と統合された、請求項１２に記載の方法。
14. 少なくとも１つの投影装置及び少なくとも１つの検出装置は、前記表示装置から分離した、請求項１２に記載の方法。
15. 前記表示装置は、コンピュータディスプレイである、請求項１２に記載の方法。
16. 前記表示装置の使用のために配置された物体上に作用するように、前記少なくとも１つの投影装置と、前記少なくとも１つの検出装置とを位置決めするステップを更に含む、請求項１２に記載の方法。
17. 前記測定に基づいて前記表示装置と関連付けられたコンピュータの使用のレベルを提供するステップを更に含む、請求項１６に記載の方法。
18. 前記表示装置と関連付けられたコンピュータの使用のレベルを提供するステップは、
    前記測定を少なくとも１つの履歴測定と比較するステップと、
    前記測定が前記履歴測定に対応する場合、前記コンピュータの使用を可能にするステップと、
    前記測定が前記履歴測定に対応できない場合、前記コンピュータの使用を拒否するステップと
    を更に含む、請求項１７に記載の方法。
19. 前記履歴測定は、前記表示装置に接続されたコンピュータの使用の所定のレベルと関連付けられた、請求項１８に記載の方法。
20. 前記測定を絶えず処理して、前記表示装置に接続された前記コンピュータの使用の前記レベルを求めるステップを更に含む、請求項１９に記載の方法。

Images