JP2011530209A - 走査された光線のオーバーレイ投影 - Google Patents

Abstract

走査線のオーバーレイ投影システム（１００）は、ラスターパターンの中に光線（１１２）を走査することによって、投影表面（１２８）に画像を表示する。光線によって照射される時に、投影表面上の反射点（１３０、１３２）は投影システムへ光を反射する。投影システムの光検出器（１３４）はその反射光を検出する。そして、タイミング回路（１４２）は反射する点がラスターパターンのどこに位置するかを決定する。画像は、画像の中でタグ付けされた位置と投影表面上の反射点の位置とを相互に関連づけるために、倍率変更すること及び変形させることが可能である。
【選択図】図１

Description

（背景）
「拡張現実感」とは、仮想世界の要素と現実の世界の要素の両方を含む環境のことである。例えばプロジェクタ（投光器）は、画像を現実の世界の物体に表示することができる。（または「オーバーレイ（重ね合わせ、重畳）」することができる。）その画像は、現実の世界の環境に正確にオーバーレイされた投影画像を得るために、それが投影される現実の世界の物体又は表面と整合するための倍率変更（拡大又は縮小）や変形（ゆがませること）が行われてもよい。この倍率変更と変形は、プロジェクタの投影角度と、現実の世界の物体までの距離と、現実の世界の投影表面上の三次元曲線との影響を補正（打ち消し）する。

倍率変更と変形のアルゴリズムが知られている。もしも基礎となる画像の中の充分な数の点を、投影されるべき投影表面上の位置と相互に関連づけることができる場合には、その基礎となる画像を、投影表面に一致するように、知られている方法を用いて倍率変更しまた変形することができる。基礎となる画像の中の点を投影表面上の位置に相互に関連づけることは、特にプロジェクタが移動中の場合には、難しい課題となりうる。

図１は、本発明の種々の実施形態に従った走査線のオーバーレイ投影システムを示す図である。 図２は、本発明の種々の実施形態に従って投影表面上の点の位置を決定するための、走査線のオーバーレイ投影システムのための同期信号のタイミングチャートを示している。 図３は、本発明の種々の実施形態に従った方法のフローチャートを示している。 図４は、本発明の種々の実施形態に従った走査線のオーバーレイ投影システムを示す図である。 図５は、本発明の種々の実施形態に従った、三次元の表面にオーバーレイ画像を投影するための走査線のオーバーレイ投影システムを示す図である。 図６は、本発明の種々の実施形態に従った、パラメータ補正と表示機能を有する走査線のオーバーレイ投影システムを示す図である。 図７又は図８は、本発明の種々の実施形態に従った方法のフローチャートを示している。

（実施形態の記載）
以下の詳細な説明において、添付の図面は、例示の目的で、発明が実施される特定の実施形態を示すために参照される。これらの実施形態は、当業者が本発明を実施することが可能である程度に充分詳細に記載されている。本発明の実施形態は、異なっているにもかかわらず、必ずしも相互に排他的ではないことが理解されるべきである。例えば、ここに記載された一つの実施形態に関する特定の特徴、構造、特性は、発明の範囲と精神から逸脱することなく他の実施形態でも同様に実施可能である。これに加えて、それぞれの開示された実施形態の中の個々の構成要素の位置や配置が、発明の範囲と精神から逸脱することなく変更可能であることが、理解されるべきである。このため、以下の詳細な記載は限定された意味で理解されるべきではなく、本発明の範囲は、添付の請求項によってのみ定義され、適切に解釈され、請求項が与えられるべき均等な全ての範囲と共に定義される。図面の中では、同一の数字は、それぞれの図面を通じて同一又は類似の機能のものを参照する。

図１は、本発明のいくつかの実施形態に従った走査線のオーバーレイ投影システム（走査された光線（走査ビーム）による重ね合わせ投影のシステム）を示している。図１に示されるように、走査線のオーバーレイ投影システム１００は、光源１１０を備えている。光源１１０は、レーザダイオード又は同種のもののようなレーザ光源であってもよく、レーザ光線でもよい光線１１２を放射することができる。光線１１２は、微小電気機械システム（ＭＥＭＳ）のスキャナ又は同種のものを搭載した走査プラットフォーム１１４に当たって、制御された出力光線１２４を生成するために、走査ミラー（スキャンミラー）１１６で反射する。水平駆動回路１１８と垂直駆動回路１２０とは、出力光線１２４にラスタースキャン（ラスター走査）１２６を生成させるために、走査ミラー１１６が曲げられる方向を調整し、これにより、投影表面１２８の上に表示される画像を作り出す。

投影表面１２８は、反射点１３０と反射点１３２とを備えている。反射点１３０と１３２とは、投影表面と一体化されるか、又は接着剤、テープ、若しくは他の手段によって、取り付けることができる。反射点１３０，１３２は、出力光線１２４の全部または一部分を反射することができる任意の種類の反射手段又は材料を組み込むことができる。例えば、いくつかの実施形態に於いては、反射点１３０，１３２はコーナーキューブ（コーナーリフレクタ、コーナー反射器）又は再帰反射器であってもよい。また例えば、他の実施形態において、反射点１３０，１３２は、拡散特性を有する反射テープを備えることができる。

制御された出力光線１２４が反射点１３０と反射点１３２の何れか一方を通過するとき、光は矢印１３３に示されるように反射される。反射光は光検出器（ＰＤ）１３４によって検出される。以下で一層充分に述べるように、反射光のタイミングを、ラスタースキャン１２６によって描画される画像に関連して反射点の位置を決定するために、ラスタースキャン１２６のタイミングと比較することが可能である。例えば、特定の画素が反射点によって反射されると、ラスタースキャン１２６の中のその画素の位置の決定により、ラスタースキャン１２６の中の反射点の位置もまた決定する。

ディスプレイコントローラ（表示制御部）１４０は、タイミング回路１４２と、画像生成手段（画像を生成する要素）１４４と、画像変形エンジン（画像をゆがませる手段）１４６と、光源ドライブ回路（光源駆動手段）１４８と、を備えている。タイミング回路１４２は、走査ミラー１１６のラスタースキャン操作のタイミングを制御するために、駆動信号を水平駆動回路１１８および垂直駆動回路１２０に供給する。いくつかの実施形態に於いて、タイミング回路１４２は垂直同期信号と水平同期信号を生成し、駆動回路１１８と１２０とに使用される信号は、そこから導き出される。またいくつかの実施形態に於いて、水平駆動回路１１８と垂直駆動回路１２０とは組み合わされており、そしてタイミング回路１４２はミラー１１６のラスタースキャン操作を実行させるように一つのコンポジット信号（複合信号）を生成する。

タイミング回路１４２はまた、ＰＤ（光検出器）１３４から一以上の信号を受信する。これらの信号は、いつ光が投影表面から反射されたかに関するタイミング情報を供給する。例えば、制御された出力光線１２４が反射点１３２を通過した走査するとき、ＰＤ１３４は接続点（ノード）１３５上にタイミング回路１４２へ野信号を供給する。また例えば、制御された出力光線１２４が（図１に示すように）反射点１３０を通過して走査するとき、ＰＤ１３４は接続点１３５上にタイミング回路１４２に信号を供給する。タイミング回路１４２は、ラスタースキャンの中のどこに反射点が配置されているかを決定するために、ＰＤ１３４から受信した信号のタイミングと、それ自身の内部のタイミング信号と互いに関連づける。タイミングの例は、以下に、図２を参照して述べられる。

画像生成手段１４４は、投影される画像を生成する。いくつかの実施形態に於いて、画像生成手段１４４は、画像の静的表現を含むデータの格納場所である。例えば、画像生成手段１４４は、ランダムアクセスメモリ又はハードディスクドライブのような記憶手段であることが可能である。他の実施形態では、画像生成手段１１４は、外部のディスプレイコントローラ（表示制御部）１４０から画像を受け取る入力手段であることが可能である。画像データの根本的な供給源は、本発明の限定内容ではない。

画像変形エンジン１４６は、画像データを画像生成手段１１４から受け取る。受け取った画像データは、投影表面１２８上に重ね合わされる画像に対応している。画像変形エンジン１４６は、タイミング回路１４２からもまた情報を受け取っている（受領している）。タイミング回路１４２から受け取った情報は、画像変形エンジン１４６に、投影表面上の位置と画像データの中の場所との相互の関連づけを行わせる。それに応じて、画像変形エンジン１４６は、投影すべき画像の倍率変更と変形を行う。例えば、タイミング回路１４２は、画像変形エンジン１４６に対して、投影表面上の位置の、ラスタースキャンの中における位置を表す（ｘ、ｙ）座標を提供することができる。この画像データは、画像の中の特定の位置と投影表面上の位置を表す（ｘ、ｙ）座標とを相互に関連づけさせるタグ（識別用の印）を含むことができる。画像変形エンジン１４６は、その後、画像の中のタグ付けられた点を投影表面上の位置に重ね合わせるように画像を変形させ、且つ倍率変更することができる。

表示制御部１４０の中の種々の機能的ブロックは、ハードウェア、ソフトウェア、又はそれらの組み合わせによって実現が可能である。例えば、画像変形エンジン１４６は、（図示されていない）プロセッサの上で稼働するソフトウェアモジュールとして実現が可能である。また例として、画像変形エンジン１４６は、特定の用途のための集積回路（ＡＳＩＣ）のような専用のハードウェアで実現が可能である。

光源ドライブ回路（光源駆動回路）１４８は、倍率変更と変形がなされた画像の画素の情報を、光源１１０を駆動するために適した変調信号に変換する。いくつかの実施形態に於いては、光源１１０は、一以上のレーザダイオードを備えており、光源ドライブ回路１４０はレーザダイオードを駆動する電流を生成する。この変調信号は、それぞれの画素がラスタースキャン１２６に関連したそれぞれの正しい位置に表示されるように走査プラットフォーム１１４の操作と同期する。表示制御部１４０は、走査された光線のオーバーレイ投影システム１００の他の種々の機能の制御も行うことが可能である。

図２は、本発明の種々の実施形態に従った、投影表面上の点の位置を決定するための走査線のオーバーレイ投影システムのための同期信号のタイミングチャートを示している。図２のタイミングチャート２００に示されるように、ラスタースキャン１２６（図１参照）のための垂直同期信号２１０と水平同期信号２１２とは、反射された画素のラスタースキャンの中のＸ−Ｙ位置と、それによる投影表面上の特定の位置とを計算するために活用することが可能である。

垂直同期信号２１０は、ラスタースキャン１２６のそれぞれの垂直走査ごとに一度アサートされる（真（ｔｒｕｅ）の状態にされる）。そして、水平同期信号２１０は、ラスタースキャン１２６のそれぞれの水平走査ごとに一度アサートされる。垂直同期信号は、典型的には、垂直走査の開始時にアサートされるが、これは本発明を限定するものではない。例えば、もし垂直走査が上端で開始されて下方へ進む場合には、垂直走査信号２１０は、出力光線が上端にある時にアサートされるであろう。これは図２の中で垂直同期パルス２１６、２１８とによって図示されている。同様に、水平同期信号２１２は、典型的には、水平走査の開始時にアサートされるが、これは本発明を限定するものではない。例えば、もし水平走査が左側で開始されて右側へ進む場合には、水平走査信号２１２は、出力光線が左端にある時にアサートされるであろう。これは図２の中で水平同期パルス２３０，２３２，２３４，２３６，２３８，２４０によって図示されている。

光検出器（ＰＤ１３４，図１）は、光を受け取ったときにパルスを生成する。図２において、光検出器の出力（ＰＤ ＯＵＴＰＵＴ）信号２１４は、二つのパルス２５０，２６０を有していることを示している。パルス２５０，２６０は、ここで、「反射パルス」と呼ばれる。反射パルス２５０は、反射点１３２（図１）から反射された光に対応している。そして反射パルス２６０は、反射点１３０から反射された光に対応している。

反射された画素のＸの位置は、水平同期パルスに対する反射パルスの時期（段階、相）を決定することによって、ＰＤ出力信号２１４の中の対応する反射パルスから計算することができる。例えば、反射パルス２５０に対応する反射された画素のＸの位置は、反射パルス２５０と垂直同期パルス２３２との間の（時期の遅れに対応する）時間差２５２を決定することにより計算される。この時間差は、ラスタースキャン１２６の中の出力光線１２４の水平掃引（スイープ）に関する反射されたピクセルのタイミングを表しており、この結果、反射された画素のＸ座標に対応している。ラスタースキャン１２６中の出力光線１２４の掃引が、Ｘ方向の全体で均一な速度を有していないかもしれないため、適切なＸの位置への時間差２５２を割り当てる調整が行われる可能性がある。出力光線１２４の水平方向の走査の経路に沿ったそれぞれの画素が、水平同期パルスからの特別であり再現性のあるタイミングの時期のずれ（例えば時間差２５２）に対応することから、このマッピング（割り当て）をすることができる。

同様に、反射された画素のＹ位置は、垂直同期パルスに対する反射パルスの時期を決定することによって、ＰＤ出力信号２１４の中の対応する反射パルスから計算することができる。例えば、反射パルス２５０に対応する反射された画素のＹの位置は、反射パルス２５０と垂直同期パルス２１６との間の（時期の遅れに対応する）時間差２５４を決定することにより計算される。この時間差は、ラスタースキャン１２６中の出力光線１２４の垂直掃引に関する反射されたピクセルのタイミングを表しており、このため反射された画素のＹ座標に対応している。再び、走査スピードの変化と垂直方向のオーバースキャン（光線が表示領域を過ぎて走査され、そこは空白となる所）のような走査のアーチファクト（作為的な結果）を説明するために、反射パルスのタイミングと対応するＹ位置との間のマッピングの調整が行われる。

図２は、二つの反射された画素の時間測定を明示している。反射点１３２によって反射された画素は、反射パルス２５０をもたらす。水平方向の時間差は、時間間隔２５２で測定され、垂直方向の時間差は時間間隔２５４で測定される。同様に、反射点１３０によって反射された画素は、反射パルス２６０をもたらす。水平方向の時間差は、時間間隔２６２で測定されており、垂直方向の時間差は時間間隔２６４で測定されている。図２の中では時間差が２つの画素について測定されているように図２には示されているが、これは本発明を限定しない。任意の数の反射点が利用されて、任意の数の反射パルスをもたらすことができる。測定はそれぞれの反射パルスについて実施することができる。

一以上の実施形態に於いて、Ｘ位置とＹ位置の計算は、測定された時間差をルックアップテーブル（参照表）へのアドレスとして利用する、ルックアップテーブルを介して行うことができる。代替的には、Ｘ−Ｙ位置は、測定された時間差と、垂直同期パルスと水平同期パルスへのビデオ出力の既知のタイミングのずれ（オフセット）を用いて、代数的に計算することができる。いくつかの実施形態に於いては、投影表面１２８上の単一の反射点からの二以上の画素からの反射を取り込むと考えられる。水平方向において、この形態は反射パルスの幅をより長くする可能性がある。これは、Ｘ位置を、長い反射パルスの中央若しくは代替的には先頭の端部として決定することであると説明することが可能である。しかしながら、垂直方向においては、複数の反射パルスは、隣接した走査の並びから発生する可能性がある。位置決定の復号（デコード）アルゴリズムは、最初のそのような反射パルスに基づくか、全ての反射パルスの垂直位置の平均に基づくかのいずれかにより、Ｙ位置を計算することができる。

出力光線は、一方向に走査されて、その後引き返すことができる。若しくは出力光線は両方の方向に走査されることができる。例えば、いくつかの実施形態に於いて、出力光線は右から左への走査の間に画素を描くことができ、そしてその後、右から左に戻る間を空白とすることができる。他の実施形態に於いては、出力光線は左から右への走査と右から左への走査の間、継続的に画素を描くことができる。同様のことは、垂直方向の走査においてもあてはまる。図２に関して述べた技術は、これらの実施形態のそれぞれに適用が可能である。これに加えて、図２で図示した技術は、ラスタースキャンの中でＳＹＮＣ信号（同期信号）がどこに現れるかに拘わらず適用が可能である。もしもＳＹＮＣ信号のラスタースキャンの中の位置が知られている場合には、ラスタースキャン内のそれらの位置を補償する為に、補正（オフセット）を適用することができる。

図３は、本発明のいくつかの実施形態に従った方法のフローチャートを示している。方法３００は、オーバーレイされる画像の中の点が、投影表面上の特定の位置に正しく位置合わせされるように、画像を投影表面の上にオーバーレイするために使用することのできる動作を示している。工程３１０において、オーバーレイ画像は投影光線のラスタースキャンを介して、表面上に投影される。これは、図１のなかに示されており、そこでは、光線１２４は、一つの画像を表面１２８に投影するために、ラスタースキャン１２６の中で前後と上下に掃引される。

工程３２０で、表面上の反射点から反射された光線が受け取られる。工程３２０の動作は、反射点１３０，１３２から反射された光を受け取るＰＤ（光検出器）１３４に対応する。工程３３０では、反射された光に対応するパルスが生成される。パルスは、ＰＤ１３４によって、信号ライン１３５の上に生成される。反射パルスの例は、図２の符号２５０と２６０とに示されている。工程３４０では、反射点の位置を決定するために、反射パルスのタイミングがラスタースキャンのタイミングと互いに関連づけられる。図２に示されるように、この関連づけは、反射パルスのタイミングと水平同期信号及び垂直同期信号のタイミングとを比較することで達成される。

工程３５０において、オーバーレイ画像は、画像の中のタグ付けされた点を表面の反射点の位置に位置合わせするために変形される場合がある。例えば、プロジェクタが投影表面に寄り近づくように移動された場合、オーバーレイ画像はより小さくなるであろう。そしてオーバーレイ画像は、画像を投影表面に再位置合わせするために引き延ばされるであろう。同様に、プロジェクタが左又は右に移動した場合、表面上の反射点は、もはや画像のタグ付けられた点と整合されない。工程３５０の動作は、オーバーレイ画像に対して、投影表面ともう一度正しく位置合わせをさせる。

図４は、本発明の種々の実施形態に従った走査線のオーバーレイ投影システムを示している。走査線のオーバーレイ投影システム４００は、光源１１０と、走査プラットフォーム１１４と、水平駆動回路１１８と、垂直駆動回路１２０とを備えており、これらの全ては、上記で図１に関して説明したものである。走査線オーバーレイプロジェクタ４００は、ラスタースキャン１２６を生成するための出力光線１２４を走査し、これにより投影表面１２８に表示される画像が生成される。

投影表面１２８は、光検出器４３０と光検出器４３２とを備えている。光検出器４３０，４３２とは、投影表面と一体化されるか、又は接着剤、テープ、若しくは他の手段によって、取り付けることができる。光検出器４３０，４３２は、接続路（リンク）４３１，４３３によって、タイミング回路４４２と連結されている。光検出器４３０，４３２は、出力光線１２４が通過して走査した時に、光を検出して反射パルスを接続路４３１，４３３に生成する。例えば、出力光線１２４が光検出器４３０を通過して走査した時、反射パルスは接続路４３１に生成される。同様に、出力光線１２４が光検出器４３２を通過して走査した時、反射パルスは接続路４３３に生成される。

一以上の実施形態に於いて、接続路１３１と接続路１３３とは、光検出器４３０，４３２と、タイミング回路４４２との間を接続するケーブルを備えた、有線（結線された）接続路とすることができる。代替的には、接続路１３１と接続路１３３とは、無線周波数（電波周波数、ＲＦ）接続路のような無線接続を備えることができる。一つの特別な実施形態として、接続路１３１と接続路１３３とは、ブルートゥース スペシャル インターネット グループ（ＢＬＵＥＴＯＯＴＨ ＳＩＧ）によって特定されたブルートゥース（ＢＬＵＥＴＯＯＴＨ）接続を含むことができるが、しかし特許請求の範囲はこの点に限定されない。

表示制御部４４０は、タイミング回路４４２と、画像生成手段１４４と、画像変形エンジン１４６と、光源ドライブ回路１４８と、を備えている。画像生成手段１４４と、画像変形エンジン１４６と、光源ドライブ回路１４８とは、図１に関連して記載されている。タイミング回路４４２は、プロジェクタに共に配置された光検出器からではなく、投影表面上に共に配置された光検出器からの反射パルスが受領されると言う点を除いて、タイミング回路１４２と類似している。

いくつかの実施形態に於いて、図４に示されるように、タイミング回路４４２は,
多数の接続路を通じて反射パルスを受け取る。他の実施形態に於いては、タイミング回路４４２は、単一の多重送信接続路を通じて反射パルスを受け取る。上で述べたように、接続路は、有線通信、無線通信、若しくはそのいかなる組み合わせであってもよい。

図１から図３に関して上述したように、タイミング回路４４２は、ラスタースキャンの中の光検出器の位置を決定するために、受け取った反射パルスとラスタースキャンとを互いに関連づける。

図４は、投影表面に共に配置された光検出器を示し、図１は、プロジェクタに共に配置された光検出器を示している。いくつかの実施形態に於いて、光検出器は、投影表面とプロジェクタの両方に共に配置される。

図５は、本発明の種々の実施形態に従った、三次元の表面にオーバーレイ画像を投影するための走査線のオーバーレイ投影システムを示している。走査線のオーバーレイ投影システム５１０は、走査プロジェクタ５１２と、表示制御部１４０と、光検出器（ＰＤ）１３４とを備えている。光検出器１３４と表示制御部１４０とは、前出の図に関して上述されている。走査プロジェクタ５１２は、上の図１から図４に関連して述べられているようなＭＥＭＳを使用したレーザ走査プロジェクタを含むことができる。

運用にあたり、走査プロジェクタ５１２は、オーバーレイ画像５７０を三次元（３Ｄ）表面５４０に投影する。３Ｄ表面５４０は、オーバーレイ画像５７０の中のタグ付けされた点と互いに関連づけられる反射点５５２，５５４，５５６，５５８，５６０，及び５６２を含んでいる。ＰＤ１３４は、３Ｄ表面上の反射点から反射された光を検出し、そしてラスタースキャンの中の点の位置を、上述のように決定することができる。オーバーレイ画像５７０は、３Ｄ投影表面の輪郭に正しく位置合わせされるように、引き伸ばしと変形がなされる。

３Ｄ表面５４０は、図５に、車のモデルとして示されている。反射点は、成型品とバンパーの角部のような、その表面の戦略的に重要な位置に配置されている。オーバーレイ画像は、窓の形や、ホイール・ウェル（車輪格納部、脚室）のデザイン等のような企画されたスタイルの特徴を含むことができる。迅速な視覚上の試作を可能とするように、異なる複数のオーバーレイ画像を見ることができる。プロジェクタの視野が変更されたとき（例えばプロジェクタが移動したとき）、オーバーレイ画像は投影表面への正確な整合状態を保ち、設計者は迅速に異なる視野からの異なる設計を評価することができる。この自動車の試作アプリケーションプログラムは、走査線のオーバーレイプロジェクタのための一つの可能な使用を例示するだけのものである。例えば、いかなる拡張現実のアプリケーションプログラムも、ここに記載されたオーバーレイ画像の位置合わせ能力から恩恵を受けることができるわけである。

三次元表面５４０は、反射点と共に示されている。そして走査線のオーバーレイ投影システム５１０は、光検出器と共に示されている。いくつかの実施形態に於いて、３Ｄ表面５４０は、図３に関して上述されたような、取り付けられたあるいは組み込まれた光検出器を有している。走査線のオーバーレイプロジェクタ５１０は、いかなる形態もとることが可能である。例えば、いくつかの実施形態に於いて、プロジェクタ５１０は携帯型の装置、卓上型の装置、固定された装置のいずれかであってもよい。また例として、いくつかの実施形態に於いて、プロジェクタ５１０は、眼鏡のようなユーザによって装着される装置の一部とすることができる。

図６は、本発明の様々な実施形態に従った、パラメータ（特質）の収集と表示の機能を備えている走査線のオーバーレイ投影システムを示している。走査線のオーバーレイ投影システム６１０は、表示制御部１４０と、光検出器（ＰＤ）１３４と走査プロジェクタ５１２と、パラメータ収集部６２０とを備えている。図６にはまた、プローブ（探針）６３０と回路ボード６５０とが示されている。

走査プロジェクタ５１２は、図６において回路ボード６５０として示されるところの表示表面上に、画像を投影する。回路ボード６５０は、集積回路６５２，６５４，６５６が例として挙げられているいくつかの構成要素を備えている。回路ボード６５０は、反射スポットをオーバーレイ画像を投影表面と位置合わせするための上述の反射点を備えることができる。しかしながら、これは本発明の限定ではない。

プローブ６３０は、パラメータの測定機能を提供する、図６の例として、パラメータは温度である。プローブ６３０は、測定されたパラメータの情報（温度）を提供し、それをパラメータ収集部６２０に提供する。パラメータ収集部６２０は、パラメータの情報を表示制御部１４０に提供する。それから表示制御部１４０は、パラメータの情報を表示される画像の中に組み込むことができる。

プローブ６３０は、反射点６３４を備える。走査オーバーレイ投影システム６１０は、ここに記載の技術を使用して、画像を表示するために使用されるラスタースキャンの中の反射点６３４の位置を決定することができる。プローブ６３０はまた、ユーザに対してプローブに温度を測定させるための命令を出させるボタン６３２を備えている。

運用にあたり、ユーザ（又は自動化されたシステム）は、プローブを、関心の対象となる位置（例えば集積回路上）に温度を測定するために配置する。ボタン６３２が押され、そしてプローブ６３０が温度を測定し、温度の値をパラメータ収集部６２０に送る。ボタンが押されると同時に、走査線のオーバーレイ投影システム６１０は、反射点６３４からの反射光を検出することによって、プローブ６３０の先端の位置も決定する。走査オーバーレイ投影システム６１０は、それから、ラスタースキャンの中の位置をパラメータの値と互いに関連づけることができる。

いくつかの実施形態において、収集されたパラメータの値は、表示される画像の中に組み込まれる。例えば、図６に示されるように、３箇所の温度測定が行われており、その温度の値は表示される画像の中に組み込まれている。集積回路６５２は８８℃と測定されており、集積回路６５４は６５℃と測定されており、集積回路６５６は７２℃と測定されている。プローブを周囲に動かしてボタン６３２を押すことによって、更なる測定値を表示することができる。測定された温度の値は、その後投影表面に重ね合わされて現れる。

いくつかの実施形態において、重ね合わされた画像は、直接的なパラメータの測定以外の情報を含む。例えば、走査線のオーバーレイ投影システム６１０は、測定されたパラメータの情報を、表示されるべきルックアップデータへの情報として使用することができる。表示されたデータは（試験のフィードバックのための）成功／失敗の情報、陰影、色彩のようなものを含むことができる。画像は、パラメータの情報に応答して、本発明の範囲から逸脱することなくいろいろな方法で修正可能である。

図７は、本発明の種々の実施形態に従ったフローチャートを示している。いくつかの実施形態に於いて、方法７００またはその一部は、前出の図の中で示された実施形態である、走査線のオーバーレイ投影システムによって実施される。他の実施形態のなかでは、方法７００の全てまたはその一部は、電子システムの中のハードウエア／ソフトウエアによって実施される。方法７００は、その方法が実施される手段の特定の種類によって限定されない。方法７００の中の種々の動作は、提示された順序で実行される場合がある。また異なる順序で実行されても良い。さらに、いくつかの実施形態においては、図７に挙げられたいくつかの動作は方法７００から省略される。

方法７００は、表面上に画像を重ね合わせるために光線が三次元表面に対して走査されるという、ブロック（工程）７１０から始まっていることが示されている。これは開示されているオーバーレイ画像を投影している走査線のオーバーレイ投影システムのいずれにも対応している。ブロック７２０で、三次元表面の位置が、画像の中のタグ付けされた位置と相互に関連づけられる。これは、開示された技術若しくはそれらと等価な技術のいずれかを用いても達成されることができる。例えば、再帰反射器は、三次元表面上の位置に配置することができる。そして、図２に示されるように、反射のタイミングをラスタースキャンの画素のタイミングと比較することができる。

ブロック７３０で、画像は、三次元表面に一致させるために修正される。これは、画像の中のタグ付けされた点を三次元表面の位置に位置合わせするための画像の引き延ばしと変形とを含む。本発明の種々の実施形態は、画像を修正するために用いされるアルゴリズムによって限定されない。

ブロック７４０で、プロジェクタが移動される。そして、新しい視野に一致させるために、画像は更に修正される。一例として、走査線のオーバーレイ投影システム５１０（図５）は、自動車の形状の表面を異なった角度から照射するために動かすことが可能である。これは、画像に対して反射点の位置が変化するであろう。反射点の位置は、再度決定することが可能であり、そして画像は表面に一致するために、更に引き伸ばされて変形されることができる。ブロック７４０の動作は、例えプロジェクタが移動した場合でも、重ね合わされる画像に投影表面との好ましい位置合わせを維持することを許す。

ブロック７５０で、パラメータの情報が収集される。例えば、いくつかの実施形態に於いて、温度データは、図６に示されるように収集される。他の実施形態では、他のパラメータ情報が収集されることが可能である。ブロック７６０では、パラメータの情報は画像に組み込まれる。

いくつかの実施形態に於いて、ブロック７５０とブロック７６０の動作は除外できる。例えば、三次元の投影表面は、パラメータの情報を収集することなしにオーバーレイ画像を照射される。他の実施形態では、ブロック７４０の動作が、除外できる可能性がある。例えば、パラメータ情報は収集されて、プロジェクタを移動させることなく表示される可能性がある。方法７００に示された動作の組み合わせは、発明に本質的なことであるとは見なされない。

本発明は、特定の実施形態と共に記述されているが、当業者であれば容易に理解されるように、発明の範囲を逸脱することなく改良と変更とを行うことが可能であることは理解されよう。このような改良と変更とは、付加された請求項と本発明の範囲内にあると見なされるものである。

１００，４００，５１０ 走査線のオーバーレイ投影システム
１１０ 光源
１１２ 光線
１１４ 走査プラットフォーム
１１６ 走査ミラー
１１８ 水平駆動回路
１２０ 垂直駆動回路
１２２ 画像制御部
１２４ 出力光線
１２６ ラスタースキャン
１３０，１３２ 反射点
１３４ 光検出器（ＰＤ）
１４０ 表示制御部
１４２ タイミング回路
１４４ 画像生成手段
１４６ 画像変形エンジン
１４８ 光源ドライブ回路
２００ タイミングダイアグラム

Claims (20)

1. 画像を表示するために、対象物に対して光線を走査する工程と、
   前記対象物上の点を表わしている反射を受領する工程と、
   前記点の位置に基づいて前記画像を修正する工程と、
   からなることを特徴とする方法。
2. 対象物に対して光線を走査する工程が、オーバーレイを三次元の対象物上に投影することからなることを特徴とする請求項１に記載の方法。
3. 反射を受領する工程が、前記三次元の対象物上に配置された反射手段からの反射を受領する工程からなることを特徴とする請求項２に記載の方法。
4. 前記画像を修正する工程が、前記三次元の対象物の現在の視野に一致するように前記オーバーレイを変形させる工程からなることを特徴とする請求項２に記載の方法。
5. 前記対象物の前記位置に基づいて前記画像を修正する工程が、前記走査に関連して反射の到着時間に基づく前記点の位置を決定する工程からなることを特徴とする請求項１に記載の方法。
6. 前記光線を走査するプロジェクタを移動させる工程と、
   前記画像を更新する工程と、
   を更に備えることを特徴とする請求項１に記載の方法。
7. 前記対象物に対するプローブの位置を表す少なくとも一つの反射を受領する工程と、
   前記プローブからのパラメータの情報を受領する工程と、
   を更に備えることを特徴とする請求項１に記載の方法。
8. 前記パラメータの情報を前記画像の中に組み込む工程を更に備えることを特徴とする請求項７に記載の方法。
9. 光線を二次元で走査することによって画像を表示表面上に投影する工程と、
   前記光線が前記表示表面上の特定の点を通過した時を決定する工程と、
   前記光線が前記特定の点を通過した時に基づいて前記画像を変形させる工程と、
   からなることを特徴とする方法。
10. 前記光線が特定の点を通過した時を決定する工程が、前記特定の点から反射される光を検出する工程からなることを特徴とする請求項９に記載の方法。
11. 前記光線が特定の点を通過した時を決定する工程が、前記特定の点の光を検出する工程からなることを特徴とする請求項９に記載の方法。
12. 前記画像を前記表示表面上に投影する工程が、三次元の表示表面上に画像を投影する工程からなることを特徴とする請求項９に記載の方法。
13. 前記光線が前記表示表面上の特定の点を通過した時を決定する工程が、前記三次元の表示表面上の前記特定の点から反射される光を検出する工程からなることを特徴とする請求項１２に記載の方法。
14. 表示表面上で二次元に光線を走査することによって画像を表示するための、走査光線プロジェクタと、
    前記表示表面上の複数の反射点から反射された光を検出するための、少なくとも一つの光検出器と、
    前記画像の中の前記反射点の位置に基づいて前記画像を変形させるための、画像変形エンジンと、
    を備えていることを特徴とする装置。
15. 前記走査光線プロジェクタが、微小電気機械システム（ＭＥＭＳ）の走査ミラーでなることを特徴とする請求項１４に記載の装置。
16. 前記画像の中の特定の点と互いに関連づけられたパラメータのデータを受け取るための、パラメータの入力インターフェースを更に備えることを特徴とする請求項１４に記載の装置。
17. 前記画像変形エンジンが、ソフトウエアモジュールからなることを特徴とする請求項１４に記載の装置。
18. 表示表面に対して垂直方向と水平方向の光線を走査する走査プロジェクタであって、垂直同期信号と水平同期信号とを情報源としている前記走査プロジェクタと、
    前記光線が前記表示表面上の特定の点を通過した時を検出するための検出要素と、
    前記表示表面上の前記特定の点を前記光線が通過する時間を決定するために、前記検出要素と、前記垂直同期信号と、前記水平同期信号とに応答するタイミング回路と、
    前記タイミング回路に応答して、前記走査プロジェクタによって表示される画像を変形させるための、画像変形エンジンと、
    を備えていることを特徴とする装置。
19. 前記検出要素が、前記走査プロジェクタと同一場所に配置された光ダイオードで成ることを特徴とする請求項１８に記載の装置。
20. 前記検出要素が、前記走査プロジェクタと同一場所に配置された、少なくとも一つの光ダイオードで成ることを特徴とする請求項１８に記載の装置。

Images