JP2019534467A - レーザ画像投影の走査と共に深度マッピングを提供するための装置および方法 - Google Patents

Abstract

画像投影を表面走査と組み合わせるための装置が本明細書で説明されている。全般に、装置および方法は、レーザ光（１０２）を生成するためにレーザ光の少なくとも１つの光源を利用する（１０２）と、レーザビームを走査線のパターンに反射する走査ミラー（１０４）とを備える。走査線のパターンの第１の部分の間に、投影された画像画素を選択的に生成するように、および、走査線のパターンの第２の部分の間に深度マッピング用パルスを選択的に発生させるように、光源が制御される。投影される画像画素は、投影される画像を生成し、深度マッピング用パルスは、表面から反射し、受光され、各点における測定された表面深度を示す三次元の点群を生成するために使用される。したがって、パターンの各走査の間に、投影された画像および表面深度マップの両方を生成することができる。【選択図】図１

Description

走査型レーザプロジェクタにおいて、画像は、走査ミラーが変調された光をパターンで走査するときに、レーザ光源からの光を変調することによって生成された個々の画素を用いて、レーザ光をパターンに走査することによって投影される。

深度マッピングセンサ（ｄｅｐｔｈ ｍａｐｐｉｎｇ ｓｅｎｓｏｒ）は、表面の３Ｄマップ（３Ｄ ｍａｐ，三次元マップ）を生成するために開発されており、この３Ｄマップは、表面上の深度の変化を表す。

走査型レーザプロジェクタを深度マッピングと組み合わせる過去の試みは、電力制限（ｐｏｗｅｒ ｌｉｍｉｔａｔｉｏｎ）によって制約されてきた。具体的には、走査型レーザプロジェクタは、一般的に電力制限によって制約される。レーザ投影とレーザ深度検知との組み合わせは、電力制限によってさらに制約される。

さらに、従来の深度マッピングセンサは、柔軟性において制限されてきた。例えば、典型的な深度マッピングセンサは、特定の解像度を有する３Ｄマップを生成することに限定される。

例えば、いくつかの深度マッピングセンサは、表面から反射された光を受光するためにＣＭＯＳ撮像センサ（ｉｍａｇｉｎｇ ｓｅｎｓｏｒ、ＣＭＯイメージングセンサ）を使用し、次いで受信した光から３Ｄマップを生成する。これらの深度マッピングセンサは、表面から反射されてＣＭＯＳ撮像センサによって受け取られた光の飛行時間を決定することができ、決定された飛行時間を使用して３Ｄマップを生成することができる。

しかし、そのようなＣＭＯＳ撮像センサは、典型的には固定の水平解像度および垂直解像度を有する。したがって、このようなＣＭＯＳ撮像センサを使用する深度マッピングセンサは、ＣＭＯＳ撮像センサの水平解像度および垂直解像度以下の解像度の３Ｄマップを提供することに限定される。

したがって、走査型レーザプロジェクタを深度マッピングと組み合わせるための改良された装置の必要性がいまだ存在している。また、深度マッピングの改良された装置および方法の必要性、特に、改良された柔軟性を有する深度マッピングの必要性が残っている。

図１は本発明の様々な実施形態に従った、走査型レーザプロジェクタの概略図である。 図２は本発明の様々な実施形態による深度マッピング手段の概略図である。

図３Ａは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図３Ｂは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図３Ｃは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図３Ｄは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。

図４Ａは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。 図４Ｂは本発明の様々な実施形態に従った、垂直方向の走査パターンおよびラスターパターンの図による表示である。

図５は本発明の様々な実施形態に従った、走査型レーザプロジェクタの概略図である。 図６は本発明の様々な実施形態に従った、走査ミラーを備えた微小電気機械システム（ＭＥＭＳ）の平面図を示している。

図７は本発明の様々な実施形態に従った、モバイルデバイスのブロック図を示している。

図８は本発明の様々な実施形態に従った、モバイルデバイスの斜視図である。

図９は本発明の様々な実施形態に従った、ヘッドアップディスプレイシステムの斜視図である。

図１０は本発明の様々な実施形態に従った、アイウェアの斜視図である。

図１１は本発明の様々な実施形態に従った、ロボット装置の斜視図である。

図１２は本発明の様々な実施形態に従った、ゲーム装置の斜視図である。

本明細書に記載された実施形態は、画像投影を表面走査と組み合わせるための装置および方法を提供する。具体的には、本明細書に記載された実施形態は、表面マッピングを実行しながら画像を投影する機能を提供することができる。一般に、装置および方法は、レーザビームを発生させるための、レーザ光の少なくとも１つの光源と、レーザビームを走査線のパターンで反射する走査ミラーとを利用する。光源は、走査線のパターンの第１の部分の間、投影された画像の画素を選択的に生成し、走査線のパターンの第２の部分の間、深度マッピング用パルスを選択的に発生させるように制御される。投影された画像の画素は、投影された画像を生成し、一方で深度マッピング用パルスは、表面で反射し、受け取られて、各点における測定された表面深度を表示する三次元の点群（ｐｏｉｎｔ ｃｌｏｕｄｓ）を生成するために使用される（例えば、表面の深度マップを提供する）。そして、パターンのそれぞれの走査の間に、投影された画像および表面の深度マップの両方を生成することができる。

これらの実施形態では、投影された画像画素と深度マッピング用パルスは時間的に分離されるため、表面の同一箇所に同時に投影されない。これにより、走査型レーザプロジェクタは、投影される画像画素と深度マッピング用パルスの両方において最大許容電力（ｍａｘｉｍｕｍ ａｌｌｏｗａｂｌｅ ｐｏｗｅｒ）を利用することができる。示される別の方法では、画素およびパルスは時間的に重複しないため、深度マッピング用パルスを発生させることは、投影される画像画素を生成するために使用可能な電力に追加的な限界をもたらすことはない。したがって、利用可能な全ての電力を画像投影に使用することができ、さらに画像の明るさおよび品質は、深度マッピング機能を画像投影に追加することによって成立するものではない。同様に、全ての利用可能な電力を深度マッピングに使用することができ、画像投影に使用される電力によってさらに制限されることはない。

さらに、いくつかの実施形態では、走査ミラーの動作を動的に調整して、結果として得られる表面の三次元の点群の特性を修正することができる。例えば、走査ミラー動作の垂直方向の走査速度（ｓｃａｎ ｒａｔｅ、スキャンレート）、垂直方向の走査振幅、および／または垂直方向の走査波形形状（ｖｅｒｔｉｃａｌ ｓｃａｎ ｗａｖｅｆｏｒｍ ｓｈａｐｅ）を動的に調整することができる。走査ミラー動作のこの調整は、結果として得られる三次元の点群の特性を修正するように構成される。例えば、走査ミラー動作の調整は、測定された表面の深さを表示する、結果として得られる三次元の点群の解像度またはデータ密度を修正することができる。

ここで図１を参照すると、走査型レーザプロジェクタ１００の概略図が示されている。走査型レーザプロジェクタ１００は、画素駆動生成部１０１（ｐｉｘｅｌ ｄｒｉｖｅ ｇｅｎｅｒａｔｏｒ １０１）と、レーザ光源１０２と、走査ミラー１０４と、駆動回路１０６と、深度マッピング手段１０８とを備えている。動作中、レーザ光源１０２は、走査ミラー１０４で走査領域１１２内の走査線のパターン１１４に反射されたレーザ光のビームを発生させる。図１の例では、走査線のパターン１１４はラスターパターンを含む。ただし、これは一例であり、走査線の他の実施形態では、他のパターンの走査線を使用するように発生させてもよい。例えば、螺旋状のパターンやリサジューパターンを代わりに用いることも可能である。これを遂行するために、駆動回路１０６は走査ミラー１０４の動作を制御する。具体的には、駆動回路１０６は、走査ミラー１０４の動作を励起するための励起信号を提供する。

画像投影を遂行するために、画素駆動生成部１０１はレーザ光の光線（ｂｅａｍ、ビーム）を、走査線のパターン１１４の第１の部分で画像画素を生成するように、画素データで符号化（ｅｎｃｏｄｅ、コード化）する。パターン１１４で走査されると、これらの投影された画像画素は、衝突面上に可視画像を生成する。ある実施形態では、レーザ光源１０２は、投影される画像画素を生成するために使用される赤色、緑色、および青色レーザを含む。

深度マッピングを遂行するために、画素駆動生成部１０１は、レーザ光のビームを深度マッピング用パルスと共に符号化する。一実施形態では、レーザ光源は深度マッピング用パルスの発生に使用される赤外線レーザをも含む。深度マッピング手段１０８は、表面からの深度マッピング用パルスの反射を受け取り、受け取った、反射された深度マッピング用パルスに少なくとも部分的に基づいて表面の三次元の点群を生成するように構成される。例えば、深度マッピング手段１０８は、受け取ったそれぞれの深度マッピング用パルスの戻りの飛行時間を計算するように構成することができる。この計算結果から、深度マッピング手段１０８は、表面の三次元の点群を生成することができる。

パターン１１４内のレーザ光のビームの水平方向の動作が三次元の点群内の画像画素および／またはデータポイントの行を規定することに留意されたい。パターン１１４内のレーザ光のビームの垂直方向の動作は、垂直方向の走査速度を規定し、よって投影された画像および／または三次元の点群における行数を決定する。

上述したように、画素駆動生成部１０１は、レーザ光源１０２を制御し、走査線のパターン１１４の第１の部分の間に、投影される画像画素を選択的に生成するとともに、走査線のパターンの第２の部分の間に深度マッピングのパルスを選択的に発生させるように構成されている。ある実施形態では、走査線のパターン１１４の第１の部分は、第１の方向に移動する走査線を含み、走査線のパターン１１４の第２の部分は、第２の方向に移動する走査線を含み、前記第１の方向と前記第２の方向とが逆方向である。例えば、パターン１１４の第１の部分は、左に移動する水平方向の走査線を含むことができ、パターン１１４の第２の部分は、右を移動する水平方向の走査線を含むことができる。このような実施形態では、走査線のパターン１１４の第１の部分とラスターパターン１１４の第２の部分とが互いに対して効果的にインターレースされる（ｉｎｔｅｒｌａｃｅ）。

別の実施形態では、走査線のパターン１１４の第１の部分は、有効な（ａｃｔｉｖｅ、アクティブな）表示期間中に生成された走査線を含み、走査線のパターン１１４の第２の部分は、垂直方向の帰線期間中に生成された走査線を含む。

上述のように、走査ミラー１０４は、レーザビームを反射するように構成されており、駆動回路１０６は、走査ミラーの動作を励起する励起信号を提供するように構成されている。具体的には、走査ミラー１０４は、走査線のラスターパターン１１４にレーザ光を反射するよう励起されるように、運動が励起される。また、本明細書に記載した実施形態によれば、駆動回路１０６は、走査ミラー１０４の動作を動的に調整し、表面の得られた投影された画像および／または三次元の点群の特性を修正するように構成されている。

ある特定の実施形態では、駆動回路１０６は、走査ミラー１０４の垂直方向の走査速度を動的に減少させ、投影される画像および／または表面の三次元の点群における垂直方向の解像度を増加させるように構成される。

ここで図２を参照すると、深度マッピング手段のより詳細な実施形態が示されている。図２において、深度マッピング手段２００は、光センサ２０２と、プロセッサ２０４を備えている。一般に、光センサ２０２は表面から反射されたレーザ光を受光し、受光したレーザ光の反射に比例した信号を発生させるように構成されている。これらの信号はプロセッサ２０４に転送される。いくつかの実施形態では、これらの信号は、プロセッサ２０４に送信する前に、フィルタリング、合成、または加工することができ、一方で、別の実施形態では、これらの信号はプロセッサ２０４によって処理されることができる。また、プロセッサ２０４は、レーザ光源（例えば、レーザ光源１０２）からの光のタイミングデータを受信する。この光のタイミングデータは、表面に投影された深度マッピング用パルスのタイミングを表示する。同様に、プロセッサ２０４は、駆動回路、（例えば、駆動回路１０６）からミラーの位置データを受信する。ミラーの位置データは、各深度マッピング用パルスに関係するときのミラーの位置を表示する。プロセッサ２０４は、光学センサ２０２、光のタイミングデータおよびミラー位置データから信号を受信し、表面の三次元の点群を生成する。

ある実施形態では、レーザ光源１０２は、表面に亘るパターン走査中、例えばラスターパターンに、赤外線レーザ光のパルスを発生させるように構成することができる。赤外線レーザ光の各パルスは表面から反射され、光学センサ２０２によって受光され、反射されたレーザ光の各パルスは、三次元の点群における一点に一致することができる。そのような実施形態では、光学センサ２０２は、任意の適切なセンサを含むことができる。例えば、光学センサ２０２は、赤外線に感受性があるように実装された、シリコンフォトダイオードおよびアバランシェフォトダイオード（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ）を含む適切なフォトダイオードで実現することができる。他の実施形態では、光学センサ２０２は、シリコン光電子増倍管または光電子増倍管で実現することができる。いくつかの実施形態では、可視光レーザを含む他のタイプのレーザを使用してパルスを発生させることができることに留意されたい。

プロセッサ２０４は、光学センサ２０２に結合され、表面深度を表示する三次元の点群を生成する。一つの実施形態では、プロセッサ２０４は、反射されて戻り、光センサによって受光される各パルスの飛行時間を計算することによって、三次元の点群を生成する。具体的には、光源から表面に飛行し、そして光学センサ２０２に戻るように飛行する各パルスの飛行時間は、少なくとも部分的に、光のタイミングデータと光センサ２０２からの信号とによって決定することができる。各パルスに対応する表面上の位置は、少なくとも部分的にミラーの位置データから決定することができる。各パルスの飛行時間は、その点（ａｔ ｔｈａｔ ｐｏｉｎｔ）での表面までの距離に比例するため、飛行時間を使用して、その反射点の表面深度を計算することができる。そして、ラスターパターン走査における各点からの決定された表面深さの複合体（ｃｏｍｐｏｓｉｔｅ、合成物）が作成されると、得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。

三次元の点群の提供を遂行するために、プロセッサ２０４は、任意の適切なタイプの処理システムまたは装置で実施することができる。例えば、プロセッサ２０４は、メモリに搭載され、ハードウェア上で実行されるソフトウェア実装プログラムで実施でき、ハードウェアは、そのようなプログラムを実行するように設計された集積回路を利用する。他の実施形態では、プロセッサ２０４は、ハードウェアのみで、またはハードウェアとソフトウェアの組み合わせで実装することができる。例えば、プロセッサ２０４は、特定の応用のために設計された、特定用途向け集積回路（ＡＳＩＣ）、または、一般的にコンピュータ装置上で処理機能を提供する汎用中央処理装置（ＣＰＵ） を含んで実装することができる。さらに、システムオンチップ（ＳｏＣ）プロセッサは、様々なシステムの構成要素を単一の集積装置に統合することができ、デジタル機能、アナログ機能、光学機能、および他の機能を単一の半導体基板上に含んでもよい。

上述したように、走査型レーザプロジェクタの動作中、レーザビームは、走査ミラーによって反射され、走査線のパターン（例えば、図１に示すようなラスターパターン）を生成する。この走査線のラスターパターンは、部分的に、投影される画像の解像度、および／または走査の解像度と、表面深度を表示する結果と得られる三次元の点群とを決定する。一般に、ラスターパターンの「低速軸」は垂直軸（縦軸）で、「高速軸」は水平軸（矛軸）である。「垂直」および「水平」という用語は、走査型レーザプロジェクタの向きによって決定されるので、本文中において本質的に任意であることが認識されるべきである。そのようなラスターパターンを生成するために、ミラーの垂直方向の走査運動は、比較的低速で鋸歯状のパターンに従ってもよく、一方、水平方向の走査運動は、比較的高速な正弦波状のパターンに従ってもよい。

レーザ光源は、ラスターパターンの第１の部分の間に投影される画像画素を選択的に生成し、ラスターパターンの第２の部分の間に深度マッピング用パルスを選択的に生成するように制御される。ある実施形態では、これらの第１の部分および第２の部分は、逆方向に移動する走査線を含むことができる。ここで図３Ａを参照すると、ラスターパターン３００の簡略化された例が示されている。また、図３Ａは投影される画像画素（白色点で識別される）および深度マッピング用パルス（黒色の点で識別される）を図示している。図３Ａは、縮尺通りに描かれていないこと、および、典型的なラスターパターンは、より多くの水平方向の走査線、および、より多くの画像画素および／またはマッピングパルスを含むことに留意されたい。さらに、マッピングパルスに対する画像画素の比率を変更することができることにも留意すべきである。例えば、他の実施形態では、マッピングパルスに等しい数の画像画素を使用することができる。さらに他の実施形態では、マッピングパルスに対してより大きな比率の画像画素を使用することができる。

図３Ａに示すように、投影される画像画素は一方向に移動する水平方向の走査線（すなわち第１の部分）の間に投影され、前記深度マッピング用パルスは、第２の方向に移動する水平方向の走査線（すなわち、第２の部分）の間に投影され、第２の方向は、前記第１の方向とは反対方向である。言い換えれば、投影される画像画素が生成される走査線は、深度マッピング用パルスが発生する走査線に対してインターレースされる。

この例では、結果として得られる投影された画像の有効な垂直解像度は、すべての水平方向の走査線を使用して投影される画像に比べて半分に低減されることに留意されたい。同様に、結果として得られる三次元の点群の垂直解像度は、全ての水平方向の走査線を用いてそのような点群を生成する走査に比べて半分に低減される。しかし、以下に説明するように、垂直方向の走査速度を修正することにより、水平方向の走査線の数を修正することができる。

図３Ａは例示的なラスターパターンを示しており、ここでは、投影された画像画素を有する個々の走査線が、深度マッピング用パルスを伴う個々の走査線と交互になっているが、
これは単なる一例であり、他の実施も可能であることに留意すべきである。例えば、ラスターパターン３００は投影された画像画素の複数の走査線、および／または深度マッピング用パルスの複数の走査線を共に有するように修正されてもよく、したがって、異なるパターンで交互に変化してもよい。１つの具体的な例として、ラスターパターン３００は、投影された画像画素の２つの走査線、およびその後に深度マッピング用パルスの１つの走査線を有するように修正されてもよく、ラスターパターン３００に渡って２−１−２−１の配列を繰り返す。他の詳細な例として、ラスターパターンは、２−２−２−２、４−１−４−１、または３−２−３−２の配列を有するように修正されてもよい。これらの変化のそれぞれは、投影された画像データおよび／または三次元の点群のための異なる解像度レベルを提供することができ、いくつかの実施形態では望ましい場合がある。不均一な分布によるいくつかのパターンは、画像アーチファクトをもたらす可能性があること、そのようなアーチファクトは、個々の画像画素を、連続するフレームにおけるマッピングパルスと交換または交替させることによって制限されうることを理解されたい。

上述のように、ラスターパターンにおける水平方向の走査線の数は、垂直方向の走査速度を修正することによって修正することができる。図３Ｂを参照すると、第１の垂直方向の走査パターン３０２、第１のラスターパターン３０４、修正された垂直方向の走査パターン３０６および修正されたラスターパターン３０８が示されている。これらの実施例では、垂直方向の走査パターン３０２、３０６は、比較的短い垂直方向の帰線期間（鋸歯状パターンの急な下り勾配部分に発生すると、比較的長い有効な表示期間（鋸歯状パターンの比較的緩やかな上がり勾配部分に発生する）とを含む。そのような実施形態では、ラスターパターン３０４および３０８は、有効な表示期間中に生成されることができるが、一方で、各ラスターパターンの後にミラーを元の垂直位置に戻すために相対的に短い垂直方向の帰線期間が使用される。

全般に、これらのグラフは、垂直解像度を増加させるために、垂直方向の走査速度の動的減少がどのように使用されうるかを示す。具体的には、この垂直方向の走査速度の減少は、水平線の数を増加させることができ、したがって、投影された画像の解像度および／または表面の結果として得られる三次元の点群を増加させるために使用することができる。

具体的には、第１の垂直方向の走査パターンは比較的高速な鋸歯状パターンであり、この比較的高速なパターンが第１のラスターパターン３０４となる。反対に、修正された垂直方向の走査パターン３０６は、比較的低速の鋸歯状パターンであり、この比較的低速のパターンが第２のラスターパターン３０８となる。図３Ｂに示されるように、垂直方向の走査速度を比較的低速の鋸歯状パターンに減少することで、結果として得られるラスターパターンの水平線間の間隔を減少することになる。この減少された間隔は、所与の垂直距離にわたってより多くの水平方向の走査線をもたらし、走査の垂直解像度および垂直方向のデータ密度を増加させる。逆に、水平線間の間隔が増加すると、所与の垂直距離にわたって水平方向の走査線が少なくなり、走査の垂直解像度を低下させる。

水平線の数を増加させるために垂直方向の走査速度を減少させることにより、深度マッピングで使用される走査線を補償することができる。具体的には、そのような水平線の数の増加が投影された画像画素の交互の線および深度マッピング用パルスと組み合される場合（図３Ａ参照）、そのような技術は、投影された画像および／または深度マッピング走査の解像度を維持しながら、各フレームにおける画像投影および深度マッピングの両方を提供することができる。当然ながら、垂直方向の走査速度のこのような減少も、投影された画像のフレームレートを減少させることとなり、全てのアプリケーションにとって望ましくない可能性がある。

したがって、本明細書に記載される実施形態によれば、駆動回路例えば駆動回路１０６が、結果として得られる投影された画像および／または表面の三次元の点群の垂直解像度を増加させるように、垂直方向の走査速度を選択的に減少するように構成することができる。反対に、駆動回路は、結果として得られる投影された画像および／または表面の三次元の点群の垂直解像度を減少させるように、垂直方向の走査速度を選択的に増加させるように構成することができる。

繰り返しとなるが、レーザ光源は、ラスターパターンの第１の部分の間、投影された画像画素を選択的に生成し、ラスターパターンの第２の部分の間、深度マッピング用パルスを選択的に発生させるように制御される。別の実施形態では、これらの第１および第２の部分は、水平方向の走査線における位置の交替を含んでもよい。次に、図３Ｃを参照すると、ラスターパターン３００の簡略化された例示部分が示されており、今回も白色点で識別された投影された画像画素と、今回も黒色点で識別された深度マッピング用パルスとで表されている。繰り返しとなるが、図３Ｃは縮尺どおりに描かれておらず、典型的なラスターパターンは、より多くの水平方向の走査線、およびより多くの画像画素および／またはマッピングパルスを含むであろう。

図３Ｃに示すように、投影された画像画素は、水平方向の走査線における深度マッピング用パルスと交替する。言い換えれば、投影された画像画素は、水平方向の走査線における深度マッピング用パルスとインターレースされる。

図３Ｃは、個々の投影された画像画素が個々の深度マッピング用パルスと交差する例示的なラスターパターンを示しているが、これは単なる一例であり、他の具現化が可能であることにも留意すべきである。例えば、ラスターパターン３００は、複数の連続する画素および／またはパルスを有するように修正することができる。したがって、投影された画像画素および深度マッピング用パルスは、異なるパターンで交差することができる。１つの具体的な例として、ラスターパターン３００は、１つのマッピングパルスが後に続く３つの画像画素を有するように修正されてもよく、パターン３２０の各水平線に渡って３−１−３−１の配列で繰り返される。他の詳細な例として、ラスターパターン３００は、２−２−２−２、４−１−４−１、または３−２−３−２の配列の画素／パルスを有するように修正することができる。繰り返しとなるが、これらの変化のそれぞれは、投影された画像データおよび／または三次元の点群のための異なる解像度レベルを提供することができ、いくつかの実施形態では望ましい場合がある。不均一な分布によるいくつかのパターンは、画像アーチファクトをもたらす可能性があること、そのようなアーチファクトは、個々の画像画素を、連続するフレームにおけるマッピングパルスと交換または交替することによって制限されうることを理解されたい。

この例では、投影された画像画素のみが生成される実施例と比較して、結果として得られる投影された画像の有効な水平解像度が低減されうることに留意されたい。このような低減を相殺するために、水平方向の走査振幅も調整することができる。

ここで図３Ｄを参照すると、第１のラスターパターン３２２および修正されたラスターパターン３２４が示されている。また、第１のラスターパターン３２２の拡大部分３２６と、修正されたラスターパターン３２４の拡大部分３２８も示されている。拡張部分３２６および拡張部分３２８は、両方とも、例示的な投影された画像画素３３０および深度マッピング用パルス３３２を示している。繰り返しとなるが、これらの例示的な特徴は単なる例示であり、必ずしも縮尺どおりに描かれていないことに留意されたい。

全般に、これらのグラフは、水平方向の走査振幅の動的減少が、投影された画像および／または表面の三次元の点群における水平解像度および水平方向のデータ密度を増加させることが可能であることを示している。具体的には、水平方向の走査振幅の減少は、レーザ光源によって生成される隣接する画素とパルスの間の間隔を、それらが表面に衝突する際に減少する結果となる。さらに水平方向の走査振幅の減少は、投影された画像の視野および投光比を減少することに留意されたい。したがって、いくつかの実施形態では、投影された画像のアスペクト比を維持するために、水平方向および垂直方向の両方において、同様の変化を振幅に実行することが望ましい場合がある。

具体的には、第１のラスターパターン３２２は、比較的大きな水平振幅を有し、この水平振幅の結果、画素とパルスとの間の間隔が比較的広くなる。反対に、修正されたラスターパターン３２４は比較的小さい水平振幅を有し、等しい画素レート（ｐｉｘｅｌ ｒａｔｅ）を想定すると、この比較的小さな振幅は画素とパルスとの間の比較的近接した間隔をもたらす。

上記で説明したように、いくつかの実施形態では、走査線のラスターパターンの第１の部分は、有効な表示期間中に生成される走査線を含み、走査線のラスターパターンの第２の部分は、垂直方向の帰線期間中に生成された走査線を含む。ここで図４Ａを参照すると、例示的な垂直方向の走査パターン４００が示されている。垂直方向の走査パターン４００は、有効な表示期間４０２と垂直方向の帰線期間４０４とを含む。具体的には、垂直方向の走査パターン４００は鋸歯状のパターンであり、比較的長い有効な表示期間４０２および比較的短い垂直方向の帰線期間４０４を有する。このような鋸歯状パターンは、通常、有効な表示期間４０２中に投影された画像を生成するために使用され、比較的短い垂直方向の帰線期間４０４は、ミラーを元の垂直位置に戻すために使用される。

しかし、記載された実施形態では、比較的短い垂直方向の帰線期間４０４は表面の三次元の点群を生成するためにも使用することができる。これにより、投影された画像画素を有効な表示期間４０２の間に、および、深度マッピング用パルスを垂直方向の帰線期間４０４の間に発生させるように構成されている。しかし、有効な表示期間４０２は、垂直方向の帰線期間４０４よりもはるかに長いため、結果として得られるラスターパターンは、深度マッピング用パルスの行数と比較して大幅に多い画像画素の行を含むであろう。

図４Ｂを参照すると、例示的なラスターパターン４１０が示されている。ラスターパターン４１０は、有効な表示期間中に生成されたラスターパターン４１２の第１の部分と、垂直方向の帰線期間中に生成されたラスターパターン４１４の第２の部分を示している。繰り返しとなるが、この例では、投影された画像画素は、ラスターパターン４１２の第１の部分の間に生成することができ、深度マッピング用パルスはラスターパターン４１４の第２の部分の間に生成することができる。図４Ｂに見られるように、ラスターパターン４１２の第１の部分は、ラスターパターン４１４の第２の部分よりも多くの水平列を有する。このように、投影された画像は比較的高い垂直解像度を有し、一方で生成された三次元の点群は、比較的低い垂直解像度を有することになる。

ここで図５を参照すると、走査型レーザプロジェクタ７００の概略図が示されている。走査型レーザプロジェクタ７００は、本発明の様々な実施形態にしたがって使用することができるシステムのタイプのより詳細な例である。具体的には、走査型レーザプロジェクタ７００は、レーザ深度走査およびレーザ画像投影の両方を提供するように実装することができる。具体的には、走査型レーザプロジェクタ７００は、レーザ深度走査およびレーザ画像投影の両方を提供するように実装することができる。走査型レーザプロジェクタ７００は、画像処理要素７０２、画素駆動生成部７０４、赤外線レーザモジュール７０５、赤色レーザモジュール７０６、緑色レーザモジュール７０８および青色レーザモジュール７１０を含む。このような実施形態では、赤色、緑色および青色の光は、画像投影に使用されてもよく、一方で深度走査には赤外線光を用いることができる。レーザモジュールからの光は、ダイクロイックミラー７１２、７１４、７１６、７１７と組み合わされる。また、走査型レーザプロジェクタ７００は、折り畳みミラー７１８と、駆動回路７２０と、走査ミラー７２４を有するＭＥＭＳデバイス７２２、および深度マッピング手段７４０とを含む。様々なレーザモジュールからの出力を組み合わせるための、この図示された構成は単なる一実施例であり、その代わりに、異なる波長のレーザ光をコーミングする異なる技術を使用する他の実装を使用することができる。

動作中、画像処理要素７０２は、２次元補間アルゴリズムを用いてビデオコンテンツを処理して、画素駆動生成部７０４により出力画素が表示される走査位置毎の適切な空間画像コンテンツを決定する。例えば、ビデオコンテンツは、任意の解像度の画素のグリッド（例えば、６４０×４８０、８４８×４８０、１２８０×７２０および１９２０×１０８０）を表してもよい。入力光強度の符号化は、典型的には、８、１０、１２ビットまたはそれ以上の解像度の光強度を表す。

次いで、このコンテンツは、レーザからの出力強度が入力画像コンテンツと一致するように、赤色レーザ源、緑色レーザ源、および青色レーザ源の各々について指令された電流にマッピングされる。いくつかの実施形態では、このプロセスは１５０ＭＨｚを超える出力画素レートで行われる。次に、レーザビームは超高速ジンバルに取り付けられた２次元二軸レーザ走査ミラー７２４に向けられる。いくつかの実施形態では、この二軸走査ミラーは、ＭＥＭＳプロセスを用いてシリコンで製造される。回転の垂直軸は準静的に動作され、垂直鋸歯状のラスター軌跡を生成する。垂直軸は、低速走査軸とも呼ばれる。水平軸は、走査ミラーの共振振動モードで作動する。いくつかの実施形態では、ＭＥＭＳデバイスは、ＭＥＭＳダイを含む小型アセンブリを使用して達成される電磁作動と、永久磁石および電気的インタフェースの小型サブアセンブリを使用するが、様々な実施形態はこれらに限定されない。例えば、いくつかの実施形態は、静電または圧電作動を採用する。本発明の範囲から逸脱することなく、任意の数のミラーおよびミラー作動のタイプを採用することができる。

いくつかの実施形態では、水平軸は共振モードで駆動され、それらは一般に高速走査軸と呼ばれる。いくつかの実施形態では、ラスターパターン７２６は、水平軸の正弦波成分と、垂直軸の鋸歯状成分を組み合わせることによって形成される。これらの実施形態では、出力ビーム７２８は、正弦波パターンで前後左右に掃引し、および、フライバック中にブランキングされた表示（下から上へ）による鋸歯状パターンで垂直方向（上から下）に掃引する。

図５は、ビームが上から下へと垂直に掃引するときの正弦波パターンを示しているが、下から上へのフライバックを示していないことに留意すべきである。他の実施形態では、垂直掃引は、フライバックがないように三角波で制御される。さらに別の実施形態では、垂直掃引は正弦波である。本発明の様々な実施形態は、垂直および水平掃引または結果として得られるラスターパターン７２６を制御するために使用される波形によって限定されない。

駆動回路７２０は、ＭＥＭＳデバイスに駆動信号を提供する。駆動信号は、高速走査軸上の走査ミラー７２４の共振角運動を制御するための励起信号を含み、さらに、低速走査軸を偏向させる低速走査駆動信号を含む。高速走査軸上および低速走査軸上の、結果として生じるミラー偏向は、出力ビーム７２８に画像領域７３０でラスター走査７２６を生成させる。動作時に、レーザ光源は、各出力画素に対して光パルスを発生させ、走査ミラー７２４は、ビーム７２８がラスターパターン７２６を横断するとき、光パルスを反射する。駆動回路７２０は、ＭＥＭＳデバイス７２２からのフィードバック信号を受信する。ＭＥＭＳデバイス７２２からのフィードバック信号は、ミラーの最大偏向角を表示することができる、本明細書では、フィードバック信号の振幅とも呼ばれる。このフィードバック信号は、駆動回路７２０に供給され、走査ミラー７２４の動作を正確に制御するために、駆動回路７２０により使用される。

動作において、駆動回路７２０は、フィードバック信号の振幅が一定になるように、走査ミラー７２４の共振運動を励起する。上記は、ラスターパターン７２６に示されているように、高速走査軸上で一定の最大角偏向を提供する。走査ミラー７２４の共振運動を励起するために使用される励起信号は、振幅と位相の両方を含むことができる。駆動回路７２０は、励起信号の振幅を修正して、フィードバック信号の振幅を実質的に一定に保つフィードバック回路を含む。さらに駆動回路７２０は、ラスターパターン７２６の水平方向の位相合わせおよびラスターパターン７２６の垂直方向位置を制御する励起信号を修正することができる。

駆動回路７２０は、深度走査中に走査ミラー７２４の動作を動的に調整して、結果として得られる表面の三次元の点群の特性を修正するようにさらに構成される。例えば、駆動回路７２０は、走査ミラー７２４を駆動して画像投影のための第１の部分、および深度走査のための第２の部分を含むラスターパターンを生成するように構成することができる。さらに、駆動回路７２０は、走査ミラー動作の水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、垂直方向の走査振幅および／または垂直方向の走査波形形状の動的な調整を提供するように構成することができる。上記のように、走査ミラー７２４の動作におけるこの調整は、結果として得られた投影された画像および／または三次元の点群の特性を修正する。

これを遂行するために、駆動回路７２０は、ハードウェア、プログラマブルプロセッサ、または任意の組み合わせで実施することができる。例えば、いくつかの実施形態では、駆動回路７２０は、特定用途向け集積回路（ＡＳＩＣ）に実装される。さらに、いくつかの実施形態では、より高速なデータ経路制御がＡＳＩＣで実施され、全体的な制御がソフトウェアプログラマブルマイクロプロセッサによって提供される。

次に、図５は、いずれも同一の領域７３０に投影された、深度走査のためのレーザ光（例えば赤外線レーザモジュール７０５からの光）と、画像投影用レーザ光（例えば、赤色レーザモジュール７０６、緑色レーザモジュール７０８および青色レーザモジュール７１０からのレーザ光）の両方を示しているが、これは単なる一実施形態であることに留意されたい。他の実施形態では、深度マッピングのためのレーザ光パルスは、１つのフィールドまたは領域に向けることができ、一方で、画像投影のための画素は、別のフィールドまたは領域に向けられる。このようなパルスまたは画素のリダイレクトは、波長依存光学要素を使用することによって達成することができ、これらの波長依存性光学素子は、ある要素（ｃｏｍｐｏｎｅｎｔ）の波長の光を第１の領域に向け、他の要素の波長の光を別の領域に向けるように構成されている。これらの波長に依存している要素は、透過性の要素と反射性コの要素の両方を含むことができ、様々なビームスプリッタおよびそれらの様々な組合せを含む。このような技術は、深度マッピングを１つの領域に渡って実施し、一方で、画像が別の領域に投影されることを可能にする。

図５は、単一のＭＥＭＳデバイス７２２および単一の走査ミラー７２４を有する実施形態を示しているが、単なる例示的な実施形態に過ぎないことを理解されたい。別の例として、走査型レーザプロジェクタは、代わりに、２つの走査ミラーを含む走査ミラーアセンブリを用いて実施することができ、そのうちの１つのミラーは１つの軸に沿って偏向するように構成され、もう１つのミラーは第１の軸に略垂直な第２の軸に沿って偏向するように構成されている。

このような実施形態は、第２のＭＥＭＳデバイス、第２の走査ミラー、および第２の駆動回路を含むことができる。第１の走査ミラーは水平方向の走査運動を生成し、第２の走査ミラーは垂直運動を生成するように構成することができる。このように、１つの走査ミラーの動作が水平方向の走査振幅を決定され、他の走査ミラーの動作が垂直方向の走査振幅を決定する。

最後に、図５には赤色、緑色、青色および赤外線レーザ光源が示されているが、様々な実施形態は、レーザ光源から放射される光の波長によって限定されない。

本明細書に記載された実施形態によれば、画素駆動生成部７０４は、走査線のラスターパターンの第１の部分の間に、投影された画像画素を選択的に生成し、および、走査線のラスターパターンの第２の部分の間に深度マッピング用パルスを選択的に発生させるように構成されている。具体的には、画素駆動生成部７０４は、画像投影のためのラスターパターンの第１の部分の間に、赤色レーザモジュール７０６、緑色レーザモジュール７０８および青色レーザモジュール７１０を駆動するように構成することができる。同様に、画素駆動生成部７０４は、赤外線レーザモジュール７０５を駆動し、深度マッピングのためのラスターパターンの第２の部分の間に深度マッピング用パルスを発生させるように構成することができる。

また、本明細書に記載された実施形態によれば、深度マッピング手段７４０は、表面の三次元の点群を生成するために設けられる。これを遂行するために、深度マッピング手段７４０は、表面から反射されたレーザ光を受光し、受光されたレーザ光反射に比例する信号を発生させる光学センサを含むことができる。また、深度マッピング手段７４０は、画素駆動生成部７０４および／または赤外線レーザモジュール７０５からの光のタイミングデータを受信することができる。また、深度マッピング手段は、駆動回路７２０からミラー位置データを受信することもできる。それらの信号およびデータから、深度マッピング手段７４０は、表面の三次元の点群を生成する。１つの実施形態では、深度マッピング手段７４０は、光学センサによって反射、受光される各パルスの飛行時間を計算することによって三次元の点群を生成する。具体的には、赤外線レーザモジュール７０５から表面に移動し、光学センサに戻る各パルスの飛行時間を、光のタイミングデータと光センサからの信号とに少なくとも部分的に基づいて決定することができる。各パルスに対応する表面上の位置は、少なくとも部分的にミラー位置データから決定することができる。各パルスの飛行時間はその時点での表面までの距離に比例するため、飛行時間を使用して、その反射点における表面深度を計算することができる。ラスターパターン走査の各点からの決定された表面深度の複合体が作成されると、結果として得られたコンテンツは、走査された表面の表面深度を表示する三次元の点群を提供することができる。

ここで図６を参照すると、走査ミラーを有する微小電気機械システムＭＥＭＳの平面図が示されている。ＭＥＭＳデバイス８００は、固定プラットフォーム８０２、走査プラットフォーム８４０、および走査ミラー８１６を含む。走査プラットフォーム８４０は、湾曲部材８１０、８１２（ｆｌｅｘｔｕｒｅ、たわみ部材）によって固定プラットフォーム８０２に結合され、走査ミラー８１６は、湾曲部材８２０、８２２によって走査プラットフォーム８４０に結合される。走査プラットフォーム８４０は、駆動線８５０に接続された駆動コイルを有し、駆動線８５０は駆動回路（例えば駆動回路７２０）から供給される駆動信号により駆動される。駆動信号は、高速走査軸上の走査ミラー８１６の共振運動を励起する励起信号を含み、低速走査軸上の走査プラットフォーム８４０の非共振動作を引き起こす低速走査駆動信号を含む。駆動線８５０への電流駆動は、駆動コイルに電流を発生させる。動作時、外部磁界源（図示せず）は、駆動コイルに磁界を印加する。外部磁界源によって駆動コイルに課せられる磁界は、コイルの平面方向の成分（ｃｏｍｐｏｎｅｎｔ）を有し、２つの駆動軸に対して非直交に配向（方向付け）されている。コイル巻線における面内電流は、面内磁界と相互作用し、導体に面外のローレンツ力を発生させる。駆動電流は走査プラットフォーム８４０上にループを形成するので、電流は走査軸を横切ると符号（ｓｉｇｎ、向き）を反転させる。これは、ローレンツ力も、走査軸を横切るとき符号が逆転することを意味し、結果として磁界の面内にトルクを生じさせ、且つ磁界の垂直方向のトルクを生じさせる。この統合されたトルクは、トルクの周波数内容に応じて、２つの走査方向に応答を発生させる。

湾曲部材８１０、８１２の長軸は枢動軸を形成する。湾曲部材８１０ 、８１２は、捩り撓みを受ける可撓性部材であり、それによって、走査プラットフォーム８４０が旋回軸上で回転し、固定プラットフォームに対して角度変位を有することを可能にする。湾曲部材８１０、８１２は、図６に示されるような捩りの実施形態に限定されない。例えば、いくつかの実施形態では、湾曲部材８１０、８１２は、円弧、「Ｓ」字型、または他の蛇行形状といった他の形状を取っている。本明細書で使用される「湾曲部材（たわみ）」という用語は、走査プラットフォームを別のプラットフォーム（走査または固定）に結合し、走査プラットフォームが他のプラットフォームに対して角度変位を有することを可能にする動作機能を持つ任意の可撓性部材を指す。

走査ミラー８１６は、湾曲部材８２０および８２２によって形成された第１の軸上で旋回し、可撓性部材８１０、８１２によって形成された第２の軸上で旋回する。第１の軸は、本明細書では水平軸または高速走査軸と呼ばれ、第２の軸は、本明細書では垂直軸または低速走査軸と呼ばれる。一部の実施形態では、走査ミラー８１６は、水平軸上の機械的共振周波数で走査して、正弦波の水平掃引をもたらす。さらに、いくつかの実施形態では、走査ミラー８１６は、非共振周波数で垂直方向に走査し、垂直方向の走査周波数を独立して制御することができる。

典型的な実施形態では、ＭＥＭＳデバイス８００は、１またはそれ以上の集積されたピエゾ抵抗位置センサを含む。例えば、ピエゾ抵抗センサ８８０は、走査プラットフォーム８４０に対するミラー８１６の変位を示す電圧を発生させるように構成されてもよく、この電圧は駆動回路にフィードバックされる。さらに、いくつかの実施形態では、１つの走査軸上に位置センサが設けられ、他の実施形態では、両方の軸に位置センサが設けられている。

ＭＥＭＳデバイス８００は、一例として提供されることに留意されたい。また、本発明の様々な実施形態は、この特定の実施形態に限定されない。例えば、本発明の範囲から逸脱することなく、ラスターパターンまたは他の適切なパターンに光ビームを反射させるために、２次元で掃引する機能を有する任意の走査ミラーが組み込まれてもよい。また、例えば、光ビームをラスターパターンに反射するように、静的および動的／走査ミラーの任意の組み合わせ（例えば、２つのミラー：各軸に対する１つのミラー）を使用することができる。例えば、ＭＥＭＳデバイス８００は、静磁場を有する移動プラットフォーム上に駆動コイルを使用するが、他の実施形態は、固定プラットフォーム上に駆動コイルを有する移動プラットフォーム上の磁石を含むことができる。さらに、ミラー駆動機構は、静電駆動機構を含むことができる。

上述の走査型レーザプロジェクタ（例えば、図１の走査型レーザプロジェクタおよび図５の走査型レーザプロジェクタ７００）は、多種多様な装置および多種多様な用途に実装することができる。これらのタイプの装置の具体例は、図７から図１２を参照して説明されてはいない。各事案において、上述の様々な実施形態は、そのような装置を伴って、またはそのような装置の一部として実装することができる。

図７を参照すると、様々な実施形態によるモバイルデバイス９００のブロック図が示されている。具体的には、モバイルデバイス９００は、走査型レーザプロジェクタを実装することができるデバイスの種類の一例である。図７に示すように、モバイルデバイス９００は、無線インタフェース９１０、プロセッサ９２０、メモリ９３０、およびレーザプロジェクタ９０２を含む。

レーザプロジェクタ９０２は、任意の画像ソースから画像データを受信することができる。例えば、一部の実施形態では、レーザプロジェクタ９０２は、静止画像を保持するメモリを含む。他の実施形態では、レーザプロジェクタ９０２は、ビデオ画像を含むメモリを含む。さらに別の実施形態では、走査型レーザプロジェクタ９０２は、コネクタ、無線インタフェース９１０、有線インタフェース等のような外部ソースから受信した画像を表示する。

無線インタフェース９１０は、任意の無線送信および／または受信機能を含むことができる。例えば、いくつかの実施形態では、無線インタフェース９１０は、無線ネットワークを介して通信することができるネットワークインタフェースカード（ＮＩＣ）を含む。また、例えば、いくつかの実施形態では、無線インタフェース９１０は、セルラー電話機能を含むことができる。さらに別の実施形態では、無線インタフェース９１０は、全地球測位システム（ＧＰＳ）受信機を含むことができる 当業者は、無線インタフェース９１０が、本発明の範囲から逸脱することなく、任意のタイプの無線通信機能を含むことができることを理解するであろう。

プロセッサ９２０は、モバイルデバイス９００の様々な構成要素と通信することができる任意のタイプのプロセッサであってもよい。例えば、プロセッサ９２０は、特定用途向け集積回路（ＡＳＩＣ）から利用可能な組み込み型プロセッサ、または市販のマイクロプロセッサであってもよい。いくつかの実施形態では、プロセッサ９２０は、画像またはビデオデータを走査型レーザプロジェクタ９０２に提供する。画像または映像データは、無線インタフェース９１０から検索されてもよく、または、例えば無線インタフェース９１０から検索されたデータから導出されてもよい。例えば、走査型レーザプロジェクタ９０２は、プロセッサ９２０を介して、無線インタフェース９１０から直接受信された画像または映像を表示することができる。また、例えば、プロセッサ９２０は、無線インタフェース９１０から受信された画像および／または映像に追加するためのオーバーレイを提供することができ、あるいは、無線インタフェース９１０から受信されたデータ（例えば、無線インタフェース９１０が位置座標を提供するＧＰＳ実施形態におけるマップ表示を修正する）に基づいて記憶された画像を変更してもよい。

図８を参照すると、様々な実施形態によるモバイルデバイス１０００の斜視図が示されている。具体的には、モバイルデバイス１０００は、走査型レーザプロジェクタを実装することができるタイプのデバイスの一例である。モバイルデバイス１０００は、通信機能を有する、あるいは有さない手持ち式走査型レーザプロジェクタであってもよい。例えば、いくつかの実施形態では、モバイルデバイス１０００は、他の機能をほとんどまたは全く有さないレーザプロジェクタであってもよい。また、例えば、いくつかの実施形態では、モバイルデバイス１０００は、例えば、携帯電話、スマートフォン、タブレットコンピュータデバイス、全地球測位システム（ＧＰＳ）受信機等を含む、通信に使用可能なデバイスであってもよい。さらに、モバイルデバイス１０００は、無線（例えば無線）を介して、より大きなネットワークに接続することができるか、またはこのデバイスは非調整型スペクトル（例えばＷｉＦｉ）接続を介したデータメッセージまたは映像コンテンツを受信および／または送信することができる。

モバイルデバイス１０００は、レーザプロジェクタ１０２０、タッチ感知ディスプレイ１０１０、オーディオポート１００２、コントロールボタン１００４、カードスロット１００６、およびオーディオ／ビデオ（Ａ／Ｖ）ポート１００８を含む。繰り返しとなるが、レーザプロジェクタ１０２０は、レーザ深度走査を有する組合せ走査型レーザプロジェクタを実装することができる。いくつかの実施形態では、モバイルデバイスは、タッチ感知ディスプレイ１０１０、オーディオポート１００２、制御ボタン１００４、カードスロット１００６、またはＡ／Ｖポート１００８のいずれも含まずに、レーザプロジェクタ１０２０のみを含むことができる。いくつかの実施形態はこれらの要素のサブセットを含む。例えば、アクセサリプロジェクタは、走査型レーザプロジェクタ１０２０、制御ボタン１００４およびＡ／Ｖポート１００８を含むことができる。スマートフォンの実施形態は、タッチ感知ディスプレイデバイス１０１０とプロジェクタ１０２０とを組み合わせてもよい。

タッチ感知ディスプレイ１０１０は、任意のタイプのディスプレイであってもよい。例えば、いくつかの実施形態では、タッチ感知ディスプレイ１０１０は、液晶ディスプレイ（ＬＣＤ）スクリーンを含む。いくつかの実施形態では、ディスプレイ１０１０はタッチ感知ではない。ディスプレイ１０１０は、レーザプロジェクタ１０２０によって投影された画像を常に表示してもなくてもよい。例えば、アクセサリ製品は、投影された画像をディスプレイ１０１０に常に表示することができるが、他方、携帯電話実施形態はディスプレイ１０１０に異なるコンテンツを表示しながら、映像を投影してもよい。いくつかの実施形態は、タッチ感知ディスプレイ１０１０に加えてキーパッドを含むことができる。Ａ／Ｖポート１００８は、映像および／または音声信号を受信および／または送信する。例えば、Ａ／Ｖポート１００８は、デジタルオーディオおよびビデオデータを伝送するのに適したケーブルを受ける高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標））のようなデジタルポートであってもよい。さらに、Ａ／Ｖポート１００８は、複合入力を受信または送信するためのＲＣＡジャックを含むことができる。さらに、Ａ／Ｖポート１００８は、アナログ映像信号を受信または送信するためのＶＧＡコネクタを含むことができる。

いくつかの実施形態では、モバイルデバイス１０００は、Ａ／Ｖポート１００８を介して外部信号ソースにつながれてもよい。また、モバイルデバイス１０００は、Ａ／Ｖポート１００８を介して受信されたコンテンツを投影することができる。他の実施形態では、モバイルデバイス１０００をコンテンツの発信者とすることができ、Ａ／Ｖポート１００８は、コンテンツを異なるデバイスに送信するために使用される。

オーディオポート１００２はオーディオ信号を提供する。例えば、いくつかの実施形態では、モバイルデバイス１０００は、オーディオおよびビデオを記録および再生することができるメディアレコーダである。これらの実施形態では、ビデオはレーザプロジェクタ１０２０によって投影され、オーディオはオーディオポート１００２で出力されてもよい。

また、モバイルデバイス１０００はカードスロットを含む。いくつかの実施形態では、カードスロット１００６に挿入されたメモリカードは、オーディオポート１００２で出力されるオーディオのソースおよび／または、走査型レーザプロジェクタ１０２０によって投影されるビデオデータを提供することができる。カードスロット１００６は、例えばセキュアデジタル（ＳＤ）メモリカードを含む、任意のタイプの半導体メモリデバイスを受けることができる。

図９を参照すると、様々な実施形態によるヘッドアップディスプレイシステム１１００の斜視図が示されている。具体的には、ヘッドアップディスプレイシステム１１００は、上記の走査型レーザプロジェクタが実装可能なタイプのデバイスの一例である。ヘッドアップディスプレイシステム１１００は、レーザプロジェクタ１１０２を含む。レーザプロジェクタ１１０２は、走査レーザとしても実現可能である。レーザプロジェクタ１１０２は、ヘッドアップディスプレイを投影するために車両ダッシュボードに取り付けられている。図９には、自動車のヘッドアップディスプレイが示されているが、これは限定を意味しておらず、他の用途も可能である。例えば、様々な実施形態は、航空電子応用におけるヘッドアップディスプレイ、航空管制応用、および他の応用でのヘッドアップディスプレイを含む。

図１０を参照すると、様々な実施形態によるアイウェア１２００の斜視図が示されている。具体的には、アイウェア１２００は、上述したような走査型レーザプロジェクタを実装することができるタイプのデバイスの一例である。アイウェア１２００は、アイウェアの視野内にディスプレイを投影するための走査型レーザプロジェクタ１２０２を含む。いくつかの実施形態ではアイウェア１２００は透明であり、他の実施形態ではアイウェア１２００は不透明である。例えば、アイウェア１２００は、拡張現実応用において使用されてもよく、着用者は物理世界にオーバーレイされたプロジェクタ１２０２からの表示を見ることができる。また、例えば、アイウェア１２００は仮想現実応用において使用されてもよく、プロジェクタ１２０２により、着用者の全体の視野が生成される。

１つのプロジェクタ１２０２のみが図１０に示されているが、これは限定ではなく、他の実装も可能である。例えば、いくつかの実施形態では、アイウェア１２００は、各眼に対して１つを有する２つのプロジェクタ１２０２を含む。

図１１を参照すると、様々な実施形態によるロボット装置１３００の斜視図が示されている。ロボット装置１３００は、走査型レーザプロジェクタ１３０２で実装可能なタイプのデバイスの一例である。上述のように、走査型レーザプロジェクタ１３０２は、画像投影および深度マッピング機能の両方を提供するように実装することができる。

図示した例では、ロボット装置１３００は、様々な機能を実行することができる自己誘導型移動ロボットである。例えば、ロボット装置１３００は、清掃サービス、配送サービス、メディアサービス、ゲームを提供するか、または、エンタテインメントデバイスとして動作するように実装することができる。それぞれの場合において、走査型レーザプロジェクタ１３０２によって提供される深度マッピングを使用して、ナビゲーション、対話性、オブジェクト認識などを含む様々な機能を提供することができる。

一例として、清掃中、またはその他のナビゲーションの間、走査型レーザプロジェクタ１３０２によって提供される深度マッピングを、ロボット装置１３００を案内するために使用することができる。他の例として、走査型レーザプロジェクタ１３０２によって提供される深度マッピングを使用して、物体を設置し識別することができる。別の例として、走査型レーザプロジェクタ１３０２によって提供される画像投影および深度マッピングを、例えば、画像を投影して、ユーザに、それらの画像とインタラクトするジェスチャで当該装置を制御させることによって、ロボット装置１３００とのユーザインタフェースを提供するために使用することができる。別の例として、ロボット装置１３００は、深度マッピングを使用して表面位置を識別し、次いでそこに位置する表面に画像を投影することなどによって、走査型レーザプロジェクタ１３０２を使用して、視覚メディアをユーザに表示することができる。最後に、これらの様々な実施形態は、人間、動物または他のそのような生活様特性を模倣するアニマトロニックロボットデバイスにも適用可能であることに留意すべきである。

このロボット装置１３００を実現するために、様々な他の特徴を含めることができることに留意すべきである。例えば、走査型レーザプロジェクタ１３０２に加えて、他のセンサデバイスを含めてナビゲーションに寄与することができる。さらに、ロボット装置１３００の相互作用および制御を容易にするために、他のヒューマンインターフェイスを設けることができる。別の例として、ロボット装置１３００は、音声出力装置および他のそのような通信装置を含むことができる。

図１２を参照すると、様々な実施形態によるゲーム装置１４００の斜視図が示されている。この場合も、ゲーム装置１４００は、走査型レーザプロジェクタを用いて実施することができる。ゲーム装置１４００は、ボタン１４０４、ディスプレイ１４１０、およびプロジェクタ１４０２を含む。いくつかの実施形態では、ゲーム装置１４００は、ゲームをプレイするためのより大きなコンソールを必要としないスタンドアロン装置である。例えば、ユーザは、ディスプレイ１４１０および／または投影されたコンテンツを見ながらゲームをプレイすることができる。他の実施形態では、ゲーム装置１４００は、より大きなゲームコンソールのためのコントローラとして動作する。これらの実施形態では、ユーザは、ディスプレイ１４１０および／または投影されたコンテンツと組み合わせて、コンソールにつながれたより大きな画面を見ることができる。

１つの実施形態では、走査型レーザプロジェクタが提供され、当該走査型レーザプロジェクタは、レーザ光の少なくとも１つの光源であって、レーザ光を発生させるように構成されたレーザ光の少なくとも１つの光源と、レーザビームを反射するように構成された少なくとも１つの走査ミラーと、走査線のパターンにレーザビームを反射するように、少なくとも１つの走査ミラーの動作を励起する励起信号を提供するように構成された駆動回路と、レーザ光の少なくとも１つの光源に、レーザビームを用いて投影された画像画素を選択的に生成させるとともに、レーザビームを用いて深度マッピング用パルスを選択的に発生させるよう制御するように構成された画素駆動生成部であって、走査線のパターンの第１の部分の間、投影された画像画素を生成し、走査線のパターンの第２の部分の間、深度マッピング用パルスを発生させるように構成された画素駆動生成部と、表面から深度マッピング用パルスの反射を受光し、表面から深度マッピング用パルスの反射を受光したタイミングに少なくとも部分的に基づいて、表面の三次元の点群を生成するように構成された深度マッピング手段と、を備える。

別の実施形態では、画像を投影する方法が提供され、当該方法は、レーザビームを発生させるステップと、レーザビームを反射して、走査線のパターンを生成するステップと、走査線のパターンの第１の部分の間、投影された画像画素を選択的に生成するステップと、走査線のパターンの第２の部分の間、深度マッピング用パルスを選択的に生成するステップと、表面から深度マッピング用パルスの反射を受光するステップと、表面から深度マッピング用パルスの受光した反射に少なくとも部分的に基づいて、表面の三次元の点群を生成するステップと、を含む。

前の詳細な説明では、本発明を実施することができる特定の実施形態を例示として示す添付の図面が参照された。これらの実施形態は、当業者が本発明を実施できる程度に詳細に説明された。本発明の様々な実施形態は互いに異なるが、必ずしも互いに排他的ではないことを理解すべきである。例えば、一実施形態に関連してここに説明された特定の特徴、構造または特性が、本発明の範囲から逸脱することなく、他の実施形態で実施することができる。さらに、開示された各実施形態の個々の要素の位置または配置が本発明の範囲から逸脱することなく修正されてもよいことを理解すべきである。したがって、前述の詳細な説明は、限定的な意味で解釈されるべきではない。また、本発明の範囲は、添付の特許請求の範囲によってのみ定義され、特許請求の範囲に記載された均等物の全範囲とともに、適切に解釈される。図面において、同様の数字は、複数の図を通して同一または同様の機能を指す。

本発明は、特定の実施形態に関連して説明されたが、本発明の範囲から逸脱することなく、特定の実施形態に関連して当業者が容易に理解できるように説明された修正および変形を行うことができることを理解すべきである。かかる修正および変形は、本発明および添付の請求項の範囲内であるとみなされる。

Claims (15)

1. レーザ光の少なくとも１つの光源であって、レーザ光を生成するように構成されたレーザ光の少なくとも１つの光源と、
   前記レーザビームを反射するように構成された少なくとも一つの走査ミラーと、
   走査線のパターンに前記レーザビームを反射するように、前記少なくとも一つの走査ミラーの動作を励起する励起信号を提供するように構成された駆動回路と、
   画素駆動生成部であって、レーザ光の前記少なくとも一つの光源に、前記レーザビームを用いて投影される画像画素を選択的に生成させ、且つ前記レーザビームを用いて深度マッピング用パルスを選択的に生成させるように制御するように構成された画素駆動生成部であって、前記走査線のパターンの第一の部分の間投影される画像画素を生成し、前記走査線のパターンの第二の部分の間深度マッピング用パルスを生成するように構成された画素駆動生成部と、
   深度マッピング手段であって、表面から前記深度マッピング用パルスの反射を受け取り、前記表面から前記深度マッピング用パルスの反射を受け取ったタイミングに少なくとも部分的に基づいて、前記表面の三次元の点群を生成するように構成された深度マッピング手段と、
   を備えることを特徴とする走査型レーザプロジェクタ。
2. 前記走査線のパターンの前記第一の部分は、第一の方向に移動する走査線を備え、前記走査線のパターンの前記第二の部分は、第二の方向に移動する走査線を備え、前記第一の方向と前記第二の方向は反対方向であることを特徴とする請求項１に記載の走査型レーザプロジェクタ。
3. 前記走査線のパターンの前記第一の部分および前記走査線のパターンの前記第二の部分は、互いにインターレースされる水平方向の走査線であることを特徴とする請求項１に記載の走査型レーザプロジェクタ。
4. 前記走査線のパターンの前記第一の部分は有効な表示期間中の走査線を含み、前記走査線のパターンの前記第二の部分は、垂直方向の帰線期間中の走査線を含むことを特徴とする請求項１に記載の走査型レーザプロジェクタ。
5. 前記走査線のパターンの前記第一の部分および前記走査線のパターン前記第二の部分は、それぞれの走査線の中に、投影された画像画素および深度マッピング用パルスを含むことを特徴とする請求項１に記載の走査型レーザプロジェクタ。
6. 前記マッピング手段は、前記レーザビーム内の前記深度マッピング用パルスの戻りの飛行時間を計算することにより、前記表面の前記三次元の点群を生成することを特徴とする請求項１に記載の走査型レーザプロジェクタ。
7. 前記少なくとも１つの走査ミラーの前記動作は、水平方向の走査速度、水平方向の走査振幅、垂直方向の走査速度、及び垂直方向の走査振幅を有しており、さらに前記駆動回路は、前記水平方向の走査速度、前記水平方向の走査振幅、前記垂直方向の走査速度、前記垂直方向の走査振幅のうち、少なくとも１つを動的に調節して、前記表面の前記三次元の点群の特性を修正するように構成されていることを特徴とする請求項１に記載の走査型レーザプロジェクタ。
8. 前記駆動回路は、前記少なくとも一つの走査ミラーの前記垂直方向の走査速度を動的に減少させて、前記表面の前記三次元の点群の垂直解像度を増加させるように構成されていることを特徴とする請求項７に記載の走査型レーザプロジェクタ。
9. 前記駆動回路は、前記少なくとも一つの走査ミラーの前記水平方向の走査振幅を動的に減少させて、前記表面の前記三次元の点群の水平方向のデータ密度を増加させるように構成されていることを特徴とする請求項７に記載の走査型レーザプロジェクタ。
10. レーザ光の前記少なくとも一つの光源が赤外線レーザを含んでおり、画素駆動生成部が前記赤外線レーザを用いて前記深度マッピング用パルスを生成するように構成されていることを特徴とする請求項１に記載の走査型レーザプロジェクタ。
11. レーザ光の前記少なくとも１つの光源が、赤色レーザ、青色レーザ、および緑色レーザを追加的に含んでおり、画素駆動生成部が、前記赤色レーザ、前記青色レーザ、および前記緑色レーザを使用して、投影される画像画素を生成するように構成されていることを特徴とする請求項１０に記載の走査型レーザプロジェクタ。
12. 画像を投影する方法であって、
    レーザビームを生成するステップと、
    前記レーザビームを反射して、走査線のパターンを生成するステップと、
    前記走査線のパターンの第一の部分の間、投影される画像画素を選択的に生成するステップと、
    前記走査線のパターンの第二の部分の間、深度マッピング用パルスを選択的に生成するステップと、
    表面から前記深度マッピング用パルスの反射を受け取るステップと、
    前記表面から前記深度マッピング用パルスの受け取った前記反射に少なくとも部分的に基づいて、前記表面の三次元の点群を生成するステップと、
    を含むことを特徴とする画像を投影する方法。
13. 前記走査線のパターンの前記第一の部分が第一の方向に移動する走査線を備えており、前記走査線のパターンの前記第二の部分が第二の方向に移動する走査線を備えており、前記第一の方向と前記第二の方向とが反対方向であることを特徴とする請求項１２に記載の方法。
14. 前記走査線のパターンの前記第一の部分と、前記走査線のパターンの前記第二の部分とが互いにインターレースされる水平方向の走査線であることを特徴とする請求項１２に記載の方法。
15. 前記走査線のパターンの前記第一の部分は有効な表示期間中の走査線を含み、前記走査線のパターンの前記第二の部分は、垂直方向の帰線期間中の走査線を含むことを特徴とする請求項１２に記載の方法。
    

Images