JP2016502068A - 奥行き撮像器のための光源駆動回路 - Google Patents
奥行き撮像器のための光源駆動回路 Download PDFInfo
- Publication number
- JP2016502068A JP2016502068A JP2015537693A JP2015537693A JP2016502068A JP 2016502068 A JP2016502068 A JP 2016502068A JP 2015537693 A JP2015537693 A JP 2015537693A JP 2015537693 A JP2015537693 A JP 2015537693A JP 2016502068 A JP2016502068 A JP 2016502068A
- Authority
- JP
- Japan
- Prior art keywords
- amplitude
- frequency
- change
- control module
- drive circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
Abstract
ToFカメラのような奥行き撮像器は、駆動回路及び光源を含む。駆動回路は、周波数制御モジュールと、周波数制御モジュールの出力に結合された制御入力を有する制御可能な発振器とを含む。制御可能な発振器の出力は光源の入力に結合され、制御可能な発振器を使用して駆動回路により光源に提供される駆動信号の周波数は、周波数制御モジュールの制御下で、傾斜状又は階段状の変化のような指定タイプの周波数変化にしたがって変化する。駆動回路は、追加的又は代替的に振幅制御モジュールを含み、光源に提供される駆動信号の振幅は、振幅制御モジュールの制御下で、指定タイプの振幅変化にしたがって変化する。
Description
空間的シーンの種々の三次元(3D)画像をリアルタイムに生成する多数の異なる技術が知られている。例えば、空間的シーンの種々の3D画像は、複数の二次元(2D)画像に基づいて、三角測量を使用して生成される場合がある。しかしながら、そのような技術の大きな欠点は、そのような技術は一般に、非常に激しい計算を必要とし、したがって、コンピュータその他の計算装置の過剰な量の使用可能な計算リソースを消費することがあることである。また、環境光が不十分な状況下でそのような技術を使用した場合、そのような技術は、正確な3D画像を生成することが難しいことがある。
他の既知の技術としては、ToF(タイム・オブ・フライト)カメラのような奥行き撮像器を使用して3D画像を直接生成することが挙げられる。ToFカメラは通常、小型であり、高速な画像生成が可能であり、電磁スペクトルの近赤外線部分で動作する。そのため、ToFカメラは一般に、ジェスチャを利用したヒューマン・マシン・インタフェースを実施するビデオゲームシステムその他の他のタイプの画像処理システムにおいて、ジェスチャー認識のようなマシン・ビジョン・アプリケーションに使用される。ToFカメラは、例えば、顔検出、及び単一又は複数の人物追跡を含む、広く様々な他のマシン・ビジョン・アプリケーションにおいても使用される。
一般的な従来のToFカメラは、例えば1以上の発光ダイオード(LED)又はレーザーダイオードを含む光源を含む。そのようなLED又はレーザーダイオードはそれぞれ、実質的に一定の周波数及び振幅を有する連続波(CW)出力光を生成するように制御される。出力光は、撮影すべきシーンを照らし、そのシーンにある被写体によって散乱又は反射される。その結果得られる戻り光は、検出され、奥行きマップ又は他のタイプの3D画像を生成するために使用される。これは、より具体的には、例えば、出力光と戻り光との間の位相差を使用して、そのシーンにある種々の被写体までの距離を判定することを含む。また、戻り光の振幅は、その画像のための強度レベルを決定するために使用される。
しかしながら、ToFカメラにおけるCW出力光の使用は、多数の大きな欠点を有する。例えば、CW出力光の周波数は、カメラの最大明瞭範囲を不当に制限する。より具体的には、最大明瞭範囲は一般にc/2fで与えられ、ここで、fはCW出力光の周波数であり、cは光速である。最大明瞭範囲は、周波数fを低減することによって拡大することができるが、このアプローチは、測定精度も減少させる。
さらに、CW出力光を使用する場合、積分時間窓の長さが減少するほど、画像クオリティは劣化する。その結果、ToFカメラは、多くの場合、シーンにおける動的被写体を追跡するだけの十分に高いフレームレートをサポートしないことがある。一方、積分時間窓の長さを増加させると、画像ピクセルの飽和が観測される。CW光を利用する従来のToFカメラは通常、積分時間窓の適切な最適化を提供することができない。
例として、本発明の種々の実施形態によれば、ToFカメラ及び他のタイプの奥行き撮像器のための光源駆動回路が得られる。
一実施形態において、奥行き撮像器は、駆動回路及び光源を含む。駆動回路は、周波数制御モジュールと、周波数制御モジュールの出力に結合された制御入力を有する制御可能な発振器とを含む。制御可能な発振器の出力は光源の入力に結合され、制御可能な発振器を使用して駆動回路により光源に提供される駆動信号の周波数は、周波数制御モジュールの制御下で、傾斜状又は階段状の周波数変化のような指定タイプの周波数変化にしたがって変化する。
所与の実施形態における駆動回路は、振幅制御モジュールを追加的又は代替的に含む場合があり、それによって、光源に提供される駆動信号は、振幅制御モジュールの制御下で、傾斜状又は階段状の振幅変化のような指定タイプの振幅変化にしたがって変化する。
本発明の他の実施形態は、限定はしないが、種々の方法、システム、集積回路、及び、実行されたときに処理装置に一連のステップを実行させるプログラムコードが記憶されたコンピュータ読取可能媒体を含む。
本明細書において、本発明の種々の実施形態は、所与の光源駆動信号に周波数変化及び振幅変化のうちの少なくとも一方を提供するように構成された光源駆動回路を有する奥行き撮像器を含む例示的画像処理システムに関連して説明される。しかしながら、本発明の実施形態は、より一般的には、奥行きマップその他のタイプの3D画像のクオリティの向上を提供することが望ましい如何なる画像処理システム又は関連奥行き撮像器にも適用可能であるものと理解すべきである。
図1は、本発明の一実施形態における画像処理システム100を示している。画像処理システム100は、ネットワーク104を介して複数の処理装置102−1、102−2、・・・、102−Nと通信する奥行き撮像器101を含む。この実施形態における奥行き撮像器101は、ToFカメラのような3D撮像器を含むことを仮定しているが、実施形態によっては、他のタイプの奥行き撮像器が使用される場合もある。こうした撮像器は、シーンの奥行きマップその他の奥行き画像を生成し、それらの画像をネットワーク104を介して前記処理装置102のうちの1以上に伝送する。したがって、処理装置102は、種々のコンピュータ、サーバ、又は記憶装置を任意の組み合わせで含み得る。1以上のそのような装置は、例えば、奥行き撮像器101により生成された画像を表示するために使用されるディスプレイ画面その他のユーザインタフェースをさらに含む場合がある。
この実施形態では、処理装置102から分離されるものとして示されているが、奥行き撮像器101は、処理装置のうちの1以上と少なくとも部分的に結合されてもよい。したがって、例えば、奥行き撮像器101の少なくとも一部は、処理装置102のうちの所与の1つを使用して実施される場合がある。例えば、コンピュータは、奥行き撮像器101を含むように構成される場合がある。
所与の実施形態において、画像処理システム100は、ユーザジェスチャを認識するために種々の画像を生成するビデオゲームシステムその他のタイプのジェスチャーを利用したシステムとして実施される。開示する撮像技術は、ジェスチャーを利用したヒューマン・マシン・インタフェースが必要な広く様々な他のシステムにおける使用にも同様に適合させることができ、また、顔検出、人物追跡、又は、奥行き撮像器からの奥行き画像を処理する他の技術を含む、マシン・ビジョン・システムのようなジェスチャー認識以外の多数のアプリケーションにも適用することができる。
図1に示したような奥行き撮像器101は、例えばLEDとしてそれぞれ実施されることがある複数の光源114−1、114−2、・・・、114−Mに結合された駆動回路112を含み、LEDは、LEDアレイを成すように配置される場合がある。この実施形態では、複数の光源が使用されるが、実施形態によっては、単一の光源のみを含む場合がある。また、この実施形態では、単一の駆動回路112が、全ての光源114を駆動しているが、実施形態によっては、光源114の各々が、個別の駆動回路112により駆動される場合がある。当然ながら、LED以外の光源が使用される場合もある。例えば、実施形態によっては、LED114の少なくとも一部が、レーザーダイオード又は他の光源に置き換えられる場合がある。駆動回路112のより詳しい例については、図2及び図3に関連して以下で説明される。
駆動回路112は、特定の周波数変化及び振幅変化を有する出力光が生成されるように、LED114を制御する。駆動回路112により得られるそのような変化の傾斜状の例及び階段状の例は、図4A及び図4Bからそれぞれ見て取ることができる。出力光は、撮影すべきシーンを照らし、その結果得られる戻り光は、検出器アレイ116を使用して検出され、その後、奥行き撮像器101において、奥行きマップ又は他のタイプの3D画像を生成するために、さらに処理される。
所与の実施形態における駆動回路112は、周波数モジュールを含む場合があり、それによって、LED114のうちの少なくとも1つに提供される駆動信号の周波数は、周波数制御モジュールの制御下で、傾斜状又は階段状の周波数変化のような指定タイプの周波数変化にしたがって変化する。
傾斜状又は階段状の周波数変化は、例えば、時間の関数として増加する周波数、時間の関数として減少する周波数、又は、周波数の増加と減少の組み合わせを提供するように構成される場合がある。また、周波数の増加又は減少は、直線関数又は非直線関数、あるいは直線関数と非直線関数の組み合わせにしたがう場合がある。
傾斜状の周波数変化を有する一実施形態では、駆動回路において実施される周波数制御モジュールは、開始周波数、終了周波数、及び、傾斜状の周波数変化のうちの1以上を含む、傾斜状の周波数変化の1以上のパラメタのユーザ選択を可能とするように構成される場合がある。
同様に、階段状の周波数変化を有する一実施形態では、周波数制御モジュールは、開始周波数、終了周波数、周波数ステップサイズ、時間ステップサイズ、及び、階段状の周波数変化の期間のうちの1以上を含む、階段状の周波数変化の1以上のパラメタのユーザ選択を可能とするように構成される場合がある。
所与の実施形態における駆動回路112は、振幅制御モジュールを追加的又は代替的に含む場合があり、それによって、LED114のうちの少なくとも1つに提供される駆動信号の振幅は、振幅制御モジュールの制御下で、傾斜状又は階段状の振幅変化のような指定タイプの振幅変化にしたがって変化する場合がある。上記の傾斜状又は階段状の周波数変化と同様に、傾斜状又は階段状の振幅変化は、時間の関数として増加する振幅、時間の関数として減少する振幅、又は、振幅の増加と減少の組み合わせを提供するように構成される場合がある。また、振幅の増加及び減少は、直線関数又は非直線関数、あるいは直線関数と非直線関数の組み合わせにしたがう場合がある。さらに、実施形態が振幅制御モジュールと周波数制御モジュールとの両方を含むものである場合、振幅変化は、周波数変化と同期される場合がある。
傾斜状の振幅変化を有する一実施形態において、振幅制御モジュールは、開始振幅、終了振幅、バイアス振幅、及び、傾斜状の振幅変化の期間のうちの1以上を含む、傾斜状の振幅変化の1以上のパラメタのユーザ選択を可能とするように構成される場合がある。
同様に、階段状の振幅変化を有する一実施形態において、振幅制御モジュールは、開始振幅、終了振幅、バイアス振幅、振幅ステップサイズ、時間ステップサイズ、及び、階段状の振幅変化の期間のうちの1以上を含む、階段状の振幅変化の1以上のパラメタのユーザ選択を可能とするように構成される場合がある。
したがって、駆動回路112は、従来の奥行き撮像器に比べて大幅に改善された処理能力を奥行き撮像器101に提供する形で、指定タイプの周波数変化及び振幅変化を有する駆動信号を生成するように構成される場合がある。例えば、そのような構成は、駆動信号の周波数及び振幅だけでなく、積分時間窓のような他のパラメタの非常に効率的な最適化を可能とするように構成される場合がある。
この実施形態における奥行き撮像器101は、少なくとも1つの処理装置を使用して実施することが想定され、メモリ122に結合されたプロセッサ112を含む。プロセッサ120は、メモリ122に記憶されたソフトウェアコードを使用して、駆動回路112及び検出器アレイ116を制御する。
プロセッサ120は、例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、中央演算処理装置(CPU)、算術論理ユニット(ALU)、デジタル・シグナル・プロセッサ(DSP)、又は他の類似の処理装置構成要素、並びに、他のタイプ及び構成の画像処理回路を、任意の組み合わせで含む場合がある。
メモリ122は、先に説明した周波数制御モジュール及び振幅制御モジュールの種々の部分のような奥行き撮像器101の機能の種々の部分を実現する際にプロセッサ120によって実行される、ソフトウェアコードを記憶している。対応するプロセッサにより実行されるソフトウェアコードを記憶している所与のそのようなメモリは、本明細書において、コンピュータプログラムコードを内部に具現化するコンピュータ読取可能媒体又は他のタイプのコンピュータプログラム製品とより一般的に呼ばれるものの一例であり、例えば、ランダム・アクセス・メモリ(RAM)若しくはリード・オンリー・メモリ(ROM)のような電子メモリ、磁気メモリ、光学メモリ、又は他のタイプの記憶装置を、任意の組み合わせで含む場合がある。上に示したように、プロセッサは、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSP、又は他の画像処理回路の種々の部分又は組み合わせを含む場合がある。
この実施形態における奥行き撮像器101には、パラメタ最適化モジュール125が含まれ、パラメタ最適化モジュール125は、例えば、奥行き撮像器の積分時間窓を最適化するとともに、所与の撮像動作のための周波数変化及び振幅変化を最適化するように構成される場合がある。例えば、パラメタ最適化モジュール125は、所与の撮像動作のための積分時間窓、周波数変化及び振幅変化を含む、適当な一組のパラメタを決定するように構成される場合がある。
そのような構成によれば、シーン内の種々の被写体までの距離、又はシーン内の種々の被写体の数及びタイプ等のような広く様々な異なる動作条件下で最適な処理能力が得られるように、奥行き撮像器を構成することが可能となる。したがって、例えば、この実施形態における奥行き撮像器101の積分時間窓長は、駆動信号周波数変化及び駆動信号振幅変化の選択に関連して決定されることがあり、特定条件下で全体的処理能力を最適化するような形で決定されることがある。パラメタ最適化モジュール125の少なくとも一部は、メモリ122に記憶されたソフトウェアの形で実施され、プロセッサ120により実行される場合がある。なお、この文脈において使用される「最適な」及び「最適化」といった用語は、広く解釈されることを意図しており、何らかの特定の性能測定値の最小化又は最大化を必要とするものではない。
ネットワーク104は、インターネットのようなワイド・エリア・ネットワーク(WAN)、ローカル・エリア・ネットワーク(LAN)、携帯電話網、任意の他のタイプのネットワーク、並びに複数のネットワークの組み合わせを含む場合がある。奥行き撮像器101、及び処理装置102の各々は、種々のトランシーバ、又は他のネットワークインタフェース回路を含む場合があり、それによってそれらのデバイスは、ネットワーク104を介して互いに通信することが可能となる。
また、当然ながら、本発明の種々の実施形態は、集積回路の形で実施される場合がある。所与のそのような集積回路実施形態では通常、半導体ウェーハの表面上に、同一のダイが繰り返しパターンを成すように形成される。各ダイは、少なくとも1つの駆動回路を含み、本明細書に記載されるような他の画像処理回路をさらに含むことがあり、他の構造又は回路をさらに含む場合がある。個々のダイは、ウェーハから切り出され又は切り分けられ、その後、集積回路としてパッケージングされる。当業者は、ウェーハを切り分け、ダイをパッケージングし、集積回路を製造する方法を知っているであろう。このようにして製造された集積回路が、本発明の考察される実施形態である。
図1に示したような画像処理システム100の特定の構成は、単なる例にすぎず、他の実施形態におけるシステム100は、具体的に図示したものに加え、又はそれらに代えて、例えばそのようなシステムの従来の実施形態において一般的に見られるタイプの1以上の要素のような、他の要素を含む場合がある。
図2は、例えばLEDとして実施される場合がある光源204と、光源204により放射される撮像器出力光に、同期された、傾斜に基づく周波数変化及び振幅変化を提供するように構成された関連駆動回路202とを含む、奥行き撮像器の一部200の一実施形態を示している。この実施形態における駆動回路202は、周波数制御モジュール205、電圧制御発振器206、及び振幅制御モジュール207を含む。電圧制御発振器206は、周波数制御モジュール206の出力に結合された制御入力を有し、電圧制御発振器206の出力は、ミキサー208を介して光源206の入力に結合される。
ミキサー208は、より具体的には、電圧制御発振器206の出力に結合された第1の入力と、振幅制御モジュール207の出力に結合された第2の入力と、光源204のための駆動信号を提供する出力とを有する。この実施形態では、ミキサー208は、振幅制御モジュール207の出力信号によって示される振幅変化を、電圧制御発振器206の出力信号により示される周波数変化と結合する、単一の駆動信号を提供する働きをする。駆動信号は、この実施形態では例えば電流信号であり、駆動信号の生成において、ミキサー208は、電圧電流(V→I)変換を実施する。
この実施形態では、駆動回路202において電圧制御発振器206が使用されているが、実施形態によっては、他のタイプの発振器、例えば、数値制御発振器が使用される場合がある。
駆動回路202は、電圧制御発振器206を使用して、光源204に印加するための駆動信号を生成するように構成される。駆動信号の周波数及び振幅は、周波数制御モジュール及び振幅制御モジュール205及び207によってそれぞれ制御され、それによって駆動信号は、指定タイプの周波数及び振幅変化を示すものとなる。
この実施形態における指定タイプの周波数変化は、時間の関数として減少する周波数を提供する、傾斜状の周波数変化からなる。これは、図面では、「下向き傾斜」周波数変化とも呼ばれる。周波数制御モジュール205は、この実施形態では開始周波数、終了周波数、及び傾斜状の周波数変化の期間を含む、傾斜状の周波数変化の指定パラメタのユーザ選択を可能とするように構成される。この実施形態では、開始周波数及び終了周波数は、対応する入力電圧を使用して指定される。
なお、この文脈における用語「ユーザ」は、広く解釈されることを意図しており、人間のユーザを包含するだけでなく、奥行き撮像器101を使用してシーンの奥行き画像を生成する画像処理システムの自動化された種々のソフトウェア又はハードウェアエンティティを含む、他のタイプのユーザをも包含するものとして解釈されることを意図している。したがって、例えば、処理装置102のうちの1つの上で実行され、又は処理装置102のうちの1つに関連するソフトウェアプログラム又は他のタイプのエージェントは、駆動回路202と情報をやりとりし、周波数制御モジュール205により提供される周波数変化、及び振幅制御モジュール207により提供される振幅変化、のうちの少なくとも一方の1以上のパラメタを選択するように構成される場合がある。
この実施形態における指定タイプの振幅変化は、時間の関数として増加する振幅を提供する、傾斜状の振幅変化からなる。これは、図面では、「上向き傾斜」振幅変化とも呼ばれる。振幅制御モジュール207は、この実施形態では開始振幅、終了振幅、バイアス振幅、及び傾斜状の振幅変化の期間を含む、傾斜状の振幅変化の指定パラメタのユーザ選択を可能とするように構成される。この実施形態では、終了振幅及びバイアス振幅は、対応する入力電圧を使用して指定される。これらの振幅パラメタは、光源204の閾値電流レベルを上回るように選択されなければならない。
図4Aは、駆動回路202により生成されるような、同期された、減少する周波数及び増加する振幅を有する駆動信号の一例を示している。プロットは、ミキサー208の出力における電流駆動信号を示すものと見ることができ、数十ミリアンペア(mA)の大きさの電流変化を、マイクロ秒(μs)で表された時間の関数として示している。この電流駆動信号は、光源204の入力に印加される。10〜50MHzの周波数範囲を使用した場合、電流駆動信号の期間は、20〜100ナノ秒の範囲となり、所与の実施形態において、これは、約6メートルから30メートルまでの間の最大明瞭範囲を奥行き撮像器に提供することができる。他の実施形態では、広く様々な代替周波数範囲、最大明瞭範囲、及び他のパラメタが使用される場合がある。
光源204の対応する入出力応答が、図5に示されている。図5は、印加された電流駆動信号の周波数変化及び振幅変化が、光源の出力光変化として再現されることを示している。この例における入出力応答は、ミリワット(mW)で表されたLED出力パワーEとしてプロットされ、数十ミリアンペア(mA)の大きさの駆動電流の関数としてプロットされている。駆動電流は、I_biasで示されるバイアス電流を中心として変化し、LEDは、I_thrで示される閾値電流よりも上にある入出力応答の実質的に直線の部分で動作することを想定している。
他の実施形態では、増加又は減少する周波数変化及び振幅変化の他の組み合わせが使用される場合がある。また、この実施形態では、周波数及び振幅の変化が、実質的に直線状の傾斜の形となっているが、実施形態によっては、非直線関数、又は複数の直線関数及び非直線関数の任意の組み合わせにしたがう変化が使用される場合がある。
駆動回路202は、周波数制御モジュール205、電圧制御発振器206、及び振幅制御モジュール207に共通のトリガー信号を使用することによって、周波数変化と振幅変化とを同期させる。トリガー信号は、例えばLEDゲートとして実施されることがあるゲート回路212により提供される信号に応答して、立ち下がりエッジトリガー回路210により生成される。トリガー信号は、指定されたパルス幅を有するパルス信号であってもよい。この実施形態では、トリガー信号は、立ち下りエッジによってトリガーされているが、他のタイプのトリガー回路、及びその結果得られるトリガー信号が使用される場合もある。
ゲート回路212は、奥行き撮像器101のプロセッサ120により提供されることがあるゲート電圧その他の光源制御信号に応答して、トリガー回路210の入力に印加するための出力信号を生成する。トリガー回路210により生成されたトリガー信号は、周波数制御モジュール205、電圧制御発振器206、及び振幅制御モジュール207のそれぞれのトリガー入力に印加される前に、遅延回路214において所定の遅延を受ける。この実施形態における所定の遅延は、電圧制御発振器206が、電源投入された後、安定した出力状態に到達することが可能となるような遅延の大きさである。
次に、図3を参照すると、例えばLEDとして実施されることがある光源304と、光源304により放射される撮像器出力光において、階段状の周波数変化及び振幅変化の同期を提供するように構成された関連駆動回路とを含む、奥行き撮像器の一部300の他の実施形態が示されている。駆動回路302の動作は、図2に関連して先に説明した駆動回路202のものと概ね類似するが、傾斜状の周波数変化及び振幅変化の代わりに、階段状の周波数変化及び振幅変化を提供する点で相違する。
この実施形態における駆動回路302は、周波数制御モジュール305、電圧制御発振器306、及び振幅制御モジュール307を含む。電圧制御発振器306は、周波数制御モジュール306の出力に結合された入力を有し、電圧制御発振器306の出力は、ミキサー308を介して光源304の第1の入力に結合される。ミキサー308は、より具体的には、電圧制御発振器306の出力に結合された第1の入力と、光源304のための駆動信号を提供する出力とを有する。
この場合も、この実施形態では、電圧駆動回路302において電圧制御発振器306が使用されているが、実施形態によっては、他のタイプの発振器、例えば、数値制御発振器が使用される場合がある。
駆動回路302は、電圧制御発振器306を使用して、光源304に印加するための駆動信号を生成するように構成される。駆動信号の周波数及び振幅は、周波数制御モジュール及び振幅制御モジュール305及び307によってそれぞれ制御され、それによって駆動信号は、指定タイプの周波数及び振幅変化を示すものとなる。
この実施形態における指定タイプの周波数変化は、時間の関数として下向きステップにしたがって減少する周波数を提供する階段状の周波数変化からなる。これは、図面では、「下降ステップ」周波数変化とも呼ばれる。周波数制御モジュール305は、この実施形態では開始周波数、終了周波数、周波数ステップサイズ、時間ステップサイズ、及び階段状周波数変化の期間を含む、階段状の周波数変化の指定パラメタのユーザ選択を可能とするように構成される。
この実施形態における指定タイプの振幅変化は、時間の関数として上向きステップにしたがって増加する振幅を提供する階段状の振幅変化からなる。これは、図面では、「上昇ステップ」振幅変化とも呼ばれる。振幅制御モジュール307は、この実施形態では開始振幅、終了振幅、バイアス振幅、振幅ステップサイズ、時間ステップサイズ、及び階段状振幅変化の期間を含む、階段状の振幅変化の指定パラメタのユーザ選択を可能とするように構成される。
図4Bは、駆動回路302により生成されるような、同期された、減少する周波数及び増加する振幅を有する駆動信号の一例を示している。プロットはミキサー308の出力における電流駆動信号を示すものと見ることができ、数十ミリアンペア(mA)の電流変化を、ナノ秒(ns)で表された時間の関数として示している。各ステップにおいて、電流駆動信号のために、異なる周波数値及び振幅値が使用される。この電流駆動信号は、光源304の入力に印加され、それによって、印加された電流駆動信号の周波数変化及び振幅変化は、光源の出力光変化として再現されることになる。
この場合も、他の実施形態では、増加する又は減少する周波数変化及び振幅変化の異なる組み合わせが使用される場合がある。また、この実施形態では、周波数及び振幅の変化が、実質的に均一なステップの形となっているが、実施形態によっては、非直線関数、又は、複数の直線関数及び非直線関数の任意の組み合わせにしたがう変化が使用される場合がある。
図2の実施形態と同様に、駆動回路302は、周波数制御モジュール305、電圧制御発振器306、及び振幅制御モジュール307に共通のトリガー信号を使用することによって、周波数変化と振幅変化とを同期させる。トリガー信号は、例えばLEDゲートとして実施されることがあるゲート回路312により提供される信号に応答して、立ち下りエッジトリガー回路310により生成される。ゲート回路312は、奥行き撮像器101のプロセッサ120により提供されることがある光源制御信号に応答し、トリガー回路310の入力に印加するための出力信号を生成する。トリガー回路310のトリガー信号出力は、周波数制御モジュール305、電圧制御発振器306、及び振幅制御モジュール307のそれぞれのトリガー入力に印加される前に、遅延回路314において所定の遅延を受ける。この実施形態における所定の遅延は、電圧制御発振器が安定した出力状態に到達することが可能となるような大きさである。
図2及び図3の実施形態において、駆動回路202及び302により提供される駆動信号における同期された周波数変化及び振幅変化は、ToFカメラのような奥行き撮像器の処理能力を大幅に向上させることができる。例えば、それらの変化は、測定精度に悪影響を与えることなしに、奥行き撮像器101の明瞭範囲を拡大することができる。その理由の一つは、周波数変化により、各周波数について検出された奥行き情報を重ね合わせることが可能となるからである。また、従来のCW出力光構成を使用して通常可能であるものに比べて、実質的に高いフレームレートをサポートすることが可能となる。その理由の一つは、振幅変化により、奥行き撮像器の処理能力を最適化するように積分時間窓を動的に調節することが可能となり、それによって、シーンにおける種々の動的被写体の追跡の改善が得られるからである。振幅変化もまた、シーンにおける種々の被写体からのより良好な反射を生み出し、さらに奥行き画像クオリティを改善する。
図2及び図3の実施形態では、周波数変化が、振幅変化と同期される。しかしながら、他の実施形態では、周波数変化のみ、又は振幅変化のみが使用される場合もある。例えば、撮影すべきシーンが奥行き撮像器から異なる距離にある複数の被写体を含む場合、傾斜状又は階段状の周波数を一定の振幅とともに使用することが、有用な場合がある。
別の例として、撮影すべきシーンが奥行き撮像器に向かって又は奥行き撮像器から遠ざかる向きに移動する単一の主被写体、あるいは、シーンの周囲からシーンの中央へ又はその逆の向きに移動する単一の主被写体を含む場合、傾斜状又は階段状の振幅を一定周波数とともに使用することが、有用な場合がある。そのような構成では、減少する振幅駆動信号は、主被写体が奥行き撮像器に向かって移動し、又は周囲から中央に向かって移動する場合に、良好に適合することが予測され、増加する振幅駆動信号は、主被写体が奥行き撮像器から遠ざかる向きに移動し、又は中央から周囲に向かって移動する場合に良好に適合することが予測される。類似の考慮事項は、周波数変化と振幅変化との両方を含む実施形態において、印加すべき振幅変化のタイプを選択する際にも、使用される場合がある。
上記のように、他の実施形態では、直線関数、指数関数、二次関数、又は任意の関数にしたがう変化を含む、広く様々なタイプ及び組み合わせの周波数変化及び振幅変化が使用される場合がある。
当然ながら、図2から図5までに示した特定の駆動回路構成、駆動信号、及び出力光波形は、例として示したものに過ぎず、本発明の他の実施形態では、他のタイプ及び構成の種々の要素を使用して、ToFカメラ又は他のタイプの奥行き撮像器における光源のための駆動回路を実施する場合がある。
また、多数の他のタイプの制御モジュールを使用して、所与の駆動信号波形について異なる周波数変化及び振幅変化を確立する場合がある。例えば、静的な周波数制御モジュール及び振幅制御モジュールが使用される場合があり、その場合、周波数変化及び振幅変化を、奥行き撮像器の動作に関連してユーザ選択により動的に変化させることはできず、代わりに、周波数変化及び振幅変化は、設計による特定の構成に固定される。したがって、例えば、特定タイプの周波数変化、及び特定タイプの振幅変化が、設計段階で予め決定される場合があり、そのような所定の変化は、奥行き撮像器において可変的に生成されるのではなく、固定的になされる場合がある。光源駆動信号について周波数変化及び振幅変化のうちの少なくとも一方を提供するこの種の静的回路構成は、その用語が本明細書において広く使用されている「制御モジュール」の種々の検討例であり、実質的に一定の周波数及び振幅を有するCW出力光を一般に使用するToFカメラのような従来の構成とは、異なるものである。
この場合も、本明細書に記載したような本発明の種々の実施形態が、例示を目的とするものに過ぎないことは、強調されるべきである。例えば、本発明の他の実施形態は、本明細書に記載した特定の実施形態に使用されているもの以外にも、広く様々な異なるタイプ及び構成の画像処理システム、奥行き撮像器、画像処理回路、駆動回路、制御モジュール、処理装置、及び処理動作を使用して実施されることがある。また、特定の実施形態を説明する文脈で本明細書においてなされた特定の前提は、他の実施形態では、適用する必要がない。下記の特許請求の範囲内に含まれるそれらの及び多数の他の代替実施形態は、当業者には直ちに明らかになるであろう。
Claims (24)
- 駆動回路及び光源を含む奥行き撮像器を含み、
前記駆動回路が、
周波数制御モジュールと、
前記周波数制御モジュールの出力に結合された制御入力を有する制御可能な発振器と
を含み、
前記制御可能な発振器の出力が、前記光源の入力に結合され、
前記制御可能な発振器を使用して前記駆動回路により前記光源に提供される駆動信号の周波数が、前記周波数制御モジュールの制御下で、指定タイプの周波数変化にしたがって変化する、装置。 - 前記駆動回路は、振幅制御モジュールをさらに含む、請求項1に記載の装置。
- 前記制御可能な発振器を使用して前記駆動回路により前記光源に提供される前記駆動信号の振幅は、前記振幅制御モジュールの制御下で、指定タイプの振幅変化にしたがって変化する、請求項1に記載の装置。
- 前記駆動回路は、前記制御可能な発振器の前記出力に結合された第1の入力と、前記振幅制御モジュールの出力に結合された出力と、前記光源のための前記駆動信号を提供する出力とをさらに含む、請求項2に記載の装置。
- 前記制御可能な発振器は、電圧制御発振器、及び数値制御発振器のうちの一方を含む、請求項1に記載の装置。
- 前記指定タイプの周波数変化は、傾斜状の周波数変化、及び階段状の周波数変化のうちの一方を含み、前記傾斜状又は階段状の周波数変化は、時間の関数として増加する周波数、及び時間の関数として減少する周波数のうちの一方を提供し、前記増加する周波数又は減少する周波数は、直線関数及び非直線関数のうちの一方にしたがう、請求項1に記載の装置。
- 前記周波数制御モジュールは、開始周波数、終了周波数、及び前記傾斜状の周波数変化の期間のうちの1以上を含む、前記傾斜状の周波数変化の1以上のパラメタのユーザ選択を可能とするように構成される、請求項6に記載の装置。
- 前記周波数制御モジュールは、開始周波数、終了周波数、周波数ステップサイズ、時間ステップサイズ、及び前記階段状の周波数変化の期間のうちの1以上を含む、前記階段状の周波数変化の1以上のパラメタのユーザ選択を可能とするように構成される、請求項6に記載の装置。
- 前記指定タイプの周波数変化は、傾斜状の振幅変化、及び階段状の振幅変化のうちの一方を含み、前記傾斜状の振幅変化又は階段状の振幅変化は、時間の関数として増加する振幅、及び時間の関数として減少する振幅のうちの一方を提供し、前記増加する振幅又は減少する振幅は、直線関数及び非直線関数のうちの一方にしたがう、請求項3に記載の装置。
- 前記振幅制御モジュールは、開始振幅、終了振幅、バイアス振幅、及び前記傾斜状の振幅変化の期間のうちの1以上を含む、前記傾斜状の振幅変化の1以上のパラメタのユーザ選択を可能とするように構成される、請求項9に記載の装置。
- 前記振幅制御モジュールは、開始振幅、終了振幅、バイアス振幅、及び前記階段状の振幅変化の期間のうちの1以上を含む、前記階段状の振幅変化の1以上のパラメタのユーザ選択を可能とするように構成される、請求項9に記載の装置。
- 前記駆動回路は、前記周波数制御モジュール及び前記制御可能な発振器のそれぞれのトリガー入力に印加するためのトリガー信号を生成するように構成されたトリガー回路をさらに含む、請求項1に記載の装置。
- 前記駆動回路は、振幅制御モジュールをさらに含み、前記トリガー回路からの前記トリガー信号は、前記振幅制御モジュールのトリガー入力にも印加される、請求項12に記載の装置。
- 前記駆動回路は、
光源制御信号に応答する前記トリガー回路による前記トリガー信号の生成を制御するように構成されたゲート回路と、
前記トリガー回路と、前記周波数制御モジュール及び前記制御可能な発振器の前記トリガー入力との間に結合された遅延回路と
をさらに含む、請求項12に記載の装置。 - 前記駆動回路に関連するパラメタ最適化モジュールであって、所与の撮影動作について前記奥行き撮像器の積分時間窓を最適化するように構成されたパラメタ最適化モジュールをさらに含む、請求項1に記載の装置。
- 前記奥行き撮像器は、タイム・オブ・フライト(ToF)カメラを含む、請求項1に記載の装置。
- 前記光源は、発光ダイオード、及びレーザーダイオードのうちの一方を含む、請求項1に記載の装置。
- 請求項1に記載の装置を含む画像処理システム。
- 前記画像処理システムは、前記奥行き撮像器を使用して、ジェスチャー認識、顔検出、及び人物追跡のうちの1以上を含む1以上のマシン・ビジョン・アプリケーションを実施する、請求項18に記載の画像処理システム。
- 奥行き撮像器において、光源に印加するための駆動信号を生成するステップと、
前記駆動信号の周波数及び振幅のうちの少なくとも一方を、前記駆動信号が前記駆動信号が指定タイプの周波数変化、及び指定タイプの振幅変化のうちの少なくとも一方にしたがって変化するように、制御するステップと
を含む方法。 - 前記指定タイプの周波数又は振幅変化が、傾斜状の変化及び階段状の変化のうちの一方を含む、請求項20に記載の方法。
- コンピュータプログラムコードが内部に具現化されたコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコードが、前記奥行き撮像器において実行されたときに、前記奥行き撮像器に、請求項20に記載の方法を実施させる、コンピュータ読取可能記憶媒体。
- 奥行き撮像器の光源に接続するように構成された駆動回路を含み、
前記駆動回路が、
周波数制御モジュール及び振幅制御モジュールのうちの少なくとも一方と、
発振器と
を含み、
前記駆動回路は、前記発振器を使用して、前記光源に印加するための駆動信号を生成するように構成され、
前記駆動信号の周波数及び振幅のうちの少なくとも一方が、前記周波数制御モジュール及び振幅制御モジュールのうちの対応する一方により制御され、それによって、前記駆動信号は、指定タイプの周波数変化、及び指定タイプの振幅変化のうちの少なくとも一方にしたがって変化する、装置。 - 請求項23に記載の装置を含む集積回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/658,153 US20140111617A1 (en) | 2012-10-23 | 2012-10-23 | Optical source driver circuit for depth imager |
US13/658,153 | 2012-10-23 | ||
PCT/US2013/049294 WO2014065904A1 (en) | 2012-10-23 | 2013-07-03 | Optical source driver circuit for depth imager |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016502068A true JP2016502068A (ja) | 2016-01-21 |
JP2016502068A5 JP2016502068A5 (ja) | 2016-07-28 |
Family
ID=50484980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015537693A Withdrawn JP2016502068A (ja) | 2012-10-23 | 2013-07-03 | 奥行き撮像器のための光源駆動回路 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20140111617A1 (ja) |
JP (1) | JP2016502068A (ja) |
KR (1) | KR20150079494A (ja) |
CN (1) | CN104024789A (ja) |
CA (1) | CA2850073A1 (ja) |
TW (1) | TW201416716A (ja) |
WO (1) | WO2014065904A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11169251B2 (en) * | 2018-03-28 | 2021-11-09 | Qualcomm Incorporated | Proximity detection using multiple power levels |
KR102646902B1 (ko) | 2019-02-12 | 2024-03-12 | 삼성전자주식회사 | 거리 측정을 위한 이미지 센서 |
CN110186387A (zh) * | 2019-06-04 | 2019-08-30 | 浙江舜宇光学有限公司 | 深度的检测方法、装置和系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001280758A1 (en) * | 2000-07-24 | 2002-02-05 | University Of Kansas Center For Research, Inc. | Laser radar system and method |
US6496078B1 (en) * | 2000-08-31 | 2002-12-17 | Sony Corporation | Activating on-chip oscillator using ring oscillator |
AU2002364544A1 (en) * | 2001-12-10 | 2003-07-09 | Zygo Corporation | Method and apparatus for calibrating a wavelength-tuning interferometer |
WO2005017852A2 (en) * | 2003-08-01 | 2005-02-24 | Bae Systems | Isolated control apparatus incorporating light controlled power semiconductors |
US7379163B2 (en) * | 2005-02-08 | 2008-05-27 | Canesta, Inc. | Method and system for automatic gain control of sensors in time-of-flight systems |
DE102005034702A1 (de) * | 2005-07-26 | 2007-02-01 | Robert Bosch Gmbh | Verfahren und Schaltungsanordnung zur sicheren Inbetriebnahme eines Drehratensensors |
US7492630B2 (en) * | 2006-07-31 | 2009-02-17 | Sandisk 3D Llc | Systems for reverse bias trim operations in non-volatile memory |
US7636150B1 (en) * | 2006-12-01 | 2009-12-22 | Canesta, Inc. | Method and system to enhance timing accuracy for time-of-flight systems |
US7852461B2 (en) * | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
US7994870B2 (en) * | 2008-10-20 | 2011-08-09 | Qualcomm, Incorporated | Tunable filter with gain control circuit |
US8389929B2 (en) * | 2010-03-02 | 2013-03-05 | Thermo Finnigan Llc | Quadrupole mass spectrometer with enhanced sensitivity and mass resolving power |
US8548270B2 (en) * | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
US8724887B2 (en) * | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
EP2697743A4 (en) * | 2011-04-11 | 2014-09-24 | Intel Corp | GESTURE DETECTION USING DEPTH PICTURES |
US8804101B2 (en) * | 2012-03-16 | 2014-08-12 | Advanced Scientific Concepts, Inc. | Personal LADAR sensor |
-
2012
- 2012-10-23 US US13/658,153 patent/US20140111617A1/en not_active Abandoned
-
2013
- 2013-07-03 KR KR1020147029600A patent/KR20150079494A/ko not_active Application Discontinuation
- 2013-07-03 WO PCT/US2013/049294 patent/WO2014065904A1/en active Application Filing
- 2013-07-03 CN CN201380003663.2A patent/CN104024789A/zh active Pending
- 2013-07-03 CA CA2850073A patent/CA2850073A1/en not_active Abandoned
- 2013-07-03 JP JP2015537693A patent/JP2016502068A/ja not_active Withdrawn
- 2013-07-25 TW TW102126580A patent/TW201416716A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CA2850073A1 (en) | 2014-05-01 |
CN104024789A (zh) | 2014-09-03 |
US20140111617A1 (en) | 2014-04-24 |
KR20150079494A (ko) | 2015-07-08 |
WO2014065904A1 (en) | 2014-05-01 |
TW201416716A (zh) | 2014-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016509378A (ja) | 関心のある被写体の適応性照明を用いる奥行き撮像方法および装置 | |
CN105190426B (zh) | 飞行时间传感器装仓 | |
CN109725326B (zh) | 飞行时间相机 | |
KR102527329B1 (ko) | 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술 | |
US8638424B2 (en) | Charge equalizing clock driver and other enhancements for time-of-flight depth sensing and other systems | |
US9945936B2 (en) | Reduction in camera to camera interference in depth measurements using spread spectrum | |
US20150310622A1 (en) | Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images | |
US10725177B2 (en) | Hyper-resolved, high bandwidth scanned LIDAR systems | |
JPWO2015001770A1 (ja) | 複数の光源を有するモーションセンサ装置 | |
JP2009520203A (ja) | 相対移動測定装置及び方法 | |
JP2013096941A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2016102697A (ja) | 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム | |
CN109991581B (zh) | 飞行时间获取方法和飞行时间相机 | |
US20230015889A1 (en) | Automatic parameter adjustment for scanning event cameras | |
US20230060421A1 (en) | Multi-sensor superresolution scanning and capture system | |
JP2016502068A (ja) | 奥行き撮像器のための光源駆動回路 | |
KR20160026189A (ko) | 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 | |
US20170184722A1 (en) | Method and device for acquiring distance information | |
EP3276576B1 (en) | Disparity estimation by fusion of range data and stereo data | |
US11579291B2 (en) | Optical ranging system having multi-mode operation using short and long pulses | |
US11971505B2 (en) | Methods and devices for peak signal detection | |
KR20200117460A (ko) | 전자 장치 및 그의 발열 제어 방법 | |
CN114207474A (zh) | 飞行时间调制光的展开相位 | |
US11960033B2 (en) | SPAD based indirect time of flight sensing from solid state transmitter scanning | |
CN115267804A (zh) | 屏下深度信息检测装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160606 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20160614 |