JP2017049234A - シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源 - Google Patents

シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源 Download PDF

Info

Publication number
JP2017049234A
JP2017049234A JP2016154383A JP2016154383A JP2017049234A JP 2017049234 A JP2017049234 A JP 2017049234A JP 2016154383 A JP2016154383 A JP 2016154383A JP 2016154383 A JP2016154383 A JP 2016154383A JP 2017049234 A JP2017049234 A JP 2017049234A
Authority
JP
Japan
Prior art keywords
scene
tof
signal
modulation
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016154383A
Other languages
English (en)
Other versions
JP6189504B2 (ja
Inventor
デル テンペル ワード ファン
Ward Van Der Tempel
デル テンペル ワード ファン
ジュリアン トロ
Thollot Julien
ジュリアン トロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Softkinetic Sensors NV
Original Assignee
Softkinetic Sensors NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic Sensors NV filed Critical Softkinetic Sensors NV
Publication of JP2017049234A publication Critical patent/JP2017049234A/ja
Application granted granted Critical
Publication of JP6189504B2 publication Critical patent/JP6189504B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Abstract

【課題】TVディスプレイ、ラップトップ、PC、メディア・センター・プラットフォーム、セット・トップ・ボックス又はDVDプレーヤ、電球のような電子機器と共に使用するシステム及び方法を提供する。【解決手段】システム及び方法は、いくつかの別個の制御手段を1台の単独の機器に組み合わされる。組み合わされた制御手段は、情報信号を伝達するために、例えば、IR信号を使用するような少なくとも1つの共通した特性を共有している。特に、本発明は、TOFカメラのTOF照明システム及びこれを動作させる方法と、例えば、3D IR同期方式視聴用メガネを駆動するIR放射器のようなシーンに位置する電子機器を駆動する制御手段との組合せに関する。【選択図】図1

Description

本発明は、被変調光で伝達された少なくとも1つの信号を使用して電子機器間でシーン内の離れた場所における相互作用を可能にするシステム及び方法に関する。詳しくは、本発明は、TOFカメラのTOF照明システム及びこれを動作させる方法と、シーン内に位置している他の電子機器との文脈的相互作用を可能にする電子機器システム及びこれらを動作させる方法との組合せに関する。電子機器システムは、TVディスプレイ、ラップトップ、PC、メディア・センター・プラットフォーム、セット・トップ・ボックス、ゲーム機、又は電球のような照明システムのような機器を備えることがあり、他の電子機器は、スピーカー、3Dシャッターメガネ、電気掃除機、又は、無人機もしくはホームオートメーション機器のようなその他の種類の遠隔制御可能機器のような信号受信機器を少なくとも備えることがある。
赤外線光は、電磁放射の範囲が電気通信システムにおいてシステムから別のシステムに情報データを伝達するために使用されるが、人間は見ることができない電磁放射に対応する。例えば、3D TVのようないくつかの3D機器ディスプレイは、画面に表示された対応する左右の画像と同期して視聴用メガネの左右のシャッターを開閉するために被変調赤外線光信号を放射する手段を備えるので、人間の視覚系が表示されたコンテンツの3D認識を持つことを可能にさせる。赤外線光は、ディスプレイ機器からメガネに同期化信号を転送するために使用される。単一の物理層又は通信プロトコルが標準として使用されることはないこと、かつ、様々の解決法が存在し得ることが分かっている。例えば、異なる3D同期化システムは、850nmから940nmの範囲、又は、人間に見えない他の範囲に入る異なるIR光波長を使用している。その上、いくつかのシステムは、ある搬送波周波数を使用する伝送プロトコルを備えることがあり、いくつかの他のシステムは、変調されていない信号を使用することがある。異なった、かつ、互換性のないデータ信号タイミングプロトコルが実施されることもある。例えば、いくつかの同期フルタイム信号が使用されることがあるが、いくつかの他の実施形態では、位相ロックループ(PLL)が使用されることがある。付加的に、1台、2台又はこれ以上のIR放射器が同期化信号を送信するために使用される可能性がある。さらに、いくつかのシステムは、クロストークを回避するためにIR遠隔制御受信機からIR放射器を隔離することがあるが、いくつかの他のシステムは、これらを同じウィンドウの裏側で完全に隣同士に置くことがある。様々の解決法は、例えば、各3D視聴用メガネをブランド又はディスプレイ画面に固有にさせて、異なるシステムが相互に互換性を持たないようにする。さらに、いくつかの3D TVは、何らかの遠隔制御送受信機として同じ赤外線波長、典型的に、940nmを使用するので、干渉問題が3D TVの間にさらに生じることがある。
家電協会の作業部会は、例えば、3D TV同期化用の視聴用メガネを含むIR通信機器相互運用性の標準化を調査している。通信規格は、3D TVからアクティブメガネへの赤外線同期化信号がTV遠隔制御信号によって及び他の周囲の光ノイズ源によって影響されることがなく、その上に、遠隔制御信号を同期化信号自体によって影響されないようにすることを保証すべきである。考えられる解決法の中には、標準遠隔制御波長信号から異なるようにするために3D TV赤外線同期化信号のための特定の波長の選択が含まれている。別の可能性は、同期化放射器の許容可能な強度が低下される別の搬送波周波数を利用することであり、被変調信号の周りの伝送プロトコルが標準化されるべきである。例えば、3D同期化は、25kHz、波長830nm及び最大放射器強度1000mW/srで短いバースト変調信号を使用することがある。
IR放射器−受信機を介する双方向通信の標準化の目的は:
○サウンドシステム
○メガネ
○遠隔制御装置
といった静止装置の駆動を可能にすることであろう。
解決すべき主な課題は、
○相互運用性を最大化すること
○干渉を回避すること
○人間の安全性を保持すること
であろう。
予想される解決策は、主に:
○IR電磁放射を利用すること
○何らかの特定の変調周波数を使用すること
○拡散透過又は直接的な視線透過を使用すること
に重点を置くであろう。
並行して、IR光を使用する新しい技術が出現している。これは、シーンの深度測定を行うことを目的としている3次元イメージング機器システムに関係する。飛行時間型カメラシステム(TOFカメラ)のような3次元イメージング機器システムは、TOF原理を用いて距離データを作成し、受信機は、LEDベースの照明システムのような光源によってシーンに向かって放射され、そして、シーンから反射された被変調光を撮影する機器システムである。TOF原理は、ラウンドトリップ時間によってもたらされた、放射被変調信号と受信被変調信号との間の重なり合いの時間又は位相差によって決定された測定深度に依拠する。受信信号は、放射信号のコピーと相関又は混合されてこれらの2つの間の時間及び位相差を取得し、時間及び位相差から距離が決定される可能性がある。典型的に、カメラ機器システムは、数千メガヘルツ又はこれ以上の範囲に入る周波数でIRドメインにおける被変調信号を放射する照明ユニットを備える。放射された波長範囲を撮影するため最適化された画像センシングユニットは、シーン照明と同期してシーンを撮影し、センシングユニットの視野は、照明システム光学エンジン錐台に含まれている。
TOFカメラは、ジェスチャー認識システムのような方法及びシステムに関連している場合に、人間対機械の相互作用及び遠隔制御のような部屋又は居間の体験のための在宅をはじめとするいくつかの条件で用いるため構築されている。
したがって、TOFカメラは、将来的には、IR電磁放射をさらに使用している宅内標準電気通信システムを備える1台ではなく、同じ環境内に共存することが期待される。
本発明の目的は、光源もしくは電球のような照明システム、又は、TVディスプレイ、ラップトップ、PC、メディア・センター・プラットフォーム、セット・トップ・ボックスもしくはDVDプレーヤのような電子機器のためのシステム、回路及び方法を提供することであり、上記システム及び方法は、計算手段を備え、有利な点として、いくつかの別個の特徴、及び、好ましくは制御手段を1つの単独の機器に組み合わせる。組み合わされた制御手段は、情報信号を伝達するために、例えば、IRのような不可視信号の使用のような少なくとも1つの共通した特性を共有している。詳しくは、本発明は、TOFカメラのTOF照明システム、及び、これを作動する方法と、例えば、3D IR同期方式メガネを駆動する、又は、情報を他の機器に提供するIR照射器のようなシーンに位置している電子機器を駆動する制御手段との組合せに関連している。
本発明の実施形態の利点は、例えば、TOF被変調光信号でシーンを照明するため設けられている第1のLEDの組を備える第1の照明ユニットと、例えば、ディスプレイ機器上の3D画像を観察するために使用されるメガネのようなさらなる機器の動作のためシャッター変調信号のような信号を送信する照明ユニットのような機器の制御のため設けられている第2のLEDの組を含んでいる第2の照明ユニットとのような複数の照明ユニットの使用を回避することである。特有の実施形態では、テレビジョンディスプレイを考慮するとき、ディスプレイ画面自体は、パネルに一体化されているIR放射画素ユニットを備える場合(例えば、IR画素は、Bayer型標準RGB画素単位行列に一体化されている場合)、放射器として使用されることがある。ディスプレイ自体は、その結果、放射器になることがあり、外部LED放射ユニットを必要としない。
本発明の別の利点は、1つの単独のIR光源がシーン内の全ての電子機器間の相互作用のため使用されることがある、という点である。例えば、IR光源のような不可視光源は、電球に一体化される可能性がある。本発明は、TOFカメラベースのシステムの光源又は電球への一体化をさらに含む。
本発明の実施形態のさらなる利点は、シーンが過剰に照明されることがないので、2台の異なる制御機器は、高い照明電力に起因する、又は、異種の照明ユニットからの類似する変調周波数に起因する干渉なしで正確に機能することになる、という点である。
本発明の実施形態のさらに別の利点は、異なる放射信号が1つの単独の回路で管理されることがある、という点である。
発明の別のさらなる利点は、文脈的制御及び相互作用を可能にするために、シーン内の物体を検出、追跡及び認識する方法を実現する可能性がある、という点である。
発明の別のさらなる利点は、2つのシステム間の双方向相互作用を可能にするように、物体によって放射された情報を受信するシステムと、これらの情報を処理する関連手段とを実現する可能性がある、という点である。
本発明の実施形態は:
○ToF測定システムで使用される特定の近赤外のようなある種の波長の特定の電磁放射を利用することと、
○ToF測定システムのための少なくとも1台の照明システム、及び、異なる機器に対処することを可能にするためにパラメトリックにすべきである別の1台の照明システムのような照明システムによって放射された複数の特定の変調周波数を使用することと、
○例えば、広い視野を獲得するためにToF照明システムの拡散透過を使用することと、
を含む。
一態様では、本発明は、機器と共に用いられるシステムであって、
ToF原理に関してシーンを照明する単独の照明ユニットと、
多重変調信号を発生させ、この変調信号を照明ユニットに供給し、TOF信号に対応している少なくとも1つの変調、及び、照明されたシーン内の第1の物体によって用いられ、又は、照明されたシーン内の第1の物体の動作を制御する少なくとも別の変調を有している多重変調信号を照明ユニットに提供するために適合している信号発生器と、
を備えるシステムを提供する。
本発明の別の態様は、機器と共に用いられるシステムであって、
シーンを照明する単独の照明ユニットと共に用いられるセンサユニットを含み、ToF原理に基づいてセンサユニットとシーン内の第1の物体との間の距離に関連する値を決定する手段を備えるToFセンサ配置構成と、多重変調信号を発生させ、この信号を照明ユニットに供給し、照明されたシーン内の第2の物体によって用いられる、又は、照明されたシーン内の第2の物体の動作を制御する少なくとも1つの変調を有している多重変調信号を照明ユニットに提供するために適合している信号発生器と、
を備えるシステムを提供する。
本発明の別の態様は、
ToF原理に関してシーンを照明する単独の照明ユニットと、多重変調信号を発生させ、この信号を照明ユニットに供給し、TOF信号に対応している少なくとも1つの変調、及び、照明されたシーン内の第1の物体によって用いられる、又は、照明されたシーン内の第1の物体を制御するもしくは動作させる少なくとも別の変調を有している多重変調信号を照明ユニットに提供するために適合している信号発生器と、
を備える回路である。
場合によっては、本発明によるシステム、回路又は方法は、フィードバック情報としてシーン内の機器によって発生させられることがある信号を受信し、処理するため適合している手段を備えることがある。シーン内の機器は、IDのような少なくともフィードバック情報、又は、イベント、パラメータ、データ(測位、状態)の通知を提供するような別の種類のフィードバックをシステム(又はユーザ)に配信するために何らかの種類の信号を放射することがある。このような通信は、光、無線、音、振動などを使用するようなワイヤレス接続によって達成される可能性がある。システムは、フィードバックを提供するために異なる通信手段を利用することがあり、例えば、TOF照明ユニットを駆動し、TOFカメラ情報を処理するシステム、及び/又は、シーン内のユーザへの何らかの手段によるフィードバックが存在する可能性がある。
本発明の好ましい実施形態は、IR光のような放射光を通じて送信するために多重変調を利用する。照明は、多重変調方式ToF照明システムのような集光又は拡散照明システムを使用する可能性がある。同様に、本発明の何らかの方法は、通信機器間での一方向及び/又は双方向相互作用を有効にする可能性がある。システムは、好ましくは、少なくとも2個の被変調信号を発生させる手段を備え、第1の被変調信号は、距離関連パラメータ、例えば、ToF原理から知られるような距離測定量に関連付けられ、少なくとも第2の信号は、干渉を回避するためにToF信号の変調周波数とは異なる変調周波数をもつ別の信号を、照明されたシーンに伝達することを目的とし、第2の信号は、シーン内の機器を駆動すること/制御すること/シーン内の機器に情報を提供することを目的とする。
シーン内の機器を制御するシステム、回路又は方法は、自動的にシーン内の物体を決定又は測位する識別モジュールの使用を含む。物体の決定又は測位は、例えば、コンピュータビジョン物体認識方法の結果、決定される可能性があり、又は、双方向通信をサポートする本発明の実施形態のための電磁放射受信を使用する物体ID認識の結果、さらに決定される可能性がある。このような実施形態は、システムによる物体によって放射された信号の認識、及び、システムによる信号の処理をサポートする。
特有の実施形態では、シーン内の移動体機器を制御するシステム、回路又は方法は、シーンの至る所で機器移動を制御するために測位モジュールを含むことがあり、上記測位は、電磁放射を使用する、又は、音、光もしくは無線波でビーム形成する、3D画像処理手段を介する又は3D三角測量を介する、といった何らかの適当な方法により実行される。
本発明は、相互作用を可能にするためカメラ機器に内蔵された多重変調方式ToF照明方法、回路又はシステムをさらに含む。カメラ自体は、例えば、限定されることなく、TVディスプレイ機器に内蔵可能である。
本発明のさらなる態様は、機器と共に用いられる方法であって、
単独の照明ユニットを使用してToF原理に関してシーンを照明することと、
少なくとも1つの変調がTOF信号に対応して照明ユニットに供給され、少なくとも別の1つの変調が照明されたシーン内で第1の物体によって用いられる、又は、照明されたシーン内の第1の物体を制御するもしくは動作させる情報データを有している多重変調信号を発生させ、この信号を単独の照明ユニットに供給することと、
を備える方法である。
本発明のなおさらなる態様は、機器と共に用いられる方法であって、この方法は、
ToF原理に従ってセンサユニットを使用して、照明ユニットによって照明されたシーンから反射された光を感知することと、
ToF原理に基づいて照明ユニット又はセンサユニットとシーン内の第1の物体との間の距離に関連する値を決定することと、
少なくとも1つの変調が照明されたシーン内で第2の物体によって用いられる、又は、シーン内の第2の物体の動作を制御するため設けられている多重変調信号を発生させ、この信号を照明ユニットに供給することと、
を備える。
その結果、本発明の実施形態は、シャッターメガネのシャッター変調のような機器を制御するためにTOF変調及び第2の変調を両方共に同時に使用することを可能にするLEDのような単一の光源の組を有している単独の照明ユニットの変調のための回路又は方法を提供する。典型的に、IR LEDによって生成された放射のような不可視放射が本発明の何らかの実施形態で使用される可能性がある。データを伝達するため適当であり、かつ、人間によって認識できないため適当であれば、他の波長が使用される可能性があることが理解される。さらに、変調周波数が人間の視覚系によって検出可能な周波数より著しく大きい場合、可視波長が使用されることがあり、すなわち、パルス光融合が24Hzで現れるが、少なくとも50Hz周波数が左右の視覚ちらつきの認識を回避するために必要である。しかし、数MHzの周波数は、情報を伝達するためより一層適当である。LED光又はPMDのため使用されるようなレーザー源がこのようにToFシステムのため実現可能である。
本発明のなおさらなる態様は、
シーンを照明する照明ユニットと、
多重変調信号を発生させ、この多重変調信号を照明ユニットに供給し、TOF信号に対応する少なくとも1つの変調、及び、第1の変調と異なる少なくとも別の変調を有している多重変調信号を照明ユニットに提供するために適合している信号発生器と、
を備える光源である。
信号発生器は、好ましくは、光源に一体化される。
本発明のさらなる態様は、
シーンを照明する照明ユニットと、
多重変調信号を発生させ、この多重変調信号を照明ユニットに供給し、TOF信号に対応する少なくとも1つの変調を有している多重変調信号を照明ユニットに提供するために適合している信号発生器と、
ワイヤレス通信プロトコルのために動作するワイヤレス信号を送信する送信機と、
を備える光源である。
信号発生器は、好ましくは、光源に一体化される。
本発明の何らかの実施形態における照明システムは、
3Dテレビジョン用シャッターメガネのような制御される機器、又は、電気掃除機が受信範囲に入ることを確実にする広い視野を有していることがある。十分な電力が、例えば、LEDの組を含む照明ユニットに供給される場合、これは、シーンから反射された十分な光をTOF受信機で受信することを確実にする。
他の好ましい実施形態は、ユーザを関連付けるジェスチャーベースの相互作用と組み合わされたシーン内の制御される物体と機器との間の双方向相互作用をさらに使用する。例えば、ユーザは、送受信機と、情報信号を人間操作者に供給するバイブレータのようなフィードバック機器を有している遠隔制御機器を操作する。システムは、遠隔制御機器の結果、スケルトン追跡ソフトウェア手段によって提供されたユーザモデル表現を精緻化する可能性があり、ユーザへのフィードバック情報の配信は、これの仮想表現が仮想シーンにおいて仮想物体と衝突を始めるとき、バイブレータに起因する。
別の実施形態は、放射光を通じて情報を送信するために多重変調のための手段と一体化されている光源を含む。照明は、多重変調方式ToF照明システムのような集光又は拡散照明システムを使用する可能性がある。さらに、光源は、通信機器の間の一方向及び/又は双方向相互作用を有効にする可能性がある。光源は、好ましくは、少なくとも2個の被変調信号を発生させる手段を備え、第1の被変調信号は、距離関連パラメータ、例えば、ToF原理から知られるような距離測定量に関連付けられ、少なくとも第2の信号は、干渉を回避するためにToF信号の変調周波数と異なる変調周波数をもつ別の信号を照明されたシーンに伝達することを目的とし、第2の信号は、シーン内の機器又はネットワーク要素を駆動すること/制御すること/シーン内の機器又はネットワーク要素に情報を提供することを目的とする。
その結果、光源は、シーン内の機器又はネットワーク要素を制御するためにTOF変調及び少なくとも第2の変調を両方共に同時に使用することを可能にするLEDのような単一の光源の組を有している単独の照明ユニットの変調のための回路を備える。典型的に、IR LEDによって生成された放射のような不可視放射が使用される可能性がある。データを伝達するため適当であり、かつ、人間によって認識できないため適当であれば、他の波長が使用される可能性があることが理解される。LED光又はレーザー源がこのようにToFシステムのため実現可能である。
場合によっては、光源は、フィードバック情報としてシーン内の機器によって発生させられることがある信号を受信し処理するため適合した手段を備えることがある。シーン内の機器は、IDのような少なくともフィードバック情報、又は、イベント、パラメータ、データ(測位、状態)の通知を提供するような別の種類のフィードバックをシステム(又はユーザ)に配信するために何らかの種類の信号を放射することがある。このような通信は、光、無線、音、振動などを使用するようなワイヤレス接続によって達成される可能性がある。システムは、フィードバックを提供するために異なる通信手段を利用することがあり、例えば、TOF照明ユニットを駆動し、TOFカメラ情報を処理するシステム、及び/又は、シーン内のユーザへの何らかの手段によるフィードバックが存在する可能性がある。
図1は本発明の実施形態による照明ユニットに含まれているコンポーネントを示した図である。 図2は本発明の実施形態による双方向相互作用システムのための照明ユニットに含まれているコンポーネントを示した図である。 図3は本発明の実施形態による基本ToFカメラ機器を示した図である。 図4は本発明の実施形態によるディスプレイ機器に内蔵され、制御される機器を有するシーンを照明するTOFカメラを示した図である。 図5はディスプレイ機器に内蔵され、一方向相互作用を有しているシーンを照明するさらなるTOFカメラを示した図である(本発明の実施形態により、ToFカメラは、情報を追跡システムプロセスに提供し、追跡システムプロセスは、シーン内の追跡されるシステムへの転送コマンドを決定する。 図6はディスプレイ機器に内蔵され、双方向相互作用を有しているシーンを照明するさらなるTOFカメラを示した図である(本発明の実施形態により、ToFカメラは、情報を追跡システムプロセスに提供し、追跡プロセスシステムは、上記物体によって提供された情報に関してシーン内の物体への転送コマンドを決定する。 図7aは本発明の実施形態による光源を示した図である。 図7bは本発明の実施形態による光源を示した図である。
本発明は、特有の実施形態に関連して、かつ、ある種の図面を参照して説明されるが、本発明は、これらに限定されない。記載された図面は、単なる略図であり、限定的ではない。図面中、要素のうちのいくつかのサイズは、例示の目的のため誇張され、正しい縮尺で描かれていない。
本発明の実施形態は、距離検出測定を実行することができるシステム、機器及び方法に関する。
TOF測定では、シーン内のポイントへ進み、反射によりこれらの点から(すなわち、物体から)TOFカメラシステムまで戻るTOFカメラシステムのIR光のような可視又は不可視光といった照明光のラウンドトリップ時間が測定される。この時間は、何らかの適当な方法により、例えば、放射された照明光信号と、カメラセンサにより捕捉された、反射された光信号との間の位相オフセットを測定することにより決定されることがある。従来型のTOFカメラシステムでは、照明光は、周期的に変調された光を備える。飛行時間を決定する1つの選択肢では、シーンを照明するためにTOFカメラシステムから放射された光と、シーンから反射され、受けられた光との間の位相遅延が決定される。この位相遅延は、その後、光の周期長さ及び速度を使用して、測定距離、すなわち、TOFカメラシステムからの物体の少なくとも1点の距離に変換される可能性がある。これは、画素単位で行われる可能性がある。本質的に、TOF距離測定量Dは:


として決定される可能性があり、式中、cは、光速であり、fは、被変調光の周波数であり、phase_degは、角度単位での位相偏移であり、kは、エイリアス化された周期の数に関連している。本方程式における最初の因子は、エイリアシング解除のための対策なしのエイリアシング距離であり、これは、曖昧さのない距離である:

に対応する。この距離は、1周期の範囲内に対象とされる可能性がある最大距離を表現する。より大きい距離は、k回循環することになるので、画像内に存在する場合、エイリアス化されることになり、kの別個の決定は、曖昧さのない距離測定を可能にする。
図3は、追加コンポーネントとして含まれる可能性があり、又は、カメラ、ディスプレイもしくは他の機器に内蔵される可能性がある改良型TOF距離測定システム100の本発明による実施形態を示す。本実施形態における回路は、本発明の実施形態のいずれかに含まれることがある。距離測定システムは、好ましくは、着目エリアに集光させられる周期的光51をシーン55に放射し、この着目エリアで光がシーン物体によって反射される1台以上の光源49を備える単独の照明ユニットを備える。周期的光は、波、パルス、又は、これらの両方の組合せの形をしている可能性がある。周期的光は、ある種の一定である周期性を有している可能性があり、又は、周波数は、規則的な方式で変えられることがあり、例えば、広げられることがある。広い視野が必要とされる場合、広角照明が設けられることがある。この光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。本発明の本実施形態及び他の実施形態によれば、照明ユニットは、多重変調された光を投射する。多重変調は、距離測定のため、そして、場合によっては、3D画像の生成のため使用される周期的光信号51を含む。多重変調された光は、ToF測定のための少なくとも1つの周波数、及び、情報信号をシーン内の1台以上の異なる機器に提供することが可能であるためにパラメトリックである少なくとも1つの別の周波数のような2つ以上の変調周波数で投射される。情報は、多重変調された光信号のうちの少なくとも1つの被変調信号で伝達され、シーン内の機器は、対応する被変調光信号を受け、これによって、例えば、情報を抽出し、この情報に作用することにより制御されるために適合している。機器は、例えば、シャッターメガネである可能性があり、そのために、抽出された情報は、着用者が3D画像を適切に認識するように、シャッターメガネをディスプレイ機器上の3D画像と位相同期させるため使用される。典型的に、IR LEDは、光源49のための照明ユニットで使用される。このようなLED光は、PMDのため使用され、このようにして、ToFシステムのため実現可能である。しかし、当業者にとって、ToF照明原理によって要求された照明電力、波長、熱、サイズ及びスイッチング速度仕様を満たす場合、何らかの種類の光源が使用されるかもしれないことが理解される。
光源49が被変調光を放射することを可能にするため、1台以上の信号発生器43が設けられる。1台ずつ、又は、信号発生器43は、好ましくは、所定の周波数、例えば、約10MHz以上で永続的に振動しているノード48で変調信号又は変調信号群を発生させる。
信号発生器43のうちの1台は、ノード48上の第1のクロック信号と0°、180°、90°及び270°の位相関係をそれぞれに有しているノード44、45、46、47に配信された第2から第5のクロック信号のような類似する関連オフセットクロック信号をさらに発生させる可能性がある。信号は、ToF測定のため使用されることになる。当業者は、動作スキームにおいて、他の、又は、より一層多くのクロック位相を使用することを考慮する可能性もあり、より一層多くのクロック位相は、より一層長い測定時間と引き換えに、より良好な測定精度をもたらす。選択器58は、ToF測定のため検出器・混合器段200の混合器の入力ノード42をノード44、45、46及び47上の第2から第5のクロック信号と順番に接続する4つの位相の間で順番に切り換わる。これらの位置の1つずつで、選択器58は、例えば、約1msの緩和期間に亘って接続されたままである可能性がある。
1台の信号発生器は、異なった、特定の周波数でシャッターメガネ、ワイヤレススピーカー、電気掃除機、無人機、又は遠隔制御機器のような別の機器と通信するため使用される可能性がある異なる周波数で信号をさらに発生させる。上記他の信号は、観測されるシーンを照明する光学エンジンの錐台に位置している機器を制御するために情報を伝達する方式で変調される。照明システムは、シーン内の機器を制御するために信号をこの機器に提供し、そして、測定対象である機器が位置しているかもしれないシーンについての距離測定を実行するためにToF信号を提供することを目的とする。照明ユニットと機器との間の相互作用は、通常では一方向であり、例えば、照明システムが一方向信号を提供するように照明ユニットから機器に送信されたコマンドである。
距離測定システムは、少なくとも1台のセンシングユニット、例えば、シーンからの反射光を受ける画素31をさらに備える。このセンサからの信号は、深度情報、場合によっては、例えば、シーン内の1台以上の機器からの何らかの他のフィードバック情報を取得するために処理される。信号を処理するために処理ユニットが設けられている。その結果、センサ又はカメラと、照明ユニットと、受信機ユニットと、これらに関連付けられている処理ユニットとを備えるシステム全体と、ワイヤレス方式でシステム全体に情報を提供する手段を有している機器とを考慮すると、システムと機器との間の相互作用は、一方向又は双方向のどちらの可能性もある。信号発生器43のうちの1台は、例えば、振幅、周波数、符号変調などの何らかの知られている手段によって光信号に情報を加えるために、コントローラによって制御される可能性がある。上記他の信号は、例えば、照明から他の装置だけに至る一方向である可能性もある。機器からの信号は、例えば、光学、音響又は何らかの他のタイプのワイヤレス受信機によって受信される可能性がある。
適当なフィルタリングにより、反射光に存在する異なる被変調信号のいずれか又はいずれもが抽出される可能性がある。例えば、1台の信号発生器43は、シーン内の1台以上の機器、例えば、シャッターメガネの挙動を決定している制御信号を発生させる可能性があり、この信号は、機器で受信された信号から除去されることがある。代替的に、別個の受信機が周波数毎に使用される可能性がある。
図3に戻ると、バッファ50は、光51をシーン55に放射する光源49を駆動し、この光は、着目エリアに集光させられる可能性があり、又は、広い視野を有している可能性がある。光は、スペクトルの可視又は不可視領域に、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。この光の一部は、反射されることになり、したがって、反射光52を発生させる。この反射光52の少なくとも一部は、その後、レンズ56のようなToF測定のための光学集光システムに到達し、この光学集光システムを通って、反射光が画素31の内側で検出器28に画像化される、又は、集光させられ、ここで、入射部分は、反射された被変調光(ML)27と呼ばれる。
光52の一部は、従来型手段によって、すなわち、光学センサ及び受信機アーキテクチャによって他の信号の中の情報を抽出する光学集光システムに到達する可能性がある。
両方共にTOF測定を対象としない2次光源30に由来する間接光53及び直接光54がシーンにさらに存在し、光学集光システム56に衝突し、このようにして、検出器28に集光させられるものである。検出器28に入射する光の一部は、背景光(BL)26と呼ばれる。BLを発生させる光源30は、白熱灯、TLランプ、太陽光、昼光、遠隔制御光、又は、シーンに存在するどんな他の光でも含み、TOF測定のための光源49から発することがない。
ML 27及びBL 26は、光検出器28に衝突し、衝突するBL 26及びML 27への光誘起電流応答であるML電流及びBL電流をそれぞれに発生させる。検出器28は、これらの電流を衝突するBL 26及びML 27への電流応答を入力ノード42上の位相偏移したクロック信号と混合する後続の混合手段、例えば、混合器29に出力する。BL 26は、TOF測定のため受けられるML 27により誘起されたML電流より最大で6桁大きいBL電流を誘起する可能性がある。
検出器・混合器段200を形成する検出器28及び混合器29は、例えば、欧州特許出願公開第1513202A1号に記載されているような、光発生電荷が混合され、同時に混合生成電流を同時に発生させる1つの単独の機器と同様に実施される可能性がある。
検出器・混合器段200は、衝突するBL 26及びML 27への電流応答と位相偏移したクロック信号との混合生成物を発生させるものであり、これらの信号は、例えば、周囲のトランジスタの寄生容量が小さく維持されたままである、例えば、キャパシタ25を使って実施された積分器を用いて、ノード38で積分される。積分中に、積分器ノード38上の混合器出力信号の自動リセットが実行される。これは、第1及び第2の周波数の両方のため実行される。
これは、ノード38上の混合器出力信号が基準値Vrefに到達したときにいつでも自動的にリセットされ、このようにして、飽和を回避するように、例えば、リセットスイッチ、例えば、リセットトランジスタ32を始動させる比較器33によって実施されることがある。
図示されていない代替的な実施形態では、積分器ノード38上の混合器出力信号の自動リセットは、いくつかの他の方式で実施される可能性がある。これらの方式のうちの1つは、何らかのより一層の複雑さとの引き換えによってより一層優れた雑音性能を生じる固定量の電荷をキャパシタ25に追加するために、リセットスイッチ32ではなく、チャージポンプを始動させることである。
混合器出力信号を形成する混合生成物は、積分器ノード38で、変調信号変更手段、図示された実施例では、選択器58と同期させられた逐次形式で利用可能である。出力ドライバ24、例えば、バッファは、出力ノード23でより一層強い出力信号をもたらすように、実質的に1である電圧利得と電流増幅とをもたらす。
フィルタリングすることにより、第1又は第2のいずれかの周波数での信号は、視野にある物体からの反射信号から抽出される可能性がある。これらの信号から、深度測定量が、例えば、1画素毎に取得される。これらの深度値は、3D画像を発生させるために使用される可能性がある。
さらなる実施形態は、照明システムの結果、情報をシーン内の機器に提供/送信する可能性があるシステム及び方法に関連する。
さらなる実施形態は、上記システムのうちのいずれかと組み合わされる可能性がある照明システムの駆動回路に関連する。
図1は、本発明の実施形態による照明システム1を示す。システムは、LED、OLEDなどのような1台以上の光源8と、光源を駆動する駆動ユニット6とを含む。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。駆動ユニット6は、ブースター回路12及びスイッチング回路10を含むことがある。スイッチング回路10は、コンセント、バッテリー又は太陽電池のような電源7から電力を受ける。スイッチング回路は、1台以上の信号発生器4から制御信号を受信するコントローラ16によって制御される。信号発生器4は、スイッチング回路10及びブースター回路12を介して光源8を駆動するために使用される多重変調された信号を発生させる。多重変調された信号は、パルス又は波のようなTOF測定のため適した信号と、環境内のさらなる機器を駆動又はさらなる機器と通信するために使用される可能性がある信号とを含む可能性がある。この後者の信号は、このようなさらなる機器を制御する可能性があり、例えば、3D視聴システムで用いられるシャッターメガネのための信号タイミングを提供する可能性がある。さらなる実施形態は、シーン内の機器によって提供された情報を収集するために、関連回路を含む少なくとも受信機を備えることがあるシステム及び方法に関係する。
なおさらなる実施形態は、シーン内の機器と単一方向又は一方向に相互作用する可能性があるシステム及び方法に関係する。実施例は、同期化信号を3Dシャッターメガネに提供する、又は、音声信号を照明システム視野の内部に位置しているスピーカーに提供するTVディスプレイ機器に内蔵された距離検出測定ユニットの照明システムである。
図2は、図1のシステムと多くの共通コンポーネントを有している本発明の実施形態によるさらなる照明システム1を示す。システムは、LED、OLEDなどのような1台以上の光源8と、光源を駆動する駆動ユニット6とを含む。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。駆動ユニット6は、ブースター回路12及びスイッチング回路10を含むことがある。スイッチング回路10は、コンセント、バッテリー又は太陽電池のような電源7から電力を受ける。スイッチング回路は、1台以上の信号発生器4から制御信号を受信するコントローラ16によって制御される。信号発生器4は、スイッチング回路10及びブースター回路12を介して光源8を駆動するために使用される多重変調された信号を発生させる。多重変調された信号は、パルス又は波のようなTOF測定のため適した信号と、環境内のさらなる機器を駆動又はさらなる機器と通信するために使用される可能性がある信号とを含む可能性がある。この後者の信号は、このようなさらなる機器を制御する可能性があり、例えば、3D視聴システムで用いられるシャッターメガネのための信号タイミングを提供する可能性がある。しかし、本実施形態では、さらなる機器20との通信が双方向である場合に好ましい。機器20によって放射された信号は、ワイヤレス受信機である可能性がある受信機18で受信される。超音波、光学、不可視光、無線周波数ワイヤレス、ポイント・ツー・ポイント又は拡散赤外線は、何らかの類似する通信方法であり、さらなる機器20と受信機18との間の通信のため使用される可能性がある。さらなる機器20は、照明システム1からの光のための受信機だけではなく、受信機18への送信用の関連信号を発生させる送信機及びプロセッサもまた装備している。さらなる物体20のような物体から反射された光は、光学ToF受信機14で受けられる。この受信機は、距離関連値が照明システム1によって放射された光と、受信機14で受けられた、シーン内の物体から反射され、受けられた光との間の時間又は位相差によって決定される可能性があるように、必要な処理回路を含むことがあり、又は、必要な処理回路と接続されることがある。
本発明の何らかの実施形態における選択肢として、図2における18のような付加的な受信機は、シーン内の1つ又は各外部機器から信号を受信するため設けられることがある。信号は、少なくとも機器のID、又は、イベント、パラメータ、データ(測位)のような他の種類のフィードバックを配信するために、どのような種類でもある可能性がある。このような通信は、光信号である必要はないが、適切な受信機がシステム10で利用可能である場合、無線、音などによって達成される可能性がある。
その結果、なおさらなる実施形態は、シーン内の機器と双方向に相互作用する可能性があるシステム及び方法に関係する。実施例は、入力深度マップへの3D画像処理を使用してシーン内の機器を検出し追跡する可能性がある距離検出システムである。例えば、追跡された機器は、容器状態、距離、障害物の有無、電源状態などに関するリターン情報を提供する電気掃除機でもよい。これらのフィードバック信号の結果、特定の制御リターンアクションが発生させられることがあり、例えば、容器満杯信号は、例えば、サービスのため電気掃除機をこの電気掃除機のドックに戻すために制御信号を送信するように距離検出装置を駆動するコンピュータ化されたシステムを作動させる。
図4は、本発明の実施形態によるディスプレイシステム100を示す。ディスプレイシステムは、本発明の有利な適用の単なる実施例である。ディスプレイシステムは、ディスプレイ画面104付きのテレビジョン又はパーソナルコンピュータのようなディスプレイ機器102、又は、例えば、自立型DVDプレーヤのような光ディスク再生機器、ホーム・シアター・システム、又はゲーム機システムのための映像ディスプレイ機器を含む。詳しくは、これらのシステムのうちのいずれかは、3D画像の発生のために適する可能性がある。照明ユニットは、シーンへの光放射114のための光放射器108によって設けられる。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。照明ユニットは、ToF測定のため使用されるが、シーン内の1台以上の機器の制御のための別個の被変調信号の放射のため使用される可能性もある。光放射器は、例えば、赤外線放射器、すなわち、不可視光放射器である可能性がある。この放射器は、テレビジョンの遠隔制御のため使用される放射器と同じである可能性がある。受信機106、例えば、ToF測定のため使用される受信機がさらに設けられ、例えば、放射器は、物体112及び/又はシーン内の物体もしくは機器110から反射された光116を受ける能力がある。受信機106は、シーン内の能動機器110のいずれか又は1台ずつからの情報信号の受信のためさらに使用されることがあり、あるいは、別個の受信機がその結果設けられる可能性がある。さらに、図1から3のいずれかを参照して一般的に前述されているように、放射器108からの光通信によって制御されるシャッターメガネのような1台の機器110がシーン内に位置している。
別の実施形態では、システムは、シーン内の機器と双方向に相互作用する可能性があり、例えば、機器は、RFワイヤレス、ポイント・ツー・ポイント又は拡散赤外線、超音波のような何らかの適当な通信媒体で情報を送信することにより、容器状態、距離のような情報を提供する可能性がある電気掃除機でもよい。この照明システムは、この情報に従って情報を提供する可能性がある。別の例は、シーン内の機器、例えば、ハンドヘルド型遠隔コントローラを検出し追跡する距離検出システムである。コントローラは、情報を提供するためにフィードバック又は指示を人に与えるバイブレータのようなフィードバック機器を有している。システムは、例えば、ToFカメラ及び3D画像生成を用いて人の位置を追跡し、機器が特定の位置に到達した場合にバイブレータを振動させるためにコントローラに情報を提供する。
図5は、このタイプの本発明の別の実施形態によるディスプレイシステム100を示す。ディスプレイシステムは、本発明の有利な用途の単なる一例である。ディスプレイシステムは、ディスプレイ画面104付きのテレビジョン又はパーソナルコンピュータのようなディスプレイ機器102、又は、例えば、自立型DVDプレーヤのような光ディスク再生機器、ホーム・シアター・システム、又はゲーム機システムのための映像ディスプレイ機器を含む。詳しくは、これらのシステムのうちのいずれかは、3D画像の発生のために適する可能性がある。照明ユニットは、シーンへの光放射114のためのものであり、ディスプレイ104の一部である光放射器108によって設けられる。換言すると、ディスプレイの画素のうちのいくつかは、可視光又は不可視光のような光、例えば、人による視聴のため表示された画像と別個に制御される赤外線光を放射するために適合している可能性がある。照明ユニットは、ToF測定のため使用されるが、シーン内の1台以上の機器の制御のための別個の被変調信号の放射のため使用される可能性もある。光放射器は、例えば、赤外線放射器、すなわち、不可視光放射器である可能性がある。受信機106、例えば、ToF測定のため使用される受信機がさらに設けられ、例えば、受信機106は、物体112及び/又はシーン内の物体もしくは機器110から反射された光116を受ける能力がある。受信機106は、シーン内の能動機器110のいずれか又は1台ずつからの情報信号の受信のためさらに使用されることがあり、あるいは、別個の受信機120がその結果設けられる可能性がある。さらに、図1から3のいずれかを参照して一般的に前述されているように、放射器108からの光通信によって制御されるシャッターメガネのような1台の機器110がシーン内に位置している。
図6は、本発明の別の実施形態によるディスプレイシステム100を示す。ディスプレイシステムは、本発明の有利な適用の単なる一例である。ディスプレイシステムは、ディスプレイ画面104付きのテレビジョン又はパーソナルコンピュータのようなディスプレイ機器102、又は、例えば、自立型DVDプレーヤのような光ディスク再生機器、ホーム・シアター・システム、ゲーム機システム、又はカメラのための映像ディスプレイ機器を含む。詳しくは、これらのシステムのうちのいずれかは、3D画像の発生のため適する可能性がある。ディスプレイシステム100は、ToFカメラの機能を有することができる。照明ユニットは、シーンへの光放射114のためのものであり、ディスプレイ104の一部である光放射器108によって設けられる。光放射器108は、その結果、ディスプレイに一体化される。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。照明ユニットは、ToF測定のため使用されるが、シーン内の1台以上の機器110の制御のための別個の被変調信号の放射のため使用される可能性もある。光放射器108は、例えば、赤外線放射器、すなわち、不可視光放射器である可能性がある。受信機106、例えば、ToF測定のため使用される受信機がさらに設けられ、例えば、受信機106は、物体112及び/又はシーン内の物体もしくは機器110から反射された光116を受ける能力がある。受信機106は、ディスプレイ104に一体化して設けられることがある。
図4又は5又は6の実施形態では、さらなる受信機120がシーン内の能動機器110のうちのいずれか又は1台ずつからの情報信号の受信のため設けられることがある。受信機120は、何らかの適当なワイヤレス受信機、又は、例えば、光学、ポイント・ツー・ポイント赤外線、無線周波数ワイヤレス、超音波、もしくは、他の通信方法のための受信機の組み合わせでもよい。さらに、図1から3のいずれかを参照して一般的に前述されているように、放射器108からの光通信によって制御される1台の機器110が存在する。物体110は、双方向通信を行うために適切な信号を受信機120に送信する可能性がある放射器をさらに含む。
上記実施形態のうちのいずれかにおける受信機120又は106は、シーン内の機器と双方向に相互作用する可能性があるシステム及び方法を提供するために適合している可能性があり、上記機器は、人間のジェスチャー認識ベースの相互作用システムと組み合わせて用いられる。詳しくは、本実施形態は、距離検出測定ユニット(例えば、IR照明ユニットを備える)によって提供されたデータの信号処理の結果、シーン内部のユーザの追跡を可能にするシステムを備える。人間のジェスチャー認識は、上記信号処理の結果、いつでも認識され、決定された3D空間の動的なユーザジェスチャー又は静的なユーザ四肢位置を認識するためにモデル化されることがあるユーザスケルトン認識に基づく可能性がある。シーン内の機器は、ユーザにより操作された遠隔制御機器でもよく、送受信機及び情報フィードバック能力を有していることがある。情報フィードバック能力は、例えば、バイブレータユニット、スピーカー、光、ディスプレイなどを使ってユーザに提供されることがある。すなわち、フィードバックユニットは、何らかの人間の感覚応答に関係するフィードバックを提供することがあり、又は、機器がワイヤレス接続されているシステムの感知された特性、例えば、内蔵式慣性感知ユニットによって提供された加速度、速度及び相対位置データに関係することがある。この好ましい実施形態では、システムに提供されたハンドヘルド型機器データは、ユーザ又は機器を操作するために使用されたユーザの部分(例えば、特に、この部分が隠され、ジェスチャー認識システムによって追跡されないときに、手)の追跡を精緻化するのに役立てるために使用される。その上、機器を操作するユーザのジェスチャー及び位置によれば、距離検出測定量を収集し処理し、そして、照明ユニットを制御するシステムは、ユーザ関連フィードバックユニットのうちの少なくとも1台を作動させるように、上記照明ユニットを介して、ハンドヘルド型機器によって受信されることになるフィードバック制御情報を送信することがある。例えば、ユーザは、システムが待機していたジェスチャーが実行されるたびにハンドヘルド型機器による振動を体験することになり、又は、シーン内のある種のエリアから出るときのように、システムによって許可されていないアクションを実行した場合、音を体験することになる。双方向フィードバックは、特定の適用に関連付けられることがあり、文脈的に決定されることがある。
本発明の実施形態は、照明ユニットのためのToF測定システムで使用される特定の近赤外のような特定の電磁放射を利用する。照明ユニットは、ToF測定用の少なくとも1つと、異なる機器を扱うためにパラメトリックであるべき少なくとも別の1つとのような複数の特定の変調周波数を有している光を放射する。照明ユニットは、例えば、ToF照明システムの拡散光透過を行うことがある。放射器設計は、適当な方式でシーンを対象とするようにToF照明原理に準拠している。
本発明の何らかの実施形態における選択肢として、光を放射したディスプレイシステムに準拠した受信機を有しているシーン内の1つもしくはそれぞれの物体又は機器110は、少なくともこの放射器のID、又は、イベント、パラメータ、データ(測位)のような別の種類のフィードバックを配信するために何らかの種類の信号を提供する放射器をさらに備えることがある。このような通信は、適切な受信機がディスプレイ機器102で利用できる場合、必ずしも光信号である必要はなく、無線、音、又は、何らかの既知の適当な放射性ワイヤレス通信システムによって達成されることがあり得る。それ故、物体ID認識は、電磁放射受信を通じて行われる可能性がある。さらなる実施例として、識別モジュールは、ToF受信機106又は別の受信機を利用し、シーンの画像を発生させ、検査し、そして、物体又は機器110を識別するために、例えば、コンピュータビジョン物体認識方法によりこれらを処理するディスプレイシステム100に設けられる可能性がある。
本発明の実施形態は、拡散照明システム、例えば、相互作用のための多重変調されたToF照明システム及び方法を使用して、多重変調、IR放射光を利用し、このシステムは、少なくとも2個の被変調信号を組み込み、第1の被変調信号は、距離関連パラメータ、例えば、ToF原理から知られているような距離測定量に関連付けられ、少なくとも第2の信号は、干渉を回避するためにToF信号の変調周波数と異なる変調周波数をもつ別の信号を照明されたシーンに伝達することを目的とし、第2の信号は、シーン内の機器を駆動/制御することを目的とする。
本発明の実施形態は、シーンの中を通る機器移動を制御するために、例えば、ディスプレイ機器102内の測位モジュールを使用して、シーン内の移動体機器110のような物体を制御する方法を提供する。
本発明の実施形態は、カメラ機器に内蔵されている双方向相互作用のための多重変調されたToF照明方法及びシステムを含む。カメラ機器は、ディスプレイ機器102に内蔵されることがあり、又は、ディスプレイ自体もしくは信号処理手段を有している別の機器に接続されている別個の物でもよい。
その結果、本発明の実施形態では、TOF変調とシャッターメガネのためのシャッター変調のような物体もしくは機器110を制御する変調とを両方共に同時に使用することを可能にする単独の照明ユニットにおいてLEDのような単独の光の組を有している単独の照明ユニットの変調のための方法が提供される。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。典型的に、IR LEDは、照明ユニットで使用される。このようなLED光は、PMDのため使用され、このようにして、ToFシステムのため実施可能である。照明システムは、3Dテレビジョン・シャッター・メガネのような制御される機器が受信範囲に入ることを確実にする広い視野を有することがある。十分な電力が、例えば、LEDの組を使って照明ユニットに提供される場合、これは、TOF受信機でシーンから反射された十分な光を受けることを確実にする。
特有の実施例として、物体又は機器110は、動作が第2の被変調信号を伝達する情報によって制御される可能性がある少なくとも1台の能動電子、機械、水力、電気、電磁気、又は光学機器をさらに備えることがある。ToF照明ユニットからこの機器で受信された第2の信号は、復調されることがあり、機器の動作を作動又は修正するためにコマンドを駆動する。
本発明は、多くの分野における広い用途を可能にするものであり、前述のディスプレイシステムに限定されない。例えば、照明ユニット、光学センサ、信号発生器及び処理エンジンは、白熱灯のための従来型のプラグ式、ねじ込み式もしくは差し込み式ソケットのような標準ソケット、又は、ハロゲン灯もしくはLED屋内灯のため使用されるような2ピンソケットに嵌め込まれる可能性があるランプ(図7参照)のような照明設備に一体化されることがある。光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。このようなランプ200は、例えば、積分型Tofカメラを形成するために、図7aに概略的に示されるように、電力接続202、204と、データ信号接続206と、エレクトロニクス部品が関連付けられている積分型ToFセンサ210と、信号処理手段216とを含む可能性がある。ランプは、例えば、処理手段216内に、例えば、積分型Tofカメラを形成するために、信号及び/又は画像処理を実行するマイクロプロセッサ又はFPGAのような処理エンジンをメモリと共にさらに含むことがある。メモリは、例えば、処理エンジンでの実行のための1つ以上のプログラムを記憶する可能性があるRAMのような揮発性、及び/又は、不揮発性メモリでもよい。このような修正されたランプは、その結果、標準ソケットに嵌め込まれる可能性があり、電力は、ランプに設けられた電源から照明ユニット及びエレクトロニクス部品のため供給される可能性がある。ランプは、変調信号を用いて変調されたIR LED 208のようなIR照明機器などの不可視と、可視スペクトルに入るLEDのような照明機器との両方を含むことがある。変調のうちの1つは、例えば、積分型ToFカメラと共に用いられるToF信号を発生させることである可能性がある。このToF変調は、不可視、例えば、IR光源に適用される可能性がある。例えば、ランプ又は光源は、IR変調のための1台以上のLEDと、可視光放射のための1台以上のLEDとを収容していることがある。ToF変調信号は、IR変調のためのLEDに適用される可能性がある。場合によっては、シールド212がLED 208から受容器210への直接フィードバックを妨げるために設けられる可能性がある。ランプの照明端部は、ガラスのような透明カバー214で覆われ、密閉されることがある。ランプ200は、好ましくは、LEDベースのランプである。LEDは、室温に近い温度で動作し、それ故に、ランプ内の熱発生は、ランプに一体化されたセンサ及び電子部品に殆ど影響を与えない。LEDは、TOF照明のため必要とされる高周波数でも変調される可能性がある。
図7bは、ワイヤレス通信インターフェース218がワイヤレス接続206の代わりに設けられている図7aのランプへの修正を示す。ワイヤレスインターフェースは、近距離無線通信(Bluetooth(登録商標)、Wifi、LiFiなど)、又は、3GPP(登録商標)、GSM(登録商標)、UMTS、CDMAなどのプロトコルと共に動作するような長距離無線インターフェースのための何らかの適当なインターフェースである可能性がある。ワイヤレスインターフェ−ス218は、ネットワーク及び同じ種類の他のランプ機器との接続を可能にする。ランプは、アド・ホック・ネットワーク、もしくは、例えば、メッシュ、又は、他の種類のローカル・エリア・ネットワークを形成することがある。
場合によっては、光源は、フィードバック情報としてシーン内の機器によって発生させられることがある信号を受信し処理するため適合している手段を備えることがある。シーン内の機器は、IDのような少なくともフィードバック情報、又は、イベント、パラメータ、データ(測位、状態)を通知するような別の種類のフィードバックをシステム(又はユーザ)に配信するために何らかの種類のいくつかの信号を放射することがある。このような通信は、光、無線、音、振動などを使用するようなワイヤレス接続によって達成されることがあり得る。光源は、その場合、例えば、前述のようにワイヤレス信号のための一体化された受信機を含むことになるであろう。システムは、フィードバックを提供するために異なる通信手段を利用することがあり、例えば、TOF照明ユニットを駆動し、TOFカメラ情報を処理するシステム、及び/又は、シーン内のユーザへの何らかの手段によるフィードバックが存在する可能性がある。
このようなランプ又はランプ群は、機器を制御しているときに監視のため、及び、セキュリティ目的のため、ならびに、家庭内もしくはホームオートメーション目的のため使用される可能性がある。一体化されたToFカメラは、部屋のような空間内での人又は物体又はロボットの移動のような活動を検出するために使用されることがあるので、ランプは、前述のように一体化されたToFカメラを含む可能性があり、又は、動物、火災、浸水、煙などのような他の物体を検出するために使用される可能性がある。使用される光は、スペクトルの可視又は不可視領域に入ることがあり、例えば、センサシステムが効率的であり、人間の目に見えず、LEDのような適当な光源が利用できる範囲に入るように、好ましくは、赤外線ドメインに入ることがある。例えば、高周波数で変調された可視光は、光がオンであることが期待されるであろう場合、監視のため特に有利である
このような人又は物体の検出は、変調された第2の信号を放射するように修正されたランプを始動させる、例えば、室内の機器の制御のための情報信号を伝達する可能性がある。一例として、機器は、動作が第2の被変調信号を伝達する情報によって制御される可能性がある少なくとも1台の能動電子、機械、水圧、電気、電磁気、又は、光学機器をさらに備えることがある。ToF照明ユニットから機器で受信された第2の信号は、復調されることがあり、機器の動作を作動又は修正するためにコマンドを駆動する。このような機器は、コンピュータ、スプリンクラー、ヒーター、ファンのような機器のスイッチを入れるために、例えば、警報システムの扉もしくは窓の制御に用いられることがある。ランプは、照明用の標準としての電源を有しているので、ランプ・セキュリティ・システムは、余分なケーブルが取り付けられることを必要とすることがなく、セキュリティシステムの迅速かつ経済的な配備を可能にする。したがって、このシステムは、ホテル又は展示ホールのような建物内部のメディア又は政治的イベント時のような一時的なセキュリティ要件のため役立つ。
用途は、住宅内で電気機器を互いに一体化するホーム・オートメーション・システムで見出される可能性がある。これらの用途は、ビルディング・オートメーションを、ホーム・エンターテインメント・システムと、観葉植物及び庭の撒水と、ペットの餌やりと、(ディナーもしくはパーティのような)様々なイベントのための環境「シーン」の変更と、家庭用ロボットの使用とのような家庭内活動の制御と共に含む。ランプは、パーソナルコンピュータによる制御を可能にするために、コンピュータネットワークを通じて接続されることがあり、そして、インターネットからの遠隔アクセスを可能にすることがある。家庭環境と情報テクノロジー付きのランプの一体化を通じて、システム及び家電製品は、利便性、エネルギー効率、及び安全性の利点をもたらす統合された方式で通信する能力がある。
本発明は、ゲーム用の方法及びシステムに用途をさらに見出す。例えば、テレビジョンのようなディスプレイ機器は、ディスプレイ機器の画面に接続される、又は、内蔵されているコンピュータ化されたシステムが設けられる可能性があり、対話型ゲームの実行のためコンピュータ化されたシステムを動作させるためのソフトウェア・アプリケーションが設けられている。図1から6のいずれかを参照して記載されているように、ディスプレイ機器は、3D ToFベースのイメージングシステムを含む可能性がある。ディスプレイ機器は、シーン内の移動体機器と協働するために適合している可能性がある。機器は、対話型ゲームのプレーヤによって使用される可能性がある。代替的に、移動体機器は、IR送受信機ユニットを備えるテレビジョン遠隔のようなハードウェア遠隔制御システムでもよい。
ToFベースのイメージングシステム及び画面に接続されたコンピュータ化されたシステムは、ジェスチャー認識システムと、上記コンピュータ化されたシステム、例えば、認識されたジェスチャーに従って表示される内容を文脈的に駆動するゲームを動作させるアプリケーションとを備えることがある。ユーザは、ジェスチャーを実行することによりコンピュータ化されたシステムと相互作用することがある。ユーザは、このようにしてジェスチャー認識システムによって測位される可能性がある移動体機器を操作することがある。システムは、信号を移動体機器に送信することにより、そして、IR送受信機が適合している第2の変調の結果、ToFベースのイメージングシステムの照明システムを通じてユーザと相互作用することがある。
一例として、移動体機器は、第2の被変調信号を伝達する情報によって動作が制御される可能性がある少なくとも1台の能動電子、機械、水圧、電気、電磁気又は光学機器をさらに備えることがある。機器振動ユニット。ToF照明ユニットから受信された第2の信号は、復調されることがあり、ユーザが特定のジェスチャーを学習するためアプリケーションの文脈の中で正確なジェスチャーを実行するときに、例えば、1秒間に亘って振動を作動させるためにコマンドを駆動する。
本発明は、図面及び上記説明において、詳細に例示され、記載されているが、このような例示及び記載は、例示的又は代表的であり、限定的ではないと考えられるべきであり、本発明は、開示された実施形態に限定されない。開示された実施形態への他の変形は、図面、開示内容、及び特許請求の範囲の調査から、請求項に係る発明を実施する際に当業者によって理解され、達成される可能性がある。ある種の方策が相互に異なる従属請求項に列挙されているという単なる事実は、これらの方策の組合せが有利に利用される可能性がないということを示唆するものではない。請求項中の符号はどれでも範囲を限定するものとして解釈されるべきではない。
本発明は、以下について記載する。
第1項 機器と共に用いられるシステムであって、
ToF原理に関してシーンを照明する単独の照明ユニットと、
多重変調信号を発生させ、この変調信号を上記照明ユニットに供給し、TOF信号に対応している少なくとも1つの変調、及び、照明されたシーン内の第1の物体によって用いられ、又は、上記照明されたシーン内の上記第1の物体の動作を制御する少なくとも別の変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
を備えるシステム。
第2項 機器と共に用いられるシステムであって、
シーンを照明する単独の照明ユニットと共に用いられるセンサユニットを含み、ToF原理に基づいて上記センサユニットと上記シーン内の第1の物体との間の距離に関連する値を決定する手段を備えるToFセンサ配置構成と、
多重変調信号を発生させ、この信号を上記照明ユニットに供給し、上記照明されたシーン内の第2の物体によって用いられる、又は、上記照明されたシーン内の上記第2の物体の動作を制御する少なくとも1つの変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
を備えるシステム。
第3項 シーンを照明する単独の照明ユニットと共に用いられるセンサユニットを含み、上記ToF原理に基づいて上記センサユニットと上記シーン内の上記第1の物体又は第2の物体との間の距離に関連する値を決定する手段を備えるToFセンサ配置構成をさらに備える、第1項に記載のシステム。
第4項 上記照明ユニットと共に用いられ、上記第1又は上記第2の物体との双方向相互作用を提供する双方向相互作用システムをさらに備える、第2項又は第3項のいずれか1項に記載のシステム。
第5項 上記第1又は第2の物体から送信された情報信号を受信する受信機をさらに備える、第2項から第4項のいずれか1項に記載のシステム。
第6項 上記照明ユニットをさらに備えるディスプレイ画面に内蔵されているTOFカメラをさらに備える、第2項から第4項のいずれか1項に記載のシステム。
第7項 多重変調を提供する手段をさらに備える、第1項から第6項のいずれか1項に記載のシステム。
第8項 一方向相互作用のための手段と、システムプロセスを追跡し、コマンドが上記シーン内の追跡された物体に転送されるときを決定する手段とをさらに備える、第2項から第4項のいずれか1項に記載のシステム。
第9項 一方向相互作用のための手段と、システムプロセスを追跡し、コマンドが追跡された物体によって提供された情報に関して上記シーン内の上記追跡された物体に転送されるときを決定する手段とをさらに備える、第2項から第4項のいずれか1項に記載のシステム。
第10項 上記システムは光源である、第1項から第9項のいずれか1項に記載のシステム。
第11項 ToF原理に関してシーンを照明する単独の照明ユニットと、
多重変調信号を発生させ、この信号を上記照明ユニットに供給し、TOF信号に対応している少なくとも1つの変調、及び、照明されたシーン内の第1の物体によって用いられる、又は、上記照明されたシーン内の上記第1の物体を制御するもしくは動作させる少なくとも別の変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
を備える回路。
第12項 シーンを照明する単独の照明ユニットと共に用いられるセンサユニットを含み、ToF原理に基づいて上記センサユニットと上記シーン内の第1の物体との間の距離に関連する値を決定する手段を備えるToFセンサ配置構成と、
多重変調信号を発生させ、この信号を上記照明ユニットに供給し、上記照明されたシーン内の第2の物体によって用いられる、又は、上記照明されたシーン内の上記第2の物体の動作を制御するもしくは動作させる少なくとも1つの変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
を備える回路。
第13項 シーンを照明する単独の照明ユニットと共に用いられるセンサユニットを含み、上記ToF原理に基づいて上記センサユニットと上記シーン内の上記第1の物体又は第2の物体との間の距離に関連する値を決定する手段を備えるToFセンサ配置構成をさらに備える、第11項に記載の回路。
第14項 上記照明ユニットと共に用いられ、上記第1又は上記第2の物体との双方向相互作用を提供する双方向相互作用システムをさらに備える、第12項又は第13項のいずれか1項に記載の回路。
第15項 上記第1又は第2の物体から送信された情報信号を受信する受信機をさらに備える、第12項から第13項のいずれか1項に記載の回路。
第16項 上記照明ユニットをさらに備えるディスプレイ画面に内蔵されているTOFカメラをさらに備える、第11項から第14項のいずれか1項に記載の回路。
第17項 多重変調を提供する手段をさらに備える、第11項から第16項のいずれか1項に記載の回路。
第18項 一方向相互作用のための手段と、システムプロセスを追跡し、コマンドが上記シーン内の追跡された物体に転送されるときを決定する手段とをさらに備える、第12項から第14項のいずれか1項に記載の回路。
第19項 一方向相互作用のための手段と、システムプロセスを追跡し、コマンドが追跡された物体によって提供された情報に関して上記シーン内の上記追跡された物体に転送されるときを決定する手段とをさらに備える、第12項から第14項のいずれか1項に記載の回路。
第20項 機器と共に用いられる方法であって、
単独の照明ユニットを使用してToF原理に関してシーンを照明することと、
少なくとも1つの変調がTOF信号に対応して上記照明ユニットに供給され、少なくとも別の1つの変調が上記照明されたシーン内で第1の物体によって用いられる、又は、上記照明されたシーン内の第1の物体を制御するもしくは動作させる情報データを有している多重変調信号を発生させ、この信号を上記単独の照明ユニットに供給することと、
を備える方法。
第21項 機器と共に用いられる方法であって、
ToF原理に従ってセンサユニットを使用して、照明ユニットによって照明されたシーンから反射された光を感知することと、
上記ToF原理に基づいて上記照明ユニット又は上記センサユニットと上記シーン内の第1の物体との間の距離に関連する値を決定することと、
少なくとも1つの変調が上記照明されたシーン内で第2の物体によって用いられる、又は、上記シーン内の上記第2の物体の動作を制御するために設けられている多重変調信号を発生させ、この信号を上記照明ユニットに供給することと、
を備える方法。
第22項 上記ToF原理に従ってセンサユニットを用いてシーンを照明する照明ユニットによって発生させられたシーンから反射された光を感知することと、
上記ToF原理に基づいて上記照明ユニット又は上記センサユニットと上記シーン内の上記第1の物体又は第2の物体との間の距離に関連する値を決定することと、
をさらに備える、第20項に記載の方法。
第23項 上記第1又は上記第2の物体との双方向相互作用を提供することをさらに備える、第21項又は第22項のいずれか1項に記載の方法。
第24項 上記第1又は第2の物体から送信された情報信号を受信することをさらに備える、第21項から第23項のいずれか1項に記載の方法。
第25項 多重変調信号を上記照明ユニットに提供することをさらに備える、第20項から第24項のいずれか1項に記載の方法。
第26項 一方向相互作用を提供し、システムプロセスを追跡し、コマンドが上記シーン内の追跡された物体に転送されるときを決定する、第21項から第23項のいずれか1項に記載の方法。
第27項 一方向相互作用を提供し、システムプロセスを追跡し、コマンドが追跡された物体によって提供された情報に関して上記シーン内の上記追跡された物体に転送されるときを決定することをさらに備える、第21項から第23項のいずれか1項に記載の方法。
第28項 シーンを照明する照明ユニットと、
光源に一体化され、多重変調信号を発生させ、この多重変調信号を上記照明ユニットに供給し、TOF信号に対応する少なくとも1つの変調、及び、上記第1の変調と異なる少なくとも別の変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
を備える光源。
第29項 シーンを照明する照明ユニットと、
光源に一体化され、多重変調信号を発生させ、この多重変調信号を上記照明ユニットに供給し、TOF信号に対応する少なくとも1つの変調を有している上記多重変調信号を上記照明ユニットに提供するために適合している信号発生器と、
ワイヤレス通信プロトコルのために動作するワイヤレス信号を送信する送信機と、
を備える光源。
第30項 TOFカメラが光源に一体化されている、第28項又は第29項に記載の光源。

Claims (10)

  1. 多重変調信号を含む光によりシーン(55)を照明する単独の照明ユニット(8,49)と、
    前記多重変調信号を発生させ、前記多重変調信号を前記照明ユニットに提供するために適合している信号発生器(4,43)と、
    前記照明ユニットによって照射されたシーンからの反射光をToF原理に基づいて検出するToFセンサユニットと、
    前記ToFセンサユニットと、ToF原理に基づいて前記ToFセンサユニットと前記シーン内の第1の物体又は第2の物体との間の距離に関連する値を前記ToFセンサユニットにより検出された前記第1の物体又は前記第2の物体からの反射光に基づいて決定する手段と、を備えるToFセンサ配置構成と、
    を備え、
    前記多重変調信号は、シーン内の第1の物体と前記ToFセンサユニットとの間の距離に関連するパラメータをToF原理に基づいて測定するために適合しているToF信号として機能する一つの変調信号、及び、ToF信号として機能する前記変調信号の一つとは別の変調を有している、前記照明されたシーン内の第1の物体の動作を制御するために前記第1の物体に情報を提供するための少なくとも別の変調信号を含み、
    前記照明ユニットは、ToF信号として機能する前記変調信号の一つとは別の変調を有している、前記照明されたシーン内の少なくとも第2の物体の動作を制御するために前記第2の物体に情報を提供するための少なくとも一つの変調信号を照射することを特徴とする、
    回路。
  2. 前記照明ユニットと共に用いられ、前記第1又は前記第2の物体との双方向通信を提供する双方向通信システムをさらに備える、請求項1に記載の回路。
  3. 前記ToFセンサ配置構成は、前記照明ユニット(108)、及び前記照明ユニットによって照射されたシーンからの反射光を受信する前記ToFセンサユニットを含むToFカメラであり、前記ToFカメラはディスプレイ画面(104)と一体化されている、請求項1に記載の回路。
  4. 前記シーン内の前記第2の物体を追跡する手段と、前記シーン内の追跡された前記第2の物体と一方向通信を行うための手段と、前記シーン内の追跡された前記第2の物体にコマンドを転送するタイミングを決定する手段とをさらに備える、請求項1から3のいずれか一項に記載の回路。
  5. 単独の照明ユニット(8,49)を使用してシーン(55)を多重変調信号を含む光により照明することと、
    前記多重変調信号を発生させ、この信号を前記単独の照明ユニットに供給することと、
    ToF原理に従って前記照明ユニットによって照射されたシーンからの反射光をToFセンサユニットによって感知することと、
    前記ToF原理に基づいて前記ToFセンサユニットと前記シーン内の第1の物体又は第2の物体との間の距離に関連する値を前記ToFセンサユニットにより検出された前記第1の物体又は前記第2の物体からの反射光に基づいて決定することと、
    を備え、
    前記多重変調信号は、シーン内の物体と前記ToFセンサユニットとの間の距離に関連するパラメータをToF原理に基づいて測定するために適合しているToF信号として機能する少なくとも一つの変調信号と、ToF信号として機能する前記変調信号の一つとは別の変調を有している、前記照明されたシーン内の第1の物体の動作を制御するために前記第1の物体に情報を提供するよう適合している少なくとも別の変調信号とを含み、
    前記照明されたシーン内の少なくとも第2の物体の動作を制御するために前記第2の物体に情報を提供するための少なくとも一つの変調信号が照射される、
    ことを特徴とする、
    方法。
  6. 前記第1又は前記第2の物体との双方向通信を提供することをさらに備える、請求項5または請求項5に記載の方法。
  7. 前記シーン内の前記第2の物体を追跡し、前記シーン内の追跡された前記第2の物体と一方向通信を行い、前記シーン内の追跡された前記第2の物体にコマンドを転送するタイミングを決定することをさらに備える、請求項5または請求項6に記載の方法。
  8. 多重変調信号を含む光によりシーンを照明する照明ユニットと、
    前記多重変調信号を発生させ、前記多重変調信号を前記照明ユニットに提供するために適合している信号発生器(4)と、
    前記照明ユニットによって照射されたシーンからの反射光をToF原理に基づいて検出するToFセンサユニットと、
    前記ToFセンサユニットと、ToF原理に基づいて前記ToFセンサユニットと前記シーン内の第1の物体又は第2の物体との間の距離に関連する値を前記ToFセンサユニットにより検出された前記第1の物体又は前記第2の物体からの反射光に基づいて決定する手段と、を備えるToFセンサ配置構成と、
    を備え、
    前記多重変調信号は、シーン内の物体と前記ToFセンサユニットとの間の距離に関連するパラメータをToF原理に基づいて測定するために適合しているToF信号として機能する少なくとも一つの変調信号、及び、ToF信号として機能する前記変調信号の一つとは別の変調を有している少なくとも別の変調信号を含み、
    前記照明ユニットは、ToF信号として機能する前記変調信号の一つとは別の変調を有している、前記照明されたシーン内の少なくとも第2の物体の動作を制御するために前記第2の物体に情報を提供するための少なくとも一つの変調信号を照射することを特徴とする、
    光源。
  9. ワイヤレス通信プロトコルのために動作するワイヤレス信号をシーン内の物体に送信する送信機と、
    をさらに備える請求項8に記載の光源。
  10. 前記光源に一体化され、前記ToFセンサ配置構成を備えたToFカメラシステムをさらに備え、前記ToFカメラシステムは、距離測定を行うために、前記シーンを照明するよう前記照明ユニットを操作する、請求項8又は9に記載の光源。
JP2016154383A 2012-08-30 2016-08-05 シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源 Active JP6189504B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12182440.3 2012-08-30
EP12182440.3A EP2703836B1 (en) 2012-08-30 2012-08-30 TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014542901A Division JP6228547B2 (ja) 2012-08-30 2013-08-28 シーンに位置する電子機器を駆動する制御手段を有するtof照明システム及びtofカメラと動作方法

Publications (2)

Publication Number Publication Date
JP2017049234A true JP2017049234A (ja) 2017-03-09
JP6189504B2 JP6189504B2 (ja) 2017-08-30

Family

ID=46982426

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014542901A Active JP6228547B2 (ja) 2012-08-30 2013-08-28 シーンに位置する電子機器を駆動する制御手段を有するtof照明システム及びtofカメラと動作方法
JP2016154383A Active JP6189504B2 (ja) 2012-08-30 2016-08-05 シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014542901A Active JP6228547B2 (ja) 2012-08-30 2013-08-28 シーンに位置する電子機器を駆動する制御手段を有するtof照明システム及びtofカメラと動作方法

Country Status (6)

Country Link
US (1) US10027898B2 (ja)
EP (1) EP2703836B1 (ja)
JP (2) JP6228547B2 (ja)
KR (1) KR101620971B1 (ja)
CN (1) CN103959091B (ja)
WO (1) WO2014033157A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
WO2016059877A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 制御装置、制御方法および飛行体デバイス
US9674415B2 (en) * 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
CN106371101B (zh) * 2015-07-20 2019-08-16 北醒(北京)光子科技有限公司 一种智能测距及避障的装置
CN106501809A (zh) * 2015-09-06 2017-03-15 北醒(北京)光子科技有限公司 一种用于无人机、无人车和行走机器人等智能设备的红外测距及避障装置
JP6533450B2 (ja) * 2015-10-19 2019-06-19 医療法人社団皓有会 監視センサ装置
KR102496479B1 (ko) 2015-10-22 2023-02-06 삼성전자주식회사 3차원 카메라와 투과도 측정방법
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
EP3449470B1 (en) * 2016-04-27 2020-08-19 Sensormatic Electronics, LLC Method and apparatus for detecting floods and spills using li-fi
CN107852472B (zh) * 2016-06-15 2021-07-20 索尼公司 成像装置、成像方法和存储介质
KR102586792B1 (ko) * 2016-08-23 2023-10-12 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
JP2018059839A (ja) * 2016-10-06 2018-04-12 株式会社デンソー 距離測定装置
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
CN110326293A (zh) * 2017-03-22 2019-10-11 金泰克斯公司 并入图像传感器的显示组件
CN110412607B (zh) * 2018-04-28 2021-12-03 思特威(上海)电子科技股份有限公司 具有高动态范围的tof像素电路及测距系统
US10630384B2 (en) 2018-06-13 2020-04-21 Infineon Technologies Ag Dual-mode optical devices for time-of-flight sensing and information transfer, and apparatus, systems, and methods utilizing same
US10713487B2 (en) * 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
US20210341620A1 (en) * 2018-12-02 2021-11-04 Gentex Corporation SYSTEMS, DEVICES AND METHODS FOR MICRO-VIBRATION DATA EXTRACTION USING A TIME OF FLIGHT (ToF) IMAGING DEVICE
EP3958247B1 (en) * 2019-03-21 2023-12-13 BOE Technology Group Co., Ltd. Display apparatus, electronic device, and driving method of display apparatus
CN111965655A (zh) * 2019-05-02 2020-11-20 广州印芯半导体技术有限公司 应用飞时测距的多媒体系统及其操作方法
CN112153325A (zh) * 2019-06-28 2020-12-29 Oppo广东移动通信有限公司 门禁系统、移动终端、门禁组件、通信方法和存储介质
JP2021027525A (ja) * 2019-08-07 2021-02-22 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法
CN111413671B (zh) * 2020-04-28 2023-11-07 苏州碧林威智能科技有限公司 一种基于LiFi技术的多PD定位方法及系统
CN111413673B (zh) * 2020-04-28 2023-09-12 苏州碧林威智能科技有限公司 一种基于LiFi技术的多LED发射端定位方法及系统
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
US11789352B2 (en) * 2021-11-01 2023-10-17 GM Global Technology Operations LLC Camera system laminated into glass using microsensor and lens
CN113997868B (zh) * 2021-11-15 2023-07-04 武汉华星光电技术有限公司 车载显示装置
US20230412907A1 (en) * 2022-05-20 2023-12-21 Sony Interactive Entertainment Inc. Near infrared (nir) transparent organic light emitting diode (oled) display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041721A (ja) * 1999-07-30 2001-02-16 Asahi Optical Co Ltd 3次元画像検出装置
JP2003507780A (ja) * 1999-08-17 2003-02-25 イーデーエム・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング・インフラロート・センソーレン 距離計による制御情報のデータ伝送
WO2005026774A1 (de) * 2003-09-08 2005-03-24 Conti Temic Microelectronic Gmbh Umgebungsüberwachungssystem mit nachtsichteinheit und entfernungsmesseinheit
US20060023199A1 (en) * 2004-07-30 2006-02-02 Robert Bosch Gmbh Mobile measuring system, and an operating method for such a mobile measuring system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5534578A (en) 1978-09-02 1980-03-11 Nec Corp Coding communication system
JPH10213662A (ja) * 1997-01-31 1998-08-11 Mitsubishi Electric Corp 光学式車両感知装置
JP4428831B2 (ja) * 1999-07-30 2010-03-10 Hoya株式会社 3次元画像検出装置
US6961092B1 (en) 1999-07-30 2005-11-01 Pentax Corporation Three-dimensional image capturing device
US20010043266A1 (en) * 2000-02-02 2001-11-22 Kerry Robinson Method and apparatus for viewing stereoscopic three- dimensional images
ATE456158T1 (de) 2003-09-02 2010-02-15 Univ Bruxelles Ein durch einen strom aus majoritätsträgern unterstützter detektor für elektromagnetische strahlung
GB2415560A (en) 2004-06-25 2005-12-28 Instro Prec Ltd Vehicle safety system having a combined range finding means and a communication means
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7855376B2 (en) * 2005-12-19 2010-12-21 Institut National D'optique Lighting system and method for illuminating and detecting object
US8157381B2 (en) * 2005-12-21 2012-04-17 International Business Machines Corporation Method to synchronize stereographic hardware to sequential color rendering apparatus
WO2007072314A1 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. User interface with position awareness
US20120208639A1 (en) * 2006-07-14 2012-08-16 Ailive Inc. Remote control with motion sensitive devices
DE102007004349A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
CN102027388B (zh) * 2008-04-11 2013-08-28 瑞士联邦理工大学,洛桑(Epfl) 采用显示器作为照明源的基于飞行时间的成像系统
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US20110001808A1 (en) * 2009-06-01 2011-01-06 Bit Cauldron Corporation Method of Stereoscopic Synchronization of Active Shutter Glasses
WO2010144478A2 (en) * 2009-06-08 2010-12-16 Reald Inc. Shutter-glass eyewear control
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8803952B2 (en) * 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
JP5711962B2 (ja) 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
US9182491B2 (en) * 2011-05-06 2015-11-10 Waikatolink Limited Selective distance range imaging
WO2013001165A1 (en) * 2011-06-28 2013-01-03 Nokia Corporation A method, a system, a viewing device and a computer program for picture rendering
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041721A (ja) * 1999-07-30 2001-02-16 Asahi Optical Co Ltd 3次元画像検出装置
JP2003507780A (ja) * 1999-08-17 2003-02-25 イーデーエム・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング・インフラロート・センソーレン 距離計による制御情報のデータ伝送
WO2005026774A1 (de) * 2003-09-08 2005-03-24 Conti Temic Microelectronic Gmbh Umgebungsüberwachungssystem mit nachtsichteinheit und entfernungsmesseinheit
US20060023199A1 (en) * 2004-07-30 2006-02-02 Robert Bosch Gmbh Mobile measuring system, and an operating method for such a mobile measuring system

Also Published As

Publication number Publication date
CN103959091B (zh) 2016-06-15
JP2015507173A (ja) 2015-03-05
US20150181099A1 (en) 2015-06-25
WO2014033157A1 (en) 2014-03-06
KR101620971B1 (ko) 2016-05-13
KR20140094580A (ko) 2014-07-30
US10027898B2 (en) 2018-07-17
JP6189504B2 (ja) 2017-08-30
EP2703836A1 (en) 2014-03-05
JP6228547B2 (ja) 2017-11-08
CN103959091A (zh) 2014-07-30
EP2703836B1 (en) 2015-06-24

Similar Documents

Publication Publication Date Title
JP6189504B2 (ja) シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源
US9301372B2 (en) Light control method and lighting device using the same
US9628843B2 (en) Methods for controlling electronic devices using gestures
CN106104300B (zh) 深度感测设备中的定时脉冲
US10371504B2 (en) Light fixture commissioning using depth sensing device
WO2013175803A1 (ja) 情報通信方法
CN106465499B (zh) 定向照明系统和方法
CN108700645A (zh) 用于随智能设备利用雷达的系统、方法和设备
CN106464362A (zh) 基于光的通信(lcom)视觉热点
US20150373310A1 (en) Lighting Device
CN109107149A (zh) 经由控制台的环境光控制和校准
JP2010272521A (ja) 光源制御システム及びその制御方法
CN110325896A (zh) 用于呈现虚拟对象的便携式设备及其方法
US20180054876A1 (en) Out of plane sensor or emitter for commissioning lighting devices
CN109324693A (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
JP2010257742A (ja) 照明システム
JP2021152928A (ja) 端末装置、方法、およびプログラム
TWM394463U (en) Infrared positioning and detecting apparatus
US10039995B2 (en) Arrangement for providing visual effects and related method
JP2017530468A (ja) ポインティングデバイスに基づくユーザインタフェースシステム
US11804006B2 (en) Enhanced vision system and method
JP7071626B2 (ja) 受信装置、通信システム、受信方法、及び受信プログラム
Zhang Smart Environments with Wide-Area Sensors
KR20240028574A (ko) 전자 장치를 관리하는 로봇 및 그 제어 방법
JP2020528646A (ja) 光源を介してデバイスの存在を伝えるためのシステム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170802

R150 Certificate of patent or registration of utility model

Ref document number: 6189504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250