JP2015534316A - 光検出システム及び方法 - Google Patents

光検出システム及び方法 Download PDF

Info

Publication number
JP2015534316A
JP2015534316A JP2015529193A JP2015529193A JP2015534316A JP 2015534316 A JP2015534316 A JP 2015534316A JP 2015529193 A JP2015529193 A JP 2015529193A JP 2015529193 A JP2015529193 A JP 2015529193A JP 2015534316 A JP2015534316 A JP 2015534316A
Authority
JP
Japan
Prior art keywords
light source
frequency
image
light
modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015529193A
Other languages
English (en)
Other versions
JP5881201B2 (ja
Inventor
レムコ テオドルス ヨハンネス マイエス
レムコ テオドルス ヨハンネス マイエス
ブライエン フレデリク ヤン デ
ブライエン フレデリク ヤン デ
トマーソ グリッチ
トマーソ グリッチ
ステファヌス ヨゼフ ヨハンエス ネイセン
ステファヌス ヨゼフ ヨハンエス ネイセン
ロレンツォ フェリ
ロレンツォ フェリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015534316A publication Critical patent/JP2015534316A/ja
Application granted granted Critical
Publication of JP5881201B2 publication Critical patent/JP5881201B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H05B47/1965—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

変調光を検出するための方法であって、フレームレートfframe及びラインレートflineを含む画像取得設定を持つローリングシャッタカメラによって取得される画像のセットを受け取るステップと、前記画像の連続フレームにおいて、変調光源の変調周波数fcと前記ラインレートflineとの間の比によって決定されるパターン、及び前記変調周波数fcと前記フレームレートfframeとの間の比によって決定される、前記パターンの、連続フレームの間の空間シフトを識別するステップと、前記パターン、及び前記パターンの空間シフトに基づいて、前記光源からの変調光振幅の推定値を供給するステップとを有する方法が提供される。

Description

本発明は、広くは、照明、符号化光照明システムの分野に関し、より詳細には、このような照明システムの光出力における変調光を検出するためのシステム及び方法に関する。
符号化光（ＣＬ）は、付加的な情報が人間の視覚系によって知覚できないような形態で符号化されている埋め込み情報を搬送する可視光である。一般に、これは、符号化が、光強度の高周波変調の使用に基づいていることを意味する。符号化情報は、ランプ固有識別子からＨＤ−ＴＶ信号まで何でもよい。開示発明は、主に、様々な光源の識別、並びに照明シーンにおける、それらの別々の光の寄与又はフットプリントの識別及び定量化のためのＣＬの使用に焦点が当てられているが、これらに限定されない。ランプ固有識別子の検出は、大きな照明システムの試運転中の位置確認を容易にするだけでなく、検出されたランプの局所的光制御も可能にする。更に、ランプ固有識別子は、屋内ナビゲーションなどの位置に基づくサービス、又はメンテナンス情報の局所的送信のための基礎を形成し得る。
ＣＬ光は、高周波光変調を含むので、一般に、フォトダイオードを用いて検出される。しかしながら、これらは、複数の符号化光源の存在下では扱いにくいポイント測定値しか供給せず、空間フットプリント、即ち、シーンにおける個々の光源からの光の寄与の幾何学的な強度分布及び空間位置確認についての情報を供給しない。
符号化光は、１フレームごとに単一符号ビットを検出するのに十分に短い露光時間を用いることによって、従来のグローバルシャッタカメラを用いても、検出され得ることは、既に証明されている。その場合、フレームレート及び符号特性を正確に調整することによって、全符号が、複数のフレームにわたってシーケンシャルに読み取られる。しかしながら、この手法は、非常に遅い読み出し性能をもたらすと共に、低い光感度を欠点として持つ。
本発明の目的は、上述の問題を解決し、２次元シーンに存在している様々な光源によって送られる埋め込み情報（例えば、ユニークな識別子）の検出を可能にするようにして光源の光出力に埋め込まれているＣＬを検出することが可能な、改善された光検出システム及び方法を提供することである。
この目的は、添付の独立請求項１において規定されているようなローリングシャッタカメラによって取得される画像のセットに基づいて変調光を検出するための方法によって達成される。好ましい実施例は、従属請求項並びに以下の説明及び図面に記載されている。
従って、本発明の概念によれば、変調光を検出するための方法が提供される。前記方法は、フレームレートfframe及びラインレートflineを含む画像取得設定を持つローリングシャッタカメラによって取得される画像のセットを受け取るステップと、前記画像の連続フレームにおいて、変調光源の変調周波数fcと前記ラインレートflineとの間の比によって決定されるパターン、及び前記光変調周波数fcと前記フレームレートfframeとの間の比によって決定される、前記パターンの、連続フレームの間の空間シフトを識別するステップと、前記パターン、及び前記パターンの空間シフトに基づいて、前記光源からの変調光振幅の推定値を供給するステップとを有する。従って、ほとんどのスマートフォンに組み込まれているもののような、低コスト画像センサにおいて一般に用いられている技術であるローリングシャッタ画像取得が、符号化光を検出するために有利に用いられる。ローリングシャッタ取得が、符号化光の時間変調を、前記記録画像における垂直（空間）変調に変調するので、それは、前記ローリングシャッタ画像センサの連続ライン読み出しの間の相対的に短い時間間隔を用いる前記光の効率的なサンプリングを供給する。更に、高速且つ光効率の高い符号検出が、観察される前記パターンの垂直方向の特徴を分析することによって、実施可能である。
前記光源が、前記光にデータを埋め込む手段として様々な変調周波数の生成及び／又は変更を用いることは理解されるだろう。前記様々な変調周波数が周波数値の離散セットから選ばれる場合、このような変調方式は周波数分割多重（ＦＤＭ）の形態とみなされ得る。ほとんどの基本ケースにおいて、ＦＤＭ方式は、各照明器具に所定のセットからのユニークな周波数が割り当てられ、この場合には、データは、ランプ固有識別子として用いられ得る。別のケースにおいて、各照明器具は、その変調周波数を順次変更するものであって、変調周波数の異なる順序が異なるデータシンボルを符号化するものであり、これは、周波数変移符号化（ＦＳＫ）として知られている。ＦＤＭのもっとも一般的な使用においては、各照明器具が、同時に複数の周波数を用いて前記光を変調すると共に、一連のデータシンボルを符号化するよう１つ以上の周波数を順次変更するものである。
有利なことには、提案方法は、バックグラウンド構造の存在に対する検出のロバスト性の向上、小さい光源フットプリントの場合におけるデータ検出（例えば、ユニークな識別子の検出）の改善、及び前記光源それ自体の空間フットプリントの改善を提供する。各符号化光源からの光の時間的な光変調、及び時間的にシフトされるラインインスタンスの垂直空間分布は、その特定のパターンを特徴づける或る特徴を持つ、その光源の取得フットプリント画像における対応空間垂直パターンをもたらす。本発明によれば、これらの特徴が、光源の光変調パターンを、画像における、前記符号化光源に関連しないあらゆるものから分離するために、時空間分析において有利に利用され、更に、前記画像センサの視野内の複数の符号化光源によって光に埋め込まれたデータの容易な検出を可能にするために利用される。例えば、それは、各ランプによって送られるユニークな識別子を検出するために用いられ得る。
前記方法の実施例によれば、前記変調光源の前記変調周波数fc及び前記画像取得設定は、前記パターンの検出可能な空間シフトを供給するよう選択される。前記空間シフトは、時間的に離れた画像における見かけパターン運動として見られる。前記光源変調周波数と前記フレームレートとの間の関係が、前記見かけパターン運動の速度および方向を決定する。特定の画像取得設定の供給は、例えば、前記カメラの前記フレームレート及び／又は前記ラインレートの選択又は決定を含み得る。一般に、前記ラインレート及び前記フレームレートは、特定のカメラにおいて所与のものとして用いられ、前記光源の前記変調周波数は、最大限の検出可能性のために選択される。
工業用カメラにおいては、カメラの前記ラインレートは、調節されることができるが、ほとんどの他の実施態様においては、前記ラインレートは、固定されているしかしながら、前記ラインレートは、それでも、異なるビデオフォーマット、例えば、異なるフレームサイズに対しては、及びセンサピクセルクラスタ化（所謂ピクセルビニング）が異なる場合は、異なる値をとる。更に、市販のカメラにおける前記フレームレートは、一定であるよう設定されているが、非常に多くの場合、変更する（例えば、低照度時には、より長い露光時間を可能にするよう下げる）ことができる、所定の検出可能な空間シフトを供給する概念は、一定のフレームレートのもとで、最も容易に理解されるが、実施には、フレーム間隔は、前記時空間分析において用いられる検出アルゴリズムにとって既知である限り任意に選択され得る。
所与のフレームレートfframeに対して、前記光源変調周波数の選択は、好ましくは、見かけ空間及び時間周波数の領域における特定のゾーンに限定され、これは、本願明細書ではfc<200Hzであるよう選ばれている、人間が知覚可能な周波数の低周波ゾーンを回避し、パターンの運動がない又はほとんどないfframeの倍数の近くのゾーンを回避し、且つパターンの運動がなく、180°位相変化各交互フレームしかない、fframeでのサンプリングに起因するナイキスト周波数の繰り返しの近くのゾーンを回避し、選択される。前記回避ゾーンは、図１２に図示されている。前記ローリングシャッタカメラの露光時間に起因する減衰を考慮に入れない場合、前記回避ゾーン内にないあらゆる変調周波数が、検出可能であるとみなされ得る。光源変調周波数を、それらの見かけ空間及び時間周波数がこれらの検出可能なゾーンに入るように割り当てることにより、光源信号の、それらのバックグラウンドからの分離が可能となる。複数の光源が検出されるべきである場合、異なる光源変調周波数の各々は、好ましくは、前記検出可能なゾーン内に、互いから十分に離されて配設される。
本発明の実施例によれば、前記画像取得設定及び変調周波数の選択は、変調周波数の、前記変調周波数が関連見かけ空間及び時間周波数の各々を中心とするような選択のための見かけ空間及び時間周波数の領域における時空間周波数チャネルの規定により、実施される。実際には、チャネルの周波数境界は、例えば、通過帯域伝送の-3dBという値までの、信号減衰の所望のレベルと関連する。周波数チャネルのあり得るトポロジが図１４に図示されている。
前記方法の実施例によれば、前記識別するステップは、更に、各々が各々の変調光源に対応する複数の前記パターンを識別するステップと、別々の変調光源に対応するパターンを区別するために、識別したパターン及び／又は識別したパターンのシフトを比較するステップとを有し、これは、有利である。
前記方法の実施例によれば、各々の光源の前記変調周波数fcは、一定のユニークな周波数である、又は候補周波数のセットから選択される、又は同時に使用される候補周波数のセット有する、又は所与のシーケンスに従って候補周波数のセットから選択される。一定のユニークな変調周波数を選択することは、光源と他の光源を区別する単純な方法を提供する。前記選択は、市販のローリングシャッタカメラの一般的な画像取得設定に合うよう、又は順次選択されるよう適応される候補のセットの中からなされ得る。単一の周波数を送信する代わりに、複数の周波数を同時送信することは、例えば、周波数割り当てのあり得る第３ステージが露光時間Texpの瞬間値に関連するので、有利である。幾つかの実施態様においては、前記ローリングシャッタカメラの前記露光時間は選択されることができない。しかしながら、その値は既知である。前記露光時間と関連する周波数特性における零に起因する信号キャンセルを回避するため、光源の前記変調周波数は、割り当てられる周波数の全セットから光源変調周波数のより小さなサブセットをシステマティックに選ぶことができる。例えば、合計２４個の周波数から１８個の「最良の」周波数が選ばれ得る。前記露光時間の値が異なる場合は、１８個の周波数のこのサブセットも、異なる傾向がある。
本発明の実施例によれば、周波数の一定のセットが、全ての光源に対して用いられ、それ故、全ての取得空間パターンにおいて用いられ、各空間パターンのユニークな特徴は、前記周波数が繰り返されるユニークな順序である。この変調方法は、周波数変移符号化（ＦＳＫ）の形態である。
前記方法の実施例によれば、前記変調周波数fcは、静的なバックグラウンドからの記録画像ピクセル強度の最適な時空間分離を供給するよう、及び／又は複数の光源のための互いに対する前記記録画像ピクセル強度又はその画像処理導関数の最適な時空間分離を供給するよう、選択される。
前記方法の実施例によれば、前記変調光の推定値を供給するステップは、更に、少なくとも２つの連続フレームに対して、各画像を、予め決定されたようにして１つ以上の空間領域に再分割するステップと、前記空間領域の各々に対して、領域固有の且つフレーム固有の値の配列を作成するために、水平方向において前記空間領域内の所定のピクセルの強度値を積分するステップと、領域固有の値の配列のスタックが、前記領域内で撮像される光源からの前記変調光の真の時間変調の時空間表現を供給するように、前記空間領域のフレーム固有の且つ領域固有の値の配列をスタックすることにより、前記領域固有の値の配列のスタックを作成するステップとを有する。前記時空間分析は、１つ又は複数の前記領域における強度パターンの空間的特徴及び時間的特徴に基づいている。
前記水平方向におけるピクセル値を積分は、前記水平方向において低下した空間分解能を供給し、これは、有利である。各取得画像は、空間的に垂直に分散される時間的にシフトされるラインインスタンスによって構成されるため、取得画像において同じラインに沿った全てのピクセルは、同じ瞬間に属する。複数の隣接するピクセルにわたる積分は、有利には、値の配列（平均ピクセル値を表す１次元信号）の信号対雑音比を改善するために用いられることができる。第２の利点は、領域固有の値の配列のスタックのより小さなセットを処理することは、全画像の各列を別々に処理することと比べて、より計算効率が良いことである。
前記方法の実施例によれば、前記画像取得装置の現在の露光時間Texpが既知である場合、前記変調光の推定値を供給するステップは、更に、前記取得画像における露光中の時間積分に起因する周波数依存減衰の補正を実施するステップを有し、これは、有利である。
前記方法の実施例によれば、少なくとも１つの変調光源の前記画像を取得するためのローリングシャッタカメラを有する光検出システムにおいて用いられる場合、前記画像取得設定は、前記ローリングシャッタカメラのキャリブレーションを実施することによって供給される、又は前記ローリングシャッタカメラの内部若しくは外部データベースから取り出される。
前記方法の実施例によれば、前記変調周波数及び画像取得設定を選択するステップは、更に、少なくとも１つの現在の画像取得設定及び／又は少なくとも１つの現在の変調周波数に関する情報を、前記ローリングシャッタカメラ及び前記少なくとも１つの光源又は前記光源の制御システムの間で交換するステップを有する。前記選択は、少なくとも１つの現在の画像取得設定又は現在の変調周波数に基づいて実施される。
本発明の或る態様によれば、少なくとも第１変調光源を有する照明システムによって照明されているシーンの画像のセットを取得するよう構成されているローリングシャッタカメラと、請求項１乃至１１のいずれか一項に記載の方法を実施するよう構成される処理手段とを有する光検出装置が提供される。
本願明細書で用いられている「ピクセル」という用語は、シーン内の特定のポイントに対応する画像データの単位を指す。画像データは、前記シーン内の様々なポイントにおける、複数の光源を含み得る照明システムの全光出力の強度（又はその導関数）を有する。ピクセルの行及び列に画像データを配設することは、２次元画像において３次元（３Ｄ）シーンを表す１つの方法である。本願明細書で用いられている「ローリングシャッタカメラ」という用語は、ローリングシャッタ画像取得を利用するあらゆる撮像装置又はセンサを指す。
下記の実施例を参照して、本発明のこれら及び他の態様、特徴及び利点を説明し、明らかにする。本発明は、請求項において列挙されている特徴の全てのあり得る組み合わせに関することに注意されたい。
ここで、本発明の実施例を示す添付の図面を参照して、本発明のこの及び他の態様についてより詳細に記載する。
１つの符号化光源の、ローリングシャッタカメラで取得される画像の連続フレームを示す概略図である。 １つの符号化光源の、ローリングシャッタカメラで取得される画像の連続フレームを示す概略図である。 ２つの符号化光源の、ローリングシャッタカメラで取得される画像の連続フレームを示す概略図である。 ２つの符号化光源の、ローリングシャッタカメラで取得される画像の連続フレームを示す概略図である。 一般的なローリングシャッタカメラの、ビデオストリーミングモードの間の概略的な時図表である。 本発明の概念の方法の実施例を図示するための例示信号を示す。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の方法の実施例を図示するブロック図である。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念の方法の実施例による信号処理ステップを概略的に図示する。 本発明の概念による光検出システムの実施例の概略図である。 本発明の概念による光検出システムの実施例を図示する概略的なブロック図である。 見かけ空間及び時間周波数の領域、物理的変調周波数及び回避周波数ゾーンの軌跡を図示する。 ３次元における見かけ空間及び時間周波数の領域、物理的変調周波数及びカメラセンサ露光中の時間光積分と関連する周波数応答の軌跡を図示する。 見かけ時空間周波数の領域における周波数チャネルの規定を概略的に図示する。 見かけ空間及び時間周波数の領域におけるインデックス番号を備える周波数チャネルを概略的に図示する。
ここで、添付の図面を参照して、以下に、本発明をより詳細に説明する。以下の実施例は、この開示が、完全且つ完璧となり、本発明の範囲を当業者に十分に伝えるように、一例として示されている。同様の参照符号は、全体を通して、同様の要素を指す。
以下においては、符号化光が、各光源を、候補周波数の所定のセットから選択される特有の周波数で変調することによって光源識別子を送信するために用いられるシナリオを考慮する。しかしながら、本発明の範囲は、決して、このシナリオに限定されない。ランプごとの異なる変調周波数のシーケンスの検出だけでなく、ランプごとの複数の変調周波数の同時検出も、単一周波数変調に起因する検出の線形な組み合わせ又は時間的に分離された組み合わせとして考えられ得ることは理解されるだろう。それ故、上記のランプごとに複数の周波数のシナリオに広く適用できることを全く損なわずに、検出の詳細の記載を、ランプごとに単一の周波数のシナリオに限定する。それ故、便宜上、特定の変調周波数fc及び関連周波数チャネル、並びにこの変調周波数を搬送する関連ランプを両方とも示すために同じインデックスcを用いることを選択する。
更に、取得画像シーケンスは、線形光領域に変換されていると仮定する、即ち、カメラの非線形強度応答（ガンマ変換）は修正されていると仮定される。最後に、変調振幅が、光強度の時間的平均に線形に比例するように、全ての符号化光源に対して変調インデックスは同じであると仮定する。
図１ａ）及び１ｂ）は、構造物１００のローリングシャッタカメラによって取得される画像のセットの２つの連続フレームを図示している。ここでは部屋である構造物１００は、変調周波数fcで変調される光源１１０によって照明される。ここでは、光源１１０から壁１０１上への照明が、フットプリント１１１として示されている。符号化光源の画像取得時、ラインレートfline及びフレームレートfframeのようなカメラパラメータ又は画像取得設定が、物理的変調周波数、ここでは、変調周波数fcの、下で説明する見かけ空間及び時間周波数への変換で重要な役割を果たす。ラインレートfline及びフレームレートfframeの値は、ほとんどの画像センサで一般に調節されることできるが、画像センサが、ウェブカメラ又はスマートフォン内のローリングシャッタカメラなどの製品に組み込まれる場合、多くの場合、固定される。ローリングシャッタ取得は、符号化光の時間変調を、取得画像における垂直軸に沿った空間強度変調に変換し、これは、画像の、符号化光が存在するエリアにおけるストライプ強度パターンとして現れる。図１ａ）及び１ｂ）においては、これらのストライプエリアがフットプリント１１１内に図示されている。各フレームにおいて垂直に分布している空間強度変調は、強度パターンにおける見かけ空間周波数fc (y)に対応するパターンピッチP[pixels]を持ち、これは、ローリングシャッタカメラ／センサの変調周波数fcとラインレートflineとの間の比によって決定される。所与のラインレート及びフレームレートは、特定の光源の変調周波数fcと見かけ空間周波数との間の関係、即ち、
Figure 2015534316
 を決定し、特定の光源の変調周波数fcと見かけ時間周波数との間の関係、即ち、
Figure 2015534316
 を決定し、ここで、mod演算子は、モジュロ演算子である。モジュロ演算子x mod yは、除算x/yの剰余である。それは、
Figure 2015534316
 という式を用いる「フロア」演算子を用いて計算されることができる。
従って、ローリングシャッタカメラのフレームレートfframeは、光源１１０の図１ｂ）における連続フレームにおける記録フィーチャにおいて、 t=t1においてキャプチャされたものと同じ強度パターンのフットプリント１１１が、第２時間例t=t2において垂直軸に沿って距離Δyシフトされるように、フットプリント１１１の空間強度パターンの位相に影響を及ぼす。図１ｂ）参照。連続取得画像において垂直空間パターンはシフトするが、フットプリントそれ自体は、同じ空間位置にとどまることに注意されたい。
図２ａ）及び２ｂ）においては、２つの符号化光源１１０及び１２０を有する照明システムによって照明される壁１０１の２つの時間例t=t1及びt=t2において撮影される画像のセットの２つの連続フレームが示されている。画像は、既知のフレームレートfframe及び既知のラインレートflineを備えるローリングシャッタカメラによって取得された。壁１０１上のフットプリント１１１、２１１は、各々の光源１１０、１２０による壁１０１の全照明に対する各々の寄与の空間分布を示している。一般に、全照明は、更に、周囲照明、即ち、バックグラウンド照明を含む。各光源１１０、１２０は、その光出力が、個々の識別子符号ID#1及びID#2を有するように符号化される。個々の識別子符号ID#1及びID#2は、一般に、各々の変調周波数fcを持つ個々の光源から発される光の特性の変調の時系列として発される埋め込み符号である。ここでは、各々の光源１１０、１２０の変調周波数f１、f2は、各フットプリント１１１、２１１の強度パターンの見かけ運動が、連続フレームにおいて反対方向に動くように選択される。強度パターン、及び連続フレーム間のそれらの各々の位相シフト、即ち、それらの強度パターンの見かけ運動は、個々の光源に特有のものであり、従って、画像において、個々の光源は、区別可能であり、且つ検出可能である。なぜなら、フレームレート、符号化光変調周波数及び位相シフトの間の関係は既知であるからでる。
方法の実施例によれば、画像のシーケンスは、不規則な時間間隔で取得される。前のフレームに対する時間差が既知である場合には、見かけ時間的位相差は、再帰的位相補正方法のいずれかが、周波数固有時間的位相補正の適切な計算を供給し続けるように、計算される。
シーンの取得画像は、ローリングシャッタキャプチャが垂直方向に走るにつれて、キャプチャされる。それ故、光変調も、ビデオフレームの垂直方向に分布している。結果として、ビデオフレームにおける光現象の垂直寸法が、変調が観察され得る時間ウィンドウを制限する。符号化光がシーンを照明しているので、光源それ自体の画像及び照明されるシーンの画像の両方において、キャプチャされる光のフットプリントにおいて、光変調が現れる。
センサのローリングシャッタキャプチャは、カメラのフレームレートをはるかに超えて時間的な光の変化を識別するメカニズムを供給する。ビデオフレームレートが、一般に、25乃至60Hzの範囲内である場合に、ライン読み出し周波数flineは、一般に、約10,000Hzより高い。ローリングシャッタ取得は、時間寸法が（少なくとも部分的に）垂直寸法に沿ってサンプリングされる時空間サンプリングの形態である。時間tと垂直（ライン）位置yとの間には、
Figure 2015534316
 という関係が存在し、ここで、fframeは、フレームレートを示し、y=0、1、2、…は、 ラインインデックスであり、k=0、1、2、…は、 フレームインデックスである。
図３は、この時空間サンプリングプロシージャのグラフ図を示している。一般的なグローバルシャッタシステムの、ビデオストリーミングモードの間の時図表が示されている。ローリングシャッタシステムにおいては、フレームの間に、ピクセルの各行が、まず、リセットされ(s1)、続いて、露光時間Texpの間、露光され(s2)、（行がセンサの暗いエリアへ動かされる）電荷移動が続き（s3）、最後に、読み出し時間Treadの間、読み出される(s4)。行は、次々に、リセットされ、露光され、読み出される。ローリングシャッタセンサは、グローバルシャッタＣＭＯＳセンサと比べてより高いピクセル密度を供給する。後続のラインのシーケンシャル露光は、隣接する行の露光の間に時間遅延をもたらす。これは、動く物体のキャプチャ画像を歪ませる。
続いて、ここで、インデックス番号cを持つ光源からの、振幅IDC,ｃのＤＣ成分と、既知の周波数の所定のセットから選択される変調周波数fcで変調される振幅IAC,ｃのＡＣ成分とから成り、複素表記においては、
Figure 2015534316
 である、単一の時間的に符号化される光の強度信号 Ic(t) [W/sr]を考える。
この光源は、カメラでキャプチャされると、時空間信号s(x,y,k)によって表され得る画像シーケンスをもたらす物体の照明をもたらす。ローリングシャッタカメラでキャプチャされる場合には、各々が単一のユニークな周波数で変調されるNc個の符号化光源によって照明される静的なシーンは、
Figure 2015534316
 と記載され得る。
上記において、 bamb(x,y)及びn(x,y,k)は、各々、シーンの（符号化されていない）静的な周囲照明の反射により生成される信号及びノイズを表している。符号化光源固有ＤＣの寄与bc(x,y)、基本的に、画像平面における各光フットプリントの投射は、開示される検出アルゴリズムに関係ない。（光フットプリントの形状及び強度、並びに全体的な周囲光分布は、選択されるセンサのダイナミックレンジ及び露光設定に依存して、或る画像領域のクリッピングに影響を及ぼし得る。） それ故、新しく導入される複合バックグラウンド信号b(x,y)は、全ての光源固有の、「独立」ＤＣ成分の合計を保持し、
Figure 2015534316
 である。
光源の変調振幅ac(x,y)及び複合バックグラウンド成分b(x,y)は、一般に、シーンの形状及び反射特性に依存するので、空間にわたって変化することに注意されたい。
式（５）は、ローリングシャッタ取得が、物理的変調周波数fc[Hz]を、上で式（１）において記載したように、ライン周波数flineによる除算を通して、見かけ空間周波数fc (y)[cycl/line]にマップすることを示している。同様に、フレームが一定間隔でキャプチャされる場合、同じ物理的周波数fcが、見かけ時間周波数fc (t)[cycl/frame]にマップする（式（２）参照）。実際には、フレームレートfframeは、光を変調する周波数fcよりずっと低い。結果として、見かけ時間周波数fc (t)は、常に、フレームレートの半分より低い。従って、見かけ時間周波数は、物理的変調周波数fcの増加に対して、
Figure 2015534316
 という限度間で「折り返す」。見かけ時空間周波数と物理的変調周波数との間の関係が、図１２において傾斜実線によってい示されており、これは、見かけ空間及び時間周波数の領域の一部（正の見かけ空間周波数f(y)>0の領域だけ）を示している。
図４は、整数インデックスcを持つ或る単一の符号化光源の寄与を含む取得画像の或る単一の列における強度信号sを表す概略的な例を図示している（中央）。変調振幅ac(x,y)の空間的変化は、故意に、バックグラウンド信号 b(x,y)と著しく異なるよう選ばれている。従って、図４は、例えば画像が取得される部屋における何らかの周囲照明である仮定されたバックグラウンド信号b(y)、及び変調振幅ac(y)の空間プロファイル（下部）での、列信号s(y)の例を示している。図４においては、列信号にノイズは付加されていない。図５ａ）は、図４と同じ信号である信号s(y)を示している。図５ｂ）においては、信号s(y)は、付加的なホワイトガウスノイズを備える図５ａ）と同じ信号であり、従って、これは、現実の記録信号をよりよく表す。図５ｃ）は、５００フレームの間の図５ｂ）と同じ列から成る時間的なタイムスタックs(y,k)を示している。図において、フレーム番号kは、水平軸に配設され、行番号yは、垂直軸に配設される。この例において、見かけ時間周波数は、fc (t)=0.2[cycl/frame]である。 見かけ空間及び時間周波数の組み合わせは、この例においては時間とともに上方に動いているように見えるクローリング運動パターンをもたらす。
図６ａ）は、上で図２ａ）を参照して説明したものと同じ照明システムを図示している。ここでは、光源１１０及び１２０は、各々が背景壁１０１を異なる色で照明し、各々が異なる特有の時間周波数で変調されている、２つの、フィリップス社のLivingColors光源である。光源からの変調光の推定を供給する分析のための入力は、ここでは、シーン、部屋１００の５００フレームビデオシーケンスである更に、図６ａ）及び６ｂ）における各々の関心領域（ROI）、ROI1及びROI2は、各々、画像のセットにおいて選択される。図６ｃ）は、左側光源１１１のフットプリント１１１が優位を占めているROI1で得られる、下で説明するような時間的なタイムスタックの結果を示しているのに対して、図６ｄ）は、右側光源１２０のフットプリント２１１が優位を占めているROI2で得られる、対応する時間的なタイムスタックの結果を示している。
各ビデオフレーム内で、指定ROI内の信号は、分離され、水平方向に沿って統合される。ローリングシャッタ取得は、時間変調を垂直空間パターンに変換することから、水平空間寸法は、ほとんど情報を保持せず、単に、信号強度を改善するために用いられる。図６ｃ）及び図６ｄ）は、シーケンスの全５００フレームに適用されるこのプロシージャの結果を示している。これらの図において、各行は、単一のフレームのROIの水平統合の結果を示しており、図６ｃ）及び図６ｄ）の下部フレームにおいて白色矢印によって注釈がつけられている見かけ運動パターンを一緒に形成する見かけ空間及び時間変化を明らかにしている。このシーンにおける異なる光源は、ユニークな時間周波数fcで変調されることから、それらは、記録パターンの空間及び運動特性において差を示す。光源間の物理的変調周波数における差は、前記方法による光源識別及びフットプリント推定アルゴリズムの基礎を形成する特有の時空間パターンをもたらす。これらの差は、運動の速度だけでなく、その方向においても観察され得ることに注意されたい。この例においては、左側光源のパターンは、上部から下部へ伝わるのに対して、右側光源によって生成されるパターンは、下部から上部へ動く。
本願明細書の実施例において「画像」又は「画像シーケンス」と呼ばれるいずれの場合も、入力は、全画像フレームの代わりに、空間的な関心領域（ROI）に限定されてもよいことに注意されたい。
本発明は、（式（６）の指数項の両方の係数を用いる）信号sの複合時空間分析は、単純な時間平均化と比べて、より正確かつロバストな符号検出をもたらすという洞察に基づいている。シーンバックグラウンド及び符号化光信号は、運動特性に基づいて容易に区別され得る。なぜなら、バックグラウンドは、（静止カメラ位置に対して）静的であると仮定され得るのに対して、符号化光ターゲットは、式（６）、図５及び図６によって示されているように、所定の既知の速度でシーンにわたって動くことが既知であるからである。
個々の符号化光源を識別する挑戦は、事実上、画像シーケンスs(x,y,k)においてどの周波数fcが見つけられ得るか識別することに帰着する。シーン設定及び雰囲気作成などの幾つかのアプリケーションの場合は、あらゆる光源cの空間フットプリントを個々に推定することは、有利であり得る。
変調周波数は、好ましくは、以下の様々な基準に従って選択される。
− 静的パターンをもたらすフレームレートの倍数である周波数を避ける。
− π（即ち、180°）各交互フレームだけ位相を交互にする振動パターンとして現れるフレームレートの倍数及び半分である周波数を避ける。
− （下で説明するようなカメラの露光時間の作用を考慮しない）上の2つの例以外の光源周波数は、パターンを一定の見かけ速度で上方又は下方へクロールさせる。これは、バックグラウンドとの分離を可能にするので、望ましい。
− 時空間周波数チャネルサブバンドは、時空間周波数領域内の特定の部分に選択的である。両方のパラメータが調整されることができる。チャネルは、最適な選択性のために最小限の重複しか持つべきではない。このようなチャネルトポロジの例は、図１４に図示されている。図１４は、（青色の円によって示されている）中心が、常に、ランプの物理的変調周波数の関数として、各々、見かけ空間及び見かけ時間周波数f(y)及びf(t)を追跡して配置される２４個の時空間周波数のあり得る割り当てを示している見かけ空間及び時間周波数の領域を図示している。各チャネルの見かけ空間及び時間帯域幅は、各々、垂直及び水平両矢印によって示されているように、各々、Δfc (y)及びΔfc (t)によって規定される。
更に、実際には、カメラ露光時間が考慮される必要がある。ここまでは、正弦波光変調に分析の基礎をおいている。一般に、前記分析は、全ての変調波形について当てはまる。これは、単一のランプ信号の高調波成分も、列にわたる光源固有光分布のリカバリに組み込まれ得ることを意味する。
実際的な理由のため、光源は、デューティサイクルの変更が、一定の変調振幅を維持しながら、平均光強度の容易な制御を可能にするように、矩形波によって変調され得る。この、所謂パルス幅変調光の振幅は、ランプが、各周期の或る割合の間、瞬間的にオフであるように、フルダイナミックレンジを拡張することができる。
残念なことに、多くの場合に、変調の初期振幅は、画像キャプチャ中には維持されない。実際には、露光時間は、ノイズの取得を避けるのに十分に長い必要がある。このような長い露光時間は、元の変調振幅の抑制をもたらし、キャプチャ画像シーケンスにおける変調のキャンセルすらもたらす帯域制限作用をもたらす。
露光時間の作用は、変調を、周波数の関数として「シンク」関数によって抑制させるブロックカーネルでの畳み込みであり、これは、時空間周波数領域にブラインドスポットを作成する。（シンク関数は様々な定義を持つが、ここでは、sinc(x)＝sin(x)/xを用いる。） これらのブラインドスポットは、幾つかの方法で、例えば、検出可能な値による光源周波数の更新により、又は各光源当たり複数の周波数の使用により、対処され得る。
図１２は、各々、見かけ空間及び見かけ時間周波数f(y)及びf(t)の領域を図示している。物理的ランプ変調周波数の軌跡が、（fframe=29.97[Hz]及びfline=14386" [Hz]に基づいて）傾斜ワーピング線としてプロットされている。図１２において、上部の最終ストライプエリアは、人間が知覚可能な周波数の回避低周波ゾーンを表しており、ここでは、fc<200Hzであるよう選ばれている。中央ダイヤ柄エリアは、パターンの運動がない又はほとんどないfframeの倍数の近くの回避ゾーンを表している。最後に、±0.5に近い時間周波数におけるストライプエリアは、パターンの運動がなく、180°位相変化各交互フレームしかない、fframeでのサンプリングに起因するナイキスト周波数の繰り返しの近くの回避ゾーンを表している。回避エリア内にないあらゆる変調周波数が、検出可能であるとみなされる。
図１３は、各々、見かけ空間及び見かけ時間周波数f(y)及び f(t)の関数として露光関連シンク状周波数応答関数の大きさを図示している。シンク応答は、位置が露光時間の関数として変化するピーク（即ち、極大値）及び谷（即ち、零）の半透明「ランドスケープ」として図示されている異なる湾曲面を形成する。分かりやすくするため、f(t)における中央曲線は、シンク応答の形状を示している。見かけ周波数の軌跡は、f(t)=-0.5とf(t)=0.5と間で、シンクランドスケープにわたって曲がり経路をたどるように曲がる曲線としてオーバーレイされている。シンク関数の零及び極大値は、f(y)=0の軸に平行な等距離線を占める。シンク関数の零は、検出が可能ではない周波数を示している。
以下に示す実施例は、ローリングシャッタカメラのライン及びフレームレート、並びに各光源インデックスに関連する変調周波数の事前知識に基づいている。このような事前知識は、スマートフォン及びタブレットコンピュータなどの或る範囲の普及しているモバイル装置のこれらのパラメータを保持する内部又はオンラインデータベースによってもたらされ得る。このようなデータベースがない場合には、事前知識は、最初の1回限りのキャリブレーションに基づいて取得されることもできる。
所定の物理的周波数のセットは、記録信号が、時空間周波数領域信号分析に基づいて、静的なバックグラウンド及び互いと最適に分離できるようにして、選ばれ得る。以下の実施例は、このような時空間周波数チャネル分離を利用することを目的とする。
図７に図示されているような本方法の実施例によれば、時空間符号化光検出は、入力として画像シーケンスs(x,y,k)を与えられると、所与の周波数チャネルインデックスcの変調振幅の空間分布の推定値
Figure 2015534316
 を供給する。図７において、角の丸い矩形は、様々なステップにおける信号又は結果データを表している。角張った矩形は、処理を表している。この実施例は、明確に、列スタックs(y,k)ごとの２次元ＦＦＴの形態の２次元離散フーリエ変換（ＤＦＴ）の使用に基づいている。
s(y,k)は２次元信号であることから、ＤＦＴの結果も、二次元複素行列S(f(y),f(t))であり、これは、入力データと同じ大きさを持つ。ステップ７００において開始し、入力画像シーケンスs(x,y,k)が供給される。７１０においては、入力列スタックs(y,k)、ステップ７１１を形成するために、１乃至Nxの間の列インデックスが選択される。ステップ７１５においては、窓をかける随意のステップが実施される。列スタックs(y,k)は、次いで、ステップ７２０において２次元離散フーリエ変換を受け、これは、図８において例示例において図示されている。図８に図示されているのは、大きさ|S(f(y), f(t))|（可視性のために、大きさの対数が示されている）、即ち、２次元複素行列をもたらす列スタック(s(x,y))のＤＦＴである。時空間「波」パターンは、バックグラウンド信号（静的）に関する（図８においてはeと示されている）f(t)-ラインに沿った中央分布から分離された（図８においてはd、d'と示されている）分離分布として見出され、２つの共役ピークが振動信号寄与に関する。ＤＦＴは、明らかに、中央寄与eが、バックグラウンド信号に関連し、２つの共役ピークd、d' が、光源の振動信号寄与に関連する別個のエネルギ分布を呈する。正のy軸の方向に従って、ここでは、正のf(y)軸も下向きであることに注意されたい。
続いて、図７を参照すると、ステップ７２０の実施後に、各光源cに対して、特定の光源cに関連する時空間周波数帯域が、選択され、その後、(f(y),f(t))=(0,0)への周波数帯域シフトを実施するために復調される（図９参照）。図９は、どのようにして選択時空間サブバンドから振幅推定値が得られるかを、幾つかのステップで図示している。図９ａ）は、S(f(y),f(t))、見かけ時間周波数fc (t)及び-fc (t)における成分以外の全ての成分の抑制後の、列スライスのフーリエ変換を示している。ステップ７５０において実施されるその逆フーリエ変換は、図９ｂに示されており、全くバックグラウンド寄与がない変調光の振動信号成分のリカバリをはっきり示している。逆フーリエ変換は、全くバックグラウンド信号がない変調項の推定値をもたらす。図９ｃ）は、f(t)=0.2[cycles/frame]において取り出される１次元フーリエスライス及びその逆変換を示している。最後に、図７のステップ７６０において、光源ごとの変調振幅の推定値を備える結果として生じる列が供給される（図９ｄ）参照）。図９ｄ）は、図９ｃ）のフーリエスライスと同じフーリエスライスであるが、f(y)=0への周期的シフト後のフーリエスライス、及び振幅プロファイルの近似値
Figure 2015534316
 を供給するその逆変換を示している。
図７のステップ７７０においては、様々な列インデックスからの列が組み合わされ、これは、光源ごとの変調振幅の推定値
Figure 2015534316
 を備える像をもたらす。
それは、リカバーしたい変調光の振幅である。上記のサブバンドの選択時、Sは、共役対称、即ち、
Figure 2015534316
 であるという事実を利用することができる。なぜなら、入力信号が、実数値であるからである。従って、逆変換の再構成時にフーリエ面の半分を無視することができる。これは、図９ｃ）に図示されており、図９ｃ）においては、１次元スライスが取り出され、空間領域に戻るよう変換されている。適切な正規化のため、逆変換に、無視する他方の共役フーリエ成分に相当するよう、係数２を乗算することに注意されたい。振幅を得るため、DC、(fc (y),fc (t))=(0,0)の方へ関連スペクトル分布をシフトすることにより復調することができる。更に、周期的シフトを実施することによって、全空間帯域幅を保っている振幅推定値
Figure 2015534316
 が得られる。実際には、これは、図７のブロック図において、チャネルも空間周波数帯域幅において制限され得るように、必ずしも、可能ではないかもしれず、又は望ましくすらないかもしれない。
ステップ７２０における２次元ＦＦＴの前のステップ７１５における随意の窓掛けは、空間境界（列の最上部及び最下部）から、又は時間境界（列スタックの開始時及び終了時）から、境界効果を避けることが必要であり得る。
一般に、物理的変調周波数は、整数見かけ空間又は時間周波数にマップしないだろう。結果として、特定の物理的変調周波数は、整数ＤＦＴ係数を中心としては現れない。この場合には、既存のＤＦＴ係数値の補間から得られる（複素）係数値において、特定の周波数チャネルの復調シフトが実施される必要がある。補間フィルタの動作は、随意の窓関数にも取って代わり得ることは証明され得る。
前記方法の実施例によれば、上記の分析の結果として生じる推定値が、キャプチャカメラフレームにおいて１つ以上の光源の存在及び／又は位置を識別するために利用される。これは、例えば、局所的に、最も強い大きさの応答
Figure 2015534316
 を生成するランプcを決定することによって、なされ得る。
別の実施例は、まず、フレームごとに複数の列xを組み合わせることによって、より効率的な実施を供給する。これのうちの最も単純なものは、隣接する列のグループを、水平方向に沿った連続したピクセルの行方向合計を含む新しい列に置き換えるものである。振幅推定値
Figure 2015534316
 の結果として生じるセットは、水平方向において低下した空間分解能で供給される。信号位相は画像行に沿って一定であることから、このような水平データ蓄積は、変調光信号成分をほとんど維持する。このような列デシメーションは、所謂ウェーブレット分解に基づいて実施されてもよく、これは、再帰的なようにして蓄積の水平空間スケールを（局所的に）改良する効率的な方法を供給する。この、ウェーブレット変換（及び階層的マルチスケール分解のための他の方法）の使用は、既知である。
図１０を参照すると、本発明の概念による例示的な光検出システムが図示されている。照明システム１０が、ここでは部屋である構造物１０に設置される。照明システム１０は、３つの光源１１、１２及び１３と、光源１１、１２、１３を制御するための１つ以上の制御ユニット（図示せず）とを有する。図１０においては、ローリングシャッタカメラを有するハンドヘルド光検出装置１７が、ユーザによって操作される。動作中、各光源１１、１２、１３から個々に供給される光出力I11、I12、I13が、各々、構造物１０の照明のための照明システムの全光出力に寄与する。様々な光源１１、１２、１３から構造物上への照明寄与は、ここでは、フットプリント１４、１５として図示されている。光源からのフットプリントは、重なり合ってもよい。更に、図１０に図示されているように、光源１３からの直接光が、取得画像１８における１６として示されているエリアにおいて撮像される。各光源は、その光出力Iが個々の識別子符号ID#1乃至３を有するように符号化され、これは、一般に、個々の光源から発される光の特性の変調の時系列として発される埋め込み符号である。符号化光は、更に、現在の光の設定及び／又は他の情報のような光源に関する他の情報を含んでもよいが、本発明の概念の基本的な考えを説明するために、理解しやすいように、以下では、個々の変調周波数の形態の識別子符号だけが記述されている。
光源の光出力に符号を埋め込むための様々な技術があるが、これらは、当業者には知られており、それ故、本願明細書では詳細には説明しない。
続いて、光検出装置１７は、図１１に概略的に図示されている、本発明の概念による光検出システムの一部である。光検出システム２００は、シーンの画像のセット、この例示的な実施例においては、ユーザによって光検出装置１７が向けられている、構造物１００のエリアの画像のセットを取得するためのローリングシャッタカメラ２１０を有する。更に、光検出システムは、例えば、ローリングシャッタカメラのフレームレート、ラインレート、タイミング、露光時間及び露光エリアの少なくとも１つのような、画像取得設定を選択するための制御ユニット２２０を有する。光検出システムは２００は、更に、処理ユニット２３０を有し、随意に、メモリ２４０を有する。光検出システムは、更に、随意に、照明システムに命令を供給する、及び／又は照明システム又は他の外部ユニットに画像取得設定又は変調周波数のような情報を送信又は受信するよう構成される通信ユニット２５０を有する。処理ユニット２３０は、シーン内の特定の位置に存在する光源識別子符号を決定するために、取得される画像（画像の行）に含まれるデータを処理するための、本発明の概念による方法を実施するよう構成される。随意に、ローリングシャッタカメラによって取得されるシーンの画像は、遠く離れて配設される処理ユニットにおいて、本発明の方法に従って処理されてもよい。
処理ユニット２３０は、光制御システム、又は光検出装置の内部若しくは外部データベース（図示せず）との通信により、光源の変調周波数を入手できてもよい。光検出システムは、光検出装置の画像取得設定に適した変調周波数を選択するよう光制御システムに命令するよう構成されてもよい。光検出システムの実施例によれば、それは、露光中の時間積分に起因する周波数依存減衰から周波数の選択のためにカメラの露光時間の事前知識を使用し、最適な周波数割り当てのために光源とこの情報を通信する。
この例示的な実施例における光検出システムは、ハンドヘルド光検出装置内に配設されているが、光検出システムは、例えば壁である構造物に組み込まれるよう、又は任意の他の都合のいいようにして、配設され得る。光検出システムの様々なパーツは、互いから遠く離れて配設されてもよく、又は同じ光検出装置に組み込まれてもよい。
本願明細書における光源は、高／低圧ガス放電ランプ、レーザダイオード、無機／有機発光ダイオード、白熱光源又はハロゲン源のような、任意の適切な光源を含み得る。
光源の光変調は反復的に実施される。符号化光のための様々な変調方法があり、連続的なもの及び二進法のものは、連続反復データストリーム、規則的な間隔でパケットを備えるパケット化データストリーム、及び不規則な間隔でパケットを備えるパケット化データストリームの１つを含み得る。
本発明の概念による方法は、光源の様々な変調技術、例えば、周波数変移符号化（ＦＳＫ）、周波数分割多重（ＦＤＭ）、直交周波数分割多重（ＯＦＤＭ）に適用可能である。
上記においては、本発明の概念が、符号化光源の検出のために低コストカメラを使用することに関して説明されているが、これに限定されるべきではない。（スマートフォンのような）既存の製品の一部としての低コストカメラの制限内で、検出（短い露光時間、意図的なピンぼけ）を改善する様々な方法が示されている。ローリングシャッタセンサは、グローバルシャッタセンサより費用対効果が高くあり続けるので、カスタマイズされたカメラが、ハンドヘルド装置内の検出素子として、又は常設光検出システムの一部として、照明システムそれ自体の一部にされ得る。
上には、添付の請求項において規定されているような本発明による光検出システムの実施例が記載されている。これらは、単に非限定例に過ぎないとみなされるべきである。当業者には理解されるように、本発明の範囲内で、多くの修正例及び別の実施例が考えられる。
この出願のためには、とりわけ、添付の請求項に関しては、「有する」という用語は、他の要素又はステップを除外せず、単数形表記は、複数性を除外しないことに注意されたい。このこと自体は当業者には明らかであろう。

Claims (12)

  1. 変調光を検出するための方法であって、
    フレームレートfframe及びラインレートflineを含む画像取得設定を持つローリングシャッタカメラによって取得される画像のセットを受け取るステップと、
    前記画像の連続フレームにおいて、
    変調光源の変調周波数fcと前記ラインレートflineとの間の比によって決定されるパターン、及び
    前記変調周波数fcと前記フレームレートfframeとの間の比によって決定される、前記パターンの、連続フレームの間の空間シフトを識別するステップと、
    前記パターン、及び前記パターンの空間シフトに基づいて、前記光源からの変調光振幅の推定値を供給するステップとを有する方法。
  2. 前記パターンの検出可能な空間シフトを供給するよう前記変調光源の前記変調周波数fc及び前記画像取得設定を選択するステップを更に有する請求項１に記載の方法。
  3. 前記選択するステップが、見かけ空間及び時間周波数の領域において選択される周波数チャネル又は所定の検出可能なゾーンに基づいている請求項２に記載の方法。
  4. 前記識別するステップが、更に、
    各々が各々の変調光源に対応する複数の前記パターンを識別するステップと、
    別々の変調光源に対応するパターンを区別するために、識別したパターン及び／又は識別したパターンのシフトを比較するステップとを有する請求項１又は２に記載の方法。
  5. 各々の光源の前記変調周波数fcが、一定のユニークな周波数である、又は候補周波数のセットから選択される、又は同時に使用される候補周波数のセット有する、又は所与のシーケンスに従って候補周波数のセットから選択される請求項１乃至４のいずれか一項に記載の方法。
  6. 前記変調周波数fcが、静的なバックグラウンドからの記録画像ピクセル強度の最適な時空間分離を供給するよう、及び／又は複数の光源のための互いに対する前記記録画像ピクセル強度又はその画像処理導関数の最適な時空間分離を供給するよう、選択される請求項１乃至５のいずれか一項に記載の方法。
  7. 前記変調光の推定値を供給するステップが、更に、少なくとも２つの連続フレームに対して、
    各画像を、予め決定されたようにして１つ以上の空間領域に再分割するステップと、
    前記空間領域の各々に対して、領域固有の且つフレーム固有の値の配列を作成するために、水平方向において前記空間領域内の所定のピクセルの強度値を積分するステップと、
    領域固有の値の配列のスタックが、前記領域内で撮像される光源からの前記変調光の真の時間変調の時空間表現を供給するように、前記空間領域のフレーム固有の且つ領域固有の値の配列をスタックすることにより、前記領域固有の値の配列のスタックを作成するステップとを有し、
    前記時空間分析が、１つ又は複数の前記領域における強度パターンの空間的特徴及び時間的特徴に基づいている請求項１乃至６のいずれか一項に記載の方法。
  8. 前記ローリングシャッタカメラの現在の露光時間Texpが既知である場合、前記変調光の推定値を供給するステップが、更に、前記取得画像における露光中の時間積分に起因する周波数依存減衰の補正を実施するステップを有する請求項１乃至７のいずれか一項に記載の方法。
  9. 前記光変調が、反復的に実施され、連続反復データストリーム、規則的な間隔でパケットを備えるパケット化データストリーム、及び不規則な間隔でパケットを備えるパケット化データストリームのうちの１つである請求項１乃至８のいずれか一項に記載の方法。
  10. 少なくとも１つの変調光源の前記画像を取得するためのローリングシャッタカメラを有する光検出システムにおいて用いられる場合、前記画像取得設定が、前記ローリングシャッタカメラのキャリブレーションを実施することによって供給される、又は前記ローリングシャッタカメラの内部若しくは外部データベースから取り出される請求項１乃至９のいずれか一項に記載の方法。
  11. 前記変調周波数及び画像取得設定を選択するステップが、更に、少なくとも１つの現在の画像取得設定及び／又は少なくとも１つの現在の変調周波数に関する情報を、前記ローリングシャッタカメラ及び前記少なくとも１つの光源又は前記光源の制御システムの間で交換するステップを有し、前記選択が、少なくとも１つの現在の画像取得設定又は現在の変調周波数に基づいて実施される請求項２に従属する請求項１０に記載の方法。
  12. 少なくとも第１変調光源を有する照明システムによって照明されているシーンの画像のセットを取得するよう構成されているローリングシャッタカメラと、請求項１乃至１１のいずれか一項に記載の方法を実施するよう構成される処理手段とを有する光検出装置。
JP2015529193A 2012-09-10 2013-09-02 光検出システム及び方法 Expired - Fee Related JP5881201B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261698761P 2012-09-10 2012-09-10
US61/698,761 2012-09-10
PCT/IB2013/058210 WO2014037866A1 (en) 2012-09-10 2013-09-02 Light detection system and method

Publications (2)

Publication Number Publication Date
JP2015534316A true JP2015534316A (ja) 2015-11-26
JP5881201B2 JP5881201B2 (ja) 2016-03-09

Family

ID=49305046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015529193A Expired - Fee Related JP5881201B2 (ja) 2012-09-10 2013-09-02 光検出システム及び方法

Country Status (7)

Country Link
US (1) US9479251B2 (ja)
EP (1) EP2893651B1 (ja)
JP (1) JP5881201B2 (ja)
CN (1) CN104620519B (ja)
ES (1) ES2581554T3 (ja)
RU (1) RU2015113275A (ja)
WO (1) WO2014037866A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9087349B2 (en) * 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
AU2013368082B9 (en) * 2012-12-27 2018-11-29 Panasonic Intellectual Property Corporation Of America Information communication method
US10523876B2 (en) * 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
EP2997795B1 (en) 2013-05-16 2017-02-01 Philips Lighting Holding B.V. Camera-based calibration of an ambience lighting system
JP6183802B2 (ja) * 2013-06-04 2017-08-23 ユニバーリンク株式会社 可視光受信方法及びその装置
US9900092B2 (en) 2013-07-23 2018-02-20 Philips Lighting Holding B.V. Modulation of coded light components
DE102013014536B4 (de) * 2013-09-03 2015-07-09 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Übertragung von Information und Vorrichtung zur Durchführung des Verfahrens
US9521385B2 (en) * 2014-03-27 2016-12-13 Himax Imaging Limited Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method
WO2015160967A1 (en) * 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images
JP2017525172A (ja) * 2014-05-12 2017-08-31 フィリップス ライティング ホールディング ビー ヴィ 符号化光の検出
WO2015173015A1 (en) * 2014-05-12 2015-11-19 Koninklijke Philips N.V. Detection of coded light
JP6653128B2 (ja) * 2014-05-16 2020-02-26 株式会社Ｇｏｃｃｏ． 可視光通信システム
CN105225297B (zh) * 2014-05-29 2018-05-25 深圳光启智能光子技术有限公司 移动终端光子数据传输方法、传输装置以及光子数据接收装置
KR20150140088A (ko) 2014-06-05 2015-12-15 삼성전자주식회사 조명 기기의 설정을 위한 전자장치 및 방법
US9571313B2 (en) * 2014-09-12 2017-02-14 Mer-Cello Wireless Solutions Ltd. Full-optical multiwavelet orthogonal frequency divisional multiplexing (OFDM) and demultiplexing
US10171755B2 (en) * 2014-09-17 2019-01-01 Elbit Systems Of America, Llc Systems and methods for detecting light sources
US9660727B2 (en) * 2015-04-28 2017-05-23 Qualcomm Incorporated Coherent decoding of visible light communication (VLC) signals
US10178496B2 (en) 2015-08-04 2019-01-08 Ford Global Technologies, Llc In-vehicle device position determination
US11002856B2 (en) * 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
CN108140167A (zh) 2015-10-02 2018-06-08 飞利浦照明控股有限公司 电子货架标签的基于摄像机的位置调试
WO2017154171A1 (ja) * 2016-03-10 2017-09-14 オリンパス株式会社 画像取得装置および画像取得方法
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US9965680B2 (en) * 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10318836B2 (en) 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10192414B2 (en) 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US10699559B2 (en) * 2016-09-02 2020-06-30 Koninklijke Philips N.V. Optical transceiver, optical system, interventional device and method for supplying energy and returning data
JP6918648B2 (ja) * 2017-08-31 2021-08-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN108462534B (zh) * 2018-03-07 2023-04-25 华南理工大学 一种用于可见光通信的信号反转视觉追踪方法及其系统
CN109492755B (zh) * 2018-11-07 2022-03-01 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
KR102059143B1 (ko) * 2019-05-28 2019-12-24 삼성전자 주식회사 조명 기기의 설정을 위한 전자장치 및 방법
EP3922168A1 (en) * 2020-06-10 2021-12-15 Koninklijke Philips N.V. Determining intensity distributions
CN112272050B (zh) * 2020-09-21 2021-08-10 南京驭逡通信科技有限公司 一种基于图像采集的mimo光无线通信系统及其通信处理方法
US20220192606A1 (en) * 2020-12-23 2022-06-23 Eye Tech Digital Systems, Inc. Systems and Methods for Acquiring and Analyzing High-Speed Eye Movement Data
EP4059411A1 (en) 2021-03-18 2022-09-21 Koninklijke Philips N.V. A method and system for analysing objects
CN113643214B (zh) * 2021-10-12 2022-02-11 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080122607A1 (en) * 2006-04-17 2008-05-29 James Roy Bradley System and Method for Vehicular Communications
US20100172651A1 (en) * 2009-01-07 2010-07-08 Industrial Technology Research Institute Light emitting device, light receiving device, data transmission system and data transmission method using the same
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
WO2013175803A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807031A (en) * 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
ES2357086T3 (es) * 2007-07-18 2011-04-18 Koninklijke Philips Electronics N.V. Procedimiento para procesar luz en una estructura y sistema de iluminación.
US8755561B2 (en) 2010-01-15 2014-06-17 Koninklijke Philips N.V. Method and system for 2D detection of localized light contributions
BR112012017094A8 (pt) 2010-01-15 2017-07-11 Koninklijke Philips Electronics Nv Sistema de deteccção para determinar uma primeira sequência de repetição de n símbolos incluída em um primeiro código, método para determinar uma primeira sequência de repetição de n símbolos incluídos em um primeiro código e programa de computador
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
US8416290B2 (en) * 2011-07-26 2013-04-09 ByteLight, Inc. Method and system for digital pulse recognition demodulation
EP2805439B1 (en) * 2012-01-20 2016-12-28 Digimarc Corporation Shared secret arrangements and optical data transfer
EP2861935B1 (en) * 2012-06-13 2016-02-10 Koninklijke Philips N.V. Determining a propagation velocity for a surface wave
US9900092B2 (en) * 2013-07-23 2018-02-20 Philips Lighting Holding B.V. Modulation of coded light components
US9509402B2 (en) * 2013-11-25 2016-11-29 Abl Ip Holding Llc System and method for communication with a mobile device via a positioning system including RF communication devices and modulated beacon light sources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080122607A1 (en) * 2006-04-17 2008-05-29 James Roy Bradley System and Method for Vehicular Communications
US20100172651A1 (en) * 2009-01-07 2010-07-08 Industrial Technology Research Institute Light emitting device, light receiving device, data transmission system and data transmission method using the same
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
WO2013175803A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法

Also Published As

Publication number Publication date
RU2015113275A (ru) 2016-10-27
EP2893651B1 (en) 2016-04-20
JP5881201B2 (ja) 2016-03-09
WO2014037866A1 (en) 2014-03-13
US20150249496A1 (en) 2015-09-03
EP2893651A1 (en) 2015-07-15
CN104620519B (zh) 2017-03-08
CN104620519A (zh) 2015-05-13
ES2581554T3 (es) 2016-09-06
US9479251B2 (en) 2016-10-25

Similar Documents

Publication Publication Date Title
JP5881201B2 (ja) 光検出システム及び方法
JP6291008B2 (ja) 光検出システム及び方法
JP6096383B2 (ja) 符号化光成分の変調
JP6125535B2 (ja) 可視光通信
JP5698763B2 (ja) 局所的な照明寄与の２ｄ検出のための方法及びシステム
JP2017518693A (ja) 符号化された光の検出
WO2016001018A1 (en) Coded light symbol encoding
CN105429701B (zh) 信号发送装置、信号发送方法、信号接收装置和通信系统
US20160112126A1 (en) Detecting coded light
JP2020507258A (ja) 符号化光の検出
WO2015104187A1 (en) Detecting coded light

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160128

R150 Certificate of patent or registration of utility model

Ref document number: 5881201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees