JP2016530745A - 符号化光成分の変調 - Google Patents

符号化光成分の変調 Download PDF

Info

Publication number
JP2016530745A
JP2016530745A JP2016515965A JP2016515965A JP2016530745A JP 2016530745 A JP2016530745 A JP 2016530745A JP 2016515965 A JP2016515965 A JP 2016515965A JP 2016515965 A JP2016515965 A JP 2016515965A JP 2016530745 A JP2016530745 A JP 2016530745A
Authority
JP
Japan
Prior art keywords
frequency
apparent
channels
light
modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016515965A
Other languages
English (en)
Other versions
JP6096383B2 (ja
Inventor
ブルアイン フレデリック ジャン デ
ブルアイン フレデリック ジャン デ
ステファヌス ヨセフ ヨハネス ナイセン
ステファヌス ヨセフ ヨハネス ナイセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016530745A publication Critical patent/JP2016530745A/ja
Application granted granted Critical
Publication of JP6096383B2 publication Critical patent/JP6096383B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1149Arrangements for indoor wireless networking of information
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/196Controlling the light source by remote control characterised by user interface arrangements
    • H05B47/1965Controlling the light source by remote control characterised by user interface arrangements using handheld communication devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

符号化光成分は、放出される光に、各々が異なる変調周波数を持つ複数のチャンネルのうちの1つのチャンネル上で変調される。該光の変調は、受光するカメラに、複数フレームの順次のキャプチャによる見掛け時間周波数と各フレーム内の複数の空間位置の順次の露出による見掛け空間周波数とを感知させる。各チャンネルは、上記カメラの検出モジュールにより、各変調周波数に対応する上記見掛け時間周波数と見掛け空間周波数との値の各組み合わせに基づいて検出することができる。該検出モジュールは、各チャンネル上に、上記見掛け時間周波数の関数として変化する対応する応答を有する。符号化光成分を変調するためのチャンネルは、該検出モジュールの各チャンネル上の応答が実質的に他の各チャンネルの見掛け空間周波数に極小を有するような特性を持つ所定の組の中から選択される。

Description

本開示は、1以上の照明装置から放出される光に符号化光を変調するための変調周波数の割り当てに関する。
符号化光とは、照明器具により放出される可視光に信号が埋め込まれる技術を指す。このように、当該光は、部屋等の目標環境を照明するための可視照明寄与分(典型的に、当該光の主目的である)、及び当該環境に情報を供給するための埋込信号の両方を有する。これを行うために、該光は特定の変調周波数又は複数の変調周波数で変調される。
最も簡単なケースの幾つかにおいて、当該信号は所与の照明器具からの光に変調された単一の波形又は単一の高調波を有し得る。複数の照明器具の各々により放出される光は、これら照明器具の間で固有な異なる各変調周波数で変調することができ、この場合、変調周波数は当該照明装置又は該照明器具の光の識別子として機能することができる。例えば、このことは、試運転フェーズにおいて各照明器具からの寄与度を識別するために使用することができるか、又は運転の間において照明器具を制御すべく該照明器具を識別するために使用することができる。他の例において、斯かる識別は、当該識別子を照明器具の既知の位置に又は該位置に関連する情報にマッピングすることにより、ナビゲーション又は他の位置に基づく機能のために使用することができる。
他のケースにおいて、もっと複雑なデータを有する信号を当該光に埋め込むことができる。例えば、周波数キーイングを用いて、所与の照明器具は2つの(又はそれ以上の)異なる変調周波数上で発光し、斯かる異なる変調周波数の間で切り換えることによりデータビット(又は、もっと一般的にはシンボル)を伝送するように動作することができる。同一環境内で発光する複数の斯様な照明器具が存在する場合、各照明器具は自身の各キーイングを実行するために異なる複数の周波数を使用するように構成することができる。
符号化光は、携帯電話又はタブレット等のモバイル装置にしばしば組み込まれている通常の“ローリングシャッタ”型カメラを用いて検出することができる。ローリングシャッタカメラにおいて、カメラの画像キャプチャ素子は、ライン毎に順次露出(露光)される複数のライン(典型的には、水平ライン、即ち行である)に分割される。即ち、所与のフレームをキャプチャするために、目標環境において最初の1ラインが先ず露光され、次いで、次のラインが僅かに後の時点で露光され、等々となる。典型的に、当該シーケンスはフレームにわたって順次(例えば、行毎に上から下に)“転がり”、従って“ローリングシャッタ”なる名称になる。符号化光をキャプチャするために使用される場合、このことは、フレーム内の異なるラインは該光を異なる時点で、従ってライン速度が変調周波数に対して十分に高い場合は変調波形の異なる位相でキャプチャすることを意味する。このようにして、当該光における変調を検出することができる。
ヨーロッパ特許出願公開第EP2503852号公報は、符号化光成分により通知されるアイデンティティ(ID)又はデータを検出するのみならず、当該環境内に異なる照明器具からの複数の符号化光成分が存在する場合に個々の符号化光成分の空間フットプリント(範囲)をも検出するためにローリングシャッタ型技術をどの様に使用することができるかを述べている。即ち、個々の成分の振幅を、他の成分又は複数の成分からの寄与分の間から分離されて、キャプチャ画像内の空間座標の関数として(例えば、デカルトx及びyピクセル座標の関数として)決定することができる。例えば、試運転技術者は自身の装置のカメラを目標環境内のシーンに向けるだけでよく、かくして、各照明器具からの個々の寄与分を決定することができる。
符号化光成分から空間フットプリント等の情報を検出することは、複数のフレームにわたる一連のライン(もっと一般的には空間部分)のキャプチャを必要とする。相対的に小さな数のフレーム内だけで符号化光を検出することができることが望ましいであろう。
本開示によれば、上記のことは、変調周波数を、各々が対応するチャンネルを定める所定の周波数の最適に分離された組の中から選択されるように構成することにより達成することができる。ローリングシャッタ方法等を用いると、当該カメラは、複数のフレームの順次のキャプチャによる見掛け時間周波数(apparent temporal frequency)及び各フレーム内の空間部分の順次の露出(露光)による見掛け空間周波数(apparent spatial frequency)を感知する。所与の変調周波数は、当該カメラにより感知される見掛け空間及び見掛け時間周波数の各組み合わせに対応する。更に、当該検出処理は、各チャンネル上に特定の特徴的応答を有する。この応答は、見掛け時間周波数の関数であるが、該応答の形状は部分的に上記空間周波数の選択性の効果でもある。このことは、各チャンネル上の応答が見掛け時間周波数ドメインにおいて“死角(盲点)”を有することに注目し、変調周波数を或るチャンネルの見掛け時間周波数が他のチャンネルの盲点に入るように配置することにより利用することができる。このようにして、チャンネル間の干渉を低減することができると共に、所与の符号化光成分を、さもなければ必要とされたものより相対的に少ない数のフレーム内で区別することができる。
従って、ここに開示される一態様によれば、光を放出するように光源を制御する出力部と、符号化光成分を各々が異なる変調周波数を持つ複数のチャンネルのうちの選択された1つ上で前記光に変調するように構成されたコントローラとを有する送信装置が提供される。前記コントローラは、前記チャンネルのうちの前記1つが、前記チャンネルの各々上における前記検出モジュールの応答が実質的に前記チャンネルの他の各々の見掛け時間周波数に極小を持つという特性を有する所定の組の中から選択されるように構成される。
実施態様において、当該送信装置は、複数の照明装置(光源)を制御する複数の出力部と、対応する符号化光成分を、各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応するチャンネル上で、前記光源の各々から放出される光に変調するように構成された1以上のコントローラと、を有することができる。
他の又は更なる実施態様において、前記コントローラは、複数の符号化光成分を各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応する1つ上で前記光源から放出される光に変調するように構成することができる。
ここに開示される他の態様によれば、カメラからの画像データを入力する入力部であって、光の変調が前記カメラに複数のフレームの順次のキャプチャによる見掛け時間周波数を感知させる入力部と;各々が異なる変調周波数を持つ複数のチャンネル上で前記光に変調された複数の符号化光成分を検出するよう構成された検出モジュールであって、前記複数のチャンネルの各々を前記見掛け時間周波数に基づいて分離するよう構成された検出モジュールと;を有する受信装置が提供される。前記カメラは、各フレーム内の空間部分の順次の露出による見掛け空間周波数も感知することができ、前記検出モジュールは前記チャンネルの各々を、各変調周波数に対応する見掛け時間周波数及び見掛け空間周波数の値の対応する組み合わせに基づいて選択的に入力するように構成することができる。前記複数のチャンネルの各チャンネル上において、前記検出モジュールは前記見掛け時間周波数の関数として変化する対応する応答を有すると共に前記見掛け空間周波数に基づく選択的入力の効果を有し;前記複数のチャンネルの各チャンネル上における該検出モジュールの応答は、実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有する。
ここに開示される他の態様によれば、上記送信装置及び受信装置を有するシステムが提供される。更に他の態様によれば、コンピュータ読取可能な記憶媒体上に具現化されると共に、実行された場合に上記送信装置及び/又は受信装置の処理を実行するように構成されたコンピュータプログラム製品が提供される。
実施態様において、前記検出モジュールの応答は、前記符号化光成分が検出される順次にキャプチャされるフレームの数に依存し、前記所定の組は上記フレームの数に対して前記特性を有するように構成することができる。
例えば、上記所定の組の変調周波数は実質的に、
とすることができ、ここで、fは前記変調周波数であり、fframeは前記フレームがキャプチャされるレートであり、Nは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数であり、kはN以外の整数である。
他の実施態様において、前記応答は前記見掛け空間周波数のドメインにおいて幅Δfc (y)を有すると共に前記見掛け時間周波数のドメインにおいて幅Δfc (t)を有することができ、各チャンネル上の前記変調周波数は他の各チャンネルから前記見掛け空間周波数ドメインでは少なくともΔfc (y)により、前記見掛け時間周波数ドメインではΔfc (t)により分離することができる。
他の実施態様において、前記検出モジュールは、前記チャンネルの前記見掛け空間周波数を選択するように構成されたフィルタ及び前記見掛け時間周波数を選択するように構成された時間積算機能を有することができ、前記応答は前記フィルタ及び前記時間積算機能の効果を有することができる。
例えば、前記フィルタはガボールフィルタzc(y,n)を有することができ、前記時間積算機能は、
により記述することができ、ここで、fc (t)は前記見掛け時間周波数であり、Nは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数である。
更に他の実施態様において、前記検出モジュールは、前記符号化光成分を前記順次にキャプチャされるフレームのN個の第1グループにわたり検出すると共に、次いで前記順次にキャプチャされるフレームのN個の1以上の更なるグループの各々にわたって前記検出の更新されたものを実行し、前記各グループは同一のフレームの幾つかを含み時間的に重なり合うことができる。
ここに開示される実施態様を一層良く理解すると共に斯かる実施態様がどの様に実施されるかを示すために、添付図面が例示として参照される。
図1aは、照明システム及びカメラを有する空間を概略的に示す。 図1bは、符号化光を送出する装置の概略ブロック図である。 図1cは、符号化光を受光するカメラを備えた装置の概略ブロック図である。 図1dは、ローリングシャッタカメラの画像キャプチャ素子を概略的に示す。 図1eは、ローリングシャッタによる変調光のキャプチャを概略的に示す。 図1fは、ローリングシャッタのキャプチャ過程の例示的タイミング図である。 図2は、時間にわたってキャプチャされる画像及び列スタックを概略的に示す。 図3は、時間的列スタックの例示的断片を示す。 図4は、列スタックの例示的周波数ドメイン変換を示す。 図5は、周波数ドメインにおける例示的列スタックの信号エネルギを示す。 図6は、ガボールフィルタ核の一例を示す。 図7は、ガボールフィルタの振幅応答の一例を示す。 図8は、検出モジュールの例示的振幅応答を示す。 図9は、或る周波数割当案の例示的チャンネルトポロジを示す。 図10は、検出モジュールの振幅応答の他の例を示す。 図11は、検出モジュールの他の例示的応答を示す。 図12は、他の例示的チャンネルトポロジを示す。 図13aは、検出モジュールの応答の更に他の例を示す。 図13bは、検出モジュールの応答の更に他の例を示す。
図1aは、ここに開示する実施態様を配備することが可能な例示的環境2を示す。例えば、該環境は、オフィス、自宅、学校、病院、博物館若しくは他の屋内空間の1以上の部屋及び/又は廊下;公園、街路若しくは競技場等の屋外空間;又は展望台若しくは車両の内部等の他のタイプの空間を有し得る。該環境2には、1以上の照明器具の形の1以上の照明装置4を有する照明システムが設置される。上記1以上の照明器具は、ランプと称することもできる。図解的目的で2つの照明器具4i及び4iiが示されているが、他の数のものも存在し得ると理解される。これら照明器具は集中制御の下で又は別個の独立型ユニットとして実施化することができる。
図1bは、例えば上記1以上の照明器具4の各々を実施化するために使用することができる形での、照明器具のブロック図を示す。照明器具4は、LED、LEDのアレイ又はフィラメント電球等の照明エレメント14を有している。該照明エレメントはランプ又は光源と称することもできる。照明器具4は、上記照明エレメント14に結合されたドライバ12及び該ドライバ12に結合されたコントローラ10も有している。コントローラ10は、ドライバ12に信号を出力して照明エレメント14を、所望の光出力を放出するように駆動するよう構成される。コントローラ10は、コンピュータ読取可能な記憶媒体上に記憶されると共に1以上の処理ユニットを有するプロセッサ上で実行されるように構成されコードの形態で実施化することができる。他の例として、コントローラ10の幾らか又は全てが専用のハードウェア回路又はFPGA等の再構成可能な回路で実施化されることが除外されるものではない。コントローラ10は、照明器具4においてローカルに、1以上の他の照明器具4と共用され得る中央コントローラにおいて、又はこれらの組み合わせで実施化することができる。一般的に、構成要素10、12及び14は同一のユニットに統合されてもよく、又は統合されなくてもよい。
コントローラ10は、照明エレメント14により放出される光が、変調周波数fの符号化光成分で変調されるように制御するよう構成される。幾つかの実施態様では、同一の環境2に複数の照明器具4i、4iiが存在することができ、各照明器具は、当該照明器具4から放出される光に、対応する変調周波数fで変調された異なる各符号化光成分を埋め込むように構成されたコントローラ10を備える。代わりに又は加えて、所与の照明器具4のコントローラ10は、同一の照明器具の照明エレメント14により放出される光に、各々が異なる対応する変調周波数の2以上の符号化光成分を埋め込むように構成することができ、例えば当該照明器具がデータを埋め込むための周波数キーイングを使用することができるようにする。同一の環境2内の2以上の照明器具4が、各々、全てが異なる各変調周波数の2以上の符号化光成分で変調された光を放出することも可能である。即ち、第1照明器具4iは第1の複数の符号化光成分を複数の各変調周波数で放出することができる一方、第2照明器具4iiは第2の異なる複数の符号化光成分を第2の異なる複数の各変調周波数で放出することができる。
これら実施態様の何れにおいても、同一の環境2内に複数の符号化光成分が存在しがちである。変調周波数は所定の組の別個の変調周波数の中から選択され、これら別個の変調周波数は以下に説明する実施態様によれば最適な分離を有するように割り付けられる。各実施態様において、このことは、各照明器具4の変調周波数が事前に選択されると共に、コントローラ(又は複数のコントローラ)10が斯かる周波数で事前に構成されることを意味し得る。このことは、コントローラ10が必ずしも周波数をアドホックに(その場的に)決定しなければならないことを意味するものではないが、これを除外するものではない。複数の照明器具4の場合、各照明器具は異なる各変調周波数で変調された光を放出するように構成される。この意味で、少なくとも上記複数の照明器具4は照明システムを形成すると述べることができる。しかしながら、このことは、照明器具間の何らかの形の集中制御又は通信を必ずしも意味するものではない。各実施態様において、各照明器具4のコントローラ10は、関連する周波数で事前に構成することができる。他の例として、これら周波数は中央コントローラから割り当てることができるか、又は個々の照明器具のコントローラを、これら周波数を分散態様で取り決めるために互いの間で通信するように構成することができる(例えば、新たな照明器具が設置される場合、該照明器具は1以上の他のものに問い合わせて何の周波数が既に使用中であるかを決定し、未だ利用されていない組のうちの1つを選択する)。
環境2には、好ましくはスマートフォン又はタブレット等のモバイル装置とするユーザ端末6も存在する。
図1cはモバイル装置6のブロック図を示す。該装置6は、二次元画像キャプチャ素子20を有するカメラ16、及び該画像キャプチャ素子に結合された検出モジュール18を有している。検出モジュール18は、上記画像キャプチャ素子によりキャプチャされた画像を表す信号を処理すると共に、該画像がキャプチャされた光における符号化光成分を検出するように構成される。検出モジュール18は、コンピュータ読取可能な記憶媒体上に記憶されると共に1以上の処理ユニットを有するプロセッサ上で実行されるように構成されたコードの形で実施化することができる。他の例として、検出モジュール18の幾らか若しくは全てが専用のハードウェア回路又はFPGA等の再構成可能な回路で実施化されることが除外されるものではない。一般的に、構成要素16及び18は同一のユニットに統合してもよく又は統合しなくてもよい。
前記1以上の照明器具4は環境2内へ光を放出し、これにより、該環境の少なくとも一部を照明するように構成される。モバイル装置6のユーザは、該装置のカメラ16を環境2における光が反射されるシーン8に向けることができる。例えば、該シーンは壁及び/又は他の物体等の表面を有し得る。前記1以上の照明器具4により放出された光は該シーンから上記カメラの二次元画像キャプチャ素子上に反射され、これにより該素子はシーン8の二次元画像をキャプチャする。
図1dはカメラ16の画像キャプチャ素子20を示す。画像キャプチャ素子20は、各ピクセル上に入射した光を表す信号を捕捉するためのピクセルのアレイ、例えば典型的にはデカルト型のx及びy座標に関してアドレス指定することができる正方形又は長方形ピクセルの正方形又は長方形アレイを有する。ローリングシャッタカメラでは、上記ピクセルは複数のライン、例えば水平の行22に配列される。フレームをキャプチャするために、各ラインは、特定の露出時間Texp毎に順番に露出(露光)される。例えば、先ず最上行22が時間Texpにわたり露光され、次いで僅か後の時点に下の第2行22がTexpにわたり露光され、次いで僅か後の時点に下の第3行22が再びTexpにわたり露光され、以下最下行が露光されるまで同様に続く。次いで、この過程は一連のフレームを露光するために繰り返される。
例えばヨーロッパ特許出願公開第EP2503852号公報には、このタイプの従来のビデオカメラを用いて符号化光をどの様に検出することができるかが記載されている。該信号検出はローリングシャッタ画像キャプチャを利用し、これは、時間的な光の変調を連続する画像行にわたる空間的輝度変化に変換させる。
このことが、図1eに図解的に示されている。連続する各ライン22が露光される場合、各ラインは僅かに異なる時点で、従って(ライン速度が変調周波数と比較して十分に高いなら)当該変調の僅かに異なる位相で露光される。このように、各ライン22は、変調される光(変調光)の各瞬時レベルで露光される。この結果、所与のフレームにわたり当該変調でうねる又は循環する縞模様が生じる。
更に、繰り返し的性質を持つ符号化光は、連続する画像フレームにおいて異なる空間的ずれを伴って現れる。斯かる連続するフレームが等しい時間間隔でキャプチャされる場合、当該空間的パターンは見掛けの上方又は下方への徐行(クローリング)運動を呈し得る。
複数の符号化光成分が存在する環境においては、異なる各変調周波数上において、上述した効果は各符号化光成分の別個のフットプリントの検出を可能にする。即ち、上記符号化光成分の個々のものからの光だけによる二次元キャプチャ画像のバージョン、即ち他の成分の効果は除去され、当該符号化光成分によってのみ照明されたかのようなシーン8の画像を抽出することが可能である。このことは、上記の存在する異なる符号化光成分の各々に関して個別に実行することができ、かくして、上記符号化光成分の各々に関する複数の空間フットプリントを生成する。例えば、異なる照明器具4により異なる成分が放出される場合、当該技術は試運転技術者により所与の環境2における照明器具4の各々からの個々の寄与度を決定するために使用することができる。他の例として、該技術は、何の信号又は何のデータが何処から到来しているかを決定するために、例えば屋内若しくは屋外ナビゲーション又は位置に基づくサービスを提供するアプリケーションを助けるために使用することができる。
上記検出は、個々のランプ信号を互いから及び背景から最適に分離するための周波数の固有の選択により有利となる。本開示は、可能性として非常に小さな数のフレームにわたっての検出(種々の符号化光アプリケーションにとり非常に実際的に関係する)を可能にする実質的に最適な変調周波数の選択を説明する。
本発明は高調波信号の検出に限定されるものではないが、説明を容易にするために以下では単一周波数高調波信号の例が説明される。
ローリングシャッタ画像キャプチャは、典型的に、全センサ行に対する単一の読出回路の連続的な態様での共用に基づくものである。ライン読出時間は、連続するラインの間の時間遅延を決定するもので、一定の時間間隔Tline[s]である。全てのラインに対する露出時間は一般的に同一であるので、各露出期間は図1fに示されるように同一の遅延で開始する。図1fは、連続ビデオキャプチャモードの間における典型的なローリングシャッタのタイミング図を示す。
当該センサのローリングシャッタキャプチャは、当該カメラのフレームレートを遙かに超える時間的光変化を区別するメカニズムを提供する。ビデオフレームレートが典型的に25〜60Hzの範囲内である場合、ライン読出周波数は典型的に10,000Hzよりも高い。面白いことに、ローリングシャッタ収集は、時間的次元が垂直次元に沿って(部分的に)サンプリングされる一種の空間時間的サンプリングを表す。かくして、時間tと垂直(ライン)位置yとの間には、
なる関係が存在し、ここで、fframeはフレームレートを示し、n=0,1,2,3,…はフレームインデックスである。
cによりインデックスが付された特定の光源による変調周波数f[Hz]は、見掛けの空間周波数fc (y)にマッピング(位置)する:
上記見掛け空間周波数は、キャプチャされた画像にピッチがfc (y)により決定される水平の縞模様が現れるようにさせる。
単一画像の代わりに、変調光源の時間的画像シーケンスがキャプチャされる場合、フレームレートfframe[Hz](即ち、フレーム/s)が与えられたとすると、物理的変調周波数は光の現象が:
なる見掛け時間周波数を呈するようにさせる。
キャプチャされた各行上の隣接するピクセルが同一の時間事実を共有する場合、当該分析は単一の列及び時間にわたって続いた信号に限定することができる。列のスタックは、画像自体と考えることができる2D信号を形成する。
動きがない場合、背景被写体は時間方向に沿って繰り返すピクセル値を生じさせる。ランプが画像スタックにおいて徐行する縞模様を生じさせる場合、列スタックは図2及び図3に示されるように斜めの縞模様を呈する。
振幅のDC成分IDC,c、及び複素表示での所定の組の既知の周波数から選択された物理的(時間的)周波数f[Hz]で変調された振幅のAC成分IAC,cからなる、照明器具cからの単一高調波符号化光輝度信号I(t)[W/sr]:
を考察する。
この光源がシーンを照明した場合、該シーンの表面要素からの放射輝度(radiance)は乗法的処理に従い、該シーンに光を当該界へと放射輝度L[W/(m2sr)]で放射して戻させ、これはローカルな光の相互作用(吸収及び反射)の結果である。カメラは、この放射光の場をキャプチャし、
なる画像Lc(x,y,t)を形成する。
符号化光の検出の前後関係において、静的なシーン物体の幾何学状態、即ち光源及び観察者(カメラ)の場合、如何なる他の照明も存在しないなら、光の輝度I(t)と観察される放射輝度分布L(x,y,t)との間の関係は完全に線形である。
ここで、当該カメラが複数の符号化光源により照明されるシーンをキャプチャする一般的状態を考察する。これは、結果として、各々が固有の物理的周波数で変調されたNの符号化光源の和からなる空間時間的信号s(x,y,n)により表すことが可能な画像シーケンスを生じる:
上記式において、bamb(x,y)は当該シーンからの(符号化されていない)静的周囲照明の反射により各々発生される信号を表している。符号化されたランプ固有のDC寄与分bc(x,y)、即ち実質的に当該画像面における各光フットプリントの投影は、時間の関数としては変化せず、従って時間不変的周囲光として扱うことができる。従って、新たに導入された複合背景信号b(x,y)は、全てのランプ固有で“独立した”DC成分を保持する:
変調振幅ac(x,y)及び複合背景成分b(x,y)は、これらが当該シーンの幾何学構造及び反射特性に依存するので、一般的に空間にわたって変化することに注意されたい。
図2の左側は、ビデオ信号s(x,y,t)(整数のフレームインデックスnの関数として書かれた場合、= s(x,y,n))を示す。右側は、列スタックs(y,t)(= s(y,n))を示す。
図3は、図2において分離された、時間的列スタックの断片s(y,t)(= s(y,n))を示す。当該周波数は、これら周波数が常に明確な見掛け徐行運動を示すように選択された。この徐行運動を獲得する条件を簡単に説明する。
図3に示されるように、連続したフレームにわたる空間的パターンの徐行運動は、非常に明確な向きを持つ刈り込まれた変調パターンを生じる(実線矢印により示される)。実際には、隣接するランプからの重なり合うフットプリントに関連する第2のパターン(点線矢印により示される)も見られる。
以下では、画像上の符号化光のランプ固有の空間分布の推定について考察する。上記分析は、当該画像におけるこの所謂光フットプリントの見え方は、画像フレーム内の光変調のローカルな振幅に比例することを示している。かくして、個々の光フットプリントを復元する作業は、入力信号s(x,y,n)から異なるランプ周波数fに関する振幅分布
を推定する作業に帰着する。
列スタックs(y,t)の2Dフーリエ変換は、見掛け周波数の2D周波数ドメインを形成する。該見掛け周波数(fc (y),fc (t))の軌跡が空間時間的フーリエ面において実物理周波数fの関数としてプロットされる場合、該軌跡がエイリアシングにより折り返す明確な線形トレースを辿ることが分かる。
これは、実際にはフレームレートfframeが当該光を変調する周波数fより大幅に低いという事実によるものである。結果として、見掛けの時間周波数,fc (t)は常にフレームレートの半分より低く:
ここでmod演算子はモジュロ演算子1(該モジュロ演算子は除算の残りであり、“床”関数を用い、x mod y = x - y[x/y]なる表現を用いて計算することができる)である。結果として、見掛けの時間周波数は、物理的周波数fを増加させる場合、限界-1/2<fc (t)<1/2の間で“折り返す”ことに注意されたい。所与の値のラインレート及びフレームレートは、各物理的変調周波数に関して見掛けの空間的及び時間的周波数が結合されるようにさせる。
図4には、空間時間フーリエドメインが正の空間周波数に関してのみ示され、2つの共役分布の一方のみのトレースを示している。当該ラインは見掛けの空間時間周波数のトレースを、0と約575Hzとの間の物理変調周波数に関して示している。空間周波数軸は相対的に低いフレームレートでのエイリアシングによるトレースのゆがみ(warping)を明らかにするために拡大されていることに注意されたい。
図4は空間時間フーリエ面における見掛け周波数のトレースを示す(ここでは、ドメインの半分だけが描かれている)。また、ここでは正のy軸の方向に従って、正のfc (y)軸は下を指していることに注意されたい。この例において、当該トレースは、fframe=29.97[Hz]及びfline=14386[Hz]に関し、0<f<575[Hz]の間の物理周波数に関してプロットされている。14.985Hz、29.97Hz、225Hz及び300Hzにおける上側の5つの円は、検出のために不適な周波数の例示的位置を示している。500Hzにおける下側の円は、該周波数が見掛けの動きも示す空間パターンを生じるので、適切な周波数の例を示している。
フレームレート及びラインレートの上記値は、標準的VGAカメラセンサ(640x480@29.97fps)にとり普通の数である。見掛けの時間周波数の正及び負の値は、空間パターンの上方及び下方への徐行速度に各々関連付けられる。
フレームレートfframe≒30Hzの倍数に近いf=300Hzの物理周波数は、f(y)軸に近い周波数に位置(マッピング)し、連続するフレームにわたり上方に非常にゆっくりと移動するパターンを形成する。フレームレートの倍数から更に離れた周波数、例えばf=500Hzは、より高い速度で移動するが、負の見掛け時間周波数f(t)にマッピングするので上方に向かうものである。
本開示は、キャプチャされるビデオフレームの数が与えられた場合の、実質的に最適な検出に対するランプ固有の変調周波数の選択に関するものである。空間フットプリントの復元は振幅検出として実施することができ、その場合、各ランプに対して空間時間周波数(fc (y),fc (t))は、フットプリント固有のフーリエ変換を見付けることができるキャリア周波数を形成する。被写体又はカメラの動きがない場合、フットプリントac(x,y)は時間不変性のものである。結果として、関連する周波数成分は、空間周波数軸f(y)の方向に沿ってのみ広がる傾向があり、時間周波数軸f(t)の方向に沿って広がることはない。これが図5に示されており、該図は見掛け空間時間周波数のドメインにおけるランプ信号エネルギの分布を図示している。図示された信号スペクトルは、シミュレーションされた信号のDFTに基づくと共に500フレームにわたる収集に基づくもので、従って、該スペクトルは連続フーリエ変換を近似している。
当該信号のf(y)軸の(垂直)方向におけるスペクトルの広がりは、該信号に関連する空間周波数帯域幅Δf(y) signalにより特徴付けることができる。実際には、該空間周波数帯域幅は入力画像の垂直解像度によってのみ制限される。該帯域幅はスペクトル全体を占めることができるが、常に関連するランプの見掛け空間変調周波数fc (y)の周辺でピークに達する傾向がある。
当該信号のf(t)軸の(水平)方向におけるスペクトルの広がりは、見掛け時間周波数帯域幅Δf(t) signalにより特徴付けることができる。動きがない場合、Δf(t) signal→0となり、ランプ信号エネルギを関連するランプの見掛け時間変調周波数fc (t)の周辺のディラック分布に制限する。
信号検出の空間周波数選択性Δf(y) signalは、光フットプリント推定a^c(x,y)が計算される垂直空間解像度を決定する。当該例示的構成例では、ガボールフィルタに基づいて、ガウス応答を持つ検出フィルタが使用される。
信号検出の時間周波数選択性Δf(t) signalは、
の決定に含まれるフレームの数に依存する。当該信号検出は、フレームスタックにわたる検出信号の位相補正された積算に基づくものである。
図5は、列スタックs(y,t)の二次元離散フーリエ変換の一例を示す。図示されているのは振幅|S(f(y),f(t)|である(見えるように、振幅の対数が示されている)。空間時間的“波形”パターンは、f(t)ラインに沿う中心分布から分離されて、隔離された分布として見付けられる。正のy軸の方向に従って、ここでも、正のf(y)軸は下を指していることに注意されたい。上の図は信号帯域幅を示す一方、下の図は検出帯域の帯域幅を示している。
空間周波数検出及び関連する選択性は、ガボールフィルタに基づくものであり得る。空間周波数選択性フィルタの使用は、空間時間ドメインの、空間周波数軸の方向の複数の分離した検出帯域への分割を可能にする。一層分離可能な検出帯域及び一層異なるランプ周波数を区別することができる。
ガボールフィルタが、入力列スタックs(y,n)のランプ周波数と関連する複素カーネルhc(y)との空間畳み込みとして実行され、新たな複素値列スタックzc(y,n)を生成する:
ガボールフィルタカーネル自体は、ガウス窓と複素高調波信号との積である:
パラメータσspatは当該カーネルの空間的広がりを決定し、該カーネルの開始及び終了における十分な減衰を保証するために、当該フィルタのタップの数は:
に従って選択される。
典型的なガボールフィルタカーネルの一例が、図6に示されている。この図は、NGabor=101タップの長さを持ち、fc (y)=0.1サイクル/ピクセルの周波数に“同調”されたガボールフィルタカーネルの一例を示す。
c (y)[サイクル/ピクセル]周辺の該ガボールフィルタの振幅応答はガウス形状に従うと共に、ガウス形状を呈し:
ここで、パラメータσfreq=(σspat)-1は空間周波数帯域幅を決定する。ガウス空間周波数特性は理論的に限界がないので、該特性の帯域幅は50%の透過(伝統的3dB帯域幅)及び90%の透過において:
及び
と各々記述することができる。90%の透過を使用する動機は、検出のためのチャンネル分離は、しばしば、伝統的な3dB帯域幅より小さくすることができるということである。
図7は、図6に示した例示的ガボールフィルタの振幅応答を示す。
時間周波数選択性は、時間軸に沿う周波数検出により決定される。高速検出のためには、計算に使用されるフレームの数を可能な限り小さく維持することが望ましい。以下は、連続したフレームにわたる位相補正された総和に基づくメモリ効率的な計算を示す。この演算がガボールフィルタにより生成された複素値信号に対して適用される場合、各ピクセルにおけるローカルな振幅の即時推定値が得られる:
次のフレーム毎に、項
による乗算が、総和の前のzc(y,n)の位相を“巻き戻す”。ピクセル位置yにおいて、ガボール出力zc(y,n)が該固有の周波数における時間信号を含む場合、
の計算は、全て同じ位相を有すると期待される“コヒーレントな”値に対する総和から得られる。共通位相の正確な値は分からないが、関係もない。
上記位相の共通であるが未知の値の状況の場合、式(15)による位相補正された総和が、実際に、
の最大尤度の推定、即ちピクセルyにおいて当該カメラによりキャプチャされた変調ランプ信号の振幅であることを証明することができる。
式(15)の振幅応答は:
により与えられ、ここで、fc (t)は当該チャンネルが中心とされるランプcの見掛け時間周波数である。関連するカットオフ周波数はフレームの数Nframesの関数に過ぎず:
及び
により、各々、近似することができる。
6つの異なるランプ周波数の組が与えられた場合の、時間周波数検出の振幅応答が図8に示されている。この図は、Nframes=5の連続するフレームにわたる計算に基づいて、フレームレートfframe=30Hzの場合の式(16)による時間副帯域応答の一例を示している。左端のピークの曲線はf1 (t)=320Hzを有している。次の左端のピークの曲線はf5 (t)=473Hzを有している。その次の左端のピークの曲線はf3 (t)=357Hzを有している。右から3番目のピークを持つ曲線、即ち次のクラスタの最初のものは、f2 (t)=335Hzを有している。右から2番目のピークを持つ曲線は、f6 (t)=488Hzを有している。右端のピークを持つ曲線は、f4 (t)=372Hzを有している。
式(15)による位相補正された積算は、副帯域応答が如何なる任意の見掛け時間周波数にも中心が合わされることを可能にし、このことは、ランプ周波数は限られた組の周波数においてしか生成することができないので、実施態様において必要となり得る。例えば、生成可能なランプ周波数は、しばしば、整数値に限定される。
このことは、多数のフレームが振幅推定に組み込まれる場合に特に関係するようになる。そのような場合、検出帯域幅は非常に小さくなる。代わりに、本開示はランプ信号検出において非常に小さな数のフレームを使用することが目標とされる。この場合、帯域幅は相対的に広くなり、斯様な検出選択性は達成することが一層困難となる。
空間時間的検出帯域の斯様な定義は、空間時間的検出チャンネルのトポロジの構成を可能にする。このようなトポロジの一例が図9に示されており、該図は、推定の基礎としてfframe=30Hz、fline=20kHz及びNframes=5に基づく例示的検出チャンネルトポロジを示している。空間ガボールフィルタの長さは101タップである。
本開示は、少ない数のフレームの場合、時間周波数検出選択性は劣り得るが、特定の周波数に対して明確なゼロを示すという認識に基づいている。
物理変調周波数f[Hz]を、関連する見掛け時間周波数fc (t)[サイクル/フレーム]がキャプチャされたビデオにおける静止背景の最適な抑圧及び他の変調周波数の最適な抑圧をもたらすように選択することが狙いである。このことを図形的に示すことができる。図10において、ランプフットプリントの検出に3つのフレームのみが使用される場合の時間周波数応答が計算されている。これらのグラフは式(16)から得られ、変調周波数は検出帯域応答における各ピークが、DC、即ちf(t)=0サイクル/フレームまでを含み、他の帯域応答における零と一致するように選択されている。
図10の上側は、変調周波数の最適な選択の場合に関して、検出帯域の振幅応答を、フレーム数Nframes=3に関する見掛け時間周波数f(t)の関数として示している。下側は、3フレームにわたる時間平均に関連された振幅応答を示す。
この場合、上記帯域は見掛け時間周波数の周辺に中心を合わされねばならない:
frameの周辺のエイリアシングにより、k=1、2、3、…の各々に関して同一の見掛け時間周波数に位置する複数の物理変調周波数が存在する:
f=k・fframe[Hz]の如何なる物理周波数もDCに位置するので、f(t)=0サイクル/フレームとなる。図10における関連する振幅応答は、時間フレーム平均が符号化光源により生じる変調を完全に含まないように、fc (t)=±1/3[サイクル/フレーム]に零を有する。
この場合においては、本例の前後関係において“最適”と考えられる状況につながるような2つの見掛け時間周波数が存在する。
即ち、見掛け時間周波数fc (t)を最適に検出する如何なる応答も、如何なる他の見掛け時間周波数fc’ (t)(但し、c’≠c)においても零を示す(上述した例において、fc (t)=−1/3[サイクル/フレーム]の検出のための帯域は、−1/3[サイクル/フレーム]において“ピーク”に達すると共に、+1/3[サイクル/フレーム]に、従ってfc’ (t)に零を有する)。
見掛け時間周波数fc (t)を最適に検出する如何なる応答も、当該ビデオフレームにおける静止背景に関連する見掛け時間周波数f(t)=0において零を示す。
図11は、周波数の最適な選択のために、振幅応答をフレーム数Nframes=5に関して見掛け時間周波数f(t)の関数として示している。ここでは、見掛け時間周波数がfc (t)=-2/5、-1/5、1/5又は2/5に限定されるように選択される。図8における周波数割り付けと比較して、幾つかの曲線は、同一の見掛け時間周波数に位置(マッピング)するので見えない。左端のピークを持つ曲線は、f1 (t)=288Hzを有する。次の左端のピークを持つ曲線は、f3 (t)=444Hzを有する。右から2番目のピークを持つ曲線は、f2 (t)=306Hzを有する。右端のピークを持つ曲線は、f4 (t)=462Hzを有する。
図12は、周波数の最適な選択のために例示的な振幅応答をフレーム数Nframes=5に対する見掛け空間及び時間周波数(f(y),f(t))の関数として示している。ここで、fは見掛け時間周波数がfc (t)=-2/5、-1/5、1/5又は2/5に限定されるように選択される。点線の垂直ラインは、5つのフレームが信号検出のために使用される場合の最適周波数の位置を示す。
上述した構成の利点は、フレームの数が与えられたとして、ランプ信号検出において可能な最良のチャンネル分離を提供することである。小さな数のフレームの場合でさえ、最適なチャンネル分離及び最適な背景抑圧を達成することができる。各実施態様において、このことは、ランプ信号変調が周波数シフトキーイング(FSK)で使用されるように周波数的に変化される場合に特に有利である。高速検出は高速周波数スイッチングを可能にし、かくして、より高い伝送ビットレートを達成することができる。
本開示は、所与のフレームレートにおける所与の奇数のフレームNに対して最適な信号検出が達成されるようなランプ変調周波数の選択を述べている。上述した例において、最適な変調周波数は:
(但し、Nの整数倍でない如何なる整数k=1,2,3,…に対するものでもある)と選択されるべきである。
図13には、種々の数のフレームに関して振幅応答が図示されている。図13は、3、5、7及び15フレームが“設計規則”(21)に従う最適周波数選択に基づいた周波数選択のための基礎として使用された場合における検出帯域に関する振幅応答を示している。
他の実施態様では、単一の光源が複数の周波数を時間順序的に又は同時に含む信号を、これら周波数のうちの少なくとも1つ(全てではなくても)が“最適”となるように生成することができる。
他の実施態様では、単一の光源がパケットストリームを、1以上の高調波周波数成分が前記最適な周波数に一致するように生成することができる。
更に他の実施態様では、連続するフレーム及び背景抽出に基づくランプ信号検出を、最初の推定はフレーム1,2,3,…Nを使用し、新たな推定はフレーム2,3,4,…N+1を使用して行うというように、各新フレームの後に繰り返すことができる、このようして、最初のN個のフレームの後に、当該検出が新たなフレーム毎に新たなランプ信号振幅推定を提供するようにする。このような高速推定は、当該カメラ装置に接続されたディスプレイ上での個々の光フットプリントのリアルタイムな視覚化を可能にする。
他の実施態様では、フレーム2,3,4,…N+1の検出は、当該振幅推定からフレーム1の寄与分を削除すると共に新たな組の振幅推定を形成するためにフレームN+1を組み込んだ後に行う。これは、上記削除及び組込が、破棄されたフレームデータの位相補償された減算及び新たなフレームデータの位相補償された加算に各々基づいている場合に可能である。上記位相は、関心のランプ周波数により且つ関連する時間フレームインデックスに対して決定される。
他の実施態様では、ランプ周波数は限られた組の値(例えば、整数値のみ)に限定することができる。選択されるランプ周波数は、一番近い値として選択することができる。整数のランプ周波数の場合、このことは一番近い整数への丸めを意味する。
他の実施態様において、上述した“最適”周波数の選択は、他の選択基準と組み合わせることができる。(このことは、時間的及び空間的周波数選択性が楕円状副帯域形状に組み合わさる図12に示されたトポロジに暗黙的に適用される。楕円の最適な詰め込みは、六角形格子への周波数の配置を必要とするであろう。)露出時間も周波数の選択性減衰を生じさせる。即ち、露出時間の知識も、周波数の最終的組の選択に組み合わせることができる。
各実施態様において、開示された方法は、照明システムの設置及び試運転のための並びに照明制御のための符号化光のカメラに基づく検出に使用することができる。例えば、開示された方法は、通常のスマートフォン又はタブレットコンピュータのカメラによる符号化光検出を可能にし得る。
上述した実施態様は例示のためにのみ説明されたことが理解される。
例えば、上記のものは特定の応答を備えた検出モジュールに関して例示されているが、異なるが類似した応答を備える他の構成例では、開示された組の変調周波数は、或るチャンネルの見掛け時間周波数が実質的に他のチャンネルの死角(盲点)に入るような特性を提供し得る。又は他の例として、この原理は、上記死角が既知であるか又は決定することができる場合、他の応答を備えた検出処理に拡張することができる。
一代替例において、当該カメラは、各フレームが一度に露出される(ローリングシャッタカメラにおけるようにライン毎というより)グローバルシャッタカメラである。国際特許出願公開第WO2011/086501号公報は、異なる変調周波数で変調された符号化光成分を検出するためにグローバルシャッタカメラをどの様に使用することができるかを説明している。該検出はエイリアシングに依存しており、これは好適な周波数の組の数を制限する。所与のチャンネルは、時間周波数ドメインにおいて特定の応答を有する。周波数は、本開示の原理により、或るチャンネルの応答が他の周波数応答曲線の盲点に入るように選択することができる。
更に、チャンネルは実質的に互いの盲点にのみ入る必要があると共に、変調周波数は実質的に最適であるとだけ見なされる必要があることに注意されたい。即ち、チャンネルは幾らかの重なりを有することができるが、これらの間の干渉効果が無視可能な程度までである。更に、変調周波数が所定の組の間から選択されると言われた場合、このことは、当該環境に上記組に従わない他の変調周波数を持つ他の成分が存在することを必ずしも除外するものではない。
尚、当業者によれば、開示された実施態様の他の変形例を、請求項に記載された本発明を実施するに際して図面、本開示及び添付請求項の精査から理解し実施することができるものである。請求項において、“有する”なる文言は、他の構成要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に若しくは該ハードウェアの一部として供給される固体媒体等の適切な媒体で記憶/分配することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように、他の形態で分配することもできる。請求項における如何なる符号も、当該範囲を限定するものと見なしてはならない。

Claims (15)

  1. 複数フレームの順次のキャプチャによる見掛け時間周波数と、各フレーム内の空間位置の順次の露光による見掛け空間周波数とを、光の変調が受光カメラに感知させる、当該光を放出する光源を制御する出力部と、
    前記出力部を介して符号化光成分を各々が異なる変調周波数を持つ複数のチャンネルのうちの選択された1つのチャンネル上で前記光に変調するコントローラであって、前記チャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数と見掛け空間周波数との値の各組み合わせに基づいて検出され、前記検出モジュールが前記チャンネルの各々上に前記見掛け時間周波数の関数として変化する各応答を有するコントローラと、
    を有し、
    前記コントローラにより、前記チャンネルの前記1つのチャンネルは、前記チャンネルの各々における前記検出モジュールの応答が実質的に前記チャンネルの他のものの前記見掛け時間周波数に極小を持つという特性を有する所定の組の間から選択される、
    送信装置。
  2. 前記光源を制御する前記出力部を含む、複数の光源を制御する複数の出力部と、
    少なくとも前記コントローラを含む1以上のコントローラであって、前記複数の出力部を介して、各々が異なる変調周波数を持つ所定の組のチャンネルのうちの各チャンネル上で、対応する符号化光成分を前記複数の光源の各々から放出される光に変調する1以上のコントローラと、
    を有する、請求項1に記載の送信装置。
  3. 前記コントローラが、複数の符号化光成分を各々が異なる変調周波数を持つ所定の組のチャンネルのうちの対応する1つのチャンネル上で前記光源から放出される前記光に変調する、請求項1又は請求項2に記載の送信装置。
  4. 前記検出モジュールの前記応答は、前記符号化光が検出される順次にキャプチャされるフレームの数に依存し、前記所定の組は前記数のフレームに対して前記特性を有する、請求項1ないし3の何れか一項に記載の送信装置。
  5. 前記所定の組の前記変調周波数が実質的に、
    とされ、ここで、fは前記変調周波数であり、fframeは前記フレームがキャプチャされるレートであり、Nは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数であり、kはN以外の整数である、請求項4に記載の送信装置。
  6. 前記応答は前記見掛け空間周波数のドメインにおいて幅Δfc (y)を有すると共に前記見掛け時間周波数のドメインにおいて幅Δfc (t)を有し、各チャンネル上の前記変調周波数は他の各チャンネルから前記見掛け空間周波数ドメインでは少なくともΔfc (y)により、前記見掛け時間周波数ドメインではΔfc (t)により分離される、請求項1ないし5の何れか一項に記載の送信装置。
  7. カメラからの画像データを入力する入力部であって、光源により放出される光の変調が前記カメラに複数のフレームの順次のキャプチャによる見掛け時間周波数を感知させる入力部と、
    各々が異なる変調周波数を持つ複数のチャンネル上で前記光に変調された複数の符号化光成分を検出する検出モジュールであって、前記複数のチャンネルの各々を前記見掛け時間周波数に基づいて分離する検出モジュールと、
    を有する入力装置であって、
    前記複数のチャンネルの各チャンネル上において、前記検出モジュールは前記見掛け時間周波数の関数として変化する対応する応答を有し、
    前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が、実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有する、
    受信装置。
  8. 前記光の変調は前記カメラに各フレーム内の複数の空間部分の順次の露出による見掛け空間周波数を感知させ、
    前記検出モジュールは前記複数のチャンネルの各々を、各変調周波数に対応する前記見掛け時間及び空間周波数の値の対応する組み合わせに基づいて選択的に入力し、
    前記複数のチャンネルの各チャンネル上において、前記検出モジュールの応答は前記見掛け空間周波数に基づいた選択的入力の効果を有する、
    請求項7に記載の受信装置。
  9. 前記カメラがローリングシャッタカメラであり、前記空間部分が前記フレームのラインである、請求項8に記載の受信装置。
  10. 前記検出モジュールの応答は、前記符号化光成分が検出される順次にキャプチャされるフレームの数Nに依存し、所定の組の前記変調周波数が実質的に、
    とされ、ここで、fは前記変調周波数であり、fframeは前記フレームがキャプチャされるレートであり、kはN以外の整数である、請求項7、8又は9に記載の受信装置。
  11. 前記検出モジュールは前記チャンネルの前記見掛け空間周波数を選択するフィルタ及び前記見掛け時間周波数を選択する時間積算機能を有し、前記応答が前記フィルタ及び前記時間積算機能の効果を有する、請求項8又は請求項10に記載の受信装置。
  12. 前記フィルタはガボールフィルタzc(y,n)を有し、前記時間積算機能は、
    により記述され、ここで、fc (t)は前記見掛け時間周波数であり、Nは前記符号化光成分が検出されるべき順次にキャプチャされるフレームの数である、請求項11に記載の受信装置。
  13. 前記検出モジュールは前記符号化光成分を前記順次にキャプチャされるフレームのN個の第1グループにわたり検出すると共に、次いで前記順次にキャプチャされるフレームのN個の1以上の更なるグループの各々にわたって前記検出の更新されたものを実行し、前記各グループが同一のフレームの幾つかを含み時間的に重なり合う、請求項7ないし12の何れか一項に記載の受信装置。
  14. 前記カメラがグローバルシャッタカメラである、請求項7に記載の受信装置。
  15. 光源により放出される光の変調が受光カメラに、複数フレームの順次のキャプチャによる見掛け時間周波数と各フレーム内の空間位置の順次の露出による見掛け空間周波数とを感知させ;複数の符号化光成分が、各々が異なる変調周波数を持つ複数のチャンネル上において前記光に各々変調され、前記複数のチャンネルの各々は前記カメラの検出モジュールにより前記変調周波数の各々に対応する前記見掛け時間周波数及び見掛け空間周波数の値の各組み合わせに基づいて検出され、前記検出モジュールが前記複数のチャンネルの各チャンネル上に前記見掛け時間周波数の関数として変化すると共に前記見掛け空間周波数の効果を有する各応答を有するシステムにおいて使用するためのコンピュータプログラムであって、
    コンピュータ読取可能な記憶媒体上に具現化されて、実行された場合に、前記複数のチャンネルの各チャンネル上における前記検出モジュールの応答が実質的に前記複数のチャンネルの他の各チャンネルの前記見掛け時間周波数に極小を有するような所定の組のチャンネルから選択される前記複数のチャンネルのうちの1つを介して通信するためのコードを有する、コンピュータプログラム。
JP2016515965A 2013-07-23 2014-07-16 符号化光成分の変調 Expired - Fee Related JP6096383B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13177566.0 2013-07-23
EP13177566 2013-07-23
PCT/EP2014/065187 WO2015010967A1 (en) 2013-07-23 2014-07-16 Modulation of coded light components

Publications (2)

Publication Number Publication Date
JP2016530745A true JP2016530745A (ja) 2016-09-29
JP6096383B2 JP6096383B2 (ja) 2017-03-15

Family

ID=48877046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016515965A Expired - Fee Related JP6096383B2 (ja) 2013-07-23 2014-07-16 符号化光成分の変調

Country Status (6)

Country Link
US (1) US9900092B2 (ja)
EP (1) EP3025442B1 (ja)
JP (1) JP6096383B2 (ja)
CN (1) CN105393474B (ja)
RU (1) RU2016105521A (ja)
WO (1) WO2015010967A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507258A (ja) * 2017-01-16 2020-03-05 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 符号化光の検出

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479251B2 (en) * 2012-09-10 2016-10-25 Koninklijke Philips N.V. Light detection system and method
WO2016071133A1 (en) * 2014-11-04 2016-05-12 Philips Lighting Holding B.V Transmitter comprising a transmission queue and corresponding source device
US9742493B2 (en) * 2015-09-30 2017-08-22 Osram Sylvania Inc. Reconstructing light-based communication signals captured with a rolling shutter image capture device
WO2017054147A1 (zh) * 2015-09-30 2017-04-06 温州医科大学 单次快照多频解调方法
CN105245761B (zh) * 2015-09-30 2018-08-24 温州医科大学 单次快照多频解调方法
CN105954719B (zh) * 2016-04-22 2019-03-19 深圳市摩仑科技有限公司 一种低成本室内定位方法及系统
US10637575B2 (en) * 2016-05-25 2020-04-28 Wisconsin Alumni Research Foundation Spatial location indoors using standard fluorescent fixtures
US10264639B2 (en) * 2016-11-30 2019-04-16 Samsung Electronics, Co., Ltd. Apparatus and method for controlling light
TWI620420B (zh) * 2016-12-02 2018-04-01 財團法人資訊工業策進會 可見光通訊系統及方法
TWI610540B (zh) * 2016-12-06 2018-01-01 財團法人工業技術研究院 可見光通訊裝置、方法及系統
US10251027B2 (en) 2016-12-15 2019-04-02 Wisconsin Alumni Ressarch Foundation Navigation system tracking high-efficiency indoor lighting fixtures
CN108234977B (zh) * 2018-01-12 2021-03-09 京东方科技集团股份有限公司 一种视频播放方法及显示系统
IT201900006400A1 (it) 2019-04-26 2020-10-26 Tci Telecomunicazioni Italia S R L Procedimento e sistema di localizzazione utilizzanti luce codificata
EP3930218B1 (en) * 2020-06-23 2024-07-31 IMRA Europe S.A.S. Vlc in streets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
WO2011086501A1 (en) * 2010-01-15 2011-07-21 Koninklijke Philips Electronics N.V. Method and system for 2d detection of localized light contributions
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1091571B1 (en) * 1999-10-08 2012-05-30 Panasonic Corporation Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
ATE540558T1 (de) * 2007-09-26 2012-01-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur datenübertragung mit hilfe einer lichtquelle
TWI387226B (zh) * 2009-01-07 2013-02-21 Ind Tech Res Inst 光發射裝置、光接收裝置、資料傳遞系統及應用其之方法
US9008315B2 (en) * 2012-01-20 2015-04-14 Digimarc Corporation Shared secret arrangements and optical data transfer
US8879735B2 (en) * 2012-01-20 2014-11-04 Digimarc Corporation Shared secret arrangements and optical data transfer
JP2011078074A (ja) * 2009-09-04 2011-04-14 Canon Inc 撮像装置およびその制御方法
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
JP6157011B2 (ja) * 2011-10-14 2017-07-05 フィリップス ライティング ホールディング ビー ヴィ 符号化光検出器
US9479251B2 (en) * 2012-09-10 2016-10-25 Koninklijke Philips N.V. Light detection system and method
CN104871453B (zh) * 2012-12-27 2017-08-25 松下电器(美国)知识产权公司 影像显示方法和装置
EP2940889B1 (en) * 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
US9306667B2 (en) * 2013-02-22 2016-04-05 Qualcomm Incorporated Method and apparatus for power-efficient joint dimming and visible light communication
US9407367B2 (en) * 2013-04-25 2016-08-02 Beijing Guo Cheng Wan Tong Information Co. Ltd Methods and devices for transmitting/obtaining information by visible light signals
JP6407975B2 (ja) * 2013-05-24 2018-10-17 フィリップス ライティング ホールディング ビー ヴィ 符号化光の検出

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
WO2011086501A1 (en) * 2010-01-15 2011-07-21 Koninklijke Philips Electronics N.V. Method and system for 2d detection of localized light contributions
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507258A (ja) * 2017-01-16 2020-03-05 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 符号化光の検出

Also Published As

Publication number Publication date
RU2016105521A (ru) 2017-08-29
JP6096383B2 (ja) 2017-03-15
EP3025442B1 (en) 2018-04-25
EP3025442A1 (en) 2016-06-01
US20160164603A1 (en) 2016-06-09
CN105393474A (zh) 2016-03-09
WO2015010967A1 (en) 2015-01-29
CN105393474B (zh) 2018-04-13
US9900092B2 (en) 2018-02-20
RU2016105521A3 (ja) 2018-06-15

Similar Documents

Publication Publication Date Title
JP6096383B2 (ja) 符号化光成分の変調
JP5881201B2 (ja) 光検出システム及び方法
CN102726123B (zh) 用于对局部化光贡献进行2d检测的方法和系统
JP6125535B2 (ja) 可視光通信
US9197842B2 (en) Video apparatus and method for identifying and commissioning devices
JP2017518693A (ja) 符号化された光の検出
CN104904319A (zh) 允许用户控制编码光源
JP6388030B2 (ja) 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
CN111194460A (zh) 电网的计算成像
EP4432784A2 (en) A control system and method of configuring a light source array
US20180054876A1 (en) Out of plane sensor or emitter for commissioning lighting devices
EP2999145B1 (en) Signal transmission device, signal transmission method, signal reception device, and communication system
JP2016524853A (ja) 符号化光の検出
JP2020507258A (ja) 符号化光の検出
WO2015104187A1 (en) Detecting coded light

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160920

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170215

R150 Certificate of patent or registration of utility model

Ref document number: 6096383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees