JP2017518693A - 符号化された光の検出 - Google Patents

符号化された光の検出 Download PDF

Info

Publication number
JP2017518693A
JP2017518693A JP2016567212A JP2016567212A JP2017518693A JP 2017518693 A JP2017518693 A JP 2017518693A JP 2016567212 A JP2016567212 A JP 2016567212A JP 2016567212 A JP2016567212 A JP 2016567212A JP 2017518693 A JP2017518693 A JP 2017518693A
Authority
JP
Japan
Prior art keywords
cameras
devices
modulation
different
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016567212A
Other languages
English (en)
Inventor
ブルアイン フレデリック ジャン デ
ブルアイン フレデリック ジャン デ
ゲラルドゥス コルネリス ペトルス ロクホフ
ゲラルドゥス コルネリス ペトルス ロクホフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2017518693A publication Critical patent/JP2017518693A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation
    • H04B10/548Phase or frequency modulation
    • H04B10/556Digital modulation, e.g. differential phase shift keying [DPSK] or frequency shift keying [FSK]
    • H04B10/5563Digital frequency modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Optical Communication System (AREA)

Abstract

1つ以上の光源を制御して信号を埋め込むように変調された符号化された光を放射するための装置。この装置は、1つ以上の機器の1つ以上のカメラの2つ以上の露光時間に関連する情報を受信するためのインターフェースと、変調が前述の2つ以上の露光時間の各々で検出可能となるように、前出の情報に基づいて変調の少なくとも1つの特性を選択するように構成されるコントローラと、を備え、この1つ以上のカメラは変調に基づいて符号化された光を検出するように動作可能である。

Description

本開示は、例えば、符号化された光がスマートフォン又はタブレットコンピュータなどの携帯用電子機器の典型的なカメラによって検出される場合など、検出カメラの露光時間が取得工程において周波数の死角を生じるような状況における、符号化された光の検出に関する。
符号化された光とは、照明器具によって放射される可視光に信号が埋め込まれる技術を指す。従って、光は、部屋などの目標環境を照射するための可視照明としての貢献(典型的には光の主たる目的)と、環境に情報を提供するために埋め込まれた信号との、両方を担う。これを行うために、光は特定の変調周波数(単数又は複数)で変調される。
最も単純な場合の幾つかでは、信号は、所与の照明器具からの光内に変調された、単一波形又は単一トーンまでも含むことができる。複数の照明器具の各々により放射された光は、これらの照明器具間で独自の、それぞれの異なる変調周波数で変調されることができ、その時この変調周波数は、照明器具又はその光の識別子として機能することができる。例えば、これは据付調整段階で使用されて各照明器具からの寄与を識別することができ、又は、運用時には照明器具を制御するためにその照明器具を識別するのに用いられることができる。別の例では、識別子を照明器具の既知の位置又は位置に関連付けられた情報にマッピングすることにより、この識別はナビゲーション又は他の位置ベースの機能のために使用されることができる。
他の場合では、より複雑なデータを含む信号が、光に埋め込まれることができる。例えば、周波数キーイングを使用して、所与の照明器具が、2つ(又はそれより多くの)異なる変調周波数で放射するように、かつ、この異なる変調周波数間で切り替えることにより、データビット(又はより一般には符号)を送信するように、動作可能である。同じ環境で発光するそのような照明器具が複数存在する場合、その各々は、それぞれの異なる複数の周波数を使用してそのそれぞれのキーイングを行うように構成されることができる。
符号化された光は、多数の用途を有する。例えば、各照明器具は、スマートフォン又はタブレットなどのモバイル機器のカメラによって検出されることになる識別子又は他の情報を放射することができ、検出された識別子又は情報に基づいて、その機器が照明器具を(例えば、RFなどの適切なバックチャネルを介して)制御することを可能にする。
国際公開第2012/127439号が、携帯電話又はタブレットのようなモバイル機器にしばしば一体化されている、ありふれた「ローリングシャッター」型のカメラを使用して、符号化された光が検出されることができる技術を開示している。ローリングシャッターカメラでは、カメラの画像撮像素子が、行ごとに次々と露光される複数の行(典型的には水平の行、即ち、(画素の)行)に分割されている。即ち、所与のフレームを取り込むために、第1の一行が目標環境において光に露光されて、次いで、シーケンスの次の行が僅かに後の時間に露光され、等々となる。典型的に、シーケンスはフレームに渡って順番に、例えば先頭から下の行に「ロールし(回り)」、それ故に「ローリングシャッター」の名が付けられている。符号化された光を捕捉するために使用される場合、これは、フレーム内部の異なる行が、光を異なる時間に捕捉すること、従って、ラインレートが変調周波数に対して十分に高い場合、光を変調波形の異なる段階で捕捉することを意味する。従って、光における変調が検出されることができる。
カメラの露光時間は、カメラを用いて符号化された光を検出するのを妨げる、選択的な周波数抑制を引き起こすことが知られている。即ち、どのようなカメラであれ、「不可視」の、又は少なくとも検出が困難な、特定の符号化された光の変調周波数が存在する。具体的には、特定の周波数は、1/Texpの整数倍の周波数であり、ここでTexpは露光時間である。ローリングシャッターカメラの場合には、露光時間は行の露光時間、即ち、個々の行が露光される時間である。(フレーム全体が一度に露光される)グローバルシャッターカメラでは、露光時間はフレームの露光時間、即ち、フレームの全体の各々が露光される時間である。この現象は、例えば国際公開第2013/108166号及び国際公開第2013/108767号において探求されている。
従って、カメラが符号化された光の検出器として使用される場合、そのカメラの露光時間は、カメラの伝達関数の周波数スペクトルにおいて死角を引き起こす。実際上、カメラは、符号化された光源によって送出され得る全ての可能な変調周波数を受け取ることはできないことがある。
既存の照明システムでは、システムは、システム内の各ランプのパルス幅変調(PWM:pulse-width modulation)周波数を制御することが可能である。これは、システム内の各ランプに異なるPWM周波数が割り当てられることを可能にする。検出時に1つ以上の周波数の抑制を回避するために、周波数は、カメラの瞬間的な露光時間に基づいて選択される。
既存の周波数割り当ては、単一のカメラの露光時間に基づいている。本発明者らは、近い将来、単に1つではなく、例えば、環境内に存在し得る異なる機器の異なるカメラの露光時間など、複数の異なる露光値が、送信された符号化された光の信号によって満足されることが必要になり得ることを予見している。例えば、送信される符号化された光の周波数が少なくとも2つの異なる露光時間の下での検出を満足する必要があり得るように、符号化された光に基づく制御の同時使用が、1人よりも多くのユーザによって望まれることがあり得る。本開示は、カメラと照明システムの間の交渉を規定して、複数の露光時間の存在下における検出カメラの瞬間的な露光時間に起因する抑制、例えば、各々が異なる露光時間を有する複数の検出カメラに起因する抑制を被らない、符号化された光の信号に至る。
本明細書に開示される一態様に従って、少なくとも1つの変調周波数で変調された符号化された光を放射するための1つ以上の光源を制御するための装置が提供され、ここで、1つ以上のカメラが変調に基づいて符号化された光を検出するように動作可能である。この装置は、1つ以上の機器の1つ以上のカメラの2つ以上の露光時間に関連した情報を受信するためのインターフェースを備える。例えば、この情報は、露光時間そのものの指摘と、露光時間に影響を与える1つ以上のパラメータ(例えば、露光指数又は「ISO」設定、露光値の設定、又は関心領域の設定)の指摘と、回避すべき1つ以上の対応する周波数の死角の指摘と、を含むことができる。この装置は更に、前述の情報に基づいて少なくとも1つの変調周波数を選択して、前述の2つ以上の露光時間の各々により引き起こされる、前述の検出における周波数の死角を回避するように構成されるコントローラを備える。
実施形態では、複数のカメラが存在し、2つ以上の露光時間が、複数のカメラのうちの異なるカメラの露光時間を含む。この場合には、コントローラは、少なくとも1つの変調周波数を選択して、異なるカメラの露光時間の各々によって引き起こされる周波数の死角を回避するように、構成されている。
実施形態では、複数のユーザ端末の形態での複数の機器と、ユーザ端末のうちの異なる端末のカメラを含む異なるカメラと、が存在する。この場合には、コントローラは、少なくとも1つの変調周波数を選択して、異なるユーザ端末の各々のカメラの露光時間によって引き起こされる周波数の死角を回避するように、構成される。
或いは、又は更に、異なるカメラは、1つ以上のユーザ端末のうちの同一のユーザ端末上の複数のカメラを含むことができ、かつ/又は、異なる露光時間は、前述の1つ以上のカメラのうちの同一のカメラによって異なる時間に使用される異なる露光時間までも含むことができる。
更なる実施形態では、複数の変調周波数も存在する。これらは、同一の光源によって使用される複数の変調周波数、及び/又は異なる光源によって使用される複数の変調周波数を含むことができる。このような場合では、コントローラは、複数の変調周波数を、互いに区別されるように、かつ、2つ以上の露光時間の各々によって引き起こされる周波数の死角を各変調周波数が回避するように、選択するように構成されることができる。
実施形態では、コントローラは、複数の競合する機器がある場合には、どの機器の死角の要件が考慮に入れられるかという点について調停するように、かつ/又は、複数の機器の異なる要件を考慮した最適な変調周波数を決定するように、構成される。
実施形態では、コントローラは、次のことを含む交渉を実施するように構成されることができる、即ち、異なる機器の各カメラの周波数の死角を回避する変調周波数に対して値が選択され得るかどうかを決定することと、もしそうであれば、変調周波数に対して決定された値を選択することと、もしそうでなければ、少なくとも第1の機器によって検出可能な変調周波数のための第1の値を選択することと、この第1の値を検出することが出来ない少なくとも第2の機器に第1の機器による検出が終了するまで待機するように要求することと、次いで、第2の機器によって検出可能な第2の値に変調周波数を変更することと、を含む交渉を実施するように構成されることができる。
実施形態では、1つ以上の光源は複数の光源を含むことができ、この複数の光源が機器のサブセットに対応するサブグループを含み、コントローラが光源のサブグループに対する変調周波数の決定を、機器の対応するサブセットにより検出可能な少なくとも1つの周波数を決定することに制限するように構成されることができる。
実施形態では、コントローラは、(i)露光時間ごとに妨害閾値を超える検出から生じる信号を用いて、(ii)1つ以上のカメラが複数のカメラである場合には、異なるカメラの画像撮像素子上に現れるような変調の見かけの空間周波数における閾値の差よりも大きい、及び/又は、(iii)1つ以上のカメラが複数のカメラを含む場合には、異なるカメラにより捕捉されるような変調の見かけの時間周波数における閾値の差よりも大きい、変調周波数を選択するように構成されることができる。
実施形態では、コントローラは、変調周波数を、1つ以上のカメラのフレームレートの整数倍にならないように、かつ/又は、最も高いラインレートを有するカメラのラインレートよりも大きくなるように、選択するように構成されることができる。コントローラは、例えば、Wi-Fi(登録商標)、Zigbee(登録商標)、又は他の短距離RF無線アクセス技術などの無線インターフェースなどの遠隔インターフェースを介して機器に接続しているブリッジ上に実装されることができる。従って、ブリッジは、例えば無線的に、この遠隔インターフェースを介して、それぞれの機器から露光時間についての情報を収集することができる。コントローラは、Wi-Fi(登録商標)、Zigbee(登録商標)、又は他の短距離RF技術などの無線インターフェースを介して、照明器具を制御することもできる。
例えば、少なくとも1つの制御可能な光源と、少なくとも2つの携帯型電子機器からこの制御可能な光源にコマンドを中継するように構成されたブリッジと、を備える照明システムが提供され得る。この場合、ブリッジは、電子機器からそれぞれの現在の露光時間を受信するように、かつ、光源に又は複数の光源の各々に、携帯型電子機器の両方又は全てによって、それらのそれぞれの現在の露光時間で検出され得る局所的に固有な変調周波数を割り当てるように、構成されることができる。
代替の構成では、コントローラは、複数の機器のうちの1つの上に実装されることができる。この場合には、関心の機器は、他の機器からそれぞれの露光時間についての情報を(例えば、無線的に)受信し、かつ、それ自体と交渉を実施し、関係する光源に結果を(例えば、再度無線的に)伝える。
更なる実施形態では、2つ以上の異なる露光時間を調停するように適合されるのは、必ずしも変調周波数ではなく、変調の何らかの他の特性(又は複数の特性)である。例えば、適合される変調特性は、パケットのパケット長、パケット間のパケット間アイドル期間、パケット長とパケット間アイドル期間との比率、パケット長及びパケット間アイドル期間の全長、及び/又はパケットから形成されるメッセージの繰り返しレート、を含むことができる。
本明細書に開示される別の態様に従うと、コンピュータ可読ストレージ媒体上に実装され、実行されるとコントローラの動作を実施するように構成された、対応するコンピュータプログラム製品が提供される。
本開示の理解を助けるために、かつ、実施形態がどのように実施され得るかを示すために、例示として添付の図面への参照がなされる。
照明システム及びカメラを含む空間を概略的に示す。 符号化された光を受信するためのカメラを備えた機器の概略的なブロック図である。 ローリングシャッターカメラの画像撮像素子を概略的に示す。 ローリングシャッターによる変調された光の補足を概略的に示す。 ローリングシャッターの捕捉処理の例示のタイミング図である。 時間領域における例示の伝達関数を示す。 周波数領域における例示の伝達関数を示す。 変調周波数を交渉するためのシステムの概略的なブロック図である。 メッセージフォーマットを概略的に示す。 ノイズの存在下での2つの異なる露光時間を考慮した周波数選択を示す、例示のパワースペクトルを示す。 2つの周波数の例及び関連した検出フィルタ特性を有する、時空間周波数領域を示す。 空間周波数検出の分離度に基づいた、第3の周波数の比較的不十分な選択の例を有する、時空間周波数領域を示す。 見かけの時間周波数検出の分離度に基づいた、第3の周波数の比較的不十分な選択の例を有する、時空間周波数領域を示す。 十分な空間的並びに時間的の両方の周波数検出の分離度である場合の、第3の周波数の比較的良好な選択の例を有する、時空間周波数領域を示す。
図1は、本明細書に開示される実施形態が展開され得る、例示の環境2を示す。例えば、この環境は、オフィス、家、学校、病院、博物館、若しくは他の屋内空間の1つ以上の部屋及び/若しくは廊下、又は、公園、街路、競技場、等などの屋外空間、又は、あずまや若しくは車両の内部などの別の種類の空間、を含むことができる。環境2には、1つ以上の照明器具の形態での1つ以上の照明機器4を備える照明システムが設置されている。例示の目的で2つの照明器具4i及び4iiが示されているが、他の数が存在してもよいことが理解されるであろう。照明器具は、中央制御下で、又は別個のスタンドアローンユニットとして、実装されることができる。更に環境2に存在するのは、スマートフォン又はタブレットなどの好ましくはモバイル機器であるユーザ端末6である。
各照明器具4は、LED、LEDアレイ、又は発光用の蛍光管などの発光素子を含む。1つ以上の照明器具の各々の発光素子によって放射される光は、符号化される光の成分を用いて変調周波数で変調される。例えば、変調は正弦波、矩形波、又は他の波形の形態を取ることができる。正弦波の場合には、変調は、周波数領域において単一のトーンを含む。矩形波のような別の波形の場合には、変調は、周波数領域において基本波及び一連の高調波を含む。典型的には、変調周波数は、変調の単一の又は基本の周波数、即ち、波形が繰り返される周期の頻度を指す。
符号化された光を放射するために照明素子又は照明器具を使用するとき、照明素子は二重の目的を実際上有する、即ち、照明素子は主要な照明機能と、副次的な通信機能とを有する。結果として、一般的に、変調及びデータ符号化は、上記の変調が好ましくは肉眼では不可視であり、一方、専用の検出器又はローリングシャッターカメラなどの他の検出器を用いれば検出可能であるように、選択される。
近代的な照明器具として、とりわけLEDデバイスは一般的に、ヒトの視覚系によって知覚可能な周波数を超える周波数で光出力を変調することが可能であり、この変調は(例えば、マンチェスター符号化を使用して)可能なデータ依存パターンを考慮に入れるように適合されることができ、符号化された光は、肉眼には実質的に不可視であるような態様で符号化されることができる。
実施形態では、同一の環境2には複数の照明器具4i、4iiがあることができ、その各々は、それぞれの変調周波数で変調されたそれぞれの異なる符号化された光成分を、それぞれの照明素子から放射される光に埋め込むように構成される。或いは、又は更に、所与の照明器具4は、その同一の照明器具の照明素子によって放射される光に2つ以上の符号化された光成分を、その各々について異なるそれぞれの変調周波数で、埋め込んで、その照明器具がデータを埋め込むために周波数キーイングを使用できるようにするように構成されることができる。同一環境2における2つ以上の照明器具4の各々が、2つ以上のそれぞれの符号化された光成分全てを用いて異なるそれぞれの変調周波数で変調された光を放射することも可能である。即ち、第1の照明器具4iが、複数のそれぞれの変調周波数で第1の複数の符号化された光成分を放射することができ、第2の照明器具4iiが、第2の、異なる複数のそれぞれの変調周波数で変調された、第2の異なる複数の符号化された光成分を放射することができる。
図2は、モバイル機器6のブロック図を示す。機器6は、2次元の画像撮像素子20を有するカメラ10と、この画像撮像素子に結合された画像分析モジュール14と、を備える。画像分析モジュール14は、画像撮像素子によって撮像された画像を表す信号を処理するように、かつ、画像が撮像された光における符号化された光成分を検出するように動作可能である。画像分析モジュール14は、コンピュータ可読ストレージ媒体(1つ以上)上に格納されたコードの形態で実装されることができ、かつ、1つ以上の処理ユニットを備えるプロセッサ上で実行されるように構成されることができる。或いは、画像分析モジュール14のうちの一部又は全てが、専用のハードウェア回路又はFPGAなどの再構成可能な回路で実装されることができることを、排除するものではない。
1つ以上の照明器具4は、環境2に光を放射し、それによってその環境の少なくとも部分を照射するように構成される。モバイル機器6のユーザは、光が反射される環境2のシーン8に向けて、機器のカメラ10を向けることができる。例えば、このシーンは壁及び/又は他の物体などの表面を含むことができる。1つ以上の照明器具4によって放射される光がシーンから反射されてカメラの2次元の画像撮像素子へと進み、それによってこの撮像素子がシーン8の2次元の画像を撮像する。或いは、又は更に、(表面を介しての反射無しで)光源から直接に符号化された光を検出することも可能である。従って、モバイル機器は代わりに、1つ以上の照明器具4に直接向けられることができる。
とりわけ、そのような光源が直接に天井上で画像化されるとき、照明源に対応する画素/画像素子及びそれらの直接の近傍が明確な変調パターンを提供するという点で、検出は大幅に簡略化される。
図3は、カメラ10の画像撮像素子20を表す。画像撮像素子20は、各画素に入射する光を表す信号を捕捉するためのピクセルのアレイ、例えば、典型的には、正方形又は長方形の画素の正方形又は長方形のアレイを、備える。ローリングシャッターカメラでは、画素は、例えば水平の行22などの、複数の行に配置される。フレームを捕捉するために、各行は、カメラの露光時間Texpの連続するインスタンスに対して、順番に露光される。この場合には、露光時間は、個々の行の露光の持続期間である。本開示におけるシーケンスが、時間的なシーケンスを意味しており、即ち、各行(又はより一般的には部分)の露光は僅かに異なる時刻に開始することにも、留意されたい。例えば、まず、先頭の行22が期間Texpの間露光され始め、次いで僅かに後の時刻に下がって第2の行22がTexpの間露光され始め、次いで再びわずかに後の時刻に下がって第3の行22がTexpの間露光され始め、一番下の行が露光されるまで、これが繰り返される。この処理は、その後、フレームのシーケンスを露光するように繰り返される。
図5は、連続的なビデオ撮影中の典型的なローリングシャッターのタイミング図の一例を示す。
国際公開第2012/127439号では、例えば、従来のこの種のビデオカメラを用いて符号化された光が検出される方法が記載されている。信号検出はローリングシャッター撮像を利用しており、このローリングシャッター撮像は、連続的な画像行に渡る空間的な強度変動につながる時間的な光変調を引き起こす。
これは、図4に概略的に示されている。連続的な行22の各々が露光されるにつれ、各行は僅かに異なる時刻に露光され、従って(ラインレートが変調周波数に比べて十分に高い場合)、変調の僅かに異なる段階で露光される。従って、各行22は、変調された光のそれぞれの瞬間的なレベルで露光される。これは、所与のフレームに渡り変調と共に揺れ動く又は循環する縞のパターンを生じる。この原理に基づいて、画像分析モジュール14は、カメラ10によって受光される光に変調された、符号化された光成分を検出することができる。
しかしながら、取得処理は、取得された信号に低域通過フィルタ効果を生じさせる。図6及び図7は、露光時間Texpを有するローリングシャッターカメラの取得処理の低域通過フィルタ特性を示す。
図6は、露光時間を時間領域における矩形ブロック関数、又は矩形フィルタとして表わした略図である。露光処理は、変調された光信号とこの矩形関数との時間領域における畳み込みとして表現され得る。時間領域における矩形フィルタとの畳み込みは、周波数領域におけるシンク関数との乗算に等しい。従って、図7に示される略図によって示されるように、周波数領域において、これは受信された信号スペクトルがシンク関数により乗算されることにつながる。受信された信号スペクトルが乗算される関数は伝達関数と呼ばれることができ、即ち、その関数は、検出スペクトルにおける、検出処理によって実際に「見られる」受信された信号スペクトルの割合を記述する。
従って、カメラの露光時間は、時間領域におけるブロック関数であり、かつ周波数領域における低域通過フィルタ(シンク)である。これの結果は、検出スペクトル又は伝達関数が、1/Texpと1/Texpの整数倍とにおいてゼロになるということである。従って、画像分析モジュール14によって実施される検出処理は、1/Texp、2/Texp、3/Texp、等でのゼロ又は約ゼロにおいて、周波数領域での死角を経験する。変調周波数が死角のうちの1つに該当する場合、符号化された光成分は検出可能ではなくなる。実施形態では、死角が、検出スペクトル又は伝達関数におけるこれらのゼロ又はノードの正確な周波数においてのみ発生するとみなされる必要はなく、より一般的には、死角は、伝達関数が低いので所望の符号化された光成分が検出され得ない又は確実には検出され得ない、検出スペクトルにおけるこれらのゼロ又はノードの近傍の任意の範囲の周波数を指し得ることに、留意されたい。
図8は、本開示の実施形態に従って、2つ(又はそれより多く)の露光時間を考慮に入れると仮定して、共通の変調周波数を交渉するためのシステムを示す。
システムは少なくとも2つのモバイル機器6〜6を含み、その各々がカメラ10とネットワークへのインターフェース12とを備える。システムは1つ以上の照明器具4〜4も含み、その各々もネットワークへのインターフェース24と、照明素子28(例えば、1つ以上のLED)とを備える。加えて、各照明器具4は、そのそれぞれの照明にデータを埋め込むために、照明素子28からの照明を少なくとも1つの変調周波数で変調するように構成されたそれぞれの照明素子28に(図示しないドライバを介して)結合されたコントローラ26を備える。コントローラ26は、それぞれの照明器具4の記憶媒体に格納され、かつ、例えば照明器具のハウジング又は付属設備に一体化されている、その照明器具4のプロセッサで実行されるように構成された、ソフトウェアを含むことができる。或いは、コントローラ26は、専用のハードウェア回路、又はPGA若しくはFPGAなどの構成可能な若しくは再構成可能なハードウェアで、部分的に若しくは全面的に実装されることができる。
符号化された光は、それぞれのカメラ10を受信機として使用して、各照明器具4から目の届く所にある各モバイル機器6への一方向性の第1の通信チャネルを提供する。先に説明したように、各モバイル機器6は、照明器具4からの光中に符号化されたデータを検出するために、画像分析モジュール14を備える。
ネットワークは、双方向性の第2の通信チャネルを提供する。ネットワークは、好ましくは無線であり、通信されるデータを中継するか又は変換するブリッジ16を備えることができる。ブリッジが単独のネットワーク内部でデータを中継するとき、ブリッジは、802.11アクセスポイントの機能性と類似した機能性を提供する。しかしながら、機器が実際にデータを1つのプロトコルから他のプロトコルに変換するとき、この機能性が真のブリッジの機能性とはるかに似ることになる。
ネットワークは、例えば、(モバイル)機器とは無線接続を、1つ以上の照明器具とは有線接続を設けるなど、部分的に無線でかつ部分的に有線であることもできる。無線接続の場合には、各モバイル機器6は無線インターフェース12を備え、ブリッジ16は各モバイル機器6がブリッジ16と接続することができる補間的な無線インターフェース18を備える。例えば、これらのインターフェース12、18は、Wi-Fi(登録商標)、Zigbee(登録商標)、又はBluetooth(登録商標)などの短距離RFアクセス技術を介して、互いに接続するように構成されることができる。或いは、又は更に、1つ以上の照明器具4の各々は無線インターフェース24を備え、ブリッジ16は各照明器具4がブリッジ16と接続することができる補間的な無線インターフェース22を備える。例えば、これらのインターフェース24、18も、Wi-Fi(登録商標)、Zigbee(登録商標)、又はBluetooth(登録商標)などの短距離RFアクセス技術を介して、互いに接続するように構成されることができる。実施形態では、ブリッジ16は、照明器具4と通信するのに使用するのと同じ無線技術を用いてモバイル機器6と通信するように構成され、この場合には、ブロック18及び22は実際には同一のインターフェースを表し得ることに、留意されたい。しかしながら、全ての可能な実施形態においてこのことが必ずしも当てはまるわけではないことを示すために、それらは図8では別個にラベリングされている。
従って、モバイル機器6とブリッジの間の、及びブリッジと照明器具の間の無線接続が、第1の符号化された光のチャネルに加えて第2の通信チャネルを提供するネットワーク(又はネットワークの一部)を形成する。このネットワークは、Wi-Fi(登録商標)、Zigbee(登録商標)、Bluetooth(登録商標)、又は他の短距離RF技術などの無線アクセス技術に基づく、無線ローカルエリアネットワーク(WLAN)とすることができる。この第2のチャネルは、モバイル機器6と照明器具4の間の通信を可能にし、各モバイル機器6に、例えば照明器具を減光する、照明器具をオン及びオフする、かつ/又は色などの他の特性を制御するなど、1つ以上の照明器具4を制御する可能性を与える。或いは、又は更に、各モバイル機器6は、例えば、Wi-Fi(登録商標)、Zigbee(登録商標)、Bluetooth(登録商標)、又は他の短距離RF技術などの技術を介して再度無線的に、1つ以上の照明器具4とそれぞれのインターフェース12、14を介して直接的に通信し、従って、そのように第2の通信チャネルを提供することが可能であり、再度モバイル機器6に1つ以上の照明器具4を制御する可能性を与える。
実施形態では、開示されるシステムは、第2の通信チャネルも使用して、異なる露光時間を有する2つ以上の異なるカメラ10を用いて、符号化された光の同時検出を可能にする。
第1の実施形態は、全ての露光時間が収集され、かつ、瞬間的な露光時間に基づいて最適な周波数選択が全ての瞬間的な露光時間を満足するように算出される、ブリッジ16(例えば、SmartBridge)の形態で共通のユニットを使用する。
この実施形態では、各モバイル機器6の画像分析モジュール14は、機器の露光時間、従って機器が検出できない変調周波数について、ブリッジ16に通知するための追加の役割を伴って構成される。従って、画像分析モジュール14は、インターフェース12、18を介して(例えば、無線接続を介して)、それぞれのモバイル機器6の露光時間に関連した情報をブリッジ16に自動的に送信するように構成される。
露光時間に関連した情報は、例えば露光時間の設定など、露光時間そのものの明確な指摘であることができ、又は、例えば露光指数若しくは「ISO」設定、露光値設定(露光時間の設定とは異なる)、若しくは関心領域設定などの、露光時間に間接的に影響を与える別のパラメータであることができる。即ち、一部のカメラは、アプリケーションによって制御され得る明確な露光時間の設定を有していないことがあるが、それでもなお、露光時間を間接的に決定する1つ以上の他の設定を有していることがある。一例は、関心領域(ROI:region of interest)と呼ばれる下位領域が撮像された画像領域内部に定義されることを可能にする関心領域の設定であり、ここにおいて、ROIの1つ以上の特性(例えば、ROI内の光の量、及び/又はROIのサイズ)に基づいて、露光時間を自動的に調節する機能をカメラが有する。従って実施形態では、ROIなどの1つ以上の設定が、明らかな露光設定が可能でない場合にも露光時間を示すことができる。
別の可能性としては、露光時間に関連した情報は、露光時間に対応する周波数の死角の指摘を含むことができる、即ち、モバイル機器6はブリッジにどの周波数を回避すべきかを伝える。情報がどのような形態を取るにせよ、この情報は、例えばモバイル機器が露光時間を変更する度にこれに応じて、又は定期的になど、動的に送信される。
ブリッジは、システム内の1つ以上の照明器具4の各々に変調周波数を割り当てるように構成されたコントローラ21を備える。ブリッジは、それぞれの異なる機器6から受信された、異なるカメラ10の露光時間の情報を収集し、かつ、異なる機器6の全てのカメラ10によって又は少なくとも出来る限り多くによって検出され得る、1つ以上の照明器具4のための変調周波数を自動的に決定する。次いで、ブリッジ16のコントローラ21は、例えば無線的に、それぞれのインターフェース22、24を介して、これらの照明器具の各々に関連する周波数を伝える。好ましくは、コントローラ21は、この処理を動的に実施するように構成される、即ち、モバイル機器6から動的に送信される露光時間の情報に応答して変調周波数を適合させる。
実施形態では、複数の照明器具4が存在し、コントローラ21はこれらの照明器具4の各々に異なるそれぞれの変調周波数を割り当てるように構成されることに留意されたい。例えば、各変調周波数は、関心の環境2の内部(例えば、所与の部屋、建物、又は建物の一部の内部)で一意になるように選択されることができ、それぞれの照明器具4の識別子にマッピングされることができる。そのような場合には、コントローラ21は、モバイル機器6の露光時間、及びそれらの露光時間が対応する異なるそれぞれの周波数の死角についての知識を考慮して、モバイル機器6の各々によって検出され得る、照明器具4の各々に対する変調周波数を選択するように構成される。光識別子と周波数の間の関係は、符号化された光の検出を必要とするモバイル機器に対しても利用可能になっており、例えば、ブリッジ16のインターフェース18とモバイル機器6のインターフェース12との間の接続、例えば無線接続などを通じて返信される。従って、各モバイル機器6の画像分析モジュール14は、環境内の各照明器具4を識別することが可能になる。
更に、幾つかの実施形態では、1つ以上の照明器具の各々は、1つのみならず2つ以上の変調周波数で変調された光を放射することができる。例えば、1つ以上の照明器具が周波数偏移キーイングを使用して光中のデータを送信する場合、そのような照明器具の各々は、それぞれのペアの又はそれぞれの複数の変調周波数で送信して、異なるシンボルを表す。又は、更なる実施形態では、所与の照明器具が複数の異なる同時変調周波数を用いて光を放射することも可能である。そのような場合には、コントローラ21は、モバイル機器6の露光時間、及びそれらの露光時間が対応する異なるそれぞれの周波数の死角についての知識を考慮して、モバイル機器6の各々によって検出され得る、1つ以上の照明器具4の各々に対する複数の変調周波数の各々に対する値を選択するように構成される。
第2の実施形態では、ブリッジ20が不要であり、その代わりに瞬間露光時間値が、符号化された光の検出を必要とする全てのモバイル機器6の間で共有される。この場合には、コントローラ21はモバイル機器6のうちの1つによって実装され、このモバイル機器は、全ての瞬間露光時間を満足する周波数を算出し、かつ、その周波数と(必要とされる場合)関連する識別子とを他のモバイル機器6の全てと照明システム6とに通知する。この変形例はブリッジ20を必要としないか、又は少なくとも、周波数割り当てにおいてブリッジの関与を必要としない。
第2の実施形態では、上記で議論されたコントローラ21の全ての他の特徴が、依然として当てはまり得る。例えば、コントローラ21は依然として、露光時間情報の変更に応答して、コントローラが選択する変調周波数を、モバイル機器6によって検出可能となるように動的に適合させるように構成されることが好ましい。更に、異なる変調周波数を有する複数の照明器具4が存在する場合及び/又は照明器具4毎に複数の変調周波数が存在する場合、コントローラ21は依然として、システム内の異なる機器6の各露光時間の検出を満足するこれらの変調周波数の各々に対する値を選択するように構成されることが好ましい。
どこに実装されるにせよ(ブリッジ16又はモバイル機器6のうちの1つ)、コントローラ21は有利にも、複数の競合する機器がある場合には、どの機器の死角の要件が考慮に入れられるかという点について調停するように、かつ/又は、複数の機器6の異なる要件を考慮した最適な変調周波数を決定するように、構成されることができる。
特に、コントローラは、モバイル機器により持ち込まれる制約とは別に、照明素子の能力を考慮に入れる必要性も有し得る。特に、使用される照明素子間で相当な相違がある場合には、最適な変調を決定する際に、モバイル機器が存在する特定の建物の内部、部屋の内部、又は領域の内部でのそのような機器の実際の能力を考慮に入れる必要があり得る。しかしながら、照明素子は一般的に可動ではないので、照明素子によって持ち込まれる制約は一般的に、実質的に一定である。従って、それぞれの照明素子の制約は、照明システムの据付調整段階時に収集され得る、又は追加的に若しくは代替的に、コントローラによって、照明素子から能動的に要求され得る。
システム内の全ての所望される露光時間、又は少なくとも極力多くの露光時間により検出可能な変調周波数を見つけようと試みるために、最も一般的には、これは、例えば関連する環境2の各々において、考慮されるべき機器の各々の各カメラ10に対する伝達関数(図7に示すような)を評価することにより、実施されることができる。その時、可能な変調周波数は、適切に信頼できる検出が不可能であるという抑制がある、各機器6の各カメラ10のヌル(図7における1/Texp、2/Texp、3/Texp、等)の周りの領域を除いた周波数になる。即ち、除外されるのは正確に1/Texpの周波数だけではなく、伝達関数が検出のためには低すぎる1/Texpの周りのウィンドウも除外され、2/Texp等についても同様である。このウィンドウの幅は、例えば、検出処理のエラー強さ、設計対象のノイズの量、及び/又は所望の信頼性など、アプリケーションに依存する。
これ以外に、実施形態では、死角によって除外されない周波数の中から最適な周波数を選択することも望ましいことがある。例えば、複数の変調周波数が選択されるべきである場合に、各機器6によってそれ自体が検出可能な変調周波数を単に選択することに加えて、周波数同士の間に一定の分離度を有する変調周波数を選択することも望ましいことがある。即ち、チャネルを十分に分離することが必要とされることもあるので、変調周波数を伝達関数のピークに単純に配置するのが適切ではないことがある。
実施形態では、コントローラ21は、次の点に基づいてそのように最適な周波数を決定するように構成されることができる。
−例えば図9に示されるように、ノイズなどの信号外乱の強度を考慮した全ての瞬間露光時間に対する十分な信号振幅。
−見かけの空間周波数における十分な差。例えば、図10は追加の第3の周波数に係る不十分な選択を示している。
−見かけの時間周波数における十分な差。例えば、図11は追加の第3の周波数に係る不十分な選択を示している。又は、
−上記のうちの2つ以上の組み合わせ。たとえば、図12は追加の第3の周波数に係る良好な選択を示している。
十分な信号の振幅及び分離度は、幾つかの要因(例えば、符号化方法、検出器アルゴリズム、環境条件)、並びに関心のアプリケーションに対して設計者により所望される信号検出の信頼性に、依存し得る。振幅は、ノイズ又は他の外部擾乱にもかかわらず所望される信頼性で各成分の信号の検出を達成するのに必要とされる振幅である。分離度は、時空間領域における検出器の選択感度を考慮して、各成分の信号の検出を達成するのに必要とされる分離度である。実施形態では、これらに対して所望される値は経験的に決定されることができ、又は代替的に、それらの値は分析的に、若しくは技術の組み合わせを使用して、決定され得ることも除外されない。
図9は、2つの異なる露光時間を考慮した、露光に関連した信号抑制HTexpに関連付けられたパワースペクトル、並びにノイズのレベルを考慮した相対的に不十分な変調周波数の選択及び相対的に最適な変調周波数の選択を示す。変調周波数f=619Hzを選択することは、2つのそれぞれの露光時間を有する2つのカメラに対して比較的弱い強度の変調をもたらす。同様に、f=204Hzを選択することは、2つのカメラのうちの一方による検出にのみ有益である。さもなければ、f=264Hzを選択することは、両方のカメラに対して比較的高くかつ事実上等しい検出信号の大きさをもたらす。f=492Hzを選択することでさえも、2つのカメラ間で検出される振幅に差があるものの、両方のカメラに対して比較的高い検出信号の大きさをもたらす。
従って実施形態では、コントローラ21は、検出から生じる信号が露光時間の各々について外乱閾値を超えるように、変調周波数を選択するように構成される。
図10は、2つの異なる変調周波数の位置を伴う時空間周波数領域に加えて、時空間検出フィルタの選択感度の指摘を示す。時空間領域は、周波数f[Hz]での光変調に起因する一連の画像における、空間的パターンの見かけの空間周波数及び見かけの時間周波数(見かけの垂直方向の動きに関連付けられている)を示す。即ち、見かけの空間周波数は、カメラのローリングシャッター画像撮像素子20に現れるような、変調に起因する1行あたりのサイクル数であり、見かけの時間周波数は、単位時間あたりの画像撮像素子20によって捕捉される変調に起因する光におけるサイクル数である。垂直軸は、光変調に起因する空間的パターンの見かけの垂直空間周波数を示し、f=f/flineに従って光の変調周波数f[Hz]に線形に関連したf[サイクル/ピクセル]によってここに表わされ、ここでfline[Hz]はラインレートを表す。画像処理の場合と同様に、垂直空間軸は下に向いており、空間周波数軸も同様に下を向くように選択される。時空間領域の水平軸は、撮像された画像のシーケンスに渡る光の変調に起因する空間的パターンの、見かけの時間周波数を示す。
[サイクル/フレーム]によって表わされる見かけの時間周波数は、光の変調周波数が、一般的に使用されるフレームレートfframe[Hz]よりもはるかに高く選択される傾向があるので、典型的にエイリアシングの影響を受けやすい。光の変調周波数との関係はf=f/fframeであり、基本周波数間隔−1/2<f<1/2[サイクル/フレーム]でプロットされる。表示されている座標は、264Hz及び492Hzの光変調周波数fに関連付けられている。各点の周りの円板は時空間検出フィルタの周波数選択度を示す。円板の輪郭は検出フィルタの3dBの輪郭線を表しており、その最も単純な実装は、共通の位置にある画像列の時間スタックを2D FFTした後の、DFT係数の重み付き加算である。
図11は、図10と同じ時空間周波数領域を示すが、追加的に選択される第3の光変調周波数を有している。示されている552Hzの選択は、空間周波数に基づいた不十分な検出選択度につながる。
図12は、図10と同じ時空間周波数領域を示すが、再び追加的に選択される第3の光変調周波数を有している。依然として、488Hzの選択は、見かけの時間周波数選択度に基づくと不十分である。
図13は、図10と同じ時空間周波数領域を示すが、今度は364Hzの追加的に選択される第3の光変調周波数を有している。この選択は、時空間検出フィルタの示された3dBの帯域幅を考慮しても、適切な時空間周波数選択度で3つの全ての周波数が良好に検出される可能性をもたらす。
従って実施形態では、コントローラ21は、異なるカメラの画像撮像素子20上に現れるような変調の見かけの空間周波数における閾値差よりも大きくなるように、及び/又は、異なるカメラによって捕捉される変調の見かけの時間周波数における閾値差よりも大きくなるように、変調周波数を選択するように構成される。
また、異なる周波数の集合を必要とし得るカメラの特性における相違点としては、次のうちの1つ以上を含み得る。
−露光時間(上述した通り)。
−フレームレート−フレームレートが異なると、所与の光変調周波数が、撮像された画像シーケンス内部で異なる見かけの時間周波数を有する光パターンをもたらすことにつながる。特定のフレームレートの整数倍である任意の光変調周波数は、関連付けられた空間的パターンを、撮像された画像のシーケンス内部で静止しているように見せる。空間的光パターンの見かけのローリング動作は、撮像されたシーン内に他のテクスチャ付きオブジェクト(例えば、照射されたオブジェクト上の顕著な反復パターンを有する他の静的テクスチャ)が存在する状況において、画像シーケンスから関連付けられた変調信号を分離するのに有益である。
−ラインレートラインレートの差は、所与の光変調周波数が、撮像された画像内で異なる空間周波数を有する光パターンを生じることにつながる。比較的高いラインレートは、比較的低周波数の空間的パターンにつながり、その単一周期が画像の高さよりも更に大きくなることがあり、空間周波数に基づく検出選択度が不十分になることにつながる。従って、異なるラインレートを有する複数のカメラの場合には、最も高いラインレートを有するカメラ(即ち、最も高いラインレートを現時点で使用しているカメラ)が、光変調周波数の選択のための下方境界を決定する。例えば、そのような下方境界は、画像フレームの全高さを満たす少なくとも1つの周期の空間パターンを引き起こす変調周波数によって、構成されることができる。
機器6の数が増加するにつれて、潜在的に考慮され得る露光時間の数も増加し、異なる機器6の異なる露光時間の各々の下で検出可能である変調周波数を見つけるという課題が、ますます満足のいく解答を有する見込みながなくなる。
従って、実施形態では、コントローラ21は、関心対象の環境2において符号化された光を検出することを望み得る両方の(又は全ての)機器6の、全ての露光時間を満足する周波数を見つけることが不可能である場合に、2つ(又はそれより多く)の機器6の間で交渉する方法に関する、調停プロトコルを伴って構成される。このプロトコルに従うと、コントローラは以下のように構成される。
−(例えば、上述の基準に基づいて)、異なる機器の各カメラの周波数死角を回避する変調周波数に対して、共通の値が選択され得るかを決定する。
−そうである場合、変調周波数に対して決定された値を選択する。
−そうではない場合、少なくとも第1の機器によって検出可能な変調周波数に対して第1の値を選択する。第1の値を検出することができない少なくとも第2の機器が、第1の機器による検出が完了する(例えば、第1の機器が環境2を去る、又は必要データの受信を完了する)まで待機するように要求される。その後、コントローラ21は、変調周波数を(第1ではない)第2の機器によって検出可能な第2の値に変更する。
そこで、例えば、符号化された光の機能を有しかつ中央ブリッジ16と通信する1つ以上の照明器具4を有するシステムにおいて、初めに符号化された光の検出器を備えた1つのスマート機器6がアクティブになり、これがブリッジ16と通信する。ブリッジのコントローラ21が、第1の機器6によって検出され得る照明器具4(又は各マップ4)に対して1つの変調周波数(又は複数の変調周波数)を割り当てる。或いは、この同じ機能が、第1の機器6又は別のユーザ機器6のコントローラ21によって実装されることができる。
次いで、符号化された光の検出器を備えた第2の機器6がシーンに入ってくる場合、その機器はコントローラ21を用いて登録を行い、例えば露光時間及び/又は他の特性などを提供する。そこで、起こり得るシナリオは次の通りである。
−第2の機器6が、符号化された光が既に照明器具4から到来していることを検出し、それが終了するまで待機することを決定する。
−(中央)制御機能20が、第1の検出機器6が完了しない限り、第2の機器のアクセスを拒否する。
−制御機能20が、両方の機器による検出をサポートする周波数の集合が生成可能であるか否かをチェックする。
−これは不可能である−>第2の検出機器6は待機しなくてはならない。
−これは可能である−>両方の検出機器6、6が符号化された光を検出することができる。
又は、例えば、コントローラ21が2つの機器6の露光時間を調停することができており、次いで第3の機器が環境2に入ってくる場合、第3の機器は、コントローラ21が変調周波数を第3の機器によって検出可能になるように適合させる前に、初めの2つの機器のうちの片方が去るまで待機するように要求されることでもよい。
更なる実施形態では、コントローラ21は、例えば部屋ごとなど、領域によって問題を分割するように構成される。即ち、上述したように、機器6及びこれに従って生じ得る露光時間の数が増加するにつれて、異なる機器6の異なる露光時間の全てに対して適切な変調周波数を見つけるという課題が、ますます満足のいく解答を有する見込みながなくなる。従って、どの照明器具4の変調周波数を割り当てるかという目的のために、(潜在的に)検出中の複数機器6のいずれが実際に考慮に入れられるべきかを決定することが望ましい。
従って、実施形態では、複数の照明器具4が、照明器具の少なくとも1つのサブグループを定義するように分割されることができ、各サブグループはモバイル機器のサブセットに対応する。例えば、照明器具4は、建物の異なる部屋又は領域における照明器具などの、サブグループに分割され、所与の部屋又は領域内の照明器具4のサブグループは、その部屋及び領域内の機器6のサブセットにのみ関係するとみなされる(例えば、何故なら機器のそのサブセットのみがそれらを検出することができ、かつ/又は、それらの機器のユーザのみが、それらの照明によって影響を受けるからである)。そのような状況では、コントローラ21は、光源のサブグループに対する変調周波数の決定を、機器6の対応するサブセットによって検出可能な少なくとも1つの周波数を決定することに制限するように構成されることができる。
例えば、異なる部屋又は部屋の一部における複数の符号化された光の照明器具4を有するシステムを考え、検出機器6のうちの1つが光を制御したいとしていたとする。そこで、起こり得るシナリオは次の通りである。
−照明器具4が例えば部屋によってグループ分けされていない場合には、全ての部屋の光は、符号化された光の放射を有効にするように進行しなくてはならない(かつ上記で議論された調停が適用され得る)。又は、
−照明器具4が例えば部屋によってグループ分けされている場合、どのグループの検出を有効にするか決定しなくてはならない。これは手動で達成されることができ、又は、例えば、グループ内の全ての照明器具がコマンドを受信して同一の符号化された光情報を放射することができる。一旦グループが決定されると、次のステップでは、個々の照明器具が検出され得る。
上記の実施形態は、単に例示として説明されたことが理解されるであろう。
例えば、上記は機器6ごとに1つのカメラの場合に関して説明されたが、或いは、又は更に、同一の機器上に異なるカメラが含まれる可能性もある。この場合には、コントローラ21は、同一の機器上の異なる複数のカメラの露光時間を、少なくともそのようなカメラが符号化された光を検出するようになっている場合には、考慮に入れるように、また、1つ以上の変調周波数をそのようなカメラの各々によって検出可能となるように選択するように、構成されることができる。
更に、異なる複数の露光時間が単一の所与のカメラによって(例えば、高ダイナミックレンジの画像撮像のために)必要とされる可能性さえある。この場合には、コントローラ21は、同一の機器上の同一のカメラの複数の異なる露光時間を考慮に入れるように、また、1つ以上の変調周波数をそのカメラによって複数の露光時間の各々で検出可能となるように選択するように、構成されることができる。
開示される技術は、スマートフォン及びタブレットコンピュータなどのカメラベースの機器を用いた符号化された光の検出、(例えば、消費者及びプロフェッショナル領域における光装置のための)カメラベースの符号化された光の検出、個人のニーズに合わせた光制御、光ベースのオブジェクトラベリング、及び光ベースの屋内ナビゲーション、などの広範な用途に適用可能である。
更に、本発明の適用可能性は、ローリングシャッター技術に起因する、又は何らかの特定のフィルタリング効果若しくは検出スペクトルにおける死角に起因する、死角を回避することに制限されるものではない。例えば、グローバルシャッターは、フレームレートが十分に高い場合に使用されることができ、その場合には露光時間は、検出処理の周波数応答に対して依然として影響を与えることができる。異なる露光時間の使用により、変調された光を検出するために使用される任意の検出機器の露光時間に関連した任意の副作用又は制限から生じる周波数の死角に起因して変調が検出されないリスクを低減することができることが、本明細書の開示を考慮すると理解されるであろう。
上述したように、変調が矩形波のような非正弦波形の形態を取る場合、典型的に変調周波数は基本周波数を指す。死角が1/Texpの整数倍で発生する上記の例では、基本波及び基本波の整数倍の高調波からなる矩形波のような波形については、基本変調周波数が死角を確実に避けるようにすることは、高調波が死角を避けることも意味する。それにも関わらず、一般的には、符号化された光の成分は基本波及び/又は任意の所望の高調波の周波数で変調されると考えられ、変調周波数が死角に該当することを回避することは、基本波及び/又は(成分を検出する能力に影響を及ぼす)任意の所望の高調波が死角にあたることを回避することを意味し得ることは、除外されるものではない。
更なる変形例では、2つ以上の異なる露光時間を調停するように適合されるのは、必ずしも変調周波数ではなく、変調の何らかの他の特性である。上記は、1つ以上の識別可能な変調周波数(即ち、光源のIDとして作用する光源ごとに単一のトーン)を有する連続波(CW:continuous wave)変調で埋め込まれた符号化された光信号に関して説明されたが、開示されるアイデアは、シンボルの伝送のために多数のレートを有することができるパケット化された変調フォーマットに代替的に適用することができる。
後者は、データがパケット化された形態で光に符号化される状況を指す。データは、非ゼロ復帰(NRZ:non return to zero)、マンチェスター符号、3値マンチェスター符号などの方式を用いた符号であり得る(例えば、国際公開第2012/052935号を参照)。パケット化された伝送の場合には、メッセージフォーマットの種々の特性に対して好ましい値は、露光時間に依存し得る。従って、本明細書に記載される実施形態に従うと、2つ以上のカメラの異なる露光時間についての情報に応じて1つ以上のそのような特性を適合させることが望ましいことがある。
メッセージフォーマットの一例が図8aに示されている。実施形態では、小さなフットプリントを仮定してもメッセージが捕捉され得ることを確実にするために、符号化された光の信号は、同一のメッセージ27が連続して複数回反復されるフォーマットに従って送信されることができ、このタイミングは、カメラの露光時間、−又は、予期されるカメラの生じ得る露光時間の範囲−に関して、メッセージが複数のフレームに渡って「ロールする」ように設定される。即ち、メッセージの異なる部分が見られるにつれて、メッセージ全体が時間とともに構築されることを可能にするような態様で、メッセージの異なる部分が複数の異なるフレームの各々においてカメラによって見られるようにする。従って、ここで1つの潜在的な問題は、復元においてローリングシャッターカメラがフレームごとにメッセージの別の部分を画像化するように(メッセージの部分は必ずしも連続的ではなく、実際にローリングシャッターカメラについては、それらはしばしば連続的ではない)、メッセージ長(持続時間)Tが露光時間Texpに関して選択される態様である。本明細書に開示される実施形態に従うと、メッセージのタイミングは、複数のカメラの露光時間Texpに関する情報に応答して適合されることができる。
実施形態では、メッセージの実際のデータコンテンツ(ペイロード)30の長さ(持続時間)とは別に、同一メッセージの反復インスタンス間にメッセージ間アイドル期間(IMIP:inter-message idle period)34を含むことによって、メッセージ長T(及びこれに従ってメッセージ反復レート)が選択されることができる。そのように、メッセージコンテンツ単独では各フレームがメッセージの同一部分を多かれ少なかれ見ることにつながる場合でさえ、メッセージ間アイドル期間を使用してこの振る舞いを打破し、代わりに上述した「ローリング」状態を達成することができる。実施形態では、コントローラ21は、メッセージが複数のカメラの各々によって複数の異なる露光時間の各々で検出可能となるように、複数のカメラに係るTexpのフィードバックを考慮してメッセージ間アイドル期間を適合させるように構成される。
別の潜在的な問題は、シンボル間干渉(ISI:inter-symbol interference)であり、これは各行の露光のフィルタリング効果(各行が露光されるときに、実際上、時間領域に適用されるボックスフィルタ)の結果である。これを緩和するために、実施形態では、メッセージフォーマットは、メッセージの各インスタンスが複数の個々のパケット29(例えば、少なくとも3つ)を含み、かつ各パケットの間にパケット間アイドル期間(IPIP:inter-packet idle period)32を含むように、構成される。実施形態では、パケット間アイドル期間は各パケットの後に続き、最後のパケットの後の最後尾にメッセージ間アイドル期間(IMIP)34が付け加えられる(IPIP32及び潜在的に続くIMIP34を伴う、1つのパケットのみまでもが存在し得る)。
そのとき、シンボル間干渉は、パケット長及びパケット間アイドル期間の関数である。行内により多くのデータシンボルが存在するほど、シンボル間干渉(ISI)がより多くなる。従って、パケット長を、その間に適切なサイズのギャップを伴って小さく保つことが望ましい。データのバーストの間のアイドルギャップ(データが無い、例えば全てゼロ)が、パケット長を短く保つので、シンボル間干渉を緩和するのに役立つ。一方、パケットが短すぎるか又はIPIPが長すぎる場合、信号のデータレートが低下する。従って、実施形態では、コントローラ21は、複数のカメラの露光時間に係る実際の知識に応じてパケット長及び/又はIPIP(又はそれらの比率)を適合させるように構成されることができる。これらの特性のうちの1つ以上は、ISIが複数の露光時間のうちの何れかにおける検出を防ぐのに強すぎないように、それでもなお、信号のデータレートが、ISIに起因して検出不可能になることなく出来る限り高くなるように、適合されることが好ましい。
別の潜在的な問題はパケット間干渉(IPI:inter-packet interference)であり、これはパケット間アイドル期間に依存する。パケットが近いほど、パケット間干渉がより多くなる。一方、IPIPが長すぎる場合、再度信号のデータレートが低下する。従って、実施形態では、コントローラ21は、好ましくは、IPIが複数の露光時間の何れかでの検出を防ぐのに強すぎないように、それでもなお信号のデータレートがIPIに起因して検出不可能になることなく出来る限り高くなるように、複数のカメラの露光時間に係る知識に応じてIPIPを適合させるように構成されることができる。実施形態では、パケット間アイドル期間は、最も高い露光時間以上になるように設定される。即ち、最も長い露光時間を有するカメラが制限要因になる。従って、コントローラ21は、関連する露光時間の何れかにおける検出を防ぐには短すぎることがない範囲でのみ、チャネルの容量を最大化するために、コントローラ21が使用できる最も低いパケット間スペーシングが何であるのか交渉する。
本発明は、本発明を実行するように適合された、コンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも適用されることが、理解されよう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び部分的にコンパイルされた形態などでのオブジェクトコードの形態で、又は、本発明に従った方法の実装に使用するのに適した他の任意の形態で、あり得る。
コンピュータプログラム製品に関連する別の実施形態は、本明細書に記載されたシステム及び/又は製品のうちの少なくとも1つのものの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに更に分割され、かつ/又は静的に若しくは動的にリンクされ得る1つ以上のファイルに格納されることができる。
上記で明記されたように、本発明はコンピュータプログラム製品の形態で更に具現化されることができる。キャリア上で提供されるとき、コンピュータプログラムのキャリアは、プログラムを担持することができる任意の実在物又は機器であり得る。例えば、キャリアとしては、例えばCD ROM又は半導体ROMなどの、ROMなどの記憶媒体、又は例えばハードディスクなどの磁気記録媒体が挙げられ得る。或いは、キャリアは、プログラムが埋め込まれた集積回路であることができ、この集積回路は、関連する方法を実施するように適合されているか、又は関連する方法の実施において使用される。
開示された実施形態への他の変形例が、図面、開示、及び添付の請求項の研究から、特許請求された本発明を実施する際に当業者によって理解され実施されることができる。請求項において、単語「含む(comprising)」は他の構成要素又はステップを排除するものではなく、不定冠詞「1つの(a)」又は「1つの(an)」は、複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載される幾つかの項目の機能を実現することができる。特定の処置が互いに異なる従属請求項に記載されているという単なる事実は、これらの処置の組み合わせが利益を得るように使用され得ないということを示すものではない。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又は固体媒体などの適切な媒体上に格納される/配布されることができるが、インターネット又は他の有線の若しくは無線の電気通信システムを介してなど、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (16)

  1. 信号を埋め込むように変調された符号化された光を放射するために1つ以上の光源を制御するための装置であって、
    1つ以上の機器の1つ以上のカメラの2つ以上の露光時間に関連する情報を受信するためのインターフェースであって、前記1つ以上のカメラが前記変調に基づいて前記符号化された光を検出するように動作可能である、インターフェースと、
    前記変調が前記2つ以上の露光時間の各々で検出可能となるように、前記情報に基づいて、前記変調の少なくとも1つの特性を選択するコントローラと、
    を備える、装置。
  2. 前記符号化された光が少なくとも1つの変調周波数で変調され、前記特性が前記変調周波数を含み、前記コントローラが前記情報に基づいて前記少なくとも1つの変調周波数を選択して、前記2つ以上の露光時間の各々によって引き起こされる前記検出における周波数の死角を回避する、請求項1に記載の装置。
  3. 前記符号化された光が一連のパケットで変調され、前記少なくとも1つの特性が、前記パケットのパケット長、前記パケット間のパケット間アイドル期間、前記パケット長と前記パケット間アイドル期間との比率、前記パケット長及び前記パケット間アイドル期間の全長、及び/又は前記パケットから形成されるメッセージの繰り返しレート、を含む、請求項1に記載の装置。
  4. 前記1つ以上のカメラが複数のカメラであり、前記2つ以上の露光時間が前記複数のカメラのうちの異なるカメラの露光時間を含み、前記コントローラは、前記変調が前記異なるカメラの前記露光時間の各々で検出可能となるように前記少なくとも1つの特性を選択する、請求項1乃至3の何れか一項に記載の装置。
  5. 前記1つ以上の機器が複数のユーザ端末の形態での複数の機器であり、前記異なるカメラが前記ユーザ端末のうちの異なるユーザ端末上のカメラを含み、前記コントローラは、前記変調が前記異なるユーザ端末の各々の前記カメラの前記露光時間で検出可能となるように、前記少なくとも1つの特性を選択する、請求項4に記載の装置。
  6. 前記1つ以上の機器が1つ以上のユーザ端末の形態を取り、前記異なるカメラが前記1つ以上のユーザ端末のうちの同一のユーザ端末上の複数のカメラを含む、請求項4又は5に記載の装置。
  7. 前記露光時間が、前記1つ以上のカメラのうちの同一のカメラによって異なる時刻に使用される異なる露光時間を含む、請求項1乃至6の何れか一項に記載の装置。
  8. 前記少なくとも1つの変調周波数が複数の変調周波数であり、前記変調周波数が前記1つ以上の光源のうちの同一の光源の複数の変調周波数を含み、及び/又は、前記1つ以上の光源が複数の光源を含み、かつ前記変調周波数が前記光源の各々の光源の少なくとも1つの変調周波数を含み、
    前記コントローラが、前記変調周波数を、互いに区別されるように、かつ、前記2つ以上の露光時間の各々によって引き起こされる前記周波数の死角を各変調周波数が回避するように、選択する、請求項2又は請求項2に従属する請求項3乃至7の何れか一項に記載の装置。
  9. 前記装置が前記1つ以上の機器と前記1つ以上の光源との間を接続するブリッジ上に実装され、前記インターフェースが、前記1つ以上の機器から前記露光時間に関連する前記情報を受信する外部インターフェースを含む、請求項1乃至8の何れか一項に記載の装置。
  10. 前記装置が前記1つ以上の機器のうちの1つにおいて実装され、前記インターフェースが、前記1つ以上の機器のうちの前記1つから前記露光時間のうちの少なくとも1つに関連する前記情報を受信するための内部インターフェースを含む、請求項1乃至8の何れか一項に記載の装置。
  11. 前記1つ以上の機器が複数の機器であり、前記1つ以上のカメラが前記複数の機器のうちの異なる機器上の複数のカメラを含み、前記2つ以上の露光時間が前記複数の機器のうちの異なる機器上の前記複数のカメラのうちの異なるカメラの露光時間を含み、前記インターフェースが、前記ユーザ端末の別のものから前記露光時間のうちの少なくとも他の1つに関連する前記情報を受信する外部インターフェースを更に含む、請求項10に記載の装置。
  12. 前記1つ以上の機器が複数の機器であり、前記1つ以上のカメラが前記複数の機器のうちの異なる機器上の複数のカメラを含み、前記2つ以上の露光時間が前記複数の機器のうちの異なる機器上の前記複数のカメラのうちの異なるカメラの露光時間を含み、前記コントローラが、
    前記異なる機器の前記カメラの各々の前記周波数死角を回避する前記変調周波数に対して、値が選択され得るかどうかを決定することと、
    そうである場合、前記変調周波数に対して前記決定された値を選択することと、
    そうでない場合、前記複数の機器のうちの少なくとも第1の機器によって検出可能な前記変調周波数に対して第1の値を選択することと、前記第1の値を検出できない前記複数の機器のうちの少なくとも第2の機器に、前記第1の機器による検出が完了するまで待機するように要求することと、次いで、前記変調周波数を前記第2の機器によって検出可能な第2の値に変更することと、
    を含む交渉を実施する、請求項2又は請求項2に従属する請求項3乃至11の何れか一項に記載の装置。
  13. 前記1つ以上の機器が複数の機器であり、前記1つ以上のカメラが前記複数の機器のうちの異なる機器上の複数のカメラを含み、前記2つ以上の露光時間が前記複数の機器のうちの異なる機器上の前記複数のカメラのうちの異なるカメラの露光時間を含み、前記1つ以上の光源が複数の光源を含み、前記複数の光源が前記複数の機器のサブセットに対応するサブグループを含み、
    前記コントローラが、光源の前記サブグループに対する変調周波数の決定を、前記複数の機器の前記対応するサブセットによって検出可能な少なくとも1つの周波数を決定することに制限するように構成される、請求項2又は請求項2に従属する請求項3乃至12の何れか一項に記載の装置。
  14. 前記コントローラが、
    前記露光時間の各々に対する外乱閾値を超える前記検出から得られる信号を用いて、
    前記1つ以上のカメラが複数のカメラである場合には、前記異なるカメラの画像撮像素子上に現れるような前記変調の見かけの空間周波数の閾値差よりも大きい、及び/又は、
    前記1つ以上のカメラが複数のカメラを含む場合には、前記異なるカメラにより捕捉されるような前記変調の見かけの時間周波数の閾値差よりも大きい、
    前記変調周波数を選択する、請求項2又は請求項2に従属する請求項3乃至13の何れか一項に記載の装置。
  15. 前記コントローラが、前記変調周波数を、
    前記1つ以上のカメラのフレームレートの整数倍にならないように、及び/又は、
    最も高いラインレートを有する前記カメラのラインレートよりも大きくなるように、
    選択する、請求項2又は請求項2に従属する請求項3乃至14の何れか一項に記載の装置。
  16. 1つ以上の光源を制御して、信号を埋め込むために変調された符号化された光を放射するためのコンピュータプログラムであって、前記コンピュータプログラムが通信ネットワークからダウンロード可能であり、並びに/又はコンピュータ可読及び/若しくは実行可能媒体上に格納され、前記コンピュータプログラムが、コンピュータ可読媒体上に具現化されたコードであり、かつ1つ以上のプロセッサで実行されたときに、
    1つ以上の機器の1つ以上のカメラの2つ以上の露光時間に関連する情報を受信する動作であって、前記1つ以上のカメラが前記変調に基づいて前記符号化された光を検出するように動作可能である動作と、
    前記変調が前記2つ以上の露光時間の各々で検出可能となるように、前記情報に基づいて、前記変調の少なくとも1つの特性を選択する動作と、
    を実施するコードを含む、コンピュータプログラム。
JP2016567212A 2014-05-12 2015-04-29 符号化された光の検出 Pending JP2017518693A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14167832 2014-05-12
EP14167832.6 2014-05-12
PCT/EP2015/059263 WO2015173015A1 (en) 2014-05-12 2015-04-29 Detection of coded light

Publications (1)

Publication Number Publication Date
JP2017518693A true JP2017518693A (ja) 2017-07-06

Family

ID=50685797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016567212A Pending JP2017518693A (ja) 2014-05-12 2015-04-29 符号化された光の検出

Country Status (6)

Country Link
US (1) US20170148310A1 (ja)
EP (1) EP3143840A1 (ja)
JP (1) JP2017518693A (ja)
CN (1) CN106576412A (ja)
RU (1) RU2016148178A (ja)
WO (1) WO2015173015A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023530906A (ja) * 2020-06-10 2023-07-20 コーニンクレッカ フィリップス エヌ ヴェ 信号対雑音比のターゲティング

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6655810B2 (ja) * 2015-08-21 2020-02-26 パナソニックIpマネジメント株式会社 照明制御システム、およびこれに用いられる照明制御装置
JP7051107B2 (ja) * 2016-07-22 2022-04-11 国立大学法人 東京大学 送信装置、受信装置及びプログラム
WO2018073043A1 (en) * 2016-10-19 2018-04-26 Philips Lighting Holding B.V. Interactive lighting system, remote interaction unit and method of interacting with a lighting system
CN110914701A (zh) * 2017-07-26 2020-03-24 昕诺飞控股有限公司 用于经由光源传送设备的存在的系统
US10069572B1 (en) * 2017-09-07 2018-09-04 Osram Sylvania Inc. Decoding light-based communication signals captured with a rolling shutter image capture device
WO2019048457A1 (en) * 2017-09-11 2019-03-14 Signify Holding B.V. CODED LIGHT DETECTION USING ROLLING SHUTTER CAMERAS
CN110893096A (zh) * 2018-09-12 2020-03-20 上海逸思医学影像设备有限公司 一种基于图像曝光的多光谱成像系统和方法
US11882638B2 (en) 2019-06-18 2024-01-23 Signify Holding B.V. System and methods to provide group lighting interaction
EP3930218B1 (en) * 2020-06-23 2024-07-31 IMRA Europe S.A.S. Vlc in streets

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
JP6009450B2 (ja) * 2010-10-20 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 符号化光送信のための変調
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
JP6157011B2 (ja) * 2011-10-14 2017-07-05 フィリップス ライティング ホールディング ビー ヴィ 符号化光検出器
GB2496379A (en) * 2011-11-04 2013-05-15 Univ Edinburgh A freespace optical communication system which exploits the rolling shutter mechanism of a CMOS camera
JP6125535B2 (ja) * 2012-01-17 2017-05-10 フィリップス ライティング ホールディング ビー ヴィ 可視光通信
JP5881201B2 (ja) * 2012-09-10 2016-03-09 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光検出システム及び方法
CN103383446B (zh) * 2013-04-09 2017-07-07 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023530906A (ja) * 2020-06-10 2023-07-20 コーニンクレッカ フィリップス エヌ ヴェ 信号対雑音比のターゲティング
JP7330403B2 (ja) 2020-06-10 2023-08-21 コーニンクレッカ フィリップス エヌ ヴェ 信号対雑音比のターゲティング

Also Published As

Publication number Publication date
CN106576412A (zh) 2017-04-19
WO2015173015A1 (en) 2015-11-19
RU2016148178A (ru) 2018-06-19
EP3143840A1 (en) 2017-03-22
US20170148310A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP2017518693A (ja) 符号化された光の検出
US9363857B2 (en) Modulation of light emitted by a lighting device, using plurality of different modulation periods
Rajagopal et al. Visual light landmarks for mobile devices
JP6096383B2 (ja) 符号化光成分の変調
EP2737779B1 (en) Self identifying modulated light source
KR20150121112A (ko) 전력 효율적인 조인트 디밍 및 가시광 통신을 위한 방법 및 장치
JP2015534316A (ja) 光検出システム及び方法
EP2910019A2 (en) Self-identifying one-way authentication method using optical signals
US10128944B2 (en) Detecting coded light
WO2014164951A1 (en) Automatic location-based camera frame rate settings
JP2020507258A (ja) 符号化光の検出
US20210135753A1 (en) Detecting coded light