JP2016513332A - ユーザがコード化光源を制御できるようにする方法及びシステム - Google Patents

Abstract

本発明は、ユーザが、コード化光（ＣＬ）源を制御できるようにする方法に関する。当該方法は、少なくとも１つのＣＬ源によって照らされるシーンの１つ以上の画像を得た後に行われる。取得された画像内にＣＬ源の像がある。当該方法は、ＣＬ源の光出力に埋め込まれたコードに基づいて、当該ＣＬ源の光出力がシーン内にあることを決定するために、取得された画像を処理するステップと、取得された画像におけるＣＬ源の像の位置を決定するために、取得された画像を処理するステップと、シーンを示すユーザインターフェースを提供するステップと、当該ユーザインターフェース内に制御アイコンを提供するステップとを含み、制御アイコンは、ユーザに、ＣＬ源の決定された位置に基づいて、当該制御アイコンは、ＣＬ源を制御するように適応されていることを示す。

Description

本発明の実施形態は、概して、照明システム及び光学受信器の分野に関し、より具体的には、ユーザが、当該照明システムに含まれるコード化光源を個別に制御できるようにするシステム及び方法に関する。

複数の光源を含む現在の照明システムでは、光源の選択及び制御は、通常、スイッチを有する壁パネルといった固定されたデバイスによって行われる。スイッチは、点灯若しくは消灯、又は、調光するように光源を制御するために使用される。ユーザが、光源のどれかを変更しようとする場合、ユーザは、壁パネルに戻らなければならない。当然ながら、ユーザは、どのスイッチがどの光源を制御するのかを知っている必要がある。しかし、大抵の場合は、スイッチ又は光源に印がつけられているわけではないので、そのような情報を持っていない。このような状況は、複数の光源及び複数のスイッチがある場合に、特に問題となり、所望の光源を制御するスイッチは、試行錯誤することによって見つけられる。

最近の開発によって、データ信号に応えて光出力の１つ以上の特性を変調することによってその光出力にデータを埋め込むことができる光源が作成されている。このような光出力は、時に、「コード化光」と呼ばれ、「ＣＬ」と略される。このような光源は、「ＣＬ源」と呼ばれる。好適には、光出力は、高周波数で変調されるので、変調は、人間に目には見えない。

ＣＬを適用できる１つのシナリオとしては、光源が、その識別情報（ＩＤ）をその光出力に埋め込むことが挙げられる。このシナリオは、ユーザが、検出されたＣＬを使用して、光源のＩＤに基づいて光源を選択し、次に、選択された光源の設定を調節できるいわゆるポイントアンドコントロールアプリケーションに特に有用である。原理上は、これは、ユーザにとって、複数の固定スイッチを使用するよりも簡単な方法で、複数の光源を個別に制御する保証を提供する。

検出システム内のカメラが、シーンの１つ以上の画像を取得し、これらの画像は次に、特定のＣＬ源の光出力がシーン内にあるかどうかを決定するために処理される検出システムが知られている。カメラは、光源を制御する遠隔制御部に組み入れられていても、スイッチ又はセンサデバイスといった別のユニットに含まれていてもよい。この技術は更に、共通に利用可能なスマートホン及びタブレットを、当該デバイスにカメラが搭載されている（通常そうであるが）ことを前提として、ＣＬ検出器として使用する可能性を切り開く。

このようなシステムは、特定のＣＬ源の光出力がシーン内にあるかどうかを決定することを可能にする一方で、取得された画像が、光出力を提供する実際の複数の光源の画像を含む場合、どの光源が、どの検出された光出力を提供しているのかを、必ずしもユーザに対し特定することができない。

どの光源が検出されたＣＬ出力のうちどのＣＬ出力を生成したのかを必ずしも特定できない１つの理由として、カメラを、光源にまっすぐに向けることは、カメラセンサを飽和状態にさせる傾向があることがある。これが起きると、飽和状態のカメラセンサは、ＣＬデータを埋め込むために使用されたデータ変調を決定するために必要な受信信号における差を検出することができないため、ＣＬ検出を行うことができなくなる。

当技術分野において、上記された問題の少なくとも幾つかを改善するように、ユーザがＣＬ源を個別に制御できるようにする技術が必要である。

本発明は、ユーザが、シーンを照らす個々のＣＬ源を特定できるようにするカメラベースの制御システム及び方法を提供し、また、ユーザに、当該光源を個別に制御する手段を提供することを１つの目的とする。本発明は、検出されたＣＬを生成した光源を特定できるように、そのうちの少なくとも幾つかはカメラセンサを飽和状態にさせる複数の光源からのＣＬを検出するのに適したカメラベースの制御システム及び方法を提供することを更なる目的とする。

方法及び対応する制御システムが提案される。当該方法は、少なくとも第１の光源を含む照明システムによって照らされるシーンの１つ以上の画像を得た後に行われる。第１の光源は、シーン内にあるので、第１の光源の像は、当該シーンの１つ以上の画像内にある。第１の光源は、第１のコードを含む第１の光出力を提供するＣＬ源であり、第１のコードは、第１の光出力の１つ以上の特性における、例えばパルス幅変調又は振幅変調といった変調の第１のシーケンスとして第１の光出力に埋め込まれる。上記方法は、第１の光出力に埋め込まれた第１のコードに基づいて、第１の光出力がシーン内にあることを決定するために、１つ以上の画像を処理するステップと、１つ以上の画像における第１の光源の像の位置を決定するために、１つ以上の画像を処理するステップとを含む。上記方法は更に、シーンを示すユーザインターフェースを提供するステップと、第１の制御アイコンをユーザインターフェース内に提供するステップとを含み、当該第１の制御アイコンは、ユーザに、第１の光源の決定された位置に基づいて、当該第１の制御アイコンを、第１の光源を制御するために使用することを示す。

本発明の実施形態は、光を生成する実際の光源を含むシーンの１つ以上の画像が取得される場合に、シーン内の１つ以上の特定のＣＬ源の光出力の存在を検出するために取得された画像を処理することに加えて、取得された画像内に、検出されたＣＬの存在に関与する光源の像の位置を決定するためにも、画像は処理されるという認識に基づいている。画像内の特定のＣＬ源の位置を正しく特定することによって、シーンを示すユーザインターフェース内の制御アイコンの位置が、当該特定の光源の決定された位置に対応し、これにより、ユーザに、制御アイコンを、当該特定の光源を制御するために使用することができることを示すという意味で、ユーザインターフェース内の正しい場所に、当該制御アイコンを配置することができる。シーンを示すユーザインターフェースは、例えば取得された画像のうちの１つ、又は、その図式表現を表示するディスプレイであってよい。シーンは、第１の光源を含むので、シーンの画像は、当該光源の像を含む。画像内の第１の光源の像の位置が決定されるので、第１の制御アイコンは当該特定の光源を制御するためのものであるとユーザが認識できるように、第１の制御アイコンはユーザインターフェース内に配置される。例えば制御アイコンは、ユーザインターフェース内の第１の光源の像の上に表示される。このような実施形態は、ユーザがユーザの検出／制御デバイスを複数の光源を含むシーンに向け、当該デバイスを使用してシーンの１つ以上の画像を入手し、当該シーンを示し、当該シーンを照らす個々のＣＬ源の制御アイコンを含むユーザインターフェースが提示される例えばポイントアンドコントロールアプリケーションにおいて使用される。

更なる実施形態では、１つ以上の取得された画像のそれぞれは、画素のマトリクスを含む。本明細書において使用されるように、「画像の画素」とのコンテキストにおける「画素」との用語は、シーン内の特定の点に対応する画像の画像データの単位を指す。画像データは、シーン内の様々な点における照明システムの総光出力の強度又はその派生物を含む。画像データを画素の行列に配列することは、３次元のシーンを２次元の画像で表す１つの方法である。このような実施形態では、上記方法は更に、１つ以上の画像の少なくとも１つの検出領域を特定するステップを含み、当該検出領域は、第１のコードの特定を可能にする複数の画素を含む。この場合、第１の光出力がシーン内にあることを決定するために、１つ以上の画像を処理する上記ステップは、第１のコードを特定するために、検出領域の複数の画素を処理するステップを含む。本コンテキストで用いられるように、「特定する」との用語は、事前に制御システムに知られている第１のコードが検出領域の少なくとも一部分にあるという決定だけでなく、事前に制御システムに知らされていないが、検出領域の少なくとも一部分にある第１のコードの決定も包含する。更に、このような実施形態では、上記方法は更に、１つ以上の画像の少なくとも１つの飽和領域を特定するステップを含み、当該飽和領域は、１つ以上の画像のそれぞれについて、所定の閾値を上回る強度を含む１つ以上の画素を含む。当業者であれば認識するであろうが、所定の閾値を上回る強度を含む画素は、当該画素データを提供するセンサが飽和状態にあることを示す。上記方法は更に、検出領域の１つ以上の特性を決定するステップと、飽和領域の１つ以上の特性を決定するステップとを含む。１つ以上の画像における第１の光源の位置を決定するために、１つ以上の画像を処理する上記ステップは、検出領域の決定された特性と飽和領域の決定された特性との間に、１つ以上の所定の照合基準による一致が確立される場合に、飽和領域の少なくとも一部分を、特定された第１のコードを含む第１の光出力を提供した照明システムの光源の位置として特定するステップを含む。

ＣＬの検出が可能ではない飽和領域と、ＣＬの検出が可能である検出領域とを区別することによって、１つ以上の画像を取得するカメラが、当該カメラの画像センサの光源飽和部の方向に向けられても、ＣＬを検出することができる。特定された飽和領域の特性を決定し、特定された検出領域の特性と比較することによって、当該比較が所定の幾つかの点で一致を決定する場合に、飽和領域の少なくとも一部分を、検出されたＣＬを生成した光源の位置として特定できる。したがって、取得された画像の１つの領域、即ち、検出領域から特定される埋め込まれた第１のコードは、第１の光源と関連付けられ、その像は、取得された画像の別の領域、即ち、飽和領域の少なくとも一部分を、検出領域から特定された第１のコードを生成した光源として形成する。このようにして、光源自体は、カメラの画像センサを飽和状態にさせることで、当該画像センサがシーン内の光源の位置に対応する画素から埋め込みコードを検出できなくても、取得された画像内に、検出された埋め込みコードを含む光出力を生成した光源の像の位置を決定することができる。

取得された画像内に、２つ以上の検出領域及び／又は２つ以上の飽和領域が特定される場合、特性の決定は、特定された飽和領域及び検出領域のそれぞれに対して行われ、特定された特性間の一致の決定は、検出領域と飽和領域との各対について行われる。

一実施形態では、検出領域の１つ以上の特性は、検出領域の重心を含み、飽和領域の１つ以上の特性は、飽和領域の重心を含み、この場合、１つ以上の所定の照合基準は、検出領域の重心と飽和領域の重心との間の距離が、所定の閾値距離未満である場合に、一致を確立することを含む。この実施形態は、大きい処理リソースを必要とせず、また、飽和領域と検出領域とが画像内で互いの近くにある通常の場合にうまくいくので、特に有利である。

一実施形態では、検出領域の１つ以上の特性は、１つ以上の画像における検出領域の位置を含み、飽和領域の１つ以上の特性は、１つ以上の画像における飽和領域の位置を含み、この場合、１つ以上の所定の照合基準は、飽和領域の位置と検出領域の位置とが、飽和領域は検出器領域内に含まれることを示す場合に、一致を確立することを含む。この実施形態は、取得されたカメラ画像からも得られるシーンの３Ｄ形状の知識を使用することを可能にするため、飽和領域と検出領域とが離れているより難しい場合に特に有利である。

一実施形態では、検出領域の１つ以上の特性と、飽和領域の１つ以上の特性との間の一致は、最大尤度照合法によって確立される。当該最大尤度照合法は、統計モデルに基づいて第１の光源の位置に関する結論を出すための統一されたアプローチを有利に提供する。

一実施形態では、飽和領域の少なくとも一部分を、特定された第１のコードを含む第１の光出力を提供した照明システムの第１の光源の位置として特定する上記ステップは、第１の光源のタイプ、第１の光源のサイズ、及び、第１の光源の予想される取付け位置のうちの１つ以上を示す追加情報又はメタデータを使用することに基づいている。メタデータを使用すると、第１の光源の像の位置を正しく決定する可能性が増加されると予想される。

一実施形態では、シーンを示すユーザインターフェースを提供する上記ステップは、１つ以上の画像のうちの少なくとも１つの画像又はその表現を含むユーザインターフェースを提供するステップを含み、少なくとも１つの画像又はその表現は、シーン内にある第１の光源の像を含む。このようにして、ユーザは、撮影されたシーン内にある光源を制御するために直感的に理解できるユーザインターフェースが提示される。

一実施形態では、第１の制御アイコンは、第１の光源の像又は第１の光源の光効果に少なくとも部分的に重なるオーバーレイとしてユーザインターフェース内に提供され、当該アイコンが、特定の光源を制御するために使用されるべきであることをユーザに明確に示す。

一実施形態では、第１の制御アイコンは、クリック可能なインタラクティブ制御を提供し、これにより、ユーザが、ユーザインターフェース内の第１の制御アイコンをクリックすることに反応して、第１の光源を制御するためのメニュが、ユーザに提供される。

一実施形態では、上記方法は更に、ユーザインターフェースを介して、第１の光源を制御するためのユーザの要求を示すユーザ入力を受信するステップと、受信したユーザ入力を第１の光源を制御するための１つ以上の制御コマンドに変換するステップと、１つ以上の制御コマンドを第１の光源に提供するステップとを含む。このようにして、光源の実際の制御が実現される。

一実施形態では、１つ以上の制御コマンドは、バックチャネルを介して、第１の光源に提供される。この実施形態の利点は、光源の制御が、ＣＬを使用して光源の識別子が検出されるとすぐに、このチャネルを介して行われ、特定の光源のネットワークアドレスが、識別子から導出され、光源を制御するために使用される点である。バックチャネルは、有線又は無線（無線周波数、赤外線又は更にはＣＬ）であってよい。

一実施形態では、１つ以上の取得された画像のうちの少なくとも１つは、ロールシャッタ画像センサによって取得されたものである。ロールシャッタ画像センサでは、画像センサの様々な部分が、異なる時点で露光され、これにより、第１の変調シーケンス（即ち、第１のコード）が、１つ以上の取得された画像のうちの当該少なくとも１つにおいて、交互ストライプとして観察可能である。ＣＬを検出する目的でロールシャッタ画像センサを使用することは、国際特許公開公報ＷＯ２０１２／１２７４３９Ａ１に詳細に説明されている。この開示内容は、参照することにより、本明細書にその全体を組み込む。ロールシャッタ画像センサを使用する１つの利点は、当該画像センサのデザインがより単純であることによって、グローバルシャッタを使用する画像センサよりも費用があまりかからない点である（これは、例えば１画素あたりに必要なチップ領域が小さいからである）。別の利点は、当該画像センサは、タブレット及びスマートホンにおいて、今日、採用されているセンサであって、このような一般的なデバイスを、本発明の実施形態を実施するのに特に適しているようにする点である。

本発明の一態様によれば、制御システムが開示される。当該制御システムは、本明細書に説明される方法を実行する処理ユニットを少なくとも含む。様々な実施形態において、処理ユニットは、ハードウェア、ソフトウェアにおいて、又は、ハードウェアコンポーネントとソフトウェアコンポーネントとの両方を有するハイブリッドソリューションとして実施可能である。一実施形態では、制御システムは更に、処理ユニットによって処理される１つ以上の画像を取得する、例えばカメラである光検出手段を含む。このような制御システムは、例えば照明システムを制御する遠隔制御器に組み入れられても、又は、タブレットコンピュータ、スマートホン、スイッチ又はセンサデバイスといった別のユニット内に含まれてもよく、この場合、当該別のユニットは、照明システムの個々のＣＬ源を制御するためにも使用される。

更に、本明細書に説明される方法を実行するためのコンピュータプログラム、及び、当該コンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体も提供される。コンピュータプログラムは、例えば既存の制御システム（例えば既存の光学受信器、遠隔制御器、スマートホン又はタブレットコンピュータ）にダウンロード（アップデート）されても、これらのシステムの製造時に記憶されてもよい。

以下に、本発明の実施形態が更に詳細に説明される。しかし、当然ながら、この実施形態は、本発明の保護範囲を限定すると解釈されるべきではない。

図１は、本発明の一実施形態による構造体内に設置される照明システムの概略図である。 図２は、本発明の一実施形態による制御システムの概略図である。 図３は、本発明の一実施形態による、ユーザがシーンへの光寄与を提供する少なくとも１つのＣＬ源を制御できるようにする方法ステップのフロー図である。 図４は、本発明の一実施形態による、２つの光源がシーンへの光寄与を提供する場合の複数の取得された画像のうちの１つの画像の概略図である。 図５は、本発明の一実施形態による、シーンへの光寄与を提供する光源を制御するための制御アイコンを提供するユーザインターフェースの概略図である。 図６は、本発明の一実施形態による、ユーザがシーンへの光寄与を提供する少なくとも１つのＣＬ源を制御できるようにする更なる方法ステップのフロー図である。 図７は、本発明の一実施形態による、シェードで覆われた光源の検出領域及び飽和領域の概略図である。

以下の説明において、本発明のより完全な理解を提供するために、多数の特定の詳細が記載される。しかし、当業者には明らかであるように、本発明は、これらの特定の詳細のうちの１つ以上がなくても実施することができる。その他の点として、良く知られた特徴は、本発明を曖昧としないために、説明されていない。

図１は、ここでは部屋である例示的な構造体１００を示し、その中に照明システム１１０が設置されている。図１に示される例示的な実施形態では、照明システム１１０は、２つの光源１２１、１２２を含む。光源は、例えば高／低圧力ガス放電源、レーザダイオード、無機／有機発光ダイオード、白熱源又はハロゲン源といった任意の適切な光源を含む。動作時、光源１２１によって提供される光出力及び／又は光源１２２によって提供される光出力は、構造体１００の少なくとも一部分を照らすように照明システム１１０によって提供される全照明に寄与する。光源１２１、１２２からの構造体への照明寄与は、それぞれ、図１において、フットプリント１３１、１３２として示される。光源からのフットプリントは重なり合ってもよい。

光源１２１、１２２の少なくとも一方の光出力は、光出力が個別の識別子コードＩＤ＃１、２をそれぞれ含むようにコード化される。個別の識別子コードは、通常、光源から放射された光の特性における変調の時間的シーケンスとして放射される埋め込みコードである。本明細書において使用されるように、「識別子」又は「ＩＤコード」との用語は、照明システム内の個々のＣＬ源の十分な特定を可能にする任意のコードを指す。ＣＬ源によって生成されるコード化光は更に、例えば現在の光設定及び／又は他の情報といった光源に関する他の情報を含んでもよい。しかし、簡潔とするために、本明細書では、発明の概念の基本的な考えを説明するために、識別子コードについてのみ述べる。

コードは、特定のコード信号に応えて光源に適用される駆動信号を変調することによって、ＣＬ源の光出力に埋め込まれる。当業者に知られている、コードを光源の光出力に埋め込む技術（例えばパルス幅変調、振幅変調等）は、様々あるので、本明細書では、詳細には説明しない。

一実施形態では、識別子コードは、Ｎ個のシンボル（例えばビット）の反復シーケンスを含む。本明細書において使用されるように、「シンボル」との用語は、単一ビットのみならず、単一シンボルによって表現される複数ビットにも該当する。後者の例としては、データを埋め込むために０及び１が存在するだけでなく、複数の離散的なレベルも存在するマルチレベルシンボルが挙げられる。このようにすると、照明システムの総光出力は、複数の識別子コードを含む。各識別子コードは、個々の光源から生じたものである。

照明システム１１０は更に、ユーザが、光源１２１、１２２のうちの少なくともＣＬを生成するように構成された光源を制御できるようにする制御システム１４０を含む。例示目的として、光源１２１、１２２は共に、それぞれ、異なる識別子ＩＤ＃１、ＩＤ＃２を有するＣＬを生成するＣＬ源であると仮定する。図２は、本発明の一実施形態による制御システム１４０をより詳細に示す。しかし、本明細書において説明される教示内容は、そのうちの１つ以上の光源がＣＬ源である任意の数の複数の光源を含む照明システムにおける当該ＣＬ源を制御するのにも適用可能である。例えば本明細書において説明される教示内容は、ＣＬ源を１つだけ有し、また、１つ以上の非ＣＬ源を有する照明システム（例えば光源１２１がＣＬ源であり、光源１２２はＣＬ源ではない照明システム１１０）にも適用可能である。

図２に示されるように、制御システム１４０は、シーンの１つ以上の画像を取得するカメラの形の光検出手段２１０と、本明細書において説明される方法に従って取得された画像を処理する処理ユニット２２０と、照明システムのＣＬ源を制御するユーザインターフェースを表示するディスプレイ２３０とを含む。任意選択的に、制御システム１４０は、メモリ２４０と、光源を制御するために特に指定された制御（ＲＦ／ＷｉＦｉ）ユニット（図２には図示せず）を含んでいてもよい。更に、制御システム１４０は、単一のユニットとして示されているが、当業者は、制御システム１４０内にあるべきとして図２に示される個々の要素の機能は、幾つかの他のユニット間で分散されていてもよいことは認識するであろう。

図３は、本発明の一実施形態による、ユーザがシーンへの光寄与を提供する少なくとも１つのＣＬ源を制御できるようにする方法ステップのフロー図である。上記されたように、光源１２１、１２２は共に、ＣＬを生成すると仮定されているので、図３の方法ステップに従うことによって、ユーザが、これらの両光源を制御することが可能にされる。方法ステップは、図１及び図２に示される要素と関連して説明されているが、当業者は、任意の順序で方法ステップを行うように構成された任意のシステムが、本発明の範囲内であることを認識するであろう。

図３の方法は、ステップ３１０で開始する。ステップ３１０では、カメラ２１０がシーンの１つ以上の画像を取得する。シーンは、当該シーンの少なくとも一部分が、制御されるべきＣＬ源の光出力の少なくとも一部分を含み、当該シーンの少なくとも一部分が、ＣＬ源自体を含むように選択される。これは、例えば光源１２１、１２２のうち、光源１２１のみがＣＬ源である場合、シーンは、フットプリント１３１の少なくとも一部分だけでなく、光源１２１自体も含むように、選択されるべきであることを意味する。光源１２１、１２２が共にＣＬ源である本例では、これは、シーンは、フットプリント１３１、１３２の少なくとも一部分だけでなく、光源１２１、１２２も含むように選択されることを意味する。

１つ以上の画像を取得する１つの目的は、特定のＣＬ源の光出力がシーン内にあるかどうかを後に検出することである。したがって、取得される画像の最小数は、取得された画像がこのような検出を可能にするような数であるべきである。様々な検出技術が良く知られているので、当業者は、所与の設定において検出を行うのに十分な画像数を認識できるだろう。画像の最小数は、例えば光源のタイプ及び数、コードを光源の光出力に埋め込むために使用される技術、使用されるカメラ、及び、画像処理に使用される検出技術のうちの１つ以上に依存する。例えばカメラの画像センサの様々な部分が異なる時点で露光されるロールシャッターカメラが使用される場合、例えば米国特許第８，２４８，４６７Ｂ１号、国際特許公開公報ＷＯ２０１２／１２７４３９Ａ１及び米国特許出願番号第６１／６９８，７６１号に説明されるように、埋め込まれたコードは、画像における交互ストライプとして観察できるので、たった１つの画像で十分である。他方では、カメラの画像センサのすべての部分が１フレームの間に同じ時間インスタンスで露光されるグローバルシャッタカメラが使用される場合、国際特許公開公報ＷＯ２０１１／０８６５０１Ａ１に説明されるように、埋め込まれたコードは、Ｎ個のシンボルからなる反復シーケンスを含み、少なくともＮ個の異なる画像が取得されるべきである。各画像は、Ｎ個のシンボルからなる反復シーケンス内の様々な時間的位置における１回以上の露光を含む総露光時間で取得される。当然ながら、例えば様々な光源の光出力の検出の確率を向上させるために、又は、様々な光源の光寄与における経時変化を追跡するために、より多くの画像が取得されてもよい。

１つ以上の画像が取得された後、方法は、ステップ３２０に進む。ステップ３２０では、処理ユニット２２０が、何れかの既知の検出技術を用いて、シーン内に光源１２１の光出力があることを決定するために、取得された画像のうちの少なくとも幾つかを処理する。このために、処理ユニット２２０は、取得された画像から、光源１２１の光出力に埋め込まれているＩＤコードを特定する。一実施形態では、処理ユニット２２０は、照明システム１１０内の様々なＣＬ源のＩＤコード、又は、これらのＩＤコードの派生物、即ち、パラメータへのアクセスを有する。パラメータから、ＩＤコードに関する情報が得られる。別の実施形態では、照明システム内のＣＬ源のうちの少なくとも幾つかのＣＬ源のＩＤコードは、最初は、処理ユニット２２０に知られていない場合もある。この場合、処理ユニット２２０は、コード化光内にメッセージをコード化するために使用されたプロトコルへのアクセスしか有さない。使用されたプロトコルが事前に知られていない場合は、処理ユニット２２０は、コード化光内のメッセージを復号化できるように、使用されたプロトコルを認識できるように構成される。したがって、光源１２１の光出力に埋め込まれたＩＤコードを特定することは、ステップ３２０の前に、処理ユニット２２０がアクセスを有するＩＤコードが取得された画像内にあるという決定、又は、取得された画像からの、処理ユニット２２０には事前に知られていないＩＤコードの決定を含む。処理ユニット２２０は、同様に、光源１２２の光出力もシーン内にあるかどうか決定するために、取得された画像を処理することができる。

ステップ３２０の前又は同時に行われてもよいステップ３３０において、処理ユニット２２０は、取得された画像内の少なくとも１つのＣＬ源の像の位置を決定するために、取得された画像のうちの少なくとも幾つかを処理する。照明システムの２つの光源がＣＬ源である本例では、処理ユニット２２０は、光源１２１の像の位置と、光源１２２の像の位置との両方を決定する。一実施形態では、これは、検出領域及び飽和領域の重心を使用して行われる。別の実施形態では、これは、飽和領域（即ち、光源自体）の位置及び検出領域（例えば壁上の当該光源のフットプリント）の位置を使用して行われる。部屋の３Ｄ形状モデルが、例えば遠近情報によって、画像から推定されると、推定された３Ｄモデルを使用して、３Ｄ空間における光源の位置を推定し、その位置を、取得された画像における当該光源の画像の位置に関連付けることができる。

ステップ３４０において、処理ユニット２２０は、画像が取得されたシーンを示すユーザインターフェースを生成する。このようなユーザインターフェースは、例えば取得された画像のうちの１つの画像、又は、シーンを示す図式表現（即ち、簡易図）を含む。シーンは、制御されるべきＣＬ源を含むように選択されているので、ユーザインターフェースは、例えば図４におけるユーザインターフェース４００に示されるように、シーン内にこれらのＣＬ源の像を含む。

方法は、ステップ３５０において終了する。ステップ３５０では、処理ユニット２２０は、ステップ３２０において決定されたシーン内の総光出力に寄与し、その位置はステップ３３０において決定された照明システムのＣＬ源（即ち、本例では、光源１２１及び／又は１２２）を制御するための制御アイコンをユーザインターフェース内に提供する。制御アイコンは対応するＣＬ源を制御するために使用されるべきことをユーザに示すために、ステップ３３０において決定された光源の像の位置に対して、制御アイコンはユーザインターフェース内に置かれる。例えばこれは、図５に示されるように実現される。図５は、光源１２１用の制御アイコン５１１と、光源１２２用の制御アイコン５１２とを含むユーザインターフェース５００を示す。制御アイコン５１１、５１２は、それぞれ、ユーザインターフェースにおいて、光源１２１、１２２の像に少なくとも部分的に重なる視覚的オーバーレイとして置かれているので、ユーザは、これらのアイコンが、対応する光源を制御するために使用されるべきであることは直感で理解できる。これに追加して又はこれに代えて、これは、取得された画像のうちの１つを示すユーザインターフェース内に、特定のＣＬ源のＩＤコードがある領域の輪郭を示すことによって実現されてもよい。

一実施形態では、制御アイコンは、クリック可能なインタラクティブ制御を提供する。これにより、ユーザが、ユーザインターフェース内の制御アイコンをクリックすることに反応して、第１の光源を制御するためのメニュがユーザに提供される。これは、図５において示されている。図５では、アイコン５１１が、アイコン５１２とは異なるシェーディングを有し、アイコン５１１がユーザによって（例えばクリックすることによって）選択されたことが示されている。ユーザの選択に反応して、光源１２１を制御するための様々なオプションを示すメニュ５２１が表示される。図５の例示的な実施形態に示されるように、ここでは、ユーザは、光源１２１の照明を消す、点ける、調光する又は照明方向を変更するように選択できる。したがって、任意選択的な実施形態では、方法は、ステップ３５０の後に、処理ユニット２２０が、ユーザインターフェースを介して、光源１２１を制御するためのユーザの要求を示すユーザ入力を受信し、受信したユーザ入力を、光源１２１を制御するための１つ以上の制御コマンドに変換する追加ステップを含んでもよい。当該制御コマンドは、例えば無線周波数バックチャネルを介して、光源１２１に提供される。

一実施形態では、照明システム１１０内のＣＬ源は、イーサネット（登録商標）ケーブルによってローカルＩＰネットワークに接続され、例えばｉＰａｄ（登録商標）といった制御システム１４０は、同じネットワークに接続されたＷｉＦｉルータを介して、ＣＬ源と通信することができる。このために、制御システム１４０は、例えばステップ３２０の一部として、従来のＷｉＦｉ発見技術を使用して、ＣＬ源のＩＰアドレスを入手し、当該ＩＰアドレスを、検出されたコード化光から得られたＩＤと照らし合わせる。

上記の方法は、ユーザが、シーンの１つ以上の画像が取得されたその瞬間におけるシーンへの光寄与を実際に提供する照明システム内のＣＬ源を制御できるようにするために適用可能である。したがって、一実施形態では、本明細書において説明される方法は、ユーザに、照明システム内にあるすべてのＣＬ源の制御アイコンを提供するために、処理ユニット２２０が、ステップ３１０において１つ以上の画像が取得される短時間の間に、各ＣＬ源がシーンに十分な光寄与を提供するようにすべてのＣＬ源を点灯するコマンドを、照明システム１１０内のすべてのＣＬ源に提供することを含む。

図６は、本発明の一実施形態による、ユーザが、シーンへの光寄与を提供する少なくとも１つのＣＬ源を制御できるようにする更なる方法ステップのフロー図である。図３の方法ステップと同様に、図６の方法ステップは、図１及び図２に示される要素と関連して説明されているが、当業者は、任意の順序で方法ステップを行うように構成された任意のシステムが、本発明の範囲内であることを認識するであろう。

図６の更なるステップは、シーンへの光寄与を提供するＬＣ源のうちの１つ以上が、図３のステップ３１０において画像が取得される際に、カメラセンサを飽和状態にさせる状況について対処する。本明細書において上記されたように、カメラセンサが飽和状態にされると、受信信号における差を検出することができないため、埋め込まれたＩＤコードを検出することができなくなる。

図６は、ステップセット６１０とステップセット６２０とに分けられる。ステップセット６１０は、ステップ３１０の後、図３のステップ３２０の前に又はステップ３２０の一部として行われる。ステップセット６２０は、図３のステップ３１０の後及び図６のステップ６１２及び６１４の後、図３のステップ３３０の前に又はステップ３３０の一部として行われる。

ステップ３１０において、撮像されると、カメラ２１０は、シーン内のすべての位置における照明システムの総光出力の強度を取得する。本願では、（光出力の）「強度」との用語が使用される場合は常に、例えば光の色、色温度、光スペクトル及び光強度の変化といった「強度の派生物」も含まれることが理解されるべきである。画像は、通常、複数の画素に分割され、各画素は、シーン内の異なる物理的位置における照明システムの総光出力の強度を表す。図４及び図５に示される本例では、照明システムの総光出力は、光源１２１からの光寄与と、光源１２２からの光寄与とを含む。

ステップ６１２において、処理ユニット２２０は、画像の１つ以上の飽和領域を特定する。飽和領域は、所定の閾値を上回る強度を含む１つ以上の画素を含み、これは、当該画素データを提供したカメラセンサが飽和状態であることを示す。ステップ６１４において、処理ユニット２２０は、画像の１つ以上の検出領域を特定する。検出領域は、シーン内にある埋め込みコードの特定を可能にする複数の画素を含む。これは、例えば画像を小さいセグメントに分割し、セグメント毎に、ＣＬ識別子の存在を決定することによって行われる。

ステップ６１６において、処理ユニット２２０は、光源１２１の光出力に埋め込まれたコードＩＤ＃１を特定するために、特定された検出領域の１つ以上の画素を処理することによって、光源１２１の光出力がシーン内に存在することを決定することができる。同様に、処理ユニット２２０は、光源１２２の光出力に埋め込まれたコードＩＤ＃２を特定するために、特定された検出領域の１つ以上の画素を処理することによって、光源１２２の光出力がシーン内に存在することを決定することができる。

ステップ６１２〜６１６は、飽和状態の画像の画素から埋め込みコードを検出することはできないが、通常、同じ明るい光源によって照らされるが、カメラセンサを飽和状態にさせない（いわゆる「ハロー」効果）飽和スポットに隣接する領域を特定できるという実験観察に基づいている。１つの典型的な場合としては、壁の比較的近くに（例えば壁の前に）置かれる光源の場合であって、光源自体は、そこからのＣＬ光を検出するには明る過ぎるが、当該光源によって放射された光の壁からの反射は、ＣＬの検出を可能にする場合が挙げられる。別の典型的な場合としては、例えばランプシェードをその周りに有する電球といった光源の場合である。ランプシェードは、電球からの光を拡散する。したがって、電球自体は、依然として、カメラのセンサを飽和状態にさせるが、ランプシェードの周囲部分は、飽和状態にさせない。この場合が図７に示されている。図７では、７１０は、取得された画像のうちの１つを示し、７２０は、オーバーレイされた垂直線７２１〜７２４を有する同じ画像を表す。線７２１〜７２４の実線部は、ＣＬの検出が可能な画像の一部分（即ち、検出領域の一部分）を示す一方で、線７２１〜７２４の破線部は、ＣＬの検出が不可能な画像の部分（即ち、飽和領域の一部分）を示す。したがって、ステップ６１２及び６１４における飽和領域及び検出領域の特定は、例えば７２０に示すように、画像からこれらの領域を特定することによって行われる。或いは、画像が、ロールシャッタ画像センサを使用して取得される場合、これらの領域は、画像のサブサンプリングされたバージョンから、例えば周縁化された画像から特定されることも可能である。ＣＬ信号を捕捉するための画像が、ロールシャッタ画像センサを用いて取得される場合、時間識別子が、垂直方向における空間信号に転換される。信号は、線の方向（即ち、水平方向）において合計されて、信号対雑音比が得られ、処理能力を節約するために、画像サイズを減少する。この一方向への合計は、周縁化合計（marginalized summation）と呼ばれ、周縁化された画像からの飽和領域及び検出領域の特定を可能にする。

「ハロー」効果は、図６のステップセット６１０に示されるように、「ハロー」（即ち、１つ以上の検出領域）から埋め込みコードが検出され、その後、図６のステップセット６２０に示されるように、ハローに寄与する光源が特定され、ハローから検出されたそれらの対応するＩＤに関連付けられるという点において、飽和状態のカメラセンサの問題を解決するために使用される。

ステップセット６２０に進むに、ステップ６２２において、処理ユニット２２０は、ステップ６１２において特定された飽和領域の１つ以上の特性を決定し、ステップ６２４において、処理ユニット２２０は、ステップ６１４において特定された検出領域の１つ以上の特性を決定する。飽和領域及び検出領域のそれぞれについて、１つ以上の特性は、例えば当該領域の重心、取得された画像内の当該領域の位置、当該領域のサイズ、当該領域の輪郭及び当該領域の色を含む。

ステップ６２６において、処理ユニット２２０は、一致を確立するための１つ以上の所定の基準にしたがって、各特定された飽和領域と、各特定された検出領域との間に一致があるかどうかを確立する。一実施形態では、一致は、特定の検出領域の特性の、取得された画像の特定の飽和領域の特性との照合に基づいた最尤推定を含む。所定の照合基準は、検出領域の重心と飽和領域の重心との間の最小距離、及び／又は、検出領域内への飽和領域の少なくとも部分的な包含を含む。処理ユニット２２０が、特定の飽和領域と特定検出領域との間に一致があると確立すると、当該飽和領域における飽和状態を引き起こしている光源を、当該検出領域において検出された埋め込みコードを生成した光源と特定することができる。したがって、取得された画像における光源の位置が、特定された飽和領域のうちの１つの場所（図３のステップ３３０）と確立され、制御アイコンが、当該アイコンは、当該特定の光源を制御するために使用されるべきであることをユーザに示すために、ユーザインターフェース内の正しい位置に置かれる。（図３のステップ３５０）。

本発明の更なる実施形態では、処理ユニット２２０は、飽和領域と検出領域との間に一致を確立する際に、追加情報を使用する。例えばＣＬ源自体が、追加のデータを、それらのＩＤコードに加えて、光出力に埋め込むことによって、当該追加データを制御システム１４０に提供してもよい。追加データは、例えば光源によって生成される光のタイプ（例えば色、調節可能な白等）、光源のサイズ、その通常の取り付け位置等に関連する。この情報が、処理ユニット２２０によって利用可能となると、ステップ６２６において行われる最大尤度に基づいた照合は、これらの追加の手がかりを組み込むように拡大される。例えば追加情報が、検出領域からＩＤコードが特定された光源が、構造体の天井に取り付けられたスポット照明器具であることを示す場合、取得された画像の上部における小さく円形に切り取られた領域の形である当該検出領域の飽和領域に対する照合の方が、細長い形状の大きく切り取られた領域の形である当該検出領域に対する飽和領域との照合よりも、可能性が高い。これは、後者は、管形ＬＥＤの飽和領域の形状である可能性が高いからである。別の例では、追加データは、照明システムにある光源によって生成可能な光のタイプの指示を提供してもよい。画像センサの赤色、緑色及び青色（ＲＧＢ）チャネルにおいて検出された識別子の比が、個々の光源のＲＧＢ比と比較されて、特定光源との一致をもたらすか、又は、可能な候補数を少なくとも減少させる。

本発明の様々な実施形態は、コンピュータシステムと共に使用されるプログラムプロダクトとして実施される。プログラムプロダクトのプログラムが、（本明細書において説明された方法を含む）実施形態の機能を規定する。一実施形態では、プログラムは、様々な非一時的コンピュータ可読記憶媒体に含まれる。本明細書において使用されるように、「非一時的コンピュータ可読記憶媒体」との表現は、一時的な伝播信号だけを除いて、あらゆるコンピュータ可読媒体を含む。別の実施形態では、プログラムは、様々な一時的コンピュータ可読媒体に含まれる。例示的なコンピュータ可読記憶媒体は、次に限定されないが、（ｉ）情報がその上に永久的に記憶される書込み不可記憶媒体（例えばＣＤ−ＲＯＭドライブによって読出し可能なＣＤ−ＲＯＭディスクといったコンピュータ内の読み取り専用メモリデバイス、ＲＯＭチップ、又は、任意のタイプの固体不揮発性半導体メモリ）及び（ｉｉ）変更可能な情報がその上に記憶される書込み可能記憶媒体（例えばフラッシュメモリ、ディスケットドライブ又はハードディスクドライブ内のフロッピー（登録商標）ディスク、又は、任意のタイプの固体ランダムアクセス半導体メモリ）を含む。コンピュータプログラムは、本明細書において説明される処理ユニット２２０上で実行されてもよい。

上記説明は、本発明の実施形態に関するが、本発明の他の及び更なる実施形態も、本発明の基本概念から出ることなく、想到される。例えば本発明の態様は、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの組み合わせにおいて実施される。したがって、本発明の範囲は、以下の請求項によって決定される。

Claims (14)

1. 第１の光出力の１つ以上の特性における第１の変調シーケンスとして前記第１の光出力に埋め込まれる第１のコードを含む前記第１の光出力を提供し、シーン内にある少なくとも第１の光源を含む照明システムによって照らされる前記シーンの１つ以上の画像を得た後に、
   前記第１の光出力に埋め込まれた前記第１のコードに基づいて、前記第１の光出力が前記シーン内にあることを決定するために、前記１つ以上の画像を処理するステップと、
   前記１つ以上の画像における前記第１の光源の位置を決定するために、前記１つ以上の画像を処理するステップと、
   前記シーンを示すユーザインターフェースを提供するステップと、
   前記第１の光源の決定された前記位置に基づいて、ユーザに、第１の制御アイコンは、前記第１の光源を制御するように適応されていることを示す前記第１の制御アイコンを前記ユーザインターフェース内に提供するステップと、
   を含む、方法。
2. 前記１つ以上の画像のそれぞれは、画素のマトリクスを含み、前記方法は更に、
   前記１つ以上の画像のそれぞれについて、所定の閾値を上回る強度を含む１つ以上の画素を含む、前記１つ以上の画像の飽和領域を特定するステップと、
   前記第１のコードの特定を可能にする複数の画素を含む、前記１つ以上の画像の検出領域を特定するステップと、
   を含み、
   前記第１の光出力が前記シーン内にあることを決定するために、前記１つ以上の画像を処理する前記ステップは、
   前記第１のコードを特定するために、前記検出領域の前記複数の画素を処理するステップと、
   前記検出領域の１つ以上の特性を決定するステップと、
   前記飽和領域の１つ以上の特性を決定するステップと、
   を含み、
   前記１つ以上の画像における前記第１の光源の前記位置を決定するために、前記１つ以上の画像を処理する前記ステップは、
   前記検出領域の決定された前記１つ以上の特性と前記飽和領域の決定された前記１つ以上の特性との間に、１つ以上の所定の照合基準による一致が確立される場合に、前記飽和領域の少なくとも一部分を、特定された前記第１のコードを含む前記第１の光出力を提供した前記照明システムの前記第１の光源の前記位置として特定するステップを含む、請求項１に記載の方法。
3. 前記検出領域の前記１つ以上の特性は、前記検出領域の重心を含み、前記飽和領域の前記１つ以上の特性は、前記飽和領域の重心を含み、前記１つ以上の所定の照合基準は、前記検出領域の前記重心と前記飽和領域の前記重心との間の距離が、所定の閾値距離未満である場合に、前記一致を確立することを含む、請求項２に記載の方法。
4. 前記検出領域の前記１つ以上の特性は、前記１つ以上の画像における前記検出領域の位置を含み、前記飽和領域の前記１つ以上の特性は、前記１つ以上の画像における前記飽和領域の位置を含み、前記１つ以上の所定の照合基準は、前記飽和領域の前記位置と前記検出領域の前記位置とが、前記飽和領域が前記検出器領域内に含まれることを示す場合に、前記一致を確立することを含む、請求項２又は３に記載の方法。
5. 前記検出領域の前記１つ以上の特性と、前記飽和領域の前記１つ以上の特性との間の前記一致は、最大尤度照合法によって確立される、請求項２乃至４の何れか一項に記載の方法。
6. 前記飽和領域の少なくとも一部分を、特定された前記第１のコードを含む前記第１の光出力を提供した前記照明システムの前記第１の光源の前記位置として特定する前記ステップは、前記第１の光源のタイプ、前記第１の光源のサイズ、及び、前記第１の光源の予想される取付け位置のうちの１つ以上を示す追加情報を使用することに基づいている、請求項２乃至４の何れか一項に記載の方法。
7. 前記シーンを示す前記ユーザインターフェースを提供する前記ステップは、前記１つ以上の画像のうちの少なくとも１つの画像又は前記少なくとも１つの画像の表現を含む前記ユーザインターフェースを提供するステップを含み、前記少なくとも１つの画像又は前記少なくとも１つの画像の前記表現は、前記シーン内にある前記第１の光源又は前記第１の光源の表現を含む、請求項１乃至６の何れか一項に記載の方法。
8. 前記第１の制御アイコンは、前記第１の光源又は前記第１の光源の前記表現に少なくとも部分的に重なるオーバーレイとして提供される、請求項７に記載の方法。
9. 前記第１の制御アイコンは、クリック可能なインタラクティブ制御を提供し、これにより、前記ユーザが、前記ユーザインターフェース内の前記第１の制御アイコンをクリックすることに反応して、前記第１の光源を制御するためのメニュが、前記ユーザに提供される、請求項１乃至８の何れか一項に記載の方法。
10. 前記ユーザインターフェースを介して、前記第１の光源を制御するための前記ユーザの要求を示すユーザ入力を受信するステップと、受信した前記ユーザ入力を前記第１の光源を制御するための１つ以上の制御コマンドに変換するステップと、前記１つ以上の制御コマンドを前記第１の光源に提供するステップとを更に含む、請求項１乃至９の何れか一項に記載の方法。
11. 処理ユニット上で実行されると、請求項１乃至１０の一項以上に記載の方法のステップを行うソフトウェアコード部分を含む、コンピュータプログラム。
12. 請求項１乃至１０の一項以上に記載の方法のステップを行う少なくとも処理ユニットを含む、システム。
13. 前記シーンの前記１つ以上の画像を取得する光検出手段を更に含む、請求項１２に記載のシステム。
14. 前記ユーザインターフェースを表示する表示手段を更に含む、請求項１２又は１３に記載のシステム。