JP2013191310A - 情報処理装置、画像センサ装置及びプログラム - Google Patents

情報処理装置、画像センサ装置及びプログラム Download PDF

Info

Publication number
JP2013191310A
JP2013191310A JP2012054910A JP2012054910A JP2013191310A JP 2013191310 A JP2013191310 A JP 2013191310A JP 2012054910 A JP2012054910 A JP 2012054910A JP 2012054910 A JP2012054910 A JP 2012054910A JP 2013191310 A JP2013191310 A JP 2013191310A
Authority
JP
Japan
Prior art keywords
illuminance
image
estimation model
luminance
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012054910A
Other languages
English (en)
Other versions
JP5726792B2 (ja
Inventor
Kazumi Osada
和美 長田
Takaaki Enohara
孝明 榎原
Kenji Baba
賢二 馬場
Shuhei Noda
周平 野田
Nobutaka Nishimura
信孝 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012054910A priority Critical patent/JP5726792B2/ja
Priority to CN201380000456.1A priority patent/CN103444267B/zh
Priority to PCT/JP2013/050126 priority patent/WO2013136822A1/ja
Priority to SG2013051818A priority patent/SG193230A1/en
Priority to EP13730787.2A priority patent/EP2827683A4/en
Priority to US13/820,690 priority patent/US9137449B2/en
Publication of JP2013191310A publication Critical patent/JP2013191310A/ja
Application granted granted Critical
Publication of JP5726792B2 publication Critical patent/JP5726792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Processing (AREA)

Abstract

【課題】 検知エリアの設定場所によらず、より高精度に室内の明るさを検知することが可能な情報処理装置、画像センサ装置及びプログラムを提供する。
【解決手段】複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する保持手段と、照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段と、前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段と、前記基本モデルに基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段と、を備える。
【選択図】図5

Description

本発明の実施形態は、情報処理装置、画像センサ装置及びプログラムに関する。
従来、省エネルギー化等を目的として、調光制御を効率的に行う制御装置が要求されている。このような制御装置では、例えば、オフィス内等に設置された照度センサ(照度計)により照度が閾値を下回ったことを検知すると、該当する位置の照明装置を点灯して照度を一定値に維持する制御が行われる。また、従来、上記の照度センサに代わり、カメラにより撮像された画像(撮像画像)を用いて照明制御を行う技術が提案されている。
特開2011−81982号公報
ところで、撮像画像を用いて照明制御を行う場合、各カメラの設置位置において異なる明るさの下で撮像し、その撮像画像から適切なセンシング結果が得られるよう、設定を調整する必要がある。しかしながら、カメラ台数が増加するほど調整作業は煩雑となるため、より効率的に調整を行うことが可能な技術が望まれている。
実施の形態の情報処理装置は、保持手段と、基準画像取得手段と、基準照度取得手段と、照度推定モデル生成手段とを備える。保持手段は、複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する。基準画像取得手段は、照度推定の対象空間で撮像された撮像画像を基準画像として取得する。基準照度取得手段は、基準画像が撮像された際の対象空間の照度を基準照度として取得する。照度推定モデル生成手段は、基本モデルに基づき、基準照度と基準画像の輝度との組で表されるデータ値から、対象空間における照度と輝度との関係を表した照度推定モデルを生成する。
図1は、第1の実施形態に係る照度推定モデル設定システムの構成例を示す図である。 図2は、図1に示した画像センサの設置例を示す図である。 図3は、図1に示した画像センサの構成例を模式的に示す図である。 図4は、図1に示した照度推定モデル生成装置の構成例を模式的に示す図である。 図5は、図4に示した基本モデルの一例を模式的に示す図である。 図6は、第1の実施形態に係る照度推定モデル生成処理の一例を示すフローチャートである。 図7は、図6に示した基本モデル生成処理の一例を示すフローチャートである。 図8は、図2に示した画像センサによる撮像画像の一例を模式的に示す図である。 図9は、第2の実施形態に係る画像センサの構成を模式的に示す図である。 図10は、第2の実施形態に係る照度推定処理の手順の一例を示すフローチャートである。 図11は、第3の実施形態に係る画像センサシステムの構成例を示す図である。 図12は、図11に示した照明制御装置の構成例を模式的に示す図である。 図13は、図12に示したセンサ管理テーブルのデータ構成の一例を示す図である。 図14は、第3の実施形態に係る照明制御処理の一例を示すフローチャートである。
以下に添付図面を参照して、この発明に係る情報処理装置、画像センサ装置及びプログラムの実施形態を詳細に説明する。
[第1の実施形態]
第1の実施形態では、この発明に係る情報処理装置及びプログラムを、後述する照度推定モデルを生成する照度推定モデル生成装置に適用した例について説明する。
図1は、第1の実施形態に係る照度推定モデル設定システム1の構成例を示す図である。同図に示すように、照度推定モデル設定システム1は、画像センサ10と、照度推定モデル生成装置20とを有している。ここで、画像センサ10及び照度推定モデル生成装置20は、回線Nに着脱可能に接続されており、当該回線Nを介して通信を行う。なお、回線Nに接続される画像センサ10の個数は、特に問わないものとする。以下、照度推定モデル設定システム1の各装置について説明する。
画像センサ10は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有し、撮像により得られる画像や映像(以下、撮像画像という)に基づき導出した照度等を、センシング結果として出力する。画像センサ10は、例えば、図2に示すように、建物の天井部分に設置され、床方向(真下方向)を撮像する。
ここで、図2は、画像センサ10の設置例を示す図である。同図において、画像センサ10は天井部分に設置されている。また、天井部分にはオフィス内を照明するための照明装置30(30a〜30f)が設置されている。なお、図2では、オフィス内に机Dが二つ並んで配置された例を示しているが、室内のレイアウトはこの例に限らないものとする。
図3は、画像センサ10の構成例を模式的に示す図である。同図に示すように、画像センサ10は、カメラ部11、通信部12、記憶部13及び制御部14を備える。
カメラ部11は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサであって、撮像した撮像画像を制御部14に出力する。通信部12は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(照度推定モデル生成装置20等)との間で各種情報の授受を行う。
記憶部13は、画像センサ10の制御に係る各種プログラムや設定情報を記憶する。記憶部13が記憶する設定情報としては、例えば、撮像画像から得られる輝度と、当該輝度から推定される照度との関係が定めた照度推定モデル131が挙げられる。照度推定モデル131は、照度推定モデル生成装置20により設定される設定情報であり、後述する照度推定部141では、この照度推定モデル131を用いて撮像画像から照度の推定を行う。なお、照度推定モデル131の詳細については後述する。
制御部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部13に記憶されたプログラムと協働することで、画像センサ10の動作を統括的に制御する。また、制御部14は、ROMや記憶部13に記憶されたプログラムとの協働により、照度推定部141、人検出部142及びセンシング結果出力部143を、機能部として実現させる。
照度推定部141は、記憶部13に記憶された照度推定モデル131に基づき、カメラ部11で撮像された撮像画像から被写体となった領域の照度を推定する。具体的に、照度推定部141は、撮像画像から輝度を取得し、当該輝度に対応する照度を照度推定モデル131に基づき導出(推定)する。
ここで、撮像画像からの輝度の取得は、画素レベルで行うものとするが、取得の対象となる領域は特に問わないものとする。例えば、撮像画像を構成する各画素の輝度の平均等を、その撮像画像の輝度として取得してもよい。また、撮像画像中の任意の領域での輝度の平均値を、その撮像画像の輝度として取得してもよい。
また、撮像画像を構成する画素毎や撮像画像を複数の領域に分割した分割領域毎に輝度を取得する形態としてもよい。例えば、各画素や各分割領域の配置位置と対応付けて照度推定モデル131が設定されている場合には、対応する照度推定モデル131を用いて画素毎或いは分割領域毎に照度の導出を行うものとする。なお、各画素や各分割領域から導出された照度は、対応する配置位置とともに出力する形態としてもよいし、これら照度の平均等を出力する形態としてもよい。
人検出部142は、カメラ部11で撮像された撮像画像を解析することで、被写体となった領域内での人の在/不在、人の行動内容、活動量、人数等を検知する。なお、撮像画像からの人の在/不在等の検知方法については、公知技術を用いるものとする。
センシング結果出力部143は、照度推定部141で推定された照度、人検出部142の検知結果を、自装置のセンシング結果として通信部12を通じて外部装置に出力したり、記憶部13に保存したりする。なお、センシング結果として出力される照度は、照度推定部141から出力されたそのままの値であってもよいし、照度の度合に応じて段階(レベル)分けした値であってもよい。
図4は、照度推定モデル生成装置20の構成例を模式的に示す図である。照度推定モデル生成装置20は、PC(Personal Computer)や携帯通信端末等の情報処理装置であり、同図に示すように、入力部21、表示部22、通信部23、記憶部24及び制御部25を備えている。
入力部21は、キーボードやポインティングデバイス等の入力デバイスを有し、照度推定モデル生成装置20の操作者から受け付けた操作内容を制御部25に出力する。表示部22は、液晶表示パネル等の表示デバイスを有し、制御部25の指示に従い各種の情報を表示する。通信部23は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(画像センサ10等)との間で各種情報の授受を行う。
記憶部24は、HDDやSSD等の補助記憶装置であって、照度推定モデル生成装置20の制御に係る各種プログラムや設定情報を記憶する。記憶部24が記憶する設定情報としては、照度推定モデル131の生成の基となる基本モデル241が挙げられる。
基本モデル241は、複数の被写体条件下で撮像された撮像画像と、その撮像時の撮像条件とを基に生成される情報であって、照度推定モデル131の生成の基礎となるものである。ここで、被写体条件は、例えば、被写体となる空間や物体の反射率等である。また、撮像条件は、例えば、撮像時における被写体空間の照度を表す照度条件、撮像時における撮像装置(画像センサ10等)の設置位置等のカメラパラメータである。
具体的に、基本モデル241は以下の工程で生成される。まず、壁や床の色が黒や白等の被写体条件(反射率)が異なる各モデル空間の下で、照度条件を変化させてモデル空間を撮像する。次いで、撮像により得られた各照度条件での照度と、その照度条件下で撮像された撮像画像の輝度との組を、被写体条件毎にデータ値として生成する。そして、生成した被写体条件毎のデータ値を座標平面にプロットし、それらデータ値の分布を近似する回帰式を基本モデル241として被写体条件毎に生成する。
ここで、図5は、上記の工程により生成された基本モデル241の一例を模式的に示す図である。同図において、縦軸はモデル空間の照度を表しており、横軸は撮像画像の輝度を表している。また、図中のグラフが基本モデル241に相当し、基本モデル241aは、基本モデル241bよりも反射率が低いモデル空間で得られた照度と輝度との組の回帰式となっている(例えば、基本モデル241aが黒色のモデル空間、基本モデル241bが白色のモデル空間)。このように、基本モデル241(241a、241b)は、複数の被写体条件の下、照度条件を変化させてモデル空間を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、被写体条件毎に表したものとなっている。
なお、撮像の対象となるモデル空間は、画像センサ10が実際に設置される空間であってもよいし、当該空間とは異なる空間であってもよい。また、モデル空間を撮像する撮像装置は、画像センサ10或いは画像センサ10と同種のイメージセンサを使用する撮像装置を用いることが好ましいが、これに限らないものとする。
また、撮像画像からの輝度の取得は、画素レベルで行うものとするが、取得の対象となる領域は特に問わないものとする。例えば、撮像画像を構成する各画素の輝度の平均等を、その撮像画像全体の輝度とする形態としてもよい。また、撮像画像中の特定の領域での輝度の平均値を、その撮像画像全体の輝度とする形態としてもよい。
また、撮像画像を構成する画素毎や撮像画像を複数の領域に分割した分割領域毎に、輝度を取得する形態としてもよい。この場合、撮像画像内での配置位置が同一となる画素或いは分割領域毎に、照度と輝度との組を取得し、撮像画像中の配置位置毎に回帰式(基本モデル241)を生成する形態としてもよい。なお、画素或いは分割領域毎に基本モデル241を生成した場合には、当該基本モデル241を対応する画素或いは分割領域の配置位置と対応付けて保持するものとする。
また、上記例では、撮像条件のうち、照度条件を用いた例を説明したが、カメラパラメータを含める場合には、上記した被写体条件及び照度条件の組に、カメラパラメータ(例えば、設置位置等)を変えた時の各条件を組み合わせることで、三以上の要素からなる基本モデル241を生成する形態としてもよい。
図4に戻り、制御部25は、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部24に記憶されたプログラムと協働することで、照度推定モデル生成装置20の動作を統括的に制御する。また、制御部25は、ROMや記憶部24に記憶されたプログラムとの協働により、基本モデル生成部251、基準画像取得部252、基準照度取得部253、照度推定モデル生成部254及び照度推定モデル設定部255を、機能部として実現させる。
基本モデル生成部251は、複数の被写体条件(反射率等)の下、撮像条件(照度条件)を変化させてモデル空間を撮像した際に得られる撮像画像に基づいて、上述した基本モデル241を生成し、記憶部24に保持する。なお、記憶部24に基本モデル241が予め記憶されている場合には、基本モデル生成部251は不要となるため、当該基本モデル生成部251を照度推定モデル生成装置20から取り除く構成としてもよい。
基準画像取得部252は、照度推定モデル131の設定対象となる画像センサ10(以下、設定対象センサという)から、当該設定対象センサで撮像された撮像画像を、基準画像として取得する。例えば、図2に示した画像センサ10を設定対象センサとする場合、基準画像取得部252は、この画像センサ10が撮像したオフィス内の撮像画像を、基準画像として取得する。なお、基準画像を取得するタイミングや取得時の周辺環境の状態は、特に問わないものとするが、照度推定の基準とする環境条件下で基準画像を取得することが好ましい。ここで、照度推定の基準とする環境条件とは、例えば、画像センサ10が設けられる室内の全照明(例えば、図2に示す照明装置30)を点灯させた状態や、所定時刻(例えば12時)に全照明を消灯させた状態である。
基準照度取得部253は、基準画像の撮像(取得)時に設定対象センサの撮像範囲内で測定された照度を基準照度として取得する。ここで、基準照度の取得方法は、特に問わず、例えば、通信部23等を介して、設定対象センサの撮像範囲内に設置された照度計から基準画像撮像時の照度(基準照度)を取得する形態としてもよい。また、基準画像撮像時に測定された照度を別途保存しておき、この保存された照度を基準照度として入力部21や通信部23を介して取得する形態としてもよい。また、複数の設定対象センサ間で撮像対象の環境が同様となる場合には、一の基準照度を共用する形態としてもよい。
また、設定対象センサの撮像範囲内での照度の測定位置は特に問わないものとする。例えば、画像センサ10の直下等、代表となる位置で測定する形態としてもよい。また、撮像範囲内の複数位置で照度を測定し、それら照度の平均値等を用いる形態としてもよい。
照度推定モデル生成部254は、記憶部24に記憶された基本モデル241と、基準画像取得部252で取得された基準画像と、基準照度取得部253で取得された基準照度とに基づいて、設定対象センサ用の照度推定モデル131を生成する。
具体的に、照度推定モデル生成部254は、基準画像から輝度(以下、基準輝度という)を取得し、対応する基準照度と組とすることで基準データ値を生成する。そして、照度推定モデル生成部254は、生成した基準データ値を、基本モデル241に基づいて線形補間することで、照度と輝度との関係を表した照度推定モデル131を生成する。
例えば、図5に示した基本モデル241(241a、241b)を用いる場合、基準照度と基準輝度との組が表す基準データ値が図中P(以下、基準データ値Pと表記する)の位置にあったとすると、照度推定モデル生成部254は、この基準データ値Pの照度において、当該基準データ値Pの輝度を基準に、基本モデル241a及び基本モデル241bの輝度との差分の比(図中、a:1−aに対応)を算出する。そして、照度推定モデル生成部254は、算出した差分の比を維持しながら基準データ値Pを、基本モデル241a及び基本モデル241bの間で線形補間することで、図5に示した照度推定モデル131を生成する。
このように、照度推定モデル生成装置20は、設定対象センサ(画像センサ10)毎に得られる基準データ値に基づき、基本モデル241を用いた線形補間による重みを変化させることで、各設定対象センサ用にカスタマイズした照度推定モデル131を生成する。また、このように生成された照度推定モデル131は、画像センサ10の設置環境(撮像環境)に適したものとなるため、この照度推定モデル131を対応する画像センサ10に設定することで、当該画像センサ10での照度推定の精度を向上させることができる。
なお、上記では、一の基準データ値(基準照度、基準輝度)から照度推定モデル131を生成する例を示したが、これに限らないものとする。例えば、異なる時間帯(昼と夜等)で基準照度及び基準輝度を取得することで複数の基準データ値を生成し、これら基準データ値と基本モデル241とに基づいて照度推定モデル131を生成する形態としてもよい。また、被写体条件(反射率)の異なる基本モデル241が三以上存在する場合には、同一照度の条件の下、基準データ値の輝度を包含する何れか二つの基本モデル241を用いて照度推定モデル131を生成することで、その設定対象センサ用にカスタマイズした照度推定モデル131を生成することができる。
また、撮像画像を構成する画素毎や分割領域毎に基本モデル241が存在する場合には、基準画像内の対応する画素又は分割領域から輝度をそれぞれ取得し、これら画素又は分割領域の各配置位置に対応する基本モデル241を用いて照度推定モデル131を生成するものとする。なお、照度推定モデル生成部254は、画素或いは分割領域毎に照度推定モデル131を生成した場合、照度推定モデル131の各々を、当該照度推定モデル131を適用する画素或いは分割領域の配置位置と対応付けた状態で生成する。
図4に戻り、照度推定モデル設定部255は、照度推定モデル生成部254で生成された照度推定モデル131を、通信部23を介して設定対象センサに送信し、当該設定対象センサの記憶部13に記憶させることで、当該設定対象センサに照度推定モデル131を設定する。なお、照度推定モデル131に、当該照度推定モデル131を適用する配置位置が対応付けられている場合、照度推定モデル設定部255は、生成された照度推定モデル131の各々を、当該照度推定モデル131を適用する配置位置を示した情報とともに設定対象センサに送信し、記憶部13に記憶させることで、当該設定対象センサに照度推定モデル131を設定する。
以下、上述した照度推定モデル生成装置20が実行する照度推定モデル生成処理について説明する。図6は、照度推定モデル生成処理の一例を示すフローチャートである。なお、本処理の前提として、複数の被写体条件(反射率)の下、照度条件を変化させて撮像した撮像画像が予め撮像されているものとし、これらのデータに基づいて基本モデル生成部251が基本モデル241を生成するものとする。
まず、基本モデル生成部251は、ステップS11において、基本モデル241を生成する基本モデル生成処理を実行する。以下、図7を参照して、基本モデル生成処理について説明する。
図7は、基本モデル生成処理の一例を示すフローチャートである。まず、基本モデル生成部251は、複数の被写体条件(反射率)の下、照度条件を変化させて撮像された撮像画像を取得する(ステップS111)。続いて、基本モデル生成部251は、被写体条件(反射率)毎に、各照度条件での照度と、当該照度条件下で撮像された撮像画像の輝度との組をデータ値として生成する(ステップS112)。
次いで、基本モデル生成部251は、ステップS112で生成した被写体条件毎のデータ値を座標平面にプロットすると、当該データ値の分布を近似する回帰式を被写体条件(反射率)毎に求め、それらの回帰式を基本モデル241として生成する(ステップS113)。そして、基本モデル生成部251は、ステップS113で生成した基本モデル241を、記憶部24に記憶し(ステップS114)、図6のステップS12に移行する。
このように生成された基本モデル241は、被写体条件下における空間の照度と撮像画像の輝度との関係を示すものとなる。また、被写体条件となる反射率の差を、白と黒等のように比較的大きくすることで、様々な環境に適用できる基本モデル241を生成することができる。
図6に戻り、基準画像取得部252は、設定対象センサで撮像された撮像画像を基準画像として取得する(ステップS12)。また、基準照度取得部253は、ステップS12の基準画像の撮像(取得)時に、設定対象センサの撮像範囲内で測定された照度を基準照度として取得する(ステップS13)。
続いて、照度推定モデル生成部254は、基準照度と基準画像から取得した基準輝度との組から基準データ値を生成する(ステップS14)。次いで、照度推定モデル生成部254は、ステップS14で生成した基準データ値を、記憶部24に記憶された基本モデル241の座標平面にプロットし、当該基準データ値を基本モデル241に基づき線形補間することで照度推定モデル131を生成する(ステップS15)。
続いて、照度推定モデル設定部255は、ステップS15で生成された照度推定モデル131を、設定対象センサに送信し、当該設定対象センサの記憶部13に記憶させることで、設定対象センサに照度推定モデル131を設定する(ステップS16)。
続くステップS17では、制御部25が、設定対象センサとする画像センサ10が他に存在するか否かを判定し(ステップS17)、存在すると判定した場合には(ステップS17;Yes)、その画像センサ10を設定対象センサとし、ステップS12に再び戻る。これにより、新たな設定対象センサについて、ステップS12〜S16の処理が実行される。
また、ステップS17において、設定対象センサとする画像センサ10が他に存在しないと判定した場合には(ステップS17;No)、本処理を終了する。
なお、本処理では、照度推定モデル生成処理の一部として、基本モデル生成処理を実行する形態としたが、基本モデル生成処理が実行されるタイミングは特に問わず、照度推定モデル生成処理とは独立した処理として異なるタイミングで実行される形態としてもよい。
以上のように、本実施形態によれば、画像センサ10が設けられた環境での基準データ値を、基本モデル241を用いて線形補間することで、当該画像センサ10の環境に適した照度推定モデル131を生成し、対応する画像センサ10に設定することができる。これにより、画像センサ10での照度推定の精度を向上させることができる。また、各画像センサ10への照度推定モデル131の設定を、容易且つ効率的に行うことができるため、画像センサ10の調整に係る利便性を向上させることができる。
なお、上記第1の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記第1の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、画像センサ10が設けられる室内の照明の点灯/消灯は特に問わないものとしたが、照度推定モデル生成装置20において、例えば、基準画像取得部252や基準照度取得部253が、照明のオン(点灯)/オフ(消灯)や出力値等を制御する形態としてもよい。この形態を採用する場合、例えば、図2に示した照明装置30(30a〜30f)を予め定められた点灯/消灯パターンに基づいて照明を制御し、当該照明の下で得られた基準画像及び照度に基づき、照度推定モデル131を生成するものとする。
ここで、図2に示した照明装置30のうち、照明装置30aを点灯し他の照明装置30b〜30fを消灯させると、画像センサ10では、図8に示すように、照明装置30a周辺が明るく照らされた撮像画像が取得される。この場合、照度推定モデル生成部254は、基準画像として取得された図8の撮像画像の輝度分布Lから照明装置30aが照明する領域(照明領域)を特定し、この照明領域から輝度を取得する。なお、この場合、基準照度取得部253が取得する基準照度は、照明装置30aが照明する領域内で取得されることが好ましい。
そして、照度推定モデル生成部254は、照明装置30a〜30fの各照明領域について、照度推定モデル131を生成すると、照度推定モデル設定部255は、これら生成された照度推定モデル131を、当該照度推定モデル131を適用する配置位置(照明領域)を示した情報とともに画像センサ10に送信し、記憶部13に記憶させることで、当該画像センサ10に照度推定モデル131を設定する。なお、画像センサ10の照度推定部141では、自装置で撮像された撮像画像に含まれる照明領域の各々について輝度を取得し、当該照明領域に対応する照度推定モデル131を用いて、各照明領域での照度を推定するものとする。
また、上記説明したように、照度推定モデル131を生成するためには、撮像画像(基準画像)が少なくとも一枚必要となる。しかしながら、オフィスのレイアウトを変更する等、画像センサ10が撮像する領域(空間)に変化があった場合には、その画像センサ10から得られる撮像結果も従前と異なるため、基準画像を新たに取得し、照度推定モデル131を生成し直すことが好ましい。
そこで、照度推定モデル生成装置20の基準画像取得部252において、前回取得した基準画像を画像センサ10毎に保持しておき、所定のタイミング(例えば前回基準画像を取得した同時刻)で各画像センサ10から新たな撮像画像を取得し、両画像の相違からレイアウトの変更を検出した場合、この新たな撮像画像を基準画像として取得し直すことで、画像センサ10の照度推定モデル131を自動更新する形態としてもよい。この場合、照度値は従前の値を用いる形態としてもよいし、新たに取得し直す形態としてもよい。なお、レイアウト変更の検出方法は特に問わないものとするが、例えば、公知技術により画像中に含まれる物体のエッジ等を検出し、両画像中のエッジ位置の相違が所定の閾値以上か否かに応じて検出してもよい。
また、基準画像を取得する際には、撮像する領域(空間)に人等の動体が存在しない静的状態にあることが好ましい。そこで、照度推定モデル生成装置20の基準画像取得部252では、画像センサ10が出力するセンシング結果に基づき、人が存在しない期間に撮像された撮像画像を、基準画像として取得する形態としてもよい。また、予め人が不在となる時間(例えば、早朝や夜間等)が判明している場合には、タイマー装置等と協働することで、基準画像取得部252及び基準照度取得部253が、これらの時間に基準画像及び照度を自動で取得する形態としてもよい。
[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態では、第1の実施形態で説明した画像センサ10に照度検知機能を向上させるための種々の機能を追加した構成について説明する。なお、上述した第1の実施形態と同様の構成については、同一の符号を付与し説明を適宜省略する。
図9は、第2の実施形態に係る画像センサ10Aの構成を模式的に示す図である。同図に示すように、画像センサ10Aは、カメラ部11、通信部12、記憶部13及び制御部14Aを備える。
制御部14Aは、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部13に記憶されたプログラムと協働することで、画像センサ10Aの動作を統括的に制御する。また、制御部14Aは、ROMや記憶部13に記憶されたプログラムとの協働により、照度推定部141A、人検出部142及びセンシング結果出力部143を、機能部として実現させる。
照度推定部141Aは、上述した照度推定部141と同様の機能を有する。また、照度推定部141Aは、照度の推定に用いる撮像画像について、当該撮像画像に含まれた照度推定の阻害要因を当該撮像画像中から取り除き、この阻害要因を取り除いた撮像画像から輝度を取得する。
ここで、照度推定の阻害要因としては、例えば、人等の動体や机上の照明等の局所的な光源等が挙げられる。例えば、照度推定部141Aは、例えば、人検出部142で人が検出された撮像画像の領域を、照度推定の阻害要因として特定する。また、撮像画像に含まれた局所的な光源を取り除く場合、照度推定部141Aは、例えば、撮像画像の輝度分布から局所的な光源が存在する領域を、照度推定の阻害要因として特定したり、画像認識技術を用いて撮像画像から机やライト等の物体が存在する領域を、照度推定の阻害要因として特定したりする。また、他の方法として、照度推定部141Aは、所定期間分(例えば1週間等)の撮像画像(或いは人検出部142での検出結果)を記憶部13等に保存しておき、これらの情報を基に、人や局所的な光源が頻繁に検出される領域を、照度推定の阻害要因として特定する。そして、照度推定部141Aは、照度推定の阻害要因として特定した領域を、輝度の取得対象領域から除外することで阻害要因を取り除く。
なお、撮像画像全体や輝度の取得対象領域が阻害要因で埋め尽くされた場合には、時間的に連続する前或いは後の撮像画像から輝度を取得する形態としてもよいし、輝度の取得を抑制する形態としてもよい。
また、照度推定部141Aは、撮像画像から取得する輝度の精度を確保するため、人の出入りや物体の移動等の変化の少ない静的領域を、輝度の取得対象領域として設定する。例えば、照度推定部141Aは、撮像画像からエッジを検出し、建物の壁と床、天井との境界を抽出することで、人の出入りや物体の移動が少ない壁や床面等の静的領域を特定する。また、他の方法としては、一般的なオフィス空間を撮像した撮像画像に基づき、それらを基にオフィスのレイアウトや各種物体の形状等の学習を行うことで、物体識別モデルを生成しておき、この物体識別モデルを用いることで、撮像画像に含まれた人の出入りや物体の移動が少ない壁や床面等の静的領域を特定する。また、所定期間分(例えば1週間等)の撮像画像(或いは人検出部142での検出結果)を記憶部13等に保存しておき、これらの情報を基に、人の出入りや物体の移動が少ない静的領域を特定してもよい。そして、照度推定部141Aは、撮像画像内から特定した静的領域を、輝度の取得対象領域として設定する。
なお、撮像画像からの輝度の取得は、画像センサ10と同様、画素レベルで行うものとするが、輝度の取得対象領域を構成する各画素の輝度の平均等を、撮像画像の輝度として取得してもよい。また、輝度の取得対象領域中の任意の領域での輝度の平均値を、その撮像画像の輝度として取得してもよい。また、輝度の取得対象領域を構成する画素毎や複数の領域に分割した分割領域毎に輝度を取得する形態としてもよい。なお、この場合、各画素や各分割領域用に用意された照度推定モデル131を用いて、画素毎或いは分割領域用毎に照度を導出することが好ましい。さらに、導出した各照度の平均等を推定結果として導出する形態としてもよい。
また、照度推定部141Aは、撮像画像から阻害要因を取り除いた後、輝度の取得対象領域として設定した領域から輝度を取得し、当該輝度に対応する照度を照度推定モデル131に基づき導出する。
以下、画像センサ10Aでの照度推定に係る処理について説明する。図10は、画像センサ10Aで実行される照度推定処理の一例を示すフローチャートである。
まず、カメラ部11により被写体となる領域が撮像されることで、撮像画像が取得される(ステップS21)。続いて、照度推定部141Aは、この撮像画像から照度推定の阻害要因が存在する領域を特定すると(ステップS22)、この阻害要因が存在する領域を撮像画像から除去する(ステップS23)。次いで、照度推定部141Aは、阻害要因を除去した撮像画像から、人の出入りや物体の移動が少ない静的領域を特定すると(ステップS24)、この特定した静的領域を輝度の取得対象領域に設定する(ステップS25)。
照度推定部141Aは、ステップS25で設定した、撮像画像中の輝度の取得対象領域から輝度を取得すると(ステップS26)、この輝度に対応する照度を、照度推定モデル131を用いて導出する(ステップS27)。そして、センシング結果出力部143は、ステップS27で導出された照度を、記憶部13或いは外部装置に出力し(ステップS28)、処理を終了する。
以上のように、本実施形態によれば、基本モデル241から生成された照度推定モデル131を用いて、撮像画像の輝度から照度を推定するため、照度推定を精度よく行うことができる。また、阻害要因が存在する領域の除去や、取得対象領域(静的領域)の設定を自動で行うことができるため、画像センサ10Aの調整に係る利便性を向上させることができる。また、照度推定の阻害要因を取り除いた撮像画像を用いて照度推定を行うため、照度推定をより精度よく行うことができる。さらに、撮像画像内の静的領域の輝度を用いて照度推定を行うため、照度推定をより精度よく行うことができる。
なお、上記第2の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記第2の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、第2の実施形態では、照度推定の阻害要因の除去と、静的領域の特定との両処理を行う形態を説明したが、これに限らず、何れか一方の処理を行う形態としてもよい。
[第3の実施形態]
次に、第3の実施形態について説明する。第3の実施形態では、上述した画像センサ10(或いは画像センサ10A)を用いた画像センサシステムについて説明する。なお、以下では、画像センサシステムを、図2に示したオフィスビル等の建物内の照明制御システムに適用した例について説明するが、適用範囲はこれに限らないものとする。また、第1の実施形態と同様の要素については、同一の符号を付与し説明を適宜省略する。
図11は、第3の実施形態に係る画像センサシステム2の構成例を示す図である。同図に示すように、画像センサシステム2は、画像センサ10と、照明装置30と、照明制御装置40とを有する。ここで、画像センサ10及び照明制御装置40は、回線Nに着脱可能に接続されており、当該回線Nを介して通信を行う。また、照明制御装置40は、照明装置30の各々が接続される回線Nに着脱可能に接続されており、照明装置30の電源のオン/オフや出力値等を制御する。なお、回線Nに接続される画像センサ10及び照明装置30の個数は、特に問わないものとする。また、図11では、画像センサ10が接続される回線と、照明装置30が接続される回線とを同一としたが、異なる回線としてもよい。
画像センサ10は、第1の実施形態で説明した照度推定モデル131を、記憶部13に保持している。画像センサ10は、当該照度推定モデル131に基づいて、カメラ部11で撮像された撮像画像の輝度から自装置周辺の照度を推定する。また、画像センサ10は、撮像画像を解析することで、被写体となった領域内での人の在/不在等を検知する。そして、画像センサ10は、推定した照度及び人の在/不在等の検知結果を、センシング結果として、通信部12を通じて外部装置(照明制御装置40)に出力する。なお、画像センサ10は、照明制御装置40との通信時に自装置を識別するためのセンサ識別子を、あわせて送信するものとする。
照明装置30は、蛍光灯やLED(Light Emitting Diode)等の照明装置であって、自装置が設けられた空間を照明する。また、照明装置30は、照明制御装置40の制御に従い、照明のオン/オフや出力値を切り替える。なお、画像センサ10及び照明装置30は、図2と同様、オフィスの天井部分に設けられているものとする。
照明制御装置40は、画像センサ10の各々から入力されるセンシング結果に基づき、照明装置30の制御を行うサーバ装置である。以下、照明制御装置40の構成について説明する。
図12は、照明制御装置40の構成例を模式的に示す図である。同図に示すように、照明制御装置40は、入力部41、表示部42、通信部43、記憶部44及び制御部45を備えている。
入力部41は、キーボードやポインティングデバイス等の入力デバイスを有し、照明制御装置40の操作者から受け付けた操作内容を制御部45に出力する。表示部42は、液晶表示パネル等の表示デバイスを有し、制御部45の指示に従い各種の情報を表示する。通信部43は、回線Nに着脱自在に接続可能な通信インタフェースであって、回線Nを介し外部装置(画像センサ10、照明装置30等)との間で各種情報の授受を行う。
記憶部44は、HDD等の補助記憶装置であって、制御部45が実行する各種プログラムや設定情報を記憶している。また、記憶部44は、照明装置30の制御に係る設定情報として、センサ管理テーブル441を記憶している。
センサ管理テーブル441は、画像センサ10と、当該画像センサ10の管轄下に置かれる照明装置30とを対応付けたデータテーブルである。ここで、画像センサ10の管轄下とは、画像センサ10のセンシング結果により制御の対象となるものであって、例えば、画像センサ10の撮像範囲に対応する位置に置かれた照明装置30や、画像センサ10と同じ室内に設けられた照明装置30等である。
図13は、センサ管理テーブル441のデータ構成の一例を示す図である。同図に示すように、センサ管理テーブル441は、データ項目として、センサ識別子及び照明識別子を有し、これらデータ項目を対応付けて管理している。
ここで、センサ識別子は、各画像センサ10を識別するための識別情報である。センサ識別子としては、例えば、各画像センサ10に予め割り当てられたIPアドレスや、MACアドレス、製造番号等を用いることができる。また、照明識別子は、各照明装置30を識別するための識別情報である。照明識別子としては、例えば、各照明装置30に予め割り当てられたIPアドレスや、MACアドレス、製造番号等を用いることができる。
なお、図13では、センサ識別子として“センサ01”、“センサ02”が登録された例を示している。また、センサ識別子“センサ01”に、三つの照明識別子“照明01”〜“照明03”が対応付けて登録されており、センサ識別子“センサ02”に、三つの照明識別子“照明04”〜“照明06”が対応付けて登録された例を示している。
制御部45は、CPU、ROM、RAM等のコンピュータ構成を有し(何れも図示せず)、ROMや記憶部44に記憶されたプログラムと協働することで、照明制御装置40の動作を統括的に制御する。また、制御部45は、ROMや記憶部44に記憶されたプログラムとの協働により、センシング結果取得部451、照度判定部452及び照明制御部453を、機能部として実現させる。
センシング結果取得部451は、センサ管理テーブル441にセンサ識別子が登録された画像センサ10の各々からセンシング結果を取得する。ここで、センシング結果には、照度及び人の在/不在等の検知結果が含まれるものとする。
照度判定部452は、センシング結果取得部451が取得した画像センサ10毎のセンシング結果に含まれる照度に基づき、画像センサ10周辺の照度や、画像センサ10が設けられた部屋全体の照度を判定し、その判定結果を、対応する画像センサ10のセンサ識別子とともに照明制御部453に出力する。
例えば、一の画像センサ10のセンシング結果に一の照度が含まれる場合、照度判定部452は、この照度を、当該画像センサ10周辺の照度と判定する。また、一の画像センサ10のセンシング結果に、配置位置と対応付けられた照度が含まれる場合、照度判定部452は当該照度を、その画像センサ10周辺の各配置位置での照度と判定する。
また、同室内に複数の画像センサ10が設けられているような場合、照度判定部452は、これら画像センサ10のセンシング結果に含まれる照度の平均値等を算出し、この算出により得られた照度を、当該画像センサ10が設けられた室内全体の照度と判定してもよい。なお、同室内に設けられた画像センサ10の判別は、各室の画像センサ10や照明装置30の配置位置や位置関係を示したレイアウト情報や、同室内に設けられた画像センサ10のセンサ識別子を対応付けた設定情報(何れも図示せず)等に基づき、行われるものとする。
また、照度判定部452は、判定した照度を、その度合に応じて段階(レベル)分けした値を照明制御部453に出力してもよい。
照明制御部453は、照度判定部452から入力される照度及びセンシング結果に含まれる人の在/不在等の検出結果に基づき、各照明装置30のオン/オフや出力値を制御する。
例えば、照明制御部453は、オフィスワークに必要な照度が確保されている部屋(領域)では照明装置30の出力(調光率)を下げたり、オフィスワークに必要な照度が確保されていない部屋(領域)では照明装置30の出力(調光率)を上げたりする制御を行う。また、照明制御部453は、人が存在する部屋(領域)では照明装置30をオン、人が存在しない部屋(領域)では照明装置30をオフ、また、人の分布に応じて照明装置30の調光率を変化させる等の制御を行う。
また、制御の対象となる照明装置30は、照度判定部452から照度とともに入力されるセンサ識別子や画像センサ10からセンシング結果とともに送信されるセンサ識別子に基づき、センサ管理テーブル441から該当する照明識別子が選定されるものとする。なお、照度判定部452において、画像センサ10周辺の所定の配置位置毎に照度が判定されていた場合には、当該照度に基づき、この配置位置に対応する照明装置30を個別に制御する形態としてもよい。なお、配置位置と照明装置30(照明識別子)との対応関係は、上述したレイアウト情報等に基づき、該当する照明装置30を特定するものとする。
以下、照明制御装置40が行う照明制御に係る処理について説明する。図14は、照明制御装置40で実行される照明制御処理の一例を示すフローチャートである。
まず、センシング結果取得部451が、センサ管理テーブル441にセンサ識別子が登録された画像センサ10の各々から、センシング結果を取得する(ステップS31)。ここで、センシング結果を取得するタイミングは、特に問わないものとする。また、各画像センサ10から一斉に取得する形態としてもよいし、それぞれ異なるタイミングで取得する形態としてもよい。また、センシング結果取得部451から画像センサ10に、センシング結果の送信を要求する形態としてもよいし、画像センサ10から送信されるセンシング結果を待機する形態としてもよい。
続いて、照度判定部452は、ステップS31で取得されたセンシング結果に含まれる照度に基づいて、そのセンシング結果を送信した画像センサ10周辺の照度や、当該画像センサ10が設けられた部屋全体の照度を判定する(ステップS32)。
そして、照明制御部453は、照度判定部452で判定の対象となった画像センサ10のセンサ識別子に対応する照明識別子をセンサ管理テーブル441から特定すると(ステップS33)、当該画像センサ10についてのステップS32の判定結果やセンシング結果に含まれる人の在/不在等の検知結果に基づき、その照明識別子に対応する照明装置30を調光(制御)し(ステップS34)、処理を終了する。なお、本処理は、センシング結果取得部451が、センシング結果を取得する毎に実行される。
以上のように、本実施形態によれば、基本モデル241から生成された照度推定モデル131を用いて、撮像画像の輝度から照度を推定するため、照度推定を精度よく行うことができる。また、画像センサ10のセンシング結果を用いて、照明装置30を制御するため、照明装置30の制御をより確実に行うことができる。
以上、第3の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記第3の実施形態では、オフィスビル等の建物を管理対象とした例について説明したが、これに限らず、複数の建物や、屋外施設、地域全体等を管理対象としてもよい。また、上記実施形態では、照明装置30を制御対象としたが、これに限らず、空調装置等の他の電気機器を制御対象に含めてもよい。
上記第1〜第3の実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記第1〜第3の実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
1 照度推定モデル設定システム
2 画像センサシステム
10、10A 画像センサ
11 カメラ部
12 通信部
13 記憶部
131 照度推定モデル
14、14A 制御部
141、141A 照度推定部
142 人検出部
143 センシング結果出力部
20 照度推定モデル生成装置
21 入力部
22 表示部
23 通信部
24 記憶部
241 基本モデル
25 制御部
251 基本モデル生成部
252 基準画像取得部
253 基準照度取得部
254 照度推定モデル生成部
255 照度推定モデル設定部
30 照明装置
40 照明制御装置
41 入力部
42 表示部
43 通信部
44 記憶部
441 センサ管理テーブル
45 制御部
451 センシング結果取得部
452 照度判定部
453 照明制御部
N 回線
ところで、画像センサが設置される検知エリアには様々な態様があり得る。そのため、検知エリアの設定場所によらず、より高精度に室内の明るさを検知することが可能な技術が望まれている。また、撮像画像を用いて照度推定を行う場合、その撮像画像から適切なセンシング結果が得られるよう、設定を調整する必要がある。しかしながら、カメラ台数が増加するほど調整作業は煩雑となるため、より効率的に調整を行うことが可能な技術が望まれている。
基本モデル241は、複数の被写体条件下で撮像された撮像画像と、その撮像時の撮像条件とを基に生成される情報であって、照度推定モデル131の生成の基礎となるものである。ここで、被写体条件は、例えば、被写体となる空間や物体の反射率等である。また、撮像条件は、例えば、撮像時における被写体空間の照度を表す照度条件、撮像時における撮像装置(画像センサ10等)のカメラパラメータである。
また、上記例では、撮像条件のうち、照度条件を用いた例を説明したが、カメラパラメータを含める場合には、上記した被写体条件及び照度条件の組に、カメラパラメータ(例えば、シャッター速度等の露出補正に関する値)を変えた時の各条件を組み合わせることで、三以上の要素からなる基本モデル241を生成する形態としてもよい。

Claims (13)

  1. 複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する保持手段と、
    照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段と、
    前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段と、
    前記基本モデルに基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段と、
    を備える情報処理装置。
  2. 前記基本モデルを生成する基本モデル生成手段を更に備え、
    前記保持手段は、前記基本モデル生成手段で生成された前記基本モデルを保持する請求項1に記載の情報処理装置。
  3. 前記基本モデル生成手段は、複数の照度と撮像画像の輝度との回帰式を前記被写体条件毎に求め、当該回帰式を前記基本モデルとして生成する請求項2に記載の情報処理装置。
  4. 前記照度推定モデル生成手段は、前記基準照度と前記基準画像の輝度との組で表されるデータ値を、前記基本モデルを用いて線形補間することで前記照度推定モデルを生成する請求項1〜3の何れか一項に記載の情報処理装置。
  5. 前記照度推定モデル生成手段は、前記基準画像に含まれる一又は複数の領域から前記輝度を取得し、当該領域の各々について前記照度推定モデルを生成する請求項1〜4の何れか一項に記載の情報処理装置。
  6. 前記照度推定モデル生成手段は、前記対象空間に設置された照明装置が照明する領域を前記基準画像から特定し、当該領域から取得した輝度に基づいて、前記照度推定モデルを生成する請求項5に記載の情報処理装置。
  7. 前記基準画像取得手段は、前回取得した基準画像と、前記対象空間で新たに撮像される撮像画像とを比較し、両画像の相違が所定の閾値を超えた場合、当該撮像画像を基準画像として新たに取得する請求項1〜6の何れか一項に記載の情報処理装置。
  8. 請求項1〜7の何れか一項に記載の情報処理装置で生成された照度推定モデルを保持する保持手段と、
    照度推定の対象空間で撮像された撮像画像を取得する取得手段と、
    前記照度推定モデルに基づいて、前記撮像画像の輝度に対応する照度を導出する導出手段と、
    を備える画像センサ装置。
  9. 前記導出手段は、前記撮像画像から動体又は局所的な光源が存在する領域を除外し、当該領域を除外した撮像画像から輝度を取得する請求項8に記載の画像センサ装置。
  10. 前記導出手段は、前記撮像画像から変化の少ない静的領域を特定し、当該静的領域から輝度を取得する請求項8又は9に記載の画像センサ装置。
  11. 前記保持手段は、前記撮像画像中の所定の領域と対応付けて照度推定モデルを保持し、
    前記導出手段は、前記照度推定モデルに対応付けられた前記撮像画像中の各領域から輝度を取得し、当該領域に対応する前記照度推定モデルを用いて照度をそれぞれ導出する請求項8〜10の何れか一項に記載の画像センサ装置。
  12. 前記導出手段が導出した照度又は当該照度の度合いに応じた値を出力する出力手段を更に備える請求項8〜11の何れか一項に記載の画像センサ装置。
  13. 複数の被写体条件の下、照度条件を変化させて被写体を撮像した際に得られる、複数の照度と撮像画像の輝度との関係を、前記被写体条件毎に表した基本モデルを保持する情報処理装置のコンピュータを、
    照度推定の対象空間で撮像された撮像画像を基準画像として取得する基準画像取得手段と、
    前記基準画像が撮像された際の前記対象空間の照度を基準照度として取得する基準照度取得手段と、
    前記基本モデルに基づき、前記基準照度と前記基準画像の輝度との組で表されるデータ値から、前記対象空間における照度と輝度との関係を表した照度推定モデルを生成する照度推定モデル生成手段と、
    して機能させるためのプログラム。
JP2012054910A 2012-03-12 2012-03-12 情報処理装置、画像センサ装置及びプログラム Active JP5726792B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012054910A JP5726792B2 (ja) 2012-03-12 2012-03-12 情報処理装置、画像センサ装置及びプログラム
CN201380000456.1A CN103444267B (zh) 2012-03-12 2013-01-08 信息处理装置、图像传感器装置及方法
PCT/JP2013/050126 WO2013136822A1 (ja) 2012-03-12 2013-01-08 情報処理装置、画像センサ装置及びプログラム
SG2013051818A SG193230A1 (en) 2012-03-12 2013-01-08 Information processing device, image sensor device, and program
EP13730787.2A EP2827683A4 (en) 2012-03-12 2013-01-08 INFORMATION PROCESSING DEVICE, IMAGE SENSOR AND PROGRAM
US13/820,690 US9137449B2 (en) 2012-03-12 2013-01-08 Luminance estimation model generation device, image sensor device, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012054910A JP5726792B2 (ja) 2012-03-12 2012-03-12 情報処理装置、画像センサ装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013191310A true JP2013191310A (ja) 2013-09-26
JP5726792B2 JP5726792B2 (ja) 2015-06-03

Family

ID=49160744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012054910A Active JP5726792B2 (ja) 2012-03-12 2012-03-12 情報処理装置、画像センサ装置及びプログラム

Country Status (6)

Country Link
US (1) US9137449B2 (ja)
EP (1) EP2827683A4 (ja)
JP (1) JP5726792B2 (ja)
CN (1) CN103444267B (ja)
SG (1) SG193230A1 (ja)
WO (1) WO2013136822A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152496A (ja) * 2014-02-17 2015-08-24 株式会社東芝 調整装置及び調整プログラム
JP2015185364A (ja) * 2014-03-24 2015-10-22 東芝ライテック株式会社 センサ装置及びセンサ装置を用いる制御システム
JP2015222641A (ja) * 2014-05-22 2015-12-10 株式会社東芝 照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラム
JP2015231128A (ja) * 2014-06-04 2015-12-21 株式会社東芝 調整端末、調整方法及びコンピュータプログラム
WO2016084222A1 (ja) * 2014-11-28 2016-06-02 三菱電機株式会社 照度推定装置および照度推定プログラム
JP2017168377A (ja) * 2016-03-17 2017-09-21 パナソニックIpマネジメント株式会社 照度取得システム、照明制御システム、及び照度取得プログラム
WO2019082789A1 (ja) * 2017-10-27 2019-05-02 パナソニックIpマネジメント株式会社 照明器具
WO2019087742A1 (ja) * 2017-11-01 2019-05-09 株式会社 東芝 画像センサ、センシング方法、制御システム及びプログラム
JP2019158614A (ja) * 2018-03-13 2019-09-19 三菱電機株式会社 照度推定装置、プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2928269A1 (en) 2014-04-04 2015-10-07 LG Electronics Inc. Lighting system and control method thereof
CN104467964B (zh) * 2014-11-10 2017-06-23 北京邮电大学 一种室内可见光通信的通信速率优化方法
US9948926B2 (en) * 2015-05-08 2018-04-17 Electronics And Telecommunications Research Institute Method and apparatus for calibrating multiple cameras using mirrors
CN105163435B (zh) * 2015-08-28 2018-02-13 北京京东方茶谷电子有限公司 照明方法和照明装置
CN108605402B (zh) 2015-12-11 2020-09-18 路创技术有限责任公司 具有可见光传感器的负载控制系统
US20170223802A1 (en) * 2016-02-03 2017-08-03 Honeywell International Inc. Camera-aided controller of illumination
EP3552459A2 (en) * 2016-12-09 2019-10-16 Lutron Technology Company LLC Load control system having a visible light sensor
US10552961B2 (en) * 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
CN108229437A (zh) * 2018-02-02 2018-06-29 王辉 基于云计算的图像分析系统
CN110466419A (zh) * 2018-10-31 2019-11-19 长城汽车股份有限公司 车辆的控制方法、系统及车辆
WO2020221840A1 (en) 2019-04-30 2020-11-05 Signify Holding B.V. Camera-based lighting control
JP7366820B2 (ja) * 2020-03-25 2023-10-23 株式会社日立製作所 行動認識サーバ、および、行動認識方法
WO2021200143A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 画像処理装置、画像処理方法、および、3dモデルデータ生成方法
US12078533B2 (en) 2021-06-02 2024-09-03 Tidalx Ai Inc. Underwater camera as light sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250696A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Works Ltd 照度自動設定システム
JP2001281054A (ja) * 2000-03-31 2001-10-10 Mitsubishi Electric Corp 照度検知装置
JP2002110371A (ja) * 2000-09-29 2002-04-12 Mitsubishi Electric Corp 照明制御システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256833B2 (en) * 2002-05-22 2007-08-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for automatically optimizing optical contrast in automated equipment
JP4113570B2 (ja) * 2005-08-19 2008-07-09 松下電器産業株式会社 画像処理方法、画像処理システムおよび画像処理プログラム
JP4735255B2 (ja) * 2005-12-29 2011-07-27 オムロン株式会社 画像処理装置および画像処理装置の動作条件設定方法
JP5177147B2 (ja) * 2007-11-19 2013-04-03 富士通株式会社 撮像装置、撮像方法および撮像プログラム
US8130292B2 (en) * 2008-12-31 2012-03-06 Aptina Imaging Corporation Scene illumination adaptive lens shading correction for imaging devices
KR101544033B1 (ko) * 2008-12-31 2015-08-12 삼성전자주식회사 디지털 카메라 및 그 제어방법
US8462227B2 (en) * 2009-04-24 2013-06-11 Ati Technologies Ulc Digital camera module white balance calibration method and apparatus using only single illumination source data
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
JP2011081982A (ja) 2009-10-06 2011-04-21 Toshiba Corp 照明制御装置及び方法
JP4852159B2 (ja) * 2010-02-24 2012-01-11 株式会社東芝 画像処理装置、画像処理方法および空調制御装置
JP2011204643A (ja) * 2010-03-26 2011-10-13 Panasonic Electric Works Co Ltd 照明システム
BR112012030264A2 (pt) * 2010-06-03 2017-06-13 Koninl Philips Electronics Nv unidade de configuração para configurar um sensor, sistema de controle de iluminação, método de configuração de sensor e produto de programa de computador carregável em um sensor para detecção da presença de um alvo
JP2012028015A (ja) 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250696A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Works Ltd 照度自動設定システム
JP2001281054A (ja) * 2000-03-31 2001-10-10 Mitsubishi Electric Corp 照度検知装置
JP2002110371A (ja) * 2000-09-29 2002-04-12 Mitsubishi Electric Corp 照明制御システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152496A (ja) * 2014-02-17 2015-08-24 株式会社東芝 調整装置及び調整プログラム
JP2015185364A (ja) * 2014-03-24 2015-10-22 東芝ライテック株式会社 センサ装置及びセンサ装置を用いる制御システム
JP2015222641A (ja) * 2014-05-22 2015-12-10 株式会社東芝 照明制御システム、画像センサ、画像センサ校正方法及びコンピュータプログラム
JP2015231128A (ja) * 2014-06-04 2015-12-21 株式会社東芝 調整端末、調整方法及びコンピュータプログラム
WO2016084222A1 (ja) * 2014-11-28 2016-06-02 三菱電機株式会社 照度推定装置および照度推定プログラム
JPWO2016084222A1 (ja) * 2014-11-28 2017-04-27 三菱電機株式会社 照度推定装置および照度推定プログラム
JP2017168377A (ja) * 2016-03-17 2017-09-21 パナソニックIpマネジメント株式会社 照度取得システム、照明制御システム、及び照度取得プログラム
WO2019082789A1 (ja) * 2017-10-27 2019-05-02 パナソニックIpマネジメント株式会社 照明器具
WO2019087742A1 (ja) * 2017-11-01 2019-05-09 株式会社 東芝 画像センサ、センシング方法、制御システム及びプログラム
JP2019087787A (ja) * 2017-11-01 2019-06-06 株式会社東芝 画像センサ、センシング方法、制御システム及びプログラム
JP2019158614A (ja) * 2018-03-13 2019-09-19 三菱電機株式会社 照度推定装置、プログラム

Also Published As

Publication number Publication date
US9137449B2 (en) 2015-09-15
SG193230A1 (en) 2013-10-30
EP2827683A4 (en) 2015-09-23
US20150015775A1 (en) 2015-01-15
CN103444267B (zh) 2015-04-01
EP2827683A1 (en) 2015-01-21
WO2013136822A1 (ja) 2013-09-19
JP5726792B2 (ja) 2015-06-03
CN103444267A (zh) 2013-12-11

Similar Documents

Publication Publication Date Title
JP5726792B2 (ja) 情報処理装置、画像センサ装置及びプログラム
CN109076680B (zh) 控制照明系统
CN109076679B (zh) 控制照明系统
CN108370632A (zh) 产生照明场景
JP2014017114A (ja) 照明システム
JP2013096947A (ja) 人センサ及び負荷制御システム
TW201419944A (zh) Led燈照明控制系統及方法
JP5877372B2 (ja) 照明制御装置及び照明システム
JP2013004490A (ja) 照明システム
JP2013004311A (ja) 照明制御システム
EP3529788B1 (en) Presence detection system and method
JP2010123373A (ja) 照明システム
JP2013206812A (ja) 調光システム
JP2013041714A (ja) 照明制御装置
KR101512141B1 (ko) 사람 움직임 방향을 고려한 스마트 조명 제어 장치 및 방법
JP2013004312A (ja) 照明制御システム
JP6256137B2 (ja) センサ装置及びセンサ装置を用いる制御システム
US20210274083A1 (en) Method for controlling an illumination of an object, system for controlling an illumination of an object, and camera
JP6495696B2 (ja) 画像収集装置、画像収集方法及びコンピュータプログラム
JP6070173B2 (ja) 照明制御装置および照明制御方法
JP6709954B2 (ja) 照明制御システム
JP2011187292A (ja) 照明制御装置および照明ユニット
JP6551780B2 (ja) 照明制御方法およびそれを利用した照明制御装置、照明システム
JP6516157B2 (ja) 照明制御方法およびそれを利用した照明制御システム、照明システム
JP2024030179A (ja) 推定方法、照明制御方法、推定プログラム、制御装置、及び照明制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R151 Written notification of patent or utility model registration

Ref document number: 5726792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151