JP2017138922A - 画像センサ及び学習方法 - Google Patents

Abstract

【課題】人物の誤検出を抑制することができる画像センサ及び学習方法を提供することである。【解決手段】実施形態の画像センサは、画像取得部と、動体検出部と、背景識別部と、人物識別部と、人物判定部と、学習部と、を持つ。画像取得部は、制御対象の空間の画像を取得する。動体検出部は、前記画像から動体を検出する。背景識別部は、前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する。人物識別部は、人物の特徴を示す情報である人物辞書に基づいて、前記動体が人物か否かを識別する。人物判定部は、動体検出部による動体の検出結果と、背景識別部による背景の識別結果と、人物識別部による人物の識別結果とに基づいて、前記空間における人物の有無を判定する。学習部は、前記画像取得部によって取得された画像に基づいて前記背景辞書及び前記人物辞書の一方又は両方を更新する。【選択図】図２

Description

本発明の実施形態は、画像センサ及び学習方法に関する。

従来、省エネルギー化を目的として、画像センサを用いた照明機器の制御方法が検討されている。画像センサを用いた照明機器の制御方法とは、おおよそ次のようなものである。まず、画像センサは、制御対象の照明機器に応じた空間（以下、「対象空間」という。）を撮像し、対象空間の画像を取得する。画像センサは、取得した対象空間の画像から、対象空間に存在する人物に関する情報（以下、「人物情報」という。）を取得する。例えば、画像センサは、画像から人物を検出することにより、対象空間における人物の有無を示す情報を人物情報として取得する。画像センサは、取得した人物情報をＢＥＭＳ（Building Energy Management System）等の照明制御システムに送信する。例えば照明制御システムは、対象空間に人物が存在する場合には対応する照明機器を点灯させ、対象空間において人物が不在の場合には対応する照明機器を消灯させる。画像センサは、人物の有無を示す情報のほか、多種多様な人物情報を画像から取得できるため、対象空間における人物の状態に応じて、きめ細やかな照明機器の制御が可能となる。

画像から人物を検出する従来技術として、人物を検出する対象の画像（以下、「検出対象画像」という。）と、人物以外の背景が撮像された画像（以下、「背景画像」という。）と、の輝度差によって検出対象画像内の領域が背景であるか否かを判定する方法がある。このような背景画像との比較による人物の検出方法では、対象空間における照明の状態が背景画像に撮像された対象空間と同じ又は近い状態であることが前提となる。そのため、従来、照明の状態に応じた背景画像から照明の状態に応じた背景画像を選択することによって、照明の状態が変化する対象空間についても人物の検出を可能としていた。

しかしながら、上述の従来技術は、対象空間における背景の変化に対応していない。例えば、フロアレイアウトが変更された場合や、机上に置かれた物体の位置が変化した場合、背景変化前の背景画像では、背景変化後の対象空間の背景を識別することができない。すなわち、従来技術は、対象空間の背景の変化によって人物を誤検出する可能性があった。

特許第５０９９９０４号公報

本発明が解決しようとする課題は、人物の誤検出を抑制することができる画像センサ及び学習方法を提供することである。

実施形態の画像センサは、画像取得部と、動体検出部と、背景識別部と、人物識別部と、人物判定部と、学習部と、を持つ。画像取得部は、制御対象の空間の画像を取得する。動体検出部は、前記画像取得部によって取得された前記画像から動体を検出する。背景識別部は、前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する。人物識別部は、人物の特徴を示す情報である人物辞書に基づいて、前記動体が人物か否かを識別する。人物判定部は、前記動体検出部による動体の検出結果と、前記背景識別部による背景の識別結果と、前記人物識別部による人物の識別結果とに基づいて、前記空間における人物の有無を判定する。学習部は、前記画像取得部によって取得された画像に基づいて前記背景辞書及び前記人物辞書の一方又は両方を更新する。

第１の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図。 第１の実施形態の画像センサ２の機能構成を示す機能ブロック図。 第１の実施形態の画像センサ２が、照明制御の運用中において対象空間における人物の有無を判定する処理の流れを示すフローチャート。 人物領域の抽出の具体例を示す図。 検出対象画像から人物の活動量を取得する方法の具体例を示す図。 背景辞書の初期学習の流れを示すフローチャート。 人物辞書の初期学習の流れを示すフローチャート。 背景辞書及び人物辞書のオンライン学習の流れを示すフローチャート。 第２の実施形態の画像センサ２ａの機能構成を示す機能ブロック図。 第２の実施形態の画像センサ２ａが、照明制御の運用中において対象空間における人物の有無を判定する処理の流れを示すフローチャート。

以下、実施形態の画像センサ及び学習方法を、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の画像センサを用いた機器制御システムの構成の具体例を示すシステム構成図である。機器制御システム１００は、一つ以上の照明機器１、一つ以上の画像センサ２、ネットワークハブ３、ゲートウェイ４、センサネットワーク５、制御ネットワーク６及び制御装置群７を備える。

照明機器１は、機器制御システム１００において制御対象となる機器の一例である。図１には、一つ以上の照明機器１の例として照明機器１−１〜１−３が示されている。

画像センサ２は、一つ以上の照明機器１が設置された空間（以下、「制御対象空間」という。）において、各照明機器１に対応して設置される。画像センサ２は、自装置に対応する照明機器１に応じた空間（以下、「対象空間」という。）を撮像し、対象空間の画像を取得する。例えば画像センサ２は、オフィスフロア（制御対象空間）の天井に設置され、オフィスフロアを俯瞰して撮像可能なように設置される。そして画像センサ２は、同じくオフィスフロアの天井に設置された照明機器１のうち、自装置に対応する照明機器１によって光が供給される空間（対象空間）を撮像する。画像センサ２は、撮像によって取得した対象空間の画像から対象空間の状態に関する情報（以下、「空間情報」という。）を取得する。画像センサ２は、取得した空間情報をネットワークハブ３を介してゲートウェイ４に送信する。図１には、一つ以上の画像センサ２の例として画像センサ２−１〜２−３が示されている。

ネットワークハブ３は、画像センサ２をセンサネットワーク５に接続する。
ゲートウェイ４は、画像センサ２が接続されたセンサネットワーク５と、制御装置群７が接続された制御ネットワーク６とを接続する。ゲートウェイ４は、通信プロトコルの変換等を行うことにより、画像センサ２と制御装置群７との間の通信を中継する。

センサネットワーク５は、画像センサ２を収容するネットワークである。例えばセンサネットワーク５は、イーサネット（登録商標）によって構成されたＩＰネットワークである。センサネットワーク５は、画像センサ２との通信を可能にするネットワークであれば他のどのような種類のネットワークであってもよい。

制御ネットワーク６は、制御装置群７を収容するネットワークである。例えば制御ネットワーク６は、BACnet（Building Automation and Control Network）によって構成されたＩＰネットワークである。制御ネットワーク６は、制御装置群７との通信を可能にするネットワークであれば他のどのような種類のネットワークであってもよい。

なお、画像センサ２と制御装置群７との間の通信が可能であれば、センサネットワーク５及び制御ネットワーク６は、いずれかのネットワークに統合されてもよい。この場合、機器制御システム１００はゲートウェイ４を備えなくてもよい。

制御装置群７は、機器制御システム１００において制御対象の機器を制御する制御装置の集合を表す。例えば制御装置群７は、ＢＥＭＳ７１（Building Energy Management System）や、空調制御装置７２及び照明制御装置７３を備える。ＢＥＭＳ７１は、ビルの機器や設備等の運転管理によってエネルギー消費量の削減を図るためのシステムである。空調制御装置７２は、空調装置（図示せず）を制御する装置である。照明制御装置７３は、照明機器１を制御する装置である。

制御装置群７に含まれる各制御装置は、画像センサ２から送信される空間情報に基づいて制御対象の機器の制御値を算出し、算出した制御値で制御対象の機器を動作させるための制御情報を生成する。各制御装置は、生成した制御情報を制御対象の機器に送信する。この制御情報の送信により、制御対象の機器が空間情報に基づいて算出された制御値で動作するように制御される。

なお、本実施形態では、画像センサ２は、対象空間における人物に関する情報（以下、「人物情報」という。）を空間情報として取得する。例えば人物情報は、対象空間における人物の有無、人数、活動量、姿勢などを示す情報である。照明制御装置７３は、画像センサ２から送信される人物情報に基づいて、制御対象の照明機器１を制御する。

図２は、第１の実施形態の画像センサ２の機能構成を示す機能ブロック図である。画像センサ２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像センサプログラムを実行する。画像センサ２は、画像センサプログラムの実行によって通信部２０１、撮像部２０２、画像記憶部２０３、背景辞書記憶部２０４、人物辞書記憶部２０５、動体検出部２０６、背景識別部２０７、人物識別部２０８、人物判定部２０９及び学習部２１０を備える装置として機能する。なお、画像センサ２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像センサプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像センサプログラムは、電気通信回線を介して送信されてもよい。

通信部２０１は、画像センサ２がセンサネットワーク５に接続するための通信インターフェースである。

撮像部２０２（画像取得部の一例）は、対象空間を撮像し、対象空間の画像を取得する。撮像部２０２は、取得した対象空間の画像データを画像記憶部２０３に記憶させる。

画像記憶部２０３、背景辞書記憶部２０４及び人物辞書記憶部２０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像記憶部２０３は、撮像部２０２によって取得された画像データを記憶する。背景辞書記憶部２０４は、背景辞書を記憶する。背景辞書は、対象空間の背景の特徴を示す情報である。背景辞書は、対象空間の背景に関する画像（以下、「背景画像」という。）から抽出された特徴量が、種々の特徴ごとに整理された情報である。人物辞書記憶部２０５は、人物辞書を記憶する。人物辞書は、人物の特徴を示す情報である。人物辞書は、人物に関する画像（以下、「人物画像」という。）から抽出された特徴量が、種々の特徴ごとに整理された情報である。背景辞書記憶部２０４は、予め生成された初期の背景辞書を記憶している。同様に、人物辞書記憶部２０５は、予め生成された初期の人物辞書を記憶している。

動体検出部２０６は、画像記憶部２０３に蓄積された画像に基づいて、動体を検出する対象の画像（以下、「検出対象画像」という。）から動体を検出する。動体検出部２０６は、自律して動作する人物などの被写体の他、自律して動作しないが位置の変化があった静止体などを動体として検出する。画像から動体を検出する手法には、フレーム間差分やオプティカルフロー、テンプレートマッチングなどの手法を用いることができる。

背景識別部２０７は、動体検出部２０６によって動体と判定された領域（以下、「動体領域」という。）の画像が背景であるか否かを、背景辞書に基づいて識別する。
人物識別部２０８は、背景識別部２０７によって背景でないと識別された動体領域が人物であるか否かを、人物辞書に基づいて識別する。

背景識別部２０７及び人物識別部２０８は、動体領域の画像から識別対象（背景や人物）に応じた特徴量を取得し、取得した特徴量と、背景辞書や人物辞書などの辞書情報とに基づいて、動体領域の被写体を識別する。なお、画像から被写体を識別する手法には、ニューラルネットワークやＳＶＭ（Support Vector Machine）、ｋ近傍識別器、ベイズ分類などの手法を用いることができる。また、被写体の識別に用いる特徴量には、累積差分特徴量のような輝度変化に関する特徴量や、ＣｏＨＯＧ特徴量のような輝度分布に関数特徴量を用いることができる。

人物判定部２０９は、人物識別部２０８の識別結果に基づいて、検出対象画像において人物が撮像された領域（以下、「人物領域」という。）を抽出する。人物判定部２０９は、人物領域の抽出結果に応じて対象空間における人物の有無を判定する。人物判定部２０９は、通信部２０１を介して判定結果を照明制御装置７３に送信する。

学習部２１０は、画像記憶部２０３に蓄積された画像に基づいて、辞書情報を更新する。この辞書情報の更新を以下では学習と称する。辞書情報の学習は初期学習とオンライン学習とに分類される。初期学習は、背景辞書記憶部２０４及び人物辞書記憶部２０５に予め登録される初期状態の辞書情報を生成する処理である。初期状態の辞書情報は、予め用意された学習用の画像に基づいて生成される。これに対してオンライン学習は、照明制御の運用中に蓄積された検出対象画像に基づいて、辞書情報を更新する処理である。

なお、上述した画像センサ２は、撮像部２０２を備えない空間情報取得装置として構成されてもよい。この場合、空間情報取得装置は、撮像部２０２として機能するカメラとの通信インターフェースを備え、カメラとの通信によって対象空間の画像を取得してもよい。また、空間情報取得装置は、クラウドサーバとして構成されてもよい。

図３は、第１の実施形態の画像センサ２が、照明制御の運用中において対象空間における人物の有無を判定する処理の流れを示すフローチャートである。まず、撮像部２０２が対象空間を撮像し、検出対象画像を取得する（ステップＳ１０１）。動体検出部２０６は、撮像部２０２によって取得された検出対象画像と、画像記憶部２０３に蓄積された画像とのフレーム間差分を取得する（ステップＳ１０２）。動体検出部２０６は、取得したフレーム間差分に基づいて、検出対象画像から動体領域を抽出する（ステップＳ１０３）。

続いて背景識別部２０７が、動体検出部２０６によって抽出された動体領域の画像から特徴量を抽出する。背景識別部２０７は、抽出した特徴量と、背景辞書とに基づいて、動体領域の被写体が背景であるか否かを判定する。具体的には、動体検出部２０６は、動体領域の画像と背景画像との類似度を算出する（ステップＳ１０４）。背景識別部２０７は、算出した類似度に基づいて、動体領域の被写体が背景であるか否かを判定する。例えば、背景識別部２０７は、類似度が所定の閾値以上である場合に動体領域の被写体が背景であると判定し、類似度が閾値未満である場合に動体領域の被写体が背景でないと判定する。背景識別部２０７は、検出対象画像から抽出された動体領域のうち、背景でないと判定された領域を人物が存在する可能性のある領域（以下、「人物候補領域」という。）として抽出する（ステップＳ１０５）。

人物識別部２０８は、背景識別部２０７によって抽出された人物候補領域の画像から特徴量を抽出する。人物識別部２０８は、抽出した特徴量と、人物辞書とに基づいて、人物候補領域の被写体が人物であるか否かを判定する。具体的には、人物識別部２０８は、人物候補領域の画像と人物画像との類似度を算出する（ステップＳ１０６）。人物識別部２０８は、算出した類似度に基づいて、人物候補領域の被写体が人物であるか否かを判定する。例えば、人物識別部２０８は、類似度が所定の閾値以上である場合に人物候補領域の被写体が人物であると判定し、類似度が閾値未満である場合に人物候補領域の被写体が人物でないと判定する。

人物判定部２０９は、被写体が人物であると判定された人物候補領域を人物領域として決定し、検出対象画像から抽出する（ステップＳ１０７）。例えば、人物判定部２０９は、隣接する人物候補領域をグループ化し、面積が所定の閾値を越えているグループを人物領域と判定する。また、例えば、人物判定部２０９は、グループの形状に基づいて各グループが人物領域であるか否かを判定してもよい。人物判定部２０９は、人物領域の抽出結果に応じて対象空間における人物の有無を判定する（ステップＳ１０８）。具体的には、人物判定部２０９は、検出対象画像から人物領域が抽出された場合には、対象空間に人物が存在すると判定し、検出対象画像から人物領域が抽出されなかった場合には、対象空間に人物が存在しないと判定する。

なお、動体検出部２０６が行う動体検出処理、背景識別部２０７が行う背景識別処理及び人物識別部２０８が行う人物識別処理は、図３のように直列で処理されてもよいし、並列で処理されてもよい。また、動体検出部２０６が行う動体検出処理、背景識別部２０７が行う背景識別処理及び人物識別部２０８が行う人物識別処理は、画素単位で行われてもよいし、複数画素からなるブロック単位で行われてもよい。また、これらの処理は、画像から検出されたオブジェクトの単位で行われてもよいし、そのオブジェクトを外接矩形などで近似した領域を単位として行われてもよい。

図４は、人物領域の抽出の具体例を示す図である。図４（Ａ）は、人物識別部２０８による人物候補領域の識別結果を示す図である。図４（Ａ）の場合、検出対象画像３１０は３６の部分領域３１１に分割され、各部分領域３１１ごとに識別処理が行われる。図４（Ａ）は、検出対象画像３１０における９つの部分領域３１１−１〜３１１−９が、人物であると判定された人物候補領域を表している。

この場合、人物判定部２０９は、隣接する部分領域３１１−１〜３１１−４からなる第１グループ３２１と、部分領域３１１−５及び３１１−６からなる第２グループ３２２と、部分領域３１１−７及び３１１−８からなる第３グループ３２３と、部分領域３１１−９のみの第４グループ３２４と、に各部分領域３１１をグループ化する。そして、人物判定部２０９は、例えば、２つ以上の部分領域３１１からなるグループを人物領域として抽出する。この場合、図４（Ｂ）に示されるように、２つ以上の部分領域３１１からなる第１グループ３２１、第２グループ３２２及び第３グループ３２３の領域が人物領域として抽出される。人物判定部２０９は、図４（Ｂ）のように、検出対象画像３１０から人物領域が抽出されたことをもって対象空間における人物の有無を判定する。さらに人物判定部２０９は、このような存在判定の結果から、対象空間に存在する人物の人数を推定することができる。例えば図４（Ｂ）の場合、人物判定部２０９は、対象空間に３人の人物が存在することを推定できる。さらに、人物判定部２０９は、上述した人物の有無や人数の他、対象空間に存在する人物の活動量を人物情報として取得することができる。

図５は、検出対象画像から人物の活動量を取得する方法の具体例を示す図である。図５（Ａ）は、人物判定部２０９によって抽出された人物領域の具体例を示している。図５（Ａ）は、検出対象画像３３０から２つの人物領域３３１及び３３２が抽出されたことを示している。この場合、人物判定部２０９は、検出対象画像３３０について取得されたフレーム間差分の領域（以下、「動き領域」という。）と、人物領域３３１及び３３２とのを重ね合わせることによって、人物領域３３１及び３３２の移動量を取得する。例えば、図５（Ｂ）のように、フレーム間差分画像３４０から動き領域３４１、３４２及び３４３が取得された場合、人物判定部２０９は、動き領域３４１の面積を人物領域３３１の活動量として取得し、動き領域３４２の面積を人物領域３３２の活動量として取得する。

図６は、背景辞書の初期学習の流れを示すフローチャートである。なお、ここでは、画像センサ２には、初期の人物辞書が予め設定されていると仮定する。これは、背景の特徴が対象空間ごとに異なるのに対して、人物か否かという程度の識別に必要な人物の特徴は対象空間の違いによらずある程度共通しているためである。そのため、画像センサ２に初期設定される人物辞書には、他の画像センサ２と共通の人物辞書（以下、「共通人物辞書」という。）が用いられてもよい。共通人物辞書は、初期設定用に生成された人物辞書であってもよいし、運用中の画像センサ２のオンライン学習によって更新された人物辞書であってもよい。このような理由から、まず、画像センサ２には、初期状態の人物辞書として共通人物辞書が設定される（ステップＳ２０１）。なお、共通人物辞書は、人物の汎用的な特徴を表現する人物辞書であってもよいし、スーツを着用した人物やクールビズに準拠した服装の人物、作業服を着用した人物など、服装ごとにカテゴライズされた人物の特徴を表す人物辞書であってもよい。

続いて、撮像部２０２が、対象空間を撮像し、背景辞書を学習するための画像（以下、「学習用画像」という。）を取得する。動体検出部２０６は、撮像部２０２によって取得された学習用画像から動体を検出する動体検出処理を実行する（ステップＳ２０２）。学習部２１０は、動体検出処理によって動体が検出されたか否かを判定する（ステップＳ２０３）。動体が検出されなかった場合（ステップＳ２０３−ＮＯ）、学習部２１０は、背景辞書の学習を行わずに処理を終了する。

一方、動体が検出された場合（ステップＳ２０３−ＹＥＳ）、学習部２１０は処理を次のステップに進め、人物識別部２０８が動体検出部２０６によって検出された動体が人物であるか否かを識別する人物識別処理を実行する（ステップＳ２０４）。学習部２１０は、人物識別処理において動体が人物と識別されたか否かを判定する（ステップＳ２０５）。動体が人物と識別された場合（ステップＳ２０５−ＹＥＳ）、学習部２１０は、背景辞書の学習を行わずに処理を終了する。

一方、動体が人物と識別されなかった場合（ステップＳ２０５−ＮＯ）、学習部２１０は、人物と識別されなかった動体領域の画像を学習用画像として背景辞書を生成する（ステップＳ２０６）。画像センサ２は、初期学習の期間に取得される複数の学習用画像に対して、図６の一連の処理を繰り返し実行することにより、背景辞書の初期学習を行う。

図７は、人物辞書の初期学習の流れを示すフローチャートである。人物辞書の初期学習は、初期学習によって生成された背景辞書を用いて、共通人物辞書を更新する処理である。なお、ここでは、図６と同じ符号を付すことにより、図６と同様の処理についての説明を省略する。

動体検出処理において動体が検出された場合（ステップＳ２０３−ＹＥＳ）、学習部２１０は処理を次のステップに進め、背景識別部２０７が動体検出部２０６によって検出された動体が背景であるか否かを識別する背景識別処理を実行する（ステップＳ３０１）。学習部２１０は、背景識別処理において動体が背景と識別されたか否かを判定する（ステップＳ３０２）。動体が背景と識別された場合（ステップＳ３０２−ＹＥＳ）、学習部２１０は、人物辞書の学習を行わずに処理を終了する。

一方、動体が背景と識別されなかった場合（ステップＳ３０２−ＮＯ）、学習部２１０は、背景と識別されなかった動体領域の画像を学習用画像として人物辞書を更新する（ステップＳ３０３）。画像センサ２は、初期学習の期間に取得される複数の学習用画像に対して、図７の一連の処理を繰り返し実行することにより、人物辞書の初期学習を行う。

なお人物辞書と同様に、背景辞書についても、対象空間のレイアウトの類似度が高い場合には、画像センサ２には、初期状態の背景辞書として共通の辞書情報が設定されてもよい。例えば、廊下や会議室など、同様のレイアウトを持つ異なる対象空間には、共通の背景辞書を用いることができる。また、同じオフィス内でも、個々の対象空間のレイアウトが似通っている場合には、各対象空間で共通の背景辞書が用いられてもよい。

なお、人物辞書の学習を行う場合、人物以外の動きが発生しない環境であることが望ましい。そのため、画像センサ２は、窓やブラインドを制御する制御装置と連携することで、人物辞書の学習を行う前に窓やブラインドを閉じるような制御を行ってもよい。

図８は、背景辞書及び人物辞書のオンライン学習の流れを示すフローチャートである。まず、画像センサ２は、図３で説明したステップＳ１０１〜Ｓ１０９の処理を実行することによって、対象空間における人物の有無を判定する（ステップＳ４０１）。学習部２１０は、対象空間において人物の存在が検知されたか否かを判定する（ステップＳ４０２）。対象空間において人物の存在が検知された場合（ステップＳ４０２−ＹＥＳ）、学習部２１０は、検出された人物領域の画像を学習用画像として、人物辞書を更新する（ステップＳ４０３）。一方、対象空間において人物の存在が検出されなかった場合（ステップＳ４０２−ＮＯ）、学習部２１０は、人物が検出されなかった検出用画像を学習用画像として、背景辞書を更新する（ステップＳ４０４）。

なお、ステップＳ４０２において対象空間における人物の存在が検知された場合、画像センサ２は、人物領域の学習（ステップＳ４０３）に加えて、背景領域の学習を行ってもよい。具体的には、学習部２１０は、人物識別部２０８によって識別された人物領域の画像に基づいて人物辞書を更新し、人物領域以外の領域の画像（すなわち背景画像）に基づいて背景辞書を更新してもよい。

このように構成された第１の実施形態の画像センサ２は、検出用画像又は学習用画像における、動体の検出結果又は人物の検出結果に応じた領域を対象として、辞書情報の学習を行う。このような構成を備えることにより、画像センサ２は、検出対象画像から人物をより精度よく検出することが可能となる。

なお、画像センサ２は、背景辞書又は人物辞書のいずれの学習を行うかをユーザが設定可能なように構成されてもよい。例えば、ユーザは、背景辞書の学習、人物辞書の学習、学習なし、のいずれかの動作モードを画像センサ２に設定する。画像センサ２は、ユーザの設定に応じて、背景辞書の学習、人物辞書の学習、学習なし、のいずれかの動作モードで辞書情報の学習を行う。

また、画像センサ２は、上記の動作モードが時間帯や日付、曜日などのタイミングに応じて切り換えるように構成されてもよい。例えば、ユーザは、上記動作モードと実行タイミングとの対応を表すスケジュール情報を画像センサ２に設定する。画像センサ２は、ユーザが設定したスケジュール情報に基づいて、背景辞書の学習、人物辞書の学習、学習なし、動作モードを切り換えながら辞書情報の学習を行う。このような辞書情報の学習により、例えば画像センサ２は、勤務時間帯には人物辞書の学習を行い、勤務時間帯以外には背景辞書の学習を行い、休日には辞書情報の学習を行わないといったスケジュールで辞書情報の学習を行うことができる。

また、画像センサ２は、ＰＣなどのＯＡ機器との連携によって、学習する辞書情報を選択するように構成されてもよい。例えば、画像センサ２は、ＰＣのログオン操作や、キーボード操作が検出された場合、当該ＰＣが設置された座席の画像を用いて人物辞書の学習を行ってもよい。この場合、当該ＰＣの位置情報は、座席表によって固定された位置情報が用いられてもよいし、当該ＰＣとの無線通信に基づいて推定された位置情報が用いられてもよい。

また、画像センサ２は、制御装置群７に含まれる種々の制御装置との連携によって、学習する辞書情報を選択するように構成されてもよい。例えば、画像センサ２は、これらの制御装置から制御対象機器の制御結果を示すログ情報を取得する。画像センサ２は、自装置の検出結果と、ログ情報が示す制御結果とに基づいて、自装置における人物の未検知や誤検知等を推定する。ここでいう未検知とは、実際に存在した人物を検出しなかったことを意味し、誤検知とは、人物以外の被写体を人物として検出したことを意味する。この場合、画像センサ２は、例えば未検知の発生が推定された場合には、人物辞書の学習を行い、誤検知の発生が推定された場合には、背景辞書の学習を行うように構成されてもよい。

ここで、ログ情報に基づいて人物の未検知又は誤検知の発生を推定する方法の一例について説明する。例えば、ログ情報に、短時間の照明ＯＦＦ状態が多数記録されている場合、人物の未検知が発生していると考えられる。例えば、ある静止した人物が未検知となり、照明が消灯される。当該人物は、照明の消灯に対して行動を起こし、その行動の検知によって照明が点灯される。その後、当該人物が静止すると、当該人物が再度未検知となり、照明が消灯される。この結果、ログ情報には、短時間の照明ＯＦＦ状態が多数記録されることとなる。

また、例えば、ログ情報に短時間の照明ＯＮ状態が多数記録されている場合、人物の誤検知が発生していると考えられる。例えば、周囲の照明の点灯消灯などを人物の存在として誤検知した場合、照明が点灯されてもすぐに消灯される。この結果、ログ情報には、短時間の照明ＯＮ状態が多数記録されることとなる。

また、例えば、ログ情報に、照明のＯＮ状態とＯＦＦ状態とが頻繁に切り替わっていることが記録されている場合、人物の未検知及び誤検知が発生していると考えられる。このような場合、ログ情報には、周囲の照明機器や過去の照明制御と異なる頻度で実行された照明制御が記録されることとなる。

画像センサ２は、このようなログ情報が示す照明制御の傾向に基づいて、人物の未検知又は誤検知の発生を検出することができる。

（第２の実施形態）
図９は、第２の実施形態の画像センサ２ａの機能構成を示す機能ブロック図である。画像センサ２ａは、ネガティブ辞書記憶部２１１をさらに備える点で第１の実施形態の画像センサ２と異なる。なお、画像センサ２ａにおいて、画像センサ２と同様の機能部については、図２と同様の符号を付すことにより、同様の機能部についての説明を省略する。

ネガティブ辞書記憶部２１１は、ネガティブ辞書を記憶する。ネガティブ辞書は、対象空間の背景との類似度が低い画像、及び人物との類似度が低い画像から抽出された特徴量が、特徴量の種別や性質ごとに整理された情報である。以下、対象空間の背景との類似度が低い画像、及び人物との類似度が低い画像をネガティブ画像という。

背景識別部２０７ａは、動体検出部２０６によって検出された動体領域の画像が背景であるか否かを、背景辞書及びネガティブ辞書情報に基づいて識別する。
人物識別部２０８ａは、背景識別部２０７ａによって背景でないと識別された動体領域が人物であるか否かを、人物辞書及びネガティブ辞書情報に基づいて識別する。

図１０は、第２の実施形態の画像センサ２ａが、照明制御の運用中において対象空間における人物の有無を判定する処理の流れを示すフローチャートである。なお、ここでは、図３と同じ符号を付すことにより、図３と同様の処理についての説明を省略する。

背景識別部２０７ａは、動体検出部２０６によって検出された動体領域の画像の特徴量を抽出する。背景識別部２０７は、抽出した特徴量と、背景辞書とに基づいて、動体領域の画像の背景画像との類似度を算出する（ステップＳ１０４）とともに、抽出した特徴量とネガティブ辞書とに基づいて、動体領域の画像のネガティブ画像との類似度を算出する（ステップＳ５０１）。

背景識別部２０７ａは、算出した類似度に基づいて、動体領域が背景であるか否かを判定する。例えば、背景識別部２０７ａは、背景画像との類似度が所定の閾値以上かつネガティブ画像との類似度が所定の閾値以下である場合に動体領域が背景であると判定し、それ以外の場合には、動体領域が背景でないと判定する。背景識別部２０７ａは、動体領域のうち、背景でないと判定された領域を、人物候補領域として抽出する（ステップＳ５０２）。

人物識別部２０８ａは、背景識別部２０７ａによって抽出された人物候補領域の画像の特徴量を抽出する。人物識別部２０８ａは、抽出した特徴量と、人物辞書とに基づいて、人物候補領域の画像の人物画像との類似度を算出する（ステップＳ１０６）とともに、抽出した特徴量とネガティブ辞書とに基づいて、人物候補領域の画像のネガティブ画像との類似度を算出する（ステップＳ５０２）。

人物識別部２０８ａは、算出した類似度に基づいて、人物候補領域が人物であるか否かを判定する。例えば、人物識別部２０８ａは、人物画像との類似度が所定の閾値以上かつネガティブ画像との類似度が所定の閾値以下である場合に人物候補領域が人物であると判定し、それ以外の場合には、人物候補領域が人物でないと判定する。

このように構成された第２の実施形態の画像センサ２ａは、背景画像及び人物画像との類似度が低い画像に基づいて生成されたネガティブ辞書を用いて、背景及び人物の識別を行う。このような構成を備えることによって、画像センサ２ａは、検出対象画像から人物をさらに精度よく検出することが可能となる。

以下、実施形態の画像センサ２及び２ａの変形例について説明する。

なお、ネガティブ辞書は、背景でなく、かつ人物でない画像の特徴を示す辞書情報であってもよいし、背景でない画像の特徴を示す辞書情報と、人物でない画像の特徴を示す辞書情報との組み合わせであってもよい。

上記の画像センサ２及び２ａは、種々の識別結果や検出結果、中間データ、種々のパラメータ、辞書情報、画像データ、ソフトウェアなどを通信することにより、デバッグや調整、プログラムのアップデート等のメンテナンスを外部の調整用機器から実施可能なように構成されてもよい。

上記の画像センサ２及び２ａが備える撮像部２０２は、対象空間の被写体を識別可能な画像を取得することができれば、どのような撮像装置を用いて構成されてもよい。例えば、撮像部２０２は、被写体との距離に応じてレンズを交換可能なように構成されてもよいし、赤外線カメラやレーザーセンサ等の撮像装置に交換可能なように構成されてもよい。

以上説明した少なくともひとつの実施形態によれば、画像から動体を検出する動体検出部と、背景辞書に基づいて動体が背景か否かを識別する背景識別部と、人物辞書に基づいて動体が人物か否かを識別する人物識別部と、動体検出部による動体の検出結果と、背景識別部による背景の識別結果と、人物識別部による人物の識別結果とに基づいて、制御対象の空間における人物の有無を判定する人物判定部と、上記画像に基づいて背景辞書及び人物辞書を更新する学習部と、を持つことにより、画像センサによる人物の誤検出を抑制することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００…機器制御システム、１，１−１〜１−３…照明機器、２，２ａ，２−１〜２−３…画像センサ、２０１…通信部、２０２…撮像部、２０３…画像記憶部、２０４…背景辞書記憶部、２０５…人物辞書記憶部、２０６…動体検出部、２０７，２０７ａ…背景識別部、２０８，２０８ａ…人物識別部、２０９…人物判定部、２１０…学習部、２１１…ネガティブ辞書記憶部、３…ネットワークハブ、４…ゲートウェイ、５…センサネットワーク、６…制御ネットワーク、７…制御装置群、７１…ＢＥＭＳ（Building Energy Management System）、７２…空調制御装置、７３…照明制御装置、３１０…検出対象画像、３１１，３１１−１〜３１１−９…部分領域、３２１…第１グループ、３２２…第２グループ、３２３…第３グループ、３２４…第４グループ、３３０…検出対象画像、３３１，３３２…人物領域、３４０…フレーム間差分画像、３４１，３４２…動き領域

Claims (8)

1. 制御対象の空間の画像を取得する画像取得部と、
   前記画像取得部によって取得された前記画像から動体を検出する動体検出部と、
   前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する背景識別部と、
   人物の特徴を示す情報である人物辞書に基づいて、前記動体が人物か否かを識別する人物識別部と、
   前記動体検出部による動体の検出結果と、前記背景識別部による背景の識別結果と、前記人物識別部による人物の識別結果とに基づいて、前記空間における人物の有無を判定する人物判定部と、
   前記画像取得部によって取得された画像に基づいて前記背景辞書及び前記人物辞書の一方又は両方を更新する学習部と、
   を備える画像センサ。
2. 前記学習部は、前記人物判定部による前記空間における人物の有無の判定結果に基づいて前記背景辞書及び前記人物辞書の一方又は両方を更新対象の辞書情報として選択し、選択された前記背景辞書又は前記人物辞書を、前記動体検出部による動体の検出結果、前記背景識別部による背景の識別結果又は前記人物識別部による人物の識別結果に基づいて更新する、
   請求項１に記載の画像センサ。
3. 前記学習部は、前記動体検出部によって検出された動体が、前記背景識別部によって背景でないと識別された場合に、前記動体を示す画像に基づいて前記人物辞書を更新する、
   請求項１又は２に記載の画像センサ。
4. 前記学習部は、前記動体検出部によって検出された動体が、前記人物識別部によって人物でないと識別された場合に、前記動体を示す画像に基づいて前記背景辞書を更新する、
   請求項１から３のいずれか一項に記載の画像センサ。
5. 前記人物判定部は、人物であると識別した動体の領域の分布に基づいて前記画像に撮像された個々の人物を示す人物領域を抽出し、前記人物領域の分布に基づいて前記空間における人物の状態を推定する、
   請求項４に記載の画像センサ。
6. 前記背景識別部は、背景との類似度が低い画像の特徴を示すネガティブ背景辞書をさらに用いて前記動体が背景であるか否かを識別する、
   請求項１から５のいずれか一項に記載の画像センサ。
7. 前記人物識別部は、人物との類似度が低い画像の特徴を示すネガティブ人物辞書をさらに用いて前記動体が人物であるか否かを識別する、
   請求項１から６のいずれか一項に記載の画像センサ。
8. 制御対象の空間の画像を取得する画像取得部を備える画像センサが行う学習方法であって、
   前記画像取得部によって取得された前記画像から動体を検出する動体検出ステップと、
   前記空間における人物以外の被写体である背景の特徴を示す情報である背景辞書に基づいて、前記動体が背景か否かを識別する背景識別ステップと、
   人物の特徴を示す情報である人物辞書に基づいて、前記動体が人物か否かを識別する人物識別ステップと、
   前記動体検出ステップにおける動体の検出結果と、前記背景識別ステップにおける背景の識別結果と、前記人物識別ステップにおける人物の識別結果とに基づいて、前記空間における人物の有無を判定する人物判定ステップと、
   前記画像取得部によって取得された画像に基づいて前記背景辞書及び前記人物辞書の一方又は両方を更新する学習ステップと、
   を有する学習方法。

Images