JP2021010092A - 画像センサ、画像センサシステム、画像センサの出力方法、及びプログラム - Google Patents

Abstract

【課題】 判定情報の出力時でも画像情報の伝送容量を維持できる画像センサ、画像センサシステム、画像センサの出力方法、及びプログラムを提供することを目的とする。【解決手段】 画像センサ５は、撮像部５ａと、判定部５ｃと、第１通信部５ｄと、第２通信部５ｅと、を備える。撮像部５ａは、所定の空間を撮像して、撮像画像のデータを生成する。判定部５ｃは、撮像画像に基づいて、空間内の人の状態を判定する。第１通信部５ｄは、判定部５ｃの判定結果に基づいた判定情報を出力する。第２通信部５ｅは、撮像画像を含む画像情報を出力する。第１通信部５ｄ及び第２通信部５ｅは、少なくとも判定情報及び画像情報を同時に出力することができる。【選択図】図３

Description

本開示は、一般に画像センサ、画像センサシステム、画像センサの出力方法、及びプログラムに関する。本開示は、より詳細には撮像した画像を出力する画像センサ、画像センサシステム、画像センサの出力方法、及びプログラムに関する。

例えば特許文献１のように、撮像した画像データにより人の存否を判断し、人の存否の検知信号を伝送線を介して送信するとともに、撮像した画像データを伝送線を介して送信可能な従来の画像センサがある。

特開２０１９−２９３０１号公報

特許文献１のような従来の画像センサでは、検知信号（判定情報）の出力時に画像データ（画像情報）の伝送容量が不足する可能性があった。

本開示は上記課題に鑑みてなされ、判定情報の出力時でも画像情報の伝送容量を維持できる画像センサ、画像センサシステム、画像センサの出力方法、及びプログラムを提供することを目的とする。

本開示の一態様に係る画像センサは、撮像部と、判定部と、第１通信部と、第２通信部と、を備える。前記撮像部は、所定の空間を撮像して、撮像画像のデータを生成する。前記判定部は、前記撮像画像に基づいて、前記空間内の人の状態を判定する。前記第１通信部は、前記判定部の判定結果に基づいた判定情報を出力する。前記第２通信部は、前記撮像画像を含む画像情報を出力する。前記第１通信部及び前記第２通信部は、少なくとも前記判定情報及び前記画像情報を同時に出力することができる。

本開示の一態様に係る画像センサシステムは、上述の画像センサと、前記判定情報及び前記画像情報のうち少なくとも一方を受け取る受信装置と、を備える。

本開示の一態様に係る画像センサの出力方法は、撮像ステップと、判定ステップと、第１通信ステップと、第２通信ステップと、を備える。前記撮像ステップは、所定の空間を撮像して、撮像画像のデータを生成する。前記判定ステップは、前記撮像画像に基づいて、前記空間内の人の状態を判定する。前記第１通信ステップは、前記判定ステップの判定結果に基づいた判定情報を出力する。前記第２通信ステップは、前記撮像画像を含む画像情報を出力する。そして、画像センサの出力方法は、前記第１通信ステップ及び前記第２通信ステップを同時に行うことができる。

本開示の一態様に係るプログラムは、コンピュータに、上述の画像センサの出力方法を実行させる。

本開示によると、判定情報の出力時でも画像情報の伝送容量を維持できるという効果がある。

図１は、一実施形態に係る画像センサを備える管理システムの構成を示すブロック図である。 図２は、同上の管理システムの管理空間を示す平面図である。 図３は、同上の画像センサの構成を示すブロック図である。 図４は、同上の画像センサの撮像画像を示す概略図である。 図５は、同上の画像センサの出力方法を示すフローチャートである。

以下、本発明の一実施形態について説明する。下記の実施形態は、本発明の様々な実施形態の一つに過ぎない。また、下記の実施形態は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。

（１）管理システムの概要
まず、本実施形態に係る管理システム１０の概要について、図１を参照して説明する。

管理システム１０は、センター装置１、照明コントローラ２１、入退室コントローラ２２、空調コントローラ２３、通信インタフェース３、ハブ（集線装置）４、画像センサ５、及び伝送アダプタ６を備える。管理システム１０は、管理空間Ｒ１の人、並びに管理空間Ｒ１の照明及び空調などの各環境を管理又は監視する。管理空間Ｒ１は、例えば事務所、工場、又は店舗などである。そして、センター装置１と画像センサ５とで、画像センサシステム２０を構成する。

センター装置１は、本開示の受信装置に相当し、照明コントローラ２１、入退室コントローラ２２、及び空調コントローラ２３と通信線Ｗ１を介して通信可能に構成されている。本実施形態では、センター装置１は、通信線Ｗ１を介して照明コントローラ２１、入退室コントローラ２２、及び空調コントローラ２３に接続している。センター装置１は、例えばＢＡＣｎｅｔ（Building Automation and Control Network）などのビルディングネットワーク用の通信プロトコルに準拠して、照明コントローラ２１、入退室コントローラ２２、及び空調コントローラ２３との間で通信を行う。さらに、センター装置１は、通信線Ｗ５、及びハブ４を介した通信も可能である。

照明コントローラ２１は、通信線Ｗ２を介して通信インタフェース３に接続し、通信インタフェース３は、通信線Ｗ３を介して伝送アダプタ６に接続している。伝送アダプタ６は、少なくとも１つの照明器具Ｌ１と通信可能に構成されている。伝送アダプタ６は、通信線Ｗ４を介した有線通信、又は無線信号を用いた無線通信によって、照明器具Ｌ１と通信し、上位（通信線Ｗ３の信号）と下位（通信線Ｗ４の信号及び無線信号）との間で信号のプロトコル変換を行う通信アダプタである。有線通信は、例えばツイストペアケーブル、専用通信線、またはＬＡＮ（Local Area Network）ケーブルなどを介した有線通信である。無線通信は、例えばWi-Fi（登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した無線通信、あるいは赤外線通信などの無線通信である。

ハブ４は、通信線Ｗ５を介してセンター装置１、通信インタフェース３、及び画像センサ５に接続している。通信線Ｗ５は、ＬＡＮ（Local Area Network）ケーブルであり、センター装置１、通信インタフェース３、ハブ４、及び画像センサ５の各間では、イーサキャット（Ether CAT）（登録商標）、又はイーサネット（Ethernet）（登録商標）などに準拠して、信号の送信及び受信が行われる。ハブ４は、PoE（Power over Ethernet）給電機能を有するスイッチングハブであることが好ましい。

画像センサ５は、通信線Ｗ６を介して通信インタフェース３に接続しており、画像センサ５と通信インタフェース３との間では、時分割多重伝送方式により、信号の送信及び受信が行われる。時分割多重伝送方式の通信プロトコルとしては、例えば、ＮＭＡＳＴ（登録商標）の通信規格を採用することができる。画像センサ５及び通信インタフェース３は、通信線Ｗ６に対して、伝送信号として双極性（±２４Ｖ）の時分割多重信号を送出し、パルス幅変調によってデータが伝送される。

画像センサ５は、更に通信線Ｗ５に接続しており、イーサキャット又はイーサネットなどに準拠して、ハブ４との間で信号の送信及び受信を行う。すなわち、センター装置１と画像センサ５とは、ハブ４を介して互いに通信可能に構成されている。また、通信のリアルタイム性を重視するのであれば、イーサキャットを用いることが好ましい。

本実施形態では、複数の画像センサ５及び複数の照明器具Ｌ１が、管理空間Ｒ１の天井に配置されている。管理空間Ｒ１は、図２に示すように、上方から見て複数の空間Ｒａ１、Ｒａ２、………に分割される。なお、空間Ｒａ１、Ｒａ２、………を区別しないときは、空間Ｒａと称す。

複数の画像センサ５のそれぞれは、複数の空間Ｒａ１、Ｒａ２、………のうち、対応するいずれかの空間Ｒａを撮像し、撮像画像のデータを生成する。そして、画像センサ５は、撮像画像に基づいて、空間Ｒａ内の人の状態を判定し、判定結果に基づいた判定情報を出力する。また、画像センサ５は、撮像画像を含む画像情報を出力する。

複数の照明器具Ｌ１のそれぞれは、複数の空間Ｒａ１、Ｒａ２、………のうち、対応するいずれかの空間Ｒａを照明する。照明コントローラ２１は、伝送アダプタ６を介して複数の照明器具Ｌ１のそれぞれの状態（点灯、消灯、及び調光レベル）を制御することで、空間Ｒａ毎の照明を制御する。なお、１つの空間Ｒａには、１つ以上の照明器具Ｌ１が対応すればよい。

入退室コントローラ２２は、入退室装置Ｌ２の監視及び制御を行う。入退室装置Ｌ２は、管理空間Ｒ１（図２参照）の出入口に配置されたカードリーダ、及び管理空間Ｒ１の出入口に設けた扉の駆動装置を備える。カードリーダは、管理空間Ｒ１への入退室する人の識別情報を読み取り、入退室コントローラ２２は、読み取った識別情報に基づいて管理空間Ｒ１へのアクセスの可否を判定する。管理空間Ｒ１への入退室する人は、自身の識別情報を記憶したＩＣカードを携行しており、管理空間Ｒ１への入室時及び退室時にカードリーダにＩＣカードをかざす。カードリーダは、ＩＣカードから識別情報を読み取り、読み取った識別情報を入退室コントローラ２２に引き渡す。入退室コントローラ２２は、管理空間Ｒ１へのアクセスを許可されている識別情報を予め記憶したデータベースを有しており、読み取った識別情報をデータベースに照合して、入室及び退室の可否を判定する。入退室コントローラ２２は、入室及び退室を許可すれば、扉の電気錠のロックを解錠し、扉が自動ドアであれば自動ドアを開制御する。入退室コントローラ２２は、入室及び退室を許可しなければ、電気錠を施錠状態に維持する。また、入退室コントローラ２２は、管理空間Ｒ１に入退室する人の識別情報の読み取り状況を示す入退室情報をセンター装置１へ出力する。

空調コントローラ２３は、管理空間Ｒ１に設けた図示しない空調装置を制御することで、管理空間Ｒ１の空調環境を調整する。

センター装置１は、複数の画像センサ５から画像情報及び判定情報を受け取り、画像情報及び判定情報に基づいて、管理空間Ｒ１内の人を管理する。センター装置１は、照明コントローラ２１と通信し、照明器具Ｌ１の状態を把握して、管理空間Ｒ１の照明環境を管理する。センター装置１は、空調コントローラ２３と通信し、空調機器の状態を把握して、管理空間Ｒ１内の空調環境を管理する。なお、通信線Ｗ１には、エレベータを昇降制御するエレベータコントローラなどの他のコントローラが接続されてもよく、センター装置１は、他のコントローラと通信することで、管理空間Ｒ１の他の環境を管理してもよい。

（２）画像センサ
図３は、画像センサ５の構成を示す。画像センサ５は、撮像部５ａと、判定部５ｃと、第１通信部５ｄと、第２通信部５ｅと、を備える。画像センサ５は、前処理部５ｂを更に備えることが好ましい。前処理部５ｂは、第１処理部５１、及び第２処理部５２を有することが好ましい。また、画像センサ５は、出力設定部５ｆ、第３通信部５ｇ、処理エリア設定部５ｈ、判定エリア設定部５ｉ、画像エリア設定部５ｊ、及び報知部５ｋの少なくとも１つを更に備えることが好ましい。本実施形態では、画像センサ５は、前処理部５ｂ、出力設定部５ｆ、第３通信部５ｇ、処理エリア設定部５ｈ、判定エリア設定部５ｉ、画像エリア設定部５ｊ、及び報知部５ｋをすべて備えている。

画像センサ５は、例えばプロセッサ及びメモリを有するマイクロコンピュータを有している。そして、プロセッサがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが前処理部５ｂ、判定部５ｃ、第１通信部５ｄ、第２通信部５ｅ、出力設定部５ｆ、第３通信部５ｇ、処理エリア設定部５ｈ、判定エリア設定部５ｉ、及び画像エリア設定部５ｊとして機能する。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、インターネット等の電気通信回線を通じて提供されてもよい。

撮像部５ａは、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサを有する。撮像部５ａは、被写体からの光をレンズによって撮像部５ａの撮像面（受光面）上に結像させ、被写体からの光を電気信号（撮像信号）に変換する。撮像部５ａで撮像された画像（撮像画像）のデータは、撮像部５ａから撮像信号として出力される。撮像部５ａは、例えばＹＵＶフォーマットのデジタルの撮像信号を生成し、デジタルの撮像信号を出力するように構成されている。

前処理部５ｂ（第１処理部５１及び第２処理部５２）は、撮像信号を受け取り、撮像画像に画像処理をそれぞれ施す。

第１処理部５１は、撮像画像に対して、判定部５ｃによる後述の判定処理に適した第１画像処理を施し、第１画像処理を施した撮像画像を判定部５ｃに引き渡す。第１処理部５１は、第１画像処理として、例えばエッジ検出処理、及びフィルタリング処理などを行い、撮像画像に対してエッジ強調、及びノイズ除去などを行う。

第２処理部５２は、撮像画像に対して、ユーザが見やすい画像になるように第２画像処理を施し、第２画像処理を施した撮像画像を第２通信部５ｅに引き渡す。第２処理部５２は、第２画像処理として、例えばフィルタ処理、平滑化処理、及び濃淡変換処理などを行い、撮像画像に対してノイズ除去、平滑化、明るさ補正、コントラスト補正、及び色補正などを行う。

判定部５ｃは、撮像画像に基づいて、空間Ｒａ内の人の状態を判定する。本実施形態では、判定部５ｃは、第１処理部５１で第１画像処理を施された撮像画像を用いる。判定部５ｃが判定する人の状態は、空間Ｒａにおける人の在，不在、空間Ｒａに存在する人の数（人数）、及び空間Ｒａに存在する人の位置座標などである。

例えば、判定部５ｃは、撮像画像に対してパターン認識又はテンプレートマッチングを施し、撮像画像内のオブジェクトの特徴を抽出することで、撮像画像内のオブジェクトが人であるか否か（空間Ｒａ内の人の在，不在）を判定できる。判定部５ｃは、空間Ｒａ内に人が存在する場合、人数（人であると認識したオブジェクトの数）を計数する。また、判定部５ｃは、空間Ｒａに存在する人の位置座標として、天井から下方を見た平面視における人の位置（人であると認識したオブジェクトの位置）を２次元座標で求める。

第１通信部５ｄは、判定部５ｃの判定結果に基づいた判定情報を出力する。第１通信部５ｄの出力ポートは通信線Ｗ６に接続している。判定情報は、通信線Ｗ６、及び通信インタフェース３を介して、照明コントローラ２１へ伝送される。また、判定情報は、通信線Ｗ６、通信インタフェース３、通信線Ｗ５、ハブ４、及び通信線Ｗ５を介して、センター装置１へ伝送される。判定情報には、空間Ｒａにおける人の在，不在、空間Ｒａに存在する人の数、及び空間Ｒａに存在する人の位置座標などの各データが含まれる。

第２通信部５ｅは、第２処理部５２で第２画像処理を施された撮像画像のデータを画像情報として出力する。第２通信部５ｅの出力ポートは通信線Ｗ５に接続している。画像情報は、通信線Ｗ５、ハブ４、及び通信線Ｗ５を介して、センター装置１へ伝送される。

本実施形態では、第１通信部５ｄは、通信線Ｗ６に判定情報を送出する。一方、第２通信部５ｅは、通信線Ｗ５に画像情報を送出する。そして、第１通信部５ｄが判定情報を出力するタイミングと、第２通信部５ｅが画像情報を出力するタイミングとが重複した場合には、第１通信部５ｄ及び第２通信部５ｅは、判定情報及び画像情報を同時にそれぞれ出力する。本実施形態では、第１通信部５ｄが出力する判定情報の送信経路と、第２通信部５ｅが出力する画像情報の送信経路とが互いに異なるので、判定情報及び画像情報が同時に出力されたとしても、判定情報の伝送容量及び画像情報の伝送容量の低下は抑えられる。したがって、画像センサ５は、判定情報の出力時でも画像情報の伝送容量を維持できる。

出力設定部５ｆは、第２通信部５ｅによる画像情報の出力の可否を設定する。具体的に、出力設定部５ｆは、第２通信部５ｅに対して、画像情報の出力の可否を通知する出力制御信号を出力する。第２通信部５ｅは、出力制御信号によって画像情報の出力を許可されているか否かを認識できる。第２通信部５ｅは、画像情報の出力を許可されていれば、画像情報を出力する。第２通信部５ｅは、画像情報の出力を許可されていなければ、画像情報を出力しない。

出力設定部５ｆは、例えば画像センサ５に設けられた操作スイッチであってもよい。この場合、ユーザが操作スイッチを操作することで、画像情報の出力の可否が設定される。

また、出力設定部５ｆは、第３通信部５ｇが受け取った出力設定情報に基づいて画像情報の出力の可否を設定してもよい。出力設定情報は、出力設定部５ｆの設定に関する情報であり、無線信号又は有線信号によって、外部の設定装置から第３通信部５ｇに伝達される。設定装置は、センター装置１、パーソナルコンピュータ、スマートフォン、タブレット端末、及び専用端末の少なくとも１つである。無線信号は、例えばWi-Fi、Bluetooth、ZigBee又は特定小電力無線等の規格に準拠した無線信号、あるいは赤外線信号などである。

したがって、画像センサ５は、空間Ｒａ内の人のプライバシーを考慮して、画像情報の出力の可否を設定できる。すなわち、画像センサ５は、センター装置１が必要なときにのみ画像情報を出力し、空間Ｒａ内の人のプライバシーを尊重するときには画像情報を出力しないように、画像情報の出力を制御することができる。

なお、第１通信部５ｄ及び第２通信部５ｅの一方が、第３通信部５ｇの機能を兼用してもよい。この場合、第１通信部５ｄが、第３通信部５ｇの機能を兼用することが好ましい。第１通信部５ｄが第３通信部５ｇの機能を兼用することによって、画像情報を出力する通信部（第２通信部５ｅ）と、出力設定情報を受け取る通信部とを別構成とすることができる。第１通信部５ｄが第３通信部５ｇの機能を兼用する構成は、第２通信部５ｅが第３通信部５ｇの機能を兼用する構成に比べて、セキュリティ向上の観点からは好ましい。

処理エリア設定部５ｈは、撮像画像を複数の処理エリアに分割する。前処理部５ｂ（第１処理部５１、及び第２処理部５２）は、複数の処理エリアのそれぞれに対して画像処理（第１画像処理、及び第２画像処理）を施す。

図４は、事務所の一部である空間Ｒａを撮像した撮像画像Ｇ１を示す。処理エリア設定部５ｈは、撮像画像Ｇ１を３つの処理エリアＧ１１〜Ｇ１３に分割する。２つの矩形状の処理エリアＧ１１、Ｇ１２は、机、及び机の周辺が映っているエリアである。処理エリアＧ１３は、通路が映っているエリアである。処理エリア設定部５ｈは、例えば、第３通信部５ｇが受け取った処理エリア設定情報に基づいて処理エリアＧ１１〜Ｇ１３を設定する。処理エリア設定情報は、処理エリアＧ１１〜Ｇ１３の設定に関する情報であり、無線信号又は有線信号によって、外部の設定装置から第３通信部５ｇに伝達される。また、処理エリア設定部５ｈは、撮像画像Ｇ１に対してパターン認識又はテンプレートマッチングを施し、撮像画像Ｇ１に映っている机及び通路を認識して、自動で処理エリアＧ１１〜Ｇ１３を設定してもよい。

処理エリア設定部５ｈは、複数の処理エリアＧ１１〜Ｇ１３のそれぞれに施される画像処理の内容を設定する機能を有することが好ましい。前処理部５ｂ（第１処理部５１、及び第２処理部５２）は、処理エリアＧ１１〜Ｇ１３のそれぞれに対して、処理エリア設定部５ｈによって設定された画像処理（第１画像処理、及び第２画像処理）を施す。例えば、処理エリア設定部５ｈは、第２処理部５２が施す第２画像処理の内容を処理エリアＧ１１〜Ｇ１３に個別に設定する。処理エリア設定部５ｈは、机、及び机の周辺が映っている処理エリアＧ１１、Ｇ１２に対しては、処理エリアＧ１１、Ｇ１２がぼけて机、及び机の周辺が鮮明に映らないように、平滑化処理、及び濃淡変換処理などの第２画像処理の内容を設定する。処理エリア設定部５ｈは、通路が映っている処理エリアＧ１３に対しては、処理エリアＧ１３が鮮明に映るように、フィルタ処理、及び濃淡変換処理などの第２画像処理の内容を設定する。また、処理エリア設定部５ｈは、第１処理部５１が施す第１画像処理の内容を処理エリアＧ１１〜Ｇ１３にそれぞれ個別に設定することも可能である。

上述のように、画像センサ５は、撮像画像Ｇ１の処理エリアＧ１１〜Ｇ１３毎に、画像処理の内容を個別に設定できる。したがって、画像センサ５は、机の周辺（パーソナルコンピュータの画面、及び書類など）などの機密が映っている処理エリアや、個人情報が映っている処理エリアなどが鮮明に見えないように、撮像画像を加工することができる。すなわち、画像センサ５は、処理エリアＧ１１〜Ｇ１３毎に人のプライバシーを考慮した画像情報及び判定情報を生成できる。

処理エリア設定部５ｈは、複数の処理エリアＧ１１〜Ｇ１３のそれぞれについて画像処理を行うか否か（画像処理の可否）を設定する機能を有することが好ましい。前処理部５ｂ（第１処理部５１、及び第２処理部５２）は、処理エリアＧ１１〜Ｇ１３のうち、処理エリア設定部５ｈによって画像処理を行うと設定された処理エリアに対して、画像処理（第１画像処理、及び第２画像処理）を施す。例えば、処理エリア設定部５ｈは、第２処理部５２による第２画像処理の可否を、処理エリアＧ１１〜Ｇ１３にそれぞれ個別に設定する。処理エリア設定部５ｈは、机、及び机の周辺が映っている処理エリアＧ１１、Ｇ１２に対しては、処理エリアＧ１１、Ｇ１２がぼけて机、及び机の周辺が鮮明に映らないように、「第２画像処理：可」と設定する。処理エリア設定部５ｈは、通路が映っている処理エリアＧ１３に対しては、処理エリアＧ１３が鮮明に映るように、「第２画像処理：否」と設定する。また、処理エリア設定部５ｈは、第１処理部５１が施す第１画像処理の可否を処理エリアＧ１１〜Ｇ１３に個別に設定することも可能である。

上述のように、画像センサ５は、撮像画像Ｇ１の処理エリアＧ１１〜Ｇ１３毎に、画像処理の可否を個別に設定できる。したがって、画像センサ５は、机の周辺（パーソナルコンピュータの画面、及び書類など）などの機密が映っている処理エリアや、個人情報が映っている処理エリアなどが鮮明に見えないように、撮像画像を加工することができる。すなわち、画像センサ５は、処理エリアＧ１１〜Ｇ１３毎に人のプライバシーを考慮した画像情報及び判定情報を生成できる。

第２処理部５２は、第２画像処理を施した撮像画像に第１画像処理の結果を反映させる
ことが好ましい。第１処理部５１は、第１画像処理として、例えばエッジ検出処理を行い、撮像画像に対してエッジ強調を行う。そこで、第２処理部５２は、第２画像処理を施した撮像画像に、第１画像処理で生成されたエッジを重ねる。また、第１処理部５１が、第１画像処理として、撮像画像の温度分布を表すヒートマップを生成する場合、第２処理部５２は、第２画像処理を施した撮像画像にヒートマップを重ねてもよい。したがって、画像センサ５は、画像情報に第１画像処理の結果を含めることができる。

判定エリア設定部５ｉは、判定部５ｃの判定対象となる撮像画像の一部を判定エリアとして設定することが好ましい。判定部５ｃは、第１処理部５１から第１画像処理が施された撮像画像を受け取る。判定エリア設定部５ｉは、判定部５ｃが受け取った撮像画像の一部を判定エリアとして設定する。判定部５ｃは、撮像画像の全領域のうち判定エリアについてのみ、人の状態を判定する。例えば、判定部５ｃは、判定エリア内のオブジェクトが人であるか否か（判定エリア内の人の在，不在）、判定エリア内の人の数、及び判定エリア内の人の位置などを判定する。判定エリア設定部５ｉは、例えば、第３通信部５ｇが受け取った判定エリア設定情報に基づいて判定エリアを設定する。判定エリア設定情報は、判定エリアの設定に関する情報であり、無線信号又は有線信号によって、外部の設定装置から第３通信部５ｇに伝達される。したがって、画像センサ５は、空間Ｒａのうち必要なエリアについてのみ、人の状態を判定することができる。また、判定エリア設定部５ｉは、判定情報に含まれる撮像画像の一部を判定エリアとして設定し、第１通信部５ｄは、判定エリアに対応する判定情報を出力してもよい。

画像エリア設定部５ｊは、画像情報に含まれる撮像画像のエリアを画像エリアとして設定することが好ましい。第２通信部５ｅは、第２処理部５２から画像処理が施された撮像画像を受け取る。画像エリア設定部５ｊは、第２処理部５２が受け取った撮像画像の一部を、画像エリアとして設定する。第２通信部５ｅは、撮像画像のうち判定エリアのみを含む画像情報を生成する。画像エリア設定部５ｊは、例えば、第３通信部５ｇが受け取った画像エリア設定情報に基づいて画像エリアを設定する。画像エリア設定情報は、画像エリアの設定に関する情報であり、無線信号又は有線信号によって、外部の設定装置から第３通信部５ｇに伝達される。したがって、画像センサ５は、空間Ｒａのうち必要なエリアについてのみ、画像情報を出力することができる。

第１通信部５ｄによる判定情報の出力及び第２通信部５ｅによる画像情報の出力の少なくとも一方は、外部で所定のイベントが発生した場合に実行されることが好ましい。所定のイベントは、管理空間Ｒ１に人が入室又は退室した入退室イベント、又はセンター装置１が管理空間Ｒ１の管理ログを更新するログ更新イベントなどである。いずれかのイベントが発生すると、外部の設定装置から第３通信部５ｇにイベント信号が伝達される。第３通信部５ｇがイベント信号を受け取ると、第１通信部５ｄは、撮像画像に基づく判定情報を出力する。また、第３通信部５ｇがイベント信号を受け取ると、第２通信部５ｅは、所定期間に亘って画像情報を出力する。したがって、画像センサ５は、空間Ｒａ内の人のプライバシーを尊重するときには画像情報及び判定情報の少なくとも一方を出力しないように、各情報の出力を制御することができる。

報知部５ｋは、判定部５ｃ、第１通信部５ｄ、及び第２通信部５ｅの少なくとも１つの設定に関する情報を報知することが好ましい。報知部５ｋは、ＬＥＤなどの発光素子、及び発光素子を駆動させる駆動回路などを有する。報知部５ｋは、例えば判定部５ｃ、第１通信部５ｄ、及び第２通信部５ｅの少なくとも１つの設定情報を、発光素子の点灯、点滅、及び発光色などによって報知する。この場合、判定部５ｃの設定状況は、判定エリア設定部５ｉによって設定された判定エリアの設定情報である。第１通信部５ｄの設定状況は、判定エリア設定部５ｉによって設定された判定エリアの設定情報である。第２通信部５ｅの設定状況は、画像エリア設定部５ｊによって設定された画像エリアの設定情報である。さらに、報知部５ｋは、前処理部５ｂの設定に関する情報を報知してもよい。この場合、前処理部５ｂに関する情報は、処理エリア設定部５ｈによって設定された処理エリアの設定情報である。したがって、画像センサ５は、設定に関する情報をユーザに報知できる。

また、報知部５ｋは、ディスプレイ装置（液晶ディスプレイ、又は有機ＥＬディスプレイなど）を有していてもよい。この場合、報知部５ｋは、文字、シンボル、記号などによって表した上述の設定情報をディスプレイ装置に表示させる。

本実施形態の画像センサ５の出力方法は、図５のフローチャートに示される。出力方法は、撮像ステップＳ１と、判定ステップＳ２と、通信ステップＳ３とを備える。撮像ステップＳ１では、撮像部５ａが空間Ｒａを撮像し、撮像画像のデータを生成する。判定ステップＳ２では、判定部５ｃは、撮像画像に基づいて、空間Ｒａ内の人の状態を判定し、判定結果に基づいた判定情報を出力する。通信ステップＳ３では、第１通信部５ｄが判定情報を出力する第１通信ステップＳ３１、及び第１通信部５ｄが撮像画像を含む画像情報を出力する第２通信ステップＳ３２が行われる。本開示では、第１通信ステップＳ３１及び第２通信ステップＳ３２を同時に行うことができる。

（３）センター装置
センター装置１は、管理空間Ｒ１内の複数の画像センサ５から上述の判定情報及び画像情報を受け取る。また、センター装置１は、入退室コントローラ２２から、管理空間Ｒ１に入退室する人の識別情報の読み取り状況を示す入退室情報を受け取る。そして、センター装置１は、複数の画像センサ５から受け取った各判定情報に基づいて、管理空間Ｒ１内の人の在，不在、人の数、及び人の位置を把握できる。また、センター装置１は、複数の画像センサ５から受け取った各画像情報、及び入退室情報に基づいて、管理空間Ｒ１内の人の動きを追跡する。したがって、センター装置１は、管理空間Ｒ１内の人を識別し、人の動きを管理又は監視できる。さらに、センター装置１は、照明コントローラ２１、空調コントローラ２３、及び他のコントローラに対して、制御に関する各種パラメータなどの設定を行うことができる。

（４）コントローラ
照明コントローラ２１は、管理空間Ｒ１内の複数の画像センサ５から上述の判定情報を受け取る。そして、照明コントローラ２１は、複数の画像センサ５から受け取った各判定情報に基づいて、管理空間Ｒ１内の人の在，不在、人の数、及び人の位置を検出できる。そこで、照明コントローラ２１は、管理空間Ｒ１内の人の在，不在、人の数、及び人の位置に基づいて、管理空間Ｒ１内の複数の照明器具Ｌ１を個別に制御できる。例えば、照明コントローラ２１は、管理空間Ｒ１内の人が存在する空間Ｒａの照明器具Ｌ１のみ点灯させる。また、照明コントローラ２１は、空間Ｒａ内の人の数が多いほど、照明器具Ｌ１の光出力を大きくする。また、照明コントローラ２１は、空間Ｒａ内の人の位置に応じて、空間Ｒａ内で点灯させる照明器具Ｌ１を決定する。したがって、照明コントローラ２１は、管理空間Ｒ１の照明制御の効率と人の快適性とを両立させることができる。

空調コントローラ２３などの他のコントローラも、照明コントローラ２１と同様に、管理空間Ｒ１内の人の在，不在、人の数、及び人の位置に基づいて、管理空間Ｒ１内の複数の機器を個別に制御できる。

（変形例）
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、画像センサ５と同様の機能は、画像センサの出力方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。

変形例としては、第２通信部５ｅは、画像情報以外の情報として、例えば制御情報などの他の情報を出力してもよい。

本開示における画像センサ５又は画像センサの出力方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における画像センサ５又は画像センサの出力方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１又は複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

コンピュータシステムは、１又は複数のコンピュータで構成されるシステムであってもよい。例えば、画像センサ５の少なくとも一部の機能は、クラウド（クラウドコンピューティング）によって実現されてもよい。

（まとめ）
以上説明したように、第１の態様の画像センサ（５）は、撮像部（５ａ）と、判定部（５ｃ）と、第１通信部（５ｄ）と、第２通信部（５ｅ）と、を備える。撮像部（５ａ）は、所定の空間（Ｒａ）を撮像して、撮像画像のデータを生成する。判定部（５ｃ）は、撮像画像に基づいて、空間（Ｒａ）内の人の状態を判定する。第１通信部（５ｄ）は、判定部（５ｃ）の判定結果に基づいた判定情報を出力する。第２通信部（５ｅ）は、撮像画像を含む画像情報を出力する。第１通信部（５ｄ）及び第２通信部（５ｅ）は、少なくとも判定情報及び画像情報を同時に出力することができる。

上述の画像センサ（５）は、判定情報の出力時でも画像情報の伝送容量を維持できる。

第２の態様の画像センサ（５）は、第１の態様において、第２通信部（５ｅ）による画像情報の出力の可否を設定する出力設定部（５ｆ）を更に備えることが好ましい。

上述の画像センサ（５）は、空間（Ｒａ）内の人のプライバシーを考慮して、画像情報の出力の可否を設定できる。

第３の態様の画像センサ（５）は、第２の態様において、出力設定部（５ｆ）の設定に関する出力設定情報を受け付ける第３通信部（５ｇ）を更に備えることが好ましい。

上述の画像センサ（５）は、空間（Ｒａ）内の人のプライバシーを考慮して、画像情報の出力の可否を設定できる。

第４の態様の画像センサ（５）は、第１乃至第３の態様のいずれか一つにおいて、撮像画像に画像処理を施す前処理部（５ｂ）を更に備えることが好ましい。

上述の画像センサ（５）は、判定部（５ｃ）による判定処理の精度向上、及び画像情報の鮮明化を図ることができる。

第５の態様の画像センサ（５）では、第４の態様において、前処理部（５ｂ）は、第１処理部（５１）と、第２処理部（５２）と、を有することが好ましい。第１処理部（５１）は、画像処理として第１画像処理を施した撮像画像を判定部（５ｃ）に引き渡す。第２処理部（５２）は、画像処理として第２画像処理を施した撮像画像を第２通信部（５ｅ）に引き渡す。

上述の画像センサ（５）は、判定部（５ｃ）による判定処理の精度向上、及び画像情報の鮮明化を図ることができる。

第６の態様の画像センサ（５）では、第５の態様において、第２処理部（５２）は、第２画像処理を施した撮像画像に第１画像処理の結果を反映させることが好ましい。

上述の画像センサ（５）は、画像情報に第１画像処理の結果を含めることができる。

第７の態様の画像センサ（５）は、第４乃至第６の態様のいずれか一つにおいて、撮像画像（Ｇ１）を複数の処理エリア（Ｇ１１〜Ｇ１３）に分割する処理エリア設定部（５ｈ）を更に備えることが好ましい。前処理部（５ｂ）は、複数の処理エリア（Ｇ１１〜Ｇ１３）のそれぞれに対して画像処理を施す。

上述の画像センサ（５）は、処理エリア（Ｇ１１〜Ｇ１３）毎に人のプライバシーを考慮した画像情報及び判定情報を生成できる。

第８の態様の画像センサ（５）では、第７の態様において、処理エリア設定部（５ｈ）は、複数の処理エリア（Ｇ１１〜Ｇ１３）のそれぞれに施される画像処理の内容を設定する機能を有することが好ましい。

上述の画像センサ（５）は、処理エリア（Ｇ１１〜Ｇ１３）毎に人のプライバシーを考慮した画像情報及び判定情報を生成できる。

第９の態様の画像センサ（５）では、第７又は第８の態様において、処理エリア設定部（５ｈ）は、複数の処理エリア（Ｇ１１〜Ｇ１３）のそれぞれについて画像処理を行うか否かを設定する機能を有することが好ましい。

上述の画像センサ（５）は、処理エリア（Ｇ１１〜Ｇ１３）毎に人のプライバシーを考慮した画像情報及び判定情報を生成できる。

第１０の態様の画像センサ（５）は、第１乃至第９の態様のいずれか一つにおいて、判定部（５ｃ）の判定対象となる撮像画像の一部、及び判定情報に含まれる撮像画像の一部の少なくとも一方を判定エリアとして設定する判定エリア設定部（５ｉ）を更に備えることが好ましい。

上述の画像センサ（５）は、空間（Ｒａ）のうち必要なエリアについてのみ、人の状態を判定することができる。

第１１の態様の画像センサ（５）は、第１乃至第１０の態様のいずれか一つにおいて、画像情報に含まれる撮像画像の一部を画像エリアとして設定する画像エリア設定部（５ｊ）を更に備えることが好ましい。

上述の画像センサ（５）は、空間（Ｒａ）のうち必要なエリアについてのみ、画像情報として出力することができる。

第１２の態様の画像センサ（５）では、第１乃至第１１の態様のいずれか一つにおいて、第１通信部（５ｄ）による判定情報の出力及び第２通信部（５ｅ）による画像情報の出力の少なくとも一方は、外部で所定のイベントが発生した場合に実行されることが好ましい。

上述の画像センサ（５）は、空間（Ｒａ）内の人のプライバシーを尊重するときには画像情報及び判定情報の少なくとも一方を出力しないように、各情報の出力を制御することができる。

第１３の態様の画像センサ（５）は、第１乃至第１２の態様のいずれか一つにおいて、判定部（５ｃ）、第１通信部（５ｄ）、及び第２通信部（５ｅ）の少なくとも１つの設定に関する情報を報知する報知部（５ｋ）を更に備えることが好ましい。

上述の画像センサ（５）は、設定に関する情報をユーザに報知できる。

第１４の態様の画像センサシステム（２０）は、第１乃至第１３の態様のいずれか一つの画像センサ（５）と、判定情報及び画像情報のうち少なくとも一方を受け取る受信装置（１）と、を備える。

上述の画像センサシステム（２０）は、判定情報の出力時でも画像情報の伝送容量を維持できる。

第１５の態様の画像センサの出力方法は、撮像ステップ（Ｓ１）と、判定ステップ（Ｓ２）と、第１通信ステップ（Ｓ３１）と、第２通信ステップ（Ｓ３２）と、を備える。撮像ステップ（Ｓ１）では、所定の空間（Ｒａ）を撮像して、撮像画像のデータを生成する。判定ステップ（Ｓ２）では、撮像画像に基づいて、空間（Ｒａ）内の人の状態を判定する。第１通信ステップ（Ｓ３１）では、判定ステップ（Ｓ２）の判定結果に基づいた判定情報を出力する。第２通信ステップ（Ｓ３２）では、撮像画像を含む画像情報を出力する。そして、第１通信ステップ（Ｓ３１）及び第２通信ステップ（Ｓ３２）を同時に行うことができる。

上述の画像センサの出力方法は、判定情報の出力時でも画像情報の伝送容量を維持できる。

第１６の態様のプログラムは、コンピュータに、第１５の態様の画像センサの出力方法を実行させる。

上述のプログラムは、判定情報の出力時でも画像情報の伝送容量を維持できる。

１ センター装置（受信装置）
５ 画像センサ
５ａ 撮像部
５ｂ 前処理部
５ｃ 判定部
５ｄ 第１通信部
５ｅ 第２通信部
５ｆ 出力設定部
５ｇ 第３通信部
５ｈ 処理エリア設定部
５ｉ 判定エリア設定部
５ｊ 画像エリア設定部
５ｋ 報知部
５１ 第１処理部
５２ 第２処理部
Ｇ１ 撮像画像
Ｇ１１〜Ｇ１３ 処理エリア
Ｒａ 空間
Ｓ１ 撮像ステップ
Ｓ２ 判定ステップ
Ｓ３１ 第１通信ステップ
Ｓ３２ 第２通信ステップ

Claims (16)

1. 所定の空間を撮像して、撮像画像のデータを生成する撮像部と、
   前記撮像画像に基づいて、前記空間内の人の状態を判定する判定部と、
   前記判定部の判定結果に基づいた判定情報を出力する第１通信部と、
   前記撮像画像を含む画像情報を出力する第２通信部と、を備え、
   前記第１通信部及び前記第２通信部は、少なくとも前記判定情報及び前記画像情報を同時に出力することができる
   画像センサ。
2. 前記第２通信部による前記画像情報の出力の可否を設定する出力設定部を更に備える
   請求項１の画像センサ。
3. 前記出力設定部の設定に関する出力設定情報を受け付ける第３通信部を更に備える
   請求項２の画像センサ。
4. 前記撮像画像に画像処理を施す前処理部を更に備える
   請求項１乃至３のいずれか一項の画像センサ。
5. 前記前処理部は、
   前記画像処理として第１画像処理を施した前記撮像画像を前記判定部に引き渡す第１処理部と、
   前記画像処理として第２画像処理を施した前記撮像画像を前記第２通信部に引き渡す第２処理部と、を有する
   請求項４の画像センサ。
6. 前記第２処理部は、前記第２画像処理を施した前記撮像画像に前記第１画像処理の結果を反映させる
   請求項５の画像センサ。
7. 前記撮像画像を複数の処理エリアに分割する処理エリア設定部を更に備え、
   前記前処理部は、前記複数の処理エリアのそれぞれに対して前記画像処理を施す
   請求項４乃至６のいずれか一項の画像センサ。
8. 前記処理エリア設定部は、前記複数の処理エリアのそれぞれに施される前記画像処理の内容を設定する機能を有する
   請求項７の画像センサ。
9. 前記処理エリア設定部は、前記複数の処理エリアのそれぞれについて前記画像処理を行うか否かを設定する機能を有する
   請求項７又は８の画像センサ。
10. 前記判定部の判定対象となる前記撮像画像の一部、及び前記判定情報に含まれる前記撮像画像の一部の少なくとも一方を判定エリアとして設定する判定エリア設定部を更に備える
    請求項１乃至９のいずれか一項の画像センサ。
11. 前記画像情報に含まれる前記撮像画像の一部を画像エリアとして設定する画像エリア設定部を更に備える
    請求項１乃至１０のいずれか一項の画像センサ。
12. 前記第１通信部による前記判定情報の出力及び前記第２通信部による前記画像情報の出力の少なくとも一方は、外部で所定のイベントが発生した場合に実行される
    請求項１乃至１１のいずれか一項の画像センサ。
13. 前記判定部、前記第１通信部、及び前記第２通信部の少なくとも１つの設定に関する情報を報知する報知部を更に備える
    請求項１乃至１２のいずれか一項の画像センサ。
14. 請求項１乃至１３のいずれか一項に記載の画像センサと、
    前記判定情報及び前記画像情報のうち少なくとも一方を受け取る受信装置と、を備える
    画像センサシステム。
15. 所定の空間を撮像して、撮像画像のデータを生成する撮像ステップと、
    前記撮像画像に基づいて、前記空間内の人の状態を判定する判定ステップと、
    前記判定ステップの判定結果に基づいた判定情報を出力する第１通信ステップと、
    前記撮像画像を含む画像情報を出力する第２通信ステップと、を備え、
    前記第１通信ステップ及び前記第２通信ステップを同時に行うことができる
    画像センサの出力方法。
16. コンピュータに、請求項１５に記載の画像センサの出力方法を実行させるプログラム。

Images