JP2020182190A - センサシステム、画像センサ、およびセンシング方法 - Google Patents

Abstract

【課題】 センサシステムの可用性を高めること。【解決手段】センサシステムは、複数の画像センサを具備する。画像センサは、撮像部と、画像処理部と、設定部と、切替部とを具備する。撮像部は、割り当てられたセンシング領域を撮像して画像データを取得する。画像処理部は、画像データを画像処理してセンシング領域における特徴量を算出する。設定部は、特徴量を出力する第１モード、または、画像データを出力する第２モードのいずれかに画像センサの動作モードを設定する。切替部は、既定の条件が満たされた場合に、動作モードを切り替える。【選択図】 図４

Description

本発明の実施形態は、センサシステム、画像センサ、およびセンシング方法に関する。

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば対象空間における物体の輪郭を示すエッジデータや、人間の在・不在、あるいは人数などを計算することができる。これらの情報に加えて、歩行・滞留、活動量、あるいは照度などの項目（特徴量）を算出したり、得られた情報をビル管理サーバなどに出力することの可能な機種も知られている。

「ビルの安全・安心，省エネに貢献する画像認識応用ソリューション」、東芝レビューVol.65 No.5(2010)、p15 - p18

画像センサを用いたソリューションへのニーズが年々高まってきている。例えば、画像センサにより取得された画像の特徴量を利用して、建物内のファシリティ（照明機器、空調機器など）を制御する技術が知られている。もちろん、画像データそのものを利用して、人物認証などのアプリケーションを実現することもできる。このように高度化する画像センサの機能を効果的に活かし、システムの可用性を高めることが検討されている。

そこで、目的は、可用性を高めたセンサシステム、画像センサ、およびセンシング方法を提供することにある。

実施形態によれば、センサシステムは、複数の画像センサを具備する。画像センサは、撮像部と、画像処理部と、設定部と、切替部とを具備する。撮像部は、割り当てられたセンシング領域を撮像して画像データを取得する。画像処理部は、画像データを画像処理してセンシング領域における特徴量を算出する。設定部は、特徴量を出力する第１モード、または、画像データを出力する第２モードのいずれかに画像センサの動作モードを設定する。切替部は、既定の条件が満たされた場合に、動作モードを切り替える。

図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。 図２は、ビルのフロア内の一例を示す図である。 図３は、画像センサシステムの一例を示すブロック図である。 図４は、実施形態に係る画像センサの一例を示すブロック図である。 図５は、管理サーバ２００の一例を示すブロック図である。 図６は、画像センサ３の処理手順の一例を示すフローチャートである。 図７は、画像センサ３から出力されるエッジデータの一例を示す図である。 図８は、画像センサ３から出力される画像データの一例を示す図である。

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。

図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１０の例えばフロアごとに設けられ、コントローラ４と通信可能に接続される。各階のコントローラ４は、ビル内ネットワーク５００を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

ＢＥＭＳサーバ５は、ファイヤウォール６を介して、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク３００経由でクラウドコンピューティングシステム（クラウド）６００に接続されることができる。クラウド６００は、データベース７０およびサーバ８０を備え、ビル管理等に関するサービスを提供する。

図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３には、それぞれのセンシング対象とするセンシング領域が割り当てられる。図２において、センシング領域Ａ１，Ａ２がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのセンシング領域を合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ３の割り当て領域（センシング領域）の一部が重なっていてもよい。

画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、あるいは環境情報などが計算される。すなわち画像センサ３は、対象空間における対象を検知（センシング）して、この対象に係わる特徴量を算出する。

環境情報は、対象とする空間の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えば対象空間における人数、人の行動、人の活動量、人の存在または不在を示す在不在、あるいは、人が歩いているか、または１つの場所に留まっているかを示す歩行滞留などが人物情報の例である。

近年では、人の居住環境においてこれらの情報に基づき照明機器１や空調機器２を制御することで、人の快適性や安全性等を確保することが検討されている。環境情報および人物情報を、対象空間を複数に分割した小領域（エリア）ごとに算出することも可能である。この小領域を、画像センサ３ごとのセンシング領域に対応付けてもよい。

図３は、図１に示される画像センサシステムの一例を示すブロック図である。図３において、ＢＥＭＳサーバ５の配下に、空調機器２を制御する空調コントローラ４１、エレベータを制御するエレベーターコントローラ４２、防犯システムを制御する防犯コントローラ４３、防災システムを制御する防災コントローラ４４、および、照明機器１（１−１、１−２）を制御する照明コントローラ４５が、ビル内ネットワーク５００経由で接続される。

また、ビル内ネットワーク５００に、管理サーバ２００、およびゲートウェイ７１，７２がＢＥＭＳサーバ５と通信可能に接続される。ゲートウェイ７１は、複数の画像センサ３（３−１〜３−ｎ）を配下として収容する。画像センサ３−１〜３−ｎは、センサネットワーク１０１により、一筆書き状に接続される（渡り配線）。同様に、画像センサ３−１〜３−ｍが、センサネットワーク１０２を介してゲートウェイ７２の配下に収容される。

センサネットワーク１０１，１０２のプロトコルとしては、例えばＥｔｈｅｒＣＡＴ（登録商標）が知られている。センサネットワーク１０１は、画像センサ３−１〜３−ｎとゲートウェイ７１とを通信可能に接続する。センサネットワーク１０２は、画像センサ３−１〜３−ｍとゲートウェイ７２とを通信可能に接続する。各ゲートウェイ７１，７２は、それぞれセンサネットワーク１０１，１０２とビル内ネットワーク５００との間でのプロトコル変換機能を有する。これにより、ＢＥＭＳサーバ５および管理サーバ２００も、ゲートウェイ７１，７２経由で画像センサ３−１〜３−ｎ、３−１〜３−ｍと相互通信することが可能である。

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部としてのカメラ部３１と、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。ハードウェア資源としてのメモリ３２およびプロセッサ３３の協調的な動作により、画像センサ３はコンピュータとして機能する。

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、センシング領域を天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する設定情報等である。
例えば、上記フレームレート、イメージセンサ３１ｃのゲインの値、露光時間など、センシングの感度や精度に影響を及ぼすパラメータは、プロセッサ３３により制御される。

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの揮発性メモリ、またはＮＡＮＤフラッシュメモリなどの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ａと、カメラ部３１により取得された画像データ３２ｂを記憶する。さらにメモリ３２は、辞書データ３２ｃ、および特徴量データ３２ｄを記憶する。

辞書データ３２ｃは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習（Machine-Learning）等の手法により生成することが可能である。辞書データ３２ｃを用いた例えばパターンマッチング処理により、センシング領域における検出対象（人など）を識別することが可能である。

特徴量データ３２ｄは、プロセッサ３３の画像処理部３３ａにより生成された、センシング領域における特徴量を示すデータである。特徴量データ３２ｄは、例えば予め定められた期間（一日、一週間、あるいは一ヶ月など）にわたってメモリ３２に蓄積される。

このほか、メモリ３２には、マスク設定データなどが記憶されてもよい。マスク設定データは、カメラ部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられる。

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

通信部３４は、センサネットワーク１０１（１０２）に接続可能で、通信相手先（ＢＥＭＳサーバ５、管理サーバ２００、または他の画像センサ３等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、パラメータ、画像データ、特徴量データ、蓄積された過去の特徴量データ、加工された特徴量データ、統計解析データ、出力データ、パラメータ、辞書データ、ファームウェアなどを、通信ネットワークとしてのセンサネットワーク１０１（１０２）経由で送受信する。これにより、上記データや情報は、他の画像センサ３、ＢＥＭＳサーバ５、および管理サーバ２００等と、ビル内ネットワーク５００等を経由して共有されることが可能である。

ところで、プロセッサ３３は、実施形態に係る処理機能として、画像処理部３３ａ、設定部３３ｂ、および切替部３３ｃを備える。画像処理部３３ａ、設定部３３ｂ、および切替部３３ｃは、メモリ３２に記憶されたプログラム３２ａがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２ａは、画像処理プログラム、設定プログラム、および切替プログラムを含む。

画像処理部３３ａは、画像データ３２ｂを画像処理して、対象センシング領域における特徴量データを算出する。算出された特徴量データは、メモリ３２に蓄積される（特徴量データ３２ｄ）。

特徴量データとしては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ−ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

また、画像処理部３３ａは、在不在、人数、活動量、照度、歩行滞留、あるいは動きベクトル等を含むセンシング項目のうち、いずれかまたは複数のセンシング項目をセンシングする。センシング領域ごとに、これらの複数のセンシング項目を設定することもできる。画像処理部３３ａは、センシング領域をさらに複数に分割したブロック（エリア）ごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合して、センシング領域ごとのセンシング結果を得ることも可能である。

設定部３３ｂは、自ら（画像センサ３）の動作モードを少なくとも２通りに設定する。一つ目の動作モードは、画像処理部３３ａにより算出された特徴量データ３２ｄを出力するモードである（第１モード）。二つ目の動作モードは、カメラ部３１により取得された画像データ３２ｂを出力するモードである（第２モード）。

切替部３３ｃは、予め定められた条件が満たされた場合に、画像センサ３の動作モードを切り替える。例えば、以下に示されるような条件が考えられる。
（１）既定の時刻が到来した場合。
（２）センシング領域を含む対象空間に人が不在になった場合。
（３）センシング領域を含む対象空間から最終退出者が退出した場合。
（４）対象空間から最終退出者が退出してから、当該対象空間に動き情報が検知された場合。
（５）センシング領域に異常が検知された場合。

実施形態において、切替部３３ｃは、トリガ信号が与えられることで画像センサ３の動作モードを切り替える。既定の条件が満たされた場合に画像センサ３（切替部３３ｃ）にトリガ信号を与える機能は、例えば管理サーバ２００が担う。

図４は、図２に示される管理サーバ２００の一例を示すブロック図である。管理サーバ２００は、ＣＰＵやＭＰＵ等のプロセッサ２５０と、ＲＯＭ（Read Only Memory）２２０およびＲＡＭ（Random Access Memory）２３０を備えるコンピュータである。管理サーバ２００は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部２４０、光学メディアドライブ２６０、通信部２７０、およびディスプレイ２８０を備える。

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、記憶部２４０からロードされたプログラムやデータを一時的に記憶する。

光学メディアドライブ２６０は、ＣＤ−ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。管理サーバ２００で実行される各種プログラムは、例えばＣＤ−ＲＯＭ２８０に記録されて頒布される。このＣＤ−ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、記憶部２４０にインストールされる。

通信部２７０は、通信機能を備え、ＢＥＭＳサーバ５や画像センサ３等との通信を制御する。管理サーバ２００で実行される各種プログラムを、例えば通信部２７０を介してサーバからダウンロードし、記憶部２４０にインストールすることもできる。通信部２７０を介してクラウドサーバから最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。
特に、通信部２７０は、受信部２７０ａを備える。受信部２７０ａは、例えば画像センサ３から出力された画像データや特徴量データを受信する。

記憶部２４０は、プロセッサ２５０により実行されるプログラム２４０ａを記憶する。プロセッサ２５０は、ＯＳ（Operating System）および各種のプログラムを実行する。

ところで、プロセッサ２５０は、実施形態に係る処理機能としてモード制御部２５０ａ、および条件設定部２５０ｂを備える。モード制御部２５０ａ、および条件設定部２５０ｂは、記憶部２４０に記憶されたプログラム２４０ａがＲＡＭ２３０にロードされ、当該プログラムの進行に伴ってプロセッサ２５０が演算処理を実行することで生成されるプロセスとして、理解され得る。

モード制御部２５０ａは、既定の条件が満たされた場合に画像センサ３（切替部３３ｃ）にトリガ信号を与え、画像センサ３の動作モードを切り替える。
条件設定部２５０ｂは、トリガ信号の発生に係わる条件を選択設定する。次に、上記構成における作用を説明する。

図６は、画像センサ３の処理手順の一例を示すフローチャートである。セットアップなどが完了し運用が開始されると、画像センサ３は、先ずデフォルトのモード（例えば第１モード）にセットされる（ステップＳ１）。運用開始ののち、例えば日々の最終退社時刻などのモード切替時刻が到来すると（ステップＳ２でＹｅｓ）、管理サーバ２００からトリガ信号が切替部３３ｃに与えられ、画像センサ３が第２モードに切り替えられる（ステップＳ３）。モード切替時刻が到来するまでは、（ステップＳ２でＮｏ）動作モードは第１モードのままである。

画像センサ３は、画像データを取得し（ステップＳ４）、画像データから特徴量データを算出する（ステップＳ５）。次の判定ブロック（ステップＳ６）において、動作モードが第１モードであれば、画像センサは例えば図７に示されるように、特徴量としての物体の輪郭を示すエッジデータを出力する（ステップＳ７）。この特徴量データはＢＥＭＳサーバ５や管理サーバ２００により受信される。

一方、動作モードが第２モードであれば、画像センサは例えば図８に示されるように、画像データを出力する（ステップＳ８）。この画像データはＢＥＭＳサーバ５や管理サーバ２００により受信される。

第２モードは、動作モードの切戻し時刻（例えばビル開門時刻など）が到来するまで継続される。そして、切戻し時刻が到来すると、画像センサ３は自らの動作モードを第１モードに切戻したのち、ステップＳ２からの手順を繰り返す。

以上述べたように実施形態によれば、画像センサ３を、特徴量を出力する第１モードと、画像データを出力する第２モードとのいずれかのモードで動作させる。そして、ビル開門時刻から最終退社時刻までの通常勤務時間帯は、画像センサ３を第１モードで運用し、特徴量データを出力させる。特徴量データは、例えばエッジ処理により得られたエッジ（輪郭）データであり、これを利用して、ビル設備（照明機器・空調機器などのファシリティ）の制御に供することができる。

一方、最終退社時刻の到来後から次の日の開門時刻までは、画像センサ３を第２モードにセットし、撮影されたそのままの画像データを出力させる。これにより、執務室内において不審な動きがあれば、ただちに防犯情報の分析に供することができる。

つまり実施形態によれば、第１モードにおいては画像データからエッジ抽出して生成した特徴量（動きヒストグラム情報）などを収集／伝送し、空調制御などのビルファシリティ制御に役立てる。第１モードではそのままの画像データが出力されないので、機密情報が漏洩したり、訪問者が特定されたりすることを防止することができ、個人情報保護の観点からも好ましい。

一方、従業員およびビジターが退出後の夜間においては、第２モードに切り替え、防犯に役立てる。特に、ヒストグラム情報により、転倒などの異常が検知された際には、画像データを出力することで、より詳細に対象物を目視確認することができる。動作モードの切り替えのトリガは、例えば、スケジュールされた時刻、動き検知時、および異常検知時などである。

これらのことから実施形態によれば、ビルファシリティ制御機能と、防犯／異常検知とを兼用でき、ファシリティの制御機能と防犯機能との両立を図ることができる。従って実施形態によれば、可用性を高めたセンサシステム、画像センサ、およびセンシング方法を提供することが可能になる。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…照明機器、２…空調機器、３…画像センサ、４…コントローラ、５…ＢＥＭＳサーバ、６…ファイヤウォール、１０…ビル、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…辞書データ、３２ｄ…特徴量データ、３３…プロセッサ、３３ａ…画像処理部、３３ｂ…設定部、３３ｃ…切替部、３４…通信部、３５…内部バス、４１…空調コントローラ、４２…エレベーターコントローラ、４３…防犯コントローラ、４４…防災コントローラ、４５…照明コントローラ、７０…データベース、７１…ゲートウェイ、７２…ゲートウェイ、８０…サーバ、１０１…センサネットワーク、１０２…センサネットワーク、２００…管理サーバ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…記憶部、２４０ａ…プログラム、２５０…プロセッサ、２５０ａ…モード制御部、２５０ｂ…条件設定部、２６０…光学メディアドライブ、２７０…通信部、２７０ａ…受信部、２８０…ディスプレイ、３００…通信ネットワーク、５００…ビル内ネットワーク、６００…クラウドコンピューティングシステム。

Claims (10)

1. 複数の画像センサを具備するセンサシステムにおいて、
   前記画像センサは、
   割り当てられたセンシング領域を撮像して画像データを取得する撮像部と、
   前記画像データを画像処理して前記センシング領域における特徴量を算出する画像処理部と、
   前記特徴量を出力する第１モード、または、前記画像データを出力する第２モードのいずれかに前記画像センサの動作モードを設定する設定部と、
   既定の条件が満たされた場合に、前記動作モードを切り替える切替部とを備える、センサシステム。
2. 前記切替部は、既定の時刻が到来した場合に、前記動作モードを切り替える、請求項１に記載のセンサシステム。
3. 前記切替部は、前記センシング領域を含む対象空間に人が不在になった場合に、前記動作モードを切り替える、請求項１に記載のセンサシステム。
4. 前記切替部は、前記センシング領域を含む対象空間から最終退出者が退出した場合に、前記動作モードを切り替える、請求項１に記載のセンサシステム。
5. 前記切替部は、前記最終退出者が退出してから当該対象空間に動き情報が検知された場合に、前記動作モードを切り替える、請求項４に記載のセンサシステム。
6. 前記切替部は、前記センシング領域に異常が検知された場合に、前記動作モードを切り替える、請求項１に記載のセンサシステム。
7. 前記切替部は、与えられるトリガ信号に応じて前記動作モードを切り替え、
   さらに、前記条件が満たされた場合に、前記画像センサに前記トリガ信号を与えるモード制御部を備える、請求項１に記載のセンサシステム。
8. さらに、前記既定の条件を選択設定するための条件設定部を具備する、請求項１乃至７のいずれか１項に記載のセンサシステム。
9. 複数の画像センサを具備するセンサシステムに適用される前記画像センサにおいて、
   割り当てられたセンシング領域を撮像して画像データを取得する撮像部と、
   前記画像データを画像処理して前記センシング領域における特徴量を算出する画像処理部と、
   前記特徴量を出力する第１モード、または、前記画像データを出力する第２モードのいずれかに自センサの動作モードを設定する設定部と、
   既定の条件が満たされた場合に前記動作モードを切り替える切替部とを具備する、画像センサ。
10. 複数の画像センサを具備するセンサシステムに適用されるセンシング方法であって、
    前記画像センサが、割り当てられたセンシング領域を撮像して画像データを取得する過程と、
    前記画像センサが、前記画像データを画像処理して前記センシング領域における特徴量を算出する過程と、
    前記画像センサが、前記特徴量を出力する第１モード、または、前記画像データを出力する第２モードのいずれかに自センサの動作モードを設定する過程と、
    既定の条件が満たされた場合に、前記画像センサが前記動作モードを切り替える過程とを具備する、センシング方法。