JP2020053768A - 画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラム - Google Patents

Abstract

【課題】より多くの用途に対応した画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラムを提供することである。【解決手段】実施形態の画像センサシステムは画像センサとゲートウェイ装置とを持つ。画像センサは撮像部と画像処理部と出力部とを持つ。撮像部は魚眼レンズにより対象空間を俯瞰した画像データを取得する。画像処理部は前記画像データに基づいて前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知する。出力部は前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力する。ゲートウェイ装置はデータ取得部と、第１及び第２の記憶部と、を持つ。データ取得部は画像センサからセンシングデータ又は画像データを取得する。第１の記憶部は取得されたセンシングデータ又は画像データを記憶する。第２の記憶部はセンシングデータ又は画像データに関する設定データを記憶する。【選択図】図１

Description

本発明の実施形態は、画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラムに関する。

従来、各種センサのセンシング結果に基づいてビル管理に係る各種装置を制御するビル管理システムがある。このようなビル管理には、用途に応じた多種多様なセンサの設置及び管理が必要となるため、センサの導入や管理に多大なコストを要する場合があった。例えば、同じエリアに複数の用途の異なるセンサを設置する必要がある場合には、設置場所の確保に大きな労力を要する場合がある。また、多数のセンサを設置する必要がある場合には、配線や設置等の工事に大きな労力を要する場合もある。このような背景により、多くの用途に対応したセンサシステムが望まれている。

国際公開第２０１３／１８７０４７号 特許第５９０３６３４号公報

本発明が解決しようとする課題は、より多くの用途に対応した画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラムを提供することである。

実施形態の画像センサシステムは、画像センサと、ゲートウェイ装置と、を持つ。画像センサは、撮像部と、画像処理部と、出力部と、を持つ。撮像部は、魚眼レンズにより対象空間を俯瞰した画像データを取得する。画像処理部は、前記画像データに対する画像処理により、前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知する。出力部は、前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力する。ゲートウェイ装置は、データ取得部と、第１の記憶部と、第２の記憶部と、を持つ。データ取得部は、前記画像センサから前記センシングデータ又は前記画像データを取得する。第１の記憶部は、取得された前記センシングデータ又は前記画像データを記憶する。第２の記憶部は、前記センシングデータ又は前記画像データに関する設定データを記憶する。

第１の実施形態の画像センサシステムの構成例を示す図。 第１の実施形態の画像センサ１の機能構成例を示すブロック図。 第１の実施形態のゲートウェイ装置２の機能構成例を示すブロック図。 第１の実施形態の画像センサ１において取得されたセンサデータがゲートウェイ装置２に提供される処理の流れを示すフローチャート。 第１の実施形態のゲートウェイ装置２に蓄積されたセンサデータが外部システムに提供される処理の流れを示すフローチャート。 第２の実施形態における録画設定画面の具体例を示す図。 第２の実施形態における期間設定画面の具体例を示す図。 第２の実施形態におけるグループ登録画面の具体例を示す図。 第２の実施形態におけるセンサ登録画面の具体例を示す図。 第２の実施形態の画像センサシステム１００において動画データが外部システムに提供される処理の流れを示すフローチャート。 第４の実施形態のゲートウェイ装置２ａの機能構成例を示すブロック図。 第４の実施形態におけるセンサデータの加工例を示す図。

以下、実施形態の画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラムを、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の画像センサシステム１００の構成例を示す図である。例えば、図１は、ＢＥＭＳ（Building Energy Management System）２００や照明制御システム３００、空調制御システム４００などの外部システムに対して、画像によるセンシング機能を提供する画像センサシステム１００を示す。画像センサシステム１００は、１つ以上の画像センサ１とゲートウェイ装置２とを備え、ハブ装置３を介して外部システムに接続する。画像センサ１は、自装置の周辺を撮像した画像に基づいて自装置周辺における諸事象を検知するセンサである。図１に示す画像センサシステム１００は、１つ以上の画像センサ１として画像センサ１−１〜１−Ｎ（Ｎは１以上の整数）を備える。

ゲートウェイ装置２は、外部システムとの間で通信プロトコルの変換等を行うゲートウェイとして機能する装置である。保守端末４は、画像センサシステム１００の保守に用いられる端末装置である。保守端末４は、ハブ装置３を介して画像センサシステム１００と通信可能に接続される。

図２は、第１の実施形態の画像センサ１の機能構成例を示すブロック図である。画像センサ１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。画像センサ１は、プログラムの実行によって通信部１１、画像データ記憶部１２、設定データ記憶部１３、撮像部１４、画像処理部１５及びデータ出力部１６を備える装置として機能する。なお、画像センサ１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

通信部１１は、画像センサ１をゲートウェイ装置２と通信可能に接続する通信インタフェースである。通信部１１は、有線通信インタフェースであってもよいし、無線通信インタフェースであってもよい。各画像センサ１とゲートウェイ装置２との接続は、スター型やリング型など、どのようなネットワークトポロジーで構成されてもよい。また、通信プロトコルは、汎用プロトコルであってもよいし、産業用プロトコルであってもよい。また、通信部１１は、１つの通信プロトコルを用いてもよいし、複数の通信プロトコルを用いてもよい。通信部１１は、暗号化通信を行ってもよい。

画像データ記憶部１２は、例えばバッファメモリであり、画像データをＦＩＦＯ（First In, First Out）方式で入出力する記憶装置である。画像データ記憶部１２は、撮像部１４が出力する画像データを記憶し、記憶した画像データを画像処理部１５及びデータ出力部１６に出力する。

設定データ記憶部１３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。設定データ記憶部１３は画像センサ１の動作に関する設定データを記憶する。例えば、設定データは、撮像部１４の撮像設定（例えば、フレームレート、ゲイン、ホワイトバランスなど）や画像データの設定（例えば、解像度、圧縮率、枚数など）、画像処理の設定（例えば、各種閾値、マスク設定、エリア（部分空間）設定、保持時間など）、センサデータの生成に関する設定（例えば、データ種別、データ形式、プライバシー保護のためのマスクの有無、暗号化設定など）、通信設定（例えば、通信プロトコル、暗号化など）等の各種設定値を含む。

撮像部１４は、魚眼レンズを備えるカメラを用いて構成される。撮像部１４は、前記カメラにより自装置周辺を撮像した画像データを取得する。具体的には、撮像部１４は、撮像対象の空間（以下「対象空間」という。）の天井部に設置され、天井から俯瞰した対象空間の画像データを取得する。撮像部１４は、取得した画像データを画像データ記憶部１２に出力する。

画像処理部１５は、画像データ記憶部１２から画像データを取得し、取得した画像データに基づいて自装置周辺における諸事象を検知するための画像処理を行う。以下、画像処理部１５が前記諸事象を検知することを「センシング」という。

データ出力部１６は、ゲートウェイ装置２にセンサデータを出力する機能を有する。センサデータは、撮像部１４によって取得された画像データ、画像処理部１５によるセンシングの結果を示すデータ（以下「センシングデータ」という。）を含むデータである。この出力機能により、データ出力部１６はセンサデータをゲートウェイ装置２に提供することができる。

なお、データ出力部１６は、画像データ又はセンシングデータを加工する機能を有してもよい。データの加工は、画像データ又はセンシングデータの編集であってもよいし、データ形式の変換や暗号化などであってもよい。この場合、データ出力部１６は、加工によって得られたデータをセンサデータに含めてゲートウェイ装置２に提供してもよい。

データ出力部１６は、所定のタイミングで所定のセンサデータを出力するように構成されてもよいし、ゲートウェイ装置２の要求に応じて要求されたセンサデータを出力するように構成されてもよい。

図３は、第１の実施形態のゲートウェイ装置２の機能構成例を示すブロック図である。ゲートウェイ装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。ゲートウェイ装置２は、プログラムの実行によって第１通信部２１、第２通信部２２、センサデータ記憶部２３（第１の記憶部の一例）、設定データ記憶部２４（第２の記憶部の一例）、データ取得部２５及びデータ提供部２６を備える装置として機能する。なお、ゲートウェイ装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

第１通信部２１は、ゲートウェイ装置２を画像センサ１と通信可能に接続する通信インタフェースである。第１通信部２１は、複数台の画像センサ１と交互に通信するように構成されてもよいし、同時に通信するように構成されてもよい。第２通信部２２は、ゲートウェイ装置２をハブ装置３と通信可能に接続する通信インタフェースである。第１通信部２１及び第２通信部２２は、有線通信インタフェースであってもよいし、無線通信インタフェースであってもよい。ゲートウェイ装置２と各画像センサ１との接続は、スター型やリング型など、どのようなネットワークトポロジーで構成されてもよい。また、通信プロトコルは、汎用プロトコルであってもよいし、産業用プロトコルであってもよい。また、第１通信部２１及び第２通信部２２は、１つの通信プロトコルを用いてもよいし、複数の通信プロトコルを用いてもよい。第１通信部２１及び第２通信部２２は、暗号化通信を行ってもよい。第１通信部２１及び第２通信部２２は、通信先に応じて、通信プロトコルを変換可能である。例えば、通信プロトコルはＥｔｈｅｒＣＡＴ（登録商標）やＢＡＣｎｅｔ（登録商標）、ＴＣＰ／ＩＰ、ＵＤＰ／ＩＰなどであってもよいし、独自伝送プロトコルであってもよい。

センサデータ記憶部２３及び設定データ記憶部２４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。センサデータ記憶部２３は、画像センサ１から取得されたセンサデータを記憶する。設定データ記憶部２４は、センサデータの取得に関する設定データを記憶する。例えば、設定データは、画像データの取得に関する設定（例えば、取得対象、取得間隔など）や画像データの保存に関する設定（例えば、解像度、圧縮率、枚数など）、通信設定（例えば、通信プロトコル、暗号化など）等の各種設定値を含む。

データ取得部２５は、第１通信部２１を介して画像センサ１からセンサデータを取得する機能を有する。データ取得部２５は、取得したセンサデータをセンサデータ記憶部２３に保存する。

データ提供部２６は、自装置に蓄積されているセンサデータを、自装置と通信可能な外部システム（通信装置の一例）に提供する機能を有する。例えば、外部システムは、図１に示すＢＥＭＳ２００、照明制御システム３００、空調制御システム４００、保守端末４である。データ提供部２６は、センサデータを所定のタイミングで送信するように構成されてもよいし、外部システムの要求に応じて送信するように構成されてもよい。

図４は、第１の実施形態の画像センサ１において取得されたセンサデータがゲートウェイ装置２に提供される処理の流れを示すフローチャートである。まず、画像センサ１において、撮像部１４が、対象空間を撮像した画像データを取得する（ステップＳ１０１）。撮像部１４は、取得した画像データを画像データ記憶部１２に出力する（ステップＳ１０２）。

続いて、画像処理部１５が、取得された画像データに基づいて対象空間における諸事象を検知するための画像処理を実行する（ステップＳ１０３）。画像処理部１５は、この画像処理の実行により自装置周辺に関するセンシングデータを出力する。例えば、画像処理部１５は、自装置周辺における（１）人の有無、（２）人数、（３）人の活動量、（４）照度、（５）歩行者の滞留状況（歩行滞留）を検知する。画像処理部１５は、画像データの取得に応じて、常時これらの全項目の検知を行うように構成されてもよいし、必要に応じて必要な項目の検知を行うように構成されてもよい。また、各項目の検知動作は同じ周期で行われてもよいし、異なる周期で行われてもよい。

（１）人の有無（人の在又は不在）の検知
例えば、画像処理部１５は、画像間の差分に基づいて画像内の人物領域を識別することにより人の有無を検知してもよいし、画像内の人を認識する任意の人物認識技術を用いて人の有無を検知してもよい。画像間の差分には、背景画像との差分や、時間的に連続する画像間の差分（フレーム間差分）などが用いられてもよい。また、画像処理部１５は、対象空間全体としての人の有無を検知してもよいし、対象空間を構成する部分空間ごとの人の有無を検知してもよい。なお、（４）の照度が推定される場合には、誤検知の可能性を低くするために、人物領域の識別において照度の変動が考慮されてもよい。

（２）人数の推定
例えば、画像処理部１５は、（１）と同様の方法で画像内の人物領域を識別し、識別された人物領域の画像について、個々の人を識別する画像処理を行うことにより、対象空間に存在する人の人数を推定してもよい。（１）と同様に、人数は部分空間ごとに推定されてもよい。

（３）人の活動量の推定
例えば、画像処理部１５は、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて活動量を推定してもよい。例えば、活動量は“無”、“小”、“中”、“大”などの段階で推定されてもよいし、ＭＥＴｓ（Metabolic Equivalents）等の指標値として推定されてもよい。画像処理部１５は、部分空間ごとに動き領域を抽出し、部分空間ごとの活動量を推定してもよい。

（４）照度の推定
例えば、画像処理部１５は、画像と、撮像部１４の撮像設定値（例えばゲインや露光時間など）とに基づいて対象空間の照度を推定してもよい。画像処理部１５は、部分空間ごとに照度を推定してもよい。

（５）歩行滞留の検知
例えば、画像処理部１５は、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて歩行滞留を検知してもよい。画像処理部１５は、部分空間ごとに歩行滞留を検知してもよい。

画像処理部１５は、このような画像処理に基づく対象空間のセンシングデータをデータ出力部１６に出力する。画像処理部１５は、センシングデータを画像データ記憶部１２又は設定データ記憶部１３に保存してもよい。

続いて、データ出力部１６が、画像処理部１５から出力されたセンシングデータや、画像データ記憶部１２に蓄積されている画像データなどを用いてセンサデータを生成する（ステップＳ１０４）。データ出力部１６は、生成したセンサデータをゲートウェイ装置２に出力する（ステップＳ１０５）。

なお、センサデータは、センシングデータ及び画像データの一方又は両方を含むデータとして出力されてもよいし、データの種別に応じて異なるタイミングで出力されてもよい。例えば、データ出力部１６は、外部システムにおける制御用のデータとしてセンシングデータのみを出力し、ゲートウェイ装置２に蓄積するデータとしてセンシングデータ又は画像データを送信してもよい。また、センサデータの形式は、バイナリ形式であってもよいし、テキスト形式であってもよいし、各種の画像形式であってもよい。各種の画像形式は、非圧縮形式であってもよいし、圧縮形式であってもよい。圧縮形式は、ＰＮＧ（Portable Network Graphics）等の可逆圧縮形式であってもよいし、ＪＰＥＧ（Joint Photographic Experts Group）等の不可逆圧縮形式であってもよい。センシングデータは、画像データに埋め込まれてもよい。また、データ出力部１６は、センサデータを暗号化して送信してもよい。暗号化は、パスワードによる圧縮であってもよい。

続いて、ゲートウェイ装置２では、データ取得部２５が、第１通信部２１を介して受信されたセンサデータを取得する（ステップＳ１０６）。データ取得部２５は、取得したセンサデータをセンサデータ記憶部２３に保存する（ステップＳ１０７）。以上の処理によって、センサデータがゲートウェイ装置２に提供される。そして、以上の処理が繰り返し実行されることにより、センサデータがゲートウェイ装置２に蓄積される。

なお、図４では簡単のため、対象空間のセンシング処理（画像処理）が画像データの取得に応じて実行される例を示したが、画像データの取得処理と画像処理とは独立して実行されてもよい。

図５は、第１の実施形態のゲートウェイ装置２に蓄積されたセンサデータが外部システムに提供される処理の流れを示すフローチャートである。ここでは、ゲートウェイ装置２が外部システムの要求（ステップＳ３０１：センサデータ取得要求）に応じてセンサデータを提供する場合を想定する。この場合、まずゲートウェイ装置２において、データ提供部２６がセンサデータ取得要求を受け付ける（ステップＳ２０１）。このとき、センサデータに含まれる各種データ（画像データ、センシングデータ、又はそれらに基づいて生成されたデータ）のうち、どのデータが取得対象であるかは、センサデータ取得要求とともにゲートウェイ装置２に通知されるものとする。

続いて、データ提供部２６は、センサデータ記憶部２３に蓄積されているセンサデータのうち、取得対象として要求されているセンサデータ（対象データ）を取得する（ステップＳ２０２）。データ提供部２６は、取得した対象データをセンサデータ取得要求に対する応答として外部システムに送信する（ステップＳ２０３）。

なお、提供すべきセンサデータが提供先に応じて予め定められている場合などにおいては、データ提供部２６は、ステップＳ２０１〜Ｓ２０３を定期的に実行するように構成されてもよい。例えば、データ提供部２６は、図４に示したステップＳ１０１〜Ｓ１０７に続けてステップＳ２０１〜Ｓ２０３を実行してもよい。

このように構成された第１の実施形態の画像センサシステム１００では、ゲートウェイ装置２が画像センサ１から取得されるセンサデータを蓄積するとともに、蓄積したセンサデータの一部又は全部を外部提供データとして必要に応じて外部システムに提供する。このような構成を備える第１の実施形態の画像センサシステム１００によれば、用途の異なる各種センサシステムを画像センサシステムに統合することが可能になる。例えば、第１の実施形態の画像センサシステム１００によって取得される画像データが外部システムに提供されることにより、画像センサシステム１００を監視カメラシステムとしても用いることができる。このため、第１の実施形態の画像センサシステム１００は、センサシステム及び監視カメラシステムとして機能することにより、ビル内の機器制御とビル内の監視とを両立して実現することができる。

また、このような外部提供データが外部システムに提供されることにより、ユーザは保守端末４を介して所望のセンサデータを取得することができる。このようなセンサデータがユーザに供給されることにより、ユーザはオフィスの改善やセキュリティの向上、セーフティの向上を実現することができる。例えば、ユーザは、会議室などの利用率を分析し、利用率の低い領域を別用途に変更することができる。また、ユーザは、フリーアドレスのオフィスや複数の事業所の兼務者の領域などについて在籍率を分析することで、不要な領域を別用途に変更することができる。

また、ユーザは、深夜などに人の動きがあった画像を取得しておくことで、有事の際の状況証拠を残すことができる。また、ユーザは、火災や地震などが発生した前後の画像を取得しておくことで、被害の原因究明や状況把握を行うことができる。

（第２の実施形態）
第２の実施形態は、ゲートウェイ装置２における画像データの蓄積に関する設定の具体例について説明する。第２の実施形態における画像センサシステム１００の構成は第１の実施形態と同様である。例えば、第２の実施形態におけるゲートウェイ装置２は、以下に示す各種設定画面を保守端末４に表示させる。

図６は、第２の実施形態における録画設定画面の具体例を示す図である。図６に示す録画設定画面Ｇ１は、画像センサ１に対して対象空間の録画に関する各種設定を行うために用いられる画面である。ここでいう録画とは、時系列に連続して取得される対象空間の画像データに基づいて動画データを生成する動作を意味する。

録画設定画面Ｇ１は、ゲートウェイ装置２の設定データにアクセスする手段の一例として提供される画面であり、例えばデータ提供部２６によって生成される。データ提供部２６は、生成した録画設定画面Ｇ１を保守端末４に表示させ、この録画設定画面Ｇ１又は録画設定画面Ｇ１から呼び出される関連画面を介して各種設定値の入力を受け付ける。

例えば、録画設定画面Ｇ１には、設定対象の画像センサ１（取得元の一例）のグループ（センサグループ）の選択を受け付ける入力インタフェースＡ１１や、センサグループの登録画面（グループ登録画面）を呼び出すボタンＡ１２、設定対象のセンサグループについて指定された録画時間帯を表示する領域Ａ１３、表示対象期間の指定を受け付ける入力インタフェースＡ１４、その他の各種設定値を表示する領域Ａ１５、画像データの取得期間を登録する画面（期間登録画面）を呼び出すボタンＡ１６、入力された設定内容の保存を指示するボタンＡ１７、入力された設定内容の破棄を指示するボタンＡ１８などが表示される。

図７は、第２の実施形態における期間設定画面の具体例を示す図である。例えば、期間設定画面Ｇ２は、データ提供部２６により、録画設定画面Ｇ１のボタンＡ１７の押下に応じて生成される。例えば、期間設定画面Ｇ２には、一日の時間帯の繰り返しとして取得期間を指定する入力インタフェースＡ２１（繰り返し指定）や、開始日時及び終了日時で取得期間を指定する入力インタフェースＡ２２、設定内容の保存を指示するボタンＡ２３、設定内容の破棄を指示するボタンＡ２４などが表示される。

図８は、第２の実施形態におけるグループ登録画面の具体例を示す図である。例えば、グループ登録画面Ｇ３は、データ提供部２６により、録画設定画面Ｇ１のボタンＡ１２の押下に応じて生成される。例えば、グループ登録画面Ｇ３には、新たなセンサグループを追加するボタンＡ３１や、新たな画像センサ１を登録する画面（センサ登録画面）を呼び出すボタンＡ３２、画像センサ１とセンサグループとの対応関係を一覧表示する領域Ａ３３、指定されたセンサグループを削除するボタンＡ３４、削除対象のセンサグループの選択を受け付ける入力インタフェースＡ３５、設定内容の保存を指示するボタンＡ３６、設定内容の破棄を指示するボタンＡ３７などが表示される。

図９は、第２の実施形態におけるセンサ登録画面の具体例を示す図である。例えば、センサ登録画面Ｇ４には、画像データの保存先の指定を受け付ける入力インタフェースＡ４１や、登録対象の画像センサ１と対応づけるセンサグループの選択を受け付ける入力インタフェースＡ４２、グループ登録画面を呼び出すボタンＡ４３、登録対象の画像センサ１に付与する識別情報（センサＩＤ）の入力インタフェースＡ４４、画像データの取得間隔（録画間隔）の入力インタフェースＡ４５、録画間隔の適用レベル（ベストエフォート）を指定する入力インタフェースＡ４６、予め予約された録画動作（予約録画）の無効化を指定する入力インタフェースＡ４７、設定内容の保存を指示するボタンＡ４８、設定内容の破棄を指示するボタンＡ４９などが表示される。

データ提供部２６は、上記の録画設定画面Ｇ１や関連画面（期間設定画面Ｇ２、グループ登録画面Ｇ３、センサ登録画面Ｇ４）を介して入力された各種設定値をゲートウェイ装置２の設定データに反映させる。このような設定データへのアクセス手段が提供されることにより、ゲートウェイ装置２の設定データを外部から参照又は更新することが可能になる。

図１０は、第２の実施形態の画像センサシステム１００においてゲートウェイ装置２が対象空間の様子が撮像された動画データを生成して外部システムに提供する処理の流れを示すフローチャートである。まず、ゲートウェイ装置２において、データ取得部２５が、設定データに基づく録画開始タイミングにおいて、画像センサ１に動画データの外部出力開始を指示する（ステップＳ４０１）。

画像センサ１では、ゲートウェイ装置２から動画データの外部出力の開始を指示されたことに応じて、データ出力部１６が動画データの外部出力処理を実行する（ステップＳ４０２）。具体的には、データ出力部１６は、撮像部１４によって取得される時系列の画像データを画像データ記憶部１２から順次取得する（ステップＳ４０２１）とともに、取得された画像データを順次エンコードしていくことによって動画データを生成する（ステップＳ４０２２）。

動画データは、任意の形式で生成されてよい。例えば、動画データは、ＡＶＩ（Audio Video Interleave）形式で生成されてもよいし、ＭＰＥＧ（Moving Picture Experts Group）形式で生成されてもよい。また、データ出力部１６は、所定の録画間隔時間（図１０の例では１０秒）ごとに取得された画像データを用いて動画データを生成してもよい。データ出力部１６は、生成された動画データを順次ストリーミング形式に変換して外部出力する（ステップＳ４０２３）。

続いて、データ出力部１６は、ゲートウェイ装置２から動画データの外部出力の終了を指示されたか否かを判定する（ステップＳ４０２４）。動画データの外部出力の終了を指示されていない場合（ステップＳ４０２４−ＮＯ）、データ出力部１６はステップＳ４０２１に処理を戻し、動画データの外部出力処理を継続する。一方、動画データの外部出力の終了が指示された場合（ステップＳ４０２４−ＹＥＳ）、データ出力部１６は動画データの外部出力処理を終了する。

一方、ゲートウェイ装置２では、データ取得部２５が画像センサ１から受信される動画データをセンサデータ記憶部２３に保存することで、動画データを録画する（ステップＳ４０３）。データ取得部２５は、設定データに基づく録画終了タイミングにおいて、画像センサ１に動画データの外部出力終了を指示する（ステップＳ４０４）。

続いて、外部システム４がゲートウェイ装置２に対して動画データの配信を要求する（ステップＳ４０５）。この動画データの配信要求を受けて、ゲートウェイ装置２では、データ提供部２６が要求されている動画データをセンサデータ記憶部２３から取得し、外部システム４に配信する（ステップＳ４０６）。具体的には、データ提供部２６は、取得した動画データに基づいてストリーミング再生用の配信データを生成し、生成した配信データを外部システム４に送信する。配信データの送信には任意のプロトコルが用いられてよい。例えば、配信データの送信には、ＲＴＳＰ（Real Time Streaming Protocol）やＨＬＳ（HTTP Live Streaming）等のプロトコルが用いられてもよい。外部システム４は、ゲートウェイ装置２から受信された配信データを受信して再生する（ステップＳ４０７）。

なお、ここでは、ゲートウェイ装置２が録画終了後に外部システム４の配信要求を受けつける場合について説明したが、ゲートウェイ装置２は録画実行中に配信要求を受け付けてもよい。この場合、ゲートウェイ装置２は録画中の動画データを配信してもよい。

また、画像センサ１は画像データの圧縮機能を備えてもよく、圧縮した画像データを用いて動画データを生成してもよい。また、画像データの圧縮機能や動画データの生成機能はゲートウェイ装置２に備えられてもよい。

このように構成された第２の実施形態の画像センサシステム１００は、予め登録された録画設定に基づいて、対象空間が撮像された動画データを取得することができる。そのため、第２の実施形態の画像センサシステム１００によれば、１つのシステムで画像センサシステムと監視カメラシステムとの両方を実現することが可能になる。

なお、第２の実施形態では、ゲートウェイ装置２の設定データにアクセスする手段の一例として、画像センサ１の録画設定を外部から実施可能にするユーザインタフェースについて説明したが、外部からアクセス可能に制御される情報は設定データに限定されない。データ提供部２６は、自装置に蓄積されているセンサデータへのアクセス可能にするユーザインタフェースを提供してもよい。例えば、データ提供部２６は、画像データの表示や削除を可能にするユーザインタフェースを提供してもよい。また、これらのユーザインタフェースは、専用のアプリケーションとして提供されてもよいし、ウェブブラウザを介して利用することができるように提供されてもよい。

（変形例）
録画設定に関するユーザインタフェース（以下「録画設定インタフェース」という。）は、画像センサ１のグループごとの設定を可能にするほか、個々の画像センサ１ごと、又はイベントごとの設定（イベント録画）を可能にするものであってもよい。イベントは、画像センサ１において検知しうる任意の事象であってよい。例えば、イベントは特定の日時の到来であってもよいし、画像センサ１や外部システムからの通知、ゲートウェイ装置２内部における異常の発生などであってもよい。この場合、例えば、ゲートウェイ装置２は、各画像センサ１のセンシング結果に応じて録画設定を切り替えてもよい。このようにすれば、例えば、対象空間に人が存在してないときには１分ごとの画像データを取得し、人が存在しているときには１秒ごとの画像データを取得するといったことが可能になる。

録画設定インタフェースは、録画動作に関してセンシング結果が満たすべき条件の指定を可能にするものであってもよい。例えば、対象空間が人が存在していない状況から人が存在している状況に変化したことを録画動作の開始条件としてもよいし、人が存在している状況から人が存在していない状況に変化したことを録画動作の停止条件としてもよい。また、例えば、対象空間に存在する人の人数が所定数以上となったことを録画動作の開始条件としてもよいし、所定数未満となったことを録画動作の停止条件としてもよい。

録画設定インタフェースは、設定情報の入力又は情報選択の入力を、テキスト形式、リスト形式又はマップ形式で受け付けるように構成されてもよい。

センサグループは、グループ間における画像センサ１の重複を許容するものであってもよい。例えば、個々の画像センサ１ごとに、その周囲の画像センサ１を含むセンサグループが構成されてもよい。また、例えば、セキュリティエリアと出入り口とで異なるセンサグループが構成されてもよい。

録画設定インタフェースは、予約動作に加えて、手動による録画開始指示又は終了指示の入力を受け付けるように構成されてもよい。

録画設定インタフェースは、日時指定での録画動作を設定するものであってもよいし、録画動作の繰り返しを設定するものであってもよい。また、録画設定インタフェースは、所定期間における間欠的な撮像動作を設定するものであってもよいし、所定期間における常時の撮像動作を設定するものであってもよい。

録画設定インタフェースは、録画動作に関する各種設定の妥当性をチェックする機能を有してもよい。例えば、録画設定インタフェースは、予約の重複や、記憶領域の空き容量、イベント録画及び予約録画の同時実行の有無等をチェックする機能を有してもよい。また、録画設定インタフェースは、チェック結果の通知機能を有してもよい。また、録画設定インタフェースは、録画間隔にベストエフォートが指定されている場合に、画像センサ１の台数におじた実現可能な録画間隔を提示する機能を有してもよい。また、録画設定インタフェースは、イベント録画及び予約録画に対して優先度を設定する機能を有してもよい。また、録画設定インタフェースは、センサグループ間での画像センサ１の重複を許容しない場合、グループ間での重複の有無をチェックする機能を有してもよい。

センサデータ記憶部２３は、ＢＥＭＳなどの外部システムに設けられてもよい。この場合、ゲートウェイ装置２は、画像センサ１から取得されたセンサデータをそのまま外部システムに提供するように構成されてもよい。

画像センサ１のデータ出力部１６は、設定データ記憶部１３に記憶されている設定データをセンサデータに含めてゲートウェイ装置２に出力してもよい。この場合、ゲートウェイ装置２のデータ提供部２６は、画像センサ１の設定データに外部からアクセス（参照又は更新）することを可能にするユーザインタフェースを提供してもよい。また、ゲートウェイ装置２のデータ提供部２６は、このようなユーザインタフェースを介して更新された設定データを画像センサ１に提供してもよい。このようなユーザインタフェースが提供されることにより、画像センサシステム１００の外部から各画像センサ１の設定データを管理することが可能になる。

第２の実施形態では、ゲートウェイ装置２は、動画データの態様で提供される対象空間の画像データを画像センサ１から取得して蓄積するとともに、蓄積した動画データを外部システムの要求に応じて配信する例を説明したが、画像センサ１がゲートウェイ装置２に提供する画像データは必ずしも動画データの態様である必要はなく、撮像部１４によって取得された個々の画像データ（以下、「動画データ」と区別するために「静止画像データ」という。）がそのままゲートウェイ装置２に提供されてもよい。この場合、ゲートウェイ装置２は、画像センサ１から配信された静止画像データを外部システムに配信してもよい。また、この場合、画像センサ１に代えてゲートウェイ装置２が、動画データを生成する機能を有してもよい。この場合、ゲートウェイ装置２は、画像センサ１から連続して配信される静止画像データに基づいて動画データを生成し、生成した動画データを外部システムに配信するように構成されてもよい。

（第３の実施形態）
図１１は、第３の実施形態のゲートウェイ装置２ａの機能構成例を示すブロック図である。ゲートウェイ装置２ａは、データ加工部２７をさらに備える点で第１の実施形態のゲートウェイ装置２と異なる。その他の構成は第１の実施形態と同様であるため、図３と同じ符号を付すことにより説明を省略する。

データ加工部２７は、センサデータを加工する機能を有する。データ加工部２７は、加工したセンサデータをセンサデータ記憶部２３に保存してもよいし、データ提供部２６を介して外部システムに提供してもよい。例えば、データ加工部２７は、プライバシー保護のために、画像データに含まれる個人情報をぼかす、塗りつぶす、又は透過させる等の処理を行ってもよい。加工の対象となる領域は人手で設定されてもよいし、センシング結果を用いて設定されてもよい。例えば、画像から検出された動体や人物等の領域が加工の対象に設定されてもよい。また、データ加工部２７は、センサデータの暗号化又は復号化を行ってもよい。また、データ加工部２７は、センサデータを加工することによって外部提供データを生成してもよい。

図１２は、第３の実施形態におけるセンサデータの加工例を示す図である。図１２（Ａ）は、図１２（Ｂ）に示す対象空間の画像データに基づいて取得されたセンシングデータを示し、図１２（Ｂ）は図１２（Ａ）のセンシングデータが取得された対象空間の画像データを示す。この場合、データ加工部２７は、画像データを加工することによって、図１２（Ｃ）に示すようなセンシングデータが重畳された画像データを生成してもよい。センシングデータはどのような態様で重畳されてもよい。例えば、画像データを分割した各領域ごとにセンシングデータが取得される場合、センシングデータの各値を対応する領域に重畳させてもよい。また、データ加工部２７は、複数の画像データを連携してパノラマ画像を生成してもよい。また、データ加工部２７は、画像センサ１のデータ出力部１６と同様の加工機能を有してもよい。

このように構成された第３の実施形態のゲートウェイ装置２ａは、センサデータの加工機能を有するため、より安全に外部提供データを提供することができる。また、この加工機能により、ゲートウェイ装置２ａは、より付加価値が高い外部提供データを提供することができる。

以上説明した少なくともひとつの実施形態によれば、画像データ又は画像処理部１５の検知結果に基づくセンサデータを出力するデータ出力部１６を持つ画像センサ１と、画像センサ１からセンサデータを取得するデータ取得部２５と、取得されたセンサデータを記憶するセンサデータ記憶部２３と、センサデータの取得に関する設定データを記憶する設定データ記憶部２４と、を備えるゲートウェイ装置２と、を持つことにより、より多くの用途に対応した画像センサシステム、制御方法、ゲートウェイ装置及びコンピュータプログラムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像センサ、２，２ａ…ゲートウェイ装置、３…ハブ装置、４…保守端末、１１…通信部、１２…画像データ記憶部、１３…設定データ記憶部、１４…撮像部、１５…画像処理部、１６…データ出力部、２１…第１通信部、２２…第２通信部、２３…センサデータ記憶部、２４…設定データ記憶部、２５…データ取得部、２６…データ提供部、２７…データ加工部、１００…画像センサシステム、２００…ＢＥＭＳ（Building Energy Management System）、３００…照明制御システム、４００…空調制御システム

Claims (13)

1. 魚眼レンズにより対象空間を俯瞰した画像データを取得する撮像部と、
   前記画像データに対する画像処理により、前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知する画像処理部と、
   前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力する出力部と、
   を備える画像センサと、
   前記画像センサから前記センシングデータ又は前記画像データを取得するデータ取得部と、
   取得された前記センシングデータ又は前記画像データを記憶する第１の記憶部と、
   前記センシングデータ又は前記画像データに関する設定データを記憶する第２の記憶部と、
   を備えるゲートウェイ装置と、
   を備える画像センサシステム。
2. 前記ゲートウェイ装置は、前記センサデータを加工するデータ加工部をさらに備える、
   請求項１に記載の画像センサシステム。
3. 前記ゲートウェイ装置は、外部からの指示に応じて、前記第１の記憶部に記憶されている前記センシングデータ又は画像データを提供するデータ提供部をさらに備える、
   請求項１又は２に記載の画像センサシステム。
4. 前記データ提供部は、外部からの指示に応じて、前記第２の記憶部に記憶されている前記設定データを提供する、
   請求項１から３のいずれか一項に記載の画像センサシステム。
5. 前記データ提供部は、外部からの指示に応じて、前記設定データを登録又は更新する、
   請求項４に記載の画像センサシステム。
6. 前記データ提供部は、前記画像データの取得動作を予約する条件を前記設定データとして登録又は更新する、
   請求項４又は５に記載の画像センサシステム。
7. 前記データ提供部は、前記画像データの取得元となる画像センサを選択する手段を提供する、
   請求項４から６のいずれか一項に記載の画像センサシステム。
8. 前記データ提供部は、取得された前記画像データの記憶領域を設定する手段を提供する、
   請求項４から７のいずれか一項に記載の画像センサシステム。
9. 前記条件は、自装置と通信可能な通信装置から通知される情報、又は前記センサデータに基づいて判定される条件である、
   請求項６から８のいずれか一項に記載の画像センサシステム。
10. 前記データ提供部は、前記画像センサの動作に関する設定の妥当性をチェックする機能を有する、
    請求項１から９のいずれか一項に記載の画像センサシステム。
11. 複数の画像センサと、前記複数の画像センサと通信可能なゲートウェイ装置と、を備える画像センサシステムの制御方法であって、
    前記画像センサが、魚眼レンズにより対象空間を俯瞰した画像データを取得するステップと、
    前記画像センサが、前記画像データに対する画像処理により、前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知するステップと、
    前記画像センサが、前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力するステップと、
    前記ゲートウェイ装置が、前記画像センサから前記センシングデータ又は前記画像データを取得するステップと、
    前記ゲートウェイ装置が、取得された前記センシングデータ又は前記画像データを記憶するステップと、
    前記ゲートウェイ装置が、前記センシングデータ又は前記画像データに関する設定データを記憶するステップと、
    を有する制御方法。
12. 魚眼レンズにより対象空間を俯瞰した画像データを取得する撮像部と、前記画像データに対する画像処理により、前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知する画像処理部と、前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力する出力部と、を備える画像センサから前記センシングデータ又は前記画像データを取得するデータ取得部と、
    取得された前記センシングデータ又は前記画像データを記憶する第１の記憶部と、
    前記センシングデータ又は前記画像データに関する設定データを記憶する第２の記憶部と、
    を備えるゲートウェイ装置。
13. 魚眼レンズにより対象空間を俯瞰した画像データを取得する撮像部と、前記画像データに対する画像処理により、前記対象空間における人の在又は不在、人数、活動量、照度又は歩行の滞留を検知する画像処理部と、前記画像データ又は前記画像処理部の検知結果に基づくセンシングデータを出力する出力部と、を備える画像センサから前記センシングデータ又は前記画像データを取得するステップと、
    取得された前記センシングデータ又は前記画像データを記憶するステップと、
    前記センシングデータ又は前記画像データに関する設定データを記憶するステップと、
    をコンピュータに実行させるためのコンピュータプログラム。

Images