JP2017212641A - センサ、通信方法及び通信プログラム - Google Patents

Abstract

【課題】通信プロトコルが異なる複数の機器と通信することができるセンサ、通信方法及び通信プログラムを提供することである。
【解決手段】実施形態のセンサは、撮像部と、画像認識部と、複数の通信部とを持つ。撮像部は、室内を撮像した結果を表す画像を生成する。画像認識部は、画像における画像特徴量に基づいて、画像における物体を認識する。通信部は、所定周期で又は物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信する。
【選択図】図１

Description

本発明の実施形態は、センサ、通信方法及び通信プログラムに関する。

通信システムは、画像センサ及び照明機器などの機器と通信することがある。通信システムは、機器が対応している通信プロトコルを使用して機器と通信する。建物に設置された機器では、機器ごとに通信プロトコルが異なる場合がある。しかしながら、通信システムは、通信プロトコルが異なる複数の機器と通信することができない場合があった。

特開２０１４−７０７４号公報

"照明器具個別制御システム T/Flecs（ティーフレックス）", [online], [平成２８年４月５日検索], インターネット<URL: http://www.tlt.co.jp/tlt/products/system/t_flecs.htm>

本発明が解決しようとする課題は、通信プロトコルが異なる複数の機器と通信することができるセンサ、通信方法及び通信プログラムを提供することである。

実施形態のセンサは、撮像部と、画像認識部と、複数の通信部とを持つ。撮像部は、室内を撮像した結果を表す画像を生成する。画像認識部は、画像における画像特徴量に基づいて画像における物体を認識する。複数の通信部は、所定周期で又は物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信する。

第１実施形態における、通信システムの構成の例を示す図。 第２実施形態における、通信システムの構成の例を示す図。 第３実施形態における、産業用の通信プロトコルを用いた通信システムの構成の例を示す図。 第４実施形態における、フルメッシュ型無線ネットワークを用いた通信システムの構成の例を示す図。 第５実施形態における、無線ネットワークの親機として通信する機器制御装置の通信システムの構成の例を示す図。 第６実施形態における、通信システムの構成の例を示す図。 第７実施形態における、通信システムの構成の例を示す図。 第９実施形態における、通信システムの構成の例を示す図。 第１０実施形態における、通信システムの構成の例を示す図。 第１１実施形態における、通信システムの構成の例を示す図。 第１２実施形態における、通信システムの構成の例を示す図。

以下、実施形態のセンサ、通信方法及び通信プログラムを、図面を参照して説明する。
（第１の実施形態）
図１は、通信システム１ａの構成の例を示す図である。通信システム１ａは、室内などに設置された機器と通信するためのシステムである。通信システム１ａは、機器制御装置２ａを備える。通信システム１ａは、複数の機器を更に備える。図１では、複数の機器は、一例として、ＢＥＭＳ（Building Energy Management System）３０と、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０とである。

機器制御装置２ａ（センサ）は、サーバ装置、パーソナルコンピュータ装置等の情報機器である。機器制御装置２ａは、基本構成部１０ａと、拡張構成部２０ａとを備える。拡張構成部２０ａは、複数でもよい。基本構成部１０ａと拡張構成部２０ａとのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。基本構成部１０ａと拡張構成部２０ａとのうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

基本構成部１０ａ（共通ボード）は、撮像部１１と、画像認識部１２を備える。基本構成部１０ａは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。辞書部１２１と画像記憶部１２３とは、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記憶媒体（非一時的な記録媒体）を有する。辞書部１２１と画像記憶部１２３とは、例えば、ＲＡＭやレジスタなどの揮発性の記憶媒体を有していてもよい。

撮像部１１は、光学系を備える。光学系は、例えば、魚眼レンズである。撮像部１１は、センサとして、例えば、室内を撮像する。撮像部１１の撮像方向及び撮像範囲（画角）は、固定でもよい。撮像部１１は、一定の時間間隔で室内を撮像してもよい。撮像部１１は、撮像部１１による撮像結果を表す画像を、画像認識部１２に送信する。撮像部１１による撮像結果を表す画像の形式は、静止画又は動画である。

画像認識部１２は、撮像部１１による撮像結果を表す画像を、撮像部１１から取得する。画像認識部１２は、センサとして、撮像部１１による撮像結果を表す画像における画像特徴量に基づいて、画像における物体を認識する。認識の対象となる物体は、人でもよい。画像特徴量は、例えば、累積差分などの輝度変化に関する特徴量である。画像特徴量は、例えば、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）などの輝度分布に関する特徴量でもよい。画像における物体を認識するための処理（認識処理）は、例えば、背景差分処理、フレーム間差分処理、オプティカルフロー処理、テンプレートマッチング処理などである。認識処理は、例えば、ニューラルネットワークによる認識処理、ＳＶＭ（サポート・ベクタ・マシン）による認識処理、ｋ近傍法（k-nearest neighbor algorithm）による認識処理、ベイズ分類による認識処理などである。

拡張構成部２０ａ（拡張ボード）が実行する通信の通信プロトコルは、通信システム１ａの管理者などにより拡張構成部２０ａが差し替えられることによって予め選択される。画像認識部１２は、画像における物体を認識した結果に基づいて、拡張構成部２０ａが実行する通信の通信プロトコルを選択してもよい。画像認識部１２は、認識処理の結果に基づくセンシング情報を、選択された通信プロトコルに対応付けられた通信部に送信する。認識処理の結果に基づくセンシング情報は、例えば、画像における人が在室しているか否かを表す情報、画像における人数を表す情報、画像における人の混雑度を表す情報、画像における人の活動量又は明るさを表す情報である。

辞書部１２１は、画像の認識処理に使用される辞書データを記憶する。辞書データは、例えば、人物の外観の特徴量が統合されたデータを含む人物辞書である。辞書データは、例えば、背景の特徴量を統合した背景辞書などの検知に使用されるデータを含む辞書である。辞書データは、例えば、車椅子の外観の特徴量が統合されたデータを含む車椅子辞書である。

学習部１２２は、画像認識部１２から取得した画像において教師画像に相当する画像があるか否かを学習する。学習部１２２は、オフライン学習又はオンライン学習を実行してもよい。画像記憶部１２３は、画像の認識処理又は学習に使用される画像を記憶する。画像記憶部１２３は、画像の認識処理又は学習に使用される画像特徴量を記憶する。

拡張構成部２０ａ（拡張ボード）は、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。第１通信部２１と第２通信部２２と第３通信部２３と第４通信部２４と第５通信部２５とは、互いに独立に機器との通信を実行する。

第１通信部２１と第２通信部２２と第３通信部２３と第４通信部２４と第５通信部２５とは、物理的に単体でもよいし、物理的に別体でもよい。通信部は、物理的に単体である場合でも、ポート番号ごとに通信を実行してもよい。

以下、第１通信部２１と第２通信部２２と第３通信部２３と第４通信部２４と第５通信部２５とに共通する事項については、「通信部」と表記する。通信部は、ハードウェア機能部、ソフトウェア機能部又はそれらの組合せである。

通信システム１ａの管理者は、通信部の通信プロトコルを選択する。通信システム１ａの管理者は、通信部の通信プロトコルを選択した結果に基づいて、拡張構成部２０ａ（拡張ボード）を差し替える。通信部の通信プロトコルは、例えば、通信プログラム又は通信回線が実装されているか否かに基づいて選択される。通信部の通信プロトコルは、通信プログラム又は通信回線の設定が有効であるか否かに基づいて選択されてもよい。通信部の通信プロトコルは、機器との通信回線の配線が必要であるか否かに基づいて選択されてもよい。

第１通信部２１は、ＢＥＭＳ３０との間でデータを通信する。ＢＥＭＳ３０から送信されるデータは、例えば、パラメータである。第１通信部２１は、予め定められたセキュリティシステムとの間でデータを通信してもよい。第１通信部２１の通信プロトコルは、一例として、建物の機器用の通信プロトコルである。建物の機器用の通信プロトコルは、例えば、ＢＡＣｎｅｔ（Building Automation and Control Network）である。

第２通信部２２は、画像センサ４０との間でデータを通信する。画像センサ４０から送信されるデータは、画像センサ４０による撮像結果を表す画像である。画像センサ４０による撮像結果を表す画像の形式は、静止画又は動画である。第２通信部２２の通信プロトコルは、一例として、ＥｔｈｅｒＣＡＴ（登録商標）などの通信プロトコルである。

第３通信部２３は、保守端末５０との間でデータを通信する。保守端末５０から送信されるデータは、保守端末５０の処理結果を表すデータである。第３通信部２３の通信プロトコルは、一例として、２．４ＧＨｚ帯の無線通信プロトコルである。

第４通信部２４は、温湿度センサ６０との間でデータを通信する。温湿度センサ６０から送信されるデータは、温湿度センサ６０によるセンシングの結果を表す湿度及び温度データである。第４通信部２４の通信プロトコルは、一例として、９２０ＭＨｚ帯の無線通信プロトコルである。なお、９２０ＭＨｚ帯の無線信号は、他の帯域の無線通信と比較して、回折によって障害物の裏側に回りこみやすい。

第５通信部２５は、照明機器７０との間でデータを通信する。第５通信部２５は、調光率を表す指示値を照明機器７０に送信する。調光率を表す指示値は、例えば、百分率で表現される。第５通信部２５の通信プロトコルは、一例として、照明機器用の通信プロトコルである。照明機器用の通信プロトコルは、例えば、照明器具個別制御システム（Ｔ／Ｆｌｅｃｓ）の通信プロトコルである。

ＢＥＭＳ３０は、サーバ装置等の情報機器である。ＢＥＭＳ３０は、建物における機器を制御することによって、建物におけるエネルギーを管理する。ＢＥＭＳ３０は、通信システム１ａの外部に備えられてもよい。

画像センサ４０は、光学系を備える。光学系は、例えば、魚眼レンズである。画像センサ４０は、例えば、室内を撮像する。画像センサ４０は、一定の時間間隔で室内を撮像してもよい。画像センサ４０は、画像を第２通信部２２に送信する。画像センサ４０による撮像結果を表す画像の形式は、静止画又は動画である。

保守端末５０は、パーソナルコンピュータ装置、タブレット端末等の情報機器である。保守端末５０は、第３通信部２３を介して機器からデータを取得することによって、建物に設置された機器を保守する。温湿度センサ６０は、温湿度センサ６０が設置された場所における湿度及び温度を測定する。温湿度センサ６０は、湿度及び温度を表す情報を、第４通信部２４に送信する。

照明機器７０は、調光率を表す指示値に基づいて、室内に可視光を照射する。例えば、照明機器７０は、調光率が１０％である場合、調光率が１０％よりも高い場合と比較して暗く発光する。照明機器７０は、例えば、ＬＥＤ（light emitting diode）照明機器である。照明機器７０は、調光率を表すデータを第５通信部２５に送信する。

以上のように、第１の実施形態の機器制御装置２ａ（センサ）は、撮像部１１と、画像認識部１２と、１以上の通信部を持つ。撮像部１１は、室内を撮像した結果を表す画像を生成する。画像認識部１２は、画像における画像特徴量に基づいて画像における物体を認識する。通信部は、所定周期で又は物体を認識した結果に基づいて、１以上の通信プロトコルを使用して、ＢＥＭＳ３０、画像センサ４０、保守端末５０、温湿度センサ６０及び照明機器７０などの１以上の機器と通信する。これによって、第１の実施形態の機器制御装置２ａは、通信プロトコルが異なる複数の機器と通信することができる。所定周期は、特定の時間長の周期に限定されず、例えば、１秒周期である。

通信システム１ａの管理者は、建物に設置する機器の通信プロトコルに応じて、拡張構成部２０ａ（拡張ボード）を差し替えることができる。通信システム１ａの管理者は、機器の通信プロトコルごとに機器制御装置２ａを建物に設置しなくてもよい。

（第２の実施形態）
第２の実施形態では、機器制御装置が機器制御部を備える点が、第１の実施形態と相違する。第２の実施形態では、第１の実施形態との相違点についてのみ説明する。

図２は、通信システム１ｂの構成の例を示す図である。通信システム１ｂは、機器制御装置２ｂと、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０と、セキュリティシステム８０とを備える。

機器制御装置２ｂは、基本構成部１０ｂと、拡張構成部２０ｂとを備える。基本構成部１０ｂは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｂは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｂは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。拡張構成部２０ｂは、機器制御部２６を更に備える。

第１通信部２１は、セキュリティシステム８０との間でデータを通信する。セキュリティシステム８０は、サーバ装置等の情報処理装置である。セキュリティシステム８０は、ＢＥＭＳ３０でもよい。すなわち、ＢＥＭＳ３０は、セキュリティシステム８０を備えていてもよい。セキュリティシステム８０は、セキュリティシステム８０の動作モードが警戒モードであるか否かを表す情報を、第１通信部２１を介して機器制御部２６に送信する。第５通信部２５は、照明機器７０から送信されたデータを取得する。照明機器７０から送信されたデータは、例えば、調光率を表すデータである。

機器制御部２６は、画像における物体を画像認識部１２が認識した結果に基づいて、拡張構成部２０ａが実行する通信の通信プロトコルを選択する。機器制御部２６は、選択した通信プロトコルに対応付けられた通信部を介して機器を制御する。

機器制御部２６は、複数の機器を個別に制御する。機器制御部２６は、複数の機器を並列に制御してもよい。例えば、機器制御部２６は、複数の機器を同時に制御してもよい。機器制御部２６は、画像認識部１２から取得したセンシング情報に基づいて、機器を制御するための制御信号を生成する。画像認識部１２から取得したセンシング情報は、例えば、人が在室しているか否かを表す情報である。機器制御部２６は、通信部から取得した情報に基づいて、機器を制御するための制御信号を生成してもよい。通信部から取得した情報は、例えば、セキュリティシステム８０の動作モードが警戒モードであるか否かを表す情報である。通信部から取得した情報は、例えば、照明機器７０の調光率を表す情報である。

機器制御部２６は、複数の照明機器７０が設置されている場合、グラデーション制御を実行してもよい。グラデーション制御とは、照明機器７０ごとに異なる発光量で複数の照明機器７０を発光させるための制御である。機器制御部２６は、調光率を表す指示値を、第５通信部２５を介して照明機器７０に送信する。

機器制御部２６は、人が不在であることを撮像部１１のセンシング情報（在不在情報）が示しており、人が在室していることを画像センサ４０のデータが示している場合、例えば、照明機器７０の調光率を１０％（暗く点灯）にしてもよい。

機器制御部２６は、人が不在であることを撮像部１１のセンシング情報が示している場合でも、セキュリティシステム８０の動作モードが警戒モードである場合には、例えば、照明機器７０の調光率を０％（消灯）にしてもよい。機器制御部２６は、建物における消費電力量に応じて、照明機器７０の調光率を表す指示値を変更してもよい。

以上のように、第２の実施形態の機器制御部２６は、物体を認識した結果及び機器と通信した結果の少なくとも一方に基づいて、機器を制御するための情報を生成する。これによって、第２の実施形態の機器制御装置２ｂは、通信プロトコルが異なる複数の機器を制御することができる。

（第３の実施形態）
第３の実施形態では、通信部の通信プロトコルが産業用の通信プロトコルである点が、第２の実施形態と相違する。第３の実施形態では、第２の実施形態との相違点についてのみ説明する。

図３は、産業用の通信プロトコルを用いた通信システム１ｂの構成の例を示す図である。産業用の通信プロトコルとは、例えば、スキャン伝送方式、オンザフライ方式など用いた通信プロトコルである。産業用の通信プロトコルは、例えば、ＴＣｎｅｔ、ＥｔｈｅｒＣＡＴ（登録商標）、ＭＯＤＢＵＳ（登録商標）である。機器制御装置２ｂは、建物の機器用（ＢＥＭＳ用）の通信プロトコルを用いて、機器と通信してもよい。建物の機器用の通信プロトコルとは、例えば、ＢＡＣｎｅｔ、ＬＯＮＷＯＲＫＳ（登録商標）である。機器制御装置２ｂは、照明用の通信プロトコルを用いて、機器と通信してもよい。照明用の通信プロトコルとは、例えば、Ｔ／Ｆｌｅｃｓ、ＭＥＳＬ（登録商標）、ＤＡＬＩ（登録商標）である。

機器制御装置２ｂの機器制御部２６は、産業用の通信プロトコルを使用して、機器との通信における接続制御を実行する。接続制御とは、通信の接続及び切断に関する制御である。機器制御装置２ｂの機器制御部２６は、産業用の通信プロトコルを使用して、機器との通信における冗長制御を実行してもよい。冗長制御は、例えば、通信回線の多重化、データの冗長化などの制御である。

画像センサ４０−１〜４０−４などの機器は、機器の増設又は撤去に応じて、機器のネットワークの接続形態を自律的に更新してもよい。機器のネットワークの接続形態（トポロジ）は、例えば、リング型である。リング型ネットワークにおける複数の機器は、回線の冗長性を有するので、特定の箇所で通信障害が発生しても通信を継続することができる。

図３では、機器制御装置２ｂの第１通信部２１は、ＢＡＣｎｅｔの通信プロトコルに基づいて、ＢＥＭＳ３０と通信する。機器制御装置２ｂの第２通信部２２は、ＥｔｈｅｒＣＡＴ（登録商標）の通信プロトコルに基づいて、画像センサ４０と通信する。画像センサ４０同士は、ＥｔｈｅｒＣＡＴ（登録商標）の通信プロトコルに基づいて通信する。照明機器７０は、Ｔ／Ｆｌｅｃｓの通信プロトコルに基づいて、画像センサ４０と通信する。

以上のように、第３の実施形態の通信部は、産業用の通信プロトコルに基づいて通信を実行する。機器制御部は、機器との通信における接続制御及び冗長制御の少なくとも一方を実行する。これによって、第３の実施形態の機器制御装置２ｂは、産業用の通信プロトコルが異なる複数の機器と通信することができる。

（第４の実施形態）
第４の実施形態では、機器のネットワークの接続形態がフルメッシュ型である点が、第２の実施形態と相違する。第４の実施形態では、第２の実施形態との相違点についてのみ説明する。

図４は、フルメッシュ型無線ネットワークを用いた通信システム１ｂの構成の例を示す図である。フルメッシュ型無線ネットワークにおける通信プロトコルは、例えば、Ｗｉ−Ｆｉ（２．４ＧＨｚ帯、５ＧＨｚ帯）、ＺｉｇＢｅｅ（登録商標）などの通信プロトコルである。なお、フルメッシュ型無線ネットワークにおける通信プロトコルは、将来において規格化される無線ネットワークの通信プロトコルや、独自の通信プロトコルでもよい。

図４では、機器制御装置２ｂの第１通信部２１は、ＢＡＣｎｅｔの通信プロトコルに基づいて、ＢＥＭＳ３０と通信する。機器制御装置２ｂの第２通信部２２は、汎用のＥｔｈｅｒｎｅｔ（登録商標）の通信プロトコルに基づいて、画像センサ４０と通信する。画像センサ４０同士は、建物の機器用（ＢＥＭＳ用）などの通信プロトコルに基づいて通信する。照明機器７０は、Ｔ／Ｆｌｅｃｓの無線通信プロトコルに基づいて、画像センサ４０と通信する。

以上のように、第４の実施形態の通信部は、フルメッシュ型無線ネットワークにおける機器と通信する。機器制御部２６は、機器との通信における接続制御及び冗長制御の少なくとも一方を実行する。これによって、第４の実施形態の機器制御装置２ｂは、フルメッシュ型無線ネットワークにおける、通信プロトコルが異なる複数の機器を制御することができる。

（第５の実施形態）
第５の実施形態では、機器制御装置が無線ネットワークの親機である点が、第２の実施形態と相違する。第５の実施形態では、第２の実施形態との相違点についてのみ説明する。

図５は、無線ネットワークの親機として通信する機器制御装置２ｂの通信システム１ｂの構成の例を示す図である。無線ネットワークの親機とは、例えば、無線ＬＡＮのアクセスポイント、無線センサネットワークのコーディネータである。

図５では、機器制御装置２ｂの第１通信部２１は、ＢＡＣｎｅｔの通信プロトコルに基づいて、ＢＥＭＳ３０と通信する。機器制御装置２ｂの第２通信部２２は、ＥｔｈｅｒＣＡＴ（登録商標）の通信プロトコルに基づいて、画像センサ４０と通信する。画像センサ４０同士は、建物の機器用（ＢＥＭＳ用）などの通信プロトコルに基づいて通信する。保守端末５０は、建物の機器用の通信プロトコルに基づいて、画像センサ４０と通信する。温湿度センサ６０は、センサネットワーク用の通信プロトコルに基づいて、画像センサ４０と通信する。センサネットワーク用の通信プロトコルは、例えば、９２０ＭＨｚ帯の無線通信プロトコルである。

以上のように、第５の実施形態の通信部は、機器を含む無線ネットワークの親機として機器と無線通信する。これによって、第５の実施形態の機器制御装置２ｂは、無線ネットワークの親機として、通信プロトコルが異なる複数の機器と通信することができる。

（第６の実施形態）
第６の実施形態では、通信制御部が通信プロトコルを使い分ける点が、第２の実施形態と相違する。第６の実施形態では、第２の実施形態との相違点についてのみ説明する。

図６は、通信システム１ｃの構成の例を示す図である。通信システム１ｃは、機器制御装置２ｃと、ＢＥＭＳ３０とを備える。機器制御装置２ｃは、基本構成部１０ｃと、拡張構成部２０ｃとを備える。

基本構成部１０ｃは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｃは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｃは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。拡張構成部２０ｃは、機器制御部２６と、通信制御部２７ｃとを更に備える。なお、基本構成部１０ｃは、機器制御部２６と、通信制御部２７ｃとを備えてもよい。

通信制御部２７ｃは、通信先の機器に応じて通信部を選択する。通信制御部２７ｃは、複数の通信部をしてもよい。すなわち、通信制御部２７ｃは、通信の調停処理を実行する。通信の調停処理とは、例えば、並列に通信を実行する複数の通信部を選択する処理である。通信制御部２７ｃは、個別又は並列に通信部を選択する。

通信制御部２７ｃは、通信される情報に割り当てられた通信優先度に応じて、通信部を選択してもよい。通信優先度が高い通信の情報は、例えば、リアルタイム性の要求が高い情報である。リアルタイム性の要求が高い情報とは、例えば、人が在室しているか否かを表す情報、照明機器の調光率（明るさ）を表す情報である。

通信制御部２７ｃは、通信優先度が高い通信に対して、例えば、有線の通信プロトコルの通信部を選択する。通信制御部２７ｃは、通信優先度が低い通信に対して、例えば、無線の通信プロトコルの通信部を選択する。図６では、通信制御部２７ｃは、通信優先度が高い通信をＢＥＭＳ３０との間で実行するために第１通信部２１を選択する。第１通信部２１は、ＢＡＣｎｅｔの有線の通信プロトコルを使用して、ＢＥＭＳ３０との間でデータを通信する。図６では、通信制御部２７ｃは、通信優先度が低い通信をＢＥＭＳ３０との間で実行するために第３通信部２３を選択する。第３通信部２３は、２．４ＧＨｚ帯の無線通信の通信プロトコルを使用して、ＢＥＭＳ３０との間でデータを通信する。

以上のように、第６の実施形態の通信制御部２７ｃは、機器の通信に割り当てられた通信優先度に基づいて、機器との通信における接続処理及び調停処理の少なくとも一方を実行する。これによって、第６の実施形態の機器制御装置２ｄは、通信優先度に応じて、通信プロトコルが異なる複数の機器と通信することができる。

（第７の実施形態）
第７の実施形態では、通信制御部がゲートウェイ機能を有する点が、第６の実施形態と相違する。第７の実施形態では、第６の実施形態との相違点についてのみ説明する。

図７は、通信システム１ｄの構成の例を示す図である。通信システム１ｄは、機器制御装置２ｄと、ＢＥＭＳ３０と、温湿度センサ６０−１〜６０−３とを備える。機器制御装置２ｄは、基本構成部１０ｄと、拡張構成部２０ｄとを備える。

基本構成部１０ｄは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｄは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｃは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。拡張構成部２０ｄは、機器制御部２６と、通信制御部２７ｃとを更に備える。

第１通信部２１は、ＢＡＣｎｅｔの通信プロトコルに基づいて、ＢＥＭＳ３０と通信する。図７では、通信制御部２７ｃ（コーディネータ）は、第４通信部２４を介して、温湿度センサ６０を含む無線センサネットワークにおける通信の接続処理及び調停処理を実行する。

通信制御部２７ｃは、ゲートウェイとしての機能を更に有する。すなわち、通信制御部２７ｃは、通信プロトコルが異なる複数の機器の通信における信号に対して、通信プロトコル変換を実行する。図７では、通信制御部２７ｃは、第４通信部２４の通信における信号を、ＢＡＣｎｅｔの通信プロトコルの信号に変換する。通信制御部２７ｃは、通信プロトコル変換後の第４通信部２４の信号を、第１通信部２１を介してＢＥＭＳ３０に送信する。なお、通信制御部２７ｃは、ルータ又はハブとしての機能を更に有してもよい。

以上のように、第７の実施形態の通信制御部２７ｃは、機器との通信における接続処理及び調停処理の少なくとも一方を実行する。これによって、第７の実施形態の機器制御装置２ｄは、基本構成部１０ｄの画像認識部１２を介さずに、通信プロトコルが異なる複数の機器と通信することができる。

（第８の実施形態）
第８の実施形態では、通信状態に余裕がない場合に通信制御部が通信優先度に応じて通信制御を実行する点が、第７の実施形態と相違する。第８の実施形態では、第７の実施形態との相違点についてのみ説明する。

通信制御部２７ｄは、機器制御装置２ｄ及び機器の間の通信状態に余裕がない場合、通信優先度に応じた通信制御を実行する。通信状態とは、例えば、通信帯域、伝送速度である。通信優先度に応じた通信制御とは、例えば、通信経路の変更、パケット構造の変更である。パケット構造の変更とは、１台の機器によるセンシング情報、１台の機器による動画、１台の機器によるセンシング情報＋動画、複数台の機器によるセンシング情報、複数台の機器による動画、複数の機器によるセンシング情報＋動画、又は、複数の機器の台数などを表すデータを、パケットごとに切り替えることである。

動画を伝送している場合、通信優先度に応じた通信制御とは、例えば、解像度の変更、フレームレートの変更、圧縮率の変更である。機器制御装置２ｄがアクセスポイントである場合、通信優先度に応じた通信制御とは、例えば、産業用の通信プロトコルを使用して並列通信（同時通信）する先の機器の台数の変更である。複数の通信部が同一の上位機器と通信する場合、通信優先度に応じた通信制御とは、並列通信と個別通信とを通信優先度に応じて変更する制御である。

通信制御部２７ｄは、指標に基づいて通信優先度を決定する。指標とは、例えば、センシング情報の優先度、リアルタイム性の要求度である。画像における人が在室しているか否かを表す情報は、画像における人の活動量を表す情報よりも通信優先度が高い。画像における人の活動量を表す情報は、画像における人の数を表す情報よりも通信優先度が高い。

指標とは、例えば、通信先の機器に割り当てられた優先度でもよい。セキュリティシステム８０に割り当てられた優先度は、照明機器７０を含む照明制御システムに割り当てられた優先度よりも高い。照明機器７０に割り当てられた優先度は、ＢＥＭＳ３０に割り当てられた優先度よりも高い。ＢＥＭＳ３０に割り当てられた優先度は、空調制御システムに割り当てられた優先度よりも高い。

指標とは、例えば、通信に必要とされる時間の長さでもよい。通信制御部２７ｄ（コーディネータ）は、閾値以上の時間が通信に必要とされる場合、調停処理の一つとして通信スループットを減らしてもよい。通信制御部２７ｄは、閾値よりも長い時間が通信に必要とされる場合には、調停処理の一つとして通信の経路を変更してもよい。通信制御部２７ｄは、信号の送信周期を長くしてもよい。通信制御部２７ｄは、静止画を通信する場合、調停処理の一つとして静止画の圧縮率を上げてもよい。通信制御部２７ｄは、動画を通信する場合、調停処理の一つとして動画の圧縮率を上げてもよい。通信制御部２７ｄは、動画を通信する場合、調停処理の一つとして動画のフレームレートを下げてもよい。

通信制御部２７ｄは、トリガーに応じたタイミングで通信制御を変更してもよい。トリガーは、スループットや遅れ時間などの通信負荷、機器の制御に必要とされる時間の長さである。機器の制御に必要とされる時間の長さは、機器制御装置２ｄや上位装置に収集された制御ログに基づいて決定される。

機器制御部２６は、画像センサ４０の画像認識の結果に基づいて機器制御が実行されたか否かを判定する。機器制御部２６は、センシング情報の送信から機器制御までの時間を測定することによって、機器の制御に必要とされる時間の長さを決定してもよい。機器の制御に必要とされる時間の長さは、例えば、在不在情報が不在から在に変化した時刻から、照明制御が実行されたことによって室内の画像の輝度が変化した時刻までの経過時間である。機器制御部２６は、室内の画像のエッジ分布に変化がない場合に室内の輝度が変化した場合、照明制御が実行されたことによって室内の画像の輝度が変化したと判定してもよい。

以上のように、第８の実施形態の通信制御部２７ｄは、機器制御装置２ｄ及び機器の間の通信状態に余裕がない場合、通信優先度に応じた通信制御を実行する。これによって、第８の実施形態の機器制御装置２ｄは、通信状態に余裕がない場合でも、通信優先度に応じて通信制御を実行することができる。

（第９の実施形態）
第９の実施形態では、拡張構成部が認識補助部を備える点が、第７の実施形態と相違する。第９の実施形態では、第７の実施形態との相違点についてのみ説明する。

図８は、通信システム１ｅの構成の例を示す図である。通信システム１ｅは、機器制御装置２ｅと、ＢＥＭＳ３０と、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０とを備える。機器制御装置２ｅは、基本構成部１０ｅと、拡張構成部２０ｅとを備える。

基本構成部１０ｅは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｅは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｅは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。

拡張構成部２０ｅは、機器制御部２６と、通信制御部２７ｃと、認識補助部２８とを更に備える。認識補助部２８は、近赤光ライト２８１と、センサ処理部２８４と、赤外線センサ２８２と、ドップラセンサ２８３と、ステレオ撮像部２８５とを更に備える。認識補助部２８は、ミリ波センサ又はレーザーセンサなどの測距機器を更に備えてもよい。

撮像部１１の光学系は、近赤外光を透過させるフィルタを備える。これによって、撮像部１１は、近赤外光によって画像を撮像することができる。画像センサ４０の光学系は、近赤外光を透過させるフィルタを備える。これによって、画像センサ４０は、近赤外光近赤外光によって画像を撮像することができる。画像センサ４０の光学系は、望遠レンズでもよい。

近赤光ライト２８１は、近赤外光を室内に照射する。室内に照射された近赤外光は、撮像部１１及び画像センサ４０に入射する。近赤光ライト２８１は、認識補助部２８による制御に応じて、近赤外光を室内に照射してもよい。

赤外線センサ２８２は、赤外線が遮断された場合、赤外線が遮断されたことを表す信号を、センサ処理部２８４に送信する。赤外線センサ２８２から照射された赤外線は、人が赤外線センサ２８２の近傍を通過した場合に遮断される。

ドップラセンサ２８３は、マイクロ波を室内に照射する。ドップラセンサ２８３は、照射したマイクロ波の周波数と入射したマイクロ波の周波数との差を表す信号を、センサ処理部２８４に送信する。

センサ処理部２８４は、赤外線が遮断されたことを表す信号を、赤外線センサ２８２から取得する。センサ処理部２８４は、赤外線が遮断されたことを表す信号を、認識補助部２８に送信する。センサ処理部２８４は、ドップラセンサ２８３が照射したマイクロ波の周波数とドップラセンサ２８３に入射したマイクロ波の周波数との差を表す信号を、ドップラセンサ２８３から取得する。センサ処理部２８４は、ドップラセンサ２８３が照射したマイクロ波の周波数とドップラセンサ２８３に入射したマイクロ波の周波数との差を表す信号を、認識補助部２８に送信する。なお、センサ処理部２８４は、認識補助部２８がミリ波センサ及びレーザーセンサを備える場合、検出結果を表す信号をミリ波センサ及びレーザーセンサから取得してもよい。

ステレオ撮像部２８５は、室内のステレオ画像を生成する。ステレオ撮像部２８５は、室内のステレオ画像を認識補助部２８に送信する。ステレオ撮像部２８５の光学系は、近赤外光を透過させるフィルタを備える。これによって、ステレオ撮像部２８５は、近赤外光を検出することができる。

認識補助部２８は、画像における物体を認識するための補助情報を生成する。認識補助部２８は、赤外線が遮断されたことを表す信号を取得した場合、人が在室していると判定する。認識補助部２８は、ドップラセンサ２８３が照射したマイクロ波の周波数とドップラセンサ２８３に入射したマイクロ波の周波数との差が閾値以上である場合、人が在室していると判定する。認識補助部２８は、室内のステレオ画像に基づいて、人が在室しているか否かを判定する。認識補助部２８は、判定結果を表す補助情報を画像認識部１２に送信する。認識補助部２８は、判定結果を表す補助情報を機器制御部２６に送信してもよい。

以上のように、第９の実施形態の認識補助部２８は、画像における物体を認識するための補助情報を生成する。これによって、第９の実施形態の機器制御装置２ｅは、室内の照明が暗い場合でも、人が在室しているか否かを判定することができる。

（第１０の実施形態）
第１０の実施形態では、基本構成部が赤外線センサ及びセンサ処理部を備える点が、第７の実施形態と相違する。第１０の実施形態では、第７の実施形態との相違点についてのみ説明する。

図９は、通信システム１ｆの構成の例を示す図である。通信システム１ｆは、機器制御装置２ｆと、ＢＥＭＳ３０と、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０とを備える。機器制御装置２ｆは、基本構成部１０ｆと、拡張構成部２０ｆとを備える。

基本構成部１０ｆは、赤外線センサ２８２と、センサ処理部２８４とを備える。赤外線センサ２８２は、撮像部１１と交換可能である。センサ処理部２８４は、画像認識部１２と交換可能である。拡張構成部２０ｆは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。拡張構成部２０ｆは、機器制御部２６と、通信制御部２７ｆとを更に備える。拡張構成部２０ｆは、機器制御部２６及び通信制御部２７ｆを備える代わりに、ドップラセンサ２８３及びセンサ処理部２８４を備えてもよい。

以上のように、第１０の実施形態の機器制御装置２ｆは、センサと、センサ処理部と、通信制御部と、複数の通信部とを持つ。赤外線センサ２８２などのセンサは、室内をセンシングする。センサ処理部は、室内をセンシングした結果を表すセンシング情報を生成する。通信制御部は、センシング情報に基づいて機器との通信における接続処理及び調停処理の少なくとも一方を実行する。通信部は、接続処理及び調停処理に応じて通信プロトコルを使用して機器と通信する。これによって、第１０の実施形態の機器制御装置２ｆは、通信プロトコルが異なる複数の機器と通信することができる。

（第１１の実施形態）
第１１の実施形態では、拡張構成部がビル設備部を備える点が、第９の実施形態と相違する。第１１の実施形態では、第９の実施形態との相違点についてのみ説明する。

図１０は、通信システム１ｇの構成の例を示す図である。通信システム１ｇは、機器制御装置２ｇと、ＢＥＭＳ３０と、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０とを備える。機器制御装置２ｇは、基本構成部１０ｇと、拡張構成部２０ｇとを備える。

基本構成部１０ｇは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｇは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｇは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。

拡張構成部２０ｅは、機器制御部２６と、通信制御部２７ｃと、ビル設備部２９とを更に備える。ビル設備部２９は、天井に設置される設備を制御する。天井に設置される設備は、例えば、スピーカ２９１、常夜灯２９２、火災報知器２９３である。スピーカ２９１は、ビル設備部２９による制御に応じて音声を出力する。常夜灯２９２は、ビル設備部２９による制御に応じて点灯又は消灯する。火災報知器２９３は、ビル設備部２９による制御に応じて警報音を出力する。

ビル設備部２９は、機器制御部２６による制御に応じて、音声データに応じた電流をスピーカ２９１に与える。ビル設備部２９は、機器制御部２６による制御に応じて、電流を常夜灯２９２に与える。ビル設備部２９は、機器制御部２６による制御に応じて、オン又はオフを表す信号を火災報知器２９３に送信する。

以上のように、第１１の実施形態のビル設備部２９は、ビルに設置された機器を制御する。ビルに設置された機器とは、例えば、天井に設置される機器としてのスピーカ２９１、常夜灯２９２、火災報知器２９３である。これによって、第１１の実施形態の機器制御装置２ｆは、通信プロトコルが異なる複数の機器と通信することができる。

（第１２の実施形態）
第１２の実施形態では、通信制御部が機器制御部の機能を有する点が、第７の実施形態と相違する。第１２の実施形態では、第７の実施形態との相違点についてのみ説明する。

図１１は、通信システム１ｈの構成の例を示す図である。通信システム１ｈは、機器制御装置２ｈと、ＢＥＭＳ３０と、画像センサ４０と、保守端末５０と、温湿度センサ６０と、照明機器７０とを備える。機器制御装置２ｈは、基本構成部１０ｈと、拡張構成部２０ｈとを備える。

基本構成部１０ｈは、撮像部１１と、画像認識部１２を備える。基本構成部１０ｈは、辞書部１２１と、学習部１２２と、画像記憶部１２３とを更に備えてもよい。拡張構成部２０ｈは、第１通信部２１と、第２通信部２２と、第３通信部２３と、第４通信部２４と、第５通信部２５とを備える。拡張構成部２０ｈは、通信制御部２７ｈを更に備える。

通信制御部２７ｈは、通信の調停処理を実行する。通信制御部２７ｈは、通信先の機器に応じて通信部を選択する。図１１では、通信制御部２７ｈは、機器制御部２６の機能を更に備える。すなわち、通信制御部２７ｈは、機器を制御する。通信制御部２７ｈは、複数の機器を並列に制御する。通信制御部２７ｈは、複数の機器を個別に制御してもよい。通信制御部２７ｈは、画像認識部１２から取得したセンシング情報に基づいて、機器を制御するための制御信号を生成する。画像認識部１２から取得したセンシング情報は、例えば、人が在室しているか否かを表す情報である。通信制御部２７ｈは、通信部から取得した情報に基づいて、機器を制御するための制御信号を生成してもよい。通信部から取得した情報は、例えば、動作モードが警戒モードであるか否かを表す情報である。通信部から取得した情報は、例えば、調光率を表す情報である。

通信制御部２７ｈは、複数の照明機器７０が設置されている場合、グラデーション制御を実行してもよい。通信制御部２７ｈは、調光率を表す指示値を、第５通信部２５を介して照明機器７０に送信する。通信制御部２７ｈは、人が不在であることを撮像部１１のセンシング情報（在不在情報）が示しており、人が在室していることを画像センサ４０のデータが示している場合、例えば、照明機器７０の調光率を１０％（暗く点灯）にしてもよい。

通信制御部２７ｈは、人が不在であることを撮像部１１のセンシング情報が示している場合でも、セキュリティシステム８０の動作モードが警戒モードである場合には、例えば、照明機器７０の調光率を０％（消灯）にしてもよい。通信制御部２７ｈは、建物における消費電力量に応じて、照明機器７０の調光率を表す指示値を変更してもよい。

以上のように、第１２の実施形態の機器制御装置２ｈ（センサ）は、撮像部１１と、画像認識部１２と、複数の通信部と、通信制御部２７ｈとを持つ。撮像部１１は、室内を撮像した結果を表す画像を生成する。画像認識部１２は、画像における画像特徴量に基づいて画像における物体を認識する。通信部は、物体を認識した結果に基づいて通信プロトコルを使用して機器と通信する。通信制御部２７ｈは、機器との通信における接続処理及び調停処理の少なくとも一方を実行する。これによって、第１２の実施形態の通信制御部２７ｈは、通信プロトコルが異なる複数の機器と通信することができる。

以上述べた少なくともひとつの実施形態によれば、物体を認識した結果に基づいて複数の通信プロトコルを使用して複数の機器と通信する複数の通信部を持つことにより、通信プロトコルが異なる複数の機器と通信することができる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ａ〜１ｈ…通信システム、２ａ〜２ｈ…機器制御装置、１０ａ〜１０ｈ…基本構成部、１１…撮像部、１２…画像認識部、２０ａ〜２０ｈ…拡張構成部、２１…第１通信部、２２…第２通信部、２３…第３通信部、２４…第４通信部、２５…第５通信部、２６…機器制御部、２７ｃ〜２７ｈ…通信制御部、２８…認識補助部、３０…ＢＥＭＳ、４０…画像センサ、５０…保守端末、６０…温湿度センサ、７０…照明機器、８０…セキュリティシステム、１２１…辞書部、１２２…学習部、１２３…画像記憶部、２８１…近赤光ライト、２８２…赤外線センサ、２８３…ドップラセンサ、２８４…センサ処理部、２８５…ステレオ撮像部、２９１…スピーカ、２９２…常夜灯、２９３…火災報知器

Claims (14)

1. 室内を撮像した結果を表す画像を生成する撮像部と、
   前記画像における画像特徴量に基づいて前記画像における物体を認識する画像認識部と、
   所定周期で又は前記物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信する複数の通信部と
   を備えるセンサ。
2. 前記物体を認識した結果及び前記機器と通信した結果の少なくとも一方に基づいて、前記機器を制御するための情報を生成する機器制御部
   を更に備える、請求項１に記載のセンサ。
3. 前記通信部は、産業用の通信プロトコルに基づいて通信を実行し、
   前記機器制御部は、前記機器との通信における接続制御及び冗長制御の少なくとも一方を実行する、請求項２に記載のセンサ。
4. 前記通信部は、フルメッシュ型無線ネットワークにおける前記機器と通信し、
   前記機器制御部は、前記機器との通信における接続制御及び冗長制御の少なくとも一方を実行する、請求項２に記載のセンサ。
5. 前記通信部は、前記機器を含む無線ネットワークの親機として前記機器と無線通信する、請求項１に記載のセンサ。
6. 前記機器との通信における接続処理及び調停処理の少なくとも一方を実行する通信制御部
   を更に備える、請求項１から請求項５のいずれか一項に記載のセンサ。
7. 前記通信制御部は、前記機器の通信に割り当てられた通信優先度に基づいて、前記機器との通信における接続処理及び調停処理の少なくとも一方を実行する、請求項６に記載のセンサ。
8. 前記画像における物体を認識するための補助情報を生成する認識補助部
   を更に備える、請求項１から請求項７のいずれか一項に記載のセンサ。
9. 室内をセンシングするセンサと、
   前記室内をセンシングした結果を表すセンシング情報を生成するセンサ処理部と、
   前記センシング情報に基づいて機器との通信における接続処理及び調停処理の少なくとも一方を実行する通信制御部と、
   前記接続処理及び前記調停処理に応じて複数の通信プロトコルを使用して複数の機器と通信する複数の通信部と
   を備えるセンサ。
10. ビルに設置された前記機器を制御するビル設備部
    を更に備える、請求項１から請求項９のいずれか一項に記載のセンサ。
11. センサが実行する通信方法であって、
    室内を撮像した結果を表す画像を生成するステップと、
    前記画像における画像特徴量に基づいて前記画像における物体を認識するステップと、
    所定周期で又は前記物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信するステップと
    を含む通信方法。
12. センサが実行する通信方法であって、
    室内を撮像した結果を表す画像を生成するステップと、
    前記画像における画像特徴量に基づいて前記画像における物体を認識するステップと、
    所定周期で又は前記物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信するステップと、
    前記機器との通信における接続処理及び調停処理の少なくとも一方を実行するステップと
    を含む通信方法。
13. センサのコンピュータに、
    室内を撮像した結果を表す画像を生成する手順と、
    前記画像における画像特徴量に基づいて前記画像における物体を認識する手順と、
    所定周期で又は前記物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信する手順と
    を実行させるための通信プログラム。
14. センサのコンピュータに、
    室内を撮像した結果を表す画像を生成する手順と、
    前記画像における画像特徴量に基づいて前記画像における物体を認識する手順と、
    所定周期で又は前記物体を認識した結果に基づいて、複数の通信プロトコルを使用して複数の機器と通信する手順と、
    前記機器との通信における接続処理及び調停処理の少なくとも一方を実行する手順と
    を実行させるための通信プログラム。

Images