JP2014190724A - Space state determination device - Google Patents

Space state determination device Download PDF

Info

Publication number
JP2014190724A
JP2014190724A JP2013063943A JP2013063943A JP2014190724A JP 2014190724 A JP2014190724 A JP 2014190724A JP 2013063943 A JP2013063943 A JP 2013063943A JP 2013063943 A JP2013063943 A JP 2013063943A JP 2014190724 A JP2014190724 A JP 2014190724A
Authority
JP
Japan
Prior art keywords
state
space
state determination
time
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013063943A
Other languages
Japanese (ja)
Other versions
JP6076167B2 (en
Inventor
Toshiki Endo
俊樹 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013063943A priority Critical patent/JP6076167B2/en
Publication of JP2014190724A publication Critical patent/JP2014190724A/en
Application granted granted Critical
Publication of JP6076167B2 publication Critical patent/JP6076167B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a space state determination device for finally determining the state of a space on the basis of whether the time sequence of the space state or the environment of the space is contradictory to the typical state transition of the space.SOLUTION: A space state estimation part 12 has an SVM 12a as a learning model, and estimates the state of a space on the basis of a received wave. An environment sensor part 13 includes an environment sensor such as a temperature sensor 13a, a humidity sensor 13b and a CO2 sensor 13c. A behavior information collection part 14 acquires behavior information preliminarily registered on a cloud by a user, which is a managed schedule and the on/off state of a home electric appliance such as a television or a lighting apparatus. The estimation result of the space state, the environment sensor output and the behavior information are provided via a network NW to a state determination part 22. The state determination part 22 finally determines the state of the space on a time (state determination time) when the state determination is requested on the basis of the estimation result of the space state, the environment sensor output and the behavior information.

Description

本発明は、電波センサおよび環境センサを利用して空間の状態を判定する空間状態判定装置に係り、特に、離散的に観測される空間状態の時系列に基づいて当該空間の真の状態を判定する空間状態判定装置に関する。   The present invention relates to a spatial state determination apparatus that determines a state of a space using a radio wave sensor and an environment sensor, and in particular, determines the true state of the space based on a time series of spatial states observed discretely. The present invention relates to a spatial state determination device.

人の侵入、移動あるいはドアの開閉といったイベント(動作状態)を、赤外線ビームセンサやマイクロ波を用いて検知するイベント検出装置が知られている。特許文献1には、アレイアンテナを備えた受信機の複数チャネルにおいて受信された無線信号から電波の到来方向情報を抽出し、部屋の中での行動検出を行う技術が開示されている。   There is known an event detection device that detects an event (operation state) such as an intrusion, movement, or opening / closing of a door using an infrared beam sensor or a microwave. Japanese Patent Application Laid-Open No. 2004-133867 discloses a technique for detecting the direction of arrival of radio waves from radio signals received in a plurality of channels of a receiver having an array antenna and detecting behavior in a room.

非特許文献1には、受信感度が一番大きい到来波の情報として、複数チャネルの受信信号の相関行列から求めた第一固有ベクトルをSVM(サポートベクトルマシン)に適用することにより、部屋の中の行動を検出する技術が開示されている。   In Non-Patent Document 1, as information on an incoming wave having the highest reception sensitivity, a first eigenvector obtained from a correlation matrix of received signals of a plurality of channels is applied to an SVM (support vector machine), so that Techniques for detecting behavior are disclosed.

特許文献2には、送信機から送信された電波を複数チャネルのアンテナアレイで受信し、電波が伝搬する空間の状態を各アンテナアレイの受信波に基づいて判定する電波センサ装置において、離散的に観測される空間の状態の時系列が、その空間の典型的な状態遷移と矛盾していないかなどに基づいて当該空間の状態を判定する技術が開示されている。   In Patent Document 2, a radio wave sensor device that receives radio waves transmitted from a transmitter with a plurality of channels of an antenna array and determines a state of a space in which the radio waves propagate based on the received waves of each antenna array is discretely disclosed. A technique for determining the state of the space based on whether the time series of the state of the observed space is consistent with the typical state transition of the space is disclosed.

特開2008−216152号公報JP 2008-216152 A 特願2012−33235号公報Japanese Patent Application No. 2012-33235

「無線見守りシステムのための信号部分空間に基づくサポートベクタマシンを用いた状態識別」電子情報通信学会技術研究報告. RCS, 無線通信システム 110(127), 143-148, 2010-07-08"State identification using support vector machine based on signal subspace for wireless monitoring system" IEICE technical report. RCS, Wireless communication systems 110 (127), 143-148, 2010-07-08

SVMは、空間の状態(クラス)を離散的に推定できるものの、例えば物体の移動により空間の状態が変化する場合でも、その時系列での連続した変化を加味して空間の状態を検出することができない。したがって、SVMを採用した電波センサ装置では、特に物体が移動する空間の正確な状態判定が難しかった。   SVM can discretely estimate the state (class) of the space, but even if the state of the space changes due to the movement of an object, for example, it can detect the state of the space taking into account the continuous change in that time series Can not. Therefore, in the radio wave sensor device adopting SVM, it is particularly difficult to accurately determine the state in which the object moves.

例えば、電波センサ装置を室内の見守りに適用し、「留守」、「在室(動作中)」および「在室(静止)」を判定する場合、人が在室しているものの静止している状態と、在室していない留守の状態とでは、電波センサにより検知される受信波に大きな特徴差が生じ難いので誤認が生じ易い。   For example, when a radio wave sensor device is applied to watch over a room to determine "absence", "in-room (operating)" and "in-room (stationary)", the person is still in the room but is still There is a large difference in characteristics between the received wave detected by the radio wave sensor between the state and the absence state where the user is not in the room.

しかしながら、例えば「在室(静止)」の状態から「留守」の状態へ遷移するためには、その間に人が居室内を出入り口まで移動しなければならないので、監視周期が1秒程度であれば、状態が「在室(静止)」から「留守」へ直接遷移することなどあり得ず、その間に必ず「在室(動作)」の状態が観測されるはずである。したがって、「在室(静止)」から「留守」への直接遷移が観測されても、「留守」が「在室(静止)」の誤りである可能性が高いことを認識できる。   However, for example, in order to transition from the “in-room (stationary)” state to the “absence” state, a person must move through the room to the entrance during that time, so if the monitoring cycle is about 1 second It is impossible for the state to transit directly from “in-room (stationary)” to “absence”, and the “in-room (motion)” state should be observed during that time. Therefore, even if a direct transition from “in-room (stationary)” to “absence” is observed, it can be recognized that there is a high possibility that “absence” is an error in “in-room (stationary)”.

さらに、室内のCO2濃度が高ければ「在室」である可能性が高く、室温が一般的な快適温度に対して高すぎたり低すぎたりすれば「不在である可能性が高いので、これらの環境状態を考慮すれば、更に確度の高い空間状態判定が可能になる。   Furthermore, if the indoor CO2 concentration is high, there is a high possibility that the room is in the room, and if the room temperature is too high or too low for the general comfortable temperature, it is likely that the room is absent. Considering the environmental state, it becomes possible to determine the spatial state with higher accuracy.

本発明の目的は、上記した従来技術の課題を解決し、離散的に観測される空間状態の時系列や空間の環境が、その空間の典型的な状態遷移と矛盾していないかなどに基づいて、当該空間の状態を最終的に判定する空間状態判定装置を提供することにある。   The object of the present invention is to solve the above-mentioned problems of the prior art, based on whether the time series of spatial states observed in a discrete manner and the environment of the space are consistent with typical state transitions of the space. An object of the present invention is to provide a space state determination apparatus that finally determines the state of the space.

上記の目的を達成するために、本発明は、送信機から送信された電波を複数チャネルのアンテナアレイで受信し、電波が伝搬する空間の状態を各アンテナアレイの受信波に基づいて判定する空間状態判定装置において、以下のような手段を講じた点に特徴がある。   In order to achieve the above object, the present invention receives a radio wave transmitted from a transmitter by an antenna array of a plurality of channels, and determines a state of a space in which the radio wave propagates based on a received wave of each antenna array. The state determination device is characterized in that the following measures are taken.

(1)各アンテナアレイで検知される受信波の特徴量を周期的に計算する特徴量計算手段と、各周期の特徴量を所定の学習モデルに適用して空間の状態を推定する空間状態推定手段と、前記空間の環境を検知する環境センサと、所定の状態判定時刻における空間の状態を、当該時刻における空間状態の推定結果および環境センサの出力に基づいて判定する空間状態判定手段とを具備した。   (1) Feature quantity calculation means for periodically calculating the feature quantity of received waves detected by each antenna array, and spatial state estimation for estimating the state of the space by applying the feature quantity of each period to a predetermined learning model Means, an environmental sensor for detecting the environment of the space, and a space state determination means for determining the state of the space at a predetermined state determination time based on the estimation result of the space state at the time and the output of the environment sensor. did.

(2)空間で行動する人間の行動情報を取得する行動情報取得手段を更に具備し、空間状態判定手段は、所定の状態判定時刻における空間の状態を、当該時刻における空間状態の推定結果、環境センサの出力および行動情報に基づいて判定するようにした。   (2) It further comprises action information acquisition means for acquiring action information of a person acting in space, and the space state determination means indicates the state of the space at a predetermined state determination time, the estimation result of the space state at the time, the environment The determination was made based on the sensor output and behavior information.

本発明によれば、以下のような効果が達成される。   According to the present invention, the following effects are achieved.

(1)複数チャネルのアンテナアレイで検知された受信波から求まる特徴量を学習モデルに適用することで空間の状態が周期的に推定され、さらには当該空間の環境も検出され、それらの時系列から空間の状態が判定される。したがって、観測される状態の時系列が、当該空間の典型的な状態遷移と合致していなかったり、あるいは論理的にあり得ない状態遷移を示していたりすれば、学習モデルによる推定が誤りであると認識できるので、誤った推定結果に基づく状態判定を防止でき、状態判定の精度を向上させることが可能になる。   (1) The state of the space is periodically estimated by applying the feature value obtained from the received waves detected by the antenna array of multiple channels to the learning model, and the environment of the space is also detected, and their time series From this, the state of the space is determined. Therefore, if the time series of observed states does not match the typical state transition of the space or indicates a state transition that is not logically possible, the estimation by the learning model is incorrect. Therefore, it is possible to prevent state determination based on an erroneous estimation result and improve the accuracy of state determination.

(2)空間状態の推定結果および空間環境に加えて、人の行動情報も考慮して空間状態を判定することにより、人の行動として論理的にあり得ない状態遷移を判定結果から排除できるようになるので、空間状態の判定確度を更に向上させることができる。   (2) In addition to spatial state estimation results and spatial environment, it is possible to exclude state transitions that are logically impossible as human behavior from the determination results by determining the spatial state in consideration of human behavior information. Therefore, the determination accuracy of the space state can be further improved.

本発明に係る空間状態判定装置の適用例を示した図である。It is the figure which showed the example of application of the space state determination apparatus which concerns on this invention. 本発明を適用した空間状態判定装置の構成を示した機能ブロック図である。It is the functional block diagram which showed the structure of the space state determination apparatus to which this invention is applied. 状態判定部の一実施形態の機能ブロック図である。It is a functional block diagram of one embodiment of a state judgment part. 履歴情報DBの一例を示した図である。It is the figure which showed an example of history information DB. 条件式テーブルの一例を示した図である。It is the figure which showed an example of the conditional expression table. 判定ルールテーブルの一例を示した図である。It is the figure which showed an example of the determination rule table. 状態判定部の他の実施形態の機能ブロック図である。It is a functional block diagram of other embodiments of a state judgment part. ベイジアンネットワークの一例を示した図である。It is the figure which showed an example of the Bayesian network. 環境センサ出力Sj,tから環境判定結果S^j,tを求める事後確率表をCO2センサの場合を例にして示した図である。It is the figure which showed the case of the CO2 sensor as an example the posterior probability table | surface which calculates | requires environment determination result S ^ j, t from environmental sensor output Sj, t. 行動情報Ik,tから行動判定結果I^k,tを求める事後確率表をスケジュール(会合)を例にして示した図である。It is the figure which showed the posterior probability table | surface which calculates | requires action determination result I ^ k, t from action information Ik, t using the schedule (meeting) as an example. 空間状態の推定結果Xt,環境判定結果S^j,t,行動判定結果I^k,tおよび過去の空間状態判定(X^t-i〜X^t-1)に基づいて空間状態判定結果X^tを求める事後確率表の一例を示した図である。Spatial state judgment result X ^ based on spatial state estimation result Xt, environmental judgment result S ^ j, t, action judgment result I ^ k, t and past spatial state judgment (X ^ ti to X ^ t-1) It is the figure which showed an example of the posterior probability table | surface which calculates | requires t.

以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、受信機のアンテナ構造として、複数のアレイを備えたアレイアンテナを採用すれば、各アレイで同時刻に検知される受信電波強度や受信電波時刻などの特性が電波干渉物の状態に対して特異的である点に着目し、電波干渉物の位置や姿勢に応じて変化する空間の状態等と受信電波特性との関係を予め学習してモデル化等し、検知された受信電波特性を学習モデルに適用することで空間の状態を推定する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present invention, if an array antenna having a plurality of arrays is adopted as the antenna structure of the receiver, characteristics such as the received radio wave intensity and the received radio wave time detected at the same time in each array are in the state of radio wave interference. Focusing on the particularity of the received radio wave characteristics, the relationship between the received radio wave characteristics and the state of the space that changes according to the position and orientation of the radio wave interferer is learned and modeled in advance. Is applied to the learning model to estimate the state of the space.

さらに、本実施形態ではこのような空間状態推定と共に、空間内に人が存在するか否かに応じて変化する環境を各種の環境センサにより検知し、更には人の行動スケジュールや行動実績などを監視し、このような空間状態の推定結果、環境センサによる環境検知および行動の監視を周期的に繰り返し、その時系列を所定のルールや確立モデルなどの知識ベースに適用することで空間の状態を最終判定する。   Furthermore, in this embodiment, in addition to such a spatial state estimation, an environment that changes depending on whether or not a person is present in the space is detected by various environmental sensors, and further, a person's action schedule, action results, etc. The result of the estimation of the spatial state, the environmental detection by the environmental sensor and the monitoring of the behavior are periodically repeated, and the time series is applied to a knowledge base such as a predetermined rule or established model to finalize the spatial state. judge.

図1は、アレイアンテナを用いた空間状態判定装置の適用例を示した図であり、ここでは、監視対象の人間を電波干渉物に見立てて、室内における人間の存否や挙動を判定する場合を例にして説明する。また、本実施形態では前記アンテナアレイに加えて、温度センサ、湿度センサおよび/またはCO2センサ等の各種の環境センサが室内外の適所に配置され(図示省略)、さらにテレビや照明器具といった家電製品のオン/オフ状態およびやユーザがクラウド上に登録している自身のスケジュールなどが行動情報として取得される。   FIG. 1 is a diagram showing an application example of a space state determination device using an array antenna. Here, a case where a person to be monitored is regarded as a radio wave interference object and the presence or behavior of a person in a room is determined. An example will be described. In this embodiment, in addition to the antenna array, various environmental sensors such as a temperature sensor, a humidity sensor, and / or a CO2 sensor are disposed at appropriate locations inside and outside the room (not shown), and further, home appliances such as a television and a lighting fixture. The on / off state and the user's own schedule registered on the cloud are acquired as behavior information.

室内の適所に送信機Tx(図中、右下)およびアレイアンテナ10(図中、左上)を配置すると、送信機Txから送信された電波は、直接または家具や壁などの固定物ないしは人間のような動体で反射されてアレイアンテナ10へ到達し、受信される。このとき、室内に人間が存在しなければ、電波の伝搬経路が変化しないので、アレイアンテナ10の各アレイで受信される電波の特性に大きな変化は生じない。また、人間が在室している場合でも、就寝中のように静止状態であれば、留守時と同様に電波波の伝搬経路が変化しないので、アレイアンテナ10の各アレイで受信される電波の特性に大きな変化は生じない。ただし、電波特性自体は変化するので、留守と静止とは区別できる。また、人間が静止している場合でも、静止場所や静止姿勢によって特性が異なるので、静止位置や静止姿勢なども識別できるようになる。   When the transmitter Tx (lower right in the figure) and the array antenna 10 (upper left in the figure) are arranged at appropriate locations in the room, the radio waves transmitted from the transmitter Tx can be directly or fixedly attached to furniture or walls or human beings. It is reflected by such a moving body and reaches the array antenna 10 to be received. At this time, if a person is not present in the room, the propagation path of the radio wave does not change, so that the characteristics of the radio wave received by each array of the array antenna 10 do not change greatly. Further, even when a person is present, if the radio wave propagation path does not change if the user is in a stationary state such as sleeping, the radio wave received by each array of the array antenna 10 does not change, as in the absence. There is no significant change in characteristics. However, since the radio wave characteristics themselves change, it can be distinguished from absence and stationary. Even when a person is stationary, the characteristics vary depending on the stationary location and the stationary posture, so that the stationary position and the stationary posture can be identified.

なお、前記送信機Txについては電波センサ装置に特化した専用機を設ける必要はなく、無線LANアクセスポイント、ZigBeeあるいはBluetooth(登録商標)モジュールなどの既存の送信機で代用するようにしても良い。   The transmitter Tx does not need a dedicated device specialized for the radio wave sensor device, and may be replaced with an existing transmitter such as a wireless LAN access point, ZigBee, or Bluetooth (registered trademark) module. .

図2は、本発明を適用した空間状態判定装置1の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。   FIG. 2 is a functional block diagram showing the configuration of the main part of the space state determination apparatus 1 to which the present invention is applied. Here, the configuration unnecessary for the description of the present invention is omitted.

アレイアンテナ10は、指向性を有する複数(チャネル)のアンテナ素子atから構成され、各アンテナ素子atは、それぞれ異なる方向を指向して配置されている。特徴量計算部11は、受信波のベクトル情報から相関行列を演算する相関行列演算部11aを含み、各アンテナ素子atで検知された受信波の特徴量を計算する。空間状態推定部12は、各時刻において各アンテナ素子atで検知された受信波の特徴量を学習モデルに適用することにより、当該時刻における空間の状態を推定する。   The array antenna 10 is composed of a plurality of (channel) antenna elements at having directivity, and the antenna elements at are arranged in different directions. The feature amount calculation unit 11 includes a correlation matrix calculation unit 11a that calculates a correlation matrix from the vector information of the received wave, and calculates the feature amount of the received wave detected by each antenna element at. The spatial state estimation unit 12 estimates the state of the space at the time by applying the feature quantity of the received wave detected at each antenna element at each time to the learning model.

前記空間状態推定部12は、学習モデルとしてSVM12aを具備し、受信波を、各アンテナ素子atで検知された電波を素性とする多次元ベクトルで表し、受信波を空間の状態で分類した学習データから分離平面を学習し、受信波から計算された特徴量が、前記分離平面によりどのように分類されるのかに基づいて前記空間の状態を推定する。   The spatial state estimation unit 12 includes an SVM 12a as a learning model, represents received waves as multidimensional vectors having radio waves detected by the antenna elements at as features, and learned data obtained by classifying received waves according to spatial states. Then, the separation plane is learned, and the state of the space is estimated based on how the feature quantity calculated from the received wave is classified by the separation plane.

環境センサ部13は、温度センサ13a、湿度センサ13bおよびCO2センサ13c等の環境センサを備え、室内の温度、湿度およびCO2濃度等を所定の周期で繰り返し検知して出力する。行動情報収集部14は、ユーザが予めクラウド上に登録し、管理されているスケジュール、テレビや照明器具といった家電製品のオン/オフ状態などの行動情報を取得し、現在の日時情報と共に出力する。このような行動情報の収集は、予め登録されているクラウド上のアドレスへアクセスして、スケジュールやスマート家電のオン/オフ情報を取得することで実現できる。   The environmental sensor unit 13 includes environmental sensors such as a temperature sensor 13a, a humidity sensor 13b, and a CO2 sensor 13c, and repeatedly detects and outputs indoor temperature, humidity, CO2 concentration, and the like at a predetermined cycle. The behavior information collection unit 14 acquires behavior information such as a schedule registered by the user in advance in the cloud and a managed schedule, an on / off state of a home appliance such as a television or a lighting fixture, and outputs the behavior information together with current date and time information. Such collection of behavior information can be realized by accessing a pre-registered address on the cloud and acquiring schedule and smart home appliance on / off information.

前記空間状態の推定結果、環境センサ出力および行動情報は、インターフェース15,21およびネットワークNW経由で状態判定部22へ提供される。状態判定部22は、状態判定を要求される時刻(状態判定時刻)における空間の状態を、前記空間状態の推定結果、環境センサ出力および行動情報に基づいて最終判定する。   The spatial state estimation result, environmental sensor output, and behavior information are provided to the state determination unit 22 via the interfaces 15 and 21 and the network NW. The state determination unit 22 finally determines the state of the space at the time when the state determination is requested (state determination time) based on the estimation result of the spatial state, the environmental sensor output, and the behavior information.

次いで、前記特徴量計算部11の相関行列演算部11aによる受信波特徴量の算出方法について説明する。   Next, a method of calculating the received wave feature value by the correlation matrix calculation unit 11a of the feature value calculation unit 11 will be described.

前記アレイアンテナ10において各アンテナ素子atが直線状に配列されていると、当該アレイアンテナ10の受信信号は、次式(1)のように、各アンテナ素子atの受信信号を要素とする受信ベクトルx(t)で表される。   When the antenna elements at are arrayed in a straight line in the array antenna 10, the reception signal of the array antenna 10 is a reception vector having the reception signal of each antenna element at as an element as shown in the following equation (1). x (t).

ただし、a(θ):アンテナ素子数をL個とするときのL次元ベクトル
s(t):基準点での受信信号
n(t):雑音
Where a (θ): L-dimensional vector when the number of antenna elements is L
s (t): Received signal at the reference point
n (t): Noise

前記L次元ベクトルa(θ)は次式(2)で表される。   The L-dimensional vector a (θ) is expressed by the following equation (2).

ただし、θ:アンテナ素子の並びの方向に対する電波到来方向
d:各アレイアン素子の間隔
λ:電波の波長
Where θ is the direction of arrival of the radio wave relative to the direction of the array of antenna elements
d: Spacing between array elements
λ: Wavelength of radio wave

ここで、M個の到来波が平面波として到来するときには次式(3)が成り立つ。   Here, when M arriving waves arrive as plane waves, the following equation (3) holds.

ただし、AはM個のベクトル(ステアリングベクトルという)を列としたL×M行列であり、次式(4)で表される。また、s(t)は各到来波の複素振幅を要素としたM次元ベクトルであり、次式(5)で表される。ただし、Tは転置を表す。   A is an L × M matrix having M vectors (referred to as steering vectors) as columns, and is represented by the following equation (4). S (t) is an M-dimensional vector having the complex amplitude of each incoming wave as an element, and is represented by the following equation (5). However, T represents transposition.

相関行列演算部11aは、受信ベクトルx(t)から、次式(6)で表される相関行列Rxxを演算する。ただし、ベクトルEは集合平均、Hは複素共役転置を表している。   The correlation matrix calculation unit 11a calculates a correlation matrix Rxx expressed by the following equation (6) from the reception vector x (t). However, the vector E represents a set average and H represents a complex conjugate transpose.

ここで、雑音は到来波と無関係であり、素子に独立であるので、上式(6)は次式(7)に書き換えられる。ただし、σは雑音の分散であり、Sは波源相関行列=E[s(t)s(t)H]である。   Here, since the noise is unrelated to the incoming wave and independent of the element, the above equation (6) can be rewritten as the following equation (7). Here, σ is the variance of noise, and S is the wave source correlation matrix = E [s (t) s (t) H].

また、上記の相関行列Rxxは、次式(8)から得られる固有値λi、それに対応する固有ベクトルviを用いて、次式(9)のように固有値展開できる。   Further, the correlation matrix Rxx can be expanded as shown in the following equation (9) using the eigenvalue λi obtained from the following equation (8) and the corresponding eigenvector vi.

ここで、 here,

であり、diagは行列の対角要素を並べたものである。 And diag is an array of diagonal elements of a matrix.

受信データ相関行列Rxxの固有値は、コヒーレント波群とインコヒーレント波の数の和に対応するK個の信号固有値、および大きさが雑音電力に等しいL-K個の雑音固有値に分割できる。すなわち、次式(11)が成立する。ここで、diagは行列の対角要素を並べたものである。   The eigenvalues of the reception data correlation matrix Rxx can be divided into K signal eigenvalues corresponding to the sum of the number of coherent wave groups and incoherent waves, and L-K noise eigenvalues whose magnitude is equal to the noise power. That is, the following equation (11) is established. Here, diag is an array of diagonal elements of a matrix.

以上により、受信ベクトルから生成される相関行列Rxxを固有値展開することにより、信号部分空間と雑音部分空間に分けることができることを示した。信号部分空間を張る固有ベクトルvとステアリングベクトルa(θ)は同じ空間を張っていて、互いが他方の線形結合として表せる。つまり、信号部分空間を張る固有ベクトルは到来方向情報を含んだステアリングベクトルの線形結合によって表すことができ、電波伝搬構造を表しているといえる。   From the above, it was shown that the correlation matrix Rxx generated from the received vector can be divided into a signal subspace and a noise subspace by expanding eigenvalues. The eigenvector v and the steering vector a (θ) spanning the signal subspace span the same space and can be expressed as the other linear combination. That is, the eigenvector spanning the signal subspace can be expressed by a linear combination of steering vectors including the direction of arrival information, and can be said to represent a radio wave propagation structure.

前記空間状態推定部12は、SVM12aを利用して、前記電波特徴量をクラスタリングする。SVMは、教師あり学習を用いる識別手法の一種であり、与えられた学習データから距離が最大となる分離平面を求めるようにパラメータを学習する。基本的には、2つのクラスを識別する手法ではあるが、ペアワイズ(one-against-one)法を利用することで2つ以上の状態を識別することができる。   The spatial state estimation unit 12 clusters the radio wave feature quantities using the SVM 12a. SVM is a kind of identification method using supervised learning, and learns parameters so as to obtain a separation plane having a maximum distance from given learning data. Basically, it is a technique for discriminating two classes, but two or more states can be discriminated by using a one-against-one method.

SVMの教師データは、監視対象の部屋及び居住者ごとに構築される。すなわち、SVMを2つの状態識別に用いるのであれば、留守時に検知された受信波の特徴量と在室時に検知された受信波の特徴量とを教師データとして分離平面が予め構築され、その後、時刻tにおいて検知された受信波の特徴量が前記分離平面のいずれの側に位置しているかで留守/在室を推定する。   SVM teacher data is constructed for each room and occupant to be monitored. In other words, if the SVM is used for two state identification, a separation plane is constructed in advance using the feature quantity of the received wave detected during absence and the feature quantity of the received wave detected when in the room as teacher data, The absence / occupancy is estimated based on which side of the separation plane the feature quantity of the received wave detected at time t is located.

また、ペアワイズ(one-against-one)法を利用するのであれば、室内での所在場所ごとに、かつ所在姿勢(起立、横臥、着座など)ごとに教師データが作成され、所在場所および姿勢毎に分離平面が予め構築され、その後、時刻tにおいて検知された受信波の特徴量が前記各分離平面のいずれの側に位置しているかで、所在場所および姿勢が推定される。   If the one-against-one method is used, teacher data is created for each location in the room and for each location (standing, lying, sitting, etc.). The separation plane is constructed in advance, and then the location and orientation are estimated depending on which side of the separation plane the feature quantity of the received wave detected at time t is located.

前記状態判定部22は、前記空間状態推定部12から周期的に通知される離散的な状態推定結果、前記環境センサ部13から通知されるセンサ出力の時系列および前記行動情報収集部14から通知される行動情報の時系列に基づいて、状態判定時刻における空間状態を判定する。この判定には、(1)ルールベースの状態判定手法、および(2)確率モデルベースの状態判定手法、のいずれかを適用できる。   The state determination unit 22 is notified from the discrete state estimation results periodically notified from the spatial state estimation unit 12, the time series of sensor outputs notified from the environment sensor unit 13, and the behavior information collection unit 14. The spatial state at the state determination time is determined based on the time series of the action information to be performed. For this determination, either (1) a rule-based state determination method or (2) a probability model-based state determination method can be applied.

図3は、ルールベースの状態判定手法を採用した場合の状態判定部22の構成を示した機能ブロック図である。   FIG. 3 is a functional block diagram illustrating the configuration of the state determination unit 22 when the rule-based state determination method is employed.

履歴情報データベース(DB)131には、状態判定結果の履歴情報が、その時刻情報と共に蓄積されている。図4は、前記履歴情報DB131の登録内容の一例を示した図であり、当該状態判定部22による状態判定結果の履歴情報が1秒周期で登録されている。   In the history information database (DB) 131, history information of state determination results is stored together with the time information. FIG. 4 is a diagram showing an example of registration contents of the history information DB 131, in which history information of the state determination result by the state determination unit 22 is registered at a cycle of 1 second.

ルールテーブル132には、各時刻における状態推定結果と、当該時刻を基準にした相対的な判定期間内での状態判定結果および/または状態推定結果と、に基づいて状態判定時刻における状態を判定する複数のルールが記述されている。ルール検索部133は、状態判定時刻における状態推定結果に対応したルールを前記ルールテーブル132から検索する。ルールテーブル132の内容は、ルール閲覧・編集部136により閲覧、編集できる。   The rule table 132 determines the state at the state determination time based on the state estimation result at each time and the state determination result and / or state estimation result within a relative determination period based on the time. Multiple rules are described. The rule search unit 133 searches the rule table 132 for a rule corresponding to the state estimation result at the state determination time. The contents of the rule table 132 can be viewed and edited by the rule browsing / editing unit 136.

履歴検索部134は、前記検索されたルールで参照される判定期間で下された状態判定結果を前記履歴情報DB131から検索する。ルールベース判定部130は、状態判定時刻における状態推定結果に基づいて検索されたルールに、前記検索された判定期間内の状態判定結果を適用することで、当該時刻における状態を判定する。履歴情報登録部135は、前記状態判定結果を、その時刻情報と共に前記履歴情報DB131へ履歴情報として登録する。   The history search unit 134 searches the history information DB 131 for the state determination result made in the determination period referred to by the searched rule. The rule base determination unit 130 determines the state at the time by applying the state determination result within the searched determination period to the rule searched based on the state estimation result at the state determination time. The history information registration unit 135 registers the state determination result as history information in the history information DB 131 together with the time information.

図5,6は、前記ルールテーブル132の登録内容を模式的に表現した図であり、本実施形態では、ルールテーブル132が条件式テーブル132aおよび判定ルールテーブル132bにより構成され、各テーブルは予めルール閲覧・編集部136により規定される。   5 and 6 are diagrams schematically representing the registered contents of the rule table 132. In the present embodiment, the rule table 132 includes a conditional expression table 132a and a determination rule table 132b. It is defined by the browsing / editing unit 136.

図5の条件式テーブル132aには、「相対時刻」、「条件式」および「条件(値)」を項目として多数の条件が登録されている。「相対時刻」は、空間状態の監視期間と現在時刻との相対的な時刻関係を表し、"NOW"は現在、"SINCE"は、その後に示す時間より前から現在までを表し、"AFTER"は、その後に示す時間後を表す。なお、数字の後のhは時間、mは分を表している。なお、秒(s)で表現するようにしても良い。   In the conditional expression table 132a of FIG. 5, many conditions are registered with “relative time”, “conditional expression”, and “condition (value)” as items. “Relative time” represents the relative time relationship between the monitoring period of the spatial state and the current time, “NOW” represents the current time, “SINCE” represents the time before and after the time indicated, and “AFTER” Represents the time after that. Note that h after the number represents time, and m represents minutes. It may be expressed in seconds (s).

「条件式」は具体的な条件であり、空間状態推定部12による空間状態の推定結果、環境センサ13のセンサ出力および行動情報に関する条件を表す。「条件(値)」は、%表記の場合は当該時刻に条件式を満たす時間の確率を示し、センサ値の場合には、その数値を表す。図示の条件式は以下のとおりである。   The “conditional expression” is a specific condition and represents a condition relating to a spatial state estimation result by the spatial state estimation unit 12, a sensor output of the environment sensor 13, and behavior information. “Condition (value)” indicates the probability of time satisfying the conditional expression at the time in the case of% notation, and represents the numerical value in the case of a sensor value. The conditional expressions shown are as follows.

(1)条件#1
現在(NOW)の推定結果が100%の確率で「0:留守」である。
(1) Condition # 1
The current (NOW) estimation result is “0: absence” with a probability of 100%.

(2)条件#2
現在の推定結果が100%の確率で「2:在室(静止)」である。
(2) Condition # 2
The current estimation result is “2: resident (stationary)” with a probability of 100%.

(3)条件#3
10分前から現在まで(SINCE-10m)の判定結果が95%以上の確率で「0:留守」である。
(3) Condition # 3
The judgment result from 10 minutes before to the present (SINCE-10m) is “0: absence” with a probability of 95% or more.

(4)条件#4
10分前から現在までの判定結果が95%以上の確率で「2:在室(静止)」である。
(4) Condition # 4
The determination result from 10 minutes ago to the present is “2: resident (stationary)” with a probability of 95% or more.

(5)条件#5
5分前から現在まで(SINCE-5m)のCO2濃度の平均値が750ppm以上である。
(5) Condition # 5
The average value of CO2 concentration from 5 minutes before to now (SINCE-5m) is more than 750ppm.

(6)条件#6
5分前から現在までのエアコンの通電状態が100%の確率でオンある。
(6) Condition # 6
The power-on state of the air conditioner from 5 minutes ago to the present is on with 100% probability.

(7)条件#7
5分前から現在までの推定結果が60%未満の確率で「1:在室(動作)」である。
(7) Condition # 7
The estimated result from 5 minutes ago to the present is “1: occupancy (motion)” with a probability of less than 60%.

(8)条件#8
現在時刻から1時間後までのスケジュールが100%の確率で「会合」である。
(8) Condition # 8
The schedule from the current time to 1 hour later is “meeting” with a probability of 100%.

図6の判定ルールテーブル132bには、前記条件式テーブル132aに記載された各条件式を結合して状態判定を行うためのルールが、「結合条件式」および「判定結果」の組合せで記載されている。「結合条件式」に記載された数字は前記条件式テーブル132aに記載された条件番号(#)であり、AND、OR、括弧で表現される。他にもNOT、NOR、NANDなどで表現しても良い。結合条件式が成立すると、当該条件式に対応付けられた判定結果が採用される。図示の例は以下の通りである。   In the determination rule table 132b of FIG. 6, rules for performing state determination by combining the conditional expressions described in the conditional expression table 132a are described as a combination of “combined conditional expression” and “determination result”. ing. The numbers described in the “binding conditional expression” are the condition numbers (#) described in the conditional expression table 132a, and are expressed by AND, OR, and parentheses. Alternatively, it may be expressed as NOT, NOR, NAND, etc. When the combined conditional expression is satisfied, the determination result associated with the conditional expression is adopted. The illustrated example is as follows.

(1)ルール#1
空間状態の推定結果が「0:留守」または「2:在室(静止)」であって、かつ10分前から現在までの判定結果が95%以上の確率で「0:留守」であれば、空間状態は「0:留守」と判定される。これは、留守の状態からいきなり在室静止中の状態には変化し得ないことを根拠としている。
(1) Rule # 1
If the estimation result of the spatial state is “0: absence” or “2: resident (stationary)” and the judgment result from 10 minutes ago to the present is “0: absence” with a probability of 95% or more The space state is determined as “0: absence”. This is based on the fact that it cannot change from the absence state to the stationary state.

(2)ルール#2
空間状態の推定結果が「0:留守」または「2:在室(静止)」であって、かつ10分前から現在までの判定結果が95%以上の確率で「2:在室(静止)」であり、かつ5分前から現在までのCO2濃度の平均値が750ppm以上であれば、空間状態は「2:在室(静止)」と判定される。これは、直前まで在室静止中でCO2濃度が高い場合には部屋に人がいる状態であり、留守になったとは考えにくいことを根拠としている。
(2) Rule # 2
The estimation result of the spatial state is “0: absence” or “2: occupancy (stationary)” and the determination result from 10 minutes ago to the present is “2: occupancy (stationary)” with a probability of 95% or more. If the average value of the CO2 concentration from 5 minutes ago to the present is 750 ppm or more, the spatial state is determined as “2: resident (stationary)”. This is based on the fact that there is a person in the room when the occupancy is still in the room and the CO2 concentration is high, and it is unlikely that the person is away.

(3)ルール#3
空間状態の推定結果が「0:留守」または「2:在室(静止)」であって、かつ10分前から現在までの判定結果が95%以上の確率で「2:在室(静止)」であり、かつ5分前から現在までのエアコンの通電状態が100%の確率でオンであれば、空間状態は「2:在室(静止)」と判定される。これは、直前まで在室静止中でエアコンが作動しているなら、部屋に人がいる状態であり、留守になったとは考えにくいことを根拠としている。
(3) Rule # 3
The estimation result of the spatial state is “0: absence” or “2: occupancy (stationary)” and the determination result from 10 minutes ago to the present is “2: occupancy (stationary)” with a probability of 95% or more. And the air-conditioning state of the air conditioner from 5 minutes ago to the present is on with a probability of 100%, the space state is determined as “2: resident (stationary)”. This is based on the fact that if the air conditioner is operating while still in the room until just before, there is a person in the room and it is unlikely that the person is away.

(4)ルール#4
空間状態の推定結果が「0:留守」または「2:在室(静止)」であって、かつ5分前から現在までのエアコンの通電状態が100%の確率でオンであり、かつ5分前から現在まで(SINCE-5m)の判定結果が60%未満の確率で「1:在室(動作)」であれば、空間状態は「2:在室(静止)」と判定される。これは、少し前まで在室動作中でエアコンがONであり続ける場合、現時刻が留守、在室静止中と推定されたとしても、それは外出したのではなく、在室静止中であると考えられることを根拠としている。
(4) Rule # 4
The estimation result of the space condition is “0: absence” or “2: resident (stationary)”, and the power-on state of the air conditioner from 5 minutes ago to the present is on with 100% probability, and 5 minutes If the determination result from previous to present (SINCE-5m) is “1: occupancy (motion)” with a probability of less than 60%, the spatial state is determined to be “2: occupancy (stationary)”. This means that if the air conditioner stays on for a while and the air conditioner is ON, even if it is estimated that the current time is absent and the occupant is still in the room, it is not going out but still in the occupant room. It is based on what is done.

(5)ルール#5
空間状態の推定結果が「0:留守」または「2:在室(静止)」であって、かつ現在時刻から1時間後までのスケジュールが100%の確率で「会合」であれば、空間状態は「0:留守」と判定される。これは、会合の予定があれば外出していると考えられることを根拠としている。
(5) Rule # 5
If the estimation result of the spatial state is “0: absence” or “2: resident (stationary)” and the schedule from the current time to 1 hour later is “meeting” with a 100% probability, the spatial state Is judged as “0: absence”. This is based on the fact that if the meeting is scheduled, it is considered that the person is going out.

本実施形態によれば、複数チャネルのアンテナアレイで検知された受信波から求まる特徴量を学習モデルに適用することで空間の状態が周期的に推定され、さらには当該空間の環境や人の行動情報も検出され、それらの時系列から空間の状態が最終判定される。したがって、観測される状態の時系列が、当該空間の典型的な状態遷移と合致していなかったり、あるいは論理的にあり得ない状態遷移を示していたりすれば、学習モデルによる推定が誤りであると認識できるので、誤った推定結果に基づく状態判定を防止でき、状態判定の精度を向上させることが可能になる。   According to the present embodiment, the state of the space is periodically estimated by applying the feature amount obtained from the received waves detected by the antenna array of the plurality of channels to the learning model, and further, the environment of the space and the human behavior Information is also detected, and the state of the space is finally determined from those time series. Therefore, if the time series of observed states does not match the typical state transition of the space or indicates a state transition that is not logically possible, the estimation by the learning model is incorrect. Therefore, it is possible to prevent state determination based on an erroneous estimation result and improve the accuracy of state determination.

また、本実施形態によれば、状態判定時刻における空間の状態が、当該時刻における状態推定結果および当該時刻から相対的に定まる判定期間内で観測された状態に基づいて判定されるので、状態の時系列変化に基づく状態判定が容易になる。   Further, according to the present embodiment, since the state of the space at the state determination time is determined based on the state estimation result at the time and the state observed within the determination period relatively determined from the time, State determination based on time series changes is facilitated.

図7は、上記のルールベースの状態判定手法に代えて、確率モデルベースの判定手法を採用した状態判定部22の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。   FIG. 7 is a functional block diagram showing the configuration of the state determination unit 22 that employs a probabilistic model-based determination method instead of the rule-based state determination method described above, and the same reference numerals as above denote the same or equivalent parts. Represents.

確率モデルベース判定部137は、各時刻における状態推定の結果、状態判定結果、環境センサ13のセンサ出力および行動情報収集部14により収集された行動情報の履歴情報を、予め用意したベイジアンネットワーク(BN)に入力することより、状態判定時刻における状態を最終判定する。   The probability model base determination unit 137 includes a Bayesian network (BN) prepared in advance for the state estimation result at each time, the state determination result, the sensor output of the environment sensor 13 and the history information of the behavior information collected by the behavior information collection unit 14. ) To finally determine the state at the state determination time.

履歴情報データベース(DB)131には、過去の状態判定結果が、その時刻情報と共に蓄積されており、その内容は、前記図4に関して説明した内容と同一または同等である。履歴検索部138は、前記確率モデルベース判定部137から要求された判定期間内の状態判定結果を前記履歴情報DB131から検索して応答する。履歴情報登録部135は、前記状態判定結果を、その時刻情報と共に前記履歴情報DB131へ履歴情報として登録する。   The history information database (DB) 131 stores past state determination results together with the time information, and the contents thereof are the same as or equivalent to the contents described with reference to FIG. The history search unit 138 searches the history information DB 131 for a state determination result within the determination period requested from the probability model base determination unit 137 and responds. The history information registration unit 135 registers the state determination result as history information in the history information DB 131 together with the time information.

BNは、確率変数の定性的な依存関係をグラフ構造によって表し、依存関係を有する2つの確率変数の間の定量的な関係を条件付き確率によって表したモデルである。BNの確率変数のうち観測できる事項がある場合に、確率変数間の依存関係を用いて観測されていない変数を統計的に推測することができる。したがって、BNによる判定機能を備えた確率モデルベース判定部137に、SVMによる状態推定結果、時刻情報、履歴情報を入力することで、現在の空間の状態を精度よく判定することができる。   BN is a model in which a qualitative dependency relationship of a random variable is represented by a graph structure, and a quantitative relationship between two random variables having a dependency relationship is represented by a conditional probability. When there are items that can be observed among the random variables of BN, it is possible to statistically infer variables that are not observed by using the dependency relationship between the random variables. Therefore, the state of the current space can be accurately determined by inputting the state estimation result by SVM, time information, and history information to the probability model base determination unit 137 having a determination function by BN.

図8は、BNの一例を示した図であり、各ノードNでは事後確率が予め学習されており、前記空間状態推定部12による状態の推定結果、履歴情報DBに蓄積されている状態判定結果、環境センサ13のセンサ出力および行動情報収集部14により収集された行動情報が、観測された値(証拠変数)とされる。そして、これらの情報から状態判定時刻における空間の状態が確率的に判定される。各状態記号の定義は以下の通りである。   FIG. 8 is a diagram showing an example of the BN. In each node N, the posterior probability is learned in advance, the state estimation result by the spatial state estimation unit 12, and the state determination result stored in the history information DB The sensor output of the environmental sensor 13 and the behavior information collected by the behavior information collection unit 14 are taken as observed values (evidence variables). And the state of the space at the state determination time is determined probabilistically from these pieces of information. The definition of each state symbol is as follows.

Xt:空間状態推定部12により算出された時刻tにおける空間状態の推定結果
Sj,t:時刻tにおける環境センサjのセンサ出力
Ik,t:時刻tにおける行動情報の取得値
S^j,t:時刻t-1からtまでの環境センサjのセンサ出力から算出した環境判定結果
I^k,t:時刻t-1からtまでの行動情報の取得値から算出した行動判定結果
X^t:上記各状態情報からBNにより確率的に求められた時刻tの空間状態の判定結果
Xt: Spatial state estimation result at time t calculated by the spatial state estimation unit 12
Sj, t: Sensor output of environment sensor j at time t
Ik, t: Acquisition value of action information at time t
S ^ j, t: Environmental judgment result calculated from sensor output of environmental sensor j from time t-1 to t
I ^ k, t: Action determination result calculated from the acquired value of action information from time t-1 to t
X ^ t: Judgment result of the spatial state at time t obtained probabilistically by BN from each state information

本実施形態では、環境センサのセンサ出力Sj,tの履歴情報に基づいて環境判定結果S^j,tが求められ、行動情報の取得値Ik,tの履歴情報に基づいて行動判定結果I^k,tが求められる。そして、時刻tにおける空間状態の推定結果Xt、環境判定結果S^j,t、行動判定結果I^k,tおよび過去の空間状態の判定結果(X^t-i〜X^t-1)に基づいて当該時刻tにおける空間状態X^tが判定される。   In this embodiment, the environment determination result S ^ j, t is obtained based on the history information of the sensor output Sj, t of the environment sensor, and the action determination result I ^ is based on the history information of the acquired value Ik, t of the behavior information. k and t are obtained. Based on the estimation result Xt of the spatial state at the time t, the environmental judgment result S ^ j, t, the behavior judgment result I ^ k, t and the past spatial state judgment result (X ^ ti to X ^ t-1) Thus, the spatial state X ^ t at the time t is determined.

図9は、環境センサのセンサ出力Sj,tに基づいて環境判定結果S^j,tを求めるための事後確率表を、環境センサ13が前記CO2センサ13cである場合を例にして示した図であり、センサ出力の履歴(時刻t-1〜t)に基づいて環境判定結果S^j,tの事後確率が判定される。具体的な値については、乱数を発生させるなどして決定される。例えば、CO2センサ13cにより検知されたCO2濃度が750ppm以上であればSj,t=1、未満であればSj,t=0とすれば、CO2センサの出力に基づく状態は、人が在室(j,t=1)または不在(S^j,t=0)の事後確率により判定される。   FIG. 9 is a diagram showing an a posteriori probability table for obtaining the environment determination result S ^ j, t based on the sensor output Sj, t of the environment sensor, taking the case where the environment sensor 13 is the CO2 sensor 13c as an example. The posterior probability of the environment determination result S ^ j, t is determined based on the sensor output history (time t-1 to t). The specific value is determined by generating a random number. For example, if the CO2 concentration detected by the CO2 sensor 13c is 750 ppm or more, Sj, t = 1, and if it is less than Sj, t = 0, the condition based on the output of the CO2 sensor is that the person is in the room ( j, t = 1) or absent (S ^ j, t = 0).

図10は、行動情報の取得値Ik,tに基づいて行動判定結果I^k,tを求めるための事後確率表を、行動が打合せ予定である場合を例にして示した図であり、行動情報の履歴(時刻t-1〜t)に基づいて行動判定結果I^k,tの事後確率が判定される。具体的な値については、乱数を発生させるなどして決定する。例えば、時刻tの予定が打合せの場合Ik,t=1、予定なしの場合Ik,t=0であるとすると、予定表に基づく状態は、外出中I^k,t=1、在室I^k,t=0の事後確率により判定される。なお、事後確率は、状態数が多くなるとすべて記憶するのは効率的ではないため、各情報源の事後確率と、条件付き確率P(I^k,t|Ik,t)により計算する。   FIG. 10 is a diagram showing an example of a posterior probability table for obtaining the action determination result I ^ k, t based on the acquired value Ik, t of the action information, when the action is scheduled to be discussed. The posterior probability of the action determination result I ^ k, t is determined based on the information history (time t-1 to t). The specific value is determined by generating a random number. For example, if Ik, t = 1 if the schedule at time t is a meeting, and Ik, t = 0 if there is no schedule, then the status based on the schedule is I ^ k, t = 1, I It is determined by the posterior probability of ^ k, t = 0. Note that it is not efficient to store all posterior probabilities as the number of states increases, and therefore, the posterior probabilities are calculated based on the posterior probabilities of each information source and conditional probabilities P (I ^ k, t | Ik, t).

図11は、状態判定時刻tにおける状態推定結果Xt、環境判定結果S^j,t、行動判定結果I^k,tおよび過去の空間状態の判定結果(X^t-i〜X^t-1)に基づいて状態判定時刻tにおける空間状態の判定結果X^tを求めるための事後確率表の一例を示した図である。なお、事後確率は、状態数が多くなると全てを記憶するのは効率的ではないため、空間状態の推定結果、環境判定結果S^j,tの事後確率、行動判定結果I^k,tの事後確率、および過去の空間状態の判定結果(X^t-i〜X^t-1)の事後確率、ならびにそれらの状態からの条件付き確率P(X^t|Xt)、P(X^t|S^j,t)、P(X^t|I^k,t)、P(X^t|X^t-i)により計算する。   FIG. 11 shows the state estimation result Xt at the state determination time t, the environment determination result S ^ j, t, the action determination result I ^ k, t, and the past spatial state determination results (X ^ ti to X ^ t-1). 6 is a diagram showing an example of a posterior probability table for obtaining a spatial state determination result X ^ t at a state determination time t based on FIG. In addition, since it is not efficient to memorize all the posterior probabilities when the number of states increases, the estimation result of the spatial state, the posterior probability of the environment judgment result S ^ j, t, and the action judgment result I ^ k, t Posterior probabilities, posterior probabilities of past spatial state judgment results (X ^ ti to X ^ t-1), and conditional probabilities P (X ^ t | Xt), P (X ^ t | S ^ j, t), P (X ^ t | I ^ k, t), P (X ^ t | X ^ ti).

なお、上記の実施形態では、空間状態の推定結果、環境センサ出力および行動情報に基づいて空間状態が最終的に判定されるものとして説明したが、本発明はこれのみに限定されるものではなく、行動情報を取得できない場合には、空間状態の推定結果および環境センサ出力に基づいて空間状態が最終的に判定されるようにしても良い。   In the above embodiment, the spatial state is finally determined based on the spatial state estimation result, the environmental sensor output, and the behavior information. However, the present invention is not limited to this. When the behavior information cannot be acquired, the spatial state may be finally determined based on the spatial state estimation result and the environmental sensor output.

10…アレイアンテナ,11…特徴量計算部,11a…相関行列演算部,12…空間状態推定部,13…環境センサ部,22…状態判定部,130…ルールベース判定部,131…履歴情報データベース,132…ルールテーブル,132a…条件式テーブル,132b…判定ルールテーブル,133…ルール検索部,134,138…履歴検索部,135…履歴情報登録部,136…ルール閲覧・編集部,137…確率モデルベース判定部   DESCRIPTION OF SYMBOLS 10 ... Array antenna, 11 ... Feature-value calculation part, 11a ... Correlation matrix calculation part, 12 ... Spatial state estimation part, 13 ... Environmental sensor part, 22 ... State determination part, 130 ... Rule base determination part, 131 ... History information database , 132 ... rule table, 132a ... conditional expression table, 132b ... determination rule table, 133 ... rule search unit, 134, 138 ... history search unit, 135 ... history information registration unit, 136 ... rule browsing / editing unit, 137 ... probability Model-based judgment unit

Claims (7)

送信機から送信された電波を複数チャネルのアンテナアレイで受信し、電波が伝搬する空間の状態を各アンテナアレイの受信波に基づいて判定する空間状態判定装置において、
各アンテナアレイで検知される受信波の特徴量を周期的に計算する特徴量計算手段と、
各周期の特徴量を所定の学習モデルに適用して空間の状態を推定する空間状態推定手段と、
前記空間の環境を検知する環境センサと、
所定の状態判定時刻における空間の状態を、当該時刻における空間状態の推定結果および環境センサの出力に基づいて判定する空間状態判定手段とを具備したことを特徴とする空間状態判定装置。
In a spatial state determination device that receives radio waves transmitted from a transmitter with an antenna array of a plurality of channels and determines a state of a space in which the radio waves propagate based on received waves of each antenna array,
A feature amount calculating means for periodically calculating a feature amount of a received wave detected by each antenna array;
Spatial state estimation means for estimating the state of the space by applying the feature quantity of each period to a predetermined learning model;
An environmental sensor for detecting the environment of the space;
A spatial state determination device comprising: a spatial state determination unit that determines a spatial state at a predetermined state determination time based on a spatial state estimation result at the time and an output of an environmental sensor.
前記空間で行動する人間の行動情報を取得する行動情報取得手段を更に具備し、
前記空間状態判定手段は、所定の状態判定時刻における空間の状態を、当該時刻における空間状態の推定結果、環境センサの出力および行動情報に基づいて判定することを特徴とする請求項1に記載の空間状態判定装置。
Further comprising behavior information obtaining means for obtaining behavior information of a person acting in the space;
The said space state determination means determines the state of the space at a predetermined state determination time based on the estimation result of the space state at the time, the output of the environmental sensor, and the behavior information. Spatial state determination device.
前記空間状態推定手段は、学習モデルとしてSVMを備え、受信波を、各アンテナアレイで検知された電波を素性とする多次元ベクトルで表し、受信波を空間の状態で分類した学習データから分離平面を学習し、前記受信波から計算された特徴量が、前記分離平面によりどのように分類されるのかに基づいて前記空間の状態を推定することを特徴とする請求項1または2に記載の空間状態判定装置。   The spatial state estimation means includes an SVM as a learning model, represents a received wave as a multidimensional vector having radio waves detected by each antenna array as a feature, and separates the received wave from learning data classified according to a spatial state. The space state according to claim 1 or 2, wherein the state of the space is estimated based on how the feature quantity calculated from the received wave is classified by the separation plane. State determination device. 前記空間状態判定手段は、前記状態判定時刻における空間の状態を、当該時刻における状態推定結果および当該時刻から相対的に定まる所定の判定期間内で観測された状態に基づいて判定することを特徴とする請求項1ないし3のいずれかに記載の空間状態判定装置。   The space state determination means determines the state of the space at the state determination time based on a state estimation result at the time and a state observed within a predetermined determination period relatively determined from the time. The space state determination apparatus according to claim 1. 前記空間状態判定手段は、前記状態判定時刻における空間の状態を、当該時刻における状態推定結果および当該時刻から相対的に定まる所定の判定期間内で所定の状態が観測された確率に基づいて判定することを特徴とする請求項4に記載の空間状態判定装置。   The space state determination means determines the state of the space at the state determination time based on a state estimation result at the time and a probability that the predetermined state is observed within a predetermined determination period relatively determined from the time. The space state determination apparatus according to claim 4, wherein 前記空間状態判定手段は、
状態判定結果の履歴情報を時刻情報と共に蓄積する履歴情報DBと、
状態推定結果と状態判定結果の履歴情報とに基づいて状態を判定する複数のルールが記述されたルールテーブルと、
状態判定時刻の状態推定結果に対応したルールを前記ルールテーブルから検索するルール検索手段と、
前記検索されたルールで参照される所定の判定期間内の状態判定結果を前記履歴情報DBから検索する履歴情報検索手段と、
前記検索されたルールに前記判定期間内の状態判定結果を適用して前記状態判定時刻の状態を判定するルールベース判定手段とを具備したことを特徴とする請求項4に記載の空間状態判定装置。
The space state determination means includes
History information DB that accumulates history information of state determination results together with time information;
A rule table in which a plurality of rules for determining the state based on the state estimation result and the history information of the state determination result are described;
Rule search means for searching a rule corresponding to the state estimation result of the state determination time from the rule table;
History information search means for searching the history information DB for a state determination result within a predetermined determination period referred to by the searched rule;
The space state determination device according to claim 4, further comprising a rule base determination unit that applies a state determination result within the determination period to the retrieved rule to determine a state at the state determination time. .
前記状態判定手段は、
状態判定結果の履歴情報を時刻情報と共に蓄積する履歴情報DBと、
状態推定結果および状態判定結果の履歴情報を、予め用意したベイジアンネットワークに入力することより、状態判定時刻における状態を最終判定する確率モデルベース判定手段と、
前記確率モデルベース判定手段から要求された判定期間内の状態判定結果を前記履歴情報DBから検索して応答する履歴検索手段と、
前記状態判定結果を、その時刻情報と共に前記履歴情報DBへ履歴情報として登録する履歴情報登録手段とを具備したことを具備したことを特徴とする請求項5に記載の空間状態判定装置。
The state determination means includes
History information DB that accumulates history information of state determination results together with time information;
Probability model-based determination means for finally determining the state at the state determination time by inputting history information of the state estimation result and the state determination result to a Bayesian network prepared in advance,
A history search unit that searches and responds to the state determination result within the determination period requested from the probability model base determination unit from the history information DB;
6. The space state determination apparatus according to claim 5, further comprising history information registration means for registering the state determination result as history information together with the time information in the history information DB.
JP2013063943A 2013-03-26 2013-03-26 Spatial state determination device Expired - Fee Related JP6076167B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013063943A JP6076167B2 (en) 2013-03-26 2013-03-26 Spatial state determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013063943A JP6076167B2 (en) 2013-03-26 2013-03-26 Spatial state determination device

Publications (2)

Publication Number Publication Date
JP2014190724A true JP2014190724A (en) 2014-10-06
JP6076167B2 JP6076167B2 (en) 2017-02-08

Family

ID=51837130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013063943A Expired - Fee Related JP6076167B2 (en) 2013-03-26 2013-03-26 Spatial state determination device

Country Status (1)

Country Link
JP (1) JP6076167B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473756B2 (en) 2016-07-05 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Sensor and estimating method
CN112051621A (en) * 2019-08-15 2020-12-08 河南紫联物联网技术有限公司 Method and device for judging whether people are in room or not
US10912493B2 (en) 2017-01-06 2021-02-09 Panasonic Intellectual Property Management Co., Ltd. Sensor and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113411A (en) * 2009-11-27 2011-06-09 Sogo Keibi Hosho Co Ltd Security device and estimation method of sensor reaction factor
JP2012017988A (en) * 2010-07-06 2012-01-26 Keio Gijuku Event detection device
WO2012108218A1 (en) * 2011-02-09 2012-08-16 日本電気株式会社 Event detection system
JP2013170848A (en) * 2012-02-17 2013-09-02 Kddi Corp Electric wave sensor device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113411A (en) * 2009-11-27 2011-06-09 Sogo Keibi Hosho Co Ltd Security device and estimation method of sensor reaction factor
JP2012017988A (en) * 2010-07-06 2012-01-26 Keio Gijuku Event detection device
WO2012108218A1 (en) * 2011-02-09 2012-08-16 日本電気株式会社 Event detection system
JP2013170848A (en) * 2012-02-17 2013-09-02 Kddi Corp Electric wave sensor device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016025616; 洪志勲 外2名: '"無線見守りシステムのための信号部分空間に基づくサポートベクターマシンを用いた状態識別"' 電子情報通信学会技術研究報告 Volume 110, Number 127, 20100708, Pages 143-148, 社団法人電子情報通信学会 The Institute of Electro *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473756B2 (en) 2016-07-05 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Sensor and estimating method
US10895631B2 (en) 2016-07-05 2021-01-19 Panasonic Intellectual Property Management Co., Ltd. Sensor and estimating method
US10912493B2 (en) 2017-01-06 2021-02-09 Panasonic Intellectual Property Management Co., Ltd. Sensor and method
CN112051621A (en) * 2019-08-15 2020-12-08 河南紫联物联网技术有限公司 Method and device for judging whether people are in room or not
CN112051621B (en) * 2019-08-15 2024-03-15 河南紫联物联网技术有限公司 Method and device for judging whether room is occupied or not

Also Published As

Publication number Publication date
JP6076167B2 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
Aminikhanghahi et al. Real-time change point detection with application to smart home time series data
Zou et al. Towards occupant activity driven smart buildings via WiFi-enabled IoT devices and deep learning
Zou et al. Deepsense: Device-free human activity recognition via autoencoder long-term recurrent convolutional network
Bhatti et al. Outlier detection in indoor localization and Internet of Things (IoT) using machine learning
US20170017214A1 (en) System and method for estimating the number of people in a smart building
Prossegger et al. Multi-resident activity recognition using incremental decision trees
Ghourchian et al. Real-time indoor localization in smart homes using semi-supervised learning
US20200053559A1 (en) Deep learning neural network based security system and control method therefor
US10565860B1 (en) Offline tuning system for detecting new motion zones in a motion detection system
US11962437B2 (en) Filtering channel responses for motion detection
JP5829142B2 (en) Radio wave sensor device
Yang et al. A framework for human activity recognition based on WiFi CSI signal enhancement
JP6076167B2 (en) Spatial state determination device
Soltanaghaei et al. Robust and practical WiFi human sensing using on-device learning with a domain adaptive model
Huang et al. Distributed-neuron-network based machine learning on smart-gateway network towards real-time indoor data analytics
Sastry et al. A team of continuous-action learning automata for noise-tolerant learning of half-spaces
Mulia et al. A review on building occupancy estimation methods
Papatsimpa et al. Propagating sensor uncertainty to better infer office occupancy in smart building control
Meng et al. WiHGR: A robust WiFi-based human gesture recognition system via sparse recovery and modified attention-based BGRU
Hillyard et al. Never use labels: Signal strength-based Bayesian device-free localization in changing environments
Savazzi et al. Occupancy pattern recognition with infrared array sensors: A Bayesian approach to multi-body tracking
Shahbazian et al. Human sensing by using radio frequency signals: A survey on occupancy and activity detection
Hong et al. State classification with array sensor using support vector machine for wireless monitoring systems
Das et al. Precept: occupancy presence prediction inside a commercial building
Mrazovac et al. Reaching the next level of indoor human presence detection: An rf based solution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170110

R150 Certificate of patent or registration of utility model

Ref document number: 6076167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees