JP2005039612A - Monitoring system and method, information processing apparatus and method, recording medium, and program - Google Patents
Monitoring system and method, information processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP2005039612A JP2005039612A JP2003275457A JP2003275457A JP2005039612A JP 2005039612 A JP2005039612 A JP 2005039612A JP 2003275457 A JP2003275457 A JP 2003275457A JP 2003275457 A JP2003275457 A JP 2003275457A JP 2005039612 A JP2005039612 A JP 2005039612A
- Authority
- JP
- Japan
- Prior art keywords
- data
- event
- sensor
- state
- reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、人の行動を区別し、通知することができるようにした監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to a monitoring system and method, an information processing device and method, a recording medium, and a program, and in particular, a monitoring system and method, an information processing device and method that can distinguish and notify a human action, The present invention relates to a recording medium and a program.
従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタTV(Television)を見ることにより、センサ情報を知る手法が提案されている(例えば、特許文献1参照)。 Conventionally, as a home security system, a method of knowing sensor information by viewing a monitor TV (Television) that displays a monitoring image transmitted from an imaging device has been proposed (see, for example, Patent Document 1).
また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている(例えば、特許文献2参照)。 In addition, a method has been proposed in which a monitoring device in which an infrared sensor and an image sensor are combined detects a human body that has entered a monitoring area by determining the presence or absence of a human body and the presence or absence of a plan (for example, Patent Document 2). reference).
さらに、複数台のインテリジェントカメラを有する監視カメラシステムが、監視領域の異常を検知し、検知した映像や音声を記録または再生する手法が提案されている(例えば、特許文献3参照)。 Furthermore, a technique has been proposed in which a surveillance camera system having a plurality of intelligent cameras detects an abnormality in a surveillance area and records or reproduces the detected video and audio (for example, see Patent Document 3).
これらの特許文献1乃至特許文献3に記載の発明においては、主に、特定の場所または特定の異常(イベント)が検出される。
In the inventions described in these
しかしながら、これらの特許文献1乃至特許文献3に記載されている発明では、監視領域内に進入した人体を検出することはできるものの、その人の行動(例えば、接近しているのか、あるいは、遠ざかっているのかなど)を区別することができない課題があった。
However, in the inventions described in these
勿論、例えば、ビデオカメラで常に監視するようにすれば、行動の識別が可能であるが、そのようにすると電力消費が大きくなり、バッテリを使ったシステムに適用することが困難になる課題があった。 Of course, for example, if the video camera is constantly monitored, it is possible to identify the behavior. However, if this is done, there is a problem that power consumption increases, making it difficult to apply to a system using a battery. It was.
本発明はこのような状況に鑑みてなされたものであり、監視領域内に進入した人の行動を区別し、通知することができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to distinguish and notify a behavior of a person who has entered a monitoring area.
本発明の監視システムは、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得手段と、取得手段により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段と、判定手段によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、構築手段により構築された呈示データに基づく呈示を行う呈示手段とを備えることを特徴とする。 The monitoring system of the present invention acquires the first sensor data from the first sensor, the acquisition means for acquiring the second sensor data from the second sensor, and the first and second acquired by the acquisition means. Based on the sensor data, the state data description means describing the state data relating to the reaction state of the first and second sensors and the state data described by the state data description means are compared with the determination table, and an event is notified. A determination means for determining whether or not to notify an event by the determination means, a construction means for constructing presentation data including event data for notifying the event, and a presentation data constructed by the construction means And presenting means for performing presentation based on the present invention.
前記第1のセンサは、フォトセンサであり、第2のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
前記構築手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを構築するようにすることができる。 The construction means can construct presentation data by inserting event data into a signal based on television broadcasting.
前記構築手段は、判定手段によりイベントを通知しないと判定された場合、予め定められた信号に基づくデータを呈示データとするようにすることができる。 The construction means can make data based on a predetermined signal as the presentation data when the judgment means judges that the event is not notified.
本発明の監視方法は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含むことを特徴とする。 The monitoring method of the present invention acquires the first sensor data from the first sensor, acquires the second sensor data from the second sensor, and the first and second acquired by the processing of the acquisition step Based on the second sensor data, the state data description step describing the state data related to the reaction states of the first and second sensors, the state data described by the processing of the state data description step, and the determination table are compared, A determination step for determining whether or not to notify an event, a construction step for constructing presentation data including event data for notifying an event when it is determined to notify the event by the processing of the determination step, and A presentation step of performing presentation based on the presentation data constructed by the processing.
本発明の第1の記録媒体に記録されているプログラムは、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。
The program recorded on the first recording medium of the present invention obtains the first sensor data from the first sensor and obtains the second sensor data from the second sensor, and the obtaining step Based on the first and second sensor data acquired by the processing of
本発明の第1のプログラムは、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。 The first program of the present invention acquires the first sensor data from the first sensor, acquires the second sensor data from the second sensor, and the first step acquired by the processing of the acquisition step. Based on the first and second sensor data, the state data description step describing the state data related to the reaction states of the first and second sensors is compared with the state data described by the processing of the state data description step and the determination table. A determination step for determining whether or not to notify the event, a construction step for constructing presentation data including event data for notifying the event when it is determined to notify the event by the processing of the determination step, and a construction A process including a presentation step for presenting based on the presentation data constructed by the process of the step. Characterized in that to perform the data.
本発明の第1の情報処理装置は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得手段と、取得手段により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段と、判定手段によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信手段とを備えることを特徴とする。 The first information processing apparatus of the present invention acquires the first sensor data from the first sensor, the acquisition means for acquiring the second sensor data from the second sensor, and the first information acquired by the acquisition means. Based on the first and second sensor data, the state data description means describing the state data relating to the reaction states of the first and second sensors, the state data described by the state data description means and the determination table are compared, A determination unit that determines whether or not to notify an event; and a transmission unit that transmits event data for notifying an event to another device when the determination unit determines to notify the event. To do.
前記他の装置から供給された判定テーブルを取得し、蓄積する判定テーブル蓄積手段をさらに設けるようにすることができる。 A determination table storage means for acquiring and storing the determination table supplied from the other apparatus may be further provided.
前記イベントの通知が終了された場合、送信手段は、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信するようにすることができる。 When the notification of the event is terminated, the transmission unit can stop transmission of the event data and transmit the state data described by the state data description unit to another device.
前記第1のセンサは、フォトセンサであり、第2のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
本発明の第1の情報処理方法は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信ステップとを含むことを特徴とする。 The first information processing method of the present invention is acquired by acquiring the first sensor data from the first sensor and acquiring the second sensor data from the second sensor, and the processing of the acquisition step. Based on the first and second sensor data, a state data description step describing state data relating to reaction states of the first and second sensors, state data described by the processing of the state data description step, and a determination table A determination step for determining whether or not to notify an event, and a transmission step for transmitting event data for notifying an event to another device when it is determined to notify the event by the processing of the determination step; It is characterized by including.
本発明の第2の記録媒体に記録されているプログラムは、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。
The program recorded on the second recording medium of the present invention obtains the first sensor data from the first sensor and obtains the second sensor data from the second sensor, and the obtaining step Based on the first and second sensor data acquired by the processing of
本発明の第2のプログラムは、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。 The second program of the present invention acquires the first sensor data from the first sensor and acquires the second sensor data from the second sensor, and the first program acquired by the processing of the acquisition step. Based on the first and second sensor data, the state data description step describing the state data related to the reaction states of the first and second sensors is compared with the state data described by the processing of the state data description step and the determination table. A determination step for determining whether or not to notify the event, and a transmission step for transmitting event data for notifying the event to another device when it is determined to notify the event by the processing of the determination step. The processing is performed by a computer.
本発明の第2の情報処理装置は、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積手段と、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段とを備えることを特徴とする。 The second information processing apparatus of the present invention receives status data relating to the reaction state of the first and second sensors described in the other apparatus, and stores the data as a determination table, and the other apparatus. And a construction unit that constructs the presentation data by inserting event data transmitted together with the event into data based on a predetermined signal when the event is notified.
前記構築手段により構築された呈示データに基づく呈示を行う呈示手段をさらに設けるようにすることができる。 Presenting means for presenting based on the presentation data constructed by the constructing means may be further provided.
前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段をさらに設け、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付けるようにすることができる。 An acquisition means for acquiring a judgment input from the user based on the presentation by the presentation means is further provided, and the storage means associates the judgment input from the user acquired by the acquisition means with the state data. it can.
前記蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段をさらに設けるようにすることができる。 Transmission means for transmitting the determination table stored in the storage means to another device may be further provided.
前記他の装置よりイベントが通知されていない場合、構築手段は、予め定められた信号に基づくデータを呈示データとするようにすることができる。 When the event is not notified from the other device, the construction unit can make data based on a predetermined signal as the presentation data.
前記第1のセンサは、フォトセンサであり、第2のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
本発明の第2の情報処理方法は、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップとを含むことを特徴とする。 The second information processing method of the present invention receives status data relating to the reaction states of the first and second sensors described in another device, stores the data as a determination table, and from another device And a construction step of constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal when the event is notified.
本発明の第3の記録媒体に記録されているプログラムは、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップとを含む処理をコンピュータに行わせることを特徴とする。 The program recorded on the third recording medium of the present invention includes an accumulation step of receiving state data relating to the reaction states of the first and second sensors described in other devices and accumulating it as a determination table. When an event is notified from another device, the computer performs processing including a construction step of constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal. It is characterized by that.
本発明の第3のプログラムは、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップと、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップとを含む処理をコンピュータに行わせることを特徴とする。 The third program of the present invention receives status data relating to the reaction states of the first and second sensors described in another device, stores the data as a determination table, and an event from another device. When notified, the computer is caused to perform a process including a construction step of constructing presentation data by inserting event data transmitted together with an event into data based on a predetermined signal.
第1の本発明においては、第1および第2のセンサからそれぞれセンサデータが取得され、それらのデータに基づいて、第1および第2のセンサの反応状態に関する状態データが記述され、記述された状態データと判定テーブルが比較され、比較の結果、イベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データが構築されて呈示される。 In the first aspect of the present invention, sensor data is obtained from each of the first and second sensors, and based on those data, state data relating to the reaction state of the first and second sensors is described and described. The state data is compared with the determination table, and when it is determined that the event is notified as a result of the comparison, the presentation data including the event data for notifying the event is constructed and presented.
第2の本発明においては、第1および第2のセンサからそれぞれセンサデータが取得され、それらのデータに基づいて、第1および第2のセンサの反応状態に関する状態データが記述され、記述された状態データと判定テーブルが比較され、比較の結果、イベントを通知すると判定された場合、イベントを通知するためのイベントデータが他の装置に送信される。 In the second aspect of the present invention, sensor data is obtained from each of the first and second sensors, and based on these data, state data relating to the reaction state of the first and second sensors is described and described. The state data is compared with the determination table, and when it is determined that an event is notified as a result of the comparison, event data for notifying the event is transmitted to another device.
第3の本発明においては、他の装置で記述された第1および第2のセンサの反応状態に関する状態データが受信され、それが判定テーブルとして蓄積され、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータが、予め定められた信号に基づくデータに挿入されて呈示データが構築される。 In the third aspect of the present invention, when the state data relating to the reaction state of the first and second sensors described in the other device is received, accumulated as a determination table, and an event is notified from the other device The event data transmitted together with the event is inserted into data based on a predetermined signal to construct the presentation data.
第1の本発明によれば、検知したイベントを呈示することができる。特に、監視領域内に進入した人の行動を区別し、イベントとして呈示することが可能となる。 According to the first aspect of the present invention, the detected event can be presented. In particular, the behavior of a person who has entered the monitoring area can be distinguished and presented as an event.
第2の本発明によれば、検知したイベントを通知することができる。特に、監視領域内に進入した人の行動を区別し、他の装置に通知することが可能となる。 According to the second aspect of the present invention, a detected event can be notified. In particular, it is possible to distinguish the behavior of a person who has entered the monitoring area and notify other devices.
第3の本発明によれば、検知したイベントを呈示することができる。特に、他の装置で発生したイベントを呈示するとともに、発生したイベント時の状態を、イベント通知の判定処理に用いるテーブルとして蓄積することが可能となる。 According to the third aspect of the present invention, the detected event can be presented. In particular, it is possible to present an event that has occurred in another device and to store the state at the time of the event as a table that is used in the event notification determination process.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
請求項1に記載の監視システム(例えば、図1の監視システム10)は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得手段(例えば、図26のステップS2の処理を実行する図4の状態記述部41)と、取得手段により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段(例えば、図27のステップS21乃至S29の処理を実行する図4の状態記述部41)と、状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段(例えば、図28のステップS41乃至S48の処理を実行する図4のイベント通知判定部42)と、判定手段によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築手段(例えば、図29のステップS63の処理を実行する図4の呈示画像構築部52)と、構築手段により構築された呈示データに基づく呈示を行う呈示手段(例えば、図29のステップS63の処理を実行する図4の呈示部3、または図31のステップS112の処理を実行する図4の呈示部62)とを備えることを特徴とする。
The monitoring system according to claim 1 (for example, the monitoring system of FIG. 1) acquires first sensor data from a first sensor and acquires second sensor data from a second sensor. (For example, the
請求項2に記載の監視システムの第1のセンサは、フォトセンサ(例えば、図2のフォトセンサ22)であり、第2のセンサは、マイクロ波センサ(例えば、図2のマイクロ波センサ23)であることを特徴とする。
The first sensor of the monitoring system according to claim 2 is a photo sensor (for example, photo sensor 22 in FIG. 2), and the second sensor is a microwave sensor (for example,
請求項3に記載の監視システムの状態データ(例えば、図22に示す状態記述データ111−1乃至111−n)は、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むことを特徴とする。 The status data of the monitoring system according to claim 3 (for example, status description data 111-1 to 111-n shown in FIG. 22) includes reaction symbols and reaction states classified according to the reaction state of the first sensor. It includes a feature amount relating to the duration and the reaction state of the second sensor in the reaction state.
請求項4に記載の監視システムの構築手段は、テレビジョン放送に基づく信号(例えば、図4に示す一般視聴信号)にイベントデータを挿入して呈示データを構築することを特徴とする。 According to a fourth aspect of the present invention, there is provided a monitoring system constructing unit which constructs presentation data by inserting event data into a signal based on a television broadcast (for example, a general viewing signal shown in FIG. 4).
請求項5に記載の監視システムの構築手段は、判定手段によりイベントを通知しないと判定された場合、予め定められた信号(例えば、図4に示す一般視聴信号)に基づくデータを呈示データとすることを特徴とする。
The construction means of the monitoring system according to
請求項6に記載の監視方法は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップ(例えば、図26のステップS2)と、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップ(例えば、図27のステップS21乃至S29)と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップ(例えば、図28のステップS41乃至S48)と、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップ(例えば、図29のステップS63)と、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップ(例えば、図29のステップS63または図31のステップS112)とを含むことを特徴とする。 In the monitoring method according to claim 6, the first sensor data is acquired from the first sensor and the second sensor data is acquired from the second sensor (for example, step S2 in FIG. 26). Based on the first and second sensor data acquired by the processing of the acquisition step, a state data description step (for example, steps S21 to S21 in FIG. 27) that describes state data related to the reaction state of the first and second sensors. S29), a determination step (for example, steps S41 to S48 in FIG. 28) for determining whether or not to notify an event by comparing the determination table with the state data described by the processing of the state data description step, and a determination step If it is determined to notify the event by the process of, presentation data including event data to notify the event A construction step (for example, step S63 in FIG. 29) to be constructed, and a presentation step (for example, step S63 in FIG. 29 or step S112 in FIG. 31) for presenting based on the presentation data constructed by the processing in the construction step. It is characterized by that.
なお、請求項7に記載の記録媒体に記録されているプログラム、および請求項8に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項6に記載の監視方法と同様である。
In the program recorded on the recording medium according to claim 7 and the program according to
請求項9に記載の情報処理装置(例えば、図1のマルチセンサカメラ1)は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得手段(例えば、図26のステップS2の処理を実行する図4の状態記述部41)と、取得手段により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段(例えば、図27のステップS21乃至S29の処理を実行する図4の状態記述部41)と、状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段(例えば、図28のステップS41乃至S48の処理を実行する図4のイベント通知判定部42)と、判定手段によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信手段(例えば、図26のステップS11の処理を実行する図4のイベント通知判定部42)とを備えることを特徴とする。
The information processing apparatus according to claim 9 (for example, the
請求項10に記載の情報処理装置は、他の装置(例えば、図1の処理ボックス2)から供給された判定テーブル(例えば、図25に示すパターン141−1乃至141−kからなる通知判定テーブル)を取得し、蓄積する判定テーブル蓄積手段(例えば、図26のステップS13の処理を実行する図23の通知判定テーブル蓄積部122)をさらに備えることを特徴とする。
The information processing apparatus according to
請求項11に記載の情報処理装置は、前記イベントの通知が終了された場合(例えば、図26のステップS5)、送信手段が、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信する(図26のステップS7)ことを特徴とする。
In the information processing apparatus according to
請求項12に記載の情報処理装置の第1のセンサは、フォトセンサ(例えば、図2のフォトセンサ22)であり、第2のセンサは、マイクロ波センサ(例えば、図2のマイクロ波センサ23)であることを特徴とする。
The first sensor of the information processing apparatus according to claim 12 is a photosensor (for example, the photosensor 22 in FIG. 2), and the second sensor is a microwave sensor (for example, the
請求項13に記載の情報処理装置の状態データ(例えば、図22に示す状態記述データ111−1乃至111−n)は、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むことを特徴とする。 The state data (for example, state description data 111-1 to 111-n shown in FIG. 22) of the information processing apparatus according to claim 13 includes reaction symbols and reaction states classified according to the reaction state of the first sensor. And a feature amount relating to the reaction state of the second sensor in the reaction state.
請求項14に記載の情報処理方法は、第1のセンサから第1のセンサデータを取得するとともに、第2のセンサから第2のセンサデータを取得する取得ステップ(例えば、図26のステップS2)と、取得ステップの処理により取得された第1および第2のセンサデータに基づいて、第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップ(例えば、図27のステップS21乃至S29)と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップ(例えば、図28のステップS41乃至S48)と、判定ステップの処理によりイベントを通知すると判定された場合、イベントを通知するためのイベントデータを他の装置に送信する送信ステップ(例えば、図26のステップS11)とを含むことを特徴とする。 The information processing method according to claim 14 obtains the first sensor data from the first sensor and obtains the second sensor data from the second sensor (for example, step S2 in FIG. 26). Then, based on the first and second sensor data acquired by the processing of the acquisition step, a state data description step (for example, step S21 in FIG. 27) that describes state data related to the reaction state of the first and second sensors. Through S29), a determination step (for example, steps S41 through S48 in FIG. 28) for determining whether to notify an event by comparing the determination table with the state data described by the processing of the state data description step, When it is determined that the event is notified by the processing of the step, the event data for notifying the event is sent to other devices. Shin transmitting step (e.g., step S11 in FIG. 26), characterized in that it comprises a.
なお、請求項15に記載の記録媒体に記録されているプログラム、および請求項16に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項14に記載の情報処理方法と同様である。 In the program recorded on the recording medium according to claim 15 and the program according to claim 16, an embodiment (however, an example) corresponding to each step is the information processing according to claim 14. It is the same as the method.
請求項17に記載の情報処理装置(例えば、図1の処理ボックス2)は、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積手段(例えば、図29のステップS68の処理を実行する図4の状態記述データ蓄積部53)と、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段(例えば、図29のステップS63の処理を実行する図4の呈示画像構築部52)とを備えることを特徴とする。
The information processing device according to claim 17 (for example, the processing box 2 in FIG. 1) receives state data relating to reaction states of the first and second sensors described in another device, and uses the data as a determination table. When an event is notified from the storage means for storing (for example, the state description
請求項18に記載の情報処理装置は、構築手段により構築された呈示データに基づく呈示を行う呈示手段(例えば、図29のステップS63の処理を実行する図4の呈示部3、または図31のステップS112の処理を実行する図4の呈示部62)をさらに備えることを特徴とする。
The information processing apparatus according to claim 18 is a presentation unit that performs a presentation based on the presentation data constructed by the construction unit (for example, the
請求項19に記載の情報処理装置は、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段(例えば、図29のステップS69の処理を実行する図4の通知判定テーブル更新部54)をさらに備え、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付ける(例えば、図29のステップS71)ことを特徴とする。 The information processing apparatus according to claim 19 is an acquisition unit that acquires a determination input from a user based on the presentation by the presentation unit (for example, the notification determination table update in FIG. 4 that executes the process of step S69 in FIG. 29). Unit 54), and the storage means associates the judgment input from the user acquired by the acquisition means with the state data (for example, step S71 in FIG. 29).
請求項20に記載の情報処理装置は、蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段(例えば、図29のステップS74の処理を実行する図4の通知判定テーブル更新部54)をさらに備えることを特徴とする。
The information processing apparatus according to
請求項21に記載の情報処理装置は、他の装置よりイベントが通知されていない場合、構築手段が、予め定められた信号(例えば、図4に示す一般視聴信号)に基づくデータを呈示データとすることを特徴とする。
In the information processing device according to
請求項22に記載の情報処理装置の第1のセンサは、フォトセンサ(例えば、図2のフォトセンサ22)であり、第2のセンサは、マイクロ波センサ(例えば、図2のマイクロ波センサ23)であることを特徴とする。
The first sensor of the information processing apparatus according to claim 22 is a photo sensor (for example, the photo sensor 22 in FIG. 2), and the second sensor is a microwave sensor (for example, the
請求項23に記載の情報処理装置の状態データ(例えば、図22に示す状態記述データ111−1乃至111−n)は、第1のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第2のセンサの反応状態に関する特徴量を含むことを特徴とする。
The state data (for example, state description data 111-1 to 111-n shown in FIG. 22) of the information processing apparatus according to
請求項24に記載の情報処理方法は、他の装置で記述された第1および第2のセンサの反応状態に関する状態データを受信し、それを判定テーブルとして蓄積する蓄積ステップ(例えば、図29のステップS68)と、他の装置からイベントが通知された場合、イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップ(例えば、図29のステップS63)とを含むことを特徴とする。 The information processing method according to claim 24 is a storage step (for example, as shown in FIG. 29) that receives state data relating to the reaction states of the first and second sensors described in other devices and stores them as a determination table. Step S68) and, when an event is notified from another device, event data transmitted together with the event is inserted into data based on a predetermined signal to construct presentation data (for example, FIG. 29). Step S63).
なお、請求項25に記載の記録媒体に記録されているプログラム、および請求項26に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項24に記載の情報処理方法と同様である。 In the program recorded on the recording medium according to claim 25 and the program according to claim 26, an embodiment (however, an example) corresponding to each step is the information processing according to claim 24. It is the same as the method.
以下に、本発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明を適用した監視システム10の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ1が備えられており、図中右側の通知・呈示側に、処理ボックス2、呈示部3、および、処理ボックス2を遠隔操作するためのリモートコントローラ4が備えられている。マルチセンサカメラ1と処理ボックス2は、無線アンテナ1Aと無線アンテナ2Aを介して、相互に無線通信を行なう。処理ボックス2とリモートコントローラ4は、相互に無線通信あるいは赤外線通信を行う。処理ボックス2と呈示部3は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ1と処理ボックス2は、無線通信に限られるものではなく、有線による通信であってもよい。
FIG. 1 shows a configuration example of a
マルチセンサカメラ1は、イベントを監視したい領域(必要な場所)に設置されている。マルチセンサカメラ1には、例えば、図2に示されるように、CCD(Charge Coupled Device)カメラ21、フォトセンサ22、およびマイクロ波センサ23が設けられており、各センサは、図示せぬバッテリにより駆動される。
The
CCDカメラ21は、監視領域(視野角)内の状況を随時撮影する。その詳細は後述するが、マルチセンサカメラ1は、フォトセンサ22およびマイクロ波センサ23で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、CCDカメラ21で撮影された画像データ(イベントデータ)を処理ボックス2に送信する。
The
フォトセンサ22は、図3に示されるように、自己が監視することが可能な領域31内の平均輝度を検知信号として出力しており、人物が領域31内に進入または退出したことに応じて、その出力が変化する。
As shown in FIG. 3, the photosensor 22 outputs the average luminance in the
マイクロ波センサ23は、マイクロ波を発生し、図3に示されるように、自己が監視することが可能な領域32内に照射しており、そのマイクロ波が人物(監視対象)に当たって反射されたときの反射波を検知し、反射波が基準の位相より進んでいるか、または遅れているかを表わす検知信号を生成する。この位相の進みと遅れは、ドップラ効果によるものであり、物体の接近または離反に対応している。以下、フォトセンサ22およびマイクロ波センサ23が監視することが可能な領域31,32を、単に、監視領域31,32と記載する。なお、図3の例では、フォトセンサ22の監視領域31は、マイクロ波センサ23の監視領域32に較べ、その領域(視野角)が狭くなっている。
The
図1の説明に戻る。マルチセンサカメラ1は、イベントを通知すると判定した場合、無線アンテナ1Aを介して、イベント呈示に必要なデータを処理ボックス2に送信する。
Returning to the description of FIG. When the
処理ボックス2は、マルチセンサカメラ1から送信されてきたイベント呈示に必要なデータを、無線アンテナ2Aを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部3およびリモートコントローラ4に供給または送信して、イベントを呈示させる。
The processing box 2 receives data necessary for event presentation transmitted from the
呈示部3は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合(通常の場合)、一般の視聴信号(放送信号に基づく映像)を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部3は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
The
ユーザは、呈示部3に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ4から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン(図示せず)を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン(図示せず)を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス2で作成される、イベントを通知するか否かを判定する際に用いられる通知判定テーブル(後述)が時間とともに変化するため、ユーザが監視システム10を使用する度にユーザが意図するイベントのみが検知され、通知されるようになる。
The user can make a determination on the event presented on the
またマルチセンサカメラ1に搭載されるCCDカメラ21は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。
In addition, the
図4は、図1に示した監視システム10の機能的構成例を示すブロック図である。
FIG. 4 is a block diagram illustrating a functional configuration example of the
マルチセンサカメラ1のCCDカメラ21は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ44を介して送信部45に供給する。
The
フォトセンサ22は、監視領域31(図3)内の平均輝度をフォトセンサデータとして状態記述部41に供給する。
The photosensor 22 supplies the average luminance in the monitoring area 31 (FIG. 3) to the
ここで、図5乃至図7を参照して、フォトセンサ22の原理について説明する。 Here, the principle of the photosensor 22 will be described with reference to FIGS.
図5は、フォトセンサ22が出力する検知信号の例を説明する図である。 FIG. 5 is a diagram illustrating an example of a detection signal output from the photosensor 22.
図5Aは、人物71が、図中矢印で示される方向からフォトセンサ22の監視領域31内に進入し、退出する様子を模式的に示している。フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、図5Aに示されるように人物71が行動した場合、それに対応して、例えば、図5Bに示されるような変化を示す。同図において、縦軸はフォトセンサ22が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。また、基準値Lは、人物71が監視領域31内に侵入していない場合のセンサ出力値であり、背景の平均輝度に対応している。この例の場合、フォトセンサ22が出力する検知信号81は、人物71が監視領域31内に進入していくに従って、その出力レベルが徐々に大きくなり、退出するに従って、その出力レベルが徐々に小さくなる。
FIG. 5A schematically shows a
なお、図5Bに示す検知信号81は、人物71に対する平均輝度の出力レベルが基準値(背景に対する平均輝度)Lより高い場合の特性を表わしており、人物71に対する平均輝度の出力レベルが基準値Lより低い場合には、検知信号81の出力変化は、負の方向に変化する。
The
図6は、フォトセンサ22が出力する検知信号の他の例を説明する図である。 FIG. 6 is a diagram illustrating another example of the detection signal output from the photosensor 22.
図6Aは、フォトセンサ22の監視領域31内において、人物71が、図中矢印で示されるように、フォトセンサ22に接近し、離反する(遠ざかる)様子を模式的に示している。上述したように、フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、図6Aに示されるように人物71が行動した場合、それに対応して、例えば、図6Bに示されるような変化を示す。この例の場合、フォトセンサ22が出力する検知信号81は、人物71がフォトセンサ22に接近していくに従って、その出力レベルが徐々に大きくなり、離反するに従って、その出力レベルが徐々に小さくなる。また、人物71が監視領域31内に侵入している状態で、フォトセンサ22に接近し、離反しているため、図6Bに示す検知信号81の出力レベルは、図5Bに示した値より高い特性を示している。
FIG. 6A schematically shows a state in which a
なお、上述したように、図6Bに示す検知信号81は、人物71に対する平均輝度の出力レベルが基準値Lより高い場合の特性を表わしており、人物71に対する平均輝度の出力レベルが基準値Lより低い場合には、検知信号81の出力変化は、やはり負の方向に変化する。
As described above, the
図5および図6に示したように、人物71の行動に応じて、フォトセンサ22が出力する検知信号81の出力レベルの変化および変化する方向(すなわち、徐々に大きくなる方向、または徐々に小さくなる方向)には決まった特性が表れる。従って、フォトセンサ22が出力する検知信号81の出力レベルの変化および変化する方向に着目することにより、人物71が、監視領域31内でどのような行動を取っているかをおおよそ推定することができる。
As shown in FIGS. 5 and 6, the change in the output level of the
図7は、フォトセンサ22が出力する検知信号81の出力レベルの変化と人物71の行動との関係を示す図である。
FIG. 7 is a diagram illustrating the relationship between the change in the output level of the
反応区間Xは、フォトセンサ22が出力する検知信号81の出力レベルが基準値Lから変化している区間(時間)であり、人物71が監視領域31内に存在していることを表わしている。この反応区間Xにおいて、検知信号81の出力レベルが基準値Lから離れる方向(図7の例の場合、正の方向に離れているが、負の方向に離れる場合も含む)に変化する区間Aは、人物71が監視領域31内に進入しているか、または監視領域31内でフォトセンサ22に接近していることを表わし、検知信号81の出力レベルが変化しない区間Bは、人物71が監視領域31内で行動していない(静止している)ことを表わし、検知信号81の出力レベルが基準値Lに近づく方向(図7の例の場合、負の方向に近づいているが、正の方向に近づく場合も含む)に変化する区間Cは、人物71が監視領域31から退出しているか、または監視領域31内でフォトセンサ22から離反していることを表わしている。
The reaction section X is a section (time) in which the output level of the
このように、フォトセンサ22が出力する検知信号81の出力レベルの変化および変化する方向に応じて、監視領域31内における人物71の行動をおおよそ推定することができる。
Thus, the behavior of the
図4の説明に戻る。マイクロ波センサ23は、監視領域32(図3)内にマイクロ波を照射しており、接近の反応を表わす検知信号および離反の反応を表わす検知信号をマイクロ波センサデータとして状態記述部41に供給する。
Returning to the description of FIG. The
ここで、図8乃至図11を参照して、マイクロ波センサ23の原理について説明する。
Here, the principle of the
図8と図9は、マイクロ波センサ23が出力する検知信号の例を説明する図である。
8 and 9 are diagrams illustrating examples of detection signals output from the
図8は、マイクロ波センサ23の監視領域32内において、人物71−1,71−2が、それぞれ、図中矢印で示されるように、マイクロ波センサ23に接近または離反している様子を模式的に示している。マイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図8に示されるように、センサを中心とした円周に対し人物71−1がほぼ垂直に接近するように行動した場合、それに対応して、例えば、図9Aに示されるような接近の反応を表わす検知信号91を出力する。またマイクロ波センサ23は、センサを中心とした円周に対し人物71−2がほぼ垂直に離反するように行動した場合、それに対応して、例えば、図9Bに示されるような離反の反応を表わす検知信号92を出力する。同図において、縦軸はマイクロ波センサ23が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。なお、検知信号91,92は、いずれも2値出力とされる。
FIG. 8 is a schematic view of the person 71-1 and 71-2 approaching or moving away from the
図10は、マイクロ波センサ23が出力する検知信号の他の例を説明する図である。
FIG. 10 is a diagram illustrating another example of the detection signal output from the
図10Aは、マイクロ波センサ23の監視領域32内において、人物71が、センサを中心とした円周上を、図中矢印で示される方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図10Aに示されるように、センサを中心とした円周上を人物71が行動した場合、それに対応して、例えば、図10Bに示されるような検知信号を出力する。この例の場合、接近の反応を表わす検知信号91および離反の反応を表わす検知信号92が不規則に出力されている(不安定な反応の検知信号が出力されている)。
FIG. 10A schematically shows a state in which a
図11は、マイクロ波センサ23が出力する検知信号の他の例を説明する図である。
FIG. 11 is a diagram for explaining another example of the detection signal output from the
図11Aは、マイクロ波センサ23の監視領域32内において、人物71が、センサを中心とした円周上付近を、図中矢印で示されるように、円の接線に平行な方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図11Aに示されるように、センサを中心とした円の接線付近を人物71が行動した場合、それに対応して、例えば、図11Bに示されるような検知信号を出力する。この例の場合、円周の接点Sより手前では接近の反応を表わす検知信号91が出力され、円周の接点S付近では接近の反応を表わす検知信号91および離反の反応を表わす検知信号92の両方が出力され(不安定な反応の検知信号が出力され)、円周の接点Sより先では離反の反応を表わす検知信号92が出力されている。
FIG. 11A shows that in the
また図示は省略するが、人物71が円周の接点Sより離れていくに従って、マイクロ波センサ23が出力する検知信号は不安定な反応となり、最終的には無反応となる。
Moreover, although illustration is abbreviate | omitted, as the
ところで、マイクロ波センサ23から出力される検知信号を短時間で観測した場合、その信頼度が低い。例えば、検知信号が接近反応であったとしても、それが安定的に接近している行動の一部に応じて出力されたものであるのか、あるいは、不安定な反応の一部であるのかを区別することができず、人物71の行動を推定することが困難である。そこで、マイクロ波センサ23から出力される検知信号を充分な長さの時間で観測する(例えば、時間方向で接近または離反の反応数を積算する)必要がある。ただし、時間方向で長く観測しすぎた場合、反応数が増えることによりセンサの信頼度は向上するが、人物71の行動を推定するまでに時間がかかり、処理能力は低下してしまう。
By the way, when the detection signal output from the
以上のことから、本実施の形態では、フォトセンサ22とマイクロ波センサ23を統合利用して、短時間で、かつ、高精度に、さらに、電力消費を増大させることなく、人物71の行動を推定するようにする。
From the above, in the present embodiment, the photo sensor 22 and the
すなわち、図7に示したように、フォトセンサ22が反応している区間(反応区間X)における、検知信号81の出力レベルの変化の方向により区分されたそれぞれの区間(区間A乃至区間C)において、マイクロ波センサ23から出力される接近または離反を表わす検知信号91,92をそれぞれ積算し、その割合(正規化)を特徴量として記述する。
That is, as shown in FIG. 7, each section (section A to section C) divided according to the direction of change in the output level of the
具体的には、フォトセンサ22が反応している所定の区間において、図12Aに示されるように、マイクロ波センサ23から出力される接近、離反、または無反応を表わす検知信号をそれぞれ積算し、接近反応数、離反反応数、および無反応数と規定する。そして、各反応数を、積算に利用した全データ数で正規化したもの(割合)を特徴量として記述(プロット)する。なお、各割合は、0.0乃至1.0の値で表わすこととする。
Specifically, in a predetermined section in which the photosensor 22 is reacting, as shown in FIG. 12A, the detection signals representing approach, separation, or no reaction output from the
図12Bは、離反反応数の割合(縦軸)と接近反応数の割合(横軸)との関係を示している。同図に示されるように、領域101にプロットされる特徴量は、接近反応数が多いことを表わし、領域102にプロットされる特徴量は、離反反応数が多いことを表わし、領域103にプロットされる特徴量は、接近反応数と離反反応数が混在していることを表わし、領域104にプロットされる特徴量は、反応が少ない(無反応数が多い)ことを表わしている。
FIG. 12B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis). As shown in the figure, the feature amount plotted in the
例えば、接近反応数が15、離反反応数が70、無反応数が15に積算された場合、全データ数は100(=15+70+15)となり、接近反応数の割合は0.15(=15/100)、離反反応数の割合は0.7(=70/100)、無反応数の割合は0.15(=15/100)に正規化される。図中、この特徴量Qがプロットされている。 For example, when the number of approaching reactions is 15, the number of separation reactions is 70, and the number of no reactions is integrated into 15, the total number of data is 100 (= 15 + 70 + 15), and the ratio of approaching reactions is 0.15 (= 15/100 ), The ratio of the number of separation reactions is normalized to 0.7 (= 70/100), and the ratio of the number of no reactions is normalized to 0.15 (= 15/100). In the figure, this feature quantity Q is plotted.
このように、図7に示した区間A乃至区間Cにおける、マイクロ波センサ23の出力反応に基づいて、人物71の行動を分類することができる。
Thus, the action of the
次に、図13乃至図21を参照して、フォトセンサ22およびマイクロ波センサ23を統合利用した場合の原理について説明する。
Next, the principle when the photosensor 22 and the
図13と図14は、フォトセンサ22およびマイクロ波センサ23が出力する検知信号の例を説明する図である。
13 and 14 are diagrams illustrating examples of detection signals output from the photosensor 22 and the
図13は、フォトセンサ22の監視領域31を含むマイクロ波センサ23の監視領域32内において、人物71−1乃至71−3が、それぞれ、図中矢印で示される方向(図中、左上から右下方向、左から右方向、または左下から右上方向)に行動している様子を模式的に示している。上述したように、フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、またマイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図13に示されるように人物71−1乃至71−3が行動した場合、それらに対応して、例えば、図14A乃至図14Cに示されるような検知信号をそれぞれ出力する。同図において、縦軸はフォトセンサ22およびマイクロ波センサ23が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ23が出力する検知信号91−1乃至91−3,92−1乃至92−3は、いずれも2値出力とされる。
FIG. 13 shows that the persons 71-1 to 71-3 move in the directions indicated by the arrows in the figure (from the upper left to the right in the figure) in the
図14Aの例の場合、フォトセンサ22が出力する検知信号81−1は、人物71−1が監視領域31内に、遠い位置から近づきつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号81−1は、人物71−1に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している(後述する図14Bの検知信号81−2および図14Cの検知信号81−3も同様である)。またマイクロ波センサ23からは、接近の反応を表わす検知信号91−1が出力されている。なお、離反の反応を表わす検知信号92−1の出力レベルは0である。
In the case of the example of FIG. 14A, the detection signal 81-1 output from the photosensor 22 gradually increases in output level as the person 71-1 enters the
図14Bの例の場合、フォトセンサ22が出力する検知信号81−2は、人物71−2が監視領域31内を横切るように侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ23からは、接近の反応を表わす検知信号91−2、および離反の反応を表わす検知信号92−2が不規則に出力されている(不安定な反応の検知信号が出力されている)。
In the case of the example of FIG. 14B, the detection signal 81-2 output from the photosensor 22 gradually decreases as the person 71-2 enters the
図14Cの例の場合、フォトセンサ22が出力する検知信号81−3は、人物71−3が監視領域31内に、近い位置から遠ざかりつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ23からは、接近の反応を表わす検知信号91−3、および離反の反応を表わす検知信号92−3が出力されている。
In the case of the example in FIG. 14C, the detection signal 81-3 output from the photosensor 22 gradually increases in output level as the person 71-3 enters the
次に、図14A乃至図14Cに示したフォトセンサ22の反応区間Xにおいて、マイクロ波センサ23から出力される検知信号91−1乃至91−3,92−1乃至92−3をそれぞれ積算し、正規化したものを特徴量として記述する場合の具体例について、図15乃至図17を参照して説明する。
Next, in the reaction zone X of the photosensor 22 shown in FIGS. 14A to 14C, the detection signals 91-1 to 91-3 and 92-1 to 92-3 output from the
図15は、フォトセンサ22の反応区間Xにおけるマイクロ波センサ23の特徴量の例を説明する図である。
FIG. 15 is a diagram illustrating an example of the feature amount of the
図15Bは、反応区間Xにおける離反反応数の割合(縦軸)と接近反応数の割合(横軸)との関係を示している。ここで、反応区間Xとは、図15Aに示されるように、フォトセンサ22が出力する検知信号81の出力レベルが基準値Lから離れている区間を表わす。この例では、図13に示した人物71−1乃至71−3のそれぞれの行動に対応し、反応区間Xにおけるマイクロ波センサ23の特徴量が5回算出され、プロットされている。
FIG. 15B shows the relationship between the ratio of the separation reaction in the reaction zone X (vertical axis) and the ratio of the approaching reaction number (horizontal axis). Here, the reaction section X represents a section where the output level of the
図15Bにおいて、プロット群P1は、図15Aの反応区間Xにおけるマイクロ波センサ23の検知信号91−1(図14A)に基づいて算出された特徴量の集まりを表わしている。プロット群P2は、反応区間Xにおけるマイクロ波センサ23の検知信号91−2,92−2(図14B)に基づいて算出された特徴量の集まりを表わしている。プロット群P3は、反応区間Xにおけるマイクロ波センサ23の検知信号91−3,92−3(図14C)に基づいて算出された特徴量の集まりを表わしている。
In FIG. 15B, a plot group P1 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
このように、フォトセンサ22が出力する検知信号の出力レベルの変化および変化する方向(図14A乃至図14C)には、顕著な違いが現れないが、マイクロ波センサ23の特徴量(図15B)には、明らかに違いがあり、人物71−1乃至71−3の行動を区別することが可能となる。 As described above, the change in the output level of the detection signal output from the photosensor 22 and the direction of change (FIGS. 14A to 14C) do not show a significant difference, but the feature amount of the microwave sensor 23 (FIG. 15B). Is clearly different, and it becomes possible to distinguish the actions of the persons 71-1 to 71-3.
次に、上述した反応区間Xを細分類し、分類された所定の区間におけるマイクロ波センサ23の特徴量の例について説明する。
Next, an example of the feature amount of the
図16は、反応区間Xのうち、基準値Lから離れる区間Aにおけるマイクロ波センサ23の特徴量の例を説明する図である。
FIG. 16 is a diagram for explaining an example of the feature amount of the
図16Bは、図16Aの反応区間Xのうち、基準値Lから離れる区間Aにおける離反反応数の割合(縦軸)と接近反応数の割合(横軸)との関係を示している。ここで、基準値Lから離れる区間Aとは、図16Aに示されるように、フォトセンサ22が出力する検知信号81の出力レベルが基準値Lから離れる方向(図16Aの例の場合、負の方向に離れているが、正の方向に離れる場合も含む)に変化する反応区間を表わす。この例では、図13に示した人物71−1乃至71−3のそれぞれの行動に対応し、基準値Lから離れる区間Aにおけるマイクロ波センサ23の特徴量が5回算出され、プロットされている。
FIG. 16B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis) in the section A away from the reference value L in the reaction section X of FIG. 16A. Here, the section A away from the reference value L is a direction in which the output level of the
図16Bにおいて、プロット群P11は、基準値Lから離れる区間Aにおけるマイクロ波センサ23の検知信号91−1(図14A)に基づいて算出された特徴量の集まりを表わしている。プロット群P12は、基準値Lから離れる区間Aにおけるマイクロ波センサ23の検知信号91−2(図14B)に基づいて算出された特徴量の集まりを表わしている。プロット群P13は、基準値Lから離れる区間Aにおけるマイクロ波センサ23の検知信号91−3,92−3(図14C)に基づいて算出された特徴量の集まりを表わしている。
In FIG. 16B, a plot group P11 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
図17は、反応区間Xのうち、基準値Lに近づく区間Cにおけるマイクロ波センサ23の特徴量の例を説明する図である。
FIG. 17 is a diagram illustrating an example of the feature amount of the
図17Bは、図17Aの反応区間Xのうち、基準値Lに近づく区間Cにおける離反反応数の割合(縦軸)と接近反応数の割合(横軸)との関係を示している。ここで、基準値Lに近づく区間Cとは、図17Aに示されるように、フォトセンサ22が出力する検知信号81の出力レベルが基準値Lに近づく方向(図17Aの例の場合、正の方向に近づいているが、負の方向に近づく場合も含む)に変化する反応区間を表わす。この例では、図13に示した人物71−1乃至71−3のそれぞれの行動に対応し、基準値Lに近づく区間Cにおけるマイクロ波センサ23の特徴量が5回算出され、プロットされている。
FIG. 17B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis) in the section C approaching the reference value L in the reaction section X of FIG. 17A. Here, the section C approaching the reference value L is a direction in which the output level of the
図17Bにおいて、プロット群P21は、基準値Lに近づく区間Cにおけるマイクロ波センサ23の検知信号91−1(図14A)に基づいて算出された特徴量の集まりを表わしている。プロット群P22は、基準値Lに近づく区間Cにおけるマイクロ波センサ23の検知信号92−2(図14B)に基づいて算出された特徴量の集まりを表わしている。プロット群P23は、基準値Lに近づく区間Cにおけるマイクロ波センサ23の検知信号92−3(図14C)に基づいて算出された特徴量の集まりを表わしている。
In FIG. 17B, the plot group P21 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
このように、フォトセンサ22が出力する検知信号81の出力レベルの変化からは、進入し、退出している行動か、あるいは、接近し、離反している行動かを推定することしかできなかったが、マイクロ波センサ23が出力する検知信号91,92に基づいて算出された特徴量から、人物が、どの方向から進入してきたか、あるいは、どの方向に退出したかなどを区別することができる。
Thus, from the change in the output level of the
以上においては、反応区間Xのうち、フォトセンサ22の検知信号81の出力レベルが変化する区間Aおよび区間Cにおけるマイクロ波センサ23の特徴量から、人物の行動を推定する場合の具体例について説明した。次に、反応区間Xのうち、フォトセンサ22の検知信号81の出力レベルが変化しない区間B(図7)におけるマイクロ波センサ23の特徴量から、人物の行動を推定する場合の具体例について、図18乃至図21を参照して説明する。
In the above, a specific example in the case where a person's action is estimated from the feature amount of the
図18は、監視領域内で人物71が完全停止した場合における、フォトセンサ22およびマイクロ波センサ23が出力する検知信号の例を説明する図である。
FIG. 18 is a diagram for explaining an example of detection signals output from the photosensor 22 and the
図18Aは、フォトセンサ22の監視領域31を含むマイクロ波センサ23の監視領域32内において、人物71が、図中矢印で示される方向に平行に横切るように行動し、途中、完全停止した様子を模式的に示している。上述したように、フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、またマイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図18Aに示されるように人物71が行動した場合、それに対応して、例えば、図18Bに示されるよう検知信号を出力する。同図において、縦軸はフォトセンサ22およびマイクロ波センサ23が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ23が出力する検知信号91,92は、いずれも2値出力とされる。
FIG. 18A shows a state in which a
図18Bの例の場合、フォトセンサ22が出力する検知信号81は、人物71が監視領域31内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、完全停止している区間Bは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号81は、人物71に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している(後述する図19Bおよび図20Bの検知信号81も同様である)。またマイクロ波センサ23からは、接近の反応を表わす検知信号91、および離反の反応を表わす検知信号92が出力されている。
In the case of the example in FIG. 18B, the
図19は、監視領域内で人物が軽く足踏みした場合における、フォトセンサ22およびマイクロ波センサ23が出力する検知信号の例を説明する図である。
FIG. 19 is a diagram illustrating an example of detection signals output from the photosensor 22 and the
図19Aは、フォトセンサ22の監視領域31を含むマイクロ波センサ23の監視領域32内において、人物71が、図中矢印で示されるように平行に横切る方向に行動し、途中、軽く足踏みした様子を模式的に示している。上述したように、フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、またマイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図19Aに示されるように人物71が行動した場合、それに対応して、例えば、図19Bに示されるような検知信号を出力する。
FIG. 19A shows a state in which a
図19Bの例の場合、フォトセンサ22が出力する検知信号81は、人物71が監視領域31内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で軽く足踏みしている区間Bは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ23からは、接近の反応を表わす検知信号91、および離反の反応を表わす検知信号92が出力されている。
In the case of the example in FIG. 19B, the
図20は、監視領域内で人物が激しく足踏みした場合における、フォトセンサ22およびマイクロ波センサ23が出力する検知信号の例を説明する図である。
FIG. 20 is a diagram for explaining an example of detection signals output from the photosensor 22 and the
図20Aは、フォトセンサ22の監視領域31を含むマイクロ波センサ23の監視領域32内において、人物71が、図中矢印で示されるように平行に横切る方向に行動し、途中、激しく足踏みした様子を模式的に示している。上述したように、フォトセンサ22は、常時、監視領域31内の平均輝度を検知信号として出力しており、またマイクロ波センサ23は、常時、監視領域32内にマイクロ波を照射しており、図20Aに示されるように人物71が行動した場合、それに対応して、例えば、図20Bに示されるような検知信号を出力する。
FIG. 20A shows a state in which a
図20Bの例の場合、フォトセンサ22が出力する検知信号81は、人物71が監視領域31内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で激しく足踏みしている区間Bは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ23からは、接近の反応を表わす検知信号91、および離反の反応を表わす検知信号92が出力されている。
In the case of the example in FIG. 20B, the
次に、図18B、図19B、および図20Bに示したフォトセンサ22の反応区間Xのうち、何も変化しない区間Bにおいて、マイクロ波センサ23から出力される検知信号91,92をそれぞれ積算し、正規化したものを特徴量として記述する場合の例について、図21を参照して説明する。
Next, the detection signals 91 and 92 output from the
図21の例では、図18A、図19A、および図20Aにそれぞれ示した人物71の行動に対応し、何も変化しない区間Bにおけるマイクロ波センサ23の特徴量が1回算出され、プロットされている。同図において、特徴量Q11は、何も変化しない区間Bにおける、図18Bに示したマイクロ波センサ23の出力(すなわち、出力レベル0)に基づいて算出された特徴量を表わしている。特徴量Q12は、何も変化しない区間Bにおける、図19Bに示したマイクロ波センサ23の検知信号91,92に基づいて算出された特徴量を表わしている。特徴量Q13は、何も変化しない区間Bにおける、図20Bに示したマイクロ波センサ23の検知信号91,92に基づいて算出された特徴量を表わしている。
In the example of FIG. 21, the feature quantity of the
このように、フォトセンサ22の反応区間Xのうち、何も変化しない区間B(図18B乃至図20B)については、反応が似ているため、監視領域31内の行動を区別することが困難であるが、マイクロ波センサ23の特徴量(図21)には、明らかに違いがあり、監視領域31内での人物71の行動を区別することが可能となる。
As described above, in the reaction section X of the photosensor 22, the section B (FIG. 18B to FIG. 20B) where nothing changes is similar in reaction, so it is difficult to distinguish the behavior in the
以上のように、フォトセンサ22の反応、およびマイクロ波センサ23の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動をより高精度に区別することができる。また、この場合、CCDカメラ21は動作していないので、電力消費を抑えることができる。
As described above, by combining the reaction of the photosensor 22 and the feature amount of the
図4の説明に戻る。状態記述部41は、フォトセンサ22から供給されたフォトセンサデータ、およびマイクロ波センサ23から供給されたマイクロ波センサデータに基づいて、監視領域内における人物71の一連の行動(センサ反応)の状態に関するデータ(以下、状態記述データと称する)を記述し、それをイベント通知判定部42に供給するとともに、スイッチ43を介して送信部45に供給する。
Returning to the description of FIG. Based on the photosensor data supplied from the photosensor 22 and the microwave sensor data supplied from the
ここで、図22を参照して、状態記述データの例について説明する。 Here, an example of state description data will be described with reference to FIG.
状態記述部41は、フォトセンサ22から供給されたフォトセンサデータ(検知信号81)から、図7を用いて上述したように、検知信号81の出力レベルが基準値Lから離れる方向に変化する区間A、何も変化しない区間B、および、検知信号81の出力レベルが基準値Lに近づく方向に変化する区間Cに分類し、区間A乃至区間Cにそれぞれ対応させて、反応記号A乃至Cをフォトセンサ22の状態として記述する。その際、反応区間毎の反応継続時間も記述する。
The
また状態記述部41は、マイクロ波センサ23から供給されたマイクロ波センサデータから、図12を用いて上述したように、フォトセンサ22の反応区間A乃至Cにおける、接近反応数の割合(0.0乃至1.0)、および離反反応数の割合(0.0乃至1.0)をマイクロ波センサ23の状態(特徴量)として記述する。
Further, the
すなわち、状態記述部41は、フォトセンサ22に関する状態を表わす反応記号およびその継続時間、並びに、マイクロ波センサ23に関する状態を表わす接近反応数の割合および離反反応数の割合を1単位とし、それを時間軸方向に連続的に並べたものを状態記述データ111−1乃至111−n(以下、状態記述データ111−1乃至111−nを個々に区別する必要がない場合、単に状態記述データ111と称する)として記述する。
That is, the
再び、図4の説明に戻る。イベント通知判定部42は、状態記述部41から供給された状態記述データ111(図22)と、受信部46を介して処理ボックス2から受信した通知判定テーブル(後述)を比較し、比較の結果、イベントを通知すると判定した場合、処理ボックス2に通知するイベントを送信部45に供給するとともに、CCDカメラ21に電源制御信号を供給してその電源をオンさせ、スイッチ43に状態記述データ送信制御信号を供給してオンさせ、スイッチ44に通知画像送信制御信号を供給してオンさせる。これにより、CCDカメラ21から出力された通知画像データが、スイッチ44を介して送信部45に供給され、状態記述部41から出力された状態記述データ111がスイッチ43を介して送信部45に供給される。
Returning to the description of FIG. The event
なお、マルチセンサカメラ1の初期状態においては、処理ボックス2から通知判定テーブルが送信されておらず、イベント通知判定部42は、この通知判定テーブルを保持していないため、状態記述部41から状態記述データ91が供給されると、直ちに通知イベントと判定する。すなわち、初期状態においては、全てのイベントが通知されることになる。これにより、必要なイベントがユーザに通知されないことが防止される。
In the initial state of the
送信部45は、処理ボックス2に対し、イベント通知判定部42から供給された通知イベントを送信するとともに、CCDカメラ21から供給された通知画像データおよび状態記述部41から供給された状態記述データ111を送信する。
The
受信部46は、処理ボックス2から送信されてきた通知判定テーブルを受信し、それをイベント通知判定部42に供給する。
The receiving
処理ボックス2の受信部51は、マルチセンサカメラ1から送信されてきた通知画像データおよび通知イベントを呈示画像構築部52に供給する。また受信部51は、マルチセンサカメラ1から送信されてきた状態記述データ111を状態記述データ蓄積部53に供給し、そこに蓄積させる。
The
呈示画像構築部52は、受信部51を介してマルチセンサカメラ1からイベントが通知された場合、一般視聴信号(テレビジョン放送信号)の一部に通知画像データを挿入した通知データを構築(作成)し、それを呈示部3に供給して呈示させる。また、呈示画像構築部52は、通知画像データにより構成される(一般視聴信号を含まない)リモートコントローラ4用の通知データを構築し、送信部56に供給する。なお、呈示画像構築部52は、イベントが通知されていない場合(通常の場合)、一般の視聴信号(放送信号に基づく映像)を呈示部3に供給して呈示させる。
The presentation
呈示部3用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部3には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ4用の通知データは、通知画像データから構成されているため、リモートコントローラ4の呈示部62には、イベントを表わす表示(例えば、監視している場所の画像)のみが呈示される。
Since the notification data for the presenting
通知判定テーブル更新部54は、受信部57を介してリモートコントローラ4からユーザフィードバック(FB)に関する信号(以下、適宜、ユーザFB信号と称する)を受信した場合、そのユーザフィードバックを状態記述データ蓄積部53に供給し、そこに蓄積させる。また通知判定テーブル更新部54は、状態記述データ蓄積部53に蓄積されている状態記述データ111とそれに対応するユーザフィードバックを読み込み、それらと通知判定テーブルを比較し、比較の結果に基づいてテーブルを更新する。そして、通知判定テーブル更新部54は、以前にマルチセンサカメラ1に送信した通知判定テーブルと異なる場合、新しい通知判定テーブルを送信部55に供給する。
When the notification determination table updating unit 54 receives a signal related to user feedback (FB) (hereinafter referred to as a user FB signal as appropriate) from the remote controller 4 via the receiving unit 57, the notification determination table updating unit 54 stores the user feedback in the state description data storage unit. 53 is supplied and stored there. The notification determination table update unit 54 reads the state description data 111 stored in the state description
ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ4の入力部63を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部63のOKボタン(図示せず)を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン(図示せず)を操作することで、ユーザフィードバックとして入力することができる。あるいは、イベントとして検出しなくてもよい場合だけ、フォードバックさせるようにしてもよい。
Here, the user feedback means a user's determination input that is input using the
状態記述データ蓄積部53は、受信部51から状態記述データ111が供給されたときに、通知判定テーブル更新部54からユーザフィードバックが供給された場合、状態記述データ111とユーザフィードバックを対応付けて蓄積し、状態記述データ111またはユーザフィードバックのいずれか一方のみが供給された場合、新規の状態記述データまたは新規のユーザフィードバックとして蓄積する。
When the state description data 111 is supplied from the
送信部55は、通知判定テーブル更新部54から供給された通知判定テーブルをマルチセンサカメラ1に送信する。送信部56は、呈示画像構築部52から供給された通知データをリモートコントローラ4に送信する。受信部57は、リモートコントローラ4から送信されてきたユーザFB信号を受信し、それを通知判定テーブル更新部54に供給する。
The
リモートコントローラ4の受信部61は、処理ボックス2から送信されてきた通知データを受信し、それを呈示部62に呈示させる。入力部63は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力(ユーザフィードバック)に関する信号を送信部64に供給する。送信部64は、入力部63から供給されたユーザFB信号を処理ボックス2に送信する。
The receiving unit 61 of the remote controller 4 receives the notification data transmitted from the processing box 2 and causes the presenting
ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断の入力を示す。マルチセンサカメラ1と処理ボックス2は、このユーザフィードバックに基づいて、処理を変化させる。
Here, as described above, the user feedback indicates, for example, a determination input by the user such as “an event that I want to be notified in the future” or “an event that should not be notified in the future”. The
図23は、図4のマルチセンサカメラ1のイベント通知判定部42の詳細な構成例を示すブロック図である。
FIG. 23 is a block diagram illustrating a detailed configuration example of the event
パターン一致判定部121は、状態記述部41から供給された状態記述データ111(図22)と、通知判定テーブル蓄積部122に蓄積されている通知判定テーブルを比較し、一致するパターンがあれば、その全ての状態記述データ111および通知判定テーブル中のパターンをマイクロ波センサ状態距離判定部123に供給する。ここで、パターンとは、状態記述データ111に含まれる反応記号の分類を表わす。
The pattern
マイクロ波センサ状態距離判定部123は、パターン一致判定部121から供給された状態記述データ111および通知判定テーブル中のパターンに関し、マイクロ波センサ23の状態の距離判定を行う。マイクロ波センサ状態距離判定部123は、距離判定の結果、イベントを通知すると判定した場合、処理ボックス2に通知するイベントを送信部45に供給し、電源制御信号をCCDカメラ21に供給し、状態記述データ送信制御信号をスイッチ43に供給し、通知画像送信制御信号をスイッチ44に供給する。これにより、CCDカメラ21の電源がオンされ、スイッチ43,44がオンされ、CCDカメラ21から出力された通知画像データおよび状態記述部41から出力された状態記述データ111が送信部45を介して処理ボックス2に送信される。
The microwave sensor state
通知判定テーブル蓄積部122は、処理ボックス2から送信されてきた通知判定テーブルを蓄積する。なお、通知判定テーブルの詳細は、図25を参照して、後述する。 The notification determination table storage unit 122 stores the notification determination table transmitted from the processing box 2. Details of the notification determination table will be described later with reference to FIG.
図24は、図4の処理ボックス2の通知判定テーブル更新部54の詳細な構成例を示すブロック図である。 FIG. 24 is a block diagram illustrating a detailed configuration example of the notification determination table update unit 54 of the processing box 2 of FIG.
ユーザフィードバック(FB)判定部131は、状態記述データ蓄積部53に蓄積されている状態記述データ111(図22)とそれに対応するユーザフィードバックを読み込み、ユーザフィードバックが「OK」を示すデータであるか、または「NG」を示すデータであるかを判定し、判定結果を状態記述データ111とともに状態記述パターン比較部132に供給する。
The user feedback (FB) determination unit 131 reads the state description data 111 (FIG. 22) stored in the state description
状態記述パターン比較部132は、ユーザフィードバック判定部131から「NG(今後はイベントとして検出しなくてもよい)」を示す判定結果が供給された場合、その判定結果とともに供給される状態記述データ111と、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブル中のパターンとを比較する。状態記述パターン比較部132は、比較の結果、状態記述データ111と仮の通知判定テーブル中のパターンが一致するものがあれば、その状態記述データ111とそれに一致するパターンを既存パターン更新部134に供給し、一致するものがなければ、状態記述データ111を新規パターン作成部133に供給する。
When the determination result indicating “NG (it may not be detected as an event in the future)” is supplied from the user feedback determination unit 131, the state description
新規パターン作成部133は、状態記述パターン比較部132から供給された状態記述データ111に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部135に追加し、そこに蓄積させるとともに、現在の状態記述データ111に含まれるマイクロ波センサ23の接近反応数の割合と離反反応数の割合を、フォトセンサ22の状態を表わす反応記号毎に追加する。
The new
既存パターン更新部134は、状態記述パターン比較部132から供給された、現在の状態記述データ111に含まれる継続時間と、状態記述データ111に一致するパターンに対応する継続時間の最小値および最大値を比較する。既存パターン更新部134は、比較の結果、一致するパターンに対応する継続時間の最小値より現在の状態記述データ111の継続時間の方が短いと判定した場合、一致するパターンの継続時間の最小値を現在のデータの継続時間に置き換え(更新し)、一致するパターンに対応する継続時間の最大値より現在の状態記述データ111の継続時間の方が長いと判定した場合、一致するパターンの継続時間の最大値を現在のデータの継続時間に置き換える(更新する)。そして、既存パターン更新部134は、置き換えたデータを、更新通知判定テーブルとして仮通知判定テーブル蓄積部135に蓄積させるとともに、現在のデータに含まれるマイクロ波センサ23の接近反応数の割合と離反反応数の割合を、フォトセンサ22の状態を表わす反応記号毎に追加する。
The existing
仮通知判定テーブル蓄積部135は、新規パターン作成部133により追加された仮の通知判定テーブルであって、必要に応じて既存パターン更新部134により更新された通知判定テーブルを蓄積する。
The temporary notification determination
テーブル比較部136は、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルと、過去通知判定テーブル蓄積部137に蓄積されている過去の通知判定テーブルを比較し、同じであると判定した場合、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルを過去の通知判定テーブル蓄積部137に供給し、更新通知判定テーブルとして蓄積させる。これに対し、仮の通知判定テーブルと過去の通知判定テーブルが同じではないと判定した場合、テーブル比較部136は、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルを、送信部55を介してマルチセンサカメラ1に送信した後、その通知判定テーブルを過去通知判定テーブル蓄積部137に供給し、更新通知判定テーブルとして蓄積させる。
The table comparison unit 136 compares the temporary notification determination table stored in the temporary notification determination
過去通知判定テーブル蓄積部137は、テーブル比較部136により更新された通知判定テーブルを過去の通知判定テーブルとして蓄積する。 The past notification determination table storage unit 137 stores the notification determination table updated by the table comparison unit 136 as a past notification determination table.
図25は、過去通知判定テーブル蓄積部137に蓄積される通知判定テーブルの例を示す図である。 FIG. 25 is a diagram illustrating an example of a notification determination table stored in the past notification determination table storage unit 137.
同図に示されるように、フォトセンサ22に関する状態を表わす反応記号、その反応記号(すなわち反応区間)における継続時間の最小値および最大値、並びに、その反応記号におけるマイクロ波センサ23に関する状態を表わす、複数の接近反応数の割合および離反反応数が1つの状態記述データに規定される。この状態記述データ151−1乃至151−mからなる人物の行動が1つのパターンに規定される。そして、パターン141−1乃至141−kからなる通知判定テーブルが過去通知判定テーブル蓄積部137に蓄積される。
As shown in the figure, a reaction symbol representing a state relating to the photosensor 22, a minimum value and a maximum value of the duration in the reaction symbol (that is, a reaction interval), and a state relating to the
以下、状態記述データ151−1乃至151−mを個々に区別する必要がない場合、単に状態記述データ151と称し、パターン141−1乃至141−kを個々に区別する必要がない場合、単にパターン141と称する。
Hereinafter, when it is not necessary to individually distinguish the state description data 151-1 to 151-m, they are simply referred to as
次に、図26のフローチャートを参照して、マルチセンサカメラ1における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
Next, processing in the
ステップS1において、イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオフさせ、イベント通知フラグをオフし、通知判定テーブル蓄積部122に蓄積されている通知判定テーブルをクリアする。
In step S <b> 1, the event
ステップS2において、状態記述部41は、オンされているフォトセンサ22からフォトセンサデータを取得するとともに、オンされているマイクロ波センサ23からマイクロ波センサデータを取得する。ステップS3において、状態記述部41は、ステップS2の処理で取得したフォトセンサデータとマイクロ波センサデータに基づいて、監視領域内における人物71の一連の行動に関し、状態データ記述処理を行う。この状態データ記述処理の詳細については、図27のフローチャートを参照して後述するが、この処理により、状態記述部41から状態記述データ111(図22)がイベント通知判定部42に出力される。
In step S <b> 2, the
ステップS4において、イベント通知判定部42は、イベント通知フラグがオンである(通知イベント発生中である)か否かを判定し、イベント通知フラグがオンではなくオフである(通知イベント発生中ではない)と判定した場合、ステップS8に進み、イベント通知判定処理を行う。このイベント通知判定処理の詳細については、図28のフローチャートを参照して後述するが、この処理により、イベント通知判定部42から通知イベントが発生されるか、または非通知イベントが発生される(イベントは通知されない)。
In step S4, the event
ステップS9において、イベント通知判定部42は、ステップS8の処理結果に基づいて、通知イベントであるか否かを判定し、通知イベントであると判定した場合、ステップS10に進み、CCDカメラ21に電源制御信号を供給して電源をオンさせるとともに、イベント通知フラグをオンする。すなわち、通知イベントであると判定された場合にのみCCDカメラ21の電源がオンされ、通知イベントでない場合には、CCDカメラ21の電源はオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。
In step S9, the event
ステップS11において、イベント通知判定部42は、送信部45を介して処理ボックス2にイベントを通知するとともに、通知画像送信制御信号をスイッチ44に供給してオンさせる。これにより、CCDカメラ21から処理ボックス2に対し、通知画像データ(イベント画像)の送信が開始される。処理ボックス2は、この通知画像データを受信し、呈示部3に呈示させる(後述する図29のステップS63)。
In step S11, the event
ステップS9において、通知イベントではない、すなわち非通知イベントであると判定された場合、ステップS10,S11の処理はスキップされ、ステップS12に進む。 If it is determined in step S9 that the event is not a notification event, that is, a non-notification event, the processing in steps S10 and S11 is skipped and the process proceeds to step S12.
ステップS4において、イベント通知フラグがオンである(通知イベント発生中である)と判定された場合、ステップS5に進み、イベント通知判定部42は、イベント終了であるか否かを判定し、イベント終了であると判定した場合、ステップS6に進み、CCDカメラ21に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。
If it is determined in step S4 that the event notification flag is on (notification event is occurring), the process proceeds to step S5, where the event
ステップS7において、イベント通知判定部42は、状態記述データ送信制御信号をスイッチ43に供給してオンさせ、通知画像送信制御信号をスイッチ44に供給してオフさせる。これにより、ステップS3の処理で状態記述部41から出力された状態記述データ111がスイッチ43および送信部45を介して処理ボックス2に送信され、CCDカメラ21からスイッチ44および送信部45を介して処理ボックス2に送信されていた通知画像データ(イベント画像)の送信が停止される。処理ボックス2は、この状態記述データ111を受信し、通知判定テーブルとして状態記述データ蓄積部53に蓄積するとともに(後述する図29のステップS68)、この通知判定テーブルを必要に応じて更新し(後述する図29のステップS73)、更新した通知判定テーブルを送信してくる(後述する図29のステップS74)。
In step S7, the event
ステップS5において、イベント終了ではないと判定された場合、ステップS6,S7の処理はスキップされ、ステップS12に進む。 If it is determined in step S5 that the event has not ended, the processes in steps S6 and S7 are skipped and the process proceeds to step S12.
ステップS12において、イベント通知判定部42は、受信部46を介して処理ボックス2より通知判定テーブルを受信したか否かを判定し、通知判定テーブルを受信したと判定した場合、ステップS13に進み、通知判定テーブル蓄積部122に受信した通知判定テーブルを供給して更新させる。
In step S12, the event
ステップS12において、処理ボックス2より通知判定テーブルを受信していないと判定された場合、または、ステップS13の処理の後、処理はステップS2に戻り、上述した処理が繰り返し実行される。 In step S12, when it is determined that the notification determination table has not been received from the processing box 2, or after the process of step S13, the process returns to step S2, and the above-described process is repeatedly executed.
次に、図27のフローチャートを参照して、図26のステップS3における状態データ記述処理の詳細について説明する。 Next, details of the state data description process in step S3 of FIG. 26 will be described with reference to the flowchart of FIG.
状態記述部41は、ステップS21において、フォトセンサ22から取得したフォトセンサデータを読み込み、ステップS22において、マイクロ波センサ23から取得したマイクロ波センサデータを読み込む。
The
ステップS23において、状態記述部41は、ステップS21の処理で読み込んだフォトセンサデータから、フォトセンサ22が反応している区間であるか否か、すなわち、図7に示したように、フォトセンサデータ(検知信号81)の出力レベルが基準値Lから離れている反応区間Xであるか否かを判定し、フォトセンサ22が反応している区間であると判定した場合、ステップS24に進む。
In step S23, the
ステップS24において、状態記述部41は、フォトセンサ22の反応を、基準値Lから離れる区間A、何も変化しない区間B、または基準値Lに近づく区間Cに細分類する。ステップS25において、状態記述部41は、ステップS24の処理で反応区間を分類した結果、フォトセンサ22が今までの反応と同じであるか否かを判定し、フォトセンサ22が今までの反応と同じであると判定した場合、ステップS26に進む。
In step S <b> 24, the
ステップS26において、状態記述部41は、ステップS22の処理で読み込んだマイクロ波センサデータから、接近反応、離反反応、または無反応の数を積算し、それを蓄積した後、ステップS21に戻り、上述した処理を繰り返し実行する。
In step S26, the
ステップS23において、フォトセンサ22が反応している区間ではないと判定された場合、ステップS27に進み、状態記述部41は、さらに、フォトセンサ22が今まで反応していたか否かを判定し、今まで反応していないと判定した場合、ステップS21に戻り、上述した処理を繰り返し実行する。
If it is determined in step S23 that the photosensor 22 is not responding, the process proceeds to step S27, in which the
ステップS27において、フォトセンサ22が今まで反応していたと判定された場合、または、ステップS25において、フォトセンサ22が今までの反応と同じではないと判定された場合、ステップS28に進み、状態記述部41は、ステップS26の処理で蓄積された、接近反応数、離反反応数、および無反応数を全体のデータ数で正規化する。これにより、マイクロ波センサ23の特徴量が算出される。
If it is determined in step S27 that the photosensor 22 has responded until now, or if it is determined in step S25 that the photosensor 22 is not the same as the response so far, the process proceeds to step S28 to describe the state description. The
ステップS29において、状態記述部41は、フォトセンサ22の反応記号(A,BまたはC)とその継続時間、ステップS28の処理で算出されたマイクロ波センサの特徴量(接近反応数の割合および離反反応数の割合)から、状態記述データ111(図22)を記述し、イベント通知判定部42に出力するとともに、スイッチ43に出力する。
In step S29, the
以上の処理により、状態記述部41から出力された状態記述データ111は、図26のステップS8において、イベント通知判定処理に用いられ、ステップS11において、処理ボックス2に送信される。
Through the above process, the state description data 111 output from the
次に、図28のフローチャートを参照して、図26のステップS8におけるイベント通知判定処理の詳細について説明する。 Next, details of the event notification determination process in step S8 of FIG. 26 will be described with reference to the flowchart of FIG.
イベント通知判定部42のパターン一致判定部121は、ステップS41において、状態記述部41から出力された(図27のステップS29の処理により出力された)状態記述データ111を読み込み、ステップS42において、通知判定テーブル蓄積部122から通知判定テーブル(図25)を読み込む。
The pattern
ステップS43において、パターン一致判定部121は、ステップS41の処理で読み込んだ状態記述データ111に含まれるフォトセンサ22の状態に関する反応記号およびその継続時間と、ステップS42の処理で読み込んだ通知判定テーブル(図25)のパターン141内の状態記述データ151に含まれる反応記号、継続時間最小値、および継続時間最大値を比較する。
In step S43, the pattern
ステップS44において、パターン一致判定部121は、ステップS43の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じで、かつ、状態記述データ111に含まれる継続時間が、継続時間最小値と継続時間最大値の範囲に存在する状態記述データ151があるか否かを判定する。
In step S44, the pattern
ステップS44において、パターンが一致するものがあると判定された場合、ステップS45に進み、パターン一致判定部121は、状態記述データ111に一致する全ての通知判定テーブル中の状態記述データ151を抽出し、マイクロ波センサ状態距離判定部123に出力する。
If it is determined in step S44 that there is a pattern that matches, the process proceeds to step S45, and the pattern
ステップS46において、マイクロ波センサ状態距離判定部123は、ステップS45の処理でパターン一致判定部121から出力された状態記述データ111および通知判定テーブル中の状態記述データ151に基づいて、マイクロ波センサ23の状態の距離判定を行う。ここでは、通知判定テーブル中の状態記述データ151の各反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の組のそれぞれと、現在の状態記述データ111の反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の距離が算出される。
In step S46, the microwave sensor state
ステップS47において、マイクロ波センサ状態距離判定部123は、ステップS46の処理で算出した全ての距離が所定の閾値以上であるか否かを判定し、全ての距離が所定の閾値以上であると判定した場合、ステップS48に進む。また、ステップS44の処理において、パターンが一致するものがないと判定された場合もステップS48に進む。
In step S47, the microwave sensor state
ステップS48において、マイクロ波センサ状態距離判定部123は、処理ボックス2に通知するイベントを発生する。またステップS47において、ステップS46の処理で算出した距離のうち、所定の閾値以上でないものがあると判定された場合、ステップS48の処理はスキップされる。この場合、通知イベントは発生されない(非通知イベントである)。
In step S <b> 48, the microwave sensor state
以上の処理により、イベント通知判定部42から通知イベントが発生された場合、図26のステップS9において、CCDカメラ21の電源がオンされ、イベント通知フラグがオンされ、ステップS10において、処理ボックス2に対し、イベントが通知されるとともに通知画像データ(イベント画像)の送信が開始される。
When a notification event is generated from the event
なお、マルチセンサカメラ1の初期状態においては、未だ通知判定テーブルが処理ボックス2から送信されておらず、イベント通知判定部42が、この通知判定テーブルを保持していないため、状態記述部41から状態記述データ111が供給されると、直ちに通知イベントと発生する。
In the initial state of the
次に、図29のフローチャートを参照して、図26のマルチセンサカメラ1の処理に対応して実行される処理ボックス2における処理について説明する。なお、この処理は、ユーザにより、呈示部3に対して一般視聴信号(放送番組信号)に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視を開始するよう指令されたとき、開始される。
Next, with reference to the flowchart of FIG. 29, the process in the process box 2 performed corresponding to the process of the
ステップS61において、通知判定テーブル更新部54は、状態記述データ蓄積部53に蓄積されている状態記述データ、および仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルをクリアするとともに、ユーザフィードバック受信フラグをオフする。受信部51は、イベント受信フラグ、および状態記述データ受信フラグをオフする。
In step S61, the notification determination table update unit 54 clears the state description data stored in the state description
ステップS62において、受信部51は、イベント受信フラグがオンである(通知イベント受信中である)か否かを判定し、イベント受信フラグがオンであると判定した場合、(上述した図26のステップS11の処理により)マルチセンサカメラ1から送信されてきた通知画像データおよび通知イベントを呈示画像構築部52に供給し、ステップS63に進む。
In step S62, the receiving
ステップS63において、呈示画像構築部52は、受信部51から供給された通知画像データを一般視聴信号の一部に通知画像データを挿入した通知データ(ピクチャインピクチャで呈示するための画像データ)を構築し、それを呈示部3に呈示させる。また呈示画像構築部52は、一般視聴信号を含まないリモートコントローラ4用の通知データ(通知画像データにより構成されるデータ)を構築し、送信部56を介してリモートコントローラ4に送信する。リモートコントローラ4は、この通知データを受信し、呈示部62に呈示させる(後述する図31のステップS112)。
In step S63, the presented
ステップS62において、イベント受信フラグがオンではなくオフであると判定された場合、ステップS64に進み、受信部51は、マルチセンサカメラ1から通知イベントを受信したか否かを判定し、通知イベントを受信したと判定した場合、ステップS65に進み、イベント受信フラグをオンする。
If it is determined in step S62 that the event reception flag is not on but off, the process proceeds to step S64, in which the
ステップS63の処理の後、ステップS65の処理の後、またはステップS64において、通知イベントを受信していないと判定された場合、ステップS66に進み、受信部51は、マルチセンサカメラ1から状態記述データ111を受信したか否かを判定する。
After the process of step S63, after the process of step S65, or when it is determined in step S64 that the notification event has not been received, the process proceeds to step S66, where the receiving
ステップS66において、状態記述データを受信したと判定された場合、ステップS67に進み、受信部51は、状態記述データ受信フラグをオンし、ステップS68において、(上述した図26のステップS7の処理により)マルチセンサカメラ1から送信されてきた状態記述データ111を受信し、状態記述データ蓄積部53に蓄積させる。ただし、このときに、既にユーザフィードバック受信フラグがオンである場合、そのユーザフィードバックに対応付けて状態記述データ111が蓄積される。
If it is determined in step S66 that the state description data has been received, the process proceeds to step S67, where the receiving
ステップS68の処理の後、または、ステップS66において、状態記述データを受信していないと判定された場合、ステップS69に進み、通知判定テーブル更新部54は、受信部57を介してリモートコントローラ4から(後述する図31のステップS114の処理により)送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップS70に進む。 After the process of step S68 or when it is determined in step S66 that the state description data has not been received, the process proceeds to step S69, where the notification determination table update unit 54 receives from the remote controller 4 via the reception unit 57. It is determined whether or not the transmitted user FB signal has been received (by the process of step S114 in FIG. 31 described later). If it is determined that the user FB signal has been received, the process proceeds to step S70.
ステップS70において、通知判定テーブル更新部54は、ユーザフィードバック受信フラグをオンし、受信部51は、イベント受信フラグをオフする。ステップS71において、通知判定テーブル更新部54は、このとき、状態記述データ受信フラグがオンであれば、ユーザフィードバック(「OK(今後も通知して欲しい)」または「NG(今後は通知しなくても良い)」)を状態記述データ蓄積部53に蓄積されている状態記述データ111に対応付け、状態記述データ受信フラグがオフであれば新規のユーザフィードバックとして蓄積させる。また、イベント受信フラグがオフであればそのユーザフィードバックは無視する。
In step S70, the notification determination table update unit 54 turns on the user feedback reception flag, and the
すなわち、ユーザフィードバックを状態記述データ111に対応付けて通知判定テーブルとして蓄積することにより、ユーザが意図するイベントのみを検知し、通知することが可能になる。 That is, by storing user feedback in association with the state description data 111 as a notification determination table, it is possible to detect and notify only an event intended by the user.
ステップS72において、通知判定テーブル更新部54は、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであるか否かを判定し、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであると判定した場合、ステップS73に進み、通知判定テーブル更新処理を行う。この通知判定テーブル更新処理の詳細については、図30のフローチャートを参照して後述するが、この処理により、過去通知判定テーブル蓄積部137に蓄積される通知判定テーブルが更新される。 In step S72, the notification determination table update unit 54 determines whether or not both the state description data reception flag and the user feedback reception flag are on, and if both the state description data reception flag and the user feedback reception flag are on. When it determines, it progresses to step S73 and a notification determination table update process is performed. Details of the notification determination table update processing will be described later with reference to the flowchart of FIG. 30, but the notification determination table stored in the past notification determination table storage unit 137 is updated by this processing.
ステップS74において、通知判定テーブル更新部54は、ステップS73の処理により、過去の通知判定テーブルと異なる通知判定テーブルが作成され、過去通知判定テーブル蓄積部137に蓄積された場合には、その新しい通知判定テーブルを、送信部55を介してマルチセンサカメラ1に送信する。マルチセンサカメラ1は、この新しい通知判定テーブルを受信し、通知判定テーブル蓄積部122を更新する(上述した図26のステップS13)。
In step S74, when the notification determination table update unit 54 creates a notification determination table different from the past notification determination table by the processing in step S73 and stores it in the past notification determination table storage unit 137, the new notification is updated. The determination table is transmitted to the
ステップS75において、通知判定テーブル更新部54は、状態記述データ受信フラグおよびユーザフィードバック受信フラグをオフする。 In step S75, the notification determination table update unit 54 turns off the state description data reception flag and the user feedback reception flag.
ステップS75の処理の後、または、ステップS72において、状態記述データ受信フラグまたはユーザフィードバック受信フラグのうち、少なくともいずれか一方がオンではないと判定された場合、ステップS62に戻り、上述した処理が繰り返し実行される。 After the process of step S75, or when it is determined in step S72 that at least one of the state description data reception flag and the user feedback reception flag is not on, the process returns to step S62 and the above-described process is repeated. Executed.
次に、図30のフローチャートを参照して、図29のステップS73における通知判定テーブル更新処理の詳細について説明する。 Next, details of the notification determination table update process in step S73 of FIG. 29 will be described with reference to the flowchart of FIG.
ステップS91において、通知判定テーブル更新部54の状態記述パターン比較部132は、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルをクリアする。ステップS92において、ユーザフィードバック判定部131は、状態記述データ蓄積部53に蓄積されている状態記述データ111とそれに対応するユーザフィードバックを読み込む。
In step S91, the state description
ステップS93において、ユーザフィードバック判定部131は、ステップS92の処理で読み込んだユーザフィードバックが「NG(今後はイベントとして検出しなくてもよい)」を示すデータであるか否かを判定し、ユーザフィードバックが「NG」を示すデータであると判定した場合、その判定結果を状態記述データ111(図22)とともに状態記述パターン比較部132に供給し、ステップS94に進む。
In step S93, the user feedback determination unit 131 determines whether or not the user feedback read in the process of step S92 is data indicating “NG (it may not be detected as an event in the future)”. Is determined to be data indicating “NG”, the determination result is supplied to the state description
ステップS94において、状態記述パターン比較部132は、ユーザフィードバック判定部131から供給された状態記述データ111に含まれるフォトセンサの状態に関する反応記号(A,BまたはC)と、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブル(図25)のパターン141内の状態記述データ151に含まれる反応記号を比較する。
In step S94, the state description
ステップS95において、状態記述パターン比較部132は、ステップS94の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じパターン141があるか否かを判定し、パターンが一致するものがあると判定した場合、状態記述データ111とそれに一致するパターン141を既存パターン更新部134に供給し、ステップS96に進む。
In step S95, the state description
ステップS96において、既存パターン更新部134は、状態記述パターン比較部132から供給された、現在の状態記述データ111に含まれる継続時間と、状態記述データ111に一致するパターン141に対応する継続時間の最小値および最大値を比較する。
In step S <b> 96, the existing
そして既存パターン更新部134は、比較の結果、一致するパターン141に対応する継続時間の最小値より現在の状態記述データ111の継続時間の方が短いと判断した場合、一致するパターン141の継続時間の最小値を現在の状態記述データ111の継続時間に置き換え(更新し)、また、一致するパターン141に対応する継続時間の最大値より現在の状態記述データ111の継続時間の方が長いと判断した場合、一致するパターン141の継続時間の最大値を現在の状態記述データ111の継続時間に置き換え(更新し)、仮通知判定テーブル蓄積部135に更新通知判定テーブルとして蓄積させる。さらに、既存パターン更新部134は、現在の状態記述データ111に含まれるマイクロ波センサ23の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ22の状態を表わす反応記号毎に追加する。
If the existing
ステップS95において、ステップS94の処理による比較の結果、パターンが一致するものがないと判定された場合、状態記述データ111を新規パターン作成部133に供給し、ステップS97に進む。
If it is determined in step S95 that the patterns do not match as a result of the comparison in step S94, the state description data 111 is supplied to the new
ステップS97において、新規パターン作成部133は、状態記述パターン比較部132から供給された状態記述データ111に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部135に追加し、そこに蓄積させる。さらに、新規パターン作成部133は、現在の状態記述データ111に含まれるマイクロ波センサ23の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ22の状態を表わす反応記号毎に追加する。
In step S97, the new
ステップS96の処理の後、またはステップS97の処理の後、ステップS98において、ユーザフィードバック判定部131は、状態記述データ蓄積部53に蓄積されている全ての状態記述データ111とそれに対応するユーザフィードバックを読み込んだか否かを判定し、未だ読み込んでいないデータがあると判定した場合、ステップS92に戻り、上述した処理を繰り返し実行する。
After the process of step S96 or after the process of step S97, in step S98, the user feedback determination unit 131 displays all the state description data 111 stored in the state description
ステップS98において、全ての状態記述データ111とそれに対応するユーザフィードバックを読み込んだと判定された場合、ステップS99に進み、テーブル比較部136は、過去通知判定テーブル蓄積部137に蓄積されている過去の通知判定テーブルと、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルを比較する。
If it is determined in step S98 that all the state description data 111 and the corresponding user feedback have been read, the process proceeds to step S99, where the table comparison unit 136 stores the past data stored in the past notification determination table storage unit 137. The notification determination table is compared with the temporary notification determination table stored in the temporary notification determination
ステップS100において、テーブル比較部136は、ステップS99の処理による比較の結果、過去の通知判定テーブルと仮の通知判定テーブルが同じであるか否かを判定し、同じではないと判定した場合、ステップS101に進み、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルを、送信部55に送信し、ステップS102に進む。これにより、図29のステップS74において、マルチセンサカメラ1に仮の通知判定テーブルが送信される。
In step S100, the table comparison unit 136 determines whether or not the past notification determination table is the same as the provisional notification determination table as a result of the comparison in the process of step S99. Proceeding to S101, the provisional notification determination table stored in the provisional notification determination
ステップS100において、過去の通知判定テーブルと仮の通知判定テーブルが同じであると判定された場合、またはステップS101の処理の後、ステップS102において、テーブル比較部136は、仮通知判定テーブル蓄積部135に蓄積されている仮の通知判定テーブルを過去通知判定テーブル蓄積部137に供給し、更新通知判定テーブルとして更新させる。
If it is determined in step S100 that the past notification determination table is the same as the provisional notification determination table, or after the process of step S101, the table comparison unit 136 in step S102, the temporary notification determination
以上の処理により、図25に示したようなパターン141−1乃至141−kからなる通知判定テーブルが過去通知判定テーブル蓄積部137に蓄積される。いわば、この通知判定テーブルには、イベントとして通知しなくてよい場合のパターンが記憶されることになる。 Through the above processing, the notification determination table including the patterns 141-1 to 141-k as illustrated in FIG. 25 is accumulated in the past notification determination table accumulation unit 137. In other words, this notification determination table stores a pattern in the case where it is not necessary to notify as an event.
次に、図31のフローチャートを参照して、図29の処理ボックス2の処理に対応して実行されるリモートコントローラ4における処理について説明する。なお、この処理は、処理ボックス2の送信部56により、図29のステップS63の処理が実行されたとき、開始される。 Next, with reference to the flowchart of FIG. 31, the process in the remote controller 4 performed corresponding to the process of the process box 2 of FIG. 29 is demonstrated. This process is started when the process of step S63 in FIG. 29 is executed by the transmission unit 56 of the process box 2.
ステップS111において、受信部61は、処理ボックス2より通知イベントを受信したか否かを判定し、通知イベントを受信するまで待機する。そして、通知イベントを受信したと判定した場合、ステップS112に進み、受信部61は、(上述した図29のステップS63の処理により)処理ボックス2から通知イベントとともに送信されてきた通知データに基づくイベント画像(通知画像データ)を呈示部62に呈示させる。
In step S111, the receiving unit 61 determines whether a notification event is received from the processing box 2, and waits until a notification event is received. If it is determined that a notification event has been received, the process proceeds to step S112, and the reception unit 61 performs an event based on the notification data transmitted together with the notification event from the processing box 2 (by the process of step S63 in FIG. 29 described above). An image (notification image data) is presented to the
ユーザは、呈示部62に呈示されたイベント画像を見て、入力部63を操作し、判断(例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるか、あるいは、今後は知らせなくてよいイベントであるのか)を入力する。
The user looks at the event image presented on the presenting
ステップS113において、入力部63は、呈示されたイベントに対するユーザからの判断(ユーザフィードバック)が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部64に供給し、ステップS114に進む。
In step S113, the
ステップS114において、送信部64は、入力部63から供給されたユーザFB信号を処理ボックス2に送信する。処理ボックス2は、これを受信し、状態記述データ蓄積部53に蓄積されている状態記述データ111に対応付ける(図29のステップS71)。
In step S <b> 114, the transmission unit 64 transmits the user FB signal supplied from the
ステップS114の処理の後、または、ステップS113において、ユーザフィードバックが入力されていないと判定された場合、処理はステップS111に戻り、上述した処理が繰り返し実行される。 After the process of step S114 or when it is determined in step S113 that no user feedback has been input, the process returns to step S111, and the above-described process is repeatedly executed.
以上のように、フォトセンサ22の反応、およびマイクロ波センサ23の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動を、短時間で、かつ、高精度に区別することができる。
As described above, by combining the reaction of the photo sensor 22 and the feature amount of the
またマルチセンサカメラ1の状態記述部41が、フォトセンサ22の反応、およびマイクロ波センサ23の特徴量に基づいて状態記述データ111(図22)を記述し、それを通知イベントに用いるようにしたので、より効果的なイベント通知システムを構築することが可能となる。
Further, the
さらに、ユーザからのフィードバックに基づいて、イベント通知の判定に用いる通知判定テーブルを変化(更新)させるようにしたので、ユーザが意図するイベントのみを検出することができ、かつ、イベントを通知する場合にのみ、CCDカメラ21の電源をオンするようにしたので、無駄なバッテリ消費を抑えることができる。
Furthermore, since the notification determination table used for determining event notification is changed (updated) based on feedback from the user, only the event intended by the user can be detected and the event is notified. In addition, since the power of the
なお、図4に示したマルチセンサカメラ1には、1つのフォトセンサ22を設けるようにしたが、本発明はこれに限らず、例えば、図32に示されるように、3つのフォトセンサ22−1乃至22−3を設けるようにすることも可能である。
The
図32に示す監視システム10には、3つのフォトセンサ22−1乃至22−3が設けられているが、その他の構成は、図4に示した監視システム10と同様であり、その説明は適宜省略する。
The
図33は、図32に示すフォトセンサ22−1乃至22−3の監視領域を示す図である。同図に示されるように、フォトセンサ22−1乃至22−3は、空間方向アレイ状に配置されている。フォトセンサ22−1乃至22−3は、それぞれ、監視領域31−1乃至31−3内の平均輝度を検知信号として出力しており、人物が領域31−1乃至31−3内に進入または退出したことに応じて、その出力が変化する。 FIG. 33 is a diagram illustrating a monitoring area of the photosensors 22-1 to 22-3 illustrated in FIG. As shown in the figure, the photosensors 22-1 to 22-3 are arranged in an array in the spatial direction. The photosensors 22-1 to 22-3 output the average luminance in the monitoring areas 31-1 to 31-3 as detection signals, respectively, and a person enters or exits the areas 31-1 to 31-3. The output changes depending on what is done.
状態記述部41は、フォトセンサ22−1乃至22−3から供給されたフォトセンサデータ、およびマイクロ波センサ23から供給されたマイクロ波センサデータに基づいて、監視領域内における人物71の一連の行動(センサ反応)の状態記述データ111(図22)を記述する。
Based on the photosensor data supplied from the photosensors 22-1 to 22-3 and the microwave sensor data supplied from the
図34は、状態記述部41が記述するフォトセンサ22−1乃至22−3の反応記号の例を示す図である。
FIG. 34 is a diagram illustrating examples of reaction symbols of the photosensors 22-1 to 22-3 described by the
状態記述部41は、フォトセンサ22−1から供給されたフォトセンサデータ(検知信号81)から、図7を用いて上述したように、検知信号81の出力レベルが基準値Lから離れる方向に変化する区間A、何も変化しない区間B、および、検知信号81の出力レベルが基準値Lに近づく方向に変化する区間Cに分類し、区間A乃至区間Cにそれぞれ対応させて、反応記号LA、LB、LCをフォトセンサ22−1の状態として記述する。同様に、状態記述部41は、フォトセンサ22−2,22−3から供給されたフォトセンサデータから、上述したようにして区間A乃至区間Cに分類し、区間A乃至区間Cにそれぞれ対応させて、反応記号CA、CB、CCをフォトセンサ22−2の状態として記述し、反応記号RA、RB、RCをフォトセンサ22−3の状態として記述する。その際、反応区間毎の反応継続時間も記述する。
The
また状態記述部41は、マイクロ波センサ23から供給されたマイクロ波センサデータ(特徴量)から、図12を用いて上述したように、フォトセンサ22−1の反応区間LA乃至LC、フォトセンサ22−2の反応区間CA乃至CC、およびフォトセンサ22−3の反応区間RA乃至RCにおける、接近反応数の割合(0.0乃至1.0)、および離反反応数の割合(0.0乃至1.0)をマイクロ波センサ23の状態として記述する。
In addition, the
すなわち、状態記述部41は、フォトセンサ22−1乃至22−3に関する状態を表わす反応記号および継続時間、並びに、マイクロ波センサ23に関する状態を表わす接近反応数の割合および離反反応数の割合を1単位とし、それを時間軸方向に連続的に並べたものを状態記述データ111として記述する。
That is, the
なお、この場合のマルチセンサカメラ1における処理は、基本的に、図26のフローチャートを参照して説明した処理と同様であり、処理ボックス2における処理は、基本的に、図29のフローチャートを参照して説明した処理と同様であり、またリモートコントローラ4における処理は、基本的に、図31を参照して説明した処理と同様であるため、それらの説明は省略するが、異なる点は、フォトセンサ22−1乃至22−3により取得したフォトセンサデータに基づいて処理が行われること、および、処理に用いられる状態記述データ111および通知判定テーブルが、反応記号LA,LB,LC,CA,CB,CC,RA,RBまたはRCを含んでいることである。
Note that the processing in the
以上のように、フォトセンサ22−1乃至22−3の反応、およびマイクロ波センサ23の特徴量を組み合わせることにより、1つのフォトセンサ22では区別することができなかった人物の行動をより詳細に区別することが可能となる。
As described above, by combining the reactions of the photosensors 22-1 to 22-3 and the feature amount of the
以上においては、フォトセンサ22およびマイクロ波センサ23を統合利用する場合の例について説明したが、これに限らず、例えば、マイクロホン、赤外線センサ、あるいは、他のセンサを搭載し、統合利用することも勿論可能である。
In the above, an example in which the photo sensor 22 and the
また、マルチセンサカメラ1や呈示部3は、1台ではなく、複数台設けるようにしたり、処理ボックス2は、呈示部3と別の筐体とせず、一体型とするようにしたり、リモートコントローラ4に呈示部62を設けずに、呈示部3のみの呈示とするようにしたり、あるいは、処理ボックス2にユーザフィードバックを入力するための入力部を設けるようにすることができる。
Further, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
図35は、汎用のパーソナルコンピュータ200の内部の構成例を示す図である。CPU(Central Processing Unit)201は、ROM(Read Only Memory)202に記憶されているプログラム、または記憶部208からRAM(Random Access Memory)203にロードされたプログラムに従って各種の処理を実行する。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。
FIG. 35 is a diagram illustrating an internal configuration example of a general-purpose
CPU201、ROM202、およびRAM203は、バス204を介して相互に接続されている。このバス204にはまた、入出力インターフェース205も接続されている。
The
入出力インターフェース205には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部206、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイ、並びにスピーカなどで構成される出力部207、ハードディスクなどで構成される記憶部208、およびモデムやターミナルアダプタなどで構成される通信部209が接続されている。通信部209は、インターネットを含むネットワークを介して通信処理を行う。
The input /
入出力インターフェース205にはまた、必要に応じてドライブ210が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア211が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部208にインストールされる。
A
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図35に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア211により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM203または記憶部208に含まれるハードディスクなどで構成される。
As shown in FIG. 35, a recording medium that records a program that is installed in a computer and can be executed by the computer is distributed to provide a program to a user separately from the apparatus main body. Recording magnetic disks (including flexible disks), optical disks (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (MD (Mini-Disc) (registered trademark) )), Or in the
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program storage medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. Or the process performed separately is also included.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。 Further, in this specification, the system represents the entire apparatus composed of a plurality of apparatuses.
1 マルチセンサカメラ, 2 処理ボックス, 3 呈示部, 4 リモートコントローラ, 10 監視システム, 22 フォトセンサ, 23 マイクロ波センサ, 41 状態記述部, 42 イベント通知判定部, 52 呈示画像構築部, 53 状態記述データ蓄積部, 54 通知判定テーブル更新部, 62 呈示部, 63 入力部, 121 パターン一致判定部, 122 通知判定テーブル蓄積部, 123 マイクロ波センサ状態距離判定部, 131 ユーザフィードバック判定部, 132 状態記述パターン比較部, 133 新規パターン作成部, 134 既存パターン更新部, 135 仮通知判定テーブル蓄積部, 136 テーブル比較部, 137 過去通知判定テーブル蓄積部
DESCRIPTION OF
Claims (26)
前記取得手段により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
前記状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段と、
前記判定手段により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを構築する構築手段と、
前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と
を備えることを特徴とする監視システム。 Obtaining means for obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
State data description means for describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the acquisition means;
A determination unit that compares the state data described by the state data description unit with a determination table and determines whether to notify an event;
When it is determined that the event is notified by the determination unit, a construction unit that constructs presentation data including event data for notifying the event;
And a presenting means for presenting based on the presenting data constructed by the constructing means.
前記第2のセンサは、マイクロ波センサである
ことを特徴とする請求項1に記載の監視システム。 The first sensor is a photosensor;
The monitoring system according to claim 1, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項1に記載の監視システム。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The monitoring system according to claim 1, wherein:
ことを特徴とする請求項1に記載の監視システム。 The monitoring system according to claim 1, wherein the construction unit constructs the presentation data by inserting the event data into a signal based on television broadcasting.
ことを特徴とする請求項1に記載の監視システム。 The monitoring system according to claim 1, wherein, when the determination unit determines that the event is not notified by the determination unit, data based on a predetermined signal is used as the presentation data.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
を含むことを特徴とする監視方法。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
When it is determined to notify the event by the process of the determination step, a construction step of constructing presentation data including event data for notifying the event;
A presenting step for presenting based on the presenting data constructed by the processing of the constructing step.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
When it is determined to notify the event by the process of the determination step, a construction step of constructing presentation data including event data for notifying the event;
And a presenting step for presenting based on the presenting data constructed by the processing of the constructing step. A recording medium on which a computer-readable program is recorded.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
をコンピュータに実行させることを特徴とするプログラム。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
When it is determined to notify the event by the process of the determination step, a construction step of constructing presentation data including event data for notifying the event;
A program that causes a computer to execute a presentation step of presenting based on the presentation data constructed by the processing of the construction step.
前記取得手段により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
前記状態データ記述手段により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定手段と、
前記判定手段により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを他の装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 Obtaining means for obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
State data description means for describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the acquisition means;
A determination unit that compares the state data described by the state data description unit with a determination table and determines whether to notify an event;
An information processing apparatus comprising: a transmission unit configured to transmit event data for notifying the event to another device when the determination unit determines to notify the event.
ことを特徴とする請求項9に記載の情報処理装置。 The information processing apparatus according to claim 9, further comprising a determination table storage unit that acquires and stores the determination table supplied from the other apparatus.
ことを特徴とする請求項9に記載の情報処理装置。 When the notification of the event is ended, the transmission unit stops transmission of the event data, and transmits the state data described by the state data description unit to the other device. Item 10. The information processing device according to Item 9.
前記第2のセンサは、マイクロ波センサである
ことを特徴とする請求項9に記載の情報処理装置。 The first sensor is a photosensor;
The information processing apparatus according to claim 9, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項9に記載の情報処理装置。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The information processing apparatus according to claim 9.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを他の装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
An information processing method comprising: a transmission step of transmitting event data for notifying the event to another device when it is determined to notify the event by the processing of the determination step.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを他の装置に送信する送信ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
A computer-readable program comprising: a transmission step of transmitting event data for notifying the event to another device when it is determined to notify the event by the processing of the determination step; Recording media.
前記取得ステップの処理により取得された前記第1および第2のセンサデータに基づいて、前記第1および第2のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理により前記イベントを通知すると判定された場合、前記イベントを通知するためのイベントデータを他の装置に送信する送信ステップと
をコンピュータに実行させることを特徴とするプログラム。 Obtaining first sensor data from the first sensor and obtaining second sensor data from the second sensor;
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
A determination step for comparing the state data described by the processing of the state data description step with a determination table and determining whether to notify an event;
A program for causing a computer to execute a transmission step of transmitting event data for notifying the event to another device when it is determined to notify the event by the processing of the determination step.
前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と
を備えることを特徴とする情報処理装置。 Storage means for receiving state data relating to the reaction states of the first and second sensors described in other devices and storing the data as a determination table;
And a construction means for constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal when an event is notified from the other device. Information processing device.
ことを特徴とする請求項17に記載の情報処理装置。 The information processing apparatus according to claim 17, further comprising a presentation unit that performs presentation based on the presentation data constructed by the construction unit.
前記蓄積手段は、前記取得手段により取得された前記ユーザからの判断の入力を前記状態データに対応付ける
ことを特徴とする請求項18に記載の情報処理装置。 Further comprising an acquisition means for acquiring a judgment input from the user based on the presentation by the presenting means;
The information processing apparatus according to claim 18, wherein the storage unit associates the determination input from the user acquired by the acquisition unit with the state data.
ことを特徴とする請求項19に記載の情報処理装置。 The information processing apparatus according to claim 19, further comprising a transmission unit configured to transmit the determination table stored in the storage unit to the other apparatus.
ことを特徴とする請求項17に記載の情報処理装置。 18. The information processing apparatus according to claim 17, wherein when the event is not notified from the other apparatus, the construction unit uses data based on the predetermined signal as presentation data.
前記第2のセンサは、マイクロ波センサである
ことを特徴とする請求項17に記載の情報処理装置。 The first sensor is a photosensor;
The information processing apparatus according to claim 17, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項17に記載の情報処理装置。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The information processing apparatus according to claim 17, characterized in that:
前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと
を含むことを特徴とする情報処理方法。 An accumulation step of receiving state data relating to the reaction states of the first and second sensors described in other devices and accumulating it as a determination table;
A construction step of constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal when an event is notified from the other device. Information processing method.
前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 An accumulation step of receiving state data relating to the reaction states of the first and second sensors described in other devices and accumulating it as a determination table;
A construction step of constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal when an event is notified from the other device. A recording medium on which a computer-readable program is recorded.
前記他の装置からイベントが通知された場合、前記イベントとともに送信されてくるイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと
をコンピュータに実行させることを特徴とするプログラム。
An accumulation step of receiving state data relating to the reaction states of the first and second sensors described in other devices and accumulating it as a determination table;
When an event is notified from the other device, the computer executes a construction step of constructing presentation data by inserting event data transmitted together with the event into data based on a predetermined signal. A featured program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003275457A JP3965580B2 (en) | 2003-07-16 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
US10/885,637 US7626608B2 (en) | 2003-07-10 | 2004-07-08 | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith |
US12/115,623 US7944471B2 (en) | 2003-07-10 | 2008-05-06 | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003275457A JP3965580B2 (en) | 2003-07-16 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005039612A true JP2005039612A (en) | 2005-02-10 |
JP3965580B2 JP3965580B2 (en) | 2007-08-29 |
Family
ID=34212095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003275457A Expired - Fee Related JP3965580B2 (en) | 2003-07-10 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3965580B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010130094A (en) * | 2008-11-25 | 2010-06-10 | Ihi Aerospace Co Ltd | Information communication system, program used in the same and information recording medium |
US10606868B2 (en) | 2015-05-19 | 2020-03-31 | Sony Corporation | Information processing device, information processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56105592A (en) * | 1980-01-16 | 1981-08-22 | Stadelmayr Hans G | Alarm*security*monitor device |
JPH08126002A (en) * | 1994-10-24 | 1996-05-17 | J T:Kk | Video signal synthesizer |
JPH09297057A (en) * | 1996-03-07 | 1997-11-18 | Matsushita Electric Ind Co Ltd | Pyroelectric type infrared-ray sensor and pyroelectric type infrared-ray sensor system |
JP2001014561A (en) * | 1999-06-30 | 2001-01-19 | Tau Giken:Kk | System for detecting dubious person |
JP2001052277A (en) * | 1999-08-05 | 2001-02-23 | Yoshio Masuda | Behavior remote monitor system and h system |
-
2003
- 2003-07-16 JP JP2003275457A patent/JP3965580B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56105592A (en) * | 1980-01-16 | 1981-08-22 | Stadelmayr Hans G | Alarm*security*monitor device |
JPH08126002A (en) * | 1994-10-24 | 1996-05-17 | J T:Kk | Video signal synthesizer |
JPH09297057A (en) * | 1996-03-07 | 1997-11-18 | Matsushita Electric Ind Co Ltd | Pyroelectric type infrared-ray sensor and pyroelectric type infrared-ray sensor system |
JP2001014561A (en) * | 1999-06-30 | 2001-01-19 | Tau Giken:Kk | System for detecting dubious person |
JP2001052277A (en) * | 1999-08-05 | 2001-02-23 | Yoshio Masuda | Behavior remote monitor system and h system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010130094A (en) * | 2008-11-25 | 2010-06-10 | Ihi Aerospace Co Ltd | Information communication system, program used in the same and information recording medium |
US10606868B2 (en) | 2015-05-19 | 2020-03-31 | Sony Corporation | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP3965580B2 (en) | 2007-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7944471B2 (en) | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith | |
EP3493533B1 (en) | Information processing device, information processing method, and program | |
US10203669B2 (en) | Controlling electronic devices based on footstep pattern | |
KR20160079411A (en) | Security system and operating method thereof | |
US20110047299A1 (en) | Method and apparatus for generating or using interaction activity information | |
US10341616B2 (en) | Surveillance system and method of controlling the same | |
JP2006174468A (en) | Method and apparatus for image dispersion analysis | |
US8022981B2 (en) | Apparatus and method for automatically controlling power of video appliance | |
US20240077870A1 (en) | Robot device, method for controlling same, and recording medium having program recorded thereon | |
US10965899B1 (en) | System and method for integration of a television into a connected-home monitoring system | |
JP2017212682A (en) | Image output apparatus, image output method, and program | |
CN101138202B (en) | Communication connecting method and device | |
JP2005092740A (en) | Monitoring system, information processor and method for the same, recording medium, and program | |
JP3965580B2 (en) | Monitoring system and method, information processing apparatus and method, recording medium, and program | |
JP2008154100A (en) | Imaging apparatus, server, control program therefor, computer readable recording medium which records the control program, event management system and control method | |
JP6980379B2 (en) | Information processing equipment, information processing methods and programs | |
CN116761026A (en) | Terminal equipment and media asset relay playing method | |
CN115834271A (en) | Server, intelligent device and intelligent device control method | |
JP4406821B2 (en) | Monitoring system and method, information processing apparatus, recording medium, and program | |
JP2002042272A (en) | Monitor, monitoring method, and record medium readable of computer recording monitor program | |
JP4605429B2 (en) | Monitoring system, information processing apparatus and method, recording medium, and program | |
JP7246913B2 (en) | Information processing system, information processing device, and information processing method | |
KR20200127544A (en) | Apparatus and method for monitering pet | |
JP6742739B2 (en) | Control device, control method, and program | |
WO2021192039A1 (en) | Equipment management device, equipment management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |