JP2006323839A - Information processor - Google Patents

Information processor Download PDF

Info

Publication number
JP2006323839A
JP2006323839A JP2006121573A JP2006121573A JP2006323839A JP 2006323839 A JP2006323839 A JP 2006323839A JP 2006121573 A JP2006121573 A JP 2006121573A JP 2006121573 A JP2006121573 A JP 2006121573A JP 2006323839 A JP2006323839 A JP 2006323839A
Authority
JP
Japan
Prior art keywords
event
unit
data
presentation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006121573A
Other languages
Japanese (ja)
Other versions
JP4492582B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Naoki Kobayashi
小林　　直樹
Yasuhiro Fujimori
泰弘 藤森
Yasuaki Takahashi
康昭 高橋
Koji Ota
浩二 太田
Naoki Takeda
直己 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006121573A priority Critical patent/JP4492582B2/en
Publication of JP2006323839A publication Critical patent/JP2006323839A/en
Application granted granted Critical
Publication of JP4492582B2 publication Critical patent/JP4492582B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/683—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for supporting or gripping
    • H01L21/6835—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for supporting or gripping using temporarily an auxiliary support
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer
    • H01L21/50—Assembly of semiconductor devices using processes or apparatus not provided for in a single one of the subgroups H01L21/06 - H01L21/326, e.g. sealing of a cap to a base of a container
    • H01L21/56—Encapsulations, e.g. encapsulation layers, coatings
    • H01L21/563—Encapsulation of active face of flip-chip device, e.g. underfilling or underencapsulation of flip-chip, encapsulation preform on chip or mounting substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0657—Stacked arrangements of devices
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2221/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof covered by H01L21/00
    • H01L2221/67—Apparatus for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components; Apparatus not specifically provided for elsewhere
    • H01L2221/683—Apparatus for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components; Apparatus not specifically provided for elsewhere for supporting or gripping
    • H01L2221/68304—Apparatus for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components; Apparatus not specifically provided for elsewhere for supporting or gripping using temporarily an auxiliary support
    • H01L2221/68345—Apparatus for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components; Apparatus not specifically provided for elsewhere for supporting or gripping using temporarily an auxiliary support used as a support during the manufacture of self supporting substrates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/11—Manufacturing methods
    • H01L2224/1147—Manufacturing methods using a lift-off mask
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H01L2224/16235—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation the bump connector connecting to a via metallisation of the item
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/73—Means for bonding being of different types provided for in two or more of groups H01L2224/10, H01L2224/18, H01L2224/26, H01L2224/34, H01L2224/42, H01L2224/50, H01L2224/63, H01L2224/71
    • H01L2224/732—Location after the connecting process
    • H01L2224/73201—Location after the connecting process on the same surface
    • H01L2224/73203—Bump and layer connectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/80—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
    • H01L2224/81—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a bump connector
    • H01L2224/812—Applying energy for connecting
    • H01L2224/8121—Applying energy for connecting using a reflow oven
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/80—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
    • H01L2224/81—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a bump connector
    • H01L2224/818—Bonding techniques
    • H01L2224/81801—Soldering or alloying
    • H01L2224/81815—Reflow soldering
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06572—Auxiliary carrier between devices, the carrier having an electrical connection structure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06582—Housing for the assembly, e.g. chip scale package [CSP]
    • H01L2225/06586—Housing with external bump or bump-like connectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/80—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
    • H01L24/81—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a bump connector

Abstract

<P>PROBLEM TO BE SOLVED: To notify an event to a user when the event occurs, while normally the user views predetermined signals when the event does not occur. <P>SOLUTION: A feature quantity extraction part 102 acquires sensor data from a plurality of sensors 101a to 101n and calculates various kinds of feature quantities. When an event determination part 103 determines, based on the various kinds of feature quantities, that an event occurs, a presentation data construction part 104 creates presentation data formed by inserting event presentation data in a part of a general viewing signal (television broadcasting signal) to present it to a presentation part 3. When it is determined that no event occurs, the presentation data construction part 104 outputs the general viewing signal as it is to the presentation part 3 as presentation data. This application can be applied to a home monitoring system. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、情報処理装置に関し、特に、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにした情報処理装置に関する。   The present invention relates to an information processing apparatus, and in particular, when an event has not occurred, the user can normally be notified of a predetermined signal while the user is viewing the predetermined signal. The present invention relates to an information processing apparatus.

従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。   Conventionally, as a home security system, a method of knowing sensor information by viewing a monitor TV (Television) that displays a monitoring image transmitted from an imaging device has been proposed (see, for example, Patent Document 1).

また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。   In addition, a method has been proposed in which a monitoring device in which an infrared sensor and an image sensor are combined detects a human body that has entered a monitoring area by determining the presence or absence of a human body and the presence or absence of a plan (for example, Patent Document 2). reference).

これらの特許文献１および特許文献２に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
特開平８−１２４０７８号公報 特開２０００−３３９５５４号公報 In the inventions described in Patent Document 1 and Patent Document 2, a specific place or a specific abnormality (event) is mainly detected.
Japanese Patent Laid-Open No. 8-124078 JP 2000-339554 A

本発明はこのような状況に鑑みてなされたものであり、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにするものである。   The present invention has been made in view of such a situation, and when an event has not occurred, the user is usually allowed to view a predetermined signal and notify the user when an event has occurred. Is to be able to.

本発明の一側面の情報処理装置は、監視処理を実行する情報処理装置において、イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成することを特徴とする。   An information processing apparatus according to an aspect of the present invention includes an event information for notifying an event of occurrence of an event in an information processing apparatus that performs a monitoring process, by inserting event data for notifying the event into data based on a predetermined signal. A remote control presentation data including the event data for notifying the event to a first other information processing apparatus that remotely controls the information processing apparatus, The presentation data creation means creates only the data based on the predetermined signal as presentation data when the event has not occurred.

前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに設けることができる。   Presenting means for presenting the presenting data created by the presenting data creating means can be further provided.

第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに設け、前記呈示データ作成手段には、前記通知用データに基づく処理を実行させることができる。   Event notification receiving means for receiving notification data for notifying the event transmitted from the second other information processing apparatus, and presentation for transmitting the remote control presentation data to the first other information processing apparatus A data transmission means; a judgment signal receiving means for receiving a judgment signal based on the remote control presentation data transmitted from the first other information processing apparatus; and the judgment signal received by the judgment signal receiving means A determination signal transmission means for transmitting to a second other information processing apparatus is further provided, and the presentation data creation means can execute processing based on the notification data.

前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわせることができる。   Communication between the event notification receiving means and the determination signal transmitting means can be performed by wireless communication.

センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに設け、前記呈示データ作成手段には、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成させることができる。   Based on the sensor data, the feature quantity extracting means for extracting the feature quantity of the object, and the feature quantity extracted by the feature quantity extracting means is acquired, and it is determined whether or not an event has occurred based on the determination parameter Based on the determination signal received from the event determination means, the reception means for receiving the determination signal based on the remote control presentation data transmitted from the first other information processing apparatus, Control means for executing a control process is further provided, and the presentation data creation means can create the presentation data based on the determination result of the event determination means.

前記制御手段には、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新させ、前記特徴量抽出手段による特徴量抽出の処理を制御させ、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信させることができる。   The control unit causes the event determination unit to update the determination parameter for determining the event, controls a feature amount extraction process by the feature amount extraction unit, and performs the process by a second other information processing apparatus. A signal for controlling sensor data acquisition processing can be transmitted to the second other information processing apparatus.

前記センサデータは、第２の他の情報処理装置から供給され、前記制御手段には、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信させることができる。   The sensor data is supplied from a second other information processing apparatus, and the control means transmits a signal for switching on or off a plurality of sensors provided in the second other information processing apparatus. it can.

本発明の一側面においては、イベントが発生した場合には、所定の信号に基づくデータにイベントを通知するためのイベントデータを挿入して、呈示データが作成されるとともに、情報処理装置を遠隔制御する第１の他の情報処理装置にイベントを通知するためのイベントデータで構成されるリモコン呈示データが作成される。一方、イベントが発生していない場合には、所定の信号に基づくデータのみが呈示データとして作成される。   In one aspect of the present invention, when an event occurs, event data for notifying the event is inserted into data based on a predetermined signal, presentation data is created, and the information processing apparatus is remotely controlled Remote control presentation data composed of event data for notifying an event to the first other information processing apparatus is created. On the other hand, when no event has occurred, only data based on a predetermined signal is created as presentation data.

本発明によれば、イベントを通知することができる。また、本発明によれば、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができる。   According to the present invention, an event can be notified. In addition, according to the present invention, when an event has not occurred, it is possible to notify the user of an event that has occurred, while usually allowing the user to view a predetermined signal.

図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線通信を行なう。   FIG. 1 shows a configuration example of a monitoring system 10 to which the present invention is applied. In this configuration example, the multi-sensor camera 1 is provided on the left monitoring area side in the figure, and the processing box 2, the presentation unit 3, and the processing box 2 are remotely operated on the notification / presentation side on the right side in the figure. A remote controller 4 is provided. The multi-sensor camera 1 and the processing box 2 perform wireless communication.

マルチセンサカメラ１には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域（必要な場所）に設置されている。イベントが発生した場合、処理ボックス２は、呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に通知し、呈示させる。呈示部３は、例えば、一般のテレビジョン受像機とされる。この場合、呈示部３は、イベントが発生していない場合（通常）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。   The multi-sensor camera 1 is provided with a plurality of sensors, and each sensor is driven by a battery. Each sensor is installed in an area (necessary place) where an event is to be monitored. When an event occurs, the processing box 2 constructs a presentation image and sound, notifies the presentation unit 3 and the remote controller 4 to present them. The presenting unit 3 is, for example, a general television receiver. In this case, the presentation unit 3 displays a general viewing signal (video based on a broadcast signal) when an event does not occur (normal), and when an event occurs, an event image is displayed on a part of the general viewing signal. The inserted picture-in-picture image is displayed. The presenting unit 3 is not limited to a television receiver, and may be a dedicated monitor. The displayed image may be an image of the entire screen, not a picture-in-picture image.

ユーザは、呈示されたイベントに対して、判断を行ない、判断の結果に基づいて、リモートコントローラ４から指令を入力することができる。例えば、イベントを今後も知らせて欲しいときは、そのことを、OKボタン（後述する図９のＯＫボタン２９１）を操作して指示することができる。このユーザからの判断の入力に基づいて、処理ボックス２により検出されるイベントが時間と共に変化し、ユーザが監視システム１０を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。   The user can make a determination on the presented event and can input a command from the remote controller 4 based on the result of the determination. For example, when an event is desired to be notified in the future, this can be instructed by operating an OK button (an OK button 291 in FIG. 9 described later). Based on the judgment input from the user, the event detected by the processing box 2 changes with time, and whenever the user uses the monitoring system 10, only the event intended by the user is detected and notified. .

マルチセンサカメラ１に搭載されている複数のセンサおよび信号処理部（図示せず）は必要な時に、必要なもののみが動作するため、無駄な消費電力を抑えることができる。   Since a plurality of sensors and a signal processing unit (not shown) mounted on the multi-sensor camera 1 operate only when necessary, wasteful power consumption can be suppressed.

図２は、図１のマルチセンサカメラ１の機能的構成を示すブロック図である。   FIG. 2 is a block diagram showing a functional configuration of the multi-sensor camera 1 of FIG.

マルチセンサカメラ１には、カメラ２１、マイクロホン２２、赤外線センサ２３、その他のセンサ２４、信号処理部２５、送信部２６、受信部２７、およびバッテリ２８が設けられている。   The multi-sensor camera 1 includes a camera 21, a microphone 22, an infrared sensor 23, other sensors 24, a signal processing unit 25, a transmission unit 26, a reception unit 27, and a battery 28.

信号処理部２５は、赤外線センサ２３、その他のセンサ２４など、複数のセンサから得られるデータに基づいて、イベントを検出し、イベントが発生した場合、イベント呈示に必要なデータを、送信部２６を介して処理ボックス２に送信する（処理ボックス２にイベントを通知する）。その他のセンサ２４は、例えば、明るさを検出するフォトセンサである場合、部屋の電気をつけたことを検知し、また、例えば、マイクロ波センサである場合、動いている物体の距離および動きを検出する。バッテリ２８は、マルチセンサカメラ１の各部に対して必要な電力を供給している。   The signal processing unit 25 detects an event based on data obtained from a plurality of sensors such as the infrared sensor 23 and other sensors 24. When an event occurs, the signal processing unit 25 sends data necessary for event presentation to the transmission unit 26. To the processing box 2 (notifies the processing box 2 of the event). For example, when the sensor 24 is a photo sensor that detects brightness, it detects that the room has been turned on. When the sensor 24 is a microwave sensor, for example, the distance and movement of a moving object are detected. To detect. The battery 28 supplies necessary power to each part of the multi-sensor camera 1.

受信部２７は、イベント通知に対応して処理ボックス２から送信されてくるユーザの判断信号、センサ制御信号、または、信号処理制御信号を受信し、信号処理部２５に供給する。信号処理部２５は、これらの信号に基づく処理を実行する。マルチセンサカメラ１がユーザ判断入力を取得することにより、イベント検出および呈示に必要なセンサ、信号処理部２５、送信部２６、および受信部２７のみを動作させることができるため、マルチセンサカメラ１の消費電力を抑えることができる。   The receiving unit 27 receives a user determination signal, a sensor control signal, or a signal processing control signal transmitted from the processing box 2 in response to the event notification, and supplies the signal to the signal processing unit 25. The signal processing unit 25 executes processing based on these signals. Since the multi-sensor camera 1 acquires the user judgment input, only the sensors necessary for event detection and presentation, the signal processing unit 25, the transmission unit 26, and the reception unit 27 can be operated. Power consumption can be reduced.

また、このマルチセンサカメラ１は、小型、かつ、バッテリ駆動であり、さらに、無線通信機能を有しているため、大きなスペースを必要とせず、また、電源供給のための配線処理が不要なため、家庭内の様々な場所に、設置することができる。さらに、複数のセンサを搭載しているため、家庭内における様々なイベントを検知することができる。   In addition, the multi-sensor camera 1 is small and battery-driven, and further has a wireless communication function, so that a large space is not required and wiring processing for power supply is unnecessary. It can be installed in various places in the home. Furthermore, since a plurality of sensors are mounted, various events in the home can be detected.

図３は、図１の処理ボックス２の機能的構成を示すブロック図である。   FIG. 3 is a block diagram showing a functional configuration of the processing box 2 of FIG.

受信部５１は、マルチセンサカメラ１の送信部２６から無線（電波）で送信された信号を受信し、信号処理部５２に供給する。信号処理部５２は、一般視聴信号（テレビジョン放送信号）を受信するとともに、受信部５１から供給された信号に基づく処理または呈示画像の構築を行なう。イベントが発生した場合、信号処理部５２は、呈示部３への呈示データを構築し、呈示部３に出力するとともに、リモートコントローラ４へのリモコン呈示データを構築し、送信部５３を介して、無線（赤外線または電波）でリモートコントローラ４に送信する。   The reception unit 51 receives a signal transmitted by radio (radio wave) from the transmission unit 26 of the multi-sensor camera 1 and supplies the signal to the signal processing unit 52. The signal processing unit 52 receives a general viewing signal (television broadcast signal), and performs processing based on the signal supplied from the receiving unit 51 or construction of a presented image. When an event occurs, the signal processing unit 52 constructs presentation data to the presentation unit 3 and outputs the data to the presentation unit 3, constructs remote control presentation data to the remote controller 4, and transmits via the transmission unit 53. It transmits to the remote controller 4 by radio (infrared or radio wave).

受信部５４は、リモートコントローラ４から無線（赤外線または電波）で送信されたユーザの判断に基づく信号（ユーザ判断信号）を受信し、これを信号処理部５２に供給する。信号処理部５２は、このユーザ判断信号に基づく処理を実行するとともに、必要なデータを、送信部５５を介して、マルチセンサカメラ１に無線（電波）で送信する。   The receiving unit 54 receives a signal (user determination signal) based on a user's determination transmitted wirelessly (infrared rays or radio waves) from the remote controller 4 and supplies the signal to the signal processing unit 52. The signal processing unit 52 executes processing based on the user determination signal and transmits necessary data to the multi-sensor camera 1 via the transmission unit 55 by radio (radio wave).

図４は、図１のリモートコントローラ４の機能的構成を示すブロック図である。   FIG. 4 is a block diagram showing a functional configuration of the remote controller 4 of FIG.

受信部８１は、処理ボックス２の送信部５３から無線（赤外線または電波）で送信された信号（例えば、リモコン呈示データ）を受信し、信号処理部８２に供給する。信号処理部８２は、取得した信号の復号または符号化など、信号に基づく処理を実行する。   The reception unit 81 receives a signal (for example, remote control presentation data) transmitted wirelessly (infrared rays or radio waves) from the transmission unit 53 of the processing box 2 and supplies the signal processing unit 82 with the signal. The signal processing unit 82 performs processing based on a signal such as decoding or encoding of the acquired signal.

リモコン呈示部８３は、信号処理部８２から送信された信号に基づく画像（文字、記号などを含む）を呈示する。ユーザ入力ＩＦ（インターフェース）部８４は、イベントに対するユーザからの判断に基づく入力を受け付け、入力に基づく信号を信号処理部８２に供給する。   The remote control presentation unit 83 presents an image (including characters and symbols) based on the signal transmitted from the signal processing unit 82. The user input IF (interface) unit 84 receives an input based on a determination from the user with respect to the event, and supplies a signal based on the input to the signal processing unit 82.

イベントが発生した場合、受信部８１は、処理ボックス２の送信部５３から送信されてくるリモコン呈示データを受信し、信号処理部８２は、この呈示データに基づく画像をリモコン呈示部８３に呈示させる。ユーザにより、ユーザ入力ＩＦ部８４に判断が入力されると、ユーザ判断信号を信号処理部８２に供給する。信号処理部８２は、ユーザ判断信号を、送信部８５から、無線（赤外線または電波）で処理ボックス２に送信する。   When an event occurs, the reception unit 81 receives remote control presentation data transmitted from the transmission unit 53 of the processing box 2, and the signal processing unit 82 causes the remote control presentation unit 83 to present an image based on the presentation data. . When determination is input to the user input IF unit 84 by the user, a user determination signal is supplied to the signal processing unit 82. The signal processing unit 82 transmits a user determination signal from the transmission unit 85 to the processing box 2 wirelessly (infrared rays or radio waves).

ユーザによる、例えば、「今後も知らせて欲しいイベントである」、または、「今後知らせないでよいイベントである」などの判断を入力することができるように、リモートコントローラ４上に２つのボタン（例えば、後述する図９のＯＫボタン２９１とＮＧボタン２９２）が設けられる。マルチセンサカメラ１と処理ボックス２は、このユーザからの判断の入力に基づいて、処理を変化させる。   For example, two buttons (for example, on the remote controller 4) can be input so that the user can input a determination such as “an event that I want to be notified in the future” or “an event that should not be notified in the future”. , An OK button 291 and an NG button 292 in FIG. 9 to be described later are provided. The multi-sensor camera 1 and the processing box 2 change the processing based on the input of judgment from the user.

図２乃至図４のマルチセンサカメラ１、処理ボックス２、および、リモートコントローラ４により構成される図１の監視システム１０の主要部を接続して得られる原理的構成は、図５に示されるようになる。ただし、無線による通信路も有線の通信路として示されている。   The principle configuration obtained by connecting the main part of the monitoring system 10 of FIG. 1 composed of the multi-sensor camera 1, the processing box 2, and the remote controller 4 of FIGS. 2 to 4 is shown in FIG. become. However, a wireless communication path is also shown as a wired communication path.

図５の例における、複数のセンサ１０１ａ乃至センサ１０１ｎからなるセンサ１０１は、図２のマルチセンサカメラ１に対応させ、特徴量抽出部１０２、イベント判定部１０３、呈示データ構築部１０４、並びに、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８は、図３の処理ボックス２に対応させ、リモコン呈示部８３およびユーザ入力ＩＦ部８４は、図４のリモートコントローラ４に対応させることができる。ただし、この対応関係は任意であり、例えば、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８のうちの一部または全部は、マルチセンサカメラ１側の構成として設けることも可能である（この例が、後述する図７に示されている）。   The sensor 101 including the plurality of sensors 101a to 101n in the example of FIG. 5 corresponds to the multi-sensor camera 1 of FIG. 2, and includes a feature amount extraction unit 102, an event determination unit 103, a presentation data construction unit 104, and parameters. The control unit 108 including the control unit 121, the signal processing control unit 122, and the power supply control unit 123 corresponds to the processing box 2 in FIG. 3, and the remote control presenting unit 83 and the user input IF unit 84 are connected to the remote box in FIG. This can correspond to the controller 4. However, this correspondence is arbitrary, and for example, some or all of the feature amount extraction unit 102, the event determination unit 103, and the control unit 108 can be provided as a configuration on the multi-sensor camera 1 side. (This example is shown in FIG. 7 described later).

次に、図６のフローチャートを参照して、図５の監視システム１０により実行される処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。   Next, processing executed by the monitoring system 10 of FIG. 5 will be described with reference to the flowchart of FIG. This process is started when the user gives an instruction to start monitoring in the monitoring area.

ステップＳ１において、特徴量抽出部１０２は、監視領域に設けられているセンサ１０１を構成する複数のセンサ１０１ａ，１０１ｂ，・・・，１０１ｎのそれぞれからセンサデータを取得する。   In step S1, the feature quantity extraction unit 102 acquires sensor data from each of the plurality of sensors 101a, 101b,..., 101n constituting the sensor 101 provided in the monitoring area.

ステップＳ２において、特徴量抽出部１０２は、ステップＳ１の処理により取得した各種センサデータから各種特徴量を計算する。例えば、画像信号のフレーム間差分を取り、移動物体の位置を表すフレーム間差分の重心位置が計算される。あるいは、赤外線センサのデータの変化量が算出される。   In step S2, the feature quantity extraction unit 102 calculates various feature quantities from the various sensor data acquired by the process in step S1. For example, the inter-frame difference of the image signal is taken, and the barycentric position of the inter-frame difference representing the position of the moving object is calculated. Alternatively, the amount of change in data of the infrared sensor is calculated.

ステップＳ３において、イベント判定部１０３は、特徴量抽出部１０２により計算された各種特徴量を取得する。   In step S <b> 3, the event determination unit 103 acquires various feature amounts calculated by the feature amount extraction unit 102.

ステップＳ４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このととき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、パラメータ制御部１２１により制御され、更新される。ステップＳ４において、イベントであると判定された場合、処理はステップＳ５に進み、イベント判定部１０３は、イベントが発生したことを表すイベント発生信号と、イベント通知および呈示に必要なデータを呈示データ構築部１０４に供給する。   In step S <b> 4, the event determination unit 103 determines whether an event has occurred (whether it is an event) based on the acquired various feature amounts. At this time, the event determination unit 103 determines an event based on a determination parameter for determining an event held by itself. This parameter is controlled and updated by the parameter control unit 121. If it is determined in step S4 that the event has occurred, the process proceeds to step S5, and the event determination unit 103 presents an event occurrence signal indicating that the event has occurred and data necessary for event notification and presentation to construct the presentation data. Supplied to the unit 104.

ステップＳ６において、呈示データ構築部１０４は、特徴量抽出部１０２からイベント発生信号、イベント通知および呈示に必要なデータを取得し、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成する。また、呈示データ構築部１０４は、イベント呈示データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の呈示データ（以下、リモコン呈示データと称する）を作成する。   In step S <b> 6, the presentation data construction unit 104 acquires event generation signals, event notifications, and data necessary for presentation from the feature amount extraction unit 102, and uses the event presentation data as part of the general viewing signal (television broadcast signal). Create the inserted presentation data. In addition, the presentation data construction unit 104 creates presentation data (hereinafter referred to as remote control presentation data) for the remote controller 4 configured by event presentation data (not including a general viewing signal).

ステップＳ７において、呈示データ構築部１０４は、ステップＳ６の処理により作成した呈示データを呈示部３に出力し、呈示部３に呈示させる。また、呈示データ構築部１０４は、リモコン呈示データをリモコン呈示部８３に出力し、リモコン呈示部８３に呈示させる。   In step S <b> 7, the presentation data construction unit 104 outputs the presentation data created by the process of step S <b> 6 to the presentation unit 3 and causes the presentation unit 3 to present it. Also, the presentation data construction unit 104 outputs the remote control presentation data to the remote control presentation unit 83 and causes the remote control presentation unit 83 to present it.

呈示データは、一般の視聴信号の一部にイベント呈示データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示（例えば、後述する図１５に示されるような表示）が呈示される。また、リモコン呈示データは、イベント呈示データから構成されているため、リモコン呈示部８３には、イベントを表す表示（例えば、監視している場所の画像）のみが呈示される。   Since the presentation data is configured by inserting event presentation data into a part of a general viewing signal, the presentation unit 3 displays picture-in-picture (for example, display as shown in FIG. 15 described later). Is presented. Further, since the remote control presentation data is composed of event presentation data, only the display indicating the event (for example, the image of the monitored place) is presented on the remote control presentation unit 83.

ユーザは、リモコン呈示部８３に通知および呈示されたイベント（画像および音声）を見て、判断（例えば、いま呈示されているイベントは、今後も知らせて欲しいイベントであるのか、または、今後しらせないでよいイベントであるのかの判断）を入力する。このとき、例えば、判断を入力させるように促す画像を、リモコン呈示部８３に、表示させるようにしてもよい。ユーザからの判断が入力されると、ステップＳ８において、ユーザ入力ＩＦ部８４は、ユーザからのイベントに対する判断の入力を取得する。ユーザ入力ＩＦ部８４は、取得したユーザからの判断の入力に基づくユーザ判断信号を、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８に供給する。   The user looks at the event (image and sound) notified and presented to the remote control presenting unit 83, and determines (for example, the event that is currently presented is an event that the user wants to be notified in the future or will not let it be done in the future. To determine whether it is a good event). At this time, for example, an image that prompts the user to input a determination may be displayed on the remote control presentation unit 83. When the judgment from the user is input, in step S8, the user input IF unit 84 acquires the judgment input for the event from the user. The user input IF unit 84 supplies a user determination signal based on the acquired determination input from the user to the control unit 108 including the parameter control unit 121, the signal processing control unit 122, and the power supply control unit 123.

ステップＳ９において、パラメータ制御部１２１は、ステップＳ８の処理により取得したユーザ判断信号に基づいて、イベント判定部１０３に保持されているイベントを判定するための判定パラメータの更新を行ない、ユーザが意図するイベント検出が行なえるようにする。例えば、基準値以上の明るさが検出された場合、イベント検出信号が発生されるように設定されているとき、その基準値をより明るい基準値、またはより暗い基準値に変更することができる。   In step S9, the parameter control unit 121 updates the determination parameter for determining the event held in the event determination unit 103 based on the user determination signal acquired by the process in step S8, and the user intends. Enable event detection. For example, when brightness that is equal to or higher than the reference value is detected, when the event detection signal is set to be generated, the reference value can be changed to a brighter reference value or a darker reference value.

ステップＳ１０において、信号処理制御部１２２は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、特徴量抽出部１０２を制御する。具体的には、不要な特徴量の検出を中止するように制御したり、軽い処理（例えば、少ない数の特徴量を検出する処理）から、必要な場合に重い処理（より多い数の特徴量を検出し、より正確に判定できるようにする処理）に切り換えるなどの制御をする。例えば、後述する図１５に示されるような領域３２２（イベントとして検出して欲しい領域）と領域３２３（イベントとして検出する必要がない領域）のうち、領域３２３で人が撮影されたとしても、それを特徴量として検出させないようにすることができる。   In step S10, the signal processing control unit 122 controls the feature amount extraction unit 102 based on the user determination signal (the user determination signal acquired by the process in step S8). Specifically, control is performed such that detection of unnecessary feature values is stopped, or light processing (for example, processing for detecting a small number of feature values) to heavy processing (a larger number of feature values) when necessary. And control to switch to a process that allows more accurate determination. For example, even if a person is photographed in the area 323 out of the area 322 (area that is desired to be detected as an event) and the area 323 (area that is not necessarily detected as an event) as shown in FIG. Can be prevented from being detected as a feature quantity.

ステップＳ１１において、電源制御部１２３は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、センサ１０１の電源をオンまたはオフするように制御する。具体的には、センサ１０１ａ乃至センサ１０１ｎのうち、特徴量抽出部１０２およびイベント判定部１０３で必要のないセンサの電源はオフするように制御する。これにより無駄なバッテリを消費するのを防ぐことができる。   In step S11, the power supply control unit 123 performs control to turn on or off the power of the sensor 101 based on the user determination signal (the user determination signal acquired by the process in step S8). Specifically, among the sensors 101a to 101n, the feature amount extraction unit 102 and the event determination unit 103 perform control so that the power of sensors unnecessary is turned off. This can prevent wasted battery consumption.

ステップＳ１１の処理の後、処理はステップＳ１に戻り、同様の処理が繰り返される。   After the process of step S11, the process returns to step S1 and the same process is repeated.

一方、ステップＳ４において、イベント判定部１０３により、イベントでないと判定された場合、処理はステップＳ１２に進み、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）をそのまま呈示データとして呈示部３に出力する。呈示部３は、一般視聴信号を呈示する。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。   On the other hand, if the event determining unit 103 determines that the event is not an event in step S4, the process proceeds to step S12, and the presentation data constructing unit 104 directly uses the general viewing signal (television broadcast signal) as the presentation data. 3 is output. The presentation unit 3 presents a general viewing signal. Thereafter, the process returns to step S1, and the subsequent processes are repeated.

図６の処理により、ユーザは簡易な判断入力を行なうことにより、ユーザが意図するイベントを確実に検出することができ、かつ、必要な時のみ、各センサと処理部を動作するように制御することができるため、無駄な電力を消費することなく、マルチセンサカメラ１の低消費電力化が実現できる。   With the processing in FIG. 6, the user can reliably detect an event intended by the user by performing a simple determination input, and controls each sensor and the processing unit to operate only when necessary. Therefore, the power consumption of the multi-sensor camera 1 can be reduced without consuming unnecessary power.

以下に、図７乃至図１８を参照して、監視システム（ホームセキュリティシステム）の具体例の１つを示す。   A specific example of the monitoring system (home security system) will be described below with reference to FIGS.

この例の場合、使用するセンサは、カメラ２０１および赤外線センサ２０２（図７）であり、ユーザは呈示されたイベントに対して「ＯＫ（今後もイベントとして検出して欲しい）」または「ＮＧ（今後はイベントとして検出しなくてもよい）」を入力する。また、この場合の、マルチセンサカメラ１の構成例は図７に示され、処理ボックス２の構成例は図８に示され、リモートコントローラ４の構成例は図９に示されている。さらに、各機器における処理を説明するフローチャートが図１０乃至図１４に示され、呈示部３に呈示される画像が図１５および図１６に示されている。また、リモコン呈示部２８３に呈示される画像が図１７および図１８に示されている。図中、図５と対応する部分については、同一の符号を付してあり、その説明は、繰り返しになるので省略する。   In this example, the sensors to be used are the camera 201 and the infrared sensor 202 (FIG. 7), and the user responds to the presented event with “OK (to be detected as an event in the future)” or “NG (from now on). May not be detected as an event). In this case, a configuration example of the multi-sensor camera 1 is shown in FIG. 7, a configuration example of the processing box 2 is shown in FIG. 8, and a configuration example of the remote controller 4 is shown in FIG. Furthermore, flowcharts for explaining processing in each device are shown in FIGS. 10 to 14, and images presented in the presentation unit 3 are shown in FIGS. 15 and 16. Further, images presented on the remote control presenting unit 283 are shown in FIGS. 17 and 18. In the figure, portions corresponding to those in FIG. 5 are given the same reference numerals, and the description thereof will be omitted because it will be repeated.

図７において、カメラ２０１と赤外線センサ２０２により取得されるセンサデータは、特徴量抽出部１０２に供給される。例えば、赤外線センサ２０２は、常にオンとされ、カメラ２０１は、電力消費を少なくするために通常はオフとされる（上述したように、制御部１０８により制御されている）。特徴量抽出部１０２は、赤外線センサ２０２により取得されたセンサデータから特徴量を抽出し、イベント判定部１０３に供給する。   In FIG. 7, sensor data acquired by the camera 201 and the infrared sensor 202 is supplied to the feature amount extraction unit 102. For example, the infrared sensor 202 is always turned on, and the camera 201 is normally turned off to reduce power consumption (controlled by the control unit 108 as described above). The feature amount extraction unit 102 extracts a feature amount from the sensor data acquired by the infrared sensor 202 and supplies the feature amount to the event determination unit 103.

イベントが発生したことの通知に使用される通知用データが特徴量抽出部１０２から符号化部２０３へ供給され、符号化部２０３は、これを符号化し、送信部２０４に供給する。イベントが発生した場合、送信部２０４は、符号化された通知用データを処理ボックス２へ送信する。また、処理ボックス２から送信されてくるユーザ判断信号は、受信部２０５により受信され、復号部２０６により復号された後、制御部１０８に供給される。制御部１０８は、上述したように、ユーザ判断信号に基づく処理を実行する。   Notification data used for notifying that an event has occurred is supplied from the feature quantity extraction unit 102 to the encoding unit 203, and the encoding unit 203 encodes this and supplies it to the transmission unit 204. When an event occurs, the transmission unit 204 transmits the encoded notification data to the processing box 2. The user determination signal transmitted from the processing box 2 is received by the receiving unit 205, decoded by the decoding unit 206, and then supplied to the control unit 108. As described above, the control unit 108 executes processing based on the user determination signal.

具体的には、制御部１０８は、図５を参照して説明したように、イベント判定部１０３を、イベント判定のパラメータを更新するように制御したり、特徴量抽出部１０２を、画像の特徴量の抽出処理を開始したり、または停止するよう制御したり、カメラ２０１または赤外線センサ２０２を、オンまたはオフするよう制御する。   Specifically, as described with reference to FIG. 5, the control unit 108 controls the event determination unit 103 to update the event determination parameter, and the feature amount extraction unit 102 controls the feature of the image. The amount extraction process is controlled to start or stop, and the camera 201 or the infrared sensor 202 is controlled to be turned on or off.

符号化部２０３、送信部２０４、受信部２０５、および復号部２０６も、イベントが発生したときのみ処理を実行させるようにすることで、無駄に電力を消費することなく、マルチセンサカメラ１を動作させることができる。   The encoding unit 203, the transmission unit 204, the reception unit 205, and the decoding unit 206 also operate the multi-sensor camera 1 without wasting power by causing the processing to be executed only when an event occurs. Can be made.

マルチセンサカメラ１の送信部２０４からイベント通知（通知用データ）が送信されて来た場合、通知用データは、図８の処理ボックス２の受信部２４１により受信され、復号部２４２により復号された後、呈示データ構築部１０４に供給される。呈示データ構築部１０４は、上述したように、一般視聴信号の一部にイベント信号を重畳した呈示データを作成し、呈示部３へ出力するとともに、イベントデータそのものを、リモコン呈示データとして符号化部２４３に符号化させ、送信部２４４に送信させる。マルチセンサカメラ１からイベント通知（通知用データ）が送信されて来ない場合（イベントが発生していない場合）、呈示データ構築部１０４は、一般視聴信号そのものを呈示データとして呈示部３へ出力し、呈示させる。   When an event notification (notification data) is transmitted from the transmission unit 204 of the multi-sensor camera 1, the notification data is received by the reception unit 241 of the processing box 2 in FIG. 8 and decoded by the decoding unit 242. Thereafter, the data is supplied to the presentation data construction unit 104. As described above, the presentation data construction unit 104 creates presentation data in which an event signal is superimposed on a part of the general viewing signal, outputs the presentation data to the presentation unit 3, and encodes the event data itself as remote control presentation data. The data is encoded by 243 and transmitted to the transmission unit 244. When an event notification (data for notification) is not transmitted from the multi-sensor camera 1 (when no event has occurred), the presentation data construction unit 104 outputs the general viewing signal itself to the presentation unit 3 as presentation data. , To present.

リモコン呈示データの送信に伴って、リモートコントローラ４から、ユーザ判断信号が送信されてくる。そこで、処理ボックス２の受信部２４５は、これを受信し、復号部２４６に復号させる。復号されたユーザ判断信号は、呈示データ構築部１０４および符号化部２４７に供給される。呈示データ構築部１０４は、ユーザ判断信号に基づいて、例えば、ピクチャインピクチャの画像を生成する処理を中止するなどの処理を実行する。符号化部２４７は、供給されたユーザ判断信号を符号化し、送信部２４８に送信させる。送信部２４８により送信されたユーザ判断信号は、マルチセンサカメラ１の受信部２０５に受信される。   A user determination signal is transmitted from the remote controller 4 along with the transmission of the remote control presentation data. Therefore, the receiving unit 245 of the processing box 2 receives this and causes the decoding unit 246 to decode it. The decoded user determination signal is supplied to the presentation data construction unit 104 and the encoding unit 247. Based on the user determination signal, the presentation data construction unit 104 executes processing such as stopping processing for generating a picture-in-picture image, for example. The encoding unit 247 encodes the supplied user determination signal and causes the transmission unit 248 to transmit the encoded user determination signal. The user determination signal transmitted by the transmission unit 248 is received by the reception unit 205 of the multi-sensor camera 1.

処理ボックス２の送信部２４４からリモコン呈示データが送信されてきた場合、図９のリモートコントローラ４の受信部２８１は、これを受信し、復号部２８２に供給する。復号部２８２は、リモコン呈示データを復号し、復号されたリモコン呈示データに基づく画像をリモコン呈示部８３に呈示させる。   When remote control presentation data is transmitted from the transmission unit 244 of the processing box 2, the reception unit 281 of the remote controller 4 in FIG. 9 receives this and supplies it to the decoding unit 282. The decoding unit 282 decodes the remote control presentation data and causes the remote control presentation unit 83 to present an image based on the decoded remote control presentation data.

これに対して、ユーザは、ＯＫボタン２９１またはＮＧボタン２９２を操作することにより、判断（イベントとして検出する（ＯＫ）か、しない（ＮＧ）か）を入力することができる。   On the other hand, the user can input a judgment (whether it is detected as an event (OK) or not (NG)) by operating the OK button 291 or the NG button 292.

ユーザ入力ＩＦ８４は、ＯＫボタン２９１またはＮＧボタン２９２のうち、いずれか１つが操作されたことを検出し、ユーザ判断信号として符号化部２８３に供給する。符号化部２８３は、ユーザ判断信号を符号化し、送信部２８４に送信させる。送信部２８４は、ユーザ判断信号を、処理ボックス２の受信部２４５に送信する。   The user input IF 84 detects that any one of the OK button 291 or the NG button 292 is operated, and supplies it to the encoding unit 283 as a user determination signal. The encoding unit 283 encodes the user determination signal and causes the transmission unit 284 to transmit it. The transmission unit 284 transmits the user determination signal to the reception unit 245 of the processing box 2.

次に、図１０乃至図１４のフローチャートを参照して、図７のマルチセンサカメラ１、図８の処理ボックス２、および図９のリモートコントローラ４における処理を説明する。   Next, processing in the multi-sensor camera 1 in FIG. 7, the processing box 2 in FIG. 8, and the remote controller 4 in FIG. 9 will be described with reference to the flowcharts in FIGS.

最初に、図１０と図１１のフローチャートを参照して、図７のマルチセンサカメラ１における処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。   First, processing in the multi-sensor camera 1 of FIG. 7 will be described with reference to the flowcharts of FIGS. 10 and 11. This process is started when the user gives an instruction to start monitoring in the monitoring area.

ステップＳ５１において、必要であるとされているカメラ２０１と赤外線センサ２０２は、それぞれ画像データと検出データをセンサデータとして取得し、特徴量抽出部１０２に供給する。いまの例の場合、カメラ２０１と赤外線センサ２０２が両方とも動作している（必要である）ようにしたが、これに限定されず、例えば、赤外線センサ２０２のみ、または、カメラ２０１のみが動作しているものとしてもよい。   In step S <b> 51, the camera 201 and the infrared sensor 202 that are deemed necessary acquire image data and detection data as sensor data, and supply them to the feature amount extraction unit 102. In the present example, both the camera 201 and the infrared sensor 202 are operated (necessary). However, the present invention is not limited to this. For example, only the infrared sensor 202 or only the camera 201 operates. It is good as it is.

ステップＳ５２において、特徴量抽出部１０２は、必要な特徴量を計算する。具体的には、カメラ２０１が出力した画像データのフレーム間差分、フレーム間差分の重心位置、および赤外線センサ２０２が出力したセンサデータの変化量等の必要な特徴量を計算する。なお、必要な特徴量は時によって変換する。これは、制御部１０８により制御されるためである。特徴量抽出部１０２は、計算した各種特徴量を、イベント判定部１０３に供給するとともに、通知用データとして符号化部２０３に供給する。   In step S52, the feature amount extraction unit 102 calculates a necessary feature amount. Specifically, necessary feature amounts such as the inter-frame difference of the image data output from the camera 201, the barycentric position of the inter-frame difference, and the change amount of the sensor data output from the infrared sensor 202 are calculated. Note that necessary feature values are converted from time to time. This is because it is controlled by the control unit 108. The feature amount extraction unit 102 supplies the calculated various feature amounts to the event determination unit 103 and also supplies it to the encoding unit 203 as notification data.

ステップＳ５３において、イベント判定部１０３は、供給された各種特徴量（ステップＳ５２の処理により計算され、供給された各種特徴量）を取得する。   In step S53, the event determination unit 103 acquires the supplied various feature amounts (various feature amounts calculated and supplied by the processing in step S52).

ステップＳ５４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このとき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、制御部１０８により制御され、更新される。ステップＳ５４において、イベントであると判定された場合、処理はステップＳ５５に進み、イベント判定部１０３は、イベント発生信号を符号化部２０３、送信部２０４、受信部２０５および復号部２０６に送信する。符号化部２０３、送信部２０４、受信部２０５および復号部２０６は、このイベント発生信号が供給されたとき動作状態となる。従って、イベント発生信号が供給されないとき、非動作状態（オフ状態）となっているので、電力が無駄に消費されるのを抑制することができる。   In step S54, the event determination unit 103 determines whether an event has occurred (whether or not it is an event) based on the acquired various feature amounts. At this time, the event determination unit 103 determines an event based on a determination parameter for determining an event held by itself. This parameter is controlled and updated by the control unit 108. If it is determined in step S54 that the event is an event, the process proceeds to step S55, and the event determination unit 103 transmits the event occurrence signal to the encoding unit 203, the transmission unit 204, the reception unit 205, and the decoding unit 206. The encoding unit 203, the transmission unit 204, the reception unit 205, and the decoding unit 206 are in an operating state when this event occurrence signal is supplied. Therefore, when the event occurrence signal is not supplied, it is in the non-operating state (off state), so that it is possible to suppress wasteful consumption of power.

ステップＳ５６において、符号化部２０３は、ステップＳ５２の処理により特徴量抽出部１０２から送信された通知用データ（イベント通知用データ）を受信し、符号化し、送信部２０４に供給する。   In step S <b> 56, the encoding unit 203 receives the notification data (event notification data) transmitted from the feature amount extraction unit 102 in the process of step S <b> 52, encodes it, and supplies it to the transmission unit 204.

ステップＳ５７において、送信部２０４は、符号化部２０３により符号化され、供給された通知用データを処理ボックス２に送信する。   In step S <b> 57, the transmission unit 204 transmits the notification data encoded and supplied by the encoding unit 203 to the processing box 2.

処理ボックス２は、この通知用データを受信し（後述する図１２のステップＳ１０３）、これに対応するユーザ判断信号を送信してくる（後述する図１２のステップＳ１１２）。   The processing box 2 receives the notification data (step S103 in FIG. 12 to be described later) and transmits a user determination signal corresponding thereto (step S112 in FIG. 12 to be described later).

そこで、ステップＳ５８において、受信部２０５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきた場合、処理はステップＳ５９に進み、受信部２０５は、ユーザ判断信号を受信し、復号部２０６に供給する。   In step S58, the receiving unit 205 determines whether a user determination signal has been transmitted. When the user determination signal is transmitted, the process proceeds to step S59, and the reception unit 205 receives the user determination signal and supplies it to the decoding unit 206.

ステップＳ６０において、復号部２０６は、ユーザ判断信号を復号し、制御部１０８に供給する。   In step S <b> 60, the decoding unit 206 decodes the user determination signal and supplies it to the control unit 108.

ステップＳ６１において、制御部１０８は、イベント判定部１０３のパラメータ変更制御、特徴量抽出部１０２の信号処理制御、およびセンサの電源制御などの制御を実行する。詳細は、図５と図６を参照して説明したので省略する。   In step S <b> 61, the control unit 108 executes control such as parameter change control of the event determination unit 103, signal processing control of the feature amount extraction unit 102, and sensor power control. Details have been described with reference to FIG. 5 and FIG.

ステップＳ５４においてイベントでないと判定された場合、ステップＳ５８においてユーザ判断信号が送信されてこないと判定された場合、または、ステップＳ６１の処理の後、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。   If it is determined in step S54 that the event is not an event, if it is determined in step S58 that a user determination signal has not been transmitted, or after the process in step S61, the process returns to step S51, and the subsequent processes are repeated. It is.

次に、図１２と図１３を参照して、図１０と図１１のマルチセンサカメラ１の処理に対応する図８の処理ボックス２における処理を説明する。なお、この処理は、ユーザにより呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示または、監視領域における開始を開始するよう指令されたとき、開始される。   Next, processing in the processing box 2 in FIG. 8 corresponding to the processing of the multi-sensor camera 1 in FIGS. 10 and 11 will be described with reference to FIGS. 12 and 13. This process is started when the user instructs the presenting unit 3 to start presenting an image corresponding to the general viewing signal (broadcast program signal) or starting in the monitoring area.

ステップＳ１０１において、受信部２４１は、イベント通知があるか否かを判定する。具体的には、受信部２４１は、マルチセンサカメラ１の送信部２０４から通知用データが送信されてきたか否かを判定する。ステップＳ１０１において、イベント通知がされないと判定された場合（通知用データが送信されてこないと判定された場合）、処理はステップＳ１０２に進み、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして、呈示部３に出力し、呈示部３に呈示させる。その後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。   In step S101, the reception unit 241 determines whether there is an event notification. Specifically, the reception unit 241 determines whether notification data has been transmitted from the transmission unit 204 of the multi-sensor camera 1. In step S101, when it is determined that the event notification is not made (when it is determined that the notification data is not transmitted), the process proceeds to step S102, and the presentation data construction unit 104 directly displays the general viewing signal as the presentation data. Is output to the presenting unit 3 and is presented to the presenting unit 3. Thereafter, the processing returns to step S101, and the subsequent processing is repeated.

ステップＳ１０１において、イベント通知があると判定された場合、ステップＳ１０３において、受信部２４１は、通知用データを受信し、復号部２４２に復号させる。復号部２４２は、復号した通知用データを呈示データ構築部１０４に供給する。   If it is determined in step S101 that there is an event notification, in step S103, the reception unit 241 receives the notification data and causes the decoding unit 242 to decode it. The decryption unit 242 supplies the decrypted notification data to the presentation data construction unit 104.

ステップＳ１０４において、呈示データ構築部１０４は、供給された通知用データを受信し、呈示データを作成する。具体的には、呈示データ構築部１０４は、一般視聴画像の一部にイベント画像を多重化させることで呈示データを作成する（ピクチャインピクチャとなる画像データを作成する）。その後、呈示データ構築部１０４は、作成した呈示データを呈示部３に出力し、呈示させる。   In step S104, the presentation data construction unit 104 receives the supplied notification data and creates presentation data. Specifically, the presentation data construction unit 104 creates presentation data by creating an event image on a part of a general viewing image (creates image data to be a picture-in-picture). Thereafter, the presentation data construction unit 104 outputs the created presentation data to the presentation unit 3 for presentation.

このとき、呈示部３には、図１５または図１６に示されるような画像が表示される。図１５の例の場合、呈示部３には、一般視聴画面３２０の一部に、イベント呈示領域３２１が呈示されている。イベント呈示領域３２１の、図中、左側の領域３２２と、右側の領域３２３のうち、右側の領域３２３に、カメラ２０１で撮影された人の画像が表示されている。このイベント呈示に対してユーザは、リモートコントローラ４のＯＫ（今後もイベントとして検出して欲しい）ボタン２９１、またはＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２を操作することで、判断を入力することになる。このユーザ判断信号がリモートコントローラ４から送信されてくる（後述する図１４のステップＳ１５６）。   At this time, an image as shown in FIG. 15 or 16 is displayed on the presenting unit 3. In the case of the example of FIG. 15, an event presentation area 321 is presented on the presentation unit 3 in a part of the general viewing screen 320. In the event presentation area 321, the image of the person photographed by the camera 201 is displayed in the right area 323 of the left area 322 and the right area 323 in the drawing. In response to the event presentation, the user operates the OK (desired to be detected as an event in the future) button 291 or the NO (does not be detected as an event in the future) button 292 of the remote controller 4 to make a determination. Will be entered. This user determination signal is transmitted from the remote controller 4 (step S156 in FIG. 14 described later).

いま、領域３２２と領域３２３のうち、左側の領域３２２が、ユーザがイベントとして検出して欲しい領域であるとすると、ユーザは、図１５に示されているようなイベントの呈示に対して、ＮＯボタン２９２を操作する。ユーザによりＮＯボタン２９２が操作された場合、これに対応するユーザ判断信号が、リモートコントローラ４から送信されてくる。処理ボックス２はこれを受信すると、それをマルチセンサカメラ１に送信する（後述するステップＳ１１２）。上述したように、マルチセンサカメラ１の制御部１０８は、このユーザ判断信号を受信すると、特徴量抽出部１０２を制御し、カメラ２０１の画角の右側の領域を特徴量抽出の範囲から除外する（図１１のステップＳ６１）。その結果、以後、画角の右側の領域で人が撮影されても、イベント発生信号が発生されず、左側の領域で人が撮影されたとき、イベント通知が行なわれる。これにより、例えば、図１６に示されるような呈示が行なわれるようになる。   Assuming that the left region 322 of the regions 322 and 323 is a region that the user wants to detect as an event, the user does not respond to the event presentation as shown in FIG. The button 292 is operated. When the NO button 292 is operated by the user, a user determination signal corresponding to this is transmitted from the remote controller 4. When receiving this, the processing box 2 transmits it to the multi-sensor camera 1 (step S112 described later). As described above, when receiving the user determination signal, the control unit 108 of the multi-sensor camera 1 controls the feature amount extraction unit 102 to exclude the area on the right side of the angle of view of the camera 201 from the feature amount extraction range. (Step S61 in FIG. 11). As a result, even if a person is photographed in the area on the right side of the angle of view thereafter, an event occurrence signal is not generated, and event notification is performed when a person is photographed in the area on the left side. Thereby, for example, a presentation as shown in FIG. 16 is performed.

ユーザによりＮＯボタン２９２が操作された場合、呈示部３には、一般視聴画像のみが呈示される。すなわち、イベント呈示領域３２１は表示されない。これによりユーザは無駄なイベントを呈示されることなく、必要な場所だけ、イベント呈示領域３２１を見ることができる。   When the user operates the NO button 292, only the general viewing image is presented on the presentation unit 3. That is, the event presentation area 321 is not displayed. As a result, the user can view the event presentation area 321 only in a necessary place without being presented with a useless event.

図１２に戻って、ステップＳ１０５において、呈示データ構築部１０４は、リモコン呈示データを作成し、符号化部２４３に出力する。リモコン呈示データには、一般視聴信号は含まれず、リモコン呈示データは、通知用データそのものから構成されている。リモートコントローラ４は、リモコン呈示データを受信すると、対応する画像を図１７または図１８に示されるように表示する（後述する図１４のステップＳ１５３）。   Returning to FIG. 12, in step S <b> 105, the presentation data construction unit 104 creates remote control presentation data and outputs it to the encoding unit 243. The remote control presentation data does not include a general viewing signal, and the remote control presentation data is composed of notification data itself. When receiving the remote control presentation data, the remote controller 4 displays the corresponding image as shown in FIG. 17 or 18 (step S153 in FIG. 14 described later).

ステップＳ１０６において、符号化部２４３は、ステップＳ１０５の処理により供給されたリモコン呈示データを符号化し、これを送信部２４４に供給する。   In step S106, the encoding unit 243 encodes the remote control presentation data supplied by the process of step S105, and supplies this to the transmission unit 244.

ステップＳ１０７において、送信部２４４は、ステップＳ１０６の処理により供給された、符号化されたリモコン呈示データをリモートコントローラ４に送信する。リモートコントローラ４は、これを受信し（後述する図１４のステップＳ１５１）、呈示した（後述する図１４のステップＳ１５３）後、ユーザにより入力された判断に基づく信号であるユーザ判断信号を送信してくる（後述する図１４のステップＳ１５６）。   In step S107, the transmission unit 244 transmits the encoded remote control presentation data supplied by the processing in step S106 to the remote controller 4. The remote controller 4 receives this (step S151 in FIG. 14 to be described later), and after presenting (step S153 in FIG. 14 to be described later), transmits a user determination signal that is a signal based on the determination input by the user. (Step S156 in FIG. 14 described later).

そこで、ステップＳ１０８において、受信部２４５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきたと判定された場合、ステップＳ１０９において、受信部２４５は、ユーザ判断信号を受信し、これを復号部２４６に供給する。   Therefore, in step S108, the receiving unit 245 determines whether or not a user determination signal has been transmitted. If it is determined that the user determination signal has been transmitted, the reception unit 245 receives the user determination signal and supplies it to the decoding unit 246 in step S109.

ステップＳ１１０において、復号部２４６は、ステップＳ１０９の処理により供給されたユーザ判断信号を復号し、これを呈示データ構築部１０４に供給するとともに、符号化部２４７に供給する。   In step S110, the decoding unit 246 decodes the user determination signal supplied by the process of step S109, supplies this to the presentation data construction unit 104, and supplies it to the encoding unit 247.

ステップＳ１１１において、符号化部２４７は、ステップＳ１１０の処理により供給されたユーザ判断信号を符号化し、これを送信部２４８に供給する。   In step S <b> 111, the encoding unit 247 encodes the user determination signal supplied by the process of step S <b> 110 and supplies this to the transmission unit 248.

ステップＳ１１２において、送信部２４８は、ステップＳ１１１の処理により符号化され、供給されたユーザ判断信号をマルチセンサカメラ１に送信する。マルチセンサカメラ１は、上述したように、ユーザ判断信号に基づく処理を実行する（図１１のステップＳ６１）。   In step S112, the transmission unit 248 transmits the supplied user determination signal encoded by the process of step S111 to the multi-sensor camera 1. As described above, the multi-sensor camera 1 executes processing based on the user determination signal (step S61 in FIG. 11).

ステップＳ１１３において、呈示データ構築部１０４は、ステップＳ１１０の処理により復号部２４６により復号されたユーザ判断信号を取得し、ユーザ判断信号に基づく処理を実行する。   In step S113, the presentation data construction unit 104 acquires the user determination signal decoded by the decoding unit 246 by the process of step S110, and executes processing based on the user determination signal.

このとき、上述したように、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を停止するような信号（例えば、後述する図１７のＮＧボタン２９２が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を停止するなどの処理を実行する。このとき、呈示部３には、イベント呈示領域３２１が呈示されない。   At this time, as described above, the presentation data construction unit 104 includes a signal that stops construction of the presentation data (for example, a signal that an NG button 292 in FIG. 17 described later is operated) in the user determination signal. If it is included, processing such as stopping the construction of the presentation data including the event image is executed. At this time, the event presentation area 321 is not presented in the presentation unit 3.

また、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を続けるような信号（例えば、後述する図１７のＯＫボタン２９１が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を続ける処理を実行する。このとき、呈示部３には、図１６に示されるようなイベント呈示領域３２１が呈示される。   In addition, when the user determination signal includes a signal that continues the construction of the presentation data (for example, a signal that an OK button 291 in FIG. 17 described later is operated), A process of continuing construction of the presentation data including the image is executed. At this time, the event presentation area 321 as shown in FIG.

ステップＳ１０２の処理の後、ステップＳ１０８においてユーザ判断信号が送信されてこないと判定された場合、またはステップＳ１１３の処理の後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。   After step S102, if it is determined in step S108 that a user determination signal has not been transmitted, or after step S113, the process returns to step S101, and the subsequent processes are repeated.

次に、図１４を参照して、図１２と図１３の処理ボックス２の処理に対応する図９のリモートコントローラ４における処理を説明する。なお、この処理は、処理ボックス２の送信部２４４により、図１２のステップＳ１０７の処理が実行されたとき、開始される。   Next, processing in the remote controller 4 in FIG. 9 corresponding to the processing in the processing box 2 in FIGS. 12 and 13 will be described with reference to FIG. This process is started when the process of step S107 in FIG. 12 is executed by the transmission unit 244 of the process box 2.

ステップＳ１５１において、受信部２８１は、処理ボックス２の送信部２４４から送信されてきた（図１２のステップＳ１０７の処理により処理ボックス２の送信部２４４から送信されてきた）リモコン呈示データを受信し、これを復号部２８２に供給する。   In step S151, the reception unit 281 receives remote control presentation data transmitted from the transmission unit 244 of the processing box 2 (transmitted from the transmission unit 244 of the processing box 2 by the processing of step S107 in FIG. 12). This is supplied to the decoding unit 282.

ステップＳ１５２において、復号部２８２は、ステップＳ１５１の処理により受信されたリモコン呈示データを復号し、復号したリモコン呈示データをリモコン呈示部８３に供給する。   In step S152, the decoding unit 282 decodes the remote control presentation data received by the process of step S151, and supplies the decoded remote control presentation data to the remote control presentation unit 83.

ステップＳ１５３において、リモコン呈示部８３は、受信したリモコン呈示データに基づく画像を呈示する。   In step S153, the remote control presenting unit 83 presents an image based on the received remote control presentation data.

このとき、リモコン呈示部８３には、図１７または図１８に示されるような画像が表示される。この画像は、上述した図１５と図１６のイベント呈示領域３２１の画像と同様の画像である。すなわち、リモコン呈示データには、呈示部３に対して出力される呈示データのうちの、イベント呈示領域３２１に対応するデータのみが含まれている。   At this time, an image as shown in FIG. 17 or 18 is displayed on the remote control presentation unit 83. This image is the same image as the image of the event presentation area 321 in FIGS. 15 and 16 described above. That is, the remote control presentation data includes only data corresponding to the event presentation area 321 among the presentation data output to the presentation unit 3.

図１７の例の場合、リモコン呈示部８３には、リモコン呈示データに基づくイベントが呈示されている。リモコン呈示部８３の図中左側の領域２９３と右側の領域２９４のうち、左側の領域２９３が、ユーザがイベントとして検出して欲しい領域であるとすると、図１７に示されるように、右側の領域２９４に人の画像が表示されている場合、このイベント呈示に対してユーザは、ＯＫ（今後もイベントとして検出して欲しい）ボタン２９１とＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２のうち、ＮＯボタン２９２を操作する。これに対して、図１８に示されるように、左側の領域２９３に人の画像が表示されている場合、ユーザは、ＯＫボタン２９１を操作する。   In the case of the example in FIG. 17, the remote control presentation unit 83 presents an event based on the remote control presentation data. Of the left region 293 and the right region 294 in the figure of the remote control presentation unit 83, if the left region 293 is a region that the user wants to detect as an event, as shown in FIG. 17, the right region When a person image is displayed on the 294, the user presents an OK (desired to be detected as an event in the future) button 291 and a NO (may not be detected as an event in the future) button 292 for the event presentation. Of these, the NO button 292 is operated. On the other hand, as shown in FIG. 18, when a person image is displayed in the left area 293, the user operates the OK button 291.

そこで、ステップＳ１５４において、ユーザ入力ＩＦ部８４は、ユーザの判断が、入力されたか（ＯＫボタン２９１またはＮＧボタン２９２のいずれか１つが操作されたか）否かを判定する。ユーザの判断が入力されたと判定された場合、処理はステップＳ１５５に進み、ユーザ入力ＩＦ部８４は、ユーザの判断に基づく信号であるユーザ判断信号を符号化部２８３に供給し、符号化部２８３は、これを符号化する。その後、符号化部２８３は、符号化したユーザ判断信号を送信部２８４に供給する。   Therefore, in step S154, the user input IF unit 84 determines whether the user's determination has been input (whether one of the OK button 291 or the NG button 292 has been operated). If it is determined that the user's determination is input, the process proceeds to step S155, and the user input IF unit 84 supplies the user determination signal, which is a signal based on the user's determination, to the encoding unit 283, and the encoding unit 283 Encodes this. Thereafter, the encoding unit 283 supplies the encoded user determination signal to the transmission unit 284.

ステップＳ１５６において、送信部２８４は、符号化されたユーザ判断信号（ステップＳ１５４の処理により符号化部２８３により符号化されたユーザ判断信号）を、処理ボックス２に対して送信する。マルチセンサカメラ１と処理ボックス２はこれを受信し（図１１のステップＳ５９と図１２のステップＳ１０９）、上述したように、ユーザ判断信号に基づく処理を実行する。例えば、図１７に示されるような呈示に対してＮＧボタン２９２のユーザ判断信号が送信されてきた場合、マルチセンサカメラ１は、カメラ２０１で撮像される範囲（画角）のうち、右側の領域は、特徴量抽出の処理の対象外とする。その結果、以後、図１７に示されるような右側の領域２９４に人が表示されているような画像は、イベントとして送信してこなくなり、図１８に示されるような左側の領域２９３に人が表示されている画像がイベントの画像として呈示される。   In step S156, the transmission unit 284 transmits the encoded user determination signal (the user determination signal encoded by the encoding unit 283 by the process of step S154) to the processing box 2. The multi-sensor camera 1 and the processing box 2 receive this (step S59 in FIG. 11 and step S109 in FIG. 12), and execute the processing based on the user determination signal as described above. For example, when the user determination signal of the NG button 292 is transmitted in response to the presentation as shown in FIG. 17, the multi-sensor camera 1 is the right region in the range (view angle) captured by the camera 201. Are excluded from the feature extraction processing. As a result, an image in which a person is displayed in the right area 294 as shown in FIG. 17 will no longer be transmitted as an event, and a person is displayed in the left area 293 as shown in FIG. The displayed image is presented as an event image.

ステップＳ１５４の処理において、ユーザの判断が入力されていないと判定された場合、またはステップＳ１５６の処理の後、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。   In the process of step S154, when it is determined that the user's judgment is not input or after the process of step S156, the process returns to step S151, and the subsequent processes are repeated.

なお、マルチセンサカメラ１の処理の変化の例として、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、カメラ２０１と赤外線センサ２０２を常にオンするようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、カメラ２０１は通常オフとし、赤外線センサ２０２が反応したとき、初めてカメラ２０１をオンするように制御することもできる。   In addition, as an example of a change in processing of the multi-sensor camera 1, for example, during a predetermined period after the use of the monitoring system 10 is started (when the number of determination inputs by the user is less than the predetermined number), the camera 201 and the infrared The sensor 202 is always turned on, and after a predetermined period has elapsed (when the number of determination inputs by the user exceeds a predetermined number), the camera 201 is normally turned off, and the camera is not the first camera when the infrared sensor 202 reacts. It can also be controlled to turn on 201.

また、イベント判定部１０３の処理に関しても、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、人（侵入者）の撮像位置（領域）がどこであったとしてもイベントとして出力するようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、ＯＫボタン２９１を操作することでユーザが指定した位置（領域）で人（侵入者）が撮像された場合にのみ、イベントとして出力するようにイベント判定部１０３の判定パラメータを変更させるようにすることもできる。   In addition, regarding the processing of the event determination unit 103, for example, during a predetermined period after the use of the monitoring system 10 is started (when the number of determination inputs by the user is less than the predetermined number), an image of a person (intruder) is captured. An event is output wherever the position (area) is, and after a predetermined period has elapsed (when the number of determination inputs by the user exceeds a predetermined number), the user can operate the OK button 291 to operate the user. It is also possible to change the determination parameter of the event determination unit 103 so that an event is output only when a person (intruder) is imaged at the position (area) specified by.

以上の処理により、ユーザの判断に基づいて、動作するセンサを切り換え、さらに、ユーザの判断の繰り返しにより、マルチセンサカメラ１における処理を変化させることにより、ユーザが意図するイベントのみを検知および通知させるようにすることができ、かつ、必要なセンサ、信号処理等だけが動作するため、柔軟にイベントを検出および通知し、無駄な消費電力を抑えることができる。マルチセンサカメラ１は、バッテリ２８により駆動されるので、できるだけ電力消費を少なくするために、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８の１つ以上を、処理ボックス２に収容するようにするのが好ましい。   By the above processing, the sensor to be operated is switched based on the user's judgment, and further, the processing in the multi-sensor camera 1 is changed by repeating the user's judgment, so that only the event intended by the user is detected and notified. Since only necessary sensors, signal processing, and the like operate, it is possible to detect and notify an event flexibly, and to reduce wasteful power consumption. Since the multi-sensor camera 1 is driven by the battery 28, one or more of the feature amount extraction unit 102, the event determination unit 103, and the control unit 108 are accommodated in the processing box 2 in order to reduce power consumption as much as possible. It is preferable to do so.

また、マルチセンサカメラ１の消費電力を抑えることができ、さらに小型化することができるため、様々な場所に手軽に設置できる。   Moreover, since the power consumption of the multi-sensor camera 1 can be suppressed and the size can be further reduced, the multi-sensor camera 1 can be easily installed in various places.

なお、以上の例は、監視システム１０を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。   The above example is an example for realizing the monitoring system 10, and many other system configurations are conceivable. An example is shown below.

例えば、使用するセンサは、カメラ、マイクロホン、赤外線センサに限らず、他のセンサを搭載することができる。また、検出するイベントも、上述した例に限られるものではない。   For example, the sensor to be used is not limited to a camera, a microphone, and an infrared sensor, and other sensors can be mounted. Further, the event to be detected is not limited to the above-described example.

また、例えば、マルチセンサカメラ１と処理ボックス２の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。   Further, for example, communication between the multi-sensor camera 1 and the processing box 2 is not limited to wireless communication, and may be wired communication.

また、マルチセンサカメラ１は、１台ではなく、複数設けることも可能である。   Also, a plurality of multi-sensor cameras 1 can be provided instead of one.

さらに、呈示部３は、１つではなく、複数設けることも可能である。   Furthermore, it is possible to provide a plurality of the presenting units 3 instead of one.

また、処理ボックス２は、呈示部３と別の筐体とせず、一体型とすることもできる。   In addition, the processing box 2 can be an integral type, not a separate housing from the presenting unit 3.

さらに、リモートコントローラ４にリモコン呈示部８３を設けずに、呈示部３のみの呈示としてもよい。   Furthermore, the remote controller 4 may not be provided with the remote controller presenting unit 83 and only the presenting unit 3 may be presented.

また、リモートコントローラ４にイベントを呈示するのではなく、処理ボックス２にイベントの呈示部およびユーザの判断を入力するための入力ＩＦ部を設けることもできる。   Further, instead of presenting an event to the remote controller 4, an event presenting section and an input IF section for inputting user judgment can be provided in the processing box 2.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図１９に示されるようなパーソナルコンピュータ５００により実行される。   The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. It can be installed from a recording medium such as a general-purpose personal computer. In this case, the processing described above is executed by a personal computer 500 as shown in FIG.

図１９において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。   In FIG. 19, a CPU (Central Processing Unit) 501 performs various processes according to a program stored in a ROM (Read Only Memory) 502 or a program loaded from a storage unit 508 to a RAM (Random Access Memory) 503. Execute. The RAM 503 also appropriately stores data necessary for the CPU 501 to execute various processes.

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。   The CPU 501, ROM 502, and RAM 503 are connected to each other via an internal bus 504. An input / output interface 505 is also connected to the internal bus 504.

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT（Cathode Ray Tube），LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。   The input / output interface 505 includes an input unit 506 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 507 including a speaker, and a hard disk. A communication unit 509 including a storage unit 508, a modem, a terminal adapter, and the like is connected. A communication unit 509 performs communication processing via various networks including a telephone line and CATV.

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。   A drive 510 is connected to the input / output interface 505 as necessary, and a removable medium 521 made up of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately mounted, and a computer program read therefrom is It is installed in the storage unit 508 as necessary.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。   When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed in a general-purpose personal computer from a network or a recording medium.

この記録媒体は、図１９に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。   As shown in FIG. 19, this recording medium is not only composed of a package medium consisting of a removable medium 521 on which a program is recorded, which is distributed to provide a program to a user, separately from the computer. These are configured by a hard disk including a ROM 502 storing a program and a storage unit 508 provided to the user in a state of being pre-installed in the apparatus main body.

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing a computer program includes not only processing performed in time series according to the described order but also processing executed in parallel or individually even if not necessarily processed in time series. Is also included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

本発明を適用した監視システムの構成例を示す図である。It is a figure which shows the structural example of the monitoring system to which this invention is applied. 図１のマルチセンサカメラの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the multi sensor camera of FIG. 図１の処理ボックスの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the processing box of FIG. 図１のリモートコントローラの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the remote controller of FIG. 図１の監視システムの原理的構成を示すブロック図である。It is a block diagram which shows the fundamental structure of the monitoring system of FIG. 図５の監視システムにより実行されるイベント検出処理を説明するフローチャートである。It is a flowchart explaining the event detection process performed by the monitoring system of FIG. 図１のマルチセンサカメラの構成例を示すブロック図である。It is a block diagram which shows the structural example of the multi sensor camera of FIG. 図１の処理ボックスの構成例を示すブロック図である。It is a block diagram which shows the structural example of the process box of FIG. 図１のリモートコントローラの構成例を示すブロック図である。It is a block diagram which shows the structural example of the remote controller of FIG. 図７のマルチセンサカメラにおける処理を説明するフローチャートである。It is a flowchart explaining the process in the multi sensor camera of FIG. 図７のマルチセンサカメラにおける処理を説明するフローチャートである。It is a flowchart explaining the process in the multi sensor camera of FIG. 図８の処理ボックスにおける処理を説明するフローチャートである。It is a flowchart explaining the process in the process box of FIG. 図８の処理ボックスにおける処理を説明するフローチャートである。It is a flowchart explaining the process in the process box of FIG. 図９のリモートコントローラにおける処理を説明するフローチャートである。10 is a flowchart for explaining processing in the remote controller of FIG. 9. 図１２のステップＳ１０４の処理における呈示例を示す図である。It is a figure which shows the example of presentation in the process of step S104 of FIG. 図１２のステップＳ１０４の処理における呈示例を示す図である。It is a figure which shows the example of presentation in the process of step S104 of FIG. 図１４のステップＳ１５３の処理における呈示例を示す図である。It is a figure which shows the example of a presentation in the process of step S153 of FIG. 図１４のステップＳ１５３の処理における呈示例を示す図である。It is a figure which shows the example of a presentation in the process of step S153 of FIG. パーソナルコンピュータの構成例を示すブロック図である。And FIG. 16 is a block diagram illustrating a configuration example of a personal computer.

符号の説明Explanation of symbols

１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ８３ 呈示部， ８４ ユーザ入力ＩＦ部， １０１ センサ， １０２ 特徴量抽出部， １０３ イベント判定部， １０４ 呈示データ構築部， １０８ 制御部， １２１ パラメータ制御部， １２２ 信号処理制御部， １２３ 電源制御部， ２９１ ＯＫボタン， ２９２ ＮＧボタン   DESCRIPTION OF SYMBOLS 1 Multi-sensor camera, 2 Processing box, 3 Presentation part, 4 Remote controller, 10 Monitoring system, 83 Presentation part, 84 User input IF part, 101 Sensor, 102 Feature quantity extraction part, 103 Event determination part, 104 Presentation data construction part , 108 control unit, 121 parameter control unit, 122 signal processing control unit, 123 power control unit, 291 OK button, 292 NG button

Claims (7)

監視処理を実行する情報処理装置において、
イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成するとともに、前記情報処理装置を遠隔制御する第１の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データを作成する呈示データ作成手段を備え、
前記呈示データ作成手段は、前記イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成する
ことを特徴とする情報処理装置。 In an information processing apparatus that executes a monitoring process,
When an event occurs, event data for notifying the event is inserted into data based on a predetermined signal to create presentation data, and the first other information processing device that remotely controls the information processing device Including a presentation data creating means for creating remote control presentation data composed of the event data for notifying the event to
The presenting data creating unit creates only the data based on the predetermined signal as the presenting data when the event has not occurred. 前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a presentation unit that presents the presentation data created by the presentation data creation unit. 第２の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、
前記リモコン呈示データを前記第１の他の情報処理装置に送信する呈示データ送信手段と、
前記第１の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、
前記判断信号受信手段により受信された前記判断信号を前記第２の他の情報処理装置に送信する判断信号送信手段とをさらに備え、
前記呈示データ作成手段は、前記通知用データに基づく処理を実行する
ことを特徴とする請求項１に記載の情報処理装置。 Event notification receiving means for receiving notification data for notifying the event transmitted from the second other information processing apparatus;
Presenting data transmitting means for transmitting the remote control presenting data to the first other information processing apparatus;
A determination signal receiving means for receiving a determination signal based on the remote control presentation data transmitted from the first other information processing apparatus;
A determination signal transmitting means for transmitting the determination signal received by the determination signal receiving means to the second other information processing apparatus;
The information processing apparatus according to claim 1, wherein the presenting data creating unit executes processing based on the notification data. 前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわれる
ことを特徴とする請求項３に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein communication between the event notification receiving unit and the determination signal transmitting unit is performed by wireless communication. センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
前記第１の他の情報処理装置から送信されてくる、前記リモコン呈示データに基づく判断信号を受信する受信手段と、
前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに備え、
前記呈示データ作成手段は、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成する
ことを特徴とする請求項１に記載の情報処理装置。 Feature amount extraction means for extracting the feature amount of the object based on the sensor data;
Event determining means for acquiring the feature amount extracted by the feature amount extracting means and determining whether an event has occurred based on a determination parameter;
Receiving means for receiving a determination signal based on the remote control presentation data transmitted from the first other information processing apparatus;
Control means for executing control processing based on the determination signal received by the receiving means;
The information processing apparatus according to claim 1, wherein the presentation data creation unit creates the presentation data based on a determination result of the event determination unit. 前記制御手段は、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新し、前記特徴量抽出手段による特徴量抽出の処理を制御し、第２の他の情報処理装置による前記センサデータの取得処理を制御する信号を、前記第２の他の情報処理装置に対して送信する
ことを特徴とする請求項５に記載の情報処理装置。 The control unit updates the determination parameter for the event determination unit to determine the event, controls a feature amount extraction process by the feature amount extraction unit, and the sensor by a second other information processing apparatus The information processing apparatus according to claim 5, wherein a signal for controlling data acquisition processing is transmitted to the second other information processing apparatus. 前記センサデータは、第２の他の情報処理装置から供給され、
前記制御手段は、前記第２の他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信する
ことを特徴とする請求項５に記載の情報処理装置。 The sensor data is supplied from a second other information processing apparatus,
The information processing apparatus according to claim 5, wherein the control unit transmits a signal for switching on or off a plurality of sensors provided in the second other information processing apparatus.
JP2006121573A 2006-04-26 2006-04-26 Information processing apparatus and monitoring processing system Expired - Lifetime JP4492582B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006121573A JP4492582B2 (en) 2006-04-26 2006-04-26 Information processing apparatus and monitoring processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006121573A JP4492582B2 (en) 2006-04-26 2006-04-26 Information processing apparatus and monitoring processing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002303795A Division JP3820586B2 (en) 2002-10-18 2002-10-18 Information processing system and method, recording medium, and program

Publications (2)

Publication Number Publication Date
JP2006323839A true JP2006323839A (en) 2006-11-30
JP4492582B2 JP4492582B2 (en) 2010-06-30

Family

ID=37543426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006121573A Expired - Lifetime JP4492582B2 (en) 2006-04-26 2006-04-26 Information processing apparatus and monitoring processing system

Country Status (1)

Country Link
JP (1) JP4492582B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015109937A (en) * 2013-01-23 2015-06-18 株式会社東芝 Movement information processing device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134799A (en) * 1989-10-19 1991-06-07 Sekisui Chem Co Ltd Imaging home medium network
JPH03138595A (en) * 1989-10-25 1991-06-12 Ikegami Tsushinki Co Ltd Moving body detecting device
JPH06303326A (en) * 1993-04-16 1994-10-28 Casio Comput Co Ltd Doorphone system
JPH06351020A (en) * 1993-06-10 1994-12-22 Sanyo Electric Co Ltd Monitoring device
JPH11101502A (en) * 1997-09-26 1999-04-13 Noritz Corp Bathing monitoring device
JP2001006057A (en) * 1999-06-18 2001-01-12 Fujitsu General Ltd Abnormality detecting and monitoring system
JP2001061079A (en) * 1999-07-12 2001-03-06 Hewlett Packard Co <Hp> Remote control integrated image display
JP2001186511A (en) * 1999-12-27 2001-07-06 Hitachi Ltd Supervisory system, and recording medium with supervisory program recorded thereon

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134799A (en) * 1989-10-19 1991-06-07 Sekisui Chem Co Ltd Imaging home medium network
JPH03138595A (en) * 1989-10-25 1991-06-12 Ikegami Tsushinki Co Ltd Moving body detecting device
JPH06303326A (en) * 1993-04-16 1994-10-28 Casio Comput Co Ltd Doorphone system
JPH06351020A (en) * 1993-06-10 1994-12-22 Sanyo Electric Co Ltd Monitoring device
JPH11101502A (en) * 1997-09-26 1999-04-13 Noritz Corp Bathing monitoring device
JP2001006057A (en) * 1999-06-18 2001-01-12 Fujitsu General Ltd Abnormality detecting and monitoring system
JP2001061079A (en) * 1999-07-12 2001-03-06 Hewlett Packard Co <Hp> Remote control integrated image display
JP2001186511A (en) * 1999-12-27 2001-07-06 Hitachi Ltd Supervisory system, and recording medium with supervisory program recorded thereon

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015109937A (en) * 2013-01-23 2015-06-18 株式会社東芝 Movement information processing device

Also Published As

Publication number Publication date
JP4492582B2 (en) 2010-06-30

Similar Documents

Publication Publication Date Title
KR101437448B1 (en) Display apparatus and method of controlling thereof
US20060294565A1 (en) Television-based security monitoring system
US8185756B2 (en) System and method for transmitting a power control signal to an external device based on the presence of linkage information
US20240073472A1 (en) Systems, methods and apparatus for interacting with a security system using a television remote control
US20080036741A1 (en) Keyboard-video-mouse switch capable of being controlled by hand-held device and method thereof
KR101589597B1 (en) Broadcasting signal receiving apparatus remote controller and pairing method thereof
JP2006245829A (en) Apparatus, system, method and program for controlling electric appliance, and recording medium
JP2008199514A (en) Image display device
JP3820586B2 (en) Information processing system and method, recording medium, and program
JP4492582B2 (en) Information processing apparatus and monitoring processing system
JP4403418B2 (en) Information processing system and method, recording medium, and program
US8605218B2 (en) Home audio video display device (AVDD) as sensor monitor
US11133952B2 (en) Notification control apparatus, detection apparatus, notification control system, notification control method, and detection method
US20130057403A1 (en) Method and device for detecting and reporting activity
JP2009003735A (en) Security system
TWI527000B (en) Infrared contral system and operation method thereof
JP4406821B2 (en) Monitoring system and method, information processing apparatus, recording medium, and program
US9473728B2 (en) Home audio video display device (AVDD) as sensor monitor
JP6173141B2 (en) Wireless communication system and wireless transmitter
JP2013074512A (en) Visitor notification device, visitor notification system with the device, and program for controlling visitor notification device
KR100687921B1 (en) Electronic Equipment
JP4438344B2 (en) Monitoring system and method, information processing apparatus and method, recording medium, and program
JP2008199510A (en) Television and information display device
JP4605429B2 (en) Monitoring system, information processing apparatus and method, recording medium, and program
CN113132676A (en) Video device monitoring system and method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

R151 Written notification of patent or utility model registration

Ref document number: 4492582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250