JP2018078434A - 送信装置、情報処理システムおよび送信方法 - Google Patents
送信装置、情報処理システムおよび送信方法 Download PDFInfo
- Publication number
- JP2018078434A JP2018078434A JP2016218577A JP2016218577A JP2018078434A JP 2018078434 A JP2018078434 A JP 2018078434A JP 2016218577 A JP2016218577 A JP 2016218577A JP 2016218577 A JP2016218577 A JP 2016218577A JP 2018078434 A JP2018078434 A JP 2018078434A
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory
- processing unit
- moving image
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/08—Access security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/61—Time-dependent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
Abstract
【課題】入力されたデータの流出を抑制すること。
【解決手段】処理部1dは、入力された第1のデータを第1のメモリ1aに格納し、第1のデータに基づいて第2のデータを生成し、第2のデータを第2のメモリ1bに格納する。処理部1dは、第2のデータが異常を示す場合に、第1のメモリ1aに格納された第1のデータを第3のメモリ1cに格納する。通信部1eは、第2のメモリ1bに格納された第2のデータの送信、および、第3のメモリ1cに格納された第1のデータの送信を行う。電源制御部1fは、第1のメモリ1aおよび通信部1eを排他的に電源オンにする。電源制御部1fは、異常に応じて第3のメモリ1cを電源オンにする。
【選択図】図1
【解決手段】処理部1dは、入力された第1のデータを第1のメモリ1aに格納し、第1のデータに基づいて第2のデータを生成し、第2のデータを第2のメモリ1bに格納する。処理部1dは、第2のデータが異常を示す場合に、第1のメモリ1aに格納された第1のデータを第3のメモリ1cに格納する。通信部1eは、第2のメモリ1bに格納された第2のデータの送信、および、第3のメモリ1cに格納された第1のデータの送信を行う。電源制御部1fは、第1のメモリ1aおよび通信部1eを排他的に電源オンにする。電源制御部1fは、異常に応じて第3のメモリ1cを電源オンにする。
【選択図】図1
Description
本発明は送信装置、情報処理システムおよび送信方法に関する。
現在、様々な電子機器がネットワークに接続されている。サーバコンピュータがネットワークに接続された電子機器を遠隔制御するシステムもある。例えば、コネクテッドホーム(または、スマートホーム)と呼ばれるシステムが考えられている。
コネクテッドホームは、住宅に供給するエネルギーや住宅内の家電機器を自動制御し、安全で快適な住まいを実現する。コネクテッドホームでは、住まいにおいて、ユーザがどこで何をしているかを示す情報を光、音および熱などを感知するセンサにより検出し、検出された情報を、サーバコンピュータにより収集・解析して、家電機器を制御し得る。
ところで、上記のようにシステムにより収集されるデータには、ユーザのプライバシーに関わる情報のように機密性の高いものも存在する。そこで、収集されるデータのセキュリティを確保する方法が考えられている。
例えば、画像センサにより監視領域を撮影した画像を取得し、撮影した画像を通信回線を介して伝送する画像監視装置の提案がある。画像監視装置は、監視領域の状態が正常状態のときや警備モードが警戒解除であるとき、画像送出を行わないようにすることで、セキュリティ上不必要な場合に、警備センタなどの外部において、監視対象の画像を監視員に見せないようにする。
なお、監視カメラを有する端末装置により災害発生状態と判定された場合にのみ、監視カメラの撮像画像を監視センタに送信する監視システムの提案もある。また、緊急地震速報後にカメラで監視対象施設を撮像し、地震センサによる地震の主要動の到達検出後にカメラにより該当施設を再撮像し、撮像した両画像データの差分により、該当施設の被災の有無を判定して判定結果を監視センタに通知する提案もある。
更に、記憶装置の外部ネットワーク側の入出力チャネルを介したアクセスを読み出しのみとし、書き込みを制限することで、外部ネットワークから記憶装置に記録された監視映像の改ざんを防ぐ映像監視録画システムの提案もある。
上記のように、センサなどから入力された入力データ(ユーザのプライバシーに関わる画像や音声などのデータ)を収集して、監視や機器の制御を行うシステムが考えられる。
このようなシステムにおいて、通常時は、例えばセンサに接続された送信装置により入力データから所定のデータ(例えば、機器制御用のコンテキストデータ)を生成してサーバなどに送信することが考えられる。そして、異常時には入力データ自体を送信装置によりサーバなどに送信して監視者による適切な異常把握および異常対応を可能にすることが考えられる。こうして、入力データの送信を異常時に限ることで、ユーザのプライバシーに関わる情報の流出を制限し得る。ところが、送信装置の機能によりデータの送信内容を制御しても、不正アクセスにより当該機能が改造されて情報が流出するリスクは残る。
このようなシステムにおいて、通常時は、例えばセンサに接続された送信装置により入力データから所定のデータ(例えば、機器制御用のコンテキストデータ)を生成してサーバなどに送信することが考えられる。そして、異常時には入力データ自体を送信装置によりサーバなどに送信して監視者による適切な異常把握および異常対応を可能にすることが考えられる。こうして、入力データの送信を異常時に限ることで、ユーザのプライバシーに関わる情報の流出を制限し得る。ところが、送信装置の機能によりデータの送信内容を制御しても、不正アクセスにより当該機能が改造されて情報が流出するリスクは残る。
具体的には、送信装置では、入力データを一時的にメモリに保持することになる。このため、送信装置が不正アクセスを受けると、メモリに格納された入力データが制限なく外部に流出するおそれがあるという問題がある。
1つの側面では、本発明は、入力されたデータの流出を抑制することを目的とする。
1つの態様では、送信装置が提供される。この送信装置は、処理部と通信部と電源制御部とを有する。処理部は、入力された第1のデータを第1のメモリに格納し、第1のデータに基づいて第2のデータを生成し、第2のデータを第2のメモリに格納し、第2のデータが異常を示す場合に、第1のメモリに格納された第1のデータを第3のメモリに格納する。通信部は、第2のメモリに格納された第2のデータの送信、および、第3のメモリに格納された第1のデータの送信を行う。電源制御部は、第1のメモリおよび通信部を排他的に電源オンにし、異常に応じて第3のメモリを電源オンにする。
また、1つの態様では、情報処理システムが提供される。この情報処理システムは、送信装置と情報処理装置とを有する。送信装置は、処理部と通信部と電源制御部とを有する。処理部は、入力された第1のデータを第1のメモリに格納し、第1のデータに基づいて第2のデータを生成し、第2のデータを第2のメモリに格納し、第2のデータが異常を示す場合に、第1のメモリに格納された第1のデータを第3のメモリに格納する。通信部は、第2のメモリに格納された第2のデータの送信、および、第3のメモリに格納された第1のデータの送信を行う。電源制御部は、第1のメモリおよび通信部を排他的に電源オンにし、異常に応じて第3のメモリを電源オンにする。情報処理装置は、第1のデータおよび第2のデータを受信し、第2のデータに応じて他の装置を制御する。
また、1つの態様では、送信装置によるデータの送信方法が提供される。この送信方法では、処理部が、入力された第1のデータを第1のメモリに格納し、第1のデータに基づいて第2のデータを生成し、第2のデータを第2のメモリに格納する。電源制御部が、第2のデータが異常を示す場合に、第3のメモリを電源オンにする。処理部が、第1のメモリに格納された第1のデータを第3のメモリに格納する。電源制御部が、第1のメモリを電源オフにし、第2のメモリに格納された第2のデータを送信する通信部を電源オンにする。通信部が、第3のメモリに格納された第1のデータの送信を行う。
1つの側面では、入力されたデータの流出を抑制できる。
以下、本実施の形態について図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態の送信装置を示す図である。送信装置1は、センサ2に接続される。送信装置1は、情報処理装置3と通信する。送信装置1は、センサ2から取得した第1のデータ、および、第1のデータに応じて生成される第2のデータの情報処理装置3への送信を制御する。第1のデータは、センサ2によって生成されたデータである。第1のデータは、センサデータと呼ばれてもよい。第2のデータは、情報処理装置3による所定の制御に用いられるデータである。第2のデータは、コンテキストデータと呼ばれてもよい。
[第1の実施の形態]
図1は、第1の実施の形態の送信装置を示す図である。送信装置1は、センサ2に接続される。送信装置1は、情報処理装置3と通信する。送信装置1は、センサ2から取得した第1のデータ、および、第1のデータに応じて生成される第2のデータの情報処理装置3への送信を制御する。第1のデータは、センサ2によって生成されたデータである。第1のデータは、センサデータと呼ばれてもよい。第2のデータは、情報処理装置3による所定の制御に用いられるデータである。第2のデータは、コンテキストデータと呼ばれてもよい。
ここで、センサ2は、送信装置1に対するデータの入力元の装置である。センサ2は、例えば、カメラに内蔵されるイメージセンサである。その場合、第1のデータは、イメージセンサによって生成された画像データである。例えば、センサ2は、所定の施設(例えば、住宅や保健施設など)に設けられて、施設内のユーザの画像データ(静止画や動画など)を生成してもよい。画像データは、ユーザの画像を含み得る。ただし、センサ2は、音や温度などの他の物理現象を検出するセンサでもよい。第1のデータは、音声データや温度分布データなどでもよい。なお、センサ2は、送信装置1に内蔵されてもよい。
情報処理装置3は、通常時には、送信装置1により送信された第2のデータを受信し、第2のデータに応じて他の装置(図1では図示を省略している)の動作制御を行う。また、情報処理装置3は、異常時には、送信装置1により送信された第1のデータを受信し、異常内容の把握を行う。
このように送信装置1は、通常時および異常時に応じて、情報処理装置3に送信するデータを制御する。送信装置1は、センサ2から入力された第1のデータを一時的に保持する。第1のデータは、前述のように、ユーザのプライバシーに関する情報を含み得る。一方、送信装置1は、通信機能を備えるため、不正アクセスを受けるおそれがある。そこで、送信装置1は、不正アクセスによる情報流出のリスクを低減する機能を提供する。
送信装置1は、第1のメモリ1a、第2のメモリ1b、第3のメモリ1c、処理部1d、通信部1eおよび電源制御部1fを有する。
第1のメモリ1a、第2のメモリ1b、第3のメモリ1cは、揮発性の記憶装置(揮発性メモリ)である。例えば、第1のメモリ1a、第2のメモリ1b、第3のメモリ1cは、SRAM(Static Ramdom Access Memory)である。
第1のメモリ1a、第2のメモリ1b、第3のメモリ1cは、揮発性の記憶装置(揮発性メモリ)である。例えば、第1のメモリ1a、第2のメモリ1b、第3のメモリ1cは、SRAM(Static Ramdom Access Memory)である。
処理部1dは、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、CPU(Central Processing Unit)などのプロセッサにより実現される。プロセッサは、複数のプロセッサの集合(マルチプロセッサ)でもよい。
通信部1eおよび電源制御部1fも、処理部1dと同様に、FPGAやASICなどのプロセッサにより実現される。ただし、電源制御部1fは、ハードワイヤードロジックにより実現されることが好ましい。すなわち、電源制御部1fは、不正アクセスなどによって事後的なロジックの書き換えを行えないものが好ましい。例えば、電源制御部1fとして、工場などの製造拠点でロジックデータをワンタイムフラッシュに書き込んだFPGAを用いることが考えられる。事後的なロジックの改ざんを防ぎ、後述の電源制御を適切に実行するためである。
第1のメモリ1aは、センサ2から入力された第1のデータを記憶する。例えば、第1のメモリ1aは1フレームから数フレーム程度の長さに相当するデータを記憶可能である(古いデータは新しいデータで上書きされる)。
第2のメモリ1bは、処理部1dにより生成された第2のデータを記憶する。第2のデータは、第1のデータよりも小さいサイズのデータである。第2のメモリ1bの記憶容量は、第2のデータの格納に求められる最低限のサイズとすることが好ましい。
第3のメモリ1cは、異常時に、第1のデータを記憶する。送信装置1により異常時に情報処理装置3に送信する第1のデータのデータ量は、予め定められている(例えば、静止画像や動画像などをどの程度の時間の分だけ送信するかにより定められる)。第3のメモリ1cの記憶容量は、異常時に送信するデータ量の格納に求められる最低限のサイズとすることが好ましい。
処理部1dは、センサ2から入力された第1のデータを第1のメモリ1aに格納する。第1のデータは、センサ2によるセンシングに応じて継続的に入力される。入力された第1のデータは、まずは、第1のメモリ1aに格納されバッファリングされることになる。
処理部1dは、第1のメモリ1aに格納された第1のデータに基づいて、第2のデータを生成する。例えば、処理部1dは、第1のデータを用いて所定の演算処理を実行することで、第2のデータを出力する。例えば、当該演算処理は、継続的に入力される第1のデータの時系列の変化などを検出する処理でもよい。
第2のデータは、例えば、ユーザが存在する/存在しない、ユーザが長期間滞在しているなどユーザの状況を表すこともある。また、第2のデータは、ユーザが異常な動きをしている、長期間滞在し得ない場所に異常に長く滞在しているなどのユーザの異常を表すこともある。処理部1dは、生成した第2のデータを第2のメモリに格納する。また、処理部1dは、第2のデータが異常を示す場合に、第1のメモリ1aに格納された第1のデータを第3のメモリに格納する。
通信部1eは、情報処理装置3と通信する。通信部1eは、情報処理装置3に対して、第2のメモリ1bに格納された第2のデータの送信を行う。また、通信部1eは、情報処理装置3に対して、第3のメモリ1cに格納された第1のデータの送信を行う。
電源制御部1fは、第1のメモリ1a、第2のメモリ1b、第3のメモリ1c、処理部1dおよび通信部1eに対する電源制御を行う。特に断らない限り、第2のメモリ1bおよび処理部1dは電源オンにされていると考えてよい。第3のメモリ1cは、通常時、電源オフにされている。処理部1dにより第1のデータが第3のメモリ1cに余計に格納されることを防ぐためである。電源制御部1fは次に示す第1の制御および第2の制御を行う。
第1の制御は、第1のメモリ1aおよび通信部1eを排他的に電源オンにする制御である。すなわち、電源制御部1fは、第1のメモリ1aを電源オンにする場合、通信部1eを電源オフにする。また、電源制御部1fは、通信部1eを電源オンにする場合、第1のメモリ1aを電源オフにする。
第1の制御において、電源制御部1fは、処理部1dまたは通信部1eからの通知に応じたタイミングで、第1のメモリ1aおよび通信部1eの電源オン/オフを切り替える。例えば、電源制御部1fは、第2のデータが正常を示す場合、第2のデータの生成および第2のデータの第2のメモリ1bへの格納が完了した旨の通知を処理部1dから受け付けた後に、第1のメモリ1aの電源オフおよび通信部1eの電源オンを行う。そして、電源制御部1fは、第2のデータの送信が完了した旨の通知を通信部1eから受け付けた後に、通信部1eの電源オフおよび第1のメモリ1aの電源オンを行う。
第2の制御は、異常に応じて第3のメモリ1cを電源オンにする制御である。
第2の制御において、電源制御部1fは、処理部1dからの通知に応じたタイミングで、第3のメモリ1cを電源オンにする。例えば、電源制御部1fは、第2のデータに基づく異常が検出された旨の通知を処理部1dから受け付けた後に、第3のメモリ1cの電源オンを行う。なお、第3のメモリ1cが電源オンになると、処理部1dによる第1のメモリ1aに格納された第1のデータの第3のメモリ1cへの格納が可能になる。
第2の制御において、電源制御部1fは、処理部1dからの通知に応じたタイミングで、第3のメモリ1cを電源オンにする。例えば、電源制御部1fは、第2のデータに基づく異常が検出された旨の通知を処理部1dから受け付けた後に、第3のメモリ1cの電源オンを行う。なお、第3のメモリ1cが電源オンになると、処理部1dによる第1のメモリ1aに格納された第1のデータの第3のメモリ1cへの格納が可能になる。
電源制御部1fは、第2の制御を行う場合に、第1の制御により、第1のメモリ1aおよび通信部1eを排他的に電源オンにしてもよい。例えば、電源制御部1fは、処理部1dから異常の通知を受け付けた後、通信部1eを電源オンにする前に、第1のメモリ1aを電源オフにする。その後、電源制御部1fは、第3のメモリ1cおよび通信部1eを電源オフにしてから第1のメモリ1aを電源オンにする。なお、この場合、電源制御部1fは、送信装置1に対するユーザ(あるいは、異常の対応に駆け付けた人)による所定の操作入力を受け付けた場合に、第3のメモリ1cおよび通信部1eを電源オフにして第1のメモリ1aを電源オンにするよう制御してもよい。送信装置1は、当該操作入力を受け付けるための操作部(例えば、ユーザによる押下操作が可能なボタン)を備えてもよい。
図1では、電源制御部1fによる第1のメモリ1a、第3のメモリ1cおよび通信部1eに対する電源制御の一例が示されている。時間の正方向は、左(時刻T0側)から右(時刻T3側)へ向かう方向である。以下、時刻T0,T1,T2,T3の時系列に沿って各部の電源状態を説明する。図1では、電源オンを「on」、電源オフを「off」と表記している。
時刻T0の直前は、通常時の処理であり、通信部1eにより第2のメモリ1bに格納された第2のデータが送信される。時刻T0の直前では、第1のメモリ1aが電源オフ、通信部1eが電源オン、第3のメモリ1cが電源オフである。
時刻T0で、電源制御部1fは、通信部1eを電源オフにし、第1のメモリ1aを電源オンにする。時刻T0以後、処理部1dは、センサ2から入力された第1のデータを第1のメモリ1aに格納し、第1のメモリ1aに格納された第1のデータに基づいて第2のデータを生成する。処理部1dは、第2のデータを第2のメモリ1bに格納する。ここで、処理部1dは、第2のデータが異常を示すことを検出する。処理部1dは、異常の検出を電源制御部1fに通知する。
時刻T1で、電源制御部1fは、処理部1dによる異常の通知に応じて、第3のメモリ1cを電源オンにする。その間も処理部1dは、センサ2から新たに入力された第1のデータを第1のメモリ1aに格納する。処理部1dは、第1のメモリ1aに格納された第1のデータの第3のメモリ1cへの格納を開始する。ここで、第1のデータの取得時間ΔTは、ΔT=T2−T1である。ΔTは予め定められる。ΔTは例えば数秒程度である。
時刻T2で、電源制御部1fは、第1のメモリ1aを電源オフにし、通信部1eを電源オンにする。第1のメモリ1aにより入力された第1のデータを保持できなくなるので、処理部1dは、センサ2から新たに第1のデータが入力されても破棄する。通信部1eは、第2のメモリ1bに格納された第2のデータ、および、第3のメモリ1cに格納された第1のデータの情報処理装置3への送信を開始する。
時刻T3で、電源制御部1fは、ユーザによる所定の操作入力を受け付けて、第3のメモリ1cおよび通信部1eを電源オフにする。そして、電源制御部1fは、第1のメモリ1aを電源オンにする。処理部1dは、センサ2から入力される第1のデータを第1のメモリ1aにより保持できるようになる。処理部1dは、第1のメモリ1aに格納された第1のデータに基づく第2のデータの生成を開始する。
こうして、電源制御部1fにより、第1のメモリ1aと通信部1eとが同時に電源オンにならないように制御することで、第1のメモリ1aに格納された第1のデータが不正アクセスにより流出することを防げる。具体的には次の通りである。
第1に、第1のメモリ1aに第1のデータが格納されている間、通信部1eを用いた通信は不可能となる。このため、送信装置1に対する外部からのアクセスも不可能となり、第1のメモリ1aに格納された第1のデータの流出を防げる。
第2に、通信部1eが第2のデータを送信する間、第1のメモリ1aにアクセスできなくなる。このため、仮に、送信装置1が不正アクセスを受けたとしても、第1のメモリ1aにアクセスすることはできず、第1のデータの流出を防げる。第1のメモリ1aを揮発性メモリとすることで、電源オフにより第1のデータは第1のメモリ1aから消去され、第1のデータの流出の可能性を一層低減できる。
第3に、異常時には、通信部1eにより送信可能な第1のデータは、センサ2から継続的に入力される第1のデータのうち、第3のメモリ1cに格納されている部分に限られる。このため、異常時における、通信部1eによる第1のデータの送信量を、監視用に求められる最低限の量に制限できる。また、異常時にも、通信部1eが電源オンの間、第1のメモリ1aは電源オフであるため、センサ2から入力された新たな第1のデータが第3のメモリ1cに入力されることもない。こうして、異常時に送信装置1が不正アクセスを受けたとしても、異常時以外の余計な情報の流出を抑制できる。
なお、電源制御部1fは、第1のメモリ1aとともに、センサ2および処理部1dの電源オンおよび電源オフを行ってもよい。
例えば、電源制御部1fは、第1のメモリ1aを電源オンにするときにセンサ2も電源オンにし、第1のメモリ1aを電源オフにするときにセンサ2も電源オフにしてもよい。これにより、通信部1eが電源オンのときには、センサ2によるセンシングが停止されるので、不正アクセスによる第1のデータの流出リスクを一層低減できる。
例えば、電源制御部1fは、第1のメモリ1aを電源オンにするときにセンサ2も電源オンにし、第1のメモリ1aを電源オフにするときにセンサ2も電源オフにしてもよい。これにより、通信部1eが電源オンのときには、センサ2によるセンシングが停止されるので、不正アクセスによる第1のデータの流出リスクを一層低減できる。
また、電源制御部1fは、第1のメモリ1aを電源オンにするときに処理部1dも電源オンにし、第1のメモリ1aを電源オフにするときに処理部1dも電源オフにしてもよい。これにより、通信部1eが電源オンのときには、処理部1dによるセンサ2からの第1のデータの取得が停止されるので、不正アクセスによる第1のデータの流出リスクを一層低減できる。
更に、電源制御部1fは、第1のメモリ1aを電源オンにするときにセンサ2および処理部1dの両方を電源オンにし、第1のメモリ1aを電源オフにするときにセンサ2および処理部1dの両方を電源オフにしてもよい。これにより、通信部1eが電源オンのときには、センサ2によるセンシングおよび処理部1dによるセンサ2からのデータの取得の両方が停止されるので、不正アクセスによる第1のデータの流出リスクを一層低減できる。
以下では、送信装置1をコネクテッドホームシステムに適用する例を示して、送信装置1の機能をより詳細に説明する。
[第2の実施の形態]
図2は、第2の実施の形態のコネクテッドホームシステムの例を示す図である。第2の実施の形態のコネクテッドホームシステムは、ユーザU1が居住する住宅に設けられた電子装置を、ユーザU1の状況に応じて遠隔制御する情報処理システムである。第2の実施の形態のコネクテッドホームシステムは、センサ装置100,200、ホームサーバ300、中央サーバ400および家電機器500,600を有する。
[第2の実施の形態]
図2は、第2の実施の形態のコネクテッドホームシステムの例を示す図である。第2の実施の形態のコネクテッドホームシステムは、ユーザU1が居住する住宅に設けられた電子装置を、ユーザU1の状況に応じて遠隔制御する情報処理システムである。第2の実施の形態のコネクテッドホームシステムは、センサ装置100,200、ホームサーバ300、中央サーバ400および家電機器500,600を有する。
ホームサーバ300および家電機器500,600は、ネットワーク10に接続されている。ネットワーク10は、例えば、宅内に設けられたLAN(Local Area Network)である。ホームサーバ300および中央サーバ400は、ネットワーク20に接続されている。ネットワーク20は、例えば、インターネットやWAN(Wide Area Network)である。
センサ装置100,200は、宅内の居室に設けられたセンシング用の装置である。センサ装置100,200は、センサ機能およびデータ送信機能を備える。センサ装置100,200は、ホームサーバ300と無線で通信可能である。無線通信の技術としては、例えば、Bluetooth(登録商標)やBluetooth LE(Low Energy)などを用いることができる。
例えば、センサ装置100は、リビングに設けられている。センサ装置100により生成されたセンサデータは、リビングに設けられた家電機器500の動作制御に用いられる。センサ装置200は、浴室に設けられている。センサ装置200により生成されたセンサデータは、浴室の外側に設けられた家電機器600の動作制御に用いられる。
ここで、センサ装置100,200は、センサデータを基にローカルコンテキストデータを生成する。ローカルコンテキストデータは、宅内の電子装置の制御内容を決定するために中央サーバ400により利用されるデータである。ローカルコンテキストデータは、センサデータに比べて小さいサイズのデータである。ローカルコンテキストデータのサイズは、例えば、8ビットや16ビット程度である。センサ装置100,200は、ローカルコンテキストデータをホームサーバ300に送信する。
なお、センサデータは、第1の実施の形態の第1のデータの一例である。ローカルコンテキストデータは、第1の実施の形態の第2のデータの一例である。
ホームサーバ300は、宅内に設置されるサーバコンピュータである。ホームサーバ300は、センサ装置100,200からローカルコンテキストデータを受信する。ホームサーバ300は、受信したローカルコンテキストデータに、ユーザ情報などを付加して、中央サーバ400に送信する。
ホームサーバ300は、宅内に設置されるサーバコンピュータである。ホームサーバ300は、センサ装置100,200からローカルコンテキストデータを受信する。ホームサーバ300は、受信したローカルコンテキストデータに、ユーザ情報などを付加して、中央サーバ400に送信する。
ホームサーバ300は、中央サーバ400からグローバルコンテキストデータを受信する。グローバルコンテキストデータは、中央サーバ400によってローカルコンテキストデータに応じて生成されるデータであり、宅内の電子装置の制御内容に対応する情報である。ホームサーバ300は、グローバルコンテキストデータに基づいて、モニタ30の表示内容や家電機器500,600の動作を制御する。ここで、モニタ30は、宅内に設置される表示装置である。モニタ30として、例えば、液晶ディスプレイなどを用いることができる。ユーザU1は、モニタ30により表示される内容を確認して、家電機器500や家電機器600の動作状況を把握することができる。
中央サーバ400は、システムの管理者により使用されるサーバコンピュータである。中央サーバ400は、コネクテッドホームに関するサービス(ヘルスケアやセキュリティなども含む)を提供する事業者の施設などに設けられる。中央サーバ400は、ローカルコンテキストデータに基づいて、グローバルコンテキストデータを生成し、ホームサーバ300に送信する。ここで、第2の実施の形態のコネクテッドホームシステムでは、セキュアな環境を保てる中央サーバ400側でローカルコンテキストデータをグローバルコンテキストデータに変換し、ホームサーバ300に提供する。ローカルコンテキストデータに対して宅内の電子装置がどのように制御されるかを、ローカルコンテキストデータのみからでは容易に推測できないようにするためである。
家電機器500,600は、宅内に設置される電子装置である。家電機器500は、例えば空調機である。家電機器500は、リビングの温度や湿度を調整する。家電機器600は、例えば給湯器である。家電機器600は、浴室に設けられた浴槽40に貯める水量や湯の温度を調整する。図2で示した家電機器500,600は一例であり、コネクテッドホームシステムの制御対象は、それ以外にも種々の電子装置(例えば、照明器具、床暖房、換気扇、冷蔵庫、電動シャッター、電子錠および電磁調理器など)が考えられる。
なお、ホームサーバ300は、第1の実施の形態の情報処理装置3の一例である。ただし、中央サーバ400を第1の実施の形態の情報処理装置3の一例と考えてもよい(中央サーバ400も、ホームサーバ300を介して、家電機器500,600の動作を間接的に制御していると考えられるため)。
図3は、第2の実施の形態のセンサ装置のハードウェア例を示す図である。センサ装置100は、ビジョン処理部110、コンテキスト保持部120、送信動画保持部130、通信処理部140、電源制御部150および復帰ボタン160を有する。
ビジョン処理部110は、ビジョン処理を実行するハードウェアである。ビジョン処理とは、センサデータを解析して、ローカルコンテキストデータを取得する処理である。センサデータは、イメージセンサによって生成された動画の画像データ(動画データと称する)である。ただし、センサデータは、マイクが生成した音声データや温度センサが検出した熱分布データなどでもよい。ビジョン処理部110は、プロセッサ111、演算用メモリ112、人感センサ113およびカメラ114を有する。
プロセッサ111は、ビジョン処理部110の情報処理を制御する演算装置である。プロセッサ111は、例えばCPU、DSP、ASICまたはFPGAなどである。プロセッサ111は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。
プロセッサ111は、カメラ114により生成される動画データを取得し、演算用メモリ112に格納する。プロセッサ111は、演算用メモリ112に記憶された動画データに基づいて所定の演算処理を実行する。プロセッサ111は、当該演算処理の結果として、ローカルコンテキストデータを生成する。プロセッサ111は、生成したローカルコンテキストデータを、コンテキスト保持部120に出力する。
プロセッサ111は、生成したローカルコンテキストデータに基づいて、宅内の異常(ユーザU1の異常や、家電機器500,600の異常など)を検出することもある。プロセッサ111は、異常を検出すると、異常を検出したことを電源制御部150に通知する。プロセッサ111は、当該通知に応じて電源制御部150によって送信動画保持部130が電源オンにされると、カメラ114により取得した動画データ(演算用メモリ112に格納される)を、送信動画保持部130に格納する。
演算用メモリ112は、プロセッサ111の処理に用いられるデータを記憶する揮発性記憶装置である。演算用メモリ112としては、例えばSRAMを用いることができる。人感センサ113やカメラ114により取得されたデータは、まずは、演算用メモリ112に格納される。演算用メモリ112は、数フレーム程度の動画データを格納できる記憶容量をもつ。
人感センサ113は、赤外線によりリビング内のユーザU1の存在を検出し、プロセッサ111に検出結果を出力する。
カメラ114は、イメージセンサを内蔵する撮像装置である。イメージセンサを撮像装置と称することもある。カメラ114は、プロセッサ111の指示に応じて、可視光によりリビング内を撮影し、イメージセンサを用いて動画データを生成し、プロセッサ111に出力する。例えば、プロセッサ111は、人感センサ113によりユーザU1が検出されている場合にカメラ114による撮影を行い、人感センサ113によりユーザU1が検出されていない場合にカメラ114による撮影を行わないように制御してもよい。
カメラ114は、イメージセンサを内蔵する撮像装置である。イメージセンサを撮像装置と称することもある。カメラ114は、プロセッサ111の指示に応じて、可視光によりリビング内を撮影し、イメージセンサを用いて動画データを生成し、プロセッサ111に出力する。例えば、プロセッサ111は、人感センサ113によりユーザU1が検出されている場合にカメラ114による撮影を行い、人感センサ113によりユーザU1が検出されていない場合にカメラ114による撮影を行わないように制御してもよい。
コンテキスト保持部120は、ビジョン処理部110および通信処理部140の間に設けられたコンテキストデータ用のバッファである。コンテキスト保持部120は、コンテキスト用メモリ121を有する。コンテキスト保持部120は、ビジョン処理部110が出力したローカルコンテキストデータをコンテキスト用メモリ121に格納する。コンテキスト保持部120は、コンテキスト用メモリ121に格納されたローカルコンテキストデータを通信処理部140に出力する。
コンテキスト用メモリ121は、ローカルコンテキストデータを格納するためのバッファメモリである。コンテキスト用メモリ121は、最低限、ローカルコンテキストデータを格納できる記憶容量を有していればよい(例えば、ローカルコンテキストデータのサイズが16ビットならばコンテキスト用メモリ121のサイズも16ビット程度とする)。
送信動画保持部130は、ビジョン処理部110および通信処理部140の間に設けられた動画データ用のバッファである。送信動画保持部130は、通常時は電源オフである。送信動画保持部130は、ビジョン処理部110により異常が検出された際に、電源制御部150により電源オンにされる。
送信動画保持部130は、送信動画用メモリ131を有する。送信動画用メモリ131は、揮発性メモリであり、例えばSRAMである。送信動画保持部130は、ビジョン処理部110が出力した動画データを送信動画用メモリ131に格納する。送信動画保持部130は、送信動画用メモリ131に格納された動画データを通信処理部140に出力する。
送信動画用メモリ131は、動画データを格納するためのバッファメモリである。送信動画用メモリ131は、異常発生時にホームサーバ300に送信する動画のサイズ(動画を取得する時間に応じて定められるサイズ)の記憶容量を有していればよい。例えば、異常発生時にn秒(nは正の実数)の動画を取得してホームサーバ300に送信するならば、送信動画用メモリ131は、最低限、n秒分のサイズの動画データを格納できる記憶容量を有していればよい。
通信処理部140は、ホームサーバ300とデータ通信を行うハードウェアである。通信処理部140は、プロセッサ141および無線通信部142を有する。
プロセッサ141は、例えばCPU、DSP、ASICまたはFPGAなどによって実現される。プロセッサ141は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。プロセッサ141は、コンテキスト保持部120から取得したローカルコンテキストデータを、無線通信部142を用いてホームサーバ300に送信する。また、プロセッサ141は、送信動画保持部130から取得した動画データを、無線通信部142を用いてホームサーバ300に送信する。
プロセッサ141は、例えばCPU、DSP、ASICまたはFPGAなどによって実現される。プロセッサ141は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。プロセッサ141は、コンテキスト保持部120から取得したローカルコンテキストデータを、無線通信部142を用いてホームサーバ300に送信する。また、プロセッサ141は、送信動画保持部130から取得した動画データを、無線通信部142を用いてホームサーバ300に送信する。
無線通信部142は、ホームサーバ300と無線で通信する無線通信インタフェース(例えば、Bluetoothのインタフェース)である。
電源制御部150は、ビジョン処理部110、コンテキスト保持部120、送信動画保持部130および通信処理部140それぞれに対して電力を供給するハードウェアである。電源ラインL11は、ビジョン処理部110に対して電力を供給する配線である。電源ラインL12は、コンテキスト保持部120に対して電力を供給する配線である。電源ラインL13は、送信動画保持部130に対して電力を供給する配線である。電源ラインL14は、通信処理部140に対して電力を供給する配線である。
電源制御部150は、ビジョン処理部110、コンテキスト保持部120、送信動画保持部130および通信処理部140それぞれに対して電力を供給するハードウェアである。電源ラインL11は、ビジョン処理部110に対して電力を供給する配線である。電源ラインL12は、コンテキスト保持部120に対して電力を供給する配線である。電源ラインL13は、送信動画保持部130に対して電力を供給する配線である。電源ラインL14は、通信処理部140に対して電力を供給する配線である。
電源制御部150は、プロセッサ151およびシステム電源152を有する。
プロセッサ151は、FPGAやASICなどによって実現される。プロセッサ151は、プロセッサ111,141と内部バスを介して通信し、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オン/オフを制御する(詳細は後述される)。
プロセッサ151は、FPGAやASICなどによって実現される。プロセッサ151は、プロセッサ111,141と内部バスを介して通信し、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オン/オフを制御する(詳細は後述される)。
システム電源152は、センサ装置100の電源であり、商用電源から供給される交流から直流の電源を作り出し、ビジョン処理部110、コンテキスト保持部120、送信動画保持部130および通信処理部140に供給する。システム電源152は、バッテリでもよい。なお、コンテキスト保持部120および電源制御部150は、常時、電源オンの状態となっている。
復帰ボタン160は、ユーザによる押下操作を受け付ける操作部である。復帰ボタン160は、押下操作による入力信号をプロセッサ151に出力する。プロセッサ151は、異常発生後、当該入力信号を受け付けることで、センサ装置100による通常時の監視を再開する。
ここで、ビジョン処理部110は、第1の実施の形態の処理部1dの一例である。通信処理部140は、第1の実施の形態の通信部1eの一例である。電源制御部150は、第1の実施の形態の電源制御部1fの一例である。
図4は、第2の実施の形態の電源制御部の例を示す図である。電源制御部150は、電界効果トランジスタ(FET:Field Effect Transistor)153,154,155を有する。図4では、FET153,154,155を用いた電源ラインL11,L12,L13,L14の接続を図示し、電源制御部150とビジョン処理部110、コンテキスト保持部120および通信処理部140との間の通信用の信号線の図示を省略している。
FET153は、電源ラインL11上に設けられている。FET154は、電源ラインL13上に設けられている。FET155は、電源ラインL14上に設けられている。FET153,154,155には、プロセッサ151からの電源オン信号または電源オフ信号が入力される。プロセッサ151は、FET153,154,155それぞれに対して、電源オン信号または電源オフ信号を別個に入力する。
FET153に電源オン信号が入力されていると、電源ラインL11を通じて、システム電源152からビジョン処理部110に電力が供給される。これにより、ビジョン処理部110は、電源オンになる。ビジョン処理部110の電源オンは、プロセッサ111、演算用メモリ112、人感センサ113およびイメージセンサを含むカメラ114の電源オンを意味する。FET153に電源オフ信号が入力されていると、電源ラインL11は切断された状態となり、システム電源152からビジョン処理部110への電力供給が途絶える。これにより、ビジョン処理部110は、電源オフになる。ビジョン処理部110の電源オフは、プロセッサ111、演算用メモリ112、人感センサ113およびイメージセンサを含むカメラ114の電源オフを意味する。
FET154に電源オン信号が入力されていると、電源ラインL13を通じて、システム電源152から送信動画保持部130に電力が供給される。これにより、送信動画保持部130は、電源オンになる。送信動画保持部130の電源オンは、送信動画用メモリ131の電源オンを意味する。FET154に電源オフ信号が入力されていると、電源ラインL13は切断された状態となり、システム電源152から送信動画保持部130への電力供給が途絶える。これにより、送信動画保持部130は、電源オフになる。送信動画保持部130の電源オフは、送信動画用メモリ131の電源オフを意味する。
FET155に電源オン信号が入力されていると、電源ラインL14を通じて、システム電源152から通信処理部140に電力が供給される。これにより、通信処理部140は、電源オンになる。FET155に電源オフ信号が入力されていると、電源ラインL14は切断された状態となり、システム電源152から通信処理部140への電力供給が途絶える。これにより、通信処理部140は、電源オフになる。
なお、コンテキスト保持部120には、システム電源152により電力が常時供給される。すなわち、コンテキスト保持部120は、常時、電源オンである。
図5は、第2の実施の形態のホームサーバのハードウェア例を示す図である。ホームサーバ300は、プロセッサ301、RAM(Random Access Memory)302、HDD(Hard Disk Drive)303、画像信号処理部304、入力信号処理部305、媒体リーダ306、通信インタフェース307,307aおよび無線通信部308を有する。各ユニットはホームサーバ300のバスに接続されている。なお、中央サーバ400もホームサーバ300と同様のハードウェアを用いて実現できる。
図5は、第2の実施の形態のホームサーバのハードウェア例を示す図である。ホームサーバ300は、プロセッサ301、RAM(Random Access Memory)302、HDD(Hard Disk Drive)303、画像信号処理部304、入力信号処理部305、媒体リーダ306、通信インタフェース307,307aおよび無線通信部308を有する。各ユニットはホームサーバ300のバスに接続されている。なお、中央サーバ400もホームサーバ300と同様のハードウェアを用いて実現できる。
プロセッサ301は、ホームサーバ300の情報処理を制御する。プロセッサ301は、マルチプロセッサであってもよい。プロセッサ301は、例えばCPU、DSP、ASICまたはFPGAなどである。プロセッサ301は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。
RAM302は、ホームサーバ300の主記憶装置である。RAM302は、プロセッサ301に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、RAM302は、プロセッサ301による処理に用いる各種データを記憶する。
HDD303は、ホームサーバ300の補助記憶装置である。HDD303は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD303は、OSのプログラム、アプリケーションプログラム、および各種データを記憶する。ホームサーバ300は、フラッシュメモリやSSD(Solid State Drive)などの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。
画像信号処理部304は、プロセッサ301からの命令に従って、ホームサーバ300に接続されたモニタ30に画像を表示させる。モニタ30としては、液晶ディスプレイなどを用いることができる。
入力信号処理部305は、ホームサーバ300に接続された入力デバイス31から入力信号を取得し、プロセッサ301に出力する。入力デバイス31としては、例えば、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。
媒体リーダ306は、記録媒体32に記録されたプログラムやデータを読み取る装置である。記録媒体32として、例えば、フレキシブルディスク(FD:Flexible Disk)やHDDなどの磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク(MO:Magneto-Optical disk)を使用できる。また、記録媒体32として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。媒体リーダ306は、例えば、プロセッサ301からの命令に従って、記録媒体32から読み取ったプログラムやデータをRAM302またはHDD303に格納する。
通信インタフェース307は、ネットワーク10に接続されており、ネットワーク10を介して家電機器500,600と通信する。通信インタフェース307は、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。
通信インタフェース307aは、ネットワーク20に接続されており、ネットワーク20を介して中央サーバ400と通信する。通信インタフェース307aは、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。
無線通信部308は、センサ装置100,200と無線で通信する無線通信インタフェースである。前述のように、無線通信の技術として、例えば、Bluetoothを用いることができる。
図6は、第2の実施の形態の家電機器のハードウェア例を示す図である。家電機器500は、プロセッサ501、RAM502、NVRAM(Non - Volatile RAM)503、アクチュエータ504および通信インタフェース505を有する。
プロセッサ501は、家電機器500の情報処理を制御する。プロセッサ501は、マルチプロセッサであってもよい。プロセッサ501は、例えばCPU、DSP、ASICまたはFPGAなどである。プロセッサ501は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせであってもよい。
RAM502は、家電機器500の主記憶装置である。RAM502は、プロセッサ501に実行させるファームウェアのプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、RAM502は、プロセッサ501による処理に用いる各種データを記憶する。
NVRAM503は、家電機器500の補助記憶装置である。NVRAM503は、ファームウェアのプログラム、アプリケーションプログラム、および各種データを記憶する。
アクチュエータ504は、家電機器500の駆動装置である。例えば、家電機器500が空調機であれば、アクチュエータ504は、風量を調整するダンパの駆動や風向きの変更などに用いられる。
通信インタフェース505は、ネットワーク10を介してホームサーバ300と通信を行う。通信インタフェース505は、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。
図7は、第2の実施の形態のホームサーバの機能例を示す図である。ホームサーバ300は、記憶部310、センサ通信部320、中継部330、通信制御部340、グローバルコンテキスト処理部350および機器通信部360を有する。例えば、記憶部310は、RAM302やHDD303に確保された記憶領域を用いて実現される。センサ通信部320、中継部330、通信制御部340、グローバルコンテキスト処理部350および機器通信部360は、RAM302に記憶されたプログラムを、プロセッサ301が実行することで実現される。
記憶部310は、中継部330やグローバルコンテキスト処理部350の処理に用いられるデータを記憶する。具体的には、記憶部310は、ユーザU1のユーザ情報(ユーザのアカウントの情報など)や、グローバルコンテキストデータを家電機器500,600に対するコマンドに変換するためのテーブルを記憶する。
センサ通信部320は、センサ装置100,200と通信する(図7ではセンサ装置200の図示を省略している)。センサ通信部320は、センサ装置100,200からローカルコンテキストデータを受信する。また、センサ通信部320は、異常時には、異常を検出したセンサ装置(例えば、センサ装置100)からセンサデータ(例えば、動画データ)を受信する。
中継部330は、ホームサーバ300の各部に対するデータの中継を行う。中継部330は、センサ通信部320により受信されたローカルコンテキストデータに対して記憶部310に記憶されたユーザ情報を付加して、中央サーバ400宛の通信データを生成し、通信制御部340を介して中央サーバ400に送信する。また、中継部330は、センサ通信部320により受信された動画データに対してユーザ情報を付加し、通信制御部340を介して中央サーバ400に送信する。
更に、中継部330は、グローバルコンテキストデータを中央サーバ400から受信すると、受信したグローバルコンテキストデータをグローバルコンテキスト処理部350に渡す。
通信制御部340は、ネットワーク20を介して中央サーバ400と通信する。通信制御部340は、中継部330が生成した通信データを中央サーバ400に送信する。通信データは、ローカルコンテキストデータおよびユーザU1のユーザ情報を含む。また、通信制御部340は、グローバルコンテキストデータを中央サーバ400から受信する。
また、通信制御部340は、異常時には、中継部330から取得した動画データおよびユーザ情報を、中央サーバ400に送信する。
グローバルコンテキスト処理部350は、記憶部310に記憶されたコマンド変換用のテーブルを参照して、グローバルコンテキストデータを、家電機器500,600に対するコマンドに変換する。
グローバルコンテキスト処理部350は、記憶部310に記憶されたコマンド変換用のテーブルを参照して、グローバルコンテキストデータを、家電機器500,600に対するコマンドに変換する。
機器通信部360は、グローバルコンテキスト処理部350から家電機器500,600に対するコマンドを受け付け、家電機器500,600に送信する。
図8は、第2の実施の形態の中央サーバの機能例を示す図である。中央サーバ400は、記憶部410、通信制御部420、コンテキスト生成処理部430および動画再生部440を有する。例えば、記憶部410は、中央サーバ400が備えるRAMやHDDに確保された記憶領域を用いて実現される。通信制御部420、コンテキスト生成処理部430および動画再生部440は、中央サーバ400が備えるRAMに記憶されたプログラムを、中央サーバ400が備えるプロセッサが実行することで実現される。
図8は、第2の実施の形態の中央サーバの機能例を示す図である。中央サーバ400は、記憶部410、通信制御部420、コンテキスト生成処理部430および動画再生部440を有する。例えば、記憶部410は、中央サーバ400が備えるRAMやHDDに確保された記憶領域を用いて実現される。通信制御部420、コンテキスト生成処理部430および動画再生部440は、中央サーバ400が備えるRAMに記憶されたプログラムを、中央サーバ400が備えるプロセッサが実行することで実現される。
記憶部410は、コンテキスト変換テーブルを記憶する。コンテキスト変換テーブルは、ローカルコンテキストデータをグローバルコンテキストデータに変換するために用いられるテーブルである。コンテキスト変換テーブルは、ローカルコンテキストデータとして許容される内容のリストであるともいえる。コンテキスト変換テーブルは、ユーザ毎に設けられる。例えば、記憶部410は、複数のユーザに対して、複数のコンテキスト変換テーブルを記憶する。複数のコンテキスト変換テーブルそれぞれは、各ユーザのアカウントの情報に対応付けられる。
通信制御部420は、ネットワーク20を介してホームサーバ300と通信する。通信制御部420は、ローカルコンテキストデータを含む通信データをホームサーバ300から受信する。また、通信制御部420は、コンテキスト生成処理部430により生成されたグローバルコンテキストデータを、ホームサーバ300に送信する。
更に、通信制御部420は、ユーザ情報が付加された動画データをホームサーバ300から受信する。
コンテキスト生成処理部430は、記憶部410に記憶されたコンテキスト変換テーブルに基づいて、受信したローカルコンテキストデータに応じたグローバルコンテキストデータを生成する。具体的には、記憶部410に記憶された複数のコンテキスト変換テーブルの中から、今回受信した通信データに含まれるユーザ情報に基づいて、該当のユーザに対応するコンテキスト変換テーブルを選択する。コンテキスト生成処理部430は、選択したコンテキスト変換テーブルを参照して、通信データに含まれるローカルコンテキストデータに対応するグローバルコンテキストデータを抽出する。コンテキスト生成処理部430は、抽出したグローバルコンテキストデータを通信制御部420に渡す。
コンテキスト生成処理部430は、記憶部410に記憶されたコンテキスト変換テーブルに基づいて、受信したローカルコンテキストデータに応じたグローバルコンテキストデータを生成する。具体的には、記憶部410に記憶された複数のコンテキスト変換テーブルの中から、今回受信した通信データに含まれるユーザ情報に基づいて、該当のユーザに対応するコンテキスト変換テーブルを選択する。コンテキスト生成処理部430は、選択したコンテキスト変換テーブルを参照して、通信データに含まれるローカルコンテキストデータに対応するグローバルコンテキストデータを抽出する。コンテキスト生成処理部430は、抽出したグローバルコンテキストデータを通信制御部420に渡す。
動画再生部440は、通信制御部420により受信された動画データを再生し、中央サーバ400に接続されたディスプレイにより、動画データに付加されたユーザ情報とともに動画を表示させる。
図9は、第2の実施の形態のコンテキスト変換テーブルの例を示す図である。コンテキスト変換テーブル411は、記憶部410に予め格納される。コンテキスト変換テーブル411は、ローカルコンテキスト、グローバルコンテキストおよび意味の項目を含む。
ローカルコンテキストの項目には、ローカルコンテキストデータの内容が登録される。グローバルコンテキストの項目には、グローバルコンテキストデータの内容が登録される。意味の項目には、グローバルコンテキストデータによって表される意味が登録される。なお、意味の項目は、グローバルコンテキストデータの内容が理解し易いように便宜的に設けたものである。このため、コンテキスト変換テーブル411から意味の項目を省いてもよい。
例えば、コンテキスト変換テーブル411には、ローカルコンテキストが“Label_A”、グローバルコンテキストが“1”、意味が“食事”という情報が登録される。これは、ローカルコンテキストデータが“Label_A”である場合、グローバルコンテキストデータを“1”とすることを示している。また、グローバルコンテキストデータ“1”は、ユーザが食事をしていることを表すデータであることを示している。
コンテキスト変換テーブル411には、他のローカルコンテキストデータに対しても同様にグローバルコンテキストデータが対応付けられる。なお、コンテキスト変換テーブル411には、ローカルコンテキストデータが“Label_X”、グローバルコンテキストが“99”、意味が“異常”というレコードも登録されている。このレコードは、ローカルコンテキストデータ“Label_X”が異常の発生を意味すること、ローカルコンテキストデータ“Label_X”に対してグローバルコンテキストデータを“99”とすることを示している。
次に、電源制御部150による電源制御の具体例を説明する。電源制御部150による電源制御には、3つのパターン(パターン1,2,3と称する)が考えられる。以下では、パターン1,2,3の順に、具体的な制御内容を説明する。
図10は、第2の実施の形態の電源制御(パターン1)の例を示す図である。図10の表では、センサ装置100による処理内容ごとに、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オンおよび電源オフの状態を示している。なお、図中、電源オンを“ON”、電源オフを“OFF”と表している。
項番“1”の処理内容は、“撮影およびコンテキスト判定”である。“撮影およびコンテキスト判定”は、ビジョン処理部110によって実行される。撮影処理は、カメラ114による動画データの取得である。コンテキスト判定処理は、取得した動画データに基づくローカルコンテキストデータの判定、および、ローカルコンテキストデータのコンテキスト保持部120への格納を行う処理である。“撮影およびコンテキスト判定”処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オフ、通信処理部140が電源オフである。
項番“2”の処理内容は、“コンテキスト送信”である。コンテキスト送信処理は、通信処理部140によって実行される。コンテキスト送信処理は、コンテキスト保持部120に格納されたローカルコンテキストデータをホームサーバ300へ送信する処理である。コンテキスト送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オフ、通信処理部140が電源オンである。
項番“3”の処理内容は、“送信用動画撮影”である。送信用動画撮影処理は、ビジョン処理部110によって実行される。送信用動画撮影処理は、カメラ114により生成され、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に格納する処理である。送信用動画撮影処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オン、通信処理部140が電源オフである。
項番“4”の処理内容は、“動画送信”である。動画送信処理は、通信処理部140によって実行される。動画送信処理は、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信する処理である。動画送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オン、通信処理部140が電源オンである。
図10では、電源制御部150によるビジョン処理部110、通信処理部140および送信動画保持部130の電源オン/電源オフの制御の時系列の例も示されている。時刻T10,T11,T12,T13,T14は、ビジョン処理部110、通信処理部140および送信動画保持部130の何れかが電源オンから電源オフへ、あるいは、電源オフから電源オンへ、切り替わるタイミングを示す。Highは電源オンを示す。Lowは電源オフを示す。図面の左側から右側へ向かう方向が時系列の正方向である。
時刻T10の直前は、ビジョン処理部110が電源オフ、通信処理部140が電源オン、送信動画保持部130が電源オフである。時刻T10の直前の時間帯は、コンテキスト送信処理の時間帯である。
時刻T10で、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにする。送信動画保持部130は電源オフのままである。時刻T10から時刻T11までの時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。ここで、ビジョン処理部110は、コンテキスト判定処理の結果、異常を検出したものとする。例えば、ビジョン処理部110は、ローカルコンテキストデータ“Label_X”を生成し、コンテキスト用メモリ121に格納する。ビジョン処理部110は、異常を検出した旨を、電源制御部150に通知する。
時刻T11で、電源制御部150は、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。送信動画保持部130は電源オフのままである。時刻T11から時刻T12までの時間帯は、コンテキスト送信処理の時間帯である。通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータ“Label_X”をホームサーバ300に送信する。
時刻T12で、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110および送信動画保持部130を電源オンにする。時刻T12から時刻T13までの時間帯は、送信用動画撮影処理の時間帯である。具体的には、ビジョン処理部110は、カメラ114により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に格納する。ビジョン処理部110は、時刻T13まで、演算用メモリ112に順次格納される動画データを複製し、送信動画用メモリ131に格納する。動画データの取得時間n(=T13−T12)(秒)は、前述のように予め定められる。
時刻T13で、電源制御部150は、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。送信動画保持部130は電源オンのままである。時刻T13から時刻T14までの時間帯は、動画送信処理の時間帯である。具体的には、通信処理部140は、送信動画用メモリ131に格納された動画データをホームサーバ300に送信する。時刻T13以降では、復帰ボタン160が押下操作されるまで、電源制御部150は、ビジョン処理部110の電源オンを制限する(すなわち、ビジョン処理部110を電源オフのまま維持する)。
時刻T14で、電源制御部150は、復帰ボタン160の押下操作を受け付ける。電源制御部150は、通信処理部140および送信動画保持部130を電源オフにし、ビジョン処理部110を電源オンにする。時刻T14の直後の時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。
電源制御(パターン1)では、電源制御部150は、ビジョン処理部110および通信処理部140を排他的に電源オンにする。すなわち、電源制御部150は、ビジョン処理部110が電源オンの間は通信処理部140を電源オフにする。また、電源制御部150は、通信処理部140が電源オンの間はビジョン処理部110を電源オフにする。
次に、電源制御部150が電源制御(パターン1)を行う場合のセンサ装置100によるデータの送信処理の手順を例示する。
図11は、電源制御(パターン1)の送信処理例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。なお、ステップS11の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
図11は、電源制御(パターン1)の送信処理例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。なお、ステップS11の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
(S11)ビジョン処理部110は、カメラ114による動画の撮影を行い、撮影により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データに基づいて、コンテキスト(ローカルコンテキストデータ)の判定を行う。例えば、ビジョン処理部110は、動画データからユーザU1を認識し、ユーザU1の存在/不存在やユーザU1の動作などに応じて、ローカルコンテキストデータを生成する。ビジョン処理部110は、生成したローカルコンテキストデータをコンテキスト用メモリ121に格納する。ビジョン処理部110は、コンテキストの判定結果を電源制御部150に通知する。ここで、判定結果は、正常または異常を示す。電源制御部150は、通知を受け付けると、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。
(S12)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。
(S13)電源制御部150は、ステップS11でビジョン処理部110から通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110および送信動画保持部130を電源オンにして、処理をステップS14に進める。異常でない場合、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS11に進める。
(S13)電源制御部150は、ステップS11でビジョン処理部110から通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110および送信動画保持部130を電源オンにして、処理をステップS14に進める。異常でない場合、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS11に進める。
(S14)ビジョン処理部110は、カメラ114を用いて異常検出後n秒の動画を撮影する。ビジョン処理部110は、撮影により生成された動画データを、演算用メモリ112によりバッファリングする(プロセッサ111の内部バッファを用いてバッファリングしてもよい)。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に書き込む。前述のように、演算用メモリ112の容量は、数フレーム程度の動画データを格納可能な容量とされる。したがって、ビジョン処理部110は、順次取得され、演算用メモリ112に格納された動画データの複製を複数回行うことで、n秒分の動画データを送信動画用メモリ131に格納する。ビジョン処理部110は、n秒分の動画データの取得が完了すると、動画データの取得完了を電源制御部150に通知する。電源制御部150は、通知を受け付けると、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。
(S15)通信処理部140は、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信する。通信処理部140は、動画データの送信完了を電源制御部150に通知する。電源制御部150は、復帰ボタン160が押下操作されるまで待機する。
(S16)電源制御部150は、復帰ボタン160が押下操作されたか否かを判定する。復帰ボタン160が押下操作された場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS11に進める。復帰ボタン160が押下操作されていない場合、処理をステップS15に進め、復帰ボタン160に対する押下操作を待機する。
なお、ステップS15において、通信処理部140は、動画データの送信を、通信処理部140の電源オンの直後に自発的に行ってもよいし、ホームサーバ300による動画要求の指示を受け付けた後に行ってもよい。例えば、中央サーバ400を利用する管理者は、ローカルコンテキストデータを基に、異常発生を確認し、動画要求をセンサ装置100に送信するよう中央サーバ400からホームサーバ300に指示することができる。ホームサーバ300は、センサ装置100から取得した動画データを中央サーバ400に送信する。すると、管理者は、中央サーバ400により異常発生直後の動画データを確認でき、適切な対応(例えば、ユーザU1に重大な傷病が認められれば救急対応を要請するなど)を講じることができる。
あるいは、ホームサーバ300または中央サーバ400は、ローカルコンテキストデータまたはグローバルコンテキストデータに応じて、他のユーザが使用する端末装置に、異常発生を通知し、当該端末装置により他のユーザに異常発生を知らせてもよい。その場合、他のユーザは、当該端末装置を使用して、動画要求をセンサ装置100に送信するようホームサーバ300に指示することもできる。ホームサーバ300は、センサ装置100から取得した動画データを他のユーザが利用する端末装置に送信する。すると、他のユーザは、当該端末装置により異常発生直後の動画データを確認でき、適切な対応(例えば、ユーザU1に重大な傷病が認められれば救急対応を要請するなど)を講じることができる。
通信処理部140は、動画データの送信完了後、復帰ボタン160が押下操作を待機している間も、ホームサーバ300からの動画要求があるたびに、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信してもよい。
図12は、電源制御(パターン1)のセンサ装置の状態遷移例を示す図である。ここで、“撮影およびコンテキスト判定”処理を行うセンサ装置100の状態を、「コンテキスト判定モード」と称する。コンテキスト送信処理を行うセンサ装置100の状態を、「コンテキスト送信モード」と称する。送信動画撮影処理を行うセンサ装置100の状態を、「送信動画撮影モード」と称する。動画送信処理を行うセンサ装置100の状態を、「動画送信モード」と称する。
センサ装置100は、コンテキスト判定モードでは、送信すべきコンテキストデータ(ローカルコンテキストデータ)を検出すると、コンテキスト送信モードに遷移する。
センサ装置100は、コンテキスト送信モードでは、ローカルコンテキストデータの送信(コンテキスト送信)が完了し、かつ、当該ローカルコンテキストデータが正常を示す場合、コンテキスト判定モードに遷移する。
センサ装置100は、コンテキスト送信モードでは、ローカルコンテキストデータの送信(コンテキスト送信)が完了し、かつ、当該ローカルコンテキストデータが正常を示す場合、コンテキスト判定モードに遷移する。
センサ装置100は、コンテキスト送信モードでは、ローカルコンテキストデータの送信(コンテキスト送信)が完了し、かつ、当該ローカルコンテキストデータが異常を示す場合、送信動画撮影モードに遷移する。
センサ装置100は、送信動画撮影モードでは、動画データの取得を行い、異常検出後n秒経過すると、動画送信モードに遷移する。
センサ装置100は、動画送信モードでは、取得した動画データの送信を行い、復帰ボタン160が押下操作されると、コンテキスト判定モードに遷移する。
センサ装置100は、動画送信モードでは、取得した動画データの送信を行い、復帰ボタン160が押下操作されると、コンテキスト判定モードに遷移する。
次に、電源制御部150による電源制御(パターン2)を説明する。
図13は、第2の実施の形態の電源制御(パターン2)の例を示す図である。図13の表では、図10と同様に、センサ装置100による処理内容ごとに、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オンおよび電源オフの状態を示している。
図13は、第2の実施の形態の電源制御(パターン2)の例を示す図である。図13の表では、図10と同様に、センサ装置100による処理内容ごとに、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オンおよび電源オフの状態を示している。
項番“1”の処理内容は、“撮影およびコンテキスト判定”である。“撮影およびコンテキスト判定”処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オフ、通信処理部140が電源オフである。
項番“2”の処理内容は、“コンテキスト送信”である。コンテキスト送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オフ、通信処理部140が電源オンである。
項番“3”の処理内容は、“送信用動画撮影”である。送信用動画撮影処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オン、通信処理部140が電源オフである。
項番“4”の処理内容は、“コンテキスト・動画送信”である。コンテキスト・動画送信処理は、通信処理部140によって実行される。コンテキスト・動画送信処理は、コンテキスト用メモリ121に格納されたローカルコンテキストデータおよび送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信する処理である。コンテキスト・動画送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オン、通信処理部140が電源オンである。
図13では、電源制御部150によるビジョン処理部110、通信処理部140および送信動画保持部130の電源オン/電源オフの制御の時系列の例も示されている。時刻T20,T21,T22,T23は、ビジョン処理部110、通信処理部140および送信動画保持部130の何れかが電源オンから電源オフへ、あるいは、電源オフから電源オンへ、切り替わるタイミングを示す。Highは電源オンを示す。Lowは電源オフを示す。図面の左側から右側へ向かう方向が時系列の正方向である。
時刻T20の直前は、ビジョン処理部110が電源オフ、通信処理部140が電源オン、送信動画保持部130が電源オフである。時刻T20の直前の時間帯は、コンテキスト送信処理の時間帯である。
時刻T20で、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにする。送信動画保持部130は電源オフのままである。時刻T20から時刻T21までの時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。ここで、ビジョン処理部110は、コンテキスト判定処理の結果、異常を検出したものとする。例えば、ビジョン処理部110は、ローカルコンテキストデータ“Label_X”を生成し、コンテキスト用メモリ121に格納する。ビジョン処理部110は、異常を検出した旨を、電源制御部150に通知する。
時刻T21で、電源制御部150は、送信動画保持部130を電源オンにする。ビジョン処理部110は電源オンのままである。通信処理部140は電源オフのままである。時刻T21から時刻T22までの時間帯は、送信用動画撮影処理の時間帯である。具体的には、ビジョン処理部110は、カメラ114により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に格納する。ビジョン処理部110は、時刻T22まで、演算用メモリ112に順次格納される動画データを複製し、送信動画用メモリ131に格納する。動画データの取得時間n(=T22−T21)(秒)は、前述のように予め定められる。
時刻T22で、電源制御部150は、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。送信動画保持部130は電源オンのままである。時刻T22から時刻T23までの時間帯は、コンテキスト・動画送信処理の時間帯である。具体的には、通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータ、および、送信動画用メモリ131に格納された動画データをホームサーバ300に送信する。時刻T22以降では、復帰ボタン160が押下操作されるまで、電源制御部150は、ビジョン処理部110の電源オンを制限する。
時刻T23で、電源制御部150は、復帰ボタン160の押下操作を受け付ける。電源制御部150は、通信処理部140および送信動画保持部130を電源オフにし、ビジョン処理部110を電源オンにする。時刻T23の直後の時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。
電源制御(パターン2)でも、電源制御部150は、ビジョン処理部110および通信処理部140を排他的に電源オンにする。すなわち、電源制御部150は、ビジョン処理部110が電源オンの間は通信処理部140を電源オフにする。また、電源制御部150は、通信処理部140が電源オンの間はビジョン処理部110を電源オフにする。
次に、電源制御部150が電源制御(パターン2)を行う場合のセンサ装置100によるデータの送信処理の手順を例示する。
図14は、電源制御(パターン2)の送信処理例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。なお、ステップS21の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
図14は、電源制御(パターン2)の送信処理例を示すフローチャートである。以下、図14に示す処理をステップ番号に沿って説明する。なお、ステップS21の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
(S21)ビジョン処理部110は、カメラ114による動画の撮影を行い、撮影により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データに基づいて、コンテキスト(ローカルコンテキストデータ)の判定を行う。ビジョン処理部110は、生成したローカルコンテキストデータをコンテキスト用メモリ121に格納する。ビジョン処理部110は、コンテキストの判定結果を電源制御部150に通知する。
(S22)電源制御部150は、ステップS21でビジョン処理部110から通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、送信動画保持部130を電源オンにして、処理をステップS24に進める。異常でない場合、電源制御部150は、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにして、処理をステップS23に進める。
(S23)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信が完了すると、送信完了を電源制御部150に通知する。電源制御部150は、送信完了の通知を受け付けると、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS21に進める。
(S24)ビジョン処理部110は、カメラ114を用いて異常検出後n秒の動画を撮影する。ビジョン処理部110は、撮影により生成された動画データを、演算用メモリ112によりバッファリングする。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に書き込む。ビジョン処理部110は、n秒分の動画データの取得が完了すると、動画データの取得完了を電源制御部150に通知する。電源制御部150は、通知を受け付けると、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにする。
(S25)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信動画用メモリ131に格納された動画データをホームサーバ300に送信する。通信処理部140は、動画データの送信完了を電源制御部150に通知する。電源制御部150は、復帰ボタン160が押下操作されるまで待機する。
(S26)電源制御部150は、復帰ボタン160が押下操作されたか否かを判定する。復帰ボタン160が押下操作された場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS21に進める。復帰ボタン160が押下操作されていない場合、処理をステップS25に進め、復帰ボタン160に対する押下操作を待機する。
なお、ステップS25では、図11のステップS15と同様に、通信処理部140は、動画データの送信を、通信処理部140の電源オンの直後に自発的に行ってもよいし、ホームサーバ300による動画要求の指示を受け付けた後に行ってもよい。また、通信処理部140は、動画データの送信完了後、復帰ボタン160が押下操作を待機している間も、ホームサーバ300からの動画要求があるたびに、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信してもよい。
図15は、電源制御(パターン2)のセンサ装置の状態遷移例を示す図である。ここで、コンテキスト・動画送信処理を行うセンサ装置100の状態を、「コンテキスト・動画送信モード」と称する。
センサ装置100は、コンテキスト判定モードでは、送信すべきコンテキストデータ(ローカルコンテキストデータ)を検出し、ローカルコンテキストデータが正常を示す場合、コンテキスト送信モードに遷移する。一方、センサ装置100は、ローカルコンテキストデータが異常を示す場合、送信動画撮影モードに遷移する。
センサ装置100は、コンテキスト送信モードでは、ローカルコンテキストデータの送信(コンテキスト送信)が完了すると、コンテキスト判定モードに遷移する。
センサ装置100は、送信動画撮影モードでは、動画データの取得を行い、異常検出後n秒経過すると、コンテキスト・動画送信モードに遷移する。
センサ装置100は、送信動画撮影モードでは、動画データの取得を行い、異常検出後n秒経過すると、コンテキスト・動画送信モードに遷移する。
センサ装置100は、コンテキスト・動画送信モードでは、ローカルコンテキストデータおよび動画データの送信を行い、復帰ボタン160が押下操作されると、コンテキスト判定モードに遷移する。
電源制御(パターン1,2)で例示したように、電源制御部150は、ビジョン処理部110と通信処理部140とを排他的に電源オンにする。ビジョン処理部110と通信処理部140とが同時に電源オンにならないように制御することで、ビジョン処理部110の演算用メモリ112に格納された動画データが不正アクセスにより流出することを防げる。具体的には次の通りである。
第1に、演算用メモリ112に動画データが格納されている間、通信処理部140を用いた通信は不可能となる。このため、センサ装置100に対する外部からのアクセスも不可能となり、演算用メモリ112に格納された動画データの流出を防げる。
第2に、通信処理部140がローカルコンテキストデータを送信する間、演算用メモリ112にアクセスできなくなる。このため、仮に、センサ装置100が不正アクセスを受けたとしても、演算用メモリ112にアクセスすることはできず、動画データの流出を防げる。演算用メモリ112は、揮発性メモリであり、電源オフにより動画データは演算用メモリ112から消去されるので、データの流出の可能性を一層低減できる。
第3に、異常時には、通信処理部140により送信可能な動画データは、カメラ114により生成される動画データのうち、送信動画用メモリ131に格納されている部分に限られる。このため、異常時における、通信処理部140による動画データの送信量を、監視用に求められる最低限の量に制限できる。また、異常時にも、通信処理部140が電源オンの間、ビジョン処理部110は電源オフであるため、新たな動画データが送信動画用メモリ131に入力されることもない。こうして、異常時に、センサ装置100が万が一不正アクセスを受けたとしても、異常発生時以外の余計な情報の流出を抑制できる。
また、電源制御(パターン1)では、ローカルコンテキストデータの送信後に、送信動画保持部130を電源オンにする点が、電源制御(パターン2)と異なる。電源制御(パターン1)では、異常を示すローカルコンテキストデータを迅速にホームサーバ300および中央サーバ400に送信できるので、管理者や他のユーザによる異常の早期発見を支援できる。また、異常に応じて家電機器500,600の動作制御を行う場合にも、当該動作制御を迅速に行える。
一方、電源制御(パターン2)では、ローカルコンテキストデータの送信前に、送信動画保持部130を電源オンにする点が、電源制御(パターン1)と異なる。電源制御(パターン2)では、異常発生直後の動画データを取得できるので、管理者や他のユーザによる異常の状況のより適切な把握を支援できる。
次に、電源制御部150による電源制御(パターン3)を説明する。電源制御(パターン3)では、電源制御部150は、ビジョン処理部110および通信処理部140を、通常時は排他的に電源オンにするが、異常発生後のある期間だけ両方を電源オンにすることを許容する。
図16は、第2の実施の形態の電源制御(パターン3)の例を示す図である。図16の表では、図10と同様に、センサ装置100による処理内容ごとに、ビジョン処理部110、送信動画保持部130および通信処理部140の電源オンおよび電源オフの状態を示している。
項番“1”の処理内容は、“撮影およびコンテキスト判定”である。“撮影およびコンテキスト判定”処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オフ、通信処理部140が電源オフである。
項番“2”の処理内容は、“コンテキスト送信”である。コンテキスト送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オフ、通信処理部140が電源オンである。
項番“3”の処理内容は、“コンテキスト送信および動画撮影・送信”である。コンテキスト送信処理は、通信処理部140によって実行される。動画撮影処理は、ビジョン処理部110によって実行される。動画送信処理は、通信処理部140によって実行される。“コンテキスト送信および動画撮影・送信”処理では、ビジョン処理部110が電源オン、送信動画保持部130が電源オン、通信処理部140が電源オンである。
項番“4”の処理内容は、“動画送信”である。動画送信処理では、ビジョン処理部110が電源オフ、送信動画保持部130が電源オン、通信処理部140が電源オンである。
図16では、電源制御部150によるビジョン処理部110、通信処理部140および送信動画保持部130の電源オン/電源オフの制御の時系列の例も示されている。時刻T30,T31,T32,T33は、ビジョン処理部110、通信処理部140および送信動画保持部130の何れかが電源オンから電源オフへ、あるいは、電源オフから電源オンへ、切り替わるタイミングを示す。Highは電源オンを示す。Lowは電源オフを示す。図面の左側から右側へ向かう方向が時系列の正方向である。
時刻T30の直前は、ビジョン処理部110が電源オフ、通信処理部140が電源オン、送信動画保持部130が電源オフである。時刻T30の直前の時間帯は、コンテキスト送信処理の時間帯である。
時刻T30で、電源制御部150は、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにする。送信動画保持部130は電源オフのままである。時刻T30から時刻T31までの時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。ここで、ビジョン処理部110は、コンテキスト判定処理の結果、異常を検出したものとする。例えば、ビジョン処理部110は、ローカルコンテキストデータ“Label_X”を生成し、コンテキスト用メモリ121に格納する。ビジョン処理部110は、異常を検出した旨を、電源制御部150に通知する。
時刻T31で、電源制御部150は、送信動画保持部130および通信処理部140を電源オンにする。ビジョン処理部110は電源オンのままである。時刻T31から時刻T32までの時間帯は、“コンテキスト送信および動画撮影・送信”処理の時間帯である。具体的には、通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。並行して、ビジョン処理部110は、カメラ114により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に格納する。ビジョン処理部110は、時刻T32まで、演算用メモリ112に順次格納される動画データを複製し、送信動画用メモリ131に格納する。動画データの取得時間n(=T32−T31)(秒)は、前述のように予め定められる。
なお、時刻T31において、通信処理部140は電源オンにされ、その後、コンテキスト送信を行う。このため、送信動画保持部130は、通信処理部140によるローカルコンテキストデータの送信の前に、電源オンされているといえる。
時刻T32で、電源制御部150は、ビジョン処理部110を電源オフにする。送信動画保持部130および通信処理部140は電源オンのままである。時刻T32から時刻T33までの時間帯は、動画送信処理の時間帯である。具体的には、通信処理部140は、送信動画用メモリ131に格納された動画データをホームサーバ300に送信する。時刻T32以降では、復帰ボタン160が押下操作されるまで、電源制御部150は、ビジョン処理部110の電源オンを制限する。
時刻T33で、電源制御部150は、復帰ボタン160の押下操作を受け付ける。電源制御部150は、通信処理部140および送信動画保持部130を電源オフにし、ビジョン処理部110を電源オンにする。時刻T33の直後の時間帯は、“撮影およびコンテキスト判定”処理の時間帯である。
次に、電源制御部150が電源制御(パターン3)を行う場合のセンサ装置100によるデータの送信処理の手順を例示する。
図17は、電源制御(パターン3)の送信処理例を示すフローチャートである。以下、図17に示す処理をステップ番号に沿って説明する。なお、ステップS31の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
図17は、電源制御(パターン3)の送信処理例を示すフローチャートである。以下、図17に示す処理をステップ番号に沿って説明する。なお、ステップS31の直前では、ビジョン処理部110は電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
(S31)ビジョン処理部110は、カメラ114による動画の撮影を行い、撮影により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110は、演算用メモリ112に格納された動画データに基づいて、コンテキスト(ローカルコンテキストデータ)の判定を行う。ビジョン処理部110は、生成したローカルコンテキストデータをコンテキスト用メモリ121に格納する。ビジョン処理部110は、コンテキストの判定結果を電源制御部150に通知する。
(S32)電源制御部150は、ステップS31でビジョン処理部110から通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オンにして、処理をステップS34に進める。異常でない場合、電源制御部150は、ビジョン処理部110を電源オフにし、通信処理部140を電源オンにして、処理をステップS33に進める。
(S33)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信が完了すると、送信完了を電源制御部150に通知する。電源制御部150は、送信完了の通知を受け付けると、通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS31に進める。
(S34)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。ビジョン処理部110は、カメラ114を用いて異常検出後n秒の動画を撮影する。ビジョン処理部110は、撮影により生成された動画データを、演算用メモリ112によりバッファリングする。ビジョン処理部110は、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に書き込む。通信処理部140は、送信動画用メモリ131に書き込まれた動画データの送信を開始する。ビジョン処理部110は、n秒分の動画データの取得が完了すると、動画データの取得完了を電源制御部150に通知する。電源制御部150は、通知を受け付けると、ビジョン処理部110を電源オフにする。
(S35)通信処理部140は、送信動画用メモリ131に格納された動画データのホームサーバ300への送信を継続し、送信を完了する。通信処理部140は、動画データの送信完了を電源制御部150に通知する。電源制御部150は、復帰ボタン160が押下操作されるまで待機する。
(S36)電源制御部150は、復帰ボタン160が押下操作されたか否かを判定する。復帰ボタン160が押下操作された場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オフにし、ビジョン処理部110を電源オンにして、処理をステップS31に進める。復帰ボタン160が押下操作されていない場合、処理をステップS35に進め、復帰ボタン160に対する押下操作を待機する。
このように、ビジョン処理部110は、異常検出後の所定の期間(異常検出後n秒間)に取得された動画データを送信動画用メモリ131に格納する。また、通信処理部140は、当該期間のうちの前半の時間帯でローカルコンテキストデータの送信を行い、当該時間帯の後に動画データの送信を開始する。そして、電源制御部150は、当該期間が過ぎるとビジョン処理部110を電源オフにする。
なお、ステップS35では、図11のステップS15と同様に、通信処理部140は、動画データの送信を、通信処理部140の電源オンの直後に自発的に行ってもよいし、ホームサーバ300による動画要求の指示を受け付けた後に行ってもよい。また、通信処理部140は、動画データの送信完了後、復帰ボタン160が押下操作を待機している間も、ホームサーバ300からの動画要求があるたびに、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信してもよい。
図18は、電源制御(パターン3)のセンサ装置の状態遷移例を示す図である。ここで、コンテキスト送信および動画撮影・送信処理を行うセンサ装置100の状態を、「コンテキスト送信および動画撮影・送信モード」と称する。
センサ装置100は、コンテキスト判定モードでは、送信すべきコンテキストデータ(ローカルコンテキストデータ)を検出し、ローカルコンテキストデータが正常を示す場合、コンテキスト送信モードに遷移する。一方、センサ装置100は、コンテキスト判定モードでは、ローカルコンテキストデータが異常を示す場合、コンテキスト送信および動画撮影・送信モードに遷移する。
センサ装置100は、コンテキスト送信モードでは、ローカルコンテキストデータの送信(コンテキスト送信)が完了すると、コンテキスト判定モードに遷移する。
センサ装置100は、コンテキスト送信および動画撮影・送信モードでは、動画データの取得を行い、異常検出後n秒経過すると、動画送信モードに遷移する。
センサ装置100は、コンテキスト送信および動画撮影・送信モードでは、動画データの取得を行い、異常検出後n秒経過すると、動画送信モードに遷移する。
センサ装置100は、動画送信モードでは、動画データの送信を行い、復帰ボタン160が押下操作されると、コンテキスト判定モードに遷移する。
電源制御(パターン3)では、電源制御部150は、通常時には、ビジョン処理部110と通信処理部140とを排他的に電源オンにする。このため、電源制御(パターン1,2)と同様に、不正アクセスによってカメラ114により生成された動画データが流出することを防げる。
電源制御(パターン3)では、電源制御部150は、通常時には、ビジョン処理部110と通信処理部140とを排他的に電源オンにする。このため、電源制御(パターン1,2)と同様に、不正アクセスによってカメラ114により生成された動画データが流出することを防げる。
また、電源制御(パターン3)では、異常発生時には、一定期間だけビジョン処理部110および通信処理部140の両方を電源オン状態にすることを許容する。このため、センサ装置100は、当該期間では、ビジョン処理部110による動画データの取得と、通信処理部140によるローカルコンテキストデータの送信と、を並行して行える。
したがって、電源制御(パターン3)によれば、電源制御(パターン1)と同様に、異常を示すローカルコンテキストデータを迅速にホームサーバ300および中央サーバ400に送信するので、管理者や他のユーザによる異常の早期発見を支援できる。また、異常に応じて家電機器500,600の動作制御を行う場合にも、当該動作制御を迅速に行える。更に、電源制御(パターン2)と同様に、異常発生直後の動画データを取得するので、管理者や他のユーザによる異常の状況のより適切な把握を支援できる。すなわち、電源制御(パターン1,2)による利点を両立できる。
なお、第2の実施の形態では、電源制御部150はビジョン処理部110の単位で電源オンおよび電源オフにするものとした。一方、電源制御部150は、ビジョン処理部110の各ハードウェアのうち、動画データのバッファリングに用いられるメモリ(例えば、演算用メモリ112)に絞って電源オンおよび電源オフを制御してもよい。カメラ114により入力される動画データのバッファリングを行えなくなれば、ビジョン処理部110による動画データの取得を停止できるからである。
ここで、現在、コネクテッドホームシステムが普及しつつある。コネクテッドホームシステムでは、住まいにおいて、人がどこで何をしているかを把握し、その情報によって家電機器などを制御することで、安全で快適な住まいを実現する。このため、コネクテッドホームシステムを実現する上で、人の行動の把握は重要である。人の行動の把握は、例示したように、センサ(イメージセンサやマイクなど)によって動画や音声などのセンサデータを取得することで行われる。
しかし、このようなセンサデータを用いるとユーザのプライバシーが侵害されるおそれがある。例えば、撮影した動画が流出すると、個人の生活が第三者に盗み見られるおそれがある。このため、プライバシーに配慮し、住まいに設置しても抵抗感のないシステムの実現が求められる。
そこで、センサ装置100は、電源制御(パターン1,2,3)の何れかを用いることで、カメラ114により生成された動画データが不正アクセスによって制限なく流出するリスクを低減できる。そして、異常発生時以外の動画流出を防ぎつつ、異常発生時の動画を送信でき、管理者などによる適切な異常把握を支援できる。こうして、ユーザU1のプライバシーを守ることができ、住まいに設置しても抵抗感のないシステムの実現に貢献できる。
[第3の実施の形態]
以下、第3の実施の形態を説明する。前述の第2の実施の形態と相違する事項を主に説明し、共通する事項の説明を省略する。
以下、第3の実施の形態を説明する。前述の第2の実施の形態と相違する事項を主に説明し、共通する事項の説明を省略する。
第2の実施の形態では、センサ装置100により、異常発生直後の動画データを取得し、ホームサーバ300に送信する機能を説明した。一方、センサ装置100は、異常発生以前の動画データを取得しておき、異常発生時にホームサーバ300に送信してもよい。そこで、第3の実施の形態では、センサ装置100により、異常発生以前の動画データをホームサーバ300に送信する機能を提供する。
図19は、第3の実施の形態のセンサ装置のハードウェア例を示す図である。第3の実施の形態では、センサ装置100に代えて、センサ装置100aを用いる。センサ装置100aは、ビジョン処理部110に代えて、ビジョン処理部110aを有する。ビジョン処理部110aは、ビジョン処理部110のハードウェアに加えて、動画保持用メモリ115を更に有する点が、ビジョン処理部110と異なる。
動画保持用メモリ115は、現時刻以前にカメラ114によって生成された過去の動画データを保持するための記憶装置である。動画保持用メモリ115は、演算用メモリ112と同様に、揮発性メモリである。動画保持用メモリ115としては、例えば、SRAMを用いることができる。また、演算用メモリ112と動画保持用メモリ115とは、同一のメモリ上に別個に確保された2つの記憶領域として実現されてもよい。
動画保持用メモリ115には、現時刻以前のa秒(aは正の実数)分の動画データが格納される。aの値は、監視用に求められる時間の長さとして、予め定められる。動画保持用メモリ115の記憶容量は、当該a秒分の動画データのサイズとする。すなわち、動画保持用メモリ115の記憶容量は、a秒分の動画データを格納できる最低限のサイズでよい。
また、この場合、送信動画用メモリ131の記憶容量は、a+n秒分の動画データのサイズとする。すなわち、送信動画用メモリ131の記憶容量は、a+n秒分の動画データを格納できる最低限のサイズでよい。
ここで、センサ装置100aでは、異常を示すローカルコンテキストデータをホームサーバ300に送信する前に、送信動画保持部130を電源オンにし、異常直後の動画データを取得する。すなわち、センサ装置100aでは、第2の実施の形態で例示した電源制御(パターン1)に対応する制御を行わない。ビジョン処理部110aが一旦電源オフにされると、動画保持用メモリ115に記憶された過去分の動画データが消去されるためである。
センサ装置100aでは、第2の実施の形態で例示した電源制御(パターン2,3)に対応する制御を行う。電源制御(パターン2)に対応するセンサ装置100aの制御を、電源制御(パターンA)と称する。また、電源制御(パターン3)に対応するセンサ装置100aの制御を、電源制御(パターンB)と称する。
以下では、パターンA,Bの順に、具体的な制御内容を説明する。電源制御(パターンA)の処理内容に対するビジョン処理部110a、送信動画保持部130および通信処理部140の電源オン/電源オフの状態およびセンサ装置100aの状態遷移は、図13,図15で例示した電源制御(パターン2)の場合と同様である。
次に、電源制御部150が電源制御(パターンA)を行う場合のセンサ装置100aによるデータの送信処理の手順を例示する。
図20は、電源制御(パターンA)の送信処理例を示すフローチャートである。以下、図20に示す処理をステップ番号に沿って説明する。なお、ステップS41の直前では、ビジョン処理部110aは電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
図20は、電源制御(パターンA)の送信処理例を示すフローチャートである。以下、図20に示す処理をステップ番号に沿って説明する。なお、ステップS41の直前では、ビジョン処理部110aは電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
(S41)ビジョン処理部110aは、カメラ114による動画の撮影を行い、撮影により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110aは、演算用メモリ112に格納された動画データに基づいて、コンテキスト(ローカルコンテキストデータ)の判定を行う。ビジョン処理部110aは、生成したローカルコンテキストデータをコンテキスト用メモリ121に格納する。ビジョン処理部110aは、演算用メモリ112に格納された動画データを複製し、動画保持用メモリ115に格納する。動画保持用メモリ115は、現時刻以前の過去a秒分の動画データを保持する。ビジョン処理部110aは、コンテキストの判定結果を電源制御部150に通知する。
ここで、ビジョン処理部110aは、コンテキスト判定を、a秒以上の周期で行う。一方、ビジョン処理部110aは、カメラ114による動画の撮影を所定のフレームレートで行い、動画保持用メモリ115への動画データの蓄積を常時行っている。
(S42)電源制御部150は、ステップS41でビジョン処理部110aから通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、送信動画保持部130を電源オンにして、処理をステップS44に進める。異常でない場合、電源制御部150は、ビジョン処理部110aを電源オフにし、通信処理部140を電源オンにして、処理をステップS43に進める。
(S43)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信が完了すると、送信完了を電源制御部150に通知する。電源制御部150は、送信完了の通知を受け付けると、通信処理部140を電源オフにし、ビジョン処理部110aを電源オンにして、処理をステップS41に進める。
(S44)ビジョン処理部110aは、カメラ114を用いて異常検出後n秒の動画を撮影する。ビジョン処理部110aは、撮影により生成された動画データを、演算用メモリ112によりバッファリングする。ビジョン処理部110aは、動画保持用メモリ115に格納されている異常発生前のa秒分の動画データを送信動画用メモリ131に書き込む。また、ビジョン処理部110aは、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に書き込む。ビジョン処理部110aは、n秒分の動画データの取得が完了すると、動画データの取得完了を電源制御部150に通知する。電源制御部150は、通知を受け付けると、ビジョン処理部110aを電源オフにし、通信処理部140を電源オンにする。
(S45)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信動画用メモリ131に格納された動画データ(a+n秒分の動画データ)をホームサーバ300に送信する。通信処理部140は、動画データの送信完了を電源制御部150に通知する。電源制御部150は、復帰ボタン160が押下操作されるまで待機する。
(S46)電源制御部150は、復帰ボタン160が押下操作されたか否かを判定する。復帰ボタン160が押下操作された場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オフにし、ビジョン処理部110aを電源オンにして、処理をステップS41に進める。復帰ボタン160が押下操作されていない場合、処理をステップS45に進め、復帰ボタン160に対する押下操作を待機する。
なお、ステップS45では、図11のステップS15と同様に、通信処理部140は、動画データの送信を、通信処理部140の電源オンの直後に自発的に行ってもよいし、ホームサーバ300による動画要求の指示を受け付けた後に行ってもよい。また、通信処理部140は、動画データの送信完了後、復帰ボタン160が押下操作を待機している間も、ホームサーバ300からの動画要求があるたびに、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信してもよい。
次に、電源制御(パターンB)の場合を説明する。電源制御(パターンB)の処理内容に対するビジョン処理部110a、送信動画保持部130および通信処理部140の電源オン/電源オフの状態およびセンサ装置100aの状態遷移は、図16,図18で例示した電源制御(パターン3)の場合と同様である。
電源制御部150が電源制御(パターンB)を行う場合のセンサ装置100aによるデータの送信処理の手順を例示する。
図21は、電源制御(パターンB)の送信処理例を示すフローチャートである。以下、図21に示す処理をステップ番号に沿って説明する。なお、ステップS51の直前では、ビジョン処理部110aは電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
図21は、電源制御(パターンB)の送信処理例を示すフローチャートである。以下、図21に示す処理をステップ番号に沿って説明する。なお、ステップS51の直前では、ビジョン処理部110aは電源オンであり、送信動画保持部130および通信処理部140は電源オフである。
(S51)ビジョン処理部110aは、カメラ114による動画の撮影を行い、撮影により生成された動画データを演算用メモリ112に格納する。ビジョン処理部110aは、演算用メモリ112に格納された動画データに基づいて、コンテキスト(ローカルコンテキストデータ)の判定を行う。ビジョン処理部110aは、生成したローカルコンテキストデータをコンテキスト用メモリ121に格納する。ビジョン処理部110aは、演算用メモリ112に格納された動画データを複製し、動画保持用メモリ115に格納する。動画保持用メモリ115は、現時刻以前の過去a秒分の動画データを保持する。ビジョン処理部110aは、コンテキストの判定結果を電源制御部150に通知する。
ここで、ビジョン処理部110aは、コンテキスト判定を、a秒以上の周期で行う。一方、ビジョン処理部110aは、カメラ114による動画の撮影を所定のフレームレートで行い、動画保持用メモリ115への動画データの蓄積を常時行っている。
(S52)電源制御部150は、ステップS51でビジョン処理部110aから通知されたコンテキストの判定結果が異常であるか否かを判定する。異常である場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オンにして、処理をステップS54に進める。異常でない場合、電源制御部150は、ビジョン処理部110aを電源オフにし、通信処理部140を電源オンにして、処理をステップS53に進める。
(S53)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。通信処理部140は、送信が完了すると、送信完了を電源制御部150に通知する。電源制御部150は、送信完了の通知を受け付けると、通信処理部140を電源オフにし、ビジョン処理部110aを電源オンにして、処理をステップS51に進める。
(S54)通信処理部140は、コンテキスト用メモリ121に格納されたローカルコンテキストデータをホームサーバ300に送信する。ビジョン処理部110aは、カメラ114を用いて異常検出後n秒の動画を撮影する。ビジョン処理部110aは、撮影により生成された動画データを、演算用メモリ112によりバッファリングする。ビジョン処理部110aは、動画保持用メモリ115に格納されている異常発生前のa秒分の動画データを送信動画用メモリ131に書き込む。また、ビジョン処理部110aは、演算用メモリ112に格納された動画データを複製して、送信動画用メモリ131に書き込む。通信処理部140は、送信動画用メモリ131に書き込まれた動画データの送信を開始する。ビジョン処理部110aは、n秒分の動画データの取得が完了すると、動画データの取得完了を電源制御部150に通知する。電源制御部150は、通知を受け付けると、ビジョン処理部110aを電源オフにする。
(S55)通信処理部140は、送信動画用メモリ131に格納された動画データ(a+n秒分の動画データ)のホームサーバ300への送信を継続し、送信を完了する。通信処理部140は、動画データの送信完了を電源制御部150に通知する。電源制御部150は、復帰ボタン160が押下操作されるまで待機する。
(S56)電源制御部150は、復帰ボタン160が押下操作されたか否かを判定する。復帰ボタン160が押下操作された場合、電源制御部150は、送信動画保持部130および通信処理部140を電源オフにし、ビジョン処理部110aを電源オンにして、処理をステップS51に進める。復帰ボタン160が押下操作されていない場合、処理をステップS55に進め、復帰ボタン160に対する押下操作を待機する。
なお、ステップS55では、図11のステップS15と同様に、通信処理部140は、動画データの送信を、通信処理部140の電源オンの直後に自発的に行ってもよいし、ホームサーバ300による動画要求の指示を受け付けた後に行ってもよい。また、通信処理部140は、動画データの送信完了後、復帰ボタン160が押下操作を待機している間も、ホームサーバ300からの動画要求があるたびに、送信動画用メモリ131に格納された動画データを、ホームサーバ300に送信してもよい。
このように、センサ装置100aによれば、ユーザU1のプライバシーを保護しながら、異常発生前後の動画データに限定して、ホームサーバ300に送信できる。このため、中央サーバ400を利用する管理者や、ホームサーバ300と通信する端末装置を利用する他のユーザによる異常の状況の詳細な把握を支援できる。
なお、第3の実施の形態では、電源制御部150はビジョン処理部110aの単位で電源オンおよび電源オフにするものとした。一方、電源制御部150は、ビジョン処理部110aの各ハードウェアのうち、動画データのバッファリングに用いられるメモリ(例えば、演算用メモリ112および動画保持用メモリ115)に絞って電源オンおよび電源オフを制御してもよい。カメラ114により入力される動画データのバッファリングを行えなくなれば、ビジョン処理部110aによる動画データの取得を停止できるからである。
また、第2,第3の実施の形態では、センサデータとして、カメラ114によって取得される動画データを用いる例を示したが、センサデータは、マイクや温度センサによって生成された音声データや温度分布データなどでもよい。ビジョン処理部110,110aが検出する異常の内容も、ユーザU1の傷病などの異常でもよいし、住宅設備や家電機器の異常(例えば、異音、異常な発熱、出火など)、ユーザU1の不在時や住宅の施錠時における不審人物の侵入など、種々の内容が考えられる。
1 送信装置
1a 第1のメモリ
1b 第2のメモリ
1c 第3のメモリ
1d 処理部
1e 通信部
1f 電源制御部
2 センサ
3 情報処理装置
1a 第1のメモリ
1b 第2のメモリ
1c 第3のメモリ
1d 処理部
1e 通信部
1f 電源制御部
2 センサ
3 情報処理装置
Claims (12)
- 入力された第1のデータを第1のメモリに格納し、前記第1のデータに基づいて第2のデータを生成し、前記第2のデータを第2のメモリに格納し、前記第2のデータが異常を示す場合に、前記第1のメモリに格納された前記第1のデータを第3のメモリに格納する処理部と、
前記第2のメモリに格納された前記第2のデータの送信、および、前記第3のメモリに格納された前記第1のデータの送信を行う通信部と、
前記第1のメモリおよび前記通信部を排他的に電源オンにし、前記異常に応じて前記第3のメモリを電源オンにする電源制御部と、
を有する送信装置。 - 前記電源制御部は、前記第2のデータが前記異常を示す場合、前記通信部による前記第2のデータの送信前に、前記第3のメモリを電源オンにする、請求項1記載の送信装置。
- 前記電源制御部は、前記第3のメモリを電源オンにしてから所定の期間は、前記第1のメモリおよび前記通信部の両方の電源オンを許容し、前記期間では、前記第1のメモリおよび前記通信部の両方を電源オンにする、請求項2記載の送信装置。
- 前記処理部は、前記期間に入力された前記第1のデータを前記第3のメモリに格納し、
前記通信部は、前記期間のうちの第1の時間帯で前記第2のデータの送信を行い、前記第1の時間帯の後に前記第1のデータの送信を開始し、
前記電源制御部は、前記期間が過ぎると前記第1のメモリを電源オフにする、
請求項3記載の送信装置。 - 前記処理部は、現時刻以前に入力された第3のデータを前記第1のメモリとともに電源オンおよび電源オフにされる第4のメモリに格納しており、前記異常に応じて前記第1のデータに加えて前記第3のデータを前記第3のメモリに格納し、
前記通信部は、前記電源制御部により電源オンにされると、前記第1のデータおよび前記第3のデータの送信を行う、
請求項2乃至4の何れか1項に記載の送信装置。 - 前記電源制御部は、前記第2のデータが前記異常を示す場合、前記通信部による前記第2のデータの送信後に、前記第3のメモリを電源オンにする、請求項1記載の送信装置。
- 前記電源制御部は、前記通信部による前記第1のデータの送信後は、ユーザによる所定の操作入力を受け付けるまで前記第1のメモリの電源オンを制限し、前記操作入力を受け付けると前記通信部および前記第3のメモリを電源オフにし、前記第1のメモリを電源オンにする、請求項1乃至6の何れか1項に記載の送信装置。
- 前記電源制御部は、前記第1のメモリを電源オフにするときは前記第1のデータの入力元のセンサも電源オフにし、前記第1のメモリを電源オンにするときは前記センサも電源オンにする、請求項1乃至7の何れか1項に記載の送信装置。
- 前記電源制御部は、前記第1のメモリを電源オフにするときは前記処理部も電源オフにし、前記第1のメモリを電源オンにするときは前記処理部も電源オンにする、請求項1乃至8の何れか1項に記載の送信装置。
- 前記第1のデータは、画像データである、請求項1乃至9の何れか1項に記載の送信装置。
- 入力された第1のデータを第1のメモリに格納し、前記第1のデータに基づいて第2のデータを生成し、前記第2のデータを第2のメモリに格納し、前記第2のデータが異常を示す場合に、前記第1のメモリに格納された前記第1のデータを第3のメモリに格納する処理部と、前記第2のメモリに格納された前記第2のデータの送信、および、前記第3のメモリに格納された前記第1のデータの送信を行う通信部と、前記第1のメモリおよび前記通信部を排他的に電源オンにし、前記異常に応じて前記第3のメモリを電源オンにする電源制御部と、を有する送信装置と、
前記第1のデータおよび前記第2のデータを受信し、前記第2のデータに応じて他の装置を制御する情報処理装置と、
を有する情報処理システム。 - 送信装置によるデータの送信方法であって、
処理部が、入力された第1のデータを第1のメモリに格納し、前記第1のデータに基づいて第2のデータを生成し、前記第2のデータを第2のメモリに格納し、
電源制御部が、前記第2のデータが異常を示す場合に、第3のメモリを電源オンにし、
前記処理部が、前記第1のメモリに格納された前記第1のデータを前記第3のメモリに格納し、
前記電源制御部が、前記第1のメモリを電源オフにし、前記第2のメモリに格納された前記第2のデータを送信する通信部を電源オンにし、
前記通信部が、前記第3のメモリに格納された前記第1のデータの送信を行う、
送信方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016218577A JP2018078434A (ja) | 2016-11-09 | 2016-11-09 | 送信装置、情報処理システムおよび送信方法 |
US15/784,648 US20180129741A1 (en) | 2016-11-09 | 2017-10-16 | Transmission apparatus, information processing system, and transmission method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016218577A JP2018078434A (ja) | 2016-11-09 | 2016-11-09 | 送信装置、情報処理システムおよび送信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018078434A true JP2018078434A (ja) | 2018-05-17 |
Family
ID=62065458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016218577A Pending JP2018078434A (ja) | 2016-11-09 | 2016-11-09 | 送信装置、情報処理システムおよび送信方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180129741A1 (ja) |
JP (1) | JP2018078434A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020027016A (ja) * | 2018-08-10 | 2020-02-20 | エスペック株式会社 | 環境試験装置 |
JP2020182190A (ja) * | 2019-04-26 | 2020-11-05 | 株式会社東芝 | センサシステム、画像センサ、およびセンシング方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7007141B2 (en) * | 2001-01-30 | 2006-02-28 | Data Domain, Inc. | Archival data storage system and method |
JP7028541B2 (ja) * | 2015-07-17 | 2022-03-02 | コマツ産機株式会社 | プレスシステムおよびプレスシステムの制御方法 |
RU2739435C2 (ru) * | 2015-12-31 | 2020-12-24 | Конинклейке Филипс Н.В. | Система беспроводной связи с несколькими уровнями безопасности |
US9961496B2 (en) * | 2016-06-17 | 2018-05-01 | Qualcomm Incorporated | Methods and systems for context based anomaly monitoring |
-
2016
- 2016-11-09 JP JP2016218577A patent/JP2018078434A/ja active Pending
-
2017
- 2017-10-16 US US15/784,648 patent/US20180129741A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020027016A (ja) * | 2018-08-10 | 2020-02-20 | エスペック株式会社 | 環境試験装置 |
JP2020182190A (ja) * | 2019-04-26 | 2020-11-05 | 株式会社東芝 | センサシステム、画像センサ、およびセンシング方法 |
JP7237713B2 (ja) | 2019-04-26 | 2023-03-13 | 株式会社東芝 | センサシステム、画像センサ、およびセンシング方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180129741A1 (en) | 2018-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9397852B2 (en) | Connected home user interface systems and methods | |
US9286786B2 (en) | Surveillance systems and methods | |
US20160342845A1 (en) | Detection zones | |
US20190103005A1 (en) | Multi-resolution audio activity tracker based on acoustic scene recognition | |
JP2005045550A (ja) | 撮像装置、その撮像システムおよび方法 | |
US10797755B1 (en) | Communicating between devices in a doorbell system using AC power waveforms | |
JP2012251731A (ja) | 空調システム | |
JP2018078434A (ja) | 送信装置、情報処理システムおよび送信方法 | |
KR101483614B1 (ko) | 모션감지를 이용한 실외 방범 장치 | |
WO2015078299A1 (zh) | 一种智能家居的监控方法、装置及智能家居系统 | |
US10878671B1 (en) | Communicating between devices in a doorbell system using AC power waveforms | |
Abdallah et al. | Lessons and experiences of a DIY smart home | |
JP6594110B2 (ja) | 制御装置、制御システムおよびプログラム | |
TWI433058B (zh) | 安全監控系統及其方法、電腦可讀取儲存媒體及電腦程式產品 | |
JP2021096270A (ja) | 情報処理装置および情報処理方法 | |
TWI742463B (zh) | 監控警示系統 | |
KR102159159B1 (ko) | 대화형 로봇 및 이를 이용한 긴급 상황 전파 시스템 | |
US20220189004A1 (en) | Building management system using video analytics | |
TW202044204A (zh) | 事件管控方法及事件管控裝置 | |
JP2018142213A (ja) | 見守りシステム | |
JP2014174963A (ja) | 防犯装置及び防犯装置を利用可能で出入口の施錠装置を有する建築構造物 | |
JP7486193B2 (ja) | 通知システム、及び、通知方法 | |
JP5871608B2 (ja) | 警備装置 | |
US11521384B1 (en) | Monitoring system integration with augmented reality devices | |
TWM419187U (en) | Security mainframe with multiple signaling backup function |