JP2015002506A - セキュリティシステム - Google Patents

Abstract

【課題】防犯装置がセキュリティに関するイベントを検出した際に、そのイベントに関して、遠隔の地に居る複数の使用者間で情報端末を用いてリアルタイムコミュニケーションを図ること。【解決手段】セキュリティに関するイベントを検出し、前記イベントおよび前記イベントに対応したイベント情報を出力する防犯装置６０と、複数の情報端末１３と、前記防犯装置６０から前記イベントおよびイベント情報を受信して、前記イベントを前記複数の情報端末に通知し、前記イベント情報を蓄積し、更に前記複数の情報端末にテキスト情報を用いたチャットサービスを提供するサーバ２２と、を備え、前記複数の情報端末１３は、前記サーバ２２から通知された前記イベントに基づいて前記サーバ２２から取得した前記イベント情報と、前記チャットサービスによってやりとりされた前記イベント情報に関連する前記テキスト情報とを、時系列に表示する。【選択図】図１

Description

本発明は、防犯や監視に利用されるセキュリティシステムに関するものである。

年々日本人のセキュリティ意識が向上しており、例えば自宅への来訪者をドアホン装置のカメラ付き玄関子機で撮影し、在宅中の家人は撮影された画像をドアホン親機のモニタで確認した上で、音声によって来訪者と応対するようにした防犯装置が一般化している。また、他の防犯装置として、自宅周辺を監視するセキュリティカメラや、窓が開かれたことを検出する窓センサ等が知られており、近年では、このような防犯装置を設置する家屋が増加している。

一方、家人が外出中に来訪者があった場合に、カメラ付き玄関子機やセキュリティカメラで撮像・記録された画像および音声を携帯電話に送信し、携帯電話の使用者は送信された画像を確認して来訪者と通話し、玄関の電子ロックを開錠する等外出先から自宅の電子機器を操作可能に構成する技術が開示されている（特許文献１）。

また、ドアホン装置の呼出しボタンの押下に応じてドアホン装置がＳＩＰサーバに対して呼び出しのための接続要求を送信すると、ＳＩＰサーバは登録された携帯端末の位置情報を用いて接続要求を送信し、応答が得られるとドアホン装置で取得した映像を携帯端末へ送信すると共に双方向の通話を開始する技術が開示されている（特許文献２）。

特開２００４−１９４１１１号公報 特開２００９−２２５２２１号公報

しかしながら、特許文献１、特許文献２に開示された技術では、あくまでも家人が来訪者に一対一で応対することを前提としており、来訪者を撮影した画像情報や防犯装置が反応した事象に関して、互いに遠隔の地に居る複数の者（例えば家族等）との間でコミュニケーションを行って来訪者への対応を検討するような状況は想定されていなかった。

つまり従来技術では、携帯電話等の使用者は、呼出しボタンを押下した来訪者と通話を行うことはできても、他の場所にいる家族とコミュニケーションを図った上で対応を図りたいと考えたような場合は、来訪者との会話を一旦中断して、家族等に別途電話を用いた通話やメールを送信するといった煩雑な過程を要していた。

本発明は、このような従来技術の課題を解決するべく案出されたものであり、その主な目的は、防犯装置がセキュリティに関するイベントを検出した際に、そのイベントに関して、互いに遠隔の地に居る複数の使用者間で情報端末を用いてリアルタイムコミュニケーションを図ることが可能なセキュリティシステムを提供することにある。

本発明のセキュリティシステムは、予め定められたセキュリティに関するイベントを検出し、前記イベントおよび前記イベントに対応したイベント情報を出力する防犯装置と、個々の使用者がそれぞれ使用する複数の情報端末と、前記防犯装置から前記イベントおよびイベント情報を受信して、前記イベントを前記複数の情報端末に通知し、前記イベント情報を蓄積し、更に前記複数の情報端末にテキスト情報を用いたチャットサービスを提供するサーバと、を備え、前記複数の情報端末は、前記サーバから通知された前記イベントに基づいて前記サーバから取得した前記イベント情報と、前記チャットサービスによってやりとりされた前記イベント情報に関連する前記テキスト情報とを、時系列に配置して表示するようにしたものである。

本発明によれば、上述の構成によって、防犯装置がセキュリティに関するイベントを検出した際に、そのイベントに関して、互いに遠隔の地に居る複数の使用者間で情報端末を用いてリアルタイムコミュニケーションを図り、イベントに適切に対応することが可能となる。

第１実施形態のセキュリティシステムの全体構成図 ドアホン装置の構成を示すブロック構成図 サーバの構成を示すブロック構成図 情報端末の構成を示すブロック構成図 ドアホン装置とサーバと複数の情報端末との間で行われる情報の送受信の過程を示すシーケンス図 （ａ）〜（ｄ）は、複数の情報端末の端末表示部に表示される第１の表示様式を示す説明図 （ａ）、（ｂ）は、複数の情報端末の端末表示部に表示される第２の表示様式を示す説明図 複数の情報端末の端末表示部に表示される第３の表示様式を示す説明図 検索処理を実行する際に、サーバと情報端末との間で行われる情報の送受信の過程を示すシーケンス図 不審者登録処理、家族登録処理を実行する際に、ドアホン装置とサーバと情報端末との間で行われる情報の送受信の過程を示すシーケンス図 第２実施形態のドアホン装置の構成を示すブロック図 第２実施形態において、ドアホン装置とサーバと複数の情報端末との間で行われる情報の送受信の過程を示すシーケンス図 第２実施形態において、複数の情報端末の端末表示部に表示される内容を示す説明図

前記課題を解決するためになされた本発明は、予め定められたセキュリティに関するイベントを検出し、前記イベントおよび前記イベントに対応したイベント情報を出力する防犯装置と、個々の使用者がそれぞれ使用する複数の情報端末と、前記防犯装置から前記イベントおよびイベント情報を受信して、前記イベントを前記複数の情報端末に通知し、前記イベント情報を蓄積し、更に前記複数の情報端末にテキスト情報を用いたチャットサービスを提供するサーバと、を備え、前記複数の情報端末は、前記サーバから通知された前記イベントに基づいて前記サーバから取得した前記イベント情報と、前記チャットサービスによってやりとりされた前記イベント情報に関連する前記テキスト情報とを、時系列に配置して表示するようにしたものである。

これによって、防犯装置がセキュリティに関するイベントを検出した際に、そのイベントに関して、互いに遠隔の地に居る複数の使用者間で情報端末を用いてリアルタイムコミュニケーションを図り、イベントに適切に対応することが可能となる。

また、本発明は、前記イベント情報は、時刻情報を含むようにしたものである。

これによって、防犯装置が画像情報を出力する構成を備えない場合であっても、複数の情報端末においてイベント情報が時系列に配列されて表示され、使用者はイベント情報に含まれるテキスト情報に関連するチャットを行うことが可能となる。

また、本発明は、前記イベント情報は、画像情報を更に含むようにしたものである。

これによって、防犯装置が画像情報を出力する構成を備える場合は、複数の情報端末においてイベント情報が時系列に配列させて表示され、使用者はイベント情報に含まれる画像情報に関連するチャットを行うことが可能となる。

また、本発明は、前記サーバは、更に前記防犯装置に対してチャットサービスを提供し、前記防犯装置は、前記イベントが発生した後、前記イベント情報に関連するテキスト情報を前記チャットサービスによって送受信するようにしたものである。

これによって、防犯装置がチャットに直接参加することで、情報端末におけるユーザインタフェースが簡略化され、使用者はイベント情報に対する措置を迅速に行うことが可能となる。

また、本発明は、前記防犯装置は、前記チャットサービスによって受信したテキスト情報を音声情報に変換する音声処理部と、前記音声情報を再生するスピーカとを備えるようにしたものである。

これによって、情報端末と防犯装置との間でチャットが行われて、チャットによって情報端末から防犯装置に送信されたテキスト情報を、防犯装置において音声として再生することで、情報端末の使用者と来訪者との間で実質的に会話を行うことが可能となる。

また、本発明は、前記防犯装置は、更に音声情報を入力するマイクロフォンを備え、前記音声処理部は、前記マイクロフォンに入力された音声情報を前記テキスト情報に変換し、前記防犯装置は、前記チャットサービスによって、前記テキスト情報を前記複数の情報端末に送信するようにしたものである。

これによって、防犯装置で記録された音声情報はテキスト情報に変換され、防犯装置は音声情報から変換されたテキスト情報をチャットによって情報端末に送信する。情報端末ではこれをタイムラインに表示することで、情報端末の使用者と来訪者との間で実質的に会話を行うことが可能となる。

また、本発明は、前記情報端末は、使用者の指示に基づいて特定のイベント情報を指定する指定手段を備え、前記サーバは、画像処理部を備え、前記情報端末は、前記サーバに前記指定手段による指定内容を送信し、前記画像処理部は、前記指定内容に基づいて前記サーバに過去に蓄積された過去画像に対して前記特定のイベント情報の被写体が含まれるか否かを検査し、前記被写体が撮影された前記過去画像および前記過去画像に関連する情報を抽出し、前記サーバは、前記被写体が撮影された前記過去画像が存在する場合、前記複数の情報端末の少なくとも一つに対して、前記抽出の結果を通知するようにしたものである。

これによって、情報端末の使用者は、特定のイベント情報（画像情報）を指定し、過去にサーバに蓄積された画像情報から、特定の画像情報に含まれる被写体と類似する被写体が撮影された画像情報を検索、抽出することが可能となる。

また、本発明は、前記情報端末は、使用者の指示に基づいて特定のイベント情報を指定する指定手段を備え、前記サーバは、画像処理部を備え、前記情報端末は、前記サーバに前記指定手段による指定内容を送信し、前記画像処理部は、前記特定のイベント情報が指定された後に、前記防犯装置から送信された最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似するか否かを検査し、前記サーバは、前記最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似する場合、前記複数の情報端末の少なくとも一つに対して、前記検査の結果を通知するようにしたものである。

これによって、情報端末の使用者は、指定した特定のイベント情報（画像情報）の被写体と、防犯装置で新たに撮影されたイベント情報（画像情報）に含まれる被写体とが類似する場合に通知を受け、新たなイベント情報に関連したチャットを行うことが可能となる。

また、本発明は、前記画像処理部は、前記最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似すると判定した回数を計数および記憶し、この計数結果が所定の回数を越えた場合、前記サーバは、前記複数の情報端末の少なくとも一つに対して警報を通知するようにしたものである。

これによって、情報端末の使用者は、特定のイベント情報（画像情報）として不審者を指定しておくと、防犯装置で新たに撮影されたイベント情報（画像情報）に不審者が含まれる場合に警報を受け、この警報に関連したチャットを行うことが可能となる。

また、本発明は、前記サーバは画像処理部を備え、前記画像処理部は、前記イベント情報が得られる毎に前記イベント情報の被写体の特徴量を抽出して過去に取得した前記特徴量との比較を行い、前記比較の結果に基づいて、前記被写体の出現頻度が予め定めた範囲を超える場合、前記サーバは、前記複数の情報端末の少なくとも一つに対して警報を通知するようにしたものである。

これによって、情報端末の使用者は、不審者を指定することなく、防犯装置によって頻繁に撮影された被写体がある場合に警報を受け、この警報に関連したチャットを行うことが可能となる。

（第１実施形態）
以下、本発明の第１実施形態について図面を参照しながら説明する。図１は、第１実施形態のセキュリティシステム１の全体構成図である。図１に示すように、セキュリティシステム１において、宅／敷地内２にはドアホン装置３と、窓センサ６と、セキュリティカメラ７（以降、ドアホン装置３、窓センサ６およびセキュリティカメラ７をまとめて「防犯装置６０」と呼称することがある）と、ルータ８と、第１情報端末ＴＭ１とが設けられている。ドアホン装置３は、玄関子機４と親機５とで構成される。

また、屋外２０にはインターネット２１に接続されたサーバ２２と、基地局２５を介してインターネット２１に接続された第２情報端末ＴＭ２と第３情報端末ＴＭ３とが設けられている（以降の説明において、第１情報端末ＴＭ１、第２情報端末ＴＭ２および第３情報端末ＴＭ３を区別しない場合は「情報端末１３」と呼称する）。情報端末１３は可搬性を備え、ここでは個々の使用者がそれぞれ使用するスマートフォンやタブレット端末等が相当する。なお、以下の説明で「使用者」とは原則的に情報端末１３の使用者を意味するが、この「使用者」は、ドアホン装置３等の操作も行う者であるとする。

ドアホン装置３には窓センサ６が接続されている。窓センサ６も防犯装置６０の１つであり、窓に取り付けた磁石の磁力を窓枠に取り付けた磁気センサ（図示せず）で検出し、窓が開いたことに反応して親機５に通報を行う。なお、この通報はＤＥＣＴ（Digital Enhanced Cordless Telecommunications）規格を用いて無線で行われる。

使用者は、在宅時において玄関子機４で撮影された来訪者の画像を親機５で確認し、音声によって来訪者に応答する。ドアホン装置３は宅内ネットワーク１５を介してルータ８に接続されており、使用者は同様にルータ８にＷｉ−Ｆｉ（Wireless Fidelity）によって接続された第１情報端末ＴＭ１を用いて来訪者と応対することが可能である。

また、ルータ８には宅内ネットワーク１５を介してセキュリティカメラ７が接続されている。セキュリティカメラ７も防犯装置６０の１つであり、焦電センサで構成される人感センサ（図示せず）等が搭載され、人感センサによって被写体を検出すると画像を撮影し音声を記録する。使用者は、セキュリティカメラ７で撮影された画像を、第１情報端末ＴＭ１を用いて閲覧することができる。

ルータ８はインターネット２１を介してサーバ２２に接続されている。ドアホン装置３が出力するディジタル画像データとしての画像情報、およびディジタル音声データとしての音声情報、ドアホン装置３を経由して送信される窓センサ６が反応した旨のフラグ情報、更にセキュリティカメラ７が出力する画像情報（音声情報が含まれてもよい）はサーバ２２に記憶される。なお、後述するように、サーバ２２はチャットサーバ処理部２２ｂ（図３参照）を備え、複数の情報端末１３にテキスト情報（テキストデータ）を用いたチャットサービスを提供する。なお、以降の説明で、単に「ネットワーク」と言うときは、上述した宅内ネットワーク１５およびインターネット２１の双方を含むものとする。

情報端末１３は、基地局２５を介してサーバ２２にアクセスして、上述した画像情報、音声情報、テキスト情報を取得する。なお、基地局２５と第２情報端末ＴＭ２、第３情報端末ＴＭ３との間は、３Ｇ（3rd Generation）等、高速なデータ通信が可能な無線通信システムによって接続される。

図２は、ドアホン装置３の構成を示すブロック構成図である。以降、図２に図１を併用して、ドアホン装置３の構成を詳細に説明する。

図２に示すように、ドアホン装置３の玄関子機４は、ＣＣＤ（Charge Coupled Device）等のイメージセンサを備えるカメラ４ａと、子機マイクロフォン４ｂと、子機スピーカ４ｃと、呼出しボタン４ｄと、ＣＰＵ（Central Processing Unit）、ワークメモリ、プログラムメモリ等で構成されて玄関子機４の動作全般を制御する子機制御部４ｅとで構成される。子機制御部４ｅは親機５に対して呼出しボタン４ｄが押下された旨、および画像情報を送信し、親機５との間で音声情報を送受信する。

また、親機５は、液晶パネル等で構成される親機表示部５ａと、親機スピーカ５ｂと、親機マイクロフォン５ｃと、親機記憶部５ｄと、親機制御部５ｅと、親機画像処理部５ｆと、親機音声処理部５ｇと、親機通信処理部５ｈと、親機５の機能についての指示を入力する親機入力部５ｊとを備える。

この構成において、親機記憶部５ｄは、不揮発性メモリで構成され撮影された画像情報等を一時的に記憶する。親機制御部５ｅは、ＣＰＵ（Central Processing Unit）、ワークメモリ、プログラムメモリ等で構成され親機５の動作全般を制御する。親機制御部５ｅは、子機制御部４ｅに対してコマンドを発行して玄関子機４を管理下におき、玄関子機４から画像情報を受信し、玄関子機４との間で音声情報を送受信する。親機画像処理部５ｆは、ＤＳＰ（Digital Signal Processor）等で構成されカメラ４ａから出力された画像にデモザイキング処理や色調整等の表示用の画像処理を実行する。また、親機画像処理部５ｆは、玄関子機４から送信された画像情報をＭＪＰＥＧ（Motion JPEG）形式に符号化する。

親機音声処理部５ｇは、ＤＳＰ等で構成され玄関子機４が出力する音声情報に対してノイズ除去やエコーキャンセルを行う。親機通信処理部５ｈは、親機５からインターネット２１へのアクセス及びその逆のアクセスの制御を行う。具体的には、親機５とサーバ２２との間で、ネットワークを介した双方向のアクセスを制御して、カメラ４ａで撮影された画像情報および子機マイクロフォン４ｂで記録された音声情報をサーバ２２に送信し、他方、サーバ２２を経由して複数の情報端末１３からコマンド等を受信する。

なお、第１情報端末ＴＭ１がＷｉ−Ｆｉ接続されている場合（図１参照）、第１情報端末ＴＭ１は、ＩＤ（一般にはＩＰアドレス）を指定することでドアホン装置３にアクセスし、呼出しボタン４ｄの押下に基づいて撮影された画像情報を参照することができる。また、第１情報端末ＴＭ１は、セキュリティカメラ７にアクセスして人感センサが反応した場合等に撮影された画像情報や、ドアホン装置３にアクセスして窓センサ６が反応した際の時刻情報等を参照することができる。

玄関子機４は、来訪者によって呼出しボタン４ｄが押下されたことを検出すると、呼出しボタン４ｄが押下された旨を親機５に通知する。これを受けて親機５は、親機スピーカ５ｂを用いて呼出し音を再生する。そして、玄関子機４は、カメラ４ａで来訪者の撮影を開始し画像情報を親機５に送信するとともに、子機マイクロフォン４ｂを用いて音声の記録を開始し音声情報を親機５に送信する。このときの画像情報の撮影および音声情報の記録は、呼出しボタン４ｄの押下を検出した後、所定期間にわたって行われる。

親機画像処理部５ｆにおいてＭＪＰＥＧ形式に変換された画像情報は、ファイルとして親機記憶部５ｄに一時的に保存される。なお、親機５の親機制御部５ｅは時計機能を備えており、親機制御部５ｅは、来訪者の撮影を開始した年月日および時刻を時刻情報として抽出する。

なお、以降、この呼出しボタン４ｄが押下された事象、または当該事象が発生した事実を「イベント」と呼称し、「イベントを検出した」や「イベントが発生した」のように表記する。なお、「イベント」には、上述したセキュリティカメラ７の人感センサによって被写体が検出されたことや、窓センサ６によって窓の開放が検出されたことが含まれる。また、イベントの発生をトリガとして撮影された画像情報を「イベント画像５１」と呼称する（具体的には、図６等を参照）。また、後述するように「イベント画像５１」はイベント情報に含まれる。

ここで使用者が在宅中の場合、親機５は、親機入力部５ｊに入力された指示に従って、来訪者を撮影したイベント画像５１に対して上述した画像処理を行って親機表示部５ａに表示する。親機５は、更に親機マイクロフォン５ｃと親機スピーカ５ｂとを駆動するとともに、玄関子機４に対してコマンドを発行し、子機マイクロフォン４ｂと子機スピーカ４ｃとを駆動して、使用者と来訪者との間で双方向の通話処理を実行する。

一方、使用者は予め親機入力部５ｊを操作して、親機５を留守モードにしておくことができる。留守モードが指定された場合、来訪者が呼出しボタン４ｄを押下すると親機５は上述した呼出し音の再生は行うが、親機表示部５ａにイベント画像５１は表示されない。この際、玄関子機４が撮影したイベント画像５１は、一時的に親機記憶部５ｄに記憶される。

親機通信処理部５ｈは、上述したイベントが発生する毎に、イベントとイベント画像５１と時刻情報と機器情報（即ち、イベントを検出した主体に関する情報。ここではドアホン装置３を示す情報）と音声情報とをネットワークを介してサーバ２２に送信する。この際、少なくともイベントとイベント画像５１と時刻情報と機器情報とは互いに関連付けられて送信される。具体的には、送信単位であるパケットのヘッダに関連付けを明示する同一のフラグを付与すること等によってこれらの関連付けが図られる。

図３は、サーバ２２の構成を示すブロック構成図である。図３に示すように、サーバ２２は、Ｗｅｂサーバ処理部２２ａと、チャットサーバ処理部２２ｂと、サーバ記憶部２２ｃと、サーバ制御部２２ｄと、サーバ画像処理部（画像処理部）２２ｅとで構成される。

Ｗｅｂサーバ処理部２２ａは、サーバ２２からインターネット２１へのアクセスおよびその逆のアクセスの制御を行い、ネットワークを介してサーバ２２と接続されたドアホン装置３や複数の情報端末１３との間で、双方向のアクセスを制御する。具体的には、Ｗｅｂサーバ処理部２２ａは、ドアホン装置３の親機５から送信されたイベントおよびイベント画像５１等を受信し、予め送信先ＩＤが登録されている複数の情報端末１３にイベントを送信する。チャットサーバ処理部２２ｂは、各使用者にチャットルームを提供し、チャットルームに接続している複数の情報端末１３の間で使用者同士のメッセージを交換させる。即ち、サーバ２２は複数の情報端末１３に対してチャットサービスを提供する。

サーバ記憶部２２ｃは、大容量のＲＡＩＤ（Redundant Arrays of Inexpensive Disks）で構成され、ドアホン装置３から受信したイベントとイベント画像５１と時刻情報と機器情報とを長期にわたって蓄積する（もちろん、上述した音声情報を蓄積してもよい）。サーバ２２はイベントとイベント画像５１と時刻情報と機器情報とをファイルとして取り扱い、このファイルを蓄積する。その際にこれらのファイル名の統一が図られる。また、後述するように、サーバ記憶部２２ｃは、複数の情報端末１３で生成されたチャットの内容であるテキスト情報を、それが生成された時刻情報とともに蓄積する。

なお、以降の説明を簡単にするために、サーバ記憶部２２ｃには予めドアホン装置３、複数の情報端末１３の送信元ＩＤが登録されているものとする（第２実施形態も同じ）。ドアホン装置３や複数の情報端末１３は、公知のＴＣＰセッションを確立することでサーバ２２にアクセスする。より具体的には、親機５（親機通信処理部５ｈ）および情報端末１３はサーバ２２に対してＨＴＴＰ（Hypertext Transfer Protocol）を利用して接続（ログイン処理）を実行する。なお、サーバ２２が複数の情報端末１３およびドアホン装置３へイベント等を送信する際に用いる送信先ＩＤも予めサーバ２２に登録されているものとする。即ち、ドアホン装置３および複数の情報端末１３はサーバ２２との間で相互にパケット化したデータを送受信することが可能である。

サーバ制御部２２ｄは、ＣＰＵ（Central Processing Unit）、ワークメモリ、プログラムメモリ等で構成されてサーバ２２の動作全般を制御する。サーバ画像処理部２２ｅは、後述するように画像認識機能を備え、サーバ記憶部２２ｃに過去に蓄積されたイベント画像５１を検索して、ドアホン装置３または複数の情報端末１３から受信した特定の被写体を含む画像を抽出する。なお、サーバ画像処理部２２ｅはハードウェア資源をサーバ制御部２２ｄと共用してもよいし、画像処理用途に特化したアクセラレータ等で構成してもよい。

図４は、情報端末１３の構成を示すブロック構成図である。第１情報端末ＴＭ１と第２情報端末ＴＭ２と第３情報端末ＴＭ３とは同様の構成を備えている。

図４に示すように、情報端末１３は、液晶パネル等で構成される端末表示部１３ａと、端末スピーカ１３ｂと、端末入力部１３ｃと、端末記憶部１３ｄと、ＣＰＵ、ワークメモリ、プログラムメモリ等で構成されて情報端末１３の動作全般を制御する端末制御部１３ｅと、端末通信処理部１３ｉと、チャットクライアント処理部１３ｈとを備える。

端末入力部１３ｃは、端末表示部１３ａに対して重畳配置されたいわゆるタッチパネルで構成されており、使用者は端末入力部１３ｃにタッチして、情報端末１３において必要なアプリケーションソフトを起動させる等の操作を行う。また、各情報端末１３がチャットサービスを利用する際に、使用者は端末入力部１３ｃを操作してチャットの内容であるテキスト情報を入力する。

チャットクライアント処理部１３ｈは、チャットサービスを情報端末１３が利用する際に、サーバ２２への接続要求（対話開始要求）を送信する。接続が成功すると、チャットに参加する情報端末１３のチャットクライアント処理部１３ｈは、送信元ＩＤをメッセージとしてサーバ２２に送信し、次にチャットの内容であるメッセージ、即ちテキスト情報を作成しサーバ２２に送信する。このメッセージは、サーバ２２に送信先ＩＤが登録されたすべての情報端末１３に折り返し転送される。

端末通信処理部１３ｉは、情報端末１３からインターネット２１へのアクセス及びその逆のアクセスの制御を行い、情報端末１３とサーバ２２との間で、ネットワークを介した双方向のアクセスを制御する。情報端末１３はサーバ２２に対してＨＴＴＰ（Hypertext Transfer Protocol）を利用して接続（ログイン処理）を実行する。上述したように、ドアホン装置３が出力したイベント画像５１と時刻情報と機器情報とは、イベントに関連付けられてサーバ２２のサーバ記憶部２２ｃに蓄積されており、情報端末１３は、サーバ２２から送信されたイベントを解析してイベント画像５１等のファイル名を得る。情報端末１３は、サーバ２２に接続した後に、このファイル名を用いてサーバ２２に蓄積されているイベント画像５１と時刻情報と機器情報とを読み込む。

端末記憶部１３ｄは、不揮発性メモリで構成され、サーバ２２から送信されたイベントおよびサーバ２２に接続して得たイベント画像５１と時刻情報と機器情報とを記憶する。また、端末記憶部１３ｄには使用者が利用するアプリケーションソフトが格納されている。

端末制御部１３ｅは、Ｗｅｂブラウザ機能を備えるアプリケーションソフトの実行を制御する。使用者が情報端末１３の電源を投入すると端末記憶部１３ｄに格納されたアプリケーションソフトが起動し、情報端末１３上に常駐する。アプリケーションソフトは、サーバ２２からイベントを受信すると端末通信処理部１３ｉを制御してサーバ２２に接続し、イベント画像５１と時刻情報と機器情報とを取得する。そして、チャットクライアント処理部１３ｈを制御して、サーバ２２が提供するチャットサービスに参加する。更にアプリケーションソフトは、ポップアップ画面を生成して、イベント画像５１、時刻情報、機器情報およびチャットを構成するテキスト情報を端末表示部１３ａに併せて表示する。

図５は、ドアホン装置３とサーバ２２と複数の情報端末１３との間で行われる情報の送受信の過程を示すシーケンス図である。なお、以降の説明では、説明を簡単にするために、複数の情報端末１３のうち、第１情報端末ＴＭ１と第３情報端末ＴＭ３との間でチャットが行われる際のシーケンスを例示するが、チャットの性質上、チャットに参加する情報端末１３の数は制限されず、予めサーバ２２に登録されたＩＤを有する２台以上の情報端末１３がチャットに参加することができる（図１０、図１２についても同じ）。

以降、ドアホン装置３とサーバ２２と複数の情報端末１３との間で行われる情報の送受信の過程について、図５に図１〜図４を併用して説明する。まず、来訪者によって呼出しボタン４ｄが押下されると、ドアホン装置３はこれをイベントとして検出し、サーバ２２に対して接続を行う（ＳＴ０５０１）。接続に成功すると、ドアホン装置３はサーバ２２に対してイベントを送信し（ＳＴ０５０２）、更にイベント画像５１とメッセージＭ１とを送信する（ＳＴ０５０３）。メッセージＭ１には、イベントの送信元である機器（ここではドアホン装置３）を明示する機器情報と、上述した時刻情報とが含まれる。防犯装置６０のうちドアホン装置３またはセキュリティカメラ７（図１参照）のようにイベント画像５１を出力するものにおいては、イベント画像５１と時刻情報と機器情報とがイベント情報を構成する。なお、ドアホン装置３からサーバ２２に送信されるイベント画像５１はＭＪＰＥＧ形式の動画である。また、ＳＴ０５０３では音声情報を併せて送信してもよい。

サーバ２２は受信したイベント、イベント画像５１、メッセージＭ１をそれぞれファイルとしてサーバ記憶部２２ｃに蓄積する（ＳＴ０５０４）。この際、各ファイルにはサフィックス（拡張子）を除いて同一のファイル名が付与される。

次に、サーバ２２は、イベントを複数の情報端末１３のそれぞれに送信する（ＳＴ０５０５〜ＳＴ０５０７）。イベントを受信した第１情報端末ＴＭ１は、サーバ２２への接続を行い（ＳＴ０５０８）、接続に成功すると、イベントに対応したイベント情報を指定してサーバ２２に送信要求を行う。送信要求を受信したサーバ２２は、第１情報端末ＴＭ１にイベント画像５１とメッセージＭ１とを送信する（ＳＴ０５０９）。第１情報端末ＴＭ１は、受信したイベント画像５１およびメッセージＭ１（いずれもファイルとされている）をイベントとともに端末記憶部１３ｄに保存する。なお、ＳＴ０５０９が実行される時点で、サーバ２２から第１情報端末ＴＭ１に送信されるイベント画像５１は、静止画とされている。即ち、送信時間を短縮する目的で、サーバ２２はドアホン装置３から受信したＭＪＰＥＧ形式の動画のうち、最も初期に撮影されたフレームの画像情報（ドアホン装置３において呼出しボタン４ｄが押下された時点の静止画像情報）を送信する。もちろん動画全体を送信してもよい。

同様に、第３情報端末ＴＭ３もサーバ２２に対して接続を行い（ＳＴ０５１０）、サーバ２２からイベント画像５１およびメッセージＭ１を受信して端末記憶部１３ｄに保存する（ＳＴ０５１１）。

上述したアプリケーションソフトによって、メッセージＭ１はテキスト情報に変換されて表示様式が調整される。イベント画像５１とメッセージＭ１とを受信した時点で第１情報端末ＴＭ１および第３情報端末ＴＭ３の端末表示部１３ａには、イベント画像５１（静止画）と、メッセージＭ１に含まれる時刻情報および機器情報に基づく「１５時２０分 ドアホンが反応しました」のようなイベントの内容を示すテキスト（文字列）と、使用者がチャットのテキスト情報を入力するためのテキストボックス５０（図６参照）がポップアップ画面内に表示される。

その後、第１情報端末ＴＭ１の使用者は、表示されたテキストボックス５０にテキストを書き込み、アプリケーションソフトが提供するＧＵＩ（Graphical User Interface）としての送信ボタンを押下する。この操作によって、第１情報端末ＴＭ１からサーバ２２への対話開始要求が送信され（ＳＴ０５１２）、サーバ２２にチャットの内容としてメッセージＭ２が送信される（ＳＴ０５１３）。このようにして第１情報端末ＴＭ１は、サーバ２２が提供するチャットサービスに参加する。サーバ２２は、メッセージＭ２を受信するとメッセージＭ２に時刻情報を付与してメッセージＭ２をファイル化し、サーバ記憶部２２ｃに蓄積する（ＳＴ５０１４）。なお、メッセージのファイル化に際して、ファイル名としてイベントやイベント画像５１と共通する名称、および個々のメッセージを識別する連番が付与される。

第３情報端末ＴＭ３からもサーバ２２に対して同様に対話開始要求が送信される（ＳＴ０５１５）。なお、第１実施形態では、第１情報端末ＴＭ１が対話開始要求を行って（ＳＴ０５１２）メッセージＭ２を送信した（ＳＴ０５１３）後に、第３情報端末ＴＭ３が対話開始要求をすることとしているが、実際は第１情報端末ＴＭ１と第３情報端末ＴＭ３とは対等であって、対話開始要求はどちらが先であってもよく、また、ＳＴ０５１３でメッセージＭ２がサーバ２２に送信される前にＳＴ０５０５の対話開始要求が行われてもよい。

第３情報端末ＴＭ３の対話開始要求を受信したサーバ２２は、サーバ記憶部２２ｃに蓄積されている第１情報端末ＴＭ１によるメッセージＭ２を第３情報端末ＴＭ３に送信する（ＳＴ０５１６）。その後、第３情報端末ＴＭ３には使用者によってテキスト情報が入力され、同様にしてメッセージＭ３がサーバ２２に送信され（ＳＴ０５１７）、蓄積される（ＳＴ０５１８）。この際にサーバ２２で実行される処理はＳＴ５０１４で説明したものと同等である。そしてサーバ２２は、第３情報端末ＴＭ３から受信したメッセージＭ３を第１情報端末ＴＭ１に折り返し送信する（ＳＴ０５１９）。その後、第１情報端末ＴＭ１の使用者と第３情報端末ＴＭ３の使用者との間で、それぞれの端末表示部１３ａに表示されたイベント情報（イベント画像５１、時刻情報、機器情報）を参照しながらチャットが継続される。

このように、個々の使用者がそれぞれ使用する複数の情報端末１３には、ドアホン装置３で検出されたイベントに基づいて、イベントの内容を示すテキストとイベント画像５１とが表示され、更に、イベント情報に関連するチャットを行うためのテキストボックス５０が表示されるため、使用者は、他の使用者に対してメーラや電話機能を起動する必要もなく、スムーズにリアルタイムコミュニケーションを図ることができる。

第１実施形態では、第１情報端末ＴＭ１は宅／敷地内２にあるとして説明したが、第１情報端末ＴＭ１は屋外２０にあってもよい。なお、図５では、第１情報端末ＴＭ１は、サーバ２２にアクセスしてイベント画像５１等を取得するようにしているが、図１に示すように第１情報端末ＴＭ１が宅／敷地内２にあって、ルータ８を介してインターネット２１に接続されているような場合は、第１情報端末ＴＭ１は、ルータ８を介して親機５から直接的にイベントやイベント画像５１等を取得してもよい。

上述したアプリケーションソフトが提供するＧＵＩを用いて、情報端末１３の使用者はドアホン装置３を外部から制御することができる。例えば、第１情報端末ＴＭ１の使用者は、ドアホン装置３にコマンドを発行する。このコマンドは上述したイベントと実質的に同一の手順を用いて、まず、第１情報端末ＴＭ１からサーバ２２に送信され（ＳＴ０５２０）、その後、サーバ２２からドアホン装置３へと転送される（ＳＴ０５２１）。

コマンドを受信したドアホン装置３は、コマンドを解析し（ＳＴ０５２２）、コマンドに対応した処理を実行する。これによって、使用者はドアホン装置３から警告音を発生させることや、ドアホン装置３に設けられた図示しない照明を発光させることができる。

なお、第１実施形態は、防犯装置６０としてドアホン装置３を例示して、ドアホン装置３によって検出されたイベントに基づいて、複数の情報端末１３においてイベント画像５１を参照してチャットが行われる態様ついて説明したが、防犯装置６０としてネットワークに接続されたセキュリティカメラ７（図１参照）を用いてもよい。

この場合、セキュリティカメラ７はネットワーク接続が可能ないわゆるＷｅｂカメラであって人感センサ等が設けられる。セキュリティカメラ７は、人感センサで被写体を発見した場合にイベントを検出する。そして撮影を開始してイベント画像５１を取得する。このようにセキュリティカメラ７から出力されるイベントおよびイベント画像５１に基づいて、チャットが行われるようにしてもよい。防犯装置６０がセキュリティカメラ７で構成される場合は、ドアホン装置３と同様に、イベント情報はイベント画像５１と時刻情報と機器情報とで構成される。

また、防犯装置６０の１つである窓センサ６の反応に基づいてチャットが行われるようにしてもよい。窓センサ６はドアホン装置３の親機５とＤＥＣＴで接続されており、ドアホン装置３は、窓センサ６が窓が開かれた状態を検出した場合に、これをイベントとして検出する。ただし、窓センサ６は撮像機能を持たないため、イベント画像５１は送信されず、上述した時刻情報と機器情報とを含むメッセージＭ１のみが送信される。即ち、防犯装置６０が窓センサ６である場合は、イベント情報は時刻情報と機器情報とで構成される。

図６（ａ）〜（ｄ）は、複数の情報端末１３の端末表示部１３ａに表示される第１の表示様式を示す説明図である。第１実施形態では、複数の情報端末１３は、サーバ２２から通知されたイベントに基づいてサーバ２２から取得したイベント情報と、チャットサービスによってやりとりされたイベント情報に関連するテキスト情報とを、時系列に配置して表示する。図６（ａ）〜（ｄ）では、複数の情報端末１３の間で母親である甲とその子供である乙とがチャットを行っている状況を示している。そして、図６の全体は、この態様で複数の情報端末１３のそれぞれの端末表示部１３ａに時系列（タイムライン）に配置された様式で表示される。

図６（ａ）では、ドアホン装置３からイベントが送信された状況を示している。上述したようにメッセージＭ１にはイベント情報の一部である時刻情報と機器情報とが含まれており、複数の情報端末１３の端末表示部１３ａには、これらに基づいて、「１５時２０分 ドアホンが反応しました」のようにテキストが表示される。そして、イベントに対応するイベント画像５１（静止画）が併せて表示される。使用者である甲と乙とは、端末表示部１３ａに表示されたテキストボックス５０にテキストを書き込むことで、チャットを行うことができる。

図６（ｂ）も、図６（ａ）と同様にイベントはドアホン装置３から送信されている。図６（ｂ）に示すイベントは図６（ａ）よりも遅い時刻に発生しており、端末表示部１３ａにおいて、図６（ｂ）は図６（ａ）の下段に表示される。

図６（ｃ）は、セキュリティカメラ７（図１参照）が検出したイベントに基づいて、チャットが行われる状況を示している。セキュリティカメラ７が送信するイベント情報もイベント画像５１と時刻情報と機器情報とを含み、複数の情報端末１３の端末表示部１３ａには、機器情報と時刻情報とに基づいて、「１６時３０分 セキュリティカメラが反応しました」のようにテキストが表示される。

図６（ｄ）は、窓センサ６（図１参照）が検出したイベントに基づいて、チャットが行われる状況を示している。窓センサ６が反応した場合、窓センサ６が接続されたドアホン装置３からイベント画像５１は送信されない。ただし、メッセージＭ１にはイベント情報として時刻情報と機器情報とが含まれることから、複数の情報端末１３の端末表示部１３ａには、これらに基づいて、「１８時００分 窓センサが反応しました」のようにテキストが表示される。図６（ｄ）では、イベント画像５１は表示されないものの、使用者は窓センサ６で検出されたイベントに関連したチャットを行うことができる。

図６（ａ）〜（ｄ）では、端末表示部１３ａに時刻のみを表示しているが、年月日を併せて表示してもよい。なお、図６全体における時系列の配置は、時刻情報の前後（即ちイベントの発生順）を優先し、その次にチャットによってテキスト情報が生成された時刻を優先する。つまりイベント画像５１の配置は図６（ａ）〜（ｃ）の順で単純に時系列、即ち図６（ｄ）を加えてイベントが発生した順序となっているが、図６を全体としてみたときにチャットが行われたテキストボックス５０の配置はそうではない。例えば図６（ｂ）に示す乙が入力したテキスト情報は１７時１５分に生成されているが、図６（ｃ）に示す甲が入力したテキスト情報はこれより早い１６時３１分に生成されている。即ち、チャットによって生成されるテキスト情報は、イベント情報に紐付けられた上で時系列に配列される。

なお、図６（ａ）〜（ｄ）に示すイベント画像５１のいずれかを使用者が指定すると、端末表示部１３ａの表示は個別イベント様式（図８参照）に変化し、使用者は動画像を再生することができる（後述する）。

図７（ａ）、（ｂ）は、複数の情報端末１３の端末表示部１３ａに表示される第２の表示様式を示す説明図、図８は、複数の情報端末１３の端末表示部１３ａに表示される第３の表示様式を示す説明図である。これらの表示は上述したアプリケーションソフトによって実行される。

図７（ａ）は、防犯装置６０の反応履歴をひと月単位にまとめて、イベント画像５１をカレンダー様式で表示したものである。カレンダー様式においてもイベント画像５１は時系列に表示される。ただし、この際のイベント画像５１は１日単位に、その日に撮影されたイベント画像５１のうち最先のもののみが表示されている。

使用者が端末入力部１３ｃを操作して、カレンダー様式で表示されているイベント画像５１のうち１つを選択すると、表示は図７（ｂ）のタイムライン様式に変化し、選択された特定の日に、防犯装置６０によって検出されたイベントについてのメッセージＭ１の内容（即ち、時刻情報機および機器情報）とイベント画像５１とが時系列に表示される。なお、タイムライン様式においては、図６に示すようにテキストボックス５０を表示してもよい。

タイムライン様式において、使用者が特定のイベント画像５１を選択すると、表示は図８に示す個別イベント様式に変化する。そして、端末表示部１３ａの動画フィールド１３ｊには、イベント画像５１を構成するＭＪＰＥＧ形式の動画が再生される。この再生と同時に音声情報を再生してもよい。なお、情報端末１３にイベント発生時点の静止画像のみが送信されている場合は、情報端末１３はサーバ２２に接続し、イベントに対応した動画像（イベント画像５１の全体）および必要に応じて音声情報を受信すればよい。

個別イベント様式においては、使用者はビデオ再生アイコン５３を用いてイベント画像５１を繰り返し再生することができる。また、個別イベント様式では、防犯機能アイコン５２が表示される。使用者は、防犯機能アイコン５２によって指示を入力することで、検索、不審者登録、家族登録、自動監視、警告設定、警告発信等の各処理を行う。具体的には、情報端末１３の使用者は、動画フィールド１３ｊに静止状態のイベント画像５１を表示させて不審者登録、家族登録、自動監視、検索の各アイコンにタッチすると、動画フィールド１３ｊに表示されたイベント画像５１はサーバ２２に送信されて、サーバ２２のサーバ画像処理部２２ｅにおいて指示された処理が実行される。

図９は、検索処理を実行する際にサーバ２２と情報端末１３との間で行われる情報の送受信の過程を示すシーケンス図である。なお、図９ではサーバ２２に対して第１情報端末ＴＭ１によって検索処理の実行指示がなされた例を示している。以降、図９に図３、図４、図８を併用して検索処理が実行される過程について説明する。

第１情報端末ＴＭ１の使用者が検索の指示を行うと、第１情報端末ＴＭ１はサーバ２２に接続を行う（ＳＴ０９０１）。接続に成功すると、第１情報端末ＴＭ１はサーバ２２に、動画フィールド１３ｊに静止画として表示されている画像情報（以降、「特定のイベント画像５１」と呼称する）およびコマンド（ここでは、検索処理に対応したコマンド）を送信する（ＳＴ０９０２）。特定のイベント画像５１とコマンドとを受信したサーバ２２は、サーバ画像処理部２２ｅ（図３参照）によって特定のイベント画像５１に含まれる被写体から特徴量を抽出する（ここで利用する特徴量については後述する）。なお、第１情報端末ＴＭ１は特定のイベント画像５１の代わりに動画フィールド１３ｊに表示されているイベント画像５１のファイル名を送信してもよい。この場合、サーバ２２は送信されたファイル名に基づいて特定のイベント画像５１をサーバ記憶部２２ｃから抽出する。なお、特定のイベント画像５１は、ドアホン装置３で撮影された画像情報に限定されない。即ち、使用者は情報端末１３に備えられたカメラ（図示せず）で撮影された画像情報を特定のイベント画像５１の代わりに用いてもよい。この場合、使用者は端末入力部１３ｃを用いて利用する画像情報を指定する。

サーバ画像処理部２２ｅは、防犯装置６０から最新のイベント画像５１を取得する毎に、イベント画像５１（静止画）から被写体および特徴量を抽出し、サーバ記憶部２２ｃにイベント画像５１（動画）と関連付けて蓄積している。検索処理において、サーバ画像処理部２２ｅは第１情報端末ＴＭ１から受信した特定のイベント画像５１に基づく特徴量と、過去に蓄積しておいたイベント画像５１の特徴量とを比較して、過去に蓄積しておいたイベント画像５１のうち類似すると判断したものを抽出し、その抽出結果を蓄積する（ＳＴ０９０３）。この抽出結果には、イベント画像５１と時刻情報と機器情報（即ち、イベント情報）が含まれる。なお、特徴量を抽出する対象となる画像情報は、上述したＭＪＰＥＧ形式ファイルの全体であってもよいが、１つのファイルの複数フレームに検索対象となっている被写体が含まれている場合は、ＭＪＰＥＧ形式ファイルのうち被写体を最初に検出した１つのフレームを抽出してもよく、特定のイベント画像５１に対する類似度（後述する）が最も高いフレームを抽出してもよい。

そしてサーバ２２は、抽出したイベント情報を第１情報端末ＴＭ１に送信する（ＳＴ０９０４）。これを受信した第１情報端末ＴＭ１は、これを検索結果として表示する。即ち、図８に示すようにイベント画像５１と時刻情報と機器情報とを時系列に表示する。ここで、使用者が時系列に表示されたイベント画像５１のいずれかを選択すると、動画フィールド１３ｊには、選択されたイベント画像５１に対応した動画が再生される。即ち、使用者は、サーバ記憶部２２ｃに蓄積された過去の画像情報を動画として再生することができる。なお、検索結果の表示において、検索対象である被写体が撮影されたイベントの回数を併せて表示してもよい。

以降、サーバ画像処理部２２ｅで実行される特徴量の抽出、および類似するイベント画像５１を抽出する過程について説明する。サーバ画像処理部２２ｅでは、まず送信された特定のイベント画像５１から顔を検出する。顔検出の一般的な手法として、統計的学習に基づくパターン認識技術を用いることができる。この技術では、識別器のパラメータはあらかじめ与えた学習用サンプルを元に決定される。識別器として、例えばニューラルネットワークや、サポートベクターマシン、ベイズ推定等を用いた手法を利用することができる。

顔検出を行った後、サーバ画像処理部２２ｅは、所定の顔枠内に顔画像が収まるように画像サイズの正規化処理を実行する。この手法として、例えば、検出された顔枠に対して目の検出を行い、目の位置を元にして顔画像にアフィン変換を行い、顔を正規化する手法、あるいは、検出された顔枠に対してＡＡＭ（Active Shape Model）を適用し、顔枠にアフィン変換を行い、サイズを正規化する手法等を利用することができる。

顔画像のサイズを正規化した後、サーバ画像処理部２２ｅは顔画像の特徴量を抽出する。第１実施形態では、特徴量としてＧａｂｏｒ特徴量、あるいはＬＢＰ（Local Binary Pattern）を用いている。Ｇａｂｏｒ特徴量はｓｉｎ／ｃｏｓ関数をガウス関数で局在化したＧａｂｏｒフィルタによって抽出される。また、ＬＢＰ特徴量とは、注目画素とその周囲８画素との輝度値の比較を行って得たビット列を特徴量としたものである。そしてこれらの特徴量は一般に多次元の特徴量ベクトルを構成する。このように抽出した特徴量ベクトルを用いて、サーバ画像処理部２２ｅは第１情報端末ＴＭ１から受信した特定のイベント画像５１に基づく特徴量と、過去に蓄積しておいたイベント画像５１の特徴量との比較を実行し、類似度が高いイベント画像５１が抽出される。この際、双方の特徴量ベクトル同士のユークリッド距離を計算した値が類似度となり、サーバ画像処理部２２ｅはユークリッド距離が所定の値よりも小さい場合に双方の画像情報に含まれる被写体が類似すると判断する。

図１０は、不審者登録処理、家族登録処理を実行する際に、ドアホン装置３とサーバ２２と情報端末１３との間で行われる情報の送受信の過程を示すシーケンス図である。なお、図１０には、これらの登録処理が行われた後に、不審者等を検出する過程についても含まれている。なお、以下、主に不審者登録処理とこれに基づく不審者の検出処理の過程を、図１０に図１、図３、図４を併用して説明する。また、不審者登録は第１情報端末ＴＭ１で行うものとして説明するが、もちろん、どの情報端末１３で行われてもよい。

第１情報端末ＴＭ１の使用者が不審者登録処理を指示すると、第１情報端末ＴＭ１はサーバ２２に接続を行い（ＳＴ１００１）、接続に成功すると、第１情報端末ＴＭ１はサーバ２２に、不審者として登録する特定のイベント画像５１およびコマンド（ここでは、不審者登録処理に対応したコマンド）を送信する（ＳＴ１００２）。上述したように、ここでも特定のイベント画像５１に代えて対応するファイル名や他に指定した画像情報を送信してもよい。特定のイベント画像５１とコマンドとを受信したサーバ２２は、特定のイベント画像５１を蓄積するとともに、コマンドに対応して、サーバ画像処理部２２ｅで上述した画像処理を実行して特定のイベント画像５１に含まれる不審者の特徴量を抽出する（ＳＴ１００３）。

その後、ドアホン装置３がイベントを検出すると、ドアホン装置３は、サーバ２２に接続し（ＳＴ１００４）、イベントを送信し（ＳＴ１００５）、次いでイベント画像５１、メッセージＭ１、必要に応じて音声情報を送信する（ＳＴ１００６）。サーバ２２は、これらを受信してサーバ記憶部２２ｃに蓄積するとともに、ドアホン装置３から受信した最新のイベント画像５１に含まれる被写体の特徴量を抽出する（ＳＴ１００７）。

次に、サーバ２２は、イベントを複数の情報端末１３のそれぞれに送信する（ＳＴ１００６〜ＳＴ１００８）。そして、サーバ画像処理部２２ｅは、第１情報端末ＴＭ１から取得した特定のイベント画像５１に含まれる被写体の特徴量と、ドアホン装置３から取得した最新のイベント画像５１に含まれる被写体の特徴量とを照合し（ＳＴ１００９）、両被写体の特徴量が類似するか否かを判定して（ＳＴ１０１０）、類似すると判断した場合（ＳＴ１０１０でｙｅｓ）は、複数の情報端末１３に対して警報を送信する（ＳＴ１０１１〜ＳＴ１０１３）。

警報を受信した各情報端末１３は、ＳＴ１００６〜ＳＴ１００８で送信されたイベントに基づいてサーバ２２にアクセスして（ＳＴ１０１４、ＳＴ１０１６）、イベント画像５１とメッセージＭ１とを受信する（ＳＴ１０１５、ＳＴ１０１７）。そして、サーバ２２が提供するチャットサービスを利用して、相互にチャットを行って（ＳＴ１０１８〜ＳＴ１０２５）、適切な対応についてリアルタイムにコミュニケーションを図る。なお、情報端末１３の要求に対してサーバ２２がイベント画像５１等を送信する過程や、チャットに際してドアホン装置３とサーバ２２と複数の情報端末１３とで行われるやりとり（ＳＴ１０１４〜ＳＴ１０２５）は、図５を用いて説明したＳＴ５００８〜と同様であるので、詳細な説明は省略する。

このように使用者が不審者登録を行った場合は、各情報端末１３にはイベント画像５１と併せて使用者にとってより重大な情報である警報が提供されるため、使用者はより適切にリスク対応を図ることが可能となる。不審者登録に基づいて行われるチャットの例を図６（ｃ）に示す。図６（ｃ）では、イベント画像５１の被写体が不審者と判断され、タイムラインには時刻情報、機器情報と併せて「警報」である旨が明示される。なお、図６（ｃ）に示す表示に対して、使用者がイベント画像５１を選択すると、情報端末１３の端末表示部１３ａには、図８の個別イベント様式の画像が表示される。

図１０に示すシーケンス図では、情報端末１３で不審者登録を設定（特定のイベント画像５１を指定）した後に、ドアホン装置３から送信された最新のイベント画像５１に不審者が撮影されていると判断した場合、サーバ２２は直ちに警報を出力するようにしているが、サーバ画像処理部２２ｅにおいて、最新のイベント画像５１が得られる毎にイベント画像５１に不審者が含まれるか否かを検査し、イベントを単位として不審者が検出された回数を計数し（即ち、ＭＪＰＥＧ形式ファイルの個々のフレーム単位では不審者の検出回数を計数しない）、これが所定の回数を越えた場合にサーバ２２から警報を送信するようにしてもよい。

以上、不審者登録の内容および不審者登録を行った場合の処理について説明したが、家族登録（図８参照）を行った場合も、これと同様に行えばよい。即ち、情報端末１３から家族（例えば子供）が撮影された特定のイベント画像５１（またはこれに代替する画像情報）をサーバ２２にコマンド（家族登録）とともに送信しておく。サーバ２２はドアホン装置３から送信された最新のイベント画像５１および特定のイベント画像５１の被写体から特徴量を抽出して比較し、類似度が高い場合は家族と判断して、情報端末１３に通知を行う（ＳＴ１０１１〜ＳＴ１０１３）。家族登録に基づいて行われるチャットの例を図６（ａ）に示す。図６（ａ）では、ドアホン装置３から送信されたイベント画像５１の被写体と乙（即ち、特定のイベント画像５１の被写体）とが同一人物であると判断されている。これによって例えば家族等が帰宅したことを、外出先から容易に確認することができ、家族間のコミュニケーションを図ることができる。なお、家族登録を行った際の通知は、チャットを行うよう予め設定されている全ての情報端末１３に送信する必要はなく、サーバ２２にチャットを行う対象とは別に通知を行う情報端末１３を登録しておくようにしてもよい。

次に、自動監視機能について説明する。使用者は、防犯機能アイコン５２（図８参照）を用いて自動監視を指定することができる。上述したように、サーバ画像処理部２２ｅは、防犯装置６０から最新のイベント画像５１を取得する毎に、イベント画像５１（静止画）から被写体および特徴量を抽出し、サーバ記憶部２２ｃにイベント画像５１（動画）と関連付けて記憶している。

従って、サーバ画像処理部２２ｅは、防犯装置６０から次に最新のイベント画像５１を取得した際に、このイベント画像５１を特定のイベント画像５１として取り扱って、過去にサーバ記憶部２２ｃに蓄積されたイベント画像５１との間で特徴量を比較することができる。そして、比較結果に基づいて双方の被写体が類似すると判断した場合、上述のようにイベントを単位として同一被写体が検出された回数を計数し、これが所定の回数を越えた場合、サーバ２２は複数の情報端末１３に警報を送信する。情報端末１３は警報を受けた後に最新のイベント画像５１を受信する（図１０、ＳＴ１０１４〜ＳＴ１０１７を参照）。この場合も使用者は、イベント画像５１に基づいて相互にチャットを行ってリアルタイムコミュニケーションを図り、警報に対する措置を迅速に検討することができる。

このように自動監視機能を用いれば、使用者は不審者登録を行うことなく、自宅を頻繁に訪れる来訪者を把握することができる。また、使用者は、自動監視機能によって警報を受信した際に、最新のイベント画像５１を用いて上述した検索処理を実行することも可能である。なお、自動監視機能においては、上述した家族登録を行った際に送信した特定のイベント画像５１の被写体（即ち、ここでは家族である甲や乙）と類似する画像情報については比較対象から除外される。

以降、警告設定について説明する。使用者が図８の防犯機能アイコン５２を操作して警告設定を指定すると、上述した「警報」を受信した際における情報端末１３の動作を選択することができる。即ち、使用者は「警報」に対して、情報端末１３の呼出し音やバイブレーションのパターンを変更することや、端末表示部１３ａの画面の色を変更することができる。これによって、使用者は「警告」が発生したことを直感的（聴覚的、視覚的）に知ることができる。

以降、警告発信について説明する。使用者が図８の防犯機能アイコン５２を操作して警告発信を指定すると、動画フィールド１３ｊに表示されているイベント画像５１についてのイベント検出元の防犯装置６０に対して、所定の警告を行うよう指示することができる。即ち、情報端末１３によって防犯装置６０が遠隔操作される。この場合、情報端末１３は、サーバ２２に接続して所定のコマンドを送信する（図９のＳＴ０９０１、ＳＴ０９０２を参照）。このコマンドに応答して、例えばドアホン装置３であれば、親機スピーカ５ｂや子機スピーカ４ｃから警報音等を再生する。

（第２実施形態）
図１１は、第２実施形態のドアホン装置３の構成を示すブロック図である。第１実施形態では、防犯装置６０の１つであるドアホン装置３は、呼出しボタン４ｄの押下によってイベントを検出し、サーバ２２にイベント情報（イベント画像５１、時刻情報）を送信するに留まっていたが、第２実施形態では、ドアホン装置３は複数の情報端末１３との間でチャットを行うように構成されている。

図１１に示すように、第２実施形態のドアホン装置３は、第１実施形態の構成要素に加えて親機チャットクライアント処理部５ｉを更に備える。サーバ２２が提供するチャットサービスを親機５が利用する際に、親機チャットクライアント処理部５ｉはサーバ２２への対話開始要求を送信する。接続が成功すると、親機チャットクライアント処理部５ｉは、送信元ＩＤをメッセージとしてサーバ２２に送信し、次にチャットの内容であるメッセージ、即ちテキスト情報を作成しサーバ２２に送信する。このメッセージは、サーバ２２に送信先として登録されたすべての情報端末１３に折り返し転送される。また、親機チャットクライアント処理部５ｉは、逆に、複数の情報端末１３から送信されたチャットのメッセージを受信する。即ち、第２実施形態のセキュリティシステムでは、サーバ２２は防犯装置６０に対してチャットサービスを提供する。

また、第２実施形態において、親機音声処理部（音声処理部）５ｇは、基底周波数、音色、雑音レベルなどのパラメータを調整して波形を作り、人工的な音声を出力するいわゆるフォルマント合成処理（音声合成処理）を実行する。この音声合成処理によって、テキスト情報が音声情報に変換される。また親機音声処理部５ｇは、例えば隠れマルコフモデルを利用した音声認識処理を実行する。音声認識処理によって、来訪者の音声がテキスト情報に変換される。

図１２は、第２実施形態において、ドアホン装置３とサーバ２２と複数の情報端末１３との間で行われる情報の送受信の過程を示すシーケンス図である。以降、図１２に、図１、図３、図４を併用して説明する。ドアホン装置３は、来訪者による呼出しボタン４ｄの押下をイベントとして検出し、サーバ２２に対して接続を行う（ＳＴ１２０１）。接続に成功すると、ドアホン装置３はサーバ２２に対してイベントを送信し（ＳＴ１２０２）、更にイベント画像５１と必要に応じて音声情報とを送信する（ＳＴ１２０３）。サーバ２２は受信したイベント、イベント画像５１をファイルとしてサーバ記憶部２２ｃに蓄積する（ＳＴ１２０４）。

次に、ドアホン装置３はサーバ２２に対して対話開始要求を送信し（ＳＴ１２０５）、チャットの内容としてメッセージＭ１（テキスト情報）を送信する（ＳＴ１２０６）。これによってドアホン装置３は、サーバ２２によって提供されるチャットサービスに参加する。メッセージＭ１には上述した機器情報と時刻情報とに基づいて、複数の情報端末１３に表示されるべきチャットメッセージとしてのテキスト情報が含まれる。サーバ２２は受信したメッセージＭ１をサーバ記憶部２２ｃに記憶する（ＳＴ１２０７）。

次に、サーバ２２は、イベントを複数の情報端末１３のそれぞれに送信する（ＳＴ１２０８〜ＳＴ１２１０）。イベントを受信した情報端末１３は、それぞれサーバ２２への接続を行い（ＳＴ１２１１、ＳＴ１２１３）、イベントに対応したイベント画像５１とメッセージＭ１とを受信する（ＳＴ１２１２、ＳＴ１２１４）。各情報端末１３は、イベントとともに受信したイベント画像５１を端末記憶部１３ｄに保存する。

情報端末１３上で動作するアプリケーションソフトによって、メッセージＭ１を構成するテキスト情報は、第１情報端末ＴＭ１および第３情報端末ＴＭ３の端末表示部１３ａにイベント画像５１と併せて表示される。

その後、第１実施形態で説明したのと同様に第１情報端末ＴＭ１および第３情報端末ＴＭ３の間でチャットが行われるが（ＳＴ１２１５〜ＳＴ１２２１）、第２実施形態では、チャットの際に生成されたテキスト情報はドアホン装置３にも送信される（ＳＴ１２１９、ＳＴ１２２４）。

図１２は、第２実施形態において、複数の情報端末１３の端末表示部１３ａに表示される内容を示す説明図である。図１２において、甲は母親、乙はその子供を想定し、丙はドアホン装置３である。以降、図１２を併用して説明を続ける。情報端末１３の端末表示部１３ａには、図１２に示すように、来訪者がイベント画像５１として表示されており、このイベント画像５１に関連したチャットが行われている。

イベントが発生すると、上述したように、情報端末１３はドアホン装置３から送信されたイベント画像５１とともに、チャットの内容であるテキスト情報を取得し、タイムラインの最上部のテキストボックス５０には、メッセージＭ１の内容、即ち機器情報と時刻情報とが「ドアホンが反応しました」○○時○○分のように表示される。メッセージＭ１に対して、甲と乙とがテキストボックス５０にテキストを書き込んでチャットを行い、その後、甲が第１情報端末ＴＭ１に「音，どなたですか」のメッセージＭ１００を書き込むと、メッセージＭ１００はサーバ２２に送信されて（ＳＴ１２２２）蓄積される（ＳＴ１２２３）。サーバ２２が提供するチャットサービスによって、メッセージＭ１００は第３情報端末ＴＭ３およびドアホン装置３にも送信される（ＳＴ１２２４）。

このメッセージＭ１００の先頭部分（ここでは「音，」）は、予めドアホン装置３に登録されており、ドアホン装置３はチャットによって受信したテキスト情報の先頭に「音，」を検出すると、デリミタ"，"の直前部分がコマンドであると認識する。ここでは、「音」はデリミタより後ろのテキスト情報を音声情報への変換対象であることを意味する。このように、情報端末１３の使用者は、チャットサービスを利用してドアホン装置３に指示を与えることができる。

このコマンドに基づき、ドアホン装置３では解析が実行され（ＳＴ１２２５）、親機音声処理部５ｇはテキスト情報である「どなたですか」を音声情報に変換する。そして、音声情報はアナログ信号に変換されて子機スピーカ４ｃから再生される。なお、音声の再生を行った後、ドアホン装置３は実行したコマンドに関連して予め登録しておいた「音声を再生しました」のようなテキスト情報を出力して、情報端末１３との間でチャット（コマンド実行の報告）を行うことができる。なお、子機スピーカ４ｃから再生される音声等については、予めドアホン装置３に音声情報を記録しておき、情報端末１３から送信したコマンドに基づいて、これを再生するようにしてもよい。

子機スピーカ４ｃから再生された音声に来訪者が応対した場合、来訪者の音声は子機マイクロフォン４ｂを介してドアホン装置３に取り込まれる。玄関子機４の子機制御部４ｅによってディジタル化された音声情報は親機音声処理部５ｇに送られる。親機音声処理部５ｇでは、上述した音声認識機能によって音声情報をテキスト情報に変換する。このテキスト情報はチャットにおけるメッセージＭ１０１として、ドアホン装置３から第１情報端末ＴＭ１および第３情報端末ＴＭ３に送信される（ＳＴ１２２７、ＳＴ１２２８）。

このように、ドアホン装置３がチャットに直接参加することで、情報端末１３におけるユーザインタフェースが簡略化され、使用者はイベントの発生に対する措置を迅速に実行することが可能となる。更に、ドアホン装置３が音声合成と音声認識機能を備えることで、使用者と来訪者との間で実質的に会話を行うことが可能となる。更に、これらの会話は、テキスト情報に基づいてなされることから、情報端末１３の使用者が音声による会話が困難な状況に置かれていても、容易に行うことができる。

以上、本発明に係るセキュリティシステムについて特定の実施形態に基づいて詳細に説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、各実施形態では防犯装置６０としてドアホン装置３、窓センサ６、セキュリティカメラ７を例示し、主にドアホン装置３について説明したが、本発明はこれに限定されず、例えば施錠装置に応用することが可能である。また防犯装置６０は宅内に設置されることを要せず、自家用車等に設けられたものであってもよい。

また、上述した各実施形態では「防犯」に主眼をおいて説明したが、「何らかの異常な事象や状態」をイベントとして検出する検出装置を含むシステムについては、本発明をそのまま応用することが可能である。例えば、工場の製造ラインに設置された工程監視用のカメラがライン上を搬送される仕掛品に異常を検出したような場合や、入院患者の状態をモニタする機器が患者の容体について異常値を検出したような場合についても、本発明を応用することができる。即ち、情報端末１３の使用者は検出装置で検出されたイベントおよびイベント情報に基づき、イベントに関係する者との間で、煩雑な手間を要することなくリアルタイムコミュニケーションを図ることが可能となる。なお、上述した実施形態に示した各構成要素は必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係るセキュリティシステムは、防犯装置がセキュリティに関するイベントを検出した際に、そのイベントに関して、互いに遠隔の地に居る複数の使用者間で情報端末を用いてリアルタイムコミュニケーションを図り、イベントに適切に対応することが可能であることから、検出したイベントを送信可能な防犯装置を備えるセキュリティシステムに好適に適用することが可能である。

１ セキュリティシステム
３ ドアホン装置
４ 玄関子機
４ｄ 呼出しボタン
５ 親機
５ｇ 親機音声処理部（音声処理部）
５ｈ 親機通信処理部
５ｉ 親機チャットクライアント処理部
６ 窓センサ
７ セキュリティカメラ
１３ 情報端末
１３ａ 端末表示部
１３ｃ 端末入力部
１３ｈ チャットクライアント処理部
１３ｉ 端末通信処理部
２１ インターネット
２２ サーバ
２２ａ Ｗｅｂサーバ処理部
２２ｂ チャットサーバ処理部
２２ｅ サーバ画像処理部（画像処理部）
５０ テキストボックス
５１ イベント画像
５２ 防犯機能アイコン
６０ 防犯装置
ＴＭ１ 第１情報端末
ＴＭ２ 第２情報端末
ＴＭ３ 第３情報端末

Claims (10)

1. 予め定められたセキュリティに関するイベントを検出し、前記イベントおよび前記イベントに対応したイベント情報を出力する防犯装置と、
   個々の使用者がそれぞれ使用する複数の情報端末と、
   前記防犯装置から前記イベントおよびイベント情報を受信して、前記イベントを前記複数の情報端末に通知し、前記イベント情報を蓄積し、更に前記複数の情報端末にテキスト情報を用いたチャットサービスを提供するサーバと、を備え、
   前記複数の情報端末は、前記サーバから通知された前記イベントに基づいて前記サーバから取得した前記イベント情報と、前記チャットサービスによってやりとりされた前記イベント情報に関連する前記テキスト情報とを、時系列に配置して表示することを特徴とするセキュリティシステム。
2. 前記イベント情報は、時刻情報を含むことを特徴とする請求項１に記載のセキュリティシステム。
3. 前記イベント情報は、画像情報を更に含むことを特徴とする請求項２に記載のセキュリティシステム。
4. 前記サーバは、更に前記防犯装置に対してチャットサービスを提供し、
   前記防犯装置は、前記イベントが発生した後、前記イベント情報に関連するテキスト情報を前記チャットサービスによって送受信することを特徴とする請求項１ないし請求項３のいずれか１項に記載のセキュリティシステム。
5. 前記防犯装置は、前記チャットサービスによって受信したテキスト情報を音声情報に変換する音声処理部と、前記音声情報を再生するスピーカとを備えることを特徴とする請求項４に記載のセキュリティシステム。
6. 前記防犯装置は、更に音声情報を入力するマイクロフォンを備え、
   前記音声処理部は、前記マイクロフォンに入力された音声情報を前記テキスト情報に変換し、
   前記防犯装置は、前記チャットサービスによって、前記テキスト情報を前記複数の情報端末に送信することを特徴とする請求項５に記載のセキュリティシステム。
7. 前記情報端末は、使用者の指示に基づいて特定のイベント情報を指定する指定手段を備え、
   前記サーバは、画像処理部を備え、
   前記情報端末は、前記サーバに前記指定手段による指定内容を送信し、
   前記画像処理部は、前記指定内容に基づいて前記サーバに過去に蓄積された過去画像に対して前記特定のイベント情報の被写体が含まれるか否かを検査し、前記被写体が撮影された前記過去画像および前記過去画像に関連する情報を抽出し、
   前記サーバは、前記被写体が撮影された前記過去画像が存在する場合、前記複数の情報端末の少なくとも一つに対して、前記抽出の結果を通知することを特徴とする請求項３に記載のセキュリティシステム。
8. 前記情報端末は、使用者の指示に基づいて特定のイベント情報を指定する指定手段を備え、
   前記サーバは、画像処理部を備え、
   前記情報端末は、前記サーバに前記指定手段による指定内容を送信し、
   前記画像処理部は、前記特定のイベント情報が指定された後に、前記防犯装置から送信された最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似するか否かを検査し、
   前記サーバは、前記最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似する場合、前記複数の情報端末の少なくとも一つに対して、前記検査の結果を通知することを特徴とする請求項３に記載のセキュリティシステム。
9. 前記画像処理部は、前記最新のイベント情報の被写体と前記特定のイベント情報の被写体とが類似すると判定した回数を計数および記憶し、この計数結果が所定の回数を越えた場合、前記サーバは、前記複数の情報端末の少なくとも一つに対して警報を通知することを特徴とする請求項８に記載のセキュリティシステム。
10. 前記サーバは、画像処理部を備え、
    前記画像処理部は、前記イベント情報が得られる毎に前記イベント情報の被写体の特徴量を抽出して、過去に取得した前記特徴量との比較を行い、前記比較の結果に基づいて、前記被写体の出現頻度が予め定めた範囲を超える場合、前記サーバは、前記複数の情報端末の少なくとも一つに対して、警報を通知することを特徴とする請求項３に記載のセキュリティシステム。

Images