JP2016143302A - 情報通知装置、方法、およびプログラム - Google Patents

Abstract

【課題】カメラで捉えた通知対象者の通知先情報を簡便に特定する。
【解決手段】カメラが撮影した画像の解析結果から所定の事象を発見する事象発見手段と、事象毎にあらかじめ決められた通知対象者を特定する通知対象者特定手段と、事象が発見された画像が撮影された時刻の前後の時刻に撮影された画像を解析して、通知対象者があらかじめ決めた動きをしたかを識別する画像解析手段と、通知対象者を含む複数の者が保有する各端末のセンサによって記録されたセンサ情報から各端末を保有している者があらかじめ決めた動きをしたかを識別するセンサログ解析手段と、画像解析の結果として得られた行動内容および行動時刻と、同じ行動内容および行動時刻を示すセンサログを生成した端末を特定して、通知先の情報を取得する通知先取得手段と、通知対象者に通知する内容を決定するメッセージ生成手段と、通知先にメッセージを通知する通知手段と、を備える情報通知装置。
【選択図】 図２

Description

本発明は、画像の解析結果から所定の事象を発見した際に、所定の対象者に情報を通知する装置、方法およびプログラムに関する。

従来は、監視カメラの撮影画像を警備員や店員がチェックし、それらの人が現場へ行くことで、通知対象者に対して情報を通知していた。これに対し、例えば、人物が保持しているＲＦＩＤ（radio frequency identifier）タグの情報と当該人物を監視カメラでとらえた領域とを紐づけることで、誰がどういった行動をとったかを追跡する方法がある（例えば、特許文献１）。これにより、カメラ上で捉えた人物の特徴的な行動パターンを、当該人物と紐づけて記録したりすることができる。

特開２０１２−８８０２号公報

しかしながら、従来の方法は、比較的小規模な監視領域を想定しており、入り口でＲＦＩＤリーダーによる読み込みと、入り口で監視カメラによる撮影とを行うことで、両者の情報を紐づける。ここで「両者」とは、入り口で読み込まれたＲＦＩＤタグを持っている人物と、入り口で監視カメラによって撮影された人物とを意味する。しかし、入り口が明に設置されない商業施設や、人が絶えず大量に出入りするような大規模な公共機関などでは、ＲＦＩＤリーダーとそこを通過する人の画像との紐づけは難しい。

また、大量に人がいることで、正確に追跡し続けることも困難であり、長時間滞在すればそれだけロストする可能性も高くなると言える。ＲＦＩＤリーダーを入り口以外に設置する方法も考えられるが、その場合は、情報を通知したい対象者をカメラで発見してから、当該対象者がＲＦＩＤリーダーに近づき、かつその領域内でカメラが捉えている対象が十分に絞り込める程度の数でなければならない。

さらに言えば、現状では個人を識別する意図でＲＦＩＤタグの保持は普及をしているとは言い難く、タグを持たせ、管理することも課題である。以上より、施設の規模や人数が多くなるといったような場合は不向きであり、状況を選ぶ方法と言える。
そこで、本発明は、監視カメラを利用し、その利用状況によらず、ユーザが定常的に行うような一般的な行動特徴を見ることで、従来例のような制限なく、通知先を正しく特定する技術を提供することを目的とする。

上記目的を達成するため、本発明による情報通知装置は、
カメラが撮影した画像の解析結果から所定の事象を発見する事象発見手段と、
前記事象毎にあらかじめ決められた通知対象者を特定する通知対象者特定手段と、
前記事象が発見された画像が撮影された時刻の前又は後の時刻に撮影された画像であって、前記通知対象者が写っている画像を解析して、前記通知対象者があらかじめ決めた動きをしたかを識別する画像解析手段と、
前記画像解析手段が処理の対象とする時間およびカメラの画像を取得する画像取得手段と、
前記通知対象者を含む複数の者が保有する各端末のセンサによって記録されたセンサ情報から、各端末を保有している者が、あらかじめ決めた動きをしたかを識別するセンサログ解析手段と、
前記センサログ解析手段が処理の対象とする時間のセンサログを取得するセンサログ取得手段と、
センサログを生成した各端末に紐づけて登録されている通知先情報を取得する登録情報取得手段と、
前記画像解析手段の画像解析の結果と、前記センサログ解析手段のセンサログ解析の結果とを比較し、画像解析の結果として得られた行動内容および行動時刻と、同じ行動内容および行動時刻を示すセンサログを生成した端末を特定し、特定された端末に紐づく登録情報を取得して、前記通知対象者の通知先の情報を取得する通知先取得手段と、
前記事象発見手段が発見した前記事象について、前記通知対象者に対して通知する内容を決定するメッセージ生成手段と、
前記通知先取得手段が取得した前記通知先に対して、前記メッセージ生成手段が生成したメッセージを通知する通知手段と、
を備えることを特徴とする。

監視カメラで通知対象を発見した際、人が直接的に通知対象を同定・通知する作業を必要とせずに、通知対象に簡便に情報を通知できる技術を提供することができる。

実施形態１における情報通知装置の構成図である。 実施形態１における情報通知装置の機能ブロック図である。 実施形態１における全体的な処理の手順を示すフローチャートである。 実施形態１における通知先情報を取得する処理の手順を示すフローチャートである。 実施形態１における通知対象者の行動、発生時刻の例を示した図である。 実施形態１におけるセンサログの例を示した図である。 実施形態３における情報通知装置の構成図である。 実施形態３における通知対象者を特定する処理の手順を示すフローチャートである。 実施形態３における事象当事者、通知対象者の行動、発生時刻の例を示した図である。 実施形態３におけるセンサログの例を示した図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つであり、本発明の技術的範囲を制限するものではない。

［実施形態１］
本実施形態の情報通知装置を構成するコンピュータ装置の構成について、図１のブロック図を参照して説明する。情報通知装置は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続されている。

図１において、ＣＰＵ（Central Processing Unit）１０１はコンピュータ装置１００全体を制御する。ＲＯＭ（Read Only Memory）１０２は変更を必要としないプログラムやパラメータを格納する。ＲＡＭ（Random Access Memory）１０３は外部装置などから供給されるプログラムやデータを一時記憶する。

外部記憶装置１０４は、コンピュータ装置１００に固定して設置されたハードディスクや、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む。外部記憶装置１０４には、ＲＡＭ１０３での保持に向かないような大きなサイズの情報などが保存されるものとする。本実施形態においては、後述するカメラ１０６で撮影した画像データなどが該当する。

カメラコントローラ１０５は、カメラ１０６の状態を管理・制御し、同カメラで撮影した画像データを取得する。本実施形態では少なくとも、カメラ１０６が撮影した画像データを取得し、外部記憶装置１０４に同データを記録するものとする。カメラ１０６は、カメラコントローラ１０５からの制御入力を受け、カメラコントローラ１０５に対して撮影した画像データを出力可能である。

カメラコントローラとの接続の仕方は限定するものではなく、例えばＬＡＮなどで接続すれば良い。カメラ側が同接続のインタフェースを保有し、制御入力やデータ出力を行えれば良い。
サービスインタフェース１０７は、ユーザが保有する端末１１４の位置や動きを示すセンサ１１５の情報、および当該ユーザのプロファイル情報などを管理したり利用したりするサービス１０８との間のインタフェースである。

本実施形態では、ユーザが少なくとも３次元加速度センサを内蔵した端末１１４を保有し、当該センサ出力の取得・利用とユーザプロファイルの取得・利用をサービスに対して許諾していることを想定する。サービスインタフェース１０７を介してサービスに接続し、当該サービスから該センサ情報とプロファイル情報を、ユーザの当該サービスに対する情報開示許諾の範囲内で取得する。

ある商業施設内で利用可能な、センサ内臓の端末を貸与して保持させる場合や、ユーザの持つ汎用端末にアプリケーションの形で配布し、当該アプリケーション経由で情報を取得する場合などが考えられるが、いずれかに限定するものではない。さらに、そのセンサ情報についても、必ずしも３次元加速度センサのrawデータを取得する必要はなく、端末があらかじめセンサ情報を混合し、端末の動きを意味のある単位で提供する場合は、そういった情報であっても良い。

入力インタフェース１０９は、ユーザの操作を受けるポインティングデバイスやキーボードなどの入力デバイス１１０とのインタフェースである。出力インタフェース１１１は、カメラ１０６で撮影した画像やプログラムの実行結果を出力するためのモニタなどの出力デバイス１１２とのインタフェースである。
システムバス１１３は１０１〜１１２の各ユニットを通信可能に接続する。端末１１４は、各ユーザが保有する端末でありネットワークを介してサービス１０８に接続し、センサなどの情報を提供する。センサ１１５は端末に内蔵される３次元加速度センサなどのセンサである。

＜情報通知装置の基本構成＞
次に、図２の機能ブロック図を参照して、本実施形態の情報通知装置の基本構成について説明する。
本実例では、後述する各機能部は、ＣＰＵ１０１がＲＯＭ１０２に格納された各プログラムをＲＡＭ１０３に展開し実行することでその機能を実現する。ただし、本実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。また、ここに示す構成はハードウェアとソフトウエアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。

＜事象発見部＞
事象発見部２０１は、カメラ１０６が撮影した画像を解析しその解析結果から、情報通知のトリガとなる事象の発生を発見する。カメラで捉える事象とは、例えば、人が倒れた、手荷物を置き忘れた、手荷物を掏られた、迷子になっている、階段を回避したい、といったもの等が考えられる。

こういった事象の検出は、ユーザの特徴的な動き（パターン）の出現有無・出現順・頻度と、周囲の状況（コンテキスト）等から判別する。特徴的な動きは、一般的な施設利用者の動きをあらかじめ学習しておき、そうではない動きを行っている対象を判別した上で、その行動の詳細な特徴を解析する。一般的な利用者の動きについては、コンテキストによってその意味を判別するために、できれば、場所や時間帯毎に学習しておくことが望ましい。

なお、コンテキスを利用した判別のための知識（ルール）は、あらかじめ学習ないしユーザが初期情報として与えておく。階段の回避を例に挙げると、特徴的な動きとしては、立ち止まって顔向きを短い時間で何度も変えるような動作が該当候補となる。その上で、周囲の状況の情報としては、階段の近くである、当該人物は杖や車いすを利用している、あるいは年齢推定により高齢者と推定した、歩様が健常者とは異なるパターンを示している、などの確からしさを見て推定する。これらの情報はカメラで捉えた画像からの認識処理によって得る。

以上の要領で通知対象となる事象を発見する必要があるが、事象を発見する方法については、限定するものではない。事象を発見して、その内容と当事者を特定できれば良い。例えば、他の自動的な判別処理はもちろん、人が監視カメラ画像をチェックしておいて直接指示入力しても良い。

＜通知対象者特定部＞
通知対象者特定部２０２は、事象発見部２０１が発見した事象について、カメラ１０６が撮影した画像から、通知の対象を特定する。通知対象者は、事象の当事者（本人）の場合もあれば、関係者の場合もある。これは、発見する事象毎にあらかじめ決めておき、関係者であればカメラ１０６上で捉えた当該関係者を探す処理を実施する。本実施形態では、事象の当事者（本人）に通知する例を説明する。

＜通知先取得部＞
通知先取得部２０３は、通知対象者特定部２０２が特定した通知対象者に対応する通知先情報を取得する。通知先取得部２０３は、後述する２０６〜２１０の構成要素によって構成される。これらの要素を利用することで、後述する通知部２０５が通知するために必要な通知先情報を取得する。

＜メッセージ生成部＞
メッセージ生成部２０４は、事象発見部２０１が発見した事象、通知対象者特定部２０２が特定した通知対象者の属性、通知先取得部２０３が決めた通知先の確度等に応じた通知メッセージを生成する。
事象発見部２０１が発見した事象が階段の回避であれば、該当する階段の近くのエレベータやエスカレータを推奨するメッセージを生成する。
事象発見部２０１が、手荷物を置き忘れたり・掏られたりした可能性を発見した際は、素早くその気付きを与えるようなメッセージを生成する。

本実施形態では、こういったメッセージの定型を、事象や確度などにそれぞれ対応する形であらかじめ用意しておき、事象や確度などに応じてどのメッセージを使用するかを決定するものとする。例えば、通知先の確度が低い場合は、通知するメッセージの抽象度や隠ぺい度を上げることで、安全上問題のある情報が誤った通知先に通知された際の影響・リスクを低減する。なお、これらのメッセージは対話的な要素を持たせても良い。

複雑な対話を実現するのは困難であるが、発見できる事象が限定される本実施形態においては、通知したい内容はあらかじめ決まっていることが多い。従って、「はい・いいえ」や施設名や時間などの単語で答えられるような質問を中心とした、簡単な対話パターンをあらかじめ想定して通知を行うようにすれば良い。

＜通知部＞
通知部２０５は、通知先取得部２０３が取得した通知先に、メッセージ生成部２０４が生成したメッセージを通知する。本実施形態においては、ユーザが端末１１４を保有していることを想定しているので、当該端末に対する通知を行う。通知は起動中のアプリケーションに対する通知でも良いし、逆に当該アプリケーションがｐｕｌｌできる領域にデータを置くようにしても良い。あるいは、汎用的な電子メールの仕組みを利用した通知でも良い。

＜通知先取得部の構成要素＞
通知先取得部２０３に含まれる、画像解析部２０６、画像取得部２０７、センサログ解析部２０８、センサログ取得部２０９および登録情報取得部２１０の各構成要素について説明する。

＜画像解析部＞
画像解析部２０６は、通知対象者特定部２０２が特定した時点に、カメラ１０６が対象者を撮影した画像を起点として、当該画像の前後に時間を広げながら、当該広げられた時間の画像を解析し、ある行動の状態の発生を判別する。本実施形態においては、判別する行動は、「移動⇒停止への移行」および「停止⇒移動への移行」であるものとする。後述する画像取得部２０７が、前記起点の画像の前後の画像を取得した上で、対象者を追尾する。
「移動⇒停止への移行」、「停止⇒移動への移行」などの所定の行動が行われた時刻を「行動時刻」とも記載する。

追尾判定については、人体の検出結果を連続する時間の画像フレームに依存関係を踏まえた領域移動の連続性を見る。人体検出に失敗する時間が続くような場合は、その先の追尾の確度は低いので、通知先対象であるかの判定を行うには不向きであるため、追尾できた範囲で処理を行う。移動⇒停止、および停止⇒移動の判別は、ある閾値以上の時間、同位置に人体があるか否か等から判別すれば良い。少なくとも、後述するセンサログで判別可能である時間幅以上で、閾値は設定すれば良い。

なお、十分な精度を出す場合は、閾値を長くする。これにより、行動の出現機会は減るが、センサでの移動と停止の判断が難しいケースを除外でき、同一の行動をセンサログ上で判別する対象も減るため、精度の向上が見込める。通知する内容がより確実に対象者に到達する必要があるかどうかによって、すなわち必要な精度に応じて、閾値を設定しても良い。また、発見した行動に応じて動的に閾値を決めても良い。

なお、通知対象はカメラ１０６が一台で撮影可能な範囲を超えて移動することも考えられる。この場合は、複数のカメラ間の撮影範囲の関係をあらかじめ定義しておき、通知対象を捉えているカメラを同定し、当該カメラの画像を処理対象とする。この際、撮影の角度の変化の影響などから、必ずしも追尾しきれないこともある。その場合は、人体領域の検出失敗時と同様、処理対象としないようにする。

＜画像取得部＞
画像取得部２０７は、画像解析部２０６での処理の要求に応じて、外部記憶装置１０４に保存してある画像データを取得してくる。カメラをまたがった追尾も考えられるので、前記事象を撮影したカメラ以外のカメラであって、画像解析部２０６によって指定されたカメラが撮影した画像も取得し得る。

＜センサログ解析部＞
センサログ解析部２０８は、ユーザが保持する端末のセンサ情報のログを解析して、その時のユーザ行動を推定する。ここでは、画像解析部２０６が行動を発見した時刻の近傍のセンサログを、後述するセンサログ取得部２０９が取得したものを解析対象とする。本実施形態においては、解析するセンサデータは、後述するセンサログ取得部２０９が、サービス１０８からサービスインタフェース１０７を経由して取得する。

先に述べた通り、センサデータの形式については端末から取得できるデータの形式で良く、当該データの行動時の特徴をあらかじめ学習しておくことで行動発生の判別を行う。簡単な方法としては、３次元加速度センサデータを解析し、一般的な歩数計などで行われているような加速度センサを利用した歩数計測の方法を利用して、歩行中と停止を判別する等しても良い。

すなわち、通常の歩行時に計測される、重力加速度の３〜５倍程度の加速度変化を監視し、一定期間の該加速度変化が規則的に行われていることを検知した場合は、移動（歩行）しているとみなす。そして、それ以外は停止しているとみなす、といった方法で行えば良い。商品としてのパッケージ化が進んでおり導入が容易ということで歩数計を例に挙げたが、これに限定するものではない。
ここでは歩数をカウントできる必要はないので、重力方向に対して垂直な方向に働く加速度の変化を捉えて、移動⇒停止ないし停止⇒移動であることを推定しても良い。

＜センサログ取得部＞
センサログ取得部２０９は、センサログ解析部２０８が処理するセンサログデータを取得する。本実施形態では、前述したとおり、サービス１０８にユーザ端末上のセンサ情報は登録されており、そこから取得するものとする。

＜登録情報取得部＞
登録情報取得部２１０は、通知先取得部２０３が、カメラ上の行動と、センサ上の行動とが同時に生じているセンサデータの生成元を絞り込んだ際に、当該センサデータに紐づくユーザの登録情報を取得する。本実施形態においては、通知部２０５はユーザ端末上で動作中のアプリケーションに対して通知を行うので、登録情報としてユーザが保持している端末の識別情報を含むものとする。これにより、通知先取得部２０３は当該識別情報を出力する。

次に、本実施形態の情報通知装置における処理の手順について、図３および図４のフローチャートを参照して説明する。
＜全体的な処理の流れ＞
図３のフローチャートを参照して、２０１〜２０５各部による全体的な処理の流れを説明する。

ステップＳ３０１では、事象発見部２０１が、カメラで撮影した画像を外部記憶装置から取得して、事象発生の有無を判別処理する。
ステップＳ３０２では、ステップＳ３０１の処理結果として、事象を発見できた場合に、ステップＳ３０３へ移行する。発見できない間はステップＳ３０１に戻って、引き続き画像からの事象の判別処理を継続する。

ステップＳ３０３では、通知対象者特定部２０２は、事象発見部２０１が発見した事象に応じた通知対象者を特定する。本実施形態においては、通知対象者は事象の当事者本人とする。例えば、「手荷物を置き忘れた」という事象が発見されたら、通知対象者は手荷物を置き忘れた本人とする。

ステップＳ３０４では、通知対象者に対する通知先情報の取得処理を実施する。本ステップの処理の詳細は図４のフローを参照する形で後述するが、本実施形態においては、通知先情報として、通知対象者の保有する端末を識別する情報を取得する。

ステップＳ３０５では、ステップＳ３０４で通知先情報が取得できたかどうかによって処理を分岐させる。通知先情報が取得できた場合は、ステップＳ３０６へ移行する。通知先情報が取得できなかった場合は、ステップＳ３０８の例外処理へ移行する。

ステップＳ３０６では、メッセージ生成部２０４が、ステップＳ３０１で発見された事象や、ステップＳ３０３で特定された通知対象者といった状況に応じた通知メッセージを生成する。

ステップＳ３０７では、通知部２０５が、ステップＳ３０３で特定された通知先情報を元に、ステップＳ３０６で生成されたメッセージを通知し、本フローを終了する。本実施形態では、通知先情報として、端末の識別情報を取得したので、当該端末上のアプリケーションに対して情報を通知する。

ステップＳ３０８では、通知先情報が取得できなかった場合の例外処理を行う。例えば、本装置を利用した通知はあきらめて、一般的な係員に通知を促すような処理となる。なお、例外処理も発見した事象などによって変えても良く、例えば、緊急度や危険度の高い事象を発見した場合は、係員に通知を促すようにし、商業施設からの商品の推薦などを通知すべき事象を発見した場合は、なにもしないで終了しても良い。

次に、図４のフローを参照して、通知先取得部２０３における、通知先情報を取得する処理の流れを説明する。
ステップＳ４０１では、ステップＳ３０３で特定に利用した通知対象者を含む撮影画像を起点画像として取得する。当該画像と共に、画像の属性情報として撮影時刻情報、撮影したカメラの情報（例えば、識別番号、位置）なども合わせて取得しておく。

図５を用いて補足する。図５において５０１は時間の流れを示しており、ｔ０が現在、ｔ−１、ｔ−２はそれぞれｔ０から見て前の時刻であり、ｔ１はｔ０からみて後の時刻である。
５０２は各時刻における通知対象者の行動であり、５０４のユーザの行動によって事象の発生を発見する。通知対象者の行動をカメラ５０３が撮影している。カメラ５０３は図１の構成要素であるカメラ１０６のうちの一つである。図５に示す例では、本ステップにおいて、起点画像は時刻ｔ０に撮影され、かつ、カメラ５０３によって撮影された旨の情報を合わせて取得する。

ステップＳ４０２では、ステップＳ４０１で取得された画像中における、通知対象者の領域情報を取得する。領域情報は、画像中の座標情報（例えば、通知対象者が含まれる矩形領域の左下頂点座標と右上頂点座標）などで良い。ただし、カメラ１０６が画角を変えられる場合は座標情報では追尾ができないので、当該画角の変化に応じて座標の変換をする必要がある。本実施形態では画角の変化はないものとする。

ステップＳ４０３では、画像取得部２０７が、ステップＳ４０１で取得した起点画像の直前に撮影された画像を取得する。追尾が続く限りこの処理は繰り返すことになる。図５の例で言えば、ｔ−１、ｔ−２の方向に時間を遡って画像を取得する。

ステップＳ４０４では、画像取得部２０７が、ステップＳ４０１で取得した起点画像の直後に撮影された画像を取得する。追尾が続く限りこの処理は繰り返すことになる。図５の例で言えば、ｔ１の方向に時間を追って画像を取得する。

ステップＳ４０３とステップＳ４０４の分岐は、起点画像を中心として、時間範囲を前後に拡大しながら、通知対象の追尾を行うことを意味している。
ステップＳ４０５では、画像解析部２０６が、ステップＳ４０３ないしステップＳ４０４で取得した画像において、追尾に失敗していないかを判定する。失敗している場合は、登録情報を取得できなかったとして、処理を終了する。成功している間は、ステップＳ４０６へ移行する。

ステップＳ４０６では、画像解析部２０６が、ステップＳ４０３ないしステップＳ４０４で取得した画像中の追尾対象が、あらかじめ定めた特徴的な行動を行ったかどうかを判別する。特徴的な行動を発見した場合は、ステップＳ４０７へ移行する。発見できない場合は、ステップＳ４０３ないしステップＳ４０４へ移行して、次の画像の取得を繰り返す。

ステップＳ４０７では、画像解析部２０６が、発見した画像の撮影時刻を取得する。本実施形態での特徴的な行動は、上述した通り、「停止⇒移動への移行」および「移動⇒停止への移行」であり、それらの行動が５０２に示したものである。この行動の発生をステップＳ４０６で判別し、その発生時刻、すなわちｔ−２、ｔ−１、ｔ１といった時刻を、ステップＳ４０７で取得する。

ステップＳ４０８では、ステップＳ４０７で取得された時刻の近傍のセンサデータを、センサログ取得部２０９が取得する。
ステップＳ４０９では、センサログ解析部２０８が、ステップＳ４０８で取得されたセンサログについて、ステップＳ４０６で発見された特徴的な動きと同等の動きが行われているものをフィルタリングする。

図６を用いて補足すると６０１は、端末毎のセンサログデータを表している。説明上、別々のデータとして存在するように記載しているが、端末毎にデータを区別して処理可能であれば、データの持ち方については限定しない。６０２は、図５における時刻ｔ−１と同じ時刻を示している。

６０３、６０４はそれぞれ、端末ａと端末ｘにおける、時刻ｔ−１の近傍のセンサデータであり、ステップＳ４０８で取得される。このうち６０３にはカメラによって発見された動きと同等の動きを示すセンサデータが含まれているとすると、端末ａはｔ−１に関するフィルタリングでは残ることになる。一方、６０４にはカメラによって発見された動きと同等の動きを示すセンサデータが含まれていないとすると、ｔ−１に関するフィルタリングでは端末ｘは残らない。

なお、ステップＳ４０７で取得された時刻の近傍のデータは、識別したい行動ごとに必要量が異なる。対象となる行動の画像上での発生時間幅を利用して動的に決めても良いし、あらかじめ決めておいても良い。その上で、隠れマルコフモデルなどの、時間伸縮を含んだパターンの識別手法を利用して識別するなどすれば良い。

ステップＳ４１０では、ステップＳ４０９でフィルタリングされた結果、センサデータが絞り込まれているかどうかを判定する。絞り込めている場合は、ステップＳ４１１に移行する。絞り込めなかった場合は、ステップＳ４０３ないしステップＳ４０４へ移行する。なお、絞り込めなかった場合は、ステップＳ４０９での処理は、直前までの絞り込み結果との論理積を取ってフィルタリングする。

すなわち、起点の画像から時間を拡大して取得した画像において、画像上の行動と、センサデータ上の行動とが、より多く、同じタイミングで一致しているものに絞り込んでいく。図６ではｔ−１について端末ａが残ったが、当該端末ａの時刻ｔ＋１やｔ−２におけるセンサログでも、同等の行動が発生していれば、それらの時刻に関するフィルタリングでも残り、それぞれの結果の論理積を取って端末ａが残ることになる。

なお、このとき、一人のセンサデータに絞り込めた場合であっても、より確度を上げる場合には、ここでの判定をｎｏとするように処理しても良い。すなわち、十分な確度を得るまで絞り込めたと判定しないようにしても良い。例えば、ある一つの行動でセンサデータが絞り込めてしまった場合に、過去に遡ったところで一致しない場合が多くみられるのであれば、それは絞り込めたことにはならない、といった判定であっても良い。
画像解析部およびセンサログ解析部が処理するデータの時間範囲を拡大して結果の比較により確度を更新し、例えば、複数の行動において同一人物のセンサデータに絞り込まれて確度が閾値を超えたら、ここでの判定をｙｅｓとするようにしても良い。

具体的には、事象毎にあらかじめ定めておいた必要回数以上の一致が見られた場合で、かつ、あらかじめ定めておいた必要数以内のセンサデータに絞り込めた場合に、Ｓ４１０で絞り込めたと判定するようにする。
ステップＳ４１１では、登録情報取得部２１０が、当該センサデータに紐づいた登録情報を取得し、処理を終える。図６の端末ａのセンサデータが残ったとすれば、端末ａについての登録情報を取得する。

以上より、監視カメラ等で撮影した画像から特定した通知対象者に対して、店員や警備員などの人が直接的に実世界上の通知対象者を探し、通知するといった面倒な作業を必要とせずに、自動的に通知することができる効果が得られる。また、本実施形態においては、一般的にユーザが保有している端末とそのセンサを利用しており、かつ、通常行われる単純な行動を対象として処理を行っている。これにより、そういった単純な行動を識別する仕組みと、センサログを取得する仕組みを設けるだけで、監視カメラを設置記録できる既存の環境において、容易に適用できる利点もある。

［実施形態２］
上記実施形態１における、ステップＳ４０３とステップＳ４０４は、並列で処理を行っても良い。すなわち、Ｓ４０３〜Ｓ４１０までの処理を並列で行い、判定を抜けるまで繰り返す。なお、この際にＳ４１０で絞り込んだセンサデータを、各々のステップで次の処理対象として利用することで、処理の対象を限定していくようにしても良い。これにより、より高速に登録情報を取得できる効果が得られる。
例えば、時刻ｔ−１については端末ａ，ｂ，ｃ〜ｘのセンサデータを取得し、フィルタリングした結果、端末ａ，ｂ，ｃが残ったとする。この場合、時刻ｔ−２については端末ａ，ｂ，ｃのセンサデータのみを取得し、端末ｄ〜ｘのセンサデータは取得せずに、フィルタリングを行う。

［実施形態３］
上記実施形態１では、通知対象者特定部２０２において、事象発見部２０１で発見した事象の当事者（本人）を通知対象者とする例を述べたが、事象の当事者の関係者が通知対象者であっても良い。例えば、事象発見部２０１で発見した事象が、迷子だった場合を考える。迷子かどうかの判別は、実施形態１と同様に、一般的な施設利用者の動きを学習しておき、そうではない動きを行っている対象を判別した上で、その行動の特徴と様々な周辺状況から推定する。

事象発見部２０１が発見の対象とする行動特徴としては、何かを探すような行動を繰り返すものが重要な成分であり、すなわち、顔向きを短い時間で何度も変えるようなものは該当候補である。加えて、周辺の状況としては、事象の当事者の画像的な特徴から推定した年齢が若いほど確度を上げ、周囲に人がある程度密集しているといった点等を識別のために利用する。
このような場合は、その関係者（親）と思われる人物を通知対象者とするため、通知対象者特定部２０２は当該通知対象者を画像上で特定する処理を行う。

図７を用いて実施形態３の情報通知装置を説明する。図２に示した実施形態１の情報通知装置と、図７に示す実施形態３の情報通知装置の違いは以下のとおりである。
図７に示すように、実施形態３の通知対象者特定部７０２は、画像解析部７０６と画像取得部７０７とを有する。

画像解析部７０６は、事象発見部２０１が事象を発見した時点に、カメラ１０６が事象当事者を撮影した画像を起点として、当該画像の前後に時間を広げながら、当該広げられた時間の画像を解析し、事象当事者とその周辺の人物の行動の内容を判別する。
画像取得部７０７は、画像解析部７０６での処理の要求に応じて、外部記憶装置１０４に保存してある画像であって、事象当事者が写っている画像のデータを取得してくる。画像取得部７０７も、画像取得部２０７と同様に、カメラをまたがった追尾に対応し得る。

図８を用いて実施形態３の情報通知装置が通知対象者を特定する処理を説明する。図３に示した実施形態１のステップS３０３では事象に応じた通知の対象者として事象当事者を特定するため、情報通知のトリガとなる事象を撮影した画像に通知対象者が写っている。
つまり、図３のステップS３０２で事象を発見したら、すぐにステップＳ３０３で通知対象者を特定することができ、すぐにステップＳ３０４へ移行し、すなわち図４のステップＳ４０１へ移行して通知対象者を撮影した起点画像を取得することができる。
一方、実施形態３では、事象当事者と通知対象者とは別人であり、事象を発見した画像に通知対象者は写っていない場合を想定しているため、図３のステップＳ３０３に相当する処理として、図８に示す処理を行う必要がある。

図８のステップＳ８０１では情報通知のトリガとなる事象を撮影した画像を取得する。
ステップＳ８０２では、ステップＳ８０１で取得された画像中における、事象当事者が写っている領域の情報を取得する。
ステップＳ８０３では時間を遡って事象当事者を含む画像を取得し、ステップＳ８０４では時間を追って事象当事者を含む画像を取得する。実施形態２と同様に、ステップＳ８０３とステップＳ８０４とを並列に処理しても良い。
ステップＳ８０５では、画像解析部７０６が、ステップＳ８０３またはステップＳ８０４で取得した画像において、事象当事者の追尾に失敗していないかを判定する。失敗している場合は、処理を終了する。失敗していない場合は、ステップＳ８０６へ移行する。

ステップＳ８０６では、画像解析部８０６が、ステップＳ８０３またはＳ８０４で取得した画像中の追尾対象（事象当事者）の周辺に写っている人物を解析し、通知対象者である可能性を有する者（以下、「通知対象候補者」とも記載する）かを判別する。通知対象候補者か否かを判別する基準（例えば、画像から推定される年齢、性別など）は事象に応じて予め決めておく。
ステップＳ８０７では、通知対象候補者を発見した場合は、ステップＳ８０８へ移行する。発見できない場合は、ステップＳ８０３またはＳ８０４へ移行して、次の画像を取得する。

ステップＳ８０８では、事象当事者および通知対象候補者の動きを解析し、通知対象候補者が通知対象者かを判別する。通知対象者か否かを判別する基準（例えば、画像から推定される年齢、性別や、事象当事者と通知対象候補者との間でのやりとり、事象当事者の服装、持ち物と通知対象候補者の服装、持ち物との類似性、関連性など）は事象に応じて予め決めておく。

ステップＳ８０９では、通知対象者を特定できた場合は図８の処理（図３のステップＳ３０３に相当）を終了し、図３のステップＳ３０４へ移行し、すなわち図４のステップＳ４０１へ移行する。発見できない場合は、ステップＳ８０３またはＳ８０４へ移行して、次の画像を取得する。

実施形態３においても、通知対象者を特定できた後の処理は、実施形態１と同様である。
ただし、本実施形態では前記の如く、通知対象者が事象の当事者ではなく、その当事者の関係者である。
この場合、通知先取得部２０３の構成要素である画像取得部２０７が取得する画像は、事象の当事者の関係者が写っている画像であれば良く、事象の当事者が写っている画像である必要はない。
同様に、画像解析部２０６が解析する画像は、その当事者の関係者が写っている画像であれば良く、事象の当事者が写っている画像である必要はない。

＜通知対象者の特定＞
具体的には、事象を捉えたカメラ１０６の画像が撮影された時刻を起点に、時間を遡って取得して、迷子を追尾しつつ、その周辺の人物について解析する。処理の内容としては、過去の時刻の画像において、迷子と行動を共にしている人物であって、画像上でコミュニケーション（会話や手をつなぐなど）と推定される行動を迷子と取っている人物であれば確度を上げるといったことから、通知対象者を特定する。
迷子と行動を共にしているかどうかは、追尾して捉えた周辺の人物を人体検出などの処理によって抽出し、当該人物が十分に長い時間、迷子との距離が一定以内であるような対象を探索する。

＜通知先の取得＞
迷子と行動を共にしている画像などに基づいて通知対象者を特定した後は、画像を解析して得られる画像中の通知対象者の行動と、多数の端末に対応するセンサログを解析して得られる端末を保持している者の行動とを比較して、通知先を取得する。前記の如く、実施形態３においても、通知対象者を特定した後の処理は、実施形態１と同様である。

図９を用いて補足する。図９において９０１は時間の流れを示しており、ｔ０が現在、ｔ−１、ｔ−２、ｔ−３、ｔ−４はそれぞれｔ０から見て前の時刻であり、ｔ１はｔ０からみて後の時刻である。

図８のステップＳ８０１は、図９の時刻ｔ０に対応し、時刻ｔ０のユーザの行動によって事象の発生を発見する。事象当事者９０４の行動をカメラ９０３ａが撮影している。カメラ９０３ａは図１の構成要素であるカメラ１０６のうちの一つである。

ステップＳ８０３では、画像取得部８０７が、ステップＳ８０１で取得した画像の直前に撮影された画像を取得する。追尾が続く限りこの処理は繰り返すことになる。図９の例で言えば、ｔ−１、ｔ−２の方向に時間を遡って画像を取得する。

ステップＳ８０４では、画像取得部８０７が、ステップＳ８０１で取得した画像の直後に撮影された画像を取得する。追尾が続く限りこの処理は繰り返すことになる。図９の例で言えば、ｔ１の方向に時間を追って画像を取得する。
ステップＳ４０３とステップＳ４０４の分岐は、ステップＳ８０１で取得した画像を中心として、時間範囲を前後に拡大しながら、追尾対象（事象当事者９０４）の追尾を行うことを意味している。

ステップＳ８０５では、画像解析部８０６が、ステップＳ４０３ないしステップＳ４０４で取得した画像において、事象当事者９０４の追尾に失敗していないかを判定する。失敗している場合は、登録情報を取得できなかったとして、処理を終了する。成功している間は、ステップＳ８０６へ移行する。

ステップＳ８０６では、画像解析部８０６が、ステップＳ８０３またはＳ８０４で取得した画像中の追尾対象（事象当事者９０４）の周辺に写っている人物９０５を解析し、通知対象候補者かを判別する。通知対象候補者か否かを判別する基準（例えば、画像から推定される年齢、性別など）は事象に応じて予め決めておく。
ステップＳ８０７では、通知対象候補者を発見した場合は、ステップＳ８０８へ移行する。発見できない場合は、ステップＳ８０３またはＳ８０４へ移行して、次の画像を取得する。

ステップＳ８０８では、事象当事者９０４および人物９０５（この時点では、通知対象候補者）の動きを解析し、通知対象候補者が通知対象者かを判別する。

ステップＳ８０９で、人物９０５が通知対象者であると特定できた場合は、図８の処理（図３のステップＳ３０３に相当）を終了し、図３のステップＳ３０４へ移行し、すなわち図４のステップＳ４０１へ移行する。発見できない場合は、ステップＳ８０３またはＳ８０４へ移行して、次の画像を取得する。

本実施形態では、図４のステップＳ４０１で、事象当事者９０４と通知対象者と特定された人物９０５とが写っている時刻ｔ−３の画像を起点画像として取得する。
ステップＳ４０２で、時刻ｔ−３の画像から人物９０５が写っている領域を取得する。
ステップＳ４０４で、時間を追って人物９０５が写っている画像（時刻ｔ−２、時刻ｔ−１および時刻ｔ０に、カメラ９０３ｂが撮影した画像）を取得する。
そして、時刻ｔ−２、時刻ｔ−１および時刻ｔ０に、カメラ９０３ｂが撮影した画像を解析して得られる人物９０５の各時刻における行動内容と、同様の行動内容を対応する時刻に含むセンサログを、複数のセンサログの中から探し出す。探し出されたセンサログに紐づけられている登録情報から通知先（例えば、人物９０５のｅ−ｍａｉｌアドレス）を取得する。

なお、本実施形態のようなケース（事象当事者は迷子であり、画像から通知対象者と特定された者が保護者ではない可能性があるケース）では、通知メッセージにも配慮が必要である。確実に関係者を同定できるわけではなく、推定の域を出るものではないため、いきなり詳細に子供の迷子情報を通知するのは、安全面からも問題がある。

よって、まずは、子供が迷子になっていないかの注意を喚起するようなメッセージを送り、近くの案内センターや係員へ誘導するようなメッセージを対話的に送るなどして、確認や次の行動を促すような通知を行う。その後、最終的に当該人物が確かに迷子の関係者であることを確認できた段階で、詳細な情報を提供したり、保護した子供と引き合わせたりするような運用が必要である。

［実施形態４］
上記実施形態１における端末のセンサログは、同端末で動作するアプリケーションによって常にアップロードされている必要はない。一定間隔や一定量でまとめてアップロードしたり、事象発見部２０１で事象を発見した場合に、ある時刻部分だけ送るよう端末に指示したりするようにしても良い。不要なトラフィックや端末での負荷を抑える効果が得られる。

［実施形態５］
上記実施形態１におけるサービスは、ユーザ行動収集・利用を行う汎用の外部サービスであっても良い。当該サービスで獲得したユーザ端末のセンサログ情報を、サービスインタフェース１０７を介して獲得しても良い。これにより、より汎用的なサービスに対する情報提供の一環として、本発明を適用できるようになり、センサログの提供や、端末へのアプリケーション導入といった前提部分を実現しやすくなる。

［実施形態６］
上記実施形態においては、センサ１１５として、端末の動きを、保有しているユーザの動きとして捉えるため３次元加速度センサを想定したが、これに限るものではない。ユーザのカメラ上での行動と紐づけが可能なセンサ情報であれば良いため、ユーザの生体情報などのセンサであっても良い。例えば、ユーザの心拍や血圧を検知可能なセンサを内蔵し、当該センサをユーザが利用している場合、監視カメラ上で対象ユーザが急激に大きな動きを取った場合と、心拍や血圧の上昇とを対比して、対象ユーザを推定しても良い。

ただし、汎用的な端末を保持するだけでは獲得できる情報は限られ、一方で専用端末を保持する場合は保持する利用者が限られることも考えられるため、こういった情報だけでは絞り込めない可能性が高い。実際の運用上は、実施形態１で想定したような、端末を介したユーザの移動の情報などと併用することで、確度を上げるための情報として利用するといった利用の仕方が望ましい。

［実施形態７］
上記実施形態においては、サービス１０８で獲得したセンサログ全体を解析対象としたが、位置情報を利用して、解析対象のログを絞り込んでも良い。この場合は、端末ないし端末保有者が位置情報を特定可能なセンサを有しており、時刻毎の端末の位置座標が判明している必要がある。加えて、カメラ１０６が撮影範囲としている領域の座標情報もあらかじめ分かっている必要がある。
実施形態７の情報通知装置は、実施形態１の情報通知装置が備える構成要素に加えて、各カメラの撮影範囲のおよその位置を取得する撮影範囲取得部（図示せず）をさらに備える。
また、画像解析部は、通知対象者の行動内容および行動時刻と共に撮影範囲を取得し、センサログ解析部は、端末を保有する者の行動内容および行動時刻と共に行動位置を取得する。

両者が分かっている場合は、事象を捉えたカメラ１０６が撮影可能な範囲内にあるか否かによって、センサログ解析部２０８において処理対象とするセンサログを限定しても良い。これによって不要な解析処理を抑制し、素早く通知対象者のセンサログを絞り込むことができる効果が得られる。

図１０を用いて実施形態７の内容を具体的に説明する。
センサログ１０１１は、時刻ｔ−１における、端末ａのセンサログであり、
センサログ１０１２は、時刻ｔ−１における、端末ｂのセンサログであり、
センサログ１０１３は、時刻ｔ−１における、端末ｃのセンサログである。
そして、
センサログ１０１１は、時刻ｔ−１に、端末ａがエリアＢに位置し、
センサログ１０１２は、時刻ｔ−１に、端末ｂがエリアＢに位置し、
センサログ１０１３は、時刻ｔ−１に、端末ｃがエリアＢに位置したことを示している。
そして、時刻ｔ−１に通知対象者を捉えたカメラ１０６の撮影可能な範囲がエリアＢであるとすると、センサログ１０１１、１０１２、１０１３は全てセンサログ解析部２０８の処理対象となる。

次に、
センサログ１０２１は、時刻ｔ−２における、端末ａのセンサログであり、
センサログ１０２２は、時刻ｔ−２における、端末ｂのセンサログであり、
センサログ１０２３は、時刻ｔ−２における、端末ｃのセンサログである。
そして、
センサログ１０２１は、時刻ｔ−２に、端末ａがエリアＡに位置し、
センサログ１０２２は、時刻ｔ−２に、端末ｂがエリアＡに位置し、
センサログ１０２３は、時刻ｔ−２に、端末ｃがエリアＣに位置したことを示している。
そして、時刻ｔ−２に通知対象者を捉えたカメラ１０６の撮影可能な範囲がエリアＡであるとすると、センサログ１０２１、１０２２はセンサログ解析部２０８の処理対象となるが、センサログ１０２３はセンサログ解析部２０８の処理対象とならない。

なお、図１０では説明を簡略化するために、センサログの内容を「・・・エリアＡ・・・」のように描いた。
しかし、端末が有する位置情報を取得するためのセンサがＧＰＳ（Global Positioning System）センサなどである場合は、位置情報は緯度、経度を示す数値となる。そのため、その数値が示す位置がどのカメラの撮影可能な範囲内にあるか（第１のカメラの撮影可能範囲であるエリアＡ内なのか、第２のカメラの撮影可能範囲であるエリアＢ内なのかなど）を判断するための演算処理が必要となる。

同様に、図１０では説明を簡略化するために、センサログの内容を「・・・停止から移動」のように描いた。
しかし、行動の内容を解析するために使用されるセンサが加速度センサなどである場合は、行動の内容を解析するために取得される情報は加速度の具体的な数値となる。そして、加速度が０であるなら「停止」と判断し、加速度が閾値以上であるなら「移動」と判断するなどの演算処理が必要となる。

［実施形態８］
上記実施形態においては、通知先取得部２０３は、登録情報取得部２１０で、端末の識別情報を取得したが、これに限るものではない。センサログに紐づくユーザの登録情報は、例えば、ｅ−ｍａｉｌのアドレスなどであっても良い。この場合、あらかじめ登録してあるｅ−ｍａｉｌアドレスを利用するため、例えば、緊急時の連絡先を登録しておいても良い。

例えば、事象発見部２０１で発見する事象が、人が倒れるケースであれば、当該人物の突然倒れるような行動を発見した場合に、該人物の登録情報としてその家族や病院などを登録しておけば、速やかに危機を知らせるメッセージを通知することも可能になる。もちろん、通知先は一つに限定する必要はない。この例の場合であれば、倒れた本人端末にも、本人もしくは本人に意識が無い場合は救護している第三者（救急隊員など）向けに、倒れた本人の端末を正しく同定できていることを確認するメッセージを通知しても良い。

［その他の実施形態］
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

２０１ 事象発見部
２０２ 通知対象者特定部
２０３ 通知先取得部
２０４ メッセージ生成部
２０５ 通知部
２０６ 画像解析部
２０７ 画像取得部
２０８ センサログ解析部
２０９ センサログ取得部
２１０ 登録情報取得部

Claims (8)

1. カメラが撮影した画像の解析結果から事象を発見する事象発見手段と、
   前記事象毎にあらかじめ決められた通知対象者を特定する通知対象者特定手段と、
   前記事象が発見された画像が撮影された時刻の前又は後の時刻に撮影された画像であって、前記通知対象者が写っている画像を解析して、前記通知対象者があらかじめ決めた動きをしたかを識別する画像解析手段と、
   前記画像解析手段が処理の対象とする時間およびカメラの画像を取得する画像取得手段と、
   前記通知対象者を含む複数の者が保有する各端末のセンサによって記録されたセンサ情報から、各端末を保有している者が、あらかじめ決めた動きをしたかを識別するセンサログ解析手段と、
   前記センサログ解析手段が処理の対象とする時間のセンサログを取得するセンサログ取得手段と、
   センサログを生成した各端末に紐づけて登録されている通知先情報を取得する登録情報取得手段と、
   前記画像解析手段の画像解析の結果と、前記センサログ解析手段のセンサログ解析の結果とを比較し、画像解析の結果として得られた行動内容および行動時刻と、同じ行動内容および行動時刻を示すセンサログを生成した端末を特定し、特定された端末に紐づく登録情報を取得して、前記通知対象者の通知先の情報を取得する通知先取得手段と、
   前記事象発見手段が発見した前記事象について、前記通知対象者に対して通知する内容を決定するメッセージ生成手段と、
   前記通知先取得手段が取得した前記通知先に対して、前記メッセージ生成手段が生成したメッセージを通知する通知手段と、
   を備えることを特徴とする情報通知装置。
2. 前記事象発見手段が発見する事象が、第一のユーザの特徴的な行動であり、
   前記通知対象者特定手段が、発見された前記事象に応じた通知対象者として第二のユーザを特定することを特徴とする請求項１に記載の情報通知装置。
3. 前記第一のユーザと前記第二のユーザが同一のユーザであることを特徴とする請求項２に記載の情報通知方法。
4. 前記センサログ解析手段が解析するセンサログが、ユーザが保有する端末の加速度センサが生成したデータであり、
   前記センサログ解析手段および前記画像解析手段が解析するあらかじめ決めた動きが、停止から移動への移行の動き、および移動から停止への移行の動きであることを特徴とする請求項１乃至３のいずれか１項に記載の情報通知装置。
5. 前記事象発見手段が発見した事象毎にあらかじめ設定しておいた確度の閾値を満たすまで、前記通知先取得手段が、前記画像解析手段および前記センサログ解析手段が処理するデータの時間範囲を拡大して結果の比較により確度の更新を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報通知装置。
6. 各カメラの撮影範囲のおよその位置を取得する撮影範囲取得手段をさらに設け、
   前記画像解析手段は、前記通知対象者の行動内容および行動時刻と共に前記撮影範囲を取得し、
   前記センサログ解析手段は、前記端末を保有する者の行動内容および行動時刻と共に行動位置を取得し、
   
   前記通知先取得手段は、前記画像解析手段が取得した前記撮影範囲に含まれる位置情報を有するセンサログを、前記センサログ解析手段の処理の対象とさせるようにしたことを特徴とする、請求項１乃至５のいずれか１項に記載の情報通知装置。
7. カメラが撮影した画像の解析結果から所定の事象を発見する事象発見工程と、
   前記事象毎にあらかじめ決められた通知対象者を特定する通知対象者特定工程と、
   前記事象が発見された画像が撮影された時刻の前又は後の時刻に撮影された画像であって、前記通知対象者が写っている画像を解析して、前記通知対象者があらかじめ決めた動きをしたかを識別する画像解析工程と、
   前記画像解析工程において処理の対象とされる時間およびカメラの画像を取得する画像取得工程と、
   前記通知対象者を含む複数の者が保有する各端末のセンサによって記録されたセンサ情報から、各端末を保有している者が、あらかじめ決めた動きをしたかを識別するセンサログ解析工程と、
   前記センサログ解析工程において処理の対象とされる時間のセンサログを取得するセンサログ取得工程と、
   センサログを生成した各端末に紐づけて登録されている通知先情報を取得する登録情報取得工程と、
   前記画像解析工程における画像解析の結果と、前記センサログ解析工程におけるセンサログ解析の結果とを比較し、画像解析の結果として得られた行動内容および行動時刻と、同じ行動内容および行動時刻を示すセンサログを生成した端末を特定し、特定された端末に紐づく登録情報を取得して、前記通知対象者の通知先の情報を取得する通知先取得工程と、
   前記事象発見工程において発見された前記事象について、前記通知対象者に対して通知する内容を決定するメッセージ生成工程と、
   前記通知先取得工程において取得された前記通知先に対して、前記メッセージ生成工程において生成されたメッセージを通知する通知工程と、
   を含むことを特徴とする情報通知方法。
8. 請求項１乃至６のいずれか１項に記載の情報通知装置の各手段としてコンピュータを機能させるためのプログラム。

Images