JP2018196060A - 情報処理装置、情報処理システム、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】監視対象に対して、威圧感や不快感を与えることなく、監視中であることを適切に知覚させることができる。【解決手段】情報処理装置は、所定領域の画像を取得する画像取得部と、通知を出力する通知出力部と、制御部と、を備え、前記制御部は、前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する。【選択図】図４

Description

本発明の一態様は、情報処理装置、情報処理システム、情報処理方法、およびプログラムに関する。

犯罪行為等の不正行為を抑止する手段の一つとして、監視カメラによって監視対象を撮影中であることを当該監視対象に知覚させるものがある。しかし、店舗や職場等では、業務の妨げにならないよう、監視対象である顧客や従業員に対して威圧感や不快感を与えることなく、監視中であることを知覚させる必要がある。このような監視カメラの一つとして、移動する監視対象を監視カメラが検出したときに、監視カメラ周囲に備える発光体を発行させるものがある（例えば、特許文献１参照）。

特開２００９−１８２６１７号公報

しかしながら、特許文献１を用いても、監視カメラが天井に配置されている場合などにおいて、監視対象は、発光体が発光していることを認識できず、監視中であることを知覚することができない、という問題があった。

本発明の一態様は、上記した事情に鑑みてなされたものであり、監視対象に対して、威圧感や不快感を与えることなく、監視中であることを適切に知覚させることができる監情報処理装置、情報処理システム、情報処理方法、およびプログラムを提供することを目的の一つとする。

本発明の第１の態様は、上記した事情に鑑みてなされたものであり、所定領域の画像を取得する画像取得部と、通知を出力する通知出力部と、制御部と、を備え、前記制御部は、前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する、情報処理装置である。

また、本発明の第２の態様は、上記情報処理装置であって、前記所定事象は、前記所定対象の位置の変化である。

また、本発明の第３の態様は、上記情報処理装置であって、前記所定事象は、前記画像に前記所定対象が含まれる否か、前記画像に所定動作をする前記所定対象が含まれるか否か、前記画像に所定特徴を有する前記所定対象が含まれるか否か、のいずれかである。

また、本発明の第４の態様は、上記情報処理装置であって、前記制御部は、前記所定対象の外見的特徴を参照して前記通知を特定する。

また、本発明の第５の態様は、上記情報処理装置であって、前記通知出力部は複数の音声出力部を含み、前記制御部は、前記複数の音声出力部のいずれの音声出力部から通知するかを特定する。

また、本発明の第６の態様は、上記した事情に鑑みてなされたものであり、所定領域の画像を撮像する撮像部と、通知を出力する通知出力部と、制御部と、を備え、前記制御部は、前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する、情報処理システムである。

また、本発明の第７の態様は、上記した事情に鑑みてなされたものであり、通知を出力する通知出力部を備える情報処理装置のコンピュータが、所定領域の画像を取得する取得過程と、前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知知を出力する制御過程と、を有する情報処理方法である。

また、本発明の第８の態様は、上記した事情に鑑みてなされたものであり、通知を出力する通知出力部を備える情報処理装置のコンピュータが、所定領域の画像を取得する取得ステップと、前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する制御ステップと、を実行するためのプログラムである。

本発明の一態様によれば、監視対象に対して、威圧感や不快感を与えることなく、監視中であることを適切に知覚させることができる。

本発明の第１の実施形態に係る監視システムの構成の一例を示すシステム構成図である。 本発明の第１の実施形態に係る出力部の配置の一例を示す説明図である。 本発明の第１の実施形態に係る監視装置のハードウェア構成の一例を示す概略ブロック図である。 本発明の第１の実施形態に係る監視装置の機能構成の一例を示す概略ブロック図である。 本発明の第１の実施形態に係る決定部による決定処理の一例を示す説明図である。 本発明の第１の実施形態に係る記憶装置の構成の一例を示す概略ブロック図である。 本発明の第１の実施形態に係る出力装置の構成の一例を示す概略ブロック図である。 本発明の第１の実施形態に係る監視処理の一例を示すフローチャートである。 本発明の第２の実施形態に係る監視装置の機能構成の一例を示す概略ブロック図である。 本発明の第２の実施形態に係る監視処理の一例を示すフローチャートである。

以下、図面を参照しながら本発明の各実施形態について詳しく説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る監視システムｓｙｓの構成の一例を示すシステム構成図である。
監視システムｓｙｓ（情報処理システムとも称する）は、監視装置１（情報処理装置とも称する）と、記憶装置２と、出力装置３と、を含んで構成される。監視装置１と、記憶装置２と、出力装置３とのそれぞれは、相互に有線または無線で接続される。例えば、監視装置１と、記憶装置２と、出力装置３とのそれぞれは、ネットワークＮＷを介して相互に接続される。
監視装置１は、例えば、監視カメラなどの撮像装置である。監視装置１は、例えば、広角レンズを備える撮像部を含み、広範囲の画像を定点撮影可能である。図示する例では、監視装置１は、例えば、店舗などの屋内の天井Ｒに設置され、天井Ｒと水平方向に３６０度、天井Ｒと垂直方向に少なくとも１８０度の広角画像の撮影が可能である。監視装置１は、対象の画像を撮影する。ここで、対象とは、監視対象の人（例えば、客、不審人物、店員など）、動物、物、場所などのことである。

記憶装置２は、監視装置１が撮影した画像を、ネットワークＮＷを介して受信し、記憶する。
出力装置３は、ネットワークＮＷを介して出力音声の音声信号を受信し、音声信号に応じた出力音声を出力する。
なお、監視システムｓｙｓは、複数の監視装置１や複数の出力装置３を備えていてもよい。また、監視装置１は、天井Ｒ以外の床面や、壁面等に設置されてもよい。

図２は、本発明の第１の実施形態に係る出力部３２０の配置の一例を示す説明図である。
出力装置３は、複数の出力部３２０を含んで構成される。出力部３２０は、例えば、スピーカーである。図示する例は、図１に示した天井Ｒに監視装置１と出力装置３の複数の出力部３２０を配置したときの一例である。例えば、図示する例では、「〇」で表す監視装置１の周囲に、等間隔で複数の「□」で表す出力部３２０が碁盤目状に配置される。監視装置１は、撮影可能な所定範囲の撮影可能範囲Ａｒｅａを有し、該撮影可能範囲Ａｒｅａ内の各対象を撮影する。

ここで、監視装置１の撮影可能範囲Ａｒｅａ内に存在する出力部３２０、すなわち「ａ」〜「ｘ」のアルファベットを付した各出力部３２０が監視装置１と対応する出力部である。
なお、出力部３２０が碁盤目状に配置される場合について説明するが、出力部３２０の配置はこれに限定されず、適宜変更してもよい。

図３は、本発明の第１の実施形態に係る監視装置のハードウェア構成の一例を示す概略ブロック図である。
監視装置１は、ＣＰＵ１１と、ドライブ部１２と、記憶媒体１３と、入力部１４と、出力部１５と、ＲＯＭ１６（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ１７（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、補助記憶部１８と、インタフェース部１９と、を備える。ＣＰＵ１１と、ドライブ部１２と、入力部１４と、出力部１５と、ＲＯＭ１６と、ＲＡＭ１７と、補助記憶部１８と、インタフェース部１９とは、バスを介して相互に接続される。

ＣＰＵ１１は、補助記憶部１８、ＲＯＭ１６およびＲＡＭ１７が記憶するプログラムを読み出して実行し、また、補助記憶部１８、ＲＯＭ１６およびＲＡＭ１７が記憶する各種データを読み出し、補助記憶部１８、ＲＯＭ１６およびＲＡＭ１７に対して各種データを書き込むことにより、監視装置１を制御する。同様にＣＰＵ１１は、ドライブ部１２を介して記憶媒体１３が記憶する各種データを読み出し、記憶媒体１３に対して各種データを書き込む。記憶媒体１３は、光磁気ディスク、フレキシブルディスク、フラッシュメモリなどの可搬記憶媒体であり、各種データを記憶する。
なお、ここで言うＣＰＵ１１は、プロセッサ一般のことを示すものであって、狭義のいわゆるＣＰＵと呼ばれるデバイスのことだけではなく、例えばＧＰＵやＤＳＰ等も含む。また、ここで言うＣＰＵ１１は、一つのプロセッサで実現されることに限られず、同じ、または異なる種類の複数のプロセッサを組み合わせることで実現されてもよい。

ドライブ部１２は、光ディスクドライブ、フレキシブルディスクドライブなどの記憶媒体１３の読み出し装置である。
入力部１４は、マウス、キーボード、タッチパネル、カメラなどの入力装置である。
出力部１５は、表示部、スピーカー（指向性スピーカー）などの出力装置である。
ＲＯＭ１６、ＲＡＭ１７は、プログラム、各種データを記憶する。
補助記憶部１８は、ハードディスクドライブ、フラッシュメモリなどであり、監視装置１の各機能部を動作させるためのプログラム、各種データを記憶する。
インタフェース部１９は、通信インタフェースを有し、有線または無線によりネットワークＮＷに接続される。

例えば、後述する図４における監視装置１の機能構成における制御部１００は、図３におけるＣＰＵ１１に対応し、図４における画像取得部１１０は、図３におけるインタフェース部１９または入力部１４に対応し、図４における通知出力部１３０は、図３におけるインタフェース部１９または出力部１５に対応し、図４における記憶部１２０は、図３における記憶媒体１３、補助記憶部１８等に対応する。

図４は、本発明の第１の実施形態に係る監視装置の機能構成の一例を示す概略ブロック図である。
監視装置１は、制御部１００と、画像取得部１１０と、記憶部１２０と、通知出力部１３０と、音声記憶部１４０と、を含んで構成される。制御部１００は、撮像制御部１０１と、符号化部１０２と、検出部１０３と、決定部１０４と、を含んで構成される。
制御部１００は、監視装置１の各機能を制御する。
撮像制御部１０１は、画像取得部１１０を制御する。撮像制御部１０１は、画像取得部１１０に制御信号を出力し、画像を取得させる。ここで言う画像は、静止画の他、動画も含む。

画像取得部１１０は、例えばカメラであり、撮像素子（非図示）、例えば、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子と、撮像レンズ（図示せず）と、信号処理部と、を含んでいて、撮像制御部１０１からの制御信号に基づいて、撮像レンズを介して撮像素子上に結像させて画像を取得してもよい。この場合、画像取得部１１０は、図３における入力部１４に対応すればよい。
また、画像取得部１１０は、例えば、ネットワークを介して通信を行うインタフェースであって、撮像制御部１０１からの制御信号に基づいて、ネットワークを介して１または複数の他の監視装置１から画像を取得してもよい。この場合、画像取得部１１０は、図３におけるインタフェース部１９に対応すればよい。
画像取得部１１０は、取得した画像（取得画像ともいう）を符号化部１０２および検出部１０３に出力する。

符号化部１０２は、画像取得部１１０から入力された取得画像を符号化する。具体的には、符号化部１０２は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｈ．２６４、Ｈ．２６５などの符号化方式を用いて取得画像を符号化する。符号化部１０２は、符号化した画像（符号化画像ともいう）を、記憶部１２０に記憶させる。
なお、符号化部１０２は、記憶部１２０に符号化画像を記憶させる代わりに、または、加えて、記憶装置２に符号化画像を記憶させてもよい。この場合、符号化部１０２は、通知出力部１３０を介して符号化画像を記憶装置２に送信すればよい。

検出部１０３は、画像取得部１１０から入力された取得画像に基づいて、所定事象を検出する。所定事象は、画像に対象が存在するか否か、画像で所定動作する対象が存在するか否か、画像に所定特徴を有する対象が存在しているか否か、などの事象のことである。画像に対象が存在するか否かには、画像に動いている対象が存在するか否か、直前の画像に映っていた対象が直後の画像でも写っているか否かなども含まれる。
検出部１０３は、１フレーム分の取得画像から深層学習などの機械学習を用いて、該１フレーム分の取得画像に対象が存在するか否かなどを検出する。また、検出部１０３は、複数フレーム分の取得画像から深層学習などの機械学習を用いて、取得画像に所定動作する対象が存在するか否か、画像に所定特徴を有する対象が存在しているか否かなどを検出する。検出部１０３は、所定事象を検出した場合、検出した所定事象の種別を表す種別情報および取得画像における対象の座標を表す座標情報を含む検出情報と、取得画像とを決定部１０４に出力する。ここで、検出部１０３は、監視する複数の対象の座標を対象毎に検出可能ではあるが、以下の説明では、座標情報は、所定事象が検出された対象の座標を表すものとして説明する。

決定部１０４は、検出部１０３から検出情報と取得画像とが入力されると、複数の出力部３２０のうちのいずれから出力するかを決定する。具体的には、決定部１０４は、所定事象が検出された取得画像における対象の座標を表す座標情報および設定情報に基づいて、複数の出力部３２０のうち、算出した対象の座標に最も近い出力部３２０の座標に対応する出力部３２０を、出力先として決定する。ここで、設定情報は、監視装置１を店舗などに設置したときの監視装置１の床からの高さや撮像素子の方向などの設置に関する設定情報であり、監視装置１等に予め記憶される。
また、決定部１０４は、検出情報に基づいて、種別情報に対応する出力音声を音声記憶部１４０から読み出し、該読み出した出力音声と、決定した出力先の出力部３２０の識別情報を表す選択情報と、を通知出力部１３０に出力する。

なお、決定部１０４は、座標情報に基づいて、該座標情報の位置に対応する出力音声を音声記憶部１４０から読み出し、該読み出した出力音声と、決定した出力先の出力部３２０の識別情報を表す選択情報と、を通知出力部１３０に出力してもよい。
なお、決定部１０４は、検出情報に基づいて、種別情報に対応する出力音声を音声記憶部１４０から読み出し、該読み出した出力音声に対応する音声識別情報と、決定した出力先の出力部３２０の識別情報を表す選択情報を通知出力部１３０に出力してもよい。
なお、決定部１０４は、検出情報に基づいて、種別情報に対応する出力音声を音声記憶部１４０から読み出し、該読み出した出力音声と、座標情報とを通知出力部１３０に出力してもよい。
なお、決定部１０４は、検出情報に基づいて、種別情報に対応する出力音声を音声記憶部１４０から読み出し、該読み出した出力音声を、座標情報で表される位置に対応する通知出力部１３０に出力してもよい。

通知出力部１３０は、例えばネットワークを介して通信を行うインタフェースであって、決定部１０４から入力された選択情報に基づいて、選択情報で示される出力部３２０を含む出力装置３に出力音声を送信（出力）してもよい。この場合、通知出力部１３０は、図３におけるインタフェース部１９に対応すればよい。
また、通知出力部１３０は、例えば、所定の位置に音声を出力可能な指向性スピーカー等であって、決定部１０４が特定した座標情報に基づいて音声を出力してもよい。この場合、通知出力部１３０は、図３における出力部１５に対応すればよい。
音声記憶部１４０は、所定事象ごとに対応付けられた出力音声を記憶する。

ここで、決定部１０４による出力先の出力部３２０を決定する決定処理について詳述する。

図５は、本発明の第１の実施形態に係る決定部１０４による決定処理の一例を示す説明図である。
図２に示すように複数の出力部３２０が配置されている場合、決定部１０４は、図５に示すように画像取得部１１０が生成した取得画像を複数の領域に分割し、所定事象が検出された位置座標に応じた出力先の出力部３２０を決定する。
図５に示す例では、撮影可能範囲Ａｒｅａの取得画像が複数の領域、例えば「ａ」〜「ｘ」までの２５の領域に分割されている。この「ａ」〜「ｘ」までのそれぞれの領域には、図２に示す「ａ」〜「ｘ」のアルファベットを付した各出力部３２０が対応付けられている。ここで、図中の「〇」は、監視装置１の位置を表す。
例えば、取得画像において、検出部１０３が、領域ｒで対象の所定事象を検出した場合、所定事象が検出された対象の座標（位置座標）を取得画像から算出し、算出した対象の座標が含まれる領域が領域ｒであると特定する。決定部１０４は、該領域ｒに対応する出力部３２０が図２に示す複数の出力部のうち、「ｒ」の出力部３２０と特定する。そして、決定部１０４は、「ｒ」の出力部３２０を出力先として決定する。

なお、各領域を矩形に分割する一例について説明したが、各領域をその他の形で分割してもよいし、各領域に分割しなくてもよい。検出部１０３は、所定事象が検出された対象の位置座標を取得画像から算出し、算出した対象の位置座標から所定範囲内の１つまたは複数の出力部を出力先の出力部として決定すればよい。

図６は、本発明の第１の実施形態に係る記憶装置２の構成の一例を示す概略ブロック図である。
記憶装置２は、受信部２１０と、記憶部２２０と、を含んで構成される。
記憶装置２は、監視装置１から送信される符号化画像を受信して記憶する。
受信部２１０は、監視装置１から符号化画像を受信する。受信した符号化画像を記憶部２２０に記憶させる。
記憶部２２０は、符号化画像を記憶する。
なお、監視装置１が符号化画像を記憶する場合、記憶装置２を備えなくてもよい。また、記憶装置２は、監視装置１から取得画像を受信し、受信した取得画像をそのまま記憶してもよいし、受信した取得画像に対して符号化を行うことで符号化画像を生成して記憶してもよい。

図７は、本発明の第１の実施形態に係る出力装置３の構成の一例を示す概略ブロック図である。
出力装置３は、受信部３１０と、出力部３２０と、を含んで構成される。出力部３２０は、音声出力部３２１を含んで構成される。
受信部３１０は、監視装置１から出力音声を受信し、音声出力部３２１に出力させて、対象に対して通知、例えば音声を出力する。

なお、出力部３２０が音声出力部３２１を備える場合の一例について説明するが、出力部３２０が表示部を備え、文字や画像などを表示して通知するなど、出力部３２０としてその他の手段を備え、該その他の手段を用いて対象に通知してもよい。

図８は、本発明の第１の実施形態に係る監視処理の一例を示すフローチャートである。
ステップＳ１０１において、監視を開始すると、監視装置１は、画像の生成を開始する。具体的には、画像取得部１１０は、例えば、１/３０秒ごとに取得画像を符号化部１０２および検出部１０３に出力する。
なお、ステップＳ１０１において、画像取得部１１０は、撮像制御部１０１からの制御信号に基づいて、ネットワークを介して１または複数の他の監視装置１から画像を取得してもよい。
ステップＳ１０３において、検出部１０３は、取得画像に対する機械学習により所定事象の検出を行う。取得画像で所定事象が検出されない場合（ステップＳ１０３：ＮＯ）、画像取得部１１０および検出部１０３はステップＳ１０１の処理を再度行う。一方、取得画像で所定事象が検出された場合（ステップＳ１０３：ＹＥＳ）、検出部１０３は、検出情報を生成して決定部１０４に出力し、決定部１０４は、ステップＳ１０５の処理を実行する。

ステップＳ１０５において、決定部１０４は、検出情報と取得画像とに基づいて、出力先の出力部を決定する。具体的には、決定部１０４は、取得画像における所定事象を検出した対象の位置（座標情報）に基づいて、対象の位置（座標）に対応する出力部３２０を、複数の出力部３２０の中から決定する。また、決定部１０４は、検出情報が示す所定事象に対応する出力音声を、音声記憶部１４０から読み出す。
ステップＳ１０７において、通知出力部１３０は、決定部１０４が決定した出力先の出力部３２０を含む出力装置３に対して、出力音声を送信する。

なお、検出部１０３は、取得画像の時間的に連続するフレーム間の差分を求めて所定事象を検出してもよい。この場合、検出部１０３は、例えば画素ごとのフレーム間の差を算出し、所定値以上の差分がある場合は、所定事象として、画像に対象が存在すると検出してもよいし、画素ごとのフレーム間の差の絶対値を算出することで、画像に対象が存在すると検出してもよい。この場合、検出部１０３は、例えば画素ごとのフレーム間の差を算出し、所定値以上の差分がある場合に、所定事象として、画像に対象が存在すると検出してもよい。
なお、フレーム間の差分の算出は、全てのフレームにおける前後のフレーム間の差分でもよいし、所定間隔ごとに取得したフレーム間の差分であってもよい。
このようにすることで、ノイズの影響を受けずに所定事象を検出することができる。また、昆虫などの小さな物体ではなく、人や物などの対象のみを検出することができる。

なお、検出部１０３は、取得画像に対してパターンマッチングを用いて所定事象を検出してもよい。この場合、検出部１０３は、予め記憶するパターン画像と取得画像との相関値を算出し、相関値が所定値以上の場合に、所定事象として所定動作する対象が存在するか否か、画像に所定特徴を有する対象が存在しているか否かなどを検出してもよい。

なお、検出部１０３は、監視装置１の撮影可能範囲内の所定位置に検出パターンを予め設定（設置）し、該検出パターンが検出されなくなった場合に、検出パターンが対象によって隠されたと判定することで、所定事象として、画像に対象が存在すると検出してもよい。

なお、出力部３２０を複数備える場合の一例について説明したが、指向性スピーカーやパラメトリックスピーカー、スピーカーの音声出力方向を制御可能なスピーカーを１つまたは複数設け、所定事象が検出された場合に、対象が存在する方向に対して音声を出力してもよい。

なお、出力部３２０は、検出パターンやビーコン信号によって予め位置を把握可能な可動型ロボットや可動型スピーカーであってもよく、監視装置１によって所定事象が検出されたときに、決定部１０４がその近傍に位置する可動型ロボットや可動型スピーカーを出力先として決定し、該近傍に位置する可動型ロボットや可動型スピーカーから音声を出力してもよい。

なお、監視装置１と出力装置３とを一体に構成して、所定事象を検出したときに、監視装置１が備える出力部から対象が存在する方向に対して音声を出力してもよい。この場合は、通知出力部１３０が指向性スピーカー等であって、通知出力部１３０が音声を直接出力してもよい。また、監視装置１が複数の出力部を備える場合、対象が存在する位置または方向に対して音声を直接出力してもよい。

このように、第１の実施形態に係る情報処理装置（監視装置１）は、所定領域の画像を取得する画像取得部１１０と、通知を出力する通知出力部１３０と、制御部１００と、を備え、制御部１００は、画像を参照して所定対象に係る所定事象を検出したときに、画像を参照して前記所定対象の位置と所定対象とを特定し、通知出力部１３０を介して所定対象の位置において位置または所定事象に応じた通知を出力する。
このような構成により、監視対象の位置または所定事象に応じた通知を、一斉報知せずに監視対象の位置において出力することができるため、監視対象に対して、威圧感や不快感を与えることなく、監視中であることを適切に知覚させることができる。

（第２の実施形態）
第２の実施形態では、所定事象を検出したときに、対象の特徴をさらに検出し、対象の特徴を含む通知を出力する場合の一例について説明する。
第２の実施形態に係る監視システムｓｙｓは、第１の実施形態に係る監視システムｓｙｓと同様であるため、図示および説明を省略し、本実施形態で異なる部分を中心に説明する。
ここで、第２の実施形態に係る記憶装置２の構成は、第１の実施形態に係る記憶装置２の構成と同様であるため、図示および説明を省略する。また、第２の実施形態に係る出力装置３の構成は、第１の実施形態に係る出力装置３の構成と同様であるため、図示および説明を省略する。

図９は、本発明の第２の実施形態に係る監視装置１Ａの機能構成の一例を示す概略ブロック図である。
監視装置１Ａは、制御部１００と、画像取得部１１０と、記憶部１２０と、通知出力部１３０と、音声記憶部１４０と、を含んで構成される。制御部１００は、撮像制御部１０１と、符号化部１０２と、検出部１０３と、決定部１０４と、音声取得部１０５と、を含んで構成される。
ここで、図９では、第１の実施形態に係る監視装置１と第２の実施形態に係る監視装置１Ａとで異なる部分を中心に説明する。

検出部１０３は、所定事象を検出すると、所定事象を検出した対象の特徴を検出する。具体的には、検出部１０３は、所定事象を検出すると、所定事象を検出した対象の外見的特徴、例えば、身長（背の高さ）、性別、年齢、服装、持ち物などを機械学習により検出する。また、検出部１０３は、取得画像と、検出情報と、対称の特徴を表す特徴情報と、を音声取得部１０５に出力する。

音声取得部１０５は、検出部１０３から入力された特徴情報に基づいて、特徴に対応する音声を音声記憶部１４０から読み出して出力音声を取得する。具体的には、例えば、対象の特徴が身長１８０ｃｍ、男性、３０代であり、監視装置１Ａが書籍売り場に設置されている場合であれば、音声取得部１０５は、対象の特徴と、監視装置１Ａの設置位置（設置売場）とに応じて、「本日、週刊マンガは発売日です」や、「長身の男性におすすめの雑誌があります」等の、対象の特徴を含む、および／または対象の特徴と関連する複数の出力音声のうちのいずれかの出力音声を音声記憶部１４０から取得する。音声取得部１０５は、出力音声と、取得画像と、検出情報とを決定部１０４に出力する。

決定部１０４は、取得画像と、検出情報とに基づいて出力先の出力部３２０を決定する。決定部１０４は、選択情報と、出力音声とを、通知出力部１３０に出力する。

音声記憶部１４０は、検出部１０３において検出可能な対象の特徴毎に、複数の出力音声を記憶する。

なお、音声取得部１０５は、音声記憶部１４０から出力音声を取得する代わりに、監視装置１Ａが取得画像を生成した日時情報や陳列商品の商品情報などと、特徴情報とに基づいて出力音声を生成してもよい。

図１０は、本発明の第２の実施形態に係る監視処理の一例を示すフローチャートである。
ステップＳ２０１において、監視を開始すると、監視装置１Ａは、画像の生成を開始する。具体的には、画像取得部１１０は、例えば、１/３０秒ごとに取得画像を符号化部１０２および検出部１０３に出力する。
なお、ステップＳ２０１において、画像取得部１１０は、撮像制御部１０１からの制御信号に基づいて、ネットワークを介して１または複数の他の監視装置１から画像を取得してもよい。
ステップＳ２０３において、検出部１０３は、取得画像に対する機械学習により所定事象の検出を行う。取得画像で所定事象が検出されない場合（ステップＳ２０３：ＮＯ）、画像取得部１１０および検出部１０３はステップＳ２０１の処理を再度行う。一方、取得画像で所定事象が検出された場合（ステップＳ２０３：ＹＥＳ）、検出部１０３は、検出情報を生成して音声取得部１０５に出力し、音声取得部１０５は、ステップＳ２０５の処理を実行する。

ステップＳ２０５において、音声取得部１０５は、検出部１０３により検出された対象の特徴に対応する、対象の特徴を含む出力音声を音声記憶部１４０から取得する。

ステップＳ２０７において、決定部１０４は、検出情報と取得画像とに基づいて、出力先の出力部を決定する。具体的には、決定部１０４は、取得画像における所定事象を検出した対象の位置を特定し、特定した対象の位置に対応する出力部３２０を、複数の出力部３２０の中から決定する。
ステップＳ２０９において、通知出力部１３０は、決定部１０４が決定した出力先の出力部３２０を含む出力装置３に対して、音声取得部１０５が取得した出力音声を送信する。

なお、音声取得部１０５は、対象の特徴に応じて出力音声を、例えば、男性の声から女性の声に変更するなどのように適宜変更してもよい。
なお、監視装置１と出力装置３とを一体に構成して、所定事象を検出したときに、監視装置１が備える出力部から対象が存在する方向に対して音声を出力してもよい。この場合は、通知出力部１３０が指向性スピーカー等であって、通知出力部１３０が音声を直接出力してもよい。また、監視装置１が複数の出力部を備える場合、対象が存在する位置または方向に対して音声を直接出力してもよい。

なお、検出部１０３は、対象の顔の特徴など、個人を識別可能な特徴を検出して記憶部に記憶させ、音声取得部１０５が、該記憶部を参照して検出回数を算出し、算出した検出回数に応じて出力音声を出力するか否かや出力音声の内容を変更してもよい。例えば、音声取得部１０５は、所定期間内に所定回数、同じ対象が検出された場合には、出力音声を出力しないと決定して出力音声を取得しなくてもよいし、対象が複数回検出されていることを知覚させるために「いつもご来店いただきありがとうございます」等のような出力音声を取得してもよい。

また、監視装置１Ａは、検出部１０３が検出した対象の特徴に合わせて、例えば、大きな荷物を持った人物を検出したときには、「ロッカーは２階にございます」などのように対象を誘導する出力音声を出力してもよい。

このように第２の実施形態に係る情報処理装置（監視装置１Ａ）は、所定領域の画像を取得する画像取得部１１０と、通知を出力する通知出力部１３０と、制御部１００と、を備え、制御部１００は、画像を参照して所定対象に係る所定事象を検出したときに、画像を参照して所定対象の位置と所定対象とを特定し、通知出力部１３０を介して所定対象の位置において位置または所定事象に応じた通知を出力する。
このような構成により、監視対象の位置や監視対象の外見的特徴や所定事象に応じた通知を監視対象の位置において出力することができるため、監視対象に対して、威圧感や不快感を与えることなく、監視中であることを適切に知覚させることができる。

また、対象に通知する音声を取得する音声取得部１０５をさらに備え、検出部１０３は、対象の特徴をさらに検出し、音声取得部１０５は、対象の特徴に基づく音声を取得する。
このような構成により、対象に対して監視していることを知覚させることができ、また、対象の特徴に合わせたレコメンドなどを行うこともできる。

なお、上記各実施形態や各変形例では、通知の出力先として出力部３２０を介して対象に知覚させる一例について説明したが、対象への通知に代えて、または加えて管理者に通知してもよい。

なお、本発明の一態様における監視装置１、１Ａで動作するプログラムは、本発明の一態様に関わる上記の各実施形態や変形例で示した機能を実現するように、１つ、または複数の、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサを制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これらの各装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に蓄積され、その後、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖe）等の各種ストレージに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われても良い。

なお、上述した各実施形態や変形例における監視装置１、１Ａの一部又は全部を１つ、または複数のプロセッサを備えたコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。

なお、ここでいう「コンピュータシステム」とは、監視装置１、１Ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した各実施形態や変形例における監視装置１、１Ａの一部、又は全部を典型的には集積回路であるＬＳＩとして実現してもよいし、チップセットとして実現してもよい。また、上述した各実施形態や変形例における監視装置１、１Ａの各機能ブロックは個別にチップ化してもよいし、一部、又は全部を集積してチップ化してもよい。また、集積回路化の手法は、ＬＳＩに限らず専用回路、および／または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述した各実施形態や変形例では、監視装置１、１Ａを記載したが、本願発明の一態様は、これに限定されるものではなく、屋内外に設置される据え置き型、および／または非可動型の電子機器、例えば、ＡＶ機器、キッチン機器、掃除・洗濯機器、空調機器、オフィス機器、自動販売機、自動車、自転車、その他生活機器、通信機器などに搭載される撮像部や可動型の電子機器、例えば、多機能電話機、タブレットＰＣ、ノートＰＣ、携帯電話などの電子機器に搭載される撮像部などにも適用出来る。

以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は各実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。

例えば、上記各実施形態や各変形例の一部または全部を組み合わせることで本発明の一態様を実現してもよい。

ｓｙｓ 監視システム（情報処理システム）
１、１Ａ 監視装置（情報処理装置）
１１ ＣＰＵ
１２ ドライブ部
１３ 記憶媒体
１４ 入力部
１５ 出力部
１６ ＲＯＭ
１７ ＲＡＭ
１８ 補助記憶部
１９ インタフェース部
１００ 制御部
１０１ 撮像制御部
１０２ 符号化部
１０３ 検出部
１０４ 決定部
１０５ 音声取得部
１１０ 画像取得部
１２０ 記憶部
１３０ 通知出力部
１４０ 音声記憶部
２ 記憶装置
２１０ 受信部
２２０ 記憶部
３ 出力装置
３１０ 受信部
３２０ 出力部
３２１ 音声出力部

Claims (8)

1. 所定領域の画像を取得する画像取得部と、
   通知を出力する通知出力部と、
   制御部と、
   を備え、
   前記制御部は、
   前記画像を参照して所定対象の位置と前記所定対象に係る所定事象とを特定し、特定した前記位置または前記所定事象に応じた通知を、前記通知出力部を介して前記所定対象の位置において出力する、
   情報処理装置。
2. 前記所定事象は、前記所定対象の位置の変化である、
   請求項１に記載の情報処理装置。
3. 前記所定事象は、
   前記画像に前記所定対象が含まれる否か、
   前記画像に所定動作をする前記所定対象が含まれるか否か、
   前記画像に所定特徴を有する前記所定対象が含まれるか否か、
   のいずれかである、
   請求項１に記載の情報処理装置。
4. 前記制御部は、前記所定対象の外見的特徴を参照して前記通知を特定する、
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 前記通知出力部は複数の音声出力部を含み、
   前記制御部は、前記複数の音声出力部のいずれの音声出力部から通知するかを特定する、
   請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 所定領域の画像を撮像する撮像部と、
   通知を出力する通知出力部と、
   制御部と、
   を備え、
   前記制御部は、
   前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する、
   情報処理システム。
7. 通知を出力する通知出力部を備える情報処理装置のコンピュータが、
   所定領域の画像を取得する取得過程と、
   前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する制御過程と、
   を有する情報処理方法。
8. 通知を出力する通知出力部を備える情報処理装置のコンピュータが、
   所定領域の画像を取得する取得ステップと、
   前記画像を参照して所定対象に係る所定事象を検出したときに、前記画像を参照して前記所定対象の位置と前記所定対象とを特定し、前記通知出力部を介して前記所定対象の位置において前記位置または前記所定事象に応じた通知を出力する制御ステップと、
   を実行するためのプログラム。

Images