JP2020182093A - 監視表示装置 - Google Patents

Abstract

【課題】監視空間の状況に応じて、キャラクタに適切な対応を実行させることができる監視表示装置を提供する。【解決手段】監視表示装置１０は、立哨する警備員を模した複数のキャラクタの画像を、監視空間における監視状況と関連付けて記憶する記憶部１７と、キャラクタの画像を表示する表示部１１と、監視空間における現在の監視状況を検出する状況検出部１８１と、監視空間内の人物を検知する人物検知部１８２と、検出された監視状況に関連付けられたキャラクタの画像を表示部に表示するとともに表示するキャラクタの動作を表示制御し、そのキャラクタに人物検知部により検知された人物に対する対応を実行させる表示制御部１８３と、を有し、表示制御部は、状況検出部により検出される監視状況が変化した場合、表示部に表示しているキャラクタの画像を、新たに検出された監視状況に関連付けられたキャラクタの画像に切り替える。【選択図】図２

Description

本発明は、監視空間を監視する監視表示装置に関する。

近年、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の施設において犯罪を未然に防止するために警備員による警備の重要性が高まっているが、警備員の人手不足が深刻化している。警備員の人手不足を解消するために、警備員を模したキャラクタの画像を表示しつつ、各施設の監視空間を監視する監視表示装置が開発されている。

特許文献１には、誘導の対象となる被誘導者への誘導を指示するための画像情報を投影装置から出力する誘導指示装置が開示されている。誘導指示装置は、被誘導者が幼児である場合、幼児が指示を聞き入れやすいようにテレビのキャラクタ等の画像情報を出力し、被誘導者が高齢者である場合、高齢者が指示を聞き入れやすいように孫の年齢ぐらいの子供等の画像情報を出力する。

特許第５８３４４６４号公報

警備員を模したキャラクタの画像を表示しつつ監視空間を監視する監視表示装置では、監視空間の状況に応じて、キャラクタに適切な対応を実行させることが求められている。

本発明の目的は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、監視空間の状況に応じて、キャラクタに適切な対応を実行させることができる監視表示装置を提供することにある。

かかる課題を解決するため本発明は、立哨する警備員を模した複数のキャラクタの画像を、監視空間における監視状況と関連付けて記憶する記憶部と、キャラクタの画像を表示する表示部と、監視空間における現在の監視状況を検出する状況検出部と、監視空間内の人物を検知する人物検知部と、状況検出部により検出された監視状況に関連付けられたキャラクタの画像を表示部に表示するとともに表示するキャラクタの動作を表示制御し、そのキャラクタに人物検知部により検知された人物に対する対応を実行させる表示制御部と、を有し、表示制御部は、状況検出部により検出される監視状況が変化した場合、表示部に表示しているキャラクタの画像を、新たに検出された監視状況に関連付けられたキャラクタの画像に切り替える監視表示装置を提供する。

この監視表示装置において、状況検出部は、現在の時間帯を監視状況として検出することが好適である。

この監視表示装置において、状況検出部は、監視空間内の人物の階層を監視状況として検出することが好適である。

この監視表示装置において、表示制御部は、状況検出部により検出される監視状況が変化した時に、キャラクタによる対応を実行中であった場合、キャラクタの画像の切り替えを禁止し、キャラクタによる対応を終了した時にキャラクタの画像を切り替えることが好適である。

本発明に係る監視表示装置は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、監視空間の状況に応じて、キャラクタに、より適切な対応を実行させることが可能となる。

監視システム１の全体システム構成を示す図である。 監視表示装置１０の外観を示す模式図である。 キャラクタテーブル１７１のデータ構造の例を示す図である。 （ａ）は監視処理の動作の例を示すフローチャートであり、（ｂ）は切り替え処理の動作の例を示すフローチャートである。 （ａ）、（ｂ）は、キャラクタの表示例を示す模式図である。

以下、実施形態に係る監視システムについて図を参照しつつ説明する。

図１は、実施形態に係る監視システム１の全体システム構成を示す図である。図１に示すように、監視システム１は、複数の監視表示装置１０及び管理装置２０等を有する。各監視表示装置１０は、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の監視対象施設において、それぞれ異なる監視空間に設置され、各監視空間を監視及び警備する端末である。管理装置２０は、警備会社が運営する警備センタ又は監視対象施設内の防災センタの監視卓等に設置され、各監視表示装置１０による監視結果（撮影映像等）を収集し、管理する装置である。各監視表示装置１０及び管理装置２０は、イントラネット、インターネット又は携帯電話ネットワーク等の通信ネットワークを介して相互に接続される。
なお、監視システム１は、それぞれ異なる複数の監視対象をそれぞれ管理する複数の管理装置２０を有してもよい。その場合、監視システム１は、各監視対象から離れた位置に設置された監視センタに配置されたサーバ装置をさらに有し、サーバ装置が、各管理装置２０が管理する情報を収集し、管理してもよい。

監視表示装置１０は、ミラーサイネージ等の表示装置である。監視表示装置１０は、表示部１１、センサ１２、撮像部１３、音声入力部１４、音声出力部１５、通信部１６、記憶部１７及び制御部１８等を有する。

表示部１１は、ミラー型ディスプレイ等であり、制御部１８からの指示に従って画像、テキスト等の各情報を表示する。特に、表示部１１は、制御部１８からの指示に従って、立哨する警備員を模したキャラクタ（以降、警備員キャラクタと称する場合がある）の画像を表示する。なお、表示部１１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の非ミラー型ディスプレイでもよい。表示部１１の詳細については後述する。

センサ１２は、周期的に監視空間内の人物を検知し、検知した人物の位置を求める人体検知センサである。センサ１２として、例えばレーザ測距センサが利用される。レーザ測距センサは、予め設定された走査範囲（例えば180°）にわたって水平方向に所定の角度ステップ（例えば0.25°単位）で、所定の波長（例えば約870nm）を有する近赤外線のパルスレーザを照射し、そのレーザの反射光を検出する。レーザ測距センサは、例えばTime-of-Flight法により、レーザを反射した物体までの距離を測定する。センサ１２は、一定の周期（例えば200msec）で走査範囲全体を走査し、その走査範囲内の各方位における、レーザが反射された点までの距離を測定し、測定された距離を、パルスレーザを投光した方位と対応付けた測距データを制御部１８へ出力する。なお、センサ１２は、位相差方式、三角測量方式等の他の公知の測距方法を用いて人物の位置を求めてもよい。また、センサ１２は、複数設けられてもよい。

撮像部１３は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像部１３は、撮影したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの入力画像に変換して制御部１８へ出力する。なお、撮像部１３は、複数設けられてもよい。
音声入力部１４は、マイクロフォンと、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。音声入力部１４は、入力された音声をデジタルの入力音声に変換して制御部１８へ出力する。
音声出力部１５は、例えばスピーカ等であり、制御部１８からの指示に従って音声を出力する。特に、音声出力部１５は、警備員キャラクタの音声を出力する。

通信部１６は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。または、通信部１６は、例えばＷ−ＣＤＭＡ方式又はＬＴＥ方式等に準拠した通信インタフェース回路を有し、基地局を介して移動体通信網等の通信ネットワークに接続する。通信部１６は、通信ネットワークから受信したデータを制御部１８へ出力し、制御部１８から入力されたデータを通信ネットワークに送信する。

記憶部１７は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク又はＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスクドライブ及びその記録媒体を有する。記憶部１７は、監視表示装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、制御部１８との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部１７にインストールされてもよい。
また、記憶部１７は、データとして、キャラクタテーブル１７１を記憶する。キャラクタテーブルの詳細については後述する。また、記憶部１７は、データとして、監視空間における監視表示装置１０の設置位置、及び、入場ゲートや立入禁止区域等の特定エリアの位置を記憶する。また、記憶部１７は、データとして、監視空間におけるセンサ１２の配置位置、及び、パルスレーザの照射方向を記憶する。また、記憶部１７は、データとして、撮像部１３により撮像される画像内の各画素と、監視空間内の各位置との対応関係を示すマップ情報を記憶する。

制御部１８は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、監視表示装置１０の各種信号処理を実行する。制御部１８は、プロセッサ上で動作するプログラムの機能モジュールとして実装される状況検出部１８１、人物検知部１８２及び表示制御部１８３等を有する。表示制御部１８３は、監視空間の状況等に応じて表示するキャラクタの動作を表示制御する。また、表示制御部１８３は、監視表示装置１０の近傍（例えば、１ｍ以内）で立ち止まった人物を検知したり、人物からの発話を検知したりすると当該人物と対話するように音声出力を制御する。なお、制御部１８として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
制御部１８は、撮像部１３が監視空間を撮像した入力画像又は音声入力部１４が集音した入力音声を、通信部１６を介して管理装置２０へ送信する。また、制御部１８は、通信部１６を介して管理装置２０から受信した監視員の音声を音声出力部１５から出力する。

管理装置２０は、例えばパーソナルコンピュータ等である。管理装置２０は、第２表示部２１、第２音声入力部２２、第２音声出力部２３、第２通信部２４、第２記憶部２５及び第２制御部２６等を有する。

第２表示部２１は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、第２制御部２６からの指示に従って画像、テキスト等の各情報を表示する。
第２音声入力部２２は、音声入力部１４と同様の構成を有し、入力された音声をデジタルの音声データに変換して第２制御部２６へ出力する。
第２音声出力部２３は、音声出力部１５と同様の構成を有し、第２制御部２６からの指示に従って音声を出力する。

第２通信部２４は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。第２通信部２４は、通信ネットワークから受信したデータを第２制御部２６へ出力し、第２制御部２６から入力されたデータを通信ネットワークに送信する。

第２記憶部２５は、記憶部１７と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部２５は、管理装置２０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部２６との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部２５にインストールされてもよい。

第２制御部２６は、制御部１８と同様のプロセッサ、メモリ及び周辺回路を有し、管理装置２０の各種信号処理を実行する。なお、第２制御部２６として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
第２制御部２６は、第２通信部２４を介して監視表示装置１０から受信した入力画像を第２表示部２１に表示するとともに、第２通信部２４を介して監視表示装置１０から受信した入力音声を第２音声出力部２３から出力する。また、第２制御部２６は、第２音声入力部２２から入力された監視員による音声を、第２通信部２４を介して監視表示装置１０に送信する。

図２は、監視表示装置１０の外観を示す模式図である。図２に示すように、監視表示装置１０の表示部１１は、台座１９により支持されている。監視表示装置１０は、表示部１１が監視空間Ａに向くように配置される。
表示部１１は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等のモニターの表示面にミラーパネル１１１を貼り合わせることにより形成されている。ミラーパネル１１１は、外側（監視空間側）からの光を反射しつつ、内側（モニター側）からの光（画像）を透過する。これにより、表示部１１は、監視空間Ａを往来する人物Ｈ１、Ｈ２の像を反射させて表示しつつ、制御部１８から出力された警備員キャラクタＣ１の画像を表示する。
ミラーパネル１１１の外枠１１２には、センサ１２が監視空間Ａに向けて近赤外線のパルスレーザを投光可能に配置される。同様に、外枠１１２には、撮像部１３が監視空間Ａを撮像可能に配置され、音声入力部１４が監視空間Ａの音を集音可能に配置され、音声出力部１５が監視空間Ａに向けて音を出力可能に配置される。なお、センサ１２、撮像部１３、音声入力部１４及び音声出力部１５の配置は外枠１１２に限られるものではなく、ミラーパネル１１１越しに配置されてもよい。

図３は、キャラクタテーブル１７１のデータ構造の一例を示す図である。図３に示すように、キャラクタテーブル１７１には、それぞれ異なる複数の警備員キャラクタ毎に、各警備員キャラクタの識別情報（キャラクタＩＤ）及び画像（キャラクタ画像）が、監視空間における監視状況と関連付けて記憶される。
各警備員キャラクタは、それぞれ性別、顔立ち及び／又は体つき等が異なるように設定される。キャラクタ画像として、キャラクタ画像自体、又は、キャラクタ画像が記憶されたアドレスが記憶される。監視状況は、監視表示装置１０が監視する監視空間の状況であり、時間帯、又は、監視空間内に存在する人物の階層等である。時間帯は、例えば通勤時間帯（６時〜９時、１７時〜２０時）、日中（９時〜１７時）、夜間（２０時〜６時）等で区分される。人物の階層は、種別（ビジネスパーソン、作業員、家族連れ等）、性別及び／又は年齢（大人、子供）等であり、何れか１つ又は複数が組み合わせて用いられる。また、監視空間内の人物の階層は監視空間に存在する人物の人数や割合等を考慮して決定される。例えば、人物の階層として性別を用いる場合、監視空間内で検知された人物の男女比が多い方の性別を監視空間内の人物の階層として決定する。ここで、後述の状況検出部１８１により監視空間内の人物の階層が「男性」と決定された場合、表示制御部１８３は、監視状況「男性」と関連付けられた「男性の警備員キャラクタ」を表示部１１に表示するよう制御する。また、人物の階層として性別及び年齢を用いる場合は、例えば、「女性と子供」、「男性（子供を除く）」のように人物の階層を分けて、監視空間内で検知された人物の比率（人数）が多い方を監視空間内の人物の階層として決定する。なお、比率が多い方を監視空間内の人物の階層として決定する例に限らず、「女性と子供」が所定割合（例えば、３０％）以上の場合、「女性と子供」を監視空間内の人物の階層として決定してもよい。また、監視空間に存在する男性、女性、大人、子供の各人数を検出し、最も人数が多い階層を監視空間内の人物の階層として決定してもよい。

警備員キャラクタと監視状況との関連付けにおいては、例えば、家族連れ、女性もしくは子供の階層又は日中の時間帯には、女性を模した警備員キャラクタが関連付けられる。これにより、家族連れ、女性又は子供等が多い日中には、監視空間を往来する人物が話しかけやすいように、親しみやすい女性を模した警備員キャラクタが表示される。一方、ビジネスパーソン、作業員もしくは大人の男性の階層又は通勤時間帯には、一般的な男性を模した警備員キャラクタが関連付けられる。これにより、ビジネスパーソン、作業員等が多い通勤時間帯には、監視空間を往来する人物に監視効果を与えるように、男性を模した警備員キャラクタが表示される。また、夜間の時間帯には、体格の大きい男性を模した警備員キャラクタが関連付けられる。これにより、事件が発生しやすい夜間の時間帯には、事件の発生が抑制されるように、威圧感がある男性を模した警備員キャラクタが表示される。このように、時間帯や監視空間内に存在する人物の階層に応じて、話しかけやすさや監視効果等を与えるのに適した警備員キャラクタが表示される。

図４（ａ）は、監視表示装置１０による監視処理の動作の例を示すフローチャートである。このフローチャートは、予め記憶部１７に記憶されているプログラムに基づいて、主に制御部１８により、監視表示装置１０の各要素と協働して実行される。監視処理が実行されている間、表示制御部１８３は、後述する切り替え処理において状況検出部１８１によって検出された現在の監視状況に関連付けられた警備員キャラクタの画像を表示部１１に表示している。

まず、人物検知部１８２は、撮像部１３に監視空間を撮像させ、監視空間を撮像した入力画像を撮像部１３から取得する（ステップＳ１０１）。

次に、人物検知部１８２は、監視空間内の人物を検知する検知処理を実行する（ステップＳ１０２）。
人物検知部１８２は、入力画像から人物を検知する。人物検知部１８２は、例えばフレーム間差分処理または背景差分処理を利用して、順次撮影された複数の入力画像において輝度値の時間的な変化を有する変化領域を抽出する。人物検知部１８２は、抽出した各変化領域の大きさ、形状等の特徴量に基づいて、人物らしいと考えられる変化領域を人物領域として抽出する。人物検知部１８２は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。人物検知部１８２は、抽出したエッジ画素から、例えば一般化ハフ変換を用いて、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。なお、人物検知部１８２は、Adaboost識別器等の他の公知の方法を用いて顔領域を抽出してもよい。人物検知部１８２は、入力画像から顔領域を抽出した場合、その顔領域に対応する人物領域に含まれる人物を監視空間内の人物として検出する。そして、人物検知部１８２は、マップ情報に基づいて、検出した人物の足元が写っている、人物領域の最下端の画素に対応する監視空間内の位置を人物位置として特定する。人物検知部１８２は、複数の顔領域が抽出された場合、抽出した顔領域毎に人物を検出して人物位置を特定する。

なお、人物検知部１８２は、センサ１２から測距データを取得し、取得した測距データから人物を検知してもよい。人物検知部１８２は、取得した測距データを予め設定された基準測定データと比較し、所定以上の距離変化が生じている方向（走査方位）を抽出し、所定以上の連続性（例えば一般的な人のサイズ）を有する距離変化方向群を監視空間内の人物として検出する。人物検知部１８２は、監視空間におけるセンサ１２の配置位置及びパルスレーザの照射方向と、検出した人物に係る代表測距データ（例えば、距離変化方向群の中心の走査方位及び測定距離）とから、監視空間内の人物位置を特定する。人物検知部１８２は、複数の距離変化方向群が抽出された場合、距離変化方向群毎に人物か否かを判別し、人物位置を特定する。

次に、人物検知部１８２は、検知処理において人物が検知されたか否かを判定する（ステップＳ１０３）。

検知処理において人物が検知されなかった場合、表示制御部１８３は、処理をステップＳ１０１へ戻す。なお、表示制御部１８３は、後述する対応処理を実行中である場合、実行中の対応処理を終了する。

一方、検知処理において人物が検知された場合、人物検知部１８２は、検知された人物の追跡処理を実行する（ステップＳ１０４）。
人物検知部１８２は、複数の入力画像にわたって抽出された人物領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物が写っている人物領域同士を対応付けることにより人物領域を追跡する。人物検知部１８２は、例えば、現フレームから抽出された人物領域の重心位置と、前フレームから抽出された人物領域の重心位置の距離を求めて、その距離が閾値以下である場合に、その人物領域に写っている人物を同一人物として対応付ける。なお、人物領域が複数抽出されている場合、人物検知部１８２は、距離が閾値以下である人物領域の内、重心位置が最も近い人物領域に写っている人物を同一人物として対応付ける。また、人物検知部１８２は、オプティカルフロー、パーティクルフィルタ等の他の公知の方法を用いて人物領域の追跡処理を行ってもよい。
なお、人物検知部１８２は、センサ１２から取得した測距データから人物を検知した場合、今回検出された人物位置と、前回検出された人物位置の距離を求めて、その距離が閾値以下である場合に、その人物位置に対応する人物を同一人物として対応付ける。なお、人物が複数検知されている場合、人物検知部１８２は、距離が閾値以下である人物位置の内、最も近い人物位置に対応する人物を同一人物として対応付ける。

次に、表示制御部１８３は、対応処理を実行し（ステップＳ１０５）、処理をステップＳ１０１へ戻す。表示制御部１８３は、対応処理において、表示部１１に表示されている警備員キャラクタに、人物検知部１８２により検知された人物に対する対応を実行させる。

まず、表示制御部１８３は、警備員キャラクタに対応させる対象人物を決定する。
例えば、表示制御部１８３は、人物検知部１８２により検知された人物の内、監視表示装置１０への接近速度が速度閾値以上である人物を対象人物に決定する。その場合、表示制御部１８３は、検知された人物毎に、各人物の最新の人物位置から監視表示装置１０の設置位置までの第１距離と、その人物の直前の人物位置から監視表示装置１０の設置位置までの第２距離とを算出する。表示制御部１８３は、第２距離から第１距離を減算した値を、各人物位置を特定するために使用された各入力画像の撮像時刻又は各測距データの取得時刻の間の時間で除算した値を、各人物の監視表示装置１０への接近速度として算出する。
なお、表示制御部１８３は、人物検知部１８２により検知された人物の内、監視表示装置１０との間の距離が距離閾値未満である人物を対象人物に決定してもよい。その場合、表示制御部１８３は、検知された人物毎に、各人物の最新の人物位置から監視表示装置１０の設置位置までの距離を、監視表示装置１０との間の距離として算出する。
また、表示制御部１８３は、接近速度が速度閾値以上であった人物又は監視表示装置１０との間の距離が距離閾値未満である人物の最新の接近速度が第２速度閾値未満である場合に、その人物を対象人物に決定してもよい。第２速度閾値は、速度閾値より小さい値に設定され、例えば一般的な人物がゆっくり歩く速度（例えば時速１ｋｍ）に設定される。これにより、表示制御部１８３は、監視表示装置１０に近寄って立ち止まった人物を対象人物に設定することができる。

また、表示制御部１８３は、所定行動を行っている人物に限り、対象人物に決定してもよい。所定行動は、監視空間への新たな入場又は特定エリアへの接近等である。表示制御部１８３は、今回検出された人物に対して、前回検出された人物の何れも対応付けられなかった場合、今回検出された人物が監視空間へ新たに入場したと判定し、所定行動を行っていると判定する。また、表示制御部１８３は、監視空間内の人物位置が、予め設定された特定エリアの位置から所定距離内である場合、その人物が特定エリアへ接近していると判定し、所定行動を行っていると判定する。これにより、表示制御部１８３は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。なお、所定行動は上記の例に限られるものではなく、より注意を払うべき行動（例えば、監視空間でうろうろしている、大きな声を出している等）を所定行動とすることができる。

また、表示制御部１８３は、所定の属性を有する人物に限り、対象人物に決定してもよい。その場合、表示制御部１８３は、追跡処理で対応付けた人物毎に、各人物の属性を特定する。表示制御部１８３は、人物の属性として、年齢、性別、表情及び／又は車いすの使用有無等を特定する。
例えば、表示制御部１８３は、機械学習技術を用いて、人物の属性を特定する。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の属性を出力するように事前に学習された識別器を記憶部１７に記憶しておく。表示制御部１８３は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された属性を、その人物領域に写っている人物の属性として取得する。
なお、表示制御部１８３は、特徴量マッチング技術を用いて、各人物の属性を特定してもよい。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像から算出された「目」「鼻」「口」「体」等の各部位の特徴量をその属性と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク（Haar-Like）特徴量又はＨＯＧ（Histogram of Oriented Gradient）特徴量等である。表示制御部１８３は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。表示制御部１８３は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた属性を、その人物領域に写っている人物の属性として取得する。類似の程度は、正規化相互相関値等である。
表示制御部１８３は、所定の属性（例えば男性、２０歳以上、緊迫した表情等）を有する人物に限り、対象人物に決定する。これにより、表示制御部１８３は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。

また、表示制御部１８３は、予め登録された登録者に限り、対象人物に決定してもよい。その場合、監視表示装置１０は、各登録者の顔画像を記憶部１７に登録しておく。表示制御部１８３は、各人物の顔領域と各登録者の顔画像との類似の程度、又は、各人物の顔領域から抽出された特徴量と各登録者の顔画像から抽出された特徴量との類似の程度を算出し、類似の程度が閾値以上である場合にその人物が登録者であると判定する。なお、監視表示装置１０は、ＩＣタグリーダを有するとともに、各登録者に配布したＩＣタグのＩＤを記憶部１７に登録しておいてもよい。その場合、表示制御部１８３は、ＩＣタグリーダが、登録されたＩＤを読み取った場合に、監視空間内の人物が登録者であると判定する。これにより、表示制御部１８３は、登録者に対して個別のサービスを提供することができる。
なお、表示制御部１８３は、対象人物を抽出できなかった場合、対応処理を中止又は終了する。

次に、表示制御部１８３は、警備員キャラクタに実行させる対応を決定する。具体的には、表示制御部１８３は、警備員キャラクタの視線を対象人物に向けさせること、対象人物の姿勢に応じて警備員キャラクタに所定の姿勢を取らせること、対象人物と対話させること等の対応を警備員キャラクタに実行させる。

監視空間内で人物が検知された場合、表示制御部１８３は、警備員キャラクタの視線を対象人物に向けることを警備員キャラクタに実行させる対応に決定する。その場合、表示制御部１８３は、監視表示装置１０の設置位置から、人物検知部１８２により検知されたその対象人物の人物位置に向かう方向を、警備員キャラクタの視線を向ける視線方向に決定する。次に、表示制御部１８３は、決定した視線方向を向くように、表示部１１に表示された警備員キャラクタの画像表示を更新する。監視表示装置１０は、例えば、１枚の警備員キャラクタの画像を目、鼻、口、顔の輪郭、首、体、腕、足等の所定のパーツごとに分割し、各パーツにポリゴンを割り当てておく。また、監視表示装置１０は、複数の視線方向毎に、各視線方向に対応する各パーツのポリゴンの位置及び向きを事前に記憶部１７に設定しておく。表示制御部１８３は、警備員キャラクタが、決定した視線方向を向くように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置１０は、複数の視線方向毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、表示制御部１８３は、視線方向に応じた警備員キャラクタの画像を表示させることにより、警備員キャラクタの画像表示を更新する。

図５（ａ）は、警備員キャラクタの表示例を示す模式図である。図５（ａ）において、警備員キャラクタＣ１は、監視空間Ａ内の人物Ｈ１に視線を向けている。なお、表示制御部１８３は、図５（ａ）に示す例では、警備員キャラクタＣ１の顔（頭部）の向きを変更することにより視線を変更させているが、目の向き、顔の向き又は体全体（全身）の向きの何れか一つ又は複数を変更することにより視線を変更させてもよい。

なお、表示制御部１８３は、対象人物が複数存在する場合、一定時間毎に、警備員キャラクタの視線を向ける人物を変更する。その場合、表示制御部１８３は、人物検知部１８２により検知された人物の数、特に対象人物の数に応じて、警備員キャラクタの視線の向け方を変更してもよい。例えば、表示制御部１８３は、人物の数が多いほど、警備員キャラクタが各対象人物に視線を向ける時間を短くする。これにより、表示制御部１８３は、それぞれの人物に対して、見られている意識を効率良く与えることが可能となる。
また、表示制御部１８３は、各対象人物に対して優先度を設定してもよい。例えば、表示制御部１８３は、監視表示装置１０の設置位置又は特定エリアの位置に近い対象人物ほど高くなるように優先度を設定する。または、表示制御部１８３は、移動速度が大きい対象人物ほど高くなるように優先度を設定してもよい。そして、表示制御部１８３は、優先度が高い対象人物から順に警備員キャラクタの視線を向けるように視線方向を決定する。なお、表示制御部１８３は、優先度が高い対象人物ほど警備員キャラクタの視線を向ける時間を長くしてもよい。これにより、表示制御部１８３は、より危険性が高い人物に対して、見られている意識を強く与えることが可能となる。
また、表示制御部１８３は、各対象人物の人物位置及び／又は各対象人物の移動方向に基づいて、各対象人物をグループ化してもよい。例えば、表示制御部１８３は、人物位置が特定の距離内である一又は複数の対象人物、及び／又は、移動方向（ベクトル）の差が特定の範囲内である一又は複数の対象人物を一つのグループにまとめる。表示制御部１８３は、一定時間毎に、警備員キャラクタの視線を向けるグループを変更し、そのグループに含まれる各対象人物の人物位置の重心位置に警備員キャラクタの視線を向けるように視線方向を決定する。これにより、表示制御部１８３は、検知された人物が多数存在する場合に、視線を効率良く変更することができる。

また、表示制御部１８３は、対象人物の追跡時間が所定時間以上である場合、その対象人物に対する対応処理を終了してもよい。その場合、表示制御部１８３は、対象人物毎に、警備員キャラクタが視線を向けている時間（例えば、追跡動作を行っている時間、各対象人物が監視空間へ入場した時から現在時刻までの時間）を追跡時間として算出し、各対象人物の追跡時間が所定時間以上であるか否かを判定する。所定時間は、一般に、他人（警備員キャラクタ）から見られていることを意識付けられる時間に設定され、例えば１０秒間に設定される。また、所定時間は、他人から見られ続けた場合でも不快に感じない時間を考慮して設定されてもよい。これにより、表示制御部１８３は、監視空間に長時間存在する人物が警備員キャラクタに見られ続けて不快に感じることを抑制できる。なお、表示制御部１８３は、警備員キャラクタが視線を向けている時間が所定時間以上であるか否かに代えて、監視空間内で所定時間以上連続して検知され続けているか否かを判定してもよい。

また、表示制御部１８３は、対応処理における警備員キャラクタの動作する部位（目、顔、体全体等）、即ち動作範囲を、監視表示装置１０の設置位置から人物位置までの距離に応じて変更するように、警備員キャラクタの画像表示を制御してもよい。例えば、表示制御部１８３は、監視表示装置１０の設置位置から人物位置までの距離が距離閾値以上である場合、目の向きのみを変更し、監視表示装置１０の設置位置から人物位置までの距離が距離閾値未満である場合、顔又は体全体の向きを変更する。これにより、表示制御部１８３は、警備員キャラクタの視線を、対象人物に、より自然に向けさせることが可能となる。
また、表示制御部１８３は、各対象人物の接近速度、又は、監視表示装置１０との間の距離に応じて、表示部１１に表示される警備員キャラクタがジェスチャー等により人物に案内したり指示を出したりするときの手の高さ（位置）等を変更してもよい。これにより、表示制御部１８３は、監視表示装置１０に接近する人物の目線の高さにあわせて、警備員キャラクタを動作させることができる。

また、監視表示装置１０から所定距離内で立ち止った人物や監視表示装置１０に接近する人物等が検知された場合、表示制御部１８３は、対象人物の姿勢に応じて、警備員キャラクタに所定の姿勢を取らせることを、警備員キャラクタに実行させる対応に決定してもよい。
例えば、表示制御部１８３は、対象人物の姿勢に応じて、警備員キャラクタの姿勢を変更する。その場合、表示制御部１８３は、対象人物毎に、各人物の姿勢を特定する。表示制御部１８３は、人物の姿勢として、敬礼の姿勢又はしゃがむ姿勢等を特定する。
例えば、表示制御部１８３は、機械学習技術を用いて、人物の姿勢を特定する。監視表示装置１０は、様々な姿勢を取っている人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の姿勢を出力するように事前に学習された識別器を記憶部１７に記憶しておく。表示制御部１８３は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された姿勢を、その人物領域に写っている人物の姿勢として取得する。
なお、表示制御部１８３は、特徴量マッチング技術を用いて、各人物の姿勢を特定してもよい。監視表示装置１０は、様々な姿勢を有する人物が写っている複数のサンプル画像から算出された「顔」「腕」「足」「体」等の各部位の特徴量をその姿勢と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク特徴量又はＨＯＧ特徴量等である。人物検知部１８２は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。人物検知部１８２は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた姿勢を、その人物領域に写っている人物の姿勢として取得する。

次に、表示制御部１８３は、特定した対象人物の姿勢に応じて、警備員キャラクタの姿勢を変更する。例えば、表示制御部１８３は、対象人物が敬礼の姿勢を取った場合に警備員キャラクタも敬礼の姿勢を取り、対象人物がしゃがんだ場合に警備員キャラクタもしゃがむように、警備員キャラクタの表示を制御する。監視表示装置１０は、複数の姿勢毎に、各姿勢に対応する各パーツのポリゴンの位置及び向きを事前に記憶部１７に設定しておく。表示制御部１８３は、警備員キャラクタが、所定の姿勢を取るように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置１０は、複数の姿勢毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、監視表示装置１０は、所定の姿勢を取るように警備員キャラクタの画像を順次表示させることにより、警備員キャラクタの画像表示を更新する。

なお、表示制御部１８３は、対象人物の属性に応じて、警備員キャラクタの姿勢を変更してもよい。例えば、表示制御部１８３は、対象人物が子供又は車いすの使用者である場合、警備員キャラクタがしゃがむように警備員キャラクタの表示を制御する。これにより、表示制御部１８３は、警備員キャラクタに対する親しみやすさ及び話しかけやすさを監視空間内の人物に抱かせることができる。
また、表示制御部１８３は、対象人物が登録者である場合、警備員キャラクタの姿勢を変更してもよい。例えば、表示制御部１８３は、対象人物が登録者である場合、警備員キャラクタが敬礼の姿勢を取るように警備員キャラクタの表示を制御する。また、出力制御部１８３は、検知された人物が登録者である場合、登録者に応じた音声を出力してもよい。例えば、出力制御部１８３は、検知された人物が登録者である場合、警備員キャラクタが「○○さん、お疲れ様です。」と音声出力するように制御する。これにより、表示制御部１８３は、登録者に対して個別のサービスを提供することができる。

一方、表示制御部１８３は、音声入力部１４から定期的に入力音声を取得し、入力音声の音圧が、予め設定された閾値以上であるか否かにより、監視空間内の人物が発声したか否かを判定し、監視空間内の人物が発声している場合、警備員キャラクタを対象人物と対話させることを、警備員キャラクタに実行させる対応に決定する。監視表示装置１０は、監視空間内の人物による発話内容毎に、警備員キャラクタによる応答内容を予め記憶部１７に設定しておく。発話内容には、例えば「こんにちわ」等の挨拶、「具合が悪い」等の支援要求、「トイレはどこですか」等の問合せ等が含まれる。また、挨拶に対応する応答内容として「こんにちわ」等の挨拶が設定され、支援要求に対する応答内容として「大丈夫ですか」等の安否問いかけが設定され、問合せに対応する応答内容として「トイレは右側です」等の回答が設定される。表示制御部１８３は、公知の音声認識技術及び自然言語処理技術を利用して、入力音声から、対象人物による発話内容を検出する。表示制御部１８３は、検出した発話内容に対応する応答内容を記憶部１７から読み出し、音声出力部１５から音声出力する。なお、表示制御部１８３は、声掛けを行うべき人物（倒れている人物、ヘルメットを着帽した不審者等）を検知した場合や、監視表示装置１０の近傍（例えば１ｍ）で立ち止まった人物を検知した場合等に、警備員キャラクタを対象人物と対話させることを、警備員キャラクタに実行させる対応に決定してもよい。

図４（ｂ）は、監視表示装置１０による切り替え処理の動作の例を示すフローチャートである。このフローチャートは、予め記憶部１７に記憶されているプログラムに基づいて、主に制御部１８により、監視表示装置１０の各要素と協働して実行される。

まず、状況検出部１８１は、監視空間における現在の監視状況を検出する（ステップＳ２０１）。状況検出部１８１は、現在の時間帯を監視状況として検出する。
または、状況検出部１８１は、監視空間内の人物の階層（種別、性別及び／又は年齢等）を監視状況として検出してもよい。その場合、状況検出部１８１は、最新の入力画像から監視空間内の人物の階層を検出する。例えば、状況検出部１８１は、機械学習技術を用いて、人物の階層を特定する。監視表示装置１０は、様々な階層に属する人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物が属する階層を出力するように事前に学習された識別器を記憶部１７に記憶しておく。状況検出部１８１は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された階層を、その人物領域に写っている人物の階層として取得する。
なお、状況検出部１８１は、特徴量マッチング技術を用いて、各人物が属する階層を特定してもよい。監視表示装置１０は、様々な階層に属する人物が写っている複数のサンプル画像から算出された「目」「鼻」「口」「顔」「体」等の各部位の特徴量をその属性と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク特徴量又はＨＯＧ特徴量等である。表示制御部１８３は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。表示制御部１８３は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた階層を、その人物領域に写っている人物が属する階層として取得する。そして、表示制御部１８３は、各階層のうち最も人数が多い階層等を監視空間内の人物の階層（監視状況）として検出する。

次に、表示制御部１８３は、状況検出部１８１により検出される監視状況が変化したか否かを判定する（ステップＳ２０２）。表示制御部１８３は、今回検出された監視状況が、前回検出された監視状況から変化したか否かを判定する。監視状況が変化していない場合、表示制御部１８３は、特に処理を実行せず、処理をステップＳ２０１へ戻す。

一方、監視状況が変化した場合、表示制御部１８３は、対応処理を実行中であるか否か、即ち警備員キャラクタによる対応を実行中であるか否かを判定する（ステップＳ２０３）。

対応処理を実行中でない場合、表示制御部１８３は、状況検出部１８１により検出された監視状況に関連付けられた警備員キャラクタの画像を表示部１１に表示し（ステップＳ２０４）、処理をステップＳ２０１へ戻す。表示制御部１８３は、キャラクタテーブル１７１を参照して、検出された監視状況に関連付けられた警備員キャラクタを特定し、特定した警備員キャラクタの画像を記憶部１７から読み出して表示部１１に表示する。これにより、表示制御部１８３は、表示部１１に表示している警備員キャラクタの画像を、新たに検出された監視状況に関連付けられた警備員キャラクタの画像に切り替える。

図５（ｂ）は、警備員キャラクタの表示例を示す模式図である。図５（ｂ）において、表示部１１に表示される警備員キャラクタの画像は、男性を模した警備員キャラクタＣ１から、女性を模した警備員キャラクタＣ２に切り替えられている。このように、表示制御部１８３は、監視状況に応じて警備員キャラクタを交代させることにより、警備員キャラクタに、より本物の警備員らしい振る舞いを行わせて、警備員としての存在感を発揮させることが可能となる。

なお、表示制御部１８３は、警備員キャラクタの画像を切り替える時に、警備員キャラクタに交代する旨を発声させるように、切り替えを予告する音声を音声出力部１５から出力してもよい。これにより、表示制御部１８３は、警備員キャラクタを、より本物の警備員らしく交代させることが可能となる。

一方、対応処理を実行中であった場合、表示制御部１８３は、表示部１１に表示している警備員キャラクタの画像の切り替えを禁止し（ステップＳ２０５）、処理をステップＳ２０１へ戻す。この場合、表示制御部１８３は、その後、監視処理において対応処理を終了して警備員キャラクタによる対応を終了し、ステップＳ２０３で対応処理を実行中でないと判定した時に、ステップＳ２０４で警備員キャラクタの画像を切り替える。
表示制御部１８３は、対応処理の実行中に警備員キャラクタの交代を禁止することにより、監視空間内の人物を警戒中（追跡中）又は監視空間内の人物と対話中に警備員キャラクタの画像が切り替わることを防止できる。したがって、表示制御部１８３は、自然なタイミングで警備員キャラクタを交代させて、警備員キャラクタに、より本物の警備員らしい振る舞いを行わせることが可能となる。

また、表示制御部１８３は、上記した表示処理と並行して、監視空間の状況に応じて、又は、予め定められたルールに従って、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部１８３は、人物検知部１８２が検知した人物位置の所定期間内の変化量が閾値以下である場合、その人物が立ち止まっていると判定し、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部１８３は、音声入力部１４から取得した入力音声に、公知の音声認識技術及び自然言語処理技術を適用して監視空間内の人物による発話内容を検出し、検出した発話内容に所定のキーワードが含まれる場合、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部１８３は、一定期間経過する毎に、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部１８３は、所定の動きとして、警備員キャラクタが敬礼等の所定の姿勢を取るように表示部１１に表示された警備員キャラクタの画像表示を制御する。また、表示制御部１８３は、所定の発声として、例えば「こんにちわ」等の挨拶又は「大丈夫ですか」等の安否問いかけ等を音声出力部１５から音声出力する。

以上説明してきたように、本発明に係る監視表示装置１０は、監視空間における現在の監視状況に応じて、表示する警備員キャラクタの画像を切り替える。これにより、監視表示装置１０は、監視状況に応じて、警備員キャラクタの親しみやすさ、頼りがい又は威圧感等を柔軟に変更できる。したがって、監視表示装置１０は、警備員キャラクタの画像を表示しつつ監視空間を監視する際に、監視空間の状況に応じて、警備員キャラクタに適切な対応を実行させることが可能となる。また、監視表示装置１０は、警備員キャラクタに、より本物の警備員らしい振る舞いを行わせて警備員としての存在感を発揮させることが可能となる。したがって、監視表示装置１０は、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えることが可能となり、警備員キャラクタによる威嚇効果を最大限に発揮させつつ、コミュニケーション性を向上させることが可能となる。

１０ 監視表示装置、１１ 表示部、１７ 記憶部、１８１ 状況検出部、１８２ 人物検知部、１８３ 表示制御部

Claims (4)

1. 立哨する警備員を模した複数のキャラクタの画像を、監視空間における監視状況と関連付けて記憶する記憶部と、
   前記キャラクタの画像を表示する表示部と、
   前記監視空間における現在の監視状況を検出する状況検出部と、
   前記監視空間内の人物を検知する人物検知部と、
   前記状況検出部により検出された監視状況に関連付けられたキャラクタの画像を前記表示部に表示するとともに前記表示するキャラクタの動作を表示制御し、当該キャラクタに前記人物検知部により検知された人物に対する対応を実行させる表示制御部と、を有し、
   前記表示制御部は、前記状況検出部により検出される監視状況が変化した場合、前記表示部に表示しているキャラクタの画像を、新たに検出された監視状況に関連付けられたキャラクタの画像に切り替える、
   ことを特徴とする監視表示装置。
2. 前記状況検出部は、現在の時間帯を前記監視状況として検出する、請求項１に記載の監視表示装置。
3. 前記状況検出部は、前記監視空間内の人物の階層を前記監視状況として検出する、請求項１に記載の監視表示装置。
4. 前記表示制御部は、前記状況検出部により検出される監視状況が変化した時に、前記キャラクタによる前記対応を実行中であった場合、前記キャラクタの画像の切り替えを禁止し、前記キャラクタによる前記対応を終了した時に前記キャラクタの画像を切り替える、請求項１〜３の何れか一項に記載の監視表示装置。

Images