JP2022048184A - 監視表示装置 - Google Patents

Abstract

【課題】警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、より本物の警備員らしい画像を表示することができる監視表示装置を提供する。
【解決手段】監視表示装置１０は、立哨する警備員を模したキャラクタの画像を表示する表示部１１と、監視空間内の人物を検知する検知部１８１と、監視空間内で人物が検知されていない場合、キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、監視空間内で人物が検知された場合、キャラクタの視線の移動可能範囲を所定範囲より大きくし且つキャラクタの視線を検知された人物に向ける追跡動作を実行するようにキャラクタの画像表示を制御することで、キャラクタの動作を表示制御する表示制御部１８２と、を有する。
【選択図】図２

Description

本発明は、監視空間を監視する監視表示装置に関する。

近年、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の施設において犯罪を未然に防止するために警備員による警備の重要性が高まっているが、警備員の人手不足が深刻化している。警備員の人手不足を解消するために、警備員を模したキャラクタの画像を表示しつつ、各施設の監視空間を監視する監視表示装置が開発されている。

例えば、特許文献１には、人の上半身の形状に合わせたスクリーンを設置し、スクリーンの形状に合わせて警備員の映像を投影させる映像出力装置搭載機器が開示されている。この映像出力装置搭載機器は、所定の範囲内に人がいるか否かを検出する人感センサによって人が検出された際に、警備員の映像をスクリーンに投影させる。

特開２０１１－１５０２２１号公報

警備員を模したキャラクタの画像を表示しつつ監視空間を監視する監視表示装置では、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えるために、より本物の警備員らしい画像を表示することが求められている。

本発明の目的は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、より本物の警備員らしい画像を表示することができる監視表示装置を提供することにある。

かかる課題を解決するため本発明は、立哨する警備員を模したキャラクタの画像を表示する表示部と、監視空間内の人物を検知する検知部と、監視空間内で人物が検知されていない場合、キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、監視空間内で人物が検知された場合、キャラクタの視線の移動可能範囲を所定範囲より大きくし且つキャラクタの視線を検知された人物に向ける追跡動作を実行するようにキャラクタの画像表示を制御することで、警備員キャラクタの動作を表示制御する表示制御部と、を有する監視表示装置を提供する。

この監視表示装置において、表示制御部は、追跡動作におけるキャラクタの動作範囲が、目配り動作におけるキャラクタの動作範囲より大きくなるように、キャラクタの画像表示を制御することが好適である。

この監視表示装置において、表示制御部は、目配り動作ではキャラクタの目又は顔を動かすことにより視線を移動させるように動作範囲を設定し、追跡動作ではキャラクタの体全体を動かすことにより視線を移動させるように動作範囲を設定することが好適である。

この監視表示装置において、監視空間を撮像する撮像部をさらに有し、検知部は、撮像部により撮像された画像から人物を検知するとともに、検知された人物が所定行動を行っているか否かを判定し、表示制御部は、検知された人物が所定行動を行っている場合、追跡動作を実行するように、キャラクタの画像表示を制御することが好適である。

この監視表示装置において、表示制御部は、監視空間内で所定人物に対して前記追跡動作を所定時間以上連続して実行した場合、追跡動作を終了して目配り動作を実行し、目配り動作において、キャラクタの視線を向けた方向に所定人物が存在する場合、視線の移動を一時的に停止するように、キャラクタの画像表示を制御することが好適である。

この監視表示装置において、表示制御部は、検知部により検知された人物の数に応じて、キャラクタの視線の向け方を変更するように、キャラクタの画像表示を制御することが好適である。

本発明に係る監視表示装置は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、より本物の警備員らしい画像を表示することが可能となる。

監視システム１の全体システム構成を示す図である。 監視表示装置１０の外観を示す模式図である。 表示処理の動作の例を示すフローチャートである。 （ａ）は目配り動作に係る画像表示処理の動作の例を示すフローチャートであり、（ｂ）は追跡動作に係る画像表示処理の動作の例を示すフローチャートである。 （ａ）、（ｂ）は、キャラクタの視線の一例を示す模式図である。 （ａ）、（ｂ）は、キャラクタの視線の一例を示す模式図である。

以下、実施形態に係る監視システムについて図を参照しつつ説明する。

図１は、実施形態に係る監視システム１の全体システム構成を示す図である。図１に示すように、監視システム１は、複数の監視表示装置１０及び管理装置２０等を有する。各監視表示装置１０は、空港、駅、商業施設（デパート、スーパーマーケット等）、興行場、企業の事務所等の監視対象施設において、それぞれ異なる監視空間に設置され、各監視空間を監視及び警備する端末である。管理装置２０は、警備会社が運営する警備センタ又は監視対象施設内の防災センタの監視卓等に設置され、各監視表示装置１０による監視結果（撮影映像等）を収集し、管理する装置である。各監視表示装置１０及び管理装置２０は、イントラネット、インターネット又は携帯電話ネットワーク等の通信ネットワークを介して相互に接続される。
なお、監視システム１は、それぞれ異なる複数の監視対象をそれぞれ管理する複数の管理装置２０を有してもよい。その場合、監視システム１は、各監視対象から離れた位置に設置された監視センタに配置されたサーバ装置をさらに有し、サーバ装置が、各管理装置２０が管理する情報を収集し、管理してもよい。

監視表示装置１０は、ミラーサイネージ等の表示装置である。監視表示装置１０は、表示部１１、センサ１２、撮像部１３、音声入力部１４、音声出力部１５、通信部１６、記憶部１７及び制御部１８等を有する。

表示部１１は、ミラー型ディスプレイ等であり、制御部１８からの指示に従って画像、テキスト等の各情報を表示する。特に、表示部１１は、制御部１８からの指示に従って、立哨する警備員を模したキャラクタ（以降、警備員キャラクタと称する場合がある）の画像を表示する。なお、表示部１１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の非ミラー型ディスプレイでもよい。表示部１１の詳細については後述する。

センサ１２は、周期的に監視空間内の人物を検知し、検知した人物の位置を求める人体検知センサである。センサ１２として、例えばレーザ測距センサが利用される。レーザ測距センサは、予め設定された走査範囲（例えば180°）にわたって水平方向に所定の角度ステップ（例えば0.25°単位）で、所定の波長（例えば約870nm）を有する近赤外線のパルスレーザを照射し、そのレーザの反射光を検出する。レーザ測距センサは、例えばTime-of-Flight法により、レーザを反射した物体までの距離を測定する。センサ１２は、一定の周期（例えば200msec）で走査範囲全体を走査し、その走査範囲内の各方位における、レーザが反射された点までの距離を測定し、測定された距離を、パルスレーザを投光した方位と対応付けた測距データを制御部１８へ出力する。なお、センサ１２は、位相差方式、三角測量方式等の他の公知の測距方法を用いて人物の位置を求めてもよい。また、センサ１２は、複数設けられてもよい。

撮像部１３は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像部１３は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの入力画像に変換して制御部１８へ出力する。なお、撮像部１３は、複数設けられてもよい。
音声入力部１４は、マイクロフォンと、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。音声入力部１４は、入力された音声をデジタルの入力音声に変換して制御部１８へ出力する。
音声出力部１５は、例えばスピーカ等であり、制御部１８からの指示に従って音声を出力する。

通信部１６は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。または、通信部１６は、例えばＷ－ＣＤＭＡ方式又はＬＴＥ方式等に準拠した通信インタフェース回路を有し、基地局を介して移動体通信網等の通信ネットワークに接続する。通信部１６は、通信ネットワークから受信したデータを制御部１８へ出力し、制御部１８から入力されたデータを通信ネットワークに送信する。

記憶部１７は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスクドライブ及びその記録媒体を有する。記憶部１７は、監視表示装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、制御部１８との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部１７にインストールされてもよい。
また、記憶部１７は、データとして、監視空間における監視表示装置１０の設置位置、及び、入場ゲートや立入禁止区域等の特定エリアの位置を記憶する。また、記憶部１７は、データとして、監視空間におけるセンサ１２の配置位置、及び、パルスレーザの照射方向を記憶する。また、記憶部１７は、データとして、撮像部１３により撮像される画像内の各画素と、監視空間内の各位置との対応関係を示すマップ情報を記憶する。

制御部１８は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、監視表示装置１０の各種信号処理を実行する。制御部１８は、プロセッサ上で動作するプログラムの機能モジュールとして実装される検知部１８１及び表示制御部１８２等を有する。表示制御部１８２は、認識した監視空間の状況等に応じて表示するキャラクタの動作を表示制御する。また、表示制御部１８２は、監視表示装置１０の近傍（例えば、１ｍ以内）で立ち止まった人物を検知したり、人物からの発話を検知したりすると当該人物と対話するように音声出力を制御する。なお、制御部１８として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
制御部１８は、撮像部１３が監視空間を撮像した入力画像又は音声入力部１４が集音した入力音声を、通信部１６を介して管理装置２０へ送信する。また、制御部１８は、通信部１６を介して管理装置２０から受信した監視員の音声を音声出力部１５から出力する。

管理装置２０は、例えばパーソナルコンピュータ等である。管理装置２０は、第２表示部２１、第２音声入力部２２、第２音声出力部２３、第２通信部２４、第２記憶部２５及び第２制御部２６等を有する。

第２表示部２１は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、第２制御部２６からの指示に従って画像、テキスト等の各情報を表示する。
第２音声入力部２２は、音声入力部１４と同様の構成を有し、入力された音声をデジタルの音声データに変換して第２制御部２６へ出力する。
第２音声出力部２３は、音声出力部１５と同様の構成を有し、第２制御部２６からの指示に従って音声を出力する。

第２通信部２４は、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。第２通信部２４は、通信ネットワークから受信したデータを第２制御部２６へ出力し、第２制御部２６から入力されたデータを通信ネットワークに送信する。

第２記憶部２５は、記憶部１７と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部２５は、管理装置２０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部２６との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部２５にインストールされてもよい。

第２制御部２６は、制御部１８と同様のプロセッサ、メモリ及び周辺回路を有し、管理装置２０の各種信号処理を実行する。なお、第２制御部２６として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。
第２制御部２６は、第２通信部２４を介して監視表示装置１０から受信した入力画像を第２表示部２１に表示するとともに、第２通信部２４を介して監視表示装置１０から受信した入力音声を第２音声出力部２３から出力する。また、第２制御部２６は、第２音声入力部２２から入力された監視員による音声を、第２通信部２４を介して監視表示装置１０に送信する。

図２は、監視表示装置１０の外観を示す模式図である。図２に示すように、監視表示装置１０の表示部１１は、台座１９により支持されている。監視表示装置１０は、表示部１１が監視空間Ａに向くように配置される。
表示部１１は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等のモニターの表示面にミラーパネル１１１を貼り合わせることにより形成されている。ミラーパネル１１１は、外側（監視空間側）からの光を反射しつつ、内側（モニター側）からの光（画像）を透過する。これにより、表示部１１は、監視空間Ａを往来する人物Ｈ１、Ｈ２の像を反射させて表示しつつ、制御部１８から出力された警備員キャラクタＣの画像を表示する。
ミラーパネル１１１の外枠１１２には、センサ１２が監視空間Ａに向けて近赤外線のパルスレーザを投光可能に配置される。同様に、外枠１１２には、撮像部１３が監視空間Ａを撮像可能に配置され、音声入力部１４が監視空間Ａの音を集音可能に配置され、音声出力部１５が監視空間Ａに向けて音を出力可能に配置される。なお、センサ１２、撮像部１３、音声入力部１４及び音声出力部１５の配置は外枠１１２に限られるものではなく、ミラーパネル１１１越しに配置されてもよい。

図３は、監視表示装置１０による表示処理の動作の例を示すフローチャートである。このフローチャートは、予め記憶部１７に記憶されているプログラムに基づいて、主に制御部１８により、監視表示装置１０の各要素と協働して実行される。表示処理が実行されている間、表示制御部１８２は、警備員キャラクタの画像を表示部１１に表示し続ける。

まず、検知部１８１は、撮像部１３に監視空間を撮像させ、監視空間を撮像した入力画像を撮像部１３から取得する（ステップＳ１０１）。

次に、検知部１８１は、監視空間内の人物を検知する検知処理を実行する（ステップＳ１０２）。
検知部１８１は、入力画像から人物を検知する。検知部１８１は、例えばフレーム間差分処理または背景差分処理を利用して、順次撮影された複数の入力画像において輝度値の時間的な変化を有する変化領域を抽出する。検知部１８１は、抽出した各変化領域の大きさ、形状等の特徴量に基づいて、人物らしいと考えられる変化領域を人物領域として抽出する。検知部１８１は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。検知部１８１は、抽出したエッジ画素から、例えば一般化ハフ変換を用いて、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。なお、検知部１８１は、Adaboost識別器等の他の公知の方法を用いて顔領域を抽出してもよい。検知部１８１は、入力画像から顔領域を抽出した場合、その顔領域に対応する人物領域に含まれる人物を監視空間内の人物として検出する。そして、検知部１８１は、マップ情報に基づいて、検出した人物の足元が写っている、人物領域の最下端の画素に対応する監視空間内の位置を人物位置として特定する。検知部１８１は、複数の顔領域が抽出された場合、抽出した顔領域毎に人物を検出して人物位置を特定する。

なお、検知部１８１は、センサ１２から測距データを取得し、取得した測距データから人物を検知してもよい。検知部１８１は、取得した測距データを予め設定された基準測定データと比較し、所定以上の距離変化が生じている方向（走査方位）を抽出し、所定以上の連続性（例えば一般的な人のサイズ）を有する距離変化方向群を監視空間内の人物として検出する。検知部１８１は、監視空間におけるセンサ１２の配置位置及びパルスレーザの照射方向と、検出した人物に係る代表測距データ（例えば、距離変化方向群の中心の走査方位及び測定距離）とから、監視空間内の人物位置を特定する。検知部１８１は、複数の距離変化方向群が抽出された場合、距離変化方向群毎に人物か否かを判別し、人物位置を特定する。
また、検知部１８１は、音声入力部１４から入力音声を取得し、取得した入力音声から人物を検知してもよい。検知部１８１は、入力音声の音圧が、予め設定された閾値以上である場合に、監視空間に人物が存在すると判定する。なお、検知部１８１は、入力音声の周波数が、予め設定された範囲内である場合に、監視空間に人物が存在すると判定してもよい。

次に、検知部１８１は、検知処理において人物が検知されたか否かを判定する（ステップＳ１０３）。

検知処理において人物が検知されなかった場合、表示制御部１８２は、目配り動作を実行するように警備員キャラクタの画像表示を制御し（ステップＳ１０４）、処理をステップＳ１０１へ戻す。目配り動作の詳細については後述する。

一方、検知処理において人物が検知された場合、検知部１８１は、検知された人物の追跡処理を実行する（ステップＳ１０５）。
検知部１８１は、複数の入力画像にわたって抽出された人物領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物が写っている人物領域同士を対応付けることにより人物領域を追跡する。検知部１８１は、例えば、現フレームから抽出された人物領域の重心位置と、前フレームから抽出された人物領域の重心位置の距離を求めて、その距離が閾値以下である場合に、その人物領域に写っている人物を同一人物として対応付ける。なお、人物領域が複数抽出されている場合、検知部１８１は、距離が閾値以下である人物領域の内、重心位置が最も近い人物領域に写っている人物を同一人物として対応付ける。また、検知部１８１は、オプティカルフロー、パーティクルフィルタ等の他の公知の方法を用いて人物領域の追跡処理を行ってもよい。
なお、検知部１８１は、センサ１２から取得した測距データから人物を検知した場合、今回検出された人物位置と、前回検出された人物位置の距離を求めて、その距離が閾値以下である場合に、その人物位置に対応する人物を同一人物として対応付ける。なお、人物が複数検知されている場合、検知部１８１は、距離が閾値以下である人物位置の内、最も近い人物位置に対応する人物を同一人物として対応付ける。

次に、検知部１８１は、追跡処理で対応付けた人物毎に、検知された各人物が所定行動を行っているか否かを判定する（ステップＳ１０６）。所定行動は、監視空間への新たな入場又は特定エリアへの接近等である。検知部１８１は、今回検出された人物に対して、前回検出された人物の何れも対応付けられなかった場合、今回検出された人物が監視空間へ新たに入場したと判定し、所定行動を行っていると判定する。また、検知部１８１は、監視空間内の人物位置が、予め設定された特定エリアの位置から所定距離内である場合、その人物が特定エリアへ接近していると判定し、所定行動を行っていると判定する。それ以外の場合、検知部１８１は、各人物が所定行動を行っていないと判定する。なお、所定行動は上記の例に限られるものではなく、より注意を払うべき行動（例えば、監視空間でうろうろしている、大きな声を出している等）を所定行動とすることができる。

検知された人物の内の何れの人物も所定行動を行っていない場合、表示制御部１８２は、目配り動作を実行するように警備員キャラクタの画像表示を制御し（ステップＳ１０４）、処理をステップＳ１０１へ戻す。

一方、検知された人物の内の何れかの人物が所定行動を行っている場合、表示制御部１８２は、追跡動作を実行するように警備員キャラクタの画像表示を制御し（ステップＳ１０７）、処理をステップＳ１０１へ戻す。追跡動作の詳細については後述する。

なお、ステップＳ１０５及びＳ１０６の処理を省略し、表示制御部１８２は、監視空間内で人物が検知されていない場合に目配り動作を実行し、監視空間内で人物が検知された場合に追跡動作を実行するように警備員キャラクタの画像表示を制御してもよい。この場合も、表示制御部１８２は、本物の警備員らしい画像を表示することが可能となる。
一方、表示制御部１８２は、検知された人物が所定行動を行っている場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御することにより、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。

また、表示制御部１８２は、検知された人物が所定の属性を有する場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御してもよい。その場合、検知部１８１は、追跡処理で対応付けた人物毎に、各人物の属性を特定する。検知部１８１は、人物の属性として、年齢、性別及び／又は表情等を特定する。
例えば、検知部１８１は、機械学習技術を用いて、人物の属性を特定する。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の属性を出力するように事前に学習された識別器を記憶部１７に記憶しておく。検知部１８１は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された属性を、その人物領域に写っている人物の属性として取得する。
なお、検知部１８１は、特徴量マッチング技術を用いて、各人物の属性を特定してもよい。監視表示装置１０は、様々な属性を有する人物が写っている複数のサンプル画像から算出された「目」「鼻」「口」等の各部位の特徴量をその属性と関連付けて事前に記憶部１７に記憶しておく。特徴量は、ハールライク（Haar-Like）特徴量又はＨＯＧ（Histogram of Oriented Gradient）特徴量等である。検知部１８１は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。検知部１８１は、算出した特徴量と、記憶部１７に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた属性を、その人物領域に写っている人物の属性として取得する。類似の程度は、正規化相互相関値等である。
表示制御部１８２は、検知された人物が所定の属性（例えば男性、２０歳以上、緊迫した表情等）を有する場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御する。これにより、表示制御部１８２は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。

図４（ａ）は、目配り動作に係る画像表示処理の動作の例を示すフローチャートである。なお、図４（ａ）に示す画像表示処理は、図３のステップＳ１０４で実行される。また、後述するように、所定人物に対して追跡動作を所定時間以上連続して実行した場合、表示制御部１８２は、追跡動作を終了して目配り動作を実行し、図４（ａ）に示す画像表示処理を実行する。

最初に、表示制御部１８２は、現在表示されている警備員キャラクタの視線を向けている視線方向に、所定行動を行っている人物として所定時間以上連続して検知され続けている所定人物が存在するか否かを判定する（ステップＳ２０１）。例えば、監視表示装置１０は、複数の視線方向毎に、各視線方向に対応する監視空間内の位置を事前に記憶部１７に設定しておく。表示制御部１８２は、現在表示されている警備員キャラクタの視線方向に対応する位置が、所定人物の最新の人物位置と重複する場合、その視線方向に所定人物が存在すると判定する。

警備員キャラクタの視線方向に所定人物が存在しない場合、表示制御部１８２は、警備員キャラクタの視線を所定範囲内で移動させるように、警備員キャラクタの視線方向を決定する（ステップＳ２０２）。

図５（ａ）、（ｂ）は、目配り動作における警備員キャラクタの視線の一例を示す模式図である。図５（ａ）は、目配り動作において視線が監視表示装置１０側から見て最も右側を向いている状態の警備員キャラクタＣを示し、図５（ｂ）は、目配り動作において視線が監視表示装置１０側から見て最も左側を向いている状態の警備員キャラクタＣを示す。目配り動作では、警備員キャラクタＣの視線は、最初、図２に示すように正面を向いており、時間の経過とともに徐々に右側に移動していく。警備員キャラクタＣの視線は、図５（ａ）の位置に達すると、今度は徐々に左側に移動していき、図５（ｂ）に示す位置に達すると、再度、右側に移動していく。以後、この動作が繰り返される。表示制御部１８２は、所定範囲内において警備員キャラクタＣの視線が直前の状態から変化するように、警備員キャラクタＣの視線方向を決定する。なお、警備員キャラクタＣの視線の移動方向は、左右方向（水平方向）に限定されず、上下方向（垂直方向）又は斜め方向でもよい。また、目配り動作において、警備員キャラクタＣの視線方向は、常に正面から変化しないように設定されたり、視線が正面を向いたときに一時的（例えば１０秒）に視線の動きが止められたりしてもよい。

一方、警備員キャラクタの視線方向に所定人物が存在する場合、表示制御部１８２は、視線の移動を一時的に停止するように、警備員キャラクタの視線方向を決定する（ステップＳ２０３）。表示制御部１８２は、所定時間（例えば３秒間）、視線の移動を一時的に停止するように、警備員キャラクタの視線方向を決定する。これにより、表示制御部１８２は、監視空間に長時間存在する人物が警備員キャラクタに見られ続けて不快に感じることを抑制できる。さらに、表示制御部１８２は、警備員キャラクタに自然な流れの中でその人物を注視させて、その人物に見られている意識（威嚇効果）を与えることが可能となる。

次に、表示制御部１８２は、ステップＳ２０２又はＳ２０３で決定した視線方向を向くように、表示部１１に表示される警備員キャラクタの画像表示を更新し（ステップＳ２０４）、一連のステップを終了する。監視表示装置１０は、例えば、１枚の警備員キャラクタの画像を目、鼻、口、顔の輪郭、首、体、腕、足等の所定のパーツごとに分割し、各パーツにポリゴンを割り当てておく。また、監視表示装置１０は、複数の視線方向毎に、各視線方向に対応する各パーツのポリゴンの位置及び向きを事前に記憶部１７に設定しておく。表示制御部１８２は、警備員キャラクタが、決定した視線方向を向くように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置１０は、複数の視線方向毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、表示制御部１８２は、視線方向に応じた警備員キャラクタの画像を表示させることにより、警備員キャラクタの画像表示を更新する。
また、表示制御部１８２は、図５（ａ）、（ｂ）に示す例では、警備員キャラクタの目の向き及び顔の向きを変更することにより視線を変更させているが、目の向き、顔（頭部）の向き又は体全体（全身）の向きの何れか一つ又は複数を変更することにより視線を変更させてもよい。

図４（ｂ）は、追跡動作に係る画像表示処理の動作の例を示すフローチャートである。なお、図４（ｂ）に示す画像表示処理は、図３のステップＳ１０７で実行される。

最初に、表示制御部１８２は、監視空間内で所定行動を行っている人物として検知された各人物の追跡時間が、所定時間以上であるか否かを判定する（ステップＳ３０１）。表示制御部１８２は、検知された人物毎に、警備員キャラクタが視線を向けている時間（例えば、追跡動作を行なっている時間、又は、各人物が監視空間へ入場した時から現在時刻までの時間）を追跡時間として算出し、各人物の追跡時間が所定時間以上であるか否かを判定する。所定時間は、一般に、他人（警備員キャラクタＣ）から見られ続けていることを意識付けられる時間に設定され、例えば１０秒間に設定される。また、所定時間は、他人から見られ続けた場合でも不快に感じない時間を考慮して設定されてもよい。なお、表示制御部１８２は、警備員キャラクタが視線を向けている時間が所定時間以上であるか否かに代えて、監視空間内で所定時間以上連続して検知され続けているか否かを判定してもよい。

所定行動を行っている人物として検知された全ての人物の追跡時間が、所定時間以上である場合、表示制御部１８２は、追跡動作を終了して目配り動作を実行する（ステップＳ３０２）。

一方、所定行動を行っている人物として検知された何れかの人物の追跡時間が、所定時間以上でない場合、表示制御部１８２は、警備員キャラクタの視線を、検知された人物に向けるように視線方向を決定する（ステップＳ３０３）。特に、表示制御部１８２は、警備員キャラクタの視線を、追跡時間が所定時間以上でない人物に向けるように視線方向を決定する。表示制御部１８２は、監視表示装置１０の設置位置から、検知部１８１により検知されたその人物の人物位置に向かう方向を視線方向に決定する。

図６（ａ）、（ｂ）は、追跡動作における警備員キャラクタの視線の一例を示す模式図である。図６（ａ）は、追跡動作において監視表示装置１０側から見て右側に位置する人物Ｈ１に視線を向けている状態の警備員キャラクタＣを示す。一方、図６（ｂ）は、追跡動作において監視表示装置１０側から見て左側に位置する人物Ｈ２に視線を向けている状態の警備員キャラクタＣを示す。追跡動作では、警備員キャラクタＣの視線は、所定行動を行っている人物として検知された人物の内、追跡動作を所定時間以上実行していない何れかの人物に向けられる。対応する人物が複数存在する場合、警備員キャラクタＣの視線が向けられる人物は、一定時間毎に変更される。この例では、表示制御部１８２は、警備員キャラクタＣの視線を人物Ｈ１及びＨ２に交互に向けるように視線方向を決定する。また、表示制御部１８２は、追跡動作における警備員キャラクタＣの視線の移動可能範囲を、目配り動作における警備員キャラクタＣの視線の移動範囲である所定範囲より大きくする。例えば、目配り動作では、警備員キャラクタＣの正面を基準に左右４５度ずつを移動可能範囲として設定し、追跡動作では、警備員キャラクタＣの正面を基準に７５度ずつを移動可能範囲として設定する。このように、目配り動作では移動可能範囲が狭く設定されているため、目の動き及び／又は顔の動きにより視線を移動させ、追跡動作では移動可能範囲が広く設定されているため、さらに体全体の動きも加えることにより視線を移動させる。なお、目配り動作において移動可能範囲を狭く設定しているのは、警備員キャラクタＣの自然な視線の移動により監視空間を監視するためであり、追跡動作において移動可能範囲を広く設定しているのは、警備員キャラクタＣが継続して人物に視線を向けられるようにすることで存在感を与えるようにするためである。これにより、表示制御部１８２は、監視空間内の任意の位置に存在する人物に対して警備員キャラクタＣの自然な動きにより視線を向けつつ存在感を与えることができる。

なお、表示制御部１８２は、検知部１８１により検知された人物の数、特に所定行動を行っている人物の数に応じて、警備員キャラクタの視線の向け方を変更してもよい。例えば、表示制御部１８２は、人物の数が多いほど、警備員キャラクタＣが各人物に視線を向ける時間を短くする。これにより、表示制御部１８２は、それぞれの人物に対して、見られている意識を効率良く与えることが可能となる。
また、表示制御部１８２は、各人物に対して優先度を設定してもよい。例えば、表示制御部１８２は、監視表示装置１０の設置位置又は特定エリアの位置に近い人物ほど高くなるように優先度を設定する。または、表示制御部１８２は、動き（移動距離）が大きい人物ほど高くなるように優先度を設定してもよい。そして、表示制御部１８２は、優先度が高い人物から順に警備員キャラクタＣの視線を向けるように視線方向を決定する。なお、表示制御部１８２は、優先度が高い人物ほど警備員キャラクタＣの視線を向ける時間を長くしてもよい。これにより、表示制御部１８２は、より危険性が高い人物に対して、見られている意識を強く与えることが可能となる。
また、表示制御部１８２は、各人物の人物位置及び／又は各人物の移動方向に基づいて、各人物をグループ化してもよい。例えば、表示制御部１８２は、人物位置が特定の距離内である一又は複数の人物、及び／又は、移動方向（ベクトル）の差が特定の範囲内である一又は複数の人物を一つのグループにまとめる。表示制御部１８２は、一定時間毎に、警備員キャラクタＣの視線を向けるグループを変更し、そのグループに含まれる各人物の人物位置の重心位置に警備員キャラクタＣの視線を向けるように視線方向を決定する。これにより、表示制御部１８２は、検知された人物が多数存在する場合に、視線を効率良く変更することができる。

次に、表示制御部１８２は、目配り動作と同様にして、決定した視線方向を向くように、表示部１１に表示される警備員キャラクタの画像表示を更新し（ステップＳ３０４）、一連のステップを終了する。
なお、表示制御部１８２は、図６（ａ）、（ｂ）に示す例では、警備員キャラクタの顔の向きを変更することにより視線を変更させているが、目の向き又は体全体の向きを変更することにより視線を変更させてもよい。
また、表示制御部１８２は、追跡動作における警備員キャラクタの動作する部位（目、顔、体全体等）、即ち動作範囲が、目配り動作における警備員キャラクタの動作範囲より大きくなるように、警備員キャラクタの画像表示を制御してもよい。例えば、表示制御部１８２は、警備員キャラクタの視線を変更させるために、目配り動作では目の向きのみを変更しつつ、追跡動作では顔又は体全体の向きを変更する。または、表示制御部１８２は、目配り動作では顔の向きを変更しつつ、追跡動作では体全体の向き変更する。即ち、表示制御部１８２は、目配り動作では警備員キャラクタの目又は顔を動かすことにより視線を移動させるように動作範囲を設定し、追跡動作では警備員キャラクタの体全体を動かすことにより視線を移動させるように動作範囲を設定する。これにより、表示制御部１８２は、その人物に対して見られている意識をより強く与えることが可能となる。また、目配り動作と追跡動作とにおいて警備員キャラクタＣが同じ方向を向く場合でも視線の向け方を異ならせるようにしてもよい。例えば、正面から左側に３０度の方向に視線を向ける場合、目配り動作では目の動きにより視線を向け、追跡動作では体全体の動きにより視線を向ける。また、追跡動作において、目配り動作の移動可能範囲においては目配り動作と同様の動き（例えば、目の動き）により視線を向け、目配り動作の移動可能範囲を越える範囲においては動作範囲を大きくして（例えば、体全体の動き）視線を向けるようにしてもよい。
また、表示制御部１８２は、追跡動作における警備員キャラクタの動作範囲を、監視表示装置１０の設置位置から人物位置までの距離に応じて変更するように、警備員キャラクタの画像表示を制御してもよい。例えば、表示制御部１８２は、監視表示装置１０の設置位置から人物位置までの距離が距離閾値以上である場合、目の向きのみを変更し、監視表示装置１０の設置位置から人物位置までの距離が距離閾値未満である場合、顔又は体全体の向きを変更する。これにより、表示制御部１８２は、警備員キャラクタの視線を、検知した人物に、より自然に向けさせることが可能となる。

なお、図４（ａ）のステップＳ２０１、２０３及び図４（ｂ）のステップＳ３０１、３０２を省略し、表示制御部１８２は、監視空間内で人物が検知された場合、検知され続けた時間に関わらず追跡動作を実行してもよい。

また、表示制御部１８２は、上記した表示処理と並行して、監視空間の状況に応じて、又は、予め定められたルールに従って、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部１８２は、検知部１８１が検知した人物位置の所定期間内の変化量が閾値以下である場合、その人物が立ち止まっていると判定し、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部１８２は、音声入力部１４から取得した入力音声に、公知の音声認識技術及び自然言語処理技術を適用して監視空間内の人物による発話内容を検出し、検出した発話内容に所定のキーワードが含まれる場合、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部１８２は、一定期間経過する毎に、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部１８２は、所定の動きとして、警備員キャラクタが敬礼等の所定の姿勢を取るように表示部１１に表示された警備員キャラクタの画像表示を制御する。また、表示制御部１８２は、所定の発声として、例えば「こんにちわ」等の挨拶又は「大丈夫ですか」等の安否問いかけ等を音声出力部１１から音声出力する。

以上説明してきたように、本発明に係る監視表示装置１０は、監視空間内で人物が検知されていない場合は目配り動作を実行し、人物が検知された場合は追跡動作を実行するように警備員キャラクタの画像表示を制御することで、警備員キャラクタの動作を表示制御する。これにより、監視表示装置１０は、警備員キャラクタの画像を表示しつつ監視空間を監視する際に、警備員キャラクタに自然な振る舞いを行わせて警備員としての存在感を発揮させ、より本物の警備員らしい画像を表示することが可能となる。したがって、監視表示装置１０は、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えることが可能となる。

１０ 監視表示装置、１１ 表示部、１３ 撮像部、１８１ 検知部、１８２ 表示制御部

Claims (6)

1. 立哨する警備員を模したキャラクタの画像を表示する表示部と、
   監視空間内の人物を検知する検知部と、
   前記監視空間内で人物が検知されていない場合、前記キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、前記監視空間内で人物が検知された場合、前記キャラクタの視線の移動可能範囲を前記所定範囲より大きくし且つ前記キャラクタの視線を前記検知された人物に向ける追跡動作を実行するように前記キャラクタの画像表示を制御することで、前記キャラクタの動作を表示制御する表示制御部と、
   を有することを特徴とする監視表示装置。
2. 前記表示制御部は、前記追跡動作における前記キャラクタの動作範囲が、前記目配り動作における前記キャラクタの動作範囲より大きくなるように、前記キャラクタの画像表示を制御する、請求項１に記載の監視表示装置。
3. 前記表示制御部は、前記目配り動作では前記キャラクタの目又は顔を動かすことにより視線を移動させるように前記動作範囲を設定し、前記追跡動作では前記キャラクタの体全体を動かすことにより視線を移動させるように前記動作範囲を設定する、請求項２に記載の監視表示装置。
4. 前記監視空間を撮像する撮像部をさらに有し、
   前記検知部は、前記撮像部により撮像された画像から人物を検知するとともに、検知された人物が所定行動を行っているか否かを判定し、
   前記表示制御部は、検知された人物が前記所定行動を行っている場合、前記追跡動作を実行するように、前記キャラクタの画像表示を制御する、請求項１～３の何れか一項に記載の監視表示装置。
5. 前記表示制御部は、前記監視空間内で所定人物に対して前記追跡動作を所定時間以上連続して実行した場合、前記追跡動作を終了して前記目配り動作を実行し、前記目配り動作において、前記キャラクタの視線を向けた方向に前記所定人物が存在する場合、視線の移動を一時的に停止するように、前記キャラクタの画像表示を制御する、請求項１～４の何れか一項に記載の監視表示装置。
6. 前記表示制御部は、前記検知部により検知された人物の数に応じて、前記キャラクタの視線の向け方を変更するように、前記キャラクタの画像表示を制御する、請求項１～５の何れか一項に記載の監視表示装置。

Images