JP2006039906A - 警報発生システムおよびビデオ処理装置 - Google Patents

Abstract

【課題】 監視カメラが撮影する映像情報から強盗等の不審行動又は犯罪行動を検出し、自動的に警報を発生する警報発生システムおよびその警報発生方法とビデオ処理装置を提供する。
【解決手段】 監視カメラ１がレジ端末６及びその周辺を撮影し、その映像情報から生成したパタンデータとビデオ処理装置２のメモリに予め記憶した基準パタンデータとを比較照合する。そして、ビデオ処理装置２は、生成されたパタンデータと異常時の基準パタンデータとの相関率を求めて、所定の相関率以上の場合には直ちに通信装置５に警報信号を発生する。
【選択図】 図１

Description

本発明は、監視カメラシステムの画像認識を利用した警報発生システム、およびビデオ処理装置に関する。

従来、監視カメラを用いて撮影した映像から不審人物の侵入を検知して警報を発生する監視カメラシステムがある。このような監視カメラシステムは、建物の出入口や、普段人物の通りが少ない場所に監視カメラを設置して、監視カメラが撮影した映像情報から人物の映像情報を抽出することにより、不審な人物であると検知した場合には警報を発生するものである（例えば、特許文献１参照。）。

この映像情報から人物の映像情報を抽出する従来の画像処理方法では、人の出入りがない場所に侵入した不審者を検出することは出来ても、不特定多数の人物が出入りする場所では、撮影した映像情報から抽出した人物が不審者であることを見分けることは極めて困難な状況にある。例えば、コンビニエンス・ストア等の金銭処理端末（以下、レジ端末と言う。）が強盗に襲われても、それを撮影している監視カメラの映像から犯罪行動が行われたことを検出して自動的に警報を発生することは出来なかった。

このような監視カメラシステムは、監視カメラからの撮影映像を監視センターの画面モニタに映し出し、これを監視員が監視することにより犯罪行動が行われた場合、直ちに警報を発生して警察等に通報するものであった。また、監視員による監視カメラ画像の目視による監視では、多数の監視カメラの映像を少ない人数で監視している状況となった場合、全ての映像画面に注意が行き届かず不審行動や異常行動を見落とす恐れがあった。

また、カメラ監視を行っているコンビニエンス・ストア等では非常ベルが装備されているが、その非常ベルの操作は店員による人為的行為によって行われることであるため、店員が襲われた場合には、警報が遅れる問題が有った。
特開２００２−１５０２９０号公報 （第５頁、第１図）

従来の監視カメラシステムでは、監視カメラからの撮影映像を監視センターの画面モニタに映し出し、これを監視員が監視することにより犯罪行動が行われた場合、直ちに警報を発生して警察等に通報するものであるため、犯罪行動に対して完全な監視は出来なかった。

本発明は上記問題を解決するためになされたもので、監視カメラが撮影する映像情報を利用して、強盗等の不審行動や犯罪行動を検出し、自動的に警報を発生する警報発生システムおよびビデオ処理装置を提供することを目的とする。

上記目的を達成するために、本発明の警報発生システムは、レジ端末と、前記レジ端末及びその周辺を撮影するカメラと、前記カメラおよび前記レジ端末に接続され前記カメラが撮影した映像情報を処理して警報信号を発生するビデオ処理装置とを有する警報発生システムであって、前記ビデオ処理装置は、前記カメラからの前記映像情報からシルエット画像のパタンデータを生成する特徴抽出手段と、前記レジ端末及びその周辺の基準データを格納するメモリ手段と、前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して相関率を測定し、予め設定した相関率を超えた場合に異常事態であると判断して前記警報信号を発生する制御手段とを備えることを特徴とする。

また、本発明のビデオ処理装置は、前記レジ端末及びその周辺を撮影するカメラからの映像情報を処理して警報信号を発生するビデオ処理装置であって、前記カメラからの前記映像情報からシルエット画像のパタンデータを生成する特徴抽出手段と、前記レジ端末及びその周辺の基準データを格納するメモリ手段と、前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して相関率を測定し、予め設定した相関率を超えた場合に異常事態であると判断して前記警報信号を発生する制御手段とを備えることを特徴とする。

本発明の警報発生システムによれば、監視カメラがレジ端末とその係員とを撮影し、その映像情報から生成したパタンデータと予めメモリに格納した基準パタンデータとを比較照合し、強盗などの犯罪行為や異常行為などの異常事態を検出して、警報を発生することが出来る。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例に係る警報発生システムの全体図である。

図１において警報発生システムは、カメラ１、ビデオ処理装置２、モニタディスプレイ３、録画装置４、通信装置５、およびレジ端末６を備えている。ビデオ処理装置２はカメラ１、モニタディスプレイ３、録画装置４、通信装置５およびレジ端末６に接続されており、カメラ１によって撮影されたレジ端末６及びその周辺の様子の映像情報がビデオ処理装置２に送信される。ビデオ処理装置２は、カメラ１から受信した映像情報に時刻情報の文字等を加えた合成ビデオ信号を生成し、モニタディスプレイ３、および録画装置４に送信する。そして、モニタディスプレイ３は受信した合成ビデオ信号を画面に表示し、録画装置４は、受信した合成ビデオ信号を録画する。

また、ビデオ処理装置２は、入力された映像情報から不審者による異常行動や犯罪行動を抽出し、警報信号を発生する。この警報信号は、録画装置４および通信装置５に出力される。通信装置５に入力された警報信号は、更にネットワーク等を介して監視センター（図示せず）に送信される。更に、レジ端末６からは、引出の開閉状態、キー入力情報、保守／準備の状態を示すモニタ信号がビデオ処理装置２に送信されている。

図２は、図１におけるビデオ処理装置２の内部構成を示す図である。
図２において、ビデオ処理装置２は、特徴抽出部２１、メモリ２２、制御部２３、補助入力部２４、通信部２５、入出力部２６、およびビデオ増幅部２７等を備え、それらが内部バス等で接続されている。

特徴抽出部２１は、カメラ１で撮影したレジ端末６及びその周辺の映像情報を標本化してパタンデータ（ここでは、２値化データとする）を生成し、内部バスを介して制御部２３に出力する。制御部２３は入力されたパタンデータをメモリ２２に記憶する。

補助入力部２４は、レジ端末６からの引出の開閉状態、キー入力情報、保守／準備の状態等のモニタ信号を補助入力データとして受信し、制御部２３に出力する。

ビデオ増幅部２７は、カメラ１からの映像情報（ビデオ信号）に入出力部２６からの時刻情報等を付加した合成ビデオ信号を生成する。このビデオ増幅部２７によって生成された合成ビデオ信号は、モニタディスプレイ３や録画装置４へ出力され、また、通信部２５へデジタル化された合成ビデオ信号又は、録画装置４へ出力されたものと同じ合成ビデオ信号が分岐されて出力される。

通信部２５は、制御部２３で生成された警報信号や、ビデオ増幅部２７からのビデオ信号をネットワーク等を介して監視センター等へ送信する。

入出力部２６は、ビデオ増幅部２７に送信する時刻情報を出力する装置で、ビデオ処理装置２における各種の動作環境の設定等も合わせて行う。

制御部２３は、ビデオ処理装置２の構成各部の監視制御を行う。即ち、内部バスを介して特徴抽出部２１から入力されたパタンデータをメモリ２２に書き込み、またメモリ２２から予め登録したパタンデータの基準データを読み出して、特徴抽出部２１から受信するパタンデータと比較照合（パターンマッチング処理）を行う。そして、補助入力部２４を介してレジ端末６の引出が開いたことを通知する補助入力データを受信すると、比較照合して測定した相関率と異常行動又は犯罪行動が発生しているか否かを判定する基準値（例えば、７０％）とを照合し、その基準値を超えている場合、レジ端末６の周辺に不審者による異常行動又は犯罪行動があると判定して警報を発生する処理を行う。

図３は、本発明の実施例における警報発生システムのビデオ処理装置２の動作を示すフローチャート、図４〜図６は、ビデオ処理装置２が処理する映像情報のパタンデータを説明する図である。以下、図３〜図６を用いて、実施例におけるビデオ処理装置２の処理の動作を説明する。

図４は、レジ端末６及びその周辺が上方からのカメラ１によって撮影され、その映像がモニタディスプレイ３に表示された画面の一例である。
図４（ａ）は、レジ端末６の引出６２が閉じた状態の画面、図４（ｂ）は、レジ端末６の引出６２がレジ操作により開いた状態の画面、図４（ｃ）は、レジ端末６の引出６２がレジ操作により開いた状態で同時に係員６３も表示されている画面である。

ビデオ処理装置２の特徴抽出部２１は、カメラ１からこれらの映像情報を受信すると、画像処理を行ってパタンデータに変換する。

図５、図６は、特徴抽出部２１の画像処理によって、映像情報をシルエット化したパタンデータの一例である。

図５（ａ）は、レジ端末６の引出６２が閉じた状態で係員が写っていない場合のパタンデータ、図５（ｂ）は、レジ端末６の引出６２が閉じた状態で係員６３がレジ手前で待機している場合のパタンデータ、図５（ｃ）は、レジ端末６の引出６２が開いた状態で、操作中の係員６３が写っている場合のパタンデータである。図６（ａ）は、レジ端末６の引出６２が開いた状態で係員６３が写っていない場合のパタンデータ、図６（ｂ）は、レジ端末６の引出６２が開いた状態で係員６３が写っている場合のパタンデータである。

ビデオ処理装置２では、これらの５つのパタンデータの基準データとして初期設定するために、カメラ１から基準映像の撮影を行い、ビデオ処理装置２の入出力部２６から入力されたコマンドに基づいて、制御部２３がそれぞれのパタンデータをメモリ２２に書き込んで基準データとして記憶する（図３のステップｓ１）。

これらの基準データのうち、図５に示されるパタンデータは、レジ端末６の操作が正常におこなわれている場合の基準に用いられる。一方、図６に示されるパタンデータは、異常状態と判定するための基準データに用いられる。例えば、図６（ａ）からは、レジ端末６の引出６２が開いているにも関わらず、係員６３がレジ端末６の近くに写っていない状態が長く続いている場合の判断に使用し、（ｂ）からは係員６３の位置や姿勢に異常が有る場合、又は係員６３の体型とは異なる体型の人物がレジ端末６に写し出されている場合の判断に使用される。なお、パタンデータは上記５つに限定されるものではなく、係員６３毎のパタンデータを用意したり、また異常行動や犯罪行動の各種形態を学習しながら基準となるパタンデータをメモリ２２に格納すると良い。

ステップｓ１の初期設定が終了すると、カメラ１によって常時レジ端末６及びその周辺の撮影が行われ、ビデオ処理部２の特徴抽出部２１にその映像情報が入力される。そして、特徴抽出部２１は、入力された映像情報からリアルタイムでパタンデータを生成する（ステップｓ２）。

また、同時にレジ端末６からのモニタ信号がビデオ処理部２の補助入力部２６に補助入力データとして入力される（ステップｓ３）。

例えば、買い物客が買い物の代金を支払うためにレジ端末６のカウンタに商品を差し出すと、係員６３はレジ端末６から商品の金額入力や受け取った現金の入金入力等を行ない、引出６２を開く操作を行う。これらの一連のレジ操作の間、ビデオ処理装置２の制御部２３は、特徴抽出部２１が生成したパタンデータと、メモリ２２から読み出した基準データとを照合する（ステップｓ３）。

制御部２３は、例えば、特徴抽出部２１が生成した図５（ｃ）に類似する現在のパタンデータと基準となるパタンデータとを照合する動作を繰り返して（ステップｓ４）、引出６２のシルエット部分が大きくなり、図５（ｃ）の大きさとなった時、引出６２が開いたと判断する（ステップｓ５がＹｅｓ）。なお、レジ端末６からのモニタ信号の中に引出６２の開閉状態を示す信号を含むようして送信すれば、ビデオ処理装置２はステップｓ４を省略して、モニタ信号（補助入力データ）から引出６２の開閉状態の判断を行ってもよい。

また、制御部２３は、特徴抽出部２１が生成した図５（ｃ）に類似する現在のパタンデータと図５（ｃ）の基準となるパタンデータとの照合の結果、高い類似度、即ち相関率が得られるならば（ステップｓ６）、レジ端末６において正常なレジ操作が行われていると判断する（ステップｓ７のＮｏ）。そして、図５（ｃ）に相当する現在のパタンデータをメモリ２２に正常時の学習データとして記憶する（ステップｓ８）。

一方、強盗に襲われる等の異常行動又は犯罪行動が発生した場合、特徴抽出部２１から図６（ａ）に類似するレジ端末６の引出６２が開いたままのパタンデータ、または、図６（ｂ）に類似する係員６３と引出６２との間に空隙６４が生じたパタンデータが生成される。

制御部２３は、特徴抽出部２１から得られた上記パタンデータとメモリ２２からの基準パタンデータとを比較照合して、例えば、図６の異常時の基準データとの相関率が７０％を超えた時間が、所定の時間（例えば、１５秒以上）経過すると異常事態が発生したと判断する。

そして、異常事態が発生したと判断した場合（ステップｓ７がＹｅｓ）、制御部２３は、警報信号を発生して内部バスを通じて通信部２５に送信する（ステップｓ９）。この警報を受信した通信部２５は、通信装置５を介して所定の外部装置等へ警報信号を更に送信する。また制御部２３は、特徴抽出部２１から得られた現在のパタンデータをメモリ２２に異常時の学習データとして記憶する（ステップｓ１０）。

なお、録画装置４には、ビデオ処理装置２からの合成ビデオ信号が録画されるが、警報信号を受信した場合には、長時間録画モードから精細録画モードへ切り替える様にしても良い。また、録画装置４は、店内の内部全体を撮影しているカメラからの映像情報を記録するようにしても良い。また、レジ端末６の保守／準備中である場合には、警報信号の発生を中止する対策が行われる。

更に、異常状態の発生判断として、図５（ａ）〜（ｃ）の正常時のパタンデータとの相関率を測定して、正常と異常の両方の相関率を比較して、異常の相関率の方が高い測定結果が得られた場合に異常と判定するもので有っても良い。

正常時、異常時の学習データはメモリ２２に記憶されていることから、制御部２３は、その学習データを統計処理することにより、基準パタンデータを随時補正する良い。

なお、通信装置５からの警報信号はレジ端末６にも返送され、警報信号が誤報で有る場合は、誤警報であることを通知するモニタ信号をレジ端末６からビデオ処理装置２へ送信する。そのモニタ信号を補助入力部２４を介して制御部２３が受信すると、制御部２３は、メモリ２２の記憶した当該誤警報を発生したときのパタンデータを正常時の学習データとして修正する。

図７は、係員６３のユニフォームの色情報を基準データに加えて比較照合する場合のパタンデータの一例である。この場合、メモリ２２には係員のユニフォームの色情報を含む基準パタンデータが予め記憶される。

そして、カメラ１からの映像情報を受信する特徴抽出部２１は、色情報を含むパタンデータを生成して制御部２３に送信する。

制御部２３は、特徴抽出部２１から受信した色情報を含むパタンデータとメモリ２２からのユニフォームの色情報を含む基準パタンデータとを照合する。そして、色情報の照合によって異なる色情報のパタンデータであると判断した場合には、不審者がレジ端末６を操作している異常状態であるとして警報信号を発生する。

以上説明した様に、実施例の警報発生システムによれば、レジ端末を撮影する監視カメラからの映像情報と基準パタンデータとを照合することにより、レジ端末の異常状況を検知して警報を発生することが出来る。

本発明の実施例に係わる警報発生システムの構成図。 本発明の実施例に係わる警報発生システムのビデオ処理装置の内部構成図。 ビデオ処理装置の動作手順を説明するフローチャート。 ビデオ処理装置が処理する映像情報の撮影画面を説明する図。 ビデオ処理装置が生成する映像情報のパタンデータを説明する図。 レジで異常が発生した場合にビデオ処理装置が生成する映像情報のパタンデータを説明する図。 ビデオ処理装置が生成する映像情報のパタンデータを説明する図。

符号の説明

１ カメラ
２ ビデオ処理装置
２１ 特徴抽出部
２２ メモリ
２３ 制御部
２４ 補助入力部
２５ 通信部
２６ 入出力部
２７ ビデオ増幅部
３ モニタディスプレイ
４ 録画装置
５ 通信装置
６ レジ端末
６１ 本体
６２ 引出
６３ 係員
６３１ ユニフォーム
６４ 空隙

Claims (14)

1. レジ端末と、前記レジ端末及びその周辺を撮影するカメラと、前記カメラおよび前記レジ端末に接続され前記カメラが撮影した映像情報を処理して警報信号を発生するビデオ処理装置とを有する警報発生システムであって、
   前記ビデオ処理装置は、
   前記カメラからの前記映像情報からシルエット画像のパタンデータを生成する特徴抽出手段と、
   前記レジ端末及びその周辺の基準データを格納するメモリ手段と、
   前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して相関率を測定し、予め設定した相関率を超えた場合に異常事態であると判断して前記警報信号を発生する制御手段と
   を備えることを特徴とする警報発生システム。
2. 前記レジ端末から前記レジ端末の引出が開いたことを示すモニタ信号を受信する受信手段を有し、前記受信手段が前記モニタ信号を受信した時に前記制御手段による前記比較照合が行われることを特徴とする請求項１に記載の警報発生システム。
3. 前記制御手段は、
   前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して前記レジ端末の引出が開いたことを検出し、
   引き続き前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して前記異常事態の判断を行うことを特徴とする請求項１に記載の警報発生システム。
4. 前記制御手段は、
   前記特徴抽出手段からの前記パタンデータを前記メモリ手段からの前記レジ端末が正常な場合の前記基準データ、および前記特徴抽出手段からの前記パタンデータを異常な場合の前記基準データと比較照合して相関率を測定し、後者の相関率が前者の相関率よりも高い場合に異常と判断することを特徴とする請求項１に記載の警報発生システム。
5. 前記特徴抽出手段は、
   前記レジ端末とそのレジ端末を操作する係員の前記映像情報から前記シルエット画像のパタンデータ又は前記係員のユニフォームの色情報を含む前記シルエット画像の前記パタンデータを生成することを特徴とする請求項１に記載の警報発生システム。
6. 前記メモリ手段には、
   前記レジ端末とそのレジ端末を操作する係員との間に空隙が生じているシルエット画像、または、前記レジ端末の前記引出が開いた状態のシルエット画像が前記異常事態の基準パタンデータとして格納されていることを特徴とする請求項１記載の警報発生システム。
7. 前記制御手段は、
   前記基準パタンデータと比較照合した前記パタンデータをそれぞれ正常時、または異常時の学習データとして前記メモリ手段に記憶することを特徴とする請求項１に記載の警報発生システム。
8. レジ端末及びその周辺を撮影するカメラからの映像情報を処理して警報信号を発生するビデオ処理装置であって、
   前記カメラからの前記映像情報からシルエット画像のパタンデータを生成する特徴抽出手段と、
   前記レジ端末及びその周辺の基準データを格納するメモリ手段と、
   前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して相関率を測定し、予め設定した相関率を超えた場合に異常事態であると判断して前記警報信号を発生する制御手段と
   を備えることを特徴とするビデオ処理装置。
9. 前記レジ端末から前記レジ端末の引出が開いたことを示すモニタ信号を受信する受信手段を有し、前記受信手段が前記モニタ信号を受信した時に前記制御手段による前記比較照合が行われることを特徴とする請求項８に記載のビデオ処理装置。
10. 前記制御手段は、
    前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して前記レジ端末の引出が開いたことを検出し、
    引き続き前記特徴抽出手段からの前記パタンデータと前記メモリ手段からの前記基準データとを比較照合して前記異常事態の判断を行うことを特徴とする請求項８に記載のビデオ処理装置。
11. 前記制御手段は、
    前記特徴抽出手段からの前記パタンデータを前記メモリ手段からの前記レジ端末が正常な場合の前記基準データ、および前記特徴抽出手段からの前記パタンデータを異常な場合の前記基準データと比較照合して相関率を測定し、後者の相関率が前者の相関率よりも高い場合に異常と判断することを特徴とする請求項８に記載のビデオ処理装置。
12. 前記特徴抽出手段は、
    前記レジ端末とそのレジ端末を操作する係員の前記映像情報から前記シルエット画像のパタンデータ又は前記係員のユニフォームの色情報を含む前記シルエット画像の前記パタンデータを生成することを特徴とする請求項８に記載のビデオ処理装置。
13. 前記メモリ手段には、
    前記レジ端末とそのレジ端末を操作する係員との間に空隙が生じているシルエット画像、または、前記レジ端末の前記引出が開いた状態のシルエット画像が前記異常事態の基準パタンデータとして格納されていることを特徴とする請求項８記載のビデオ処理装置。
14. 前記制御手段は、
    前記基準パタンデータと比較照合した前記パタンデータをそれぞれ正常時、または異常時の学習データとして前記メモリ手段に記憶することを特徴とする請求項８に記載のビデオ処理装置。

Images