JP2010079740A - 監視システム及び監視装置 - Google Patents
監視システム及び監視装置 Download PDFInfo
- Publication number
- JP2010079740A JP2010079740A JP2008249310A JP2008249310A JP2010079740A JP 2010079740 A JP2010079740 A JP 2010079740A JP 2008249310 A JP2008249310 A JP 2008249310A JP 2008249310 A JP2008249310 A JP 2008249310A JP 2010079740 A JP2010079740 A JP 2010079740A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- face
- mobile phone
- person
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 75
- 238000012806 monitoring device Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 abstract description 12
- 230000001413 cellular effect Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
【課題】自動取引装置への不正な現金引き出し操作や携帯電話の外部からの指示による振込み操作を防止する。
【解決手段】遠隔の監視センタと、監視領域に設けられた監視装置とからなり、前記監視領域における不審行動を監視する監視システムであって、前記監視装置は、監視領域内にいる人物を撮像する撮像手段と、前記監視領域内にいる人物が携帯電話を使用していることを検知する携帯電話使用検知手段と、前記撮像手段により撮像した映像に基づき人物の顔画像が隠蔽されていることを検知する顔隠蔽検知手段と、前記携帯電話使用検知及び又は顔の隠蔽検知に基づいて、前記撮像手段にて撮像した映像を前記監視センタに送信する送信手段と、を有し、前記監視センタは、前記監視装置から送信された映像を受信する受信部と、前記受信部が受信した映像を表示する表示部と、を有する。
【選択図】 図1
【解決手段】遠隔の監視センタと、監視領域に設けられた監視装置とからなり、前記監視領域における不審行動を監視する監視システムであって、前記監視装置は、監視領域内にいる人物を撮像する撮像手段と、前記監視領域内にいる人物が携帯電話を使用していることを検知する携帯電話使用検知手段と、前記撮像手段により撮像した映像に基づき人物の顔画像が隠蔽されていることを検知する顔隠蔽検知手段と、前記携帯電話使用検知及び又は顔の隠蔽検知に基づいて、前記撮像手段にて撮像した映像を前記監視センタに送信する送信手段と、を有し、前記監視センタは、前記監視装置から送信された映像を受信する受信部と、前記受信部が受信した映像を表示する表示部と、を有する。
【選択図】 図1
Description
本発明は、金融機関等の無人店舗等における不審な行動を監視して、警告等の対応を行なうことで、自動取引装置への不正な現金引き出し操作や携帯電話の外部からの指示による振込み操作を防止する監視システム及び監視装置に関する。
近年、金融機関の無人店舗やコンビニエンスストアに設置された自動取引装置を悪用した、いわゆる振り込め詐欺が社会問題になっている。
振り込め詐欺の手口としては、例えば、税の還付金の受け取りを装い、被害者に自動取引装置の前から携帯電話により自動取引装置の操作方法を指示し、実際には悪意の第三者の口座に振り込み手続きをさせるというものである。
振り込め詐欺の手口としては、例えば、税の還付金の受け取りを装い、被害者に自動取引装置の前から携帯電話により自動取引装置の操作方法を指示し、実際には悪意の第三者の口座に振り込み手続きをさせるというものである。
また、不正に振り込ませたお金を引き出すときにも自動取引装置が利用されることが多い。そして、自動取引装置には監視カメラが設置され利用者の画像を記録しているので、不正に現金を引き出す者は顔が容易に判別できないようにサングラスやマスク顔を隠して引き出し操作を行なう場合が多い。
特許文献1には、来訪者の顔の映像を取り込み、取り込んだ画像情報より目、耳、鼻、口等の顔の特徴部分を抽出し、サングラスやマスクのためにそれらが抽出できないときに不審人物候補として管理人に通報するシステムが提案されている。
また、特許文献2には、顔がカメラから取得した画像を利用して当該利用者の顔検知を行い、顔検知ができるまで利用を不可とする自動取引装置が提案されている。
特開平05−35992号公報
特開2005−346174号公報
また、特許文献2には、顔がカメラから取得した画像を利用して当該利用者の顔検知を行い、顔検知ができるまで利用を不可とする自動取引装置が提案されている。
しかしながら、特許文献1に記載の警報装置は、顔の特徴部分を検出するために顔の特徴部分が精細に映っている必要があり、高解像度のカメラを必要とし、撮影画像を狭くする必要がある。
更に、特許文献2のシステムでは、携帯電話で指示を受けて振り込め詐欺による振り込み操作をしている利用者は顔検知が可能であり、この場合犯罪による振込み行為を防ぐことができない。
そこで、本発明は、携帯電話にて通話しながら自動取引装置の操作をする利用者や、顔を隠蔽しながら自動取引装置から現金を引き出そうとする人を検知すると、店内に注意喚起のための音声メッセージを報知し、自動的に監視センタに当該利用者の画像を送信して監視を行い、必要に応じて自動取引装置や店内の設備を制御することのできる監視装置及び監視システムの提供を目的とする。
更に、特許文献2のシステムでは、携帯電話で指示を受けて振り込め詐欺による振り込み操作をしている利用者は顔検知が可能であり、この場合犯罪による振込み行為を防ぐことができない。
そこで、本発明は、携帯電話にて通話しながら自動取引装置の操作をする利用者や、顔を隠蔽しながら自動取引装置から現金を引き出そうとする人を検知すると、店内に注意喚起のための音声メッセージを報知し、自動的に監視センタに当該利用者の画像を送信して監視を行い、必要に応じて自動取引装置や店内の設備を制御することのできる監視装置及び監視システムの提供を目的とする。
上記目的を達成するために本発明による監視システムは、遠隔の監視センタと、監視領域に設けられた監視装置とからなり、前記監視領域における不審行動を監視する監視システムであって、前記監視装置は、監視領域内にいる人物を撮像する撮像手段と、前記監視領域内にいる人物が携帯電話を使用していることを検知する携帯電話使用検知手段と、前記撮像手段により撮像した映像に基づき人物の顔画像が隠蔽されていることを検知する顔隠蔽検知手段と、前記携帯電話使用検知及び又は顔の隠蔽検知に基づいて、前記撮像手段にて撮像した映像を前記監視センタに送信する送信手段とを有し、前記監視センタは、前記監視装置から送信された映像を受信する受信部と、前記受信部が受診した映像を表示する表示部とを有する。
本発明による監視装置によると、携帯電話を使用しながら自動取引装置を操作しようとする人や顔を隠蔽しながら自動取引装置から現金を引き出そうとする人を検知すると、自動的に監視センタに当該人物の映像を送信して監視を行い、必要に応じてATMや店内の設備を制御することのできるので、振り込め詐欺による振込み行為や、引き出し行為を効果的に抑制することができる。
本発明に係る監視装置によれば、顔を隠して入店する人物及び携帯電話で通話しながら入店する人物を検知すると、注意喚起のために自動的に音声メッセージを出力し、音声メッセージにも拘わらずに携帯電話による通話を中止せず、または顔の隠蔽を継続しながら自動取引装置の操作を継続している場合には、監視センタに映像及び音声を送信して、映像及び音声にて不審者か否かの確認を行なうことができる。
また、本発明に係る監視システムによれば、監視センタから、不審行動を継続する人物に対して、注意や威嚇、行動の制限を行なうことができる。
以下、本発明の実施の形態について、図面を参照して具体的に説明する。
図1は、本発明の監視システムを示す構成図である。
監視システムは、無人店舗(監視領域)4に設置される監視装置1と、遠隔の監視センタ2とを通信網3を介して接続して構成される。本実施形態では、監視領域として金融機関の無人店舗4を例に説明する。なお、監視領域はこれに限られず、コンビニなどのATMコーナーや有人店舗のATMコーナーであってもよい。
図1は、本発明の監視システムを示す構成図である。
監視システムは、無人店舗(監視領域)4に設置される監視装置1と、遠隔の監視センタ2とを通信網3を介して接続して構成される。本実施形態では、監視領域として金融機関の無人店舗4を例に説明する。なお、監視領域はこれに限られず、コンビニなどのATMコーナーや有人店舗のATMコーナーであってもよい。
無人店舗4には、ATM45が設置されている。またATM45の近傍にはATM45の前に人が立つと感知する人感センサと利用者の顔が撮影可能な監視カメラ41が配置される。また、無人店舗4には利用者の発する音声を取得するマイクロホン42、利用者へ注意喚起のための音声ガイダンス等を出力するスピーカー43が設置されている。
監視装置1は、監視カメラ41、マイクロホン42、スピーカー43、人感センサと接続し、監視カメラ41の映像から顔を隠蔽した人物を検知した場合、または、携帯電話を使用している人物を検知すると、注意喚起のための音声ガイダンスをスピーカー43から出力し、それにも拘わらず不審行動が継続すると、監視カメラ41の映像および4内の音声を監視センタ2に送信する。
また、監視装置1は、監視センタ2から受信した音声信号をスピーカー43から出力し、無人店舗4内の利用者が監視センタ2の監視員と通話できるようになっている。更に、監視センタ2から設備制御信号を受信して、無人店舗4内のATM45を制御したり、出入口扉の電気錠46の施錠を行なう。
また、監視装置1は、監視センタ2から受信した音声信号をスピーカー43から出力し、無人店舗4内の利用者が監視センタ2の監視員と通話できるようになっている。更に、監視センタ2から設備制御信号を受信して、無人店舗4内のATM45を制御したり、出入口扉の電気錠46の施錠を行なう。
監視センタ2は、警備会社が運営するサーバーシステムを備えた施設であり、監視装置1と通信する通信部21と、各種情報を表示するディスプレイ、マイクロホン、スピーカーを有したセンタ装置22とを有し、監視員がディスプレイを見ながら4を監視する。また、監視センタ2は、無人店舗4となる施設の情報、無人店舗4に設置された監視装置1の情報、無人店舗4の管理者の情報など、すなわち、監視領域となる無人店舗4の名称、住所、監視装置1の管理番号、過去の対処履歴などを記憶管理するデータベースを具備している。
監視センタ2では、監視装置1から受信した通報信号に基づいて対処すべき無人店舗4の情報、及び受信した映像がディスプレイに表示される。そして、監視員は表示された無人店舗4の情報と映像に映っている人物を視認して、当該人物の顔が確認できるか、又は、携帯電話を通話しながらATM45を操作していないか等を確認する。
不審行動を継続して人物がいれば、マイクロホンとスピーカーを使用して不審行動をしている人物と通話をして確認する。
不審行動を継続して人物がいれば、マイクロホンとスピーカーを使用して不審行動をしている人物と通話をして確認する。
監視員は、映像及び会話により不審行動と判断すれば、センタ装置22を操作して通信部21を介し監視装置1に設備制御コマンドを送信し、無人店舗4に設置しているATM45の操作停止、無人店舗4の出入口扉の電気錠46の施錠を行ない、必要に応じて、無人店舗4への警備員の対処指示などの必要な措置をとる。
他方、監視員は、映像及び通話により不審行動ではないと判断すれば、センタ装置22を操作して通信部21を介し監視装置1に映像送信停止コマンドを送信して、映像の送信を停止させる。
他方、監視員は、映像及び通話により不審行動ではないと判断すれば、センタ装置22を操作して通信部21を介し監視装置1に映像送信停止コマンドを送信して、映像の送信を停止させる。
<監視装置>
次に、図1を用いて監視装置1について説明する。図1に、監視装置の構成を示すブロック図を示している。
次に、図1を用いて監視装置1について説明する。図1に、監視装置の構成を示すブロック図を示している。
監視装置1は、制御部11、監視カメラ41からの映像を受信する画像インターフェース12とマイクロホン42、スピーカー43と接続して音声情報の入出力を行なう音声インターフェース13と、人感センサ44からの検知信号を受信するセンサインターフェース14と、ネットワーク3を介して監視センタ2と通信を行う通信部15と、ATM45、電気錠46と接続して、制御信号を出力する設備制御インターフェース16、から概略構成される。
制御部11は、CPU、メモリ等により実現され、メモリに記憶されている各種プログラムにしたがって監視装置1の各部を制御する。また、携帯電話使用検知部111、顔隠蔽検知部112、設備制御部113、音声ガイダンス処理部114、記憶部115の各部を構成する。
携帯電話使用検知部111は、監視カメラ41により撮像された監視画像を画像処理して人物を抽出し、当該人物が携帯電話を使用しているか否かを判定する。携帯電話の使用の判定については後述するが、例えば、人物の顔画像の横に当該人物の手が継続して検出することを検知する。
顔隠蔽検知部112は、監視カメラ41により撮像された監視画像を画像処理して人物の特定が可能な程度の顔画像ではない場合に顔が隠蔽されていることを検知し、検知結果を出力する。
そのために、顔隠蔽検知部112は、監視画像から動き領域を抽出し、動き領域において楕円形状を有する顔候補領域を検出し、顔候補領域の顔特徴量を算出して顔特徴量を予め定めた基準と比較し、顔特徴量が基準を満たさない場合に顔隠蔽を検知する。例えば、サングラスやマスクを付けた人は人相を判別できないので顔が隠蔽されていると判定する。
そのために、顔隠蔽検知部112は、監視画像から動き領域を抽出し、動き領域において楕円形状を有する顔候補領域を検出し、顔候補領域の顔特徴量を算出して顔特徴量を予め定めた基準と比較し、顔特徴量が基準を満たさない場合に顔隠蔽を検知する。例えば、サングラスやマスクを付けた人は人相を判別できないので顔が隠蔽されていると判定する。
通信部15は、通信網3を介して監視センタ2と通信を行う。制御部11は、携帯電話使用検知部111、顔隠蔽検知部112から信号が入力されると、映像データと、所定の通報データとを含む通報信号を通信部15より監視センタ2に送信する。
<動作の説明>
次に、無人店舗4において携帯電話にて通話している利用者がいる場合の監視装置1及び監視センタ2の動作について説明する。
図2は、携帯電話の使用を検知した場合の監視装置1の動作を示すフローチャートである。
図3は、携帯電話の通話を検知する処理を示すフローチャートである。
次に、無人店舗4において携帯電話にて通話している利用者がいる場合の監視装置1及び監視センタ2の動作について説明する。
図2は、携帯電話の使用を検知した場合の監視装置1の動作を示すフローチャートである。
図3は、携帯電話の通話を検知する処理を示すフローチャートである。
監視装置1が無人店舗4に設置され、電源ONされると、画像I/F12を介して監視カメラ41の映像を取り込み、携帯電話使用検知111は、監視画像を処理して携帯電話の通話の有無を検出する。(ステップS001)
携帯電話使用検知部111の処理は図3に示すフローチャートにて説明する。
携帯電話使用検知部111の処理は図3に示すフローチャートにて説明する。
まずステップS101にて、記憶部115に記憶されている無人店舗4の背景画像を読み出し、監視カメラ41が取得した入力画像との差分を求める。そして、所定の閾値と比較して一定以上の違いがあった部分を変化領域として抽出する。この処理は公知のものを用いればよいので、詳細は省略する。
ステップS102にて、前ステップにて抽出した変化領域の中から、人間の顔らしい部分を切り出して特定する。これには、撮影条件から定まる人間の頭の大きさや、目、鼻、口などの部位の位置関係を仮定したテンプレートを用意し、変化領域の中の中で最もマッチングが取れた位置で決定すればよい。
次に前ステップで抽出された顔領域の周辺領域を参照し、手と腕、特に前腕の大きさや形を満たす領域を抽出する(S103)。これには、予め用意しておいた、手と前腕の形を模したテンプレートを用意し、顔領域の周辺部分に、それと似た部分があるかどうかで判断する。
次に前ステップで抽出された顔領域の周辺領域を参照し、手と腕、特に前腕の大きさや形を満たす領域を抽出する(S103)。これには、予め用意しておいた、手と前腕の形を模したテンプレートを用意し、顔領域の周辺部分に、それと似た部分があるかどうかで判断する。
そして、ステップS104にて、手と判断される領域は顔領域の横、腕と判断される領域は顔領域の斜め下にあるかどうかを調べる。
これは、携帯電話で通話中は、手で携帯電話端末を持ち、顔の真横にある耳に押し当てる一方、前腕部分はその下に位置する、つまり顔領域を基準に取ると、入力画像中で顔領域の斜め下に位置することを意味している。
これは、携帯電話で通話中は、手で携帯電話端末を持ち、顔の真横にある耳に押し当てる一方、前腕部分はその下に位置する、つまり顔領域を基準に取ると、入力画像中で顔領域の斜め下に位置することを意味している。
ステップS104にて、条件が満たされたと判断された場合には、監視カメラ41に写っている人物は携帯電話で通話中と判断する(ステップS106)。
一方、ステップS104にて、条件が満たされなかった場合、つまり手の領域と腕の領域が抽出されなかった場合、あるいは両領域は抽出されたが顔領域の位置関係で上記の条件を満たされなかった場合には、当該人物は携帯電話での通話は行っていないと判断する(ステップS105)。
一方、ステップS104にて、条件が満たされなかった場合、つまり手の領域と腕の領域が抽出されなかった場合、あるいは両領域は抽出されたが顔領域の位置関係で上記の条件を満たされなかった場合には、当該人物は携帯電話での通話は行っていないと判断する(ステップS105)。
ステップS001にて携帯電話の通話が検知されると、音声ガイダンス処理部114は、スピーカー43から、例えば、「携帯電話の入金指示は振り込め詐欺の可能性があります。ATMの操作中は携帯電話の使用を中止して下さい。」旨の注意メッセージを流す。(ステップS002)。
同時に制御部11は、図示しない計時手段を作動して計時を開始する。(ステップS003)
次に、計時がタイムアップするまでの間、所定時間間隔でステップS001と同様の処理にて携帯電話の通話の検知の有無を判定する。(ステップ004)
ここで、利用者が携帯の通話の通話を終了した場合(ステップS004のNO)、計時手段をリセットしてステップS001に戻り、携帯通話の判定を継続する。
次に、計時がタイムアップするまでの間、所定時間間隔でステップS001と同様の処理にて携帯電話の通話の検知の有無を判定する。(ステップ004)
ここで、利用者が携帯の通話の通話を終了した場合(ステップS004のNO)、計時手段をリセットしてステップS001に戻り、携帯通話の判定を継続する。
利用者の携帯通話が継続し、計時がタイムアップした場合(ステップS005のYES)、制御部11は、無人店舗4の情報とともに監視カメラ41の監視画像を監視センタ2に送信する(ステップS006)
これにより、監視センタ2のセンタ装置22では、監視装置1から無人店舗4の情報とともに監視画像を受信すると、ディスプレイに映像を表示する。
これにより、監視センタ2のセンタ装置22では、監視装置1から無人店舗4の情報とともに監視画像を受信すると、ディスプレイに映像を表示する。
監視センタ2では、監視員がこの映像を参照して、利用者が携帯電話で通話しながらATM45を操作していることを確認した場合には必要な対応処置をとる。
必要な対応処置としては、監視員がATM45の利用者と通話をして状況を確認することである。監視センタ2及び監視装置1は、それぞれマイク及びスピーカーが設けられて、通話可能となっている。
必要な対応処置としては、監視員がATM45の利用者と通話をして状況を確認することである。監視センタ2及び監視装置1は、それぞれマイク及びスピーカーが設けられて、通話可能となっている。
ここで、監視員の呼びかけに応答が無い場合には、不審な振込み手続きが行なわれていると判断して、監視員が監視センタ2にてATM45の動作を停止するコマンドを入力する。
監視装置1の制御部11は、監視センタ2から設備制御コマンドであるATM停止コマンドを受信すると(ステップS007のYES)、設備制御インターフェース16よりATM45に操作停止信号を出力する(ステップS008)。
尚、直接ATMの動作を停止させる以外にも、例えば、ATMの操作画面をシャッターで覆うようにしてもよい。
監視装置1の制御部11は、監視センタ2から設備制御コマンドであるATM停止コマンドを受信すると(ステップS007のYES)、設備制御インターフェース16よりATM45に操作停止信号を出力する(ステップS008)。
尚、直接ATMの動作を停止させる以外にも、例えば、ATMの操作画面をシャッターで覆うようにしてもよい。
監視センタ2の監視員はディスプレイに表示された画像やATM利用者との会話にて振り込め詐欺ではない正常な振込み操作であると確認した場合には、映像による監視を終了して画像送信停止コマンドを送信する。
監視装置1の制御部11は、監視センタ2から画像送信停止コマンドを受信すると(ステップS009のYES)、監視センタ2への画像送信を停止する(ステップS010)。
監視装置1の制御部11は、監視センタ2から画像送信停止コマンドを受信すると(ステップS009のYES)、監視センタ2への画像送信を停止する(ステップS010)。
次に、無人店舗4に、サングラスやマスク、手などで顔を隠している利用者がいる場合の監視装置1及び監視センタ2の動作について説明する。
図4は、顔の隠蔽を検知した場合の監視装置1の動作を示すフローチャートである。
図5は、顔隠蔽検知部112の処理を示すフローチャートである。
図4は、顔の隠蔽を検知した場合の監視装置1の動作を示すフローチャートである。
図5は、顔隠蔽検知部112の処理を示すフローチャートである。
監視装置1が無人店舗4に設置され、電源ONされると、画像I/F12を介して監視カメラ41の映像を取り込み、顔隠蔽検知部112は、監視画像を処理して利用者の画像の顔が認識できるかを判別処理する。(ステップ201)
顔隠蔽検知部112の処理は図5に示すフローチャートにて説明する。
まず、顔隠蔽検知部112は、背景画像と新たに撮像された監視画像とを比較して背景画像と監視画像との間で相違する動き領域を抽出する(S301)。
まず、顔隠蔽検知部112は、背景画像と新たに撮像された監視画像とを比較して背景画像と監視画像との間で相違する動き領域を抽出する(S301)。
動き領域が抽出された場合(S302にてYES)、処理はS303へ進み、顔隠蔽検知部112は利用者の顔が存在し得る領域である顔候補領域の抽出を行う。すなわち、顔隠蔽検知部112は監視画像に公知のPrewittフィルタ等を施してエッジ画像を生成し、エッジ画像と予め設定された楕円形状の参照パターンとのパターンマッチング処理を動き領域において探索的に行い、参照パターンと一致する領域を顔候補領域として検出する。尚、エッジ画像に公知のハフ変換を施して楕円形状を検出することによっても顔候補領域を検出できる。
S304にて顔候補領域が検出されなかった場合(S304にてNO)、顔全体の隠蔽と判定して、顔隠蔽検知処理を終了する。
一方、顔候補領域が検出された場合(S304にてYES)、処理はS305へ進み、顔認識判別処理部112は、顔候補領域のそれぞれに対し、人相判別可能な顔画像としての特徴量(顔特徴量)を算出する。顔特徴量は、顔候補領域における輝度、肌色度合い、彩度成分の統計量などとすることができる。例えば、輝度の重心のY座標と顔候補領域の中心のY座標の差(C1)、輝度値のY方向の標準偏差とX方向の標準偏差の比(C2)、輝度値が所定値以下である画素の数の割合(C3)、彩度成分が予め定めた下限値より小さい画素(暗色系に相当)の割合と彩度成分が予め定めた上限値より大きい画素(原色系に相当)の割合の和(C4)、肌色度合いの平均値(C5)、肌色度合いが所定値以上である画素数の割合(C6)などとする。肌色度合いは、監視画像の画素値をHSV表色系に変換し、H成分(色相成分)が30のときに最大となり30から離れるほど小さくなるような評価関数に代入することにより求めることができる。彩度成分はHSV表色系に変換された画素値のS成分として求めることができる。
一方、顔候補領域が検出された場合(S304にてYES)、処理はS305へ進み、顔認識判別処理部112は、顔候補領域のそれぞれに対し、人相判別可能な顔画像としての特徴量(顔特徴量)を算出する。顔特徴量は、顔候補領域における輝度、肌色度合い、彩度成分の統計量などとすることができる。例えば、輝度の重心のY座標と顔候補領域の中心のY座標の差(C1)、輝度値のY方向の標準偏差とX方向の標準偏差の比(C2)、輝度値が所定値以下である画素の数の割合(C3)、彩度成分が予め定めた下限値より小さい画素(暗色系に相当)の割合と彩度成分が予め定めた上限値より大きい画素(原色系に相当)の割合の和(C4)、肌色度合いの平均値(C5)、肌色度合いが所定値以上である画素数の割合(C6)などとする。肌色度合いは、監視画像の画素値をHSV表色系に変換し、H成分(色相成分)が30のときに最大となり30から離れるほど小さくなるような評価関数に代入することにより求めることができる。彩度成分はHSV表色系に変換された画素値のS成分として求めることができる。
記憶部115には、事前に隠蔽の無い顔画像(正常顔画像)から同様にして算出された顔特徴量が予め記憶されている。
顔隠蔽検知部112は、顔候補領域のそれぞれについて算出された顔特徴量を記憶部115に記憶されている顔特徴量と比較して類似度を求め、類似度が予め定めたしきい値を超える顔候補領域が1つでもあれば人相判別可能な顔画像が検知されたと判定して(S306にてYES)、顔隠蔽検知処理を終了する。
一方、類似度がしきい値を超える顔候補領域が1つもなければ人相判別可能な顔画像が検知されず顔が隠蔽されていると判定して(S306にてNO)、顔隠蔽検知処理を終了する。
顔隠蔽検知部112は、顔候補領域のそれぞれについて算出された顔特徴量を記憶部115に記憶されている顔特徴量と比較して類似度を求め、類似度が予め定めたしきい値を超える顔候補領域が1つでもあれば人相判別可能な顔画像が検知されたと判定して(S306にてYES)、顔隠蔽検知処理を終了する。
一方、類似度がしきい値を超える顔候補領域が1つもなければ人相判別可能な顔画像が検知されず顔が隠蔽されていると判定して(S306にてNO)、顔隠蔽検知処理を終了する。
例えば類似度がしきい値以下となる顔画像には、サングラスとマスクの装着により隠蔽された顔画像、ヘルメットや目出し帽の装着による隠蔽された顔画像などがある。
サングラスとマスクを含む顔画像は、正常顔画像に比べて、上方に暗い画素が集中して輝度重心が中心より下方となるため顔特徴量C1の類似度が低くなる。また、横方向に見たライン毎の輝度値の分散は小さいのに対し縦方向に見たライン毎の輝度値の分散は大きくなるため顔特徴量C2の類似度が低くなる。さらに、サングラスの部分での輝度値が極端に低くなるため顔特徴量C3の類似度が低くなる。また、肌色が少ないため顔特徴量C5,C6の類似度が低くなる。以上によりサングラスとマスクを含む顔画像は人相判別可能な顔画像として検出されない。
サングラスとマスクを含む顔画像は、正常顔画像に比べて、上方に暗い画素が集中して輝度重心が中心より下方となるため顔特徴量C1の類似度が低くなる。また、横方向に見たライン毎の輝度値の分散は小さいのに対し縦方向に見たライン毎の輝度値の分散は大きくなるため顔特徴量C2の類似度が低くなる。さらに、サングラスの部分での輝度値が極端に低くなるため顔特徴量C3の類似度が低くなる。また、肌色が少ないため顔特徴量C5,C6の類似度が低くなる。以上によりサングラスとマスクを含む顔画像は人相判別可能な顔画像として検出されない。
ヘルメットや目出し帽を含む顔画像は、正常顔画像に比べて、特定の色彩が多く含まれるという性質があり、顔特徴量C4の類似度が低くなる。また、肌色が少ないため顔特徴量C5,C6の類似度が低くなる。そのため、ヘルメットや目出し帽を含む顔画像は人相判別可能な顔画像として検出されない。
ステップS201にて顔の隠蔽と判断されると。音声ガイダンス処理部114は、スピーカー43から、例えば、「犯罪防止の為、顔が隠れないようにして下さい。」旨の注意メッセージを流す。(ステップS202)。
同時に制御部11は、図示しない計時手段を作動して計時を開始する。(ステップS203)
同時に制御部11は、図示しない計時手段を作動して計時を開始する。(ステップS203)
次に、計時がタイムアップするまでの間、所定時間間隔でステップS31と同様の処理にて顔の隠蔽検知処理を行なう。(ステップ204)
ここで、利用者がサングラスを外す等を行い、顔の隠蔽が検知されなくなると(ステップS204のNO)、計時手段をリセットしてステップS201に戻り、顔隠蔽検知処理を継続する。
ここで、利用者がサングラスを外す等を行い、顔の隠蔽が検知されなくなると(ステップS204のNO)、計時手段をリセットしてステップS201に戻り、顔隠蔽検知処理を継続する。
利用者の携帯通話が継続して、計時がタイムアップした場合(ステップS205のYES)、制御部11は、無人店舗4の情報とともに監視カメラ41の監視画像を通信部15にて監視センタ2に送信する(ステップS206)
これにより、監視センタ2では、監視装置1から無人店舗4の情報とともに監視画像を受信すると、ディスプレイに画像を表示する。
これにより、監視センタ2では、監視装置1から無人店舗4の情報とともに監視画像を受信すると、ディスプレイに画像を表示する。
監視センタ2では、監視員がこの画像を参照して、利用者が顔を隠蔽しながらATM45を操作していることを確認した場合には必要な対応処置をとる。
必要な対応処置の一つは、監視員が、ATMの利用者と通話をして状況を確認することである。監視センタ2及び監視装置1は、マイク及びスピーカーが設けられて、通話可能となっている。
必要な対応処置の一つは、監視員が、ATMの利用者と通話をして状況を確認することである。監視センタ2及び監視装置1は、マイク及びスピーカーが設けられて、通話可能となっている。
ここで、監視員の呼びかけに応答が無い場合には、不審な操作が行なわれていると判断して、監視員が監視センタ2にてATM45の動作を停止するコマンドを入力する。
監視装置1の制御部11は、監視センタ2から設備制御コマンドであるATM停止コマンドを受信すると(ステップS207のYES)、設備制御インターフェース16よりATM45に操作停止信号を出力する(ステップS208)。
監視装置1の制御部11は、監視センタ2から設備制御コマンドであるATM停止コマンドを受信すると(ステップS207のYES)、設備制御インターフェース16よりATM45に操作停止信号を出力する(ステップS208)。
尚、直接ATMの動作を停止させる以外にも、例えば、ATMの操作画面をシャッターで覆うようにしてもよい。
監視センタ2の監視員はディスプレイに表示された画像やATM利用者との会話にて不審な操作ではなく正常な操作であると確認した場合には、画像送信停止コマンドを送信する。
監視装置1の制御部11は、監視センタ2から画像送信停止コマンドを受信すると(ステップS209のYES)、監視センタ2への画像送信を停止する(ステップS210)。
監視センタ2の監視員はディスプレイに表示された画像やATM利用者との会話にて不審な操作ではなく正常な操作であると確認した場合には、画像送信停止コマンドを送信する。
監視装置1の制御部11は、監視センタ2から画像送信停止コマンドを受信すると(ステップS209のYES)、監視センタ2への画像送信を停止する(ステップS210)。
以上の実施形態では、携帯電話使用検知部111は、監視カメラ41の映像を処理して利用者の映像から携帯電話の使用を検知するようにしているが、これに限らず、例えば、当該人物の音声をマイク42で収集し、収集した音声中に継続して「はい」や「えぇ」等の相手の指示に対する返事に対応した音声が所定回数連続した場合に、携帯電話の使用を検出するようにしてもよい。
1 監視装置
2 監視センタ
3 通信網
4 無人店舗
41 監視カメラ
42 マイク
43 スピーカー
44 人感センサ
45 ATM
46 電気錠
11 制御部
12 画像I/F
13 音声I/F
14 センサI/F
15 通信部
16 設備制御I/F
2 監視センタ
3 通信網
4 無人店舗
41 監視カメラ
42 マイク
43 スピーカー
44 人感センサ
45 ATM
46 電気錠
11 制御部
12 画像I/F
13 音声I/F
14 センサI/F
15 通信部
16 設備制御I/F
Claims (6)
- 遠隔の監視センタと、監視領域に設けられた監視装置とからなり、前記監視領域における不審行動を監視する監視システムであって、
前記監視装置は、
監視領域内にいる人物を撮像する撮像手段と、
前記監視領域内にいる人物が携帯電話を使用していることを検知する携帯電話使用検知手段と、
前記撮像手段により撮像した映像に基づき人物の顔画像が隠蔽されていることを検知する顔隠蔽検知手段と、
前記携帯電話使用検知及び又は顔の隠蔽検知に基づいて、前記撮像手段にて撮像した映像を前記監視センタに送信する送信手段と、
を有し、
前記監視センタは、
前記監視装置から送信された映像を受信する受信部と、
前記受信部が受信した映像を表示する表示部と、
を有することを特徴とする監視システム。 - 前記監視センタは、前記監視領域の設備を制御する制御信号を前記監視装置に送出し、
前記監視装置は、受信した制御信号に基づいて監視領域内の設備を制御することを特徴とする請求項1記載の監視システム。 - 監視領域内における人物の不審な行動を監視する監視装置であって、
監視領域内の人物を撮像する撮像手段と、
前記監視領域の人物が携帯電話を使用していることを検知する携帯電話使用検知手段と、
前記撮像手段により撮像した映像に基づき人物の顔画像が隠蔽されていることを検知する顔隠蔽検知手段と、
前記携帯電話使用検知及び又は顔の隠蔽検知に基づいて、前記撮像手段にて撮像した映像を外部に送信する送信手段と、
を有する監視装置。 - 前記携帯電話使用検知手段は、前記撮像手段により撮像した映像に基づき、撮像された人物が携帯電話を使用していることを検知することを特徴とする請求項3記載の監視装置。
- 監視領域内の音声を検知する音声検知手段を有し、
前記携帯電話使用検知手段は、監視領域内の音声に基づいて携帯電話を使用していることを検知することを特徴とする請求項3記載の監視装置。 - さらに、音声メーセージ報知手段を有し、前記携帯電話使用検知手段及び又は前記顔隠蔽検知手段に基づいて、前記音声メーセージ報知手段にて注意喚起のための音声メーセージを監視領域内に報知することを特徴とする請求項3記載の監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008249310A JP2010079740A (ja) | 2008-09-26 | 2008-09-26 | 監視システム及び監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008249310A JP2010079740A (ja) | 2008-09-26 | 2008-09-26 | 監視システム及び監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010079740A true JP2010079740A (ja) | 2010-04-08 |
Family
ID=42210083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008249310A Pending JP2010079740A (ja) | 2008-09-26 | 2008-09-26 | 監視システム及び監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010079740A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012014522A (ja) * | 2010-07-01 | 2012-01-19 | Secom Co Ltd | 通報装置 |
JP2012048676A (ja) * | 2010-08-30 | 2012-03-08 | Secom Co Ltd | 通報装置 |
JP2012212969A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
JP2015041337A (ja) * | 2013-08-23 | 2015-03-02 | セコム株式会社 | 取引監視装置 |
CN104732698A (zh) * | 2015-04-19 | 2015-06-24 | 苏州神林堂中医药研究所 | 一种基于物联网与图像识别的报警系统 |
WO2018012148A1 (ja) * | 2016-07-11 | 2018-01-18 | 沖電気工業株式会社 | 監視装置 |
CN111899449A (zh) * | 2020-07-21 | 2020-11-06 | 深圳信息职业技术学院 | 一种基于图像处理的室内安防装置及报警控制系统 |
WO2022018928A1 (ja) * | 2020-07-22 | 2022-01-27 | 日本電産サンキョー株式会社 | 空中像表示装置および入力装置 |
-
2008
- 2008-09-26 JP JP2008249310A patent/JP2010079740A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012014522A (ja) * | 2010-07-01 | 2012-01-19 | Secom Co Ltd | 通報装置 |
JP2012048676A (ja) * | 2010-08-30 | 2012-03-08 | Secom Co Ltd | 通報装置 |
JP2012212969A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
JP2015041337A (ja) * | 2013-08-23 | 2015-03-02 | セコム株式会社 | 取引監視装置 |
CN104732698A (zh) * | 2015-04-19 | 2015-06-24 | 苏州神林堂中医药研究所 | 一种基于物联网与图像识别的报警系统 |
WO2018012148A1 (ja) * | 2016-07-11 | 2018-01-18 | 沖電気工業株式会社 | 監視装置 |
US10629036B2 (en) | 2016-07-11 | 2020-04-21 | Oki Electric Industry Co., Ltd. | Surveillance device |
CN111899449A (zh) * | 2020-07-21 | 2020-11-06 | 深圳信息职业技术学院 | 一种基于图像处理的室内安防装置及报警控制系统 |
WO2022018928A1 (ja) * | 2020-07-22 | 2022-01-27 | 日本電産サンキョー株式会社 | 空中像表示装置および入力装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010079740A (ja) | 監視システム及び監視装置 | |
JP6447234B2 (ja) | 端末監視装置、端末監視方法及びプログラム | |
US20040223629A1 (en) | Facial surveillance system and method | |
CN101833829A (zh) | 带图像监控识别分析系统的取款机或存取款机 | |
JP2010238204A (ja) | 監視装置および監視方法 | |
JP5448468B2 (ja) | 取引監視装置 | |
JP5580686B2 (ja) | 通報装置 | |
JP2010176533A (ja) | 取引監視装置 | |
JP2011227679A (ja) | 通報装置 | |
JP2010122794A (ja) | 自動取引システム及び自動取引装置 | |
JP4540456B2 (ja) | 不審者検出装置 | |
JP2012118716A (ja) | 画像監視装置 | |
JP5317735B2 (ja) | 取引監視装置 | |
JP7032786B2 (ja) | 自動取引装置、監視システム及び方法 | |
JP3094537U (ja) | 防犯機能付自動販売機 | |
JP2010079752A (ja) | 自動取引システム | |
JP6761328B2 (ja) | 集合住宅用インターホンシステム | |
CN110830769B (zh) | 监控处理方法及系统、处理装置、存储介质及电子装置 | |
KR101915119B1 (ko) | 현금자동입출금기 보안방법 | |
JP5339941B2 (ja) | 取引監視装置 | |
JP2017215735A (ja) | 振り込め詐欺防止システム及び振り込め詐欺防止方法 | |
KR100839612B1 (ko) | 방범시스템 및 그 운용방법 | |
JP5250364B2 (ja) | 取引監視装置および取引監視システム | |
JP2006059230A (ja) | 出入管理システム | |
JP2010079753A (ja) | 自動取引システム |