JP2013088870A - 不審者検知装置、不審者検知方法およびプログラム - Google Patents

不審者検知装置、不審者検知方法およびプログラム Download PDF

Info

Publication number
JP2013088870A
JP2013088870A JP2011226160A JP2011226160A JP2013088870A JP 2013088870 A JP2013088870 A JP 2013088870A JP 2011226160 A JP2011226160 A JP 2011226160A JP 2011226160 A JP2011226160 A JP 2011226160A JP 2013088870 A JP2013088870 A JP 2013088870A
Authority
JP
Japan
Prior art keywords
frequency distribution
behavior
suspicious person
behavior feature
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011226160A
Other languages
English (en)
Inventor
Junko Suzuki
順子 鈴木
Pateiranneheraage Chiyandorashiri Naiwara
パティランネヘラーゲ チャンドラシリ ナイワラ
Eiji Kawamura
英二 川村
Tatsuki Taniguchi
達樹 谷口
Takashi Kasai
隆志 笠井
Hitoshi Kumon
仁 久門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IVIS Inc
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Original Assignee
IVIS Inc
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IVIS Inc, Toyota Motor Corp, Toyota InfoTechnology Center Co Ltd filed Critical IVIS Inc
Priority to JP2011226160A priority Critical patent/JP2013088870A/ja
Publication of JP2013088870A publication Critical patent/JP2013088870A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】カメラ画像から不審者を自動的に検知する。
【解決手段】不審者検知装置は、撮影手段と、撮影手段によって撮影された画像から人物を抽出する画像解析手段と、抽出された人物の行動特徴量を所定時間おきに算出し、行動特徴量の度数分布を求める度数分布解析手段と、前記度数分布解析手段によって求められた行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する判定手段と、を備える。行動特徴量としては、移動速度、移動方向の変動量、所定の対象物との間の距離、頭の高さを例示できる。正常行動と不審行動についての行動特徴量度数分布をあらかじめ記憶しておき、これと画像から得られた行動特徴量度数分布を比較することで不審者を検知する。あるいは、画像から得られた行動特徴量度数分布のばらつきに基づいて不審者を検知することもできる。
【選択図】図1

Description

本発明は、不審者を検知するための技術に関する
従来、犯罪などを防止するために、不審者を検知する監視システムが研究・開発されている。特に監視カメラによって得られる画像から、人間による目視無しに、自動的に不審者を検知することが望まれている。
たとえば、特許文献1では、施設内で内部者と不審者を判別するために以下の手法が開示されている。すなわち、カメラで撮影した画像から人の移動軌跡を求め、この移動軌跡を移動の速さ(v)と方向変位角(θ)とに分解し、単位時間毎のv・cosθの平均値を動作要素指標として算出し、動作要素指標値が閾値以下であれば不審者であると判定する。
また、特許文献2では、車両用の防犯装置として、カメラで撮影した画像から人の足を検出し、足の向きと車両からの距離に基づいて不審者を検知することが開示されている。具体的には、車両の方向に足を向けている時間および車両近傍に位置する時間に基づいて、不審者を検知することが開示されている。
特許2005−275912号公報 特開2009−137434号公報
しかしながら、特許文献1の方法では、移動のみが行われるような場所では比較的適切に機能すると考えられるが、その他の状況においては、正常者を誤って不審者と判断したり、逆に不審者を正常者と判断したりといった誤検知が避けられない。
また、特許文献2の方法では、足などの特定部位に対して特定の動作を不審行動と定義するため、この特定部位を検出する必要がある。つまり、この特定部位が検出されない場合には不審者検知が実行できず、検出機会が減ってしまう。
本発明は、より適切に不審者を検知することを目的とする。
上記の課題を解決するために、本発明に係る不審者検知装置は、撮影手段と、撮影手段によって撮影された画像から人物を抽出する画像解析手段と、抽出された人物の行動特徴量を所定時間おきに算出し、行動特徴量の度数分布を求める度数分布解析手段と、前記度数分布解析手段によって求められた行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する判定手段と、を備える。
ここで、行動特徴量としては、移動速度、移動方向の変動量、所定の対象物との間の距離、頭の高さの変動量、あるいはこれらの組合せを例として挙げることができる。これらの行動特徴量は、画像から人間の頭部を検出し、その位置の時間変化から求めることができる。なお、行動特徴量は上記以外にも、例えば、手や足の向きや動きなどを採用するこ
ともできる。行動特徴量の検出方法は、行動特徴量の定義に応じてそれぞれ適切な方法を採用することが好ましい。
また、本発明において、度数分布解析手段は、所定時間おきに、直近の所定期間内における行動特徴量の度数分布を求め、判定手段は、直近の所定期間内における行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否か判定することが好ましい。
このような構成によれば、行動特徴量の度数分布のばらつきを基準にすることで、不審者を判断することができる。一般に、正常者の行動では行動特徴量の度数分布にばらつきが小さいのに対して、不審者の行動は行動特徴量の度数分布にばらつきが大きい。したがって、行動特徴量の度数分布を参照することで、画像から抽出された人物が不審者であるか否か判断できる。
また、本発明において、判定手段による行動特徴量の度数分布に基づく不審者の判定は、具体的には以下の方法によって判断することができる。
例えば、不審な行動の行動特徴量の度数分布を不審行動記憶手段にあらかじめ記憶しておき、画像から求められた行動特徴量の度数分布が不審行動の度数分布と一致する場合に、抽出された人物を不審者であると判定することができる。
また、正常な行動の行動特徴量の度数分布を正常行動記憶手段にあらかじめ記憶しておき、画像から求められた行動特徴量の度数分布と正常行動の度数分布とのずれが所定の基準以上である場合に、抽出された人物を不審者であると判定することができる。
また、正常行動と異常行動の両方についての度数分布をあらかじめ記憶しておき、画像から求められた行動特徴量の度数分布がどの行動と最も良く一致するかを判定し、異常行動の度数分布と最も良く一致する場合に、抽出された人物を不審者であると判定することができる。
また、異常行動や正常行動の行動特徴量の度数分布をあらかじめ保持することなく、画像から求められた行動特徴量が所定の基準(たとえば、ばらつきが大きい、所定値以上または以下の度数が基準より大きい、など)を満たす場合に、抽出された人物を不審者であると判定することができる。
また本発明において、度数分布解析手段によって求められた行動特徴量の度数分布を、いくつかのグループにグループ分けする類型化手段を備えることも好ましい。度数分布解析手段によって求められた行動特徴量の度数分布同士を比較し、その一致度を算出することで、一致度の高い度数分布同士を1つのグループとすることができる。このような類型化手段によって、不審者検知装置が実際に運用中に得られる様々行動パターンを類型化することができる。
また本発明において、類型化手段によってグループ分けされた各グループを代表する度数分布を求め、この代表的な度数分布を用いて、抽出された人物が不審者であるか否かを判定することも好ましい。すなわち、類型化手段によって得られる各グループを代表する度数分布を、上述の不審者行動記憶手段に記憶する不審行動の行動特徴量の度数分布もしくは、正常行動記憶手段に記憶する正常行動の行動特徴量の度数分布として用いることが好ましい。なお、類型化手段によって類型化された各グループが不審行動であるか正常行動であるかは、グループ内の各行動についての上記判定手段による判定結果に基づいて決定しても良いし、その他の判定アルゴリズムに従って判断しても良いし、人間が判断しても良い。このように、様々な行動パターンを数多く取り込むことにより、あらかじめ記憶
しておく行動特徴量をより的確でかつ信頼性を向上させることができる。
なお、本発明は、上記手段の少なくとも一部を有する不審者検知装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む不審者検知方法、およびこの方法を実行するプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、適切に不審者を検知することができる。
第1の実施形態にかかる車両防犯装置の構成を示す図である。 行動特徴量である移動速度および移動方向の変位量の算出方法を説明する図である。 行動特徴量の度数分布の算出方法を説明する図である。 あらかじめ格納される所定の行動パターンの行動特徴量の度数分布である。(A)(B)は正常行動の行動特徴量度数分布であり、(C)は不審行動の行動特徴量度数分布である。 監視カメラによって撮影される人物の行動パターンの例である。 本実施形態にかかる車両防犯装置が行う処理の流れを示すフローチャートである。 第2の実施形態にかかる車両防犯装置の構成を示す図である。 第2の実施形態における行動パターンの類型化処理の流れを示すフローチャートである。
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
(第1の実施形態)
第1の実施形態は車両に搭載される、車両用防犯装置である。本実施形態にかかる車両用防犯装置は、車両に搭載されたカメラを用いて車両周辺の人物を撮影し、コンピュータ(ECU)が画像処理を行うことで不審者の検知を行い、警報を鳴らしたりする。
[構成]
図1Aは、本実施形態にかかる車両防犯装置の機能構成を示すブロック図である。車載カメラ2a〜2dは、図1Bに示すように車両前方・側方・後方を視野とする広角カメラである。これら4台のカメラにより車両周囲の全方向を撮影範囲とする。もちろん、カメラの台数は4台に限られる必要はなく、より多くても少なくてもかまわない。
車両防犯装置は、不審者検知ECUを備える。ECUは、CPU、ROM、RAM、バックアップRAM、センサ・アクチュエータとの入出力インタフェースを備える電子制御ユニット(コンピュータ)である。ROMに格納されたプログラム(不審者検知プログラム)をCPUが実行することで、不審者検知ECUは、画像取得部3、人物検出部4、行動特徴量算出部5、不審者判定部6、正常行動特徴量データベース7、異常行動特徴量データベース8などの各機能部として動作する。
画像取得部3は、車載カメラ2a〜2dから定期的に画像を取得する。人物検出部4は、画像取得部3が取得した画像から人物を検出する。画像から人物を検出するためには任意の従来技術を用いれば良く、例えば、画像から人物の輪郭(胴体、頭部など)を検出したり、顔を検出したりすることによって行える。
行動特徴量算出部5は、検出された人物の行動特徴量を所定の間隔(例えば、0.5秒)おきに算出する。本実施形態において算出する行動特徴量は、移動速度、移動方向の変動量、車両との間の距離、頭の高さの変動量の4つとする。もちろん、行動特徴量としてこれら以外のものを採用してもかまわない。例えば、手や足の向きや、手や足の動きなどを採用することができる。
行動特徴量算出部5は、各行動特徴量を以下のようにして求める。移動速度は、人物の位置(水平位置)を画像から算出して、位置の変位から算出する。人物の位置は、画像から人物を検出することによって求めることができる。なお、人物の水平位置を求めるためには、車載カメラ2が俯瞰画像を撮影可能であるか、ステレオ画像(立体画像)が撮影可能であることが好ましい。図2に示すように、時刻t0,t1,t2において人物が位置200,201,202にいる場合、時刻t1における移動速度は、位置201と位置200の間の距離s1を、時刻差t1−t0で割った値として求めることができる。
移動方向の変位量も移動速度と同様に、人物の位置の変位から算出する。図2の例では、時刻t1における移動方向は位置200と位置201を結ぶ方向であり、時刻t2における移動方向は位置201と位置202を結ぶ方向である。したがって、時刻t2における移動方向の変動量は図2に示す角度θ2として算出することができる。なお、各時刻における移動方向の算出を直近の2つの時刻における位置のみから行うものとして説明したが、より多くの時刻における位置から移動方向を算出してもかまわない。
車両との間の距離は、人物の位置と車両の位置とを検出することで求められる。また、頭の高さの変動量は、画像から頭部を検出し、前回の検出結果との差を算出することで求められる。なお、水平高さを検出するためには、カメラの撮影方向がほぼ水平であるか、カメラがステレオ画像を撮影可能であることが好ましい。
なお、ここで求めている行動特徴量は、移動速度および車両との距離は絶対値として求めており、移動方向および頭の高さは変動量として求めている。しかし、いずれの行動特徴量も絶対値で求めても変動量として求めてもかまわない。
行動特徴量算出部5は、上記のように定期的に行動特徴量を算出し、直近の所定期間内における行動特徴量の度数分布を求める。図3は、行動特徴量の度数分布を求める方法を概念的に説明する図である。行動特徴量は上記のように定期的(例えば0.5秒おき)に算出される。一例として、度数分布は、現在時刻から所定の計数期間内(例えば10秒以内)の行動特徴量の値から求められる。度数分布の算出は、行動特徴量が算出されるたびに行ってもかまわないが、より長い時間間隔(例えば5秒)で行われてもかまわない。なお、度数分布を算出する対象とする計数期間の長さや、度数分布を算出する間隔などは、全ての行動特徴量について同じにする必要はなく、行動特徴量に応じて異なる値とすることも好ましい。また、度数分布のビン幅は行動特徴量に応じて適宜設定すればよい。
正常行動特徴量DB(データベース)7には、正常な行動(不審ではない行動)についての行動特徴量の度数分布があらかじめ記憶される。どのような行動を正常とみなすかは監視の対象によっても異なるが、本実施形態においては、例えば、車両の横をまっすぐ通り過ぎる、車両を回り込むように移動する、などを挙げることができる。このような正常な行動について、行動特徴量算出部5が行うのと同等の処理によって行動特徴量およびその度数分布の算出を行って、正常行動特徴量DB7に格納する。
図4Aおよび図4Bに、上記2つの行動パターンについての度数分布の例を示してある。なお、1つの行動についても度数分布は時間の経過とともに変わるものであり、また、
たとえば「車両脇を直進」という正常行動であっても種々のパターンが考えられる。したがって、正常行動特徴量DB7にはより多くの度数分布が格納されており、図4に示した度数分布は一例に過ぎない。図4A,Bから、正常行動の一般的な傾向が分かる。車両脇を直進する正常行動(図4A)では、移動速度はある程度一定であり、方向変動量はほぼ0、車両との距離はほぼ一定または時間とともに変化し、頭の高さはほぼ一定である。同様に、車両を回り込む正常行動(図4B)では、移動速度はある程度一定であり、方向変動量は0以外の値をとることが多く、車両との距離もある程度一定であり、頭の高さもほぼ一定である。このように、正常行動においては、行動特徴量の度数分布は、狭い範囲でピークをとる(ばらつきが少ない)ことが多い。
異常行動特徴量DB8には、同様に、異常な行動(不審な行動)についての行動特徴量の度数分布があらかじめ記憶される。どのような行動を異常とみなすかは監視に対象によっても異なるが、本実施形態においては、例えば、車内ののぞき込み、車上荒らし、などを挙げることができる。このような異常行動な行動について、行動特徴量算出部5が行うのと同等の処理によって行動特徴量およびその度数分布の算出を行って、異常行動特徴量DB8に格納する。
図4Cに、「車内のぞき込み」についての度数分布の例を示してある。図に示すように、この行動では、移動速度・方向変動量・頭の高さの変動量にばらつきが大きく、車両との距離が近いことが分かる。不審な行動では、車両近辺で種々な動作が行われると考えられるため、車両との距離は比較的短距離にピークがあり、その他の行動特徴量については目立ったピークがなくばらつきが大きくなる傾向にある。
正常行動特徴量DB7および異常行動特徴量DB8に格納される度数分布は、例えば、実際の行動を車載カメラによって撮影し、行動特徴量算出部5が算出することで作成することができる。あるいは、画像を用いることなく、開発者が直接度数分布を作成してもかまわない。
不審者判定部6は、行動特徴量算出部5が撮影画像から算出した行動特徴量の度数分布と、あらかじめデータベースに格納された正常行動および異常行動の度数分布とから、画像から抽出された人物の行動が不審行動であるか否か判定する。具体的には、不審者判定部6は、行動特徴量算出部5が算出した行動特徴量の度数分布が、あらかじめデータベースに格納されている度数分布のどの行動パターンと最も一致するかを判断する。この判断は、相関係数を用いる方法や、ニューラルネットワークを用いる手法などによって実現可能である。なお、本実施形態では、行動特徴量として移動速度・移動方向の変動量・車両との距離・頭の高さの変動を採用しているため、個々の行動特徴量の度数分布があらかじめ格納されている行動の度数分布と一致するか求め、それらの一致度を総合して、あらかじめ格納されている度数分布のどの行動と最も良く一致するかを判定しても良い。そして、最も良く一致する行動が異常行動である場合には、画像から抽出された人物を不審者であると判定する。逆に、最も良く一致する行動が正常行動である場合には、画像から抽出された人物を正常者であると判定する。
本実施形態においては、4つの行動特徴量の度数分布を用いて不審な行動を検出している。ここで、1つまたは複数の項目について行動特徴量が取得できない場合も考えられる。このように一部の行動特徴量が欠損している場合であっても、画像から抽出された人物の行動特徴量の度数分布が、あらかじめ記憶されている不審行動の度数分布と一定以上の確からしさを持って推定できる場合には、画像から抽出された人物を不審者であると判断しても良い。
不審者判定部6は、行動特徴量の度数分布のみに基づいて不審者を検知する必要はない
。すなわち、度数分布以外の要素に基づいて不審者を検知しても良い。例えば、車両に対する接近時間が閾値よりも大きいことを不審者検知の条件として加えることも好ましい。短時間しか車両に接近していないのであれば、行動特徴量にばらつきが大きかったとしても不審者と判断する必要はないためである。
また、車両の所有者が不審者であると検出されてしまわないように、スマートキーECU9が車両のスマートキーの存在を認識している場合には、不審者判定部6は不審者検出処理を行わない。すなわち、不審者判定部6は、スマートキーの存在を検出できない場合に、不審者検出処理を開始するように構成されることが好ましい。
不審者判定部6は、不審者を検出した場合には、スピーカー10、ホーン11、照明12,外部通信部13等の手段を用いて、警告を発したり、警備会社や所有者に対して通知を行う。
[動作例]
次に、図5に示すように不審者が車両に接近した場合を例に、本実施形態にかかる車両防犯装置の動作の流れを説明する。図5Aは、車載カメラから検出された人物の移動の軌跡が示されている。黒丸は、等間隔の時間を表しており、したがって黒丸が接近しているほど移動速度が遅いことを意味する。なお、ここでの不審者の行動は、車両に対して近づいて、方向転換をして運転座席側に行き、運転座席付近で歩みを止めて車内をのぞき込んだりしゃがんだりした後に、車両から遠ざかるというものを想定する。もちろん、このような行動パターンは想定されるもののうちのごく一部であり、実際にはより多くの行動パターンを想定する必要があることはいうまでもない。
このような場合を例にとって、本実施形態にかかる車両防犯装置が行う処理の流れを図6のフローチャートを参照しつつ説明する。車両防犯装置は、スマートキーを認識しなくなったり、あるいは明示的に起動の指示が与えられたタイミングで、車両周辺を監視する車載カメラ2を起動する(S2)。画像取得部3が車載カメラ2から画像を取得し、人物検出部4が画像から人物を検出する(S4)。行動特徴量算出部5は、定期的(例えば、0.5秒おき)に、行動特徴量として、移動速度、移動方向の変位量、車両との距離、および頭の高さの変動を算出する(S6)。また、行動特徴量算出部5は、行動特徴量算出の時間間隔よりも長い間隔(例えば5秒)おきに、直近の所定期間(例えば10秒)内における行動特徴量の度数分布を算出する(S8)。
図5Aに示すような行動が検出された場合には、行動特徴量算出部5が算出する行動特徴量は図5Bに示すようになる。ここでの対象人物の行動は、車両に直進で接近する、車両付近で方向転換する、車内を物色する、車両から遠ざかる、という大きく4つの段階に分類できる。車両に直進で接近する第一の段階では、移動速度や頭の高さや移動方向はほぼ一定であり、車両との距離は徐々に近づく。車両付近で方向転換する第二の段階では、移動速度や頭の高さや車両との距離はほぼ一定であるが、移動方向が徐々に変化する。車内を物色している第三の段階では、移動速度は小さくなり、頭の高さが大きく変化し、車両との距離が小さい値で一定し、移動方向も小刻みに変化する。車両から離れる第四の段階では、第一の段階と同様に、移動速度や頭の高さや移動方向はほぼ一定であり、車両との距離は徐々に遠ざかる。
行動特徴量算出部5は、上記のような行動特徴量の度数分布を算出する。そして、不審者判定部6が、算出された度数分布が、正常行動特徴量DB7または異常行動特徴量DB8に格納されている行動パターンに応じた行動特徴量の度数分布(図4参照)のいずれと最も良く一致するかを判定する(S10)。最も良く一致する行動パターンが、不審行動である(異常行動特徴量DB8に格納されたものである)場合(S12−YES)には、
警報システムや警戒システムを起動する(S14)。一方、最も良く一致する行動パターンが正常行動である(正常行動特徴量DB7に格納されたものである)場合(S12−NO)には、何もしない。
図5Aに示した行動を対象人物がとる場合、車両に接近する第一の段階の行動は、車両の脇を直進する行動の度数分布(図4A)と最も良く一致する。したがって、第一の段階では、対象人物の行動は正常であると判断される。車両付近で方向転換する第二の段階の行動は、車両を回り込む行動の度数分布(図4B)と最も良く一致する。したがって、第二の段階でも、対象人物の行動は正常であると判断される。車内を物色する第三の段階行動は、車内をのぞき込んだりする行動の度数分布(図4C)と最も良く一致する。この行動は異常行動であるため、この時点で対象人物は不審者であると判断され、警報が発せられる。なお、車両から遠ざかる第四の行動は、車両脇を直進する行動の度数分布(図4A)と最も良く一致し、正常行動であると判断される。この際、警報システムは引き続き作動させておいても良いし、一定時間以上異常行動を検出しなければ警報システムを停止させるようにしても良い。
[本実施形態の作用・効果]
本実施形態においては、複数の動作(行動特徴量)についての度数分布の組合せによって、不審行動を判別している。このように複数の動作を複合的に考慮して不審な行動を判別しているため、より的確な不審行動判断できる。例えば、一つのみの動作(例えば、足の向き)に注目して不審行動を定義した場合、足を検出できなければ不審行動検出が行えないし、足の動作さえ正常であればその他の行動が不審であっても不審行動検出が行えない。本実施形態では、複数の動作を複合的に判断しているため、一部の行動特徴量が取得できない場合であっても、不審者を検出できる。
(第2の実施形態)
第1の実施形態では、正常行動特徴量DB7および異常行動特徴量DB8に記憶される行動特徴量の度数分布は、固定的なものであった。現実には様々な行動パターンが考えられる。本実施形態では、車両防犯装置が実際に稼働している際にカメラ等によって得られる行動に基づいて、正常行動特徴量DB7および異常行動特徴量DB8に記憶する行動特徴量の度数分布を作成する。これにより、様々な行動パターンを自動学習して学習結果を取り込むようにする。
図7は本実施形態にかかる車両防犯装置の機能構成を示すブロック図である。第1の実施形態との相違点は、不審者検知ECUの機能として、行動特徴量類型化部14が付加されている点である。以下、第1の実施形態との相違点を主に説明する。
行動特徴量類型化部14は、車載カメラによって撮影され行動特徴量算出部5によって求められた複数の行動特徴量の度数分布を、いくつかのグループにグループ分けし、各グループを代表する度数分布を求め、求められた代表的な度数分布を正常行動特徴量DB7あるいは異常行動特徴量DB8に記憶する行動特徴量として採用する。なおそのために、行動特徴量算出部5が求めた行動特徴量の度数分布は破棄せずに記憶しておく必要がある。
図8は、行動特徴量類型化部14が行う処理の流れを示すフローチャートである。図8のフローチャートに示す処理は、行動特徴量算出部5によって新しく行動特徴量の度数分布を求められる度に実行されても良いし、所定数の行動特徴量の度数分布が求められる度に実行されても良いし、定期的あるいはシステム停止時など任意のタイミングで実行されて良い。
まず、行動特徴量類型化部14は、既に求められている行動特徴量の度数分布同士の類似度を算出する(S20)。このように、システム運用中に得られた実際の行動の度数分布同士を比較する。例えば、既に100種類の実際の行動の度数分布が得られている場合には、これら100種類の度数分布から任意の2個の度数分布の比較を行う。度数分布同士の比較(一致度の算出)は、第1の実施形態における処理と同様である。
次に、行動特徴量類型化部14は、比較結果の一致の度合いの強弱を基に、一致度の高い行動の度数分布同士を集めることにより、既に求められている行動を複数のグループに分類する(S22)。なお、グループ数は、あらかじめ定められた数であっても良いし、求められている行動特徴量の数に応じて決定しても良いし、行動特徴量の類似度に応じて動的に決定されても良い。このように度数分布の一致度が高い行動同士を集めることで、行動を分類(類型化)する。例えば、4つのグループに分類されたとすると、これら4グループ内のある1つのグループに属する行動度数分布は、互いに類似する度数分布を持つことになる。具体的には、あるグループに属する行動分布は行動パターンが直進であるものが多く、別のグループに属する行動分布は行動パターンが方向転換であるものが多くなる。
行動特徴量類型化部14は、各グループについて、グループを代表する度数分布を算出する(S24)。代表的な度数分布は、そのグループに属する全度数分布の平均であっても良いし、そのグループ内のある1つの度数分布であっても良い。
このようにして算出された、各グループの代表的な度数分布は、正常行動特徴量DB7あるいは異常行動特徴量DB8に格納され(S26)、以降の不審行動検出において参考にされる。なお、類型化された各グループの行動が正常行動であるか異常行動であるかは、不審者判定部6による判定結果に基づいて判断することができる。すなわち、そのグループに属する行動の多くが不審行動と判定されている場合は、そのグループは不審行動のグループであると判断できる。逆に、そのグループに属する行動の多くが正常行動と判定されている場合は、そのグループは正常行動のグループであると判断できる。
本実施形態では、システム運用中に取得される様々な行動パターンの行動特徴量の度数分布を取り込んで類型化することで、正常行動あるいは異常行動として記憶しておく度数分布(行動パターン)をより的確かつ信頼度の高いものとすることができる。これにより、不審判定の精度を上げることが可能である共に、どのような不審行動が取られたのかという不審状況の詳細な解析も可能となる。
なお上記の説明では、類型化処理による異常行動および正常行動の学習処理がシステム運用中に行われる場合を説明した。しかしながら、上記の類型化処理は、異常行動特徴量DB8や正常行動特徴量DB7を作成する目的で、製品出荷前に行うことも可能である。この場合、グループ分けおよび代表的な行動特徴量の算出までを行動特徴量類型化部14が行い、各グループの行動パターンが異常行動であるか正常行動であるかを人間(開発者)が判断することもできる。
(変形例)
上記の実施形態では、車両用の防犯装置として、車載カメラと車載のコンピュータによって不審者を検出する構成を例として説明した。しかしながら、具体的な装置の配置方法は種々の変形が考えられる。例えば、車載カメラで撮影した画像を、車両外部のコンピュータに送信して、そのコンピュータが不審者の検出処理を行っても良い。また逆に、車載カメラ以外のカメラが撮影した画像を車載コンピュータに送信して、車載コンピュータが不審者の検出処理を行っても良い。また、車両防犯装置を全て車両の外部に設けても良い。例えば、駐車場にカメラとコンピュータを設置し、駐車場内に駐車されている車両を監
視するようにしても良い。
また、本発明の不審者検知装置が検出対象とする不審行動は、車両に対するものに限定される必要はない。例えば、建物に対する侵入者を検出したり、施設内での移動者を監視対象としたり、任意の行動を不審行動として検出するようにしても良い。
上記の説明においては、不審な行動の行動特徴量の度数分布と、正常な行動の行動特徴量の度数分布をあらかじめ記憶しておき、カメラ画像から抽出された行動の行動特徴量の度数分布が、どの行動パターンに最も良く一致するか否かで、不審行動か正常行動かを判断していた。しかしながら、その他の方法によって不審行動を判断することができる。
例えば、あらかじめ記憶しておく行動パターンは、異常行動のみとしても良い。そして、カメラ画像から抽出された行動の行動特徴量の度数分布が、記憶されている不審な行動パターンの行動特徴量の度数分布と、基準値以上の確からしさをもって一致する場合には、不審行動と判断することができる。
逆に、あらかじめ記憶しておく行動パターンは、正常行動のみとしても良い。そして、カメラ画像から抽出された行動の行動特徴量の度数分布が、記憶されている正常な行動パターンのいずれとも基準値以上のずれがある場合に、不審行動と判断することができる。
また、正常行動や不審行動の行動特徴量の度数分布をあらかじめ記憶することなく、画像から算出される行動特徴量の度数分布のみから、行動が正常であるか不審であるかを判断しても良い。図4に示したように、正常行動の場合には行動特徴量の度数分布は、狭い範囲でピークをとり、不審行動の場合には行動特徴量の度数分布は、なだらかなピークをとる傾向にある。したがって、カメラ画像から抽出された行動の行動特徴量の度数分布のばらつき(分散)が所定の基準値以上である場合に、不審行動であると判断することもできる。この場合は、監視対象(例えば車両)との距離が接近している時間が長いなどというその他の条件も合わせて考慮して、不審行動の判断を行うことが好ましい。
また、上記の説明では直近の所定期間における行動特徴量の度数分布が異常行動であるか正常行動であるかを判断して、不審者判定を行っている。しかしながら、行動の時系列遷移を参照して不審者判定を行っても良い。例えば、行動A(度数分布A)あるいは行動B(度数分布B)を単独で検出しただけでは不審とは判定しないが、行動Aの後に行動B(度数分布B)が検出された場合に不審行動であると判定しても良い。2つの行動の遷移だけでなく、より多くの行動の遷移を検出した場合に不審と判定しても良い。
2 車載カメラ
3 画像取得部
4 人物検出部
5 行動特徴量算出部
6 不審者判定部
7 正常行動特徴量データベース
8 異常行動特徴量データベース

Claims (23)

  1. 撮影手段と、
    撮影手段によって撮影された画像から人物を抽出する画像解析手段と、
    抽出された人物の行動特徴量を所定時間おきに算出し、行動特徴量の度数分布を求める度数分布解析手段と、
    前記度数分布解析手段によって求められた行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する判定手段と、
    を備える不審者検知装置。
  2. 前記度数分布解析手段は、所定時間おきに、直近の所定期間内における行動特徴量の度数分布を求め、
    前記判定手段は、直近の所定期間内における行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する、
    請求項1に記載の不審者検知装置。
  3. 不審な行動の行動特徴量の度数分布をあらかじめ記憶する不審行動記憶手段を更に備え、
    前記判定手段は、前記度数分布解析手段によって求められた行動特徴量の度数分布が前記不審行動記憶手段に記憶された度数分布と一致する場合に、抽出された人物が不審者であると判定する、
    請求項1または2に記載の不審者検知装置。
  4. 正常な行動の行動特徴量の度数分布をあらかじめ記憶する正常行動記憶手段をさらに備え、
    前記判定手段は、前記度数分布解析手段によって求められた行動特徴量の度数分布と前記正常行動記憶手段に記憶された度数分布とのずれが所定の基準以上である場合に、抽出された人物が不審者であると判定する、
    請求項1または2に記載の不審者検知装置。
  5. 前記度数分布解析手段によって求められた複数の行動特徴量の度数分布同士を比較し、これら複数の行動特徴量の度数分布をいくつかのグループにグループ分けする類型化手段をさらに備える、
    請求項1から4のいずれかに記載の不審者検知装置。
  6. 前記類型化手段は、グループ分けされた各グループを代表する度数分布を求め、
    前記判定手段は、前記度数分布解析手段によって求められた行動特徴量の度数分布が、前記各グループを代表する度数分布のいずれと最も良く一致するかよって、抽出された人物が不審者であるか否かを判定する、
    請求項5に記載の不審者検知装置。
  7. 前記行動特徴量は移動速度である、請求項1から6のいずれかに記載の不審者検知装置。
  8. 前記行動特徴量は移動方向の変動量である、請求項1から6のいずれかに記載の不審者検知装置。
  9. 前記行動特徴量は所定の対象物との間の距離である、請求項1から6のいずれかに記載の不審者検知装置。
  10. 前記行動特徴量は頭の高さの変動量である、請求項1から6のいずれかに記載の不審者検知装置。
  11. 前記度数分布解析手段は、撮影手段によって撮影された画像から、抽出された人物の頭部を検出して、検出された頭部の位置に基づいて行動特徴量を算出する、
    請求項1から10のいずれかに記載の不審者検知装置。
  12. 画像から人物を抽出する画像解析ステップと、
    抽出された人物の行動特徴量を所定時間おきに算出し、行動特徴量の度数分布を求める度数分布解析ステップと、
    前記度数分布解析ステップにおいて求められた行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する判定ステップと、
    を含む不審者検知方法。
  13. 前記度数分布解析ステップでは、所定時間おきに、直近の所定期間内における行動特徴量の度数分布を求め、
    前記判定ステップで、直近の所定期間内における行動特徴量の度数分布に基づいて、抽出された人物が不審者であるか否かを判定する、
    請求項12に記載の不審者検知方法。
  14. 不審な行動の行動特徴量の度数分布をあらかじめ記憶する不審行動記憶ステップを更に含み、
    前記判定ステップでは、前記度数分布解析ステップにおいて求められた行動特徴量の度数分布が前記不審行動記憶ステップにおいて記憶された度数分布と一致する場合に、抽出された人物が不審者であると判定する、
    請求項12または13に記載の不審者検知方法。
  15. 正常な行動の行動特徴量の度数分布をあらかじめ記憶する正常行動記憶ステップをさらに含み、
    前記判定ステップは、前記度数分布解析ステップにおいて求められた行動特徴量の度数分布と前記正常行動記憶ステップにおいて記憶された度数分布とのずれが所定の基準以上である場合に、抽出された人物が不審者であると判定する、
    請求項12または13に記載の不審者検知方法。
  16. 前記度数分布解析ステップにおいて求められた複数の行動特徴量の度数分布同士を比較し、これら複数の行動特徴量の度数分布をいくつかのグループにグループ分けする類型化ステップをさらに含む、
    請求項12から15のいずれかに記載の不審者検知方法。
  17. 前記類型化ステップでは、グループ分けされた各グループを代表する度数分布を求め、
    前記判定ステップでは、前記度数分布解析ステップにおいて求められた行動特徴量の度数分布が、前記各グループを代表する度数分布のいずれと最も良く一致するかによって、抽出された人物が不審者であるか否かを判定する、
    請求項16に記載の不審者検知方法。
  18. 前記行動特徴量は移動速度である、請求項12から17のいずれかに記載の不審者検知方法。
  19. 前記行動特徴量は移動方向の変動量の変動量である、請求項12から17のいずれかに記載の不審者検知方法。
  20. 前記行動特徴量は所定の対象物との間の距離である、請求項12から17のいずれかに記載の不審者検知方法。
  21. 前記行動特徴量は頭の高さである、請求項12から17のいずれかに記載の不審者検知方法。
  22. 前記度数分布解析ステップでは、画像から抽出された人物の頭部を検出して、検出された頭部の位置に基づいて行動特徴量を算出する、
    請求項12から21のいずれかに記載の不審者検知方法。
  23. 画像取得手段と演算手段を備えるコンピュータに対して、請求項12から22のいずれかに記載の不審者検知方法を実行させるためのコンピュータプログラム。
JP2011226160A 2011-10-13 2011-10-13 不審者検知装置、不審者検知方法およびプログラム Pending JP2013088870A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011226160A JP2013088870A (ja) 2011-10-13 2011-10-13 不審者検知装置、不審者検知方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011226160A JP2013088870A (ja) 2011-10-13 2011-10-13 不審者検知装置、不審者検知方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013088870A true JP2013088870A (ja) 2013-05-13

Family

ID=48532761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011226160A Pending JP2013088870A (ja) 2011-10-13 2011-10-13 不審者検知装置、不審者検知方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2013088870A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157825A1 (ja) * 2015-03-30 2016-10-06 日本電気株式会社 監視システム、監視対象装置、制御方法、及び記録媒体
JP2016181020A (ja) * 2015-03-23 2016-10-13 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JPWO2014188661A1 (ja) * 2013-05-24 2017-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像送信装置
JP2017154530A (ja) * 2016-02-29 2017-09-07 株式会社オートネットワーク技術研究所 車載機及び車両保安システム
WO2018128015A1 (ja) * 2017-01-05 2018-07-12 日本電気株式会社 不審度推定モデル生成装置
JP2019077330A (ja) * 2017-10-24 2019-05-23 圭史朗 金森 監視装置、監視システム、監視方法及び監視プログラム
WO2019181468A1 (ja) * 2018-03-19 2019-09-26 株式会社デンソー 車両の異常情報提示装置及び異常情報提示方法
JP2019205078A (ja) * 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
US10552713B2 (en) 2014-04-28 2020-02-04 Nec Corporation Image analysis system, image analysis method, and storage medium
JP2020111127A (ja) * 2019-01-10 2020-07-27 株式会社デンソー 車両制御装置
US20210256710A1 (en) * 2018-06-22 2021-08-19 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
CN113450236A (zh) * 2020-03-24 2021-09-28 浙江宇视科技有限公司 基于时空数据的可疑人员识别方法、装置、系统和介质
WO2021216338A1 (en) * 2020-04-21 2021-10-28 Micron Technology, Inc. Passenger screening
WO2022172432A1 (ja) * 2021-02-15 2022-08-18 株式会社大正スカイビル 無人移動型店舗の管理システム
US11661069B2 (en) 2020-04-21 2023-05-30 Micron Technology, Inc. Driver screening using biometrics and artificial neural network analysis

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014188661A1 (ja) * 2013-05-24 2017-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像送信装置
JP2021037950A (ja) * 2013-05-24 2021-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像送信装置
US10277892B2 (en) 2013-05-24 2019-04-30 Panasonic Intellectual Property Corporation Of America Image transmitting device that captures an image when a braking operation of a vehicle is performed
US11157778B2 (en) 2014-04-28 2021-10-26 Nec Corporation Image analysis system, image analysis method, and storage medium
US10552713B2 (en) 2014-04-28 2020-02-04 Nec Corporation Image analysis system, image analysis method, and storage medium
JP2016181020A (ja) * 2015-03-23 2016-10-13 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JPWO2016157825A1 (ja) * 2015-03-30 2018-01-11 日本電気株式会社 監視システム、監視対象装置、制御方法、及びプログラム
WO2016157825A1 (ja) * 2015-03-30 2016-10-06 日本電気株式会社 監視システム、監視対象装置、制御方法、及び記録媒体
JP2017154530A (ja) * 2016-02-29 2017-09-07 株式会社オートネットワーク技術研究所 車載機及び車両保安システム
JPWO2018128015A1 (ja) * 2017-01-05 2019-11-07 日本電気株式会社 不審度推定モデル生成装置
JP7103229B2 (ja) 2017-01-05 2022-07-20 日本電気株式会社 不審度推定モデル生成装置
WO2018128015A1 (ja) * 2017-01-05 2018-07-12 日本電気株式会社 不審度推定モデル生成装置
US11023713B2 (en) 2017-01-05 2021-06-01 Nec Corporation Suspiciousness degree estimation model generation device
US11023712B2 (en) 2017-01-05 2021-06-01 Nec Corporation Suspiciousness degree estimation model generation device
US11023714B2 (en) 2017-01-05 2021-06-01 Nec Corporation Suspiciousness degree estimation model generation device
JP2019077330A (ja) * 2017-10-24 2019-05-23 圭史朗 金森 監視装置、監視システム、監視方法及び監視プログラム
JP6998726B2 (ja) 2017-10-24 2022-01-18 圭史朗 金森 監視装置、監視システム、監視方法及び監視プログラム
WO2019181468A1 (ja) * 2018-03-19 2019-09-26 株式会社デンソー 車両の異常情報提示装置及び異常情報提示方法
JP2019205078A (ja) * 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等
US20210256710A1 (en) * 2018-06-22 2021-08-19 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
JP2020111127A (ja) * 2019-01-10 2020-07-27 株式会社デンソー 車両制御装置
CN113450236A (zh) * 2020-03-24 2021-09-28 浙江宇视科技有限公司 基于时空数据的可疑人员识别方法、装置、系统和介质
CN113450236B (zh) * 2020-03-24 2022-12-23 浙江宇视科技有限公司 基于时空数据的可疑人员识别方法、装置、系统和介质
WO2021216338A1 (en) * 2020-04-21 2021-10-28 Micron Technology, Inc. Passenger screening
US11494865B2 (en) 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
US11661069B2 (en) 2020-04-21 2023-05-30 Micron Technology, Inc. Driver screening using biometrics and artificial neural network analysis
WO2022172432A1 (ja) * 2021-02-15 2022-08-18 株式会社大正スカイビル 無人移動型店舗の管理システム
JPWO2022172432A1 (ja) * 2021-02-15 2022-08-18
JP7352983B2 (ja) 2021-02-15 2023-09-29 株式会社大正スカイビル 無人移動型店舗の管理システム

Similar Documents

Publication Publication Date Title
JP2013088870A (ja) 不審者検知装置、不審者検知方法およびプログラム
KR101850286B1 (ko) 딥 러닝 기반 cctv용 영상 인식 방법
JP6532106B2 (ja) 監視装置、監視方法および監視用プログラム
US8885929B2 (en) Abnormal behavior detection system and method using automatic classification of multiple features
EP3373243B1 (en) Object detection method and object detection system
JP5121258B2 (ja) 不審行動検知システム及び方法
JP6888950B2 (ja) 画像処理装置、外界認識装置
KR101382873B1 (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
KR101116273B1 (ko) 교통사고 인식장치 및 그 방법
KR101858396B1 (ko) 지능형 침입 탐지 시스템
CN110866427A (zh) 一种车辆行为检测方法及装置
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
KR101900237B1 (ko) 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법
JP2012128877A (ja) 不審行動検知システム及び方法
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
JP2022033805A (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
Veni et al. Road accident detection and severity determination from CCTV surveillance
KR101936862B1 (ko) 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법
JP6713349B2 (ja) 画像処理装置、外界認識装置
CN105426852B (zh) 车载单目长波红外相机行人识别方法
JPH11142168A (ja) 環境認識装置
JP7268959B2 (ja) 車両が停止後に自動的に再び前進させないようにすることを可能にする装置及び方法
JP6978986B2 (ja) 警報システム、警報制御装置及び警報方法
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
FR2958774A1 (fr) Procede et systeme de detection de pietons adaptee au contexte industriel