JP2012212238A - 物品検出装置および静止人物検出装置 - Google Patents
物品検出装置および静止人物検出装置 Download PDFInfo
- Publication number
- JP2012212238A JP2012212238A JP2011076495A JP2011076495A JP2012212238A JP 2012212238 A JP2012212238 A JP 2012212238A JP 2011076495 A JP2011076495 A JP 2011076495A JP 2011076495 A JP2011076495 A JP 2011076495A JP 2012212238 A JP2012212238 A JP 2012212238A
- Authority
- JP
- Japan
- Prior art keywords
- article
- area
- stationary
- person
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】物品検出装置は、監視領域を撮影した監視画像を順次取得する撮像部20と、監視領域の背景が撮影された背景画像と人物の外形を模した人物モデルを記憶する記憶部21と、静止している物品を検出する制御部22と、を具備する。制御部22は、監視画像と背景画像から変化領域を抽出する変化領域抽出手段220と、変化領域に前記人物モデルを重ね当該変化領域の内側でかつ当該人物モデルの外側である物品領域の特徴を記憶部21に記憶する物品領域抽出手段222と、順次取得された画像にて変化領域を時間的に追跡し変化領域が静止しているかを判定し静止物体領域を検出する静止物体領域検出手段223と、静止物体領域が検出されると、静止物体領域が前記物品領域の特徴を有するかを判定し物品領域の特徴を有する場合に当該静止物体領域が物品であると判定する異常判定手段224とを有する。
【選択図】図2
Description
本実施形態に係る物品検出装置(静止人物検出装置)を含み、この装置にて静止した持ち込み物品ではなく静止人物が存在する異常シーンを検知して、警備センタ等へ通報する通報システム1について説明する。
図2は、物品検出装置(静止人物検出装置)2の構成を示したブロック図である。物品検出装置(静止人物検出装置)2は、撮像部20、記憶部21、出力部23および制御部22を含んで構成されている。
撮像部20は、例えばCCD撮像素子などを利用した監視カメラである。この撮像部20は、通常は監視空間(監視領域)の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部22へ出力される。監視画像が撮像される時間間隔は例えば1/5秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部20は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
記憶部21は、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶装置である。フラッシュメモリや,ハードディスクなどを利用してもよい。記憶部21は、各種プログラムや各種データを記憶し、制御部22との間でこれらの情報を入出力する。記憶部21において記憶する各種データには、背景差分処理に必要な背景画像210、物品領域の抽出に必要な人物モデル211が含まれる。さらに、記憶部21には、物体領域の追跡に必要な物体領域の特徴を記憶する追跡特徴記憶部212、抽出した物品領域の特徴を記憶する物品特徴記憶部213も含まれる。
制御部22は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、記憶部21からプログラムを読み出して実行することで
物体領域抽出手段220、物体追跡手段221、物品領域抽出手段222、静止物体領域検出手段223、異常判定手段224として機能する。
出力部23は、異常信号を物品検出装置(静止人物検出装置)2の外部へ出力する通信手段である。出力部23は、制御部22の異常判定手段224から異常信号が入力されると、当該異常信号をコントローラー3へ出力する。
図3は、物品検出装置(静止人物検出装置)2における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部22において実施される。
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部21に背景画像210として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部20は、監視空間を撮像する度に監視画像を出力し、制御部22はこれを取得する。S2において、現時刻の監視画像が取得され、これが制御部に送られる。
制御部22では、撮像部から送られてきた現時刻における監視画像について背景を除去して、物体領域を抽出し、得られた物体領域をラベリングする。物体領域抽出手段220は、撮像部20から得られた監視画像と、記憶部21に記憶されている背景画像210を比較し、背景画像210との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
物体領域抽出手段220により抽出された物体領域についてのデータは物体追跡手段221に供給される。物体追跡手段221は、前時刻までに物体領域抽出手段220により抽出され、記憶部21の追跡特徴記憶部212に記憶されている各物体領域に関する追跡特徴と、現時刻にて物体領域抽出手段220により抽出された各物体領域の追跡特徴を比較して、物体領域を関連付けることで、物体領域の追跡を実現する。
物品領域抽出手段222は、記憶部21より人物モデルを読み出し物体領域に対して当て嵌める。
+γ×(人物モデル領域であって物体領域でない画素)}
・中心座標(x、y)を物体領域の重心座標
・長軸長さ(L)を、L’に対して[−αmax,αmax]を値域とする乱数を生成しその値を加算したもの
・短軸長さ(S)を、S’に対して[−βmax,βmax]を値域とする乱数を生成しその値を加算したもの
・偏位角(θ)を、[−φmax,φmax]を値域とする乱数の値
と選択する。
中心座標:Xnew=X+rand[−δXmax,δXmax]
Ynew=Y +rand[−δYmax,δYmax]
長軸長さ:Lnew=L+rand[−αmax,αmax]
短軸長さ:Snew=S+rand[−βmax,βmax]
偏位角 :θnew=θ+rand[−φmax,φmax]
ここで、δXmax、δYmaxは事前に規定された中心座標の変動幅である。また、rand[ ]は[ ]内の値を値域とする乱数生成を表す。
(vii)EcurとEmaxを比較する。ここで、Ecur<EmaxならばEcur=Emaxとする。
このようにして、S5で物体領域に対し、最も適合した人物モデルを当て嵌めた後、物品領域抽出手段222は、物体領域から人物モデルが当て嵌まった部分を除いた残りの領域を物品領域として抽出する。これは、人物モデルからはみ出した物体領域は、持ち込み物品である可能性が高いためであり、この人物モデルからはみ出した物体領域を物品領域として抽出する。なお、物体領域中に複数のはみ出した領域が存在する場合は、最大面積を有するものを選択して物品領域として抽出する。
物品領域抽出手段222は、S6にて抽出された物品領域が閾値以上の大きさを有するか否かによって、物品領域が存在するか否かを判定する。閾値(面積閾値)は、例えば当て嵌められた楕円モデルの面積の30%程度とする。すなわち、S6で抽出された物品領域のうち、面積が小さいものは物品領域から削除する。
S7において、物品領域が存在する場合には、物品領域抽出手段222は、監視画像中で物品領域に相当する部分の特徴量を計算し、物品領域の特徴量として記憶部21の物品特徴記憶部213に登録する。特徴量は例えば色ヒストグラム、エッジヒストグラムなどである。なお、このようにして、監視領域に生じた物品領域については、その物品特徴量が順次登録される。また、監視領域に一定期間存在しない物品特徴量については、随時削除してもよい。
このように、物品領域抽出手段222は、物品特徴記憶手段として機能し、抽出した物品特徴量を記憶部21に記憶する。
S8における特徴量の登録が終了した場合、およびS7において物品領域が存在しないと判定された場合には、静止物体領域検出手段223は、物体追跡手段221にて追跡している物体領域の中で、静止している物体領域が存在するか否か判定する。静止状態の判断は、例えば以下の(i)〜(iii)の条件による。
異常判定手段224は、S9にて判定された静止物体の特徴とS8で記憶部21に記憶されている物品特徴量の比較を行う。特徴として色ヒストグラムを使用した場合、両特徴量の類似度は以下で表される。類似度をSim、完全静止物体の色ヒストグラムをl(i)、物品特徴量をh(i)として(iはヒストグラムのビンのインデックスを表す)、次式のように表せる。
なお、異常判定手段224は、S9で静止物体が判定されたときに、記憶部21に物品特徴量が記憶されていないと当該静止物体を静止人物であると判定しS14に移る。
異常判定手段224は、S10にて判定された静止物体の特徴量と記憶部21に記憶されている物品特徴量の類似度を所定の閾値と比較した結果、類似度が閾値以上であった場合には、静止物体が既に記憶されている物品特徴量を有していると判定し、持ち込まれた静止物品(持ち込み物品)であると判定する(S12)。一方、類似度が閾値以上でない場合は、静止人物である(S14)と判定する。なお、異常判定手段224における物品であるとの判定を行う部分を物品判定手段224a、静止人物であるとの判定を行う部分を静止人物領域判定手段224bとする。ここで、特徴の類似度に関する閾値は、例えば色ヒストグラムを特徴とした場合に0.75(分布の75%が重なる)とすることができる。また、S14において、静止人物と認定されたものについて、監視領域において、人物と判定されていたか、人物の特徴を有しているかなど、他の各種条件を満足するかをさらに判定するようにしてもよい。
異常判定手段224は、S14で静止人物と判定された場合、異常信号を出力部23へ出力する。
本実施形態によれば、監視画像から抽出された物体領域に対して楕円で表される人物モデルを当て嵌め、人物モデルからはみ出した領域を「物品領域」と仮定してその特徴量を登録する。そして、静止が継続する物体領域が出現した際、既に登録されている「物品領域」の特徴量と静止する物体領域(静止物体領域)の特徴量とを比較し、一定以上の類似が得られれば「持ち込まれた物品の静止」であり「人物の静止」ではないと判定する。これによって、持ち込み物品を効果的に検出することができ、持ち込み物品を静止人物と誤判定する可能性を減少することが可能となる。
Claims (3)
- 監視領域を撮影した監視画像を順次取得する画像取得部と、監視領域の背景が撮影された背景画像と、人物の外形を模した人物モデルを記憶する記憶部と、前記監視画像を処理して静止している物品を検出する制御部と、を具備する物品検出装置であって、
前記制御部は、
前記監視画像と前記背景画像から変化領域を抽出する変化領域抽出手段と、
前記変化領域に前記人物モデルを重ね、当該変化領域の内側でかつ当該人物モデルの外側である物品領域の特徴を前記記憶部に記憶する物品特徴記憶手段と、
前記順次取得された画像にて前記変化領域を時間的に追跡し、当該変化領域が静止しているかを判定し静止物体領域を検出する静止物体領域検出手段と、
前記静止物体領域が検出されると、当該静止物体領域が前記物品領域の特徴を有するかを判定し、前記物品領域の特徴を有する場合に当該静止物体領域が物品であると判定する物品判定手段と、
を有することを特徴とする物品検出装置。 - 請求項1に記載の物品検出装置において、
前記物品領域の特徴は、物品領域における色別の出現頻度を示す色ヒストグラムであることを特徴とする物品検出装置。 - 請求項1または2に記載の物品検出装置を有するとともに、
前記制御部は、
前記検出した静止物体領域が前記物品領域の特徴を有さない場合に当該静止物体領域が静止人物領域であると判定する静止人物領域判定手段をさらに有することを特徴とする静止人物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076495A JP5758165B2 (ja) | 2011-03-30 | 2011-03-30 | 物品検出装置および静止人物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076495A JP5758165B2 (ja) | 2011-03-30 | 2011-03-30 | 物品検出装置および静止人物検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012212238A true JP2012212238A (ja) | 2012-11-01 |
JP5758165B2 JP5758165B2 (ja) | 2015-08-05 |
Family
ID=47266148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011076495A Active JP5758165B2 (ja) | 2011-03-30 | 2011-03-30 | 物品検出装置および静止人物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5758165B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017091127A (ja) * | 2015-11-09 | 2017-05-25 | 株式会社メガチップス | 画像処理装置、画像処理システム、画像処理装置の動作方法及び制御プログラム |
US10026019B2 (en) | 2014-03-11 | 2018-07-17 | Mitsubishi Electric Corporation | Person detecting device and person detecting method |
US10262421B2 (en) | 2014-08-04 | 2019-04-16 | Nec Corporation | Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium |
WO2021071123A3 (ko) * | 2019-10-10 | 2021-06-03 | 주식회사 신세계아이앤씨 | 영상 기반 선반 상품 재고 모니터링 시스템 및 방법 |
WO2022025752A1 (en) * | 2020-07-28 | 2022-02-03 | Mimos Berhad | A system and method for tracking objects in a dynamic environment from a sequence of captured images |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01245395A (ja) * | 1988-03-28 | 1989-09-29 | Toshiba Corp | 画像監視システム |
JP2008250772A (ja) * | 2007-03-30 | 2008-10-16 | Secom Co Ltd | 移動物体追跡装置 |
-
2011
- 2011-03-30 JP JP2011076495A patent/JP5758165B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01245395A (ja) * | 1988-03-28 | 1989-09-29 | Toshiba Corp | 画像監視システム |
JP2008250772A (ja) * | 2007-03-30 | 2008-10-16 | Secom Co Ltd | 移動物体追跡装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10026019B2 (en) | 2014-03-11 | 2018-07-17 | Mitsubishi Electric Corporation | Person detecting device and person detecting method |
US10262421B2 (en) | 2014-08-04 | 2019-04-16 | Nec Corporation | Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium |
US10776931B2 (en) | 2014-08-04 | 2020-09-15 | Nec Corporation | Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium |
JP2017091127A (ja) * | 2015-11-09 | 2017-05-25 | 株式会社メガチップス | 画像処理装置、画像処理システム、画像処理装置の動作方法及び制御プログラム |
WO2021071123A3 (ko) * | 2019-10-10 | 2021-06-03 | 주식회사 신세계아이앤씨 | 영상 기반 선반 상품 재고 모니터링 시스템 및 방법 |
WO2022025752A1 (en) * | 2020-07-28 | 2022-02-03 | Mimos Berhad | A system and method for tracking objects in a dynamic environment from a sequence of captured images |
Also Published As
Publication number | Publication date |
---|---|
JP5758165B2 (ja) | 2015-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
US20180115749A1 (en) | Surveillance system and surveillance method | |
US9858474B2 (en) | Object tracking and best shot detection system | |
WO2020073505A1 (zh) | 基于图像识别的图像处理方法、装置、设备及存储介质 | |
US11263446B2 (en) | Method for person re-identification in closed place, system, and terminal device | |
US10956753B2 (en) | Image processing system and image processing method | |
WO2018096787A1 (ja) | 人物行動監視装置および人物行動監視システム | |
JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6185517B2 (ja) | 画像監視装置 | |
KR101858396B1 (ko) | 지능형 침입 탐지 시스템 | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
CN110633648B (zh) | 一种自然行走状态下的人脸识别方法和系统 | |
CN109963113B (zh) | 一种感兴趣目标的监控方法及装置 | |
JP5752977B2 (ja) | 画像監視装置 | |
CN113920585A (zh) | 行为识别方法及装置、设备和存储介质 | |
KR102046591B1 (ko) | 영상 감시 시스템 및 영상 감시방법 | |
KR20200139987A (ko) | Ess 침입자 및 화재 감지 장치 및 방법 | |
US10783365B2 (en) | Image processing device and image processing system | |
JP2002245560A (ja) | 監視システム | |
JP5752975B2 (ja) | 画像監視装置 | |
JP6536643B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US20230259549A1 (en) | Extraction of feature point of object from image and image search system and method using same | |
CN114187322A (zh) | 对同一对象基于不同特征和场景的跨摄像头连续跟踪方法和装置、电子设备 | |
WO2012074366A2 (en) | A system and a method for detecting a loitering event | |
WO2014097699A1 (ja) | 情報処理システム、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5758165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |