JP2012033152A - ビデオ監視時に移動物体を分類するシステムおよび方法 - Google Patents
ビデオ監視時に移動物体を分類するシステムおよび方法 Download PDFInfo
- Publication number
- JP2012033152A JP2012033152A JP2011136524A JP2011136524A JP2012033152A JP 2012033152 A JP2012033152 A JP 2012033152A JP 2011136524 A JP2011136524 A JP 2011136524A JP 2011136524 A JP2011136524 A JP 2011136524A JP 2012033152 A JP2012033152 A JP 2012033152A
- Authority
- JP
- Japan
- Prior art keywords
- video
- classifying
- moving objects
- variance
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】ビデオによる監視時に移動物体を分類するシステムは、移動物体のシルエット画像を撮影するステップと、撮影された画像の大きさを変更するステップと、大きさが変更された画像の中の移動物体の幅に対する高さの平均比と重心を計算するステップと、大きさが変更された画像を分割するステップと、物体の平均高さと平均幅とを比較するステップと、さらに、重心の分散と所定の閾値とを比較して、撮影されたシルエット内の物体を既定のクラスに分類するステップとを含む。
【選択図】図3
Description
・計算コストが低い。
・ビデオ監視時に物体を識別する単純な論理を用いる。
・対象となる物体を含むフレームを格納しないようにして、利用する記憶領域を少なくする。
・ビデオの中で物体を識別するためにフレームを解析する間、利用する記憶領域空間を少なくする。
a)少なくとも1つのビデオ撮影手段であって、ビデオ撮影手段の動作範囲内にある移動物体のシルエット画像を撮影するように構成される少なくとも1つのビデオ撮影手段と、
b)プロセッサが実行するように構成されるプログラム命令を格納する手段であって、プロセッサは、
i)撮影されたシルエット画像の大きさを変更し、シルエット画像の倍率変更は、撮影されたシルエット画像の上半分の大きさを用いることによって計算され、
ii)大きさが変更されたシルエット画像の中の物体の幅に対する高さの平均比と重心とを計算し、重心は物体の上半分のみを用いることによって計算され、
iii)重心を通る垂線によって、撮影された画像の下半分を2つの部分に分割し、そのうちの1つを解析して重心の分散を計算し、
iv)物体の平均高さと平均幅とを比較し、さらに重心の分散と所定の閾値とを比較し、
v)撮影されたシルエットの物体を既定のクラスに分類し、分類は平均高さ、平均幅および重心の分散の計算値に基づいて実施される。
a)少なくとも1つのビデオ撮影手段であって、ビデオ撮影手段の動作範囲内にある移動物体のシルエット画像を撮影するように構成される少なくとも1つのビデオ撮影手段と、
b)プロセッサが実行するように構成されるプログラム命令を格納する手段であって、プロセッサは、
i)撮影されたシルエット画像の大きさを変更し、シルエット画像の倍率変更は、撮影されたシルエット画像の上半分の大きさを用いることによって計算され、
ii)大きさが変更されたシルエット画像の中の物体の幅に対する高さの平均比と重心とを計算し、重心は物体の上半分のみを用いることによって計算され、
iii)重心を通る垂線によって撮影された画像の下半分を2つの部分に分割し、そのうちの1つを解析して重心の分散を計算し、
iv)物体の平均高さと平均幅とを比較し、さらに重心の分散と所定の閾値とを比較し、
v)撮影されたシルエットの物体を既定のクラスに分類し、分類は平均高さ、平均幅および重心の分散の計算値に基づいて実施される。
・撮影された画像の大きさを変更する。
・大きさが変更された画像の中の物体の幅に対する高さの平均比と重心を計算する。
・物体の平均高さと平均幅とを比較し、さらに重心の分散と所定の閾値とを比較する。
・撮影されたシルエットの中の物体を既定のクラスに分類する。
1.H/W>1かつCGの分散>閾値
判定−人のシルエット
2.H/W<1かつCGの分散>閾値
判定−家畜のシルエット
3.H/W<1かつCGの分散<閾値
判定−車両(「シルエット」または「シルエットなし」)
4.H/W>1かつCGの分散<閾値
次の3つの可能性がある。
人−シルエットなし
家畜−シルエットなし
車両−シルエットなし
式中、
H/Wは、幅に対する高さの平均比である。
CGの分散は、重心の分散である。
本発明を試験するために、MPEG2ビデオを使用した。MPEG2ビデオを30フレーム毎に計算処理する。本願明細書で言及するn番目のフレームは、実際は当初のMPEG2ビデオの30n番目のフレームである。以下のとおり、本発明は、様々な移動物体に対して、重心の分散(CGの分散)の計算に関して試験されている。
図4に示すように、ビデオによる監視時に移動物体を分類するシステムを試験する。ビデオ監視の動作範囲を、男性に歩いて横切ってもらう。背景が入った原フレームを、ビデオ撮影手段によって撮影する。物体をセグメント化して、撮影されたフレームから抽出する。抽出された物体を、2つの部分、言わば、上半分と下半分に分割する。上半分の画像重心(CG)を計算することを考慮し、CGを貫通する垂線によって、下半分を2つの部分、言わば、左下半分と右下半分に分割する。抽出された物体の左下半分を考慮し、C.Gを貫通する垂線から左下半分に存在する物体の部分の分散を計算する。同じように、16個の連続フレームが重心の分散の計算に関して解析される。この特定の実施例では、16個の連続フレームのC.G分散の計算結果は16.4000である。
図5に示すように、ビデオ監視範囲内で移動している二輪車(車両)を解析するが、実施例1に説明するのと同じ手続きに従って、16個の連続フレームを解析する。この場合、16個の連続フレームのC.G分散の計算結果は1.6100である。
図6に示すように、ビデオ監視範囲内で走行中の自動車を解析しているが、実施例1で説明するのと同じ手続きに従って、16個の連続フレームを解析する。この場合、16個の連続フレームのC.G分散の計算結果は0.2400である。
1)本発明は、ビデオによる監視時に移動物体を分類するシステムを提供し、連続フレームから計算された重心データのセットのみが、分散を計算するために格納される。連続フレームから物体画像を格納する必要はない。それゆえ、ビデオ監視システムの記憶空間が節約される。
2)本発明は、ビデオ監視時に移動物体を分類するのにそれほど複雑でない論理を用いる。
3)本発明は計算コストが低い。
Claims (16)
- ビデオによる監視時に移動物体を分類するシステムであって、
a)少なくとも1つのビデオ撮影手段であって、ビデオ撮影手段の動作範囲内にある移動物体のシルエット画像を撮影するように構成される少なくとも1つのビデオ撮影手段と、
b)プロセッサが実行するように構成されるプログラム命令を格納する手段であって、該プロセッサは、
i)撮影された前記シルエット画像の大きさを変更し、前記シルエット画像の倍率変更は、撮影された前記シルエット画像の上半分の大きさを用いることによって計算され、
ii)大きさが変更された前記シルエット画像の中の前記物体の幅に対する高さの平均比と重心とを計算し、重心は、前記物体の上半分のみを用いることによって計算され、
iii)重心を通る垂線によって、撮影された前記画像の下半分を2つの部分に分割し、そのうちの1つを解析して重心の分散を計算し、
iv)前記物体の平均高さと平均幅とを比較し、さらに重心の分散と所定の閾値とを比較し、
v)前記シルエットとして撮影された前記物体を既定のクラスに分類し、該分類は平均高さ、平均幅および重心の分散の計算値に基づいて実施されるビデオによる監視時に移動物体を分類するシステム。 - ビデオ撮影手段は、ビデオカメラ、閉回路テレビ(CCTV)カメラまたはIPカメラでありうる、請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 各ビデオ撮影手段は、個別にビデオ監視時に移動物体を分類するシステムを有する請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 各ビデオ撮影手段は、シルエット画像で撮影された移動物体の分類に関して判定可能である請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 前記物体は、前記平均高さが平均幅より大きく、重心の分散が所定の閾値より大きい場合に人に分類され、前記物体は、前記平均高さが平均幅より小さく、重心の分散が所定の閾値より大きい場合に家畜に分類され、前記物体は、前記平均高さが平均幅より小さく、重心の分散が所定の閾値より小さい場合に物体は車両に分類される請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 前記移動物体の前記シルエット画像を得られていない1または複数のビデオ撮影手段は、前記移動物体の分類処理を停止する請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 前記平均高さが平均幅より大きく、重心の分散が所定の閾値以下である場合、前記ビデオによる監視時に移動物体を分類するシステムは、前記移動物体を分類する判定処理を停止する請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- 前記ビデオ撮影手段の動作範囲で対象となる物体を検出すると、警報を自動的に鳴らすことがさらに可能である、請求項1に記載のビデオによる監視時に移動物体を分類するシステム。
- ビデオによる監視時に移動物体を分類する方法であって、
a)少なくとも1つのビデオ撮影手段を使用して、ビデオ監視の動作範囲内の移動物体のシルエット画像を撮影するステップと、
b)撮影された前記シルエット画像の大きさを変更し、前記シルエット画像の倍率が、撮影された前記シルエット画像の上半分の大きさを利用して計算されるステップと、
c)大きさが変更された前記シルエット画像の中の前記物体の幅に対する高さの平均比および重心を計算し、重心は前記物体の上半分を用いることによって計算され、撮影された前記画像の下半分を左下半分と右下半分の2つの部分に分割するために、重心を通る垂線が用いられるステップと、
d)前記下半分の1つを解析して、重心の分散を計算するステップと、
e)物体の平均高さと平均幅とを比較し、さらに重心の分散と所定の閾値とを比較するステップと、
f)撮影された前記シルエットで描かれた物体を既定のクラスに分類し、該分類は、平均高さ、平均幅および重心の分散の計算値に基づいて実施されることを特徴とするステップとを含むビデオによる監視時に移動物体を分類する方法。 - ビデオ撮影手段は、ビデオカメラ、閉回路テレビ(CCTV)カメラまたはIPカメラでありうる請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 各ビデオ撮影手段が、ビデオ監視時に移動物体を分類するシステムを個別に有する請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 各ビデオ撮影手段は、シルエット画像で撮影された移動物体の分類に関して判定可能である請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 前記物体は、前記平均高さが平均幅より大きく、重心の分散が所定の閾値より大きい場合に人に分類され、前記物体は、前記平均高さが平均幅より小さく、重心の分散が所定の閾値より大きい場合に家畜に分類され、前記物体は、前記平均高さが平均幅より小さく、重心の分散が所定の閾値より小さい場合に物体は車両に分類される請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 前記移動物体の前記シルエット画像を得られていない前記ビデオ撮影手段は、前記移動物体の分類処理を停止する、請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 前記平均高さが平均幅より大きく、重心の分散が所定の閾値以下である場合、前記ビデオによる監視時に移動物体を分類するシステムは、前記移動物体を分類する判定処理を停止する、請求項9に記載のビデオによる監視時に移動物体を分類する方法。
- 前記ビデオ撮影手段の動作範囲で対象となる物体を検出すると、警報を自動的に鳴らすことがさらに可能である、請求項9に記載のビデオによる監視時に移動物体を分類する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2162/MUM/2010 | 2010-07-29 | ||
IN2162MU2010 | 2010-07-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012033152A true JP2012033152A (ja) | 2012-02-16 |
JP5047382B2 JP5047382B2 (ja) | 2012-10-10 |
Family
ID=44855742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011136524A Expired - Fee Related JP5047382B2 (ja) | 2010-07-29 | 2011-06-20 | ビデオ監視時に移動物体を分類するシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9082042B2 (ja) |
EP (1) | EP2413265B1 (ja) |
JP (1) | JP5047382B2 (ja) |
CN (1) | CN102346855B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102101438B1 (ko) * | 2015-01-29 | 2020-04-20 | 한국전자통신연구원 | 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법 |
CN110062727A (zh) * | 2016-10-20 | 2019-07-26 | 铁路视像有限公司 | 用于铁路应用的避碰中物体和障碍物检测与分类的系统及方法 |
US10834365B2 (en) | 2018-02-08 | 2020-11-10 | Nortek Security & Control Llc | Audio-visual monitoring using a virtual assistant |
US11295139B2 (en) | 2018-02-19 | 2022-04-05 | Intellivision Technologies Corp. | Human presence detection in edge devices |
US11615623B2 (en) | 2018-02-19 | 2023-03-28 | Nortek Security & Control Llc | Object detection in edge devices for barrier operation and parcel delivery |
US10978050B2 (en) | 2018-02-20 | 2021-04-13 | Intellivision Technologies Corp. | Audio type detection |
EP3579084B8 (en) * | 2018-06-08 | 2024-01-24 | Tata Consultancy Services Limited | Method and system for activity recognition and behaviour analysis |
US11719580B1 (en) * | 2020-05-14 | 2023-08-08 | Fireside Security Group, Inc. | Integrated access gateway |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750825A (ja) * | 1993-05-24 | 1995-02-21 | Hideo Mori | 人間動物監視システム |
JP2009042941A (ja) * | 2007-08-07 | 2009-02-26 | Honda Motor Co Ltd | 対象物種別判定装置、車両、対象物種別判定方法、並びに対象物種別判定用プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171042B2 (en) * | 2000-12-04 | 2007-01-30 | Intel Corporation | System and method for classification of images and videos |
US20070201694A1 (en) * | 2002-06-18 | 2007-08-30 | Bolle Rudolf M | Privacy management in imaging system |
US7200266B2 (en) * | 2002-08-27 | 2007-04-03 | Princeton University | Method and apparatus for automated video activity analysis |
US20050031173A1 (en) * | 2003-06-20 | 2005-02-10 | Kyungtae Hwang | Systems and methods for detecting skin, eye region, and pupils |
US6944527B2 (en) * | 2003-11-07 | 2005-09-13 | Eaton Corporation | Decision enhancement system for a vehicle safety restraint application |
US20060018516A1 (en) * | 2004-07-22 | 2006-01-26 | Masoud Osama T | Monitoring activity using video information |
US7639840B2 (en) | 2004-07-28 | 2009-12-29 | Sarnoff Corporation | Method and apparatus for improved video surveillance through classification of detected objects |
US7391907B1 (en) * | 2004-10-01 | 2008-06-24 | Objectvideo, Inc. | Spurious object detection in a video surveillance system |
US7742641B2 (en) * | 2004-12-06 | 2010-06-22 | Honda Motor Co., Ltd. | Confidence weighted classifier combination for multi-modal identification |
ATE487201T1 (de) * | 2005-03-17 | 2010-11-15 | British Telecomm | Verfolgen von objekten in einer videosequenz |
US7613324B2 (en) * | 2005-06-24 | 2009-11-03 | ObjectVideo, Inc | Detection of change in posture in video |
US7884849B2 (en) * | 2005-09-26 | 2011-02-08 | Objectvideo, Inc. | Video surveillance system with omni-directional camera |
CN100417223C (zh) * | 2005-12-30 | 2008-09-03 | 浙江工业大学 | 基于全方位视觉传感器的智能安保装置 |
US7646922B2 (en) * | 2005-12-30 | 2010-01-12 | Honeywell International Inc. | Object classification in video images |
US7643659B2 (en) * | 2005-12-31 | 2010-01-05 | Arcsoft, Inc. | Facial feature detection on mobile devices |
US7953253B2 (en) * | 2005-12-31 | 2011-05-31 | Arcsoft, Inc. | Face detection on mobile devices |
EP1862941B1 (en) * | 2006-05-22 | 2016-10-26 | Axis AB | Method and apparatus for identifying properties of an object detected by a video surveillance camera |
US8320613B2 (en) * | 2008-06-04 | 2012-11-27 | Lockheed Martin Corporation | Detecting and tracking targets in images based on estimated target geometry |
TW201002073A (en) * | 2008-06-23 | 2010-01-01 | Huper Lab Co Ltd | Method of vehicle segmentation and counting for nighttime video frames |
CN101515300B (zh) * | 2009-04-02 | 2011-07-20 | 阿里巴巴集团控股有限公司 | 一种Ajax网页内容的抓取方法及系统 |
-
2011
- 2011-06-09 EP EP11169344.6A patent/EP2413265B1/en not_active Not-in-force
- 2011-06-20 JP JP2011136524A patent/JP5047382B2/ja not_active Expired - Fee Related
- 2011-06-21 CN CN201110184660.6A patent/CN102346855B/zh active Active
- 2011-07-29 US US13/194,706 patent/US9082042B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750825A (ja) * | 1993-05-24 | 1995-02-21 | Hideo Mori | 人間動物監視システム |
JP2009042941A (ja) * | 2007-08-07 | 2009-02-26 | Honda Motor Co Ltd | 対象物種別判定装置、車両、対象物種別判定方法、並びに対象物種別判定用プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2413265B1 (en) | 2017-10-18 |
JP5047382B2 (ja) | 2012-10-10 |
CN102346855B (zh) | 2015-06-03 |
EP2413265A2 (en) | 2012-02-01 |
US20120026328A1 (en) | 2012-02-02 |
CN102346855A (zh) | 2012-02-08 |
US9082042B2 (en) | 2015-07-14 |
EP2413265A3 (en) | 2014-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5047382B2 (ja) | ビデオ監視時に移動物体を分類するシステムおよび方法 | |
Roy | Snatch theft detection in unconstrained surveillance videos using action attribute modelling | |
WO2017122258A1 (ja) | 混雑状況監視システム | |
US20110096149A1 (en) | Video surveillance system with object tracking and retrieval | |
Zabłocki et al. | Intelligent video surveillance systems for public spaces–a survey | |
Mishra et al. | An intelligent motion detection using OpenCV | |
Kongurgsa et al. | Real-time intrusion—detecting and alert system by image processing techniques | |
Freire-Obregón et al. | An attention recurrent model for human cooperation detection | |
Seidenari et al. | Dense spatio-temporal features for non-parametric anomaly detection and localization | |
Frejlichowski et al. | SmartMonitor: An approach to simple, intelligent and affordable visual surveillance system | |
Siddique et al. | Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms | |
Zhang et al. | Critical Infrastructure Security Using Computer Vision Technologies | |
Shrinidhi et al. | IR and visible video fusion for surveillance | |
US11315257B2 (en) | Method for real time surface tracking in unstructured environments | |
Varghese et al. | Video anomaly detection in confined areas | |
Aqeel et al. | Detection of anomaly in videos using convolutional autoencoder and generative adversarial network model | |
Suba et al. | Violence detection for surveillance systems using lightweight CNN models | |
Agarwal et al. | Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network | |
Esan et al. | A computer vision model for detecting suspicious behaviour from multiple cameras in crime hotspots using convolutional neural networks | |
Seidenari et al. | Non-parametric anomaly detection exploiting space-time features | |
Shirazi et al. | Vision-based vehicle counting with high accuracy for highways with perspective view | |
Feizi et al. | Using optical flow and spectral clustering for behavior recognition and detection of anomalous behaviors | |
Amingad et al. | Enhancing Public Safety with AI-Powered Intelligent Surveillance: An Examination of Immediate Incident Detection and Rapid Response in Urban Settings | |
Bheechook et al. | The need for automatic detection of uncommon behaviour in surveillance systems: A short review | |
Jain et al. | Computational and Performance Aspects of Face Recognition Method (HOPFALRB) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5047382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |