JP2010204860A - 映像監視システム - Google Patents
映像監視システム Download PDFInfo
- Publication number
- JP2010204860A JP2010204860A JP2009048529A JP2009048529A JP2010204860A JP 2010204860 A JP2010204860 A JP 2010204860A JP 2009048529 A JP2009048529 A JP 2009048529A JP 2009048529 A JP2009048529 A JP 2009048529A JP 2010204860 A JP2010204860 A JP 2010204860A
- Authority
- JP
- Japan
- Prior art keywords
- spatiotemporal
- video
- moving object
- image
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】カメラ10から取得した映像信号を基に画像データを出力する映像取得部100と、画像データから移動体の候補領域を抽出する移動体候補領域抽出部101と、候補領域が移動体のものであるか判断する移動体検出部102と、を備えた映像監視システムであって、移動体候補領域抽出部101は、画像データの明度勾配方向を量子化し、所定の時空間内の方向符号の出現頻度を表す時空間ヒストグラムを算出し、時空間ヒストグラムの統計上の時空間評価値である時空間豊富度を算出する。移動体検出部102は、時空間豊富度によって候補領域が移動体のものであるか判断する。
【選択図】図1
Description
図1は、本発明による一実施形態の映像監視システム1を示すブロック図である。
この映像監視システム1は、カメラ10と、出力部20と、記録媒体30と、画像認識装置40とを備えている。実際には、この映像監視システム1は、カメラ10、記録媒体30、出力部20で構成されるシステムに電子計算機システムを適用した構成である。この電子計算機システムのハードウェアは、CPU、メモリ、I/Oなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。
記録媒体30は、カメラ10から取得した映像データに、パラメータ情報、画像認識装置40で取得した画像認識情報を付加し、保存する。
画像認識装置40は、カメラ10から転送された映像を取得する映像取得部100と、移動体の候補領域を算出する移動体候補領域抽出部101と、この移動体候補領域抽出部101で取得した領域に対して、移動体かどうか判断する移動体検出部102と、映像取得部100で取得した映像に時間情報などの付加情報を付加して記録媒体30に保存する記録部103と、を備えている。
移動体候補領域抽出部101は、時空間豊富度算出手段200と、フレーム差分手段201と、基準画像203を作成する基準画像作成手段202と、移動体候補領域抽出手段204と、を備えている。
(1)時空間豊富度算出手段200によって、画像データから時空間豊富度を算出する。
(2)基準画像作成手段202によって画像データから算出した、または、所定条件であらかじめ算出してある基準画像203と、入力画像とのフレーム差分をフレーム差分手段201によって算出する。
(3)時空間豊富度とフレーム差分の結果から、移動体候補領域抽出手段204によって、移動体候補領域を算出する。
図4に示すように、方向符号化とは、まず画像の明度勾配を算出し、その勾配方向を所定の方向に量子化し符号化する処理である。
まず、画像内の各画素p(x,y)の入力画像Ixyについて、水平方向、垂直方向(鉛直方向)の各エッジ勾配ΔIu,ΔIvを算出する(ステップS1)。
ここで、エッジ勾配ΔIu,ΔIvの算出にはエッジ強調フィルタを用いることとする。エッジ強調フィルタとしてゾーベル(Sobel)フィルタを用いる場合、その水平方向の算出係数FLTh、垂直方向の算出係数FLTvは、次の式(1)のとおりとなる。ゾーベルフィルタの代わりに、プレヴィット(Prewitt)フィルタなどの他のエッジ強調フィルタを用いてもよい。
ρxy>Γρである場合(ステップS3のYes)、すなわちエッジ強度ρxyが所定のしきい値Γρより大きい場合、エッジ方向θxyを算出し(ステップS4)、次のステップ(ステップS5)へ進む。
ρxy>Γρでない場合(ステップS3のNo)、すなわちエッジ強度ρxyが所定のしきい値Γρ以下である場合、エッジ方向θxyを算出せず、次のステップ(ステップS5)へ進む。
図5(a)に示すように、この時空間では、xy平面からなる画像が時刻t方向にわたって、時刻T−Mから時刻TまでM枚連なっている。各画像には、寸法がL×Lである平面領域が設定されている。こうして、xy領域での寸法がL×Lで、時間的長さがMである、時空間での形状が直方体状の領域が設定される。この領域を空間S(図示せず)とする。
このように、時空間豊富度算出手段200は、特許請求の範囲の「時空間ヒストグラム算出手段」としても機能する。
このように、時空間豊富度算出手段200は、特許請求の範囲の「時空間評価値算出手段」としても機能する。
他方、図6(a)に示すように、人などの移動により様々な方向符号が検出された場合は、時空間豊富度が高くなる。つまり、エントロピーの値が大きくなる。
この性質を利用することで移動物体と背景領域を判定し分離する。つまり、Rxyt>ΓRであるか否か判断する(ステップS8)。ここで、ΓRは予め設定した時空間豊富度のしきい値である。
Rxyt>ΓRでない場合(ステップS8のNo)、次のステップS10へ進む。
処理した場合(ステップS10のYes)、この処理を終了する。
処理していない場合(ステップS10のNo)、ステップS1に戻り、未処理の画素について処理を繰り返す。
このように、これらの処理を画像データのxy空間全体に対して実行する。
Subxy=|Bxy−Ixy|(if Subxy>Γsub)
と表現される。Subxyはしきい値Γsubによる処理を実行して、2値化画像として表現する。
移動体検出部102は、候補領域整形手段700と、ラベリング手段701と、移動体領域算出手段702と、を備えている。
移動体領域算出手段702は、物体の面積やアスペクト比などを予めカメラ設置状況や検出対象の物体情報からしきい値として設定してあり、検出すべき領域を残し、ノイズを除去する。
左上は結果であり、(A)が人物領域の矩形である。右上は、方向符号を可視化したものである。左下は、時空間豊富度Rxytに対してガウシアンフィルタGを実行した結果であり、(B)が、Rxytが所定の値を超えていると判定された画素としての移動体候補領域である。右下は、移動体候補領域をラベリング処理などで2値化したものであり、(C)が移動体のラベリング結果である。入力映像が微小に揺れているが、移動体である人物領域を検出することに成功している。
10 カメラ(撮像機器)
20 出力部
30 記録媒体
40 画像認識装置
100 映像取得部
101 移動体候補領域抽出部
102 移動体検出部
103 記録部
200 時空間豊富度算出手段
201 フレーム差分手段
202 基準画像作成手段
203 基準画像
204 移動体候補領域抽出手段
700 候補領域整形手段
701 ラベリング手段
702 移動体領域算出手段
Claims (5)
- 撮像機器から取得した映像信号を基に画像のデータを出力する映像取得部と、前記画像のデータから移動体の候補領域を抽出する移動体候補領域抽出部と、前記候補領域が前記移動体のものであるか判断する移動体検出部と、を備えた映像監視システムであって、
前記移動体候補領域抽出部は、
前記画像のデータの明度勾配方向を量子化した方向符号を算出する方向符号算出手段と、
所定の時空間内の前記方向符号の出現頻度を表す時空間ヒストグラムを算出する時空間ヒストグラム算出手段と、
前記時空間ヒストグラムの統計上の時空間評価値を算出する時空間評価値算出手段と、
を有し、
前記移動体検出部は、前記時空間評価値によって前記候補領域が前記移動体のものであるか判断する、
ことを特徴とする映像監視システム。 - 前記時空間評価値算出手段は、前記時空間評価値として、前記時空間ヒストグラムのエントロピーを算出することを特徴とする請求項1に記載の映像監視システム。
- 前記移動体候補領域抽出部は、基準画像とのフレーム差分を算出するフレーム差分手段を有し、前記フレーム差分を加味して前記候補領域の結果を判定することで前記移動体を検出することを特徴とする請求項1または請求項2に記載の映像監視システム。
- 前記移動体検出部は、検出したい前記移動体の大きさまたは撮像環境の空間情報を考慮して前記候補領域の整形を実行する候補領域整形手段を有することを特徴とする請求項1から請求項3のいずれかに記載の映像監視システム。
- 前記移動体候補領域抽出部は、前記映像取得部からの前記画像のデータを基に、前記基準画像を作成する基準画像作成手段を有することを特徴とする請求項3に記載の映像監視システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009048529A JP4764487B2 (ja) | 2009-03-02 | 2009-03-02 | 映像監視システム |
US12/714,655 US8294765B2 (en) | 2009-03-02 | 2010-03-01 | Video image monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009048529A JP4764487B2 (ja) | 2009-03-02 | 2009-03-02 | 映像監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010204860A true JP2010204860A (ja) | 2010-09-16 |
JP4764487B2 JP4764487B2 (ja) | 2011-09-07 |
Family
ID=42825859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009048529A Expired - Fee Related JP4764487B2 (ja) | 2009-03-02 | 2009-03-02 | 映像監視システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8294765B2 (ja) |
JP (1) | JP4764487B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015008412A (ja) * | 2013-06-25 | 2015-01-15 | グローリー株式会社 | 動体画像抽出方法及び動体画像抽出装置 |
JP2015022085A (ja) * | 2013-07-18 | 2015-02-02 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像方法および撮像システム |
JP2015535110A (ja) * | 2012-11-06 | 2015-12-07 | アルカテル−ルーセント | イベント検出のために視覚情報を処理するためのシステムおよび方法 |
CN113795856A (zh) * | 2019-08-08 | 2021-12-14 | 松下知识产权经营株式会社 | 空间提案系统以及空间提案方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5178797B2 (ja) * | 2010-09-13 | 2013-04-10 | キヤノン株式会社 | 表示制御装置及び表示制御方法 |
US9313200B2 (en) * | 2013-05-13 | 2016-04-12 | Hoyos Labs Ip, Ltd. | System and method for determining liveness |
JP6924723B2 (ja) * | 2018-06-12 | 2021-08-25 | マクセルフロンティア株式会社 | 画像処理装置及び撮像装置 |
CN109492653B (zh) * | 2018-11-15 | 2022-04-12 | 深圳市比邻星精密技术有限公司 | 乳腺病灶体积测量方法、装置、计算机设备及存储介质 |
CN113822095B (zh) * | 2020-06-02 | 2024-01-12 | 苏州科瓴精密机械科技有限公司 | 基于图像识别工作位置的方法、系统,机器人及存储介质 |
CN112637568B (zh) * | 2020-12-24 | 2021-11-23 | 中标慧安信息技术股份有限公司 | 基于多节点边缘计算设备的分布式安全监控方法和系统 |
US20230138718A1 (en) * | 2021-10-29 | 2023-05-04 | Nvidia Corporation | Illumination resampling using temporal gradients in light transport simulation systems and applications |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203481A (ja) * | 1998-01-20 | 1999-07-30 | Mitsubishi Heavy Ind Ltd | 移動体識別装置 |
JP2008097359A (ja) * | 2006-10-12 | 2008-04-24 | Matsushita Electric Works Ltd | 人体検出装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
CA2302289C (en) * | 1996-08-29 | 2005-11-08 | Gregory G. Raleigh | Spatio-temporal processing for communication |
US7043465B2 (en) * | 2000-02-24 | 2006-05-09 | Holding B.E.V.S.A. | Method and device for perception of an object by its shape, its size and/or its orientation |
IL136080A0 (en) * | 2000-05-11 | 2001-05-20 | Yeda Res & Dev | Sequence-to-sequence alignment |
JP4109837B2 (ja) | 2001-05-11 | 2008-07-02 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
US9052386B2 (en) * | 2002-02-06 | 2015-06-09 | Nice Systems, Ltd | Method and apparatus for video frame sequence-based object tracking |
US7385626B2 (en) * | 2002-10-21 | 2008-06-10 | Sarnoff Corporation | Method and system for performing surveillance |
GB0227570D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
US7627171B2 (en) * | 2003-07-03 | 2009-12-01 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
US7324594B2 (en) * | 2003-11-26 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for encoding and decoding free viewpoint videos |
US7639840B2 (en) * | 2004-07-28 | 2009-12-29 | Sarnoff Corporation | Method and apparatus for improved video surveillance through classification of detected objects |
EP1803112A2 (en) * | 2004-10-13 | 2007-07-04 | Koninklijke Philips Electronics N.V. | Display time control for moving images |
US8081224B2 (en) * | 2008-05-07 | 2011-12-20 | Aptina Imaging Corporation | Method and apparatus for image stabilization using multiple image captures |
-
2009
- 2009-03-02 JP JP2009048529A patent/JP4764487B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-01 US US12/714,655 patent/US8294765B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203481A (ja) * | 1998-01-20 | 1999-07-30 | Mitsubishi Heavy Ind Ltd | 移動体識別装置 |
JP2008097359A (ja) * | 2006-10-12 | 2008-04-24 | Matsushita Electric Works Ltd | 人体検出装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015535110A (ja) * | 2012-11-06 | 2015-12-07 | アルカテル−ルーセント | イベント検出のために視覚情報を処理するためのシステムおよび方法 |
JP2015008412A (ja) * | 2013-06-25 | 2015-01-15 | グローリー株式会社 | 動体画像抽出方法及び動体画像抽出装置 |
JP2015022085A (ja) * | 2013-07-18 | 2015-02-02 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像方法および撮像システム |
CN113795856A (zh) * | 2019-08-08 | 2021-12-14 | 松下知识产权经营株式会社 | 空间提案系统以及空间提案方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4764487B2 (ja) | 2011-09-07 |
US20100253779A1 (en) | 2010-10-07 |
US8294765B2 (en) | 2012-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4764487B2 (ja) | 映像監視システム | |
KR102519085B1 (ko) | 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치 | |
US11450114B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects | |
EP2172903B1 (en) | Video motion detection | |
EP3016383B1 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
JP2010267055A (ja) | 動体検出装置と動体検出方法およびコンピュータ・プログラム | |
JP4764172B2 (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
KR102127276B1 (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
JP4999794B2 (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
US8923552B2 (en) | Object detection apparatus and object detection method | |
KR20180086048A (ko) | 카메라 및 카메라의 영상 처리 방법 | |
Manchanda et al. | Analysis of computer vision based techniques for motion detection | |
US9838643B1 (en) | Method and system for detection of inherent noise present within a video source prior to digital video compression | |
JP5222908B2 (ja) | 崩落検知システム及び崩落検知方法 | |
US10916016B2 (en) | Image processing apparatus and method and monitoring system | |
WO2018037479A1 (ja) | 画像処理装置、ステレオカメラ装置及び画像処理方法 | |
Maalouf et al. | Offline quality monitoring for legal evidence images in video-surveillance applications | |
CN114372966A (zh) | 一种基于平均光流梯度的相机破坏检测方法及系统 | |
WO2014038924A2 (en) | A method for producing a background model | |
Romić et al. | Influence of the input image resolution on the staircase detection | |
JP2012221331A (ja) | 映像監視システム及び人数推定方法 | |
JP6124739B2 (ja) | 画像センサ | |
AlGhamdi et al. | Automatic motion tracking of a human in a surveillance video | |
JP4998955B2 (ja) | 崩落検知システムおよび方法 | |
JP5446641B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4764487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |