CN102693537A - 图像监视系统和检测对象是被留下还是被带走的方法 - Google Patents

图像监视系统和检测对象是被留下还是被带走的方法 Download PDF

Info

Publication number
CN102693537A
CN102693537A CN2012100232071A CN201210023207A CN102693537A CN 102693537 A CN102693537 A CN 102693537A CN 2012100232071 A CN2012100232071 A CN 2012100232071A CN 201210023207 A CN201210023207 A CN 201210023207A CN 102693537 A CN102693537 A CN 102693537A
Authority
CN
China
Prior art keywords
stagnant zone
candidate
pixel
true
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100232071A
Other languages
English (en)
Other versions
CN102693537B (zh
Inventor
具滋映
林廷恩
金知晚
金大镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Academy Industry Foundation of POSTECH
Original Assignee
Samsung Techwin Co Ltd
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd, Academy Industry Foundation of POSTECH filed Critical Samsung Techwin Co Ltd
Publication of CN102693537A publication Critical patent/CN102693537A/zh
Application granted granted Critical
Publication of CN102693537B publication Critical patent/CN102693537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种图像监视系统和检测对象是被留下还是被带走的方法。所述图像监视系统包括：前景检测单元，基于背景图像的像素信息与当前输入图像之间的像素信息之差检测前景区域；静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；对象检测单元，基于关于真静止区域的边缘信息确定对象是被留下还是被带走。

Description

图像监视系统和检测对象是被留下还是被带走的方法
本申请要求于2011年1月17日提交到韩国知识产权局的第10-2011-0004538号韩国专利申请的优先权，其公开通过引用完整地包含于此。
技术领域
与示例性实施例一致的设备和方法涉及通过分析由固定相机获得的输入图像来检测留下或被带走的对象的图像监视。
背景技术
已经对通过如在监视系统中使用的固定相机一样地使用固定相机来对背景进行建模并检测对象的区域的技术进行了研究。另外，随着恐怖主义对公共设施的危险增加，需要开发用于检测这些危险的监视系统。
检测被留下之后在预定时间段内没有移动的对象或者已被带走过了预定时间段的对象的现有技术的方法可被用于诸如预定等级的光照和其它移动对象的数量有限时的环境。由于使用所述现有技术的方法的环境变得更加复杂，所以现有技术的方法的性能会显著降低。可根据在给定区域中的移动对象的数量、光照和天气的改变以及噪声的存在来确定环境复杂度的等级。这些现有技术的方法具有如下的问题，即，不能检测留下或带走的对象，或者增加在光照的改变发生和很多其它对象移动的复杂环境中的很多错误警报。
发明内容
一个或多个示例性实施例提供一种即使在复杂的环境中检测被留下或带走的对象的方法和系统。
根据示例性实施例的一方面，提供了一种图像监视系统，所述图像监视系统可包括：前景检测单元，基于背景图像与当前输入图像之间的像素信息之差，检测前景区域；静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；对象检测单元，基于关于真静止区域的边缘信息确定对象是留下还是被带走。
静止区域检测单元可包括：候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素的一个，并对静止像素进行分簇以检测候选静止区域；错误检测确定单元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，其中，所述多个条件使用以下各项中的至少一个：相对于候选静止区域的面积的前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段，候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，其中，如果候选静止区域满足所述多个条件中的至少一个，则静止区域检测单元将该候选静止区域确定为真静止区域。
关于候选静止区域的信息可包括：候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值和候选静止区域被检测为候选静止区域的持续时间段，其中，基于先前输入图像的候选静止区域更新当前输入图像的候选静止区域。
错误检测单元可应用局部二进制模式(LBP)来去除由于暗度的改变而错误地检测的静止区域。
如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则候选静止区域被确定为真静止区域。
对象检测单元可包括：边界区域提取单元，对通过对真静止区域进行扩大(dilate)产生的扩大区域和通过对真静止区域进行缩小(erode)和反转(reverse)产生的反转缩小区域进行异或逻辑(XOR)计算，以提取在当前输入图像中的真静止区域的边界区域；边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则对象检测单元确定对象被留下，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。
根据另一示例性实施例，提供了一种在图像监视系统中检测对象是被留下还是被带走的方法。所述方法可包括：基于背景图像与当前输入图像之间的像素信息之差检测前景区域；通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
检测前景区域的步骤可包括：获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值来产生背景图像，并使用预定数量的图像帧更新背景图像；将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的一个；基于关于前景像素的色相信息和亮度信息从前景像素去除阴影像素。
确定对象是被留下还是被带走的步骤可包括：将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个；对静止像素进行分簇以检测候选静止区域；确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，其中，所述多个条件使用以下各项中的至少一个：相对于候选静止区域的面积的前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，其中，如果候选静止区域满足所述多个条件中的至少一个，则该候选静止区域被确定为真静止区域。
关于候选静止区域的信息可包括：候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值和候选静止区域被检测为候选静止区域的持续时间段，其中，基于先前输入图像的候选静止区域更新当前输入图像的候选静止区域。
所述方法还可包括：应用局部二进制模式(LBP)来去除由于暗度的改变而错误地检测的静止区域。
如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。
确定对象是被留下还是被带走的步骤可包括：对通过对真静止区域进行扩大(dilate)产生的扩大区域和通过对真静止区域进行缩小(erode)和反转(reverse)产生的反转缩小区域进行异或逻辑(XOR)计算，以提取当前输入图像中的真静止区域的边界区域；边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是留下还是被带走。
确定对象是被留下还是被带走的步骤可包括：如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则确定对象被留下；如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定对象被带走。
附图说明
通过参照附图详细描述示例性实施例，上述和其它方面将变得更加清楚，其中：
图1和图2A至图2D是根据示例性实施例的用于解释在图像监视系统中检测留下或带走的对象的方法的流程图和一组图像；
图3是根据示例性实施例的图1的产生背景图像和检测前景区域的操作的流程图；
图4A和图4B示出根据示例性实施例的用于解释产生背景图像的操作的一组图像；
图5是根据示例性实施例的用于解释从前景区域去除阴影的方法的图形；
图6A至图6C是根据示例性实施例的用于解释去除阴影的方法的一组图像；
图7是根据示例性实施例的参照图1描述的检测静止区域的方法的流程图；
图8是示出根据示例性实施例的候选静止图像的二次移动的一组图像；
图9是根据示例性实施例的用于解释局部二进制模式(LBP：local binarypattern)方法的示图；
图10是根据示例性实施例的图1的检测被留下或带走的对象的方法的流程图；
图11A至图11D是根据示例性实施例的用于解释图10的检测被留下或带走的对象的方法的示图；
图12是根据示例性实施例的用于检测被留下或带走的对象的图像监视系统的示意性框图。
具体实施方式
以下，参照附图来描述示例性实施例。
图1和图2A至图2D分别是根据示例性实施例的用于解释在图像监视系统中检测被留下或带走的对象的方法的流程图和一组图像；
参照图1和图2A至图2D，根据本示例性实施例的方法包括：使用输入图像的色彩信息产生背景图像并检测前景区域(图2A和图2B)；基于前景区域检测静止区域(图2C)；通过提取边缘信息来确定对象是被带走还是被留下(图2D)。
图像监视系统使用预定数量的输入图像的RGB彩色图像来产生背景图像(操作S101)。
图像监视系统使用背景图像与当前输入图像之间的RGB色彩信息之差来检测前景区域(操作S103)。
图像监视系统从前景区域检测满足预定条件的静止区域(操作S105)。图像监视系统通过对前景区域的前景像素进行分簇以检测候选静止区域并确定是否错误地检测了候选静止区域，来确定真静止区域。
图像监视系统通过分析从静止区域提取的边缘信息的变化(a change indevelopment)来确定对象是被带走还是被留下(操作S107)。
图3是根据示例性实施例的图1的产生背景图像和检测前景区域的操作的流程图。图4A和图4B示出根据示例性实施例的用于解释产生背景图像的操作的一组图像。图5是根据示例性实施例的用于解释从前景区域去除阴影的方法的图形。图6A至图6C是根据示例性实施例的用于解释去除阴影的方法的一组图像。
如图4A所示，对于预定数量的图像帧(1至N帧)的各个像素，图像监视系统获得并存储色彩信息(例如，作为RGB强度的RGB值)(操作S301)。
图像监视系统对于各个像素从存储的RGB值中选择最高频数的RGB值(即，最频繁获得的RGB值)，并基于对于各个像素选择的RGB值产生背景图像(操作S303)。例如，对于像素A(x，y)，对0至255的RGB值的频数进行计数。当对于像素A(x，y)，255的RGB值的频数最高时，对于像素A(x，y)选择255。下面的等式(1)示出在背景图像中的位置(x，y)处的像素B(x，y)。这里，CI(x，y)是对于像素(x，y)的RGB值“I”的频数。
B ( x , y ) R , G , B = arg max I c I ( x , y ) | R , G , B I＝0，...，255            (1)
根据示例性实施例，在图像序列中获得目标区域的图像以产生背景图像，并且RGB信息累计计数方法用于各个像素。因此，如图4B所示，考虑了出现并且持续了充分的时间段(持续了预定数量的帧)的移动对象，并准确地产生背景图像。
图像监视系统通过对于各个像素使用背景图像与当前输入图像之间的RGB值之差，来检测前景像素(操作S305)。当对于目标像素的当前输入图像与背景图像之间的RGB平均值之差等于或大于阈值(例如，TH1＝5)，或对于目标像素的背景图像与当前输入图像之间的R、G和B值之差中的任意一个等于或大于阈值(TH2＝13)时，图像监视系统将目标像素设置为前景像素F(x，y)。如以下的等式(2)中示出，前景像素F(x，y)可被设置为具有255的值。
如果|Davg＞TH1|或者|DR/G/B＞TH2|，则F(x，y)＝255    (2)
图像监视系统基于色相(hue)信息和亮度信息从检测的前景像素去除阴影(操作S307)。当阴影被投射到背景之上时，由于整个暗度(darkness)被改变，所以像素的RGB信息(例如，RGB值)被改变，并且阴影可被检测为前景区域。因此，使用关于每个像素的色相信息和亮度信息来去除阴影。与先前背景图像相比，投射了阴影的区域具有相似的色相信息，但是具有不同的亮度信息；与先前背景图像相比，关于移动对象区域的信息具有非常不同的色相信息。图像监视系统根据下面的等式(3)使用这些特征从前景区域去除阴影。
如果|distance|＜THd，并且θ＜THθ，则 | P i | = | I i | cos θ = I i · E i | E j | → dis tan ce = | P i | - | E j | → I i = 0 - - - ( 3 )
在使用上述等式(3)的RGB坐标系中，“I”(与等式(1)的“I”不同)是输入图像的像素矢量，“E”是背景图像的像素矢量，“P”是对于I的E投射的投射矢量。当P与E的距离差的绝对值|distance|等于或小于阈值THd，且P与E之间的角度θ等于或小于阈值THθ时，对应的像素被设置为阴影像素，并因此从前景像素中被去除。通过去除阴影，如图6C所示，检测到比如图6B中示出的没有去除阴影的情况清楚的前景图像。
图像监视系统更新背景图像(操作S209)。图像监视系统在预定时间段期间对于目标区域上的各个像素持续执行RGB信息累计计数方法。图像监视系统使用累计计数的结果，仅对于这种像素更新背景区域，即，这种像素在检测到前景像素之后的预定时间段连续被确定为背景像素。
图7是根据示例性实施例的参照图1描述的检测静止区域的方法的流程图。图8是示出根据示例性实施例的候选静止图像的二次移动的一组图像。图9是根据示例性实施例的用于解释局部二进制模式(LBP)方法的示图。
参照图7，图像监视系统将在预定时间段或更长时间(例如，30帧或更长)期间被连续检测为前景像素的像素检测为候选静止像素(操作S701)。
图像监视系统检测候选静止区域(操作S703)。图像监视系统通过对相邻候选静止像素进行分簇来检测静止区域。为了对静止像素进行分簇，可使用连接组件分簇方法。将每个候选静止区域在屏幕上显示为包括所有分簇的候选静止像素的框。
图像监视系统将关于检测的候选静止区域的信息登记在列表上，并针对各个图像帧更新列表(操作S705)。登记在列表上的关于候选静止区域的信息包括候选静止区域的左上像素和右下像素的(x，y)坐标、候选静止区域的大小、关于候选静止区域的平均RGB信息、关于与候选静止区域对应的背景区域的平均RGB信息和候选静止区域的持续时间段。
由于图像监视系统针对各个图像帧检测候选静止区域，因此当在当前图像帧中检测的候选静止区域和先前图像帧的候选静止区域相同时，图像监视系统需要更新关于候选静止区域的信息。可根据先前图像帧的候选静止区域的框与当前图像帧的候选静止区域的框相互重叠的比率是否等于或大于预定比率，或者根据当前图像帧的候选静止区域和先前图像帧的候选静止区域之间的平均RGB值之差是否等于或大于预定值，来确定在当前图像帧中检测的候选静止区域和先前图像帧的候选静止区域是否相同。当确定了在当前图像帧中检测的候选静止区域和先前图像帧的候选静止区域相同时，登记的关于候选静止区域的信息被更新为关于当前图像帧的候选静止区域的信息。这里，只在候选静止区域的大小增加的情况下才更新关于候选静止区域的信息。这是因为认为移动对象停止移动。
图像监视系统去除从检测的候选静止区域中被错误地检测的候选静止区域，并选择最终静止区域(操作S707)。因此，可从候选静止区域中仅选择通过带走或留下对象的事件所产生的真静止区域。
用于确定候选静止区域是否被错误地检测的条件如下。
(1)围绕候选静止区域的另一前景区域的比率
如果围绕候选静止区域的另一前景区域的比率大于阈值(例如，0.234)，则保留对候选静止区域是否被错误地检测的确定，并且检查其他条件，直到围绕候选静止区域的另一前景区域的比率小于预定值，以在最终静止区域被特定移动对象覆盖(即，重叠)时防止最终静止区域的选择被该特定移动对象影响。这里，围绕候选静止区域的另一前景区域是在候选静止区域被另一前景区域围绕或包括在另一前景区域中时不与候选静止区域重叠或不覆盖候选静止区域的另一前景区域。可根据{(除了候选静止区域之外的区域中另一前景区域的面积)/(除了候选静止区域之外的区域的面积)}来计算围绕候选静止区域的另一前景区域的比率。
(2)与候选静止区域对应的前景区域的稳定状态
如果与候选静止区域对应的前景区域的面积的变化大于阈值(例如，0.17×前景区域的面积)，并且该前景区域的中心坐标的变化大于阈值(例如，三个像素)，则确定候选静止区域被错误地检测。这是因为当由于前景区域的面积变化导致中心坐标的变化大于预定范围时，对象没有稳定地位于单个位置或不消失。此外，考虑到对象在其周围移动的另一前景区域的影响，定义该条件。
(3)候选静止区域的持续时间段
如果候选静止区域作为候选存在持续大于阈值(例如，200帧)的持续时间段，则图像监视系统确定候选静止区域被错误地检测，以防止由于多个错误地检测的静止区域累计并被组合而认为候选静止区域存在持续长的时间段。
(4)候选静止区域的大小
如果候选静止区域大于阈值(例如，0.15×图像大小)，则图像监视系统确定候选静止区域被错误地检测，以防止被错误地检测的多个候选静止区域被同时检测并被组合。
(5)是否存在候选静止区域的二次移动
如果检测到候选静止区域的二次移动，则图像监视系统确定候选静止区域被错误地检测。例如，如图8所示，二次移动与静止车辆移动预定距离的情况、坐下或站立的人改变他或她的姿势的情况等对应。在产生候选静止区域之后的预定时间段内，当在候选静止区域的框中检测到另一框时，或者当多个框与彼此重叠的比率大于预定值时，确定候选静止区域被错误地检测。
根据上述实施例，如果确定候选静止区域是否被错误地检测，则顺序地应用条件(1)到条件(5)。然而，本发明构思不限于此。根据用户或环境，可改变条件的顺序。此外，符合本发明构思的其它条件可代替上面的条件或可被额外地用于去除被错误地检测的候选静止区域。例如，可额外使用以下条件。
(6)通过使用局部二进制模式(LBP)去除错误检测
除了条件(1)到条件(5)之外，图像监视系统还可使用LBP以降低错误检测率。LBP是通过使用相邻像素的值和像素本身的值来确定像素状态的方法，因此，可针对灰度级的单调变化有效使用LBP。
LBP ( x c , y c ) = &Sigma; p = 0 p - 1 s ( g p - g c ) 2 p s ( x ) = 1 x &GreaterEqual; 0 0 x < 0 . . . ( 4 )
这里，gp是第p个相邻像素的RGB值，gc是中心像素的RGB值。即，如图9中所示，中心像素的特征值通过以2的幂的形式计算结果模式来确定，所述结果模式通过将中心像素值和八个相邻像素中的每个像素的值进行比较来获得，以将关于每个相邻像素的位置信息反映到特征值。
尽管候选静止区域是被错误地检测的静止区域但是该候选静止区域被确定为真静止区域的情况之一是这样的情况：由于背景的整体暗度改变，因此所述候选静止区域在如下所述的列表反转匹配处理中被确定为真静止区域。在列表反转匹配中，由于将各个像素的RGB值本身进行比较，因此可能检测不到整体暗度的改变。因此，LBP用于将由于光照或阴影的改变导致暗度改变的候选静止区域确定为被错误地检测的候选静止区域。在LBP中，由于不管3×3掩模中的整体暗度的改变而使用暗度中的相对差，因此可排除对于灰度级中的单调变化的影响。
(7)列表反转匹配
图像监视系统确定在根据条件(1)到条件(6)下去除了被错误地检测的候选静止区域的候选静止区域是否是真静止区域。图像监视系统针对各个候选静止区域，将存储在列表上的关于与候选静止区域对应的背景区域的平均RGB信息与关于候选静止区域的平均RGB信息进行比较。作为比较的结果，如果平均RGB信息之差小于阈值(例如，15)，则图像监视系统确定对应的静止区域是被错误地检测的静止区域。此外，当平均RGB信息之差大于阈值时，图像监视系统确定候选静止区域为真静止区域。真静止区域的RGB值可被设置为255。
如果|Davg＞TH|，则S(x，y)＝255        (5)
在图像监视系统选择真静止区域之后，图像监视系统初始化前景信息并改变背景图像(操作S709)。图像监视系统去除与真静止区域对应的前景区域，并初始化用于检测候选静止区域的累计计数值。此外，图像监视系统用当前输入图像替换背景图像以准备检测另一静止图像，从而更新被确定为前景区域/候选静止区域/真静止区域的像素的背景。
图10是根据示例性实施例的图1的检测被留下或被带走的对象的方法的流程图。
参照图10，图像监视系统通过在输入图像和背景图像中仅提取每个真静止区域的边界区域然后分析关于边界区域的边缘信息的变化，来确定对象是被留下还是被带走。
图像监视系统对真静止区域进行扩大以产生扩大区域(操作S1001)。
图像监视系统对真静止区域进行缩小和反转以产生反转缩小区域(操作S1003)。
图像监视系统对扩大区域和反转缩小区域执行异或(XOR)，以提取真静止区域的XOR区域(边界区域)(操作S1005)。
图像监视系统提取关于真静止区域的边界区域的边缘信息以及关于与真边界区域对应的背景区域的边界区域的边缘信息(操作S1007)。
图像监视系统分析真静止区域的边缘强度的改变，以确定对象是被留下还是被带走(操作S1009)。如果关于输入图像的真静止区域的边缘信息与关于背景图像的边缘信息相比增加，则图像监视系统确定对象被留下。如果关于输入图像的真静止区域的边缘信息与关于背景图像的边缘信息相比降低，则图像监视系统确定对象被带走。
图11A到图11D是根据示例性实施例的用于解释图10的检测被留下或带走的对象的方法的示图。
图11A示出在t0输入的图像“INPUT 1”和在t0+Δt输入的图像“INPUT2”。如图11C中所示，对从输入图像“INPUT 2”选择的静止区域SR(在图11B中示出)执行扩大“Dilation”、缩小和反转“Erosion′”以及“Dilation^Erosion′”的XOR计算。如图11D中所示，在XOR计算之后，关于从输入图像“INPUT 2”检测到的静止区域SR的边缘信息与关于输入图像“INPUT 1”的边缘信息相比增加，因此，确定静止区域SR的对象被留下。相反，当输入图像“INPUT 2”在t0输入，并且输入图像“INPUT 1”在t0+Δt输入时，关于从输入图像“INPUT 1”检测到的静止区域SR的边缘信息与关于输入图像“INPUT 2”的边缘信息相比降低，因此，确定静止区域SR的对象被带走。
图12是根据示例性实施例的用于检测被留下或带走的对象的图像监视系统的示意性框图。图像监视系统执行参照图1到图10所描述的检测被留下或被带走的对象的方法。在下文，将省略已经参照图1到图10描述的详细描述。
参照图12，图像监视系统包括图像获得单元201、图像检测单元203以及显示单元205。
图像获得单元201从至少一个成像装置(诸如固定相机)获得实时图像信号。
图像检测单元203处理并分析输入图像，并检测事件。图像检测单元203包括前景检测单元202、静止区域检测单元204和用于检测被留下或被带走的对象的对象检测单元206。
前景检测单元202基于背景图像和当前输入图像之间的色彩信息之差检测前景区域。前景检测单元202包括背景产生单元222、前景区域检测单元242和阴影去除单元262。
背景产生单元222存储预定数量的图像帧中的各个像素的RGB值，并通过使用具有存储的RGB值中的最高累计频数的RGB值的像素来产生背景图像。背景产生单元222根据检测前景区域的结果来更新背景图像。
前景区域检测单元242将背景图像和当前输入图像之间的RGB值差等于或大于阈值的像素设置为前景像素。
阴影去除单元262基于色调信息和亮度信息从前景像素去除阴影像素。
静止区域检测单元204通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定候选静止区域是否被错误地检测以选择真静止区域。静止区域检测单元204包括候选静止区域检测单元224、列表244和错误检测确定单元264。
候选静止区域检测单元224将在预定时间段期间被检测为前景像素的像素设置为静止像素，对设置的静止像素进行分簇以将所述设置的静止像素检测为候选静止区域，并将关于候选静止区域的信息登记在列表244中。关于候选静止区域的信息包括：候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、关于候选静止区域的平均RGB信息、关于与候选静止区域对应的背景区域的平均RGB信息以及候选静止区域的持续时间段。当当前输入图像的候选静止区域与先前输入图像的候选静止区域相同时，存储在列表244上的候选静止区域信息被更新为关于当前输入图像的候选静止区域的信息。
错误检测确定单元264将用于确定候选静止区域是否被错误地检测的条件应用于候选静止区域，以去除被错误地检测的候选静止区域。用于确定候选静止区域是否被错误地检测的条件包括围绕候选静止区域的另一前景区域的比率、与候选静止区域对应的前景区域的稳定状态、候选静止区域的持续时间段、候选静止区域的大小以及是否存在候选静止区域的二次移动。可改变上述条件的顺序。
错误检测确定单元264还可根据暗度的改变将LBP应用于在去除了被错误地检测的静止区域之后剩余的候选静止区域，以进一步去除被错误地检测的静止区域。此外，错误检测确定单元264根据暗度的改变对在去除了被错误地检测的静止区域之后剩余的候选静止区域执行列表反转匹配，以进一步去除被错误地检测的静止区域。列表反转匹配是将列表244的候选静止区域的平均RGB值和与候选静止区域对应的背景区域的平均RGB值进行比较的处理。在这种情况下，当平均RGB值之间的差等于或大于阈值时，候选静止区域被选择为真静止区域。
将关于被错误地检测的静止区域的信息从列表244去除。
对象检测单元206基于真静止区域确定对象是被留下还是被带走。对象检测单元206包括边界区域提取单元226、边缘提取单元246和用于检测被留下或被带走的对象的确定单元266。
边界区域提取单元226对通过扩大真静止区域产生的扩大区域以及通过缩小和反转真静止区域产生的反转缩小区域执行XOR计算，以提取真静止区域的边界区域。
边缘提取单元246提取关于真静止区域的边界区域的边缘信息和关于与真静止区域对应的背景图像的边界区域的边缘信息。
确定单元266基于真静止区域的边缘强度和与真静止区域对应的背景图像的边缘强度之间的变化来检测对象是被留下还是被带走，并显示具有框形的块。当真静止区域的边缘强度和与真静止区域对应的背景图像的边缘强度相比增加时，确定单元266确定对象被留下。当真静止区域的边缘强度和与真静止区域对应的背景图像的边缘强度相比降低时，确定单元266确定对象被带走。当确定单元266确定对象被带走时，在经过预定时间段后，确定单元266释放用于显示对象被检测为被带走的静止区域的块，并从列表244去除与静止区域有关的信息。此外，当确定单元266确定对象被留下时，在经过预定时间段后，确定单元266比较背景图像和输入图像。当没有变化时，确定单元266继续显示块。然后，再次经过预定时间段后，确定单元266释放用于显示对象被检测为被留下的静止区域的块，并从列表244去除与静止区域有关的信息。
当带走或留下对象的事件发生时，显示单元205可显示目标图像并可发出警报。显示单元205可包括液晶显示(LCD)面板、有机发光显示面板、电泳显示面板等。
根据一个或多个示例性实施例，检测对象的方法可用于在公共设施(诸如机场或地铁)自动检测可疑对象(例如，爆炸装置)，并可在用于约束非法倾倒垃圾或非法停车的自动系统中被使用。此外，所述方法可在用于保护艺术品博物馆、展览中心、珠宝商店等中的展览品或产品的自动防盗系统中被使用。
根据以上示例性实施例的系统和方法可在存在多个移动对象的复杂环境中提取与被带走或被留下的对象有关的详细信息，从而获得用于自动检测被留下或带走的物体的稳定性能。
虽然参照本发明构思的示例性实施例具体显示和描述了本发明构思，但是本领域普通技术人员将明白，在不脱离由权利要求限定的精神和范围的情况下，可以对其进行形式和细节的各种改变。

Claims (20)

1.一种图像监视系统，包括：
前景检测单元，基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测前景区域；
静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；
对象检测单元，基于关于真静止区域的边缘信息确定对象是留下还是被带走。
2.根据权利要求1所述的图像监视系统，其中，前景检测单元包括：
背景产生单元，获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值，来产生背景图像；
前景区域检测单元，将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的一个；
阴影去除单元，基于关于前景像素的色相信息和亮度信息从前景像素去除阴影像素。
3.根据权利要求1所述的图像监视系统，其中，静止区域检测单元包括：
候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个，并对静止像素进行分簇以检测候选静止区域；
错误检测确定单元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，
其中，所述多个条件使用以下各项中的至少一个：相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段，候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，
其中，如果候选静止区域满足所述多个条件中的至少一个，则静止区域检测单元将该候选静止区域确定为真静止区域。
4.根据权利要求3所述的图像监视系统，其中，关于候选静止区域的信息包括：候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值以及候选静止区域被检测为候选静止区域的持续时间段，
其中，基于关于先前输入图像的候选静止区域的信息更新关于当前输入图像的候选静止区域的信息。
5.根据权利要求3所述的图像监视系统，其中，对象检测单元包括：
边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域；
边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；
确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
6.根据权利要求3所述的图像监视系统，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则确定单元确定对象被留下，
其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。
7.根据权利要求1所述的图像监视系统，其中，静止区域检测单元包括：
候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个，并对静止像素进行分簇以检测候选静止区域；
错误检测确定单元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件，
其中，所述多个条件使用以下各项：相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，
其中，如果候选静止区域满足所有的所述多个条件，则静止区域检测单元将该候选静止区域确定为真静止区域。
8.根据权利要求7所述的图像监视系统，其中，如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。
9.根据权利要求1所述的图像监视系统，其中，对象检测单元包括：
边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域；
边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；
确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
10.根据权利要求9所述的图像监视系统，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则确定单元确定对象被留下，
其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。
11.一种图像监视系统，包括：
前景检测单元，基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测多个前景区域；
静止区域检测单元，从所述多个前景区域中检测多个候选静止区域，并通过从所述多个候选静止区域中去除错误地检测的静止区域，来选择真静止区域；
对象检测单元，基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
12.根据权利要求11所述的图像监视系统，其中，静止区域检测单元包括：
候选静止区域检测单元，将在预定时间段期间被检测为前景区域的前景像素的像素设置为静止像素中的一个，并对静止像素进行分簇以检测所述多个候选静止区域；
错误检测确定单元，基于多个条件中的至少一个来确定所述多个候选静止区域是否被错误地检测，其中，所述多个条件使用以下各项：相对于每个候选静止区域的面积的每个前景区域的面积、在预定时间段内的每个前景区域的面积的变化、每个前景区域的坐标的变化、每个候选静止区域被检测为候选静止区域的持续时间段、每个候选静止区域的大小、每个候选静止区域的移动、每个候选静止区域的暗度变化以及每个候选静止区域的平均像素值与对应于每个候选静止区域的背景图像的背景区域的平均像素值之间的关系，
其中，如果至少一个候选静止区域满足所述多个条件中的至少一个，则静止区域检测单元将所述至少一个候选静止区域确定为真静止区域。
13.根据权利要求11所述的图像监视系统，其中，对象检测单元包括：
边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域；
边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；
确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对应于真静止区域的对象是被留下还是被带走。
14.一种使用图像监视系统来检测对象是被留下还是被带走的方法，所述方法包括如下步骤：
基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测前景区域；
通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；
基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
15.根据权利要求14所述的方法，其中，检测前景区域的步骤包括：
获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值来产生背景图像；
将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的一个；
基于关于前景像素的色相信息和亮度信息从前景像素去除阴影像素。
16.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括：
将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个；
对静止像素进行分簇以检测候选静止区域；
确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，
其中，所述多个条件使用以下各项中的至少一个：相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，
其中，如果候选静止区域满足所述多个条件中的至少一个，则该候选静止区域被确定为真静止区域。
17.根据权利要求16所述的方法，其中，关于候选静止区域的信息包括：候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值以及候选静止区域被检测为候选静止区域的持续时间段，
其中，基于关于先前输入图像的候选静止区域的信息更新关于当前输入图像的候选静止区域的信息。
18.根据权利要求16所述的方法，其中，如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。
19.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括：
对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑求和计算，以提取当前输入图像中的真静止区域的边界区域；
提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；
基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
20.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括：
如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则确定对象被留下；如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定对象被带走。
CN201210023207.1A 2011-01-17 2012-01-17 图像监视系统和检测对象是被留下还是被带走的方法 Active CN102693537B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0004538 2011-01-17
KR1020110004538A KR101237970B1 (ko) 2011-01-17 2011-01-17 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법

Publications (2)

Publication Number Publication Date
CN102693537A true CN102693537A (zh) 2012-09-26
CN102693537B CN102693537B (zh) 2017-04-26

Family

ID=46490796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210023207.1A Active CN102693537B (zh) 2011-01-17 2012-01-17 图像监视系统和检测对象是被留下还是被带走的方法

Country Status (3)

Country Link
US (1) US8712099B2 (zh)
KR (1) KR101237970B1 (zh)
CN (1) CN102693537B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574351A (zh) * 2014-08-06 2015-04-29 深圳市捷顺科技实业股份有限公司 一种基于视频处理的车位检测方法
CN106162092A (zh) * 2016-07-29 2016-11-23 深圳创维－Rgb电子有限公司 一种运动视频采集及播放的方法及系统
CN108961299A (zh) * 2017-05-18 2018-12-07 北京金山云网络技术有限公司 一种前景图像获得方法及装置
CN109756666A (zh) * 2017-11-06 2019-05-14 京瓷办公信息系统株式会社 监控系统
CN110472492A (zh) * 2019-07-05 2019-11-19 平安国际智慧城市科技股份有限公司 目标生物检测方法、装置、计算机设备和存储介质
CN111127838A (zh) * 2018-10-30 2020-05-08 物流及供应链多元技术研发中心有限公司 用于检测非活动对象的系统和方法
CN111510668A (zh) * 2019-01-30 2020-08-07 原盛科技股份有限公司 使用于运动传感器的运动侦测方法
WO2024001345A1 (zh) * 2022-06-30 2024-01-04 深圳市中兴微电子技术有限公司 图像处理方法、电子设备及计算机存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588530B2 (en) * 2010-07-15 2013-11-19 Samsung Techwin Co., Ltd. Method and camera for detecting a region having a specific shape
US9218669B1 (en) * 2011-01-20 2015-12-22 Verint Systems Ltd. Image ghost removal
AU2011265429B2 (en) * 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
TWI479431B (zh) * 2012-04-03 2015-04-01 Univ Chung Hua 物件追蹤方法
JP6051608B2 (ja) * 2012-06-19 2016-12-27 市光工業株式会社 車両周辺対象物検出装置
US8891870B2 (en) * 2012-11-09 2014-11-18 Ge Aviation Systems Llc Substance subtraction in a scene based on hyperspectral characteristics
KR101395666B1 (ko) * 2012-12-31 2014-05-16 동국대학교 산학협력단 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
KR102160583B1 (ko) * 2013-10-08 2020-09-28 에스케이 텔레콤주식회사 이벤트 객체 감시장치 및 방법
KR101498975B1 (ko) * 2013-11-29 2015-03-05 현대모비스(주) 차선 이탈 경보 시스템
KR101652460B1 (ko) * 2014-03-13 2016-08-30 주식회사 나루이엠에스 영상 분석 및 음향 분석을 이용한 해상 풍력 발전 단지 감시 장치
KR101652450B1 (ko) * 2014-05-12 2016-08-31 주식회사 나루이엠에스 소나 및 영상 분석을 이용한 해상 풍력발전 단지 감시 장치
WO2015194118A1 (ja) * 2014-06-16 2015-12-23 日本電気株式会社 物体管理装置、物体管理方法及び物体管理プログラムを記憶する記録媒体
TWI616763B (zh) * 2015-09-25 2018-03-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
CN105336074A (zh) 2015-10-28 2016-02-17 小米科技有限责任公司 报警方法及装置
TWI569212B (zh) * 2015-12-10 2017-02-01 財團法人工業技術研究院 影像辨識方法
CN106228572B (zh) * 2016-07-18 2019-01-29 西安交通大学 一种带状态标注的长期静止物体检测与跟踪方法
CN107133592B (zh) * 2017-05-05 2021-04-02 国网江苏省电力公司无锡供电公司 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
KR102142567B1 (ko) * 2017-09-15 2020-08-07 주식회사 케이티 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
KR102002533B1 (ko) * 2017-11-30 2019-07-22 서울대학교산학협력단 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치
KR102153591B1 (ko) 2018-05-08 2020-09-09 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
US11600072B2 (en) * 2018-12-12 2023-03-07 Motorola Solutions, Inc. Object left behind detection
CN113647097A (zh) * 2019-03-01 2021-11-12 株式会社日立制作所 遗留物检测装置及遗留物检测方法
US11164007B2 (en) * 2019-07-23 2021-11-02 Conduent Business Services, Llc Method and system for detecting the owner of an abandoned object from a surveillance video
CN110677619A (zh) * 2019-08-20 2020-01-10 青岛萨纳斯智能科技股份有限公司 一种智能监控视频处理方法
US11076111B1 (en) * 2019-11-13 2021-07-27 Twitch Interactive, Inc. Smart color-based background replacement
FR3113973A1 (fr) * 2020-09-08 2022-03-11 Karroad Procédé pour lutter contre le dépôt d’un objet ou la réalisation d’une action constituant une incivilité
US20230186270A1 (en) * 2021-12-09 2023-06-15 Zebra Technologies Corporation Methods to Prevent Accidental Triggers for Off-Platter Detection Systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002586A1 (en) * 2004-06-15 2006-01-05 Manoj Aggarwal Method and apparatus for detecting left objects
KR20060067400A (ko) * 2004-12-15 2006-06-20 삼성테크윈 주식회사 카메라 기반의 감시 방법 및 시스템
US20080158361A1 (en) * 2006-10-23 2008-07-03 Masaya Itoh Video surveillance equipment and video surveillance system
CN101231696A (zh) * 2008-01-30 2008-07-30 安防科技（中国）有限公司 遗留物检测方法及系统
CN101552910A (zh) * 2009-03-30 2009-10-07 浙江工业大学 基于全方位计算机视觉的遗留物检测装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066054A (ja) 1996-08-20 1998-03-06 Fujitsu General Ltd 映像監視装置
JPH10126766A (ja) 1996-10-18 1998-05-15 Fujitsu General Ltd 監視カメラ装置
US7620266B2 (en) * 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
CN101426128B (zh) 2007-10-30 2012-10-03 三星电子株式会社 偷盗和遗失包裹检测系统和检测方法
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
US8483481B2 (en) * 2010-07-27 2013-07-09 International Business Machines Corporation Foreground analysis based on tracking information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002586A1 (en) * 2004-06-15 2006-01-05 Manoj Aggarwal Method and apparatus for detecting left objects
KR20060067400A (ko) * 2004-12-15 2006-06-20 삼성테크윈 주식회사 카메라 기반의 감시 방법 및 시스템
US20080158361A1 (en) * 2006-10-23 2008-07-03 Masaya Itoh Video surveillance equipment and video surveillance system
CN101231696A (zh) * 2008-01-30 2008-07-30 安防科技（中国）有限公司 遗留物检测方法及系统
CN101552910A (zh) * 2009-03-30 2009-10-07 浙江工业大学 基于全方位计算机视觉的遗留物检测装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. CONNELL ET AL.: "Detection and Tracking in the IBM PeopleVision System", 《2004 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》, 30 June 2004 (2004-06-30), pages 1403 - 1406, XP 010771180, DOI: doi:10.1109/ICME.2004.1394495 *
PAOLO SPAGNOLO ET AL.: "An Abandoned/Removed Objects Detection Algorithm and Its Evaluation on PETS Datasets", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON VIDEO AND SIGNAL BASED SURVEILLANCE》, 24 November 2006 (2006-11-24) *
吴众山 等: "一种实用的背景提取与更新算法", 《厦门大学学报（自然科学版）》, vol. 47, no. 3, 31 May 2008 (2008-05-31) *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574351B (zh) * 2014-08-06 2017-07-11 深圳市捷顺科技实业股份有限公司 一种基于视频处理的车位检测方法
CN104574351A (zh) * 2014-08-06 2015-04-29 深圳市捷顺科技实业股份有限公司 一种基于视频处理的车位检测方法
CN106162092B (zh) * 2016-07-29 2019-03-15 深圳创维－Rgb电子有限公司 一种运动视频采集及播放的方法及系统
CN106162092A (zh) * 2016-07-29 2016-11-23 深圳创维－Rgb电子有限公司 一种运动视频采集及播放的方法及系统
CN108961299B (zh) * 2017-05-18 2021-03-02 北京金山云网络技术有限公司 一种前景图像获得方法及装置
CN108961299A (zh) * 2017-05-18 2018-12-07 北京金山云网络技术有限公司 一种前景图像获得方法及装置
CN109756666A (zh) * 2017-11-06 2019-05-14 京瓷办公信息系统株式会社 监控系统
CN111127838A (zh) * 2018-10-30 2020-05-08 物流及供应链多元技术研发中心有限公司 用于检测非活动对象的系统和方法
CN111127838B (zh) * 2018-10-30 2024-01-05 物流及供应链多元技术研发中心有限公司 用于检测非活动对象的系统和方法
CN111510668A (zh) * 2019-01-30 2020-08-07 原盛科技股份有限公司 使用于运动传感器的运动侦测方法
CN111510668B (zh) * 2019-01-30 2021-10-19 原相科技股份有限公司 使用于运动传感器的运动侦测方法
CN110472492A (zh) * 2019-07-05 2019-11-19 平安国际智慧城市科技股份有限公司 目标生物检测方法、装置、计算机设备和存储介质
WO2024001345A1 (zh) * 2022-06-30 2024-01-04 深圳市中兴微电子技术有限公司 图像处理方法、电子设备及计算机存储介质

Also Published As

Publication number Publication date
US20120183177A1 (en) 2012-07-19
US8712099B2 (en) 2014-04-29
KR101237970B1 (ko) 2013-02-28
KR20120083086A (ko) 2012-07-25
CN102693537B (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN102693537A (zh) 图像监视系统和检测对象是被留下还是被带走的方法
AU2017211712C1 (en) Methods and systems for drowning detection
Jin et al. Vehicle detection from high-resolution satellite imagery using morphological shared-weight neural networks
Pavlidis et al. Urban surveillance systems: from the laboratory to the commercial world
US8811670B2 (en) Method and system for using fingerprints to track moving objects in video
US20160117562A1 (en) Traffic sign recognizing apparatus and operating method thereof
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
US20100201820A1 (en) Intrusion alarm video-processing device
TW201120807A (en) Apparatus and method for moving object detection
CN105389797A (zh) 一种基于超分辨率重建的无人机视频小目标检测方法
US9213900B2 (en) Automated vision-based clutter detector and notifier
CN101866496B (zh) 基于同心圆环图案组的增强现实方法
CN104981818A (zh) 将机场中的移动的飞机分类的系统和方法
Almagbile Estimation of crowd density from UAVs images based on corner detection procedures and clustering analysis
CN109409186A (zh) 用于对象检测和通知的驾驶员辅助系统和方法
Qianyin et al. A model based method of pedestrian abnormal behavior detection in traffic scene
CN104200213A (zh) 一种基于多部件的车辆检测方法
Yao et al. Oil tank detection based on salient region and geometric features
Deb et al. A vehicle license plate detection method for intelligent transportation system applications
CN103903269B (zh) 球机监控视频的结构化描述方法和系统
Tao et al. Smoky vehicle detection in surveillance video based on gray level co-occurrence matrix
KR102141781B1 (ko) 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
JPWO2018110377A1 (ja) 映像監視装置
CN102682422A (zh) 车牌检测方法和装置
Lee et al. Robust detection system of illegal lane changes based on tracking of feature points

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Applicant after: POSTECH ACADEMY-INDUSTRY FOUNDATION

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

Applicant before: POSTECH ACADEMY-INDUSTRY FOUNDATION

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Co-patentee after: POSTECH ACADEMY-INDUSTRY FOUNDATION

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Co-patentee before: POSTECH ACADEMY-INDUSTRY FOUNDATION

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190227

Address after: Gyeonggi Do city of South Korea

Co-patentee after: POSTECH ACADEMY-INDUSTRY FOUNDATION

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Co-patentee before: POSTECH ACADEMY-INDUSTRY FOUNDATION

Patentee before: HANWHA AEROSPACE Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: POSTECH ACADEMY-INDUSTRY FOUNDATION

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: POSTECH ACADEMY-INDUSTRY FOUNDATION

CP01 Change in the name or title of a patent holder