CN105809710B - 检测运动目标的系统和方法 - Google Patents

检测运动目标的系统和方法 Download PDF

Info

Publication number
CN105809710B
CN105809710B CN201610032915.XA CN201610032915A CN105809710B CN 105809710 B CN105809710 B CN 105809710B CN 201610032915 A CN201610032915 A CN 201610032915A CN 105809710 B CN105809710 B CN 105809710B
Authority
CN
China
Prior art keywords
background model
background
information
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610032915.XA
Other languages
English (en)
Other versions
CN105809710A (zh
Inventor
白荣民
郑直限
金志晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Hanwha Aerospace Co Ltd
Original Assignee
Hanwha Land Systems Co Ltd
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Land Systems Co Ltd, Hanwha Techwin Co Ltd filed Critical Hanwha Land Systems Co Ltd
Publication of CN105809710A publication Critical patent/CN105809710A/zh
Application granted granted Critical
Publication of CN105809710B publication Critical patent/CN105809710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

提供一种检测运动目标的系统和方法。所述系统包括:像素信息存储单元,存储由成像装置输入的视频的帧的各个像素信息;背景模型设置单元,设置用于确定视频的每帧中的多个像素是背景像素还是前景像素的背景模型;背景像素确定单元,将像素信息和背景模型进行比较,并基于所述比较来确定所述多个像素是背景像素还是前景像素;背景模型更新单元,定期地更新背景模型。背景模型包括至少一个背景模型元素,所述至少一个背景模型元素包括视频属性信息和使用时间信息中的至少一个。

Description

检测运动目标的系统和方法
本申请要求于2015年1月19日提交到韩国知识产权局的第10-2015-0008767号韩国专利申请的权益,所述申请的公开通过引用完整地包含于此。
技术领域
一个或多个示例性实施例涉及一种检测运动目标的系统和方法,更具体地,涉及一种通过从由成像装置拍摄的视频确定背景像素和前景像素来检测运动目标的系统和方法。
背景技术
在现有技术中,CCTV相机安全技术可包括可通过传输网络接收由相机拍摄的视频的手动操作的物理安全系统。用户可通过监视器直接监控安全环境或将视频存储为DVD并后续通过存储的视频进行搜索。
然而,由于在这样的视频安全系统中CCTV相机数量的快速增加,用户可能不能直接监控所需区域并分析拍摄的视频。此外,对实时监控系统而不是后处理监控系统的需求不断增加。随着信息技术的快速发展,网络视频监控系统必须升级为结合各种技术的智能视频监控系统。
智能视频安全技术可应用于各种领域,例如,主要的国家设施(诸如机场、军队、港口、道路和桥梁)、地铁、建筑物、体育场、停车场、娱乐场、汽车和移动装置。
智能视频安全系统的基本功能包括用于在输入视频中检测运动目标的技术,并且已进行各种技术的研究。在研究中,大多数背景建模技术包括以像素为单位产生背景模型,并且可被分为参数化背景建模和非参数化背景建模。参数化背景建模主要包括:计算背景的时间轴平均值并基于输入视频和背景视频之间的差别检测输入视频的简单方法;使用利用平均值和分布表示的高斯建模的方法。
然而,由于通过仅使用参数化背景建模可能无法适当地去除运动背景(例如,摇晃的树或波浪),所以已提出使用多个模型的方法。例如,背景概率可通过利用K高斯分布对根据高斯混合模型被顺序地输入的像素值的改变进行建模而被统计地建模。
发明内容
一个或多个示例性实施例包括一种检测运动目标的系统和方法,所述系统和方法可包括颜色信息和时间信息,并准确地对背景建模,并能够处理动态背景和背景的快速变化。
另外的方面将会部分地在以下描述中阐述,并且部分从描述中将是清楚的,或可通过呈现的实施例的实践而获知。
根据一个或多个示例性实施例,一种检测运动目标的系统包括:像素信息存储单元,存储由成像装置输入的视频的帧的各个像素信息;背景模型设置单元,设置用于确定视频的每帧中的多个像素是背景像素还是前景像素的背景模型;背景像素确定单元,将像素信息和背景模型进行比较,并基于所述比较来确定所述多个像素是背景像素还是前景像素;背景模型更新单元,定期地更新背景模型。背景模型包括至少一个背景模型元素,所述至少一个背景模型元素包括视频属性信息和使用时间信息中的至少一个。
背景模型更新单元可删除在大于或等于设置的时间段的时间段内未使用的背景模型元素。
当所述多个像素中的至少一个具有与背景模型的外围区域相应的视频属性时,背景模型更新单元可更新背景模型以使背景模型包括所述外围区域。当在预定的时间段内未检测到与扩展的外围区域相应的像素时,背景模型更新单元可按照预定速率减小所述扩展的外围区域。
背景模型更新单元可根据像素信息在背景模型元素中存储使用时间信息,并更新背景模型。使用时间信息可包括:第一时间元素,相应于使用背景模型元素的最近帧的信息;第二时间元素,相应于未顺序地使用背景模型元素的帧的数量;第三时间元素,相应于使用背景模型元素的帧的数量。
背景模型更新单元可产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。背景候选模型元素的数量可小于背景模型元素的数量。
当使用背景候选模型元素的帧的数量大于帧的预定数量时,背景模型更新单元可将背景候选模型元素更新为背景模型元素,并删除最长时间未使用的背景模型元素。
像素信息可包括亮度信息、颜色信息和灰度信息中的至少一个,背景像素确定单元可将具有与像素信息相应的属性的像素确定为背景像素。
根据一个或多个示例性实施例,一种检测运动目标的方法包括:存储由成像装置输入的视频的帧的各个像素信息;设置用于确定视频的每帧中的多个像素是背景像素还是前景像素的背景模型;确定所述多个像素是背景像素还是前景像素,所述确定的步骤包括比较像素信息和背景模型;更新背景模型。背景模型包括包括视频属性信息和使用时间信息中的至少一个的至少一个背景模型元素。
所述更新的步骤可包括:删除在大于或等于设置的时间段的时间段内未使用的背景模型元素。
所述更新的步骤可包括:当所述多个像素中的至少一个具有与背景模型的外围区域相应的视频属性时,更新背景模型以使背景模型包括所述外围区域。所述更新的步骤可包括:当在预定的时间段内未检测到与扩展的外围区域相应的像素时,按照预定的速率减小所述扩展的外围区域。
所述更新的步骤可包括:根据像素信息在背景模型元素中存储使用时间信息;更新背景模型。使用时间信息可包括:第一时间元素,相应于使用背景模型元素的最近帧的信息;第二时间元素,相应于未顺序地使用背景模型元素的帧的数量的信息;第三时间元素,相应于使用背景模型元素的帧的数量的信息。
所述更新的步骤可包括:产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。背景候选模型元素的数量可小于背景模型元素的数量。
所述更新的步骤可包括:当使用背景候选模型元素的帧的数量大于帧的预定数量时,将背景候选模型元素更新为背景模型元素,并删除最长时间未使用的背景模型元素。
像素信息可包括亮度信息、颜色信息和灰度信息中的至少一个,所述确定的步骤可包括将具有与像素信息相应的属性的像素确定为背景像素。
附图说明
这些和/或其它方面将通过以下结合附图进行的实施例的描述变得清楚和更容易理解,在附图中:
图1是示出根据示例性实施例的用于检测运动目标的系统的示意框图;
图2A和图2B是示出背景模型的示例的示图;
图3A和图3B是示出扩展的背景模型的示图;
图4A和图4B是示出使用背景模型未被扩展的背景模型的示例的示图;
图5是示出背景模型的更新的示意图;
图6A和图6B是示出删除背景模型元素的示例的示图;
图7是根据示例性实施例的检测运动目标的方法的示意流程图。
具体实施方式
现在将对实施例做出详细参考,这些实施例的示例被示出在附图中,其中,相同的参考标号始终指示相同的元件。如在这里使用的,术语“和/或”包括一个或多个相关所列项目的任何和所有组合。当诸如“……中的至少一个”的表述在一列元素之后时,所述表述修饰整列元素,而不是修饰该列的单个元素。
图1是根据示例性实施例的用于检测运动目标的系统100的示意框图。
参照图1,根据示例性实施例的系统100包括像素信息存储单元110、背景模型设置单元120、背景像素确定单元130和背景模型更新单元140。
像素信息存储单元110可存储由成像装置(未示出)输入的视频的帧的各个像素信息。成像装置可包括可被安装在系统100外部并向系统100提供拍摄的视频的视频相机或监控相机。此外,成像装置可被固定在特定位置并且直至用户另外操作成像装置为止不改变自身的位置或拍摄方向。
成像装置可有线地或无线地连接到系统100,并向系统100发送信息和从系统100接收信息。成像装置可被包括在系统100中。
由成像装置提供的视频可按每时间单位包括多个帧。例如,视频可包括60帧每秒(FPS)或120FPS。帧的数量可根据成像装置的性能或由用户选择的系统设置而变化。帧的数量不限于特定数量。
配置由成像装置提供的视频的每个帧可包括多个像素。帧可包括水平方向上的m个像素和垂直方向上的n个像素,即,总共m×n个像素。根据像素的数量,这些像素中的每个可划分由成像装置拍摄的屏幕。这些像素中的每个可显示不同的颜色、亮度和灰度。
像素信息存储单元110可存储像素的像素信息,例如,颜色信息、亮度信息和灰度信息。像素信息存储单元110可包括可存储数据并与成像装置通信的各种存储装置。
背景模型设置单元120设置用于确定视频的每帧中的像素是否是背景像素的背景模型。由成像装置提供的视频可显示至少一个目标。所述至少一个目标可被确定为运动的“前景”或静止的“背景”。例如,汽车和人可被确定为前景,而建筑物、树木、交通灯和道路可被确定为背景。
背景模型可包括预计被包括在显示将被确定为背景的目标的像素中的视频属性信息(诸如颜色、灰度和亮度)。因此,背景模型可用作用于确定由像素显示的目标是否是背景的参考。
背景模型可包括包括视频属性信息或使用时间信息中的至少一个的至少一个背景模型元素。背景模型元素是配置背景模型的元素。所述至少一个背景模型元素可包括对应于具有不同属性的背景的颜色信息、亮度信息和灰度信息。
此外,背景模型元素包括使用时间信息。使用时间信息与配置由成像装置输入的视频的帧相关,并可包括与使用背景模型元素的帧相关的信息。例如,使用时间信息可包括使用背景模型元素的帧的数量、使用背景模型元素的最近帧的信息和未顺序地使用背景模型元素的帧的数量。
背景像素确定单元130可比较像素信息和背景模型,并确定像素是背景像素还是前景像素。背景像素确定单元130可将由背景模型设置单元120设置的背景模型与存储在像素信息存储单元110中的像素信息进行比较,并确定每个像素是被包括在背景中还是被包括在前景中。
背景模型和像素信息均包括颜色信息、亮度信息和灰度信息。当像素信息中的颜色信息、亮度信息和灰度信息对应于背景模型中的颜色信息、亮度信息和灰度信息时,背景像素确定单元130将像素确定为背景像素。
可选地,当像素信息中的颜色信息、亮度信息和灰度信息不对应于背景模型中的颜色信息、亮度信息和灰度信息时,背景像素确定单元130将像素确定为前景像素。
系统100的主要目的是检测运动目标。运动目标可由被背景像素确定单元130确定为前景像素的像素配置而成。
背景像素确定单元130可确定每个像素是背景像素还是前景像素,当像素被检测为背景像素时,背景像素确定单元130可产生指示与该像素相应的背景模型元素已被使用的信息。
最后,背景模型更新单元140可定期地更新背景模型。背景像素确定单元130可通过使用像素信息确定像素是背景像素还是前景像素。当像素被确定为背景像素时,背景像素确定单元130可产生指示与该像素相应的背景模型元素已被使用的信息,并将产生的信息提供给背景模型更新单元140。
背景模型更新单元140可基于由背景像素确定单元130提供的信息更新背景模型元素的视频属性信息和使用时间信息。更新后的信息被提供给背景模型设置单元120,并被用于确定之后帧中的多个像素是背景像素还是前景像素。
使用时间信息可包括与使用背景模型元素的最近帧的信息相应的第一时间元素、与未顺序地使用背景模型元素的帧的数量的信息相应的第二时间元素和与使用背景模型元素的帧的数量的信息相应的第三时间元素。
由成像装置提供的视频包括多个帧。例如,当使用60FPS的成像装置时,由该成像装置提供的视频每秒包括60个帧。在这种情况下,该视频中的帧的数量从系统100的操作开始时计数。5秒的视频包括编号从1至300的300个帧。
例如,假设使用每秒包括60个帧的视频。当当前处理的帧的编号是“1200”(即,当视频中的第1200个帧当前正被处理时)并且第一时间元素的值是“900”时,这表明背景模型元素在15秒的时间点与20秒的时间点之间未被使用。因此,与背景模型元素相应的背景是在15秒之后不存在的动态背景。
作为另一示例,当当前处理的帧的编号是“1200”并且第二时间元素的值是“600”时,这表明背景模型元素在特定的20秒时间段期间有10秒未被使用。
作为另一示例,当当前处理的帧的编号是“1200”并且第三时间元素的值是“300”时,这表明背景模型元素已被使用的总时间是5秒。
第一时间元素至第三时间元素可被包括在可作为用于更新背景模型(或背景模型元素)的重要参考的使用时间信息中。这将在以下参考图2至图4来描述。
图2A和图2B是背景模型的示例的示图。
图2A和图2B示出第一背景模型元素BE1、第二背景模型元素BE2和第三背景模型元素BE3。为便于描述,图2A和图2B示出根据灰度信息而区分的背景模型元素。
首先,参照图2A,第一背景模型元素BE1至第三背景模型元素BE3包括不同的灰度范围并根据所包括的灰度范围被区分。第一背景模型元素BE1包括最大的灰度范围,第三背景模型元素BE3包括最小的灰度范围。第一背景模型元素BE1至第三背景模型元素BE3配置单个背景模型。背景模型不是仅包括三个背景模型元素。背景模型可包括至少一个背景模型元素。
背景模型(或背景模型元素)可通过对系统100进行操作而被自动地设置或基于用户的观察结果被任意地设置。
当固定在特定位置的视频相机或监控相机被用作成像装置时,可能直至该成像装置被安装之后过了特定的时间段,用户才可设置背景模型。此外,在所述特定的时间段过去时,由成像装置提供的视频可通过使用被确定为背景的像素(即,颜色和灰度随着时间不改变的像素)的像素信息被分析以设置背景模型。
例如,当安装成像装置之后提供的视频包括建筑物、树木和道路时,具有特定范围的颜色和灰度信息的背景模型基于显示建筑物、树木和道路的像素的颜色和灰度信息被设置。
因此,背景模型元素的数量可针对由成像装置提供的视频中的背景的类型而增加或减少。在一些情况下,可能只有一个背景模型元素。此外,确定的背景模型可被用作背景像素确定单元130用于确定像素是背景像素还是前景像素的参考。
图2B是背景像素和前景像素的示例性示图。虽然为了便于描述,图2B示出两个像素,第一像素PX1和第二像素PX2,但是根据成像装置的分辨率可包括多于两个的像素。
第一像素PX1的灰度在第一背景模型元素BE1的灰度范围内,而第二像素PX2的灰度不在第一背景模型元素BE1至第三背景模型元素BE3中的任何一个的灰度范围内。因此,第一像素PX1可被确定为背景像素,第二像素PX2可被确定为前景像素。
此外,第一背景模型元素BE1被更新为在最近帧使用的背景模型元素,第二背景模型元素BE2和第三背景模型元素BE3被更新为未在该最近帧使用的背景模型元素。
图3A和图3B是扩展的背景模型的示图。
图3A示出包括一个背景模型元素BE的背景模型。如参考图2所述,这里公开的背景模型元素的数量仅是示例。
参照图3A,存在与具有80至140的灰度范围的背景模型元素BE的外围区域对应的像素。在这种情况下,背景模型元素的外围区域可以是等于背景模型元素的范围的最小值或最大值的像素区域。可选地,外围区域可以是包括最小值或最大值的区域。
例如,在图3A中,背景模型元素BE的外围区域可以是灰度80和灰度140。可选地,外围区域可以是包括灰度80的区域(诸如灰度78和灰度82之间的范围)和包括灰度140的区域(诸如灰度138和灰度142之间的范围)。
当存在具有与背景模型元素的外围区域相应的视频属性的像素时,背景模型更新单元140可更新背景模型元素以使背景模型元素包括外围区域。
图3B示出通过扩展图3A的背景模型元素BE而更新的背景模型元素BE’。图3B的背景模型元素BE’具有80至142的灰度范围,该灰度范围指示图3A的背景模型元素BE的高灰度范围已被扩展。即,由于具有与背景模型元素BE的外围区域(138至142的灰度范围)相应的视频属性的像素PX,背景模型元素BE被更新以包括外围区域,并因此产生背景模型元素BE’。
背景模型更新单元140可如图3A和图3B所示更新背景模型元素的视频属性信息,同时,可更新更新后的背景模型元素的使用时间信息。因此,在图3B中,可更新使用背景模型元素BE’的最近帧的信息。
此外,背景模型更新单元140可定期地更新背景模型(或背景模型元素),但是当与扩展的外围区域相应的像素在特定时间内不存在(未被输入)时,可按照特定的速率减小扩展的背景模型,从而防止背景模型的过度扩展。
图4A和图4B是使用未扩展的背景模型的示例的示图。
图4A和图4B示出由成像装置提供的视频和可区分地在视频中示出背景和前景的屏幕。图4A和图4B的右侧图像是不管背景模型扩展(即,背景模型元素的外围区域的扩展)而区分背景和前景的屏幕。亮色的像素指示被确定为前景的像素。
首先,参照图4A,有人的区域被确定为前景并被明亮地显示。然而,虽然树木和树木的阴影应被确定为背景,但是这些树木和阴影被确定为前景并以与有人的区域同样的方式被明亮地显示。参照图4B,虽然所有区域应被确定为背景,但是一些区域已被确定为前景并被明亮地显示。
在图4A的示例中,树木和阴影可被确定为前景是因为在由于风吹使树叶摇晃的短时间段期间树叶和树影附近区域的视频属性的改变。此外,在图4B的示例中,经过的云彩的影子可能会阻碍背景和前景的准确区分。
当风吹或区域被阴影覆盖时,可能存在具有当前背景模型元素的外围区域的视频属性信息的像素。当这样的像素存在时,当前背景模型元素必须被更新以包括背景模型元素的外围区域。
因此,可根据以上参考图3A和图3B描述的更新处理来提高对快速改变的动态背景的适应性。
图5是用于描述背景模型的更新的示意图。
图5示出背景候选模型元素被更新为背景模型元素。在图5中,BMC指示背景候选模型元素,BM指示背景模型元素。
背景候选模型元素BMC和BMC1至BMCn中的每个包括被背景像素确定单元130确定为前景像素的像素的像素信息和使用时间信息。背景模型更新单元140可产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。
背景候选模型元素是指随后可被更新为背景模型元素的模型元素。例如,背景候选模型元素是具有当前被确定为前景像素但是随着时间可被确定为背景像素的像素的视频属性的模型元素。
停在停车场的汽车可最初被确定为前景,但是当该汽车长期停放时,该汽车可被确定为背景。因此,显示该汽车的像素可被确定为前景像素,但同时被分类为背景候选模型元素,以使这些像素随后可被确定为背景像素。
如同背景模型元素,背景候选模型元素BMC和BMC1至BMCn中的每个可包括使用时间信息。即,背景候选模型元素可包括被确定为前景像素的像素的像素信息、像素被用作前景像素的帧的数量和/或像素被用作前景像素的最近帧的信息。
当与背景候选模型元素的视频属性对应的像素被顺序地包括在至少预定数量的帧中时,背景模型更新单元140可将背景候选模型元素更新为背景模型元素。
例如,当预定数量在60FPS的视频中被设置为108000时,存在了至少30分钟的前景被转变为背景。在汽车的情况下,停放了30分钟或更久的汽车从前景被转变为背景。
对本领域的普通技术人员显然的是,预定数量可根据系统100的使用目的和用户的意愿被灵活地设置。
当使用背景候选模型元素的帧的数量大于帧的预定数量时,背景模型更新单元140可将背景候选模型元素更新为背景模型元素,并删除最长时间未使用的背景模型元素。
参照图5,有n个背景候选模型元素BMC1至BMCn和m个背景模型元素BM1至BMm。在这n个背景候选模型元素BMC1至BMCn中,当背景候选模型元素BMC被更新为背景模型元素时,背景模型元素BM2被从这m个背景模型元素BM1至BMm中删除。
被删除的背景模型元素BM2是在这m个背景模型元素BM1至BMm中最长时间未使用的背景模型元素(即,具有最大第二时间元素的背景模型元素)。
此外,背景候选模型元素的数量n可小于背景模型元素的数量m。背景候选模型元素根本上说与“前景”的含义相同。因为前景在被检测到一次之后通常消失,所以持续地使用许多模型元素追踪前景可导致系统过载,因此可能不合适。
图6A和图6B是删除背景模型元素的示例的示图。
图6A示出三个背景模型元素BE1、BE2和BE3以及多个像素。参照图6A,背景模型元素BE1、BE2和BE3包括不同的灰度范围。存在被包括在配置由成像装置提供的视频的帧中的五个像素。
三个像素对应于第一背景模型元素BE1,两个像素对应于第三背景模型元素BE3,没有像素对应于第二背景模型元素BE2。因为这五个像素中的每个均对应于背景模型元素,所以所有像素被确定为背景像素。
如图6A所示,当未包括与背景模型元素相应的像素的帧被持续地输入时(即,当第二时间元素的值随着背景模型元素的非使用时间段增加而逐渐增加时),背景模型元素可被确定为不适合作为背景模型元素。
当背景模型元素不适合作为背景模型元素时,背景模型元素可被从背景模型删除,并且具有高使用频率的背景候选模型元素可被更新为背景模型元素。
因此,如图6B所示,图6A的第二背景模型元素被删除。作为用于确定是否删除背景模型元素的参考的非使用时间段的长度可基于系统100的使用目的或用户的意愿被灵活确定。
图7是根据示例性实施例的检测运动目标的方法的示意流程图。
参照图7,根据示例性实施例的方法包括:存储像素信息(S110)、设置背景模型(S120)、确定是否包括背景像素(S130)和更新背景模型(S140)。
像素信息的存储(S110)包括:针对由成像装置提供的视频的每个帧存储像素信息。如参考图1所述,成像装置可以是固定在特定位置并提供特定视角中的目标的信息的视频相机或监控相机。
根据成像装置的性能或用户的设置,由成像装置提供的视频每秒可具有多个帧。每个帧可包括多个像素。此外,每个像素可包括视频属性信息(诸如颜色、灰度和亮度)。
像素信息的存储(S110)包括:将视频属性信息存储在每个像素中。
背景模型的设置(S120)包括:设置用于确定视频中的每个帧中的像素是否是背景像素的背景模型。背景模型可包括包括视频属性信息和使用时间信息中的至少一个的至少一个背景模型元素。
背景模型元素中的视频属性信息是指每个像素中的视频属性信息,并且可包括颜色、灰度和亮度。此外,使用时间信息可以是用于确定背景模型元素是动态背景还是静止背景以及背景模型元素是否是重要元素的重要参考。所述确定可通过确定背景模型元素的使用频率(即,与背景模型元素相应的像素的输入频率)被执行。
因为背景模型元素可在视频被从成像装置接收之前被预先确定,所以背景模型的设置(S120)可在像素信息的存储(S110)之前被执行。
背景像素的确定(S130)包括:通过比较像素信息和背景模型确定像素是背景像素还是前景像素。
当背景模型中的至少一个背景模型元素和像素分别包括相应的视频属性信息时,像素被确定为背景像素,否则,像素被确定为前景像素。
背景模型的更新(S140)包括:定期地更新用作用于确定背景像素的参考的背景模型。例如,背景模型的更新(S140)可包括:删除特定时间内未使用的背景模型元素。
此外,当存在具有与背景模型(或背景模型元素)的外围区域相应的视频属性的像素时,背景模型(或背景模型元素)可被更新为包括外围区域。
背景模型的更新(S140)可包括:产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。使用时间信息可以是包括该像素的帧的信息。例如,使用时间信息可包括由成像装置提供的视频的帧中的包括该像素的帧的数量。
当背景候选模型元素的数量可小于背景模型元素的数量并且使用背景候选模型元素的帧的数量大于帧的预定数量时,背景候选模型元素可被更新为背景模型元素,并且最长时间未使用的背景模型元素可被删除。
背景模型元素中的使用时间信息可包括与使用背景模型元素的最近帧的信息相应的第一时间元素、与未顺序地使用背景模型元素的帧的数量的信息相应的第二时间元素和与使用背景模型元素的帧的数量的信息相应的第三时间元素。
应该理解,这里描述的示例性实施例应被考虑为仅是描述性意义,而不为了限制目的。在每个示例性实施例中的特征或方面的描述应通常被视为可用于在其它示例性实施例中的其它相似特征或方面。虽然一个或多个示例性实施例已参考附图被描述,但是本领域普通技术人员将理解,在不脱离由权利要求限定的本发明构思的精神和范围的情况下,可在形式和细节上对这些示例性实施例做出各种改变。

Claims (16)

1.一种检测运动目标的系统,所述系统包括:
像素信息存储单元,存储由成像装置输入的视频的帧的各个像素信息;
背景模型设置单元,设置用于确定视频的每帧中的多个像素是背景像素还是前景像素的背景模型;
背景像素确定单元,将像素信息和背景模型进行比较,并基于所述比较来确定所述多个像素是背景像素还是前景像素;
背景模型更新单元,定期地更新背景模型,
其中,背景模型包括至少一个背景模型元素,所述至少一个背景模型元素包括视频属性信息和使用时间信息中的至少一个,
其中,背景模型元素的外围区域是包括背景模型元素的范围的最小值的区域或者是包括背景模型元素的范围的最大值的区域,
其中,当所述多个像素中的至少一个具有与背景模型元素的所述外围区域相应的视频属性时,背景模型更新单元更新背景模型元素以包括所述外围区域,使得扩展的背景模型元素被生成,并且
其中,当在预定的时间段内未检测到与所述外围区域相应的像素时,背景模型更新单元按照预定的速率减小所述扩展的背景模型元素。
2.如权利要求1所述的系统,其中,背景模型更新单元删除在大于或等于设置的时间段的时间段内未使用的背景模型元素。
3.如权利要求1所述的系统,其中,背景模型更新单元根据像素信息在背景模型元素中存储使用时间信息,并更新背景模型。
4.如权利要求3所述的系统,其中,使用时间信息包括:
第一时间元素,相应于使用背景模型元素的最近帧的信息;
第二时间元素,相应于未顺序地使用背景模型元素的帧的数量;
第三时间元素,相应于使用背景模型元素的帧的数量。
5.如权利要求1所述的系统,其中,背景模型更新单元产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。
6.如权利要求5所述的系统,其中,背景候选模型元素的数量小于背景模型元素的数量。
7.如权利要求5所述的系统,其中,当使用背景候选模型元素的帧的数量大于帧的预定数量时,背景模型更新单元将背景候选模型元素更新为背景模型元素,并删除最长时间未使用的背景模型元素。
8.如权利要求1所述的系统,其中,像素信息包括亮度信息、颜色信息和灰度信息中的至少一个,
背景像素确定单元将具有与像素信息相应的属性的像素确定为背景像素。
9.一种检测运动目标的方法,所述方法包括:
存储由成像装置输入的视频的帧的各个像素信息;
设置用于确定视频的每帧中的多个像素是背景像素还是前景像素的背景模型;
确定所述多个像素是背景像素还是前景像素,所述确定的步骤包括比较像素信息和背景模型;
更新背景模型,
其中,背景模型包括至少一个背景模型元素,所述至少一个背景模型元素包括视频属性信息和使用时间信息中的至少一个,
其中,背景模型元素的外围区域是包括背景模型元素的范围的最小值的区域或者是包括背景模型元素的范围的最大值的区域,
其中,所述更新的步骤包括:当所述多个像素中的至少一个具有与背景模型元素的所述外围区域相应的视频属性时,更新背景模型元素以包括所述外围区域,使得扩展的背景模型元素被生成,并且
其中,所述更新的步骤包括:当在预定的时间段内未检测到与所述外围区域相应的像素时,按照预定的速率减小所述扩展的背景模型元素。
10.如权利要求9所述的方法,其中,所述更新的步骤包括:删除在大于或等于设置的时间段的时间段内未使用的背景模型元素。
11.如权利要求9所述的方法,其中,所述更新的步骤包括:根据像素信息在背景模型元素中存储使用时间信息,并更新背景模型。
12.如权利要求11所述的方法,其中,使用时间信息包括:第一时间元素,相应于使用背景模型元素的最近帧的信息;第二时间元素,相应于未顺序地使用背景模型元素的帧的数量的信息;第三时间元素,相应于使用背景模型元素的帧的数量的信息。
13.如权利要求9所述的方法,其中,所述更新的步骤包括:产生包括被确定为前景像素的像素的像素信息和使用时间信息的背景候选模型元素。
14.如权利要求13所述的方法,其中,背景候选模型元素的数量小于背景模型元素的数量。
15.如权利要求13所述的方法,其中,所述更新的步骤包括:当使用背景候选模型元素的帧的数量大于帧的预定数量时,将背景候选模型元素更新为背景模型元素,并删除最长时间未使用的背景模型元素。
16.如权利要求9所述的方法,其中,像素信息包括亮度信息、颜色信息和灰度信息中的至少一个,
所述确定的步骤包括:将具有与像素信息相应的属性的像素确定为背景像素。
CN201610032915.XA 2015-01-19 2016-01-19 检测运动目标的系统和方法 Active CN105809710B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150008767A KR102366521B1 (ko) 2015-01-19 2015-01-19 이동 물체 탐지 시스템 및 방법
KR10-2015-0008767 2015-01-19

Publications (2)

Publication Number Publication Date
CN105809710A CN105809710A (zh) 2016-07-27
CN105809710B true CN105809710B (zh) 2021-06-15

Family

ID=56408214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610032915.XA Active CN105809710B (zh) 2015-01-19 2016-01-19 检测运动目标的系统和方法

Country Status (3)

Country Link
US (1) US10373015B2 (zh)
KR (1) KR102366521B1 (zh)
CN (1) CN105809710B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6944272B2 (ja) * 2017-04-25 2021-10-06 キヤノン株式会社 動体検出装置およびその制御方法
JP7067023B2 (ja) * 2017-11-10 2022-05-16 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム
US11558679B1 (en) * 2018-03-01 2023-01-17 Amazon Technologies, Inc. Systems and methods for submitting video evidence
KR102629594B1 (ko) * 2018-04-09 2024-01-29 한화비전 주식회사 객체 및 배경 구분 방법
CN109902189B (zh) 2018-11-30 2021-02-12 华为技术有限公司 一种图片选择方法及相关设备
CN109873984A (zh) * 2019-02-25 2019-06-11 广东协安机电工程有限公司 一种港口仓储视频监控系统
KR102370491B1 (ko) * 2020-03-04 2022-03-04 주식회사 이오씨 일반 영상과 열 영상을 이용하여 움직임을 감지하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751679A (zh) * 2009-12-24 2010-06-23 北京中星微电子有限公司 运动目标的分类方法和检测方法及其装置
CN101908214A (zh) * 2010-08-10 2010-12-08 长安大学 基于邻域相关的背景重构的运动目标检测方法
WO2011028379A3 (en) * 2009-09-01 2011-05-05 Behavioral Recognition Systems, Inc. Foreground object tracking
CN103198490A (zh) * 2011-09-16 2013-07-10 索尼公司 图像处理装置、图像处理方法以及程序
CN103456028A (zh) * 2013-08-30 2013-12-18 浙江立元通信技术有限公司 一种运动目标检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136525B1 (en) * 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP2003123074A (ja) * 2001-10-11 2003-04-25 Sanyo Electric Co Ltd 動物体検出装置、動物体検出方法及び動物体検出プログラム
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection
US7379594B2 (en) * 2004-01-28 2008-05-27 Sharp Laboratories Of America, Inc. Methods and systems for automatic detection of continuous-tone regions in document images
KR20080026877A (ko) * 2006-09-21 2008-03-26 엘지.필립스 엘시디 주식회사 영상처리장치 및 그 영상처리방법
JP4967937B2 (ja) * 2007-09-06 2012-07-04 日本電気株式会社 画像処理装置、方法、およびプログラム
CN101426128B (zh) 2007-10-30 2012-10-03 三星电子株式会社 偷盗和遗失包裹检测系统和检测方法
US8098888B1 (en) * 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
TW201204989A (en) * 2010-07-28 2012-02-01 Man-Zu Zhang LED bulb
JP2012033100A (ja) * 2010-08-02 2012-02-16 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム
KR101192163B1 (ko) 2010-11-19 2012-10-17 (주)넥스리얼 물체 단위의 배경 영상 분석을 통한 움직이는 물체의 검출 방법 및 장치
AU2011201582B2 (en) * 2011-04-07 2014-05-01 Canon Kabushiki Kaisha Immortal background modes
JP5713790B2 (ja) * 2011-05-09 2015-05-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR101311148B1 (ko) 2012-03-05 2013-10-04 홍익대학교 산학협력단 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
KR101921610B1 (ko) 2012-08-31 2018-11-23 에스케이 텔레콤주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
US9280833B2 (en) * 2013-03-05 2016-03-08 International Business Machines Corporation Topology determination for non-overlapping camera network
US9489743B2 (en) * 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011028379A3 (en) * 2009-09-01 2011-05-05 Behavioral Recognition Systems, Inc. Foreground object tracking
CN101751679A (zh) * 2009-12-24 2010-06-23 北京中星微电子有限公司 运动目标的分类方法和检测方法及其装置
CN101908214A (zh) * 2010-08-10 2010-12-08 长安大学 基于邻域相关的背景重构的运动目标检测方法
CN103198490A (zh) * 2011-09-16 2013-07-10 索尼公司 图像处理装置、图像处理方法以及程序
CN103456028A (zh) * 2013-08-30 2013-12-18 浙江立元通信技术有限公司 一种运动目标检测方法

Also Published As

Publication number Publication date
US20160210759A1 (en) 2016-07-21
KR102366521B1 (ko) 2022-02-23
US10373015B2 (en) 2019-08-06
KR20160089165A (ko) 2016-07-27
CN105809710A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105809710B (zh) 检测运动目标的系统和方法
JP4730431B2 (ja) 目標追尾装置
US8542873B2 (en) Motion object detection method using adaptive background model and computer-readable storage medium
CN110400352B (zh) 利用特征识别的摄像机校准
US10169664B2 (en) Re-identifying an object in a test image
US9965701B2 (en) Image processing apparatus and method
US10346685B2 (en) System and method for detecting and tracking a moving object
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
WO2015186341A1 (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
KR101204259B1 (ko) 화재 검출 방법
TW201742005A (zh) 更新用於影像之背景相減的背景模型之方法和設備
US9456146B2 (en) Exposure control device, imaging device, image display device, and exposure control method
US20210271896A1 (en) Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
CN105554380A (zh) 一种昼夜切换方法及装置
CN112686172A (zh) 机场跑道异物检测方法、装置及存储介质
JP2019029935A (ja) 画像処理装置およびその制御方法
CN107845105B (zh) 一种基于全景枪球联动的监控方法、智能设备及存储介质
JP2009140307A (ja) 人物検出装置
WO2013099368A1 (ja) 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム
JP7092616B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP3848918B2 (ja) 移動体監視装置および移動体監視方法
JP7194534B2 (ja) 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
US10223592B2 (en) Method and associated apparatus for performing cooperative counting with aid of multiple cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171106

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Applicant after: HANWHA LAND SYSTEMS Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Hanwha Techwin Co.,Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20190401

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Applicant after: HANWHA LAND SYSTEMS Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

Applicant before: HANWHA LAND SYSTEMS Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201217

Address after: Gyeonggi Do city of South Korea

Applicant after: Hanwha Techwin Co.,Ltd.

Applicant after: HANWHA LAND SYSTEMS Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

Applicant before: HANWHA LAND SYSTEMS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230103

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: HANWHA LAND SYSTEMS Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: HANWHA AEROSPACE Co.,Ltd.