CN110114801B - 图像前景检测装置及方法、电子设备 - Google Patents

图像前景检测装置及方法、电子设备 Download PDF

Info

Publication number
CN110114801B
CN110114801B CN201780081347.5A CN201780081347A CN110114801B CN 110114801 B CN110114801 B CN 110114801B CN 201780081347 A CN201780081347 A CN 201780081347A CN 110114801 B CN110114801 B CN 110114801B
Authority
CN
China
Prior art keywords
pixel
value
foreground
background model
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081347.5A
Other languages
English (en)
Other versions
CN110114801A (zh
Inventor
张楠
王琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN110114801A publication Critical patent/CN110114801A/zh
Application granted granted Critical
Publication of CN110114801B publication Critical patent/CN110114801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种图像前景检测装置及方法、电子设备。该装置及方法通过在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。

Description

图像前景检测装置及方法、电子设备
技术领域
本发明涉及信息技术领域,尤其涉及一种图像前景检测装置及方法、电子设备。
背景技术
在视频监控领域,图像前景检测是很多应用的基础。目前针对前景检测的方法已经进行了很多研究工作。现有的大部分方法在像素级进行背景建模以进行前景检测,其假设图像序列的像素值按照一定的规则进行分布,通过对历史图像序列的像素值的统计分析,找到相似的估计背景值。当对整个图像进行完整的分析之后,能够获得背景模型。
目前常用的前景检测方法包括:帧差别法,高斯混合模型、单高斯模型,码本算法等。
当采用帧差别法进行检测时,在图像序列相邻两帧间采用基于像素的时间差分,通过判断是否大于阈值来区分背景和前景,其算法实现简单,对光照变化不敏感,但无法处理复杂的场景;
当采用单高斯模型和高斯混合模型进行检测时,为图像中的每个像素点建立相应的高斯分布模型,通过判断模型获取的值是否大于阈值来区分背景和前景,但单高斯模型在场景具有噪声干扰时,提取准确度较低,而高斯混合模型的计算量较大,对光照变化敏感;
当采用码本算法进行检测时,为当前图像的每一个像素建立一个码本结构,每个码本结构又由多个码字组成,针对图像中的每一个像素,遍历对应背景模型码本中的每一个码字,根据是否存在一个码字使得像素满足预定的条件来区分背景和前景,但这种算法需要消耗大量的内存。
上述现有的检测方法都是基于单像素的分析,而忽略了像素之间的关系,现有的前景检测方法还包括视觉背景提取(Visual background extractor,VIBE)算法,利用单帧图像初始化背景模型,对于一个像素点,其假设相邻像素拥有相近像素值的空间分布特性,随机的选择它的相邻域像素点的像素值作为背景模型样本值,另外,该算法随机选择需要替换的样本,随机选择邻域像素进行背景模型的更新。这种检测方法相对于上述的其他现有检测方法,检测精度较高且检测速度较快。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
但是,上述现有的视觉背景提取算法也有一些缺点,例如,该算法获得完整的前景图像块的效率较低,且获得完整的前景图像块的数量较少,另外,当实时的监测场景变得模糊时,视觉背景提取算法无法获得完整的前景图像块,另外,由于初始的图像帧可能包括运动物体,从而导致鬼影的出现并难以快速去除。
本发明实施例提供一种前景检测装置及方法、电子设备,在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
根据本发明实施例的第一方面,提供一种图像前景检测装置,所述装置包括:第一检测单元,其用于对输入图像的每个像素进行前景检测,其中,所述第一检测单元包括:第一计算单元,其用于计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;第一更新单元,其用于当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将所述背景模型中所述第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的所述背景模型;第一确定单元,其用于当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。
根据本发明实施例的第二方面,提供一种电子设备,所述电子设备包括根据本发明实施例的第一方面所述的装置。
根据本发明实施例的第三方面,提供一种图像前景检测方法,所述方法包括:对输入图像的每个像素进行前景检测,其中,对每个像素进行检测包括:计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将所述背景模型中所述第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的所述背景模型;当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。
本发明的有益效果在于:在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明实施例1的图像前景检测装置的示意图;
图2是本发明实施例1的第一检测单元101的示意图;
图3是本发明实施例1的像素及其周围像素的示意图;
图4是本发明实施例1的对前景像素进行鬼影检测的方法的示意图;
图5是本发明实施例2的电子设备的示意图;
图6是本发明实施例2的电子设备的系统构成的示意框图;
图7是本发明实施例3的图像前景检测方法的示意图;
图8是图7中步骤701的对输入图像的每个像素进行前景检测的方法的示意图;
图9是图7中步骤701的对输入图像的每个像素进行前景检测的方法的另一示意图。
具体实施方式
参照附图,通过下面的说明书,本发明的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
图1是本发明实施例1的图像前景检测装置的示意图。如图1所示,该装置100包括:
第一检测单元101,其用于对输入图像的每个像素进行前景检测。
图2是本发明实施例1的第一检测单元101的示意图。如图2所示,第一检测单元101包括:
第一计算单元201,其用于计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;
第一更新单元202,其用于当该背景模型中该第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将该背景模型中该第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的该背景模型;
第一确定单元203,其用于当该背景模型中该第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。
由上述实施例可知,在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
在本实施例中,该输入图像可以是监控图像,其可以根据现有方法而获得。例如,可以通过安装在需要监测区域上方的摄像头而获得。
在本实施例中,该输入图像可以包括一帧图像,也可以包括监控视频中的多帧图像。当该输入图像包括多帧图像时,可以逐帧进行检测。
在本实施例中,第一检测单元101对该输入图像的每个像素逐个进行检测。
在本实施例中,如图2所示,第一检测单元101还可以包括:
获取单元204,其用于获得该像素的第一数量的周围像素的像素值;
第二确定单元205,其用于去除像素值最大的至少一个周围像素以及像素值最小的至少一个周围像素,获得第二数量的周围像素的像素值,将第二数量的周围像素的像素值确定为该像素所在位置的背景模型中各个样本值的初始值。
这样,通过去除周围像素的像素值中的最大和最小像素值,以对背景模型进行初始化,能够进一步提高背景模型的准确性,从而进一步提高前景检测的准确性。
在本实施例中,该像素的周围像素指的是与该像素相邻的像素以及间隔相邻的像素,该第一数量可以根据实际情况以及对背景模型中样本值的数量要求而确定,该第二数量是背景模型中样本值的数量,其根据实际需要而设置。例如,该第一数量为24,该第二数量为20,即背景模型中的样本值数量为20个。
图3是本发明实施例1的像素及其周围像素的示意图。如图3所示,当前作为检测目标的像素为位于最中间的像素值为152的像素,其具有24个周围像素,将其中像素值最大的两个像素即像素值为165和160的两个周围像素、以及像素值最小的两个像素即像素值为102和105的两个周围像素去除,将去除后剩下的20个周围像素的像素值作为当前的目标像素所在位置的背景模型中各个样本值的初始值,也就是说,初始化后的背景模型Lm,t={125,120,110,130,132,112,135,112,123,132,125,154,150,132,125,113,152,124,111,145},m表示当前的目标像素为第m个像素,t表示当前帧输入图像的时刻为t。
在本实施例中,第一计算单元201用于计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的该差值,第一更新单元202用于当该背景模型中该第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将该背景模型中该差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的该背景模型。在本实施例中,为了与其他差值区分,将该差值记为第一差值,本实施例中的第二差值、第三差值同样是为了在表述上进行区分。
在本实施例中,第一检测单元101还可以包括一判断单元(未图示),其用于判断该背景模型中该第一差值小于或等于第一阈值的样本值的数量是否大于或等于第二阈值。例如,该判断单元可以设置在第一计算单元201中。
在本实施例中,该第二阈值以及该预定概率可以根据实际情况而设置。
例如,该第二阈值可以根据在该背景模型的所有样本值的预定比例而设置,该预定比例例如是0.1,即,当背景模型中样本值的数量为20时,该第二阈值可以设为2。
例如,该预定概率可以是0.05~0.2中的数值,例如取0.1。
在本实施例中,该第一阈值可以以预定的周期并根据该输入图像的清晰度进行更新,例如,第一检测单元101还可以包括:
第三更新单元206,其用于以预定周期并根据该输入图像的清晰度,对该第一阈值进行更新。
这样,在面对现实场景发生变化时,例如,下雨、浓雾或者多云等场景变化导致输入图像变得模糊,根据图像的清晰度对第一阈值进行调整,能够有效应对现实场景的变化,在各种场景下都能获得完整的前景图像块。
在本实施例中,该预定周期可以根据实际情况而设置,例如,该预定周期为30分钟。
在本实施例中,例如,第三更新单元206可以根据以下的公式(1)对该第一阈值进行更新:
Figure GPA0000268459080000071
其中,radius表示该第一阈值,clarity表示该输入图像的清晰度。
在本实施例中,例如,可以根据以下的公式(2)和(3)计算该输入图像的清晰度:
Figure GPA0000268459080000072
Figure GPA0000268459080000073
其中,clarity表示该输入图像的清晰度,w表示该输入图像的宽度,h表示该输入图像的高度,pixel_num表示该输入图像中像素点的个数,I表示像素值,i与j表示像素点的横坐标和纵坐标。
以上对本实施的第一阈值的更新方法进行了示例性的说明。
在本实施例中,如图2所示,第一检测单元101还可以包括:
第二计算单元207,其用于当该背景模型中该第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,计算该像素的像素值与该像素的各个相邻像素的像素值的第二差值,确定该第二差值最大的相邻像素;
第二更新单元208,其用于计算该第二差值最大的该相邻像素的像素值与对应于该相邻像素所在位置的背景模型中各个样本值的像素值的第三差值,将该背景模型中该第三差值最大的样本值的像素值以预定概率替换为该第二差值最大的该相邻像素的像素值,以更新该相邻像素所在位置的该背景模型。
在本实施例中,该像素的相邻像素指的是与该像素直接相连的像素。例如,对于图3中所示的像素,当前作为检测目标的像素值为152的像素的相邻像素是与其直接相邻的8个像素,即像素值分别为135、102、112、160、132、154、150、132的8个像素。
在本实施例中,第二更新单元208对该像素的该相邻像素所在位置的背景模型进行更新的方法与第一更新单元202对该像素所在位置的背景模型进行更新的方法相同,此处不再赘述。
这样,通过对该像素的差值最大的相邻像素的背景模型也进行更新,能够进一步提高背景模型的准确性,从而能够更加有效的获得数量较多且准确的完整前景图像块。
在本实施例中,第一确定单元203用于当该背景模型中该第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。例如,将该像素的像素值置为255。
在本实施例中,在第一检测单元101对输入图像的每个像素进行前景检测之后,还可以针对被确定为前景像素的像素进行鬼影检测。
例如,该输入图像是连续的多帧输入图像,如图1所示,该装置100还可以包括:
第二检测单元102,其用于对该输入图像中的被确定为前景像素的每个像素进行鬼影检测,其中,在对每个前景像素进行鬼影检测时,当该前景像素所在位置的像素在连续的多帧输入图像中被连续检测为前景像素的次数大于第三阈值,或者在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的次数大于第五阈值时,将该前景像素确定为是鬼影像素,否则将该前景像素确定为不是鬼影像素。
图4是本发明实施例1的对前景像素进行鬼影检测的方法的示意图。如图4所示,该方法包括:
步骤401:计算该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差;
步骤402:判断该像素值之差是否小于第四阈值,当判断结果为“是”时,进入步骤403,当判断结果为“否”时,进入步骤404;
步骤403:将在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的累积次数Dk,t加1;其中,k表示当前前景像素为第k个前景像素,t表示当前帧输入图像的时刻为t;
步骤404:判断该前景像素所在位置的像素在连续的多帧输入图像中被连续检测为前景像素的次数Nk,t是否大于第三阈值,或者在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的该次数Dk,t是否大于第五阈值;当判断结果为“否”时,进入步骤405,当判断结果为“是”时,进入步骤406;其中,k表示当前前景像素为第k个前景像素,t表示当前帧输入图像的时刻为t;
步骤405:将该前景像素确定为不是鬼影像素;
步骤406:将该前景像素确定为是鬼影像素。
在本实施例中,该第三阈值、第四阈值和第五阈值可以根据实际情况而设置,例如,该第三阈值可以是90,该第四阈值可以是10,该第五阈值可以是70。
在本实施例中,当该前景像素被确定为是鬼影像素时,可以对该鬼影像素所在位置的背景模型进行更新,例如,通过第一检测单元101的第一更新单元202对被确定为鬼影像素的该前景像素所在位置的背景模型进行更新。其中,使用的更新方法与对第一更新单元202对该像素所在位置的背景模型进行更新的方法相同,此处不再赘述。
这样,通过对该鬼影像素的背景模型进行更新,能够迅速的消除鬼影的影响,获得准确的完整前景图像块。
在本实施例中,还可以通过第一检测单元101的第二更新单元208对该鬼影像素的相邻像素所在位置的背景模型进行更新,其更新方法与对于第二更新单元208的前述记载相同,此处不再赘述。通过对该鬼影像素的相邻像素的背景模型进行更新,能够进一步消除鬼影的影响。
由上述实施例可知,在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
另外,通过去除周围像素的像素值中的最大和最小像素值,以对背景模型进行初始化,能够进一步提高背景模型的准确性,从而进一步提高前景检测的准确性。
另外,在面对现实场景发生变化时,例如,下雨、浓雾或者多云等场景变化导致输入图像变得模糊,根据图像的清晰度对第一阈值进行调整,能够有效应对现实场景的变化,在各种场景下都能获得完整的前景图像块。
另外,通过对该像素的差值最大的相邻像素的背景模型也进行更新,能够进一步提高背景模型的准确性,从而能够更加有效的获得数量较多且准确的完整前景图像块。
另外,通过对该鬼影像素的背景模型进行更新,能够迅速的消除鬼影的影响,获得准确的完整前景图像块。
实施例2
本发明实施例还提供了一种电子设备,图5是本发明实施例2的电子设备的示意图。如图5所示,电子设备500包括图像前景检测装置501,其中,图像前景检测装置501的结构和功能与实施例1中的记载相同,此处不再赘述。
图6是本发明实施例2的电子设备的系统构成的示意框图。如图6所示,电子设备600可以包括中央处理器601和存储器602;存储器602耦合到中央处理器601。该图是示例性的;还可以使用其它类型的结构,来补充或代替该结构,以实现电信功能或其它功能。
如图6所示,该电子设备600还可以包括:输入单元603、显示器604、电源605。
在一个实施方式中,实施例1所述的图像前景检测装置的功能可以被集成到中央处理器601中。其中,中央处理器601可以被配置为:对输入图像的每个像素进行前景检测,其中,对每个像素进行检测包括:计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将所述背景模型中所述第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的所述背景模型;当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。
例如,所述对每个像素进行检测,还包括:当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,计算该像素的像素值与该像素的各个相邻像素的像素值的第二差值,确定所述第二差值最大的相邻像素;计算所述第二差值最大的该相邻像素的像素值与对应于该相邻像素所在位置的背景模型中各个样本值的像素值的第三差值,将所述背景模型中所述第三差值最大的样本值的像素值以预定概率替换为所述第二差值最大的该相邻像素的像素值,以更新该相邻像素所在位置的所述背景模型。
例如,所述对每个像素进行检测,还包括:获得该像素的第一数量的周围像素的像素值;去除像素值最大的至少一个周围像素以及像素值最小的至少一个周围像素,获得第二数量的周围像素的像素值,将第二数量的周围像素的像素值确定为该像素所在位置的所述背景模型中各个样本值的初始值。
例如,所述对每个像素进行检测,还包括:以预定周期并根据所述输入图像的清晰度,对所述第一阈值进行更新。
例如,所述输入图像是连续的多帧输入图像,中央处理器601还可以被配置为:对所述输入图像中的被确定为前景像素的每个像素进行鬼影检测,其中,对每个前景像素进行鬼影检测,包括:当该前景像素所在位置的像素在连续的多帧输入图像中被连续检测为前景像素的次数大于第三阈值,或者在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的次数大于第五阈值时,将该前景像素确定为是鬼影像素,否则将该前景像素确定为不是鬼影像素。
例如,中央处理器601还可以被配置为:更新被确定为鬼影像素的该前景像素所在位置的背景模型。
在另一个实施方式中,实施例1所述的图像前景检测装置可以与中央处理器601分开配置,例如可以将图像前景检测装置配置为与中央处理器601连接的芯片,通过中央处理器601的控制来实现图像前景检测装置的功能。
在本实施例中电子设备600也并不是必须要包括图6中所示的所有部件。
如图6所示,中央处理器601有时也称为控制器或操作控件,可以包括微处理器或其它处理器装置和/或逻辑装置,中央处理器601接收输入并控制电子设备600的各个部件的操作。
存储器602,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且中央处理器601可执行该存储器602存储的该程序,以实现信息存储或处理等。其它部件的功能与现有类似,此处不再赘述。电子设备600的各部件可以通过专用硬件、固件、软件或其结合来实现,而不偏离本发明的范围。
由上述实施例可知,在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
实施例3
本发明实施例还提供一种图像前景检测方法,其对应于实施例1的图像前景检测装置。图7是本发明实施例3的图像前景检测方法的示意图。如图7所示,该方法包括:
步骤701:对输入图像的每个像素进行前景检测;
步骤702:对该输入图像中的被确定为前景像素的每个像素进行鬼影检测。
图8是图7中步骤701的对输入图像的每个像素进行前景检测的方法的示意图。如图8所示,步骤701包括:
步骤:801:计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;
步骤802:当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将该背景模型中该第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的该背景模型;
步骤803:当该背景模型中该第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素。
图9是图7中步骤701的对输入图像的每个像素进行前景检测的方法的另一示意图。如图9所示,步骤701包括:
步骤901:计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;
步骤902:判断该背景模型中第一差值小于或等于第一阈值的样本值的数量是否大于或等于第二阈值,当判断结果为“是”时,进入步骤903,当判断结果为“否”时,进入步骤906;
步骤903:将该背景模型中第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的该背景模型;
步骤904:计算该像素的像素值与该像素的各个相邻像素的像素值的第二差值,确定第二差值最大的相邻像素;
步骤905:计算第二差值最大的该相邻像素的像素值与对应于该相邻像素所在位置的背景模型中各个样本值的像素值的第三差值,将该背景模型中第三差值最大的样本值的像素值以预定概率替换为第二差值最大的该相邻像素的像素值,以更新该相邻像素所在位置的该背景模型;
步骤906:将该像素确定为前景像素。
在本实施例中,上述各个步骤中使用的具体方法与实施例1中的记载相同,此处不再赘述。
由上述实施例可知,在更新背景模型时以预定概率替换像素值差值最大的样本值,能够有效提高背景模型的准确性,快速的获得数量较多且准确的完整前景图像块。
本发明实施例还提供一种计算机可读程序,其中当在用于图像前景检测装置或电子设备中执行所述程序时,所述程序使得计算机在所述图像前景检测装置或电子设备中执行实施例3所述的图像前景检测方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得计算机在图像前景检测装置或电子设备中执行实施例3所述的图像前景检测方法。
结合本发明实施例描述的在图像前景检测装置中进行图像前景检测的方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图1、图2中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于图7、图8和图9所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中,也可以存储在可插入移动终端的存储卡中。例如,若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1和图2描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1和图2描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改,这些变型和修改也在本发明的范围内。

Claims (11)

1.一种图像前景检测装置,所述装置包括:
第一检测单元,其用于对输入图像的每个像素进行前景检测,
其中,所述第一检测单元包括:
第一计算单元,其用于计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;
第一更新单元,其用于当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将所述背景模型中所述第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的所述背景模型;
第一确定单元,其用于当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素,
所述第一检测单元还包括:
第三更新单元,其用于以预定周期并根据所述输入图像的清晰度,对所述第一阈值进行更新,
其中,所述第三更新单元根据以下的公式(1)对所述第一阈值进行更新:
Figure FDA0003799965120000011
其中,radius表示所述第一阈值,clarity表示所述输入图像的清晰度。
2.根据权利要求1所述的装置,其中,所述第一检测单元还包括:
第二计算单元,其用于当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,计算该像素的像素值与该像素的各个相邻像素的像素值的第二差值,确定所述第二差值最大的相邻像素;
第二更新单元,其用于计算所述第二差值最大的该相邻像素的像素值与对应于该相邻像素所在位置的背景模型中各个样本值的像素值的第三差值,将所述背景模型中所述第三差值最大的样本值的像素值以预定概率替换为所述第二差值最大的该相邻像素的像素值,以更新该相邻像素所在位置的所述背景模型。
3.根据权利要求1所述的装置,其中,所述第一检测单元还包括:
获取单元,其用于获得该像素的第一数量的周围像素的像素值;
第二确定单元,其用于去除像素值最大的至少一个周围像素以及像素值最小的至少一个周围像素,获得第二数量的周围像素的像素值,将第二数量的周围像素的像素值确定为该像素所在位置的所述背景模型中各个样本值的初始值。
4.根据权利要求1所述的装置,其中,所述输入图像是连续的多帧输入图像,
所述装置还包括:
第二检测单元,其用于对所述输入图像中的被确定为前景像素的每个像素进行鬼影检测,其中,在对每个前景像素进行鬼影检测时,当该前景像素所在位置的像素在连续的多帧输入图像中被连续检测为前景像素的次数大于第三阈值,或者在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的次数大于第五阈值时,将该前景像素确定为是鬼影像素,否则将该前景像素确定为不是鬼影像素。
5.根据权利要求4所述的装置,其中,所述第一更新单元还用于更新被确定为鬼影像素的该前景像素所在位置的背景模型。
6.一种电子设备,所述电子设备包括根据权利要求1所述的装置。
7.一种图像前景检测方法,所述方法包括:
对输入图像的每个像素进行前景检测,其中,对每个像素进行检测包括:
计算该像素的像素值与对应于该像素所在位置的背景模型中各个样本值的第一差值;
当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,将所述背景模型中所述第一差值最大的样本值的像素值以预定概率替换为该像素的像素值,以更新该像素所在位置的所述背景模型;
当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量小于第二阈值时,将该像素确定为前景像素,
所述对每个像素进行检测,还包括:
以预定周期并根据所述输入图像的清晰度,对所述第一阈值进行更新,
其中,根据以下的公式(1)对所述第一阈值进行更新:
Figure FDA0003799965120000031
其中,radius表示所述第一阈值,clarity表示所述输入图像的清晰度。
8.根据权利要求7所述的方法,其中,所述对每个像素进行检测,还包括:
当所述背景模型中所述第一差值小于或等于第一阈值的样本值的数量大于或等于第二阈值时,计算该像素的像素值与该像素的各个相邻像素的像素值的第二差值,确定所述第二差值最大的相邻像素;
计算所述第二差值最大的该相邻像素的像素值与对应于该相邻像素所在位置的背景模型中各个样本值的像素值的第三差值,将所述背景模型中所述第三差值最大的样本值的像素值以预定概率替换为所述第二差值最大的该相邻像素的像素值,以更新该相邻像素所在位置的所述背景模型。
9.根据权利要求7所述的方法,其中,所述对每个像素进行检测,还包括:
获得该像素的第一数量的周围像素的像素值;
去除像素值最大的至少一个周围像素以及像素值最小的至少一个周围像素,获得第二数量的周围像素的像素值,将第二数量的周围像素的像素值确定为该像素所在位置的所述背景模型中各个样本值的初始值。
10.根据权利要求7所述的方法,其中,所述输入图像是连续的多帧输入图像,
所述方法还包括:
对所述输入图像中的被确定为前景像素的每个像素进行鬼影检测,其中,对每个前景像素进行鬼影检测,包括:
当该前景像素所在位置的像素在连续的多帧输入图像中被连续检测为前景像素的次数大于第三阈值,或者在连续的多帧输入图像中该前景像素所在位置的像素的像素值与前一帧输入图像相应位置的像素的像素值之差小于第四阈值的次数大于第五阈值时,将该前景像素确定为是鬼影像素,否则将该前景像素确定为不是鬼影像素。
11.根据权利要求10所述的方法,其中,所述方法还包括:
更新被确定为鬼影像素的该前景像素所在位置的背景模型。
CN201780081347.5A 2017-01-23 2017-01-23 图像前景检测装置及方法、电子设备 Active CN110114801B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/072211 WO2018133101A1 (zh) 2017-01-23 2017-01-23 图像前景检测装置及方法、电子设备

Publications (2)

Publication Number Publication Date
CN110114801A CN110114801A (zh) 2019-08-09
CN110114801B true CN110114801B (zh) 2022-09-20

Family

ID=62907544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081347.5A Active CN110114801B (zh) 2017-01-23 2017-01-23 图像前景检测装置及方法、电子设备

Country Status (4)

Country Link
US (1) US11107237B2 (zh)
JP (1) JP6809613B2 (zh)
CN (1) CN110114801B (zh)
WO (1) WO2018133101A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325773A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 运动目标的检测方法、装置、设备及可读存储介质
CN111161225B (zh) * 2019-12-19 2023-05-12 浙江大华技术股份有限公司 一种图像差异检测方法、装置、电子设备和存储介质
CN111429472B (zh) * 2020-03-16 2023-11-03 阿波罗智联(北京)科技有限公司 图像的识别方法、装置、电子设备和存储介质
CN111553931B (zh) * 2020-04-03 2022-06-24 中国地质大学(武汉) 一种用于室内实时监控的ViBe-ID前景检测方法
CN113592921B (zh) * 2021-06-30 2024-06-21 北京旷视科技有限公司 图像匹配方法,装置,电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
JP2012238175A (ja) * 2011-05-11 2012-12-06 Canon Inc 情報処理装置、情報処理方法、及びプログラム
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0271380A (ja) * 1988-09-07 1990-03-09 Hitachi Ltd 背景画像更新方法および装置
JPH05225341A (ja) * 1992-02-13 1993-09-03 Matsushita Electric Ind Co Ltd 移動物体検出装置
US7136525B1 (en) * 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US7224735B2 (en) * 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
RU2636120C2 (ru) 2012-03-02 2017-11-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов
IL224896A (en) * 2013-02-25 2017-09-28 Agent Video Intelligence Ltd Method for extracting objects
US9275289B2 (en) * 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
US9349054B1 (en) * 2014-10-29 2016-05-24 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
CN104751484B (zh) * 2015-03-20 2017-08-25 西安理工大学 一种运动目标检测方法及实现运动目标检测方法的检测系统
US11100650B2 (en) * 2016-03-31 2021-08-24 Sony Depthsensing Solutions Sa/Nv Method for foreground and background determination in an image
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
US10269123B2 (en) * 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
JP2012238175A (ja) * 2011-05-11 2012-12-06 Canon Inc 情報処理装置、情報処理方法、及びプログラム
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法

Also Published As

Publication number Publication date
US20190311492A1 (en) 2019-10-10
US11107237B2 (en) 2021-08-31
CN110114801A (zh) 2019-08-09
JP2020504383A (ja) 2020-02-06
JP6809613B2 (ja) 2021-01-06
WO2018133101A1 (zh) 2018-07-26

Similar Documents

Publication Publication Date Title
CN110114801B (zh) 图像前景检测装置及方法、电子设备
US7982774B2 (en) Image processing apparatus and image processing method
CN105631418B (zh) 一种人数统计的方法和装置
JP5701005B2 (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US10853949B2 (en) Image processing device
CN106961550B (zh) 一种摄像状态的切换方法及装置
CN109478329B (zh) 图像处理方法和装置
CN107404628B (zh) 图像处理装置及方法以及监视系统
CN110232359B (zh) 滞留物检测方法、装置、设备及计算机存储介质
CN110879951A (zh) 一种运动前景检测方法及装置
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
WO2015117072A1 (en) Systems and methods for detecting and tracking objects in a video stream
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
CN107346547B (zh) 基于单目平台的实时前景提取方法及装置
CN105554380B (zh) 一种昼夜切换方法及装置
CN113658192A (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN111047908B (zh) 跨线车辆的检测装置、方法及视频监控设备
CN101179725A (zh) 一种运动检测方法与装置
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN112804522B (zh) 一种对摄像头异常状况的检测方法及装置
CN110033425B (zh) 干扰区域检测装置及方法、电子设备
CN112614154B (zh) 目标跟踪轨迹的获取方法、装置及计算机设备
CN105516668A (zh) 一种应用于动态场景的聚焦方法和装置
CN106162181B (zh) 视频编码中背景图像的更新方法及其装置
CN108732178A (zh) 一种大气能见度检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant