CN110782425A - 图像处理方法、图像处理装置和电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法、图像处理装置和电子设备，该装置包括：第一前景检测单元，基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对视频图像帧进行前景检测，得到第一检测结果；第二前景检测单元，基于视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对视频图像帧进行前景检测，得到第二检测结果，其中，第二样本库更新周期大于第一样本库更新周期；第一生成单元，根据第一检测结果和第二检测结果生成掩模图像；第一检测单元，根据掩模图像对视频图像帧进行物体检测。本申请能够以较低的运算量准确地进行物体检测。

Description

图像处理方法、图像处理装置和电子设备

技术领域

本申请涉及信息技术领域，特别涉及一种图像处理方法、图像处理装置和电子设备。

背景技术

近年来，物体(object)检测和识别逐渐成为视频监控(video surveillance)领域的热点。基于图像的物体检测和识别技术能够在可疑(suspicious)物体和/或可疑事件的检测中节约人力，并为消除潜在的公共安全隐患提供帮助。

在物体检测和识别技术中，一个重要的方向是进行图像中静态物体的检测(static object detection)。常用的静态物体的检测方法包括：基于追踪的分析(Tracking-based Analytics)方法，以及双前景法(Dual Foregrounds Method)。

其中，基于追踪的分析方法难以用于拥挤场景中的物体检测，特别是对于不受控制的真实生活场景，由于部分遮挡、阴影、人群聚集等因素，难以得到准确的检测结果。在双前景法中，通过引入两个具有不同背景更新率的背景减除(background subtraction)系统来获得两幅前景图像，该两幅前景图像为静态物体的检测提供证据图像，该方法具有较低的计算负荷，并且无需过分依赖目标跟踪，检测准确性较高。

在静态物体的检测技术中，经常需要对检测出的静态物体进行识别(identification)。静态物体的识别主要是指，识别出图像中某一静态物体是遗留物(abandoned object)还是移除物(removed object)。其中，遗留物是指，图像中出现了原本不属于背景的静态物体；移除物是指，图像中存在过一定时间，但又消失了的静态物体。

现有的静态物体的识别方法主要分为两类：一类为边缘能量检测法(Edge EnergyDetection)，该方法基于一个假设，即，用一个物体覆盖背景将在图像中引入更多的边缘，这种方法适用于具有平滑背景的简单场景；另一类为区域生长法(Region GrowingMethod)，该方法是利用静态物体的周围环境，例如上下文信息等，将该静态物体分类为遗留物或移除物。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请的发明人发现，在现有的双前景检测方法中，各背景减除系统采用基于混合高斯模型(Gaussian Mixture Model)的背景减除方法获得前景图像，而该基于混合高斯模型的背景减除方法较为复杂，计算量较大，并且会涉及浮点运算(float computation)。

现有的静态物体的检测方法各有弊端，例如：边缘能量检测法不适用于涉及拥挤和闭塞的复杂环境；区域生长法虽然对某些场景有效，但是在更多场景下，该方法检测的准确性仍然较低。

本申请实施例提供一种图像处理方法、图像处理装置和电子设备，基于更新周期不同的两个样本库分别对图像进行前景检测，从而得到两种检测结果，并根据该两种检测结果进行物体检测。由此，能够以较低的运算量获得两种前景图像，并基于该两种前景图像进行准确的物体检测。

根据本申请实施例的第一方面，提供一种图像处理装置，该装置包括：第一前景检测单元，其基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；第二前景检测单元，其基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；第一生成单元，其根据所述第一检测结果和所述第二检测结果生成掩模图像；以及第一检测单元，其根据所述掩模图像对所述视频图像帧进行物体检测。

根据本实施例的第二方面，提供一种图像处理方法，该方法包括：基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；根据所述第一检测结果和所述第二检测结果生成掩模图像；以及根据所述掩模图像对所述视频图像帧进行物体检测。

根据本实施例的第三方面，提供一种电子设备，其包括本实施例的第一方面的图像处理装置。

本申请实施例的有益效果在于：能够以较低的运算量获得两种前景图像，并基于该两种前景图像进行准确的物体检测。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附附记的条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例1的图像处理装置的一个示意图；

图2是本申请实施例1的第一更新单元对第一样本库中的某一个第一样本像素组进行更新的方法的一个实例的示意图；

图3是本申请实施例1的第二检测单元的一个示意图；

图4是利用本申请实施例1的第二检测单元检测遗留物或移除物的一个实例的示意图；

图5是利用本申请实施例1的第二检测单元检测遗留物或移除物的另一个实例的示意图；

图6是本申请实施例2的图像处理方法的一个示意图；

图7是本申请实施例2的检测遗留物或移除物的方法的一个示意图；

图8是本申请实施例3的电子设备构成示意图。

具体实施方式

参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附附记的范围内的全部修改、变型以及等同物。下面结合附图对本申请的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请的限制。

在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。

在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“该”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。

实施例1

本申请实施例1提供一种图像处理装置。

图1是本实施例的图像处理装置的一个示意图，如图1所示，该图像处理装置100可以包括：第一前景检测单元101、第二前景检测单元102、第一生成单元103、和第一检测单元104。

在本实施例中，第一前景检测单元101基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，该第一样本库以第一周期进行更新。

在本实施例中，第二前景检测单元102基于该视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，该第二样本库以第二周期进行更新，该第二周期大于所述第一周期。

在本实施例中，第一生成单元103根据该第一检测结果和该第二检测结果生成掩模图像(mask image)；第一检测单元104根据该掩模图像对该视频图像帧进行物体检测。

根据本实施例，能够基于更新周期不同的两个样本库分别对图像进行前景检测，从而得到两种检测结果，并根据该两种检测结果进行物体检测。由此，能够以较低的运算量进行前景检测，并且能够进行准确的物体检测。

在本实施例中，视频图像帧可以来自于视频监控设备实时取得的视频，也可以来自于存储在存储设备中的视频，本实施例对此不做限制。

在本实施例中，第一样本库中具有多个第一样本像素，每一个第一样本像素可以有相应的像素值，并且视频图像帧的每个像素可以与第一样本库中的一个第一样本像素组对应，该第一样本像素组中可以具有N1个第一样本像素，其中，N1可以是大于或等于2的自然数，例如N1等于20。如果视频图像帧的像素总数是M，那么第一样本库中的第一样本像素的总数可以是M*N1。其中，前述的该像素对应的至少两个第一样本像素，就是指该像素对应的第一样本像素组中的像素，并且，该至少两个第一样本像素可以是该第一样本像素组中的部分像素，也可以是该第一样本像素组中的全部像素。

在本实施例中，第一前景检测单元101基于第一样本库对视频图像帧进行前景检测，例如，对于该视频图像帧的各像素，第一前景检测单元101将该像素的像素值与第一样本库中该像素对应的第一样本像素组中的N1个第一样本像素的像素值进行比较，如果该像素的像素值与其中的至少n1个第一样本像素的像素值接近，那么该像素被判定为背景图像的像素，否则，该像素被判定为前景图像的像素，其中，n1是小于或等于N1的自然数。在本实施例中，该像素的像素值与第一样本像素的像素值接近，是指二者的差小于或等于预定的第一阈值。在本实施例中，第一前景检测单元101可以针对该视频图像帧的每个像素都进行上述的操作，从而判断该视频图像帧中各像素为前景图像的像素或背景图像的像素，其中，被判断为前景图像的像素可以形成前景图像，被判断为背景图像的像素可以形成背景图像。

在本实施例中，第二样本库中具有多个第二样本像素，每一个第二样本像素可以有相应的像素值，并且视频图像帧的每个像素可以与一个第二样本像素组对应，该第二样本像素组中可以具有N2个第二样本像素，其中，N2是大于或等于2的自然数，例如N2等于20。如果视频图像帧的像素总数是M，那么第二样本库中的第二样本像素的总数可以是M*N2。其中，前述的该像素对应的至少两个第二样本像素，就是指该像素对应的第二样本像素组中的像素，并且，该至少两个第二样本像素可以是该第二样本像素组中的部分像素，也可以是该第二样本像素组中的全部像素。

在本实施例中，第二前景检测单元102基于第二样本库对视频图像帧进行前景检测，例如，对于该视频图像帧的各像素，第二前景检测单元102将该像素的像素值与第二样本库中该像素对应的第二样本像素组中的N2个第二样本像素的像素值进行比较，如果该像素的像素值与其中的至少n2个第二样本像素的像素值接近，那么该像素被判定为背景图像的像素，否则，该像素被判定为前景图像的像素，其中，n2是小于或等于N2的自然数。在本实施例中，该像素的像素值与第二样本像素的像素值接近，是指二者的差小于或等于预定的第二阈值。在本实施例中，第二前景检测单元102可以针对该视频图像帧的每个像素都进行上述的操作，从而判断各像素为前景图像的像素或背景图像的像素，其中，被判断为前景图像的像素可以形成前景图像，被判断为背景图像的像素可以形成背景图像。

在本实施例中，第一前景检测单元101和第二前景检测单元102分别使用第一样本库和第二样本库进行前景检测，与基于混合高斯模型的背景减除方法相比，第一前景单元101和第二前景单元102进行前景检测的方法使用的是较为简单的比较运算，避免了复杂的运算。

在本实施例中，第一样本库中第一样本像素的像素值可以以第一周期被更新，第二样本库中第二样本像素的像素值可以以第二周期被更新，二者的更新周期可以不同，例如，第二周期可以大于第一周期，即，第一样本库可以更频繁地被更新。

在本实施例下面的说明中，都以第二周期大于第一周期的情况为例进行说明。

在本实施例中，由于第二周期大于第一周期，第二样本库的更新速率低于第一样本库，所以，第一前景检测单元101和第二前景检测单元102的结果，可以对应于视频图像帧中的不同对象。

下表1是第一前景检测单元101和第二前景检测单元102的检测结果与视频图像帧中的不同对象的对应关系的一个举例。

表1：

如上表1所示，在第一前景检测单元101中被检测为前景，并且，在第二前景检测单元102中也被检测为前景的物体，对应于视频图像帧中的运动物体(moving object)；在第一前景检测单元101中被检测为背景，并且，在第二前景检测单元102中被检测为前景的物体，对应于视频图像帧中的静止物体(static object)；在第一前景检测单元101中被检测为前景，并且，在第二前景检测单元102中被检测为背景的物体，对应于视频图像帧中的未被遮盖的背景(uncovered background)；在第一前景检测单元101中被检测为背景，并且，在第二前景检测单元102中也被检测为背景的物体，对应于视频图像帧中的场景的背景(scene background)。

在本实施例中，如图1所示，该图像处理装置100还可以包括：第一更新单元105。第一更新单元105用于对第一样本库进行更新。

在本实施例中，第一更新单元105在对该第一样本库进行一次更新时，可以按照一定的概率对该第一样本库中的各第一样本像素组进行更新。在一个实施方式中，可以根据随机整数Ra对Nr的模除的结果，来决定是否对该第一样本像素组进行更新，其中，Nr是自然数，用于表征更新概率，Nr值越大，更新的概率越小，例如，Nr可以是20。

在本实施例中，对于被决定为需要进行更新的第一样本像素组，第一更新单元105可以基于该图像处理装置100接收到的最新的视频图像帧来进行更新。

在一个实施方式中，该第一更新单元105可以使用该视频图像帧中与该第一样本像素组对应的像素的像素值对该第一样本像素组进行更新，例如，将该视频图像帧的该像素的像素值作为该第一样本像素组中的某一个第一样本像素的像素值，该第一样本像素可以根据随机整数Rb对N1的模除的结果来决定。

在另一个实施方式中，该第一更新单元105可以使用该视频图像帧中与该第一样本像素组对应的像素的邻近像素的像素值对该第一样本像素组进行更新，例如，将该邻近像素的像素值作为该邻近像素组中的某一个第一样本像素的像素值，该第一样本像素可以根据随机整数Rc对N1的模除的结果来决定；该邻近像素可以根据随机整数Rc对8的模除结果来决定，因为在视频图像帧中，一个像素最多可以有8个相邻像素。

图2是第一更新单元105对第一样本库中的某一个第一样本像素组进行更新的方法的一个实例的示意图。如图2所示，对该第一样本库进行更新的方法可以包括：

步骤201、生成随机整数Ra；

步骤202、判断随机整数Ra对Nr的模除的结果是否为第一值，如果判断结果为“是”，则进入步骤204，其中，该第一值例如是0；

步骤203、判断随机整数Ra对Nr的模除的结果是否为第二值，如果判断结果为“是”，则进入步骤205，其中，该第二值与该第一值不同，例如该第二值是1；此外，如果步骤202和步骤203的判断结果都是“否”，则结束本次更新，由此，只在步骤202或步骤203判断结果为“是”的情况下，对第一样本库进行更新。

步骤204、生成随机整数Rb，根据随机整数Rb对N1的模除的结果来确定对该第一样本像素组中的哪一个第一样本像素进行更新；

步骤206、将最新的视频图像帧中与该第一样本像素组对应的像素的像素值，作为步骤204所确定的第一样本像素的像素值，然后，结束本次更新；

步骤205、生成随机整数Rc，根据随机整数Rc对N1的模除的结果来确定对该第一样本像素组中的哪一个第一样本像素进行更新，并根据随机整数Rc对8的模除的结果来确定使用该最新的视频图像帧中与该第一样本像素组对应的像素的哪一个相邻像素进行更新；

步骤207、将步骤205所确定的该相邻像素的像素值，作为步骤205所确定的第一样本像素的像素值，然后，结束本次更新。

在本实施例中，第一更新单元105在每一次对该第一样本库进行更新时，可以对该第一样本库中的各第一样本像素组都进行上述步骤201至步骤207的处理，从而决定是否对该第一样本像素组进行更新，以及以哪种方式对该第一样本像素组中的哪一个第一样本像素进行更新。

在本实施例中，第一更新单元105对第一样本库的更新不以第一前景检测单元101的检测结果为依据，由此，可以避免第一样本库的更新处理对检测结果的依赖，能够使第一前景检测单元101的检测处理和第一更新单元105的更新处理相对独立地进行，便于对检测处理和更新处理进行灵活地设定。

在本实施例中，如图1所示，图像处理装置100还可以包括第二更新单元106。该第二更新单元106可以基于第一样本库，来更新第二样本库。

第二更新单元106可以采用与第一更新单元105类似的方式决定是否对第二样本库中的某一个第二样本像素组进行更新。

在本实施例中，对于被决定为需要进行更新的第二样本像素组，第二更新单元106可以基于第一样本库中与该第二样本像素组对应的第一样本像素组来进行更新，其中，该第二样本像素组和该对应的第一样本像素组都对应于视频图像帧中同一位置的像素。

例如，可以将该第一样本像素组中的预定数量的第一样本像素的像素值的中值(median value)，作为该第二样本像素组中的一个第二样本像素的像素值，其中，该第二样本像素可以根据随机整数Rb’对N1的模除的结果来决定，该预定数量的第一样本像素例如可以是该第一样本像素组中所有第一样本像素。

在本实施例中，对于被决定为需要进行更新的第二样本像素组，第二更新单元106也可以基于第一样本库中与该第二样本像素组对应的第一样本像素组的邻近的第一样本像素组来进行更新，其中，该第二样本像素组和该对应的第一样本像素组都对应于视频图像帧中同一位置的像素。

例如，可以将该邻近的第一样本像素组的预定数量的第一样本像素的像素值的中值(median value)，作为该第二样本像素组的该第二样本像素的像素值，该第二样本像素可以由随机整数Rc’对N2的模除的结果来决定；该邻近的第一样本像素组可以由随机整数Rc’对8的模除结果来决定，因为在像素阵列中，一个第一样本像素组最多有8个相邻的像素组。此外，该预定数量的第一样本像素例如可以是该邻近的第一样本像素组中所有第一样本像素。

在本实施例中，使用该第一样本像素组或该邻近的第一样本像素组中像素值的中值来更新第二样本库，由此，第二样本库的更新能够反映第一样本库的平均信息，从而使得第二前景检测单元102在基于第二样本库进行前景检测时，能够获得更加稳定(constant)的检测结果。

在本实施例中，第二更新单元106对第二样本库的更新不以第二前景检测单元102的检测结果为依据，由此，可以避免第二样本库的更新处理对检测结果的依赖，能够使第二前景检测单元102的检测处理和第二更新单元106的更新处理相对独立地进行，便于对检测处理和更新处理进行灵活地设定。

在本实施例中，如图1所示，该图像处理装置100还可以包括：周期设定单元107。周期设定单元107根据进行所述物体检测的时间要求，调整第一前景检测单元101基于第一样本库进行前景检测的周期Ts1，和/或第一更新单元105更新第一样本库的该第一周期T1，和/或第二前景检测单元102基于第二样本库进行前景检测的周期Ts2，和/或第二更新单元106更新第二样本库的该第二周期T2。

在本实施例中，如果要求在较短的时间间隔内得到物体检测的结果，那么周期设定单元107可以将Ts1、T1、Ts2、T2中的至少一者设定得较小；如果要求在较长的时间间隔内得到物体检测的结果，那么周期设定单元107可以将Ts1、T1、Ts2、T2中的至少一者设定得较大。

例如：如果要求在小于500帧视频图像帧的时间间隔内得到物体检测的结果，那么周期设定单元107可以将Ts2设置为20帧视频图像帧的时间，将T2设置为40帧视频图像帧的时间，即，每隔20帧视频图像帧第二前景检测单元102针对一个视频图像帧进行一次前景检测，每隔40帧视频图像帧第二更新单元106对第二样本库进行一次更新；如果要求在大于500帧且小于1200帧视频图像帧的时间间隔内得到物体检测的结果，那么周期设定单元107可以将Ts2设置为50帧视频图像帧的时间，将T2设置为100帧视频图像帧的时间；如果要求在大于1200帧视频图像帧的时间间隔内得到物体检测的结果，那么周期设定单元107可以将Ts2设置为100帧视频图像帧的时间，将T2设置为100帧视频图像帧的时间。

在本实施例中，第一生成单元103可以根据第一前景检测单元101的第一检测结果和第二前景检测单元102的第二检测结果生成掩模图像(mask image)，该掩模图像中的像素可以用来检测物体。

第一生成单元103生成掩模图像的方法可以是：根据对多帧视频图像帧分别进行检测得到的多个第一检测结果和多个第二检测结果，得到计数掩模图像(counting maskimage)，该计数掩模图像可以与视频图像帧具有相同的尺寸，该计数掩模图像的每一个像素具有相应的计数值；该第一生成单元103将计数掩模图像中各像素的计数值与预定阈值进行比较，将计数值大于预定阈值的像素作为掩模图像的像素。也就是说，一个该掩模图像是基于该多帧视频图像帧而得到的。

一个实施方式中，计数掩模图像的各像素的计数值可以根据第一检测结果和第二检测结果计算，例如，针对被第一检测结果确定为背景的各像素，如果在一个第二检测结果中，该像素被确定为前景的像素，则该像素在计数掩模图像中对应像素的计数值增加1，如果在连续的预定数量个第二检测结果中，该像素被确定为背景的像素，则该像素在计数掩模图像中对应像素的计数值被重置为0。由此，该计数掩模图像可以针对静态物体的检测进行计数。此外，本实施例可以不限于此，也可以设置其它的计数掩模图像，从而针对运动物体(moving object)的检测进行计数。

在本实施例中，第一检测单元104可以根据第一生成单元103生成的掩模图像对视频图像帧进行物体检测。在一个实施方式中，第一检测单元104可以对掩模图像进行像素聚类(Pixel Clustering)处理等，从而检测出物体(object)。其中，像素聚类处理例如可以是提取掩模图像中像素簇的轮廓(contour)，如果该轮廓的面积超过面积阈值，则判定为该像素簇代表一个对像物体(object)，其中，该对象物体例如可以是静止物体，也可以是运动物体。也就是说，第一检测单元104基于第一前景检测单元101和第二前景检测单元102对该多帧视频图像帧而得到的多个第一检测结果和第二检测结果，得到一次物体检测结果。

此外，该第一检测单元104在判定出对象物体的情况下，可以进一步获得该对象物体的位置信息，和/或面积信息，和/或颜色信息等信息。

在本实施例中，如图1所示，该图像处理装置100还可以具有第二检测单元108，该第二检测单元108可以根据第一检测单元104检测出的物体进行进一步的检测。

在一个实施方式中，第二检测单元108进行的该进一步的检测可以是基于静态物体的检测(event detection)，例如，遗留物(abandoned object)和/或移除物(removedobject)的检测。其中，遗留物例如可以是出现于第一检测单元104当前的物体检测结果中，却没有出现在之前的物体检测结果中的静态物体，移除物例如可以是第一检测单元104当前的物体检测结果中消失，但是在之前的物体检测结果中存在的静态物体。

在本实施例中，第二检测单元108可以检测第一检测单元104根据掩模图像检测到的物体为遗留物或移除物。

图3是第二检测单元108的一个示意图，如图3所示，第二检测单元108可以包括：设置单元301，选择单元302，识别单元303，以及判定单元304。

在本实施例中，设置单元301用于在掩模图像中设置识别区域，该识别区域包含检测到的物体的区域；选择单元302用于从与该检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；识别单元303用于在与该识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；判定单元304根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

下面，结合实例来说明第二检测单元108进行检测的方法。

图4是利用第二检测单元108检测遗留物或移除物的一个实例的示意图。

图4的(a)所示为一帧视频图像帧400a，图4的(b)是视频图像帧400a对应的掩模图像(mask image)400b。

在图4的(c)中，设置单元301设置了识别区域401，该识别区域401包含检测到的物体的区域402。

如图4的(d)所示，视频图像帧400a的第一区域402d与(c)中的区域402对应，即，位置相同并且面积相同；视频图像帧400a的第一区域401d与图4的(c)中的识别区域401对应，即，位置相同并且面积相同。

如图4的(d)所示，选择单元302从视频图像帧400a的第一区域402d中任意选了预定数量的像素403作为识别样本，其中，该预定数量例如为20。

识别单元303针对视频图像帧400a的第二区域401d中的每一个像素，使用识别样本的像素值判断该像素为前景图像的像素还是背景图像的像素。例如，当该像素的像素值与识别样本中的超过第二预定数量的像素的像素值接近时，将该像素识别为背景图像的像素，否则，将该像素识别为前景图像的像素。其中，像素值接近，是指两个像素值的差值小于预定的阈值。

识别单元303对第二区域401d识别完成后的结果如图4的(e)所示，其中，在与第二区域401d对应的区域401e中，白色像素可以表示背景图像的像素，黑色像素可以表示前景图像的像素。

在本实施例中，判定单元304可以根据图4的(e)中背景图像的像素的数量与物体的区域402中像素的数量的比值，判定从图4的(c)中所示的物体的区域402为遗留物或移除物。例如，如果该比值小于1.5，则判定该区域402为遗留物，如果该比值大于或等于1.5，则判定该区域402为遗失物。

图5是利用第二检测单元108检测遗留物或移除物的一个实例的示意图。

图5的(a)所示为当前帧之前的一帧视频图像帧500a，其中具有物体50。图5的(b)所示为当前的一帧视频图像帧500b，其中物体50消失。

图5的(c)是视频图像帧500b对应的掩模图像(mask image)500c，由于当前的一帧视频图像帧500b中物体50消失，在掩模图像500c中，出现静态物体的区域502。

在图5的(d)中，设置单元301设置了识别区域501，该识别区域501包含检测到的物体的区域502。

选择单元302从视频图像帧500b的与区域502对应的第一区域中任意选了预定数量的像素作为识别样本，其中，该预定数量例如为20。

识别单元303针对视频图像帧500b的与识别区域501对应的第二区域中的每一个像素，使用识别样本的像素值判断该像素为前景图像的像素还是背景图像的像素。

识别单元303对第二区域识别完成后的结果如图5的(e)所示，其中，在与第二区域对应的区域501e中，白色像素可以表示背景图像的像素，黑色像素可以表示前景图像的像素。

在本实施例中，判定单元304可以根据图5的(e)中背景图像的像素的数量与物体的区域502中像素的数量的比值，判定从图5的(c)中所示的物体的区域502为遗留物或移除物。例如，图5的(e)中，该比值大于1.5，因此判定该区域502为遗失物。

在本实施例中，第二检测单元108还可以进行其他的进一步的检测，例如针对运动物体的事件检测(event detection)，和/或物体追踪(object tracking)等，具体方式可参考现有技术。

根据本实施例，能够基于更新周期不同的两个样本库分别对图像进行前景检测，从而得到两种检测结果，并根据该两种检测结果进行物体检测。由此，能够以较低的运算量进行前景检测，并且能够进行准确的物体检测。

实施例2

本实施例2提供一种图像处理方法。由于该方法解决问题的原理与实施例1的图像处理装置类似，因此其具体的实施可以参考实施例1的装置的实施，内容相同之处不再重复说明。

图6是该图像处理方法的一个示意图，如图6所示，该方法包括：

步骤601、基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

步骤602、基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

步骤603、根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

步骤604、根据所述掩模图像对所述视频图像帧进行物体检测。

如图6所示，所述图像处理方法还包括：

步骤605、更新所述第一样本库。

其中，步骤605可以采用如下方式来实现：将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者，将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

如图6所示，所述图像处理方法还包括：

步骤606、更新所述第二样本库。

其中，步骤606可以采用如下方式来实现：将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者，将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

如图6所示，所述图像处理方法还包括：

步骤607、根据进行所述物体检测的时间要求，调整基于所述第一样本库进行前景检测的周期，和/或所述第一周期，和/或基于所述第二样本库进行前景检测的周期，和/或所述第二周期。

如图6所示，所述图像处理方法还包括：

步骤608、检测根据所述掩模图像检测到的物体为遗留物或移除物。

图7是检测遗留物或移除物的方法的一个示意图，用来实现步骤608。如图7所示，该方法包括：

步骤701、在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

步骤702、从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

步骤703、在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

步骤704、根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

根据本实施例，能够基于更新周期不同的两个样本库分别对图像进行前景检测，从而得到两种检测结果，并根据该两种检测结果进行物体检测。由此，能够以较低的运算量进行前景检测，并且能够进行准确的物体检测。

实施例3

本实施例3提供一种电子设备，该电子设备解决问题的原理与实施例1的装置100类似，因此其具体的实施可以参考实施例1的装置100实施，内容相同之处不再重复说明。

图8是本发明实施例的电子设备构成示意图。如图8所示，电子设备800可以包括：中央处理器(CPU)801和存储器802；存储器802耦合到中央处理器801。其中该存储器802可存储各种数据；此外还存储数据处理的程序，并且在中央处理器801的控制下执行该程序。

在一个实施方式中，装置100的功能可以被集成到中央处理器801中。其中，中央处理器801可以被配置为实现实施例2的图像处理方法。

中央处理器801可以被配置为进行控制，以使电子设备800执行实如下方法：

基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

根据所述掩模图像对所述视频图像帧进行物体检测。

中央处理器801还可以被配置为：

将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者，将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

中央处理器801还可以被配置为：将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者，将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

中央处理器801还可以被配置为：根据进行所述物体检测的时间要求，调整基于所述第一样本库进行前景检测的周期，和/或所述第一周期，和/或基于所述第二样本库进行前景检测的周期，和/或所述第二周期。

中央处理器801还可以被配置为：

在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

在另一个实施方式中，上述装置100可以与中央处理器801分开配置，例如，可以将装置200配置为与中央处理器801连接的芯片，通过中央处理器801的控制来实现装置100的功能。

此外，如图8所示，电子设备800还可以包括：输入输出单元803，显示单元804等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备800也并不是必须要包括图8中所示的所有部件；此外，电子设备800还可以包括图8中没有示出的部件，可以参考现有技术。

根据本实施例，能够基于更新周期不同的两个样本库分别对图像进行前景检测，从而得到两种检测结果，并根据该两种检测结果进行物体检测。由此，能够以较低的运算量进行前景检测，并且能够进行准确的物体检测。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中该计算机可读程序使得图像处理装置或电子设备执行实施例2所述的图像处理方法。

本发明实施例还提供一种计算机可读程序，其中当在图像处理装置或电子设备中执行该程序时，该程序使得该图像处理装置或电子设备执行实施例2的图像处理方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

结合本发明实施例描述的在各装置中的各处理方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1、图3中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图6、图7所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对图1、图3描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1、图3描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

本申请还提供如下的附记：

1、一种图像处理装置，该装置包括：

第一前景检测单元，其基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

第二前景检测单元，其基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

第一生成单元，其根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

第一检测单元，其根据所述掩模图像对所述视频图像帧进行物体检测。

2、如附记1所述的图像处理装置，其中，

所述图像处理装置还包括第一更新单元，其用于采用如下方式更新所述第一样本库：

将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者

将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

3、如附记2所述的图像处理装置，其中，所述图像处理装置还包括第二更新单元，其用于采用如下方式更新所述第二样本库：

将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者

将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

4、如附记1所述的图像处理装置，其中，所述图像处理装置还包括：

周期设定单元，其根据进行所述物体检测的时间要求，调整基于所述第一样本库进行前景检测的周期，和/或所述第一周期，和/或基于所述第二样本库进行前景检测的周期，和/或所述第二周期。

5、如附记1所述的图像处理装置，其中，所述图像处理装置还包括第二检测单元，其用于检测根据所述掩模图像检测到的物体为遗留物或移除物，所述第二检测单元包括：

设置单元，其用于在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

选择单元，其用于从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

识别单元，其用于在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

判定单元，其根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

6、一种电子设备，具有如附记1-5中任一项所述的图像处理装置。

7、一种图像处理方法，该方法包括：

基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

根据所述掩模图像对所述视频图像帧进行物体检测。

8、如附记7所述的图像处理方法，其中，所述图像处理方法还包括：采用如下方式更新所述第一样本库：

将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者

将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

9、如附记8所述的图像处理方法，其中，所述图像处理方法还包括：采用如下方式更新所述第二样本库：

将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者

将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

10、如附记7所述的图像处理方法，其中，所述图像处理方法还包括：

根据进行所述物体检测的时间要求，调整基于所述第一样本库进行前景检测的周期，和/或所述第一周期，和/或基于所述第二样本库进行前景检测的周期，和/或所述第二周期。

11、如附记7所述的图像处理方法，其中，所述图像处理方法还包括：检测根据所述掩模图像检测到的物体为遗留物或移除物，包括：

在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

Claims (10)

1.一种图像处理装置，该装置包括：

第一前景检测单元，其基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

第二前景检测单元，其基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

第一生成单元，其根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

第一检测单元，其根据所述掩模图像对所述视频图像帧进行物体检测。

2.如权利要求1所述的图像处理装置，其中，所述图像处理装置还包括第一更新单元，其用于采用如下方式更新所述第一样本库：

将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者

将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

3.如权利要求2所述的图像处理装置，其中，所述图像处理装置还包括第二更新单元，其用于采用如下方式更新所述第二样本库：

将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者

将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

4.如权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：

周期设定单元，其根据进行所述物体检测的时间要求，调整基于所述第一样本库进行前景检测的周期，和/或所述第一周期，和/或基于所述第二样本库进行前景检测的周期，和/或所述第二周期。

5.如权利要求1所述的图像处理装置，其中，所述图像处理装置还包括第二检测单元，其用于检测根据所述掩模图像检测到的物体为遗留物或移除物，所述第二检测单元包括：

设置单元，其用于在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

选择单元，其用于从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

识别单元，其用于在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

判定单元，其根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

6.一种电子设备，具有如权利要求1-5中任一项所述的图像处理装置。

7.一种图像处理方法，该方法包括：

基于视频图像帧的各像素的像素值与第一样本库中该像素对应的至少两个第一样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第一检测结果，其中，所述第一样本库以第一周期进行更新；

基于所述视频图像帧的各像素的像素值与第二样本库中该像素对应的至少两个第二样本像素的像素值的比较结果，对该视频图像帧进行前景检测，得到第二检测结果，其中，所述第二样本库以第二周期进行更新，所述第二周期大于所述第一周期；

根据所述第一检测结果和所述第二检测结果生成掩模图像；以及

根据所述掩模图像对所述视频图像帧进行物体检测。

8.如权利要求7所述的图像处理方法，其中，所述图像处理方法还包括：采用如下方式更新所述第一样本库：

将所述视频图像帧的当前像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值；或者

将所述视频图像帧的所述当前像素的一个相邻像素的像素值，作为所述第一样本库中所述当前像素对应的至少两个第一样本像素中的一个第一样本像素的像素值。

9.如权利要求8所述的图像处理方法，其中，所述图像处理方法还包括：采用如下方式更新所述第二样本库：

将所述视频图像帧的当前像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值；或者

将所述视频图像帧的当前像素的一个相邻像素对应的至少两个第一样本像素的像素值的中值，作为所述当前像素对应的至少两个第二样本像素中的一个第二样本像素的像素值。

10.如权利要求7所述的图像处理方法，其中，所述图像处理方法还包括：检测根据所述掩模图像检测到的物体为遗留物或移除物，包括：

在所述掩模图像中设置识别区域，所述识别区域包含所述检测到的物体的区域；

从与所述检测到的物体的区域对应的所述视频图像帧的第一区域中，选择预定数量的像素作为识别样本；

在与所述识别区域对应的所述视频图像帧的第二区域中，针对每一个像素，使用所述识别样本的像素值判断该像素是否为背景图像的像素；以及

根据所述第二区域中所述背景图像的像素的数量与所述物体的区域中像素的数量的比值，判定根据所述掩模图像中检测到的物体为遗留物或移除物。

Images