CN107220586A - 视频前景图像提取方法及装置 - Google Patents
视频前景图像提取方法及装置 Download PDFInfo
- Publication number
- CN107220586A CN107220586A CN201710229875.2A CN201710229875A CN107220586A CN 107220586 A CN107220586 A CN 107220586A CN 201710229875 A CN201710229875 A CN 201710229875A CN 107220586 A CN107220586 A CN 107220586A
- Authority
- CN
- China
- Prior art keywords
- pixel
- mrow
- present frame
- feature
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 219
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种视频前景图像提取方法及装置。包括计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像，获取当前帧的光照不变性特征图像中的像素的颜色值，获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本，计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值；当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。上述方法及装置，无需采用额外的专业设备等硬件的配合，仅通过普通的摄像机获取视频，并通过视频的光照不变性特征图像进行前景提取，避免了光照对前景提取的影响。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种视频前景图像提取方法及装置。
背景技术
随着视频应用的发展，图形图像处理技术的普及，越来越多的视频应用中使用了图像前景提取技术，即将前景区域从图像中提取出来。
前景图像提取技术的传统方法主要应用高斯混合模型，其通过配合深度摄像机等硬件设备，来避免光照对前景图像提取的影响。但是该种方式需要引入额外的专业设备。
发明内容
基于此，有必要针对前景图像的提取中需要引入额外的专业设备的问题，提出一种视频前景图像提取方法及装置。
一种视频前景图像提取方法，所述方法包括：
计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取所述当前帧的光照不变性特征图像中的像素的颜色值；
获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，所述计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值的步骤，包括：
通过以下公式分别计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为所述样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为所述当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
在其中一个实施例中，所述计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像的步骤，包括：
分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征；
根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
根据所述当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
在其中一个实施例中，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
其中，W为所述当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为所述当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
在其中一个实施例中，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
其中：
其中，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为所述当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，为所述当前帧中的编号小于p的像素局部直方图特征的和，为所述当前帧中的编号大于p的像素局部直方图特征的和，为所述当前帧中的编号小于p-1的像素局部直方图特征的和，为所述当前帧中的编号大于p+1的像素局部直方图特征的和。
在其中一个实施例中，所述根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征的步骤，包括：
通过以下公式，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征：
其中Gp为所述当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为所述当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为所述当前帧中的编号为p的像素所属的灰度分类，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
在其中一个实施例中，所述方法还包括：
提取预设数量的无前景的样本帧；
分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
在其中一个实施例中，所述装置包括：
生成模块，用于计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取模块，用于获取所述当前帧的光照不变性特征图像中的像素的颜色值；
定位模块，用于获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算模块，用于计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
提取模块，用于当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，所述生成模块包括：
特征获取单元，用于分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
特征转换单元，用于根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征；
图像合并单元，用于根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
图像生成单元，用于根据所述当前帧中像素的光照不变性特征，生成光照不变性特征图像。
在其中一个实施例中，其特征在于，所述装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧；
样本处理模块，用于分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
样本获取模块，用于提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
上述视频前景图像提取方法及装置，通过计算视频的当前帧中像素的光照不变性特征，生成光照不变性特征图像，获取当前帧的光照不变性特征图像中的像素的颜色值，获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本后，计算当前帧的光照不变性特征图像中的像素的颜色值与相对应的样本中的各个像素的颜色值的差值的绝对值，当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素，无需采用额外的专业设备等硬件的配合，仅通过普通的摄像机获取视频，并通过视频的光照不变性特征图像进行前景提取，避免了光照对前景提取的影响。
附图说明
图1为一实施例中视频前景图像提取方法流程图；
图2为图1所示实施例的关联步骤的流程图；
图3为图1所示实施例的步骤S102的流程图；
图4为图3所示实施例的步骤S302的流程图；
图5为一实施例中四行四列的当前帧像素的编号的示意图；
图6为图3所示实施例中获取光照不变性特征结果示意图；
图7为图1所示实施例的步骤S110的示意图；
图8为一实施例中视频前景图像提取结果示意图；
图9为一实施例中视频前景图像提取装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
在本文中，诸如左和右，上和下，前和后，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参照图1，提供一种视频前景图像提取方法，该方法包括如下步骤：
S102：计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像。
具体地，光照不变性特征是指当前帧中像素的一些对光照不敏感的、不随光照条件改变而变化的特征，如灰度特征、纹理特征和仿射不变性特征等。一般地，光照变化对当前帧中像素的一些特征产生强烈的影响，如随着光照的影响，当前帧中像素的一些特征产生变化，导致图像的外观会随着光照条件的改变发生剧烈的变化，这种变化远大于由于视频图像中像素之间的不同产生差异，当前帧的像素中一些特征对光照变化的敏感性，会影响视频前景图像提取的准确率，考虑当前帧中像素的一些特征，如灰度特征、纹理特征和仿射不变性特征等对光照不敏感，利用当前帧中像素不随光照条件改变而变化的不变特征进行提取，将当前帧中像素的光照不变性特征进行提取，并根据视频的光照不变性特征，将提取出的特征生成光照不变性特征图像。
S104：获取当前帧的光照不变性特征图像中的像素的颜色值。
具体地，当前帧中的每个像素在第一颜色通道、第二颜色通道和第三颜色通道中分别对应有一个通道颜色值，第一颜色通道、第二颜色通道和第三颜色通道的通道颜色值的组合表示该像素的颜色值。需要说明的是，第一颜色通道、第二颜色通道和第三颜色通道可以分别为R(Red，红)通道、G(Green，绿)通道、B(Blue，蓝)通道，还可以分别为H(Hue，色泽)通道、S(Saturation，饱和度)通道和B(Brightness亮度)通道。
S106：获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本。
具体地，当前帧的光照不变性特征图像中的像素的位置是指当前帧的光照不变性特征图像中的每个像素有固定的行列位置，行位置表示当前帧的光照不变性特征图像中的像素所在的行，列位置表示当前帧的光照不变性特征图像中的像素所在的列。根据当前帧的光照不变性特征图像中的每个像素所在的位置，获取与该位置相对应的样本。例如，光照不变性特征图像中的一个像素所在位置为第一行第一列，获取在第一行第一列的位置处的样本，该样本中可能包含有若干个像素。
S108：计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
具体地，通过计算当前帧的光照不变性特征图像中的像素在第一颜色通道、第二颜色通道和第三颜色通道与样本中各个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的差值的绝对值，进而将对应的每个颜色通道的差值的绝对值求和，得到当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
S110：当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
具体地，判断当前帧的光照不变性特征图像中的每个像素的颜色值与样本中的像素的颜色值的差值的绝对值小于预设值时的样本中像素的个数，当样本中的像素的颜色值与光照不变性特征图像中的像素的颜色值差值的绝对值小于预设值的像素个数小于阈值时，则认为与样本中像素对应位置处的当前帧的光照不变性特征图像中的像素为前景像素，进而将当前帧的光照不变性特征图像中与样本中对应位置处的像素提取出来。
需要说明的是，本实施例中，即可以对当前帧中每个像素依次判断是否属于前景像素，进而将前景像素提取出来，还可以判断当前帧中感兴趣区域中的像素是否属于前景像素，进而将当前帧中感兴趣区域的前景像素提取出来。
本实施例中，通过计算视频的当前帧中像素的光照不变性特征，生成光照不变性特征图像，再计算当前帧的光照不变性特征图像中的像素的颜色值与相对应位置处的样本中的像素的颜色值的差值的绝对值，当样本中计算所得差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。整体过程无需采用额外的专业设备的配合，仅用普通设备进行视频采集，通过视频的光照不变性特征图像进行前景提取，即可避免光照对前景提取结果的影响。
在其中一个是实施例中，请参照图2，图2为一实施例中的关联步骤流程图，该关联步骤可以是在图1所示实施例前执行，该关联步骤可以包括：
S202：提取预设数量的无前景的样本帧。
具体地，预设数量可以指预先获取的无前景图像的帧的数量，例如6、12、14、20、25等，将预先获取的一定数量的无前景图像的帧作为样本帧。需要说明的是，预先获取的一定数量的无前景图像的帧可以是视频开始时的一定数量的无前景的帧，可以是视频的中间的一定数量的无前景的帧，可以是同样背景预先拍摄的一定数量的无前景的帧等。
另外，本实施例中，采用的是将视频的预设数量的无前景图像提取出来作为样本帧，还可以采用先将视频的无前景图像的某一帧提取出来，在某一帧上随机添加一些噪声，将该添加噪声的某一帧作为样本帧。
S204：分别计算样本帧中的像素的光照不变性特征，并分别生成样本帧的光照不变性特征图像。
具体地，对于提取出的无前景图像的预设数量的样本帧，分别计算每一帧中每个像素的光照不变性特征，可以采用如下的计算方法：
首先，取无前景图像的预设数量的样本帧中的一帧，获取该样本帧中的一帧的每个像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。具体地，获取该样本帧中的一帧每个像素的编号，通过以下公式分别获取该样本帧中的一帧像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
其中，W为样本帧中的一帧像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为样本帧中的一帧像素的编号，取值为1，2，3……W，Hsp(b)为样本帧中的一帧的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为样本帧中的一帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
例如，获取该样本帧中的一帧的第一行第五列的像素的局部直方图特征，第一行第五列的像素编号为五，则获取该样本帧中的一帧的第五像素的局部直方图特征，则应用公式(1)：
其中，W为样本帧中的一帧的像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，I1、I2……IW为样本帧中的一帧的编号为1、2……W的像素的灰度，Q(I1,b)、Q(I2,b)……Q(IW,b)为I1、I2……IW是否属于第b个灰度分类的量化，若I1、I2……IW属于第b个灰度分类，则取值为1，若I1、I2……IW不属于第b个灰度分类，则取值为0，α为系数，0<α<1。
依次将样本帧中的一帧中的像素的局部直方图特征计算出来，并将预设数量的无前景图像的其余帧的像素的局部直方图特征逐个计算得出。
然后，根据样本帧中的一帧的像素的局部直方图特征，获取该帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。具体地，通过以下公式获取该帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征：
其中Gps为样本帧中的一帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为样本帧中的一帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为样本帧中的一帧中的编号为p的像素所属的灰度分类，Hps(b)为样本帧中的一帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
例如，获取该样本帧中的一帧的第一行第五列的像素的光照不变性特征，第一行第五列的像素编号为五，获取该帧中第五像素的光照不变性特征，则应用公式(2)
其中G5为第五像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，r5＝kI5，其中I5为第五像素的灰度，max(k,r5)为取系数k与r5＝kI5中的较大值，b5为第五像素的灰度分类，H5(b)为第五像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
依次将该样本帧中的一帧的每个像素的光照不变性特征计算出来，并将预设数量的无前景图像的其余帧的像素的光照不变性特征逐个计算得出。
之后，根据预设数量的样本帧中的像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到无前景图像的预设数量的样本帧中的像素的光照不变性特征。具体地，取预设数量的无前景图像的样本帧中的一帧，将样本帧中的一帧的像素在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征合并，得到样本帧中的一帧中像素的光照不变性特征，再将预设数量的样本帧中的其余帧的光照不变性特征合并，分别得到样本帧的每一帧像素的光照不变性特征
最后，根据样本帧中像素的光照不变性特征，分别生成样本帧的光照不变性特征图像。
S206：提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录样本的位置。
具体地，样本帧的光照不变性特征图像中的相对应的位置指样本帧中每一帧中在相同行位置和列位置的像素，获取样每个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并且记录样本的位置。例如，样本帧中的一帧的一个像素所在位置为第一行第一列，则将样本帧中所有第一行第一列位置处的像素提取出来，依次提取样本帧中每一行每一列的位置，将提取出相同位置处的像素作为样本。
本实施例中，首先获取预设数量的无前景的样本帧，并通过计算样本帧中的像素的光照不变性特征，分别生成样本帧的光照不变性特征图像，最后提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，取得样本的操作简单易行，不依赖现有的复杂模型取得样本，同时对样本也获得光照不变性特征图像，避免光照对样本产生影响，导致提取结果不准确。
在其中一个实施例中，可参照图3，提供图1所示实施例中的步骤S102的流程图，该步骤S102，即计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像的步骤可以包括：
S302：分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
具体地，一般用灰度直方图描述一幅图像的灰度值，将一幅图像的感兴趣区域用灰度直方图描绘出图像的灰度值，则为局部直方图。首先，读取视频中当前帧，将视频中的当前帧拆分成在第一颜色通道、第二颜色通道和第三颜色通道的图像，然后获取视频的当前帧在第一颜色通道、第二颜色通道和第三颜色通道中的每一个像素的局部直方图特征。需要说明的是，第一颜色通道、第二颜色通道和第三颜色通道可以分别为R(Red，红)通道、G(Green，绿)通道、B(Blue，蓝)通道，还可以分别为H(Hue，色泽)通道、S(Saturation，饱和度)通道和B(Brightness亮度)通道。
S304：根据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。
具体地，光照不变性特征是指当前帧中像素的一些对光照不敏感、不随光照条件改变而变化的特征，如灰度特征、纹理特征和仿射不变性特征等。一般地，光照变化对当前帧中像素的一些特征产生强烈的影响，如随着光照的影响，当前帧中像素的一些特征产生变化，导致图像的外观会随着光照条件的改变发生剧烈的变化，这种变化远大于由于视频图像中像素之间的不同产生差异，当前帧的像素中一些特征对光照变化的敏感性，会影响视频前景图像提取的准确率，考虑当前帧中像素的一些特征，如灰度特征、纹理特征和仿射不变性特征等对光照不敏感，根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的局部直方图特征，将当前帧中像素的光照不变性特征进行提取。
S306：根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征。
具体地，将当前帧中像素在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征合并，得到当前帧中像素的光照不变性特征。
S308：根据当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
具体地，根据当前帧中像素的光照不变性特征，即可生成出光照不变性特征图像。
需要说明的是，本实施例中，即可以对当前帧中像素依次获取光照不变性特征，进而生成光照不变性特征图像，还可以对当前帧中感兴趣区域中的像素获取光照不变性特征，进而生成当前帧中感兴趣区域的进而生成光照不变性特征图像。
本实施例中，通过获取视频的当前帧中像素在分别在三个颜色通道中的局部直方图特征；再根据局部直方图特征，分别获取当前帧中像素分别在三个颜色通道中的光照不变性特征，将三个颜色通道的光照不变性特征合并，得到当前帧中像素的光照不变性特征，最后生成光照不变性特征图像。通过分别在三个颜色通道中的计算，计算局部直方图特征与光照不变性特征准确，且通过局部直方图特征计算光照不变性特征，方法简单易行，无需依赖特殊的硬件设备，结果准确。
在其中一个实施例中，请参照图4，提供图3所示实施例中的步骤S302的流程图，该步骤S302，即分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤可以包括：
S401：获取视频的当前帧中像素的编号。
具体地，可参见图5，为一实施例中四行四列的当前帧像素的编号的示意图，当前帧中像素有固定的行列位置，该固定行列位置的像素对应有一个编号。如第一行第一列的像素，编号为一，第一行第五列的像素，编号为五，第一行第八列的像素，编号为八，依次类推，获取视频的当前帧中每个像素的编号。
S402：通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
例如，获取该帧中第一行第四列的像素的局部直方图特征，第一行第四列的像素编号为四，则获取该帧中第四像素的局部直方图特征，则应用公式(3)
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，I1、I2……IW为当前帧中的编号为1、2……W的像素的灰度，Q(I1,b)、Q(I2,b)……Q(IW,b)为I1、I2……IW是否属于第b个灰度分类的量化，若I1、I2……IW属于第b个灰度分类，则取值为1，若I1、I2……IW不属于第b个灰度分类，则取值为0，α为系数，0<α<1。
本实施例中，直接获取当前帧中像素的编号，按照像素的编号计算每个像素的局部直方图特征，计算准确，且不易遗漏计算。
在其中一个实施例中，图3所示实施例中的步骤S302还可以通过如下步骤计算，该步骤可包括如下步骤：
首先，获取视频的当前帧中像素的编号。
具体地，视频的当前帧中像素有固定的行列位置，该固定行列位置的像素对应有一个编号。如第一行第一列的像素，编号为一，第一行第五列的像素，编号为五，第一行第八列的像素，编号为八，依次类推，获取视频的当前帧中每个像素的编号。
然后，通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
其中：
其中，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，为当前帧中的编号小于p的像素局部直方图特征的和，为当前帧中的编号大于p的像素局部直方图特征的和，为当前帧中的编号小于p-1的像素局部直方图特征的和，为当前帧中的编号大于p+1的像素局部直方图特征的和。
例如，获取该帧中第一行第四列的像素的局部直方图特征，第一行第四列的像素编号为四，则获取该帧中第四像素的局部直方图特征，应用公式(4)。
其中
由于值可直接得到，也由可以得到，可由直接获得，从而可以求得。
则：
由于已求得，则和都可相应求得。
因此，
和都可直接求得。
其中，H4(b)为当前帧中编号为四的像素对应于局部直方图第b个灰度分类的局部直方图特征，I4为当前帧中的编号为4的像素的灰度，Q(I3,b)和为Q(I4,b)为若I3和I4属于第b个灰度分类，则Q(I3,b)和为Q(I4,b)取值为1，若I3和I4不属于第b个灰度分类，则Q(I3,b)和为Q(I4,b)取值为0，α为系数，0<α<1，为当前帧中的编号小于4的像素局部直方图特征的和，为当前帧中的编号大于4的像素局部直方图特征的和，为当前帧中的编号小于3的像素局部直方图特征的和。
本实施例中，可以采用迭代公式，直接由上一帧的局部直方图特征，得出当前帧的局部直方图特征，无需用每一帧的图像的每个像素逐个计算，对当前帧中像素的局部直方图特征可以加速计算，节省计算时间，计算简单易行。
在其中一个实施例中，图3所示实施例中步骤S304即据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，该步骤包括如下步骤：
根据当前帧像素的局部直方图特征，获取当前帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。具体地，通过以下公式获取当前帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征：
其中Gp为当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为当前帧中的编号为p的像素所属的灰度分类，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
例如，获取当前帧中第一行第五列的像素的光照不变性特征，第一行第三列的像素编号为五，获取该帧中第三像素的光照不变性特征，则应用公式(7)
其中G3为第五像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，r3＝kI3，其中I5为第三像素的灰度，max(k,r3)为取系数k与r3＝kI3中的较大值，b3为第三像素的灰度分类，H3(b)为第三像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。计算结果可参见图6，为获取光照不变性特征结果示意图。
需要说明的是，本实施例中，可以是利用当前帧像素的局部直方图特征，计算当前帧像素的光照不变性特征，还可以是利用当前帧感兴趣区域的像素局部直方图特征，计算当前帧感兴趣区域的像素的光照不变性特征。
本实施例中，直接利用当前帧像素的局部直方图特征，计算得到光照不变性特征，无需采用额外的专业设备配合，计算简单，计算结果准确，适用性强。
在其中一个实施例中，可参见图7，提供图1所示实施例的步骤S110的示意图，该步骤110，即当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
具体地，p1-p6为样本帧中处在同一位置的像素，pt为当前帧的光照不变性特征图像中与样本帧所在位置相同的像素，如取6帧样本帧，第一样本帧的第一行第一列位置处的像素为p1，第二样本帧的第一行第一列位置处的像素为p2，第六样本帧的第一行第一列位置处的像素为p6，pt表示当前帧的光照不变性特征图像中第一行第一列位置处的像素，SR(pt)表示预设值，分别获取pt和p1、p2……p6在第一颜色通道、第二颜色通道和第三颜色通道中分别对应的一个值，组成pt和p1、p2……p6的颜色值，计算pt与p1、p2……p6颜色值差值的绝对值，可以采用如下公式计算：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2| (8)
其中，r1、b1和g1分别为样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
如计算样本中的像素p3与pt的差值的绝对值，则
distance(p3,pt)＝|r3-rt|+|g3-gt|+|b3-bt|
其中，r3、b3和g3分别为样本中的像素p3的第一通道颜色值、第二通道颜色值和第三通道颜色值，rt、bt和gt分别为当前帧的光照不变性特征图像中的pt像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
当差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素，此处，预设值为20，阈值设定为2，例如，当像素p2与p4像素的颜色值与当前帧的光照不变性特征图像中的像素pt的颜色值的差值小于预设值20时，可以看出，p2与p4落入以pt为圆心，以预设值20为半径的圆中，则当前帧的光照不变性特征图像中的该点像素pt为背景像素，若样本帧中只有一个像素或没有像素落入以pt为圆心，以预设值20为半径的圆中，则表示样本帧中像素的颜色值与当前帧的光照不变性特征图像中像素pt的差值的绝对值小于预设值的像素的个数小于阈值，则当前帧的光照不变性特征图像中的该点像素pt为前景像素。依次计算当前帧的光照不变性特征图像中的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像，可以参照图8，提供视频前景图像提取结果示意图。
需要说明的是，本实施例中，采用的预设值为20，也可以采用21、22、25等，取得的样本为6个，也可以取10、14、20、21、22、25等。可以依次计算当前帧的光照不变性特征图像中的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值的绝对值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像，也可以计算当前帧的光照不变性特征图像中感兴趣区域的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值的绝对值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像。
本实施例中，采用计算颜色值差值的绝对值的方法，确定差值的绝对值小于预设值的样本个数是否小于阈值判断当前帧的光照不变性特征图像中的像素是否为前景点，方法简单易行，且不需要依赖过于复杂的现有模型，适用性广泛。
参见图9，提供一视频前景图像提取装置的示意图，视频前景图像提取装置900包括：
生成模块901，用于计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像。
获取模块902，用于获取当前帧的光照不变性特征图像中的像素的颜色值。
定位模块903，用于获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本。
计算模块904，用于计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
提取模块905，用于当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，计算模块904还用于通过以下公式分别计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
在其中一个实施例中，生成模块902还包括：
特征获取单元，用于分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
特征转换单元，用于根据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色值通道的光照不变性特征。
图像合并单元，用于根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征。
图像生成单元，用于根据当前帧中像素的光照不变性特征，生成光照不变性特征图像。
在其中一个实施例中，特征获取单元包括：
第一编号获取组件，用于获取视频的当前帧中像素的编号。
第一特征获取组件，用于通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
在其中一个实施例中，特征获取单元还可以包括：
第二编号获取组件，用于获取视频的当前帧中像素的编号。
第二特征获取组件，用于通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
其中：
其中，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，为当前帧中的编号小于p的像素局部直方图特征的和，为当前帧中的编号大于p的像素局部直方图特征的和，为当前帧中的编号小于p-1的像素局部直方图特征的和，为当前帧中的编号大于p+1的像素局部直方图特征的和。
在其中一个实施例中，特征转换单元还用于通过以下公式，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色值通道的光照不变性特征：
其中Gp为当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为当前帧中的编号为p的像素所属的灰度分类，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
在其中一个实施例中，视频前景图像提取装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧。
样本处理模块，用于分别计算样本帧中的像素的光照不变性特征，并分别生成样本帧的光照不变性特征图像。
样本获取模块，用于提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录样本的位置。
上述关于视频前景图像提取装置的具体限定可以参见上文中关于视频前景图像提取方法，在此不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频前景图像提取方法，其特征在于，所述方法包括：
计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取所述当前帧的光照不变性特征图像中的像素的颜色值；
获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
2.根据权利要求1所述的方法，其特征在于，所述计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值的步骤，包括：
通过以下公式分别计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为所述样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为所述当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
3.根据权利要求1所述的方法，其特征在于，所述计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像的步骤，包括：
分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征；
根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
根据所述当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
4.根据权利要求3所述的方法，其特征在于，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
<mrow>
<msub>
<mi>H</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>W</mi>
</munderover>
<msup>
<mi>&alpha;</mi>
<mrow>
<mo>|</mo>
<mi>p</mi>
<mo>-</mo>
<mi>q</mi>
<mo>|</mo>
</mrow>
</msup>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>q</mi>
</msub>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，W为所述当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为所述当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
5.根据权利要求3所述的方法，其特征在于，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
<mrow>
<msub>
<mi>H</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>H</mi>
<mi>p</mi>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>f</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>H</mi>
<mi>p</mi>
<mrow>
<mi>r</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
其中：
<mrow>
<msubsup>
<mi>H</mi>
<mi>p</mi>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>f</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&alpha;H</mi>
<mrow>
<mi>p</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>f</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>H</mi>
<mi>p</mi>
<mrow>
<mi>r</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&alpha;H</mi>
<mrow>
<mi>p</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>r</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为所述当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，为所述当前帧中的编号小于p的像素局部直方图特征的和，为所述当前帧中的编号大于p的像素局部直方图特征的和，为所述当前帧中的编号小于p-1的像素局部直方图特征的和，为所述当前帧中的编号大于p+1的像素局部直方图特征的和。
6.根据权利要求3所述的方法，其特征在于，所述根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征的步骤，包括：
通过以下公式，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征：
<mrow>
<msub>
<mi>G</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>b</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>-</mo>
<msub>
<mi>b</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msub>
<mi>H</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
</mrow>
其中Gp为所述当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为所述当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为所述当前帧中的编号为p的像素所属的灰度分类，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提取预设数量的无前景的样本帧；
分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
8.一种前景图像提取装置，其特征在于，所述装置包括：
生成模块，用于计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取模块，用于获取所述当前帧的光照不变性特征图像中的像素的颜色值；
定位模块，用于获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算模块，用于计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
提取模块，用于当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
9.根据权利要求8所述的装置，其特征在于，所述生成模块包括：
特征获取单元，用于分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
特征转换单元，用于根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征；
图像合并单元，用于根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
图像生成单元，用于根据所述当前帧中像素的光照不变性特征，生成光照不变性特征图像。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧；
样本处理模块，用于分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
样本获取模块，用于提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710229875.2A CN107220586B (zh) | 2017-04-10 | 2017-04-10 | 视频前景图像提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710229875.2A CN107220586B (zh) | 2017-04-10 | 2017-04-10 | 视频前景图像提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220586A true CN107220586A (zh) | 2017-09-29 |
| CN107220586B CN107220586B (zh) | 2020-04-17 |
Family
ID=59927851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710229875.2A Expired - Fee Related CN107220586B (zh) | 2017-04-10 | 2017-04-10 | 视频前景图像提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220586B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399842A (zh) * | 2019-07-26 | 2019-11-01 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105321190A (zh) * | 2015-10-28 | 2016-02-10 | 上海大学 | 基于结构相似背景建模的运动目标检测方法 |
| CN105913004A (zh) * | 2016-04-07 | 2016-08-31 | 重庆大学 | 基于梯度特征的隧道场景车辆光照干扰的抑制方法及系统 |
| CN105957093A (zh) * | 2016-06-07 | 2016-09-21 | 浙江树人大学 | 一种纹理区分优化hog算子的atm滞留物检测方法 |
| CN106097366A (zh) * | 2016-03-24 | 2016-11-09 | 南京航空航天大学 | 一种基于改进的Codebook前景检测的图像处理方法 |
-
2017
- 2017-04-10 CN CN201710229875.2A patent/CN107220586B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105321190A (zh) * | 2015-10-28 | 2016-02-10 | 上海大学 | 基于结构相似背景建模的运动目标检测方法 |
| CN106097366A (zh) * | 2016-03-24 | 2016-11-09 | 南京航空航天大学 | 一种基于改进的Codebook前景检测的图像处理方法 |
| CN105913004A (zh) * | 2016-04-07 | 2016-08-31 | 重庆大学 | 基于梯度特征的隧道场景车辆光照干扰的抑制方法及系统 |
| CN105957093A (zh) * | 2016-06-07 | 2016-09-21 | 浙江树人大学 | 一种纹理区分优化hog算子的atm滞留物检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| MUHAMMAD NAWAZ 等: "Foreground Detection using Background Subtraction with Histogram", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB)》 * |
| PETER DUNNE 等: "Histogram-based Detection of Moving Objects for Tracker Initialization in Surveillance Video", 《INTERNATIONAL JOURNAL OF GRID AND DISTRIBUTED COMPUTING》 * |
| 周同雪 等: "视频图像中的运动目标检测", 《液晶与显示》 * |
| 孙炜 等: "一种去光照干扰方法在行人检测中的应用", 《计算机应用研究》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399842A (zh) * | 2019-07-26 | 2019-11-01 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN110399842B (zh) * | 2019-07-26 | 2021-09-28 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220586B (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103136845B (zh) | 一种基于冠字号图像特征的人民币鉴伪方法 | |
| CN109858461A (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
| CN108537733A (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN104243820B (zh) | 一种确定图像边界的方法及装置 | |
| CN106023259B (zh) | 一种运动目标频率检测方法及装置 | |
| CN108563975B (zh) | 一种基于深度学习的高密度人群人数估计方法 | |
| CN106548160A (zh) | 一种人脸微笑检测方法 | |
| CN108388905B (zh) | 一种基于卷积神经网络和邻域上下文的光源估计方法 | |
| CN109977865A (zh) | 一种基于人脸颜色空间和度量分析的欺诈检测方法 | |
| CN105894534B (zh) | 一种基于ViBe的改进运动目标检测方法 | |
| CN103714314B (zh) | 一种结合边缘和颜色信息的电视视频台标识别方法 | |
| CN109544694A (zh) | 一种基于深度学习的增强现实系统虚实混合建模方法 | |
| CN103679677A (zh) | 一种基于模型互更新的双模图像决策级融合跟踪方法 | |
| CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN104021567B (zh) | 基于首数字定律的图像高斯模糊篡改检测方法 | |
| CN114022732A (zh) | 一种基于raw图像的极暗光物体检测方法 | |
| CN102306153B (zh) | 基于归一化语义加权和规则的足球视频进球事件检测方法 | |
| CN106331427A (zh) | 饱和度增强方法及装置 | |
| CN107220586A (zh) | 视频前景图像提取方法及装置 | |
| CN106683074A (zh) | 一种基于雾霾特性的图像篡改检测方法 | |
| CN102625028B (zh) | 对视频中存在的静态徽标进行检测的方法和设备 | |
| CN114049503A (zh) | 一种基于非端到端深度学习网络的显著性区域检测方法 | |
| CN107122715A (zh) | 一种基于频‑时显著性结合的运动目标检测方法 | |
| Luo et al. | An efficient method of license plate location | |
| CN103020995B (zh) | 一种适用于在视频中搜索目标的物件特征对比方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190703 Address after: 200030 Room 211, Building 33 Leshan Road, Xuhui District, Shanghai Applicant after: Shanghai Zhitang Health Technology Co.,Ltd. Address before: 313000 22 Floors, Block A, Changxing World Trade Building, 1278 Mingzhu Road, Changxing Economic Development Zone, Huzhou City, Zhejiang Province Applicant before: HUZHOU MEILUN INFORMATION TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200417 |