CN107220586B - 视频前景图像提取方法及装置 - Google Patents

视频前景图像提取方法及装置 Download PDF

Info

Publication number
CN107220586B
CN107220586B CN201710229875.2A CN201710229875A CN107220586B CN 107220586 B CN107220586 B CN 107220586B CN 201710229875 A CN201710229875 A CN 201710229875A CN 107220586 B CN107220586 B CN 107220586B
Authority
CN
China
Prior art keywords
current frame
pixels
value
illumination invariance
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710229875.2A
Other languages
English (en)
Other versions
CN107220586A (zh
Inventor
杨勇
郭鸿斌
盛斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhitang Health Technology Co ltd
Original Assignee
Shanghai Zhitang Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhitang Health Technology Co Ltd filed Critical Shanghai Zhitang Health Technology Co Ltd
Priority to CN201710229875.2A priority Critical patent/CN107220586B/zh
Publication of CN107220586A publication Critical patent/CN107220586A/zh
Application granted granted Critical
Publication of CN107220586B publication Critical patent/CN107220586B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视频前景图像提取方法及装置。包括计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像，获取当前帧的光照不变性特征图像中的像素的颜色值，获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本，计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值；当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。上述方法及装置，无需采用额外的专业设备等硬件的配合，仅通过普通的摄像机获取视频，并通过视频的光照不变性特征图像进行前景提取，避免了光照对前景提取的影响。

Description

视频前景图像提取方法及装置
技术领域
本发明涉及图像处理领域，特别是涉及一种视频前景图像提取方法及装置。
背景技术
随着视频应用的发展，图形图像处理技术的普及，越来越多的视频应用中使用了图像前景提取技术，即将前景区域从图像中提取出来。
前景图像提取技术的传统方法主要应用高斯混合模型，其通过配合深度摄像机等硬件设备，来避免光照对前景图像提取的影响。但是该种方式需要引入额外的专业设备。
发明内容
基于此，有必要针对前景图像的提取中需要引入额外的专业设备的问题，提出一种视频前景图像提取方法及装置。
一种视频前景图像提取方法，所述方法包括：
计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取所述当前帧的光照不变性特征图像中的像素的颜色值；
获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，所述计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值的步骤，包括：
通过以下公式分别计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为所述样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为所述当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
在其中一个实施例中，所述计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像的步骤，包括：
分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征；
根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
根据所述当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
在其中一个实施例中，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure BDA0001266362150000021
其中，W为所述当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为所述当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
在其中一个实施例中，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure BDA0001266362150000031
其中：
Figure BDA0001266362150000032
Figure BDA0001266362150000033
其中，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为所述当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，
Figure BDA0001266362150000034
为所述当前帧中的编号小于p的像素局部直方图特征的和，
Figure BDA0001266362150000035
为所述当前帧中的编号大于p的像素局部直方图特征的和，
Figure BDA0001266362150000036
为所述当前帧中的编号小于p-1的像素局部直方图特征的和，
Figure BDA0001266362150000037
为所述当前帧中的编号大于p+1的像素局部直方图特征的和。
在其中一个实施例中，所述根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征的步骤，包括：
通过以下公式，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征：
Figure BDA0001266362150000038
其中Gp为所述当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为所述当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为所述当前帧中的编号为p的像素所属的灰度分类，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
在其中一个实施例中，所述方法还包括：
提取预设数量的无前景的样本帧；
分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
在其中一个实施例中，所述装置包括：
生成模块，用于计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取模块，用于获取所述当前帧的光照不变性特征图像中的像素的颜色值；
定位模块，用于获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本；
计算模块，用于计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
提取模块，用于当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，所述生成模块包括：
特征获取单元，用于分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
特征转换单元，用于根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征；
图像合并单元，用于根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
图像生成单元，用于根据所述当前帧中像素的光照不变性特征，生成光照不变性特征图像。
在其中一个实施例中，其特征在于，所述装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧；
样本处理模块，用于分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
样本获取模块，用于提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
上述视频前景图像提取方法及装置，通过计算视频的当前帧中像素的光照不变性特征，生成光照不变性特征图像，获取当前帧的光照不变性特征图像中的像素的颜色值，获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本后，计算当前帧的光照不变性特征图像中的像素的颜色值与相对应的样本中的各个像素的颜色值的差值的绝对值，当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素，无需采用额外的专业设备等硬件的配合，仅通过普通的摄像机获取视频，并通过视频的光照不变性特征图像进行前景提取，避免了光照对前景提取的影响。
附图说明
图1为一实施例中视频前景图像提取方法流程图；
图2为图1所示实施例的关联步骤的流程图；
图3为图1所示实施例的步骤S102的流程图；
图4为图3所示实施例的步骤S302的流程图；
图5为一实施例中四行四列的当前帧像素的编号的示意图；
图6为图3所示实施例中获取光照不变性特征结果示意图；
图7为图1所示实施例的步骤S110的示意图；
图8为一实施例中视频前景图像提取结果示意图；
图9为一实施例中视频前景图像提取装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
在本文中，诸如左和右，上和下，前和后，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参照图1，提供一种视频前景图像提取方法，该方法包括如下步骤：
S102：计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像。
具体地，光照不变性特征是指当前帧中像素的一些对光照不敏感的、不随光照条件改变而变化的特征，如灰度特征、纹理特征和仿射不变性特征等。一般地，光照变化对当前帧中像素的一些特征产生强烈的影响，如随着光照的影响，当前帧中像素的一些特征产生变化，导致图像的外观会随着光照条件的改变发生剧烈的变化，这种变化远大于由于视频图像中像素之间的不同产生差异，当前帧的像素中一些特征对光照变化的敏感性，会影响视频前景图像提取的准确率，考虑当前帧中像素的一些特征，如灰度特征、纹理特征和仿射不变性特征等对光照不敏感，利用当前帧中像素不随光照条件改变而变化的不变特征进行提取，将当前帧中像素的光照不变性特征进行提取，并根据视频的光照不变性特征，将提取出的特征生成光照不变性特征图像。
S104：获取当前帧的光照不变性特征图像中的像素的颜色值。
具体地，当前帧中的每个像素在第一颜色通道、第二颜色通道和第三颜色通道中分别对应有一个通道颜色值，第一颜色通道、第二颜色通道和第三颜色通道的通道颜色值的组合表示该像素的颜色值。需要说明的是，第一颜色通道、第二颜色通道和第三颜色通道可以分别为R(Red，红)通道、G(Green，绿)通道、B(Blue，蓝)通道，还可以分别为H(Hue，色泽)通道、S(Saturation，饱和度)通道和B(Brightness亮度)通道。
S106：获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本。
具体地，当前帧的光照不变性特征图像中的像素的位置是指当前帧的光照不变性特征图像中的每个像素有固定的行列位置，行位置表示当前帧的光照不变性特征图像中的像素所在的行，列位置表示当前帧的光照不变性特征图像中的像素所在的列。根据当前帧的光照不变性特征图像中的每个像素所在的位置，获取与该位置相对应的样本。例如，光照不变性特征图像中的一个像素所在位置为第一行第一列，获取在第一行第一列的位置处的样本，该样本中可能包含有若干个像素。
S108：计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
具体地，通过计算当前帧的光照不变性特征图像中的像素在第一颜色通道、第二颜色通道和第三颜色通道与样本中各个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的差值的绝对值，进而将对应的每个颜色通道的差值的绝对值求和，得到当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
S110：当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
具体地，判断当前帧的光照不变性特征图像中的每个像素的颜色值与样本中的像素的颜色值的差值的绝对值小于预设值时的样本中像素的个数，当样本中的像素的颜色值与光照不变性特征图像中的像素的颜色值差值的绝对值小于预设值的像素个数小于阈值时，则认为与样本中像素对应位置处的当前帧的光照不变性特征图像中的像素为前景像素，进而将当前帧的光照不变性特征图像中与样本中对应位置处的像素提取出来。
需要说明的是，本实施例中，即可以对当前帧中每个像素依次判断是否属于前景像素，进而将前景像素提取出来，还可以判断当前帧中感兴趣区域中的像素是否属于前景像素，进而将当前帧中感兴趣区域的前景像素提取出来。
本实施例中，通过计算视频的当前帧中像素的光照不变性特征，生成光照不变性特征图像，再计算当前帧的光照不变性特征图像中的像素的颜色值与相对应位置处的样本中的像素的颜色值的差值的绝对值，当样本中计算所得差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。整体过程无需采用额外的专业设备的配合，仅用普通设备进行视频采集，通过视频的光照不变性特征图像进行前景提取，即可避免光照对前景提取结果的影响。
在其中一个是实施例中，请参照图2，图2为一实施例中的关联步骤流程图，该关联步骤可以是在图1所示实施例前执行，该关联步骤可以包括：
S202：提取预设数量的无前景的样本帧。
具体地，预设数量可以指预先获取的无前景图像的帧的数量，例如6、12、14、20、25等，将预先获取的一定数量的无前景图像的帧作为样本帧。需要说明的是，预先获取的一定数量的无前景图像的帧可以是视频开始时的一定数量的无前景的帧，可以是视频的中间的一定数量的无前景的帧，可以是同样背景预先拍摄的一定数量的无前景的帧等。
另外，本实施例中，采用的是将视频的预设数量的无前景图像提取出来作为样本帧，还可以采用先将视频的无前景图像的某一帧提取出来，在某一帧上随机添加一些噪声，将该添加噪声的某一帧作为样本帧。
S204：分别计算样本帧中的像素的光照不变性特征，并分别生成样本帧的光照不变性特征图像。
具体地，对于提取出的无前景图像的预设数量的样本帧，分别计算每一帧中每个像素的光照不变性特征，可以采用如下的计算方法：
首先，取无前景图像的预设数量的样本帧中的一帧，获取该样本帧中的一帧的每个像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。具体地，获取该样本帧中的一帧每个像素的编号，通过以下公式分别获取该样本帧中的一帧像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure BDA0001266362150000091
其中，W为样本帧中的一帧像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为样本帧中的一帧像素的编号，取值为1，2，3……W，Hsp(b)为样本帧中的一帧的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为样本帧中的一帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
例如，获取该样本帧中的一帧的第一行第五列的像素的局部直方图特征，第一行第五列的像素编号为五，则获取该样本帧中的一帧的第五像素的局部直方图特征，则应用公式(1)：
Figure BDA0001266362150000092
其中，W为样本帧中的一帧的像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，I1、I2……IW为样本帧中的一帧的编号为1、2……W的像素的灰度，Q(I1,b)、Q(I2,b)……Q(IW,b)为I1、I2……IW是否属于第b个灰度分类的量化，若I1、I2……IW属于第b个灰度分类，则取值为1，若I1、I2……IW不属于第b个灰度分类，则取值为0，α为系数，0<α<1。
依次将样本帧中的一帧中的像素的局部直方图特征计算出来，并将预设数量的无前景图像的其余帧的像素的局部直方图特征逐个计算得出。
然后，根据样本帧中的一帧的像素的局部直方图特征，获取该帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。具体地，通过以下公式获取该帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征：
Figure BDA0001266362150000101
其中Gps为样本帧中的一帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为样本帧中的一帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为样本帧中的一帧中的编号为p的像素所属的灰度分类，Hps(b)为样本帧中的一帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
例如，获取该样本帧中的一帧的第一行第五列的像素的光照不变性特征，第一行第五列的像素编号为五，获取该帧中第五像素的光照不变性特征，则应用公式(2)
Figure BDA0001266362150000102
其中G5为第五像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，r5＝kI5，其中I5为第五像素的灰度，max(k,r5)为取系数k与r5＝kI5中的较大值，b5为第五像素的灰度分类，H5(b)为第五像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
依次将该样本帧中的一帧的每个像素的光照不变性特征计算出来，并将预设数量的无前景图像的其余帧的像素的光照不变性特征逐个计算得出。
之后，根据预设数量的样本帧中的像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到无前景图像的预设数量的样本帧中的像素的光照不变性特征。具体地，取预设数量的无前景图像的样本帧中的一帧，将样本帧中的一帧的像素在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征合并，得到样本帧中的一帧中像素的光照不变性特征，再将预设数量的样本帧中的其余帧的光照不变性特征合并，分别得到样本帧的每一帧像素的光照不变性特征
最后，根据样本帧中像素的光照不变性特征，分别生成样本帧的光照不变性特征图像。
S206：提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录样本的位置。
具体地，样本帧的光照不变性特征图像中的相对应的位置指样本帧中每一帧中在相同行位置和列位置的像素，获取样每个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并且记录样本的位置。例如，样本帧中的一帧的一个像素所在位置为第一行第一列，则将样本帧中所有第一行第一列位置处的像素提取出来，依次提取样本帧中每一行每一列的位置，将提取出相同位置处的像素作为样本。
本实施例中，首先获取预设数量的无前景的样本帧，并通过计算样本帧中的像素的光照不变性特征，分别生成样本帧的光照不变性特征图像，最后提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，取得样本的操作简单易行，不依赖现有的复杂模型取得样本，同时对样本也获得光照不变性特征图像，避免光照对样本产生影响，导致提取结果不准确。
在其中一个实施例中，可参照图3，提供图1所示实施例中的步骤S102的流程图，该步骤S102，即计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像的步骤可以包括：
S302：分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
具体地，一般用灰度直方图描述一幅图像的灰度值，将一幅图像的感兴趣区域用灰度直方图描绘出图像的灰度值，则为局部直方图。首先，读取视频中当前帧，将视频中的当前帧拆分成在第一颜色通道、第二颜色通道和第三颜色通道的图像，然后获取视频的当前帧在第一颜色通道、第二颜色通道和第三颜色通道中的每一个像素的局部直方图特征。需要说明的是，第一颜色通道、第二颜色通道和第三颜色通道可以分别为R(Red，红)通道、G(Green，绿)通道、B(Blue，蓝)通道，还可以分别为H(Hue，色泽)通道、S(Saturation，饱和度)通道和B(Brightness亮度)通道。
S304：根据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。
具体地，光照不变性特征是指当前帧中像素的一些对光照不敏感、不随光照条件改变而变化的特征，如灰度特征、纹理特征和仿射不变性特征等。一般地，光照变化对当前帧中像素的一些特征产生强烈的影响，如随着光照的影响，当前帧中像素的一些特征产生变化，导致图像的外观会随着光照条件的改变发生剧烈的变化，这种变化远大于由于视频图像中像素之间的不同产生差异，当前帧的像素中一些特征对光照变化的敏感性，会影响视频前景图像提取的准确率，考虑当前帧中像素的一些特征，如灰度特征、纹理特征和仿射不变性特征等对光照不敏感，根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的局部直方图特征，将当前帧中像素的光照不变性特征进行提取。
S306：根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征。
具体地，将当前帧中像素在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征合并，得到当前帧中像素的光照不变性特征。
S308：根据当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
具体地，根据当前帧中像素的光照不变性特征，即可生成出光照不变性特征图像。
需要说明的是，本实施例中，即可以对当前帧中像素依次获取光照不变性特征，进而生成光照不变性特征图像，还可以对当前帧中感兴趣区域中的像素获取光照不变性特征，进而生成当前帧中感兴趣区域的进而生成光照不变性特征图像。
本实施例中，通过获取视频的当前帧中像素在分别在三个颜色通道中的局部直方图特征；再根据局部直方图特征，分别获取当前帧中像素分别在三个颜色通道中的光照不变性特征，将三个颜色通道的光照不变性特征合并，得到当前帧中像素的光照不变性特征，最后生成光照不变性特征图像。通过分别在三个颜色通道中的计算，计算局部直方图特征与光照不变性特征准确，且通过局部直方图特征计算光照不变性特征，方法简单易行，无需依赖特殊的硬件设备，结果准确。
在其中一个实施例中，请参照图4，提供图3所示实施例中的步骤S302的流程图，该步骤S302，即分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤可以包括：
S401：获取视频的当前帧中像素的编号。
具体地，可参见图5，为一实施例中四行四列的当前帧像素的编号的示意图，当前帧中像素有固定的行列位置，该固定行列位置的像素对应有一个编号。如第一行第一列的像素，编号为一，第一行第五列的像素，编号为五，第一行第八列的像素，编号为八，依次类推，获取视频的当前帧中每个像素的编号。
S402：通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
Figure BDA0001266362150000131
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
例如，获取该帧中第一行第四列的像素的局部直方图特征，第一行第四列的像素编号为四，则获取该帧中第四像素的局部直方图特征，则应用公式(3)
Figure BDA0001266362150000141
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，I1、I2……IW为当前帧中的编号为1、2……W的像素的灰度，Q(I1,b)、Q(I2,b)……Q(IW,b)为I1、I2……IW是否属于第b个灰度分类的量化，若I1、I2……IW属于第b个灰度分类，则取值为1，若I1、I2……IW不属于第b个灰度分类，则取值为0，α为系数，0<α<1。
本实施例中，直接获取当前帧中像素的编号，按照像素的编号计算每个像素的局部直方图特征，计算准确，且不易遗漏计算。
在其中一个实施例中，图3所示实施例中的步骤S302还可以通过如下步骤计算，该步骤可包括如下步骤：
首先，获取视频的当前帧中像素的编号。
具体地，视频的当前帧中像素有固定的行列位置，该固定行列位置的像素对应有一个编号。如第一行第一列的像素，编号为一，第一行第五列的像素，编号为五，第一行第八列的像素，编号为八，依次类推，获取视频的当前帧中每个像素的编号。
然后，通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
Figure BDA0001266362150000142
其中：
Figure BDA0001266362150000143
Figure BDA0001266362150000144
其中，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，
Figure BDA0001266362150000151
为当前帧中的编号小于p的像素局部直方图特征的和，
Figure BDA0001266362150000152
为当前帧中的编号大于p的像素局部直方图特征的和，
Figure BDA0001266362150000153
为当前帧中的编号小于p-1的像素局部直方图特征的和，
Figure BDA0001266362150000154
为当前帧中的编号大于p+1的像素局部直方图特征的和。
例如，获取该帧中第一行第四列的像素的局部直方图特征，第一行第四列的像素编号为四，则获取该帧中第四像素的局部直方图特征，应用公式(4)。
Figure BDA0001266362150000155
其中
Figure BDA0001266362150000156
Figure BDA0001266362150000157
Figure BDA0001266362150000158
Figure BDA0001266362150000159
由于
Figure BDA00012663621500001510
值可直接得到，
Figure BDA00012663621500001511
也由
Figure BDA00012663621500001512
可以得到，
Figure BDA00012663621500001513
可由
Figure BDA00012663621500001514
直接获得，从而
Figure BDA00012663621500001515
可以求得。
Figure BDA00012663621500001516
则：
Figure BDA00012663621500001517
Figure BDA00012663621500001518
Figure BDA0001266362150000161
由于
Figure BDA0001266362150000162
已求得，则
Figure BDA0001266362150000163
和
Figure BDA0001266362150000164
都可相应求得。
因此，
Figure BDA0001266362150000165
Figure BDA0001266362150000166
和
Figure BDA0001266362150000167
都可直接求得。
其中，H4(b)为当前帧中编号为四的像素对应于局部直方图第b个灰度分类的局部直方图特征，I4为当前帧中的编号为4的像素的灰度，Q(I3,b)和为Q(I4,b)为若I3和I4属于第b个灰度分类，则Q(I3,b)和为Q(I4,b)取值为1，若I3和I4不属于第b个灰度分类，则Q(I3,b)和为Q(I4,b)取值为0，α为系数，0<α<1，
Figure BDA0001266362150000168
为当前帧中的编号小于4的像素局部直方图特征的和，
Figure BDA0001266362150000169
为当前帧中的编号大于4的像素局部直方图特征的和，
Figure BDA00012663621500001610
为当前帧中的编号小于3的像素局部直方图特征的和。
本实施例中，可以采用迭代公式，直接由上一帧的局部直方图特征，得出当前帧的局部直方图特征，无需用每一帧的图像的每个像素逐个计算，对当前帧中像素的局部直方图特征可以加速计算，节省计算时间，计算简单易行。
在其中一个实施例中，图3所示实施例中步骤S304即据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，该步骤包括如下步骤：
根据当前帧像素的局部直方图特征，获取当前帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征。具体地，通过以下公式获取当前帧的每个像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征：
Figure BDA00012663621500001611
其中Gp为当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为当前帧中的编号为p的像素所属的灰度分类，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
例如，获取当前帧中第一行第五列的像素的光照不变性特征，第一行第三列的像素编号为五，获取该帧中第三像素的光照不变性特征，则应用公式(7)
Figure BDA0001266362150000171
其中G3为第五像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，r3＝kI3，其中I5为第三像素的灰度，max(k,r3)为取系数k与r3＝kI3中的较大值，b3为第三像素的灰度分类，H3(b)为第三像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。计算结果可参见图6，为获取光照不变性特征结果示意图。
需要说明的是，本实施例中，可以是利用当前帧像素的局部直方图特征，计算当前帧像素的光照不变性特征，还可以是利用当前帧感兴趣区域的像素局部直方图特征，计算当前帧感兴趣区域的像素的光照不变性特征。
本实施例中，直接利用当前帧像素的局部直方图特征，计算得到光照不变性特征，无需采用额外的专业设备配合，计算简单，计算结果准确，适用性强。
在其中一个实施例中，可参见图7，提供图1所示实施例的步骤S110的示意图，该步骤110，即当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
具体地，p1-p6为样本帧中处在同一位置的像素，pt为当前帧的光照不变性特征图像中与样本帧所在位置相同的像素，如取6帧样本帧，第一样本帧的第一行第一列位置处的像素为p1，第二样本帧的第一行第一列位置处的像素为p2，第六样本帧的第一行第一列位置处的像素为p6，pt表示当前帧的光照不变性特征图像中第一行第一列位置处的像素，SR(pt)表示预设值，分别获取pt和p1、p2……p6在第一颜色通道、第二颜色通道和第三颜色通道中分别对应的一个值，组成pt和p1、p2……p6的颜色值，计算pt与p1、p2……p6颜色值差值的绝对值，可以采用如下公式计算：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2| (8)
其中，r1、b1和g1分别为样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
如计算样本中的像素p3与pt的差值的绝对值，则
distance(p3,pt)＝|r3-rt|+|g3-gt|+|b3-bt|
其中，r3、b3和g3分别为样本中的像素p3的第一通道颜色值、第二通道颜色值和第三通道颜色值，rt、bt和gt分别为当前帧的光照不变性特征图像中的pt像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
当差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素，此处，预设值为20，阈值设定为2，例如，当像素p2与p4像素的颜色值与当前帧的光照不变性特征图像中的像素pt的颜色值的差值小于预设值20时，可以看出，p2与p4落入以pt为圆心，以预设值20为半径的圆中，则当前帧的光照不变性特征图像中的该点像素pt为背景像素，若样本帧中只有一个像素或没有像素落入以pt为圆心，以预设值20为半径的圆中，则表示样本帧中像素的颜色值与当前帧的光照不变性特征图像中像素pt的差值的绝对值小于预设值的像素的个数小于阈值，则当前帧的光照不变性特征图像中的该点像素pt为前景像素。依次计算当前帧的光照不变性特征图像中的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像，可以参照图8，提供视频前景图像提取结果示意图。
需要说明的是，本实施例中，采用的预设值为20，也可以采用21、22、25等，取得的样本为6个，也可以取10、14、20、21、22、25等。可以依次计算当前帧的光照不变性特征图像中的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值的绝对值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像，也可以计算当前帧的光照不变性特征图像中感兴趣区域的每个像素与样本中相对应位置的像素的差值的绝对值，确定差值的绝对值小于预设值的样本是否小于阈值，提取出所有前景图像像素，得到前景图像。
本实施例中，采用计算颜色值差值的绝对值的方法，确定差值的绝对值小于预设值的样本个数是否小于阈值判断当前帧的光照不变性特征图像中的像素是否为前景点，方法简单易行，且不需要依赖过于复杂的现有模型，适用性广泛。
参见图9，提供一视频前景图像提取装置的示意图，视频前景图像提取装置900包括：
生成模块901，用于计算视频的当前帧中像素的光照不变性特征，并生成当前帧的光照不变性特征图像。
获取模块902，用于获取当前帧的光照不变性特征图像中的像素的颜色值。
定位模块903，用于获取位置与当前帧的光照不变性特征图像中的像素的位置相对应的样本。
计算模块904，用于计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值。
提取模块905，用于当样本中差值的绝对值小于预设值的像素的个数小于阈值时，则提取与样本相对应的、当前帧的光照不变性特征图像中的像素作为前景像素。
在其中一个实施例中，计算模块904还用于通过以下公式分别计算当前帧的光照不变性特征图像中的像素的颜色值与样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
在其中一个实施例中，生成模块902还包括：
特征获取单元，用于分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征。
特征转换单元，用于根据局部直方图特征，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色值通道的光照不变性特征。
图像合并单元，用于根据当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征。
图像生成单元，用于根据当前帧中像素的光照不变性特征，生成光照不变性特征图像。
在其中一个实施例中，特征获取单元包括：
第一编号获取组件，用于获取视频的当前帧中像素的编号。
第一特征获取组件，用于通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure BDA0001266362150000201
其中，W为当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
在其中一个实施例中，特征获取单元还可以包括：
第二编号获取组件，用于获取视频的当前帧中像素的编号。
第二特征获取组件，用于通过以下公式分别获取当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure BDA0001266362150000202
其中：
Figure BDA0001266362150000211
Figure BDA0001266362150000212
其中，p、q为当前帧中像素的编号，取值为1，2，3……W，Hp(b)为当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，
Figure BDA0001266362150000213
为当前帧中的编号小于p的像素局部直方图特征的和，
Figure BDA0001266362150000214
为当前帧中的编号大于p的像素局部直方图特征的和，
Figure BDA0001266362150000215
为当前帧中的编号小于p-1的像素局部直方图特征的和，
Figure BDA0001266362150000216
为当前帧中的编号大于p+1的像素局部直方图特征的和。
在其中一个实施例中，特征转换单元还用于通过以下公式，获取当前帧中像素分别在第一颜色通道、第二颜色通道和第三颜色值通道的光照不变性特征：
Figure BDA0001266362150000217
其中Gp为当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为当前帧中的编号为p的像素所属的灰度分类，Hp(b)为当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
在其中一个实施例中，视频前景图像提取装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧。
样本处理模块，用于分别计算样本帧中的像素的光照不变性特征，并分别生成样本帧的光照不变性特征图像。
样本获取模块，用于提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录样本的位置。
上述关于视频前景图像提取装置的具体限定可以参见上文中关于视频前景图像提取方法，在此不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种视频前景图像提取方法，其特征在于，所述方法包括：
计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取所述当前帧的光照不变性特征图像中的像素的颜色值；
获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本，所述样本是通过计算无前景的样本帧的像素光照不变性特征，并分别生成样本帧的光照不变性特征图像，提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素而生成的；
计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
2.根据权利要求1所述的方法，其特征在于，所述计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值的步骤，包括：
通过以下公式分别计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分别为所述样本中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值，r2、b2和g2分别为所述当前帧的光照不变性特征图像中的像素的第一通道颜色值、第二通道颜色值和第三通道颜色值。
3.根据权利要求1所述的方法，其特征在于，所述计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像的步骤，包括：
分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征；
根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
根据所述当前帧中像素的光照不变性特征，并生成光照不变性特征图像。
4.根据权利要求3所述的方法，其特征在于，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure FDA0002240574910000021
其中，W为所述当前帧中像素总个数，b为某一个灰度分类，取值为1，2……M，M为局部直方图灰度分类总数，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Iq为所述当前帧中的编号为q的像素的灰度，Q(Iq,b)为Iq是否属于第b个灰度分类的量化，若Iq属于第b个灰度分类，则Q(Iq,b)取值为1，若Iq不属于第b个灰度分类，则Q(Iq,b)取值为0，α为系数，0<α<1。
5.根据权利要求3所述的方法，其特征在于，所述分别获取视频的当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征的步骤，包括：
获取视频的当前帧中像素的编号；
通过以下公式分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征：
Figure FDA0002240574910000022
其中：
Figure FDA0002240574910000023
Figure FDA0002240574910000031
其中，p、q为所述当前帧中像素的编号，取值为1，2，3……W，Hp(b)为所述当前帧中编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，Ip为所述当前帧中的编号为p的像素的灰度，Q(Ip,b)为Ip是否属于第b个灰度分类的量化，若Ip属于第b个灰度分类，则Q(Ip,b)取值为1，若Ip不属于第b个灰度分类，则Q(Ip,b)取值为0，α为系数，0<α<1，
Figure FDA0002240574910000032
为所述当前帧中的编号小于p的像素局部直方图特征的和，
Figure FDA0002240574910000033
为所述当前帧中的编号大于p的像素局部直方图特征的和，
Figure FDA0002240574910000034
为所述当前帧中的编号小于p-1的像素局部直方图特征的和，
Figure FDA0002240574910000035
为所述当前帧中的编号大于p+1的像素局部直方图特征的和。
6.根据权利要求3所述的方法，其特征在于，所述根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征的步骤，包括：
通过以下公式，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征：
Figure FDA0002240574910000036
其中Gp为所述当前帧的编号为p的像素在其中一个颜色通道的光照不变性特征，exp为以e为底的指数函数，k为系数，k＝0.1，rp＝kIp，其中Ip为所述当前帧中的编号为p的像素的灰度，max(k,rp)为取系数k与rp＝kIp中的较大值，bp为所述当前帧中的编号为p的像素所属的灰度分类，Hp(b)为所述当前帧中的编号为p的像素对应于局部直方图第b个灰度分类的局部直方图特征，b为某一个灰度分类，取值为1，2……M，其中M为局部直方图灰度分类总数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提取预设数量的无前景的样本帧；
分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
8.一种前景图像提取装置，其特征在于，所述装置包括：
生成模块，用于计算视频的当前帧中像素的光照不变性特征，并生成所述当前帧的光照不变性特征图像；
获取模块，用于获取所述当前帧的光照不变性特征图像中的像素的颜色值；
定位模块，用于获取位置与所述当前帧的光照不变性特征图像中的像素的位置相对应的样本，所述样本是通过计算无前景的样本帧的像素光照不变性特征，并分别生成样本帧的光照不变性特征图像，提取各个样本帧的光照不变性特征图像中的相对应的位置处的像素而生成的；
计算模块，用于计算所述当前帧的光照不变性特征图像中的像素的颜色值与所述样本中的各个像素的颜色值的差值的绝对值；
提取模块，用于当所述样本中所述差值的绝对值小于预设值的像素的个数小于阈值时，则提取与所述样本相对应的、所述当前帧的光照不变性特征图像中的像素作为前景像素。
9.根据权利要求8所述的装置，其特征在于，所述生成模块包括：
特征获取单元，用于分别获取所述当前帧中像素在第一颜色通道、第二颜色通道、第三颜色通道的局部直方图特征；
特征转换单元，用于根据所述局部直方图特征，获取所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色值通道的光照不变性特征；
图像合并单元，用于根据所述当前帧中像素分别在所述第一颜色通道、所述第二颜色通道和所述第三颜色通道的光照不变性特征，得到当前帧中像素的光照不变性特征；
图像生成单元，用于根据所述当前帧中像素的光照不变性特征，生成光照不变性特征图像。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
样本采集模块，用于提取预设数量的无前景的样本帧；
样本处理模块，用于分别计算所述样本帧中的像素的光照不变性特征，并分别生成所述样本帧的光照不变性特征图像；
样本获取模块，用于提取各个所述样本帧的光照不变性特征图像中的相对应的位置处的像素作为样本，并记录所述样本的位置。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201710229875.2A 2017-04-10 2017-04-10 视频前景图像提取方法及装置 Expired - Fee Related CN107220586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710229875.2A CN107220586B (zh) 2017-04-10 2017-04-10 视频前景图像提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710229875.2A CN107220586B (zh) 2017-04-10 2017-04-10 视频前景图像提取方法及装置

Publications (2)

Publication Number Publication Date
CN107220586A CN107220586A (zh) 2017-09-29
CN107220586B true CN107220586B (zh) 2020-04-17

Family

ID=59927851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710229875.2A Expired - Fee Related CN107220586B (zh) 2017-04-10 2017-04-10 视频前景图像提取方法及装置

Country Status (1)

Country Link
CN (1) CN107220586B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399842B (zh) * 2019-07-26 2021-09-28 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321190A (zh) * 2015-10-28 2016-02-10 上海大学 基于结构相似背景建模的运动目标检测方法
CN105913004A (zh) * 2016-04-07 2016-08-31 重庆大学 基于梯度特征的隧道场景车辆光照干扰的抑制方法及系统
CN105957093A (zh) * 2016-06-07 2016-09-21 浙江树人大学 一种纹理区分优化hog算子的atm滞留物检测方法
CN106097366A (zh) * 2016-03-24 2016-11-09 南京航空航天大学 一种基于改进的Codebook前景检测的图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321190A (zh) * 2015-10-28 2016-02-10 上海大学 基于结构相似背景建模的运动目标检测方法
CN106097366A (zh) * 2016-03-24 2016-11-09 南京航空航天大学 一种基于改进的Codebook前景检测的图像处理方法
CN105913004A (zh) * 2016-04-07 2016-08-31 重庆大学 基于梯度特征的隧道场景车辆光照干扰的抑制方法及系统
CN105957093A (zh) * 2016-06-07 2016-09-21 浙江树人大学 一种纹理区分优化hog算子的atm滞留物检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Foreground Detection using Background Subtraction with Histogram;Muhammad Nawaz 等;《2013 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB)》;20131008;1-5 *
Histogram-based Detection of Moving Objects for Tracker Initialization in Surveillance Video;Peter Dunne 等;《International Journal of Grid and Distributed Computing》;20110930;第4卷(第3期);71-78 *
一种去光照干扰方法在行人检测中的应用;孙炜 等;《计算机应用研究》;20141130;第31卷(第11期);3514-3516,3520 *
视频图像中的运动目标检测;周同雪 等;《液晶与显示》;20170131;第32卷(第1期);40-47 *

Also Published As

Publication number Publication date
CN107220586A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
Yao et al. Detecting image splicing based on noise level inconsistency
JP4772839B2 (ja) 画像識別方法および撮像装置
US8290264B2 (en) Image processing method and apparatus
US20090080772A1 (en) Radiometric Calibration from a Single Image
US20150186755A1 (en) Systems and Methods for Object Identification
CN111008969B (zh) 黑板板书提取与智能识别方法及系统
US8913135B2 (en) Method and apparatus for measuring response curve of an image sensor
CN110546651A (zh) 对象识别
CN110111347B (zh) 图像标志提取方法、装置及存储介质
CN111784675A (zh) 物品纹理信息处理的方法、装置、存储介质及电子设备
JP2021530773A (ja) 画像に基づく関係分析の方法およびそのシステム
CN106156691B (zh) 复杂背景图像的处理方法及其装置
CN110766657B (zh) 一种激光干扰图像质量评价方法
CN107133964B (zh) 一种基于Kinect的抠像方法
CN106683120B (zh) 追踪并覆盖动态贴纸的图像处理方法
CN107220586B (zh) 视频前景图像提取方法及装置
CN108764248B (zh) 图像特征点的提取方法和装置
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN113015004B (zh) 水印视频帧的识别方法、生产方法、装置及电子设备
KR20160109221A (ko) 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN114494887A (zh) 遥感图像分类方法、装置、计算机设备和可读存储介质
CN108133210B (zh) 一种图像格式识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190703

Address after: 200030 Room 211, Building 33 Leshan Road, Xuhui District, Shanghai

Applicant after: Shanghai Zhitang Health Technology Co.,Ltd.

Address before: 313000 22 Floors, Block A, Changxing World Trade Building, 1278 Mingzhu Road, Changxing Economic Development Zone, Huzhou City, Zhejiang Province

Applicant before: HUZHOU MEILUN INFORMATION TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200417

CF01 Termination of patent right due to non-payment of annual fee