CN105631858B - 基于样本块的图像目标计数方法 - Google Patents

Abstract

本发明提供了一种基于样本块的图像目标计数方法。所述方法通过滑动窗口从输入图像中依次提取出固定大小的图像块，之后根据其简单特征和相似度测量函数从训练集中搜索出最相似的K个候选图像块。基于这K个块，使用稀疏约束选择少量的用于重构的样本并计算样本对应重构权重。将该权重应用于样本对应的密度图，得出提取的图像块对应密度图，并将其置于输入图像密度图的相应位置。重复上述过程直至滑动窗口提取完所有图像块。最终累加输入图像的密度图中所有像素值得出感兴趣目标的数量。该方法与主流方法相比所需训练图像少、特征简单，即可达到满意的精度。其对于图像的分辨率也很鲁棒，即使输入图像或视频流分辨率较低也能保持很好的计数精度。

Description

基于样本块的图像目标计数方法

技术领域

本发明涉及一种基于样本块的图像目标计数方法(approximately sparsity-constrained example-based visual object counting,ASE-VOC)，属于图像处理技术领域。

背景技术

基于图像的目标计数方法是用于计算单幅图像或者视频流中感兴趣目标的数量。这是种在现实生活中高度需求的计数技术，可以用来统计显微镜图像里细胞的个数、野外生物数量、街道或商场的行人数量，也可用于交通监测和人群区域活动分析。

最传统的目标计数方法是通过检测目标来统计个数。这种方法在目标重叠较多、目标出现很密集的时候效果很差，因此实用性不强。

现有主流的目标计数方法分成两大类：一类是基于全局回归的计数，另一类是基于目标密度图估计的计数。前者通过提取一些传统的人工特征，将其融合并做特征选择等特征处理工作后，学习这个特征和其对应的真实数量(通过样本标记)之间的映射。这类方法的缺陷在于：1.依赖于人工特征的提取；2.需要很大的训练量来保证学习到的映射的有效性。

基于目标密度图估计的计数是通过人工标记的样本生成图像的密度图，通过累积密度图像素值之和得到要求的数量。其中和基于全局回归的方法类似，也需要求单个像素特征到像素的映射。其相比基于全局回归的计数需要的训练量少一些，但依然不小。

现实生活中，考虑到对未知的新场景做目标计数时，人工标注训练样本是非常费时费力的，一般情况下训练样本都会很少。面对这种情况，上面两类方法的性能都有很严重的下降。另外，特征的选择和提取也是个令人头疼的问题。

发明内容

为了解决使用少量标注样本依旧能做精确的目标计数的问题，本发明提出一种基于样本块的图像目标计数方法。它是基于目标密度图估计的，但不同于往常的通过计算映射函数来求密度图，本发明使用从少量训练样本中采集的图像块来估计密度图。鉴于本方法是通过对图像块的泛化来估计密度图，因此需求的样本量会很少。

本发明提出的方法是基于局部线性嵌入的相关理论，即通过相关的观察，假设图像块形成的流形空间和图像块对应的密度图形成的流形空间共享相似的局部几何结构。通过这个有相关统计学支持的假设，我们可以通过样本图像块和输入的测试图像块求出该测试图像块的局部几何结构，所以测试图像块对应的密度图可用样本图像块对应的密度图保留求得的局部几何结构来重构。最终通过求得的密度图可以算出测试图像中感兴趣目标的数量。该方法包括如下步骤：

a)输入一张测试图片X，用固定大小的滑动窗口(窗口大小：4×4，滑动距离：2)从中提取图像块x_ij，即x_ij是从X中提取出第(i,j)个图像块。

c)使用正交匹配追踪算法求解公式

求得最终选择的样本和对应样本使用的权重。

d)根据公式：求得图像块x_ij对应的密度图将放置到X对应密度图X^d的对应位置。若x_ij是X中最后一个图像块则进行下一步骤，否则跳转步骤a)。

e)计算出测试图像X中感兴趣目标数量

本发明的有益效果在于：相较于主流方法需要几百、几千张训练图像进行学习，本方法只要几张或十几张训练图像就能得出相似或更高的计数精度(表1和表2)。本发明的方法在MAE、MSE上和主流方法相比接近或者更低，MAE或MSE值越低说明计数精度越高。并且本方法不需要设计或挑选复杂的人工特征，只使用灰度图或简单的前景特征就好。另外本方法对图像的分辨率较鲁棒，在低分辨视频流或图像上依然能获取很高的计数精度。

表1.统计细胞数量，以MAE指标评估算法性能

(1)密集SIFT采样+词袋模型；(2)密集SIFT采样；(3)原始像素值(从蓝色通道中提取)。

表2.统计行人数量，以MAE和MSE指标评估算法性能

(1)融合特征(线段特征+内部边缘特征+纹理特征)；(2)累积属性(在特征(1)的基础上做了特征编码)；

(3)前景特征。

附图说明

图1.包含感兴趣目标的图像(左)和其对应生成的密度图(右)：(a)细胞图像；(b)来自公开数据集Mall的行人图像；(c)来自公开数据集UCSD的行人图像。

图2.本发明提出方法的流程图。

图3.本方法合成的密度图效果(细胞)：(a)原始细胞图；(b)使用高斯核生成的密度图；(c)Lempitsky的基于目标密度估计方法产生的密度图；(d)本发明方法产生的密度图。

图4.本方法合成的密度图效果(行人)：(a)原始行人监测图像；(b)差分图(前景特征)；(c)使用高斯核生成的密度图；(d)本发明方法产生的密度图。

图5.不同相似度测量方法对本方法计数精度的影响：左图是平均绝对误差(meanabsolute error,MAE)，右图是平均均方误差(mean square error,MSE)。上图是使用不同大小的训练集和测量方式，通过五次交叉验证得出结果。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

1.密度图生成方法

密度图是根据人对训练图像感兴趣目标的标注按照一定的原理自动生成的。通过密度图计数一般比标注的数量略少，但显得更加真实，因为在图像或视频边缘部分出现的目标算成整数实际上不是很合适。图像块训练集Y和其对应的密度图训练集Y^d生成方式如下：

1)给定N张训练图像I₁,I₂,…,I_N。对于每张训练图像I_i(1≤i≤N)，所有的感兴趣目标都使用2维点 标注出其具体位置(一般标注在目标形状的重心上，理论上标注在目标形状内即可)，这些2维点集合这里标记成P_i。因此对于I_i中的每一个像素p(p∈I_i)而言，其对应的真实目标密度函数可以定义为基于标注点的2维高斯核的累积。用公式可以表示为：

其中P是P_i种的一个标注点的位置，δ是控制2维高斯核平滑程度的参数，本发明设置为3。

2)根据1)中的公式，训练图像I_i的真实密度图可以定义为

3)根据2)中生成的密度图，I_i中的感兴趣目标数量c(I_i)可以通过累加密度图每个像素值得到

对于每幅训练图像I_i,i∈{1,2,…,N}，使用固定大小的滑动窗口(窗口大小：4×4，滑动距离：2)从中提取图像块。图像块构成训练集合相对应的，使用同样的滑动窗口，从训练图像生成的密度图i∈{1,2,…,N}中提取相应的密度图图像块，其构成训练集合 实际处理时，4×4大小的图像块通常拉伸成16×1的列向量处理。

2.输入图像块在样本集合中搜索最相似的K个样本时，需要考虑相似度测量函数的定义。本发明中采用了下面三种测量方法：

1)欧式距离(Euclidean distance)：

2)曼哈顿距离(Manhattan distance)：

3)切比雪夫距离(Chebyshev distance)：

上述公式中，x＝[x₁,x₂,…,x_n]^T，y＝[y₁,y₂,…,y_n]^T。

通常的K近邻算法中相似度测量用的只有欧式距离，其提供一个通用、泛化的相似度测量方法。相比之下，曼哈顿距离对于比较的特征向量只要求大体相似，对于噪声的影响很鲁棒；而切比雪夫距离擅长 特征向量的精确匹配。这里我们根据最终对比实验效果发现使用切比雪夫距离整体的计数效果更佳，因此主要采用了第三种相似度测量方式。

3.除了相似度测量函数的定义，特征提取器f(.)也会影响输入图像块在样本集合中搜索最相似的K个样本的结果。这里本发明不同与主流方法需要精心设计的特征，只需要使用目标图像块的灰度图(即原始像素)或者其前景特征(表现出的感兴趣目标的轮廓信息)。其中前景特征使用了低秩表示来求解。

4.基于样本块的目标计数的问题定义：

基于我们的假设：图像块形成的流形空间和其对应的密度图块形成的流形空间共享相似的局部几何结构。基于局部线性嵌入理论，这种特征向量的局部几何结构可以通过其相邻特征向量线性重构该向量来表示。举例来说，给定一个未知密度的测试图像块x，我们通过从Y中搜索的近邻样本来线性重构它(最小化重构误差)，从而求得对应样本的重构权重。之后x对应的密度图x^d可以通过将该重构权重应用到近邻样本的密度图(从Y^d中提取)计算出来。该过程用公式表示可为：

基于样本块的目标计数的问题定义：这里是由从Y中搜索到K个x最相似的图像块构成的样本块子集， 属于ε>0并且它确保中只包含K个样本。是对应的密度图。

5.为了提高搜索到的相似样本块与输入测试图像块的结构相似性，本文在搜索过程中引入了稀疏约束，其公式表达为：

这里w＝[w₁,w₂,…,w_M]^T，d＝[D(f(x),f(y₁)),D(f(x),f(y₂)),…,D(f(x),f(y_M))]。将w中的非零元素都转化为1。λ₁和λ₂是用来平衡局部性和稀疏性的正则项系数。公式中的第二项迫使选择临近的特征向量而第三项迫使选择尽可能少的候选块。这里的稀疏约束避免了固定最相似图像块的数量，并且使得选择的相似图像块和输入图像块尽可能有相似的结构。随着后两项局部性和稀疏性的联合约束，可以使得重构的精度更高，从而使得生成的密度图更精确，计数更可靠。

6. 5中的公式求解非常耗时，因此我们通过分开求解局部性和稀疏性来高效地求解近似解。先使用K近邻算法(近邻数K＝128)从样本集中搜索最相似的K个样本，构成领域样本字典D_Y，再基于该字典求解稀疏系数：

这里w＝[w₁,w₂,…,w_K]^T。

以上所述为本发明较佳的实施方式，但本发明的保护范围并不局限于此，任何在本发明提出的技术范围内作出其他多种形式的修改、替换和变更，都应涵盖在本发明的保护范围内。因此本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于样本块的图像目标计数方法，包括以下步骤：

a)输入一张测试图片X，用固定大小的滑动窗口从中提取图像块x_ij，即x_ij是从X中提取出第(i,j)个图像块；

b)给定N张训练图像I₁,I₂,…,I_N；对于每张训练图像I_i(1≤i≤N)，所有的感兴趣目标都使用2维点标注出其具体位置，这些2维点集合标记成P_i；对于I_i中的每一个像素p(p∈I_i)而言，其对应的真实目标密度函数定义为基于标注点的2维高斯核的累积；从训练样本集Y中基于相似度测量函数D(.)、特征提取器f(.)和K近邻算法选择和x_ij最相似的K个图像块构成候选块字典 这些候选块对应的密度图构成的字典为

c)使用正交匹配追踪算法求解公式

求得最终选择的样本和对应样本使用的权重；

d)根据公式：求得图像块x_ij对应的密度图将放置到X对应密度图X^d的对应位置；若x_ij是X中最后一个图像块则进行下一步骤，否则跳转步骤a)；

e)计算出测试图像X中感兴趣目标数量

2.根据权利要求1所述的一种基于样本块的图像目标计数方法，其特征在于，步骤b)中的图像块训练集Y和其对应的密度图训练集Y^d生成方式如下：

1)真实目标密度函数用公式表示为：

其中P是P_i中的一个标注点的位置，δ是控制2维高斯核平滑程度的参数；

2)根据1)中的公式，训练图像I_i的真实密度图定义为

3)根据2)中生成的密度图，I_i中的感兴趣目标数量c(I_i)通过累加密度图每个像素值得到

4)对于每幅训练图像I_i,i∈{1,2,…,N}，使用固定大小的滑动窗口从中提取图像块；图像块构成训练集合相对应的，使用同样的滑动窗口，从训练图像生成的密度图中提取相应的密度图图像块，其构成训练集合

3.根据权利要求1所述的一种基于样本块的图像目标计数方法，其特征在于，步骤b)中的相似度测量函数D(.)的定义有如下三种：

1)欧式距离：

2)曼哈顿距离：

3)切比雪夫距离：

上述公式中，x＝[x₁,x₂,…,x_n]^T，y＝[y₁,y₂,…,y_n]^T。

4.根据权利要求1所述的一种基于样本块的图像目标计数方法，其特征在于，步骤b)中的特征提取器f(.)采用的是目标图像块的灰度图或者其前景特征；其中前景特征使用了低秩表示来求解。