CN106228136A - 基于聚合通道特征的全景街景隐私保护方法 - Google Patents

Abstract

基于聚合通道特征的全景街景隐私保护方法，涉及计算机视觉领域。包括以下步骤：提取多通道特征，训练提升分类器，实验验证得到适用于人脸和车牌的特征组合，统一人脸和车牌的检测；在众多通道特征中实验得到包括LUV、梯度幅值、6个梯度方向直方图共10个通道作为在街景人脸检测和车牌检测计算速度和最终分类准确率皆优的特征集；根据已有尺度通道特征估算该尺度附近尺度的通道特征；根据检测目标的大小，自适应模糊目标；训练至少2个弱分类器，最终构成一个鲁棒的强分类器，采用改进的快速提升决策树作为分类器，在训练的早期进行剪枝，大大提升了计算速度；针对测绘等特殊应用背景，增加后台批处理、点击模糊和快速去模糊的功能。

Description

基于聚合通道特征的全景街景隐私保护方法

技术领域

本发明涉及计算机视觉领域，具体是涉及一种基于聚合通道特征的全景街景隐私保护方法。

背景技术

在日常生活中，我们出行经常会使用地图，使用地图的同时也经常查看实物街景图，通常街景图片是全景的，但这里呈现给我们的一般是普通的图片。在一些特殊的应用场合中，比如测绘，也需要采集实地的图片，包括街景图片，这种采集任务通常采用全景摄像头，采集全景图片。通过上面这些图片，我们可以获得比较充分的信息，但同时，我们不需要某些信息或者这些信息也不希望被我们所得到，比如街景中的行人人脸和车辆车牌，这时就需要检测出人脸和车牌，对人脸和车牌进行模糊进行隐私保护。

目前各大商业公司推出的实物街景服务中，比如谷歌、百度、腾讯街景都有做街景的行人和车辆隐私保护，但展示给我们的这种街景图片都是非实时的历史数据，而且是非全景的普通图片。

发明内容

本发明的目的在于提供可以对普通街景图片进行实时隐私保护，针对测绘所需8000+*4000+像素的超大全景街景图，能够快速地进行批处理，并提供包括点击模糊，拖框模糊和快速去模糊功能的一种基于聚合通道特征的全景街景隐私保护方法。

本发明包括以下步骤：

A、提取多通道特征，训练提升分类器，实验验证得到适用于人脸和车牌的特征组合，统一人脸和车牌的检测；

在步骤A)中，所述特征包括一阶通道特征、灰度与颜色、线性变换、非线性变换、逐点变换、积分直方图、梯度直方图等。

B、在众多通道特征中实验得到包括LUV、梯度幅值、6个梯度方向直方图共10个通道作为在街景人脸检测和车牌检测计算速度和最终分类准确率皆优的特征集；

C、根据已有尺度通道特征估算该尺度附近尺度的通道特征；

在步骤C中，所述根据已有尺度通道特征估算该尺度附近尺度的通道特征可采用幂法则。

D、根据检测目标的大小，自适应模糊目标；

E、训练至少2个弱分类器，最终构成一个鲁棒的强分类器，采用改进的快速提升决策树作为分类器，在训练的早期进行剪枝，大大提升了计算速度；

在步骤E中，所述训练至少2个弱分类器可通过提升的方法。

F、针对测绘等特殊应用背景，增加后台批处理、点击模糊和快速去模糊的功能。

在步骤F中，所述后台批处理的方法可为：首先用户可将需要处理的任意幅图片添加到待处理区，选择批处理运行后，软件即会逐一对每幅图片进行车牌及人脸的自动定位与模糊，这里为了节省处理时间开销，并不直接保存每幅模糊完后的图像，而仅保存每幅图像中所有目标位置的记录文件，并在用户需要对批处理后的图片进行检验及修改时，再基于这些记录文件将模糊后的结果呈现给用户。在用户对所有图片检验完成后，即可让软件自动对它们进行批量保存；

所述点击模糊的方法可为：批处理后的图片可能还有少量漏检的车牌及人脸区域，这时用户可通过点击模糊功能来自行对相应区域进行模糊；为了增强用户操作的便捷性，点击模糊功能只需要用户对目标或目标的周围区域进行一次点击，即可通过一种由粗到精的策略来准确定位到目标并进行模糊处理。

所述快速去模糊的方法可为：点击模糊完成后的图片中可能存在有误模糊的区域，这时候用户可通过快速去模糊功能来恢复误模糊的区域；首先用户需要点击误模糊区域内的某一位置，然后软件会搜索包含了该位置坐标的最新的模糊框及对应的原图区域，接着再用原图区域来替换该模糊区域以达到去模糊的效果。

本发明不仅可以对地图配套的实物街景图片进行实时的隐私保护，可以为下一代实时街景服务；而且针对测绘领域应用到的8000+*4000+像素的超大全景街景图片，可以在2到5s内完成隐私保护工作，并且仍以全景的模式展示给使用者。最终形成一个街景隐私保护的系统，本发明可以对普通街景图片进行实时隐私保护，针对测绘所需8000+×4000+像素的超大全景街景图，能够快速地进行批处理，并提供包括点击模糊，拖框模糊和快速去模糊功能。

附图说明

图1展示了各种特征的可视化。其中:(a)灰度图像；(b)LUV颜色空间的三个通道特征图；(c)4个不同Gabor滤波器滤波后的特征图；(d)高斯差分滤波器滤波后的纹理特征图；(e)梯度幅值取绝对值的特征图；(f)图像边缘特征图；(g)梯度直方图特征；(h)灰度图像不同阈值下二值化后的特征图；

图2是Z_m Z对子集大小比例m N的映射图；

图3是和m/N以及Z_m/Z的关系；

图4是最优特征在性能排名前k个特征中的概率和Z_m/Z的关系；

图5显示了检测整体步骤；

图6是在8000+×4000+的全景街景大图下的人脸及车牌检测效果图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

A、提取多通道特征训练提升分类器，实验验证存在既适用于人脸检测又适用于车牌检测的特征组合，统一了人脸和车牌的检测的框架；

目前各种人工特征在一些特定的方面都有其优势，比如SIFT特征具有旋转不变性和尺度不变性，HOG(Dalal N,Triggs B.Histograms of oriented gradients for humandetection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEEComputer Society Conference on.IEEE,2005,1:886-893)是局部的统计特征，适合做整个的行人检测，本文提取多种通道特征，利用多通道特征来训练多个弱分类器，最终训练得到提升强分类器。这些特征起到互补或者增强的作用，它们有一个相同点，即拥有变换不变性：假设I为原图，C为I的通道特征，令Ω代表图像的某种通道映射，则C＝Ω(I),对原图I及其对应的某种变换I’而言，假设C’和I’类似，是C在这种变换下产生的，则有C’＝Ω(I’)。

以下是可以采用的特征类：

1.一阶通道特征

为某个通道上一个固定矩形区域内所有像素的像素之和。

2.灰度和颜色

如图1(a)，灰度是一种通道,颜色空间，比如RGB,HSV,LUV颜色空间都是3个通道的特征，图1(b)展示了LUV通道特征。

3.线性变换

利用线性变换得到的通道是一种简单有效的方法，图1(c)就是将原图I跟4个不同方向的Gabor滤波器进行卷积得到的通道，其中每一个通道包含了不同方向的边缘信息。将原图同DoG(Difference of Gaussian)高斯差分滤波器进行卷积就得到图像不同尺度的纹理信息，图1(d)展示了这种通道特征。

4.非线性变换

梯度幅值，如图1(e)所示，可以捕获边缘强度信息，对于彩色图像来说，可以在3个通道上分别计算Canny边缘，如图1(f)所示，可以捕获边缘信息，图1(h)则显示了利用两个不同的阈值将原图进行二值化所得到的信息。

5.逐点变换

通道中任意一个像素xi可以通过任意一个函数作为后处理来进行变换。如此一来，变可以克服一阶通道特征必须是某个矩形区域内的像素之和的限制。例如，通过Log运算，可以得到局部乘法算子：exp(Σ_ilog(xi))＝∏_i xi。

6.积分直方图

令Q是原图I上一个量化后的区域，量化值的取值范围是{1…q},q为最大量化值，那么，对每一个i而言，令Q_i(x,y)＝1[Q(x,y)＝i]，这里1是一个指示函数，表示当[]里的条件为真时值为1。这样区域Q内等于i的元素个数，可以通过该区域的Q_i(x,y)累和得到。因此，矩形区域内的直方图可以通过Q_i高效地算出。

7.梯度直方图

梯度直方图是一个加权直方图，它的容器索引是通过梯度的方向计算得到的，而其权值是通过梯度的幅值计算而来。实验证明通过对上述特征的一定组合，可以得到既适用于人脸检测又适用于车牌检测的特征集。

B、在众多通道特征中对不同目标选择的特征组合可能各不相同，实验得到包括LUV，梯度幅值，6个梯度方向直方图这10个通道作为在街景人脸检测和车牌检测中计算速度和准确度皆优的特征集；

实验中发现这10个通道的特征组合不仅对行人检测有效，同时对人脸，车牌等目标的检测也具有较好的效果，下面是这10个通道特征的简单介绍：

1.LUV颜色空间

L表示图像的亮度，U和V是色度，一般得到的是RGB的图像，RGB通过如下方式转换成LUV:

首先RGB颜色空间→CIE XYZ颜色空间：

|X|＝|0.430574 0.341550 0.178325|*|R/255|

|Y|＝|0.222015 0.706655 0.071330|*|G/255|

|Z|＝|0.020183 0.129553 0.939180|*|B/255|

CIE XYZ中的Y表示亮度，X、Z反映颜色的色度特性。

接下来进一步计算得到LUV颜色空间：

u＝13L·(u'-u'_n)

v＝13L·(v'-v'_n)

这里的Y_n是表示亮度的一个常数，以最亮的点作为参考，因为归一化后的像素值在[0,1]区间，所以一般取值为1，u'和v'是色度坐标(u',v')，在标准光照下的色度坐标为u'_n＝0.2009,v'_n＝0.4610

$u^{\′}=\frac{4X}{X+15Y+3Z}$

$v^{\′}=\frac{9Y}{X+15Y+3Z}$

2.梯度幅值和梯度方向

M(x,y):像素点(x,y)处的梯度幅值：

$\begin{array}{cc}{G}_h(x,y)=f(x+1,y)-f(x-1,y)& \∀x,y\end{array}$

$\begin{array}{cc}{G}_v(x,y)=f(x,y+1)-f(x,y-1)& \∀x,y\end{array}$

$M(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2}\≈\left|G_h(x,y)\right|+\left|G_v(x,y)\right|$

其中，G_h为水平方向梯度图，G_v为竖直方向梯度图。

O(x,y):像素点(x,y)处的梯度方向

O(x,y)＝arctan(G_h(x,y)/G_v(x,y))

3.梯度方向直方图

根据已得到的梯度方向O，把O分入到6个容器里，即六个方向，i＝1,...,6，每个方向的梯度方向直方图特征为：

h_i＝∑_x,yM(x,y)1[O(x,y)＝i]

C、根据幂法则来快速计算多尺度通道特征

不同尺度下的图像表示各不相同，丰富的图像表示有利于图像识别和检测。通过幂法则来估计不同尺度特征，可以加速对特征的计算，从而可以采用更多的尺度来充分表达图像。

对一个自然图像I，假设φ(I)代表一个任意(尺度)的图像统计映射，对于每个统计量φ它都有一个对应的参数λ_φ，E[·]代表期望，那么在尺度s₁和尺度s₂有如下规律：

$E\[\mathrm{\φ}\left(I_{s_1}\right)\]/E\[\mathrm{\φ}\left(I_{s_2}\right)\]={(s_1/s_2)}^{-{\mathrm{\λ}}_{\mathrm{\φ}}}$

假设Ω是任意一个平移不变映射，这样根据图像I可以得到通道特征C＝Ω(I),这里C的每个像素是由I的每个像素根据Ω做映射得到的。映射可以是对I的一个下采样，其中i、j代表像素位置，k代表第k层，w_ijk为对应权值。定义C的加权和为：

f_Ω(I)＝∑_i,j,kw_ijkC(i,j,k)

通过这种加权和形式，包括梯度统计直方图在内的多种局部或全局特征都可以用这种形式表达出来。

令I_s表示I在s尺度的图像，h_s代表I_s的高，w_s代表I_s的宽。定义：

$f_{\mathrm{\Ω}}\left(I_s\right)\≡\frac{1}{h_s{w}_{s}k}\underset{ijk}{\Σ}{C}_s(i,j,k)where,C_s=\mathrm{\Ω}\left(I_s\right)$

f_Ω(I_s)表示C_s的全局均值。

把图像I分解成K个小块，I＝[I¹···I^K]，那么对于Ω有：

Ω(I)＝Ω([I¹···I^K])≈[Ω(I¹)···Ω(I^K)]

将其带入f_Ω(I_s)中有：

f_Ω(I)≈∑f_Ω(I^k)/K

把I^k看做一整幅小的图像，由上式有：

f_Ω(I)≈E[f_Ω(I^k)]

进而有：

$f_{\mathrm{\Ω}}\left(I_{s_1}\right)\≈E\[f_{\mathrm{\Ω}}\left(I_{s_1}^k\right)\]$

$f_{\mathrm{\Ω}}\left(I_{s_2}\right)\≈E\[f_{\mathrm{\Ω}}\left(I_{s_2}^k\right)\]$

因此有：

$f_{\mathrm{\Ω}}\left(I_{s_1}\right)/f_{\mathrm{\Ω}}\left(I_{s_2}\right)={(s_1/s_2)}^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}+\mathrm{\ϵ}$

ε代表偏差，对不同的通道特征有不同的λ_Ω，其可以在训练和检测前得到。

为了得到λ_Ω，首先令中间计算量μ_s

${\mathrm{\μ}}_s=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{f}_{\mathrm{\Ω}}\left(I_s^i\right)/f_{\mathrm{\Ω}}\left(I_1^i\right)$

基于上述图像块看做一整副图像，这里Iⁱ即可看做从一副图像切分出的图像区域图也可以直接看做是一整副图像，如果则通过下采样得到。

在两个图像集上做实验，一个是N＝1237的行人图像集，一个是N＝4280的自然图像集，通过简单的代入可得到：

${\mathrm{\μ}}_s=s^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}+E\[\mathrm{\ϵ}\]$

取三组尺度，每组下面又有8个尺度，则一共有24个尺度：

取24个尺度：

$s=2^{-\frac{1}{8}},...,2^{-\frac{24}{8}}$

令其中w，h和,w_s,h_s分别是原始图像和下采样后图像的宽高。

对通道的六个特征(1)梯度直方图(2)归一化梯度直方图(3)高斯差(4)灰度图(5)局部标准像素差(6)梯度方向直方图，分别在自然图像集上和行人图像集上研究和的映射关系。

发现所有的μ_s服从幂法则，同时μ_s并不是如期望的都标准地从1开始，这是由下采样所带来的偏差，即使采样因子不大，但这样的偏差不可避免^[2]。因此，估计μ_s有如下形式：

${\mathrm{\μ}}_s\≈a_{\mathrm{\Ω}}{s}^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}$

a_Ω≠1作为一个人工的插值来对λ_Ω进行估计。

使用最小二乘来拟合log₂(μ_s')＝a'_Ω-λ_Ωlog₂(s')。其中这样可以得到不同特征的λ_Ω值。同时对误差有：

在梯度直方图通道特征下，对行人数据集有|E([ε])|＝0.018，对自然图像有|E([ε])|＝0.037.即有|E([ε])|≈0。上面的实验表明对λ_Ω的估计在行人图像集和自然图像集上，对不同特征都适用。

接下来，把上述幂法则和实验估计出的λ_Ω直接应用于上述十个通道特征的计算。假设I_s为I在s尺度下的图像，R(I,s)表示I在因子s下的重采样，那么有I_s,标准的方法为：在通道特征Ω下，通道特征图C_s由I_s直接计算，即：C_s＝Ω(I_s)，而I_s又分别由I得到，这样计算量会非常大。

根据上述幂法则，对于滑动大小为w的窗口产生的图像区域I^w有：

$f_{\mathrm{\Ω}}\left(I_s^{w_s}\right)=f_{\mathrm{\Ω}}\left(I^w\right)s^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}$

具体到通道特征C有：

$\frac{1}{\left|w_s\right|}\underset{i,j\∈w_s}{\Σ}{C}_s(i,j)\≈\frac{1}{\left|w\right|}\underset{i,j\∈w}{\Σ}C(i,j)s^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}$

又有如下结论：

当时有C'≈R(C,s)。

这样如果已经在原始图像上算出C＝Ω(I)，那么有同时还可进一步推断得到：

$C_s\≈R(C_{s^{\′}},s/s^{\′})\·{(s/s^{\′})}^{-{\mathrm{\λ}}_{\mathrm{\Ω}}}$

通过上式，可以先准确计算出一个尺度下的通道特征，再根据该特征估算若干个尺度的特征，实际中通常取一组8个尺度，通过第一个尺度的通道特征来估计出其余的7个尺度通道特征。

对比过去建立较少尺度的稠密图像金字塔的方法，现在采用多层级快速特征金字塔。实际项目中，令scales＝2^-(0:31)/8,从1到2^-31/8共计32个尺度。

只需要计算1,9,17,25这四个尺度的通道特征，其余的4组总共28个尺度则由算出的通道特征根据来估算，以达到快速计算所有尺度通道特征的目的。

假设一幅n*n的图片，每组直接计算m次通道特征，那么计算复杂度为：

当m＝1时，上式为原图计算复杂度为n²，只多了33％的计算花费。

可见采用这种估算的方式来计算多个尺度的通道特征是十分快速的。

D、根据检测目标，自适应模糊目标

本发明采用的是自适应模糊半径的高斯模糊对检测到的人脸及车牌区域进行模糊处理。

在某一窗口范围内，每一个像素都取周边像素的平均值。表1是3*3大小的窗口，2是中心点，周边点都是1。中心点取周围点的平均值，就会变成1。在数值上，这是对数据做平滑操作。在图形上，就相当于产生模糊效果，中心点的细节信息被弱化。计算平均值时，窗口取值范围越大即模糊半径越大，模糊效果越强。经过实验比对，本发明是取检测到的矩形框区域的高的四分之一作为模糊半径，而不是固定窗口大小，采用自适应模糊半径模糊后的视觉效果更好。

表1

1	1	1
			1	2	1
1	1	1

高斯模糊采用的是加权平均，计算平均值时，将中心点作为原点，其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值。运用下式二维高斯模糊函数可以计算每个点的权重。

$G(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

设中心点的坐标是(0,0)，即x＝0,y＝0,那么它周围8个点的坐标信息如表2所示，距离更远的点坐标以此类推。

表2

(-1,1)	(0,1)	(1,1)
			(-1,0)	(0,0)	(1,0)
(-1,-1)	(0,-1)	(1,-1)

为了让人脸模糊的视觉效果更佳，最终的模糊区域是设计为圆形，先对整个人脸矩形框区域进行模糊，之后再将该模糊区域同以矩形框中心点为圆心，高为直径的圆形区域做与操作，保留下圆形的模糊区域后覆盖在原图上再保存。

E、通过提升的方法来训练多个弱分类器最终构成一个鲁棒的强分类器，采用改进的快速提升决策树作为分类器，在训练的早期就可以进行剪枝，大大提升了计算速度。

提升分类器可以表示为H(x)＝∑_tα_th_t(x)的形式，其中h_t(x)为第t个弱分类器，α_t为第t个弱分类器的系数。在基于决策树作为分类器或回归器的提升模型中，决策树为一个二叉分类树或二叉回归树，即每个节点最多有两个子树，对分类树来说，每个弱分类器都是一个二分类器，称作决策树桩。一个决策树由每个非叶子节点t及其树桩h_t(x)组成。一个提升树模型可由多个决策树以加法模型组成，假设有M棵树，那么提升决策树或提升决策森林可以表示为：

其中表示决策树，为决策树参数。

决策树的生成方式有多种，其中一个生成方式为：

输入N个数据样本,从根节点开始，递归地设置每个节点，直到每个树桩的叶子节点，构建一个二叉决策树，其中每个树桩处理一个二值决策，即给定输入x∈R^k，决策树桩可以表述为：h_k(x)＝p_ksign(x_k-τ_k)，其中x_k为输入x的第k个特征，p_k∈{±1}为第k个特征对应的极性，τ_k∈R第k个特征对应的阈值。

对于二分类任务，第k个特征对应的加权分类误差ε^(k)可表示为：

${\mathrm{\ϵ}}^{\left(k\right)}=\frac{1}{Z}\[\underset{x_i\[k\]\≤\mathrm{\τ}}{\Σ}{w}_i{1}_{\{y_i=+p\}}+\underset{x_i\[k\]>\mathrm{\τ}}{\Σ}{w}_i{1}_{\{y_i=-p\}}\],Z=\underset{i}{\Σ}{w}_i$

其中w_i为第i个样本的权重，y_i为第i个样本的标签，x_i[k]为第i个样本在特征k下的特征值，τ为特征的阈值，Z为所有样本权重之和。

这个误差通过从所有特征中选择一个最优的特征k^*来最小化：

$\{p^{*},{\mathrm{\τ}}^{*},k^{*}\}=\arg \underset{p,\mathrm{\τ},k}{min}{\mathrm{\ϵ}}^{\left(k\right)},{\mathrm{\ϵ}}^{*}\≡{\mathrm{\ϵ}}^{\left(k\right)}$

其中，p^*为最优特征对应的极性，τ^*最优特征对应的阈值，ε^*为最优特征对应的加权分类误差。

对所有特征而言，特征的选取可根据信息增益或基尼指数来选取。

对选取的特征，将其特征值分别被装入到B个容器中，如果B太小，需要降低阈值，最终分类精度也会受影响，如果B太大则计算量会过大，影响整体算法速度，实验中发现B取256，既可保证分类精度也可保证计算速度。决策树的训练过程可以看做不同值的样本最终被合适地装入不同容器的过程，为新的树节点来选取特征也需要把样本权值在依据特征值划分的容器中进行累计，计算统计直方图，该步骤可以用于C4.5，ID3等经典决策树，后续也将用到这种方式来进行第一轮的初始训练。

给定第K个特征进行迭代，假设在每次迭代开始时，数据样本按照权重降序，即：定义显然Z_m大于等于任意m个样本权值的和，图2为Z_m/Z对子集大小比例m/N的映射图。

从图2可以看出所有权值的一大部分仅仅由少数的样本占有，而且训练时样本的编号是独立的，权值的累加不独立，这样可以仅仅用数据集的一个子集来训练(Dollár P,Appel R,Belongie S,et al.Fast feature pyramids for object detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(8):1532-1545)。

这个子集由Z_m/Z≥η来确定，实践中取η为90％到99％.，如果η的取值越低，有个更小子集越小，从而减小训练的计算量。

如何确定η：给定第k个特征和一个m子集，定义最佳初始误差是仅考虑在子集中的数据得到的最低训练误差：

${\mathrm{\ϵ}}_m^{\left(k\right)}=\frac{1}{Z_m}\[\underset{x_i\[k\]\≤{\mathrm{\τ}}_m^{\left(k\right)}}{\underset{i\≤m}{\Σ}}{w}_i{1}_{\{y_i=+p_m^{\left(k\right)}\}}+\underset{x_i\[k\]>{\mathrm{\τ}}_m^{\left(k\right)}}{\underset{i\≤m}{\Σ}}{w}_i{1}_{\{y_i=-p_m^{\left(k\right)}\}}\]$

其中和是最佳的初始参数。

图3表示的是和m/N以及Z_m/Z的关系，不同的曲线由不同的特征确定。

从图3可以得到以下几个结论：

1.全部权重可以通过排序好的前面几个采样来近似；

2.当m趋近于N的时候，特征误差逐渐稳定；

3.在比m子集更小的子集，即子集过小时，例如Z_m/Z<80％，最初虽然较低，但后续会增加，最终模型不收敛(图中虚线)；

4.m子集存在最优的特征(图中实线)。

同时还有结论当m≈0.2N就保证有足够的数据量来找到最优的特征(Appel R,Fuchs T,Dollár P,et al.Quickly boosting decision trees-pruning underachievingfeatures early[C]//JMLR Workshop and Conference Proceedings.JMLR,2013,28:594-602)。

图4是最优特征在性能排名前k个特征中的概率和Z_m/Z的关系。

标号A的k＝1，表示性能排名第一特征中存在最优特征的概率，标号B的k＝10，表示性能排名前十的特征存在最优特征的概率，标号C表示所有特征中性能排名前10％存在最优特征的概率。

可以看到当Z_m/Z≈75％的时候能有效保证最优特征落在性能排名在前k个特征中。

一般的启发式训练如下：

1.通过约束Z_m/Z≈75％采样得到数据集的m子集，在该子集上训练所有特征；

2.除了前10个最好的初始特征，对所有的特征进行剪枝；

3.对每个没剪枝的特征，在整个数据集上训练,得到训练得分；

4.根据训练结果，最后输出最好的特征。

但是因为剪枝有可能在第二步发生，这个启发式训练不足以保证特征是最优的。现在对误差做限制以保证剪去的特征其很有可能就是不好的特征。对于第k个特征，当它表现得比目前最好的k’个特征更差时，这个特征就可以称为不好的特征。

给定m子集和n子集，有如下结论：

$m\&le;n\&DoubleRightArrow;Z_m{\mathrm{\&epsiv;}}_m^{\left(k\right)}\&le;Z_n{\mathrm{\&epsiv;}}_n^{\left(k\right)}$

假设目前最小的误差为ε'，为目前最好的k’个特征训练得到，对第K个特征，假设已经训练得到Z_m和有：

$Z_m{\mathrm{\&epsiv;}}_m^{\left(k\right)}\&GreaterEqual;{\mathrm{Z\&epsiv;}}^{\&prime;}\&DoubleRightArrow;{\mathrm{Z\&epsiv;}}^{\left(k\right)}\&GreaterEqual;{\mathrm{Z\&epsiv;}}^{\&prime;}\&DoubleRightArrow;{\mathrm{\&epsiv;}}^{\left(k\right)}\&GreaterEqual;{\mathrm{\&epsiv;}}^{\&prime;}$

这样当时，第k个特征就是不好的特征，可以被剪去。

下面是改进的快速决策树训练算法流程：

1.在一个初始的较小子集上训练每个特征；

2.根据每个特征的初始误差进行排序；

3.根据第二步排序结果，每次在逐渐增大的子集中训练一个特征，更新误差如果满足则判定该特征是不好的特征，剪去。否则训练结束，那么它就是目前最好的特征；

4.最后输出最好的特征，相关参数和h_t(x)。

上述第一步中，m子集由Z_m/Z≈η_kp确定，M表示m子集的M个增长来使得Z_m/Z在η_kp和1之间等差地增长，当η_kp＝90％，且M＝20时，计算的花费最少。

最终快速提升决策树算法如下：

1.初始化权值；

2.用上述改进的快速决策树训练法训练树桩h_t(x)，一次训练一个，得到一组用于提升算法的初始分类器；

3.采用标准的提升步骤，比如对自适应提升方法；

a)用前向分步算法确定最优的a_t；

b)更新a_t的同时，交替迭代更新样本权值；

c)如果需要增加迭代次数，对样本权值进行降序排序，增加t次迭代次数，再回到第二步。

F、针对测绘等特殊应用背景，增加后台批处理、点击模糊和快速去模糊的功能。

1.批处理：为了提高工作效率，用户可通过批处理功能来一次性对多幅图片进行自动模糊及保存。首先用户可将需要处理的任意幅图片添加到待处理区，选择批处理运行后，软件即会逐一对每幅图片进行车牌及人脸的自动定位与模糊，这里为了节省处理时间开销，并不直接保存每幅模糊完后的图像，而仅保存每幅图像中所有目标位置的记录文件，并在用户需要对批处理后的图片进行检验及修改时，再基于这些记录文件将模糊后的结果呈现给用户。在用户对所有图片检验完成后，即可让软件自动对它们进行批量保存。

2.点击模糊：批处理后的图片可能还有少量漏检的车牌及人脸区域，这时用户可通过点击模糊功能来自行对相应区域进行模糊。为了增强用户操作的便捷性，点击模糊功能只需要用户对目标或目标的周围区域进行一次点击即可通过一种由粗到精的策略来准确定位到目标并进行模糊处理。

2.1.粗定位。首先将用户点击处位置坐标作为粗定位框的中心坐标，再根据该中心坐标的值来自适应设定粗定位框的长与宽，这里的自适应主要是指先收集车牌(人脸)的中心坐标及其对应的长与宽作为训练样本来训练出一个线性回归模型，再利用该模型来针对用户选定的中心坐标预测相应的长与宽，最后即可将粗定位框从原图中裁剪出来。

2.2.精定位。获得粗定位框后，通过降低检测器阈值的方法即可准确地对定位到目标，进而进行自适应高斯模糊。

3.快速去模糊：批量模糊处理完成后的图片中可能存在有误模糊的区域，这时候用户可通过快速去模糊功能来恢复误模糊的区域。首先用户需要点击误模糊区域内的某一位置，然后软件会搜索包含了该位置坐标的最新的模糊框及对应的原图区域，接着再用原图区域来替换该模糊区域以达到去模糊的效果。

以下给出具体实施例。

本实施例包括训练和检测两个步骤。

一、训练步骤如下：

总共有4步，每步中的树的个数是：32,128,512,2048，每步又包含下面具体步骤：

1.在第1步，根据标注提取正样本，把所有正样本分割出来并合成一张大图，这里可以对正样本做旋转等处理；

2.在单尺度下计算正样本10个通道特征；

3.在第1步通过网格采样的方式产生负样本框坐标，在第1步之后根据前一步的model直接对负样本检测产生最像正样本然而又不是正样本的方框坐标，根据上述得到的坐标进一步分割出负样本框，最终所有负样本框合成一副大图；

4.如果不是第1步，那么把之前误检的负样本累积得到新的负样本；

5.根据每步设定的参数，按照快速提升决策树的方法进行训练；

完成上述步骤得到模型后再对模型进行修改微调，提升检测得分得到最终模型。

二、检测的步骤如下(如图5)：

1.计算多尺度10通道特征；

2.对特征做卷积和采样并进行聚合；

3.在各个尺度下根据训练好的模型滑动窗口分类。

本发明针对普通街景图片，比如谷歌街景、百度街景可以完成实时的隐私保护任务，针对8000+*4000+的全景街景大图，根据街景中需要保护的目标数目，可以在2到5s内完成隐私保护任务。本发明的突出效果包括：统一了人脸和车牌检测的框架，实验过程中采用了多通道特征来有效表示目标，证实了包括LVU在内的10个通道特征在人脸和车牌的检测中快速有效，检测过程中采用幂法则估计来快速计算超多尺度通道特征，采用改进的快速提升决策树方法训练分类器来分类进一步提升算法速度，采用自适应的模糊半径，对测绘等特殊要求可以无损复原模糊图像，具有点击和拖框等半自动手工人工复检工具，可以高速准确地应用到街景隐私保护中。

Claims (7)

1.基于聚合通道特征的全景街景隐私保护方法，其特征在于包括以下步骤：

A、提取多通道特征，训练提升分类器，实验验证得到适用于人脸和车牌的特征组合，统一人脸和车牌的检测；

B、在众多通道特征中实验得到包括LUV、梯度幅值、6个梯度方向直方图共10个通道作为在街景人脸检测和车牌检测计算速度和最终分类准确率皆优的特征集；

C、根据已有尺度通道特征估算该尺度附近尺度的通道特征；

D、根据检测目标的大小，自适应模糊目标；

E、训练至少2个弱分类器，最终构成一个鲁棒的强分类器；

F、针对测绘等特殊应用背景，增加后台批处理、点击模糊和快速去模糊的功能。

2.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤A中，所述特征包括一阶通道特征、灰度与颜色、线性变换、非线性变换、逐点变换、积分直方图、梯度直方图。

3.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤C中，所述根据已有尺度通道特征估算该尺度附近尺度的通道特征采用幂法则。

4.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤E中，所述训练至少2个弱分类器是通过提升的方法。

5.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤F中，所述后台批处理的方法为：首先用户将需要处理的任意幅图片添加到待处理区，选择批处理运行后，软件即会逐一对每幅图片进行车牌及人脸的自动定位与模糊，保存每幅图像中所有目标位置的记录文件，并在用户需要对批处理后的图片进行检验及修改时，再基于这些记录文件将模糊后的结果呈现给用户，在用户对所有图片检验完成后，即让软件自动对它们进行批量保存。

6.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤F中，所述点击模糊的方法为：批处理后的图片可能还有少量漏检的车牌及人脸区域，这时用户通过点击模糊功能来自行对相应区域进行模糊；为了增强用户操作的便捷性，点击模糊功能只需要用户对目标或目标的周围区域进行一次点击，即可通过一种由粗到精的策略来准确定位到目标并进行模糊处理。

7.如权利要求1所述基于聚合通道特征的全景街景隐私保护方法，其特征在于在步骤F中，所述快速去模糊的方法为：首先用户需要点击误模糊区域内的某一位置，然后软件会搜索包含了该位置坐标的最新的模糊框及对应的原图区域，接着再用原图区域来替换该模糊区域以达到去模糊的效果。