CN103020990A - 一种基于gpu的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于GPU的运动目标检测方法，包括：加载视频训练数据到GPU显存中，按照局部Z形块的方式对视频训练数据进行存储，提取视频训练数据的多特征数据，并采用自适应权值模型融合多特征数据，以建立基于多特征的码本模型，加载视频测试数据到GPU显存中，按照局部Z形块的方式对视频测试数据进行存储，利用基于多特征的码本模型对视频测试数据进行运动目标检测，利用运动目标检测的结果对基于多特征的码本模型进行更新，将运动目标的检测结果保存在CPU端。本发明具有高适用性、可扩展性强、高效率和低成本的特点，并使运动目标检测同时满足准确性和实时性的要求。

Description

一种基于GPU的运动目标检测方法

技术领域

本发明属于模式识别和基于GPU的通用计算技术领域，更具体地，涉及一种基于GPU的运动目标检测方法。。

背景技术

随着人们安全意识的提高，安防技术和产业的迅速发展，视频监控系统广泛地应用于人们的生活中。传统的视频监控系统需要视频监控人员长时间持续监视视频，分析视频中的异常情况，将异常信息记录存储下来，并相应的做出决策，以处理异常情况。这种基于人工的监控方式，当视频监控人员疲惫出现疏忽时，将会导致大量漏报、误报的情况，存在很大的安全隐患，并且这种监控方式随着视频监控范围的增大，监控视频成几何级的增加，完全由视频监控人员来监视和分析视频是不可能完成。因此，智能视频监控系统的研究和开发具有重要意义。

运动目标检测是智能视频监控的关键步骤，只有完成了运动目标检测，才能进行目标分类和目标跟踪，进而进行智能分析和对监控场景的理解。目前，国内外学者已经对视频图像的运动目标检测算法进行了大量的研究工作。大多数的研究关注运动目标检测算法的可靠性、检测结果的精确度，只有少数的研究关注运动目标检测算法的实时性。而实际应用中，监控设备往往是多路的，会在极短的时间内产生大量的图像数据，对实时性要求很高。传统CPU的计算能力有限，运动目标检测算法将无法实时处理如此庞大的数据，无法满足实时性的要求，因而关注运动目标检测算法的实时性，利用图形处理器GPU（Graphics Processing Unit）的计算能力来加速运动目标检测算法具有重要意义。

目前，基于GPU的运动目标检测算法，主要对基本的、常用的运动目标检测算法进行并行化，如混合高斯模型的并行化。现存的这些并行方法，虽然在一定程度上加速了运动目标检测算法，但仍然存在一些问题，主要包括：1）在复杂的环境下，现存的并行方法不能保证检测的准确性；2）在并行实现的过程中，未考虑算法对不同分辨率的图像序列和不同的GPU硬件结构的适应性问题；3）在并行实现的过程中，未考虑分支语句过多的优化问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于GPU的运动目标检测方法，旨在解决现有运动目标检测算法的准确性和实时性问题，并使运动目标检测同时满足准确性和实时性的要求。

为实现上述目的，本发明提供了一种基于GPU的运动目标检测方法，包括以下步骤：

（1）加载视频训练数据到GPU显存中；

（2）按照局部Z形块的方式对视频训练数据进行存储；

（3）提取视频训练数据的多特征数据，并采用自适应权值模型融合多特征数据，以建立基于多特征的码本模型；

（4）加载视频测试数据到GPU显存中；

（5）按照局部Z形块的方式对视频测试数据进行存储；

（6）利用基于多特征的码本模型对视频测试数据进行运动目标检测；

（7）利用运动目标检测的结果对基于多特征的码本模型进行更新；

（8）将运动目标的检测结果保存在CPU端。

步骤（2）包括以下子步骤：

（2-1）将视频训练数据划分成多个的图像子块；

（2-2）对每个图像子块按4*8和8*4两种方式进行存储；

（2-3）分别计算每个图像子块在两种存储方式下的分支语句量S1和S2；具体计算方法如下：

分别统计图像子块中可能为前景点的像素点数目N_fg和可能为背景点的像素点数目N_bg，图像子块的像素点总数目为N；

然后，根据以下公式（1）计算分支语句量S；

$S=1-\frac{|N_{\mathrm{fg}}-N_{\mathrm{bg}}|}{N}---\left(1\right)$

（2-4）判断分支语句量S1是否大于S2，若S1大于S2，则转入步骤（2-6），否则转入步骤（2-5）；

（2-5）选择4*8的存储方式作为图像子块的存储方式，转入步骤（3）；

（2-6）选择8*4的存储方式作为图像子块的存储方式。

步骤（3）包括以下子步骤：

（3-1）设置码本元素计数器k=1；

（3-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；

（3-3）计算特征集合f＝{f_I,f_Color,f_Texture}和码本集合B＝{c₁，c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}，其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征；

（3-4）根据特征集合f＝{f_I,f_Color，f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；

（3-5）根据以下公式（6）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（3-6），否则转入步骤（3-7）；

Sim＝s_I*w_I+s_Color*w_Color+s_Texture*w_Texture    （6）

（3-6）更新码本集合中的第k个码本元素的特征集合v_k和四元组aux_k＝{f_k,λ_k,p_k,q_k}，然后转入步骤（7）；

（3-7）设置k=k+1；

（3-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（3-3），否则，转入步骤（3-9）；

（3-9）以特征集合f＝{f_I,f_Color,f_Texture}新建一个码本元素，并将该码本元素添加到码本元素集合B＝{c₁,c₂,…,c_L}中。

步骤（3-2）中，强度特征f_I＝0.3R+0.5G+9，颜色特征

纹理特征f_Texture由下式表示：

$f_{\mathrm{Texture}}=\mathrm{LB}{P}_{P,R}(x_c,y_c)=\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c)2^p$ $\left(2\right)$

$s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

其中，P=8,R=3,g_c为中心像素点，g_p为邻域像素点。

步骤（3-3）中，强度特征相似度

λ_I＝2,δ_I＝25，颜色特征相似度是参用RGB颜色模型，计算颜色向量之间的距离，其具体计算方法如公式（3）所示

$s_{\mathrm{color}}=\frac{{\mathrm{\&delta;}}_{\mathrm{color}}^2}{{\mathrm{\&delta;}}_{\mathrm{color}}^2+{\mathrm{\&lambda;}}_{\mathrm{color}}{d}_{\mathrm{RGB}}{(v_{\mathrm{color}},f_{\mathrm{color}})}^2},{\mathrm{\&lambda;}}_{\mathrm{color}}=3,{\mathrm{\&delta;}}_{\mathrm{color}}=15$

$d_{\mathrm{RGB}}(v_{\mathrm{color}},f_{\mathrm{color}})={\left|\right|\stackrel{\&RightArrow;}{\mathrm{\&rho;}}(\stackrel{\&RightArrow;}{\mathrm{\&rho;}}\&CenterDot;{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}})-{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}}\left|\right|}_2---\left(3\right)$

$\stackrel{\&RightArrow;}{\mathrm{\&rho;}}={\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}/{\left|\right|{\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}\left|\right|}_2$

纹理特征相似度 $s_{\mathrm{Texture}}=\frac{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2}{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2+{\mathrm{\&lambda;}}_{\mathrm{Texture}}{d}_{\mathrm{LBP}}{(v_{\mathrm{Texture}},f_{\mathrm{Texture}})}^2},$ λ_Texture＝1,δ_Texture＝20。

步骤（3-4）中，具体计算方法如下：首先根据每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，计算各个特征的权值，其中强度特征f_I的权值w_I、颜色特征f_Color的权值w_Color、纹理特征f_Texture的权值w_Texture的计算方法如以下公式（4）所示；

w_Color＝ψ(v_k)*ψ(f)       （4）

w_Texture＝φ(v_k)*φ(f)

其中，

ψ、φ分别是像素点的强度特征、颜色特征、纹理特征的度量函数；然后对计算所得的权值w_I、w_Color和w_Texture进行归一化处理，以得到权值集合w_cur＝{w_I,w_Color,w_Texture}；最后根据权值集合w_cur和及其历史信息w_before，计算得到最终的自适应权值w，并更新历史信息w_before，计算方法如以下公式（5）所示；

w＝w_before+λ(w_cur-w_before)           （5）

w_before＝w

其中，λ是权值的更新因子，其取值范围是0.05到0.2。

步骤（6）包括以下子步骤：

（6-1）设置码本元素计数器k=1；

（6-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；

（6-3）计算特征集合f＝{f_I,f_Color，f_Texture}和码本集合B＝{c₁,c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}；其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征；

（6-4）根据特征集合f＝{f_I,f_Color,f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；

（6-5）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（6-6），否则转入步骤（6-7）；

（6-6）将该像素点标记为背景点，转入步骤（7）；

（6-7）设置k=k+1；

（6-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（6-3），否则，转入步骤（6-9）；

（6-9）将该像素点标记为前景点，然后转入步骤（8）。

步骤（7）包括以下子步骤：

（7-1）更新匹配码本元素c_k的特征集合v_k，具体采用如下公式（7）；

v_k＝v_k+a(v_k-f)    （7）

其中，f像素点的特征集合，a是更新因子，a的取值范围是0.05到0.2；

（7-2）更新匹配码本元素c_k的四元组aux_k＝{f_k,λ_k,p_k,q_k}，具体采用如下公式（8）：

aux_k＝{f_k+1,max(λ_k,t-q_k),p_k,t}    （8）

其中，t是当前帧的帧号。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

1、高适用性

因为采用了步骤（2）和步骤（3），减少了运动目标检测过程中的分支语句，提高了GPU并行的效率，满足了运动目标检测的实时性要求，并且融合了视频数据的强度、颜色和纹理等多特征数据，建立了完整的背景模型，满足了运动目标的准确性要求，使得智能视频监控系统可应用于实时报警等业务，使其应用范围更广泛。

2、可扩展性强

因为采用了GPU端线程块大小和线程块数目自适应调整技术，可以根据视频图像分辨率的大小和GPU提供的资源设置线程块的大小，使运动目标检测过程的并行实现可以适应于不同的视频数据和提供不同资源的GPU硬件结构。

3、高效率和低成本

因为采用了GPU并行化技术，充分利用了GPU的强大计算能力和GPU价格低廉的特点，同时减轻了CPU的负载，让CPU可以更好地处理其他业务，增强了整个智能视频监控系统的业务逻辑处理能力，降低了智能视频监控系统的成本。

附图说明

图1是本发明基于GPU的运动目标检测方法的流程图。

图2是本发明方法中步骤（2）的细化流程图。

图3是本发明方法中步骤（3）的细化流程图。

图4是本发明方法中步骤（6）的细化流程图。

图5是本发明方法中步骤（7）的细化流程图。

图6是本发明方法中视频数据存储方式调整示意图。

图7是本发明方法中背景模型参数存储方式调整示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明基于GPU的运动目标检测方法包括以下步骤：

（1）加载视频训练数据到GPU显存中；

（2）按照局部Z形块的方式对视频训练数据进行存储；

（3）提取视频训练数据的多特征数据，并采用自适应权值模型融合多特征数据，以建立基于多特征的码本模型；多特征数据包括强度、颜色、纹理等；

（4）加载视频测试数据到GPU显存中；

（5）按照局部Z形块的方式对视频测试数据进行存储；

（6）利用基于多特征的码本模型对视频测试数据进行运动目标检测；；

（7）利用运动目标检测的结果对基于多特征的码本模型进行更新；

（8）将运动目标的检测结果保存在CPU端。

如图2所示，本发明方法中步骤（2）包括以下子步骤：

（2-1）将视频训练数据划分成多个的图像子块；在本实施方式中，采用16*16的图像子块进行划分；

（2-2）对每个图像子块按4*8和8*4两种方式进行存储；

（2-3）分别计算每个图像子块在两种存储方式下的分支语句量S1和S2；具体计算方法如下：

分别统计图像子块中可能为前景点的像素点数目N_fg和可能为背景点的像素点数目N_bg；图像子块的像素点总数目为N；

然后，根据以下公式（1）计算分支语句量S；

$S=1-\frac{|N_{\mathrm{fg}}-N_{\mathrm{bg}}|}{N}---\left(1\right)$

（2-4）判断分支语句量S1是否大于S2，若S1大于S2，则转入步骤（2-6），否则转入步骤（2-5）；

（2-5）选择4*8的存储方式作为图像子块的存储方式，转入步骤（3）；

（2-6）选择8*4的存储方式作为图像子块的存储方式。

在步骤（3）中，利用视频训练数据建立背景模型的方法是基于多特征的码本模型，利用强度、颜色、纹理等多特征取代单一特征，并提出自适应权值模型突出图像不同区域的特点。如图3所示，本发明方法中步骤（3）包括以下子步骤：

（3-1）设置码本元素计数器k=1；

（3-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；具体而言，强度特征f_I＝0.3R+0.59G+0.11B；颜色特征纹理特征则采用LBP（Local Binary Pattern）算子来表示，其计算方法如公式（2）所示

$f_{\mathrm{Texture}}=\mathrm{LB}{P}_{P,R}(x_c,y_c)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p$

$s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

其中，P=8,R=3,g_c为中心像素点，g_p为邻域像素点；

（3-3）计算特征集合f＝{f_I,f_Color,f_Texture}和码本集合B＝{c₁，c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}；其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征，具体而言，强度特征相似度λ_I＝2,δ_I＝25；颜色特征相似度是参用RGB颜色模型，计算颜色向量之间的距离，其具体计算方法如公式（3）所示

$s_{\mathrm{color}}=\frac{{\mathrm{\&delta;}}_{\mathrm{color}}^2}{{\mathrm{\&delta;}}_{\mathrm{color}}^2+{\mathrm{\&lambda;}}_{\mathrm{color}}{d}_{\mathrm{RGB}}{(v_{\mathrm{color}},f_{\mathrm{color}})}^2},{\mathrm{\&lambda;}}_{\mathrm{color}}=3,{\mathrm{\&delta;}}_{\mathrm{color}}=15$

$d_{\mathrm{RGB}}(v_{\mathrm{color}},f_{\mathrm{color}})={\left|\right|\stackrel{\&RightArrow;}{\mathrm{\&rho;}}(\stackrel{\&RightArrow;}{\mathrm{\&rho;}}\&CenterDot;{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}})-{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}}\left|\right|}_2---\left(3\right)$

$\stackrel{\&RightArrow;}{\mathrm{\&rho;}}={\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}/{\left|\right|{\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}\left|\right|}_2$

纹理特征相似度 $s_{\mathrm{Texture}}=\frac{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2}{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2+{\mathrm{\&lambda;}}_{\mathrm{Texture}}{d}_{\mathrm{LBP}}{(v_{\mathrm{Texture}},f_{\mathrm{Texture}})}^2},$ λ_Texture＝1,δ_Texture＝20

（3-4）根据特征集合f＝{f_I,f_Color,f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；具体计算方法如下：

根据每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，计算各个特征的权值，其中强度特征f_I的权值w_I、颜色特征f_Color的权值w_Color、纹理特征f_Texture的权值w_Texture的计算方法如以下公式（4）所示；

w_Color＝ψ(v_k)*ψ(f)    （4）

w_Texture＝φ(v_k)*φ(f)

其中，ψ、φ分别是像素点的强度特征、颜色特征、纹理特征的度量函数。

然后对计算所得的权值w_I、w_Color和w_Texture进行归一化处理，以得到权值集合w_cur＝{w_I,w_Color,w_Texture}；

最后，根据权值集合w_cur和及其历史信息w_before，计算得到最终的自适应权值w，并更新历史信息w_before，计算方法如以下公式（5）所示；

w＝w_before+λ(w_cur-w_before)    （5）

w_before＝w

其中，λ是权值的更新因子，其取值范围是0.05到0.2；

（3-5）根据以下公式（6）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（3-6），否则转入步骤（3-7）；在本发明中，T的取值范围是0.75到0.9；

Sim＝s_I*w_I+s_Color*w_Color+s_Texture*w_Texture    （6）

（3-6）更新码本集合中的第k个码本元素的特征集合v_k和四元组aux_k＝{f_k,λ_k,p_k,q_k}，然后转入步骤（7）；

（3-7）设置k=k+1；

（3-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（3-3），否则，转入步骤（3-9）；

（3-9）以特征集合f＝{f_I,f_Color，f_Texture}新建一个码本元素，并将该码本元素添加到码本元素集合B＝{c₁,c₂,…,c_L}中。

如图4所示，本发明方法中步骤（6）包括以下子步骤：

（6-1）设置码本元素计数器k=1；

（6-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；

（6-3）计算特征集合f＝{f_I,f_Color，f_Texture}和码本集合B＝{c₁,c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}；其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征；

（6-4）根据特征集合f＝{f_I,f_Color,f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；

（6-5）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（6-6），否则转入步骤（6-7）；在本发明中，T的取值范围是0.75到0.9；

（6-6）将该像素点标记为背景点，转入步骤（7）；

（6-7）设置k=k+1；

（6-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（6-3），否则，转入步骤（6-9）；

（6-9）将该像素点标记为前景点，然后转入步骤（8）；

在步骤（7）中，根据码本元素与待检测像素点的相似情况，来调整背景模型里码本元素，以适应背景模型的变化，如图5所示，本发明方法中步骤（7）包括以下子步骤：

（7-1）更新匹配码本元素c_k的特征集合v_k，具体采用如下公式（7）；

v_k＝v_k+a(v_k-f)    （7）

其中，f像素点的特征集合，a是更新因子，a的取值范围是0.05到0.2；

（7-2）更新匹配码本元素c_k的四元组aux_k＝{f_k,λ_k,p_k,q_k}，具体采用如下公式（8）：

aux_k＝{f_k+1,max(λ_k,t-q_k),p_k,t}    （8）

其中，t是当前帧的帧号。

整个运动目标检测的过程中，都是其于像素点及其邻近的区域进行处理，而且各个像素点的处理不依赖于像素点的处理结果，因而基于像素点的处理可以并行实现，每个线程处理每个像素点的检测过程。为了加快基于GPU的运动目标检测方法的执行速度，对该方法的并行化处理采取了以下的方法：

1.调整视频图像的存储方式和背景模型数据的存储方式，减少分支语句，增加合并访问请求，提高并行效率；

视频图像存储方式的调整策略如图6所示，以局部Z形块存储代替按行存储，以4*4的数据，GPU的warp大小为4进行说明．淡蓝色代表背景点，黄色代表前景点，由于运动目标检测过程中，针对前景点和背景点的处理不同，调整前，将会产生4个分支语句，而调整后，只会产生1个分支语句。

背景模型数据的调整策略如图7所示，以模型顺序为主顺序，以像素顺序为次顺序。先保存第一个像素的第一个码本元素的数据，再保存第二个像素的第一个码本元素的数据，直到所有像素的第一个码本元素的数据存储完后，再按此顺序存储所有像素的第二个码本元素数据，并且分开存储码本元素中的特征集合v和四元组aux．黄色块表示存储的特征集合，淡蓝色块表示存储的四元组．调整前，多个线程同时访问码本元素时，各个像素点码本元素的存储体不是连续的，无法满足合并访问的要求，调整后，像素点的码本元素的存储体是连续的，满足合并访问要求．由于运动目标检测的过程中，对码本元素中的特征集合和四元组的访问请求是不一致，分开存储特征集合和四元组可以减少访问的带宽，加快访存速度．

2.根据视频帧的分辨率大小和GPU硬件结构提供的资源，自适应设置线程块的大小和线程块的数目；

视频帧的分辨率大小为W*H，每个线程处理像素点的检测过程中，所需要的共享内存为SM_p，所需要寄存器资源为R_p，GPU硬件结构提供的共享内存为SM，寄存器资源为R，线程块的最大线程数为TN_max．线程块的大小TN可由公式（9）计算得到，线程块的数目可由公式（10）计算得到．其中，β是线程块大小的调整因子．

$\mathrm{TN}=\mathrm{\&beta;}\min \{\frac{\mathrm{SM}}{{\mathrm{SM}}_p},\frac{R}{R_p},{\mathrm{TN}}_{\max }\},\mathrm{\&beta;}\&Element;\left(\mathrm{0,1}\right)---\left(9\right)$

BN＝(W*H+TN-1)/TN    （10）

3.利用异步传输机制，让视频数据传输过程和运动目标检测过程重叠进行，减少数据传输的时间消耗；

本发明将基于多特征的运动目标检测算法和基于GPU的通用计算技术进行了有效的结合。它利用GPU强大计算能力的优势，分析基于多特征的运动目标检测算法并行性，以GPU的每个线程处理图像序列每个像素的相关操作，实现了运动目标检测算法的并行化处理。此外，本发明通过提取像素的强度、颜色、纹理等多特征数据建立背景模型，并自适应调整多特征的权值来处理不同区域的图像，提高了检测的准确性；通过自适应调整线程块的大小和数目，增强了算法扩展性；通过结合像素的空间位置关系，调整视频图像的存储方式，减少了分支语句的产生，提升了算法并行的性能。本发明着眼于运动目标检测方法的准确性和实时性，在提高运动目标检测的准确性的同时，加速了运动目标检测的执行效率，提高了整个智能视频监控系统的实时性，具有广泛的应用潜力。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于GPU的运动目标检测方法，其特征在于，包括以下步骤：

（1）加载视频训练数据到GPU显存中；

（2）按照局部Z形块的方式对视频训练数据进行存储；

（3）提取视频训练数据的多特征数据，并采用自适应权值模型融合多特征数据，以建立基于多特征的码本模型；

（4）加载视频测试数据到GPU显存中；

（5）按照局部Z形块的方式对视频测试数据进行存储；

（6）利用基于多特征的码本模型对视频测试数据进行运动目标检测；

（7）利用运动目标检测的结果对基于多特征的码本模型进行更新；

（8）将运动目标的检测结果保存在CPU端。

2.根据权利要求1所述的运动目标检测方法，其特征在于，步骤（2）包括以下子步骤：

（2-1）将视频训练数据划分成多个的图像子块；

（2-2）对每个图像子块按4*8和8*4两种方式进行存储；

（2-3）分别计算每个图像子块在两种存储方式下的分支语句量S1和S2；具体计算方法如下：

分别统计图像子块中可能为前景点的像素点数目N_fg和可能为背景点的像素点数目N_bg，图像子块的像素点总数目为N；

然后，根据以下公式（1）计算分支语句量S；

$S=1-\frac{|N_{\mathrm{fg}}-N_{\mathrm{bg}}|}{N}---\left(1\right)$

（2-4）判断分支语句量S1是否大于S2，若S1大于S2，则转入步骤（2-6），否则转入步骤（2-5）；

（2-5）选择4*8的存储方式作为图像子块的存储方式，转入步骤（3）；

（2-6）选择8*4的存储方式作为图像子块的存储方式。

3.根据权利要求1所述的运动目标检测方法，其特征在于，步骤（3）包括以下子步骤：

（3-1）设置码本元素计数器k=1；

（3-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；

（3-3）计算特征集合f＝{f_I,f_Color，f_Texture}和码本集合B＝{c₁,c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}，其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征；

（3-4）根据特征集合f＝{f_I,f_Color,f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；

（3-5）根据以下公式（6）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（3-6），否则转入步骤（3-7）；

Sim＝s_I*w_I+s_Color*w_Color+s_Texture*w_Texture    （6）

（3-6）更新码本集合中的第k个码本元素的特征集合v_k和四元组aux_k＝{f_k,λ_k,p_k,q_k}，然后转入步骤（7）；

（3-7）设置k=k+1；

（3-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（3-3），否则，转入步骤（3-9）；

（3-9）以特征集合f＝{f_I,f_Color，f_Texture}新建一个码本元素，并将该码本元素添加到码本元素集合B＝{c₁,c₂,…,c_L}中。

4.根据权利要求3所述的运动目标检测方法，其特征在于，步骤（3-2）中，强度特征f_I＝0.3R+0.59G+0.11B，颜色特征

纹理特征f_Texture由下式表示：

$f_{\mathrm{Texture}}={\mathrm{LBP}}_{P,R}(x_c,y_c)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p$ $\left(2\right)$

$s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

其中，P=8,R=3,g_c为中心像素点，g_p为邻域像素点。

5.根据权利要求3所述的运动目标检测方法，其特征在于，步骤（3-3）中，强度特征相似度

λ_I＝2,δ_I＝25，颜色特征相似度是参用RGB颜色模型，计算颜色向量之间的距离，其具体计算方法如公式（3）所示

$s_{\mathrm{color}}=\frac{{\mathrm{\&delta;}}_{\mathrm{color}}^2}{{\mathrm{\&delta;}}_{\mathrm{color}}^2+{\mathrm{\&lambda;}}_{\mathrm{color}}{d}_{\mathrm{RGB}}{(v_{\mathrm{color}},f_{\mathrm{color}})}^2},{\mathrm{\&lambda;}}_{\mathrm{color}}=3,{\mathrm{\&delta;}}_{\mathrm{color}}=15$

$d_{\mathrm{RGB}}(v_{\mathrm{color}},f_{\mathrm{color}})={\left|\right|\stackrel{\&RightArrow;}{\mathrm{\&rho;}}(\stackrel{\&RightArrow;}{\mathrm{\&rho;}}\&CenterDot;{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}})-{\stackrel{\&RightArrow;}{f}}_{\mathrm{RGB}}\left|\right|}_2---\left(3\right)$

$\stackrel{\&RightArrow;}{\mathrm{\&rho;}}={\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}/{\left|\right|{\stackrel{\&RightArrow;}{v}}_{\mathrm{color}}\left|\right|}_2$

纹理特征相似度 $s_{\mathrm{Texture}}=\frac{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2}{{\mathrm{\&delta;}}_{\mathrm{Texture}}^2+{\mathrm{\&lambda;}}_{\mathrm{Texture}}{d}_{\mathrm{LBP}}{(v_{\mathrm{Texture}},f_{\mathrm{Texture}})}^2},$ λ_Texture＝1,δ_Texture＝20。

6.根据权利要求3所述的运动目标检测方法，其特征在于，步骤（3-4）中，具体计算方法如下：首先根据每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，计算各个特征的权值，其中强度特征f_I的权值w_I、颜色特征f_Color的权值w_Color、纹理特征f_Texture的权值w_Texture的计算方法如以下公式（4）所示；

w_Color＝ψ(v_k)*ψ(f)    （4）

w_Texture＝φ(v_k)*φ(f)

其中，

ψ、φ分别是像素点的强度特征、颜色特征、纹理特征的度量函数；然后对计算所得的权值w_I、w_Color和w_Texture进行归一化处理，以得到权值集合w_cur＝{w_I,w_Color,w_Texture}；最后根据权值集合w_cur和及其历史信息w_before，计算得到最终的自适应权值w，并更新历史信息w_before，计算方法如以下公式（5）所示；

w＝w_before+λ(w_cur-w_before)    （5）

w_before＝w

其中，λ是权值的更新因子，其取值范围是0.05到0.2。

7.根据权利要求1所述的运动目标检测方法，其特征在于，步骤（6）包括以下子步骤：

（6-1）设置码本元素计数器k=1；

（6-2）计算视频训练数据中每个像素点对应的强度特征f_I，颜色特征f_Color，纹理特征f_Texture，以形成特征集合f＝{f_I,f_Color，f_Texture}；

（6-3）计算特征集合f＝{f_I,f_Color，f_Texture}和码本集合B＝{c₁，c₂,…,c_L}中第k个码本元素c_k的特征集合v_k＝{v_I,v_Color,v_Texture}之间的相似度，以得到相似度集合s＝{s_I,s_Color,s_Texture}；其中v_I、v_Color和v_Texture分别表示第k个码本元素c_k的强度特征、颜色特征和纹理特征；

（6-4）根据特征集合f＝{f_I,f_Color，f_Texture}和v_k＝{v_I,v_Color,v_Texture}并采用自适应权值模型计算自适应权值集合；

（6-5）计算整体相似度Sim，并判断是否大于阈值T，若大于T，则转入步骤（6-6），否则转入步骤（6-7）；

（6-6）将该像素点标记为背景点，转入步骤（7）；

（6-7）设置k=k+1；

（6-8）判断k是否小于码本元素的总数量L，若是，则返回步骤（6-3），否则，转入步骤（6-9）；

（6-9）将该像素点标记为前景点，然后转入步骤（8）。

8.根据权利要求1所述的运动目标检测方法，其特征在于，步骤（7）包括以下子步骤：

（7-1）更新匹配码本元素c_k的特征集合v_k，具体采用如下公式（7）；

v_k＝v_k+a(v_k-f)    （7）

其中，f像素点的特征集合，a是更新因子，a的取值范围是0.05到0.2；

（7-2）更新匹配码本元素c_k的四元组aux_k＝{f_k,λ_k,p_k,q_k}，具体采用如下公式（8）：

aux_k＝{f_k+1,max(λ_k,t-q_k),p_k,t}    （8）

其中，t是当前帧的帧号。

Images