CN105095898B - 一种面向实时视觉系统的目标压缩感知方法 - Google Patents

Abstract

本发明公开一种面向实时视觉系统的目标压缩感知方法，包括图像重构步骤、混合压缩感知步骤、高效Vibe目标检测步骤、更新步骤和后处理步骤，图像重构步骤根据采集到的图像尺寸大小对图像进行4*4分块，将得到的图像块转换为16*1的向量；混合压缩感知步骤包括构建混合采样矩阵对相应的图像块进行采样压缩；高效Vibe目标检测步骤对图像块中每个像素点，将像素值与样本集进行比较，判断是否属背景点；更新步骤根据上述检测结果，确定图像块中背景块与目标块区域；然后根据像素点属于背景块还是目标块区域得到该像素点下一帧图像的混合采样矩阵的参数调节信息；后处理步骤对当前帧各图像块进行图像优化处理，得到当前帧最终的目标图像。

Description

一种面向实时视觉系统的目标压缩感知方法

技术领域

本发明涉及视觉图像中目标检测技术领域，特别涉及一种面向实时视觉系统的目标压缩感知方法。

背景技术

在计算机视觉相关实时视觉系统应用领域，对获取的视觉图像中目标的检测是首要的步骤。目标检测算法的好坏影响到对后续跟踪与行为识别等进一步的视觉处理。由于实际场景的复杂多变导致现有的目标检测算法普遍比较复杂，计算量大，内存容量要求高，不适合资源有限的实时视觉系统。

因此，针对于实时视觉系统的目标检测算法必须首先考虑算法效能的问题，要尽可能减少计算量和存储容量。压缩感知理论突破了传统拉奎斯特理论下对样本数的要求。只要信号是可压缩的或是稀疏的，就可以通过满足一定条件的观测矩阵将变换后的高维信号进行采样，得到一个采样后的低维信号。然后求解一个优化问题就可以从少量的采样值中完美的重构出原始信号。背景减除方法是一种在目标检测领域技术比较成熟的方法，应用十分广泛。该方法通过对视频图像当前帧和背景模型对应位置像素值相减，当差的绝对值值大于某个阈值时，判定该像素为目标像素，否则为背景像素。并通过后期图像处理，得到完整的目标图像。

将压缩感知理论应用到基于背景减除法的目标检测算法中，在保留原始图像信息的同时，可大幅减少背景建模的像素数量，从而提高算法效率。构建混合采样矩阵来减少参与背景建模的数据量，并从多个方面优化了算法的效能。

发明内容

本发明针对现有技术存在的上述不足，提供了一种面向实时视觉系统的目标压缩感知方法。

本发明通过以下技术方案实现：

一种面向实时视觉系统的目标压缩感知方法，包括图像重构步骤、混合压缩感知步骤、高效Vibe目标检测步骤、更新步骤和后处理步骤，其中，

S1、所述图像重构步骤，根据采集到的目标图像尺寸大小对目标图像进行4*4分块，并将分块后的图像块转换为16*1的向量；

针对每一帧图像实施以下步骤：

S2、所述混合压缩感知步骤，包括：

依据各图像块进行边缘检测的结果或更新上一帧图像时得到的参数调节信息构建各图像块的混合采样矩阵，再利用所述混合采样矩阵对相应的图像块进行采样压缩，得到压缩后的各图像块；

S3、所述高效Vibe目标检测步骤，针对所述压缩后的各图像块中的每个像素点，利用Vibe像素级背景建模算法将像素点的像素值与该像素点对应的样本集进行比较，判断其是否属于背景点；

S4、所述更新步骤，根据所述高效Vibe目标检测步骤的检测结果，确定当前帧图像块中的背景块区域与目标块区域；

然后根据像素点属于背景块区域还是目标块区域得到该像素点下一帧图像的混合采样矩阵的参数调节信息；

S5、所述后处理步骤，对当前帧的各图像块进行解压、重构和后期图像优化处理，得到当前帧最终的目标图像。

进一步的，所述混合压缩感知步骤中，依据各图像块进行边缘检测的结果，构建各图像块的混合采样矩阵，再利用所述混合采样矩阵对相应的图像块进行采样压缩的具体步骤如下：

首先，对图像作边缘检测，如等式(1)所示，

Τ(f)≈Τ(f_p)＝Τ(I(f_l)) (1)

等式(1)中，记T(f)为边缘检测算子，Τ(f_p)为预测图像边缘检测，Τ(I(f_l))为对低分辨率采样后图像进行边缘检测；

然后，采用等式(2)进行形态学处理，

S_a＝M^p(Τ(f_p)) (2)

等式(2)中，记M^p(Τ(f_p))为对预测边缘进行经典形态学操作；

再者，根据形态学处理结果构建混合采样矩阵，所述混合采样矩阵由低分辨采样矩阵、自适应采样矩阵以及随机采样矩阵三者的合集构成，所述混合采样矩阵如等式(3)所示，

S_m＝S_a∪S_r∪S_l (3)

等式(3)中，记S_m为混合采样矩阵，S_a为低分辨率采样，S_r为自适应采样，S_l为随机采样。

进一步的，所述Vibe像素级背景建模算法具体包括：在模型中，为每个背景点存储一个样本集，然后将每一个新的像素值和样本集进行比较并判断是否属于背景点，其判断依据为：如果一个新的像素值属于背景点，那么新的像素值应该和样本集中的采样值接近，

其过程进一步为：

如等式(4)、(5)所示，

Μ(x)＝{v₁,v₂,……v_N} (4)

{S_R(v(x))∩{v₁,v₂,……v_N}} (5)

等式(4)、(5)中，记v(x)为x点处的像素值、M(x)为x处的背景样本集(样本集大小为N)、SR(v(x))为以x为中心R为半径的区域；

模型的更新策略是每一个背景点有1/φ的概率去更新自己的模型样本值，同时也有1/φ的概率去更新邻居点的模型样本值，样本值在时刻t不被更新的概率是(N-1)/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率为：

如果等式(6)大于一个给定的阈值，那么就认为x点属于背景点。

进一步的，所述更新步骤中得到的混合采样矩阵的参数调节信息进一步使得：

针对上一帧图像中的的目标块区域，在当前帧该区域的1.2倍区域内提高采样率，而在背景块区域内降低采样率。

进一步的，所述更新步骤中得到的混合采样矩阵的参数调节信息进一步使得：

针对当前帧图像中的目标块区域，更新速度提升10％，采样率提升10％；

针对当前帧图像中的背景块区域，更新速度降低10％，采样率降低10％。

进一步的，所述更新步骤中，确定当前帧图像块中的背景块与目标块时，将上一帧检测出的目标块区域经过扩展后作为当前帧的目标块区域进行匹配检测，其中，

在目标块区域外的像素点采用严格的匹配准则；

在目标块区域内的像素点采用宽松的匹配准则。

进一步的，所述更新步骤中得到的混合采样矩阵的参数调节信息进一步使得：

针对当前帧图像中的的目标块区域，在目标块区域外的像素点减少15％采样点；

针对当前帧图像中的的目标块区域，在目标块区域内的像素点增加15％采样点。

进一步的，所述混合压缩感知步骤是以M行N列(M<<N)大小的混合采样矩阵Φ对信号x(N维)进行测量，可得到压缩后的测量值y(M维)，该过程可由等式(8)实现，

y＝φx＝φΨα＝Θα (8)

如果信号x在某个变化域具有稀疏性，如等式(9)所示：

α＝Ψ^Tx (9)

并且混合采样矩阵Φ满足约束等距性条件，即指对于任意的K稀疏信号f以及常数δ_k∈(0,1)满足：进而通过等式(10)来完美恢复该信号：

该过程为所述解压重构，其中的0范数指的就是0元素的个数。

与现有技术相比，本发明具有以下有益效果：

本发明采取的方法为构建混合采样矩阵通过对图像进行采样压缩，减少了计算数据量，并对算法进行两个方面的效能优化。一是根据背景亮度的变化来自适应调整学习速率，减少平均计算时间；二是根据分割提取目标的兴趣区域采用不同测量值，整体减少像素个数，有效地减少了背景建模的时间。通过算法仿真和节点实测的实验结果证明，该方法可获得较好的目标检测结果并且具有较强的抗干扰性，相对于传统的混合高斯算法，内存容量减少约四分之三，处理时间可减少40％以上。

附图说明

图1所示的是本发明的流程图；

图2所示的是本发明混合采样矩阵构建流程图；

图3所示的是本发明与其他不同方法的平均每帧处理时间比较示意图；

图4所示的是本发明视觉系统测试平台参数图；

图5所示的是本发明与其他不同方法的性能及平均每帧处理时间比较图；

图6所示的是本发明与其他不同方法的处理时间和内存容量比较图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。

如图一所示，一种面向实时视觉系统的目标压缩感知方法，包括图像重构步骤、混合压缩感知步骤、高效Vibe目标检测步骤、更新步骤和后处理步骤，其中，

S1、所述图像重构步骤，根据采集到的目标图像尺寸大小对目标图像进行4*4分块，并将分块后的图像块转换为16*1的向量；

针对每一帧图像实施以下步骤：

S2、所述混合压缩感知步骤，包括：

依据各图像块进行边缘检测的结果或更新上一帧图像时得到的参数调节信息构建各图像块的混合采样矩阵，再利用所述混合采样矩阵对相应的图像块进行采样压缩，得到压缩后的各图像块；

S3、所述高效Vibe目标检测步骤，针对所述图像块中的每个像素点，利用Vibe像素级背景建模算法将像素点的像素值与该像素点对应的样本集进行比较，判断其是否属于背景点；

S4、所述更新步骤，根据所述高效Vibe目标检测步骤的检测结果，确定当前帧图像块中的背景块区域与目标块区域；

然后根据像素点属于背景块区域还是目标块区域得到该像素点下一帧图像的混合采样矩阵的参数调节信息；

S5、所述后处理步骤，对当前帧的各图像块进行解压、重构和后期图像优化处理，得到当前帧最终的目标图像。

具体的，所述混合压缩感知步骤中，完全随机测量矩阵对于图像序列里的每一个像素点进行随机采样，并不能以最大概率获得图像有用信息。针对于轮廓图像，其边缘部分包含图像绝大部分有用信息。如目标的形状、姿态、位置等信息。因此，有必要构建根据不同图像边缘特性的测量矩阵，对图像目标边缘进行重点采样，保留目标的有用信息。

本实施例中依据各图像块进行边缘检测的结果，构建各图像块的混合采样矩阵，再利用所述混合采样矩阵对相应的图像块进行采样压缩的具体步骤如下：

首先，对图像作边缘检测，如等式(1)所示，

Τ(f)≈Τ(f_p)＝Τ(I(f_l)) (1)

等式(1)中，记T(f)为边缘检测算子，Τ(f_p)为预测图像边缘检测，Τ(I(f_l))为对低分辨率采样后图像进行边缘检测；

然后，采用等式(2)进行形态学处理，

S_a＝M^p(Τ(f_p)) (2)

等式(2)中，记M^p(Τ(f_p))为对预测边缘进行经典形态学操作；

再者，根据形态学处理结果构建混合采样矩阵，所述混合采样矩阵由低分辨采样矩阵、自适应采样矩阵以及随机采样矩阵三者的合集构成，所述混合采样矩阵如等式(3)所示，

S_m＝S_a∪S_r∪S_l (3)

等式(3)中，记S_m为混合采样矩阵，S_a为低分辨率采样，S_r为自适应采样，S_l为随机采样。

具体的，Vibe全名为"Visual Background Extractor"，是一种最新高效的视觉背景提取方法。ViBe方法具有计算简单、检测效果较好和应对噪声稳定等特点，适合于嵌入式视觉系统等计算量小和内存容量要求低的应用场景。具体的思想就是为每个像素点存储了一个样本集，样本集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。

在本实施例中，所述Vibe像素级背景建模算法具体包括：在模型中，为每个背景点存储一个样本集，然后将每一个新的像素值和样本集进行比较并判断是否属于背景点，其判断依据为：如果一个新的像素值属于背景点，那么新的像素值应该和样本集中的采样值接近，

其过程进一步为：

如等式(4)、(5)所示，

Μ(x)＝{v₁,v₂,……v_N} (4)

{S_R(v(x))∩{v₁,v₂,……v_N}} (5)

等式(4)、(5)中，记v(x)为x点处的像素值；M(x)为x处的背景样本集(样本集大小为N)；SR(v(x))为以x为中心R为半径的区域；

模型的更新策略是每一个背景点有1/φ的概率去更新自己的模型样本值，同时也有1/φ的概率去更新邻居点的模型样本值，样本值在时刻t不被更新的概率是(N-1)/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率为：

如果等式(6)大于一个给定的阈值，那么就认为x点属于背景点。

针对高效Vibe目标检测步骤，须补充说明以下内容：

混合高斯模型的方法消耗摄像头节点大量的计算和存储资源，影响算法的实时应用。为了提高算法的效率，引入了压缩感知算法对图像数据进行随机采样，从而减少背景建模算法的计算量和存储量。然而随机采样矩阵的完全随机特性导致硬件电路实现起来比较复杂并且目标检测结果存在不确定性。针对这种情况，本发明将压缩感知算法引入到混合高斯建模当中，在此基础上研究一种采用结构化随机测量矩阵，对图像进行采样的自适应混合高斯背景建模方法，并对算法进行全局效能优化，提高整体运行效率。

压缩感知是以M行N列(M<<N)大小的测量矩阵Φ对信号x(N维)进行测量，可得到压缩后的测量值y(M维)，该过程可由等式(8)实现。

y＝φx＝φΨα＝Θα (8)

如果信号x在某个变化域具有稀疏性，如等式(9)所示：

α＝Ψ^Tx (9)

并且测量矩阵Φ满足约束等距性条件，即指对于任意的K稀疏信号f以及常数δ_k∈(0,1)满足：那么就可以通过等式(10)来完美恢复该信号：

该过程称之为重构，其中的0范数指的就是0元素的个数。

目前提出的满足约束等距性条件的测量矩阵主要分三类。第一类包括矩阵元素独立地服从某一分布的高斯随机测量矩阵、贝努利随机矩阵等。第二类包括部分正交矩阵、部分哈达玛矩阵和非相关测量矩阵。这类矩阵仅与在时域或频域稀疏的信号不相关。第三类包括托普利兹(Toeplitz)矩阵、结构化随机矩阵、Chirps测量矩阵、循环矩阵、随机卷积形成的感知矩阵。我们构建了混合压缩感知矩阵对目标图像进行测量。

具体的，所述更新步骤中，采用不同的策略对目标块和背景块进行更新，针对当前帧图像中的目标块区域，更新速度提升10％，而背景块区域降低10％。并根据检测的结果对测量矩阵的进行参数调节，具体为当前帧图像中的目标块区域，采样率提升10％，而背景块区域采样率降低10％。；

其中，还包括根据兴趣区域(上一帧图像中检测的目标块区域)设置不同的采样值M，在当前帧该区域的1.2倍区域内提高采样率，而在背景块区域内降低采样率；以及，当背景亮度变化较小，降低建模的高斯分布个数，以降低学习速率；当亮度变化较大，提高高斯分布个数，以提高学习速率。

较佳的，将上一帧检测出的目标块区域经过扩展后作为当前帧的目标块区域进行匹配检测，在目标块区域外的像素点采用严格的匹配准则；在目标块区域内的像素点采用宽松的匹配准则。

较佳的，将上一帧目标块区域扩展15％作为当前帧的目标块区域，在目标块区域外的像素点减少15％采样点，在目标块区域内增加15％采样点，可提高目标检测的效果。

具体的，所述后处理步骤中，按照上面所述方法可得到目标图像的二值图像模板Morg。对二值模板Morg进行3×3形态学开运算，得到结果为Ms，再经过3×3腐蚀运算去除孤立的点后得到结果为M。该过程导致了部分目标像素的丢失，采取如下基于形态学目标重构的处理方法可以尽可能保留更多的目标图像：

等式(11)中F是经过前景提取、噪声滤除后的最终结果。等式中的结构元素SE的尺寸大小取决于检测的目标尺寸。实验发现采用5×5的结构元素可以达到较好的目标检测结果。利用结构元素结合同化填充对分割出的前景目标F进行空洞填充能使目标更加完整。最后通过目标大小统计的结果去除小于50个像素的小块，以达到消除噪声的目的。

简言之，本发明的面向实时视觉系统的目标压缩感知方法，首先对视频节点采集到的目标图像xt进行4×4分块，然后构建混合采样矩阵Φ在空间域直接对图像采样后，得到压缩图像yt。由压缩感知理论可知yt包含了原始图像绝大部分信息，通过高效Vibe算法构建背景模型，通过背景减法获得前景图像，然后对前景图像进行形态学处理。

本申请选择嵌入式视觉平台进行目标检测测试，如图1、2中所示的过程，如图3以及图4-6所示，根据与现有其他算法的比较，本发明可获得较好的目标检测结果并且具有较强的抗干扰性，相对于传统的其他目标检测算法，内存容量减少约四分之三，处理时间可减少40％以上。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种面向实时视觉系统的目标压缩感知方法，其特征在于，包括图像重构步骤、混合压缩感知步骤、高效Vibe目标检测步骤、更新步骤和后处理步骤，其中，

S1、所述图像重构步骤，根据采集到的目标图像尺寸大小对目标图像进行4*4分块，并将分块后的图像块转换为16*1的向量；

针对每一帧图像实施以下步骤：

S2、所述混合压缩感知步骤，包括：

依据各图像块进行边缘检测的结果或更新上一帧图像时得到的参数调节信息构建各图像块的混合采样矩阵，再利用所述混合采样矩阵对相应的图像块进行采样压缩，得到压缩后的各图像块；

首先，对图像作边缘检测，如等式(1)所示，

Τ(f)≈Τ(f_p)＝Τ(I(f_l)) (1)

等式(1)中，记T(f)为边缘检测算子，Τ(f_p)为预测图像边缘检测，Τ(I(f_l))为对低分辨率采样后图像进行边缘检测；

然后，采用等式(2)进行形态学处理，

S_a＝M^p(Τ(f_p)) (2)

等式(2)中，记M^p(Τ(f_p))为对预测边缘进行经典形态学操作；

再者，根据形态学处理结果构建混合采样矩阵，所述混合采样矩阵由低分辨采样矩阵、自适应采样矩阵以及随机采样矩阵三者的合集构成，所述混合采样矩阵如等式(3)所示，

S_m＝S_a∪S_r∪S_l (3)

等式(3)中，记S_m为混合采样矩阵，S_a为低分辨率采样，S_r为自适应采样，S_l为随机采样；

S3、所述高效Vibe目标检测步骤，针对所述压缩后的各图像块中的每个像素点，利用Vibe像素级背景建模算法将像素点的像素值与该像素点对应的样本集进行比较，判断其是否属于背景点；

S4、所述更新步骤，根据所述高效Vibe目标检测步骤的检测结果，确定当前帧图像块中的背景块区域与目标块区域；

然后根据像素点属于背景块区域还是目标块区域得到该像素点下一帧图像的混合采样矩阵的参数调节信息；

所述参数调节信息进一步使得上一帧检测出的目标块区域扩展15％作为当前帧的目标块区域，在目标块区域外的像素点减少15％采样点，在目标块区域内的像素点增加15％采样点；

S5、所述后处理步骤，对当前帧的各图像块进行解压、重构和后期图像优化处理，得到当前帧最终的目标图像。

2.根据权利要求1所述的一种面向实时视觉系统的目标压缩感知方法，其特征在于，所述Vibe像素级背景建模算法具体包括：在模型中，为每个背景点存储一个样本集，然后将每一个新的像素值和样本集进行比较并判断是否属于背景点，其判断依据为：如果一个新的像素值属于背景点，那么新的像素值应该和样本集中的采样值接近，

其过程进一步为：

如等式(4)、(5)所示，

M(x)＝{v₁,v₂,......v_N} (4)

{S_R(v(x))∩{v₁,v₂,......v_N}} (5)

等式(4)、(5)中，记v(x)为x点处的像素值，M(x)为x处的背景样本集、样本集大小为N，S_R(v(x))为以x为中心R为半径的区域；

模型的更新策略是每一个背景点有1/φ的概率去更新自己的模型样本值，同时也有1/φ的概率去更新邻居点的模型样本值，样本值在时刻t不被更新的概率是(N-1)/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率为：

如果等式(6)大于一个给定的阈值，那么就认为x点属于背景点。

3.根据权利要求1所述的一种面向实时视觉系统的目标压缩感知方法，其特征在于，所述更新步骤中得到的混合采样矩阵的参数调节信息进一步使得：

针对上一帧图像中的目标块区域，在当前帧该区域的1.2倍区域内提高采样率，而在背景块区域内降低采样率。

4.根据权利要求3所述的一种面向实时视觉系统的目标压缩感知方法，其特征在于，所述更新步骤中得到的混合采样矩阵的参数调节信息进一步使得：

针对当前帧图像中的目标块区域，更新速度提升10％，采样率提升10％；

针对当前帧图像中的背景块区域，更新速度降低10％，采样率降低10％。

5.根据权利要求1所述的一种面向实时视觉系统的目标压缩感知方法，其特征在于，所述更新步骤中，确定当前帧图像块中的背景块与目标块时，将上一帧检测出的目标块区域经过扩展后作为当前帧的目标块区域进行匹配检测，其中，

在目标块区域外的像素点采用严格的匹配准则；

在目标块区域内的像素点采用宽松的匹配准则。