CN102663375A - H.264中基于数字水印技术的主动目标识别方法 - Google Patents

Abstract

本发明公开了一种H.264中基于数字水印技术的主动目标识别方法，旨在解决智能视频监控系统中目标识别算法存在计算复杂度大、精度不高等问题。具体是利用H.264帧间预测与编码重建的特点，在当前帧的编码重建帧中的目标区域内嵌入不同的数字水印作为目标的不变特征，在下一帧帧间预测的参考帧（上一帧的重建帧）中的目标区域内提取不同的水印信息即可实现目标识别，随后继续在重建帧的运动检测分割结果中嵌入匹配后的水印，循环处理，直至完成整段视频序列的运动目标识别。本发明具有简单、准确度高、实时性及视频编码的客观质量未受到明显影响的优点。

Description

H.264中基于数字水印技术的主动目标识别方法

技术领域

本发明涉及一种智能视频监控系统中的目标识别方法，尤其涉及一种H.264中基于数字水印技术的主动目标识别方法。

背景技术

智能视频监控系统允许用户利用安全摄像机监测并保证各区域的安全，同时降低人工成本，并提高生产效率。智能视频监控技术起源于计算机视觉技术，它对视频进行分析，从中提取信息，发现感兴趣事件，从而可以在某些场合替代人为监控或者协助人为监控。视频压缩技术的发展促进了视频监控系统的数字化，节约大量的存储空间。计算机网络的普及和带宽技术的发展推动城域网视频监控成为现实，智能视频监控系统开始得到规模化应用。

智能视频监控的核心内容之一是对特定目标的自动跟踪。目标跟踪可分为5个步骤，包括运动检测、目标识别、目标（类型）跟踪、行为分析和目标（个体）跟踪。对于多目标视频监控过程，人眼可以很容易的识别不同目标，但计算机只能根据算法和目标分割结果来判断不同目标，由此可以看出，目标识别是一个瓶颈问题，其精确度直接影响后续目标跟踪的效果，快速、有效地目标识别是智能视频监控系统急待解决的问题。

目标识别目的是从检测到的运动区域中将特定类型物体的运动区域提取出来。现有智能视频监控系统中的目标识别方法，根据利用信息的不同，可以分为基于运动特性的识别和基于形状信息的识别两类。前者利用目标运动的周期性进行识别，受颜色、光照的影响较小；而后者利用检测出的运动区域的形状特征与模板或者统计量进行匹配。但无论是相关法、模板识别法，还是不变矩法、投影法等。其中心思想都是发掘运动目标自身的不变特征，进行匹配、识别，均属于被动目标识别范畴，而在实际应用过程中，由于受距离、尺度、旋转、视角和噪声等因素的影响，现有目标识别算法都存在一定程度的误差。这样进行随后的运动目标跟踪，误差会越来越明显，甚至可能导致整个智能视频监控算法的失效。另外，国内外学者为了提高目标识别的精度，采用大量的复杂算法，虽然在一定程度上提高了识别的精度，但却很难进行实时性应用。尤其是在视频监控算法移植到压缩编码过程中的时候，计算复杂度对视频编码压缩处理时间、码长、码率的巨大影响让人难以接受。

由此，我们想到可以换一个角度考虑智能视频监控中的目标识别问题。既然提取目标自身特征的算法复杂度高不符合实时处理要求，而且总是存在着一定程度的误差而影响到后续的工作，那么是否可以放弃目标自身特征，而另外附加一个显著的特点，通过提取这种显著特征进行匹配来实现目标识别。数字水印就是附加在媒体中标识身份特征的技术。另外，H.264新增多参考帧帧间预测等技术，在压缩效率，以及网络适应性方面，都比以往的标准有明显提高。因此，基于数字水印技术，我们提出H.264视频压缩标准下的主动目标识别方法。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种H.264中准确度高、复杂度低的基于数字水印技术的主动目标识别方法。

本发明是通过以下技术方案实现的：

一种H.264中基于数字水印技术的主动目标识别方法，包括以下内容：

H.264视频压缩标准为帧间预测环节提供最多16帧参考帧（之前已编码的视频帧的重构帧）的存贮缓冲；参考H.264帧间预测编码的思路设计主动目标跟踪方法；视频监控场景中首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建图像中，映射当前帧中目标检测、分割结果（运动目标的坐标），在重建图像每个运动目标中嵌入不同的标识水印，该重建帧将作为参考帧用于下一帧的帧间预测，这样水印信息就随着重建帧传递到下一帧的编码过程中，随后进行在下一帧（下面称“下一帧”为“当前帧”，之前的“当前帧”称为“上一帧”）编码，在编码前，将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧（上一帧的重建帧，包含标识水印信息），并从映射的重叠区域中检测标识水印，完成目标匹配、识别；随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印，下一帧继续当前帧操作；这样循环处理，直至完成整段视频序列的运动目标匹配。

所述的H.264中基于数字水印技术的主动目标识别方法，其特征在于：所述的H.264帧间预测是利用利用已编码视频帧/场和基于块的运动补偿的预测模式；当前帧f_t(x,y)与参考帧f_t-1(x,y)同时输入运动参数估值器，经搜索、比较得到运动矢量MV。此MV输入运动补偿预测器，得到预测图像

，f_t(x,y)与

相减后得到残差图像，H.264对残差图像进行编码，可以有效压缩视频序列的帧间冗余；编码器必须有重建图像的功能，必须使残差图像经反量化、反变换后得到的与预测图像相加，再经环路滤波输出重建图像

，

在下一帧预测时即用作参考图像。

所述的H.264中基于数字水印技术的主动目标识别方法，包括以下内容：

水印的嵌入

当首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建帧中，映射当前帧中目标检测、分割运动目标的坐标的结果，在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息，如下式所示：

Y′_n(x,y)=Y_n(x,y)+(N+n-Y_n(x,y)modN)modN

N为当前帧帧间编码重建帧中的运动目标数，n为目标的序号（0≤n≤N-1）,Y_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值，

Y′_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值；

水印信息提取

所述的重建帧作为参考帧用于下一帧的帧间预测，水印信息就随着重建帧传递到下一帧的编码过程中，随后进行下一帧（“下一帧”为“当前帧”，之前的“当前帧”为“上一帧”）的编码，在下一帧编码前，将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧，在参考帧中的重叠部分映射区域中检测水印信息，完成目标匹配、识别，水印信息的提取如下式所示：

N_Wn =num{W_n|W_n=Y′(x,y)modN,(x,y)∈Ω_重合}

 N_Wni=max{N_Wn|n=0,1,...,N-1},Ω_重合∈Object_Wni

 对重合部分Ω_重合中的像素提取水印信息W_n(0≤n≤N-1),并分别计数为N_Wn，取最大值N_Wni，像素点（x，y）所在的分割区域属于目标Object_Wni；

目标匹配

随后再在当前帧帧间编码重建帧，根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息；这样循环处理，直至完成序列中所有帧的运动目标匹配、识别。

本发明提出主动目标识别概念，在运动目标检测、分割结果（即不同的运动目标）中嵌入不同的数字水印。在下一帧预测编码时，通过在不同目标中提取水印信息即可实现目标识别。这里，主动目标识别思想存在一个水印信息传递问题。视频帧是由若干图像组成，嵌入到当前帧运动目标中的水印无法自动传递到下一帧图像中，如果无法解决水印在帧与帧之间的传递问题，主动目标识别将无法实现。

本发明从另一个角度思考智能视频监控中的目标识别问题，放弃原本目标提取方法通过发掘目标自身特征进行识别、匹配的思路，而提出了主动目标识别的概念，对运动目标附加一个显著的特点，即标识水印，并通过“重建帧运动目标中嵌入水印（当前帧编码）、参考帧运动目标中提取水印（下一帧预测）”的循环模式，完成目标匹配。

本发明的性能分析

本发明在H.264／AVC的参考软件JM 11.0上进行了仿真。采用hall.yuv（Qcif）标准序列，参考软件的编码配置为encoder_baseline.cfg，具体参数如表1 所示：

表1 编码器主要配置参数

（1）参数指标

为了进一步评估算法的性能，引入了比特率变化(BRI)、PSNR 变化等指标客观的说明本算法的优越性能。

表2 对hall.yuv序列测试的实验结果

从表2可以得出算法快速地实现运动目标匹配，植入本算法前后视频亮度、色度分量PSNR 值仅有微小的变化，即编码视频的客观质量未受到明显影响。此外H.264其余编码参数变化也及其细微，这也就说明本算法可以很好地保证H.264压缩编码平台的各项参数性能。

本发明采用的视频检测、分割以及是目标识别方法运算速度快、占用资源低、效果良好。

（2）目标识别先期工作结果

本发明在进行目标识别实验仿真前，先采用背景减法进行目标检测，并加入膨胀处理使目标区域成为连通区域，参加目标检测的准确性，结果如图1所示。随后在目标检测结果基础上，采用坐标映射分割法^[1]的方法进行目标分割，结果如图2所示。

（3）主动目标识别结果

算法的在目标检测、分割的结果基础上，参考H.264帧间预测编码的思路，设计基于水印技术的主动目标识别算法。方法简单高效，效果如图3所示。

附图说明

图1为目标检测结果，其中，图（a）为第100帧图像；图（b）为目标检测初步结果；图（c）为目标检测膨胀结果。

图2为目标分割结果，其中，图（a）为第60帧图像；图（b）为第100帧图像；图（c）为第175帧图像。

图3为目标识别结果，其中，图（a）为第60帧图像；图（b）为第100帧图像；图（c）为第175帧图像。

图4为本发明算法的流程图。

具体实施方式

 如图4所示的算法流程图。

一种H.264中基于数字水印技术的主动目标识别方法，其特征在于：包括以下内容：

H.264视频压缩标准为帧间预测环节提供最多16帧参考帧（之前已编码的视频帧的重构帧）的存贮缓冲；参考H.264帧间预测编码的思路设计主动目标跟踪方法；视频监控场景中首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建图像中，映射当前帧中目标检测、分割结果（运动目标的坐标），在重建图像每个运动目标中嵌入不同的标识水印，该重建帧将作为参考帧用于下一帧的帧间预测，这样水印信息就随着重建帧传递到下一帧的编码过程中，随后进行在下一帧（下面称“下一帧”为“当前帧”，之前的“当前帧”称为“上一帧”）编码，在编码前，将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧（上一帧的重建帧，包含标识水印信息），并从映射的重叠区域中检测标识水印，完成目标匹配、识别；随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印，下一帧继续当前帧操作；这样循环处理，直至完成整段视频序列的运动目标匹配。

所述的H.264中基于数字水印技术的主动目标识别方法，其特征在于：所述的H.264帧间预测是利用利用已编码视频帧/场和基于块的运动补偿的预测模式；当前帧f_t(x,y)与参考帧f_t-1(x,y)同时输入运动参数估值器，经搜索、比较得到运动矢量MV。此MV输入运动补偿预测器，得到预测图像

，f_t(x,y)与

相减后得到残差图像，H.264对残差图像进行编码，可以有效压缩视频序列的帧间冗余；编码器必须有重建图像的功能，必须使残差图像经反量化、反变换后得到的

与预测图像

相加，再经环路滤波输出重建图像

，

在下一帧预测时即用作参考图像。

所述的H.264中基于数字水印技术的主动目标识别方法，其特征在于：包括以下内容：

水印的嵌入

当首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建帧中，映射当前帧中目标检测、分割运动目标的坐标的结果，在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息，如下式所示：

Y′_n(x,y)=Y_n(x,y)+(N+n-Y_n(x,y)modN)modN

N为当前帧帧间编码重建帧中的运动目标数，n为目标的序号（0≤n≤N-1）,Y_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值，

Y′_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值；

水印信息提取

所述的重建帧作为参考帧用于下一帧的帧间预测，水印信息就随着重建帧传递到下一帧的编码过程中，随后进行下一帧（“下一帧”为“当前帧”，之前的“当前帧”为“上一帧”）的编码，在下一帧编码前，将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧，在参考帧中的重叠部分映射区域中检测水印信息，完成目标匹配、识别，水印信息的提取如下式所示：

N_Wn =num{W_n|W_n=Y′(x,y)modN,(x,y)∈Ω_重合}

 N_Wni=max{N_Wn|n=0,1,...,N-1},Ω_重合∈Object_Wni

 对重合部分Ω_重合中的像素提取水印信息W_n(0≤n≤N-1),并分别计数为N_Wn，取最大值N_Wni，像素点（x，y）所在的分割区域属于目标Object_Wni；

目标匹配

随后再在当前帧帧间编码重建帧，根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息；这样循环处理，直至完成序列中所有帧的运动目标匹配、识别。

Claims (3)

1.一种H.264中基于数字水印技术的主动目标识别方法，其特征在于：包括以下内容：

H.264视频压缩标准为帧间预测环节提供最多16帧参考帧即之前已编码的视频帧的重构帧的存贮缓冲；参考H.264帧间预测编码的思路设计主动目标跟踪方法；视频监控场景中首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建图像中，映射当前帧中目标检测、分割结果即运动目标的坐标，在重建图像每个运动目标中嵌入不同的标识水印，该重建帧将作为参考帧用于下一帧的帧间预测，这样水印信息就随着重建帧传递到下一帧的编码过程中，随后进行在下一帧编码，下面称“下一帧”为“当前帧”，之前的“当前帧”称为“上一帧”，在编码前，将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧即上一帧的重建帧，包含标识水印信息，并从映射的重叠区域中检测标识水印，完成目标匹配、识别；随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印，下一帧继续当前帧操作；这样循环处理，直至完成整段视频序列的运动目标匹配。

2.根据权利要求1所述的H.264中基于数字水印技术的主动目标识别方法，其特征在于：所述的H.264帧间预测是利用利用已编码视频帧/场和基于块的运动补偿的预测模式；当前帧f_t(x,y)与参考帧f_t-1(x,y)同时输入运动参数估值器，经搜索、比较得到运动矢量MV，此MV输入运动补偿预测器，得到预测图像，f_t(x,y)与

相减后得到残差图像，H.264对残差图像进行编码，可以有效压缩视频序列的帧间冗余；编码器必须有重建图像的功能，必须使残差图像经反量化、反变换后得到的

与预测图像

相加，再经环路滤波输出重建图像

，

在下一帧预测时即用作参考图像。

3.根据权利要求1所述的H.264中基于数字水印技术的主动目标识别方法，其特征在于：包括以下内容：

水印的嵌入

当首次检测到运动目标时，在当前帧编码重构，并在进行环路滤波后的重建帧中，映射当前帧中目标检测、分割运动目标的坐标的结果，在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息，如下式所示：

Y′_n(x,y)=Y_n(x,y)+(N+n-Y_n(x,y)modN)modN

N为当前帧帧间编码重建帧中的运动目标数，n为目标的序号（0≤n≤N-1）,Y_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值，

Y′_n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值；

水印信息提取

所述的重建帧作为参考帧用于下一帧的帧间预测，水印信息就随着重建帧传递到下一帧的编码过程中，随后进行下一帧（“下一帧”为“当前帧”，之前的“当前帧”为“上一帧”）的编码，在下一帧编码前，将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧，在参考帧中的重叠部分映射区域中检测水印信息，完成目标匹配、识别，水印信息的提取如下式所示：

N_Wn =num{W_n|W_n=Y′(x,y)modN,(x,y)∈Ω_重合}

N_Wni=max{N_Wn|n=0,1,...,N-1},Ω_重合∈Object_Wni

对重合部分Ω_重合中的像素提取水印信息W_n(0≤n≤N-1),并分别计数为N_Wn，取最大值N_Wni，像素点（x，y）所在的分割区域属于目标Object_Wni；

目标匹配

随后再在当前帧帧间编码重建帧，根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息；这样循环处理，直至完成序列中所有帧的运动目标匹配、识别。

Images