CN101706870A - 一种基于gpu实现的媒资特征识别的系统及方法 - Google Patents

Abstract

本发明公开一种基于GPU实现的媒资特征识别的系统及方法。客户端的播放模块提供图像截取和抽象功能，服务器管理媒资的特征库，并基于智能神经网络算法对客户端提交的特征序列进行模糊匹配，而在客户端特征提取过程中采用GPU加速的方法可以降低特征处理对正常播放的影响。

Description

一种基于GPU实现的媒资特征识别的系统及方法

技术领域

本发明涉及计算机网络技术领域，特别涉及一种基于GPU实现的媒资特征识别的系统及方法。

背景技术

目前，媒体特征识别对于互联网上各类媒资的管理十分重要。媒体特征识别从数据处理的层面来考虑，可以分为：像素级处理、特征级处理和目标级处理三个层次，视频图像中的特征识别是目标级的图像处理，是对任意一系列播放画面产生的视频目标进行特征抽取和比对。由于目标信息具有数据复杂性，通常是利用相关知识进行抽象，然后根据抽象的特征进行推理，得到对特征相似性的结论。

PCA即主成分分析，是视频特征抽象的常用方法，但线型变换的收缩较慢，线性判别分析(LDA)，是基于样本的类别进行整体特征提取的有效方法，在模式识别中也有着广泛的应用。

可编程图形处理器(Programmable Graphic Process Unit，GPU)是目前计算机上普遍采用的图形图像处理专用器件，具有单指令流多数据流(SIMD)的并行处理特性，而且提供了完全支持向量操作指令和符合IEEE32位浮点格式的顶点处理能力和像素处理能力，已经成为了一个强大的并行计算单元。

发明内容

本发明提供一种基于GPU实现的媒资特征识别的系统及方法，能够更好的实现媒资特征识别。

本发明提供一种基于GPU实现的媒资特征识别的系统：

该系统包括播放端和服务器端，播放端包括图像处理模块、特征抽取模块、移动检测模块、色调检测模块、特征描述模块；

所述图像处理模块负责在媒体播放过程中截取画面，把画面信息存储在临时处理区，图像截取不影响媒体资源的正常播放；

所述特征抽取模块采用高斯变换的方法，负责对图像截取模块的内容进行矩形特征化抽象；

所述移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

所述色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

所述特征描述模块综合所述图像特征抽取模块、移动检测模块和色调检测模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端；

服务器端包括样品库投射模块、特征库管理模块和神经网络推理模块；

所述样品库投射模块，对标准媒资文件的播放特征进行特征投射，其处理过程在高性能服务器上进行；

所述特征库管理模块，对海量媒资文件的特征进行管理，采用GPU并行加速计算的方法，采用哈希表散列的管理方法；

所述神经网络推理模块，将客户端上传的特征描述串模糊匹配样本特征库中的样本信息。

本发明提供一种基于GPU实现的媒资特征识别的方法，包括：

播放端的图像处理模块在媒体播放过程中截取画面，把画面信息存储在临时处理区，图像截取不影响媒体资源的正常播放；

播放端的特征抽取模块采用高斯变换的方法，对图像截取模块的内容进行矩形特征化抽象；

播放端的移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

播放端的色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

播放端的特征描述模块综合所述图像特征抽取模块、移动检测模块和色调检测模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端；

服务器端的样品库投射模块，对标准媒资文件的播放特征进行特征投射，其处理过程在高性能服务器上进行；

服务器端的特征库管理模块，对海量媒资文件的特征进行管理，采用GPU并行加速计算的方法，采用哈希表散列的管理方法；

服务器端的神经网络推理模块，将客户端上传的特征描述串模糊匹配样本特征库中的样本信息。

本发明的有益效果主要体现如下：

1、采用播放平台与媒资管理平台相结合的方法，实现分布式的媒资播放统计的管理。

在互联网中，有多个格式的同一媒资源在播放是非常常见的，通过最直接的画面特征抽取的方法来管理媒资播放情况的统计是最准确的方法。

2、采用GPU加速，降低对正常播放过程的影响。

本发明在媒体播放端采用GPU加速的方法来处理视频特征的抽取计算，降低对正常播放过程的影响。

3、结合画面特征、运动特征和色调特征，采用神经网络的方法进行模糊匹配，可以提高媒资匹配的准确度。

本发明在媒体播放10秒钟的情况下即可95％以上的媒体识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的系统结构示意图；

图2为本发明的实施方式图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明用于计算机平台上多媒体资源的特征识别，特别涉及一种基于GPU计算的、以媒体画面矩形抽象为重点的媒体特征识别方法。本发明重点在于实现GPU加速的媒体特征抽取和实时比对的方法。

本发明采用PCA和LDA对计算机平台播放的视频内容进行特征抽象，并且把抽象结果与事先存储在特征库中的特征信息进行基于神经网络的推理识别。为了提高特征识别的精度，需要提高特征抽象的精度和神经网络匹配的速度，采用GPU算法进行优化可以达到这个目标。

本发明方法在GPU计算部件中结合使用PCA和LDA，能显著提高视频特征的抽取效率。在整体特征提取后，采用神经网络推理进行识别的研究，得到视频特征相似度的评价结果。为了提高特征识别的精度，神经网络推理也采用GPU算法进行优化。

图1为本发明的系统结构示意图。

本发明的系统主要包括播放端和服务器端两个部分，播放端部分主要分为图像处理(图像截取)模块、特征抽取模块、移动检测模块、色调检测模块、特征描述模块五个部分。

本发明的播放端的各个模块之间的功能调用如下：

所述图像处理模块负责在媒体播放过程中截取画面，把画面信息存储在临时处理区。图像截取不影响媒体资源的正常播放。

所述特征抽取模块采用高斯变换的方法，负责对图像截取模块的内容进行矩形特征化抽象，为了提高计算效率，减少对正常播放的影响，特征抽象过程采用GPU加速的并行化算法；

所述移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

所述色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

所述特征描述模块综合图像特征抽取、移动检测和色调检测三个模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端。

本发明的服务器端的各个模块之间的功能调用如下：

所述样品库投射模块，对标准媒资文件的播放特征进行特征投射。其处理过程在更高性能的服务器上进行。

所述特征库管理模块，对海量媒资文件的特征进行管理，为了提高匹配命中的效率，采用哈希表散列的管理方法。

所述神经网络推理模块，将客户端上传的特征描述串(特征序列值)模糊匹配样本特征库中的样本信息。本模块采用智能神经网络的方法进行模糊匹配，用匹配度进行描述所播放媒资的命中情况。神经网络推理过程采用GPU并行化加速的方法来提高效率。

本发明的一种基于GPU实现的媒资特征识别的方法，包括以下步骤：

播放端的图像处理模块在媒体播放过程中截取画面，把画面信息存储在临时处理区，图像截取不影响媒体资源的正常播放；

播放端的特征抽取模块采用高斯变换的方法，对图像截取模块的内容进行矩形特征化抽象；

播放端的移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

播放端的色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

播放端的特征描述模块综合所述图像特征抽取模块、移动检测模块和色调检测模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端；

服务器端的样品库投射模块，对标准媒资文件的播放特征进行特征投射，其处理过程在高性能服务器上进行；

服务器端的特征库管理模块，对海量媒资文件的特征进行管理，采用GPU并行加速计算的方法，采用哈希表散列的管理方法；

服务器端的神经网络推理模块，将客户端上传的特征描述串模糊匹配样本特征库中的样本信息。

图2为本发明的实施方式图。

本发明的实施分为两部分，以软件形态部署在客户端的计算机和服务器端的计算机上。用户在使用客户端的播放器软件进行播放的时候，播放器软件中启动图像处理、特征提取的功能，并且通过网络自动把所观看的视频内容传送到服务器端。播放器软件能够判别客户端计算机上的GPU的处理，利用GPU处理能力能够有效提高视频特征值的处理性能。

服务器端的特征值接收软件负责处理来自多个客户端上传的特征值信息。模式匹配软件结合事先处理的样品库，对视频特征进行判别，进而对视频的播放情况进行统计处理。

本发明的有益效果主要体现如下：

1、采用播放平台与媒资管理平台相结合的方法，实现分布式的媒资播放统计的管理。

在互联网中，有多个格式的同一媒资源在播放是非常常见的，通过最直接的画面特征抽取的方法来管理媒资播放情况的统计是最准确的方法。

2、采用GPU加速，降低对正常播放过程的影响。

本发明在媒体播放端采用GPU加速的方法来处理视频特征的抽取计算，降低对正常播放过程的影响。

3、结合画面特征、运动特征和色调特征，采用神经网络的方法进行模糊匹配，可以提高媒资匹配的准确度。

本发明在媒体播放10秒钟的情况下即可95％以上的媒体识别准确率。

需要说明的是，上述装置和系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种基于GPU实现的媒资特征识别的系统及方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于GPU实现的媒资特征识别的系统，其特征在于：

该系统包括播放端和服务器端，播放端包括图像处理模块、特征抽取模块、移动检测模块、色调检测模块、特征描述模块；

所述图像处理模块负责在媒体播放过程中截取画面，把画面信息存储在临时处理区，图像截取不影响媒体资源的正常播放；

所述特征抽取模块采用高斯变换的方法，负责对图像截取模块的内容进行矩形特征化抽象；

所述移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

所述色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

所述特征描述模块综合所述图像特征抽取模块、移动检测模块和色调检测模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端；

服务器端包括样品库投射模块、特征库管理模块和神经网络推理模块；

所述样品库投射模块，对标准媒资文件的播放特征进行特征投射，其处理过程在高性能服务器上进行；

所述特征库管理模块，对海量媒资文件的特征进行管理，采用GPU并行加速计算的方法，采用哈希表散列的管理方法；

所述神经网络推理模块，将客户端上传的特征描述串模糊匹配样本特征库中的样本信息。

2.一种基于GPU实现的媒资特征识别的方法，其特征在于，包括：

播放端的图像处理模块在媒体播放过程中截取画面，把画面信息存储在临时处理区，图像截取不影响媒体资源的正常播放；

播放端的特征抽取模块采用高斯变换的方法，对图像截取模块的内容进行矩形特征化抽象；

播放端的移动检测模块根据相临图像的变化情况，对画面之间的运动进行概化，形成运动特征表述；

播放端的色调检测模块根据特征图像的色调变化情况，对画面的色调特征进行概化，形成色调特征表述；

播放端的特征描述模块综合所述图像特征抽取模块、移动检测模块和色调检测模块的计算结果，综合形成媒资的特征描述串，并负责联系媒资特征识别的服务器端；

服务器端的样品库投射模块，对标准媒资文件的播放特征进行特征投射，其处理过程在高性能服务器上进行；

服务器端的特征库管理模块，对海量媒资文件的特征进行管理，采用GPU并行加速计算的方法，采用哈希表散列的管理方法；

服务器端的神经网络推理模块，将客户端上传的特征描述串模糊匹配样本特征库中的样本信息。

Images