CN109918516B

CN109918516B - 一种数据处理方法、装置及终端

Info

Publication number: CN109918516B
Application number: CN201910188960.8A
Authority: CN
Inventors: 熊超
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-03-13
Filing date: 2019-03-13
Publication date: 2021-07-30
Anticipated expiration: 2039-03-13
Also published as: CN109918516A

Abstract

本发明提供一种数据处理方法、装置及终端，其中，所述数据处理方法包括：获取待处理富媒体数据；调用与所述待处理富媒体数据匹配的筛选过滤策略；利用所述筛选过滤策略，对所述待处理富媒体数据进行处理。本发明的实施例，可以避免对相应筛选过滤策略直接进行全集群机器上线及部署，从而解决当前筛选过滤策略存在的生效耗时长和部署效率低的问题，进一步还可以实现实时动态更新筛选过滤策略，保证更新后的筛选过滤策略及时快速生效。

Description

一种数据处理方法、装置及终端

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法、装置及终端。

背景技术

在当前互联网丰富多彩的富媒体中，用户与媒体资源、媒体资源作者进行互动，主要是建立在优质的富媒体资源和优化的富媒体资源匹配的基础上。比如：用户喜欢动漫类的内容，应用程序app或富媒体平台可以定期定向的推送动漫类的内容给用户。

对于富媒体大数据池中的数据，目前主要依赖于机器学习进行大范围的筛选过滤，而过滤后的数据，可再借助人工配置的筛选过滤策略生成目标数据，并对目标数据进行相关的业务应用，比如文章推送、个性化内容推荐等。

然而，由于当前人工配置的筛选过滤策略需要进行全集群机器上线及部署后才生效，因此存在策略生效耗时长、策略部署效率低等问题。

发明内容

本发明实施例提供一种数据处理方法、装置及终端，以解决目前对富媒体数据处理的筛选过滤策略，存在的生效耗时长和部署效率低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理富媒体数据；

调用与所述待处理富媒体数据匹配的筛选过滤策略；

利用所述筛选过滤策略，对所述待处理富媒体数据进行处理。

第二方面，本发明实施例提供了一种数据处理装置，包括：

获取模块，用于获取待处理富媒体数据；

调用模块，用于调用与所述待处理富媒体数据匹配的筛选过滤策略；

第一处理模块，用于利用所述筛选过滤策略，对所述待处理富媒体数据进行处理。

第三方面，本发明实施例提供了一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时实现上述数据处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。

本发明实施例中，通过获取待处理富媒体数据，调用与所述待处理富媒体数据匹配的筛选过滤策略，利用所述筛选过滤策略，对所述待处理富媒体数据进行处理，可以避免对相应筛选过滤策略直接进行全集群机器上线及部署，从而解决当前筛选过滤策略存在的生效耗时长和部署效率低的问题，进一步还可实现实时动态更新筛选过滤策略，保证更新后的筛选过滤策略及时快速生效。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的数据处理方法的流程图；

图2为本发明具体实例的数据处理过程的流程图；

图3为本发明实施例的数据处理装置的结构示意图；

图4为本发明实施例的终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种数据处理方法的流程图，该方法应用于终端，如图1所示，该方法包括如下步骤：

步骤101：获取待处理富媒体数据。

本实施例中，待处理富媒体数据可从富媒体大数据池中筛选过滤得到。通常，富媒体大数据池中存储有各种不同类型、不同性质、不同垂类等的富媒体数据。而经过机器学习的数据挖掘，可从富媒体大数据池中获取到符合标签聚类的数据，即待处理富媒体数据，以便进一步处理得到满足业务应用需要的目标数据。

步骤102：调用与所述待处理富媒体数据匹配的筛选过滤策略。

本实施例中，此步骤中的调用可以理解为下载或者获取。该与待处理富媒体数据匹配的筛选过滤策略可以理解为与待处理富媒体数据相关的筛选过滤策略。比如，若待处理富媒体数据为文本内容，则与其匹配的筛选过滤策略为文本内容相关的策略；若待处理富媒体数据为视频内容，则与其匹配的筛选过滤策略为视频内容相关的策略。

可理解的，在调用与待处理富媒体数据匹配的筛选过滤策略之后，可对调用的筛选过滤策略进行部署，即更新已部署的筛选过滤策略，和/或部署新的筛选过滤策略，从而对待处理富媒体数据进行处理。

步骤103：利用所述筛选过滤策略，对所述待处理富媒体数据进行处理。

本实施例中，筛选过滤策略可以理解为筛选过滤的规则，可以与富媒体长度、图片数量、视频数量、数据量大小，黑名单关键字、白名单关键字等等相关。对富媒体数据进行处理可以理解为按照筛选过滤策略，针对性的对富媒体数据中内容进行过滤、丢弃、截取等操作，使之处理后的数据内容是满足策略要求的内容。经过筛选过滤策略处理后的富媒体数据，可以作为目标数据进行相关的业务应用，比如文章推送、个性化内容推荐等。

本发明实施例的数据处理方法，通过获取待处理富媒体数据，调用与所述待处理富媒体数据匹配的筛选过滤策略，利用所述筛选过滤策略，对所述待处理富媒体数据进行处理，可以避免对相应筛选过滤策略直接进行全集群机器上线及部署，从而解决当前筛选过滤策略存在的生效耗时长和部署效率低的问题，进一步还可以实现实时动态更新筛选过滤策略，保证更新后的筛选过滤策略及时快速生效。

本发明实施例中，富媒体数据主要是指文本、图片、视频、音频等内容数据元素及各个内容数据元素混合的数据结构。针对富媒体数据的数据元素属性可详细定义如下：

a)文本：涉及的特征可包括标题、关键字、词、正文长度等；

b)图片：涉及的特征可包括宽、高、图片优质率等；

c)视频：涉及的特征可包括宽、高、时长、码率、格式等；

d)音频：涉及的特征可包括时长、采样率等。

针对每一种数据元素属性，可基于相应特征设置筛选过滤策略，比如：

1)对应于文本的筛选过滤策略1：若文本的标题不少于30字，且标题中没有出现违规关键字，且正文长度不少于200字，则保留该文本，否则丢弃该文本；

2)对应于图片的筛选过滤策略2：若图片的宽小于200个像素，或者高小于200个像素，则丢弃该图片，否则保留该图片；

3)对应于视频的筛选过滤策略3：若视频的时长不少于30秒，且视频格式为mp4格式，则保留该文本，否则丢弃该文本。

可理解的，基于设置的筛选过滤策略对数据执行的相关处理操作，可以是保留数据或者丢弃数据，也可以是对数据进行截取或截断等，本发明实施例不对此进行限制。

可选的，上述步骤102可包括：

对所述待处理富媒体数据进行内容分解，得到至少一类分解数据；其中，每一类所述分解数据对应于一种数据元素属性；

针对每一类所述分解数据，调用与每一类所述分解数据的数据元素属性对应的筛选过滤策略。

上述步骤103可包括：

按照所述筛选过滤策略，对每一类所述分解数据进行校验，得到校验结果；

根据所述校验结果，对每一类所述分解数据进行处理。

例如，当一富媒体数据需进行处理时，该富媒体数据包括文本、图片和视频，可首先对该富媒体数据进行内容分解，得到三类分解数据，该三类分解数据对应的数据元素属性分别为文本、图片和视频；然后针对每一类分解数据，调用与其数据元素属性对应的筛选过滤策略并对其进行处理；比如针对文本类的分解数据1，可先调用与标题、正文等相关的筛选过滤策略，然后按照调用的策略对分解数据1进行校验，校验后根据校验结果执行相应动作，比如保留或截取数据内容。

本发明实施例中，可选的，上述调用的筛选过滤策略是基于预定义的富媒体数据的特征标签构建的。

这样，基于预定义的富媒体数据的特征标签来构建筛选过滤策略，可以提高目标数据(即经过筛选过滤策略处理后的数据)与策略的相关性，提高策略的准确率，从而提升目标数据的产出率及可用率。

例如，富媒体数据的特征标签可采用如下方式定义(但不以此为限)：

1)定义数据分块类型：标题、正文、正文长度、图片数量、超链接等；

2)定义数据类型：图文、视频、转发、分享等；

3)定义富媒体数据操作类型：保留、过滤、截断等。

以特征标签“标题”为例，构建的筛选过滤策略可选为：若标题的长度大于30个字符，则过滤相应的富媒体数据，否则保留相应的富媒体数据。这样，在获取某富媒体数据后，可首先判断该富媒体数据的标题的长度是否大于30个字符，若大于则过滤即丢弃该富媒体数据，否则保留该富媒体数据。

可选的，步骤102可包括：

从存储器中调用与待处理富媒体数据匹配的筛选过滤策略。

其中，该存储器用于存储筛选过滤策略。该存储器可对外提供策略下载接口，或者策略获取接口。具体实现时，该存储器可选为策略机器，由单台、多台或集群物理服务器组成，也可选为云端服务器，也可选为执行数据处理过程的终端中的存储器。

比如，在该存储器选为策略机器的情况下，当更新筛选过滤策略时，可首先由操作人员在人工策略配置平台手动更新筛选过滤策略，然后在更新后的筛选过滤策略在人工策略配置平台生效后，将相关策略配置以文件或数据的形式存储于策略机器上。

进一步的，上述从存储器中调用与待处理富媒体数据匹配的筛选过滤策略的过程可以包括：

从所述存储器中获取第一标识；

判断所述第一标识中是否包括与第二标识不同的新标识；

当所述第一标识中包括与所述第二标识不同的新标识时，从所述存储器中调用所述新标识对应的筛选过滤策略；

其中，所述第一标识是所述存储器中存储的与所述待处理富媒体数据匹配的筛选过滤策略的标识，用于区分存储器中存储的筛选过滤策略，比如可选为策略编号。所述第二标识是已部署的与所述待处理富媒体数据匹配的筛选过滤策略的标识，用于区分已部署的筛选过滤策略，比如可选为策略编号。所述新标识具体为新增的筛选过滤策略的标识。所述已部署的筛选过滤策略可以理解为已上线及生效的策略即老策略。

这样，借助上述判断过程，可以决定是否变更策略，从而实现策略由单点更新(即存储器中更新)自动适配为全集群机器(即所有数据处理的终端)自动更新，提高策略的更新部署效率。

进一步的，在调用新标识对应的筛选过滤策略之后，步骤103可包括：

利用所述新标识对应的筛选过滤策略，以及所述已部署的与所述待处理富媒体数据匹配的筛选过滤策略，对所述待处理富媒体数据进行处理。

可理解的，在调用与新标识对应的筛选过滤策略之后，可对新标识对应的筛选过滤策略进行部署，即更新已部署的筛选过滤策略，和/或部署新的筛选过滤策略，从而对待处理富媒体数据进行处理。

这样，借助新标识对应的筛选过滤策略，可以提升目标数据的可用率。

进一步的，在判断第一标识中是否包括与第二标识不同的新标识之后，所述方法还包括：

当所述第一标识中不包括与所述第二标识不同的新标识时，利用所述已部署的与所述待处理富媒体数据匹配的筛选过滤策略，对所述待处理富媒体数据进行处理。

下面结合图2对本发明具体实例的数据处理过程进行说明。

参见图2所示，本发明具体实例的数据处理过程包括如下步骤：

S1：操作人员①在人工策略配置平台③手动变更筛选过滤策略②；

S2：在筛选过滤策略②生效后，人工策略配置平台③将筛选过滤策略②以文件⑤或数据⑥的形式，存储于存储器④；其中，该存储器④可选为策略机器，由单台、多台或集群物理服务器组成；

S3：处理器

获取待处理富媒体数据⑩；其中，该待处理富媒体数据⑩可以是经过机器学习⑨的数据挖掘，从富媒体大数据池⑧中得到；

S4：处理器

通过下载或获取⑦的方式，调用存储器④中与待处理富媒体数据⑩匹配的筛选过滤策略；其中，该匹配的筛选过滤策略中选自筛选过滤策略②；

S5：处理器

利用匹配的筛选过滤策略，对待处理富媒体数据⑩进行筛选过滤，得到目标数据(即符合策略的数据内容)

S6：处理器

将目标数据

应用于下游相关业务

比如富文本文章投放、消息推送、个性化内容推荐等。

请参见图3，图3是本发明实施例提供的一种数据处理装置的结构示意图，如图3所示，该数据处理装置30包括：

获取模块31，用于获取待处理富媒体数据；

调用模块32，用于调用与所述待处理富媒体数据匹配的筛选过滤策略；

第一处理模块33，用于利用所述筛选过滤策略，对所述待处理富媒体数据进行处理。

本发明实施例的数据处理装置，通过获取待处理富媒体数据，调用与所述待处理富媒体数据匹配的筛选过滤策略，利用所述筛选过滤策略，对所述待处理富媒体数据进行处理，可以避免对相应筛选过滤策略直接进行全集群机器上线及部署，从而解决当前筛选过滤策略存在的生效耗时长和部署效率低的问题，进一步还可以实现实时动态更新筛选过滤策略，保证更新后的筛选过滤策略及时快速生效。

本发明实施例中，可选的，所述调用模块32包括：

分解单元，用于对所述待处理富媒体数据进行内容分解，得到至少一类分解数据；其中，每一类所述分解数据对应于一种数据元素属性；

第一调用单元，用于针对每一类所述分解数据，调用与每一类所述分解数据的数据元素属性对应的筛选过滤策略；

所述第一处理模块33包括：

校验单元，用于按照所述筛选过滤策略，对每一类所述分解数据进行校验，得到校验结果；

处理单元，用于根据所述校验结果，对每一类所述分解数据进行处理。

可选的，所述筛选过滤策略是基于预定义的富媒体数据的特征标签构建的。

可选的，所述调用模块32具体用于：

从存储器中调用与所述待处理富媒体数据匹配的筛选过滤策略。

可选的，所述调用模块32包括：

获取单元，用于从所述存储器中获取第一标识；

判断单元，用于判断所述第一标识中是否包括与第二标识不同的新标识；

第二调用单元，用于当所述第一标识中包括与所述第二标识不同的新标识时，从所述存储器中调用所述新标识对应的筛选过滤策略；

其中，所述第一标识是所述存储器中存储的与所述待处理富媒体数据匹配的筛选过滤策略的标识，所述第二标识是已部署的与所述待处理富媒体数据匹配的筛选过滤策略的标识。

可选的，所述第一处理模块33具体用于：

可选的，所述装置还包括：

第二处理模块，用于当所述第一标识中不包括与所述第二标识不同的新标识时，利用所述已部署的与所述待处理富媒体数据匹配的筛选过滤策略，对所述待处理富媒体数据进行处理。

此外，参见图4，图4是本发明实施例提供的一种终端的结构示意图，如图4所示，终端40包括：处理器41、存储器42及存储在所述存储器42上并可在所述处理器上运行的计算机程序，终端40中的各个组件通过总线接口43耦合在一起，所述计算机程序被所述处理器41执行时可实现上述应用于终端的数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据处理方法，其特征在于，包括：

获取待处理富媒体数据；

调用与所述待处理富媒体数据匹配的筛选过滤策略；

对所述筛选过滤策略进行部署，并利用所述筛选过滤策略，对所述待处理富媒体数据进行处理；

其中，所述调用与所述待处理富媒体数据匹配的筛选过滤策略，包括：

从存储器中获取第一标识；

判断所述第一标识中是否包括与第二标识不同的新标识；

2.根据权利要求1所述的方法，其特征在于，所述筛选过滤策略是基于预定义的富媒体数据的特征标签构建的。

3.根据权利要求1所述的方法，其特征在于，所述调用与所述待处理富媒体数据匹配的筛选过滤策略，包括：

针对每一类所述分解数据，调用与每一类所述分解数据的数据元素属性对应的筛选过滤策略；

所述利用所述筛选过滤策略，对所述待处理富媒体数据进行处理，包括：

根据所述校验结果，对每一类所述分解数据进行处理。

4.根据权利要求1所述的方法，其特征在于，所述利用所述筛选过滤策略，对所述待处理富媒体数据进行处理，包括：

5.根据权利要求1所述的方法，其特征在于，所述判断所述第一标识中是否包括与第二标识不同的新标识之后，所述方法还包括：

6.一种数据处理装置，其特征在于，包括：

获取模块，用于获取待处理富媒体数据；

第一处理模块，用于对所述筛选过滤策略进行部署，并利用所述筛选过滤策略，对所述待处理富媒体数据进行处理；

其中，所述调用模块包括：

获取单元，用于从存储器中获取第一标识；

7.根据权利要求6所述的装置，其特征在于，所述筛选过滤策略是基于预定义的富媒体数据的特征标签构建的。

8.根据权利要求6所述的装置，其特征在于，所述调用模块包括：

所述第一处理模块包括：

9.根据权利要求6所述的装置，其特征在于，所述第一处理模块具体用于：

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

11.一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据处理方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法的步骤。