CN116049483A - 一种基于多模态数据的用户标签构建方法及系统 - Google Patents

Abstract

本发明涉及短视频用户标签构建技术领域，具体公开了一种基于多模态数据的用户标签构建方法及系统，包括：S100数据预处理，采集短视频平台用户的数据并对数据进行分类，数据种类包括视频信息、平台信息和文本内容信息；S200视频标签处理，对视频信息进行分析计算，并对依据视频内容输出视频标签；S300平台信息标签处理，依据平台标签信息对用户文本信息进行处理，并输出平台信息标签，等步骤；本发明采用视频风格分类算法对用户产生的视频进行截帧过滤、统计，输出用户视频内容偏好标签，该维度比较真实的体现了用户的喜好；本发明结合了用户视频、平台采集信息、文本内容等多源数据进行标签生成，使得生成的标签结果能够更好的刻画用户的特征。

Description

一种基于多模态数据的用户标签构建方法及系统

技术领域

本发明涉及用户标签技术领域，具体是一种基于多模态数据的用户标签构建方法及系统。

背景技术

随着互联网、大数据的发展，近年来用户画像技术在各个互联网平台中得到大量的应用，用户画像通常是指根据用户的属性、用户偏好、用户行为等信息抽象出来的标签化用户模型，其根本就是利用多源数据给用户打标签。而在内容审核领域，通常由于数据量太大因此需要预先对用户进行画像、分群，针对特殊的一些易违规的用户群体进行监控。目前用户画像的主要应用还是在类似于电商平台等领域，而短视频领域在数据量日益增大的情况下也急需要有一些解决方案。通常在刻画用户画像时主要以用户的一些行为数据为主，但是短视频平台中用户发布的视频内容也是非常重要的信息，因此如何在对用户进行标签化的时候结合到视频内容信息是一个重要的解决方向。在此背景下，研究一种基于多模态数据的用户画像建方法变得十分重要。

现有技术(CN114265953A)一种基于标签的短视频推荐方法、系统、设备和介质，所述方法包括如下步骤：获取视频的标签和标签相关度；根据用户行为数据生成用户画像，并计算用户对视频的标签偏好度；根据用户画像，采用基于内容和用户协同的方式推荐视频。本发明基于标签的个性化视频推荐方法，考虑用户偏好的“新鲜度”、推荐结果的惊喜度、及视频内容的热度来，解决了视频推荐的“信息茧房”、新用户推荐问题，提升了推荐结果的准确性、惊喜程度、能够满足用户多样性的需求。该方法的不足之处是只利用用户的行为数据产生标签，并没有利用视频本身的内容信息。

综上所述,本发明提供了一种基于多模态数据的用户标签构建方法及系统。

发明内容

本发明的目的是针对现有的短视频用户画像中标签生成技术中存在的问题，提出了利用多模态数据构建用户画像的方法。在用户画像过程中使用视频、文本、平台认证等多维信息进行标签生成，从多个维度对用户的偏好、特性进行理解，以弥补使用单一数据源生成标签的不足之处。

为实现上述目的，本发明提供如下技术方案：一种基于多模态数据的用户标签构建方法，所述方法包括如下步骤：

S100数据预处理，采集短视频平台用户的数据并对数据进行分类，数据种类包括视频信息、平台信息和文本内容信息；

S200视频标签处理，对视频信息进行分析计算，并对依据视频内容输出视频标签；

S300平台信息标签处理，依据平台标签信息对用户文本信息进行处理，并输出平台信息标签；

S400文本内容标签处理，对文本内容信息进行处理并输出文本信息标签；

S500标签画像生成，将上述步骤的视频标签、平台信息标签和文本信息标签整合生成标签画像；

S600输出用户标签，依据标签画像输出用户标签。

作为本发明的一种优选实施方案，所述步骤S100中数据种类包含内容如下：

视频信息，用户发布的所有视频及浏览过的视频，其中需要对视频截帧归一化处理；

平台信息，包括用户的认证信息、粉丝数量，需要将数据结构化保存；

文本信息，包括用户名、用户签名、视频描述，将数据结构化保存。

作为本发明的一种优选实施方案，所述步骤S200详细步骤如下：

S201：构建视频风格分类算法；

在实际使用风格算法如下

1)根据预先设置的搞笑、新闻、财经等风格类别分别收集500例视频并做切帧、归一化等预处理；

2)采用预训练的VGG16分类模型进行分类模型训练；

S202：将用户能获取到的所有视频截帧后的数据进行上述步骤推理，统计所有帧在视频风格算法推理完成后的输出类别，将出现次数最多的top1类别作为该用户的视频风格偏好标签。

作为本发明的一种优选实施方案，所述步骤S201中模型采用预训练的VGG16，其中包含5个卷积层，第一个卷积层的输入input的尺寸为224*224*3，其网络结构由13个卷积层和3个全连接层构成，卷积核尺寸为3*3，池化层尺寸为2*2，输出的全连接层连接一个softmax函数，输出维度为视频风格的标签类别个数。

作为本发明的一种优选实施方案，所述步骤S300的详细步骤如下：

S301：根据平台采集的用户认证信息进行分类，输出用户角色标签，所述标签分类如：大V认证账户、普通账户；

S302：根据用户粉丝数，按照阈值划分，输出用户影响力标签，其中阈值根据经验设置为粉丝数2000，并且该阈值可作为配置选项调整。

作为本发明的一种优选实施方案，所述步骤S400详细步骤如下：

S401：构建用户分类标签体系列表；

S402：根据获取的用户文本信息进行分词、过滤特殊符号、繁体字转化处理；

S403：将上述处理完成的文本内容在标签体系列表中过滤，若匹配成功则输出列表中对应的标签，其中实际使用流程如下：

{

'video':'sample1.mp4',

'label':['美妆','高','活跃用户','官方账号','正常内容','设备正常']

}。

一种基于多模态数据的用户标签构建系统，所述系统包括：

数据处理模块，所述数据处理模块用于从短视频平台获取数据并对数据进行分类；

视频标签模块，所述视频标签模块用于对数据处理模块采集的视频信息进行处理输出视频标签；

平台信息标签模块，所述平台信息标签模块用于对数据处理模块采集的平台信息进行处理输出平台信息标签；

文本内容标签模块，所述文本信息标签模块用于对数据处理模块采集的文本信息进行处理并输出文本内容标签信息；

画像标签生成模块，所述画像标签生成模块用于依据视频标签、平台信息标签和文本内容标签生成画像标签；

输出用户标签模块，所述输出用户标签模块用于依据画像标签输出用户标签信息。

与现有技术相比，本发明的有益效果是：

1.本发明采用视频风格分类算法对用户产生的视频进行截帧过滤、统计，输出用户视频内容偏好标签，该维度比较真实的体现了用户的喜好；

2.本发明结合了用户视频、平台采集信息、文本内容等多源数据进行标签生成，使得生成的标签结果能够更好的刻画用户的特征。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明一种基于多模态数据的用户标签构建方法的流程图；

图2为本发明一种基于多模态数据的用户标签构建系统的结构图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1-图2，本发明提供一种基于多模态数据的用户标签构建方法，所述方法包括如下步骤：

S100数据预处理，采集短视频平台用户的数据并对数据进行分类，数据种类包括视频信息、平台信息和文本内容信息；

S200视频标签处理，对视频信息进行分析计算，并对依据视频内容输出视频标签；

S300平台信息标签处理，依据平台标签信息对用户文本信息进行处理，并输出平台信息标签；

S400文本内容标签处理，对文本内容信息进行处理并输出文本信息标签；

S500标签画像生成，将上述步骤的视频标签、平台信息标签和文本信息标签整合生成标签画像；

S600输出用户标签，依据标签画像输出用户标签。

本发明采用视频风格分类算法对用户产生的视频进行截帧过滤、统计，输出用户视频内容偏好标签，该维度比较真实的体现了用户的喜好；本发明结合了用户视频、平台采集信息、文本内容等多源数据进行标签生成，使得生成的标签结果能够更好的刻画用户的特征。

进一步的，所述步骤S100中数据种类包含内容如下：

视频信息，用户发布的所有视频及浏览过的视频，其中需要对视频截帧归一化处理；

平台信息，包括用户的认证信息、粉丝数量，需要将数据结构化保存；

文本信息，包括用户名、用户签名、视频描述，将数据结构化保存。

进一步的，所述步骤S200详细步骤如下：

S201：构建视频风格分类算法；

S202：将用户能获取到的所有视频截帧后的数据进行上述步骤推理，统计所有帧在视频风格算法推理完成后的输出类别，将出现次数最多的top1类别作为该用户的视频风格偏好标签。

进一步的，所述步骤S201中模型采用预训练的VGG16，其中包含5个卷积层，第一个卷积层的输入input的尺寸为224*224*3，其网络结构由13个卷积层和3个全连接层构成，卷积核尺寸为3*3，池化层尺寸为2*2，输出的全连接层连接一个softmax函数，输出维度为视频风格的标签类别个数。

进一步的，所述步骤S300的详细步骤如下：

S301：根据平台采集的用户认证信息进行分类，输出用户角色标签；

S302：根据用户粉丝数，按照阈值划分，输出用户影响力标签。

进一步的，所述步骤S400详细步骤如下：

S401：构建用户分类标签体系列表；

S402：根据获取的用户文本信息进行分词、过滤特殊符号、繁体字转化处理；

S403：将上述处理完成的文本内容在标签体系列表中过滤，若匹配成功则输出列表中对应的标签。

一种基于多模态数据的用户标签构建系统，所述系统包括：

数据处理模块100，所述数据处理模块用于从短视频平台获取数据并对数据进行分类；

视频标签模块200，所述视频标签模块用于对数据处理模块采集的视频信息进行处理输出视频标签；

平台信息标签模块300，所述平台信息标签模块用于对数据处理模块采集的平台信息进行处理输出平台信息标签；

文本内容标签模块400，所述文本信息标签模块用于对数据处理模块采集的文本信息进行处理并输出文本内容标签信息；

画像标签生成模块500，所述画像标签生成模块用于依据视频标签、平台信息标签和文本内容标签生成画像标签；

输出用户标签模块600，所述输出用户标签模块用于依据画像标签输出用户标签信息。

示例性的，处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(Read-Only Memory，ROM)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于多模态数据的用户标签构建方法，其特征在于，所述方法包括如下步骤：

S100数据预处理，采集短视频平台用户的数据并对数据进行分类，数据种类包括视频信息、平台信息和文本内容信息；

S200视频标签处理，对视频信息进行分析计算，并对依据视频内容输出视频标签；

S300平台信息标签处理，依据平台标签信息对用户文本信息进行处理，并输出平台信息标签；

S400文本内容标签处理，对文本内容信息进行处理并输出文本信息标签；

S500标签画像生成，将上述步骤的视频标签、平台信息标签和文本信息标签整合生成标签画像；

S600输出用户标签，依据标签画像输出用户标签。

2.根据权利要求1所述的一种基于多模态数据的用户标签构建方法，其特征在于，所述步骤S100中数据种类包含内容如下：

视频信息，用户发布的所有视频及浏览过的视频，其中需要对视频截帧归一化处理；

平台信息，包括用户的认证信息、粉丝数量，需要将数据结构化保存；

文本信息，包括用户名、用户签名、视频描述，将数据结构化保存。

3.根据权利要求1所述的一种基于多模态数据的用户标签构建方法，其特征在于，所述步骤S200详细步骤如下：

S201：构建视频风格分类算法；

S202：将用户能获取到的所有视频截帧后的数据进行上述步骤推理，统计所有帧在视频风格算法推理完成后的输出类别，将出现次数最多的top1类别作为该用户的视频风格偏好标签。

4.根据权利要求2所述的一种基于多模态数据的用户标签构建方法，其特征在于，所述步骤S201中模型采用预训练的VGG16，其中包含5个卷积层，第一个卷积层的输入input的尺寸为224*224*3，其网络结构由13个卷积层和3个全连接层构成，卷积核尺寸为3*3，池化层尺寸为2*2，输出的全连接层连接一个softmax函数，输出维度为视频风格的标签类别个数。

5.根据权利要求3所述的一种基于多模态数据的用户标签构建方法，其特征在于，所述步骤S300的详细步骤如下：

S301：根据平台采集的用户认证信息进行分类，输出用户角色标签；

S302：根据用户粉丝数，按照阈值划分，输出用户影响力标签。

6.根据权利要求4所述的一种基于多模态数据的用户标签构建方法，其特征在于，所述步骤S400详细步骤如下：

S401：构建用户分类标签体系列表；

S402：根据获取的用户文本信息进行分词、过滤特殊符号、繁体字转化处理；

S403：将上述处理完成的文本内容在标签体系列表中过滤，若匹配成功则输出列表中对应的标签。

7.一种基于权利要求1-6所述的多模态数据的用户标签构建系统，其特征在于，所述系统包括：

数据处理模块，所述数据处理模块用于从短视频平台获取数据并对数据进行分类；

视频标签模块，所述视频标签模块用于对数据处理模块采集的视频信息进行处理输出视频标签；

平台信息标签模块，所述平台信息标签模块用于对数据处理模块采集的平台信息进行处理输出平台信息标签；

文本内容标签模块，所述文本信息标签模块用于对数据处理模块采集的文本信息进行处理并输出文本内容标签信息；

画像标签生成模块，所述画像标签生成模块用于依据视频标签、平台信息标签和文本内容标签生成画像标签；

输出用户标签模块，所述输出用户标签模块用于依据画像标签输出用户标签信息。

Images