CN114579747A - 一种识别化妆品直播营销违规宣传方法 - Google Patents

Abstract

为了避免客户在观看化妆品直播时，因直播内容违规宣传而盲目下单，导致难以维权。本发明公开了一种识别化妆品直播营销违规宣传方法，从夸大宣传和虚假宣传两方面去识别是否存在违规宣传现象。包括：一、依据有关法律法规，对化妆品直播营销中常见的违规宣传进行划分，划分为夸大宣传三类和虚假宣传一类。二、基于直播转换的文本数据使用鲸鱼优化寻优算法，依据化妆品直播营销的三个夸大宣传类别，提取分类特征词集合，提供是否存在夸大宣传的依据。三、根据直播转换的文本和图像数据，形成文本图和视觉图，进行节点级和结构级匹配，计算整体相似度，从而识别虚假宣传。

Description

一种识别化妆品直播营销违规宣传方法

技术领域

本发明涉及自然语言处理与图像处理领域，尤其涉及一种基于文 本和图像融合识别化妆品直播营销违规宣传方法。

背景技术

近年来，网络直播在我国兴起，并呈现快速发展趋势，到目前为 止，直播电商已经成为电商发展主流，商品信息展示动态化的趋势逐渐明显， 然而也产生了一些新的消费问题。直播行业产品质量问题频发、营销主播夸 大和虚假宣传，其中化妆品行业尤为突出。因此在实际客户观看直播时，往 往难以判断直播是否涉及到违规宣传，从而盲目下单，导致难以维权。

发明内容

为了解决上述问题，本发明提供了一种基于鲸鱼优化算法和聚类 算法的有关化妆品直播营销是否违规宣传的识别方法，提供一种先验知识， 依据化妆品有关条例，将直播营销中的常见违法宣传分成有关宣传用于的前 三类和虚假宣传的第四类，以一个直播商品为单位，截取这个商品的直播音 视频，然后通过讯飞听见软件和Video to Picture软件，将该直播内容转换成 文本数据和图像数据，对文本数据将进行分析，特征提取，进而聚类，完成 对宣传用语的违规宣传分类，再通过Faster R-CNN深度学习模型和LTP (哈工大语言技术平台)分别检测特征区域并解析语义依赖，形成视觉图和 文本图，完成节点级匹配和结构级匹配，以相似度为目标函数，建立图文匹 配的虚假宣传识别模型，从而形成文本图像融合的综合直播营销违规宣传模 型，提供观看直播营销人群一种先验知识，具有一定的实用价值。

根据本申请的一个方面，提出一种识别化妆品直播营销违规宣传 的方法：

S1、首先有关化妆品选择法律法规，将直播营销中常见违反广告 法的情形大致分为四类，前三类是关于宣传用语的违规宣传，第四类是虚假 宣传。

具体的，步骤S1具体为：

S101、第一类：乱用最高级、唯一级等极限关键字以及化妆品使 用纯天然制品、无副作用等绝对化语言。称为类别1

S102、第二类：化妆品使用或者变相使用国家机关和国家机关工 作人员的名义以及利用广告代言人作推荐、证明。称为类别2。

S103、第三类：化妆品广告宣传医疗作用或者使用医疗术语以及 以暗示方法使人误解其效用。称为类别3。

S104、第四类：以虚假或者引人误解的内容欺骗、误导消费者的 其他情形。单独称为虚假宣传。

S2、首是对文本的处理，通过讯飞听见软件将直播营销音频转化 为文本，将文本进行预处理后形成文本数据集，按照4：1分训练集和测试 集，预处理后的训练集文本利用jieba分词器进行分词，使用实数编码对句 子进行编码，生成输入序列并将其向量化表示。

S3、将输入序列送入基于鲸鱼优化算法特征提取模型，按照5折 交叉验证法，以分类精度为目标函数，设置迭代次数和函数参数，得到主题 关键特征词解集，构建分类关键词集合。

S4、由于关键特征词集合内包含词汇量大，之后文本数据采用 word2vec模型中的Skip-gram模型，对其进行向量化表示，再根据K- means++聚类算法进行分类词聚类，得到聚类簇。

S5、根据形成的聚类簇，对比直播中的文本数据，从而判断直播 营销中是否存在宣传用语上的违规宣传。

S6、将已经预处理完的文本数据根据LTP(哈工大语言技术平 台)，解析句子中的宾语(名词)、关系(动词)和属性(形容词或量词)以及之间 的语义依赖关系，形成文本图。

S7、其次的是对于图像的处理，通过Video to Picture软件将直播 视频逐帧转为图像数据，形成数据集。对其进行预处理，选取存在违规宣传 的图像，然后对图像分析标注出违规宣传位置及类别，构成训练样本集。

S8、利用训练样本集对FasterR-CNN模型框架进行训练，其中采 用的是一种基于Two-Stage的目标检测算法。通过第一步对提取直播图像中 检测候选区域和第二步对直播图像的候选区域进行特征提取与分类，形成视 觉图。

S9、将文本的文本图和图像的视觉图进行节点级匹配和结构级匹 配，匹配两个图学习细粒度对应，产生文本与图像的全局相似度，作为基于 图文匹配识别虚假宣传的依据。

S10、综合违规宣传识别模型分类在基于文本的夸大宣传识别和基 于文本图像的虚假宣传识别两部分，某个化妆品在直播营销存在夸大宣传和 虚假宣传任意其一，或者两者都存在，那么都可视为违规宣传。

本发明有益效果：本发明采用一种识别化妆品直播营销违规宣传 模型，先将化妆品常见违规宣传情形大致分类为夸大宣传和虚假宣传，以一 个直播商品为单位，通过建立夸大宣传识别和虚假宣传识别的综合违规宣传 识别模型，给客户提供一种判断是否涉及违规宣传的先验方法，从而能够预 防一些产品质量问题。

根据下文结合附图对本发明的具体描述，本领域技术人员将会更 加明了本发明的上述以及其他目的、优点和特征。

附图说明

图一为本申请一个实施例的一种识别化妆品直播营销违规宣传流 程图。

图二为本申请一个实施例的鲸鱼优化算法模型图。

图三为本申请一个实施例的文本与图像计算整体相似度模型。

图四为本申请一个实施例的基于直播数据识别化妆品违规宣传的 模型结构。

具体实施方式

实施过程主要包括三个步骤：依据有关法律法规将化妆品违规宣 传大致分为有关宣传用语的前三类和虚假宣传一类、用新型启发式寻优算法 处理直播音频转换的文本数据识别夸大宣传和根据一种新型的图文结构匹配 网络建立识别直播营销虚假宣传模型。

S1、根据《中华人民共和国广告法》、《化妆品命名规则》和 《化妆品命名指南》等法律法规，对化妆品直播营销中常见涉及违规宣传大 致分为三类。

S2、以一个直播商品为单位，通过讯飞听写软件将直播营销音频 转化为文本，将文本进行预处理后形成文本数据集，按照4：1分训练集和 测试集，预处理后的训练集文本利用jieba分词器进行分词，使用实数编码 对句子进行编码，生成输入序列并将其向量化表示。

S3、将输入序列送入基于鲸鱼优化算法特征提取模型，按照5折 交叉验证法，以分类精度为目标函数，设置迭代次数和函数参数，随机进行 变异操作，得到最优解，构建分类关键词集合。

S4、由于关键特征词集合内包含词汇量大，之后分完词的文本数 据采用word2vec模型中的Skip-gram模型，根据K-means++聚类算法进行分 类词聚类，得到类别聚类簇。

S5、根据形成的聚类簇，对比直播中的文本数据，从而判断直播 营销中是否存在宣传用语上的夸大宣传。

具体的，步骤S1具体为：

S101、第一类：乱用最高级、唯一级等极限关键字以及化妆品使 用纯天然制品、无副作用等绝对化语言。称为类别1

S102、第二类：化妆品使用或者变相使用国家机关和国家机关工 作人员的名义以及利用广告代言人作推荐、证明。称为类别2。

S103、第三类：化妆品广告宣传医疗作用或者使用医疗术语以及 以暗示方法使人误解其效用。称为类别3。

S104、第四类：以虚假或者引人误解的内容欺骗、误导消费者的 其他情形。单独称为虚假宣传。

具体的，步骤S2为：

S201、设一条文本为F，F＝{f₁,f₂,..,f_N}为文本数据分为词后的N个 词，利用实数编码将F转换为X，则X∈{x₁,x₂,...x_N}，x_i∈[-1,1]。而 Q∈{-1，0，1}为主题类别(类标签)，其中“-1”代表类别1、“0”代表类别 2和“1”代表类别3。

具体的，步骤S3为：

S301、设定迭代次数t＝50,以分类精度为目标函数，目标函数为：

Accuracy＝(TP+TN+TC)/(TP+TN+TC+FP+FN+FC)

其中TP+TN+TC为预测类别与真实类别相同的类别数之和， TP+TN+TC+FP+FN+FC为样本总和。

S302、输入序列后，利用两种寻优方式，一种为包围猎物方式， 设定好迭代次数t，根据

的值是否大于1，来选择游动方式。

的取值公 式为：

a从1线性减少到0，r向量是[0,1]中的随机向量

S303、当

向随机位置游动函数为：

其中

S304、当

向最佳位置游动函数为：

其中

X^*为目前最佳位置。

S305、另外一种为气泡网攻击方式，其具体函数为：

其中b为常数(默认取1)，l为 均匀分布在[-1,1]内的随机数，X^*为目前最佳位置。

S306、并且对x_i进行变异操作，使其逃离局部最优点。其具体操 作为：

m为随机选择的变异点。

具体的，步骤S4具体为：

S401、由于主分类特征词集合词汇量过大，使用word2vec模型中 的Skip-gram模型，对分好词的文本文本中的词语转换为词向量。所使用的 参数为：sg＝1,size＝100,widow＝8，Min_count＝3,hs＝1,iter＝5。

S402、使用K-means++聚类算法进行分类特征词聚类，从输入的 特征词集合选择一个词作为聚类中心C_i。

S403、计算特征词集合中的每个词F_j与F_i的距离D_i,j，然后计算特 征词被选为下个聚类中心的概率P_c，其公式为：

P_c＝D_i,j/∑_j∈nD_i,j

最后在[0,1]中选取随机值，选取落在P_c的特征词为下一个中心点。

S404、重复S305的步骤直到选出K个中心点。

S405、针对特征词集合中的F_j，计算它与K个中心点的距离，并 合并到相似度最高的类中。

S406、重新计算聚类中心，重复S405和S406知道聚类中心的位 置不再变化。得出聚类簇。

S6、将已经预处理完的文本数据根据LTP(哈工大语言技术平 台)，解析句子中的宾语(名词)、关系(动词)和属性(形容词或量词)以及之间 的语义依赖关系，形成文本图。

具体的，步骤S6具体为：

S601、通过LTP解析文本的各个词语，给定一个包含m个词语的 文本T，将特征表示为{u₁,u₂,…u_m}，其中每一个词语都与一个特征向量相关 联。

S602、根据LTP解析出文本的各种词性的词语以及其中的语义依 赖关系，为每个文本构造一个无向稀疏图G₁＝(V₁,E₁)，使用矩阵A表示每个 节点的邻接矩阵，并添加自循环，将边缘权值表示为一个矩阵W_e，表示节点 之间的语义依赖性。

S603、通过LTP对于文本的语义依赖分析，因为它们都是描述同 一个直播商品，基于此观察，将每个词语设置为图节点，如果节点存在语义 依赖，则存在图边，然后计算词语表示u的相似度矩阵S，具体公式为：

其中S_ij表示第i个节点和第j个节点之间的相似性。λ是一个比例 因子，通过相似矩阵与相邻矩阵的对应元素相乘得到权重矩阵W_e，然后进行 L2归一化，具体公式为：

S7、其次的是对于图像的处理，以一个直播商品为单位，通过将 直播视频逐帧转为图像数据，形成数据集。对其进行预处理，选取存在违规 宣传的图像，然后对图像分析标注出违规宣传位置及类别，构成训练样本集。

S8、利用训练样本集对Faster-RCNN模型框架进行训练，其中采 用的是一种基于Two-Stage的目标检测算法。通过第一步对提取直播图像 中检测候选区域和第二步对直播图像的候选区域进行特征提取与分类，形 成视觉图。

具体的，步骤S8具体为：

S801、输入训练集，建立CNN卷积层基础网络，通过该层提取输 入图像特征得到featuremap，并且固定输入图像的尺寸。

S802、RPN区域候选层网络输出了经过RPN网络挑选后得到的合 适的positiveanchor，将CNN中获得的特征向量输入到全连接神经网络中 训练，训练得到的输出值，输入softmax计算提取特征。

S803、将每个图像表示为无向全连接图，其中节点设置为 FasterR-CNN模型检测到的显著区域，并且每个节点与所有其他节点关联， 为了消除成对区域的方向和距离，使用极坐标对每个图像的关系进行建模， 然后基于成对区域的边界框的中心计算极坐标(ρ,θ)，并将边缘权重矩阵W_e设置为成对极坐标，形成视觉图G₂＝(V₂,E₂)。

S9、将文本的文本图G₁＝(V₁,E₁)和图像的视觉图G₂＝(V₂,E₂)进行节 点级匹配和结构级匹配，匹配两个图学习细粒度对应，产生文本与图像的 整体匹配得分g(G₁,G₂)，作为基于图文匹配识别虚假宣传的依据。

具体的，步骤S9为：

S901、首先将文本图的节点表示定义为U_α∈R^m×d，将视觉图的节 点定义为V_β∈R^{n ×d}。其中，m×n为文本图和可视化的图节点数，d为表示 维数。

S902、详细描述文本图上的节点级匹配，然后在视觉上进行粗略 描述。计算视觉节点和文本节点之间的相似度，表示为

然后沿着 softmax函数。相似性值度量视觉节点与每个文本节点的对应关系。将所有 视觉点聚合为特诊向量的加权组合，其中权重是计算出的相似度，其具体 公式为：

λ是一个聚焦于匹配节点的缩放因子。

S903、同时将相似性由标量转换为向量表示，将文本节点中的第i 个特征以及其对应的聚合可视化节点分为t个块，分别表示为[u_i1,u_i2,…,u_it] 和[c_i1,c_i2,…,c_it]。每个块的相似度是在其对应的文本图与视觉图成对块中计 算的，例如第j个块的相似度公式为：

x_ij＝cos(u_ij,c_ij)，

其中x_ij为标量值，cos(·)为余弦相似度。第i个文本节点的匹配向 量可以通过它所有的连接块的相似度来获得，即：

x_i＝x_i1||x_i2||…||x_i3，

其中||表示连接，这样就可以，使得每个文本节点与其匹配的可视 节点相关联，这些可视节点又可以将在结构级匹配时传给它们的连接块， 以便清楚连接块学习细粒度的短语对应。

S904、对称的，在可视图中操作是一样的，在每个可视节点上也 进行节点水平匹配，对应的文本节点将以不同的方式关联，公式为：

S905、结构级匹配将之前形成的节点即匹配向量作为输入，并将 这些向量与图的边缘一起传播到相邻的节点，然后通过GCN对相邻的匹配 向量进行积分来更新每个节点的匹配向量。GCN层应用K个内核，通过这 些内核集成相邻匹配向量。公式为：

其中N_i表示第i个节点的领域，W_e表示之前所形成的边缘权重， W_k和b是第k个核需要学习的参数，因为应用了k个核，所以空间卷积的 输出是k个核输出的串联，从而产生反映连接节点对应关系的卷积矢量， 这就是局部短语。

S906、将卷积后的向量输入到一个多层感知器(MLP)，考虑所 有短语的学习对应关系，推断出全局匹配分数，表示文本结构图于视觉结 构图之间的匹配程度。视觉对应文本和文本对应视觉的匹配得分分别为：

其中W_s，b_s表示MLP的参数，这个参数包括了两个全连接层，函 数σ(·)表示tanh激活，通过在视觉图和文本图上分别执行结构级匹配，可 以互相补充学习短语，那么图像-文本对应的整体匹配得分给g(G₁,G₂)为两 个匹配得分之和：

g(G₁,G₂)＝s_t→i+s_t→i。

S907、依据计算出来的整体匹配得分，对直播商品是否存在虚假 宣传进行判断。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流 程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流 程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算 机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使 得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的 功能的装置。

以上所述仅为本发明的最有效实施方案,应当指出:对于本技术领 域的普通技术人员来说,在不脱离本发明工作原理的前提下,还可以做出适 当的改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种化妆品直播营销违规宣传综合识别方法,其特征在于包括：

根据有关法律法规，将化妆品直播营销中常见涉及违规宣传大致分为基于宣传用语的夸大宣传和基于直播内容的虚假宣传；

其中夸大宣传分为三类，虚假宣传单独为一类；

将直播音频逐句转为文本数据集和直播视频逐帧转为图像数据集；

根据提取文本数据违规宣传特征，形成聚类簇，识别宣传用语上的夸大宣传；

根据转换的文本数据和图像数据，建立直播内容上的虚假宣传识别模型。

2.根据权利要求1所述的计算基于文本违规宣传评分方法,其特征在于：文本类别特征提取时，采用鲸鱼优化寻优算法，包括：

设一条文本为F，F＝{f₁,f₂,..,f_N}为文本数据分为词后的N个词，利用实数编码将F转换为X，则X∈{x₁,x₂,...x_N}，x_i∈[-1,1]，生成输入序列；

针对划分的违规宣传四个类别，将其标注为Q∈{-1，0，1}，其中“-1”代表类别1、“0”代表类别2和“1”代表类别3；

根据抛硬币的方式，进入气泡网寻优方式和包围猎物寻优方式两种寻优方式，其中气泡网寻优为：

其中b为常数(默认取1)，l为均匀分布在[-1,1]内的随机数，X^*为目前最佳位置；

包围猎物中通过判断

的值是否大于1，选择两个游动方向，其具体寻优方式为：

当

向随机位置游动函数为

其中

当

向最佳位置游动函数为：

其中

X^*为目前最佳位置；

将群体中解进行随机变异，逃出局部最优；

m为随机选择的变异点；

以分类精度为目标函数，过滤掉无关特征词，形成类别特征词集合。

3.根据权利要求1所述的基于文本与图像融合识别违规宣传方法，其特征在于，运用一种新型的图文匹配网络建立识别直播内容虚假宣传模型，包括：

将转换后的文本数据，运用LTP解析句词性和语义关系，形成文本图；

将转换后的图像数据，运用Faster-R CNN模型提取特征，形成视觉图；

进行文本图与视觉图之间的节点级匹配，计算文本图与视觉图各自各自节点自己的相似度，然后沿着视觉轴根据softmax函数度量节点与节点之间的对应关系，将所有视觉节点聚合为特征向量的加权组合；

结构级匹配将节点级匹配的向量作为输入，运用GCN对相邻匹配向量进行积分来更新下个向量，将卷积后的向量输入一个多层感知器，计算相似度，作为识别直播内容虚假宣传依据。

Images