CN111191445A - 广告文本分类方法及装置 - Google Patents
广告文本分类方法及装置 Download PDFInfo
- Publication number
- CN111191445A CN111191445A CN201811363231.3A CN201811363231A CN111191445A CN 111191445 A CN111191445 A CN 111191445A CN 201811363231 A CN201811363231 A CN 201811363231A CN 111191445 A CN111191445 A CN 111191445A
- Authority
- CN
- China
- Prior art keywords
- text
- classified
- word
- similarity
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 76
- 238000003860 storage Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及数据处理技术领域，具体涉及一种广告文本分类方法、一种广告文本分类装置、一种存储介质以及一种计算机系统。所述方法包括：获取待分类文本；利用已训练的词向量模型计算所述待分类文本词向量；根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。本公开能够自动将待分类文本划分到相似度评分最高的对应的细分类别下，从而实现文本分类与业务给定细分类别的高度匹配。进而实现对广告文本的准确分类。
Description
技术领域
本公开涉及数据处理技术领域，具体涉及一种广告文本分类方法、一种广告文本分类装置、一种存储介质以及一种计算机系统。
背景技术
随着移动互联网行业的快速发展，移动终端的广告流量价值也随之增大，以图片形式承载广告内容，是广告的重要展现形式之一。受移动终端尺寸限制，这些图片承载的广告文本通常简洁精炼，囊括的信息对用户的导流具有决定性的影响。分析提炼这些文本信息的内在特征，往往需要在基本类目划分的基础上开展，因此，如何实现文本自动分类，一直是相关行业研究和应用的热点。
现有的文本分类方法主要包括规则匹配方法和模型训练方法。其中，规则匹配方法即根据经验人为设定文本类别的划分规则。而模型训练方法则是利用已训练的机器学习模型实现文本的自动分类。但上述的方法仍存在一定的缺陷。例如，规则匹配方法的分类效果的好坏直接依赖于规则设定的方法，在专业细分场景下，不同类别往往存在一定程度的交叉和重叠，这增加了规则设定的难度。同时，随着文本规模的增长，该方法维持效果所需设定的规则复杂度也随之增加，不利于分类效果的持续提升。而对于模型训练方法来说，有监督的模型训练需人工做好训练样本的分类标签工作，在考虑现行成本的情况下，不适合海量数据的训练分析。同时，由于实际的业务场景存在多变性，一旦业务规则给定的文本分类标准有所改变，前期的文本标签工作都将作废，灵活性相对较差。而无监督的模型训练方法在专业细分场景下，模型分类结果很难与实际业务要求的分类结果相匹配，不适合需求明确且细分类目已知的文本分类场景。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种广告文本分类方法、一种广告文本分类装置、一种存储介质以及一种计算机系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的广告文本分类不准确，分类灵活性差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种广告文本分类方法，包括：
获取待分类文本；
利用已训练的词向量模型计算所述待分类文本词向量；
根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；
将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
在本公开的一种示例性实施例中，在虚拟环境中使所述训练对象运动的步骤之前，所述方法还包括：
接收用户在所述虚拟环境中对训练对象的配置。
在本公开的一种示例性实施例中，所述根据所述待分类文本的词向量计算与给定类目对应关键词的相似度后，所述方法还包括：
对所述待分类文本与给定类目的各相似词的相似度结果做平滑处理，以根据平滑处理后的相似度结果计算所述待分类文本与各所述给定类目的相似度评分结果。
在本公开的一种示例性实施例中，所述对所述待分类文本与给定类目的各相似词的相似度结果做平滑处理包括：
其中，fc[·]为平滑函数，Xt为待分类文本t的分词集合。
在本公开的一种示例性实施例中，根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分包括：
其中，l为待分类文本的分词个数。
在本公开的一种示例性实施例中，所述获取待分类文本包括：
获取原始文本，并对其进行预处理以获取待分类文本；
其中，所述预处理包括分词处理及清洗处理。
在本公开的一种示例性实施例中，所述方法还包括：预先训练所述词向量模型，包括：
获取背景语料；
以所述背景语料为输入，对Word2vec模型训练以获取词向量模型，及所述背景语料对应的词向量；
计算所述背景语料与给定类目的关键词之间的相似度以获取所述给定类目的关键词对应的相似词集合；
根据所述相似词的相似度计算各所述关键词对应的所述相似词的权重。
在本公开的一种示例性实施例中，所述根据所述关键词的相似度计算各所述关键词对应的所述相似词的权重包括：
其中，k为关键词，Kc、Lc分别为类目c的相似词集合和相似词个数，w(x,k)为词语x与相似词k的向量相似度，Tk为关键词k的topN相似词集合，N为正整数。
在本公开的一种示例性实施例中，所述背景语料包括给定类别专业语料、通用语料、广告文本以及补充语料中的任一项或任意多项。
在本公开的一种示例性实施例中，所述方法还包括：
获取所述广告文本包括：
获取原始广告图像，并识别所述原始广告图像中的文本数据；
对所述文本数据进行预处理以获取所述广告文本。
根据本公开的第二方面，提供一种广告文本分类装置，包括：
文本获取模块，用于获取待分类文本；
词向量计算模块，用于利用已训练的词向量模型计算所述待分类文本词向量；
相似度计算模块，用于根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；
分类结果匹配模块，用于将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的广告文本分类方法。
根据本公开的第四方面，提供一种计算机系统，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述的广告文本分类方法。
本公开的一种实施例所提供的广告文本分类方法中，通过利用给定语料训练的词向量模型计算待分类文本的词向量，可以获取各待分类文本的准确的向量表示。通过利用待分类文本与各给定类目的相似词之间的相似度计算待分类文本与各给定类目之间的相似度评分，自动将待分类文本划分到相似度评分最高的对应的细分类别下，从而实现文本分类与业务给定细分类别的高度匹配。进而实现对广告文本的准确分类。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出现有技术中一种广告文本分类方法的示意图；
图2示意性示出现有技术中一种训练词向量模型的方法的示意图；
图3示意性示出本公开示例性实施例中一种广告文本分类装置的示意图；
图4示意性示出本公开示例性实施例中一种计算机系统的示意图；
图5示意性示出本公开示例性实施例中一种广告文本分类装置的另一种示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
对于专业细分场景下的文本分类一直是自然语言处理的研究热点。现有分类方法一般包括：基于规则匹配、基于有监督模型或者基于无监督模型的分类。对于规则匹配方法来说，在专业细分场景下，相近类别往往容易出现重叠，设定的规则难以明确类别界限，且随着数据量不断增长，匹配的复杂性要求也随之增加，人工维护成本较高。对于有监督的模型分类，包括各类机器学习的分类模型，需要人力和时间成本积累相关的分类标签，一旦给定的文本类别随着业务变化而不断改变，已打好的标签将不能持续使用。而基于无监督的模型分类方法，可以高效的实现文本类别的自行划分，但问题在于分出的广告文本类别与业务需求的类别往往不匹配。事实上，实际业务需求的类别并不是严格按语义上的分类，而是基于生产设定的业务框架下的分类。在这种情况下，无监督模型很难把握人为设定的分类逻辑，直接调用现有的成熟算法，难以达到符合本发明技术方案预期的文本分类效果。此外，在实际业务场景下，文本分类并不等同于严格语义层面的分类，通用型的文本分类方法往往不能达到预期的效果。
本示例实施方式中首先提供了一种广告文本分类方法，可以应用于在专业领域细分场景中的广告文本自动分类。参考图1中所示，上述的广告文本分类方法可以包括以下步骤：
S11，获取待分类文本；
S12，利用已训练的词向量模型计算所述待分类文本词向量；
S13，根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；
S14，将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
本示例实施方式所提供的虚拟环境下机器人训练方法中，一方面，通过利用给定语料训练的词向量模型计算待分类文本的词向量，可以获取各待分类文本的准确的向量表示。另一方面，通过利用待分类文本与各给定类目的相似词之间的相似度计算待分类文本与各给定类目之间的相似度评分，自动将待分类文本划分到相似度评分最高的对应的细分类别下，从而实现文本分类与业务给定细分类别的高度匹配。进而实现对广告文本的准确分类。
下面，将结合附图及实施例对本示例实施方式中的广告文本分类方法的各个步骤进行更详细的说明。
步骤S10，预先训练词向量模型。
本示例实施方式中，具体来说，参考图2所示，上述的步骤S10可以包括：
步骤S101，获取背景语料；
步骤S102，以所述背景语料为输入，对Word2vec模型训练以获取词向量模型，及所述背景语料对应的词向量；
步骤S103，计算所述背景语料与给定类目的关键词之间的相似度以获取所述给定类目的关键词对应的相似词集合；
步骤S104，根据所述相似词的相似度计算各所述关键词对应的所述相似词的权重。
举例而言，上述的背景语料可以包括给定类别专业语料、通用语料、广告文本以及补充语料中的任一项或任意多项。对于给定类别专业语料来说，可以根据具体业务场景加载具体的语料内容。例如，对于金融理财方面来说，对应的给定类别专业语料便可以是对金融财经专业类语料进行重点补充，例如a股、美盘、定投等。
此外，上述的补充语料可以包括针对业务场景的所使用过的历史语料，或者商城的商品库名称列表等。例如：白条、京豆、摇一摇等词语，并可以对部分特殊词语单独设定较高的词频系数。或者，补充语料还可以是针对特定分类的部分敏感词，例如：秒、领、送、返、满、减等单字信息。
通过在背景语料中增加给定类别专业语料以及针对业务背景的补充语料，可以增加系统分词的准确性，进而保证后续对该类文本的判决效果。
对于上述的广告文本来说，具体来说，获取所述广告文本可以包括以下步骤：
步骤S1011，获取原始广告图像，并识别所述原始广告图像中的文本数据；
步骤S1012，对所述文本数据进行预处理以获取所述广告文本。
上述的原始广告图像可以是通过具体业务场景的相关广告素材中获取。广告素材可以是网站页面中的欢迎页、首页横幅或滚动栏目等相关图片。在提取原始广告图像后，可以利用例如图像识别提取广告中的文本数据，并对文本数据进行预处理。举例来说，对广告文本数据的预处理可以包括：分词及清洗处理。具体而言，可以采用jieba分词工具对原始的文数据本进行分词，并删除分词结果中的标点、数字以及副词、助词等弱词性词汇，利用停用和/或低频词库对分词结果进行筛选，以及对分词结果进行繁简体/全半角转换等处理。
当然，在本公开的其他示例性实施例中，在获取给定类别专业语料、通用语料、广告文本以及补充语料等语料后，也可以对该些语料内容统一进行清洗处理，以清除语料中可能存在的重复、低频或弱性词汇，进而获取更加完整、准确的背景语料。
在获取背景语料后，便可以将文本输入到Word2vec模型进行训练，构建基于背景语料的分布式词向量，并获取背景语料中各文本对应的词向量。
对于具体的给定类目，可以根据既有业务确定。例如，对于金融理财领域来说，可以包括基金、白条、保险、支付、银行等多个类目。针对每一个给定类目，可以确定至少一个关键词，以及对应的topN个相似词，关键词可以包括一个核心关键词以及多个关联关键词。相似词可以是零或多个，要求对于给定类目具有一定的代表性和独立性，且宁缺毋滥。例如“银行”类的核心关键词为“银行”，关联关键词为“储蓄”和“信用”，基本涵盖了银行的两大业务，无需再添加“存款”、“借贷”等重复性的词汇，避免了传统词语匹配所需穷尽方法。
利用已训练好的词向量模型计算各分词的词向量，便可以利用词语间的相似度计算每个给定类目的关键词的topN相似词，并计算每个相似词对应的权重。具体来说，词语相似度的度量方法可以利用词向量模型训练出的词向量计算余弦距离d，具体公式为：
其中，Ai、Bi分别表示词向量A、B的第i个分量的值，5表示词向量长度，并可视文本规模作调整。
进一步的，由于每个给定类目的关键词以及对应的相似词数量不一致，对于相似词的权重计算应当考量对应类别的关键词数量，并对于不同关键词的相同相似词，可以累加其权重。具体来说，词语x在给定类目c下权重Wc(x)计算为：
其中，k为关键词。
匹配函数I(x,k)表示为：
其中，KC、LC分别为给定类目c的关键词集合和关键词个数，w(x,k)为词语x与关键词k的Word2vec向量相似度，Tk为关键词k的topN相似词集合；N为正整数，并可根据语料规模调整。
基于Word2vec模型构建的分布式词向量，可以基于给定的背景语料，通过训练学习语义信息，将语料中的每一个词映射为维度较小的词向量上。实现相似的词语有相似的向量分布空间，也能适应字面不匹配但是语义匹配的情况。此处训练的Word2vec模型，包含了清洗后的所有词向量数据。随着训练文本规模的增大，这些词向量数据的关联性越准确，提取的相似词也就越准确。Word2vec模型的训练方法可按其通用的方法进行，具体的迭代次数和向量维数可根据文本数据规模进行调整。
S11，获取待分类文本。
本示例实施方式中，可以对各类广告图像进行文本识别，并提取出对应的原始文本。对原始文本利用jieba分词工具进行分词处理，并对分词结果进行删除标点、数字以及副词、助词等弱词性词汇，利用停用和/或低频词库对分词结果进行筛选，以及对分词结果进行繁简体/全半角转换等处理以实现对分词结果的清洗，从而获取待分类文本。此外，上述的待分类可以是包含多个分词的文本集合。
S12，利用已训练的词向量模型计算所述待分类文本词向量。
本示例实施方式中，在获取待分词文本后，并可以利用预先训练的词向量模型计算各待分类文本中各词语的词向量。
S13，根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分。
本示例实施方式中，在获取待分类文本对应的词向量后，便可以计算待分类文本中各词语与各给定类目对应相似词进行逐一匹配，计算待分类文本中各词语与各给定类目对应相似词的相似度。对于待分类文本中的每一个词语，若与一相似词匹配，则将与该相似词的相似度的度量分值纳入到最终的相似度分数计算中。考虑到实际输入的待分类文本的文本长短不一，还可以对相似度值作加权处理。具体来说，待分类文本中每个词语x属于给定类别c的分数为：
其中，l为文本清洗后的分词个数，
匹配函数为：
其中，Wc(x)为词语x的词向量度量值。
基于上述内容，在本公开的其他示例性实施例中，在计算词语与给定类目对应相似词的相似度后，由于实际业务场景给定的细分类别可能存在特殊性，因此，还可以对各分词对于每个给定类目下的相似度分数计算结果做平滑调整。具体来说，文本t在给定类别c下的评分为：
其中，fc[·]为平滑函数，Xt为待分类文本t的分词集合。
S14，将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
本示例实施方式中，在计算获取待分类文本中各分词针对各给定类目的相似度评分，并进行平滑处理后，并可以遍历给定类别，将与待分类文本t之间相似度评分最高的给定类目判定为待分类文本对应的类别c(t)，即：
其中，C为给定类别集合，Sc(t)为类别c的评分结果。
本公开所提供的广告文本分类方法，通过利用上述给定的多种语料作为背景语料，对Word2vec模型模型进行训练，获取词向量模型，并获取给定细分类别的关键词对应的相似词集合，并利用训练的词向量模型计算待分类文本的词向量，可以获取各待分类文本的准确的向量表示。另外，通过利用待分类文本与各给定类目的相似词之间的相似度计算待分类文本与各给定类目之间的相似度评分，自动将待分类文本划分到相似度评分最高的对应的细分类别下，从而实现文本分类与业务给定细分类别的高度匹配。进而无需文本进行标签，便实现对广告文本的准确分类。能够在专业细分场景且给定类别要求已确定的情况下，不通过人为打标签而自动划分文本类别，使划分的文本各自归为相应类目下，且准确度随着数据量的增加可以不断提升。并且，随着背景语料的不断扩充，分类的精准度也将不断提升。本公开的上述实施例以金融理财领域的细分场景为示例，在本公开的其他示例性实施例中，也可应用到其他领域的细分场景中，例如地产、教育等细分领域。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图3所示，本示例的实施方式中还提供一种虚拟环境下机器人训练装置30，包括：文本获取模块301、词向量计算模块302、相似度计算模块303以及分类结果匹配模块304。其中：
所述文本获取模块301可以用于获取待分类文本。
所述词向量计算模块302可以用于利用已训练的词向量模型计算所述待分类文本词向量。
所述相似度计算模块303可以用于根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分。
所述分类结果匹配模块304可以用于将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
上述的广告文本分类装置中各模块的具体细节已经在对应的广告文本分类方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的计算机系统。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图4来描述根据本发明的这种实施方式的计算机系统600。图4显示的计算机系统600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统600以通用计算设备的形式表现。计算机系统600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S11：获取待分类文本；S12：利用已训练的词向量模型计算所述待分类文本词向量；S13：根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；S14：将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机系统600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机系统600交互的设备通信，和/或与使得该计算机系统600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，计算机系统600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与计算机系统600的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (12)
1.一种广告文本分类方法，其特征在于，包括：
获取待分类文本；
利用已训练的词向量模型计算所述待分类文本词向量；
根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；
将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
2.根据权利要求1所述方法，其特征在于，所述根据所述待分类文本的词向量计算与给定类目对应相似词的相似度后，所述方法还包括：
对所述待分类文本与给定类目的各相似词的相似度结果做平滑处理，以根据平滑处理后的相似度结果计算所述待分类文本与各所述给定类目的相似度评分结果。
3.根据权利要求2所述方法，其特征在于，所述对所述待分类文本与给定类目的各相似词的相似度结果做平滑处理包括：
其中，fc[·]为平滑函数，Xt为待分类文本t的分词集合。
4.根据权利要求1所述方法，其特征在于，根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分包括：
其中，l为待分类文本的分词个数。
5.根据权利要求1所述方法，其特征在于，所述获取待分类文本包括：
获取原始文本，并对其进行预处理以获取待分类文本；
其中，所述预处理包括分词处理及清洗处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先训练所述词向量模型，包括：
获取背景语料；
以所述背景语料为输入，对Word2vec模型训练以获取词向量模型，及所述背景语料对应的词向量；
计算所述背景语料与给定类目的关键词之间的相似度以获取所述给定类目的关键词对应的相似词集合；
根据所述相似词的相似度计算各所述关键词对应的所述相似词的权重。
7.根据权利要求6所述的方法，其特征在于，所述根据所述相似词的相似度计算各所述关键词对应的所述相似词的权重包括：
其中，k为关键词，Kc、Lc分别为类目c的相似词集合和相似词个数，w(x,k)为词语x与相似词k的向量相似度，Tk为关键词k的topN相似词集合，N为正整数。
8.根据权利要求6所述的方法，其特征在于，所述背景语料包括给定类别专业语料、通用语料、广告文本以及补充语料中的任一项或任意多项。
9.根据权利要求8所述的方法，其特征在于，获取所述广告文本包括：
获取原始广告图像，并识别所述原始广告图像中的文本数据；
对所述文本数据进行预处理以获取所述广告文本。
10.一种广告文本分类装置，其特征在于，包括：
文本获取模块，用于获取待分类文本；
词向量计算模块，用于利用已训练的词向量模型计算所述待分类文本词向量；
相似度计算模块，用于根据所述待分类文本的词向量计算与给定类目对应相似词的相似度，以获取所述待分类文本与各所述给定类目的相似度评分；
分类结果匹配模块，用于将与所述待分类文本相似度评分最高的所述给定类目配置为所述待分类文本的分类结果。
11.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至9中任一项所述的广告文本分类方法。
12.一种计算机系统，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的广告文本分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363231.3A CN111191445B (zh) | 2018-11-15 | 2018-11-15 | 广告文本分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363231.3A CN111191445B (zh) | 2018-11-15 | 2018-11-15 | 广告文本分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191445A true CN111191445A (zh) | 2020-05-22 |
| CN111191445B CN111191445B (zh) | 2024-04-19 |
Family
ID=70707090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811363231.3A Active CN111191445B (zh) | 2018-11-15 | 2018-11-15 | 广告文本分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191445B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069324A (zh) * | 2020-08-27 | 2020-12-11 | 北京灵汐科技有限公司 | 一种分类标签添加方法、装置、设备及存储介质 |
| CN112184318A (zh) * | 2020-09-30 | 2021-01-05 | 成都力欧互动网络科技有限公司 | 一种广告发布方法及装置 |
| CN112435064A (zh) * | 2020-11-27 | 2021-03-02 | 北京沃东天骏信息技术有限公司 | 推荐信息的评估方法、装置、设备及计算机可读存储介质 |
| CN113342954A (zh) * | 2021-06-21 | 2021-09-03 | 南京星云数字技术有限公司 | 一种应用于问答系统的图像信息处理方法、装置及电子设备 |
| CN113379444A (zh) * | 2021-05-13 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | 一种广告检测方法、设备、系统及计算机可读存储介质 |
| CN113934815A (zh) * | 2021-09-18 | 2022-01-14 | 有米科技股份有限公司 | 基于神经网络的广告文案特征信息识别方法及装置 |
| CN113935307A (zh) * | 2021-09-16 | 2022-01-14 | 有米科技股份有限公司 | 广告文案的特征提取方法及装置 |
| WO2022036998A1 (zh) * | 2020-08-20 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 电力系统违章管理方法、装置及电力设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052821A (ko) * | 2009-11-13 | 2011-05-19 | 고려대학교 산학협력단 | 주제 분류 모듈 및 그를 이용한 문맥 광고 시스템 |
| US8560477B1 (en) * | 2010-10-08 | 2013-10-15 | Google Inc. | Graph-based semi-supervised learning of structured tagging models |
| WO2017101342A1 (zh) * | 2015-12-15 | 2017-06-22 | 乐视控股（北京）有限公司 | 情感分类方法及装置 |
| CN107145560A (zh) * | 2017-05-02 | 2017-09-08 | 北京邮电大学 | 一种文本分类方法及装置 |
| CN107766426A (zh) * | 2017-09-14 | 2018-03-06 | 北京百分点信息科技有限公司 | 一种文本分类方法、装置及电子设备 |
| CN107844559A (zh) * | 2017-10-31 | 2018-03-27 | 国信优易数据有限公司 | 一种文件分类方法、装置及电子设备 |
| CN107861939A (zh) * | 2017-09-30 | 2018-03-30 | 昆明理工大学 | 一种融合词向量和主题模型的领域实体消歧方法 |
-
2018
- 2018-11-15 CN CN201811363231.3A patent/CN111191445B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052821A (ko) * | 2009-11-13 | 2011-05-19 | 고려대학교 산학협력단 | 주제 분류 모듈 및 그를 이용한 문맥 광고 시스템 |
| US8560477B1 (en) * | 2010-10-08 | 2013-10-15 | Google Inc. | Graph-based semi-supervised learning of structured tagging models |
| WO2017101342A1 (zh) * | 2015-12-15 | 2017-06-22 | 乐视控股（北京）有限公司 | 情感分类方法及装置 |
| CN107145560A (zh) * | 2017-05-02 | 2017-09-08 | 北京邮电大学 | 一种文本分类方法及装置 |
| CN107766426A (zh) * | 2017-09-14 | 2018-03-06 | 北京百分点信息科技有限公司 | 一种文本分类方法、装置及电子设备 |
| CN107861939A (zh) * | 2017-09-30 | 2018-03-30 | 昆明理工大学 | 一种融合词向量和主题模型的领域实体消歧方法 |
| CN107844559A (zh) * | 2017-10-31 | 2018-03-27 | 国信优易数据有限公司 | 一种文件分类方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 张新尉: "微博短文本分类算法的研究与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 04 * |
| 迟呈英;梁晓月;: "基于随机森林和支持向量机的分类特征选择", 辽宁科技大学学报, no. 02 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022036998A1 (zh) * | 2020-08-20 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 电力系统违章管理方法、装置及电力设备 |
| CN112069324A (zh) * | 2020-08-27 | 2020-12-11 | 北京灵汐科技有限公司 | 一种分类标签添加方法、装置、设备及存储介质 |
| CN112069324B (zh) * | 2020-08-27 | 2024-08-06 | 北京灵汐科技有限公司 | 一种分类标签添加方法、装置、设备及存储介质 |
| CN112184318A (zh) * | 2020-09-30 | 2021-01-05 | 成都力欧互动网络科技有限公司 | 一种广告发布方法及装置 |
| CN112435064A (zh) * | 2020-11-27 | 2021-03-02 | 北京沃东天骏信息技术有限公司 | 推荐信息的评估方法、装置、设备及计算机可读存储介质 |
| CN113379444A (zh) * | 2021-05-13 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | 一种广告检测方法、设备、系统及计算机可读存储介质 |
| CN113342954A (zh) * | 2021-06-21 | 2021-09-03 | 南京星云数字技术有限公司 | 一种应用于问答系统的图像信息处理方法、装置及电子设备 |
| CN113935307A (zh) * | 2021-09-16 | 2022-01-14 | 有米科技股份有限公司 | 广告文案的特征提取方法及装置 |
| CN113934815A (zh) * | 2021-09-18 | 2022-01-14 | 有米科技股份有限公司 | 基于神经网络的广告文案特征信息识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191445B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191445B (zh) | 广告文本分类方法及装置 | |
| CN109145294B (zh) | 文本实体识别方法及装置、电子设备、存储介质 | |
| US11403680B2 (en) | Method, apparatus for evaluating review, device and storage medium | |
| CN109241524B (zh) | 语义解析方法及装置、计算机可读存储介质、电子设备 | |
| CN107291828B (zh) | 基于人工智能的口语查询解析方法、装置及存储介质 | |
| US20200327883A1 (en) | Modeling method for speech recognition, apparatus and device | |
| CN111191428B (zh) | 评论信息处理方法、装置、计算机设备和介质 | |
| CN108875059B (zh) | 用于生成文档标签的方法、装置、电子设备和存储介质 | |
| CN112328761B (zh) | 一种意图标签设置方法、装置、计算机设备及存储介质 | |
| CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
| CN111414561B (zh) | 用于呈现信息的方法和装置 | |
| CN109271542A (zh) | 封面确定方法、装置、设备及可读存储介质 | |
| CN111144120A (zh) | 一种训练语句的获取方法、装置、存储介质及电子设备 | |
| CN113064964A (zh) | 文本分类方法、模型训练方法、装置、设备以及存储介质 | |
| US20200012650A1 (en) | Method and apparatus for determining response for user input data, and medium | |
| CN109582788A (zh) | 垃圾评论训练、识别方法、装置、设备及可读存储介质 | |
| CN113220999B (zh) | 用户特征的生成方法、装置、电子设备和存储介质 | |
| CN117436438A (zh) | 情感分析方法、大语言模型的训练方法及装置 | |
| CN114722832A (zh) | 一种摘要提取方法、装置、设备以及存储介质 | |
| CN118113852A (zh) | 一种金融问题解答方法、装置、设备、系统、介质及产品 | |
| CN112036186A (zh) | 语料标注方法、装置、计算机存储介质及电子设备 | |
| CN110705308B (zh) | 语音信息的领域识别方法、装置、存储介质及电子设备 | |
| CN111460224B (zh) | 评论数据的质量标注方法、装置、设备及存储介质 | |
| CN117131155A (zh) | 多类目识别方法、装置、电子设备及储存介质 | |
| CN112559711A (zh) | 一种同义文本提示方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Digital Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing, 100176 Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |