CN111402012B - 一种基于迁移学习的电商缺陷产品识别方法 - Google Patents
一种基于迁移学习的电商缺陷产品识别方法 Download PDFInfo
- Publication number
- CN111402012B CN111402012B CN202010493577.6A CN202010493577A CN111402012B CN 111402012 B CN111402012 B CN 111402012B CN 202010493577 A CN202010493577 A CN 202010493577A CN 111402012 B CN111402012 B CN 111402012B
- Authority
- CN
- China
- Prior art keywords
- domain
- commerce
- data
- text information
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于迁移学习的电商缺陷产品识别方法,包括如下步骤:S30文本信息编码,将所述文本信息编码成向量形式获得编码数据,通过所述文本信息中的词在当前段落中的共现性,得到分布式表征;S40特征提取,将所述编码数据输入到算法模块中,通过基于对抗域适应的迁移学习算法生成域无关的特征;以及S50缺陷产品识别,将域无关特征作为输入,通过多通道的卷积神经网络,再连接多层全连接层,进行缺陷产品的识别。本发明的一种基于迁移学习的电商缺陷产品识别方法,针对不同的电商平台产品数据分布之间的差异,利用迁移学习方法极大的降低了不同电商平台缺陷产品识别的成本,提高了缺陷成品识别的准确度。
Description
技术领域
本发明涉及电商数据分析技术领域,具体涉及一种基于迁移学习的电商缺陷产品识别方法。
背景技术
随着互联网的发展以及人工智能时代的到来,信息交流变得日益频繁,使得信息总量有着巨大增长。在电子商务广泛应用的背景下,背后的各大电商平台的海量数据将具有不可估计的挖掘价值。虽然电子商务发展迅猛,但是也存在着不少问题。其中一个重要的问题就是电子商务产品质量。
随着各种电子商务平台的出现,如何在不同的电商平台实现缺陷产品识别是一个挑战。不同的电商平台对于产品的描述、买家评论都存在差异,基于某一特定平台如淘宝的数据采用的缺陷产品识别方法直接用于另一平台如京东的缺陷产品识别准确率会有很大程度的降低。而基于京东的产品数据重新定制一套特定的缺陷产品识别方法成本过大,如何利用淘宝的缺陷产品识别方法对京东产品进行识别成为技术难题。
发明内容
为了解决上述问题,本发明提供一种基于迁移学习的电商缺陷产品识别方法,针对不同的电商平台产品数据分布的差异,利用迁移学习方法极大的降低了不同电商平台缺陷产品识别的成本,提高了缺陷成品识别的准确度。
为了实现以上目的,本发明采取的一种技术方案是:
一种基于迁移学习的电商缺陷产品识别方法,包括如下步骤:S30文本信息编码,将文本信息编码成向量形式获得编码数据,通过所述文本信息中的词在当前段落中的共现性,得到分布式表征;S40特征提取,将所述编码数据输入到算法模块中,通过基于对抗域适应的迁移学习算法生成域无关的特征;以及S50缺陷产品识别,将域无关特征作为输入,通过多通道的卷积神经网络,再连接多层全连接层,进行缺陷产品的识别。
进一步地,还包括位于所述步骤S30之前的如下步骤:S10数据采集,获取多个电商平台的产品文本数据;以及S20数据预处理,将所述产品文本数据按产品类别进行预处理获得文本信息,所述预处理包括文本分词以及过滤停用词。
进一步地,所述步骤S30包括如下步骤:S31对于所述文本信息,确定词汇表大小,依据所有词的词频,将出现频率大于20%的词保存到词汇表中;以及S32处理所有文本信息,过滤出不在所述词汇表中的词,并进一步地通过Word2Vec的语言模型来生成所有词的向量化表示。
进一步地,所述步骤S40包括如下步骤:S41采用双向长短时记忆网络(Bidirection Long Short-Term Memory, Bi-LSTM)对所述文本信息进行编码,得到n个词所对应的隐状态(hidden state)向量;S42将所述隐状态向量纵向拼接成矩阵,使用生成器模块通过多层全连接层对所述文本信息进行进一步的处理,输出所述文本信息的特征向量表示;S43将所述特征向量表示通过三层全连接层获得二值向量,所述二值向量使用判别器模块判断当前的所述文本数据是来自源域还是目标域;以及S44 计算域分类损失并更新模型,根据所述二值向量与真实的域信息通过交叉熵损失函数计算得到域分类损失,根据所述域分类损失分别更新所述生成器模块与所述判别器模块,使所述判别器模块正确判别出数据的来源,而所述生成器模块生成域不变的特征来混淆所述判别器模块,使所述判别器模块无法判别数据是来自源域还是目标域,从而生成器模块生成域无关的特征用于缺陷产品识别。
进一步地,所述步骤S50包括:S51将所述域无关特征作为输入,首先通过多层多通道的所述卷积神经网络处理,先后经由卷积层、池化层处理,提取出不同层面的特征;S52将所述不同层面的特征组合成一维向量,通过多层全连接层,对所述一维向量进行进一步的处理,输出一个二值向量,所述二值向量用于判断所述文本信息所描述的产品是否是缺陷产品;以及S53计算缺陷产品分类损失并更新模型,根据所述二值向量与真实的缺陷产品信息通过交叉熵损失函数计算得到缺陷产品分类损失,根据所述缺陷产品分类损失分别更新生成器模块与缺陷产品识别模块,从而缺陷产品识别模块能正确识别缺陷产品。
进一步地,所述电商平台为淘宝、天猫、阿里巴巴、京东商城、拍拍、国美、苏宁易购、当当、一号店以及跨境电商平台中的至少一种。
进一步地,所述产品文本数据包括产品的描述数据以及买家评论数据。
进一步地,所述文本分词为将一个汉字序列切分成一个一个单独的词。
进一步地,所述停用词为对缺陷产品识别没有帮助的词。
本发明的上述技术方案相比现有技术具有以下优点:
本发明的一种基于迁移学习的电商缺陷产品识别方法,针对不同的电商平台产品数据分布之间的差异,使用基于对抗域适应的迁移学习算法,提取出不同电商平台产品的域无关特征,并且使得提取出的特征有助于进行缺陷产品的识别,实现了一电商平台采用的缺陷产品识别方法直接应用于另一平台,极大地降低在不同电商平台进行缺陷产品识别的成本,同时保证识别的准确度。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的一种基于迁移学习的电商缺陷产品识别方法流程图;
图2所示为本发明一实施例的特征提取的流程图;
图3所示为本发明一实施例的缺陷产品识别的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本实施例中,提供一种基于迁移学习的电商缺陷产品识别方法,如图1所示,包括如下步骤:S10数据采集,获取多个电商平台的产品文本数据。S20数据预处理,将所述产品文本数据按产品类别进行预处理获得文本信息,所述预处理包括文本分词以及过滤停用词。S30文本信息编码,将所述文本信息编码成向量形式获得编码数据,通过所述文本信息中的词在当前段落中的共现性,得到分布式表征。S40特征提取,将所述编码数据输入到算法模块中,通过基于对抗域适应的迁移学习算法生成域无关的特征。以及S50缺陷产品识别,将域无关特征作为输入,通过多通道的卷积神经网络,再连接多层全连接层,进行缺陷产品的识别。
所述步骤S10所述产品文本数据包括产品的描述、买家评论等数据。所述电商平台为淘宝、天猫、阿里巴巴、京东商城、拍拍、国美、苏宁易购、当当、一号店以及跨境电商平台中的至少一种。
所述步骤S20所述文本分词为将所述产品文本数据进行中文分词,将一个汉字序列切分成一个一个单独的词。所述停用词包括:使用十分广泛,甚至是过于频繁的一些词,如“我”、“就”之类词几乎在每个文档上均会出现,这样的词无法准确表达文本的意思,难以提高关键字的准确性,降低处理效率。含有不良暗示、政治敏感信息的关键词,这类词对于缺陷产品识别没有助益。
所述步骤S30包括如下步骤:S31对于所述文本信息,确定词汇表大小,依据所有词的词频,将出现频率大于20%的词保存到词汇表中。以及S32处理所有文本信息,过滤出不在所述词汇表中的词,并进一步地通过Word2Vec的语言模型来生成所有词的向量化表示。
迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,其核心是找到源领域和目标领域之间的相似性,并加以合理利用。如图2所示,所述步骤S40包括如下步骤:S41采用双向长短时记忆网络(Bidirection Long Short-Term Memory, Bi-LSTM)对所述文本信息进行编码,得到n个词所对应的隐状态(hidden state)向量。S42将所述隐状态向量纵向拼接成矩阵,使用生成器模块通过多层全连接层对所述文本信息进行进一步的处理,输出所述文本信息的特征向量表示。S43将所述特征向量表示通过三层全连接层获得二值向量,所述二值向量使用判别器模块判断当前的所述文本数据是来自源域还是目标域。以如何利用淘宝的缺陷产品识别方法对京东产品进行识别为例,所述自源域为淘宝,所述目标域为京东。S44 计算域分类损失并更新模型,根据所述二值向量与真实的域信息通过交叉熵损失函数计算得到域分类损失,根据所述域分类损失分别更新所述生成器模块与所述判别器模块,使所述判别器模块正确判别出数据的来源,而所述生成器模块生成域不变的特征来混淆所述判别器模块,使所述判别器模块无法判别数据是来自源域(淘宝)还是目标域(京东),从而所述生成器模块生成域无关的特征用于缺陷产品识别。实际部署中,缺陷产品识别的模型搭建可以根据现有的缺陷产品识别方法进行调整,如现有的基于淘宝产品数据的缺陷产品识别方法,保证所述生成器模块生成的特征有助于进行缺陷产品的识别。淘宝与京东的产品数据分布存在一定的差异,但是之间的相似性是极大的,利用两个电商平台中产品的相似性进行缺陷产品的识别能极大地降低缺陷产品识别的成本,提高缺陷产品识别的准确度。
如图3所示,所述步骤S50包括:S51将所述域无关特征作为输入,首先通过多层多通道的所述卷积神经网络处理,先后经由卷积层、池化层处理,提取出不同层面的特征。所述卷积神经网络具有三种类型的隐藏层,分别为卷积层、池化层以及全连接层。所述卷积层(Convolutional layer)主要是用一个采样器从输入数据中采集关键数据内容。所述池化层(Pooling layer)则是对所述卷积层结果的压缩得到更加重要的特征,同时还能有效控制过拟合。所述全连接层可以把所述池化层局部特征重新通过权值矩阵组装成完整的数据。S52将所述不同层面的特征组合成一维向量,通过多层全连接层,对所述一维向量进行进一步的处理,输出一个二值向量,所述二值向量用于判断所述文本信息所描述的产品是否是缺陷产品。以及S53计算缺陷产品分类损失并更新模型,根据所述二值向量与真实的缺陷产品信息通过交叉熵损失函数计算得到缺陷产品分类损失,根据所述缺陷产品分类损失分别更新生成器模块与缺陷产品识别模块,从而缺陷产品识别模块能正确识别缺陷产品。
以上所述仅为本发明的示例性实施例,并非因此限制本发明专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于迁移学习的电商缺陷产品识别方法,其特征在于,包括如下步骤:
S30、文本信息编码,将文本信息编码成向量形式获得编码数据,通过所述文本信息中的词在当前段落中的共现性,得到分布式表征;包括如下步骤:
(S31)、对于所述文本信息,确定词汇表大小,依据所有词的词频,将出现频率大于20%的词保存到词汇表中;以及
(S32)、处理所有文本信息,过滤出不在所述词汇表中的词,并进一步地通过Word2Vec的语言模型来生成所有词的向量化表示
S40、特征提取,将所述编码数据输入到算法模块中,通过基于对抗域适应的迁移学习算法生成域无关的特征;包括如下步骤:
(S41)、采用双向长短时记忆网络Bi-LSTM对所述文本信息进行编码,得到n个词所对应的隐状态向量;
(S42)、将所述隐状态向量纵向拼接成矩阵,使用生成器模块通过多层全连接层对所述文本信息进行进一步的处理,输出所述文本信息的特征向量表示;
(S43)、将所述特征向量表示通过三层全连接层获得二值向量,所述二值向量使用判别器模块判断当前的所述文本数据是来自源域还是目标域;
(S44)、计算域分类损失并更新模型,根据所述二值向量与真实的域信息通过交叉熵损失函数计算得到域分类损失,根据所述域分类损失分别更新所述生成器模块与所述判别器模块,使所述判别器模块正确判别出数据的来源,而所述生成器模块生成域不变的特征来混淆所述判别器模块,使所述判别器模块无法判别数据是来自源域还是目标域,从而生成器模块生成域无关的特征用于缺陷产品识别;
S50、缺陷产品识别,将域无关特征作为输入,通过多通道的卷积神经网络,再连接多层全连接层,进行缺陷产品的识别;包括:
(S51)、将所述域无关特征作为输入,首先通过多层多通道的所述卷积神经网络处理,先后经由卷积层、池化层处理,提取出不同层面的特征;
(S52)、将所述不同层面的特征组合成一维向量,通过多层全连接层,对所述一维向量进行进一步的处理,输出一个二值向量,所述二值向量用于判断所述文本信息所描述的产品是否是缺陷产品;以及
(S53)、计算缺陷产品分类损失并更新模型,根据所述二值向量与真实的缺陷产品信息通过交叉熵损失函数计算得到缺陷产品分类损失,根据所述缺陷产品分类损失分别更新生成器模块与缺陷产品识别模块,从而缺陷产品识别模块能正确识别缺陷产品。
2.根据权利要求1所述的一种基于迁移学习的电商缺陷产品识别方法,其特征在于,还包括位于所述步骤S30之前的如下步骤:
S10、数据采集,获取多个电商平台的产品文本数据;以及
S20、数据预处理,将所述产品文本数据按产品类别进行预处理获得文本信息,所述预处理包括文本分词以及过滤停用词。
3.根据权利要求2所述的一种基于迁移学习的电商缺陷产品识别方法,其特征在于,所述电商平台为淘宝、天猫、阿里巴巴、京东商城、拍拍、国美、苏宁易购、当当、一号店以及跨境电商平台中的至少一种。
4.根据权利要求2所述的一种基于迁移学习的电商缺陷产品识别方法,其特征在于,所述产品文本数据包括产品的描述数据以及买家评论数据。
5.根据权利要求2所述的一种基于迁移学习的电商缺陷产品识别方法,其特征在于,所述文本分词为将一个汉字序列切分成一个一个单独的词。
6.根据权利要求2所述的一种基于迁移学习的电商缺陷产品识别方法,其特征在于,所述停用词为对缺陷产品识别没有帮助的词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010493577.6A CN111402012B (zh) | 2020-06-03 | 2020-06-03 | 一种基于迁移学习的电商缺陷产品识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010493577.6A CN111402012B (zh) | 2020-06-03 | 2020-06-03 | 一种基于迁移学习的电商缺陷产品识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111402012A CN111402012A (zh) | 2020-07-10 |
CN111402012B true CN111402012B (zh) | 2020-08-25 |
Family
ID=71433782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010493577.6A Active CN111402012B (zh) | 2020-06-03 | 2020-06-03 | 一种基于迁移学习的电商缺陷产品识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111402012B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679580A (zh) * | 2017-10-21 | 2018-02-09 | 桂林电子科技大学 | 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法 |
CN110008338A (zh) * | 2019-03-04 | 2019-07-12 | 华南理工大学 | 一种融合gan和迁移学习的电商评价情感分析方法 |
CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
CN111126386A (zh) * | 2019-12-20 | 2020-05-08 | 复旦大学 | 场景文本识别中基于对抗学习的序列领域适应方法 |
CN111160120A (zh) * | 2019-12-11 | 2020-05-15 | 重庆邮电大学 | 基于迁移学习的Faster R-CNN物品检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740595B2 (en) * | 2017-09-28 | 2020-08-11 | Nec Corporation | Long-tail large scale face recognition by non-linear feature level domain adaption |
-
2020
- 2020-06-03 CN CN202010493577.6A patent/CN111402012B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679580A (zh) * | 2017-10-21 | 2018-02-09 | 桂林电子科技大学 | 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法 |
CN110008338A (zh) * | 2019-03-04 | 2019-07-12 | 华南理工大学 | 一种融合gan和迁移学习的电商评价情感分析方法 |
CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
CN111160120A (zh) * | 2019-12-11 | 2020-05-15 | 重庆邮电大学 | 基于迁移学习的Faster R-CNN物品检测方法 |
CN111126386A (zh) * | 2019-12-20 | 2020-05-08 | 复旦大学 | 场景文本识别中基于对抗学习的序列领域适应方法 |
Non-Patent Citations (2)
Title |
---|
基于对抗学习的讽刺识别研究;张庆林等;《北京大学学报(自然科学版)》;20190131;第55卷(第1期);29-35 * |
缺陷信息大数据舆情监测系统建设研究与应用;殷娇等;《中国标准化》;20190305(第3期(上)/总第541期);59-63 * |
Also Published As
Publication number | Publication date |
---|---|
CN111402012A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705301B (zh) | 实体关系抽取方法及装置、存储介质、电子设备 | |
CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
CN112434535B (zh) | 基于多模型的要素抽取方法、装置、设备及存储介质 | |
US20220138193A1 (en) | Conversion method and systems from natural language to structured query language | |
CN111324738B (zh) | 一种确定文本标签的方法和系统 | |
CN113761377B (zh) | 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质 | |
CN114612921B (zh) | 表单识别方法、装置、电子设备和计算机可读介质 | |
CN115759119B (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
CN111462752A (zh) | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 | |
CN112784580A (zh) | 基于事件抽取的金融数据分析方法及装置 | |
CN113408287A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
CN113486178A (zh) | 文本识别模型训练方法、文本识别方法、装置以及介质 | |
CN115408488A (zh) | 用于小说场景文本的分割方法及系统 | |
CN111597816A (zh) | 一种自注意力命名实体识别方法、装置、设备及存储介质 | |
CN114416991A (zh) | 一种基于prompt的文本情感原因分析方法和系统 | |
CN111523301B (zh) | 合同文档合规性检查方法及装置 | |
CN111402012B (zh) | 一种基于迁移学习的电商缺陷产品识别方法 | |
US20220164705A1 (en) | Method and apparatus for providing information based on machine learning | |
CN113158682B (zh) | 产品名称识别方法、装置、电子设备和介质 | |
CN112883183B (zh) | 构建多分类模型的方法、智能客服方法和相关装置及系统 | |
CN114610882A (zh) | 一种基于电力短文本分类的异常设备编码检测方法和系统 | |
CN114611489A (zh) | 文本逻辑条件抽取ai模型构建方法、抽取方法及系统 | |
CN116523032B (zh) | 一种图像文本双端迁移攻击方法、装置和介质 | |
CN114818644B (zh) | 文本模板生成方法、装置、设备及存储介质 | |
CN116975298B (zh) | 一种基于nlp的现代化社会治理调度系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |