CN109189922A - 评论评估模型的训练方法和装置 - Google Patents

评论评估模型的训练方法和装置 Download PDF

Info

Publication number
CN109189922A
CN109189922A CN201810892340.8A CN201810892340A CN109189922A CN 109189922 A CN109189922 A CN 109189922A CN 201810892340 A CN201810892340 A CN 201810892340A CN 109189922 A CN109189922 A CN 109189922A
Authority
CN
China
Prior art keywords
sample
comment
serviceability
training
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810892340.8A
Other languages
English (en)
Other versions
CN109189922B (zh
Inventor
陈岑
周俊
李小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810892340.8A priority Critical patent/CN109189922B/zh
Publication of CN109189922A publication Critical patent/CN109189922A/zh
Application granted granted Critical
Publication of CN109189922B publication Critical patent/CN109189922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种训练评论评估模型的方法和装置以及评论排序方法和装置。所述模型训练方法包括：获取至少一个样本，所述至少一个样本来自于多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值；将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值；以及使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小。

Description

评论评估模型的训练方法和装置
技术领域
本说明书实施例涉及文本处理技术领域，更具体地，涉及评论评估模型的训练方法和装置、以及对评论文本进行排序的方法和装置。
背景技术
伴随着网络电商的高速发展，现有网上消费者已经形成根据产品评论来判断产品好坏、服务优劣的习惯。网络电商不像传统购物，用户可以看到摸到实物。网上购物却是虚无的，用户能看到的是商家的修饰过的文字图片。因此，用户基本上基于评论来决定是否选择商品或者商家。随着越来越多的用户分享产品评论，大量商家水军的介入，这些评论质量的好坏也越来越难以判断。很多对于消费者有用(即，有信息量)的评论被埋在了大量无用的评论中。如何更好对用户评论进行排序对电商平台来说非常重要。
大量的评论排序都是基于时间，点赞次数等。而基于受众面(多少比例的用户会觉得有用，有信息量)对评论的排序，越来越受到关注。目前，基于受众面的排序通常使用基于TextCNN的模型。
因此，需要一种更有效的评论评估方案。
发明内容
本说明书实施例旨在提供一种更有效的评论评估方案，以解决现有技术中的不足。
为实现上述目的，本说明书一个方面提供一种训练评论评估模型的方法，所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述方法包括：
获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
在一个实施例中，在所述训练评论评估模型的方法中，所述损失函数还包括关于对所述多个领域的两两相关性预测的损失函数。
在一个实施例中，在所述训练评论评估模型的方法中，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值包括：
基于所述第一样本中包括的评论文本获取顺序排列的多个词；
基于所述多个词，获取顺序排列的多个字符；
获取输入矩阵，其中，所述输入矩阵包括与所述多个字符对应的顺序排列的多个字符向量；以及
将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的方法中，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值包括：
基于所述第一样本中包括的评论文本获取至少一个主题；
获取输入矩阵，其中，所述输入矩阵包括与所述至少一个主题对应的主题向量；以及
将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的方法中，所述神经网络还包括输入层，其中，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络包括，将所述输入矩阵和所述第一样本包括的域标签值输入所述输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
在一个实施例中，在所述训练评论评估模型的方法中，所述有用性评估值为受众面的评估值。
在一个实施例中，在所述训练评论评估模型的方法中，所述神经网络包括卷积神经网络或循环神经网络。
本说明书另一方面提供一种对评论文本进行排序的方法，所述方法中使用通过上述模型训练方法训练的评论评估模型，所述方法包括：
获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域；
将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值；以及
基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。
本说明书另一方面提供一种训练评论评估模型的装置，所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述装置包括：
获取单元，配置为，获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
预测单元，配置为，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
训练单元，配置为，使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
在一个实施例中，在所述训练评论评估模型的装置中，所述预测单元包括：
词获取子单元，配置为，基于所述第一样本中包括的评论文本获取顺序排列的多个词；
字符获取子单元，配置为，基于所述多个词，获取顺序排列的多个字符；
矩阵获取子单元，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述多个字符对应的顺序排列的多个字符向量；以及
预测子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的装置中，所述预测单元包括：
主题获取子单元，配置为，基于所述第一样本中包括的评论文本获取至少一个主题；
矩阵获取子单元，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述至少一个主题对应的主题向量；以及
预测子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的装置中，所述神经网络还包括输入层，其中，所述预测单元还包括，加权子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
本说明书另一方面提供一种对评论文本进行排序的装置，所述装置使用通过上述模型训练装置训练的评论评估模型，所述装置包括：
获取单元，配置为，获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域；
预测单元，配置为，将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值；以及
排序单元，配置为，基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述模型训练方法或排序方法。
根据本说明书实施例的评论评估方案，通过多任务学习同时学习多个领域的数据，节省了标注成本，并实现了模型的端到端预测。同时，在多任务学习的框架下加入了跨领域关系学习，从而优化模型训练。另外，在TextCNN的基础上，在输入矩阵中还引入了字符嵌入和主题嵌入，并在神经网络中加入加权层来学习和控制词层面上的重要性，从而可更好地学习文本信息。
附图说明
通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：
图1示出了根据本说明书实施例的评论评估系统100的示意图；
图2示出了根据本说明书实施例的一种训练评论评估模型的方法的流程图；
图3示出根据本说明书实施例的一种对评论文本进行排序的方法的流程图；
图4示出根据本说明书实施例的一种训练评论评估模型的装置400；以及
图5示出根据本说明书实施例的一种对评论文本进行排序的装置500。
具体实施方式
下面将结合附图描述本说明书实施例。
图1示出了根据本说明书实施例的评论评估系统100的示意图。如图1所示，系统100中包括嵌入单元11和神经网络12，其中神经网络中包括输入层111、中间层112和输出层113。嵌入单元11用于将输入的评论文本转换为对应的嵌入矩阵，该嵌入矩阵中例如包括词嵌入、字符嵌入、主题嵌入等。在该说明书实施例中，模型的输入可以来自多个领域，如图中所示，例如可来自手表、手机、户外、家用、电子产品五个商品领域。神经网络12例如为卷积神经网络。其中，输入层111相当于加权层，其中通过神经元计算嵌入矩阵中每个嵌入(向量)的重要性权重，并用该重要性权重对相应的嵌入进行加权，以获取加权矩阵并输入到后面的神经网络中。中间层112例如包括至少一个卷积层和池化层，其对来自不同领域的嵌入矩阵进行统一计算，以获取与输入的嵌入矩阵对应的特征向量。
在输出层113，通过参数U和W对来自中间层112的特征向量进行计算，以获取与输入评论对应的有用性评估值，其中W＝[W1,W2,W3,W4,W5]。其中，参数U对于多个领域取值相同，其体现了各个领域的相似性。参数Wk中的k例如取值为1-5，其中，W1、W2、…、W5分别对应于手表、手机、户外、家用、电子产品五个商品领域，其体现了不同领域之间的差异性。如图中所示，对于来自特定领域的评论文本，使用该特定领域的Wk对对应的特征向量进行计算，从而获取对应的有用性评估值
图1所示的系统仅是示意性的，并不限制系统100的结构。例如，所述多个领域不限于图中所示的领域，输入层111也不必须为上述加权层。另外，所述嵌入矩阵不限于如图中所示包括词嵌入、字符嵌入、主题嵌入等，而是可以根据业务需要调整嵌入。
图2示出了根据本说明书实施例的一种训练评论评估模型的方法的流程图。所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述方法包括：
在步骤S202，获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
在步骤S204，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
在步骤S206，使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
首先，在步骤S202，获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本。
在该实施例中，例如可通过小批量的样本用于模型的一次训练。可以理解，对模型的训练方法不限于此，例如，也可通过单个样本进行模型训练，或者可以通过大批量的样本用于模型训练，等等。
在小批量的多个样本中，可包括模型涉及的各个领域的样本，例如图1中所示的五个领域，从而可同时学习几个领域的知识，这对于样本数量较少的领域是非常有益的。例如，在所述多个样本中，可包括几十个第一领域的样本，几十个第二领域的样本，十几个第三领域的样本，等等。特定领域的样本包括针对该特定领域的商品(例如电子类的商品)的评论文本、对应的有用性标签值yk(k为域标签值)和对应的域标签值。这里，所述有用性标签值例如为评论文本的实际受众面，其中通过如下公式(1)计算特定商品的评论的受众面：
受众面＝N0/(N0+N1) (1)
其中，N0表示认为该评论有用的用户数量，例如，其可以为评论的“点赞”数。N1表示认为该评论无用的用户数量，例如，其可以为评论的“点踩”数。可以理解，评论的有用性不限于通过上述公式(1)获得，例如，可以以N0表示评论的有用性、以-N1表示评论的有用性，等等。
域标签值即评论文本实际所属的域，其如图1所示，例如为1,2,…5，其分别对应于图1中的五个领域。
在步骤S204，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应。
在一个实施例中，在将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述评论评估模型之后，对于所述至少一个样本中的每个样本，在所述模型中，首先基于样本中包括的评论文本获取顺序排列的多个词。例如，可获取评论文本中包括的顺序排列的多个词。在另一个实施例中，基于评论文本中包括的多个词，通过去除评论文本中的背景词、停用词等，从而获取顺序排列的多个词。
然后，基于所述多个词，获取顺序排列的多个字符。例如，对于英文评论“verygood(非常好)”，可以获取顺序排列的两个词“very”和“good”，而基于“very”和“good”，可以获取顺序排列的字符“v”、“e”、“r”、“y”、“g”、“o”、“o”和“d”。这里以英文评论为例进行说明，可以理解，该实施例方法同样适用于其他各种语言，例如，对于中文的情况，可通过预定词典对评论文本进行分词，从而获取多个词，而通过该多个词，可获取顺序排列的多个中文字符。
另外，基于所述评论文本，还可以获取该评论文本包括的多个主题。所述主题例如包括商品的品牌、功能、价格等。例如，通过将所述评论文本输入预先训练的用于获取主题的模型，从而可获取该评论文本包括的多个主题。
然后，可基于所述多个词、所述多个字符和所述多个主题，获取输入矩阵。如图1所示，在所述输入矩阵(嵌入矩阵)中可包括第一部分、第二部分和第三部分。其中，第一部分包括与所述多个词对应的顺序排列的多个词向量，即词嵌入，第二部分包括与所述多个字符对应的顺序排列的多个字符向量，即字符嵌入，第三部分包括与所述多个主题对应的多个主题向量，即主题嵌入。在获取输入矩阵之后，可将其作为输入数据(Xk)输入神经网络进行计算，其中k表示该输入矩阵对应的领域。其中，词向量的获取可通过将相应的词输入现有模型获得，在此不再详细说明。字符向量可基于词向量获取，例如，通过将大量词及其对应的词向量输入神经网络进行训练，以获取各个字符的字符向量。主题向量可与词向量相同地获取。
上文虽然示出了在输入矩阵中包括词嵌入、字符嵌入和主题嵌入，但是本说明书实施例不限于此，例如，输入矩阵中可以仅包括词嵌入、字符嵌入或主题嵌入，或者还可以包括词嵌入、字符嵌入和主题嵌入中的两种嵌入等等。
在一个实施例中，在如上所述获取输入矩阵之后，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络包括，将所述输入矩阵和对应样本包括的域标签值(即Xk)输入例如如图1所示的输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
例如，设定输入X＝[x1,x2,…xm],其中m为输入矩阵中包括的向量数，x1,x2,…xm为X中包括的嵌入向量，其可对应于上述词向量、字符向量、主题向量等。则输入层可以看作为具有参数Wg和bg的全连接层，与xi对应的重要性权重gi可如公式(2)计算获得。
其中σ为sigmoid函数，i＝1,…m。
在获取与xi分别对应的重要性权重gi之后，输入层可获取经gi加权的加权矩阵X’＝[g1x1,g2x2,…gmxm]，并将该加权矩阵X’输入神经网络的中间层中。在训练所述模型时，可同时训练输入层中的参数Wg和bg，以使得gi与各个词的实际重要性更接近。
在本说明书实施例中，所述神经网络例如为卷积神经网络(CNN)，可以理解，所述神经网络还可以采用其它形式的神经网络，例如DNN、RNN等。在卷积神经网络中，所述中间层例如包括卷积层和最大池化层。类似于图像的卷积计算，在卷积层中通过使用与特定特征对应的卷积核对所述输入矩阵进行卷积，并在池化层中进行最大池化，从而获取与输入的评论文本对应的特征向量，并将该特征向量输出给神经网络的输出层。
在输出层，通过如下公式(3)计算与Xk对应的有用性评估值
其中，U和Wk都是输出层的参数，k为样本中包括的域标签值，其指示所述评论文本针对的商品的所属领域。F(Xk)对应于上述从中间层输入输出层的特征向量，其例如是通过对Xk进行上述输入层、卷积层和最大池化层的计算所获取的与Xk对应的特征向量。
其中参数U对于多个领域取值相同，其体现了各个领域的相似性。参数Wk中的k例如如图1所示取值为1-5，其中，W1、W2、…、W5分别对应于表、手机、户外、家用、电子产品五个商品领域，其体现了不同领域之间的差异性。
从而，在输出层中，根据公式(3)，基于Xk对应的k，对对应的Wk、U和从中间层输入的与Xk对应的特征向量(即F(Xk))进行计算，从而可获取与Xk对应的有用性评估值
在步骤S206，使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
本说明书实施例中用于训练评论评估模型的损失函数可以如下面的公式(4)所示：
s.t.Ω≥0，tr(Ω)＝1. (4)
如公式(4)所示，其中的第一项如本领域所知表示全部样本各自的有用性标签值yk与有用性评估值之差的平方和，其为关于对所述至少一个样本的有用性预测的损失函数。可以理解，该第一项损失函数不限于上述形式，例如，其可以为上述差的绝对值之和的形式等等。
公式(4)中的第二项损失函数关于对所述多个领域的两两相关性预测。其中Ω为K×K维的域相关性矩阵，K为模型针对的领域的总数，Ωi,j表示领域i与领域j之间的相关性。例如在如图1所示有五个领域的情况中，Ω为5×5维的域相关性矩阵。可以理解，关于相关性预测的损失函数不限于公式(4)中所示，其可以采用本领域技术人员已知的其它形式。通过优化tr(WΩ-1WT)，使得该矩阵迹越小，从而使得Ωi,j越准确地体现域i与域j之间的相关性。而由于输出层中的参数Wi(即k＝i)和Wj(即k＝j)用于体现域i与域j之间的差异性，从而Ωi,j可与Wi和Wj相关联，即Ω可与矩阵W关联，其中W＝[W1，W2，…WK]。从而，通过对Ω的学习，可以使得对W的学习更加合理。
在根据上述公式(4)训练上述模型时，由于参数较多，在一个实施例中，可采用随机交替方法进行训练。即，首先保持Ω不变，优化参数U和W，然后保持参数U和W不变，优化Ω。其中，所述优化可采用随机梯度下降法、小批量梯度下降法、批量梯度下降法等优化算法。
公式(4)中的第三项为正则项，其为本领域技术人员所公知的，在此不再赘述。可以理解，公式(4)只是对根据本说明书实施例的损失函数的示例表示，本说明书实施例的损失函数不限于此，例如，公式(4)中的第二项至第三项中任一项都不是必须的，可以根据具体的业务场景进行调整。
如上文所述，使用例如公式(4)所示的损失函数，可通过随机交替方法对上述模型进行训练，从而优化模型参数。在实际训练中，可通过几万或者几十万的多个领域的样本，通过多次优化对上述模型进行多次训练，从而使得模型预测更加准确。另外，如上文所述，本说明书实施例中的训练方法不限于上述随机交替方法，也可以采用其它优化方法进行优化，例如，可通过随机梯度下降法、批量梯度下降法等优化算法对损失函数包括的参数同时训练。
图3示出根据本说明书实施例的一种对评论文本进行排序的方法的流程图。所述方法中使用通过图2所示方法训练的评论评估模型，所述方法包括以下步骤S302-S306。
在步骤S302，获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域。例如如图1所示，所述模型可对图中所示5个领域进行计算，从而，所述目标域可以设定为所述五个领域中的任一个。这里，所述商品可以是电商网站中的实物商品，也可以是电商提供的服务型商品。所述获取可以是从电商网站实时获取，也可以是定期获取。
在步骤S304，将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值，该步骤的具体实施可参考上文对图2的步骤S204的具体描述，在此不再赘述。
在步骤S306，基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。如上文所述，所述有用性评估值可以是受众面评估值，通过将受众面更广的评论排在前面，使得用户通过浏览评论，可看到更有用的信息，有助于用户对商品的真实了解。
图4示出根据本说明书实施例的一种训练评论评估模型的装置400。所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述装置包括：
获取单元41，配置为，获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
预测单元42，配置为，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
训练单元43，配置为，使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
在一个实施例中，在所述训练评论评估模型的装置中，所述预测单元42包括：
词获取子单元421，配置为，基于所述第一样本中包括的评论文本获取顺序排列的多个词；
字符获取子单元422，配置为，基于所述多个词，获取顺序排列的多个字符；
矩阵获取子单元423，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述多个字符对应的顺序排列的多个字符向量；以及
预测子单元424，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的装置中，所述预测单元42包括：
主题获取子单元425，配置为，基于所述第一样本中包括的评论文本获取至少一个主题；
矩阵获取子单元423，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述至少一个主题对应的主题向量；以及
预测子单元424，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
在一个实施例中，在所述训练评论评估模型的装置中，所述神经网络还包括输入层，其中，所述预测单元42还包括，加权子单元426，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
图5示出根据本说明书实施例的一种对评论文本进行排序的装置500。所述装置使用通过图4所示装置训练的评论评估模型，所述装置500包括：
获取单元51，配置为，获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域；
预测单元52，配置为，将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值；以及
排序单元53，配置为，基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述模型训练方法或排序方法。
根据本说明书实施例的评论评估方案，通过多任务学习同时学习多个领域的数据，从而帮助目标领域进行评论的受众面排序，节省了标注成本，并实现了模型的端到端预测。同时，在多任务学习的框架下加入了跨领域关系学习，从而优化模型训练。另外，在TextCNN的基础上，在输入矩阵中还引入了字符嵌入和主题嵌入，并在神经网络中加入加权层来学习和控制词层面上的重要性，从而可更好地学习文本信息。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种训练评论评估模型的方法，所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述方法包括：
获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
2.根据权利要求1所述的训练评论评估模型的方法，其中，所述损失函数还包括关于对所述多个领域的两两相关性预测的损失函数。
3.根据权利要求1所述的训练评论评估模型的方法，其中，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值包括：
基于所述第一样本中包括的评论文本获取顺序排列的多个词；
基于所述多个词，获取顺序排列的多个字符；
获取输入矩阵，其中，所述输入矩阵包括与所述多个字符对应的顺序排列的多个字符向量；以及
将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
4.根据权利要求1所述的训练评论评估模型的方法，其中，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值包括：
基于所述第一样本中包括的评论文本获取至少一个主题；
获取输入矩阵，其中，所述输入矩阵包括与所述至少一个主题对应的主题向量；以及
将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
5.根据权利要求3或4所述的训练评论评估模型的方法，其中，所述神经网络还包括输入层，其中，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络包括，将所述输入矩阵和所述第一样本包括的域标签值输入所述输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
6.根据权利要求1所述的训练评论评估模型的方法，其中，所述有用性评估值为受众面的评估值。
7.根据权利要求1所述的训练评论评估模型的方法，其中，所述神经网络包括卷积神经网络或循环神经网络。
8.一种对评论文本进行排序的方法，所述方法使用通过权利要求1至7中任一项所述的方法训练的评论评估模型，所述方法包括：
获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域；
将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值；以及
基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。
9.一种训练评论评估模型的装置，所述模型包括神经网络，所述神经网络包括输出层，并且，所述模型用于多个领域的预测，所述装置包括：
获取单元，配置为，获取至少一个样本，所述至少一个样本来自于所述多个领域中至少一个领域，所述样本包括评论文本、有用性标签值和域标签值，其中所述评论文本为针对所述域标签值对应的领域中的商品的评论文本；
预测单元，配置为，将所述至少一个样本各自包括的评论文本和域标签值输入当前的所述模型，以预测与所述至少一个样本分别对应的至少一个有用性评估值，其中，对于所述至少一个样本中的第一样本，在所述输出层，基于第一参数和第二参数，对输入的特征向量进行计算，以预测与所述第一样本对应的有用性评估值，其中，所述第一参数相对于所述多个领域取值相同，所述第二参数相对于不同的领域取值不同，其中所述特征向量与所述第一样本包括的评论文本对应；以及
训练单元，配置为，使用所述至少一个样本、和所述至少一个有用性评估值训练所述模型，以使得，相比于训练前，训练后的所述模型的损失函数减小，其中，所述损失函数中包括关于对所述至少一个样本的有用性预测的损失函数。
10.根据权利要求9所述的训练评论评估模型的装置，其中，所述损失函数还包括关于对所述多个领域的两两相关性预测的损失函数。
11.根据权利要求9所述的训练评论评估模型的装置，其中，所述预测单元包括：
词获取子单元，配置为，基于所述第一样本中包括的评论文本获取顺序排列的多个词；
字符获取子单元，配置为，基于所述多个词，获取顺序排列的多个字符；
矩阵获取子单元，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述多个字符对应的顺序排列的多个字符向量；以及
预测子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
12.根据权利要求9所述的训练评论评估模型的装置，其中，所述预测单元包括：
主题获取子单元，配置为，基于所述第一样本中包括的评论文本获取至少一个主题；
矩阵获取子单元，配置为，获取输入矩阵，其中，所述输入矩阵包括与所述至少一个主题对应的主题向量；以及
预测子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述神经网络，以基于所述域标签值预测与所述第一样本对应的有用性评估值。
13.根据权利要求11或12所述的训练评论评估模型的装置，其中，所述神经网络还包括输入层，其中，所述预测单元还包括，加权子单元，配置为，将所述输入矩阵和所述第一样本包括的域标签值输入所述输入层，以在所述输入层中计算与所述输入矩阵中包括的多个向量分别对应的多个重要性权重，并从所述输入层输出加权矩阵，所述加权矩阵包括与所述多个向量分别对应的多个加权向量，所述多个加权向量通过将所述多个向量与对应的重要性权重相乘而获取。
14.根据权利要求9所述的训练评论评估模型的装置，其中，所述有用性评估值为受众面的评估值。
15.根据权利要求9所述的训练评论评估模型的装置，其中，所述神经网络包括卷积神经网络或循环神经网络。
16.一种对评论文本进行排序的装置，所述装置使用通过权利要求9至15中任一项所述的装置训练的评论评估模型，所述装置包括：
获取单元，配置为，获取属于所述模型的目标域的商品的多个评论文本，其中所述目标域为所述模型应用的多个领域中的一个领域；
预测单元，配置为，将所述多个评论文本和所述目标域对应的域标签值输入所述模型，以获取所述多个评论文本各自的有用性评估值；以及
排序单元，配置为，基于所述多个评论文本各自的有用性评估值，对所述多个评论文本进行排序。
17.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
CN201810892340.8A 2018-08-07 2018-08-07 评论评估模型的训练方法和装置 Active CN109189922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810892340.8A CN109189922B (zh) 2018-08-07 2018-08-07 评论评估模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810892340.8A CN109189922B (zh) 2018-08-07 2018-08-07 评论评估模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN109189922A true CN109189922A (zh) 2019-01-11
CN109189922B CN109189922B (zh) 2021-06-29

Family

ID=64920931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810892340.8A Active CN109189922B (zh) 2018-08-07 2018-08-07 评论评估模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN109189922B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN111754056A (zh) * 2019-03-26 2020-10-09 马上消费金融股份有限公司 模型评估方法以及相关装置
CN112233810A (zh) * 2020-10-20 2021-01-15 武汉华大基因科技有限公司 一种基于真实世界临床数据的治疗方案综合疗效评估方法
CN112733729A (zh) * 2021-01-12 2021-04-30 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123633A (zh) * 2011-11-21 2013-05-29 阿里巴巴集团控股有限公司 评价参数的生成方法以及基于评价参数的信息搜索方法
CN104239331A (zh) * 2013-06-19 2014-12-24 阿里巴巴集团控股有限公司 一种用于实现评论搜索引擎排序的方法和装置
CN106557948A (zh) * 2016-10-18 2017-04-05 李超 一种评论信息的展示方法及装置
US20170140036A1 (en) * 2015-11-12 2017-05-18 Facebook, Inc. Systems and methods for ranking comments
CN107391729A (zh) * 2017-08-02 2017-11-24 掌阅科技股份有限公司 用户评论的排序方法、电子设备及计算机存储介质
CN107577759A (zh) * 2017-09-01 2018-01-12 安徽广播电视大学 用户评论自动推荐方法
CN107818173A (zh) * 2017-11-15 2018-03-20 电子科技大学 一种基于向量空间模型的中文虚假评论过滤方法
CN108182290A (zh) * 2018-01-30 2018-06-19 深圳市富途网络科技有限公司 一种用于社区内容热度排序的估算方法
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123633A (zh) * 2011-11-21 2013-05-29 阿里巴巴集团控股有限公司 评价参数的生成方法以及基于评价参数的信息搜索方法
CN104239331A (zh) * 2013-06-19 2014-12-24 阿里巴巴集团控股有限公司 一种用于实现评论搜索引擎排序的方法和装置
US20140379682A1 (en) * 2013-06-19 2014-12-25 Alibaba Group Holding Limited Comment ranking by search engine
US20170140036A1 (en) * 2015-11-12 2017-05-18 Facebook, Inc. Systems and methods for ranking comments
CN106557948A (zh) * 2016-10-18 2017-04-05 李超 一种评论信息的展示方法及装置
CN107391729A (zh) * 2017-08-02 2017-11-24 掌阅科技股份有限公司 用户评论的排序方法、电子设备及计算机存储介质
CN107577759A (zh) * 2017-09-01 2018-01-12 安徽广播电视大学 用户评论自动推荐方法
CN107818173A (zh) * 2017-11-15 2018-03-20 电子科技大学 一种基于向量空间模型的中文虚假评论过滤方法
CN108182290A (zh) * 2018-01-30 2018-06-19 深圳市富途网络科技有限公司 一种用于社区内容热度排序的估算方法
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NUJOOD ALODADI ET.AL: "Predicting the Helpfulness of Online Physician Reviews", 《2016 IEEE INTERNATIONAL CONFERENCE ON HEALTHCARE INFORMATICS (ICHI)》 *
THOMAS L.NGO-YE ET.AL: "The influence of reviewer engagement characteristics on online review helpfulness: A text regression model", 《DECISION SUPPORT SYSTEMS》 *
翟倩: "在线评论有用性排序模型研究", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》 *
郭顺利 等: "面向用户信息需求的移动O2O在线评论有用性排序模型研究——以美团为例", 《图书情报工作》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109829550B (zh) * 2019-02-01 2022-03-04 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN111754056A (zh) * 2019-03-26 2020-10-09 马上消费金融股份有限公司 模型评估方法以及相关装置
CN111754056B (zh) * 2019-03-26 2021-03-30 马上消费金融股份有限公司 模型评估方法以及相关装置
CN112233810A (zh) * 2020-10-20 2021-01-15 武汉华大基因科技有限公司 一种基于真实世界临床数据的治疗方案综合疗效评估方法
CN112233810B (zh) * 2020-10-20 2021-11-23 武汉华大基因科技有限公司 一种基于真实世界临床数据的治疗方案综合疗效评估方法
CN112733729A (zh) * 2021-01-12 2021-04-30 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备
CN112733729B (zh) * 2021-01-12 2024-01-09 北京爱笔科技有限公司 模型训练、回归分析的方法、装置、存储介质和设备

Also Published As

Publication number Publication date
CN109189922B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109189922A (zh) 评论评估模型的训练方法和装置
Toscher et al. Collaborative filtering applied to educational data mining
CN109446430A (zh) 产品推荐的方法、装置、计算机设备及可读存储介质
CN109189921A (zh) 评论评估模型的训练方法和装置
CN108268934A (zh) 基于深度学习的推荐方法和装置、电子设备、介质、程序
CN111639679A (zh) 一种基于多尺度度量学习的小样本学习方法
CN108052984A (zh) 计数方法及装置
CN106971200A (zh) 一种基于自适应迁移学习的图像记忆度预测方法
CN106023015A (zh) 课程学习路径推荐方法及装置
CN110825850B (zh) 一种自然语言主题分类方法及装置
CN109766557A (zh) 一种情感分析方法、装置、存储介质及终端设备
CN110163252A (zh) 数据分类方法及装置、电子设备、存储介质
CN110069699A (zh) 排序模型训练方法和装置
CN107545038A (zh) 一种文本分类方法与设备
CN111898904A (zh) 一种数据处理方法及装置
CN107341242A (zh) 一种标签推荐方法及系统
Käser et al. Cluster-based prediction of mathematical learning patterns
CN108154153A (zh) 场景分析方法和系统、电子设备
Zhang et al. Higher education-oriented recommendation algorithm for personalized learning resource
CN115730142A (zh) 一种确定投放内容的方法、装置、计算机设备及存储介质
CN115983210A (zh) 表格数据增强方法、装置、设备及介质
CN115759036A (zh) 基于推荐的事件检测模型的构建方法及利用模型进行事件检测的方法
CN112347150B (zh) 一种学者学术标签标注方法、装置和电子设备
Bossek et al. One-shot decision-making with and without surrogates
CN114691856A (zh) 题目推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant