CN113689144A - 产品描述的质量评定系统和方法 - Google Patents

产品描述的质量评定系统和方法 Download PDF

Info

Publication number
CN113689144A
CN113689144A CN202111065678.4A CN202111065678A CN113689144A CN 113689144 A CN113689144 A CN 113689144A CN 202111065678 A CN202111065678 A CN 202111065678A CN 113689144 A CN113689144 A CN 113689144A
Authority
CN
China
Prior art keywords
regression model
product
loss
regression
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111065678.4A
Other languages
English (en)
Other versions
CN113689144B (zh
Inventor
单华松
陈力
周辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
JD com American Technologies Corp
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
JD com American Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd, JD com American Technologies Corp filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Publication of CN113689144A publication Critical patent/CN113689144A/zh
Application granted granted Critical
Publication of CN113689144B publication Critical patent/CN113689144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)

Abstract

一种评定产品文本内容的系统。所述系统包括计算设备，所述计算设备具有处理器和存储有计算机可执行代码的存储设备。计算机可执行代码在处理器处执行时被配置为：提供产品的文本内容和混淆特征；使用产品的文本内容和混淆特征训练第一回归模型；使用混淆特征训练第二回归模型；使用文本内容和混淆特征运行第一回归模型以获得总损失；使用混淆特征运行第二回归模型以获得部分损失；从部分损失中减去总损失得到残差损失；使用残差损失评估模型和回归模型的参数；以及使用第一回归模型获得指示词的重要性的词的对数差异。

Description

产品描述的质量评定系统和方法
交叉引用
在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考是本公开的“现有技术”。在说明书中引用和讨论的所有参考文献均通过引用整体并入本文，其程度与每个参考文献均单独通过引用并入相同。
技术领域
本公开一般涉及文本评定领域，更具体地涉及准确地评定产品描述文本的质量的系统和方法。
背景技术
在此提供的背景描述是为了概括地呈现本公开的环境背景。目前发明人的工作，就其在本背景部分中描述的范围而言，以及在提交申请时可能不符合现有技术的描述的方面，均未明示或暗示承认为本公开的现有技术。
电子商务网站展示了大量的产品供客户进行选择。为了帮助客户尽快找到他们需要的产品，电子商务网站提供了产品的图片和产品的文本描述。文本描述通常包括产品名称、产品品牌、产品卖家、产品规格、客户对产品的评论以及产品的问答。为了让客户获得满意的线上购物体验，评估产品文本描述的信息量和审美本质，以及提高文本描述的质量至关重要。然而，准确地评定产品描述文本的质量具有挑战性。
因此，在本领域中存在解决上述缺陷和不足的未解决的需求。
发明内容
在一些方面，本公开涉及一种评定产品的文本内容的系统。在一些实施例中，系统包括计算设备，计算设备包括处理器和存储有计算机可执行代码的存储设备。计算机可执行代码在处理器处执行时被配置为：
提供描述多个产品的文本内容；
提供所述产品的混淆特征，所述混淆特征包括所述产品的品牌、价格、客户评价和店铺声誉；
使用所述文本内容和所述混淆特征训练第一回归模型以获得训练好的第一回归模型；
使用所述混淆特征训练第二回归模型以获得训练好的第二回归模型，其中，所述第二回归模型的结构与所述第一回归模型的结构相同；
使用所述文本内容和所述混淆特征运行所述训练好的第一回归模型以获得总损失；
使用所述混淆特征运行所述训练好的第二回归模型以获得部分损失；
从所述部分损失中减去所述总损失获得残差损失；以及
基于所述残差损失评估所述第一回归模型的质量，其中所述残差损失越大，所述第一回归模型的质量越高。
在一些实施例中，所述计算机可执行代码还被配置为：
将所述第一回归模型和所述第二回归模型配置为线性回归模型并计算所述残差损失；
将所述第一回归模型和所述第二回归模型配置为逻辑回归模型并计算所述残差损失；
当所述线性回归模型对应的所述残差损失大于所述逻辑回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述线性回归模型；以及
当所述逻辑回归模型对应的所述残差损失大于所述线性回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述逻辑回归模型。
在一些实施例中，所述文本内容包括多个词，所述多个词嵌入至少一个向量中，所述至少一个向量作为所述第一回归模型的输入，所述计算机可执行代码还被配置为在所述训练好的第一回归模型中生成所述至少一个向量的权重的对数差异，所述对数差异对应于所述多个词并表示所述多个词的重要性。
在一些实施例中，所述计算机可执行代码还被配置为基于所述多个词的重要性生成新的文本内容。
在一些实施例中，所述多个词为多个标签词，所述多个标签词中的每个标签词对应于所述产品的颜色、审美特征或时尚特征。
在一些实施例中，所述多个词为多个描述词，所述多个描述词中的每个描述词是从所述产品的网页上的所述产品的文本描述中提取的。
在一些实施例中，所述计算机可执行代码还被配置为：
当所述文本内容包括多个标签词时，将所述文本内容转换为独热向量；
当所述文本内容包括多个描述词时，将所述文本内容转换为多个词向量；以及
将所述独热向量或所述多个词向量提供至所述第一回归模型。
在一些实施例中，所述客户评价包括总评价数和好评数。
在一些实施例中，所述产品的所述混淆特征还包括所述产品的销售季节。
在一些实施例中，所述计算机可执行代码被配置为将所述产品的网页的点选率(CTR)用作标签，所述总损失和所述部分损失为均方误差。
在一些实施例中，所述计算机可执行代码被配置为将所述产品的网页的高点击率和低点击率用作标签，所述网页中的一个网页被限定为当该网页被点击的次数大于点击次数阈值时具有所述高点击率，所述总损失和所述部分损失为交叉熵。
在一些实施例中，所述计算机可执行代码还被配置为当以下中的至少一者发生时重新训练所述第一回归模型和所述第二回归模型：
所述系统的新数据的减少或增加大于预定漂移阈值；
超过预定时间段；以及
所述回归模型的误差大于预定误差阈值。
在一些方面，本公开涉及一种方法。在一些实施例中，该方法包括：
由计算设备提供描述多个产品的文本内容；
由所述计算设备提供所述产品的混淆特征，所述混淆特征包括所述产品的品牌、价格、客户评价和店铺声誉；
由所述计算设备使用所述文本内容和所述混淆特征训练第一回归模型以获得训练好的第一回归模型；
由所述计算设备使用所述混淆特征训练第二回归模型以获得训练好的第二回归模型；
由所述计算设备使用所述文本内容和所述混淆特征运行所述训练好的第一回归模型以获得总损失；
由所述计算设备使用所述混淆特征运行所述训练好的第二回归模型以获得部分损失；
由所述计算设备从所述部分损失中减去所述总损失获得残差损失；以及
由所述计算设备基于所述残差损失评估所述第一回归模型的质量，其中，所述残差损失越大，所述第一回归模型的质量越高。
在一些实施例中，该方法还包括：
将所述第一回归模型和所述第二回归模型配置为线性回归模型并计算所述残差损失；
将所述第一回归模型和所述第二回归模型配置为逻辑回归模型并计算所述残差损失；
当所述线性回归模型对应的所述残差损失大于所述逻辑回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述线性回归模型；以及
当所述逻辑回归模型对应的所述残差损失大于所述线性回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述逻辑回归模型。
在一些实施例中，所述文本内容包括多个词，所述多个词嵌入至少一个向量中，所述至少一个向量作为所述第一回归模型的输入，该方法还包括：
在所述训练好的第一回归模型中生成所述至少一个向量的权重的对数差异，所述对数差异对应于所述多个词并表示所述多个词的重要性。
在一些实施例中，该方法还包括：基于所述多个词的重要性生成新的文本内容。
在一些实施例中，所述文本内容包括与所述产品的颜色、审美特征或时尚特征对应的多个标签词或从所述产品的网页上的所述产品的文本描述中提取的多个描述词。
在一些实施例中，该方法还包括：
当所述文本内容包括所述多个标签词时，将所述文本内容转换为独热向量；
当所述文本内容包括所述多个描述词时，将所述文本内容转换为多个词向量；以及
将所述独热向量或所述多个词向量提供至所述第一回归模型。
在一些实施例中，该方法还包括：
将所述产品的网页的点选率(CTR)用作标签，所述总损失和所述部分损失为均方误差；以及
将所述产品的网页的高点击率和低点击率用作标签，其中，所述网页中的一个网页被限定为当该网页被点击的次数大于点击次数阈值时具有所述高点击率，所述总损失和所述部分损失为交叉熵。
在一些方面，本公开涉及一种存储有计算机可执行代码的非暂时性计算机可读介质。在一些实施例中，所述计算机可执行代码在计算设备的处理器处执行时，被配置为执行上述方法。
本公开的这些方面和其他方面将通过结合以下附图及其标题对优选实施例的以下描述变得显而易见，尽管在不脱离本公开的新颖概念的精神和范围的情况下可以在其中进行变化和修改。
附图说明
本公开将从说明书和附图中得到更充分的理解。附图示出了本公开的一个或多个实施例并结合说明书一起用于解释本公开的原理。在可能的情况下，使用相同的附图标记来指代实施例中的相同或相似元件，其中：
图1示意性示出了根据本公开的一些实施例的评定产品的描述文本的质量的系统。
图2示意性示出了根据本公开的一些实施例的产品的标签词的准备过程。
图3示意性示出了根据本公开的一些实施例的产品的描述词的准备过程。
图4示意性示出了根据本公开的一些实施例的产品的混淆特征的准备过程。
图5示意性示出了根据本公开的一些实施例的残差回归模块。
图6示意性示出了根据本公开的一些实施例的产品特征的残差回归的数据流。
图7示意性示出了根据本公开的一些实施例的产品描述文本的连续学习的数据流。
图8示意性示出了根据本公开的一些实施例的评定回归模块的质量的方法。
图9示意性示出了根据本公开的一些实施例的使用来自文本内容的高质量词的方法。
图10示意性示出了根据本公开的一些实施例的残差模块的连续更新的方法。
具体实施方式
在以下示例中更具体地描述本公开，这些示例仅旨在作为说明，其中的许多修改和变化对于本领域技术人员来说将是显而易见的。现在详细描述本公开的各种实施例。参考附图，如果存在相同的数字，则指示相同的组件。除非上下文另有明确规定，否则本文的描述中和随后的权利要求中使用的“一”、“一个”和“所述”的含义包括复数参考。此外，如在本文的描述和随后的权利要求书中所使用的，“在...中”的含义包括“在...中”和“在...上”，除非上下文另有明确规定。并且，说明书中为了方便读者可以使用标题或副标题，而不影响本公开的范围。此外，本说明书中使用的一些术语在下文有更具体的定义。
本说明书中使用的术语在本领域中、在本公开的上下文中以及在使用每个术语的特定上下文中通常具有它们的普通含义。用于描述本公开的一些术语在下文或说明书中的其他地方讨论，以向从业者提供关于本公开的描述的额外指导。为方便起见，一些术语可能会被突出显示，例如使用斜体和/或引号。使用突出显示对术语的范围和含义没有影响；无论是否突出显示，一个术语的范围和含义在相同的上下文中是相同的。可以理解，同样的事情可以用不止一种方式表达出来。因此，替代语言和同义词可用于此处讨论的任何一个或多个术语，并且对于此处是否详细阐述或讨论术语没有任何特殊意义。提供了一些术语的同义词。一个或多个同义词的使用不排除使用其他同义词。本说明书中任何地方的示例的使用，包括本文讨论的任何术语的示例，仅是说明性的，决不限制本公开或任何示例性术语的范围和含义。同样，本公开不限于本说明书中给出的各种实施例。
除非另有定义，本文使用的所有技术术语和科学术语与本公开所属领域的普通技术人员通常理解的含义相同。在发生冲突的情况下，以本文件(包括定义)为准。
如本文所用，术语“包括”、“含有”、“携带”、“具有”、“包含”、“涉及”等应理解为开放式的，即意味着包括但不限于。
如本文所用，术语A、B和C中的至少一个应解释为表示逻辑(A或B或C)，使用非排他性逻辑或(OR)。应当理解，在不改变本公开的原理的情况下，方法内的一个或多个步骤可以以不同的顺序(或同时)执行。
如本文所用，术语“模块”或“单元”可指代属于或包括，例如在片上系统中的，专用集成电路(ASIC)、电子电路、组合逻辑电路、现场可编程门阵列(FPGA)、执行代码的处理器(共享的、专用的或处理器组)、提供描述功能的其他合适的硬件组件，或以上部分或全部的组合，。术语“模块”或“单元”可以包括存储由处理器执行的代码的存储器(共享的、专用的或处理器组)。
在此使用的术语“代码”可以包括软件、固件和/或微代码，并且可以指程序、例程、函数、类和/或对象。上文使用的术语“共享”意指可以使用单个(共享的)处理器执行来自多个模块的部分或全部代码。此外，来自多个模块的部分或全部代码可以存储在单个(共享的)存储器中。上文使用的术语“组”意指可以使用一组处理器执行来自单个模块的部分或全部代码。此外，可以使用一组存储器来存储来自单个模块的一些或全部代码。
本文中所使用的术语“接口”通常是指在部件之间的交互点处的通信工具或装置，以用于执行部件之间的数据通信。通常，接口可以应用于硬件和软件层面，可以是单向或双向接口。物理硬件接口的示例可以包括电连接器、总线、端口、电缆、终端和其他I/O设备或部件。与接口通信的部件可以是，例如计算机系统的多个部件或外围设备。
本公开涉及计算机系统。如在附图中所示出的，计算机部件可以包括物理硬件部件，其用实线框示出，以及虚拟软件部件，其用虚线框示出。本领域普通技术人员将理解，除非另有说明，否则这些计算机部件可以以包括但不限于软件、固件或硬件部件或其组合的形式来实现。
本文描述的设备、系统和方法可以通过由一个或多个处理器执行的一个或多个计算机程序来实现。计算机程序包括存储在非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可包括存储的数据。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器、磁存储和光存储。
现在将在下文中参考附图更全面地描述本公开，其中示出了本公开的实施例。然而，本公开可以以许多不同的形式体现并且不应被解释为限于这里阐述的实施例；相反，提供这些实施例是为了使本公开彻底和完整，并将本公开的范围充分传达给本领域技术人员。
如上所述，产品描述文本对于客户购物体验很重要，准确地评定描述文本的质量以改进描述文本具有挑战性。挑战至少包括(1)混淆因素(或混淆特征)和(2)变化的审美本质和时尚趋势。诸如产品价格和品牌等混淆因素会影响评定的准确性。例如，描述中的“奢侈品”或“讨价还价”等词是一个混淆因素(价格)，但其没有提供信息。此外，随着时间的推移，审美本质和时尚趋势可能会发生变化。产品描述文本的评定系统不应“过时”。否则，产品描述文本的评定系统将看不到旧词重要性的变化，也无法在产品描述文本中找到新的且重要的词。
在一些方面，提供自动评估以评估产品描述文本的质量。在一些实施例中，可以使用这些在自然语言生成任务中广泛使用的方法进行自动评估，例如机器翻译、摘要等。在这些任务中，通过与参考译文基本事实进行比较，可以很容易地评估生成的文本。这些方法通常分析生成的文本与参考译文之间的N元重叠。例如，双语评估研究(BLEU)分析生成的文本和参考译文之间的共现词汇n元单元；用于摘要评估的面向召回的研究(ROUGE)通过计算生成的文本与参考摘要之间重叠单元(例如，n元)来衡量描述质量；具有显式排序的翻译评估指标(METEOR)被计算为候选译文和参考译文的一元之间的显式对齐。这些方法的缺点是参考译文并不总是很容易获得。例如，由于自然语言的灵活性，给定一个输入语句，一个好的翻译可以是各种输出语句。
在一些方面，提供人工评估来评估产品描述文本的质量，其中评估来自人为判断。评估文本质量的指标可以包括，例如一致性和相关性：生成的文本与给定的输入文本对齐；可读性和流畅性：生成文本的语法正确性和语言质量；以及吸引力：极具美感的句子。这种方法的缺点是具有主观性，即评估很大程度上取决于评估者的个人判断。
在一些方面，提供基于任务的评估以评估产品描述文本的质量。在一些实施例中，特定应用将限定基于任务的评估指标，可以采用在线A/B测试来评估针对特定任务的文本质量。例如，评估指标可以是点选率(CTR)，即，点击特定链接的用户与查看网页的总用户数的比率。点选率可以反映指定网站向用户提供的内容的信息量和审美本质。缺点是评估可能会被许多因素的混淆。例如，产品价格和品牌的影响可能会超过推荐文本对点选率的影响。
综上所述，以上三类方法都不能解决针对在线零售的产品描述文本质量评估的问题。缺点包括：1)没有关于好推荐文本与差推荐文本的基本事实；2)人工评估可能具有主观性和争议性，取决于个人判断；3)推荐文本不是基于任务的评估的唯一因素，存在产品价格、品牌等混淆因素影响评估。更重要的是，这三种方法都不能适应随着时间的推移而变化的审美本质和流行趋势。
在一些方面，本公开提供了一种新颖且改进的方法，该方法(1)可以通过残差回归避免混淆因素的影响，以及(2)可以通过连续学习来适应审美和时尚的变化。在一些实施例中，本公开将面向任务的指标(例如，点选率)定义为标签，将文本内容和所有混淆因素定义为预测因素，并训练多个回归模型以挑出文本内容对任务的重要性。在一些实施例中，本公开连续地根据在线零售网站的日常操作输入新数据，监控数据并预测结果，跟踪文本的流行动态，重新训练并更新评定模型，以及连续地提高评定系统的准确性。
图1示意性示出了根据本公开的一些实施例的评估内容质量的系统。如图1所示，系统100包括计算设备110。在一些实施例中，计算设备110可以是评估文本内容质量的服务器计算机、集群、云计算机、通用计算机、无头计算机或专用计算机。计算设备110可以包括但不限于处理器112、存储器114和存储设备116。在一些实施例中，计算设备110可以包括其他硬件部件和软件部件(未示出)以执行其对应的任务。这些硬件部件和软件部件的示例可以包括但不限于其他所需的存储器、接口、总线、输入/输出(I/O)模块或设备、网络接口和外围设备。
处理器112可以是中央处理单元(CPU)，其被配置为控制计算设备110的运行。在一些实施例中，处理器112可以执行计算设备110的操作系统(OS)或其他应用。在一些实施例中，计算设备110可具有一个以上CPU作为处理器，例如两个CPU、四个CPU、八个CPU或任何合适数量的CPU。存储器114可以是易失性存储器，例如随机存取存储器(RAM)，用于在计算设备110的运行期间存储数据和信息。在一些实施例中，存储器114可以是易失性存储器阵列。在一些实施例中，计算设备110可以在一个以上处理器112和/或一个以上存储器114上运行。存储设备116是非易失性数据存储介质或设备。存储设备116的示例可以包括闪存、存储卡、USB驱动器、固态驱动器或其他类型的非易失性存储设备，例如硬盘驱动器、软盘、光驱或任何其他类型的数据存储设备。在一些实施例中，计算设备110可以具有一个以上存储设备116。在一些实施例中，计算设备110还可以包括远程存储设备116。
存储设备116存储有计算机可执行代码。计算机可执行代码包括文本评估应用118。文本评估应用118包括代码或指令，当代码或指令在处理器112处执行时，可以进行文本内容的评估。在一些实施例中，文本评估应用118可以不是可执行代码，而是与可执行代码的功能相对应的电路形式。通过提供电路而不是可执行代码，大大提高了文本评估应用118的运行速度。在一些实施例中，如图1所示，文本评估应用118包括文本内容准备模块120、混淆因素准备模块130、标签模块140、残差回归模块150、对数差异比模块160、功能模块170、连续学习模块180和用户界面190等。
文本内容准备模块120、混淆因素准备模块130和标签模块140被配置为根据产品信息准备输入，并将该输入提供给残差回归模块150。该产品可以是电子商务网站上销售的商品，可以从产品对应的网页、网页的统计信息、产品数据库中提取产品信息。产品信息可以包括，例如，使用文本描述的产品的标签或主题、使用文本描述的词、产品网页的点选率(CTR)或产品的随机森林分析。
文本内容准备模块120用于将产品的文本内容转换为一个或多个文本向量，并将文本向量提供给残差回归模块150。在一些实施例中，文本内容为多个标签或多个描述词。多个标签或标签词中的每一个对应于产品的预定义特征或主题。标签词是预先定义或从产品信息中学习到的产品的重要特征。可以对电子商务网站提供的产品进行分类，每个类别的产品都可以有对应的标签词。当产品属于服装类别时，标签词可以包括黑色、白色、红色、绿色、蓝色、黄色等服装的颜色，清新、干净等服装的审美特征，经典、休闲、办公、斑点等服装的时尚特征，皮、棉、丝等服装的材料。当产品为冰箱时，标签词可以包括一门和两门、定频和变频、白、黑、灰等。当产品为键盘时，标签词可以包括键盘、静音、游戏。在一些实施例中，这些标签词的值是从产品的网页中提取的，可选地，从存储在电子商务服务器中的产品数据库中提取。例如，针对黑色衬衫，标签词“黑色”对应的值为1，而标签词“白色”、“黄色”或其他颜色对应的值为0。在一些实施例中，对于小类别的产品，标签的数量约为100～300。在一些实施例中，如图2所示，文本内容准备模块120用于将一个产品的标签词表示为独热向量，独热向量的每一维度对应一个标签词。
在一些实施例中，文本内容为从产品网页的产品描述中提取的描述词。在一些实施例中，描述词包括产品网页上的描述文本中的每一个词。在一些实施例中，预先去除产品描述中的停止词，其中停止词可以包括“the”、“is”、“at”、“which”和“on”。在一些实施例中，当一个词出现在其中一个产品描述中的几个不同位置时，该词被计为一个描述词。在一些实施例中，描述词的数量很大，例如几千到几万。在一些实施例中，如图3所示，文本内容准备模块120用于将描述词转换为词向量。可以通过例如word2vec、来自转换器的双向编码表示(BERT)、全局向量(GloVe)或任何其他词嵌入方法来执行转换。
混淆因素准备模块130用于提取产品的混淆因素，将混淆因素转换为混淆向量和/或混淆值，并将混淆向量或混淆值提供给残差回归模块150。在一些实施例中，如图4所示，混淆因素可以包括产品的价格和品牌；客户评价或产品评论，包括好评数、总评价数、以及可选地，好评百分比；产品季节，例如，春季、夏季、秋季、或冬季等；以及销售该产品的电子商务网站上的店铺或商店的声誉。在一些实施例中，产品价格的值可以是列出的产品的真实美元值，或代表产品类别中价格的低和高的0到1之间的数字；品牌的值可以是0到1之间的数字，具体取决于持有该品牌的公司的规模、该品牌的产品的年销售额、与同一类别或种类中的其他品牌的产品的销售额相比该品牌的产品的销售额；评论的值和好评的值可以是与评论数和好评数对应的正整数；季节的值可以对应于产品的历史总销售额或该类别中的产品在四个季节中的历史总销售额；信誉的值可以是0到100之间的整数，对应于电子商务网站上店铺的评论数和店铺的好评数。在一些实施例中，不同类别的产品可能具有不同的混淆因素。在一些实施例中，混淆因素由系统管理员预先定义。混淆因素可以从产品的网页和产品数据库中提取。在一些实施例中，混淆因素的数量很大。在一些实施例中，假设混淆因素影响产品网页版本的吸引力，产品网页版本的吸引力可以是产品网页版本在预定的时间段内的点选率(CTR)。在一些实施例中，混淆因素对于不同类别的产品可以相同或不同，其中类别可以包括大类别的服装、消费电子产品、手机和配件、计算机和办公室、玩具、运动、家庭和花园、健康、汽车，以及小类别的诸如电视、冰箱、帽子、洗衣机等。与描述词或标签相比，混淆因素对点选率的影响可能更大。例如，产品网页的点选率很高，可能主要是因为产品的品牌知名度很高，而产品的描述文本与品牌相比，对点选率的贡献可能较小。在一些实施例中，混淆因素是预先定义的，其中一些可能对产品网页的吸引力没有贡献。在一些实施例中，可以执行文本评估应用118以评估混淆因素的重要性，并去除一些对产品网页的吸引力没有影响或只有很小影响的混淆因素。定义混淆因素后，如图4所示，混淆因素准备模块130用于将针对产品的混淆因素转换成数值或向量。例如，产品的价格可以用价格的值来表示。产品的品牌可以是一个独热向量，独热向量的每一维度对应一个品牌。
标签模块140用于为训练数据集准备标签，例如产品网页的一个版本。当产品网页的吸引力以点选率表示时，产品的标签为产品网页版本对应的预定时间段内的点选率值。在一些实施例中，产品网页版本的吸引力也可以标记为网页版本的相对点击量，例如高点选率或低点选率。高点选率或低点选率可以通过点击次数等于或大于阈值或小于阈值来限定。在一些实施例中，当评估标准是聊天板是否适合人机交互时，标签是聊天板上每个聊天实例的行数。在一些实施例中，可以对产品网页以外的事物进行评估，只要该事物包括描述产品的文本即可。标签可以是值或向量的形式。因为标签是来自数据的客观值，而不是用户定义的标签，所以避免了主观性。在对产品网页进行标注后，标签模块140用于将产品网页的标签提供给残差回归模块150。
如上所述，文本内容准备模块120、混淆因素准备模块130和标签模块140用于为残差回归模块150准备样本或训练数据集。例如，产品类别中有很多产品用于训练残差回归模块150，其中一个产品可以有一个版本或多个版本的产品网页，每个版本的产品网页形成一个训练数据的样本。一个训练数据的样本可以包括产品标签词或主题对应的标签向量、产品描述中的词对应的词向量、产品混淆特征对应的混淆向量和/或混淆值、以及点选率或以向量或值形式的产品的其他标签。
残差回归模块150用于在接收文本内容准备模块120、混淆因素准备模块130和标签模块140输入的训练数据集后，训练回归模块，评估回归模块，并基于该评估选择最佳回归模块，并使训练好的回归模块用于对数差异比模块170。如图5所示，残差回归模块150包括第一回归模块152、第二回归模块154、残差回归模块156和评估模块158。
第一回归模块152用于在接收到输入后，使用大量训练数据集的对应标签、文本向量以及混淆向量(和/或混淆值)来训练第一回归模块152，计算训练完成后的总损失，并将总损失发送到残差回归模块156。每个训练数据集可以对应于具有从产品数据库中提取的特征的产品和描述该产品的文本版本。一个产品可能对应多个训练数据集，每个数据集对应一个版本的产品描述。第一回归模块152可以包括二元分类预测模型、线性回归模型、逻辑回归模型、多项式回归模型、逐步回归模型、岭回归模型、套索回归模型、支持向量回归模型、ElasticNet回归模型，或任何其他类型的回归模型。文本内容向量可以是独热向量，也可以是word2vec生成的向量。训练数据集的标签可以是点选率、高点选率/低点选率、聊天板上的聊天行数或高聊天行数/低聊天行数。第一回归模块152的上述变化可以根据要解决的问题，即任务来定义，第一回归模块152的这些不同配置可以由评估模块158基于残差回归模块156计算的残差回归进行评估。因此，在训练阶段，第一回归模块152的每个特定配置被训练以获得总损失。总损失中的每一个对应于第一回归模块152的一个配置。总损失被定义为Ltext+confounding factors或简单地定义为L。在一些实施例中，第一回归模块152包括二元分类预测模型，标签是高点选率/低点选率，损失是交叉熵损失。在一些实施例中，第一回归模块152包括线性回归模型，标签是连续的点选率值，并且损失是均方误差。
第二回归模块154用于在接收到输入后，使用大量训练数据集的对应标签和混淆向量(和/或混淆值)来训练第二回归模块154，计算训练完成后的部分损失，并将该部分损失发送到残差回归模块156。部分损失被命名为Lconfounding factors。对于每个训练，第二回归模块154的配置与第一回归模块152的配置相同。唯一的区别是第二回归模块154的输入不包括文本向量。
残差回归模块156用于当第一回归模块152的一个配置对应的总损失L和第二回归模块154的一个配置对应的部分损失Lconfounding factors可用时，通过从部分损失中减去总损失来计算残差损失，并将残差损失发送到评估模块158。残差损失指示第一回归模块152和第二回归模块154在特定配置(输入数据的特定模型结构和格式)下的性能，并限定为：
Performance＝Lconfounding factors-L。
评估模块158用于在接收对应于第一回归模块152和第二回归模块154的不同配置的残差损失或Performances后，基于Performances的值评定回归模块的质量，基于评定结果固定针对任务的回归模块结构，将评估结果提供给对数差异比模块160，并将固定的回归模块152和154置于连续学习模块180中。在一些实施例中，Performance值越大，回归模块质量越高。因为部分损失代表混淆因素对训练数据集质量的影响，总损失代表文本内容和混淆特征对训练数据集质量的影响，部分损失与总损失的差，即Performance，表示文本内容对训练数据集质量的影响。Performance的值越大，评估文本内容的重要性就越容易且越准确。因此，选择对应于最高Performance值的回归模块结构和输入数据的格式作为针对特定任务的回归模块的最佳配置。
对数差异比模块160用于在接收到来自评估模块158的评估结果后，对文本向量的对数差异比进行预测，并将对数差异比提供给功能模块170。具体地，当由评估模块158为第一回归模块152和第二回归模块154确定好最佳或者优化的模块结构和输入数据的格式时，使用具有相应配置的训练好的第一回归模块152来预测文本内容的重要性。对于训练好的第一回归模块152中的每个文本向量，存在对应的权重p。对数差异比模块160用于计算对数差异比为：
Figure BDA0003256822020000161
Figure BDA0003256822020000162
通过转换，将产品描述中每个词对应的权重的小值转换为大值。文本词的对数差异比越大，产品描述中的文本词就越重要。因为对数差异比越大，文本词之间在重要性方面的差异就越明显，这在对数差异比的其他应用中很有用。
通过残差回归分析，本公开可以使用最佳回归模块，选择输入数据的最佳格式来筛选文本内容，其中对数差异比较大的词比对数差异比较小的词更重要。图6示意性示出了根据本公开的一些实施例的残差回归的操作。如图6所示，一个回归同时使用产品的文本特征和混淆特征进行，另一个回归仅使用混淆特征进行，两个回归的差，即，残差回归，对应于文本对目标的贡献，例如点选率。
功能模块170用于当文本内容中的词的对数差异比可用时，执行功能或任务。在一些实施例中，功能模块170可以根据文本内容中的词各自的对数差异比对文本内容中的词进行排序，从而根据排序获得最重要的词。如上所述，对数差异比越大，词的排序越高。当文本内容为描述文本，且功能为生成新的描述文本时，功能模块170用于选择排序高的词，并利用选择的排序高的词生成新的描述文本。每个排序高的词可以对应于生成的新的产品描述中的一个句子。当文本内容为标签词或主题，功能为生成新文本时，功能模块170用于选择排序高的标签词，并生成几个段落。每个生成的新段落可以对应于选定的标签词之一。
继续参考图1，连续学习模块180用于根据一定标准触发残差回归模块150(具体地，第一回归模块152和第二回归模块154)的重新训练。在一些实施例中，由于评估模块158针对特定任务限定了回归模型结构和输入格式，因此可能不需要再次计算残差回归并进行评估。在一些实施例中，也可以仅对第一回归模块152进行更新，然后将其用于计算文本词的对数差异比。在其他实施例中，由于数据集可能已经发生了巨大变化，文本评估应用118也可以重复计算残差回归并评估不同结构的回归模型的过程，以查看当前的回归模型和输入参数是否仍然优于其他类型的回归模型和输入参数。
随着时间的推移，在线零售的审美本质和时尚趋势可能会发生变化。例如，一些旧的重要词变得不那么流行，一些新的流行词紧随其后。因此，产品描述文本的评定系统应考虑到这种动态性以保证其评定的准确性。本领域中的文本评定系统对于旧词重要性和新流行词的变化方面变得无力。根本原因在于数据不是静态的，而是不断发展的。因此，随着时间的推移，对在配置期间执行的文本评定系统的验证变得无效。为了解决这个挑战，本公开的一些实施例提供连续学习模块180以连续更新所配置的模型。图7示意性示出了由连续学习模块180执行的评定模型演化的传递途径。传递途径中的一个关键问题是何时触发新一轮学习。两种类型的监控可以作为触发器。数据监控可以分析传入数据以寻找可能的异常、漂移和变化点，而预测监控可以分析预测偏差，例如评定准确性误差。在一些实施例中，连续学习模块180使用以下触发策略中的至少一个触发新一轮的训练。
策略1：连续学习模块180在特定时间窗(例如，小时或分钟)内监视新数据的增加率/减少率。一旦连续学习模块180捕捉到突发、异常、漂移或变化点，连续学习模块180选择突发期间的数据作为用于重新训练第一回归模块152和可选的第二回归模块154的采样数据。有许多类型的漂移检测方法，例如在Joaquin Quinonero-Candela et al.,Data Shiftin Machine Learning,the MIT Press,2009中引用的方法，其全部内容通过引用并入本文。在突发过后，连续学习模块180通过残差回归模块150触发学习过程，并在突发期间学习新的重要文本内容。这种策略的好处是它可以跟踪文本重要性并在突发期间找到新的流行文本。
策略2：连续学习模块180可以通过使用固定的周期长度作为采样周期来监控新数据，例如年、季节、月等。连续学习模块180周期性地触发学习过程。这种策略的好处是它可以跟踪文本重要性的变化并找到不同时期(例如不同季节)对齐的流行文本内容。
策略3：连续学习模块180可以监控预测错误。一旦错误率大于预定义的阈值，就会触发学习过程。这种策略的好处是可以跟踪旧词重要性的变化，找到新的重要词。
用户界面190用于在计算设备110中提供用户界面或图形用户界面。在一些实施例中，系统的用户或管理员能够使用该用户界面190为计算设备110配置参数，尤其是在文本评估应用118中使用的参数。参数可以包括第一回归模块152和第二回归模块154的回归模型的选择、从文本内容和混淆因素生成向量(和/或值)的方法、标记训练数据集的方法。
图8示意性示出了根据本公开的一些实施例的训练和评估回归模型的质量的方法。在一些实施例中，如图8所示的方法800可以在如图1所示的计算设备110上实现。需要特别注意的是，除非本公开另有说明，上述方法的步骤可以按照不同的顺序排列，因此不限于图8所示的顺序。
在步骤802，文本内容准备模块120将文本内容转换为一个或多个文本向量，并将文本向量发送到残差回归模块150。在一些实施例中，文本内容包括预定义的标签词或主题，文本向量是独热向量，独热向量的每一维度对应一个标签词。在一些实施例中，文本内容包括从产品描述中提取的大量描述词。产品描述可以是显示在产品网页上的文本。在一些实施例中，描述词的提取包括从产品描述中去除停止词，将重复的描述词定义为一个描述词。提取的描述词通过例如word2vec转换为词向量。每个词向量对应一个描述词。
在步骤804，混淆因素准备模块130将产品的混淆因素转换为混淆向量，并将混淆向量发送到残差回归模块150。混淆因素可以包括价格、产品品牌、产品的总客户评价数和客户好评数、销售产品的店铺的声誉。每个混淆向量可以对应于混淆因素之一。
在步骤806，标签模块140将产品的标签提供给残差回归模块150。标签可以由系统的管理员或用户定义，并由标签模块140从训练数据集中自动提取。在一些实施例中，标签也可以通过机器学习模型来学习。在一些实施例中，步骤802、804和806被协调和组合在一起，组合后的输入被发送到残差回归模块150。组合后的输入因此包括大量训练数据集，每个数据集包括文本向量(描述词向量或标签词向量)、混淆向量和标签。
在步骤808，在接收到文本向量、混淆向量和产品的标签后，残差回归模块150使用文本向量、混淆向量和标签训练第一回归模块152。针对一任务的第一回归模块152的结构和输入格式有不同的配置，使用训练数据集对每个配置执行训练。
在步骤810，在接收到文本向量、混淆向量和产品的标签后，残差回归模块150使用混淆向量和标签而不是文本向量来训练第二回归模块154。第二回归模块154的结构与第一回归模块152的结构相同，混淆向量和标签的格式与第一回归模块152所使用的格式相对应，从而可以进行有效的比较。
在步骤812，当第一回归模块152和第二回归模块154使用一种类型的配置针对任务训练好之后，评估模块158根据第一回归模块152计算总损失，根据第二回归模块154计算部分损失，并通过从部分损失中减去总损失来计算残差回归损失。残差回归损失也称为配置的Performances。
在步骤814，通过对每个回归模块配置重复步骤812，可得到一组残差回归损失。具有最大残差回归损失的回归模块配置被确定为针对任务进行预测的最佳配置。
图9示意性示出了根据本公开的一些实施例的用于预测文本内容的重要性的方法。在一些实施例中，如图9所示的方法900可以在如图1所示的计算设备110上实现。需要特别说明的是，除非本公开另有说明，上述方法的步骤可以按照不同的顺序排列，因此不限于图9所示的顺序。
当回归模块结构的最佳配置和输入格式在上面的步骤814中被确定后，可以使用第一回归模块152来使用该配置进行预测。因此，在步骤902，残差回归模块150使用文本向量、混淆向量(和/或值)和标签以最佳配置训练第一回归模块152。在一些实施例中，如果第一回归模型152的训练已经在使用最佳配置的上述步骤808处执行，则步骤902可以不是必需的。
在步骤904，当第一回归模块152训练好时，对数差异比模块160从训练好的第一回归模块152中提取文本向量的权重。每个文本向量对应一个标签词或一个描述词。
在步骤906中，对数差异比模块160在提取权重后，计算针对每个权重的对数差异比，根据文本内容中的对应词各自的对数差异比对文本内容中的对应词进行排序，并将对数差异比发送到功能模块170，每个计算出的对数差异比指示文本内容中对应词的重要性。对数差异比越大，该词在产品描述中的重要性就越高。
在步骤908，在接收到产品的经排序的词和基本信息后，功能模块170执行新的任务，诸如为产品生成新的文本描述之类。例如，当文本内容为标签词时，功能模块170选择与产品基本信息相关的多个排序高的标签词，数量可以是5～10个。每个标签词用作段落的主题。然后，功能模块170生成5～10个段落作为产品的描述。
又如，当文本内容为描述词时，功能模块170选择与产品的基本信息相关的多个排序高的描述词，数量可以是3～7个。每个描述词用作句子的主题。然后，功能模块170生成3～7个句子，并将这3～7个句子组合为新的产品描述的一段。
在一些实施例中，上述产品描述的句子和段落的生成可以有不同的变体。例如，该生成还可以考虑生成的产品描述的风格、生成的产品描述的受众以及产品的重要特征。
在一些实施例中，本公开涉及一种重新训练残差回归模块150的方法。在一些实施例中，残差回归模块150的重新训练由连续学习模块180触发。重新训练的触发可以包括三种不同的路线中的至少一种。图10示意性示出了根据本公开的一些实施例的文本评估应用118的连续学习的方法。在一些实施例中，如图10所示的方法1000可以在如图1所示的计算设备110上实现。需要特别说明的是，除非本公开另有说明，上述方法的步骤可以按照不同的顺序排列，因此不限于图10所示的顺序。
当产品描述数据被更新时，在步骤1002，连续学习模块180指示数据选择和验证，并请求文本内容准备模块120、混淆因素准备模块130和标签模块140准备残差回归模块150的训练样本。
在步骤1004，残差回归模块150训练第一回归模块和第二回归模块，计算残差回归，并基于残差回归验证第一回归模块和第二回归模块是否仍然良好。
在步骤1006，在验证第一回归模块和第二回归模块后，对数差异比模块160使用第一回归模块计算新文本词的对数差异比，并基于对数差异比生成新的产品描述，其中在产品描述的生成中，优选具有更大对数差异比的词。
在步骤1008，文本评估应用118配置新的产品描述，并比较新的产品描述是否优于先前的产品描述。如果新的产品描述比先前的产品描述好，例如，如果新的产品描述比先前的产品描述引起更多的点击量，则文本评估应用118保留新的产品描述。
在此期间和之后，连续学习模块180监控数据和第一回归模块152做出的预测，并触发从步骤1002到步骤1008的学习过程。当满足上述三种策略中的至少之一的条件时，系统可以触发上述过程。
在一些实施例中，在触发迭代学习之后，学习不仅可以用于优化回归模型的参数和输入的参数。而且，学习可以确定回归模型和输入格式准备的哪种组合最适合更新的数据集。例如，文本输入可以由词频向量或词嵌入序列表示。然后，可以通过残差回归基于Performances比较不同模型和输入格式的组合，使用具有最佳Performance的组合来分析新数据集并从新数据集中挖掘新的趋势词。在一些实施例中，可以使用与方法800相同或相似的过程来执行确定最佳组合的过程。
在另一方面，本公开涉及一种存储有计算机可执行代码的非暂时性计算机可读介质。当在计算设备110的处理器112处执行时，代码可以执行如上所述的方法。在一些实施例中，非暂时性计算机可读介质可以包括但不限于任何物理或虚拟存储介质。在一些实施例中，非暂时性计算机可读介质可以实现为如图1所示的计算设备110的存储设备116。
综上所述，本公开的一些实施例尤其具有以下优点。(1)所公开的方法使用残差回归分析排除混淆因素，从而关注文本内容的质量(其对特定任务的影响)。该方法通过去除混淆因素(例如，价格和品牌)来提高文本评定系统的准确性。通过这种方法，可以容易地确定最佳回归模型和最佳输入格式。(2)本公开应用连续学习框架来不断提高适合内容随时间变化的评定系统的准确性。因此，它可以跟踪和更新词的重要性的变化，甚至可以通过评定系统发现新的重要词。(3)由于本公开使用基于任务的指标作为标签，没有人为标签(避免主观性，克服人工评估的局限性)或参考内容(允许灵活性，克服自动评估的局限性)。
本公开的示例性实施例的前述描述仅出于说明和描述的目的而呈现并且不旨在穷举或将本公开限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。
选择和描述实施例是为了解释本公开的原理及其实际应用，从而使本领域的其他技术人员能够利用本公开和各种实施例以及适合于预期的特定用途的各种修改。在不脱离本公开的精神和范围的情况下，替代实施例对于本公开所属领域的技术人员将变得显而易见。因此，本公开的范围由所附权利要求而不是前述描述和其中描述的示例性实施例限定。

Claims (20)

1.一种系统，包括计算设备，其中所述计算设备包括处理器和存储有计算机可执行代码的存储设备，所述计算机可执行代码在所述处理器处执行时被配置为：
提供描述多个产品的文本内容；
提供所述产品的混淆特征，所述混淆特征包括所述产品的品牌、价格、客户评价和店铺声誉；
使用所述文本内容和所述混淆特征训练第一回归模型以获得训练好的第一回归模型；
使用所述混淆特征训练第二回归模型以获得训练好的第二回归模型，其中，所述第二回归模型的结构与所述第一回归模型的结构相同；
使用所述文本内容和所述混淆特征运行所述训练好的第一回归模型以获得总损失；
使用所述混淆特征运行所述训练好的第二回归模型以获得部分损失；
从所述部分损失中减去所述总损失以获得残差损失；以及
基于所述残差损失评估所述第一回归模型的质量，其中，所述残差损失越大，所述第一回归模型的质量越高。
2.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为：
将所述第一回归模型和所述第二回归模型配置为线性回归模型并计算所述残差损失；
将所述第一回归模型和所述第二回归模型配置为逻辑回归模型并计算所述残差损失；
当所述线性回归模型对应的所述残差损失大于所述逻辑回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述线性回归模型；以及
当所述逻辑回归模型对应的所述残差损失大于所述线性回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述逻辑回归模型。
3.根据权利要求1所述的系统，其中，所述文本内容包括多个词，所述多个词嵌入至少一个向量中，所述至少一个向量作为所述第一回归模型的输入，所述计算机可执行代码还被配置为：
在所述训练好的第一回归模型中生成所述至少一个向量的权重的对数差异，所述对数差异对应于所述多个词并表示所述多个词的重要性。
4.根据权利要求3所述的系统，其中，所述计算机可执行代码还被配置为基于所述多个词的重要性生成新的文本内容。
5.根据权利要求3所述的系统，其中，所述多个词为多个标签词，所述多个标签词中的每个标签词对应于所述产品的颜色、审美特征或时尚特征。
6.根据权利要求3所述的系统，其中，所述多个词为多个描述词，所述多个描述词中的每个描述词是从所述产品的网页上的所述产品的文本描述中提取的。
7.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为：
当所述文本内容包括多个标签词时，将所述文本内容转换为独热向量；
当所述文本内容包括多个描述词时，将所述文本内容转换为多个词向量；以及
将所述独热向量或所述多个词向量提供至所述第一回归模型。
8.根据权利要求1所述的系统，其中，所述客户评价包括总评价数和好评数。
9.根据权利要求1所述的系统，其中，所述产品的所述混淆特征还包括所述产品的销售季节。
10.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为将所述产品的网页的点选率CTR用作标签，所述总损失和所述部分损失为均方误差。
11.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为将所述产品的网页的高点击率和低点击率用作标签，所述网页中的一个网页被限定为当该网页被点击的次数大于点击次数阈值时具有所述高点击率，所述总损失和所述部分损失为交叉熵。
12.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为当以下中的至少一者发生时，重新训练所述第一回归模型和所述第二回归模型：
所述系统的新数据的减少或增加大于预定漂移阈值；
超过预定时间段；以及
所述回归模型的误差大于预定误差阈值。
13.一种方法，包括：
由计算设备提供描述多个产品的文本内容；
由所述计算设备提供所述产品的混淆特征，所述混淆特征包括所述产品的品牌、价格、客户评价和店铺声誉；
由所述计算设备使用所述文本内容和所述混淆特征训练第一回归模型以获得训练好的第一回归模型；
由所述计算设备使用所述混淆特征训练第二回归模型以获得训练好的第二回归模型；
由所述计算设备使用所述文本内容和所述混淆特征运行所述训练好的第一回归模型以获得总损失；
由所述计算设备使用所述混淆特征运行所述训练好的第二回归模型以获得部分损失；
由所述计算设备从所述部分损失中减去所述总损失获得残差损失；以及
由所述计算设备基于所述残差损失评估所述第一回归模型的质量，其中，所述残差损失越大，所述第一回归模型的质量越高。
14.根据权利要求13所述方法，还包括：
将所述第一回归模型和所述第二回归模型配置为线性回归模型并计算所述残差损失；
将所述第一回归模型和所述第二回归模型配置为逻辑回归模型并计算所述残差损失；
当所述线性回归模型对应的所述残差损失大于所述逻辑回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述线性回归模型；以及
当所述逻辑回归模型对应的所述残差损失大于所述线性回归模型对应的所述残差损失时，将所述第一回归模型和所述第二回归模型限定为所述逻辑回归模型。
15.根据权利要求13所述的方法，其中，所述文本内容包括多个词，所述多个词嵌入至少一个向量中，所述至少一个向量作为所述第一回归模型的输入，所述方法还包括：
在所述训练好的第一回归模型中生成所述至少一个向量的权重的对数差异，所述对数差异对应于所述多个词并表示所述多个词的重要性。
16.根据权利要求15所述的方法，还包括：基于所述多个词的重要性生成新的文本内容。
17.根据权利要求15所述的方法，其中所述文本内容包括与所述产品的颜色、审美特征或时尚特征对应的多个标签词或从所述产品的网页上的所述产品的文本描述中提取的多个描述词。
18.根据权利要求17所述的方法，还包括：
当所述文本内容包括所述多个标签词时，将所述文本内容转换为独热向量；
当所述文本内容包括所述多个描述词时，将所述文本内容转换为多个词向量；以及
将所述独热向量或所述多个词向量提供至所述第一回归模型。
19.根据权利要求13所述的方法，还包括：
将所述产品的网页的点选率CTR用作标签，所述总损失和所述部分损失为均方误差；以及
将所述产品的网页的高点击率和低点击率用作标签，其中，所述网页中的一个网页被限定为当该网页被点击的次数大于点击次数阈值时具有所述高点击率，所述总损失和所述部分损失为交叉熵。
20.一种存储有计算机可执行代码的非暂时性计算机可读介质，其中，所述计算机可执行代码在计算设备的处理器处执行时，被配置为：
提供描述多个产品的文本内容；
提供所述产品的混淆特征，所述混淆特征包括所述产品的品牌、价格、客户评价和店铺声誉；
使用所述文本内容和所述混淆特征训练第一回归模型以获得训练好的第一回归模型；
使用所述混淆特征训练第二回归模型以获得训练好的第二回归模型，其中所述第二回归模型的结构与所述第一回归模型的结构相同；
使用所述文本内容和所述混淆特征运行所述训练好的第一回归模型以获得总损失；
使用所述混淆特征运行所述训练好的第二回归模型以获得部分损失；
从所述部分损失中减去所述总损失获得残差损失；以及
基于所述残差损失评估所述第一回归模型的质量，其中，所述残差损失越大，所述第一回归模型的质量越高。
CN202111065678.4A 2020-09-11 2021-09-10 产品描述的质量评定系统和方法 Active CN113689144B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/018,606 2020-09-11
US17/018,606 US11574351B2 (en) 2020-09-11 2020-09-11 System and method for quality assessment of product description

Publications (2)

Publication Number Publication Date
CN113689144A true CN113689144A (zh) 2021-11-23
CN113689144B CN113689144B (zh) 2024-08-20

Family

ID=78586051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111065678.4A Active CN113689144B (zh) 2020-09-11 2021-09-10 产品描述的质量评定系统和方法

Country Status (2)

Country Link
US (1) US11574351B2 (zh)
CN (1) CN113689144B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022087497A1 (en) * 2020-10-22 2022-04-28 Assent Compliance, Inc. Multi-dimensional product information analysis, management, and application systems and methods
CN114493810B (zh) * 2022-04-14 2022-07-05 成都信息工程大学 物联网数据处理方法、装置及介质
CN115760202B (zh) * 2023-01-10 2023-05-09 深圳市鼎山科技有限公司 一种基于人工智能的产品运营管理系统及方法
CN116934438A (zh) * 2023-04-14 2023-10-24 济南明泉数字商务有限公司 一种基于chatGPT模型和算力的AI竞拍决策方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049499A1 (en) * 2006-11-22 2010-02-25 Haruo Hayashi Document analyzing apparatus and method thereof
US20110208511A1 (en) * 2008-11-04 2011-08-25 Saplo Ab Method and system for analyzing text
CN105989372A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 识别重要且次要因素不敏感的痕迹特征的方法设备和系统
CN106776868A (zh) * 2016-11-29 2017-05-31 浙江工业大学 一种基于多元线性回归模型的餐馆评分预测方法
CN109508558A (zh) * 2018-10-31 2019-03-22 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
US20190362417A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Systems and methods for interpreting analytical results
CN111368083A (zh) * 2020-03-05 2020-07-03 中国平安人寿保险股份有限公司 基于意图混淆的文本分类方法、装置、设备及存储介质
KR20200087312A (ko) * 2018-12-28 2020-07-21 아주대학교산학협력단 머신러닝 모델 기반 저자의 의사소통 자질 평가 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003233859A1 (en) * 2002-04-10 2003-10-27 Accenture Global Services Gmbh Determination of attributes based on product descriptions
US8572011B1 (en) * 2010-07-16 2013-10-29 Google Inc. Outcome estimation models trained using regression and ranking techniques
US9720901B2 (en) 2015-11-19 2017-08-01 King Abdulaziz City For Science And Technology Automated text-evaluation of user generated text
US11403690B2 (en) * 2018-01-29 2022-08-02 Walmart Apollo, Llc Determining brand affinity of users

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049499A1 (en) * 2006-11-22 2010-02-25 Haruo Hayashi Document analyzing apparatus and method thereof
US20110208511A1 (en) * 2008-11-04 2011-08-25 Saplo Ab Method and system for analyzing text
CN105989372A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 识别重要且次要因素不敏感的痕迹特征的方法设备和系统
CN106776868A (zh) * 2016-11-29 2017-05-31 浙江工业大学 一种基于多元线性回归模型的餐馆评分预测方法
US20190362417A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Systems and methods for interpreting analytical results
CN109508558A (zh) * 2018-10-31 2019-03-22 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
KR20200087312A (ko) * 2018-12-28 2020-07-21 아주대학교산학협력단 머신러닝 모델 기반 저자의 의사소통 자질 평가 장치 및 방법
CN111368083A (zh) * 2020-03-05 2020-07-03 中国平安人寿保险股份有限公司 基于意图混淆的文本分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11574351B2 (en) 2023-02-07
US20220084095A1 (en) 2022-03-17
CN113689144B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
CN113689144B (zh) 产品描述的质量评定系统和方法
Hu et al. Predicting hotel review helpfulness: The impact of review visibility, and interaction between hotel stars and review ratings
CA3083723C (en) Method and apparatus for providing personalized self-help experience
CN111444334A (zh) 数据处理方法、文本识别方法、装置及计算机设备
US20160063596A1 (en) Automatically generating reading recommendations based on linguistic difficulty
Fu et al. Visualization assessment: A machine learning approach
Zhang et al. Using neutral sentiment reviews to improve customer requirement identification and product design strategies
Huang et al. Leveraging the crowd to improve feature-sentiment analysis of user reviews
CN111523315B (zh) 数据处理方法、文本识别方法、装置及计算机设备
CN113392218A (zh) 文本质量评估模型的训练方法和确定文本质量的方法
Hossain et al. Development of an Intelligent Job Recommender System for Freelancers using Client's Feedback Classification and Association Rule Mining Techniques.
CN111967858A (zh) 一种人才智能推荐方法、系统、计算机设备及存储介质
Addepalli et al. A proposed framework for measuring customer satisfaction and product recommendation for ecommerce
Al-Otaibi et al. Finding influential users in social networking using sentiment analysis
Ren et al. A co-attention based multi-modal fusion network for review helpfulness prediction
CN110647504B (zh) 司法文书的检索方法及装置
US9959559B2 (en) Ranking and recommendation algorithms for search listings
KR102546328B1 (ko) 온라인 마케팅을 위한 콘텐츠 정보 모니터링 및 콘텐츠 기획 자동화 솔루션 제공 방법, 장치 및 시스템
Lee et al. Beyond exchangeability: The Chinese voting process
Ojo et al. Graph Neural Network for Smartphone Recommendation System: A Sentiment Analysis Approach for Smartphone Rating
Chaudhary et al. Fake News Detection During 2016 US Elections Using Bootstrapped Metadata-Based Naïve Bayesian Classifier
CN112396481A (zh) 线下产品信息发送方法、系统、电子设备和存储介质
kumar Singh et al. Machine Learning and Sentiments Analysis: Analyzing Customer Reviews
Jabr et al. What are they saying? A methodology for extracting information from online reviews
Islam et al. Classification of food reviews from bengali text using lstm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant