CN112334904B - 处理交易反馈 - Google Patents

处理交易反馈 Download PDF

Info

Publication number
CN112334904B
CN112334904B CN201880093335.9A CN201880093335A CN112334904B CN 112334904 B CN112334904 B CN 112334904B CN 201880093335 A CN201880093335 A CN 201880093335A CN 112334904 B CN112334904 B CN 112334904B
Authority
CN
China
Prior art keywords
comments
category
comment
categories
reviews
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880093335.9A
Other languages
English (en)
Other versions
CN112334904A (zh
Inventor
唐·库穆杜·贾纳卡·拉纳通加
玛丽·米歇尔·瑞亚·福斯特
赖恭安
桑吉卡·赫瓦维塔拉纳
杰森·迪兰
徐粲然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN112334904A publication Critical patent/CN112334904A/zh
Application granted granted Critical
Publication of CN112334904B publication Critical patent/CN112334904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了用于以下操作的系统和方法：在与联网系统成员进行交易的特定阶段接收多个评论；将多个评论中的一个或多个分类为预定情感分类集中的一个；应用训练的机器学习系统从针对一个或多个评论中的每一个的预定义类别集中选择类别；应用自然语言处理模块为一个或多个评论中的每一个生成子类别；针对所述一个或多个评论，将所生成的子类别与它们各自的类别相关联；以及生成具有所生成的子类别的特定交易的确定类别的显示，每个所生成的子类别以图形方式连接到其各自的类别。

Description

处理交易反馈
技术领域
本公开的实施例涉及处理交易反馈，并且更具体地，涉及处理交易反馈以进行有效的用户访问、自动趋势识别和用户通知。
背景技术
常规地，当联网系统的用户提供交易的反馈时，存在有限的组织，其中反馈通常被线性地布置。在其他示例中，根据反馈为正、负或中性来布置或过滤反馈。尽管用户可以以不同方式布置反馈，但是关于交易系统的状态的附加结论通常由用户(例如，反馈的接收者)得出。
附图说明
各个所附附图仅示出了本公开的示例实施例，并且不可以被认为限制其范围。
图1是示出了根据一些示例实施例的系统的框图。
图2是描绘了根据一个示例实施例的反馈系统的框图。
图3是描绘了根据另一示例实施例的反馈系统的框图。
图4是示出了根据一个示例实施例的由反馈系统生成的用户界面的图示。
图5是示出了根据一个示例实施例的数据流的数据流图。
图6是示出了根据一个示例实施例的用于处理反馈的方法的流程图。
图7是示出了根据另一示例实施例的用于处理反馈的方法的流程图。
图8是示出了根据一个示例实施例的用于处理反馈的方法的另一流程图。
图9是示出了根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
图10示出了根据示例实施例的具有计算机系统的形式的机器的示图表示，在所述计算机系统中，可以执行指令集以使所述机器执行本文讨论的方法中的任意一个或多个方法。
本文提供的标题仅为方便起见，而不一定影响所使用的术语的范围或含义。
具体实施方式
以下描述包括体现本公开的示意性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下文的描述中，为了解释的目的，阐述了很多细节以提供对本发明主题的各种实施例的理解。然而，对本领域技术人员将显而易见的是，本发明主题的实施例可以在没有这些具体细节的情况下实施。一般地，不必详细示出众所周知的指令实例、协议、结构和技术。
在某些实施例中，如本文所述，系统被特别地配置为在与在线市场的成员进行交易的特定阶段接收多个评论。例如，特定阶段可以是交易的购买阶段。
然后，系统根据各个评论中包括的术语将评论分类为情感分类。然后，系统通过应用自然语言处理模块为评论生成子类别。在某些实施例中，所生成的子类别不是从预定的子类别集中选择的，而是根据相应评论中包括的语言生成的。
在另一示例实施例中，系统被配置为呈现用户界面，该用户界面允许用户选择类别或子类别并根据所选择的类别(包括新生成的子类别)过滤消息。
在一个特定示例实施例中，系统响应于某个类别的趋势的变化来通知用户。例如，响应于关于对要购买的项目的选择的抱怨的增加，系统可以确定选择机制中的错误或故障的增加的可能性，并通知用户。这种特殊的好处包括系统识别可能的错误并通知用户，而无需用户查看评论。本文描述了其他技术益处。
参考图1，示出了高级的基于客户端-服务器的网络架构100的示例实施例。网络系统102经由网络104(例如，互联网或广域网(WAN))向一个或多个客户端设备110提供服务器侧功能。例如，图1示出了web客户端112(例如，web浏览器)、在客户端设备110上执行的客户端应用114。
客户端设备110可以包括但不限于：移动电话、台式计算机、膝上型计算机、个人数字助理(PDA)、智能电话、平板计算机、超级本、上网本、笔记本计算机、多处理器系统、基于微处理器或可编程的消费电子产品、游戏机、机顶盒或用户可以用来访问网络系统102的任何其他通信设备。在一些实施例中，客户端设备110可以包括显示模块(未示出)以显示信息(例如，以用户界面的形式)。在另一些实施例中，客户端设备110可以包括触摸屏、加速度计、陀螺仪、相机、麦克风、全球定位系统(GPS)设备等中的一个或多个。客户端设备110可以是用于执行涉及网络系统102内的数字物品的交易的用户设备。在一个实施例中，网络系统102是基于网络的市场，其响应于对产品列表的请求，发布包括在基于网络的市场上可用的产品的物品列表的公告，并且管理这些市场交易的支付。
一个或多个用户106可以是人、机器或与客户端设备110交互的其他装置。在实施例中，用户106不是网络架构100的一部分，但是可以经由客户端设备110或另一装置与网络架构100进行交互。例如，网络104的一个或多个部分可以是自组织(ad hoc)网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、WAN、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共电话交换网(PSTN)的一部分、蜂窝电话网、无线网络、WiFi网络、WiMax网络、另一类型的网络或者两个或更多个这种网络的组合。
每个客户端设备110可以包括一个或多个应用(也称作“app”)，例如但不限于web浏览器、消息传送应用、电子邮件(email)应用、电子商务网站应用(也称作市场应用)等。在一些实施例中，客户端设备110可以包括被配置为在本地提供用户界面和至少一些功能的应用，其中应用被配置为根据需要与网络系统102通信，以获得本地不可获得的数据或处理能力(例如，访问可供销售的项目的数据库、认证用户106、验证支付方法等)。相反，在其他实施例中，客户端设备110可以使用其web浏览器来访问网络系统102上容纳的网站(或其变型)。
在示例实施例中，用户106不是网络架构100的一部分，但可以经由客户端设备110或其他装置与网络架构100进行交互。例如，用户106向客户端设备110提供输入(例如，触摸屏输入或字母数字输入)，并且该输入随后经由网络104传送给网络系统102。在该实例中，网络系统102响应于接收到来自用户106的输入，经由网络104将信息传送给客户端设备110以呈现给用户106。以这种方式，用户106可以使用客户端设备110与网络系统102交互。
应用程序接口(API)服务器120和网络服务器122耦接至一个或多个应用服务器140，并分别向一个或多个应用服务器140提供编程接口和网络接口。应用服务器140可以容纳一个或多个发布系统142，发布系统142可以包括一个或多个模块或应用，并且每个模块或应用可以体现为硬件、软件、固件或它们的任意组合。相应地，应用服务器140被示为耦接到一个或多个数据库服务器124，数据库服务器124促进对一个或多个信息存储库或数据库126的访问。在示例实施例中，数据库126是存储将要公告(例如，发布)到发布系统142的信息的存储设备。根据示例实施例，数据库126还可以存储数字项目信息。
在第三方服务器130上执行的第三方应用132被示为经由API服务器120提供的编程接口对网络系统102进行编程访问。例如，第三方应用132利用从网络系统102取回的信息，支持第三方所容纳的网站上的一个或多个特征或功能。
发布系统142可以向访问网络系统102的用户106提供多个发布功能和服务。虽然在图1中示出发布系统142以同时形成网络系统102的一部分，但是将理解的是，在备选实施例中，发布系统142可以形成与网络系统102分离且不同的服务的一部分。
此外，虽然图1示出的基于客户端-服务器的网络架构100采用了客户端-服务器架构，但是本发明主题当然不限于此种架构，并且可以同样良好地应用于例如分布式或对等架构系统。发布系统142和反馈系统150也可以被实现为独立软件程序，其不一定具有联网能力。
web客户端112可以经由web服务器122所支持的web接口来访问发布系统142。编程客户端经由API服务器120提供的编程接口来访问由发布系统142提供的各种服务和功能。例如，編程客户端可以是发布者应用，其使用户106能够以离线方式创作和管理网络系统102上的发布，并且执行编程客户端与网络系统102之间的批处理模式通信。
在某些示例实施例中，3D集成系统146生成要使用web客户端112显示的3D模型。在一个示例中，3D集成系统146生成模型，将模型存储在远程服务器上，并返回通用资源定位符(URL)以使用web客户端112访问模型。
附加地，在第三方服务器130上执行的第三方应用132被示出为经由API服务器120提供的编程接口对网络系统102进行编程访问。例如，第三方应用132利用从网络系统102取回的信息可以支持第三方容纳的网站上的一个或多个特征或功能。
在一个示例实施例中，反馈系统150被配置为接收与网络系统102的成员进行交易的特定阶段的评论，确定情感和评论类别，其中，该类别是从预定义类别集中选择的，通过应用自然语言处理模块来生成子类别，并生成允许用户106选择类别或子类别的显示，并根据用户106的选择来过滤评论。以这种方式，反馈系统150提供对与所选类别有关的反馈评论的快速访问。
图2是描绘了根据一个示例实施例的反馈系统150的框图。在该示例实施例中，反馈系统150包括收集模块220、情感模块230、显示模块250和类别模块240。
在一个示例实施例中，收集模块220被配置为在与在线市场的成员进行交易的特定阶段接收多个评论。在某个实施例中，收集模块220通过查询评论数据库126来检索评论。例如，网络系统102可以从应用服务器140接收评论，应用服务器140被配置为使用网络系统102从用户106请求评论，并将评论存储在数据库126中。
如本领域的技术人员可以理解的，收集模块220还可以以许多其他方式接收评论。例如，收集模块220可以从存储器加载评论，通过电子网络接口或以任何其他方式接收评论。
在一个示例实施例中，交易的特定阶段包括完成联网系统102的两个用户106之间的交易的特定步骤。示例包括但不限于：项目选择、显示、身份验证、项目选项选择、购物车管理、结帐、付款、交付选项选择、退货管理或其他等。
在一个示例实施例中，情感模块230被配置为根据评论中包括的文本对评论之一进行分类。例如，评论文本可以包括“当……我讨厌”，“这个网站太糟了”等，作为响应，情感模块230确定评论的情感为否定。在其他示例中，情感模块230根据评论中包括的特定术语来识别情感。例如，评论的文本包括诸如“很棒”、“精彩”、“完美”、“爱”之类的术语，或其他指示愉悦、接受、满意等的术语，并且情感模块230确定该评论的情感是正面的。在另一示例中，情感模块230响应于评论中没有一个术语与“正”分类或“负”分类相关联的术语相匹配而将评论分类为“中性”。在一个特定示例实施例中，从预定义的情感集中选择情感，例如但不限于“正”、“负”和“中性”。
在另一示例实施例中，情感模块230应用机器学习系统(图3：270)，以响应于接收评论或评论文本而输出情感分类。结合图3描述了机器学习系统270的其他示例实施例。在一个非限制性示例中，情感模块230响应于接收评论文本，采用训练的机器学习系统来输出情感分类。
例如，反馈系统150的管理员可以在大型评论数据库上训练机器学习系统270，该大型评论数据库已经被人类手动分类为情感分类。机器学习系统270在该数据上训练，然后被配置为响应于接收消息文本或消息中包括的术语集来输出情感分类。
在另一示例实施例中，类别模块240被配置为确定从预定义的类别集中选择的评论的类别。在某些实施例中，这种类别包括但不限于：错误、正确操作、称赞、特征请求、投诉、相关评论、未分类、推荐或其他。
在一个示例实施例中，类别模块240根据评论中包括的特定术语来确定评论的类别。在一个示例中，评论包括“当……我讨厌”。作为响应，类别模块240将评论分类为投诉。在另一示例中，评论包括“破损”，并且类别模块240确定该评论是对错误的声明。在另一示例中，评论包括“我喜欢它”，并且类别模块240确定该评论是赞美。在另一示例中，评论包括“需要添加”，并且类别模块240确定该评论是特征请求。
在一个示例实施例中，类别模块240将评论中的每个术语标记化，并在术语和/或短语的数据库中查找该术语。例如，如果评论包括短语“不能付款”，则类别模块240确定该评论是投诉，因为在与投诉相关联的短语数据库中找到了短语“不能付款”。
在一个示例实施例中，类别模块240响应于消息中与特定类别相关联的术语数据库中的最高术语数相匹配的术语数，确定评论的类别。
例如，在四个术语与“错误”类别相关联并且三个术语与“投诉”类别相关联的情况下，类别模块240确定评论为“错误”，因为与其他类别相比，与类别“错误”相匹配的术语更多。
在另一示例实施例中，类别模块240从特定术语与类别之间的关联的远程数据库中加载关联集。在该示例实施例中，类别模块240从数据库126加载关联，并根据关联中的一个或多个来确定评论的类别。此外，在该示例实施例中，反馈系统150的管理员可以将关联添加到数据库126，并且类别模块240根据新添加的关联自动确定评论的类别。
在另一示例实施例中，类别模块240应用训练的机器学习系统(图2：270)，该机器学习系统响应于接收作为输入的评论来输出类别。例如，反馈系统150的管理员可以在评论中找到的术语和所选类别上训练机器学习系统270。以此方式，机器学习系统270被配置为响应于接收在评论中找到的术语集来输出类别。结合图3描述了包括机器学习系统270的其他示例实施例。
在一个示例实施例中，类别模块240将自然语言处理模块应用于评论，以生成该评论的子类别。与从预定的类别集中选择的类别相反，该子类别是在不考虑预定义的子类别集的情况下生成的。在一个示例中，类别模块240生成“图像技术问题”的子类别。
在该示例实施例中，类别是“错误”，并且所生成的子类别是“图像技术问题”。因此，“图像技术问题”的子类别与“错误”类别相关联，因为至少一个评论被分类为“错误”，并且进一步被子分类为“图像技术问题”。因此，当生成附加子类别时，它们基于相应分类和子分类的评论与相应的类别相关联。
在一个示例实施例中，显示模块250被配置为生成与交易的特定阶段相关联的类别的显示，如前所述。在该示例实施例中，所生成的显示包括类别中的每一个以及代表所生成的子类别中的每一个的图形元素集。在图4中示出了这种显示的具体示例。
在其他示例实施例中，与类别相关联的子类别在所生成的显示中连接。在一个示例中，子类别被直接放置在相关联的类别旁边。在另一示例中，表示子类别的图形元素经由图形线连接到表示类别的图形元素，或其他连接的图形元素。
因此，希望查看与交易的特定阶段相关联的评论的联网系统102的用户106可以选择该阶段，并且作为响应，显示模块250生成示出基于评论生成的类别和相关联的子类别的显示。
在一个示例实施例中，显示模块250接收类别的选择，并且作为响应，过滤评论以显示那些与类别选择相关联的评论。例如，显示被分配了选定类别的评论，而不显示未分配选定类别的其他评论。
在一个示例实施例中，显示模块250响应于选择而增加所选类别的图形大小。这还可以向用户106阐明选择了哪个类别并且用作提醒用户106如何过滤显示的评论。
在另一示例实施例中，显示模块250接收对子类别的选择，并且作为响应，突出显示所选子类别，显示描述所选子类别的标题，并且过滤所显示的与该子类别相关联的评论。
图3是描绘了根据另一示例实施例的反馈系统的框图300。该示例实施例包括收集模块220、情感模块230、显示模块250、类别模块240、通知模块260、机器学习系统270和权重模块280。收集模块220、情感模块230、显示模块250和类别模块240可以或可以不与图2中所示的那些基本相似。
在一个示例实施例中，通知模块260被配置为响应于类别之一中的趋势变化来警告用户106。在一个示例实施例中，类别的趋势包括每天少于五个评论。例如，特定用户106在过去一个月中每天可能接收到每天少于五个有关付款的评论，这些评论与有关付款的投诉相关。因此，有关付款的投诉趋势每天可能少于五个评论。
在一个示例实施例中，响应于在给定的一天中接收多于10有关付款的投诉，或响应于连续的阈值天数中多于10个有关付款的投诉，通知模块260确定在与特定类别相关联的评论趋势中存在重大变化。当然，如本领域技术人员可以理解的，其他趋势变化可以由通知模块260确定，并且本公开意图包括所有这种趋势变化。
给定类别的趋势的其他示例包括每月相关评论、每小时评论等。趋势变化包括但不限于超过趋势200％、300％或任何其他趋势变化的评论。
在一个示例实施例中，如本领域技术人员可以理解的，警告用户106包括：向用户106发送电子邮件；向用户106发送SMS文本消息；经由电子图形用户界面或任何其他电子或数字通信向用户106显示通知。
在另一示例实施例中，机器学习系统270被配置为响应于接收评论文本而输出评论的类别。在一个示例中，机器学习系统270由系统的管理员通过提供带有类别的评论集来训练。作为响应，机器学习系统270在评论集上训练，并学习基于评论文本输出类别。
在一个示例实施例中，权重模块280根据提供评论的用户106的用户反馈分数为每个评论施加权重。
如本领域的技术人员可以理解的，存在许多用来确定用户106的反馈质量的不同度量。一些示例包括反馈的长度、评论中使用的术语的复杂程度、评论的语法质量、用户106是否购买了对其进行评论的产品、用户106是否参与了实际交易、业务量或用户106在其他方面提供评论。在一个示例实施例中，显示模块250将评论过滤为来自超过某一阈值用户权重的用户106的那些评论。
在另一示例实施例中，反馈系统150根据所确定的类别来选择自然语言处理模块。例如，反馈系统150的管理员可以为每个类别定制自然语言处理模块，并且反馈系统150可以根据所选类别来选择自然语言处理模块以用于生成子类别。
图4是示出了根据一个示例实施例的由反馈系统150生成的用户界面400的图示。在一个示例实施例中，用户界面400包括图例420、类别和子类别的日晷显示器421、以及与类别相关联的评论的显示器430。
在一个示例实施例中，图例420提供了某些类别与颜色或图案之间的映射。在该示例实施例中，日晷421包括外环422和内环423。内环423包括预定类别中的每一个的图形部分。外环422包括外环422中各个类别的所生成类别中的每一个的图形部分。
在一个示例实施例中，显示模块250根据评论的百分比来调整内环423的图形部分410的大小，所述评论被映射到由该部分表示的类别。例如，响应于50％的评论被映射到由图形部分410表示的类别，显示模块250调整图形部分410的大小以涵盖内环423的50％。因此，显示模块250显示内环423，内环423准确地表示被映射到各个类别的评论的各个百分比。
在另一示例实施例中，与内环423一样，显示模块250还根据被映射到特定图形段412的评论的百分比来调整图形段412的大小。另外，在该示例实施例中，显示模块250响应于表示与由图形部分410表示的类别相关联的子类别的图形段412，将图形段412A、412B放置在外环422中以与内环423中的图形部分410接触。
在一个示例实施例中，显示模块250在显示器430的一部分中过滤评论，显示器430显示过滤后的评论。例如，响应于用户106选择图形元素423，显示模块250过滤评论以仅显示那些被映射到由所选图形段423表示的类别的评论。此外，响应于用户106选择图形段412A，显示模块250过滤评论以仅显示那些被映射到由所选图形段412A表示的子类别的评论。
在另一示例实施例中，显示模块250生成从评论集中选择的类别行，其中类别中的每一个的图形元素根据与各个类别相关联的评论的百分比来确定大小。在该示例实施例中，附接到该类别行的是另一个所生成的子类别的行，其中，表示子类别的每个图形元素触摸与该子类别相关联的类别的图形元素。例如，“触摸”可以至少包括子类别的图形元素，其使用与相关联的类别的图形元素的至少一个像素相邻的至少一个像素来渲染显示。
图5是示出了根据一个示例实施例的数据流的数据流图。在该数据流图500中，收集模块220接收用户反馈510。
首先，反馈系统150执行半监督类别检测512以识别反馈的主题或话题，例如通过使用词嵌入来从反馈中提取关键词。以分层的方式执行该类别检测，从而允许在较深的类别层次中选择类别。然后，反馈系统150在514处例如通过使用朴素贝叶斯(Naive Bayes)分类器来推断类别(或主题)。然后，可以将反馈(例如，个人评论或提交)分类为一个或多个推断的类别。尽管讨论了词嵌入和朴素贝叶斯，还可以使用其他数据挖掘、机器学习或深度学习技术。
在一个示例实施例中，同时地或者在不同的时间点处，反馈系统150对反馈执行情感分析520以识别一个或多个情感分类，例如但不限于正、负或中性。然后，反馈系统150基于反馈中包括的评论将反馈分类522为一个或多个推断的情感分类。
反馈系统150可以包括硬件或软件组件，以执行自然语言分析或客户反馈的处理，从而生成对反馈的理解530，例如提取或生成一个或多个子类别532。这种软件或硬件模块可以包括用于执行自然语言处理任务的人工智能或机器学习技术选择的实现，例如包括分段和词性标记的语法分析、包括意图检测的语义分析、包括自动总结的话语分析、以及实体/属性提取和语音识别。一个或多个子类别532可以包括反馈的一个或多个属性，例如，反馈中的关键或最重要信息的总结。
在另一示例实施例中，然后，反馈系统150在排名和可视化步骤524中，例如在视觉显示中，组合所确定的类别、情感和所生成的子类别。在该步骤524中，显示模块250可以以本文所述的各种不同方式对评论进行排名或显示评论(例如，基于评论的类别、情感和所生成的子类别)。此外，通知模块260可以响应于识别用户反馈或评论中的趋势来执行异常检测和/或警报540。
图6是示出了根据一个示例实施例的用于处理反馈的方法600的流程图。方法600中的操作可以由反馈系统150使用上文参照图2描述的模块来执行。
在一个示例实施例中，方法600开始，并且在操作612处，收集模块220在与在线市场的成员进行交易的特定阶段接收多个评论。例如，收集模块220可以经由借助作为网络系统102的一部分操作的应用服务器140发送的网页来接收评论。
方法600在操作614处继续，并且情感模块230将多个评论中的一个或多个分类为情感分类。例如，情感模块230可以将训练的机器学习系统270应用于评论，并接受训练的机器学习系统270的输出(例如，所指示的情感分类)。
方法600在操作616处继续，并且类别模块240为多个评论中的一个或多个评论中的每一个确定类别，该类别是从预定义类别集中选择的。方法600继续，并且在操作618处，类别模块240将自然语言处理模块应用于评论，以生成与所选类别相关联的子类别。在某些实施例中，由于自然语言处理模块可以生成任何数量的子类别，所以对所生成的子类别数没有限制。
方法600在操作619处继续，并且类别模块240针对一个或多个评论将所生成的子类别与其各自的类别相关联。方法600在操作620处继续，并且显示模块250生成特定交易的所确定类别以及所关联的所生成子类别的显示，每个子类别被连接至它们各自的类别。例如，如图5所示，显示模块250可以生成环形图，该环形图显示从内环423中的评论中选择的类别，并且在与内换423上的评论的所选类别相连接的外环422上显示所生成的子类别。
图7是示出了根据另一示例实施例的用于处理反馈的方法的流程图。方法700中的操作可以由反馈系统150使用上文参照图3描述的模块来执行。
在一个示例实施例中，方法700开始，并且在操作712处，反馈系统150训练机器学习系统270以响应于接收评论文本而输出类别。在一个示例中，如本领域的技术人员可以理解的，反馈系统150从数据存储设备加载训练数据集，并且在训练数据上训练机器学习系统270。
方法700继续，并且在操作714处，收集模块220从与在线市场的成员进行交易的特定阶段的评论的远程数据库中检索评论。例如，收集模块220可以构造SQL查询并将其提交给数据库126，并且接收满足SQL查询条件的评论。
方法700在操作716处继续，并且情感模块230将评论分类为情感分类。例如，情感模块230可以根据在电子用户界面处的一个或多个选择来对评论进行分类(例如，在用户106使用电子用户界面具体指示情感的示例中)。
方法700在操作718处继续，并且类别模块240为多个评论中的一个或多个评论中的每一个确定类别，该类别是从预定义类别集中选择的。方法700继续，并且在操作720处，类别模块240将自然语言处理模块应用于评论，以生成与所选类别相关联的子类别。在某些实施例中，如本领域技术人员可以理解的，由于自然语言处理模块可以生成任何数量的子类别，所以对所生成的子类别数没有限制。
方法700在操作722处继续，并且显示模块250生成特定交易的所确定类别以及所关联的所生成子类别的显示，每个子类别被连接至它们各自的类别。例如，显示模块250可以生成类别的顶行和子类别的第二行，其中，子类别中的每一个被连接到它们各自的类别。在该示例实施例中，显示模块250调整类别的图形元素大小，以便容纳子类别。
方法700在操作724处继续，并且通知模块260响应于类别之一中的趋势变化来警告用户106。在一个示例实施例中，如本领域技术人员可以理解的，警告用户106包括：向用户106发送电子邮件；向用户106发送SMS文本消息；经由电子图形用户界面或任何其他电子或数字通信向用户106显示通知。
图8是示出了根据一个示例实施例的用于处理反馈的方法800的另一流程图。方法800中的操作可以由反馈系统150使用上文参照图2-图5描述的模块来执行。在一个示例实施例中，如本文所述，反馈系统150通过在与在线市场的成员进行交易的特定阶段接收多个评论来在操作812处开始方法800。在操作814处，反馈系统150可以确定一个或多个所接收到的评论的情感。在操作816处，反馈系统可以基于例如由反馈系统150确定或识别的类别来确定一个或多个所接收到的评论的分类。在操作818处，反馈系统可以生成一个或多个子分类或子类别。在操作820处，反馈系统可以生成示出所确定的分类以及该分类与相关联的子分类之间的连接的图形显示。在操作822处，反馈系统可以接收通过该显示对反馈评论的类别、子类别的选择。在操作824处，反馈系统可以根据所接收到的选择来过滤反馈评论。在一个示例中，当选择了类别时，反馈系统可以修改图形显示以示出具有与所选类别相匹配的分类的滤波后的反馈评论。
机器和软件架构
在一些实施例中，结合图1-图8描述的模块、方法、应用等在机器和相关联的软件架构的上下文中实现。以下部分描述了适用于与所公开的实施例一起使用的代表性软件架构和机器(例如，硬件)架构。
软件架构与硬件架构一起使用，以创建针对特定用途定制的设备和机器。例如，与特定软件架构耦接的特定硬件架构将创建移动设备，诸如移动电话、平板设备等。稍微不同的硬件和软件架构可以产生用于“物联网”的智能设备。而另一组合产生了在云计算架构中使用的服务器计算机。本文并没有介绍这样的软件和硬件架构的所有组合，因为本领域技术人员可以容易地理解在不同于本文所包含的公开内容的不同上下文中如何实现本发明的主题。
模块、组件和逻辑
某些实施例在本文中被描述为包括逻辑或多个组件、模块或机构。模块可以构成软件模块(例如，机器可读介质上体现的代码)或硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以按照某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如独立的计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或多个硬件模块(例如处理器或处理器组)可由软件(例如应用或应用部分)配置为操作为执行本文描述的特定操作的硬件模块。
在一些实施例中，硬件模块可以按照机械方式、电子方式或其任意适当组合来实现。例如，硬件模块可以包括永久地被配置为执行特定操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件模块还可以包括由软件临时配置为执行特定操作的可编程逻辑或电路。例如，硬件模块可以包括由通用处理器或其他可编程处理器执行的软件。一旦由这样的软件配置，硬件模块就变成特定的机器(或机器的特定组件)，其被专门定制用于执行所配置的功能，而不再是通用处理器。应理解：以机械方式、以专用和永久配置的电路或以临时配置的电路(例如由软件配置)实现硬件模块的决定可出于成本和时间的考虑。
因此，短语“硬件模块”应理解为涵盖有形实体，是在物理上构造、永久配置(例如硬线连接)或临时配置(例如编程)为以特定方式操作或执行本文描述的特定操作的实体。如本文所使用的，“硬件实现的模块”指硬件模块。考虑临时配置(例如编程)硬件模块的实施例，无需在任一时刻配置或实例化硬件模块中的每一个。例如，在硬件模块包括被软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为分别不同的专用处理器(例如包括不同的硬件模块)。因此，软件将特定的一个或多个处理器例如配置为在一个时刻构成特定硬件模块并在另一时刻构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息并从其他硬件模块接收信息。因此，所描述的硬件模块可以被看作通信地耦接。如果同时存在多个硬件模块，则可以通过两个或更多个硬件模块之间的信号传输(例如通过适当的电路和总线)实现通信。在多个硬件模块在不同时间配置或实例化的实施例中，可以例如通过存储并获取多个硬件模块可访问的存储器结构中的信息来实现这样的硬件模块之间的通信。例如，一个硬件模块可以执行操作并在与其通信耦接的存储设备中存储该操作的输出。另一硬件模块接着可以稍后访问存储器设备，以取回并处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且能够对资源(例如信息的集合)进行操作。
此处描述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时还是永久配置，这样的处理器可以构成操作以执行本文描述的一个或多个操作或功能的处理器实现的模块。如本文所使用的，“处理器实现的模块”指使用一个或更多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分地由处理器实现，其中特定处理器或多个处理器是硬件的示例。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块执行。此外，一个或多个处理器还可操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)执行有关操作。例如，至少一些操作可以由一组计算机(例如，包括处理器的机器)来完成，这些操作是可经由网络(例如，互联网)以及经由一个或多个适当的接口(例如，API)来访问的。
某些操作的执行可以分布在处理器中，并不只驻留在单个机器内，而是部署在多个机器中。在一些示例实施例中，处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公环境或服务器群中)。在其他示例实施例中，处理器或处理器实现的模块可以分布在多个地理位置中。
图9是示出了根据一些示例实施例的可以安装在机器上的软件架构900的示例的框图。软件架构900可以结合本文所描述的各种硬件架构一起使用。图9仅是软件架构的非限制性示例，应该理解，可以实施许多其它架构以促进实现本文中所描述的功能。软件架构900可以在诸如图16的机器1000的硬件上执行，机器1000包括处理器1010、存储器1030和I/O组件1050。代表性的硬件层904被示出，并且可以表示例如图10的机器1000。代表性的硬件层904包括具有关联的可执行指令908的一个或多个处理单元906。可执行指令908表示软件架构902的可执行指令，包括图1-图8的方法、模块等的实现。硬件层904还包括存储器和/或存储模块910，该存储器和/或存储模块910也具有可执行指令908。硬件层904还可以包括由912表示的其它硬件，其表示硬件层904的任何其他硬件，例如作为机器1000的一部分示出的其他硬件。
在图9的示例架构中，软件架构902可以被概念化为层的堆栈，其中每层提供特定的功能。例如，软件架构902可以包括诸如操作系统914、库916、框架/中间件918、应用920和表示层944之类的层。在操作上，应用920和/或层内的其它组件可以通过软件堆栈来调用API调用924，并且响应于API调用924接收被示出为消息926的响应、返回值等等。所示出的层在本质上具有代表性，并不是所有的软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件层918，而其他系统可以提供这样的层。其它软件架构可以包括附加层或不同层。
操作系统914可以管理硬件资源并提供公共服务。操作系统914可以包括例如内核928、服务930和驱动932。内核928可以用作硬件和其他软件层之间的抽象层。例如，内核928可以负责存储器管理、处理器管理(例如调度)、组件管理、联网、安全设置等。服务930可以为其它软件层提供其他公共服务。驱动932可以负责控制底层硬件或与底层硬件接口连接。例如，取决于硬件配置，驱动932可以包括显示器驱动、相机驱动、驱动、闪存驱动、串行通信驱动(例如通用串行总线(USB)驱动)，/>驱动、音频驱动、电力管理驱动等等。
库916可以提供可由应用920和/或其它组件和/或层利用的公共基础设施。在一个特定实施例中，反馈系统150的各种模块被实现为应用920。库916通常提供允许其它软件模块以与底层操作系统914功能(例如，内核928、服务930和/或驱动932)直接接口连接相比更容易的方式来执行任务的功能。库916可以包括：可以提供诸如存储器分配功能、串操纵功能、数学功能等功能的系统库934(例如，C标准库)。另外，库916可以包括API库936，例如媒体库(例如，用于支持各种媒体格式(诸如MPEG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操纵的库，)、图形库(例如，可以用于在显示器上渲染二维和/或三维图形内容的OpenGL框架)、数据库(例如，可以提供各种关系数据库功能的SQLite)、web库(例如，可以提供web浏览功能的WebKit)等。库916还可以包括各种各样的其它库938，以提供到应用920和其它软件组件/模块的许多其他API。
框架918(有时也称为中间件)可以提供可由应用920和/或其他软件组件/模块使用的更高级别的公共基础设施。例如，框架918可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架918可以提供可以由应用920和/或其它软件组件/模块利用的广泛范围的其它API，其中一些可以特定于特定操作系统或平台。在一个示例实施例中，3D集成系统146的至少一部分被实现为中间件。在一个示例中，3D模型模块被实现为中间件，并且可由任何应用920访问。
应用920包括内置应用940和/或第三方应用942。代表性的内置应用940的示例可以包括但不限于联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用和游戏应用或其他等。第三方应用942可以包括任何内置应用以及各种其他应用。在具体示例中，第三方应用942(例如，由与特定平台的供应商不同的实体使用AndroidTM或iOSTM软件开发工具包(SDK)而开发的应用)可以是在移动操作系统(诸如iOSTM、AndroidTM、Phone或其它移动操作系统)上运行的移动软件。在该示例中，第三方应用942可以调用由诸如操作系统914之类的移动操作系统提供的API调用924，以有助于实现本文描述的功能。
应用920可以利用内置操作系统功能(例如，内核928、服务930和/或驱动器932)、库(例如，系统934、API 936和其他库938)和框架/中间件918来创建用户接口以与系统的用户106交互。备选地或附加地，在一些系统中，与用户106的交互可以通过表示层(例如，表示层944)发生。在这些系统中，应用/模块“逻辑”可以与和用户106交互的应用/模块的各方面分开。
一些软件架构利用虚拟机。在图9的示例中，这由虚拟机948示出。虚拟机948创建软件环境，在该软件环境中，应用/模块可以像它们在硬件机器(例如，诸如图10的机器1000)上执行一样执行。虚拟机948由主操作系统(图9中的操作系统914)托管，并且通常(尽管并不总是)具有虚拟机监视器946，该虚拟机监视器946管理虚拟机948的操作以及与主机操作系统(例如，操作系统914)连接的接口。软件架构在虚拟机948(例如，操作系统950、库952、框架/中间件954、应用956和/或表示层958)内执行。在虚拟机948内执行的这些软件架构902的层可以与先前描述的对应层相同，或者可以不同。
示例机器架构和机器可读介质
图10是示出了根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)中读取指令并执行本文所讨论的方法中的任何一个或多个的机器1000的组件的框图。具体地，图10示出了计算机系统的示例形式的机器1000的示意图，其中可以执行指令1016(例如，软件、程序、应用920、小应用、app或其他可执行代码)以使机器1000执行本文中所讨论的方法中的任何一种或多种。
例如，指令1016可以使机器1000执行图6-图8的流程图。附加地或备选地，指令1016可以实现图2或图3中描绘的模块。具体地，指令1016可以实现收集模块220、情感模块230、显示模块250、类别模块240、通知模块260、机器学习系统270或权重模块280的各种功能。
指令1016将一般的未程序化的机器变换成被程序化为以所述方式执行所描述和示出的功能的特定机器。在备选实施例中，机器1000作为独立设备操作或可以耦接(例如，联网)到其他机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的容量操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能家电)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器、或能够顺序地或以其他方式执行指定机器1000要采取的动作的指令1016的任意机器。此外，尽管仅示出了单个机器1000，但是术语“机器”也将被认为包括机器1000的集合，其单独地或联合地执行指令1016以执行本文讨论的方法中的任何一个或多个。
机器1000可以包括处理器1010、存储器1030和I/O组件1050，其可被配置为例如经由总线1002彼此通信。在示例实施例中，处理器1010(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其他处理器或其任何适当组合)可以包括例如可以执行指令1016的处理器1012和处理器1014。术语“处理器”旨在包括多核处理器1010，该多核处理器1010可以包括可同时执行指令1016的两个或更多个独立处理器1012、1014(有时称为“核”)。尽管图10示出了多个处理器1010，但是机器1000可以包括具有单个核的单个处理器1012、具有多个核的单个处理器1012(例如，多核处理器)、具有单个核的多个处理器1012、1014、具有多个核的多个处理器1012、1014或其任何组合。
存储器/存储设备1030可以包括存储器1032(例如，主存储器或其他存储储存设备)、以及存储单元1036，存储器1032和存储单元1036两者都可例如经由总线1002由处理器1010访问。存储单元1036和存储器1032存储体现本文中所描述的方法或功能中的任何一种或多种的指令1016。在机器1000执行指令1016期间，指令1016还可以完全地或部分地驻留在存储器1032内、存储单元1036内、处理器1010中的至少一个内(例如，处理器的高速缓存存储器内)、或其任何合适的组合内。因此，存储器1032、存储单元1036和处理器1010的存储器是机器可读介质的示例。
如本文所使用，“机器可读介质”是指能够暂时或永久地存储指令1016和数据的设备，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪速存储器、光学介质、磁性介质、高速缓冲存储器、其它类型的存储设备(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应被视为包括能够存储指令1016的单个介质或多个介质(例如集中式或分布式数据库、或相关联的高速缓冲和服务器)。术语“机器可读介质”还将被视为包括能够存储由机器(例如，机器1000)执行的指令(例如，指令1016)的任何一个介质或多个介质的组合，使得指令1016在由机器1000的一个或多个处理器(例如，处理器1010)执行时，使机器1000执行本文所描述的方法中的任何一个或多个。因此，“机器可读介质”指单个存储装置或设备、以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。术语“机器可读介质”不包括信号本身。
I/O组件1050可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种各样的组件。包括在特定机器1000中的特定I/O组件1050将取决于机器1000的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其他这样的输入机构，而无头服务器机器将可能不包括这样的触摸输入设备。应当理解，I/O组件1050可以包括图10中未示出的许多其他组件。I/O组件1050根据功能被分组，以便简化以下讨论，并且分组不以任何方式进行限制。在各种示例实施例中，I/O组件1050可以包括输出组件1052和输入组件1054。输出组件1052可以包括视觉组件(例如，显示器，诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如振动马达、电阻机构)、其他信号发生器等。输入组件1054可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光-光学键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他定点仪器)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等。
在另一些示例实施例中，I/O组件1050可以包括生物计量组件1056、运动组件1058、环境组件1060或位置组件1062、以及许多其他组件。例如，生物测定组件1056可以包括用于检测表达(例如，手表达、面部表情、语音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1058可包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。环境组件1060可以包括例如照度传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，为安全而检测有害气体浓度或测量大气中的污染物的气体检测传感器)、或可以提供对应于周围物理环境的指示、测量或信号的其他组件。定位组件1062可以包括位置传感器组件(例如，GPS接收机组件)、高度传感器组件(例如，高度计或检测气压的气压计(根据气压可以导出高度))、取向传感器组件(例如，磁力计)等。
可以使用各种各样的技术来实现通信。I/O组件1050可以包括通信组件1064，通信组件1064可操作以分别经由耦接1082和耦接1072来将机器1000耦接到网络1080或设备1070。例如，通信组件1064可以包括网络接口组件或与网络1080接口连接的其他合适设备。在另一些示例中，通信组件1064可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如/>低能耗)、/>组件、以及经由其他模态提供通信的其他通信组件。设备1070可以是另一机器或各种外围设备中的任一种(例如，经由USB耦接的外围设备)。
此外，通信组件1064可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件1064可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，用于检测以下各项的光学传感器：一维条形码(例如通用产品代码(UPC)条形码)、多维条形码(例如快速响应(QR)码)、阿兹台克码、数据矩阵、Dataglyph、MaxiCode、PDF417、超码、UCC RSS-2D条形码和其他光学码)、或声学检测组件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信组件1064来导出各种信息，例如，经由互联网协议(IP)地理位置的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等等。
传输介质
在各种示例实施例中，网络1080的一个或多个部分可以是自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网、互联网的一部分、PSTN的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一类型的网络、或两个或更多个这样的网络的组合。例如，网络1080或网络1080的一部分可以包括无线或蜂窝网络，并且耦接1082可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接1082可以实现各种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他标准、其他远程协议或其他数据传输技术。
指令1016可以经由网络接口设备(例如，包括在通信组件1064中的网络接口组件)使用传输介质并且利用多个公知的传输协议(例如，超文本传输协议(HTTP)中的任何一个通过网络1080发送或接收。类似地，可以使用传输介质经由耦接1072(例如，对等耦接)向设备1070发送或从其接收指令1016。术语“传输介质”应被认为包括能够存储、编码或承载用于被机器1000执行的指令1016的任意无形介质，并且包括用于促进该软件的通信的数字或模拟通信信号或其他无形介质。
语言
在整个说明书中，复数实例可以实现如单个实例所描述的部件、操作或结构。尽管一个或多个方法的各个操作被示意和描述为分离的操作，但是各个操作中的一个或多个可以同时执行，并且无需按所示顺序执行操作。在示例配置中被示为分离组件的结构和功能可以被实现为组合结构或组件。类似地，被示为单个组件的结构和功能可以被实现为分离的组件。这些和其它变型、修改、添加和改进落入本文中主题的范围内。
尽管已经参考具体示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更宽范围的情况下，可以对这些实施例进行各种修改和改变。本发明主题的这些实施例在本文中可以单独地或共同地由术语“发明”提及，以仅仅为了方便，并且不旨在自动地将本申请的范围限制为任何单个公开或发明构思(如果事实上公开了一个以上)。
充分详细地描述了本文示出的实施例以使本领域技术人员能够实现所公开的教导。可以利用并根据这些实施例得出其他实施例，从而可以在不脱离本公开的范围的情况下做出结构和逻辑上的替换和改变。因此，该“具体实施方式”不应当看做是限制意义，并且各种实施例的范围仅通过所附权利要求以及权利要求的等同物的全部范围来限定。
如本文所使用的，术语“或”可以被解释为包括性或排他性的意义。此外，可以针对本文中描述为单个实例的资源、操作或结构提供多个实例。此外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在具体说明性配置的上下文中示出了特定操作。设想了功能的其它分配，并且这些分配可以落入本公开的各种实施例的范围内。一般来说，在示例配置中作为分离资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为分离的资源。这些和其它变型、修改、添加和改进落入由所附权利要求表示的本公开的实施例的范围内。因此，说明书和附图应当被看做说明性的而不是限制意义的。

Claims (20)

1.一种用于处理交易反馈的系统，包括：
机器可读存储器，其上存储有指令，所述指令当由处理器执行时，使所述系统执行操作，所述操作包括：
在与联网系统的成员的交易的特定阶段接收多个评论；
根据各个评论中包括的术语与和情感分类相关联的术语的匹配，将所述多个评论中的一个或多个评论分类为预定情感分类集中的一个情感分类；
应用训练的机器学习系统从所述多个评论中的所述一个或多个评论中的每个评论的预定义评论类别集中选择评论类别，所述训练的机器学习系统接受所述各个评论中的术语并输出所选择的评论类别，所述评论类别不同于所述情感分类；
将自然语言处理模块应用于所述一个或多个评论中的每个评论，以针对所述一个或多个评论中的每个评论生成子类别，其中所述评论子类别不是从预定的子类别集中选择的，而是根据相应评论生成的；
针对所述一个或多个评论，将所生成的子类别与它们各自的类别相关联；以及
针对具有所生成的子类别的特定交易来生成对所确定类别的显示，每个所生成的子类别以图形方式连接到其各自的类别。
2.根据权利要求1所述的系统，其中，所述操作还包括：从所述成员接收对类别的选择，并显示与所选择的类别相关联的过滤后的评论集。
3.根据权利要求1所述的系统，其中，所述操作还包括：从所述成员接收对子类别的选择，并显示与所选择的子类别相关联的过滤后的评论集。
4.根据权利要求1所述的系统，其中，对所述一个或多个评论进行分类包括：应用训练的机器学习系统，以使用来自该评论的文本来输出情感分类。
5.根据权利要求1所述的系统，其中，所述操作还包括：响应于所述类别之一的评论中的趋势的变化来警告所述成员。
6.根据权利要求1所述的系统，其中，所述操作还包括：根据提供评论的用户的用户反馈分数，为每个评论施加权重。
7.根据权利要求1所述的系统，其中，所述操作还包括：根据所确定的类别来选择所述自然语言处理模块。
8.一种计算机实现的方法，包括：
在与联网系统的成员的交易的特定阶段接收多个评论；
根据各个评论中包括的术语与和情感分类相关联的术语的匹配，将所述多个评论中的一个或多个评论分类为预定情感分类集中的一个情感分类；
应用训练的机器学习系统从所述多个评论中的所述一个或多个评论中的每个评论的预定义评论类别集中选择评论类别，所述训练的机器学习系统接受所述各个评论中的术语并输出所选择的评论类别，所述评论类别不同于所述情感分类；
将自然语言处理模块应用于所述一个或多个评论中的每个评论，以针对所述一个或多个评论中的每个评论生成评论子类别，其中所述评论子类别不是从预定的子类别集中选择的，而是根据相应评论生成的；
针对所述一个或多个评论，将所生成的子类别与它们各自的类别相关联；以及
针对具有所生成的子类别的特定交易来生成对所确定类别的显示，每个所生成的子类别以图形方式连接到其各自的类别。
9.根据权利要求8所述的方法，还包括：从所述成员接收对所述类别的选择，并显示与所选择的类别相关联的过滤后的评论集。
10.根据权利要求8所述的方法，还包括：从所述成员接收对子类别的选择，并显示与所选择的子类别相关联的过滤后的评论集。
11.根据权利要求8所述的方法，其中，对所述一个或多个评论进行分类包括：应用训练的机器学习系统，以使用来自该评论的文本来输出情感分类。
12.根据权利要求8所述的方法，还包括：响应于所述类别之一中的趋势的变化来警告所述成员。
13.根据权利要求8所述的方法，还包括：根据提供评论的用户的用户反馈分数，为每个评论施加权重。
14.根据权利要求8所述的方法，还包括：根据所确定的类别来选择所述自然语言处理模块。
15.一种机器可读硬件存储器，其上存储有指令，所述指令当由机器的一个或多个处理器执行时，使所述机器执行操作，所述操作包括：
在与联网系统的成员的交易的特定阶段接收多个评论；
根据各个评论中包括的术语与和情感分类相关联的术语的匹配，将所述多个评论中的一个或多个评论分类为预定情感分类集中的一个情感分类；
应用训练的机器学习系统从所述多个评论中的所述一个或多个评论中的每个评论的预定义评论类别集中选择评论类别，所述训练的机器学习系统接受所述各个评论中的术语并输出所选择的评论类别，所述评论类别不同于所述情感分类；
将自然语言处理模块应用于所述一个或多个评论中的每个评论，以针对所述一个或多个评论中的每个评论生成评论子类别，其中所述评论子类别不是从预定的子类别集中选择的，而是根据相应评论生成的；
针对所述一个或多个评论，将所生成的子类别与它们各自的类别相关联；以及
针对具有所生成的子类别的特定交易来生成对所确定类别的显示，每个所生成的子类别以图形方式连接到其各自的类别。
16.根据权利要求15所述的机器可读硬件存储器，其中，所述操作还包括：从所述成员接收对类别的选择，并显示与所选择的类别相关联的过滤后的评论集。
17.根据权利要求15所述的机器可读硬件存储器，其中，所述操作还包括：从所述成员接收对子类别的选择，并显示与所选择的子类别相关联的过滤后的评论集。
18.根据权利要求15所述的机器可读硬件存储器，其中，对所述一个或多个评论进行分类包括：应用训练的机器学习系统，以使用来自该评论的文本来输出情感分类。
19.根据权利要求15所述的机器可读硬件存储器，其中，所述操作还包括：响应于所述类别之一中的趋势的变化来警告所述成员。
20.根据权利要求15所述的机器可读硬件存储器，其中，所述操作还包括：根据提供评论的用户的用户反馈分数，为每个评论施加权重。
CN201880093335.9A 2018-05-18 2018-05-18 处理交易反馈 Active CN112334904B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/087485 WO2019218343A1 (en) 2018-05-18 2018-05-18 Processing transactional feedback

Publications (2)

Publication Number Publication Date
CN112334904A CN112334904A (zh) 2021-02-05
CN112334904B true CN112334904B (zh) 2024-06-21

Family

ID=68539276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093335.9A Active CN112334904B (zh) 2018-05-18 2018-05-18 处理交易反馈

Country Status (4)

Country Link
US (3) US10990764B2 (zh)
KR (2) KR102460293B1 (zh)
CN (1) CN112334904B (zh)
WO (1) WO2019218343A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102460293B1 (ko) 2018-05-18 2022-10-31 이베이 인크. 거래 피드백의 처리
US11620608B2 (en) 2019-02-28 2023-04-04 Walmart Apollo, Llc System and method for providing uniform tracking information with a reliable estimated time of arrival
US11941082B2 (en) * 2019-04-12 2024-03-26 Ul Llc Technologies for classifying feedback using machine learning models
US11805185B2 (en) * 2021-03-03 2023-10-31 Microsoft Technology Licensing, Llc Offensive chat filtering using machine learning models
US20230162230A1 (en) * 2021-11-24 2023-05-25 Capital One Services, Llc Systems and methods for targeting content based on implicit sentiment analysis
KR102586580B1 (ko) * 2022-04-15 2023-10-10 양재미디어 주식회사 자연어처리 인공지능 언어 모델을 이용한 뉴스 편집 업무 지원 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
CN105446727A (zh) * 2014-10-22 2016-03-30 武汉理工大学 本体框架可视化方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026387A (en) * 1996-07-15 2000-02-15 Kesel; Brad Consumer comment reporting apparatus and method
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
WO2001033410A2 (en) 1999-11-04 2001-05-10 Strategic Data Corp. Segment-based self-learning method and system
US7370285B1 (en) 2002-07-31 2008-05-06 Opinionlab, Inc. Receiving and reporting page-specific user feedback concerning one or more particular web pages of a website
US7693901B2 (en) * 2005-08-10 2010-04-06 Microsoft Corporation Consumer-focused results ordering
EP1895459A1 (en) 2006-08-31 2008-03-05 Opinionlab, Inc. Computer-implemented system and method for measuring and reporting business intelligence based on comments collected from web page users using software associated with accessed web pages
US8977631B2 (en) 2007-04-16 2015-03-10 Ebay Inc. Visualization of reputation ratings
US8533208B2 (en) * 2009-09-28 2013-09-10 Ebay Inc. System and method for topic extraction and opinion mining
US9201955B1 (en) * 2010-04-15 2015-12-01 Google Inc. Unambiguous noun identification
US20140372248A1 (en) 2011-04-04 2014-12-18 Google Inc. Cross-referencing comments
US9965443B2 (en) 2011-04-21 2018-05-08 Sony Corporation Method for determining a sentiment from a text
EP2745210A4 (en) * 2011-08-15 2014-11-26 Equal Media Ltd SYSTEM AND METHOD FOR MANAGING OPINION NETWORKS WITH INTERACTIVE OPINION FLOWS
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US20130166565A1 (en) * 2011-12-23 2013-06-27 Kevin LEPSOE Interest based social network system
US9396490B1 (en) * 2012-02-28 2016-07-19 Bazaarvoice, Inc. Brand response
US10068174B2 (en) * 2012-08-02 2018-09-04 Artifical Solutions Iberia S.L. Hybrid approach for developing, optimizing, and executing conversational interaction applications
US9223831B2 (en) 2013-01-02 2015-12-29 Codeq Llc System, method and computer program product for searching summaries of mobile apps reviews
US20170011029A1 (en) * 2013-05-09 2017-01-12 Moodwire, Inc. Hybrid human machine learning system and method
US9471883B2 (en) * 2013-05-09 2016-10-18 Moodwire, Inc. Hybrid human machine learning system and method
US20140365206A1 (en) * 2013-06-06 2014-12-11 Xerox Corporation Method and system for idea spotting in idea-generating social media platforms
CN104462132A (zh) 2013-09-23 2015-03-25 华为技术有限公司 评论信息的显示方法及装置
US20150286710A1 (en) * 2014-04-03 2015-10-08 Adobe Systems Incorporated Contextualized sentiment text analysis vocabulary generation
CN104317897A (zh) * 2014-10-24 2015-01-28 福州大学 一种数字图书馆中基于可视化标签主题图的导航方法
US10354199B2 (en) * 2015-12-07 2019-07-16 Xerox Corporation Transductive adaptation of classifiers without source data
EP3405920A4 (en) * 2016-01-20 2019-07-17 Mezyad M. Al-Masoud SYSTEMS AND METHODS FOR MANAGING TALENT BASED EXCHANGE
US10572524B2 (en) * 2016-02-29 2020-02-25 Microsoft Technology Licensing, Llc Content categorization
US9633007B1 (en) * 2016-03-24 2017-04-25 Xerox Corporation Loose term-centric representation for term classification in aspect-based sentiment analysis
US20170345079A1 (en) * 2016-05-31 2017-11-30 Accenture Global Solutions Limited Network of smart appliances
US20180075368A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation System and Method of Advising Human Verification of Often-Confused Class Predictions
CN107818487B (zh) * 2016-09-12 2022-03-04 阿里巴巴集团控股有限公司 一种产品信息处理方法、装置、设备及客户端
US10679168B2 (en) * 2016-11-14 2020-06-09 Accenture Global Solutions Limited Real-time method and system for assessing and improving a presence and perception of an entity
CA2998249A1 (en) * 2017-03-17 2018-09-17 Edatanetworks Inc. Artificial intelligence engine incenting merchant transaction with consumer affinity
WO2018200459A1 (en) * 2017-04-24 2018-11-01 Visinger LLC Systems and methods relating to a marketplace seller future financial performance score index
US11132541B2 (en) * 2017-09-29 2021-09-28 The Mitre Corporation Systems and method for generating event timelines using human language technology
CN107967260B (zh) * 2017-12-07 2021-09-14 东软集团股份有限公司 一种数据处理方法、设备、系统及计算机可读介质
US20190197433A1 (en) * 2017-12-22 2019-06-27 Wipro Limited Methods for adaptive information extraction through adaptive learning of human annotators and devices thereof
US10678851B2 (en) * 2018-04-25 2020-06-09 International Business Machines Corporation Cognitive content display device
KR102460293B1 (ko) 2018-05-18 2022-10-31 이베이 인크. 거래 피드백의 처리

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385579A (zh) * 2010-08-30 2012-03-21 腾讯科技（深圳）有限公司 互联网信息分类方法和系统
CN105446727A (zh) * 2014-10-22 2016-03-30 武汉理工大学 本体框架可视化方法

Also Published As

Publication number Publication date
US20210064824A1 (en) 2021-03-04
US20240078388A1 (en) 2024-03-07
KR20210006459A (ko) 2021-01-18
US11853703B2 (en) 2023-12-26
KR20220149624A (ko) 2022-11-08
US20210192145A1 (en) 2021-06-24
WO2019218343A1 (en) 2019-11-21
KR102460293B1 (ko) 2022-10-31
CN112334904A (zh) 2021-02-05
US10990764B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112334904B (zh) 处理交易反馈
CN110023982B (zh) 用于选择产品标题的系统、方法、存储设备及介质
CN107077320B (zh) 用于自动完成功能的改进的系统和方法
KR102170012B1 (ko) 데이터베이스 검색 최적화기 및 주제 필터
US11160026B2 (en) Battery charge aware communications
CN109074368B (zh) 使用异构社交网络的图形框架
US11379892B2 (en) Utility-based price guidance
US20210264507A1 (en) Interactive product review interface
EP3191976A1 (en) Enhanced search query suggestions
US11693527B2 (en) Adjusting an interface based on a cognitive mode
CN107710186B (zh) 通过选择性索引进行的搜索引擎优化
US20170364967A1 (en) Product feedback evaluation and sorting
US11334612B2 (en) Multilevel representation learning for computer content quality
CN110785755B (zh) 用于内容生成的上下文识别
US20160328765A1 (en) Enhanced supply and demand tool
CN110140141B (zh) 社交网络发起的列表
US10643269B2 (en) Managing products at a physical marketplace

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant