CN108416616A - 投诉举报类别的排序方法和装置 - Google Patents

投诉举报类别的排序方法和装置 Download PDF

Info

Publication number
CN108416616A
CN108416616A CN201810113352.6A CN201810113352A CN108416616A CN 108416616 A CN108416616 A CN 108416616A CN 201810113352 A CN201810113352 A CN 201810113352A CN 108416616 A CN108416616 A CN 108416616A
Authority
CN
China
Prior art keywords
classification
user
denunciation
complaints
personalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810113352.6A
Other languages
English (en)
Inventor
金宏
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810113352.6A priority Critical patent/CN108416616A/zh
Publication of CN108416616A publication Critical patent/CN108416616A/zh
Priority to TW107145889A priority patent/TWI696194B/zh
Priority to PCT/CN2019/073149 priority patent/WO2019149145A1/zh
Priority to SG11202005500TA priority patent/SG11202005500TA/en
Priority to US16/888,605 priority patent/US10915706B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书提供一种投诉举报类别的排序方法，包括：在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。

Description

投诉举报类别的排序方法和装置
技术领域
本说明书涉及数据处理技术领域，尤其涉及一种投诉举报类别的排序方法和装置。
背景技术
对任何一个企业而言，客户服务都是至关重要的。随着互联网的发展和智能终端的普及，越来越多的企业提供更加方便和高效的网上客户服务，在提高服务效率的同时降低服务成本。作为客户服务的一个组成部分，接收用户的投诉举报并及时解决用户的问题，能够增进客户关系和增加用户的满意度。
企业通常会在各种能够接触用户的网络场景中提供投诉举报入口，如企业网站、企业的客户端App(应用程序)中。用户在进入投诉举报入口后，通常需要选择自己投诉举报的问题属于哪个类别。由于不同类别的投诉举报往往有不同的后续处理流程，能否准确选择投诉举报类别不仅对投诉举报的处理效率，而且对投诉举报数据的收集和利用都有重要的影响。
发明内容
有鉴于此，本说明书提供一种投诉举报类别的排序方法，包括：
在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；
将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；
根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。
本说明书还提供了一种投诉举报类别的排序装置，包括：
输入特征获取单元，用于在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；
个性化评估单元，用于将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；
排序确定单元，用于根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。
本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述投诉举报类别的排序方法所述的步骤。
本说明书提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述投诉举报类别的排序方法所述的步骤。
由以上技术方案可见，本说明书的实施例中，以发起投诉举报请求的用户的行为记录和个人信息作为个性化模型的输入，得到每个投诉举报类别的个性化评估值，并按照个性化评估值决定该用户投诉举报类别的排列次序，从而提高了该用户选择正确的投诉举报类别的概率，不仅能够加快对投诉举报的处理速度，提高用户的满意程度，而且使得各个类别的投诉举报数据更加准确，有利于得出更精准的数据挖掘结果。
附图说明
图1是本说明书实施例中一种投诉举报类别的排序方法的流程图；
图2是本说明书应用示例中一种举报类别的排序方式示意图；
图3是运行本说明书实施例的设备的一种硬件结构图；
图4是本说明书实施例中一种投诉举报类别的排序装置的逻辑结构图。
具体实施方式
绝大多数用户在使用投诉举报功能时，通常处于较为迫切的状态，急于提交自己的问题。在选择投诉举报分类时，往往会在看到第一个近似于自己问题的类别时就做出选择，很难做到在看完所有类别后再选择最优的一个。投诉举报类别的排列次序对用户的选择准确性有非常大的影响。
因此，本说明书的实施例提出一种新的投诉举报类别的排序方法，采用以用户的行为记录和个人信息样本训练完成的个性化模型，以发出投诉举报请求的用户的行为记录和个人信息为输入，得到每个投诉举报类别对该用户的个性化评估值，作为投诉举报类别排序的依据，从而使得投诉举报类别的排序更加符合用户的实际情况，用户有更高的概率选择正确的类别，提高了投诉举报的处理效率，同时企业也能够得到更准确的投诉举报分类数据，为数据挖掘提供了更好的基础。
本说明书的实施例可以运行在任何具有计算和存储能力的设备上，如手机、平板电脑、PC(Personal Computer，个人电脑)、笔记本、服务器等设备；还可以由运行在两个或两个以上设备的逻辑节点来实现本说明书实施例中的各项功能。
本说明书的实施例中，投诉举报包括各种用户向网络服务提供方进行负面反馈的行为，例如向网络服务提供方提出负面意见、提交负面信息、提出需要网络服务提供方配合来解决的问题等等，不做限定。
由于投诉举报行为通常是由之前发生的网络事件导致，用户在投诉举报前在网络上的行为往往与投诉举报类别有较大的关联度；另外，反映用户个体特性的一些个人信息也与投诉举报类别相关联。因此，本说明书的实施例中，采用用户的行为记录和个人信息建立有监督学习的分类模型，本说明书中称之为个性化模型，来预测一个用户可能进行哪个类别的投诉举报。个性化模型以用户的行为记录和个人信息作为输入，以投诉举报类别的个性化评估值作为输出。作为有监督学习模型，个性化模型采用标记了最终用户实际进行投诉举报的类别的用户行为记录和个人信息样本进行训练。
其中，用户的行为记录可以包括用户在请求进行投诉举报前某个时间段内的任何网络行为记录，例如可以是用户的浏览记录、用户的聊天记录、用户的功能使用记录中的一项到多项。用户的行为记录可以是用户在某个或某几个网站或客户端应用程序中的行为记录，也可以是用户在某个终端或以某个账户进行的行为的记录，不做限定。
用户的个人信息可以包括任何能够反映用户的个体特性的信息，例如用户的地理位置信息、反映用户偏好的个性标签、用户的IP地址等中的一项到多项。
假设N(N为大于等于2的自然数)为投诉举报类别的个数，个性化分类模型可以是一个多分类模型，其输出为对N个投诉举报类别的个性化评估值；也可以采用N个二分类模型来分别预测每个投诉举报类别，即每个二分类模型对应于一个投诉举报类别，其输出为对该投诉举报类别的个性化评估值。
此外，本说明书实施例中对个性化模型所采用的分类算法没有限制，例如个性化模型可以是随机森林算法模型，可以是GBDT(Gradient Boosting Decision Tree，梯度提升决策树)算法模型，可以是XGBOOST(eXtreme Gradient Boosting，高效梯度提升)算法模型，还可以是其他分类算法模型。
本说明书的实施例中，投诉举报类别的排序方法的流程如图1所示。
步骤110，在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息。
通常用户在登录后，可以通过网络服务提供方设置的投诉举报入口来发起投诉举报请求，例如，可以是在网络服务提供方的网站上打开进行投诉举报的页面，在网络服务提供方的客户端应用程序中点击投诉举报按钮等，网络服务提供方的服务端将收到由用户所使用的终端发出的投诉举报请求。
网络服务提供方在收到投诉举报请求后，根据实际应用场景中服务端的具体实现以及行为记录和个人信息的具体内容，可以从保存用户行为记录和/或个人信息的预定网络位置、预定数据库表等处读取到用户的行为记录和/或个人信息，也可以向维护用户行为记录和/或个人信息的其他服务器请求并从回复中得到用户的行为记录和/或个人信息，不做限定。
步骤120，将用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值。
对多分类的个性化模型，将用户的行为记录和个人信息输入到多分类模型中，即可得到N个投诉举报类别的个性化评估值。对N个二分类的个性化模型，分别将用户的行为记录和个人信息输入到N个二分类模型中，每个二分类输出对应于该二分类模型的投诉举报类别的个性化评估值。
步骤130，根据个性化评估值确定该用户的投诉举报类别的排列次序。
网络服务提供方按照某个用户的各个投诉举报类别的个性化评估值，来决定对于该用户的投诉举报类别的排列次序，并返回给发起投诉举报请求的用户的终端。用户的终端将投诉举报类别按照返回的排列次序显示给用户，供用户选择。将用户更有可能进行的投诉举报类别排列在前，将极大的增加用户做出正确分类选择的概率。
除个性化评估值外，还可以综合考虑其他因素来确定对于某个用户的投诉举报类别的排序。以下举例说明。
第一个例子：有的类别的投诉举报会在一定的时间段呈现爆发性增长，例如春节前机票、车票的诈骗举报、假期兼职被骗的举报。在这样的例子中，可以按照第一预定时间段内每个投诉举报类别的发生次数，确定投诉举报类别的全局评估结果；然后根据全局评估结果和某个用户的投诉举报类别的个性化评估值，来确定该用户的投诉举报类别排序。
第二个例子：不同类别的投诉举报可能在不同地区具有不同的发生概率，例如在一些偏远地区，发生的投诉举报类别较为单一和集中。在这样的例子中，可以按照第二预定时间段内每个投诉举报类别在某个用户所在地域的发生次数，确定投诉举报类别的区域评估结果；然后根据区域评估结果和该用户的投诉举报类别的个性化评估值，来确定该用户的投诉举报类别排序。
上述两个例子中，可以根据实际应用场景的具体情况、全局评估结果和/或区域评估结果对投诉举报类别排序的影响等因素，来决定具体的排序方法，本说明书的实施例不做限定。例如，可以根据各个投诉举报类别的发生次数在全局评估结果和/或区域评估结果中设定不同的分值，对某个投诉举报类别，将在全局评估结果和/或区域评估结果中的分值、与个性化评估值的加权和作为该投诉举报类别的最终评估值，并按照最终评估值来对投诉举报类别排序。
另外，上述两个例子中的全局评估结果和区域评估结果可以结合使用。以下给出结合使用的第三个例子：将第一预定时间段内发生次数最多的P(P为小于N的自然数)个投诉举报类别，作为全局类别；将除P个全局类别外，在第二预定时间段内发生次数最多的Q(Q为不大于(N-P)的自然数)个投诉举报类别，作为区域类别；在确定投诉举报类别的排序时，将P个全局类别按发生次数降序排列，之后将Q个区域类别按发生次数降序排列，之后按照个性化评估值排列除全局类别和区域类别外剩余的(N-P-Q)个投诉举报类别。在这个例子中，最优先排列P个全局类别，然后排列Q个区域类别，之后是按照个性化评估值排列的其他投诉举报类别。
可见，本说明书的实施例中，采用以用户的行为记录和个人信息样本训练完成的个性化模型，以发起投诉举报请求的用户的行为记录和个人信息作为个性化模型的输入，得到每个投诉举报类别对该用户的个性化评估值，作为投诉举报类别排序的依据，使得投诉举报类别的排序更加符合用户的实际情况，提高了该用户选择正确的投诉举报类别的概率，加快了对投诉举报的处理速度，能够提高用户的满意程度，同时使得各个类别的投诉举报数据更加准确，为数据挖掘提供了更好的基础。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书的一个应用示例中，第三方移动支付平台在其客户端App中为用户提供了举报入口，以便通过用户的举报及时发现和制止非法行为，保护用户的资金安全。用户在App中点击举报按钮后，可以在打开的类型选择页面上选择举报类型，来进行该类型事项的举报。举报类型包括兼职被骗、刷单、色情、赌博、理财被骗、交易被骗等。
在第三方移动支付平台的服务端，以用户24小时内在客户端App中的浏览记录和聊天记录作为用户的行为记录，以用户的个性标签(如网购达人、电影迷、健身狂人等)、用户的IP地址、用户的地理位置信息作为用户的个人信息，建立有多分类个性化模型，并采用标记了用户举报应属类别的样本数据进行训练。
在用户点击举报按钮后，App将用户的举报请求发送给服务端。服务端从用户数据库中读取该用户的个性标签，根据与客户端App的交互得到用户终端的IP地址、以及终端所在的地理位置信息。服务端从用户行为数据库中查询该用户在过去24小时内在App内的浏览记录和聊天记录。将用户的个性标签、IP地址、地理位置信息、浏览记录和聊天记录输入到多分类个性化模型中，得到每个举报类别的个性化评估值。
服务端统计过去一周所有用户在每个类别的举报，将举报次数最多的一个类别作为全局类别。基于用户的地理位置信息，服务端统计过去一周在该用户所在区域(包括城市、城镇、郊区、或乡村等)发生的每个类别的举报次数，将除全局类别外举报次数最多的一个类别作为区域类别。服务端将全局类别作为第一项，将区域类别作为第二项，对除全局类别和区域类别外的其他举报类别，按照个性化评估值从可能性高到可能性低将其他举报类别从第三项开始依次排序，如图2所示。服务端将举报类别及其排序返回给App，由App展示给用户。用户在打开的类型选择页面上看到按照上述顺序排列的举报类别。
与上述流程实现对应，本说明书的实施例还提供了一种投诉举报类别的排序装置。该装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为逻辑意义上的装置，是通过所在设备的CPU(Central Process Unit，中央处理器)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图3所示的CPU、内存以及存储器之外，投诉举报类别的排序装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件，和/或用于实现网络通信功能的板卡等其他硬件。
图4所示为本说明书实施例提供的一种投诉举报类别的排序装置，包括输入特征获取单元、个性化评估单元和排序确定单元，其中：输入特征获取单元用于在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；个性化评估单元用于将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；排序确定单元用于根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。
可选的，所述个性化模型包括多分类模型或N个二分类模型，N为投诉举报类别的个数。
可选的，所述个性化模型采用随机森林算法、梯度提升决策树GBDT算法、或高效梯度提升XGBOOST算法。
可选的，所述用户的行为记录包括以下至少一项：用户的浏览记录、用户的聊天记录、用户的功能使用记录；所述用户的个人信息包括以下至少一项：用户的地理位置信息、用户的个性标签、用户的IP地址。
可选的，所述装置还包括：全局评估单元，用于按照第一预定时间段内每个投诉举报类别的发生次数，确定投诉举报类别的全局评估结果；所述排序确定单元具体用于：根据所述全局评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
可选的，所述装置还包括：区域评估单元，用于按照第二预定时间段内每个投诉举报类别在所述用户所在地域的发生次数，确定投诉举报类别的区域评估结果；所述排序确定单元具体用于：根据所述区域评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
可选的，所述装置还包括全局类别单元、区域类别单元，其中：全局类别单元用于将第一预定时间段内发生次数最多的P个投诉举报类别，作为全局类别；区域类别单元用于将除P个全局类别外，在第二预定时间段内发生次数最多的Q个投诉举报类别，作为区域类别；所述排序确定单元具体用于：将P个全局类别按发生次数降序排列，之后将Q个区域类别按发生次数降序排列，之后按照个性化评估值排列除全局类别和区域类别外剩余的(N-P-Q)个投诉举报类别；N为投诉举报类别的个数，P为小于N的自然数，Q为不大于(N-P)的自然数。
本说明书的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器。其中，存储器上存储有能够由处理器运行的计算机程序；处理器在运行存储的计算机程序时，执行本说明书实施例中投诉举报类别的排序方法的各个步骤。对投诉举报类别的排序方法的各个步骤的详细描述请参见之前的内容，不再重复。
本说明书的实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，这些计算机程序在被处理器运行时，执行本说明书实施例中投诉举报类别的排序方法的各个步骤。对投诉举报类别的排序方法的各个步骤的详细描述请参见之前的内容，不再重复。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (16)

1.一种投诉举报类别的排序方法，包括：
在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；
将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；
根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。
2.根据权利要求1所述的方法，所述个性化模型包括多分类模型或N个二分类模型，N为投诉举报类别的个数。
3.根据权利要求1所述的方法，所述个性化模型采用随机森林算法、梯度提升决策树GBDT算法、或高效梯度提升XGBOOST算法。
4.根据权利要求1所述的方法，所述用户的行为记录包括以下至少一项：用户的浏览记录、用户的聊天记录、用户的功能使用记录；
所述用户的个人信息包括以下至少一项：用户的地理位置信息、用户的个性标签、用户的IP地址。
5.根据权利要求1所述的方法，所述方法还包括：按照第一预定时间段内每个投诉举报类别的发生次数，确定投诉举报类别的全局评估结果；
所述根据个性化评估值确定所述用户的投诉举报类别的排列次序，包括：根据所述全局评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
6.根据权利要求1所述的方法，所述方法还包括：按照第二预定时间段内每个投诉举报类别在所述用户所在地域的发生次数，确定投诉举报类别的区域评估结果；
所述根据个性化评估值确定所述用户的投诉举报类别的排列次序，包括：根据所述区域评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
7.根据权利要求1所述的方法，所述方法还包括：
将第一预定时间段内发生次数最多的P个投诉举报类别，作为全局类别；
将除P个全局类别外，在第二预定时间段内发生次数最多的Q个投诉举报类别，作为区域类别；
所述根据个性化评估值确定所述用户的投诉举报类别的排列次序，包括：将P个全局类别按发生次数降序排列，之后将Q个区域类别按发生次数降序排列，之后按照个性化评估值排列除全局类别和区域类别外剩余的(N-P-Q)个投诉举报类别；N为投诉举报类别的个数，P为小于N的自然数，Q为不大于(N-P)的自然数。
8.一种投诉举报类别的排序装置，包括：
输入特征获取单元，用于在收到用户的投诉举报请求后，获取所述用户的行为记录和个人信息；
个性化评估单元，用于将所述用户的行为记录和个人信息输入个性化模型，得到每个投诉举报类别的个性化评估值；所述个性化模型为有监督学习的分类模型，采用标记有投诉举报类别的用户行为记录和个人信息样本进行训练；
排序确定单元，用于根据所述个性化评估值确定所述用户的投诉举报类别的排列次序。
9.根据权利要求8所述的装置，所述个性化模型包括多分类模型或N个二分类模型，N为投诉举报类别的个数。
10.根据权利要求8所述的装置，所述个性化模型采用随机森林算法、梯度提升决策树GBDT算法、或高效梯度提升XGBOOST算法。
11.根据权利要求8所述的装置，所述用户的行为记录包括以下至少一项：用户的浏览记录、用户的聊天记录、用户的功能使用记录；
所述用户的个人信息包括以下至少一项：用户的地理位置信息、用户的个性标签、用户的IP地址。
12.根据权利要求8所述的装置，所述装置还包括：全局评估单元，用于按照第一预定时间段内每个投诉举报类别的发生次数，确定投诉举报类别的全局评估结果；
所述排序确定单元具体用于：根据所述全局评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
13.根据权利要求8所述的装置，所述装置还包括：区域评估单元，用于按照第二预定时间段内每个投诉举报类别在所述用户所在地域的发生次数，确定投诉举报类别的区域评估结果；
所述排序确定单元具体用于：根据所述区域评估结果和所述用户的个性化评估值，确定所述用户的投诉举报类别的排列次序。
14.根据权利要求8所述的装置，所述装置还包括：
全局类别单元，用于将第一预定时间段内发生次数最多的P个投诉举报类别，作为全局类别；
区域类别单元，用于将除P个全局类别外，在第二预定时间段内发生次数最多的Q个投诉举报类别，作为区域类别；
所述排序确定单元具体用于：将P个全局类别按发生次数降序排列，之后将Q个区域类别按发生次数降序排列，之后按照个性化评估值排列除全局类别和区域类别外剩余的(N-P-Q)个投诉举报类别；N为投诉举报类别的个数，P为小于N的自然数，Q为不大于(N-P)的自然数。
15.一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如权利要求1到7任意一项所述的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1到7任意一项所述的步骤。
CN201810113352.6A 2018-02-05 2018-02-05 投诉举报类别的排序方法和装置 Pending CN108416616A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810113352.6A CN108416616A (zh) 2018-02-05 2018-02-05 投诉举报类别的排序方法和装置
TW107145889A TWI696194B (zh) 2018-02-05 2018-12-19 投訴舉報類別的排序方法和裝置
PCT/CN2019/073149 WO2019149145A1 (zh) 2018-02-05 2019-01-25 投诉举报类别的排序方法和装置
SG11202005500TA SG11202005500TA (en) 2018-02-05 2019-01-25 Method and apparatus for sorting text report categories
US16/888,605 US10915706B2 (en) 2018-02-05 2020-05-29 Sorting text report categories

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810113352.6A CN108416616A (zh) 2018-02-05 2018-02-05 投诉举报类别的排序方法和装置

Publications (1)

Publication Number Publication Date
CN108416616A true CN108416616A (zh) 2018-08-17

Family

ID=63127782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810113352.6A Pending CN108416616A (zh) 2018-02-05 2018-02-05 投诉举报类别的排序方法和装置

Country Status (5)

Country Link
US (1) US10915706B2 (zh)
CN (1) CN108416616A (zh)
SG (1) SG11202005500TA (zh)
TW (1) TWI696194B (zh)
WO (1) WO2019149145A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492660A (zh) * 2018-09-26 2019-03-19 平安科技（深圳）有限公司 投诉信息处理方法、装置、计算机设备和存储介质
CN109858702A (zh) * 2019-02-14 2019-06-07 中国联合网络通信集团有限公司 客户升级投诉的预测方法、装置、设备及可读存储介质
WO2019149145A1 (zh) * 2018-02-05 2019-08-08 阿里巴巴集团控股有限公司 投诉举报类别的排序方法和装置
CN110378712A (zh) * 2019-07-26 2019-10-25 上海秒针网络科技有限公司 一种投诉处理方法及装置
CN110602652A (zh) * 2019-10-15 2019-12-20 中移信息技术有限公司 投诉模型的训练方法、用户投诉的预测方法、装置及设备
CN110909545A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于梯度提升算法的黑导游检测方法
CN110909129A (zh) * 2019-11-14 2020-03-24 上海秒针网络科技有限公司 异常投诉事件的识别方法及装置
CN110969443A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 投诉事件处理方法、装置、设备和系统
CN111078878A (zh) * 2019-12-06 2020-04-28 北京百度网讯科技有限公司 文本处理方法、装置、设备及计算机可读存储介质
CN111767736A (zh) * 2019-03-27 2020-10-13 阿里巴巴集团控股有限公司 事件处理与数据处理方法、设备、系统及存储介质
CN112561535A (zh) * 2020-12-08 2021-03-26 支付宝(杭州)信息技术有限公司 交易纠纷数据处理方法、装置、设备及存储介质
CN112925863A (zh) * 2021-01-25 2021-06-08 北京工业大学 一种面向水环境管理平台的基于多要素分析的水污染溯源定位方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183663A (zh) * 2020-10-26 2021-01-05 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040631A1 (en) * 2005-07-09 2011-02-17 Jeffrey Scott Eder Personalized commerce system
CN104008184A (zh) * 2014-06-10 2014-08-27 百度在线网络技术（北京）有限公司 信息的推送方法和装置
CN105787770A (zh) * 2016-04-27 2016-07-20 上海遥薇(集团)有限公司 一种基于nmf算法的大数据商品及服务推荐方法及系统
CN106708821A (zh) * 2015-07-21 2017-05-24 广州市本真网络科技有限公司 基于用户个性化购物行为进行商品推荐的方法
CN107437124A (zh) * 2017-07-20 2017-12-05 大连大学 一种基于大数据分析的运营商投诉与故障关联分析方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899769B2 (en) * 2004-11-24 2011-03-01 Overtone, Inc. Method for identifying emerging issues from textual customer feedback
US9715701B2 (en) * 2008-11-24 2017-07-25 Ebay Inc. Image-based listing using image of multiple items
CN101408964B (zh) * 2008-11-25 2016-03-30 阿里巴巴集团控股有限公司 电子商务网站的前台类目调整方法及装置
US9189551B2 (en) * 2011-07-20 2015-11-17 Opentable. Inc. Method and apparatus for category based navigation
US9189526B1 (en) * 2012-03-21 2015-11-17 Google Inc. Freshness based ranking
WO2014056093A1 (en) * 2012-10-11 2014-04-17 Orboros, Inc. Method and system for visualizing complex data via a multi-agent query engine
US9524319B2 (en) * 2013-04-30 2016-12-20 Wal-Mart Stores, Inc. Search relevance
CN105446972B (zh) * 2014-06-17 2022-06-10 阿里巴巴集团控股有限公司 基于及融合用户关系数据的搜索方法、装置和系统
US10990620B2 (en) * 2014-07-14 2021-04-27 Verizon Media Inc. Aiding composition of themed articles about popular and novel topics and offering users a navigable experience of associated content
US10476882B2 (en) * 2016-09-22 2019-11-12 Facebook, Inc. Determining user access to groups generated in a closed online system based on categories determined for the groups
US10558714B2 (en) * 2016-12-28 2020-02-11 Facebook, Inc. Topic ranking of content items for topic-based content feeds
US10671244B2 (en) * 2017-04-14 2020-06-02 Home Depot Product Authority, Llc Ordering categories in an electronic user interface menu based on user interaction frequency
US10635733B2 (en) * 2017-05-05 2020-04-28 Microsoft Technology Licensing, Llc Personalized user-categorized recommendations
CN107563429B (zh) * 2017-07-27 2020-11-10 国家计算机网络与信息安全管理中心 一种网络用户群体的分类方法及装置
CN108416616A (zh) * 2018-02-05 2018-08-17 阿里巴巴集团控股有限公司 投诉举报类别的排序方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040631A1 (en) * 2005-07-09 2011-02-17 Jeffrey Scott Eder Personalized commerce system
CN104008184A (zh) * 2014-06-10 2014-08-27 百度在线网络技术（北京）有限公司 信息的推送方法和装置
CN106708821A (zh) * 2015-07-21 2017-05-24 广州市本真网络科技有限公司 基于用户个性化购物行为进行商品推荐的方法
CN105787770A (zh) * 2016-04-27 2016-07-20 上海遥薇(集团)有限公司 一种基于nmf算法的大数据商品及服务推荐方法及系统
CN107437124A (zh) * 2017-07-20 2017-12-05 大连大学 一种基于大数据分析的运营商投诉与故障关联分析方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019149145A1 (zh) * 2018-02-05 2019-08-08 阿里巴巴集团控股有限公司 投诉举报类别的排序方法和装置
US10915706B2 (en) 2018-02-05 2021-02-09 Advanced New Technologies Co., Ltd. Sorting text report categories
CN109492660A (zh) * 2018-09-26 2019-03-19 平安科技（深圳）有限公司 投诉信息处理方法、装置、计算机设备和存储介质
CN110969443A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 投诉事件处理方法、装置、设备和系统
CN109858702A (zh) * 2019-02-14 2019-06-07 中国联合网络通信集团有限公司 客户升级投诉的预测方法、装置、设备及可读存储介质
CN109858702B (zh) * 2019-02-14 2021-02-19 中国联合网络通信集团有限公司 客户升级投诉的预测方法、装置、设备及可读存储介质
CN111767736A (zh) * 2019-03-27 2020-10-13 阿里巴巴集团控股有限公司 事件处理与数据处理方法、设备、系统及存储介质
CN110378712A (zh) * 2019-07-26 2019-10-25 上海秒针网络科技有限公司 一种投诉处理方法及装置
CN110602652A (zh) * 2019-10-15 2019-12-20 中移信息技术有限公司 投诉模型的训练方法、用户投诉的预测方法、装置及设备
CN110909129A (zh) * 2019-11-14 2020-03-24 上海秒针网络科技有限公司 异常投诉事件的识别方法及装置
CN110909129B (zh) * 2019-11-14 2022-11-04 上海秒针网络科技有限公司 异常投诉事件的识别方法及装置
CN110909545A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于梯度提升算法的黑导游检测方法
CN111078878A (zh) * 2019-12-06 2020-04-28 北京百度网讯科技有限公司 文本处理方法、装置、设备及计算机可读存储介质
CN112561535A (zh) * 2020-12-08 2021-03-26 支付宝(杭州)信息技术有限公司 交易纠纷数据处理方法、装置、设备及存储介质
CN112925863A (zh) * 2021-01-25 2021-06-08 北京工业大学 一种面向水环境管理平台的基于多要素分析的水污染溯源定位方法

Also Published As

Publication number Publication date
US20200293716A1 (en) 2020-09-17
TW201935292A (zh) 2019-09-01
US10915706B2 (en) 2021-02-09
SG11202005500TA (en) 2020-07-29
WO2019149145A1 (zh) 2019-08-08
TWI696194B (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
CN108416616A (zh) 投诉举报类别的排序方法和装置
US11659050B2 (en) Discovering signature of electronic social networks
CN110400169B (zh) 一种信息推送方法、装置及设备
CN107563429B (zh) 一种网络用户群体的分类方法及装置
CN106940705B (zh) 一种用于构建用户画像的方法与设备
CN108733706B (zh) 热度信息的生成方法和装置
US9064212B2 (en) Automatic event categorization for event ticket network systems
CN106557480B (zh) 查询改写的实现方法及装置
US9256692B2 (en) Clickstreams and website classification
CN108563680A (zh) 资源推荐方法及装置
CN108596695B (zh) 实体推送方法及系统
CN109063966A (zh) 风险账户的识别方法和装置
CN112288464A (zh) 商品推荐方法、装置、计算机设备和存储介质
WO2015112989A1 (en) Obtaining social relationship type of network subjects
CN107808346B (zh) 一种潜在目标对象的评估方法及评估装置
CN110942338A (zh) 一种营销赋能策略的推荐方法、装置和电子设备
CN108304935A (zh) 机器学习模型训练方法、装置和计算机设备
CN108550046A (zh) 一种资源和营销推荐方法、装置及电子设备
CN113688313A (zh) 一种预测模型的训练方法、信息推送的方法及装置
CN111738785A (zh) 选品方法、系统及存储介质
CN109064217B (zh) 基于用户等级的核身策略确定方法、装置及电子设备
CN110197426A (zh) 一种信用评分模型的建立方法、装置及可读存储介质
CN110427545B (zh) 一种信息推送方法及系统
CN109829593B (zh) 目标对象的信用度确定方法、装置、存储介质及电子装置
CN111680213A (zh) 信息推荐方法、数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817

RJ01 Rejection of invention patent application after publication