CN116703416A - 用于处理用户反馈的方法、系统、装置和介质 - Google Patents
用于处理用户反馈的方法、系统、装置和介质 Download PDFInfo
- Publication number
- CN116703416A CN116703416A CN202310452006.1A CN202310452006A CN116703416A CN 116703416 A CN116703416 A CN 116703416A CN 202310452006 A CN202310452006 A CN 202310452006A CN 116703416 A CN116703416 A CN 116703416A
- Authority
- CN
- China
- Prior art keywords
- user
- user feedback
- feedback
- behaviors
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 230000006399 behavior Effects 0.000 claims abstract description 139
- 238000005065 mining Methods 0.000 claims description 31
- 230000003542 behavioural effect Effects 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000003416 augmentation Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
Abstract
公开了一种用于由计算机执行的用于处理用户反馈的方法,包括:获取单个用户反馈;标识与该单个用户反馈相关联的多个附加用户反馈;确定第一用户行为集合;以及标识第二用户行为集合,该第二用户行为集合大于该第一用户行为集合。本申请还涉及用于处理用户反馈的系统、装置和介质。
Description
技术领域
本申请涉及用户反馈,尤其涉及用于处理用户反馈的方法、系统、装置和计算机可读存储介质。
背景技术
对于产品和服务,尤其是基于互联网的产品和服务而言,及时、准确、全面地获取用户反馈并标识出产品和服务中存在的问题对于用户体验非常重要。
目前,需要大量的运营人员来处理用户反馈,对于大型平台尤其如此。运营人员需要从平台的大量产品和服务的各种反馈渠道收集用户反馈,对用户反馈进行人工处理(或在一些情况下借助计算机辅助处理)并标识产品和服务中存在的问题。因此,这样的处理不仅消耗大量的人力资源和其他资源,而且效率偏低且不够及时。
而且,这些从用户反馈中发现的问题仅仅只有单个用户对该问题的相关描述,缺失更多的数据支撑,因此在准确性、全面性上也存在问题。
因此,需要能够改进的处理用户反馈的方案。
发明内容
为了克服现有技术的缺陷,本说明书的一个或多个实施例通过自动地将用户反馈扩大和用户行为扩大来寻找出更多的与潜在问题相关的数据,从而提升分析的及时性、准确性、全面性。
本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。
在一个方面中,公开了一种一种由计算机执行的用于处理用户反馈的方法,包括:获取单个用户反馈;标识与该单个用户反馈相关联的多个附加用户反馈;确定与该多个附加用户反馈相关联的第一用户行为集合;以及标识与该第一用户行为集合具有共同行为意图的第二用户行为集合,该第二用户行为集合大于该第一用户行为集合。
优选地,该方法进一步包括:标识执行该第二用户行为集合的第二用户集合。
优选地,该方法进一步包括:对该第二用户集合执行用户画像。
优选地,标识与该单个用户反馈相关联的多个附加用户反馈包括:识别一个或多个与该单个用户反馈相关的标签;以及标识具有至少一个与该单个用户反馈相关的标签的多个附加用户反馈。
优选地,该方法进一步包括:在识别一个或多个与该单个用户反馈相关的标签之后,用该一个或多个标签来更新标签库。
优选地,该方法进一步包括:基于人工输入对该多个附加用户反馈执行过滤。
优选地,标识与该第一用户行为集合具有共同行为意图的第二用户行为集合包括:对该第一用户行为集合执行意图挖掘以标识与该第一用户行为集合相关联的行为意图;以及标识具有该行为意图的附加用户行为,以构成该第二用户行为集合。
优选地,该意图挖掘包括:标识与该第一用户行为集合中的用户行为相关联的用户行为操作序列;从该用户行为操作序列中挖掘出关键链路;将该关键链路切分为多个子链路;基于切分出的子链路标识与该第一用户行为集合相关联的行为意图。
优选地,该子链路为意图表达链路或意图完成链路。
优选地,该方法进一步包括:基于人工输入对所标识的行为意图执行过滤。
在另一方面,公开了一种用于处理用户反馈的系统,包括:用于获取单个用户反馈的装置;用于标识与该单个用户反馈相关联的多个附加用户反馈的装置,该多个附加用户反馈来自第一用户集合;用于确定与该多个附加用户反馈相关联的第一用户行为集合的装置;以及用于标识与该第一用户行为集合具有共同行为意图的第二用户行为集合的装置,该第二用户行为集合大于该第一用户行为集合。
优选地,该系统进一步包括:用于标识执行该第二用户行为集合的第二用户集合的装置;以及用于对该第二用户集合执行用户画像的装置。
优选地,用于标识与该单个用户反馈相关联的多个附加用户反馈的装置包括:用于识别一个或多个与该单个用户反馈相关的标签的装置;以及用于标识具有至少一个与该单个用户反馈相关的标签的多个附加用户反馈的装置。
优选地,用于标识与该第一用户行为集合具有共同行为意图的第二用户行为集合的装置包括:用于对该第一用户行为集合执行意图挖掘以标识与该第一用户行为集合相关联的行为意图的装置;以及用于标识具有该行为意图的附加用户行为,以构成该第二用户行为集合的装置。
在又另一方面中,提供了一种用于生成遥感影像的场景图的装置,包括处理器;以及与该处理器耦合的存储器,该存储器存储有处理器可执行指令,该指令在被该处理器执行时使该处理器执行如上所述的方法。
在又另一方面中,提供了一种非瞬态处理器可读存储介质,包括处理器可执行指令,该指令在被处理器执行时使该处理器执行如上所述的方法。
与现有技术相比,本说明书的一个或多个实施例能够实现以下技术效果中的一者或多者:
能够自动标识出相关用户反馈和/或相关用户行为,节省了人力,提升了效率;
有更大的覆盖范围;
能够标识出沉默用户及其行为;
能够消除主观的用户反馈中的不足,提升客观性。
附图说明
以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是,附图仅作为所请求保护的发明的示例。在附图中,相同的附图标记代表相同或类似的元素。
图1示出根根据本说明书实施例的用户反馈的示例。
图2示出根据本说明书实施例的用于处理用户反馈的总体过程的示意图。
图3示出根据本说明书实施例的用于处理用户反馈的示例方法的示意流程图。
图4示出根据本说明书实施例的用于基于该用户反馈标识多个用户反馈的示例过程的流程图。
图5示出根据本说明书实施例的多个附加用户反馈的示例。
图6示出根据本说明书实施例的意图挖掘的示例过程的示意图。
图7示出根据本说明书实施例的意图挖掘步骤中挖掘出的关键链路的示例的示意图。
图8示出根据本说明书实施例的对第二用户集合执行用户画像的示例结果的示意图。
图9示出根据本说明书实施例的用于处理用户反馈的示例系统的示意性框图。
图10示出用于实现根据本说明书一个或多个实施例的系统的装置的示意框图。
具体实施方式
以下具体实施方式的内容足以使任何本领域技术人员了解本说明书的一个或多个实施例的技术内容并据以实施,且根据本说明书所揭露的说明书、权利要求及附图,本领域技术人员可轻易地理解本说明书的一个或多个实施例相关的目的及优点。
如上文所述,现有的对基于互联网的产品或服务的用户反馈的处理方案通常需要大量的运营人员来逐个对每个用户反馈进行分析,而且对单个用户反馈的分析无法得到准确、全面的结论。
为解决此问题,本说明书实施例设想了将单个用户反馈扩充到更大量的数据。为执行数据扩充,本说明书实施例构想了对用户反馈本身进行扩大,并且在对用户反馈进行扩大从而得到足够的数据点后,继续利用数据点进行行为扩大,从而能够获得真正与该用户反馈的问题相关的大量数据。
本方案创新性地结合了用户的主观反馈数据和客观行为数据,通过包含反馈扩大和行为扩大的双重扩大分析方法,找出与产品或服务的问题对应的相关主观用户反馈、客观行为现象(问题出现的轨迹链路),从而将原来的单数据点扩大到大量相关数据点,使得运营人员有了更客观、更真实、更丰富的数据以用于分析问题,从而能够在此基础上执行例如问题分析、影响人群标识、用户画像等,能够提升问题分析的及时性、准确性和全面性。
例如,参见图1,其示出用户反馈的示例。图1中示出了多条用户反馈,如用户反馈102,其包含以下文字:“这笔社保账户扣款的金额为啥支付应用也扣款呢,可它算在账单里啊”。对于该反馈,通常情况下,可能需要运营人员去理解,然后人工搜索类似的反馈,最终定位问题。
在本说明书实施例中,尝试通过自动化方式来标识出更多的类似反馈,甚至没有作出反馈但遇到类似问题的类似行为,并在需要时定位用户和/或对用户进行画像。
在以下实施例中,“用户反馈”又可称为“用户声音”(虽然其并不限于“声音”)。
参见图2,其示出根据本说明书实施例的用于处理用户反馈的总体过程200的示意图。
如图2所示,过程200可包括两个主要操作:原声扩大204和行为扩大206。
原声扩大204是指通过原始的单个用户反馈(“单条原声”202)来找到更多的相关用户反馈。原声扩大204可通过标签识别210和标签圈声212来执行。
行为扩大206是指找到这些用户反馈中涉及的行为类似的更多行为。行为扩大206可通过现象识别214和现象圈人216来执行。
在经过原声扩大和行为扩大之后,会找到大量与该单个用户反馈中反映的问题相关的用户行为,此时可对这些行为执行后续处理208。
上述各个操作的具体细节将在下文中进一步详细描述。
参见图3,其示出了根据本说明书实施例的用于处理用户反馈的示例方法300的示意流程图。
如图3所示,方法300可包括:在操作302,可获取单个用户反馈。
在本说明书所介绍的优选场景中,以基于互联网的产品或服务的用户反馈为例进行介绍。基于互联网的产品或服务可以指通过互联网来使用的产品或服务。基于互联网的产品或服务可采用各种形式,包括但不限于:计算机应用程序、手机或其他移动平台的应用(app)、小程序、网页等等。
该用户反馈也可以是对其他产品或服务的反馈。
本说明书实施例不限于对单个产品或服务的用户反馈执行处理。对于例如提供多个产品或服务的平台而言,可对该平台的多个产品或服务的用户反馈执行处理。
在本说明书实施例中,用户反馈是指从用户获取的与产品或服务相关的信息。用户反馈例如可包括用户对产品的咨询、建议、投诉、评价等。还可包括其他形式的用户反馈,例如用户与客服人员的交互、新闻报道所提及的用户反馈等。
在本文中,有时也将用户反馈称为“用户声音”,将做出用户反馈的用户称为“发声用户”。然而,这并非是指该用户反馈是声音形式的。相反,用户反馈可采用各种数据格式,例如文字、音频、图像、视频、交互对话或其组合等。例如,用户可能拨打客服电话,并与客服人员在电话中进行交互,这些交互中可能包括语音形式的用户反馈。
用户反馈可以是即时(例如实时)接收的用户反馈,或者可以是来自本地或外部数据源的已存储的用户反馈。外部数据源的示例可包括但不限于:投诉平台、社交网络、新闻源等等。
可通过各种渠道获取用户反馈,例如通过产品或服务本身内的反馈渠道(例如反馈表格)、用户热线或客服、产品或反馈本身或第三方的投诉或评价等等。例如,还可通过例如社交网络、新闻平台等非传统反馈渠道来获取用户反馈。例如,可通过搜索爬虫等对上述搜索渠道进行爬取。
可通过各种方式从各种数据源获取用户反馈。例如,可接收对用户反馈的推送、可拉取用户反馈、爬取用户反馈等等。
参见图1中的示例,其示出了多条用户反馈。在该示例中,用户反馈是由用户在该产品和服务本身的咨询功能中,通过用户咨询的形式提交的文字;该用户反馈例如可保存在该产品或服务相关联的数据库中,执行本说明书实施例的方法的装置或系统可访问该数据库以获取该反馈。
优选地,在获取数据源之后,可对用户反馈进行各种预处理。例如,对于非文字形式(例如音频、图像、视频等)的用户反馈,可使用对应的算法(例如,语音识别算法、光学字符识别(OCR)、如机器学习算法等其它音频、图像、视频等处理算法等)将其转换为文字。对于例如用户交互、新闻等大量文字中所包含的用户反馈,可使用各种信息提取算法等从中提取出用户反馈等等。还可对用户反馈执行数据清洗、文字纠错等等本领域技术人员可构想的其他预处理。
优选地,该用户反馈可以是人工选出的高质量反馈。例如,该用户反馈可能涉及典型问题、可能频繁出现、可能涉及新出现的反馈类型、可能涉及运营人员、客服人员最近集中要解决的问题等等。
在此情况下,该操作还可包括:向用户(例如运营人员、客服人员等)显示用户反馈列表;接收来自该用户的输入;以及基于该用户的输入来选择该单个用户反馈。
通常,在此步骤中,仅获取单个用户反馈。然而,应当领会,在替代示例中,在此步骤中,也可获取多于一个用户反馈。通常,在此步骤中,所获取的用户反馈数量较少,且仅涉及一个问题,而在后续步骤中会对其进行扩充。
方法300可包括:在操作304,可标识与该单个用户反馈相关联的多个附加用户反馈。此操作即图2中所示的“原声扩大204”。
优选地,可该多个附加用户反馈来自多个用户,该多个用户可构成第一用户集合。该第一用户集合可包括或不包括发出该用户反馈的用户。
优选地,附加用户反馈与该单个用户反馈相关联例如可以指附加用户反馈和单个用户反馈都涉及相同产品、服务或功能的相同问题。在本说明书实施例中,用户反馈涉及相同问题可通过用户反馈具有相同标签来体现。
相同问题是指与该产品或服务的相同或相似功能相关联的性质相同或相似的问题。需要注意的是,虽然使用了“相同问题”这一术语,但该术语应该在广义上来理解。例如,对于相似、相关的功能的相似或相关的问题,也可落在该术语的范围内。
例如,可采用如下文参考图3所述的过程来标识多个用户反馈。
参见图4,其示出根据本说明书实施例的用于基于该用户反馈标识多个用户反馈的示例过程400的流程图。通过单个用户反馈来标识多个相关联的用户反馈的过程例如可包括“标签识别”和“标签圈声”两个操作。
如图4所示,过程400可包括:在操作402,可识别一个或多个与该单个用户反馈相关的标签。此操作即图2中的“标签识别210”。
可通过例如本领域技术人员可构想的任何适当的文本挖掘方法来识别与该用户反馈相关的标签。通常,该标签与用户在该用户反馈中的核心想法、诉求、问题相关。可基于这些标签来理解和分析用户反馈。
例如,可采用LDA、NMF、TextRank、W2V、TF-IDF等算法来执行标签识别。
优选地,所识别的标签来自标签库。
在一个示例中,可通过以下方式来执行标签识别:
首先,可对用户反馈执行切词(或称“分词”)。通过切词,该用户反馈可被转换为词集合。
随后,可基于词集合来识别出标签。例如,可通过识别词集合中存在的高频词。
可采用本领域技术人员可构想的任何其他实施例来执行标签识别,以便以该用户反馈中所包含的问题、产品、服务、功能等等来对该用户反馈打标签。
例如,在图1的示例用户反馈102中,标签可能是“支付应用重复扣款”、“账单显示扣款”、“医保未支付”、“支付失败”等等。
标签可以是从标签库中选择的。标签库是指预先建立的包括与用户反馈相关联的标签的数据库。通常,标签库中的标签可与产品、服务或功能的问题相关联。可逐渐积累标签库。
优选地,在执行标签识别操作之前,可首先将用户反馈结构化。例如,可采用隐马尔可夫模型(Hidden Markov Models,HMM)、递归神经网络(Recurrent Neural Network,RNN)、神经网络语言模型(Neural Network Language Models,NNLM)、支持向量机(SupportVector Machine,SVM)等模型来将用户反馈结构化。
在一些情况下,通过用户反馈结构化,可以提升标签识别的效率和准确性。
在优选实施例中,在识别出标签后,可向用户显示标签,从用户接收输入,并基于用户输入对标签进行选择和/或过滤等等。
过程400还可包括:在操作404,可标识具有至少一个与该单个用户反馈相关的标签的多个附加用户反馈。此操作即图2中的“标签圈声212”。
例如,用户反馈数据库中可包括多个用户反馈,这些用户反馈中的至少一部分可具有标签。在此操作中,可使用在操作402中所标识的一个或多个标签来在该用户反馈数据库中执行检索,以便检索出多个附加用户反馈,该多个附加用户反馈可具有一个或多个与该用户反馈相同的标签。优选地,该多个附加用户反馈具有该用户反馈的所有该一个或多个标签。
参加图5,其示出根据本说明书实施例的多个附加用户反馈的示例。
如图5的502所示,可向用户显示与该用户反馈相关的该一个或多个标签,以供用户选择。尽管图5中示出用户仅选择了一个标签,但应领会,用户可选择多个标签。优选地,用户还可添加标签,以用于进行检索。
随后,可基于用户的输入(对标签的选择或添加)来使用一个或多个标签来检索数据库,以获得具有该一个或多个标签的附加用户反馈(如图5的504处所示)。
用户可根据需要调整对标签的选择和/或添加,从而找到最能反映该用户反馈中的问题的标签或标签组合,并继而检索到相应的附加用户反馈。
从图5可以看出,从单个用户反馈出发,可以检索出多个(在图5中为大于300个)用户反馈。也就是说,将“单条原声”扩大为“多条原声”,这个过程称为“原声扩大”。在图5的示例中,通过原声扩大,从单条原声出发找到了300多条附加用户声音。
优选地,在标签识别之后和/或在标签圈声之后,可用该一个或多个标签来更新标签库。例如,可使用新出现的标签来更新标签库。新标签可能对应于产品、服务或功能中出现的新问题。
在标签圈声之后,所确定的多个附加用户反馈中的一个或多个用户反馈可能实际上与原始的单个用户反馈(即“单条原声”)关联度不高。或者,其中一个或多个附加用户反馈的行为链路可能不具有代表性。或者,其中一个或多个附加用户反馈可能质量不高(例如未清晰描述问题或存在其它缺陷)。所以,在优选实施例中,可对该多个附加用户反馈执行过滤。具体而言,可接收产品或服务的运营人员的输入,以及基于该输入对该多个附加用户反馈执行过滤。
通过这种方式,能够获得高质量的、与该单个用户反馈关联度高的多个附加用户反馈,从而作为优质种子优化后续“行为扩大”操作。
可以理解,通过上文的操作能够从单个用户反馈找到多个附加用户反馈,从而可以定位发出该多个附加用户反馈的多个用户,该多个用户可构成第一用户集合。
但是,在现实中,在遇到问题时,只有一小部分的用户会做出反馈(这样的用户可称为“发声用户”),而更大量的用户没有做出任何反馈(这样的用户可称为“沉默用户”)。在此情况下,通过寻找相关反馈的方法并不能识别出大量的沉默用户,从而限制了能用于分析的用户数量,不利于更好地定位遇到问题的用户。
为解决这个问题,如图2所示,在本说明书实施例中,除了采用“原声扩大204”找到主观发声的用户之外,还通过客观的用户行为(即后文介绍的“行为扩大206”),来寻找遇到相同问题的大量沉默用户,便于更好地分析问题。
如图3所示,方法300还可包括:在操作304,可确定与该多个附加用户反馈相关联的第一用户行为集合。
可以理解,在确定该多个用户反馈之后,即可确定与该多个附加用户反馈相关联的多个用户行为。例如,该用户行为可以是在用户发出用户反馈前所执行的用户行为,或者可以是通过用户描述得到的用户行为。
方法300还可包括:在操作306,可标识与该第一用户行为集合具有共同行为意图的第二用户行为集合。此操作即图2中的“行为扩大206”。如图2中所示,行为扩大206可包括现象识别214和现象圈人216两个阶段。
在现象识别操作中,可对该第一用户行为集合执行意图挖掘以标识与该第一用户行为集合相关联的行为意图;在现象圈人操作中,可标识具有该行为意图的附加用户行为,以构成该第二用户行为集合。
具体而言,在现象识别阶段,使用意图库来理解和分析用户行为。在本说明书实施例中,意图库是用户意图的数据库。该意图库可以是基于大量用户行为数据获得的。用户意图用于表示用户的核心想法,其是基于用户行为数据,经过行为结构化、意图挖掘等处理操作生成的。通过分析用户的行为,并结合意图库中的意图,可以识别出用户的行为现象。在现象圈人阶段,可以寻找具有相同行为现象的用户行为,甚至可选地可标识做出这些行为现象的更多用户。
行为扩大至少有两方面的作用:第一、能够标识出没有发声的大量用户,扩大可供分析的数据量,尤其是沉默用户的数据量,从而为沉默用户解决问题;第二、与主观的用户反馈不同,能够从客观的用户行为出发来标识用户,避免了与主观用户反馈所造成的问题,例如问题描述不清楚、带有情绪等等。
意图挖掘是行为扩大中一个重要的步骤。它从用户行为中挖掘出用户的目的或意图,以便更好地理解用户行为,从而便于寻找到更多的具有相同意图的沉默用户。
参见图6,其示出根据本说明书实施例的意图挖掘的示例过程600的示意图。如图6所示,在本说明书实施例中,意图挖掘的过程600主要可包括三个步骤:关键链路挖掘602、链路切分604和意图标注606。根据需要,可省略其中的一个或多个步骤,也可包括一个或多个附加步骤。
关键链路挖掘602可以是指从完整的用户行为操作序列中挖掘出与业务强相关的关键链路。优选地,关键链路挖掘602可以通过频繁项计算和相关性计算等方法来执行。在一个具体示例中,可通过以下过程来执行关键链路挖掘:
在执行关键链路挖掘之前或期间,可获得用户行为操作序列。例如,在对该多个附加用户反馈执行意图挖掘时,可获得与该多个附加用户反馈中的每个用户反馈相关联的用户行为操作序列。例如,该用户行为操作序列可以是在用户发出用户反馈前所执行的用户行为操作序列,或者可以是通过用户描述得到的用户行为操作序列。用户行为操作序列中的用户操作例如可包括但不限于用户的点击、浏览、搜索、购买等操作。可从各种可能的数据源(例如用户行为日志等)获得用户行为操作序列。在必要时,可对用户行为操作序列执行预处理,例如清洗、去重、过滤无用信息等。
在获得用户行为操作序列之后,可对其执行频繁项计算,以获得频繁项集。
还可执行相关性计算。例如,可对用户行为操作序列或者对频繁项集执行相关性计算以对其应用关联规则。例如,可基于计算支持度和置信度等指标,找出具有相关性的操作序列,这些操作序列可被作为关键链路。
在优选示例中,可执行关键链路优化操作。例如,可根据具体需求,对关键链路结果进行调整和优化,以提高挖掘结果的质量和可靠性。
可用于关键链路挖掘的算法的示例可包括但不限于:Apriori算法、FP-Growth算法、Eclat算法等。
可采用本领域技术人员可构想的任何其它适用方法来执行关键链路挖掘602。
链路切分604可以指将关键操作链路按照指定规则切分为多个子链路。随后,可统计子链路的信息熵、内聚度等信息,从中选出频繁出现、强相关的子链路作为意图相关链路。
可采用本领域技术人员可构想的任何方式来执行链路切分和意图相关链路选择,例如,可执行基于内聚度的切分:通过计算用户行为序列之间的内聚度,将内聚度高的部分划分为一个子序列。或者,可执行基于关键事件的切分:将某些特定事件看作关键事件,当发生关键事件时进行切分。例如,在视频网站上,可以将用户点击“喜欢”按钮或“收藏”按钮等操作视为关键事件,从而进行切分。这种方法需要确定合适的关键事件,并且可能会出现漏切或误切的情况。类似地,可执行基于数据挖掘的切分:使用频繁项集或关联规则等数据挖掘技术,发现用户行为序列中频繁出现的模式,并将其划分为子链路。
意图标注606可以将隐含在操作链路背后的用户意图显性地标注出来。可采用本领域技术人员可构想的任何适当方式来执行意图标注。例如,可基于规则来执行意图标注,即利用人工编写的规则来识别用户意图。例如,如果输入中包含“账单”、“扣费”等关键词,则可以判断用户意图为账单支付或其它支付行为。替换地,基于机器学习的方法:可利用机器学习算法(包括深度学习)从历史数据中学习如何判断用户意图。例如,可使用监督学习模型,利用具有意图标签的训练集来训练机器学习模型,以使其能够对操作链路执行标注。
通过对关键链路或其子链路执行标注,就能够标注出用户的意图。被标注的意图例如可以来自意图库。
在本说明书实施例中,将用户的意图链路分为意图表达链路和意图完成链路。意图表达链路可表示用户想要做什么,意图完成链路可表示用户具体做的结果。意图表达链路和意图完成链路共同组成了行为现象,从而促成现象圈人。
优选地,在执行意图挖掘之后,可使用挖掘出的一个或多个意图来更新意图库。
参见图7,其示出根据本说明书实施例的意图挖掘步骤中挖掘出的关键链路的示例的示意图。
如图7所示,通过关键链路挖掘,针对该多个附加用户行为集合,可获得多条关键链路,如关键链路702和关键链路704等。
优选地,还可基于人工输入对所标识的行为意图执行过滤。例如,如图7所示,可从全部关键链路(10条)中选择多条高质量关键链路(5条)。在图7中,关键链路704被选择,而关键链路702没有被选择。例如,可由产品或服务的运营人员或售后人员执行选择,例如基于经验或基于实际需要。
通过选择高质量关键链路,能够使得所标识出来的第二用户行为集合更具有代表性,或者因其它原因而更符合实际需要。
实验证明,在用户量很大的产品/服务中,通过本说明书实施例所述的“级联扩大”过程,能够显著提升定位到的用户行为的数量。从单个用户反馈,经过“声音扩大”,能够定位到几十甚至几百个“用户声音”,经过优选再经过“行为扩大”,能够定位到数万个用户行为,从而能够对相关问题进行更加详细的分析。
优选地,方法300还可包括:标识执行该第二用户行为集合的第二用户集合(图3未示出)。
在标识出第二用户行为集合之后,可以容易地标识出执行第二用户行为集合的第二用户集合。例如,仅需要在相关数据库(例如用户行为日志)中查询执行相关用户行为的用户即可。
进一步优选地,方法300还可包括:对该第二用户集合执行用户画像(图3未示出)。
在标识出用户之后,可使用本领域技术人员可构想的任何用户画像技术来对第二用户集合执行用户画像。例如,可通过聚类分析、关联规则挖掘、因子分析、神经网络等算法来执行用户画像,以总结出第二用户集合中的用户的特点。
参见图8,其示出根据本说明书实施例的对第二用户集合执行用户画像的示例结果的示意图。
如图8所示,在802处,示出了第二用户集合中的用户的“Top标问分布”(其指示这些用户所进行的反馈的列表(按出现频率排列)、“年龄分布(其指示这些用户所处的年龄(按人数多少排列)”和“Top城市分布(其指示这些用户所处的城市(按人数多少排列)”。
通过以上处理,能够解析出遇到问题的用户的属性特征。例如,在图8的示例中,以下用户最常遇到问题:“在上海或武汉”、“年龄50岁左右”。
掌握了用户的属性特征,能够更好地定位问题,从而解决问题。
参见图9,其示出根据本说明书实施例的用于处理用户反馈的示例系统900的示意性框图。
如图9所示,系统900可包括以下装置:
用户反馈获取装置902,其可用于获取单个用户反馈。
声音扩大装置904,其可用于标识与该单个用户反馈相关联的多个附加用户反馈,该多个附加用户反馈来自第一用户集合。
用户行为标识装置906,其可用于确定与该多个附加用户反馈相关联的第一用户行为集合。
行为扩大装置908,其可用于标识与该第一用户行为集合具有共同行为意图的第二用户行为集合,该第二用户行为集合大于该第一用户行为集合。
优选地,系统900还可包括用于标识执行该第二用户行为集合的第二用户集合的装置,以及用于对该第二用户集合执行用户画像的装置。
优选地,用于标识与该单个用户反馈相关联的多个附加用户反馈的装置可包括:用于识别一个或多个与该单个用户反馈相关的标签的装置;以及用于标识具有至少一个与该单个用户反馈相关的标签的多个附加用户反馈的装置。
优选地,用于标识该多个附加用户行为的用户行为意图的装置可包括:用于标识出附加用户行为的行为链路的装置;用于挖掘出该行为链路中的关键链路的装置;用于对该关键链路进行切分为多个关键子链路的装置;以及用于基于该多个关键子链路标识与该附加用户行为的用户行为意图的装置。
图10示出用于实现根据本说明书一个或多个实施例的系统(如上文的系统900)或执行根据本说明书一个或多个实施例的方法(如上文的方法300)的装置1000的示意框图。该装置可包括处理器1010以及与该处理器耦合的存储器1015。存储器1015存储有处理器可执行指令,该指令在被处理器1010执行时使处理器1010执行如上所述的任何方法的操作。该存储器可存储例如所获取的数据、所使用的算法以及操作过程中所产生的中间数据等等。
该装置1000可包括网络连接元件1025,例如可包括通过有线连接或无线连接来连接到其它设备的网络连接设备。该无线连接例如可以为WiFi连接、蓝牙连接、3G/4G/5G网络连接等。还可经由网络连接元件接收用户从其它设备所进行的输入或者将数据传送到其它设备以供显示。
该装置还可选地包括其它外围元件1020,例如输入装置(如键盘、鼠标)、输出装置(如显示器)等。还可经由输出装置向用户输出相应的信息。
这些模块中的每一者可彼此直接或间接通信,例如,经由一条或多条总线(例如总线1005)。
而且,本申请还公开了一种包括存储于其上的计算机可执行指令的计算机可读存储介质,该计算机可执行指令在被处理器执行时使得该处理器执行本文所述的各实施例的方法。
此外,本申请还公开了一种装置,该装置包括处理器以及存储有计算机可执行指令的存储器,该计算机可执行指令在被处理器执行时使得该处理器执行本文所述的各实施例的方法。
此外,本申请还公开了一种系统,该系统包括用于实现本文所述的各实施例的方法的装置。
可以理解,根据本说明书的一个或多个实施例的方法可以用软件、固件或其组合来实现。
应该理解,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参考方法实施例的部分说明即可。
应该理解,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
应该理解,本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外,本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件,且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。
在本说明书全文中,“近乎”、“几乎”、“大致”的意思是偏差不大于10%。
还应理解,本文采用的术语和表述方式只是用于描述,本说明书的一个或多个实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征,应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的,权利要求应视为覆盖所有这些等效物。
同样,需要指出的是,虽然已参考当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本说明书的一个或多个实施例,在没有脱离本发明精神的情况下还可做出各种等效的变化或替换,因此,只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (16)
1.一种由计算机执行的用于处理用户反馈的方法,包括:
获取单个用户反馈;
标识与所述单个用户反馈相关联的多个附加用户反馈;
确定与所述多个附加用户反馈相关联的第一用户行为集合;以及
标识与所述第一用户行为集合具有共同行为意图的第二用户行为集合,所述第二用户行为集合大于所述第一用户行为集合。
2.如权利要求1所述的方法,进一步包括:
标识执行所述第二用户行为集合的第二用户集合。
3.如权利要求1所述的方法,进一步包括:
对所述第二用户集合执行用户画像。
4.如权利要求1所述的方法,其中标识与所述单个用户反馈相关联的多个附加用户反馈包括:
识别一个或多个与所述单个用户反馈相关的标签;以及
标识具有至少一个与所述单个用户反馈相关的标签的多个附加用户反馈。
5.如权利要求4所述的方法,进一步包括:
在识别一个或多个与所述单个用户反馈相关的标签之后,用所述一个或多个标签来更新标签库。
6.如权利要求1所述的方法,进一步包括:
基于人工输入对所述多个附加用户反馈执行过滤。
7.如权利要求1所述的方法,其中标识与所述第一用户行为集合具有共同行为意图的第二用户行为集合包括:
对所述第一用户行为集合执行意图挖掘以标识与所述第一用户行为集合相关联的行为意图;以及
标识具有所述行为意图的附加用户行为,以构成所述第二用户行为集合。
8.如权利要求1所述的方法,其中所述意图挖掘包括:
标识与所述第一用户行为集合中的用户行为相关联的用户行为操作序列;
从所述用户行为操作序列中挖掘出关键链路;
将所述关键链路切分为多个子链路;
基于切分出的子链路标识与所述第一用户行为集合相关联的行为意图。
9.如权利要求7所述的方法,其中所述子链路为意图表达链路或意图完成链路。
10.如权利要求7所述的方法,进一步包括:
基于人工输入对所标识的行为意图执行过滤。
11.一种用于处理用户反馈的系统,包括:
用于获取单个用户反馈的装置;
用于标识与所述单个用户反馈相关联的多个附加用户反馈的装置,所述多个附加用户反馈来自第一用户集合;
用于确定与所述多个附加用户反馈相关联的第一用户行为集合的装置;以及
用于标识与所述第一用户行为集合具有共同行为意图的第二用户行为集合的装置,所述第二用户行为集合大于所述第一用户行为集合。
12.如权利要求11所述的系统,进一步包括:
用于标识执行所述第二用户行为集合的第二用户集合的装置;以及
用于对所述第二用户集合执行用户画像的装置。
13.如权利要求12所述的系统,其中用于标识与所述单个用户反馈相关联的多个附加用户反馈的装置包括:
用于识别一个或多个与所述单个用户反馈相关的标签的装置;以及
用于标识具有至少一个与所述单个用户反馈相关的标签的多个附加用户反馈的装置。
14.如权利要求11所述的系统,其中用于标识与所述第一用户行为集合具有共同行为意图的第二用户行为集合的装置包括:
用于对所述第一用户行为集合执行意图挖掘以标识与所述第一用户行为集合相关联的行为意图的装置;以及
用于标识具有所述行为意图的附加用户行为,以构成所述第二用户行为集合的装置。
15.一种处理用户反馈的装置,包括:
处理器;以及
与所述处理器耦合的存储器,所述存储器存储有处理器可执行指令,所述指令在被所述处理器执行时使所述处理器执行如权利要求1-10中任一项所述的方法。
16.一种非瞬态处理器可读存储介质,包括处理器可执行指令,所述指令在被所述处理器执行时使所述处理器执行如权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310452006.1A CN116703416A (zh) | 2023-04-23 | 2023-04-23 | 用于处理用户反馈的方法、系统、装置和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310452006.1A CN116703416A (zh) | 2023-04-23 | 2023-04-23 | 用于处理用户反馈的方法、系统、装置和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116703416A true CN116703416A (zh) | 2023-09-05 |
Family
ID=87838222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310452006.1A Pending CN116703416A (zh) | 2023-04-23 | 2023-04-23 | 用于处理用户反馈的方法、系统、装置和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116703416A (zh) |
-
2023
- 2023-04-23 CN CN202310452006.1A patent/CN116703416A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180052664A1 (en) | Method and system for developing, training, and deploying effective intelligent virtual agent | |
US20190369958A1 (en) | Method and system for providing interface controls based on voice commands | |
JP5796496B2 (ja) | 入力支援システム、方法、およびプログラム | |
US20170337261A1 (en) | Decision Making and Planning/Prediction System for Human Intention Resolution | |
US11082554B2 (en) | Method for conversion and classification of data based on context | |
CN109992650A (zh) | 用于在运行中提供个性化洞察的认知对话代理 | |
US20150286943A1 (en) | Decision Making and Planning/Prediction System for Human Intention Resolution | |
JP2020521210A (ja) | 情報処理方法及び端末、コンピュータ記憶媒体 | |
US20220138770A1 (en) | Method and apparatus for analyzing sales conversation based on voice recognition | |
US10140285B2 (en) | System and method for generating phrase based categories of interactions | |
US20210173859A1 (en) | Method for capturing and updating database entries of crm system based on voice commands | |
CN108228567B (zh) | 用于提取组织机构的简称的方法和装置 | |
US20220156460A1 (en) | Tool for categorizing and extracting data from audio conversations | |
CN108345663A (zh) | 一种新闻推送方法及设备 | |
CN113392920B (zh) | 生成作弊预测模型的方法、装置、设备、介质及程序产品 | |
CN114253990A (zh) | 数据库查询方法、装置、计算机设备和存储介质 | |
KR102308062B1 (ko) | 창업을 위한 정보를 제공하기 위한 전자 장치 및 그 동작 방법 | |
CN112749238A (zh) | 搜索排序方法、装置、电子设备以及计算机可读存储介质 | |
KR20210009266A (ko) | 음성 인식 기반의 세일즈 대화 분석 방법 및 장치 | |
US11314793B2 (en) | Query processing | |
CN116703416A (zh) | 用于处理用户反馈的方法、系统、装置和介质 | |
CN110442716B (zh) | 智能文本数据处理方法和装置、计算设备、存储介质 | |
CN116775813B (zh) | 业务搜索方法、装置、电子设备及可读存储介质 | |
US11966570B2 (en) | Automated processing and dynamic filtering of content for display | |
CN115730046A (zh) | 营销辅助信息的生成方法、装置、介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |