CN115775067A - 会话综合评价方法和装置、电子设备、存储介质 - Google Patents
会话综合评价方法和装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN115775067A CN115775067A CN202211487630.7A CN202211487630A CN115775067A CN 115775067 A CN115775067 A CN 115775067A CN 202211487630 A CN202211487630 A CN 202211487630A CN 115775067 A CN115775067 A CN 115775067A
- Authority
- CN
- China
- Prior art keywords
- session
- transfer
- determining
- rates
- scores
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 238000012546 transfer Methods 0.000 claims abstract description 159
- 238000013475 authorization Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000002238 attenuated effect Effects 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本公开实施例公开了一种会话综合评价方法和装置、电子设备、存储介质，其中，方法包括：获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；确定每个所述会话数据对应的第一转委托率和第一会话评分；基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分。
Description
技术领域
本公开涉及经纪人评价技术领域，尤其是一种会话综合评价方法和装置、电子设备、存储介质。
背景技术
目前，互联网平台中为了实时方便用户了解相关产品的信息，普遍使用IM+系统(即时通信系统)来完成用户与客服实时会话的功能。其中，用户与客服会话场景分为智能机器人与人工客服，目前人工客服仍是提供客服服务的主要组成部分，主要处理复杂业务场景及问题的解答。因此，提升人工客服的服务质量对帮助提升公司对外形象以及提高产量都息息相关。而现有的智能助手的场景中，也无法实现对经纪人的能力进行评价。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种会话综合评价方法和装置、电子设备、存储介质。
根据本公开实施例的一个方面，提供了一种会话综合评价方法，包括：
获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；
确定每个所述会话数据对应的第一转委托率和第一会话评分；
基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；
基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分。
可选地，所述确定每个所述会话数据对应的第一转委托率和第一会话评分，包括：
对每个所述会话数据进行关键词识别，确定每个所述会话数据对应的第一转委托率；
对每个所述会话数据进行特征识别得到多个特征，基于所述多个特征对应的特征值执行加权求和，确定每个所述会话数据对应的所述第一会话评分。
可选地，所述基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率，包括：
分别对多个所述第一转委托率执行时间衰减，得到多个衰减后的第一转委托率；
分别对多个所述第一会话评分执行时间衰减，得到多个衰减后的第一会话评分；
基于所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分确定每个所述用户对应的所述第二转委托率；
基于所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率确定每个所述经纪人对应的所述第二会话评分。
可选地，所述基于所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分确定每个所述经纪人对应的所述第二转委托率，包括：
确定每个所述用户对应的所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分的第一交叉熵；
基于所述第一交叉熵确定所述用户对应的所述第二转委托率。
可选地，所述基于所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率确定每个所述经纪人对应的所述第二会话评分，包括：
确定每个所述经纪人对应的所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率的第二交叉熵；
基于所述第二交叉熵确定所述经纪人对应的所述第二会话评分。
可选地，所述基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分，包括：
基于每个所述经纪人对应的多个所述第一会话评分和多个所述第二会话评分，确定所述经纪人对应的评分交叉熵；
基于每个所述用户对应的多个所述第一转委托率和多个所述第二委托率，确定所述用户对应的转委托率交叉熵；
基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵，确定每个所述会话数据对应的第三会话评分。
可选地，所述基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵，确定每个所述会话数据对应的第三会话评分，包括：
基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵建立梯度下降公式；
基于所述梯度下降公式，确定当所述梯度下降公式取值最小时对应的一组目标权重组；其中，所述目标权重组中包括多个目标权重值；
基于所述目标权重组对每个所述会话数据对应的多个特征值执行加权求和，确定每个所述会话数据对应的第三会话评分。
根据本公开实施例的另一方面，提供了一种会话综合评价装置，包括：
数据获取模块，用于获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；
第一评分模块，用于确定每个所述会话数据对应的第一转委托率和第一会话评分；
第二评分模块，用于基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；
第三评分模块，用于基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分。
可选地，所述第一评分模块，具体用于对每个所述会话数据进行关键词识别，确定每个所述会话数据对应的第一转委托率；对每个所述会话数据进行特征识别得到多个特征，基于所述多个特征对应的特征值执行加权求和，确定每个所述会话数据对应的所述第一会话评分。
可选地，所述第二评分模块，包括：
第一衰减单元，用于分别对多个所述第一转委托率执行时间衰减，得到多个衰减后的第一转委托率；
第二衰减单元，用于分别对多个所述第一会话评分执行时间衰减，得到多个衰减后的第一会话评分；
转委托率单元，用于基于所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分确定每个所述用户对应的所述第二转委托率；
会话评分单元，用于基于所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率确定每个所述经纪人对应的所述第二会话评分。
可选地，所述转委托率单元，具体用于确定每个所述用户对应的所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分的第一交叉熵；基于所述第一交叉熵确定所述用户对应的所述第二转委托率。
可选地，所述会话评分单元，具体用于确定每个所述经纪人对应的所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率的第二交叉熵；基于所述第二交叉熵确定所述经纪人对应的所述第二会话评分。
可选地，所述第三评分模块，包括：
评分交叉熵单元，用于基于每个所述经纪人对应的多个所述第一会话评分和多个所述第二会话评分，确定所述经纪人对应的评分交叉熵；
转委托率交叉熵单元，用于基于每个所述用户对应的多个所述第一转委托率和多个所述第二委托率，确定所述用户对应的转委托率交叉熵；
第三会话评分单元，用于基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵，确定每个所述会话数据对应的第三会话评分。
可选地，所述第三会话评分单元，具体用于基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵建立梯度下降公式；基于所述梯度下降公式，确定当所述梯度下降公式取值最小时对应的一组目标权重组；其中，所述目标权重组中包括多个目标权重值；基于所述目标权重组对每个所述会话数据对应的多个特征值执行加权求和，确定每个所述会话数据对应的第三会话评分。
根据本公开实施例的又一方面，提供了一种电子设备，包括：
存储器，用于存储计算机程序产品；
处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述任一实施例所述的方法。
根据本公开实施例的还一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现上述任一实施例所述的方法。
根据本公开实施例的再一方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任一实施例所述的方法。
基于本公开上述实施例提供的一种会话综合评价方法和装置、电子设备、存储介质，获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；确定每个所述会话数据对应的第一转委托率和第一会话评分；基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分；本实施例中结合了设定时长内的多个会话数据来对每个会话初始得到的第一会话评分进行调整，得到考虑了用户的意愿和经纪人能力两个方面的第三会话评分。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的会话综合评价方法的流程示意图。
图2是本公开图1所示的实施例中步骤104的一个流程示意图。
图3是本公开图1所示的实施例中步骤106的一个流程示意图。
图4是本公开图1所示的实施例中步骤108的一个流程示意图。
图5是本公开一示例性实施例提供的会话综合评价装置的结构示意图。
图6是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。本公开中所指数据可以包括文本、图像、视频等非结构化数据，也可以是结构化数据。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本公开一示例性实施例提供的会话综合评价方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：
步骤102，获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据。
其中，每个会话数据中包括至少一个句子。
本实施例中，设定时长的具体时长可根据实际场景进行设置，需要获得可以具有一定数量的会话数据，例如，设置设定时长为1周、1个月等；每个会话数据为一个经纪人与一个用户的一次完整沟通的全部对话数据，包括至少两个句子(至少一个用户的句子，以及至少一个经纪人的句子)。
步骤104，确定每个会话数据对应的第一转委托率和第一会话评分。
在一实施例中，可通过用户在会话过程中是否提供联系方式(例如，电话号码、微信号、QQ号等信息)来作为是否转委托的标准，提供了联系方式可认为是实现转委托，而未提供联系方式认为是未转委托；可通过对会话数据进行特定信息(例如，数字信息识别等)识别等方式确定该会话数据是否实现转委托，得到第一转委托率；可选地，可基于预设权重值(例如，每个特征对应的权重值相等、或根据人为确定每个特征对应的权重值等)对会话数据中对应的多个特征对应的值进行加权求和，确定第一会话评分；权重，会话数据对应的特征可通过现有技术中提供的任意方法实现，例如，词袋特征、深度神经网络等方式确定每个会话数据的特征。
步骤106，基于多个第一转委托率和多个第一会话评分，分别确定每个经纪人对应的第二会话评分和每个用户对应的第二转委托率。
为了获得更合理的会话评分，需要结合经纪人能力和用户的意愿，本实施例中，通过结合设定时长内的会话数据的第一转委托率和第一会话评分，获得了体现每个经纪人能力的第二会话评分；通过结合设定时长内的会话数据的第一转委托率和第一会话评分，获得了体现每个用户的意愿的第二转委托率。
步骤108，基于多个第一转委托率、多个第二转委托率、多个第一会话评分和多个第二会话评分，确定每个会话数据对应的第三会话评分。
本公开上述实施例提供的一种会话综合评价方法，获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；确定每个所述会话数据对应的第一转委托率和第一会话评分；基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分；本实施例中结合了设定时长内的多个会话数据来对每个会话初始得到的第一会话评分进行调整，得到考虑了用户的意愿和经纪人能力两个方面的第三会话评分。
如图2所示，在上述图1所示实施例的基础上，步骤104可包括如下步骤：
步骤1041，对每个会话数据进行关键词识别，确定每个会话数据对应的第一转委托率。
本实施例中，可通过关键词识别，确定会话数据中是否包括预设关键词(例如，联系方式、数字等)，例如，预设关键词为“联系方式”或“电话”等，一个可选示例中，当会话数据中包括“请问您的电话是？”，此时识别到关键词“电话”，再通过识别前后多个句子，通过确定其中是否包括电话号码，确定该会话数据对应的第一转委托率，或者，预设关键词为数字，另一可选示例中，当会话数据中包括“123……”等，通过识别数字是否符合联系方式的格式，确定该会话数据对应的第一转委托率。
步骤1042，对每个会话数据进行特征识别得到多个特征，基于多个特征对应的特征值执行加权求和，确定每个会话数据对应的第一会话评分。
本实施例中，为了确定每个会话数据对应的第一会话评分，首先对会话数据进行特征化，可以通过现有技术中任意可以实现特征提取的，例如，词袋特征等，一个可选示例中，通过统计会话数据中每个词出现的次数，并将每个词对应的次数作为该词对应的特征值，为了比较不同长度的会话数据，在得到一个会话数据对应的特征值后通过正则化(或归一化)确定该会话数据中每个特征(词语)对应的特征值，再通过预设的权重值将该会话数据对应的所有特征值加权求和，即可得到该会话数据对应的第一会话评分，其中，预设的权重值可能是每个特征对应相同的权重值，或根据人为设定每个特征值对应的权重值。
如图3所示，在上述图1所示实施例的基础上，步骤106可包括如下步骤：
步骤1061，分别对多个第一转委托率执行时间衰减，得到多个衰减后的第一转委托率。
用户的转委托意愿会随着时间越久越消减，例如，用户首次与一个经纪人进行会话时，转委托的概率较高，时间过去越久，用户与该经纪人之间的联系会减轻，因此，该会话对应的转委托率会随着时间的流逝而衰减，本实施例通过衰减函数，对每个第一转委托率进行校正，通过用户的维度对会话数据的转委托率进行衰减；例如，当一个用户对应10个会话数据，对这10个会话数据按照时间从近到远排序(距离当前时间越近排序越靠前，距离当前时间越远排序越靠后)，对转委托的会话设置转委托率为1，通过时间衰减来得到矫正后的转委托率，例如，通过以下公式(1)进行衰减：
1*exp(-r*rank)公式(1)
其中，r表示衰减系数，衰减系数的取值可通过学习确定，或根据实际场景进行设置；rank表示该会话数据在10个会话数据中的排序。
步骤1062，分别对多个第一会话评分执行时间衰减，得到多个衰减后的第一会话评分。
会话评分与转委托率类似，也会随着时间推移产生衰减，本实施例中，通过用户的维度对会话的得分进行衰减；例如，当一个用户对应10个会话数据，对转委托的会话设置第一会话评分为score，通过时间衰减来得到矫正后的第一会话评分，例如，通过以下公式(2)进行衰减：
score*exp(r*rank)公式(2)
其中，r表示衰减系数，衰减系数的取值可通过学习确定，或根据实际场景进行设置；rank表示该会话数据在10个会话数据中的排序。
步骤1063，基于多个衰减后的第一转委托率和多个衰减后的第一会话评分确定每个用户对应的第二转委托率。
可选地，确定每个用户对应的多个衰减后的第一转委托率和多个衰减后的第一会话评分的第一交叉熵；基于第一交叉熵确定用户对应的第二转委托率。
本实施例中，通过交叉熵计算，实现通过用户维度对用户转委托意愿的变化进行捕获，第一交叉熵的计算可基于现有的交叉熵计算公式；其中，交叉熵用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异；本实施例中，x对应一个用户对应的每个会话数据，p(x)表示会话数据对应的第一转委托率，q(x)表示会话数据对应的第一会话评分，确定在用户维度上的第二转委托率，该第二转委托率可表示拟合的用户意愿。
步骤1064，基于多个衰减后的第一会话评分和多个衰减后的第一转委托率确定每个经纪人对应的第二会话评分。
可选地，确定每个经纪人对应的多个衰减后的第一会话评分和多个衰减后的第一转委托率的第二交叉熵；基于第二交叉熵确定经纪人对应的第二会话评分。
本实施例中，通过交叉熵计算，实现通过经纪人维度对会话评分的变化进行捕获，第二交叉熵的计算可基于现有的交叉熵计算公式；其中，交叉熵用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异；本实施例中，x对应一个用户对应的每个会话数据，p(x)表示会话数据对应的第一会话评分，q(x)表示会话数据对应的第一转委托率，确定在经纪人维度上的第二会话评分，该第二会话评分可表示拟合的经纪人能力。
本实施例通过在用户维度上对用户转委托意愿的变化进行捕获，在经纪人维度上对会话评分的变化进行捕获，实现对经纪人能力和用户意愿的拟合。
如图4所示，在上述图1所示实施例的基础上，步骤108可包括如下步骤：
步骤1081，基于每个经纪人对应的多个第一会话评分和多个第二会话评分，确定经纪人对应的评分交叉熵。
本实施例中的第一会话评分可以为经过时间衰减后的第一会话评分，第二会话评分为经过拟合得到的经纪人维度的评分，由于交叉熵用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异，本实施例中，p(x)表示第一会话评分，q(x)表示第二会话评分。
可选地，在一个可选示例中，评分交叉熵可通过以下公式(3)确定：
其中，i表示第i个经纪人；I表示第i个经纪人对应的评分交叉熵；I(i，j)表示第i个经纪人和第j个用户对应的转委托率；j表示第j个用户，j的取值为1到n；r和β分别表示衰减系数；ranki表示该会话数据在n个会话数据中的排序；score(i，j)表示第i个经纪人和第j个用户对应的会话对应的第一会话评分；可选地，score(i，j)可基于以下公式(4)确定：
score＝w1*k1+w2*k2+w3*k3+… 公式(4)
其中，k1、k2、k3…分别表示会话数据对应的多个特征值；w1、w2、w3...表示每个特征值对应的权重值，为本实施例优化的目标。
步骤1082，基于每个用户对应的多个第一转委托率和多个第二委托率，确定用户对应的转委托率交叉熵。
本实施例中的第一转委托率可以为经过时间衰减后的第一转委托率，第二转委托率为经过拟合得到的用户维度的转委托率，由于交叉熵用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异，本实施例中，p(x)表示第一转委托率，q(x)表示第二转委托率。
可选地，在一个可选示例中，转委托率交叉熵可通过以下公式(5)确定：
其中，j表示第j个用户；II表示第j个用户对应的转委托率交叉熵；II(i，j)表示第j个用户和第i个经纪人对应的转委托率；i表示第i个经纪人，i的取值为1到m；r和β分别表示衰减系数；rankj表示该会话数据在n个会话数据中的排序；score(i，j)表示第i个经纪人和第j个用户对应的会话对应的第一会话评分；可选地，score(i，j)可基于以上公式(4)确定。
步骤1083，基于多个经纪人对应的多个评分交叉熵和多个用户对应的多个转委托率交叉熵，确定每个会话数据对应的第三会话评分。
本实施例中，通过多个经纪人对应的多个评分交叉熵和多个用户对应的多个转委托率交叉熵构建损失，并通过梯度下降的方式对第一会话评分中的每个权重值进行优化，基于优化后的权重值确定的第三会话评分考虑了用户的意愿和经纪人的能力两个维度；使获得的第三会话评分更符合用户的意愿和经纪人的能力。
可选地，步骤1083可以包括：
步骤a1，基于多个经纪人对应的多个评分交叉熵和多个用户对应的多个转委托率交叉熵建立梯度下降公式。
可选地，在确定多个评分交叉熵和多个转委托率交叉熵的前提下，可基于以下公式(6)作为梯度下降公式：
其中，obj表示梯度；I表示评分交叉熵，可基于上述公式(3)确定；II表示转委托率交叉熵，可基于上述公式(5)确定。
步骤a2，基于梯度下降公式，确定当梯度下降公式取值最小时对应的一组目标权重组。
其中，目标权重组中包括多个目标权重值；通过上述公式(6)基于梯度下降法，调整其中的多个权重值使得到的梯度最小时，确定对应的一组目标权重值。
步骤a3，基于目标权重组对每个会话数据对应的多个特征值执行加权求和，确定每个会话数据对应的第三会话评分。
经过梯度下降法确定的一组目标权重值包括多个目标权重值，在确定每个会话数据对应的第三会话评分时，将每个会话数据提取得到的多个特征值分别与对应的目标权重值相乘，得到加权求和的结果即为该会话数据对应的第三会话评分，其中，当某一会话数据中对应某一目标权重值不存在特征值时，将该特征值赋值为0，在加权求和时，该特征值乘以对应的目标权重值的乘积为0；本实施例通过优化后的目标权重值确定每个会话数据对应的第三会话评分，该第三会话评分结合了多个会话数据，体现了用户的意愿和经纪人的能力，而非盲目的评分，实现了对会话评分的评分机制的优化。
本公开实施例提供的任一种会话综合评价方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种会话综合评价方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种会话综合评价方法。下文不再赘述。
示例性装置
图5是本公开一示例性实施例提供的会话综合评价装置的结构示意图。如图5所示，本实施例提供的装置包括：
数据获取模块51，用于获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据。
其中，每个会话数据中包括至少一个句子。
第一评分模块52，用于确定每个会话数据对应的第一转委托率和第一会话评分。
第二评分模块53，用于基于多个第一转委托率和多个第一会话评分，分别确定每个经纪人对应的第二会话评分和每个用户对应的第二转委托率。
第三评分模块54，用于基于多个第一转委托率、多个第二转委托率、多个第一会话评分和多个第二会话评分，确定每个会话数据对应的第三会话评分。
本公开上述实施例提供的一种会话综合评价装置，获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；确定每个所述会话数据对应的第一转委托率和第一会话评分；基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分；本实施例中结合了设定时长内的多个会话数据来对每个会话初始得到的第一会话评分进行调整，得到考虑了用户的意愿和经纪人能力两个方面的第三会话评分。
可选地，第一评分模块52，具体用于对每个会话数据进行关键词识别，确定每个会话数据对应的第一转委托率；对每个会话数据进行特征识别得到多个特征，基于多个特征对应的特征值执行加权求和，确定每个会话数据对应的第一会话评分。
可选地，第二评分模块53，包括：
第一衰减单元，用于分别对多个第一转委托率执行时间衰减，得到多个衰减后的第一转委托率；
第二衰减单元，用于分别对多个第一会话评分执行时间衰减，得到多个衰减后的第一会话评分；
转委托率单元，用于基于多个衰减后的第一转委托率和多个衰减后的第一会话评分确定每个用户对应的第二转委托率；
会话评分单元，用于基于多个衰减后的第一会话评分和多个衰减后的第一转委托率确定每个经纪人对应的第二会话评分。
可选地，转委托率单元，具体用于确定每个用户对应的多个衰减后的第一转委托率和多个衰减后的第一会话评分的第一交叉熵；基于第一交叉熵确定用户对应的第二转委托率。
可选地，会话评分单元，具体用于确定每个经纪人对应的多个衰减后的第一会话评分和多个衰减后的第一转委托率的第二交叉熵；基于第二交叉熵确定经纪人对应的第二会话评分。
可选地，第三评分模块54，包括：
评分交叉熵单元，用于基于每个经纪人对应的多个第一会话评分和多个第二会话评分，确定经纪人对应的评分交叉熵；
转委托率交叉熵单元，用于基于每个用户对应的多个第一转委托率和多个第二委托率，确定用户对应的转委托率交叉熵；
第三会话评分单元，用于基于多个经纪人对应的多个评分交叉熵和多个用户对应的多个转委托率交叉熵，确定每个会话数据对应的第三会话评分。
可选地，第三会话评分单元，具体用于基于多个经纪人对应的多个评分交叉熵和多个用户对应的多个转委托率交叉熵建立梯度下降公式；基于梯度下降公式，确定当梯度下降公式取值最小时对应的一组目标权重组；其中，目标权重组中包括多个目标权重值；基于目标权重组对每个会话数据对应的多个特征值执行加权求和，确定每个会话数据对应的第三会话评分。
示例性电子设备
下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图6图示了根据本公开实施例的电子设备的框图。
如图6所示，电子设备60包括一个或多个处理器61和存储器62。
处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备60中的其他组件以执行期望的功能。
存储器可以存储一个或多个计算机程序产品，所述存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的会话综合评价方法以及/或者其他期望的功能。
在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备100或第二设备200时，该输入装置63可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置63可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
此外，该输入装置63还可以包括例如键盘、鼠标等等。
该输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备60中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的会话综合评价方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的会话综合评价方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种会话综合评价方法，其特征在于，包括：
获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；
确定每个所述会话数据对应的第一转委托率和第一会话评分；
基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；
基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分。
2.根据权利要求1所述的方法，其特征在于，所述确定每个所述会话数据对应的第一转委托率和第一会话评分，包括：
对每个所述会话数据进行关键词识别，确定每个所述会话数据对应的第一转委托率；
对每个所述会话数据进行特征识别得到多个特征，基于所述多个特征对应的特征值执行加权求和，确定每个所述会话数据对应的所述第一会话评分。
3.根据权利要求1或2所述的方法，其特征在于，所述基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率，包括：
分别对多个所述第一转委托率执行时间衰减，得到多个衰减后的第一转委托率；
分别对多个所述第一会话评分执行时间衰减，得到多个衰减后的第一会话评分；
基于所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分确定每个所述用户对应的所述第二转委托率；
基于所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率确定每个所述经纪人对应的所述第二会话评分。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分确定每个所述经纪人对应的所述第二转委托率，包括：
确定每个所述用户对应的所述多个衰减后的第一转委托率和所述多个衰减后的第一会话评分的第一交叉熵；
基于所述第一交叉熵确定所述用户对应的所述第二转委托率。
5.根据权利要求3或4所述的方法，其特征在于，所述基于所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率确定每个所述经纪人对应的所述第二会话评分，包括：
确定每个所述经纪人对应的所述多个衰减后的第一会话评分和所述多个衰减后的第一转委托率的第二交叉熵；
基于所述第二交叉熵确定所述经纪人对应的所述第二会话评分。
6.根据权利要求1-5任一所述的方法，其特征在于，所述基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分，包括：
基于每个所述经纪人对应的多个所述第一会话评分和多个所述第二会话评分，确定所述经纪人对应的评分交叉熵；
基于每个所述用户对应的多个所述第一转委托率和多个所述第二委托率，确定所述用户对应的转委托率交叉熵；
基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵，确定每个所述会话数据对应的第三会话评分。
7.根据权利要求6所述的方法，其特征在于，所述基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵，确定每个所述会话数据对应的第三会话评分，包括：
基于多个所述经纪人对应的多个所述评分交叉熵和多个所述用户对应的多个所述转委托率交叉熵建立梯度下降公式；
基于所述梯度下降公式，确定当所述梯度下降公式取值最小时对应的一组目标权重组；其中，所述目标权重组中包括多个目标权重值；
基于所述目标权重组对每个所述会话数据对应的多个特征值执行加权求和，确定每个所述会话数据对应的第三会话评分。
8.一种会话综合评价装置，其特征在于，包括：
数据获取模块，用于获取设定时长内，多个经纪人与多个用户沟通得到的多个会话数据；其中，每个所述会话数据中包括至少一个句子；
第一评分模块，用于确定每个所述会话数据对应的第一转委托率和第一会话评分；
第二评分模块，用于基于多个所述第一转委托率和多个所述第一会话评分，分别确定每个所述经纪人对应的第二会话评分和每个所述用户对应的第二转委托率；
第三评分模块，用于基于多个所述第一转委托率、多个所述第二转委托率、多个所述第一会话评分和多个所述第二会话评分，确定每个所述会话数据对应的第三会话评分。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序产品；
处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时，实现上述权利要求1-7任一所述的方法。
11.一种计算机程序产品，包括计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现上述权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211487630.7A CN115775067B (zh) | 2022-11-25 | 2022-11-25 | 会话综合评价方法和装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211487630.7A CN115775067B (zh) | 2022-11-25 | 2022-11-25 | 会话综合评价方法和装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115775067A true CN115775067A (zh) | 2023-03-10 |
| CN115775067B CN115775067B (zh) | 2024-04-05 |
Family
ID=85390252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211487630.7A Active CN115775067B (zh) | 2022-11-25 | 2022-11-25 | 会话综合评价方法和装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115775067B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180046340A1 (en) * | 2016-06-27 | 2018-02-15 | Atlassian Pty Ltd | Machine learning method of managing contacts in a messaging interface |
| CN111199158A (zh) * | 2019-12-30 | 2020-05-26 | 沈阳民航东北凯亚有限公司 | 一种民航客服的评分方法及装置 |
| CN111753074A (zh) * | 2020-06-30 | 2020-10-09 | 贝壳技术有限公司 | 用于实现会话的方法、装置、介质和电子设备 |
| CN113570257A (zh) * | 2021-07-30 | 2021-10-29 | 北京房江湖科技有限公司 | 基于评分模型的指标数据评估方法和装置、介质、设备 |
| CN113591466A (zh) * | 2021-08-06 | 2021-11-02 | 北京房江湖科技有限公司 | 会话数据质量评估方法和计算机程序产品 |
| CN114792117A (zh) * | 2022-06-01 | 2022-07-26 | 携程旅游网络技术（上海）有限公司 | 会话分类模型的训练方法及装置、会话分类方法及装置 |
-
2022
- 2022-11-25 CN CN202211487630.7A patent/CN115775067B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180046340A1 (en) * | 2016-06-27 | 2018-02-15 | Atlassian Pty Ltd | Machine learning method of managing contacts in a messaging interface |
| CN111199158A (zh) * | 2019-12-30 | 2020-05-26 | 沈阳民航东北凯亚有限公司 | 一种民航客服的评分方法及装置 |
| CN111753074A (zh) * | 2020-06-30 | 2020-10-09 | 贝壳技术有限公司 | 用于实现会话的方法、装置、介质和电子设备 |
| CN113570257A (zh) * | 2021-07-30 | 2021-10-29 | 北京房江湖科技有限公司 | 基于评分模型的指标数据评估方法和装置、介质、设备 |
| CN113591466A (zh) * | 2021-08-06 | 2021-11-02 | 北京房江湖科技有限公司 | 会话数据质量评估方法和计算机程序产品 |
| CN114792117A (zh) * | 2022-06-01 | 2022-07-26 | 携程旅游网络技术（上海）有限公司 | 会话分类模型的训练方法及装置、会话分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115775067B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106873799B (zh) | 输入方法和装置 | |
| CN111932144B (zh) | 一种客服坐席分配方法、装置、服务器及存储介质 | |
| CN112733042B (zh) | 推荐信息的生成方法、相关装置及计算机程序产品 | |
| JP5346327B2 (ja) | 対話学習装置、要約装置、対話学習方法、要約方法、プログラム | |
| CN112036955B (zh) | 用户识别方法和装置、计算机可读存储介质、电子设备 | |
| CN109726291B (zh) | 分类模型的损失函数优化方法、装置及样本分类方法 | |
| CN110929505B (zh) | 房源标题的生成方法和装置、存储介质、电子设备 | |
| CN112036954A (zh) | 物品推荐方法和装置、计算机可读存储介质、电子设备 | |
| WO2019001463A1 (zh) | 数据处理方法及装置 | |
| CN113570260A (zh) | 任务分配方法和计算机可读存储介质、电子设备 | |
| CN111368551A (zh) | 一种确定事件主体的方法和装置 | |
| CN112035749A (zh) | 用户行为特征分析方法、推荐方法及相应装置 | |
| CN109343817A (zh) | 自助服务的使用方法及装置和电子设备 | |
| CN114974253A (zh) | 一种基于人物画像的自然语言解释方法、装置及存储介质 | |
| CN113449840A (zh) | 神经网络训练方法及装置、图像分类的方法及装置 | |
| CN113887612A (zh) | 语音识别纠错方法及相关设备 | |
| CN113919361A (zh) | 一种文本分类方法和装置 | |
| CN112000872A (zh) | 基于用户向量的推荐方法、模型的训练方法及装置 | |
| CN115775067A (zh) | 会话综合评价方法和装置、电子设备、存储介质 | |
| CN113704566B (zh) | 识别号主体识别方法、存储介质和电子设备 | |
| CN112800230B (zh) | 文本处理方法、装置、计算机可读存储介质及电子设备 | |
| CN113536252B (zh) | 账号识别方法和计算机可读存储介质 | |
| CN114049502B (zh) | 神经网络的训练、特征提取、数据处理方法和设备 | |
| WO2021200502A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN115033785A (zh) | 一种岗位推荐方法、装置、可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |