CN112784032A - 会话语料推荐评价方法、装置、存储介质和电子设备 - Google Patents

会话语料推荐评价方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112784032A
CN112784032A CN202110120824.2A CN202110120824A CN112784032A CN 112784032 A CN112784032 A CN 112784032A CN 202110120824 A CN202110120824 A CN 202110120824A CN 112784032 A CN112784032 A CN 112784032A
Authority
CN
China
Prior art keywords
historical
corpus
recommendation
calculating
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110120824.2A
Other languages
English (en)
Inventor
王毅君
徐凯波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110120824.2A priority Critical patent/CN112784032A/zh
Publication of CN112784032A publication Critical patent/CN112784032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种会话语料推荐评价方法、装置、存储介质和电子设备，其中，方法包括：获取历史会话提问内容和用户选择的历史推荐语料清单；计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；基于所述匹配度对所述推荐语料进行评价。通过计算每一次推荐的提问内容与用户选取过的语料的相似度，得到总体推荐系统的评价指标，相较于基于点击率的评价指标能够提高推荐效果评价的精准度。

Description

会话语料推荐评价方法、装置、存储介质和电子设备
技术领域
本申请涉及互联网技术领域，尤其涉及一种会话语料推荐评价方法、装置、存储介质和电子设备。
背景技术
员工在通过企业微信与外部客户沟通的过程中，根据客户的聊天内容，通过侧边栏实时地向员工推荐与客户感兴趣话题相关的企业现有的解决方案、话术、文章等信息，便于员工有选择性的发送给客户，能够极大地提高员工与外部客户的沟通效率，有助于提高客户的签单意愿。
员工在通过企业微信与外部客户沟通的过程中，根据客户的聊天内容，通过侧边栏实时地向员工推荐与客户感兴趣话题相关的企业现有的解决方案、话术、文章等信息，便于员工有选择性的发送给客户，能够极大地提高员工与外部客户的沟通效率，有助于提高客户的签单意愿。
对推荐效果进行量化评估能够有效避免主观评价带来的不确定性。因此一种有效的推荐效果评价方法对于反映推荐效果的变化趋势至关重要。
因此，如何准确有效的对语料推荐效果进行评价成为亟待解决的技术问题。
发明内容
本申请提供了一种会话语料推荐评价方法、装置、存储介质和电子设备，以至少解决相关技术中存在的如何准确有效的对语料推荐效果进行评价的技术问题。
根据本申请实施例的一个方面，提供了一种会话语料推荐评价方法，包括：获取历史会话提问内容和用户选择的历史推荐语料清单；计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；基于所述匹配度对所述推荐语料进行评价。
可选地，所述计算历史会话提问内容和用户选择的历史推荐语料的相似度包括：判断所述用户选择的历史推荐语料是否存在；若存在，则计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度；基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度。
可选地，所述计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度包括：基于所述每一历史推荐语料和所述历史会话提问内容选取重要词集合；计算所述每一历史推荐语料和所述历史会话提问内容相对于所述重要词集合中的词的词频向量；计算所述词频向量之间的相似度。
可选地，所述基于所述每一历史推荐语料和所述历史会话提问内容选取重要词集合包括：计算所述每一历史推荐语料和所述历史会话提问内容中的每个词的重要程度值；选取重要程度值大于预设值的词作为重要词集合。
可选地，所述基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度包括：计算所述用户选择的所有历史推荐语料与所述历史推荐语料对应的历史会话提问内容的相似度的平均值作为所述匹配度。
可选地，会话语料推荐评价方法还包括：对所述历史会话提问内容和所述每一历史推荐语料分别进行分词；去除预设辅助词。
根据本申请实施例的又一个方面，还提供了一种会话语料推荐评价装置，包括：获取模块，用于获取会话提问内容和会话历史记录；第一计算模块，用于计算推荐语料库中的每一语料与所述提问内容的第一相似度；第二计算模块，用于计算所述推荐语料库中的每一语料与所述会话历史记录的第二相似度；第三计算模块，用于基于所述第一相似度和所述第二相似度计算所述每一语料与所述提问内容的匹配度；推荐模块，用于基于所述匹配度推荐所述语料。
根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中，获取历史会话提问内容和用户选择的历史推荐语料清单；计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；基于所述匹配度对所述推荐语料进行评价。通过计算每一次推荐的提问内容与用户选取过的语料的相似度，得到总体推荐系统的评价指标，相较于基于点击率的评价指标能够提高推荐效果评价的精准度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的会话语料推荐评价方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的会话语料推荐评价方法的流程示意图；
图3是根据本申请实施例的一种可选的会话语料推荐评价装置的结构框图；
图4是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种会话语料推荐评价方法。可选地，在本实施例中，上述会话语料推荐评价方法可以应用于如图1所示的硬件环境中。
根据本申请实施例的一个方面，提供了一种会话语料推荐评价方法。可选地，在本实施例中，上述会话语料推荐评价方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端102进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，还可以用于处理云服务，上述网络包括但不限于：广域网、城域网或局域网，终端102并不限定于PC、手机、平板电脑等。本申请实施例的会话语料推荐评价方法可以由服务器104来执行，也可以由终端102来执行，还可以是由服务器104和终端102共同执行。其中，终端102执行本申请实施例的会话语料推荐评价方法也可以是由安装在其上的客户端来执行。
以由终端102和/或服务器104来执行本实施例中的会话语料推荐评价方法为例，图2是根据本申请实施例的一种可选的会话语料推荐评价方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S202，获取历史会话提问内容和用户选择的历史推荐语料清单；
步骤S204，计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
步骤S206，基于所述匹配度对所述推荐语料进行评价。
通过上述步骤S202至步骤S206，获取历史会话提问内容和用户选择的历史推荐语料清单；计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；基于所述匹配度对所述推荐语料进行评价。通过计算每一次推荐的提问内容与用户选取过的语料的相似度，得到总体推荐系统的评价指标，相较于基于点击率的评价指标能够提高推荐效果评价的精准度。
对于步骤S202中的技术方案，历史会话提问内容可以包括当前用户与目标对方的会话提问内容，示例性的，可以对会话内容进行实时解析，例如，对会话内容进行分类、关键词识别等得到历史会话提问内容。在本实施例中，可以获取与目标对方的前3天或前一周或者前N条的历史会话提问内容。在本实施例中，用户选择的历史推荐语料清单可以为每次为用户推荐语料后，用户选择的推荐语料，或者用户点击过的推荐语料组成的历史推荐语料清单。示例性的，在基于会话提问内容和/或会话历史记录得到的多个推荐语料之后，可以记录用户选择过的推荐语料，作为历史推荐语料清单。
对于步骤S204中的技术方案，计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度。在本实施例中，可以计算每一次会话提问内容与对应的用户选择的语料进行相似度计算，并基于该相似度得到每一次会话提问内容与对应的用户选择的语料的匹配度。作为示例性的实施例，匹配度可以采用分值进行表示。示例性，可以综合所有的历史会话提问内容和历史推荐语料清单的匹配度作为历史匹配度。该匹配度可以作为语料推荐效果的评价指标。在本实施例中，可以计算历史推荐语料清单中所有语料与对应的会话提问内容的相似度均值或匹配度的均值作为匹配度的得分。
作为示例性的实施例，在每次进行语料推荐时基于获取的推荐请求，每一推荐请求可以包括多个会话提问内容以及多个推荐语料，因此，在得到多个会话提问内容和多个推荐语料对应的匹配度之后，可以将多个会话提问内容和多个推荐语料对应的匹配度平均值作为一次推荐请求的匹配度，可以综合历史多次推荐请求的匹配度，通过计算多次推荐请求的匹配度的均值对整体的推荐效果进行评价，可以更为精准的得到评价结果。
作为示例性的实施例，在计算历史会话提问内容和用户选择的历史推荐语料的相似度时，可以先判断是否存在历史推荐语料，若不存在，则表示用户没有在推荐结果中选择，推荐结果不准确，若存在，则可以对存在的推荐语料进行匹配度计算，示例性的，判断所述用户选择的历史推荐语料是否存在；若存在，则计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度；基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度。
作为示例性的实施例，对于计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度可以计算其余弦相似度，具体的，可以基于所述每一历史推荐语料和所述历史提问内容选取重要词集合；计算所述每一历史推荐语料和所述历史提问内容相对于所述重要词集合中的词的词频向量；计算所述词频向量之间的相似度。其中，重要词集合的获取方式可以为：计算所述每一历史推荐语料和所述历史提问内容中的每个词的重要程度值；选取重要程度值大于预设值的词作为重要词集合。作为示例性的实例，具体的，计算历史推荐语料和历史提问内容中每个词的tf-idf值；按照tf-idf值从高到低选取物料和提问内容中的重要词语(例如20个、30个或者更多或更少的数量)，将这些词语合并成一个集合，计算历史推荐语料和历史提问内容对于集合中词语的词频，得到历史推荐语料词频向量Vcorpus和历史会话提问内容词频向量Vquery；采用余弦相似度计算词频向量之间的相似度：
Figure BDA0002922253200000071
其中，sim(Vcorpus,Vqurey)为相似度，Vcorpus为历史推荐语料词频向量，Vqurey为历史会话提问内容词频向量。
作为示例性的实施例，在得到历史推荐语料清单中的每一历史推荐语料与对应的历史会话提问内容的相似度之后，可以计算用户选择的所有历史推荐语料与所述历史推荐语料对应的历史会话提问内容的相似度的平均值作为历史会话提问内容和用户选择的历史推荐语料清单的匹配度得分。
示例性的匹配度得分的公式可以采用如下公式：
Figure BDA0002922253200000081
其中，query为历史会话提问内容，corpus_list为用户选择的历史推荐语料清单，n为历史推荐语料清单中的推荐语料数量，sim(Vcorpus,Vqurey)为相似度。
作为示例性的实施例，在得到每一推荐请求的匹配度得分之后，可以基于每一推荐请求的匹配度得分计算整体的推荐效果评价得分，示例性的，可以对多次推荐请求的匹配度得分score(query,corpus_list)计算均值：
Figure BDA0002922253200000082
其中，N为推荐请求的数量，score(query,corpus_list)为每个推荐请求对应匹配度得分。
作为示例性的实例，在得到历史会话提问内容和历史推荐语料之后，可以对历史会话提问内容和历史推荐语料进行分词，并去除“啊”、“的”、“什么”等等没有实际意义的辅助性词语。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述会话语料推荐评价方法的会话语料推荐评价装置。图3是根据本申请实施例的一种可选的会话语料推荐评价装置的示意图，如图3所示，该装置可以包括：
获取模块302，用于获取历史会话提问内容和用户选择的历史推荐语料清单；
计算模块304，用于计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
评价模块306，用于基于所述匹配度对所述推荐语料进行评价。
需要说明的是，该实施例中的获取模块302可以用于执行上述步骤S202，该实施例中的计算模块304可以用于执行上述步骤S204，该实施例中的结果评价模块306可以用于执行上述步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种用于实施上述会话语料推荐评价方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图4是根据本申请实施例的一种可选的电子设备的结构框图，如图4所示，包括处理器402、通信接口404、存储器406和通信总线408，其中，处理器402、通信接口404和存储器406通过通信总线408完成相互间的通信，其中，
存储器406，用于存储计算机程序；
处理器402，用于执行存储器406上所存放的计算机程序时，实现如下步骤：
获取历史会话提问内容和用户选择的历史推荐语料清单；
计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
基于所述匹配度对所述推荐语料进行评价。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，如图4所示，上述存储器406中可以但不限于包括上述会话语料推荐评价装置中的获取模块302、计算模块304以及结果评价模块306。此外，还可以包括但不限于上述会话语料推荐评价装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图4所示的结构仅为示意，实施上述会话语料推荐评价方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图4其并不对上述电子装置的结构造成限定。例如，终端设备还可包括比图4中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图4所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行会话语料推荐评价方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取历史会话提问内容和用户选择的历史推荐语料清单；
计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
基于所述匹配度对所述推荐语料进行评价。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种会话语料推荐评价方法，其特征在于，包括：
获取历史会话提问内容和用户选择的历史推荐语料清单；
计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
基于所述匹配度对所述推荐语料进行评价。
2.如权利要求1所述的会话语料推荐评价方法，其特征在于，所述计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度包括：
判断所述用户选择的历史推荐语料是否存在；
若存在，则计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度；
基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度。
3.如权利要求2所述的会话语料推荐评价方法，其特征在于，所述计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度包括：
基于所述每一历史推荐语料和所述历史会话提问内容选取重要词集合；
计算所述每一历史推荐语料和所述历史会话提问内容相对于所述重要词集合中的词的词频向量；
计算所述词频向量之间的相似度。
4.如权利要求3所述的会话语料推荐评价方法，其特征在于，所述基于所述每一历史推荐语料和所述历史会话提问内容选取重要词集合包括：
计算所述每一历史推荐语料和所述历史会话提问内容中的每个词的重要程度值；
选取重要程度值大于预设值的词作为重要词集合。
5.如权利要求2所述的会话语料推荐评价方法，其特征在于，所述基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度包括：
计算所述用户选择的所有历史推荐语料与所述历史推荐语料对应的历史会话提问内容的相似度的平均值作为所述匹配度。
6.如权利要求1所述的会话语料推荐评价方法，其特征在于，还包括：
对所述历史会话提问内容和所述每一历史推荐语料分别进行分词；
去除预设辅助词。
7.一种会话语料推荐评价装置，其特征在于，包括：
获取模块，用于获取历史会话提问内容和用户选择的历史推荐语料清单；
计算模块，用于计算所述历史会话提问内容和用户选择的历史推荐语料清单的匹配度；
评价模块，用于基于所述匹配度对所述推荐语料进行评价。
8.如权利要求7所述的会话语料推荐评价装置，其特征在于，所述计算模块包括：
判断单元，用于判断所述用户选择的历史推荐语料是否存在；
计算单元，应用于在所述判断单元判断出所述历史推荐语料存在时，计算存在的每一历史推荐语料和所述每一历史推荐语料对应的历史会话提问内容的相似度；
相似度确定单元，用于基于所述相似度确定所述历史会话提问内容和用户选择的历史推荐语料的匹配度。
9.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至6中任一项所述的会话语料推荐评价方法步骤。
10.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的会话语料推荐评价方法步骤。
CN202110120824.2A 2021-01-28 2021-01-28 会话语料推荐评价方法、装置、存储介质和电子设备 Pending CN112784032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120824.2A CN112784032A (zh) 2021-01-28 2021-01-28 会话语料推荐评价方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120824.2A CN112784032A (zh) 2021-01-28 2021-01-28 会话语料推荐评价方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN112784032A true CN112784032A (zh) 2021-05-11

Family

ID=75759518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120824.2A Pending CN112784032A (zh) 2021-01-28 2021-01-28 会话语料推荐评价方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112784032A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141387A (zh) * 2021-11-25 2022-03-04 泰康保险集团股份有限公司 互联网医疗会话中交互信息推荐方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262401A (ja) * 2009-04-30 2010-11-18 Ntt Docomo Inc レコメンド情報生成装置およびレコメンド情報生成方法
CN105117398A (zh) * 2015-06-25 2015-12-02 扬州大学 一种基于众包的软件开发问题自动应答方法
CN105335357A (zh) * 2015-11-18 2016-02-17 成都优译信息技术有限公司 翻译系统中语料推荐方法
CN106202574A (zh) * 2016-08-19 2016-12-07 清华大学 面向微博平台话题推荐的评估方法及装置
CN108255886A (zh) * 2016-12-29 2018-07-06 北京国双科技有限公司 推荐系统的评估方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262401A (ja) * 2009-04-30 2010-11-18 Ntt Docomo Inc レコメンド情報生成装置およびレコメンド情報生成方法
CN105117398A (zh) * 2015-06-25 2015-12-02 扬州大学 一种基于众包的软件开发问题自动应答方法
CN105335357A (zh) * 2015-11-18 2016-02-17 成都优译信息技术有限公司 翻译系统中语料推荐方法
CN106202574A (zh) * 2016-08-19 2016-12-07 清华大学 面向微博平台话题推荐的评估方法及装置
CN108255886A (zh) * 2016-12-29 2018-07-06 北京国双科技有限公司 推荐系统的评估方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141387A (zh) * 2021-11-25 2022-03-04 泰康保险集团股份有限公司 互联网医疗会话中交互信息推荐方法、装置及设备

Similar Documents

Publication Publication Date Title
CN108334533B (zh) 关键词提取方法和装置、存储介质及电子装置
CN106919661B (zh) 一种情感类型识别方法及相关装置
CN110083789B (zh) 一种小程序页面获取方法、服务器、客户端及电子设备
CN109858528B (zh) 推荐系统训练方法、装置、计算机设备及存储介质
CN110597965B (zh) 文章的情感极性分析方法、装置、电子设备及存储介质
CN109117442B (zh) 一种应用推荐方法及装置
CN111275205A (zh) 虚拟样本的生成方法、终端设备及存储介质
CN113505272B (zh) 基于行为习惯的控制方法和装置、电子设备和存储介质
CN112765364A (zh) 群聊会话排序方法、装置、存储介质和电子设备
CN113792212A (zh) 多媒体资源推荐方法、装置、设备以及存储介质
CN112732893A (zh) 文本信息的提取方法和装置、存储介质和电子设备
CN111651666A (zh) 用户主题推荐方法、装置、计算机设备及存储介质
CN112800209A (zh) 会话语料推荐方法、装置、存储介质和电子设备
CN110209780B (zh) 一种问题模板生成方法、装置、服务器及存储介质
CN114860742A (zh) 基于人工智能的ai客服交互方法、装置、设备及介质
CN112784032A (zh) 会话语料推荐评价方法、装置、存储介质和电子设备
CN112749258A (zh) 数据搜索的方法和装置、电子设备和存储介质
CN112100491A (zh) 基于用户数据的信息推荐方法、装置、设备及存储介质
CN111275071A (zh) 预测模型训练、预测方法、装置及电子设备
CN116775815B (zh) 对话数据的处理方法、装置、电子设备及存储介质
CN116089616A (zh) 主题文本获取方法、装置、设备及存储介质
CN116431912A (zh) 用户画像推送方法及装置
CN115756821A (zh) 在线任务处理模型训练、任务处理方法及装置
CN114741606A (zh) 企业推荐方法、装置、计算机可读介质及电子设备
CN113704452A (zh) 基于Bert模型的数据推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination