CN113312463B - 语音问答的智能测评方法、装置、计算机设备及存储介质 - Google Patents

语音问答的智能测评方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113312463B
CN113312463B CN202110581989.XA CN202110581989A CN113312463B CN 113312463 B CN113312463 B CN 113312463B CN 202110581989 A CN202110581989 A CN 202110581989A CN 113312463 B CN113312463 B CN 113312463B
Authority
CN
China
Prior art keywords
text
answer
word
standard
answers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110581989.XA
Other languages
English (en)
Other versions
CN113312463A (zh
Inventor
任俊松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110581989.XA priority Critical patent/CN113312463B/zh
Publication of CN113312463A publication Critical patent/CN113312463A/zh
Application granted granted Critical
Publication of CN113312463B publication Critical patent/CN113312463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种语音问答的智能测评方法，应用于智能测评技术领域，用于解决智能培训和测评机器人对用户的回答进行评分时评分不准确的技术问题。本发明提供的方法包括：将用户根据输出的语音答案转换为文本答案；对转换得到的该文本答案进行分词，得到至少一个文本词语；根据各文本词语的词频计算对应文本答案的概率得分；获取与输出的该问题相对应的标准文本答案；对该标准文本答案进行分词，得到与该标准文本答案相对应的至少一个标准文本词语；根据该先验词频分布获取每个该标准文本词语的词频，根据各该标准文本词语的词频计算该标准文本答案的概率得分；根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分。

Description

语音问答的智能测评方法、装置、计算机设备及存储介质
技术领域
本发明涉及智能测评技术领域，尤其涉及一种语音问答的智能测评方法、装置、计算机设备及存储介质。
背景技术
在语音问答、智能培训和测评机器人的应用场景中，机器人会针对需要练习或者测评的内容对用户进行提问，模拟真实的销售或者业务场景，用户会根据机器人所问的问题进行回答，如何对用户的回答做出有效且准确的评价，辅助提高用户的销售或者业务能力，是智能培训和测评机器人需要重点关注的。
目前对用户的回答进行评分的方法中只是通过关键字匹配、模板匹配等方法，这种方法对关键词的覆盖范围较窄。也有通过深度语义模型对用户的回答进行评分的方法，但是模型效果不可控并且可解释性比较差，并且在语音问答机器人中，与标准的书写文本不同，需要将用户的语音转换成文本，而用户的回答往往带有很强的口语化特征，例如“嗯”、“额”、“啊”等词，在将用户的回答转换为文字文本时，不可避免地会出现错别字、同音字等情况，通过目前的技术手段很难对用户的回答做出客观、准确的评分。
发明内容
本发明实施例提供一种语音问答的智能测评方法、装置、计算机设备及存储介质，以解决智能培训和测评机器人对用户的回答进行评分时评分不准确的技术问题。
一种语音问答的智能测评方法，该方法包括：
接收到用户根据输出的问题输入的语音答案时，将该语音答案转换为文本答案；
对转换得到的该文本答案进行分词，得到与该文本答案相对应的至少一个文本词语；
根据预先统计的先验词频分布获取每个该文本词语的词频，根据各该文本词语的词频计算对应文本答案的概率得分；
获取与输出的该问题相对应的标准文本答案；
对该标准文本答案进行分词，得到与该标准文本答案相对应的至少一个标准文本词语；
根据该先验词频分布获取每个该标准文本词语的词频，根据各该标准文本词语的词频计算该标准文本答案的概率得分；
根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分。
一种语音问答的智能测评装置，该装置包括：
文本转换模块，用于接收到用户根据输出的问题输入的语音答案时，将该语音答案转换为文本答案；
第一分词模块，用于对转换得到的该文本答案进行分词，得到与该文本答案相对应的至少一个文本词语；
第一计算模块，用于根据预先统计的先验词频分布获取每个该文本词语的词频，根据各该文本词语的词频计算对应文本答案的概率得分；
答案获取模块，用于获取与输出的该问题相对应的标准文本答案；
第二分词模块，用于对该标准文本答案进行分词，得到与该标准文本答案相对应的至少一个标准文本词语；
第二计算模块，用于根据该先验词频分布获取每个该标准文本词语的词频，根据各该标准文本词语的词频计算该标准文本答案的概率得分；
第三计算模块，用于根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述语音问答的智能测评方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述语音问答的智能测评方法的步骤。
本发明提出的语音问答的智能测评方法、装置、计算机设备及存储介质，通过将用户根据输出的问题输入的语音答案转换为文本答案，并对转换得到的该文本答案进行分词，得到与该文本答案相对应的文本词语，然后根据预先统计的先验词频分布获取每个该文本词语的词频，根据各文本词语的词频计算对应文本答案的概率得分，对该问题相对应的标准文本答案进行分词，得到与该标准文本答案相对应的标准文本词语，然后根据该先验词频分布获取每个标准文本词语的词频，根据各标准文本词语的词频计算该标准文本答案的概率得分，最后根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分，在计算用户语音答案的最终得分时，不仅仅是对用户输入的文本答案计算其概率得分，同时根据各标准文本词语的词频计算该标准文本答案的概率得分，使得在对用户输入的语音答案进行考评时，更为关注语音答案中包括的语义，而不仅仅是语音答案中具体的词语排列，使得同一标准答案通过不同方式的语音表述时也能够客观准确地进行测评，提高智能培训和测评机器人对用户的回答进行评分的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中语音问答的智能测评方法的一应用环境示意图；
图2是本发明一实施例中语音问答的智能测评方法的一流程图；
图3是本发明一实施例图2中步骤S101的具体实现流程图；
图4是本发明一实施例中实体链图谱的一示例图；
图5是本发明一实施例中语音问答的智能测评装置的结构示意图；
图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的语音问答的智能测评方法，可应用在如图1的应用环境中，其中，该计算机设备可以通过网络与外部设备进行通信，该外部设备例如外部服务器。其中，该计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种语音问答的智能测评方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤：
S101、接收到用户根据输出的问题输入的语音答案时，将所述语音答案转换为文本答案。
在其中一个实施例中，输出所述问题的方式包括但不限于文字输出、音频输出等，可以通过ASR(Automatic Speech Recognition，自动语音识别技术)将所述语音答案转换为文本答案。
图3是本发明一实施例中该步骤S101的具体实现流程图，在其中一个实施例中，为了对语料知识库进行扩充，提高通过该语音问答的智能测评方法进行评分的客观性和准确性，所述将所述语音答案转换为文本答案的步骤包括以下步骤S301至S303：
S301、获取所述文本答案中包括的实体；
S302、获取预先构建的实体链图谱中与获取的所述实体相关联的至少一个上位(spuerClass)第一实体节点；
S303、通过获取的所述第一实体节点分别对所述文本答案中的实体进行替换，得到与每个所述第一实体节点相对应的待评测文本答案。
可以理解的是，替换后得到的每个待评测文本答案都需要通过后续步骤计算该待评测文本答案的概率得分。
图4是本发明一实施例中实体链图谱的一示例图，下面结合该实体链图谱描述根据本实施例的使用场景，根据本实施提出的实体链图谱如图4所示，其中，实线节点表示属于关系(superClass)，虚线节点表示实体节点的属性。当将用户输入的语音答案转换为文本答案为“一般来说哈弗H6的发动机有124KW”时，该文本答案中包括的实体为“哈弗H6”，根据查询的实体链图谱可知，获取的所述实体相关联的至少一个上位(spuerClass)第一实体节点包括“SUV”和“汽车”，然后将语料中的“哈佛H6”分别替换为“SUV”和“汽车”，得到的待评测文本答案分别为“一般来说SUV的发动机有124KW”和“一般来说汽车的发动机有124KW”，作为原有语料的补充。
S102、对转换得到的所述文本答案进行分词，得到与所述文本答案相对应的至少一个文本词语。
在其中一个实施例中，所述对转换的所述文本答案进行分词的步骤包括：
对每个所述待评测文本答案分别进行分词，得到与各所述待评测文本答案相对应的文本词语。
其中，可以通过自定义的字典库对转换得到的所述文本答案进行分词，也可以通过开源的词典对转换得到的所述文本答案进行分词。该自定义的字典库主要针对业务相关性较强的词语，开源的词典主要针对通用的话术词语。
进一步地，可以先通过业务关联性较强的自定义的字典库对转换得到的所述文本答案进行分词，将业务术语中的词语拆分出来，再通过开源的词典对剩余部分的文本答案进行分词。其中，该自定义的字典库中包括的与业务相关的词语例如“重疾”、“医疗”、“保险”等等。
S103、根据预先统计的先验词频分布获取每个所述文本词语的词频，根据各所述文本词语的词频计算对应文本答案的概率得分。
下面结合其中一个应用场景详细描述如何先统计的先验词频分布，仅详细介绍基于二元语言模型(Bigram，即n＝2)，相同的，当基于三元语言模型(n＝3)或者更高元语言模型时，方法相同。例如统计得到的各个文本词语在上下文中出现的次数如下表(1)所示：
我 想 问 买 重疾 保险 医疗 费用
我 5 827 0 9 0 0 0 0
想 2 0 608 1 6 6 6 5
问 2 0 4 686 2 2 0 6
买 0 0 2 0 16 16 2 42
重疾 1 0 0 0 0 0 82 1
保险 15 0 15 0 0 0 4 0
医疗 2 0 0 0 0 0 1 0
费用 1 0 1 0 0 0 0 0
表(1)
如果得到的与所述文本答案相对应的文本词语为“我”、“想”、“问”、“买”、“医疗”、“保险”，其中，“我”后面出现“想”的先验词频为875/(5+827+9+2)，“想”后面出现“问”的先验词频为608/(2+608+1+6+6+5+1)，“我”出现在句首的先验词频为所有标准答案中句首为“我”字的标准答案的概率。
在其中一个实施例中，所述根据各所述文本词语的词频计算对应文本答案的概率得分的步骤包括：
通过以下公式(1)计算对应文本答案的概率得分：
其中，Q1＝(ω1，ω2…，ωm)，Q1表示得到的与所述文本答案相对应的各所述文本词语，m表示文本答案中包括的文本词语的总个数，p(ωi)表示第i个有效文本词语的先验词频，p(ωi+1|ωi)表示词“ωi”后面出现词“ωi+1”的概率。θ(ω1)为ω1出现在答案句首的概率。
在其中一个实施例中，在所述根据各所述文本词语的词频计算对应文本答案的概率得分的步骤之前，所述方法还包括：
从得到与所述文本答案相对应的文本词语中去除无效的文本词语。
进一步地，所述去除无效的文本词语的步骤包括：
通过以下公式计算与当前文本词语后续相邻的预设个词语的概率；
当计算出的各所述后续相邻的词语的概率低于预设值时，将对应的词语标记为无效的文本词语；
将所述无效的文本词语向后相邻的文本词语作为所述当前文本词语的下一个有效文本词语的。
可以理解的是，令p`(ωi+1|ωi)＝max(p(ωi+1|ωi)…p(ωi+k|ωi))，p`(ωi+1|ωi)表示词ωi的下一个有效文本词语ωi+1的先验词频，取ωi后面k个词中概率最大的第j个词作为条件概率，即p(ωnext|ωi)＝p(ωi+j|ωi)，并令下一个词为n+j而不是n+1，直至后面的n个词。最终将各个有效文本词语的先验词频相乘得到p(Q1)。
其中，该预设个词语例如预设的K个词语，K为预设的窗口长度，K值可以取2。根据本实施例的一个应用场景例如“我额想说就是”，其中，P(额|我)＝0.002，P(想|我)＝0.03，P(额|我)＝0.002的概率小于预设值，可以得到p-best＝P(想|我)＝0.03，即可将语句中的“额”去掉。
本实施例通过将用户输入的文本答案中的无效词去掉，使得用户即使用带有口语化的表述方式回答问题，只要回答的问题正确，也能进行比较准确的评分，进一步提高智能培训和测评机器人对用户的回答进行评分的准确性。
在其中一个实施例中，统计所述先验词频分布的步骤包括：
获取源标准答案数据库中包括的所有标准答案；
统计所有所述标准答案中任意两个分词相邻的词频。
在其中一个实施例中，所述源标准答案数据库包括原始标准答案、对所述原始标准答案进行实体替换后得到的第二标准答案以及对所述原始标准答案进行回译得到的第三标准答案。
进一步地，对所述标准答案进行实体替换，得到所述第二标准答案的步骤包括：
获取所述标准答案中包括的实体；
获取预先构建的实体链图谱中与获取的所述标准答案中包括的实体相关联的至少一个第二实体节点；
通过获取的所述第二实体节点分别对所述文本答案中的实体进行替换，得到与每个所述第二实体节点相对应的第二标准答案。
进一步地，所述原始标准答案为文本类型的原始标准答案，对所述原始标准答案进行回译，得到的第三标准答案的步骤包括：
将所述文本类型的原始标准答案转换为语音类型的标准答案；
将所述语音类型的标准答案转换为文本类型的所述第三标准答案。
在其中一个实施例中，可以通过人工结合TTS(Text To Speech)从文本到语音技术将所述文本类型的原始标准答案转换为语音类型的标准答案。本实施例通过对所述原始标准答案进行回译，可以克服口语化、对话环境噪音等情况，能够增强语音信息的丰富性，通过人工结合TTS技术可以避免耗费大量人工。在将所述语音类型的标准答案转换为文本类型的所述第三标准答案时，可以通过ASR自动语音识别技术实现转换。
在其中一个实施例中，所述根据预先统计的先验词频分布获取每个所述文本词语的词频，根据各所述文本词语的词频计算对应文本答案的概率得分的步骤包括：
根据各所述待评测文本答案中包括的文本词语的词频计算对应待评测文本答案的概率得分；
将概率得分最高的所述待评测文本答案作为所述文本答案的概率得分。
S104、获取与输出的所述问题相对应的标准文本答案。
可以理解的是，在智能培训和测评机器人对用户的回答进行评分的过程中，当智能培训和测评机器人向用户输出待回答的问题时，该智能机器人是存储有该问题的标准答案的，该标准答案可以是标准文本答案，也可以是标准语音答案。当该标准答案是标准语音答案时，可以通过ASR将所述标准语音答案转换为标准文本答案。
S105、对所述标准文本答案进行分词，得到与所述标准文本答案相对应的至少一个标准文本词语。
可以理解的是，对该标准文本答案进行分词的方法与上述对转换得到的所述文本答案进行分词的方法相同，都可以通过自定义的字典库或者开源的词典进行分词。
S106、根据所述先验词频分布获取每个所述标准文本词语的词频，根据各所述标准文本词语的词频计算所述标准文本答案的概率得分。
在其中一个实施例中，所述根据各所述标准文本词语的词频计算所述标准文本答案的概率得分的步骤包括：
通过上述公式(2)计算所述标准文本答案的概率得分
其中，Q2＝(z1，z2…，zn)，Q2表示与所述标准文本答案相对应的各所述标准文本词语，n表示标准文本答案中包括的标准文本词语的总个数，p(zi)表示第i个标准文本词的先验词频，p(zi+1|zi)表示词“zi”后面出现词“zi+1”的概率。θ(z1)表示z1出现在答案句首的概率。
S107、根据所述文本答案的概率得分和所述标准文本答案的概率得分计算所述文本答案的最终得分。
在其中一个实施例中，通过以下公式计算所述文本答案的最终得分：
其中，n表示标准文本答案中包括的标准文本词语的总个数，m表示文本答案中包括的文本词语的总个数，pplstd表示所述标准文本答案的概率得分，ppluser表示对应文本答案的概率得分。
进一步地，所述根据所述文本答案的概率得分和所述标准文本答案的概率得分计算所述文本答案的最终得分的步骤包括：
将所述标准文本答案的概率得分与所述文本答案的概率得分的比值作为所述文本答案的最终得分。
可以理解的是，所述文本答案的最终得分越高表示所述文本答案与所述标准文本答案越接近，用户回答的问题越准确。
本实施例提出的语音问答的智能测评方法通过语音智能分析对用户的相关业务能力进行测试和打分，可以智能考核用户的话术业务能力。
本实施例提出的语音问答的智能测评方法通过将用户根据输出的问题输入的语音答案转换为文本答案，并对转换得到的该文本答案进行分词，得到与该文本答案相对应的文本词语，然后根据预先统计的先验词频分布获取每个该文本词语的词频，根据各文本词语的词频计算对应文本答案的概率得分，对该问题相对应的标准文本答案进行分词，得到与该标准文本答案相对应的标准文本词语，然后根据该先验词频分布获取每个标准文本词语的词频，根据各标准文本词语的词频计算该标准文本答案的概率得分，最后根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分，在计算用户语音答案的最终得分时，不仅仅是对用户输入的文本答案计算其概率得分，同时根据各标准文本词语的词频计算该标准文本答案的概率得分，使得在对用户输入的语音答案进行考评时，更为关注语音答案中包括的语义，而不仅仅是语音答案中具体的词语排列，使得同一标准答案通过不同方式的语音表述时也能够客观准确地进行测评，提高智能培训和测评机器人对用户的回答进行评分的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种语音问答的智能测评装置，该语音问答的智能测评装置与上述实施例中语音问答的智能测评方法一一对应。如图5所示，该语音问答的智能测评装置100包括文本转换模块11、第一分词模块12、第一计算模块13、答案获取模块14、第二分词模块15、第二计算模块16和第三计算模块17。各功能模块详细说明如下：
文本转换模块11，用于接收到用户根据输出的问题输入的语音答案时，将该语音答案转换为文本答案。
在其中一个实施例中，输出所述问题的方式包括但不限于文字输出、音频输出等，可以通过ASR(Automatic Speech Recognition，自动语音识别技术)将所述语音答案转换为文本答案。
第一分词模块12，用于对转换得到的该文本答案进行分词，得到与该文本答案相对应的至少一个文本词语。
第一计算模块13，用于根据预先统计的先验词频分布获取每个该文本词语的词频，根据各该文本词语的词频计算对应文本答案的概率得分。
答案获取模块14，用于获取与输出的该问题相对应的标准文本答案。
可以理解的是，在智能培训和测评机器人对用户的回答进行评分的过程中，当智能培训和测评机器人向用户输出待回答的问题时，该智能机器人是存储有该问题的标准答案的，该标准答案可以是标准文本答案，也可以是标准语音答案。当该标准答案是标准语音答案时，可以通过ASR将所述标准语音答案转换为标准文本答案。
第二分词模块15，用于对该标准文本答案进行分词，得到与该标准文本答案相对应的至少一个标准文本词语。
可以理解的是，对该标准文本答案进行分词的方法与上述对转换得到的所述文本答案进行分词的方法相同，都可以通过自定义的字典库或者开源的词典进行分词。
第二计算模块16，用于根据该先验词频分布获取每个该标准文本词语的词频，根据各该标准文本词语的词频计算该标准文本答案的概率得分。
第三计算模块17，用于根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分。
在其中一个实施例中，为了对语料知识库进行扩充，提高通过该语音问答的智能测评方法进行评分的客观性和准确性，所述文本转换模块11进一步包括：
第一实体获取单元，用于获取该文本答案中包括的实体；
第一实体节点关联单元，用于获取预先构建的实体链图谱中与获取的该实体相关联的至少一个第一实体节点；
第一替换单元，用于通过获取的该第一实体节点分别对该文本答案中的实体进行替换，得到与每个该第一实体节点相对应的待评测文本答案。
在其中一个实施例中，该第一分词模块12具体用于对替换得到的每个该待评测文本答案分别进行分词，得到与各该待评测文本答案相对应的文本词语。
其中，可以通过自定义的字典库对转换得到的所述文本答案进行分词，也可以通过开源的词典对转换得到的所述文本答案进行分词。该自定义的字典库主要针对业务相关性较强的词语，开源的词典主要针对通用的话术词语。
进一步地，可以先通过业务关联性较强的自定义的字典库对转换得到的所述文本答案进行分词，将业务术语中的词语拆分出来，再通过开源的词典对剩余部分的文本答案进行分词。其中，该自定义的字典库中包括的与业务相关的词语例如“重疾”、“医疗”、“保险”等等。
在其中一个实施例中，该语音问答的智能测评装置100还包括：
去除模块，用于从得到与所述文本答案相对应的文本词语中去除无效的文本词语。
进一步地，该去除模块具体用于：
通过以下公式计算与当前文本词语后续相邻的预设个词语的概率：
p`(ωi+1|ωi)＝max(p(ωi+1|ωi)…p(ωi+k|ωi))
当计算出的各所述后续相邻的词语的概率低于预设值时，将对应的词语标记为无效的文本词语；
将所述无效的文本词语向后相邻的文本词语作为所述当前文本词语的下一个有效文本词语的。
其中，p`(ωi+1|ωi)表示词ωi的下一个有效文本词语ωi+1的先验词频，取ωi后面k个词中概率最大的第j个词作为条件概率，即p(ωnext|ωi)＝p(ωi+j|ωi)，并令下一个词为n+j而不是n+1，直至后面的n个词。最终将各个有效文本词语的先验词频相乘得到p(Q1)。
其中，该预设个词语例如预设的K个词语，K为预设的窗口长度，K值可以取2。根据本实施例的一个应用场景例如“我额想说就是”，其中，P(额|我)＝0.002，P(想|我)＝0.03，P(额|我)＝0.002的概率小于预设值，可以得到p-best＝P(想|我)＝0.03，即可将语句中的“额”去掉。
本实施例通过将用户输入的文本答案中的无效词去掉，使得用户即使用带有口语化的表述方式回答问题，只要回答的问题正确，也能进行比较准确的评分，进一步提高智能培训和测评机器人对用户的回答进行评分的准确性。
在其中一个实施例中，该第一计算模块13具体包括：
第一计算单元，用于根据各该待评测文本答案中包括的文本词语的词频计算对应待评测文本答案的概率得分；
第一确定单元，用于将概率得分最高的该待评测文本答案作为该文本答案的概率得分。
在其中一个实施例中，该第一计算模块13具体用于通过以下公式计算对应文本答案的概率得分：
其中，Q1＝(ω1，ω2…，ωm)，Q1表示得到的与所述文本答案相对应的各所述文本词语，m表示文本答案中包括的文本词语的总个数，p(ωi)表示第i个有效文本词语的先验词频，p(ωi+1|ωi)表示词“ωi”后面出现词“ωi+1”的概率。θ(ω1)为ω1出现在答案句首的概率。
在其中一个实施例中，该第三计算模块17具体用于通过以下公式计算该文本答案的最终得分：
其中，Score表示所述文本答案的最终得分，pplstd表示所述标准文本答案的概率得分，ppluser表示对应文本答案的概率得分，m表示文本答案中包括的文本词语的总个数，n表示标准文本答案中包括的标准文本词语的总个数，Q2＝(z1，z2…，zn)，Q2表示与所述标准文本答案相对应的各所述标准文本词语，p(zi)表示第i个标准文本词的先验词频，p(zi+1|zi)表示词“zi”后面出现词“zi+1”的概率，θ(z1)表示z1出现在答案句首的概率。
在其中一个实施例中，该源标准答案数据库包括原始标准答案、对该原始标准答案进行实体替换后得到的第二标准答案以及对该原始标准答案进行回译得到的第三标准答案，该语音问答的智能测评装置100还包括：
语音转换模块，用于将该文本类型的原始标准答案转换为语音类型的标准答案；
第三文本转换模块，用于将该语音类型的标准答案转换为文本类型的该第三标准答案。
进一步地，该语音问答的智能测评装置100还包括：
第二实体获取单元，用于获取所述标准答案中包括的实体；
第二实体节点关联单元，用于获取预先构建的实体链图谱中与获取的所述标准答案中包括的实体相关联的至少一个第二实体节点；
第二替换单元，用于通过获取的所述第二实体节点分别对所述文本答案中的实体进行替换，得到与每个所述第二实体节点相对应的第二标准答案。
在其中一个实施例中，可以通过人工结合TTS从文本到语音技术将所述文本类型的原始标准答案转换为语音类型的标准答案。本实施例通过对所述原始标准答案进行回译，可以克服口语化、对话环境噪音等情况，能够增强语音信息的丰富性，通过人工结合TTS技术可以避免耗费大量人工。在将所述语音类型的标准答案转换为文本类型的所述第三标准答案时，可以通过ASR自动语音识别技术实现转换。
进一步地，所述第三计算模块17具体用于将所述标准文本答案的概率得分与所述文本答案的概率得分的比值作为所述文本答案的最终得分。
可以理解的是，所述文本答案的最终得分越高表示所述文本答案与所述标准文本答案越接近，用户回答的问题越准确。本实施例提出的语音问答的智能测评方法通过语音智能分析对用户的相关业务能力进行测试和打分，可以智能考核用户的话术业务能力。
本实施例提出的语音问答的智能测评装置，根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分，在计算用户语音答案的最终得分时，不仅仅是对用户输入的文本答案计算其概率得分，同时根据各标准文本词语的词频计算该标准文本答案的概率得分，使得在对用户输入的语音答案进行考评时，更为关注语音答案中包括的语义，而不仅仅是语音答案中具体的词语排列，使得同一标准答案通过不同方式的语音表述时也能够客观准确地进行测评，提高智能培训和测评机器人对用户的回答进行评分的准确性。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于语音问答的智能测评装置的具体限定可以参见上文中对于语音问答的智能测评方法的限定，在此不再赘述。上述语音问答的智能测评装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该输入装置包括鼠标、键盘、麦克风等，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种语音问答的智能测评方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中语音问答的智能测评方法的步骤，例如图2所示的步骤101至步骤107及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中语音问答的智能测评装置的各模块/单元的功能，例如图5所示模块11至模块17的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中语音问答的智能测评方法的步骤，例如图2所示的步骤101至步骤107及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中语音问答的智能测评装置的各模块/单元的功能，例如图5所示模块11至模块17的功能。为避免重复，这里不再赘述。
本实施例提出的语音问答的智能测评方法、装置、计算机设备和存储介质，根据该文本答案的概率得分和该标准文本答案的概率得分计算该文本答案的最终得分，在计算用户语音答案的最终得分时，不仅仅是对用户输入的文本答案计算其概率得分，同时根据各标准文本词语的词频计算该标准文本答案的概率得分，使得在对用户输入的语音答案进行考评时，更为关注语音答案中包括的语义，而不仅仅是语音答案中具体的词语排列，使得同一标准答案通过不同方式的口语形式表述时也能够客观准确地进行测评，提高智能培训和测评机器人对用户的回答进行评分的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种语音问答的智能测评方法，其特征在于，所述方法包括：
接收到用户根据输出的问题输入的语音答案时，将所述语音答案转换为文本答案；
对转换得到的所述文本答案进行分词，得到与所述文本答案相对应的至少一个文本词语；
根据预先统计的先验词频分布获取每个所述文本词语的词频，根据各所述文本词语的词频计算对应文本答案的概率得分；
获取与输出的所述问题相对应的标准文本答案；
对所述标准文本答案进行分词，得到与所述标准文本答案相对应的至少一个标准文本词语；
根据所述先验词频分布获取每个所述标准文本词语的词频，根据各所述标准文本词语的词频计算所述标准文本答案的概率得分；
根据所述文本答案的概率得分和所述标准文本答案的概率得分计算所述文本答案的最终得分；
所述根据各所述文本词语的词频计算对应文本答案的概率得分的步骤具体包括：
通过以下公式计算对应文本答案的概率得分：
其中，Q1＝(ω1，ω2…，ωm)，Q1表示得到的与所述文本答案相对应的各所述文本词语，m表示文本答案中包括的文本词语的总个数，p(ωi)表示第i个有效文本词语的先验词频，p(ωi+1|ωi)表示词″ωi″后面出现词″ωi+1″的概率，θ(ω1)为ω1出现在答案句首的概率；ppluser表示对应文本答案的概率得分；
所述根据所述文本答案的概率得分和所述标准文本答案的概率得分计算所述文本答案的最终得分的步骤具体包括：
通过以下公式计算所述文本答案的最终得分：
其中，Score表示所述文本答案的最终得分，pplstd表示所述标准文本答案的概率得分，m表示文本答案中包括的文本词语的总个数，n表示标准文本答案中包括的标准文本词语的总个数，Q2＝(z1，z2…，zn)，Q2表示与所述标准文本答案相对应的各所述标准文本词语，p(zi)表示第i个标准文本词的先验词频，p(zi+1|zi)表示词″zi″后面出现词″zi+1″的概率，θ(z1)表示z1出现在答案句首的概率。
2.根据权利要求1所述的语音问答的智能测评方法，其特征在于，所述将所述语音答案转换为文本答案的步骤进一步包括：
获取所述文本答案中包括的实体；
获取预先构建的实体链图谱中与获取的所述实体相关联的至少一个第一实体节点；
通过获取的所述第一实体节点分别对所述文本答案中的实体进行替换，得到与每个所述第一实体节点相对应的待评测文本答案。
3.根据权利要求2所述的语音问答的智能测评方法，其特征在于，所述对转换得到的所述文本答案进行分词的步骤具体包括：
对替换得到的每个所述待评测文本答案分别进行分词，得到与各所述待评测文本答案相对应的文本词语。
4.根据权利要求3所述的语音问答的智能测评方法，其特征在于，所述根据预先统计的先验词频分布获取每个所述文本词语的词频，根据各所述文本词语的词频计算对应文本答案的概率得分的步骤包括：
根据各所述待评测文本答案中包括的文本词语的词频计算对应待评测文本答案的概率得分；
将概率得分最高的所述待评测文本答案作为所述文本答案的概率得分。
5.根据权利要求1至4任一项所述的语音问答的智能测评方法，其特征在于，统计所述先验词频分布的步骤包括：
获取源标准答案数据库中包括的所有标准答案；
统计所有所述标准答案中任意两个分词相邻的词频；
其中，所述源标准答案数据库包括原始标准答案、对所述原始标准答案进行实体替换后得到的第二标准答案以及对所述原始标准答案进行回译得到的第三标准答案。
6.一种语音问答的智能测评装置，其特征在于，所述装置包括：
文本转换模块，用于接收到用户根据输出的问题输入的语音答案时，将所述语音答案转换为文本答案；
第一分词模块，用于对转换得到的所述文本答案进行分词，得到与所述文本答案相对应的至少一个文本词语；
第一计算模块，用于根据预先统计的先验词频分布获取每个所述文本词语的词频，根据各所述文本词语的词频计算对应文本答案的概率得分；
答案获取模块，用于获取与输出的所述问题相对应的标准文本答案；
第二分词模块，用于对所述标准文本答案进行分词，得到与所述标准文本答案相对应的至少一个标准文本词语；
第二计算模块，用于根据所述先验词频分布获取每个所述标准文本词语的词频，根据各所述标准文本词语的词频计算所述标准文本答案的概率得分；
第三计算模块，用于根据所述文本答案的概率得分和所述标准文本答案的概率得分计算所述文本答案的最终得分；
所述第一计算模块具体用于通过以下公式计算对应文本答案的概率得分：
其中，Q1＝(ω1，ω2…，ωm)，Q1表示得到的与所述文本答案相对应的各所述文本词语，m表示文本答案中包括的文本词语的总个数，p(ωi)表示第i个有效文本词语的先验词频，p(ωi+1|ωi)表示词″ωi″后面出现词″ωi+1″的概率，θ(ω1)为ω1出现在答案句首的概率，ppluser表示对应文本答案的概率得分；
所述第三计算模块具体用于通过以下公式计算该文本答案的最终得分：
其中，Score表示所述文本答案的最终得分，pplstd表示所述标准文本答案的概率得分，m表示文本答案中包括的文本词语的总个数，n表示标准文本答案中包括的标准文本词语的总个数，Q2＝(z1，z2…，zn)，Q2表示与所述标准文本答案相对应的各所述标准文本词语，p(zi)表示第i个标准文本词的先验词频，p(zi+1|zi)表示词″zi″后面出现词″zi+1″的概率，θ(z1)表示z1出现在答案句首的概率。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述语音问答的智能测评方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述语音问答的智能测评方法的步骤。
CN202110581989.XA 2021-05-26 2021-05-26 语音问答的智能测评方法、装置、计算机设备及存储介质 Active CN113312463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581989.XA CN113312463B (zh) 2021-05-26 2021-05-26 语音问答的智能测评方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581989.XA CN113312463B (zh) 2021-05-26 2021-05-26 语音问答的智能测评方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113312463A CN113312463A (zh) 2021-08-27
CN113312463B true CN113312463B (zh) 2023-07-18

Family

ID=77375599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581989.XA Active CN113312463B (zh) 2021-05-26 2021-05-26 语音问答的智能测评方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113312463B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330243A (zh) * 2021-12-31 2022-04-12 北京执象科技发展有限公司 口算结果识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763213A (zh) * 2018-05-25 2018-11-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 主题特征文本关键词提取方法
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质
CN110674271A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种问答处理方法及装置
CN112667794A (zh) * 2020-12-31 2021-04-16 民生科技有限责任公司 一种基于孪生网络bert模型的智能问答匹配方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102199B2 (en) * 2017-02-24 2018-10-16 Microsoft Technology Licensing, Llc Corpus specific natural language query completion assistant

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763213A (zh) * 2018-05-25 2018-11-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 主题特征文本关键词提取方法
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质
CN110674271A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种问答处理方法及装置
CN112667794A (zh) * 2020-12-31 2021-04-16 民生科技有限责任公司 一种基于孪生网络bert模型的智能问答匹配方法及系统

Also Published As

Publication number Publication date
CN113312463A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110765244B (zh) 获取应答话术的方法、装置、计算机设备及存储介质
CN110457431B (zh) 基于知识图谱的问答方法、装置、计算机设备和存储介质
WO2021000408A1 (zh) 面试评分方法、装置、设备及存储介质
CN108682420B (zh) 一种音视频通话方言识别方法及终端设备
JP2021089705A (ja) 翻訳品質を評価するための方法と装置
WO2021000497A1 (zh) 检索方法、装置、计算机设备和存储介质
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN110334179B (zh) 问答处理方法、装置、计算机设备和存储介质
WO2021027029A1 (zh) 数据处理方法、装置、计算机设备和存储介质
US11238050B2 (en) Method and apparatus for determining response for user input data, and medium
CN113297366B (zh) 多轮对话的情绪识别模型训练方法、装置、设备及介质
US11553085B2 (en) Method and apparatus for predicting customer satisfaction from a conversation
CN110019304B (zh) 扩展问答知识库的方法及存储介质、终端
CN110335608B (zh) 声纹验证方法、装置、设备及存储介质
CN110019305B (zh) 知识库扩展方法及存储介质、终端
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN111326177B (zh) 一种语音评测方法、电子设备及计算机可读存储介质
CN113312463B (zh) 语音问答的智能测评方法、装置、计算机设备及存储介质
CN111444729A (zh) 信息处理的方法、装置、设备及可读存储介质
CN113709313B (zh) 客服通话数据智能质检方法、装置、设备及介质
CN110969005B (zh) 一种确定实体语料之间的相似性的方法及装置
WO2022022049A1 (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN114579718A (zh) 结合rpa和ai的文本特征生成方法、装置、设备及存储介质
CN112632956A (zh) 文本匹配方法、装置、终端和存储介质
CN113570404B (zh) 一种目标用户定位的方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant