CN105701208A - 一种面向问答系统的问答评价方法及装置 - Google Patents
一种面向问答系统的问答评价方法及装置 Download PDFInfo
- Publication number
- CN105701208A CN105701208A CN201610019705.7A CN201610019705A CN105701208A CN 105701208 A CN105701208 A CN 105701208A CN 201610019705 A CN201610019705 A CN 201610019705A CN 105701208 A CN105701208 A CN 105701208A
- Authority
- CN
- China
- Prior art keywords
- weight
- feedback information
- mutual
- user
- answering system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
- G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种面向问答系统的问答评价方法及装置,该方法包括:应答信息获取步骤,获取用户输入的当前交互的应答信息;权重更新步骤,检测与用户的前一次交互是否为对话交互,如果是,则根据所述应答信息生成权重变化值,并根据所述权重变化值对前一次交互中问答系统输出的反馈信息的权重进行更新。该方法可以定量地确定出用户对于各个反馈信息的满意程度。当用户再次输入相同的问题时,问答系统便可以根据各个反馈信息的权重来选取用户满意度较高的反馈信息,从而使得交互过程更加人性化。
Description
技术领域
本发明涉及人机交互技术领域,具体地说,涉及一种面向问答系统的问答评价方法及装置。
背景技术
问答系统是根据用户的问题从大量的文本集中确定出相关答案,这里的答案不是与问题有关的整个文献,而是更为准确地满足用于需求的文献的一部分或一句话。问答系统不同于信息检索,信息检索对于用户提交的查询只能定位出相关文献或包含该查询的网页,用户需要自己来确定有用的信息。
现有的问答系统只能针对用户输入的某个问题进行单一的回复,其无法实现对问题回复的优化。即,当用户对当前问题的回复不满意时,现有的问答系统无法进行回复的优化,以向用户提供更为满意的回复。
发明内容
为解决上述问题,本发明提供了一种种面向问答系统的问答评价方法,所述方法包括:
应答信息获取步骤,获取用户输入的当前交互的应答信息;
权重更新步骤,检测与用户的前一次交互是否为对话交互,如果是,则根据所述应答信息生成权重变化值,并根据所述权重变化值对前一次交互中问答系统输出的反馈信息的权重进行更新。
根据本发明的一个实施例,根据所述应答信息生成权重变化值的步骤包括:
利用褒义词库和贬义词库对所述当前交互的应答信息进行匹配,得到所述前一次交互中问答系统输出的反馈信息的满意度指数;
根据所述满意度指数生成权重变化值;
其中,当所述当前交互的应答信息与所述褒义词库中的内容匹配时,所述权重变化值为正数;
当所述当前交互的应答信息与所述贬义词库中的内容匹配时,所述权重变化值为负数。
根据本发明的一个实施例,在所述权重更新步骤中,
如果所述当前交互的应答信息与所述贬义词库中的内容匹配,则进一步检测所述用户的可信度是否大于预设可信度阈值;
如果所述用户的可信度大于所述预设可信度阈值,则根据所生成的权重变化值对所述前一次交互中问答系统输出的反馈信息的权重进行更新,否则不对所述前一次交互中问答系统输出的反馈信息的权重进行更新。
根据本发明的一个实施例,所述方法还包括:
反馈信息确认步骤,获取问答系统针对前一次交互中用户的问题信息的各个反馈信息及其权重,当再次获取到前一次交互中用户的问题信息时,根据所述各个反馈信息的权重从所述各个反馈信息中确定出此时所需要输出的反馈信息。
根据本发明的一个实施例,当完成对所述前一次交互中问答系统输出的反馈信息的权重的更新后,所述方法还检测所述反馈信息更新后的权重是否低于第一预设阈值,如果是,则将所述反馈信息禁用。
本发明还提供一种面向问答系统的问答评价装置,所述装置包括:
应答信息获取模块,用于获取用户输入的当前交互的应答信息;
权重更新模块,用于检测与用户的前一次交互是否为对话交互,如果是,则根据所述应答信息生成权重变化值,并根据所述权重变化值对前一次交互中问答系统输出的反馈信息的权重进行更新。
根据本发明的一个实施例,所述权重更新模块配置为利用褒义词库和贬义词库对所述当前交互的应答信息进行匹配,得到所述前一次交互中问答系统输出的反馈信息的满意度指数,根据所述满意度指数生成权重变化值;
其中,当所述当前交互的应答信息与所述褒义词库中的内容匹配时,所述权重变化值为正数;
当所述当前交互的应答信息与所述贬义词库中的内容匹配时,所述权重变化值为负数。
根据本发明的一个实施例,所述权重更新模块还配置为:
如果所述当前交互的应答信息与所述贬义词库中的内容匹配,则进一步检测所述用户的可信度是否大于预设可信度阈值;
如果所述用户的可信度大于所述预设可信度阈值,则根据所生成的权重变化值对所述前一次交互中问答系统输出的反馈信息的权重进行更新,否则不对所述前一次交互中问答系统输出的反馈信息的权重进行更新。
根据本发明的一个实施例,所述装置还包括:
反馈信息确认模块,用于获取问答系统针对前一次交互中用户的问题信息的各个反馈信息及其权重,当再次获取到前一次交互中用户的问题信息时,根据所述各个反馈信息的权重从所述各个反馈信息中确定出此时所需要输出的反馈信息。
根据本发明的一个实施例,所述装置还包括:
禁用信息确认模块,用于在完成对所述前一次交互中问答系统输出的反馈信息的权重的更新后,检测所述反馈信息更新后的权重是否低于第一预设阈值,如果是,则将所述反馈信息禁用。
本发明提供了一种面向问答系统的问答评价方法,该方法将问答系统对于用户输入问题的不同反馈信息分别配置了不同的权重,通过用户的应答信息来对相应反馈信息的权重进行更新,这样便可以确定出用户对于各个反馈信息的满意程度。当用户再次输入相同的问题时,问答系统便可以根据各个反馈信息的权重来选取用户满意度较高的反馈信息,从而使得交互过程更加人性化。
本发明所提供的问答评价方法还能够通过对反馈信息更新后的权重取值范围的判断,来判断是否需要禁用该反馈信息,以避免再次输出该使得用户不满的反馈信息,从而进一步提高了用户的使用体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图做简单的介绍:
图1是根据本发明一个实施例的面向问答系统的问答评价方法的流程图;
图2是根据本发明一个实施例的生成权重变化值的流程图;
图3是根据本发明一个实施例的面向问答系统的问答评价方法的流程图;
图4是根据本发明一个实施例的面向问答系统的问答评价方法的流程图;
图5是根据本发明一个实施例的面向问答系统的问答评价方法的流程图;
图6是根据本发明一个实施例的面向问答系统的问答评价装置的结构示意图;
图7是根据本发明一个实施例的面向问答系统的问答评价装置的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
同时,在以下说明中,出于解释的目的而阐述了许多具体细节,以提供对本发明实施例的彻底理解。然而,对本领域的技术人员来说显而易见的是,本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
针对用户所输入的同一问题,问答系统能够输出多个对应的反馈信息。而对于用户来说,这些反馈信息也就会有好有坏,即用户可能对某一个或某几个反馈信息较为满意,而对某一个或某几个反馈信息较为不满意。因此,如何优化问答系统对于用户输入问题的应答信息,是亟待解决的问题。
针对上述问题,本发明提供了一种面向问答系统的问答评价方法,该方法将问答系统对于用户输入问题的不同反馈信息分别配置了不同的权重,通过用户的应答信息来对相应反馈信息的权重进行更新,这样便可以确定出用户对于各个反馈信息的满意程度。当用户再次输入相同的问题时,问答系统便可以根据各个反馈信息的权重来选取用户满意度较高的反馈信息,从而使得交互过程更加人性化。
需要指出的是,本发明所提及的权重是用于表征同一问题的不同反馈信息之间的相对重要程度。其中,越能够使用户满意的反馈信息的权重的取值越大。而根据实际需要,在本发明的不同实施例中,反馈信息的权重的取值可以处于不同的数值范围内(例如[-10,10]、[0,20]或[0,1]等),本发明不限于此。
为了更加清楚地阐述本发明所提供的面向问答系统的问答评价方法的原理以及实现过程,以下结合不同的实施例来对该评价方法作进一步地说明。
实施例一:
图1示出了本实施例所提供的面向问答系统的问答评价方法的流程图。需要指出的是,本发明所涉及的问答系统并不特指必须存在“发问”与“回答”关系的系统,而是泛指存在人机对话的交互系统。
如图1所示,该方法首先在步骤S101中获取用户输入的当前交互的应答信息。需要指出的是,在本发明的不同实施例中,该方法在步骤S101中所获取到的应答信息既可以为文本信息,也可以为语音信息或肢体动作信息等信息,本发明不限于此。
得到当前交互的应答信息后,该方法将在步骤S102中判断问答系统与用户的前一次交互是否为对话交互,如果是,则在步骤S103中根据步骤S101中所获取到的当前交互的应答信息生成权重变化值。
具体地,如图2所示,本实施例中在生成权重变化值的过程中,首先在步骤S201中利用预设褒义词库和预设贬义词库对当前交互的应答信息进行匹配,从而得到前一次交互的问答系统的应答信息的满意度指数,并在步骤S202中根据得到的满意度指数生成权重变化值。
本实施例中,如果当前交互的应答信息与预设褒义词库的内容相匹配(例如包含夸奖、满意等倾向的词语),那么所生成的权重变化值为正数;而如果当前交互的应答信息与预设贬义词库的内容相匹配,那么所生成的权重变化值则为负数。前一次交互中问答系统的反馈信息更新后的权重即为该反馈信息更新前的权重与步骤S202中所生成的权重变化值之和。
如果当前交互的应答信息与预设褒义词库的内容相匹配(例如包含不满、愤怒以及辱骂等强项的词语),那么则表示用户对上一次交互中问答系统的反馈信息的意见倾向是正面的,即用户对该反馈信息的接受状态是倾向于满意的。因此,当再次获取到前一次交互中用户的问题信息时,问答系统应选择这类用户较为满意的反馈信息进行输出。
而如果当前交互的应答信息与预设褒义词库的内容相匹配,那么则表示用户对上一次交互中问答系统的反馈信息的意见倾向是负面的,即用户对该反馈信息的接受状态是倾向于不满意该反馈信息的。因此,当再次获取到前一次交互中用户的问题信息时,问答系统应避免或减少输出这类用户不满意的反馈信息。
本实施例中,在生成权重变化值的过程中,为了得到更加准确、合理的权重变化值,还对步骤S101中所获取到的应答信息进行了初步的处理,具体地包括无效词过滤处理和纠错处理。其中,通过无效词过滤处理能够有效滤除应答信息中的无效词,这不仅有助于避免无效词对权重变化值生成结果的影响,还有助于减小所处理的数据量,从而提高该方法的数据处理效率。通过纠错处理,能够对步骤S101中所获取到的应答信息中所存在的文字或语法错误等错误信息进行纠错,从而提高后续处理的准确性。
步骤S103中所生成的权重变化值是针对前一次交互中问答系统的反馈信息的,因此在得到该权重变化值后,该方法便可以在步骤S104中根据该权重变化值来对前一次交互中问答系统输出的反馈信息的权重进行更新。
具体地,假设问答系统与用户的交互过程为:用户输入“天气真好”,对于该输入信息,问答系统输出反馈信息“天气好,主人的心情也就好啦”,而对于问答系统所输出的上述反馈信息,用户紧接着输入“你真聪明”。
在上述交互过程中,用户输入的“天气真好”与问答系统输出的“天气好,主人的心情也就好啦”构成了第一次对话交互,而问答系统输出的“天气好,主人的心情也就好啦”与用户输入的“你真聪明”构成了第二次对话交互。
本实施例中,在获取到用户输入的当前交互(即第二次对话交互)的应答信息(即“你真聪明”)后,该方法根据该应答信息生成针对前一次交互(即第一次对话交互)中问答系统的反馈信息(即“天气好,主人的心情也就好啦”)的权重变化值,并利用该权重变化值对上述反馈信息的权重进行更新。
在根据应答信息生成权重变化值的过程中,该方法对该应信息进行关键词提取,并将提取出的关键词与预设褒义词库和预设贬义词库进行匹配,从而判断出该关键词是具有褒义倾向的词语还是具有贬义倾向的词语,进而判断出用户对前一次交互中问答系统的反馈信息的意见倾向。
同时,该方法还通过程度修饰(例如“特别”、“很”和“真”等)词来判断用户对上述反馈信息的褒奖程度,并作为生成权重变化值时的参考量。
例如,该方法对用户反馈的“你真聪明”进行关键词提取从而提取出关键词“聪明”和“真”。其中,通过将“聪明”与预设褒义词库进行匹配可以判断出用户对问答系统所输出“天气好,主人的心情也就好啦”的接受状态是正面的。同时,通过程度修饰词“真“可以判断出用户对问答系统输出的上述反馈信息是十分满意的。这样,该方法最终生成的权重变化值将为一个数据较大的正数(例如7等),以此体现用户对问答系统的上述反馈信息的满意度指数。
实施例二:
图3示出了本实施例所提供的面向问答系统的问答评价方法的流程图。
如图3所示,本实施例所提供的方法首先在步骤S301中获取用户输入的当前交互的应答信息,并在步骤S302中判断问答系统与用户的前一次交互是否为对话交互。需要指出的是,步骤S301和步骤S302的实现原理和实现过程与实施例一中所阐述的步骤S101至步骤S102相同,故在此不再赘述。
本实施例中,如果问答系统与用户的前一次交互为对话交互,那么该方法将在步骤S303中利用预设褒义词库和预设贬义词库对当前交互的应答信息进行匹配,并在步骤S304中判断当前交互的应答信息是否与预设贬义词库中的内容匹配。如果当前交互的应答信息与预设贬义词库中的内容相匹配,那么该方法则在步骤S305中进一步判断用户的可信度是否大于预设可信度阈值。
如果用户的可信度大于预设可信度阈值,那么则表示用户对问答系统所输出的反馈信息的意见倾向是可信的,因此该方法将执行步骤S306来根据应答信息生成权重变化值,并在步骤S307中根据该权重变化值对前一次交互中问答系统的反馈信息的权重进行更新。
需要指出的是,该方法中的步骤S305和步骤S306与实施例一所提供的方法中步骤S103和步骤S104的实现原理以及实现过程相同,故在此不再赘述。
如果用户的可信度小于或等于预设可信度阈值,那么则表示该用户对问答系统所输出的反馈信息的意见倾向是不可信的,因此该方法将不进行额外操作,即不对前一次交互中问答系统的反馈信息的权重进行更新。
本实施例中,用户的可信度可以通过阶段性测试进行确定。具体地,在某一交互阶段,问答系统首先将所接收到的用户输入到问答系统的信息与预设脏话数据库和/或非正常语言数据库进行匹配,如果匹配度达到一定程度值(该值可以根据不同的实际需要进行配置),那么在该阶段,用户的可信度将为预设可信度阈值以下。
需要指出的是,在本发明的不同实施例中,上述预设可信度阈值可以根据实际应用场景进行配置,本发明不限于此。
同时,还需要指出的是,在本发明的其他实施例中,还可以先根据应答信息生成权重变化值,再判断用户的可信度是否大于预设可信度阈值,本发明不限于此。
从上述描述中可以看出,本实施例所提供的面线问答系统的问答评鉴方法在实施例一所提供的方法的基础上,额外参考了用户的可信度,当用户可信度没有达到要求时,则不会对前一次交互中问答系统的反馈信息进行权重更新,从而保证了反馈信息的权重更新过程合理,进而使得反馈信息的权重能够更加准确地反映出用户的满意度。
实施例三:
图4示出了本实施例所提供的面向问答系统的问答评价方法的流程图。
如图4所示,该方法首先在步骤S401中获取用户输入的当前交互的应答信息。得到当前交互的应答信息后,该方法在步骤S402中判断问答系统与用户的前一次交互是否为对话交互,如果是,则在步骤S403中根据步骤S401中所获取到的当前交互的应答信息生成权重变化值。得到权重变化值后,该方法在步骤S404中根据该权重变化值对前一次交互中问答系统的反馈信息的权重进行更新。如果问答系统与用户的前一次交互不为对话交互,那么该方法则不进行额外操作。
需要指出的是,本实施例所提供的方法中步骤S401至步骤S404的实现原理以及实现过程与实施例一所提供的方法的步骤S101至步骤S104相同,故在此不再赘述。
如图4所示,本实施例中,该方法在步骤S405中检测是否获取到前一次交互中用户输入的问题信息。如果获取到了前一次交互中用户输入的问题信息,该方法则在步骤S406中根据各个反馈信息的权重从各个反馈信息中确定出此时所需要输出的反馈信息。
由于对于用户输入的同一问题信息,问答系统可能输出不同的反馈信息,因此对与该问题信息而言,各个反馈信息均对应有各自的权重。如果在步骤S405中获取到前一次交互中用户输入的问题信息,那么则表示用户再次向问答系统中输入了与前一次交互中用户输入的问题信息相同的问题信息。此时问答系统将根据各个反馈信息的权重来从所有的反馈信息中提取出能够使得用户较为满意的反馈信息进行输出。
具体地,本实施例中,该方法根据权重的大小对同一问题信息的各个反馈信息进行排序,权重越大的反馈信息的排序越靠前。在确定需要输出的反馈信息时,将排序最为靠前的反馈信息确定为需要输出的反馈信息。
需要指出的是,在本发明的其他实施例中,还可以根据其他合理方式来确定出需要输出的反馈信息,本发明不限于此。
从上述描述中可以看出,本实施例所提供的面向问答系统的问答评价方法在实施例一所提供的方法的基础上,还能够根据各个反馈信息的权重来对各个反馈信息进行排序,以便在再次获取到相同问题信息后输出权值最高或较高的反馈信息,从而改善问答系统的客户体验。
实施例四:
图5示出了本实施例所提供的面向问答系统的问答评价方法的流程图。
如图5所示,该方法首先在步骤S501中获取用户输入的当前交互的应答信息。得到当前交互的应答信息后,该方法在步骤S502中判断问答系统与用户的前一次交互是否为对话交互,如果是,则在步骤S503中根据步骤S501中所获取到的当前交互的应答信息生成权重变化值。得到权重变化值后,该方法在步骤S504中根据该权重变化值对前一次交互中问答系统的反馈信息的权重进行更新。
需要指出的是,本实施例所提供的方法中步骤S501至步骤S504的实现原理以及实现过程与实施例一所提供的方法的步骤S101至步骤S104相同,故在此不再赘述。
在完成对反馈信息的权重进行更新后,该方法在步骤S505中判断该反馈信息更新后的权重是否低于第一预设阈值。如果该反馈信息更新后的权重低于第一预设阈值,那么则在步骤S506中将该反馈信息禁用。
例如,用户输入“苹果好吃”,问答系统回复“好吃个屁”,随后用户紧接着输入“你是不是有病”,同时第一预设阈值为-2。通过对用户输入的“你是不是有病”进行分析,可以得到针对问答系统所输出的“好吃个屁”这句话的权重变化值。由于“你是不是有病”为严重贬义的语句,因此根据该语句生成的权重变化值将为一较小的负数(例如-10)。当利用该权重变化值对问答系统所输出“好吃个屁”这回复的权重进行更新后,该回复的权重也将为一较小的数。假设该回复的初始权重为0,那么完成权重更新后,该回复的权重将变为-10,其小于第一预设阈值(即-2),因此该回复将被禁用,从而避免再次输出该回复。
从上述描述中可以看出,本实施例所提供的方法在实施例一所提供的方法的基础上,还能够通过对反馈信息更新后的权重取值范围的判断,来判断是否需要禁用该反馈信息,以避免再次输出该使得用户不满的反馈信息,从而提高了用户的使用体验。
本实施例还提供了一种面向问答系统的问答评价装置,图6示出了本实施例中该问答评价装置的结构示意图。
如图6所示,本实施例所提供的问答评价装置包括问答信息获取模块601和权重更新模块602。其中,问答信息获取模块601用于获取用户输入的当前交互的应答信息。需要指出的是,在本发明的不同实施例中,问答信息获取模块601所获取到的应答信息既可以为文本信息,也可以为语音信息或肢体动作信息等信息,本发明不限于此。
权重更新模块602通过问答信息获取模块601得到当前交互的应答信息后,会判断问答系统与用户的前一次交互是否为对话交互,如果是,则根据所获取到的当前交互的应答信息生成权重变化值。
具体地,本实施例中,权重更新模块602首先利用预设褒义词库和预设贬义词库对当前交互的应答信息进行匹配,从而得到前一次交互的问答系统的应答信息的满意度指数,随后根据得到的满意度指数生成权重变化值。
本实施例中,如果当前交互的应答信息与预设褒义词库的内容相匹配(例如包含夸奖、满意等倾向的词语),那么所生成的权重变化值为正数;而如果当前交互的应答信息与预设贬义词库的内容相匹配,那么所生成的权重变化值则为负数。前一次交互中问答系统的反馈信息更新后的权重即为该反馈信息更新前的权重与所生成的权重变化值之和。
如果当前交互的应答信息与预设褒义词库的内容相匹配(例如包含不满、愤怒以及辱骂等强项的词语),那么则表示用户对上一次交互中问答系统的反馈信息的意见倾向是正面的,即用户对该反馈信息的接受状态是倾向于满意的。因此,当再次获取到前一次交互中用户的问题信息时,问答系统应选择这类用户较为满意的反馈信息进行输出。
而如果当前交互的应答信息与预设褒义词库的内容相匹配,那么则表示用户对上一次交互中问答系统的反馈信息的意见倾向是负面的,即用户对该反馈信息的接受状态是倾向于不满意该反馈信息的。因此,当再次获取到前一次交互中用户的问题信息时,问答系统应避免或减少输出这类用户不满意的反馈信息。
本实施例中,当当前交互的应答信息与预设贬义词库中的内容匹配时,权值更新模块602还进一步判断用户的可信度是否大于预设可信度阈值。
如果用户的可信度大于预设可信度阈值,那么则表示用户对问答系统所输出的反馈信息的意见倾向是可信的,因此权值更新模块602将根据应答信息生成权重变化值,并根据该权重变化值对前一次交互中问答系统的反馈信息的权重进行更新。
如果用户的可信度小于或等于预设可信度阈值,那么则表示该用户对问答系统所输出的反馈信息的意见倾向是不可信的,因此权值更新模块602将不进行额外操作,即不对前一次交互中问答系统的反馈信息的权重进行更新。
本实施例中,用户的可信度可以通过阶段性测试进行确定。具体地,在某一交互阶段,问答系统首先将所接收到的用户输入到问答系统的信息与预设脏话数据库和/或非正常语言数据库进行匹配,如果匹配度达到一定程度值(该值可以根据不同的实际需要进行配置),那么在该阶段,用户的可信度将为预设可信度阈值以下。
需要指出的是,在本发明的不同实施例中,上述预设可信度阈值可以根据实际应用场景进行配置,本发明不限于此。同时,还需要指出的是,在本发明的其他实施例中,还可以先根据应答信息生成权重变化值,再判断用户的可信度是否大于预设可信度阈值,本发明不限于此。
需要指出的是,在本发明的其他实施例中,在需要的情况下,本发明所提供的问答评价装置还可以包括其他合理模块,本发明不限于此。
例如,在本发明的一个实施例中,如图7所示,在图6所示装置的基础上,该实施例所提供的问答评价装置还包括禁用信息确认模块603。其中,禁用信息确认模块603用于在完成对反馈信息的权重进行更新后,判断该反馈信息更新后的权重是否低于第一预设阈值。如果该反馈信息更新后的权重低于第一预设阈值,禁用信息确认模块603则将该反馈信息禁用。
例如,用户输入“苹果好吃”,问答系统回复“好吃个屁”,随后用户紧接着输入“你是不是有病”,同时第一预设阈值为-2。通过对用户输入的“你是不是有病”进行分析,可以得到针对问答系统所输出的“好吃个屁”这句话的权重变化值。由于“你是不是有病”为严重贬义的语句,因此根据该语句生成的权重变化值将为一较小的负数(例如-10)。当利用该权重变化值对问答系统所输出“好吃个屁”这回复的权重进行更新后,该回复的权重也将为一较小的数。假设该回复的初始权重为0,那么完成权重更新后,该回复的权重将变为-10,其小于第一预设阈值(即-2),因此该回复将被禁用,从而避免再次输出该回复。
例如,在本发明的一个实施例中,面向问答系统的问答评价装置还可以包括反馈信息确认模块。反馈信息确认模块用于检测是否获取到前一次交互中用户输入的问题信息。如果获取到了前一次交互中用户输入的问题信息,反馈信息确认模块则会根据各个反馈信息的权重从各个反馈信息中确定出此时所需要输出的反馈信息。
由于对于用户输入的同一问题信息,问答系统可能输出不同的反馈信息,因此对与该问题信息而言,各个反馈信息均对应有各自的权重。如果反馈信息确认模块获取到前一次交互中用户输入的问题信息,那么则表示用户再次向问答系统中输入了与前一次交互中用户输入的问题信息相同的问题信息。此时问答系统将根据各个反馈信息的权重来从所有的反馈信息中提取出能够使得用户较为满意的反馈信息进行输出。
具体地,本实施例中,该方法根据权重的大小对同一问题信息的各个反馈信息进行排序,权重越大的反馈信息的排序越靠前。在确定需要输出的反馈信息时,将排序最为靠前的反馈信息确定为需要输出的反馈信息。
需要指出的是,在本发明的其他实施例中,还可以根据其他合理方式来确定出需要输出的反馈信息,本发明不限于此。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构或处理步骤,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理,但对于本领域的技术人员来说,在不背离本发明的原理和思想的情况下,明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此,本发明由所附的权利要求书来限定。
Claims (10)
1.一种面向问答系统的问答评价方法,其特征在于,所述方法包括:
应答信息获取步骤,获取用户输入的当前交互的应答信息;
权重更新步骤,检测与用户的前一次交互是否为对话交互,如果是,则根据所述应答信息生成权重变化值,并根据所述权重变化值对前一次交互中问答系统输出的反馈信息的权重进行更新。
2.如权利要求1所述的方法,其特征在于,根据所述应答信息生成权重变化值的步骤包括:
利用褒义词库和贬义词库对所述当前交互的应答信息进行匹配,得到所述前一次交互中问答系统输出的反馈信息的满意度指数;
根据所述满意度指数生成权重变化值;
其中,当所述当前交互的应答信息与所述褒义词库中的内容匹配时,所述权重变化值为正数;
当所述当前交互的应答信息与所述贬义词库中的内容匹配时,所述权重变化值为负数。
3.如权利要求2所述的方法,其特征在于,在所述权重更新步骤中,
如果所述当前交互的应答信息与所述贬义词库中的内容匹配,则进一步检测所述用户的可信度是否大于预设可信度阈值;
如果所述用户的可信度大于所述预设可信度阈值,则根据所生成的权重变化值对所述前一次交互中问答系统输出的反馈信息的权重进行更新,否则不对所述前一次交互中问答系统输出的反馈信息的权重进行更新。
4.如权利要求1~3中任一项所述的方法,其特征在于,所述方法还包括:
反馈信息确认步骤,获取问答系统针对前一次交互中用户的问题信息的各个反馈信息及其权重,当再次获取到前一次交互中用户的问题信息时,根据所述各个反馈信息的权重从所述各个反馈信息中确定出此时所需要输出的反馈信息。
5.如权利要求1~4中任一项所述的方法,其特征在于,当完成对所述前一次交互中问答系统输出的反馈信息的权重的更新后,所述方法还检测所述反馈信息更新后的权重是否低于第一预设阈值,如果是,则将所述反馈信息禁用。
6.一种面向问答系统的问答评价装置,其特征在于,所述装置包括:
应答信息获取模块,用于获取用户输入的当前交互的应答信息;
权重更新模块,用于检测与用户的前一次交互是否为对话交互,如果是,则根据所述应答信息生成权重变化值,并根据所述权重变化值对前一次交互中问答系统输出的反馈信息的权重进行更新。
7.如权利要求6所述的装置,其特征在于,所述权重更新模块配置为利用褒义词库和贬义词库对所述当前交互的应答信息进行匹配,得到所述前一次交互中问答系统输出的反馈信息的满意度指数,根据所述满意度指数生成权重变化值;
其中,当所述当前交互的应答信息与所述褒义词库中的内容匹配时,所述权重变化值为正数;
当所述当前交互的应答信息与所述贬义词库中的内容匹配时,所述权重变化值为负数。
8.如权利要求7所述的装置,其特征在于,所述权重更新模块还配置为:
如果所述当前交互的应答信息与所述贬义词库中的内容匹配,则进一步检测所述用户的可信度是否大于预设可信度阈值;
如果所述用户的可信度大于所述预设可信度阈值,则根据所生成的权重变化值对所述前一次交互中问答系统输出的反馈信息的权重进行更新,否则不对所述前一次交互中问答系统输出的反馈信息的权重进行更新。
9.如权利要求6~8中任一项所述的装置,其特征在于,所述装置还包括:
反馈信息确认模块,用于获取问答系统针对前一次交互中用户的问题信息的各个反馈信息及其权重,当再次获取到前一次交互中用户的问题信息时,根据所述各个反馈信息的权重从所述各个反馈信息中确定出此时所需要输出的反馈信息。
10.如权利要求6~9中任一项所述的装置,其特征在于,所述装置还包括:
禁用信息确认模块,用于在完成对所述前一次交互中问答系统输出的反馈信息的权重的更新后,检测所述反馈信息更新后的权重是否低于第一预设阈值,如果是,则将所述反馈信息禁用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610019705.7A CN105701208B (zh) | 2016-01-13 | 2016-01-13 | 一种面向问答系统的问答评价方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610019705.7A CN105701208B (zh) | 2016-01-13 | 2016-01-13 | 一种面向问答系统的问答评价方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701208A true CN105701208A (zh) | 2016-06-22 |
CN105701208B CN105701208B (zh) | 2018-11-30 |
Family
ID=56226317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610019705.7A Active CN105701208B (zh) | 2016-01-13 | 2016-01-13 | 一种面向问答系统的问答评价方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105701208B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844334A (zh) * | 2016-12-20 | 2017-06-13 | 网易(杭州)网络有限公司 | 用于评测会话机器人智能的方法及设备 |
CN108255943A (zh) * | 2017-12-12 | 2018-07-06 | 百度在线网络技术(北京)有限公司 | 人机对话质量评估方法、装置、计算机设备及存储介质 |
CN108573306A (zh) * | 2017-03-10 | 2018-09-25 | 北京搜狗科技发展有限公司 | 输出回复信息的方法、深度学习模型的训练方法及装置 |
CN110764662A (zh) * | 2019-08-30 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699708A (zh) * | 2013-12-09 | 2015-06-10 | 中国移动通信集团北京有限公司 | 一种客服机器人的自学习方法及装置 |
CN105068661A (zh) * | 2015-09-07 | 2015-11-18 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机交互方法和系统 |
CN105138671A (zh) * | 2015-09-07 | 2015-12-09 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机交互的交互引导方法和装置 |
CN105159996A (zh) * | 2015-09-07 | 2015-12-16 | 百度在线网络技术(北京)有限公司 | 基于人工智能的深度问答服务提供方法和装置 |
-
2016
- 2016-01-13 CN CN201610019705.7A patent/CN105701208B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699708A (zh) * | 2013-12-09 | 2015-06-10 | 中国移动通信集团北京有限公司 | 一种客服机器人的自学习方法及装置 |
CN105068661A (zh) * | 2015-09-07 | 2015-11-18 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机交互方法和系统 |
CN105138671A (zh) * | 2015-09-07 | 2015-12-09 | 百度在线网络技术(北京)有限公司 | 基于人工智能的人机交互的交互引导方法和装置 |
CN105159996A (zh) * | 2015-09-07 | 2015-12-16 | 百度在线网络技术(北京)有限公司 | 基于人工智能的深度问答服务提供方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844334A (zh) * | 2016-12-20 | 2017-06-13 | 网易(杭州)网络有限公司 | 用于评测会话机器人智能的方法及设备 |
CN108573306A (zh) * | 2017-03-10 | 2018-09-25 | 北京搜狗科技发展有限公司 | 输出回复信息的方法、深度学习模型的训练方法及装置 |
CN108573306B (zh) * | 2017-03-10 | 2021-11-02 | 北京搜狗科技发展有限公司 | 输出回复信息的方法、深度学习模型的训练方法及装置 |
CN108255943A (zh) * | 2017-12-12 | 2018-07-06 | 百度在线网络技术(北京)有限公司 | 人机对话质量评估方法、装置、计算机设备及存储介质 |
CN110764662A (zh) * | 2019-08-30 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105701208B (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649825B (zh) | 语音交互系统及其创建方法和装置 | |
CN112287670A (zh) | 文本纠错方法、系统、计算机设备及可读存储介质 | |
CN105912629A (zh) | 一种智能问答方法及装置 | |
CN106599317B (zh) | 问答系统的测试数据处理方法、装置及终端 | |
CN105701208A (zh) | 一种面向问答系统的问答评价方法及装置 | |
CN111339781A (zh) | 意图识别方法、装置、电子设备和存储介质 | |
CN103336766A (zh) | 短文本垃圾识别以及建模方法和装置 | |
CN101330432A (zh) | 一种实现在线问答的系统和方法 | |
CN109063000A (zh) | 问句推荐方法、客服系统以及计算机可读存储介质 | |
CN110765342A (zh) | 信息查询方法及装置、存储介质、智能终端 | |
CN110399473B (zh) | 为用户问题确定答案的方法和装置 | |
KR20220123187A (ko) | 다중 시스템 기반 지능형 질의 응답 방법, 장치와 기기 | |
KR102285232B1 (ko) | 형태소 기반 ai 챗봇 및 그의 문장의도 결정 방법 | |
CN115358774A (zh) | 一种智慧客服机器人数据处理方法及系统 | |
CN105574112A (zh) | 一种通信过程的评论信息处理方法及系统 | |
CN104408036B (zh) | 关联话题的识别方法和装置 | |
CN110377706B (zh) | 基于深度学习的搜索语句挖掘方法及设备 | |
CN110162615A (zh) | 一种智能问答方法、装置、电子设备和存储介质 | |
CN113407734B (zh) | 基于实时大数据的知识图谱系统的构建方法 | |
Barbaresi | Collection, description, and visualization of the German Reddit corpus | |
CN113609363A (zh) | 一种用户搜索方法及装置 | |
KR20220099690A (ko) | 문서를 요약하는 장치, 방법 및 컴퓨터 프로그램 | |
CN112463920A (zh) | 一种信息应答方法及装置 | |
CN109816007A (zh) | 应用程序文字信息的行业分类方法、存储介质及终端设备 | |
KR102250804B1 (ko) | 빅데이터를 이용한 품질 요인의 분석을 위한 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |