CN106055718B - 一种针对机器人自主学习的输出内容过滤方法及机器人 - Google Patents

Abstract

本发明公开了一种针对机器人自主学习的输出内容过滤方法以及一种机器人。本发明的方法包括：采集用户反馈；分析所述用户反馈中是否包含针对最近一个交互输出的评价；当所述用户反馈中包含所述评价时分析所述评价以确定所述交互输出中的需过滤内容；将所述需过滤内容加入过滤内容库；基于所述过滤内容库调整之后的交互输出。根据本发明的方法，可以有效的对采用自学习模式的机器人的交互输出进行内容过滤，从而保持机器人输出内容的纯洁性。

Description

一种针对机器人自主学习的输出内容过滤方法及机器人

技术领域

本发明涉及机器人领域，具体说涉及一种针对机器人自主学习的输出内容过滤方法及机器人。

背景技术

随着机器人技术的不断发展，机器人的智能水平不断提高，机器人的交互应答的智能化程度也不断提高。

为了进一步提高机器人的交互应答的智能化水平，越来越多的机器人具备了自主学习能力。随着机器人自主学习能力的增强，机器人的新知识积累速度以及新知识量不断提高。

然而，现有的机器人并不能很好的辨别学习到的新知识是否正确。这就导致机器人基于自主学习获取的新知识所做出的交互回应可能会包含错误的或者是不恰当的输出内容，机器人交互输出的内容纯净度(例如语言纯净度)得不到保证。

因此，为了保持交互输出的内容纯净度，需要一种针对机器人自主学习的输出内容过滤方法。

发明内容

为了保持交互输出的内容纯净度，本发明提供了一种针对机器人自主学习的输出内容过滤方法，所述方法包括：

采集用户反馈；

分析所述用户反馈中是否包含针对最近一个交互输出的评价；

当所述用户反馈中包含所述评价时分析所述评价以确定所述交互输出中的需过滤内容；

将所述需过滤内容加入过滤内容库；

基于所述过滤内容库调整之后的交互输出。

在一实施例中，将所述需过滤内容加入过滤内容库，其中，对所述需过滤内容进行审核，根据通过审核的所述需过滤内容加入所述过滤内容库。

在一实施例中，对所述需过滤内容进行审核，其中，所述审核包括：

置信度审核，计算所述需过滤内容的置信度，当所述置信度大于设置的阀值时所述需过滤内容通过审核。

在一实施例中：

将所述需过滤内容加入过滤内容候选库；

对所述过滤内容候选库的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库；

对所述过滤内容备选库的内容进行第二次审核，将通过第二次审核的需过滤内容加入所述过滤内容库。

在一实施例中，基于所述过滤内容库调整之后的机器人输出，其中：

基于所述过滤内容库对机器人需要输出的交互输出添加过滤标记，所述过滤标记对应所述交互输出中需要过滤的输出内容；

根据所述过滤标记对机器人需要输出的交互输出进行内容过滤调整。

本发明还提出了一种机器人，所述机器人包括：

采集模块，其配置为采集用户反馈；

评价确认模块，其配置为分析所述用户反馈中是否包含针对最近一个交互输出的评价；

评价分析模块，其配置为当所述用户反馈中包含所述评价时分析所述评价以确定所述交互输出中的需过滤内容；

存储模块，其配置为存储过滤内容库并将所述需过滤内容加入所述过滤内容库；

输出调整模块，其配置为基于所述过滤内容库调整之后的交互输出。

在一实施例中，所述存储模块还配置为对所述需过滤内容进行审核，将通过审核的所述需过滤内容加入所述过滤内容库。

在一实施例中，所述存储模块还配置为对所述需过滤内容进行审核，其中，所述审核包括：

置信度审核，计算所述需过滤内容的置信度，当所述置信度大于设置的阀值时所述需过滤内容通过审核。

在一实施例中，所述存储模块配置为：

将所述需过滤内容加入过滤内容候选库；

对所述过滤内容候选库的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库；

对所述过滤内容备选库的内容进行第二次审核，将通过第二次审核的需过滤内容加入所述过滤内容库。

在一实施例中，所述输出调整模块配置为：

基于所述过滤内容库对机器人需要输出的交互输出添加过滤标记，所述过滤标记对应所述交互输出中需要过滤的输出内容；

根据所述过滤标记对机器人需要输出的交互输出进行内容过滤调整。

根据本发明的方法，可以有效的对采用自学习模式的机器人的交互输出进行内容过滤，从而保持机器人输出内容的纯洁性。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明一实施例的方法流程图；

图2以及图3分别是根据本发明两个实施例的方法部分流程图；

图4是根据本发明一实施例的机器人逻辑结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着机器人技术的不断发展，机器人的智能水平不断提高，机器人的交互应答的智能化程度也不断提高。

为了进一步提高机器人的交互应答的智能化水平，越来越多的机器人具备了自主学习能力。随着机器人自主学习能力的增强，机器人的新知识积累速度以及新知识量不断提高。

然而，现有的机器人并不能很好的辨别学习到的新知识是否正确。这就导致机器人基于自主学习获取的新知识所做出的交互回应可能会包含错误的或者是不恰当的输出内容，机器人交互输出的内容纯净度(例如语言纯净度)得不到保证。

因此，为了保持交互输出的内容纯净度，本发明提出了一种针对机器人自主学习的输出内容过滤方法。本发明的基本原理是对机器人经由自主学习而生成并输出的交互内容进行过滤，从而避免机器人输出错误的或是不恰当的交互内容，进而保持采用自主学习方案的机器人的交互输出的内容纯净度。

在本发明的方法中，其关键过程之一在于如何对机器人输出的交互内容进行过滤。针对上述问题，在本发明的方法中，采用了基于过滤内容库的过滤方式。

即预先构造过滤内容库，在过滤内容库中存储需要过滤的交互内容的样本 (不能输出的内容)。当机器人进行交互输出时，拦截机器人最初生成的待输出交互内容；基于过滤内容库中的过滤样本对待输出交互内容进行对比分析，将待输出交互内容中与过滤样本对应的内容(需要过滤的内容)过滤掉，将进行完过滤处理的交互内容作为最终的输出内容进行交互输出。这样就能保证输出的交互内容中不会包含需要过滤的内容(与过滤样本对应的内容)，从而保持了交互输出的内容纯净度。

然而，对于采用自主学习模式的机器人来说，其交互输出的基本模式是：采用自主学习的方式不断积累增加知识讯息，并利用知识讯息构成交互输出内容。也就是说，机器人输出的交互内容中很可能包含新进学习的新知识讯息。由于知识讯息不断积累增加，因此初始状态下不可能预测将来所增加的知识讯息。这就导致预设的样本库中不可能包含可以对比分析所有知识讯息。随着知识讯息不断积累增加，基于预设的过滤内容库是不可能完成对交互输出内容的对比分析的。

为了解决预设的过滤内容库容量不够大的问题，在本发明中，采用了随着机器人自主学习进程不断扩充过滤内容库的机制。在自主学习过程，机器人自身并不能辨别的新学习的知识讯息是否是需要被过滤掉的内容，因此机器人自身也就无法自主的扩充过滤内容库。针对上述问题，在本发明中，利用第三方(交互对象)来间接的审核机器人新学习的知识，其具体原理如下。

机器人自主学习的最终成果往往会直接体现到机器人的交互输出中。即机器人会不断将新学习到知识讯息融入输出的交互内容中，虽然机器人本身并不能完美判断自身输出的内容是否错误或适当，但是作为机器人交互对象的用户，其具有判断机器人输出的内容是否错误或适当的能力。

因此，在本发明中，首先采集机器人交互对象(用户)的反馈；然后分析用户反馈中是否包含针对最近一个交互输出的评价；当用户反馈中包含评价时分析评价以确定最近一个交互输出中的需过滤内容；将需过滤内容加入过滤内容库。这样过滤内容库就得到了扩展。在之后的交互输出中，机器人基于扩展后的过滤内容库调整之后的交互输出，就能避免再次输出上述流程中的需过滤内容。

举例来说，机器人通过自主学习掌握了新名词A，名词A是一个不能应用于普通交互场合的名词。在之后的人机交互过程中机器人将名词A作为内容元素构成了交互内容。由于名词A是机器人新学习到的，因此原有的过滤内容库中并不存在与之对应的样本，这就到导致名词A直接输出给了用户。用户发现机器人的交互输出内容中存在名词A，所以在之后的回馈内容中向机器人指出名词A是不适当的、不能在当前的交互场合使用的(评价)。机器人通过对该评价的分析，将名词A加入过滤内容库。在之后的人机交互过程中，如果机器人再次将名词A 作为内容元素构成了交互内容。由于过滤内容库存在与名词A对应的样本，因此名词A被过滤掉，最终输出给用户的交互内容不会包含名词A。

接下来基于附图详细描述根据本发明具体实施例的方法的执行流程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本发明一实施例中，如图1所示，首先采集用户反馈(步骤S110)；然后分析用户反馈中是否包含针对最近一个交互输出的评价(步骤S120)，当用户反馈中不包含针对最近一个交互输出的评价时继续返回执行步骤S110；当用户反馈中包含评价时分析评价以确定最近一个交互输出中的需过滤内容(步骤S130)；接下来将需过滤内容加入过滤内容库，扩充过滤内容库(步骤S140)；最后在之后的交互输出中，基于扩展后的过滤内容库调整之后的交互输出(步骤S150)，就能避免再次输出上述流程中的需过滤内容。

在图1所示的步骤中，关键步骤之一在于步骤S120，判断用户反馈中是否包含针对最近一个交互输出的评价。具体的，在本发明一实施例中，机器人在与人进行交互的过程中，不断的用自然语言处理(NLP)相关技术判断用户的交互是否是对上次交互的有效反馈(评价)。比如用户反馈：“你怎么这么黄”“你这种说法是不礼貌的”“你这种说法用在这里不合适”等等。

进一步的，在图1所示的步骤中，关键步骤之一还在于步骤S140，扩充过滤内容库。步骤S140执行过程中需要解决的问题之一就是如何将需过滤内容加入过滤内容库。最简单的，在本发明一实施例中，将步骤S130中确定的需过滤内容直接作为过滤样本加入过滤内容库。

但是，基于这种直接加入的方法，在多次扩充过滤内容库后势必造成数据的混乱，并且随着多次将相近或相同内容的样本加入过滤内容库，过滤内容库中的数据冗余以及重复比率会大大增加，不但造成不必要的数据存储空间浪费(存储冗余重复的过滤内容库数据)，而且随着过滤内容库中内容的混乱程度以及重复冗余程度的增加，步骤S150中交互内容过滤调整的执行效率也会大大降低。

进一步的，步骤120以及步骤S130的执行均是建立在机器人对用户反馈内容的分析基础上的，当机器人分析理解错误时或者用户的反馈内容本身就包含错误信息时，步骤S130中确定的需过滤内容也就是错误的，如果直接将需过滤内容加入过滤内容库，就会造成在之后的交互输出时将不需要过滤的内容也过滤掉。

针对上述问题，为了保证加入到过滤内容库的需过滤内容确实有效，降低过滤内容库中内容的混乱程度、重复率，在本发明一实施例中，在步骤S140的执行过程中引入了审核机制。即在将需过滤内容加入过滤内容库的过程中对需过滤内容进行审核，将通过审核的需过滤内容加入过滤内容库。

在统计学中，一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。基于上述原理，在本发明一实施例中，对需过滤内容进行的审核包括置信度审核。具体的，计算需过滤内容的置信度，当置信度大于设置的阀值时需过滤内容通过审核。

进一步的，为了进一步审核需过滤内容，在本发明一实施例中，采用了多层审核的方式。即采用不同的审核机制多次递进式的对需过滤内容进行审核，当通过了当前审核时进入到下一层的审核，只有通过了所有审核才可以加入过滤内容库。

例如，在本发明一实施例中，首先将需过滤内容加入过滤内容候选库；然后对过滤内容候选库的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库；接着对过滤内容备选库的内容进行第二次审核，将通过第二次审核的需过滤内容加入过滤内容库。

具体的，在本发明一实施例中，如图2所示，首先获取图1中步骤S130确定的需过滤内容(步骤S200)；然后将需过滤内容加入过滤内容候选库(步骤 S210)；然后对过滤内容候选库的内容进行置信度审核，如果没通过置信度审核，则返回步骤S200；如果通过了置信度审核，则将需过滤内容加入过滤内容备选库 (步骤S230)；接着对过滤内容备选库的内容进行人工审核(步骤S240)，如果没通过人工审核，则返回步骤S200；如果通过了人工审核，则将需过滤内容加入过滤内容库(步骤S250)。

进一步的，在图1所示的步骤中，关键步骤之一还在于步骤S150，基于过滤内容库调整之后的机器人输出。在本发明一实施例中，首先基于过滤内容库对机器人需要输出的交互输出添加过滤标记，过滤标记对应交互输出中需要过滤的输出内容；然后根据过滤标记对机器人需要输出的交互输出进行内容过滤调整。

具体的，机器人的交互系统将相关结果集(生成的待输出的交互内容)交给过滤系统进行过滤，过滤系统将附加有相关过滤标志的结果集(待输出交互内容) 返回给交互系统。交互系统根据过滤标志进行结果集(待输出交互内容)的综合 (对标记有过滤标志的内容进行删除替换)，并得出最终的结果。

在具体应用环境中，很多机器人具有多模态的输出功能。即机器人包含多个不同模态的交互内容生成引擎，每个引擎对应生成一种模态的交互输出内容，机器人最终输出的交互内容是上述多个模态的交互内容的综合。

由于机器人最终输出的交互内容是上述多个模态的交互内容的综合，基于过滤内容库对综合的多模态交互内容进行过滤调整很容易造成不同模态间内容的混乱重复。为了解决这一问题，在本发明一实施例中，分别对每个模态的交互输出内容进行过滤调整，然后将过滤调整后的内容进行统一综合后再输出。

在一具体应用环境中，机器人具有三个交互内容生成引擎，思维引擎、自学习引擎以及情感引擎。根据本发明一实施例的方法，如图3所示，首先分别获取三个交互内容生成引擎的交互输出内容(步骤S300)，三个引擎分别各自生成交互输出内容到过滤系统；然后分别进行过滤标志标记(步骤S301)，由过滤系统分别对三个模态的交互输出内容进行过滤标志的标记并将标记后的内容分别返回给三个引擎；三个引擎接收到带有标记的内容后分别对交互输出内容进行过滤调整(步骤S302)，对带有过滤标记的内容进行删除或者替换；这样就得到了三个模态下的过滤完成的交互输出内容。

接下来将三个模态的交互输出内容进行综合，首先综合思维、自学习引擎的交互输出内容(在本发明其他实施例中，也可以先综合其他引擎的内容，综合的先后顺序并不是固定的)。首先执行步骤S310，判断思维、自学习引擎的交互输出内容的置信度差值是否足够大(是否大于预设的阈值)。如果置信度差值足够大，则说明思维、自学习引擎的交互输出内容可以分别输出，那么只需将这两个模态的交互输出内容简单组合就可以获取思维和自学习的综合内容(直接跳转到步骤S314)。

如果置信度差值不足够大，则说明思维、自学习引擎的交互输出内容不可以分别输出(具有一定的相关度)。那么接下来就执行步骤S311，判断两个模态的内容是否可以融合。如果可以融合，则执行步骤S312，进行内容融合，从而跳到步骤S314，获取思维和自学习的综合内容。

如果不可以融合，则执行步骤S313，抛弃两个模态的交互输出内容中的一个。从而跳到步骤S314，将剩下的一个模态的交互输出内容作为思维和自学习的综合内容。具体的，在步骤S313中，抛弃置信度较低的内容或是随机抛弃一个内容。

接下来将思维和自学习的综合内容与情感引擎的交互输出内容进行综合。首先执行步骤S320，判断思维和自学习的综合内容与情感引擎的交互输出内容的置信度差值是否足够大(是否大于预设的阈值)。如果置信度差值足够大，则说明两个交互输出内容可以分别输出，那么只需将这两个交互输出内容简单组合就可以获取三个引擎的综合内容(直接跳转到步骤S324)。

如果置信度差值不足够大，则说明两个交互输出内容不可以分别输出(具有一定的相关度)。那么接下来就执行步骤S321，判断两个内容是否可以融合。如果可以融合，则执行步骤S322 ，进行内容融合，从而跳到步骤S324，获取三个引擎的综合内容。

如果不可以融合，则执行步骤S323，抛弃两个交互输出内容中的一个。从而跳到步骤S324，将剩下的一个交互输出内容作为三个引擎的综合内容。具体的，在步骤S323 中，抛弃置信度较低的内容或是随机抛弃一个内容。

综上，根据本发明的方法，可以有效的对采用自学习模式的机器人的交互输出进行内容过滤，从而保持机器人输出内容的纯洁性。

基于本发明的方法，本发明还提出了一种可以对自身输出内容进行过滤的机器人。在本发明一实施例中，如图4 所示，机器人包括：

采集模块410，其配置为采集用户反馈；

评价确认模块420，其配置为分析用户反馈中是否包含针对最近一个交互输出的评价；

评价分析模块430，其配置为当用户反馈中包含评价时分析评价以确定交互输出中的需过滤内容；

存储模块440，其配置为存储过滤内容库445并将需过滤内容加入过滤内容库445；

输出调整模块450，其配置为基于过滤内容库调整之后的交互输出。

为了保证过滤内容库中样本的有效性，在本发明一实施例中，存储模块440 还配置为对需过滤内容进行审核，将通过审核的需过滤内容加入所述过滤内容库。具体的，在一实施例中，存储模块440还配置为对需过滤内容进行审核，其中，审核包括：置信度审核，计算需过滤内容的置信度，当置信度大于设置的阀值时需过滤内容通过审核。

进一步的，在一实施例中，存储模块440还配置为对需过滤内容进行多重审核。具体的，如图1所示，除过滤内容库445之外，存储模块440还包含过滤内容侯选库441、第一审核单元442、过滤内容备选库443、第二审核单元444。

存储模块440配置为：

将来自评价确认模块430的需过滤内容加入过滤内容候选库441；

由第一审核单元442对过滤内容候选库441的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库443；

由第二审核单元444对过滤内容备选库443的内容进行第二次审核，将通过第二次审核的需过滤内容加入过滤内容库445。

为了有效进行内容过滤，进一步的，在本发明一实施例中，输出调整模块450 配置为：

基于过滤内容库对机器人需要输出的交互输出添加过滤标记，过滤标记对应交互输出中需要过滤的输出内容；

根据过滤标记对机器人需要输出的交互输出进行内容过滤调整。

具体的，在本发明一实施例中，输出调整模块450分为两部分，其分别构造在机器人的交互内容生成系统以及内容过滤系统上。交互内容生成系统将待输出的交互内容输出到内容过滤系统，由内容过滤系统为交互输出内容添加过滤标记，然后将附加有过滤标记的交互输出内容返回给交互内容生成系统。交互内容生成系统根据过滤标记对机器人需要输出的交互输出进行内容过滤调整。

综上，本发明的机器人可以在自学习模式下仍然对自身的交互输出内容进行有效过滤，其输出内容的纯净度得到有效保持。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种针对机器人自主学习的输出内容过滤方法，其特征在于，所述方法包括：

采集用户反馈；

分析所述用户反馈中是否包含针对最近一个交互输出的评价；

当所述用户反馈中包含所述评价时分析所述评价以确定所述交互输出中的需过滤内容；

将所述需过滤内容加入过滤内容库；

基于所述过滤内容库调整之后的交互输出；

其中，在将所述需过滤内容加入过滤内容库的步骤中，对所述需过滤内容进行审核，根据通过审核的所述需过滤内容加入所述过滤内容库。

2.根据权利要求1所述的方法，其特征在于，对所述需过滤内容进行审核，其中，所述审核包括：

置信度审核，计算所述需过滤内容的置信度，当所述置信度大于设置的阀值时所述需过滤内容通过审核。

3.根据权利要求1所述的方法，其特征在于：

将所述需过滤内容加入过滤内容候选库；

对所述过滤内容候选库的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库；

对所述过滤内容备选库的内容进行第二次审核，将通过第二次审核的需过滤内容加入所述过滤内容库。

4.根据权利要求1所述的方法，其特征在于，基于所述过滤内容库调整之后的机器人输出，其中：

基于所述过滤内容库对机器人需要输出的交互输出添加过滤标记，所述过滤标记对应所述交互输出中需要过滤的输出内容；

根据所述过滤标记对机器人需要输出的交互输出进行内容过滤调整。

5.一种机器人，其特征在于，所述机器人包括：

采集模块，其配置为采集用户反馈；

评价确认模块，其配置为分析所述用户反馈中是否包含针对最近一个交互输出的评价；

评价分析模块，其配置为当所述用户反馈中包含所述评价时分析所述评价以确定所述交互输出中的需过滤内容；

存储模块，其配置为存储过滤内容库并将所述需过滤内容加入所述过滤内容库；所述存储模块进一步配置为对所述需过滤内容进行审核，将通过审核的所述需过滤内容加入所述过滤内容库；

输出调整模块，其配置为基于所述过滤内容库调整之后的交互输出。

6.根据权利要求5所述的机器人，其特征在于，所述存储模块还配置为对所述需过滤内容进行审核，其中，所述审核包括：

置信度审核，计算所述需过滤内容的置信度，当所述置信度大于设置的阀值时所述需过滤内容通过审核。

7.根据权利要求5所述的机器人，其特征在于，所述存储模块配置为：

将所述需过滤内容加入过滤内容候选库；

对所述过滤内容候选库的内容进行第一次审核，将通过第一次审核的需过滤内容加入过滤内容备选库；

对所述过滤内容备选库的内容进行第二次审核，将通过第二次审核的需过滤内容加入所述过滤内容库。

8.根据权利要求5所述的机器人，其特征在于，所述输出调整模块配置为：

基于所述过滤内容库对机器人需要输出的交互输出添加过滤标记，所述过滤标记对应所述交互输出中需要过滤的输出内容；

根据所述过滤标记对机器人需要输出的交互输出进行内容过滤调整。