CN113632113A - 信息处理系统和信息处理方法 - Google Patents

Abstract

提供了一种信息处理系统，其对于基于学习数据的累积而变化的算法，对源于累积的学习数据中的特定学习数据的影响度进行调整，并基于所述调整后新获得的学习数据，使算法进行重新学习。

Description

信息处理系统和信息处理方法

技术领域

本公开涉及信息处理系统和信息处理方法。

背景技术

相关技术中，已提出了用语音等自动响应来自用户的语音等的输入的AI代理系统。例如，专利文献1记载了对于来自用户的语句数据，AI代理通过话语进行响应的技术。

引文列表

专利文献

专利文献1：WO 2017/191696 A

发明内容

技术问题

同时，可以基于以学习数据的累积为基础的算法，输出AI代理等的响应。未来，估计随着关于基于学习数据的累积的算法的技术越来越为用户所熟悉，用户想要更方便地修正累积的学习数据。例如，假设由在一段时间内累积的学习数据生成的算法对用户来说是不方便的。然而，在此时段期间累积的学习数据可能包括对用户来说没有不便的学习数据。于是，当擦除在此时段期间累积的学习数据时，对用户来说没有不便的学习数据也被擦除，从而认为无法生成用户想要的算法的状态。

于是，估计未来将需要一种修正累积的学习数据并对算法进行重新学习的技术。然而，包括记载在专利文献1中的技术在内，还没有提出修正用于生成算法的学习数据本身的技术。

于是，鉴于上述情况，本公开提出一种对于基于已生成学习数据的累积的算法，通过事后修正用于生成该算法的学习数据，能够实现该算法的期望状态的信息处理系统和信息处理方法。

问题的解决方案

此外，按照本公开，提供一种信息处理系统，其中对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

此外，按照本公开的另一个方面，提供一种信息处理方法，其中对于基于学习数据的累积而变化的算法，处理器调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

附图说明

图1是图解说明按照第一实施例的信息处理系统和用户终端的示图。

图2是存储在按照第一实施例的信息处理设备中的学习历史数据的示意构成的例子。

图3是图解说明按照第一实施例的信息处理设备的构成的功能方框图。

图4是图解说明按照第一实施例的存储单元的构成例子的功能方框图。

图5是图解说明按照第一实施例的处理单元的构成的功能方框图。

图6是图解说明按照第一实施例的生成单元的构成的功能方框图。

图7是图解说明按照第一实施例的用户终端的构成的功能方框图。

图8是图解说明按照第一实施例的信息处理设备与用户终端之间的信息的发送和接收的例子的流程图。

图9是图解说明按照第一实施例的信息处理设备与用户终端之间的信息的发送和接收的例子的流程图。

图10是图解说明按照第一实施例的信息处理设备与用户终端之间的信息的发送和接收的例子的流程图。

图11是图解说明按照第一实施例的记录在交流DB中的信息、知识DB的更新历史和推荐DB的更新历史的例子的示图。

图12是图解说明在与交流有关的信息的删除前后生成的输出信息，以及基于在所述删除前后的输出信息的变化的处理内容的示图。

图13是用于说明关于记录在交流DB中的输出的信息被修正的示图。

图14是图解说明按照本公开的实施例的信息处理设备的交流DB的更新处理的流程图。

图15是图解说明按照第二实施例的信息处理设备的构成的功能方框图。

图16是图解说明按照第二实施例的存储单元的构成的功能方框图。

图17是图解说明按照第二实施例的记录在交流DB中的信息、知识DB的更新历史和推荐DB的更新历史的例子的示图。

图18是图解说明按照第二实施例的处理单元的构成的功能方框图。

图19是图解说明按照第二实施例的生成单元的构成的功能方框图。

图20是图解说明按照第二实施例的参数更新处理的例子的流程图。

图21是图解说明按照第二实施例的信息处理设备使算法进行重新学习的处理的概况的示图。

图22是图解说明按照第二实施例的交流更新处理的流程图。

图23是图解说明包括多个装置的信息处理系统的例子的示图。

图24是图解说明信息处理设备的构成的功能方框图。

图25是图解说明按照本公开的实施例的构成用户终端或信息处理系统的信息处理设备的硬件构成的构成例子的功能方框图。

具体实施方式

下面将参考附图，详细说明本公开的优选实施例。注意在本说明书和附图中，功能构成实质相同的组件用相同的附图标记表示，并且省略重复的说明。

注意，将按照以下顺序进行说明。

1.第一实施例

1.1.信息处理系统

1.2.用户终端

1.3.信息处理系统与用户终端之间的信息的发送和接收

1.4.算法重新学习方法

2.第二实施例

2.1.信息处理设备的构成

2.2.处理例子

3.应用例

4.变形例

5.硬件构成例子

6.补充

<1.第一实施例>

<<1.1.信息处理系统>>

首先将参考图1，说明按照第一实施例的信息处理系统1。如图1中图解所示，按照第一实施例的信息处理系统1包括信息处理设备10。下文中，在第一实施例中，假设信息处理系统1与信息处理设备10相同。信息处理设备10经由网络30连接到用户终端20。

信息处理设备10具有按照来自用户的输入信息，使用基于学习数据的累积而生成的算法来生成输出信息的功能。此外，信息处理设备10根据需要，使所述算法进行重新学习。

用户终端20具有经由网络30，将来自用户的输入信息发送给信息处理设备10，并按照来自信息处理设备10的响应向用户进行各种输出(例如，图像或语音的输出)的功能。在本实施例中，终端设备20实现通过AI代理的输出。这里，AI代理是充当基于算法输出的语音或图像的主题的角色。所述角色可以是虚构角色或者真实角色。

注意，网络30可以包括诸如电话线路网、因特网或卫星通信网之类的公共线路网、局域网(LAN)、广域网(WAN)等。此外，网络30可以包括诸如网际协议虚拟专用网(IP-VPN)之类的专用线路网。

上述算法基于在信息处理设备10中累积的学习数据。即，所述算法是基于学习数据的学习结果。按照本实施例的信息处理设备10存储算法的学习历史。

这里，将参考图2，说明存储在按照第一实施例的信息处理设备10中的学习历史数据40的例子。图2是存储在按照第一实施例的信息处理设备10中的学习历史数据40的示意构成的例子。图2中图解所示的学习历史数据40是通过按时序布置算法的学习内容而构成的数据。图2中，按时序布置了学习编号为A～C的3次学习的学习内容。

例如，在编号A的学习中，在时间A学习了学习内容A的内容。此外，在编号B的学习中，在时间B学习了学习内容B的内容。此外，在编号C的学习中，在时间C学习了学习内容C的内容。注意，在每个时间，基于与每次学习对应的学习数据，进行算法的学习。在本实施例中，如上所述，基于累积的学习数据进行算法的学习。

注意，图2中图解所示的学习历史数据40具有其中按时序布置学习数据和学习内容的构成，不过，学习历史数据的构成不限于此。另外，图2中图解说明了学习编号A～C的3次学习历史，不过，学习历史数据可以具有2次或更少的学习历史，或者4次或更多的学习历史。此外，在一次学习中，可以使用多个学习数据，或者可以进行多次学习。

此外，学习数据并无特别限制，但是可以基于例如在算法的使用环境下累积的数据。结果，基于学习数据的累积的算法可以是根据用户的算法的使用环境的算法。于是，信息处理系统1可以更适当地实现用户期望的算法的状态。

此外，学习数据可以包括关于来自算法的输出信息的数据，所述输出信息基于用户对于算法的输入信息。结果，按照来自用户的日常输入信息和基于所述输入信息的输出信息来学习算法。所述输入信息和输出信息可以包括特定于用户的信息。于是，信息处理系统1可以更适当地基于学习数据，实现用户期望的算法的状态。

接下来将参考图3，说明按照第一实施例的信息处理设备10的构成。图3是图解说明按照第一实施例的信息处理设备10的构成的功能方框图。

信息处理设备10具有对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习的功能。信息处理设备10的功能是通过包含在信息处理设备10中的存储单元110、处理单元120、分析单元130、生成单元140、输出控制单元150和通信控制单元160的协同实现的。下面，将说明包含在信息处理设备10中的各个功能单元。

存储单元110具有存储各种信息的功能。存储在存储单元110中的各种信息根据需要由处理单元120、分析单元130、生成单元140或通信控制单元160参考。

这里，参考图4，将更详细地说明按照本实施例的存储单元110。图4是图解说明按照第一实施例的存储单元110的构成例子的功能方框图。如图4中图解所示，存储单元110包括知识DB 111、推荐DB 112、交流DB 113和学习DB 114。

在知识DB 111中，例如，记录分析单元130用于分析来自用户的输入信息的各种信息。例如，在知识DB 111中记录关于各种词语的语义内容的信息。例如，在知识DB 111中记录各种词语的字典语义内容。此外，在知识DB 111中记录特定于用户的词语的语义内容。例如，词语“群马”通常意味着群马县。不过，取决于用户，词语“群马”可能意味着人的名字(例如，“岩佐”这个人的名字)。这种情况下，知识DB 111存储词语“群马”可能指的是“岩佐”这个人的名字。或者，在知识DB 111中，可以以概率的方式定义各种词语的含义。例如，知识DB111可以记录词语“群马”有70％的概率意味着“岩佐”这个人的名字。

此外，知识DB 111可以存储用户数据，所述用户数据是关于用户的数据。注意，用户数据可以包含在使算法进行学习的学习数据中。结果，用户可以修正包含在学习数据中的关于用户自身的信息。结果，信息处理设备10可以使算法更适当地进行重新学习，从而可以更适当地实现用户期望的算法的状态。

此外，在知识DB 111中，可以记录关于天气或新闻的信息。此外，在知识DB 111中，例如，可以记录诸如用户输入的备忘录或提醒之类的信息。此外，在知识DB 111中，可以记录用于进行Web提取或商品提取的信息。

在推荐DB 112中，记录由后面说明的推荐信息生成单元142用于生成输出信息的各种数据。例如，在推荐DB 112中，可以记录关于用户的偏好的数据。例如，假设用户每天都听名为“群马”的人的歌曲，并且关于该事实的信息被输入存储单元110中。这种情况下，在推荐DB 112中，可以记录“群马”的歌曲的播放列表。此外，在推荐DB 112中，例如，可以记录对各种歌曲给出推荐分数的评分列表，比如歌曲A的推荐分数为0.2，歌曲B的推荐分数为0.8。此外，在推荐DB 112中，可以记录关于要向用户推荐的音乐、购买等的信息。

记录在推荐DB 112中的信息被传送给生成单元140，由生成单元140用于生成输出信息。

交流DB 113累积来自用户的输入信息，和关于基于算法针对该输入信息的输出信息的数据。例如，假设在某天，用户向信息处理系统1输入请求播放“群马”的歌曲的输入信息。结果，假设信息处理系统1基于所述算法，生成了用于播放“群马”的歌曲的输出信息，并将该输出信息输出到了例如用户终端20。此时，在交流DB 113中，记录所述输入信息、所述输出信息的内容、输入和输出这些信息的时间等。

在本实施例中，以这种方式记录在交流DB 113中的信息(例如，关于输入信息和输出信息的信息)用作用于提取记录在后面说明的学习DB 114中的学习数据的标签信息。在第一实施例中，记录在交流DB 113中的信息还用于更新记录在知识DB 111或推荐DB 112中的信息。

当获取输入信息时，按照本实施例的信息处理设备10基于记录在知识DB 111和推荐DB 112中的信息，生成输出信息。于是，在信息处理设备10执行的用于生成输出信息的算法中，使用记录在知识DB 111和推荐DB 112中的信息。于是，当基于记录在交流DB 113中的学习数据的累积，更新记录在知识DB 111或推荐DB 112中的信息时，上述算法发生变化。

注意，每次输入和输出输入信息和输出信息时，可以更新记录在知识DB 111或推荐DB 112中的信息。这种情况下，每次输入和输出输入信息和输出信息时，信息处理设备10生成输出信息的算法发生变化。

学习DB 114记录学习数据。学习数据的记录可以基于用户的指令进行，或者可以由信息处理系统1在后台自动进行。学习数据例如可以包括为输出所需的各种信息，比如用户的指令的内容、用户的状况和用户周围的环境。此外，学习数据可以包括用于估计结果(例如，后面说明的分析单元130的分析结果或推荐信息生成单元145的推荐结果)的适当程度的指标。所述指标例如可以是来自用户的对于分析或推荐的反馈(FB)。记录用于由信息处理设备10生成输出信息的算法的学习历史。在学习DB 114中，例如，如图2中图解所示，可以记录按时序布置学习内容的格式的学习历史。注意，在记录在学习DB 114中的信息中，可以不记录学习数据本身。这种情况下，在学习DB 114中，可以记录使学习历史与对应于该学习历史的学习数据关联的信息。

(处理单元)

处理单元120具有对存储在存储单元110中的信息进行各种处理的功能。处理单元120具有调整源于累积的学习数据中的特定学习数据的影响度的功能。此外，处理单元120具有使算法基于调整之后获得的新的学习数据进行重新学习的功能。处理单元120的处理结果根据需要被传送到分析单元130或存储单元110中的至少一个。注意，影响度的调整和对于算法的学习将在后面参考图5说明。

在本实施例中，在处理单元120调整影响度之后，进行算法的重新学习。注意，所述影响度例如可以是对基于算法的输出信息的影响度。于是，通过调整影响度，修正输出信息。于是，信息处理设备10可以通过调整影响度，生成对用户来说更适当的输出信息。

此外，所述特定学习数据可以由用户指定。当用户指定特定学习数据时，调整源于用户所期望的学习数据的影响度。结果，信息处理设备10可以更适当地实现用户所期望的算法的状态。

此外，所述特定学习数据可以包括用户数据，所述用户数据是关于用户的数据。通过调整源于用户数据的影响度，可以更适当地实现用户所期望的算法的状态。结果，信息处理设备10可以进一步循着关于用户的数据，生成输出信息。

此外，用户数据可以包括关于用户的位置的位置信息。结果，信息处理设备10可以进一步循着用户的位置生成内容的输出信息。此外，用户数据可以包括关于用户的偏好的信息。结果，信息处理设备10可以生成内容更适合于用户的偏好的输出信息。

此外，处理单元120可以按照用户数据的变化，对算法进行重新学习。结果，在存在用户数据的变化的情况下，信息处理设备10能够按照所述变化实现算法的状态，并生成更适当的输出信息。

将参考图5，更详细地说明处理单元120。图5是图解说明按照第一实施例的处理单元120的构成的功能方框图。如图5中图解所示，通过获取学习数据，并对学习数据进行修正等，处理单元120能够输出修正后的学习数据。此外，如图5中图解所示，处理单元120包括更新单元121、提取单元122、判定单元123和修正单元124。功能单元生成的信息可以在这些功能单元之间适当地传送。

更新单元121具有更新记录在存储单元110的知识DB 111或推荐DB 112中的至少一个中的各种信息的功能。例如，更新单元121按照来自用户的输入信息，更新各种信息。此外，更新单元121按照记录在学习DB 114中的学习数据的变化，更新各种信息。例如，当记录在学习DB 114中的学习数据被删除、修正等时，更新单元121可以更新记录在推荐DB 112中的推荐分数等。

按照本实施例的信息处理设备10执行“获取输入信息，并基于记录在知识DB 111或推荐DB 112中的各种信息，生成输出信息”的算法。在本实施例中，更新记录在知识DB111或推荐DB 112中的各种信息对应于算法的重新学习。

提取单元122具有提取记录在存储单元110中的各种信息的功能。更具体地，提取单元122基于其中记录关于输入信息的数据的数据库，从算法的学习历史中提取匹配预定条件的特定学习历史。例如，匹配预定条件的特定学习历史可以是用户想要删除的学习历史。匹配预定条件的特定学习历史用于算法的重新学习。例如，当特定学习历史被删除时，确定没有学习历史，并进行算法的重新学习。

此外，学习数据可以与学习历史关联。按照本实施例的信息处理设备10可以调整源于学习数据的影响度。通过调整影响度，进行算法的重新学习。结果，信息处理设备10可以生成对用户来说更适当的输出信息。

按照第一实施例的提取单元122基于其中记录关于输入信息的数据的交流DB113，从学习DB 114提取匹配预定条件的特定学习历史。在第一实施例中，匹配预定条件的特定学习历史例如可以是与基于包括用户所指定的关键字的学习数据的算法的学习有关的历史。于是，按照第一实施例的提取单元122提取基于包括用户所指定的关键字的学习数据的学习历史。

例如，提取单元122从用户获取请求提取关键字“群马”的输入信息。此时，提取单元122可以从存储单元110的知识DB 111、推荐DB 112或交流DB 113中的至少一个提取包括关键字“群马”的信息。此外，按照本实施例的提取单元122可以从学习DB 114，提取指示已基于包含该关键字的学习数据进行了学习的学习历史。

判定单元123具有进行各种判定的功能。例如，判定单元120可以判定记录在交流DB 113中的输出信息与生成单元140所生成的输出信息之间的变化的大小。由判定单元123判定的结果被传送给修正单元124。注意如后所述，修正单元124基于所述判定结果，删除或修正学习数据。

修正单元124具有调整源于学习数据的影响度的功能。更具体地，按照第一实施例的修正单元124具有通过删除或修正记录在学习DB 114中的学习数据，调整源于学习数据的影响度的功能。例如，修正单元124可以删除或修正记录在学习DB 114中的指示输出信息的信息。

如上所述，记录在交流DB 113中的交流信息等影响算法。修正单元124可以通过删除或修正记录在学习DB 114中的学习数据，调整源于学习数据的影响度。更具体地，修正单元124可以通过删除学习数据，消除源于该学习数据的对算法的影响度。此外，修正单元124可以通过修正学习数据，增大或减小源于该学习数据的对算法的影响度。这样，修正单元124可以通过删除或修正记录在学习DB 114中的学习数据，调整源于学习数据的影响度。

此外，记录在知识DB 111或推荐DB 112中的信息是基于记录在学习DB 114中的学习数据的信息。于是，修正单元124删除或修正记录在学习DB 114中的学习数据(例如，关于输入信息和输出信息的信息)，从而，重新学习记录在知识DB 111或推荐DB 112中的信息。这样，按照本实施例的信息处理设备10调整源于学习数据的影响度，并使算法进行重新学习。

(生成单元)

生成单元140具有基于存储在存储单元110中的信息，生成各种输出信息的功能。生成的输出信息被传送给输出控制单元150。将参考图6更详细地说明生成单元140的功能。图6是图解说明按照第一实施例的生成单元140的构成的功能方框图。如图6中图解所示，生成单元140包括确认信息生成单元141和推荐信息生成单元142。

确认信息生成单元141具有生成用于供用户进行各处的确认的输出信息的功能。例如，当修正单元124删除记录在学习DB 114中的学习数据时，确认信息生成单元141可以生成用于与用户确认该学习数据是否可以被删除的输出信息。

推荐信息生成单元142生成用于向用户进行各种推荐的输出信息。例如，推荐信息生成单元142可以生成用于播放用户所期望的音乐的输出信息。此时，推荐信息生成单元142可以基于记录在推荐DB 112中的推荐分数等，确定要推荐给用户的内容，并生成输出信息。

(输出控制单元)

输出控制单元150具有控制输出信息的输出的功能。例如，输出控制单元150可以将从生成单元140获取的输出信息转换成用于使其他终端输出的信息。例如，在输出信息包括文本信息的情况下，输出控制单元150可以将文本信息的内容转换成语音信息，以便作为语音输出。输出控制单元150将各种获取或生成的信息传送给通信控制单元160。注意，输出控制单元150可以将从生成单元140传送的输出信息原样传送给通信控制单元160。

(通信控制单元)

通信控制单元160具有控制信息处理设备10与各种装置之间的各种信息的发送和接收的功能。例如，通信控制单元160控制从输出控制单元150传送的信息经由网络30从信息处理设备10到用户终端20的发送。此外，通信控制单元160控制信息处理设备10从外部装置(例如，用户终端20)的各种信息的接收。接收的各种信息经由通信控制单元160，被传送给存储单元110、处理单元120或分析单元130。

<<1.2.用户终端>>

接下来将参考图7，说明按照第一实施例的用户终端20的构成。图7是图解说明按照第一实施例的用户终端20的构成的功能方框图。如图7中图解所示，用户终端20包括通信控制单元210和输出控制单元220。

(通信控制单元)

通信控制单元210具有控制用户终端20与各种装置(例如，信息处理设备10)之间的各种信息的发送和接收的功能。通信控制单元160获取输入信息，并控制向信息处理设备10的输入信息的发送。注意，输入信息可以基于用户的操作而输入到用户终端20，或者可以自动从各种装置输入。此外，通信控制单元210控制与从信息处理设备10发送的输出信息有关的信息的接收，与接收的输出信息有关的信息被传送给输出控制单元220。

(输出控制单元)

输出控制单元220控制用户终端20进行的各种输出。例如，输出控制单元220将与从信息处理设备10发送的输出信息有关的信息传送给包含在用户终端20中的输出装置，从而使所述输出装置进行各种输出。例如，输出控制单元220可以控制输出装置播放音乐。

<<1.3.信息处理系统与用户终端之间的信息的发送和接收>>

接下来将参考图8-10，说明按照第一实施例的信息处理设备10与用户终端20之间的信息的发送和接收。图8-10是图解说明按照第一实施例的信息处理设备10与用户终端20之间的信息的发送和接收的例子的流程图。首先将参考图8，说明按照第一实施例的信息处理设备10与用户终端20之间的信息(输入信息和输出信息)的发送和接收(下面也称为“信息处理设备10与用户终端20之间的交流”)的例子。

在图8中图解所示的例子中，信息处理设备10按照从用户终端20发送的输入信息，生成输出信息。用户终端20接收生成的输出信息，并按照所述输出信息，向用户输出各种信息。下面将参考图8，更详细地说明信息处理设备10与用户终端20之间的信息的发送和接收。

首先，用户终端20获取输入信息(步骤S102)。更具体地，包含在用户终端20中的通信控制单元210获取来自用户的输入信息。例如，通信控制单元210获取指示“群马的最喜欢歌曲是XX”的语音信息作为输入信息。接下来，用户终端20将输入信息发送给信息处理设备10(步骤S104)。

接下来，信息处理设备10接收输入信息(步骤S106)。接收的输入信息经由通信控制单元160被传送给分析单元130。

接下来，分析单元130分析输入信息(步骤S108)。更具体地，分析单元130基于存储在知识DB 111中的各种信息等，分析输入信息的语义内容。例如，假设知识DB 111记录词语“群马”只具有“群马县”的含义。这种情况下，分析单元130无法理解输入信息的语义内容，并将输入信息“群马的最喜欢歌曲是XX”前后矛盾的分析结果输出到存储单元110。此时，存储单元110将分析单元130所分析的结果记录在交流DB 113中。更具体地，存储单元110将“群马的最喜欢歌曲是XX”的输入信息与发送该输入信息的时间关联地存储在交流DB 113中。

接下来，生成单元140生成输出信息(步骤S110)。更具体地，生成单元140基于分析单元130所分析的结果和存储在存储单元110中的信息，输出输出信息。例如，生成单元140生成语音信息“群马是什么？”作为输出信息，并将输出信息传送给输出控制单元150。此时，存储单元110将输出信息“群马是什么？”与在步骤S108中记录的信息关联地记录在学习DB114中。此时，存储单元110将交流记录在交流DB 113中。更具体地，存储单元110将交流的时间以及交流的内容记录在交流DB 113中。

接下来，信息处理设备10将输出信息发送给用户终端20(步骤S112)。

接下来，用户终端20输出该输出信息(步骤S114)。更具体地，通信控制单元210获取发送给用户终端20的输出信息，并将输出信息传送给输出控制单元220。输出控制单元220基于输出信息，使包含在用户终端20中的输出装置输出该输出信息。这里，输出装置输出语音信息“群马是什么？”作为输出信息。

上面描述了信息处理设备10与用户终端20之间的信息的发送和接收的例子。如上所述，输入信息和输出信息被记录在学习DB 114中并用作学习数据。

接下来将参考图9，说明关于按照第一实施例的信息处理设备10与用户终端20之间的交流的第二个例子。图9中图解所示的交流与图8中图解所示的交流例子的不同之处在于，信息处理设备10基于输入信息，更新记录在知识DB 111和推荐DB 112中的信息。

首先，用户终端20获取输入信息(步骤S202)。更具体地，通信控制单元210获取来自用户的输入信息。例如，通信控制单元210获取语音信息“群马是我朋友岩佐的昵称”作为输入信息。

接下来，进行步骤S204和S206中的处理，不过，步骤S204和S206中的处理与步骤S104和S106中的处理实质相同，从而这里省略其说明。

当步骤S206中的处理结束时，信息处理设备10分析输入信息(步骤S208)。更具体地，分析单元130基于记录在知识DB 111中的信息，分析输入信息的语义内容。分析单元130将分析结果传送给处理单元120。

接下来，更新单元121更新记录在知识DB 111中的信息(步骤S210)。更具体地，更新单元121在知识DB 111中记录“群马”是用户的朋友。此外，这里，假设信息“群马的最喜欢歌曲是XX”被记录在知识DB 111中。此时，更新单元121基于步骤S208中的分析结果，在知识DB 111中记录“群马”喜欢歌曲XX。另外，更新单元121在推荐DB 112中创建群马喜欢的歌曲的播放列表。此外，更新单元121将群马喜欢的歌曲XX添加到该播放列表中。

上面参考图9，说明了信息处理设备10与用户终端20之间的交流的例子。在图9中图解所示的例子中，信息处理设备10按照来自用户终端20的输入信息，更新存储在存储单元110中的信息。结果，信息处理设备10能够生成进一步符合用户的期望的输出信息。例如，在输入“播放群马的最喜欢歌曲”的输入信息的情况下，信息处理设备10可以生成用于使用户终端20输出作为群马的最喜欢歌曲的XX的输出信息。

接下来将参考图10，说明关于按照本实施例的信息处理设备10与用户终端20之间的交流的第三个例子。在第三个例子中，除了按照第二个例子的处理之外，增加了信息处理设备10将输出信息发送给用户终端20，并且用户终端20输出该输出信息的处理。下面将参考图10，说明第三个例子。

首先，用户终端20获取输入信息(步骤S302)。更具体地，通信控制单元210获取来自用户的输入信息。例如，通信控制单元210获取语音信息“播放群马的歌曲”作为输入信息。

接下来，进行步骤S304～S308的处理，不过，由于步骤S304～S306的处理与步骤S204～S208的处理实质相同，因此这里省略其说明。

当步骤S308中的处理结束时，信息处理设备10生成输出信息(步骤S310)。更具体地，推荐信息生成单元142基于分析单元130的分析结果和记录在推荐DB 112中的信息，生成输出信息。例如，推荐信息生成单元142生成用于播放存储于推荐DB 112中的群马的最喜欢播放列表中包含的歌曲的输出信息。要播放的歌曲可以是推荐分数最高的歌曲，或者具有例如从前5％中随机选择的推荐分数的歌曲。推荐信息生成单元142将输出信息传送给输出控制单元150。

接下来，信息处理设备10将输出信息发送给用户终端20(步骤S312)。

接下来，信息处理设备10更新存储在存储单元110中的信息(步骤S314)。例如，更新单元121增加由推荐信息生成单元142选择的歌曲的推荐分数。另外，更新单元121将输入的输入信息和输出的输出信息记录在学习DB 114中。另外，在交流DB 113中记录交流的时间、交流的内容等。

接下来，用户终端20输出该输出信息(步骤S316)。更具体地，通信控制单元210获取发送给用户终端20的输出信息，并将获取的输出信息传送给输出控制单元220。输出控制单元220使输出装置输出该输出信息。结果，例如，输出装置播放包含在群马喜欢的播放列表中的歌曲。

上面参考图10，说明了按照本实施例的信息处理设备10与用户终端20之间的交流的第三个例子。按照第三个例子，信息处理设备10按照来自用户终端20的信息，生成输出信息，并将生成的输出信息发送给用户终端20。此外，信息处理设备10按照输入信息和输出信息，更新存储在存储单元110中的信息。

在使用图8-10的上述说明中，基于包含名词“群马”的输入信息，生成关于“群马”的输出信息。本发明不限于此，可以基于不包含名词“群马”的输入信息，生成关于“群马”的输出信息。即，用户还可以在不说出词语“群马”的情况下，指令信息处理设备10隐含地生成关于“群马”的输出信息。

例如，假设在步骤S302，用户输入诸如“播放与昨天听过的歌曲风格相似的歌曲”之类的语音信息作为输入信息。该语音信息不包含词语“群马”，但是“昨天听过的歌曲”意味着“群马的歌曲”。随后在步骤S308，分析单元130可以基于记录在知识DB 111中的信息，分析包含在用户的输入信息中的“昨天听过的歌曲”意味着“群马的歌曲”。结果，在步骤S310，推荐信息生成单元142生成用于使用户终端20播放风格与“群马的歌曲”相似的歌曲的输出信息。响应于此，在步骤S314，更新单元121增加存储在推荐DB 112中的风格与“群马的歌曲”相似的歌曲的推荐分数。此外，在步骤S316，用户终端20播放风格与“群马的歌曲”的风格相似的歌曲。

这里，说明了在步骤S302，用户输入语音信息“播放与昨天听过的歌曲风格相似的歌曲”的例子。不过，可以向用户终端20输入语音信息“播放与昨天听过的歌曲完全不同的歌曲”。这种情况下，推荐信息生成单元142生成用于使用户终端20播放风格与“群马的歌曲”完全不同的歌曲的输出信息。结果，用户终端20可以播放风格与“群马的歌曲”的风格完全不同的歌曲。此外，更新单元121可以增加记录在推荐DB 112中的风格与“群马的歌曲”完全不同的歌曲的推荐分数。

如上所述，根据按照本实施例的信息处理设备10和用户终端20，用户可以在不直接说出名词“群马”的情况下，使用户终端20输出关于“群马”的输出信息。此外，更新单元121还可以更新存储在存储单元110中的关于“群马”的各种信息。

上面，说明了按照本实施例的信息处理设备10与用户终端20之间的交流。接下来将参考图11，说明基于所述交流构建的交流DB 113、知识DB 111的更新历史和推荐DB 112的更新历史。图11是图解说明按照第一实施例的记录在交流DB 113中的信息、知识DB 111的更新历史和推荐DB 112的更新历史的例子的示图。

对于交流DB 113、知识DB 111的更新历史和推荐DB 112的更新历史中的每个，图11图解说明了5个信息(编号A～E)。例如，在交流DB 113的编号A中，作为时间信息，记录“2018/11/22PM 8:00”，并且作为交流信息，记录用户在家里输入了输入信息“群马的最喜欢歌曲是歌曲E”。分析单元130分析输入信息中的词语“群马”意味着“岩佐”这个人的名字。随后，更新单元121增大词语“群马”意味着“岩佐”的概率。更具体地，更新单元121将记录在知识DB 111中的词语“群马”意味着“岩佐”的概率从80％增大到81％。结果，分析单元130分析词语“群马”有81％的概率意味着“岩佐”的名字(昵称)。同时，更新单元121将存储在知识DB 111中的词语“群马”意味着县名“群马”的概率从20％减小到19％。结果，分析单元130分析词语“群马”有19％的概率意味着县名“群马”。另外，更新单元121将歌曲E添加到“群马”的最喜欢播放列表中，并将歌曲E记录在推荐DB 112中。

以下，类似于编号A，按照关于编号B～E的交流信息，更新知识DB 111和推荐DB112的记录。具体地，在交流DB 113的编号B中，作为时间信息，记录“2018/11/28PM 8:01”，并且作为交流信息，记录用户在家里输入了输入信息“播放群马的最喜欢歌曲”。响应于此，在知识DB 111中，“群马”意味着“群马县”的概率从19％更新为18％，而“群马”意味着“岩佐”的概率从81％更新为82％。

此外，在交流DB 113的编号C中，作为时间信息，记录“2018/11/28PM 8:02”，并且作为交流信息，记录用户在家里播放了群马的最喜欢播放列表中的歌曲A、B和E。响应于此，在知识DB 111中，“群马”意味着“群马县”的概率从18％更新为17％，而“群马”意味着“岩佐”的概率从82％更新为83％。

此外，在交流DB 113的编号D中，作为时间信息，记录“2018/11/28PM 8:15”，并且作为交流信息，记录用户在家里输入了输入信息“点赞”。推测该输入信息“点赞”是对编号C播放中的歌曲A、B和E的响应。于是，在推荐DB 112中，歌曲A的推荐分数从0.2更新为0.3，歌曲B的推荐分数从0.6更新为0.7，而歌曲E的推荐分数从0.0更新为0.5。

此外，在交流DB 113的编号E中，作为时间信息，记录“2018/11/28PM 8:20”，并且作为交流信息，记录用户在家里输入了输入信息“我的最喜欢卡通人物是群马”。响应于此，在知识DB 111中，“群马”意味着“群马县”的概率从17％更新为7％，而“群马”意味着“岩佐”的概率从82％更新为73％。此外，在知识DB 111中，增加“群马”是卡通人物的可能性，并且“群马”意味着卡通人物的概率从0％更新为20％。

如上所述，通过按照本实施例的信息处理设备10与用户终端20之间的交流，存储在信息处理设备10中的各种信息被更新。更具体地，存储在交流DB 113中的信息用作学习数据，并按照学习数据的累积，更新存储在知识DB 111和推荐DB 112中的信息。生成单元140基于存储在知识DB 111和推荐DB 112中的信息，生成输出信息。于是，随着学习数据被累积，供信息处理设备10输出所述输出信息的算法发生变化。

下面，将说明使以这种方式基于学习数据的累积而发生变化的算法进行重新学习的方法。更具体地，信息处理设备10调整源于学习数据的影响度，以使算法进行重新学习。如上所述，记录在学习DB 114中的作为学习数据的信息影响记录在知识DB 111或推荐DB112中的信息。按照本实施例的信息处理设备10通过对记录在交流DB 113中的信息进行修正等，调整对记录在知识DB 111或推荐DB 112中的信息的影响度。结果，进行算法的重新学习。

如上所述，交流DB 113包括与用户的输入信息有关的信息、与输出信息有关的信息、与存储单元110的状态变化有关的信息等。只要存储了这些信息中的至少一个，按照本实施例的信息处理设备10就可以使算法进行重新学习。这里，与用户的输入信息有关的信息可以是指示“谁/何时/何地/说了什么”等的信息。此外，与输出信息有关的信息可以是指示“信息处理设备10何时/何地/说了或推荐了什么”等的信息。此外，与存储单元110的状态变化有关的信息包括诸如知识DB 111的更新历史或推荐DB 112的更新历史之类的信息。

<<1.4.算法重新学习方法>>

<<<1.4.1.第一算法重新学习方法>>>

接下来，将说明信息处理设备10使算法进行重新学习的第一种方法。

在第一算法重新学习方法中，信息处理设备10从交流DB 113提取关键字，并基于提取结果，删除包含在知识DB 111、推荐DB 112和交流DB 113中的信息。

更具体地，提取单元122获取用于提取的关键字，并从交流DB 113提取关键字。注意，例如，关键字可以通过用户的操作输入到用户终端20，发送到信息处理设备10，并传送到提取单元122。这里，假设词语“群马”作为关键字被传送到提取单元122。提取单元122针对包含“群马”的信息搜索交流DB 113，并从学习DB 114提取学习数据。

接下来，修正单元124删除记录在学习DB 114中的包含“群马”的学习数据。例如，修正单元124删除记录在学习DB 114中的包含“群马”的学习数据，比如“群马的最喜欢歌曲是XX”、“群马是我朋友岩佐的昵称”和“播放群马的歌曲”。此外，修正单元124删除记录在知识DB 111中的指示“群马”意味着“岩佐”的信息。此外，修正单元124删除存储在推荐DB 112中的“群马”的最喜欢播放列表，并使“群马”的最喜欢歌曲的推荐分数恢复原始值。

结果，当作为输入信息，向信息处理设备10输入“播放群马的歌曲”的输入信息时，信息处理设备10分析该输入信息的内容前后矛盾。例如，包含在信息处理设备10中的确认信息生成单元141可以生成“群马是什么”的输出信息。同时，推荐信息生成单元142可以生成指示“没有群马喜欢的播放列表”的输出信息。

这样，通过从存储单元110中删除关于“群马”的信息，可以删除基于包含词语“群马”的学习数据对算法的影响。不过，仅仅如此也可能导致不便。

例如，通过使用上述关键字“群马”的提取，无法找到不包含词语“群马”的信息。例如，假设作为输入信息，向信息处理设备10输入“播放与昨天听过的歌曲风格相似的歌曲”的输入信息。在昨天听过的歌曲是群马的歌曲的情况下，与群马的歌曲相似风格的推荐分数被更新。这种情况下，不包含词语“群马”的输入信息直接影响推荐DB 112中的信息。

此外，假设向信息处理设备10输入“播放与昨天听过的歌曲完全不同的歌曲”的输入信息。在昨天听过的歌曲是群马的歌曲的情况下，在推荐DB 112中，风格与群马的歌曲完全不同的歌曲的推荐分数被更新。即，不包含词语“群马”的输入信息间接影响推荐DB 112中的信息。

如上所述，考虑存在用户期望从存储单元110中基于不包含“群马”的信息的输入信息删除影响的情况。于是，作为删除这些影响的方法，可以考虑例如预先在存储单元110中存储与各种数据有关的信息的方法。例如，可以想到在交流DB 113中存储“播放与昨天听过的歌曲风格相似的歌曲”和“播放与昨天听过的歌曲完全不同的歌曲”的输入信息，作为与“播放群马的歌曲”的信息关联的信息的方法。结果，在用关键字“群马”搜索交流DB 113的情况下，从交流DB 113中搜索到“播放与昨天听过的歌曲风格相似的歌曲”和“播放与昨天听过的歌曲完全不同的歌曲”的上述信息。基于搜索到的信息，从学习DB 114中删除学习数据，并且与这两个信息有关的知识DB 111和推荐DB 112的信息也被删除。

然而，在上述方法中，需要将指示存储在交流DB 113中的各种信息之间的关系的信息存储在例如交流DB 113中。于是，记录在交流DB 113中的信息变得庞大。

<<<1.4.2.第二算法重新学习方法>>>

于是，在第二算法重新学习方法中，在删除某个信息时在输出信息中出现不一致的情况下，被删除的信息被判定为相关信息。更具体地，在删除某个信息时，在删除之前的输出信息与删除之后的输出信息不同的情况下，被删除的信息被判定为与关键字有关的信息。按照第二算法重新学习方法，不必记录指示存储在交流DB 113中的各种信息之间的关系的信息。

将参考图12，说明第二算法重新学习方法。更具体地，将说明在包括关键字的与交流有关的信息被删除时，基于以算法为基础输出的输出信息的变化，判定与交流有关的信息是否与关键字关联的方法。

图12是图解说明在与交流有关的信息的删除前后生成的输出信息，以及基于在所述删除前后的输出信息的变化的处理内容的示图。图12中图解说明了3个例子。下面将说明在图12中图解所示的3个例子。从左侧开始，例示了用户昨天听过的歌曲、输出(删除前和删除后)、输出的变化、以及处理内容。

输出(删除前)是与来自用户的输入信息“播放与昨天听过的歌曲风格相似的歌曲”对应的输出信息的内容。此外，在以下3个例子中，提取单元122从存储单元110提取包括关键字“群马”的信息，修正单元124删除提取的信息。在该删除之后的相对于所述输入信息的输出信息的内容被例示为输出(删除后)。

在第一个例子中，作为交流信息，记录了用户昨天只听过“群马的歌曲”。因此，相对于输入信息的输出信息是只播放“群马的歌曲”的信息。同时，当包含“群马”的信息被删除时，播放过“群马的歌曲”的历史消失，从而，算法无法理解用户的意图。于是，输出信息变成“昨天播放过歌曲吗？”的信息。如上所述，当输出信息因包含关键字“群马”的信息的删除而变化时，判定单元123判定输入信息是与关键字“群马”有关的数据(相关数据)。如上所述，按照本实施例的信息处理设备10可以删除包含关键字的信息，并按照删除前后的输出信息的变化，判定输入信息与关键字之间的相关性。于是，信息处理设备10不需要存储什么种类的关键字与每个输入信息关联。

然后，在第二个例子中，昨天用户听过群马的歌曲和非群马的歌曲。即，输出(删除前)是使得播放“群马的歌曲”和“非群马的歌曲”的输出。同时，在包括“群马”的各种信息的删除之后的输出(删除后)是只播放“非群马的歌曲”的输出。这种情况下，在输出(删除前)和输出(删除后)之间也存在变化。于是，判定单元123判定输入信息是关键字“群马”的相关数据。

随后，在第三个例子中，昨天用户只听过“非群马的歌曲”。于是，输出(删除前)是只播放“非群马的歌曲”的输出。同时，输出(删除前)是与关键字无关的输出。于是，输出(删除后)与输出(删除前)没有变化。此时，判定单元123判定输入信息是与关键字无关的数据。

这样，通过判定关键字与输入信息之间的相关性，基于该关键字，也能够删除与关键字有关的输入信息。即，可以不仅删除输入信息“播放群马的歌曲”，而且删除与关键字有关的输入信息“播放与昨天听过的(群马的)歌曲风格相似的歌曲”或“播放与昨天听过的(群马的)歌曲完全不同的歌曲”。当输入信息被删除时，意味着没有进行基于被删除的输入信息的交流，并且记录在知识DB 111和推荐DB 112中的各种信息被更新。如上所述，按照第二算法重新学习方法，通过删除作为与关键字有关的学习数据的与交流有关的信息，可以使算法进行重新学习。

另外，按照第二算法重新学习方法，基于输出信息的变化，判定关键字与输入信息之间的相关性。于是，信息处理设备10不需要存储各种关键字与输入信息之间的相关性，并且能够基于较少的信息来修正与交流有关的信息。结果，信息处理设备10可以使算法基于较少的信息进行重新学习。

<<<1.4.3.第三算法重新学习方法>>>

在上面说明的第二算法重新学习方法中，从交流DB 113中删除与关于关键字的输入信息有关的信息。于是，包含在输入信息中的并且不直接与关键字相关的数据(例如，关于用户的兴趣/偏好的数据)可能被删除。

于是，可以想到修正对输出信息的影响度小的输入信息，而不删除该输入信息。结果，可以防止完全删除与关键字有关的输入信息对输出信息的影响。结果，删除与关键字无关的数据(例如，关于用户的兴趣/偏好的数据)等的可能性被降低。

参考图13，将说明修正与记录在学习DB 114中的输出有关的信息。图13图解说明其中修正记录在学习DB 114中的输出的4个例子。下面将说明修正输出的4个例子。注意，在任何例子中，假设修正对于输入信息“播放群马的歌曲”的输出。具体地，提取单元122从交流DB中搜索关键字“群马”，并基于搜索结果，从学习DB 114中提取学习数据。修正单元124如下所述，按照提取结果修正输出。

在第一个例子中，昨天用户只听过“群马的歌曲”。即，具体地，10首群马的歌曲被播放。假设对于该输出存在“不行”的反馈(FB)，因为用户打算删除关于“群马”的信息。这种情况下，修正单元124从存储单元110删除关于“群马”的信息。随后，分析单元130无法理解输入信息“播放群马的歌曲”的语义内容。响应于此，生成单元140生成“昨天播放过歌曲吗？”的输出信息。如上所述，在第一个例子中，由于输出的变化大，因此判定单元123判定输出的变化大。响应于该判定结果，修正单元124从交流DB中删除对应于第一个例子的交流信息。即，修正单元124删除与该交流信息关联的记录在学习DB 114中的学习数据。此外，修正单元124还从学习DB 114删除用户的FB。

接下来，在第二个和第三个例子中，昨天用户听过“群马的歌曲”和“非群马的歌曲”。不过，在第二个和第三个例子中，用户听过的“群马的歌曲”的数量与“非群马的歌曲”的数量不同。具体地，在第二个例子中，用户终端20播放9首“群马的歌曲”和1首“非群马的歌曲”。同时，在第三个例子中，用户终端20播放1首“群马的歌曲”和9首“非群马的歌曲”。

在第二个例子中，在关于关键字“群马”的学习数据的删除前后，输出信息从播放9首“群马的歌曲”和1首“非群马的歌曲”的信息变成播放1首“群马的歌曲”的信息。这种情况下，第二个例子中的交流信息被删除。因而，用户的“不行”的FB也被删除。

同时，在第三个例子中，在关于关键字“群马”的学习数据的删除前后，输出信息从播放1首“群马的歌曲”和9首“非群马的歌曲”的信息变成9首“非群马的歌曲”。这种情况下，由于输出信息的变化小，因此播放9首“非群马的歌曲”的输出结果被删除。与此一道，用户“点赞”的FB也得以维持。注意，这种情况下，在假定在输出信息中，输出在关于关键字“群马”的学习数据被删除之后的输出信息的情况下，记录来自用户的FB。

如上所述，根据按照本实施例的信息处理设备10，按照输出的变化的大小，修正输出的内容。即，信息处理设备10通过不仅删除输出信息的记录，而且修正输出信息，可以调整源于输出信息的对算法的影响度。结果，信息处理设备10可以实现用户所期望的算法的状态。

在第四个例子中，昨天用户只听过“群马的歌曲”。这种情况下，在关于关键字的学习数据被删除前后，输出信息没有从播放10首“非群马的歌曲”的信息发生变化。于是，输出没有变化。于是，用户FB仍然是“点赞”，并且不进行关于输出信息的更新。

上面参考图13，说明了按照本实施例的信息处理系统1修正输出的例子的概况。接下来将参考图14，更详细地说明按照本实施例的信息处理设备10的交流DB 113的更新处理。图14是图解说明按照本公开的实施例的信息处理设备10的交流DB 113的更新处理的流程图。下面将参考图14说明更新处理。

首先，信息处理设备10获取输入信息(步骤S402)。更具体地，信息处理设备10经由网络30，接收例如从用户输入到用户终端20的关键字，和请求删除与该关键字有关的学习数据的信息(下面也简称为“请求信息”)，作为输入信息。这里，假设所述关键字例如是词语“群马”。信息处理设备10接收该关键字和请求信息作为输入信息，并且经由通信控制单元160，将接收的输入信息传送到包含在处理单元120中的提取单元122。

接下来，提取单元122基于传送的输入信息，提取相关信息(步骤S404)。具体地，提取单元122提取与作为关键字的词语“群马”有关的信息。更具体地，提取单元122提取存储在知识DB 111、推荐DB 112或交流DB 113中的与作为关键字的词语“群马”有关的信息。注意，提取单元122不提取记录在交流DB 113中的输出信息。

接下来，生成单元140生成输出信息(步骤S406)。此时，生成单元140在假定在步骤S404中提取的相关信息(注意，步骤S406中使用的输入信息除外)已被删除的情况下生成输出信息。即，生成单元140在假定没有与关键字“群马”有关的交流等的情况下生成输出信息。此时，生成单元140生成的输出信息可能不同于记录在交流DB 113中的输出信息。

接下来，判定单元123判定输出信息的变化的大小(步骤S408)。更具体地，判定单元123判定在步骤S406生成的输出信息、和记录在学习DB 114中的与用于生成该输出信息的输入信息对应的输出信息之间的差异的大小，作为输出信息的变化的大小。

接下来，修正单元124按照步骤S408中判定单元123的判定结果，修正记录在学习DB 114中的输出信息(步骤S410)。例如，在步骤S408中判定输出信息的变化大的情况下，修正单元124删除记录在学习DB 114中的在步骤S408中判定的输出信息，以及与之对应的记录在学习DB 114的输入信息。这样，在输出信息被删除的情况下，没有来自该输出信息的对算法的影响。

另外，在步骤S408中判定输出信息没有变化的情况下，修正单元124维持记录在交流DB 113中的并且在步骤S408中判定的输出信息。此外，在步骤S408中判定输出信息有变化并且该变化不大的情况下，修正单元124修正记录在交流DB 113中的并且在步骤S408中判定的输出信息。

接下来，在提取单元122基于交流DB 113，判定存在未被判定的输出信息的情况下(步骤S412：是)，处理返回步骤S402。同时，当基于交流DB 113，判定没有未被判定的输出信息时(步骤S412：否)，图14中图解所示的更新处理结束。

如上所述，按照本实施例的信息处理设备10修正记录在交流DB 113中的交流信息。即，记录在学习DB 114中的学习数据被修正。结果，调整源于诸如记录在学习DB 114中的输入信息或输出信息之类的学习数据的影响度，并进行算法的重新学习。结果，信息处理设备10可以更适当地实现用户所期望的算法的状态。

<2.第二实施例>

在第一实施例中，说明了使用基于以规则为基础的方法(即，使用知识DB 111中推荐DB 112中记录的分数等的方法)的算法的例子。不过，例如，本公开的技术也可以应用于其中具体处理内容是黑盒的技术，比如以深度学习为代表的各种机器学习技术。在第二实施例中，将说明将本公开的技术应用于诸如深度学习之类的机器学习技术的例子。注意，在以下的说明中，将省略与第一实施例的内容重复的内容的说明。

<<2.1.信息处理设备的构成>>

参考图15，将说明按照第二实施例的信息处理设备11的构成。图15是图解说明按照第二实施例的信息处理设备11的构成的功能方框图。如图15中图解所示，信息处理设备11包括存储单元118、处理单元128、分析单元130、生成单元143、输出控制单元150和通信控制单元160。下面，将说明与包含在按照第一实施例的信息处理设备11中的功能单元不同的存储单元118、处理单元128和生成单元143。

首先将参考图16，说明按照第二实施例的存储单元118。图16是图解说明按照第二实施例的存储单元118的构成的功能方框图。按照第二实施例的存储单元118包括知识DB116、推荐DB 117、交流DB 113和学习DB 114。

另外，按照第二实施例的知识DB 116没有记录像按照第一实施例的知识DB 111中那样以概率的方式指示词语的语义内容的数据。此外，按照第二实施例的推荐DB 117不记录在按照第一实施例的推荐DB 112中记录的推荐分数。在第二实施例中，基于包含在后面说明的分析单元131和生成单元143中的黑盒参数(下面也简称为“参数”)，进行词语的语义内容的分析、向用户的推荐等。于是，在第二实施例中，记录在按照第二实施例的知识DB116和推荐DB 117中的信息不同于记录在按照第一实施例的知识DB 111和推荐DB 112中的信息。更具体地，分析单元131或推荐信息生成单元145将输入值输入到其中包括多个输入的输入层和包括多个输出的输出层由包括多层的中间层连接的网络，并输出与分析结果、推荐信息等有关的输出值。下面，定义网络中的节点的权重的参数被称为“黑盒参数”。

在学习DB 114中，在其中记录学习数据的事件中记录输入值和输出值。输入值例如是为获得输出值所需的各种信息，比如用户指令、用户状况和环境信息。输出值例如可以是用于估计分析结果等的适当程度的指标(例如，诸如用户的反应之类的信息)。学习数据的记录可以基于用户的指令来进行，或者由信息处理设备11在后台自动进行。在本实施例中，事件的索引作为数据记录在交流DB 113中。此外，用于提取记录在事件中的为算法的重新学习所需的学习数据的标签信息(例如，事件的发生时间、指示输入信息或输出的内容的信息等)记录在交流DB 113中。于是，可以基于交流DB 113，从学习DB 114提取学习数据。

参考图17，将聚焦于与存储在按照第一实施例的存储单元110中的信息的差异，说明存储在按照第二实施例的存储单元118中的信息。图17是图解说明按照第二实施例的记录在交流DB 113中的信息、知识DB116的更新历史和推荐DB 117的更新历史的例子的示图。如图17中图解所示，知识DB 116和推荐DB 117不记录与语义内容的概率有关的信息，和诸如推荐分数之类的信息。于是，如图17中图解所示，按照第二实施例的存储单元118不存储如图11中图解所示的语义内容的更新历史、推荐分数的更新历史等。注意，类似于按照第一实施例的交流DB 113，与交流有关的信息记录在按照第二实施例的交流DB 113中。

接下来将参考图18，说明按照第二实施例的处理单元128。图18是图解说明按照第二实施例的处理单元128的构成的功能方框图。除了包含在按照第一实施例的处理单元120中的功能单元之外，按照第二实施例的处理单元128还包括学习单元125。

学习单元125具有进行包含在分析单元131或生成单元143中的各种参数的学习(例如，强化学习)的功能。更具体地，学习单元125例如基于诸如强化学习之类的技术，基于记录在交流DB 113中的交流信息，进行参数学习。结果，参数被更新。这里，参数学习意味着按照输入值和输出值(即，学习数据)的累积，优化黑盒参数。注意，当增加、删除或修正记录在交流DB 113中的与交流有关的信息时，学习单元125可以学习参数。

当获取输入信息时，按照第二实施例的信息处理设备11基于包含在分析单元131或生成单元143中的各种参数，生成输出信息。于是，学习单元125更新参数对应于信息处理设备11使用于生成输出信息的算法进行重新学习。

接下来，将说明分析单元131。在第二实施例中，作为黑盒参数(语义分析参数)，学习获得正FB的输入信息和输出信息之间的对应关系。不同于按照第一实施例的分析单元130，按照第二实施例的分析单元131使用语义分析参数，从前后语境/状况获得最佳对应，而不是概率形式的输入信息与语义内容之间的对应关系。更具体地，在输入来自用户的语音信息的情况下，分析单元131例如通过将该语音信息用作输入值，基于语义分析参数输出语音信息的语义分析结果。此外，除了语音之外，分析单元131还可以通过将各种信息(用户的状况、特性信息、环境信息、用户的指令的内容等)用作输入值，输出语音信息的语音分析结果。这里，用户的特性信息例如可以是关于用户的特性(比如年龄、性别或地址)的信息。此外，环境信息可以是关于用户所在的空间的信息，诸如关于时间、地点、在一起的人等的信息。例如，在直到刚才在谈论友谊的情况下，分析单元131可将“群马”分析为意味称为“岩佐”的人。此外，在用户来群马县旅游的情况下，“群马”可被分析为意味“群马”的县名。这样，直到刚才在讨论的内容可以反映在语义分析参数中。此外，位置的内容可以反映在语义分析参数中。在本实施例中，分析单元131输出的语义分析结果用作后面说明的推荐信息生成单元145生成推荐信息的输入值。注意，分析单元130还在算法的重新学习之时进行语义分析，此时的处理的细节将在后面说明。

接下来将参考图19，说明生成单元143。图19是图解说明按照第二实施例的生成单元143的构成的功能方框图。类似于按照第一实施例的生成单元140，图19中图解所示的生成单元143包括确认信息生成单元144和推荐信息生成单元145。如上所述，按照第一实施例的推荐信息生成单元142例如基于歌曲的推荐分数，生成用于推荐歌曲的输出信息。同时，在第二实施例中，作为黑盒参数(推荐参数)，学习推荐哪首歌曲来生成推荐信息从而获得正FB。推荐信息生成单元145基于推荐参数，例如基于前后语境、状况等，生成最佳的输出信息，并且向用户推荐例如音乐等。更具体地，推荐信息生成单元145基于分析单元130的分析结果、各种信息(用户的状况、特性信息、环境信息、用户的指令的内容等)、以及推荐参数，生成推荐信息作为输出。

在本实施例中，如上所述，语音信息、上述各种信息(用户的状况、特性信息、环境信息、用户的指令的内容等)等用于语义分析或推荐信息的生成。于是，能够考虑到大量的条件进行处理的机器学习技术适合于如下处理，该处理如本实施例中那样需要基于各种条件进行诸如推荐之类的处理。

例如，可能对用户来说，优选的是播放与在用户刚才的对话中出现的歌曲类似的歌曲。此时，例如，推荐参数反映与在用户刚才的对话中出现的歌曲有关的内容，并且推荐信息生成单元145可基于该推荐参数，生成用于使得播放与用户刚才在谈论的歌曲类似的歌曲的输出信息。

此外，在以前向用户播放过某首歌曲的情况下，可能对用户来说，优选的是在自从播放该首歌曲以来已过去例如1周以上之后，再次播放该首歌曲。此时，例如，与以前推荐过的歌曲有关的信息反映在推荐参数中，并且推荐信息生成单元145可以生成指示在自播放以前推荐的歌曲之后已过去一周以上时推荐该歌曲的输出信息。

<<2.2.处理例子>>

首先将参考图20，说明作为信息处理设备11更新黑盒参数(语义分析参数和推荐参数)的处理的参数更新信息。图20是图解说明按照第二实施例的参数更新处理的例子的流程图。下面将参考图20说明参数更新处理。

首先，信息处理设备11获取输入信息(步骤S502)。例如，信息处理设备11经由网络30接收输入到用户终端20的输入信息。接收的输入信息经由通信控制单元160被传送到分析单元131。

接下来，分析单元131分析输入信息的语义内容(步骤S504)。更具体地，分析单元131基于存储在存储单元118中的语义分析参数，分析输入信息的语义内容。分析结果被传送到生成单元143。

接下来，生成单元143生成输出信息(步骤S506)。更具体地，推荐信息生成单元145基于分析结果和存储在存储单元118中的推荐参数，生成用于向用户进行各种推荐的输出信息。输出信息被传送到输出控制单元150。

接下来，输出控制单元150输出所述输出信息(步骤S508)。更具体地，输出控制单元150将输出信息传送到通信控制单元160。输出信息被发送到例如与网络30连接的用户终端20。结果，用户终端20输出所述输出信息。例如，用户终端20输出向用户推荐某首歌曲的语音。

接下来，信息处理设备11获取FB(步骤S510)。例如，信息处理设备11获取来自用户的对于输出结果的响应，作为FB。获取的FB被传送到处理单元128。

接下来，处理单元128学习语义分析参数和推荐参数(步骤S512)。具体地，学习单元125基于来自用户的FB，学习存储在存储单元118中的语义分析参数和推荐参数。结果，语义分析参数和推荐参数被更新。当这些参数被更新时，参数更新处理结束。

上面参考图19说明了参数更新处理。这样，例如基于用户的FB等，更新用于信息处理设备11生成输出信息的各种参数，从而信息处理设备11可以生成用户更加期望的输出信息。

接下来将参考图21，说明按照第二实施例的信息处理设备11使算法进行重新学习的处理的概况。图21是图解说明按照第二实施例的信息处理设备11使算法进行重新学习的处理的概况的示图。

图21中，在上侧，以水平轴为时间轴，例示了用户与信息处理设备11之间的交流的历史。更具体地，来自用户的输入信息被输入到信息处理设备11、和对于所述输入信息的输出信息被输出的时间(t1～t18)按时序布置在时间轴上。在输入信息被输入和输出信息被输出的时间，例示了阴影三角形标记。信息处理设备11基于这些交流，使算法进行学习。

接下来，将说明按照第二实施例的信息处理设备11使算法进行重新学习的处理。另外，在第二实施例中，类似于第一实施例，记录在交流DB中的交流记录被删除或修正。例如，从交流DB 113中删除与没有阴影或网格的三角形标记对应的时间t6～t9之间的交流有关的信息。此外，修正了在与附加网格的三角形标记对应的时间t11、12和15处的交流有关的信息。例如，在这些时间处生成的输出信息被修正。另外，在与阴影三角形标记对应的时间处的交流保持原样。

处理单元120基于交流DB 113搜索要删除的交流，并删除该交流。更具体地，提取单元122例如基于来自用户的输入，搜索记录在交流DB113中的交流(标签信息)。例如，提取单元122可以基于例如诸如上述“群马”之类的关键字，针对标签信息搜索交流DB 113，并基于标签信息提取学习数据。修正单元124从学习DB 114删除检索到的学习数据。此外，修正单元124可以从交流DB 113删除搜索到的标签信息等。

此外，提取单元122可以从学习DB 114提取受到源于要被删除的交流有关的信息的影响的学习数据。例如，在基于关键字“群马”删除学习数据的情况下，提取单元122可以提取与其中输出信息在所述删除前后发生变化的事件对应的学习数据。修正单元124可以删除关于该事件的学习数据。

以这种方式删除的事件对应于在图21中图解所示的时间t6～t9处的交流。

修正单元124可以修正学习数据，而不删除学习数据。例如，如上参考图13所述，修正单元124可以基于由基于关键字的学习数据的删除引起的输出信息的变化的大小，修正学习数据。与修正后的学习数据对应的交流对应于在图21中图解所示的时间t11、12和15处的交流。

如上所述，在第二实施例中，基于交流来学习参数。于是，通过如上所述修正或删除交流的至少一部分，可以重新学习参数。即，通过修正或删除交流的至少一部分，可以使算法进行重新学习。结果，可以创建排除特定影响的算法。

接下来将参考图22，说明按照第二实施例的信息处理设备11使参数重新学习的处理。图22是图解说明按照第二实施例的参数重新学习处理的流程图。下面将参考图22，说明按照第二实施例的参数重新学习处理。这里，如图21中图解所示，假设记录在交流DB 113中的关于每个交流的信息被维持、修正或删除。

首先，判定单元123将进行要被更新(删除或修正)的交流的时间t处的值设定为1(步骤S602)。即，判定单元123将要被更新的交流设定为最古老的交流。

接下来，判定单元123参考交流DB 113，确认与设定的时间对应的交流信息(步骤S604)。当在交流DB 113中设定的时间所对应的交流信息存在时(步骤S606：是)，处理前进到步骤S608。另一方面，在与设定的时间对应的交流信息已被删除的情况下(步骤S606：否)，处理前进到步骤S610。

在交流DB 113中存在与设定的时间对应的交流信息的情况下(步骤S606：是)，在步骤S608，学习单元125学习参数(步骤S610)。更具体地，学习单元125基于到时间t为止的交流有关的信息，更新包含在分析单元131或生成单元143中的至少一个中的参数。

具体地，学习单元125更新语义分析参数和推荐参数。更具体地，学习单元125使分析单元130通过使用在设定时间t处来自用户的输入信息、各种信息和对于分析结果的FB信息，基于直到时间t-1的重新学习优化语义分析参数，来生成新的语义分析参数。这里，FB信息可以是来自用户的直接FB(例如，“点赞”、“不好”的FB)，或者是隐式FB。此外，FB信息可以是用户的面部表情或生物信息的变化。结果，语义分析参数被更新。

此外，学习单元125使推荐信息生成单元145通过使用在设定时间t处的输入信息、各种信息、输出的推荐信息、以及对于推荐的FB信息，基于直到时间t-1的重新学习优化推荐参数，来生成新的推荐参数。结果，推荐参数被更新。

接下来，判定单元123对设定的时间t加1，从而设定新的时间t+1(步骤S610)。接下来，判定单元123判定新设定的时间t+1是否超过最大值(步骤S612)。这里，时间t+1处的最大值例如可以是记录在交流DB中的交流的数量。当判定时间t+1超过最大值时(步骤S612：是)，图21中图解所示的参数重新学习处理结束。同时，当判定时间t+1没有超过最大值时(步骤S612：否)，处理返回步骤S604。

上面，参考图22说明了参数重新学习处理。这样，基于过去的交流信息，依次重新学习参数。结果，重新学习用于信息处理设备11生成输出信息的算法。这样，按照第二实施例的信息处理设备11能够实现期望的算法状态。

<3.应用例>

下面，将说明按照本实施例的信息处理系统1的应用例。

[新闻朗读功能的应用]

将说明在信息处理系统1基于算法生成用于用户终端20等输出关于新闻等的语音信息的输出信息的情况下的算法的重新学习。

作为第一个例子，将说明用户搬家、用户的地址变化(即，位置信息变化)和用户的生活环境的地域性变化的例子。这种情况下，使信息处理系统1对算法进行重新学习的触发并无特别限制，不过，信息处理系统1可以基于例如用户的明确指示(地址变化的输入等)，基于全球定位系统(GPS)信息的属性信息(例如，用户的恒定的位置信息)的变化的检测等，使算法进行重新学习。这种情况下，作为重新学习的结果，信息处理系统1可以在维持基于用户的行为特性的推荐倾向的同时，优化以改变的地址为起点的具体推荐内容，比如与所涉及的地区相关的内容和与通勤或上学路线相关的内容。

作为第二个例子，将说明用户离开他/她的祖国出国留学的情况。这种情况下，例如，信息处理系统1可以基于用户的地址的变化或者生活方式从“工作”到“学生”的变化，使算法重新学习，以便能够生成与对应于出国留学所在地的新闻有关的输出信息。

[机器人技术的应用例]

将说明按照本公开的实施例的信息处理系统1应用于各种机器人技术的例子。例如，按照本公开的实施例的信息处理系统1可以应用于诸如“AIBO”(注册商标)之类的娱乐机器人。例如，当用户搬家时，信息处理系统1可以基于关于场所的信息，使算法进行重新学习。

例如，假设作为学习的结果，宠物机器人已获取“关于场所的习惯”，具体地，宠物机器人在搬家前表现得像是在房屋布局中把楼梯下面作为最喜欢的地方。之后，在用户搬到的新住所中没有楼梯的情况下，可以想到宠物机器人会不断地寻找最喜欢的地方。此时，信息处理系统1可以使算法重新学习，并且随后删除与旧的房间布局(关于场所的信息)有关的学习数据。结果，宠物机器人只会忘记与场所有关的行为，同时维持由于迄今为止的成长而获得的个性或对用户的响应。此时，信息处理系统1通过逐渐删除与搬家原场所关联的学习数据，可以使宠物机器人表现出自然顺应新场所的行为。

接下来，将说明本公开的信息处理系统1应用于机场、购物中心等的引导机器人的例子。这里，引导机器人是通过与顾客的交互，优化布置所述引导机器人的场所的引导的机器人。这里，例如，在楼层内的租户发生变更的情况下，信息处理系统1可以从各个数据库中只删除与该租户有关的信息(例如，与该租户所经营的商品、和寻找该租户的顾客的过往交互、将该租户包含在路线中的引导等有关的信息)，并使算法进行重新学习。结果，引导机器人在保持对设施的熟悉的同时，能够进行适合于变更后的环境的引导。例如，在租户变更之后，即使引导机器人接收到顾客对变更前的租户所经营的商品的请求，引导机器人也不会考虑到不再存在的变更前的租户进行引导。

接下来，将说明本公开的信息处理系统1应用于工业机器人的例子。这种情况下，当工业机器人所处理的生产线中流入的目标组件的规格发生变更时，信息处理系统1删除关于规格的过往历史，从而即使新规格的组件流入生产线时，信息处理系统1也可以使算法重新学习，使得工业机器人能够迅速对所述变更作出响应。

[其他行业的应用例]

接下来，将说明本公开的信息处理系统1对于其他行业的应用例。本公开的信息处理系统1也可以应用于诸如自动驾驶和驾驶导航之类的技术。

例如，将说明信息处理系统1向用户提供驾驶导航的情况。这种情况下，当用户搬到其他地区或者地图信息因施工等而变更时，信息处理系统1可以使算法重新学习。结果，信息处理系统1可以在维持与用户的驾驶偏好、生活方式等对应的驾驶导航倾向的同时，进行针对新的地区或变更的地图信息优化的路线推荐等。

此外，信息处理系统1可以按照车主的变更，使算法进行重新学习。结果，车辆可以在保留基于进行重新学习之前的行驶历史和车辆控制历史的行驶辅助控制和车辆控制有关的学习结果的同时，进行适应于新车主的偏好的行驶辅助、自动行驶控制等，同时排除变更前的车主的习惯和偏好。例如，在同一地区共享的共享汽车的注册用户发生变更的情况下，这样的重新学习也是适合的。这里，算法可以安装车辆上，或者可以布置在车辆所参考的网络上。

接下来，将说明本公开的信息处理系统1应用于投资顾问AI的例子。注意，投资顾问AI是用于向用户给出关于投资的建议的AI技术。按照本公开的信息处理系统1，在累积学习历史的同时，可以动态删除过去的学习数据，使算法进行重新学习。用于算法的重新学习的触发的例子包括用户的投资组合的变更、用户的投资策略的变更、以及与目标品牌有关的欺诈性事件的发现(另外，对于算法要进行重新学习的事实的后续发现)。

[其他应用例]

按照本公开的信息处理系统1，可以使算法进行重新学习，使得不生成关于各种推荐(例如，上述关于音乐的推荐等)的输出信息。更具体地，存在用户不想想起用户开始不喜欢的朋友，从而期望从算法中删除该朋友所推荐的音乐的影响的情况。这种情况下，信息处理系统1可以通过调整(例如，删除)源于与朋友推荐的音乐有关的学习数据的影响度，使算法进行重新学习。结果，基于重新学习的算法，信息处理系统1不会输出与用户的朋友推荐的音乐有关的信息作为输出信息。此外，类似地，存在用户不想想起用户开始不喜欢的运动，从而用户想要删除该运动的购买推荐对算法的影响的情况。在这种情况下，类似于删除音乐的影响的情况，信息处理系统1也可以使算法进行重新学习。

信息处理系统1可以删除记录在交流DB等中的各种信息。更具体地，信息处理系统1可以删除记录的与备忘录、提醒、信息处理系统1与用户终端20之间的交流(例如，日常对话)等有关的信息。例如，在用户不想想起用户开始不喜欢的朋友的情况下，信息处理系统1可以删除关于该朋友的信息。此外，在用户前女友的记录被现任女友看到时会很麻烦的情况下，信息处理系统1可以删除关于前女友的信息。此外，在用户不想回忆中学的信息的情况下，信息处理系统1可以删除中学的记录。此外，在用户不想想起工作场所附近的信息的情况下，信息处理系统1可以删除工作场所附近的记录。这样，通过删除对用户不便的信息，信息处理系统1能够生成对用户来说更适当的输出信息。

<4.变形例>

下面，将说明本公开的信息处理系统的变形例。

[通过Web抓取自动获得信息的例子]

在上面的实施例中，例如，使用来自用户的输入信息和对于该输入信息的输出信息，更新诸如知识DB 111、推荐DB 112或交流DB 113之类的信息。即，信息处理设备10基于来自用户的输入信息和来自信息处理设备10的输出信息，学习和重新学习算法。不限于此，按照本实施例的信息处理设备10可以通过例如Web抓取，获得世界上流行的信息，并基于获得的信息学习算法。即，与世界的潮流有关的数据可以用作学习数据。结果，信息处理设备10可以实现能够生成与世界的潮流相适应的输出信息的算法的状态。

此时，在指定充当用于向用户的推荐等的学习的基础的输入/输出信息时，如后所述，所述基础可以由用户的输入间接指定。此外，如后所述，可以基于Web抓取或者用户在Web上的行为，自动进行重新学习。

例如，信息处理设备10可以基于与用户类似的类型的属性普遍化信息(例如，诸如“40多岁的未婚女性”之类的信息)来学习算法。这种情况下，向用户的推荐等不是基于用户自身的具体行为等、而是基于所述普遍化属性信息的用户的行为等进行的。这种情况下，在用户的属性信息发生变化的情况下(例如，从“40多岁的未婚女性”到“50多岁的已婚女性”的变化)，信息处理设备10可以按照所述变化进行算法的重新学习。

此外，信息处理设备10可以通过使用用户等对社交网络服务(SNS)的关注(参考时间线等)的结果，使算法进行学习。例如，按照用户关注A先生的状况，估计用户对A先生感兴趣或感同身受。于是，例如，信息处理设备10可以基于以用户关注A先生的信息为基础的A先生的行为信息和偏好信息，使用于推荐的算法进行学习。

或者，信息处理系统1可以基于用户对具有影响力的SNS上的特定发信人、博主或名人的指定，使算法按照所述发信人等编辑的信息进行学习。例如，信息处理系统1可以基于诸如名人推荐的食物或地点之类的信息，使算法进行学习，使得也向用户进行所述食物或地点的推荐。

如上所述，信息处理系统1可以通过使用基于Web抓取等获取的信息，使算法进行学习。此时，在信息处理系统1中，在用户对于其他发信人的关注状况或者策展人的指定变更的情况下，可以使用按照本公开的技术。例如，在用户取消关注A先生的情况下，可以估计用户已经对A先生失去了兴趣或共鸣。于是，通过随后对于过去关于A先生的学习结果重新学习算法，可以只排除受到A先生影响的内容，而不会大幅改变针对用户的推荐倾向。或者，例如，在策展人犯罪的情况下(例如，人气偶像等)，可以向信息处理系统1发送用于修正算法的信息。例如，信息处理系统1可以使算法进行重新学习，使得不生成与该策展人关联的输出信息。

在上面所述的算法的重新学习中，修正存储在交流DB等中的信息，但是修正前后的信息可以存储在交流DB等中。结果，信息处理系统1随后可以使用修正之前的信息。另外，信息处理系统1可以存储被修正或删除的信息的一部分。

[由用户的属性变化触发的算法的重新学习]

按照本公开的实施例的信息处理系统1可以检查用户的状况(行为、偏好状况等)的变化，并按照检测结果删除存储的历史。注意，此时，信息处理系统1可以就历史的删除向用户进行询问，或者可以不询问用户就删除历史。

在删除历史而不就删除向用户进行询问的情况下，当存在来自用户的询问时，信息处理设备10可以使被删除的历史恢复到原始状态。此时，信息处理设备10可以在恢复历史的前提下，将要删除的历史保存一段时间。另外，信息处理系统1可以进行阶段性删除，比如逐渐重复历史的删除，并重复算法的重新学习。此时，信息处理系统1可以从最古老的信息开始顺序删除信息，或者可以从最新的信息开始顺序删除信息。

另外，信息处理系统1在阶段性删除历史时，可以整体改变信息的密度，而不考虑信息的新鲜度。即，信息处理系统1可以阶段性地进行删除，以便减少要删除的历史中的各种信息，而不考虑信息的新鲜度。此外，信息处理系统1可以向用户推荐应阶段性地删除信息的程度。

[未经用户许可删除历史的例子]

信息处理系统1可以按照检测到的用户状况的变化等，未经用户许可(即，未对用户进行确认)在后台删除各种信息(例如，关于学习历史或过往交流的信息)。

信息处理系统1可以响应于预定的触发，删除各种信息。这种情况下，信息处理系统1可以不引人注意地仅仅向用户确认触发删除的事件是否正确。

[实际环境中的使用环境数据的删除]

在上面的实施例中，说明了在构成信息处理系统1的产品发货之后进行学习，并且对学习结果进行重新学习的处理。不过，即使在发货之前，也可以通过使用假设发货之后的模拟数据进行算法的学习。例如，可以举出使用假设使用的用户的人物角色(表面性格)的算法的学习。另外，存在设想机器人的使用环境的算法的学习。在以这种方式进行算法的学习之后，信息处理系统1可以按照在发货之后的真实环境的学习数据的累积，删除在发货之前累积的学习数据的至少一部分。

[用于从伦理角度解决问题的后续学习]

这里，将说明在基于算法输出的输出信息从伦理的角度被判定为不可取的情况下，信息处理系统1使算法稍后进行重新学习的例子。例如，信息处理系统1可以从伦理的角度提取与过去的交流有关的信息。例如，信息处理系统1从与过去的交流有关的信息中提取与可能缺乏公平性的交流有关的信息。具体地，信息处理系统1可以基于就种族或性别、宗教或文化习俗、地区习俗等而言，从歧视或遵从的角度可能导致问题的关键字，设定标志。结果，信息处理系统1可以进行诸如从论理的角度判定设定了标志的信息是否实际导致问题，和删除关于该交流的信息之类的处理。

接下来，信息处理系统1基于论理角度的判定结果，进行算法的重新学习。介绍两个基于伦理角度的算法的重新学习的例子。第一个例子是在社会中发生伦理问题或事故的情况下的算法的重新学习的例子。例如，在由于具有社会影响力的人物的发言等，在社会中形成了某种用语的用法或者特定事件包含歧视性细微差别的认识的情况下，对算法来说，继续信息呈现而不考虑该用法或事件并不可取。于是，可以使信息处理系统1进行算法的重新学习，以便匹配该情况之后的价值观。这里，算法的重新学习可以以向用户使用的终端系统分发修正程序的形式进行。这里，在算法的重新学习时，在进行基于交流DB的信息的分类之后，进行算法的重新学习。结果，算法能够在维持推荐、信息呈现等方面的操作倾向的同时，避免进行已被社会认为是歧视性的操作。此时，用户可以能够拒绝算法的重新学习。在用户拒绝算法的重新学习的情况下，例如，信息处理系统1可以使用户终端20呈现指示用户对AI代理的后续行为负责的消息。

在第二个例子中，当在发货之后跨国境或地区操作AI代理时，进行算法的重新学习。例如，假设用户连同该用户拥有的信息处理系统一起从日本移居到外国的情况，或者跨文化区域在据点之间移动业务用设备的情况。此时，信息处理系统1可以使算法进行重新学习，以便顺应与移居或移动后的地区的文化和习俗相匹配的交流。算法的重新学习可以基于用户的操作来进行。取决于地区或目标行业，可以准备以便符合在该地区或目标行业中采用的标准的设定的选项。即，信息处理系统1可以使算法被重新学习，使得基于重新学习后的算法输出的输出信息符合在该地区或目标行业中采用的标准。结果，算法能够在维持迄今为止的操作倾向的情况下，防止移动前的地区中的不适应新地区的文化和习俗的行为的出现。

如上所述，在基于信息处理系统1输出的输出信息具有不合伦理的输出(例如，说话等)的情况下，信息处理系统1可以基于伦理的角度等，更容易地使算法进行重新学习。另外，基于伦理角度的算法的重新学习便利用户的跨地区或文化区域的使用，及业务用设备等在地区间的部署。

[在预定时期经过时的算法的重新学习]

此外，信息处理系统1可以按照从预定时期经过的时段，使算法进行重新学习。例如，学习数据可以包括要求关于诸如版权之类的权利的处理的数据。更具体地，例如，在包含在学习数据中的数据的版权等的许可期限已到期的情况下，信息处理系统1可以通过删除关于该数据的学习历史，消除对学习结果(即，基于学习生成的算法)的影响。在诸如版权之类的权利持有人进行此类处理的情况下，可以进行此类处理。

此外，信息处理系统1可以通过在算法的试用期(试验使用期)结束之后删除诸如交流DB之类的信息，使算法进行重新学习。更具体地，对于AI角色等，在免费试用期结束后，信息处理系统1可以删除与试用期期间的交流等有关的数据，并使算法进行重新学习。

如上所述，信息处理系统1按照从预定时期经过的时段，使算法进行重新学习，从而，例如，提供算法的提供者可以使算法在期望的定时处进行重新学习。

[对用户的警告]

当删除诸如交流DB之类的信息时，在该删除对算法的影响大的情况下，信息处理系统1可以警告用户。例如，存在当要删除与包括多人的群组中的特定人有关的信息时，对算法的影响大的情况。在极端情况下，可以想到通过删除该人的信息，群组对算法的影响被删除。

此外，在可能存在当删除该人的信息时，不应消失的数据的情况下，信息处理系统1可以向用户警告这种可能性。这是因为存在当要删除与群组内一人有关的信息时，不应该消失的交流会由于当前爱好和品味而消失的情况。

此外，例如，在存在来自用户的请求“请擦除群马的历史”的情况下，信息处理系统1可以检查该请求的含义的解释。这是为了防止用户在作为删除候选词的词语是多义时，由于错误地将词语识别为别的含义而引起的无意的重新学习。例如，可以向用户输出用于确认“群马是指你的朋友XXX，对吗？”的含义的解释的信息。结果，可以确认不是删除与作为地名的群马有关的信息。此外，对于用户，可以进行“如果删除(群马的历史)的话，像YYY可以吗？”的确认，或者进行在进行重新学习的情况下的影响的预先可视化。注意，所述确认可以通过语音或屏幕显示来进行。此外，它可以显示在存在于用户周围的显示器上。结果，用户可以按照确认结果选择是否删除历史。

[与其他信息处理系统的协作]

按照本实施例的信息处理系统1可以删除存储在其他信息处理系统(例如，使用AI技术的系统)等中的信息。这种情况下，信息处理系统1向其他信息处理系统通知与要删除的交流有关的数据。类似于按照本实施例的信息处理系统1中的处理，所述其他信息处理系统可以从交流DB等中删除信息，基于所述删除修正输出信息的不一致等。

[包括多个装置的信息处理系统]

在第一实施例和第二实施例中，信息处理设备10或11构成信息处理系统。本发明不限于些，信息处理系统可以包括多个装置。图23是图解说明包括多个装置的信息处理系统2的例子的示图。如图23中图解所示，信息处理系统2包括信息处理设备12和数据服务器15。此外，信息处理设备12和数据服务器15经由网络30连接。

将参考图24说明信息处理设备12的构成。图24是图解说明信息处理设备12的构成的功能方框图。与按照第一实施例和第二实施例的信息处理设备10和11不同，图24中图解所示的信息处理设备12不包括对应于知识DB、推荐DB、交流DB、学习DB等的数据库。这些数据库记录在数据服务器15中。这种情况下，信息处理设备12可以根据需要从连接到网络的数据服务器获取信息，并使算法进行重新学习等。注意，尽管未在图24中图示，不过，信息处理设备12包括存储为各种处理所需的信息的存储单元。

<5.硬件构成>

接下来，将参考图25，详细说明按照本公开的实施例的构成信息处理系统1的信息处理设备10、11、12，或者用户终端20的硬件构成的例子。图25是图解说明按照本公开的实施例的用户终端20，或构成信息处理系统1的信息处理设备10、11和12的硬件构成的构成例子的功能方框图。

构成按照本实施例的信息处理系统1的信息处理设备10主要包括CPU 601、ROM602和RAM 603。此外，信息处理设备10还包括主总线604、桥接器605、外部总线606、接口607、输入装置608、输出装置609、存储装置610、驱动器612、连接端口614和通信装置616。

CPU 601起计算处理装置和控制装置作用，并按照记录在ROM 602、RAM 603、存储装置610或可拆卸记录介质613中的各种程序，控制信息处理设备10中的全部或部分操作。ROM 602存储CPU 601使用的程序、操作参数等。RAM 603主要存储CPU 601使用的程序，在所述程序的执行中适当变化的参数等。这些组件由包括诸如CPU总线之类的内部总线的主总线604相互连接。例如，图3中图解所示的处理单元120、分析单元130、生成单元140、输出控制单元150和通信控制单元160可以由CPU 601构成。

主总线601经由桥接器605，连接到诸如外部组件互连/接口(PCI)总线之类的外部总线606。另外，输入装置608、输出装置609、存储装置610、驱动器612、连接端口614和通信装置616经由接口607连接到外部总线606。

输入装置608是由用户操作的操作装置，比如鼠标、键盘、触摸面板、按钮、开关、控制杆和踏板。此外，输入装置608例如可以是使用红外线或其他无线电波的遥控装置(所谓的遥控器)，或者外部连接装置615，比如对应于图像处理设备10的操作的移动电话机或PDA。此外，输入装置608例如包括基于用户使用上述操作装置输入的信息，生成输入信号，并将输入信号输出给CPU 601的输入控制电路。通过操作输入装置608，信息处理设备10、11或12或者用户终端20的用户可以向信息处理设备10、11或12或者用户终端20输入各种数据或者发出关于处理操作的指令。

输出装置609包括能够在视觉上或听觉上将获取的信息通知用户的装置。所述装置的例子包括诸如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置和灯之类的显示装置，诸如扬声器和头戴式耳机之类的音频输出装置，和打印机装置。输出装置609例如输出通过由信息处理设备10、11或12或者用户终端20进行的各种处理获得的结果。具体地，显示装置以文本或图像显示通过由信息处理设备10、11和12或用户终端20进行的各种处理获得的结果。同时，音频输出装置将包括再现的音频数据、声学数据等的音频信号转换成模拟信号，并输出该模拟信号。

存储装置610是作为信息处理设备10的存储单元的例子构成的数据存储装置。存储装置610例如包括诸如硬盘驱动器(HDD)之类的磁存储单元装置、半导体存储装置、光学存储装置、磁光存储装置等。存储装置610存储由CPU 601执行的程序、各种数据等。例如，图3中图解所示的存储单元110可以由存储装置610构成。

驱动器612是记录介质的读/写器，内置在信息处理设备10中或外部附接于信息处理设备10。驱动器612读取记录在装入的可拆卸记录介质613(比如磁盘、光盘、磁光盘或半导体存储器)上的信息，并将该信息输出到RAM 603。此外，驱动器612也可以在装入的可拆卸记录介质613(比如磁盘、光盘、磁光盘或半导体存储器)上写入记录。例如，可拆卸记录介质613是DVD介质、HD-DVD介质、蓝光(注册商标)介质等。此外，可拆卸记录介质613可以是紧凑式闪存(CF)(注册商标)、闪存、安全数字(SD)存储卡等。此外，可拆卸记录介质613例如可以是上面安装非接触式IC芯片的集成电路(IC)卡、电子装置等。

连接端口614是用于直接连接到信息处理设备10、11或12或者用户终端20的端口。连接端口614的例子包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。连接端口614的其他例子包括RS-232C端口、音频光端机、高清晰度多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置615连接到连接端口614，信息处理设备100直接从外部连接装置615获取各种数据，或者向外部连接装置615提供各种数据。

通信装置616例如是包括用于连接到通信网络(网络)917的通信装置等的通信接口。例如，通信装置616是用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线WSB(WUSB)的通信卡等。此外，通信装置616可以是用于光通信的路由器、用于非对称数据用户线路(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信装置616能够按照诸如TCP/IP之类的预定协议，往来于因特网和其他通信装置发送和接收信号等。此外，连接到通信装置616的通信网络617包括以有线或无线方式连接的网络等，例如可以是因特网、家用LAN、红外通信、无线电波通信、卫星通信等。

上面说明了能够实现按照本公开的实施例的用户终端20，或者构成信息处理系统1的信息处理设备10、11和12的功能的硬件构成的例子。每个上述组件可以使用通用部件构成，或者可以用专用于每个组件的功能的硬件构成。于是，可以按照实现本实施例时的技术水平，适当地变更要使用的硬件构成。注意尽管未在图15中图示，不过自然包括对应于用户终端20，或者构成信息处理系统1的信息处理设备10、11和12的各种构成。

注意，可以创建用于实现如上所述的按照本实施例的构成信息处理系统1的信息处理设备10、11和12的每个功能的计算机程序，并安装在个人计算机等上。此外，还可以提供存储此类计算机程序的计算机可读记录介质。所述记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络分发，而不使用记录介质。此外，执行计算机程序的计算机的数量并无特别限制。例如，多个计算机(例如，多个服务器等)可以彼此协作地执行所述计算机程序。

<6.补充>

上面，尽管参考附图，详细说明了本公开的优选实施例，不过，本公开的技术范围不限于这样的例子。显然本领域的普通技术人员可以在记载在权利要求书中的技术思想的范围内想到各种变更或修改，应理解的是这些变更或修改自然也属于本公开的技术范围。

例如，在上述实施例中，信息处理系统1从知识DB 111和推荐DB112两者中删除各种信息，不过，本技术不限于这样的例子。例如，信息处理系统1可以从知识DB 111或推荐DB112中删除各种信息。

此外，指定期望消除或减轻其影响的信息的方法可以是时间单位(以秒、分、小时、天、月或年为单位)。指定方法可以是场所(地名或地图区域)。在指定目标是地图区域的情况下，用户可以例如通过勾画显示在用户终端20上的地图，指定地图区域。指定的目标可以是个人或群组。

另外，信息处理系统1可以生成用于以列表显示哪些交流被删除或修正的输出信息。通过基于该输出信息的输出，用户可以识别哪些交流被删除或修正。

此外，信息处理系统1可以生成用于使用户选择删除或修正交流的级别的输出信息。例如，在用户终端20上，基于该输出信息，作为图像显示与在每个级别要被删除或修正的交流的代表有关的信息。此外，用户可以基于所述图像显示，选择是否删除或修正与交流有关的信息。

此外，信息处理系统1可以使用户试用通过删除或修正交流而重新学习的算法。此时，信息处理系统1保持在删除或修正交流之前的交流DB，从而可以根据需要，恢复到删除或修正交流之前的算法。

此外，信息处理系统1可以修正交流的细节。所述修正可以通过用户操作来进行，或者由信息处理系统1自动进行。

此外，在上述实施例中，删除或修正学习数据，以便使算法进行重新学习。本发明不限于此，可以根据需要增加新的学习数据，以便使算法进行重新学习。

此外，在第二实施例中，例如，可以使用利用神经网络(比如递归神经网络(RNN)或卷积神经网络(CNN))的各种机器学习技术。

另外，例如，假设存在上面安装有诸如知识DB 111之类的数据库的产品。可以保护在该产品的发货阶段记录在所述数据库中的信息不被删除。例如，所述数据库可以用于不可卸载的应用(例如，在移动终端等中使用的软件)。此外，可以保护记录在知识库DB 111中的信息之中的特定信息，以便不被用户的指定删除。此外，信息处理系统1可以按照交流等的流程，将记录在交流DB 113中的交流信息设定为受保护。

另外，在上述实施例的流程图中图解所示的步骤不仅包括按照所述顺序以时间序列进行的处理，而且包括并行地或者单独地执行的、而不一定是以时间序列处理的处理。此外，不用说，即使在以时间序列处理的步骤中，在一些情况下顺序也可以适当地变更。

此外，记载在本说明书中的效果仅仅是说明性或示例性的，而不是限制性的。即，连同上述效果一起，或者代替上述效果，按照本公开的技术可以表现出根据本说明书的记载，对本领域技术人员来说明显的其他效果。

注意，以下构成也属于本公开的技术范围。

(1)一种信息处理系统，

其中对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

(2)按照(1)所述的信息处理系统，

其中学习数据基于在所述算法的使用环境下累积的数据。

(3)按照(2)所述的信息处理系统，

其中学习数据包括与基于用户对所述算法的输入信息的、来自所述算法的输出信息有关的数据。

(4)按照(3)所述的信息处理系统，

其中基于记录与所述输入信息有关的数据的数据库，从所述算法的学习历史中提取匹配预定条件的特定学习历史。

(5)按照(4)所述的信息处理系统，

其中调整源于与所述特定学习历史对应的学习数据的影响度。

(6)按照(1)-(5)任意之一所述的信息处理系统，

其中通过删除或修正所述特定学习数据，调整所述影响度。

(7)按照(1)-(6)任意之一所述的信息处理系统，

其中所述影响度是对基于所述算法的输出信息给予的影响的程度。

(8)按照(7)所述的信息处理系统，

其中按照在所述特定学习数据被变更时发生的、根据所述变更之前获得的输出的输出变化，调整所述影响度。

(9)按照(1)-(8)任意之一所述的信息处理系统，

其中所述特定学习数据是由用户指定的。

(10)按照(1)-(10)任意之一所述的信息处理系统，

其中所述特定学习数据包括作为与用户有关的数据的用户数据。

(11)按照(10)所述的信息处理系统，

其中所述用户数据包括与用户的位置有关的位置信息。

(12)按照(10)或(11)所述的信息处理系统，

其中所述用户数据包括与用户的偏好有关的偏好信息。

(13)按照(10)-(12)任意之一所述的信息处理系统，

其中按照所述用户数据的变化，对所述算法进行重新学习。

(14)按照(1)-(13)任意之一所述的信息处理系统，

其中所述特定学习数据包括关于潮流的数据。

(15)按照(1)-(14)任意之一所述的信息处理系统，

其中所述学习数据包括关于伦理的数据。

(16)按照(1)-(15)任意之一所述的信息处理系统，

其中按照从预定时期经过的时段，对所述算法进行重新学习。

(17)按照(1)-(16)任意之一所述的信息处理系统，

其中向用户输出与所述重新学习的内容有关的信息。

(18)一种信息处理方法，由处理器进行：

对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

附图标记列表

1,2 信息处理系统

10,11,12 信息处理设备

110 存储单元

111,116 知识DB

112,117 推荐DB

113 交流DB

114 学习DB

120,128 处理单元

121 更新单元

122 提取单元

123 判定单元

124 修正单元

125 学习单元

130,131,132 分析单元

140,143,149 生成单元

141,144 确认信息生成单元

142,145 推荐信息生成单元

150 输出控制单元

160 通信控制单元

15 数据服务器

20 用户终端

210 通信控制单元

220 输出控制单元

30 网络

Claims (18)

1.一种信息处理系统，

其中对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

2.按照权利要求1所述的信息处理系统，

其中学习数据基于在所述算法的使用环境下累积的数据。

3.按照权利要求2所述的信息处理系统，

其中学习数据包括与基于用户对所述算法的输入信息的、来自所述算法的输出信息有关的数据。

4.按照权利要求3所述的信息处理系统，

其中基于记录与所述输入信息有关的数据的数据库，从所述算法的学习历史中提取匹配预定条件的特定学习历史。

5.按照权利要求4所述的信息处理系统，

其中调整源于与所述特定学习历史对应的学习数据的影响度。

6.按照权利要求1所述的信息处理系统，

其中通过删除或修正所述特定学习数据，调整所述影响度。

7.按照权利要求1所述的信息处理系统，

其中所述影响度是对基于所述算法的输出信息给予的影响的程度。

8.按照权利要求7所述的信息处理系统，

其中按照在所述特定学习数据被变更时发生的、根据所述变更之前获得的输出的输出变化，调整所述影响度。

9.按照权利要求1所述的信息处理系统，

其中所述特定学习数据是由用户指定的。

10.按照权利要求1所述的信息处理系统，

其中所述特定学习数据包括作为与用户有关的数据的用户数据。

11.按照权利要求10所述的信息处理系统，

其中所述用户数据包括与用户的位置有关的位置信息。

12.按照权利要求10所述的信息处理系统，

其中所述用户数据包括与用户的偏好有关的偏好信息。

13.按照权利要求10所述的信息处理系统，

其中按照所述用户数据的变化，对所述算法进行重新学习。

14.按照权利要求1所述的信息处理系统，

其中所述特定学习数据包括关于潮流的数据。

15.按照权利要求1所述的信息处理系统，

其中所述学习数据包括关于伦理的数据。

16.按照权利要求1所述的信息处理系统，

其中按照从预定时期经过的时段，对所述算法进行重新学习。

17.按照权利要求1所述的信息处理系统，

其中向用户输出与所述重新学习的内容有关的信息。

18.一种信息处理方法，由处理器进行：

对于基于学习数据的累积而变化的算法，调整源于累积的学习数据中的特定学习数据的影响度，并基于调整后获得的新的学习数据进行重新学习。

Images