CN113011551B

CN113011551B - 一种基于用户情感反馈的机器人服务认知方法及系统

Info

Publication number: CN113011551B
Application number: CN202110362898.7A
Authority: CN
Inventors: 路飞; 司文佳
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2021-04-02
Filing date: 2021-04-02
Publication date: 2023-01-31
Anticipated expiration: 2041-04-02
Also published as: CN113011551A

Abstract

本发明公开了一种基于用户情感反馈的机器人服务认知方法及系统，所述方法包括以下步骤：获取当前场景信息，包括当前环境领域和用户领域的信息；基于预先构建的案例库，获取与当前场景信息相匹配的服务类型，所述案例库包括场景信息和服务类型的映射关系；根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立。本发明基于案例推理的方法进行机器人服务自主认知，以用户情感状态为核心，利用用户偏好度模型，细化服务粒度，满足用户的个性化服务需求。

Description

一种基于用户情感反馈的机器人服务认知方法及系统

技术领域

本发明属于服务机器人技术领域，尤其涉及一种基于用户情感反馈的机器人服务认知方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目前家庭服务机器人已经进入“智能+情感”的时代，在日常生活中能够以用户为核心，为用户提供一系列满足用户需要、贴合用户情感需要、符合用户喜好的人性化服务，是家庭服务机器人发展的目标。

情感识别与机器人服务自主认知两者进行结合，是提升机器人服务能力的关键。但据发明人所了解到的，目前机器人为用户提供情感关怀服务的研究较少，服务认知算法往往采用基于知识和基于学习的方法，智能性和可扩展性较差，难以实现随着用户喜好改变而改变的个性化服务认知。在服务修正方面，则需要询问用户意见进行调整服务内容，人工参与度过高，无法满足机器人智能化与情商化服务的需求。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于用户情感反馈的机器人服务认知方法及系统。基于案例推理的方法进行机器人服务自主认知，以用户情感状态为核心，利用用户偏好度模型，细化服务粒度，满足用户的个性化服务需求。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于用户情感反馈的机器人服务认知方法，包括以下步骤：

获取当前场景信息，包括当前环境领域和用户领域的信息；

基于预先构建的案例库，获取与当前场景信息相匹配的服务类型，所述案例库包括场景信息和服务类型的映射关系；

根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立。

进一步地，还包括：接收用户对所述具体服务的情感评价，更新用户偏好度模型，若所述情感评价为负面，根据更新后的用户偏好模型，重新确定具体服务。

进一步地，所述案例库构建方法包括：

获取多个服务案例，每个服务案例均包括场景信息和相应服务类型；

基于预设编码规则对场景信息进行编码，得到场景属性向量，所述预设编码规则包括场景信息中各个属性及其编码；

将所述多个服务案例的场景属性向量和相应服务类型进行关联存储。

进一步地，获取与当前场景信息相匹配的服务类型包括：

将当前环境领域和用户领域的信息根据预设编码规则进行编码，得到当前场景属性向量；

将当前场景属性向量与案例库中的场景属性向量进行相似性分析，获取相匹配的服务案例，其相应的服务类型即与当前场景信息相匹配的服务类型；

若获取的相匹配服务案例数量大于1，还根据案例优先级进行二次筛选，所述案例优先级与近期使用频次、案例创建者和相似度相关。

进一步地，所述相似性分析包括：

计算当前场景属性向量与案例库中的场景属性向量之间的距离：首先根据两个属性向量中相应属性是否相同得到属性差异向量，然后基于属性差异向量和各属性的权重加权求和得到两个属性向量之间的距离；其中，各属性的权重根据该属性与服务类型的相关性得到；

确定当前场景属性向量与案例库中的场景属性向量之间的相似度，距离越小，相似度越高。

进一步地，所述用户偏好模型建立方法为：

对于每一类服务，接收用户对多次具体服务的情感反馈；其中，对于每一个具体服务，均预先构建特性矩阵，所述特性矩阵中每一列表示该具体服务的一种特性，矩阵中的取值表示该具体服务是否具备相应特性；

以情感反馈为权重，对所述多次具体服务的特性矩阵进行加权求和，得到该类服务相应的偏好度模型。

进一步地，根据所述服务类型相应的用户偏好度模型，获取具体服务包括：

获取所述服务类型相应的具体服务，根据各具体服务的特性矩阵和用户偏好度模型，计算各具体服务的匹配度。

一个或多个实施例提供了一种基于用户情感反馈的机器人服务认知系统，包括：

当前场景获取模块，被配置为获取当前场景信息，包括当前环境领域和用户领域的信息；

服务类型匹配模块，被配置为基于预先构建的案例库，获取与当前场景信息相匹配的服务类型，所述案例库包括场景信息和服务类型的映射关系；

具体服务匹配模块，被配置为根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施所述的基于用户情感反馈的机器人服务认知方法。

一个或多个实施例提供了一种服务机器人，被配置为执行所述的基于用户情感反馈的机器人服务认知方法。

以上一个或多个技术方案存在以下有益效果：

上述技术方案对历史服务进行案例表示，构建案例库，结合案例库对当前场景进行服务自主认知，再结合用户情感得到细粒度的具体服务，能够满足用户的个性化服务需求；

利用案例推理构建增量式经验学习的服务推理模式，实现机器人服务认知知识的迁移与增长，提升了服务推理的智能性与可扩展性；

以用户的情感作为反馈，实时调整机器人服务内容，降低人工参与度，增强机器人服务的灵活性，提升了机器人服务的智能化与情商化。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一个或多个实施例中基于用户情感反馈的机器人服务认知方法流程图；

图2为音乐曲目特性矩阵的构建示意图，其中每一列表示该音乐曲目的一个特性；

图3为“打开音响”这一类服务的初始用户偏好度矩阵；

图4(a)-图4(d)为四个音乐曲目的特性矩阵图；

图5为更新后的用户偏好度矩阵。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于用户情感反馈的机器人服务认知方法，以用户情感状态为核心，基于案例推理的方法进行机器人服务自主认知，使机器人为用户提供具有情感温度的服务。

其中，案例库的作为案例推理的基础，其构建方法如下：

智能空间机器人服务模型本质上是当前智能空间场景信息到用户服务需求的映射。如表1与表2所示，将服务模型的输入即服务场景数据划分为环境领域与用户领域两个部分，环境领域包括时间、天气和服务场所内的设备状态信息等属性，用户领域包括情感、行为与位置信息。对离散的服务场景数据进行数值化编码，不同的属性内容对应不同编码结果。

窗帘、开关窗、调整温度、调整亮度、开关音响、开关电视机、聊天和提供食物与饮品等服务。服务案例由编码后的场景数据与对应服务内容两者共同组成。基于<场景信息，服务内容>二元组的案例形式构建初始案例库。

表1 环境领域中的输入属性及编码

表2 用户领域中的输入属性及编码

表3 输出的服务内容

所述方法具体包括以下步骤：

步骤1：获取当前场景信息，包括当前环境领域和用户领域的信息；

所述机器人通过定位、计算机视觉等方式获取当前用户位置，如卧室、客厅、书房等；通过多种传感器采集心率等用户生理信号，来获取用户的当前情感状态，如愉悦、悲伤、生气等；通过计算机视觉等方式获取用户当前的行为，如睡觉、吃饭、娱乐、工作等。通过用户生理信号确定情感状态，以及通过计算机视觉方式确定用户行为可采用现有方法，在此不做限定。

步骤2：基于预先构建的案例库，获取与当前场景信息相匹配的服务类型；具体包括：

步骤2.1：将当前环境领域和用户领域的信息根据预设编码规则进行编码，得到当前场景属性向量；

当前场景案例相应的属性向量可用X＝{x₁,x₂,...,x_n}表示，其中x_i为案例的第i个属性值，n是案例属性的个数。案例的属性值为各个属性内容的编码。

步骤2.2：将当前场景属性向量与案例库中的案例场景属性向量进行相似性分析，获取相匹配的案例；

由于各输入属性对于每项服务的影响程度不同，所以首先需要获得属性权重。选用ReliefF算法根据各个属性与服务类别的相关性计算权重，属性权重越大意味着它越重要。

ReliefF是一种多类别特征选择算法，通过将多类问题化解为多个一对多的两类问题，将研究对象由两类问题扩展到多类。ReliefF算法的基本思想：在训练集中选取m个随机样本，对每个样本找到它的k个类内最近邻和类外最近邻，求出样本各属性特征与类别的相关性，求平均得到各属性特征的权重。将特征的权重排序，根据设定的阈值来选择有效特征。

对于样本集P,每次从中随机选择一个样本S,然后S的同类样本集中寻找k个S的近邻样本NH,同时每个与S不同类别的样本集中各寻找k个近邻样本NM。迭代更新每个特征的权重w(x),更新公式为:

式中,m表示迭代次数,NH_j表示同类的第j个近邻样本,NM(C)_j表示不同类的C类样本的第j个近邻样本，P(C)表示第C类目标的概率，Class(S)表示样本S所属的类别,diff(X,S,S')表示样本S和S'关于特征X的距离。

利用最近邻策略与属性权重计算相似度匹配相似案例。

假设有案例场景属性向量X＝{x₁,x₂,...,x_n}和当前场景属性向量Y＝{y₁,y₂,...,y_n}，通过ReliefF算法计算的每个属性权重值为W＝{w₁,w₂,...,w_n}。计算属性向量间的距离d，具体包括：

首先根据两个属性向量中相应属性是否相同得到属性差异向量；

然后基于属性差异向量和各属性的权重加权求和得到两个属性向量之间的距离；

距离越小，相似度越高。本实施例中，案例场景和当前场景属性向量间的相似度计算公式为：

选取相似度满足预设条件的案例相应的服务内容作为候选服务内容。案例库中案例总数为N,经过相似度计算取出案例库中与新场景相似度最高的1％的案例，共计m个案例，m的计算为方法为：

m＝ceil(N*0.01)

ceil表示对数据向上取整数，案例总数大于0，m的值可保证大于等于1。

若获取的相匹配案例数量m为1，则直接采用该案例中的服务内容。若获取的相匹配案例数量m大于1，则进一步执行步骤2.3。

步骤2.3：根据案例优先级对选出的案例进行二次筛选，获取相匹配案例，其相应的服务内容即与当前场景信息相匹配的服务内容，案例的优先级由近期使用频次、案例创建者、案例的相似度决定。近期使用频次越高则代表该案例内容越贴近用户习惯。案例创建者包括用户、机器人与原始案例库，经由用户指导的案例级别最高，机器人自主推理的次之，原始案例库样本级别最低。

步骤3：根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立。

基于最近邻策略推理出的服务内容是粗粒度的，相似的服务被归为同一个服务类别，如“打开音响”服务，对应了“播放曲目1”、“播放曲目2”等一系列相似服务。结合情感信息与用户偏好度模型，为用户提供具体服务，并对服务内容进行修正。

对于“打开音响”这种一系列服务的集合，里面包含的每种具体服务具有n个方面的特性，在各特性上可取描述值的最大数量为m，则具体服务的特征空间为m×n维，可以用一个特性矩阵来表示：

用户偏好度矩阵Q为m×n维的矩阵：

q_ij代表用户对具体服务的特性j上取值i的偏好程度，q_ij的取值范围[-1,1]，偏好程度从-1到1逐渐递增。

用户偏好度矩阵Q通过用户对多个具体服务的情感评价获取，评价值用p表示，此项服务引起用户情绪转向积极，则p值为1，不引起情绪转变p为0，导致情绪负向转变p为-1。对于每一类服务内容，当用户对N次具体服务进行情感评价后，计算针对该类服务的偏好度矩阵：

已知一项服务的特性矩阵Y与该类服务的用户偏好度矩阵Q，则可计算该项的服务匹配度M：

步骤4：接收用户对所述具体服务的情感评价，更新用户偏好度模型，若所述情感评价为负面，根据更新后的用户偏好模型，重新确定具体服务。

每次提供服务后，根据服务效果更新偏好度矩阵：

Q_N为由之前的N次服务计算的用户偏好度矩阵，Q_N+1为加入此次服务经验后计算所得的偏好度矩阵。p_N+1是此次的服务评价值，Y_N+1是此次服务的特性矩阵。

使用用户偏好度模型为用户提供具体服务，以用户情感评价动态修正用户偏好度矩阵。根据用户情感状态，若服务无法令用户满意，则根据更新后的用户偏好度矩阵进行服务修正，重新匹配服务内容。服务令用户满意则无需修正服务，保存新服务案例即可。

步骤5：根据本次场景信息和最终提供的具体服务，作为新案例更新案例库。案例库也将不断剔除低价值案例，实现案例库动态更新。最终实现机器人服务认知知识的迁移与增长，提高服务机器人服务的智能化和情商化。

以“打开音响”服务为例，当机器人做出“打开音响”服务决策时，要确定播放的具体音乐曲目。当前曲库中存有A、B、C、D四首歌曲，需要根据用户偏好度模型做出选择。播放的音乐曲目的特性矩阵如图2所示。调查用户对10首音乐曲目的喜好情况计算初始用户偏好度矩阵，矩阵如图3所示。

音乐A、B、C、D的特性矩阵如图4所示，图(a)、(b)、(c)、(d)分别对应A、B、C、D四首音乐曲目。

通过用户偏好度矩阵与特性矩阵计算4种音乐曲目的匹配度。曲目A匹配度为0.04，曲目B匹配为0.02，曲目C匹配度为0.015，曲目D匹配度为0。选取匹配度最大的曲目作为最终服务选择曲目，即播放曲目A，检测到用户情感状态转向积极，确定评价值为1，更新用户偏好度矩阵，更新后用户偏好度矩阵如图5所示。

实施例二

本实施例的目的是提供一种基于用户情感反馈的机器人服务认知系统，包括：

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施如实施例一种所述的方法。

实施例四

本实施例的目的是提供一种服务机器人。

一种服务机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一种所述的方法。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

智能空间中的实时场景信息是机器人服务认知的输入，而用户情感信息是实时场景信息中的关键输入属性。情感信息的加入，使机器人在基本服务的基础上增添了情感关怀。相同的场景，不同的情感状态，机器人所提供的服务内容有所差别。

上述机器人服务任务认知结合了情感信息、案例推理与用户偏好度模型。以用户情感状态为核心，基于案例推理的方法进行机器人服务自主认知，使机器人为用户提供具有情感温度的服务；利用用户偏好度模型，细化服务粒度，满足用户的个性化服务需求；基于用户情感反馈评价机制的闭环系统实现对服务认知结果的修正，增强服务认知模型与用户喜好的贴合度，减少人工参与，提高服务机器人服务的智能化和情商化；在每次服务结束后，机器人对服务知识进行自学习，为后续的服务认知提供经验。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于用户情感反馈的机器人服务认知方法，其特征在于，包括以下步骤：

获取当前场景信息，包括当前环境领域和用户领域的信息；

基于预先构建的案例库，获取与当前场景信息相匹配的服务类型，所述案例库包括场景信息和服务类型的映射关系；具体地，

若获取的相匹配服务案例数量大于1，还根据案例优先级进行二次筛选，所述案例优先级与近期使用频次、案例创建者和相似度相关；

所述相似性分析包括：

确定当前场景属性向量与案例库中的场景属性向量之间的相似度，距离越小，相似度越高；

根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立；

接收用户对所述具体服务的情感评价，更新用户偏好度模型，若所述情感评价为负面，根据更新后的用户偏好模型，重新确定具体服务。

2.如权利要求1所述的基于用户情感反馈的机器人服务认知方法，其特征在于，所述案例库构建方法包括：

3.如权利要求1所述的基于用户情感反馈的机器人服务认知方法，其特征在于，所述用户偏好模型建立方法为：

4.如权利要求3所述的基于用户情感反馈的机器人服务认知方法，其特征在于，根据所述服务类型相应的用户偏好度模型，获取具体服务包括：

5.一种基于用户情感反馈的机器人服务认知系统，其特征在于，包括：

服务类型匹配模块，被配置为基于预先构建的案例库，获取与当前场景信息相匹配的服务类型，所述案例库包括场景信息和服务类型的映射关系；具体地，

所述相似性分析包括：

具体服务匹配模块，被配置为根据所述服务类型相应的用户偏好度模型，获取具体服务，所述用户偏好度模型基于用户情感反馈建立；

6.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施如权利要求1-4任一项所述的基于用户情感反馈的机器人服务认知方法。

7.一种服务机器人，其特征在于，被配置为执行如权利要求1-4任一项所述的基于用户情感反馈的机器人服务认知方法。