CN108510049A - 基于情感-时空信息的机器人服务自主认知方法及机器人 - Google Patents

基于情感-时空信息的机器人服务自主认知方法及机器人 Download PDF

Info

Publication number
CN108510049A
CN108510049A CN201810246029.6A CN201810246029A CN108510049A CN 108510049 A CN108510049 A CN 108510049A CN 201810246029 A CN201810246029 A CN 201810246029A CN 108510049 A CN108510049 A CN 108510049A
Authority
CN
China
Prior art keywords
service
emotion
robot
user
time information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810246029.6A
Other languages
English (en)
Other versions
CN108510049B (zh
Inventor
路飞
姜媛
田国会
刘硕
孙晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201810246029.6A priority Critical patent/CN108510049B/zh
Publication of CN108510049A publication Critical patent/CN108510049A/zh
Application granted granted Critical
Publication of CN108510049B publication Critical patent/CN108510049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于情感‑时空信息的机器人服务自主认知方法和服务机器人，所述方法包括：构建情感‑时空本体模型，并基于智能空间实时获取的情感‑时空信息对所述本体模型进行实时更新；为智能空间中的用户的情感‑时空信息匹配服务，构建基于情感的服务任务推理规则库；将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；根据实时更新的本体模型获取当前的情感‑时空信息，采用所述推理机推理机器人要执行的服务。本发明能够有效提高家庭服务机器人的智能化和拟人化程度，增强了用户的服务体验。

Description

基于情感-时空信息的机器人服务自主认知方法及机器人
技术领域
本发明属于智能空间机器人自主服务领域，尤其涉及一种基于情感-时空信息的机器人服务自主认知方法及服务机器人。
背景技术
随着人工智能技术日益成熟，家庭服务机器人技术也取得了不容小觑的成就。仿生类人机器人“Atlas”能完成像人类一样行走、上下台阶、攀爬梯子等一系列动作。机器人不仅在行为上表现的像人类，它们也同人类一样具有视觉、听觉等感知系统，人工智能的发展使得机器人热潮经久不衰。随着家庭服务机器人在普通家庭的普及，其便利化的操作需求也日益加深。当机器人进入家庭环境后，其交互对象由科研人员变成了寻常百姓，他们对机器人操作知识一无所知，这意味着机器人需要更加智能化的人机交互方式。因此，机器人服务任务的自主认知变成机器人学科中的一个重要研究领域。机器人如何正确地感知服务环境和理解用户，综合实时信息与已有知识进行推理，进而对服务进行主动认知均成为研究的关键。
近年来，众多学者在家庭服务机器人的服务认知领域进行了广泛的研究。褚伟杰等通过情境规则建立起能够识别老人的起居和健康状况的情境感知系统，进而主动提供提醒服药、休息或运动等服务。秦伟俊等利用当前用户和环境资源设计了情景推理感知系统，基于用户、环境等基本实体与扩展本体建立智能空间情境信息分层模型，采用规则描述语言实现智能空间的情境推理。但是纵观这些文献所涉及的服务认知方法，大多数仅强调智能空间中时间和空间因素，对于用户内心的情感需求进行服务认知的研究较少，且对于不同用户间的个体化差异不大。当计算机能够观察、理解和生成各种人类的情感时，才能实现真正意义上自然和谐的人机交互。由于人机交互的首要服务对象是“人”，因此需要在服务认知过程中考虑人的情感因素，作为提升机器人服务质量和用户体验的重要措施。有大量研究人员考虑到情感的重要性对服务认知和优化做出了贡献。Lim Y M以一种低成本、非侵入式的方法，感知用户在使用E-learning远程教育系统时情感状态，以此提升用户的远程教育体验。设计的ITS智能教学系统，针对于学习者在回答问题时的紧张程度和用户行为，评估学习者的表现，从而对在线学习进行个性化且适当的调整。Tivatansakul S等开发了一个基于WEB界面可识别情感的保健系统，融合ECG生理信号和面部表情共同识别用户的情感状态，之后结合增强现实技术缓解负面情感或加强正向情感。张腾宇等提出一种基于用户情绪及意图识别的机器人人机交互方法，利用生物信息和面部表情识别用户的情绪，利用压力、温度等物理传感器识别用户意图，根据情绪和意图智能控制机器人执行完成肢体动作和语音交互，满足用户对情感陪护功能的需求。Nasoz F等结合情感计算与家居远程医疗系统，考虑了负向情绪对人免疫系统的影响，通过人机交互获取病人的实时情感，对其进行评估并采集适当行动，减少病人的负向情绪，从而提高病人的生理健康指数。韩晶等在识别出用户的情感后，将其作为外界情感刺激结合机器人的个性因素，构建了机器人的认知情感交互模型，在人机交互过程中机器人可以通过肢体动作对不同强度下悲伤情绪进行不同程度的反馈。
虽然智能空间本体技术的引入为服务机器人认知领域开辟了崭新的途径，但由于目前对智能空间中用户情感因素的考虑不足，在很大程度上制约了服务机器人似人化与智能化的发展。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于情感-时空信息的机器人服务自主认知方法及服务机器人，构建了以用户情感为核心的家庭服务机器人本体模型；在此基础上建立情感-时空服务推理机，结合用户情感与智能空间时间与空间进行服务推理，实现机器人的服务自主认知；最后以情感为反馈，动态调节服务偏好度，实现机器人个性化服务认知；解决了机器人服务推理过程未考虑用户情感因素的弊端，提高了机器人智能化与拟人化程度。
为实现上述目的，本发明采用如下技术方案：
一种基于情感-时空信息的机器人服务自主认知方法，包括以下步骤：
构建情感-时空本体模型，并基于智能空间实时获取的情感-时空信息对所述本体模型进行实时更新；
为智能空间中的用户的情感-时空信息匹配服务，构建基于情感的服务任务推理规则库；
将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务。
进一步地，所述情感-时空本体模型包括用户领域、环境领域和服务领域。
进一步地，所述基于情感的服务任务推理规则库包括输入状态集和输出状态集。所述输入状态集包括用户行为信息子集、用户生理信息子集、用户情感信息子集、用户位置子集和时间子集，输出状态集包括服务子集。
进一步地，所述训练BP神经网络构建推理机包括：
将所述服务任务推理规则库采用0-1化方法进行编码；
基于编码后的服务任务推理规则库，以输入状态集作为输入，以输出状态集作为输出，训练BP神经网络。
进一步地，所述编码包括：
对输入状态集和输出状态集中每个特征项0-1编码，每个特征项均由一个二进制数表示，1表示出现，0表示不出现，二进制数位由该特征项所在子集中特征项总数决定。
进一步地，所述推理机器人要执行的服务包括：
根据实时更新的本体模型获取当前的情感-时空信息并采用0-1化方法进行编码，输入所述推理机；
将输出参数与事实库进行匹配，获取机器人需要执行的服务。
进一步地，所述方法还包括：将用户情感状态作为执行服务的奖惩反馈信号，对服务子集中的服务子类进行动态的偏好度调节。
进一步地，所述用户领域还包括同类服务的偏好子集，记录各种服务子类及偏好度。
进一步地，所述偏好度调节包括：
若智能空间中用户的当前情感信息为压力状态，且基于推理机的服务认知结果包含播放音乐子集，则基于用户音乐偏好子集进行音乐选择；
每隔一段时间检测用户的当前情感信息，若压力有所缓解，则增加所述音乐的偏好度；若没有缓解，则降低所述音乐的偏好度，增加其他音乐的偏好度，基于调整后的偏好度重新进行音乐选择。
进一步地，所述偏好度调整基于慢开始、拥塞避免和快恢复算法。
根据本发明的第二目的，本发明还提供了一种计算机可读存储介质，存储预先建立的服务任务推理规则库以及可在处理器上运行的计算机程序，当处理器执行所述程序时实现以下步骤：
接收智能空间实时获取的情感-时空信息对构建的情感-时空本体模型进行实时更新；
将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务。
根据本发明的第三目的，本发明还提供了一种服务机器人，包括处理器和所述计算机可读存储介质，当处理器执行时进行服务自主认知，并根据所述认知结果控制机器人执行相应服务。
本发明的有益效果
1、本发明利用本体技术构建情感-时空为中心的家庭服务机器人的本体模型，消除了智能空间中信息异构性；在此基础上采用BP神经网络权重可调节的特性，根据规则库中已知情景训练BP神经网络，结合用户情感、智能空间时间与空间信息，基于所述神经网络对未知的情景进行服务推理；实现了以情感为核心的机器人服务任务自主认知，使得机器人的自主服务更符合用户预期。
2、本发明还在本体模型中引入用户偏好及偏好度，并且根据用户对服务执行结果的情感反馈，动态调整所述偏好度，因而本发明能够兼顾用户的个体性差异，实现服务机器人针对不同用户的个性化服务选择，有效提高了家庭服务机器人的智能化和拟人化程度，增强了用户的服务体验。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明基于情感-时空信息的机器人服务自主认知方法流程图；
图2为智能空间情感-时空本体模型；
图3为BP神经网络服务认知模型；
图4为不同情感状态的机器人服务；
图5为服务任务推理模型；
图6为网络拥塞控制策略；
图7为BP神经网络训练结果；
图8为BP神经网络的均方误差；
图9为音乐偏好变化和偏好度调整；
图10为匹配机器人服务输出；
图11为服务自主认知和个性化服务选择界面；
图12为音乐偏好度调节过程。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于情感-时空信息的机器人服务自主认知方法，如图1所示，包括以下步骤：
步骤1：构建情感-时空本体模型，并基于智能空间实时获取的情感-时空信息对所述本体模型进行实时更新；
步骤2：为智能空间中的用户的情感-时空信息匹配服务，构建基于情感的服务任务推理规则库；
步骤3：将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
步骤4：根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务；
步骤5：将用户情感状态作为执行服务的奖惩反馈信号，对服务子集中的服务子类进行动态的偏好度调节。
所述方法中涉及的技术特征具体阐述如下：
(1)智能空间中情感-时空本体模型构建
当机器人能够以用户为中心观察、理解并认知用户的需求时，才能实现真正意义上自然和谐的人机交互。仅考虑智能空间中设备和物品的状态信息，而忽略了用户的自身情感，会严重影响人机交互的灵动性。想要提高机器人的智能性和情感交互能力，需要将情感识别与智能空间相结合，共同提高机器人服务任务认知水平。
本发明结合特定时间、空间下的用户情感状态构建智能空间本体模型，包含以情感-时空为中心的机器人服务任务认知过程中所需的所有信息。具体地，将智能空间本体模型划分为3个领域，分别为用户领域、环境领域和服务领域，其层次化本体模型如图2所示。
用户领域(User类)包括用户行为子类(behavior)、用户生理信息子类(HealthCondition)和用户情感子类(mood)。其中用户生理信息根据使用者的医疗数据和疾病史，存储了与用户生命相关的重要生理信息；而用户情感子类mood则是通过手腕式可穿戴设备感知的用户情感状态信息。
环境领域(Environment类)包含机器人完成服务所需的相关物品和智能空间的时空信息。
服务领域(Service类)存储了机器人针对智能空间中不同时间、地点结合用户不同情感所提供的服务子类。优选地，包括11种与情感相关的机器人服务：关灯、关窗帘、提醒运动、提醒休息、送水、送食物、送药、开电视、放歌、聊天以及请求支援。
由于智能空间的动态性，需要将本体持续化到智能空间数据库中，不仅能利用智能空间获取的实时信息实现本体模型的更新，而且通过存储的一致性，提高信息操作的效率，利用本体推理机对智能空间本体模型进行查询，能够检索出类之间的继承或关联关系以及类或实例与属性间的所属关系。
(2)以用户情感为核心的机器人服务任务自主认知
智能空间本体技术消除了智能空间信息的异构性，实现了机器人领域信息整合，提供了智能空间知识统一化、规范化的构建方法，为服务推理任务自主认知提供了充分的概念支持。基于情感识别的机器人服务推理，应综合用户当前的情感状态，将智能空间中“时空”概念与情感识别相结合，使得机器人针对不同时间、地点、事件下用户不同的情感类型和强度进行个性化的服务认知，确保了推理的灵活和结果的效率。在智能空间本体的框架基础上，通过对智能空间本体实时更新知识的查询，利用BP神经网络实现机器人针对用户情感状态的服务任务自主认知。
BP(Back-Propagation)神经网络是由m个神经元节点的输入层、n个神经元节点的输出层和若干神经元节点的隐含层共同构成的多层人工神经网络，可以完成由m维输入到n维输出的非线性映射。BP神经网络算法也称误差逆向传播算法，包括正向传播过程和反向过程两部分。下面介绍其工作流程：首先，将输入信息由输入层神经元经过隐含层计算并处理得到输出层的结果；然后计算实际输出和期望输出的误差，并将误差逆向传播至隐含层神经元，调整网络的权值和阈值。将上述过程迭代循环运行，直至达到设定的某些条件为止，例如误差小于设定值或迭代次数达到某值等。
BP神经网络与机器人服务任务推理的结合
对于智能空间中的服务机器人任务认知问题，可以看作通过神经网络中输入层神经元到输出层神经元的映射：输入层矢量X＝{x1,x2,x3...xm}反映智能空间中用户信息和智能空间的时空信息，包含本体库中的用户生理信息HealthCondition、用户行为Behavior、用户情感Mood、用户位置Location以及时间Time；输出层矢量Y＝{y1,y2,y3...yn}为服务机器人可以提供的服务种类。当BP神经网络训练结束后，可以根据当前智能空间中用户的情感状态与时空状态的输入，映射出对应的机器人服务的输出。该服务认知规则充分考虑到智能空间中用户的情感需求和机器人的功能，组合出需要的服务匹配，构建了基于情感的服务任务推理规则库，如图3所示，规则库的规模决定了机器人对服务任务的自主认知能力。
以智能空间中机器人根据用户的压力程度大小进行服务任务认知为例，对应的认知规则如图4所示。此时，智能空间中存在的时空信息为：用户于早上坐在客厅，其各项生理信息均属正常。此时，若机器人判断用户的情感状态为平静，则执行送水和食物的服务；若感受到用户有一点压力和焦虑时，机器人会在执行送水和食物服务的同时主动与用户聊天；当用户表现出明显的压力和紧张时，机器人不仅会同用户聊天，而且会为用户提供缓解压力的药物与水，帮助用户恢复正常状态。
服务认知规则编码方法
当神经网络的结构确定后，接下来需要将规则转化为可用于训练的神经网络训练样本集。对于神经网络推理模型，编码就是把逻辑思维形式的规则转化成数值的形式。本文采用0-1化方法对相关规则进行编码：将触发某服务的用户情感状态和时空状态对应的神经网络输入层节点置为1，而把其余设置为0；同样的，被触发的机器人服务作为网络的输出层，把与服务任务对应的节点置1，其余置0。将以情感为核心的服务机器人规则库分割为状态输入集和服务输出集，其中状态输入集划分成生理信号、用户行为、用户情感、用户位置以及时间5个子集，每个子集的特征项如表1所示。
表1 输入状态集
生理信号 行为 情感 位置 时间
正常 运动 平静 浴室 早上
不正常 坐 轻压力 客厅 中午
卧 重压力 卧室 下午
晚上
非休息
首先，对输入状态集中每个特征项0-1编码。每个特征项均由一个二进制数表示，二进制数位由该特征项所在子集中特征项总数决定。如时间子集有5个特征项，采用5位二进制表示。每位二进制数位对应到该子集的一个特征项，如果为“1”，表示该输入状态特征项在输出的机器人服务中出现，“0”表示不出现。输出服务集为用户情感和日常起居所需的11种机器人服务，故采用11位二进制数表示。若为“1”，则代表机器人执行该服务任务。例如，“1100 0000 000”表示机器人执行“关灯”和“关窗帘”的服务任务。将规则库内所有的规则均采用0-1化编码方式，最终形成如表2的数据集。
表2 0-1化编码服务规则库
以用户情感为核心的机器人服务认知
经过0-1化编码的规则库训练神经网络后，将智能空间事实库与BP神经网络结合，实现机器人服务任务自主认知。通过查询智能空间中实时更新的本体信息，得到当前的用户情感-时空信息，将该信息按照0-1化编码输入至BP神经网络，利用训练好的网络权重推理出对应的机器人家庭服务输出，从而实现事实与规则的匹配。以用户情感为核心的机器人服务任务推理模型如图5所示。
本文设计的推理模型采用神经网络完成特定时间、地点、事件下的机器人服务认知，可提高数据管理与维护的高效性，降低扩展规则库时可能产生的信息冗余。最重要的是，相对于SWRL(Pan J Z,Stamou G,Tzouvaras V,et al.f-SWRL:AFuzzy Extension ofSWRL.[J].Lecture Notes in Computer Science,2006,4090:28-46)基于一阶谓词逻辑的硬性推理规则中推理事实必须满足所有前提条件才能输出结果的缺点，BP神经网络在正向传递的过程中，每个节点的输出值是根据上一层所有节点的输出值、当前节点与上一层节点的权值、当前节点的阀值和激活函数共同实现的，由此给规则中的条件分配权重来软化SWRL规则中的硬性约束，亦可实现规则的衍生。
(3)基于情感反馈的个性化服务选择
智能空间本体技术实现了智能空间信息的整合，借助查询对本体库中的知识进行探索，通过编码将事实转化为BP神经网络可识别的方式，由训练好权重的神经网络推理出基于情感-时空信息的家庭服务。对于训练BP神经网络的规则库来说，若将机器人服务任务划分过细，则会降低推理的准确性，造成用户体验不佳，同时也缺乏针对当前用户的个性化服务。故可以考虑将相似的服务归为一个模式，即对应一种服务集合，在本体模型中可以表示为父类，其中包含若干子类。例如，将“播放抒情音乐”和“播放摇滚音乐”均归类为“播放音乐”服务集合，若BP神经网络根据当前情感-时空信息推理的结果是“播放音乐”服务集合，下一步则根据不同用户的音乐偏好来进行子类的选择。
本文研究了缓解用户“压力”情感的机器人个性化服务选择策略。聆听偏好的音乐能使焦虑程度降低，用户对音乐的偏好程度越高，减压效果越好，用户的偏好在其中起决定性作用。以该结论作为指导，以情感反馈作为音乐服务选择的奖惩信号，探索针对未知用户的音乐偏好。把缓解用户压力情感的问题，转变为寻找用户当前状态下的音乐偏好问题。认为当播放到用户偏好的音乐时，用户的压力情感得到了有效的缓解。下面用“播放音乐”服务集合为例，阐述用户音乐偏好度调整的服务选择策略。
首先，在情感-时空本体模型中的User领域中加入用户对音乐偏好的类PriorityMusic。然后，当用户处于“压力”状态且机器人服务认知结果含“播放音乐”服务集合时，根据用户音乐喜好权重播放偏好度高的音乐。一段时间后，检测用户当前的情感状态：若压力没有被缓解，则降低用户对此音乐的偏好度，再根据调整后的喜好权值重新选择音乐；若用户压力得到缓解，则增加用户对此音乐的偏好度。
用户的偏好也可能根据环境和自身经历而发生不同程度的改变。对于喜好变化程度不定的用户偏好，采用针对动态的网络拥塞问题的算法进行偏好度调整。分别用“慢开始”和“拥塞避免”算法增加权重，采用“快恢复”算法减小音乐权重。上述三种算法均用于控制网络拥塞，可以防止过多的数据注入到网络造成过载。网络发送方维持一个动态的拥塞窗口cwnd，其大小决定于网络的拥塞程度。慢开始算法从1开始逐渐试探网络的拥塞程度，发送方每次收到一个确认就把拥塞窗口加倍。当拥塞窗口增大到慢开始门限值threshold时，采用拥塞避免算法，此时cwnd按照加法增加，每次收到确认后均加1。如果发送方连续收到三个重复确认，那么很可能是网络出现了拥塞，致使报文段在网络中的某处被丢弃。此时采用快恢复算法，将门限值threshold设置为当前拥塞窗口cwnd的一半，之后把拥塞窗口cwnd值更新为慢开始门限threshold减半后的数值，开始执行拥塞避免算法，使拥塞窗口缓慢地线性增大。其过程如图6所示。
本文的偏好度调整算法基于慢开始、拥塞避免和快恢复算法，以两首歌music1和music 2说明其偏好度调整和服务选择过程。首先将两首歌偏好度均初始化为1，慢开始的门限值threshold为3,当机器人由BP神经网络推理出“播放音乐”服务集合且当前用户的情感状态为“压力”后，进入以下流程选择音乐子类：
第一步：比较music 1和music 2的偏好度，播放偏好度高的音乐music i；
第二步：1分钟后重新检测用户的情感状态。若用户情感状态仍为“压力”，则进入第三步；若用户情感状态变为“平静”，则进入第六步；
第三步：减小音乐music i的偏好度，执行快恢复算法Ti(k+1)＝Pi(k)÷2，Pi(k+1)＝Ti(k+1)；
第四步：增加未播放音乐music j偏好度，若音乐music j的偏好度Pj(k)小于门限值Tj，执行慢开始算法Pj(k+1)＝Pj(k)×2；若音乐music j的偏好度Pj(k)大于或等于门限值Tj，执行拥塞避免算法Pj(k+1)＝Pj(k)+1；
第五步：偏好度调整结束，返回第一步；
第六步：音乐music i对用户情感调节有效，为用户偏好音乐，采用慢开始/拥塞避免算法增加music i偏好度，结束。
实施例二
本实施例的目的是提供一种计算机可读存储介质，用于服务机器人或智能空间中的服务器设备。
一种计算机可读存储介质，存储预先建立的服务任务推理规则库以及可在处理器上运行的计算机程序，当处理器执行所述程序时实现以下步骤：
接收智能空间实时获取的情感-时空信息对构建的情感-时空本体模型进行实时更新；
将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务。
进一步地，还实现以下步骤：
将用户情感状态作为执行服务的奖惩反馈信号，对服务子集中的服务子类进行动态的偏好度调节。
实施例三
本实施例的目的是提供一种服务机器人。
一种服务机器人，包括处理器和实施例二所述的计算机可读存储介质，当处理器执行时进行服务自主认知，并根据所述认知结果控制机器人执行相应服务。
以上实施例二和三的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
仿真实验及结果分析
本文采用Protégé3.4.8创建智能空间情感-时空本体模型，并在Eclipse Kepler中利用JENA接口对于建立的本体模型进行操作，实现对本体模型的使用和实时信息查询。通过MATLAB神经网络工具箱用情感-时空规则库训练BP神经网络，构建以用户情感为核心的机器人服务推理机。然后，依据偏好度调整策略对播放音乐的权重进行动态调整，实现个性化服务选择。最后，在山东大学服务机器人实验室的智能空间环境背景下，构建基于情感-时空信息的人机交互界面，验证服务机器人智能化交互结果。
以情感为核心的BP神经网络服务推理
本文以用户情感为核心的规则库共包含220条规则，BP神经网络输入层和输出层节点分别为16和11，隐含层节点经多次实验确定为20，训练函数选择trainlm，最大迭代次数为100，训练精度10-5。下面分别以BP神经网络针对已知情况的服务推理和对规则库中未知情况的服务推理为例，详细说明机器人对服务任务的自主认知过程。
随机选取80％的规则作为训练集训练BP神经网络。结果见图7和图8，经过70次迭代训练停止，均方误差(mean-square error,MSE)为。说明BP算法可以根据情感-时空信息准确推理出用户所需要的服务，完成机器人的服务认知。
用剩下的20％样本对训练好的网络对进行测试，误差MSE为，部分识别结果见表3。从表3中可以看出，网络各个节点出输出差异较大，不存在类别间模糊的现象。说明网络的泛化性能高，对于规则库中尚未描述的情景，机器人可以根据已有的规则自主做出让用户满意的服务。
表3 BP神经网络测试集识别结果(部分)
以情感为反馈的偏好度调整和服务选择
当用户有“压力”情感且机器人服务为“播放音乐”服务集合时，对音乐music 1和music 2的个性化服务选择，取三类用户进行测试。假设用户的音乐喜好会随环境因素而发生改变，变化的程度不尽相同且机器人事先不知道。用户A偏好music 1很久之后，因外界因素音乐偏好发生改变为music 2；用户B的喜好不定，按照一定的规律发生改变；用户C的喜好也不固定，发生改变无规律可循。图9呈现了3位用户在10天中每日的音乐喜好情况和音乐播放时长。
采用个性化的服务选择策略，当选择播放用户偏好的音乐时，用户的压力得到调节，本次服务有效并且停止。对10天的音乐偏好度调节进行分析：用户A在第九天突然改变音乐偏好时，机器人消耗了3个单位时间确定其喜好；针对喜好周期变化的用户B来说，每次的偏好改变也需要3个单位时间确定；用户C由于喜好变化快速频繁且没有固定喜好，故仅需要2个单位时间即能察觉其新的音乐偏好。单位时间指的是检测用户情感的时间间隔。由图9发现，播放音乐的时长变化与用户的喜好变化规律基本一致，音乐偏好调节策略可以快速、精确地推理出用户当前的音乐喜好。隔天有喜好变化时，机器人探索用户音乐偏好的时间变长，若无喜好变化，则1个单位时间内便可知晓。
以智能空间为背景的系统总体测试
以山东大学服务机器人实验室的智能空间环境为背景，构建了基于情感-时空信息的人机交互界面，验证服务认知算法和个性化服务选择策略的有效性。测试场景的主要信息如表4所示。
机器人将实时场景信息0-1化编码作为输入：01 010 010 001 01000与训练好的BP神经网络相结合，归一化的推理结果如图10所示。匹配输出机器人的服务为“提醒休息”和“播放音乐”。
此时用户处于“压力”状态且机器人服务中包含“播放音乐”服务集合，进入个性化服务选择过程。机器人利用JENA接口从本体库中提取用户上一次对于music 1和music 2的音乐偏好度，music 1的偏好度5大于music 2的偏好度2，则首先选择播放music 1。经过1分钟后重新检测用户的情感状态仍为“压力”，对音乐偏好度进行调整，播放偏好度高的music2，再过1分钟后用户情感为“平静”，音乐调节策略缓解压力有效。
表4 测试场景实时信息
Subject Property Object
User has_healthcondition normal
User has_behavior sit
User has_mood little_stressful
User in_location bedroom
Clock has_time bedtime
人机交互界面如图11和图12所示，兼顾机器人服务任务自主认知功能和个性化服务选择功能。该人机交互界面可以直观的展示智能空间中的相关信息，根据实时情感-时空信息输出机器人服务任务认知的结果，并描绘了个性化服务选择策略的可视化运行过程。
图11的人机交互界面各模块具体内容和功能如下：
(1)Status in Intelligent Space模块：智能空间实时情感-时空状态查询；
(2)Service模块：以情感为核心的服务自主认知结果；
(3)Music Selection模块：个性化服务选择结果，其中Priority of Music按键直观地展现了可视化偏好度调节过程，见图12。
本发明的有益效果
1、本发明利用本体技术构建情感-时空为中心的家庭服务机器人的本体模型，消除了智能空间中信息异构性；在此基础上采用BP神经网络权重可调节的特性，根据规则库中已知情景训练BP神经网络，结合用户情感、智能空间时间与空间信息，基于所述神经网络对未知的情景进行服务推理；实现了以情感为核心的机器人服务任务自主认知，使得机器人的自主服务更符合用户预期。
2、本发明还在本体模型中引入用户偏好及偏好度，并且根据用户对服务执行结果的情感反馈，动态调整所述偏好度，因而本发明能够兼顾用户的个体性差异，实现服务机器人针对不同用户的个性化服务选择，有效提高了家庭服务机器人的智能化和拟人化程度，增强了用户的服务体验。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于情感-时空信息的机器人服务自主认知方法，其特征在于，包括以下步骤：
构建情感-时空本体模型，并基于智能空间实时获取的情感-时空信息对所述本体模型进行实时更新；
为智能空间中的用户的情感-时空信息匹配服务，构建基于情感的服务任务推理规则库；
将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务。
2.如权利要求1所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述情感-时空本体模型包括用户领域、环境领域和服务领域。
3.如权利要求1所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述基于情感的服务任务推理规则库包括输入状态集和输出状态集，其中，所述输入状态集包括用户行为信息子集、用户生理信息子集、用户情感信息子集、用户位置子集和时间子集，输出状态集包括服务子集。
4.如权利要求1所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述训练BP神经网络构建推理机包括：
将所述服务任务推理规则库采用0-1化方法进行编码；
基于编码后的服务任务推理规则库，以输入状态集作为输入，以输出状态集作为输出，训练BP神经网络。
5.如权利要求4所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述编码包括：
对输入状态集和输出状态集中每个特征项0-1编码，每个特征项均由一个二进制数表示，1表示出现，0表示不出现，二进制数位由该特征项所在子集中特征项总数决定。
6.如权利要求5所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述推理机器人要执行的服务包括：
根据实时更新的本体模型获取当前的情感-时空信息并采用0-1化方法进行编码，输入所述推理机；
将输出参数与事实库进行匹配，获取机器人需要执行的服务。
7.如权利要求1所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述方法还包括：将用户情感状态作为执行服务的奖惩反馈信号，对服务子集中的服务子类进行动态的偏好度调节。
8.如权利要求7所述的基于情感-时空信息的机器人服务自主认知方法，其特征在于，所述用户领域还包括同类服务的偏好子集，记录各种服务子类及偏好度；所述偏好度调节包括：
若智能空间中用户的当前情感信息为压力状态，且基于推理机的服务认知结果包含播放音乐子集，则基于用户音乐偏好子集进行音乐选择；
每隔一段时间检测用户的当前情感信息，若压力有所缓解，则增加所述音乐的偏好度；若没有缓解，则降低所述音乐的偏好度，增加其他音乐的偏好度，基于调整后的偏好度重新进行音乐选择。
9.一种计算机可读存储介质，其特征在于，存储预先建立的服务任务推理规则库以及可在处理器上运行的计算机程序，当处理器执行所述程序时实现以下步骤：
接收智能空间实时获取的情感-时空信息对构建的情感-时空本体模型进行实时更新；
将所述服务任务推理规则库作为训练样本，训练BP神经网络构建推理机；
根据实时更新的本体模型获取当前的情感-时空信息，采用所述推理机推理机器人要执行的服务。
10.一种服务机器人，其特征在于，包括处理器和如权利要求9所述的计算机可读存储介质，当处理器执行时进行服务自主认知，并根据所述认知结果控制机器人执行相应服务。
CN201810246029.6A 2018-03-23 2018-03-23 基于情感-时空信息的机器人服务自主认知方法及机器人 Active CN108510049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810246029.6A CN108510049B (zh) 2018-03-23 2018-03-23 基于情感-时空信息的机器人服务自主认知方法及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810246029.6A CN108510049B (zh) 2018-03-23 2018-03-23 基于情感-时空信息的机器人服务自主认知方法及机器人

Publications (2)

Publication Number Publication Date
CN108510049A true CN108510049A (zh) 2018-09-07
CN108510049B CN108510049B (zh) 2020-11-06

Family

ID=63378221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810246029.6A Active CN108510049B (zh) 2018-03-23 2018-03-23 基于情感-时空信息的机器人服务自主认知方法及机器人

Country Status (1)

Country Link
CN (1) CN108510049B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859570A (zh) * 2018-12-24 2019-06-07 中国电子科技集团公司电子科学研究院 一种大脑训练方法及系统
CN110197659A (zh) * 2019-04-29 2019-09-03 华为技术有限公司 基于用户画像的反馈方法、装置及系统
CN112677152A (zh) * 2020-12-16 2021-04-20 齐齐哈尔大学 一类多机器人作业过程的规划与动态监督控制方法
CN112692875A (zh) * 2021-01-06 2021-04-23 华南理工大学 一种焊接机器人运行与维护的数字孪生系统
CN113011551A (zh) * 2021-04-02 2021-06-22 山东大学 一种基于用户情感反馈的机器人服务认知方法及系统
JP7350356B2 (ja) 2019-07-30 2023-09-26 株式会社リビングロボット パーソナルアシスタント制御システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901277A (zh) * 2010-08-25 2010-12-01 华中科技大学 一种基于用户情景的动态本体建模方法及系统
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统
CN107291654A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 机器人的智能决策系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901277A (zh) * 2010-08-25 2010-12-01 华中科技大学 一种基于用户情景的动态本体建模方法及系统
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统
CN107291654A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 机器人的智能决策系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCHIFFER, S.: "integrating qualitative reasoning and Human-robot interaction in domestic service robotics", 《KÜNSTL INTELL》 *
路飞等: "智能空间环境下基于本体的机器人服务自主认知及规划", 《机器人》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859570A (zh) * 2018-12-24 2019-06-07 中国电子科技集团公司电子科学研究院 一种大脑训练方法及系统
CN110197659A (zh) * 2019-04-29 2019-09-03 华为技术有限公司 基于用户画像的反馈方法、装置及系统
JP7350356B2 (ja) 2019-07-30 2023-09-26 株式会社リビングロボット パーソナルアシスタント制御システム
CN112677152A (zh) * 2020-12-16 2021-04-20 齐齐哈尔大学 一类多机器人作业过程的规划与动态监督控制方法
CN112677152B (zh) * 2020-12-16 2023-01-31 齐齐哈尔大学 一种多机器人作业过程的规划与动态监督控制方法
CN112692875A (zh) * 2021-01-06 2021-04-23 华南理工大学 一种焊接机器人运行与维护的数字孪生系统
CN112692875B (zh) * 2021-01-06 2021-08-10 华南理工大学 一种焊接机器人运行与维护的数字孪生系统
CN113011551A (zh) * 2021-04-02 2021-06-22 山东大学 一种基于用户情感反馈的机器人服务认知方法及系统

Also Published As

Publication number Publication date
CN108510049B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108510049A (zh) 基于情感-时空信息的机器人服务自主认知方法及机器人
Kannappan et al. Analyzing the performance of fuzzy cognitive maps with non-linear hebbian learning algorithm in predicting autistic disorder
CN111954889A (zh) 用于促成基于情感状态的人工智能的系统和方法
Khashman Application of an emotional neural network to facial recognition
Churamani et al. Learning empathy-driven emotion expressions using affective modulations
Acampora et al. Interoperable neuro-fuzzy services for emotion-aware ambient intelligence
Dell’Anna et al. Evolving fuzzy logic systems for creative personalized socially assistive robots
Gong et al. Amygdala-inspired affective computing: To realize personalized intracranial emotions with accurately observed external emotions
Tian et al. Applied affective computing
Buheji Socio-economic issues storytelling for closing intergenerational gap
Hantous et al. Detecting physiological needs using deep inverse reinforcement learning
CA3233781A1 (en) Mental health intervention using a virtual environment
Huang et al. Metaphorical description and model description of complex systems
Lee et al. FML-based type-2 fuzzy ontology for computer Go knowledge representation
Lu et al. Autonomous Cognition and Personalized Service Selection Based on Emotion-Space-Time Information for Home Service Robot
Bielskis et al. An approach of multi‐agent control of bio‐robots using intelligent recognition diagnosis of persons with moving disabilities
Younis et al. Machine learning for human emotion recognition: a comprehensive review
CN113704443B (zh) 一种融合显式和隐式个性化信息的对话生成方法
Qi et al. Research on Emotion Recognition and Mental State Prediction of College Students Based on Deep Neural Network
Roshani et al. Novel Approach for Enhancing Mental Well-Being Through Machine Learning Techniques
Taj et al. Towards a Generic Framework for a Health Behaviour Change Support Agent.
Morales-Rodríguez et al. Emotional conversational agents in clinical psychology and psychiatry
Zhang Psychological Stress Identification and Evaluation Method Based on Mobile Human-Computer Interaction Equipment
Ichimura et al. Construction of a dialog system with emotions for elderly persons by neural networks
Guojiang et al. Emotional modeling for a vision-based virtual character

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant