CN105965513A - 机器人面部表情实现系统 - Google Patents

机器人面部表情实现系统 Download PDF

Info

Publication number
CN105965513A
CN105965513A CN201610230034.9A CN201610230034A CN105965513A CN 105965513 A CN105965513 A CN 105965513A CN 201610230034 A CN201610230034 A CN 201610230034A CN 105965513 A CN105965513 A CN 105965513A
Authority
CN
China
Prior art keywords
expression
data
picture
robot
realizes system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610230034.9A
Other languages
English (en)
Inventor
王运志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Krund Robot Co Ltd
Original Assignee
Qingdao Krund Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Krund Robot Co Ltd filed Critical Qingdao Krund Robot Co Ltd
Priority to CN201610230034.9A priority Critical patent/CN105965513A/zh
Publication of CN105965513A publication Critical patent/CN105965513A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Abstract

本发明涉及机器人技术领域，具体公开了一种机器人面部表情实现系统包括上位机和下位机，所述上位机与所述下位机之间通过UART通讯，所述上位机能够向所述下位机发送表情命令，所述下位机包括眼睛屏控制板、眼睛屏显视板和电源控制板，所述眼睛屏控制板能够将所述上位机发送来的表情命令解析成图片组id和图片id，并根据所述图片组id和图片id控制所述眼睛屏显示板显示出对应的表情图片。本发明的机器人面部表情实现系统通过基于聊天内容与运动指令所做出的表情展示，能快速建立良好的用户体验，更易与用户达成情感上的共鸣，操作简单，在语音控制下就可以完成对机器人表情的控制。

Description

机器人面部表情实现系统
技术领域
本发明涉及机器人技术领域，尤其涉及一种机器人面部表情实现系统。
背景技术
机器人与用户的沟通交流局限于过往简单程式化的响应(偏机械性的条件化反射)，不能传达更多丰富的情绪和情感(喜怒哀乐等)。机器人的面部表情作为人工智能机器人与人进行人机互动的重要桥梁，需要满足人与机器人沟通交流对话的情感需求，良好地传递机器人的反馈信息和恰当地模拟出用户能够理解的情绪和情感的表达。
现有的机器人的面部表情反馈大多基于既定的交互程式，采用比较具象且样式固定的表情来传达响应的表情。这样的机器人表情交互往往会出现形式单一，灵活可变性不足，且可拓展性也不足的问题。
用户体验不好，与人交互时缺少情感与心理上的交流，使人类无法产生情感上的共鸣。
目前多数机器人以“情感”为主打卖点，但机器人面部显示屏幕表情呆板欠缺变化，表情甚至一成不变，难以与人类产生真正心灵上的沟通，让人类无法感觉到它是生活中不可或缺的一部分。
发明内容
本发明的目的是提供一种机器人面部表情实现系统，以解决现有技术中人机交互存在的缺陷。
为了解决上述技术问题，本发明提供了一种机器人面部表情实现系统，包括上位机和下位机，所述上位机与所述下位机之间通过UART通讯，所述上位机能够向所述下位机发送表情命令；所述下位机包括眼睛屏控制板、眼睛屏显视板和电源控制板，所述眼睛屏控制板能够将所述上位机发送来的表情命令解析成图片组id和图片id，并根据所述图片组id和图片id控制所述眼睛屏显示板显示出对应的表情图片。
优选地，所述上位机为采用锂电池供电的lemaker guitar主控板，包括外围板和核心板。
优选地，所述外围板用于提供对外接口，通过ttyUSB0进行通讯。
优选地，所述核心板包括Cortex-A53 8核64位1.2GHz的CPU、2GB LPDDR3 SDRAM@800MHz的RAM以及8GB的eMMc/Nand FLASH。
优选地，所述眼睛屏显示板包括显示屏和LED点阵屏。
优选地，所述表情命令包括汉字显示、英文显示、图片静态显示、图片动态显示、眼睛屏全亮、眼睛屏全暗、眼睛屏呼吸和眼睛屏闪烁。
优选地，所述表情命令的数据格式为：数据包头+作用区域+命令总类型+数据长度+具体数据+预留位+校验位，其中，所述数据包头为数据包的起始位置且为固定的，所述作用区域用于表示这一包数据的作用位置，所述命令总类型为显示的不同表情效果，所述数据长度用于表示数据的长度且高位在前，所述具体数据为实际的数据。
优选地，所述上位机和下位机在接收到数据后能够回复一个命令，用于表示已经收到数据。
优选地，所述上位机向所述下位机发送的表情命令为十六进制数据。
优选地，所述下位机中保存的表情图片数据为flash数据，flash数据中有多组图片数据且按组区分，组数量最多为255组，每组的图片数量最多为255副，指定图片信息需要图片组id和图片id。
本发明的机器人面部表情实现系统在人机交互过程中，根据聊天内容变换不同表情，进而产生情感上的共鸣，表情的变化动态效果丰富，能更好的促进与人类的互动，通过人类易于识别的表情展开真正触动人心的交流，实现机器人的面部屏及表情丰富变化，使之更符合现代人类的审美观点，能给人以亲切感和信任感，实现机器人面部屏及表情丰富的变化，使之在视觉上符合人类头、面部的运动规律并且在视觉上符合人体艺术工程学，在运动中结合指令的变化展示相应的表情，机器人通过丰富的表情变化将可以更好得与人类进行沟通以辅助其完成日常操作，本发明的目的在于改进人机交互中不能产生情感共鸣的问题。通过基于聊天内容与运动指令所做出的表情展示，能快速建立良好的用户体验，更易与用户达成情感上的共鸣，操作简单，在语音控制下就可以完成对机器人表情的控制，其工作性能高，制作成本、能量损耗少，稳定性高，操作、控制、使用简便。
具体实施方式
下面结合实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
本发明的方案包括机器人表情的动态效果、语音与表情结合、动作与表情结合三个部分，各部分的功能是，在语音聊天过程中，根据聊天的内容变换表情，如果聊天内容超出机器人的理解范围，则出现困惑表情，机器人运动过程中结合相应的指令展示不同的表情。
本实施例的机器人面部表情实现系统包括上位机和下位机，所述上位机与所述下位机之间通过UART通讯，所述上位机能够向所述下位机发送表情命令；所述下位机包括眼睛屏控制板、眼睛屏显视板和电源控制板，所述眼睛屏控制板能够将所述上位机发送来的表情命令解析成图片组id和图片id，并根据所述图片组id和图片id控制所述眼睛屏显示板显示出对应的表情图片，如通过LED点阵屏显示。
所述上位机为采用锂电池供电的lemaker guitar主控板，包括外围板和核心板。所述外围板用于提供对外接口，通过ttyUSB0进行通讯。所述核心板包括Cortex-A53 8核64位1.2GHz的CPU、2GB LPDDR3 SDRAM@800MHz的RAM以及8GB的eMMc/Nand FLASH。
所述眼睛屏显示板包括显示屏和LED点阵屏。所述表情命令包括汉字显示、英文显示、图片静态显示、图片动态显示、眼睛屏全亮、眼睛屏全暗、眼睛屏呼吸和眼睛屏闪烁。所述表情命令的数据格式为：数据包头+作用区域+命令总类型+数据长度+具体数据+预留位+校验位，其中，所述数据包头为数据包的起始位置且为固定的，所述作用区域用于表示这一包数据的作用位置，所述命令总类型为显示的不同表情效果，所述数据长度用于表示数据的长度且高位在前，所述具体数据为实际的数据。所述下位机中保存的表情图片数据为flash数据，flash数据中有多组图片数据且按组区分，组数量最多为255组，每组的图片数量最多为255副，指定图片信息需要图片组id和图片id。
所述上位机和下位机在接收到数据后能够回复一个命令，用于表示已经收到数据。所述上位机向所述下位机发送的表情命令为十六进制数据。
表情命令的具体数据格式
上位机把每种表情定义为不同的表情状态类，当用户在聊天的过程中，说出了定义好的表情类关键词，或者是机器人运动在不同的场景下的时候，我们会通过扫包功能找到与之匹配的表情状态类，执行状态类里面的发送命令方法。每个表情会定义不同的命令，并遵循一定的数据格式，其具体格式如下：数据包头(数据包的起始位置，是固定的)+作用区域(即命令用于表示这一包数据是作用于哪里)+命令总类型(显示的不同表情效果)+数据长度(用于表示数据的长度，高位在前)+具体数据(实际的数据)+预留位+校验位(采用校验和的方式校验)。为保证数据被正常接收，采用应答机制，上位机(或下位机)在接收到数据后需要回复一个约定的命令表示已经收到数据。上位机通过串口将十六进制的数据发送给下位机，下位机接收到命令后根据相应的命令显示不同的效果在显示屏上。具体格式如下表：
表情的命令分类
作用区域也是命令类型的一种，为了便于理解单独作为作用区域。如下表：
表情的图片分组说明
我们使用组来管理图片，每组可包含一个或多个图片，保存在flash数据中的图片有多组图片数据，按组区分。每组的图片数量最多为255副，组数量最多为255组。图片显示(动态或者静态)，指定图片信息需要组ID和图片ID。下面为图片数据及组信息在flash控件的存放方式。
本发明的机器人面部表情实现系统在人机交互过程中，根据聊天内容变换不同表情，进而产生情感上的共鸣，表情的变化动态效果丰富，能更好的促进与人类的互动，通过人类易于识别的表情展开真正触动人心的交流，实现机器人的面部屏及表情丰富变化，使之更符合现代人类的审美观点，能给人以亲切感和信任感，实现机器人面部屏及表情丰富的变化，使之在视觉上符合人类头、面部的运动规律并且在视觉上符合人体艺术工程学，在运动中结合指令的变化展示相应的表情，机器人通过丰富的表情变化将可以更好得与人类进行沟通以辅助其完成日常操作，本发明的目的在于改进人机交互中不能产生情感共鸣的问题。通过基于聊天内容与运动指令所做出的表情展示，能快速建立良好的用户体验，更易与用户达成情感上的共鸣，操作简单，在语音控制下就可以完成对机器人表情的控制，其工作性能高，制作成本、能量损耗少，稳定性高，操作、控制、使用简便。
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种机器人面部表情实现系统，其特征在于，包括上位机和下位机，所述上位机与所述下位机之间通过UART通讯，所述上位机能够向所述下位机发送表情命令；所述下位机包括眼睛屏控制板、眼睛屏显视板和电源控制板，所述眼睛屏控制板能够将所述上位机发送来的表情命令解析成图片组id和图片id，并根据所述图片组id和图片id控制所述眼睛屏显示板显示出对应的表情图片。
2.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述上位机为采用锂电池供电的lemaker guitar主控板，包括外围板和核心板。
3.根据权利要求2所述的机器人面部表情实现系统，其特征在于，所述外围板用于提供对外接口，通过ttyUSB0进行通讯。
4.根据权利要求2所述的机器人面部表情实现系统，其特征在于，所述核心板包括Cortex-A53 8核64位1.2GHz的CPU、2GB LPDDR3 SDRAM@800MHz的RAM以及8GB的eMMc/Nand FLASH。
5.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述眼睛屏显示板包括显示屏和LED点阵屏。
6.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述表情命令包括汉字显示、英文显示、图片静态显示、图片动态显示、眼睛屏全亮、眼睛屏全暗、眼睛屏呼吸和眼睛屏闪烁。
7.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述表情命令的数据格式为：数据包头+作用区域+命令总类型+数据长度+具体数据+预留位+校验位，其中，所述数据包头为数据包的起始位置且为固定的，所述作用区域用于表示这一包数据的作用位置，所述命令总类型为显示的不同表情效果，所述数据长度用于表示数据的长度且高位在前，所述具体数据为实际的数据。
8.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述上位机和下位机在接收到数据后能够回复一个命令，用于表示已经收到数据。
9.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述上位机向所述下位机发送的表情命令为十六进制数据。
10.根据权利要求1所述的机器人面部表情实现系统，其特征在于，所述下位机中保存的表情图片数据为flash数据，flash数据中有多组图片数据且按组区分，组数量最多为255组，每组的图片数量最多为255副，指定图片信息需要图片组id和图片id。
CN201610230034.9A 2016-04-15 2016-04-15 机器人面部表情实现系统 Pending CN105965513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230034.9A CN105965513A (zh) 2016-04-15 2016-04-15 机器人面部表情实现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610230034.9A CN105965513A (zh) 2016-04-15 2016-04-15 机器人面部表情实现系统

Publications (1)

Publication Number Publication Date
CN105965513A true CN105965513A (zh) 2016-09-28

Family

ID=56988812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610230034.9A Pending CN105965513A (zh) 2016-04-15 2016-04-15 机器人面部表情实现系统

Country Status (1)

Country Link
CN (1) CN105965513A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107856039A (zh) * 2017-11-16 2018-03-30 北京科技大学 一种养老陪护服务机器人系统及养老陪护方法
CN108214490A (zh) * 2017-12-29 2018-06-29 弗徕威智能机器人科技（上海）有限公司 一种机器人的交互系统
CN110815238A (zh) * 2019-10-28 2020-02-21 和美（深圳）信息技术股份有限公司 机器人表情实现方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006297531A (ja) * 2005-04-20 2006-11-02 Fujitsu Ltd サービスロボット
CN101298141A (zh) * 2007-04-30 2008-11-05 林其禹 机器人系统及机器人系统的控制方法
CN101571930A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 可与人互动的机器人
CN101751852A (zh) * 2008-11-28 2010-06-23 复旦大学 机器人实现拟人表情的方法
CN102500113A (zh) * 2011-11-11 2012-06-20 山东科技大学 基于智能手机交互的综合型迎宾机器人
CN105364931A (zh) * 2015-11-30 2016-03-02 北京光年无限科技有限公司 一种情绪信息处理方法和小型智能机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006297531A (ja) * 2005-04-20 2006-11-02 Fujitsu Ltd サービスロボット
CN101298141A (zh) * 2007-04-30 2008-11-05 林其禹 机器人系统及机器人系统的控制方法
CN101571930A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 可与人互动的机器人
CN101751852A (zh) * 2008-11-28 2010-06-23 复旦大学 机器人实现拟人表情的方法
CN102500113A (zh) * 2011-11-11 2012-06-20 山东科技大学 基于智能手机交互的综合型迎宾机器人
CN105364931A (zh) * 2015-11-30 2016-03-02 北京光年无限科技有限公司 一种情绪信息处理方法和小型智能机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107856039A (zh) * 2017-11-16 2018-03-30 北京科技大学 一种养老陪护服务机器人系统及养老陪护方法
CN107856039B (zh) * 2017-11-16 2020-06-05 北京科技大学 一种养老陪护服务机器人系统及养老陪护方法
CN108214490A (zh) * 2017-12-29 2018-06-29 弗徕威智能机器人科技（上海）有限公司 一种机器人的交互系统
CN108214490B (zh) * 2017-12-29 2021-08-17 弗徕威智能机器人科技（上海）有限公司 一种机器人的交互系统
CN110815238A (zh) * 2019-10-28 2020-02-21 和美（深圳）信息技术股份有限公司 机器人表情实现方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US7464010B2 (en) User interface design and evaluation system and hand interaction based user interface design and evaluation system
CN110362299A (zh) 一种基于blockly和树莓派的在线图形化编程系统及其使用方法
CN105965513A (zh) 机器人面部表情实现系统
Chen et al. An empirical study on tangible augmented reality learning space for design skill transfer
CN105279494A (zh) 可调节用户情绪的人机交互系统、方法及设备
CN106502382A (zh) 用于智能机器人的主动交互方法和系统
CN110286762A (zh) 一种具有多模态信息处理功能的虚拟实验平台
CN109800295A (zh) 基于情感词典和词概率分布的情感会话生成方法
Pei et al. Educational robots: Classification, characteristics, application areas and problems
Fan et al. Sora for foundation robots with parallel intelligence: Three world models, three robotic systems
CN109754654A (zh) 基于虚拟现实的历史课题指导系统、方法及装置
CN106445153A (zh) 一种用于智能机器人的人机交互方法及装置
CN106448422A (zh) 基于vr装置的机器人培训系统及培训方法
CN112735214A (zh) 一种医学教学系统
Zeng et al. Research on intelligent experimental equipment and key algorithms based on multimodal fusion perception
JPH0384652A (ja) ヒューマンインタフェースのアーキテクチャモデル
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
CN112071144A (zh) 一种教学仿真平台
CN110827598B (zh) 一种电子战装备虚拟操作训练系统及其训练方法
CN104751692B (zh) 一种虚实同步的装备训练模拟器
CN108919804A (zh) 一种智能车辆无人驾驶系统
CN202075919U (zh) 一种串行总线实验装置
CN109129501A (zh) 一种陪伴式智能家居中控机器人
CN115167674A (zh) 基于数字人多模态交互信息标准的智能交互方法
CN113160639A (zh) 一种电子对抗装备虚拟认知训练系统及其工作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928