CN109877806A - 具有情绪辨别能力的科技馆导游机器人面部装置及控制 - Google Patents
具有情绪辨别能力的科技馆导游机器人面部装置及控制 Download PDFInfo
- Publication number
- CN109877806A CN109877806A CN201910163960.2A CN201910163960A CN109877806A CN 109877806 A CN109877806 A CN 109877806A CN 201910163960 A CN201910163960 A CN 201910163960A CN 109877806 A CN109877806 A CN 109877806A
- Authority
- CN
- China
- Prior art keywords
- chip
- mood
- pin
- module
- steering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
具有情绪辨别能力的科技馆导游机器人面部装置及控制属于智能服务机器人领域；解决了现有技术中导游机器人互动性差的问题；包括面部机构、眼睛机构、嘴部机构和控制系统；所述面部机构为隔板类结构，眼睛机构和嘴部机构设置于面部机构表面；所述面部机构包括情绪辨别模块、面部框架和语音模块；所述眼睛机构包括眼睛传动机构和眼睛构件；所述嘴部机构包括嘴部传动机构和嘴唇构件；所述控制系统采用改进的BP算法对神经网络进行训练，大大减少迭代次数同时提高了情绪辨别模型的准确度；本发明不但可以实现基本导游介绍功能，还能根据参观者的表情特征实现机器人面部相应的模仿表情，并发出与表情特征对应的语音，提升参观者的游览体验。
Description
技术领域
本发明属于智能服务机器人领域，尤其涉及一种具有情绪辨别能力的科技馆导游机器人面部装置及控制。
背景技术
随着人工智能技术的飞速发展和创建智慧城市脚步的逐步加快，服务机器人逐渐走进人们的生活，在餐饮、家庭、科技馆等各行业都得到了广泛的应用，其可以辅助人类完成具有重复性、复杂性、娱乐性等特性的任务，这使得人们对于良好的人机交互体验有着更高的要求。
本发明应用于科技馆导游服务领域，科技馆作为“普及科学技术知识、传播科学思想和科学方法”的平台，是面对群众尤其是青少年开展科普展览教育活动的重要阵地，现有技术中科技馆导游机器人只能实现基本导游介绍功能，不具备识别参观者面部表情的功能，不能通过辨别参观者的情绪对导游介绍内容进行调整，智能程度较低，根据参观者的情绪信息不能对机器人自身的面部表情进行调整，从而取悦参观者提升参观者的游览体验。
发明内容
本发明克服了上述现有技术上的不足，提供具有情绪辨别能力的科技馆导游机器人面部装置及控制，不但可以实现基本导游介绍功能，还能根据参观者的表情特征实现机器人面部相应的模仿表情，并发出与表情特征对应的语音，提升参观者的游览体验。
为了解决上述问题，本发明的第一目的在于提供一种具有情绪辨别能力的科技馆导游机器人面部装置，第二目的在于提供一种具有情绪辨别能力的科技馆导游机器人面部装置的控制方法。
本发明所采取的第一技术方案是：
具有情绪辨别能力的科技馆导游机器人面部装置，包括面部机构、眼睛机构、嘴部机构和控制系统；所述面部机构为隔板类结构，眼睛机构和嘴部机构设置于面部机构表面；
所述面部机构包括情绪辨别模块、面部框架、语音模块；
所述眼睛机构包括眼睛传动机构和眼睛构件；
所述嘴部机构包括嘴部传动机构和嘴唇构件；
所述控制系统主要包括第一芯片和第二芯片；所述第一芯片与情绪辨别模块控制连接；其中第一芯片与第二芯片通过UART0串口进行通信；
进一步地，所述面部框架包括面板、第一支撑板、第二支撑板；所述面板与第一支撑板和第二支撑板垂直布置，其中第一支撑板和第二支撑板平行布置并与面板固定连接，所述面板端面上加工有一对对称的圆形通孔，用于眼睛机构的定位，所述面板端面上仿人鼻子的位置加工有圆形通孔用于情绪辨别模块的定位，所述语音模块布置在第一支撑板上端，其中语音模块包括Wav Player模块、MicoSD Card Adapter模块和喇叭，所述嘴部机构通过第一支撑板和第二支撑板固定，所述眼睛机构布置于面板的后端面上。
进一步地，第一芯片与情绪辨别模块按SCCB总线通信协议连接，所述第一芯片的PB0、PB1引脚分别与情绪辨别模块SCL、SDA引脚连接，用来传递参数给情绪辨别模块的控制寄存器；所述第一芯片的PD0-PD7引脚与情绪辨别模块的D2-D9引脚连接，用于情绪辨别模块传递经过DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PA0-WKUP(PA0)引脚与情绪辨别模块的PWDN引脚连接，用于第一芯片控制情绪辨别模块进入低功耗模式；所述第一芯片的PA3、PA4引脚与情绪辨别模块的VSYNC、HSYNC引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6与情绪辨别模块的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PD8与情绪辨别模块的FISN引脚连接；所述第一芯片的PA11引脚与情绪辨别模块的RESET引脚连接，用于复位情绪辨别模块。
进一步地，所述眼睛传动机构包括第一支架、第一双轴舵机、第一舵盘；所述第一双轴舵机的输出轴嵌套在第一舵盘的输入端内孔中，所述第一舵盘的输出端与眼睛构件固接，所述第一支架将第一双轴舵机与面板固定。
进一步地，所述眼睛构件为鼓状结构，前后鼓面上分别布置有开心、正常的表情图案。
进一步地，第一芯片的PA9 UART0_TX、PA10 UART0_RX引脚分别与第二芯片的PA10UART0_RX、PA9 UART0_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与第一双轴舵机的OUT引脚连接。
进一步地，嘴部传动机构包括单轴舵机、第一摆杆、第二摆杆、下巴构件、第二双轴舵机、单轴舵机支架、双轴舵机支架、第一金属舵盘、第二金属舵盘；两个所述单轴舵机对称布置在第一支撑板和第二支撑板之间，通过单轴舵机支架与第一支撑板和第二支撑板固定连接；所述单轴舵机的输出轴嵌套在第一金属舵盘输入端内孔中传动连接，所述第一金属舵盘的输出端与第一摆杆固定连接，所述第一摆杆的另一端端面与嘴唇构件固定连接，所述第二双轴舵机与第二支撑板的下端面固定连接，所述第二双轴舵机的输出轴与第二金属舵盘固接，所述第二金属舵盘的输出端与第二摆杆固接，所述第二摆杆的输出端与下巴构件固接。
进一步地，第二芯片的PA1、PA2引脚分别与两个对称的单轴舵机的OUT引脚连接，第二芯片的PA3引脚与第二双轴舵机的OUT引脚连接，用于舵机的动作控制，所述第二芯片的PA4、PA11、PA6引脚分别与语音模块中Wav Player模块的CS、SCK、SDI引脚连接，第二芯片的PB15、PB13、PB12、PB14引脚分别与语音模块中MicoSD Card Adapter模块的CS、SCK、MOSI、MISO引脚连接，所述Wav Player模块的OUT+和OUT-引脚分别于语音模块中喇叭的正负极连接用于输出MicoSD Card Adapter模块中SD卡中的WAV文件。
本发明所采取的第二技术方案是：
一种基于所述具有情绪辨别能力的科技馆导游机器人面部装置实现的控制方法，包括以下步骤：
步骤S1、情绪辨别模块采集视频信息；
步骤S2、通过Dlib机械学习库提供的shape_predictor方法识别人脸；
步骤S3、人脸识别结果输入到经过训练的BP神经网络中进行情绪辨别；
步骤S4、输出经过BP神经网络分类后的表情信息；
步骤S5、把表情信息表示成ASCII码，通过UART0串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码对应的表情控制相应的舵机进行表情动作控制。
进一步地，所述步骤S2具体包括：
S201、使用特征提取器detector = dlib.get_frontal_face_detector()；
S202、加载人脸关键点检测器predictor = dlib.shape_predictor("shape_predictor_
68_face_landmarks.dat")；
S203、用OpenCv的VideoCapture方法打开情绪辨别模块中的OV7725摄像头；
S204、使用人脸检测器detector检测每一帧图像中的人脸；
进一步地，通过以下步骤对所述BP神经网络进行训练：
对BP算法进行优化改进，采用基于自适应学习率调节的改进BP算法；
利用Fer-2013数据集对BP神经网络进行训练；
进一步地，基于自适应学习率的改进BP算法改进方案如下：
当网络训练过程中误差增大时err>pre_e，减少学习率(<1)；
当网络训练过程中误差减少时err<pre_e，增大学习率(>1)。
进一步地，经过BP神经网络分类后的表情信息分为正常、开心和疲惫分别用不同的ASCII码表示，通过UART0串口通信传输给第二芯片，第二芯片控制接收到ASCII码后，控制舵机动作做出检测表情对应的所述机器人的面部表情，同时语音模块触发与表情信息对应的语音，实现人与机器人之间的互动。
进一步地，第二芯片读取串口信息若有信息接收Serial.available()>0，读取串口信息comdata+= char(Serial.read())，控制对应的舵机动作 myServo.write(pos)，模仿参观者的表情动作，同时第二芯片读取MicoSD Card Adapter模块中SD卡中的wav文件，如果当前没有语音在播放if(!wave.isplaying)，则可以播放串口数据ASCII码对应的语音文件 playcomplete("xxx.wav")实现所述机器人与人之间的互动。
本发明相对于现有技术具有以下有益效果：
1、本发明提供一种具有情绪辨别能力的科技馆导游机器人面部装置及控制，不但可以实现基本导游介绍功能，还能根据参观者的表情特征实现机器人面部相应的模仿表情，并发出与表情特征对应的语音，提升参观者的游览体验，解决了现有技术中导游机器人互动性差的问题；
2、本发明可以在导游介绍过程中，识别参观者人脸表情实时调整每小结讲解内容的长短，当检测出参观者开心则适当丰富下一小节的介绍内容，当检测出参观者疲惫则适当精简下一小节的介绍内容，当检测到参观者表情正常则不对介绍内容做出调整，在识别参观者人脸表情的同时，本发明可以模仿被识别参观者的表情与参观者进行互动，取悦参观者。
3、本发明情绪辨别采用改进的BP算法来完成对情绪辨别模型的设计，为了构建更加精准的神经网络模型，需要对改进的BP算法选择合适的参数，学习率过大会引起网络不稳定跳过最佳的局部收敛点，学习率过小会增加神经网络的训练时间，本文采用自适应学习率的改进BP算法，当网络训练在过程中误差增大时减小学习率，当误差减小时增加学习率，利用其可以实时的调节学习率大小的优点，有效地加快了神经网络的收敛时间，同时提高了情绪辨别模型的准确度，从而更好的实现与参观者的互动，提高了机器人与人之间的互动性。
附图说明
图1是本发明装置主视图；
图2是本发明装置后方结构图；
图3是本发明嘴部机构结构图；
图4是本发明控制系统第一芯片电路图；
图5是本发明情绪辨别模块中的OV7725摄像头电路图；
图6是本发明第二芯片电路图；
图7是本发明语音模块中Wav Player模块、MicoSD Card Adapter模块和喇叭电路图；
图8是本发明第一双轴舵机、两个单轴舵机、第二双轴舵机电路图；
图9是本发明工作流程图；
图10是本发明改进的BP算法示意图。
图中：1面部机构、2眼睛机构、3嘴部机构、4控制系统、1-1情绪辨别模块、1-2面部框架、1-3语音模块、1-2A面板、1-2B第一支撑板、1-2C第二支撑板、1-3A喇叭、2-1眼睛传动机构、2-2眼睛构件、2-1A第一支架、2-1B第一舵盘、2-1C第一双轴舵机、3-1嘴部传动机构、3-2嘴唇构件、3-1A单轴舵机、3-1B第一摆杆、3-1C第二摆杆、3-1D下巴构件、3-1E第二双轴舵机、3-1F单轴舵机支架、3-1G双轴舵机支架、3-1H第一金属舵盘、3-1I第二金属舵盘。
具体实施方式
以下将结合附图对本发明进行详细说明。
具体实施方式一
具有情绪辨别能力的科技馆导游机器人面部装置，如图1、图2所示，包括1面部机构、2眼睛机构、3嘴部机构和4控制系统；所述1面部机构为隔板类结构，2眼睛机构和3嘴部机构设置于1面部机构表面；
所述2眼睛机构包括2-1眼睛传动机构和2-2眼睛构件；
所述3嘴部机构包括3-1嘴部传动机构和3-2嘴唇构件；
所述4控制系统主要包括第一芯片和第二芯片；所述第一芯片与1-1情绪辨别模块控制连接；第二芯片与1-3语音模块控制连接；其中第一芯片与第二芯片通过UART0串口进行通信。
具体实施方式二
如图1、图2、图3所示，在具体实施方式一的基础上，具有情绪辨别能力的科技馆导游机器人面部装置包括1面部机构、2眼睛机构、3嘴部机构和4控制系统，所述1面部装置包括1-1情绪辨别模块、1-2面部框架、1-3语音模块；所述1-2面部框架包括1-2A面板、1-2B第一支撑板、1-2C第二支撑板；所述1-2A面板与1-2B第一支撑板和1-2C第二支撑板垂直布置，其中1-2B第一支撑板和1-2C第二支撑板平行布置并与1-2A面板固定连接，所述1-2A面板端面上加工有一对对称的圆形通孔，用于2眼睛机构的定位，所述1-2A面板端面上仿人鼻子的位置加工有圆形通孔用于1-1情绪辨别模块的定位，所述1-3语音模块布置在1-2B第一支撑板上端，其中1-3语音模块包括Wav Player模块、MicoSD Card Adapter模块和1-3A喇叭，所述3嘴部机构通过1-2B第一支撑板和1-2C第二支撑板固定，所述2眼睛机构布置于1-2A面板的后端面上。
本实施方式中1-3语音模块为现有技术，生产厂家为广州通信模块科技有限公司，型号为OPEN-SMART。
所述2-1眼睛传动机构包括2-1A第一支架、2-1B第一舵盘、2-1C第一双轴舵机；所述2-1C第一双轴舵机的输出轴嵌套在2-1B第一舵盘的输入端内孔中，所述2-1B第一舵盘的输出端与2-2眼睛构件固接，所述2-1A第一支架将2-1C第一双轴舵机与1-2A面板固定，所述2-2眼睛构件为鼓状结构，前后鼓面上分别布置有开心、正常的表情图案。
本实施方式中2-1C第一双轴舵机为现有技术，生产厂家为重庆育松电子经营部，型号为RDS3115。
所述3-1嘴部传动机构包括3-1A单轴舵机、3-1B第一摆杆、3-1C第二摆杆、3-1D下巴构件、3-1E第二双轴舵机、3-1F单轴舵机支架、3-1G双轴舵机支架、3-1H第一金属舵盘、3-1I第二金属舵盘；两个所述3-1A单轴舵机对称布置在1-2B第一支撑板和1-2C第二支撑板之间，通过3-1F单轴舵机支架与1-2B第一支撑板和1-2C第二支撑板固定连接；所述3-1A单轴舵机的输出轴嵌套在3-1H第一金属舵盘输入端内孔中传动连接，所述3-1H第一金属舵盘的输出端与3-1B第一摆杆固定连接，所述3-1B第一摆杆的另一端端面与3-2嘴唇构件固定连接，所述3-1E第二双轴舵机与1-2C第二支撑板的下端面固定连接，所述3-1E第二双轴舵机的输出轴与3-1I第二金属舵盘固接，所述3-1I第二金属舵盘的输出端与3-1C第二摆杆固接，所述3-1C第二摆杆的输出端与3-1D下巴构件固接。
本实施方式中3-1A单轴舵机为现有技术，生产厂家为重庆育松电子经营部，型号为LD-20MG。
本实施方式中3-1E第二双轴舵机为现有技术，生产厂家为重庆育松电子经营部，型号为RDS3115。
如图4-图8所示，所述4控制系统主要包括第一芯片和第二芯片，所述第一芯片与1-1情绪辨别模块控制连接，其中第一芯片与第二芯片通过UART0串口进行通信，第一芯片与1-1情绪辨别模块通过SCCB总线通信协议连接，所述第一芯片的PB0、PB1引脚分别与1-1情绪辨别模块SCL、SDA引脚连接，用来传递参数给1-1情绪辨别模块的控制寄存器；所述第一芯片的PD0-PD7引脚与1-1情绪辨别模块的D2-D9引脚连接，用于1-1情绪辨别模块输出DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PA0-WKUP(PA0)引脚与1-1情绪辨别模块的PWDN引脚连接，用于第一芯片控制1-1情绪辨别模块进入低功耗模式；所述第一芯片的PA3、PA4引脚与1-1情绪辨别模块的VSYNC、HSYNC引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6与1-1情绪辨别模块的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PD8与1-1情绪辨别模块的FISN引脚连接；所述第一芯片的PA11引脚与1-1情绪辨别模块的RESET引脚连接，用于复位1-1情绪辨别模块；第一芯片的PA9 USART_TX、PA10 USART_RX引脚分别与第二芯片的PA10 USART_RX、PA9 USART_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与2-1C第一双轴舵机的OUT引脚连接；第二芯片的PA1、PA2引脚分别与两个对称的3-1A单轴舵机的OUT引脚连接，第二芯片的PA3引脚与3-1E第二双轴舵机的OUT引脚连接，用于舵机的动作控制，所述第二芯片的PA4、PA11、PA6引脚分别与1-3语音模块中Wav Player模块的CS、SCK、SDI引脚连接，第二芯片的PB15、PB13、PB12、PB14引脚分别与1-3语音模块中MicoSD Card Adapter模块的CS、SCK、MOSI、MISO引脚连接，所述Wav Player模块的OUT+和OUT-引脚分别于1-3语音模块中1-3A喇叭的正负极连接用于输出MicoSD Card Adapter模块中SD卡中的WAV文件。
第一芯片型号为STM32F427；第二芯片型号为STM32F407。
工作过程：
所述导游机器人面部装置可以实现语音导游的功能，通过读取1-3语音模块内部MicoSD Card Adapter模块中的wav音频文件实现导游内容的语音介绍，同时1-1情绪辨别模块可以实时检测参观者聆听时的表情信息，对下一小节的语音讲解内容进行调整，其中MicoSD Card Adapter模块中每小节内容都储存有三个版本的wav文件，分别是正常版本、精简版本和丰富版本，同时为了取悦参观者所述导游机器人面部装置可以模仿参观者的表情特征，实现语音以及面部表情方面机器人与人之间的互动，其中被检测参观者表情正常时，不改变导游介绍音频文件的类型，其中初始时wav音频文件为正常版本，所述2-2眼睛构件经过所述2-1C第一双轴舵机转动显示为开心的眼部表情图案，当被检测参观者表情开心时，改变导游介绍音频文件的类型为丰富版本，所述2-2眼睛构件经过所述2-1C第一双轴舵机转动显示为正常的眼部表情图案，当被检测参观者表情疲倦时，改变导游介绍音频文件的类型为精简版本，所述2-2眼睛构件经过所述2-1C第一双轴舵机转动显示为开心的眼部表情图案。
具体实施方式三
如图9、图10所示，一种基于所述具有情绪辨别能力的科技馆导游机器人面部装置实现的控制方法，包括以下步骤：
步骤S1、1-1情绪辨别模块采集视频信息；
步骤S2、通过Dlib机械学习库提供的shape_predictor方法识别人脸；
步骤S3、人脸识别结果输入到经过训练的BP神经网络中进行情绪辨别；
步骤S4、输出经过BP神经网络分类后的表情信息；
步骤S5、把表情信息表示成ASCII码，通过UART0串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码对应的表情控制相应的舵机进行表情动作控制。
进一步地，所述步骤S2具体包括：
S201、使用特征提取器detector = dlib.get_frontal_face_detector()；
S202、加载人脸关键点检测器predictor = dlib.shape_predictor("shape_predictor_
68_face_landmarks.dat")；
S203、用OpenCv的VideoCapture方法打开1-1情绪辨别模块中的OV7725摄像头；
S204、使用人脸检测器detector检测每一帧图像中的人脸；
进一步地，通过以下步骤对所述BP神经网络进行训练：
对BP算法进行优化改进，采用基于自适应学习率调节的改进BP算法；
利用Fer-2013数据集对BP神经网络进行训练；
进一步地，基于自适应学习率的改进BP算法改进方案如下：
当网络训练过程中误差增大时err>pre_e，减少学习率(<1)；
当网络训练过程中误差减少时err<pre_e，增大学习率(>1)；
进一步地，经过BP神经网络分类后的表情信息分为正常、开心和疲惫分别用不同的ASCII码表示，通过UART0串口通信传输给第二芯片，第二芯片控制接收到ASCII码后，控制舵机动作做出检测表情对应的所述机器人的面部表情，同时语音模块触发与表情信息对应的语音，实现人与机器人之间的互动。
进一步地，第二芯片读取串口信息若有信息接收Serial.available()>0，读取串口信息comdata+= char(Serial.read())，控制对应的舵机动作 myServo.write(pos)，模仿参观者的表情动作，同时第二芯片读取MicoSD Card Adapter模块中SD卡中的wav文件，如果当前没有语音在播放if(!wave.isplaying)，则可以播放串口数据ASCII码对应的语音文件 playcomplete("xxx.wav")实现所述机器人与人之间的互动。
Claims (8)
1.具有情绪辨别能力的科技馆导游机器人面部装置，如图1、图2所示，包括（1）面部机构、（2）眼睛机构、（3）嘴部机构和（4）控制系统；所述（1）面部机构为隔板类结构，（2）眼睛机构和（3）嘴部机构设置于（1）面部机构表面；
所述（2）眼睛机构包括（2-1）眼睛传动机构和（2-2）眼睛构件；
所述（3）嘴部机构包括（3-1）嘴部传动机构和（3-2）嘴唇构件；
所述（4）控制系统主要包括第一芯片和第二芯片；所述第一芯片与（1-1）情绪辨别模块控制连接；第二芯片与（1-3）语音模块控制连接；其中第一芯片与第二芯片通过UART0串口进行通信。
2.根据权利要求1所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，所述（1）面部机构包括（1-1）情绪辨别模块、（1-2）面部框架、（1-3）语音模块；所述（1-2）面部框架包括（1-2A）面板、（1-2B）第一支撑板、（1-2C）第二支撑板；所述（1-2A）面板与（1-2B）第一支撑板和（1-2C）第二支撑板垂直布置，其中（1-2B）第一支撑板和（1-2C）第二支撑板平行布置并与（1-2A）面板固定连接，所述（1-2A）面板端面上加工有一对对称的圆形通孔，用于（2）眼睛机构的定位，所述（1-2A）面板端面上仿人鼻子的位置加工有圆形通孔用于（1-1）情绪辨别模块的定位，所述（1-3）语音模块布置在（1-2B）第一支撑板上端，其中（1-3）语音模块包括Wav Player模块、MicoSD Card Adapter模块和(1-3A)喇叭，所述（3）嘴部机构通过（1-2B）第一支撑板和（1-2C）第二支撑板固定，所述（2）眼睛机构布置于（1-2A）面板的后端面上。
3.根据权利要求1所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，所述（2-1）眼睛传动机构包括（2-1A）第一支架、（2-1B）第一舵盘、（2-1C）第一双轴舵机；所述（2-1C）第一双轴舵机的输出轴嵌套在（2-1B）第一舵盘的输入端内孔中，所述（2-1B）第一舵盘的输出端与（2-2）眼睛构件固接，所述（2-1A）第一支架将（2-1C）第一双轴舵机与（1-2A）面板固定，所述（2-2）眼睛构件为鼓状结构，前后鼓面上分别布置有开心、正常的表情图案。
4.根据权利要求1所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，所述（3-1）嘴部传动机构包括（3-1A）单轴舵机、（3-1B）第一摆杆、（3-1C）第二摆杆、(3-1D)下巴构件、(3-1E)第二双轴舵机、(3-1F)单轴舵机支架、(3-1G)双轴舵机支架、(3-1H)第一金属舵盘、(3-1I)第二金属舵盘；两个所述（3-1A）单轴舵机对称布置在（1-2B）第一支撑板和（1-2C）第二支撑板之间，通过(3-1F)单轴舵机支架与（1-2B）第一支撑板和（1-2C）第二支撑板固定连接；所述（3-1A）单轴舵机的输出轴嵌套在(3-1H)第一金属舵盘输入端内孔中传动连接，所述(3-1H)第一金属舵盘的输出端与（3-1B）第一摆杆固定连接，所述（3-1B）第一摆杆的另一端端面与（3-2）嘴唇构件固定连接，所述(3-1E)第二双轴舵机与（1-2C）第二支撑板的下端面固定连接，所述(3-1E)第二双轴舵机的输出轴与(3-1I)第二金属舵盘固接，所述(3-1I)第二金属舵盘的输出端与（3-1C）第二摆杆固接，所述（3-1C）第二摆杆的输出端与(3-1D)下巴构件固接。
5.根据权利要求2所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，所述第一芯片与（1-1）情绪辨别模块控制连接，其中第一芯片与第二芯片通过UART0串口进行通信，第一芯片与（1-1）情绪辨别模块通过SCCB总线通信协议连接，所述第一芯片的PB0、PB1引脚分别与（1-1）情绪辨别模块SCL、SDA引脚连接，用来传递参数给（1-1）情绪辨别模块的控制寄存器；所述第一芯片的PD0-PD7引脚与（1-1）情绪辨别模块的D2-D9引脚连接，用于（1-1）情绪辨别模块输出DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PA0-WKUP(PA0)引脚与（1-1）情绪辨别模块的PWDN引脚连接，用于第一芯片控制（1-1）情绪辨别模块进入低功耗模式；所述第一芯片的PA3、PA4引脚与（1-1）情绪辨别模块的VSYNC、HSYNC引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6与（1-1）情绪辨别模块的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PD8与（1-1）情绪辨别模块的FISN引脚连接；所述第一芯片的PA11引脚与（1-1）情绪辨别模块的RESET引脚连接，用于复位（1-1）情绪辨别模块。
6.根据权利要求3所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，第一芯片的PA9 USART_TX、PA10 USART_RX引脚分别与第二芯片的PA10 USART_RX、PA9USART_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与（2-1C）第一双轴舵机的OUT引脚连接；第二芯片的PA1、PA2引脚分别与两个对称的（3-1A）单轴舵机的OUT引脚连接，第二芯片的PA3引脚与(3-1E)第二双轴舵机的OUT引脚连接，用于舵机的动作控制。
7.根据权利要求2所述具有情绪辨别能力的科技馆导游机器人面部装置，其特征在于，所述第二芯片的PA4、PA11、PA6引脚分别与（1-3）语音模块中Wav Player模块的CS、SCK、SDI引脚连接，第二芯片的PB15、PB13、PB12、PB14引脚分别与（1-3）语音模块中MicoSD CardAdapter模块的CS、SCK、MOSI、MISO引脚连接，所述Wav Player模块的OUT+和OUT-引脚分别于（1-3）语音模块中(1-3A)喇叭的正负极连接用于输出MicoSD Card Adapter模块中SD卡中的WAV文件。
8.一种基于权利要求1至7任一所述具有情绪辨别能力的科技馆导游机器人面部装置实现的控制方法，其特征在于，包括以下步骤：
步骤S1、（1-1）情绪辨别模块采集视频信息；
步骤S2、通过Dlib机械学习库提供的shape_predictor方法识别人脸；
步骤S3、人脸识别结果输入到经过训练的BP神经网络中进行情绪辨别；
步骤S4、输出经过BP神经网络分类后的表情信息；
步骤S5、把表情信息表示成ASCII码，通过UART0串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码对应的表情控制相应的舵机进行表情动作控制；
进一步地，所述步骤S2具体包括：
S201、使用特征提取器detector = dlib.get_frontal_face_detector()；
S202、加载人脸关键点检测器predictor = dlib.shape_predictor("shape_predictor_68_face_
landmarks.dat")；
S203、用OpenCv的VideoCapture方法打开（1-1）情绪辨别模块中的OV7725摄像头；
S204、使用人脸检测器detector检测每一帧图像中的人脸；
进一步地，通过以下步骤对所述BP神经网络进行训练：
对BP算法进行优化改进，采用基于自适应学习率调节的改进BP算法；
利用Fer-2013数据集对BP神经网络进行训练；
进一步地，基于自适应学习率的改进BP算法改进方案如下：
当网络训练过程中误差增大时err>pre_e，减少学习率(<1)；
当网络训练过程中误差减少时err<pre_e，增大学习率(>1)；
进一步地，经过BP神经网络分类后的表情信息分为正常、开心和疲惫分别用不同的ASCII码表示，通过UART0串口通信传输给第二芯片，第二芯片控制接收到ASCII码后，控制舵机动作做出检测表情对应的所述机器人的面部表情，同时语音模块触发与表情信息对应的语音，实现人与机器人之间的互动；
进一步地，第二芯片读取串口信息若有信息接收Serial.available()>0，读取串口信息comdata+= char(Serial.read())，控制对应的舵机动作 myServo.write(pos)，模仿参观者的表情动作，同时第二芯片读取MicoSD Card Adapter模块中SD卡中的wav文件，如果当前没有语音在播放if(!wave.isplaying)，则可以播放串口数据ASCII码对应的语音文件playcomplete("xxx.wav")实现所述机器人与人之间的互动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163960.2A CN109877806A (zh) | 2019-03-05 | 2019-03-05 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163960.2A CN109877806A (zh) | 2019-03-05 | 2019-03-05 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109877806A true CN109877806A (zh) | 2019-06-14 |
Family
ID=66930693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910163960.2A Withdrawn CN109877806A (zh) | 2019-03-05 | 2019-03-05 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109877806A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259030A (zh) * | 2020-11-20 | 2021-01-22 | 关键 | 一种博物馆参观系统 |
| CN113043292A (zh) * | 2021-03-22 | 2021-06-29 | 哈尔滨理工大学 | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105117682A (zh) * | 2015-07-06 | 2015-12-02 | 肖洒 | 人脸面部表情识别控制系统 |
| KR20160053455A (ko) * | 2014-11-04 | 2016-05-13 | 경북대학교 산학협력단 | 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| CN108090474A (zh) * | 2018-01-17 | 2018-05-29 | 华南理工大学 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
| CN108098787A (zh) * | 2017-12-25 | 2018-06-01 | 大连大学 | 一种语音互动机器人结构及其系统 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
-
2019
- 2019-03-05 CN CN201910163960.2A patent/CN109877806A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160053455A (ko) * | 2014-11-04 | 2016-05-13 | 경북대학교 산학협력단 | 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| CN105117682A (zh) * | 2015-07-06 | 2015-12-02 | 肖洒 | 人脸面部表情识别控制系统 |
| CN108098787A (zh) * | 2017-12-25 | 2018-06-01 | 大连大学 | 一种语音互动机器人结构及其系统 |
| CN108090474A (zh) * | 2018-01-17 | 2018-05-29 | 华南理工大学 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 从爽: "《智能控制系统及应用》", 31 August 2013 * |
| 张淑清: "《嵌入式单片机STM32设计及应用技术》", 31 May 2015 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259030A (zh) * | 2020-11-20 | 2021-01-22 | 关键 | 一种博物馆参观系统 |
| CN113043292A (zh) * | 2021-03-22 | 2021-06-29 | 哈尔滨理工大学 | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019201187A1 (zh) | 物品鉴别方法、系统、设备及存储介质 | |
| US20210201550A1 (en) | Method, apparatus, device and storage medium for animation interaction | |
| CN113454708A (zh) | 语言学风格匹配代理 | |
| US20170303052A1 (en) | Wearable auditory feedback device | |
| CN111194465B (zh) | 音频活动追踪及概括 | |
| CN109877806A (zh) | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 | |
| Mattys et al. | How lexical stress affects speech segmentation and interactivity: Evidence from the migration paradigm | |
| US20200134444A1 (en) | Systems and methods for domain adaptation in neural networks | |
| US20200134424A1 (en) | Systems and methods for domain adaptation in neural networks using domain classifier | |
| CN112955913A (zh) | 用于使用跨域批量归一化进行神经网络中的域适配的系统和方法 | |
| CN110309254A (zh) | 智能机器人与人机交互方法 | |
| CN110322760A (zh) | 语音数据生成方法、装置、终端及存储介质 | |
| CN208622062U (zh) | 增强现实交互系统 | |
| KR20200090355A (ko) | 실시간 번역 기반 멀티 채널 방송 시스템 및 이를 이용하는 방법 | |
| CN107300976A (zh) | 一种手势识别家庭影院系统及其运作方法 | |
| CN113238654A (zh) | 基于多模态的反应式响应生成 | |
| CN112069863A (zh) | 一种面部特征的有效性判定方法及电子设备 | |
| CN109886247A (zh) | 具有人眼专注度辨识功能的导游机器人脸部装置及控制 | |
| CN113043292A (zh) | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 | |
| Park et al. | Music-aided affective interaction between human and service robot | |
| Jiang et al. | Speech driven realistic mouth animation based on multi-modal unit selection | |
| Lu | 5 The development of the Chinese animation industry in 2020 | |
| KR101994086B1 (ko) | 목소리가 변경되는 이야기 들려주기 시스템 및 방법 | |
| Stefanov et al. | A Real-time Gesture Recognition System for Isolated Swedish Sign Language Signs | |
| Tahon et al. | Cross-corpus experiments on laughter and emotion detection in HRI with elderly people |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190614 |
|
| WW01 | Invention patent application withdrawn after publication |