CN109886247A - 具有人眼专注度辨识功能的导游机器人脸部装置及控制 - Google Patents

具有人眼专注度辨识功能的导游机器人脸部装置及控制 Download PDF

Info

Publication number
CN109886247A
CN109886247A CN201910163660.4A CN201910163660A CN109886247A CN 109886247 A CN109886247 A CN 109886247A CN 201910163660 A CN201910163660 A CN 201910163660A CN 109886247 A CN109886247 A CN 109886247A
Authority
CN
China
Prior art keywords
chip
face
pin
steering engine
tim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910163660.4A
Other languages
English (en)
Inventor
王鹏
罗鹏
刘然
宋春宵
黎晓强
张元�
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201910163660.4A priority Critical patent/CN109886247A/zh
Publication of CN109886247A publication Critical patent/CN109886247A/zh
Pending legal-status Critical Current

Links

Abstract

具有人眼专注度辨识功能的导游机器人脸部装置及控制属于智能服务机器人领域;解决了现有技术中导游机器人人机交互智能化程度低的问题;包括机器人脸部、眼部机构、嘴部机构和控制系统;所述机器人脸部为板状结构,所述眼部机构和嘴部机构设置于机器人脸部表面;所述机器人脸部包括视觉模块、语音模块和脸部支撑;所述眼部机构包括眼睛结构和眉毛结构;所述嘴部机构包括嘴部动作机构和嘴唇结构;所述控制系统采用改进的RBF神经网络学习算法,建立人眼专注度预测模型,具有更高的分类准确率;本发明既能实现基本导游介绍功能,还能实时检测出游览者眼部专注度的微表情变化,调整导游介绍内容,同时改变机器人自身的脸部表情提高人机互动性能。

Description

具有人眼专注度辨识功能的导游机器人脸部装置及控制
技术领域
本发明属于智能服务机器人领域,尤其涉及一种具有人眼专注度辨识功能的导游机器人脸部装置及控制。
背景技术
当今科技不断发展,自动化水平和计算机技术在日常生活中的应用领域越来越广泛,机器人技术的发展也进入了一个新纪元,随着科学技术水平的不断提升,机器人在科学勘探、公共服务、工业制造、家庭娱乐等方面都开始崭露头角,它也将成为未来人类最有力的帮手和最亲密的伙伴。
本发明应用于博物馆的导游服务领域,现有技术中博物馆用导游机器人可以实现常规的导游介绍功能,但是不能根据游览者的专注度判断该游览者是否对导游介绍产生感兴趣,从而无法对介绍内容进行实时调整,智能化程度较低,此外现有技术中导游机器人脸部装置的面部表情变化是随机调整的,不能根据游览者的表情来实时调整机器人自身的面部表情,甚至取悦游览者,此类机器人互动性较差,无法为提升游览者游览体验做出贡献。
发明内容
本发明克服了上述现有技术上的不足,提供具有人眼专注度辨识功能的导游机器人脸部装置及控制,不但可以实现基本导游介绍功能,还能根据游览者的人眼专注度特征调整导游介绍的语音内容,同时调整机器人自身的面部表情从而达到取悦游览者,提升游览者游览体验的目的。
为了解决上述问题,本发明的第一目的在于提供一种具有人眼专注度辨识功能的导游机器人脸部装置,第二目的在于提供一种具有人眼专注度辨识功能的导游机器人脸部装置的控制方法。
本发明所采取的第一技术方案是:
具有人眼专注度辨识功能的导游机器人脸部装置,包括机器人脸部、眼部机构、嘴部机构和控制系统;所述机器人脸部为板状结构,所述眼部机构和嘴部机构设置于机器人脸部表面;
所述机器人脸部包括视觉模块、语音模块和脸部支撑;
所述眼部机构包括眼睛结构和眉毛结构;
所述嘴部机构包括嘴部动作机构和嘴唇结构;
所述控制系统主要包括第一芯片和第二芯片,所述第一芯片与视觉模块控制连接,所述第二芯片与眼部机构和嘴部机构控制连接,其中第一芯片与第二芯片通过UART0串口进行通信。
进一步地,所述脸部支撑包括脸部框架、第一支撑和第二支撑,所述脸部框架前表面仿人鼻子的位置加工有圆形通孔,用于所述视觉模块摄像探头的定位与安装;所述语音模块布置在第一支撑上表面,所述语音模块包括喇叭、喇叭支架和功放模块,喇叭垂直于第一支撑和第二支撑布置,通过喇叭支架设置于第一支撑和第二支撑之间后方位置。
进一步地,第一芯片与视觉模块采用SCCB总线协议通信,所述第一芯片的PB0-PB7引脚分别与视觉模块的DCMI_D0-DCMI_D7引脚连接进行数据传输,所述第一芯片的PA0、PA1、PA2引脚分别与视觉模块的PWDN、VSYNC、HSYNC引脚连接,所述第一芯片的PA4、PA5、PA6引脚分别与视觉模块的PCLK、XCLK、RESET引脚连接,提供内部和外部的时钟以及复位电路,所述第一芯片的PB8引脚与视觉模块的FISN引脚连接,所述第一芯片的PC0、PC1引脚与所述视觉模块的SCL、SDA引脚连接。
进一步地,所述第一芯片的PB9 UART0_TX、PB10 UART0_RX引脚分别与第二芯片的PB10 UART1_RX、PB9 UART1_TX引脚交叉连接,通过串口进行通信,所述语音模块主要包括XFS5152CE芯片、TPA2005DIDRBR芯片以及喇叭,所述第二芯片的PC10、PC11、PC12、PC13与XFS5152CE芯片的SPI_SI、SPI_SO、SPI_SCK、SPI_SSEL引脚连接,作为音频接口芯片用于语音合成,所述TPA2005DIDRBR芯片的NI+、NI-引脚分别与XFS5152CE芯片的AO_N、AO_P引脚连接,所述TPA2005DIDRBR芯片的VO+、VO-引脚分别与电容C10电阻R1并联接入所述喇叭的正负极用于播放音频信息。
进一步地,所述眼睛结构包括眼球构件和眼球固定构件;所述眉毛结构包括第一眉毛构件、第一金属齿轮、单轴舵机、单轴舵机支架、第二金属齿轮、第二眉毛构件,所述单轴舵机的输出轴嵌套在第一金属齿轮的轴孔中传动连接,所述第一金属齿轮的另一端与第一眉毛构件的输入端固接传递扭矩,所述第二金属齿轮与第一金属齿轮参数均相同,并与第一金属齿轮轮齿啮合传递扭矩,所述第二金属齿轮的内孔与第二眉毛构件的输入端固接,所述单轴舵机通过单轴舵机支架与所述脸部框架固接。
进一步地,所述第二芯片的PB2引脚与所述单轴舵机的OUT引脚连接,用于控制舵机完成脸部表情眉毛的动作。
进一步地,所述嘴部动作机构包括第一摆杆、第一金属舵盘、第一双轴舵机、第一舵机支架、第二舵机支架、第二双轴舵机、第二金属舵盘、第二摆杆;所述嘴唇结构包括上嘴唇和下嘴唇,所述上嘴唇和下嘴唇后端面均加工有一对对称布置的凸台,用于与传动装置连接;所述第一双轴舵机通过第一舵机支架与所述第一支撑的下表面连接;所述第一双轴舵机的输出轴与第一金属舵盘的内孔传动连接,所述第一金属舵盘与第一摆杆的一端固接,所述第一摆杆的另一端与所述上嘴唇后端面两个凸台固接,所述第二双轴舵机通过第二舵机支架与第二支撑的上端面固接,所述第二双轴舵机的输出轴嵌套在第二金属舵盘的内孔中,所述第二金属舵盘与第二摆杆的一端固接传递扭矩,所述第二摆杆的另一端与所述下嘴唇后端面的凸台固接。
进一步地,所述第二芯片的PB3引脚与所述第一双轴舵机的OUT引脚连接,用于控制上嘴唇动作;所述第二芯片的PB4引脚与所述第二双轴舵机的OUT引脚连接,用于控制下嘴唇动作,实现所述脸部装置完成张闭嘴动作。
本发明所采取的第二技术方案是:
一种基于所述具有人眼专注度辨识功能的导游机器人脸部装置实现的控制方法,包括以下步骤:
步骤S1、视觉模块采用Opencv的VideoCapture方法采集所述脸部装置前方的环境信息;
步骤S2、处理图像识别人脸信息;
步骤S3、将人脸信息输入到预先训练好的RBF神经网络人眼专注度预测模型中;
步骤S4、输出预测分类后的Labels专注度信息;
步骤S5、将上述信息转换成ASCII码通过串口通信传递给所述第二芯片;
步骤S6、第二芯片根据串口接收到的ASCII码控制相应的舵机完成对应的脸部表情,同时所述第二芯片根据ASCII码调整输出导游语音的内容。
进一步地,所述步骤S2具体包括:
步骤S201、使用Opencv的CascadeClassifier方法启用人脸识别分类器haarcascade_
frontalface_alt2.xml;
步骤S202、采用read方法读取每一帧数据cap.read();
步骤S203、采用Opencv的COLOR_BGR2GRAY方法将当前帧转换为灰度图像,使图像便于处理;
步骤S204、采用detectMultiScale方法识别人脸信息;
进一步地,所述步骤S3中训练好的RBF神经网络人眼专注度预测模型具体包括:
步骤S301、采用减聚类算法对学习样本聚类得到合理的RBF径向基函数的中心参数,并用自动终止聚类判据确定径向基函数数目,考虑n维空间的p个数据点(),假定数据已归一化,首先给出数据点处的密度指标
步骤S302、计算完每个数据点密度指标后,选择具有最高指标的数据点为第一个聚类中心,每个数据点的密度指标可以用修正公式:,其中为选中的点,为其密度指标;
步骤S303、选定下一个聚类中心,再次修正所有数据点的密度指标,直到结束聚类。
进一步地,通过第一芯片将上述训练的神经网络模型命名为Attention.h5,通过load_model方法记录模型路径信息,通过face_predict方法预测对游览者人眼专注度进行分类,经过RBF神经网络人眼专注度预测模型分类以后的专注度信息分为两种:第一种是游览者认真聆听导游介绍,第二种是游览者人眼关注度较低,对介绍内容不感兴趣,所述第已新片把映射成两种ASCII代码通过串口传递给所述第二芯片。
进一步地,所述步骤S6里面的第二芯片控制舵机的过程具体包括:
步骤S601、选择定时器的模式:TIM_OCInitStructure.TIM_OCMode = TIM_OCMode_
PWM2;
步骤S602、比较输出使能:TIM_OCInitStructure.TIM_OutputState = TIM_OutputState_
Enable;
步骤S603、输出级性:TIM_OCInitStructure.TIM_OCPolarity = TIM_OCPolarity_High;
步骤S604、根据T指定的参数初始化外设TIM3 OC2:TIM_OC2Init(TIM3, &TIM_
OCInitStructure);
步骤S605、使能TIM3在CCR2上的预装载寄存器:TIM_OC2PreloadConfig(TIM3, TIM_OCPreload_Enable);
步骤S605、使能TIM3:TIM_Cmd(TIM3, ENABLE)。
进一步地,所述步骤S6里面第二芯片调整导游语音内容具体包括:所述第二芯片将预先存好的导游语音文本信息,所述第二芯片与语音模块进行SPI通信,向语音模块发送“5字节帧头+文本”的格式数据,即可播放导游信息文本的声音。
本发明相对于现有技术具有以下有益效果:
1、本发明提供一种具有人眼专注度辨识功能的导游机器人脸部装置及控制,在实现基本导游介绍功能的同时还可以通过视觉模块对游览者的人眼关注度进行检测,根据对应的识别结果变化导游机器人自身的脸部表情,触发对应的取悦游览者的语音信息,提升游览者与机器人之间的人机交互水平,以及游览者的游览体验;
2、当视觉模块检测到游览者在聆听导游语音的时候人眼专注度较高时,下一小节选择更加丰富的导游介绍内容,当视觉模块检测到游览者人眼专注度较差时,在讲解下一小节内容之前先插播一个简短的笑话或者顺口溜,用于吸引游览者的注意力;
3、在RBF神经网络中经常采用FCM聚类算法来确定镜像基函数的中心,但如何确定合适的聚类数目一直没有得到很好的解决,本发明所述改进的RBF神经网络学习算法对人眼专注度进行预测建模,采用减聚类算法确定聚类数目,它可以得到更加合理的RBF径向基函数的中心参数,解决了一般聚类算法计算量随问题的维数增加而呈指数增长的问题,也即“维数灾难”,大大降低网络的训练时间和预测模型的准确度。
附图说明
图1是本发明装置主视图;
图2是本发明装置后方结构图;
图3是本发明眉毛结构结构图;
图4是本发明嘴部机构结构图;
图5是本发明控制系统第一芯片电路图;
图6是本发明视觉模块电路图;
图7是本发明第二芯片电路图;
图8是本发明语音模块电路图;
图9是本发明单轴舵机、第一双轴舵机、第二双轴舵机电路图;
图10是本发明总体工作流程图;
图11是本发明改进的RBF神经网络学习算法示意图。
图中:机器人脸部1、眼部机构2、嘴部机构3、控制系统4、视觉模块1-1、语音模块1-2、喇叭1-2A、喇叭支架1-2B、脸部支撑1-3、脸部框架1-3A、第一支撑1-3B、第二支撑1-3C、眼睛结构2-1、眉毛结构2-2、眼球构件2-1A、眼球固定构件2-1B、第一眉毛构件2-2A、第一金属齿轮2-2B、单轴舵机2-2C、单轴舵机支架2-2D、第二金属齿轮2-2E、第二眉毛构件2-2F、嘴部动作机构3-1、嘴唇结构3-2、第一摆杆3-1A、第一金属舵盘3-1B、第一双轴舵机3-1C、第一舵机支架3-1D、第二舵机支架3-1E、第二双轴舵机3-1F、第二金属舵盘3-1G、第二摆杆3-1H、上嘴唇3-2A、下嘴唇3-2B。
具体实施方式
以下将结合附图对本发明进行详细说明。
具体实施方式一
具有人眼专注度辨识功能的导游机器人脸部装置,如图1、图2所示,包括机器人脸部1、眼部机构2、嘴部机构3和控制系统4;所述机器人脸部1为板状结构,所述眼部机构2和嘴部机构3设置于机器人脸部1表面;
所述机器人脸部1包括视觉模块1-1、语音模块1-2和脸部支撑1-3;
所述眼部机构2包括眼睛结构2-1和眉毛结构2-2;
所述嘴部机构3包括嘴部动作机构3-1和嘴唇结构3-2;
所述控制系统4主要包括第一芯片和第二芯片,所述第一芯片与视觉模块1-1控制连接,所述第二芯片与眼部机构2和嘴部机构3控制连接,其中第一芯片与第二芯片通过UART0串口进行通信。
具体实施方式二
如图2、图3、图4所示,在具体实施方式一的基础上,所述脸部支撑1-3包括脸部框架1-3A、第一支撑1-3B和第二支撑1-3C,所述脸部框架1-3A前表面仿人鼻子的位置加工有圆形通孔,用于所述视觉模块1-1中摄像探头的定位与安装;所述语音模块1-2布置在第一支撑1-3B上表面,所述语音模块1-2包括喇叭1-2A、喇叭支架1-2B和功放模块,喇叭1-2A垂直于第一支撑1-3B和第二支撑1-3C布置,通过喇叭支架1-2B设置于第一支撑1-3B和第二支撑1-3C之间后方位置。
本实施方式中视觉模块1-1为现有技术,生产厂家为广东佳信微电子专营店,型号为OV7670。
本实施方式中语音模块1-2为现有技术,生产厂家为深圳育松电子有限公司,型号为MusicPlayer。
所述眼睛结构2-1包括眼球构件2-1A和眼球固定构件2-1B;所述眉毛结构2-2包括第一眉毛构件2-2A、第一金属齿轮2-2B、单轴舵机2-2C、单轴舵机支架2-2D、第二金属齿轮2-2E、第二眉毛构件2-2F,所述单轴舵机2-2C的输出轴嵌套在第一金属齿轮2-2B的轴孔中传动连接,所述第一金属齿轮2-2B的另一端与第一眉毛构件2-2A的输入端固接传递扭矩,所述第二金属齿轮2-2E与第一金属齿轮2-2B参数均相同,并与第一金属齿轮2-2B轮齿啮合传递扭矩,所述第二金属齿轮2-2E的内孔与第二眉毛构件2-2F的输入端固接,所述单轴舵机2-2C通过单轴舵机支架2-2D与所述脸部框架1-3A固接。
本实施方式中单轴舵机2-2C为现有技术,生产厂家为乐幻索尔科技有限公司,型号为LD27MG。
所述嘴部动作机构3-1包括第一摆杆3-1A、第一金属舵盘3-1B、第一双轴舵机3-1C、第一舵机支架3-1D、第二舵机支架3-1E、第二双轴舵机3-1F、第二金属舵盘3-1G、第二摆杆3-1H;所述嘴唇结构3-2包括上嘴唇3-2A和下嘴唇3-2B,所述上嘴唇3-2A和下嘴唇3-2B后端面均加工有一对对称布置的凸台,用于与传动装置连接;所述第一双轴舵机3-1C通过第一舵机支架3-1D与所述第一支撑1-3B的下表面连接;所述第一双轴舵机3-1C的输出轴与第一金属舵盘3-1B的内孔传动连接,所述第一金属舵盘3-1B与第一摆杆3-1A的一端固接,所述第一摆杆3-1A的另一端与所述上嘴唇3-2A后端面两个凸台固接,所述第二双轴舵机3-1F通过第二舵机支架3-1E与第二支撑1-3C的上端面固接,所述第二双轴舵机3-1F的输出轴嵌套在第二金属舵盘3-1G的内孔中,所述第二金属舵盘3-1G与第二摆杆3-1H的一端固接传递扭矩,所述第二摆杆3-1H的另一端与所述下嘴唇3-2B后端面的凸台固接。
本实施方式中第一双轴舵机3-1C为现有技术,生产厂家为乐幻索尔科技有限公司,型号为RDS3225。
本实施方式中第二双轴舵机3-1F为现有技术,生产厂家为乐幻索尔科技有限公司,型号为RDS3115。
如图5、图6、图7、图8、图9所示,所述控制系统4中第一芯片与视觉模块1-1采用SCCB总线协议通信,所述第一芯片的PB0-PB7引脚分别与视觉模块1-1的DCMI_D0-DCMI_D7引脚连接进行数据传输,所述第一芯片的PA0、PA1、PA2引脚分别与视觉模块1-1的PWDN、VSYNC、HSYNC引脚连接,所述第一芯片的PA4、PA5、PA6引脚分别与视觉模块1-1的PCLK、XCLK、RESET引脚连接,提供内部和外部的时钟以及复位电路,所述第一芯片的PB8引脚与视觉模块1-1的FISN引脚连接,所述第一芯片的PC0、PC1引脚与所述视觉模块1-1的SCL、SDA引脚连接;所述第一芯片的PB9 UART0_TX、PB10 UART0_RX引脚分别与第二芯片的PB10UART1_RX、PB9 UART1_TX引脚交叉连接,通过串口进行通信,所述语音模块1-2主要包括XFS5152CE芯片、TPA2005DIDRBR芯片以及喇叭1-2A,所述第二芯片的PC10、PC11、PC12、PC13与XFS5152CE芯片的SPI_SI、SPI_SO、SPI_SCK、SPI_SSEL引脚连接,作为音频接口芯片用于语音合成,所述TPA2005DIDRBR芯片的NI+、NI-引脚分别与XFS5152CE芯片的AO_N、AO_P引脚连接,所述TPA2005DIDRBR芯片的VO+、VO-引脚分别与电容C10电阻R1并联接入所述喇叭1-2A的正负极用于播放音频信息;所述第二芯片的PB2引脚与所述单轴舵机2-2C的OUT引脚连接,用于控制舵机完成脸部表情眉毛的动作;所述第二芯片的PB3引脚与所述第一双轴舵机3-1C的OUT引脚连接,用于控制上嘴唇3-2A动作;所述第二芯片的PB4引脚与所述第二双轴舵机3-1F的OUT引脚连接,用于控制下嘴唇3-2B动作,实现所述脸部装置完成张闭嘴动作。
第一芯片型号为STM32F427ZGT6;第二芯片型号为STM32F103RCT6。
工作过程:
所述导游机器人脸部装置可以实现人眼专注度检测,并能根据识别的结果做出对应的机器人面部表情动作,于此同时可以实时调整导游介绍的内容,提升游览者的游览体验;所述视觉模块1-1实时识别前方游览者的人联信息,并分析游览者的人眼专注度,分析结果为两种:一种是游览者专注度较高,这时控制系统4将选择将更加丰富的导游介绍语音输出给语音模块1-2作为下一小节的播放内容;另一种是游览者专注度较差,控制系统4会控制语音模块1-2在讲解下一节的内容之前插播一个简短的笑话或者顺口溜,用于吸引游览者的注意,与此同时所述脸部装置可以通过识别到的专注度信息改变自身的表情,增加导游介绍过程中游览者的参与度,调节现场氛围。
具体实施方式三
如图10、图11所示,一种基于所述具有人眼专注度辨识功能的导游机器人脸部装置实现的控制方法,包括以下步骤:
步骤S1、视觉模块采用Opencv的VideoCapture方法采集所述脸部装置前方的环境信息;
步骤S2、处理图像识别人脸信息;
步骤S3、将人脸信息输入到预先训练好的RBF神经网络人眼专注度预测模型中;
步骤S4、输出预测分类后的Labels专注度信息;
步骤S5、将上述信息转换成ASCII码通过串口通信传递给所述第二芯片;
步骤S6、第二芯片根据串口接收到的ASCII码控制相应的舵机完成对应的脸部表情,同时所述第二芯片根据ASCII码调整输出导游语音的内容。
进一步地,所述步骤S2具体包括:
步骤S201、使用Opencv的CascadeClassifier方法启用人脸识别分类器haarcascade_
frontalface_alt2.xml;
步骤S202、采用read方法读取每一帧数据cap.read();
步骤S203、采用Opencv的COLOR_BGR2GRAY方法将当前帧转换为灰度图像,使图像便于处理;
步骤S204、采用detectMultiScale方法识别人脸信息。
进一步地,所述步骤S3中改进的RBF神经网络学习算法具体包括:
步骤S301、采用减聚类算法替代常规的FCM聚类算法对网络参数进行训练,学习样本聚类得到合理的RBF径向基函数的中心参数,并用自动终止聚类判据确定径向基函数数目,考虑n维空间的p个数据点(),假定数据已归一化,首先给出数据点处的密度指标
步骤S302、计算完每个数据点密度指标后,选择具有最高指标的数据点为第一个聚类中心,每个数据点的密度指标可以用修正公式:,其中为选中的点,为其密度指标;
步骤S303、选定下一个聚类中心,再次修正所有数据点的密度指标,直到结束聚类;
步骤S304、聚类结束以后,对的部分最临近点取平均距离,就可以确定宽度参数
进一步地,通过第一芯片将上述训练的神经网络模型命名为Attention.h5,通过load_model方法记录模型路径信息,通过face_predict方法预测对游览者人眼专注度进行分类,经过RBF神经网络人眼专注度预测模型分类以后的专注度信息分为两种:第一种是游览者认真聆听导游介绍,第二种是游览者人眼关注度较低,对介绍内容不感兴趣,所述第已新片把映射成两种ASCII代码通过串口传递给所述第二芯片。
进一步地,所述步骤S6里面的第二芯片控制舵机的过程具体包括:
步骤S601、选择定时器的模式:TIM_OCInitStructure.TIM_OCMode = TIM_OCMode_
PWM2;
步骤S602、比较输出使能:TIM_OCInitStructure.TIM_OutputState = TIM_OutputState_
Enable;
步骤S603、输出级性:TIM_OCInitStructure.TIM_OCPolarity = TIM_OCPolarity_High;
步骤S604、根据T指定的参数初始化外设TIM3 OC2:TIM_OC2Init(TIM3, &TIM_
OCInitStructure);
步骤S605、使能TIM3在CCR2上的预装载寄存器:TIM_OC2PreloadConfig(TIM3, TIM_OCPreload_Enable);
步骤S605、使能TIM3:TIM_Cmd(TIM3, ENABLE)。
进一步地,所述步骤S6里面第二芯片调整导游语音内容具体包括:所述第二芯片将预先存好的导游语音文本信息,所述第二芯片与语音模块进行SPI通信,向语音模块发送“5字节帧头+文本”的格式数据,即可播放导游信息文本的声音。

Claims (9)

1.具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,包括机器人脸部(1)、眼部机构(2)、嘴部机构(3)和控制系统(4);所述机器人脸部(1)为板状结构,所述眼部机构(2)和嘴部机构(3)设置于机器人脸部(1)表面;
所述机器人脸部(1)包括视觉模块(1-1)、语音模块(1-2)和脸部支撑(1-3);
所述眼部机构(2)包括眼睛结构(2-1)和眉毛结构(2-2);
所述嘴部机构(3)包括嘴部动作机构(3-1)和嘴唇结构(3-2);
所述控制系统(4)主要包括第一芯片和第二芯片,所述第一芯片与视觉模块(1-1)控制连接,所述第二芯片与眼部机构(2)和嘴部机构(3)控制连接,其中第一芯片与第二芯片通过UART0串口进行通信。
2.根据权利要求1所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述脸部支撑(1-3)包括脸部框架(1-3A)、第一支撑(1-3B)和第二支撑(1-3C),所述脸部框架(1-3A)前表面仿人鼻子的位置加工有圆形通孔,用于所述视觉模块(1-1)中摄像探头的定位与安装;所述语音模块(1-2)布置在第一支撑(1-3B)上表面,所述语音模块(1-2)包括喇叭(1-2A)、喇叭支架(1-2B)和功放模块,喇叭(1-2A)垂直于第一支撑(1-3B)和第二支撑(1-3C)布置,通过喇叭支架(1-2B)设置于第一支撑(1-3B)和第二支撑(1-3C)之间后方位置。
3.根据权利要求1所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述眼睛结构(2-1)包括眼球构件(2-1A)和眼球固定构件(2-1B);所述眉毛结构(2-2)包括第一眉毛构件(2-2A)、第一金属齿轮(2-2B)、单轴舵机(2-2C)、单轴舵机支架(2-2D)、第二金属齿轮(2-2E)、第二眉毛构件(2-2F),所述单轴舵机(2-2C)的输出轴嵌套在第一金属齿轮(2-2B)的轴孔中传动连接,所述第一金属齿轮(2-2B)的另一端与第一眉毛构件(2-2A)的输入端固接传递扭矩,所述第二金属齿轮(2-2E)与第一金属齿轮(2-2B)参数均相同,并与第一金属齿轮(2-2B)轮齿啮合传递扭矩,所述第二金属齿轮(2-2E)的内孔与第二眉毛构件(2-2F)的输入端固接,所述单轴舵机(2-2C)通过单轴舵机支架(2-2D)与所述脸部框架(1-3A)固接。
4.根据权利要求1所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述嘴部动作机构(3-1)包括第一摆杆(3-1A)、第一金属舵盘(3-1B)、第一双轴舵机(3-1C)、第一舵机支架(3-1D)、第二舵机支架(3-1E)、第二双轴舵机(3-1F)、第二金属舵盘(3-1G)、第二摆杆(3-1H);所述嘴唇结构(3-2)包括上嘴唇(3-2A)和下嘴唇(3-2B),所述上嘴唇(3-2A)和下嘴唇(3-2B)后端面均加工有一对对称布置的凸台,用于与传动装置连接;所述第一双轴舵机(3-1C)通过第一舵机支架(3-1D)与所述第一支撑(1-3B)的下表面连接;所述第一双轴舵机(3-1C)的输出轴与第一金属舵盘(3-1B)的内孔传动连接,所述第一金属舵盘(3-1B)与第一摆杆(3-1A)的一端固接,所述第一摆杆(3-1A)的另一端与所述上嘴唇(3-2A)后端面两个凸台固接,所述第二双轴舵机(3-1F)通过第二舵机支架(3-1E)与第二支撑(1-3C)的上端面固接,所述第二双轴舵机(3-1F)的输出轴嵌套在第二金属舵盘(3-1G)的内孔中,所述第二金属舵盘(3-1G)与第二摆杆(3-1H)的一端固接传递扭矩,所述第二摆杆(3-1H)的另一端与所述下嘴唇(3-2B)后端面的凸台固接。
5.根据权利要求1所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述控制系统(4)中第一芯片与视觉模块(1-1)采用SCCB总线协议通信,所述第一芯片的PB0-PB7引脚分别与视觉模块(1-1)的DCMI_D0-DCMI_D7引脚连接进行数据传输,所述第一芯片的PA0、PA1、PA2引脚分别与视觉模块(1-1)的PWDN、VSYNC、HSYNC引脚连接,所述第一芯片的PA4、PA5、PA6引脚分别与视觉模块(1-1)的PCLK、XCLK、RESET引脚连接,提供内部和外部的时钟以及复位电路,所述第一芯片的PB8引脚与视觉模块(1-1)的FISN引脚连接,所述第一芯片的PC0、PC1引脚与所述视觉模块(1-1)的SCL、SDA引脚连接。
6.根据权利要求1所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述第一芯片的PB9 UART0_TX、PB10 UART0_RX引脚分别与第二芯片的PB10 UART1_RX、PB9UART1_TX引脚交叉连接,通过串口进行通信,所述语音模块(1-2)主要包括XFS5152CE芯片、TPA2005DIDRBR芯片以及喇叭(1-2A),所述第二芯片的PC10、PC11、PC12、PC13与XFS5152CE芯片的SPI_SI、SPI_SO、SPI_SCK、SPI_SSEL引脚连接,作为音频接口芯片用于语音合成,所述TPA2005DIDRBR芯片的NI+、NI-引脚分别与XFS5152CE芯片的AO_N、AO_P引脚连接,所述TPA2005DIDRBR芯片的VO+、VO-引脚分别与电容C10电阻R1并联接入所述喇叭(1-2A)的正负极用于播放音频信息。
7.根据权利要求3所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述第二芯片的PB2引脚与所述单轴舵机(2-2C)的OUT引脚连接,用于控制舵机完成脸部表情眉毛的动作。
8.根据权利要求4所述具有人眼专注度辨识功能的导游机器人脸部装置,其特征在于,所述第二芯片的PB3引脚与所述第一双轴舵机(3-1C)的OUT引脚连接,用于控制上嘴唇(3-2A)动作;所述第二芯片的PB4引脚与所述第二双轴舵机(3-1F)的OUT引脚连接,用于控制下嘴唇(3-2B)动作,实现所述脸部装置完成张闭嘴动作。
9.一种基于权利要求1至8任一所述具有人眼专注度辨识功能的导游机器人脸部装置实现的控制方法,其特征在于,包括以下步骤:
步骤S1、视觉模块采用Opencv的VideoCapture方法采集所述脸部装置前方的环境信息;
步骤S2、处理图像识别人脸信息;
步骤S3、将人脸信息输入到预先训练好的RBF神经网络人眼专注度预测模型中;
步骤S4、输出预测分类后的Labels专注度信息;
步骤S5、将上述信息转换成ASCII码通过串口通信传递给所述第二芯片;
步骤S6、第二芯片根据串口接收到的ASCII码控制相应的舵机完成对应的脸部表情,同时所述第二芯片根据ASCII码调整输出导游语音的内容;
进一步地,所述步骤S2具体包括:
步骤S201、使用Opencv的CascadeClassifier方法启用人脸识别分类器haarcascade_
frontalface_alt2.xml;
步骤S202、采用read方法读取每一帧数据cap.read();
步骤S203、采用Opencv的COLOR_BGR2GRAY方法将当前帧转换为灰度图像,使图像便于处理;
步骤S204、采用detectMultiScale方法识别人脸信息;
进一步地,所述步骤S3中改进的RBF神经网络学习算法具体包括:
步骤S301、采用减聚类算法替代常规的FCM聚类算法对网络参数进行训练,学习样本聚类得到合理的RBF径向基函数的中心参数,并用自动终止聚类判据确定径向基函数数目,考虑n维空间的p个数据点(),假定数据已归一化,首先给出数据点处的密度指标
步骤S302、计算完每个数据点密度指标后,选择具有最高指标的数据点为第一个聚类中心,每个数据点的密度指标可以用修正公式:,其中为选中的点,为其密度指标;
步骤S303、选定下一个聚类中心,再次修正所有数据点的密度指标,直到结束聚类;
步骤S304、聚类结束以后,对的部分最临近点取平均距离,就可以确定宽度参数
进一步地,通过第一芯片将上述训练的神经网络模型命名为Attention.h5,通过load_model方法记录模型路径信息,通过face_predict方法预测对游览者人眼专注度进行分类,经过RBF神经网络人眼专注度预测模型分类以后的专注度信息分为两种:第一种是游览者认真聆听导游介绍,第二种是游览者人眼关注度较低,对介绍内容不感兴趣,所述第已新片把映射成两种ASCII代码通过串口传递给所述第二芯片;
进一步地,所述步骤S6里面的第二芯片控制舵机的过程具体包括:
步骤S601、选择定时器的模式:TIM_OCInitStructure.TIM_OCMode = TIM_OCMode_
PWM2;
步骤S602、比较输出使能:TIM_OCInitStructure.TIM_OutputState = TIM_OutputState_
Enable;
步骤S603、输出级性:TIM_OCInitStructure.TIM_OCPolarity = TIM_OCPolarity_High;
步骤S604、根据T指定的参数初始化外设TIM3 OC2:TIM_OC2Init(TIM3, &TIM_
OCInitStructure);
步骤S605、使能TIM3在CCR2上的预装载寄存器:TIM_OC2PreloadConfig(TIM3, TIM_OCPreload_Enable);
步骤S605、使能TIM3:TIM_Cmd(TIM3, ENABLE);
进一步地,所述步骤S6里面第二芯片调整导游语音内容具体包括:所述第二芯片将预先存好的导游语音文本信息,所述第二芯片与语音模块进行SPI通信,向语音模块发送“5字节帧头+文本”的格式数据,即可播放导游信息文本的声音。
CN201910163660.4A 2019-03-05 2019-03-05 具有人眼专注度辨识功能的导游机器人脸部装置及控制 Pending CN109886247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910163660.4A CN109886247A (zh) 2019-03-05 2019-03-05 具有人眼专注度辨识功能的导游机器人脸部装置及控制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910163660.4A CN109886247A (zh) 2019-03-05 2019-03-05 具有人眼专注度辨识功能的导游机器人脸部装置及控制

Publications (1)

Publication Number Publication Date
CN109886247A true CN109886247A (zh) 2019-06-14

Family

ID=66930678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910163660.4A Pending CN109886247A (zh) 2019-03-05 2019-03-05 具有人眼专注度辨识功能的导游机器人脸部装置及控制

Country Status (1)

Country Link
CN (1) CN109886247A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110877332A (zh) * 2018-09-05 2020-03-13 深圳市优必选科技有限公司 机器人舞蹈文件生成方法、装置、终端设备及存储介质
CN112809680A (zh) * 2021-01-26 2021-05-18 山东大学 基于多约束条件的机器人抓取模式选择方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101474481A (zh) * 2009-01-12 2009-07-08 北京科技大学 情感机器人系统
US20140016835A1 (en) * 2012-07-13 2014-01-16 National Chiao Tung University Human identification system by fusion of face recognition and speaker recognition, method and service robot thereof
CN206115270U (zh) * 2016-08-31 2017-04-19 厦门轻游信息科技有限公司 一种交互感应式具有导航和讲解功能的导游机器人
US20170365277A1 (en) * 2016-06-16 2017-12-21 The George Washington University Emotional interaction apparatus
CN108942973A (zh) * 2018-09-29 2018-12-07 哈尔滨理工大学 具有温湿度播报功能的科技馆迎宾机器人头颈部装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101474481A (zh) * 2009-01-12 2009-07-08 北京科技大学 情感机器人系统
US20140016835A1 (en) * 2012-07-13 2014-01-16 National Chiao Tung University Human identification system by fusion of face recognition and speaker recognition, method and service robot thereof
US20170365277A1 (en) * 2016-06-16 2017-12-21 The George Washington University Emotional interaction apparatus
CN206115270U (zh) * 2016-08-31 2017-04-19 厦门轻游信息科技有限公司 一种交互感应式具有导航和讲解功能的导游机器人
CN108942973A (zh) * 2018-09-29 2018-12-07 哈尔滨理工大学 具有温湿度播报功能的科技馆迎宾机器人头颈部装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FUMITAKA YAMAOKA 等: "Developing a model of robot behavior to identify and appropriately respond to implicit attention-shifting", 《2009 4TH ACM/IEEE INTERNATIONAL CONFERENCE ON HUMAN-ROBOT INTERACTION (HRI)》 *
李文倩: "面向远程教育的学习专注度识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李芮 等: "融入性格的E-Learning情绪模型", 《计算机工程与设计》 *
毛晓波 等: "基于PSO-RBF神经网络的雾霾车牌识别算法研究", 《郑州大学学报(工学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110877332A (zh) * 2018-09-05 2020-03-13 深圳市优必选科技有限公司 机器人舞蹈文件生成方法、装置、终端设备及存储介质
CN112809680A (zh) * 2021-01-26 2021-05-18 山东大学 基于多约束条件的机器人抓取模式选择方法及系统

Similar Documents

Publication Publication Date Title
US11922935B2 (en) Voice interaction method and apparatus, terminal, and storage medium
US20220377467A1 (en) Hearing aid systems and mehods
US20170303052A1 (en) Wearable auditory feedback device
US20220021985A1 (en) Selectively conditioning audio signals based on an audioprint of an object
US20210280172A1 (en) Voice Response Method and Device, and Smart Device
US20230045237A1 (en) Wearable apparatus for active substitution
TW201821946A (zh) 數據發送系統及其方法
WO2021008538A1 (zh) 语音交互方法及相关装置
US11546690B2 (en) Processing audio and video
EP3915277A1 (en) Signal processing device, system and method for processing audio signals
US11929087B2 (en) Systems and methods for selectively attenuating a voice
CN109241924A (zh) 基于互联网的多平台信息交互系统
CN109886247A (zh) 具有人眼专注度辨识功能的导游机器人脸部装置及控制
WO2022072752A1 (en) Voice user interface using non-linguistic input
WO2023184902A1 (zh) 拍摄设备及其软件功能和拍摄参数自适应方法
US20230239800A1 (en) Voice Wake-Up Method, Electronic Device, Wearable Device, and System
US20210398539A1 (en) Systems and methods for processing audio and video
US20230042310A1 (en) Wearable apparatus and methods for approving transcription and/or summary
CN111311713A (zh) 漫画处理方法、显示方法、装置、终端及存储介质
CN109877806A (zh) 具有情绪辨别能力的科技馆导游机器人面部装置及控制
CN207901174U (zh) 机器人面部情绪表达系统
CN206892866U (zh) 具有情景分析功能的智能对话装置
US20220172736A1 (en) Systems and methods for selectively modifying an audio signal based on context
US11432076B2 (en) Processing audio and video in a hearing aid system
WO2021238371A1 (zh) 生成虚拟角色的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190614

WD01 Invention patent application deemed withdrawn after publication