CN113043292A - 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 - Google Patents
具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 Download PDFInfo
- Publication number
- CN113043292A CN113043292A CN202110300342.5A CN202110300342A CN113043292A CN 113043292 A CN113043292 A CN 113043292A CN 202110300342 A CN202110300342 A CN 202110300342A CN 113043292 A CN113043292 A CN 113043292A
- Authority
- CN
- China
- Prior art keywords
- chip
- eye
- eyeball
- eyelid
- steering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Toys (AREA)
Abstract
具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制属于智能服务机器人领域；解决了现有技术中参观者与迎宾机器人眼神交互性差的问题；包括面部机构、眼睑机构、眼珠机构和控制系统；所述眼睑机构和眼珠机构设置于面部机构表面；所述面部机构包括视觉模块、面部框架和语音模块；所述眼睑机构包括眼睑传动机构和眼睑构件；所述眼珠机构包括眼珠传动机构和眼珠构件；所述控制系统采用改进的LBP卷积算法对神经网络进行训练，减少了训练集数量，缩短了识别时间，提高了迎宾机器人模仿参观者眼神的准确性；本发明能模仿出相应参观者的眼神特征，并发出与眼神特征对应的语音，提升了参观者游玩体验。
Description
技术领域
本发明属于智能服务机器人领域，尤其涉及一种具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制。
背景技术
由于迎宾机器人能够支持多个场景中使用，因此获得广大用户的青睐，使用迎宾机器人既能够降低人工成本，还能加快工作效率，更能增加趣味性，在满足基本的迎宾功能前提下，人们对迎宾机器人提出了更高的渴望，不仅要求迎宾机器人能表达一些基本的表情，还要求迎宾机器人对人的表情进行模仿，尤其是眼神的模仿。
本发明应用于极地馆迎宾服务领域，极地馆作为展示极地动物为主的参观性场馆，是面对游客尤其是少年开展极地科普活动的重要景点，少年性格活泼好动，眼神灵动，现有技术中极地馆迎宾机器人在实现基本迎宾功能上，可以进行简单的睁眼、闭眼和转眼动作，极地馆迎宾机器人的眼睛动作看起来比较呆板，不具备模仿参观者眼神的功能，智能程度较低，不能根据参观者的眼神特征对极地馆迎宾机器人自身的眼部特征进行调整，从而取悦参观者，提升参观者的游玩体验。
发明内容
目前极地馆迎宾机器人眼睑机构往复运动时，上眼睑和下眼睑接触，导致上眼睑和下眼睑发生疲劳破坏，容易损坏，且只能进行简单的睁眼、闭眼动作，眼珠机构只能实现上下看动作或左右看动作，还不能对参观者的眼神特征进行模仿，本发明克服了现有技术上的不足，提供具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制，能抑制上眼睑和下眼睑疲劳破坏发生，眼珠机构既能实现上下看动作，还能实现左右看动作，不但可以实现基本的迎宾功能，为了满足实际迎宾场景对互动实时性的要求，还通过LBP卷积神经网络训练的眼神识别模型识别参观者的眼神特征，极地馆迎宾机器人对参观者的眼神特征进行模仿，并发出与眼神特征对应的语音，提高了人和极地馆迎宾机器人的互动性，给参观者留下了深刻的印象，提升了极地馆的形象。
为了解决上述问题，本发明的第一目的在于提供一种具有眼神模仿功能的极地馆迎宾机器人眼部装置，第二目的在于提供一种具有眼神模仿功能的极地馆迎宾机器人眼部装置的控制方法。
本发明所采取的第一技术方案是：
具有眼神模仿功能的极地馆迎宾机器人眼部装置，包括面部机构、眼睑机构、眼珠机构和控制系统；所述眼睑机构和眼珠机构设置于面部机构表面；
所述面部机构包括视觉模块、面部框架和语音模块；
所述眼睑机构包括眼睑传动机构和眼睑构件；
所述眼珠机构包括眼珠传动机构和眼珠构件；
所述控制系统主要包括第一芯片和第二芯片；所述第一芯片与视觉模块控制连接；其中第一芯片与第二芯片通过UART3串口进行通信；
进一步地，所述面部框架包括面板、第一支撑板、第二支撑板；所述面板与第二支撑板垂直布置并固定连接，所述第二支撑板与第一支撑板垂直布置并固定连接，所述面板端面上加工有一对对称的圆形通孔，用于眼睑构件和眼珠构件的定位，所述面板端面脑门的位置加工有圆形通孔用于视觉模块的定位，所述语音模块布置在第二支撑板上端，所述眼睑机构布置于面板的后端面上，所述眼珠机构通过第一支撑板和第二支撑板固定。
进一步地，第一芯片与视觉模块按SCCB总线通信协议连接，所述第一芯片的PD6、PD7引脚分别与视觉模块SCL、SDA引脚连接，用来传递参数给视觉模块的控制寄存器；所述第一芯片的PC6、PC7、PC8、PC9、PC11、PB6、PE5、PE6引脚分别与视觉模块的D0-D7引脚连接，用于视觉模块传递经过DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PG9引脚与视觉模块的PWDN引脚连接，用于第一芯片控制视觉模块进入低功耗模式；所述第一芯片的PB7、PA4引脚分别与视觉模块的VSYNC、HREF引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6引脚分别与视觉模块的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PG15引脚与视觉模块的RESET引脚连接，用于复位视觉模块。
进一步地，所述眼睑传动机构包括第一舵机、第一带轮、皮带、第二带轮、第一金属轴、第二金属轴、第一金属齿轮、第二金属齿轮；所述眼睑构件包括右上眼睑、右下眼睑、左上眼睑、左下眼睑，所述第一舵机的输出轴与第一带轮固定连接，所述第一带轮与第二带轮通过皮带传动连接，所述第二带轮分别与第一金属轴、第一金属齿轮、左上眼睑和右上眼睑固定连接，所述第一金属轴与面板转动连接，所述第一金属齿轮与第二金属齿轮轮齿啮合，所述第二金属齿轮分别与第二金属轴、右下眼睑和左下眼睑固定连接，所述第二金属轴与面板转动连接。
进一步地，第一芯片的PB10 UART3_TX、PB11 UART3_RX引脚分别与第二芯片的PB11 UART3_RX、PB10 UART3_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与第一舵机的OUT引脚连接。
进一步地，所述眼珠传动机构包括第二舵机、第三金属齿轮、第四金属齿轮、左眼底座、第一舵机支架、第三舵机、第三金属轴、第五金属齿轮、第六金属齿轮、第一眼球支架、右眼底座、第二舵机支架、第二眼球支架、第四舵机、第七金属齿轮、第八金属齿轮、第四金属轴、第九金属齿轮、第五舵机、第十金属齿轮；所述眼珠构件包括左眼珠、右眼珠，所述第二舵机的输出轴嵌套在第三金属齿轮的轴孔中传动连接，所述第三金属齿轮与第四金属齿轮轮齿啮合，所述第四金属齿轮与左眼底座固定连接，所述左眼底座分别与第一舵机支架和第一眼球支架固定连接，所述第一舵机支架与第三舵机固定连接，所述第三舵机的输出轴嵌套在第五金属齿轮的轴孔中传动连接，所述第五金属齿轮与第六金属齿轮轮齿啮合，所述第六金属齿轮分别与第三金属轴和左眼珠固定连接，所述第三金属轴与第一眼球支架转动连接，所述第五舵机的输出轴嵌套在第十金属齿轮的轴孔中传动连接，所述第十金属齿轮与第九金属齿轮轮齿啮合，所述第九金属齿轮与右眼底座固定连接，所述右眼底座分别与第二舵机支架和第二眼球支架固定连接，所述第二舵机支架与第四舵机固定连接，所述第四舵机的输出轴嵌套在第七金属齿轮的轴孔中传动连接，所述第七金属齿轮与第八金属齿轮轮齿啮合，所述第八金属齿轮分别与第四金属轴和右眼珠固定连接，所述第四金属轴与第二眼球支架转动连接。
进一步地，第二芯片的PA1引脚与第二舵机的OUT引脚连接，第二芯片的PA2引脚与第三舵机的OUT引脚连接，第二芯片的PA3引脚与第四舵机的OUT引脚连接，第二芯片的PA4引脚与第五舵机的OUT引脚连接，所述第二芯片的PA10、PA9引脚分别与语音模块的TXD、RXD引脚连接。
本发明所采取的第二技术方案是：
一种基于所述具有眼神模仿功能的极地馆迎宾机器人眼部装置实现的控制方法，包括以下步骤：
步骤S1、视觉模块OV2640采集视频信息；
步骤S2、使用Opencv启用haarcascade眼神分类器，识别出人眼；
步骤S3、识别出的人眼输入到经过训练的改进LBP卷积神经网络中进行眼神特征识别；
步骤S4、输出经过LBP卷积神经网络分类后的眼神特征；
步骤S5、把眼神特征表示成ASCII码，通过UART3串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码，根据ASCII码值，对相应舵机进行眼神动作控制。
进一步地，所述步骤S3中改进的LBP卷积神经网络学习算法具体包括：
步骤S301、使用LBP算法对输入图像的流形面从高维降到低维，淡化了研究价值不大的平滑区域，同时降低了特征的维数，减少卷积神经网络对大量数据的运行时间；
步骤S302、基于LeNet-5的神经网络框架进行改进，卷积层的计算公式：
其中
为第l层的第j个特征图，
为卷积核函数，f(·)为激活函数，
为偏置函数；
步骤S303、为了减少特征图的空间分辨率，增加降采样层，降采样的计算过程：
其中down()为采样函数；
步骤S304、卷积神经网路使用随机梯度下降法计算神经元之间的突触权重，卷积层和全连接层突触的初始值计算公式：
其中Fin为输入的维度，Fout为输出的维度，W为突触的初始化值；
步骤S305、进行神经元网络中权值的更新，权值由t时刻到t+1时刻的更新过程：W(t+1)＝W(t)+ηδ(t)x(t)，其中η为学习速率，x(t)为神经元的输入，δ(t)为其误差项；
步骤S306、为了加快深层构架中的激活速度，采用非线性激励函数ReLu为神经元的激活函数，激活函数计算公式：ReLu(x)＝max(0,x)；
进一步地，通过第一芯片将上述训练的神经网络模型命名为eyesight.h5，通过load_model方法记录模型路径信息，通过eye_predict方法对参观者眼神进行分类，经过LBP卷积神经网络将眼神特征分为眼睑张开、眼睑闭合、眼珠向左转、眼珠向右转、眼珠向上转和眼珠向下转，分别用不同的ASCII码表示，通过UART3串口通信传输给第二芯片，第二芯片控制接收到ASCII码后，控制相应舵机动作，极地馆迎宾机器人模仿出参观者的眼神特征，同时语音模块触发与眼神特征对应的语音，实现人与极地馆迎宾机器人之间的互动。
本发明相对于现有技术具有以下有益效果：
1、本发明提供一种具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制，能抑制上眼睑和下眼睑疲劳破坏发生，眼珠机构既能实现上下看动作，还能实现左右看动作，极地馆迎宾机器人不但可以实现基本迎宾功能，还能根据参观者的眼神特征，模仿出参观者眼神特征，并发出与眼神特征对应的语音，提升参观者的游玩体验，解决了现有技术中人与极地馆迎宾机器人眼神交互性差的问题；
2、本发明采用改进的LBP卷积神经网络算法来完成对眼神特征识别模型的设计，为了减少卷积神经网络的运行时间，使用LBP算法对输入图像的流形面从高维降到低维，淡化了研究价值不大的平滑区域，同时降低了特征的维数，为了使图像在进行平移、扭曲、比例变化和旋转操作后，减少输出的敏感性，在每个卷积层之后设置降采样层，为了加快深层构架中的激活速度，采用非线性激励函数ReLu为神经元的激活函数，为了满足实际迎宾场景下，互动实时性要求，本文采用改进的LBP卷积神经网络算法，有效地加快了神经网络的识别时间，同时提高了眼神识别模型的准确率，从而更好的实现极地馆迎宾机器人与参观者的眼神互动，提升参观者的游玩体验。
附图说明
图1是本发明装置主视图；
图2是本发明装置后方结构图；
图3是本发明眼珠机构结构图；
图4是本发明控制系统第一芯片电路图；
图5是本发明视觉模块中的OV2640摄像头电路图；
图6是本发明第二芯片电路图；
图7是本发明语音模块电路图；
图8是本发明第一舵机、第二舵机、第三舵机、第四舵机、第五舵机电路图；
图9是本发明工作流程图；
图10是本发明改进的LBP卷积神经网络算法示意图。
图中：面部机构1、眼睑机构2、眼珠机构3、控制系统4、视觉模块1-1、面部框架1-2、语音模块1-3、面板1-2A、第一支撑板1-2B、第二支撑板1-2C、喇叭1-3A、喇叭支架1-3B、眼睑传动机构2-1、眼睑构件2-2、第一舵机2-1A、第一带轮2-1B、皮带2-1C、第二带轮2-1D、第一金属轴2-1E、第二金属轴2-1F、第一金属齿轮2-1G、第二金属齿轮2-1H、右上眼睑2-2A、右下眼睑2-2B、左上眼睑2-2C、左下眼睑2-2D、眼珠传动机构3-1、眼珠构件3-2、第二舵机3-1A、第三金属齿轮3-1B、第四金属齿轮3-1C、左眼底座3-1D、第一舵机支架3-1E、第三舵机3-1F、第三金属轴3-1G、第五金属齿轮3-1H、第六金属齿轮3-1I、第一眼球支架3-1J、右眼底座3-1K、第二舵机支架3-1L、第二眼球支架3-1M、第四舵机3-1N、第七金属齿轮3-1O、第八金属齿轮3-1P、第四金属轴3-1Q、第九金属齿轮3-1R、第五舵机3-1S、第十金属齿轮3-1T、左眼珠3-2A、右眼珠3-2B。
具体实施方式
以下将结合附图对本发明进行详细说明。
具体实施方式一
具有眼神模仿功能的极地馆迎宾机器人眼部装置，如图1、图2所示，包括面部机构1、眼睑机构2、眼珠机构3和控制系统4；所述眼睑机构2和眼珠机构3设置于面部机构1表面；
所述眼睑机构2包括眼睑传动机构2-1和眼睑构件2-2；
所述眼珠机构3包括眼珠传动机构3-1和眼珠构件3-2；
所述控制系统4主要包括第一芯片和第二芯片；所述第一芯片与视觉模块1-1控制连接；第二芯片与语音模块1-3控制连接；其中第一芯片与第二芯片通过UART3串口进行通信。
具体实施方式二
如图1、图2、图3所示，在具体实施方式一的基础上，所述面部机构1包括视觉模块1-1、面部框架1-2、语音模块1-3；所述面部框架1-2包括面板1-2A、第一支撑板1-2B、第二支撑板1-2C；所述面板1-2A与第二支撑板1-2C垂直布置并固定连接，所述第二支撑板1-2C与第一支撑板1-2B垂直布置并固定连接，所述面板1-2A端面上加工有一对对称的圆形通孔，用于眼睑构件2-2和眼珠构件3-2的定位，所述面板1-2A端面脑门的位置加工有圆形通孔用于视觉模块1-1的定位，所述语音模块1-3布置在第二支撑板1-2C上端，所述眼睑机构2布置于面板1-2A的后端面上，所述眼珠机构3通过第一支撑板1-2B和第二支撑板1-2C固定。
本实施方式中语音模块1-3为现有技术，生产厂家为深圳市弘泰微电子有限公司，型号为YX6100-24SS。
所述眼睑传动机构2-1包括第一舵机2-1A、第一带轮2-1B、皮带2-1C、第二带轮2-1D、第一金属轴2-1E、第二金属轴2-1F、第一金属齿轮2-1G、第二金属齿轮2-1H；所述眼睑构件2-2包括右上眼睑2-2A、右下眼睑2-2B、左上眼睑2-2C、左下眼睑2-2D，所述第一舵机2-1A的输出轴与第一带轮2-1B固定连接，所述第一带轮2-1B与第二带轮2-1D通过皮带2-1C传动连接，所述第二带轮2-1D分别与第一金属轴2-1E、第一金属齿轮2-1G、左上眼睑2-2C和右上眼睑2-2A固定连接，所述第一金属轴2-1E与面板1-2A转动连接，所述第一金属齿轮2-1G与第二金属齿轮2-1H轮齿啮合，所述第二金属齿轮2-1H分别与第二金属轴2-1F、右下眼睑2-2B和左下眼睑2-2D固定连接，所述第二金属轴2-1F与面板1-2A转动连接。
本实施方式中第一舵机2-1A为现有技术，生产厂家为深圳市育松达电子有限公司，型号为MG90S。
所述眼珠传动机构包括第二舵机3-1A、第三金属齿轮3-1B、第四金属齿轮3-1C、左眼底座3-1D、第一舵机支架3-1E、第三舵机3-1F、第三金属轴3-1G、第五金属齿轮3-1H、第六金属齿轮3-1I、第一眼球支架3-1J、右眼底座3-1K、第二舵机支架3-1L、第二眼球支架3-1M、第四舵机3-1N、第七金属齿轮3-1O、第八金属齿轮3-1P、第四金属轴3-1Q、第九金属齿轮3-1R、第五舵机3-1S、第十金属齿轮3-1T；所述眼珠构件包括左眼珠3-2A、右眼珠3-2B，所述第二舵机3-1A的输出轴嵌套在第三金属齿轮3-1B的轴孔中传动连接，所述第三金属齿轮3-1B与第四金属齿轮3-1C轮齿啮合，所述第四金属齿轮3-1C与左眼底座3-1D固定连接，所述左眼底座3-1D分别与第一舵机支架3-1E和第一眼球支架3-1J固定连接，所述第一舵机支架3-1E与第三舵机3-1F固定连接，所述第三舵机3-1F的输出轴嵌套在第五金属齿轮3-1H的轴孔中传动连接，所述第五金属齿轮3-1H与第六金属齿轮3-1I轮齿啮合，所述第六金属齿轮3-1I分别与第三金属轴3-1G和左眼珠3-2A固定连接，所述第三金属轴3-1G与第一眼球支架3-1J转动连接，所述第五舵机3-1S的输出轴嵌套在第十金属齿轮3-1T的轴孔中传动连接，所述第十金属齿轮3-1T与第九金属齿轮3-1R轮齿啮合，所述第九金属齿轮3-1R与右眼底座3-1K固定连接，所述右眼底座3-1K分别与第二舵机支架3-1L和第二眼球支架3-1M固定连接，所述第二舵机支架3-1L与第四舵机3-1N固定连接，所述第四舵机3-1N的输出轴嵌套在第七金属齿轮3-1O的轴孔中传动连接，所述第七金属齿轮3-1O与第八金属齿轮3-1P轮齿啮合，所述第八金属齿轮3-1P分别与第四金属轴3-1Q和右眼珠3-2B固定连接，所述第四金属轴3-1Q与第二眼球支架3-1M转动连接。
本实施方式中第二舵机3-1A为现有技术，生产厂家为深圳市育松达电子有限公司，型号为MG945。
本实施方式中第三舵机3-1F为现有技术，生产厂家为深圳市育松达电子有限公司，型号为MG90S。
本实施方式中第四舵机3-1N为现有技术，生产厂家为深圳市育松达电子有限公司，型号为MG90S。
本实施方式中第五舵机3-1S为现有技术，生产厂家为深圳市育松达电子有限公司，型号为MG945。
如图4-图8所示，所述控制系统4包括第一芯片和第二芯片，所述第一芯片与视觉模块1-1控制连接，其中第一芯片与第二芯片通过UART3串口进行通信，第一芯片与视觉模块1-1按SCCB总线通信协议连接，所述第一芯片的PD6、PD7引脚分别与视觉模块1-1的SCL、SDA引脚连接，用来传递参数给视觉模块1-1的控制寄存器；所述第一芯片的PC6、PC7、PC8、PC9、PC11、PB6、PE5、PE6引脚分别与视觉模块1-1的D0-D7引脚连接，用于视觉模块1-1传递经过DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PG9引脚与视觉模块1-1的PWDN引脚连接，用于第一芯片控制视觉模块1-1进入低功耗模式；所述第一芯片的PB7、PA4引脚分别与视觉模块1-1的VSYNC、HREF引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6引脚分别与视觉模块1-1的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PG15引脚与视觉模块1-1的RESET引脚连接，用于复位视觉模块1-1，第一芯片的PB10UART3_TX、PB11 UART3_RX引脚分别与第二芯片的PB11 UART3_RX、PB10UART3_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与第一舵机2-1A的OUT引脚连接，第二芯片的PA1引脚与第二舵机3-1A的OUT引脚连接，第二芯片的PA2引脚与第三舵机3-1F的OUT引脚连接，第二芯片的PA3引脚与第四舵机3-1N的OUT引脚连接，第二芯片的PA4引脚与第五舵机3-1S的OUT引脚连接，所述第二芯片的PA10、PA9引脚分别与语音模块1-3的TXD、RXD引脚连接。
第一芯片型号为STM32F407ZET6；第二芯片型号为STM32F103C8T6。
工作过程：
所述极地馆迎宾机器人眼部装置可以通过语音模块1-3播放语音实现迎宾，同时所述第一芯片控制视觉模块1-1实时检测参观者眼神特征，为了取悦参观者，所述极地馆迎宾机器人眼部装置可以模仿参观者的眼神特征，当眼神识别模型识别到参观者眼睑动作时，所述第二芯片控制第一舵机2-1A转动，通过眼睑传动机构2-1把动力传给眼睑构件2-2实现仿人睁眼和闭眼动作，所述第二芯片控制语音模块1-3播放与眼睑动作对应的语音，当眼神识别模型识别到参观者眼珠动作时，所述第二芯片控制第二舵机3-1A、第三舵机3-1F、第四舵机3-1N和第五舵机3-1S转动，通过眼珠传动机构3-1把动力传给眼珠构件3-2实现仿人眼球转动动作，所述第二芯片控制语音模块1-3播放与眼珠动作对应的语音，这样通过识别参观者的眼神特征，比如睁大眼睛、眼珠向左转，极地馆迎宾机器人按照人睁大眼睛、眼珠向左转的动作顺序模仿出参观者的眼神特征，并且语音模块1-3播放参观者眼神特征的语音，实现了极地馆迎宾机器人与参观者之间眼神方面的互动，提升了参观者游玩体验。
具体实施方式三
如图9、图10所示，一种基于所述具有眼神模仿功能的极地馆迎宾机器人眼部装置实现的控制方法，包括以下步骤：
步骤S1、视觉模块1-1OV2640采集视频信息；
步骤S2、使用Opencv启用haarcascade眼神分类器，识别出人眼；
步骤S3、识别出的人眼输入到经过训练的改进LBP卷积神经网络中进行眼神特征识别；
步骤S4、输出经过改进的LBP卷积神经网络分类后的眼神特征；
步骤S5、把眼神特征表示成ASCII码，通过UART3串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码，根据ASCII码值，对相应舵机进行眼神动作控制。
进一步地，所述步骤S3中改进的LBP卷积神经网络学习算法具体包括：
步骤S301、使用LBP算法对输入图像的流形面从高维降到低维，淡化了研究价值不大的平滑区域，同时降低了特征的维数，减少卷积神经网络对大量数据的运行时间；
步骤S302、基于LeNet-5的神经网络框架进行改进，卷积层的计算公式：
其中
为第l层的第j个特征图，
为卷积核函数，f(·)为激活函数，
为偏置函数；
步骤S303、为了减少特征图的空间分辨率，增加降采样层，降采样的计算过程：
其中down()为采样函数；
步骤S304、卷积神经网路使用随机梯度下降法计算神经元之间的突触权重，卷积层和全连接层突触的初始值计算公式：
其中Fin为输入的维度，Fout为输出的维度，W为突触的初始化值；
步骤S305、进行神经元网络中权值的更新，权值由t时刻到t+1时刻的更新过程：W(t+1)＝W(t)+ηδ(t)x(t)，其中η为学习速率，x(t)为神经元的输入，δ(t)为其误差项；
步骤S306、为了加快深层构架中的激活速度，采用非线性激励函数ReLu为神经元的激活函数，激活函数计算公式：ReLu(x)＝max(0,x)；
进一步地，通过第一芯片将上述训练的神经网络模型命名为eyesight.h5，通过load_model方法记录模型路径信息，通过eye_predict方法对参观者眼神进行分类，经过LBP卷积神经网络将眼神特征分为眼睑张开、眼睑闭合、眼珠向左转、眼珠向右转、眼珠向上转和眼珠向下转，分别用不同的ASCII码表示，通过UART3串口通信传输给第二芯片，第二芯片控制接收到ASCII码后，控制相应舵机动作，极地馆迎宾机器人模仿出参观者的眼神特征，同时语音模块触发与眼神特征对应的语音，实现人与极地馆迎宾机器人之间的互动。
Claims (6)
1.具有眼神模仿功能的极地馆迎宾机器人眼部装置，其特征在于，包括面部机构(1)、眼睑机构(2)、眼珠机构(3)和控制系统(4)；所述眼睑机构(2)和眼珠机构(3)设置于面部机构(1)表面；
所述眼睑机构(2)包括眼睑传动机构(2-1)和眼睑构件(2-2)；
所述眼珠机构(3)包括眼珠传动机构(3-1)和眼珠构件(3-2)；
所述控制系统(4)主要包括第一芯片和第二芯片；所述第一芯片与视觉模块(1-1)控制连接；第二芯片与语音模块(1-3)控制连接；其中第一芯片与第二芯片通过UART3串口进行通信。
2.根据权利要求1所述具有眼神模仿功能的极地馆迎宾机器人眼部装置，其特征在于，所述面部机构(1)包括视觉模块(1-1)、面部框架(1-2)、语音模块(1-3)；所述面部框架(1-2)包括面板(1-2A)、第一支撑板(1-2B)、第二支撑板(1-2C)；所述面板(1-2A)与第二支撑板(1-2C)垂直布置并固定连接，所述第二支撑板(1-2C)与第一支撑板(1-2B)垂直布置并固定连接，所述面板(1-2A)端面上加工有一对对称的圆形通孔，用于眼睑构件(2-2)和眼珠构件(3-2)的定位，所述面板(1-2A)端面脑门的位置加工有圆形通孔用于视觉模块(1-1)的定位，所述语音模块(1-3)布置在第二支撑板(1-2C)上端，所述眼睑机构(2)布置于面板(1-2A)的后端面上，所述眼珠机构(3)通过第一支撑板(1-2B)和第二支撑板(1-2C)固定。
3.根据权利要求1所述具有眼神模仿功能的极地馆迎宾机器人眼部装置，其特征在于，所述眼睑传动机构(2-1)包括第一舵机(2-1A)、第一带轮(2-1B)、皮带(2-1C)、第二带轮(2-1D)、第一金属轴(2-1E)、第二金属轴(2-1F)、第一金属齿轮(2-1G)、第二金属齿轮(2-1H)；所述眼睑构件(2-2)包括右上眼睑(2-2A)、右下眼睑(2-2B)、左上眼睑(2-2C)、左下眼睑(2-2D)，所述第一舵机(2-1A)的输出轴与第一带轮(2-1B)固定连接，所述第一带轮(2-1B)与第二带轮(2-1D)通过皮带(2-1C)传动连接，所述第二带轮(2-1D)分别与第一金属轴(2-1E)、第一金属齿轮(2-1G)、左上眼睑(2-2C)和右上眼睑(2-2A)固定连接，所述第一金属轴(2-1E)与面板(1-2A)转动连接，所述第一金属齿轮(2-1G)与第二金属齿轮(2-1H)轮齿啮合，所述第二金属齿轮(2-1H)分别与第二金属轴(2-1F)、右下眼睑(2-2B)和左下眼睑(2-2D)固定连接，所述第二金属轴(2-1F)与面板(1-2A)转动连接。
4.根据权利要求1所述具有眼神模仿功能的极地馆迎宾机器人眼部装置，其特征在于，所述眼珠传动机构包括第二舵机(3-1A)、第三金属齿轮(3-1B)、第四金属齿轮(3-1C)、左眼底座(3-1D)、第一舵机支架(3-1E)、第三舵机(3-1F)、第三金属轴(3-1G)、第五金属齿轮(3-1H)、第六金属齿轮(3-1I)、第一眼球支架(3-1J)、右眼底座(3-1K)、第二舵机支架(3-1L)、第二眼球支架(3-1M)、第四舵机(3-1N)、第七金属齿轮(3-1O)、第八金属齿轮(3-1P)、第四金属轴(3-1Q)、第九金属齿轮(3-1R)、第五舵机(3-1S)、第十金属齿轮(3-1T)；所述眼珠构件包括左眼珠(3-2A)、右眼珠(3-2B)，所述第二舵机(3-1A)的输出轴嵌套在第三金属齿轮(3-1B)的轴孔中传动连接，所述第三金属齿轮(3-1B)与第四金属齿轮(3-1C)轮齿啮合，所述第四金属齿轮(3-1C)与左眼底座(3-1D)固定连接，所述左眼底座(3-1D)分别与第一舵机支架(3-1E)和第一眼球支架(3-1J)固定连接，所述第一舵机支架(3-1E)与第三舵机(3-1F)固定连接，所述第三舵机(3-1F)的输出轴嵌套在第五金属齿轮(3-1H)的轴孔中传动连接，所述第五金属齿轮(3-1H)与第六金属齿轮(3-1I)轮齿啮合，所述第六金属齿轮(3-1I)分别与第三金属轴(3-1G)和左眼珠(3-2A)固定连接，所述第三金属轴(3-1G)与第一眼球支架(3-1J)转动连接，所述第五舵机(3-1S)的输出轴嵌套在第十金属齿轮(3-1T)的轴孔中传动连接，所述第十金属齿轮(3-1T)与第九金属齿轮(3-1R)轮齿啮合，所述第九金属齿轮(3-1R)与右眼底座(3-1K)固定连接，所述右眼底座(3-1K)分别与第二舵机支架(3-1L)和第二眼球支架(3-1M)固定连接，所述第二舵机支架(3-1L)与第四舵机(3-1N)固定连接，所述第四舵机(3-1N)的输出轴嵌套在第七金属齿轮(3-1O)的轴孔中传动连接，所述第七金属齿轮(3-1O)与第八金属齿轮(3-1P)轮齿啮合，所述第八金属齿轮(3-1P)分别与第四金属轴(3-1Q)和右眼珠(3-2B)固定连接，所述第四金属轴(3-1Q)与第二眼球支架(3-1M)转动连接。
5.根据权利要求1所述具有眼神模仿功能的极地馆迎宾机器人眼部装置，其特征在于，所述控制系统(4)包括第一芯片和第二芯片，所述第一芯片与视觉模块(1-1)控制连接，其中第一芯片与第二芯片通过UART3串口进行通信，第一芯片与视觉模块(1-1)按SCCB总线通信协议连接，所述第一芯片的PD6、PD7引脚分别与视觉模块(1-1)的SCL、SDA引脚连接，用来传递参数给视觉模块(1-1)的控制寄存器；所述第一芯片的PC6、PC7、PC8、PC9、PC11、PB6、PE5、PE6引脚分别与视觉模块(1-1)的D0-D7引脚连接，用于视觉模块(1-1)传递经过DSP处理单元处理转换以后的数据给第一芯片；所述第一芯片的PG9引脚与视觉模块(1-1)的PWDN引脚连接，用于第一芯片控制视觉模块(1-1)进入低功耗模式；所述第一芯片的PB7、PA4引脚分别与视觉模块(1-1)的VSYNC、HREF引脚连接，用于帧信号同步、行中断信号控制；所述第一芯片的PA8、PA6引脚分别与视觉模块(1-1)的XCLK、PCLK引脚连接，用于时钟信号的同步；所述第一芯片的PG15引脚与视觉模块(1-1)的RESET引脚连接，用于复位视觉模块(1-1)，第一芯片的PB10UART3_TX、PB11 UART3_RX引脚分别与第二芯片的PB11 UART3_RX、PB10UART3_TX交叉连接，用于第一芯片与第二芯片之间的数据传输；所述第二芯片的PA0引脚与第一舵机(2-1A)的OUT引脚连接，第二芯片的PA1引脚与第二舵机(3-1A)的OUT引脚连接，第二芯片的PA2引脚与第三舵机(3-1F)的OUT引脚连接，第二芯片的PA3引脚与第四舵机(3-1N)的OUT引脚连接，第二芯片的PA4引脚与第五舵机(3-1S)的OUT引脚连接，所述第二芯片的PA10、PA9引脚分别与语音模块(1-3)的TXD、RXD引脚连接。
6.一种基于权利要求1至5任一所述具有眼神模仿功能的极地馆迎宾机器人眼部装置实现的控制方法，其特征在于，包括以下步骤：
步骤S1、视觉模块(1-1)OV2640采集视频信息；
步骤S2、使用Opencv启用haarcascade眼神分类器，识别出人眼；
步骤S3、识别出的人眼输入到经过训练的改进LBP卷积神经网络中进行眼神特征识别；
步骤S4、输出经过改进的LBP卷积神经网络分类后的眼神特征；
步骤S5、把眼神特征表示成ASCII码，通过UART3串口通信传输给第二芯片；
步骤S6、第二芯片控制接收到ASCII码，根据ASCII码值，对相应舵机进行眼神动作控制。进一步地，所述步骤S3中改进的LBP卷积神经网络学习算法具体包括：
步骤S301、使用LBP算法对输入图像的流形面从高维降到低维，淡化了研究价值不大的平滑区域，同时降低了特征的维数，减少卷积神经网络对大量数据的运行时间；
步骤S302、基于LeNet-5的神经网络框架进行改进，卷积层的计算公式：
其中
为第l层的第j个特征图，
为卷积核函数，f(·)为激活函数，
为偏置函数；
步骤S303、为了减少特征图的空间分辨率，增加降采样层，降采样的计算过程：
其中down()为采样函数；
步骤S304、卷积神经网路使用随机梯度下降法计算神经元之间的突触权重，卷积层和全连接层突触的初始值计算公式：
其中Fin为输入的维度，Fout为输出的维度，W为突触的初始化值；
步骤S305、进行神经元网络中权值的更新，权值由t时刻到t+1时刻的更新过程：
W(t+1)＝W(t)+ηδ(t)x(t)，其中η为学习速率，x(t)为神经元的输入，δ(t)为其误差项；
步骤S306、为了加快深层构架中的激活速度，采用非线性激励函数ReLu为神经元的激活函数，激活函数计算公式：ReLu(x)＝max(0,x)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300342.5A CN113043292A (zh) | 2021-03-22 | 2021-03-22 | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300342.5A CN113043292A (zh) | 2021-03-22 | 2021-03-22 | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113043292A true CN113043292A (zh) | 2021-06-29 |
Family
ID=76514242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110300342.5A Pending CN113043292A (zh) | 2021-03-22 | 2021-03-22 | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113043292A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113858224A (zh) * | 2021-09-18 | 2021-12-31 | 天津津创启航教育科技有限公司 | 智能迎宾机器人 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203344065U (zh) * | 2013-07-24 | 2013-12-18 | 蔡继文 | 仿人机器头 |
| CN108044635A (zh) * | 2017-12-26 | 2018-05-18 | 杭州欢乐飞机器人科技股份有限公司 | 一种带头部表情的轮腿机器人 |
| CN108573219A (zh) * | 2018-03-27 | 2018-09-25 | 上海电力学院 | 一种基于深度卷积神经网络的眼睑关键点精确定位方法 |
| CN108921123A (zh) * | 2018-07-17 | 2018-11-30 | 重庆科技学院 | 一种基于双重数据增强的人脸识别方法 |
| US20190015758A1 (en) * | 2017-07-14 | 2019-01-17 | Panasonic Intellectual Property Management Co., Ltd. | Robot |
| CN109877806A (zh) * | 2019-03-05 | 2019-06-14 | 哈尔滨理工大学 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
| CN210836772U (zh) * | 2019-05-09 | 2020-06-23 | 上海弘联医学科技集团有限公司 | 一种模拟人眼仿真眼睛机构装置 |
| CN111587408A (zh) * | 2018-01-12 | 2020-08-25 | 华为技术有限公司 | 机器人导航和对象跟踪 |
-
2021
- 2021-03-22 CN CN202110300342.5A patent/CN113043292A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203344065U (zh) * | 2013-07-24 | 2013-12-18 | 蔡继文 | 仿人机器头 |
| US20190015758A1 (en) * | 2017-07-14 | 2019-01-17 | Panasonic Intellectual Property Management Co., Ltd. | Robot |
| CN108044635A (zh) * | 2017-12-26 | 2018-05-18 | 杭州欢乐飞机器人科技股份有限公司 | 一种带头部表情的轮腿机器人 |
| CN111587408A (zh) * | 2018-01-12 | 2020-08-25 | 华为技术有限公司 | 机器人导航和对象跟踪 |
| CN108573219A (zh) * | 2018-03-27 | 2018-09-25 | 上海电力学院 | 一种基于深度卷积神经网络的眼睑关键点精确定位方法 |
| CN108921123A (zh) * | 2018-07-17 | 2018-11-30 | 重庆科技学院 | 一种基于双重数据增强的人脸识别方法 |
| CN109877806A (zh) * | 2019-03-05 | 2019-06-14 | 哈尔滨理工大学 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
| CN210836772U (zh) * | 2019-05-09 | 2020-06-23 | 上海弘联医学科技集团有限公司 | 一种模拟人眼仿真眼睛机构装置 |
Non-Patent Citations (5)
| Title |
|---|
| 张猛: "基于改进的LeNet-5卷积神经网络交通标志的识别", 《东北师大学报(自然科学版)》 * |
| 杨杰: "《人工智能基础》", 31 May 2020 * |
| 楚天玥: "基于LeNet-5模型和门卷积神经网络的信用评分模型实证研究", 《中国优秀博硕士论文集》 * |
| 王鹏: "基于眼动跟踪的智能家居控制器", 《电机与控制学报》 * |
| 罗鹏: "基于面部识别的迎宾机器人拟人表情再现控制研究", 《中国优秀博硕士论文集》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113858224A (zh) * | 2021-09-18 | 2021-12-31 | 天津津创启航教育科技有限公司 | 智能迎宾机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104102412B (zh) | 一种基于增强现实技术的手持式阅览设备及其方法 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| CN107030691B (zh) | 一种看护机器人的数据处理方法及装置 | |
| CN105344101B (zh) | 一种画面与机械运动同步的模拟赛车装置及模拟方法 | |
| CN111091824A (zh) | 一种语音匹配方法及相关设备 | |
| CN103731583B (zh) | 用于拍照智能化合成、打印处理方法 | |
| CN109308731A (zh) | 级联卷积lstm的语音驱动唇形同步人脸视频合成算法 | |
| CN110413841A (zh) | 多态交互方法、装置、系统、电子设备及存储介质 | |
| CN111833418A (zh) | 动画交互方法、装置、设备以及存储介质 | |
| CN108919950A (zh) | 基于Kinect的孤独症儿童互动影像装置及方法 | |
| US20090237492A1 (en) | Enhanced stereoscopic immersive video recording and viewing | |
| CN107030717A (zh) | 一种儿童智能教育机器人 | |
| KR20190014108A (ko) | 증강 및 가상 현실을 위한 시스템 및 방법 | |
| CN204706208U (zh) | 智能儿童教育机器人 | |
| WO2023155675A1 (zh) | 一种虚拟数字世界的体验系统 | |
| WO2023284435A1 (zh) | 生成动画的方法及装置 | |
| CN110211222B (zh) | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 | |
| WO2021203880A1 (zh) | 一种语音增强方法、训练神经网络的方法以及相关设备 | |
| CN207694259U (zh) | 一种多功能智能玩具小车系统 | |
| CN109857262A (zh) | 一种智能交流装置及智能交流装置系统及交流方法 | |
| CN113043292A (zh) | 具有眼神模仿功能的极地馆迎宾机器人眼部装置及控制 | |
| CN112259218A (zh) | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 | |
| CN108073112A (zh) | 一种具有角色扮演的智能服务型机器人 | |
| JP2874858B2 (ja) | 対話型映画システム | |
| CN109240510B (zh) | 基于视线追踪的增强现实人机交互设备及控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210629 |