CN205644294U - 一种能够对人脸进行实时跟踪的智能机器人系统 - Google Patents

Abstract

本实用新型公开了一种能够对人脸进行实时跟踪的智能机器人系统，利用人脸在检测图像中的位置信息构建反馈的闭环控制系统来对人机交互过程中的人脸进行跟踪，该系统包括：摄像头；第一处理器，接收多模态输入指令，并根据所述多模态输入指令调用摄像头得到检测图像；基于所述检测图像中人脸的位置信息与预设的人脸的位置向第二处理器发送调节指令；第二处理器，与所述第一处理器进行通信，用于根据所述调节指令获取控制指令以控制执行装置动作，并同时输出与所述多模态输入指令对应的多模态输出；执行装置，与所述第二处理器相连接，基于所述控制指令驱动机器人运动。该系统能够降低系统成本，实现对人脸的实时的连续的跟踪，提高人机交互体验。

Description

一种能够对人脸进行实时跟踪的智能机器人系统

技术领域

本实用新型涉及智能机器人领域，尤其涉及一种能够对人脸进行实时跟踪的智能机器人系统。

背景技术

随着机器人技术的发展，智能机器人产品已经越来越多地深入到人们生活的各个方面。机器人不只用来帮助使用者高效地完成指定的工作，更被设计为能够与使用者进行语言、动作以及情感的交互的伙伴。

人与人的交互过程中一种常用的方式是面对面交流，因为这样更便于理解交互方的意图，回应交互方的情感表达。同样地，在智能机器人领域，人脸作为一种重要的视觉图像，可以传递使用者的年龄、性别、身份以及大部分情感与情绪信息等。因此，在人机交互过程中，智能机器人通过对人脸的定位与跟踪，能够更加有效地对人脸信息进行采集与分析，并更准确地获知使用者的意图，提高人机交互体验。

现有技术中的人脸定位跟踪主要以图像处理技术为基础进行建模分析，并结合一定的跟踪算法来实现。而所采用的建模的方法以及跟踪算法一般需要经过复杂的计算，会占用大量的系统资源，导致系统成本升高，且难以实现对人脸的实时的连续跟踪。

综上，亟需一种新的对人脸进行跟踪的系统以解决上述问题。

实用新型内容

本实用新型所要解决的技术问题之一是需要提供一种新的对人脸进行跟踪的系统。

为了解决上述技术问题，本申请的实施例提供了一种能够对人脸进行实时跟踪的智能机器人系统，包括摄像头，用于采集包含人脸的检测图像；第一处理器，设置于安卓板上且与所述摄像头相连接，接收多模态输入指令，并根据所述多模态输入指令调用摄像头得到检测图像；基于所述检测图像中人脸的位置信息与预设的人脸的位置向第二处理器发送调节指令，且当人脸在检测图像中的位置与预设的人脸的位置不一致时，再次调用所述摄像头以获取检测图像中人脸的位置信息，并基于所述位置信息与预设的人脸的位置向第二处理器发送调节指令直至人脸在检测图像中的位置与预设的人脸的位置一致；第二处理器，设置于主控板上且与所述第一处理器进行通信，用于根据所述调节指令获取控制指令以控制执行装置动作，并同时输出与所述多模态输入指令对应的多模态输出；执行装置，与所述第二处理器相连接，基于所述控制指令驱动机器人运动。

优选地，在所述安卓板上设置有数据发送电路，在所述主控板上设置有数据接收电路，当人脸在检测图像中的位置与预设的人脸的位置不一致时，所述第一处理器基于预设的通信协议经由所述数据发送电路向所述数据接收电路发送方向调节指令；所述第二处理器经由所述数据接收电路接收方向调节指令，并基于预设的通信协议对所述方向调节指令进行处理，得到用于控制执行装置动作的控制指令。

优选地，当人脸在检测图像中的位置与预设的人脸的位置一致时，所述第一处理器基于预设的通信协议经由所述数据发送电路向所述数据接收电路发送停止调节指令；所述第二处理器经由所述数据接收电路接收停止调节指令，并基于预设的通信协议对所述停止调节指令进行处理，停止所述执行装置的动作。

优选地，在所述安卓板上设置有人脸识别模块，其识别所述检测图像中的人脸并确定待跟踪的人脸；定位解析模块，其接收所述人脸识别模块的待跟踪的人脸的信息，并以预设的人脸的位置为坐标原点建立直角坐标系，确定所述待跟踪的人脸在所述直角坐标系中的位置。

优选地，所述第一处理器接收所述定位解析模块确定的人脸的位置信息，且当所述待跟踪的人脸位于所述直角坐标系的坐标原点时，判断人脸在检测图像中的位置与预设的人脸的位置一致，否则判断人脸在检测图像中的位置与预设的人脸的位置不一致。

优选地，在所述安卓板上设置有存储单元，在所述安卓板上设置有存储单元，当所述人脸识别模块首次识别所述检测图像中的人脸并确定待跟踪的人脸后将所述待跟踪的人脸的特征信息存储于所述存储单元中。

优选地，当所述人脸识别模块识别得到的所述检测图像中的人脸的特征信息与存储于所述存储单元中的所述待跟踪的人脸的特征信息不同时，所述第一处理器基于预设的通信协议向所述第二处理器发送暂停调节指令，所述第二处理器使机器人暂停运动，并同时输出预设的多模态交互信息。

优选地，在所述主控板上设置有电机驱动控制电路及舵机输出接口电路，分别用于根据控制指令驱动直流电机与舵机。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过利用人脸在检测图像中的位置信息构建反馈的闭环控制系统来对人机交互过程中的人脸进行跟踪，可以显著地降低系统成本，并能够实现对人脸的实时的连续的跟踪，提高了人机交互体验。

本实用新型的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本实用新型的实践中得到教导。本实用新型的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明一实施例的用于智能机器人系统实时跟踪人脸的方法的流程示意图；

图2为根据本发明一实施例的能够对人脸进行实时跟踪的智能机器人系统的结构示意图；

图3a为根据本发明一实施例的获取人脸的位置信息的示意图，图3b为根据本发明一实施例的确定方向调节指令的示意图；

图4为根据本发明另一实施例的用于智能机器人系统实时跟踪人脸的方法的流程示意图；

图5a-图5b为根据本发明又一实施例的能够对人脸进行实时跟踪的智能机器人系统的电路结构示意图，其中，图5a为以第二处理器为中心的主控电路结构示意图，图5b为主控板上的电源管理模块的电路结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本实用新型的实施方式，借此对本实用新型如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本实用新型的保护范围之内。

对于智能机器人系统来说，其表情信息的输入主要是基于对摄像头所采集的图像的识别来获取的，因此为了准确地确定表情输入指令，需要完整清晰地拍摄到人脸，这就要求智能机器人系统在与使用者的交互过程中能够对人脸进行实时地跟踪。但同时机器人系统的人脸跟踪要求不同于精确的伺服系统，被拍摄的对象只需要稳定且完整地位于机器人的摄像头的拍摄范围内，就能够有效地对人脸信息进行采集与分析。所以，本实用新型提出一种利用人脸在图像中的位置形成的闭环控制方案来实现人脸跟踪的系统，其平衡了对人脸跟踪的精度以及实时性的双方面要求。下面结合具体的实施例进行详细说明。

实施例一：

图1为根据本发明一实施例的用于智能机器人系统实时跟踪人脸的方法的流程示意图，图2为根据本发明一实施例的能够对人脸进行实时跟踪的智能机器人系统的结构示意图。从图2可以看出，该智能机器人系统20主要包括摄像头21、安卓板22、主控板23以及执行装置24。

进一步如图2所示，在安卓板22上主要设置有第一处理器221以及与该第一处理器相连接的数据发送电路222和存储单元223，与存储单元223相连接的人脸识别模块224以及同时与人脸识别模块224和第一处理器221相连接的定位解析模块225。在主控板23上主要设置有第二处理器231、与该第二处理器231相连接的数据接收电路232、电机驱动控制电路233以及舵机输出接口电路234。其中，摄像头21通过第一处理器221的移动产业处理器接口MIPI与安卓板22相连接，安卓板22与主控板23通过数据发送电路222与数据接收电路232通信连接，主控板23还连接执行装置24，向电机和舵机发送驱动控制信号。

摄像头21是机器人系统用来采集视频、图像等多模态输入信息的传感元件。摄像头一般由CCD或CMOS工艺制成，其利用矽感光二极体进行光与点的转换，可以将采集到的光影像信息转换为电子数字信号。摄像头21的拍摄范围一般具有一定的限制，当被拍摄的目标位于摄像头21的拍摄范围以外时就无法采集到完整清晰的图像信息，进而影响对图像信息的识别及处理。

本实施例的实时跟踪人脸的方法由多模态输入指令触发执行，如图1的步骤S110所示。即当机器人系统接收到使用者发出的多模态输入指令时，便调用摄像头以得到包含人脸的检测图像开始对人脸进行跟踪。本实施例中对能够触发人脸跟踪的多模态输入指令不做限定，任何可以被机器人系统识别为有效输入信息的多模态输入指令均可触发人脸跟踪，例如语音输入、动作输入、包含特定表情的表情输入中的一种或几种。也就是说，当机器人系统判断上述多模态输入指令属于一个有效的人机交互过程就开始在交互过程中对人脸进行跟踪，这符合人与人之间的交互的实际情况，有利于提升交互体验。摄像头21对采集到的图像进行简单的预处理后，将处理后的图像数据存储于设置于安卓板22上的存储单元223中。

人脸识别模块224从存储单元223中读取检测图像的数据信息，做进一步处理，从中获取检测图像中人脸的位置信息。具体的，人脸识别模块224首先基于人脸识别方法识别出检测图像中所包含的人脸信息，并确定待跟踪的人脸。需要注意的是，本实施例中对所采用的人脸识别方法不做限定，可以采用现有技术中成熟通用的识别方法。在确定了待跟踪的人脸后，定位解析模块225进一步对待跟踪的人脸在检测图像中的位置进行解析以获取其位置信息。在本实施例中，以预设的人脸的位置解析获取待跟踪的人脸的相对位置信息。

具体的，先以预设的人脸的位置作为坐标原点建立直角坐标系，再确定待跟踪的人脸在上述直角坐标系中的位置。定位解析模块225将确定的人脸的位置信息发送至第一处理器221进行下一步处理。其中，预设的人脸的位置可以选取位于摄像头21拍摄范围内的，便于获取完整清晰的检测图像的优选位置，例如将检测图像的中心位置选取为预设的人脸的位置。

如图3a所示，当待跟踪的人脸位于像素区块A处时，其在直角坐标系中的位置信息被确定并记录为第二象限。当待跟踪的人脸位于像素区块B处时，其在直角坐标系中的位置信息被确定并记录为纵轴。当待跟踪的人脸位于直角坐标系的坐标原点时，可以判断人脸在检测图像中的位置与预设的人脸的位置一致。

进一步地，当待跟踪的人脸位于直角坐标系中除坐标原点以外的其他位置时，可以判断人脸在检测图像中的位置与预设的人脸的位置不一致，需要使人脸的位置向着坐标原点移动。如图3b所示，当待跟踪的人脸位于像素区块A处时，使其向下且向右移动。当待跟踪的人脸位于像素区块B处时，使其沿着纵轴向上移动。可以看出，在本实施例的方法中，仅以待跟踪的人脸在直角坐标系中的所属区域进行判断，不需要精确地计算出人脸在检测图像中的位置坐标，也不需要计算移动的距离，根据人脸在直角坐标系中的所属区域给出移动的方向即可。这样就能使检测图像中的人脸向着预设的人脸的位置移动，达到对人脸进行跟踪的目的，简化了跟踪算法。

当待跟踪的人脸在检测图像中的位置与预设的人脸的位置不一致时，第一处理器221根据上述调节过程确定方向调节指令，并基于预设的通信协议将方向调节指令封装为规定的格式交与数据发送电路222。由于方向调节指令中仅包含类似于向上、向下、向左、向右等方向指示信息，因此通信协议简单，便于传输，有利于实现实时连续跟踪。

数据发送电路222将得到的具有特定格式的方向调节指令发送给设置于主控板23上的数据接收电路232，数据发送电路222与数据接收电路232基于预设的通信协议进行通信。第二处理器231经由数据接收电路232获取方向调节指令，并根据预设的通信协议对方向调节指令进行处理，得到用于控制机器人运动的控制指令。

控制指令中包括控制机器人运动的若干指令，例如可以包括控制机器人行走的电机驱动指令及控制摄像头转动的舵机驱动指令。第二处理器231分别将其传输至电机驱动控制电路233以及舵机输出接口电路234进行执行。由于方向调节指令中仅包含方向信息，不包含确定的移动距离，因此在进行电机和舵机的驱动时，电机驱动控制电路233基于预设的步长沿方向调节指令中指定的方向移动机器人，舵机输出接口电路234基于预设的角度沿方向调节指令中指定的方向转动摄像头。

当以预设的步长以及预设的角度进行调节时，一般不能通过一次调节就达到预设位置，因此，再次采集包含人脸的检测图像、获取检测图像中人脸的位置信息以及基于新的检测图像中人脸的位置信息与预设的人脸的位置进行判断，并得出新的方向调节指令和控制指令控制机器人运动。多次重复上述过程，就可以使人脸的位置逐渐接近预设的人脸的位置。

当人脸在检测图像中的位置与预设的人脸的位置一致时，第一处理器221基于预设的通信协议向第二处理器231发送停止调节指令，第二处理器231基于预设的通信协议对停止调节指令进行处理，使机器人停止运动。上述过程仍然通过数据发送电路222与数据接收电路232之间的通信完成指令的传输，可以参照方向调节指令的传输过程，不再赘述。

本实施例的人脸跟踪方法，不需要重建三维模型，而是利用人脸在二维的检测图像中的位置信息形成闭环控制方案，方向调节指令的获取与控制指令的执行分别由上位机和下位机同步处理，计算量显著降低，节约了硬件成本，且实时性好，可以实现对人脸的连续跟踪。

需要注意的是，本实施例中的机器人系统在对人脸进行跟踪的同时还输出与接收到的多模态输入指令相对应的多模态输出。也就是说，本实施例的人脸跟踪方法不会干扰机器人系统正常的多模态输出。举例而言，如果使用者的多模态输入指令要求机器人系统为其拍照，那么此时摄像头会将采集的新的一帧图像信息同时用于人脸跟踪过程的人脸识别以及用于显示，向使用者输出。再如，如果使用者的多模态输入指令是要求机器人移动到指定的位置处，那么此时控制机器人行走的电机的电机驱动控制电路233会综合方向调节指令以及多模态输入指令的信息确定电机的控制量。

实施例二：

图4为根据本发明另一实施例的用于智能机器人系统实时跟踪人脸的方法的流程示意图。结合图2和图4，首先根据接收到的多模态输入指令调用摄像头21以得到包含人脸的检测图像，并将预处理后的图像数据存储于设置于安卓板22上的存储单元223中，该步骤与实施例一中对应步骤相同，不再赘述。然后人脸识别模块224从存储单元223中读取图像数据，并对检测图像中的人脸信息进行识别。

实际中，在摄像头21所采集的检测图像中可能存在不只一个人脸信息，因此在本实施例中先对检测图像中所包含的人脸的个数进行判断，若检测图像中只包含一个人脸，则将该人脸确定为待跟踪的人脸。若检测图像中包含多个人脸，则人脸识别模块224会根据预设的选取原则确定待跟踪的人脸。举例而言，在选取时可以结合检测图像中不同的人脸所占有的像素区块的数量来确定待跟踪的人脸。也可以结合其他的多模态输入信息进行选取，例如根据是否有跟人脸对应的动作输入指令来确定待跟踪的人脸。本实施例中对上述选取方法不做限定。

在确定了待跟踪的人脸后，依次由定位解析模块225对人脸位置进行解析以及由第一处理器221对人脸的位置进行判断，当第一处理器221检测到人脸在检测图像中的位置与预设的人脸的位置不一致时，通过安卓板22与主控板23之间的通信将方向调节指令传送给第二处理器231，第二处理器231基于方向调节指令控制机器人运动，同时返回步骤S440进入循环过程，直至人脸在检测图像中的位置与预设的人脸的位置一致时退出循环，结束人脸的跟踪过程。以上关于人脸识别、人脸的位置解析、指令通信以及基于方向调节指令控制机器人运动的具体方式与实施例一相同，不再赘述。

进一步地，在本实施例中，在人脸识别模块224首次识别得出检测图像中的人脸并确定待跟踪的人脸后，还将待跟踪的人脸的特征信息存储于存储单元223中。在首次之后的多次重复调用摄像头采集新的检测图像并对图像进行识别的过程中，先根据存储的待跟踪的人脸的特征信息判断新的检测图像中是否包含待跟踪的人脸，即先通过步骤S460进行判断，如图4所示。若包含则继续对该待跟踪的人脸进行跟踪，若不包含，即当识别得到的检测图像中不存在与存储的待跟踪的人脸的特征信息相同的人脸时，第一处理器221将基于预设的通信协议向第二处理器231发送暂停调节指令，第二处理器231控制机器人暂停运动。同时第二处理器231会根据预设的多模态输出指令输出交互信息，引导使用者对接下来的处理方式进行选择。

举例而言，当识别得到的检测图像中的人脸的特征信息与存储的待跟踪的人脸的特征信息不同时，机器人会发出“超出跟踪范围”的语音提示信息，或是使指示灯闪烁进行提示。而使用者此时可以基于机器人发出的提示信息与其进行交互来决定是否继续进行人脸跟踪，比如，使用者可以通过语音输入指令“不用继续跟踪了”结束人脸跟踪的过程，机器人在识别该语音输入指令后会直接退出人脸跟踪程序的执行。或是使用者主动回到机器人的摄像头的拍摄的范围内，机器人恢复人脸跟踪程序的执行。

本实施例的人脸跟踪方法，在采集到包含多个人脸的检测图像后，能够结合多模态输入指令及预设的规则确定待跟踪的人脸，且能在跟踪中断后通过与使用者的交互对程序的执行进行处理，提高了使用者与机器人之间的交互体验。

实施例三：

图5a-图5b为根据本发明又一实施例的能够对人脸进行实时跟踪的智能机器人系统的电路结构示意图，其中，图5a为以第二处理器为中心的主控电路结构示意图，图5b为主控板上的电源管理模块的电路结构示意图。

如图5a所示，本实施例中采用STM32作为主控芯片，STM32是一款基于32位Cortex-M内核的微控制器，其面向各类注重高性能、低成本、低功耗的嵌入式领域。

STM32以引脚PA6和PA7作为连接电机驱动控制电路233的接口，将根据控制指令生成的PWM波形传送至电机驱动控制电路233，主要对控制机器人行走的电机进行速度调控。STM32以内部定时器输出引脚作为舵机接口，将根据控制指令生成的PWM波形传送至舵机输出接口电路234，控制摄像头的旋转。

STM32以引脚PA9和PA10作为通用串行通信接口，连接数据接收电路232进行串行通信，基于预设的串口通信协议，接收上位机发送的方向调节指令、停止调节指令或暂停调节指令。STM32还开放SWD程序下载接口，可以方便地对系统进行调试。

在主控板23上设置有电源管理模块，如图5b所示，电源管理模块能够产生稳定的5V和3.3V的电压。在主控板23上还设置有晶振电路、复位电路、电源指示电路等辅助电路模块，均可采用通用设计实现，不再赘述。

第一处理器221采用的是全志A20移动应用处理器，A20基于ARMCortex-A7和Mali400mp2GPU架构，支持2160像素的视频解码，且兼容H.264编解码标准，适用于视频图像的处理。在本实施例中，利用第一处理器A20完成对人脸的识别和人脸位置的解析。

本实施例的能够对人脸进行实时跟踪的智能机器人系统的电路结构简单，无需采用高性能的DSP来实现复杂的算法，成本低廉。

虽然本实用新型所揭露的实施方式如上，但所述的内容只是为了便于理解本实用新型而采用的实施方式，并非用以限定本实用新型。任何本实用新型所属技术领域内的技术人员，在不脱离本实用新型所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本实用新型的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种能够对人脸进行实时跟踪的智能机器人系统，包括：

摄像头，用于采集包含人脸的检测图像；

第一处理器，设置于安卓板上且与所述摄像头相连接，接收多模态输入指令，并根据所述多模态输入指令调用摄像头得到检测图像；基于所述检测图像中人脸的位置信息与预设的人脸的位置向第二处理器发送调节指令，且当人脸在检测图像中的位置与预设的人脸的位置不一致时，再次调用所述摄像头以获取检测图像中人脸的位置信息，并基于所述位置信息与预设的人脸的位置向第二处理器发送调节指令直至人脸在检测图像中的位置与预设的人脸的位置一致；

第二处理器，设置于主控板上且与所述第一处理器进行通信，用于根据所述调节指令获取控制指令以控制执行装置动作，并同时输出与所述多模态输入指令对应的多模态输出；

执行装置，与所述第二处理器相连接，基于所述控制指令驱动机器人运动。

2.根据权利要求1所述的系统，其特征在于，在所述安卓板上设置有数据发送电路，在所述主控板上设置有数据接收电路，当人脸在检测图像中的位置与预设的人脸的位置不一致时，

所述第一处理器基于预设的通信协议经由所述数据发送电路向所述数据接收电路发送方向调节指令；

所述第二处理器经由所述数据接收电路接收方向调节指令，并基于预设的通信协议对所述方向调节指令进行处理，得到用于控制执行装置动作的控制指令。

3.根据权利要求2所述的系统，其特征在于，当人脸在检测图像中的位置与预设的人脸的位置一致时，

所述第一处理器基于预设的通信协议经由所述数据发送电路向所述数据接收电路发送停止调节指令；

所述第二处理器经由所述数据接收电路接收停止调节指令，并基于预设的通信协议对所述停止调节指令进行处理，停止所述执行装置的动作。

4.根据权利要求2或3所述的系统，其特征在于，在所述安卓板上设置有：

人脸识别模块，其识别所述检测图像中的人脸并确定待跟踪的人脸；

定位解析模块，其接收所述人脸识别模块的待跟踪的人脸的信息，并以预设的人脸的位置为坐标原点建立直角坐标系，确定所述待跟踪的人脸在所述直角坐标系中的位置。

5.根据权利要求4所述的系统，其特征在于，所述第一处理器接收所述定位解析模块确定的人脸的位置信息，且当所述待跟踪的人脸位于所述直角坐标系的坐标原点时，判断人脸在检测图像中的位置与预设的人脸的位置一致，否则判断人脸在检测图像中的位置与预设的人脸的位置不一致。

6.根据权利要求4所述的系统，其特征在于，在所述安卓板上设置有存储单元，当所述人脸识别模块首次识别所述检测图像中的人脸并确定待跟踪的人脸后将所述待跟踪的人脸的特征信息存储于所述存储单元中。

7.根据权利要求6所述的系统，其特征在于，当所述人脸识别模块识别得到的所述检测图像中的人脸的特征信息与存储于所述存储单元中的所述待跟踪的人脸的特征信息不同时，所述第一处理器基于预设的通信协议向所述第二处理器发送暂停调节指令，所述第二处理器使机器人暂停运动，并同时输出预设的多模态交互信息。

8.根据权利要求1所述的系统，其特征在于，在所述主控板上设置有电机驱动控制电路及舵机输出接口电路，分别用于根据控制指令驱动直流电机与舵机。