CN108177146A - 机器人头部的控制方法、装置及计算设备 - Google Patents

Abstract

本发明公开了一种机器人头部的控制方法、装置及计算设备，其中，方法包括：获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息；当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；根据旋转信息控制机器人头部进行旋转。该方式能够根据图像帧中包含的面部关键区域的位置信息控制机器人头部进行旋转，使得机器人头部能够始终与人脸相对，达到了机器人头部跟随人脸的效果。

Description

机器人头部的控制方法、装置及计算设备

技术领域

本发明涉及机器人控制技术领域，具体涉及一种机器人头部的控制方法、装置及计算设备。

背景技术

机器人是自动执行工作的机器装置，随着机器人技术以及人工智能技术的飞速发展，它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，它能够协助或取代人类的工作。例如，送餐机器人或咨询机器人能够为用户提供相应的服务，并且，在服务过程中，机器人能够与用户进行人机对话，以回答用户提出的问题，与用户实现人机交互。

但是，发明人在实现本发明的过程中发现：现有的机器人在与用户进行人机对话时，机器人的头部一直处于目视前方的状态，即使用户移动到机器人的侧方，机器人的头部也无法跟随用户的移动而转动。然而，通常情况下，用户更希望谈话对象能够始终面朝自己，因此，始终目视前方的机器人显然无法满足用户更高层次的需求，无法更好地模拟真实的人物对话场景，从而导致用户体验较差。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器人头部的控制方法、装置及计算设备。

根据本发明的一个方面，提供了一种机器人头部的控制方法，包括：获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测所述待处理的图像帧中包含的面部关键区域，确定所述面部关键区域在所述待处理的图像帧中的位置信息；当确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则时，计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息；根据所述旋转信息控制所述机器人头部进行旋转。

可选地，所述确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则的步骤具体包括：

确定所述待处理的图像帧中包含的视线中心区域，将所述视线中心区域在所述待处理的图像帧中的位置信息确定为第一位置信息；

将所述面部关键区域在所述待处理的图像帧中的位置信息确定为第二位置信息；

计算所述第二位置信息与所述第一位置信息之间的距离，当所述距离大于预设阈值时，确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则。

可选地，所述确定所述待处理的图像帧中包含的视线中心区域的步骤具体包括：

根据所述图像采集设备的设备参数和/或所述图像采集设备的设置位置，确定所述待处理的图像帧中包含的视线中心区域。

可选地，所述计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息的步骤具体包括：

根据所述第二位置信息与所述第一位置信息之间的距离确定旋转角度，根据所述第二位置信息相对于所述第一位置信息的方位确定旋转方向，根据所述旋转角度以及旋转方向确定所述旋转信息。

可选地，所述检测所述待处理的图像帧中包含的面部关键区域的步骤具体包括：

当检测出所述待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

可选地，所述关键区域选取规则包括：

根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。

可选地，所述检测所述待处理的图像帧中包含的面部关键区域的步骤具体包括：

根据所述待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定所述待处理的图像帧中的面部关键区域；

其中，N为大于或等于1的自然数。

可选地，所述通过跟踪算法确定所述待处理的图像帧中的面部关键区域的步骤之后，进一步包括步骤：

根据所述待处理的图像帧中的面部关键区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；

根据预测得到的面部关键点，对所述待处理的图像帧中的面部关键区域进行修正。

可选地，所述面部关键区域在所述待处理的图像帧中的位置信息根据预测得到的面部关键点中包含的第一眼部特征点和/或第二眼部特征点确定；或者，

所述面部关键区域在所述待处理的图像帧中的位置信息根据所述面部关键区域的区域中心位置确定。

可选地，所述获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧的步骤具体包括：

实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

可选地，所述根据所述旋转信息控制所述机器人头部进行旋转的步骤具体包括：

根据所述旋转信息生成头部控制指令，将所述头部控制指令发送给与所述机器人头部相连的头部旋转部件，以供所述头部旋转部件根据所述头部控制指令对所述机器人头部进行旋转；其中，所述头部旋转部件包括舵机。

根据本发明的另一方面，提供了一种机器人头部的控制装置，包括：获取模块，适于获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测模块，适于检测所述待处理的图像帧中包含的面部关键区域；位置信息确定模块，适于确定所述面部关键区域在所述待处理的图像帧中的位置信息；计算模块，适于当确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则时，计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息；控制模块，适于根据所述旋转信息控制所述机器人头部进行旋转。

可选地，所述装置进一步包括：

视线中心区域确定模块，适于确定所述待处理的图像帧中包含的视线中心区域；

第一位置信息确定模块，适于将所述视线中心区域在所述待处理的图像帧中的位置信息确定为第一位置信息；

第二位置信息确定模块，适于将所述面部关键区域在所述待处理的图像帧中的位置信息确定为第二位置信息；

距离计算模块，适于计算所述第二位置信息与所述第一位置信息之间的距离；

确定模块，适于当所述距离大于预设阈值时，确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则。

可选地，所述视线中心区域确定模块进一步适于：

根据所述图像采集设备的设备参数和/或所述图像采集设备的设置位置，确定所述待处理的图像帧中包含的视线中心区域。

可选地，所述计算模块进一步适于包括：

根据所述第二位置信息与所述第一位置信息之间的距离确定旋转角度，根据所述第二位置信息相对于所述第一位置信息的方位确定旋转方向，根据所述旋转角度以及旋转方向确定所述旋转信息。

可选地，所述检测模块进一步适于：

当检测出所述待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

可选地，所述关键区域选取规则包括：

根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。

可选地，所述检测模块进一步适于：

根据所述待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定所述待处理的图像帧中的面部关键区域；

其中，N为大于或等于1的自然数。

可选地，所述装置进一步包括：

预测模块，适于根据所述待处理的图像帧中的面部关键区域确定预测范围，在所述预测范围内通过神经网络算法预测面部关键点；

修正模块，适于根据预测得到的面部关键点，对所述待处理的图像帧中的面部关键区域进行修正。

可选地，所述面部关键区域在所述待处理的图像帧中的位置信息根据预测得到的面部关键点中包含的第一眼部特征点和/或第二眼部特征点确定；或者，

所述面部关键区域在所述待处理的图像帧中的位置信息根据所述面部关键区域的区域中心位置确定。

可选地，所述获取模块进一步适于：

实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

可选地，所述控制模块进一步适于：

根据所述旋转信息生成头部控制指令，将所述头部控制指令发送给与所述机器人头部相连的头部旋转部件，以供所述头部旋转部件根据所述头部控制指令对所述机器人头部进行旋转；其中，所述头部旋转部件包括舵机。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述机器人头部的控制方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述机器人头部的控制方法对应的操作。

根据本发明提供的机器人头部的控制方法、装置及计算设备，通过获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息；当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；根据旋转信息控制机器人头部进行旋转。该方式能够根据对图像帧中包含的面部关键区域的位置信息控制机器人头部进行旋转，使得机器人头部能够始终与人脸相对，达到了机器人头部跟随人脸的效果，从而更好地模拟了真实的人物对话场景，提升了用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的机器人头部的控制方法的流程图；

图2示出了根据本发明另一个实施例的机器人头部的控制方法的流程图；

图3示出了根据本发明又一个实施例的机器人头部的控制装置的结构示意图；

图4示出了根据本发明实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的机器人头部的控制方法的流程图。如图1所示，该方法包括以下步骤：

步骤S110，获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

图像采集设备可以是安装在机器人头部的中心位置处的摄像头，通过摄像头采集视频数据，具体应用中，可以实时地将视频数据中的每一个图像帧依次确定为待处理的图像帧，或者每隔预设的时间间隔将视频数据中对应的图像帧依次确定为待处理的图像帧，另外本发明对图像采集设备的个数以及设置在机器人头部的位置不作限定。

步骤S120，检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息。

其中，面部关键区域是指：通过检测确定的待处理的图像帧中面部所在的区域。具体检测时，可结合前一帧图像帧中的面部区域的位置通过跟踪算法实现，也可通过神经网络算法检测待处理的图像帧中面部所在的区域，甚至还可以同时使用跟踪算法和神经网络算法(即检测算法)进行检测，本发明对具体的检测方式不做限定。

例如，面部关键区域可通过下述方式得到：在面部预测区域内通过神经网络算法预测得到面部关键点，然后根据面部关键点确定面部关键区域。面部关键点包括与面部五官和/或面部轮廓相对应的特征点，具体可以指脸部轮廓位置上所对应的特征点、面部五官位置上所对应的特征点以及面部其它部位上所对应的特征点。其中，面部预测区域是根据跟踪算法得到的精确度较低的面部所在的区域，可以通过面部预测框确定；面部关键区域是根据神经网络算法预测出的比较精确的面部所在的区域，可以通过面部关键框确定。由于跟踪算法速度较快，而检测算法精度较高，因此，二者结合能够得到更优的检测效果：通过跟踪算法得到大致的面部预测区域，然后，通过检测算法在面部预测区域所对应的局部图像范围内进行预测，由于避免了针对全部图像范围进行预测，因而兼顾了速度和准确性。

确定出面部关键区域之后，进一步确定上述面部关键区域在待处理的图像帧中的位置信息，该位置信息具体可以指面部关键区域所包含的各个像素点的坐标位置。

步骤S130，当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息。

本实施例的控制机器人头部进行旋转的操作是基于面部关键区域在待处理的图像帧中的位置信息执行的，具体通过判断面部关键区域在待处理的图像帧中的位置信息是否满足预设旋转规则，若满足，则确定需要控制机器人头部进行旋转，进一步根据面部关键区域在待处理的图像帧中的位置信息确定机器人头部旋转的角度、旋转的方向等旋转信息，具体可通过面部关键区域所包含的像素点对应的坐标位置与待处理的图像帧的中心点的坐标位置之间的角度确定旋转的角度以及旋转的方向等。

由此可见，预设旋转规则用于根据面部关键区域在图像帧中的位置来判断与面部关键区域相对应的用户的脸部是否位于机器人头部的正前方，若否，则需要对机器人头部的朝向进行调整。

步骤S140，根据旋转信息控制机器人头部进行旋转。

通过上述步骤确定了旋转信息，则该步骤还可以包括将旋转信息发送给旋转部件，使得旋转部件能够根据旋转信息控制机器人头部进行旋转。本发明的方法实质上是使机器人头部能够始终正对着人脸，也就是说，可以预先规定机器人头部的正面，使机器人头部的正面能够正对着人脸，通过控制与机器人头部相连接的旋转部件进行旋转，从而带动机器人头部进行旋转，以此达到机器人头部跟随人脸的目的。

根据本实施例提供的机器人头部的控制方法，通过获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息；当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；根据旋转信息控制机器人头部进行旋转。该方式能够根据对图像帧中包含的面部关键区域的位置控制机器人头部进行旋转，使得机器人头部能够始终与人脸相对，达到了机器人头部跟随人脸的效果。

图2示出了根据本发明另一个实施例的机器人头部的控制方法的流程图，如图2所示，该方法包括：

步骤S210，实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

图像采集设备可以是摄像头，可以将摄像头设置在机器人头部的中心位置，本发明对图像采集设备的具体形式以及设置位置不作限定。通过图像采集设备采集视频数据，本实施例中，实时地将当前时刻图像采集设备采集的图像帧确定为待处理的图像帧，在具体应用中，还可以每隔预设的时间间隔将图像采集设备采集到的对应的图像帧确定为待处理的图像帧。

步骤S220，检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息。

其中，面部关键区域可通过下述方式得到：根据待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定待处理的图像帧中的面部关键区域；其中，N为大于或等于1的自然数。

具体地，根据待处理的图像帧所对应的前N个图像帧中的面部关键区域，可以确定前N个图像帧中面部关键区域移动的速度和/或移动的方向，然后根据上述移动的速度和/或移动的方向通过跟踪算法确定待处理的图像帧中的面部关键区域，跟踪算法无需对每一个图像帧的对应的全部区域进行检测，而是根据上述移动的速度和/或移动的方向预测当前待处理的图像帧中的面部关键区域的区域范围，通过该方式能够快速地确定待处理的图像帧中的面部关键区域。

进一步地，为了提高确定的待处理的图像帧中的面部关键区域的准确性，也即，为了获得待处理的图像帧中的面部所在的准确的位置信息，本实施例中对上述根据跟踪算法得到的面部关键区域进行修正，具体地，根据待处理的图像帧中的面部关键区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点；根据预测得到的面部关键点，对待处理的图像帧中的面部关键区域进行修正。其中，面部关键点包括与面部五官和/或面部轮廓相对应的特征点，具体可以指脸部轮廓位置上所对应的特征点、面部五官位置上所对应的特征点以及面部其它部位上所对应的特征点。

预测范围根据待处理的图像帧中的面部关键区域确定，例如可以等于或大于面部关键区域的区域范围，具体可以是与上述根据跟踪算法确定的待处理的图像帧中的面部关键区域之间的距离小于预设距离阈值的区域范围，在预测范围内通过神经网络算法预测面部关键点，然后根据预测得到的面部关键点，对上述根据跟踪算法确定的待处理的图像帧中的面部关键区域进行修正。当然，除了上述方法外，还可以根据其它的方法来确定待处理的图像帧中的面部关键区域。

实际应用中，存在检测出待处理的图像中包含多个面部关键区域的情况，而机器人头部只能对一张人脸进行跟随，即只能随着一个人的人脸的移动而进行旋转，因此当检测出待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

其中，关键区域选取规则包括：根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。具体可根据各个面部关键区域所包含的像素点确定对应的区域面积，从各个面部关键区域中选取出区域面积最大的面部关键区域，将该面部关键区域对应的人脸作为机器人头部的跟随目标。另外，若在跟随过程中丢失了跟随目标，例如当前时刻图像采集设备采集的图像帧中不包含已有的跟随目标对应的人脸关键区域，此时则根据检测到的各个面部关键区域的区域面积，重新选取一个面部关键区域，将该面部关键区域对应的人脸重新确定为机器人头部的跟随目标，也就是说，机器人头部的跟随目标未必是固定不变的。

进一步根据上述面部关键区域确定面部关键区域在待处理的图像帧中的位置信息，该位置信息具体可以指面部关键区域所包含的各个像素点对应的位置信息。

步骤S230，确定待处理的图像帧中包含的视线中心区域，将视线中心区域在待处理的图像帧中的位置信息确定为第一位置信息。

视线中心区域是指当机器人头部正对着跟随目标对应的人脸时，图像采集设备采集到的待处理的图像帧中的面部关键区域，机器人头部对人脸进行跟随即是指使图像采集设备采集到的待处理的图像帧中的面部关键区域能够与视线中心区域相重合，由此可知，视线中心区域不跟随待处理的图像帧而改变，而是一个固定的区域。通俗地说，视线中心区域类似于人眼正前方的景物所在的区域，即：无论机器人头部朝何方向，其采集到的图像帧中的视线中心区域均对应于机器人此时的头部正前方区域。

视线中心区域具体可通过以下方式确定：

根据图像采集设备的设备参数和/或图像采集设备的设置位置，确定待处理的图像帧中包含的视线中心区域。首先确定图像采集设备的中心点，进一步根据图像采集设备的中心点标定摄像机内参，根据摄像机内参确定视线中心区域；另外当相同的图像采集设备设置分别在机器人头部的不同位置时，例如分别设置在机器人头部的正中间以及左侧的位置，各个图像采集设备采集的待处理的图像帧中包含的视线中心区域也存在不同，因此，本实施例的方法根据上述两个因素确定待处理的图像帧中包含的视线中心区域。

根据上述步骤确定了待处理的图像帧中包含的视线中心区域，该视线中心区域可以是一个点，也可以是一个具有一定轮廓和面积的区域。当视线中心区域为一个点时，则机器人头部对人脸进行跟随即是指使人脸关键区域的中心点能够与该视线中心区域相重合；当视线中心区域为一个区域时，则机器人头部对人脸进行跟随即是指使人脸关键区域能够与该视线中心区域相重合。当然，本发明对此不作限定，本领域技术人员可根据实际需要进行设置。

确定出视线中心区域之后，为了便于计算，进一步将视线中心区域在待处理的图像帧中的位置信息确定为第一位置信息，以供后续步骤根据第一位置信息控制机器人头部旋转。

步骤S240，将面部关键区域在待处理的图像帧中的位置信息确定为第二位置信息。

其中，面部关键区域在待处理的图像帧中的位置信息根据预测得到的面部关键点中包含的第一眼部特征点和/或第二眼部特征点确定；或者，面部关键区域在待处理的图像帧中的位置信息根据面部关键区域的区域中心位置确定。

根据神经网络算法预测出面部关键点，其中，面部关键点包括与面部五官和/或面部轮廓相对应的特征点，具体可以指脸部轮廓位置上所对应的特征点、面部五官位置上所对应的特征点以及面部其它部位上所对应的特征点。实际应用中，可根据脸部五官位置上所对应的特征点确定面部关键区域在待处理的图像帧中的位置信息，也可根据第一眼部特征点与第二眼部特征点之间的连线的中心点位置确定面部关键区域在待处理的图像帧中的位置信息，还可以根据面部关键区域的轮廓以及尺寸确定面部关键区域的中心位置，根据该中心位置确定面部关键区域在待处理的图像帧中的位置信息，本发明对此不作限定。将面部关键区域在待处理的图像帧中的位置信息确定为第二位置信息。

步骤S250，计算第二位置信息与第一位置信息之间的距离，当距离大于预设阈值时，确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息。

本实施例的方法的目的在于控制机器人头部进行旋转，使得机器人头部能够正对着人脸，当然也可以是大致正对着人脸，因此设置一预设阈值，当第二位置信息与第一位置信息之间的距离小于该预设阈值时，则确定机器人头部正对着人脸。若第二位置信息与第一位置信息之间的距离大于预设阈值，则表明机器人头部没有正对着人脸，则确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则，即此时需要使机器人头部进行旋转，进一步根据第一位置信息与第二位置信息确定机器人头部需要旋转的角度以及旋转的方向。

步骤S260，根据旋转信息生成头部控制指令，将头部控制指令发送给与机器人头部相连的头部旋转部件，以供头部旋转部件根据头部控制指令对机器人头部进行旋转；其中，头部旋转部件包括舵机。

根据上述步骤确定了机器人头部旋转的角度以及旋转的方向等旋转信息，由于机器人头部进行旋转是通过与机器人头部相连的头部旋转部件实现的，因此将旋转信息生成头部控制指令，将头部控制指令发送给头部旋转部件，例如舵机，则本实施例的方法实际上是根据面部关键区域控制舵机进行旋转，从而带动机器人头部进行旋转，使机器人头部能够正对人脸。

根据本实施例所提供的机器人头部的控制方法，实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息；确定待处理的图像帧中包含的视线中心区域，将视线中心区域在待处理的图像帧中的位置信息确定为第一位置信息；将面部关键区域在待处理的图像帧中的位置信息确定为第二位置信息；计算第二位置信息与第一位置信息之间的距离，当距离大于预设阈值时，确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；根据旋转信息生成头部控制指令，将头部控制指令发送给与机器人头部相连的头部旋转部件，以供头部旋转部件根据头部控制指令对机器人头部进行旋转；其中，头部旋转部件包括舵机。本实施例的方法结合跟踪算法和神经网络算法确定图像帧中包含的面部关键区域，该方式能够快速且准确的定位面部关键区域，根据对图像帧中包含的面部关键区域的位置精准地控制机器人头部进行旋转，使得机器人头部能够始终与人脸相对，达到了机器人头部跟随人脸的效果。

图3示出了根据本发明又一个实施例的机器人头部的控制装置的结构示意图，如图3所示，该装置包括：

获取模块31，适于获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；

检测模块32，适于检测待处理的图像帧中包含的面部关键区域；

位置信息确定模块33，适于确定面部关键区域在待处理的图像帧中的位置信息；

计算模块34，适于当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；

控制模块35，适于根据旋转信息控制机器人头部进行旋转。

可选地，上述装置进一步包括：

视线中心区域确定模块，适于确定待处理的图像帧中包含的视线中心区域；

第一位置信息确定模块，适于将视线中心区域在待处理的图像帧中的位置信息确定为第一位置信息；

第二位置信息确定模块，适于将面部关键区域在待处理的图像帧中的位置信息确定为第二位置信息；

距离计算模块，适于计算第二位置信息与第一位置信息之间的距离；

确定模块，适于当距离大于预设阈值时，确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则。

可选地，视线中心区域确定模块进一步适于：

根据图像采集设备的设备参数和/或图像采集设备的设置位置，确定待处理的图像帧中包含的视线中心区域。

可选地，计算模块34进一步适于包括：

根据第二位置信息与第一位置信息之间的距离确定旋转角度，根据第二位置信息相对于第一位置信息的方位确定旋转方向，根据旋转角度以及旋转方向确定旋转信息。

可选地，检测模块32进一步适于：

当检测出待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

可选地，关键区域选取规则包括：

根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。

可选地，检测模块32进一步适于：

根据待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定待处理的图像帧中的面部关键区域；

其中，N为大于或等于1的自然数。

可选地，上述装置进一步包括：

预测模块，适于根据待处理的图像帧中的面部关键区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点；

修正模块，适于根据预测得到的面部关键点，对待处理的图像帧中的面部关键区域进行修正。

可选地，面部关键区域在待处理的图像帧中的位置信息根据预测得到的面部关键点中包含的第一眼部特征点和/或第二眼部特征点确定；或者，

面部关键区域在待处理的图像帧中的位置信息根据面部关键区域的区域中心位置确定。

可选地，获取模块31进一步适于：

实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

可选地，控制模块35进一步适于：

根据旋转信息生成头部控制指令，将头部控制指令发送给与机器人头部相连的头部旋转部件，以供头部旋转部件根据头部控制指令对机器人头部进行旋转；其中，头部旋转部件包括舵机。

上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。

本申请又一实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的机器人头部的控制方法。

图4示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述机器人头部的控制方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行以下操作：获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；检测待处理的图像帧中包含的面部关键区域，确定面部关键区域在待处理的图像帧中的位置信息；当确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则时，计算与面部关键区域在待处理的图像帧中的位置信息相对应的旋转信息；根据旋转信息控制机器人头部进行旋转。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：确定待处理的图像帧中包含的视线中心区域，将视线中心区域在待处理的图像帧中的位置信息确定为第一位置信息；将面部关键区域在待处理的图像帧中的位置信息确定为第二位置信息；计算第二位置信息与第一位置信息之间的距离，当距离大于预设阈值时，确定面部关键区域在待处理的图像帧中的位置信息符合预设旋转规则。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据图像采集设备的设备参数和/或图像采集设备的设置位置，确定待处理的图像帧中包含的视线中心区域。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据第二位置信息与第一位置信息之间的距离确定旋转角度，根据第二位置信息相对于第一位置信息的方位确定旋转方向，根据旋转角度以及旋转方向确定旋转信息。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：当检测出待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

在一种可选的方式中，关键区域选取规则包括：

根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定待处理的图像帧中的面部关键区域；其中，N为大于或等于1的自然数。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据待处理的图像帧中的面部关键区域确定预测范围，在预测范围内通过神经网络算法预测面部关键点；根据预测得到的面部关键点，对待处理的图像帧中的面部关键区域进行修正。

在一种可选的方式中，面部关键区域在待处理的图像帧中的位置信息根据预测得到的面部关键点中包含的第一眼部特征点和/或第二眼部特征点确定；或者，面部关键区域在待处理的图像帧中的位置信息根据面部关键区域的区域中心位置确定。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：实时获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧。

在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：根据旋转信息生成头部控制指令，将头部控制指令发送给与机器人头部相连的头部旋转部件，以供头部旋转部件根据头部控制指令对机器人头部进行旋转；其中，头部旋转部件包括舵机。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的机器人头部的控制计算设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种机器人头部的控制方法，其包括：

获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；

检测所述待处理的图像帧中包含的面部关键区域，确定所述面部关键区域在所述待处理的图像帧中的位置信息；

当确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则时，计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息；

根据所述旋转信息控制所述机器人头部进行旋转。

2.根据权利要求1所述的方法，其中，所述确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则的步骤具体包括：

确定所述待处理的图像帧中包含的视线中心区域，将所述视线中心区域在所述待处理的图像帧中的位置信息确定为第一位置信息；

将所述面部关键区域在所述待处理的图像帧中的位置信息确定为第二位置信息；

计算所述第二位置信息与所述第一位置信息之间的距离，当所述距离大于预设阈值时，确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则。

3.根据权利要求2所述的方法，其中，所述确定所述待处理的图像帧中包含的视线中心区域的步骤具体包括：

根据所述图像采集设备的设备参数和/或所述图像采集设备的设置位置，确定所述待处理的图像帧中包含的视线中心区域。

4.根据权利要求2或3所述的方法，其中，所述计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息的步骤具体包括：

根据所述第二位置信息与所述第一位置信息之间的距离确定旋转角度，根据所述第二位置信息相对于所述第一位置信息的方位确定旋转方向，根据所述旋转角度以及旋转方向确定所述旋转信息。

5.根据权利要求1-4任一所述的方法，其中，所述检测所述待处理的图像帧中包含的面部关键区域的步骤具体包括：

当检测出所述待处理的图像帧中包含的面部关键区域的数量为多个时，按照预设的关键区域选取规则，从多个面部关键区域中选取一个面部关键区域。

6.根据权利要求5所述的方法，其中，所述关键区域选取规则包括：

根据各个面部关键区域的区域面积，从多个面部关键区域中选取一个面部关键区域。

7.根据权利要求1-6任一所述的方法，其中，所述检测所述待处理的图像帧中包含的面部关键区域的步骤具体包括：

根据所述待处理的图像帧所对应的前N个图像帧中的面部关键区域，通过跟踪算法确定所述待处理的图像帧中的面部关键区域；

其中，N为大于或等于1的自然数。

8.一种机器人头部的控制装置，其包括：

获取模块，适于获取位于机器人头部的图像采集设备采集的视频数据中包含的待处理的图像帧；

检测模块，适于检测所述待处理的图像帧中包含的面部关键区域；

位置信息确定模块，适于确定所述面部关键区域在所述待处理的图像帧中的位置信息；

计算模块，适于当确定所述面部关键区域在所述待处理的图像帧中的位置信息符合预设旋转规则时，计算与所述面部关键区域在所述待处理的图像帧中的位置信息相对应的旋转信息；

控制模块，适于根据所述旋转信息控制所述机器人头部进行旋转。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的机器人头部的控制方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的机器人头部的控制方法对应的操作。