CN113478485A - 机器人及其控制方法、装置、电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种机器人及其控制方法、装置、电子设备、存储介质，其中，该方法包括：获取机器人上设置的摄像装置采集的图像数据；确定与图像数据中的目标场景对应的任务类型；基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果；基于目标识别结果生成机器人控制数据；机器人控制数据用于控制机器人执行任务类型下、与目标识别结果匹配的处理操作。本公开的控制操作是结合任务类型来实现的，兼容了不同任务类型的机器人控制方案，这很大程度上提升了机器人的智能性，从而能够满足各种应用任务的执行需求。

Description

机器人及其控制方法、装置、电子设备、存储介质

技术领域

本公开涉及机器人控制技术领域，具体而言，涉及一种机器人及其控制方法、装置、电子设备、存储介质。

背景技术

智能机器人作为人工智能产品之一，在生活、工作、科学探索等各个方面都可能会有广泛的应用，而要使得智能机器人为人类服务就需要它对各种应用环境具有相应的信息获取方式和处理方法，同时还需要它可以根据环境的变化做出不同的决策。

相关技术中的智能机器人一般通过传感器来输入外部环境信息，而后根据外部环境信息做出相应的操作，这里，大多完成的是简单的自动化任务，例如沿着指定的线段进行任务的巡线机器人，但是和真正的人工智能机器人还有一定差距。

发明内容

本公开实施例至少提供一种机器人及其控制方法、装置、电子设备、存储介质。

第一方面，本公开实施例提供了一种机器人的控制方法，包括：

获取机器人上设置的摄像装置采集的图像数据；

确定与所述图像数据中的目标场景对应的任务类型；

基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；

基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

采用上述机器人的控制方法，在获取到机器人上设置的摄像装置采集的图像数据的情况下，可以确定与图像数据中的目标场景对应的任务类型，这样，即可以基于与确定的任务类型匹配的目标识别网络对图像数据进行目标识别，并可以根据得到的目标识别结果生成机器人控制数据。这里的机器人控制数据可以控制机器人执行任务类型下与目标识别结果匹配的处理操作，也即，不同的任务类型对应有不同的目标识别结果，不同的目标识别结果则可以控制机器人执行对应的处理操作，控制操作是结合任务类型来实现的，兼容了不同任务类型的机器人控制方案，这很大程度上提升了机器人的智能性，从而能够满足各种应用任务的执行需求。

在一种可能的实施方式中，所述基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果之前，所述方法还包括：

响应于目标识别网络获取指令，向网络训练平台发送目标识别网络获取请求；所述目标识别网络获取请求中携带有针对目标识别网络的属性需求信息；

获取所述网络训练平台基于所述目标识别网络获取请求反馈的目标识别网络。

这里的目标识别网络可以是在网络训练平台上训练的，这样，在需要目标识别网络进行目标识别任务的时候，可以从网络训练平台直接获取这一识别网络，减少了直接在机器人上进行网络训练所带来的所需计算量和所需存储量较大的问题，便于机器人将算力集中到任务本身，适应性更好。

在一种可能的实施方式中，所述确定与所述图像数据中的目标场景对应的任务类型，包括：

响应于针对多种任务类型触发按钮中目标任务类型触发按钮的触发操作，确定与所述目标任务类型触发按钮对应的目标任务类型；

将所述目标任务类型作为与所述目标场景对应的任务类型。

在一种可能的实施方式中，所述确定与所述图像数据中的目标场景对应的任务类型，包括：

基于所述图像数据进行场景特征提取，确定所述图像数据中的目标场景的场景特征信息；

基于所述场景特征信息，确定与所述图像数据中的目标场景对应的任务类型。

这里，可以是基于场景特征提取得到的场景特征信息来确定任务类型，这主要是考虑到不同的场景特征可能所对应的任务类型也不同，对于炎热天气而言，用户急需的是降温设备，再如，对于下雨天气而言，用户急需的是遮雨装备等等，进而可以提供多种机器人控制方案。

在一种可能的实施方式中，在确定的所述任务类型为垃圾分类任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的所述目标对象的垃圾分类信息，确定与所述目标对象对应的机器人上的垃圾回收容器，并生成打开所述垃圾回收容器的机器人控制数据；

在检测到所述目标对象已回收到对应的垃圾回收容器的情况下，生成关闭所述垃圾回收容器的机器人控制数据。

在一种可能的实施方式中，在确定的所述任务类型为风扇调节任务，所述图像数据为实时视频画面的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

响应于所述目标识别结果指示所述实时视频画面中出现目标对象的人脸图像，生成转动所述机器人上的风扇转动组件的机器人控制数据；

响应于所述目标识别结果指示所述目标对象的人脸图像在所述实时视频画面中消失，生成关闭所述机器人上的风扇转动组件的机器人控制数据。

在一种可能的实施方式中，所述生成转动所述机器人上的风扇转动组件的机器人控制数据，还包括：

响应于所述目标识别结果指示的所述目标对象的人脸图像在所述实时视频画面中的位置变化信息，生成调整所述风扇转动组件的朝向的机器人控制数据；和/或，

响应于所述目标识别结果指示的所述目标对象的人脸图像在所述实时视频画面中的尺寸变化信息，生成调整所述风扇转动组件的转动速度的机器人控制数据。

在一种可能的实施方式中，在确定的所述任务类型为教学任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的属性特征信息，确定与所述目标对象匹配的学习教程；

生成展示所述学习教程的机器人控制数据。

在一种可能的实施方式中，在确定的所述任务类型为游戏互动任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的肢体动作信息，确定与所述肢体动作信息指示的肢体动作匹配的机器人动作数据；

基于所述机器人动作数据，生成所述机器人控制数据。

在一种可能的实施方式中，在确定的所述任务类型为辅助门禁管理任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的人脸身份信息，判断所述目标对象是否为合法用户；

响应于所述目标对象为合法用户，生成控制打开门禁组件的机器人控制数据。

在一种可能的实施方式中，按照如下步骤训练所述目标识别网络：

获取图像样本以及针对所述图像样本标注的目标对象信息；

基于所述图像样本以及针对所述图像样本标注的目标对象信息对待训练的目标识别网络进行训练，得到训练好的目标识别网络，所述目标识别网络采用轻量化的神经网络；

所述基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果，包括：

基于所述训练好的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果。

这里的目标识别网络可以是利用图像样本以及针对所述图像样本标注的目标对象信息训练得到的，在训练好之后，即可以直接对图像数据进行目标识别，简单易操作。

第二方面，本公开实施例还提供了一种机器人，包括机器人本体和安装于所述机器人本体的处理器；

所述处理器，用于获取机器人上设置的摄像装置采集的图像数据；确定与所述图像数据中的目标场景对应的任务类型；基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

在一种可能的实施方式中，还包括安装于所述机器人本体的控制器；所述处理器与所述控制器通过通信接口连接；

所述处理器，用于将所述机器人控制数据传输至所述控制器；

所述控制器，用于控制所述机器人按照所述机器人控制数据执行所述任务类型下、与所述目标识别结果匹配的处理操作。

在一种可能的实施方式中，所述处理器，具体用于按照预设数据封装格式对所述机器人控制数据进行封装，并将得到的将所述封装后的机器人控制数据传输至所述控制器；

所述控制器，具体用于在对所述封装后的机器人控制数据进行解封装之后，控制所述机器人执行所述任务类型下、与所述识别特征信息匹配的处理操作。

第三方面，本公开实施例还提供了一种机器人的控制装置，包括：

获取模块，用于获取机器人上设置的摄像装置采集的图像数据；

确定模块，用于确定与所述图像数据中的目标场景对应的任务类型；

识别模块，用于基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；

生成模块，用于基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

第四方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的机器人的控制方法的步骤。

第五方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的机器人的控制法的步骤。

关于上述机器人及其控制装置、电子设备、及计算机可读存储介质的效果描述参见上述机器人的控制方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种机器人的控制方法的流程图；

图2示出了本公开实施例所提供的一种机器人的控制方法的应用流程图；

图3示出了本公开实施例所提供的一种风扇调整机器人的示例图；

图4示出了本公开实施例所提供的一种垃圾分类机器人的示例图；

图5示出了本公开实施例所提供的一种机器人的控制装置的示意图；

图6示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中的智能机器人一般通过传感器来输入外部环境信息，而后根据外部环境信息做出相应的操作，这里，大多完成的是简单的自动化任务，例如沿着指定的线段进行任务的巡线机器人，但是和真正的人工智能机器人还有一定差距。

基于上述研究，本公开提供了一种机器人及其控制方法、装置、电子设备、存储介质，以提升机器人的智能性。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种机器人的控制方法进行详细介绍，本公开实施例所提供的机器人的控制方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。上述电子设备可以是外接在机器人的其它设备，也可以是集成在机器人上具有计算能力的处理器等器件。在一些可能的实现方式中，该机器人的控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的机器人的控制方法的流程图，该控制方法的执行主体可以是设置在机器人上的处理器，方法包括步骤S101～S104，其中：

S101：获取机器人上设置的摄像装置采集的图像数据；

S102：确定与图像数据中的目标场景对应的任务类型；

S103：基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果；

S104：基于目标识别结果生成机器人控制数据；机器人控制数据用于控制机器人执行任务类型下、与目标识别结果匹配的处理操作。

为了便于理解本公开实施例提供的机器人的控制方法，接下来首先可以对该控制方法的应用场景进行详细描述。本公开实施例中的控制方法主要可以应用于机器人的智能控制，这里的机器人主要指的是智能机器人，例如可以是情感机器人、工业机器人、移动机器人，还可以是其它各种能够自主执行任务的机器人。

考虑到相关技术中的机器人的智能化程度比较低，无法满足日益发展的智能控制需求，这里提供了一种基于任务类型进行目标识别进而实现机器人控制的控制方法，以提升机器人的智能性。

需要说明的是，在具体应用中，上述控制方法可以是利用集成在机器人上的微型电脑实现的，这里的微型电脑可以是树莓派(Raspberry Pi，RPi)、NanoPi NEO Plus2、LattePanda等。考虑到树莓派程度高、算力较强等优良特性，这里可以采用树莓派进行视频分析和目标识别等操作，接下来多以树莓派进行示例说明。

其中，图像数据可以是部署在机器人上的摄像装置采集的视频片段等实时视频画面，或者是摄像装置采集的图片，下文以实时视频画面进行示例说明。这里的摄像装置可以是在机器人需要执行任务的情况下打开画面捕捉功能，在空闲状态下，可以打开省电模式。

目标场景是当前机器人所处的应用场景。为了进一步提升机器人的智能化程度，可以基于实时视频画面中的目标场景对应的任务类型来确定对应的机器人控制数据，即使对应的是同一目标场景，在对应的任务类型不同的情况下，所对应的机器人控制数据也不同，这样机器人所执行的处理操作也不同。

其中，上述任务类型可以是基于任务类型触发按钮的触发操作确定的，也可以是基于场景分析确定的，还可以是其他方式确定的，本公开实施例对此不做具体的限制。

在具体应用中，同一机器人可以对应多种任务类型，例如，对于设置于马路上的机器人而言，这里的任务类型可以是垃圾分类任务，还可以是风扇调节任务，还可以是其它适应应用情境的任务类型，本公开实施例对此不做具体的限制。

针对不同的任务类型而言，所需关注的目标可能并不相同。这里仍以垃圾分类任务和风扇调节任务来示例，对于垃圾分类而言，无需关注用户信息，主要需要关注用户手部所持物品的相关信息，而对于风扇调整任务而言，则需要关注用户的人脸或人体等相关信息，以便于机器人可以执行与不同任务类型适配的机器人的控制动作，从而满足用户对于机器人的智能化需求。

本公开实施例中，在确定与实时视频画面中的目标场景对应的任务类型的情况下，可以基于与确定的任务类型匹配的目标识别网络对实时视频画面进行目标识别，而后基于目标识别结果生成机器人控制数据。

本申请实施例中，目标识别网络可以采用强量化的网络模型，例如mobilenetV2，从而可以在树莓派等计算能力较弱的机器人上进行运行，达到更好的识别效果。

其中，目标识别网络训练的是图像样本与图像样本中的对象之间的对应关系，这里的对应关系可以是指示对象的语义信息，还可以是确定的对象的位置、大小等信息。

在具体应用中，上述目标识别网络可以是机器人自身训练的，例如，利用树莓派完成图片的采集以及网络的训练，并基于此完成网络推理。除此之外，本公开实施例也可以是在网络训练平台上训练好目标识别网络，而后迁移到机器人上的。

这里，在进行网络迁移的过程中，可以是向网络训练平台发送目标识别网络获取请求，网络训练平台通过对获取请求中的针对目标识别网络的属性需求信息的解析，可以反馈目标识别网络到机器人。这里的机器人和网络训练平台可以是无线连接的。有关属性需求信息可以是结合机器人自身的存储空间，网络场景内容等信息，利用这一信息本公开实施例可以从网络训练平台上训练的各个网络中查找到适配于当下任务类型的目标识别网络，操作简单，且无需占用机器人自身的训练资源和存储空间，实用性较强。

不管是采用上述哪种目标识别网络的获取方式，本公开实施例中的目标识别网络均可以通过图像样本以及针对图像样本标注的目标对象信息对待训练的目标识别网络进行训练所得到的。本公开实施例中可以按照如下步骤训练目标识别网络：

步骤一、利用待训练的目标识别网络中的至少一个卷积层和至少一个池化层对图像样本进行特征提取，得到提取出的特征信息；其中，卷积层和池化层交替连接；

步骤二、将提取出的特征信息输入到待训练的目标识别网络中的全连接层，得到输出的预测结果；

步骤三、根据预测结果与针对图像样本标注的目标对象信息的差异，确定网络损失；

步骤四、根据网络损失，调整目标识别网络的网络参数值，并基于调整后的目标识别网络再次进行特征提取，直至满足训练停止条件。其中，训练停止条件包括网络损失收敛、训练迭代预设次数、网络预测准确率高于设置值中至少一个。

这里，利用网络输出结果与图像样本的标注结果之间的比对可以实现网络参数值的调整，从而通过多轮训练可以训练出准确度较高的目标识别网络。

需要说明的是，本公开实施例在基于目标识别网络对实时视频画面进行目标识别之前，可以将实时视频画面进行分帧，得到各帧图像，而后对各帧图像中的每帧图像进行预处理，得到处理后的各帧图像，这样，将处理后的各帧图像输入到与确定的任务类型匹配的目标识别网络，得到目标识别结果。

其中，上述预处理可以指的是按照预设图像大小对各帧图像进行的缩放处理，使得各帧图像能够统一到统一大小，还可以是指的是对各帧图像进行的灰度处理，以降低彩色图片所可能消耗掉的大量计算资源，还可以是针对每帧图像中的每个像素，基于该像素在每个图像维度下的像素值以及该图像维度下各个像素对应的像素平均值和像素标准差，确定该像素在每个图像维度下归一化后的像素值，并基于各个像素在每个图像维度下归一化后的像素值确定归一化处理后的图像，也即，可以是针对图像的归一化处理，这是为了后续进行图像处理的方便性。

本申请实施例中，机器人自身可以存储有多种任务类型对应的目标识别网络，机器人也可以从其他设备(如云端)根据任务类型获取对应的目标识别网络。然后，机器人可以利用目标识别网络对采集的实时视频画面等图像数据进行目标识别，得到目标识别结果，根据目标识别结果生成机器人控制数据。

本公开实施例中，基于目标识别结果可以生成机器人控制数据，这里的机器人控制数据主要指的是为了能够使得机器人完成对应的任务而采用的控制数据。这里的控制数据可以是直接对机器人的相关传感器或者电机等控制的指令，也可以是在目标识别结果的基础上进行简单分析的一种机器人可解读的控制指令，机器人通过解读这一控制指令可以进一步生成控制相关机器人组件的参数等。

考虑到任务类型的确定对于后续进行目标识别的关键影响，这里可以如下两个方面对确定任务类型的过程进行详细描述。

第一方面：可以通过按钮触发方式确定目标场景对应的任务类型，具体可以通过如下步骤实现：

步骤一、响应于针对多种任务类型触发按钮中目标任务类型触发按钮的触发操作，确定与目标任务类型触发按钮对应的目标任务类型；

步骤二、将目标任务类型作为与目标场景对应的任务类型。

这里，对于具有多种任务类型的机器人而言，可以分别对每种任务类型设置相应的触发按钮，这样，在用户确定对应的目标任务类型触发按钮的情况下，可以基于这一触发按钮的触发操作实现目标任务类型的确定，进而确定出目标场景对应的任务类型。

其中，上述任务类型触发按钮可以是实体按钮，也可以是设置在机器人显示屏上的虚拟按钮，不管是哪种按钮的触发，均可以基于对应按钮的联动动作确定对应的任务类型，这里不做具体的限制。例如，在共计具有垃圾分类触发按钮和风扇调整触发按钮这两个按钮的情况下，通过风扇调整触发按钮的触发，可以启动风扇调整任务。

第二方面：可以通过场景分析确定目标场景对应的任务类型，具体可以通过如下步骤实现：

步骤一、基于实时视频画面进行场景特征提取，确定实时视频画面中的目标场景的场景特征信息；

步骤二、基于场景特征信息，确定与实时视频画面中的目标场景对应的任务类型。

这里所确定的目标场景的场景特征信息可以是与目标场景相关的各种信息，例如可以是有关天气特征、用户周边环境特征、还可以是其它特征。例如，在基于实时视频画面确定当前场景具有下雨特征的情况下，可以启动机器人的遮雨功能，打开伞具。

考虑到本公开实施例针对不同的任务类型可以确定不同的机器人控制数据以适应各种应用场景的需求，这里可以针对一些特定的任务类型进行具体分析来进一步说明有关机器人数据的生成过程。

在确定机器人具有垃圾分类功能，所具备的任务类型为垃圾分类任务的情况下，可以按照如下步骤生成机器人控制数据：

步骤一、基于目标识别结果指示的目标对象的垃圾分类信息，确定与目标对象对应的机器人上的垃圾回收容器，并生成打开垃圾回收容器的机器人控制数据；

步骤二、在检测到目标对象已回收到对应的垃圾回收容器的情况下，生成关闭垃圾回收容器的机器人控制数据。

这里，可以在确定目标对象的垃圾分类信息的情况下，确定与目标对象对应的机器人上的垃圾回收容器，例如，确定是垃圾，这时可以利用机器人控制数据打开垃圾桶这一垃圾回收容器，再如，确定是干垃圾，这时可以利用机器人控制数据打开干垃圾桶这一垃圾回收容器。

一旦在检测到目标对象已回收到对应的垃圾回收容器的情况下，可以生成关闭垃圾回收容器的机器人控制数据。在具体应用中，可以利用重力传感器等测量装置对垃圾回收状态进行检测，整个过程自动完成，智能化程度较高。

需要说明的是，为了完成垃圾分类任务，这里需要结合垃圾分类任务预先训练对应的目标识别网络，这里的目标识别网络可以识别出目标垃圾的具体分类等相关信息，有关训练过程在此不再赘述。

在确定机器人具有风扇调节功能，所具备的任务类型为风扇调节任务的情况下，可以按照如下步骤生成机器人控制数据：

步骤一、响应于目标识别结果指示实时视频画面中出现目标对象的人脸图像，生成转动机器人上的风扇转动组件的机器人控制数据；

步骤二、响应于目标识别结果指示目标对象的人脸图像在实时视频画面中消失，生成关闭机器人上的风扇转动组件的机器人控制数据。

这里，可以基于目标识别结果指示的实时视频画面中出现目标对象的人脸图像，生成开始转动风扇转动组件的机器人控制数据，还可以基于目标识别结果指示目标对象的人脸图像在实时视频画面中消失，生成关闭机器人上的风扇转动组件的机器人控制数据。

在转动的过程中，还可以伴随着人脸图像在实时视频画面中的位置变换和尺寸变化，对风扇转动组件的朝向和转动速度进行调整，也即，可以响应于目标识别结果指示的目标对象的人脸图像在实时视频画面中的位置变化信息，生成调整风扇转动组件的朝向的机器人控制数据；还可以响应于目标识别结果指示的目标对象的人脸图像在实时视频画面中的尺寸变化信息，生成调整风扇转动组件的转动速度的机器人控制数据。

为了便于进一步说明上述风扇调整的过程，接下来可以结合图2进行具体说明。

如图2所示，在确定获取的图像中检测到人脸的情况下，可以启动风扇转动，另外，还可以对人脸图像所在人脸区域加识别框。

上述识别框大小对应的是人脸图像在实时视频画面中的尺寸变化信息，识别框位置对应的是人脸图像在实时视频画面中的位置变化信息。其中，在确定识别框偏右的情况下，说明用户人脸右偏，这时可以调整风扇云台右转，反之，在确定识别框偏左的情况下，说明用户人脸左偏，这时可以调整风扇云台左转；另外，在确定识别框变小的情况下，说明用户人脸远离机器人，这时可以减缓风扇转速，反之，在确定识别框变大的情况下，说明用户人脸靠近，这时可以加快风扇转动。

可知，利用本公开实施例提供的风扇调整方案能够提供时刻伴随用户的降温服务，智能化程度较高。

本公开实施例中的风扇调整任务是一个具体的示例，在具体应用中，具有与风扇相同或相似特性的功能机器人均可以按照相似的方案执行相应的控制操作，这里不做赘述。

需要说明的是，为了完成风扇调整任务，这里需要结合风扇调整任务预先训练有对应的目标识别网络，这里的目标识别网络可以识别出用户人脸的位置等相关信息，有关训练过程在此不再赘述。

在确定机器人具有教学功能，所具备的任务类型为教学任务的情况下，可以按照如下步骤生成机器人控制数据：

步骤一、基于目标识别结果指示的目标对象的属性特征信息，确定与目标对象匹配的学习教程；

步骤二、生成展示学习教程的机器人控制数据。

这里，可以基于目标识别结果指示的目标对象的属性特征信息与目标对象匹配的学习教程，例如，在确定实时视频画面中的目标对象为小学生的情况下，可以确定与小学水平相当的学习教程，并利用机器人显示屏展示这一学习教程，从而可以适配不同学龄层的学生的学习需求。

需要说明的是，为了完成教学任务，这里需要结合教学任务预先训练有对应的目标识别网络，这里的目标识别网络可以识别出用户的年龄等相关信息，有关训练过程在此不再赘述。

在确定机器人具有游戏互动功能，所具备的任务类型为游戏互动任务的情况下，可以按照如下步骤生成机器人控制数据：

步骤一、基于目标识别结果指示的目标对象的肢体动作信息，确定与肢体动作信息指示的肢体动作匹配的机器人动作数据；

步骤二、基于机器人动作数据，生成机器人控制数据。

这里，可以基于目标识别结果指示的目标对象的肢体动作信息，确定与肢体动作信息指示的肢体动作匹配的机器人动作数据，例如，可以基于目标对象的手势信息来控制机器人跳舞，还可以是基于指尖跳动信息配合目标对象进行钢琴演奏，等等。

需要说明的是，为了完成游戏互动任务，这里需要结合游戏互动任务预先训练有对应的目标识别网络，这里的目标识别网络可以识别出用户的手势动作等相关信息，有关训练过程在此不再赘述。

在确定机器人具有辅助门禁管理功能，所具备的任务类型为辅助门禁管理任务的情况下，可以按照如下步骤生成机器人控制数据：

步骤一、基于目标识别结果指示的目标对象的人脸身份信息，判断目标对象是否为合法用户；

步骤二、响应于目标对象为合法用户，生成控制打开门禁组件的机器人控制数据。

这里，可以基于目标识别结果指示的目标对象的人脸身份信息，判断目标对象是否为合法用户，例如，对于某小区内已登记的户主而言，可以基于当前指示的人脸身份信息与数据库中的标准人脸的比对来确定是具有进入权限的合法用户，这时可以是基于机器人与门禁组件的通信连接实现远程控制，也可以直接将机器人作为门禁装置实现近距离控制，适用性更强。

本公开实施例中，上述各种任务类型可以是集成在一个机器人上实现的，也可以分别集成在不同的机器人上实现的。在具体应用中，一个机器人可以同时具备多种功能，例如，即可以具备垃圾分类，又可以具备风扇调整。除此之外，上述各种任务类型仅为本公开实施例提供的各种实例，在实际应用中，与上述任务类型相同或近似变形的方案也在本公开实施例所要保护的范围，在此不再赘述。

需要说明的是，在实际应用中，本公开实施例可以是基于树莓派单独完成的控制方案，还可以是结合树莓派和stm控制器联合完成的控制方案，前者可以完成整个控制过程，后者则可以进行对应不同的分工，两者可以通过串口连接，例如，树莓派生成机器人控制数据，并可以根据已经定义好的通信协议规范将该指令信息封装到数据包中，在完成数据封装后，通过串口发送至stm控制器，stm即可以对树莓派生成的机器人控制数据进行进一步分析，以确定可以直接进行机器人控制的控制指令。

基于此，本公开实施例还提供了一种机器人，该机器人包括机器人本体和安装于机器人本体的处理器；

处理器，用于获取机器人上设置的摄像装置采集的图像数据；确定与图像数据中的目标场景对应的任务类型；基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果；基于目标识别结果生成机器人控制数据；机器人控制数据用于控制机器人执行任务类型下、与目标识别结果匹配的处理操作。

其中，有关处理的相关处理操作参见上述实施例中的描述内容，在此不再赘述。

本申请实施例中，机器人本体可以包括积木组件，通过积木组件的拼搭可以实现不同形态的机器人，配合机器人处理器可以形成不同功能的机器人。

如图3所示的一种风扇调整机器人以及如图4所示的一种垃圾分类机器人的示例图，前者的风扇底座以及支撑风扇转动组件的支撑件可以是由积木组件拼搭得到的，后者的干、湿垃圾桶以及对应的桶盖可以是由积木组件拼搭得到的。

其中，风扇调整机器人可以通过处理器和控制器的配合调整机器人上设置的风扇转动组件完成风扇调整任务。垃圾分类机器人可以通过处理器和控制器的配合进行干、湿垃圾桶所对应垃圾回收容器的启闭，以完成垃圾回收任务。

本公开实施例提供的机器人还包括安装于机器人本体的控制器，如图3和4所示，处理器与控制器通过通信接口连接；其中，

处理器，用于将机器人控制数据传输至控制器；

控制器，用于控制机器人按照机器人控制数据执行任务类型下、与目标识别结果匹配的处理操作。

这里的控制器可以采用stm控制器，处理器可以采用树莓派，有关两者进行联合控制的方案参见上述内容的描述，在此也不再赘述。

在具体应用中，控制器可以控制机器人上的电机驱动芯片以实现机器人控制。电机驱动芯片采用微型集成电路，配合stm核心板使用实现四个直流电机运行和脉冲宽度调制(Pulse Width Modulation，PWM)软件调速，通过改变直流电机占空比的电压来改变平均电压的数值，从而改变电机的转速变化来驱动机器人运行。

其中，处理器，具体用于按照预设数据封装格式对机器人控制数据进行封装，并将得到的将封装后的机器人控制数据传输至控制器；控制器，具体用于在对封装后的机器人控制数据进行解封装之后，控制机器人执行任务类型下、与识别特征信息匹配的处理操作。

上述预设数据封装格式可以是基于处理器和控制器之间的通信协议确定的。在本公开实施例中，主要可以包括模式标志位、指令信息、循环冗余校验(Cyclic RedundancyCheck，CRC)校验、重传阈值、控制字段、可选字段等字段。其中，模式标志位用于表示电机指令或传感器指令；指令信息用于指示电机的速度、时间等参数；CRC校验用于指示校验位；重传阈值用于指示当发送失败时数据重传次数；控制字段用于指示不同模式的控制指令，例如是控制进入风扇调整模式还是垃圾分类模式。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与机器人的控制方法对应的机器人的控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述机器人的控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种机器人的控制装置的示意图，装置包括：获取模块501、确定模块502、识别模块503和生成模块504；其中，

获取模块501，用于获取机器人上设置的摄像装置采集的图像数据；

确定模块502，用于确定与图像数据中的目标场景对应的任务类型；

识别模块503，用于基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果；

生成模块504，用于基于目标识别结果生成机器人控制数据；机器人控制数据用于控制机器人执行任务类型下、与目标识别结果匹配的处理操作。

采用上述机器人的控制装置，在获取到机器人上设置的摄像装置采集的图像数据的情况下，可以确定与图像数据中的目标场景对应的任务类型，这样，即可以基于与确定的任务类型匹配的目标识别网络对图像数据进行目标识别，并可以根据得到的目标识别结果生成机器人控制数据。这里的机器人控制数据可以控制机器人执行任务类型下与目标识别结果匹配的处理操作，也即，不同的任务类型对应有不同的目标识别结果，不同的目标识别结果则可以控制机器人执行对应的处理操作，控制操作是结合任务类型来实现的，兼容了不同任务类型的机器人控制方案，这很大程度上提升了机器人的智能性，从而能够满足各种应用任务的执行需求。

在一种可能的实施方式中，识别模块503，还用于：

基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果之前，响应于目标识别网络获取指令，向网络训练平台发送目标识别网络获取请求；目标识别网络获取请求中携带有针对目标识别网络的属性需求信息；

获取网络训练平台基于目标识别网络获取请求反馈的目标识别网络。

在一种可能的实施方式中，确定模块502，用于按照如下步骤确定与图像数据中的目标场景对应的任务类型：

响应于针对多种任务类型触发按钮中目标任务类型触发按钮的触发操作，确定与目标任务类型触发按钮对应的目标任务类型；

将目标任务类型作为与目标场景对应的任务类型。

在一种可能的实施方式中，确定模块502，用于按照如下步骤确定与图像数据中的目标场景对应的任务类型：

基于图像数据进行场景特征提取，确定图像数据中的目标场景的场景特征信息；

基于场景特征信息，确定与图像数据中的目标场景对应的任务类型。

在一种可能的实施方式中，在确定的任务类型为垃圾分类任务的情况下，生成模块504，用于按照如下步骤基于目标识别结果生成机器人控制数据：

基于目标识别结果指示的目标对象的垃圾分类信息，确定与目标对象对应的机器人上的垃圾回收容器，并生成打开垃圾回收容器的机器人控制数据；

在检测到目标对象已回收到对应的垃圾回收容器的情况下，生成关闭垃圾回收容器的机器人控制数据。

在一种可能的实施方式中，在确定的任务类型为风扇调节任务，图像数据为实时视频画面的情况下，生成模块504，用于按照如下步骤基于目标识别结果生成机器人控制数据：

响应于目标识别结果指示实时视频画面中出现目标对象的人脸图像，生成转动机器人上的风扇转动组件的机器人控制数据；

响应于目标识别结果指示目标对象的人脸图像在实时视频画面中消失，生成关闭机器人上的风扇转动组件的机器人控制数据。

在一种可能的实施方式中，生成模块504，用于按照如下步骤生成转动机器人上的风扇转动组件的机器人控制数据：

响应于目标识别结果指示的目标对象的人脸图像在实时视频画面中的位置变化信息，生成调整风扇转动组件的朝向的机器人控制数据；和/或，

响应于目标识别结果指示的目标对象的人脸图像在实时视频画面中的尺寸变化信息，生成调整风扇转动组件的转动速度的机器人控制数据。

在一种可能的实施方式中，在确定的任务类型为教学任务的情况下，生成模块504，用于按照如下步骤基于目标识别结果生成机器人控制数据：

基于目标识别结果指示的目标对象的属性特征信息，确定与目标对象匹配的学习教程；

生成展示学习教程的机器人控制数据。

在一种可能的实施方式中，在确定的任务类型为游戏互动任务的情况下，生成模块504，用于按照如下步骤基于目标识别结果生成机器人控制数据：

基于目标识别结果指示的目标对象的肢体动作信息，确定与肢体动作信息指示的肢体动作匹配的机器人动作数据；

基于机器人动作数据，生成机器人控制数据。

在一种可能的实施方式中，在确定的任务类型为辅助门禁管理任务的情况下，生成模块504，用于按照如下步骤基于目标识别结果生成机器人控制数据：

基于目标识别结果指示的目标对象的人脸身份信息，判断目标对象是否为合法用户；

响应于目标对象为合法用户，生成控制打开门禁组件的机器人控制数据。

在一种可能的实施方式中，识别模块503，用于按照如下步骤训练目标识别网络：

获取图像样本以及针对图像样本标注的目标对象信息；

基于图像样本以及针对图像样本标注的目标对象信息对待训练的目标识别网络进行训练，得到训练好的目标识别网络，目标识别网络采用轻量化的神经网络；

基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果，包括：

基于训练好的目标识别网络，对图像数据进行目标识别，得到目标识别结果。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备结构示意图，包括：处理器601、存储器602、和总线603。存储器602存储有处理器601可执行的机器可读指令(比如，图5中的装置中获取模块501、确定模块502、识别模块503、生成模块504对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行时执行如下处理：

获取机器人上设置的摄像装置采集的图像数据；

确定与图像数据中的目标场景对应的任务类型；

基于与确定的任务类型匹配的目标识别网络，对图像数据进行目标识别，得到目标识别结果；

基于目标识别结果生成机器人控制数据；机器人控制数据用于控制机器人执行任务类型下、与目标识别结果匹配的处理操作。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的机器人的控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的机器人的控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种机器人的控制方法，其特征在于，包括：

获取机器人上设置的摄像装置采集的图像数据；

确定与所述图像数据中的目标场景对应的任务类型；

基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；

基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

2.根据权利要求1所述的控制方法，其特征在于，所述基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果之前，所述方法还包括：

响应于目标识别网络获取指令，向网络训练平台发送目标识别网络获取请求；所述目标识别网络获取请求中携带有针对目标识别网络的属性需求信息；

获取所述网络训练平台基于所述目标识别网络获取请求反馈的目标识别网络。

3.根据权利要求1或2所述的控制方法，其特征在于，所述确定与所述图像数据中的目标场景对应的任务类型，包括：

响应于针对多种任务类型触发按钮中目标任务类型触发按钮的触发操作，确定与所述目标任务类型触发按钮对应的目标任务类型；

将所述目标任务类型作为与所述目标场景对应的任务类型。

4.根据权利要求1-3任一所述的控制方法，其特征在于，所述确定与所述图像数据中的目标场景对应的任务类型，包括：

基于所述图像数据进行场景特征提取，确定所述图像数据中的目标场景的场景特征信息；

基于所述场景特征信息，确定与所述图像数据中的目标场景对应的任务类型。

5.根据权利要求1-4任一所述的控制方法，其特征在于，在确定的所述任务类型为垃圾分类任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的所述目标对象的垃圾分类信息，确定与所述目标对象对应的机器人上的垃圾回收容器，并生成打开所述垃圾回收容器的机器人控制数据；

在检测到所述目标对象已回收到对应的垃圾回收容器的情况下，生成关闭所述垃圾回收容器的机器人控制数据。

6.根据权利要求1-4任一所述的控制方法，其特征在于，在确定的所述任务类型为风扇调节任务，所述图像数据为实时视频画面的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

响应于所述目标识别结果指示所述实时视频画面中出现目标对象的人脸图像，生成转动所述机器人上的风扇转动组件的机器人控制数据；

响应于所述目标识别结果指示所述目标对象的人脸图像在所述实时视频画面中消失，生成关闭所述机器人上的风扇转动组件的机器人控制数据。

7.根据权利要求6所述的控制方法，其特征在于，所述生成转动所述机器人上的风扇转动组件的机器人控制数据，还包括：

响应于所述目标识别结果指示的所述目标对象的人脸图像在所述实时视频画面中的位置变化信息，生成调整所述风扇转动组件的朝向的机器人控制数据；和/或，

响应于所述目标识别结果指示的所述目标对象的人脸图像在所述实时视频画面中的尺寸变化信息，生成调整所述风扇转动组件的转动速度的机器人控制数据。

8.根据权利要求1-4任一所述的控制方法，其特征在于，在确定的所述任务类型为教学任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的属性特征信息，确定与所述目标对象匹配的学习教程；

生成展示所述学习教程的机器人控制数据。

9.根据权利要求1-4任一所述的控制方法，其特征在于，在确定的所述任务类型为游戏互动任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的肢体动作信息，确定与所述肢体动作信息指示的肢体动作匹配的机器人动作数据；

基于所述机器人动作数据，生成所述机器人控制数据。

10.根据权利要求1-4任一所述的控制方法，其特征在于，在确定的所述任务类型为辅助门禁管理任务的情况下，所述基于所述目标识别结果生成机器人控制数据，包括：

基于所述目标识别结果指示的目标对象的人脸身份信息，判断所述目标对象是否为合法用户；

响应于所述目标对象为合法用户，生成控制打开门禁组件的机器人控制数据。

11.根据权利要求1-10任一所述的控制方法，其特征在于，按照如下步骤训练所述目标识别网络：

获取图像样本以及针对所述图像样本标注的目标对象信息；

基于所述图像样本以及针对所述图像样本标注的目标对象信息对待训练的目标识别网络进行训练，得到训练好的目标识别网络，所述目标识别网络采用轻量化的神经网络；

所述基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果，包括：

基于所述训练好的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果。

12.一种机器人，其特征在于，包括机器人本体和安装于所述机器人本体的处理器；

所述处理器，用于获取机器人上设置的摄像装置采集的图像数据；确定与所述图像数据中的目标场景对应的任务类型；基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

13.根据权利要求12所述的机器人，其特征在于，还包括安装于所述机器人本体的控制器；所述处理器与所述控制器通过通信接口连接；

所述处理器，用于将所述机器人控制数据传输至所述控制器；

所述控制器，用于控制所述机器人按照所述机器人控制数据执行所述任务类型下、与所述目标识别结果匹配的处理操作。

14.根据权利要求13所述的机器人，其特征在于，

所述处理器，具体用于按照预设数据封装格式对所述机器人控制数据进行封装，并将得到的将所述封装后的机器人控制数据传输至所述控制器；

所述控制器，具体用于在对所述封装后的机器人控制数据进行解封装之后，控制所述机器人执行所述任务类型下、与所述识别特征信息匹配的处理操作。

15.一种机器人的控制装置，其特征在于，包括：

获取模块，用于获取机器人上设置的摄像装置采集的图像数据；

确定模块，用于确定与所述图像数据中的目标场景对应的任务类型；

识别模块，用于基于与确定的所述任务类型匹配的目标识别网络，对所述图像数据进行目标识别，得到目标识别结果；

生成模块，用于基于所述目标识别结果生成机器人控制数据；所述机器人控制数据用于控制所述机器人执行所述任务类型下、与所述目标识别结果匹配的处理操作。

16.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的机器人的控制方法的步骤。

17.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的机器人的控制法的步骤。

Images