CN109397286A - 机器人控制方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种机器人控制方法、装置、电子设备和计算机可读存储介质。所述方法包括：采集至少两帧深度图像，深度图像包含人体的深度信息，根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令，并将目标操作指令发送给机器人，目标操作指令用于指示机器人执行对应的操作。由于可以根据至少两帧深度图像检测的人体动作获取对应的目标操作指令，使得机器人执行对应的操作，可以提高对机器人控制的便捷性。

Description

机器人控制方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种机器人控制方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展，机器人技术得到了快速的发展。机器人多应用家庭娱乐、幼儿教育、门店销售、公共服务等场景，人们可以通过遥控器、移动终端等电子设备向机器人发送指令，从而使机器人根据该指令执行相应的动作。

发明内容

本申请实施例提供一种机器人控制方法、装置、电子设备和计算机可读存储介质，可以提高对机器人操控的便捷性。

一种机器人控制方法，包括：

采集至少两帧深度图像，所述深度图像包含人体的深度信息；

根据所述至少两帧深度图像检测对应的人体动作；

获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

一种机器人控制装置，包括：

图像采集模块，用于采集至少两帧深度图像，所述深度图像包含人体的深度信息；

动作检测模块，用于根据所述至少两帧深度图像检测对应的人体动作；

指令发送模块，用于获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

采集至少两帧深度图像，所述深度图像包含人体的深度信息；

根据所述至少两帧深度图像检测对应的人体动作；

获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

采集至少两帧深度图像，所述深度图像包含人体的深度信息；

根据所述至少两帧深度图像检测对应的人体动作；

获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

上述机器人控制方法、装置、电子设备和计算机可读存储介质，通过采集至少两帧包含人体深度信息的深度图像，根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令并发送给机器人，使得机器人执行对应的操作。由于可以根据至少两帧深度图像检测的人体动作获取对应的目标操作指令，使得机器人执行对应的操作，可以提高机器人控制的便捷性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中机器人控制方法的应用环境图；

图2为一个实施例中机器人控制方法的流程图；

图3为一个实施例中检测人体姿势的流程图；

图4为一个实施例中构建三维人体模型的流程图；

图5为一个实施例中机器人控制方法的流程图；

图6为一个实施例中机器人控制装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一位置称为第二位置，且类似地，可将第二位置称为第一位置。第一位置和第二位置两者都是位置，但其不是同一位置。

图1为一个实施例中机器人控制方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和机器人120。电子设备110可以采集至少两帧包含人体深度信息的深度图像，根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令，并将目标操作指令发送给机器人120，机器人120根据该目标操作指令执行对应的操作。可以理解的是，上述电子设备可以但不限于是手机、电脑、可穿戴设备等；机器人可以是工业机器人、家用机器人、服务型机器人等不限于此。

图2为一个实施例中机器人控制方法的流程图。本实施例中的机器人控制方法，以运行于图1中的电子设备上为例进行描述。如图2所示，机器人控制方法包括步骤202至步骤206。

步骤202，采集至少两帧深度图像，深度图像包含人体的深度信息。

深度图像是由多个像素点的深度信息组成的图像。具体地，深度图像可以是电子设备通过摄像头实时捕捉当前场景的画面生成的。深度信息是指摄像头与拍摄场景中被拍摄物体之间的距离信息。例如，人体的深度信息即为摄像头与被拍摄的人体之间的距离信息。深度信息的采集方法有多种，例如双目测距法、结构光法、飞行时间法等，在此不做限定。电子设备可以预设采样频率，根据采样频率采集至少两帧深度图像。采样频率是指单位时间内采集图像的帧数。例如，采样频率可以是10帧每秒、20帧每秒、30帧每秒、40帧每秒等不限于此。电子设备采集至少两帧深度图像，具体地，电子设备可以对深度图像进行识别，当识别到深度图像中包含人体时，对包含人体的深度图像进行采集；电子设备可以直接对深度图像进行采集，再获取包含人体的深度图像。

步骤204，根据至少两帧深度图像检测对应的人体动作。

人体动作是指人体肢体位置或人体所处环境相对环境等的变化过程。人体动作可以是点头、抬头、举手、前行、后退、左转、右转等；人体动作也可以具体到变化的幅度，例如，人体动作可以是向上抬头45度、举手至手指顶部与头部在同一高度、前行1米等。深度图像中包含的人体可以是1个或多个。具体地，电子设备可以检测深度图像中人体面积与深度图像面积的比值超过面积阈值的人体对应人体动作，也可以检测深度图像中距离摄像头在预设距离内的人体的对应的人体动作，还可以检测人体面积最大或与摄像头距离最小的第一预设数量个人体对应的人体动作等不限于，在此提到的面积阈值、预设距离和第一预设数量都可以根据实际应用需求设定，在此不做限定。

电子设备根据至少两帧深度图像检测对应的人体动作，具体地，电子设备可以根据至少两帧深度图像中人体各个关节点的位置变换确定对应的人体动作。电子设备可以根据连续采集的第二预设数量帧深度图像进行检测。例如，电子设备根据连续采集的20帧、40帧或60帧深度图像等检测人体动作。电子设备也可以根据每隔预设时间采集的至少两帧深度图像进行检测等。例如，可以根据每隔1秒、2秒、3秒采集的至少两帧深度图像进行检测，此时电子设备检测的图像帧数根据预设时间与采样频率进行确定，如当采样频率为20帧每秒时，电子设备可以根据1秒内采集的20帧图像进行检测，也可以根据2秒内采集的40帧图像进行检测等不限于此。第二预设数量和预设时间都可以根据实际需求进行设定，在此不做限定。

步骤206，获取人体动作对应的目标操作指令，并将目标操作指令发送给机器人，目标操作指令用于指述机器人执行对应的操作。

操作指令是指用于指挥设备工作的指示和命令。目标操作指令是指与检测的人体动作对应的操作指令。电子设备获取人体动作对应的目标操作指令，具体地，电子设备可以预存不同人体动作对应的操作指令，当电子设备根据至少两帧深度图像检测到人体动作时，可以根据人体动作获取对应的操作指令作为目标操作指令。在本申请实施例中，操作指令是用于指示机器人执行对应操作的指令。例如，操作指令可以指示机器人执行对应的动作如点头、举手、前行、握手等，也可以指示机器人启动相应的应用程序如开启视频监控功能、自动跟随功能等不限于此。电子设备获取人体动作对应的目标操作指令并发送给机器人，机器人可以根据该目标操作指令执行对应的操作。

本申请提供的实施例，通过采集至少两帧包含人体深度信息的深度图像，根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令并发送给机器人，机器人根据该目标操作指令执行对应的操作，提高了对机器人操控的便捷性。

在一个实施例中，提供的机器人控制方法中根据至少两帧深度图像检测对应的人体动作的过程包括：检测每一帧深度图像分别对应的人体姿势，根据至少两帧深度图像对应的人体姿势得到人体动作。

人体姿势是指人体架势呈现的状态。电子设备检测每一帧深度图像分别对应的人体姿势，具体地，电子设备可以预存不同人体姿势对应的深度图像，将采集的深度图像与预存的深度图像进行匹配，获得匹配的预存深度图像对应的人体姿势。在一个实施例中，电子设备可以识别每一帧深度图像中人体的各个关节点，根据人体各个关节点的位置确定深度图像中人体对应的人体姿势。

电子设备根据至少两帧深度图像对应的人体姿势得到人体动作，具体地，电子设备可以预存连续人体姿势对应的人体动作，从而根据连续采集的至少两帧深度图像对应的人体姿势匹配到对应的人体动作。例如，当存在第一深度图像中人体姿势为立正、第二深度图像中人体姿势为低头、第三深度图像中人体姿势也为立正，则电子设备可以根据立正、低头、立正的连续人体姿势确定对应的人体动作为点头。

电子设备检测每一帧深度图像分别对应的人体姿势，根据至少两帧深度图像对应的人体姿势得到人体动作，从而获取人体动作对应的目标操作指令并发送给机器人，机器人根据该目标操作指令执行对应的操作，可以提高机器人控制的准确性。

如图3所示，在一个实施例中，提供的机器人控制方法中检测每一帧深度图像分别对应的人体姿势的过程包括：

步骤320，根据每一帧深度图像构建三维人体模型。

电子设备构建的三维人体模型可以展示深度图像中人体对应的人体姿势。

如图4所示，在一个实施例中，提供的机器人控制方法中根据每一帧深度图像构建三维人体模型的过程包括步骤322至步骤326。其中：

步骤322，检测每一帧深度图像中人体的各个关节点的位置。

关节点是指人体中骨与骨连接的位置。根据人体的各个关节点的位置可以确定人体对应的人体姿势。电子设备检测每一帧深度图像中人体的各个关节点的位置，具体地，电子设备可以通过基于图像特征的算法或基于模型可变参数的算法等对深度图像进行检测，获取该深度图像中人体的各个关节点的位置。

步骤324，根据各个关节点的位置及人体的深度信息计算各个关节点的相对距离。

相对距离是指三维的空间距离。电子设备检测深度图像中各个关节点获得的是二维平面中各个关节点的位置，电子设备可以进一步根据深度图像的深度信息计算各个关节点的相对距离。

步骤326，根据各个关节点的位置及相对距离构建三维人体模型。

电子设备根据各个关节点的位置及相对距离构建三维人体模型，具体地，电子设备可以以人体的任一关节点的位置作为坐标系的原点，以人体宽度方向作为X轴，以人体高度方向作为Y轴，以人体厚度方向作为Z轴建立三维坐标系，从而根据各个关节点的位置及相对距离转化为三维坐标系中相对应的三维坐标，构建该深度图像对应的三维人体模型。

步骤304，根据三维人体模型确定深度图像对应的人体姿势。

电子根据三维人体模型确定深度图像对应的人体姿势，具体地，电子设备可以根据三维人体模型获取人体对应的各个关节点，从而根据各个关节点的位置检测人体姿势。在一个实施例中，电子设备可以预存不同人体姿势对应的关节点位置，当通过三维人体模型获取到深度图像中人体的各个关节点位置时，可以将检测的各个关节点的位置与预存的人体姿势对应的关节点位置进行匹配，获得匹配度最高的人体姿势作为深度图像中人体对应的人体姿势。

电子设备可以根据该三维人体模型确定深度图像中人体对应的人体姿势。电子设备还可以根据至少两帧深度图像构建三维人体模型，三维人体模型可以展示不同深度图像中人体姿势的变化，从而电子设备可以根据三维人体模型确定至少两帧深度图像对应的人体动作。可以提高人体姿势和人体动作检测的准确性，从而提高对机器人控制的便捷性和准确性。

如图5所示，在一个实施例中，提供的机器人控制方法包括步骤502至步骤508，其中：

步骤502，采集至少两帧深度图像，深度图像包含人体的深度信息。

步骤504，检测每一帧深度图像分别对应的人体姿势。

步骤506，检测人体的目标关节点在相邻两帧深度图像中分别对应的第一位置和第二位置。

目标关节点是指人体动作对应的关节点。具体地，目标关节点可以是人体的全部关节点，也可以是人体部分肢体包含的关节点，还可以是在相邻两帧深度图像中位置发生变化的关节点。例如，当人体动作为举手时，则目标关节点可以是手部对应的关节点如手腕关节点、肘关节点、肩关节点、手指关节点等。在一个实施例中，目标关节点也可以是根据需求进行设定的关节点，例如，电子设备可以预设不同场景信息对应的目标关节点，如跳舞场景的目标关节点为人体全部的关节点、端盘子等服务场景的目标关节点为手指与腿部的关节点，电子设备可以接收机器人发送的场景信息，根据该场景信息确定对应的目标关节点。电子设备可以对相邻两帧深度图像进行检测，获取人体的目标关节点在相邻两帧深度图像中分别对应的第一位置和第二位置。电子设备获取的第一位置和第二位置包含了目标关节点在深度图像中的位置及对应的深度信息。

步骤508，根据第一位置和第二位置计算目标关节点在相邻两帧深度图像中的距离值。

距离值是指第一位置与第二位置之间的距离。具体地，距离值可以是指第一位置与第二位置之间的深度距离，也可以是第一位置与第二位置在平面距离值，还可以是指第一位置与第二位置的空间距离值，或前述三者的结合等。电子设备可以根据第一位置和第二位置包含的在深度图像中的位置与深度信息计算目标关节点在相邻两帧深度图像中的距离值。在一个实施例中，电子设备可以根据距离值、第一位置和第二位置确定人体动作，从而根据人体动作获取对应的目标操作指令。

步骤510，根据距离值、第一位置和第二位置生成目标操作指令。

电子设备根据距离值、第一位置和第二位置生成目标操作指令。具体地，电子设备可以将距离值、第一位置和第二位置转化为机器人中各个机械关节对应的伸展和收缩的距离，根据该距离与对应的机械关节生成目标操作指令，从而将目标操作指令发送给机器人时，机器人可以根据该目标操作指令包含的机械关节与距离控制对应的机械关节伸展或收缩相应的距离。

电子设备采集至少两帧深度图像，检测每一帧深度图像分别对应的人体姿势，检测人体的目标关节点在相邻两帧深度图像中分别对应的第一位置和第二位置，根据第一位置和第二位置计算目标关节点在相邻两帧深度图像中的距离值，根据该距离值、第一位置和第二位置生成目标操作指令并发送给机器人，机器人根据目标操作指令执行相应的操作。由于可以检测目标关节点在相邻两帧深度图像中的第一位置、第二位置及距离值，从而生成目标操作指令被机器人执行，可以提高机器人控制的精确度。

在一个实施例中，提供的机器人控制方法中根据人体动作获取对应的目标操作指令，并将目标操作指令发送给机器人的过程包括：根据人体动作获取对应的目标操作指令，将目标操作指令发送给服务器，并通过服务器将目标操作指令实时传输给机器人。

服务器可以是独立的服务器或者是多个服务器组成的服务器集群等。服务器起中转作用，可以将电子设备发送的目标操作指令传输给机器人，还可以将机器人上传的其他数据如机器人实时采集的视频数据、动作信息等传输给电子设备。电子设备、服务器与机器人之间可以采用各种有线或无线通信方式。在一个实施例中，电子设备、服务器与机器人采用websocket通信协议进行数据传输。websocket通信协议是基于TCP(TransmissionControl Protocol，传输控制协议)的全双工通信协议，从而实现电子设备、服务器和机器人之间数据的实时传输，即当电子设备发送目标操作指令时，服务器可以实时将该目标操作指令发送给机器人，使电子设备根据目标操作指令执行对应的操作，提高了数据传输效率与机器人控制的便捷性，并减少了服务器的压力。

在一个实施例中，提供的机器人控制方法还可以包括：接收机器人发送的场景信息，场景信息是对机器人实时采集的视频数据进行识别得到的；根据场景信息对采样频率进行调整；则上述机器人控制方法中采集至少两帧深度图像的过程包括：根据调整后的采样频率采集至少两帧深度图像。

视频数据是机器人通过摄像头实时捕捉当前场景的画面生成的。场景信息可以包括场景类型、场景中人数、场景中存在的物体等信息。机器人可以对采集的视频数据进行场景识别，得到视频数据对应的场景信息并发送给电子设备。在一个实施例中，机器人也可以将采集的视频数据发送给服务器，由服务器对视频数据进行场景识别，得到视频数据对应的场景信息并发送给电子设备。

采样频率是指单位时间内采集图像的帧数。采样频率越高、电子设备检测人体动作的准确性越高。电子设备接收机器人发送的场景信息，根据场景信息对采样频率进行调整，具体地，电子设备可以预设不同场景信息对应的调整幅度，从而在接收到场景信息后，获取对应的调整幅度对采样频率进行调整。例如，电子设备可以预设游戏场景、巡逻场景、商场场景对应的调整幅度分别为增加5帧每秒、减少5帧每秒、增加10帧秒，若当前采样频率为20帧每秒，则当电子设备接收到机器人的场景信息为商场场景时，可以将采样频率调整为30帧每秒，并根据调整后的采样频率采集至少两帧深度图像进行检测。在一个实施例中，电子设备还可以预存不同场景信息对应的采样频率，从而根据接收的场景信息获取对应的采样频率作为调整后的采样频率，根据调整后的采样频率采集至少两帧深度图像进行检测。

电子设备接收机器人发送的场景信息，根据场景信息对采样频率进行调整，根据调整后的采样频率采集至少两帧深度图像，从而根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令并发送给机器人，机器人根据该目标操作指令执行对应的操作，实现了通过人体动作对机器人进行控制。由于根据场景信息对采样频率进行调整，在准确性要求较高的场景下采用较高的采样频率，可以提高机器人控制的准确性；在准确性要求较低的场景下采用较低的采样频率采集深度图像，可以减少功耗。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例机器人控制装置600的结构框图。如图6所示，该机器人控制装置600包括图像采集模块602、动作检测模块604和指令发送模块606。其中：

图像采集模块602，用于采集至少两帧深度图像，深度图像包含人体的深度信息。

动作检测模块604，用于根据至少两帧深度图像检测对应的人体动作。

指令发送模块606，用于获取人体动作对应的目标操作指令，并将目标操作指令发送给机器人，目标操作指令用于指述机器人执行对应的操作。

在一个实施例中，动作检测模块604还可以用于检测每一帧深度图像分别对应的人体姿势，根据至少两帧深度图像对应的人体姿势得到人体动作。

在一个实施例中，该机器人控制装置600还包括姿势检测模块608，姿势检测模块608用于根据每一帧深度图像构建三维人体模型，根据三维人体模型确定深度图像对应的人体姿势。

在一个实施例中，提供的机器人控制装置600还包括模型构建模块610，模型构建模块610用于检测每一帧深度图像中人体的各个关节点的位置，根据各个关节点的位置及人体的深度信息计算各个关节点的相对距离，根据各个关节点的位置及相对距离构建三维人体模型。

在一个实施例中，指令发送模块606还可以用于检测每一帧深度图像分别对应的人体姿势，获取至少两帧深度图像中的相邻两帧深度图像，检测人体的目标关节点在相邻两帧深度图像中分别对应的第一位置和第二位置，根据第一位置和第二位置计算目标关节点在相邻两帧深度图像中的距离值，根据距离值、第一位置和第二位置生成目标操作指令并发送给机器人。

在一个实施例中，指令发送模块606还可以用于根据人体动作获取对应的目标操作指令，将目标操作指令发送给服务器，并通过服务器将目标操作指令实时传输给机器人。

在一个实施例中，图像采集模块602还可以用于接收机器人发送的场景信息，场景信息是对机器人实时采集的视频数据进行识别得到的，根据场景信息对采样频率进行调整，根据调整后的采样频率采集至少两帧深度图像。

本申请实施例提供的机器人控制装置，可以采集至少两帧包含人体深度信息的深度图像，根据至少两帧深度图像检测对应的人体动作，获取人体动作对应的目标操作指令并发送给机器人，使得机器人执行对应的操作。由于可以根据至少两帧深度图像检测的人体动作获取对应的目标操作指令，使得机器人执行对应的操作，可以通过人体动作对机器人进行控制，提高了对机器人控制的便捷性。

上述机器人控制装置中各个模块的划分仅用于举例说明，在其他实施例中，可将机器人控制装置按照需要划分为不同的模块，以完成上述机器人控制装置的全部或部分功能。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种机器人控制方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供机器人控制装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括第一ISP处理器830、第二ISP处理器840和控制逻辑器850。第一摄像头810包括一个或多个第一透镜812和第一图像传感器814。第一图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器814可获取用第一图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器830处理的一组图像数据。第二摄像头820包括一个或多个第二透镜822和第二图像传感器824。第二图像传感器824可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器824可获取用第二图像传感器824的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器840处理的一组图像数据。

第一摄像头810采集的第一图像传输给第一ISP处理器830进行处理，第一ISP处理器830处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第一摄像头810的控制参数，从而第一摄像头810可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器830进行处理后可存储至图像存储器860中，第一ISP处理器830也可以读取图像存储器860中存储的图像以对进行处理。另外，第一图像经过ISP处理器830进行处理后可直接发送至显示屏870进行显示，显示屏870也可以读取图像存储器860中的图像以进行显示。

其中，第一ISP处理器830按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器830可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器860可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器814接口时，第一ISP处理器830可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器860，以便在被显示之前进行另外的处理。第一ISP处理器830从图像存储器860接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器830处理后的图像数据可输出给显示屏870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器830的输出还可发送给图像存储器860，且显示屏870可从图像存储器860读取图像数据。在一个实施例中，图像存储器860可被配置为实现一个或多个帧缓冲器。

第一ISP处理器830确定的统计数据可发送给控制逻辑器850。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜812阴影校正等第一图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头810的控制参数及第一ISP处理器830的控制参数。例如，第一摄像头810的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜812阴影校正参数。

同样地，第二摄像头820采集的第二图像传输给第二ISP处理器840进行处理，第二ISP处理器840处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第二摄像头820的控制参数，从而第二摄像头820可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器840进行处理后可存储至图像存储器860中，第二ISP处理器840也可以读取图像存储器860中存储的图像以对进行处理。另外，第二图像经过ISP处理器840进行处理后可直接发送至显示屏870进行显示，显示屏870也可以读取图像存储器860中的图像以进行显示。第二摄像头820和第二ISP处理器840也可以实现如第一摄像头810和第一ISP处理器830所描述的处理过程。

电子设备根据上述图像处理技术可以实现本申请实施例中所描述的机器人控制方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行机器人控制方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行机器人控制方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人控制方法，其特征在于，包括：

采集至少两帧深度图像，所述深度图像包含人体的深度信息；

根据所述至少两帧深度图像检测对应的人体动作；

获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两帧深度图像检测对应的人体动作，包括：

检测每一帧所述深度图像分别对应的人体姿势；

根据所述至少两帧深度图像对应的人体姿势得到所述人体动作。

3.根据权利要求2所述的方法，其特征在于，所述检测每一帧所述深度图像分别对应的人体姿势，包括：

根据每一帧所述深度图像构建三维人体模型；

根据所述三维人体模型确定所述深度图像对应的所述人体姿势。

4.根据权利要求3所述的方法，其特征在于，所述根据每一帧所述深度图像构建三维人体模型，包括：

检测每一帧所述深度图像中人体的各个关节点的位置；

根据各个所述关节点的位置及所述人体的深度信息计算各个所述关节点的相对距离；

根据各个所述关节点的位置及相对距离构建三维人体模型。

5.根据权利要求2所述的方法，其特征在于，所述根据所述至少两帧深度图像对应的人体姿势得到人体动作，包括：

检测所述人体的目标关节点在所述相邻两帧深度图像中分别对应的第一位置和第二位置；

根据所述第一位置和第二位置计算所述目标关节点在所述相邻两帧深度图像中的距离值，根据所述距离值、第一位置和第二位置确定所述人体动作；

所述获取所述人体动作对应的目标操作指令，包括：

根据所述距离值、第一位置和第二位置生成所述目标操作指令。

6.根据权利要求1所述的方法，其特征在于，所述获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，包括：

根据所述人体动作获取对应的目标操作指令，将所述目标操作指令发送给服务器，并通过所述服务器将所述目标操作指令实时传输给所述机器人。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述机器人发送的场景信息，所述场景信息是对所述机器人实时采集的视频数据进行识别得到的；

根据所述场景信息对所述采样频率进行调整；

所述采集至少两帧深度图像，包括：

根据调整后的采样频率采集至少两帧深度图像。

8.一种机器人控制装置，其特征在于，包括：

图像采集模块，用于采集至少两帧深度图像，所述深度图像包含人体的深度信息；

动作检测模块，用于根据所述至少两帧深度图像检测对应的人体动作；

指令发送模块，用于获取所述人体动作对应的目标操作指令，并将所述目标操作指令发送给机器人，所述目标操作指令用于指示所述机器人执行对应的操作。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的机器人控制方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。