CN109919128B - 控制指令的获取方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种控制指令的获取方法、装置及电子设备，对于电子设备(如AR设备)的深度摄像头对目标对象(如手部)进行图像采集，得到的第一图像信息，从该第一图像信息识别到的目标对象的特征数据不满足预设条件，如目标对象的图像不完整，本申请能够获取鱼眼摄像头采集到的目标对象的第二图像信息，由于鱼眼摄像头要比深度摄像头的视场角大，能够获得完整的目标对象图像，所以，利用该第二图像信息和识别出的目标对象在第一图像信息中的位置信息，能够准确得到针对电子设备的控制指令，实现对电子设备的控制，保证使用者与电子设备的可靠交互。

Description

控制指令的获取方法、装置及电子设备

技术领域

本申请主要涉及通信技术领域，更具体地说是涉及一种控制指令的获取方法、装置及电子设备。

背景技术

AR(Augmented Reality，增强现实)设备是一种利用AR技术的电子设备，以AR眼镜为例，由于AR技术能够将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间，用户佩戴AR眼镜后，视野范围内出现什么物体，就能够在用户眼前展示相应的3D图像，实现了超越现实的感官体验。

然而，AR眼镜无法像手持设备一样方便操作，通常是使用语音或基于图像识别的手势等方式进行操作，极大约束了AR眼镜的交互方式。并且，因摄像头的视场角较小，往往会限制AR眼镜的图像识别范围，导致无法识别到完整手势，也就无法使用手势交互方式，实现对AR眼镜的操作。

发明内容

有鉴于此，本申请提供了一种控制指令的获取方法、装置及电子设备，用以解决现有技术中因摄像头的视场角较小，导致无法识别到完整手势的问题。

为了实现上述发明目的，本申请提供了以下技术方案：

本申请提供给了一种控制指令获取方法，所述方法包括

获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

优选地，所述利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令，包括：

获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系；

利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据；

基于所述目标对象的特征数据及所述轮廓数据，得到所述目标对象的状态信息；

生成与所述目标对象的状态信息对应的控制指令。

优选地，所述深度摄像头与所述鱼眼摄像头的图像映射关系的构建过程包括：

获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；

在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，生成所述深度摄像头和所述鱼眼摄像头的图像映射关系。

优选地，所述预设条件是指采集到的图像信息包含目标对象的完整轮廓数据的条件。

优选地，所述目标对象是手部，所述对所述第一图像信息进行图像识别，包括：

对所述第一图像信息进行手势分割，得到手部模型；

对所述手部模型进行手势分析，得到手势的轮廓特征；

所述目标对象的特征数据不满足预设条件包括：

所述手势的轮廓特征未包含所述手部的完整轮廓数据。

优选地，所述获取第二图像信息包括：

获取与所述第一图像信息同时采集的第二图像信息；或者，

控制鱼眼摄像头追踪所述目标对象轮廓，确定所述鱼眼摄像头的预览图像包含所述目标对象的完整轮廓，控制所述鱼眼摄像头进行图像采集，得到所述目标对象的第二图像信息。

本申请还提供了一种控制指令获取装置，所述装置包括

图像识别模块，用于获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

图像获取模块，用于如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

控制指令获取模块，用于利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

优选地，所述控制指令获取模块包括：

图像映射关系获取单元，用于获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系；

轮廓数据提取单元，用于利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据；

对象状态确定单元，用于基于所述目标对象的特征数据及所述轮廓数据，得到所述目标对象的状态信息；

控制指令生成单元，用于生成与所述目标对象的状态信息对应的控制指令。

优选地，所述装置还包括：

坐标数据获取模块，用于获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；

图像映射关系构建模块，用于在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，构建所述深度摄像头和所述鱼眼摄像头的图像映射关系。

本申请还提供了一种电子设备，所述电子设备包括本体，设置在所述本体中的深度摄像头、鱼眼摄像头、存储器及处理器，其中：

所述深度摄像头用于对目标对象进行图像采集，得到第一图像信息；

所述鱼眼摄像头用于对所述目标对象进行图像采集，得到第二图像信息；

所述存储器用于存储实现如上所述的控制指令获取方法的程序；

所述处理器用于加载并执行所述存储器存储的程序，所述程序用于：

获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

由此可见，与现有技术相比，本申请提供了一种控制指令的获取方法、装置及电子设备，对于电子设备(如AR设备)的深度摄像头对目标对象(如手部)进行图像采集，得到的第一图像信息，从该第一图像信息识别到的目标对象的特征数据不满足预设条件，如目标对象的图像不完整，本申请能够获取鱼眼摄像头采集到的目标对象的第二图像信息，由于鱼眼摄像头要比深度摄像头的视场角大，能够获得完整的目标对象图像，所以，利用该第二图像信息和识别出的目标对象在第一图像信息中的位置信息，能够准确得到针对电子设备的控制指令，实现对电子设备的控制，保证使用者与电子设备的可靠交互。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种控制指令的获取方法的流程图；

图2是本申请实施例提供的另一种控制指令的获取方法的流程图；

图3是本申请实施例提供的构建的深度摄像头采集到的图像信息和鱼眼摄像头采集到的图像信息之间的图像映射关系示意图；

图4是本申请实施例提供的一种控制指令获取装置的结构示意图；

图5是本申请实施例提供的另一种控制指令获取装置的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

针对现有技术中基于图像识别的手势方式对AR设备进行操作时，存在由于深度摄像头的视场角小导致无法识别到完整的手势，进而无法实现对AR设备操作的问题，本申请实施例提供了控制指令的获取方法。利用鱼眼摄像头和深度摄像头对目标对象进行图像采集，使得在基于深度摄像头没有采集到目标对象的完整图像的情况下，可以借助鱼眼摄像头采集到的目标对象的图像进行图像识别，从而识别到完整的手势，基于手势实现对AR设备的操作。

本实施例提供的控制指令的获取方法，应用于电子设备中，如AR设备，参见图1所示，所述获取方法具体包括以下步骤：

S101、获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到。

电子设备包括深度摄像头，深度摄像头的视场角小，且由深度摄像头采集到深度图像信息，获取到的场景中深度信息不受目标对象自身的颜色、纹理特征以及环境光线强弱的影响。

其中，目标对象指的是用于对电子设备进行手势控制的对象，如用户的手部。

深度摄像头采集到包括目标对象的第一图像信息后，对第一图像信息进行图像识别，识别出目标对象在第一图像信息中的位置以及得到该目标对象的特征数据。

特征数据指的是目标对象的属性特征数据，如目标对象的轮廓、边缘、形状等。

S102、如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到。

受到深度摄像头的视场角影响，基于深度摄像头采集到的第一图像信息可能存在只包括一定识别范围的目标对象，从而导致对第一图像信息进行图像识别后得到的目标对象的特征数据不满足预设条件。

预设条件指的是能够识别出完整目标对象的条件，如采集到的图像信息包含目标对象的完整轮廓数据的条件。

本实施例中，确定识别到的目标对象的特征数据不满足预设条件，说明不能通过第一图像信息识别出目标对象的完整轮廓数据，则获取第二图像信息，以从第二图像信息中识别出目标对象的完整轮廓数据。

其中，所述第二图像信息是利用电子设备上的鱼眼摄像头采集得到的。

鱼眼摄像头是可以独立实现大范围无死角监控的全景摄像头，其视场角足够大，覆盖了电子设备上的深度摄像头的视场角。

以AR设备为例，AR眼镜设备上设置有用于头部跟踪的单鱼眼摄像头，单鱼眼摄像头的焦距极短并且视场角接近或等于180°。相较于现有技术，本实施例中AR设备上的单鱼眼摄像头不仅用于头部跟踪，而且作为深度摄像头的补充，采集目标对象的图像以识别出目标对象的完整轮廓数据。

同时，本实施例中利用的是电子设备上的深度摄像头以及鱼眼摄像头，从而并不需要对电子设备的硬件进行改进。

需要注意的是，如果对第一图像信息进行图像识别，识别到的目标对象的特征数据满足预设条件，则基于识别到的目标对象的特征数据，得到针对电子设备的控制指令，而不需要获取第二图像信息。

S103、利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

结合第一图像信息以及第二图像信息，识别出目标对象的完整轮廓数据，以目标对象为手部为例，识别出手部的完整轮廓数据后，可以确定出当前的手势，如握拳、伸出两根手指，并基于手势确定出对应的控制指令。如握拳对应的控制指令为缩小，伸出两根手指对应的控制指令为向左移动。

本申请实施例提出的控制指令的获取方法，对于电子设备(如AR设备)的深度摄像头对目标对象(如手部)进行图像采集，得到的第一图像信息，从该第一图像信息识别到的目标对象的特征数据不满足预设条件，如目标对象的图像不完整，本申请能够获取鱼眼摄像头采集到的目标对象的第二图像信息，由于鱼眼摄像头要比深度摄像头的视场角大，能够获得完整的目标对象图像，所以，利用该第二图像信息和识别出的目标对象在第一图像信息中的位置信息，能够准确得到针对电子设备的控制指令，实现对电子设备的控制，保证使用者与电子设备的可靠交互。同时并不需要对电子设备的硬件进行改进，降低了开发成本。

参见图2所示，为本申请实施例提供的另一种控制指令获取方法，本实施例中以目标对象是手部为例进行描述，具体包括以下步骤：

S201、获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到。

获取到深度图像信息后，将深度图像信息转换为灰度值图像，并经过手势分割后得到手部模型，再对手部模型进行手势分析，得到手势的轮廓特征。

手势分割的方式包括基于直方图的分割方式、基于局部区域信息的分割方式、或基于物理特征的分割方式。

其中，基于直方图的分割方式是将灰度直方图的波谷作为阈值，并采用阈值进行分割，该种分割方式对于内容简单的图像而言可以实现很好的分割效果，而且实现简单。

基于局部区域信息的分割方式是采用边缘检测方法进行图像分割，该种分割方式可以实现对内容复杂图像的分割，但是在图像中的目标对象和图像背景的灰度值接近时，将不能得到明显的边缘，进而不能检测到边缘不能实现很好的分割效果。

基于物理特征的分割方式是采用颜色等一些物理特征对图像进行分割，如基于肤色实现对图像的分割。基于肤色的图像分割方式适用于内容复杂的图像中，但是，光线对肤色会产生影响，进而影响对图像的分割结果。

在实际应用中，可以根据实际需求选择适当的分割方式对第一图像信息进行手势分割，得到手部模型。当然，在一些情况下，还可以采用多种分割方式相结合的方式对第一图像信息进行手势分割。

可选地，本实施例中采用基于直方图的分割方式进行手势分割，即利用图像中手势区域与背景区域不同的深度值分割出手势区域。同一深度的像素点在深度图像中灰度值是相同的，但是每次用户和深度摄像头之间的距离可能不同，从而无法使用固定深度阈值实现手势区域的分割，需要先确定手势区域与背景区域之间的分割阈值。

通常手部位于距离深度摄像头近的区域，且手部对应的手势区域相较于背景区域而言面积较小，因此从灰度值由大到小开始寻找像素点个数的变化，像素点个数变化大的灰度值作为分割阈值。

例如，灰度值为250的像素点个数为20个，灰度值为200的像素点个数为200，灰度值为150的像素点个数为210，灰度值为100的像素点个数为220，灰度值为50的像素点个数为240，灰度值为0的像素点个数为300，则确定灰度值250为分割阈值。

基于确定的分割阈值对深度图像信息进行手势分割，得到手部模型。

在得到手部模型后，对手势模型进行手势分析，以提取到手势的手势特征，其中手势特征包括轮廓特征、边缘特征、形状特征等。

手势分析包括边缘轮廓提取法、多特征结合法、指关节式跟踪法。其中，边缘轮廓提取法指的是提取手势模型的边缘轮廓以实现手势识别，多特征结合法指的是将手势形状和手指指尖特征结合以实现手势识别，指关节式跟踪法指的是根据人手关节点的位置变化以实现手势识别。

采用不同的手势分析方法，从手部模型中提取到的手势特征是不同的，可选地，本实施例中采用边缘轮廓提取法，从手部模型中提取到手势的轮廓特征。

S202、如果识别到的所述手势的轮廓特征未包含所述手部的完整轮廓数据，则获取与所述第一图像信息同时采集的第二图像信息；

或者，控制鱼眼摄像头追踪所述目标对象轮廓，确定所述鱼眼摄像头的预览图像包含所述目标对象的完整轮廓，控制所述鱼眼摄像头进行图像采集，得到所述目标对象的第二图像信息；所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到。

本实施例中在识别到手势的轮廓特征未包含所述手部的完整轮廓数据的情况下，需要借助第二图像信息以获取到手部的完整轮廓数据。

在实际应用中，获取第二图像信息的方式包括两种，第一种为：获取与所述第一图像信息同时采集的第二图像信息。

具体实施时，深度摄像头对手部进行图像采集得到第一图像信息的同时，鱼眼摄像头也对手部进行图像采集得到第二图像信息。使得深度摄像头以及鱼眼摄像头能够采集到同一时刻的手部图像信息，保证基于深度摄像头采集到的第一图像信息识别出的手势与基于语言摄像头采集到的第二图像信息识别出的手势是同一手势，避免由于深度摄像头以及鱼眼摄像头分别在不同时刻对手部进行图像采集导致获取到不同的手势。

第二种为：控制鱼眼摄像头追踪所述目标对象轮廓，确定所述鱼眼摄像头的预览图像包含所述目标对象的完整轮廓，控制所述鱼眼摄像头进行图像采集，得到所述目标对象的第二图像信息。

采用目标追踪算法，控制鱼眼摄像头追踪手部轮廓，直至手部处于鱼眼摄像头的采集区域范围内，确定鱼眼摄像头的预览图像包含手部的完整轮廓后，才控制鱼眼摄像头采集手部的第二图像信息，而并不是直接利用鱼眼摄像头采集第二图像信息，提高了根据第二图像信息识别出手部的完整轮廓的概率。

对深度图像信息进行图像识别以从中提取到手势轮廓的操作简单，计算量小，可以快速提取到手势轮廓。但是，受到视场角的影响，手势的可识别范围受到限制。而针对鱼眼摄像头采集到的第二图像信息进行的图像识别以提取到手势轮廓的方案而言，虽然手势的可识别范围大，但是其操作复杂计算量大，不能实现快速提取到手势轮廓。

针对此，本实施例中对鱼眼摄像头采集到的第二图像信息的处理时，并不对第二图像信息进行手势分割的操作，而是基于对第一图像信息的手势分割操作而确定出的手势模型在第一图像信息中的位置，以及第一图像信息和第二图像信息之间的映射关系，确定出手势模型在第二图像信息中的位置，并从第二图像信息中对应位置的区域范围内提取手部的轮廓数据。由于仅对第二图像信息的局部区域进行处理，大大降低了计算量。

本实施例中，预先构建深度摄像头采集到的第一图像信息和鱼眼摄像头采集到的第二图像信息之间的图像映射关系。

参见图3所示，图像映射关系的构建过程包括：

获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，生成所述深度摄像头和所述鱼眼摄像头的图像映射关系。

如图3所示，第一方向为z轴方向，获取到深度摄像头的视场角投影在z轴方向的截平面上的第一坐标数据为对应面积较小的矩形的边框处的坐标数据，可以仅获取到矩形四个角处的坐标数据，在深度摄像头所在的坐标系中，左下角坐标数据为(0，0)、右下角坐标数据为(W_tof,0)、右上角坐标数据为(W_tof,H_tof)、左上角坐标数据为(0,H_tof)。其中，W_tof是深度摄像头采集到图像的分辨率的宽，H_tof是深度摄像头采集到图像的分辨率的高。

获取到鱼眼摄像头的视场角投影在z轴方向的的截平面上的第二坐标数据为对应面积较大的矩形的边框处的坐标数据，可以仅获取到矩形四个角处的坐标数据，在鱼眼摄像头所在的坐标系中，左下角坐标数据为(0，0)、右下角坐标数据为(W_fisheye,0)、右上角坐标数据为(W_fisheye,H_fisheye)、左上角坐标数据为(0,H_fisheye)。其中，W_fisheye是鱼眼摄像头采集到图像的分辨率的宽，H_fisheye是鱼眼摄像头采集到图像的分辨率的高。

对深度摄像头和鱼眼摄像头的坐标系关系进行标定，得到第一坐标数据中左下角坐标数据在鱼眼摄像头的视场角投影的坐标数据为(x’_fisheye,y’_fisheye)。

基于第一坐标数据、第二坐标数据以及标定的深度摄像头和鱼眼摄像头的坐标系关系，确定深度摄像头的图像映射到鱼眼摄像头的图像中时，深度摄像头图像的左下角坐标数据为(x’_fisheye,y’_fisheye)，右下角坐标数据为(x’_fisheye+W_tof,y’_fisheye)，右上角坐标数据为(x’_fisheye+W_tof,y’_fisheye+H_tof)，左上角坐标数据为(0,y’_fisheye+H_tof)。

生成的深度摄像头和鱼眼摄像头的图像映射关系为：深度摄像头图像的左下角坐标数据(0，0)对应鱼眼摄像头图像的(x’_fisheye,y’_fisheye)，深度摄像头图像的右下角坐标数据W_tof,0)对应鱼眼摄像头图像的(x’_fisheye+W_tof,y’_fisheye)，深度摄像头图像的右上角坐标数据(W_tof,H_tof)对应鱼眼摄像头图像的(x’_fisheye+W_tof,y’_fisheye+H_tof)，深度摄像头图像的左上角坐标数据(0,H_tof)对应鱼眼摄像头图像的(0,y’_fisheye+H_tof)。

S203、获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系。

获取如图3所示的图像映射关系。

S204、利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据。

示例性的，确定手部在第一图像信息中的位置信息为左下角坐标为(a0,b0)、右下角坐标为(a1,b1)、右上角坐标为(a2,b2)、左上角坐标为(a3,b3)构成的区域内。基于图3所示的图像映射关系，确定第二图像信息中手部所在的区域为左下角坐标为(a0+x’_fisheye,b0+y’_fisheye)、右下角坐标为(a1+x’_fisheye,b1+y’_fisheye)、右上角坐标为(a2+x’_fisheye,b2+y’_fisheye)、左上角坐标为(a3+x’_fisheye,b3+y’_fisheye)构成的区域。

并从第二图像信息中左下角坐标为(a0+x’_fisheye,b0+y’_fisheye)、右下角坐标为(a1+x’_fisheye,b1+y’_fisheye)、右上角坐标为(a2+x’_fisheye,b2+y’_fisheye)、左上角坐标为(a3+x’_fisheye,b3+y’_fisheye)构成的区域内提取手部的轮廓数据。

其中，对第二图像信息中手部区域对应的图像进行识别以提取到手部轮廓数据的方式可以采用与步骤S201中对第一图形信息进行图像识别方式相同的方式。S205、基于所述目标对象的轮廓数据，得到所述目标对象的状态信息。

目标对象的状态信息包括伸出两根手指、握拳等，用于标识手势。

基于提取到的目标对象的轮廓数据，进行手势识别。

手势识别的方法包括模板匹配方法、统计分析方法、神经网络方法。

其中，模板匹配方法指的是将提取到的手部的轮廓数据与预先存储的模板的轮廓数据进行匹配，通过测量提取到的手部的轮廓数据与模板中的轮廓数据的相似度确定手部的轮廓数据对应模板中的哪一轮廓数据，从而确定其对应的手势。

统计分析方法指的是从原始样本中提取特定的特征向量，对提取到的特征向量进行分类，得到分类器，然后基于分类器对采集到的图像进行分类识别。以特征向量为轮廓特征向量为例，基于分类器对第二图像信息中的手部进行分类识别，从而确定其对应的手势。

神经网络方法指的是训练得到神经网络模型，基于神经网络模型对采集到的图像进行分类识别，从而确定其对应的手势。

可选地，本实施例中采用模板匹配方法，基于提取到的目标对象的轮廓数据，得到目标对象的状态信息，从而确定其对应的手势。S206、生成与所述目标对象的状态信息对应的控制指令。

预先存储目标对象的状态信息与控制指令之间的对应关系，一种实现方式为以映射表的方式维护目标对象的状态信息与控制指令之间的对应关系。

得到目标对象的状态信息后，从映射表中查找与目标对象的状态信息对应的控制指令，并生成控制指令。

示例性的，手部的状态信息为握拳，生成缩小的控制指令；手部的状态信息为伸出两根手指，生成向左移动的控制指令。

本申请实施例提出的控制指令的获取方法，对鱼眼摄像头采集到的第二图像信息的处理时，并不对第二图像信息进行手势分割的操作，而是基于对第一图像信息的手势分割操作而确定出的手势模型在第一图像信息中的位置，以及第一图像信息和第二图像信息之间的映射关系，确定出手势模型在第二图像信息中的位置，并从第二图像信息中对应位置的区域范围内提取手部的轮廓数据。由于仅对第二图像信息的局部区域进行处理，大大降低了计算量，实现了同时利用深度摄像头提取手部的轮廓高效的优点以及利用鱼眼摄像头的大视场角的优点。

对应上述实施例公开的控制指令获取方法，本实施例提供了一种控制指令获取装置，参见图4所示，该装置包括：

图像识别模块401、图像获取模块402和控制指令获取模块403；

图像识别模块401，用于获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

图像获取模块402，用于如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

控制指令获取模块403，用于利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

本申请实施例提出的控制指令获取装置，对于电子设备(如AR设备)的深度摄像头对目标对象(如手部)进行图像采集，得到的第一图像信息，从该第一图像信息识别到的目标对象的特征数据不满足预设条件，如目标对象的图像不完整，本申请能够获取鱼眼摄像头采集到的目标对象的第二图像信息，由于鱼眼摄像头要比深度摄像头的视场角大，能够获得完整的目标对象图像，所以，利用该第二图像信息和识别出的目标对象在第一图像信息中的位置信息，能够准确得到针对电子设备的控制指令，实现对电子设备的控制，保证使用者与电子设备的可靠交互。同时并不需要对电子设备的硬件进行改进，降低了开发成本。

在图4所示的获取装置的基础上，本实施例公开了另一种控制指令获取装置，参见图5所示，控制指令获取模块403包括：

图像映射关系获取单元4031、轮廓数据提取单元4032、对象状态确定单元4033和控制指令生成单元4034；

具体地，图像映射关系获取单元4031，用于获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系；

轮廓数据提取单元4032，用于利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据；

对象状态确定单元4033，用于基于所述轮廓数据，得到所述目标对象的状态信息；

控制指令生成单元4034，用于生成与所述目标对象的状态信息对应的控制指令。

可选地，在其他实施例中，装置还包括：

坐标数据获取模块501、图像映射关系构建模块502；

坐标数据获取模块501，用于获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；

图像映射关系构建模块502，用于在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，构建所述深度摄像头和所述鱼眼摄像头的图像映射关系。

本申请实施例提出的控制指令获取装置，对鱼眼摄像头采集到的第二图像信息的处理时，并不对第二图像信息进行手势分割的操作，而是基于对第一图像信息的手势分割操作而确定出的手势模型在第一图像信息中的位置，以及第一图像信息和第二图像信息之间的映射关系，确定出手势模型在第二图像信息中的位置，并从第二图像信息中对应位置的区域范围内提取手部的轮廓数据。由于仅对第二图像信息的局部区域进行处理，大大降低了计算量，实现了同时利用深度摄像头提取手部的轮廓高效的优点以及利用鱼眼摄像头的大视场角的优点。

对应上述实施例提供的控制指令的获取方法，本实施例公开了一种电子设备，如AR设备，参见图6所示，该电子设备包括：

本体601；

设置在本体601中的深度摄像头602、鱼眼摄像头603、存储器604及处理器605。图6所示的深度摄像头602以及鱼眼摄像头603的位置关系并不表示实际应用中两个摄像头设置在电子设备本体中的位置关系。

其中：

深度摄像头602用于对目标对象进行图像采集，得到第一图像信息；

鱼眼摄像头603用于对所述目标对象进行图像采集，得到第二图像信息；

存储器604用于存储实现如图1或图2所示的控制指令获取方法的程序；

处理器605用于加载并执行存储器604存储的程序，所述程序用于：

获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

利用本实施例提出的电子设备包括的深度摄像头以及鱼眼摄像头，对手势进行识别并生成控制指令。先利用深度摄像头采集手部图像，在从深度摄像头采集到的手部图像中能够提取到手部的完整轮廓的情况下，基于提取到的手部的完整轮廓识别出手势，而在从深度摄像头采集到的手部图像中不能够提取到手部的完整轮廓的情况下，利用鱼眼摄像头采集手部图像，由于鱼眼摄像头具有大视场角，因此采集到的手部图像中包括手部的完整轮廓，在从鱼眼摄像头采集到的手部图像中提取手部轮廓的过程中，借助于对深度摄像头采集到的深度图像的识别过程中确定出的手部位置，确定映射到鱼眼摄像头采集到的手部图像中的位置，并仅对鱼眼摄像头采集到的手部图像中的局部区域进行识别处理，从而避免了对鱼眼摄像头采集到的手部图像的处理操作复杂，计算量大的问题。同时，并不需要对电子设备的硬件结构进行改进，降低了开发成本。

另外，需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种控制指令获取方法，其特征在于，所述方法包括

获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令，包括：

获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系；

利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据；

基于所述轮廓数据，得到所述目标对象的状态信息；

生成与所述目标对象的状态信息对应的控制指令。

2.根据权利要求1所述的方法，其特征在于，所述深度摄像头与所述鱼眼摄像头的图像映射关系的构建过程包括：

获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；

在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，生成所述深度摄像头和所述鱼眼摄像头的图像映射关系。

3.根据权利要求1～2任意一项所述的方法，其特征在于，所述预设条件是指采集到的图像信息包含目标对象的完整轮廓数据的条件。

4.根据权利要求3所述的方法，其特征在于，所述目标对象是手部，所述对所述第一图像信息进行图像识别，包括：

对所述第一图像信息进行手势分割，得到手部模型；

对所述手部模型进行手势分析，得到手势的轮廓特征；

所述目标对象的特征数据不满足预设条件包括：

所述手势的轮廓特征未包含所述手部的完整轮廓数据。

5.根据权利要求1～2任意一项所述的方法，其特征在于，所述获取第二图像信息包括：

获取与所述第一图像信息同时采集的第二图像信息；或者，

控制鱼眼摄像头追踪所述目标对象轮廓，确定所述鱼眼摄像头的预览图像包含所述目标对象的完整轮廓，控制所述鱼眼摄像头进行图像采集，得到所述目标对象的第二图像信息。

6.一种控制指令获取装置，其特征在于，所述装置包括

图像识别模块，用于获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

图像获取模块，用于如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

控制指令获取模块，用于利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令；

所述控制指令获取模块包括：

图像映射关系获取单元，用于获取预先构建的所述深度摄像头与所述鱼眼摄像头的图像映射关系；

轮廓数据提取单元，用于利用所述目标对象在所述第一图像信息中的位置信息，按照所述图像映射关系，从所述第二图像信息中提取所述目标对象的轮廓数据；

对象状态确定单元，用于基于所述轮廓数据，得到所述目标对象的状态信息；

控制指令生成单元，用于生成与所述目标对象的状态信息对应的控制指令。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

坐标数据获取模块，用于获取所述深度摄像头的视场角投影在第一方向的截平面上的第一坐标数据，及所述鱼眼摄像头的视场角投影在所述第一方向的截平面上的第二坐标数据；

图像映射关系构建模块，用于在标定所述深度摄像头和所述鱼眼摄像头的坐标系关系的情况下，利用所述第一坐标数据和所述第二坐标数据，构建所述深度摄像头和所述鱼眼摄像头的图像映射关系。

8.一种电子设备，其特征在于，所述电子设备包括本体，设置在所述本体中的深度摄像头、鱼眼摄像头、存储器及处理器，其中：

所述深度摄像头用于对目标对象进行图像采集，得到第一图像信息；

所述鱼眼摄像头用于对所述目标对象进行图像采集，得到第二图像信息；

所述存储器用于存储实现如权利要求1～5任意一项所述的控制指令获取方法的程序；

所述处理器用于加载并执行所述存储器存储的程序，所述程序用于：

获取第一图像信息，并对所述第一图像信息进行图像识别，所述第一图像信息由电子设备的深度摄像头对目标对象进行图像采集得到；

如果识别到的所述目标对象的特征数据不满足预设条件，获取第二图像信息，所述第二图像信息由所述电子设备的鱼眼摄像头对所述目标对象进行图像采集得到；

利用所述第二图像信息和所述目标对象在所述第一图像信息中的位置信息，得到针对所述电子设备的控制指令。

Images