CN109241955B - 识别方法和电子设备 - Google Patents

Abstract

本公开提供了一种识别方法，应用于能够基于RGB相机和TOF相机进行识别的电子设备，该方法包括：当目标物处于TOF相机的视场角范围内时：利用TOF相机获取的深度图像，对目标物进行识别；以及当目标物移出TOF相机的视场角范围时：根据深度图像与RGB图像的对应关系，利用在TOF相机获取的深度图像中获得的目标物的第一区域特征信息，在RGB相机获取的RGB图像中获得目标物的第二区域特征信息；以及基于第二区域特征信息，并利用RGB相机获取的RGB图像，对目标物进行识别。本公开还提供了一种电子设备。

Description

识别方法和电子设备

技术领域

本公开涉及一种识别方法和电子设备。

背景技术

手势交互是AR设备的一个重要功能，传统的AR设备要么基于普通RGB相机的手势识别方法实现手势交互，要么基于TOF(Time of flight)相机的手势识别方法实现手势交互。

在实现本公开构思的过程中，发明人发现：普通RGB相机的手势识别方法容易受环境光线的干扰和复杂背景颜色变化的影响，使得手势识别稳定性差，而TOF相机的手势识别方法虽然稳定性好，但受限于制造工艺，其视场角FOV较小，导致手势识别的有效范围很小。

发明内容

本公开的一个方面提供了一种稳定的、可在大范围内进行手势识别的识别方法，应用于能够基于RGB相机和TOF相机进行识别的电子设备，该方法包括：当目标物处于所述TOF相机的视场角范围内时：利用所述TOF相机获取的深度图像，对所述目标物进行识别；以及当所述目标物移出所述TOF相机的视场角范围时：根据深度图像与RGB图像的对应关系，利用在所述TOF相机获取的深度图像中获得的所述目标物的第一区域特征信息，在所述RGB相机获取的RGB图像中获得所述目标物的第二区域特征信息；以及基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别。

可选地，所述方法还包括：确定所述对应关系，包括：利用所述TOF相机获取一基准深度图像；利用所述RGB相机获取一基准RGB图像，其中，所述基准深度图像和所述基准RGB图像中包含有同一拍摄物；以及基于所述基准深度图像和所述基准RGB图像之间的映射关系，确定一用于表征所述对应关系的映射矩阵。

可选地，所述基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别，包括：基于所述第二区域特征信息，确定所述目标物在所述RGB相机获取的RGB图像中对应的像素点的色彩数值；以及基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，以识别所述目标物。

可选地，所述基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，包括：基于所述色彩数值，跟踪识别所述目标物在所述RGB相机获取的RGB图像中的位置和/或动作。

可选地，所述方法还包括当所述目标物再次移入所述TOF相机的视场角范围内时：根据RGB图像与深度图像的对应关系，利用所述目标物在所述RGB相机获取的RGB图像中的区域特征信息，重新确定所述目标物在所述TOF相机获取的深度图像中的区域特征信息；以及基于重新确定的区域特征信息，并利用所述TOF相机获取的深度图像，对所述目标物进行识别。

本公开的另一个方面提供了一种稳定的、可在大范围内进行手势识别的电子设备，包括：TOF相机，用于获取深度图像；RGB相机，用于获取RGB图像；处理器，用于：当目标物处于所述TOF相机的视场角范围内时：利用所述TOF相机获取的深度图像，对所述目标物进行识别；以及当所述目标物移出所述TOF相机的视场角范围时：根据深度图像与RGB图像的对应关系，利用在所述TOF相机获取的深度图像中获得的所述目标物的第一区域特征信息，在所述RGB相机获取的RGB图像中获得所述目标物的第二区域特征信息；以及基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别。

可选地，所述TOF相机，还用于获取一基准深度图像；所述RGB相机，还用于获取一基准RGB图像，其中，所述基准深度图像和所述基准RGB图像中包含有同一拍摄物；以及所述处理器还用于：基于所述基准深度图像和所述基准RGB图像之间的映射关系，确定一用于表征所述对应关系的映射矩阵。

可选地，所述处理器还用于：基于所述第二区域特征信息，确定所述目标物在所述RGB相机获取的RGB图像中对应的像素点的色彩数值；以及基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，以识别所述目标物。

可选地，所述处理器还用于：基于所述色彩数值，跟踪识别所述目标物在所述RGB相机获取的RGB图像中的位置和/或动作。

可选地，所述处理器还用于当所述目标物再次移入所述TOF相机的视场角范围内时：根据RGB图像与深度图像的对应关系，利用所述目标物在所述RGB相机获取的RGB图像中的区域特征信息，重新确定所述目标物在所述TOF相机获取的深度图像中的区域特征信息；以及基于重新确定的区域特征信息，并利用所述TOF相机获取的深度图像，对所述目标物进行识别。

本公开的另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的识别方法和电子设备的应用场景；

图2示意性示出了根据本公开实施例的识别方法的流程图；

图3示意性示出了根据本公开实施例的确定深度图像与RGB图像的对应关系的示意图；

图4示意性示出了根据本公开另一实施例的识别方法的流程图；

图5示意性示出了根据本公开实施例的电子设备的框图；以及

图6示意性示出了根据本公开另一实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种稳定的、可在大范围内进行手势识别的识别方法和电子设备。该方法应用于能够基于RGB相机和TOF相机进行识别的电子设备，包括当目标物处于TOF相机的视场角范围内时：利用TOF相机获取的深度图像，对目标物进行识别；以及当目标物移出TOF相机的视场角范围时：根据深度图像与RGB图像的对应关系，利用在TOF相机获取的深度图像中获得的目标物的第一区域特征信息，在RGB相机获取的RGB图像中获得目标物的第二区域特征信息；以及基于第二区域特征信息，并利用RGB相机获取的RGB图像，对目标物进行识别。

图1示意性示出了根据本公开实施例的识别方法和电子设备的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，在增强现实的应用场景中，一般会涉及手势交互和手势识别，因此，本公开提供的识别方法和电子设备可以应用于增强现实的应用场景中。

由于TOF相机用于手势识别时具有稳定性好的优势，而RGB相机用于手势识别时具有视场角范围大的优势，因此本公开提供的识别方法和电子设备兼具TOF相机手势识别稳定性好以及RGB相机手势识别视场角范围大的优势，能够实现稳定的、可在大范围内进行手势识别的目的。

此外，本公开提供的识别方法和电子设备还可以应用于其他任何需要手势识别的场景，在此不再一一赘述。

图2示意性示出了根据本公开实施例的识别方法的流程图。

如图2所示，该方法应用于能够基于RGB相机和TOF相机进行识别的电子设备，包括操作S210～S240，其中：

当目标物处于TOF相机的视场角范围内时：

执行操作S210，利用TOF相机获取的深度图像，对目标物进行识别；以及

执行操作S220，利用TOF相机获取的深度图像，获得目标物的第一区域特征信息。

具体地，TOF相机是利用飞行时间测距法获得深度图像的。飞行时间测距法是指通过向目标物连续发射光脉冲，然后用传感器接收从目标物返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物的距离。

目标物的第一区域特征信息包括目标物在深度图像中对应的像素点以及这些像素点的位置信息和深度信息。

优选地，可以从目标物即将移出TOF相机的视场角范围时获取的深度图像中，获得目标物的第一区域特征信息。

当目标物移出TOF相机的视场角范围时：

执行操作S230，根据深度图像与RGB图像的对应关系，利用在TOF相机获取的深度图像中获得的目标物的第一区域特征信息，在RGB相机获取的RGB图像中获得目标物的第二区域特征信息；以及

执行操作S240，基于第二区域特征信息，并利用RGB相机获取的RGB图像，对目标物进行识别。

优选地，可以从目标物即将移出TOF相机的视场角范围时获取的RGB图像中，获得目标物的第二区域特征信息。

在本公开实施例中，由于TOF相机和RGB相机轮流用于识别同一目标物，因此，可以使用这两个TOF相机和RGB相机分别对同一场景中同一目标物进行拍摄，获得对应的深度图像与RGB图像，并根据该目标物在这两张图像中各自对应的像素点的位置，确定这两张图像的像素点之间的对应关系，从而基于这一对应关系，将目标物即将移出TOF相机的视场角范围时目标物在深度图像中的区域特征信息即相应像素点的位置，映射到此时RGB相机针对该目标物获取的RGB图像中，得到该目标物在RGB图像中的区域特征信息即相应像素点的位置，进而确定这些位置上的色彩数值，之后，若目标物还处在TOF相机的视场角范围之外，则跟踪这些色彩数值在RGB图像中的位置变化，实现识别目标物的目的。

例如，在识别手势时，可以设定手的几个关键点，如食指尖和中指尖、掌心和拇指尖，则在手即将移出TOF相机的视场角范围时，利用TOF相机获取手的深度图像，并确定手在深度图像中的深度信息，进而确定这些深度信息对应的像素点的位置信息，比如经确定，在手即将移出TOF相机的视场角范围时获取的深度图像中，食指尖在位置A、中指尖在位置B、掌心在位置C、拇指尖在位置D，基于预先确定的两种图像(即深度图像与RGB图像)之间的对应关系，将其映射到该时刻获得的RGB图像中，食指尖在位置A’、中指尖在位置B’、掌心在位置C’、拇指尖在位置D’，并确定位置A’、位置B’、、位置C’和位置D’的色彩数值，在确定色彩数值之后，就可以从背景中准确地将手的图像从整个RGB图像中分割出来，并且，后续就可以直接跟踪这些色彩数值对应的像素点，实现跟踪手势的目的。

在本公开实施例中，考虑到TOF相机手势识别时稳定性好，因而只要目标物处在TOF相机的视场角范围内，则优先使用TOF相机进行手势识别，而当目标物移出TOF相机的视场角范围时，则使用RGB相机进行手势识别，但是由于本公开实施例使用RGB相机进行手势识别是基于TOF相机获取的目标物的区域特征信息进行的，因此，这种识别方式对外界环境的抗干扰会有明显的提升。

与现有技术中RGB相机实现的手势识别方法容易受环境光线的干扰和复杂背景颜色变化的影响，存在稳定性差的缺陷，而TOF相机实现的手势识别方法虽然不会受环境光线的干扰和复杂背景颜色变化的影响，稳定性好，但是受限于制造工艺，其视场角FOV较小，导致手势识别的有效范围很小相比，本公开实施例，能够融合RGB相机和TOF相机的优点，实现一套稳定地、可在大范围内进行手势识别的方法。

作为一种可选的实施例，该方法还包括：确定对应关系，该操作包括：利用TOF相机获取一基准深度图像；利用RGB相机获取一基准RGB图像，其中，基准深度图像和基准RGB图像中包含有同一拍摄物；以及基于基准深度图像和基准RGB图像之间的映射关系，确定一用于表征对应关系的映射矩阵。

具体地，确定该对应关系的过程实际上就是标定TOF相机和RGB相机的外参的过程，其流程如图3所示，具体包括：首先，预先设定“拍摄物”如“手”的关键点，分别为“食指尖、中指尖、掌心和拇指尖”，然后使用TOF相机拍摄“手”，得到“手”的基准深度图像，并使用RGB相机拍摄“手”，得到“手”的基准RGB图像，如果“手”的“食指尖、中指尖、掌心和拇指尖”在基准深度图像中分别对应于“位置A、位置B、位置C、位置D”，而在基准RGB图像中分别对应于“位置A’、位置B’、位置C’、位置D’”那么由位置A→位置A’、位置B→位置B’、位置C→位置C’以及位置D→位置D’可以确定一外参矩阵K，使得A’＝K A，B’＝K B，C’＝KC，D’＝KD即P_RGB＝K*P_D，其中，P_D表示目标物即将移出TOF相机的视场角时，目标物的关键点在深度图像中的位置，P_RGB表示目标物即将移出TOF相机的视场角时，目标物的相应关键点在RGB图像中的位置。

因此，矩阵K可以用于定量描述TOF相机和RGB相机所拍摄的图像的对应关系。

通过本公开实施例，使用两个相机分别对同一目标物进行拍摄，可以实现外参标定，进而能够定量表示两个相机所拍摄的图像之间的对应关系。

作为一种可选的实施例，基于第二区域特征信息，并利用RGB相机获取的RGB图像，对目标物进行识别，包括：基于第二区域特征信息，确定目标物在RGB相机获取的RGB图像中对应的像素点的色彩数值；以及基于色彩数值，在RGB相机获取的RGB图像中跟踪识别目标物，以识别目标物。

具体地，假设TOF相机和RGB相机所拍摄的图像的对应关系可以使用矩阵K表示，且P_D表示目标物即将移出TOF相机的视场角时，目标物的关键点在深度图像中的位置，P_RGB表示目标物即将移出TOF相机的视场角时，目标物的关键点在RGB图像中的位置，则P_RGB＝K*P_D，知道目标物的关键点在RGB图像中的位置，就可以知道目标物在RGB图像中对应的像素点，进而就可以读取这些像素点的色彩数值，而这些色彩数值正是描述目标物在当前环境中的表象的，如此，基于这些色彩数值跟踪“目标物”就可以减轻甚至消除当前环境的环境光线的干扰，提高手势识别的稳定性。

通过本公开实施例，可以减轻甚至消除环境光对使用RGB相机进行手势识别的影响。

作为一种可选的实施例，基于色彩数值，在RGB相机获取的RGB图像中跟踪识别目标物，包括：

基于色彩数值，跟踪识别目标物在目标物在RGB相机获取的RGB图像中的位置和/或动作。

具体地，可以将这些色彩数值在RGB图像的像素点对应的位置的总体作为目标物在RGB图像中的位置。

进一步，实时跟踪识别目标物在RGB图像中的位置，并通过目标物在RGB图像中的边缘梯度，确定目标物的形态，从而判断目标物的动作。

作为一种可选的实施例，如图4所示，该方法还包括：

执行操作S410，利用RGB相机获取的RGB图像，获得目标物的区域特征信息。

具体地，可以基于目标物再次移入TOF相机的视场角范围时获取的RGB图像，确定目标物的区域特征信息。

当目标物再次移入TOF相机的视场角范围内时：

执行操作S420，根据RGB图像与深度图像的对应关系，利用目标物在RGB相机获取的RGB图像中的区域特征信息，重新确定目标物在TOF相机获取的深度图像中的区域特征信息；以及

执行操作S430，基于重新确定的区域特征信息，并利用TOF相机获取的深度图像，对目标物进行识别。

具体地，RGB图像与深度图像的对应关系就是对深度图像与RGB图像的对应关系求逆。

例如，假设深度图像与RGB图像的对应关系用矩阵K表示，则RGB图像与深度图像的对应关系应该用矩阵K^-1表示，假设P_RGB表示目标物刚刚移入TOF相机的视场角时，目标物在RGB图像中的位置，P_D表示目标物刚刚移入TOF相机的视场角时，目标物在深度图像中的位置，则P_D＝K^-1*P_RGB。

通过本公开实施例，可以优先使用TOF相机进行手势识别，以提高手势识别的稳定性。

图5示意性示出了根据本公开实施例的电子设备的框图。

如图5所示，电子设备500包括TOF相机530、RGB相机540和处理器510。该电子设备500可以执行上面方法实施例所描述的方法，以实现稳定的、可在大范围内的手势识别。

具体地，TOF相机530，用于获取深度图像。

RGB相机540，用于获取RGB图像。

处理器510，包括第一识别模块、获取模块和第二识别模块。其中，当目标物处于TOF相机的视场角范围内时：第一识别模块用于利用TOF相机获取的深度图像，对目标物进行识别；以及当目标物移出TOF相机的视场角范围时：获取模块用于根据深度图像与RGB图像的对应关系，利用在TOF相机获取的深度图像中获得的目标物的第一区域特征信息，在RGB相机获取的RGB图像中获得目标物的第二区域特征信息；以及第二识别模块基于第二区域特征信息，并利用RGB相机获取的RGB图像，对目标物进行识别。

与现有技术中RGB相机实现的手势识别方法容易受环境光线的干扰和复杂背景颜色变化的影响，存在稳定性差的缺陷，而TOF相机实现的手势识别方法虽然不会受环境光线的干扰和复杂背景颜色变化的影响，稳定性好，但是受限于制造工艺，其视场角FOV较小，导致手势识别的有效范围很小相比，本公开实施例，能够融合RGB相机和TOF相机的优点，实现一套稳定地、可在大范围内进行手势识别的方法。

作为一种可选的实施例，TOF相机，还用于获取一基准深度图像；RGB相机，还用于获取一基准RGB图像，其中，基准深度图像和基准RGB图像中包含有同一拍摄物；以及处理器还用于：基于基准深度图像和基准RGB图像之间的映射关系，确定一用于表征对应关系的映射矩阵。

通过本公开实施例，使用两个相机分别对同一目标物进行拍摄，可以实现外参标定，进而能够定量表示两个相机所拍摄的图像之间的对应关系。

作为一种可选的实施例，处理器还用于：基于第二区域特征信息，确定目标物在RGB相机获取的RGB图像中对应的像素点的色彩数值；以及基于色彩数值，在RGB相机获取的RGB图像中跟踪识别目标物，以识别目标物。

通过本公开实施例，可以减轻甚至消除环境光对使用RGB相机进行手势识别的影响。

作为一种可选的实施例，处理器还用于：基于色彩数值，跟踪识别目标物在RGB相机获取的RGB图像中的位置和/或动作。

作为一种可选的实施例，处理器还用于当目标物再次移入TOF相机的视场角范围内时：根据RGB图像与深度图像的对应关系，利用目标物在RGB相机获取的RGB图像中的区域特征信息，重新确定目标物在TOF相机获取的深度图像中的区域特征信息；以及基于重新确定的区域特征信息，并利用TOF相机获取的深度图像，对目标物进行识别。

通过本公开实施例，可以优先使用TOF相机进行手势识别，以提高手势识别的稳定性。

根据本公开的实施例的处理器可以通过模块、子模块、单元、子单元来实现，并且这些模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，处理器530可以包括第一识别模块、获取模块和第二识别模块，且第一识别模块、获取模块和第二识别模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一识别模块、获取模块和第二识别模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一识别模块、获取模块和第二识别模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开另一实施例的电子设备的框图。图6示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备500包括处理器510、计算机可读存储介质520、TOF相机530和RGB相机540。该电子设备500可以执行根据本公开实施例的方法。

具体地，处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质520，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质520可以包括计算机程序521，该计算机程序521可以包括代码/计算机可执行指令，其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。

计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序521中的代码可以包括一个或多个程序模块，例如包括521A、模块521B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，处理器510可以与TOF相机530和RGB相机540进行交互，来执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，第一识别模块、获取模块和第二识别模块中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器510执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时电可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种识别方法，应用于能够基于RGB相机和TOF相机进行识别的电子设备，所述方法包括：

当目标物处于所述TOF相机的视场角范围内时：

利用所述TOF相机获取的深度图像，对所述目标物进行识别；以及

当所述目标物移出所述TOF相机的视场角范围时：

根据深度图像与RGB图像的对应关系，利用在所述TOF相机获取的深度图像中获得的所述目标物的第一区域特征信息，在所述RGB相机获取的RGB图像中获得所述目标物的第二区域特征信息，其中，所述第一区域特征信息包括所述目标物在所述深度图像中对应的像素点以及所述像素点的位置信息和深度信息；以及

基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别。

2.根据权利要求1所述的方法，其中，所述方法还包括：

确定所述对应关系，包括：

利用所述TOF相机获取一基准深度图像；

利用所述RGB相机获取一基准RGB图像，其中，所述基准深度图像和所述基准RGB图像中包含有同一拍摄物；以及

基于所述基准深度图像和所述基准RGB图像之间的映射关系，确定一用于表征所述对应关系的映射矩阵。

3.根据权利要求1所述的方法，其中，所述基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别，包括：

基于所述第二区域特征信息，确定所述目标物在所述RGB相机获取的RGB图像中对应的像素点的色彩数值；以及

基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，以识别所述目标物。

4.根据权利要求3所述的方法，其中，所述基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，包括：

基于所述色彩数值，跟踪识别所述目标物在所述RGB相机获取的RGB图像中的位置和/或动作。

5.根据权利要求1所述的方法，其中，所述方法还包括当所述目标物再次移入所述TOF相机的视场角范围内时：

根据RGB图像与深度图像的对应关系，利用所述目标物在所述RGB相机获取的RGB图像中的区域特征信息，重新确定所述目标物在所述TOF相机获取的深度图像中的区域特征信息；以及

基于重新确定的区域特征信息，并利用所述TOF相机获取的深度图像，对所述目标物进行识别。

6.一种电子设备，包括：

TOF相机，用于获取深度图像；

RGB相机，用于获取RGB图像；

处理器，用于：

当目标物处于所述TOF相机的视场角范围内时：

利用所述TOF相机获取的深度图像，对所述目标物进行识别；以及

当所述目标物移出所述TOF相机的视场角范围时：

根据深度图像与RGB图像的对应关系，利用在所述TOF相机获取的深度图像中获得的所述目标物的第一区域特征信息，在所述RGB相机获取的RGB图像中获得所述目标物的第二区域特征信息，其中，所述第一区域特征信息包括所述目标物在所述深度图像中对应的像素点以及所述像素点的位置信息和深度信息；以及

基于所述第二区域特征信息，并利用所述RGB相机获取的RGB图像，对所述目标物进行识别。

7.根据权利要求6所述的电子设备，其中：

所述TOF相机，还用于获取一基准深度图像；

所述RGB相机，还用于获取一基准RGB图像，其中，所述基准深度图像和所述基准RGB图像中包含有同一拍摄物；以及

所述处理器还用于：基于所述基准深度图像和所述基准RGB图像之间的映射关系，确定一用于表征所述对应关系的映射矩阵。

8.根据权利要求6所述的电子设备，其中，所述处理器还用于：

基于所述第二区域特征信息，确定所述目标物在所述RGB相机获取的RGB图像中对应的像素点的色彩数值；以及

基于所述色彩数值，在所述RGB相机获取的RGB图像中跟踪识别所述目标物，以识别所述目标物。

9.根据权利要求8所述的电子设备，其中，所述处理器还用于：

基于所述色彩数值，追踪所述目标物在所述目标物在所述RGB相机获取的RGB图像中的位置和/或动作。

10.根据权利要求6所述的电子设备，其中，所述处理器还用于当所述目标物再次移入所述TOF相机的视场角范围内时：

根据RGB图像与深度图像的对应关系，利用所述目标物在所述RGB相机获取的RGB图像中的区域特征信息，重新确定所述目标物在所述TOF相机获取的深度图像中的区域特征信息；以及

基于重新确定的区域特征信息，并利用所述TOF相机获取的深度图像，对所述目标物进行识别。

Images