CN111079613B - 姿势识别方法和装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供的姿势识别方法和装置、电子设备及存储介质，涉及图像处理技术领域。在本申请中，首先，对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像。其次，基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像。然后，基于预设的参考视频流对更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于该二值化图像再次执行基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤。最后，在匹配结果满足预设条件时，基于该匹配结果得到目标视频流中姿势信息的识别结果。通过上述方法，可以改善现有的姿势识别技术存在识别结果的准确度较低的问题。

Description

姿势识别方法和装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种姿势识别方法和装置、电子设备及存储介质。

背景技术

随着图像处理技术的不断发展，该技术的应用范围也得到不断的扩展。其中，基于图像处理技术的图像识别技术在众多的场景得到应用，如收不姿势识别或头部姿势识别等。经发明人研究发现，在现有的姿势识别技术中，存在着识别结果的准确度较低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种姿势识别方法和装置、电子设备及存储介质，以改善现有的姿势识别技术存在识别结果的准确度较低的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种姿势识别方法，包括：

对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像，其中，该目标视频流包括至少一帧目标图像；

基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像；

基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于该二值化图像再次执行所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤；

在所述匹配结果满足所述预设条件时，基于该匹配结果得到所述目标视频流中姿势信息的识别结果。

在本申请实施例较佳的选择中，在上述姿势识别方法中，所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤，包括：

对每一帧二值化图像分别进行图像形态学操作；

对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。

在本申请实施例较佳的选择中，在上述姿势识别方法中，执行所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤的次数小于预设值，且该预设值大于2。

在本申请实施例较佳的选择中，在上述姿势识别方法中，所述对获取的目标视频流中的每一帧目标图像进行二值化处理的步骤，包括：

针对获取的目标视频流中的每一帧目标图像，对该帧目标图像进行灰度化处理，并基于肤色分割算法对得到的每一帧灰度图像进行分割处理；

基于大津算法确定分割处理后的每一帧灰度图像的预设阈值，并基于该预设阈值对分割处理后的每一帧灰度图像进行二值化处理。

在本申请实施例较佳的选择中，在上述姿势识别方法中，所述基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理的步骤，包括：

通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值化图像进行规整化处理；

基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频流中对应的一帧参考图像进行姿势匹配处理，其中，所述参考视频流包括至少一帧参考图像。

在本申请实施例较佳的选择中，在上述姿势识别方法中，所述参考视频流为多个，所述匹配结果为多个，所述基于该匹配结果得到所述目标视频流中姿势信息的识别结果的步骤，包括：

基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视频流；

基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息，在该至少两个参考视频流中确定目标参考视频流。

在本申请实施例较佳的选择中，在上述姿势识别方法中，所述基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息，在该至少两个参考视频流中确定目标参考视频流的步骤，包括：

获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息，并基于该质心位置信息确定该更新后的二值化图像的第一轨迹信息；

将所述第一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较处理，并基于比较处理的结果在所述至少两个参考视频流中确定目标参考视频流。

本申请实施例还提供了一种姿势识别装置，包括：

图像获得模块，用于对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像，其中，该目标视频流包括至少一帧目标图像；

图像更新模块，用于基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像；

图像匹配模块，用于基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于所述图像更新模块对所述更新后的二值化图像再次进行处理；

姿势识别模块，用于在所述匹配结果满足所述预设条件时，基于该匹配结果得到所述目标视频流中姿势信息的识别结果。

在上述基础上，本申请实施例还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

与所述存储器连接的处理器，用于执行所述计算机程序，以实现上述的姿势识别方法。

在上述基础上，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述的姿势识别方法。

本申请提供的姿势识别方法和装置、电子设备及存储介质，通过在对二值化图像进行姿势匹配处理之后，判断得到的匹配结果是否满足预设条件，并在不满足预设条件时，再次基于轮廓处理算法对二值化图像进行处理。如此，在再次进行姿势匹配时，因匹配的二值化图像具有较高的精度，使得匹配结果具有较高的准确度，从而改善现有的姿势识别技术中由于在进行一次姿势匹配之后就直接基于匹配结果得到识别结果而存在识别结果的准确度较低的问题，具有较高的实用价值。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的电子设备的方框示意图。

图2为本申请实施例提供的姿势识别方法包括的各步骤的流程示意图。

图3为图2中步骤S110包括的各子步骤的流程示意图。

图4为图2中步骤S120包括的各子步骤的流程示意图。

图5为图2中步骤S130包括的各子步骤的流程示意图。

图6为本申请实施例提供的进行时间规整化处理的效果示意图。

图7为图2中步骤S140包括的各子步骤的流程示意图。

图8为本申请实施例提供的确定第一轨迹信息的效果示意图。

图9为本申请实施例提供的姿势识别装置包括的各功能模块的方框示意图。

图标：10-电子设备；12-存储器；14-处理器；100-姿势识别装置；110-图像获得模块；120-图像更新模块；130-图像匹配模块；140-姿势识别模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请实施例提供了一种电子设备10，可以包括存储器12、处理器14和姿势识别装置100。

其中，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述姿势识别装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述姿势识别装置100所包括的软件功能模块及计算机程序等，以实现本申请实施例提供的姿势识别方法。

可选地，所述存储器12可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

所述处理器14可以是一种通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它设备(如图像拍摄设备)进行信息交互的通信单元。

其中，所述电子设备10可以包括，但不限于，手机、电脑、平板电脑、个人计算机等终端设备，以及服务器设备。

结合图2，本申请实施例还提供一种可应用于上述电子设备10的姿势识别方法。其中，该姿势识别方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程进行详细阐述。

步骤S110，对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像。

在本实施例中，可以先获取待处理的目标视频流，然后，再对该目标视频流中的每一帧目标图像进行二值化处理，得到二值化图像。

其中，所述目标视频流包括至少一帧目标图像，即该目标视频流既可以包括一帧目标图像，也可以包括多帧目标图像。因而，可以得到至少一帧二值化图像。也就是说，针对每一帧目标图像，进行二值化处理之后，都可以得到一帧二值化图像。

步骤S120，基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像。

在本实施例中，基于步骤S110得到至少一帧二值化图像之后，为了提高进行姿势匹配的效率和准确度，可以基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像。

如此，可以使得更新后的二值化图像的轮廓信息相较于更新前的二值化图像的轮廓信息，具有较高的清晰度和可识别度。

步骤S130，基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，得到匹配结果。

在本实施例中，基于步骤S120得到至少一帧更新后的二值化图像之后，可以先基于预设的参考视频流对该二值化图像进行姿势匹配处理，得到相应的匹配结果。然后，可以对该匹配结果是否达到预设条件进行匹配。

其中，在所述匹配结果不满足预设条件时，可以再次执行步骤S120，以对所述至少一帧更新后的二值化图像再次基于所述轮廓处理算法进行处理，使得处理后的二值化图像的轮廓信息再次得到更新，从而具有更高的清晰度和可识别度。并且，在所述匹配结果满足所述预设条件时，可以执行步骤S140。

步骤S140，基于所述匹配结果得到所述目标视频流中姿势信息的识别结果。

在本实施例中，在基于步骤S130得到的匹配结果，满足预设条件时，表明该匹配结果具有较高的可靠度，因而，可以基于该匹配结果得到所述目标视频流中姿势信息的识别结果。

基于上述方法，由于在再次经过步骤S120的处理后，再次进行姿势匹配时，因匹配的二值化图像具有较高的精度(有更高的清晰度和可识别度)，使得匹配结果具有较高的准确度，从而改善现有的姿势识别技术中由于在进行一次姿势匹配之后就直接基于匹配结果得到识别结果而存在识别结果的准确度较低的问题，具有较高的实用价值。并且，由于进行匹配的二值化图像具有较高的清晰度和可识别度，还可以提高姿势匹配的效率。

第一方面，对于步骤S110需要说明的是，对获取的目标视频流进行二值化处理的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以先对获取的目标视频流中的每一帧目标图像进行灰度化处理，然后，对得到的灰度图像进行二值化处理。

又例如，在另一种可以替代的示例中，为了提高二值化处理的效率和精度，结合图3，步骤S110可以包括步骤S111和步骤S113，具体内容如下所述。

步骤S111，针对获取的目标视频流中的每一帧目标图像，对该帧目标图像进行灰度化处理，并基于肤色分割算法对得到的每一帧灰度图像进行分割处理。

在本实施例中，所述电子设备10可以通过通信连接的图像拍摄设备(如网络摄像机)或该电子设备10自身携带的图像拍摄设备(如手机等终端设备携带的摄像头)对目标对象进行拍摄，然后，从该图像拍摄设备获取拍摄该目标对象得到的至少一帧目标图像。

并且，在得到该至少一帧目标图像之后，可以先对每一帧目标图像进行灰度化处理，得到相应的灰度图像。然后，可以基于肤色分割算法对得到的每一帧灰度图像进行分割处理，以将每一帧灰度图像中的背景部分分离，从而得到每一帧灰度图像中的前景部分(该前景部分具有待识别的姿势信息)。

步骤S113，基于大津算法确定分割处理后的每一帧灰度图像的预设阈值，并基于该预设阈值对分割处理后的每一帧灰度图像进行二值化处理。

在本实施例中，在基于步骤S111得到分割处理后的灰度图像之后，还可以先基于大津算法确定每一帧灰度图像的预设阈值，然后，再基于该预设阈值对分割处理后的每一帧灰度图像进行二值化处理，得到相应的二值化图像。

其中，所述大津算法，也称为otsu算法。并且，在确定所述预设阈值之后，如0-255之间的一个值，可以将每一帧分割处理后的灰度图像的每一个像素点的像素值与该预设阈值进行比较，若该像素值小于该预设阈值，可以将该像素值更新为0，若该像素值不小于该预设阈值，可以将该像素值更新为255。如此，可以使得二值化后的图像中的像素点的像素值为0或255，从而得到二值化图像。

可选地，执行步骤S111对目标图像进行灰度化处理的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以基于分量法对所述目标图像进行灰度化处理。又例如，在另一种可以替代的示例中，可以基于最大值法对所述目标图像进行灰度化处理。再例如，在另一种可以替代的示例中，还可以基于平均值法和加权平均法对所述目标图像进行灰度化处理。

其中，执行步骤S111对灰度图像进行分割处理的具体方式不受限制，例如，可以采用现有技术中的肤色分割算法，如基于HSV(Hue Saturation Value，色调饱和度明度)颜色空间的分割算法。

第二方面，对于步骤S120需要说明的是，基于轮廓处理算法对二值化图像进行处理的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以通过图像形态学操作对所述二值化图像进行轮廓优化处理，使得优化处理后的二值化图像中的轮廓信息具有更高的清晰度和可识别度。

又例如，在另一种可以替代的示例中，也可以通过高斯滤波对所述二值化图像进行轮廓优化处理，使得优化处理后的二值化图像中的轮廓信息具有更高的清晰度和可识别度。

再例如，在另一种可以替代的示例中，可以结合图像形态学操作和高斯滤波对所述二值化图像进行轮廓优化处理。基于此，结合图4，步骤S120可以包括步骤S121和步骤S123，具体内容如下所述。

步骤S121，对每一帧二值化图像分别进行图像形态学操作。

在本实施例中，在基于步骤S110得到二值化图像之后，可以对每一帧二值化图像分别进行图像形态学操作，以对二值化图像中的多余的边界点或凸点进行消除处理，使得处理后的二值化图像中的轮廓更为平滑。

步骤S123，对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。

在本实施例中，在基于步骤S121进行图像形态学操作之后，可以对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理,实现对二值化图像的降噪，以使处理后的二值化图像更为柔和。

可选地，执行步骤S121进行图像形态学操作的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以对每一帧二值化图像进行腐蚀操作，以完成所述图像形态学操作。又例如，在另一种可以替代的示例中，可以对每一帧二值化图像进行膨胀操作，以完成所述图像形态学操作。再例如，在另一种可以替代的示例中，可以先对每一帧二值化图像进行腐蚀操作，然后，再对腐蚀操作后的每一帧二值化图像进行膨胀操作。

可以理解的是，上述的腐蚀操作可以是指，将目标对象的边缘加以腐蚀，如将边缘的像素点的像素值从0更新为255。上述的膨胀操作可以是指，将目标对象的边缘加以膨胀，如将边缘的像素点的像素值从255更新为0。

可选地，执行步骤S123进行高斯滤波处理的具体方式也不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，可以通过一个卷积核对图像形态学操作之后的每一帧二值化图像分别进行卷积计算，从而完成所述高斯滤波处理。又例如，在另一种可以替代的示例中，也可以通过多个不同的卷积核对图像形态学操作之后的每一帧二值化图像分别都进行卷积计算，从而完成所述高斯滤波处理。

可以理解的是，基于上述的示例可以知道，再执行步骤S130之后，为了提高匹配结果的可靠度，可能会再次执行步骤S120。

也就是说，在所述匹配结果不满足所述预设条件时，步骤S120需要执行至少两次，使得对所述二值化图像进行轮廓优化处理之后，还会再次对处理后的二值化图像进行轮廓优化处理。

但是，经过本申请发明人的进一步研究发现，在一些情况下，所述匹配结果可能永远不能满足所述预设条件，也就是说，导致所述匹配结果不能满足所述预设条件的原因，并不是所述二值化图像中的轮廓信息的清晰度和可识别度不高，如所述目标视频流中的姿势信息为手势信息，所述参考视频流中的姿势信息为头部信息。

因此，为了避免在上述情况使得在执行上述步骤时，会一直循环执行步骤S120和步骤S130的问题，还可以对执行步骤S120的次数进行限制，如该次数小于预设值，且该预设值大于2，以保证至少执行两次步骤S120。

详细地，在一种具体的应用示例中，可以根据执行步骤S120时对轮廓进行优化处理的效果，设置执行步骤S120的次数。例如，若执行步骤S120时对轮廓进行优化处理的效果较高，可以设置一个较小的预设值。反之，若执行步骤S120时对轮廓进行优化处理的效果一般，可以设置一个较大的预设值。

第三方面，对于步骤S130需要说明的是，基于预设的参考视频流进行姿势匹配处理的具体方式不受限制，可以根据实际应用需求进行处理。

例如，在一种可以替代的示例中，可以针对更新后的每一帧二值化图像，将该帧二值化图像与所述参考视频流中的每一帧参考图像都进行姿势匹配处理。

详细地，在一种具体的应用示例中，更新后的二值化图像为7帧，分别为二值化图像O、二值化图像P、二值化图像Q、二值化图像R、二值化图像S、二值化图像T、二值化图像X。所述参考视频流包括4帧参考图像，分别为参考图像a、参考图像b、参考图像c和参考图像d。

如此，可以将二值化图像O与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像P与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像Q与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像R与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像S与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像T与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理，将二值化图像X与参考图像a、参考图像b、参考图像c和参考图像d分别进行姿势匹配处理。然后，基于前述的28次姿势匹配处理的结果，可以得到所述更新后的二值化图像与所述参考视频流的匹配结果。

又例如，在另一种可以替代的示例中，为了提高姿势匹配处理的效率，结合图5，步骤S130可以包括步骤S131和步骤S133，具体内容如下所述。

步骤S131，通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值化图像进行规整化处理。

在本实施例中，在基于步骤S120得到更新后的二值化图像之后，可以先通过预设的时间规整化算法对所述参考视频流和所述更新后的二值化图像进行规整化处理，使得规整化处理后的参考视频流和二值化图像具有相同的时间长度。

步骤S133，基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频流中对应的一帧参考图像进行姿势匹配处理。

在本实施例中，基于步骤S131得到具有相同时间长度的参考视频流和二值化图像之后，可以基于时间信息将更新后的每一帧二值化图像与所述参考视频流中对应的一帧参考图像进行姿势匹配处理。

可选地，执行步骤S131进行规整化处理的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，若所述更新后的二值化图像的时间长度大于所述参考视频流的时间长度，可以对所述更新后的二值化图像进行压缩处理，或对所述参考视频流进行拉长处理，使得处理后的二值化图像和参考视频流具有相同的时间长度。

又例如，若所述更新后的二值化图像的时间长度大于所述参考视频流的时间长度，可以对所述更新后的二值化图像进行压缩处理，且同时对所述参考视频流进行拉长处理，使得处理后的二值化图像和参考视频流具有相同的时间长度。

详细地，在一种具体的应用示例中，基于前述的示例，所述更新后的二值化图像为7帧，所述参考视频流包括的参考图像为4帧，且所述更新后的二值化图像的时间长度大于所述参考视频流的时间长度。为了使得7帧更新后的二值化图像的时间长度能够等于4帧参考图像的时间长度，结合图6，可以对7帧更新后的二值化图像进行压缩。

如此，在执行步骤S133时，基于时间上的对应关系，可以将二值化图像O与参考图像a进行姿势匹配处理，将二值化图像Q与参考图像b进行姿势匹配处理，将二值化图像S与参考图像c进行姿势匹配处理，将二值化图像X与参考图像d进行姿势匹配处理。

第四方面，对于步骤S140需要说明的是，执行该步骤S140的前提是，所述匹配结果满足所述预设条件。其中，所述预设条件的具体内容不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，所述匹配结果可以是所述参考视频流与所述更新后的二值化图像之间的匹配度或相似度，因此，所述预设条件可以预设匹配度或预设相似度，如此，只有在所述参考视频流与所述更新后的二值化图像之间的匹配度或相似度达到该预设匹配度或预设相似度时，在执行步骤S140。

其中，所述预设匹配度或预设相似度的具体数值不受限制，根据对精度的需求进行选择即可。例如，可以为65％、70％、80％等。

并且，执行步骤S140基于匹配结果得到识别结果的具体方式也不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，若所述参考视频流为一个，可以直接将所述参考视频流中的姿势信息作为所述目标视频流的姿势信息，从而得到该目标视频流的识别结果。

又例如，在另一种可以替代的示例中，所述参考视频流为多个，对应的，所述匹配结果为多个，且为了实现动态姿势的识别，结合图7，步骤S140可以包括步骤S141和步骤S143，具体内容如下所述。

步骤S141，基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视频流。

在本实施例中，由于所述参考视频流为多个，因而，基于步骤S130的姿势匹配处理可以得到多个匹配结果。并且，考虑到基于步骤S130的姿势匹配处理实际上是静态的匹配，因而，可能得到的多个匹配结果中具有相同大小或差值较小的至少两个参考视频流。基于此，可以基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视频流。

例如，若所述参考视频流为3个，分别为参考视频流1、参考视频流2和参考视频流3，对应的匹配结果也为3个，分别为匹配结果1、匹配结果2和匹配结果3。其中，匹配结果1等于匹配结果2，且大于匹配结果3，如此，可以对参考视频流1和参考视频流2进行确定。

其中，上述的示例，在一种具体的应用场景下可以是，所述目标视频流为拍摄手掌的运动得到的视频流，参考视频流1为手掌左右运动的视频流，参考视频流2为手掌上下运动的视频流，参考视频流3为头部左右摇动的视频流。

步骤S143，基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息，在该至少两个参考视频流中确定目标参考视频流。

在本实施例中，基于步骤S141确定至少两个参考视频流(如前述的参考视频流1和参考视频流2)之后，还可以基于所述更新后的二值化图像的第一轨迹信息，在所述至少两个参考视频流的第二轨迹信息中确定一个第二轨迹信息。然后，可以基于确定的第二轨迹信息在该至少两个参考视频流中确定目标参考视频流。

如此，在确定所述目标参考视频流之后，可以将该目标参考视频流的姿势信息作为所述目标视频流的姿势信息，从而得到所述目标视频流的识别结果。

可选地，执行步骤S143基于轨迹信息确定目标参考视频流的具体方式不受限制，可以根据实际应用需求进行选择。

例如，在一种可以替代的示例中，所述第一轨迹信息和所述第二轨迹信息，可以是指相应图像中的目标对象的运动方向。如此，可以通过对运动方向进行比较，从而确定目标目标视频流。

又例如，在另一种可以替代的示例中，为了提高确定目标参考视频流的确定性，步骤S143可以包括以下子步骤：

首先，可以获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息，并基于该质心位置信息确定该更新后的二值化图像的第一轨迹信息；其次，可以将所述第一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较处理，并基于比较处理的结果在所述至少两个参考视频流中确定目标参考视频流。

其中，所述第二轨迹信息的确定方式可以与所述第一轨迹信息的确定方式相同，如都是基于质心位置信息确定。下面以所述更新后的二值化图像为7帧为示例，进行说明。

结合图8，7帧更新后的二值化图像分别可以为，二值化图像O、二值化图像P、二值化图像Q、二值化图像R、二值化图像S、二值化图像T、二值化图像X。其中，二值化图像O的质心位置为O，二值化图像P的质心位置为P，二值化图像Q的质心位置为Q，二值化图像R的质心位置为R，二值化图像S的质心位置为S，二值化图像T的质心位置为T，二值化图像X的质心位置为X。如此，可以对上述的7个质心位置进行曲线拟合，从而得到所述第一轨迹信息。

结合图9，本申请实施例还提供一种可应用于上述电子设备10的姿势识别装置100。其中，所述姿势识别装置100可以包括图像获得模块110、图像更新模块120、图像匹配模块130和姿势识别模块140。

所述图像获得模块110，用于对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像，其中，该目标视频流包括至少一帧目标图像。在本实施例中，所述图像获得模块110可用于执行图2所示的步骤S110，关于所述图像获得模块110的相关内容可以参照前文对步骤S110的描述。

所述图像更新模块120，用于基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像。在本实施例中，所述图像更新模块120可用于执行图2所示的步骤S120，关于所述图像更新模块120的相关内容可以参照前文对步骤S120的描述。

所述图像匹配模块130，用于基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于所述图像更新模块对所述更新后的二值化图像再次进行处理。在本实施例中，所述图像匹配模块130可用于执行图2所示的步骤S130，关于所述图像匹配模块130的相关内容可以参照前文对步骤S130的描述。

所述姿势识别模块140，用于在所述匹配结果满足所述预设条件时，基于该匹配结果得到所述目标视频流中姿势信息的识别结果。在本实施例中，所述姿势识别模块140可用于执行图2所示的步骤S140，关于所述姿势识别模块140的相关内容可以参照前文对步骤S140的描述。

在本申请实施例中，对应于上述的姿势识别方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述姿势识别方法的各个步骤。

其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述姿势识别方法的解释说明。

综上所述，本申请提供的姿势识别方法和装置、电子设备及存储介质，通过在对二值化图像进行姿势匹配处理之后，判断得到的匹配结果是否满足预设条件，并在不满足预设条件时，再次基于轮廓处理算法对二值化图像进行处理。如此，在再次进行姿势匹配时，因匹配的二值化图像具有较高的精度，使得匹配结果具有较高的准确度，从而改善现有的姿势识别技术中由于在进行一次姿势匹配之后就直接基于匹配结果得到识别结果而存在识别结果的准确度较低的问题，具有较高的实用价值。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种姿势识别方法，其特征在于，包括：

对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像，其中，该目标视频流包括至少一帧目标图像；

基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像；

基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于该更新后的二值化图像返回所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤，以使得处理后的二值化图像的轮廓信息再次得到更新，直至得到的匹配结果满足所述预设条件；

在所述匹配结果满足所述预设条件时，基于该匹配结果得到所述目标视频流中姿势信息的识别结果。

2.根据权利要求1所述的姿势识别方法，其特征在于，所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤，包括：

对每一帧二值化图像分别进行图像形态学操作；

对图像形态学操作之后的每一帧二值化图像分别进行高斯滤波处理。

3.根据权利要求1所述的姿势识别方法，其特征在于，执行所述基于预设的轮廓处理算法对每一帧二值化图像进行处理的步骤的次数小于预设值，且该预设值大于2。

4.根据权利要求1-3任意一项所述的姿势识别方法，其特征在于，所述对获取的目标视频流中的每一帧目标图像进行二值化处理的步骤，包括：

对获取的目标视频流中的每一帧目标图像进行灰度化处理，并基于肤色分割算法对得到的每一帧灰度图像进行分割处理；

基于大津算法确定分割处理后的每一帧灰度图像的预设阈值，并基于该预设阈值对分割处理后的每一帧灰度图像进行二值化处理。

5.根据权利要求1-3任意一项所述的姿势识别方法，其特征在于，所述基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理的步骤，包括：

通过预设的时间规整化算法对预设的参考视频流和所述更新后的二值化图像进行规整化处理；

基于规整化处理的结果将更新后的每一帧二值化图像与所述参考视频流中对应的一帧参考图像进行姿势匹配处理，其中，所述参考视频流包括至少一帧参考图像。

6.根据权利要求1-3任意一项所述的姿势识别方法，其特征在于，所述参考视频流为多个，所述匹配结果为多个，所述基于该匹配结果得到所述目标视频流中姿势信息的识别结果的步骤，包括：

基于多个所述匹配结果的大小关系在多个所述参考视频流中确定至少两个参考视频流；

基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息，在该至少两个参考视频流中确定目标参考视频流。

7.根据权利要求6所述的姿势识别方法，其特征在于，所述基于所述更新后的二值化图像的第一轨迹信息和所述至少两个参考视频流的第二轨迹信息，在该至少两个参考视频流中确定目标参考视频流的步骤，包括：

获取所述更新后的二值化图像中每一帧二值化图像的质心位置信息，并基于该质心位置信息确定该更新后的二值化图像的第一轨迹信息；

将所述第一轨迹信息与所述至少两个参考视频流的第二轨迹信息分别进行比较处理，并基于比较处理的结果在所述至少两个参考视频流中确定目标参考视频流。

8.一种姿势识别装置，其特征在于，包括：

图像获得模块，用于对获取的目标视频流中的每一帧目标图像进行二值化处理，得到至少一帧二值化图像，其中，该目标视频流包括至少一帧目标图像；

图像更新模块，用于基于预设的轮廓处理算法对每一帧二值化图像进行处理，得到至少一帧更新后的二值化图像；

图像匹配模块，用于基于预设的参考视频流对所述更新后的二值化图像进行姿势匹配处理，并在得到的匹配结果不满足预设条件时，基于所述图像更新模块对所述更新后的二值化图像再次进行处理，以使得处理后的二值化图像的轮廓信息再次得到更新，直至得到的匹配结果满足所述预设条件；

姿势识别模块，用于在所述匹配结果满足所述预设条件时，基于该匹配结果得到所述目标视频流中姿势信息的识别结果。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

与所述存储器连接的处理器，用于执行所述计算机程序，以实现权利要求1-7任意一项所述的姿势识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现权利要求1-7任意一项所述的姿势识别方法。