CN107292223A - 一种实时手势检测的在线验证方法及系统 - Google Patents

Abstract

本发明属于电子技术领域，尤其涉及一种实时手势检测的在线验证方法，包括以下步骤：步骤1，图像采集模块实时捕获视觉范围内的图像；步骤2，一嵌入式终端通过载入训练好的模型对采集的所述图像进行手势识别及跟踪监测；步骤3，记录识别结果并响应于所述识别结果；步骤4，分析所述识别结果的正确性并依据设定规则重新训练获得新模型，验证所述新模型的准确性。步骤5，以所述新模型之前训练好的所述模型。以上技术方案实现了一套实时手势识别的方法及系统，相比于传统的基于非深度相机的手势识别，提供了更为准确的在线模型优化系统，有利于提高识别的准确性。

Description

一种实时手势检测的在线验证方法及系统

技术领域

本发明属于电子技术领域，尤其涉及一种手势检测的在线验证方法及系统。

背景技术

随着嵌入式技术的成熟，各种智能产品如雨后春笋般涌现。在智能设备中，机器视觉一直是备受关注的热点问题。目前已有的手势技术主要分为两大类：一类是基于深度相机的三维视觉识别，除了设置摄像头外，还装有一个深度相机，可以通过红外反射获取空间信息，丰富了摄像头捕捉到的特征，使得识别准确度大大增加，目前已应用于前端科技产品上，比如微软的XBox系列，其配套的kinect设备正是业界较为成熟的深度相机，可以通过它用手势或身体的姿态，与游戏进行交互，然而，基于深度相机的三维视觉识别技术虽然增强了对图像的感知，但是受限于深度相机的时效性、稳定性以及一些架构上的兼容性，还无法大规模推广使用；另一类技术是基于传统的二维成像摄像头，比如海尔的智能电视，通过摄像头捕捉到的手势图像，进行电视的控制操作，其实现的原理主要是基于载入事先训练好的模型来筛选出符合指定手势的窗口。但是这样的传统方案存在一些问题：1)对于不同的场景和环境受限于事先训练好的模型；2)准确性和实时性无法同时满足。

发明内容

本发明提供一种实时手势检测的在线验证方法及系统，以解决现有技术的问题；

具体技术方案如下：

一种实时手势检测的在线验证方法，其中，包括以下步骤：

步骤1，图像采集模块实时捕获视觉范围内的图像；

步骤2，一嵌入式终端通过载入训练好的模型对采集的所述图像进行手势识别及跟踪监测；

步骤3，记录识别结果并响应于所述识别结果；

步骤4，分析所述识别结果的正确性并依据设定规则重新训练获得新模型，验证所述新模型的准确性；

步骤5，以所述新模型更新先前训练好的所述模型。

上述的实时手势检测的在线验证方法，所述步骤4具体如下：

步骤41，所述识别结果定时上传至一后台服务器，所述后台服务器利用深度学习的方法验证识别结果的正确性；

步骤42，记录所述识别结果为不正确的错误案例，判断所述错误案例达到设定数量或收集了设定时间后，将所述错误案例的数据添加至先前的所述模型的训练数据中，重新训练获得新模型；

步骤43，使用标准的验证集来分析所述新模型的质量。

上述的实时手势检测的在线验证方法，

所述步骤5具体如下：

步骤51，判断所述新模型优于先前的模型时，所述后台服务器向所述嵌 入式终端发送升级所述模型的请求；

步骤52，所述嵌入式终端响应所述请求，所述后台服务器自动下载所述新模型至所述嵌入式终端。

上述的实时手势检测的在线验证方法，所述步骤2具体如下：

步骤21，所述视觉范围内有移动的物体时，所述嵌入式终端启动手势识别；

步骤22，载入预先训练好的模型，自所述图像中筛选出目标手势，对后续的图像进行跟踪检测。

还包括，一种实时手势检测的在线验证系统，其中，包括，

图像采集模块，用于实时捕获视觉范围内的图像；

手势识别跟踪模块，位于一嵌入式终端，与所述图像采集模块连接，通过载入训练好的模型对采集的所述图像进行手势识别及跟踪监测；

记录响应模块，与所述手势识别跟踪模块连接，用于记录识别结果并响应于所述识别结果；

检验操作模块，与所述记录响应模块连接，用于分析所述识别结果的正确性并依据设定规则重新训练获得新模型，并验证所述新模型的准确性；

模型更新模块，与所述检验操作模块连接，用于依据所述新模型更新所述模型。

上述的一种实时手势检测的在线验证系统，所述检验操作模块位于一后台服务器端，包括：

检测回测子模块，与所述记录响应模块连接，用于对所述识别结果进行回测，将错误的识别信息及噪声信息记录下来；

模型训练子模块，与所述检测回测子模块连接，将设定数量或设定时间的所述错误的识别信息及噪声信息加入训练数据中，重新训练获得新模型；

验证子模块，与所述模型训练子模块连接，依据定时更新的验证集对所述新模型进行量化评估，当所述新模型优于先前的所述模型时，发出更新模型的消息。

上述的一种实时手势检测的在线验证系统，所述记录响应模块包括视觉反馈单元，所述视觉反馈单元通过显示相应的图标于所述嵌入式终端的显示界面上响应所述识别结果；

和/或，

所述记录响应模块包括发声反馈单元，所述发声反馈单元通过播放音乐或收藏音乐响应于所述识别结果。

上述的一种实时手势检测的在线验证系统，所述记录响应模块位于所述嵌入式终端。

上述的一种实时手势检测的在线验证系统，所述图像采集模块采用二维成像摄像头。

还包括，一种嵌入式智能设备，包括上述的实时手势检测的在线验证系统。

有益效果：以上技术方案实现了一套实时手势识别的方法及系统，相比于传统的基于非深度相机的手势识别，提供了更为准确的在线模型优化系统，有利于提高识别的准确性。

附图说明

图1为本发明的方法流程示意图；

图2为本发明的步骤4的流程示意图；

图3为本发明的步骤5的流程示意图；

图4为本发明的步骤2的流程示意图；

图5为本发明的系统结构示意图；

图6为本发明的一种具体实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

参照图1，一种实时手势检测的在线验证方法，其中，包括以下步骤：

步骤1，图像采集模块实时捕获视觉范围内的图像；

步骤2，一嵌入式终端通过载入训练好的模型对采集的图像进行手势识别及跟踪监测；

步骤3，记录识别结果并响应于识别结果；

步骤4，分析识别结果的正确性并依据设定规则重新训练获得新模型， 验证新模型的准确性；

步骤5，以所述新模型更新先前训练好的所述模型。

现有技术中预先收集大量的数据，截取包含手势的局部图像作为正样本，同时截取更多不包含手势的负样本图像，以此作为训练集。然后将训练集用于合适的算法训练出模型，在识别前载入预先训练好的模型，计算出每张图像是否包含手势，其受限于事先训练好的模型，对于不同的场景和环境，影响识别的效果，本发明对识别结果进行记录和分析，定时根据特定的数据重新训练获得新模型以便进行更新，提供了更为准确的在线模型优化系统，有利于提高识别的准确性，并使得任意视野范围内出现的目标手势能够被有效识别。

上述的实时手势检测的在线验证方法，步骤4具体如下：

步骤41，识别结果定时上传至一后台服务器，后台服务器利用深度学习的方法验证识别结果的正确性；

步骤42，记录识别结果为不正确的错误案例，判断错误案例达到设定数量或收集了设定时间后，将错误案例的数据添加至先前的模型的训练数据中，重新训练获得新模型；

步骤43，使用标准的验证集来分析新模型的质量。

后台服务器接受前端发送过来的识别结果并记录，然后使用更为精准的检测方式对结果进行回测，将错误的识别信息，以及一些噪声信息记录下来。每隔规定的时间，将一些检测的数据加入训练数据中，对模型进行训练。在得出训练模型后，会根据一套定时更新的验证集对新的模型进行量化评估。

现有的大多数检测识别算法存在算法的速度和算法的精准度无法兼顾的 问题。准确的模型普遍需要大量的计算量，难以满足实时交互系统的要求，而快速的算法则容易面临误识别和召回率低的问题，本发明将相应功能分别搭建在嵌入式终端和后台服务器端。嵌入式终端提供实时快速的识别，出于性能的考虑，只有在检测到有物体运动时才做检测操作，这样大大降低了系统的资源占用，同时对检测到的区域进行跟踪，既加快了检测的数据，又减少了系统的资源占用，系统的时效性和稳定性大大提升；在后台服务端则提供更为精准的功能，由于后台服务器端的操作属于定时更新，所以对时效性的要求非常低，通过嵌入式终端传输给后台服务器端的数据会定时被后台服务器端的算法用于检验识别的正确率。并且定时利用采集的数据重新训练客户端的检测模型。在实际的使用时，客户端会布置到不同的环境，在初期的使用中，可能会出现不同程度的误检。但是通过服务端几轮的检验和重新训练后，全新的模型将完全适用于所部署的环境。满足时效性和准确性的双重保障。

上述的实时手势检测的在线验证方法，

步骤5具体如下：

步骤51，判断新模型优于先前的模型时，后台服务器向嵌入式终端发送升级模型的请求；

步骤52，嵌入式终端响应请求，后台服务器自动下载新模型至嵌入式终端。

得到训练好的新模型后，使用标准的测试集分析模型的质量。每隔特定时间，如果出现优于嵌入式终端的新模型，后台服务器端发出更新请求，当嵌入式终端响应请求后，后台服务器端会自动下载新模型到嵌入式终端。每 个用户可以得到定制化的模型，使得嵌入式终端手势识别系统可以适应不同的环境。

上述的实时手势检测的在线验证方法，步骤2具体如下：

步骤21，视觉范围内有移动的物体时，嵌入式终端启动手势识别；

步骤22，载入预先训练好的模型，自图像中筛选出目标手势，对后续的图像进行跟踪检测。

具体地，对采集到的图像用实现训练后的分类器进行检测，如果目标手势出现，记录并给出响应的反馈，同时记录出现手势的位置，对后续的图像进行跟踪检测。

还包括，一种实时手势检测的在线验证系统，其中，参照图5，包括，

图像采集模块11，用于实时捕获视觉范围内的图像；

手势识别跟踪模块12，位于一嵌入式终端1，与图像采集模块11连接，通过载入训练好的模型对采集的图像进行手势识别及跟踪监测；

记录响应模块13，与手势识别跟踪模块12连接，用于记录识别结果并响应于识别结果；

检验操作模块20，与记录响应模块13连接，用于分析识别结果的正确性并依据设定规则重新训练获得新模型，并验证新模型的准确性；

模型更新模块21，与检验操作模块20连接，用于依据新模型更新先前的模型。

手势识别跟踪模块12还可以是运行于嵌入式终端1的手势识别程序，其搭载实时监测功能，同时提供监测的结果和数据至一后台服务器端2用于检测回测，嵌入式终端1可以在没有网络环境的情况下独立于后台服务器端2 独立运行。

上述的一种实时手势检测的在线验证系统，检验操作模块20位于一后台服务器端2，包括：

检测回测子模块，与记录响应模块连接，用于对识别结果进行回测，将错误的识别信息及噪声信息记录下来；

模型训练子模块，与检测回测子模块连接，将设定数量或设定时间的错误的识别信息及噪声信息加入训练数据中，重新训练获得新模型；

验证子模块，与模型训练子模块连接，依据定时更新的验证集对新模型进行量化评估，当新模型优于先前的模型时，发出更新模型的消息。

后台服务器端2可以设置数据采集和检测功能，通过后台服务器端2进行更为精确的深度学习，对嵌入式终端1的检测结果进行回测分析，对出现的误检测进行记录，并且定时训练数据，将新的模型更新到嵌入式终端1。

上述的深度学习可以通过架构多层的神经网络，底层的卷积层提取图像的基础信息，比如边缘或点的信息。之后逐层提取更为抽象的特征，比如在手势的例子中，中间层会提取肤色、皮肤褶皱等信息，较高的网络层则会抽取手势的局部特征，最后通过全连接层拟合出最合理的分类函数。整个过程是自动训练，虽然耗时较慢，但是属于后台优化更新服务，无需担心时效性。同时，后台服务器端可以收集训练数据，每隔特定时间重新训练深度网络的模型。以保证后台服务器端2的模型精度高于嵌入式终端1，能够起到校验和优化更新的目的。

上述的一种实时手势检测的在线验证系统，记录响应模块13包括视觉反馈单元，视觉反馈单元通过显示相应的图标于嵌入式终端的显示界面上响应 识别结果；

和/或，

记录响应模块包括发声反馈单元，发声反馈单元通过播放音乐或收藏音乐响应于识别结果。

嵌入式终端1的其他服务。在接受到目标手势的指令后，做出播放或停止音乐等交互反应，同时有相应的图标和视觉效果展现在嵌入式终端的外部显示模块上。

上述的一种实时手势检测的在线验证系统，记录响应模块13位于嵌入式终端。

上述的一种实时手势检测的在线验证系统，图像采集模块11可以采用二维成像摄像头，用于采集实时图像，并具备静态图和30帧每秒上的视频采集功能，

还包括，一种嵌入式智能设备，包括上述的实时手势检测的在线验证系统。该嵌入式智能设备可以是运行嵌入式系统的机器人。

一种具体的实施例，参照图6，一个高清摄像头，通过MIPI(Mobile Industry Processor Interface,移动产业处理器接口)或者USB接口连接到嵌入式智能设备；整个手势控制示例如图6所示：

在嵌入式终端：高清摄像头会实时捕捉出现在视觉范围内的图像数据，只有当摄像头范围内有移动的物体时，手势识别的系统才被激活，当检测到目标手势时，会实时记录出现目标手势的局部图形区域，然后根据出现不同的目标手势执行相应的命令。比如出现播放音乐的手势时，会调用本地的音乐接口，开始播放音乐。而如果识别到的目标手势是收藏音乐的命令后，在 屏幕上会出现收藏图标，同时再调用音乐收藏的接口将当时播放的音乐添加到收藏列表。

而在后台服务器端：在嵌入式终端记录的识别结果会定时上传至后台服务器，系统会利用深度学习的方法验证识别结果的正确性，同时将错误的案例记录下来。当错误的案例达到一定数量或者收集了一定量的时间后，后台程序会将这些错误案例添加到原来的训练数据中，重新训练模型。得到新的模型后，会使用标准的验证集来分析新模型的质量。当得到的新模型优于原有模型时，服务器会向嵌入式终端发送升级模型的请求。在嵌入式终端响应后，服务器会自动下载新模型到客户端。在多次迭代之后，识别的精准度会大大提升。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种实时手势检测的在线验证方法，其特征在于，包括以下步骤：

步骤1，图像采集模块实时捕获视觉范围内的图像；

步骤2，一嵌入式终端通过载入训练好的模型对采集的所述图像进行手势识别及跟踪监测；

步骤3，记录识别结果并响应于所述识别结果；

步骤4，分析所述识别结果的正确性并依据设定规则重新训练获得新模型，验证所述新模型的准确性；

步骤5，以所述新模型更新先前训练好的所述模型。

2.根据权利要求1所述的实时手势检测的在线验证方法，其特征在于，所述步骤4具体如下：

步骤41，所述识别结果定时上传至一后台服务器，所述后台服务器利用深度学习的方法验证识别结果的正确性；

步骤42，记录所述识别结果为不正确的错误案例，判断所述错误案例达到设定数量或收集了设定时间后，将所述错误案例的数据添加至先前的所述模型的训练数据中，重新训练获得新模型；

步骤43，使用标准的验证集来分析所述新模型的质量。

3.根据权利要求2所述的实时手势检测的在线验证方法，其特征在于，所述步骤5具体如下：

步骤51，判断所述新模型优于先前的模型时，所述后台服务器向所述嵌入式终端发送升级所述模型的请求；

步骤52，所述嵌入式终端响应所述请求，所述后台服务器自动下载所述新模型至所述嵌入式终端。

4.根据权利要求1所述的实时手势检测的在线验证方法，其特征在于，所述步骤2具体如下：

步骤21，所述视觉范围内有移动的物体时，所述嵌入式终端启动手势识别；

步骤22，载入预先训练好的模型，自所述图像中筛选出目标手势，对后续的图像进行跟踪检测。

5.一种实时手势检测的在线验证系统，其特征在于，包括，

图像采集模块，用于实时捕获视觉范围内的图像；

手势识别跟踪模块，位于一嵌入式终端，与所述图像采集模块连接，通过载入训练好的模型对采集的所述图像进行手势识别及跟踪监测；

记录响应模块，与所述手势识别跟踪模块连接，用于记录识别结果并响应于所述识别结果；

检验操作模块，与所述记录响应模块连接，用于分析所述识别结果的正确性并依据设定规则重新训练获得新模型，并验证所述新模型的准确性；

模型更新模块，与所述检验操作模块连接，用于依据所述新模型更新所述模型。

6.根据权利要求5所述的一种实时手势检测的在线验证系统，其特征在于，所述检验操作模块位于一后台服务器端，包括：

检测回测子模块，与所述记录响应模块连接，用于对所述识别结果进行回测，将错误的识别信息及噪声信息记录下来；

模型训练子模块，与所述检测回测子模块连接，将设定数量或设定时间的所述错误的识别信息及噪声信息加入训练数据中，重新训练获得新模型；

验证子模块，与所述模型训练子模块连接，依据定时更新的验证集对所述新模型进行量化评估，当所述新模型优于先前的所述模型时，发出更新模型的消息。

7.根据权利要求5所述的一种实时手势检测的在线验证系统，其特征在于，所述记录响应模块包括视觉反馈单元，所述视觉反馈单元通过显示相应的图标于所述嵌入式终端的显示界面上响应所述识别结果；

和/或，

所述记录响应模块包括发声反馈单元，所述发声反馈单元通过播放音乐或收藏音乐响应于所述识别结果。

8.根据权利要求5所述的一种实时手势检测的在线验证系统，其特征在于，所述记录响应模块位于所述嵌入式终端。

9.根据权利要求5所述的一种实时手势检测的在线验证系统，其特征在于，所述图像采集模块采用二维成像摄像头。

10.一种嵌入式智能设备，其特征在于，包括权利要求5-9任意一项所述的实时手势检测的在线验证系统。