CN111126279B - 一种手势互动方法及手势互动装置 - Google Patents

Abstract

本申请公开了一种手势互动方法及手势互动装置，该方法包括：获取当前场景图像；对当前场景图像进行手部区域检测；对从检测到的手部区域提取的子图像进行特征点检测；利用检测到的特征点生成待匹配二值遮罩图像；将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；根据相匹配的参考二值遮罩图像确定手部区域所对应的手势。通过上述方式，本申请能够实时检测出手势，响应速度快。

Description

一种手势互动方法及手势互动装置

技术领域

本申请涉及机器人技术领域，具体涉及一种手势互动方法及手势互动装置。

背景技术

目前教育机器人发展趋势持续上升，且市场潜力较大，其对孩子们的健康成长起着积极的引导启蒙作用；在教学角色与影响上，教育机器人可扮演教师、同学以及工具三种角色，通过程序设定和设计改造，可以使得机器人实现既定的教学目标或教学功能。

目前教育机器人的手势交互方法主要有两种，第一种方法：基于深度图分割手部区域，估计手关节的运动，从而识别手势，该方法需要特定的相机来获取深度图，比如双目相机、结构光相机或ToF(Time of Flight，飞行时间)相机，这些相机的成本较高，会提高教育机器人的成本；第二种方法：基于深度学习，通过采集各种手势的数据训练手部检测深度模型，深度模型一般要求较高的计算力，由于需要特定的计算芯片支持，也会提高教育机器人的成本；而且现有的手势互动系统关注如何提高单人或多人手势识别的准确度及鲁棒性，在互动方面比较单一，在识别出手势的情况下，机器人执行相应的指令，在教育实践上，没有系统地设计出一种机制，使得机器人扮演好教学角色。

发明内容

本申请提供一种手势互动方法及手势互动装置，能够实时检测出手势，响应速度快。

为解决上述技术问题，本申请采用的技术方案是：提供一种手势互动方法，该方法包括：获取当前场景图像；对当前场景图像进行手部区域检测；对从检测到的手部区域提取的子图像进行特征点检测；利用检测到的特征点生成待匹配二值遮罩图像；将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；根据相匹配的参考二值遮罩图像确定手部区域所对应的手势。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种手势互动装置，该手势互动装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的手势互动方法。

通过上述方案，本申请的有益效果是：教育机器人可获取当前场景图像，通过对当前场景图案进行检测得到特征点，再基于检测到的特征点生成待匹配二值遮罩图像，然后将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配，从而实时检测出当前场景图像中的手势，计算简单，响应速度较快，无需使用计算能力较强的芯片，可降低成本，能够应用在一对多的机器人教学场景中，加强了教育机器人与施教对象的互动性，使得教育机器人更大程度地模拟了真人教学场景，扮演教师角色，调动施教对象学习的积极性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的手势互动方法一实施例的流程示意图；

图2是图1所示的实施例中当前场景图像中手部区域的示意图；

图3是本申请提供的手势互动方法另一实施例的流程示意图；

图4a是图3所示的实施例中子图像中特征点的示意图；

图4b是图3所示的实施例中待匹配二值遮罩图像的示意图；

图5是图3所示的实施例中步骤39的流程示意图；

图6a是图3所示的实施例中当前场景图像的中心与手部区域的中心的位置示意图；

图6b是图6a所示的实施例中中心对齐后的示意图；

图7是本申请提供的手势互动装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的手势互动方法应用于机器人等智能终端，下文以应用于教育机器人为例进行说明。

请参阅图1，图1是本申请提供的手势互动方法一实施例的流程示意图，该方法包括：

步骤11：获取当前场景图像。

由于教育机器人与施教对象之间存在一定距离，比如3至5米，教育机器人可通过语音交互告知施教对象开始准备指定手势，也可以利用LED(Light Emitting Diode，发光二极管)进行告知，比如半圈LED亮表示开始手势识别，施教对象开始做出手势，一圈LED亮表示识别出手势，指定手势可以为“布”、“剪刀”或“石头”等。

教育机器人可利用自身的成像设备采集当前场景下的图像，得到当前场景图像，该当前场景图像可以为对施教对象进行拍摄得到的图像，其包括至少一个手部区域，手部区域包括施教对象的手的姿势。

步骤12：对当前场景图像进行手部区域检测。

教育机器人在获取到当前场景图像后，对当前场景图像进行检测，得到当前场景图像中的手部区域；例如，如图2所示，当前场景图像中包括三个施教对象A、B以及C，对应的手部区域分别为R1、R2以及R3。

步骤13：对从检测到的手部区域提取的子图像进行特征点检测。

在检测出手部区域之后，利用特征点检测方法对手部区域对应的子图像进行特征点检测，比如HOG(Histogram of Oriented Gradient，方向梯度直方图)、FHOG(FusedHistogram of Oriented Gradient，融合方向梯度直方图)、SIFT(Scale InvariantFeature Transform，尺度不变特征转换)、SURF(Speed Up Robust Feature，加速鲁棒特征)、FAST(Features From Accelerated Segment Test，基于加速分段测试特征)或BRIEF(Binary Robust Independent Elementary Features，二元鲁棒独立元特征)等，从而得到手部区域中的特征点。

步骤14：利用检测到的特征点生成待匹配二值遮罩图像。

教育机器人可根据检测到的特征点生成待匹配二值遮罩图像，该待匹配二值遮罩图像的像素值为两种像素值，比如0和255。

步骤15：将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配。

参考二值遮罩图像为预先生成的图像，并存储在教育机器人中，参考二值遮罩图像与标准的指定手势相对应；在生成了待匹配二值遮罩图像之后，可将该待匹配二值遮罩图像与参考二值遮罩图像进行匹配，即计算两者之间的相似度，以判断待匹配二值遮罩图像对应的手势的类别。

步骤16：根据相匹配的参考二值遮罩图像确定手部区域所对应的手势。

由于参考二值遮罩图像与指定手势相对应，利用与待匹配二值遮罩图像相匹配的参考二值遮罩图像，可以确定手部区域对应的手势；例如，待匹配二值遮罩图像记作图像A，与图像A相匹配的参考二值遮罩图像记作图像B，图像B对应的手势为“剪刀”，如图2所示的手部区域R1对应的手势，则待匹配二值遮罩图像对应的手势为“剪刀”，即施教对象A的手势为“剪刀”，此时教育机器人可根据该手势作出响应，与施教对象A进行互动。

本实施例提供了一种手势互动方法，教育机器人能够获取当前场景图像，对当前场景图案进行检测得到特征点，再对特征点进行处理，生成待匹配二值遮罩图像，将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配，从而实时检测出当前场景图像中的手势，计算简单，响应速度快，无需使用计算能力较强的芯片，有助于降低成本，可操作性强，能够应用在一对多的机器人教学场景中，并可大规模应用于中小学教室；加强了教育机器人与施教对象之间的互动性，使得教育机器人更大程度地模拟了真人教学场景，扮演教师角色，调动施教对象学习的积极性。

请参阅图3，图3是本申请提供的手势互动方法另一实施例的流程示意图，该方法包括：

步骤301：获取当前场景图像。

机器人可采集当前场景图像或者接收当前场景图像，组成图像数据库，比如，可在室内环境下采集包含手部区域的当前场景图案，并在当前场景图像中标注手部位置，可用矩形框表示，保存矩形框的左上角的像素位置、矩形框的长度以及宽度，以便在训练检测模型的过程中，将部分标注有手部位置的图像作为测试样本，验证检测模型的优劣。

步骤302：利用基于局部损失函数的单步多框检测模型对当前场景图像进行手部区域检测。

为了检测出当前场景图像中的手部区域，可采用目标检测方法训练检测模型，比如，one-stage或Two-stage方法，one-stage方法可以同时进行目标位置检测与目标识别，如SSD(Single Shot MultiBox Detector，单步多框检测)；Two-stage方法检测准确率高，但速度慢，如Faster RCNN(Region with Convolutional Neural Network Features，区域卷积神经网络)。

本实施例预先利用图像数据库训练单步多框检测模型，在训练模型的过程中需要计算损失函数，损失函数用来评价模型的预测值与真实值之间的差异，损失函数越好，通常模型的性能越好，不同的模型所使用的损失函数一般也不一样，本实施例中采用局部损失函数，以保证了目标检测的速度与准确率；同时由于只有手部检测，不存在数据集中样本不均衡问题，不会出现某些目标出现的频率高、某些目标出现的频率低的问题，因而训练好的单步多框检测模型可以很好的检测出当前场景图像中的手部区域。

步骤303：利用基于FHOG的特征点检测回归模型对子图像进行特征点检测。

该基于FHOG的特征点检测回归模型基于集成回归树(ERT，Ensemble ofRegression Tress)，标注的矩形框对应的图像为子图像，预先将子图像作为训练样本采用FHOG进行训练，得到特征点检测回归模型，利用训练好的特征点检测回归模型可以得到子图像中的特征点；例如，如图4a所示，在对子图像进行特征点检测后，得到多个特征点，这些特征点能够区分出手部轮廓，且每个特征点可按照顺时针或逆时针的顺序进行编号，但并不仅限与此。

步骤304：按照预设的顺序对特征点进行连线，以形成一闭合区域。

利用特征点检测回归模型检测出的每个特征点对应的顺序，可将特征点连成一闭合区域；例如，对图4a所示的特征点进行连接，形成手势的轮廓，得到图4b所示的闭合区域S。

步骤305：将闭合区域内的像素设置成第一像素值，并将闭合区域外的像素设置成第二像素值。

第一像素值和第二像素值可以为0-255的任意值，第一像素值和第二像素值不同，形成待匹配二值图像；为了方便人眼观察到待匹配二值遮罩图像，第一像素值与第二像素值的差值可相差较大，比如，第一像素值为255，第二像素值为0。

步骤306：计算待匹配二值遮罩图像的胡矩与多个参考二值遮罩图像的胡矩之间的差异。

为了识别待匹配二值遮罩图像中手势的类别，可计算待匹配二值遮罩图像的胡矩与多个参考二值遮罩图像的胡矩。

步骤307：选择差异小于预设阈值或差异最小的参考二值遮罩图像作为相匹配的参考二值遮罩图像。

待匹配二值遮罩图像的胡矩记作H1＝[x₁,x₂,x₃,x₄,x₅,x₆,x₇]，每个参考二值遮罩图像的胡矩记作H2＝[y₁,y₂,y₃,y₄,y₅,y₆,y₇]，可计算H1与H2之间的相似度，将相似度小于预设阈值的参考二值遮罩图像作为与待匹配二值遮罩图像相匹配的遮罩图像；或者将相似度最大的参考二值遮罩图像作为与待匹配二值遮罩图像相匹配的遮罩图像；例如，可采用如下公式计算相似度V：

通过比较参考二值遮罩图像与分割得到的待匹配二值遮罩图像的胡矩可得到手势的类别，二者差异越小，与参考二值遮罩图像对应的指定手势越相似。

步骤308：根据相匹配的参考二值遮罩图像确定手部区域所对应的手势。

步骤309：根据手势从手部区域中确定目标手部区域。

如果在当前场景图像中仅检测出一个手部区域，则目标手部区域即为手部区域；如果当前场景图像中具有多个手部区域，可将最先识别到的手势对应的手部区域作为目标手部区域，并停止手势识别。

步骤310：将用于当前场景图像的图像传感器对焦到目标手部区域。

在一具体的实施例中，如图5所示，可采用如下步骤将图像传感器对焦到目标手部区域：

步骤3101：计算目标手部区域的中心与当前场景图像的中心之间的距离。

为了将图像传感器对焦到目标手部区域，可计算目标手部区域的中心与当前场景图像的中心之间的距离，例如，如图6a所示，可计算目标手部区域的中心C1与当前场景图像的中心C2之间的水平距离x与竖直距离y。

步骤3102：根据距离控制与图像传感器连接的第一舵机和第二舵机的航向角和俯仰角，以使得后续拍摄的当前场景图像的中心与目标手部区域的中心对齐。

可在图像传感器下配置可自由旋转的底座，以便进行调整，将计算出来的水平距离与垂直距离传送给教育机器人中的控制器，以便控制器计算第一舵机和第二舵机的航向角和俯仰角，控制第一舵机和第二舵机进行转动，实现图像传感器的左右和/或上下移动，第一舵机与第二舵机的控制相互独立，互不影响，从而使得后续拍摄的当前场景图像的中心C2与目标手部区域R的中心重合，如图6b所示。

在一具体的实施例中，在教学应用中，施教对象坐于教育机器人的前方，教育机器人上的图像传感器为较大视野、较大像素以及分辨率较高的传感器，例如，图像传感器的像素大于1300万像素，每个像素尺寸为1.12μm，FOV(field of view，镜头所能覆盖的范围)大于70°，以保证教育机器人所携带的图像传感器能够清晰拍摄到所有施教对象的手势；为保证体验，施教对象人数可不超过10人。

步骤3103：在后续拍摄的当前场景图像上对目标手部区域外围的预定区域内进行人脸检测。

为了识别对齐后拍摄到的当前场景图像中手势对应的学生的身份，可以采用人脸识别方法对当前场景图像进行人脸检测；由于人的手与脸之间的最长距离对于同一个人来说是固定的，可检测目标手部区域外围的预定区域内是否存在人脸，适用于当前场景图像中存在比较完整的人脸的情况。

步骤3104：根据检测到的人脸进行互动。

教育机器人在检测到人脸后，可与施教对象进行互动，做出的相应的反应，例如，表情和肢体动作。

在一具体的实施例中，当图像传感器左右和/或上下移动以将选定的手势作为图像中心时，利用人脸识别方法可检测当前场景图像中的人脸，将检测到的人脸与多个参考人脸进行匹配，根据相匹配的参考人脸确定施教对象姓名，并根据施教对象姓名进行语音互动，教育机器人进入与该施教对象的一对一的互动模式，该参考人脸预先存储在教育机器人中，其为每个施教对象的人脸；例如，检测到当前场景图像中施教对象A的手势为“举手”，教育机器人可向施教对象A提问，询问施教对象A是否有什么问题需要请教，以进行互动。

在另一具体的实施例中，可基于检测到的人脸确定表情属性，根据表情属性进行表情互动，表情属性可以为“开心”、“疑惑”、“紧张”或“生气”等；例如，检测出人脸的表情为“开心”，教育机器人也可显示“开心”的表情。

本发明提供了一种实时多人手势识别方法，利用单步多框检测模型可检测出当前场景图中的所有手部区域，使用特征点检测回归模型在各个手部区域中预测特征点位置，然后通过对特征点进行处理，生成待匹配二值遮罩图像，将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配，从而识别出指定手势，教育机器人可扮演教学角色，与多人进行手势互动，同时由于机器人载体的新颖性，增加了互动趣味性，提高了施教对象学习的热情，使得施教对象具有更为持久的学习专注度。

参阅图7，图7是本申请提供的手势互动装置一实施例的结构示意图，手势互动装置70包括互相连接的存储器71和处理器72，存储器71用于存储计算机程序，计算机程序在被处理器72执行时，用于实现上述实施例中的手势互动方法。

本实施例提供了一种快速响应且鲁棒性较好的多人手势识别装置，适用于计算能力不足的教育机器人，提供了一种在教学实践场景下教育机器人与施教对象之间通过手势进行互动的机制；教育机器人在识别并定位手势后，可与手势对应的施教对象进行情感互动。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (6)

1.一种手势互动方法，其特征在于，所述方法包括：

教育机器人获取当前场景图像；

对所述当前场景图像进行手部区域检测，得到至少一个施教对象的手部区域；

对从检测到的手部区域提取的子图像进行特征点检测；

利用检测到的特征点生成待匹配二值遮罩图像；

将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；

根据相匹配的所述参考二值遮罩图像确定所述手部区域所对应的手势的类别；

将最先识别到的手势对应的手部区域作为目标手部区域，并停止手势识别；

将用于所述当前场景图像的图像传感器对焦到所述目标手部区域，包括：计算所述目标手部区域的中心与所述当前场景图像的中心之间的距离；根据所述距离控制与所述图像传感器连接的第一舵机和第二舵机的航向角和俯仰角，以使得后续拍摄的当前场景图像的中心与所述目标手部区域的中心对齐；

在后续拍摄的当前场景图像上对所述目标手部区域外围的预定区域内进行人脸检测；

根据检测到的人脸进行互动，包括：将检测到的人脸与多个参考人脸进行匹配；根据相匹配的参考人脸确定施教对象姓名，并根据所述施教对象姓名进行语音互动；或者，基于检测到的人脸确定表情属性；根据所述表情属性进行表情互动。

2.根据权利要求1所述的手势互动方法，其特征在于，所述对所述当前场景图像进行手部区域检测的步骤，包括：

利用基于局部损失函数的单步多框检测模型对所述当前场景图像进行手部区域检测。

3.根据权利要求1所述的手势互动方法，其特征在于，所述对从检测到的手部区域提取的子图像进行特征点检测的步骤，包括：

利用基于FHOG的特征点检测回归模型对所述子图像进行特征点检测。

4.根据权利要求1所述的手势互动方法，其特征在于，所述利用检测到的特征点生成待匹配二值遮罩图像的步骤，包括：

按照预设的顺序对所述特征点进行连线，以形成一闭合区域；

将所述闭合区域内的像素设置成第一像素值，并将所述闭合区域外的像素设置成第二像素值。

5.根据权利要求1所述的手势互动方法，其特征在于，所述将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配的步骤，包括：

计算所述待匹配二值遮罩图像的胡矩与所述多个参考二值遮罩图像的胡矩之间的差异；

选择所述差异小于预设阈值或所述差异最小的所述参考二值遮罩图像作为所述相匹配的所述参考二值遮罩图像。

6.一种手势互动装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-5中任一项所述的手势互动方法。