CN111061369A - 交互方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种交互方法、装置、设备及存储介质，属于计算机技术领域。该方法包括：当预设范围内存在目标对象时，显示手势提示信息，其中手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势，当目标对象做出的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据，将该奖励数据下发给目标对象。因此通过手势识别来实现人机交互，目标对象无需操纵输入设备，只需输入手势即可获得奖励数据，操作简便，提高了交互的灵活性。

Description

交互方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种交互方法、装置、设备及存储介质。

背景技术

人机交互是指人与电子设备之间以一定的交互方式进行信息交换的过程。随着手机、电脑等电子设备的飞速发展，人机交互在各领域的应用也越来越多。

相关技术中，电子设备与遥控器、键盘、鼠标等输入设备连接，用户通过操控这些输入设备向电子设备输入信息，控制电子设备执行相应的操作，以实现人机交互。

但是这种方法，需要用户操控输入设备才能实现与电子设备的交互，操作复杂，灵活性较差。

发明内容

本申请实施例提供了一种交互方法、装置、设备及存储介质，可以解决相关技术存在的问题。所述技术方案如下：

一方面，提供了一种交互方法，所述方法包括：

当预设范围内存在目标对象时，显示手势提示信息，所述手势提示信息用于提示所述目标对象输入参考手势集合中的至少一个参考手势；

当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据；

将所述奖励数据下发给所述目标对象。

另一方面，提供了一种交互装置，所述装置包括：

第一显示模块，用于当预设范围内存在目标对象时，显示手势提示信息，所述手势提示信息用于提示所述目标对象输入参考手势集合中的至少一个参考手势；

获取模块，用于当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据；

下发模块，用于将所述奖励数据下发给所述目标对象。

可选地，所述获取模块，包括：

第二拍摄单元，用于对所述预设范围进行至少一次拍摄，得到至少一个拍摄画面；

第二识别单元，用于基于手势识别模型，对所述至少一个拍摄画面进行手势识别，确定所述至少一个拍摄画面中包括的目标手势；

获取单元，用于当确定的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据。

可选地，所述手势提示信息用于提示所述目标对象按照排列顺序依次输入所述参考手势集合中的多个参考手势，所述获取模块，包括：

第二拍摄单元，用于对所述预设范围进行拍摄，得到拍摄画面；

第二识别单元，用于基于手势识别模型对所述拍摄画面进行手势识别，确定所述拍摄画面中包括的目标手势；

匹配单元，用于将所述目标手势与所述多个参考手势中未被匹配的第一个参考手势进行匹配，得到匹配结果；

所述第二拍摄单元，还用于继续执行对所述预设范围进行拍摄的步骤；

所述获取单元，还用于直至多个目标手势与所述多个参考手势均匹配时，获取所述参考手势集合对应的奖励数据。

可选地，所述装置还包括：

第二显示模块，用于当所述目标手势与所述未被匹配的第一个参考手势匹配时，显示第一提示信息，所述第一提示信息用于提示所述目标对象按照所述排列顺序输入下一个参考手势；

第三显示模块，用于当所述目标手势与所述未被匹配的第一个参考手势不匹配时，显示第二提示信息，所述第二提示信息用于提示所述目标对象重新输入所述未被匹配的第一个参考手势。

可选地，所述装置还包括：

识别模块，用于基于所述手势识别模型，对所述拍摄画面进行手势识别，得到多个预设手势对应的分值，所述分值用于表示所述拍摄画面中的手势与对应预设手势匹配的概率；

确定模块，用于当所述多个预设手势对应的分值中的最大分值不小于第二预设值时，将所述最大分值对应的预设手势确定为所述目标手势。

可选地，所述下发模块，包括：

人脸识别单元，用于对所述目标对象进行人脸识别，得到所述目标对象对应的用户标识；

数据添加单元，用于将所述奖励数据添加至所述用户标识的数据库中。

可选地，所述第一显示模块，包括以下至少一项：

第二显示单元，用于显示文本提示信息，所述文本提示信息包括所述至少一个参考手势的手势名称；

第三显示单元，还用于显示图片提示信息，所述图片提示信息包括所述至少一个参考手势的图片。

可选地，所述装置还包括：

第四显示模块，用于显示所述参考手势集合对应的奖励数据。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如所述交互方法中所执行的操作。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如所述交互方法中所执行的操作。

本申请实施例提供的方法、装置、设备及存储介质，当预设范围内存在目标对象时，显示手势提示信息，其中手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势，当目标对象做出的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据，将该奖励数据下发给目标对象。本申请实施例提供了一种通过手势识别来实现人机交互的方法，目标对象无需操纵输入设备，只需输入手势即可获得奖励数据，操作简便，提高了交互的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种交互方法的流程图。

图2是本申请实施例提供的一种参考手势的示意图。

图3是本申请实施例提供的一种显示界面的示意图。

图4是本申请实施例提供的另一种显示界面的示意图。

图5是本申请实施例提供的一种手势图片文件夹的示意图。

图6是本申请实施例提供的一种手势识别结果的示意图。

图7是本申请实施例提供的一种目标对象输入的手势的示意图。

图8是本申请实施例提供的一种特效数据显示界面的示意图。

图9是本申请实施例提供的一种虚拟角色界面的示意图。

图10是本申请实施例提供的另一种交互方法的流程图。

图11是本申请实施例提供的一种交互装置的结构示意图。

图12是本申请实施例提供的另一种交互装置的结构示意图。

图13是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“至少一个”的含义是一个或一个以上，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例提供了一种电子设备，该电子设备可以为手机、计算机、平板电脑、体感游戏机等多种类型的设备。该电子设备配置有摄像头，可以对预设范围进行拍摄得到拍摄画面。用户(目标对象)可在预设范围内做出手势，当电子设备拍摄到包括手势的拍摄画面时，对拍摄画面中的手势进行识别，确定该手势与电子设备中的参考手势匹配时，执行对应的操作，由此实现了用户与电子设备之间的交互。

图1是本申请实施例提供的一种交互方法的流程图。本申请实施例的执行主体为电子设备，参见图1，该方法包括：

101、电子设备对预设范围进行拍摄，得到拍摄画面，基于对象识别模型对拍摄画面进行物体识别，确定拍摄画面中包括目标对象。

电子设备中配置有摄像头，对摄像头进行设置之后，该摄像头可以对预设范围进行拍摄，得到拍摄画面，并将拍摄画面存储在电子设备中，其中预设范围即该摄像头可以拍摄到的范围，如以摄像头为顶点的扇形区域或者以摄像头为圆心的圆形区域等，该预设范围可以根据摄像头的拍摄距离和拍摄角度确定。

该电子设备还存储有预先训练的对象识别模型，对象识别模型用于对拍摄画面进行处理、分析和理解，以识别拍摄画面中的物体。例如，通过对象识别模型可以识别拍摄画面中的人、动物、车辆等。可选地，电子设备中运行有浏览器，电子设备中存储有转换模型，转换模型用于将该对象识别模型引入到浏览器中，当电子设备获取到对象识别模型时，通过转换模型，将电子设备引入到浏览器中，即可通过浏览器中的对象识别模型对拍摄画面进行物体识别。

另外电子设备中还可以存储有优化模型，优化模型用于对该对象识别模型的性能进行优化。

电子设备通过摄像头对预设范围进行拍摄，得到拍摄画面，电子设备加载对象识别模型，基于该对象识别模型，对拍摄画面进行物体识别，判断该拍摄画面中是否存在目标对象，该目标对象即为用于与电子设备进行交互的用户。当确定拍摄画面中包括目标对象时，认为目标对象要与电子设备进行交互，则电子设备执行下述步骤102；当确定拍摄画面中不包括目标对象时，则电子设备继续执行对预设范围进行拍摄，得到拍摄画面，并基于对象识别模型对拍摄画面进行物体识别的步骤，直至确定拍摄画面中包括目标对象。

在一种可能实现方式中，电子设备中可以运行目标应用，当电子设备检测到目标应用开始运行时，通过摄像头对预设范围进行拍摄，得到对预设范围的拍摄画面。其中，该目标应用可以为电子设备上安装的游戏应用、社交应用等，该目标应用还可以为电子设备通过浏览器运行的脚本程序等，本申请实施例对此不做限定。

可选地，电子设备通过摄像头对预设范围进行实时拍摄。直至检测到目标应用停止运行时，停止对预设范围进行拍摄。

可选地，电子设备还可以通过摄像头对预设范围进行周期性拍摄。当摄像头处于关闭状态时停止拍摄，当摄像头处于工作状态时进行拍摄，电子设备每隔预设时长切换一次摄像头的状态，来实现周期性拍摄。该预设时长可以由电子设备默认设置，或者由开发人员通过电子设备自行设置。例如，预设时长可以为5分钟、10分钟、15分钟等。

在一种可能实现方式中，当电子设备获取到拍摄画面时，基于对象识别模型对拍摄画面进行物体识别，得到第一分值，当第一分值大于第一预设值时，确定拍摄画面中包括目标对象。当第一分值不大于第一预设值时，确定拍摄画面中不包括目标对象。其中，第一分值用于表示拍摄画面中包括目标对象的概率，第一预设值可以由电子设备默认设置，或者由开发人员通过电子设备自行设置。

例如，该第一预设值为80％，当第一分值大于80％时，确定当前的拍摄画面中包括要与电子设备进行交互的用户，当第一分值不大于80％时，确定当前的拍摄画面中不包括要与电子设备进行交互的用户。

102、电子设备显示手势提示信息。

当电子设备确定拍摄画面中包括目标对象时，确定该目标对象要与该电子设备进行交互。在本申请实施例中，电子设备通过手势识别的方式来与目标对象进行交互。因此，电子设备显示手势提示信息，该手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势。

在一种可能实现方式中，电子设备中存储有多个参考手势集合，每个参考手势集合中包括至少一个参考手势，当电子设备确定拍摄画面中出现目标对象时，在多个参考手势集合中随机选择一个参考手势集合，并显示该参考手势集合。或者，本次选择上一次被选择的参考手势集合的下一个参考手势集合，或者采用其他方式来选择参考手势集合。

图2是本申请实施例提供的一种参考手势的示意图，包括十二种参考手势，该十二种参考手势的手势名称分别为子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥，则十二种参考手势可组成多个不同的参考手势集合。例如，参考手势集合1中包括亥、丑、寅、子、午、申、未7种参考手势，参考手势集合2中包括辰、丑、卯3种参考手势，参考手势集合3中包括亥、戌、酉、申、未5种参考手势。

在一种可能实现方式中，该电子设备配置有屏幕，电子设备的摄像头可拍摄到的预设范围为该屏幕前方的区域，当电子设备确定拍摄画面中包括目标对象时，也即该目标对象当前位于屏幕前方的区域，电子设备对拍摄画面进行识别，确定该目标对象的位置，根据目标对象的位置，确定该屏幕中与该目标对象的位置对应的显示区域，电子设备在该显示区域中显示手势提示信息，以便目标对象查看前方显示区域中显示的手势提示信息。

在一种可能实现方式中，电子设备显示文本提示信息，该文本提示信息即为手势提示信息。文本提示信息包括至少一个参考手势的手势名称，目标对象根据文本提示信息中的手势名称，输入与手势名称对应的手势。

例如，如图3所示，参考手势集合中的参考手势分别为辰、丑、卯。电子设备在屏幕中与目标对象的位置对应的显示区域中，显示参考手势的名称，即显示“辰”、“丑”、“卯”。

在另一种可能实现方式中，电子设备显示图片提示信息，该图片提示信息即为手势提示信息。图片提示信息包括至少一个参考手势的图片，目标对象根据图片提示信息中的图片，输入与图片对应的手势。

例如，如图4所示，参考手势集合中的参考手势分别为辰、丑、卯。电子设备在屏幕中与目标对象的位置对应的显示区域中，显示参考手势辰、丑、卯对应的图片。

103、电子设备对预设范围进行至少一次拍摄，得到至少一个拍摄画面。

当电子设备显示手势提示信息时，目标对象即可根据手势提示信息，分别输入与至少一个参考手势对应的手势。因此，电子设备通过摄像头对预设范围进行至少一次拍摄，得到至少一个拍摄画面。后续即可通过对该至少一个拍摄画面进行识别，来判断目标对象是否输入了对应的手势。

104、电子设备基于手势识别模型，对至少一个拍摄画面进行手势识别，确定至少一个拍摄画面中包括的目标手势。

电子设备拍摄得到对预设范围的拍摄画面时，加载手势识别模型，基于该手势识别模型对拍摄画面进行手势识别，来确定拍摄画面中包括的目标手势。

其中，手势识别模型是电子设备中存储的预先训练的模型，该手势识别模型用于对拍摄画面进行处理、分析和理解，来识别拍摄画面中的手势。可选地，电子设备中安装有TensorFlow(一种人工智能学习系统)，该TensorFlow可用于实现感知或语言理解等任务的机器学习，该TensorFlow中包括MobileNet(一类卷积神经网络)，MobileNet在电子设备中运行速度快且计算消耗小，可以用于进行手势识别。电子设备获取多个预设手势的图片，如图5所示，电子设备中存储多个文件夹，每个文件夹与一个预设手势对应，包括对应的预设手势的多张图片。电子设备即可通过TensorFlow中的MobileNet，根据多个预设手势的图片来进行模型训练，训练完成20000步时保存模型，该模型即为手势识别模型，并且手势识别模型具有对应的多个预设手势，则该手势识别模型通过识别拍摄画面来对多个预设手势进行分类。并且，该手势识别模型对应的多个预设手势可以采用手势名称来表示或者采用手势图片来表示。

在一种可能实现方式中，手势识别模型可以识别多个预设手势，且该参考手势集合中的参考手势均为手势识别模型可识别的预设手势。基于手势识别模型，对当前的拍摄画面进行识别，当该手势识别模型可以识别该拍摄画面中的手势时，也即是拍摄画面中的手势与多个预设手势中的某一预设手势匹配时，将与拍摄画面中的手势匹配的预设手势确定为目标手势。当该手势识别模型无法识别拍摄画面中的手势时，也即是拍摄画面中的手势与多个预设手势中的任一预设手势均不匹配，可以确定拍摄画面中未出现与参考手势匹配的手势，也即是目标对象未输入参考手势集合中的参考手势。

在一种可能实现方式中，电子设备基于手势识别模型，对拍摄画面进行手势识别，得到多个预设手势对应的分值，分值用于表示拍摄画面中的手势与对应预设手势匹配的概率。当多个预设手势对应的分值中的最大分值不小于第二预设值时，将该最大分值对应的预设手势确定为目标手势，拍摄画面中的手势与最大分值对应的预设手势匹配，因此该预设手势即为目标对象输入的目标手势；当多个预设手势对应的分值中的最大分值小于第二预设值时，确定拍摄画面中不包括与预设手势匹配的目标手势，目标对象未输入与预设手势匹配的手势，也就是目标对象未输入参考手势集合中的参考手势。

其中，第二预设值可以由电子设备默认设置，或者由开发人员通过电子设备自行设置。

例如，该手势识别模型可以识别图2所示的十二种预设手势，分别为子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥，第二预设值为30％。基于手势识别模型，对拍摄画面进行识别，得到子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥十二种预设手势对应的分值，参见图6，十二种预设手势对应的分值中预设手势“申”对应的分值为95％，不小于30％，且在十二个预设手势中对应的分值最大，因此将预设手势“申”确定为目标手势，也即是目标对象输入的手势为“申”。另外，如果十二种预设手势对应的分值均小于30％，则认为拍摄画面中不包括与预设手势匹配的目标手势。

可选地，当多个预设手势对应的分值均小于第二预设值时，电子设备显示第三提示信息，该第三提示信息用于提示目标对象重新输入参考手势。

其中，终端通过执行上述步骤，基于手势识别模型，对至少一个拍摄画面进行手势识别，确定至少一个拍摄画面中包括的目标手势。

105、当电子设备确定的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据。

电子设备确定至少一个拍摄画面中包括的目标手势，该至少一个目标手势即为目标对象输入的至少一个手势。电子设备将至少一个目标手势与至少一个参考手势比较，当该至少一个目标手势与该至少一个参考手势相同时，确定至少一个目标手势与至少一个参考手势匹配，确定目标对象已经按照手势提示信息，输入了该至少一个参考手势，则电子设备获取该参考手势集合对应的奖励数据。

其中，每个参考手势集合分别对应不同的奖励数据，该奖励数据可以为特效数据、技能数据、虚拟装备、虚拟宠物等。且该奖励数据可以为动态数据或者静态数据。

在一种可能实现方式中，手势提示信息用于提示目标对象按照排列顺序依次输入参考手势集合中的多个参考手势。则上述步骤103-105包括：

电子设备对预设范围进行拍摄，得到拍摄画面，基于手势识别模型对拍摄画面进行手势识别，确定拍摄画面中包括的目标手势。将该目标手势与多个参考手势中未被匹配的第一个参考手势进行匹配，得到匹配结果。电子设备继续执行对预设范围进行拍摄的步骤，直至多个目标手势与多个参考手势均匹配时，获取参考手势集合对应的奖励数据。由于目标对象需要按照排列顺序依次输入多个参考手势，因此电子设备也要按照排列顺序依次对目标对象输入的手势进行识别。

电子设备确定当前拍摄画面中包括的目标手势时，将该目标手势与未被匹配的第一个参考手势进行匹配，得到匹配结果。若匹配结果为目标手势与未被匹配的第一个参考手势匹配，则电子设备确定下一个拍摄画面中包括的目标手势，此时未被匹配的第一个参考手势为参考手势集合中的下一个参考手势，则电子设备将该目标手势与未被匹配的第一个参考手势进行匹配，得到匹配结果。若匹配结果为目标手势与未被匹配的第一个参考手势不匹配，则电子设备确定下一个拍摄画面中包括的目标手势，此时未被匹配的第一个参考手势仍不变，则电子设备将该目标手势与未被匹配的第一个参考手势进行匹配，得到匹配结果。

因此，未被匹配的第一个参考手势可能还未与任何目标手势进行匹配，或者，可能已经与某一个或者多个目标手势进行匹配，但是匹配结果均为匹配失败。

电子设备循环执行上述匹配步骤，直至多个目标手势与多个参考手势均匹配时，确定目标对象已经按照参考手势集合中的排列顺序依次输入了多个参考手势，获取参考手势集合对应的奖励数据。

可选地，当匹配结果为目标手势与未被匹配的第一个参考手势匹配时，电子设备显示第一提示信息，第一提示信息用于提示目标对象按照排列顺序输入下一个参考手势。

电子设备将当前得到的目标手势与当前未被匹配的第一个参考手势进行比较，确定该目标手势与该第一个参考手势匹配时，也就是目标对象已经输入了该未被匹配的第一个参考手势，则该目标对象需要按照参考手势集合中的排列顺序输入下一个参考手势，因此电子设备显示第一提示信息来提示目标对象输入下一个参考手势。

可选地，当匹配结果为目标手势与未被匹配的第一个参考手势不匹配时，电子设备显示第二提示信息，第二提示信息用于提示目标对象重新输入未被匹配的第一个参考手势。

电子设备将当前得到的目标手势与当前未被匹配的第一个参考手势进行比较，确定该目标手势与该未被匹配的第一个参考手势不相同时即为不匹配，也就是目标对象当前输入的手势与该未被匹配的第一个参考手势不相同，因此电子设备显示第二提示信息来提示目标对象重新输入未被匹配的第一个参考手势。

其中，第一提示信息和第二提示信息均可以为文本提示信息或者语音提示信息等。

例如，手势提示信息用于提示目标对象按照排列顺序依次输入参考手势集合中的3个参考手势，3个参考手势分别为未、巳、寅，则目标对象依次输入如图7所示的手势，方可获取奖励数据。

106、电子设备显示参考手势集合对应的奖励数据。

当电子设备获取到参考手势集合对应的奖励数据时，显示该奖励数据，目标对象集合在电子设备上查看该奖励数据。其中，当该奖励数据为静态数据时，电子设备静态显示该奖励数据，当该奖励数据为动态数据时，电子设备动态播放该奖励数据。

在一种可能实现方式中，该电子设备配置有屏幕，电子设备对拍摄画面进行识别，确定该目标对象的位置，根据目标对象的位置，确定该屏幕中与该目标对象的位置对应的显示区域，电子设备在该显示区域中显示奖励数据，以便目标对象查看前方显示区域中显示的奖励数据。

如图8所示，该奖励数据为特效数据，当电子设备获取到该特效数据时，在界面中显示特效数据，并且显示提示信息“已解锁线下展会专属特效”来提示目标对象已解锁该特效，并且还显示提示信息“这叫旋风术，要掌握要领哦”来提示目标对象该特效数据的名称。

需要说明的是，在另一实施例中，还可以不执行步骤106，获取参考手势集合对应的奖励数据后，直接执行步骤107。

107、电子设备将奖励数据下发给目标对象。

当电子设备获取到参考手势集合对应的奖励数据时，电子设备将奖励数据下发给目标对象，目标对象即可获取该奖励数据。

在一种可能实现方式中，电子设备对目标对象进行人脸识别，得到目标对象对应的用户标识，将奖励数据添加至用户标识的数据库中。

电子设备中存储有至少一个用户图片与用户标识的对应关系，该用户图片中包括用户的人脸，该用户标识用于表示用户的身份，可以为用户账号、电话号码、用户昵称、电子邮箱等。

电子设备对预设范围进行拍摄，得到包括目标对象人脸的拍摄画面，调用人脸识别接口，通过预先存储的至少一个用户图片，对该拍摄画面进行识别，确定拍摄画面中的目标对象人脸与某一用户图片中的人脸匹配时，获取该用户图片对应的用户标识，将该用户标识确定为目标对象的用户标识，则电子设备将奖励数据添加至该用户标识的数据库中，由此实现将奖励数据下发给目标对象。

可选地，电子设备中运行有目标应用，当确定目标对象对应的用户标识时，电子设备基于该用户标识登录该目标应用，显示虚拟角色界面，在虚拟角色界面中显示该奖励数据，其中该虚拟角色与该用户标识对应，电子设备将该奖励数据添加至该虚拟角色的数据库中。如图9所示，虚拟角色界面中包括虚拟角色的图片、虚拟角色的属性信息以及虚拟角色的数据库，其中数据库中包括材料数据和特效数据等，该奖励数据为展会特效，在特效数据对应的区域中显示该展会特效。因此目标对象查看该虚拟角色界面时，即可得知该展会特效已经添加至虚拟角色的数据库中。

本申请实施例提供的方法，当预设范围内存在目标对象时，显示手势提示信息，其中手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势，当目标对象做出的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据，将该奖励数据下发给目标对象。本申请实施例提供了一种通过手势识别来实现人机交互的方法，目标对象无需操纵输入设备，只需输入手势即可获得奖励数据，操作简便，提高了交互的灵活性。还增强了交互过程的趣味性，有利于提高目标对象的参与度。

并且，每个参考手势集合分别对应不同的奖励数据，电子设备可以识别不同的手势，因此目标对象输入不同的参考手势集合可以得到不同的奖励数据，避免了目标对象与电子设备交互方式过于单一。

并且，相关技术中目标对象需要操纵键盘、遥控器等输入设备与电子设备进行交互，因此目标对象需要学习输入设备的使用方法，学习成本较高。而本申请实施例提供的方法无需操纵输入设备，降低了学习成本。

图10是本申请实施例提供的另一种交互方法的流程图，该方法应用于电子设备，其中电子设备中运行有游戏应用，参见图10，该方法包括：

1、当电子设备检测到用户打开游戏应用时，加载电子设备中的摄像头，对预设范围进行实时拍摄，得到拍摄画面。

2、电子设备加载对象识别模型，基于对象识别模型，对拍摄画面进行识别。

3、当电子设备识别到拍摄画面中包括用户时，加载手势识别模型。若加载成功则执行下一步；若加载失败则重新加载该手势识别模型，若加载成功则执行下一步，若此次仍加载失败，则退出交互流程。

4、当手势识别模型加载成功时，电子设备显示手势提示信息，提示用户按照排列顺序依次输入参考手势集合中的多个参考手势。

5、电子设备基于手势识别模型，对实时拍摄得到的拍摄画面进行手势识别，得到多个预设手势对应的分值，并判断多个分值是否均小于30％。若多个分值均小于30％，则提示用户调整手势，并重新识别用户输入的手势；若多个分值中包括不小于30％的分值，则将最高分值对应的预设手势作为目标手势。

6、将目标手势与参考手势集合中未被匹配的第一个参考手势进行匹配。当确定参考手势集合中的全部参考手势均已被匹配时，则执行下一步；当确定参考手势集合中还有未被匹配的参考手势时，则提示用户继续输入参考手势，并对用户输入的参考手势进行识别，直至确定全部参考手势均被匹配。

7、电子设备播放参考手势集合对应的特效数据。

8、电子设备调用人脸识别接口对用户进行识别，确定该用户对应的用户标识。

9、将该特效数据下发给该用户标识。

图11是本申请实施例提供的一种交互装置的结构示意图。参见图11，该装置包括：

第一显示模块1101，用于当预设范围内存在目标对象时，显示手势提示信息，手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势；

获取模块1102，用于当目标对象做出的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据；

下发模块1103，用于将奖励数据下发给目标对象。

可选地，参见图12，第一显示模块1101，包括：

第一拍摄单元1111，用于对预设范围进行拍摄，得到拍摄画面；

第一识别单元1121，用于基于对象识别模型对拍摄画面进行物体识别，确定拍摄画面中包括目标对象；

第一显示单元1131，用于显示手势提示信息。

可选地，参见图12，第一识别单元1121，还用于基于对象识别模型对拍摄画面进行物体识别，得到第一分值，第一分值用于表示拍摄画面中包括目标对象的概率；

第一识别单元1121，还用于当第一分值大于第一预设值时，确定拍摄画面中包括目标对象。

可选地，参见图12，获取模块1102，包括：

第二拍摄单元1112，用于对预设范围进行至少一次拍摄，得到至少一个拍摄画面；

第二识别单元1122，用于基于手势识别模型，对至少一个拍摄画面进行手势识别，确定至少一个拍摄画面中包括的目标手势；

获取单元1132，用于当确定的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据。

可选地，参见图12，手势提示信息用于提示目标对象按照排列顺序依次输入参考手势集合中的多个参考手势，获取模块1102，包括：

第二拍摄单元1112，用于对预设范围进行拍摄，得到拍摄画面；

第二识别单元1122，用于基于手势识别模型对拍摄画面进行手势识别，确定拍摄画面中包括的目标手势；

匹配单元1142，用于将目标手势与多个参考手势中未被匹配的第一个参考手势进行匹配，得到匹配结果；

第二拍摄单元1112，还用于继续执行对预设范围进行拍摄的步骤；

获取单元1132，还用于直至多个目标手势与多个参考手势均匹配时，获取参考手势集合对应的奖励数据。

可选地，参见图12，装置还包括：

第二显示模块1104，用于当目标手势与第一个参考手势匹配时，显示第一提示信息，第一提示信息用于提示目标对象按照排列顺序输入下一个参考手势；

第三显示模块1105，用于当目标手势与第一个参考手势不匹配时，显示第二提示信息，第二提示信息用于提示目标对象重新输入第一个参考手势。

可选地，参见图12，装置还包括：

识别模块1106，用于基于手势识别模型，对拍摄画面进行手势识别，得到多个预设手势对应的分值，分值用于表示拍摄画面中的手势与对应预设手势匹配的概率；

确定模块1107，用于当多个预设手势对应的分值中的最大分值不小于第二预设值时，将最大分值对应的预设手势确定为目标手势。

可选地，参见图12，下发模块1103，包括：

人脸识别单元1113，用于对目标对象进行人脸识别，得到目标对象对应的用户标识；

数据添加单元1123，用于将奖励数据添加至用户标识的数据库中。

可选地，参见图12，第一显示模块1101，包括以下至少一项：

第二显示单元1141，用于显示文本提示信息，文本提示信息包括至少一个参考手势的手势名称；

第三显示单元1151，用于显示图片提示信息，图片提示信息包括至少一个参考手势的图片。

可选地，参见图12，装置还包括：

第四显示模块1108，用于显示参考手势集合对应的奖励数据。

需要说明的是：上述实施例提供的交互装置在进行交互时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的交互装置与交互方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供的交互装置，当预设范围内存在目标对象时，显示手势提示信息，其中手势提示信息用于提示目标对象输入参考手势集合中的至少一个参考手势，当目标对象做出的至少一个目标手势与至少一个参考手势匹配时，获取参考手势集合对应的奖励数据，将该奖励数据下发给目标对象。因此通过手势识别来实现人机交互，目标对象无需操纵输入设备，操作简便，提高了交互的灵活性。

图13示出了本申请一个示例性实施例提供的电子设备1300的结构示意图。该电子设备1300可用于执行上述实施例中的交互方法。通常，电子设备1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理的交互器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1301所具有以实现本申请中方法实施例提供的交互方法。

在一些实施例中，设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、触摸显示屏1305、摄像头1306、音频电路1307、定位组件1308和电源1309中的至少一种。

外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置电子设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在电子设备1300的不同表面或呈折叠设计；在一些实施例中，显示屏1305可以是柔性显示屏，设置在电子设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备1300的前面板，后置摄像头设置在电子设备1300的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。

定位组件1308用于定位电子设备1300的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1309用于为电子设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。

加速度传感器1311可以检测以电子设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制触摸显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1312可以检测电子设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对电子设备1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1313可以设置在电子设备1300的侧边框和/或触摸显示屏1305的下层。当压力传感器1313设置在电子设备1300的侧边框时，可以检测用户对电子设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在触摸显示屏1305的下层时，由处理器1301根据用户对触摸显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置电子设备1300的正面、背面或侧面。当电子设备1300上设置有物理按键或厂商Logo时，指纹传感器1314可以与物理按键或厂商标志集成在一起。

光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制触摸显示屏1305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1305的显示亮度；当环境光强度较低时，调低触摸显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。

接近传感器1316，也称距离传感器，通常设置在电子设备1300的前面板。接近传感器1316用于采集用户与电子设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与电子设备1300的正面之间的距离逐渐变小时，由处理器1301控制触摸显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与电子设备1300的正面之间的距离逐渐变大时，由处理器1301控制触摸显示屏1305从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图13中示出的结构并不构成对电子设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种用于交互的电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的交互方法中所具有的操作。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的交互方法中所具有的操作。

本申请实施例还提供了一种计算机程序，该计算机程序包括至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的交互方法中所具有的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种交互方法，其特征在于，所述方法包括：

当预设范围内存在目标对象时，显示手势提示信息，所述手势提示信息用于提示所述目标对象输入参考手势集合中的至少一个参考手势；

当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据；

将所述奖励数据下发给所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述当预设范围内存在目标对象时，显示手势提示信息，包括：

对所述预设范围进行拍摄，得到拍摄画面；

基于对象识别模型对所述拍摄画面进行物体识别，确定所述拍摄画面中包括所述目标对象；

显示所述手势提示信息。

3.根据权利要求2所述的方法，其特征在于，所述基于对象识别模型对所述拍摄画面进行物体识别，确定所述拍摄画面中包括所述目标对象，包括：

基于所述对象识别模型对所述拍摄画面进行物体识别，得到第一分值，所述第一分值用于表示所述拍摄画面中包括所述目标对象的概率；

当所述第一分值大于第一预设值时，确定所述拍摄画面中包括所述目标对象。

4.根据权利要求1所述的方法，其特征在于，所述当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据，包括：

对所述预设范围进行至少一次拍摄，得到至少一个拍摄画面；

基于手势识别模型，对所述至少一个拍摄画面进行手势识别，确定所述至少一个拍摄画面中包括的目标手势；

当确定的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据。

5.根据权利要求1所述的方法，其特征在于，所述手势提示信息用于提示所述目标对象按照排列顺序依次输入所述参考手势集合中的多个参考手势，所述当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据，包括：

对所述预设范围进行拍摄，得到拍摄画面；

基于手势识别模型对所述拍摄画面进行手势识别，确定所述拍摄画面中包括的目标手势；

将所述目标手势与所述多个参考手势中未被匹配的第一个参考手势进行匹配，得到匹配结果；

继续执行对所述预设范围进行拍摄的步骤，直至多个目标手势与所述多个参考手势均匹配时，获取所述参考手势集合对应的奖励数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述目标手势与所述未被匹配的第一个参考手势匹配时，显示第一提示信息，所述第一提示信息用于提示所述目标对象按照所述排列顺序输入下一个参考手势；

当所述目标手势与所述未被匹配的第一个参考手势不匹配时，显示第二提示信息，所述第二提示信息用于提示所述目标对象重新输入所述未被匹配的第一个参考手势。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述手势识别模型，对所述拍摄画面进行手势识别，得到多个预设手势对应的分值，所述分值用于表示所述拍摄画面中的手势与对应预设手势匹配的概率；

当所述多个预设手势对应的分值中的最大分值不小于第二预设值时，将所述最大分值对应的预设手势确定为所述目标手势。

8.根据权利要求1所述的方法，其特征在于，所述将所述奖励数据下发给所述目标对象，包括：

对所述目标对象进行人脸识别，得到所述目标对象对应的用户标识；

将所述奖励数据添加至所述用户标识的数据库中。

9.根据权利要求1所述的方法，其特征在于，所述显示手势提示信息，包括以下至少一项：

显示文本提示信息，所述文本提示信息包括所述至少一个参考手势的手势名称；

显示图片提示信息，所述图片提示信息包括所述至少一个参考手势的图片。

10.根据权利要求1所述的方法，其特征在于，所述当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势列表对应的奖励数据之后，所述方法还包括：

显示所述参考手势集合对应的奖励数据。

11.一种交互装置，其特征在于，所述装置包括：

第一显示模块，用于当预设范围内存在目标对象时，显示手势提示信息，所述手势提示信息用于提示所述目标对象输入参考手势集合中的至少一个参考手势；

获取模块，用于当所述目标对象做出的至少一个目标手势与所述至少一个参考手势匹配时，获取所述参考手势集合对应的奖励数据；

下发模块，用于将所述奖励数据下发给所述目标对象。

12.根据权利要求11所述的装置，其特征在于，所述第一显示模块，包括：

第一拍摄单元，用于对所述预设范围进行拍摄，得到拍摄画面；

第一识别单元，用于基于对象识别模型对所述拍摄画面进行物体识别，确定所述拍摄画面中包括目标对象；

第一显示单元，用于显示所述手势提示信息。

13.根据权利要求12所述的装置，其特征在于，所述第一识别单元，还用于基于所述对象识别模型对所述拍摄画面进行物体识别，得到第一分值，所述第一分值用于表示所述拍摄画面中包括所述目标对象的概率；

所述第一识别单元，还用于当所述第一分值大于第一预设值时，确定所述拍摄画面中包括所述目标对象。

14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至10任一所述的交互方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至10任一所述的交互方法。

Images