CN108681402A - 识别交互方法、装置、存储介质及终端设备 - Google Patents

Abstract

本申请实施例中提供的一种识别交互方法、装置、存储介质及终端设备，该方法通过在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；根据所述姿势信息确定对应的交互内容。通过采用上述技术方案，可以识别用户的预设身体部位的姿势三维数据，并根据预设身体部位的姿势三维数据确定对应的交互内容，用户可以做出不同的姿势来进行不同的交互，可以优化终端设备的交互功能。

Description

识别交互方法、装置、存储介质及终端设备

技术领域

本申请实施例涉及终端设备技术领域，尤其涉及一种识别交互方法、装置、存储介质及终端设备。

背景技术

随着终端设备的发展，终端设备能够应用的场景以及能够实现的功能越来越多。终端设备包括很多通过和用户交互来完成的功能，例如，人工智能助手。一般的交互方式包括：获取用户的图像、声音、触摸指令或指纹信息等信息来确定用户意图，并根据用户意图进行交互。但是现有的终端设备在与用户进行交互上不够智能，不能满足用户更多的需求，所以需要优化终端设备的交互功能。

发明内容

本申请实施例提供的一种识别交互方法、装置、存储介质及终端设备，可以优化终端设备的交互功能。

第一方面，本申请实施例提供了一种识别交互方法，包括：

在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

根据所述姿势信息确定对应的交互内容。

第二方面，本申请实施例提供了一种识别交互装置，包括：

三维数据获取模块，用于在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

姿势确定模块，用于通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

交互确定模块，用于根据所述姿势信息确定对应的交互内容。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的识别交互方法。

第四方面，本申请实施例提供了一种终端设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的识别交互方法。

本申请实施例中提供的一种识别交互方案，通过在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；根据所述姿势信息确定对应的交互内容。通过采用上述技术方案，可以识别用户的预设身体部位的姿势三维数据，并根据预设身体部位的姿势三维数据确定对应的交互内容，用户可以做出不同的姿势来进行不同的交互，可以优化终端设备的交互功能。

附图说明

图1为本申请实施例提供的一种识别交互方法的流程示意图；

图2为本申请实施例提供的另一种识别交互方法的流程示意图；

图3为本申请实施例提供的另一种识别交互方法的流程示意图；

图4为本申请实施例提供的另一种识别交互方法的流程示意图；

图5为本申请实施例提供的一种初始三维数据的示意图；

图6为本申请实施例提供的另一种识别交互方法的流程示意图；

图7为本申请实施例提供的一种识别交互装置的结构框图；

图8为本申请实施例提供的一种终端设备的结构示意图；

图9为本申请实施例提供的另一种终端设备的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

普通的二维摄像技术已经不能满足当前的技术趋势。随着三维摄像头技术逐渐发展，越来越多的可以用于拍照的终端设备都采用了三维摄像头。相较于二维摄像头，三维摄像头能够采集到更多的信息，本申请实施例可以通过三维摄像头识别用户的身体部位的姿势，可以根据身体部位的姿势实现更智能的交互方式。

图1为本申请实施例提供的一种识别交互方法的流程示意图，该方法可以由识别交互装置执行，其中该装置可以由软件和/或硬件实现，一般可以集成在终端设备中，也可以集成在其他安装有操作系统的设备中。如图1所示，该方法包括：

S110、在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据。

其中，所述用户的预设身体部位为人体上可以实现不同姿势的部位；示例性地，预设身体部位可以是手部，手部可以做出多种不同的姿势。所述识别摄像头为用于识别用户的预设身体部位，并能获取三维数据的摄像头。

所述识别摄像头可以是终端设备上的摄像头，可以是终端设备的前置摄像头，和/或后置摄像头。示例性地，现有的终端设备中一般都设置有至少一个摄像头，一般都包括前置摄像头和后置摄像头。如果拍摄的预设身体部位的用户是终端设备的当前使用者，所述识别摄像头可以是终端设备的前置摄像头，以便用户可以通过终端设备的屏幕了解到交互结果。再如，拍摄的预设身体部位的用户不是终端设备的当前使用者，而是其他用户，则所述识别摄像头可以是终端设备的后置摄像头；当前终端设备的当前使用者通过终端设备来拍摄其他用户的预设身体部位，并根据其他用户的预设身体部位的姿势来进行交互。

传统的相机进行拍摄所获取的图像一般是二维数据，即以行列矩阵规则进行排列的像素点的色彩值(RGB值)或灰度值的集合。相比二维数据，所述三维数据中还包括拍摄到的预设身体部位的深度信息，即拍摄的物体上的不同空间点与摄像头的距离，所以三维数据可以表示所拍摄的物体的空间信息。所述识别摄像头可以是带有距离传感器的摄像头，距离传感器可以获取所拍摄的物体上的不同空间点与摄像头的距离，如此可以获取到拍摄的预设身体部位的三维数据。

所述姿势三维数据包括：所述识别摄像头拍摄的所述预设身体部位所做出的姿势的三维数据。所述姿势三维数据可以是预设身体部位做静止的姿势时，所获取的一组三维数据。姿势三维数据还可以是预设身体部位做出动态的姿势时，所获取的多组三维数据。

示例性地，如果所述预设身体部位为手部，用户做出的手势为竖大拇指的静止的姿势，则对应的姿势三维数据为用户的竖大拇指的手势的三维数据。如果用户做出的手势为挥手再见的移动的手势，即打开手掌，手心向着识别摄像头，进行左右摆手的动态的手势时，可以是在设定时间内获取的多组三维数据；例如，如果设定时间是3秒，如果每隔0.1秒获取一次三维数据，则可以得到30组三维数据，该30组三维数据作为姿势三维数据可以确定用户所做出的动态的手势。

S111、通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息。

所述姿势三维数据实际上是一组或多组的数据的集合，进一步需要根据数据的集合来分析识别该姿势三维数据实际上对应的是预设身体部位的姿势信息是什么。

所述姿势识别模型可以是已经训练好的用于根据三维图像数据确定姿势信息的识别系统，所述姿势识别模型可以是预存在终端设备中，或预存在后台服务器中。在需要对姿势三维数据进行识别时，调用预存的姿势识别模型来识别姿势三维数据，以确定实际的身体部位的姿势信息。

S112、根据所述姿势信息确定对应的交互内容。

其中，可以是根据预设映射表确定姿势信息对应的交互内容；所述映射表中包括姿势信息和交互信息的映射关系。所述交互内容为终端设备根据姿势信息向用户输出的信息，可以是通过终端设备的屏幕、扬声器和其他输出模块进行输出，以便用户可以得到其做出的姿势对应的交互内容。

所述姿势信息为预设身体部位的姿势对应的意图信息，不同的姿势信息可以表示用户的不同意图；例如，用户做出了“OK”的手势，则表示用户的意图为“同意”，终端设备则可以根据用户的OK手势确定对应的交互内容。具体的姿势信息和交互内容的映射关系可以是系统预设，也可以根据用户的设置进行设定。

可选地，所述交互内容包括：音频数据、图片数据和文本数据中的至少一种。

其中，可以通过终端设备的扬声器输出相应的音频数据作为根据所述姿势信息确定的交互内容。示例性地，用户如果做出了摇滚乐的手势，即食指和小拇指朝上，其他手指合拢的手势，则表示用户的意图为音乐，可以通过终端设备中用于播放音乐的应用程序(application)输出音频数据作为交互内容。

还可以通过终端设备的屏幕输出图片数据和/或文本数据作为根据所述姿势信息确定的交互内容。示例性地，用户如果做出了看书的手势，即双手展开并排放置，手掌朝向用户的脸部的手势，则表示用户的意图为看书或新闻，终端设备可以通过屏幕输出文本数据和/或图片数据作为交互内容。

可选地，所述交互内容还可以包括：增强现实素材的交互动作。

所述增强现实(AR,Augmented Reality)素材为根据增强现实技术建立的在终端设备的屏幕上进行显示的素材文件。增强现实技术是一种根据摄像机影像的位置及角度建立相应的三维仿真模型的技术，通过增强现实技术用户可以通过终端设备的显示模块看到十分接近真实的虚拟物体。增强现实技术的应用范围越来越多，例如，任天堂公司发行的手机游戏《精灵宝可梦GO》和支付宝中的AR红包功能等。

所述增强现实素材可以是系统预设，增强现实素材可以是虚拟物体。示例性地，增强显示素材的虚拟物体可以是一只虚拟的仿真猫，或者其他虚拟角色。

所述增强现实素材的交互动作，即虚拟物体执行的动作。示例性地，如果用户的姿势信息为招手呼唤的手势，虚拟的仿真猫可以做出看向屏幕外的方向的动作，作为根据用户的姿势信息确定的交互内容。具体的增强现实素材的交互动作可以根据系统预设或用户的设定进行设置，还可以根据实际应用进行设置。

增强现实素材具有更强的真实性，根据所述姿势信息确定对应的增强现实素材的交互动作可以给用户提供更有趣的交互功能，进一步丰富交互功能。

本申请实施例可以识别用户的预设身体部位的姿势三维数据，并根据预设身体部位的姿势三维数据确定对应的交互内容。相较于传统的二维数据，三维数据包含更多的信息，可以识别出用户更多的姿势，根据用户可以做出不同的姿势来进行不同的交互，可以优化终端设备的交互功能。

图2为本申请实施例提供的另一种识别交互方法的流程示意图，在上述实施例所提供的技术方案的基础上，对根据所述姿势信息确定对应的交互内容进行了优化，可选地，如图2所示，该方法包括：

S120、在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据。

S121、通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息。

具体实施方式可以参考上文的相关描述，在此不再赘述。

S122、通过场景摄像头获取交互场景图像，并在终端设备的屏幕上进行显示。

所述场景摄像头为用于获取交互场景图像的摄像头，所述交互场景图像为增强现实素材显示时的背景场景。所述场景摄像头可以是与所述识别摄像头为同一个摄像头，所述场景摄像头还可以是与所述识别摄像头不同的摄像头，即场景摄像头获取的图像中可以包括预设身体部位的，也可以不包括预设身体部位。

如果所述场景摄像头与所述识别摄像头为同一个摄像头，示例性地，所述场景摄像头与识别摄像头均为终端设备的前置摄像头，通过前置摄像头获取的用户的脸部的图像可以作为交互场景图像，前置摄像头还可以获取用户的预设身体部位的姿势，并确定增强现实素材在交互场景图像执行相应的交互动作。

如果所述场景摄像头与所述识别摄像头不是同一个摄像头，示例性地，如果所述场景摄像头为终端设备的后置摄像头，识别摄像头为终端设备的前置摄像头。相应地，后置摄像头拍摄到的为房间的图像，将房间的图像作为交互场景图像在终端设备的屏幕上进行显示。前置摄像头可以拍摄用户的预设身体部位的姿势，并确定增强现实素材在交互场景图像执行相应的交互动作。

S123、根据所述交互场景图像确定增强现实素材在所述屏幕上显示的初始位置和初始大小。

其中，交互场景图像为增强现实素材的所显示的背景场景，所以当增强现实素材出现时，为了使增强现实素材更接近真实，则需要确定增强现实素材最初显示的初始位置和初始大小。所述增强现实素材可以是开启场景摄像头时进行最初显示。

所述交互场景图像中有不同的物体，可以根据交互场景图中包括的目标物体确定增强现实素材在所述屏幕上显示的初始位置，并根据所述目标物体在所述交互场景图像中的位置确定所述增强现实素材的初始大小。目标物体可以是系统预设，或者根据用户的设定进行设置。

示例性地，如果交互场景图像为房间的图像，房间中包括桌子、地板和床等物体。如果目标物体为床，增强现实素材为虚拟的仿真猫，则将仿真猫的初始位置确定在床尾的位置。相应地，如果床位于房间内距离场景摄像头较远的位置，则仿真猫的初始大小会比较小，看起来会同样距离较远。如此可以使增强现实素材更接近真实，用户可以有更好的互动体验。

S124、根据所述姿势信息确定增强现实素材的反应数据。

其中，所述反应数据为与用户的姿势信息的意图相对应的反应数据，可以是根据预设映射表确定姿势信息对应的增强现实素材的反应数据。示例性地，如果用户的姿势信息为招手呼唤的手势，则表示用户的意图为引起增强现实素材的注意，相应地，增强现实素材的反应数据为向用户做出反应的动作。如果用户的姿势信息为挥手再见的手势，则表示用户的意图为希望增强现实素材离开，相应地，增强现实素材的反应数据为离开当前的交互场景。

S125、根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作。

增强显示素材的初始位置和初始大小的不同，执行相同的反应数据的交互动作也有所不同。所述交互动作为增强现实素材实际做出的并通过终端设备的屏幕进行显示的交互动作。

示例性地，如果用户的姿势信息为招手呼唤的手势，增强现实素材为仿真猫，则仿真猫的反应数据为向用户做出反应的动作。所述仿真猫在距离场景摄像头较远的位置时，它向用户做出反应的动作可以是做出靠近用户的交互动作。而如果所述仿真猫在距离场景摄像头较近的位置时，它向用户做出反应的动作可以是看向用户，还可以发出猫叫声。具体的交互动作可以根据系统预设或者实际应用进行确定。

根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作，可以进一步确定不同的增强现实素材的交互动作。

需要说明的是，操作S122和操作S123的执行顺序不限于附图中所示，操作S122和操作S123也可以在操作S120之前执行；操作S122也可以在启动场景摄像头时进行执行。

本申请实施例通过场景摄像头获取的交互场景图像确定增强显示素材的初始显示的初始位置和初始大小，可以提高增强现实素材的真实性。并根据所述姿势信息确定增强现实素材的反应数据，以及根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作，可以将交互场景和用户的姿势相结合确定增强现实素材的交互动作，可以进一步丰富增强现实素材的交互动作，增加用户与终端设备进行交互的趣味性，进一步还可以优化终端设备的交互功能。

图3为本申请实施例提供的另一种识别交互方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，对根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作的操作进行了优化，可选地，如图3所示，该方法包括：

S130、在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据。

S131、通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息。

S132、通过场景摄像头获取交互场景图像，并在终端设备的屏幕上进行显示。

S133、根据所述交互场景图像确定增强现实素材在所述屏幕上显示的初始位置和初始大小。

S134、根据所述姿势信息确定增强现实素材的反应数据。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

S135、根据所述反应数据确定最终位置和最终大小。

S136、将所述增强现实素材从初始位置移动至最终位置，同时从初始大小调整至最终大小，以确定交互动作。

其中，所述最终位置和最终大小为交互动作结束时的最终位置和最终大小。在根据姿势信息确定增强现实素材的反应数据后，根据反应数据确定最终位置。

所述交互场景图像中有不同的物体，可以是根据反应数据确定交互场景图像中的最终物体，并根据所述最终物体确定增强现实素材交互动作结束时的最终位置和最终大小。

可以根据增强现实素材对应的动作素材，将所述增强现实素材从初始位置移动至最终位置，同时将增强现实素材从初始大小调整至最终大小，以确定为交互动作。所述对应的动作素材可以是不同的增强现实素材对应的不同的动作素材，示例性地，如果增强现实素材为虚拟猫，对应的动作素材可以是跳动的动作素材；具体的动作素材可以根据增强现实素材的不同和设计人员的设计进行设置，在此不作限定。

示例性地，如果用户的姿势信息为招手呼唤的手势，则确定交互场景图像中最接近用户的物体，并将最接近用户的物体作为最终物体，将最终物体所在的位置确定为最终位置，并根据最终物体的位置确定最终大小。将增强现实素材移动到最终位置，以及调整显示素材的大小，用户可以看到增强现实素材更接近用户。

本申请实施例通过根据所述反应数据确定最终位置和最终大小；以及将所述增强现实素材从初始位置移动至最终位置，同时从初始大小调整至最终大小，以确定交互动作，可以提高增强现实素材的真实性，丰富增强现实素材的交互动作，进一步增加用户与终端设备进行交互的趣味性。

图4为本申请实施例提供的另一种识别交互方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，对通过所述识别摄像头获取所述预设身体部位的姿势三维数据的操作进行了优化，可选地，如图4所示，该方法包括：

S140、在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的部位深度数据，以及部位红外数据。

所述识别摄像头为三维(3D,Three Dimensional)摄像头，三维摄像头中包括多种硬件结构，可包括：红外传感器、距离传感器和镜头等。

所述部位深度数据为预设身体部位所包括的空间点距离识别摄像头的距离值的集合；可以通过识别摄像头中的距离传感器获取预设身体部位的部位深度数据。

所述部位红外数据为预设身体部位所包括的空间点反射的红外数据的集合。其中，三维摄像头在拍摄时，其中红外传感器发射红外信号至预设身体部位，预设身体部位会对红外信息进行反射，红外传感器根据接收到的反射的红外数据可以实现预设身体部位的成像。

S141、根据所述部位深度数据确定所述预设身体部位的初始三维数据。

其中，部位深度数据中包括了预设身体部位所包括的空间点的距离值，所以可以根据部位深度数据确定预设身体部位的初始三维数据。示例性地，如图5所示，图中点a、b、c和d为四个空间点，X、Y和Z轴表示空间，其中Z轴表示空间点的深度数据，X和Y轴表示空间点的平面位置坐标。其中点a的深度数据最大，也就是点a距离识别摄像头的距离最远，从图中可以看到根据四个空间点的平面坐标和深度数据可以形成一个三维的椎体，从而根据多个空间点的部位深度数据以及空间点的平面坐标可以确定初始的三维数据。

但是如果预设身体部位的某些细节处被遮挡或者发生数据丢失的情况，则初始三维数据中对应的细节位置会出现数据缺失的问题，所以进一步需要根据部位红外数据对初始三维数据进行校正。

S142、根据所述部位红外数据对所述初始三维数据进行校正，以得到所述预设身体部位的姿势三维数据。

其中，对于预设身体部位所包括的空间点，每个空间点的深度数据和红外数据一一对应。对于数据缺失的空间点的深度数据，根据其对应的红外数据可以通过对整体的初始三维数据进行衡量和比对，进而对缺失的空间点进行特征补全。红外信号是一种电磁波，人眼无法看到红外信号，但是如果在夜晚或者环境较暗没有可见光的时候，红外光依然可以进行传播，所以在较暗的环境中，根据红外数据也可以生成较清晰的成像；进而可以根据部位红外数据来对初始三维数据进行校正。

可选地，可以根据相邻点的深度数据和红外数据建立拟合关系函数，并根据拟合关系函数以及缺失空间点的部位红外数据计算对应的深度数据，进而得到校正后的姿势三维数据；其中，缺失空间点为深度数据缺失的空间点，相邻空间点为缺失空间点的相邻的空间点。

S143、通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息。

S144、根据所述姿势信息确定对应的交互内容。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

虽然通过普通摄像头来拍摄预设身体部位的图像，即获取的预设身体部位的姿势二维数据，通过图像处理识别技术也可以识别预设身体部位所作的姿势。但是二维数据仅包括平面图像的数据，对于光线的要求较高，如果用户在较暗的环境中摆出预设身体部位的姿势，所获取的平面图像的数据中可能无法准确识别准确的姿势信息，所以二维数据的准确性较低。

本申请实施例通过根据所述部位深度数据确定所述预设身体部位的初始三维数据，根据所述部位红外数据对所述初始三维数据进行校正，以得到所述预设身体部位的姿势三维数据；在光线较暗的位置进行识别，也能通过部位红外数据对初始三维数据进行校正，得到完整的姿势三维数据，进而可以提高姿势信息的识别的精确性。

图6为本申请实施例提供的另一种识别交互方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，可选地，如图6所示，该方法包括：

S150、将预设样本数据输入至预设分类器中进行训练，得到姿势识别模型。

其中，所述姿势识别模型用于根据拍摄到的预设身体部位的姿势三维数据确定对应的姿势信息；

所述预设样本数据包括预设身体部位的样本三维数据，以及对应的样本姿势信息。

其中，所述预设样本数据可以包括多个不同的样本数据，不同的样本数据为：不同用户做固定的姿势，所对应的不同用户的样本三维数据和对应的样本姿势信息；其中固定的姿势包括至少一个的姿势。

示例性地，如果预设身体部位是手部，则预设样本数据可以包括不同人的手部进行做出的固定的多个手势。因为不同的人的手部的形状不同，以及做同一手势的手的细节也有差别，所以需要获取不同人的手部的样本三维数据，以及确定对应的样本姿势信息，作为预设样本数据输入值预设分类器中进行训练，以得到姿势识别模型。

所述预设分类器可以是神经网络，通过将预设样本数据输入值预设分类器中进行训练；预设分类器可以提取样本三维数据的特征数据，由于样本三维数据标注了对应的样本姿势信息，所以可以根据提取的特征数据确定对应的姿势信息。

通过预设样本数据对预设分类器进行训练后，得到的姿势识别模型可以对不同的用户的预设身体部位做出的姿势进行识别，也可以对用户做出的当前姿势进行识别，并确定对应的姿势信息。

可选地，还可以根据终端设备的用户的姿势对姿势识别模型进行修正，以便进一步提高姿势识别模型对于用户姿势的识别的准确性。

S151、在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据。

S152、通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息。

S153、根据所述姿势信息确定对应的交互内容。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

本申请实施例通过将预设样本数据输入至预设分类器中进行训练，得到的姿势识别模型，可以对姿势三维数据进行特征提取并进行分类确定对应的姿势信息，提高姿势三维数据的识别的准确性。

图7为本申请实施例提供的一种识别交互装置的结构框图，该装置可以执行识别交互方法，如图7所示，该装置包括：

三维数据获取模块210，用于在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

姿势确定模块211，用于通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

交互确定模块212，用于根据所述姿势信息确定对应的交互内容。

本申请实施例中提供的一种识别交互装置，通过在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；根据所述姿势信息确定对应的交互内容。通过采用上述技术方案，可以识别用户的预设身体部位的姿势三维数据，并根据预设身体部位的姿势三维数据确定对应的交互内容，用户可以做出不同的姿势来进行不同的交互，可以优化终端设备的交互功能。

可选地，所述交互内容包括：增强现实素材的交互动作。

可选地，还包括：

场景确定模块，用于在根据所述姿势信息确定对应的交互内容之前，通过场景摄像头获取交互场景图像，并在终端设备的屏幕上进行显示；

素材初始确定模块，用于根据所述交互场景图像确定增强现实素材在所述屏幕上显示的初始位置和初始大小；

相应地，交互确定模块具体包括：

反应数据确定模块，用于根据所述姿势信息确定增强现实素材的反应数据；

交互动作确定模块，用于根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作。

可选地，交互动作确定模块具体包括：

最终数据确定单元，用于根据所述反应数据确定最终位置和最终大小；

交互动作确定单元，用于将所述增强现实素材从初始位置移动至最终位置，同时从初始大小调整至最终大小，以确定交互动作。

可选地，所述交互内容包括：音频数据、图片数据和文本数据中的至少一种。

可选地，所述识别摄像头为三维摄像头；

相应地，三维数据获取模块具体包括：

部位数据获取模块，用于通过所述识别摄像头获取所述预设身体部位的部位深度数据，以及部位红外数据；

初始三维数据确定模块，用于根据所述部位深度数据确定所述预设身体部位的初始三维数据；

三维数据校正模块，用于根据所述部位红外数据对所述初始三维数据进行校正，以得到所述预设身体部位的姿势三维数据。

可选地，还包括：

模型训练模块，用于在通过预设的姿势识别模型对所述姿势三维数据进行识别之前，将预设样本数据输入至预设分类器中进行训练，得到姿势识别模型；

其中，所述姿势识别模型用于根据拍摄到的预设身体部位的姿势三维数据确定对应的姿势信息；

所述预设样本数据包括预设身体部位的样本三维数据，以及对应的样本姿势信息。

本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的识别交互操作，还可以执行本申请任意实施例所提供的识别交互方法中的相关操作。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行识别交互方法，该方法包括：

在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

根据所述姿势信息确定对应的交互内容。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

本申请实施例提供了一种终端设备，该终端设备中可集成本申请实施例提供的识别交互装置。

图8为本申请实施例提供的一种终端设备的结构示意图，本申请实施例提供了一种终端设备30，包括存储器31，处理器32及存储在存储器31上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述的识别交互方法。本申请实施例提供的终端设备，可以优化终端设备的交互功能。

图9为本申请实施例提供的一种终端设备的结构示意图。如图9所示，该终端设备可以包括：壳体(图中未示出)、触摸屏(图中未示出)、触摸按键(图中未示出)、存储器301、中央处理器(Central Processing Unit，CPU)302(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU302和所述存储器301设置在所述电路板上；所述电源电路，用于为所述终端设备的各个电路或器件供电；所述存储器301，用于存储可执行程序代码；所述CPU302通过读取所述存储器301中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：

在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

根据所述姿势信息确定对应的交互内容。

所述终端设备还包括：外设接口303、RF(Radio Frequency，射频)电路305、音频电路306、扬声器311、电源管理芯片308、输入/输出(I/O)子系统309、触摸屏312、其他输入/控制设备310以及外部端口304，这些部件通过一个或多个通信总线或信号线307来通信。

应该理解的是，图示终端设备300仅仅是终端设备的一个范例，并且终端设备300可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于实现识别交互的终端设备进行详细的描述，该终端设备以手机为例。

存储器301，所述存储器301可以被CPU302、外设接口303等访问，所述存储器301可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口303，所述外设接口303可以将设备的输入和输出外设连接到CPU302和存储器301。

I/O子系统309，所述I/O子系统309可以将设备上的输入输出外设，例如触摸屏312和其他输入/控制设备310，连接到外设接口303。I/O子系统309可以包括显示控制器3091和用于控制其他输入/控制设备310的一个或多个输入控制器3092。其中，一个或多个输入控制器3092从其他输入/控制设备310接收电信号或者向其他输入/控制设备310发送电信号，其他输入/控制设备310可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器3092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。

触摸屏312，所述触摸屏312是用户终端设备与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。

I/O子系统309中的显示控制器3091从触摸屏312接收电信号或者向触摸屏312发送电信号。触摸屏312检测触摸屏上的接触，显示控制器3091将检测到的接触转换为与显示在触摸屏312上的用户界面对象的交互，即实现人机交互，显示在触摸屏312上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。

RF电路305，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路305接收并发送RF信号，RF信号也称为电磁信号，RF电路305将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路305可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。

音频电路306，主要用于从外设接口303接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器311。

扬声器311，用于将手机通过RF电路305从无线网络接收的语音信号，还原为声音并向用户播放该声音。

电源管理芯片308，用于为CPU302、I/O子系统及外设接口所连接的硬件进行供电及电源管理。

本申请实施例提供的终端设备，可以优化终端设备的交互功能。

上述实施例中提供的识别交互装置、存储介质及终端设备可执行本申请任意实施例所提供的识别交互方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的识别交互方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种识别交互方法，其特征在于，包括：

在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

根据所述姿势信息确定对应的交互内容。

2.如权利要求1所述的方法，其特征在于，所述交互内容包括：增强现实素材的交互动作。

3.如权利要求2所述的方法，其特征在于，根据所述姿势信息确定对应的交互内容之前，还包括：

通过场景摄像头获取交互场景图像，并在终端设备的屏幕上进行显示；

根据所述交互场景图像确定增强现实素材在所述屏幕上显示的初始位置和初始大小；

相应地，根据所述姿势信息确定对应的交互内容包括：

根据所述姿势信息确定增强现实素材的反应数据；

根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作。

4.如权利要求3所述的方法，其特征在于，根据所述反应数据、初始位置和初始大小确定所述增强现实素材的交互动作包括：

根据所述反应数据确定最终位置和最终大小；

将所述增强现实素材从初始位置移动至最终位置，同时从初始大小调整至最终大小，以确定交互动作。

5.如权利要求1至4任一项所述的方法，其特征在于，所述交互内容包括：音频数据、图片数据和文本数据中的至少一种。

6.如权利要求1至4任一项所述的方法，其特征在于，所述识别摄像头为三维摄像头；相应地，通过所述识别摄像头获取所述预设身体部位的姿势三维数据包括：

通过所述识别摄像头获取所述预设身体部位的部位深度数据，以及部位红外数据；

根据所述部位深度数据确定所述预设身体部位的初始三维数据；

根据所述部位红外数据对所述初始三维数据进行校正，以得到所述预设身体部位的姿势三维数据。

7.如权利要求1至4任一项所述的方法，其特征在于，在通过预设的姿势识别模型对所述姿势三维数据进行识别之前，还包括：

将预设样本数据输入至预设分类器中进行训练，得到姿势识别模型；

其中，所述姿势识别模型用于根据拍摄到的预设身体部位的姿势三维数据确定对应的姿势信息；

所述预设样本数据包括预设身体部位的样本三维数据，以及对应的样本姿势信息。

8.一种识别交互装置，其特征在于，包括：

三维数据获取模块，用于在识别摄像头拍摄到用户的预设身体部位时，通过所述识别摄像头获取所述预设身体部位的姿势三维数据；

姿势确定模块，用于通过预设的姿势识别模型对所述姿势三维数据进行识别，以确定所述预设身体部位的姿势信息；

交互确定模块，用于根据所述姿势信息确定对应的交互内容。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的识别交互方法。

10.一种终端设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的识别交互方法。