CN110196630A - 指令处理、模型训练方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种指令处理、模型训练方法、装置、计算机设备及存储介质，可以减少了体感应用中的检测设备，降低了费用开销。本申请方法部分包括：在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；将动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到用户的动作头部姿态角的角度值，其中，检测模型为通过深度学习算法训练出的检测模型；确定动作头部姿态角的角度值所对应的头部姿态，并确定头部姿态所对应的目标指令，将目标指令作为体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

Description

指令处理、模型训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机领域，尤其涉及一种指令处理、模型训练方法、装置、计算机设备及存储介质。

背景技术

体感(motion sensing)是指以用户的身体动作来控制操作软件。体感输入是指用户通过各种身体动作来向计算机输入各种指令以达到控制操作软件的目的。

体感设备是指接收上述体感输入，从而完成体感设备所进行的各项体感应用所使用的设备，目前市面上很多的体感报备都是基于惯性感测、光学感测以及惯性来获取体感输入，但上述检测光学联合感测等需要对应引入一些额外对应的检测设备，如果在实际运用有个体感应用的时候没有上述额外的检测设备测就无法体验，比较不方便，另外，体感应用使用过程中需要使用额外的检测设备，也增加了费用开销。

发明内容

基于此，有必要针对上述技术问题，提供一种在运行体感设备时，不需要使用额外的检测设备，减少费用开销的指令处理、模型训练方法、装置、计算机设备及存储介质。

一种指令处理方法，包括：

在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；

将动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到所述用户的动作头部姿态角的角度值，其中，检测模型为通过深度学习算法训练出的检测模型；

确定动作头部姿态角的角度值所对应的头部姿态；

确定头部姿态所对应的目标指令；

将目标指令作为所述体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

一种模型训练方法，包括：

收集第一目标图像集，第一目标图像集中的目标图像包含有人脸；

对第一目标图像集中的每一张目标图像进行预处理以获得每一张目标图像对应的人脸图像；

将经过预处理的每一张目标图像对应的人脸图像作为第二目标图像集；

对第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，角度标注的位置包含第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；

一种指令处理装置，包括：

获取模块，用于在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；

输入模块，用于将获取模块获取的动作人脸图像输入用于检测头部姿态角的角度值的检测模型模块，其中，检测模型模块为通过深度学习算法训练出的检测模型；

检测模型模块，用于根据输入模块输入的动作人脸图像得到用户的动作头部姿态角的角度值；

确定模块，用于确定检测模型模块确定的动作头部姿态角的角度值对应的头部姿态，确定头部姿态所对应的目标指令，将目标指令作为体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

一种模型训练装置，包括：

收集模块，用于收集第一目标图像集，所述第一目标图像集中的目标图像包含有人脸；

预处理模块，用于对所述第一目标图像集中的每一张所述目标图像进行预处理以获得每一张所述目标图像对应的人脸图像，将经过所述预处理的每一张所述目标图像对应的人脸图像作为第二目标图像集；

标注模块，用于对所述第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，所述角度标注的位置包含所述第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；

训练模块，用于根据深度学习算法训练所述训练图像集以获得用于检测所述头部姿态角的角度值的检测模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述指令处理方法或模型训练方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述指令处理方法或模型训练方法的步骤。

综上，上述提出了一种指令处理、模型训练方法、装置、计算机设备及存储介质。本申请提出了一种利用检测模型对头部姿态角进行获取，从而确定用户的头部姿态，继而用户的头部姿态所对应的目标指令作为输入指令来控制体感应用中的被控对象。也就是说，与背景技术中的方案相比，本申请中无需基于惯性感测、光学感测以及惯性等额外的检测设备来获取体感输入，只需利用通过检测模型利用用户的头部姿态作为控制信号，比较方便，另外，由于不需要使用额外的检测设备，减少了体感应用中的检测设备，降低了费用开销。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请中指令处理方法一个应用环境示意图；

图2是本申请中指令处理方法一实施例流程示意图；

图3是本申请中模型训练方法一实施例流程示意图；

图4是本申请中头部姿态角的一个示意图；

图5是卷积训练网络的一个网络架构示意图；

图6是本申请中指令处理装置的一个实施例结构示意图；

图7是本申请中模型训练装置的一个实施例结构示意图；

图8是本申请一实施例中计算机设备的一示意图；

图9是本申请一实施例中计算机设备另一示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种指令处理方法可应用在如图1的应用环境中，包括：模型训练装置、用户以及用户所使用的体感设备，其中，体感设备是连接到体感应用主机上的机器，它可以通过摄像头或其他拍摄装置，用于获取用户的人脸图像，从而获得用户的头部姿态，将上述头部信息转化为体感输入，从而可以完成体感应用中的相关操作。其中，该体感设备包括但不局限于体感头盔，如虚拟现实(Virtual Reality，VR)头盔，或者一些其他的体感设备，例如VR眼镜等，具体不做限定。在本申请中，先是利用模型训练装置训练出用于检测用户的头部姿态角的角度值的检测模型，体感设备使用训练后的检测模型，直接通过获取的用户的头部的姿态角的角度值，确定用户的头部的姿态角的角度所确定对应的头部姿态，继而将该用户的头部姿态所对应的目标指令作为体感应用的输入指令，从而完成体感应用某个被控对象的动作的控制。在一些应用场景中，上述模型训练装置可以作为独立装置独立于体感设备中，体感设备直接调用上述模型训练装置所训练出的检测模型即可，具体地，模型训练装置训练后的检测模型预先存在该体感设备的数据库中，体感设备可直接使用上述检测模型。在另一些场景中，模型训练装置集成在体感设备中，具体不做限定。下面分别对本申请的指令处理、模型训练方法进行介绍：

如图2所示，在一实施例中，提供了一种指令处理方法，以该方法应用在体感设备上，包括如下步骤：

S10、在处于该体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；

其中，上述体感应用具体可以是各种各样的体感游戏，也可以是其他的体感应用，例如，体感商城、体感直播等体感应用，具体不做限定。需要说明的是，在本申请的指令处理方法，尤其适用于利用头部对体感应用中的被控对象进行控制的体验应用，例如一些体感游戏。其中，该被控对象是指体感应用中各种各样的被控对象，例如该被控对象可以是指人物、例如体感游戏中的人物等等，具体不一一赘述。应理解，不同的体感应用通常具有不同的应用环境，上述体感应用的应用环境是指运行该体感应用时该体感应用的运行环境界面。另外需要说明的是，具体地，体感设备通过外置2维摄像头或深度摄像头等图像获取装置获取上述包含有用户人脸动作人脸图像，具体不做限定。

S20、将该动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到该用户的动作头部姿态角的角度值，其中，该检测模型为通过深度学习算法训练出的检测模型；

在本申请中，在获取包含用户人脸的动作人脸图像之后，将该动作人脸图像输入预测用于检测头部姿态角的角度值的检测模型，从而得到该用户的动作头部姿态角的角度值。其中，检测模型为通过深度学习算法训练出的检测模型，可以用于通过用户的动作人脸图像而识别出用户的头部姿态的姿态角的角度值的模型。值得注意的是，在本申请中，体感设备是利用了已经训练好的检测模型，通过已经训练好的检测模型，体感设备根据获取包含用户人脸的人脸图像，可以快速地通过动作人脸图像检测出用户头部的姿态角的角度值。

其中，用户动作头部姿态角的角度值是指该用户的俯仰角(pitch)、偏航角(yaw)以及翻滚角(roll)的角度值。

S30、确定动作头部姿态角的角度值对应的头部姿态；

S40、确定该头部姿态所对应的目标指令；

在本申请中，在处于该体感应用的应用环境时，用户的头部姿态与目标指令之间有对应关系，与该体感应用中的被控对象的目标动作与目标指令之间具有对应关系，用户的头部姿态的姿态角的不同，决定了用户的头部姿态不同，从而用户的头部姿态对应不同的目标指令，该目标指令用于控制被控对象执行用户的头部姿态所对应的目标动作。

为了便于理解，下面以实际示例，将头部姿态角、目标指令、被控对象的动作之间的关联关系进行说明：

头部姿态角1(pitch，yaw，roll)头部姿态1指令1动作1；

头部姿态角2(pitch，yaw，roll)头部姿态1指令1动作1；

头部姿态角3(pitch，yaw，roll)头部姿态2指令2动作2；

头部姿态角4(pitch，yaw，roll)头部姿态2指令2动作2；

头部姿态角6(pitch，yaw，roll)头部姿态3指令3动作3。

如上所述，简单了列举了头部姿态角、头部姿态、目标指令和动作之间的对应关系。需要说明的是，在实际应用中，由于头部姿态角的取值可能由多种，但是对于每一种头部姿态，例如左转头、右转头、抬头、点头，以及用户做上述头部姿态的程度不同所出现的其他头部姿态，均有不同的姿态角，也即具有不同的俯仰角(pitch)、偏航角(yaw)以及翻滚角(roll)，因此，在本申请中，可以建立头部姿态角与头部姿态之间的对应关系，该对应关系可根据实际情况进行配置，具体不做限定，以上述例子为例，可以将头部姿态角1、头部姿态角2与头部姿态对应上。例如，pitch为正，抬头；pitch为负，低头，yaw为正，向左转；yaw为负，往右转；roll为正，往左转；roll为负，往右转。综上，通过上述对应关系，体感设备在获取了用户的动作头部姿态角的角度值之后，可以进一步确定出用户的动作头部姿态角的角度值所对应的头部姿态，继而生成该头部姿态对应的目标指令。需要说明的是，上述只是一个示例，并不对本申请构成限定。

再以实际例子为例，假设头部姿态角1对应用户的左转头，用户的左转头与体感游戏中被控对象A的左转身相对应，在获取了头部姿态角1后，根据该头部姿态角1确定用户为左转头姿态。

S50、将该目标指令作为体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

在本申请中，在确定了用户的头部姿态所对应的目标指令后，将目标指令作为体感应用的输入指令，由于目标指令与体感应用中的被控对象的目标动作具有对应关系，在接收到上述输入指令后，被控对象可以执行该输入指令所对应的动作。

可以看出，本申请提出了一种指令处理方法，在该方法中，利用检测模型对头部姿态角进行获取，从而确定用户的头部姿态，继而用户的头部姿态所对应的目标指令作为输入指令来控制体感应用中的被控对象。也就是说，与背景技术中的方案相比，本申请中无需基于惯性感测、光学感测以及惯性等额外的检测设备来获取体感输入，只需利用通过检测模型利用用户的头部姿态作为控制信号，比较方便，另外，由于不需要使用额外的检测设备，减少了体感应用中的检测设备，降低了费用开销。

在一实施例中，步骤S40之前，也即所述确定所述头部姿态所对应的目标指令之前，还包括如下步骤：

S60、接收用户在被控对象的动作配置界面输入的头部姿态配置信息，动作配置界面包含有预设动作配置子界面集，预设动作配置子界面集中的动作配置子界面与被控对象的不同动作一一对应，头部姿态配置信息为用户根据动作配置子界面子配置指示信息的指示输入的信息；

该动作配置界面包含有预设动作配置子界面集，该预设动作配置子界面集中的动作配置子界面与该被控对象的不同动作一一对应，该动作配置子界面用于配置该被控对象的不同动作与该用户的头部姿态之间的对应关系，该动作配置子界面展示有子配置指示信息，该子配置指示信息用于指示该用户确定该用户的头部姿态与该被控对象的不同动作之间的对应关系。在用户看到动作配置子界面展示的子配置指示信息后，理所当然，用户为了体验体感应用，会根据子配置指示信息，输入头部姿态配置信息用于完成相关配置。也就是说，在进入该体感应用的应用环境时，会先弹出该被控对象的动作配置界面。以便用户进行被控对象的动作配置。

S70、根据该头部姿态配置信息建立该用户的头部姿态与该被控对象的动作之间的对应关系。

在接收到用户的头部姿态配置信息后，根据该配置信息建立该用户的头部姿态与该被控对象的动作之间的对应关系。

在一实施例中，所述头部姿态配置信息为所述用户在所述动作配置子界面输入的待关联人脸图像，步骤S70，也即根据该头部姿态配置信息建立该用户的头部姿态与该被控对象的不同动作之间的对应关系，具体包括：

S701、将该待关联人脸图像输入该检测模型以得到待关联人脸图像所对应的待关联头部姿态角的角度值；

也就是说，用户按照子配置指示信息的指示输入一张待关联人脸图像作为头部姿态配置信息。在一些实际的应用场景中，体感设备提供一摄像头，子配置指示信息指示用户在上述摄像头的拍摄范围做待关联人脸图像的输入操作，从而摄像头获取到上述待关联人脸图像。在获取到该用户的待关联人脸图像后，将该待关联人脸图像输入该检测模型以得到待关联人脸图像所对应的待关联头部姿态角的角度值，也就是用户的待关联人脸图像对应的俯仰角、偏航角以及翻滚角的角度值。

S702、确定待关联头部姿态角的角度值对应的目标头部姿态；

在得到第二人脸的待关联头部姿态角的角度值后，确定待关联头部姿态角的角度值对应的目标头部姿态。其中，确定待关联头部姿态角的角度值对应的目标头部姿态的方式与前述确定动作头部姿态角的角度值对应的头部姿态类似，这里不再赘述。

S703、建立该目标头部姿态与该动作配置子界面对应的被控对象的动作的对应关系。

应理解，上述进入体感应用时，预先设定用户的头部姿态与被控对象的动作之间的对应关系的过程。在一实施例中，头部姿态配置信息为用户在所述动作配置子界面输入的人脸图像集，该人脸图像集为同一种类头部姿态的待关联人脸图像所构成的集合，例如均为向右摆向的待关联人脸图像，或均为向右摆左的待关联人脸图像，目的在于对应设置被控对象的某一动作，如向右摆向或向左摆向，其中，人脸图像集包含N张待关联人脸图像，N大于或等于2；步骤S70，也即根据该头部姿态配置信息建立该用户的头部姿态与该被控对象的不同动作之间的对应关系，具体包括：

S701`、将人脸图像集输入检测模型，以得到人脸图像集中每一张待关联人脸图像的待关联头部姿态角的角度值；

也就是说，用户按照子配置指示信息的指示输入N张待关联人脸图像作为头部姿态配置信息。在一些实际的应用场景中，体感设备提供一摄像头，子配置指示信息指示用户在上述摄像头做N张待关联人脸图像输入操作，从而摄像头获取到上述N张待关联人脸图像。在获取到该用户的N张待关联人脸图像后，将该N张待关联人脸图像输入该检测模型，从而可以得到该N张第二人脸所对应的N个俯仰角、偏航角以及翻滚角。需要说明的是，在实际应用中，上述N可以根据实际应用情况进行配置，例如2张、3张、4张等，具体不做限定。另外需要说明的是，该步骤获取的每一张待关联人脸图像，均是用户为了配置同一个被控对象的动作而输入的人脸图像，为了便于描述，这里只是以设置被控对象的其中一个动作为例进行描述，在配置被控对象的其他的动作时，也是同样获取N张待关联人脸图像以配置对应的被控对象的动作，示例性的，例如均为向右摆向的待关联人脸图像，或均为向右摆左的待关联人脸图像，目的在于对应设置被控对象的某一动作，如向右摆向或向左摆向，具体这里不做一一赘述。

S702`、对人脸图像集中所有待关联人脸图像的待关联头部姿态角的角度值取均值；

举例来说，假设，有3张待关联人脸图像分别为图像1和2，图像1对应的待关联头部姿态角的角度值，也即俯仰角、偏航角以及翻滚角分别为θ₁、θ₂、θ₃，图像2对应的待关联头部姿态角的角度值，也即仰角、偏航角以及翻滚角分别为：θ₁'、θ₂'、θ₃'，则分别取θ₁和θ₁'、θ₂和θ₂'、θ₃和θ₃'的均值。

需要说明的是，上述均值具体可以是指算术平均值，也可以是指其他均值，例如，加权平均值等，具体不做限定。

S703`、确定均值对应的目标头部姿态；

在得到均值后，确定均值对应的目标头部姿态。其中，确定均值对应的目标头部姿态与前述确定动作头部姿态角的角度值对应的头部姿态类似，这里不再赘述。

S704`、建立目标头部姿态与动作配置子界面对应的被控对象的动作的对应关系。

应理解，上述进入体感应用时，也是预先设定用户的头部姿态与被控对象的动作之间的对应关系的过程，只不过，为了稳定的设置过程中，取用户多次头部姿态的姿态角进行设置，提高了后续的头部控制动作对象适应性，可提高用户体验。为了便于理解，下面以体感游戏作为实际立即进行说明：在开始进入体感游戏前，先做动作预设操作，如头部姿态左摆向对应被控对象左移动，头部姿态右摆向对应被控对象右移动等方向操作；具体操作是动作配置子界面展示有子配置指示信息，提示通过用户头部左摆向三次来设置被控对象左转身，用户就对着体感设备的摄像头用头左摆向三次。其他被控对象的动作预设方法类似，这里不一一赘述。从而自定义用户的头部姿态与被控对象的动作的对应关系。

本申请提出了一种利用检测模型对头部姿态角进行获取，从而确定用户的头部姿态，继而用户的头部姿态所对应的目标指令作为输入指令来控制体感应用中的被控对象。也就是说，与背景技术中的方案相比，本申请中无需基于惯性感测、光学感测以及惯性等额外的检测设备来获取体感输入，只需利用通过检测模型利用用户的头部姿态作为控制信号，比较方便，另外，由于不需要使用额外的检测设备，减少了体感应用中的检测设备，降低了费用开销。

上述对本申请中的指令处理方法进行了描述，下面对本申请中的模型训练方法进行描述：

如图3，在一实施例中，提供一种模型训练方法，以该方法应用在图1中的模型训练装置为例进行说明，包括如下步骤：

S100、收集第一目标图像集，第一目标图像集中的目标图像包含有人脸图像；

在本申请中，收集包含有目标图像的第一目标图像集，其中，该目标图像集包含有人脸，该目标图像为该第一目标图像集中的任意一个图像，该第一目标图像集中的每一张目标图像包含有人脸。

S200、对第一目标图像集中的每一张目标图像进行预处理以获得每一张目标图像对应的人脸图像；

对该第一目标图像集中的每一张目标图像进行预处理以获得该每一张目标图像对应的人脸图像，将该第一目标图像集中每一张目标图像对应的人脸图像作为第二目标图像集。需要说明的是，这里的人脸图像指的是目标图像中出现人的脸部图像即可，对目标图像是否出现的人脸是正面脸还是非正脸不做限制，也就是说，目标图像不一定是人脸的正面图像，举例来说，获得的目标图像中，人脸可以是往左偏或者往右偏使得无法看清用户的正面脸，对于这类图像，也可以符合本申请中的目标图像的要求。需要说明的是，在本申请中，可选地，上述获取的目标图像为2维图像，也可以是深度图像，具体不做限定。

可以理解，对于检测模型的训练，尤其是涉及到图像相关的模型训练，对训练的图像通常具有比较高的要求，为了训练出符合条件的用于姿态角的角度值的检测模型，因此，在本申请中，还需对获得的第一目标图像集中的每一张目标图像所对应的每一张人脸图像进行预处理。

S300、将经过预处理的每一张目标图像对应的人脸图像作为第二目标图像集；

在对获得的第一目标图像集中的每一张目标图像所对应的每一张人脸图像进行预处理后，将经过预处理的每一张目标图像对应的人脸图像作为第二目标图像集。

S400、对第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，角度标注的位置包含第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；

在本申请中，在得到所需的第二目标图像集后，对该第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集。其中，对第二目标图像集中的每张人脸图像的头部所对应的头部姿态角进行标注，具体的标注内容为头部姿态角的三个角度，其中，该姿态角的角度分别为俯仰角、偏航角以及翻滚角，并将经过上述经过角度标注的标注图像所构成的集作为训练图像集，从而获得本申请中的训练图像集。具体地，本申请关于人体头部的姿态角的定义如4所示：

其中，头部姿态角的坐标系为右手坐标系，举例来说，设第二图像集中有人脸图像1、人脸图像2、人脸图像3、人脸图像4，...，人脸图像n，可以分别将人脸图像1、人脸图像2、人脸图像3、人脸图像4，...，人脸图像n中头部的三个姿态角全部标注出来，从而得到n个经过姿态角标注的标注图像，将上述n个标注图像所构成的集作为本申请中的训练图像集。

S500、根据深度学习算法训练训练图像集以获得用于检测头部姿态角的角度值的检测模型。

在本申请中，得到训练图像集后，将该训练图像集作为训练样本数据，输入训练模型中，以得到用于检测头部的头部姿态角的角度值的检测模型。应理解，由于训练图像集中的每张人脸图像的头部姿态角都被标注了，标注的姿态角度与人脸图像所对应的头部姿态之间具有关联性，因此通过上述训练后的检测模型，将包含有人脸的图像输入上述检测模型时，可有效地检测出人脸所对应的头部的姿态角。

从这里可以看出，本申请提出了一种利用深度学习算法训练出用于预测人的头部的姿态角的检测模型，利用该检测模型，可有效地检测出人的头部的姿态角。

在一实施例中，步骤S200中，也即对第一目标图像集中的每一张目标图像进行预处理以获得每一张目标图像对应的人脸图像，具体包括如下步骤：

S201、对第一目标图像集中的每一张目标图像进行图像裁剪，以裁剪出每一张目标图像包含的目标人脸图像；

应理解，为了使得获得的训练图像集具有统一性，以提高后续的训练效率，在获取了第一目标图像集后，对获取的第一目标图像集中的每一张目标图像进行图像裁剪，以裁剪出每一张目标图像所对应的人脸图像。

将该每一张目标图像所包含的人脸图像缩放成预设长宽范围。其中，需要说明的是，在实际应用中，在获取了第一目标图像集后，可利用人脸识别方法识别出第一目标图像集中每张第一目标图像中的人脸的位置，将人脸的位置裁剪出来从而得到第一目标图像集中每张目标图像所包含的目标人脸图像。具体地，可采用基于特征脸(PCA)的人脸识别方法、神经网络的人脸识别方法、弹性图匹配的人脸识别方法、线段Hausdorff距离(LHD)的人脸识别方法、支持向量机(SVM)的人脸识别方法等，具体不做限定。

S202、将每一张所述目标人脸图像缩放成预设长宽范围，以获得每一张所述目标图像对应的人脸图像。

另外需要说明的是，上述预设长范围可自定进行配置，具体不做限定。示例性的，上述预设长宽范围可以为90x90cm，或100x100cm，或100x100cm等。

通过对第一目标图像集中的图像进行裁剪，可以去除点对后续模型训练无关的背景图像信息，只裁剪出人脸位置的目标人脸图像即可，可以有效地减少训练计算量；另外，经过裁剪后，再对每张目标人脸图像行图像缩放为预设长宽范围，一方面是为了匹配后续的深度学习算法，另一方面可以统一第一目标图像集中人脸图像的格式并且降低图像数据量，可以更有效地提高模型训练效率。

在一些实施例中，步骤S202中，也即将每一张目标图像包含的目标人脸图像缩放成预设长宽范围，以获得每一张目标图像对应的人脸图像之后，还包括：对每一张目标图像对应的人脸图像从而获得更多的人脸图像作为训练样本。

在本申请中，对该第一目标图像集中的每张第一目标图像进行图像裁剪，以裁剪出每一张第一目标图像所对应的人脸图像，并将每一张第一目标图像所对应的人脸图像缩放成预设长宽范围之后，对经过上述裁剪得到的人脸图像进行图像增广。在具体实现中，可以用经过上述裁剪得到的一个或多个人脸图像进行图像增广以得到更多的人脸图像，具体不做限定。示例性的，假设有人脸图像1、人脸图像2、人脸图像3，...，人脸图像n，可以将上述N张人脸图像分别进行图像增广，每张人脸图像增广m张，则最后得到的人脸图像将有n*m张。其中，本申请所采取的图像增广方式包括，但不局限于：左右反转、光照度修正、伽马修正、增加局部点光源、对原图灰度化等，或者上述增广方式的结合，具体不做限定。应理解，通过摄像头等拍摄的图像为“原图”。还需经过上述预处理的过程，不如直接通过图像增广的方式，通过图像增广的方式，可以快速地获取到大量的人脸图像，可以有效地减少步骤S100中第一目标图像集中目标图像的获取数量，从而提高模型的训练效率。

在一实施例中，步骤S500中，即根据深度学习算法训练训练图像集以获得用于检测头部姿态角的角度值的检测模型，具体包括如下步骤：

S501、根据该深度学习算法构造卷积神经网络；

其中，上述构造卷积神经网络大致可分为2个步骤，第一个步骤是根据深度学习算法确定卷积网络架构，在本申请中，上述卷积神经网络架构中使用了多层卷积层(Conv)+池化(Pooling)的神经网络架构，全连接层(FC)用于输出头部的三个姿态角，具体如图5所示：

其中，具体地，在一些方案中，卷积层都采用内核(kernel＝3，stride＝2，pad＝1)的结构，也就是说，卷积层参数为：卷积核大小为3，步长为2，边缘填充为1的卷积层。

第二个步骤是确定卷积神经网络的参数，该卷积神经网络的参数包括卷积神经网络的权重、学习率以及训练次数，其中，在本申请中，采用反向传播算法确定卷积神经网络的参数，具体如下：初始化卷积神经网络的权重，具体地，在本申请中，可使用随机数算法(xavier算法)确定该卷积神经网络的权重。该xavier算法使参数以均匀分布的方式在的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度。

S502、将该训练图像集输入该卷积神经网络模型进行训练，以获得用于检测头部的头部姿态角的角度值的检测模型。

将训练图像集中的每一个图像输入构造好的卷积神经网络模型进行训练，从而训练出用于检测头部的姿态角的检测模型。可以看出，这里提出了一种具体的训练出检测模型的方式，提高了方案的可实施性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在一实施例中，提供一种指令处理装置，该指令处理装置与上述实施例中指令处理方法一一对应。如图6所示，该指令处理装置60包括获取模块601、输入模块602、检测模型模块603和确定模块604。各功能模块详细说明如下：

获取模块601，用于在处于体感应用的应用环境时，获取包含有用户人脸的人脸图像；

输入模块602，用于将获取模块601获取的人脸图像输入用于检测头部姿态角的角度值的检测模型模块，其中，所述检测模型模块为通过深度学习算法训练出的检测模型；

检测模型模块603，用于根据输入模块602输入的所述动作人脸图像得到所述用户的动作头部姿态角的角度值；

确定模块604，用于确定检测模型模块603确定的动作头部姿态角的角度值对应的头部姿态，确定头部姿态所对应的目标指令，将目标指令作为体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

在一些实施例中，获取模块601还用于：接收用户在被控对象的动作配置界面输入的头部姿态配置信息，动作配置界面包含有预设动作配置子界面集，预设动作配置子界面集中的动作配置子界面与被控对象的不同动作一一对应，头部姿态配置信息为用户根据动作配置子界面子配置指示信息的指示输入的信息；

确定模块604还用于：根据头部姿态配置信息建立用户的头部姿态与被控对象的动作之间的对应关系。

在一些实施例中，头部姿态配置信息为用户在动作配置子界面输入的待关联人脸图像；

确定模块604用于根据头部姿态配置信息建立用户的头部姿态与被控对象的不同动作之间的对应关系包括：

确定模块604具体用于：

将待关联人脸图像输入检测模型以得到待关联人脸图像所对应的待关联头部姿态角的角度值；

确定待关联头部姿态角的角度值对应的目标头部姿态；

建立目标头部姿态与动作配置子界面对应的被控对象的动作的对应关系。

在一些实施例中，头部姿态配置信息为用户在动作配置子界面输入的人脸图像集，人脸图像集包含N张待关联人脸图像，N大于或等于2；

确定模块604用于根据头部姿态配置信息建立用户的头部姿态与被控对象的不同动作之间的对应关系包括：

确定模块604具体用于：

将人脸图像集输入检测模型，以得到人脸图像集中每一张待关联人脸图像的待关联头部姿态角的角度值；对人脸图像集中所有待关联人脸图像的待关联头部姿态角的角度值取均值；确定均值对应的目标头部姿态；建立目标头部姿态与动作配置子界面对应的被控对象的动作的对应关系。

在一实施例中，提供一种模型训练装置，该模型训练装置与上述实施例中模型训练方法一一对应。如图7所示，该模型训练装置70包括收集模块701、预处理模块702、标注模块703和训练模块704。各功能模块详细说明如下：

收集模块701，用于收集第一目标图像集，所述第一目标图像集中的目标图像包含有人脸图像；预处理模块702，用于对所述第一目标图像集中的每一张所述目标图像进行预处理以获得每一张所述目标图像对应的人脸图像，将经过所述预处理的每一张所述目标图像对应的人脸图像作为第二目标图像集；标注模块703，用于对所述第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，所述角度标注的位置包含所述第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；训练模块704，用于根据深度学习算法训练所述训练图像集以获得用于检测所述头部姿态角的角度值的检测模型。

在一些实施例中，预处理模块702具体用于：对第一目标图像集中的每一张目标图像进行图像裁剪，以裁剪出每一张目标图像包含的目标人脸图像；将每一张目标人脸图像缩放成预设长宽范围，以获得每一张目标图像对应的人脸图像。

关于指令处理装置或模型训练装置的具体限定可以参见上文中对于指令处理方法、模型训练方法的限定，在此不再赘述。上述指令处理装置或模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是体感设备，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和图像获取装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部设备通过网络连接通信。该计算机程序被处理器执行时以实现一种指令处理方法，具体可参阅前述指令处理方法实施例中的描述，这里不再赘述。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；将动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到用户的头部姿态角的角度值，其中，检测模型为通过深度学习算法训练出的检测模型；确定角度值所对应的头部姿态，并确定头部姿态所对应的目标指令，体感应用中预配置有与目标指令对应的目标动作，目标动作为体感应用中被控对象的动作；将目标指令作为体感应用的输入指令。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；将动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到用户的动作头部姿态角的角度值，其中，检测模型为通过深度学习算法训练出的检测模型；确定动作头部姿态角的角度值所对应的头部姿态，并确定头部姿态所对应的目标指令，将目标指令作为体感应用中被控对象的输入指令，以使得被控对象执行输入指令对应的目标动作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸图像等图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型训练方法，具体可参阅前述模型训练方法实施例中的描述，这里不再赘述。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：收集第一目标图像集，第一目标图像集中的目标图像包含有人脸图像；对第一目标图像集中的每一张目标图像进行预处理以获得每一张目标图像对应的人脸图像；将经过预处理的每一张目标图像对应的人脸图像作为第二目标图像集；对第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，角度标注的位置包含第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；根据深度学习算法训练训练图像集以获得用于检测头部姿态角的角度值的检测模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：收集第一目标图像集，第一目标图像集中的目标图像包含有人脸图像对第一目标图像集中的每一张目标图像进行预处理以获得每一张目标图像对应的人脸图像；将经过预处理的每一张目标图像对应的人脸图像作为第二目标图像集；对第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，角度标注的位置包含第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；根据深度学习算法训练训练图像集以获得用于检测头部姿态角的角度值的检测模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种指令处理方法，其特征在于，包括：

在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；

将所述动作人脸图像输入用于检测头部姿态角的角度值的检测模型，以得到所述用户的动作头部姿态角的角度值，其中，所述检测模型为通过深度学习算法训练出的检测模型；

确定所述动作头部姿态角的角度值所对应的头部姿态；

确定所述头部姿态所对应的目标指令；

将所述目标指令作为所述体感应用中被控对象的输入指令，以使得所述被控对象执行所述输入指令对应的目标动作。

2.如权利要求1所述的方法，其特征在于，所述确定所述头部姿态所对应的目标指令之前，所述方法还包括：

接收用户在所述被控对象的动作配置界面输入的头部姿态配置信息，所述动作配置界面包含有预设动作配置子界面集，所述预设动作配置子界面集中的动作配置子界面与所述被控对象的不同动作一一对应，所述头部姿态配置信息为所述用户根据所述动作配置子界面子配置指示信息的指示输入的信息；

根据所述头部姿态配置信息建立所述用户的头部姿态与所述被控对象的动作之间的对应关系。

3.如权利要求2所述的方法，其特征在于，所述头部姿态配置信息为所述用户在所述动作配置子界面输入的待关联人脸图像；

所述根据所述头部姿态配置信息建立所述用户的头部姿态与所述被控对象的动作之间的对应关系，包括：

将所述待关联人脸图像输入所述检测模型以得到所述待关联人脸图像所对应的待关联头部姿态角的角度值；

确定所述待关联头部姿态角的角度值对应的目标头部姿态；

建立所述目标头部姿态与所述动作配置子界面对应的所述被控对象的动作的对应关系。

4.如权利要求2所述的方法，其特征在于，所述头部姿态配置信息为所述用户在所述动作配置子界面输入的人脸图像集，所述人脸图像集包含N张待关联人脸图像，所述N大于或等于2；

所述根据所述头部姿态配置信息建立所述用户的头部姿态与所述被控对象的动作之间的对应关系，包括：

将所述人脸图像集输入检测模型，以得到所述人脸图像集中每一张所述待关联人脸图像的待关联头部姿态角的角度值；

对所述人脸图像集中所有所述待关联人脸图像的待关联头部姿态角的角度值取均值；

确定所述均值对应的目标头部姿态；

建立所述目标头部姿态与所述动作配置子界面对应的所述被控对象的动作的对应关系。

5.一种模型训练方法，其特征在于，包括：

收集第一目标图像集，所述第一目标图像集中的目标图像包含有人脸图像；

对所述第一目标图像集中的每一张所述目标图像进行预处理以获得每一张所述目标图像对应的人脸图像；

将经过所述预处理的每一张所述目标图像对应的人脸图像作为第二目标图像集；

对所述第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，所述角度标注的位置包含所述第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；

根据深度学习算法训练所述训练图像集以获得用于检测所述头部姿态角的角度值的检测模型。

6.如权利要求5所述的方法，其特征在于，所述对所述第一目标图像集中的每一张所述目标图像进行预处理以获得每一张所述目标图像对应的人脸图像，包括：

对所述第一目标图像集中的每一张所述目标图像进行图像裁剪，以裁剪出每一张所述目标图像包含的目标人脸图像；

将每一张所述目标人脸图像缩放成预设长宽范围，以获得每一张所述目标图像对应的人脸图像。

7.一种指令处理装置，其特征在于，包括：

获取模块，用于在处于体感应用的应用环境时，获取包含有用户人脸的动作人脸图像；

输入模块，用于将所述获取模块获取的所述动作人脸图像输入用于检测头部姿态角的角度值的检测模型模块，其中，所述检测模型模块为通过深度学习算法训练出的检测模型；

所述检测模型模块，用于根据所述输入模块输入的所述动作人脸图像得到所述用户的动作头部姿态角的角度值；

确定模块，用于确定所述检测模型模块确定的所述动作头部姿态角的角度值对应的头部姿态，确定所述头部姿态所对应的目标指令，将所述目标指令作为所述体感应用中被控对象的输入指令，以使得所述被控对象执行所述输入指令对应的目标动作。

8.一种模型训练装置，其特征在于，包括：

收集模块，用于收集第一目标图像集，所述第一目标图像集中的目标图像包含有人脸图像；

预处理模块，用于对所述第一目标图像集中的每一张所述目标图像进行预处理以获得每一张所述目标图像对应的人脸图像，将经过所述预处理的每一张所述目标图像对应的人脸图像作为第二目标图像集；

标注模块，用于对所述第二目标图像集中的每张人脸图像进行角度标注以获得训练图像集，其中，所述角度标注的位置包含所述第二目标图像集中的每张人脸图像中人的头部姿态角的角度值；

训练模块，用于根据深度学习算法训练所述训练图像集以获得用于检测所述头部姿态角的角度值的检测模型。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项方法所实现的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项方法所实现的步骤。