CN108815845A - 人机交互的信息处理方法及装置、计算机设备及可读介质 - Google Patents

Abstract

本发明提供一种人机交互的信息处理方法及装置、计算机设备及可读介质。所述方法包括：在人机交互过程中，通过根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；采集用户根据各时间点相关的动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。本发明通过采用上述技术方案，避免用户通过点击键盘或者触摸屏幕来接触式动作实现交互，可以采用非接触式的动作交互来玩游戏，使得游戏的交互方式更加智能。

Description

人机交互的信息处理方法及装置、计算机设备及可读介质

【技术领域】

本发明涉及计算机应用技术领域，尤其涉及一种人机交互的信息处理方法及装置、计算机设备及可读介质。

【背景技术】

随着科技的发展，各种交互式应用的出现，逐步的丰富了人们的精神文化生活。

例如，现有的很多交互式应用，如音乐节奏类游戏的太鼓达人、QQ炫舞等等，其交互方式多是根据音乐节奏和用户界面(User Interface；UI)的提示，让用户触摸屏幕点击图标或者键盘操作，实现交互，并在交互结束时，根据交互过程中用户是否根据提示点击图标或者键盘，为用户打分。现有的上述交互方式，需要用户在交互过程中，全程盯着屏幕，及时根据提示触摸点击屏幕中的图标进行交互操作。或者用户在交互过程中，需要全程手握键盘，以及时根据提示按动键盘进行交互操作。交互方式非常简单，例如，若检测用户在对应的时间点，按照提示通过触摸的方式或者通过敲击键盘的方式点击屏幕上的图标，则表示用户在时间点交互正确；累计得分。否则若未检测到用户在该时间点点击图标，则表示用户在该时间点交互不正确，不得分。

基于以上所述，现有技术的交互应用中的上述交互处理都需要用户通过点击键盘或者触摸屏幕来接触式动作实现交互，交互中束缚了用户的手，导致交互的方式智能性较差。

【发明内容】

本发明提供了一种人机交互的信息处理方法及装置、计算机设备及可读介质，用于提高交互式应用中的交互的智能性。

本发明提供一种人机交互的信息处理方法，所述方法包括：

在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；

采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；

根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。

进一步可选地，如上所述的方法中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示之前，所述方法还包括：

采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；

根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；

建立各所述时间点和对应的所述动作特征的对应关系；

根据各所述动作特征生成对应的所述动作提示；

建立各所述时间点和对应的所述动作提示的对应关系。

进一步可选地，如上所述的方法中，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

进一步可选地，如上所述的方法中，根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征，具体包括如下至少一种：

根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和

根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

进一步可选地，如上所述的方法中，采用预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征之前，所述方法还包括：

采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；

根据所述数条训练数据训练所述特征提取模型。

进一步可选地，如上所述的方法中，根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户打分，具体包括：

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；

根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；

统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。

本发明提供一种人机交互的信息处理装置，所述装置包括：

显示模块，用于在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；

采集模块，用于采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；

提取模块，用于根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；

打分模块，用于根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。

进一步可选地，如上所述的装置中，还包括建立模块和生成模块；

所述采集模块，还用于采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；

所述提取模块，还用于根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；

所述建立模块，用于建立各所述时间点和对应的所述动作特征的对应关系；

所述生成模块，用于根据各所述动作特征生成对应的所述动作提示；

所述建立模块，还用于建立各所述时间点和对应的所述动作提示的对应关系。

进一步可选地，如上所述的装置中，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

进一步可选地，如上所述的装置中，所述提取模块，具体用于执行如下至少一种操作：

根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和

根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

进一步可选地，如上所述的装置中，还包括训练模块；

所述采集模块，还用于采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；

所述训练模块，用于根据所述数条训练数据训练所述特征提取模型。

进一步可选地，如上所述的装置中，所述打分模块，具体用于：

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；

根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；

统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。

本发明还提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的人机交互的信息处理方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的人机交互的信息处理方法。

本发明的人机交互的信息处理方法及装置、计算机设备及可读介质，在人机交互过程中，通过根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；采集用户根据各时间点相关的动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。本发明通过采用上述技术方案，避免用户通过点击键盘或者触摸屏幕来接触式动作实现交互，可以采用非接触式的动作交互来玩游戏，使得交互应用中的交互方式更加智能。

【附图说明】

图1为本发明的人机交互的信息处理方法实施例一的流程图。

图2所示为本实施例中的人脸在三维空间中三个坐标轴上的旋转角度示意图。

图3为本发明的人机交互的信息处理方法实施例二的流程图。

图4为本发明的人机交互的信息处理装置实施例一的结构图。

图5为本发明的人机交互的信息处理装置实施例二的结构图。

图6为本发明的计算机设备实施例的结构图。

图7为本发明提供的一种计算机设备的示例图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的人机交互的信息处理方法实施例一的流程图。如图1所示，本实施例的人机交互的信息处理方法，具体可以包括如下步骤：

100、在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；

本实施例的人机交互的信息处理方法的执行主体为人机交互的信息处理装置，该装置可以设置在交互式应用的后端，以控制交互的过程。

本实施例的交互式应用不仅仅限于交互式游戏，如可以为音乐类等娱乐游戏。还可以为用来测试人机交互参与者的反应速度、测试参与者特定技能(例如体育运动)的等等交互应用。

本实施例的人机交互的信息处理装置中可以预先存储有时间点与相关的动作提示的对应关系。例如，本实施例的动作提示可以为最直接的动作提示，以提示用户做出什么样的动作。对应地，此时在该对应关系中可以记录在交互开始后的第20s提示用户做出笑脸表情，在游戏开始的第2分钟10秒提示用户做出比“V”的手势，在游戏开始的第3分钟5s提示用户做出摇头的动作等等。或者，本实施例的动作提示也可以为比较隐晦的间接的动作提示。例如，此时的动作提示可以间接地给出情景，以让参与者自行判断应该进行什么运动(比如在模拟运动中球向左侧飞来)。然后用户便可以根据场景的提示，模拟该场景对应的运动的动作，完成相应的交互动作。

这样，人机交互的信息处理装置可以控制在交互全程中，最晚在对应关系中的时间点达到时，在交互界面上弹出并显示该时间点对应的动作提示，以提示用户根据提示完成相应的动作，实现交互。

可选地，本实施例中，可以预先设置在各时间点到达时，在交互界面弹出该时间点对应的动作提示，此时，对应的用户在看到动作提示之后才做出对应的动作。而这样，人机交互的信息处理装置在采集用户的动作时会存在滞后性。此时对应地，可以采集该时间点之后的预设时间阈值范围内的动作，作为用户在看到该时间点的动作提示所做的动作。或者为了解决该滞后性问题，本实施例中，也可以在每个时间点到达前，与对应的时间点的差值为预设时间阈值的时刻，在交互界面弹出该时间点对应的动作提示，这样，可以使用用户在该时间点到达时，完成对应的交互动作。本实施例的预设时间阈值的长度可以根据用户看到屏幕上的动作提示之后的反应时间以及用户根据动作提示完成动作的时间来设置，例如可以设置为1s、2s或者其他时间长度。

101、采集用户根据各时间点相关的动作提示所做出的非接触式的动作；

对应地，若交互界面显示各时间点的动作提示之后，用户可以根据该动作提示，做出相应的动作，以实现交互。本实施例中，用户所做出的动作为非接触式的动作，即用户不用手动触摸点击屏幕的图标，也不用通过键盘操作，而直接在空中做出一些非接触式动作即可。例如，本实施例中的动作可以包括人脸动作、面部表情动作以及手势动作中的至少一个。进一步可选地，本实施例中的动作具体还可以包括手臂动作和/或脚部动作等等。对于不同的球类运动可以对应不同的手臂动作，如打乒乓球的手臂动作、打羽毛球的手臂动作以及打篮球的手臂动作、打网球的手臂动作的特征各具有特色，且互不相同，可以分别作为对应的手臂动作特征。另外，对于足球运动，带球运动以及踢球射门等也具有较为明显的特征，对应的脚部运动也可以作为足球的运动的脚部动作特征。

对应地，在人机交互的信息处理装置中，可以设置有摄像头，用于采集用户的动作，例如该摄像头可以设置在显示交互界面的显示屏幕的侧边，摄像头的镜头朝向外侧，用于采集位于显示屏幕前方的用户的动作。

102、根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；

本实施例的特征提取模块可以采用神经网络模型进行训练得到。使用时，将采集到的用户的动作输入至该特征提取模型中，该特征提取模型可以提取出该动作的特征。

由于本实施例的动作可以包括人脸动作、面部表情动作以及手势动作中的至少一种。对应地，本实施例的特征提取模块可以包括人脸动作特征提取模型、面部表情特征提取模型以及手势特征提取模型中的至少一种。进一步地，若用户的动作还包括手臂动作和脚部动作等等，对应地，特征提取模块也需要包括对应的手臂特征提取模型和脚部特征提取模型。

因此，该步骤102具体可以包括如下至少一种操作：

(1)根据人脸动作特征提取模型从采集的用户的人脸动作中提取对应的人脸动作特征；

本实施例的人脸动作特征，可以通过获取人脸在三维空间中三个坐标轴上的旋转角度如pitch、yaw以及roll的增量，从而确定人脸的动作特征是左右转头、上下点头等。图2所示为本实施例中的人脸在三维空间中三个坐标轴上的旋转角度示意图。如图2所示，可以取标准人脸正面三维模型中双耳所在直线为x轴，垂直于x轴、朝向头顶方向为z轴，垂直于x轴、朝向人脸正面方向y轴。标准人脸正面三维模型中参数pitch、yaw以及roll的增量分别为0。其中参数pitch、yaw以及roll可以分别为相对于标准人脸正面三维模型围绕x轴旋转的增量、围绕z轴旋转的增量、以及围绕y轴旋转的增量。

具体地，该人脸动作特征提取模型接收到输入的用户的人脸动作后，可以将该用户的人脸动作进行二维投影，即采集到的用户的人脸动作为三维动作。然后旋转预先训练的标准三维正面人脸模型，直至旋转后的三维人脸模型的二维投影的特征点与用户的人脸动作的二维投影的特征点最大重合，此时可以认为用户做了该旋转的动作。其中的特征点可以选取人脸中的眼睛、鼻子、嘴巴等处的像素位置。此时获取标准三维正面人脸模型的三维旋转参数即pitch、yaw以及roll的增量，然后根据pitch、yaw以及roll的增量，可以提取到用户的人脸动作特征。

本实施例中可以利用非线性最小二乘方法来建立人脸姿态估计的模型，求解公式即可得到估计出的人脸各姿态角度值，即参数pitch、yaw以及roll的增量。最后再根据pitch、yaw以及roll的增量确定用户的人脸动作特征是上下点头、还是左右摇头等动作。

因此，本实施例的人脸动作特征提取模型可以直接从输入的人脸动作中，提取人脸动作特征。或者本实施例的人脸动作特征提取模型可以先从输入的人脸动作中提取出人脸各姿态角度值，即参数pitch、yaw以及roll的增量；然后再根据预设的pitch、yaw以及roll的增量与人脸动作特征的关系，确定对应的人脸动作。

(2)根据预先训练的面部表情特征提取模型从采集的用户的面部表情中提取对应的面部表情特征；

具体地，使用时，将采集到的用户的面部表情输入至该面部表情特征提取模型中，该面部表情特征提取模型可以输出该动作对应的面部表情特征。例如，若输入的是某用户嘴角上扬，眉眼上扬，但未露牙齿的面部动作，此时该特征提取模型可以提取出该面部动作对应的动作特征为微笑。若输入的是某用户嘴巴裂开，眉眼上扬，露出牙齿的面部动作，此时该特征提取模型可以提取出该面部动作对应的动作特征为大笑。若输入的是某用户嘴角下垂，眉眼下垂，此时该特征提取模型可以提取出该面部动作对应的动作特征为悲伤，等等。

(3)根据预先训练的手势特征提取模型从采集的用户的手势动作中提取对应的手势特征。

具体地，使用时，将采集到的用户的手势动作输入至该手势表情特征提取模型中，该手势表情特征提取模型可以输出该动作对应的手势特征。例如，若输入的是用户的手势动作为某个手的食指和中指伸直张开，其他手指缩回去的手势，此时该手势表情特征提取模型可以提取出该手势动作对应的手势特征为比“V”。若输入的是用户的手势动作为两个手的拇指和食指的指尖分别相连，形成“心形”的手势，此时该手势表情特征提取模型可以提取出该手势动作对应的手势特征为比“心”；等等。

本实施例中，提取的动作特征可以采用采集到的连续动作视频中的某一帧、最标准的来标识该动作的图像来表示。例如比“心”的手势特征，可以采用用户的手指已经形成“心”形的那一帧图像来表示。其他动作特征同理，均可以获取到最标准的、标识该动作的图像。

需要说明的是，上述的人脸动作特征提取模型、面部表情特征提取模型以及手势特征提取模型等特征提取模型在使用之前，均需要进行训练。具体地训练方式可以采用如下步骤：采集数条训练数据；各训练数据中包括训练动作和训练动作对应的已知动作特征；然后根据数条训练数据训练特征提取模型。本实施例中，对于每一种特征提取模型，所采集的训练数据可以达到数以万条，采集的训练数据越多，训练的特征提取模型便可以越准确。对于任一特征提取模型，训练之前，可以为该特征提取模型的参数设置初始值，然后开始训练，将训练动作输入至该特征提取模型，该特征提取模型输出预测的动作特征，然后比对预测的动作特征与已知的动作特征是否一致，若不一致，调整特征提取模型的参数，使得特征提取模型预测的动作特征与已知的动作特征趋于一致。采用数条训练数据，不断地对特征提取模型进行训练，直到特征提取模型预测的动作特征与已知的动作特征一致，确定特征提取模型的参数，从而确定特征提取模型，特征提取模型训练完毕。

实际应用中，若特征提取模型还包括其他类型的特征提取模型，实现过程可以参考上述人脸动作特征提取模型、面部表情特征提取模型以及手势特征提取模型，在此不再赘述。

103、根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。

可选地，本实施例的人机交互的信息处理装置中不仅需要预先存储有各时间点和相关的动作提示的对应关系，同时还需要存储各时间点与对应的动作特征的对应关系。或者可以直接存储成时间点-动作-动作特征的三者之间的对应关系。

具体地，该步骤103在实现时，具体可以包括如下步骤：

(a)根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，验证各时间点的用户的动作特征是否正确；

(b)根据各时间点的用户的动作特征是否正确，在对应的时间点为用户积分；

(c)统计用户在各时间点的打分，得到用户的最终打分。

也就是说，在根据预先训练的特征提取模型从采集的用户的动作中提取出某个时间点对应的动作特征时，同时从对应关系中获取该时间点对应的已知的动作特征。然后根据对应关系中记录的该时间点对应的动作特征，验证特征提取模型提取的动作特征，是否与对应关系中提取的动作特征一致；本实施例中，当动作特征为图像时，可以对比两张图像中的动作特征的相似度，若相似度大于预设阈值如80％或者90％或者其他比例值，则认为两者是一致，否则两者不一致。若一致，则表示该用户在该时间点的交互正确，可以在该时间点为该用户积分，具体的积分数值可以根据实际情况来设置，例如可以为积1分，也可以为积10分或者其他数值的分数。否则，若不一致，则表示该用户在该时间点的交互不正确，可以在该时间点不为该用户积分，即该时间点该用户的积分为0。或者也可以根据交互应用的积分策略，在验证用户在某个时间点的交互不正确的时候，在该时间点为用户积负分，以进行惩罚。最后，统计该交互的各个时间点的积分，便得到该用户的最终打分。进一步地，可以在显示屏幕上显示该用户的最终打分，以告知用户其成果。进一步地，还可以进一步根据用户的需求，在显示屏幕上显示用户的错误提示，该错误提示中具体可以包括用户在交互的不正确的时间点，以及该时间点的正确的动作特殊是什么，提取的用户的动作特征是什么。例如该功能实现时，可以在显示屏幕上设置有错误提示按钮，用户可以通过点击触摸屏中该按钮或者通过键盘的按键操作选择该按钮，实现请求查看错误提示。人机交互的信息处理装置检测到用户的该请求后，在显示屏幕上显示错误提示。

本实施例的交互应用可以为音乐类游戏以及体育类游戏等交互式游戏。例如在音乐类游戏中，对于任意一个音乐曲目，设计者都可以伴随着音乐节奏和歌词中的文字设计一系列可以交互的动作，以供用户来娱乐。用户在娱乐过程中，人机交互的信息处理装置可以采用本实施例的上述技术方案，基于用户的交互，为该用户进行打分。

例如，若本实施例的交互为用来测试人机交互参与者的反应速度时，根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征可以为该时间点的人机交互参与者的反应速度。对应地，预设的各时间点与对应的动作特征的对应关系可以为各时间点与该时间点的人机交互参与者的反应速度阈值的对应关系，然后根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，可以判断各时间点提取的人机交互参与者的反应速度，是否大于对应时间点的反应速度阈值，若是，确定参与的用户的交互正确，可以在该时间点为参与的用户积分；否则确定参与的用户的交互不正确，可以在该时间点不为参与的用户积分。最后统计整个交互中的所有时间点的积分，可以得到用户的最终打分。例如，在某运动类的应用中，可以在各时间点设置各种不同场景的反应速度的测试，从而统计用户的整体反应速度。

再例如，若本实施例的交互为用来测试人机交互参与者的特定技能时，根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征可以为该时间点的人机交互参与者的技能。对应地，预设的各时间点与对应的动作特征的对应关系可以为各时间点与该时间点的人机交互参与者的标准技能的对应关系。然后根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，可以判断各时间点提取的人机交互参与者的技能，是否正好为该时间点的标准技能，若是，确定参与的用户的交互正确，可以在该时间点为参与的用户积分；否则确定参与的用户的交互不正确，可以在该时间点不为参与的用户积分。最后统计整个交互中的所有时间点的积分，可以得到用户的最终打分。例如，在某体育类的应用中，可以在各时间点设计一种如乒乓球、篮球、网球以及足球等技能测试，用户根据各时间点的场景提示，完成相应的交互操作，从而统计用户掌握的各种体育运动的得分。本实施例的人机交互的信息处理方法，在人机交互过程中，通过根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；采集用户根据各时间点相关的动作提示所做出的非接触式的动作；根据预先训练的特征提取模型从采集的用户的动作中提取对应的动作特征；根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，为用户打分。本实施例通过采用上述技术方案，避免用户通过点击键盘或者触摸屏幕来接触式动作实现交互，可以采用非接触式的动作交互来玩游戏，使得游戏的交互方式更加智能。

图3为本发明的人机交互的信息处理方法实施例二的流程图。如图3所示，本实施例的人机交互的信息处理方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍交互的设计过程，即本实施例的人机交互的信息处理方法具体可以为上述图1所示实施例的步骤100之前的技术方案。如图3所示，本实施例的人机交互的信息处理方法，具体可以包括如下步骤：

200、采集设计者在人机交互过程中做出的各非接触式的动作以及各动作做出时对应的交互中的时间点；

201、根据特征提取模型，从设计者做出的各动作中提取动作特征；

202、建立各时间点和对应的动作特征的对应关系；

203、根据各动作特征生成对应的动作提示；

204、建立各时间点和对应的动作提示的对应关系。

例如，当本实施例的人机交互的信息处理方法应用在音乐类的游戏交互应用中时，在交互应用的设计阶段，设计者为可以根据游戏中的音乐的节奏和歌词为该游戏设计一套动作。本实施例的动作为非接触式动作。例如在歌词中“微笑”的时候，可以在该歌词附近的一个节奏点设计一个微笑的面部表情动作。在歌词中出现“胜利”的时候，也可以在该歌词附近的一个节奏点设计一个比“V”的手势动作。在歌词中出现“不要”的时候，也可以在该歌词附近的一个节奏点设计一个摇头的人脸动作，等等。按照上述方式，可以为游戏中的一首完整的曲子设计一套完整的动作，这套完整的动作中可以包括人脸动作、手势动作以及表情动作。另外，人机交互过程中，还可以采用游戏开始的时间长度作为游戏中每个时刻的时间点。这样，在设计游戏交互时，打开游戏，同时，设计者在显示屏幕前方根据游戏的音乐节奏和歌词，做出设计的动作。对应地，人机交互的信息处理装置采集到设计者在人机交互过程中做出的各非接触式的动作以及各动作做出时对应的游戏中的时间点。对于每个时间点设计者做出的动作，人机交互的信息处理装置根据特征提取模型，从设计者做出的动作中提取动作特征；并建立各时间点和对应的动作特征的对应关系。

再者，人机交互的信息处理装置根据各动作特征生成对应的动作提示，例如，动作特征为“微笑”时，在该动作特征对应的时间点的动作提示可以设置为面部表情为微笑。该动作提示可以为文字性提示，也可以设计成动画效果的提示。如在交互界面上设置一个卡通人物，做出该动作提示对应的动作，这样，用户根据动画效果的动作提示，可以交互完成对应的动作。最后，建立各时间点和对应的动作提示的对应关系，这样游戏交互设计完成。

本实施例的上述人机交互的信息处理方法，可以实现自动地游戏的交互进行设计，而避免现有技术的游戏中进行交互的时间点多采用人工标注的方法，导致游戏的交互设计效率较低。本实施例的技术方案，可以基于人脸动作、表情识别和手势识别，实现设计一款实时音乐互动游戏系统。设计时，游戏设计用户随音乐作出一些表情和动作，整个游戏的过程即可生成一段人脸手势舞蹈的视频，供用户分享到社交网络吸引关注。且本实施例的技术方案，基于人脸和手势识别技术，预设舞蹈的交互动作和时间点不再需要人工标注，输入标准人脸手势舞视频即可得该游戏中对应的交互的动作特征、动作提示以及时间点信息。

另外，若本实施例的人机交互的信息处理方法应用在其他类型的交互应用中时，也可以采用类似的方式进行交互设计，在此不再一一举例赘述。

本实施例的人机交互的信息处理方法，通过采用上述技术方案，避免用户通过点击键盘或者触摸屏幕来接触式动作实现交互，可以采用非接触式的动作来实现交互，使得交互应用中的交互方式更加智能。而且本实施例的技术方案，可以有效地提高人机交互的信息处理的设计效率，节省人力成本，同时也大大降低了用户生产内容的难度。

另外，实际应用中，若本实施例的交互为用来测试人机交互参与者的反应速度、测试参与者特定技能等时，对应的，设计者设计的原理类似，在此不再赘述。

图4为本发明的人机交互的信息处理装置实施例一的结构图。如图4所示，本实施例的人机交互的信息处理装置，具体可以包括：

显示模块10用于在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各时间点到达时，在交互界面显示对应的时间点相关的动作提示；

采集模块11用于采集用户根据显示模块10显示的各时间点相关的动作提示所做出的非接触式的动作；

提取模块12用于根据预先训练的特征提取模型从采集模块11采集的用户的动作中提取对应的动作特征；

打分模块13用于根据预设的各时间点与对应的动作特征的对应关系、以及提取模块12提取的各时间点提取的用户的动作特征，为用户在交互中的一系列动作进行评价。

本实施例的人机交互的信息处理装置，通过采用上述模块实现人机交互的信息处理的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图5为本发明的人机交互的信息处理装置实施例二的结构图。如图5所示，本实施例的人机交互的信息处理装置，在上述图4所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。

如图5所示，本实施例的人机交互的信息处理装置，还包括建立模块14和生成模块15；

采集模块11还用于采集设计者在人机交互过程中做出的各非接触式的动作以及各动作做出时对应的游戏中的时间点；

提取模块12还用于根据特征提取模型，从采集模块11采集的设计者做出的各动作中提取动作特征；

建立模块14用于建立采集模块11采集的各时间点和提取模块12提取的对应的动作特征的对应关系；

生成模块15用于根据提取模块12提取的各动作特征生成对应的动作提示；

建立模块14还用于建立采集模块11采集的各时间点和生成模块15生成的对应的动作提示的对应关系。

进一步可选地，本实施例的人机交互的信息处理装置中，动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

进一步可选地，本实施例的人机交互的信息处理装置中，提取模块12具体用于执行如下至少一种操作：

根据人脸动作特征提取模型从采集的用户的人脸动作中提取对应的人脸动作特征；

根据预先训练的面部表情特征提取模型从采集的用户的面部表情中提取对应的面部表情特征；和

根据预先训练的手势特征提取模型从采集的用户的手势动作中提取对应的手势特征。

进一步可选地，如图5所示，本实施例的人机交互的信息处理装置中，还包括训练模块16；

采集模块11还用于采集数条训练数据；各训练数据中包括训练动作和训练动作对应的已知动作特征；

训练模块16用于根据采集模块11采集的数条训练数据训练特征提取模型。

进一步可选地，本实施例的人机交互的信息处理装置中，打分模块13具体用于：

根据预设的各时间点与对应的动作特征的对应关系、以及各时间点提取的用户的动作特征，验证各时间点的用户的动作特征是否正确；

根据各时间点的用户的动作特征是否正确，在对应的时间点为用户积分；

统计用户在各时间点的打分，得到用户在交互中的最终打分。

本实施例的游戏的交互处理装置，通过采用上述模块实现人机交互的信息处理的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图6为本发明的计算机设备实施例的结构图。如图6所示，本实施例的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上图1-图3所示实施例的人机交互的信息处理方法。图6所示实施例中以包括多个处理器30为例。

例如，图7为本发明提供的一种计算机设备的示例图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图7显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。

总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图5各实施例的功能。

具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图5各实施例中的功能和/或方法。

计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的人机交互的信息处理方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的人机交互的信息处理方法。

本实施例的计算机可读介质可以包括上述图7所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。

本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种人机交互的信息处理方法，其特征在于，所述方法包括：

在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；

采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；

根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。

2.根据权利要求1所述的方法，其特征在于，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示之前，所述方法还包括：

采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；

根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；

建立各所述时间点和对应的所述动作特征的对应关系；

根据各所述动作特征生成对应的所述动作提示；

建立各所述时间点和对应的所述动作提示的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

4.根据权利要求3所述的方法，其特征在于，根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征，具体包括如下至少一种：

根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和

根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

5.根据权利要求1所述的方法，其特征在于，采用预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征之前，所述方法还包括：

采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；

根据所述数条训练数据训练所述特征提取模型。

6.根据权利要求1所述的方法，其特征在于，根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价，具体包括：

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；

根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；

统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。

7.一种人机交互的信息处理装置，其特征在于，所述装置包括：

显示模块，用于在人机交互过程中，根据各时间点和相关的动作提示的对应关系，最晚在各所述时间点到达时，在交互界面显示对应的所述时间点相关的所述动作提示；

采集模块，用于采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作；

提取模块，用于根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征；

打分模块，用于根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，为所述用户在交互中的一系列动作进行评价。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括建立模块和生成模块；

所述采集模块，还用于采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点；

所述提取模块，还用于根据所述特征提取模型，从所述设计者做出的各所述动作中提取所述动作特征；

所述建立模块，用于建立各所述时间点和对应的所述动作特征的对应关系；

所述生成模块，用于根据各所述动作特征生成对应的所述动作提示；

所述建立模块，还用于建立各所述时间点和对应的所述动作提示的对应关系。

9.根据权利要求7所述的装置，其特征在于，所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

10.根据权利要求9所述的装置，其特征在于，所述提取模块，具体用于执行如下至少一种操作：

根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征；

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征；和

根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括训练模块；

所述采集模块，还用于采集数条训练数据；各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征；

所述训练模块，用于根据所述数条训练数据训练所述特征提取模型。

12.根据权利要求8所述的装置，其特征在于，所述打分模块，具体用于：

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征，验证各所述时间点的所述用户的所述动作特征是否正确；

根据各所述时间点的所述用户的所述动作特征是否正确，在对应的所述时间点为所述用户积分；

统计所述用户在各所述时间点的打分，得到所述用户在交互中的最终打分。

13.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。