CN112990105A - 对用户评价的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种对用户评价的方法、装置、电子设备和存储介质，对用户评价的方法包括：从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在所述多个维度的特征时序向量，该多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分；根据目标用户在每个维度的特征得分和对应维度的特征权重评价目标用户，本发明实施例能够提高评价结果的准确度。

Description

对用户评价的方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种对用户评价的方法、装置、电子设备和存储介质。

背景技术

美国传播学家艾伯特·梅拉比安提出一个信息表达公式：沟通时信息的全部表达=7%语言+38%声音+55%肢体语言，这表明人接收到信息大部分来自肢体语言。在沟通过程中，肢体语言传递的内容和情绪变化，通常比有声的语言更加丰富，因而，在一些场景下，比如演讲场景，肢体语言就会作为衡量用户表现的一项重要指标。现有技术中，在衡量用户表现时，通常只是取单一方面的肢体特征，导致对用户的评价结果不够准确。

发明内容

本发明实施例提供一种对用户评价的方法、装置、电子设备和存储介质，能够提高评价结果的准确度。

第一方面，本发明实施例提供一种对用户评价的方法，包括：

从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；

根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

第二方面，本发明实施例提供一种对用户评价的装置，包括：

检测模块，用于从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；

计算模块，用于根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；

评分模块，用于根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的对用户评价的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的对用户评价的方法。

本发明实施例中，可以从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在多个维度的特征时序向量，该多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分；根据目标用户在每个维度的特征得分和对应维度的特征权重对目标用户评分。即本发明实施例中，会根据动态的视频，结合头部姿态、躯干姿态、手部姿态、眼神和表情等多个维度的肢体特征对用户进行评价，评价采纳的维度及特征更全面，评价结果更准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的对用户评价的方法的一个流程示意图。

图2是本发明实施例提供的计算用户在每个维度的特征得分的方法的一个流程示意图。

图3是本发明实施例提供的对用户进行标记的效果示意图。

图4是本发明实施例提供的预设评分区间的获取方法的一个流程示意图。

图5是本发明实施例提供的头部姿态特征曲线示意图。

图6a、图6b是本发明实施例提供的躯干姿态特征曲线示意图。

图7a、图7b是本发明实施例提供的眼神特征曲线示意图。

图8是本发明实施例提供的表情特征曲线示意图。

图9是本发明实施例提供的对用户评价的装置的一个结构示意图。

图10是本发明实施例提供的电子设备的一个结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的对用户评价的方法的一个流程示意图，该方法可以由本发明实施例提供的对用户评价的装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备可以是手机、个人计算机（Personal Computer，PC）、平板电脑、笔记本电脑、台式电脑等电子设备。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：

步骤101，从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在多个维度的特征时序向量。

具体地，待检测视频可以是包含目标用户的视频，目标用户可以是需要进行评价的用户。示例地，比如目标用户为演讲者，待检测视频可以是演讲者的演讲视频，即可以通过该演讲视频评价演讲者的表现情况。

具体实现中，由于肢体语言具有一定的稳定性，为了提高处理速度，无需对待检测视频中的每一帧图像进行检测，而是可以按照一定的规则从待检测视频中抽取一些图像，对抽取的图像进行特征检测即可。比如，可以按照视频帧率、视频时长等设置采样时间间隔，按照设置的采样时间间隔从待检测视频中抽取若干帧图像。

在从待检测视频中抽取多帧图像之后，可以将抽取的图像输入特征检测模型，以利用特征检测模型对每帧图像中的目标用户进行多个维度的特征检测，从而得到目标用户在多个维度的特征时序向量。示例地，多个维度可以包括头部姿态、躯干姿态、手部姿态、眼神和表情。

具体地，特征检测模型可以预先通过训练数据训练得到，在将图像输入特征检测模型之后，特征检测模型可以对每帧图像中的目标用户进行人脸检测及定位、手部检测及定位、躯干检测及定位，以及对人脸中的关键点进行检测及定位，人脸中的关键点比如眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；检测及定位之后，可以获取各个维度特征对应的特征值并向量化，从而得到目标用户在多个维度的特征时序向量。

在一个具体的实施例中，各个维度可以通过如下特征体现：

头部姿态，可以通过头部的俯仰角pitch、偏航角yaw和翻滚角roll等特征体现；

躯干姿态，可以通过躯干与摄像头的距离、躯干的水平移动距离和躯干的竖直移动距离等特征体现；

手部姿态，可以通过双手的水平活动幅度和竖直活动幅度等特征体现；

眼神，可以通过双眼的俯仰角和偏航角等特征体现；

表情，可以通过微笑检测状态体现。

即头部姿态的特征时序向量可以包括头部的俯仰角、偏航角和翻滚角等特征对应的值构成的向量，躯干姿态的特征时序向量可以包括躯干与摄像头的距离、躯干的水平移动距离和躯干的竖直移动距离等特征对应的值构成的向量，手部姿态的特征时序向量可以包括双手的水平活动幅度和竖直活动幅度等特征对应的值构成的向量，眼神的特征时序向量可以包括双眼的俯仰角和偏航角等特征对应的值构成的向量，表情的特征时序向量可以包括微笑检测状态这一特征对应的值（即微笑检测值）构成的向量。

步骤102，根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分。

具体地，比如可以按照图2所示方法计算目标用户在每个维度的特征得分，即步骤102具体可以包括如下步骤：

步骤1021，根据目标用户在多个维度的特征时序向量计算目标用户的每个维度特征的偏差值和波动值。

具体地，可以根据目标用户在多个维度的特征时序向量计算目标用户的每个维度特征的均值和标准差（或方差），将均值作为偏差值，将标准差（或方差）作为波动值。

示例地，当一个维度包括多个特征时，可以分别计算该维度的每个特征的均值和标准差。比如，以头部姿态这一维度为例，在计算头部姿态特征的均值和标准差时，可以计算头部俯仰角的均值和标准差、头部偏航角的均值和标准差、以及头部翻滚角的均值和标准差。以手部姿态这一维度为例，在计算手部姿态特征的均值和标准差时，可以计算左手水平活动幅度的均值和标准差、左手竖直活动幅度的均值和标准差、右手水平活动幅度的均值和标准差、以及右手竖直活动幅度的均值和标准差。

步骤1022，将目标用户的每个维度特征的偏差值和波动值映射至预设评分区间，得到目标用户的每个维度特征的偏差得分和波动得分。

示例地，预设评分区间可以通过对样本用户的视频进行处理分析得到，每个维度特征的偏差值和波动值分别对应有预设评分区间，一个维度特征的偏差值或波动值对应的预设评分区间可以包括多个评分区间，每个评分区间关联一个预设分值，不同评分区间关联的预设分值不同。

在一个具体的实施例中，比如，任意一个维度特征的偏差值或波动值对应的预设评分区间与预设分值的关联关系可如下表1所示：

预设评分区间	评分区间1	评分区间2	评分区间3
				预设分值	1	3	5

表1

则步骤1022具体可以为：确定目标用户的每个维度特征的偏差值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的偏差得分；确定目标用户的每个维度特征的波动值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的波动得分。

比如，某个维度特征的偏差值属于表1所示的评分区间1，则该维度特征对应的偏差得分即为1分；再比如，某个维度特征的波动值属于表1所示的评分区间3，则该维度特征对应的波动得分即为5分。

当一个维度包括多个特征时，可以分别确定该维度的每个特征的偏差得分和波动得分，将该维度的各个特征的偏差得分求和得到该维度特征的偏差得分，将该维度的各个特征的波动得分求和得到该维度特征的波动得分。

比如，以头部姿态这一维度为例，在计算头部姿态特征的偏差得分和波动得分时，可以计算头部俯仰角的偏差得分和波动得分、头部偏航角的偏差得分和波动得分、以及头部翻滚角的偏差得分和波动得分，将头部俯仰角的偏差得分、头部偏航角的偏差得分与头部翻滚角的偏差得分求和得到头部姿态特征的偏差得分，将头部俯仰角的波动得分、头部偏航角的波动得分与头部翻滚角的波动得分求和得到头部姿态特征的波动得分。

步骤1023，根据目标用户的每个维度特征的偏差得分和波动得分及对应维度特征的偏差权重和波动权重计算目标用户在每个维度的特征得分。

具体地，可以将目标用户的每个维度特征的偏差得分、偏差权重的乘积与对应维度特征的波动得分、波动权重的乘积求和，得到目标用户在每个维度的特征得分。其中，偏差权重、波动权重可根据实际需要或实验数据取值。

比如，以头部姿态这一维度为例，可以将头部姿态特征的偏差得分和偏差权重相乘，将头部姿态特征的波动得分和波动权重相乘，将两个乘积求和，从而得到目标用户在头部姿态这一维度的特征得分。以表情这一维度为例，可以将表情特征的偏差得分和偏差权重相乘，将表情特征的波动得分和波动权重相乘，将两个乘积求和，从而得到目标用户在表情这一维度的特征得分。

需要说明的是，本发明实施例仅以按照图2所示方法计算目标用户在每个维度的特征得分为例进行说明，实际应用中，还可以采用其他方法，此处不做具体限定。

步骤103，根据目标用户在每个维度的特征得分和对应维度的特征权重评价目标用户。

比如，可以将目标用户在每个维度的特征得分与对应维度的特征权重相乘后求和，得到目标用户的表现评分，该表现评分用于体现目标用户的表现情况，其中，特征权重可根据实际需要或实验数据取值。以将本发明实施例提供的方法应用于演讲场景为例，该表现评分可以表示演讲者在演讲过程中的肢体表现情况，评分越高，可以表示肢体表现越好。

在一个具体的实施例中，在得到目标用户的表现评分之后，可以在电子设备上展现该表现评分，以使得目标用户可以了解自己的表现。另外，本发明实施例中，还可以将目标用户在每个维度的特征得分在电子设备上展示，以使得目标用户可以了解自己在各个维度的表现，从而针对性地做出改进，以提升表现力。

在一个具体的实施例中，还可以根据检测结果在待检测视频中对目标用户的人脸、关键点、关键信息进行标记，比如图3所示，可以在待检测视频中标记目标用户的人脸检测框，对眉毛、眼睛、鼻子、嘴巴、脸部轮廓等关键点进行点位标记，标记视线方向、头部姿态等，以辅助用户调整自己的肢体动作，从而提升肢体语言表达效果。

本发明实施例中，可以从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在多个维度的特征时序向量，该多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分；根据目标用户在每个维度的特征得分和对应维度的特征权重对目标用户评分。即本发明实施例中，会根据动态的视频，结合头部姿态、躯干姿态、手部姿态、眼神和表情等多个维度的肢体特征对用户进行评价，评价采纳的维度及特征更全面，评价结果更准确。

在一个具体的实施例中，预设评分区间可通过图4所示方法得到，可以包括如下步骤：

步骤201，对样本用户的多帧图像进行多个维度的特征检测，得到样本用户在多个维度的特征时序向量。

其中，样本用户可以包括大量用户，多个维度可以包括头部姿态、躯干姿态、手部姿态、眼神和表情。对用本用户的多帧图像执行特征检测的过程，可与对目标用户的多帧图像执行特征检测的过程类似，此处不再赘述。

其中，样本用户在多个维度的特征时序向量可以包括头部姿态的特征时序向量、躯干姿态的特征时序向量、手部姿态的特征时序向量、眼神的特征时序向量和表情的特征时序向量。其中，头部姿态的特征时序向量可以包括头部的俯仰角、偏航角和翻滚角等特征对应的值构成的向量，躯干姿态的特征时序向量可以包括躯干与摄像头的距离、躯干的水平移动距离和躯干的竖直移动距离等特征对应的值构成的向量，手部姿态的特征时序向量可以包括双手的水平活动幅度和竖直活动幅度等特征对应的值构成的向量，眼神的特征时序向量可以包括双眼的俯仰角和偏航角等特征对应的值构成的向量，表情的特征时序向量可以包括微笑检测状态这一特征对应的值构成的向量。

步骤202，根据样本用户在多个维度的特征时序向量计算样本用户的每个维度特征的偏差值和波动值。

具体地，可以根据样本用户在多个维度的特征时序向量计算样本用户的每个维度特征的均值和标准差（或方差），将均值作为偏差值，将标准差（或方差）作为波动值。

示例地，当一个维度包括多个特征时，可以分别计算该维度的每个特征的均值和标准差。比如，以头部姿态这一维度为例，在计算头部姿态特征的均值和标准差时，可以计算头部俯仰角的均值和标准差、头部偏航角的均值和标准差、以及头部翻滚角的均值和标准差。以手部姿态这一维度为例，在计算手部姿态特征的均值和标准差时，可以计算左手水平活动幅度的均值和标准差、左手竖直活动幅度的均值和标准差、右手水平活动幅度的均值和标准差、以及右手竖直活动幅度的均值和标准差。

步骤203，对样本用户的每个维度特征的偏差值按照预设规则求取分位数，得到偏差评分区间，并对样本用户的每个维度特征的波动值按照预设规则求取分位数，得到波动评分区间。

其中，预设规则可以是对数据进行划分或分类的规则。对样本用户的每个维度特征的偏差值按照预设规则求取分位数，即可以理解为对这些偏差值进行分类，找到分类阈值或临界点，根据分类阈值或临界点设置偏差评分区间，波动评分区间的概念与偏差评分区间的概念及设置方法类似。

示例地，当一个维度包括多个特征时，可以分别确定该维度的每个特征对应的偏差评分区间和波动评分区间。比如，比如，以头部姿态这一维度为例，可以分别确定头部俯仰角对应的偏差评分区间和波动评分区间，头部偏航角对应的偏差评分区间和波动评分区间，以及头部翻滚角对应的偏差评分区间和波动评分区间。

一个具体的例子，比如，以为头部姿态中的俯仰角设置偏差评分区间和波动评分区间为例，假如本发明实施例的方法应用于演讲场景，则可以从演讲视频库中随机抽取100个演讲视频，分别进行特征检测和提取，得到100个视频的头部姿态的俯仰角的偏差值和波动值。针对这100个偏差值，按照数量GoodCase:NormCase:BadCase=1:1:1对偏差值划分，即认为100个偏差值中有1/3的评分属于GoodCase，因此求取这100个偏差值的1/3分位数可以视为GoodCase的阈值，记作GoodThreshold，相应地，求取这100个偏差值的2/3分位数，视为BadCase的阈值，记作badThreshold，根据GoodThreshold和badThreshold得到俯仰角的偏差评分区间，即俯仰角的偏差评分区间包括3个区间，分别为GoodInterval，NormInterval和BadInterval。针对这100个波动值，同样可以按照数量GoodCase:NormCase:BadCase=1:1:1对波动值划分，即认为100个波动值中有1/3的评分属于GoodCase，因此求取这100个波动值的1/3分位数可以视为GoodCase的阈值，记作GoodThreshold，相应地，求取这100个波动值的2/3分位数，视为BadCase的阈值，记作badThreshold，根据GoodThreshold和badThreshold得到俯仰角的波动评分区间，即俯仰角的波动评分区间也包括3个区间，分别为GoodInterval，NormInterval和BadInterval。

具体实现中，针对每个偏差评分区间和波动评分区间，可以设置对应评分区间关联的预设分值，以将各个维度的特征分值化，方便对用户进行评价。

需要说明的是，本发明实施例提供的对用户评价的方法，可以对实时录制的视频进行检测，也可以对预先录制好的视频进行检测。另外，本发明实施例提供的对用户评价的方法，可以由电子设备单独执行，也可以由电子设备与服务器配合执行；电子设备与服务器配合执行比如：电子设备将待检测视频上传至服务器，由服务器执行对用户评价的过程，评价之后，服务器将评价结果反馈给电子设备，此处不做具体限定。

下面以一个具体的例子说明本发明实施例提供的对用户评价的方法，以将本发明实施例提供的方法应用于演讲场景为例，演讲场景观众的视线主要集中在演讲者的上半身，因此，所取维度可以包括头部姿态、躯干姿态、眼神和表情这四个维度。演讲规范姿态应该是头部端正，两眼平视前方，表情自然稍带微笑，身体正直，头部稳定在画面的中间位置、略偏上，露出部分肩部。

其中，头部姿态可以通过检测头部转动的角度特征（包括：俯仰角pitch、偏航角yaw和翻滚角roll）来衡量，通过计算各角度特征值的均值和标准差来衡量头部转动（包括：抬头低头、左右转头、左右歪头）的偏差和波动，根据头部转动的偏差和波动的范围来对头部姿态评分。

躯干姿态可以通过检测身体关键点的距离特征（包括身体关键点与摄像头的距离、水平移动距离、竖直移动距离）来衡量，通过计算各距离特征值的均值和标准差来衡量身体晃动（包括：前后晃动、左右晃动、上下晃动）的偏差和波动，根据身体晃动的偏差和波动的范围来对躯干姿态评分。

眼神可以通过分别检测左、右眼睛关键点的角度特征（包括：俯仰角pitch和偏航角yaw）来衡量，通过计算各角度特征值的均值和标准差来衡量视线活动（抬头低头、左右转头、左右歪头）的偏差和波动，根据视线的偏差和波动的范围来对眼神评分。

表情可以通过人脸检测和微笑值识别结果来衡量，通过计算微笑值的均值和标准差，从而来衡量微笑值的偏差和波动，根据微笑值的偏差和波动的范围来对表情评分。

在一个具体的实施例中，对某个视频中的目标用户（即样例）进行特征检测，得到的头部姿态特征曲线图可如图5所示，图5中，共有三条曲线，分别代表头部俯仰角、偏航角和翻滚角的变化情况。其中，头部俯仰角的变化情况反映抬头低头的角度和波动幅度，头部偏航角的变化情况反映左右转头的角度和波动幅度，头部翻滚角的变化情况反映左右歪头的角度和波动幅度。根据分析可知：

该样例的头部俯仰角曲线主要集中在【0，10】之间，单位是度；均值为7.2度，表明该样例整体略有抬头；标准差为3.6度，表明该样例抬头低头的波动幅度稍大。

该样例的头部偏航角曲线主要集中在【0，5】之间，单位是度；均值为2.9度，表明该样例头部整体略向偏右转，偏差较小；标准差为2.8度，表明该样例左右转头的波动幅度稍大。

该样例的头部翻滚角曲线主要集中在【0，10】之间，单位是度；均值为6.2度，表明该样例头部整体略向右偏歪，偏差较大；标准差为1.4度，表明该样例左右转头的波动幅度较小。

该样例的躯干姿态特征曲线图可如图6a、图6b所示，其中，图6a表示躯干与摄像头的距离曲线，图6b表示躯干的水平移动距离曲线和躯干的竖直移动距离曲线。

通过图6a可以看出，该样例的屏幕距离值在【0.65，0.75】之间波动，均值为0.69米，与标准距离（比如0.6米）略有偏差，整体波动范围稍大，表明该样例身体前后晃动的幅度稍大。

通过图6b可以看出，该样例水平移动距离在【0.5，0.6】之间；均值为0.58，表明该样例身体出现在屏幕中间略偏右的位置；标准差为0.02，表明该样例身体左右晃动的幅度较小。该样例竖直移动距离在【0.2，0.4】之间；均值为0.35，表明该样例身体出现在屏幕中间偏上的位置；标准差为0.04，表明该样例身体上下晃动的幅度稍大（可能是由身体前后晃动引起的）。

该样例的眼神特征曲线图可如图7a、图7b所示，其中，图7a为右眼特征曲线图，图7b为左眼特征曲线图。图7a中包括两条曲线，分别为右眼的俯仰角曲线和偏航角曲线，图7b中包括两条曲线，分别为左眼的俯仰角曲线和偏航角曲线。

通过图7a、图7b可以看出，该样例双眼的俯仰角均在【-10，-20】之间波动，表明该样例视线稳定朝下看，右眼偏航角在【-10，0】之间波动，左眼偏航角在【-5，10】之间波动，表明右眼明显朝左看，左眼略向右看；反映视线主要集中看中间。

该样例的表情特征曲线图可如图8所示，该曲线反映微笑值的波动情况，微笑值检测的范围为【0，100】，从图8中可以看出，该样例的微笑值主要集中在【0，20】之间，均值为3.39，表明整体微笑分数稍低；标准差为8.6，表明微笑值波动幅度较大，有明显的情绪波动，并不是表情生硬。

接下来计算每个维度特征的偏差值和波动值，本发明实施例中，可以以均值反映偏差值，以标准差反映波动值。具体地，例如可以根据阈值将每个特征对应偏差评分区间分为三个区间、将波动评分区间也分为三个区间，并设置每个区间关联的预设分值，假设如下：

GoodInterval= 5分

NormInterval = 3分

BadInterval= 1分

以头部姿态为例，假如样例的头部姿态俯仰角的平均值为7.2度，属于NormInterval区间，因此，俯仰角这一特征的偏差得分为3分；假如样例的头部姿态偏航角的平均值为2.9，属于GoodInterval区间，因此，偏航角这一特征的偏差得分为5分，样例的头部姿态翻滚角的平均值为6.2，属于BadInterval区间，因此，翻滚角这一特征的偏差得分为1分。

以头部姿态类似的方法，可以确定出其他各个维度特征的偏差得分和波动得分。具体地，比如对样例确定出的各个维度特征的偏差得分和波动得分如表2所示，其中，偏差与波动的比值表示偏差权重和波动权重的比值，比如偏差：波动=1：2，则偏差权重可以为1/3，波动权重可以为2/3。以头部姿态这一个维度为例，样例的头部姿态俯仰角偏差得分为3分，波动得分为3分；偏航角偏差得分为5分，波动得分为3分；翻滚角偏差得分为1分，波动得分为5分；通过公式Alpha*(M_pitch+M_yaw+M_roll)/3+(1-Alpha)(S_pitch+S_yaw+S_roll)/3求加权平均分，可知样例的头部姿态这一维度的得分为3.44分，即1/3*(3+5+1)/3+(1-1/3)(3+3+5)/3=3.44。

表2

以此类推，可以计算出样例的躯干姿态得分为4.11分，眼神得分为3.83分，表情得分为4.0分。

假设各维度的特征权重如下：

头部姿态=0.3、躯干姿态=0.3、眼神=0.2、表情=0.2。

则样例的总得分为3.83分，即0.3*3.44+0.3*4.11+0.2*3.83+0.2*4.0=3.83。

由于是5分制，可以看出样例的肢体语言表现水平为中等偏上。

需要说明的是，以上仅以演讲场景为例说明本发明实施例提供的方法，当然本发明实施例的方法，还可以应用在其他类似需要对用户进行评价的场景中，例如领导讲话、教师授课等场景，此处对具体应用场景不做具体限定。

图9是本公开实施例提供的对用户评价的装置的一个结构示意图，如图9所示，该装置包括：

检测模块301，用于从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；

计算模块302，用于根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；

评分模块303，用于根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

一实施例中，所述头部姿态包括头部的俯仰角、偏航角和翻滚角；

所述躯干姿态包括躯干与摄像头的距离、躯干的水平移动距离和躯干的竖直移动距离；

所述手部姿态包括双手的水平活动幅度和竖直活动幅度；

所述眼神包括双眼的俯仰角和偏航角；

所述表情包括微笑检测状态。

一实施例中，所述计算模块302根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分，包括：

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的偏差值和波动值；

将所述目标用户的每个维度特征的偏差值和波动值映射至预设评分区间，得到所述目标用户的每个维度特征的偏差得分和波动得分；

根据所述目标用户的每个维度特征的偏差得分和波动得分及对应维度特征的偏差权重和波动权重计算所述目标用户在每个维度的特征得分。

一实施例中，所述计算模块302根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的偏差值和波动值，包括：

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的均值和标准差，将所述均值作为所述偏差值，将所述标准差作为所述波动值。

一实施例中，所述预设评分区间通过如下方式得到：

对样本用户的多帧图像进行所述多个维度的特征检测，得到所述样本用户在所述多个维度的特征时序向量；

根据所述样本用户在所述多个维度的特征时序向量计算所述样本用户的每个维度特征的偏差值和波动值；

对所述样本用户的每个维度特征的偏差值按照预设规则求取分位数，得到偏差评分区间，并对所述样本用户的每个维度特征的波动值按照所述预设规则求取分位数，得到波动评分区间。

一实施例中，所述预设评分区间包括多个评分区间，每个评分区间关联预设分值，所述计算模块302将所述目标用户的每个维度特征的偏差值和波动值映射至预设评分区间，得到所述目标用户的每个维度特征的偏差得分和波动得分，包括：

确定所述目标用户的每个维度特征的偏差值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的偏差得分；

确定所述目标用户的每个维度特征的波动值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的波动得分。

一实施例中，所述计算模块302根据所述目标用户的每个维度特征的偏差得分和波动得分及对应维度特征的偏差权重和波动权重计算所述目标用户在每个维度的特征得分，包括：

将所述目标用户的每个维度特征的偏差得分、偏差权重的乘积与对应维度特征的波动得分、波动权重的乘积求和，得到所述目标用户在每个维度的特征得分。

一实施例中，所述评分模块303根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户，包括：

将所述目标用户在每个维度的特征得分与对应维度的特征权重相乘后求和，得到所述目标用户的表现评分。

本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本公开实施例的装置，可以从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在多个维度的特征时序向量，该多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分；根据目标用户在每个维度的特征得分和对应维度的特征权重对目标用户评分。即本发明实施例中，会根据动态的视频，结合头部姿态、躯干姿态、手部姿态、眼神和表情等多个维度的肢体特征对用户进行评价，评价采纳的维度及特征更全面，评价结果更准确。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例提供的对用户评价的方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的对用户评价的方法。

下面参考图10，其示出了适于用来实现本发明实施例的电子设备的计算机系统500的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括检测模块、计算模块和评分模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

根据本发明实施例的技术方案，可以从待检测视频中抽取多帧图像，对每帧图像中的目标用户进行多个维度的特征检测，得到目标用户在多个维度的特征时序向量，该多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；根据目标用户在多个维度的特征时序向量计算目标用户在每个维度的特征得分；根据目标用户在每个维度的特征得分和对应维度的特征权重对目标用户评分。即本发明实施例中，会根据动态的视频，结合头部姿态、躯干姿态、手部姿态、眼神和表情等多个维度的肢体特征对用户进行评价，评价采纳的维度及特征更全面，评价结果更准确。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种对用户评价的方法，其特征在于，包括：

从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；

根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

2.根据权利要求1所述的对用户评价的方法，其特征在于，

所述头部姿态包括头部的俯仰角、偏航角和翻滚角；

所述躯干姿态包括躯干与摄像头的距离、躯干的水平移动距离和躯干的竖直移动距离；

所述手部姿态包括双手的水平活动幅度和竖直活动幅度；

所述眼神包括双眼的俯仰角和偏航角；

所述表情包括微笑检测状态。

3.根据权利要求1所述的对用户评价的方法，其特征在于，所述根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分，包括：

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的偏差值和波动值；

将所述目标用户的每个维度特征的偏差值和波动值映射至预设评分区间，得到所述目标用户的每个维度特征的偏差得分和波动得分；

根据所述目标用户的每个维度特征的偏差得分和波动得分及对应维度特征的偏差权重和波动权重计算所述目标用户在每个维度的特征得分。

4.根据权利要求3所述的对用户评价的方法，其特征在于，所述根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的偏差值和波动值，包括：

根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户的每个维度特征的均值和标准差，将所述均值作为所述偏差值，将所述标准差作为所述波动值。

5.根据权利要求3所述的对用户评价的方法，其特征在于，所述预设评分区间通过如下方式得到：

对样本用户的多帧图像进行所述多个维度的特征检测，得到所述样本用户在所述多个维度的特征时序向量；

根据所述样本用户在所述多个维度的特征时序向量计算所述样本用户的每个维度特征的偏差值和波动值；

对所述样本用户的每个维度特征的偏差值按照预设规则求取分位数，得到偏差评分区间，并对所述样本用户的每个维度特征的波动值按照所述预设规则求取分位数，得到波动评分区间。

6.根据权利要求3所述的对用户评价的方法，其特征在于，所述预设评分区间包括多个评分区间，每个评分区间关联预设分值，所述将所述目标用户的每个维度特征的偏差值和波动值映射至预设评分区间，得到所述目标用户的每个维度特征的偏差得分和波动得分，包括：

确定所述目标用户的每个维度特征的偏差值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的偏差得分；

确定所述目标用户的每个维度特征的波动值所属的评分区间，将确定的评分区间关联的预设分值确定为对应维度特征的波动得分。

7.根据权利要求3所述的对用户评价的方法，其特征在于，所述根据所述目标用户的每个维度特征的偏差得分和波动得分及对应维度特征的偏差权重和波动权重计算所述目标用户在每个维度的特征得分，包括：

将所述目标用户的每个维度特征的偏差得分、偏差权重的乘积与对应维度特征的波动得分、波动权重的乘积求和，得到所述目标用户在每个维度的特征得分。

8.根据权利要求1至7中任一所述的对用户评价的方法，其特征在于，所述根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户，包括：

将所述目标用户在每个维度的特征得分与对应维度的特征权重相乘后求和，得到所述目标用户的表现评分。

9.一种对用户评价的装置，其特征在于，包括：

检测模块，用于从待检测视频中抽取多帧图像，对每帧所述图像中的目标用户进行多个维度的特征检测，得到所述目标用户在所述多个维度的特征时序向量，所述多个维度包括头部姿态、躯干姿态、手部姿态、眼神和表情；

计算模块，用于根据所述目标用户在所述多个维度的特征时序向量计算所述目标用户在每个维度的特征得分；

评分模块，用于根据所述目标用户在每个维度的特征得分和对应维度的特征权重评价所述目标用户。

10.一种电子设备， 包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一所述的对用户评价的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一所述的对用户评价的方法。

Images