CN114267072A - 电子设备及专注度确定方法 - Google Patents

Abstract

本申请公开了一种电子设备及专注度确定方法，涉及数据处理技术领域。第一电子设备可以基于采集到的目标对象的多帧图像，确定目标对象的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，从而得到目标对象的专注度。由于可以通过多个专注度参数的参数值来确定目标对象的专注度，而无需人工确定，因此可以提高目标对象的专注度的确定效率。并且，多个专注度参数包括不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。由此可见，本申请提供的方法在确定目标对象的专注度时，采用的数据较为全面，因此进一步提高了目标对象的专注度的确定准确性。

Description

电子设备及专注度确定方法

技术领域

本申请涉及数据处理技术领域，特别涉及一种电子设备及专注度确定方法。

背景技术

学生的专注度可以反映该学生的学习效率的高低。

相关技术中，老师可以通过观察图像采集设备采集到的学生的人脸图像，确定学生的专注度。

但是，通过上述方式确定的专注度的效率较低。

发明内容

本申请提供了一种电子设备及专注度确定方法，可以解决相关技术中确定的专注度的效率较低的问题。所述技术方案如下：

一方面，提供了一种专注度确定方法，应用于第一电子设备，所述方法包括：

采集目标对象的多帧图像；

基于所述多帧图像，确定所述目标对象的多个专注度参数的参数值，所述多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态；

对所述多个专注度参数的参数值进行加权求和，得到所述目标对象的专注度；

向第二电子设备发送所述专注度，所述专注度用于供所述第二电子设备若确定所述专注度小于专注度阈值，则发出提醒消息。

另一方面，提供了一种电子设备，所述电子设备包括：处理器；所述处理器用于：

采集目标对象的多帧图像；

基于所述多帧图像，确定所述目标对象的多个专注度参数的参数值，所述多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态；

对所述多个专注度参数的参数值进行加权求和，得到所述目标对象的专注度；

向第二电子设备发送所述专注度，所述专注度用于供所述第二电子设备若确定所述专注度小于专注度阈值，则发出提醒消息。

可选的，所述处理器用于：

将每帧所述图像输入表情识别模型，得到所述表情识别模型输出的所述图像中的面部表情的类型；

统计所述多帧图像中，不同类型的面部表情的出现次数的参数值。

可选的，所述处理器用于：

确定所述多帧图像中所述目标对象的头部绕第一轴线的转动角度值的第一平均值，所述目标对象的头部绕第二轴线的转动角度值的第二平均值，以及所述目标对象的头部绕第三轴线的转动角度值的第三平均值，所述第一轴线、所述第二轴线和所述第三轴线两两垂直；

基于所述第一平均值、所述第二平均值和所述第三平均值，确定所述目标对象的头部姿态的参数值。

可选的，所述头部姿态的参数值包括所述第一平均值、所述第二平均值和所述第三平均值；

或者，所述头部姿态的参数值为所述第一平均值、所述第二平均值和所述第三平均值的加权平均值。

可选的，所述处理器用于：

对所述第一平均值，所述第二平均值以及所述第三平均值分别进行归一化处理；

基于归一化处理后的所述第一平均值、归一化处理后的所述第二平均值和归一化处理后的所述第三平均值，确定所述目标对象的头部姿态的参数值；

其中，归一化处理后的所述第一平均值h1满足：h1＝1-N/a；

归一化处理后的所述第二平均值h2满足：h2＝1-P/b；

归一化处理后的所述第三平均值h3满足：h3＝1-Q/c；

其中，N为所述第一平均值，P为所述第二平均值，Q为所述第三平均值，a为头部绕所述第一轴线转动的最大转动角度值，b为头部绕所述第二轴线转动的最大转动角度值，c为头部绕所述第三轴线转动的最大转动角度值。

可选的，所述眼睛开合度的参数值包括：眼部子图像的长宽比的参数值，以及眼部子图像中瞳孔的面积占比的参数值；

其中，所述眼部子图像的长宽比的参数值为所述多帧图像中的眼部子图像的长宽比的比值中，出现次数最多的比值；

所述眼部子图像中瞳孔的面积占比的参数值为所述多帧图像中的眼部子图像中瞳孔的面积占比的比值中，出现次数最多的比值。

可选的，所述处理器用于：

将每帧所述图像输入肢体姿态识别模型，得到所述肢体姿态识别模型输出的所述图像的识别结果，所述识别结果用于指示所述目标对象在所述图像中的肢体姿态的类型；

将所述多帧图像的识别结果中出现次数最多的肢体姿态的类型，确定为目标类型；

将肢体姿态的类型与特征向量的对应关系中，所述目标类型对应的特征向量确定为所述目标对象的肢体姿态的参数值。

可选的，所述处理器还用于：

基于M个专注度参数中第i个专注度参数相较于第j个专注度参数对专注度的重要程度，生成判断矩阵，其中，i和j均为小于等于M的正整数，所述判断矩阵的第i行第j列的元素用于表征所述M个专注度参数中，所述第i个专注度参数相较于所述第j个专注度参数对专注度的重要程度，所述判断矩阵为M行M列的矩阵；

分别对所述判断矩阵中每一行元素的乘积进行开方运算；

对开方运算后的每一行元素的乘积进行归一化处理，得到所述M个专注度参数中每个专注度参数的权重；

其中，所述M个专注度参数中第i个专注度参数的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值。

又一方面，提供了一种电子设备，所述电子设备包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的专注度确定方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的专注度确定方法。

再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的专注度确定方法。

本申请提供的技术方案带来的有益效果至少包括：

本申请提供了一种电子设备及专注度确定方法，第一电子设备可以基于采集到的目标对象的多帧图像，确定目标对象的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，从而得到目标对象的专注度。由于可以通过多个专注度参数的参数值来确定目标对象的专注度，而无需人工确定，因此可以提高目标对象的专注度的确定准确性，以及确定效率。

并且，多个专注度参数包括不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。由此可见，本申请提供的方法在确定目标对象的专注度时，采用的数据较为全面，因此进一步提高了目标对象的专注度的确定准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种专注度确定系统的结构示意图；

图2是本申请实施例提供的一种专注度确定方法的流程图；

图3是本申请实施例提供的另一种专注度确定方法的流程图；

图4是本申请实施例提供的一种确定目标对象的不同类型的面部表情的出现次数的方法流程图；

图5是本申请实施例提供的一种将图像映射至三维坐标系中的示意图；

图6是本申请实施例提供的一种对图像进行关键点识别得到的关键点的示意图；

图7是本申请实施例提供的一种确定目标对象的肢体姿态数据的方法流程图；

图8是本申请实施例提供的另一种专注度确定系统的结构示意图；

图9是本申请实施例提供的一种电子设备的结构示意图；

图10是本申请实施例提供的一种移动终端的软件结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种专注度确定系统，参见图1，该系统包括：第一电子设备110，以及与该第一电子设备110连接的第二电子设备120。其中，该第一电子设备110可以包括摄像头121。并且，第一电子设备110可以通过该摄像头121采集目标对象的多帧图像。

可选的，该第一电子设备110可以为手机、平板电脑、笔记本电脑或监控设备等具有摄像头的设备。第二电子设备120可以为手机、平板电脑或智能电视。例如，如图1所示，第一电子设备110为平板电脑，第二电子设备120为电视。这种方式下，第一电子设备110适用于目标对象采用第一电子设备观看学习视频(例如上网课)、做线上作业或阅读电子图书的情景中。

本申请实施例提供了一种专注度确定方法，该方法可以应用于专注度确定系统，例如图1所示的系统。参见图2，该方法包括：

步骤101、第一电子设备采集目标对象的多帧图像。

其中，每帧图像可以包括目标对象的人脸图像和肢体图像。

可选的，该目标对象可以为学生。该多帧图像可以为第一电子设备在目标时长内采集到的。该目标时长可以设置的较短，例如该目标时长可以为3S(秒)。

步骤102、第一电子设备基于多帧图像，确定目标对象的多个专注度参数的参数值，多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。

第一电子设备可以基于多帧图像中的人脸图像，确定目标对象的不同类型的面部表情的出现次数的参数值，头部姿态的参数值，以及眼睛开合度的参数值。并且，第一电子设备可以基于多帧图像中的肢体图像，确定目标对象的肢体姿态的参数值。

其中，面部表情的类型可以为：高兴、自然、惊讶、生气、害怕、厌恶或伤心。目标对象的头部姿态的参数值可以基于多帧图像中目标对象的头部绕第一轴线的转动角度值，该头部绕第二轴线的转动角度值，以及该头部绕第三轴线的转动角度值确定。例如，该头部姿态参数值可以包括：多帧图像中目标对象的头部绕第一轴线的转动角度值的平均值、该头部绕第二轴线的转动角度值的平均值以及该头部绕第三轴线的转动角度值的平均值。或者，该头部姿态的参数值可以包括：多帧图像中目标对象的头部绕第一轴线的最大转动角度值，该头部绕第二轴线的最大转动角度值，该头部绕第三轴线的最大转动角值度。

眼睛开合度的参数值可以包括：眼睛子图像的长宽比的参数值，和/或，多眼睛子图像中瞳孔的面积占比的参数值。例如，眼睛开合度的参数值可以为眼睛子图像的长宽比的参数值，或者可以为眼睛子图像中瞳孔的面积占比的参数值，又或者眼睛开合度的参数值可以为包括：眼睛子图像的长宽比的参数值，以及眼睛子图像中瞳孔的面积占比的参数值。其中，该眼睛子图像的长宽比的参数值可以为多帧图像中眼睛子图像的长宽比的比值的平均值，或多帧图像中眼睛子图像的长宽比的比值中出现次数最多的比值。该眼睛子图像中瞳孔的面积占比的参数值可以为多帧图像中眼睛子图像中瞳孔的面积占比的比值的平均值，或多帧图像中眼睛子图像中瞳孔的面积占比的比值中出现次数最多的比值。

肢体姿态的参数值可以基于多帧图像中出现次数最多的肢体姿态的类型确定。肢体姿态的类型可以包括下述类型中的一种：托腮、挠头、趴桌子、转笔、写字以及端坐。

相较于一帧图像，多帧图像能够较为准确的呈现目标对象的状态。相应的，第一电子设备基于多帧图像确定的多个专注度参数的参数值能够较为准确的反应目标对象的专注度，继而可以确保确定的目标对象的专注度的准确性较高。

步骤103、第一电子设备对多个专注度参数的参数值进行加权求和，得到目标对象的专注度。

第一电子设备在得到目标对象的多个专注度参数的参数值后，可以将每个专注度参数的参数值与该专注度参数的权重相乘，得到多个乘积。之后，第一电子设备可以将该多个乘积的和，确定为目标对象的专注度。其中，每个专注度参数的权重可以是第一电子设备中预先存储的。

步骤104、第一电子设备向第二电子设备发送目标对象的专注度。

第一电子设备得到的目标对象的专注度后，可以向第二电子设备发送该专注度。

可选的，第二电子设备可以为老师的移动终端。或者，第二电子设备可以为家长的移动终端。

步骤105、第二电子设备若确定目标对象的专注度小于专注度阈值，则发出提醒消息。

第二电子设备在确定目标对象的专注度小于专注度阈值时，可以发出提醒消息，如此，可以便于第二电子设备的用户及时获知目标对象的专注度的高低。

综上所述，本申请实施例提供了一种专注度确定方法，第一电子设备可以基于采集到的目标对象的多帧图像，确定目标对象的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，从而得到目标对象的专注度。由于可以通过多个专注度参数的参数值来确定目标对象的专注度，而无需人工确定，因此可以提高目标对象的专注度的确定准确性，以及确定效率。

并且，多个专注度参数包括不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。由此可见，本申请实施例提供的方法在确定目标对象的专注度时，采用的数据较为全面，因此进一步提高了目标对象的专注度的确定准确性。

图3是本申请实施例提供的另一种专注度确定方法的流程图，该方法可以应用于专注度确定系统，例如图1所示的系统。参见图3，该方法可以包括：

步骤201、第一电子设备采集目标对象的多帧图像。

在本申请实施例中，第一电子设备接收到采集指令后，即可响应于该采集指令启动摄像头，并通过该摄像头采集目标对象的多帧图像。可选的，该目标对象可以为学生。对于第一电子设备为手机，平板电脑或笔记本电脑的场景，采集指令可以是由学生针对第一电子设备中的某一电子图书、某一测试文档或某一学习视频的打开操作触发的。

可选的，第一电子设备响应于采集指令，可以采用开源计算机视觉库(opensource computervision library，OpenCV)启动该第一电子设备的摄像头，并在摄像头启动成功后，通过该摄像头采集目标对应的多帧图像。

在此过程中，若摄像头启动失败，则第一电子设备可以再次采用OpenCV启动该摄像头。若摄像头启动失败的次数大于次数阈值，则第一电子设备可以发出提示信息，以提示用户摄像头启动失败。其中，该次数阈值可以是第一电子设备中预先存储的。

可选的，该多帧图像可以是第一电子设备在目标时长内通过其摄像头采集的图像中的部分图像，且该多帧图像可以不连续。该目标时长可以是第一电子设备预先存储的，且该目标时长可以设置的较短。例如，该目标时长为3S。

步骤202、第一电子设备基于目标对象的多帧图像，确定目标对象的不同类型的面部表情的出现次数的参数值。

其中，面部表情的类型可以为下述类型中的一种：高兴、自然、惊讶、生气、害怕、厌恶以及伤心。不同类型的面部表情的出现次数可以包括至少一个子参数，该至少一个子参数包括：多帧图像中出现的面部表情所属的类型。例如，若多帧图像中仅出现了高兴的面部表情和自然的面部表情，则该至少一个子参数包括：高兴类型和自然类型。

本申请实施例以下述两种可选的实现方式为例，对第一电子设备基于多帧图像，确定目标对象的不同类型的面部表情的出现次数的参数值的过程进行示例性说明。

在第一种可选的实现方式，参见图4，第一电子设备采集到的目标对象的多帧图像后，可以通过下述步骤确定目标对象的不同类型的面部表情的出现次数：

步骤2021、将每帧图像输入表情识别模型，得到表情识别模型输出的图像中的面部表情的类型。

第一电子设备可以将采集到的多帧图像中的每帧图像输入预先训练得到的表情识别模型，从而得到表情识别模型输出的该图像中的面部表情的类型。其中，该表情识别模型可以是第一电子设备基于多个表情样本数据确定的。每个表情样本数据可以包括：图像样本，以及该图像样本中的面部表情的类型。

步骤2022、统计多帧图像中，不同类型的面部表情的出现次数的参数值。

第一电子设备在得到多帧图像中的多个面部表情的类型后，可以从该多个面部表情的类型中，统计得到不同类型的面部表情的出现次数的参数值。

例如，第一电子设备将采集到的三十帧图像按照采集时刻的先后顺序，依次输入表情识别模型后，得到第一帧图像中面部表情的类型至第二十帧图像中面部表情的类型均为高兴，第二十一帧图像中面部表情的类型至第三十帧图像中面部表情的类型均为自然。则第一电子设备可以统计得到类型为高兴的面部表情的出现次数参数值为20，类型为自然的面部表情的出现次数的参数值为10。

在第二种可选的实现方式中，对于每帧图像，第一电子设备可以从该图像中提取出能够反映目标对象的面部表情的类型的多个面部特征点(例如眼睛所在区域的特征点、眉毛所在区域的特征点以及嘴巴所在区域的特征点)，并基于该多个面部特征点确定该图像中面部表情的类型。之后，第一电设备可以多帧图像中，不同类型的面部表情的出现次数的参数值。

步骤203、第一电子设备基于目标对象的多帧图像，确定目标对象的头部姿态的参数值。

在本申请实施例中，第一电子设备可以确定多帧图像中目标对象的头部绕第一轴线的转动角度值的第一平均值，目标对象的头部绕第二轴线的转动角度值的第二平均值，以及目标对象的头部绕第三轴线的转动角度值的第三平均值。之后，第一电子设备可以基于第一平均值、第二平均值和第三平均值，确定目标对象的头部姿态的参数值。

其中，绕第一轴线的转动角度值可以是指绕第一轴线转动的第一转动角度的角度值。绕第二轴线的转动角度值可以是指绕第二轴线转动的第二转动角度的角度值。绕第三轴线的转动角度值可以是指绕第三轴线转动的第三转动角度的角度值。第一轴线、第二轴线和第三轴线两两垂直。例如，第一轴线的延伸方向可以平行于目标对象的高度延伸方向，第二轴线的延伸方向可以平行于该目标对象的宽度延伸方向，第三轴线的延伸方向可以平行于目标对象的厚度延伸方向。假设目标对象为人体，则该第一转动角度可以是指人体左右转头的角度，第二转动角度可以为人体抬头的角度或低头的角度，第三转动角度可以是指人体左右歪头的角度。

在本申请实施例中，对于每帧图像，第一电子设备可以确定该图像中目标对象的头部绕第一轴线的第一转动角度的角度值，绕第二轴线的第二转动角度的角度值。以及绕第三轴线的第三转动角度的角度值。之后，第一电子设备可以将多个第一转动角度的角度值的平均值确定为第一平均角度，将多个第二转动角度的角度值的平均值确定为第二平均角度，并将多个第三转动角度的角度值的平均值确定为第三平均角度。

可选的，对于每帧图像，请参见图5，第一电子设备可以将该图像中的目标对象的头部映射至三维坐标系中，即建立该头部的三维模型。该三维坐标系可以是目标对象的头部的参考模型所在的坐标系。该参考模型可以是第一电子设备基于参考图像确定的，该参考图像中目标对象的头部未转动。其中，该三维坐标系的原点可以为参考图像中目标对象的头部的中心点O，X轴正方向可以以该参考图像中像素列的延伸方向的反方向，Y轴正方向可以为参考图像中像素行的延伸方向。

之后，第一电子设备可以确定该三维模型中，标记点与原点的连线，与X轴的第一夹角，该连线与Y轴的第二夹角，以及该连线与Z轴的第三夹角。并且，第一电子设备可以将第一夹角的角度值与第一参考夹角的角度值的差值确定为第一转动角度的角度值，将第二夹角的角度值与第二参考夹角的角度值的差值确定为第二转动角度的角度值，并将第三夹角的角度值与第三参考角度的角度值的差值确定为第三转动角度的角度值。

其中，第一参考夹角为参考模型中标记点与原点的连线，与X轴的夹角。第二参考夹角为参考模型中标记点与原点的连线，与Y轴的夹角。第三参考夹角为参考模型中标记点与原点的连线，与Z轴的夹角。

可选的，该标记点可以目标对象的脸部的一点。例如，该标记点可以为鼻子上的一点，如为鼻尖的一点。或者，该标记点可以为眼部的一点。本申请实施例对此不做限定。

在一种可选的实现方式中，目标对象的头部姿态可以包括三个子参数：目标对象的头部绕第一轴线的转动角度的第一平均角度，绕第二轴线的转动角度的第二平均角度，以及绕第三轴线的转动角度的第三平均角度。相应的，该头部姿态的参数值可以包括：前文所述的第一平均值，第二平均值以及第三平均值。

在另一种可选的实现方式中，目标对象的头部姿态由第一平均角度至第三平均角度的加权平均角度表征。相应的，该头部姿态的参数值可以为第一平均值至第三平均值的加权平均值。也即是，第一电子设备中可以存储与第一平均角度至第三平均角度中的每个平均角度的权重。之后，第一电子设备可以将第一平均值至第三平均值中每个平均值与对应子参数的权重相乘，得到三个乘积，并将该三个乘积之和的平均值确定为目标对象的头部姿态的参数值。

可选的，第一电子设备在得到第一平均值，第二平均值和第三平均值后，可以先对该第一平均值至第三平均值分别进行归一化处理。之后，第一电子设备可以基于归一化处理后的第一平均值，归一化处理后的第二平均值，以及归一化处理后的第三平均值，确定目标对象的头部姿态的参数值。例如，目标对象的头部姿态的参数值包括：归一化处理后的第一平均值，归一化处理后的第二平均值，以及归一化处理后的第三平均值。或者，目标对象的头部姿态的参数值可以为归一化处理后的第一平均值，归一化处理后的第二平均值，以及归一化处理后的第三平均值的加权平均值。

其中，归一化处理后的第一平均值h1满足下述公式：

h1＝1-N/a 公式(1)

公式(1)中，N为第一平均值，a为头部绕第一轴线转动的最大转动角度值。且第一电子设备可以预先存储有a，例如，存储的a为80°(度)。

归一化处理后的第二平均值h2满足下述公式：

h2＝1-P/b 公式(2)

公式(2)中，P为第二平均值，b为头部绕第二轴线转动的最大转动角度值。且第一电子设备可以预先存储有b，例如，存储的b为70°。

归一化处理后的第三平均值h3满足：

h3＝1-Q/c 公式(3)

公式(3)中，Q为第三平均值，c为头部绕第三轴线转动的最大转动角度值。且第一电子设备可以预先存储有c，例如，存储的c为60°。

归一化处理后的第一平均值，归一化处理后的第二平均值，以及归一化处理后的第三平均值处于同一数量级。因此，第一电子设备采用基于归一化处理后的平均值(即前文所述的第一平均值至第三平均值)确定的头部姿态的参数值，确定目标对象的专注度，可以确保确定的该专注度的准确性。

示例的，假设a＝80°，b＝70°，c＝60°，第一电子设备确定的目标对象的第一平均值为0°，第二平均值为5°，第三平均值为10°，则归一化处理后的第一平均值h1＝1-0°/80°＝1，归一化处理后的第二平均值h2＝1-5°/70°＝13/14，归一化处理后的第三平均值h3＝1-10°/60°＝5/6。

假设头部姿态的参数值为归一化处理后的第一平均值至第三平均值的加权平均值，且第一平均角度的权重为89，第二平均角度的权重为92，第三平均角度的权重为95，则第一电子设备确定的头部姿态的参数值T＝AVG[89*1，92*(13/14)，95*(5/6)]＝84.5。其中，AVG为平均函数，89*1表示89乘以1。

步骤204、第一电子设备基于目标对象的多帧图像，确定目标对象的眼睛开合度的参数值。

在本申请实施例中，目标对象的眼睛开合度的参数值可以包括：眼睛子图像的长宽比的参数值，和/或，多眼睛子图像中瞳孔的面积占比的参数值。例如，眼睛开合度的参数值可以为眼睛子图像的长宽比的参数值，或者可以为眼睛子图像中瞳孔的面积占比的参数值，又或者眼睛开合度的参数值可以为包括：眼睛子图像的长宽比的参数值，以及眼睛子图像中瞳孔的面积占比的参数值。其中，该眼睛子图像的长宽比的参数值可以为多帧图像中眼睛子图像的长宽比的比值的平均值，或多帧图像中眼睛子图像的长宽比的比值中出现次数最多的比值。该眼睛子图像中瞳孔的面积占比的参数值可以为多帧图像中眼睛子图像中瞳孔的面积占比的比值的平均值，或多帧图像中眼睛子图像中瞳孔的面积占比的比值中出现次数最多的比值。

本申请实施例以眼睛开合度的参数值包括：眼睛子图像的长宽比的参数值，以及眼睛子图像中瞳孔的面积占比的参数值，且眼睛子图像的长宽比的参数值为多帧图像中眼睛子图像的长宽比的比值中出现次数最多的比值，眼睛子图像中瞳孔的面积占比的参数值为多帧图像中眼睛子图像中瞳孔的面积占比的比值中出现次数最多的比值为例，对基于多帧图像，获取目标对象的眼睛开合度的参数值进行示例性说明：

对于多帧图像中的每帧图像，第一电子设备可以先确定该图像中的眼部子图像，并将眼部子图像中包括的像素个数最多的像素行确定为目标像素行，将眼部子图像中包括的像素个数最多的像素列确定为目标像素列。然后，第一电子设备可以将目标像素行包括的第一像素总数，与目标像素列包括的第二像素总数的比值确定为该图像中的眼部子图像的长宽比的比值。

并且，第一电子设备还可以确定眼部子图像中瞳孔所在区域包括的第三像素总数。然后，第一电子设备可以将该第三像素总数与眼部子图像包括的所有像素的个数的比值，确定为眼部子图像中瞳孔的面积占比的比值。之后，第一电子设备可以从多帧图像中的眼部子图像的长宽比的比值中，统计得到出现次数最多的比值。并且，第一电子设备可以从多帧图像中的眼部子图像中瞳孔的面积占比的比值中，统计得到出现次数最多的比值。由此，即可得到眼睛开合度的参数值。

通常眼睛的瞳孔的颜色较眼白的颜色深。基于此，第一电子设备在得到眼部子图像后，可以从眼部子图像中筛选出像素值小于第一像素值阈值的像素(即瞳孔中的像素)，并统计该像素的个数，从而得到该第三像素总数。其中，该第一像素值可以第一电子设备中预先存储的。

可选的，在统计像素值小于像素值阈值的像素之前，第一电子设备可以对该眼部子图像进行二值化处理，得到二值化后的眼部子图像。之后，第一电子设备可以从二值化后的眼部子图像中筛选得到像素值小于第二像素值阈值的像素，并统计该像素的个数。其中，第二像素值阈值可以是第一电子设备中预先存储的。例如，该第二像素值阈值可以为1。

由于第一电子设备可以对眼部子图像进行二值化处理，因此可以降低第一电子设备的计算复杂度，从而提高从眼部子图像中筛选得到瞳孔包括的像素的个数的效率。

可选的，对于图像中包括两只眼睛的场景，该图像中的眼部子图像的长宽比的比值可以为左眼子图像的长宽比的比值，与右眼子图像的长宽比的比值的平均值。该图像中眼部子图像中瞳孔的面积占比的比值可以为左眼子图像中瞳孔的面积占比的比值，与右眼子图像中瞳孔的面积占比的比值的平均值。

在本申请实施例中，对于每帧图像，第一电子设备可以对该图像进行关键点识别，从而得到目标对象的脸部的多个关键点。该多个关键点包括：眼睛关键点，该眼睛关键点可以位于图像中眼睛的眼眶上。之后，第一电子设备可以将该眼睛关键点的连线所围成的区域中的图像确定为眼部子图像。

可选的，该多个关键点还包括：眉毛关键点，鼻梁关键点，嘴巴关键点，以及脸部轮廓关键点。该眉毛关键点可以位于图像中的眉毛上。鼻梁关键点可以位于图像中的鼻梁上。嘴巴关键点可以位于图像中的嘴巴上。

可选的，第一电子设备可以将每帧图像输入预先训练的人脸关键点检测模型中，从而得到目标对象的脸部的多个关键点。

示例的，假设第一电子设备对某一图像进行关键点识别后，得到图6所示的68个关键点。参见图6，图6中关键点37至关键点42即为目标对象的右眼的眼睛关键点。关键点43至关键点48可以为目标对象的左眼的眼睛关键点。相应的，第一电子设备可以将从关键点37开始，依次连接关键点38，关键点39，…，关键点42，直至再次连接关键点37的连接线所围成的区域中的图像，确定为该图像的右眼子图像。并且，第一电子设备可以将从关键点43开始，依次连接关键点44，关键点45，…，关键点48，直至再次连接关键点43的连接线所围成的区域中的图像，确定为该图像的左眼子图像。

并且，从图6还可以看出，多个关键点中的关键点18至关键点27为眉毛关键点，关键点28至关键点31为鼻梁关键点，关键点1至关键17为脸部轮廓关键点。关键点49中关键点68为嘴巴关键点。

步骤205、第一电子设备基于目标对象的多帧图像，确定目标对象的肢体姿态的参数值。

在一种可选的实现方式中，肢体姿态的参数值可以为向量。此时，参见图7，第一电子设备可以通过下述步骤，确定目标对象的肢体姿态的参数值：

步骤2051、将每帧图像输入肢体姿态识别模型，得到肢体姿态识别模型输出图像的识别结果。

第一电子设备可以将采集到的多帧图像中的每帧图像输入预先训练得到的肢体姿态识别模型，从而得到肢体姿态识别模型输出的该图像的识别结果。其中，每帧图像的识别结果可以用于指示目标对象在该图像中的肢体姿态的类型。肢体姿态的类型可以为下述类型中的一种：托腮、挠头、趴桌子、转笔、写字以及端坐。

该肢体姿态识别模型可以是第一电子设备基于多个肢体姿态样本数据确定的。每个肢体姿态样本数据可以包括：图像样本，以及该图像样本中的肢体姿态的类型。

步骤2052、将多帧图像的识别结果中出现次数最多的肢体姿态的类型，确定为目标类型。

第一电子设备在得到每帧图像的识别结果后，可以将多帧图像的识别结果中出现次数最多的肢体姿态的类型，确定为目标类型。

步骤2053、将肢体姿态的类型与特征向量的对应关系中，目标类型对应的特征向量确定为目标对象的肢体姿态的参数值。

其中，该肢体姿态的类型与特征向量的对应关系可以是第一电子设备预先存储的。

可选的，肢体姿态的多种类型对应的特征向量可以是对该多种类型进行独热(one-hot)编码后得到的。且独热编码后得到的特征向量的维数(即长度)，与肢体姿态的类型的总数相等。该特征向量由二进制数0和1组成，且仅包括一个1。例如，若肢体姿态的类型的总数为N，则对肢体姿态的类型进行独热编码后得到的特征向量的维数为N。N为大于等于2的整数。

可以理解的是，在对肢体姿态的多种类型进行独热编码前，第一电子设备可以设置该多种类型的排列顺序。之后，第一电子设备可以对排列顺序设置后的多种类型进行独热编码。需要说明的是，若肢体姿态的多种类型的排列顺序变化，则每个类型对应的特征向量也会随之发生变化。

例如，若多种类型依次为托腮、挠头、趴桌子、转笔、写字以及端坐，则对该多种类型进行独热编码后得到的每种类型对应的特征向量可以如表1所示。从表1中可以看出，若肢体姿态的类型为托腮，则对应的特征向量为[1,0,0,0,0,0]。若肢体姿态的类型为转笔，则对应的特征向量为[0,0,0,1,0,0]。若肢体姿态的类型为端坐，则对应的特征向量为[0,0,0,0,0,1]。

表1

肢体姿态的类型	特征向量
		托腮	[1,0,0,0,0,0]
挠头	[0,1,0,0,0,0]
		趴桌子	[0,0,1,0,0,0]
转笔	[0,0,0,1,0,0]
		写字	[0,0,0,0,1,0]
端坐	[0,0,0,0,0,1]

示例的，假设第一电子设备确定的肢体姿态的目标类型为端坐，肢体姿态的类型与特征向量的关系如表1所示，则第一电子设备可以确定目标对象的肢体姿态数据为[0,0,0,0,0,1]。

在另一种可选的实现方式，肢体姿态的参数值可以为目标数值，该目标数值可以基于前文所述的目标类型确定。例如，第一电子设备可以基于类型与数值的对应关系，将目标类型对应的数值确定为目标数值。

示例的，类型与数值的对应关系中记录的托腮对应的数值可以为100000，挠头对应的数值可以为10000，趴桌子对应的数值可以为1000，转笔对应的数值可以为100，写字对应的数值可以为10，端坐对应的数值可以为1。

步骤206、第一电子设备对多个专注度参数的参数值进行加权求和，得到目标对象的专注度。

作为一种可能的实现方式，第一电子设备可以获取每个专注度参数的权重。第一电子设备可以将每个专注度参数的参数值，与该专注度参数的权重相乘，以得到多个乘积。之后，第一电子设备可以将多个乘积之和确定为目标对象的专注度。

作为另一种可能的实现方式，每个专注度参数至少包括一个子参数。相应的，每个专注度参数的参数值可以包括至少一个子参数的参数值。第一电子设备可以将每个子参数的参数值与该子参数的权重相乘，得到一个乘积。之后，第一电子设备可以将多个乘积相加，从而得到目标对象的专注度。

作为又一种可能的实现方式，每个专注度参数至少包括一个子参数。相应的，每个专注度参数的参数值可以包括至少一个子参数的参数值。第一电子设备可以将每个子参数的参数值与对应的子参数的权重，以及该子参数所属的专注度参数的权重相乘，得到一个乘积。之后，第一电子设备可以将多个乘积之和，确定为目标对象的专注度。

由于第一电子设备在确定目标对象的专注度时，还可以考量各个专注度参数对专注度的影响，因此可以确保确定的专注度的准确性。

其中，每个专注度参数的权重，以及每个子参数的权重均可以是工作人员基于经验确定，并预先写入第一电子设备的。例如，每个专注度参数的权重可以是基于该专注度参数对专注度的影响程度确定的。或者，每个子参数的权重可以是第一电子设备基于该子参数对应的多个样本数据统计得到的。每个专注度参数的权重可以是第一电子设备采用层次分析法对该多个专注度参数进行处理得到的。

在本申请实施例中，每个子参数对应的多个样本数据中的每个样本数据可以包括：多个专注度参数的多个子参数的参数值以及对应的专注度。并且，每个子参数对应的多个样本数据中，该子参数的参数值互不相同，除该子参数外的每个其他子参数的参数值均相同。例如，假设专注度参数为不同类型的面部表情的出现次数，子参数为高兴类型，则该子参数对应的多个样本数据中，除高兴外的每个其他类型的面部表情的出现次数均相同，头部姿态的参数值均相同，眼睛开合度的参数值均相同，肢体姿态数据的参数值也均相同。

以目标专注度参数的目标子参数为例，对该目标子参数的权重的设置过程进行示例性说明：

对于目标子参数对应的多个样本数据，若任意两个样本数据中目标子参数的参数值的差值较小，而该两个样本数据中的专注度的差值较大，则可以将该目标子参数的权重设置的较大。若该目标子参数的参数值的差值较大，而专注度的差值较小，则可以将该目标子参数值的权重设置的较小。

在本申请实施例中，第一电子设备采用层次分析法对多个专注度参数进行处理，以确定每个专注度参数的权重的过程可以如下所述：

第一电子设备可以基于M个专注度参数中第i个专注度参数u_i相较于第j个专注度参数u_j对专注度的重要程度，生成判断矩阵H。i和j均为小于等于M的正整数，即判断矩阵H可以为M行M列的矩阵。判断矩阵H的第i行第j列的元素用于表征M个专注度参数中第i个专注度参数u_i相较于第j个专注度参数u_j对专注度的重要程度。

之后，第一电子设备能够计算判断矩阵H的每一行元素的乘积，分别对判断矩阵中每一行元素的乘积进行开方运算，并对开方运算后的每一行元素的乘积进行归一化处理，得到M个专注度参数中每个专注度参数的权重。其中，M个专注度参数中第i个专注度参数的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值。第一电子设备先对第i行元素的乘积进行开M次方运算。

在本申请实施例中，第一电子设备可以基于第i个专注度参数u_i和第j个专注度参数u_j所对应的多个样本数据，确定第i个专注度参数u_i相较于第j个专注度参数u_j对专注度的重要程度。第i个专注度参数u_i和第j个专注度参数u_j所对应的多个样本数据中，每个样本数据均可以包括：M个专注度参数的参数值以及对应的专注度。并且，任意两个样本数据中的第i个专注度参数u_i的参数值，和/或，第j个专注度参数的u_j参数值不同，M个专注度参数中除第i个专注度参数u_i和第j个专注度参数u_j之外的专注度参数的参数值相同。例如，头部姿态和眼睛开合度所对应的多个样本数据中，任意两个样本数据中头部姿态的参数值，和/或，眼睛开合度的参数值不同，不同类型的面部表情的出现次数的参数值均相同，且肢体姿态的参数值也均相同。

在本申请实施例中，第一电子设备在得到M个专注度参数中，每两个专注度参数中一个专注度参数相较于另一个专注度参数对于专注度的重要程度后，可以能够参考表2确定判断矩阵H。从表2可以看出，若对于专注度而言，专注度参数u_i比专注度参数u_j稍微重要，则判断矩阵中的第i行第j列的元素即为3，第j行第i列的元素为3的倒数，即1/3。若对于专注度而言，专注度参数u_i比专注度参数u_j极端重要，则判断矩阵中第i行第j列的元素即为9，第j行第i列的元素为9的倒数，即1/9。

表2

标度	含义
		1	表示第i个专注度参数u<sub>i</sub>与第j个专注度参数u<sub>j</sub>同等重要性
3	表示第i个专注度参数u<sub>i</sub>比第j个专注度参数u<sub>j</sub>稍微重要
		5	表示第i个专注度参数u<sub>i</sub>比第j个专注度参数u<sub>j</sub>明显重要
7	表示第i个专注度参数u<sub>i</sub>比第j个专注度参数u<sub>j</sub>强烈重要
		9	表示第i个专注度参数u<sub>i</sub>比第j个专注度参数u<sub>j</sub>极端重要
2，4，6，8	2，4，6，8分别表示相邻判断1-3、3-5、5-7、7-9的中值
		倒数	表示第i个专注度参数u<sub>i</sub>与第j个专注度参数u<sub>j</sub>比较得到的倒数

示例的，假设对于专注度而言，第一电子设备确定的不同类型的面部表情的出现次数、头部姿态、眼睛开合度和肢体姿态等四个专注度参数中，第i个专注度参数相较于第j个专注度参数的重要程度如表3所示。从表3可以看出，对于专注度而言，头部姿态比不同类型的面部表情的出现次数的重要程度位于同等重要与稍微重要之间。眼睛开合度比不同类型的面部表情的出现次数重要程度位于稍微重要和明显重要之间。肢体姿态比不同类型的面部表情的出现次数的重要程度位于同等重要与稍微重要之间。眼睛开合度比头部姿态的重要程度为稍微重要。肢体姿态与头部姿态同等重要。眼睛开合度比肢体姿态的重要程度为稍微重要。

表3

结合表1，即可得到判断矩阵

之后第一电子设备可以计算判断矩阵H中的每一行元素的乘积，并对每个乘积进行开四次方运算，之后对开方运算后的乘积进行归一化处理，从而得到特征向量：

W＝[W₁,W₂,W₃,W₃]^T＝[0.105115，0.189664，0.514959，0.189664]^T。

即，不同类型的面部表情的出现次数的权重为0.105115，头部姿态和肢体姿态对应的权重均为0.189664，眼睛开合度的权重为0.514959。

以每个专注度参数对应的权重是第一电子设备预先存储的为例，对第一电子设备确定目标对象的专注度的过程进行示例性说明：

参见表4，表4示出了一种第一电子设备存储的各个专注度参数的权重，以及每个专注度参数中的各个子参数的权重。从表4中可以看出，不同类型的面部表情的出现次数的权重w1为0.1，头部姿态的权重w2为0.2，眼睛开合度的权重w3为0.5，肢体姿态的权重w4为0.2。

类型为高兴的权重w11为3.16。类型为伤心的权重w17为1.12。第一平均角度的权重w21为89。第三平均角度的权重w23为95。眼部子图像的长宽比的权重w31为6.2。类型为托腮的权重w41为90。类型为端坐的权重w46为92。

表4

假设第一电子设备基于多帧图像，统计得到类型为高兴的面部表情的出现次数为20，类型为自然的面部表情的出现次数为10，第一平均值为0°，第二平均值为5°，第三平均值为10°，眼部子图像的目标长宽比的比值为1.8，眼部子图像中瞳孔的目标占比的比值为0.7，肢体姿态的目标类型为端坐，即肢体姿态的参数值为[0,0,0,0,0,1]。

假设头部姿态的参数值为归一化处理后的第一平均值至第三平均值的加权平均值，则第一电子设备可以确定目标对象的专注度Z即为：

Z＝(3.16*10+2.95*20)*0.1]+AVG[89*(1-0/80),92*(1-5/70),95*(1-10/60)]*0.2+(1.8*6.2+0.7*3.8)*0.5+(90*0+80*0+85*0+89*0+96*0+92*1)*0.2＝51.21。

步骤207、第一电子设备向第二电子设备发送目标对象的专注度。

第一电子设备在得到目标对象的专注度后，即可向第二电子设备发送该专注度。

可选的，第一电子设备可以直接向第二电子设备发送该专注度。或者，参见图8，专注度确定系统还可以包括：服务器130，该服务器130可以分别与第一电子设备110以及第二电子设备120连接。可选的，该管理服务器130可以是一台服务器，或者可以是由若干台服务器组成的服务器集群，又或者可以是一个云计算服务中心。从图8可以看出，第二电子设备120可以为手机。

这种场景下，第一电子设备可以通过该服务器向第二电子设备发送目标对象的专注度。也即是，第一电子设备可以将目标对象的专注度发送至服务器。服务器接收到该专注度后，可以将该专注度转发至第二电子设备。

可选的，第一电子设备在得到目标对象的专注度后，也可以在其显示屏中显示该专注度，以对第一电子设备的用户起到监督作用。

步骤208、第二电子设备若确定目标对象的专注度小于专注度阈值，则发出提醒消息。

可选的，该提醒消息可以包括：文本消息和/或声音消息。例如，该提醒消息可以包括：文本消息和声音消息。相应的，第二电子设备发出提醒消息的过程可以包括：第二电子设备可以控制其显示屏显示该文本消息，并控制其扬声器播放该声音消息。

在本申请实施例中，专注度阈值可以是第二电子设备预先存储的。或者，专注度阈值可以是第一电子设备发送至第二电子设备的。又或者，专注度阈值可以是服务器发送至第二电子设备的。例如，该专注度阈值可以为60。

可选的，第二电子设备接收到目标对象的专注度后，还可以在其显示屏中显示该目标对象的专注度。

学生在采用平板电脑在线做作业、做试卷或听课的过程中，或者，学生线下做纸质作业的过程中，平板电脑可以实时采集学生的图像。之后，平板电脑可以基于采集到的多帧图像，确定学生的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，得到学生的专注度。之后，平板电脑可以将该专注度发送至服务器，服务器继而可以将该专注度以及专注度阈值发送至家长的移动终端。该移动终端若确定学生的专注度低于该专注度阈值，则可以发出提醒消息，以提示家长，以便家长及时准确地获知学生的学习状态，并进行学习监督。

需要说明的是，上述实施例是以第一电子设备单次确定目标对象的专注度为例进行的示例性说明。可以理解的是，第一电子设备可以以目标时长为周期，对每个周期内采集到的图像进行分析处理，以得到该周期内目标对象的专注度，即第一电子设备可以循环执行上述步骤202至步骤207。例如，第一电子设备在启动摄像头后，即可通过该摄像头持续采集目标对象的图像。之后，第一电子设备即可重复执行下述流程，直至图像采集结束：开始计时，并对最近采集到图像进行处理，得到该第一帧图像的处理结果，该处理结果包括：图像中的面部表情的类型、目标对象的头部的第一转动角度的角度值至第三转动角度的角度值、眼部子图像的长宽比的比值、眼部子图像中瞳孔的面积占比的比值以及肢体姿态的类型。若计时时长未达到目标时长，则继续对最新采集到的图像处理，得到该图像的处理结果，直至计时时长达到目标时长。然后，基于在目标时长内得到的多帧图像的处理结果，得到目标对象的专注度，并发送至第二电子设备，将计时时长清零。其中，目标时长可以为3S。

还需要说明的是，本申请实施例提供的专注度确定方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

综上所述，本申请实施例提供了一种专注度确定方法，第一电子设备可以基于采集到的目标对象的多帧图像，确定目标对象的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，从而得到目标对象的专注度。由于可以通过多个专注度参数的参数值来确定目标对象的专注度，而无需人工确定，因此可以提高目标对象的专注度的确定准确性，以及确定效率。

并且，多个专注度参数包括不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。由此可见，本申请实施例提供的方法在确定目标对象的专注度时，采用的数据较为全面，因此进一步提高了目标对象的专注度的确定准确性。

图9是本申请实施例提供的一种电子设备的结构示意图，该电子设备可以用于执行上述方法实施例提供的应用于第一电子设备的专注度确定方法。如图9所示，该电子设备110包括：处理器1101。该处理器1101用于：

采集目标对象的多帧图像；

基于多帧图像，确定目标对象的多个专注度参数的参数值，多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态；

对多个专注度参数的参数值进行加权求和，得到目标对象的专注度；

向第二电子设备发送专注度，专注度用于供第二电子设备若确定专注度小于专注度阈值，则发出提醒消息。

可选的，该处理器1101可以用于：

将每帧图像输入表情识别模型，得到表情识别模型输出的图像中的面部表情的类型；

统计多帧图像中，不同类型的面部表情的出现次数的参数值。

可选的，该处理器1101可以用于：

确定多帧图像中目标对象的头部绕第一轴线的转动角度值的第一平均值，目标对象的头部绕第二轴线的转动角度值的第二平均值，以及目标对象的头部绕第三轴线的转动角度值的第三平均值，第一轴线、第二轴线和第三轴线两两垂直；

基于第一平均值、第二平均值和第三平均值，确定目标对象的头部姿态的参数值。

可选的，头部姿态的参数值包括第一平均值、第二平均值和第三平均值；

或者，头部姿态的参数值为第一平均值、第二平均值和第三平均值的加权平均值。

可选的，该处理器1101可以用于：

对第一平均值，第二平均值以及第三平均值分别进行归一化处理；

基于归一化处理后的第一平均值、归一化处理后的第二平均值和归一化处理后的第三平均值，确定目标对象的头部姿态的参数值；

其中，归一化处理后的第一平均值h1满足：h1＝1-N/a；

归一化处理后的第二平均值h2满足：h2＝1-P/b；

归一化处理后的第三平均值h3满足：h3＝1-Q/c；

其中，N为第一平均值，P为第二平均值，Q为第三平均值，a为头部绕第一轴线转动的最大转动角度值，b为头部绕第二轴线转动的最大转动角度值，c为头部绕第三轴线转动的最大转动角度值。

可选的，眼睛开合度的参数值包括：眼部子图像的长宽比的参数值，以及眼部子图像中瞳孔的面积占比的参数值；

其中，眼部子图像的长宽比的参数值为多帧图像中的眼部子图像的长宽比的比值中，出现次数最多的比值；

眼部子图像中瞳孔的面积占比的参数值为多帧图像中的眼部子图像中瞳孔的面积占比的比值中，出现次数最多的比值。

可选的，该处理器1101可以用于：

将每帧图像输入肢体姿态识别模型，得到肢体姿态识别模型输出的图像的识别结果，识别结果用于指示目标对象在图像中的肢体姿态的类型；

将多帧图像的识别结果中出现次数最多的肢体姿态的类型，确定为目标类型；

将肢体姿态的类型与特征向量的对应关系中，目标类型对应的特征向量确定为目标对象的肢体姿态的参数值。

可选的，该处理器1101可以用于：

基于M个专注度参数中第i个专注度参数相较于第j个专注度参数对专注度的重要程度，生成判断矩阵，其中，i和j均为小于等于M的正整数，判断矩阵的第i行第j列的元素用于表征M个专注度参数中，第i个专注度参数相较于第j个专注度参数对专注度的重要程度，判断矩阵为M行M列的矩阵；

分别对判断矩阵中每一行元素的乘积进行开方运算；

对开方运算后的每一行元素的乘积进行归一化处理，得到M个专注度参数中每个专注度参数的权重；

其中，M个专注度参数中第i个专注度参数的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值。

综上所述，本申请实施例提供了一种电子设备，该电子设备可以基于采集到的目标对象的多帧图像，确定目标对象的多个专注度参数的参数值，并对该多个专注度参数的参数值进行加权处理，从而得到目标对象的专注度。由于可以通过多个专注度参数的参数值来确定目标对象的专注度，而无需人工确定，因此可以提高目标对象的专注度的确定准确性，以及确定效率。

并且，多个专注度参数包括不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态。由此可见，该电子设备在确定目标对象的专注度时，采用的数据较为全面，因此进一步提高了目标对象的专注度的确定准确性。

如图9所示，本申请实施例提供的电子设备110还可以包括：显示单元130、射频(radio frequency，RF)电路150、音频电路160、无线保真(wireless fidelity，Wi-Fi)模块170、蓝牙模块180、电源190和摄像头121等部件。

其中，摄像头121可用于捕获静态图片或视频。物体通过镜头生成光学图片投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1101转换成数字图片信号。

处理器1101是电子设备110的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器140内的软件程序，以及调用存储在存储器140内的数据，执行电子设备110的各种功能和处理数据。在一些实施例中，处理器1101可包括一个或多个处理单元；处理器1101还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1101中。本申请中处理器1101可以运行操作系统和应用程序，可以控制用户界面显示，并可以实现本申请实施例提供的专注度确定方法。另外，处理器1101与输入单元和显示单元130耦接。

显示单元130可用于接收输入的数字或字符信息，产生与电子设备110的用户设置以及功能控制有关的信号输入，可选的，显示单元130还可以用于显示由用户输入的信息或提供给用户的信息以及电子设备110的各种菜单的图形用户界面(graphical userinterface，GUI)。显示单元130可以包括设置在电子设备110正面的显示屏131。其中，显示屏131可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。

显示单元130包括：显示屏131和设置在电子设备110正面的触摸屏132。该显示屏131可以用于显示预览图片。触摸屏132可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。其中，触摸屏132可以覆盖在显示屏131之上，也可以将触摸屏132与显示屏131集成而实现电子设备110的输入和输出功能，集成后可以简称触摸显示屏。

存储器140可用于存储软件程序及数据。处理器1101通过运行存储在存储器140的软件程序或数据，从而执行电子设备110的各种功能以及数据处理。存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得电子设备110能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序，还可以存储执行本申请实施例提供的专注度确定方法的代码。

RF电路150可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器1101处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

音频电路160、扬声器161、麦克风162可提供用户与电子设备110之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。电子设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路150以发送给比如另一终端，或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，电子设备110可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

蓝牙模块180，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，电子设备110可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

电子设备110还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。电子设备110还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

电子设备110可以包括至少一种传感器1110，比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。电子设备110还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和各器件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图10是本申请实施例提供的电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行环境(android runtime，ART)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图10所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图10所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图片，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备110的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。

android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：openGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图片文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图片渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以上述实施例提供的专注度确定方法，例如图2或图3所示的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的专注度确定方法，例如图2或图3所示的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应当理解的是，在本文中提及的“和/或”，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。并且，本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。例如，在不脱离各种所述示例的范围的情况下，第一电子设备可以被称为第二电子设备，并且类似地，第二电子设备可以被称为第一电子设备。

可以理解的是，本申请实施例提供的第一电子设备获取的目标对象的图像，是在经过目标对象授权后获取到的。且本申请实施例提供的第一电子设备在采集，使用，以及处理该目标对象的图像的过程中，严格遵守相关法律法规。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种专注度确定方法，其特征在于，应用于第一电子设备；所述方法包括：

采集目标对象的多帧图像；

基于所述多帧图像，确定所述目标对象的多个专注度参数的参数值，所述多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态；

对所述多个专注度参数的参数值进行加权求和，得到所述目标对象的专注度；

向第二电子设备发送所述专注度，所述专注度用于供所述第二电子设备若确定所述专注度小于专注度阈值，则发出提醒消息。

2.根据权利要求1所述的方法，其特征在于，基于所述多帧图像，确定所述目标对象的不同类型的面部表情的出现次数的参数值，包括：

将每帧所述图像输入表情识别模型，得到所述表情识别模型输出的所述图像中的面部表情的类型；

统计所述多帧图像中，不同类型的面部表情的出现次数的参数值。

3.根据权利要求1所述的方法，其特征在于，基于所述多帧图像，确定所述目标对象的头部姿态的参数值，包括：

确定所述多帧图像中所述目标对象的头部绕第一轴线的转动角度值的第一平均值，所述目标对象的头部绕第二轴线的转动角度值的第二平均值，以及所述目标对象的头部绕第三轴线的转动角度值的第三平均值，所述第一轴线、所述第二轴线和所述第三轴线两两垂直；

基于所述第一平均值、所述第二平均值和所述第三平均值，确定所述目标对象的头部姿态的参数值。

4.根据权利要求3所述的方法，其特征在于，所述头部姿态的参数值包括所述第一平均值、所述第二平均值和所述第三平均值；

或者，所述头部姿态的参数值为所述第一平均值、所述第二平均值和所述第三平均值的加权平均值。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一平均值、所述第二平均值和所述第三平均值，确定所述目标对象的头部姿态的参数值，包括：

对所述第一平均值，所述第二平均值以及所述第三平均值分别进行归一化处理；

基于归一化处理后的所述第一平均值、归一化处理后的所述第二平均值和归一化处理后的所述第三平均值，确定所述目标对象的头部姿态的参数值；

其中，归一化处理后的所述第一平均值h1满足：h1＝1-N/a；

归一化处理后的所述第二平均值h2满足：h2＝1-P/b；

归一化处理后的所述第三平均值h3满足：h3＝1-Q/c；

其中，N为所述第一平均值，P为所述第二平均值，Q为所述第三平均值，a为头部绕所述第一轴线转动的最大转动角度值，b为头部绕所述第二轴线转动的最大转动角度值，c为头部绕所述第三轴线转动的最大转动角度值。

6.根据权利要求1至5任一所述的方法，其特征在于，所述眼睛开合度的参数值包括：眼部子图像的长宽比的参数值，以及眼部子图像中瞳孔的面积占比的参数值；

其中，所述眼部子图像的长宽比的参数值为所述多帧图像中的眼部子图像的长宽比的比值中，出现次数最多的比值；

所述眼部子图像中瞳孔的面积占比的参数值为所述多帧图像中的眼部子图像中瞳孔的面积占比的比值中，出现次数最多的比值。

7.根据权利要求1至5任一所述的方法，其特征在于，基于所述多帧图像，确定所述目标对象的肢体姿态的参数值，包括：

将每帧所述图像输入肢体姿态识别模型，得到所述肢体姿态识别模型输出的所述图像的识别结果，所述识别结果用于指示所述目标对象在所述图像中的肢体姿态的类型；

将所述多帧图像的识别结果中出现次数最多的肢体姿态的类型，确定为目标类型；

将肢体姿态的类型与特征向量的对应关系中，所述目标类型对应的特征向量确定为所述目标对象的肢体姿态的参数值。

8.根据权利要求1至5任一所述的方法，其特征在于，在所述对所述多个专注度参数的参数值进行加权求和，得到所述目标对象的专注度之前，所述方法还包括：

基于M个专注度参数中第i个专注度参数相较于第j个专注度参数对专注度的重要程度，生成判断矩阵，其中，i和j均为小于等于M的正整数，所述判断矩阵的第i行第j列的元素用于表征所述M个专注度参数中，所述第i个专注度参数相较于所述第j个专注度参数对专注度的重要程度，所述判断矩阵为M行M列的矩阵；

分别对所述判断矩阵中每一行元素的乘积进行开方运算；

对开方运算后的每一行元素的乘积进行归一化处理，得到所述M个专注度参数中每个专注度参数的权重；

其中，所述M个专注度参数中第i个专注度参数的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值。

9.一种电子设备，其特征在于，所述电子设备包括：处理器；所述处理器用于：

采集目标对象的多帧图像；

基于所述多帧图像，确定所述目标对象的多个专注度参数的参数值，所述多个专注度参数包括：不同类型的面部表情的出现次数，头部姿态，眼睛开合度以及肢体姿态；

对所述多个专注度参数的参数值进行加权求和，得到所述目标对象的专注度；

向第二电子设备发送所述专注度，所述专注度用于供所述第二电子设备若确定所述专注度小于专注度阈值，则发出提醒消息。

10.根据权利要求9所述的电子设备，其特征在于，所述处理器用于：

将每帧所述图像输入表情识别模型，得到所述表情识别模型输出的所述图像中的面部表情的类型；

统计所述多帧图像中，不同类型的面部表情的出现次数的参数值。

Images