CN111339801B - 一种人员注意力检测方法、装置、设备及系统 - Google Patents

一种人员注意力检测方法、装置、设备及系统 Download PDF

Info

Publication number
CN111339801B
CN111339801B CN201811553683.8A CN201811553683A CN111339801B CN 111339801 B CN111339801 B CN 111339801B CN 201811553683 A CN201811553683 A CN 201811553683A CN 111339801 B CN111339801 B CN 111339801B
Authority
CN
China
Prior art keywords
person
analysis data
detected
face
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811553683.8A
Other languages
English (en)
Other versions
CN111339801A (zh
Inventor
王安曼
裘沙怡
徐伟栋
王莹
李浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201811553683.8A priority Critical patent/CN111339801B/zh
Publication of CN111339801A publication Critical patent/CN111339801A/zh
Application granted granted Critical
Publication of CN111339801B publication Critical patent/CN111339801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种人员注意力检测方法、装置、设备及系统，方法包括：基于人脸分析数据，确定人员的第一注意力得分；基于行为分析数据，确定人员的第二注意力得分；根据第一注意力得分和第二注意力得分，得到待检测人员的注意力检测结果；可见，本方案中，一方面，实现了不依赖人工、自动检测人员注意力，另一方面，从人脸和人体行为两方面分析人员注意力，提高了检测结果的准确性。

Description

一种人员注意力检测方法、装置、设备及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人员注意力检测方法、装置、设备及系统。
背景技术
在一些场景中，通常需要判断人员的注意力是否集中。比如，在课堂上，通常需要判断学生的注意力是否集中；在公司会议中，通常需要判断员工的注意力是否集中，等等。
现有方案中，大多采用人为判断的方式，比如，讲课老师或者巡逻老师判断学生注意力是否集中，会议发言人或者会议记录员判断员工注意力是否集中。可见，目前急需一种不依赖人工的、自动检测人员注意力的方案。
发明内容
本发明实施例的目的在于提供一种人员注意力检测方法、装置、设备及系统，以实现不依赖人工、自动检测人员注意力。
为达到上述目的，本发明实施例提供了一种人员注意力检测方法，包括：
获取待检测人员的人脸分析数据和行为分析数据；
基于所述人脸分析数据，确定所述待检测人员的第一注意力得分；
基于所述行为分析数据，确定所述待检测人员的第二注意力得分；
根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果。
可选的，所述获取待检测人员的人脸分析数据和行为分析数据，包括：
接收人脸分析服务器发送的人脸分析数据；
接收行为分析服务器发送的行为分析数据。
可选的，所述获取待检测人员的人脸分析数据和行为分析数据，包括：
对待检测人员的人脸图像进行分析，得到所述待检测人员的人脸分析数据；
在所述待检测人员的人体图像中，识别所述待检测人员的人体行为，得到行为分析数据。
可选的，在所述对待检测人员的人脸图像进行分析之前，还包括：
获取待检测人员的人体图像；
识别所述人体图像中的人脸区域，对识别到的人脸区域进行截取，得到待检测人员的人脸图像。
可选的，若所述待检测人员的数量大于一，在所述获取待检测人员的人脸分析数据和行为分析数据之后，还包括：
识别属于同一待检测人员的人脸分析数据和行为分析数据。
可选的，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；
所述识别属于同一待检测人员的人脸分析数据和行为分析数据，包括：
根据所述人脸坐标与所述人体坐标之间的距离，确定属于同一待检测人员的人脸分析数据和行为分析数据。
可选的，所述人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；所述行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；
在所述获取待检测人员的人脸分析数据和行为分析数据之后，还包括：
判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；
如果大于，执行所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分的步骤；
判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；
如果大于，执行所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分的步骤。
可选的，所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分。
可选的，所述根据判断结果，确定所述待检测人员的第一注意力得分，包括：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
可选的，所述人脸分析数据中包括待检测人员的表情信息；所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；
根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
可选的，所述行为分析数据中包括待检测人员的人体朝向信息；所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；
根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
可选的，所述根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值，包括：
若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；
若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；
若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
可选的，所述行为分析数据中包括待检测人员的人体行为信息；所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；
根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
可选的，所述根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值，包括：
若所述待检测人员的行为信息为站立，则根据所述待检测人员的人脸分析数据中的表情信息、以及预先设定的站立时的表情与行为分值的对应关系，确定所述待检测人员的行为分值。
可选的，所述获取待检测人员的人脸分析数据和行为分析数据，包括：
获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据；
所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算所述多项第一注意力得分的平均值，作为人脸平均得分；
所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算所述多项第二注意力得分的平均值，作为人体平均得分；
所述根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果，包括：
识别属于同一待检测人员的人脸分析数据和行为分析数据；
针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
可选的，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；所述识别属于同一待检测人员的人脸分析数据和行为分析数据，包括：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
为达到上述目的，本发明实施例还提供了一种人员注意力检测装置，包括：
第一获取模块，用于获取待检测人员的人脸分析数据和行为分析数据；
第一确定模块，用于基于所述人脸分析数据，确定所述待检测人员的第一注意力得分；
第二确定模块，用于基于所述行为分析数据，确定所述待检测人员的第二注意力得分；
检测模块，用于根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果。
可选的，所述第一获取模块，具体用于：
接收人脸分析服务器发送的人脸分析数据；接收行为分析服务器发送的行为分析数据。
可选的，所述第一获取模块，具体用于：
对待检测人员的人脸图像进行分析，得到所述待检测人员的人脸分析数据；
在所述待检测人员的人体图像中，识别所述待检测人员的人体行为，得到行为分析数据。
可选的，所述装置还包括：
第二获取模块，用于获取待检测人员的人体图像；
截取模块，用于识别所述人体图像中的人脸区域，对识别到的人脸区域进行截取，得到待检测人员的人脸图像。
可选的，所述装置还包括：
识别模块，用于在所述待检测人员的数量大于一的情况下，在所述获取待检测人员的人脸分析数据和行为分析数据之后，识别属于同一待检测人员的人脸分析数据和行为分析数据。
可选的，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；
所述识别模块，具体用于：根据所述人脸坐标与所述人体坐标之间的距离，确定属于同一待检测人员的人脸分析数据和行为分析数据。
可选的，所述人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；所述行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；所述装置还包括：
第一判断模块，用于在获取待检测人员的人脸分析数据之后，判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；如果大于，触发所述第一确定模块；
第二判断模块，用于在获取待检测人员的行为分析数据之后，判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；如果大于，触发所述第二确定模块。
可选的，所述第一确定模块，具体用于：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分。
可选的，所述第一确定模块还用于：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
可选的，所述人脸分析数据中包括待检测人员的表情信息；所述第一确定模块，具体用于：
根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；
根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
可选的，所述行为分析数据中包括待检测人员的人体朝向信息；所述第二确定模块，包括：
第一确定子模块，用于根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；
第二确定子模块，用于根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
可选的，所述第一确定子模块，具体用于：
若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；
若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；
若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
可选的，所述行为分析数据中包括待检测人员的人体行为信息；所述第二确定模块，包括：
第三确定子模块，用于根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；
第四确定模块，用于根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
可选的，所述第三确定子模块，具体用于：
若所述待检测人员的行为信息为站立，则根据所述待检测人员的人脸分析数据中的表情信息、以及预先设定的站立时的表情与行为分值的对应关系，确定所述待检测人员的行为分值。
可选的，所述第一获取模块，具体用于：获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据；
所述第一确定模块，具体用于：针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算所述多项第一注意力得分的平均值，作为人脸平均得分；
所述第二确定模块，具体用于：针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算所述多项第二注意力得分的平均值，作为人体平均得分；
所述检测模块，具体用于：识别属于同一待检测人员的人脸分析数据和行为分析数据；针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
可选的，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；所述检测模块，还用于：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
为达到上述目的，本发明实施例还提供了一种人员注意力检测系统，包括：人脸分析服务器、行为分析服务器和融合分析服务器；其中，
所述人脸分析服务器，用于对人脸图像进行分析，得到人脸分析数据；将所述人脸分析数据发送至所述融合分析服务器；
所述行为分析服务器，用于在人体图像中识别待检测人员的人体行为，得到行为分析数据；将所述行为分析数据发送至所述行为分析服务器；
所述融合分析服务器，用于基于所述人脸分析数据，确定待检测人员的第一注意力得分；基于所述行为分析数据，确定待检测人员的第二注意力得分；根据所述第一注意力得分和所述第二注意力得分，得到待检测人员的注意力检测结果。
可选的，所述系统还包括：
采集设备，用于采集待检测人员的人脸图像和人体图像，将所述人脸图像发送至所述人脸分析服务器，将所述人体图像发送至所述行为分析服务器。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种人员注意力检测方法。
为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种人员注意力检测方法。
应用本发明实施例，基于人脸分析数据，确定人员的第一注意力得分；基于行为分析数据，确定人员的第二注意力得分；根据第一注意力得分和第二注意力得分，得到待检测人员的注意力检测结果；可见，本方案中，一方面，实现了不依赖人工、自动检测人员注意力，另一方面，从人脸和人体行为两方面分析人员注意力，提高了检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人员注意力检测方法的第一种流程示意图；
图2为本发明实施例提供的一种源图像示意图；
图3为本发明实施例提供的一种应用场景示意图；
图4为本发明实施例提供的人员注意力检测方法的第二种流程示意图；
图5为本发明实施例提供的一种人员注意力检测系统的结构示意图；
图6为本发明实施例提供的一种人员注意力检测装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种人员注意力检测方法、装置、设备及系统。该方法及装置可以应用于各种电子设备，比如手机、电脑等等，具体不做限定。
下面首先对本发明实施例提供的一种人员注意力检测方法进行详细说明。
图1为本发明实施例提供的人员注意力检测方法的第一种流程示意图，包括：
S101：获取待检测人员的人脸分析数据和行为分析数据。
举例来说，可以应用本实施例检测课堂上的学生注意力是否集中，这样，待检测人员即为学生。或者，可以应用本实施例检测会议中的员工注意力是否集中，这样，待检测人员即为员工，等等，具体应用场景不做限定。
作为一种实施方式，本电子设备(执行主体)可以从其他设备中获取人脸分析数据和行为分析数据。比如，本电子设备可以接收人脸分析服务器发送的人脸分析数据；接收行为分析服务器发送的行为分析数据。
人脸分析服务器与行为分析服务器可以为同一台设备，或者也可以为不同的设备，具体不做限定。
作为另一种实施方式，本电子设备可以自身分析得到人脸分析数据和行为分析数据。比如，本电子设备可以对待检测人员的人脸图像进行分析，得到所述待检测人员的人脸分析数据；在所述待检测人员的人体图像中，识别所述待检测人员的人体行为，得到行为分析数据。
本实施方式中，本电子设备可以从采集设备中获取待检测人员的人脸图像和人体图像，或者，本电子设备自身也可以具备采集功能，采集待检测人员的人脸图像和人体图像。
举例来说，人脸图像和人体图像可以为同一张图像，该图像中既包括待检测人员的人体，也包括待检测人员的人脸。或者，人脸图像和人体图像也可以来源于同一张图像，比如，获取待检测人员的人体图像；识别所述人体图像中的人脸区域，对识别到的人脸区域进行截取，得到待检测人员的人脸图像。或者，也可以分别获取待检测人员的人体图像和人脸图像，比如，在场景中设置两类采集设备，人脸相机和人体相机，人脸相机采集人员的人脸图像，人体相机采集人员的人体图像。人脸相机与人体相机可以在同一时刻，分别采集得到同一个人员或者同一组人员的人脸图像和人体图像。
如果S101中获取的人脸分析数据和行为分析数据为多个待检测人员的分析数据，则需要识别属于同一待检测人员的人脸分析数据和行为分析数据，然后再针对每个待检测人员，基于该人员的人脸分析数据和行为分析数据，得到该人员的注意力检测结果。
一种情况下，所获取的人脸分析数据和行为分析数据中均可以携带人员身份信息，比如学生学号、员工ID等。这种情况下，可以根据该人员身份信息，识别出属于同一待检测人员的人脸分析数据和行为分析数据。而且，在得到注意力检测结果后，可以确定人员的身份信息与注意力检测结果的对应关系。
另一种情况下，仅人脸分析数据中携带人员身份信息，这样，可以利用下述实施方式，识别属于同一待检测人员的人脸分析数据和行为分析数据。而且，在得到注意力检测结果后，可以确定人员的身份信息与注意力检测结果的对应关系。
一种实施方式中，人脸分析数据中可以包括人脸坐标，人脸坐标为人脸分析数据对应的人脸区域在源图像中的坐标。可以理解，对图像中的人脸区域进行分析，得到人脸分析数据，该图像为人脸分析数据的来源，因此将该图像称为源图像，将该人脸区域在源图像中的坐标称为人脸坐标。
本实施方式中，行为分析数据中可以包括人体坐标，人体坐标为行为分析数据对应的人体区域在源图像中的坐标。可以理解，对图像中的人体区域进行行为识别，得到行为分析数据，该图像为行为分析数据的来源，因此将该图像称为源图像，将该人体区域在源图像中的坐标称为人体坐标。
举例来说，如图2所示，假设获取到一张源图像，该源图像中包含三个待检测人员：人员甲、人员乙和人员丙，人员甲在该源图像中的人脸区域为F1、人体区域为B1，人员乙在该源图像中的人脸区域为F2、人体区域为B2，人员丙在该源图像中的人脸区域为F3、人体区域为B3。
对人脸区域F1进行分析得到人脸分析数据D1，对人脸区域F2进行分析得到人脸分析数据D2，对人脸区域F3进行分析得到人脸分析数据D3；人脸分析数据D1中包括人脸坐标X1，X1为人脸区域F1在该源图像中的坐标；人脸分析数据D2中包括人脸坐标X2，X2为人脸区域F2在该源图像中的坐标；人脸分析数据D3中包括人脸坐标X3，X3为人脸区域F3在该源图像中的坐标。
对人体区域B1进行分析得到行为分析数据A1，对人体区域B2进行分析得到行为分析数据A2，对人体区域B3进行分析得到行为分析数据A3；行为分析数据A1中包括人体坐标Y1，Y1为人体区域B1在该源图像中的坐标；行为分析数据A2中包括人体坐标Y2，Y2为人体区域B2在该源图像中的坐标；行为分析数据A3中包括人体坐标Y3，Y3为人体区域B3在该源图像中的坐标。
计算人脸坐标与人体坐标之间的距离：X1与Y1之间距离最小，因此，X1对应的人脸分析数据D1与Y1对应的行为分析数据A1属于同一待检测人员；同理，X2与Y2之间距离最小，因此，人脸分析数据D2与行为分析数据A2属于同一待检测人员；X3与Y3之间距离最小，因此，人脸分析数据D3与行为分析数据A3属于同一待检测人员。
作为一种实施方式，人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；在S101之后，可以先判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；如果大于，执行S102。
可以理解，假设A时刻采集到一张图像，对该图像中的人脸区域进行分析，得到一份人脸分析数据，则该份人脸分析数据中包括的图像采集时刻即为A时刻。
举例来说，假设第一份人脸分析数据中包括的图像采集时刻为9点5分3秒，本电子设备对该第一份人脸分析数据进行处理，也就是基于该第一份人脸分析数据，得到第一注意力得分；假设第二份人脸分析数据中包括的图像采集时刻为9点5分5秒，假设第一预设阈值为3秒，则这两份人脸分析数据中包括的图像采集时刻的间隔小于第一预设阈值，这种情况下，不对该第二份人脸分析数据进行处理；假设第三份人脸分析数据中包括的图像采集时刻为9点5分7秒，则该第三份人脸分析数据中包括的图像采集时刻(9点5分7秒)与上一次处理的人脸分析数据中包括的图像采集时刻(9点5分3秒)的间隔大于第一预设阈值，这种情况下，对该第三份人脸分析数据进行处理，也就是基于该第三份人脸分析数据，得到第一注意力得分。
时间间隔较小的两份人脸分析数据大多较相似，不需要对其重复处理，本实施方式中，减少了这种重复处理的情况，方案更合理。
类似的，行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；在S101之后，可以先判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；如果大于，执行S103。
可以理解，假设A时刻采集到一张图像，对该图像中的人体区域进行分析，得到一份行为分析数据，则该份行为分析数据中包括的图像采集时刻即为A时刻。
举例来说，假设第一份行为分析数据中包括的图像采集时刻为9点5分3秒，本电子设备对该第一份行为分析数据进行处理，也就是基于该第一份行为分析数据，得到第二注意力得分；假设第二份行为分析数据中包括的图像采集时刻为9点5分5秒，假设第一预设阈值为3秒，则这两份行为分析数据中包括的图像采集时刻的间隔小于第一预设阈值，这种情况下，不对该第二份行为分析数据进行处理；假设第三份行为分析数据中包括的图像采集时刻为9点5分7秒，则该第三份行为分析数据中包括的图像采集时刻(9点5分7秒)与上一次处理的行为分析数据中包括的图像采集时刻(9点5分3秒)的间隔大于第一预设阈值，这种情况下，对该第三份行为分析数据进行处理，也就是基于该第三份行为分析数据，得到第二注意力得分。
时间间隔较小的两份行为分析数据大多较相似，不需要对其重复处理，本实施方式中，减少了这种重复处理的情况，方案更合理。
S102：基于人脸分析数据，确定检测人员的第一注意力得分。
作为一种实施方式，S102可以包括：基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；根据判断结果，确定所述待检测人员的第一注意力得分。
一种情况下，可以预先设定抬头状态对应的得分以及未抬头状态对应的得分。比如，在教师授课的场景中，可以认为处于抬头状态的学生注意力较集中，这样，抬头状态对应的得分可以高于未抬头状态对应的得分。假设抬头状态对应的得分为90，未抬头状态对应的得分为30；如果判断待检测人员处于抬头状态，则该待检测人员的第一注意力得分为90，如果判断待检测人员处于未抬头状态，则该待检测人员的第一注意力得分为30。
再比如，在学生自习课场景中，可以认为处于未抬头状态的学生注意力较集中，这样，未抬头状态对应的得分可以高于抬头状态对应的得分。假设抬头状态对应的得分为30，未抬头状态对应的得分为90；如果判断待检测人员处于抬头状态，则该待检测人员的第一注意力得分为30，如果判断待检测人员处于未抬头状态，则该待检测人员的第一注意力得分为90。
另一种情况下，可以根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
以课堂场景为例来说，假设课堂中有32个学生，图像采集设备采集到一张全景图像，该全景图像中包括这32个学生，对该全景图像中的人脸区域进行分析，得到32份人脸分析数据，一份人脸分析数据中包括一个学生是否处于抬头状态的信息。本电子设备接收到这32份人脸分析数据，根据这32份人脸分析数据，统计同一时刻下，也就是采集该全景图像的时刻下，处于抬头状态的人员数量。假设统计得到的数量为20。
假设预先设定的抬头数量与抬头分值的对应关系包括：抬头数量[1，8]-抬头分值0.25；抬头数量[9，16]-抬头分值0.5；抬头数量[17，24]-抬头分值0.75；抬头数量[25，32]-抬头分值1；数量20对应的抬头分值为0.75，这32个学生中处于抬头状态的学生对应的抬头分值都为0.75。
再举一例，如图3所示，假设课堂中有32个学生，图像采集设备每次针对4个学生进行图像采集。假设图像采集设备采集到一张图像，图像中包括4个学生：学生A、学生B、学生C和学生D，对该图像进行人脸分析，得到四份人脸分析数据，一份人脸分析数据中包括一个学生是否处于抬头状态的信息。
本电子设备接收到这4份人脸分析数据，假设根据这4份人脸分析数据，确定学生A、学生B、学生C在采集该张图像进行处于抬头状态，也就是说，同一时刻下(采集该张图像的时刻下)，处于抬头状态的人员数量为3。
假设预先设定的抬头数量与抬头分值的对应关系包括：抬头数量1-抬头分值0.25；抬头数量2-抬头分值0.5；抬头数量3-抬头分值0.75；抬头数量4-抬头分值1；数量3对应的抬头分值为0.75，则学生A、学生B、学生C的抬头分值都为0.75。
再举一例，在图3所示场景中，将每4个学生划分为一组，每次采集一组学生的图像，也就是说每张图像中包括4个学生。一共有8组学生，图像采集设备可以按照预设顺序，依次采集这8组学生的图像。假设一堂课的时长为45分钟，采集这8组学生的图像需要1分钟，图像采集设备可以循环采集这8组学生的图像，最多可以循环45/1＝45次。
假设图像采集设备循环采集了5次，每次得到8张图像，则一共得到8*5＝40张图像，对这40张图像进行人脸分析，可以得到40*4＝160份人脸分析数据。一份人脸分析数据中包括一个学生是否处于抬头状态的信息、以及对应的图像采集时刻。这160份人脸分析数据中，来源于同一张图像的人脸分析数据的图像采集时刻相同，也就是说，每四份人脸分析数据的图像采集时刻相同。
本电子设备获取到这160份人脸分析数据后，可以将图像采集时刻相同的人脸分析数据划分为一个集合，每个集合中包括四份人脸分析数据。针对每个集合进行相同的处理：
统计集合中处于抬头状态的人员数量，假设为3。假设预先设定的抬头数量与抬头分值的对应关系包括：抬头数量1-抬头分值0.25；抬头数量2-抬头分值0.5；抬头数量3-抬头分值0.75；抬头数量4-抬头分值1；数量3对应的抬头分值为0.75，则集合中处于抬头状态的学生的抬头分值都为0.75。
应用本实施方式，可以区分不同情况下的抬头状态。比如，课堂上，如果大部分学生都在认真听讲，这种情况下，处于抬头状态的学生注意力较集中，抬头分值较高；而如果大部分学生都在低头阅读或低头书写，这种情况下，处于抬头状态的学生注意力不集中，抬头分值较低。可见，本实施方式并没有将所有抬头状态都认为是注意力集中的表现，方案更合理，注意力检测结果更准确。
一种情况下，可以将抬头分值作为待检测人员的第一注意力得分，另一种情况下，可以结合考虑抬头分值及其他分值，得到待检测人员的第一注意力得分。
作为另一种实施方式，所述人脸分析数据中包括待检测人员的表情信息；S102可以包括：根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
举例来说，表情可以包括：高兴、惊讶、中性表情、厌恶、愤怒、轻蔑、害怕等等，具体不做限定。可以针对这些表情建立表情模型；分析得到人脸分析数据的过程可以包括：将人脸图像与预先建立的表情模型进行匹配，根据匹配结果确定待检测人员的表情信息。
可以预先设定表情与表情分值的对应关系，假设该对应关系包括：[高兴、惊讶]-表情分值2；[中性表情]-表情分值1；[厌恶、愤怒、轻蔑、害怕]-表情分值0.5。
一种情况下，可以将表情分值作为待检测人员的第一注意力得分，另一种情况下，可以结合考虑表情分值及其他分值，得到待检测人员的第一注意力得分。
比如，可以结合考虑上述抬头分值及表情分值，得到待检测人员的第一注意力得分。可以将抬头分值与表情分值的和作为第一注意力得分；也可以将抬头分值与表情分值的积作为第一注意力得分；还可以为抬头分值、表情分值分配权重，则第一注意力得分＝抬头分值*其对应的权重+表情分值*其对应的权重。
S103：基于行为分析数据，确定待检测人员的第二注意力得分。
一种实施方式中，行为分析数据中包括待检测人员的人体朝向信息；S103包括：根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
具体来说，若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
如上所述，已识别出属于同一待检测人员的人脸分析数据和行为分析数据，因此，在根据行为分析数据确定待检测人员的人体朝向为第三方向的情况下，可以根据该待检测人员的人脸分析数据，确定人脸朝向。
一种情况下，人脸分析数据中可以包括人脸朝向。另一种情况下，人脸分析数据中可以包括人脸图像与人脸模型的相似度，根据该相似度也可以确定人脸朝向。
举例来说，将图像采集设备设置于黑板侧，如果学生的脸朝向黑板，则采集到较完整的人脸图像，人脸图像与人脸模型相似度较高，如果学生的脸背向黑板，则采集到较不完整的人脸图像，人脸图像与人脸模型相似度较低。
假设有32个学生，分别针对这32个学生构建了32个人脸模型，假设图像采集设备设置于黑板侧；如果人脸分析数据中包括与这32个人脸模型的相似度，其中最大的相似度为60％(较低)，其他相似度均低于20％，则人脸分析数据可以确定人脸朝向为背向黑板；如果人脸分析数据中包括与这32个人脸模型的相似度，其中最大的相似度为90％(较高)，其他相似度均低于20％，则人脸分析数据可以确定人脸朝向为朝向黑板。
以课堂场景为例来说，人体朝向可以分为：朝向黑板、背对黑板、侧对黑板等。可以针对这些人体朝向建立人体朝向模型；分析得到行为分析数据的过程可以包括：将人体图像与各种人体朝向模型进行匹配，根据匹配结果确定待检测人员的人体朝向信息。
上述第一方向可以为朝向黑板，第一数值可以为1；第二方向可以为背对黑板，第二数值可以为-1；第三方向可以为侧对黑板，如果人体朝向为侧对黑板，而且人脸朝向为朝向黑板，则朝向分值可以为0.5，如果人体朝向为侧对黑板，而且人脸朝向为背向黑板，则朝向分值可以为-0.5。
一种情况下，可以将朝向分值作为待检测人员的第二注意力得分，另一种情况下，可以结合考虑朝向分值及其他分值，得到待检测人员的第二注意力得分。
作为另一种实施方式，行为分析数据中包括待检测人员的人体行为信息；S103可以包括：根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
以课堂场景为例来说，可以针对学生的各种行为，建立行为模型，比如：听讲模型、站立模型、阅读模型、书写模型、玩手机模型、趴桌子模型、玩手机模型、举手模型，等等。分析得到行为分析数据的过程可以包括：将人体图像与各种行为模型进行匹配，，根据匹配结果确定待检测人员的人体行为信息。
可以预先设定行为信息与行为分值的对应关系，假设该对应关系包括：听讲-行为分值1；阅读-行为分值1；书写-行为分值1；举手-行为分值1；趴桌子-行为分值-1；玩手机-行为分值-1；等等，不再一一列举。
一种情况下，若待检测人员的行为信息为站立，则可以根据待检测人员的人脸分析数据中的表情信息、以及预先设定的站立时的表情与行为分值的对应关系，确定待检测人员的行为分值。
比如，站立时的表情与行为分值的对应关系可以包括：[高兴、惊讶]-行为分值2；[中性表情]-行为分值1；[厌恶、愤怒、轻蔑、害怕]-行为分值-1。
学生在课堂上站立可以分为两种情况：起立回答问题和罚站，起立回答问题对应的行为分值应该较高，罚站对应的行为分值应该较低，上述方案中，结合学生表情，能够较准确地区分学生的站立属于哪种情况。
一种情况下，可以将行为分值作为待检测人员的第二注意力得分，另一种情况下，可以结合考虑行为分值及其他分值，得到待检测人员的第二注意力得分。
比如，可以结合考虑上述朝向分值及行为分值，得到待检测人员的第二注意力得分。可以将朝向分值与行为分值的和作为第二注意力得分；也可以将朝向分值与行为分值的积作为第二注意力得分；还可以为朝向分值、行为分值分配权重，则第二注意力得分＝朝向分值*其对应的权重+行为分值*其对应的权重。
或者，行为分析数据中还可以包括待检测人员的人体朝向的置信度、以及各种行为信息的置信度；这种情况下，也可以根据置信度较高的行为分析数据，计算第二注意力得分。比如，人体朝向的置信度较高，则将朝向分值作为第二注意力得分。再比如，人体朝向及“书写”行为信息的置信度较高，则根据朝向分值及“书写”行为信息对应的行为人值，计算第二注意力得分。
假设根据行为分析数据得知，人体朝向(朝向黑板)的置信度最高，该最高置信度为c1，“书写”行为对应的置信度次度，该次高置信度为c2，则第二注意力得分可以＝朝向黑板的朝向得分1*c1+“书写”行为的行为得分1*c2。
S104：根据第一注意力得分和第二注意力得分，得到待检测人员的注意力检测结果。
一种情况下，可以将第一注意力得分与第二注意力得分的平均值作为待检测人员的注意力检测结果。或者，可以将第一注意力得分与第二注意力得分的乘积作为待检测人员的注意力检测结果。或者，注意力检测结果也可以为一个集合，该集合中包括第一注意力得分和第二注意力得分。注意力检测结果也可以为其他，具体形式不做限定。
应用本发明图1所示实施例，基于人脸分析数据，确定人员的第一注意力得分；基于行为分析数据，确定人员的第二注意力得分；根据第一注意力得分和第二注意力得分，得到待检测人员的注意力检测结果；可见，本方案中，一方面，实现了不依赖人工、自动检测人员注意力，另一方面，从人脸和人体行为两方面分析人员注意力，提高了检测结果的准确性。
图4为本发明实施例提供的人员注意力检测方法的第二种流程示意图，包括：
S401：获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据。
人脸分析数据中包括第一时刻，第一时刻为人脸分析数据对应的图像采集时刻；行为分析数据中包括第二时刻，第二时刻为行为分析数据对应的图像采集时刻。
以课堂场景为例来说，如图3所示，将每4个学生划分为一组，每次采集一组学生的图像，也就是说每张图像中包括4个学生。一共有8组学生，图像采集设备可以按照预设顺序，依次采集这8组学生的图像。假设一堂课的时长为45分钟，采集这8组学生的图像需要1分钟，图像采集设备可以循环采集这8组学生的图像，最多可以循环45/1＝45次。
假设图像采集设备循环采集了5次，每次得到8张图像，则一共得到8*5＝40张图像，对这40张图像进行人脸分析及行为分析，可以得到40*4＝160份人脸分析数据，40*4＝160份行为分析数据。假设下课后，本电子设备获取到这160份人脸分析数据和160份行为分析数据，这些数据是针对32个学生的不同时刻的分析数据。
S401中获取到的分析数据可以包括其对应的图像采集时刻，本电子设备可以按照时间顺序，依次对各份分析数据进行处理。一种实施方式中，如果本次待处理的分析数据的图像采集时刻与上一次处理的分析数据的图像采集时刻间隔小于阈值，则可以不对本次待处理的分析数据进行处理。
时间间隔较小的两份分析数据大多较相似，不需要对其重复处理，本实施方式中，减少了这种重复处理的情况，方案更合理。
S402：针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算该多项第一注意力得分的平均值，作为人脸平均得分。
举例为说，一个待检测人员的人脸平均得分其中，tn、tm分别表示课堂上第一次与最后一次人脸分析数据对应的时刻，xi表示i时刻该待检测人员的第一注意力得分。
如果采集上述一种实施方式，时间间隔较小的两份人脸分析数据不重复处理，则如果上述tn-tm时间段的两份人脸分析数据时间间隔较小，则将其中一份丢弃，被丢弃的人脸分析数据不存在对应的xi。
S403：针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算该多项第二注意力得分的平均值，作为人体平均得分。
举例为说，一个待检测人员的人体平均得分：其中，tn、tm分别表示课堂上第一次与最后一次行为分析数据对应的时刻，yi表示i时刻该待检测人员的第二注意力得分。
如果采集上述一种实施方式，时间间隔较小的两份行为分析数据不重复处理，则如果上述tn-tm时间段的两份行为分析数据时间间隔较小，则将其中一份丢弃，被丢弃的人脸分析数据不存在对应的yi。
延续上述例子，每个学生对应5张图像，假设对于学生甲来说，其对应的5张图像分别为图像1-5。假设对图像1进行人脸分析及行为分析，得到人脸分析数据D1和行为分析数据A1；基于人脸分析数据D1，得到第一注意力得分为80，基于行为分析数据A1，得到第二注意力得分为88。
假设对图像2进行人脸分析及行为分析，得到人脸分析数据D2和行为分析数据A2；基于人脸分析数据D2，得到第一注意力得分为76，基于行为分析数据A2，得到第二注意力得分为82。
假设对图像3进行人脸分析及行为分析，得到人脸分析数据D3和行为分析数据A3；基于人脸分析数据D3，得到第一注意力得分为78，基于行为分析数据A3，得到第二注意力得分为80。
假设对图像4进行人脸分析及行为分析，得到人脸分析数据D4和行为分析数据A4；基于人脸分析数据D4，得到第一注意力得分为86，基于行为分析数据A4，得到第二注意力得分为78。
假设对图像5进行人脸分析及行为分析，得到人脸分析数据D5和行为分析数据A5；基于人脸分析数据D5，得到第一注意力得分为80，基于行为分析数据A5，得到第二注意力得分为88。
这样，学生甲的人脸平均得分＝(80+76+78+86+80)/5＝80，学生甲的人体平均得分＝(88+82+80+78+88)/5＝83.2。
S404：识别属于同一待检测人员的人脸分析数据和行为分析数据。
一种实施方式中，人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；S404可以包括：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
本实施方式中，先识别属于同一待检测人员的多份人脸坐标。如上所述，所获取的人脸分析数据中可以携带人员身份信息，比如学生学号、员工ID等，因此可以根据该人员身份信息，识别出属于同一待检测人员的人脸分析数据，人脸分析数据中包括人脸坐标，也就识别出了属于同一待检测人员的多份人脸坐标。
举例来说，人脸坐标可以包括人脸区域在源图像中的左下点坐标和右上点坐标，或者，也可以包括左上点坐标和右下点坐标，具体不做限定。假设左下点为L1(x1，y1)，右上点为L2(x2，y2)，下面针对一个待检测人员的左下点为例来说：
计算L1的平均位置其中，tn、tm分别表示课堂上第一次与最后一次人脸分析数据对应的时刻，xface_i、yface_i表示i时刻对应的人脸位置左下角坐标的(x1，y1)，count表示人脸分析数据数量。
L2的平均位置计算过程类似，不再赘述。则课堂上每个学生人脸的平均位置分别由两个坐标点表示：左下点：/>右上点：/>
计算人脸平均位置中心点为：
如果采集上述一种实施方式，时间间隔较小的两份人脸分析数据不重复处理，则如果上述tn-tm时间段的两份人脸分析数据时间间隔较小，则将其中一份丢弃，上述xface_i、yface_i中不包括丢弃的人脸分析数据中的人脸坐标。
举例来说，行为分析数据中的人体坐标可以为人体区域的中心位置：Cbehavior＝(xbehavior，ybehavior)；针对每个中心位置Cbehavior，计算其与全部平均人脸坐标之间的距离S：
确定最小S对应的平均人体坐标，称为目标平均人体坐标，确定所述目标平均人体坐标对应的人脸分析数据与该Cbehavior所属的行为分析数据属于同一待检测人员。
如果采集上述一种实施方式，时间间隔较小的两份行为分析数据不重复处理，则如果两份行为分析数据时间间隔较小，则将其中一份丢弃，上述Cbehavior中不包括丢弃的行为分析数据中的人体坐标。
S405：针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
如上所述，人脸平均得分其中，tn、tm分别表示课堂上第一次与最后一次人脸分析数据对应的时刻，xi表示i时刻对应的第一注意力得分。
一种实施方式中，获取到每个学生的人脸平均得分后，可以对每个学生的人脸平均得分进行归一化处理。比如，归一化处理后的得分为：
其中，i＝1，2……表示各个学生标识，Xi表示学生的人脸平均得分，Xmin表示最小的人脸平均得分，Xmax表示最大的人脸平均得分。
如上所述，人体平均得分为其中，tn、tm分别表示课堂上第一次与最后一次行为分析数据对应的时刻，yi表示i时刻该待检测人员的第二注意力得分。
一种实施方式中，获取到每个学生的人体平均得分后，可以对每个学生的人体平均得分进行归一化处理。比如，归一化处理后的得分为：
其中，i＝1，2……表示各个学生标识，Yi表示学生的人体平均得分，Ymin表示最小的人体平均得分，Ymax表示最大的人体平均得分。
S404中已识别出属于同一待检测人员的人脸分析数据和行为分析数据，因此，也可进一步识别出属于同一待检测人员的人脸平均得分和人体平均得分。一种情况下，可以将人脸平均得分和人体平均得分的平均值，作为待检测人员的注意力检测结果。
延续上述例子，如果进行了归一化处理，则注意力检测结果
或者，也可以将第一注意力得分与第二注意力得分的乘积作为待检测人员的注意力检测结果。或者，注意力检测结果也可以为一个集合，该集合中包括第一注意力得分和第二注意力得分。注意力检测结果也可以为其他，具体形式不做限定。
如上所述，人脸分析数据中可以携带人员身份信息，比如学生学号、员工ID等，这样，可以确定人员的身份信息与注意力检测结果的对应关系。
应用本发明图4所示实施例，针对每个待检测人员，获取多份分析数据，基于这多份分析数据的平均值，得到待检测人员的注意力检测结果，这样减少偶然因素影响，提高检测准确度。
与上述方法实施例相对应，本发明实施例还提供一种人员注意力检测系统，包括：人脸分析服务器、行为分析服务器和融合分析服务器；其中，
所述人脸分析服务器，用于对人脸图像进行分析，得到人脸分析数据；将所述人脸分析数据发送至所述融合分析服务器；
所述行为分析服务器，用于在人体图像中识别待检测人员的人体行为，得到行为分析数据；将所述行为分析数据发送至所述行为分析服务器；
所述融合分析服务器，用于基于所述人脸分析数据，确定待检测人员的第一注意力得分；基于所述行为分析数据，确定待检测人员的第二注意力得分；根据所述第一注意力得分和所述第二注意力得分，得到待检测人员的注意力检测结果。
作为一种实施方式，如图5所示，该系统还可以包括：
采集设备，用于采集待检测人员的人脸图像和人体图像，将所述人脸图像发送至所述人脸分析服务器，将所述人体图像发送至所述行为分析服务器。
下面参考图5，以课堂场景为例，介绍一种具体的实施方式：
图5中的采集设备可以设置于教室正前方的中间位置，俯角可以为10度。该采集设备可以具有双镜头，一个定点镜头和一个直径为5-50mm的动点镜头。定点镜头用于采集全景图像，该全景图像中包括每个学生，用户可以观看该全景图像，了解课堂上的整体情况。
参考图3，动点镜头可以依次扫描教室内学生，每个扫描点采集的图像中包括4个学生，这样图像中学生瞳距大致在40-60像素范围内，图像清晰度较佳。动点镜头在每个扫描点的停留时长可以为8秒左右。可以预先设定动点镜头的扫描轨迹，动点镜头在一堂课上可以按照该扫描轨迹进行多次扫描，这样，对于每个学生来说，可以获取到多张包含该学生的图像，基于这多张图像，检测该学生的注意力，可以减少偶然因素影响，提高检测准确度。
以一张图像为例来说，假设图像1中包括4个学生：学生A、学生B、学生C和学生D；在图像1中进行人脸识别，识别到4个人脸区域，对这4个人脸区域进行截取，得到4个学生的人脸图像：人脸图像1、人脸图像2、人脸图像3和人脸图像4。采集设备将该4张人脸图像发送至人脸分析服务器。采集设备将图像1作为人体图像发送至行为分析服务器。
另外，采集设备还可以确定这4张人脸图像在图像1中的坐标，作为人脸坐标，采集设备将该人脸坐标一并发送至人脸分析服务器。采集设备还可以将4张人脸图像的采集时刻，也就是图像1的采集时刻发送至人脸分析服务器。采集设备还可以将图像1的采集时刻发送至行为分析服务器。
下面介绍人脸分析服务器：
人脸分析服务器中可以存储有每个学生的人脸模型及对应的学生学号，人脸分析服务器将接收到的人脸图像与自身存储的人脸模型进行匹配。以人脸图像1为例来说，人脸分析服务器将人脸图像1与存储的32个学生的人脸模型进行匹配，根据匹配结果，确定人脸图像1对应的学生学号。匹配结果也就是人脸图像与人脸模型的相似度。
人脸图像1的人脸分析数据中可以包括所确定的学生学号。一种情况下，可以将人脸图像1与这32个人脸模型的匹配结果均作为人脸图像1的人脸分析数据。另外，人脸分析服务器还可以将上述采集设备发送的人脸坐标及人脸图像1的采集时刻都作为人脸图像1的人脸分析数据。
一种情况下，人脸分析服务器可以判断人脸图像1中的人脸是否处于抬头状态，将判断结果作为人脸图像1人脸分析数据。这样，融合分析服务器可以根据接收到的人脸分析数据，确定每个学生是否处于抬头状态。
具体来说，人脸分析服务器中可以存储有抬头模型或低头模型，人脸分析服务器将人脸图像1与抬头模型或低头模型进行匹配，根据匹配结果判断人脸是否处于抬头状态。
或者，人脸分析数据不包括上述判断结果(判断是否处于抬头状态)，融合分析服务器也能够判断学生是否处于抬头状态。可以理解，如果学生处于抬头状态，则采集到较完整的人脸图像，人脸图像与人脸模型相似度较高，如果学生处于低头状态，则采集到较不完整的人脸图像，人脸图像与人脸模型相似度较低。
比如，人脸图像1的人脸分析数据中包括：人脸图像1与这32个人脸模型的相似度，其中最大的相似度为60％(较低)，其他相似度均低于20％，这样，便认为人脸图像1中的人脸处于低头状态；如果人脸分析数据中包括与这32个人脸模型的相似度，其中最大的相似度为90％(较高)，其他相似度均低于20％，这样，便认为人脸图像1中的人脸处于抬头状态。
另一种情况下，人脸分析服务器可以识别人脸图像1中的表情信息，将该表情信息作为人脸图像1的人脸分析数据。
具体来说，人脸分析服务器中可以存储高兴、惊讶、中性表情、厌恶、愤怒、轻蔑、害怕等各种表情模型，人脸分析服务器将人脸图像1与表情模型进行匹配，根据匹配结果识别人脸图像1中的表情信息。
此外，人脸分析服务器还可以检测人脸的朝向，比如，朝向黑板或者背向黑板等，人脸分析数据中还可以包括人脸朝向信息。人脸分析数据的具体内容不做限定。
人脸分析服务器将人脸分析数据发送至融合分析服务器。
下面介绍行为分析服务器：
行为分析服务器接收到人体图像后，可以在该人体图像中识别学生的人体行为，得到行为分析数据。举例来说，假设行为分析服务器接收到的人体图像为上述图像1。
一种情况下，行为分析服务器可以识别学生的人体朝向信息，人体朝向可以包括：朝向黑板、背向黑板、侧对黑板。具体来说，行为分析服务器中可以存储各种朝向的人体模型，行为分析服务器将图像1与各种朝向的人体模型进行匹配，根据匹配结果确定图像1中的4个学生的人体朝向信息，将所确定的人体朝向信息作为图像1的行为分析数据。
另一种情况下，行为分析服务器可以识别学生的行为信息，如听讲、站立、阅读、书写、玩手机、趴桌子、玩手机、举手，等等。具体来说，行为分析服务器中可以存储各种行为模型，如听讲模型、站立模型、阅读模型、书写模型、玩手机模型、趴桌子模型、玩手机模型、举手模型，等等。行为分析服务器将图像1与各种行为模型进行匹配，根据匹配结果确定图像1中的4个学生的人体行为信息，作为图像1的行为分析数据。
此外，行为分析服务器可以确定4个学生的人体区域在图像1中的坐标，作为人体坐标，将该人体坐标也作为图像1的行为分析数据。或者，由采集设备确定4个学生的人体区域在图像1中的坐标，作为人体坐标，采集设备将该人体坐标发送给行为分析服务器，行为分析服务器将该人体坐标作为图像1的行为分析数据。
如上所述，采集设备还可以将图像1的采集时刻发送至行为分析服务器，行为分析服务器可以将该采集时刻也作为图像1的行为分析数据。图像1的行为分析数据中还可以包括图像1与上述各种人体朝向模型、各种行为模型匹配的置信度。
行为分析服务器将行为分析数据发送至融合分析服务器。
下面介绍融合分析服务器：
先介绍融合分析服务器对人脸分析数据的处理过程：
融合分析服务器在对人脸分析数据进行处理之前，先根据人脸分析数据中的图像采集时刻进行数据筛选。具体的，如果两份人脸分析数据中的图像采集时刻之差小于阈值，则可以只处理其中的一份人脸分析数据。该阈值可以大于等于动点镜头在一个扫描点的停留时长，小于等于动点镜头两次到达同一扫描点的时间间隔。
延续上述例子，融合分析服务器接收到4个学生的人脸分析数据，这些人脸分析数据中包括学生学号、人脸坐标、表情信息、是否处于抬头状态的信息。假设这4个学生的学号分别为：A、B、C、D。
融合分析服务器统计这4个学生中处于抬头状态下的学生数量，假设学生A、学生B、学生C处于抬头状态，也就是抬头状态的学生数量为3。融合分析服务器中预先设定抬头数量与抬头分值的对应关系：抬头数量1-抬头分值0.25；抬头数量2-抬头分值0.5；抬头数量3-抬头分值0.75；抬头数量4-抬头分值1。数量3对应的抬头分值为0.75，则学生A、学生B、学生C的抬头分值都为0.75。
融合分析服务器中还预先设定表情与表情分值的对应关系：[高兴、惊讶]-表情分值2；[中性表情]-表情分值1；[厌恶、愤怒、轻蔑、害怕]-表情分值0.5。假设学生A的表情信息为：高兴，则A对应的表情分值为2；假设学生B的表情信息为：中性表情，则B对应的表情分值为1；假设学生C的表情信息为：厌恶，则C对应的表情分值为0.5；学生D处于低头状态，因此未能得到学生D的表情分值。
将抬头分值与表情分值的乘积作为学生的第一注意力得分：学生A的第一注意力得分＝0.75*2＝1.5，学生B的第一注意力得分＝0.75*1＝0.75，学生C的第一注意力得分＝0.75*0.5＝0.375，没有得到学生D的第一注意力得分。
然后介绍融合分析服务器对行为分析数据的处理过程：
融合分析服务器在对行为分析数据进行处理之前，先根据行为分析数据中的图像采集时刻进行数据筛选。具体的，如果两份行为分析数据中的图像采集时刻之差小于阈值，则可以只处理其中的一份行为分析数据。该阈值可以大于等于动点镜头在一个扫描点的停留时长，小于等于动点镜头两次到达同一扫描点的时间间隔。
延续上述例子，融合分析服务器接收到4个学生的行为分析数据，这些行为分析数据中包括人体坐标、人体朝向信息、行为信息、以及与各种人体朝向模型、各种行为模型匹配的置信度。
融合分析服务器根据行为分析数据中的人体坐标、以及人脸分析数据中的人脸坐标，进行行为对象映射，也就是识别出属于同一学生的行为分析数据和人脸分析数据。
可以理解，人体坐标和人脸坐标均为上述图像1中的坐标，同一个学生的人脸坐标与人体坐标距离最近，因此，可以根据人体坐标与人脸坐标之间的距离进行行为对象映射。经过行为对象映射之后，也就确定了行为分析数据与学生学号的对应关系，换句话说，也就确定了哪个学生对应哪份行为分析数据。
融合分析服务器中预先设定人体朝向与朝向分值的对应关系：朝向黑板-朝向分值1；背对黑板-抬头分值-1；侧对黑板、且人脸朝向为朝向黑板，则朝向分值为0.5；侧对黑板、且人脸朝向为背向黑板，则朝向分值为-0.5。
如上所述，人脸分析数据中包括人脸朝向信息。经过行为对象映射后，已经识别出属于同一学生的行为分析数据和人脸分析数据，因此，如果学生的人体朝向为侧对黑板，可以结合该学生的人脸分析数据中的人脸朝向信息，确定该学生的朝向分值。
假设学生A的人体朝向为朝向黑板，则A的朝向分值为1；假设学生B的人体朝向为朝向黑板，则B的朝向分值为1；假设学生C的人体朝向为侧对黑板，并且学生C的人脸朝向为朝向黑板，则C朝向分值为0.5；假设学生D的人体朝向为侧对黑板，并且学生D的人脸朝向为背向黑板，则D的朝向分值为-0.5。
融合分析服务器中还预先设定行为信息与行为分值的对应关系：听讲-行为分值1；阅读-行为分值1；书写-行为分值1；举手-行为分值1；趴桌子-行为分值-1；玩手机-行为分值-1；等等，不再一一列举。
另外，对于“站立”这一行为信息，可以结合表情，设定不同的行为分值。比如，站立时的表情为[高兴、惊讶]-行为分值2；站立时的表情为[中性表情]-行为分值1；站立时的表情为[厌恶、愤怒、轻蔑、害怕]-行为分值-1。
学生在课堂上站立可以分为两种情况：起立回答问题和罚站，起立回答问题对应的行为分值应该较高，罚站对应的行为分值应该较低，本方案中，结合学生表情，能够较准确地区分学生的站立属于哪种情况。
假设学生A的行为信息为举手，则A的行为分值为1；假设学生B的行为信息为听讲，则学生B的行为分值为1；假设学生C的行为信息为站立、且表情为中性表情，则学生B的行为分值为1；假设学生D的行为信息为趴桌子，则学生D的行为分值为-1。
假设对于学生A来说，其人体朝向为朝向黑板的置信度为80％，其行为信息为举手的置信度为70％，则学生A的第二注意力得分＝1*80％+1*70％＝1.5；对于学生B来说，其人体朝向为朝向黑板的置信度为70％，其行为信息为举手的置信度为80％，则学生B的第二注意力得分＝1*70％+1*80％＝1.5；对于学生C来说，其人体朝向为朝向黑板的置信度为70％，其行为信息为举手的置信度为80％，则学生B的第二注意力得分＝0.5*70％+1*80％＝1.15；对于学生D来说，其人体朝向为朝向黑板的置信度为80％，其行为信息为举手的置信度为70％，则学生B的第二注意力得分＝-0.5*80％-1*70％＝-1.1。
如上所述，动点镜头在一堂课上可以按照扫描轨迹进行多次扫描，这样，对于每个学生来说，可以获取到多张包含该学生的图像，基于这多张图像，检测该学生的注意力。这种情况下，融合分析服务器可以得到同一学生的多项第一注意力得分和第二注意力得分。融合服务器可以每个学生，计算该学生的第一注意力得分的平均值，称为人脸平均得分，计算该学生的第二注意力得到的平均值，称为人体平均得分。将人脸平均得分与人体平均得分的平均值作为该学生的注意力检测结果。
为了简化描述，假设只对学生A、B、C、D进行了一次扫描，上述内容中学生A的第一注意力得分为1.5，第二注意力得分为1.5，则A的注意力检测结果为(1.5+1.5)/2＝1.5；学生B的第一注意力得分为0.75，第二注意力得分为1.5，则B的注意力检测结果为(0.75+1.5)/2＝1.125；学生C的第一注意力得分为0.375，第二注意力得分为1.15，则C的注意力检测结果为(0.375+1.15)/2＝0.7625；学生D的没有第一注意力得分，第二注意力得分为-1.1，则D的注意力检测结果为-1.1。
应用本发明实施例，第一方面，实现了不依赖人工、自动检测人员注意力；第二方面，从人脸和人体行为两方面分析人员注意力，提高了检测结果的准确性；第三方面，通过在教室中设置图像采集设备，实现注意力检测，并不打扰学生上课，不影响课堂环境；第四方面，可以对学生的各种表情、行为进行识别并评分，检测结果准确性较高。
本发明实施例还提供一种人员注意力检测装置，如图6所示，包括：
第一获取模块601，用于获取待检测人员的人脸分析数据和行为分析数据；
第一确定模块602，用于基于所述人脸分析数据，确定所述待检测人员的第一注意力得分；
第二确定模块603，用于基于所述行为分析数据，确定所述待检测人员的第二注意力得分；
检测模块604，用于根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果。
作为一种实施方式，第一获取模块601，具体可以用于：
接收人脸分析服务器发送的人脸分析数据；接收行为分析服务器发送的行为分析数据。
作为一种实施方式，第一获取模块601，具体可以用于：
对待检测人员的人脸图像进行分析，得到所述待检测人员的人脸分析数据；
在所述待检测人员的人体图像中，识别所述待检测人员的人体行为，得到行为分析数据。
作为一种实施方式，所述装置还可以包括：第二获取模块和截取模块(图中未示出)，其中，
第二获取模块，用于获取待检测人员的人体图像；
截取模块，用于识别所述人体图像中的人脸区域，对识别到的人脸区域进行截取，得到待检测人员的人脸图像。
作为一种实施方式，所述装置还可以包括：
识别模块(图中未示出)，用于在所述待检测人员的数量大于一的情况下，在所述获取待检测人员的人脸分析数据和行为分析数据之后，识别属于同一待检测人员的人脸分析数据和行为分析数据。
作为一种实施方式，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；
所述识别模块，具体用于：根据所述人脸坐标与所述人体坐标之间的距离，确定属于同一待检测人员的人脸分析数据和行为分析数据。
作为一种实施方式，所述人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；所述行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；所述装置还包括：第一判断模块和第二判断模块，(图中未示出)
第一判断模块，用于在获取待检测人员的人脸分析数据之后，判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；如果大于，触发所述第一确定模块；
第二判断模块，用于在获取待检测人员的行为分析数据之后，判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；如果大于，触发所述第二确定模块。
作为一种实施方式，第一确定模块602，具体可以用于：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分。
作为一种实施方式，第一确定模块602，还用于：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
作为一种实施方式，所述人脸分析数据中包括待检测人员的表情信息；第一确定模块602，具体可以用于：
根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；
根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
作为一种实施方式，所述行为分析数据中包括待检测人员的人体朝向信息；第二确定模块603，可以包括：第一确定子模块和第二确定子模块(图中未示出)，其中，
第一确定子模块，用于根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；
第二确定子模块，用于根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
作为一种实施方式，第一确定子模块，具体用于：
若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；
若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；
若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
作为一种实施方式，所述行为分析数据中包括待检测人员的人体行为信息；第二确定模块603，包括：第三确定子模块和第四确定子模块(图中未示出)，其中，
第三确定子模块，用于根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；
第四确定模块，用于根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
作为一种实施方式，所述第三确定子模块，具体用于：
若所述待检测人员的行为信息为站立，则根据所述待检测人员的人脸分析数据中的表情信息、以及预先设定的站立时的表情与行为分值的对应关系，确定所述待检测人员的行为分值。
作为一种实施方式，第一获取模块601，具体可以用于：获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据；
第一确定模块602，具体可以用于：针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算所述多项第一注意力得分的平均值，作为人脸平均得分；
第二确定模块603，具体可以用于：针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算所述多项第二注意力得分的平均值，作为人体平均得分；
检测模块604，具体可以用于：识别属于同一待检测人员的人脸分析数据和行为分析数据；针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
作为一种实施方式，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；检测模块604，还用于：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
应用本发明图6所示实施例，基于人脸分析数据，确定人员的第一注意力得分；基于行为分析数据，确定人员的第二注意力得分；根据第一注意力得分和第二注意力得分，得到待检测人员的注意力检测结果；可见，本方案中，一方面，实现了不依赖人工、自动检测人员注意力，另一方面，从人脸和人体行为两方面分析人员注意力，提高了检测结果的准确性。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和存储器702，
存储器702，用于存放计算机程序；
处理器701，用于执行存储器702上所存放的程序时，实现上述任一种人员注意力检测方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种人员注意力检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图5所示的人员注意力检测系统实施例、图6所示的人员注意力检测装置实施例、图7所示的电子设备实施例、以及上述计算机可读存储介质实施例而言，由于其基本相似于图1-4所示的人员注意力检测方法实施例，所以描述的比较简单，相关之处参见图1-4所示的人员注意力检测方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (24)

1.一种人员注意力检测方法，其特征在于，包括：
获取待检测人员的人脸分析数据和行为分析数据；
基于所述人脸分析数据，确定所述待检测人员的第一注意力得分；
基于所述行为分析数据，确定所述待检测人员的第二注意力得分；
根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果；
所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分；
确定所述待检测人员的第一注意力得分，包括：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
2.根据权利要求1所述的方法，其特征在于，若所述待检测人员的数量大于一，在所述获取待检测人员的人脸分析数据和行为分析数据之后，还包括：
识别属于同一待检测人员的人脸分析数据和行为分析数据。
3.根据权利要求2所述的方法，其特征在于，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；
所述识别属于同一待检测人员的人脸分析数据和行为分析数据，包括：
根据所述人脸坐标与所述人体坐标之间的距离，确定属于同一待检测人员的人脸分析数据和行为分析数据。
4.根据权利要求1所述的方法，其特征在于，所述人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；所述行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；
在所述获取待检测人员的人脸分析数据和行为分析数据之后，还包括：
判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；
如果大于，执行所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分的步骤；
判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；
如果大于，执行所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分的步骤。
5.根据权利要求1所述的方法，其特征在于，所述人脸分析数据中包括待检测人员的表情信息；所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；
根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
6.根据权利要求1所述的方法，其特征在于，所述行为分析数据中包括待检测人员的人体朝向信息；所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；
根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
7.根据权利要求6所述的方法，其特征在于，所述根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值，包括：
若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；
若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；
若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
8.根据权利要求1所述的方法，其特征在于，所述行为分析数据中包括待检测人员的人体行为信息；所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；
根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
9.根据权利要求1所述的方法，其特征在于，所述获取待检测人员的人脸分析数据和行为分析数据，包括：
获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据；
所述基于所述人脸分析数据，确定所述待检测人员的第一注意力得分，包括：
针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算所述多项第一注意力得分的平均值，作为人脸平均得分；
所述基于所述行为分析数据，确定所述待检测人员的第二注意力得分，包括：
针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算所述多项第二注意力得分的平均值，作为人体平均得分；
所述根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果，包括：
识别属于同一待检测人员的人脸分析数据和行为分析数据；
针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
10.根据权利要求9所述的方法，其特征在于，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；所述识别属于同一待检测人员的人脸分析数据和行为分析数据，包括：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
11.一种人员注意力检测装置，其特征在于，包括：
第一获取模块，用于获取待检测人员的人脸分析数据和行为分析数据；
第一确定模块，用于基于所述人脸分析数据，确定所述待检测人员的第一注意力得分；
第二确定模块，用于基于所述行为分析数据，确定所述待检测人员的第二注意力得分；
检测模块，用于根据所述第一注意力得分和所述第二注意力得分，得到所述待检测人员的注意力检测结果；
所述第一确定模块，具体用于：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分；
所述第一确定模块还用于：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
识别模块，用于在所述待检测人员的数量大于一的情况下，在所述获取待检测人员的人脸分析数据和行为分析数据之后，识别属于同一待检测人员的人脸分析数据和行为分析数据。
13.根据权利要求12所述的装置，其特征在于，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；
所述识别模块，具体用于：根据所述人脸坐标与所述人体坐标之间的距离，确定属于同一待检测人员的人脸分析数据和行为分析数据。
14.根据权利要求11所述的装置，其特征在于，所述人脸分析数据中包括第一时刻，所述第一时刻为所述人脸分析数据对应的图像采集时刻；所述行为分析数据中包括第二时刻，所述第二时刻为所述行为分析数据对应的图像采集时刻；所述装置还包括：
第一判断模块，用于在获取待检测人员的人脸分析数据之后，判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值；其中，所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻；如果大于，触发所述第一确定模块；
第二判断模块，用于在获取待检测人员的行为分析数据之后，判断所述第二时刻与第四时刻间隔是否大于第二预设阈值；其中，所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻；如果大于，触发所述第二确定模块。
15.根据权利要求11所述的装置，其特征在于，所述人脸分析数据中包括待检测人员的表情信息；所述第一确定模块，具体用于：
根据预先设定的表情与表情分值的对应关系，确定所述待检测人员的表情信息对应的表情分值；
根据所确定的表情分值，得到所述待检测人员的第一注意力得分。
16.根据权利要求11所述的装置，其特征在于，所述行为分析数据中包括待检测人员的人体朝向信息；所述第二确定模块，包括：
第一确定子模块，用于根据预先设定的人体朝向与朝向分值的对应关系，确定所述待检测人员的人体朝向信息对应的朝向分值；
第二确定子模块，用于根据所确定的朝向分值，得到所述待检测人员的第二注意力得分。
17.根据权利要求16所述的装置，其特征在于，所述第一确定子模块，具体用于：
若所述待检测人员的人体朝向为第一方向，则确定所述待检测人员的朝向分值为第一数值；
若所述待检测人员的人体朝向为第二方向，则确定所述待检测人员的朝向分值为第二数值；
若所述待检测人员的人体朝向为第三方向，则根据所述待检测人员的人脸分析数据，确定所述待检测人员的人脸朝向，根据所述人脸朝向及所述第三方向，确定所述待检测人员的朝向分值。
18.根据权利要求11所述的装置，其特征在于，所述行为分析数据中包括待检测人员的人体行为信息；所述第二确定模块，包括：
第三确定子模块，用于根据预先设定的行为信息与行为分值的对应关系，确定所述待检测人员的人体行为信息对应的行为分值；
第四确定模块，用于根据所确定的行为分值，得到所述待检测人员的第二注意力得分。
19.根据权利要求11所述的装置，其特征在于，所述第一获取模块，具体用于：获取针对多个待检测人员的、不同时刻的多份分析数据，其中每份分析数据包括一份人脸分析数据和一份行为分析数据；
所述第一确定模块，具体用于：针对每个待检测人员，基于该待检测人员的多份人脸分析数据，得到多项第一注意力得分；计算所述多项第一注意力得分的平均值，作为人脸平均得分；
所述第二确定模块，具体用于：针对每个待检测人员，基于该待检测人员的多份行为分析数据，得到多项第二注意力得分；计算所述多项第二注意力得分的平均值，作为人体平均得分；
所述检测模块，具体用于：识别属于同一待检测人员的人脸分析数据和行为分析数据；针对每个待检测人员，根据该待检测人员的人脸平均得分和人体平均得分，得到该待检测人员的注意力检测结果。
20.根据权利要求19所述的装置，其特征在于，所述人脸分析数据中包括人脸坐标，所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标；所述行为分析数据中包括人体坐标，所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标；所述检测模块，还用于：
在所述人脸分析数据中，识别出属于同一待检测人员的多份人脸坐标；
针对每个待检测人员，计算该待检测人员的多份人脸坐标的平均值，作为该待检测人员的平均人脸坐标；
针对每份人体坐标，计算该人体坐标与全部平均人脸坐标之间的距离；确定最小距离对应的目标平均人体坐标；确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。
21.一种人员注意力检测系统，其特征在于，包括：人脸分析服务器、行为分析服务器和融合分析服务器；其中，
所述人脸分析服务器，用于对人脸图像进行分析，得到人脸分析数据；将所述人脸分析数据发送至所述融合分析服务器；
所述行为分析服务器，用于在人体图像中识别待检测人员的人体行为，得到行为分析数据；将所述行为分析数据发送至所述行为分析服务器；
所述融合分析服务器，用于基于所述人脸分析数据，确定待检测人员的第一注意力得分；基于所述行为分析数据，确定待检测人员的第二注意力得分；根据所述第一注意力得分和所述第二注意力得分，得到待检测人员的注意力检测结果；
所述融合分析服务器，具体用于：
基于所述人脸分析数据，判断所述待检测人员是否处于抬头状态；
根据判断结果，确定所述待检测人员的第一注意力得分；
所述融合分析服务器还用于：
根据所述人脸分析数据，统计同一时刻下处于抬头状态的人员数量，作为待处理数量；
根据预先设定的抬头数量与抬头分值的对应关系，确定所述待处理数量对应的抬头分值；
根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果，得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。
22.根据权利要求21所述的系统，其特征在于，所述系统还包括：
采集设备，用于采集待检测人员的人脸图像和人体图像，将所述人脸图像发送至所述人脸分析服务器，将所述人体图像发送至所述行为分析服务器。
23.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
CN201811553683.8A 2018-12-19 2018-12-19 一种人员注意力检测方法、装置、设备及系统 Active CN111339801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811553683.8A CN111339801B (zh) 2018-12-19 2018-12-19 一种人员注意力检测方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811553683.8A CN111339801B (zh) 2018-12-19 2018-12-19 一种人员注意力检测方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN111339801A CN111339801A (zh) 2020-06-26
CN111339801B true CN111339801B (zh) 2023-10-17

Family

ID=71185335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811553683.8A Active CN111339801B (zh) 2018-12-19 2018-12-19 一种人员注意力检测方法、装置、设备及系统

Country Status (1)

Country Link
CN (1) CN111339801B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831886B (zh) * 2020-07-18 2021-05-25 深圳蓝青教育科技集团有限公司 基于大数据的网络课件推送方法
CN112597823A (zh) * 2020-12-07 2021-04-02 深延科技(北京)有限公司 注意力识别方法、装置、电子设备及存储介质
CN112560638A (zh) * 2020-12-11 2021-03-26 上海明略人工智能(集团)有限公司 基于人脸识别和行为检测的会场专注评估方法及系统
CN112907076A (zh) * 2021-02-20 2021-06-04 兰州成功学校 一种教学系统
CN112801052B (zh) * 2021-04-01 2021-08-31 北京百家视联科技有限公司 一种用户专注度检测方法及用户专注度检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
JP2014120137A (ja) * 2012-12-19 2014-06-30 Samsung R&D Institute Japan Co Ltd 情報処理装置、情報処理方法及びコンピュータプログラム
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
CN107609478A (zh) * 2017-08-09 2018-01-19 广州思涵信息科技有限公司 一种匹配课堂知识内容的实时学情分析系统及方法
CN107918755A (zh) * 2017-03-29 2018-04-17 广州思涵信息科技有限公司 一种基于人脸识别技术的实时专注度分析方法及系统
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN108937965A (zh) * 2018-05-03 2018-12-07 华东师范大学 一种基于坐姿分析的注意力测评系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
JP2014120137A (ja) * 2012-12-19 2014-06-30 Samsung R&D Institute Japan Co Ltd 情報処理装置、情報処理方法及びコンピュータプログラム
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107918755A (zh) * 2017-03-29 2018-04-17 广州思涵信息科技有限公司 一种基于人脸识别技术的实时专注度分析方法及系统
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
CN107609478A (zh) * 2017-08-09 2018-01-19 广州思涵信息科技有限公司 一种匹配课堂知识内容的实时学情分析系统及方法
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN108937965A (zh) * 2018-05-03 2018-12-07 华东师范大学 一种基于坐姿分析的注意力测评系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Analyzing students attention in class using wearable devices;X zhang 等;Institute of Electrical and Electronics Engineers Inc;全文 *
基于Kinect的课堂教学状态监测系统;李彬 等;传感器与微系统(第01期);全文 *
基于单幅图像Pn P头部姿态估计的学习注意力可视化分析;陈平 等;通信学报(第S1期);全文 *

Also Published As

Publication number Publication date
CN111339801A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339801B (zh) 一种人员注意力检测方法、装置、设备及系统
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN108399376B (zh) 学生课堂学习兴趣智能分析方法及系统
CN107609517B (zh) 一种基于计算机视觉的课堂行为检测系统
CN110097283B (zh) 基于人脸识别的教学管理系统及方法
CN105516280B (zh) 一种多模态学习过程状态信息压缩记录方法
JP2020525965A (ja) 教学補助方法およびその方法を採用する教学補助システム
CN111046819A (zh) 一种行为识别处理方法及装置
CN110135380B (zh) 一种基于人脸检测的课堂专注度识别的方法
KR101775974B1 (ko) 학생 수업태도 분석 시스템 및 분석 방법
CN109544523B (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
CN110659397A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN111325082B (zh) 一种人员专注度分析方法及装置
CN110009210A (zh) 一种基于关注度和专注度的学生听课水平综合评估方法
CN110969045A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN110148092B (zh) 基于机器视觉的青少年坐姿及情绪状态的分析方法
CN206557851U (zh) 一种教学听课情况采集装置
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
CN111160277A (zh) 行为识别分析方法和系统、计算机可读存储介质
CN111178263B (zh) 一种实时表情分析方法及其装置
CN107958500A (zh) 一种用于教学实境信息实时采集的监控系统
CN114445052A (zh) 基于区块链的智慧教育学生出勤大数据统计方法及系统
CN117218703A (zh) 智能学情分析方法及系统
CN115937971B (zh) 一种举手投票识别方法及装置
CN111507555B (zh) 人体状态检测方法、课堂教学质量的评价方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant