CN111814733A - 基于头部姿态的专注度检测方法及装置 - Google Patents

基于头部姿态的专注度检测方法及装置 Download PDF

Info

Publication number
CN111814733A
CN111814733A CN202010719020.XA CN202010719020A CN111814733A CN 111814733 A CN111814733 A CN 111814733A CN 202010719020 A CN202010719020 A CN 202010719020A CN 111814733 A CN111814733 A CN 111814733A
Authority
CN
China
Prior art keywords
head
user
image
sample image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010719020.XA
Other languages
English (en)
Inventor
郑子奇
徐国强
邱寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010719020.XA priority Critical patent/CN111814733A/zh
Publication of CN111814733A publication Critical patent/CN111814733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能，揭露一种基于头部姿态的专注度检测方法，包括：获取预设时间段内采集到包含有头部动作的用户头部图像；当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。本发明还涉及区块链技术，所述用户头部图像存储于区块链中。本发明可以准确反映用户当时的专注度，避免用户专注度的预测结果出现误判。

Description

基于头部姿态的专注度检测方法及装置
技术领域
本发明涉及人工智能技术领域，尤其是涉及到基于头部姿态的专注度检测方法、装置、计算机设备及计算机存储介质。
背景技术
随着计算机交互技术的不断发展，各种各样的网上课堂为用户提供了更多的知识学习途径，为了便于用户可以对在线课堂投入足够多的注意力，通常都会利用监控摄像头来辅助家长或老师，根据摄像头中捕捉到的用户人脸图像来识别学生者面部表情，进而分析用户的听课情况，以实现课堂监督效果。
现有的辅助课堂监控的摄像头通常使用4k分辨率较高的高清摄像头来捕捉用户在课堂上的图像，并利用图像中所检测到用户的面部特征来分析用户在课堂上的专注度，具体可以基于面部肌肉变化的预测算法来解释面部的表情变化，并最大限度地利用表情变化产生的信息，可以更完整的表征面部的表情信息，依据用户面部的表情信息来分析用户在课堂上的专注度。
本申请的发明人在研究中发现，由于面部表情变化在图像上会有多种不同的变化，如五官位置、形状以及细微的皮肤纹理等，需要结合多种面部表情特征进行分析，能够表征用户在课堂上的专注度。然而，用户在摄像头面前的表情可能会充满个人特色，甚至被加工或者夸张，使得摄像头捕捉到图像中的表情并非真实表情，很难准确反映用户当时的专注度，导致用户专注度的预测结果出现误判。
发明内容
有鉴于此，本发明提供了一种基于头部姿态的专注度检测方法、装置、计算机设备及计算机存储介质，主要目的在于解决目前很难对用户专注度进行准确预测的问题。
依据本发明一个方面，提供了一种基于头部姿态的专注度检测方法，该方法包括：
获取预设时间段内采集到包含有头部动作的用户头部图像；
当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据；
通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
在本发明另一实施例中，所述用户头部图像存储于区块链中，在所述获取预设时间段内采集到包含有头部动作的用户头部图像之前，所述方法还包括：
获取采集到包含有用户头部动作的样本图像，并对所述样本图像中的头部区域进行标记；
将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型。
在本发明另一实施例中，所述对所述样本图像中的头部区域进行标记，包括：
通过将所述样本图像中头部区域进行框选后，记录所述头部区域框的位置信息；
将所述头部区域框的位置信息生成头部区域的标签。
在本发明另一实施例中，所述网络模型中包括多层结构，所述将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型，包括：
通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征；
通过所述网络模型的回归层对所述样本图像对应的图像区域特征进边框回归，确定头部区域所在的位置信息；
通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测。
在本发明另一实施例中，所述通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征，包括：
通过所述网络模型的卷积层对样本图像中像素进行逐行扫描，以单个像素作为中心像素，形成围绕中心像素预设面积的区域像素；
对所述围绕中心像素预设面积的区域像素进行不同比例的区域特征提取，得到所述样本图像对应的图像区域特征。
在本发明另一实施例中，所述通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测，包括：
通过所述网络模型的预测层根据头部区域所在的位置信息，框定头部位置的图像；
利用级联回归的人脸校正算法对所述头部位置的图像中人脸关键点形状进行调整，以使得调整后头部位置的图像中人脸关键点形状趋近于初始人脸关键点形状；
基于头部位置的图像中人脸关键点形状在调整过程中形成的头部偏移参数，对头部偏移角度进行预测。
在本发明另一实施例中，所述通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度，包括：
在交互场景中，若检测到用户在预设时间内的头部姿态数据对应的方向朝向处于固定角度范围，则确定用户头部朝向的重合位置为稳定朝向的交互目标点；
基于目标用户的位置信息与所述稳定朝向的交互目标点，确定用户在预设时间段内的专注度。
在本发明另一实施例中，所述基于目标用户的位置信息与所述稳定朝向交互的目标点，确定用户在预设时间段内的专注度，包括：
将目标用户的位置信息与所述稳定朝向的交互目标点所覆盖的区域范围进行比对，获取目标用户的位置信息与交互目标点所覆盖的重叠区域；
基于目标用户的位置信息与交互目标点所覆盖的重叠区域，确定用户在预设时间段内的专注度。
依据本发明另一个方面，提供了一种基于头部姿态的专注度检测装置，所述装置包括：
获取单元，用于获取预设时间段内采集到包含有头部动作的用户头部图像；
识别单元，用于当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；
确定单元，用于通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
在本发明另一实施例中，所述用户头部图像存储于区块链中，所述装置还包括：
标记单元，用于在所述获取预设时间段内采集到包含有头部动作的用户头部图像之前，获取采集到包含有用户头部动作的样本图像，并对所述样本图像中的头部区域进行标记；
训练单元，用于将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型。
在本发明另一实施例中，所述标记单元包括：
记录模块，用于通过将所述样本图像中头部区域进行框选后，记录所述头部区域框的位置信息；
生成模块，用于将所述头部区域框的位置信息生成头部区域的标签。
在本发明另一实施例中，所述网络模型中包括多层结构，所述训练单元包括：
提取模块，用于通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征；
回归模块，用于通过所述网络模型的回归层对所述样本图像对应的图像区域特征进边框回归，确定头部区域所在的位置信息；
预测模块，用于通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测。
在本发明另一实施例中，所述提取模块包括：
扫描子模块，用于通过所述网络模型的卷积层对样本图像中像素进行逐行扫描，以单个像素作为中心像素，形成围绕中心像素预设面积的区域像素；
提取子模块，用于对所述围绕中心像素预设面积的区域像素进行不同比例的区域特征提取，得到所述样本图像对应的图像区域特征。
在本发明另一实施例中，所述预测模块包括：
框定子模块，用于通过所述网络模型的预测层根据头部区域所在的位置信息，框定头部位置的图像；
调整子模块，用于利用级联回归的人脸校正算法对所述头部位置的图像中人脸关键点形状进行调整，以使得调整后头部位置的图像中人脸关键点形状趋近于初始人脸关键点形状；
预测子模块，用于基于头部位置的图像中人脸关键点形状在调整过程中形成的头部偏移参数，对头部偏移角度进行预测。
在本发明另一实施例中，所述确定单元包括：
选取模块，用于在交互场景中，若检测到用户在预设时间内的头部姿态数据对应的方向朝向处于固定角度范围，则选取用户头部朝向的重合位置作为稳定朝向的交互目标点；
确定模块，用于基于目标用户的位置信息与所述稳定朝向的交互目标点，确定用户在预设时间段内的专注度。
在本发明另一实施例中，所述确定模块包括：
比对子模块，用于将目标用户的位置信息与所述稳定朝向的交互目标点所覆盖的区域范围进行比对，获取目标用户的位置信息与交互目标点所覆盖的重叠区域；
确定子模块，用于基于目标用户的位置信息与交互目标点所覆盖的重叠区域，确定用户在预设时间段内的专注度。
依据本发明又一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于头部姿态的专注度检测方法的步骤。
依据本发明再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于头部姿态的专注度检测方法的步骤。
借由上述技术方案，本发明提供一种基于头部姿态的专注度检测方法及装置，通过获取预设时间段内采集到包含有头部动作的用户头部图像，当接收到识别指令时，将在预设时间段内采集到的用户头部图像输入至头部姿态识别模型中，输出用户头部姿态数据，通过解析用户头部姿态数据，确定用户在预设时间段内的专注度。与现有技术中利用面部表情来实现用户专注度检测的方法相比，本申请利用用户头部姿态，能够准确反映用户当时的专注度，提高专注度分析的简易性和精准度，通过重点关注头部动作对专注度的影响，以克服仅仅使用面部表情变化来分析的缺点，提高用户专注度预测结果的准确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种基于头部姿态的专注度检测方法的流程示意图；
图2示出了本发明实施例提供的另一种基于头部姿态的专注度检测方法的流程示意图；
图3示出了本发明实施例提供的一种基于头部姿态的专注度检测装置的结构示意图；
图4示出了本发明实施例提供的另一种基于头部姿态的专注度检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于头部姿态的专注度检测方法，能够准确反映用户当时的专注度，避免用户专注度的预测结果出现误判，如图1所示，该方法包括：
101、获取预设时间段内采集到包含有头部动作的用户头部图像。
其中，头部动作可以包括抬头、转头、低头等，通常情况下，可以使用摄像头、相机等拍摄设备来采集包含有用户头部动作的样本图像。由于用户头部图像会实时发生变化，通过获取预设时间内采集的用户头部图像，该预设时间可以自行设定，例如，10分钟，20分钟等，从而提取有更丰富的用户头部信息，以提高头部姿态识别的准确率。需要强调的是，为进一步保证上述用户头部图像的私密和安全性，上述用户头部图像还可以存储于一区块链的节点中。
102、当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据。
其中，头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度。用户头部姿态数据即为用户头部位置数据以及头部偏移角度数据，当接收到识别指令时，该识别指令为对用户头部姿态进行识别的指令，可以通过设置采样时间触发，设置当采样时间达到预设时间值时触发识别指令，进一步将预设时间段内采集到的用户头部图像输入至头部姿态识别模型中，由于预设时间段内采集到的用户头部图像可能包含有多个用户的头部图像，所以，头部姿态识别模型会输出多个用户的头部姿态数据。
可以理解的是，这里的头部姿态识别模型是通过网络模型训练而得到的，网络模型的训练过程即为映射矩阵的学习过程，该映射矩阵可以基于输入样本图像所携带的头部区域标签不断的进行调整，以使得输出的头部区域以及头部偏移角度不断趋近于真实头部区域标签，进而优化网络模型的识别效果。
具体通过网络模型训练头部姿态识别模型的过程中，可以利用携带有头部区域标签的样本图像输入至网络模型中进行训练，这里的网络模型可以使用卷积神经网络和残差网络模型，利用卷积神经网络对样本图像中的每个像素逐行扫描，以各个像素为中心，对周围一定面积的区域进行分类，并且使用的区域包含了不同的面积、不同的长宽比，以丰富选择的可能性；进一步抽取区域特征，进行目标框的回归，确定头部区域所在位置，并对每个预测的位置进行置信度打分，识别得到头部区域，利用残差网络模型对头部区域进行特征信息抽取，得到头部偏移角度，包括头部俯仰角、头部横滚角和头部航偏角的角度。
103、通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
可以理解的是，在预设时间内用户头部姿态数据可能会随着用户对其他物体的关注度而转移，使得用户头部位置数据以及用户头部偏移角度也会发生变化，本发明实施例通过解析预设时间段内所识别得到的用户头部姿态数据，针对用户头部姿态数据在预设时间内的变化情况，确定用户在预设时间内的关注度。
具体可以通过统计用户在预设时间内预测得到的用户头部姿态数据，汇总不同偏移角度下的用户头部姿态数据，利用预先设置不同偏移角度范围内头部姿态数据所属的专注度等级，对用户头部姿态数据进行专注度等级归类，并且记录不同专注度等级内用户头部姿态数据的发生次数，将记录发生次数最多的专注度等级作为用户在预设时间内的专注度。
本发明实施例提供的一种基于头部姿态的专注度检测方法，通过获取预设时间段内采集到包含有头部动作的用户头部图像，当接收到识别指令时，将在预设时间段内采集到的用户头部图像输入至头部姿态识别模型中，输出用户头部姿态数据，通过解析用户头部姿态数据，确定用户在预设时间段内的专注度。与现有技术中利用面部表情来实现用户专注度检测的方法相比，本申请利用用户头部姿态，能够准确反映用户当时的专注度，提高专注度分析的简易性和精准度，通过重点关注头部动作对专注度的影响，以克服仅仅使用面部表情变化来分析的缺点，提高用户专注度预测结果的准确性。
本发明实施例提供了另一种基于头部姿态的专注度检测方法，能够准确反映用户当时的专注度，避免用户专注度的预测结果出现误判，如图2所示，所述方法包括：
201、通过将所述样本图像中头部区域进行框选后，记录所述头部区域框的位置信息。
在本发明实施例中，由于样本图像中用户头部分布位置不确定，具体可以利用作图工具或者预设函数在样本图像中头部区域进行框选，进而提取头部区域框的位置信息。可以理解的是，如果样本图像中包含有多个头部区域，则可以针对每个头部区域分别进行框选标记。
202、将所述头部区域框的位置信息生成头部区域的标签。
可以理解的是，头部区域的位置信息为通常为坐标形式表示，这里可以将头部区域的坐标作为头部区域的标签，进而标注在样本图像中头部区域。
具体在对样本图像中头部区域进行标记的过程，可以对样本图像中头部区域进行框选后，通过记录头部区域框的位置坐标，将头部区域框的位置坐标生成头部区域标签。
203、将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型。
其中，网络模型中包括多层结构，包括卷积层、回归层和预测层，具体可以通过网络模型的卷积层提取样本图像对应的图像区域特征；通过网络模型的回归层对样本图像对应的图像区域特征进边框回归，确定头部区域所在的位置信息；通过网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测。
具体在通过网络模型的卷积层提取样本图像对应的图像区域特征的过程中，可以通过网络模型的卷积层对样本图像中像素进行逐行扫描，以单个像素作为中心像素，形成围绕中心像素预设面积的区域像素；对围绕中心像素预设面积的区域像素进行不同比例的区域特征提取，得到样本图像对应的图像区域特征。
具体在通过网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测的过程中，可以通过网络模型的预测层根据头部区域所在的位置信息，框定头部位置的图像；利用级联回归的人脸校正算法对头部位置的图像中人脸关键点形状进行调整，以使得调整后头部位置的图像中人脸关键点形状趋近于初始人脸关键点形状；基于头部位置的图像中人脸关键点形状在调整过程中形成的头部偏移参数，对头部偏移角度进行预测。
为了保证网络模型的训练精度，通过在训练迭代过程中对人脸关键点形状进行校正，以使得当前状态人脸关键点形状趋近于初始状态的人脸关键点形状，St＝St-1+Rt(x,St -1)，t＝1,…,T，其中，x为人脸的特征向量，S为人脸关键点的形状，t表示第t次回归，进而对样本图像中人脸关键点的位置进行调整。
204、获取预设时间段内采集到包含有头部动作的用户头部图像。
205、当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据。
可以理解的是，在训练头部姿态识别模型的过程中，相比于一般的头动角度识别方式，本发明实施例不使用人脸关键点的预测来做多任务，可以节约计算时间和参数存储量，与此同时，不会因为面部关键点的坐标信息有偏差而导致在对样本图像进行特征提取时映射矩阵有误差，进而影响头部偏移角度识别的准确率。
206、在交互场景中，若检测到用户在预设时间内的头部姿态数据对应的方向朝向处于固定角度范围，则确定用户头部朝向的重合位置为稳定朝向的交互目标点。
可以理解的是，为了对用户在课堂上专注度进行预测，由于头部姿态数据的输出包含了人脸平面的法线在三维空间中的朝向，这里可以结合其他算法模块进行交互，例如，可以通过统计教室内所有用户的头部动作结果，来判断讲台或者老师的位置，也可以通过头部偏移角度对其他行为识别模块中躯干的朝向进行预测，从而矫正为正面的人体姿态，达到更准确的判断结果。
207、基于目标用户的位置信息与所述稳定朝向的交互目标点，确定用户在预设时间段内的专注度。
在本发明实施例中，具体可以将目标用户的位置信息与稳定朝向的交互目标点所覆盖的区域范围进行比对，获取目标用户的位置信息与交互目标点所覆盖的重叠区域；基于目标用户的位置信息与交互目标点所覆盖的重叠区域，确定用户在预设时间段内的专注度。
在实际应用场景中，由于头部姿态数据能够衡量用户的头部方向信息，在教室中老师与学生的交互场景中，可以通过确定教室中老师的位置信息，将老师的位置信息作为评估用户专注度的依据，对用户专注度进行评估。具体可以通过判断交互场景中用户的头部姿态数据的朝向，若在交互场景中检测到的用户在预设时间段内的头部方向信息朝向处于固定角度范围，则确定用户稳定朝向交互目标点，表明该用户具有交互意图，进一步通过检测交互场景中老师的位置信息是否处于用户的头部方向信息所朝向的交互目标点，进而将教室中老师的位置信息与交互目标点进行重合比对，若教室中老师的位置与交互目标点覆盖设定的区域范围内，则判定用户专注度较高，若未覆盖设定的区域范围内，还可以进一步判断交互目标点与老师的位置信息之间的偏移度，评估用户专注度，随着偏移度增加，用户专注度降低
可以理解的是，由于老师的位置信息可能会实时发生改变，若当前时刻老师的位置信息与下一时刻老师的位置信息之间形成的距离较远，则可以选择教室中其他静态的物体作为评估用户专注度的依据，例如，讲台、黑板等静态物体。
进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种基于头部姿态的专注度检测装置，如图3所示，所述装置包括：获取单元31、识别单元32、确定单元33。
获取单元31，可以用于获取预设时间段内采集到包含有头部动作的用户头部图像；
识别单元32，可以用于当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；
确定单元33，可以用于通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
本发明实施例提供的一种基于头部姿态的专注度检测装置，通过获取预设时间段内采集到包含有头部动作的用户头部图像，当接收到识别指令时，将在预设时间段内采集到的用户头部图像输入至头部姿态识别模型中，输出用户头部姿态数据，通过解析用户头部姿态数据，确定用户在预设时间段内的专注度。与现有技术中利用面部表情来实现用户专注度检测的方法相比，本申请利用用户头部姿态，能够准确反映用户当时的专注度，提高专注度分析的简易性和精准度，通过重点关注头部动作对专注度的影响，以克服仅仅使用面部表情变化来分析的缺点，提高用户专注度预测结果的准确性。
作为图3中所示基于头部姿态的专注度检测装置的进一步说明，图4是根据本发明实施例另一种基于头部姿态的专注度检测装置的结构示意图，如图4所示，所述装置包括：
标记单元34，可以用于在所述获取预设时间段内采集到包含有头部动作的用户头部图像之前，获取采集到包含有用户头部动作的样本图像，并对所述样本图像中的头部区域进行标记；
训练单元35，可以用于将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型。需要强调的是，为进一步保证上述用户头部图像的私密和安全性，上述用户头部图像还可以存储于一区块链的节点中。
进一步地，所述标记单元34包括：
记录模块341，可以用于通过将所述样本图像中头部区域进行框选后，记录所述头部区域框的位置信息；
生成模块342，可以用于将所述头部区域框的位置信息生成头部区域的标签。
进一步地，所述网络模型中包括多层结构，所述训练单元35包括：
提取模块351，可以用于通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征；
回归模块352，可以用于通过所述网络模型的回归层对所述样本图像对应的图像区域特征进边框回归，确定头部区域所在的位置信息；
预测模块353，可以用于通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测。
进一步地，所述提取模块351包括：
扫描子模块3511，可以用于通过所述网络模型的卷积层对样本图像中像素进行逐行扫描，以单个像素作为中心像素，形成围绕中心像素预设面积的区域像素；
提取子模块3512，可以用于对所述围绕中心像素预设面积的区域像素进行不同比例的区域特征提取，得到所述样本图像对应的图像区域特征。
进一步地，所述预测模块323包括：
框定子模块3531，可以用于通过所述网络模型的预测层根据头部区域所在的位置信息，框定头部位置的图像；
调整子模块3532，可以用于利用级联回归的人脸校正算法对所述头部位置的图像中人脸关键点形状进行调整，以使得调整后头部位置的图像中人脸关键点形状趋近于初始人脸关键点形状；
预测子模块3533，可以用于基于头部位置的图像中人脸关键点形状在调整过程中形成的头部偏移参数，对头部偏移角度进行预测。
进一步地，所述确定单元33包括：
选取模块331，可以用于在交互场景中，若检测到用户在预设时间内的头部姿态数据对应的方向朝向处于固定角度范围，则选取用户头部朝向的重合位置作为稳定朝向的交互目标点；
确定模块332，可以用于基于目标用户的位置信息与所述稳定朝向的交互目标点，确定用户在预设时间段内的专注度。
进一步地，所述确定模块332包括：
比对子模块3321，可以用于将目标用户的位置信息与所述稳定朝向的交互目标点所覆盖的区域范围进行比对，获取目标用户的位置信息与交互目标点所覆盖的重叠区域；
确定子模块3322，可以用于基于目标用户的位置信息与交互目标点所覆盖的重叠区域，确定用户在预设时间段内的专注度。
需要说明的是，本实施例提供的一种基于头部姿态的专注度检测装置所涉及各功能单元的其他相应描述，可以参考图1、图2中的对应描述，在此不再赘述。
基于上述如图1、图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1、图2所示的基于头部姿态的专注度检测方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1、图2所示的基于头部姿态的专注度检测方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的基于头部姿态的专注度检测装置的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请利用用户头部姿态，能够准确反映用户当时的专注度，提高专注度分析的简易性和精准度，通过重点关注头部动作对专注度的影响，以克服仅仅使用面部表情变化来分析的缺点，提高用户专注度预测结果的准确性。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种基于头部姿态的专注度检测方法，其特征在于，所述方法包括：
获取预设时间段内采集到包含有头部动作的用户头部图像；
当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；
通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
2.根据权利要求1所述的方法，其特征在于，所述用户头部图像存储于区块链中，在所述获取预设时间段内采集到包含有头部动作的用户头部图像之前，所述方法还包括：
获取采集到包含有用户头部动作的样本图像，并对所述样本图像中的头部区域进行标记；
将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述样本图像中的头部区域进行标记，包括：
通过将所述样本图像中头部区域进行框选后，记录所述头部区域框的位置信息；
将所述头部区域框的位置信息生成头部区域的标签。
4.根据权利要求2所述的方法，其特征在于，所述网络模型中包括多层结构，所述将携带有头部区域标签的样本图像输入至网络模型中进行训练，得到头部姿态识别模型，包括：
通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征；
通过所述网络模型的回归层对所述样本图像对应的图像区域特征进边框回归，确定头部区域所在的位置信息；
通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测。
5.根据权利要求4所述的方法，其特征在于，所述通过所述网络模型的卷积层提取所述样本图像对应的图像区域特征，包括：
通过所述网络模型的卷积层对样本图像中像素进行逐行扫描，以单个像素作为中心像素，形成围绕中心像素预设面积的区域像素；
对所述围绕中心像素预设面积的区域像素进行不同比例的区域特征提取，得到所述样本图像对应的图像区域特征。
6.根据权利要求4所述的方法，其特征在于，所述通过所述网络模型的预测层根据头部区域所在的位置信息，对头部偏移角度进行预测，包括：
通过所述网络模型的预测层根据头部区域所在的位置信息，框定头部位置的图像；
利用级联回归的人脸校正算法对所述头部位置的图像中人脸关键点形状进行调整，以使得调整后头部位置的图像中人脸关键点形状趋近于初始人脸关键点形状；
基于头部位置的图像中人脸关键点形状在调整过程中形成的头部偏移参数，对头部偏移角度进行预测。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度，包括：
在交互场景中，若检测到用户在预设时间内的头部姿态数据对应的方向朝向处于固定角度范围，则选取用户头部朝向的重合位置作为稳定朝向的交互目标点；
基于目标用户的位置信息与所述稳定朝向的交互目标点，确定用户在预设时间段内的专注度。
8.一种基于头部姿态的专注度检测装置，其特征在于，所述装置包括：
获取单元，用于获取预设时间段内采集到包含有头部动作的用户头部图像；
识别单元，用于当接收到识别指令时，将所述用户头部图像输入至所述头部姿态识别模型中，输出用户头部姿态数据，其中，所述头部姿态识别模型用于识别样本图像中的头部区域以及头部偏移角度；
确定单元，用于通过解析所述用户头部姿态数据，确定用户在预设时间段内的专注度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010719020.XA 2020-07-23 2020-07-23 基于头部姿态的专注度检测方法及装置 Pending CN111814733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719020.XA CN111814733A (zh) 2020-07-23 2020-07-23 基于头部姿态的专注度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719020.XA CN111814733A (zh) 2020-07-23 2020-07-23 基于头部姿态的专注度检测方法及装置

Publications (1)

Publication Number Publication Date
CN111814733A true CN111814733A (zh) 2020-10-23

Family

ID=72862591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719020.XA Pending CN111814733A (zh) 2020-07-23 2020-07-23 基于头部姿态的专注度检测方法及装置

Country Status (1)

Country Link
CN (1) CN111814733A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541436A (zh) * 2020-12-15 2021-03-23 平安科技（深圳）有限公司 专注度分析方法、装置、电子设备及计算机存储介质
CN113393160A (zh) * 2021-07-09 2021-09-14 北京市博汇科技股份有限公司 一种课堂专注度分析方法、装置、电子设备及介质
CN113723277A (zh) * 2021-08-27 2021-11-30 华中师范大学 一种融入多模态视觉信息的学习意图监测方法及系统
WO2023220916A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 一种部位定位方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541436A (zh) * 2020-12-15 2021-03-23 平安科技（深圳）有限公司 专注度分析方法、装置、电子设备及计算机存储介质
CN112541436B (zh) * 2020-12-15 2024-05-07 平安科技（深圳）有限公司 专注度分析方法、装置、电子设备及计算机存储介质
CN113393160A (zh) * 2021-07-09 2021-09-14 北京市博汇科技股份有限公司 一种课堂专注度分析方法、装置、电子设备及介质
CN113723277A (zh) * 2021-08-27 2021-11-30 华中师范大学 一种融入多模态视觉信息的学习意图监测方法及系统
CN113723277B (zh) * 2021-08-27 2024-02-27 华中师范大学 一种融入多模态视觉信息的学习意图监测方法及系统
WO2023220916A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 一种部位定位方法及装置

Similar Documents

Publication Publication Date Title
CN109165552B (zh) 一种基于人体关键点的姿态识别方法、系统及存储器
CN111814733A (zh) 基于头部姿态的专注度检测方法及装置
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
US10902056B2 (en) Method and apparatus for processing image
CN106874826A (zh) 人脸关键点跟踪方法和装置
US9805256B2 (en) Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN101406390A (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN109637286A (zh) 一种基于图像识别的口语训练方法及家教设备
CN111814587A (zh) 人体行为检测方法、教师行为检测方法及相关系统和装置
CN111931869B (zh) 一种人机自然交互的用户注意力检测方法及系统
Su et al. A video analytic in-class student concentration monitoring system
CN109034037A (zh) 基于人工智能的在线学习方法
CN110969045A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN115019240A (zh) 化学实验操作的评分方法、装置、设备及可读存储介质
CN114038062A (zh) 一种基于联合关键点表征的考生异常行为分析方法及系统
Berrú-Novoa et al. Peruvian sign language recognition using low resolution cameras
CN112183412A (zh) 人员身份识别方法、装置、电子设备及存储介质
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
Yi et al. Real time learning evaluation based on gaze tracking
CN113254608A (zh) 通过问答生成训练数据的系统及其方法
CN115810163B (zh) 一种基于ai课堂行为识别的教学评估方法和系统
CN113239915B (zh) 一种课堂行为的识别方法、装置、设备及存储介质
Zhao et al. Implementation of online teaching behavior analysis system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination