CN112613444A - 一种行为检测的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种行为检测的方法、装置、电子设备及存储介质，其中，该方法包括：获取摄像装置拍摄的视频流；针对获取的视频流中的人物图像，对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；目标行为包括至少一种表征注意力不集中的不规范学习行为；根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题。本公开通过目标行为检测实现了有关不规范学习行为的自动检测，从而可以自动确定学习注意力情况，以便给与学生及时的学习指导。

Description

一种行为检测的方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种行为检测的方法、装置、电子设备及存储介质。

背景技术

现如今，人们对儿童的教育越来越重视，很多家长都会花费很多心思在孩子的教学成长道路上。其中，学生注意力是学生学习的基础，注意力不集中表现为好动、东张西望等，注意力不集中容易造成学习效率低，养成不良习惯。

目前，针对注意力不集中的问题，主要依赖于家庭教育，通过言传身教，促使孩子养成良好的学习习惯。实际上，很多家长的工作都比较忙，用于监督孩子学习的时间比较少，家长不能很好的及时了解孩子学习的情况，不能很好的知道孩子在学习的时候是否注意力集中。

发明内容

本公开实施例至少提供一种行为检测的方法、装置、电子设备及存储介质，通过目标行为检测实现了有关不规范学习行为的自动检测，从而可以自动确定学生的学习注意力情况，以便给与学生及时的学习指导。

第一方面，本公开实施例提供了一种行为检测的方法，包括：

获取摄像装置拍摄的视频流；

针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；所述目标行为包括至少一种表征注意力不集中的不规范学习行为；

根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

这里，首先可以基于获取的视频流中的人物图像进行目标行为检测，而后可以基于检测得到的目标行为检测结果确定目标人物是否存在注意力不集中问题。由于本公开实施例是针对表征注意力不集中的不规范学习行为的行为检测，因而可以及时的捕捉目标人物注意力不集中的学习状态，进而可以采取相应的学习指导方案来引导目标人物养成良好的学习习惯。

在一种可能的实施方式中，所述方法还包括：

响应于所述人物图像指示的所述目标人物存在注意力不集中问题，向与所述摄像装置存在关联的管理客户端发送所述目标行为检测结果。

这里，在确定目标人物存在注意力不集中问题的时候，可以向与摄像装置存在关联的管理客户端发送目标行为检测结果，以便管理人员可以及时的了解目标人物的学习情况，并给予相应的学习指导。

在一种可能的实施方式中，所述方法还包括：

响应于所述人物图像指示的所述目标人物存在注意力不集中问题，基于所述目标行为检测结果，通过所述摄像装置输出行为规范提示信息，和/或，通过与所述摄像装置存在关联的管理客户端输出所述行为规范提示信息。

这里，在确定目标人物存在注意力不集中问题的时候，一方面可以直接通过摄像装置输出行为规范提示信息提示目标人物调整学习状态，另一方面可以通过管理客户端输出行为规范提示信息，以便管理人员很好的进行规范提示，起到良好的监督作用。

在一种可能的实施方式中，所述根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括：

获取所述视频流中产生所述目标行为的行为持续时间；

根据所述目标行为检测结果以及所述行为持续时间，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

本公开实施例中，为了进一步提升注意力不集中问题判断的准确性，可以结合目标行为检测结果以及目标行为对应的行为持续时间来确定目标人物是否存在注意力不集中问题。

在一种可能的实施方式中，所述根据所述目标行为检测结果以及所述行为持续时间，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括：

响应于所述目标行为检测结果指向的第一不规范学习行为的行为持续时间大于第一预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题；

响应于所述目标行为检测结果指向的多个第二不规范行为的行为累计时间大于第二预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题，所述多个第二不规范行为的行为累计时间为至少部分第二不规范行为的行为持续时间之和。

这里，可以结合某个不规范学习行为的行为持续时间或者多个不规范行为的行为累计时间的阈值判断结果，来确定目标人物存在注意力不集中问题，从而有效避免了作用时间短的行为对于注意力检测的误检情况，提升了注意力检测的准确性。

在一种可能的实施方式中，所述根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括：

响应于所述目标行为检测结果指向的多个第三不规范行为的行为累计次数大于第三预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题。

这里，可以结合多个不规范行为的行为累计次数的阈值判断结果，来确定目标人物存在注意力不集中问题，从而有效避免了对于注意力检测的误检情况，提升了注意力检测的准确性。

在一种可能的实施方式中，所述人物图像包括台面，所述目标行为包括以下行为中的任意一种或任意多种：

所述目标人物离开所述台面对应区域；

所述目标人物趴在所述台面上；

所述目标人物的多动行为；

所述目标人物转头和/或转身。

在一种可能的实施方式中，在所述目标行为包括所述目标人物离开所述台面对应区域的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述人物图像中的目标人物进行人体检测，确定所述人物图像指示的目标人物是否处于所述人脸图像中的预设学习区域内；

在确定未处于所述人脸图像中的预设学习区域内的情况下，确定所述目标人物存在离开所述台面对应区域的行为。

在一种可能的实施方式中，在所述目标行为包括所述目标人物趴在所述台面上的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述人物图像中的目标人物进行姿态识别，确定所述人物图像指示的目标人物的第一位姿信息以及所述人物图像指示的所述台面的第二位姿信息；

在所述目标人物的第一位姿信息以及所述台面的第二位姿信息之间的相对位姿信息符合预设位姿的情况下，确定所述目标人物存在趴在所述台面上的行为。

在一种可能的实施方式中，所述对所述人物图像中的目标任务进行姿态识别，确定所述人物图像指示的目标人物的第一位姿信息，包括：

利用训练好的姿态识别神经网络对所述人物图像中的目标任务进行姿态识别，确定人物图像指示的目标人物的第一位姿信息；所述姿态识别神经网络是基于多组对应关系训练得到的，所述对应关系包括人物图像样本与目标位姿之间的匹配关系。

本公开实施例中，利用训练好的姿态识别神经网络对目标人物进行姿态识别，可以确定目标人物的第一位姿信息，由于姿态识别神经网络是预先训练好的，所以直接将人物图像输入到这一神经网络即可以输出第一位姿信息，操作简单高效。

在一种可能的实施方式中，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物的多动行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中的每张人物图像中的目标人物进行人体检测，确定所述目标人物的人体姿态变化频率；所述人体姿态变化频率用于表示所述目标人物在指定时段内变换姿态的次数；

在确定所述目标人物的人体姿态变化频率超过预设频率的情况下，确定所述目标人物存在多动行为。

在一种可能的实施方式中，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物转头的行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中的每张人物图像中的目标人物进行人脸检测，确定每张人物图像指示的目标人物对应的人脸检测框；

对每个所述人脸检测框内包含的人脸图片进行人脸关键点检测，确定所述人脸图片所包含人脸的人脸转动角度信息；

在所述人脸转动角度信息大于第一预设角度的转动持续时间超过第一预设时长的情况下，确定所述目标人物存在转头的行为。

在一种可能的实施方式中，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物转身的行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中每张人物图像中的目标人物进行人体检测，确定每张人物图像指示的目标人物对应的人体检测框；

获取所述人体检测框包括的各顶点分别在所述人物图像中的位置坐标；

基于所述位置坐标，确定所述人体检测框框选的目标人体的人体倾斜角度信息；所述人体倾斜角度信息用于反映所述目标人物的身体相对于直立状态下的偏离角度；

在所述人体倾斜角度信息大于第二预设角度的倾斜持续时间超过第二预设时长的情况下，确定所述目标人物存在转身的行为。

在一种可能的实施方式中，所述方法还包括：

针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行姿态检测，确定所述目标人物的姿态检测信息；

响应于所述姿态检测信息指示所述目标人物的姿态属于异常姿态，生成姿态矫正提示信息。

采用上述行为检测的方法，在获取到人物图像的情况下，可以基于人物图像确定目标人物的姿态检测信息，在确定这一姿态检测信息指示的姿态存在异常的情况下，即可以生成姿态矫正提示信息以进行姿态矫正提示。可知，上述姿态检测的整个过程，仅需利用获取到的人物图像即可以实现实时的姿态矫正提示，省时省力。

在一种可能的实施方式中，在所述生成姿态矫正提示信息之后，所述方法还包括：

通过所述摄像装置和/或与所述摄像装置存在关联的管理客户端，输出所述姿态矫正提示信息。

在一种可能的实施方式中，所述对所述人物图像中的目标人物进行姿态检测，确定所述目标人物的姿态检测信息，包括：

对所述人物图像中的目标人物进行人物检测，生成位于所述人物图像中的检测框；

基于生成的所述检测框，确定所述目标人物的姿态检测信息。

在一种可能的实施方式中，所述方法还包括：

基于目标时段内所述目标人物的姿态检测信息和/或目标行为检测结果，生成所述目标人物在所述目标时间段内的学习报告。

第二方面，本公开实施例还提供了一种行为检测的装置，包括：

获取模块，用于获取摄像装置拍摄的视频流；

生成模块，用于针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；所述目标行为包括至少一种表征注意力不集中的不规范学习行为；

确定模块，用于根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的行为检测的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的行为检测的方法的步骤。

关于上述行为检测的装置、电子设备、及计算机可读存储介质的效果描述参见上述行为检测的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种行为检测的方法的流程图；

图2示出了本公开实施例所提供的行为检测的方法中，摄像装置的部署示意图；

图3(a)示出了本公开实施例所提供的行为检测的方法中，人体检测框在直立状态下的示意图；

图3(b)示出了本公开实施例所提供的行为检测的方法中，人体检测框在平躺状态下的示意图；

图4示出了本公开实施例所提供的一种行为检测的装置的示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，目前，针对注意力不集中的问题，主要依赖于家庭教育，通过言传身教，促使孩子养成良好的学习习惯。实际上，很多家长的工作都比较忙，用于监督孩子学习的时间比较少，家长不能很好的及时了解孩子学习的情况，不能很好的知道孩子在学习的时候是否注意力集中。

基于上述研究，本公开提供了一种行为检测的方法、装置、电子设备及存储介质，通过目标行为检测实现了有关不规范学习行为的自动检测，从而可以自动确定学习注意力情况，以便给与学生及时的学习指导。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种行为检测的方法进行详细介绍，本公开实施例所提供的行为检测的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该行为检测的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的行为检测的方法的流程图，方法包括步骤S101～S103，其中：

S101：获取摄像装置拍摄的视频流；

S102：针对获取的视频流中的人物图像，对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；目标行为包括至少一种表征注意力不集中的不规范学习行为；

S103：根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题。

这里，为了便于理解本公开实施例提供的行为检测的方法，首先对该行为检测的方法的应用场景进行详细描述。上述行为检测的方法主要可以应用于学生教育，尤其是对于低学龄儿童的课后教育中。对于低学龄儿童而言，完成家庭作业是其学习阶段不可或缺的一个环节，而一个良好姿态的学习习惯可以帮助儿童更好更快的完成家庭作业。

目前，在以家庭方式为主的课后教育中，考虑到用于监督孩子学习的时间比较少，家长不能很多好的了解孩子在学习的时候是否注意力集中，特别是在注意力不集中的时候，不良的学习习惯将导致学生的学习效率低下。

正是为了解决这一问题，本公开实施例才提供了一种基于行为检测自动确定学生是否存在注意力不集中问题的方案，可以自动确定学生的学习注意力情况，以便给与学生及时的学习指导。

其中，本公开实施例中的视频流可以是摄像装置采集的，通过对视频流进行分帧可以得到上述人物图像。

考虑到本公开实施例所提供的行为检测的方法的具体应用场景，这里的人物图像可以是包含学生人脸、人手、台面(比如，书桌)、人体(比如，学生上半身)的图像。在具体应用中可以将摄像装置设置于书桌上，将摄像装置的摄像头面向人体，并位于学习位置前方。这里，可以将摄像装置设置在距离人体0.5m-0.6m的位置，与此同时，可以将摄像装置正对人体设置，也可以是设置在一个较小的偏离范围内，例如，可以将摄像装置设置在偏离人体正前方的左边的15°范围内。为了采集到图像质量更高的人物图像，这里可以将摄像装置正对人体设置，如图2所示。

针对视频流中的人物图像，可以基于目标行为检测确定目标行为检测结果。这里的目标行为可以是包括表征注意力不集中的不规范学习行为，这样，基于目标行为检测结果可以确定目标人物是否存在注意力不集中问题。

本公开实施例中的不规范学习行为可以包括学习场景下任何注意力不集中的表现行为，例如，可以是在学习时间段内学生离开台面对应区域的行为，还可以是学生趴在台面上的行为，还可以是学生多动的行为、学生转头、转身等行为。除此之外，本公开实施例中的不规范学习行为还可以包括其它表现行为，这里不做赘述。

针对不同种类的不规范学习行为可以采用不同的行为检测方法，在实际应用中，可以同时采用多种行为检测方法对各类不规范学习行为进行检测，以及时的捕捉到影响注意力集中的是哪一个或哪一些不规范学习行为，从而可以进行针对性的学习指导。

例如，可以是在确定学生存在趴在书桌上的行为的情况下，观测学生的睡眠是否不充足才导致这一行为，并能够在确定是睡眠不足导致的注意力不集中问题的情况下，及时的调整学生的作息时间；再如，可以是在确定存在转头的行为的情况下，观测是否存在其它吸引学生注意力的因素，如电视节目、玩具等等，并能够在确定是上述因素导致注意力不集中问题的情况下，及时的调整学习环境。

本公开实施例提供的行为检测的方法，在确定目标人物存在注意力不集中问题的情况下，一方面可以通过管理客户端所对应管理者的督促方式来改进注意力不集中的问题，另一方面可以直接通过摄像装置提醒学生需要保持注意力集中。其中，上述管理客户端可以是与摄像装置存在关联关系的客户端，在对应学习场景下，这里的管理者可以对应学生的监护人，例如，家长，管理客户端则可以是家长客户端。

这里，可以响应于目标人物存在注意力不集中的问题，向管理客户端发送目标行为检测结果，家长可以利用其客户端查看目标人物所存在的不规范学习行为，并可以针对所存在的不规范学习行为，与目标人物进行有效沟通，及时的给与学生指导，以达到可以提升学生注意力的目的。

需要说明的是，有关目标行为检测结果可以是针对每个目标学习时间段所生成的，这样，家长可以系统的了解学生的学习情况，从而找到可以避免学生注意力不集中问题的实质解决方案。

本公开实施例还可以在确定目标人物存在注意力不集中问题的情况下，基于目标行为检测结果确定行为规范提示信息，并通过上述管理客户端输出行为规范提示信息，这样，在学生家长收到行为规范提示信息的提示的情况下，可以及时的给予针对性的学习指导，例如在家长在家的情况下，可以直接进行注意力规范的相关干预行为。

另外，上述行为规范提示信息还可以是通过摄像装置输出的，这里，可以采用实时语音提醒的方式来提醒学生应当规范自身的学习行为，避免注意力不集中问题，从而帮助学生养成良好的学习习惯。

本公开实施例中，为了进一步提升注意力不集中问题判断的准确性，可以结合目标行为检测结果以及目标行为对应的行为持续时间来确定目标人物是否存在注意力不集中问题。

这里，即使目标人物存在不规范学习行为，但行为持续时间或者行为累计时间或者行为累计次数无法满足预设阈值，也不能确定目标人物存在注意力不集中问题，从而有效避免了作用时间短的不规范学习行为对于注意力检测的误检情况，提升了注意力检测的准确性。

这里的行为持续时间可以是针对每一种不规范学习行为的持续时间，对应可以设置有第一预设阈值。

上述第一预设阈值不宜过大，也不宜过小，过大的预设阈值将导致注意力不集中的漏检，过小的预设阈值则无法有效筛除掉作用时间短的不规范学习行为对于注意力不集中的误检情况，本公开实施例可以基于不同的不规范学习行为设置对应的第一预设阈值。

例如，针对学生离开书桌这一不规范学习行为，这里的第一预设阈值可以设置为10秒，也即，在一个学生持续离开书桌10秒以上可以认为该学生存在注意力不集中问题；再如，针对学生趴在书桌这一不规范学习行为，可以设置的第一预设阈值为5分钟，也即，在一个学生持续趴在书桌5分钟以上可以认为学生存在注意力不集中问题；再如，针对学生多动这一不规范行为，可以设置的第一预设阈值为10秒，也即，在一个学生持续多动10秒以上可以认为该学生存在注意力不集中问题；再如，针对转头这一不规范行为，可以设置的第一预设阈值为2秒，也即，在一个学生持续转头3秒以上可以认为该学生存在注意力不集中问题。

这里的行为累计时间可以是针对各种不规范学习行为的行为持续时间和值，对应可以设置有第二预设阈值。例如，这里，可以是将第二预设阈值设置为5分钟，在多种不规范学习行为的行为持续时间的和值达到5分钟的情况下，可以认为存在注意力不集中的问题。也即，这里可以综合多种不规范学习行为确定是否存在注意力不集中问题，从而可以从整体上评估一个学生的注意力情况。

同理，这里的第二预设阈值设置的不宜过大，也不宜过小，具体设置方式参见上述第一预设阈值的描述，在此不再赘述。

本公开实施例中的行为累计次数也可以是针对各种不规范学习行为的，例如，第三预设阈值设置为2次，可以是在确定出现了学生离开书桌、学生趴在书桌、学生转头这三次不规范行为的情况下，确定学生存在注意力不集中的问题。

同理，这里的第三预设阈值设置的不宜过大，也不宜过小，具体设置方式参见上述第一预设阈值的描述，在此不再赘述。

考虑到针对不同的不规范学习行为，所具体采用的目标行为检测方法也不同，接下来可以分别就多种不规范学习行为进行目标行为检测的过程分别进行描述。

在目标行为包括目标任务离开台面对应区域的情况下，可以按照如下步骤确定目标行为检测结果：

步骤一、对人物图像中的目标人物进行人体检测，确定人物图像指示的目标人物是否处于人脸图像中的预设学习区域内；

步骤二、在确定未处于人脸图像中的预设学习区域内的情况下，确定目标人物存在离开台面对应区域的行为。

这里，考虑到预设学习区域与台面对应区域之间的关联关系，可以基于人物图像进行人体检测，确定目标人物是否处于预设学习区域内，若处于预设学习区域内，则说明学生不存在离开台面的行为，若未处于预设学习区域内，则说明存在离开台面的行为。

在实际应用中，上述人体检测可以针对的是学生人脸的检测，还可以是学生上半个身体的检测，还可以是学生手部的检测，还可以是其它人体部位的检测，也即，不管是人脸、人手、还是整个身体不在预设学习区域的情况下，均可以说明学生存在离开台面的行为，说明学生的注意力存在不集中问题。

其中，上述预设学习区域可以是预先设置的区域，在进行摄像装置安装的情况下，可以基于该预设学习区域进行校准，这样，在采集的人物图像上可以对应有与预设学习区域对应的区域。这样，在基于图像识别技术确定出人体离开这一区域的情况下即可以确定学生不在预设学习区域内。

在目标行为包括目标人物趴在台面上的情况下，可以按照如下步骤确定目标行为检测结果：

步骤一、对人物图像中的目标任务进行姿态识别，确定人物图像指示的目标人物的第一位姿信息以及人物图像指示的台面的第二位姿信息；

步骤二、在目标人物的第一位姿信息以及台面的第二位姿信息之间的相对位姿信息符合预设位姿的情况下，确定目标人物存在趴在台面上的行为。

这里，可以同时对于目标人物的第一位姿信息以及台面的第二位姿信息进行识别，识别之后，可以验证目标人物与台面之间的相对位姿信息是否符合预设位姿，在确定符合预设位姿的情况下，确定存在趴在台面上的行为。

在实际的学习场景中，有关台面的位姿通常不会有较大的变化，这样，一旦摄像装置相对台面的相对距离确定，该台面在图像中的第二位姿信息也随之确定。

针对目标人物的第一位姿信息，是可以随着目标人物的学习状态而发生变化的。这里，可以利用训练好的姿态识别神经网络对人物图像中的目标人物进行姿态识别，确定目标人物的第一位姿信息。

其中，上述姿态识别神经网络可以是基于多张人物图像样本以及针对每张人物图像样本从多种预设位姿中确定的目标位姿训练得到的。这里的姿态识别神经网络训练的是人物图像样本与目标位姿之间的匹配关系。

在具体应用中，所采用的多张人物图像样本可以是基于当前应用环境，利用部署在书桌上方的摄像装置采集的人物图像。通常情况下，所采集的原始人物图像不仅会包含人体本身，还会包括书桌、书本等其它物体，这里，可以对采集的原始人物图像进行人体检测框的标注，以确定人体检测框所框选人体的目标位姿等信息，得到框选后的人物图像样本。

其中，人体检测框所框选人体的目标位姿可以是从多种预设位姿中确定的，这里的预设位姿可以包括但不限于以下位姿：坐立、趴、手撑头等。

在执行框选操作的情况下，可以将框选有人体检测框的人物图像样本作为待训练的姿态识别神经网络的数据训练集，并逐个输入到待训练的姿态识别神经网络中，进行多轮网络训练，直到网络输出的结果与标注结果一致，可以得到所训练的姿态识别神经网络的网络参数。

在获取到人物图像，并意图进行位姿识别的情况下，可以将该人物图像输入到训练好的姿态识别神经网络，利用训练好的网络参数可以确定人物图像指示的目标人物的第一位姿信息。

在目标行为包括目标人物的多动行为的情况下，可以按照如下步骤确定目标行为检测结果：

步骤一、对多张人物图像中每张人物图像中的目标人物进行人体检测，确定目标人物的人体姿态变化频率；人体姿态变化频率用于表示目标人物在指定时段内变换姿态的次数；

步骤二、在确定目标人物的人体姿态变化频率超过预设频率的情况下，确定目标人物存在多动行为。

这里，考虑到多动特征是学生注意力不集中的常见不规范学习行为，这里，可以基于人体姿态变化频率来确定目标人物是否存在多动行为。

其中，上述人体姿态变化频率可以是针对多张人物图像中的每张人物图像中的目标人物分别进行人体检测，并确定对应的人体姿态的情况下，基于人体姿态的统计结果所确定的。这里的多张人物图像可以是连续帧，连续帧画面可以对应目标人物姿态的动态变化效果。

例如，在一段时间内，目标人物由向右倾斜35°变换到向右倾斜20°，再由向右倾斜20°变换到向左倾斜10°，通过针对连续帧的人体检测，可以确定目标人物在单位时间内变换位姿的次数，变换的次数越多说明该学生存在多动行为的可能性越大，本公开实施例可以在确定超过预设频率的情况下，确定目标人物存在多动的行为。

需要说明的是，这里的人体检测可以针对的是学生人脸的检测，还可以是学生上半个身体的检测，还可以是学生手部的检测，还可以是其它人体部位的检测，也即，不管是人脸、人手、还是整个身体发生变大的位姿变化，均可以说明学生存在多动行为，说明学生的注意力存在不集中问题。

在目标行为包括目标人物转头的行为的情况下，可以按照如下步骤确定目标行为检测结果：

步骤一、对多张人物图像中每张人物图像中的目标人物进行人脸检测，确定在每张人物图像指示的目标人物对应的人脸检测框；

步骤二、对每个人脸检测框内包含的人脸图片进行人脸关键点检测，确定人脸图片所包含人脸的人脸转动角度信息；

步骤三、在人脸转动角度信息大于预设角度的转动持续时间超过第一预设时长的情况下，确定目标人物存在转头的行为。

本公开实施例中，针对转头行为的检测，主要是基于目标人物对应的人脸检测框的人脸转动角度的检测。

这里，首先可以对人脸检测框内包含的人脸图片进行人脸关键点检测，以确定人脸关键点信息，该人脸关键点信息指示的可以是人脸关键点的三维角度信息(对应pitch,yaw,roll)，基于人脸关键点的三维角度信息可以确定出人脸图片所包含人脸的人脸转动角度信息，例如，可以是人脸正面相对摄像头视角的偏差角度。

其中，人脸转动角度信息对应的角度值越大，一定程度上说明存在转头的幅度越大，为了确保转头行为检测的准确性，这里可以在上述人脸转动角度信息对应的角度值大于预设角度(如100°)的转动持续时间超过第一预设时长(如持续大角度转头2分钟)的情况下，可以说明学生存在转头的行为，说明学生的注意力存在不集中问题。

在目标行为包括目标人物转身的行为的情况下，可以按照如下步骤确定目标行为检测结果：

步骤一、对多张人物图像中每张人物图像中的目标人物进行人体检测，确定每张人物图像指示的目标人物对应的人体检测框；

步骤二、获取人体检测框包括的各顶点分别在人物图像中的位置坐标；

步骤三、基于位置坐标，确定人体检测框框选的目标人体的人体倾斜角度信息；人体倾斜角度信息用于反映目标人物的身体相对于直立状态下的偏离角度；

步骤四、在人体倾斜角度信息大于第二预设角度的倾斜持续时间超过第二预设时长的情况下，确定目标人物存在转身的行为。

这里，考虑到人体在处于不同位姿的情况下，其人体检测框包括的各顶点的相对位置关系也不同。这里，可以以人物图像的左下角为原点，以指向图像左上角的方向以及指向图像右下角的方向分别为纵轴正方向和横轴正方向建立图像坐标系。

这里，可以结合图3(a)和图3(b)分别示例出的直立状态以及平躺状态下的人体检测框示意图，对上述相对位置关系进行说明。

如图3(a)所示，对于直立状态下的人体检测框，其右上边角A的纵向位置坐标值要大于左下边角C的纵向位置坐标值，这里，将直立状态下的人体检测框向右旋转90°，可以对应平躺状态下的人体检测框，此时，右上边角A变换到右下边角，左下边角C对应变换到左上边角，此时，右下边角A的纵向位置坐标值要小于左上边角C的纵向位置坐标值，如图3(b)所示。

基于上述描述，在人体检测框为长方形的情况下，本公开实施例基于各顶点分别对应的位置坐标可以确定长方形的两个长边相对纵轴(对应人体直立状态)的偏离角度，也即可以确定出人体倾斜角度信息。

其中，人体倾斜角度信息对应的角度值越大，一定程度上说明学生注意力不集中的可能性越高。为了确保检测的准确性，这里可以在上述人体倾斜角度信息对应的角度值大于预设角度(如30°)的倾斜持续时间超过第二预设时长(如持续大角度转身3分钟)的情况下，可以说明学生存在转身的行为，说明学生的注意力存在不集中问题。

本公开实施例提供的行为检测的方法不仅可以进行不规范学习行为的检测，还可以进行姿态检测，本公开实施例中，可以按照如下步骤进行姿态矫正提示：

步骤一、针对获取的视频流中的人物图像，对人物图像中的目标人物进行姿态检测，确定目标人物的姿态检测信息；

步骤二、响应于姿态检测信息指示目标人物的姿态属于异常姿态，生成姿态矫正提示信息。

本公开实施例能够在检测到异常情况时，生成姿态矫正提示信息，以及时进行姿态矫正提示。这样可以在无专人监督的情况下，督促学生形成良好的学习习惯。

在获取到人物图像的情况下，可以基于图像分析结果确定人物图像包括的目标人物的姿态检测信息。这里的姿态检测信息不仅可以包括人体倾斜相关的坐姿姿态，还可以包括人脸转动相关的人脸姿态，除此之外，还可以包括手部姿态等，这里不做具体的限制。

不管是哪种姿态发生异常，均可以生成姿态矫正提示信息，例如，人体向第一方向倾斜了30°，这时，可以生成需要向第一方向的相反方向矫正的提示信息，可选的还可以为在提示信息中提示具体的建议旋转角度，比如，30°，从而自动实现了姿态矫正提示，督促学生养成良好的学习习惯。

本公开实施例中，一方面可以直接利用摄像装置输出姿态矫正提示信息以进行姿态矫正提示，这里，可以在摄像装置中集成第一语音输出装置，在确定目标任务存在异常姿态的情况下，可以通过第一语音输出装置播放包含上述姿态矫正提示信息的第一音频信息，例如，可以播放“请注意，当前姿态存在异常，请回转30°”。

另一方面，本公开实施例中，还可以向摄像装置存在关联的管理客户端输出姿态矫正提示信息，以通过管理客户端提示管理者，目标人物存在姿态异常的情况。这里的管理者可以是与目标人物绑定的用户，如目标人物是学生，则管理者可以是家长。

本公开实施例中的第一语音输出装置和第二语音输出装置可以是麦克风，还可以是其它能够进行语音输出的装置，这里不做具体的限制。

本公开实施例提供的行为检测的方法中，可以按照如下步骤确定目标人物的姿态检测信息：

步骤一、对人物图像中的目标人物进行人物检测，生成位于人物图像中的检测框；

步骤二、基于生成的检测框，确定目标人物的姿态检测信息。

这里，首先可以基于人物检测，生成检测框，也即，可以先确定目标人物在人物图像中的图像位置，而后可以进行姿态信息检测，确定姿态检测信息。

本公开实施例提供的行为检测的方法中，检测框不仅可以进行是针对人体进行检测的人体检测框，还可以是针对人脸进行检测的人脸检测框。另外，本公开实施例中，针对人体检测框可以进行坐姿检测，针对人脸检测框则可以进行人脸转动检测。

本公开实施例中，不管是人体姿态出现异常，还是人脸姿态出现异常，均可以基于生成的姿态矫正提示信息进行提示。

其中，这里的姿态矫正提示信息可以是针对坐姿的矫正提示，还可以是针对人脸转动的矫正提示，还可以是上述两种矫正提示的结合。例如，可以在确定出目标人物的人体存在向左倾斜45°的姿态检测结果的情况下，生成用于调整人体向右移动45°的矫正提示信息，再如，可以是在确定出目标人物的人脸存在向后转动45°的姿态检测结果的情况下，生成用于调整人脸向前转动45°的矫正提示信息。

在具体应用中，可以将姿态矫正提示信息进行语音播报以提醒当前学习场景下的目标人物及时的进行人体或人脸的姿态矫正，还可以是将姿态矫正提示信息发送至与目标人物对应的管理客户端，家长通过其客户端接收的矫正提示信息可以督促学生养成良好的学习习惯。

本公开实施例中提供的行为检测的方法，还可以生成可视化的学习报告。

这里，可以基于一段时间内得到的姿态检测信息，生成目标人物在目标时段内的姿态学习报告。例如，以每天下午5点至6点为目标时段，每经历一天的学习即可以生成一份学习报告，通过多天(例如一个月)生成的学习报告，以便对目标人物的学习习惯进行跟踪，从而提供更具针对性的学习指导。

此外，还可以基于一段时间内得到的目标行为检测结果，生成目标人物在目标时段内的注意力学习报告。仍以每天下午5点至6点为目标时段，每经历一天的学习即可以生成一份学习报告为例，通过多天(例如一个月)生成的注意力学习报告，能够对目标人物的注意力行为进行掌握。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与行为检测的方法对应的行为检测的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述行为检测的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图4所示，为本公开实施例提供的一种行为检测的装置的示意图，装置包括：获取模块401、生成模块402、确定模块403；其中，

获取模块401，用于获取摄像装置拍摄的视频流；

生成模块402，用于针对获取的视频流中的人物图像，对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；目标行为包括至少一种表征注意力不集中的不规范学习行为；

确定模块403，用于根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题。

本公开实施例首先可以基于获取的人物图像进行目标行为检测，而后可以基于检测得到的目标行为检测结果确定目标人物是否存在注意力不集中问题。由于本公开实施例是针对表征注意力不集中的不规范学习行为的行为检测，因而可以及时的捕捉目标人物注意力不集中的学习状态，进而可以采取相应的学习指导方案来引导目标人物养成良好的学习习惯。

在一种可能的实施方式中，上述装置还包括：

发送模块404，用于响应于人物图像指示的目标人物存在注意力不集中问题，向与摄像装置存在关联的管理客户端发送目标行为检测结果。

在一种可能的实施方式中，上述装置还包括：

输出模块405，用于响应于人物图像指示的目标人物存在注意力不集中问题，基于目标行为检测结果，通过摄像装置输出行为规范提示信息，和/或，通过与摄像装置存在关联的管理客户端输出行为规范提示信息。

在一种可能的实施方式中，确定模块403，用于按照以下步骤根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题：

获取视频流中产生目标行为的行为持续时间；

根据目标行为检测结果以及行为持续时间，确定人物图像指示的目标人物是否存在注意力不集中问题。

在一种可能的实施方式中，确定模块403，用于按照以下步骤根据目标行为检测结果以及行为持续时间，确定人物图像指示的目标人物是否存在注意力不集中问题：

响应于目标行为检测结果指向的第一不规范学习行为的行为持续时间大于第一预设阈值的情况下，确定人物图像指示的目标人物存在注意力不集中问题；

响应于目标行为检测结果指向的多个第二不规范行为的行为累计时间大于第二预设阈值的情况下，确定人物图像指示的目标人物存在注意力不集中问题，多个第二不规范行为的行为累计时间为至少部分第二不规范行为的行为持续时间之和。

在一种可能的实施方式中，确定模块403，用于按照以下步骤根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题：

响应于目标行为检测结果指向的多个第三不规范行为的行为累计次数大于第三预设阈值的情况下，确定人物图像指示的目标人物存在注意力不集中问题。

在一种可能的实施方式中，人物图像包括台面，目标行为包括以下行为中的任意一种或任意多种：

目标人物离开台面对应区域；

目标人物趴在台面上；

目标人物的多动行为；

目标人物转头和/或转身。

在一种可能的实施方式中，在目标行为包括目标人物离开台面对应区域的情况下，生成模块402，用于按照以下步骤对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果：

对人物图像中的目标人物进行人体检测，确定人物图像指示的目标人物是否处于人脸图像中的预设学习区域内；

在确定未处于人脸图像中的预设学习区域内的情况下，确定目标人物存在离开台面对应区域的行为。

在一种可能的实施方式中，在目标行为包括目标人物趴在台面上的情况下，生成模块402，用于按照以下步骤对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果：

对人物图像中的目标人物进行姿态识别，确定人物图像指示的目标人物的第一位姿信息以及人物图像指示的台面的第二位姿信息；

在目标人物的第一位姿信息以及台面的第二位姿信息之间的相对位姿信息符合预设位姿的情况下，确定目标人物存在趴在台面上的行为。

在一种可能的实施方式中，生成模块402，用于按照以下步骤人物图像中的目标人物进行姿态识别，确定人物图像指示的目标人物的第一位姿信息：

利用训练好的姿态识别神经网络对人物图像中的目标任务进行姿态识别，确定人物图像指示的目标人物的第一位姿信息；姿态识别神经网络是基于多组对应关系训练得到的，对应关系包括人物图像样本与目标位姿之间的匹配关系。

在一种可能的实施方式中，视频流中的人物图像为多张，在目标行为包括目标人物的多动行为的情况下，生成模块402，用于按照以下步骤对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果：

对多张人物图像中的每张人物图像中的目标人物进行人体检测，确定目标人物的人体姿态变化频率；人体姿态变化频率用于表示目标人物在指定时段内变换姿态的次数；

在确定目标人物的人体姿态变化频率超过预设频率的情况下，确定目标人物存在多动行为。

在一种可能的实施方式中，视频流中的人物图像为多张，在目标行为包括目标人物转头的行为的情况下，生成模块402，用于按照以下步骤对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果：

对多张人物图像中的每张人物图像中的目标人物进行人脸检测，确定在每张人物图像指示的目标人物对应的人脸检测框；

对每个人脸检测框内包含的人脸图片进行人脸关键点检测，确定人脸图片所包含人脸的人脸转动角度信息；

在人脸转动角度信息大于第一预设角度的转动持续时间超过第一预设时长的情况下，确定目标人物存在转头的行为。

在一种可能的实施方式中，视频流中的人物图像为多张，在目标行为包括目标人物转身的行为的情况下，生成模块402，用于按照以下步骤对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对多张人物图像中每张人物图像中的目标人物进行人体检测，确定每张人物图像指示的目标人物对应的人体检测框；

获取人体检测框包括的各顶点分别在人物图像中的位置坐标；

基于位置坐标，确定人体检测框框选的目标人体的人体倾斜角度信息；人体倾斜角度信息用于反映目标人物的身体相对于直立状态下的偏离角度；

在人体倾斜角度信息大于第二预设角度的倾斜持续时间超过第二预设时长的情况下，确定目标人物存在转身的行为。

在一种可能的实施方式中，上述装置还包括：

矫正模块406，用于针对获取的视频流中的人物图像，对人物图像中的目标人物进行姿态检测，确定目标人物的姿态检测信息；响应于姿态检测信息指示目标人物的姿态属于异常姿态，生成姿态矫正提示信息。

在一种可能的实施方式中，矫正模块406，还用于：

在生成姿态矫正提示信息之后，通过摄像装置和/或与摄像装置存在关联的管理客户端，输出姿态矫正提示信息。

在一种可能的实施方式中，矫正模块406，用于按照以下步骤对人物图像中的目标人物进行姿态检测，确定目标人物的姿态检测信息：

对人物图像中的目标人物进行人物检测，生成位于人物图像中的检测框；

基于生成的检测框，确定目标人物的姿态检测信息。

在一种可能的实施方式中，上述装置还包括：

报告模块407，用于基于目标时段内目标人物的姿态检测信息和/或目标行为检测结果，生成目标人物在目标时间段内的学习报告。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图5所示，为本公开实施例提供的电子设备结构示意图，包括：处理器501、存储器502、和总线503。存储器502存储有处理器501可执行的机器可读指令(比如，图4中的装置中获取模块401、生成模块402、确定模块403对应的执行指令等)，当电子设备运行时，处理器501与存储器502之间通过总线503通信，机器可读指令被处理器501执行时执行如下处理：

获取摄像装置拍摄的视频流；

针对获取的视频流中的人物图像，对人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；目标行为包括至少一种表征注意力不集中的不规范学习行为；

根据目标行为检测结果，确定人物图像指示的目标人物是否存在注意力不集中问题。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行为检测的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的行为检测的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种行为检测的方法，其特征在于，包括：

获取摄像装置拍摄的视频流；

针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；所述目标行为包括至少一种表征注意力不集中的不规范学习行为；

根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述人物图像指示的所述目标人物存在注意力不集中问题，向与所述摄像装置存在关联的管理客户端发送所述目标行为检测结果。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

响应于所述人物图像指示的所述目标人物存在注意力不集中问题，基于所述目标行为检测结果，通过所述摄像装置输出行为规范提示信息，和/或，通过与所述摄像装置存在关联的管理客户端输出所述行为规范提示信息。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括：

获取所述视频流中产生所述目标行为的行为持续时间；

根据所述目标行为检测结果以及所述行为持续时间，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标行为检测结果以及所述行为持续时间，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括如下至少一项：

响应于所述目标行为检测结果指向的第一不规范学习行为的行为持续时间大于第一预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题；

响应于所述目标行为检测结果指向的多个第二不规范行为的行为累计时间大于第二预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题，所述多个第二不规范行为的行为累计时间为至少部分第二不规范行为的行为持续时间之和。

6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题，包括：

响应于所述目标行为检测结果指向的多个第三不规范行为的行为累计次数大于第三预设阈值的情况下，确定所述人物图像指示的目标人物存在注意力不集中问题。

7.根据权利要求1-6任一所述的方法，其特征在于，所述人物图像包括台面，所述目标行为包括以下行为中的至少一项：

所述目标人物离开所述台面对应区域；

所述目标人物趴在所述台面上；

所述目标人物的多动行为；

所述目标人物转头和/或转身。

8.根据权利要求7所述的方法，其特征在于，在所述目标行为包括所述目标人物离开所述台面对应区域的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述人物图像中的目标人物进行目标行为检测，确定所述人物图像指示的目标人物是否处于所述人脸图像中的预设学习区域内；

在确定未处于所述人脸图像中的预设学习区域内的情况下，确定所述目标人物存在离开所述台面对应区域的行为。

9.根据权利要求7或8所述的方法，其特征在于，在所述目标行为包括所述目标人物趴在所述台面上的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述人物图像中的目标人物进行姿态识别，确定所述人物图像指示的目标人物的第一位姿信息以及所述人物图像指示的所述台面的第二位姿信息；

在所述目标人物的第一位姿信息以及所述台面的第二位姿信息之间的相对位姿信息符合预设位姿的情况下，确定所述目标人物存在趴在所述台面上的行为。

10.根据权利要求9所述的方法，其特征在于，所述对所述人物图像中的目标人物进行姿态识别，确定所述人物图像指示的目标人物的第一位姿信息，包括：

利用训练好的姿态识别神经网络对所述人物图像中的目标人物进行姿态识别，确定所述人物图像指示的目标人物的第一姿态信息；所述姿态识别神经网络是基于多组对应关系训练得到的，所述对应关系包括人物图像样本与目标位姿之间的匹配关系。

11.根据权利要求7-10任一所述的方法，其特征在于，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物的多动行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中每张人物图像中的目标人物进行人体检测，确定所述目标人物的人体姿态变化频率；所述人体姿态变化频率用于表示所述目标人物在指定时段内变换姿态的次数；

在确定所述目标人物的人体姿态变化频率超过预设频率的情况下，确定所述目标人物存在多动行为。

12.根据权利要求7-11任一所述的方法，其特征在于，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物转头的行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中每张人物图像中的目标人物进行人脸检测，确定每张人物图像指示的目标人物对应的人脸检测框；

对每个所述人脸检测框内包含的人脸图片进行人脸关键点检测，确定所述人脸图片所包含人脸的人脸转动角度信息；

在所述人脸转动角度信息大于第一预设角度的转动持续时间超过第一预设时长的情况下，确定所述目标人物存在转头的行为。

13.根据权利要求7-12任一所述的方法，其特征在于，所述视频流中的人物图像为多张，在所述目标行为包括所述目标人物转身的行为的情况下，所述对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果，包括：

对所述多张人物图像中每张人物图像中的目标人物进行人体检测，确定每张人物图像指示的目标人物对应的人体检测框；

获取所述人体检测框包括的各顶点分别在所述人物图像中的位置坐标；

基于所述位置坐标，确定所述人体检测框框选的目标人体的人体倾斜角度信息；所述人体倾斜角度信息用于反映所述目标人物的身体相对于直立状态下的偏离角度；

在所述人体倾斜角度信息大于第二预设角度的倾斜持续时间超过第二预设时长的情况下，确定所述目标人物存在转身的行为。

14.根据权利要求1-13任一所述的方法，其特征在于，所述方法还包括：

针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行姿态检测，确定所述目标人物的姿态检测信息；

响应于所述姿态检测信息指示所述目标人物的姿态属于异常姿态，生成姿态矫正提示信息。

15.根据权利要求14所述的方法，其特征在于，在所述生成姿态矫正提示信息之后，所述方法还包括：

通过所述摄像装置和/或与所述摄像装置存在关联的管理客户端，输出所述姿态矫正提示信息。

16.根据权利要求14或15所述的方法，其特征在于，所述对所述人物图像中的目标人物进行姿态检测，确定所述目标人物的姿态检测信息，包括：

对所述人物图像中的目标人物进行人物检测，生成位于所述人物图像中的检测框；

基于生成的所述检测框，确定所述目标人物的姿态检测信息。

17.根据权利要求14-16任一所述的方法，其特征在于，所述方法还包括：

基于目标时段内所述目标人物的姿态检测信息和/或目标行为检测结果，生成所述目标人物在所述目标时间段内的学习报告。

18.一种行为检测的装置，其特征在于，包括：

获取模块，用于获取摄像装置拍摄的视频流；

生成模块，用于针对获取的所述视频流中的人物图像，对所述人物图像中的目标人物进行目标行为检测，得到目标行为检测结果；所述目标行为包括至少一种表征注意力不集中的不规范学习行为；

确定模块，用于根据所述目标行为检测结果，确定所述人物图像指示的所述目标人物是否存在注意力不集中问题。

19.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至17任一所述的行为检测的方法的步骤。

20.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至17任一所述的行为检测的方法的步骤。

Images