CN112464904A - 一种课堂行为分析方法、装置、电子设备及存储介质 - Google Patents

一种课堂行为分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112464904A
CN112464904A CN202011490307.6A CN202011490307A CN112464904A CN 112464904 A CN112464904 A CN 112464904A CN 202011490307 A CN202011490307 A CN 202011490307A CN 112464904 A CN112464904 A CN 112464904A
Authority
CN
China
Prior art keywords
behavior
image
classroom
sequence
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011490307.6A
Other languages
English (en)
Other versions
CN112464904B (zh
Inventor
赵鑫
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lexuebang Network Technology Co Ltd
Original Assignee
Beijing Lexuebang Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lexuebang Network Technology Co Ltd filed Critical Beijing Lexuebang Network Technology Co Ltd
Priority to CN202011490307.6A priority Critical patent/CN112464904B/zh
Publication of CN112464904A publication Critical patent/CN112464904A/zh
Application granted granted Critical
Publication of CN112464904B publication Critical patent/CN112464904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请实施例提供一种课堂行为分析方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法包括接收视频采集装置发送的图像序列；对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；根据所述关键点位置信息获取图像序列的时序行为；根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果，基于视频时序信息分析教师或学生的课堂行为状态，以解决现有方法无法反馈教师或学生的课堂行为状态的问题。

Description

一种课堂行为分析方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种课堂行为分析方法、装置、电子设备及存储介质。
背景技术
随着科技和教育的不断发展，越来越多的学生选择在线上课。但是，目前的在线上课方式，对学生和老师的行为没有任何约束，如果学生和老师出现不合时宜的行为时，无法作出相应提示和反馈。
发明内容
本申请实施例的目的在于提供一种课堂行为分析方法、装置、电子设备及存储介质，基于视频时序信息分析教师或学生的课堂行为状态，以解决现有方法无法反馈教师或学生的课堂行为状态的问题。
本申请实施例提供了一种课堂行为分析方法，所述方法包括：
接收视频采集装置发送的图像序列；
对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
在上述实现过程中，针对课堂直播教学场景，将单帧图像的关键点位置信息与多帧图像的时序行为相结合，分析教师或学生的课堂行为状态，以便及时反馈教师或学生的课堂行为表现，进而提升教学质量，解决了现有方法无法反馈教师或学生的课堂行为状态的问题。
进一步地，所述对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息，包括：
对所述图像帧利用卷积层进行下采样以提取图像语义特征；
对所述图像语义特征利用卷积层进行上采样以获取人体关键点网络热力图；
根据所述人体关键点网络热力图获取人体关键点在所述图像中的位置，其中，所述关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。
在上述实现过程中，根据定义的人体关键点，重新设计关键点预测网络并利用关键点预测网络对每帧图像进行检测，从而输出人体关键点网络热力图，获取每个关键点在图像中的位置。
进一步地，所述根据所述关键点位置信息获取多帧图像的时序行为，包括：
根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态；
将所述图像序列中的各图像帧的行为状态按照时序排列，得到所述时序行为。
在上述实现过程中，将连读的图像帧的行为状态按照时间顺序排列构成时序行为，多个时序行为可用于预测教师或学生的课堂行为。
进一步地，根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态，包括：
针对所述图像序列中的任一图像帧，所述图像帧的当前行为状态是根据所述图像帧的关键点位置信息与前一图像帧的行为状态预测得到的。
在上述实现过程中，时序网络利用关键点位置信息和上一帧行为状态可以输出当前帧行为状态，利用该方法可以获得连续多帧的时序行为，从而预测教师或学生的行为状态。
进一步地，所述根据多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为，包括：
将所述时序行为在预设的行为数据库中进行查找，以获取最接近行为，作为所述用户的课堂行为。
在上述实现过程中，通过匹配最接近行为，确定用户的课堂行为，行为数据库给出了用户课堂行为的判断依据。
进一步地，在得到分析结果之后，所述课堂行为分析方法还包括：
根据所述分析结果，确定所述用户的课堂行为是否合规；
若否，则向所述用户发送提醒消息。
在上述实现过程中，可以及时向用户反馈其课堂行为是否合规，便于其及时改正，以提高课堂效率。
本申请实施例还提供一种课堂行为分析装置，所述装置包括：
图像获取模块，用于接收视频采集装置发送的图像序列；
关键点检测模块，用于对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
行为分析模块，用于根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
课堂行为获取模块，用于根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
分析结果获取模块，用于基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
在上述实现过程中，通过对每一图像帧进行人体关键点检测获得每个关键点在图像中的位置信息，并以此为基础，结合视频时序信息获得人体关键点到视频片段的时序行为，从而更加适用于课堂直播教学场景，反馈直播课堂的教师或学生的课堂行为。
进一步地，所述关键点检测模块包括：
特征提取模块，用于对所述图像帧利用卷积层进行下采样以提取图像语义特征；
热力图获取模块，用于对所述图像语义特征利用卷积层进行上采样以获取人体关键点网络热力图；
位置获取模块，用于根据所述人体关键点网络热力图获取人体关键点在所述图像中的位置，其中，所述人体关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。
在上述实现过程中，通过提取图像的语义特征获取人体关键点网络热力图，从而得到人体关键点在图像中的位置信息，人体关键点包含多个人体进行动作所需的关键部位。
本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行上述中任一项所述的课堂行为分析方法。
本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的课堂行为分析方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种课堂行为分析方法的流程图；
图2为本申请实施例提供的关键点检测流程图；
图3为本申请实施例提供的人体上半身关键点示意图；
图4为本申请实施例提供的关键点检测示意图；
图5为本申请实施例提供的获取多帧图像的时序行为的流程图；
图6为本申请实施例提供的利用时序网络进行人体行为检测的示意图；
图7为本申请实施例提供的合规提醒流程图；
图8为本申请实施例提供的课堂行为分析装置的结构框图；
图9为本申请实施例提供的课堂行为分析装置的整体结构框图。
图标：
100-图像获取模块；200-关键点检测模块；201-特征提取模块；202-热力图获取模块；203-位置获取模块；300-行为分析模块；301-行为状态获取模块；302-时序行为获取模块；400-课堂行为获取模块；500-分析结果获取模块；610-合规判断模块；620-提醒模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供的一种课堂行为分析方法的流程图。该方法应用于课堂直播教学场景中，应用对象是教师/学生，通过对直播图像序列进行人体上本身的关键点检测，从而根据关键点在图像中的位置判断教师/学生当前的姿态行为，同时结合视频时序信息给出视频片段行为状态以反馈教师/学生课堂行为，具体地，该方法包括以下步骤：
步骤S100：接收视频采集装置发送的图像序列；
在课堂直播过程中，将会通过视频采集装置进行录播，以获取直播图像序列。视频采集装置可为直播终端的摄像头，例如个人PC的摄像头、手机的摄像头等。当然，也可为专门设置的录制设备，如摄像机等，通过有线或者无线方式连接到通信设备，如连接到电脑或者手机等，对此不做赘述。
步骤S200：对图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
如图2所示，为关键点检测流程图，该过程具体包括以下步骤：
步骤S201：对所述图像帧利用卷积层进行下采样以提取图像语义特征；
步骤S202：对所述图像语义特征利用卷积层进行上采样以获取人体关键点网络热力图；
步骤S203：根据所述人体关键点网络热力图获取各个关键点在所述图像中的位置，其中，如图3所示，为人体上半身关键点示意图，关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩，还可以包含其他在课堂上进行动作时所需的其他关节部位，在此不作限定。对于课堂行为动作所涉及的部位如抽烟、交头接耳、左顾右盼、坐姿不端正等均可以通过人体关键点反映出来。
基于课堂直播教学场景的特点，只采用人体上半身与课堂行为相关的关键点进行定义，以便准确反映教师/学生的课堂状态。
在上述人体上半身关键点的基础上，采用对应的关键点预测网络对输入的图像序列进行关键点检测，如图4所示，为关键点检测示意图，输入为待检测图像，输出为人体关键点网络热力图(Heatmap)，具体地，将h×w×3(表示输入维度，h和w分别表示输入图像的高和宽)大小的三通道RGB图像输入至关键点预测网络，通过卷积层进行下采样提取图像特征，使用卷积层进行上采样计算并输出Heatmap，Heatmap与上述定义的人体关键点相关联，维度大小为13×h×w，用于表示每个关键点在图像中的响应强弱，从而能够获取上述13个关键点在图像中的位置，响应的最大值处为预测的关键点位置。对于关键点预测网络，如Openpose，hourglass，hrnet等，对于实现上述13个关键点预测的关键点预测网络的类型不作限定。
步骤S300：根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
如图5所示，为获取多帧图像的时序行为的流程图，该步骤具体可以包括：
步骤S301：根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态；
步骤S302：将所述图像序列中的各图像帧的行为状态按照时序排列，得到所述时序行为。
对于教学直播场景中的行为可以包括但不限于：学生，如正常、认真听讲，举手答题，学生不在画面，多动，左顾右盼等，教师，如正常，认真讲课，老师不在画面、动作不当等，其中，动作不当可以包括但不限于头部到摄像头的距离不当如过远或过近、坐姿不端正等，可以根据不同课程的直播需要进行具体定义，在此不作限定。
针对所述图像序列中的任一图像帧，所述图像帧的当前行为状态是根据所述图像帧的关键点位置信息与前一图像帧的行为状态预测得到的。
如图6所示，为利用时序网络进行人体行为检测的示意图，其中，输入为人体上半身的关键点位置信息，由于直播场景是实时视频成像，因此，每一图像帧都将经过关键点预测网络进行检测，以获得每帧图像的关键点位置信息。将当前帧图像的关键点位置信息(表示为kp)和上一帧的状态数据(表示为h(t-1))作为时序网络的输入，输出为当前帧状态数据h(t)，根据当前帧状态数据h(t)预测得到教师/学生的当前帧行为状态；再以此当前帧状态数据h(t)作为输入，获取下一帧的状态数据，依次类推，从而获得每一图像帧对应的状态数据，进一步获得教师/学生的每帧当前行为状态，其中，h(t)和h(t-1)为N维向量，作为行为状态特征用于表征每一图像帧对应的教师/学生的当前行为状态。
当图像帧为图像序列的第一帧时，前一图像帧的当前行为状态可通过自定义实现。
对于时序网络如可以采用LSTM和JRU等，对于实现上述功能的时序网络的类型在此不作限定。
步骤S400：根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
具体地，将所述时序行为在预设的行为数据库中进行查找，以获取最接近行为，作为所述用户的课堂行为。
最接近行为可以通过将时序行为与数据库中已定义的各种行为动作进行匹配计算，如利用欧式距离进行计算。
预先建立人体姿态数据库，通过人体姿态数据库对直播课堂中的所有人体姿态进行定义，具体包括多种人体姿态图像以及对应的关键点位置数据，使用时通过数据检索对数据库进行查找，并与当前帧的关键点位置信息进行比对，以获取最接近人体姿态行为。当欧式距离取得最小值时，对应的人体姿态行为为最接近行为。
课堂行为可由多个时序行为进行确定，以提高准确性，如可以结合用户的多个时序行为进行综合判断和确定，以排除某个时序行为的偶然性。
示例地，可以获取每节课教师/学生的连续多帧的时序行为，并结合课程属性如语文课、物理课、历史课以及课程安排如课间时间、问答或互动时间，预测教师/学生的课堂行为状态。
步骤S500：基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
分析结果可以包括学生或教师的课堂动作和行为评价等，可根据需要记录重点行为动作以便进行查看，再结合课堂行为状态综合给出课程行为评价，即结合课程过程和教师/学生的人体行为进行分析，对教师/学生整堂课的行为表现进行反馈，可用于提醒并矫正教师/学生行为，可以辅助提升教师教课质量和学生的上课质量，从而最终提升学生的教学效果。
此外，如图7所示，为合规提醒流程图，该方法还包括：
步骤S610：根据所述分析结果，确定所述用户的课堂行为是否合规；
步骤S620：若否，则向所述用户发送提醒消息。
对于不合规动作如抽烟等，如提醒对象可以是教师、学生或家长，具体地，若用户是学生，可以将提醒消息发送至其家长或老师，如果用户是直播教师，则可以发送其本人，以便直播教师及时修正其行为，避免影响教学质量。
实施例2
本申请实施例提供一种课堂行为分析装置，该装置应用于实施例1所述的课堂行为分析方法，如图8所示，为课堂行为分析装置的结构框图，该装置具体包括但不限于：
图像获取模块100，用于接收视频采集装置发送的图像序列；
关键点检测模块200，用于对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
行为分析模块300，用于根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
课堂行为获取模块400，用于根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
分析结果获取模块500，用于基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
其中，如图9所示，为课堂行为分析装置的整体结构框图，关键点检测模块200包括：
特征提取模块201，用于对所述图像帧利用卷积层进行下采样以提取图像语义特征；
热力图获取模块202，用于对所述图像特征利用卷积层进行上采样以获取人体关键点网络热力图；
位置获取模块203，用于根据所述人体关键点网络热力图获取人体关键点在所述图像中的位置，其中，所述人体关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。
行为分析模块300包括：
行为状态获取模块301，用于根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态；
时序行为获取模块302，用于将所述图像序列中的各图像帧的行为状态按照时序排列，得到所述时序行为。
所述装置还包括：
合规判断模块610，用于根据所述分析结果，确定所述用户的课堂行为是否合规；
提醒模块620，用于若所述用户的课堂行为不合规，则向所述用户发送提醒消息。
通过对每一图像帧进行人体关键点检测获得每个关键点在图像中的位置信息，并以此为基础，结合视频时序信息获得人体关键点到视频片段的时序行为，从而更加适用于课堂直播教学场景，反馈直播课堂的教师或学生的课堂行为。
本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行实施例1中任一项所述的课堂行为分析方法。
本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行实施例1中任一项所述的课堂行为分析方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种课堂行为分析方法，其特征在于，所述方法包括：
接收视频采集装置发送的图像序列；
对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
根据多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
2.根据权利要求1所述的课堂行为分析方法，其特征在于，所述对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息，包括：
对所述图像帧利用卷积层进行下采样以提取图像语义特征；
对所述图像语义特征利用卷积层进行上采样以获取人体关键点网络热力图；
根据所述人体关键点网络热力图获取人体关键点在所述图像中的位置，其中，所述人体关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。
3.根据权利要求1所述的课堂行为分析方法，其特征在于，所述根据所述关键点位置信息获取所述图像序列的时序行为，包括：
根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态；
将所述图像序列中的各图像帧的行为状态按照时序排列，得到所述时序行为。
4.根据权利要求3所述的课堂行为分析方法，其特征在于，根据所述关键点位置信息，确定所述图像序列中的每一图像帧的行为状态，包括：
针对所述图像序列中的任一图像帧，所述图像帧的当前行为状态是根据所述图像帧的关键点位置信息与前一图像帧的行为状态预测得到的。
5.根据权利要求1所述的课堂行为分析方法，其特征在于，所述根据多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为，包括：
将所述时序行为在预设的行为数据库中进行查找，以获取最接近行为，作为所述用户的课堂行为。
6.根据权利要求1所述的课堂行为分析方法，其特征在于，在得到分析结果之后，所述课堂行为分析方法还包括：
根据所述分析结果，确定所述用户的课堂行为是否合规；
若否，则向所述用户发送提醒消息。
7.一种课堂行为分析装置，其特征在于，所述装置包括：
图像获取模块，用于接收视频采集装置发送的图像序列；
关键点检测模块，用于对所述图像序列中的每一图像帧进行人体关键点检测，以获取人体上半身的关键点位置信息；
行为分析模块，用于根据所述关键点位置信息获取所述图像序列的时序行为，所述时序行为为所述图像序列对应的各个关键点位置信息按照图像帧顺序组成的连续的行为动作；
课堂行为获取模块，用于根据所述多个所述时序行为确定所述视频采集装置所对应的用户的课堂行为；
分析结果获取模块，用于基于所述课堂行为，对所述用户的听课状态进行分析，得到分析结果。
8.根据权利要求7所述的课堂行为分析装置，其特征在于，所述关键点检测模块包括：
特征提取模块，用于对所述图像帧利用卷积层进行下采样以提取图像语义特征；
热力图获取模块，用于对所述图像语义特征利用卷积层进行上采样以获取人体关键点网络热力图；
位置获取模块，用于根据所述人体关键点网络热力图获取人体关键点在所述图像中的位置，其中，所述人体关键点包括左眼、右眼、左耳、右耳、头顶、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行根据权利要求1至6中任一项所述的课堂行为分析方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至6任一项所述的课堂行为分析方法。
CN202011490307.6A 2020-12-15 2020-12-15 一种课堂行为分析方法、装置、电子设备及存储介质 Active CN112464904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011490307.6A CN112464904B (zh) 2020-12-15 2020-12-15 一种课堂行为分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011490307.6A CN112464904B (zh) 2020-12-15 2020-12-15 一种课堂行为分析方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112464904A true CN112464904A (zh) 2021-03-09
CN112464904B CN112464904B (zh) 2024-07-09

Family

ID=74804359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011490307.6A Active CN112464904B (zh) 2020-12-15 2020-12-15 一种课堂行为分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112464904B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420848A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 神经网络模型的训练方法及装置、手势识别的方法及装置
CN113570484A (zh) * 2021-09-26 2021-10-29 广州华赛数据服务有限责任公司 一种基于大数据的线上小学教育管理系统及方法
CN113689093A (zh) * 2021-08-09 2021-11-23 河南职业技术学院 基于人工智能的课堂质量评估方法及系统
WO2023159750A1 (zh) * 2022-02-25 2023-08-31 平安科技（深圳）有限公司 用户在线状态的识别方法、装置、服务器及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644190A (zh) * 2016-07-20 2018-01-30 北京旷视科技有限公司 行人监控方法和装置
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN110781843A (zh) * 2019-10-29 2020-02-11 首都师范大学 课堂行为检测方法及电子设备
CN110807380A (zh) * 2019-10-22 2020-02-18 北京达佳互联信息技术有限公司 一种人体关键点检测方法及装置
CN111488773A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
CN111507137A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 动作理解方法、装置、计算机设备及存储介质
CN111523444A (zh) * 2020-04-21 2020-08-11 南通大学 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN111539377A (zh) * 2020-05-11 2020-08-14 浙江大学 基于视频的人体运动障碍检测方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644190A (zh) * 2016-07-20 2018-01-30 北京旷视科技有限公司 行人监控方法和装置
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN111488773A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
CN111507137A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 动作理解方法、装置、计算机设备及存储介质
CN110807380A (zh) * 2019-10-22 2020-02-18 北京达佳互联信息技术有限公司 一种人体关键点检测方法及装置
CN110781843A (zh) * 2019-10-29 2020-02-11 首都师范大学 课堂行为检测方法及电子设备
CN111523444A (zh) * 2020-04-21 2020-08-11 南通大学 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN111539377A (zh) * 2020-05-11 2020-08-14 浙江大学 基于视频的人体运动障碍检测方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李锵;姚麟倩;关欣;: "基于级联卷积神经网络的服饰关键点定位算法", 天津大学学报(自然科学与工程技术版), no. 03 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689093A (zh) * 2021-08-09 2021-11-23 河南职业技术学院 基于人工智能的课堂质量评估方法及系统
CN113420848A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 神经网络模型的训练方法及装置、手势识别的方法及装置
CN113570484A (zh) * 2021-09-26 2021-10-29 广州华赛数据服务有限责任公司 一种基于大数据的线上小学教育管理系统及方法
CN113570484B (zh) * 2021-09-26 2022-02-08 广州华赛数据服务有限责任公司 一种基于大数据的线上小学教育管理系统及方法
WO2023159750A1 (zh) * 2022-02-25 2023-08-31 平安科技（深圳）有限公司 用户在线状态的识别方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112464904B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN112464904A (zh) 一种课堂行为分析方法、装置、电子设备及存储介质
CN110837579B (zh) 视频分类方法、装置、计算机以及可读存储介质
CN106686339B (zh) 电子会议智能
CN106685916B (zh) 电子会议智能装置及方法
US20220319181A1 (en) Artificial intelligence (ai)-based system and method for managing education of students in real-time
US10922991B2 (en) Cluster analysis of participant responses for test generation or teaching
Ogata et al. Ubiquitous learning project using life-logging technology in Japan
US11033216B2 (en) Augmenting questionnaires
US20200065394A1 (en) Method and system for collecting data and detecting deception of a human using a multi-layered model
CN110659397A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
KR20210001419A (ko) 면접 컨설팅 서비스를 제공하기 위한 사용자 단말, 시스템 및 방법
CN112613780A (zh) 一种学习报告生成的方法、装置、电子设备及存储介质
KR20180096261A (ko) 모바일 심리 상담 서비스 제공 방법, 이를 수행하기 위한 컴퓨터 판독가능 매체 및 애플리케이션
US20230011923A1 (en) System for providing a virtual focus group facility
CN114155860A (zh) 摘要记录方法、装置、计算机设备和存储介质
CN111507467A (zh) 神经网络模型的训练方法、装置、计算机设备及存储介质
CN111325082A (zh) 一种人员专注度分析方法及装置
CN111353439A (zh) 一种教学行为的分析方法、装置、系统及设备
CN109451334B (zh) 用户画像生成处理方法、装置及电子设备
CN114202787A (zh) 一种基于深度学习和二维注意力机制的多帧微表情情感识别方法
Mathur et al. Detecting interaction links in a collaborating group using manually annotated data
EP4099280B1 (en) Method and system for confidence level detection from eye features
CN109992505B (zh) 应用程序测试方法、装置、计算机设备及存储介质
CN113362031A (zh) 活动签到方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant