CN109583351B - 基于视频分析的课堂学生注意力获取方法、装置及介质 - Google Patents

基于视频分析的课堂学生注意力获取方法、装置及介质 Download PDF

Info

Publication number
CN109583351B
CN109583351B CN201811400362.4A CN201811400362A CN109583351B CN 109583351 B CN109583351 B CN 109583351B CN 201811400362 A CN201811400362 A CN 201811400362A CN 109583351 B CN109583351 B CN 109583351B
Authority
CN
China
Prior art keywords
students
attention
image
frame
classroom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811400362.4A
Other languages
English (en)
Other versions
CN109583351A (zh
Inventor
赵定金
朱正辉
张常华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Baolun Electronics Co ltd
Original Assignee
Guangzhou Baolun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baolun Electronics Co Ltd filed Critical Guangzhou Baolun Electronics Co Ltd
Priority to CN201811400362.4A priority Critical patent/CN109583351B/zh
Publication of CN109583351A publication Critical patent/CN109583351A/zh
Application granted granted Critical
Publication of CN109583351B publication Critical patent/CN109583351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于视频分析的课堂学生注意力获取方法、装置及介质，涉及智能教室技术领域，提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力；本发明采用了视频分析的方法，可以自动化地检测出课堂学生的注意力；可以实时地对视频进行注意力检测，得到上课期间学生的注意力变化曲线，从而为教室的教学质量提供指导意见。

Description

基于视频分析的课堂学生注意力获取方法、装置及介质
技术领域
本发明涉及智能教室技术领域，尤其涉及一种基于视频分析的课堂学生注意力获取方法、装置及介质。
背景技术
课堂是教育教学实施的主要阵地，是教师专业技能发挥的重要场所，也是教师评价一个学生的重要途径。课堂教学分析能让教师对自己教学方式有客观的自我认知，对学生上课情况有客观评价，因此课堂教学分析在提高教师课堂教学能力方面具有不可替代的作用。
传统的教学分析方法是通过观看视频来进行人工分析，这种方法既费时又费力，同时还带有主观的不确定性，因此在如今智慧校园、智慧教育的背景下已经逐渐被淘汰，取而代之的是计算机自动化的分析方法，其中视频分析是适用性最广的一种方法。
教学分析有许多分析内容，其中学生注意力分析是课堂教学分析的一项关键内容；通过分析学生在上课期间的注意力变化，可以有效地为教师提供教学的指导意见。
发明内容
本发明针对背景技术的问题提供一种基于视频分析的课堂学生注意力获取方法、装置及介质，可以通过分析学生上课的视频，实时地检测出学生的注意力，从而得到上课期间学生注意力的变化曲线，有效地为教师提供教学的指导意见。
为了实现上述目的，本发明提出一种基于视频分析的课堂学生注意力获取方法，包括：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；
S20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；
S30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；
S40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。
优选地，步骤S10所述的提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数，具体包括：
S101、提取视频流中的一帧图像；
S102、对所提取的图像进行学生人数检测，获得该帧图像中的学生人数；
S103、返回执行步骤S101以获取多帧图像中的学生人数；
S104、通过求平均值的方式统计学生出勤人数。
优选地，步骤S101之前，还包括：
S100、设置采样时间间隔。
优选地，步骤S102所述的对所提取的图像进行学生人数检测，具体为：采用Adaboost训练后的级联分类器对所提取的图像进行学生人数检测。
优选地，步骤S20所述的对该帧图像中的正脸和侧脸进行检测，具体为：采用Adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测。
优选地，步骤S30所述的根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比，具体为：正脸个数除以出勤人数所获比值。
优选地，步骤S40所述的通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力，具体包括：
S401、建立一个缓冲容器；
S402、按采样先后顺序，依次将多帧图像对应的占比插入所建立的缓冲容器中；
S403、通过求取缓冲容器中占比平均值的方式，获得此时学生的注意力值；
S404、当下一次采样获得新的图像占比时，移除缓冲容器中队头数据，将新的图像占比插入队尾；
S405、返回执行步骤S403以实时获得课堂学生的注意力。
优选地，步骤S402与步骤S403之间，还包括：
S406、移除缓冲容器中的最高值与最低值。
本发明还提出一种基于视频分析的课堂学生注意力获取装置，包括：
处理器；
存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现所述的基于视频分析的课堂学生注意力获取方法的步骤。
本发明还提出一种计算机可读取存储介质，所述计算机可读取存储介质存储有基于视频分析的课堂学生注意力获取方法的应用程序，所述应用程序实现如所述的基于视频分析的课堂学生注意力获取方法的步骤。
本发明提出一种基于视频分析的课堂学生注意力获取方法、装置及介质，采用了视频分析的方法，可以自动化地检测出课堂学生的注意力；可以实时地对视频进行注意力检测，得到上课期间学生的注意力变化曲线，从而为教室的教学质量提供指导意见；相比传统的人工检测或传感器检测，该方法具有效率高，设备简单，部署方便的优点；检测算法采用了机器学习和科学的数据统计，保证了检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明第一优选实施例中基于视频分析的课堂学生注意力获取方法流程图；
图2为本发明第一优选实施例中步骤S10方法流程图；
图3为本发明第一优选实施例中级联分类器训练方法流程图；
图4为本发明第二优选实施例中基于视频分析的课堂学生注意力获取方法流程图；
图5为本发明第三优选实施例中基于视频分析的课堂学生注意力获取装置结构示意图；
图6为本发明第四优选实施例中计算机可读取存储介质结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于视频分析的课堂学生注意力获取方法；
本发明第一优选实施例中，如图1所示，包括：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；如图2所示，具体包括：
S100、设置采样时间间隔；
本发明实施例中，时间间隔的取值需要根据实际需要和性能限制来设定，时间间隔设定得越小，检测准确性越高，但是对性能的要求也越高；因此需要综合考虑衡量来设定；本实施例中设定时间间隔τ＝100ms，即每隔τ＝100ms，
S101、提取视频流中的一帧图像Ii；
S102、对所提取的图像Ii进行学生人数检测，获得该帧图像Ii中的学生人数；
本发明实施例中，采用Adaboost训练后的级联分类器，对图像Ii进行人头检测，检测出来的人头数量即为当前帧图像Ii的学生人数Ci，该值存在着一定的误差，有一定的漏检与误检；
本发明实施例中，如图3所示，级联分类器的训练方法如下：
S1021、采集10000张人头正样本图片和20000张非人头负样本图片，并将这些图片的分辨率归一为20*20；
S1022、对样本图片进行基于Haar特征或LBP特征的Adaboost训练，获得训练后的分类器；
S1023、对训练后的分类器进行验证，如果检测效果达不到要求，则需要重新设置训练参数或修改样本数据，然后重复步骤S1022；
S103、返回执行步骤S101以获取多帧图像中的学生人数；
本发明实施例中，最大检测帧数设定得越大，出勤人数检测结果越准确，但是检测时间也会越久。因此要根据实际情况来进行衡量；本实施例中设定一个最大的检测帧数n＝50，即重复步骤S101直至循环50次，检测了50帧图像中的学生人数；
S104、通过求平均值的方式统计学生出勤人数
Figure BDA0001876186150000041
n表示最大的检测帧数，即n＝50；
S20、提取视频流中的一帧图像I，采用Adaboost训练后的级联分类器对该帧图像I中的正脸和侧脸进行检测，获得正脸个数f；
本发明实施例中，采用Adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测过程与步骤S102中过程相似，此处不再复述；
S30、根据所获正脸个数f及出勤人数N，获得一个用于表示该帧图像中学生注意力的占比δ;
本发明实施例中，计算脸部个数f与学生出勤人数N的占比
Figure BDA0001876186150000051
用于表示该帧图像中学生的注意力情况；
S40、通过求取多帧图像占比δ平均值的方式，实时获得课堂学生的注意力β。
本发明第二优选实施例中，在第一优选实施例的基础上进一步限定，如图4所示，包括：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；具体包括：
S100、设置采样时间间隔；
本发明实施例中，时间间隔的取值需要根据实际需要和性能限制来设定，时间间隔设定得越小，检测准确性越高，但是对性能的要求也越高；因此需要综合考虑衡量来设定；本实施例中设定时间间隔τ＝100ms，即每隔τ＝100ms，
S101、提取视频流中的一帧图像Ii；
S102、对所提取的图像Ii进行学生人数检测，获得该帧图像Ii中的学生人数；
本发明实施例中，采用Adaboost训练后的级联分类器，对图像Ii进行人头检测，检测出来的人头数量即为当前帧图像Ii的学生人数Ci，该值存在着一定的误差，有一定的漏检与误检；
本发明实施例中，级联分类器的训练方法如下：
S1021、采集10000张人头正样本图片和20000张非人头负样本图片，并将这些图片的分辨率归一为20*20；
S1022、对样本图片进行基于Haar特征或LBP特征的Adaboost训练，获得训练后的分类器；
S1023、对训练后的分类器进行验证，如果检测效果达不到要求，则需要重新设置训练参数或修改样本数据，然后重复步骤S1022；
S103、返回执行步骤S101以获取多帧图像中的学生人数；
本发明实施例中，最大检测帧数设定得越大，出勤人数检测结果越准确，但是检测时间也会越久。因此要根据实际情况来进行衡量；本实施例中设定一个最大的检测帧数n＝50，即重复步骤S101直至循环50次，检测了50帧图像中的学生人数；
S104、通过求平均值的方式统计学生出勤人数
Figure BDA0001876186150000052
n表示最大的检测帧数，即n＝50；
S20、提取视频流中的一帧图像I，采用Adaboost训练后的级联分类器对该帧图像I中的正脸和侧脸进行检测，获得正脸个数f；
本发明实施例中，采用Adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测，过程与步骤S102中过程相似，此处不再复述；
S30、根据所获正脸个数f及出勤人数N，获得一个用于表示该帧图像中学生注意力的占比δ；
本发明实施例中，计算脸部个数f与学生出勤人数N的占比
Figure BDA0001876186150000061
用于表示该帧图像中学生的注意力情况；
S40、通过求取多帧图像占比δ平均值的方式，实时获得课堂学生的注意力β，具体包括：
S401、建立一个缓冲容器D＝{δ1，δ2...δ10}；
本发明实施例中，所述的缓冲容器的长度取10；
S402、按采样先后顺序，依次将多帧图像对应的占比插入所建立的缓冲容器中；
本发明实施例中，缓冲容器D是一个长度为10的先进先出的队列，每当有一个新值插入时，会先移除队头成员，再将新值插入队尾；
S406、移除缓冲容器中的最高值与最低值；
本发明实施例中，对缓冲容器D进行统计分析，移除掉缓冲容器D中的最高值和最低值，通过移除最高值与最低值的方式，使计算结果更准去，排除一些异常的干扰项；
S403、通过求取缓冲容器中占比平均值的方式，获得此时学生的注意力值；
本发明实施例中，对缓冲容器D中剩下的成员进行算术平均值计算，计算结果即为学生注意力β，计算公式为
Figure BDA0001876186150000062
此时，n为去除最高值和最低值后剩下成员的个数，本实施例即为8个；
S404、当下一次采样获得新的图像占比时，移除缓冲容器中队头数据，将新的图像占比插入队尾；
S405、返回执行步骤S403以实时获得课堂学生的注意力。
本发明实施例中，通过按照设置的采样时间间隔对视频进行采样，按采样的先后顺序循环采集图像并对图像进行处理，实现了实时地对学生的上课视频进行分析，获取学生注意力的变化曲线，通过该变化曲线，可以为教师的教学质量提出指导意见；
本发明还提出一种基于视频分析的课堂学生注意力获取装置；
本发明第三优选实施例中，如图5所示，包括：
处理器;
存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现所述的基于视频分析的课堂学生注意力获取方法的步骤，例如：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；
S20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；
S30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；
S40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。
本发明实施例中，具体的实施细节在上文中已经阐述，此处不再复述；
本发明实施例中，所述的基于视频分析的课堂学生注意力获取装置内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于视频分析的课堂学生注意力获取的各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在基于视频分析的课堂学生注意力获取装置中，并在运行过程中实现高速、自动地完成程序或数据的存取。所述存储器包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
本发明还提出一种计算机可读取存储介质；
本发明第四优选实施例中，如图6所示，所述计算机可读取存储介质存储有基于视频分析的课堂学生注意力获取方法的应用程序，所述应用程序实现如所述的基于视频分析的课堂学生注意力获取方法的步骤，例如：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；
S20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；
S30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；
S40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。
本发明实施例中，具体的实施细节在上文中已经阐述，此处不再复述；
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDR0M)。另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于视频分析的课堂学生注意力获取方法，其特征在于，包括：
S10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；具体包括：
S100、设置采样时间间隔；
S101、提取视频流中的一帧图像Ii；
S102、对所提取的图像Ii进行学生人数检测，获得该帧图像Ii中的学生人数；
S103、返回执行步骤S101以获取多帧图像中的学生人数；
S104、通过求平均值的方式统计学生出勤人数
Figure FDA0004003702230000011
n表示最大的检测帧数；
S20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；
S30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；具体包括：
计算正脸个数f与学生出勤人数N的占比
Figure FDA0004003702230000012
用于表示该帧图像中学生的注意力情况；
S40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力；具体包括：
S401、建立一个缓冲容器；
S402、按采样先后顺序，依次将多帧图像对应的占比插入所建立的缓冲容器中；
S406、移除缓冲容器中的最高值与最低值；
S403、通过求取缓冲容器中占比平均值的方式，获得此时学生的注意力值；
S404、当下一次采样获得新的图像占比时，移除缓冲容器中队头数据，将新的图像占比插入队尾；
S405、返回执行步骤S403以实时获得课堂学生的注意力。
2.根据权利要求1所述的基于视频分析的课堂学生注意力获取方法，其特征在于，步骤S10所述的提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数，具体包括：
S101、提取视频流中的一帧图像；
S102、对所提取的图像进行学生人数检测，获得该帧图像中的学生人数；
S103、返回执行步骤S101以获取多帧图像中的学生人数；
S104、通过求平均值的方式统计学生出勤人数。
3.根据权利要求2所述的基于视频分析的课堂学生注意力获取方法，其特征在于，步骤S101之前，还包括：
S100、设置采样时间间隔。
4.根据权利要求2所述的基于视频分析的课堂学生注意力获取方法，其特征在于，步骤S102所述的对所提取的图像进行学生人数检测，具体为：采用Adaboost训练后的级联分类器对所提取的图像进行学生人数检测。
5.根据权利要求1所述的基于视频分析的课堂学生注意力获取方法，其特征在于，步骤S20所述的对该帧图像中的正脸和侧脸进行检测，具体为：采用Adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测。
6.根据权利要求1所述的基于视频分析的课堂学生注意力获取方法，其特征在于，步骤S30所述的根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比，具体为：正脸个数除以出勤人数所获比值。
7.一种基于视频分析的课堂学生注意力获取装置，其特征在于，包括：
处理器；
存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现权利要求1至6中任一项所述的基于视频分析的课堂学生注意力获取方法的步骤。
8.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有基于视频分析的课堂学生注意力获取方法的应用程序，所述应用程序实现如权利要求1至6中任一项所述的基于视频分析的课堂学生注意力获取方法的步骤。
CN201811400362.4A 2018-11-22 2018-11-22 基于视频分析的课堂学生注意力获取方法、装置及介质 Active CN109583351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811400362.4A CN109583351B (zh) 2018-11-22 2018-11-22 基于视频分析的课堂学生注意力获取方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811400362.4A CN109583351B (zh) 2018-11-22 2018-11-22 基于视频分析的课堂学生注意力获取方法、装置及介质

Publications (2)

Publication Number Publication Date
CN109583351A CN109583351A (zh) 2019-04-05
CN109583351B true CN109583351B (zh) 2023-04-07

Family

ID=65923546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811400362.4A Active CN109583351B (zh) 2018-11-22 2018-11-22 基于视频分析的课堂学生注意力获取方法、装置及介质

Country Status (1)

Country Link
CN (1) CN109583351B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837810A (zh) * 2019-11-12 2020-02-25 北京儒博科技有限公司 一种人脸注意力判断方法、装置、设备及存储介质
CN113591515B (zh) * 2020-04-30 2024-04-05 百度在线网络技术（北京）有限公司 专注度处理方法、装置及存储介质
CN111680569B (zh) * 2020-05-13 2024-04-19 北京中广上洋科技股份有限公司 基于图像分析的出勤率检测方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221812A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
TWI505242B (zh) * 2014-09-29 2015-10-21 Vivotek Inc 數位教學系統及方法
CN104517102B (zh) * 2014-12-26 2017-09-29 华中师范大学 学生课堂注意力检测方法及系统
US9734410B2 (en) * 2015-01-23 2017-08-15 Shindig, Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
CN106845320A (zh) * 2015-12-03 2017-06-13 杭州海康威视系统技术有限公司 检测课堂效率的方法及其系统
CN105825189B (zh) * 2016-03-21 2019-03-01 浙江工商大学 一种用于大学生到课率及上课专注度自动分析的装置
CN106778676B (zh) * 2016-12-31 2020-02-18 中南大学 一种基于人脸识别及图像处理的注意力评估方法
CN107918755A (zh) * 2017-03-29 2018-04-17 广州思涵信息科技有限公司 一种基于人脸识别技术的实时专注度分析方法及系统
US11301944B2 (en) * 2017-04-13 2022-04-12 International Business Machines Corporation Configuring classroom physical resources
CN108399376B (zh) * 2018-02-07 2020-11-06 华中师范大学 学生课堂学习兴趣智能分析方法及系统
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统

Also Published As

Publication number Publication date
CN109583351A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583351B (zh) 基于视频分析的课堂学生注意力获取方法、装置及介质
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US8737740B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN111144493B (zh) 一种自动识别算法指标测试的方法、存储介质及电子终端
CN111709421B (zh) 鸟类识别方法、装置、计算机设备及存储介质
CN110717458B (zh) 人脸识别方法及识别装置
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN113743273B (zh) 基于视频图像目标检测的实时跳绳计数方法、装置和设备
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN111144321A (zh) 专注度检测方法、装置、设备和存储介质
CN111881764A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN111860121A (zh) 一种基于ai视觉下的阅读能力辅助评估方法及系统
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN113378804A (zh) 一种自助采样的检测方法、装置、终端设备和存储介质
CN114049378A (zh) 一种排队分析方法和装置
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN113138916A (zh) 基于标注样本的图片结构化算法的自动测试方法及系统
CN113505720A (zh) 图像处理方法及装置、存储介质、电子装置
CN110363245B (zh) 在线课堂的精彩图片筛选方法、装置及系统
CN111914841A (zh) 一种ct图像处理方法和装置
CN110738149A (zh) 目标跟踪方法、终端及存储介质
US9218669B1 (en) Image ghost removal
CN111753633B (zh) 目标检测方法及装置
CN108711200A (zh) 出勤状态检测方法及装置
CN108874657A (zh) 对人脸识别主机进行测试的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Dingjin

Inventor after: Zhu Zhenghui

Inventor after: Zhang Changhua

Inventor before: Zhao Dingjin

Inventor before: Zhu Zhenghui

Inventor before: Zhang Changhua

Inventor before: Ming De

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 56 Nanli East Road, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province, 510000

Patentee after: Guangdong Baolun Electronics Co.,Ltd.

Address before: 510000 Building 1, industrial zone B, Zhongcun street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU ITC ELECTRONIC TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address