CN117152688A - 一种基于人工智能的智慧课堂行为分析方法及系统 - Google Patents
一种基于人工智能的智慧课堂行为分析方法及系统 Download PDFInfo
- Publication number
- CN117152688A CN117152688A CN202311422260.3A CN202311422260A CN117152688A CN 117152688 A CN117152688 A CN 117152688A CN 202311422260 A CN202311422260 A CN 202311422260A CN 117152688 A CN117152688 A CN 117152688A
- Authority
- CN
- China
- Prior art keywords
- target image
- teacher
- visual field
- target
- field range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 230000006399 behavior Effects 0.000 claims abstract description 26
- 230000001815 facial effect Effects 0.000 claims abstract description 19
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012806 monitoring device Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 210000005069 ears Anatomy 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims 5
- 238000013316 zoning Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 241001310793 Podium Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人工智能的智慧课堂行为分析方法及系统，该方法包括以下步骤：获取与教师对应的第一目标图像，及与各学生对应的第二目标图像；对第一目标图像进行姿态识别，以获取视野范围数据；将第一目标图像与第二目标图像进行关联，并基于视野范围数据对第二目标图像进行区域划分，以得到与教师视野范围外对应的部分目标图像；对部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于人工智能的智慧课堂行为分析方法及系统。
背景技术
智慧课堂，是以建构主义学习理论为依据，以“互联网+”的思维方式和大数据、云计算等新一代信息技术打造的智能、高效的课堂。采用现代化的分析工具和分析方法对数据进行加工、挖掘和分析，据此进行教学决策，依靠数据精准地掌握学情和调整教学策略。
现有技术当中，通过对课堂进行监控，然后基于图像的分析对学生的行为进行检测识别，是主要的教学质量检测手段，但由于教室场景的复杂性，图像处理时需要针对每个学生进行目标识别，数据处理量大，检测效率较低，仅适用于课后的检测分析的场景，不利于课堂实时监测。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于人工智能的智慧课堂行为分析方法及系统，旨在解决现有技术中，检测效率较低的技术问题。
为了实现上述目的，本发明是通过如下技术方案来实现的：一种基于人工智能的智慧课堂行为分析方法，包括以下步骤：
分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；其中，分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像的步骤具体包括：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；
将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；
对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
根据上述技术方案的一方面，将所述第一目标图像与所述第二目标图像进行关联的步骤具体包括：
将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。
根据上述技术方案的一方面，对所述第一目标图像进行姿态识别的步骤具体包括：
对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
根据上述技术方案的一方面，基于所述视野范围数据对所述第二目标图像进行区域划分的步骤之前，所述方法还包括：
基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。
根据上述技术方案的一方面，对所述部分目标图像中的学生进行面部姿态识别的步骤具体包括：
对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：
；
式中，（，/>）为左/右耳的关键点坐标，（/>，/>）为左/右眼的关键点坐标，为避免分母为零的常数。
根据上述技术方案的一方面，所述方法还包括：基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。
另一方面，本发明还提供了一种基于人工智能的智慧课堂行为分析系统，包括：
第一获取模块，用于分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，所述第一获取模块具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；
处理模块，用于将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；
第二识别模块，用于对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
根据上述技术方案的一方面，所述处理模块具体用于：
将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。
根据上述技术方案的一方面，所述第一识别模块具体用于：
对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
根据上述技术方案的一方面，所述处理模块还用于：基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。
根据上述技术方案的一方面，所述第二识别模块具体用于：对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：
；
式中，（，/>）为左/右耳的关键点坐标，（/>，/>）为左/右眼的关键点坐标，为避免分母为零的常数。
根据上述技术方案的一方面，所述第一获取模块具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；
对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；
判断所述视野范围数据是否处于预设范围内；
若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。
根据上述技术方案的一方面，所述系统还包括：
第二获取模块，用于基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。
与现有技术相比，本发明的有益效果在于：通过分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并基于第一目标图像对教师的姿态进行识别，进而基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。
附图说明
本发明的上述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：
图1为本发明第一实施例中基于人工智能的智慧课堂行为分析方法的流程图；
图2为本发明第二实施例中基于人工智能的智慧课堂行为分析系统的结构框图；
主要元件符号说明：
第一获取模块100、第一识别模块200、处理模块300、第二识别模块400；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的多个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例中的基于人工智能的智慧课堂行为分析方法，包括以下步骤：
步骤S100，分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像。具体来说，在本实施例的一些应用场景中，上述第一监控设备设置于教室的相对远离讲台的一侧，仅用于对教师的姿态进行检测；上述第二监控设备用于获取学生的面部图像，设置于靠近讲台的一侧，可以理解地，为保证图像的清晰度以及能够获取全部学生的图像数据，上述“第二监控设备”可以为一个或多个摄像头，即上述第二目标图像可以为基于一个摄像头获取到的图像，或者为基于多个摄像头获取到的由多种图像的拼接形成的图像。
步骤S200，对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据。在本实施例中，上述姿态识别主要目的是基于教师的侧身角度来得到一个大概的视野范围；
具体来说：对所述第一目标图像进行姿态识别的步骤具体包括：
步骤S201，对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
优选地，上述关键点分析可以采用OpenPose等算法进行识别。具体来说，在本实施例中，预设的标准侧身角度为教师正对讲台下方，预设的标准视野范围的取值为90-120°，通过计算上述两肩关键点连线之间的斜率，对标准侧身角度进行调整，然后基于预设的视野范围得到上述视野范围数据。
步骤S300，将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像。
具体来说，在本步骤中，上述将所述第一目标图像与所述第二目标图像进行关联的步骤具体包括：
步骤S301，将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。在本实施例的一些应用场景中，上述第三目标图像即在上述第二目标图像的基础上生成一个与教师对应的投影坐标点，在实际应用中，通过建立教室模型，上述第一目标图像和第二目标图像各像素点均与教室模型的地面投影点对应，通过对第一目标图像进行姿态识别，并得到教师的坐标点后，将第一目标图像与所述第二目标图像进行对齐，则可以在第二目标图像上或第二目标图像的一侧生成上述投影坐标点。
更进一步地，在本实施例中，基于所述视野范围数据对所述第二目标图像进行区域划分的步骤之前，所述方法还包括：
步骤S302，基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。在本实施例中，上述标准视野区域包括上述标准侧身角度，及标准视野范围，通过调节得到上述视野范围数据，基于上述视野范围数据可以对上述第二目标图像进行区域划分，从而得到与所述教师视野范围外对应的部分目标图像。
步骤S400，对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
优选地，在本实施例中，首先基于RCNN算法对部分目标图像进行候选框识别，以对部分目标图像中的每个学生进行单独检测，然后通过OpenPose算法对部分目标图像进行关键点分析。
具体来说，对所述部分目标图像中的学生进行面部姿态识别的步骤具体包括：
步骤S401，对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：
；
式中，（，/>）为左/右耳的关键点坐标，（/>，/>）为左/右眼的关键点坐标，为避免分母为零的常数。
具体来说，在本实施例中，主要通过判断学生耳朵关键点坐标与眼睛关键点坐标的连线斜率来判断是否存在低头行为，正常平视情况下，耳朵关键点坐标与眼睛关键点坐标的连线处于相对水平状态，当连线与标准水平线的偏差角度大于30°时，则判断学生处于低头状态。
优选地，在本实施例中，上述面部姿态识别还包括对学生的侧身角度进行识别等，计算方式可以参考上述步骤S201。可以理解地，在本实施例的其他应用场景中，通过对增加关键点的特征识别，可以提高行为的识别准确度，同时可以针对除低头外的其他行为进行检测。
优选地，在本实施例中，上述步骤S100具体包括：
步骤S101，基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像。
步骤S102，对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据。
步骤S103，判断所述视野范围数据是否处于预设范围内。
步骤S104，若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。
现有技术中，通常采用定时对学生图像的监控视频进行关键帧提取，对关键帧图像进行全面分析，以得到相关分析数据。具体来说，在本实施例的一些应用场景中，针对小规模的教师，通常教师处于正对讲台下方时，视野基本可以覆盖教师中的全部目标学生，为减少数据处理量，本方案采用对教师进行状态监测，当教师处于板书或转身，即视野脱离部分或全部学生时，同步提取第二目标图像，并对第二目标图像进行处理分析，进一步减少了数据处理量，提高检测效率。
优选地，在其中一些实施例中，上述方法还包括：
步骤S500，基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。具体来说，上述第二抽帧频率小于所述第一抽帧频率，在上述步骤S101-步骤S104的基础上，通过基于第二抽帧频率获取第二目标图像，并进行识别分析，保证最低采样频率，提高课堂数据分析的准确性。
综上，本发明上述实施例当中的基于人工智能的智慧课堂行为分析方法，通过分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并基于第一目标图像对教师的姿态进行识别，进而基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。
本发明的第二实施例提供了一种基于人工智能的智慧课堂行为分析系统，包括：
第一获取模块100，用于分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；
第一识别模块200，用于对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；
处理模块300，用于将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；
第二识别模块400，用于对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
优选地，在本实施例中，所述处理模块300具体用于：
将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。
优选地，在本实施例中，所述第一识别模块200具体用于：
对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
优选地，在本实施例中，所述处理模块300还用于：基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。
优选地，在本实施例中，所述第二识别模块400具体用于：对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：
；
式中，（，/>）为左/右耳的关键点坐标，（/>，/>）为左/右眼的关键点坐标，为避免分母为零的常数。
优选地，在本实施例中，所述第一获取模块100具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；
对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；
判断所述视野范围数据是否处于预设范围内；
若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像。
优选地，在本实施例中，所述系统还包括：
第二获取模块，用于基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。
综上，本发明上述实施例当中的基于人工智能的智慧课堂行为分析系统，通过获取模块分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像，并通过第一识别模块200基于第一目标图像对教师的姿态进行识别，进而通过处理模块300以基于教师的视野范围数据对第二目标图像进行处理，得到于教师视野范围外对应的部分目标图像，最后通过对部分目标图像进行识别分析，相对于现有技术中对全部学生目标进行检测识别，相对减少了教师可以实时观察到的学生图像的数据处理量，提高了检测效率，便于实时判断当前视野外的学生是否存在异常行为，利于课堂实时监测的应用场景。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多种变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于人工智能的智慧课堂行为分析方法，其特征在于，包括以下步骤：
分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；
其中，分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像的步骤具体包括：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；
将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；
对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
2.根据权利要求1所述的基于人工智能的智慧课堂行为分析方法，其特征在于，将所述第一目标图像与所述第二目标图像进行关联的步骤具体包括：
将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。
3.根据权利要求2所述的基于人工智能的智慧课堂行为分析方法，其特征在于，对所述第一目标图像进行姿态识别的步骤具体包括：
对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
4.根据权利要求3所述的基于人工智能的智慧课堂行为分析方法，其特征在于，基于所述视野范围数据对所述第二目标图像进行区域划分的步骤之前，所述方法还包括：
基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。
5.根据权利要求1所述的基于人工智能的智慧课堂行为分析方法，其特征在于，对所述部分目标图像中的学生进行面部姿态识别的步骤具体包括：
对所述部分目标图像进行关键点分析，以获取所述学生的耳朵及眼睛的关键点坐标，并基于以下计算表达式得到第二斜率，以判断是否存在低头行为：
；
式中，（，/>）为左/右耳的关键点坐标，（/>，/>）为左/右眼的关键点坐标，/>为避免分母为零的常数。
6.根据权利要求1所述的基于人工智能的智慧课堂行为分析方法，其特征在于，所述方法还包括：
基于第二监控设备实时获取教室内的第二目标视频，基于第二抽帧频率对所述第二目标视频进行关键帧提取，以获取与各学生对应的第二目标图像。
7.一种基于人工智能的智慧课堂行为分析系统，其特征在于，包括：
第一获取模块，用于分别基于第一监控设备及第二监控设备获取与教师对应的第一目标图像，及与各学生的面部图像对应的第二目标图像；所述第一获取模块具体用于：基于第一监控设备实时获取教室内的第一目标视频，基于第一抽帧频率对所述第一目标视频进行关键帧提取，以获取与教师对应的第一目标图像；对所述第一目标图像进行姿态识别，以获取与所述教师对应的视野范围数据；判断所述视野范围数据是否处于预设范围内；若所述视野范围数据处于预设范围外，基于第二监控设备获取与所述第一目标图像对应的第二目标图像，所述第二目标图像包括各学生的面部姿态图像；
处理模块，用于将所述第一目标图像与所述第二目标图像进行关联，并基于所述视野范围数据对所述第二目标图像进行区域划分，以得到与所述教师视野范围外对应的部分目标图像；
第二识别模块，用于对所述部分目标图像中的学生进行面部姿态识别，以判断是否存在异常行为。
8.根据权利要求7所述的基于人工智能的智慧课堂行为分析系统，其特征在于，所述处理模块具体用于：
将所述第一目标图像与所述第二目标图像进行对齐，并基于所述第二目标图像生成包括与教师位置对应的投影坐标点的第三目标图像。
9.根据权利要求8所述的基于人工智能的智慧课堂行为分析系统，其特征在于，所述第一识别模块具体用于：
对所述第一目标图像进行关键点分析，以获取所述教师的左、右肩关键点坐标，并基于以下计算表达式得到第一斜率，以判断教师的侧身角度：
；
式中，（，/>）为左肩关键点坐标，（/>，/>）为右肩关键点坐标，/>为避免分母为零的常数。
10.根据权利要求9所述的基于人工智能的智慧课堂行为分析系统，其特征在于，所述处理模块还用于：基于所述投影坐标点在所述第三目标图像上生成标准视野区域，并根据所述侧身角度对所述标准视野区域进行调节，以得到视野范围数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311422260.3A CN117152688A (zh) | 2023-10-31 | 2023-10-31 | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311422260.3A CN117152688A (zh) | 2023-10-31 | 2023-10-31 | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152688A true CN117152688A (zh) | 2023-12-01 |
Family
ID=88912444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311422260.3A Pending CN117152688A (zh) | 2023-10-31 | 2023-10-31 | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152688A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2584403A2 (en) * | 2011-10-21 | 2013-04-24 | Disney Enterprises, Inc. | Multi-user interaction with handheld projectors |
| CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助系统 |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN110533971A (zh) * | 2019-07-19 | 2019-12-03 | 山东至信信息科技有限公司 | 一种深入互动的智能教学系统 |
| CN110543828A (zh) * | 2019-08-08 | 2019-12-06 | 南京励智心理大数据产业研究院有限公司 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
| CN110708392A (zh) * | 2019-10-17 | 2020-01-17 | 重庆工商职业学院 | 一种基于云平台的学生管理系统及方法 |
| CN110909722A (zh) * | 2019-12-26 | 2020-03-24 | 温州鑫锐翔科技有限公司 | 基于目标动作检测的防作弊摄像头 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN111950487A (zh) * | 2020-08-18 | 2020-11-17 | 四川创客知佳科技有限公司 | 一种智慧教学分析管理系统 |
| US20210400142A1 (en) * | 2020-06-20 | 2021-12-23 | Science House LLC | Systems, methods, and apparatus for virtual meetings |
| CN115239527A (zh) * | 2022-06-27 | 2022-10-25 | 重庆市科学技术研究院 | 基于知识库的教学特征融合与建模的教学行为分析系统 |
| CN115719516A (zh) * | 2022-11-30 | 2023-02-28 | 华中师范大学 | 一种基于多通道的课堂教学行为识别方法及系统 |
| US20230072627A1 (en) * | 2021-01-22 | 2023-03-09 | Tencent Technology (Shenzhen) Company Limited | Gaze correction method and apparatus for face image, device, computer-readable storage medium, and computer program product face image |
| CN116311554A (zh) * | 2023-02-14 | 2023-06-23 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于视频目标检测的学生课堂异常行为识别方法与系统 |
-
2023
- 2023-10-31 CN CN202311422260.3A patent/CN117152688A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2584403A2 (en) * | 2011-10-21 | 2013-04-24 | Disney Enterprises, Inc. | Multi-user interaction with handheld projectors |
| CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助系统 |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN110533971A (zh) * | 2019-07-19 | 2019-12-03 | 山东至信信息科技有限公司 | 一种深入互动的智能教学系统 |
| CN110543828A (zh) * | 2019-08-08 | 2019-12-06 | 南京励智心理大数据产业研究院有限公司 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
| CN110708392A (zh) * | 2019-10-17 | 2020-01-17 | 重庆工商职业学院 | 一种基于云平台的学生管理系统及方法 |
| CN110909722A (zh) * | 2019-12-26 | 2020-03-24 | 温州鑫锐翔科技有限公司 | 基于目标动作检测的防作弊摄像头 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| US20210400142A1 (en) * | 2020-06-20 | 2021-12-23 | Science House LLC | Systems, methods, and apparatus for virtual meetings |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN111950487A (zh) * | 2020-08-18 | 2020-11-17 | 四川创客知佳科技有限公司 | 一种智慧教学分析管理系统 |
| US20230072627A1 (en) * | 2021-01-22 | 2023-03-09 | Tencent Technology (Shenzhen) Company Limited | Gaze correction method and apparatus for face image, device, computer-readable storage medium, and computer program product face image |
| CN115239527A (zh) * | 2022-06-27 | 2022-10-25 | 重庆市科学技术研究院 | 基于知识库的教学特征融合与建模的教学行为分析系统 |
| CN115719516A (zh) * | 2022-11-30 | 2023-02-28 | 华中师范大学 | 一种基于多通道的课堂教学行为识别方法及系统 |
| CN116311554A (zh) * | 2023-02-14 | 2023-06-23 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于视频目标检测的学生课堂异常行为识别方法与系统 |
Non-Patent Citations (4)
| Title |
|---|
| MU-CHUN SU等: "A Video Analytic In-Class Student Concentration Monitoring System", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, pages 294 - 304 * |
| 贾鹂宇;张朝晖;赵小燕;闫晓炜;: "基于人工智能视频处理的课堂学生状态分析", 现代教育技术, no. 12 * |
| 陈平;皇甫大鹏;骆祖莹;李东兴;: "基于单幅图像Pn P头部姿态估计的学习注意力可视化分析", 通信学报, no. 1 * |
| 陈平等: "基于单幅图像 PnP 头部姿态估计的学习注意力可视化分析", 通信学报, pages 1 - 10 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543867B (zh) | 一种多摄像头条件下的人群密度估测系统及方法 | |
| CN110163114B (zh) | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 | |
| EP4044146A1 (en) | Method and apparatus for detecting parking space and direction and angle thereof, device and medium | |
| CN110837784A (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| CN108960067A (zh) | 基于深度学习的实时的列车驾驶员动作识别系统和方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| WO2015131468A1 (en) | Method and system for estimating fingerprint pose | |
| CN102479322A (zh) | 以具有角度的脸部影像分析脸部缺陷的系统、装置及方法 | |
| CN107133611A (zh) | 一种课堂学生点头率识别与统计方法及装置 | |
| CN111563449A (zh) | 一种实时课堂注意力检测方法及系统 | |
| CN103810696A (zh) | 一种目标对象图像检测方法及装置 | |
| CN108961276B (zh) | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 | |
| CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN111709365A (zh) | 一种基于卷积神经网络的人体运动姿态自动检测方法 | |
| CN101320477B (zh) | 一种人体跟踪方法及其设备 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| US20230419500A1 (en) | Information processing device and information processing method | |
| CN111241926A (zh) | 考勤与学情分析方法、系统、设备及可读存储介质 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN115410240A (zh) | 智能人脸的痘痘和色斑分析方法、装置及存储介质 | |
| CN112836682A (zh) | 视频中对象的识别方法、装置、计算机设备和存储介质 | |
| CN113569594A (zh) | 一种人脸关键点的标注方法及装置 | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN117152688A (zh) | 一种基于人工智能的智慧课堂行为分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |