CN115546692A - 一种远程教育数据采集分析方法、设备及计算机存储介质 - Google Patents
一种远程教育数据采集分析方法、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN115546692A CN115546692A CN202211223500.2A CN202211223500A CN115546692A CN 115546692 A CN115546692 A CN 115546692A CN 202211223500 A CN202211223500 A CN 202211223500A CN 115546692 A CN115546692 A CN 115546692A
- Authority
- CN
- China
- Prior art keywords
- real
- image
- time
- user
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004458 analytical method Methods 0.000 title claims description 11
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000006399 behavior Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000006748 scratching Methods 0.000 claims description 3
- 230000002393 scratching effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 23
- 238000007726 management method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Emergency Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及远程教育技术领域，具体涉及一种远程教育的数据处理过程，具体为一种远程教育数据采集分析方法、设备及计算机存储介质；通过获取到的视频图像进行处理用于用户端采集到的用户进行是否为目标用户，以及目标用户是否为真实用户的判断。并且通过配置有行为异常行为识别模型实现对于上课过程中的用户的实时视频图像数据进行异常行为特征进行获取，并且基于异常行为特征确定异常行为从而判断在上课阶段过程中用户的异常行为，实现了在远程教育过程中对于上课学生的监督和管理。
Description
技术领域
本申请涉及远程教育技术领域，具体涉及一种远程教育的数据处理过程，具体为一种远程教育数据采集分析方法、设备及计算机存储介质。
背景技术
随着互联网技术和信息技术的飞速发展，教育行业模式也变得逐渐多样化，不单单采用线下的方式进行课程以及知识的学习，以线上进行授课的形式越来越得到普遍。并且，在目前的教育方式中，线上教育已经不再是针对课外以及成人教育，还包括针对于适龄学生的教育活动。包括幼儿教育、小学教育和中学教育。
但是与其他年龄段教育不同在于，针对于幼儿教育、中小学教育内容不仅包括学科知识的教授，还需要老师进行课堂秩序以及听课者的上课行为的规范。在传统的线下教育场景下，教师可以通过观察课堂中学生的行为状态进行判断并且采取对应的教育方式和行为劝导，但是在线上教育场景下，受限于场景的显示(因为在线上教育图像展示方式主要通过对于学生面对终端设备的图像，而此图像主要在教师端的屏幕上进行，而一般情况下教师端的屏幕面积以及展示方式导致展示的图像面积以及图像排列方式无法使教师完整的获取学生的事实行为)，而这种限制会极大地限制教师对于课堂秩序或者听课者的状态的获得，从而降低教学质量。
并且，在进行线上教育环境下，很容易导致上课者通过照片以及其他的图像形式来进行学生目标图像的采集的真实度，从而降低对于学生的管理。
发明内容
为了解决以上的技术问题，本申请提供一种远程教育数据采集分析方法、设备及计算机存储介质，能够通过计算机技术实现对于线上教育场景下对于课堂秩序以及上课者行为的识别，提高了线上教育环境下被教育者逃课的难度，并且能够实时识别上课者的异常行为并主动发出提醒信息，降低了教师的管理成本以及提高了授课的质量。
为了达到上述目的，本申请实施例采用的技术方案如下：
一种远程教育数据采集分析方法，包括以下方法：获取实时用户的第一视频图像，基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；基于异常行为发送对应的提醒信息至真实用户的用户端；基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，包括以下方法：获取所述第一视频图像的关键帧图像；提取所述关键帧图像的特征信息，将所述关键帧图像的特征信息与预设的基础图像的特征信息进行比对，得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似度，基于预设的相似度阈值得到第一比对结果；基于所述第一比对结果确定目标用户的真实性，确定目标用户，包括以下方法：当所述相似度大于等于所述相似度阈值，确定实时用户为目标用户；当所述相似度小于所述相似度阈值，确定实时用户为非目标用户。
第一方面的第一种实现方式中，获取所述第一视频图像的关键帧图像，包括以下方法：提取多个时间段的所述第一视频图像的多帧图像，获取多个帧图像；对所述多个帧图像进行二值化处理，得到二值化处理的第一帧图像；提取多个所述第一帧图像的轮廓，比较多个所述第一帧图像轮廓的面积大小，面积最大的为所述关键帧图像。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，提取所述关键帧图像的特征信息包括提取所述关键帧图像中用于表征目标用户状态的目标图像，基于所述目标图像提取特征信息；提取所述关键帧图形中用于表征目标用户状态的目标图像，包括以下方法：基于确定的关键帧图像确定所述关键帧图像对应的二值化处理的第一帧图像；获取所述第一帧图像的灰度直方图，基于所述灰度直方图计算分割阈值；基于所述分割阈值，生成所述第一帧图像的二值化的掩膜图，其中，所述二值化的掩膜图中像素值为第一值的区域包括所述主体，所述二值化的掩膜图中像素值为第二值的像素为背景像素；对所述二值化的掩膜图进行修正处理，得到修正掩膜图，所述修正处理用于抠除像素值为所述第一值的区域中的背景像素；基于所述修正掩膜图抠除所述原始图像的背景，得到目标图像。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：获取所述第一视频图像的多时间段的视频帧，对多时间段的视频帧进行二值化处理，得到多个时间段的第一帧图像；基于多时间段的所述第一帧图像轮廓面积的变化率，确定目标用户的实时状态，包括以下方法：基于相邻时间段的所述第一帧图像轮廓面积的变化率，确定第一实时状态；基于相隔时间段的所述第一帧图像轮廓面积的变化率，确定第二实时状态；基于任意两个时间段的所述第一帧图像轮廓面积的变化率，确定第三实时状态；基于所述第一实时状态、所述第二实时状态和所述第三实时状态确定目标实时状态。
结合第一方面的第二种可能的实现方式，在第四种可能的实现方式中，获取所述第一视频图像的多时间段的视频帧的特征，基于所述特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：获取多时间段的视频帧的中多个目标区域的特征，所述特征为目标区域的位置参数；比较多时间段中任一目标区域的坐标参数的变化值是否处于阈值范围；获取多时间段的视频帧的中多个目标区域的位置参数包括：获取所述目标区域的频域数据；对所述频域数据进行滤波，确定滤波输出结果中最大值所在的位置参数为所述目标区域的位置参数。
第一方面的第五种实现方式中，以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为，包括以下方法：基于所述行为识别模型对所述实时图像信息进行特征提取获取用于表征异常行为的异常行为特征，所述行为识别模型为满足收敛要求的卷积神经网络；基于预设的特征-行为映射关系将所述异常行为特征转换为异常行为信息；所述行为识别模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
结合第一方面的第五种实现方式，在第六种可能的实现方式中，基于异常行为发送对应的提醒信息至真实用户的用户端，包括以下方法：
获取所述异常行为信息的异常标签，基于所述异常标签与预设的异常行为数据库中对应相同异常标签的提醒信息进行匹配获得目标提醒策略，基于所述目标提醒策略将所述目标提醒信息发送至真实用户的用户端；所述提醒信息包括文字提醒、语音提醒中任意一种或多种。
第二方面，提供远程教育数据采集分析装置，包括：目标用户确定模块，用于基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；真实状态确定模块，用于获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；异常行为识别模块，用于以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；信息确定模块，用于基于异常行为发送对应的提醒信息至真实用户的用户端。
第三方面，一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任一项所述的方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
本申请实施例提供的技术方案中，通过获取到的视频图像进行处理用于用户端采集到的用户进行是否为目标用户，以及目标用户是否为真实用户的判断。并且通过配置有行为异常行为识别模型实现对于上课过程中的用户的实时视频图像数据进行异常行为特征进行获取，并且基于异常行为特征确定异常行为从而判断在上课阶段过程中用户的异常行为，实现了在远程教育过程中对于上课学生的监督和管理。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请实施例提供的终端设备的结构示意图。
图2是本申请的一些实施例所示的远程教育数据采集分析方法的流程图。
图3是根据本申请实施例提供的装置方框示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
(3)卷积神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
本申请实施例提供的技术方案，主要的应用场景为针对于中小学远程教育平台，实现对于中小学生的线上教育过程中无人监管的技术问题。其能够实现的效果为识别上课学生是否为真实的上课状态以及上课学生在上课过程中出现的例如瞌睡吃零食等不符合课堂秩序的异常行为，实现了远程教育过程中无法实时对上课者的监管。在本实施例的技术方案中，针对于上课学生是否为真是的上课状态通过对上课者的图像数据进行生物识别，判断在远程终端前的上课学生是否为真实的学生还是固定设置的照片。针对于在上课过程中出现的异常行为，通过训练满足收敛要求的神经网络对图像特征中的异常行为特征进行提取，识别出异常行为。并且，针对于识别出来的异常行为通过设置与异常行为对应配置的提醒策略确定对上课学生的异常行为的提醒，而针对于提醒方式无需经过老师进行发起，基于预设置的异常行为数据库配置的与异常行为对应的目标提醒策略，通过文字或语音或结合的方式对对应的上课者进行异常行为的提醒。并且，在本实施例中还可以配置有数据存储机制，对异常行为提醒信息进行存储，基于存储后的信息进行统计并进行评估得到对应的分数，可以将分数下发至教师端以及家长端，实现上课秩序以及上课状态的统计，提高了对于上课学生的管理。
本申请实施例提供一种终端设备100，该终端设备包括存储器110、处理器120以及存储在存储器中并可在处理器上运行的计算机程序，其中处理器执行远程教育数据采集分析方法，对图像数据进行特征提取并获得对应的信息。在本实施例中，该终端设备与用户端进行通信，将获取到的信息发送至对应的用户端，在硬件上实现对于异常行为信息的发送。其中，针对于发送信息的方式基于网络实现，并且在终端设备进行应用之前需要对用户端与终端设备建立关联关系，可以通过注册的方式实现对于终端设备与用户端之间的关联。其中终端设备可以针对多个用户端，也可以针对一个用户端，并且用户端通过密码以及其他加密的方式与终端设备进行通信。
在本实施例中，该终端可以为服务器，针对于服务器的物理结构，包括存储器、处理器和通信单元。存储器、处理器以及通信单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器用于存储特定的信息和程序，通信单元用于将处理后的信息进行发送至对应的用户端。
本实施例将存储模块划分为两个存储区域，其中一个存储区为程序存储单元，另一个存储区域为数据存储单元。程序存储单元相当于固件区，该区域的读写权限设置为只读模式，其内存储的数据不可擦除和更改。而数据存储单元中的数据可以进行擦除或读写，当数据存储区域的容量已满时，新写入的数据会对最早期的历史数据进行覆盖。
其中，存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Ele超声ric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图2，在本实施例中，针对于远程教育数据采集分析方法，其工作逻辑为，获取对应范围内的视频数据，对视频数据中的图像帧进行特征提取，基于提取后的特征实现对于真实用户以及真实用户的异常行为的识别。
针对于本实施例提供的工作逻辑提供一种远程教育数据采集分析方法，具体包括以下方法：
步骤S210.获取实时用户的第一视频图像，基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户。
在本实施例中，此方法的使用场景为远程教育，而远程教育的系统环境为包括至少一个用户端以及对应的教师端，其中用户端包括能够采集用户即学生视频图像数据的收集、平板电脑以及电脑等智能终端。在进行远程教育过程中，学生需要处于能够采集到视频图像的用户端前，通过开启用户端的视频采集权限采集处于用户端前的学生的视频数据。而因为教师以及学生都处于远端，并且这对于教师端图像的交互以及展示至少包括两个区域，分别为课件分享区域以及连接至整体平台上的用户端以及自身教育端采集到的学生图像以及教师图像。针对此场景，与现实线下授课场景不同在于，线下授课中的教师可以针对上课的学生的实时状态进行获取，而针对线上远程教育过程中，因为交互区域的划分，无法在较小的屏幕中展示所有的上课学生的实时视频信息，所以，需要配置一种方法替代线下授课活动中教师的学习监督职责。而本实施例提供的远程教育数据采集分析方法主要实现对于上课学生的异常行为的识别，以及基于异常行为后的行为监督。
而在实际的使用经验下，针对于异常行为包括至少三大类，其中第一大类为上课学生并非为真实对应的上课学生，即真是上课的学生通过他人代替的方式进行上课。第二大类为学生通过自身照片放置于用户端的图像采集装置以代替自身进行上课，此种行为为逃课行为。因为教师端无法完整展示所有的学生的实时视频图像，所以这种情况很容易产生。另一类异常行为为在上课阶段例如跑神、睡觉等行为，而这种行为也因为教师端无法完整展示所有学生的实时视频图像而无法精准的依靠教师进行识别。
针对于步骤S210，主要用于识别他人代替的形式来替代真实的用户而产生逃课行为。
针对于此步骤，具体通过获取实时用户的第一视频图像，针对于第一视频图像与存储的基础图像进行比对，得到第一比对结果。在本实施例中，通过比对结果确定实时用户的真实性，从而确定目标用户。
针对本实施例提供的方法，通过提取实时用户的第一视频图像的特征，利用特征比对的方式进行比对结果的确定。而针对于此过程可以采用现有的人脸特征方法以及识别方法进行确定，其逻辑为通过提取第一视频图像中的特征，将此特征与预设值的基础图像进行比对，得到比对相似度，基于相似度阈值，当比对相似度不小于相似度阈值时，则判定第一视频图像为存储的基础图像，则可判定用户端采集到的第一视频图像的用户为目标用户。
此过程具体包括以下方法：
步骤S211.获取第一视频图像的关键帧图像。
在本实施例中，因为视频图像为以时间作为单位的帧组成的多帧图像，而针对于进行比对的基础图像为图片信息，所以需要针对第一视频图像中的帧图像与图片性质的基础图像进行比对。而在本实施例中，针对于视频图像中的帧图像数量较大，为了降低比对的复杂度以及比对成本，需要在多帧图像中获取独立的帧图像进行比对，而针对于在多帧图像中需选择可进行比对的最优的帧图像，而针对于最优的帧图像的选择逻辑和基础为实现判断结果最为准确的帧图像。而基于此逻辑，针对于多帧图像中的最优帧图像可以为清晰度最高的帧图像。在本实施例中，针对于多个帧图像中清晰度最高的判断包括以下方法：
提取多个时间段的所述第一视频图像的多帧图像，获取多个帧图像；
对所述多个帧图像进行二值化处理，得到二值化处理的第一帧图像；
提取多个所述第一帧图像的轮廓，比较多个所述第一帧图像轮廓的面积大小，面积最大的为所述关键帧图像。
本实施例通过对多帧图像进行二值化处理得到二值化处理后的灰度图像，而针对于图像的基本原理，针对于清晰度可以通过二值化处理后的灰度的面积进行判断，在多个帧图像中获取关键帧则基于灰度面积最大则为关键帧图像。
步骤S212.提取所述关键帧图像的特征信息，将所述关键帧图像的特征信息与预设的基础图像的特征信息进行比对，得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似度，基于预设的相似度阈值得到第一比对结果。
在本实施例中，针对于获取的关键帧图像后续处理为进行关键帧图像与基础图像进行比对，得到比对结果。但是值得注意的是，因为进行采集的视频数据以及从视频数据中的多帧图像以及在多帧图像中确定的关键帧图像，包括学生的人脸图像以及背景图像，所以在进行比对时，需要将关键帧图像中的人脸图像进行提取，基于提取后的人脸图像进行识别。
具体过程为提取所述关键帧图像中用于表征目标用户状态的目标图像，基于目标图像提取特征信息。在本实施例中，针对于提取所述关键帧图像中用于表征目标用户状态的目标图像，包括以下方法：
基于确定的关键帧图像确定所述关键帧图像对应的二值化处理的第一帧图像。在本实施例中，进行图像的分割即人脸图像的提取同样基于关键帧图像二值化后进行实现。
获取所述第一针图像的灰度直方图，基于所述灰度直方图计算分割阈值。
基于所述分割阈值，生成所述第一帧图像的二值化的掩膜图。在本实施例中，所述二值化的掩膜图中像素值为第一值的区域包括待识别主体即人脸，所述二值化的掩膜图中像素值为第二值的像素为背景像素。
对所述二值化的掩膜图进行修正处理，得到修正掩膜图，在本实施例中所述修正处理用于抠出像素值为所述第一值的区域中的背景像素。
基于所述修正掩膜图抠出所述原始图像的背景，得到目标图像即人脸图像。
在本实施例中，以上的过程为提取人脸图像，在后续的处理过程中为提取到的人脸图像进行识别得到是否属于目标用户。而针对于此过程，主要是基于人脸图像进行特征提取，基于提取后的特征与预设置的基础图像进行比对，而此过程为比对识别方法属于现有方法在本实施例中不进行详细的描述。而针对于此过程的基础逻辑为基于比对的结果中的相似度以及预设置的相似度阈值进行比对，比对的结果包括以下两种：
当所述相似度大于等于所述相似度阈值，确定实时用户为目标用户。
当所述相似度小于所述相似度阈值，确定实时用户为非目标用户。
如果确定实时用户为非目标用户时，则将信息发送至教师端，通过教师端进行二次确定或人为监督。
步骤S220.获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态。
针对于步骤S210，主要用于识别是否有人代课，而针对于步骤S220，用于识别目标用户的状态，从而确定是否为照片或者其他非真实人脸。此过程的处理逻辑为，如果识别的视频图像数据为基于照片进行采集时，在视频图像中帧图像的特征是不进行变化的，基于此逻辑，在本过程中具体方法包括：
获取所述第一视频图像的多时间段的视频帧，对多时间段的视频帧进行二值化处理，得到多个时间段的第一帧图像。
基于多时间段的所述第一帧图像轮廓面积的变化率，确定目标用户的实时状态。
在本实施例中，针对于帧图像的特征为二值化处理后的帧图像的轮廓面积。具体的方法包括：
基于相邻时间段的所述第一帧图像轮廓面积的变化率，确定第一实时状态；基于相隔时间段的所述第一帧图像轮廓面积的变化率，确定第二实时状态；基于任意两个时间段的所述第一帧图像轮廓面积的变化率，确定第三实时状态；基于所述第一实时状态、所述第二实时状态和所述第三实时状态确定目标实时状态。
在本实施例中，针对性的设置三个实时状态的目的为更为准确地确定动态变化，针对于第一实时状态用于表征相近的时间段下是否产生变化，针对于第二实时状态用于表征较短时间段内是否产生变化，针对于第三实时状态用于表征较长时间段内是否产生变化。在进行比对时，设置的策略为依次判断第三实时状态、第二实时状态和第一实时状态。
针对于以上方法中特征为二值化的轮廓，在另一种实施例中，还可以配置有其他的特征值。基于此过程逻辑为变化，最直接的方法为针对于人脸进行变化区域能够产生变化的器官例如眼睛的状态的变化，所以在本方法中还可以提供另一种实施例，基于主要目标区域的特征的变化进行状态的识别。具体的过程为：
获取多时间段的视频帧的中多个目标区域的特征，所述特征为目标区域的位置参数，在本实施例中目标区域为能够进行变化的器官，包括但不限于眼睛、嘴巴等。而针对于目标区域的确定可以基于基本的人脸识别方法进行确定，此过程为现有技术在本实施例中不进行详细的描述，其基本逻辑为基于预设置的特征判断模型对采集到的视频帧图像进行目标区域的确定。
比较多时间段中任一目标区域的坐标参数的变化值是否处于阈值范围。在本实施例中，当坐标参数的变化值大于阈值范围时，则判定目标区域具有变化。
在本实施例中，获取多时间段的视频帧的中多个目标区域的位置参数包括：获取所述目标区域的频域数据，对所述频域数据进行滤波，确定滤波输出结果中最大值所在的位置参数为所述目标区域的位置参数。
在本实施例中，通过提供可以进行替换的两种实现方式对于采集到的视频帧图像中得对象属于变化，则能够确定采集到的图像为真实的用户的真实状态。
步骤S230.以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为。
针对于步骤S210和步骤S220，主要用于识别采集到的视频图像数据为真实用户的数据。即第一大类和第二大类异常行为，而针对于第三异常行为即课程进行中学生的听课异常行为，通过步骤S230进行获取。
针对于此步骤，包括以下方法：
步骤S231.基于所述行为识别模型对所述实时图像信息进行特征提取获取用于表征异常行为的异常行为特征，所述行为识别模型为满足收敛要求的卷积神经网络。
步骤S232.基于预设的特征-行为映射关系将所述异常行为特征转换为异常行为信息。
在本实施例中，所述行为识别模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
S240.基于异常行为发送对应的提醒信息至真实用户的用户端。
在本实施例中，针对于采集到的实时异常行为，需要进行后续的处理，具体为将异常行为发送对应的提醒信息至真实用户的用户端，实现对于用户提醒。包括以下方法：
获取所述异常行为信息的异常标签，基于所述异常标签与预设的异常行为数据库中对应相同异常标签的提醒信息进行匹配获得目标提醒策略，基于所述目标提醒策略将所述目标提醒信息发送至真实用户的用户端；所述提醒信息包括文字提醒、语音提醒中任意一种或多种。
在本实施例中，针对于目标提醒策略主要基于异常行为进行确定，针对于步骤S210-步骤S230主要用于识别异常行为，而针对于异常行为包括三类，以及在三类中还包括各种使用场景，而针对于不同的类别以及使用场景其进行提醒的策略也不同。例如，针对于确定用户端采集到的视频图像数据并非为目标用户的数据时，通过发送信息至用户端以及与用户端关联的家长管理端进行提醒，而提醒的方式为语音提醒以及电话提醒。
而针对于本实施例中，提醒的内容基于异常行为的异常标签进行确定，基于宜昌标签确定提醒信息，提醒信息基于多种提醒方式进行发送。在本实施例中，提醒信息为自动生成，即通过不同异常标签配置不同的文字信息以及语音信息，基于获取到的异常行为对应的异常标签确定文字信息以及语音信息，并通过实时发送至用户端的方式或者发送语音信息至用户端的方式以及发送语音信息至关联家长管理端的方式进行提醒。
参阅图3，本实施例还提供一种远程教育数据采集分析装置300，包括：目标用户确定模块310，用于基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户。真实状态确定模块320，用于获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态。异常行为识别模块330，用于以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为。信息确定模块340，用于基于异常行为发送对应的提醒信息至真实用户的用户端。
本申请实施例提供的技术方案中，通过获取到的视频图像进行处理用于用户端采集到的用户进行是否为目标用户，以及目标用户是否为真实用户的判断。并且通过配置有行为异常行为识别模型实现对于上课过程中的用户的实时视频图像数据进行异常行为特征进行获取，并且基于异常行为特征确定异常行为从而判断在上课阶段过程中用户的异常行为，实现了在远程教育过程中对于上课学生的监督和管理。
需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义在此均不作限定。
本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、“目标”等，可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列表”等，也可以根据前后文进行毫无疑义地推导和确定。
本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。
另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“系统”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。
本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的系统。
同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
Claims (10)
1.一种远程教育数据采集分析方法，其特征在于，包括以下方法：
获取实时用户的第一视频图像，基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；
获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；
以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；
基于异常行为发送对应的提醒信息至真实用户的用户端；
基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，包括以下方法：
获取所述第一视频图像的关键帧图像；
提取所述关键帧图像的特征信息，将所述关键帧图像的特征信息与预设的基础图像的特征信息进行比对，得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似度，基于预设的相似度阈值得到第一比对结果；
基于所述第一比对结果确定目标用户的真实性，确定目标用户，包括以下方法：
当所述相似度大于等于所述相似度阈值，确定实时用户为目标用户；
当所述相似度小于所述相似度阈值，确定实时用户为非目标用户。
2.根据权利要求1所述的远程教育数据采集分析方法，其特征在于，获取所述第一视频图像的关键帧图像，包括以下方法：
提取多个时间段的所述第一视频图像的多帧图像，获取多个帧图像；
对所述多个帧图像进行二值化处理，得到二值化处理的第一帧图像；
提取多个所述第一帧图像的轮廓，比较多个所述第一帧图像轮廓的面积大小，面积最大的为所述关键帧图像。
3.根据权利要求2所述的远程教育数据采集分析方法，其特征在于，提取所述关键帧图像的特征信息包括提取所述关键帧图像中用于表征目标用户状态的目标图像，基于所述目标图像提取特征信息；
提取所述关键帧图像中用于表征目标用户状态的目标图像，包括以下方法：
基于确定的关键帧图像确定所述关键帧图像对应的二值化处理的第一帧图像；
获取所述第一帧图像的灰度直方图，基于所述灰度直方图计算分割阈值；
基于所述分割阈值，生成所述第一帧图像的二值化的掩膜图，其中，所述二值化的掩膜图中像素值为第一值的区域包括所述主体，所述二值化的掩膜图中像素值为第二值的像素为背景像素；
对所述二值化的掩膜图进行修正处理，得到修正掩膜图，所述修正处理用于抠除像素值为所述第一值的区域中的背景像素；
基于所述修正掩膜图抠除所述原始图像的背景，得到目标图像。
4.根据权利要求3所述的远程教育数据采集分析方法，其特征在于，获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：
获取所述第一视频图像的多时间段的视频帧，对多时间段的视频帧进行二值化处理，得到多个时间段的第一帧图像；
基于多时间段的所述第一帧图像轮廓面积的变化率，确定目标用户的实时状态，包括以下方法：
基于相邻时间段的所述第一帧图像轮廓面积的变化率，确定第一实时状态；基于相隔时间段的所述第一帧图像轮廓面积的变化率，确定第二实时状态；基于任意两个时间段的所述第一帧图像轮廓面积的变化率，确定第三实时状态；
基于所述第一实时状态、所述第二实时状态和所述第三实时状态确定目标实时状态。
5.根据权利要求3所述的远程教育数据采集分析方法，其特征在于，获取所述第一视频图像的多时间段的视频帧的特征，基于所述特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：
获取多时间段的视频帧的中多个目标区域的特征，所述特征为目标区域的位置参数；
比较多时间段中任一目标区域的坐标参数的变化值是否处于阈值范围；
获取多时间段的视频帧的中多个目标区域的位置参数包括：
获取所述目标区域的频域数据；
对所述频域数据进行滤波，确定滤波输出结果中最大值所在的位置参数为所述目标区域的位置参数。
6.根据权利要求1所述的远程教育数据采集分析方法，其特征在于，以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为，包括以下方法：
基于所述行为识别模型对所述实时图像信息进行特征提取获取用于表征异常行为的异常行为特征，所述行为识别模型为满足收敛要求的卷积神经网络；
基于预设的特征-行为映射关系将所述异常行为特征转换为异常行为信息；
所述行为识别模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
7.根据权利要求6所述的远程教育数据采集分析方法，其特征在于，基于异常行为发送对应的提醒信息至真实用户的用户端，包括以下方法：
获取所述异常行为信息的异常标签，基于所述异常标签与预设的异常行为数据库中对应相同异常标签的提醒信息进行匹配获得目标提醒策略，基于所述目标提醒策略将所述目标提醒信息发送至真实用户的用户端；所述提醒信息包括文字提醒、语音提醒中任意一种或多种。
8.一种远程教育数据采集分析装置，其特征在于，包括：
目标用户确定模块，用于基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；
真实状态确定模块，用于获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；
异常行为识别模块，用于以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；
信息确定模块，用于基于异常行为发送对应的提醒信息至真实用户的用户端。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211223500.2A CN115546692A (zh) | 2022-10-08 | 2022-10-08 | 一种远程教育数据采集分析方法、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211223500.2A CN115546692A (zh) | 2022-10-08 | 2022-10-08 | 一种远程教育数据采集分析方法、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546692A true CN115546692A (zh) | 2022-12-30 |
Family
ID=84731999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211223500.2A Withdrawn CN115546692A (zh) | 2022-10-08 | 2022-10-08 | 一种远程教育数据采集分析方法、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546692A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116582709A (zh) * | 2023-04-23 | 2023-08-11 | 上海兴岩信息科技有限公司 | 一种在线视频展示的方法及装置 |
| CN116611022A (zh) * | 2023-04-21 | 2023-08-18 | 深圳乐行智慧产业有限公司 | 智慧校园教育大数据融合方法及平台 |
-
2022
- 2022-10-08 CN CN202211223500.2A patent/CN115546692A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116611022A (zh) * | 2023-04-21 | 2023-08-18 | 深圳乐行智慧产业有限公司 | 智慧校园教育大数据融合方法及平台 |
| CN116611022B (zh) * | 2023-04-21 | 2024-04-26 | 深圳乐行智慧产业有限公司 | 智慧校园教育大数据融合方法及平台 |
| CN116582709A (zh) * | 2023-04-23 | 2023-08-11 | 上海兴岩信息科技有限公司 | 一种在线视频展示的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN108932508B (zh) | 一种题目智能识别、批改的方法和系统 | |
| CN110070295B (zh) | 课堂教学质量的评析方法、装置和计算机设备 | |
| CN115546692A (zh) | 一种远程教育数据采集分析方法、设备及计算机存储介质 | |
| CN111144191B (zh) | 字体识别方法、装置、电子设备及存储介质 | |
| WO2021077382A1 (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| CN111046819A (zh) | 一种行为识别处理方法及装置 | |
| CN112184500A (zh) | 基于深度学习和知识图谱的课外学习辅导系统及实现方法 | |
| CN111428448B (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
| CN112613780B (zh) | 一种学习报告生成的方法、装置、电子设备及存储介质 | |
| CN112101123B (zh) | 一种注意力检测方法及装置 | |
| CN110580470A (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| CN115223179A (zh) | 基于答题码的课堂教学数据处理方法和系统 | |
| CN114140876A (zh) | 一种课堂实时人体动作识别方法、计算机设备及可读介质 | |
| Kumar et al. | Automated Attendance System Based on Face Recognition Using Opencv | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
| CN112766130A (zh) | 一种课堂教学质量监测方法、系统、终端及存储介质 | |
| JP7293658B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN109800880B (zh) | 基于动态学习风格信息的自适应学习特征提取系统及应用 | |
| KR101996247B1 (ko) | 진단 검사 방법 및 장치 | |
| CN116110058A (zh) | 一种基于手写数字识别的虚拟人交互方法及系统 | |
| Rabiha et al. | Image processing model based E-Learning for students authentication | |
| CN115471380A (zh) | 一种基于教育云平台的信息管理方法与系统 | |
| CN115511670A (zh) | 一种在线教育方法及在线教育平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221230 |
|
| WW01 | Invention patent application withdrawn after publication |