CN111639624B - 一种基于人工智能的课堂教学及时强化能力评估方法及系统 - Google Patents

一种基于人工智能的课堂教学及时强化能力评估方法及系统 Download PDF

Info

Publication number
CN111639624B
CN111639624B CN202010522060.5A CN202010522060A CN111639624B CN 111639624 B CN111639624 B CN 111639624B CN 202010522060 A CN202010522060 A CN 202010522060A CN 111639624 B CN111639624 B CN 111639624B
Authority
CN
China
Prior art keywords
teacher
walking route
coding
module
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010522060.5A
Other languages
English (en)
Other versions
CN111639624A (zh
Inventor
陈雪霞
章作宏
曾颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shihai Technology Co ltd
Original Assignee
Shenzhen Shihai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shihai Technology Co ltd filed Critical Shenzhen Shihai Technology Co ltd
Priority to CN202010522060.5A priority Critical patent/CN111639624B/zh
Publication of CN111639624A publication Critical patent/CN111639624A/zh
Application granted granted Critical
Publication of CN111639624B publication Critical patent/CN111639624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于人工智能的课堂教学及时强化能力评估方法及系统，该方法包括执行以下步骤：包括执行以下步骤：第一步骤，视频采集：通过视频采集模块采集图像，并将采集的图像输入第二步骤；第二步骤，行走路线识别：第三步骤，行走路线编码：第四步骤，及时强化能力评估：第五步骤：输出评估结果。本发明的有益效果是:本发明通过人工智能图像识别技术，识别教师在课堂的行为，捕获教师的行走路线，将教师行走路线进行编码，然后将编码进行标定、训练一个及时强化能力智能评估模型。通过该模型以及提取教师行走路线信息，进行智能评估及时强化能力，解决教学及时强化能力评估自动化问题。

Description

一种基于人工智能的课堂教学及时强化能力评估方法及系统
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工智能的课堂教学及时强化能力评估方法及系统。
背景技术
目前还没有一种能够通过图像识别技术，识别教师在课堂的行为，捕获教师的行走路线，将教师行走路线进行编码，然后将编码进行标定、训练一个及时强化能力智能评估模型。
发明内容
本发明提供了一种基于人工智能的课堂教学及时强化能力评估方法，包括执行以下步骤：第一步骤，视频采集：通过视频采集模块采集图像，并将采集的图像输入第二步骤；
第二步骤，行走路线识别：获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
第三步骤，行走路线编码：接收第二步骤输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
第四步骤，及时强化能力评估：接收第三步骤的编码并将编码进行标定、训练；
第五步骤：输出评估结果。
作为本发明的进一步改进，在所述第一步骤中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入第二步骤中；
在所述第二步骤中，还包括执行以下步骤：
步骤1：获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进行步骤3，否则获取下一路视频，重复步骤2，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重复步骤2；
步骤2：获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
步骤3：计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于步骤3的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；步骤4：对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)。
作为本发明的进一步改进，在执行所述步骤1之前，还包括执行预处理步骤，具体如下：
将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔。
作为本发明的进一步改进，在所述步骤4中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；在所述步骤4中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标。
作为本发明的进一步改进，在所述第三步骤中，还包括执行以下步骤：编码步骤：经过接收第二步骤输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
区域编号 编码
q1 0001
q2 0010
q3 0011
q4 0100
q5 0101
q6 0111
q7 1000
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts)＝BIN(80×10ln(t0)+10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串。
作为本发明的进一步改进，在所述编码步骤中，教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合。
作为本发明的进一步改进，在所述第四步骤中，及时强化能力评估包括评估模型训练步骤和智能评估步骤，所述评估模型训练步骤包括：
样本标定步骤：用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成步骤：系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型步骤：建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估步骤：将样本输入到训练模型M中进行评估。
本发明还公开了一种基于人工智能的课堂教学及时强化能力评估系统，包括以下单元：
视频采集单元；用于通过视频采集模块采集图像，并将采集的图像输入行走路线识别单元进行识别；
行走路线识别单元；用于获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
行走路线编码单元；用于接收行走路线识别单元输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
及时强化能力评估单元；该及时强化能力评估单元负责接收行走路线编码单元的编码并将编码进行标定、训练；
输出单元：用于输出评估结果。
作为本发明的进一步改进，在所述视频采集单元中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入行走路线识别单元进行识别；
在所述行走路线识别单元中，还包括以下模块：
匹配模块：用于获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进入计算模块，否则获取下一路视频，重新运行获取模块，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重新运行获取模块；
获取模块：用于获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
计算模块：用于计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于计算模块的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；
追踪模块：用于对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)。
作为本发明的进一步改进，在所述视频采集单元之前，还包括预处理单元，所述预处理单元：
用于将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔；
在所述追踪模块中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；在所述追踪模块中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标；在所述行走路线编码单元中，还包括以下模块：
编码模块：经过接收行走路线识别单元输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
区域编号 编码
q1 0001
q2 0010
q3 0011
q4 0100
q5 0101
q6 0111
q7 1000
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts)＝BIN(80×10ln(t0)+10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串；
在所述编码模块中，教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合；
在所述及时强化能力评估单元中，及时强化能力评估包括评估模型训练模块和智能评估模块，所述评估模型训练模块包括：
样本标定模块：用于用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成模块：用于系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型模块：用于建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估模块：用于将样本输入到训练模型M中进行评估。
本发明的有益效果是：本发明的一种基于人工智能的课堂教学及时强化能力评估系统通过人工智能图像识别技术，识别教师在课堂的行为，捕获教师的行走路线，将教师行走路线进行编码，然后将编码进行标定、训练一个及时强化能力智能评估模型。通过该模型以及提取教师行走路线信息，进行智能评估及时强化能力，解决教学及时强化能力评估自动化问题。
附图说明
图1是本发明的课堂教学及时强化能力评估方法流程图。
具体实施方式
如图1所示，本发明公开了一种基于人工智能的课堂教学及时强化能力评估方法，包括执行以下步骤：
第一步骤，视频采集：通过视频采集模块采集图像，并将采集的图像输入第二步骤；
第二步骤，行走路线识别：获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
第三步骤，行走路线编码：接收第二步骤输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
第四步骤，及时强化能力评估：接收第三步骤的编码并将编码进行标定、训练；
第五步骤：输出评估结果。
在所述第一步骤中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入第二步骤中；
在所述第二步骤中，还包括执行以下步骤：
步骤1：获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进行步骤3，否则获取下一路视频，重复步骤2，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重复步骤2；
步骤2：获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
步骤3：计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于步骤3的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；步骤4：对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)。
在执行所述步骤1之前，还包括执行预处理步骤，具体如下：
将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔。
在所述步骤4中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；
在所述步骤4中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标。
在所述第三步骤中，还包括执行以下步骤：
编码步骤：经过接收第二步骤输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts)＝BIN(80×10ln(t0)+10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串。
在所述编码步骤中，考虑到ts小于6的作为噪音屏蔽，即持续时间小于30秒的作为噪音屏蔽，因此教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合。
在所述第四步骤中，及时强化能力评估包括评估模型训练步骤和智能评估步骤，所述评估模型训练步骤包括：
样本标定步骤：用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成步骤：系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型步骤：建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估步骤：将样本输入到训练模型M中进行评估。
本发明还公开了一种基于人工智能的课堂教学及时强化能力评估系统，包括以下单元：
视频采集单元；用于通过视频采集模块采集图像，并将采集的图像输入行走路线识别单元进行识别；
行走路线识别单元；用于获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
行走路线编码单元；用于接收行走路线识别单元输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
及时强化能力评估单元；该及时强化能力评估单元负责接收行走路线编码单元的编码并将编码进行标定、训练；
输出单元：用于输出评估结果。
在所述视频采集单元中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入行走路线识别单元进行识别；
在所述行走路线识别单元中，还包括以下模块：
匹配模块：用于获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进入计算模块，否则获取下一路视频，重新运行获取模块，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重新运行获取模块；
获取模块：用于获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
计算模块：用于计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于计算模块的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；
追踪模块：用于对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)。
在所述视频采集单元之前，还包括预处理单元，所述预处理单元：
用于将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔；
在所述追踪模块中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；在所述追踪模块中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标；在所述行走路线编码单元中，还包括以下模块：
编码模块：经过接收行走路线识别单元输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
区域编号 编码
q1 0001
q2 0010
q3 0011
q4 0100
q5 0101
q6 0111
q7 1000
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts)＝BIN(80×10ln(t0)+10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串；
在所述编码模块中，考虑到ts小于6的作为噪音屏蔽，即持续时间小于30秒的作为噪音屏蔽，因此教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合；
在所述及时强化能力评估单元中，及时强化能力评估包括评估模型训练模块和智能评估模块，所述评估模型训练模块包括：
样本标定模块：用于用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成模块：用于系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型模块：用于建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估模块：用于将样本输入到训练模型M中进行评估。
本发明的有益效果是：本发明的一种基于人工智能的课堂教学及时强化能力评估系统通过人工智能图像识别技术，识别教师在课堂的行为，捕获教师的行走路线，将教师行走路线进行编码，然后将编码进行标定、训练一个及时强化能力智能评估模型。通过该模型以及提取教师行走路线信息，进行智能评估及时强化能力，解决教学及时强化能力评估自动化问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于人工智能的课堂教学及时强化能力评估方法，其特征在于，包括执行以下步骤：
第一步骤，视频采集：通过视频采集模块采集图像，并将采集的图像输入第二步骤；
第二步骤，行走路线识别：获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
第三步骤，行走路线编码：接收第二步骤输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
第四步骤，及时强化能力评估：接收第三步骤的编码并将编码进行标定、训练；
第五步骤：输出评估结果；
在所述第一步骤中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入第二步骤中；
在所述第二步骤中，还包括执行以下步骤：
步骤1：获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进行步骤3，否则获取下一路视频，重复步骤2，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重复步骤2；
步骤2：获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
步骤3：计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于步骤3的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；
步骤4：对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)；
在所述第三步骤中，还包括执行以下步骤：
编码步骤：经过接收第二步骤输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
区域编号 编码 q1 0001 q2 0010 q3 0011 q4 0100 q5 0101 q6 0111 q7 1000
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts) ＝ BIN(80×10ln(t0) + 10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串；
在执行所述步骤1之前，还包括执行预处理步骤，具体如下：
将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔。
2.根据权利要求1所述的课堂教学及时强化能力评估方法，其特征在于：在所述步骤4中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；在所述步骤4中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标。
3.根据权利要求1所述的课堂教学及时强化能力评估方法，其特征在于，在所述编码步骤中，教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合。
4.根据权利要求1所述的课堂教学及时强化能力评估方法，其特征在于，在所述第四步骤中，及时强化能力评估包括评估模型训练步骤和智能评估步骤，所述评估模型训练步骤包括：
样本标定步骤：用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成步骤：系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型步骤：建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估步骤：将样本输入到训练模型M中进行评估。
5.一种基于人工智能的课堂教学及时强化能力评估系统，其特征在于，包括以下单元：
视频采集单元；用于通过视频采集模块采集图像，并将采集的图像输入行走路线识别单元进行识别；
行走路线识别单元；用于获取教师人脸轮廓并进行计算和追踪，从而获取教师所在位置坐标并输出教师行走路线；
行走路线编码单元；用于接收行走路线识别单元输出的教师行走路线，并采用联合编码将接收到的教师行走路线进行编码；
及时强化能力评估单元；该及时强化能力评估单元负责接收行走路线编码单元的编码并将编码进行标定、训练；
输出单元：用于输出评估结果；
在所述视频采集单元中，为了保证视频采集无死角，视频采集模块有4个广角摄像机构成，从4个方位采集4路视频，然后将4路视频分别输入行走路线识别单元进行识别；
在所述行走路线识别单元中，还包括以下模块：
匹配模块：用于获取一路视频，采集图像进行教师人脸比对，当相似度>80％，比对出成功，进入计算模块，否则获取下一路视频，重新运行获取模块，直到成功；如果所有输入视频没有匹配到，从第一路视频开始重新运行获取模块；
获取模块：用于获取教师人脸轮廓，计算坐标，获取教师所除的区域qi以及进入时间t0，其中t0为逻辑时钟，从课堂开始为计时，时间起始值为0，单位为10秒，初始化行走路线X＝{x0},x0＝(qi,t0,ts)，其中ts＝0；
计算模块：用于计算人体轮廓，计算轮廓直方图，对教师轮廓进行追踪，如果追踪目标坐标位于计算模块的qi时候，只需更新ts＝ts+当前时间–t0，其中ts单位与t0一样为10秒，当跟踪目标坐标区域q不等于qi时候X＝X∪{q}；
追踪模块：用于对教师轮廓进行追踪，跟踪方法采用质心漂移跟踪；设n个质点组成的质点系，其各质点的质量分别为m1，m2，…，mn，若用r1，r2，…，rn分别表示质点系中各质点相对某固定点的矢径，rc表示质心的矢径，则有rc＝(m1*r1+m2*r2...+mn*r3)/(m1+m2...+mn)。
6.根据权利要求5所述的课堂教学及时强化能力评估系统，其特征在于：在所述视频采集单元之前，还包括预处理单元，所述预处理单元：
用于将每一路摄像机拍摄的图像进行分区分为讲台、左前、左中、左后、右前、右中、右后7个区域，计为集合Q＝{q1,q2,q3,q4,q5,q6,q7}；教师行走路线表示为一个3元组的集合X，其中X的元素x表示为(q,t0,ts)，q表示位区域编号，t0为进入区域时间，ts为维持时间间隔；
在所述追踪模块中，由于人体具有部分刚体特性，为减少质心抖动幅度增加跟踪平稳性，需要增加刚体部分的质量权重，减少非刚体部分质量权重；在所述追踪模块中，所述质量权重具体采用背景检测的方法计算轮廓每个质点的变化概率，从而生成对应的质量权重，针对由质量权重计算出的质心，在连续帧类拟合一条光滑的曲线，得出每个时间点教师所在位置坐标；在所述行走路线编码单元中，还包括以下模块：
编码模块：经过接收行走路线识别单元输出的教师行走路线，为一个的三元组的集合，三元组包括区域编码q,起始时间t0，持续时间ts，区域编码Q，Q为{q1,q2,q3,q4,q5,q6,q7}的编码表为：
区域编码表
区域编号 编码 q1 0001 q2 0010 q3 0011 q4 0100 q5 0101 q6 0111 q7 1000
起始时间t0，与持续时间ts采用联合编码，编码公式为：
C1(t0,ts) ＝ BIN(80×10ln(t0) + 10ln(ts))， (公式一)
其中，BIN函数为将十进制数字转换为二进制字符串；
教师行走路线编码函数为：
C(x)＝C0(qi)∪C1(t0,ts)(ts>3)
其中，x为三元组(qi,t0,ts)，函数C0为向区域编码编码表的查表函数；经过公式二，行走路线X的成员元组x，编码为一个长度为16的2进制字符串；
在所述编码模块中，教师行走路线一节课至多由90个长度与16的向量联合而成，因此行走路线X可以编码为长度为134的二进制向量，当X编码长度小于144，编码输出长度固定为144，不足的补0；
计算公式为：C(X)＝C(Xi-1)∪C(xi)∪S，集合S当C(Xi-1)∪C(xi)长度不足144时补0的集合；
在所述及时强化能力评估单元中，及时强化能力评估包括评估模型训练模块和智能评估模块，所述评估模型训练模块包括：
样本标定模块：用于用户根据教师行走路线图示进行标定，根据不同的行走路线标识为对应的及时强化能力级别为高、中、低；
训练样本集D生成模块：用于系统行走路线编码与对应的及时强化能力级别配对形成训练样本集合D；
建立训练模型模块：用于建立随机森林模型训练模型M；从样本集合D中随机以有放回抽样的方式取样本N次，形成一个训练集Q，并用未抽到样本作预测，评估其误差，对于每一个节点，随机选择m个特征，根据这m个特征，计算其最佳的分裂方式；
所述智能评估模块：用于将样本输入到训练模型M中进行评估。
CN202010522060.5A 2020-06-10 2020-06-10 一种基于人工智能的课堂教学及时强化能力评估方法及系统 Active CN111639624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010522060.5A CN111639624B (zh) 2020-06-10 2020-06-10 一种基于人工智能的课堂教学及时强化能力评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010522060.5A CN111639624B (zh) 2020-06-10 2020-06-10 一种基于人工智能的课堂教学及时强化能力评估方法及系统

Publications (2)

Publication Number Publication Date
CN111639624A CN111639624A (zh) 2020-09-08
CN111639624B true CN111639624B (zh) 2023-09-29

Family

ID=72330675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010522060.5A Active CN111639624B (zh) 2020-06-10 2020-06-10 一种基于人工智能的课堂教学及时强化能力评估方法及系统

Country Status (1)

Country Link
CN (1) CN111639624B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232166B (zh) * 2020-10-10 2023-12-01 中国平安人寿保险股份有限公司 基于人工智能的讲师动态评价方法、装置、计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300584A (ja) * 2001-03-30 2002-10-11 Kddi Corp 最適経路選択型動画像符号化装置
CN106851579A (zh) * 2017-03-27 2017-06-13 华南师范大学 基于室内定位技术对教师移动数据记录及分析的方法
CN106886750A (zh) * 2017-01-04 2017-06-23 沈阳工业大学 基于Kinect的拆卸工具运动轨迹识别方法
CN108805080A (zh) * 2018-06-12 2018-11-13 上海交通大学 基于上下文的多层次深度递归网络群体行为识别方法
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110837947A (zh) * 2019-10-11 2020-02-25 杭州电子科技大学 一种基于音视频分析技术的教师授课专注度的评估方法
WO2020049634A1 (ja) * 2018-09-04 2020-03-12 三菱電機株式会社 教師データ生成装置、教師データ生成方法、および、教師データ生成システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280521A (ja) * 2003-03-17 2004-10-07 Matsushita Electric Ind Co Ltd プローブカーシステムでの走行軌跡の伝送方法と装置
CN106504266B (zh) * 2016-09-29 2019-06-14 北京市商汤科技开发有限公司 行走行为的预测方法和装置、数据处理装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300584A (ja) * 2001-03-30 2002-10-11 Kddi Corp 最適経路選択型動画像符号化装置
CN106886750A (zh) * 2017-01-04 2017-06-23 沈阳工业大学 基于Kinect的拆卸工具运动轨迹识别方法
CN106851579A (zh) * 2017-03-27 2017-06-13 华南师范大学 基于室内定位技术对教师移动数据记录及分析的方法
CN108805080A (zh) * 2018-06-12 2018-11-13 上海交通大学 基于上下文的多层次深度递归网络群体行为识别方法
WO2020049634A1 (ja) * 2018-09-04 2020-03-12 三菱電機株式会社 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
CN109919434A (zh) * 2019-01-28 2019-06-21 华中科技大学 一种基于深度学习的教师课堂表现智能评价方法
CN110837947A (zh) * 2019-10-11 2020-02-25 杭州电子科技大学 一种基于音视频分析技术的教师授课专注度的评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
关注数学教师课堂行走路线 建立激励性数学课堂;于立梅;《北京教育学院学报(自然科学版)》;20130920(第03期);第32-36页 *
基于彩色轨迹引导的AGV视觉导航方案研究;龙水军;汪焰恩;魏生民;郭叶;;工具技术(第01期);全文 *
林强等.行为识别与智能计算.西安电子科技大学出版社,2016,(第2016年11月第1次印刷版),第47-48页. *

Also Published As

Publication number Publication date
CN111639624A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN109934117B (zh) 基于生成对抗网络的行人重识别检测方法
US7873208B2 (en) Image matching system using three-dimensional object model, image matching method, and image matching program
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN112446342B (zh) 关键帧识别模型训练方法、识别方法及装置
CN109934127B (zh) 基于视频图像与无线信号的行人识别与跟踪方法
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
CN109325466B (zh) 一种基于动作识别技术的智能运动指导系统及方法
CN112183355B (zh) 基于双目视觉和深度学习的出水高度检测系统及其方法
CN111582199A (zh) 一种人脸识别模型训练方法和人脸识别方法
CN113516005B (zh) 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN111291718A (zh) 行为预测方法及装置、步态识别方法及装置
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN111639624B (zh) 一种基于人工智能的课堂教学及时强化能力评估方法及系统
CN115482580A (zh) 一种基于机器视觉骨骼追踪术的多人评测系统
De Langis et al. Realtime multi-diver tracking and re-identification for underwater human-robot collaboration
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
KR102270899B1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
CN113327269A (zh) 一种无标记颈椎运动检测方法
CN110135352B (zh) 一种基于深度学习的战术动作评估方法
CN115661586B (zh) 模型训练和人流量统计方法、装置及设备
CN113837143B (zh) 一种动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Xuexia

Inventor after: Zhang Zuohong

Inventor after: Zeng Ying

Inventor before: Zhou Dazhan

GR01 Patent grant
GR01 Patent grant