CN112766226A - 一种线上线下相结合的多维教学ai学堂系统 - Google Patents

一种线上线下相结合的多维教学ai学堂系统 Download PDF

Info

Publication number
CN112766226A
CN112766226A CN202110140759.XA CN202110140759A CN112766226A CN 112766226 A CN112766226 A CN 112766226A CN 202110140759 A CN202110140759 A CN 202110140759A CN 112766226 A CN112766226 A CN 112766226A
Authority
CN
China
Prior art keywords
image
area
learning
teaching
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110140759.XA
Other languages
English (en)
Inventor
赵凯
黄国荣
龚坤葫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Group Guangdong Co ltd
Original Assignee
Huawei Group Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Group Guangdong Co ltd filed Critical Huawei Group Guangdong Co ltd
Priority to CN202110140759.XA priority Critical patent/CN112766226A/zh
Publication of CN112766226A publication Critical patent/CN112766226A/zh
Priority to KR1020210096937A priority patent/KR20220111634A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)

Abstract

一种线上线下相结合的多维教学AI学堂系统，包括：硬件教学准备部署：整套系统需要一套播放主机和一台AI分析主机；全角度智能识别：基于4D全角度骨骼检测技术，多机位全方位准确识别视频中的单个个体人脸、表情、行为、姿态等信息；音视频双维度教学内容整合：通过自主的语音辅助视频双维度识别分析方法，使用对应的音频来辅助视频流分析；学生个体的学情分析：收集和分析每个学生的课堂、学习数据；教育教学评估模型建设：与名校协作，建立多种智能评估模型。其具有智能化分析、智能化分类、智能化处理，设计合理且有效增进学习效果的优点。

Description

一种线上线下相结合的多维教学AI学堂系统
技术领域
本发明涉及多维度智能化教育相关领域，具体涉及一种线上线下相结合的多维教学AI学堂系统，简称华蔚AI学堂。
背景技术
华蔚AI学堂以“习惯改变一生”为育人理念，培养学生应具备能够适应终身发展和社会发展需要的必备品格和关键能力。通过托育系统的运用，针对大数据的分析结果，进行学生的针对性学习培训和个性化培养。结合名师在线互动教育、动漫文化、儿童营养配餐、儿童健康监测、家庭教育指导、在线监控托管等创新服务模式，打造一个“让孩子开心，让家长放心”的托育教育系统。
华蔚AI学堂以人脸识别、表情识别、姿态识别、教学行为分析为基础，从课堂、教师、学生三个维度进行大数据分析，采用过程化数据分析开展教学研究和学生综合素质评价，让学校领导“有据可依”、“精准管理”，让老师“因材施教”、“以导代教”，让学生“主动思考”、“自主学习”，实现教学评价从单一维度向综合性多维度转变，促进学校精准管理、教师精准教学、学生精准学习。
鉴于多维教学系统已能达到因时因地制宜，但因材施教是数千年来教育不变的理想，也是解决学习障碍的重要方法，所以适性化教学是多维学习系统中重要的一环。将教材与测验予以适性化整合，让每位学习者获得适合自己的教材与练习测验，经由反复自我学习与练习而渐入佳境。
本发明即针对上述之需求，乃特潜心研究并配合学理之运用，提出一种线上线下相结合的多维教学AI学堂系统，并提供智能化分析、智能化分类、智能化处理，设计合理且有效增进学习效果之发明。
发明内容
鉴于上述背景，本发明提供一种多维系统的解决方案，包含硬件部署、智能化识别方法、多维度分析、线上教学模型一系列的教学理念和方法。
一种线上线下相结合的多维教学AI学堂系统，包括：
一、硬件教学准备部署：
整套系统需要一套播放(录播、直播、跟踪、音频)主机和一台AI分析主机，即可实现视频采集、智能识别分析，高度集成化，连接、操作简便、维护方便，满足大规模常态化教室和分组教学智慧教室建设应用；具体设备包括：区域标定模块，用于对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制模块，用于控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
区域匹配模块，用于将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
跟踪模块，用于根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪。
播放跟踪系统包括：
ARM控制处理器；
与所述ARM控制处理器连接的DSP控制处理器；
与所述DSP控制处理器连接的传感器采集模块，用于对传感器信号进行采集；
与所述DSP控制处理器连接的图像信号采集模块，用于对图像信号进行采集；
与所述图像信号采集模块连接的图像分析模块，用于对图像信号进行分析。
所述系统还包括：
跟踪决策模块，与所述ARM控制处理器连接，用于跟踪决策模块根据目标坐标查找出包含该坐标的最优区域，最优判断方法为目标坐标离中心最近。
所述系统还包括：
一云台控制模块，与所述ARM控制处理器连接；
一摄像机控制模块，与所述云台控制模块连接，用于发送云台控制命令。
所述系统还包括：
一电源模块，与所述DSP控制处理器连接，用于为系统提供电源。
所述系统还包括：
一内存Flash存储模块，与所述DSP控制处理器连接。
二、全角度智能识别：
基于4D全角度骨骼检测技术，多机位全方位准确识别视频中的单个个体人脸、表情、行为、姿态等信息，不受方向、人脸重叠影响，能适用常规教学和分组教学模式；对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪。
在其中一个实施例中，所述对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域的步骤包括：
通过按键开启标定模式，控制传感器模块和图像信号采集模块同时启动工作；
通过分析模块判断标定人是否在目标区域移动，当分析模块感应到标定人静止超过30秒时，开始标定区域的角点，并重复多次操作，形成一个4点区域；
分析标定区域，若标定信息来源都是距离传感器，则区域标定与传感器感应区域，否则标定为图像感应区域；
如果标定的4个角点来源不统一，则重新标定。
在其中一个实施例中，所述将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位的步骤包括：
当区域标定完成后，控制将区域与摄像机云台进行匹配，以控制摄像机跟踪，区域匹配采用5点匹配法；
选用标定区域的外接矩形区域，定义坐标分别为（x1,y1) ,(x1,y2), (x2,y1),(x2,y2) ,同时计算中心坐标定义为 (x0,y0)；
标定人移动到（x0,y0) ，转到摄像机记录此时的垂直角度v0,水平角度h0；
标定人移动到（x1,y1),（x1,y2) ，转到摄像机记录二者平均水平角度h1；
标定人移动到（x2,y1),（x2,y2) ，转到摄像机记录二者平均水平角度h2；
在其中一个实施例中，所述定位计算公式为：
摄像机水平转角h =(atan( x -x0)/(x1-x0)×tan(h1-h0) )+ atan( x -x0)/(x2-x0)×tan(h2-h0))/2；
摄像机水平转角v =(atan( y-y0)/(y1-y0)×tan(v1-v0) )+ atan( x -x0)/(y2-y0)×tan(v2-v0))/2 ；其中，atan为反正切函数，tan为正切函数。
三、音视频双维度教学内容整合：
通过自主的语音辅助视频双维度识别分析方法，使用对应的音频来辅助视频流分析，实现更精准的视频教学场景分割及视频教学内容分类；
(1)设置特征标记；
(2)拍摄所述步骤(1)中的特征标记进视频中形成音视频文件，在进行音视频文件回放时，能在回放界面上显示具有特征标记的视频；
(3)对所述步骤(2)中的音视频文件的特征标记所包含的信息进行识别，并将识别出的特征标记与音视频文件进行唯一性关联。
优选的，在所述步骤(1)中，由前端设备生成一个特征标记，所述前端设备包括PC但不限于PC；所述特征标记为二维码；所述步骤(3)由后台应用业务系统进行处理；
所述步骤(1)中的二维码为QRcode二维码；在所述步骤(3)中，识别出视频中二维码信息后自动关联该段音视频文件，将该关联信息自动与后台应用程序执法记录关联；
在所述步骤(3)中，二维码的识别包括预处理和解码步骤；其中所述预处理步骤的具体方法为：
第一步：将图像采集设备获取的二维码进行灰度化处理，降低数据量，减少存储空间和图像处理时间；
第二步：使用中值滤波去除采集二维条码图像时引入的噪声点，降低噪声对后续图像处理的干扰；
第三步：条码识别只需要获取条码图像中的深浅模块信息即可，所以在滤波后需要对图像进行二值化，采用自适应光照均衡和Otsu全局阈值相结合的算法对二维条码图像进行二值化，去除条码图像光照不均的影响；
第四步：实现二维条码定位，获取条码的倾斜角度和四个控制顶点，将二维条码所在区域从整幅图像中切割出来，为后续条码的旋转和几何畸变校正做准备，减少后续图像处理范围，加快图像处理速度；
第五步：根据第四步得到的条码倾斜角度将图像旋转为水平状态；
第六步：实现二维条码的几何失真校正，得到一幅较为规整条码图像；
第七步：QRcode二维码根据位置探测图形和校正图形的位置信息建立采样网格，为QRcode二维码的码字提取做好准备；
第八步：QRcode二维码码字提取则是对采样网格交叉点进行采样，深色记为0，浅色记为1，即可得到QRcode二维码的码字序列；
所述解码步骤包括有二维码码字提取、纠错译码和信息译码；
在所述步骤(3)中，还包括有对音视频文件进行水印叠加、加密传输和授权处理。
所述步骤(2)中拍摄得到的音视频文件通过有线或无线网络传输到后台应用业务系统进行所述步骤(3)的处理。
四、学生个体的学情分析：
收集和分析每个学生的课堂、学习数据，通过大数据统计监测学习效果及时评价，诊断学习中的问题，精准分析每个学生的学习方式和特点，改进日常学习方式和行为，培养学生智慧学习方式；步骤A1、人脸采集：基于教室中学生面对的摄像头采集学生上课的视频，将此视频作为样本输入。
步骤A2、人脸检测：采用人脸检测实时处理框架进行面部检测，并且确定授课学生的身份，与后台数据库进行关联。
步骤A3、旋转校正：采用面部区域的旋转校正来对齐，然后将检测到的面部区域缩放到72*72的尺寸。
步骤A4、利用局部二值模式，描述图像的局部纹理特性：在3*3的尺寸中，若周围像素值大于中心像素值，则该像素点的位置记为1，反之则为0。然后计算出每个像素的LBP值，从而得到LBP面部图像；
步骤A5、采用VGG16提取灰度面部图像的特征：将VGG16中的卷积层和池化层进行组合；去掉VGG16的两个密集层，来简化灰度面部图像的特征提取；
步骤A6、LBP面部图像的特征提取：对于LBP面部图像，构建一个浅层CNN模型，包括输入层，两个卷积层、子采样层和特征向量层；
在第一卷积层中主要是识别面部的主要信息，使用64个滤波器用于输入LBP图像，使用7*7卷积核并且输出72*72像素的64张图片，然后第一子采样层使用2*2内核的最大池将图片大小变成一半；
第二个卷积层用3*3卷积核进行256次卷积，来映射之前的层，第二子采样层也使用2*2的内核，在两个子采样层之后添加ReLu激活函数；
然后，输出一个具有500个神经元的隐藏层，隐藏层与两个子采样层相连，保证提取的特征保持不变；
步骤A7、加权融合：加权融合对象为从灰度图像提取的特征向量h1和从浅层CNN模型的LBP面部图像提取的特征向量h2；
在融合特征向量的基础上，采用Softmax分类方法进行识别；
步骤A8、视频的定量分析：根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和学生授课专注度与人脸表情的内在联系，设计权重系数，评估学生教学投入度Ws；
步骤A9、音频的定量分析：使用OpenEAR工具包，用Z标准化对语音进行归一化，识别出学生授课音频中学生内心情感的分类，设计权重系数，评估学生授课专注度Wy；
步骤A10、综合指数计算：在得到Ws和Wy之后，设计两者的权重系数都设为0.5。这样得到学生授课专注度W：
W＝0.5*Ws+0.5*Wy。
五、教育教学评估模型建设：
与名校协作，建立多种智能评估模型，课堂、学生、教师多维度智能分析，课堂教学、评价评学、课程/学生分析报告等数据多元报表以丰富的可视化方式呈现。包括(1)多维题目数据库，(2)学习成绩数据库，(3)线上自动测验系统，(4)智能型学习成效分析系统，(5)网页精灵导引系统等模块所组成，系统人员可透过多维题目数据库系统输入题目，并建立完整索引系统，使用者透过线上自动测验系统进行远程考试，考试过程的活动记录与成绩累计于学习记录数据库，之后使用者再透过智能型学习成效分析系统了解自我的学习盲点与欲加强的项目，另透过网页精灵的导引系统，如互动桌面或网页精灵的方式，随时随地提出警示讯号，导引使用者进入正确的学习方向。
本系统利用网页(Web)技术与全球信息网(worldwideweb)的相关环境实施，故使用者可透过网际网络(Internet)随时随地进行测验，利用资料探勘(DataMining)的技术，进行学习成效分析，由统计资料与分析报表让使用者了解自我的学习盲点、已加强区、未加强区与待加强区，透过系统的辅助，使用者能清楚了解往后的学习重点，让学习活动能有事半功倍的成效，另系统依据使用者的学习进度与历史学习成效等资料，再透过系统常驻计算机的网页精灵，提供随时随地学习导引，提醒使用者应加强与注意的学习主题，主动警示使用者应用心处，提供计算机系统中的虚拟导师。
本发明的优势和特点在于：
本发明提供智能化分析、智能化分类、智能化处理，设计合理且有效增进学习效果的智能化AI系统，包含硬件部署、智能化识别方法、多维度分析、线上教学模型一系列的教学理念和方法。
具体实施例
为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明未述及的硬件和步骤，均系现有技术或标准产品，不再赘述。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
一种线上线下相结合的多维教学AI学堂系统，包括：
一、硬件教学准备部署：
整套系统需要一套播放(录播、直播、跟踪、音频)主机和一台AI分析主机，即可实现视频采集、智能识别分析，高度集成化，连接、操作简便、维护方便，满足大规模常态化教室和分组教学智慧教室建设应用；具体设备包括：区域标定模块，用于对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制模块，用于控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
区域匹配模块，用于将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
跟踪模块，用于根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪。
播放跟踪系统包括：
ARM控制处理器；
与所述ARM控制处理器连接的DSP控制处理器；
与所述DSP控制处理器连接的传感器采集模块，用于对传感器信号进行采集；
与所述DSP控制处理器连接的图像信号采集模块，用于对图像信号进行采集；
与所述图像信号采集模块连接的图像分析模块，用于对图像信号进行分析。
所述系统还包括：
跟踪决策模块，与所述ARM控制处理器连接，用于跟踪决策模块根据目标坐标查找出包含该坐标的最优区域，最优判断方法为目标坐标离中心最近。
所述系统还包括：
一云台控制模块，与所述ARM控制处理器连接；
一摄像机控制模块，与所述云台控制模块连接，用于发送云台控制命令。
所述系统还包括：
一电源模块，与所述DSP控制处理器连接，用于为系统提供电源。
所述系统还包括：
一内存Flash存储模块，与所述DSP控制处理器连接。
二、全角度智能识别：
基于4D全角度骨骼检测技术，多机位全方位准确识别视频中的单个个体人脸、表情、行为、姿态等信息，不受方向、人脸重叠影响，能适用常规教学和分组教学模式；对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪。
在其中一个实施例中，所述对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域的步骤包括：
通过按键开启标定模式，控制传感器模块和图像信号采集模块同时启动工作；
通过分析模块判断标定人是否在目标区域移动，当分析模块感应到标定人静止超过30秒时，开始标定区域的角点，并重复多次操作，形成一个4点区域；
分析标定区域，若标定信息来源都是距离传感器，则区域标定与传感器感应区域，否则标定为图像感应区域；
如果标定的4个角点来源不统一，则重新标定。
在其中一个实施例中，所述将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位的步骤包括：
当区域标定完成后，控制将区域与摄像机云台进行匹配，以控制摄像机跟踪，区域匹配采用5点匹配法；
选用标定区域的外接矩形区域，定义坐标分别为（x1,y1) ,(x1,y2), (x2,y1),(x2,y2) ,同时计算中心坐标定义为 (x0,y0)；
标定人移动到（x0,y0) ，转到摄像机记录此时的垂直角度v0,水平角度h0；
标定人移动到（x1,y1),（x1,y2) ，转到摄像机记录二者平均水平角度h1；
标定人移动到（x2,y1),（x2,y2) ，转到摄像机记录二者平均水平角度h2。
在其中一个实施例中，所述定位计算公式为：
摄像机水平转角h =(atan( x-x0)/(x1-x0)×tan(h1-h0) )+ atan( x-x0)/(x2-x0)×tan(h2-h0))/2；
摄像机水平转角v =(atan( y-y0)/(y1-y0)×tan(v1-v0) )+ atan( x -x0)/(y2-y0)×tan(v2-v0))/2 ；其中，atan为反正切函数，tan为正切函数。
三、音视频双维度教学内容整合：
通过自主的语音辅助视频双维度识别分析方法，使用对应的音频来辅助视频流分析，实现更精准的视频教学场景分割及视频教学内容分类；
(1)设置特征标记；
(2)拍摄所述步骤(1)中的特征标记进视频中形成音视频文件，在进行音视频文件回放时，能在回放界面上显示具有特征标记的视频；
(3)对所述步骤(2)中的音视频文件的特征标记所包含的信息进行识别，并将识别出的特征标记与音视频文件进行唯一性关联。
优选的，在所述步骤(1)中，由前端设备生成一个特征标记，所述前端设备包括PC但不限于PC；所述特征标记为二维码；所述步骤(3)由后台应用业务系统进行处理。
所述步骤(1)中的二维码为QRcode二维码；在所述步骤(3)中，识别出视频中二维码信息后自动关联该段音视频文件，将该关联信息自动与后台应用程序执法记录关联。
在所述步骤(3)中，二维码的识别包括预处理和解码步骤；其中所述预处理步骤的具体方法为：
第一步：将图像采集设备获取的二维码进行灰度化处理，降低数据量，减少存储空间和图像处理时间；
第二步：使用中值滤波去除采集二维条码图像时引入的噪声点，降低噪声对后续图像处理的干扰；
第三步：条码识别只需要获取条码图像中的深浅模块信息即可，所以在滤波后需要对图像进行二值化，采用自适应光照均衡和Otsu全局阈值相结合的算法对二维条码图像进行二值化，去除条码图像光照不均的影响；
第四步：实现二维条码定位，获取条码的倾斜角度和四个控制顶点，将二维条码所在区域从整幅图像中切割出来，为后续条码的旋转和几何畸变校正做准备，减少后续图像处理范围，加快图像处理速度；
第五步：根据第四步得到的条码倾斜角度将图像旋转为水平状态；
第六步：实现二维条码的几何失真校正，得到一幅较为规整条码图像；
第七步：QRcode二维码根据位置探测图形和校正图形的位置信息建立采样网格，为QRcode二维码的码字提取做好准备；
第八步：QRcode二维码码字提取则是对采样网格交叉点进行采样，深色记为0，浅色记为1，即可得到QRcode二维码的码字序列；
所述解码步骤包括有二维码码字提取、纠错译码和信息译码。
在所述步骤(3)中，还包括有对音视频文件进行水印叠加、加密传输和授权处理。
所述步骤(2)中拍摄得到的音视频文件通过有线或无线网络传输到后台应用业务系统进行所述步骤(3)的处理。
四、学生个体的学情分析：
收集和分析每个学生的课堂、学习数据，通过大数据统计监测学习效果及时评价，诊断学习中的问题，精准分析每个学生的学习方式和特点，改进日常学习方式和行为，培养学生智慧学习方式；步骤A1、人脸采集：基于教室中学生面对的摄像头采集学生上课的视频，将此视频作为样本输入。
步骤A2、人脸检测：采用人脸检测实时处理框架进行面部检测，并且确定授课学生的身份，与后台数据库进行关联。
步骤A3、旋转校正：采用面部区域的旋转校正来对齐，然后将检测到的面部区域缩放到72*72的尺寸。
步骤A4、利用局部二值模式，描述图像的局部纹理特性：在3*3的尺寸中，若周围像素值大于中心像素值，则该像素点的位置记为1，反之则为0。然后计算出每个像素的LBP值，从而得到LBP面部图像；
步骤A5、采用VGG16提取灰度面部图像的特征：将VGG16中的卷积层和池化层进行组合；去掉VGG16的两个密集层，来简化灰度面部图像的特征提取；
步骤A6、LBP面部图像的特征提取：对于LBP面部图像，构建一个浅层CNN模型，包括输入层，两个卷积层、子采样层和特征向量层。
在第一卷积层中主要是识别面部的主要信息，使用64个滤波器用于输入LBP图像，使用7*7卷积核并且输出72*72像素的64张图片，然后第一子采样层使用2*2内核的最大池将图片大小变成一半。
第二个卷积层用3*3卷积核进行256次卷积，来映射之前的层，第二子采样层也使用2*2的内核，在两个子采样层之后添加ReLu激活函数；
然后，输出一个具有500个神经元的隐藏层，隐藏层与两个子采样层相连，保证提取的特征保持不变。
步骤A7、加权融合：加权融合对象为从灰度图像提取的特征向量h1和从浅层CNN模型的LBP面部图像提取的特征向量h2。
在融合特征向量的基础上，采用Softmax分类方法进行识别。
步骤A8、视频的定量分析：根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和学生授课专注度与人脸表情的内在联系，设计权重系数，评估学生教学投入度Ws。
步骤A9、音频的定量分析：使用OpenEAR工具包，用Z标准化对语音进行归一化，识别出学生授课音频中学生内心情感的分类，设计权重系数，评估学生授课专注度Wy。
步骤A10、综合指数计算：在得到Ws和Wy之后，设计两者的权重系数都设为0.5。这样得到学生授课专注度W：
W＝0.5*Ws+0.5*Wy。
五、教育教学评估模型建设：
与名校协作，建立多种智能评估模型，课堂、学生、教师多维度智能分析，课堂教学、评价评学、课程/学生分析报告等数据多元报表以丰富的可视化方式呈现。包括(1)多维题目数据库，(2)学习成绩数据库，(3)线上自动测验系统，(4)智能型学习成效分析系统，(5)网页精灵导引系统等模块所组成，系统人员可透过多维题目数据库系统输入题目，并建立完整索引系统，使用者透过线上自动测验系统进行远程考试，考试过程的活动记录与成绩累计于学习记录数据库，之后使用者再透过智能型学习成效分析系统了解自我的学习盲点与欲加强的项目，另透过网页精灵的导引系统，如互动桌面或网页精灵的方式，随时随地提出警示讯号，导引使用者进入正确的学习方向。
本系统利用网页(Web)技术与全球信息网(worldwideweb)的相关环境实施，故使用者可透过网际网络(Internet)随时随地进行测验，利用资料探勘(DataMining)的技术，进行学习成效分析，由统计资料与分析报表让使用者了解自我的学习盲点、已加强区、未加强区与待加强区，透过系统的辅助，使用者能清楚了解往后的学习重点，让学习活动能有事半功倍的成效，另系统依据使用者的学习进度与历史学习成效等资料，再透过系统常驻计算机的网页精灵，提供随时随地学习导引，提醒使用者应加强与注意的学习主题，主动警示使用者应用心处，提供计算机系统中的虚拟导师。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，实施例中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之，如果本领域的普通技术人员受其启示，在不脱离本发明的创造宗旨的情况下，不经创造者的允许设计出与该技术方案相似的结构方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.一种线上线下相结合的多维教学AI学堂系统，其特征在于：包括：
一、硬件教学准备部署：
整套系统需要一套播放(录播、直播、跟踪、音频)主机和一台AI分析主机，即可实现视频采集、智能识别分析，高度集成化，连接、操作简便、维护方便，满足大规模常态化教室和分组教学智慧教室建设应用；具体设备包括：区域标定模块，用于对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制模块，用于控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
区域匹配模块，用于将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
跟踪模块，用于根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪,播放跟踪系统包括：
ARM控制处理器；
与所述ARM控制处理器连接的DSP控制处理器；
与所述DSP控制处理器连接的传感器采集模块，用于对传感器信号进行采集；
与所述DSP控制处理器连接的图像信号采集模块，用于对图像信号进行采集；
与所述图像信号采集模块连接的图像分析模块，用于对图像信号进行分析；
所述系统还包括：
跟踪决策模块，与所述ARM控制处理器连接，用于跟踪决策模块根据目标坐标查找出包含该坐标的最优区域，最优判断方法为目标坐标离中心最近；
所述系统还包括：
一云台控制模块，与所述ARM控制处理器连接；
一摄像机控制模块，与所述云台控制模块连接，用于发送云台控制命令；
所述系统还包括：
一电源模块，与所述DSP控制处理器连接，用于为系统提供电源；
所述系统还包括：
一内存Flash存储模块，与所述DSP控制处理器连接；
二、全角度智能识别：
基于4D全角度骨骼检测技术，多机位全方位准确识别视频中的单个个体人脸、表情、行为、姿态等信息，不受方向、人脸重叠影响，能适用常规教学和分组教学模式；对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域；
控制传感器模块在所述传感器感应区域内采集多路传感器信号，并对所述传感器信号进行分析，以及，控制图像信号采集模块在所述图像感应区域内采集图像信号并对所述图像信号进行分析；
将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位；
根据一预设策略，控制摄像机启动跟踪模式，对目标进行跟踪；
在其中一个实施例中，所述对区域进行标定，并将标定的区域划分为图像感应区域和传感器感应区域的步骤包括：
通过按键开启标定模式，控制传感器模块和图像信号采集模块同时启动工作；
通过分析模块判断标定人是否在目标区域移动，当分析模块感应到标定人静止超过30秒时，开始标定区域的角点，并重复多次操作，形成一个4点区域；
分析标定区域，若标定信息来源都是距离传感器，则区域标定与传感器感应区域，否则标定为图像感应区域；
如果标定的4个角点来源不统一，则重新标定；
在其中一个实施例中，所述将所述标定后的区域与摄像机云台进行匹配，控制摄像机进行跟踪定位的步骤包括：
当区域标定完成后，控制将区域与摄像机云台进行匹配，以控制摄像机跟踪，区域匹配采用5点匹配法；
选用标定区域的外接矩形区域，定义坐标分别为（x1,y1) ,(x1,y2), (x2,y1),(x2,y2) ,同时计算中心坐标定义为 (x0,y0)；
标定人移动到（x0,y0) ，转到摄像机记录此时的垂直角度v0,水平角度h0；
标定人移动到（x1,y1),（x1,y2) ，转到摄像机记录二者平均水平角度h1；
标定人移动到（x2,y1),（x2,y2) ，转到摄像机记录二者平均水平角度h2；
在其中一个实施例中，所述定位计算公式为：
摄像机水平转角h =(atan( x-x0)/(x1-x0)×tan(h1-h0) )+ atan( x-x0)/(x2-x0)×tan(h2-h0))/2；
摄像机水平转角v =(atan( y-y0)/(y1-y0)×tan(v1-v0) )+ atan( x -x0)/(y2-y0)×tan(v2-v0))/2 ；其中，atan为反正切函数，tan为正切函数；
三、音视频双维度教学内容整合：
通过自主的语音辅助视频双维度识别分析方法，使用对应的音频来辅助视频流分析，实现更精准的视频教学场景分割及视频教学内容分类；
(1)设置特征标记；
(2)拍摄所述步骤(1)中的特征标记进视频中形成音视频文件，在进行音视频文件回放时，能在回放界面上显示具有特征标记的视频；
(3)对所述步骤(2)中的音视频文件的特征标记所包含的信息进行识别，并将识别出的特征标记与音视频文件进行唯一性关联；
优选的，在所述步骤(1)中，由前端设备生成一个特征标记，所述前端设备包括PC但不限于PC；所述特征标记为二维码；所述步骤(3)由后台应用业务系统进行处理；
所述步骤(1)中的二维码为QRcode二维码；在所述步骤(3)中，识别出视频中二维码信息后自动关联该段音视频文件，将该关联信息自动与后台应用程序执法记录关联；
在所述步骤(3)中，二维码的识别包括预处理和解码步骤；其中所述预处理步骤的具体方法为：
第一步：将图像采集设备获取的二维码进行灰度化处理，降低数据量，减少存储空间和图像处理时间；
第二步：使用中值滤波去除采集二维条码图像时引入的噪声点，降低噪声对后续图像处理的干扰；
第三步：条码识别只需要获取条码图像中的深浅模块信息即可，所以在滤波后需要对图像进行二值化，采用自适应光照均衡和Otsu全局阈值相结合的算法对二维条码图像进行二值化，去除条码图像光照不均的影响；
第四步：实现二维条码定位，获取条码的倾斜角度和四个控制顶点，将二维条码所在区域从整幅图像中切割出来，为后续条码的旋转和几何畸变校正做准备，减少后续图像处理范围，加快图像处理速度；
第五步：根据第四步得到的条码倾斜角度将图像旋转为水平状态；
第六步：实现二维条码的几何失真校正，得到一幅较为规整条码图像；
第七步：QRcode二维码根据位置探测图形和校正图形的位置信息建立采样网格，为QRcode二维码的码字提取做好准备；
第八步：QRcode二维码码字提取则是对采样网格交叉点进行采样，深色记为0，浅色记为1，即可得到QRcode二维码的码字序列；
所述解码步骤包括有二维码码字提取、纠错译码和信息译码；
在所述步骤(3)中，还包括有对音视频文件进行水印叠加、加密传输和授权处理；
所述步骤(2)中拍摄得到的音视频文件通过有线或无线网络传输到后台应用业务系统进行所述步骤(3)的处理；
四、学生个体的学情分析：
收集和分析每个学生的课堂、学习数据，通过大数据统计监测学习效果及时评价，诊断学习中的问题，精准分析每个学生的学习方式和特点，改进日常学习方式和行为，培养学生智慧学习方式；步骤A1、人脸采集：基于教室中学生面对的摄像头采集学生上课的视频，将此视频作为样本输入；
步骤A2、人脸检测：采用人脸检测实时处理框架进行面部检测，并且确定授课学生的身份，与后台数据库进行关联；
步骤A3、旋转校正：采用面部区域的旋转校正来对齐，然后将检测到的面部区域缩放到72*72的尺；
步骤A4、利用局部二值模式，描述图像的局部纹理特性：在3*3的尺寸中，若周围像素值大于中心像素值，则该像素点的位置记为1，反之则为0；然后计算出每个像素的LBP值，从而得到LBP面部图像；
步骤A5、采用VGG16提取灰度面部图像的特征：将VGG16中的卷积层和池化层进行组合；去掉VGG16的两个密集层，来简化灰度面部图像的特征提取；
步骤A6、LBP面部图像的特征提取：对于LBP面部图像，构建一个浅层CNN模型，包括输入层，两个卷积层、子采样层和特征向量层；
在第一卷积层中主要是识别面部的主要信息，使用64个滤波器用于输入LBP图像，使用7*7卷积核并且输出72*72像素的64张图片，然后第一子采样层使用2*2内核的最大池将图片大小变成一半；
第二个卷积层用3*3卷积核进行256次卷积，来映射之前的层，第二子采样层也使用2*2的内核，在两个子采样层之后添加ReLu激活函数；
然后，输出一个具有500个神经元的隐藏层，隐藏层与两个子采样层相连，保证提取的特征保持不变；
步骤A7、加权融合：加权融合对象为从灰度图像提取的特征向量h1和从浅层CNN模型的LBP面部图像提取的特征向量h2；
在融合特征向量的基础上，采用Softmax分类方法进行识别；
步骤A8、视频的定量分析：根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和学生授课专注度与人脸表情的内在联系，设计权重系数，评估学生教学投入度Ws；
步骤A9、音频的定量分析：使用OpenEAR工具包，用Z标准化对语音进行归一化，识别出学生授课音频中学生内心情感的分类，设计权重系数，评估学生授课专注度Wy；
步骤A10、综合指数计算：在得到Ws和Wy之后，设计两者的权重系数都设为0.5,这样得到学生授课专注度W：
W＝0.5*Ws+0.5*Wy；
五、教育教学评估模型建设：
与名校协作，建立多种智能评估模型，课堂、学生、教师多维度智能分析，课堂教学、评价评学、课程/学生分析报告等数据多元报表以丰富的可视化方式呈现,包括(1)多维题目数据库，(2)学习成绩数据库，(3)线上自动测验系统，(4)智能型学习成效分析系统，(5)网页精灵导引系统等模块所组成，系统人员可透过多维题目数据库系统输入题目，并建立完整索引系统，使用者透过线上自动测验系统进行远程考试，考试过程的活动记录与成绩累计于学习记录数据库，之后使用者再透过智能型学习成效分析系统了解自我的学习盲点与欲加强的项目，另透过网页精灵的导引系统，如互动桌面或网页精灵的方式，随时随地提出警示讯号，导引使用者进入正确的学习方向；
本系统利用网页(Web)技术与全球信息网(worldwideweb)的相关环境实施，故使用者可透过网际网络(Internet)随时随地进行测验，利用资料探勘(DataMining)的技术，进行学习成效分析，由统计资料与分析报表让使用者了解自我的学习盲点、已加强区、未加强区与待加强区，透过系统的辅助，使用者能清楚了解往后的学习重点，让学习活动能有事半功倍的成效，另系统依据使用者的学习进度与历史学习成效等资料，再透过系统常驻计算机的网页精灵，提供随时随地学习导引，提醒使用者应加强与注意的学习主题，主动警示使用者应用心处，提供计算机系统中的虚拟导师。
CN202110140759.XA 2021-02-02 2021-02-02 一种线上线下相结合的多维教学ai学堂系统 Pending CN112766226A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110140759.XA CN112766226A (zh) 2021-02-02 2021-02-02 一种线上线下相结合的多维教学ai学堂系统
KR1020210096937A KR20220111634A (ko) 2021-02-02 2021-07-23 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110140759.XA CN112766226A (zh) 2021-02-02 2021-02-02 一种线上线下相结合的多维教学ai学堂系统

Publications (1)

Publication Number Publication Date
CN112766226A true CN112766226A (zh) 2021-05-07

Family

ID=75704553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110140759.XA Pending CN112766226A (zh) 2021-02-02 2021-02-02 一种线上线下相结合的多维教学ai学堂系统

Country Status (2)

Country Link
KR (1) KR20220111634A (zh)
CN (1) CN112766226A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191650A (zh) * 2021-05-10 2021-07-30 武汉伽域信息科技有限公司 基于线上教育软件平台数据特征匹配的学生线下教学管理方法
CN114037541A (zh) * 2021-11-05 2022-02-11 湖南创研科技股份有限公司 基于生物特征识别的定点医药机构的监管方法及相关设备
CN115480923A (zh) * 2022-10-10 2022-12-16 北京师范大学 一种多模态的智慧教室边缘计算控制系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809768B (zh) * 2022-11-16 2023-09-29 大同市规划设计研究总院有限责任公司 一种智慧城市信息资源展示系统及方法
CN115955603B (zh) * 2022-12-06 2024-05-03 广州紫为云科技有限公司 一种基于智慧屏的体感交互的智能摄像头装置和实现方法
CN116567483B (zh) * 2023-04-18 2024-02-09 北京万讯博通科技发展有限公司 一种红外无线教学扩声的智能管理方法及系统
CN116611022B (zh) * 2023-04-21 2024-04-26 深圳乐行智慧产业有限公司 智慧校园教育大数据融合方法及平台
CN116580354B (zh) * 2023-05-11 2023-11-03 北京优思安科技有限公司 应用模式切换的远程教育监考系统
CN116452072B (zh) * 2023-06-19 2023-08-29 华南师范大学 一种教学评价方法、系统、设备和可读存储介质
CN117172967A (zh) * 2023-08-11 2023-12-05 广州市抖品品牌管理有限公司 一种企业品牌宣传服务管理系统
CN117152648B (zh) * 2023-10-30 2023-12-26 泰州爱贝文化传媒有限公司 一种基于增强现实的辅助教学识图装置
CN117275297B (zh) * 2023-11-23 2024-03-08 泰州爱贝文化传媒有限公司 一种学前教育用图像识别语言播报设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584880A (zh) * 2003-08-18 2005-02-23 杭州草莓资讯有限公司 多维线上学习测验之智能型评估与导引系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统
CN109788169A (zh) * 2018-11-30 2019-05-21 南京百利通信息技术有限责任公司 基于特征标记和音视频分析识别的执法记录系统及方法
CN110837947A (zh) * 2019-10-11 2020-02-25 杭州电子科技大学 一种基于音视频分析技术的教师授课专注度的评估方法
US20200286396A1 (en) * 2017-11-17 2020-09-10 Shenzhen Eaglesoul Audio Technologies CO.,Ltd. Following teaching system having voice evaluation function

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584880A (zh) * 2003-08-18 2005-02-23 杭州草莓资讯有限公司 多维线上学习测验之智能型评估与导引系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统
US20200286396A1 (en) * 2017-11-17 2020-09-10 Shenzhen Eaglesoul Audio Technologies CO.,Ltd. Following teaching system having voice evaluation function
CN109788169A (zh) * 2018-11-30 2019-05-21 南京百利通信息技术有限责任公司 基于特征标记和音视频分析识别的执法记录系统及方法
CN110837947A (zh) * 2019-10-11 2020-02-25 杭州电子科技大学 一种基于音视频分析技术的教师授课专注度的评估方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191650A (zh) * 2021-05-10 2021-07-30 武汉伽域信息科技有限公司 基于线上教育软件平台数据特征匹配的学生线下教学管理方法
CN114037541A (zh) * 2021-11-05 2022-02-11 湖南创研科技股份有限公司 基于生物特征识别的定点医药机构的监管方法及相关设备
CN115480923A (zh) * 2022-10-10 2022-12-16 北京师范大学 一种多模态的智慧教室边缘计算控制系统

Also Published As

Publication number Publication date
KR20220111634A (ko) 2022-08-09

Similar Documents

Publication Publication Date Title
CN112766226A (zh) 一种线上线下相结合的多维教学ai学堂系统
Jalal et al. Students’ behavior mining in e-learning environment using cognitive processes with information technologies
Dewan et al. A deep learning approach to detecting engagement of online learners
CN106778506A (zh) 一种融合深度图像和多通道特征的表情识别方法
CN109614849A (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN109885595A (zh) 基于人工智能的课程推荐方法、装置、设备及存储介质
WO2021077382A1 (zh) 一种学习状态的判断方法、装置及智能机器人
Indi et al. Detection of malpractice in e-exams by head pose and gaze estimation
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN104778466B (zh) 一种联合多种上下文线索的图像关注区域检测方法
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
CN116109455B (zh) 一种基于人工智能的语言教学辅助系统
CN111291613A (zh) 一种课堂表现评价方法及系统
CN104063721A (zh) 一种基于语义特征自动学习与筛选的人类行为识别方法
CN114898460B (zh) 一种基于图卷积神经网络的教师非言语行为检测方法
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
KN et al. Recognition of bird species using multistage training with transmission learning
Saleem et al. Real-life dynamic facial expression recognition: a review
Ali et al. Constructed model for micro-content recognition in lip reading based deep learning
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Pang et al. Dance video motion recognition based on computer vision and image processing
CN112115779B (zh) 可解释性课堂学生情感分析方法、系统、装置及介质
CN114022918A (zh) 基于多姿态的学习者兴奋状态标签算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507

WD01 Invention patent application deemed withdrawn after publication