CN117496580B - 一种基于多人同步交互式的面部表情智能识别机器人终端 - Google Patents

一种基于多人同步交互式的面部表情智能识别机器人终端 Download PDF

Info

Publication number
CN117496580B
CN117496580B CN202311572680.XA CN202311572680A CN117496580B CN 117496580 B CN117496580 B CN 117496580B CN 202311572680 A CN202311572680 A CN 202311572680A CN 117496580 B CN117496580 B CN 117496580B
Authority
CN
China
Prior art keywords
teaching
acquisition period
class
student
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311572680.XA
Other languages
English (en)
Other versions
CN117496580A (zh
Inventor
罗仲华
徐锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Good Feeling Health Industry Group Co ltd
Original Assignee
Good Feeling Health Industry Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Good Feeling Health Industry Group Co ltd filed Critical Good Feeling Health Industry Group Co ltd
Priority to CN202311572680.XA priority Critical patent/CN117496580B/zh
Publication of CN117496580A publication Critical patent/CN117496580A/zh
Application granted granted Critical
Publication of CN117496580B publication Critical patent/CN117496580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于智能机器人管理技术领域，具体公开一种基于多人同步交互式的面部表情智能识别机器人终端，本发明通过将线上课堂的授课时长进行采集时段划分，进而在各采集时段利用虚拟机器人进行学生表情抓取和情感识别，由此判断各采集时段的学生听课效果是否达标，并将判断结果向授课老师反馈，使得授课老师得到的反馈结果是一个明确的指令，一方面减少了授课老师的工作负担，另一方面能够提高授课进度调整的及时度，与此同时在判断某采集时段的学生听课效果不达标时通过调取相应采集时段的授课音频进行关键授课知识点提取，进而将其显示在老师交互端上，使得授课进度的调整更加具有针对性，实现了授课进度调整内容的精准确定。

Description

一种基于多人同步交互式的面部表情智能识别机器人终端
技术领域
本发明属于智能机器人管理技术领域，具体涉及到一种基于多人同步交互式的面部表情智能识别机器人终端。
背景技术
表情识别机器人是一种利用人工智能和计算机视觉技术来识别和理解人类面部表情的智能机器人。其在多个领域发挥作用，包括医疗、娱乐、教育等，特别是在教育领域，在课堂教育中通常都是一个老师对应多个学生，这种配置使得老师在授课过程中无法实时顾及到每个学生的听课状态，进而导致学生的听课需求难以得到有效满足。在这种情况下通过在课堂上使用表情识别机器人在授课过程中同步识别学生表情，进而帮助老师更好地理解学生的情感状态和学习需求，从而针对地调整授课进度，大大提升了听课效果。
伴随着线上教育的兴起，为了适应线上教育的授课模式，表情识别机器人逐渐演化成虚拟机器人，在线上课堂上承担着学生表情识别工作，以此得到学生的听课情感状态。
然而现有虚拟机器人在线上课堂授课过程中对学生的表情识别结果是直接反馈给授课老师的，由授课老师根据反馈结果判断是否需要进行授课进度调整，这种反馈方式没有考虑到一对多的教育配置使得老师收到的反馈结果往往是很多学生的听课情感状态，大量的信息摄取会使老师无法在第一时间得到是否需要授课进度调整的精准判断，从而影响了授课进度调整的及时度。
另外虚拟机器人提供的反馈结果未给出时间标识，导致授课老师无法了解相应反馈结果是在哪一时间段出现的，进而给授课进度调整内容的确定带来了难度，容易造成授课内容调整失误，从而无法适配学生的听课需求。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种应用于线上教育的基于多人同步交互式的面部表情智能识别机器人终端，用于解决现有技术存在的问题。
本发明的目的可以通过以下技术方案实现：一种基于多人同步交互式的面部表情智能识别机器人终端，包括：虚拟机器人设置模块，用于将虚拟机器人设置到在线教育平台上，其中虚拟机器人包括采集端、老师交互端和学生交互端。
虚拟机器人运行采集模块，用于在线上课堂授课过程中由虚拟机器人的采集端从线上授课界面中实时采集授课老师的授课音频信息，得到各采集时段的授课音频，同时抓取各学生的面部表情图像，构成各采集时段的各学生面部表情图像集。
听课情感状态识别模块，用于对各采集时段的各学生面部表情图像集进行情感识别，得到各采集时段中各学生的情感状态分布特征。
授课老师授课交互模块，用于分析各采集时段中各学生的情感状态分布特征，进而判断各采集时段的学生听课效果是否达标，若判断某采集时段的学生听课效果不达标，则向老师交互端传达授课进度调整指令，同时调取相应采集时段的授课音频进行关键授课知识点提取，并在老师交互端显示，由授课老师针对关键授课知识点再次授课。
云数据库，用于存储学生各年龄段对应的有效专注力时长，存储各种授课语速划分等级对应的授课语速区间及抓取间隔时长，存储符合积极听课效果的情感状态和符合消极听课效果的情感状态。
学生听课交互模块，用于从各采集时段中各学生的情感状态分布特征中识别出各采集时段对应的薄弱学生，进而利用AI搜索系统针对各采集时段对应授课音频的关键授课知识点进行搜索，形成各采集时段的讲解文字，并显示在各采集时段对应薄弱学生的交互端上。
作为本发明的进一步创新，所述采集端由高清摄像头和拾音器构成。
作为本发明的进一步创新，所述各采集时段的获取方式如下：获取线上课堂的授课时长和听课学生年龄段。
基于学生年龄段从云数据库中获取听课学生年龄段对应的有效专注力时长，并将其代入表达式，计算出单个采集时段的时长/>，式中/>表示为听课学生年龄段对应的有效专注力时长，/>表示为云数据库中所有学生年龄段对应的有效专注力时长中最大时长，/>表示为设定的参考采集时段时长。
将线上课堂的授课时长按照单个采集时段的时长进行划分，得到各采集时段。
作为本发明的进一步创新，所述各采集时段的各学生面部表情图像集具体获取过程如下：获取在线教育平台的线上课堂排课表，并从线上课堂排课表中读取线上课堂对应授课老师的姓名信息，进而从在线教育平台中调取相应授课老师的历史授课音频，从中识别相应授课老师的倾向授课语速，并据此筛选出相应授课老师的授课语速划分等级。
将相应授课老师的授课语速划分等级与云数据库中各种授课语速划分等级对应的抓取间隔时长进行匹配，进而将匹配成功的抓取间隔时长作为适配抓取间隔时长。
在各采集时段的时长内按照适配抓取间隔时长进行面部表情抓取，得到各采集时段内各学生对应的若干面部表情图像，并将抓取的面部表情图像按照抓取时间先后顺序进行排列，形成各采集时段的各学生面部表情图像集。
作为本发明的进一步创新，所述情感分布特征包括情感状态数量及各种情感状态的占比系数。
作为本发明的进一步创新，所述各采集时段中各学生的情感状态分布特征包括下述识别过程：对各采集时段的各学生面部表情图像集中存在的面部表情图像进行情感识别，得到各面部表情图像对应的情感状态。
将同一采集时段中同一学生对应各面部表情图像的情感状态进行对比，并将相同情感状态对应的面部表情图像进行归类，构成各采集时段中各学生对应各种情感状态的若干面部表情图像，进而统计各采集时段中各学生对应各种情感状态的占比系数。
作为本发明的进一步创新，所述判断各采集时段的学生听课效果是否达标具体操作过程如下：将各采集时段中各学生存在的情感状态与云数据库中符合积极听课效果的情感状态和符合消极听课效果的情感状态进行匹配，从而获取各采集时段中各学生对应各情感状态所属听课效果，进而将相同听课效果对应的情感状态进行归类，得到积极听课效果对应的若干情感状态和消极听课效果对应的若干情感状态。
分别将积极听课效果对应各情感状态的占比系数进行累加，将消极听课效果对应各情感状态的占比系数进行累加，得到各采集时段中各学生对应的积极听课效果系数和消极听课效果占比系数。
分别将积极听课效果、消极听课效果对应各情感状态的若干面部表情图像集合进行组合，构成各采集时段中各学生对应的积极听课效果面部表情图像总集和消极听课效果面部表情图像总集，并获取总集中各面部表情图像的编号，进而将总集中存在的面部表情图像编号按照由小到大的顺序进行排列，从而按照排列结果将后一编号与前一编号进行作差，得到相邻面部表情图像编号差，利用表达式
，
；
得到积极听课效果持续度和消极听课效果持续度。
将各采集时段中各学生对应的积极听课效果占比系数和积极听课效果持续度代入公式，计算出各采集时段中各学生对应的积极听课表征力系数/>，式中/>表示为采集时段编号，/>，/>表示为学生编号，/>，、/>分别表示为第/>采集时段中第/>学生对应的积极听课效果占比系数、积极听课效果持续度，/>表示为自然常数。
将各采集时段中各学生对应的消极听课效果占比系数和消极听课效果持续度代入公式，计算出各采集时段中各学生对应的消极听课表征力系数/>，式中/>、/>分别表示为第/>采集时段中第/>学生对应的消极听课效果占比系数、消极听课效果持续度。
将各采集时段中所有学生对应的积极听课表征力系数进行累加，将各采集时段中所有学生对应的消极听课表征力系数进行累加，得到各采集时段对应的总计积极听课表征力系数和总计消极听课表征力系数，并进行相互对比，若某采集时段对应的总计积极听课表征力系数大于总计消极听课表征力系数，则判断该采集时段的学生听课效果达标，反之判断该采集时段的学生听课效果不达标。
作为本发明的进一步创新，所述由授课老师针对关键授课知识点再次授课后利用虚拟机器人的采集端再次抓取各学生的面部表情图像，进而判断学生的听课效果是否达标，若判断学生的听课效果不达标，则从各学生中筛选出薄弱学生，并利用AI搜索系统对关键授课知识点进行搜索，形成讲解文字，从而在薄弱学生的交互端进行显示。
作为本发明的进一步创新，所述识别出各采集时段对应的薄弱学生具体包括下述过程：将各采集时段中各学生对应的积极听课表征力系数与消极听课表征力系数进行对比，从中筛选出各采集时段中消极听课表征力系数大于积极听课表征力系数的学生，作为各采集时段对应的薄弱学生。
作为本发明的进一步创新，所述形成各采集时段的讲解文字中若某采集时段针对关键授课知识点授课老师已再次授课时，则不形成该采集时段的讲解文字。
相较于现有技术，本发明的有益效果如下：1、本发明通过将线上课堂的授课时长进行采集时段划分，进而在各采集时段利用虚拟机器人进行学生表情抓取和情感识别，由此判断各采集时段的学生听课效果是否达标，实现了对学生表情识别结果的进一步处理，从而将判断结果向授课老师反馈，使得授课老师得到的反馈结果是一个明确的指令，而不是大量的学生听课情感状态信息，一方面不需要授课老师自己去判断是否需要进行授课进度调整，大大减少了授课老师的工作负担，使得授课老师能够专心教学，另一方面由授课老师根据反馈的明确指令进行授课进度调整，能够最大限度提高授课进度调整的及时度。
2、本发明在判断某采集时段的学生听课效果不达标时通过调取相应采集时段的授课音频进行关键授课知识点提取，进而将其显示在老师交互端上，使得授课进度的调整更加具有针对性，实现了授课进度调整内容的精准确定，大大减少了授课内容调整失误现象的发生率，有利于精准满足学生的听课需求，在一定程度上提升了授课效果。
3、本发明在利用虚拟机器人对学生表情的识别结果进行交互反馈时通过设置老师交互端和学生交互端，不仅实现了与授课老师的交互反馈，使得授课老师能够更便捷、及时地了解学生的情感状态，从而针对地调整授课进度，还实现了与薄弱学生的反馈交互，一方面能够避免授课进程的中断，使其他能够跟上教学进度的学生能够正常听课，不受干扰，另一方面能够对薄弱学生进行针对性指导，便于薄弱学生更好地理解知识点，同时由虚拟机器人对学生进行学习指导，还能够节约教学资源，具有非常大的实用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统各模块连接示意图。
图2为本发明中虚拟机器人的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提出一种基于多人同步交互式的面部表情智能识别机器人终端，包括虚拟机器人设置模块、虚拟机器人运行采集模块、听课情感状态识别模块、授课老师授课交互模块、云数据库和学生听课交互模块。其中虚拟机器人设置模块与虚拟机器人运行采集模块连接，虚拟机器人运行采集模块与听课情感状态识别模块连接，听课情感状态识别模块与授课老师授课交互模块连接，授课老师授课交互模块与学生听课交互模块连接，云数据库分别与虚拟机器人运行采集模块和授课老师授课交互模块连接。
所述虚拟机器人设置模块用于将虚拟机器人设置到在线教育平台上，其中虚拟机器人包括采集端、老师交互端和学生交互端，参见图2所示。
所述虚拟机器人运行采集模块用于在线上课堂授课过程中由虚拟机器人的采集端从线上授课界面中实时采集授课老师的授课音频信息，得到各采集时段的授课音频，同时抓取各学生的面部表情图像，构成各采集时段的各学生面部表情图像集。
需要说明的是，本发明所述的线上授课为直播授课，在线上授课过程中每个学生的听课终端，例如电脑、平板等，通过打开摄像头，能够在线上授课界面中显示每个学生的听课状态图像。
在本发明的具体实施例中，采集端由高清摄像头和拾音器构成，其中高清摄像头用于捕捉学生的面部表情图像，拾音器用于采集授课音频。
进一步地，各采集时段的获取方式如下：获取线上课堂的授课时长和听课学生年龄段。
基于学生年龄段从云数据库中获取听课学生年龄段对应的有效专注力时长，并将其代入表达式，计算出单个采集时段的时长/>，式中/>表示为听课学生年龄段对应的有效专注力时长，/>表示为云数据库中所有学生年龄段对应的有效专注力时长中最大时长，/>表示为设定的参考采集时段时长。
需要补充的是，上述表达式中所有时长的单位均为分钟，其中的设定可以为4分钟。
需要理解的是，学生年龄段与专注力存在一定的对应关系，例如5-6岁的学生专注力时长为10-15分钟，7-10岁的学生专注力时长为15-20分钟，可见学生年龄增长，对应的专注力也在随之提高。
将线上课堂的授课时长按照单个采集时段的时长进行划分，得到各采集时段。
本发明在对线上课堂的授课时长进行采集时段划分，不是简单地以固定间隔时长进行划分，而是考虑到学生的专注力时长，并基于学生的专注力时长进行划分，使得划分结果能够遵循学生的听课生理状态，有利于提升划分结果的针对性、合理性。
更进一步地，各采集时段的各学生面部表情图像集具体获取过程如下：获取在线教育平台的线上课堂排课表，并从线上课堂排课表中读取线上课堂对应授课老师的姓名信息，进而从在线教育平台中调取相应授课老师的历史授课音频，从中识别相应授课老师的倾向授课语速，并据此筛选出相应授课老师的授课语速划分等级。
应用于上述实施例，授课老师的倾向授课语速具体识别方式为：从授课老师的各历史授课音频中进行授课语速获取，得到各历史授课音频对应的授课语速，并进行均值计算，得到授课老师的倾向授课语速。
优选地，授课语速划分等级的获取过程为将授课老师的倾向授课语速与云数据库中存储的各种授课语速划分等级对应的授课语速区间进行比对，从中比对出授课老师的授课语速划分等级。
将相应授课老师的授课语速划分等级与云数据库中各种授课语速划分等级对应的抓取间隔时长进行匹配，进而将匹配成功的抓取间隔时长作为适配抓取间隔时长。
在各采集时段的时长内按照适配抓取间隔时长进行面部表情抓取，得到各采集时段内各学生对应的若干面部表情图像，并将抓取的面部表情图像按照抓取时间先后顺序进行排列，形成各采集时段的各学生面部表情图像集。
本发明在捕捉学生的面部表情图像时考虑到学生的面部表情变化是跟随授课老师的讲课进度，一般来说当讲课进度较快时学生在短时间内要跟随这种讲课进度，对应的表情变化就会加快，为了能够及时捕捉到学生表情变化，就需要缩短表情捕捉的间隔时长，当讲课进度较慢时，学生有足够的时间去消化，对应的表情变化就不会那么频繁，此时就可以扩大表情捕捉的间隔时长，而授课语速又在一定程度上决定了讲课进度，因而通过以授课老师的授课语速作为表情图像捕捉间隔时长的确定依据，能够更加及时、针对性地进行表情图像捕捉。
所述听课情感状态识别模块用于对各采集时段的各学生面部表情图像集进行情感识别，得到各采集时段中各学生的情感状态分布特征，其中情感分布特征包括情感状态数量及各种情感状态的占比系数。
示例性的，上述提到的情感状态为高兴、悲伤、疑惑、害怕等。
优选地，各采集时段中各学生的情感状态分布特征包括下述识别过程：对各采集时段的各学生面部表情图像集中存在的面部表情图像进行情感识别，得到各面部表情图像对应的情感状态。
将同一采集时段中同一学生对应各面部表情图像的情感状态进行对比，并将相同情感状态对应的面部表情图像进行归类，构成各采集时段中各学生对应各种情感状态的若干面部表情图像，进而统计各采集时段中各学生对应各种情感状态的占比系数。
所述授课老师授课交互模块用于分析各采集时段中各学生的情感状态分布特征，进而判断各采集时段的学生听课效果是否达标，若判断某采集时段的学生听课效果不达标，则向老师交互端传达授课进度调整指令，同时调取相应采集时段的授课音频进行关键授课知识点提取，并在老师交互端显示，由授课老师针对关键授课知识点再次授课。
本发明在判断某采集时段的学生听课效果不达标时通过调取相应采集时段的授课音频进行关键授课知识点提取，进而将其显示在老师交互端上，使得授课进度的调整更加具有针对性，实现了授课进度调整内容的精准确定，大大减少了授课内容调整失误现象的发生率，有利于精准满足学生的听课需求，在一定程度上提升了授课效果。
在上述方案的具体示例中，判断各采集时段的学生听课效果是否达标具体操作过程如下：将各采集时段中各学生存在的情感状态与云数据库中符合积极听课效果的情感状态和符合消极听课效果的情感状态进行匹配，从而获取各采集时段中各学生对应各情感状态所属听课效果，进而将相同听课效果对应的情感状态进行归类，得到积极听课效果对应的若干情感状态和消极听课效果对应的若干情感状态。
分别将积极听课效果对应各情感状态的占比系数进行累加，将消极听课效果对应各情感状态的占比系数进行累加，得到各采集时段中各学生对应的积极听课效果系数和消极听课效果占比系数。
分别将积极听课效果、消极听课效果对应各情感状态的若干面部表情图像集合进行组合，构成各采集时段中各学生对应的积极听课效果面部表情图像总集和消极听课效果面部表情图像总集，并获取总集中各面部表情图像的编号，进而将总集中存在的面部表情图像编号按照由小到大的顺序进行排列，从而按照排列结果将后一编号与前一编号进行作差，得到相邻面部表情图像编号差，利用表达式
，
；
得到积极听课效果持续度和消极听课效果持续度。
将各采集时段中各学生对应的积极听课效果占比系数和积极听课效果持续度代入公式，计算出各采集时段中各学生对应的积极听课表征力系数/>，式中/>表示为采集时段编号，/>，/>表示为学生编号，，/>、/>分别表示为第/>采集时段中第/>学生对应的积极听课效果占比系数、积极听课效果持续度，/>表示为自然常数。
将各采集时段中各学生对应的消极听课效果占比系数和消极听课效果持续度代入公式，计算出各采集时段中各学生对应的消极听课表征力系数，式中/>、/>分别表示为第/>采集时段中第/>学生对应的消极听课效果占比系数、消极听课效果持续度。
将各采集时段中所有学生对应的积极听课表征力系数进行累加，将各采集时段中所有学生对应的消极听课表征力系数进行累加，得到各采集时段对应的总计积极听课表征力系数和总计消极听课表征力系数，并进行相互对比，若某采集时段对应的总计积极听课表征力系数大于总计消极听课表征力系数，则判断该采集时段的学生听课效果达标，反之判断该采集时段的学生听课效果不达标。
本发明通过将线上课堂的授课时长进行采集时段划分，进而在各采集时段利用虚拟机器人进行学生表情抓取和情感识别，由此判断各采集时段的学生听课效果是否达标，实现了对学生表情识别结果的进一步处理，从而将判断结果向授课老师反馈，使得授课老师得到的反馈结果是一个明确的指令，而不是大量的学生听课情感状态信息，一方面不需要授课老师自己去判断是否需要进行授课进度调整，大大减少了授课老师的工作负担，使得授课老师能够专心教学，另一方面由授课老师根据反馈的明确指令进行授课进度调整，能够最大限度提高授课进度调整的及时度。
需要特别说明的是，本发明对学生听课过程中面部表情的分析只基于由听课带来的面部表情变化，不考虑其他因素对面部表情的影响。
进一步地，由授课老师针对关键授课知识点再次授课后利用虚拟机器人的采集端再次抓取各学生的面部表情图像，进而判断学生的听课效果是否达标，若判断学生的听课效果不达标，则从各学生中筛选出薄弱学生，并利用AI搜索系统对关键授课知识点进行搜索，形成讲解文字，从而在薄弱学生的交互端进行显示。
需要补充的是，从各学生中筛选出薄弱学生的筛选方式参照各采集时段中识别出薄弱学生的识别方式。
本发明通过对再次授课进行听课效果分析处理，实现了学生听课效果的进一步反馈交互。
所述云数据库用于存储学生各年龄段对应的有效专注力时长，存储各种授课语速划分等级对应的授课语速区间及抓取间隔时长，存储符合积极听课效果的情感状态和符合消极听课效果的情感状态。
所述学生听课交互模块用于从各采集时段中各学生的情感状态分布特征中识别出各采集时段对应的薄弱学生，进而利用AI搜索系统针对各采集时段对应授课音频的关键授课知识点进行搜索，形成各采集时段的讲解文字，并显示在各采集时段对应薄弱学生的交互端上。
上述中识别出各采集时段对应的薄弱学生具体包括下述过程：将各采集时段中各学生对应的积极听课表征力系数与消极听课表征力系数进行对比，从中筛选出各采集时段中消极听课表征力系数大于积极听课表征力系数的学生，作为各采集时段对应的薄弱学生。
在上述技术方案中，形成各采集时段的讲解文字中若某采集时段针对关键授课知识点授课老师已再次授课时，则不形成该采集时段的讲解文字。这样做的目的是节约虚拟机器人的教学资源。
本发明在利用虚拟机器人对学生表情的识别结果进行交互反馈时通过设置老师交互端和学生交互端，不仅实现了与授课老师的交互反馈，使得授课老师能够更便捷、及时地了解学生的情感状态，从而针对地调整授课进度，还实现了与薄弱学生的反馈交互，一方面能够避免授课进程的中断，使其他能够跟上教学进度的学生能够正常听课，不受干扰，另一方面能够对薄弱学生进行针对性指导，便于薄弱学生更好地理解知识点，同时由虚拟机器人对学生进行学习指导，还能够节约教学资源，具有非常大的实用价值。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本发明所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于，包括：
虚拟机器人设置模块，用于将虚拟机器人设置到在线教育平台上，其中虚拟机器人包括采集端、老师交互端和学生交互端；
虚拟机器人运行采集模块，用于在线上课堂授课过程中由虚拟机器人的采集端从线上授课界面中实时采集授课老师的授课音频信息，得到各采集时段的授课音频，同时抓取各学生的面部表情图像，构成各采集时段的各学生面部表情图像集；
听课情感状态识别模块，用于对各采集时段的各学生面部表情图像集进行情感识别，得到各采集时段中各学生的情感状态分布特征；
授课老师授课交互模块，用于分析各采集时段中各学生的情感状态分布特征，进而判断各采集时段的学生听课效果是否达标，若判断某采集时段的学生听课效果不达标，则向老师交互端传达授课进度调整指令，同时调取相应采集时段的授课音频进行关键授课知识点提取，并在老师交互端显示，由授课老师针对关键授课知识点再次授课；
云数据库，用于存储学生各年龄段对应的有效专注力时长，存储各种授课语速划分等级对应的授课语速区间及抓取间隔时长，存储符合积极听课效果的情感状态和符合消极听课效果的情感状态；
学生听课交互模块，用于从各采集时段中各学生的情感状态分布特征中识别出各采集时段对应的薄弱学生，进而利用AI搜索系统针对各采集时段对应授课音频的关键授课知识点进行搜索，形成各采集时段的讲解文字，并显示在各采集时段对应薄弱学生的交互端上；
所述各采集时段的获取方式如下：
获取线上课堂的授课时长和听课学生年龄段；
基于学生年龄段从云数据库中获取听课学生年龄段对应的有效专注力时长，并将其代入表达式，计算出单个采集时段的时长/>，式中/>表示为听课学生年龄段对应的有效专注力时长，/>表示为云数据库中所有学生年龄段对应的有效专注力时长中最大时长，/>表示为设定的参考采集时段时长；
将线上课堂的授课时长按照单个采集时段的时长进行划分，得到各采集时段；
所述各采集时段的各学生面部表情图像集具体获取过程如下：
获取在线教育平台的线上课堂排课表，并从线上课堂排课表中读取线上课堂对应授课老师的姓名信息，进而从在线教育平台中调取相应授课老师的历史授课音频，从中识别相应授课老师的倾向授课语速，并据此筛选出相应授课老师的授课语速划分等级；
将相应授课老师的授课语速划分等级与云数据库中各种授课语速划分等级对应的抓取间隔时长进行匹配，进而将匹配成功的抓取间隔时长作为适配抓取间隔时长；
在各采集时段的时长内按照适配抓取间隔时长进行面部表情抓取，得到各采集时段内各学生对应的若干面部表情图像，并将抓取的面部表情图像按照抓取时间先后顺序进行排列，形成各采集时段的各学生面部表情图像集；
所述判断各采集时段的学生听课效果是否达标具体操作过程如下：
将各采集时段中各学生存在的情感状态与云数据库中符合积极听课效果的情感状态和符合消极听课效果的情感状态进行匹配，从而获取各采集时段中各学生对应各情感状态所属听课效果，进而将相同听课效果对应的情感状态进行归类，得到积极听课效果对应的若干情感状态和消极听课效果对应的若干情感状态；
分别将积极听课效果对应各情感状态的占比系数进行累加，将消极听课效果对应各情感状态的占比系数进行累加，得到各采集时段中各学生对应的积极听课效果系数和消极听课效果占比系数；
分别将积极听课效果、消极听课效果对应各情感状态的若干面部表情图像集合进行组合，构成各采集时段中各学生对应的积极听课效果面部表情图像总集和消极听课效果面部表情图像总集，并获取总集中各面部表情图像的编号，进而将总集中存在的面部表情图像编号按照由小到大的顺序进行排列，从而按照排列结果将后一编号与前一编号进行作差，得到相邻面部表情图像编号差，利用表达式，
；
得到积极听课效果持续度和消极听课效果持续度；
将各采集时段中各学生对应的积极听课效果占比系数和积极听课效果持续度代入公式，计算出各采集时段中各学生对应的积极听课表征力系数/>，式中/>表示为采集时段编号，/>，/>表示为学生编号，/>，、/>分别表示为第/>采集时段中第/>学生对应的积极听课效果占比系数、积极听课效果持续度，/>表示为自然常数；
将各采集时段中各学生对应的消极听课效果占比系数和消极听课效果持续度代入公式，计算出各采集时段中各学生对应的消极听课表征力系数，式中/>、/>分别表示为第/>采集时段中第/>学生对应的消极听课效果占比系数、消极听课效果持续度；
将各采集时段中所有学生对应的积极听课表征力系数进行累加，将各采集时段中所有学生对应的消极听课表征力系数进行累加，得到各采集时段对应的总计积极听课表征力系数和总计消极听课表征力系数，并进行相互对比，若某采集时段对应的总计积极听课表征力系数大于总计消极听课表征力系数，则判断该采集时段的学生听课效果达标，反之判断该采集时段的学生听课效果不达标。
2.如权利要求1所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述采集端由高清摄像头和拾音器构成。
3.如权利要求1所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述情感状态分布特征包括情感状态数量及各种情感状态的占比系数。
4.如权利要求3所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述各采集时段中各学生的情感状态分布特征包括下述识别过程：
对各采集时段的各学生面部表情图像集中存在的面部表情图像进行情感识别，得到各面部表情图像对应的情感状态；
将同一采集时段中同一学生对应各面部表情图像的情感状态进行对比，并将相同情感状态对应的面部表情图像进行归类，构成各采集时段中各学生对应各种情感状态的若干面部表情图像，进而统计各采集时段中各学生对应各种情感状态的占比系数。
5.如权利要求1所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述由授课老师针对关键授课知识点再次授课后利用虚拟机器人的采集端再次抓取各学生的面部表情图像，进而判断学生的听课效果是否达标，若判断学生的听课效果不达标，则从各学生中筛选出薄弱学生，并利用AI搜索系统对关键授课知识点进行搜索，形成讲解文字，从而在薄弱学生的交互端进行显示。
6.如权利要求1所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述识别出各采集时段对应的薄弱学生具体包括下述过程：
将各采集时段中各学生对应的积极听课表征力系数与消极听课表征力系数进行对比，从中筛选出各采集时段中消极听课表征力系数大于积极听课表征力系数的学生，作为各采集时段对应的薄弱学生。
7.如权利要求1所述的一种基于多人同步交互式的面部表情智能识别机器人终端，其特征在于：所述形成各采集时段的讲解文字中若某采集时段针对关键授课知识点授课老师已再次授课时，则不形成该采集时段的讲解文字。
CN202311572680.XA 2023-11-23 2023-11-23 一种基于多人同步交互式的面部表情智能识别机器人终端 Active CN117496580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311572680.XA CN117496580B (zh) 2023-11-23 2023-11-23 一种基于多人同步交互式的面部表情智能识别机器人终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311572680.XA CN117496580B (zh) 2023-11-23 2023-11-23 一种基于多人同步交互式的面部表情智能识别机器人终端

Publications (2)

Publication Number Publication Date
CN117496580A CN117496580A (zh) 2024-02-02
CN117496580B true CN117496580B (zh) 2024-05-07

Family

ID=89682784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311572680.XA Active CN117496580B (zh) 2023-11-23 2023-11-23 一种基于多人同步交互式的面部表情智能识别机器人终端

Country Status (1)

Country Link
CN (1) CN117496580B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050106776A (ko) * 2004-05-06 2005-11-11 김순남 인터넷을 이용한 특허넷 교육방법
CN108053700A (zh) * 2018-01-02 2018-05-18 北京建筑大学 一种人工智能教学辅助系统
WO2019232579A1 (en) * 2018-06-05 2019-12-12 Sdip Holdings Pty Ltd Technology adapted to enable improved collection of involuntary eyelid movement parameters, including collection of eyelid movement parameters to support analysis of neurological factors
CN110992741A (zh) * 2019-11-15 2020-04-10 深圳算子科技有限公司 一种基于课堂情绪和行为分析的学习辅助方法及系统
CN113723250A (zh) * 2021-08-23 2021-11-30 华中师范大学 一种用于帮助教师反思性成长的课堂智能分析方法及系统
KR102382385B1 (ko) * 2021-09-16 2022-04-08 우석규 통합 온라인 교육 플랫폼 시스템 및 통합 온라인 교육 방법
CN114677249A (zh) * 2022-03-30 2022-06-28 西安鹏迪信息科技有限公司 基于人工智能技术的课堂教学质量在线持续改进系统
KR20220136292A (ko) * 2021-03-31 2022-10-07 주식회사 대교 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN116503841A (zh) * 2023-04-28 2023-07-28 好心情健康产业集团有限公司 一种心理健康智能情绪识别方法
CN116563829A (zh) * 2023-05-26 2023-08-08 北京好心情互联网医院有限公司 一种驾驶员情绪识别方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436714B2 (en) * 2019-08-23 2022-09-06 Worcester Polytechnic Institute Method and apparatus for estimating emotional quality using machine learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050106776A (ko) * 2004-05-06 2005-11-11 김순남 인터넷을 이용한 특허넷 교육방법
CN108053700A (zh) * 2018-01-02 2018-05-18 北京建筑大学 一种人工智能教学辅助系统
WO2019232579A1 (en) * 2018-06-05 2019-12-12 Sdip Holdings Pty Ltd Technology adapted to enable improved collection of involuntary eyelid movement parameters, including collection of eyelid movement parameters to support analysis of neurological factors
CN110992741A (zh) * 2019-11-15 2020-04-10 深圳算子科技有限公司 一种基于课堂情绪和行为分析的学习辅助方法及系统
KR20220136292A (ko) * 2021-03-31 2022-10-07 주식회사 대교 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN113723250A (zh) * 2021-08-23 2021-11-30 华中师范大学 一种用于帮助教师反思性成长的课堂智能分析方法及系统
KR102382385B1 (ko) * 2021-09-16 2022-04-08 우석규 통합 온라인 교육 플랫폼 시스템 및 통합 온라인 교육 방법
CN114677249A (zh) * 2022-03-30 2022-06-28 西安鹏迪信息科技有限公司 基于人工智能技术的课堂教学质量在线持续改进系统
CN116503841A (zh) * 2023-04-28 2023-07-28 好心情健康产业集团有限公司 一种心理健康智能情绪识别方法
CN116563829A (zh) * 2023-05-26 2023-08-08 北京好心情互联网医院有限公司 一种驾驶员情绪识别方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕昳苗 ; 王丽忠 ; .基于腾讯课堂和中国大学mooc的线上混合教学的探索.科技经济导刊.2020,(27),全文. *
基于腾讯课堂和中国大学mooc的线上混合教学的探索;吕昳苗;王丽忠;;科技经济导刊;20200925(27);全文 *

Also Published As

Publication number Publication date
CN117496580A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110992741B (zh) 一种基于课堂情绪和行为分析的学习辅助方法及系统
CN106851216B (zh) 一种基于人脸和语音识别的课堂行为监控系统及方法
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN111709358B (zh) 基于课堂视频的师生行为分析系统
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
CN109035089A (zh) 一种在线课堂氛围评估系统及方法
CN111915148B (zh) 一种基于信息技术的课堂教学评价方法和系统
CN107316261A (zh) 一种基于人脸分析的教学质量评估系统
CN107958351A (zh) 教学质量评估云服务平台
CN109872587A (zh) 多维教学数据的处理系统
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及系统
CN109685692A (zh) 一种多维度学生学习行为的无感采集及分析系统
CN113723250A (zh) 一种用于帮助教师反思性成长的课堂智能分析方法及系统
CN108876195A (zh) 一种智能化的教师教学质量评测系统
CN115170369B (zh) 一种基于移动互联网的直播课程在线观看智能管理系统
CN109034590A (zh) 一种智能化的教师教学质量评价管理系统
CN112926412A (zh) 自适应教学课堂监控方法及系统
CN108428073A (zh) 一种用于教师教学质量的智能评价系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN117496580B (zh) 一种基于多人同步交互式的面部表情智能识别机器人终端
CN108681713A (zh) 一种用于教师教学质量评价的系统
CN115409413A (zh) 一种面向学生教研的多源数据管理方法、系统及存储介质
CN108764757A (zh) 基于大数据与人工智能的精准教学评价方法和机器人系统
CN113313982B (zh) 一种基于5g网络的教育系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant