CN112818761A - 一种基于人工智能的在线教育人机交互方法与系统 - Google Patents

一种基于人工智能的在线教育人机交互方法与系统 Download PDF

Info

Publication number
CN112818761A
CN112818761A CN202110053534.0A CN202110053534A CN112818761A CN 112818761 A CN112818761 A CN 112818761A CN 202110053534 A CN202110053534 A CN 202110053534A CN 112818761 A CN112818761 A CN 112818761A
Authority
CN
China
Prior art keywords
module
image
user
information
central control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110053534.0A
Other languages
English (en)
Inventor
廖龙
王贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN202110053534.0A priority Critical patent/CN112818761A/zh
Publication of CN112818761A publication Critical patent/CN112818761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于在线教育技术领域，公开了一种基于人工智能的在线教育人机交互方法与系统，所述基于人工智能的在线教育人机交互系统包括：图像采集模块、语音数据采集模块、手势数据采集模块、动作数据采集模块、数据处理模块、中央控制模块、图像特征提取模块、命令识别模块、命令执行模块、用户学习状态判断模块、知识点提取模块、反馈模块、评价模块、数据存储模块、更新显示模块。本发明提供的基于人工智能的在线教育人机交互方法，能够有利于全面掌握用户的学习状态，同时能够有效对教师的教学质量进行评价与监督；对用户的学习状态进行监测，并及时反馈给老师；本发明还能够自动化的进行命令识别，提高智能化水平，进而提高用户的学习效率。

Description

一种基于人工智能的在线教育人机交互方法与系统
技术领域
本发明属于在线教育技术领域，尤其涉及一种基于人工智能的在线教育人机交互方法与系统。
背景技术
目前，教育是教育者有目的有计划有组织的对受教育者的心智发展进行教化培育，以现有的经验、学识推敲于人，为其解释各种现象、问题或行为，以增长能力经验，其根本是以人的一种相对成熟或理性的思维来认知对待，让事物得以接近其最根本的存在，人在其中，慢慢的对一种事物由感官触摸而到以认知理解的状态，并形成一种相对完善或理性的自我意识思维，但同时，人有着自我意识上的思维，又有着其自我的感官维度，所以，任何教育性的意识思维都未必能够绝对正确，而应该感性式的理解其思维的方向，只要他不偏差事物的内在；教育又是一种思维的传授，而人因为其自身的意识形态，又有着另样的思维走势，所以，教育当以最客观、最公正的意识思维教化于人，如此，人的思维才不至于过于偏差，并因思维的丰富而逐渐成熟、理性，并由此，走向最理性的自我和拥有最正确的思维认知，这就是教育的根本所在。
在线教育顾名思义，是以网络为介质的教学方式，通过网络，学员与教师即使相隔万里也可以开展教学活动；此外，借助网络课件，学员还可以随时随地进行学习，真正打破了时间和空间的限制，对于工作繁忙，学习时间不固定的职场人而言网络远程教育是最方便不过的学习方式。
然而，现有的在线教育系统老师无法掌握用户的学习状态、无法确定用户是否能够跟上上课进度，同时对于用户有无认真学习无法监测，对于老师的教学质量也不能进行评价；同时现有网课形式的在线教育不能自动进行知识点保存或标记。因此，亟需一种新的在线教育人机交互方法及系统。
通过上述分析，现有技术存在的问题及缺陷为：现有的在线教育老师无法掌握用户的学习状态、无法确定用户是否能够跟上上课进度，同时对于用户有无认真学习无法监测，对于老师的教学质量也不能进行评价；同时现有网课形式的在线教育不能自动进行知识点保存或标记。
发明内容
针对现有技术存在的问题，本发明提供了一种基于人工智能的在线教育人机交互方法与系统。
本发明是这样实现的，一种基于人工智能的在线教育人机交互方法，所述基于人工智能的在线教育人机交互方法包括以下步骤：
步骤一，通过图像采集模块利用摄像设备获取用户的面部图像，并通过语音数据采集模块利用语音采集设备获取用户的语音信息；通过手势数据采集模块对用户的命令手势进行采集，同时通过动作数据采集模块对用户的学习动作进行采集；
步骤二，通过数据处理模块对采集的面部图像、语音信息以及命令手势数据分别进行处理；通过中央控制模块利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
步骤三，通过图像特征提取模块获取处理后的用户面部图像，对所述用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序；
步骤四，依次将所述预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；
步骤五，针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；
步骤六，针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到所述预设面部子区域对应的目标特征信息即面部图像特征集，并基于提取的图像特征进行情绪分类识别；
步骤七，取面部图像特征集包含的图像特征点并确定各个面部图像特征点的位置信息，同时对提取的图像特征进行归一化处理；计算面部图像特征点中任意两个特征点之间的距离信息、角度信息；基于多个特征点中任意两个特征点之间的距离信息、角度信息，确定该灰度图像对应各个预设情绪类别的第一概率分布；
步骤八，获取处理后的面部图像，提取面部图像中获取预设区域内的图像，并对预设区域内的图像中的皮肤颜色变化信号进行放大；获取皮肤颜色变化信号放大后的图像中的R通道图像信息、G通道图像信息、B通道图像信息，并确定有效色度信号；
步骤九，将提取的面部图像对应的有效色度信号变换为频域信号，并基于变换得到的频域信号的峰值处的频率值，确定目标个体的心率值；基于确定的心率值，确定该面部图像对应各个预设情绪类别的第二概率分布；基于所述第一概率分布、第二概率分布、心率特征权重信息、图像特征权重信息，确定目标情绪类别；
步骤十，通过命令识别模块基于采集的语音数据、手势数据进行命令识别；通过命令执行模块基于识别的命令执行相应的处理；通过用户学习状态判断模块基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；通过知识点提取模块基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
步骤十一，通过反馈模块判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；通过评价模块基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
步骤十二，通过数据存储模块利用存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
步骤十三，通过更新显示模块利用显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
进一步，步骤三中，所述对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像，包括：
利用AUU-NET卷积神经网络对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像。
进一步，所述AUU-NET卷积神经网络包括收缩路径和扩张路径，所述收缩路径包括至少一个运动单元残差模块，所述扩张路径包括至少一个运动单元残差模块，所述运动单元残差模块包括卷积层、正则化层和激活层，用于对输入信息和输出信息进行加权融合，确定运动单元残差模块最终的输出信息。
进一步，步骤七中，所述对提取的图像特征进行归一化处理，包括：
(1)利用自适应删减方法或自适应删减和人工神经网络联合方法对提取的图像特征进行自适应筛选；
(2)依据分组、分色和分级结果从已提取的提取的图像中筛选与分组、分色和分级密切相关的特征，并将所有图像特征值限制在0～1或-1～1之间。
进一步，步骤八中，所述确定有效色度信号，包括：
(1)将R通道图像信息对应的信号分解为多个子信号，利用第一预设阈值对所述多个子信号进行筛选，得到R通道目标信号，并对所述R通道目标信号进行归一化处理；
(2)将G通道图像信息对应的信号分解为多个子信号，利用第二预设阈值对所述多个子信号进行筛选，得到G通道目标信号，并对所述G通道目标信号进行归一化处理；
(3)将B通道图像信息对应的信号分解为多个子信号，利用第三预设阈值对所述多个子信号进行筛选，得到B通道目标信号，并对所述B通道目标信号进行归一化处理；利用归一化处理后的R通道目标信号、G通道目标信号、B通道目标信号，确定有效色度信号。
进一步，步骤十中，所述基于识别的命令执行相应的处理包括：对课程进行录制、截图、标记、存储、调整课程音量以及其他针对课程的处理。
本发明的另一目的在于提供一种实施所述基于人工智能的在线教育人机交互方法的基于人工智能的在线教育人机交互系统，所述基于人工智能的在线教育人机交互系统包括：
图像采集模块、语音数据采集模块、手势数据采集模块、动作数据采集模块、数据处理模块、中央控制模块、图像特征提取模块、命令识别模块、命令执行模块、用户学习状态判断模块、知识点提取模块、反馈模块、评价模块、数据存储模块、更新显示模块。
图像采集模块，与中央控制模块连接，用于利用摄像设备获取用户的面部图像；
语音数据采集模块，与中央控制模块连接，用于利用语音采集设备获取用户语音信息；
手势数据采集模块，与中央控制模块连接，用于对用户的命令手势进行采集；
动作数据采集模块，与中央控制模块连接，用于对用户的学习动作进行采集；
数据处理模块，与中央控制模块连接，用于对采集的数据分别进行处理；
中央控制模块，与图像采集模块、语音数据采集模块、手势数据采集模块、动作数据采集模块、数据处理模块、图像特征提取模块、命令识别模块、命令执行模块、用户学习状态判断模块、知识点提取模块、反馈模块、评价模块、数据存储模块、更新显示模块连接，用于利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
图像特征提取模块，与中央控制模块连接，用于对处理后的用户面部图像进行特征提取，并基于提取的图像特征进行情绪分类识别；
命令识别模块，与中央控制模块连接，用于基于采集的语音数据、手势数据进行命令识别；
命令执行模块，与中央控制模块连接，用于基于识别的命令执行相应的处理；
用户学习状态判断模块，与中央控制模块连接，用于基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；
知识点提取模块，与中央控制模块连接，用于基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
反馈模块，与中央控制模块连接，用于判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；
评价模块，与中央控制模块连接，用于基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
更新显示模块，与中央控制模块连接，用于通过显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
进一步，所述数据处理模块包括：
语音数据处理单元，用于对采集的语音信息数据进行去噪增强处理；
图像处理单元，用于对获取的用户的面部图像进行处理；
动作数据处理单元，用于对采集的用户学习动作进行预处理。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于人工智能的在线教育人机交互方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述基于人工智能的在线教育人机交互方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明有利于全面掌握用户的学习状态，同时能够有效对教师的教学质量进行评价与监督；对用户的学习状态进行监测，并及时反馈给老师；本发明还能够自动化的进行命令识别，提高智能化水平，进而提高用户的学习效率。
本发明能够自动识别用户的手势或语音指令对于当前视频课程进行截图、录像或进行疑惑标记等处理，提高用户的学习效率，避免因手工标记耽误时间，导致错过下一个知识点；同时本发明还能基于用户标记的内容进行视频播放，帮助用户掌握相应知识点。
本发明基于对用户的情绪、面部特征、动作等进行获取分析，确定用户的学习状态，并反馈给老师，能够帮助老师基于用户的学习状态对教学进度或是教学方式进行有效的调整；解决了现有的在线教育用户和老师的交流互动远远不够，每个用户的学习进度不一致，对知识点的掌握程度不一样的问题。
本发明还能够结合用户的状态评估，对教师的绩效考核和教学质量评估。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于人工智能的在线教育人机交互方法流程图。
图2是本发明实施例提供的基于人工智能的在线教育人机交互系统结构示意图；
图中：1、图像采集模块；2、语音数据采集模块；3、手势数据采集模块；4、动作数据采集模块；5、数据处理模块；6、中央控制模块；7、图像特征提取模块；8、命令识别模块；9、命令执行模块；10、用户学习状态判断模块；11、知识点提取模块；12、反馈模块；13、评价模块；14、数据存储模块；15、更新显示模块。
图3是本发明实施例提供的通过图像特征提取模块对处理后的用户面部图像进行特征提取的方法流程图。
图4是本发明实施例提供的基于提取的图像特征进行情绪分类识别的方法流程图。
图5是本发明实施例提供的对提取的图像特征进行归一化处理的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于人工智能的在线教育人机交互方法与系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于人工智能的在线教育人机交互方法包括：
S101，通过图像采集模块利用摄像设备获取用户的面部图像；通过语音数据采集模块利用语音采集设备获取用户语音信息；通过手势数据采集模块对用户的命令手势进行采集；
S102，通过动作数据采集模块对用户的学习动作进行采集；通过数据处理模块对采集的面部图像、语音信息以及命令手势数据分别进行处理；
S103，通过中央控制模块利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
S104，通过图像特征提取模块对处理后的用户面部图像进行特征提取，并基于提取的图像特征进行情绪分类识别；
S105，通过命令识别模块基于采集的语音数据、手势数据进行命令识别；通过命令执行模块基于识别的命令执行相应的处理；
S106，通过用户学习状态判断模块基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；通过知识点提取模块基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
S107，通过反馈模块判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；通过评价模块基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
S108，通过数据存储模块利用存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
S109，通过更新显示模块利用显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
本发明实施例提供的步骤S105中，基于识别的命令执行相应的处理包括：对课程进行录制、截图、标记、存储、调整课程音量以及其他针对课程的处理。
如图2所示，本发明实施例提供的基于人工智能的在线教育人机交互系统包括：图像采集模块1、语音数据采集模块2、手势数据采集模块3、动作数据采集模块4、数据处理模块5、中央控制模块6、图像特征提取模块7、命令识别模块8、命令执行模块9、用户学习状态判断模块10、知识点提取模块11、反馈模块12、评价模块13、数据存储模块14、更新显示模块15。
图像采集模块1，与中央控制模块6连接，用于利用摄像设备获取用户的面部图像；
语音数据采集模块2，与中央控制模块6连接，用于利用语音采集设备获取用户语音信息；
手势数据采集模块3，与中央控制模块6连接，用于对用户的命令手势进行采集；
动作数据采集模块4，与中央控制模块6连接，用于对用户的学习动作进行采集；
数据处理模块5，与中央控制模块6连接，用于对采集的数据分别进行处理；
中央控制模块6，与图像采集模块1、语音数据采集模块2、手势数据采集模块3、动作数据采集模块4、数据处理模块5、图像特征提取模块7、命令识别模块8、命令执行模块9、用户学习状态判断模块10、知识点提取模块11、反馈模块12、评价模块13、数据存储模块14、更新显示模块15连接，用于利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
图像特征提取模块7，与中央控制模块6连接，用于对处理后的用户面部图像进行特征提取，并基于提取的图像特征进行情绪分类识别；
命令识别模块8，与中央控制模块6连接，用于基于采集的语音数据、手势数据进行命令识别；
命令执行模块9，与中央控制模块6连接，用于基于识别的命令执行相应的处理；
用户学习状态判断模块10，与中央控制模块6连接，用于基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；
知识点提取模块11，与中央控制模块6连接，用于基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
反馈模块12，与中央控制模块6连接，用于判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；
评价模块13，与中央控制模块6连接，用于基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
数据存储模块14，与中央控制模块6连接，用于通过存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
更新显示模块15，与中央控制模块6连接，用于通过显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
本发明实施例提供的数据处理模块5包括：
语音数据处理单元5-1，用于对采集的语音信息数据进行去噪增强处理；
图像处理单元5-2，用于对获取的用户的面部图像进行处理；
动作数据处理单元5-3，用于对采集的用户学习动作进行预处理。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的基于人工智能的在线教育人机交互方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过图像特征提取模块对处理后的用户面部图像进行特征提取的方法包括：
S201，获取处理后的用户面部图像，对所述用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序；
S202，依次将所述预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；
S203，针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；
S204，针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到所述预设面部子区域对应的目标特征信息即面部图像特征集。
本发明实施例提供的对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像，包括：
利用AUU-NET卷积神经网络对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；其中所述AUU-NET卷积神经网络包括收缩路径和扩张路径，所述收缩路径包括至少一个运动单元残差模块，所述扩张路径包括至少一个运动单元残差模块，所述运动单元残差模块包括卷积层、正则化层和激活层，用于对输入信息和输出信息进行加权融合，确定运动单元残差模块最终的输出信息。
实施例2
本发明实施例提供的基于人工智能的在线教育人机交互方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的基于提取的图像特征进行情绪分类识别的方法包括：
S301，获取面部图像特征集包含的图像特征点并确定各个面部图像特征点的位置信息，同时对提取的图像特征进行归一化处理；计算面部图像特征点中任意两个特征点之间的距离信息、角度信息；基于多个特征点中任意两个特征点之间的距离信息、角度信息，确定该灰度图像对应各个预设情绪类别的第一概率分布；
S302，获取处理后的面部图像，提取面部图像中获取预设区域内的图像，并对预设区域内的图像中的皮肤颜色变化信号进行放大；获取皮肤颜色变化信号放大后的图像中的R通道图像信息、G通道图像信息、B通道图像信息，并确定有效色度信号；
S303，将提取的面部图像对应的有效色度信号变换为频域信号，并基于变换得到的频域信号的峰值处的频率值，确定目标个体的心率值；基于确定的心率值，确定该面部图像对应各个预设情绪类别的第二概率分布；
S304，基于所述第一概率分布、第二概率分布、心率特征权重信息、图像特征权重信息，确定目标情绪类别。
如图5所示，本发明实施例提供的步骤S301中，对提取的图像特征进行归一化处理，包括：
S401，利用自适应删减方法或自适应删减和人工神经网络联合方法对提取的图像特征进行自适应筛选；
S402，依据分组、分色和分级结果从已提取的提取的图像中筛选与分组、分色和分级密切相关的特征，并将所有图像特征值限制在0～1或-1～1之间。
本发明实施例提供的步骤S302中，确定有效色度信号，包括：
(1)将R通道图像信息对应的信号分解为多个子信号，利用第一预设阈值对所述多个子信号进行筛选，得到R通道目标信号，并对所述R通道目标信号进行归一化处理；
(2)将G通道图像信息对应的信号分解为多个子信号，利用第二预设阈值对所述多个子信号进行筛选，得到G通道目标信号，并对所述G通道目标信号进行归一化处理；
(3)将B通道图像信息对应的信号分解为多个子信号，利用第三预设阈值对所述多个子信号进行筛选，得到B通道目标信号，并对所述B通道目标信号进行归一化处理；利用归一化处理后的R通道目标信号、G通道目标信号、B通道目标信号，确定有效色度信号。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的在线教育人机交互方法，其特征在于，所述基于人工智能的在线教育人机交互方法包括以下步骤：
步骤一，通过图像采集模块利用摄像设备获取用户的面部图像，并通过语音数据采集模块利用语音采集设备获取用户的语音信息；通过手势数据采集模块对用户的命令手势进行采集，同时通过动作数据采集模块对用户的学习动作进行采集；
步骤二，通过数据处理模块对采集的面部图像、语音信息以及命令手势数据分别进行处理；通过中央控制模块利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
步骤三，通过图像特征提取模块获取处理后的用户面部图像，对所述用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序；
步骤四，依次将所述预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；
步骤五，针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；
步骤六，针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到所述预设面部子区域对应的目标特征信息即面部图像特征集，并基于提取的图像特征进行情绪分类识别；
步骤七，取面部图像特征集包含的图像特征点并确定各个面部图像特征点的位置信息，同时对提取的图像特征进行归一化处理；计算面部图像特征点中任意两个特征点之间的距离信息、角度信息；基于多个特征点中任意两个特征点之间的距离信息、角度信息，确定该灰度图像对应各个预设情绪类别的第一概率分布；
步骤八，获取处理后的面部图像，提取面部图像中获取预设区域内的图像，并对预设区域内的图像中的皮肤颜色变化信号进行放大；获取皮肤颜色变化信号放大后的图像中的R通道图像信息、G通道图像信息、B通道图像信息，并确定有效色度信号；
步骤九，将提取的面部图像对应的有效色度信号变换为频域信号，并基于变换得到的频域信号的峰值处的频率值，确定目标个体的心率值；基于确定的心率值，确定该面部图像对应各个预设情绪类别的第二概率分布；基于所述第一概率分布、第二概率分布、心率特征权重信息、图像特征权重信息，确定目标情绪类别；
步骤十，通过命令识别模块基于采集的语音数据、手势数据进行命令识别；通过命令执行模块基于识别的命令执行相应的处理；通过用户学习状态判断模块基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；通过知识点提取模块基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
步骤十一，通过反馈模块判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；通过评价模块基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
步骤十二，通过数据存储模块利用存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
步骤十三，通过更新显示模块利用显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
2.如权利要求1所述基于人工智能的在线教育人机交互方法，其特征在于，步骤三中，所述对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像，包括：
利用AUU-NET卷积神经网络对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像。
3.如权利要求2所述基于人工智能的在线教育人机交互方法，其特征在于，所述AUU-NET卷积神经网络包括收缩路径和扩张路径，所述收缩路径包括至少一个运动单元残差模块，所述扩张路径包括至少一个运动单元残差模块，所述运动单元残差模块包括卷积层、正则化层和激活层，用于对输入信息和输出信息进行加权融合，确定运动单元残差模块最终的输出信息。
4.如权利要求1所述基于人工智能的在线教育人机交互方法，其特征在于，步骤七中，所述对提取的图像特征进行归一化处理，包括：
(1)利用自适应删减方法或自适应删减和人工神经网络联合方法对提取的图像特征进行自适应筛选；
(2)依据分组、分色和分级结果从已提取的提取的图像中筛选与分组、分色和分级密切相关的特征，并将所有图像特征值限制在0～1或-1～1之间。
5.如权利要求1所述基于人工智能的在线教育人机交互方法，其特征在于，步骤八中，所述确定有效色度信号，包括：
(1)将R通道图像信息对应的信号分解为多个子信号，利用第一预设阈值对所述多个子信号进行筛选，得到R通道目标信号，并对所述R通道目标信号进行归一化处理；
(2)将G通道图像信息对应的信号分解为多个子信号，利用第二预设阈值对所述多个子信号进行筛选，得到G通道目标信号，并对所述G通道目标信号进行归一化处理；
(3)将B通道图像信息对应的信号分解为多个子信号，利用第三预设阈值对所述多个子信号进行筛选，得到B通道目标信号，并对所述B通道目标信号进行归一化处理；利用归一化处理后的R通道目标信号、G通道目标信号、B通道目标信号，确定有效色度信号。
6.如权利要求1所述基于人工智能的在线教育人机交互方法，其特征在于，步骤十中，所述基于识别的命令执行相应的处理包括：对课程进行录制、截图、标记、存储、调整课程音量以及其他针对课程的处理。
7.一种实施如权利要求1～6任意一项所述基于人工智能的在线教育人机交互方法的基于人工智能的在线教育人机交互系统，其特征在于，所述基于人工智能的在线教育人机交互系统包括：
图像采集模块、语音数据采集模块、手势数据采集模块、动作数据采集模块、数据处理模块、中央控制模块、图像特征提取模块、命令识别模块、命令执行模块、用户学习状态判断模块、知识点提取模块、反馈模块、评价模块、数据存储模块、更新显示模块；
图像采集模块，与中央控制模块连接，用于利用摄像设备获取用户的面部图像；
语音数据采集模块，与中央控制模块连接，用于利用语音采集设备获取用户语音信息；
手势数据采集模块，与中央控制模块连接，用于对用户的命令手势进行采集；
动作数据采集模块，与中央控制模块连接，用于对用户的学习动作进行采集；
数据处理模块，与中央控制模块连接，用于对采集的数据分别进行处理；
中央控制模块，与图像采集模块、语音数据采集模块、手势数据采集模块、动作数据采集模块、数据处理模块、图像特征提取模块、命令识别模块、命令执行模块、用户学习状态判断模块、知识点提取模块、反馈模块、评价模块、数据存储模块、更新显示模块连接，用于利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；
图像特征提取模块，与中央控制模块连接，用于对处理后的用户面部图像进行特征提取，并基于提取的图像特征进行情绪分类识别；
命令识别模块，与中央控制模块连接，用于基于采集的语音数据、手势数据进行命令识别；
命令执行模块，与中央控制模块连接，用于基于识别的命令执行相应的处理；
用户学习状态判断模块，与中央控制模块连接，用于基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；
知识点提取模块，与中央控制模块连接，用于基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；
反馈模块，与中央控制模块连接，用于判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；
评价模块，与中央控制模块连接，用于基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；
更新显示模块，与中央控制模块连接，用于通过显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。
8.如权利要求7所述基于人工智能的在线教育人机交互系统，其特征在于，所述数据处理模块包括：
语音数据处理单元，用于对采集的语音信息数据进行去噪增强处理；
图像处理单元，用于对获取的用户的面部图像进行处理；
动作数据处理单元，用于对采集的用户学习动作进行预处理。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～6任意一项所述基于人工智能的在线教育人机交互方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～6任意一项所述基于人工智能的在线教育人机交互方法。
CN202110053534.0A 2021-01-15 2021-01-15 一种基于人工智能的在线教育人机交互方法与系统 Pending CN112818761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110053534.0A CN112818761A (zh) 2021-01-15 2021-01-15 一种基于人工智能的在线教育人机交互方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110053534.0A CN112818761A (zh) 2021-01-15 2021-01-15 一种基于人工智能的在线教育人机交互方法与系统

Publications (1)

Publication Number Publication Date
CN112818761A true CN112818761A (zh) 2021-05-18

Family

ID=75869599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110053534.0A Pending CN112818761A (zh) 2021-01-15 2021-01-15 一种基于人工智能的在线教育人机交互方法与系统

Country Status (1)

Country Link
CN (1) CN112818761A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063774A (zh) * 2021-11-01 2022-02-18 华中师范大学 一种基于人工智能的在线教育人机交互系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597264A (zh) * 2017-12-28 2018-09-28 福州市鼓楼区智搜信息科技有限公司 一种可追溯复习的教学系统及其实现方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN110091335A (zh) * 2019-04-16 2019-08-06 威比网络科技(上海)有限公司 学伴机器人的控制方法、系统、设备及存储介质
CN110751016A (zh) * 2019-09-02 2020-02-04 合肥工业大学 用于情绪状态监测的面部运动单元双流特征提取方法
CN110945522A (zh) * 2019-10-25 2020-03-31 中新智擎科技有限公司 一种学习状态的判断方法、装置及智能机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597264A (zh) * 2017-12-28 2018-09-28 福州市鼓楼区智搜信息科技有限公司 一种可追溯复习的教学系统及其实现方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN110091335A (zh) * 2019-04-16 2019-08-06 威比网络科技(上海)有限公司 学伴机器人的控制方法、系统、设备及存储介质
CN110751016A (zh) * 2019-09-02 2020-02-04 合肥工业大学 用于情绪状态监测的面部运动单元双流特征提取方法
CN110945522A (zh) * 2019-10-25 2020-03-31 中新智擎科技有限公司 一种学习状态的判断方法、装置及智能机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063774A (zh) * 2021-11-01 2022-02-18 华中师范大学 一种基于人工智能的在线教育人机交互系统及方法
CN114063774B (zh) * 2021-11-01 2024-04-12 华中师范大学 一种基于人工智能的在线教育人机交互系统及方法

Similar Documents

Publication Publication Date Title
CN110334626B (zh) 一种基于情感状态的在线学习系统
Chan et al. Multimodal learning analytics in a laboratory classroom
CN110189238A (zh) 辅助学习的方法、装置、介质以及电子设备
CN115239527A (zh) 基于知识库的教学特征融合与建模的教学行为分析系统
Sawyer Qualitative methodologies for studying small groups
CN116109455B (zh) 一种基于人工智能的语言教学辅助系统
CN116259004B (zh) 一种应用于在线教育的学生学习状态检测方法及系统
WO2022009875A1 (ja) 集中度判別プログラム
Zhao et al. Big data–Artificial Intelligence fusion technology in education in the context of the new crown epidemic
CN112818761A (zh) 一种基于人工智能的在线教育人机交互方法与系统
CN111199378B (zh) 学员管理方法、装置、电子设备及存储介质
CN115966003A (zh) 一种基于情绪识别的学习者线上学习效率评估系统
CN115829234A (zh) 基于课堂检测的自动化督导系统及其工作方法
CN112115779B (zh) 可解释性课堂学生情感分析方法、系统、装置及介质
CN115273582A (zh) 一种基于人工智能的课堂教学应用系统
JP2021064101A (ja) 情報処理装置、制御方法及びプログラム
CN111914683A (zh) 一种基于仿生图像增强算法和fpga硬件加速的手写成绩录入系统
CN111597997A (zh) 一种计算机控制教学设备
CN110853428A (zh) 基于物联网的录播控制方法及系统
CN111626647A (zh) 一种基于面部表情识别的课堂教学评估系统
Shenoy et al. A Study on various Applications of Computer Vision for Teaching Learning in Classroom
JP2023003054A (ja) 集中度判別プログラム
CN117036117B (zh) 基于人工智能的课堂状态评估方法
JP2023003053A (ja) 集中度判別プログラム
JP2023003055A (ja) 達成度判別プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518