CN115473932A - 用于智慧教育的情感状态分析方法及装置 - Google Patents
用于智慧教育的情感状态分析方法及装置 Download PDFInfo
- Publication number
- CN115473932A CN115473932A CN202210977358.4A CN202210977358A CN115473932A CN 115473932 A CN115473932 A CN 115473932A CN 202210977358 A CN202210977358 A CN 202210977358A CN 115473932 A CN115473932 A CN 115473932A
- Authority
- CN
- China
- Prior art keywords
- equipment
- edge
- information
- layer
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 230000002996 emotional effect Effects 0.000 title claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 49
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000000034 method Methods 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 11
- 238000011160 research Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了用于智慧教育的情感状态分析方法及装置，涉及物联网领域，方法包括S1设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；S2边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否进S3，反之进S4；S3云端服务器分析该设备信息的服务类型，并发送至边缘端，边缘端缓存该服务类型，进S4；S4边缘端确定情感分析结果，发送至设备端；S5设备端做出响应；通过“云端服务器‑边缘端”协同实现服务缓存机制，使教育场景服务种类多样化；通过“边缘端‑设备端”协同使计算与传输产生更低时延，可以实时反馈与策略部署；通过“云端服务器‑边缘端‑设备端”的微服务架构，降低计算与通信负载，节省能耗并降低实现成本。
Description
技术领域
本发明涉及物联网领域，尤其涉及一种用于智慧教育的情感状态分析方法及装置。
背景技术
智慧教育是近些年的研究热点，在全球范围内吸引了巨大的学术研究和产业投资。智慧教育是指利用现代信息技术促进教育管理、教育教学、教育研究等教育改革与发展的过程。智慧教育中一个重要的研究方向是未来课堂，它研究智能学习环境的构建，计算学习过程中的情绪状态变化，并提供及时的教学反馈，而未来课堂的部署与包括物联网、人工智能在内的最先进的通信和计算机技术高度相关。然而，未来课堂的主要缺点是它缺乏成熟的“万物互联”(IoE)实现，无法在教学过程中与所有相关参与者(教职工和学生)进行积极互动。在实践中，未来课堂应该能够感知参与者的情绪特征(快乐、紧张等)，然后控制相关设备来贴合参与者的心理需求，比如在学生情绪紧张的情况下播放平滑的音乐。
为解决以上问题，科研人员利用一些人工智能方法(如卷积神经网络CNN等)推断和解释人们的情绪状态，然而，人工智能辅助的情感计算涉及巨大的计算成本并通常集中式运行。当情感计算算法在云端运行时，它将涉及密集的数据通信，并使得未来课堂很难实现物联网应用的实时性和高性能。同时，一旦系统部署在未来课堂上，它缺乏物联网应用支持不同情感计算任务的灵活性。降低时延、降低成本、灵活部署，对智慧教育中未来课堂的实现至关重要。
发明内容
本发明的目的就在于为了解决上述问题设计了一种用于智慧教育的情感状态分析方法及装置。
本发明通过以下技术方案来实现上述目的：
用于智慧教育的情感状态分析方法，包括：
S1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；
S2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入S3，反之进入S4；
S3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入S4；
S4、边缘端分析情感信息确定情感分析结果，并发送至设备端；
S5、设备端根据情感分析结果做出响应。
用于智慧教育的情感状态分析装置，应用于上述的用于智慧教育的情感状态分析方法，包括：
设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；
边缘端；边缘端用于分析情感信息；
云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。
本发明的有益效果在于：设计基于微服务及边缘计算的“云端服务器-边缘端-设备端”框架，实现相比于传统教育更能实时反馈情感状态的智慧教育。通过“云端服务器-边缘端”协同实现服务缓存机制，使得教育场景服务种类更加多样化；通过“边缘端-设备端”协同使得计算与传输产生更低时延，进而情感状态可以实时反馈与策略部署；通过“云端服务器-边缘端-设备端”的微服务架构，降低计算与通信负载，节省能耗并降低实现成本。
附图说明
图1是本发明用于智慧教育的情感状态分析方法的流程图；
图2是本发明用于智慧教育的情感状态分析装置的架构图；
图3是本发明中卷积神经网络模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
如图1、图2所示，用于智慧教育的情感状态分析方法，包括：
S1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端。
S2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入S3，反之进入S4。
S3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入S4。
S4、边缘端分析情感信息确定情感分析结果，并发送至设备端；具体包括：
S41、提取情感信息的颜色信息的RGB值；
S42、对RGB值进行处理得到情感信息的特征数值；
A、将RGB值转化为HSB值，表示为
其中，r为红色值，g为绿色值，b为蓝色值，H为色相，S为饱和度，B为亮度值；
B、对H、S和B值进行加权求和得到特征数值L，表示为L＝2*H+S+B；
S43、卷积神经网络模型对RGB值和特征数值进行处理分类获得情感分析结果。
S5、设备端根据情感分析结果做出响应；
S44、边缘端将情感分析结果发送至设备端。
如图3所示，卷积神经网络模型从输入到输出依次包括输入层、卷积层、激活层、池化层、卷积层、激活层、池化层、卷积层、激活层、舍弃层、压平层、全连接层、激活层、舍弃层、全连接层、分类层和输出层，卷积层卷积核心数量为32，尺寸为13*13，压平层后的全连接层具有128个神经元。
用于智慧教育的情感状态分析装置，应用于上述的用于智慧教育的情感状态分析方法，包括：
设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；
边缘端；边缘端用于分析情感信息；
云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。
设备端包括采集设备和响应设备，采集设备的数据信号输出端与边缘端的数据信号输入端连接，响应设备的控制信号输入端与边缘端的控制信号输出端连接。
在智慧教育场所的采集位置部署情感信息传感器节点，智慧教育场所边缘位置部署微服务客户端及边缘服务器。云端服务器为具有微服务管理功能(如KubeEdge)的服务器构成；设备端的采集设备由具有无线通信能力(如Zigbee和Wi-Fi等)的摄像头、传感器等信息采集设备构成，边缘端由具有计算和存储能力的处理器(如树莓派等)构成，边缘端的计算模块可以执行数据处理算法，如与所获得的数据相关的情感图像分析、数据清洗等，边缘端通信和计算模块均为基于设备端采用的计算任务和数据设定的自定义模块，边缘端系统组件包括内部通信模块、模块管理组件、路由管理模块和外部通信模块以管理自定义模块。其中，模块管理组件实现内部微服务运行的自定义组件的生命周期管理以及模块认证，路由管理模块通过所有自定义组件实现路由信息的管理、添加、删除、修改和查询，内部通信模块为所有自定义组件提供应用程序接口。此外，EMQX工具作为MQTT代理，用于桥接系统和自定义组件内的连接。
S1、设备端的采集设备采集信息，通过无线信息传输(如经由Zigbee网关或Wi-Fi直连等)传输至边缘端，边缘端自定义组件中的通信模块接收信息并进行存储。
S2、边缘端通信模块收到信息后，上传已接收指令至边缘端的MQTT组件(如EMQX)，MQTT组件将指令传输至系统组件，等待接收边缘端的系统组件下一步控制指令；边缘端系统组件接收到指令，调用其内的模块管理组件查看当前设备信息的服务类型是否为已缓存的服务类型，若否则进入S3，反之进入S4。
S3、边缘端调用内部通信模块、外部通信模块、路由管理模块以及模块管理组件，与云端服务器通信，获取设备信息对应的服务类型并缓存至本地，然后进入S4；
S4、边缘端分析情感信息确定情感分析结果，并发送至设备端；具体包括：
S41、提取情感信息的颜色信息的RGB值；
S42、对RGB值进行处理得到情感信息的特征数值；
A、将RGB值转化为HSB值，表示为
其中，r为红色值，g为绿色值，b为蓝色值，H为色相，S为饱和度，B为亮度值；
B、对H、S和B值进行加权求和得到特征数值L，表示为L＝2*H+S+B，L为一维矩阵，表情图片中所有像素点的颜色特征值在L中均处于[0，15]的区间内；
S43、卷积神经网络模型对RGB值和特征数值进行处理分类获得情感分析结果；
S44、边缘端计算模块结束计算任务，将情感分析结果及设备策略经由通信模块上传指令至MQTT组件，同时等待系统组件下发控制指令，边缘端系统组件调用内部通信模块、外部通信模块，接收情感分析结果与设备策略，下发控制指令至MQTT组件，经由边缘端通信模块，将设备策略下传至设备端。
S5、设备端根据情感分析结果与设备策略做出响应。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (7)
1.用于智慧教育的情感状态分析方法，其特征在于，包括：
S1、设备端实时采集情感信息，并将情感信息和设备信息发送至边缘端；
S2、边缘端判断设备信息的服务类型是否为已缓存的服务类型，若否则进入S3，反之进入S4；
S3、云端服务器获取设备信息并分析该设备信息的服务类型，将该设备信息的服务类型发送至边缘端，边缘端缓存该服务类型，并进入S4；
S4、边缘端分析情感信息确定情感分析结果，并发送至设备端；
S5、设备端根据情感分析结果做出响应。
2.根据权利要求1所述的用于智慧教育的情感状态分析方法，其特征在于，在S4中包括：
S41、提取情感信息的颜色信息的RGB值；
S42、对RGB值进行处理得到情感信息的特征数值；
S43、卷积神经网络模型对RGB值和特征数值进行处理分类获得情感分析结果；
S44、边缘端将情感分析结果发送至设备端。
3.根据权利要求2所述的用于智慧教育的情感状态分析方法，其特征在于，在S42中包括：
A、将RGB值转化为HSB值，表示为
B＝max，其中，r为红色值，g为绿色值，b为蓝色值，H为色相，S为饱和度，B为亮度值；
B、对H、S和B值进行加权求和得到特征数值L，表示为L＝2*H+S+B。
4.根据权利要求2所述的用于智慧教育的情感状态分析方法，其特征在于，在S43中，卷积神经网络模型从输入到输出依次包括输入层、卷积层、激活层、池化层、卷积层、激活层、池化层、卷积层、激活层、舍弃层、压平层、全连接层、激活层、舍弃层、全连接层、分类层和输出层，卷积层卷积核心数量为32，尺寸为13*13，压平层后的全连接层具有128个神经元。
5.用于智慧教育的情感状态分析装置，应用于权利要求1-4任一项所述的用于智慧教育的情感状态分析方法，其特征在于，包括：
设备端；设备端用于采集情感信息，并根据边缘端的情感分析结果做出响应；
边缘端；边缘端用于分析情感信息；
云端服务器；云端服务器用于分析该设备信息的服务类型；边缘端分别与设备端和远端服务器通讯连接。
6.根据权利要求5所述的用于智慧教育的情感状态分析装置，其特征在于，设备端包括采集设备和响应设备，采集设备的数据信号输出端与边缘端的数据信号输入端连接，响应设备的控制信号输入端与边缘端的控制信号输出端连接。
7.根据权利要求5所述的用于智慧教育的情感状态分析装置，其特征在于，边缘端包括微服务客户端和边缘服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210977358.4A CN115473932A (zh) | 2022-08-15 | 2022-08-15 | 用于智慧教育的情感状态分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210977358.4A CN115473932A (zh) | 2022-08-15 | 2022-08-15 | 用于智慧教育的情感状态分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115473932A true CN115473932A (zh) | 2022-12-13 |
Family
ID=84367547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210977358.4A Pending CN115473932A (zh) | 2022-08-15 | 2022-08-15 | 用于智慧教育的情感状态分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115473932A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160283093A1 (en) * | 2015-03-27 | 2016-09-29 | Spkdrm Llc | Graphical user interface using color spectrum to map sentiments |
| CN111665930A (zh) * | 2019-03-05 | 2020-09-15 | 北京入思技术有限公司 | 一种融合云和边缘计算的多模态情绪识别方法及系统 |
| CN114115392A (zh) * | 2021-10-20 | 2022-03-01 | 中通服和信科技有限公司 | 一种基于5g云边结合的智慧课堂控制系统及方法 |
-
2022
- 2022-08-15 CN CN202210977358.4A patent/CN115473932A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160283093A1 (en) * | 2015-03-27 | 2016-09-29 | Spkdrm Llc | Graphical user interface using color spectrum to map sentiments |
| CN111665930A (zh) * | 2019-03-05 | 2020-09-15 | 北京入思技术有限公司 | 一种融合云和边缘计算的多模态情绪识别方法及系统 |
| CN114115392A (zh) * | 2021-10-20 | 2022-03-01 | 中通服和信科技有限公司 | 一种基于5g云边结合的智慧课堂控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022105714A1 (zh) | 数据处理方法、机器学习的训练方法及相关装置、设备 | |
| CN108171117A (zh) | 基于多核异构并行计算的电力人工智能视觉分析系统 | |
| CN108921039A (zh) | 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法 | |
| CN110738309B (zh) | Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统 | |
| CN110717532A (zh) | 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法 | |
| CN108764059A (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
| WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
| US20220237917A1 (en) | Video comparison method and apparatus, computer device, and storage medium | |
| JP2022553252A (ja) | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム | |
| CN112035671B (zh) | 状态检测方法、装置、计算机设备及存储介质 | |
| WO2020222391A1 (en) | System and method for invertible wavelet layer for neural networks | |
| CN112613478B (zh) | 一种面向机器人抓取的数据主动式选择方法 | |
| CN115249073A (zh) | 一种联邦学习方法以及装置 | |
| CN108093419A (zh) | 一种基于物联网的基站信息采集系统及其控制方法 | |
| CN114359578A (zh) | 病虫害识别智能终端应用方法及系统 | |
| CN114494916A (zh) | 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法 | |
| CN114298233A (zh) | 基于高效注意力网络和师生迭代迁移学习的表情识别方法 | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN115473932A (zh) | 用于智慧教育的情感状态分析方法及装置 | |
| CN110751055A (zh) | 一种智能制造系统 | |
| CN112486667B (zh) | 一种基于边缘计算精准处理数据的方法及装置 | |
| CN114639166A (zh) | 一种基于动作识别的考场异常行为识别方法 | |
| CN114595816A (zh) | 一种基于边缘计算的神经网络模型训练方法 | |
| CN112926517A (zh) | 一种人工智能监控方法 | |
| CN114826949A (zh) | 一种通信网络状况预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221213 |
|
| RJ01 | Rejection of invention patent application after publication |