CN109919143B - 基于多感官交互体验和学习注意力评估的教育方法 - Google Patents
基于多感官交互体验和学习注意力评估的教育方法 Download PDFInfo
- Publication number
- CN109919143B CN109919143B CN201910333193.5A CN201910333193A CN109919143B CN 109919143 B CN109919143 B CN 109919143B CN 201910333193 A CN201910333193 A CN 201910333193A CN 109919143 B CN109919143 B CN 109919143B
- Authority
- CN
- China
- Prior art keywords
- experience
- unit
- face
- display
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 210000004087 cornea Anatomy 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000001339 gustatory effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011514 reflex Effects 0.000 claims 2
- 230000036040 emmetropia Effects 0.000 claims 1
- 230000001179 pupillary effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 19
- 239000000341 volatile oil Substances 0.000 description 12
- 239000012530 fluid Substances 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 5
- 238000001028 reflection method Methods 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000014860 sensory perception of taste Effects 0.000 description 2
- 239000000741 silica gel Substances 0.000 description 2
- 229910002027 silica gel Inorganic materials 0.000 description 2
- 235000021055 solid food Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于多感官交互体验和学习注意力评估的教育方法，该教育方法通过对学生学习过程中的注意力进行检测分析，并根据学生的注意力情调整学习模式，当检测发现学生注意力不集中时，通过启动多感官交互体验教育模式，可以使学生通过视觉、听觉、嗅觉、味觉和触觉等多感官交互体验式学习，以提高学生的注意力，从而达到增强学生对学习内容的记忆力的目的。并且，本申请还通过采用神经网络进行人脸姿态估计，再融合视线估计，不仅大大级高了计算的精度也提高了计算速度。
Description
技术领域
本发明涉及一种基于多感官交互体验和学习注意力评估的教育方法。
背景技术
传统的教育方法只能简单地通过播放视频、图片、文字和声音向学生传递知识，给人的感受基本上只有听觉和视觉上的感受，营造的气氛过于单调，很难让学生产生身临其境的感觉，缺乏共鸣，从而使得学生产生深刻的记忆。
并且，由于学生在学习过程中的注意力不是会一直集中的，当学生学习一段时间注意力就会被分散，导致学习效率变低，此时，若还采用普通式视频教学方式很难吸引学生的注意力；不能有效地保持甚至提高学生对学习内容的注意力和记忆力。
此外，目前的人脸识别大部分采用关键点的3D脸部模型如(左眼角，右眼角，鼻尖，左嘴角，右嘴角等位置)，然后通过人脸关键检测出图片中对应的脸部关键点，采用OpenCV的solvePnP函数解出旋转向量，最后将旋转向量转换为欧拉角。获取相应的人脸姿态信息。存在的问题是精度不高，由于脸部模型点的定义是人为定义，鲁棒性不高。
发明内容
本发明的目的是提供一种基于多感官交互体验和学习注意力评估的教育方法，以解决现有教育方法不能及时根据学生的注意力情况调整教学模式的问题。
为解决上述技术问题，本发明提供一种基于多感官交互体验和学习注意力评估的教育方法，包括以下步骤：
S1：采集学生的图像，获取人脸区域并对所述人脸区域进行预处理；
S2：将步骤S1的输出结果进行归一化处理后输入卷积神经网络进行人脸姿态检测，并判断学生人脸是否正对显示器，若是，则进行人眼注视方向计算；若否，则进行步骤S4；
S3：当检测人眼正视显示器的时间和频率在预设范围时，则继续普通教育模式；否则，则开启多感官交互体验教育模式；其中，所述的普通教育模式为传统通过播放视频、图片、文字和声音向学生传递知识的教育模式；所述多感官交互体验教育模式为通过多感官交互体验智能教具向学生提供视觉、听觉、嗅觉、味觉和触觉等多感官交互体验式教育模式。
S4：获取单位时间内学生面部正视和视线正视显示器时的帧率，根据单位时间内学生面部正视和视线正视显示器时的帧率计算学生注意程度。
进一步地，步骤S1具体包括：
S11：利用摄像头获取学生的图像并对采集到的所述图像进行人脸识别获取人脸区域；
S12：对所述人脸区域进行灰度化处理，然后采用插值法将图像调整为96×96大小的图像。
进一步地，所述卷积神经网络包括3层卷积层、3层池化层、2层全连接层和输出层；经回归处理后的图像首先进行卷积操作和最大值池化操作，然后再进行全连接操作和回归操作，输出层大小为3x1，分别表示头部姿势俯仰、偏航和侧倾角。
进一步地，所述卷积操作所采用的卷积计算公式为：
其中，表示第/>层的第i个特征映射，f()表示激活函数，/>是连接第/>层神经元i和第/>层神经元j的权重。卷积核由权重/>所确定。/>代表第/>层的第j个偏置值。Mj代表输入映射集合；
最大值池化公式为：
其中，imax,jmax代表对应的pool核区域最大的那个元素的索引。
进一步地，在每进行一次卷积操作和最大值池化操时随机丢弃部分特征检测器。
进一步地，当判断得出学生人脸是正对显示器时，则采用瞳孔角膜反射法计算人眼注视方向并同时计算人眼正视显示器的时间和频率。
进一步地，判断学生人脸是否正对显示器的判断方法为：
pitch∈[pmin,pmax]，
yaw∈[ymin,ymax]
其中，pmin,pmax分别为人脸面对显示器时对应俯仰角pitch的最小值和最大值。ymin,ymax分别为对应的偏航角yaw最小值和最大值。
进一步地，采用瞳孔角膜反射法计算人眼注视方向的具体计算方法为：通过一个视线映射函数模型来估计视线方向，将从眼睛图像提取的二维眼动特征作为视线映射函数的自变量输入，函数的因变量即为所求的视线方向或注视点，所述视线映射函数模型为：
其中，(Px,Py)为视线落点，(Vx,Vy)为瞳孔反射光斑向量。
进一步地，根据单位时间内学生面部正视和视线正视显示器时的帧率计算学生注意程度所采用的计算公式为：
P＝α1fa+α2fs,α1+α2＝1
其中，P为注意力程度，α1,α2为权重，根据实验结果选取合适的权重值。fa，fs分别对应单位时间内面部正视和视线正视时的帧率。其中Nt为一定时间内总的帧数。Na,Ns分别代表一定时间内正视显示器和视线落在显示器范围内的总帧数。
进一步地，采用多感官交互体验智能教具向学生多感官交互体验教育模式；所述多感官交互体验教育模式包括教具本体，所述教具本体内设有中央处理器以及分别与所述中央处理器连接的视觉体验单元和听觉体验单元，其特征在于，该教具还包括设置在教具本体内的嗅觉体验单元、味觉体验单元和触觉体验单元的至少一种，所述嗅觉体验单元、味觉体验单元和触觉体验单元分别与所述中央处理器连接；所述视觉体验单元用于展示学习内容场景图像和文字；所述听觉体验单元用于形成与所述学习内容场景图像和文字相匹配的声音；所述嗅觉体验单元用于形成与所述学习内容场景图像和文字相匹配的气味；所述味觉体验单元用于形成与所述学习内容场景图像和文字相匹配的味道；所述触觉体验单元用于形成与所述学习内容场景图像和文字相匹配的触感；所述中央处理器用于根据获取的多媒体数据控制所述视觉体验单元、听觉体验单元、嗅觉体验单元、味觉体验单元和触觉体验单元中的至少一个单元工作。
本发明的有益效果为：通过对学生学习过程中的注意力进行检测分析，并根据学生的注意力情调整学习模式，当检测发现学生注意力不集中时，通过启动多感官交互体验教育模式，可以使学生通过视觉、听觉、嗅觉、味觉和触觉等多感官交互体验式学习，以提高学生的注意力，从而达到增强学生对学习内容的记忆力的目的。并且，本申请还通过采用神经网络进行人脸姿态估计，再融合视线估计，不仅大大级高了计算的精度也提高了计算速度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明一个实施例的流程图；
图2为本发明一个实施例的卷积过程示意图；
图3为本发明一个实施例的视线估计示意图；
图4为本多感官交互体验智能教具的原理框图；
图5为本多感官交互体验智能教具的内部结构示意图；
图6为本多感官交互体验智能教具的内部结构的正视图；
图7为图6的A-A剖视图；
图8为图6的B-B剖视图；
图9为多感官交互体验智能教具的外部结构示意图。
具体实施方式
如图1所示的基于多感官交互体验和学习注意力评估的教育方法，包括以下步骤：
S1：采集学生的图像，获取人脸区域并对所述人脸区域进行预处理；
S2：将步骤S1的输出结果进行归一化处理后输入卷积神经网络进行人脸姿态检测，并判断学生人脸是否正对显示器，若是，则进行人眼注视方向计算；若否，则进行步骤S4；
S3：当检测人眼正视显示器的时间和频率在预设范围时，则继续普通教育模式；否则，则开启多感官交互体验教育模式；
S4：获取单位时间内学生面部正视和视线正视显示器时的帧率，根据单位时间内学生面部正视和视线正视显示器时的帧率计算学生注意程度。
根据本申请的一个实施例，步骤S1具体包括：
S11：利用摄像头获取学生的图像并对采集到的所述图像进行人脸识别获取人脸区域；
S12：对所述人脸区域进行灰度化处理，然后采用插值法将图像调整为96×96大小的图像；
其中，灰度化处理所采用的的灰度化公式为：
Gary(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.144*B(i,j)
其中R(i，j)，G(i，j)，B(i，j)表示图像对应的在该像素点的红，绿，蓝通道像素值。
插值法所采用的具体公式为：
xd＝xs*fx
yd＝ys*fy
fx＝wd/ws
fy＝hd/hs
其中，xd,yd,wd,hd为目标图像坐标以及长宽，xs,ys,ws,hs为源图像坐标以及长宽。
根据本申请的一个实施例，考虑到模型大小和计算速度，如图2所示，所述卷积神经网络包括3层卷积层、3层池化层、2层全连接层和输出层；经回归处理后的图像首先进行卷积操作和最大值池化操作，然后再进行全连接操作和回归操作，输出层大小为3x1，分别表示头部姿势俯仰、偏航和侧倾角。
根据本申请的一个实施例，所述卷积操作所采用的卷积计算公式为：
其中，表示第/>层的第i个特征映射，f()表示激活函数，/>是连接第/>层神经元i和第/>层神经元j的权重。卷积核由权重/>所确定。/>代表第/>层的第j个偏置值。Mj代表输入映射集合；
最大值池化表达式为：
其中，imax,jmax代表对应的pool核区域最大的那个元素的索引。
根据本申请的一个实施例，所述全连接表达式为：
hw,b(x)＝f(wTx+b)
根据本申请的一个实施例，在每进行一次卷积操作和最大值池化操时随机丢弃部分特征检测器(例如，比如说采集10个数值，则可随机丢掉2个数值)，可在提高计算速度的同时防止过拟合。
根据本申请的一个实施例，当判断得出学生人脸是正对显示器时，则采用瞳孔角膜反射法计算人眼注视方向并同时计算人眼正视显示器的时间和频率。
根据本申请的一个实施例，判断学生人脸是否正对显示器的判断方法为：
pitch∈[pmin,pmax]
yaw∈[ymin,ymax]
其中，pmin,pmax分别为人脸面对显示器时对应俯仰角pitch的最小值和最大值。ymin,ymax分别为对应的偏航角yaw最小值和最大值。
根据本申请的一个实施例，采用瞳孔角膜反射法计算人眼注视方向的具体计算方法为：通过一个视线映射函数模型来估计视线方向，将从眼睛图像提取的二维眼动特征作为视线映射函数的自变量输入，函数的因变量即为所求的视线方向或注视点，所述视线映射函数模型为：
其中，(Px,Py)为视线落点，(Vx,Vy)为瞳孔反射光斑向量。
根据本申请的一个实施例，根据单位时间内学生面部正视和视线正视显示器时的帧率计算学生注意程度所采用的计算公式为：
P＝α1fa+α2fs,α1+α2＝1
其中，P为注意力程度，α1,α2为权重，根据实验结果选取合适的权重值。fa，fs分别对应单位时间内面部正视和视线正视时的帧率。其中Nt为一定时间内总的帧数。Na,Ns分别代表一定时间内正视显示器和视线落在显示器范围内的总帧数。
根据本申请的一个实施例，采用多感官交互体验智能教具向学生多感官交互体验教育模式；如图4至图9所述多感官交互体验教育模式包括教具本体，所述教具本体内设有中央处理器以及分别与所述中央处理器连接的视觉体验单元和听觉体验单元，其特征在于，该教具还包括设置在教具本体内的嗅觉体验单元、味觉体验单元和触觉体验单元的至少一种，所述嗅觉体验单元、味觉体验单元和触觉体验单元分别与所述中央处理器连接；所述视觉体验单元用于展示学习内容场景图像和文字；所述听觉体验单元用于形成与所述学习内容场景图像和文字相匹配的声音；所述嗅觉体验单元用于形成与所述学习内容场景图像和文字相匹配的气味；所述味觉体验单元用于形成与所述学习内容场景图像和文字相匹配的味道；所述触觉体验单元用于形成与所述学习内容场景图像和文字相匹配的触感；所述中央处理器用于根据获取的多媒体数据控制所述视觉体验单元、听觉体验单元、嗅觉体验单元、味觉体验单元和触觉体验单元中的至少一个单元工作。
使用过程可通过视觉体验单元显示学习内场景图像和文字(如植物、食品诗词以及文章等)，当学习内容为水果识别时候，学生通过点击视觉体验图标时，即可通过显示器查看图像；点击听觉体验图标时，即可通过听觉体验单元播放与所显示的内容相匹配的声音；点击嗅觉体验图标时，即可通过嗅觉体验单元释放与所显示的内容相匹配的气味；点击味觉体验图标时，即可通过味觉体验单元放出与所显示的内容相匹配的食物(如糖果)供学生品尝；点击触觉体验图标时，即可通过触觉体验单元向学生提供与所显示的内容相匹配的材质样品供学生触摸。该智能教具中的学习内容可根据学生的学习要求进行切换，每个学习内容对应一组交互体验素材，可以使学生通过视觉、听觉、嗅觉、味觉和触觉等多感官交互体验式学习，增强学生对学习内容的记忆力。此外，该智能教具通过将视觉体验单元、听觉体验单元、嗅觉体验单元、味觉体验单元和触觉体验单元中集成在一个智能教具本体1中，实现了产品化，且提高了学习的便捷性。
所述嗅觉体验单元包括设置在所述教具本体1内的气味发生装置，所述气味发生装置包括固定在所述教具本体1内的至少一个精油瓶5以及与所述精油瓶5配套的二流体瓶盖，所述二流体瓶盖内设有雾化器，精油瓶5中的精油通过雾化器实现雾化后由二流体瓶盖顶部的排气口喷出，然后再通过气味导向机构散发至教具本体1外。显然地，可通过在教具本体1内设置多个气味发生装置实现不同的嗅觉体验。
所述雾化器为二流体雾化芯，所述二流体雾化芯连接有气泵52，精油进入二流体雾化芯后在气泵52产生的高压气流的作用下由二流体瓶盖顶部的排气口喷出，最后再通过气味导向机构散发至教具本体1外。采用二流体雾化方式喷出的雾粒直径细小，可保证雾化效果，且不会堵塞喷头，维护工作量少。雾化器除了选择二流体雾化芯还可以选用超声波雾化片。
所述气味导向机构包括气味导向室71以及设置在所述气味导向室71后部的风扇6；所述气味导向室71的后壁设有与所述风扇6的出风口相配合的进风口711，所述教具本体1的前壁与作为导向室的前壁，所述教具本体1的前壁上设有与所述气味导向室71相配合的嗅觉体验口14；由所述二流体瓶盖的排气口排出的气体进入所述气味导向室71后在风扇6的作用下在从所述嗅觉体验口14散发出教具本体1外。但设置多个气味发生装置时，各个气味发生装置相应的导向室之间因当相互隔离。
所述精油瓶5通过夹持机构固定在所述气味导向室71的下方；所述夹持机构包括两个向对置的精油瓶支架7，所述精油瓶支架7的一端与所述气味导向室71连接，另一端向下延伸；所述精油瓶支架7靠近精油瓶5的一侧固定有安装座73，所述安装座73上固定有硅胶垫74，两个精油瓶支架7上的硅胶垫74形成夹持部件将所述精油瓶5夹持住。
所述味觉体验单元包括至少一个导向管2，所述导向管2的顶端与设置在教具本体1的顶部的进料口12连通，所述进料口12还设有密封盖121；导向管2的底部与一接料斗4连通，所述接料斗4的底部通过物料导出管与设置在教具本体1的前壁的底部的味觉体验口13连通；所述导向管2与接料斗4连接的一端设有物料控制室21，所述物料控制室21内设有物料控制器，所述物料控制器包括一导向筒，所述导向筒上均匀分布有若干挡板32，所述导向筒通过连接轴33与第一齿轮22连接，所述第一齿轮22与第二齿轮31相啮合，所述第二齿轮31与第一电机的输出轴连接；所述第一电机通过第一齿轮22驱动第二齿轮31转动，再通过连接轴33带动导向筒转动，通过导向筒上的挡板32控制物料通过的数量和频率。同理，导向管2可以根据需要多个，使用过程中可以通过进料口12向导向管2中投放与教学内容味道相关的糖果或其他固体食品，当用户点击味觉体验图标时，中央处理器控制相应的电机转动，相应的物料控制室21中的挡板32随电机转动控制糖果或其他固体食品的输出量，其中第一电机应选用步进电机。
所述触觉体验单元包括迎向教具本体1的前壁设置的材质体验盘8，所述材质体验盘8上设有若干沿其周向均匀分布的样品固定槽81，所述教具本体1的前壁上开设有与所述样品固定槽81相配合的触觉体验口15，所述材质体验盘8通过第二电机83驱动其转动，第二电机83为步进电机，其固定在电机支架上，材质体验盘8卡扣在体验盘支座上。通过在材质体验盘8上的样品固定槽81内布置与教学内容相关材质的样品，通过控制第二电机带动材质体验盘8转动，使材质体验盘8上的样品固定槽81与教具本体前部的触觉体验口5相重合，使学生可以通过触摸感知材质特性，使学习更加生动，以提高学生的印象。
所述视觉体验单元包括设置在所述教具本体1的前壁上且与所述中央处理器连接的触摸显示器11。触摸显示屏一方面为学生提供视觉体验，另一方面还可实现人机交互。
所述听觉体验单元包括设置在所述教具本体1内切与所述中央处理器连接的扬声器9，扬声器9作为该智能教具的声频输出，为学生提供听觉体验。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于多感官交互体验和学习注意力评估的教育方法，其特征在于，包括以下步骤：
S1：采集学生的图像，获取人脸区域并对所述人脸区域进行预处理；
S2：将步骤S1的输出结果进行归一化处理后输入卷积神经网络进行人脸姿态检测，并判断学生人脸是否正对显示器，若是，则进行人眼注视方向计算；若否，则进行步骤S4；
S3：当检测人眼正视显示器的时间和频率在预设范围时，则继续普通教育模式；否则，则开启多感官交互体验教育模式；
S4：获取学生面部正视和视线正视显示器时的帧率，根据学生面部正视和视线正视显示器时的帧率计算学生注意程度；
根据学生面部正视和视线正视显示器时的帧率计算学生注意程度所采用的计算公式为：
P＝α1fa+α2fs,α1+α2＝1
其中，P为注意力程度，α1,α2为权重，根据实验结果选取权重值；fa，fs分别对应面部正视和视线正视时的帧率；其中Nt为一定时间内总的帧数；Na,Ns分别代表一定时间内正视显示器和视线落在显示器范围内的总帧数。
2.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，步骤S1具体包括：
S11：利用摄像头获取学生的图像并对采集到的所述图像进行人脸识别获取人脸区域；
S12：对所述人脸区域进行灰度化处理，然后采用插值法将图像调整为96×96大小的图像。
3.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，所述卷积神经网络包括3层卷积层、3层池化层、2层全连接层和输出层；经回归处理后的图像首先进行卷积操作和最大值池化操作，然后再进行全连接操作和回归操作；所述输出层大小为3x1，分别表示头部姿势俯仰、偏航和侧倾角。
4.根据权利要求3所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，所述卷积操作所采用的卷积计算公式为：
其中，表示第/>层的第i个特征映射，f()表示激活函数，/>是连接第/>层神经元i和第/>层神经元j的权重；卷积核由权重/>所确定；/>代表第/>层的第j个偏置值；Mj代表输入映射集合；
最大值池化公式为：
其中，imax,jmax代表对应的pool核区域最大的那个元素的索引。
5.根据权利要求4所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，在每进行一次卷积操作和最大值池化操时随机丢弃部分特征检测器。
6.根据权利要求1所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，当判断得出学生人脸是正对显示器时，则采用瞳孔角膜反射法计算人眼注视方向并同时计算人眼正视显示器的时间和频率。
7.根据权利要求6所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，判断学生人脸是否正对显示器的判断方法为：
pitch∈[pmin,pmax]，
yaw∈[ymin,ymax]
其中，pmin,pmax分别为人脸面对显示器时对应俯仰角pitch的最小值和最大值；ymin,ymax分别为对应的偏航角yaw最小值和最大值。
8.根据权利要求7所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，采用瞳孔角膜反射法计算人眼注视方向的具体计算方法为：通过一个视线映射函数模型来估计视线方向，将从眼睛图像提取的二维眼动特征作为视线映射函数的自变量输入，函数的因变量即为所求的视线方向或注视点，所述视线映射函数模型为：
其中，(Px,Py)为视线落点，(Vx,Vy)为瞳孔反射光斑向量。
9.根据权利要求6所述的基于多感官交互体验和学习注意力评估的教育方法，其特征在于，采用多感官交互体验智能教具向学生多感官交互体验教育模式；所述多感官交互体验教育模式包括教具本体，所述教具本体内设有中央处理器以及分别与所述中央处理器连接的视觉体验单元和听觉体验单元，其特征在于，该教具还包括设置在教具本体内的嗅觉体验单元、味觉体验单元和触觉体验单元的至少一种，所述嗅觉体验单元、味觉体验单元和触觉体验单元分别与所述中央处理器连接；所述视觉体验单元用于展示学习内容场景图像和文字；所述听觉体验单元用于形成与所述学习内容场景图像和文字相匹配的声音；所述嗅觉体验单元用于形成与所述学习内容场景图像和文字相匹配的气味；所述味觉体验单元用于形成与所述学习内容场景图像和文字相匹配的味道；所述触觉体验单元用于形成与所述学习内容场景图像和文字相匹配的触感；所述中央处理器用于根据获取的多媒体数据控制所述视觉体验单元、听觉体验单元、嗅觉体验单元、味觉体验单元和触觉体验单元中的至少一个单元工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910333193.5A CN109919143B (zh) | 2019-04-24 | 2019-04-24 | 基于多感官交互体验和学习注意力评估的教育方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910333193.5A CN109919143B (zh) | 2019-04-24 | 2019-04-24 | 基于多感官交互体验和学习注意力评估的教育方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919143A CN109919143A (zh) | 2019-06-21 |
| CN109919143B true CN109919143B (zh) | 2023-08-18 |
Family
ID=66978316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910333193.5A Active CN109919143B (zh) | 2019-04-24 | 2019-04-24 | 基于多感官交互体验和学习注意力评估的教育方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919143B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110444053B (zh) * | 2019-07-04 | 2021-11-30 | 卓尔智联(武汉)研究院有限公司 | 语言学习方法、计算机装置及可读存储介质 |
| CN110543828A (zh) * | 2019-08-08 | 2019-12-06 | 南京励智心理大数据产业研究院有限公司 | 基于可穿戴设备和多模态智能分析的学生注意力分析系统 |
| CN112115756A (zh) * | 2020-03-22 | 2020-12-22 | 张冬梅 | 用于内容分析的区块链管理平台 |
| CN111610862A (zh) * | 2020-06-22 | 2020-09-01 | 江苏开放大学（江苏城市职业学院） | 一种基于眼动信号的在线教学模式切换方法 |
| CN112863254A (zh) * | 2020-12-29 | 2021-05-28 | 河南库课数字科技有限公司 | 一种幼儿学前教育同步移动教育装置及方法 |
| CN113313982B (zh) * | 2021-07-29 | 2021-11-09 | 深圳市轻生活科技有限公司 | 一种基于5g网络的教育系统 |
| CN113808441B (zh) * | 2021-08-03 | 2023-07-07 | 郑州科技学院 | 便携式外语单词练习器 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930750A (zh) * | 2011-08-08 | 2013-02-13 | 张文宇 | 全感教学法 |
| CN103366618A (zh) * | 2013-07-18 | 2013-10-23 | 梁亚楠 | 基于人工智能与虚拟现实用于汉语学习培训的场景设备 |
| CN107103802A (zh) * | 2017-04-28 | 2017-08-29 | 南京网博计算机软件系统有限公司 | 基于在线教育的实时人眼甄别系统和方法 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| CN108154450A (zh) * | 2016-12-06 | 2018-06-12 | 上海交通大学 | 数字学习智能监控系统 |
| KR101881092B1 (ko) * | 2017-11-24 | 2018-07-23 | (주)인더텍 | 시청각 연동형 인지 훈련 시스템 및 방법 |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TR201505840A2 (tr) * | 2015-05-14 | 2015-07-21 | Biooram Saglik Egitim Danismanlik Ve Kozmetik Ueruenleri Tic Ltd Sti | Bütüncül Öğrenme Sistemi |
-
2019
- 2019-04-24 CN CN201910333193.5A patent/CN109919143B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930750A (zh) * | 2011-08-08 | 2013-02-13 | 张文宇 | 全感教学法 |
| CN103366618A (zh) * | 2013-07-18 | 2013-10-23 | 梁亚楠 | 基于人工智能与虚拟现实用于汉语学习培训的场景设备 |
| CN108154450A (zh) * | 2016-12-06 | 2018-06-12 | 上海交通大学 | 数字学习智能监控系统 |
| CN107103802A (zh) * | 2017-04-28 | 2017-08-29 | 南京网博计算机软件系统有限公司 | 基于在线教育的实时人眼甄别系统和方法 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| KR101881092B1 (ko) * | 2017-11-24 | 2018-07-23 | (주)인더텍 | 시청각 연동형 인지 훈련 시스템 및 방법 |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 多感官教学策略在高中生物教学中的应用研究;曹峰丽;《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》;20180228(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919143A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919143B (zh) | 基于多感官交互体验和学习注意力评估的教育方法 | |
| US11556741B2 (en) | Devices, systems and methods for predicting gaze-related parameters using a neural network | |
| EP2309307B1 (en) | Eye tracking using a GPU | |
| CA2545202C (en) | Method and apparatus for calibration-free eye tracking | |
| JP7420510B2 (ja) | フォービエイテッド・レンダリング・システムおよび方法 | |
| Perrott et al. | Aurally aided visual search under virtual and free-field listening conditions | |
| TW202036465A (zh) | 駕駛員注意力監測方法和裝置及電子設備 | |
| US20150243083A1 (en) | Augmented Reality Biofeedback Display | |
| EP3752902A1 (en) | System and method of enhancing user's immersion in mixed reality mode of display apparatus | |
| Regenbrecht et al. | Out of reach?—A novel AR interface approach for motor rehabilitation | |
| JP2012141965A (ja) | 非触覚ユーザインタフェース用場面プロファイル | |
| WO2019154509A1 (en) | Devices, systems and methods for predicting gaze-related parameters | |
| US11600189B2 (en) | Therapeutic simulator system for stress disorders | |
| WO2002001336A2 (en) | Automated visual tracking for computer access | |
| WO2019154510A1 (en) | Devices, systems and methods for predicting gaze-related parameters | |
| Block et al. | In the arms of a robot: Designing autonomous hugging robots with intra-hug gestures | |
| US20190019336A1 (en) | Augmented Reality Biofeedback Display | |
| CN110085069A (zh) | 多感官交互增强学习记忆强度智能教学设备 | |
| KR20220014254A (ko) | 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템 | |
| US20210303070A1 (en) | Devices and headsets | |
| CN106919924A (zh) | 一种基于人面识别的情绪分析系统 | |
| US20230072470A1 (en) | Systems and methods for self-administered sample collection | |
| CN110942327A (zh) | 推荐方法及实境呈现装置 | |
| JPH06266497A (ja) | マンマシンインタフェース装置 | |
| TWI463474B (zh) | 影像調整系統及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230602 Address after: 401331 a-8-8, first floor, No. 25, South University Town Road, Shapingba District, Chongqing Applicant after: CHONGQING JIAOHU TECHNOLOGY CO.,LTD. Address before: No. 174 Shazhong Road, Shapingba District, Chongqing, 400044 Applicant before: Guo Gang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |