CN105361429A - 基于多通道交互的智能学习平台及其交互方法 - Google Patents

Abstract

本发明公开了一种基于多通道交互的智能学习平台及交互方法，具体包含一套可通过触摸屏输入、语音控制和手势控制等多通道交互操作的智能学习平台与其交互方法。本发明的智能学习平台具体包括嵌入式微处理器模块、光控模块、语音处理模块、图像处理模块、网络通信模块、坐姿纠正模块。本发明还集成了实时视频语音通信，机器智能答题，学生状态实时监控，实时推送等功能，降低用户对繁杂的电子学习产品的操作度，贴近以“桌面”为主要学习区域的人群的学习习惯，方便家长或老师及时与学生互动，极大地提高用户的学习效率。

Description

基于多通道交互的智能学习平台及其交互方法

技术领域

本发明涉及一种电子学习用品技术，特别涉及一种基于多通道交互的智能学习平台及其交互方法。

背景技术

目前的中小学生大部分是独生子女，在家长工作繁忙的时候往往只能一个人在家学习，作业里遇到的问题也不能及时地得到解决。同时，由于家长无法监督孩子学习，所以当家长想要了解孩子的学习状况时候，就只能从孩子的作业成绩以及考试成绩来判断孩子的学习情况，而这种方法往往是片面的、不完全的。

有些家长会给孩子买平板电脑或者智能手机来帮助孩子学习，然而，平板电脑或者智能手机的辅助学习方式与学生惯有的“桌面”学习方式不大相同。其次，平板电脑与智能手机的屏幕都相对较小，如果长期近距离盯着它容易导致眼睛近视。

有些家长会将孩子送去补习班学习，然而，补习班一般都是大班教学，老师一般不能及时照顾到具体有学习问题的学生，且若补习班与家相对较远的话，还需要花大量时间接送。

而目前市面上的学习桌，大多数是在传统的学习桌基础上增加调节高度、倾斜角度等硬件调节功能，使学生在学习时候有一个更加舒适的环境，但并不能从根本上解决学生学习时候的学习问题。

随着科学技术的飞速发展，越来越多的智能硬件出现在了人们的生活中。因此，对于中小学生，迫切需要有一种智能学习桌，既能满足学生贴近“桌面”的传统的学习习惯，又能够及时解决学生学习过程中的问题，以及能根据学生的学习情况提供个性化的指导，提高学习效率。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种基于多通道交互的智能学习平台，该智能学习平台是一种智能学习桌椅系统。

本发明的另一目的在于克服现有技术的缺点与不足，提供一种应用于基于多通道交互的智能学习平台的交互方法，该交互方法能够满足传统学习习惯的用户，提高了学习便利性，而且是一种能够进行信息化的学习方式。

本发明的首要目的通过下述技术方案实现：一种基于多通道交互的智能学习平台，包括：桌子、椅子、外部设备和内部处理单元，所述椅子的椅背内放置超声波传感器与坐姿纠正模块；桌子的桌面上部放置外部设备；外部设备包括触摸屏显示器、台灯、光感传感器、摄像头、麦克风、扬声器；内部处理单元包括嵌入式微处理器模块、光控模块、语音处理模块、图像处理模块、网络通信模块。

本发明的另一目的通过以下技术方案实现：一种应用于基于多通道交互的智能学习平台的交互方法，包括以下步骤：

智能学习平台通过触摸屏获取用户输入，由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现触摸屏输入控制的智能交互；

智能学习平台通过麦克风捕获用户语音信息，经语音处理模块处理后交由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现语音控制的智能交互；

智能学习平台通过摄像头捕获用户手势运动，经图像处理模块处理后交由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现手势控制的智能交互；

必要时，嵌入式微处理器模块在功能调用后，发送语音数据到语音处理模块处理后，通过扬声器呈现语音。

光控模块：结合智能学习平台、光感传感器和台灯，实现检测环境光线强度自动调节灯光亮度和智能交互控制灯光亮度。

图像处理模块：通过摄像头捕捉用户动作场景信息，处理图像信息后把数据发送给嵌入式微处理器模块；接收嵌入式微处理器模块发送的数据，处理数据后通过显示器呈现图像。实现手势控制识别，实时监控用户学习情况，智能题目识别解析，执笔手势纠正，以及实时远程视频通信。

语音处理模块：通过麦克风采集用户语音信息，处理语音信息后把数据发送给嵌入式微处理器模块；接收嵌入式微处理器模块发送的数据，处理数据后通过扬声器呈现语音。实现语音控制识别，智能语音问答，以及实时远程语音通信。

网络通信模块：接入局域网或因特网，发送数据到远程端和接受接收远程端发来的数据。实现家长客户端的实时推送，实时远程通信，模拟现实中与其他用户共同学习的场景。

坐姿纠正模块：通过超声波传感器测距获取用户坐姿数据，实现用户错误坐姿的提醒与纠正。

嵌入式微处理器模块：嵌入式微处理器模块内嵌嵌入式微处理器，负责综合调控各模块通信与工作时序，调用各模块功能，存储用户数据，接收各模块的发送数据，处理数据，发送特定数据到各模块等。

本发明的工作原理：本发明的智能学习平台用户可以通过触摸屏输入、语音控制和手势控制等多种方式完成对智能学习平台的操作。同时，该智能学习平台包含多种功能:与其他用户群实时视频语音通信，模拟现实学生共同学习的场景，远程共同学习；远程教学模式，云端教师指导，在线课堂，在线答疑；机器智能答题，包括智能语音问答，智能题目识别解析；学生状态实时监控，包括身体状态如执笔姿势、坐姿的自动提醒和演示，学习状态如长期记录学生学习情况分析学习水平；家长实时关注，包括实时推送和视频通话。

本发明相对于现有技术具有如下的优点及效果：使用本发明进行学习时，能大量减少对其他电子用品的繁杂操作，也贴近了以“桌面”为主要学习区域的人群的学习习惯，模拟同学共同学习场景，实现远程教学功能，实时采集用户学习情况使得家长或老师实时掌握学生学习情况，减少家长或老师的担忧，方便家长或老师及时与学生互动，极大地提高用户的学习效率。

附图说明

图1为本发明一种基于多通道交互的智能学习桌的立体示意图。

图2为本发明一种基于多通道交互的智能学习桌的交互系统的结构示意图。

图3为本发明一种基于多通道交互的智能学习桌的系统结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明以学习桌的方式呈现。桌面中部前沿设有金属杆101，杆的中部挂置触摸屏显示器102，杆的顶部放置台灯103。

摄像头设置两个：摄像头104设置在台灯，朝下方拍摄用户学习内容，需解答的题目内容，执笔手势；摄像头105设置在触摸屏显示器上，朝前方拍摄用户本人；两个摄像头皆用于拍摄用户手势控制。

椅子的椅背内放置三个呈三角分布的超声波传感器106，作超声波测距用。

如图2所示，该智能交互系统包括触摸屏显示器102、摄像头104和105、麦克风108、扬声器107、语音处理模块202、图像处理模块203、嵌入式微处理器模块201。

多通道智能交互方式有三种，包括触摸屏输入控制的智能交互、语音控制的智能交互、手势控制的智能交互三种：

可以基于嵌入式微处理器模块201开发一个APP，设计简单易用的UI界面。接通电源按下开机键后，嵌入式微处理器模块调用启动函数，在触摸屏显示器102上显示UI界面。在用户点击触摸屏后，嵌入式微处理器模块201获得触点坐标并解析出对应的控制指令，调用对应的操作函数或其他模块的功能，将处理结果呈现到触摸屏显示器102，实现触摸屏输入控制的智能交互。

语音处理模块202实时通过麦克风108捕获用户语音信息，经语音识别处理判断是否为语音控制指令，若不是则丢弃数据，若是则将指令交给嵌入式微处理器模块201；嵌入式微处理器模块201解析出对应的控制指令，调用对应的操作函数或其他模块的功能，将处理结果呈现到显示器102，实现语音控制的智能交互；

图像处理模块203实时通过摄像头104和105捕获用户手势运动，经手势识别处理判断是否为手势控制指令，若不是则丢弃数据，若是则将指令交给嵌入式微处理器模块201；嵌入式微处理器模块201解析出对应的控制指令，调用对应的操作函数或其他模块的功能，将处理结果呈现到显示器102，实现手势控制的智能交互；

必要时，嵌入式微处理器模块201在执行完控制指令后，需要通过语音回复来知会用户。嵌入式微处理器模块201调用语音回复函数将处理结果解析为语音数据，发送语音数据到语音处理模块处理202，然后通过扬声器107呈现语音。

嵌入式微处理器模块201可以为移动终端或者计算机。

如图3所示，包括：桌椅、外部设备和内部处理单元，其中:椅子的椅背内放置超声波传感器111与坐姿纠正模块206；桌子的桌面上部放置外部设备；外部设备包括触摸屏显示器102、台灯103、光感传感器109、摄像头104和105、麦克风108、扬声器107；内部处理单元包括嵌入式微处理器模块201、光控模块204、语音处理模块202、图像处理模块203、网络通信模块205。

坐姿纠正模块206，与超声波传感器111相连接，使用独立的MCU，通过Bluetooth与嵌入式微处理器模块201通信。除坐姿纠正模块的其余模块可与嵌入式微处理器模块201进行串口通信，使用独立的MCU，或者直接与嵌入式微处理器模块201共用处理器。嵌入式微处理器201除了与各个模块通信，还与触摸屏显示器102相连接。图像处理模块203与摄像头104和105、显示器102相连接。语音处理模块202与麦克风108、扬声器107相连接。光控模块204与台灯103、光感传感器109相连接。网络通信模块205接入局域网或因特网110。

光控模块204实时通过光感传感器109采集当前亮度数据发送至嵌入式微处理器模块201；嵌入式微处理器模块201可以预先设置合适的亮度值、记录偏差值对应不同档次调控值的默认表，比较当前亮度数据和合适亮度数据，得出偏差值，根据默认表返回调控值数据给光控模块204。光控模块根据204调控值控制继电器进而调控台灯103的亮度，实现自动调节亮度功能。

用户可通过智能交互方式使嵌入式微处理器模块201更改合适的亮度值；嵌入式微处理器模块201比较当前亮度数据和新的合适亮度数据，得出偏差值，根据默认表返回调控值数据给光控模块204。光控模块204根据调控值控制继电器进而调控台灯103的亮度，实现手动、语音控制和手势控制的调节亮度功能。

图像处理模块203通过朝下方拍摄的摄像头104实时拍摄用户学习内容，通过朝前方拍摄的摄像头105实时拍摄用户本体，处理视频数据解析出多种用户数据，如用户本日学习时间、本日学习内容等，然后发送用户数据到嵌入式微处理器模块201；嵌入式微处理器模块201记录下用户数据，并进一步计算出更多用户数据，如用户本日学习情况、相同学习内容占用时间、本日学习难点等。

嵌入式微处理器模块201长期记录用户数据，并通过长期用户数据进一步计算更多用户数据，如用户学习水平、知识薄弱点、擅长科目等。

嵌入式微处理器模块201实时检测家长设置，并根据家长的设置要求，通过网络通信模块205传输家长所要求的信息，如是否在学习，学习时长，学习难点等，传输到远程的移动端，实现家长客户端的实时推送。

由摄像头105和麦克风108实时采集到的视频数据和语音数据，分别在图像处理模块203和语音处理模块202处理后，经嵌入式微处理器模块201和网络通信模块205传输到远程端；

同时，网络通信模块205实时接收远程端发来的数据交由嵌入式微处理器模块201分析，将视频数据发送到图像处理模块203处理，将语音数据发送到语音处理模块202处理，然后分别通过显示器102和扬声器107呈现视频和语音，实现远程实时视频通话，模拟现实中与其他用户共同学习的场景。

当用户调用智能语音问答功能后，语音处理模块202通过麦克风108获取需解答的题目语音数据，处理语音数据得到题目数据并发送到嵌入式微处理器模块201；嵌入式微处理器模块201根据题目数据从题库中找出对应的解答数据返回给语音处理模块202；语音处理模块202处理解答数据得到语音数据，通过扬声器呈108现语音，实现智能语音问答。

当用户调用智能题目识别解析功能后，图像处理模块203通过朝下方拍摄的摄像头104拍摄需解答的题目图像数据，处理图像数据得到题目数据并发送数据到嵌入式微处理器模块201；嵌入式微处理器模块201根据题目数据从题库中找出对应的解答数据呈现在显示器上102，实现智能题目识别解析。

椅背上放置了三个呈三角分布的超声波传感器111，坐姿纠正模块206通过超声波传感器111测距获取该三点到用户背部距离的数据，通过Bluetooth把数据无线传输给嵌入式微处理器模块201；嵌入式微处理器模块201分析用户的坐姿。嵌入式微处理器模块201可以预定义多类错误坐姿数据，通过把测得的三点距离数据与预定义的数据进行比较，识别分类坐姿状态，判断例如身体斜歪、身体前倾等坐姿状态，若坐姿正确则不进行提醒；若坐姿不正确时嵌入式微处理器模块201将发出相应的提醒和演示。

图像处理模块203通过朝下方拍摄的摄像头104获取用户执笔手势的图像，解析出手势数据如执笔的手指，执笔的高度等数据后，把数据发送到嵌入式微处理器模块201；嵌入式微处理器模块201分析用户的执笔手势。嵌入式微处理器模块201可以预先定义正确的执笔手势数据，设置一定阈值，通过把解析得到的手势数据和正确数据进行比较，若偏差没有超出阈值则不进行提醒；若偏差超出阈值时嵌入式微处理器201将发出相应的提醒和演示。

嵌入式微处理器模块201将提醒内容和演示内容的视频数据和语音数据分别发送到图像处理模块203和语音处理模块202，处理后通过显示器102和扬声器107呈现视频和语音，以提醒用户坐姿不正确或执笔手势错误。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于多通道交互的智能学习平台，其特征在于，包括：桌子、椅子、外部设备和内部处理单元，所述椅子的椅背内放置相互连接的超声波传感器和坐姿纠正模块；所述桌子的桌面上部放置外部设备，所述桌子的内部放置有内部处理单元；所述外部设备包括：触摸屏显示器、台灯、光感传感器、摄像头、麦克风和扬声器；所述内部处理单元包括：均与嵌入式微处理器模块相连接的光控模块、语音处理模块、图像处理模块、触摸屏显示器和坐姿纠正模块；所述光控模块还连接有光感传感器和台灯，所述语音处理模块还连接有扬声器和麦克风，所述图像处理模块还连接有摄像头和触摸屏显示器。

2.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述光控模块通过光感传感器检测环境光线强度，根据检测到的环境光线强度来智能交互控制台灯的灯光亮度。

3.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述图像处理模块通过摄像头捕捉用户动作场景信息，处理图像信息后把数据发送给嵌入式微处理器模块；接收嵌入式微处理器模块发送的数据，处理数据后通过显示器呈现图像；实现手势控制识别，实时监控用户学习情况，智能题目识别解析，执笔手势纠正以及实时远程视频通信。

4.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述语音处理模块通过麦克风采集用户语音信息，处理语音信息后把数据发送给嵌入式微处理器模块；接收嵌入式微处理器模块发送的数据，处理数据后通过扬声器呈现语音。实现语音控制识别，智能语音问答，以及实时远程语音通信。

5.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述网络通信模块接入局域网或因特网，发送数据到远程端和接受接收远程端发来的数据。实现家长客户端的实时推送，实时远程通信，模拟现实中与其他用户共同学习的场景。

6.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述坐姿纠正模块通过超声波传感器测距获取用户坐姿数据，并把坐姿数据发送到嵌入式微处理器模块，实现用户错误坐姿的提醒与纠正。

7.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，所述嵌入式微处理器模块：嵌入式微处理器模块内嵌嵌入式微处理器，负责综合调控各模块通信与工作时序，调用各模块功能，存储用户数据，接收各模块的发送数据，处理数据，发送特定数据到各模块等。

8.根据权利要求1所述的基于多通道交互的智能学习平台，其特征在于，还包括网络通信模块，所述嵌入式微处理器模块通过网络通信模块连接局域网或因特网，所述嵌入式微处理器模块与坐姿纠正模块通过无线网络连接。

9.一种应用于权利要求1所述的基于多通道交互的智能学习平台的交互方法，其特征在于，包括以下步骤：

智能交互系统通过触摸屏获取用户输入，由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现触摸屏输入控制的智能交互；

智能交互系统通过麦克风捕获用户语音信息，经语音处理模块处理后交由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现语音控制的智能交互；

智能交互系统通过摄像头捕获用户手势运动，经图像处理模块处理后交由嵌入式微处理器模块分析出相关的数据或控制指令，调用对应的模块功能，将处理结果呈现到显示器，实现手势控制的智能交互；

嵌入式微处理器模块在功能调用后，发送语音数据到语音处理模块处理，并通过扬声器播放相应的语音结果。