CN108281143A

CN108281143A - 一种基于机器视觉与语音交互的学生作息时间智能管控机器人

Info

Publication number: CN108281143A
Application number: CN201810157022.7A
Authority: CN
Inventors: 姚诗晴
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-02-24
Filing date: 2018-02-24
Publication date: 2018-07-13

Abstract

本发明公开了一种基于机器视觉与语音交互的学生作息时间智能管控机器人，属于人工智能技术领域。该系统包括机器人本体和配套的手机APP，机器人本体主要由主控制器、数据存储器、视频处理器、双目摄像机组件、人体红外感应器、语音识别模块、麦克风、WIFI无线数据接口、蓝牙无线数据接口、USB有线数据接口、扬声器以及底座云台等硬件部分。本发明的机器人利用微处理器、并通过语音交互，自动督促学生按计划学习和休息；利用双目视觉识别实现学习坐姿的监视，并通过语音播报提醒纠正；利用视觉和红外相结合检测学生起床状态，并通过个性化唤醒方式督促按时起床；利用配套的手机智能APP，方便作息计划的编制、生成、下载和监控。

Description

一种基于机器视觉与语音交互的学生作息时间智能管控机器人

技术领域

本发明涉及一种基于机器视觉与语音交互的学生作息时间智能管控机器人，属于自动控制、计算机和人工智能技术领域。

背景技术

学生，尤其是初高中生，日常独处时的作息时间管理和掌控，对保证学生既能高效学习又可拥有良好身心健康具有重要意义。

绝大多数中学生往往对时间的自我管控能力比较差，在学校或在家里有家长陪伴时，还可能遵守比较规矩的作息时间，然而，一旦独处或疏于监管时，就会出现注意力不集中和时间抓得不紧的情况，同时，也不能良好兼顾学习和休息，导致时间和身体都消耗了，而成绩却不长进甚至倒退。

为了实现对学生的作息时间进行监控，最常用的方法就是利用已有的计时工具(如手表、电子钟、手机等)，根据事先设计好的作息时间计划(通常是写在纸上)，由学生自己进行掌控，即：学生根据当前时钟时间对照作息计划中的学习或间歇时间安排，在不同的时间段开展不同内容(如科目)的学习或不同方式(如做操、听音乐)的休息。

为了促进学生保护好视力，需要对学生的坐姿进行实时监视，并在发现其坐姿不正确时给予及时提醒。目前，市场上没有成形的学生实时坐姿监视产品，但出现了一些相关项目、提出了多种新颖的解决途径，例如，一款青少年坐姿微动作识别与分析系统提出：利用嵌装在座椅上的点阵式柔性压力垫与安装在写字板上的光敏传感器与温湿度传感器实时采集用户的微动作信息与环境参数，利用网络将微动作信息与环境参数传递给云端服务模块进行处理分析，并将处理分析结果实时传输至手机APP客户端进行显示。为了督促学生及时起床，常用的方法是利用闹钟、电子钟和手机等具有定时和闹铃功能的工具，提前设置起床时间、并在时钟到达起床时间时启动闹铃，如果为了防止学生赖床、还可以设置多次间隔闹铃。

上述针对作息时间监控、坐姿监视提醒以及起床唤醒等三方面的现有技术方案，存在的主要缺陷如下：

(1)采用计时工具执行作息计划的主要缺点包括：首先，计划通常是写在纸上或记忆的，由于计划一般至少都会包括一周的作息内容，因此，经常会遗忘或记忆不准确、需再查看，使用起来不是很方便；其次，计时工具不会主动定时、计时，每次都需人工进行操作，面对一天之内十来个时段，一周内每天的时段又可能不同，因此，会非常麻烦，这也是为什么很少有学生能较好地坚持按照计划执行作息的原因了；最后，计时工具(例如手机)本身也会干扰学生学习，可能会借用定时的机会偷偷地玩游戏、或聊天等。

(2)目前市场上现有的身体姿势矫正类设备的主要缺点是：矫正实效差、使用不方便、对日常学习生活干扰大以及学生不感兴趣有抵触情绪等；近期研发的一种青少年坐姿微动作识别与分析系统，方法比较新颖，但也有明显的先天不足：首先，系统复杂通用性不强，包括嵌装在座椅上的压力垫与安装在写字板上的光敏传感器与温湿度传感器；其次，使用限制多、不方便，需利用网络将微动作信息与环境参数传递给云端服务模块进行处理分析，再将处理分析结果实时传输至手机APP客户端进行显示；最后，系统的安装调试会比较麻烦、严重限制了使用范围，也增加了学生使用的负担、反而会干扰学生的学习。

(3)使用闹钟、电子钟和手机等具有定时和闹铃功能的工具，实现起床唤醒时，有如下主要缺点：首先，定时设置是通过手动按键输入实现的，当需比较频繁地更改时间时会比较麻烦；其次，闹铃音时长每次设置后就固定了，也就是说你起床后需手动先将闹铃关闭，否则闹铃音会一直持续直至设定的时长结束，这是一个令人生厌、但又不可避免的环节；最后，为了防止赖床，需专门设置二次或多次闹铃，然而，一旦这样设置又会带新的烦恼，如果你已经起床了，闹铃还会按照之前的设置执行、需要你去关闭。

发明内容

针对上述问题，本发明的一种基于机器视觉与语音交互的学生作息时间智能管控机器人，解决现有技术中存在的主要问题。

本发明解决上述技术问题，采用的技术方案如下：

一种基于机器视觉与语音交互的学生作息时间智能管控机器人，如附图1和附图2所示，系统包括机器人本体和配套的手机APP。

其中机器人本体包括:主控制器、数据存储器、视频处理器、双目摄像机组件、人体红外感应器、语音识别模块、麦克风、WIFI无线数据接口、蓝牙无线数据接口、USB有线数据接口、扬声器以及底座云台等硬件部分。

主控制器用于支持程序运行，实现计划定时、视频监视、语音识别、音频播报等功能调度和执行；

数据存储器用于存储作息计划数据和音频素材文件(包括间歇时段播放的音乐、歌曲、体操伴音，作息时段的开始结束提示语音、坐姿纠正提示语音、起床唤醒音乐)等；

视频处理器用于对双目摄像机获取的学生坐姿人像图片进行处理以及运行坐姿模式识别模块，实现判断当前的学生坐姿是否正确；

双目摄像机组件用于实时采集学生的坐姿人像图片，并输出该图片的特征信息(如轮廓线、图形重心等)，支持模式识别算法分类计算；

人体红外感应器用于监视学生的起床状态；

语音识别模块用于对学生的语音指令(如临时计时请求，起床时间设置等)输入进行识别，确定出具体的时间信息(如十分钟，六点二十分等)；麦克风用于监测学生的语音指令输入，支持语音识别模块确定时间信息；WIFI无线数据接口，用于支持手机APP向机器人传输作息计划数据以及机器人向手机传输计划执行状态；蓝牙无线数据接口，用于支持计算机或手机向机器人传输作息计划数据；USB有线数据接口，用于支持计算机向机器人传输作息计划数据；扬声器，用于机器人向外输出音频输出(语音播报，音乐、歌曲、体操伴音等)；底座云台，以人体红外感应器为引导，通过水平和俯仰旋转调整双目摄像头的感知角度，使学生人像位于取景框内。

其中手机APP包括:作息计划编辑器、作息计划智能生成器、人机交互界面、个人资料库、音频素材库、机器人计划下载端口、云端计划上下载端口等模块。其中作息计划编辑器，用于通过手机的人机交互界面(如制作表格和文本编辑，音频文件查看和加载等)实现作息计划的编辑、修改和生成；作息计划智能生成器，用于通过智能算法(如计划智能生成，计划智能重构等)实现计划的快速生成和适应更新；人机交互界面，用于通过文字输入、音频输出、画面输出等，实现将学生对作息计划的个人意图和喜好输入并自动转化为计划文档数据；个人资料库，用于存储支持个性化作息计划生成的个人资料(如需给累计时间最多的科目、需每天都给时间的科目、需一天给时间最多的科目、需在一天中给最好时间段的科目等)；音频素材库，用于存储语音播报(如“开始学习数学”)，以及个性化的间歇音乐，起床唤醒音等音频文件；机器人计划下载端口，用于将手机中已经编制完成的作息计划数据，通过WIFI下载至机器人中；云端计划上下载端口，用于通过WIFI从云端下载别人的优秀作息计划数据，以及向云端上传本人经过使用后觉得效果良好的个人作息计划数据、与其他人共享。

其运行流程特征是：机器人系统的功能调度和执行，具体步骤如下:

步骤1，上电开机后，机器人主控制器读取当日日期；

步骤2，机器人主控制器，根据当日日期，从数据存储器中读取事先编制的当日作息计划数据，计划数据为按照自然时钟顺序的几个计划时段；计划时段又分为学习时段、间歇时段和睡眠时段等三类，每个计划时段包括开始时间、结束时间和计划内容，例如学习时段:8:30、9:30、数学；间歇时段:9:30、9:50、听音乐；睡眠时段:22:30、次日6:30、睡眠；

步骤3，机器人主控制器，读取当前时钟时间，并根据时钟时间判断即将执行的具体计划时段；

步骤4，机器人主控制器，根据即将执行的计划时段的结束时间，和当前时钟时间，设定并启动当日的第一计划时段定时器；

步骤5，机器人主控制器，触发计划定时开始语音播报程序、并触发扬声器控制程序输出该计划时段内容的语音播报，例如，语音输出“开始学习数学”；

步骤6，进入某一计划时段计时期间，机器人主控制器，启动双目视觉坐姿监视程序，由视频处理器完成即时双目视觉图像处理，再利用深度学习神经网络实现人体坐姿状态识别，并判断人体当前坐姿是否正确，如果不正确，触发坐姿提醒语音播报，如“请端正坐姿”；如果坐姿正确，则继续执行之后流程；

步骤7，机器人主控制器，启动音频指令输入监视程序，通过扫描麦克风状态、判断是否有学生是否有临时计时的语音请求；

步骤8，如果检测到学生通过语音输入发出临时计时请求，如“请计时十分钟”，调语音识别模块，确定临时计时的具体要求，如“十分钟”；如果未检测到学生有临时计时请求，则继续执行之后流程；

步骤9，当通过语音识别确定学生提出的临时计时具体要求(如十分钟)后，机器人主控制器，根据当前时钟时间和当前计划时段的结束时间计算当前时段的剩余时间，如果剩余时间大于临时计时具体要求的时间，则判断可以响应学生提出的临时计时请求，否则，继续执行之后的流程；

步骤10，判断可以响应学生提出的临时定时后，机器人主控制器，按照步骤8)确定的临时计时具体要求(如十分钟)，启动临时定时器进行计时；

步骤11，判断临时计时是否结束，如果结束，则触发扬声器控制程序实现计时结束语音播报，如“临时计时结束”，并继续执行之后的流程，否则，继续等待直至临时定时器计时结束；

步骤12，判断当前计划时段计时是否结束，如果结束，则触发扬声器控制程序实现计时结束语音播报，如“数学学习结束”，否则，继续等待直至计划定时器计时结束；

步骤13，当上一学习时段结束后，按照当日计划，根据当前时钟时间，启动间歇时段定时器，并按照计划内容，触发间歇时段音频播报，如播放事先预置的音乐；

步骤14，判断间歇时段是否结束，如果结束，继续执行之后的流程，否则，等待直至间歇时段计时结束；

步骤15，当间歇时段计时结束后，判断当日作息计划是否结束，如果结束，则启动睡前语音定时设置程序，当日学习和间歇时段计划流程结束；否则，启动作息计划中下一学习时段定时器，继续循环执行步骤5至步骤14。

本发明的有益效果是：

(1)提出利用机器视觉和语音交互等人工智能技术，帮助学生合理掌控作息时间的机器人产品概念——“智能时间管家”；

(2)机器人产品可按照学生个性化作息计划，利用自然时钟和临时定时相结合的计时方式，自动调度计划、督促学生执行，克服了学生自律性不强的缺点，引导学生即高效利用固定的学习时间，又合理安排间歇休闲活动、保证身心健康；

(3)机器人产品利用双目机器视觉以及智能模式识别技术，自动对学生的学习坐姿和起床状态进行实时检测，并通过语音播报及时提醒学生调整其坐姿，可以保证对不良习惯纠正的及时性、对保护视力尤为有益；

(4)机器人产品通过自然语音与学生交互，可实现临时定时请求和起床唤醒时间设置，即方便又亲切，可大大增强学生使用的兴趣和积极性；

(5)机器人产品利用双目视觉和人体红外感知技术相结合，实现对学生起床状态的检测，并通过个性化唤醒方式督促学生按时起床；

(6)机器人产品具有WIFI接口，可与其配套的手机智能APP无线连接，即方便利用手机向机器人下载作息计划和休闲音频，又可实现对机器人运行状态的监控；

(7)机器人利用与其配套的手机APP，实现学生个性化作息计划的编制和生成，并通过WIFI加载到机器人产品；并利用APP中的智能算法实现对未尽计划的自主重规划以及对学生最优个性化作息计划的在线学习；

(8)机器人利用与其配套的手机APP，从云端下载已有优秀学生的作息计划和休闲音频以及上传自己满意的作息计划与他人分享。

附图说明

附图1是系统组成框图。

附图2是系统运行流程图。

具体实施方式

针对某一高中学生，以其典型的日常作息计划为基础，根据所述的技术方案，实施本发明提供的一种“基于机器视觉与语音交互的学生作息时间智能管控机器人”，具体步骤如下：

步骤1，机器人外观设计与壳体制作，其特征如下：

机器人壳体外形尺寸与其内部装载的主要设备(主控制器、视频处理器和双目摄像机组件等)相匹配，采用3D打印工艺制作。

步骤2，机器人本体硬件研发，其特征如下：

步骤2.1，机器人主控制器，采用一款基于ARM的微型电脑主板——树莓派(Raspberry Pi B款)，其以SD/MicroSD卡为内存硬盘，卡片主板周围有USB接口和一个10/100以太网接口，可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口；

步骤2.2，机器人数据存储器，利用与树莓派配套的SD/MicroSD卡；

步骤2.3，机器人视频处理器，采用NVIDIA的Jetson TX2；Jetson TX2的处理器有6个CPU核心、4个Cortex-A57，GPU为Pascal架构，有256个CUDA核心、搭配8GB 128bit LPDDR4内存和32GB eMMC闪存，配置6个摄像头(2通道)CSI2D-PHY 1.2(每个通道2.5Gbps)，支持4Kx 2K 60Hz编码(HEVC和12位支持)；TX2是一个移动的GPU，可以进行大量计算，用于支持机器人通过大量各种人像坐姿图片对神经网络进行训练，来实现识别和判断学生的坐姿是否正确；

步骤2.4，机器人双目摄像机组件，采用小觅双目摄像头；该摄像头采用高清摄像头、感光像素尺寸达到6.0μmx6.0μm，并搭载智能曝光及白平衡算法、可自动适应环境；该摄像头的分辨率有1504x480，而且可提供高达60fps的刷新频率，能为物体识别领域的算法提供更稳定可靠的图像源；该摄像头内置六轴IMU传感器，能为视觉SLAM以及空间移动算法的研发提供数据校正；通过高清双目摄像头，可以精准感知周围的物体和自身移动的轨迹，从而对周围环境形成三维立体的认识；定位定姿精度最高可达20m，视角达到150度，基本与人眼的视觉能力一致；

步骤2.5，机器人人体红外感应器，采用SL625微型远距离人体感应模块；该模块是基于红外线技术的自动控制产品,全自动感应、光敏控制、温度补偿、感应距离可达12米；灵敏度高、可靠性强、超低电压工作模式，尤其是电池供电的自动控制产品；

步骤2.6，机器人语音识别模块，采用XFMT101模块；该模块目前支持语音识别、语音合成、语音播放等功能，支持UART作为通信接口，功能丰富、接口简单是其主要特点；语音识别，支持20个命令词的识别，支持用户自定义命令词；语音播放，可以播放一串语音序列，支持四个音频连续播放。拥有5MB的内置音频存储空间，总音频个数最多为100个，同时支持识别等引擎提示音的播放；语音合成，支持全中文语音合成(普通话)，用户单次最多可输入250个字节(125个字)的文本，经合成处理后得到流畅的语音输出；

步骤2.7，机器人麦克风和扬声器，采用给手机配套的微小型产品；

步骤2.8，机器人WIFI无线数据接口，采用8189FTV微型WIFI模块；该模块是一款低功耗、体积小SDIO接口无线模组，符合IEEE802.11N标准，支持64/128位WEP数据加密，支持WPA-PSK/WPA2-PSK,WPA/WPA2安全机制，无线传输速率高达150M；

步骤2.9，机器人蓝牙无线数据接口，可采用CC2541蓝牙模块；机器人样机暂时取消蓝牙接口；

步骤2.10，机器人USB有线数据接口，利用树莓派的USB接口；

步骤2.11，机器人音频输出接口，利用树莓派的音源输出接口；

步骤2.12，机器人底座云台，可以采用两个电机来实现水平和俯仰两个轴向的旋转，样机研发暂时取消了底座云台。

步骤3，机器人系统开发，其特征如下：

根据机器人系统主控制器(树莓派)的要求，采用C编程语言进行开发，执行的具体步骤如下:

步骤3.1，上电开机后，读取当日日期；

步骤3.2，根据当日日期，从数据存储器中读取事先编制的当日作息计划数据，计划数据为按照自然时钟顺序的几个计划时段；计划时段又分为学习时段、间歇时段和睡眠时段等三类，每个计划时段包括开始时间、结束时间和计划内容，例如学习时段:8:30、9:30、数学；间歇时段:9:30、9:50、听音乐；睡眠时段:22:30、次日6:30、睡眠；

步骤3.3，读取当前时钟时间，并根据时钟时间判断将执行具体计划时段；

步骤3.4，根据即将执行的计划时段的结束时间，和当前时钟时间，设定并启动当日的第一计划时段定时器；

步骤3.5，触发计划定时开始语音播报程序并触发扬声器控制程序输出该计划时段内容的语音播报，例如，语音输出“开始学习数学”；

步骤3.6，进入某一计划时段计时期间，启动双目视觉坐姿监视程序，由视频控制器完成即时双目视觉图像处理，再利用深度学习神经网络实现人体坐姿状态识别，并判断人体当前坐姿是否正确，如果不正确，触发坐姿提醒语音播报，如“请端正坐姿”；如果坐姿正确，则继续执行之后流程；

步骤3.7，启动音频指令输入监视程序，通过扫描麦克风状态、判断是否有学生是否有临时计时的语音请求；

步骤3.8，如果检测到学生通过语音输入发出临时计时请求，如“请计时十分钟”，调语音识别模块，确定临时计时的具体要求，如“十分钟”；如果未检测到学生有临时计时请求，则继续执行之后流程；

步骤3.9，当通过语音识别确定学生提出的临时计时具体要求(如十分钟)后，机器人主控制器，根据当前时钟时间和当前计划时段的结束时间计算当前时段的剩余时间，如果剩余时间大于临时计时具体要求的时间，则判断可以响应学生提出的临时计时请求，否则，继续执行之后的流程；

步骤3.10，判断可以响应学生提出的临时定时后，机器人主控制器，按照步骤8)确定的临时计时具体要求(如十分钟)，启动临时定时器进行计时；

步骤3.11，判断临时计时是否结束，如果结束，则触发扬声器控制程序实现计时结束语音播报，如“临时计时结束”，并继续执行之后的流程，否则，继续等待直至临时定时器计时结束；

步骤3.12，判断当前计划时段计时是否结束，如果结束，则触发扬声器控制程序实现计时结束语音播报，如“数学学习结束”，否则，继续等待直至计划定时器计时结束；

步骤3.13，当上一学习时段结束后，按照当日计划，根据当前时钟时间，启动间歇时段定时器，并按照计划内容，触发间歇时段音频播报，如播放事先预置的音乐；

步骤3.14，判断间歇时段是否结束，如果结束，继续执行之后的流程，否则，等待直至间歇时段计时结束；

步骤3.15，当间歇时段计时结束后，判断当日作息计划是否结束，如果结束，则启动睡前语音定时设置程序，当日学习和间歇时段计划流程结束；否则，启动作息计划中下一学习时段定时器，继续循环执行步骤3.5至步骤3.14。

步骤4，与机器人配套的手机APP开发，其特征如下：

采用Google公司专为安卓操作系统设计的集成开发工具Android Studio(集开发、调试、版本管理等功能一体)，开发手机客户端APP，具体步骤如下：

步骤4.1，开发作息计划编辑器，用于通过手机的人机交互界面(如制作表格和文本编辑，音频文件查看和加载等)实现作息计划的编辑，修改和生成；

步骤4.2，开发作息计划智能生成器，用于通过智能算法(如计划智能生成，计划智能重构等)实现计划的快速生成和适应更新；

步骤4.3，开发人机交互界面，用于通过文字输入、音频输出、画面输出等，实现将学生对作息计划的个人意图和喜好输入并自动转化为计划文档数据；

步骤4.4，开发个人资料库，用于存储支持个性化作息计划生成的个人资料(如需给累计时间最多的科目，需每天都给时间的科目，需一天给时间最多的科目，需在一天中给最好时间段的科目)；

步骤4.5，开发音频素材库，用于存储语音播报(如“开始学习数学”)，以及个性化的间歇音乐，起床唤醒音等音频文件；

步骤4.6，开发机器人计划下载端口，用于将手机中已经编制完成的作息计划数据，通过WIFI下载至机器人中；

步骤4.7，开发云端计划上下载端口，用于通过WIFI从云端下载别人的优秀作息计划数据，以及向云端上传本人经过使用后觉得效果良好的个人作息计划数据，与其他人共享。

机器人的功能通过初始设置和正常使用两个阶段来实现，其特征是：

初始设置的步骤如下：

步骤1，进行视频和音频信息预先采集，具体过程为:在语音提示下，由摄像头采集学生正常坐姿的个性化图片，由麦克风采集常用对话的个性化音频；

步骤2，利用专为样机配置的手机APP，自行手动编制个性化的作息计划或者通过云端下载现成的优秀学生(如已考入名校的学哥学姐)的作息计划；也可以输入本人的特点(如哪科好，哪科弱)和对计划的要求(学习时间段及间歇时长，科目种类及优先级，间歇休闲活动喜好等)，由APP的智能算法自动生成作息计划，再由学生进行局部修改，以便提高效率；

步骤3，加载预置作息计划时间表数据以及休闲音频文件，具体过程为:通过数据传输接口，将事先在笔记本电脑或者手机里编制好的学生个性化作息计划时间表数据(包括开始和结束时间，以及这段时间安排的内容如学习数学等)以及休闲音频文件，传输到产品的数据存储器中；

步骤4，卧室床铺状态(包括空床，学生平躺睡觉，起床坐起等)的预置视频信息，并设置个性化起床唤醒方式，如音乐、铃声、和话音等。

日常使用的步骤如下：

步骤1，依靠其主控制器预置的主控系统，根据事先加载的个性化作息计划数据，从开机的时钟时刻开始调度计划和启动定时，并通过语音播报提示学生计划内容和间歇休息，在休息时间播放事先预置的音乐(也可以增加互动语音对话环节进行确认，样机开发省略次功能)、歌曲和体操伴音等音频文件；

步骤2，在学生按计划学习时间内，利用双目摄像头组件及配置在视频处理器TX2中的坐姿状态识别模块，对学生的学习坐姿进行实时监视，并在察觉学生出现不良坐姿时，通过语音(如“请端正坐姿”)提示其纠正，察觉已改正输出鼓励音(如“很好”)；

步骤3，学生如果有临时计时需要时，通过语音与样机对话，输入定时的要求(如“请帮我定时10分钟”)，样机将启动另外定时器，并在计时结束时用语音(如“定时完毕”)提示；在临时计时时间内，原有计划照常定时；

步骤4，当时钟时间到达计划中安排的间歇时间时，产品自动播报语音提示(如“该休息啦”)，样机采用按照默认的随机方式直接安排听音乐歌曲、做体操和自由活动等间歇内容；

步骤5，当时钟时间到达睡觉时间时，播报语音提示，如果学生按照计划去睡觉，会将产品带入卧室放在床头，并通过语音告诉产品明天早上的起床时间，如“照常起床”或“晚/早十分钟起床”等；在接到起床定时语音指令后，产品重新设置起床时间，并利用摄像头感知屋里光线，当感知已经关灯时，产品自动关机，并在第二天早上唤醒时间之前三分钟再自动启动；

步骤6，当时钟时间到达起床时间时，启动唤醒提示；同时，启动起床状态监视模式，当感测光线充足时利用摄像头及其配置的床铺状态识别模块，当感测光线不足时利用人体红外感应器；如果学生没及时起床(一般是指唤醒后三分钟之内)，产品将自动再次启动唤醒提示，直至观测到学生起床为止；

步骤7，通常起床后，学生会将产品关机，待再次使用时再开机；

步骤8，如果由于某些原因(如身体不适，临时有事等)导致某天计划没有执行，产品可通过在某天学习计划时间内是否开机来判断；产品在开机后，如果检测到之前有计划未执行，将自动对某一阶段(如一周)内余下的计划进行重规划，并通过语音播报提示“计划正在调整，请等待”；利用智能算法重新进行优化制定出最合适该学生的作息计划，例如，将之前三天的学习计划内容调整至两天内完成，时间减少了、但需要最大限度地保证学习内容的即定目标；

步骤9，在使用一段时间(如半个月后)后，产品会在某个间歇的时间内，自动启动人机对话模式，主动询问学生是否需要调整作息计划；如果学生更改并重新加载计划后，产品自动累计记录学生对计划的更改历史，并定期在线分析并逐步总结出最适合该学生在作息计划，即每一时间段更适合进行哪个科目学习；

步骤10，如果学生对自己的作息计划很满意，则可以通过手机APP将该计划分享至云端，供其他学生下载参考，实现更大范围人群的互动互助。

本发明的机器人与手机APP配套，借助手机APP的良好人机交互界面，实现作息计划的编辑、WIFI下载以及智能生成等功能，并且易于利用手机的计算资源支持智能算法的运行，使得作息计划的编制、修改和文档生成变得智能、方便，增加了学生的使用兴趣；机器人利用主控制器(微型计算机)自动执行程序、按照预置的作息计划督促学生学习和休息，彻底摆脱了人工介入、不再需学生自己去记忆计划的时间和内容安排；机器人采用语音播报实现每个计划时段计时开始和结束的提醒、在间歇时段自动播放音乐歌曲/体操伴音、以及在起床时播放唤醒闹铃音等，亲切自然、灵活方便，可增加学生使用兴趣；机器人利用语音识别技术实现临时定时请求和起床唤醒时间设定等输入信息、而无需人工按键操作，效率高、简单便捷，节省了时间、避免了麻烦；机器人利用基于双目机器视觉的人工智能识别技术实现学习坐姿的自主监视，并通过语音即时进行坐姿纠正的提醒，正确率高、使用方便、效果好，并且科技时尚、易于青少年接受；机器人利用双目机器视觉和人体红外感知信息融合技术，对学生的起床状态进行识别和判断，与唤醒闹铃结合实现了智能化的唤醒功能，即如果判断学生已经起床，便自动结束闹铃音播放、而无需人工关闭；如果判断学生在闹铃音播放完毕仍未起床，则自动在一定时间后启动二次闹铃音播放，高准确、高智能、有效且贴心。

Claims

1.一种基于机器视觉与语音交互的学生作息时间智能管控机器人，包括机器人本体和配套的手机APP；其特征在于，

所述的机器人本体包括：主控制器、数据存储器、视频处理器、双目摄像机组件、人体红外感应器、语音识别模块、麦克风、WIFI无线数据接口、蓝牙无线数据接口、USB有线数据接口、扬声器以及底座云台；

数据存储器用于存储作息计划数据和音频素材文件；

双目摄像机组件用于实时采集学生的坐姿人像图片，并输出该图片的特征信息，支持模式识别算法分类计算；

人体红外感应器用于监视学生的起床状态；

语音识别模块用于对学生的语音指令输入进行识别，确定出具体的时间信息；

麦克风用于监测学生的语音指令输入，支持语音识别模块确定时间信息；

WIFI无线数据接口，用于支持手机APP向机器人传输作息计划数据以及机器人向手机传输计划执行状态；

蓝牙无线数据接口，用于支持计算机或手机向机器人传输作息计划数据；

USB有线数据接口，用于支持计算机向机器人传输作息计划数据；

扬声器，用于机器人向外输出音频输出；

底座云台，以人体红外感应器为引导，通过水平和俯仰旋转调整双目摄像头的感知角度，使学生人像位于取景框内；

所述的手机APP，包括：作息计划编辑器、作息计划智能生成器、人机交互界面、个人资料库、音频素材库、机器人计划下载端口、云端计划上下载端口；其中作息计划编辑器，用于通过手机的人机交互界面实现作息计划的编辑、修改和生成；作息计划智能生成器，用于通过智能算法实现计划的快速生成和适应更新；人机交互界面，用于通过文字输入、音频输出、画面输出，实现将学生对作息计划的个人意图和喜好输入并自动转化为计划文档数据；个人资料库，用于存储支持个性化作息计划生成的个人资料；音频素材库，用于存储语音播报以及个性化的音频文件；机器人计划下载端口，用于将手机中已经编制完成的作息计划数据，通过WIFI下载至机器人中；云端计划上下载端口，用于通过WIFI从云端下载别人的优秀作息计划数据，向云端上传本人经过使用后觉得效果良好的个人作息计划数据,与其他人共享。