CN109637097A - 学习状态监测方法、装置及智能设备 - Google Patents
学习状态监测方法、装置及智能设备 Download PDFInfo
- Publication number
- CN109637097A CN109637097A CN201811519141.9A CN201811519141A CN109637097A CN 109637097 A CN109637097 A CN 109637097A CN 201811519141 A CN201811519141 A CN 201811519141A CN 109637097 A CN109637097 A CN 109637097A
- Authority
- CN
- China
- Prior art keywords
- information
- reader
- personage
- preset
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012806 monitoring device Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000003466 anti-cipated effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000004399 eye closure Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 230000007958 sleep Effects 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Abstract
本发明揭示了一种学习状态监测方法、装置及智能设备，其中，学习状态监测方法，包括以下步骤：采集第一图像信息；分析第一图像信息中是否含有指定的内容信息；若第一图像信息中含有指定的内容信息，则采集音频信息；分析音频信息是否符合预设的声音状态标准；根据分析结果，形成对应阅读者学习状态的监测结果。该学习状态监测方法可在使用智能设备进行阅读的过程中检验阅读者是否在认真学习。
Description
技术领域
本发明涉及到信息处理技术领域，特别是涉及到一种学习状态监测方法、装置及智能设备。
背景技术
现有技术中，阅读机器人只能自动翻书，自动读书，但是无法做到在读书的时候，检验小孩子是否有在认真学习，还是在做其他无关的事。
因此，如何在使用阅读机器人的过程中检验小孩是否在认真学习，以对小孩的学习进行监督，提高小孩的学习效率，是本领域技术人员亟待解决的技术问题。
发明内容
本发明的主要目的为提供一种学习状态监测方法、装置及智能设备，该学习状态监测方法可在使用智能设备进行阅读的过程中检验阅读者是否在认真学习。
本发明提出一种学习状态监测方法，包括以下步骤：
采集第一图像信息；
分析第一图像信息中是否含有指定的内容信息；
若第一图像信息中含有指定的内容信息，则采集环境的音频信息；
分析音频信息是否符合预设的声音状态标准；
根据分析结果，形成对应阅读者学习状态的监测结果。
进一步地，分析音频信息是否符合预设的声音状态标准的步骤，包括：
分析音频信息中是否含有人物语音；
若音频信息中含有人物语音，则分析在第一预设时间段内出现人物语音的次数，并判断次数是否超出预设次数；
若在第一预设时间段内出现人物语音的次数超出预设次数，则判定音频信息不符合预设的声音状态标准。
进一步地，若音频信息中含有人物语音的步骤之后，还包括：
对人物语音进行特征提取，获得对应的声纹信息；
将声纹信息与预存的声纹信息进行比较，判断声纹信息与预存的声纹信息是否一致；
若一致，则执行分析在第一预设时间段内出现人物语音的次数，并判断次数是否超出预设次数的步骤。
进一步地，监测结果包括第一监测结果；根据分析结果，形成对应阅读者学习状态的监测结果的步骤，包括：
若音频信息符合预设的声音状态标准，则在第二预设时间后采集第二图像信息；
分析第二图像信息与第一图像信息是否相同；
若第二图像信息与第一图像信息相同，则采集第三图像信息；
分析第三图像信息中是否含有人物信息；
若第三图像信息中含有人物信息，则分析人物信息是否符合预设的人物状态标准；
若人物信息不符合预设的人物状态标准，则形成对应阅读者学习状态的第一监测结果。
进一步地，人物信息包括第三预设时间内的眨眼次数，分析人物信息是否符合预设的人物状态标准的步骤，包括：
分析第三预设时间内的眨眼次数是否超出预设次数；
若第三预设时间内的眨眼次数超出预设次数，则判定人物信息不符合预设的人物状态标准。
进一步地，人物信息包括头部与任意一肩膀之间的角度，分析人物信息是否符合预设的人物状态标准的步骤，包括：
分析头部与任意一肩膀之间的角度是否小于第一预设角度；
若头部与任意一肩膀之间的角度小于第一预设角度，则判定人物信息不符合预设的人物状态标准。
进一步地，形成对应阅读者学习状态的第一监测结果的步骤之后，还包括：
向阅读者发出警报或/和向监督者的终端设备发送提示信息。
进一步地，若第三图像信息中含有人物信息，则分析人物信息是否符合预设的人物状态标准的步骤之后，还包括：
若人物信息符合预设的人物状态标准，则分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
若未发出提醒信息的时间长度超出预设时间长度，则向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
本发明还提出一种学习状态监测装置，包括：
第一采集模块，用于采集第一图像信息；
第一分析模块，用于分析第一图像信息中是否含有指定的内容信息；
第二采集模块，用于当第一图像信息中含有指定的内容信息时，采集环境的音频信息；
第二分析模块，用于分析音频信息是否符合预设的声音状态标准；
形成模块，用于根据分析结果，形成对应阅读者学习状态的监测结果。
本发明还提出一种智能设备，包括存储器、处理器和计算机程序，计算机程序被存储在存储器中并被配置为由处理器执行，计算机程序被配置为用于执行前述的学习状态监测方法。
本发明的有益效果是：本发明的学习状态监测方法通过采集阅读者所处环境的音频信息，进而通过分析音频信息是否符合预设的声音状态标准，得出阅读者当前是否在认真学习，当采集到的音频信息不符合预设的声音状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用智能设备进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
附图说明
图1是本发明一实施中学习状态监测方法的流程示意图；
图2是本发明一实施例中S14的具体流程示意图；
图3是本发明另一实施例中S14的具体流程示意图；
图4是本发明一实施中S15的具体流程示意图；
图5是本发明一实施中学习状态监测装置的结构示意图；
图6是本发明一实施中第二分析模块的具体结构示意图；
图7是本发明另一实施中第二分析模块的具体结构示意图；
图8是本发明一实施中形成模块的总体结构示意图；
图9是本发明一实施中形成模块的具体结构示意图；
图10是本发明另一实施中学习状态监测装置的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明实施例提出一种学习状态监测方法，应用于智能设备，该智能设备可以为音箱、机器人、手机、平板，机器人可以为阅读机器人，为方便理解，本发明以阅读机器人为例进行阐述。该方法包括以下步骤：
S11，采集第一图像信息；
S12，分析第一图像信息中是否含有指定的内容信息；
S13，若第一图像信息中含有指定的内容信息，则采集环境的音频信息；
S14，分析音频信息是否符合预设的声音状态标准；
S15，根据分析结果，形成对应阅读者学习状态的监测结果。
在上述S11中，具体地，可通过在阅读机器人上设置摄像头来采集所需的图像信息，例如，可在阅读机器人上设置用于扫描内容信息的第一摄像头采集图书的第一图像信息，具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时，将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描；使用时，可通过开启第一摄像头对图书的内容进行扫描，从而采集到图书的第一图像信息，以便后续阅读机器人根据第一图像信息正确读出图书的内容。
在上述S12中，指定的内容信息可以是图书上的文字，也可以是图书上的图画，也可以是图书上的文字和图画，采集到第一图像信息后，通过对第一图像信息进行文字识别或图像识别，可获知第一图像信息中是否含有指定的内容信息，例如，通过对第一图像信息进行文字识别，可分析出第一图像信息中是否含有文字，当分析出第一图像信息中含有文字时，再通过现有的语音合成技术即可将识别出的文字转换成对应的语音，从而实现阅读机器人的读书功能。
在上述S13中，当分析出第一图像信息中含有指定的内容信息时，阅读机器人进行“读书”，同时进一步采集当前阅读环境的音频信息，具体地，可通过麦克风或者第一摄像头中的拾音器(即第一摄像头可采用具有录音功能的摄像头)来采集当前阅读环境的音频信息，以便后续进行相关操作。
在上述S14中，若音频信息符合预设的声音状态标准，则表明当前阅读者正在认真学习，但若音频信息不符合预设的声音状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，例如在讲话。
在上述S15中，当分析结果为音频信息不符合预设的声音状态标准时，则阅读机器人所形成的对应阅读者学习状态的监测结果为不认真学习，而当分析结果为音频信息符合预设的声音状态标准时，则对应阅读者学习状态的监测结果为认真学习，从而达到检验阅读者是否在认真学习的目的。
参照图2，分析音频信息是否符合预设的声音状态标准的步骤，包括：
S141，分析音频信息中是否含有人物语音，
若音频信息中含有人物语音，则执行S142，分析在第一预设时间段内出现人物语音的次数，并判断该次数是否超出预设次数；
若在第一预设时间段内出现人物语音的次数超出预设次数，则执行S143，判定音频信息不符合预设的声音状态标准。
在上述S141中，具体地，可对采集到的音频信息，通过现有的声音过滤技术过滤掉阅读机器人的声音，从而分析出音频信息中是否含有人的声音(即人物语音)。
在上述S142中，若音频信息中含有人物语音，则说明当前阅读者很可能有在讲话，此时进一步分析在第一预设时间段内出现人物语音的次数是否超出预设次数，其中，第一预设时间段和预设次数可根据实际情况而定，如需要严格地对阅读者的学习状态进行监督时，则第一预设时间段可设置得短一点(如10秒)，预设次数可设置得低一点(如2次)，如只需宽松地对阅读者的学习状态进行监督时，则第一预设时间段可设置得长一点(如1分钟)，预设次数可设置得高一点(如5次)。
在上述S143中，若在第一预设时间段内出现人物语音的次数超出预设次数，则说明当前阅读者很可能在频繁讲话而没有在认真阅读图书，由此可判定音频信息不符合预设的声音状态标准。
在本实施例中，通过分析阅读者讲话的频率来判定当前阅读者是否处于认真学习的状态的方式，使得阅读机器人可有效地对阅读者的学习状态进行监测，同时，只需通过对第一预设时间段和预设次数进行调整，即可方便地调整监督阅读者学习状态的“严格”程度，提高了学习状态监测的灵活性。
参照图3，在一个优选的实施例中，若音频信息中含有人物语音的步骤之后，还包括：
S141a，对人物语音进行特征提取，获得对应的声纹信息；
S141b，将声纹信息与预存的声纹信息进行比较，判断声纹信息与预存的声纹信息是否一致；
若一致，则执行上述S142。
在本实施例中，由于阅读者在使用阅读机器人进行阅读时所处的阅读环境可能不是很理想，例如，阅读者所处的阅读环境是客厅，那么阅读者在使用阅读机器人进行阅读的过程中，阅读机器人所获取到的人物语音可能是来自他人而不是阅读者本身，因此，可能会造成阅读机器人“误判”，误以为当前阅读者没有在认真学习，因此，为了防止阅读机器人出现“误判”的情况，在使用阅读机器人进行阅读之前，可预先录入阅读者(小孩)的声纹信息，在使用过程中，当阅读机器人获得人物语音后，先判断该人物语音是否来自当前阅读者(小孩)的，具体地，阅读机器人对获取到的人物语音进行特征提取，获得对应该人物语音的声纹信息，然后将该声纹信息与预存的声纹信息进行比较，判断两者的相似度是否大于预设阈值，若是，则可判定该人物语音与预存的声纹信息一致，从而可判定出该人物语音是来自当前阅读者的，此时可进入S142执行相关操作；否则，则表明阅读机器人所获得的人物语音是来自他人的而不是当前阅读者的，此时阅读机器人不会继续进行后续操作，从而可有效防止阅读机器人出现“误判”的情况。
参照图4，监测结果包括第一监测结果和第二监测结果；根据分析结果，形成对应阅读者学习状态的监测结果的步骤，包括：
S151，若音频信息符合预设的声音状态标准，则在第二预设时间后采集第二图像信息；
S152，分析第二图像信息与第一图像信息是否相同；
S153，若第二图像信息与第一图像信息相同，则采集第三图像信息；
S154，分析第三图像信息中是否含有人物信息；
S155，若第三图像信息中含有人物信息，则分析人物信息是否符合预设的人物状态标准；
S156，若人物信息不符合预设的人物状态标准，则形成对应阅读者学习状态的第一监测结果。
在上述S151中，若音频信息符合预设的声音状态标准，则可初步说明当前阅读者正在认真学习，此时在第二预设时间(如30秒)后可通过第一摄像头来采集图书的第二图像信息，即隔段时间后可再次通过第一摄像头进行图像信息的采集，以便后续进行相关操作。
在上述S152中，具体地，采集到第二图像信息后，将第二图像信息与之前采集到的第一图像信息进行比较，分析第二图像信息与第一图像信息是否相同，以便后续进行相关操作。
在上述S153中，具体地，可通过在阅读机器人上设置用于监视阅读者活动状态的第二摄像头来采集阅读者所处环境的第三图像信息，具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描，第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的活动状态进行监视；在本步骤中，当阅读机器人分析出第二图像信息与第一图像信息相同时，则表明在相当一段时间内阅读者并没有翻书，此时可通过开启第二摄像头对自身视角范围内的景象进行拍摄，从而采集到连续多帧的第三图像信息，以便后续根据第三图像信息进行相关操作。
在其它实施例中，也可用一个摄像头进行采集图书的第一图像信息、第二图像信息以及阅读者所处环境的第三图像信息等图像信息，该摄像头例如为全景摄像头。
在上述S154中，具体地，可通过对采集到的第三图像信息进行视觉检测，分析出第三图像信息中是否含有人物信息，若第三图像信息中含有人物信息，则表明当前有阅读者在进行阅读。
在上述S155中，当阅读机器人分析出第三图像信息中含有人物信息时，则进一步分析第三图像信息中的人物信息是否符合预设的人物状态标准，若人物信息符合预设的人物状态标准，则表明当前阅读者正在认真学习，但若人物信息不符合预设的人物状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事。
在上述S156中，若人物信息不符合预设的人物状态标准，则阅读机器人可据此得到阅读者不认真学习的监测结果，即上述的第一监测结果；而若人物信息符合预设的人物状态标准，则阅读机器人可据此得到阅读者认真学习的监测结果，即上述的第二监测结果。
在本实施例中，当通过音频信息发现当前阅读者处于认真学习的状态时，则进一步通过图像信息来确认当前阅读者是否处于认真学习的状态，通过这种声音+图像相结合的形式，可对阅读者的学习状态进行更加全面的监测，提高了监测的准确性和可靠性，同时，当发现在相当一段时间内阅读者处于认真学习的状态时，则通过每隔一段时间检测阅读者是否有翻书的方式，来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态，使得阅读机器人可持续地对阅读者的学习状态进行监测，提高了阅读机器人的实用性。
在一个优选的实施例中，人物信息包括第三预设时间内的眨眼次数，此时可通过以下方式分析人物信息是否符合预设的人物状态标准：
S155a，分析第三预设时间内的眨眼次数是否超出预设次数；
S155b，若第三预设时间内的眨眼次数超出预设次数，则判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，分析出第三预设时间(如20秒)内的眨眼次数是否超出预设次数(如10次)，若第三预设时间内的眨眼次数超出预设次数，则表明当前阅读者在频繁地眨眼，例如在打瞌睡或者开小差，此时阅读机器人可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
在一个优选的实施例中，人物信息包括头部与任意一肩膀之间的角度，此时可通过以下方式分析人物信息是否符合预设的人物状态标准：
S155c，分析头部与任意一肩膀之间的角度是否小于第一预设角度；
S155d，若头部与任意一肩膀之间的角度小于第一预设角度，则判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出头部与任意一肩膀之间的角度是否小于第一预设角度(如60度)，若头部与任意一肩膀之间的角度小于第一预设角度，则表明当前阅读者的头部倾斜幅度过大，例如在打瞌睡，此时阅读机器人可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中，人物信息包括双肩与水平方向之间的角度，此时可通过以下方式分析人物信息是否符合预设的人物状态标准：
S155e，分析双肩与水平方向之间的角度是否大于第二预设角度；
S155f，若双肩与水平方向之间的角度大于第二预设角度，则判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出双肩与水平方向之间的角度是否大于第二预设角度(如30度)，若双肩与水平方向之间的角度大于第二预设角度，则表明当前阅读者的身体倾斜幅度过大，如趴在桌子上或倚靠在椅子上偷懒或睡觉，此时阅读机器人可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中，人物信息包括眼睛持续闭合的时间，此时可通过以下方式分析人物信息是否符合预设的人物状态标准：
S155g，分析眼睛持续闭合的时间是否超出第四预设时间；
S155h，若眼睛持续闭合的时间超出第四预设时间，则判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，分析出眼睛持续闭合的时间是否超出第四预设时间(如20秒)，若眼睛持续闭合的时间超出第四预设时间，则表明当前阅读者眼睛持续闭合的时间过长，例如在打瞌睡，此时阅读机器人可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
在一个优选的实施例中，人物信息包括嘴巴的高度与宽度之比，此时可通过以下方式分析人物信息是否符合预设的人物状态标准：
S155i，分析嘴巴的高度与宽度之比是否大于预设值；
S155j，若嘴巴的高度与宽度之比大于预设值，则判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出嘴巴的高度与宽度之比是否大于预设值(例如预设值可设置为“1”)，若嘴巴的高度与宽度之比大于预设值，则表明当前阅读者嘴巴的动作幅度过大，例如在打哈欠，此时阅读机器人可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒来督促阅读者认真学习，以提高阅读者的学习效率。
优选地，形成对应阅读者学习状态的第一监测结果的步骤之后，还包括：
S16，向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中，具体地，当音频信息不符合预设的声音状态标准时,或者当人物信息不符合预设的人物状态标准时(即当阅读机器人形成对应阅读者学习状态的第一监测结果时)，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，此时可通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者(家长)的终端设备(如智能手机)发送提示信息来告知监督者当前阅读者(小孩)没有认真学习，以便监督者督促阅读者认真学习，从而有利于提高阅读者的学习效率，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
在一个可选的实施例中，若第三图像信息中含有人物信息，则分析人物信息是否符合预设的人物状态标准的步骤之后，还包括：
S157,若人物信息符合预设的人物状态标准，则分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
S158,若未发出提醒信息的时间长度超出预设时间长度，则向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中，若第三图像信息中的人物信息符合预设的人物状态标准，则说明阅读者在相当一段时间内均处于认真学习的状态，此时进一步分析未发出提醒信息的时间长度是否超出预设时间长度(如30分钟)，若未发出提醒信息的时间长度超出预设时间长度，则说明阅读者在相当长的一段时间内(该时间段的长度由预设时间长度而定)均处于认真学习的状态，此时阅读机器人可向阅读者(小孩)播放用于鼓励阅读者的语音信息，如“宝宝你已经认真学习30分钟啦，好棒哦！要继续加油哦！”，又或者向监督者(家长)的终端设备发送阅读者正在认真学习的状态信息，如“您的小孩已经认真学习30分钟啦，值得表扬哦！”，从而有利于提高用户的使用体验，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
在一个可选的实施例中，向阅读者发出警报或/和向监督者的终端设备发送提示信息的步骤之后，还包括：
S17，实时采集环境的声音信息，并分析声音信息中是否含有人物声音；
S18，若声音信息中含有人物声音，则分析人物声音的分贝值是否大于预设值；
S19，若人物声音的分贝值大于预设值，则根据人物声音确定对应的人物身份；
S20，根据人物身份播放指定的提示语音。
在本实施例中，具体地，可对采集到的声音信息，通过现有的声音过滤技术过滤掉阅读机器人的声音，从而分析出声音信息中是否含有人物声音，若声音信息中含有人物声音，则说明当前阅读环境中有人在讲话，此时进一步分析人物声音的分贝值是否大于预设值，若人物声音的分贝值大于预设值，则说明当前阅读环境中有人在大声讲话(可能是阅读者在闹情绪，也可能是监督者在发脾气)，此时阅读机器人对获取到的人物声音进行特征提取，获得对应该人物声音的声纹信息，然后将该声纹信息与预存的多个声纹信息逐一进行匹配，从而可确定出对应该声纹信息的人物身份(即人物声音是来自谁的)，其中，预存的声纹信息包括阅读者(小孩)的声纹信息和监督者(家长)的声纹信息，若人物声音是来自阅读者的，则说明阅读者很可能因心生厌倦而闹情绪，此时阅读机器人可向阅读者(小孩)播放用于安抚阅读者的提示语音，如“宝宝不生气，宝宝最乖、最棒了！”；若人物声音是来自监督者(假设是妈妈)的，则说明监督者很可能因为阅读者没有认真学习而发脾气，此时阅读机器人可向监督者播放用于提示监督者注意教育方式的提示语音，如“妈妈不要凶宝宝，请待宝宝温柔点哦！”。在本实施例中，当阅读机器人因监测到当前阅读者没有认真学习而向阅读者发出警报或/和向监督者的终端设备发送提示信息后，对于阅读者(小孩)而言，可能会平下心来认真学习，也可能会心生厌倦而闹情绪；对于监督者(家长)而言，可能会耐心地对阅读者进行监督，也可能会因为阅读者没有认真学习而发脾气，因此针对阅读者可能会闹情绪或者监督者可能会发脾气的情况，本实施例的学习状态监测方法在监测到有人在大声讲话后，通过利用现有的声纹识别技术进一步判断出在大声讲话的人物身份，进而通过播放指定的提示语音来安抚阅读者的情绪或者提示监督者注意教育方式，从而可有效防止阅读者闹情绪或者监督者发脾气而影响学习的效果，进一步提高了用户的使用体验。
因此，本发明实施例的学习状态监测方法通过采集阅读者所处环境的音频信息，进而通过分析音频信息是否符合预设的声音状态标准，得出阅读者当前是否在认真学习，当采集到的音频信息不符合预设的声音状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
参照图5，本发明实施例还提出一种学习状态监测装置，包括：
第一采集模块1，用于采集第一图像信息；
第一分析模块2，用于分析第一图像信息中是否含有指定的内容信息；
第二采集模块3，用于当第一图像信息中含有指定的内容信息时，采集环境的音频信息；
第二分析模块4，用于分析音频信息是否符合预设的声音状态标准；
形成模块5，用于根据分析结果，形成对应阅读者学习状态的监测结果。
在上述第一采集模块1中，具体地，可通过在阅读机器人上设置摄像头来采集所需的图像信息，例如，可在阅读机器人上设置用于扫描内容信息的第一摄像头采集图书的第一图像信息，具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时，将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描；使用时，第一采集模块1可通过开启第一摄像头对图书的内容进行扫描，从而采集到图书的第一图像信息，以便后续阅读机器人根据第一图像信息正确读出图书的内容。
在上述第一分析模块2中，指定的内容信息可以是图书上的文字，也可以是图书上的图画，也可以是图书上的文字和图画，第一分析模块2从第一采集模块1中获得第一图像信息后，通过对第一图像信息进行文字识别或图像识别，可获知第一图像信息中是否含有指定的内容信息，例如，通过对第一图像信息进行文字识别，可分析出第一图像信息中是否含有文字，当第一分析模块2分析出第一图像信息中含有文字时，再通过现有的语音合成技术即可将识别出的文字转换成对应的语音，从而实现阅读机器人的读书功能。
在上述第二采集模块3中，当第一分析模块2分析出第一图像信息中含有指定的内容信息时，阅读机器人进行“读书”，同时通过第二采集模块3进一步采集当前阅读环境的音频信息，具体地，第二采集模块3可通过麦克风或者第一摄像头中的拾音器(即第一摄像头可采用具有录音功能的摄像头)来采集当前阅读环境的音频信息，以便后续进行相关操作。
在上述第二分析模块4中，若音频信息符合预设的声音状态标准，则表明当前阅读者正在认真学习，但若音频信息不符合预设的声音状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，例如在讲话。
在上述形成模块5中，当通过第二分析模块4得出的分析结果为音频信息不符合预设的声音状态标准时，则形成模块5所形成的对应阅读者学习状态的监测结果为不认真学习，而当通过第二分析模块4得出的分析结果为音频信息符合预设的声音状态标准时，则形成模块5所形成的对应阅读者学习状态的监测结果为认真学习，从而达到检验阅读者是否在认真学习的目的。
参照图6，第二分析模块4包括第一分析单元41、第二分析单元42和判定单元43，其中，
第一分析单元41，用于分析音频信息中是否含有人物语音；
第二分析单元42，用于当音频信息中含有人物语音时，分析在第一预设时间段内出现人物语音的次数，并判断次数是否超出预设次数；
判定单元43，用于当在第一预设时间段内出现人物语音的次数超出预设次数时，判定音频信息不符合预设的声音状态标准。
在上述第一分析单元41中，具体地，对第二采集模块3采集到的音频信息，第一分析单元41可通过现有的声音过滤技术过滤掉阅读机器人的声音，从而分析出音频信息中是否含有人的声音(即人物语音)。
在上述第二分析单元42中，若音频信息中含有人物语音，则说明当前阅读者很可能有在讲话，此时可通过第二分析单元42进一步分析在第一预设时间段内出现人物语音的次数是否超出预设次数，其中，第一预设时间段和预设次数可根据实际情况而定，如需要严格地对阅读者的学习状态进行监督时，则第一预设时间段可设置得短一点(如10秒)，预设次数可设置得低一点(如2次)，如只需宽松地对阅读者的学习状态进行监督时，则第一预设时间段可设置得长一点(如1分钟)，预设次数可设置得高一点(如5次)。
在上述判定单元43中，若在第一预设时间段内出现人物语音的次数超出预设次数，则说明当前阅读者很可能在频繁讲话而没有在认真阅读图书，此时判定单元43可据此判定出音频信息不符合预设的声音状态标准。
在本实施例中，通过分析阅读者讲话的频率来判定当前阅读者是否处于认真学习的状态的方式，使得阅读机器人可有效地对阅读者的学习状态进行监测，同时，只需通过对第一预设时间段和预设次数进行调整，即可方便地调整监督阅读者学习状态的“严格”程度，提高了学习状态监测的灵活性。
参照图7，在一个优选的实施例中，第二分析模块4还包括：
特征提取单元41a，用于对人物语音进行特征提取，获得对应的声纹信息；
判断单元41b，用于将声纹信息与预存的声纹信息进行比较，判断声纹信息与预存的声纹信息是否一致。
在本实施例中，由于阅读者在使用阅读机器人进行阅读时所处的阅读环境可能不是很理想，例如，阅读者所处的阅读环境是客厅，那么阅读者在使用阅读机器人进行阅读的过程中，第二采集模块3所获取到的人物语音可能是来自他人而不是阅读者本身，因此，可能会造成阅读机器人“误判”，误以为当前阅读者没有在认真学习，因此，为了防止阅读机器人出现“误判”的情况，在使用阅读机器人进行阅读之前，可预先录入阅读者(小孩)的声纹信息，在使用过程中，当阅读机器人获得人物语音后，先判断该人物语音是否来自当前阅读者(小孩)的，具体地，特征提取单元41a对获取到的人物语音进行特征提取，获得对应该人物语音的声纹信息，然后将该声纹信息与预存的声纹信息进行比较，判断两者的相似度是否大于预设阈值，若是，则判断单元41b可据此判定该人物语音与预存的声纹信息一致，从而可判定出该人物语音是来自当前阅读者的，此时可交由第二分析单元42执行相关操作；否则，则表明阅读机器人所获得的人物语音是来自他人的而不是当前阅读者的，此时阅读机器人不会继续进行后续操作，从而可有效防止阅读机器人出现“误判”的情况。
参照图8，监测结果包括第一监测结果和第二监测结果；形成模块5包括第一采集单元51、第三分析单元52、第二采集单元53、第四分析单元54、第五分析单元55、第一形成单元56和第二形成单元57，其中，
第一采集单元51，用于当音频信息符合预设的声音状态标准时，在第二预设时间后采集第二图像信息；
第三分析单元52，用于分析第二图像信息与第一图像信息是否相同；
第二采集单元53，用于当第二图像信息与第一图像信息相同时，采集第三图像信息；
第四分析单元54，用于分析第三图像信息中是否含有人物信息；
第五分析单元55，用于当第三图像信息中含有人物信息时，分析人物信息是否符合预设的人物状态标准；
第一形成单元56，用于当人物信息不符合预设的人物状态标准时，形成对应阅读者学习状态的第一监测结果；
第二形成单元57，用于当人物信息符合预设的人物状态标准时，形成对应阅读者学习状态的第二监测结果。
在上述第一采集单元51中，若音频信息符合预设的声音状态标准，则可初步说明当前阅读者正在认真学习，此时第一采集单元51在第二预设时间(如30秒)后可通过第一摄像头采集图书的第二图像信息，以便后续进行相关操作。
在上述第三分析单元52中，具体地，第三分析单元52从第一采集单元51中获得第二图像信息后，第三分析单元52将第二图像信息与之前采集到的第一图像信息进行比较，分析第二图像信息与第一图像信息是否相同，以便后续进行相关操作。
在上述第二采集单元53中，具体地，可通过在阅读机器人上设置用于监视阅读者活动状态的第二摄像头来采集阅读者所处环境的第三图像信息，具体地，在使用阅读机器人进行阅读之前，阅读者面向阅读机器人，同时将图书放于阅读机器人的指定位置上，其中，第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描，第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的活动状态进行监视；具体地，当第三分析单元52分析出第二图像信息与第一图像信息相同时，则表明在相当一段时间内阅读者并没有翻书，此时第二采集单元53可通过开启第二摄像头对自身视角范围内的景象进行拍摄，从而采集到连续多帧的第三图像信息，以便后续根据第三图像信息进行相关操作。
在上述第四分析单元54中，具体地，第四分析单元54可通过对第二采集单元53采集到的第三图像信息进行视觉检测，分析出第三图像信息中是否含有人物信息，若第三图像信息中含有人物信息，则表明当前有阅读者在进行阅读。
在上述第五分析单元55中，当第四分析单元54分析出第三图像信息中含有人物信息时，则进一步通过第五分析单元55分析第三图像信息中的人物信息是否符合预设的人物状态标准，若人物信息符合预设的人物状态标准，则表明当前阅读者正在认真学习，但若人物信息不符合预设的人物状态标准，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事。
在上述第一形成单元56、第二形成单元57中，若人物信息不符合预设的人物状态标准，则第一形成单元56可据此得到阅读者不认真学习的监测结果，即上述的第一监测结果；而若人物信息符合预设的人物状态标准，则第二形成单元57可据此得到阅读者认真学习的监测结果，即上述的第二监测结果。
在本实施例中，当通过音频信息发现当前阅读者处于认真学习的状态时，则进一步通过图像信息来确认当前阅读者是否处于认真学习的状态，通过这种声音+图像相结合的形式，可对阅读者的学习状态进行更加全面的监测，提高了监测的准确性和可靠性，同时，当发现在相当一段时间内阅读者处于认真学习的状态时，则通过每隔一段时间检测阅读者是否有翻书的方式，来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态，使得阅读机器人可持续地对阅读者的学习状态进行监测，提高了阅读机器人的实用性。
参照图9和图10，人物信息包括第三预设时间内的眨眼次数，此时第五分析单元55包括第一分析子单元55a和第一判定子单元55b，其中，
第一分析子单元55a，用于分析第三预设时间内的眨眼次数是否超出预设次数；
第一判定子单元55b，用于当第三预设时间内的眨眼次数超出预设次数时，判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过第一分析子单元55a对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，分析出第三预设时间(如20秒)内的眨眼次数是否超出预设次数(如10次)，若第三预设时间内的眨眼次数超出预设次数，则表明当前阅读者在频繁地眨眼，例如在打瞌睡或者开小差，此时第一判定子单元55b可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块6来督促阅读者认真学习，以提高阅读者的学习效率。
参照图9和图10，人物信息包括头部与任意一肩膀之间的角度，第五分析单元55包括第二分析子单元55c和第二判定子单元55d，其中，
第二分析子单元55c，用于分析头部与任意一肩膀之间的角度是否小于第一预设角度；
第二判定子单元55d，用于当头部与任意一肩膀之间的角度小于第一预设角度时，判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过第二分析子单元55c对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出头部与任意一肩膀之间的角度是否小于第一预设角度(如60度)，若头部与任意一肩膀之间的角度小于第一预设角度，则表明当前阅读者的头部倾斜幅度过大，例如在打瞌睡，此时第二判定子单元55d可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块6来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
参照图9和图10，人物信息包括双肩与水平方向之间的角度，此时第五分析单元55包括第三分析子单元55e和第三判定子单元55f，其中，
第三分析子单元55e，用于分析双肩与水平方向之间的角度是否大于第二预设角度；
第三判定子单元55f，用于当双肩与水平方向之间的角度大于第二预设角度时，判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过第三分析子单元55e对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出双肩与水平方向之间的角度是否大于第二预设角度(如30度)，若双肩与水平方向之间的角度大于第二预设角度，则表明当前阅读者的身体倾斜幅度过大，如趴在桌子上或倚靠在椅子上偷懒或睡觉，此时第三判定子单元55f可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块6来督促阅读者认真学习，以提高阅读者的学习效率，同时，这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”，这样有利于督促阅读者养成良好的阅读姿势。
参照图9和图10，人物信息包括眼睛持续闭合的时间，此时第五分析单元55包括第四分析子单元55g和第四判定子单元55h，其中，
第四分析子单元55g，用于分析眼睛持续闭合的时间是否超出第四预设时间；
第四判定子单元55h，用于当眼睛持续闭合的时间超出第四预设时间时，判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过第四分析子单元55g对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别，分析出眼睛持续闭合的时间是否超出第四预设时间(如20秒)，若眼睛持续闭合的时间超出第四预设时间，则表明当前阅读者眼睛持续闭合的时间过长，例如在打瞌睡，此时第四判定子单元55h可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块6来督促阅读者认真学习，以提高阅读者的学习效率。
参照图9和图10，人物信息包括嘴巴的高度与宽度之比，此时第五分析单元55包括第五分析子单元55i和第五判定子单元55j，其中，
第五分析子单元55i，用于分析嘴巴的高度与宽度之比是否大于预设值；
第五判定子单元55j，用于当嘴巴的高度与宽度之比大于预设值时，判定人物信息不符合预设的人物状态标准。
在本实施例中，可通过第五分析子单元55i对第二摄像头采集到的连续多帧的人物图像进行视觉检测，分析出嘴巴的高度与宽度之比是否大于预设值(例如预设值可设置为“1”)，若嘴巴的高度与宽度之比大于预设值，则表明当前阅读者嘴巴的动作幅度过大，例如在打哈欠，此时第五判定子单元55j可据此判定出人物信息不符合预设的人物状态标准，即当前阅读者没有在认真学习，进而便于后续通过设置提醒模块6来督促阅读者认真学习，以提高阅读者的学习效率。
参照图10，优选地，该学习状态监测装置还包括：
提醒模块6，用于向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中，具体地，当音频信息不符合预设的声音状态标准时,或者当人物信息不符合预设的人物状态标准时(即当阅读机器人形成对应阅读者学习状态的第一监测结果时)，则表明当前阅读者没有在认真学习，而是在做其他无关阅读的事，此时可通过提醒模块6向阅读者发出警报来提醒阅读者认真学习，又或者通过提醒模块6向监督者(家长)的终端设备(如智能手机)发送提示信息来告知监督者当前阅读者(小孩)没有认真学习，以便监督者督促阅读者认真学习，从而有利于提高阅读者的学习效率，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
参照图10，优选地，该学习状态监测装置还包括：
第五分析模块12，用于当人物信息符合预设的人物状态标准时，分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
汇报模块13，用于当未发出提醒信息的时间长度超出预设时间长度时，向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中，若第三图像信息中的人物信息符合预设的人物状态标准，则说明阅读者在相当一段时间内均处于认真学习的状态，此时可通过第五分析模块12进一步分析提醒模块11未发出提醒信息的时间长度是否超出预设时间长度(如30分钟)，若提醒模块11未发出提醒信息的时间长度超出预设时间长度，则说明阅读者在相当长的一段时间内(该时间段的长度由预设时间长度而定)均处于认真学习的状态，此时可通过汇报模块13向阅读者(小孩)播放用于鼓励阅读者的语音信息，如“宝宝你已经认真学习30分钟啦，好棒哦！要继续加油哦！”，又或者通过汇报模块13向监督者(家长)的终端设备发送阅读者正在认真学习的状态信息，如“您的小孩已经认真学习30分钟啦，值得表扬哦！”，从而有利于提高用户的使用体验，这两种提醒方式可择一使用，亦可同时进行使用，对此不作具体的限制。
参照图10，优选地，该学习状态监测装置还包括：
第六分析模块9，用于实时采集环境的声音信息，并分析声音信息中是否含有人物声音；
第七分析模块10，用于当声音信息中含有人物声音时，分析人物声音的分贝值是否大于预设值；
确定模块11，当人物声音的分贝值大于预设值时，根据人物声音确定对应的人物身份；
播放模块12，用于根据人物身份播放指定的提示语音。
在本实施例中，具体地，第六分析模块9可对采集到的声音信息，通过现有的声音过滤技术过滤掉阅读机器人的声音，从而分析出声音信息中是否含有人物声音，若声音信息中含有人物声音，则说明当前阅读环境中有人在讲话，此时进一步通过第七分析模块10分析人物声音的分贝值是否大于预设值，若人物声音的分贝值大于预设值，则说明当前阅读环境中有人在大声讲话(可能是阅读者在闹情绪，也可能是监督者在发脾气)，此时可通过确定模块11对获取到的人物声音进行特征提取，获得对应该人物声音的声纹信息，然后将该声纹信息与预存的多个声纹信息逐一进行匹配，从而可确定出对应该声纹信息的人物身份(即人物声音是来自谁的)，其中，预存的声纹信息包括阅读者(小孩)的声纹信息和监督者(家长)的声纹信息，若人物声音是来自阅读者的，则说明阅读者很可能因心生厌倦而闹情绪，此时可通过播放模块12向阅读者(小孩)播放用于安抚阅读者的提示语音，如“宝宝不生气，宝宝最乖、最棒了！”；若人物声音是来自监督者(假设是妈妈)的，则说明监督者很可能因为阅读者没有认真学习而发脾气，此时可通过播放模块12向监督者播放用于提示监督者注意教育方式的提示语音，如“妈妈不要凶宝宝，请待宝宝温柔点哦！”。在本实施例中，当阅读机器人因监测到当前阅读者没有认真学习而向阅读者发出警报或/和向监督者的终端设备发送提示信息后，对于阅读者(小孩)而言，可能会平下心来认真学习，也可能会心生厌倦而闹情绪；对于监督者(家长)而言，可能会耐心地对阅读者进行监督，也可能会因为阅读者没有认真学习而发脾气，因此针对阅读者可能会闹情绪或者监督者可能会发脾气的情况，本实施例的学习状态监测方法在监测到有人在大声讲话后，通过利用现有的声纹识别技术进一步判断出在大声讲话的人物身份，进而通过播放指定的提示语音来安抚阅读者的情绪或者提示监督者注意教育方式，从而可有效防止阅读者闹情绪或者监督者发脾气而影响学习的效果，进一步提高了用户的使用体验。
因此，本发明实施例的学习状态监测装置通过采集阅读者所处环境的音频信息，进而通过分析音频信息是否符合预设的声音状态标准，得出阅读者当前是否在认真学习，当采集到的音频信息不符合预设的声音状态标准时，则说明阅读者当前没有在认真学习，进而可以通过设置提醒来督促阅读者认真学习，如通过向阅读者发出警报来提醒阅读者认真学习，又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习，由监督者督促阅读者认真学习，从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测，提高小孩的学习效率。
本发明实施例还提出一种智能设备，包括存储器、处理器和计算机程序，计算机程序被存储在存储器中并被配置为由处理器执行，计算机程序被配置为用于执行上述任一实施例中的学习状态监测方法。
本领域技术人员可以理解，本发明实施例所述的智能设备为上述所涉及用于执行本申请中所述方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序或应用程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种学习状态监测方法，其特征在于，包括以下步骤：
采集第一图像信息；
分析所述第一图像信息中是否含有指定的内容信息；
若所述第一图像信息中含有指定的内容信息，则采集环境的音频信息；
分析所述音频信息是否符合预设的声音状态标准；
根据分析结果，形成对应阅读者学习状态的监测结果。
2.根据权利要求1所述的学习状态监测方法，其特征在于，所述分析所述音频信息是否符合预设的声音状态标准的步骤，包括：
分析所述音频信息中是否含有人物语音；
若所述音频信息中含有人物语音，则分析在第一预设时间段内出现所述人物语音的次数，并判断所述次数是否超出预设次数；
若在第一预设时间段内出现所述人物语音的次数超出预设次数，则判定所述音频信息不符合预设的声音状态标准。
3.根据权利要求2所述的学习状态监测方法，其特征在于，所述若所述音频信息中含有人物语音的步骤之后，还包括：
对所述人物语音进行特征提取，获得对应的声纹信息；
将所述声纹信息与预存的声纹信息进行比较，判断所述声纹信息与预存的声纹信息是否一致；
若一致，则执行所述分析在第一预设时间段内出现所述人物语音的次数，并判断所述次数是否超出预设次数的步骤。
4.根据权利要求1所述的学习状态监测方法，其特征在于，所述监测结果包括第一监测结果；所述根据分析结果，形成对应阅读者学习状态的监测结果的步骤，包括：
若所述音频信息符合预设的声音状态标准，则在第二预设时间后采集第二图像信息；
分析所述第二图像信息与所述第一图像信息是否相同；
若所述第二图像信息与所述第一图像信息相同，则采集第三图像信息；
分析所述第三图像信息中是否含有人物信息；
若所述第三图像信息中含有人物信息，则分析所述人物信息是否符合预设的人物状态标准；
若所述人物信息不符合预设的人物状态标准，则形成对应所述阅读者学习状态的所述第一监测结果。
5.根据权利要求4所述的学习状态监测方法，其特征在于，所述人物信息包括第三预设时间内的眨眼次数，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
分析所述第三预设时间内的眨眼次数是否超出预设次数；
若所述第三预设时间内的眨眼次数超出预设次数，则判定所述人物信息不符合预设的人物状态标准。
6.根据权利要求4所述的学习状态监测方法，其特征在于，所述人物信息包括头部与任意一肩膀之间的角度，所述分析所述人物信息是否符合预设的人物状态标准的步骤，包括：
分析所述头部与任意一肩膀之间的角度是否小于第一预设角度；
若所述头部与任意一肩膀之间的角度小于第一预设角度，则判定所述人物信息不符合预设的人物状态标准。
7.根据权利要求4至6任一项所述的学习状态监测方法，其特征在于，所述形成对应所述阅读者学习状态的所述第一监测结果的步骤之后，还包括：
向阅读者发出警报或/和向监督者的终端设备发送提示信息。
8.根据权利要求7所述的学习状态监测方法，其特征在于，所述若所述第三图像信息中含有人物信息，则分析所述人物信息是否符合预设的人物状态标准的步骤之后，还包括：
若所述人物信息符合预设的人物状态标准，则分析未发出提醒信息的时间长度是否超出预设时间长度，其中，发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息；
若未发出提醒信息的时间长度超出预设时间长度，则向所述阅读者播放用于鼓励所述阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
9.一种学习状态监测装置，其特征在于，包括：
第一采集模块，用于采集第一图像信息；
第一分析模块，用于分析所述第一图像信息中是否含有指定的内容信息；
第二采集模块，用于当所述第一图像信息中含有指定的内容信息时，采集环境的音频信息；
第二分析模块，用于分析所述音频信息是否符合预设的声音状态标准；
形成模块，用于根据分析结果，形成对应阅读者学习状态的监测结果。
10.一种智能设备，其特征在于，包括存储器、处理器和计算机程序，所述计算机程序被存储在所述存储器中并被配置为由所述处理器执行，所述计算机程序被配置为用于执行如权利要求1至8任一项所述的学习状态监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519141.9A CN109637097B (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519141.9A CN109637097B (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109637097A true CN109637097A (zh) | 2019-04-16 |
| CN109637097B CN109637097B (zh) | 2021-01-12 |
Family
ID=66073260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811519141.9A Active CN109637097B (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109637097B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211669A (zh) * | 2019-06-06 | 2019-09-06 | 杨文睿 | 一种基于分贝的家庭情绪安抚装置及方法 |
| CN110992627A (zh) * | 2019-11-26 | 2020-04-10 | 合肥中科奔巴科技有限公司 | 基于视觉终端-平台近视分析预警系统及方法 |
| CN113256453A (zh) * | 2020-02-07 | 2021-08-13 | 顾得科技教育股份有限公司 | 学习状态改善管理系统 |
| CN113781853A (zh) * | 2021-08-23 | 2021-12-10 | 安徽教育出版社 | 基于终端的师生远程互动教育平台 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090167550A1 (en) * | 2007-12-27 | 2009-07-02 | Fu-Chiang Chou | Data result determination methods and systems |
| CN103247197A (zh) * | 2013-03-29 | 2013-08-14 | 上海众实科技发展有限公司 | 一种基于声纹识别的用户在线学习监测方法 |
| CN103824481A (zh) * | 2014-02-28 | 2014-05-28 | 广东小天才科技有限公司 | 一种检测用户背诵的方法及装置 |
| CN105389461A (zh) * | 2015-10-21 | 2016-03-09 | 胡习 | 一种交互式儿童自主管理系统及其管理方法 |
| CN106227335A (zh) * | 2016-07-14 | 2016-12-14 | 广东小天才科技有限公司 | 预习讲义与视频课程的交互学习方法及应用学习客户端 |
| CN107392146A (zh) * | 2017-07-20 | 2017-11-24 | 湖南科乐坊教育科技股份有限公司 | 一种儿童坐姿检测方法及装置 |
| CN108229441A (zh) * | 2018-02-06 | 2018-06-29 | 浙江大学城市学院 | 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 |
| CN108830467A (zh) * | 2018-05-31 | 2018-11-16 | 北京智能管家科技有限公司 | 阅读行为的评价方法、装置、设备和存储介质 |
-
2018
- 2018-12-12 CN CN201811519141.9A patent/CN109637097B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090167550A1 (en) * | 2007-12-27 | 2009-07-02 | Fu-Chiang Chou | Data result determination methods and systems |
| CN103247197A (zh) * | 2013-03-29 | 2013-08-14 | 上海众实科技发展有限公司 | 一种基于声纹识别的用户在线学习监测方法 |
| CN103824481A (zh) * | 2014-02-28 | 2014-05-28 | 广东小天才科技有限公司 | 一种检测用户背诵的方法及装置 |
| CN105389461A (zh) * | 2015-10-21 | 2016-03-09 | 胡习 | 一种交互式儿童自主管理系统及其管理方法 |
| CN106227335A (zh) * | 2016-07-14 | 2016-12-14 | 广东小天才科技有限公司 | 预习讲义与视频课程的交互学习方法及应用学习客户端 |
| CN107392146A (zh) * | 2017-07-20 | 2017-11-24 | 湖南科乐坊教育科技股份有限公司 | 一种儿童坐姿检测方法及装置 |
| CN108229441A (zh) * | 2018-02-06 | 2018-06-29 | 浙江大学城市学院 | 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 |
| CN108830467A (zh) * | 2018-05-31 | 2018-11-16 | 北京智能管家科技有限公司 | 阅读行为的评价方法、装置、设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211669A (zh) * | 2019-06-06 | 2019-09-06 | 杨文睿 | 一种基于分贝的家庭情绪安抚装置及方法 |
| CN110992627A (zh) * | 2019-11-26 | 2020-04-10 | 合肥中科奔巴科技有限公司 | 基于视觉终端-平台近视分析预警系统及方法 |
| CN113256453A (zh) * | 2020-02-07 | 2021-08-13 | 顾得科技教育股份有限公司 | 学习状态改善管理系统 |
| CN113781853A (zh) * | 2021-08-23 | 2021-12-10 | 安徽教育出版社 | 基于终端的师生远程互动教育平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109637097B (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109637097A (zh) | 学习状态监测方法、装置及智能设备 | |
| US11178275B2 (en) | Method and apparatus for detecting abnormality of caller | |
| US9392163B2 (en) | Method and apparatus for unattended image capture | |
| US6697457B2 (en) | Voice messaging system that organizes voice messages based on detected emotion | |
| CN108573695B (zh) | 语音处理装置及其方法、机器人及计算机可读取记录介质 | |
| CN109446375A (zh) | 应用于车辆的自适应音乐播放方法及系统 | |
| US7619660B2 (en) | Automatic photography | |
| CN109766759A (zh) | 情绪识别方法及相关产品 | |
| US20140234811A1 (en) | Systems and methods for learning using contextual feedback | |
| US20140062706A1 (en) | Enhancements to mechanical robot | |
| CN110459204A (zh) | 语音识别方法、装置、存储介质及电子设备 | |
| WO2001016892A1 (en) | System, method, and article of manufacture for a border crossing system that allows selective passage based on voice analysis | |
| WO2001016936A1 (en) | Voice recognition for internet navigation | |
| Shang et al. | Defending against voice spoofing: A robust software-based liveness detection system | |
| Lavner et al. | The prototype model in speaker identification by human listeners | |
| CN109658673A (zh) | 学习状态监测方法、装置、可读存储介质及智能设备 | |
| CN109448455A (zh) | 一种实时纠错的背诵方法及家教设备 | |
| Droghini et al. | A combined one‐class SVM and template‐matching approach for user‐aided human fall detection by means of floor acoustic features | |
| CN111179965A (zh) | 一种宠物情绪识别方法及系统 | |
| CN107493501A (zh) | 一种音视频内容过滤系统及方法 | |
| CN110638419A (zh) | 用于识别咀嚼的食物和/或饮用的饮料的方法和设备 | |
| CN110309693B (zh) | 多层次状态侦测系统与方法 | |
| CN110460809A (zh) | 一种婴儿哭声侦测方法、装置及智能摄像头设备 | |
| CN107358213B (zh) | 一种儿童阅读习惯检测方法及装置 | |
| US11819996B2 (en) | Expression feedback method and smart robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220524 Address after: 518000 floor 1, building 3, Dexin Chang wisdom Park, No. 23 Heping Road, Qinghua community, Longhua street, Longhua District, Shenzhen, Guangdong Patentee after: Shenzhen waterward Information Co.,Ltd. Address before: 518000, block B, huayuancheng digital building, 1079 Nanhai Avenue, Shekou, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN WATER WORLD Co.,Ltd. |
|
| TR01 | Transfer of patent right |