CN114557544A - 一种具有多种功能的学习桌的使用方法 - Google Patents
一种具有多种功能的学习桌的使用方法 Download PDFInfo
- Publication number
- CN114557544A CN114557544A CN202210002142.6A CN202210002142A CN114557544A CN 114557544 A CN114557544 A CN 114557544A CN 202210002142 A CN202210002142 A CN 202210002142A CN 114557544 A CN114557544 A CN 114557544A
- Authority
- CN
- China
- Prior art keywords
- child
- image
- recognition
- textbook
- recognition algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 127
- 230000006870 function Effects 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 33
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 230000036651 mood Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 208000027418 Wounds and injury Diseases 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 208000014674 injury Diseases 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000006386 memory function Effects 0.000 claims 1
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 230000000630 rising effect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 50
- 230000000694 effects Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 241001282135 Poromitra oscitans Species 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001456553 Chanodichthys dabryi Species 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000036319 cervical spondylosis Diseases 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000005801 spondylosis Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
- A47B41/00—School desks or tables
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
- A47B13/00—Details of tables or desks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种具有多种功能的学习桌的使用方法,克服了现有技术中儿童学习桌功能单一、无法满足孩子们在学习过程中对桌椅智能化、多功能化、舒适化的高层次需求的问题,方法包括以下步骤:S1:根据需要选择需要开启的功能;S2:根据开启的功能,各个模块中的识别算法开始进行工作,以实现相应的功能;S3:人体识别算法判断当前学习桌前是否存在儿童,若在设置时间内检测不到儿童存在,则关闭所有功能。能够矫正儿童坐姿、辅助儿童学习、桌面自动升降、实现语音交互以及进行身高测量,实现了多功能、智能化的儿童学习桌,打造了智能学习的生态环境。
Description
技术领域
本发明涉及学习桌椅技术领域,特别涉及了一种具有多种功能的学习桌的使用方法。
背景技术
学习桌是目前少年儿童学习时必备的学习设备。目前,在儿童学习桌上,还处于家具类的初始状态,大多数学习桌由可调节桌腿、桌面板和简易书架构成,结构简单,成本低廉,应用非常普及。
但由于越来越多的人学习姿势不端正,出现了近视眼、颈椎病、腰椎病、猫腰、驼背、脊柱侧弯等,尤其青少年学生更为严重,这些疾病严重地影响了其学习、工作与生活。造成上述严重后果的主要原因是,没有人能够经常主动提示纠正学习姿势、眼睛与书本的距离不正确、视线与书本的视角不正确、学习时出现错误坐姿没有得到及时纠正、没有定时活动休息,这些问题不解决必然导致身体畸形病态。另外,大部分儿童学习桌只是作为儿童写字、读书的工具,功能单一,缺少辅助学习的功能,无法满足孩子们在学习过程中对桌椅智能化、多功能化、舒适化的高层次需求。
如中国专利局2021年6月25日公开了一种名称为基于学习桌的远程自习系统、方法、设备及存储介质的发明,其公开号为CN113038076A,该发明系统包括:学习桌和服务器,每个学习桌至少包括:一桌子,用于放置学习材料;一第一摄像头,拍摄桌面上学习材料的影像;一移动终端,移动终端具有拍摄用户影像信息的第二摄像头,第一摄像头连接移动终端,对学习材料的影像进行图文识别获得作业信息的文本,每个学习桌的移动终端分别与服务器进行通讯,至少部分根据作业信息的相似度进行分组,在每个移动终端中实时显示同一组中其他用户的用户影像信息。本发明能够通过作业的文本比对以及多摄像头的视频分组展示,有效模仿学生在教室中学习、写作业的场景,提升学生的学习体验,改善用户孤独学习的难题。但功能较为单一,不适合儿童使用。
发明内容
本发明的目的是克服现有技术中传统的儿童学习桌功能单一、无法满足孩子们在学习过程中对桌椅智能化、多功能化、舒适化的高层次需求的问题,提供了一种具有多种功能的学习桌的使用方法,通过在集成在儿童桌上的装置,在辅助儿童学习的同时,全方位的捕捉儿童学习时的数据,将学习数据通过统计分析,发现儿童学习时的不良习惯,提前帮助儿童规避。
为了实现上述目的,本发明采用以下技术方案:
一种具有多种功能的学习桌的使用方法,其特征在于,它包括下列步骤:
S1:根据需要选择需要开启的功能,所述功能包括教科书辨认功能、坐姿识别功能、身高检测功能、语音问答功能、身份记忆识别功能以及家长监护功能;
S2:根据开启的功能,各个模块中的识别算法开始进行工作,以实现相应的功能;
S3:人体识别算法检测当前学习桌前是否还有儿童,若规定时间内检测不到儿童存在,则控制所有功能关闭。
本发明通过在传统的儿童学习桌内添加入教科书辨认功能、坐姿识别功能、身高检测功能、语音问答功能、身份记忆识别功能以及家长监护功能,统计分析学习数据,形成一套矫正儿童坐姿、辅助儿童学习的新型学习桌,打造智能学习的生态环境,实现了多功能、智能化的儿童学习桌。并能在长时间无人使用时,关闭所有功能,防止资源浪费。本发明通过采集模块采集语音数据和图像数据,再通过各个识别模块识别数据类型,在辅助儿童学习的同时,全方位的捕捉儿童学习时的数据,将学习数据通过统计分析,发现儿童学习时的不良习惯,提前帮助儿童规避。
作为优选,所述步骤S2中,识别算法包括语音识别算法和图像识别算法,其中图像识别算法包括人体识别算法、教科书辨认算法、坐姿识别算法、身高检测算法、面部识别算法、人体动作识别算法与人脸表情辨认算法,图像识别算法识别过程为:采集对应的图像样本,对图像样本进行预处理,对预处理后的图像样本进行标注分类;采用深度学习识别算法对样本进行相应的模型训练,训练模型直到满足终止条件;对得到的模型进行测试,不断调整参数,直到获得相应的最优模型。通过各个识别算法的训练,对儿童学习的课本、坐姿、动作和表情进行识别,还能识别儿童身份,实现了多功能、智能化的儿童学习桌。
作为优选,对图像进行预处理,包括:
对图像进行灰度调节、几何变换以及图像增强,其中几何变换包括平移、转置、镜像、旋转、缩放中的一个或若干个的组合;
图像分析中,图像质量的好坏直接影响识别算法的设计与效果的精度,因此在图像分析(特征提取、分割、匹配和识别等)前,需要进行预处理。图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性、最大限度地简化数据,从而改进特征提取、图像分割、匹配和识别的可靠性。灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0-255。一般有分量法、最大值法平均值法加权平均法四种方法对彩色图像进行灰度化。通过几何变换对采集的图像进行处理,用于改正图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。增强图像中的有用信息,改善图像的视觉效果,针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。图像增强算法可分成两大类:空间域法和频率域法。
对预处理后的图像样本进行标注分类则需要对每一张图像进行标注,得到图像样本数据集合,其中图像样本数据集合包括图像文件和每一个图像文件对应的标注。
作为优选,所述步骤S2进一步包括:
S2.1:开启身高检测模式,摄像头打开,儿童在摄像头前某处站立,拍摄儿童全身图像,利用身高检测算法识别儿童身高,将身高信息语音播报,并根据儿童身高通过控制桌面高度调整模块调整桌面高度到合适的位置,完成对当前儿童的最佳学习桌高度的匹配;
S2.2:开启身份记忆识别模式,终端设备上传儿童人脸图像与对应的设置信息,具体地,可以通过微信小程序添加儿童的人脸;云端将人脸图像传输到学习桌的硬件设备,摄像头开启,拍摄当前儿童人脸图像,面部识别模块开启面部识别算法,与云端上传的人脸图像进行比对,识别儿童身份,控制系统将学习桌的设置更改为当前儿童对应的设置,,如:书桌高度、自定义不良坐姿提醒语音等系统设置;
S2.3:开启学习模式,人体识别算法判断学习桌前是否有儿童存在,若设置时间内一直存在儿童,教科书辨认模块自动开启教科书辨认算法,开启后,若设置时间内检测不到儿童存在,自动关闭教科书辨认算法;
S2.4:开启坐姿识别模式,摄像头打开,坐姿识别模块激活坐姿识别算法,判断儿童坐姿是否正确;
S2.5:开启家长监护模式,摄像头打开,人体识别算法判断当前一段时间内是否存在儿童,若存在,面部识别模块开启行为人体动作识别算法与人脸表情辨认算法,识别当前儿童的行为动作以及学习心情,并将结果发送终端设备;
S2.6:开启语音问答模式,麦克风开启,拾取当前语句,语音识别模块激活语音识别算法,识别语句内容,并做出相应回应,例如,可以利用语音控制桌面升降,还可以提问。
各个功能模块实现各自功能,互不打扰。本发明通过在学习桌上搭载坐姿矫正提醒、身高检测、身份记忆、语音问答、语音控制升降、辅助在线学习等设备功能,在辅助儿童学习的同时,全方位的捕捉儿童学习时的数据,将学习数据通过统计分析,发现儿童学习时的不良习惯,提前帮助儿童规避。另一方面,在传统的儿童学习桌内添加入具备坐姿矫正提醒、身高检测、身份记忆、AI语音问答、语音控制升降、辅助在线学习等功能的硬件设备,统计分析学习数据,形成一套矫正儿童坐姿、辅助儿童学习的新型学习桌,帮助儿童快乐学习,同时远离近视、脊柱发育不良等的身体健康问题。
作为优选,所述的步骤S2.1进一步包括:
S2.1.1:设置儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表并保存,设置儿童真实身高与对应的桌面高度关系表;
S2.1.2:采集儿童人体图像数据以及儿童与摄像头距离数据;
S2.1.3:利用身高检测算法,根据采集到的儿童图像获取该图像中儿童边缘轮廓,得到图像中儿童高度,并根据儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表计算出儿童真实身高;
S2.1.4:根据儿童真实身高与对应的桌面高度关系表控制桌面高度调整模块将桌面调整到合适的高度。
在识身高别算法模型的建立过程中,通过大量数据得到儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系,并将该关系保存,保存格式可以为:儿童与摄像头距离(1M)-采集到的儿童图像高度(10cm)-儿童真实身高(1.5M))。由此得到儿童身高,并根据儿童身高调整桌面高度。从而实现自动控制桌面高度,适应儿童身高,不需要手动调整,精度高。
作为优选,所述的步骤S2.3中,教科书辨认算法的识别过程为:
S2.3.1:设置好课本科目,科目下设置课本学期,课本学期下设置课本页码与对应的讲义内容并保存;
S2.3.2:设置好课本图片中需要识别的课本科目、课本学期以及课本页码所在位置;
S2.3.3:获取课本图像,确定图像中课本的位置,并从步骤S2.3.2中设置好的位置中获取需要的内容,并将识别内容按照课本科目-课本学期-课本页码的顺序排列;
S2.3.4:根据识别结果,找到对应的课本讲义并在显示模块中显示,同时根据教义,显示儿童需要学习的知识点和重难点,并且标注易错点。
课本的科目、学期以及页码一般都在固定位置,只需要在固定位置识别这几个内容,减少了识别的工作量,提高识别效率。具体地,,拍摄图像后,根据图像的特征点得到课本的教材版本、课本科目、年级、学期和页码。设备识别课本页数后传输课本信息到后台,后台将相应的课本页数内容显示在显示屏上,同时根据教义,显示儿童需要学习的知识点和重难点,并且标注易错点。儿童可以点击屏幕来得到更加好的辅导效果,帮助儿童自主学习。
作为优选,所述的步骤S2.2中,坐姿识别模块激活坐姿识别算法,判断儿童坐姿是否正确,并在检测到儿童不良坐姿时进行提醒,具体表现为:若是,则继续监测、判断,且若端正坐姿保持时间达到端正坐姿阈值时,提示模块播报鼓励语音;若发现不良坐姿,且不良坐姿持续时间达到设置的阈值,则启动提示模块,提醒儿童回到端正坐姿,并将不良坐姿图片和视频发送至终端设备;所述不良坐姿包括但不限于偏头、低头、倾斜、趴桌以及后躺。检测儿童不良坐姿,并在检测到儿童不良坐姿时进行提醒,有效防止儿童因不良坐姿产生的一系列问题。
作为优选,所述的步骤S2.5中,行为人体动作识别算法识别当前儿童行为动作:
a1:在时间T内,按照一定的周期通过摄像头拍摄数量为N的照片;
a2:从拍摄的照片中确定多个人体关键点的位置信息,根据人体关键点的位置信息确定目标区域,根据目标区域从拍摄的照片中提取出用于检测儿童行为动作的目标区域图像,将所有的目标区域图像按照拍摄时序整合成一张合成图;
a3:根据合成图里面包含的标志动作以及标志动作的时序得到该合成图的动作类别。
人体动作识别算法可以确定儿童学习时出现的小动作,包括玩东西、咬手指、睡觉、打哈欠和读书写字。通过将识别结果发送给终端设备,可以帮助家长发现儿童学习中产生的小动作,帮助儿童纠正,养成良好的学习习惯,为学习专注力做提升。
作为优选,所述的步骤S2.5中,人脸表情辨认算法识别当前儿童心情:
b1:获取已知表情类别的多张儿童脸部训练图像,利用所述儿童脸部训练图像对基于多层卷积神经网络的表情识别模型进行训练,所述已知表情类别包括伤心、困惑、开心;
b2:获取待识别的儿童脸部图像,对图像进行预处理,所述预处理包括对图像进行扩大,截取所需的儿童脸部区域,再将截取的区域缩放至预定尺寸;
b3:将预处理后的儿童脸部图像输入表情识别模型,由所述表情识别模型输出所述儿童脸部图像中儿童的表情类别。
不停的抓拍图像,每张图都进行人脸表情的识别判断,并将结果发送至终端设备,使家长得知儿童在学习过程中的心情,并做出回应。比如可以在儿童沮丧时给予其鼓励。
作为优选,所述的步骤S2.6中,语音识别模块识别语句内容:
S2.6.1:设置唤醒词、关键词与对应的回答以及关键词与对应的控制指令并保存;
S2.6.2:说出唤醒词唤醒语音识别模块,再说出需要交互的问题,语音识别模块从提出的问题中提取关键词,根据关键词做出回答或者发出相应的控制指令;
S2.6.3:若语音识别模块无法提取相应的关键词,提示模块提醒儿童无法识别语音。
可以满足儿童日常提问的需要。其中语音识别算法是现有技术中常见的算法,可以为基于动态时间规整(Dynamic Time Warping)的算法,该方法的运算量较大,但技术上较简单,识别正确率高;也可以是基于参数模型的隐马尔可夫模型(HMM)的方法,该算法主要用于大词汇量的语音识别系统;还可以是基于非参数模型的矢量量化(VQ)的方法,该方法所需的模型训练数据,训练和识别时间,工作存储空间都很小。另外,还有基于人工神经网络(ANN)的算法和混合算法,如ANN/HMM法,FSVQ/HMM法等。
因此,本发明具有如下有益效果:1、通过在传统的儿童学习桌内添加教科书辨认功能、坐姿识别功能、身高检测功能、语音问答功能、身份记忆识别功能以及家长监护功能,统计分析学习数据,形成一套矫正儿童坐姿、辅助儿童学习的新型学习桌,打造智能学习的生态环境,实现了多功能、智能化的儿童学习桌;2、通过设置的提示模块对学生不良坐姿进行警报提示,能间接防止近视,调节坐姿的效果;3、具有自动关闭功能,在长时间无人使用时,关闭所有功能,防止资源浪费。
附图说明
图1为本发明的多功能学习桌的使用方法的操作流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
如图1所示的实施例中,可以看到一种具有多种功能的学习桌的使用方法,其操作流程为:
第一步:根据需要选择需要开启的功能
所述功能包括教科书辨认功能、坐姿识别功能、身高检测功能、语音问答功能、身份记忆识别功能以及家长监护功能。
第二步:利用各识别算法实现各功能
识别算法包括人体识别算法、教科书辨认算法、坐姿识别算法、面部识别算法、人体动作识别算法与人脸表情辨认算法;所述人体识别算法、教科书辨认算法、坐姿识别算法、面部识别算法、人体动作识别算法与人脸表情辨认算法都需要采集对应的图像样本,对样本进行标注分类,采用深度学习识别算法对样本进行相应的模型训练,训练模型直到满足终止条件,对得到的模型进行测试,不断调整参数,直到获得最优模型。得到的模型包括教科书辨认模型、坐姿识别模型、面部识别模型、动作识别模型以及表情识别模型。
第三步:若人体识别算法在规定时间内未检测到儿童在学习桌前,控制系统控制所有功能关闭
人体识别算法可以为yolov3算法、faster RCNN算法或SSD算法。在本实施例中,人体检测算法为yolov3。
以人体识别算法为例,其训练过程可以为:
A1:采集图像样本数据;图像样本数据包括包含人体的图像、人体照片或人体视频;
A2:对图像样本进行标定,标出图像中人体所在的位置坐标,得到与图像同名的xml文件;
A3:将标定好的样本集按照8:2的训练样本集与测试样本集比例进行随机划分;
A4:采用深度学习检测算法训练人体检测算法模型;根据深度学习训练平台要求转换训练样本集中训练数据的数据格式,选择适合的网络,配置相关参数,训练模型直到满足终止条件为止;
以YOLOV3算法为例:根据深度学习训练平台要求转换好训练数据格式,选择适合的网络如yolov3,配置好相关参数,如图像大小406x406,迭代次数100000,batch16等参数,训练模型直到满足终止条件为止;
A5:测试评估算法模型;
使用训练好的模型,对训练样本集和测试样本集中的样本进行测试;
分别计算人体的检测率和误检率;若测试样本集检测率与训练样本集结果一致,则选择检测率高且误检率低的模型为最终的人体检测算法模型;否则返回步骤A2重新训练。
其余识别算法的训练过程可以为:
B1:确定识别算法所需识别的结果类型,并采集对应的图像样本;
B2:样本标定,使用标注工具对图像样本进行标注分类;
B3:将标定好的样本集按照8:2的训练样本集与测试样本集比例进行随机划分;
B4:采用深度学习识别算法进行模型训练,训练模型直到满足终止条件为止;
B5:测试评估算法模型;
使用训练好的模型,对训练样本集和测试样本集中的样本进行测试;
分别计算识别率和识别错误率;若测试样本集识别率与训练样本集结果一致,则选择识别率高且识别错误率低的模型为最终的识别算法模型;否则返回步骤B2重新训练。
以行为人体动作识别算法为例,具体过程可以为:
C1:确定儿童学习时出现的小动作,采集各小动作的图样样本数据,图像样本数据包括标志动作图片以及对应标志动作的时序。
小动作例如:玩东西、咬手指、睡觉和打哈欠等,采集一定时间内的一套动作的图像样本数据,将相应动作必须包含的标志动作图片以及对应标志动作图片的时序,除必要的标志图标按照时序排列,可以随机加入一定的非标志动作的中间行为图片,将该套图合成为一张图。自己录制动作视频转化为动作图片。
C2:通过对图像样本数据的进行标定,标出图像样本的动作类别。使用labelImg或者其他标注工具,对合成图进行标定,标出合成图的动作分类。
C3:将标定好的样本集按照8:2的训练样本集与测试样本集比例进行随机划分。,80%样本用于训练,20%样本用于测试评估。
C4:采用深度学习识别算法进行模型训练,训练模型直到满足终止条件为止。
C5:测试评估算法模型;
使用训练好的模型,对训练样本集和测试样本集中的样本进行测试;
分别计算动作的检测率和误检率;若测试样本集准确率与训练样本集结果一致,则选择检测率高且误检率低的模型为最终的人体检测算法模型;否则返回步骤B2重新训练。
1、开启教科书辨认功能
摄像头打开,坐姿识别算法激活。通过人体识别算法判断学习桌前是否有儿童存在,如未检测到儿童存在,则关闭该功能。如检测到儿童存在,且设置时间内一直存在儿童,教科书辨认模块自动开启教科书辨认算法,开启后,若设置时间内检测不到儿童存在,自动关闭教科书辨认算法。
教科书辨认算法的识别过程为:设置好课本科目,科目下设置课本学期,课本学期下设置课本页码与对应的讲义内容并保存;设置好课本图片中需要识别的课本科目、课本学期以及课本页码所在位置;获取课本图像,确定图像中课本的位置,并从设置好的位置中获取需要的内容,获取的内容包括课本科目、课本学期以及课本页码,并将其按照课本科目-课本学期-课本页码的书序排列;根据识别结果,找到对应的课本讲义并在显示模块中显示,同时根据教义,显示儿童需要学习的知识点和重难点,并且标注易错点。课本的科目、学期以及页码一般都在固定位置,只需要在固定位置识别这几个内容,减少了识别的工作量,提高识别效率。采集时,将翻开的左右两页在标注时分为一页,采集图片时采集每一页的课本图像,并且将图片做一定的处理,包括但不限于旋转、裁剪和涂鸦。
2、开启坐姿识别功能
开启学习模式,摄像头打开,坐姿识别模块激活坐姿识别算法,判断儿童坐姿是否正确。
若是,则继续监测、判断,且若端正坐姿保持时间达到端正坐姿阈值时,提示模块播报鼓励语音;若发现不良坐姿,且不良坐姿持续时间达到设置的阈值,则启动提示模块,提醒儿童回到端正坐姿,并将不良坐姿图片和视频发送至终端设备;所述不良坐姿包括但不限于偏头、低头、倾斜、趴桌以及后躺。
3、开启身高检测功能
摄像头打开,拍摄儿童全身图像,身高检测模块识别儿童身高,并根据儿童身高通过控制桌面高度调整模块调整桌面高度到合适的位置。
设置儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表并保存,设置儿童真实身高与对应的桌面高度关系表;采集儿童人体图像数据以及儿童与摄像头距离数据;根据采集到的儿童图像获取该图像中儿童边缘轮廓,得到图像中儿童高度,根据儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表计算出儿童真实身高。
4、开启语音问答功能
设置唤醒词、关键词与对应的回答以及关键词与对应的控制指令并保存;
麦克风开启,说出唤醒词唤醒语音识别模块,再说出需要交互的问题,语音识别模块从提出的问题中提取关键词,根据关键词做出回答或者发出相应的控制指令;若语音识别模块无法提取相应的关键词,提示模块提醒儿童无法识别语音。
5、开启身份记忆识别功能
终端设备上传儿童人脸图像与对应的设置信息,摄像头开启,拍摄当前儿童人脸图像,面部识别模块开启面部识别算法,识别儿童身份,控制系统将学习桌的设置更改为当前儿童对应的设置。
6、开启家长监护功能
摄像头打开,人体识别算法判断当前一段时间内是否存在儿童,若存在,面部识别模块开启行为人体动作识别算法与人脸表情辨认算法,识别当前儿童的行为动作以及学习心情,并将结果发送终端设备。
行为人体动作识别算法识别当前儿童行为动作:在时间T内,按照一定的周期通过摄像头拍摄数量为N的照片;从拍摄的照片中确定多个人体关键点的位置信息,根据人体关键点的位置信息确定目标区域,根据目标区域从拍摄的照片中提取出用于检测儿童行为动作的目标区域图像,将所有的目标区域图像按照拍摄时序整合成一张合成图;根据合成图里面包含的标志动作以及标志动作的时序得到该合成图的动作类别。人体动作识别算法可以确定儿童学习时出现的小动作,包括玩东西、咬手指、睡觉、打哈欠和读书写字。
人脸表情辨认算法识别当前儿童心情:获取已知表情类别的多张儿童脸部训练图像,利用所述儿童脸部训练图像对基于多层卷积神经网络的表情识别模型进行训练,所述已知表情类别包括伤心、困惑、开心;获取待识别的儿童脸部图像,对图像进行预处理,所述预处理包括对图像进行扩大,截取所需的儿童脸部区域,再将截取的区域缩放至预定尺寸;将预处理后的儿童脸部图像输入表情识别模型,由所述表情识别模型输出所述儿童脸部图像中儿童的表情类别。
本发明通过在传统的儿童学习桌内添加入教科书辨认功能、坐姿识别功能、身高检测功能、语音问答功能、身份记忆识别功能以及家长监护功能,统计分析学习数据,形成一套矫正儿童坐姿、辅助儿童学习的新型学习桌,打造智能学习的生态环境,实现了多功能、智能化的儿童学习桌。
应理解,实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (10)
1.一种具有多种功能的学习桌的使用方法,其特征是,具体包括以下步骤:
S1:根据用户需要选择开启的功能,功能具体包括教科书辨认功能、人体动作姿态识别功能、身高检测功能、语音问答功能、个人特征记忆功能和家长监护功能;
S2:根据选择的功能,各个模块中的识别算法开始进行工作,从而实现相应的功能;
S3:人体识别算法判断当前学习桌前是否存在儿童,若在设置时间内检测不到儿童存在,则关闭所有功能。
2.根据权利要求1所述的一种具有多种功能的学习桌的使用方法,其特征是,所述步骤S2中,识别算法包括语音识别算法和图像识别算法,其中图像识别算法包括人体识别算法、教科书辨认算法、人体动作姿态识别算法、身高检测算法、面部识别算法、人体动作识别算法与人脸表情辨认算法,图像识别算法识别过程为:
A1:采集相应的图像样本,对采集的图像样本进行预处理,对预处理后的图像样本进行标注分类;
A2:利用深度学习识别算法对样本进行相应的模型训练,训练模型直到满足相应的终止条件;
A3:对训练得到的模型进行测试,测试期间不断调整参数,直到获得相应的最优模型,最优模型为识别错误率最低的模型;
A4:采集待测的图像数据,利用训练得到的最优模型对采集的待测的图像数据进行识别,得到识别结果。
3.根据权利要求2所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤A1中,对图像进行预处理,包括:
对图像进行灰度调节、几何变换以及图像增强,其中几何变换包括平移、转置、镜像、旋转、缩放中的一个或若干个的组合;
对预处理后的图像样本进行标注分类:
对每一张图像进行标注,得到图像样本数据集合,其中图像样本数据集合包括图像文件和每一个图像文件对应的标注。
4.根据权利要求2或3所述的一种具有多种功能的学习桌的使用方法,其特征是,所述步骤S2中,根据选择的功能,各个模块中的识别算法开始进行工作,从而实现相应的功能:
S2.1:开启身高检测模式,开启摄像头,拍摄儿童全身图像,利用身高检测算法检测儿童身高,并根据检测结果控制桌面高度调整到该身高对应的位置;
S2.2:开启身份记忆识别模式,打开摄像头,拍摄当前儿童人脸图像,面部识别模块开启面部识别算法,将拍摄的图像与终端设备上传的儿童人脸图像进行对比,识别当前儿童身份,识别成功将学习桌设置更改为当前儿童对应的设置信息;
S2.3:开启学习模式,人体识别算法检测学习桌前是否存在儿童,若规定时间内一直存在儿童,教科书辨认模块自动开启教科书辨认算法,开启后,若规定时间内检测不到儿童存在,自动关闭教科书辨认算法;
S2.4:开启人体动作姿态识别模式,摄像头打开,人体动作姿态识别模块激活人体动作姿态识别算法,判断儿童坐姿是否正确;
S2.5:开启家长监护模式,摄像头打开,人体识别算法判断当前规定时间内是否存在儿童,若存在,面部识别模块开启行为人体动作识别算法与人脸表情辨认算法,识别当前儿童的行为动作以及学习心情,并将结果发送终端设备;
S2.6:开启语音问答模式,麦克风打开,接收当前语句,语音识别算法激活,识别语句内容,并根据语句内容,做出相应回应。
5.根据权利要求4所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.1进一步包括:
S2.1.1:设置儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表并保存,设置儿童真实身高与对应的桌面高度关系表;
S2.1.2:采集儿童人体图像数据以及儿童与摄像头距离数据;
S2.1.3:利用身高检测算法,根据采集到的儿童图像获取该图像中儿童边缘轮廓,得到图像中儿童高度,并根据儿童与摄像头距离、采集到的儿童图像高度与真实身高的关系表计算出儿童真实身高;
S2.1.4:根据儿童真实身高与对应的桌面高度关系表控制桌面高度调整模块将桌面调整到合适的高度。
6.根据权利要求4所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.3中,教科书辨认模块自动开启教科书辨认算法,识别教科书内容,其识别过程为:
S2.3.1:设置好课本科目,科目下设置课本学期,课本学期下设置课本页码与对应的讲义内容并保存;
S2.3.2:设置好课本图片中需要识别的课本科目、课本学期以及课本页码所在位置;
S2.3.3:获取课本图像,确定图像中课本的位置,并利用教科书辨认算法从步骤S2.3.2中设置好的位置中根据图像特征点获取需要的内容,并将识别内容按照课本科目-课本学期-课本页码的顺序排列;
S2.3.4:根据识别结果,找到对应的课本讲义并在显示模块中显示,同时根据教义,显示儿童需要学习的知识点和重难点,并且标注易错点。
7.根据权利要求4或5或6所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.4中,人体动作姿态识别模块激活人体动作姿态识别算法,判断儿童坐姿是否正确:
若是,则继续监测、判断,且若端正坐姿保持时间达到端正坐姿阈值时,提示模块播报鼓励语音;若发现不良坐姿,且不良坐姿持续时间达到设置的阈值,则启动提示模块,提醒儿童回到端正坐姿,并将不良坐姿图片和视频发送至终端设备;所述不良坐姿包括但不限于偏头、低头、倾斜、趴桌以及后躺。
8.根据权利要求4所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.5中,行为人体动作识别算法识别当前儿童行为动作:
a1:在时间T内,按照一定的周期通过摄像头拍摄数量为N的照片;
a2:从拍摄的照片中确定多个人体关键点的位置信息,根据人体关键点的位置信息确定目标区域,根据目标区域从拍摄的照片中提取出用于检测儿童行为动作的目标区域图像,将所有的目标区域图像按照拍摄时序整合成一张合成图;
a3:根据合成图里面包含的标志动作以及标志动作的时序得到该合成图的动作类别。
9.根据权利要求4或5或6或8所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.5中,人脸表情辨认算法识别当前儿童心情:
b1:获取已知表情类别的多张儿童脸部训练图像,利用所述儿童脸部训练图像对基于多层卷积神经网络的表情识别模型进行训练,所述已知表情类别包括伤心、困惑、开心;
b2:获取待识别的儿童脸部图像,对图像进行预处理,所述预处理包括对图像进行扩大,截取所需的儿童脸部区域,再将截取的区域缩放至预定尺寸;
b3:将预处理后的儿童脸部图像输入表情识别模型,由所述表情识别模型输出所述儿童脸部图像中儿童的表情类别。
10.根据权利要求4或5或6所述的一种具有多种功能的学习桌的使用方法,其特征是,所述的步骤S2.6中,进一步包括:
S2.6.1:设置唤醒词、关键词与对应的回答以及关键词与对应的控制指令并保存;
S2.6.2:说出唤醒词唤醒语音识别算法,再说出需要交互的问题,语音识别算法从提出的问题中提取关键词,根据关键词做出回答或者发出相应的控制指令;
S2.6.3:若语音识别模块无法提取相应的关键词,提示模块提醒儿童无法识别语音。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435133 | 2021-11-29 | ||
CN2021114351338 | 2021-11-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114557544A true CN114557544A (zh) | 2022-05-31 |
CN114557544B CN114557544B (zh) | 2023-12-29 |
Family
ID=81711975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210002142.6A Active CN114557544B (zh) | 2021-11-29 | 2022-01-04 | 一种具有多种功能的学习桌的使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114557544B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009108018A2 (ko) * | 2008-02-27 | 2009-09-03 | 주식회사 글맥학원 | 책상형 학습 장치 및 이를 이용한 학습 방법 |
CN110710796A (zh) * | 2019-08-26 | 2020-01-21 | 周成接 | 一种智能坐姿监控管理系统和方法 |
CN111190374A (zh) * | 2020-01-21 | 2020-05-22 | 星络智能科技有限公司 | 一种儿童学习监控方法、智能家居控制器及存储介质 |
CN112220212A (zh) * | 2020-12-16 | 2021-01-15 | 湖南视觉伟业智能科技有限公司 | 基于人脸识别的桌/椅调节系统及方法 |
CN112568597A (zh) * | 2020-11-06 | 2021-03-30 | 泉州智绿康智能设备有限公司 | 一种智能化儿童学习与训练的功能桌 |
-
2022
- 2022-01-04 CN CN202210002142.6A patent/CN114557544B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009108018A2 (ko) * | 2008-02-27 | 2009-09-03 | 주식회사 글맥학원 | 책상형 학습 장치 및 이를 이용한 학습 방법 |
CN110710796A (zh) * | 2019-08-26 | 2020-01-21 | 周成接 | 一种智能坐姿监控管理系统和方法 |
CN111190374A (zh) * | 2020-01-21 | 2020-05-22 | 星络智能科技有限公司 | 一种儿童学习监控方法、智能家居控制器及存储介质 |
CN112568597A (zh) * | 2020-11-06 | 2021-03-30 | 泉州智绿康智能设备有限公司 | 一种智能化儿童学习与训练的功能桌 |
CN112220212A (zh) * | 2020-12-16 | 2021-01-15 | 湖南视觉伟业智能科技有限公司 | 基于人脸识别的桌/椅调节系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114557544B (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443226B (zh) | 一种基于姿态识别的学生状态评价方法及系统 | |
CN105516280B (zh) | 一种多模态学习过程状态信息压缩记录方法 | |
CN111027865B (zh) | 基于行为和表情识别的教学分析与质量评估系统及方法 | |
CN109062404A (zh) | 一种应用于智能儿童早教机的交互系统及方法 | |
US20140045162A1 (en) | Device of Structuring Learning Contents, Learning-Content Selection Support System and Support Method Using the Device | |
Yeh et al. | The role of learning experience on the perceptual organization of Chinese characters | |
CN111415537A (zh) | 一种基于符号标注的中小学生听词系统 | |
CN112613440A (zh) | 一种姿态检测的方法、装置、电子设备及存储介质 | |
CN110930781B (zh) | 录播系统 | |
CN111339801A (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
CN108765229B (zh) | 基于大数据与人工智能的学习表现评价方法和机器人系统 | |
CN115936944B (zh) | 一种基于人工智能的虚拟教学管理方法及装置 | |
CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
CN114708658A (zh) | 一种在线学习专注度识别方法 | |
CN107544956A (zh) | 一种文本要点检测方法及系统 | |
CN111178263B (zh) | 一种实时表情分析方法及其装置 | |
CN113920534A (zh) | 一种视频精彩片段提取方法、系统和存储介质 | |
CN111597305A (zh) | 实体标记方法、装置、计算机设备和存储介质 | |
CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
CN114557544B (zh) | 一种具有多种功能的学习桌的使用方法 | |
CN113221784B (zh) | 一种基于多模态的学生学习状态分析方法及装置 | |
CN112084814B (zh) | 一种学习辅助方法和智能装置 | |
JP7427906B2 (ja) | 情報処理装置、制御方法及びプログラム | |
TWM600908U (zh) | 學習狀態改善管理系統 | |
CN111522904A (zh) | 一种单词信息的提供方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |