CN110728604A - 一种分析方法及装置 - Google Patents
一种分析方法及装置 Download PDFInfo
- Publication number
- CN110728604A CN110728604A CN201911307576.1A CN201911307576A CN110728604A CN 110728604 A CN110728604 A CN 110728604A CN 201911307576 A CN201911307576 A CN 201911307576A CN 110728604 A CN110728604 A CN 110728604A
- Authority
- CN
- China
- Prior art keywords
- expression
- child
- analysis
- children
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 107
- 230000014509 gene expression Effects 0.000 claims abstract description 93
- 230000009471 action Effects 0.000 claims abstract description 74
- 238000011161 development Methods 0.000 claims abstract description 74
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 230000008921 facial expression Effects 0.000 claims abstract description 28
- 230000002776 aggregation Effects 0.000 claims abstract description 9
- 238000004220 aggregation Methods 0.000 claims abstract description 9
- 238000007621 cluster analysis Methods 0.000 claims abstract description 6
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 17
- 230000008909 emotion recognition Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008451 emotion Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2053—Education institution selection, admissions, or financial aid
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种分析方法及装置。所述分析方法包括采集视频画面并捕捉儿童表情动作图像；从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；运用聚类分析算法对收集的视频画面、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目。实现学龄前儿童多元智能方面的分析，让家长及时了解到孩子的薄弱方面，为家长提供推荐建议，提升孩子全方面发展能力。
Description
技术领域
本申请涉及智能分析领域，尤其涉及一种分析方法及装置。
背景技术
儿童是祖国的未来，1-8周岁学龄前儿童的身心健康发展是现如今国家和家长的关注重心。目前的孩子由于父母陪伴较少或教育偏差，很多孩子不能德智体美劳全方位全面发展。
近年来，随着计算机网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。视频节目以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。然而现有的视频节目方面的系统，基本都是针对推荐方面的，并没有对学龄前儿童的多元智能方面的分析，现有基于推荐的方法针对的是学龄前儿童群体进行推荐，然而由于各个儿童的多元智能发展并不相同，所以现如今亟需针对性地对于个体儿童进行多元智能分析的方法。
发明内容
本申请提供了一种分析方法，包括如下步骤：
采集视频画面并捕捉儿童表情动作图像；视频画面包括节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面，儿童表情动作图像包括儿童在节目播放环节、互动环节和问答环节问题的表情动作图像；
从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
运用聚类分析算法对收集的视频画面、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目。
如上所述的分析方法，其中收集视频画面以及捕捉儿童表情动作图像，具体包括如下子步骤：
当接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的存储区大小；
在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；
记录采集儿童表情动作图像的时刻，并按照采集时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；
将采集的儿童画面与对应截屏的播放画面存储在分配的截屏存储区中。
如上所述的分析方法，其中从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作并转化为对应的标签，具体包括如下子步骤：
构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；
将采集到的儿童表情图像输入情绪识别模型中，输出儿童表情标签；
将采集到的儿童动作图像输入动作识别模型中，输出儿童动作标签。
如上所述的分析方法，其中运用聚类分析算法对收集的日志信息、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果，具体包括如下子步骤：
对日志信息、儿童标签动作标签以及儿童基本信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；
将获取到的权重值集合输入聚类分析模型中，对儿童信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；
将多元智能分析结果以图表形式进行展示。
如上所述的分析方法，其中预先在多元智能发展分析装置中对应每种多元智能发展方向设定一定数量的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，然后重复执行采集视频画面和捕捉儿童表情动作图像过程。
本申请还提供一种分析装置，包括：
视频画面采集模块，用于采集包括节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面的视频画面；
儿童表情动作图像捕捉模块，用于捕捉包括儿童在节目播放环节、互动环节和问答环节问题的表情动作图像；
表情动作标签处理模块，用于从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
多元智能发展分析模块，用于运用聚类分析算法对收集的视频画面、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
儿童薄弱项推荐模块，用于根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目。
如上所述的分析装置，其中所述视频画面采集模块和所述儿童表情动作图像捕捉模块，具体用于当接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的存储区大小；在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；记录采集儿童表情动作图像的时刻，并按照采集时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；将采集的儿童画面与对应截屏的播放画面存储在分配的截屏存储区中。
如上所述的分析装置，其中所述表情动作标签处理模块，具体用于构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；将采集到的儿童表情图像输入情绪识别模型中，输出儿童表情标签；将采集到的儿童动作图像输入动作识别模型中，输出儿童动作标签。
如上所述的分析装置，其中所述多元智能发展分析模块，具体用于对日志信息、儿童标签动作标签以及儿童基本信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；将获取到的权重值集合输入聚类分析模型中，对儿童信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；将多元智能分析结果以图表形式进行展示。
如上所述的分析装置，其中所述儿童薄弱项推荐模块，具体用于为每种多元智能发展方向预先设定一定数量的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，然后重新触发所述视频画面采集模块和所述儿童表情动作图像捕捉模块。
本申请实现的有益效果如下：采用本申请提供的分析方法能够实现学龄前儿童多元智能方面的分析，让家长及时了解到孩子的薄弱方面，为家长提供推荐建议，提升孩子全方面发展能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种儿童多元智能分析方法流程图；
图2是收集当前视频画面以及捕捉当前儿童图像的具体方法流程图；
图3是从表情动作图像中识别面部表情和肢体动作的具体方法流程图；
图4是运用聚类分析算法对收集的日志信息、儿童表情动作标签以及儿童基础信息进行聚合分析的具体方法流程图；
图5是多元智能发展分析结果网状示意图；
图6是本申请实施例二提供的一种儿童多元智能分析装置示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本申请实施例一提供一种儿童多元智能分析方法，如图1所示，具体包括如下步骤：
步骤110、收集节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面并存储至日志中，捕捉儿童在节目播放环节、互动环节和问答环节问题的表情动作图像；
可选地，设置间隔预设时长采集当前播放节目的节目画面或当前互动环节的互动画面或当前问答环节的提问画面，将采集到的画面转存至日志中；
此外，在采集当前画面的同时通过设备上的拍照装置捕捉儿童当前画面，包括当在节目播放环节和提问环节捕捉儿童的表情图像，在互动环节捕捉儿童跟随视频画面作出的动作图像；
本申请实施例中，如图2所示，收集当前视频画面以及捕捉当前儿童图像具体包括如下子步骤：
步骤210、当设备接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的存储区大小；
具体地，在截屏之前先根据帧速率确定用于存储截取图像画面帧的存储区大小，由于不同视频制式的帧速率不同，所以针对同样的时延，所要求的截屏存储区大小也不相同，而且由于最佳截屏时滞时间一般为最长截屏时滞时间的1/2，所以根据播放节目的视频制式（包括PAL制式或NTSC制式，由系统根据视频流中特定字节或比特位进行识别）和系统最长的截屏滞后时间通过以下公式确定要分配的截屏图像的存储区大小：
SL=2*Tz*Fs
其中，SL为要分配的截屏图像的存储区大小、Tz为系统最佳截屏滞后时间，为最长截屏滞后时间的1/2、Fs为播放节目的视频制式的帧率。
步骤220、在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；
当采集时刻的当前播放画面为节目播放环节或问答环节，则采集儿童的当前表情画面，当采集时刻的当前播放画面为互动环节，则采集儿童的当前动作画面；
步骤230、记录采集儿童表情动作图像的时刻，并按照采集时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；
其中，在设备中启动采集线程和截屏线程，当采集线程采集到儿童画面时向截屏线程发送包括采集时刻的截屏指示，截屏画面根据采集时刻从播放的视频中查找对应时刻的画面。
步骤240、将采集的儿童画面与对应截屏的播放画面存储在分配的截屏存储区中。
返回参见图1，步骤120、从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
本申请实施例中，如图3所示，从表情动作图像中识别面部表情和肢体动作具体包括如下子步骤：
步骤310、构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；
具体地，先根据最大情绪类别的正面情绪、负面情绪和中立情绪创建用于对人脸标签所有情绪类别自动识别和判断的三类深度神经网络情绪识别模型，然后将最大情绪类别下的多张各种表情的人脸图像分别输入该三类情绪识别模型中进行深度学习训练，从这些人脸图像中提取人脸表情的运动特征，并进行抽象分析处理，识别出该人脸图像所展示出来的情绪状态，由此得到训练后的情绪识别模型；以及先根据人体肢体构造创建动作识别模型，然后将多种动作图像（如抬腿、蹲下、起立、跳跃、伸胳膊等图像）输入动作识别模型中，从中提取出四肢的运动特征并进行抽象分析，识别出这些动作图像所展示出来的各种动作；
其中，输入的多张各种表情的人脸图像至少包括21种，如常见的6种基本表情：高兴、悲伤、惊讶、恐惧、愤怒、厌恶，以及可被区分的15种复合表情，如惊喜（惊讶+高兴）、悲愤（悲伤+愤怒）等；
从下述表格1可以确定人脸表情的运动特征：
表1
步骤320、将采集到的儿童表情图像输入情绪识别模型中，输出儿童表情标签；
具体地，先将儿童表情动作图像输入情绪识别模型中，先输入识别最大情绪类别，然后再在最大情绪类别下识别属于该类下的哪一种人脸表情，这样能够避免一步到位地直接识别人脸表情，减少了每种识别模型所需要记忆的内容，降低表情识别的复杂度，提高运算效率。
步骤330、将采集到的儿童动作图像输入动作识别模型中，输出儿童动作标签；
具体地，将儿童动作图像输入动作识别模型中能够识别出图像中儿童所做动作，如抬腿、伸胳膊、蹲起等动作；根据儿童动作图像以及采集到的当时时刻的互动视频画面，即可确定儿童的身体运动协调能力。
返回参见图1，步骤130、运用聚类分析算法对收集的日志信息、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
其中，多元智能发展分析结果包括人际关系智能发展、语言智能发展、自然认知智能发展、自我认知智能发展、空间智能发展、音乐智能发展、身体运动智能发展和数理逻辑智能发展；
本申请实施例中，如图4所示，运用聚类分析算法对收集的日志信息、儿童表情动作标签以及儿童基础信息进行聚合分析，具体包括如下子步骤：
步骤410、对日志信息、儿童标签动作标签以及儿童基本信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；
步骤420、将获取到的权重值集合输入聚类分析模型中，对儿童信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；
具体地，对儿童信息进行聚类分析，具体包括：
步骤421、对权重值集合进行初步聚类，将初步聚类后的权重集根据相似度生成拉普拉斯矩阵，并计算其特征值和特征向量；
步骤422、根据特征值间隔确定聚类数及其表示矩阵，对聚类数和表示矩阵进行二次聚类；
步骤423、对二次聚类结果进行K-means聚类算法进行迭代求解，得到最终的多元智能发展分析结果；
其中，对二次聚类结果进行K-means聚类算法进行迭代求解，具体为随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个聚类中心的距离，把每个对象分配给距离最近的聚类中心，然后重新计算聚类中心，重复上述操作直至所有的对象均被分配给不同的聚类且聚类中心不再发生变化。
步骤430、将多元智能分析结果以图表形式进行展示；
图5为多元智能发展分析结果网状示意图，从图上可知，该位儿童的语言智能发展和音乐智能发展相对较高，数理逻辑智能发展次之，身体运动智能发展、自我认知智能发展、人际关系智能发展和空间智能发展再次之，最薄弱的是自然认知智能发展。
返回参见图1，步骤140、根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目；
优选地，预先在多元智能发展分析装置中对应每种多元智能发展方向设定一定数量的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，在播放过程中继续执行步骤110-140，由此实现针对性的为儿童补习最薄弱的课程或节目，以期达到多方面均衡发展的目的。
实施例二
本申请实施例二提供一种儿童多元智能分析装置，如图6所示，包括视频画面采集模块610、儿童表情动作图像捕捉模块620、表情动作标签处理模块630、多元智能发展分析模块640和儿童薄弱项推荐模块650；
视频画面采集模块610，用于采集包括节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面的视频画面；
儿童表情动作图像捕捉模块620，用于捕捉包括儿童在节目播放环节、互动环节和问答环节问题的表情动作图像；
本申请实施例中，视频画面采集模块610和儿童表情动作图像捕捉模块620，具体用于当接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的存储区大小；在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；记录采集儿童表情动作图像的时刻，并按照采集时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；将采集的儿童画面与对应截屏的播放画面存储在分配的截屏存储区中。
表情动作标签处理模块630，用于从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
本申请实施例中，表情动作标签处理模块630，具体用于构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；将采集到的儿童表情图像输入情绪识别模型中，输出儿童表情标签；将采集到的儿童动作图像输入动作识别模型中，输出儿童动作标签。
多元智能发展分析模块640，用于运用聚类分析算法对收集的视频画面、儿童表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
本申请实施例中，多元智能发展分析模块，具体用于对日志信息、儿童标签动作标签以及儿童基本信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；将获取到的权重值集合输入聚类分析模型中，对儿童信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；将多元智能分析结果以图表形式进行展示。
儿童薄弱项推荐模块650，用于根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目；
其中，儿童薄弱项推荐模块650，具体用于为每种多元智能发展方向预先设定一定数量的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，然后重新触发视频画面采集模块610和儿童表情动作图像捕捉模块620。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种分析方法，其特征在于，包括如下步骤：
采集视频画面并捕捉儿童表情动作图像；视频画面包括节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面，儿童表情动作图像包括儿童在节目播放环节、互动环节和问答环节的表情动作图像；
从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
运用聚类分析算法对采集的视频画面、表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目。
2.如权利要求1所述的分析方法，其特征在于，采集视频画面并捕捉儿童表情动作图像，具体包括如下子步骤：
当接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的截屏存储区大小；
在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；
记录捕捉儿童表情动作图像的时刻，并按照捕捉时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；
将捕捉的儿童表情动作图像与对应截屏的播放画面存储在分配的截屏存储区中。
3.如权利要求1所述的分析方法，其特征在于，从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签，具体包括如下子步骤：
构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；
将捕捉到的儿童表情图像输入情绪识别模型中，输出表情标签；
将捕捉到的儿童动作图像输入动作识别模型中，输出动作标签；
其中将输出的表情标签和动作标签合称为表情动作标签。
4.如权利要求1所述的分析方法，其特征在于，采集的节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面作为日志信息存储至日志中；运用聚类分析算法对收集的日志信息、表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果，具体包括如下子步骤：
对日志信息、表情动作标签以及儿童基础信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；
将获取到的权重值集合输入聚类分析模型中，对儿童基础信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；
将多元智能分析结果以图表形式进行展示。
5.如权利要求1所述的分析方法，其特征在于，预先为每种智能发展方向设定一定数量的课程和节目，作为预存的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，然后重复执行采集视频画面和捕捉儿童表情动作图像过程。
6.一种分析装置，其特征在于，包括：
视频画面采集模块，用于采集包括节目播放环节的节目画面、互动环节的互动画面和问答环节的提问画面的视频画面；
儿童表情动作图像捕捉模块，用于捕捉包括儿童在节目播放环节、互动环节和问答环节的表情动作图像；
表情动作标签处理模块，用于从捕捉到的表情动作图像中识别儿童在观看节目及回答问题时的面部表情及肢体动作，将识别出的面部表情和肢体动作转化为对应的表情动作标签；
多元智能发展分析模块，用于运用聚类分析算法对采集的视频画面、表情动作标签以及儿童基础信息进行聚合分析，得到多元智能发展分析结果；
儿童薄弱项推荐模块，用于根据多元智能发展分析结果自动选取儿童薄弱项相关的课程或节目。
7.如权利要求6所述的分析装置，其特征在于，所述视频画面采集模块和所述儿童表情动作图像捕捉模块，具体用于当接收到截屏指令后，根据当前播放节目制式确定要分配的截屏图像的存储区大小；在视频播放及互动过程中，每间隔预设时长通过拍摄装置捕捉儿童表情动作图像；记录捕捉儿童表情动作图像的时刻，并按照捕捉时刻确定截屏时刻，根据截屏时刻从视频画面中查找对应时间的播放画面；将捕捉的儿童表情动作图像与对应截屏的播放画面存储在分配的截屏存储区中。
8.如权利要求6所述的分析装置，其特征在于，所述表情动作标签处理模块，具体用于构建并训练基于卷积神经网络的情绪识别模型和动作识别模型；将采集到的儿童表情图像输入情绪识别模型中，输出表情标签；将采集到的儿童动作图像输入动作识别模型中，输出动作标签；其中将输出的表情标签和动作标签合称为表情动作标签。
9.如权利要求6所述的分析装置，其特征在于，所述多元智能发展分析模块，具体用于对日志信息、表情动作标签以及儿童基础信息进行关键词的提取和筛选，计算每个关键词在文本集合中的权重值，得到权重值集合；将获取到的权重值集合输入聚类分析模型中，对儿童基础信息进行聚类分析，输出包括多种智能发展方向的多元智能发展分析结果；将多元智能分析结果以图表形式进行展示。
10.如权利要求6所述的分析装置，其特征在于，所述儿童薄弱项推荐模块，具体用于为每种智能发展方向预先设定一定数量的课程和节目，作为预存的课程和节目，当识别出儿童最薄弱的智能发展方向后，从预存的课程和节目中随机选取进行播放，然后重新触发所述视频画面采集模块和所述儿童表情动作图像捕捉模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307576.1A CN110728604B (zh) | 2019-12-18 | 2019-12-18 | 一种分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307576.1A CN110728604B (zh) | 2019-12-18 | 2019-12-18 | 一种分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728604A true CN110728604A (zh) | 2020-01-24 |
| CN110728604B CN110728604B (zh) | 2020-03-31 |
Family
ID=69226031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911307576.1A Active CN110728604B (zh) | 2019-12-18 | 2019-12-18 | 一种分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728604B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311460A (zh) * | 2020-04-08 | 2020-06-19 | 上海乂学教育科技有限公司 | 面向儿童的开发型教学系统 |
| CN112734609A (zh) * | 2021-01-06 | 2021-04-30 | 西安康宸科技有限公司 | 一种基于人工智能的儿童早期发展管理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162409A (ja) * | 2016-03-11 | 2017-09-14 | ヤンマー株式会社 | 顔の表情と動作の認識装置及び方法 |
| CN107203953A (zh) * | 2017-07-14 | 2017-09-26 | 深圳极速汉语网络教育有限公司 | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 |
| CN107705639A (zh) * | 2017-11-03 | 2018-02-16 | 合肥亚慕信息科技有限公司 | 一种基于面部识别捕捉的在线课堂提问解答系统 |
| CN108304793A (zh) * | 2018-01-26 | 2018-07-20 | 北京易真学思教育科技有限公司 | 在线学习分析系统及方法 |
| CN108924487A (zh) * | 2018-06-29 | 2018-11-30 | 合肥霞康电子商务有限公司 | 一种基于在线教学的远程监控系统 |
| CN109034037A (zh) * | 2018-07-19 | 2018-12-18 | 江苏黄金屋教育发展股份有限公司 | 基于人工智能的在线学习方法 |
-
2019
- 2019-12-18 CN CN201911307576.1A patent/CN110728604B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017162409A (ja) * | 2016-03-11 | 2017-09-14 | ヤンマー株式会社 | 顔の表情と動作の認識装置及び方法 |
| CN107203953A (zh) * | 2017-07-14 | 2017-09-26 | 深圳极速汉语网络教育有限公司 | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 |
| CN107705639A (zh) * | 2017-11-03 | 2018-02-16 | 合肥亚慕信息科技有限公司 | 一种基于面部识别捕捉的在线课堂提问解答系统 |
| CN108304793A (zh) * | 2018-01-26 | 2018-07-20 | 北京易真学思教育科技有限公司 | 在线学习分析系统及方法 |
| CN108924487A (zh) * | 2018-06-29 | 2018-11-30 | 合肥霞康电子商务有限公司 | 一种基于在线教学的远程监控系统 |
| CN109034037A (zh) * | 2018-07-19 | 2018-12-18 | 江苏黄金屋教育发展股份有限公司 | 基于人工智能的在线学习方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311460A (zh) * | 2020-04-08 | 2020-06-19 | 上海乂学教育科技有限公司 | 面向儿童的开发型教学系统 |
| CN112734609A (zh) * | 2021-01-06 | 2021-04-30 | 西安康宸科技有限公司 | 一种基于人工智能的儿童早期发展管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728604B (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220239988A1 (en) | Display method and apparatus for item information, device, and computer-readable storage medium | |
| Kollias et al. | Aff-wild2: Extending the aff-wild database for affect recognition | |
| CN111242049B (zh) | 一种基于面部识别的学生网课学习状态评价方法及系统 | |
| CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测系统 | |
| CN108664932B (zh) | 一种基于多源信息融合的学习情感状态识别方法 | |
| CN113506624B (zh) | 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统 | |
| US10719741B2 (en) | Sensory information providing apparatus, video analysis engine, and method thereof | |
| CN107239801A (zh) | 视频属性表示学习方法及视频文字描述自动生成方法 | |
| Gunawan et al. | Sign language recognition using modified convolutional neural network model | |
| CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
| CN110728604B (zh) | 一种分析方法及装置 | |
| CN112733789B (zh) | 一种基于动态时空图的视频推理方法、装置、设备及介质 | |
| CN110245253B (zh) | 一种基于环境信息的语义交互方法及系统 | |
| Wang et al. | Quasi-periodic event analysis for social game retrieval | |
| CN106777040A (zh) | 一种基于情感极性感知算法的跨媒体微博舆情分析方法 | |
| CN111046148A (zh) | 智能交互系统及智能客服机器人 | |
| Li et al. | A students’ action recognition database in smart classroom | |
| CN110379234A (zh) | 一种学习辅导方法及装置 | |
| CN110309753A (zh) | 一种赛事进程判别方法、装置和计算机设备 | |
| Kofler et al. | Uploader intent for online video: typology, inference, and applications | |
| CN113076885B (zh) | 一种基于人眼动作特征的专注度分级方法及系统 | |
| CN114359816A (zh) | 基于边缘计算的动态扩容视频分析课桌及智能识别方法 | |
| CN112040301B (zh) | 交互式练习设备动作讲解方法、系统、终端及介质 | |
| Jahoda et al. | Detecting decision ambiguity from facial images | |
| CN112270231A (zh) | 一种确定目标视频属性特征的方法、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |