CN108460324A - 一种用于识别幼儿情绪的方法 - Google Patents

一种用于识别幼儿情绪的方法 Download PDF

Info

Publication number
CN108460324A
CN108460324A CN201810008397.7A CN201810008397A CN108460324A CN 108460324 A CN108460324 A CN 108460324A CN 201810008397 A CN201810008397 A CN 201810008397A CN 108460324 A CN108460324 A CN 108460324A
Authority
CN
China
Prior art keywords
child
facial expression
user equipment
feature information
expression feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810008397.7A
Other languages
English (en)
Inventor
张大威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Children Pass Mdt Infotech Ltd
Original Assignee
Shanghai Children Pass Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Children Pass Mdt Infotech Ltd filed Critical Shanghai Children Pass Mdt Infotech Ltd
Priority to CN201810008397.7A priority Critical patent/CN108460324A/zh
Publication of CN108460324A publication Critical patent/CN108460324A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请的目的是提供一种用于识别幼儿情绪的方法，包括：用户设备获取关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；所述网络设备对所述待识别图像进行预处理并进行特征提取，以获得待识别幼儿的面部表情特征信息，并向所述用户设备发送所述面部表情特征信息；所述用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。本申请能提高幼儿情绪判断准确性、改善教师的教学体验，并提升教师的教学水平。

Description

一种用于识别幼儿情绪的方法
技术领域
本申请涉及计算机领域，尤其涉及一种用于识别幼儿情绪的技术。
背景技术
情绪是个体对外界刺激的主观的有意识的体验和感受，具有心理和生理反应的特征。我们无法直接观测内在的感受，但是我们能够通过其外显的行为或生理变化来进行推断，例如通过观察研究对象的面部表情推断研究对象的内在感受。
为了系统地研究个体的内在感受，可引入评价情境。评价情境中人为的情境占绝大多数，人为情境的评价是那种脱离幼儿真实生活与学习情境，人为的设计情境对幼儿进行评价。它采用传统智力测验的方法来评价个体的发展。这种人为情境的评价存在很大的弊端，尤其是在用于幼儿教育领域时，仅限于评价幼儿某一方面的发展，并不能反映孩子全面的发展。
真实情境中的评价是指在幼儿真实的生活、学习经验与情境中对幼儿所进行的评价，即"评价生活在幼儿的真实情境中，评价基于对真实表现的解释，而不是对设计活动的解释。"真实情境的评价与教育过程结合，是一种教育指导性的评价，即在评价过程中对幼儿进行指导。它将评价置于有意义的真实世界的活动当中，消除课程和评价之间的界限，重视幼儿在学习中表现的活动风格，能反映幼儿智力的每个领域而不限于语言和逻辑领域。
发明内容
本申请的一个目的是提供一种用于识别幼儿情绪的方法。
根据本申请的一个方面，提供了一种在用户设备端识别幼儿情绪的方法，该方法包括：
接收摄像设备发送的关于待识别幼儿的待识别图像；
从所述待识别图像中提取所述待识别幼儿的面部表情特征信息；
根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
根据本申请的另一个方面，提供了一种用于在网络设备端识别幼儿情绪的方法，该方法包括：
接收对应的用户设备发送的待识别图像；
对所述待识别图像进行预处理，以获得预处理图像；
对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；
向所述用户设备发送所述面部表情特征信息。
根据本申请的另一个方面，提供了一种用于在网络设备端识别幼儿情绪的方法，该方法包括：
接收对应的用户设备发送的待识别图像；
对所述待识别图像进行预处理，以获得预处理图像；
对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；
将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息；
向所述用户设备发送所述幼儿情绪信息。
根据本申请的一个方面，提供了一种用于识别幼儿情绪的方法，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；
所述网络设备接收所述待识别图像，对所述待识别图像进行预处理，以获得预处理图像；
所述网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息，并向所述用户设备发送所述面部表情特征信息；
所述用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
根据本申请的另一个方面，提供了一种用于识别幼儿情绪的方法，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；
所述网络设备接收所述待识别图像，对所述待识别图像进行预处理，以获得预处理图像；
所述网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；
所述网络设备将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息，并向所述用户设备发送所述幼儿情绪信息；
所述用户设备接收所述幼儿情绪信息。
与现有技术相比，本申请至少具有以下有益效果：
1)通过摄像设备获取幼儿面部图像并进行情绪特征提取、情绪识别，可实现在幼儿生活、学习过程中对幼儿进行基于真实情境的评价，将评价置于有意义的真实世界的活动当中，消除课程和评价之间的界限，从而在幼儿未察觉自己正在被评价的情况下观察幼儿，从而大大提高幼儿活动评价的准确性；
2)基于计算设备对幼儿情绪进行识别，尤其是基于预先设置的情绪模型对幼儿情绪进行识别，能显著降低判断幼儿情绪和评价幼儿活动对教师相关经验的要求，提高幼儿情绪判断准确性、改善教师的教学体验，并提升教师的教学水平。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于在用户设备端识别幼儿情绪的方法流程图；
图2示出根据本申请另一个实施例的一种用于识别幼儿情绪的方法流程图；
图3示出根据本申请另一个实施例的一种用于识别幼儿情绪的方法流程图；
图4和图5分别示出本申请的一个使用场景；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种用于在用户设备端识别幼儿情绪的方法的流程图，该方法包括步骤S11、步骤S12和步骤S13。其中，在步骤S11中，用户设备接收摄像设备发送的关于待识别幼儿的待识别图像；在步骤S12中，用户设备从所述待识别图像中提取所述待识别幼儿的面部表情特征信息；在步骤S13中，用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
具体而言，在步骤S11中，用户设备接收摄像设备发送的关于待识别幼儿的待识别图像是指，摄像设备主动或被动地拍摄关于待识别幼儿的待识别图像，并将该待识别图像发送至用户设备。其中，待识别幼儿是用户的研究对象，待识别幼儿的情绪将反映教学活动对该幼儿的发展产生的影响，情绪的识别通过对待识别图像中幼儿面部表情特征的识别来实现，因此待识别图像中应包含至少一位待识别幼儿的面部；用户设备通常由对待识别幼儿进行评估的教师控制。摄像设备与用户设备有线或无线连接，置于能够拍摄到幼儿的地方，例如设置于房间角落的监视摄像机。分体式布置的摄像设备和用户设备可方便用户进行远程拍摄，甚至可通过一台用户设备配合多台摄像设备同步识别多个房间内幼儿的情绪，显著提高操作效率。当然，本领域技术人员应能理解，前述摄像设备仅为举例，其他现有的或今后可能出现的摄像设备如能适用于本申请，也包含在本申请的保护范围之内，并在此以引用的方式包含于此；甚至，在一些实施例中，用户设备与摄像设备可一体设置，例如摄像设备是与用户设备的控制/数据总线连接的摄像模块。
在步骤S12中，用户设备从所述待识别图像中提取所述待识别幼儿的面部表情特征信息。在一些实施例中，用户设备在获得包含待识别幼儿的面部区域的待识别图像后，首先对该待识别图像进行预处理。预处理可能包括以下操作中的一种或几种：1)从图像中识别人脸区域，例如对图像进行基于模板匹配模型/肤色模型/ANN模型/SVM模型/Adaboost模型的人脸检测；2)对图像进行图像分割，例如将含有人脸的部分图像分割取出；3)对图像进行头部姿态校正，例如以左眼的中心点作为旋转的输入原点，使歪斜的人脸图形被旋转至左右基本对称；4)归一化调整图像的大小，例如将人脸图像变换为统一尺寸，以方便提取表情特征；5)归一化调整图像的灰度，主要是增加图像亮度，使图像细节清楚，减弱光线和光照强度的影响。在此之后，对待识别图像经过预处理后得到的预处理图像进行特征提取，目的是将点阵转化成更高级别图像表述(如形状、运动、颜色、纹理、空间结构等)，表情特征提取的主要方法包括提取几何特征、统计特征、频率特征、运动特征等，以获得待识别幼儿的面部表情特征信息，该面部表情特征信息包括提取得到的面部几何特征信息、面部统计特征信息、面部频率特征信息和/或面部运动特征信息等。例如，采用几何特征进行特征提取，对人脸表情的显著特征，如眼睛、眉毛、嘴巴等的位置变化进行定位、测量，确定其大小、距离、形状及相互比例等面部表情特征，该面部表情特征用于进行表情识别。
在步骤S13中，用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。其中，在一些实施例中，该情绪模型基于以下一种或几种：线性回归分类模型、神经网络模型、支持向量机(SVM)模型、隐马尔可夫模型。当然，本领域技术人员应能理解，前述模型仅为举例，其他现有的或今后可能出现的分类模型如能适用于本申请，也包含在本申请的保护范围之内，并在此以引用的方式包含于此。例如，在一些实施例中，能识别的幼儿情绪信息包括八种：愤怒、轻蔑、恶心、恐惧、快乐、平淡(无情绪)、悲伤以及惊讶，神经网络模型输入为向量化的面部表情特征信息，输出为情感置信矩阵[愤怒置信度,轻蔑置信度,恶心置信度,恐惧置信度,快乐置信度,平淡置信度,悲伤置信度,惊讶置信度]，其中，将置信度最高的情绪信息作为面部表情特征信息所对应的幼儿情绪信息。将已从一张或多张照片中获得的关于待识别幼儿的面部表情特征信息(例如面部特征之间的距离或距离之比)向量化，输入神经网络模型以获得幼儿情绪信息，获得该幼儿的情感置信矩阵[0.155％,3.345％,0.003％,0.004％,96.490％,0.001％,0.001％,0.001％]，置信度最高的值为“快乐置信度”，即相应人脸对应的情绪最有可能为“快乐”，概率为“96.490％”。相应地，幼儿情绪信息为“快乐”。
在一些实施例中，根据幼儿面部表情特征信息确定幼儿情绪信息的过程是在用户设备本地进行的，用于确定幼儿情绪信息的情绪模型由与用户设备对应的网络设备提供。此时，步骤S13包括步骤S13a(未示出)和步骤S13b(未示出)。在步骤S13a中，用户设备接收与所述用户设备相对应的网络设备发送的情绪模型；在步骤S13b中，用户设备将所述面部表情特征信息输入所述情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。其中，用于确定幼儿情绪信息的情绪模型由对应的网络设备提前下发至用户设备，可在必要时更新多台用户设备上的情绪模型，便于信息更新和统一管理，而保存在用户设备本地的情绪模型可大大减少幼儿情绪判定过程对网络设备的依赖，增加实时性，有利于及时调整幼儿教学策略，这对幼儿身心健康安全是极为有利的。
在一些实施例中，为降低用户设备的计算压力，步骤S12包括步骤S12a(未示出)和步骤S12b(未示出)；相应地，一种用于在网络设备端识别幼儿情绪的方法包括步骤S21、步骤S22、步骤S23及步骤S24。参考图2，在步骤S12a中，用户设备向与其相对应的网络设备发送所述待识别图像；在步骤S21中，网络设备接收该待识别图像；在步骤S22中，网络设备对所述待识别图像进行预处理，以获得预处理图像；在步骤S23中，网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；在步骤S24中，网络设备向所述用户设备发送所述面部表情特征信息；在步骤S12b中，用户设备接收该网络设备发送的面部表情特征信息；随后在步骤S13中，用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。其中，网络设备对所述待识别图像进行预处理的过程与前述用户设备对所述待识别图像进行预处理的过程类似，在此不再赘述，并以引用的方式包含于此。
在一些实施例中，该用于在用户设备端识别幼儿情绪的方法还包括：根据所述幼儿情绪信息，确定相应的教学改进信息。例如，某幼儿的幼儿情绪信息判定为“恐惧”，系统根据该判定结果以及预先设定的对应关系，确定教学改进信息为“安抚幼儿”或“停止教学活动”。教学改进信息可帮助教师及时发现教学过程中发生的意外情况，避免给幼儿带来负面情绪。特别地，当用户设备有线或无线地连接有网络设备(例如云端服务器)，还可将幼儿情绪信息发送至网络设备，并接收网络设备所返回的、根据该幼儿情绪信息返回的教学改进信息。此时，教学改进信息可由系统管理员设定，或由不同的用户设备发送至网络设备，从而获得多样化的教学建议。
在一些实施例中，同样为降低用户设备的计算压力，步骤S13包括步骤S13c(未示出)和步骤S13d(未示出)；相应地，一种用于在网络设备端识别幼儿情绪的方法包括步骤S31、步骤S32和步骤S33。参考图3，在步骤S13c中，用户设备向与其相对应的网络设备发送所述面部表情特征信息；在步骤S31中，网络设备接收所述面部表情特征信息；在步骤S32中，网络设备将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息；在步骤S33中，网络设备向所述用户设备发送所述幼儿情绪信息；在步骤S13d中，用户设备接收所述网络设备发送的、根据所述面部表情特征信息以及情绪模型确定的幼儿情绪信息，其中，所述幼儿情绪信息与所述面部表情特征信息对应。即，用户设备在对关于待识别幼儿的待识别图像进行特征提取(必要时事先对其进行预处理)，获取相应幼儿的面部表情特征信息后，将该面部表情特征信息发送至网络设备进行计算以获得该幼儿的幼儿情绪信息；其中，网络设备根据所述面部表情特征信息以及情绪模型确定相应幼儿情绪信息与前述用户设备所进行的操作相同或类似，在此不再赘述，并以引用的方式包含于此。在此，用户设备向网络设备发送的是面部表情特征信息而不是关于幼儿的待识别图像，可大大减少需要传输的数据量，从而提高网络带宽的利用率。
优选地，上述用于在网络设备端识别幼儿情绪的方法除步骤S31、步骤S32和步骤S33外，还包括步骤S34(未示出)和步骤S35(未示出)。在步骤S34中，网络设备根据所述幼儿情绪信息，确定教学改进信息；在步骤S35中，网络设备向所述用户设备发送所述教学改进信息。例如，根据系统设定，若幼儿情绪信息为“愤怒”、“恶心”、“恐惧”、“悲伤”中的任一种时，网络设备触发教学改进操作，根据不同的幼儿情绪信息确定用于提示教师的相应的教学改进信息，例如，当幼儿情绪信息为“愤怒”或“恐惧”，教学改进信息为“安抚幼儿”，而当幼儿情绪信息为“恶心”，教学改进信息为“停止教学活动”。
在一些实施例中，为便于教师实时获得关于教学活动的反馈、及时调整教学策略，该用于在用户设备端识别幼儿情绪的方法还包括：呈现所述幼儿情绪信息。其中，幼儿情绪信息的呈现方式包括但不限于语音提示、在显示装置(例如用户设备的液晶显示屏、连接于用户设备的投影装置)上呈现、通过预设的震动方式呈现(例如“快乐”对应于两次连续震动，“愤怒”对应于三次连续震动)等，并且本领域的技术人员应能理解，上述呈现方式仅为举例，其他现有的或今后可能出现的呈现方式如能适用于本申请，也包含在本申请的保护范围之内，并在此以引用的方式包含于此。
此外，在一些实施例中，教师可在必要时对用于获取幼儿情绪信息的情绪模型进行修正，例如，当教师发觉幼儿的实际表现与用户设备呈现的幼儿情绪差别较大(例如在教师明确知晓幼儿当前情绪为“快乐”的情况下，系统提示幼儿情绪为“恐惧”)时，教师可对情绪模型进行修正，相应地，该用于在用户设备端识别幼儿情绪的方法包括：基于用户关于所述情绪模型的模型修正指令，调整所述情绪模型。其中，用户的模型修正指令中包括幼儿当前的面部表情特征信息及幼儿当前的幼儿情绪信息，它们用于修正情绪模型，例如将它们加入训练集，对情绪模型进行训练；幼儿当前的面部表情特征信息可由用户通过指定相应的待识别图像的方式给出。特别地，当情绪模型位于网络设备(例如云端服务器)，用户设备还需要将幼儿当前的面部表情特征信息(或幼儿当前的待识别图像)及幼儿当前的幼儿情绪信息发送至网络设备。
在一些实施例中，在上述步骤S11中，用户设备每隔预设时间间隔，接收摄像设备发送的关于待识别幼儿的待识别图像。例如，设置预设时间间隔为5分钟，则每隔5分钟获取关于待识别幼儿的待识别图像，从而可获得待识别图像序列，可用于获取幼儿的情绪随教学活动进行过程而发生的变化，从而进一步反映教学活动对幼儿情绪的影响；在幼儿能够自由活动的场景下，每隔预设时间间隔获取幼儿的待识别图像，还可减少幼儿活动对情绪判定的影响，这对生性活泼的幼儿尤为有效，例如当幼儿四处跑动时，可避免单一待识别图像只能包含某个幼儿的背部图像的情况发生，并减少摄像设备(例如监视摄像机)的数量以节省成本。
在此基础上，优选地，上述方法还包括：用户设备根据用户操作指令，在多个待识别图像中确定选定图像；用户设备基于所述选定图像及其对应的幼儿情绪信息，保存幼儿活动记录至所述用户设备本地或所述用户设备对应的网络设备。例如，当获取了幼儿的待识别图像序列，教师可在其终端设备上从该序列中选择所需要的某一张或多张待识别图像，这一张或多张待识别图像能较好地反映当前教学环境；终端设备在本地或对应的网络设备(例如云端服务器)上保存幼儿活动记录，该幼儿活动记录包含前述由教师选定的待识别图像，以及相应的幼儿情绪信息；幼儿活动记录还可包括教师添加的其他信息，例如教师的备注、对幼儿活动的评价等。场景相应的流程图请见图4、图5。
根据本申请的一个方面，提供了一种用于识别幼儿情绪的方法，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；
所述网络设备接收所述待识别图像，对所述待识别图像进行预处理，以获得预处理图像；
所述网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息，并向所述用户设备发送所述面部表情特征信息；
所述用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
根据本申请的另一个方面，提供了一种用于识别幼儿情绪的方法，其中，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，从所述待识别图像中提取所述待识别幼儿的面部表情特征信息，并向与所述用户设备相对应的网络设备发送所述面部表情特征信息；
所述网络设备接收所述面部表情特征信息，将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息，并向所述用户设备发送所述幼儿情绪信息；
所述用户设备接收所述幼儿情绪信息。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
权利要求书规定了各个实施例的各个方面；下列编号条款规定了各个实施例的这些和其他方面：
1.一种用于在用户设备端识别幼儿情绪的方法，其中，该方法包括：
a接收摄像设备发送的关于待识别幼儿的待识别图像；
b从所述待识别图像中提取所述待识别幼儿的面部表情特征信息；
c根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
2.根据条款1所述的方法，其中，所述方法还包括：
基于用户关于所述情绪模型的模型修正指令，调整所述情绪模型。
3.根据条款1所述的方法，其中，所述步骤b包括：
向与所述用户设备相对应的网络设备发送所述待识别图像；
接收所述网络设备发送的、从所述待识别图像中提取的所述待识别幼儿的面部表情特征信息。
4.根据条款1所述的方法，其中，所述步骤c包括：
接收与所述用户设备相对应的网络设备发送的情绪模型；
将所述面部表情特征信息输入所述情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
5.根据条款1所述的方法，其中，所述步骤c包括：
向与所述用户设备相对应的网络设备发送所述面部表情特征信息；
接收所述网络设备发送的、根据所述面部表情特征信息以及情绪模型确定的幼儿情绪信息，其中，所述幼儿情绪信息与所述面部表情特征信息对应。
6.根据条款4或5所述的方法，其中，所述方法还包括：
接收所述网络设备发送的、基于所述幼儿情绪信息的教学改进信息。
7.根据条款1所述的方法，其中，所述方法还包括：
根据所述幼儿情绪信息，确定相应的教学改进信息。
8.根据条款1所述的方法，其中，所述情绪模型基于以下至少任一项：
线性回归分类模型；
神经网络模型；
支持向量机模型；
隐马尔可夫模型。
9.根据条款1所述的方法，其中，所述步骤a包括：
每隔预设时间间隔，接收摄像设备发送的关于待识别幼儿的待识别图像。
10.根据条款9所述的方法，其中，所述方法还包括：
根据用户操作指令，在多个待识别图像中确定选定图像；
基于所述选定图像及其对应的幼儿情绪信息，保存幼儿活动记录至所述用户设备本地或所述用户设备对应的网络设备。
11.一种用于在网络设备端识别幼儿情绪的方法，其中，该方法包括：
接收对应的用户设备发送的待识别图像；
对所述待识别图像进行预处理，以获得预处理图像；
对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；
向所述用户设备发送所述面部表情特征信息。
12.根据条款11所述的方法，其中，所述预处理包括以下至少任一项：
对图像进行图像分割；
从图像中识别人脸区域；
对图像进行头部姿态校正；
归一化调整图像的大小；
归一化调整图像的灰度。
13.根据条款11或12所述的方法，其中，所述方法还包括：
接收所述用户设备基于所述面部表情特征信息确定的幼儿情绪信息；
根据所述幼儿情绪信息，确定教学改进信息；
向所述用户设备发送所述教学改进信息。
14.一种用于在网络设备端识别幼儿情绪的方法，其中，该方法包括：
接收对应的用户设备发送的关于待识别幼儿的面部表情特征信息；
将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息；
向所述用户设备发送所述幼儿情绪信息。
15.根据条款14所述的方法，其中，所述方法还包括：
根据所述幼儿情绪信息，确定教学改进信息；
向所述用户设备发送所述教学改进信息。
16.一种用于识别幼儿情绪的方法，其中，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；
所述网络设备接收所述待识别图像，对所述待识别图像进行预处理，以获得预处理图像；
所述网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息，并向所述用户设备发送所述面部表情特征信息；
所述用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
17.一种用于识别幼儿情绪的方法，其中，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，从所述待识别图像中提取所述待识别幼儿的面部表情特征信息，并向与所述用户设备相对应的网络设备发送所述面部表情特征信息；
所述网络设备接收所述面部表情特征信息，将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息，并向所述用户设备发送所述幼儿情绪信息；
所述用户设备接收所述幼儿情绪信息。

Claims (10)

1.一种用于在用户设备端识别幼儿情绪的方法，其中，该方法包括：
接收摄像设备发送的关于待识别幼儿的待识别图像；
从所述待识别图像中提取所述待识别幼儿的面部表情特征信息；
根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
2.根据权利要求1所述的方法，其中，所述从所述待识别图像中提取所述待识别幼儿的面部表情特征信息包括：
向与所述用户设备相对应的网络设备发送所述待识别图像；
接收所述网络设备发送的、从所述待识别图像中提取的所述待识别幼儿的面部表情特征信息。
3.根据权利要求1所述的方法，其中，所述根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息包括：
接收与所述用户设备相对应的网络设备发送的情绪模型；
将所述面部表情特征信息输入所述情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
4.根据权利要求1所述的方法，其中，所述根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息包括：
向与所述用户设备相对应的网络设备发送所述面部表情特征信息；
接收所述网络设备发送的、根据所述面部表情特征信息以及情绪模型确定的幼儿情绪信息，其中，所述幼儿情绪信息与所述面部表情特征信息对应。
5.根据权利要求1所述的方法，其中，所述接收摄像设备发送的关于待识别幼儿的待识别图像包括：
每隔预设时间间隔，接收摄像设备发送的关于待识别幼儿的待识别图像。
6.根据权利要求5所述的方法，其中，所述方法还包括：
根据用户操作指令，在多个待识别图像中确定选定图像；
基于所述选定图像及其对应的幼儿情绪信息，保存幼儿活动记录至所述用户设备本地或所述用户设备对应的网络设备。
7.一种用于在网络设备端识别幼儿情绪的方法，其中，该方法包括：
接收对应的用户设备发送的待识别图像；
对所述待识别图像进行预处理，以获得预处理图像；
对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息；
向所述用户设备发送所述面部表情特征信息。
8.一种用于在网络设备端识别幼儿情绪的方法，其中，该方法包括：
接收对应的用户设备发送的关于待识别幼儿的面部表情特征信息；
将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息；
向所述用户设备发送所述幼儿情绪信息。
9.一种用于识别幼儿情绪的方法，其中，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，并向与所述用户设备相对应的网络设备发送所述待识别图像；
所述网络设备接收所述待识别图像，对所述待识别图像进行预处理，以获得预处理图像；
所述网络设备对所述预处理图像进行特征提取，以获得待识别幼儿的面部表情特征信息，并向所述用户设备发送所述面部表情特征信息；
所述用户设备根据所述面部表情特征信息以及情绪模型，确定所述面部表情特征信息对应的幼儿情绪信息。
10.一种用于识别幼儿情绪的方法，其中，该方法包括：
用户设备接收摄像设备发送的关于待识别幼儿的待识别图像，从所述待识别图像中提取所述待识别幼儿的面部表情特征信息，并向与所述用户设备相对应的网络设备发送所述面部表情特征信息；
所述网络设备接收所述面部表情特征信息，将所述面部表情特征信息输入情绪模型，以确定所述待识别幼儿的幼儿情绪信息，并向所述用户设备发送所述幼儿情绪信息；
所述用户设备接收所述幼儿情绪信息。
CN201810008397.7A 2018-01-04 2018-01-04 一种用于识别幼儿情绪的方法 Pending CN108460324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810008397.7A CN108460324A (zh) 2018-01-04 2018-01-04 一种用于识别幼儿情绪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810008397.7A CN108460324A (zh) 2018-01-04 2018-01-04 一种用于识别幼儿情绪的方法

Publications (1)

Publication Number Publication Date
CN108460324A true CN108460324A (zh) 2018-08-28

Family

ID=63221282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810008397.7A Pending CN108460324A (zh) 2018-01-04 2018-01-04 一种用于识别幼儿情绪的方法

Country Status (1)

Country Link
CN (1) CN108460324A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117621A (zh) * 2018-08-30 2019-01-01 广东小天才科技有限公司 一种智能管控方法及家教设备
CN109766766A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 员工工作状况监控方法、装置、计算机设备和存储介质
CN109887234A (zh) * 2019-03-07 2019-06-14 百度在线网络技术（北京）有限公司 一种防儿童走失方法、装置、电子设备及存储介质
CN109920514A (zh) * 2019-03-11 2019-06-21 重庆科技学院 一种基于卡尔曼滤波神经网络的自闭症拥抱机体验评价方法及系统
CN110750154A (zh) * 2019-09-12 2020-02-04 武汉联影医疗科技有限公司 显示器控制方法、系统、装置、设备和存储介质
CN111079479A (zh) * 2018-10-19 2020-04-28 北京市商汤科技开发有限公司 小孩状态分析方法和装置、车辆、电子设备、存储介质
CN112115847A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112315463A (zh) * 2020-11-03 2021-02-05 四川大学华西医院 一种婴幼儿听力测试方法、装置及电子设备
CN113128260A (zh) * 2019-12-30 2021-07-16 苏州快乐脑信息技术有限公司 一种教学管理系统及方法
CN113781273A (zh) * 2021-08-19 2021-12-10 北京艺旗网络科技有限公司 一种在线教学交互方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160014540A1 (en) * 2014-07-08 2016-01-14 Imagination Technologies Limited Soundbar audio content control using image analysis
CN106127251A (zh) * 2016-06-23 2016-11-16 合肥工业大学 一种用于描述人脸特征变化的计算机视觉方法
CN106361356A (zh) * 2016-08-24 2017-02-01 北京光年无限科技有限公司 情绪监控和预警方法及系统
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN107085704A (zh) * 2017-03-27 2017-08-22 杭州电子科技大学 基于elm自编码算法的快速人脸表情识别方法
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160014540A1 (en) * 2014-07-08 2016-01-14 Imagination Technologies Limited Soundbar audio content control using image analysis
CN106127251A (zh) * 2016-06-23 2016-11-16 合肥工业大学 一种用于描述人脸特征变化的计算机视觉方法
CN106361356A (zh) * 2016-08-24 2017-02-01 北京光年无限科技有限公司 情绪监控和预警方法及系统
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN107085704A (zh) * 2017-03-27 2017-08-22 杭州电子科技大学 基于elm自编码算法的快速人脸表情识别方法
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117621A (zh) * 2018-08-30 2019-01-01 广东小天才科技有限公司 一种智能管控方法及家教设备
CN111079479A (zh) * 2018-10-19 2020-04-28 北京市商汤科技开发有限公司 小孩状态分析方法和装置、车辆、电子设备、存储介质
CN109766766A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 员工工作状况监控方法、装置、计算机设备和存储介质
CN109887234A (zh) * 2019-03-07 2019-06-14 百度在线网络技术（北京）有限公司 一种防儿童走失方法、装置、电子设备及存储介质
CN109920514A (zh) * 2019-03-11 2019-06-21 重庆科技学院 一种基于卡尔曼滤波神经网络的自闭症拥抱机体验评价方法及系统
CN110750154A (zh) * 2019-09-12 2020-02-04 武汉联影医疗科技有限公司 显示器控制方法、系统、装置、设备和存储介质
CN113128260A (zh) * 2019-12-30 2021-07-16 苏州快乐脑信息技术有限公司 一种教学管理系统及方法
CN112115847A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112115847B (zh) * 2020-09-16 2024-05-17 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法
CN112315463A (zh) * 2020-11-03 2021-02-05 四川大学华西医院 一种婴幼儿听力测试方法、装置及电子设备
CN112315463B (zh) * 2020-11-03 2023-01-10 四川大学华西医院 一种婴幼儿听力测试方法、装置及电子设备
CN113781273A (zh) * 2021-08-19 2021-12-10 北京艺旗网络科技有限公司 一种在线教学交互方法

Similar Documents

Publication Publication Date Title
CN108460324A (zh) 一种用于识别幼儿情绪的方法
US12045705B2 (en) Dynamic and intuitive aggregation of a training dataset
CN107632706B (zh) 多模态虚拟人的应用数据处理方法和系统
KR102444165B1 (ko) 적응적으로 회의를 제공하기 위한 장치 및 방법
EP4207080A1 (en) Avatar generation method, apparatus and device, and medium
US11521339B2 (en) Machine learning in augmented reality content items
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
KR20220008735A (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
CN109789550A (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
CN109410297A (zh) 一种用于生成虚拟化身形象的方法与装置
CN109310353A (zh) 经由计算机实现的代理传达信息
US12067898B2 (en) Interactive environments using visual computing and immersive reality
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN109324688A (zh) 基于虚拟人行为标准的交互方法及系统
CN109343695A (zh) 基于虚拟人行为标准的交互方法及系统
KR102353687B1 (ko) 영어 학습 서비스를 제공하는 서버 및 그 동작 방법
CN110837294A (zh) 一种基于眼球追踪的面部表情控制方法及系统
CN108364029A (zh) 用于生成模型的方法和装置
US11580682B1 (en) Messaging system with augmented reality makeup
CN109445573A (zh) 一种用于虚拟化身形象互动的方法与装置
US20220198828A1 (en) Method and apparatus for generating image
US20240356873A1 (en) Personal ai intent understanding
CN112911356B (zh) 一种虚拟现实vr视频的播放方法及相关设备
US20240355063A1 (en) Embeddings representing visual augmentations
KR20220078853A (ko) 증강현실 기반의 저작물을 생성하여 sns에 업로드하는 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828

RJ01 Rejection of invention patent application after publication