CN110334697A - 具有状态监控功能的智能桌、监控系统服务器及监控方法 - Google Patents

具有状态监控功能的智能桌、监控系统服务器及监控方法 Download PDF

Info

Publication number
CN110334697A
CN110334697A CN201910734611.1A CN201910734611A CN110334697A CN 110334697 A CN110334697 A CN 110334697A CN 201910734611 A CN201910734611 A CN 201910734611A CN 110334697 A CN110334697 A CN 110334697A
Authority
CN
China
Prior art keywords
image
attention
identification
state
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910734611.1A
Other languages
English (en)
Other versions
CN110334697B (zh
Inventor
涂列群
刘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Meizuo Intelligent Technology Co Ltd
Original Assignee
Kunshan Meizuo Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Meizuo Intelligent Technology Co Ltd filed Critical Kunshan Meizuo Intelligent Technology Co Ltd
Priority to CN202111001635.XA priority Critical patent/CN113792625A/zh
Publication of CN110334697A publication Critical patent/CN110334697A/zh
Application granted granted Critical
Publication of CN110334697B publication Critical patent/CN110334697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/20—Arrangements in telecontrol or telemetry systems using a distributed architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种具有状态监控功能的智能桌、监控系统服务器及监控方法，智能桌包括桌体、设置在桌体上的图像采集装置和AI识别模块，所述图像采集装置用于采集使用者的人脸图像，并将采集到的人脸图像输入AI识别模块，AI识别模块用于识别输入的图像中人脸是否处于注意力集中状态；所述智能桌还包括通信模块和/或本地提示装置，AI识别模块能够将注意力集中状态识别结果通过通信模块发送至后台服务器和/或第一客户端，或者，本地提示装置能够根据AI识别模块的注意力集中状态识别结果受到触发。本发明的智能桌基于AI识别技术实现对学习/工作中注意力进行监测，并在监测到注意力不集中时作出提示动作，以督促集中注意力，提高学习/工作效率。

Description

具有状态监控功能的智能桌、监控系统服务器及监控方法
相关申请的交叉引用
本申请要求2018年8月11日提交的申请号为201810911166.7的专利申请的优先权。
技术领域
本发明涉及智能书桌领域，尤其涉及一种具有状态监控功能的智能桌、监控系统服务器及监控方法。
背景技术
目前市面上的智能书桌集中在智能调节桌面、智能调光等方面作出改进，但是目前的智能书桌无法对伏案学习或者工作的人进行学习状态/工作状态的监督。因此，为了督促学生集中注意力，通常需要家长在旁监督提醒。
但是这种监督方式不仅花费家长的精力，而且使学生在学习的时候倍感压力而反感这种在旁监督的方式，反而不利于注意力的集中。
现有技术中缺少一种合理、有效的学习/工作状态监控系统和方法。
发明内容
为了解决现有技术的问题，本发明提供了一种具有状态监控功能的智能桌、监控系统服务器及监控方法，鉴于对上述过程的长期观察和思考，本设计人积极加以研究创新，以期创设一种空间环境优化装置及系统，使其更具有方便实用特点和产业上价值。所述技术方案如下：
一方面，本发明提供了一种具有状态监控功能的智能桌，包括桌体、设置在桌体上的图像采集装置和AI识别模块，所述图像采集装置用于采集使用者的人脸图像，并将采集到的所述人脸图像输入所述AI识别模块，所述AI识别模块用于识别输入的图像中人脸是否处于注意力集中状态，所述AI识别模块为由后台服务器生成并定期更新；
所述智能桌还包括通信模块和/或本地提示装置，所述AI识别模块能够将注意力集中状态识别结果通过通信模块发送至后台服务器和/或第一客户端，或者，所述本地提示装置能够根据所述AI识别模块的注意力集中状态识别结果受到触发。
进一步地，所述AI识别模块识别输入的图像中人脸是否处于注意力集中状态包括：利用眼球的对称性，根据图像中眼珠的球面弧度虚拟出眼球球心的位置，并结合图像中瞳孔中心的位置，虚拟出自眼球球心向瞳孔中心射出的目光射线，根据两眼目光射线汇聚的情况判断注意力是否集中，若所述目光射线没有焦点，或者所述目光射线的焦点在一定区域内停留的时间超过预设的时间范围，则判定为注意力不集中；若所述目光射线的焦点在预设的时间范围内发生移动，则判定为注意力集中。
进一步地，所述AI识别模块为完成训练的情绪识别神经网络模型，所述情绪识别神经网络模型的训练方法如下：
获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果；
定义损失函数，并对损失函数进行最小化操作；
所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。
进一步地，所述对损失函数进行最小化操作包括：
根据神经网络的所有权重和损失函数，采用反向传播法得到损失函数的梯度；
根据所述梯度，采用随机梯度下降法，更新神经网络的权重；
将更新的权重进行预设次数的迭代，完成对损失函数的最小化操作。
进一步地，所述本地提示装置包括控制模块与执行模块，所述控制模块与所述AI识别模块的输出端电连接，所述本地提示装置能够根据所述AI识别模块输出的注意力集中状态识别结果受到触发包括：
所述控制模块接收所述AI识别模块输出的注意力集中状态识别结果，并统计识别得到注意力集中的状态结果与注意力不集中的状态结果的数量，若注意力集中的状态结果所占比例低于预设的比例阈值，则所述控制模块触发所述执行模块发出提示信号，所述提示信号包括声、光和/或振动信号。
可选地，所述图像采集装置包括一个或多个摄像头。
进一步地，所述智能桌还包括下载有第二客户端的终端，所述第二客户端与所述第一客户端能够通过后台服务器进行消息传输；
所述第二客户端能够接收第一客户端发送的本地提示请求，下载有所述第二客户端的终端根据所述本地提示请求触发本地提示装置发出提示信号，所述提示信号包括声、光和/或振动信号。
另一方面，本发明公开了一种状态监控系统服务器，所述服务器接收通过无线通信方式上传的图像，所述服务器包括AI识别模块及处理器，所述AI识别模块用于识别接收的图像中人脸处于注意力集中状态或注意力不集中状态，所述处理器用于统计所述AI识别模块的识别结果，所述服务器将接收的图像和/或所述处理器的统计结果通过无线通信方式发送至相应的第一客户端。
进一步地，所述服务器还用于将第一客户端发出的消息通过无线通信的方式转发给指定的第二客户端。
再一方面，本发明提供了一种基于情绪识别的状态监控方法，包括以下步骤：
获取待监控对象的视频信息，并将视频按时序提取一个或多个帧图像；
将所述帧图像顺序输入预训练的情绪识别神经网络模型，所述情绪识别神经网络模型用于识别帧图像中人脸处于注意力集中状态或注意力不集中状态；
接收所述情绪识别神经网络模型输出的对应于每个帧图像的识别结果；
统计识别得到注意力集中的状态结果所占比例。
进一步地，在将视频按时序提取一个或多个帧图像之后还包括：
根据人脸识别算法，提取所述帧图像中的人脸区域，生成对应的人脸区域图像。
进一步地，所述情绪识别神经网络模型的训练方法如下：
获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果；
定义损失函数，并对损失函数进行最小化操作；
所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。
进一步地，所述统计识别得到注意力集中的状态结果所占比例之后还包括：
将统计结果发送至施行监控方的第一客户端；或者，
若所述注意力集中的状态结果所占比例低于预设的比例阈值，则向施行监控方的第一客户端发送提示消息，或者向被监控方的第二客户端发送提示消息；或者，
接收施行监控方的第一客户端发送的消息或请求，并将所述消息或请求转发至被监控方的第二客户端。
本发明还提供了一种基于人脸识别技术的工作、学习状态监测方法，包括面向人脸摄像的摄像系统，连接用于视频、图像处理的处理单元、连接数据管理的存储器，监测方法包括以下步骤：S1：通过摄像头采集人面部特征图像或视频；S2：依据人脸识别算法，提取出视频图像中的人脸区域，提取人脸区域内的特征点/量；S3：根据提取的人脸区域的特征判断工作、学习人员是否有分心，不在学习或工作状态，即注意力是否分散；
系统还包括网络系统，连接处理单元和存储器，转存或直接在网络系统的云端存储摄像系统资料；
步骤S2中，提取工作、学习状态中的视频图像中的人脸区域包括以下步骤：S2.1：对采集的工作、学习时的脸部视频进行图像取样，取样值为2帧或若干帧图片相互比较特征量或特征点，或者由用户自定义，时间范围在N秒或N帧进行比对；或者如果涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行对比；
S2.1之后S2.2：依据人脸识别原理，对图像中的人脸图像进行特征提取，将特征集入库存取；S2.3：如涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行比对，按照设定的阈值确认人员重复数量、消重、避免人员被重复统计；
所述方法还包括：建立受监控的工作、学习状态中的人的人脸图库，通过人脸比对从而识别每个人的专注度数据，从而判断某个特定人的专注度行为，分析其参数和特征；
所述处理器还连接一摄像头，用于拍摄学习或工作内容所在的区域；
所述方法还包括：导入状态监控过程数据，形成被监控人的过程专注度分布分析，具体包括：1、在网络段按照设定的阈值发布多级报警信号给上级管理员，特别是网络端的高级管理员；2、以时间值为维度进行数据关联；3、以时间为轴线，形成监控场景/区域内的过程专注度分布结果，完成被监控人工作、学习状态的监控。
本发明提供的技术方案带来的有益效果如下：
a.智能桌配置本地AI识别模块，实现离网状况下对学习者的学习状态进行监控，督促提高学习效率；
b.智能桌的通信模块连接云端服务器，实现云端监控和远程监控。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的具有状态监控功能的智能桌的模块框图；
图2是本发明实施例提供的状态监控系统的基本模块框图；
图3是本发明实施例提供的具有人脸特征提取功能的状态监控系统的模块框图；
图4是本发明实施例提供的基于情绪识别的状态监控方法的流程图；
图5是本发明实施例提供的状态监控方法中设有人脸特征提取步骤的流程图；
图6是本发明实施例提供的状态监控方法中第一客户端进行提醒控制的方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本发明的一个实施例中，提供了一种具有状态监控功能的智能桌，如图1所示，所述智能桌包括桌体、设置在桌体上的图像采集装置和AI识别模块，所述图像采集装置用于采集使用者的人脸图像，并将采集到的所述人脸图像输入所述AI识别模块，所述AI识别模块用于识别输入的图像中人脸是否处于注意力集中状态，所述AI识别模块由所述后台服务器生成并定期更新。
在所述AI识别模块完成训练的情况下，即使断网，所述智能桌也可以实现状态监控功能：所述智能桌上设有本地提示装置，所述本地提示装置包括控制模块与执行模块，所述控制模块与所述AI识别模块的输出端电连接，所述控制模块接收所述AI识别模块输出的注意力集中状态识别结果，并统计识别得到注意力集中的状态结果与注意力不集中的状态结果的数量，若注意力集中的状态结果所占比例低于预设的比例阈值，则所述控制模块触发所述执行模块发出提示信号，所述提示信号包括声、光和/或振动信号。优选地，所述图像采集装置等时间间隔地采集使用者的人脸图像，这样，使得统计的图片数量比值就可以类比于时间的比值，比如在40分钟内，所述图像采集装置采集了4800帧图像，或者拍摄得到的视频流可以按时序提取等时间间隔的4800帧图像，每一帧图像输入AI识别模块进行识别，所述AI识别模块的识别结果要么为1(表示注意力集中)，要么为0(表示注意力不集中)，所述控制模块统计在这4800帧图像中，识别为1的帧图像的数量为N，则其所占比例为N/4800，相当于注意力集中的时间占总时间(40分钟)的比例。根据专家分析，全程40分钟要保持注意力集中是基本上不可能的，按照专家的建议，可以制定注意力集中评价结果，比如40分钟内注意力集中的时间少于25分钟，则评价为注意力集中度不合格，注意力集中的时间多于或等于32分钟，则评价为注意力集中度优秀，等等。按照上述标准，若所述控制模块统计识别结果为1的帧图像的数量少于3000(即4800*25/40)帧，则所述控制模块触发执行模块发出提示信号，所述执行模块可以是指示灯、扬声器喇叭或者是振动电机等等，也可以是结合多种提示方式。
除了断网状态下进行监控提醒，在本发明的一个实施例中，可以实现在线监控提醒，在线状态下，所述后台服务器可以对所述AI识别模块进行模型更新优化，以不断提高模型识别的准确率。在线监控的过程如下：所述AI识别模块能够通过通信模块与后台服务器通信连接，并通过后台服务器与对应的监控方(比如家长)的手机客户端连接，最终将AI识别结果或者视频图像发送至家长的手机上，或者经过后台服务器对AI识别结果进行分析处理后，得到的分析结果(比如注意力集中曲线及集中度评价结果，比如以时间为轴线形成监控区域内的过程专注度分布曲线)发送至家长的手机上，或者将提醒消息发送至智能桌侧的第二客户端，以提醒被监控方集中注意力。下文中将监控方比如家长的手机客户端称为第一客户端，将集成在智能桌桌体上的或者学生自己的手机(或平板等其他终端)上的客户端称为第二客户端。需要说明的是，本发明的智能桌对于具体为书桌、工作桌还是其他类型的桌子不作特别限定。
下面对AI识别模块识别输入的图像中人脸是否处于注意力集中状态的具体方案进行说明：
第一种方案是：所述AI识别模块识别输入的图像中人脸是否处于注意力集中状态包括：利用眼球的对称性，根据图像中眼珠的球面弧度虚拟出眼球球心的位置，并结合图像中瞳孔中心的位置，虚拟出自眼球球心向瞳孔中心射出的目光射线，根据两眼目光射线汇聚的情况判断注意力是否集中，若所述目光射线没有焦点，或者所述目光射线的焦点在一定区域内停留的时间超过预设的时间范围，则判定为注意力不集中；若所述目光射线的焦点在预设的时间范围内发生移动，则判定为注意力集中。其中，针对所述目光射线没有焦点的情况，根据单帧图像即可判断出，而针对目光射线有焦点的情况，需要根据前后多帧图像才可以判断出注意力是否集中。
第二种方案，所述AI识别模块实际上为完成训练的情绪识别神经网络模型，所述AI识别模块由后台服务器训练得到，所述情绪识别神经网络模型的训练方法如下：
首先，获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果。具体地，所述训练样本的标定由专业的心理学家或教育学家进行标定，即对于某一帧图像，标定为1则表明该帧图像中的人脸反映出注意力集中的状态，标定为0则表明该帧图像中的人脸反映出注意力不集中的状态。完成标定的训练样本输入神经网络模型进行训练学习，训练样本越多，标定越准确，则最后训练完成后的情绪识别神经网络模型的识别准确性就越高。
其次，定义损失函数，并对损失函数进行最小化操作。具体地，根据神经网络的所有权重和损失函数，采用反向传播法得到损失函数的梯度；根据所述梯度，采用随机梯度下降法，更新神经网络的权重；将更新的权重进行预设次数的迭代，完成对损失函数的最小化操作。
再次，所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。其中，所述百分比阈值是人为设定的，设定值越高，则训练时间越长及训练难度越大，完成训练的模型的识别准确性也越大。
在本发明的一个优选实施例中，所述图像采集装置包括一个或多个摄像头，所述桌体具有可升降结构，所述摄像头随所述桌体桌面的升高而升高或者随所述桌体桌面的降低而降低。即所述摄像头与所述桌体桌面之间的高度保持不变，这样可以使得不管智能桌的使用者身高如何，当桌面调节到适合其的高度时，所述摄像头可以拍摄到其人脸图像。至于多个摄像头，其拍摄的方向均集中朝向同一个使用者，相比于单个摄像头，设置多个摄像头能够多个角度地拍摄人脸图像，其中，优选以正面拍摄的人脸图像为主要判断依据，侧面拍摄的图像为辅助判断依据，在正面图像能够较高准确度地判定注意力集中状态的前提下，侧拍图像可以不加以分析，只有当正面图像无法有大的把握判定正确的状态时，需要侧拍图像辅助分析，以提高情绪识别神经网络模型的识别结果的正确率。所述摄像头优选为大广角镜头，所述摄像头固定的位置可变。
在本发明的一个优选实施例中，所述智能桌还包括下载有第二客户端的终端(该终端可以为学生的智能终端，也可以为集成在智能桌上的智能终端)，当所述终端连接网络的前提下，所述第二客户端与所述第一客户端能够通过后台服务器进行消息传输，比如所述第二客户端能够与所述第一客户端进行语音和/或视频通讯，所述语音和/或视频通讯可以由第一客户端向第二客户端发起，也可以由第二客户端向第一客户端发起。或者，所述第二客户端能够接收第一客户端发送的本地提示请求，下载有所述第二客户端的终端根据所述本地提示请求触发本地提示装置发出提示信号，所述提示信号包括声、光和/或振动信号，比如，家长通过第一客户端查询到智能桌前学习的用户注意力不集中，则家长在第一客户端点击提醒按钮，后台服务器接收到该第一客户端的提醒动作，则向与第一客户端对应的第二客户端发送提示信号，比如使第二客户端接收到消息铃声或者控制所述第二客户端所在的终端播放提示动画或使其处于振动模式。
在本发明的一个实施例中，提供了一种状态监控系统服务器，如图2所示，所述服务器接收通过无线通信方式上传的图像，与上述实施例中AI识别模块设置在本地不同的是，本实施例中的AI识别模块设置在服务器端或云端，所述服务器包括AI识别模块及处理器，所述AI识别模块用于识别接收的图像中人脸处于注意力集中状态或注意力不集中状态，所述处理器用于统计所述AI识别模块的识别结果，所述服务器将接收的图像和/或所述处理器的统计结果通过无线通信方式发送至相应的第一客户端。在本发明的一个优选实施例中，所述状态监控系统如图3所示，其中所述处理器还用于根据人脸识别算法，提取所述帧图像中的人脸区域，生成对应的人脸区域图像，这样由于提取了人脸区域的图像，而放弃了人脸区域以外的图像，可以使得降低原图像的干扰，提高最终AI识别模块的识别准确率。另外，将AI识别模块设置在服务器端，由于服务器对应于多个智能桌的图像采集装置，因此，服务器可以接收多个智能桌上传的图像资源，使得服务器端的AI识别模块能够(相比于设置在智能桌本地的情况)具有更广泛的学习素材资源，以更好地自适应学习，提高模型精度和识别准确率。
本发明实施例的状态监控系统服务器还用于将第一客户端发出的消息通过无线通信的方式转发给指定的第二客户端，所述消息包括比如音频/视频通话请求、比如提醒集中注意力的信号，又或者是触发智能桌上的本地提示装置的触发信号，作为一种可实施例的技术方案，具体如下：当家长在第一客户端上发送智能提醒信号，所述服务器可以将该提醒信号发送至第二客户端，在第二客户端所在终端连接智能桌上的本地提示装置中的控制模块的输入端的前提下，所述控制模块可以根据所述第一客户端的智能提醒信号控制所述本地提示装置中的执行模块发出本地提示信号，比如所述执行模块为嵌置在桌面中的振动电机，实现预设时间的振动，即家长远程监控，当发现被监测对象注意力不集中的时候，按下手机客户端按钮，即可触发智能桌的桌面发生振动，以提醒被监测对象集中注意力，这对于注意力不集中的用户立马集中注意力非常有效。
在本发明的一个实施例中，提供了一种基于情绪识别的状态监控方法，参见图4，所述监控方法包括以下步骤：
S11、获取待监控对象的视频信息，并将视频按时序提取等时间间隔的一个或多个帧图像。具体地，所述视频信息由智能桌上的图像采集装置(摄像装置)摄取，能够摄取到包含被监控对象的人脸区域的图像。
S12、将所述帧图像顺序输入预训练的情绪识别神经网络模型，所述情绪识别神经网络模型用于识别帧图像中人脸处于注意力集中状态或注意力不集中状态。
S13、接收所述情绪识别神经网络模型输出的对应于每个帧图像的识别结果。
S14、统计识别得到注意力集中的状态结果所占比例。
在S14之后，一种是可以主动地将统计结果发送至施行监控方的第一客户端；另一种是等第一客户端发送查询请求之后，再将统计结果发送至施行监控方的第一客户端。
在S14之后，还可以执行S15、判断注意力集中的状态结果所占比例是否低于预设的比例阈值，若是，则执行S16、向施行监控方的第一客户端发送提示消息，或者直接向被监控方的第二客户端发送提示消息，如图4所示。
在本发明的一个优选实施例中，所述状态监控方法还包括：接收施行监控方的第一客户端发送的消息或请求；将所述消息或请求转发至被监控方的第二客户端，所述消息或请求包括比如音频/视频通话请求、比如提醒集中注意力的信号，又或者是触发智能桌上的本地提示装置的触发信号。
S12中的所述情绪识别神经网络模型的训练方法如下：
获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果；
定义损失函数，并对损失函数进行最小化操作；
所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。
具体参见上述智能桌实施例，在此不再赘述。
在本发明的一个更优选实施例中，所述基于情绪识别的状态监控方法如图5所示，包括以下步骤：
S21、获取待监控对象的视频信息，并将视频按时序提取等时间间隔的一个或多个帧图像。具体地，所述视频信息由智能桌上的图像采集装置(摄像装置)摄取，能够摄取到包含被监控对象的人脸区域的图像。
S22、根据人脸识别算法，提取所述帧图像中的人脸区域，生成对应的人脸区域的新的帧图像。
S23、将所述帧图像顺序输入预训练的情绪识别神经网络模型，所述情绪识别神经网络模型用于识别帧图像中人脸处于注意力集中状态或注意力不集中状态。
S24、接收所述情绪识别神经网络模型输出的对应于每个帧图像的识别结果。
S25、统计识别得到注意力集中的状态结果所占比例。
所述基于情绪识别的状态监控方法还可以包括以下步骤，如图6所示：
S31、接收施行监控方的第一客户端的提醒请求；
S32、将所述提醒请求转发至被监控方的第二客户端。
第二客户端在接收到提醒请求后，一种方式是在第二客户端上或者其所在终端上发出提示信息，提醒被监控方集中注意力，另一种方式是通过第二客户端所在终端将所述提醒请求发送至本地提示装置的控制模块，由控制模块控制所述本地提示装置的执行模块执行声、光和/或振动报警操作。
本发明公开了一种基于人脸识别技术的工作、学习状态监测系统及系统，特别涉及监督学生的及提高学习效率和工作人员效率用的一种基于人脸识别技术的工作、学习状态监测系统及系统。现有的技术方案中，对于学习的人的分析，直接通过监督的人旁观的方式去记录，偏重于听课人员的主观印象的人工方式；本技术采用比较新的技术，通过人脸识别来进行分析判断。从而改变依赖大量的人力参与，缺乏实际应用效果的方式。而目前市场上出现本方法在数据采集之后的计算分析上，缺乏科学性；在实际应用上，缺乏数据应用的关联分析，系统性缺失。鉴于对上述过程的长期观察和思考，本设计人积极加以研究创新，以期创设一种空间环境优化装置及系统，使其更具有方便实用特点和产业上价值。
本发明的首要目的是提供一种基于人脸识别技术的工作、学习状态监测系统，通过科学的大数据算法，为教学的学情分析或工作效率监控，提供了客观、真实的数据结果。本发明的进一步目的是供一种基于人脸识别技术的的工作、学习状态监测系统。本系统能够提供高效的学习环境和高效的工作环境，统计出被监控人的最佳学习时间和工作状态时间段。为解决上述技术问题，本发明的技术方案如下：在本发明的一个实施例中，提供了一种基于人脸识别技术的工作、学习状态监测方法，包括面向人脸摄像的摄像系统，连接用于视频、图像处理的处理单元、连接数据管理的存储器，所述监测方法包括以下步骤：S1：通过摄像头采集人面部特征图像或视频；S2：依据人脸识别算法，提取出视频图像中的人脸区域，提取人脸区域内的特征点/量；S3：根据提取的人脸区域的特征判断工作、学习人员是否有分心，不在学习或工作状态，即注意力是否分散。
较佳地，所述系统还包括网络系统，连接处理单元和存储器，转存或直接在网络系统的云端存储摄像系统资料；
较佳地，步骤S2中，提取工作、学习状态中的视频图像中的人脸区域包括以下步骤：S2.1：对采集的工作、学习时的脸部视频进行图像取样，取样值为2帧或若干帧图片相互比较特征量或特征点，或者由用户自定义，时间范围在N秒或N帧进行比对；或者如果涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行对比；
较佳地，S2.1之后S2.2：依据人脸识别原理，对图像中的人脸图像进行特征提取，将特征集入库存取；S2.3：如涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行比对，按照设定的阈值确认人员重复数量、消重、避免人员被重复统计；
较佳地，所述方法还包括：建立受监控的工作、学习状态中的人的人脸图库，通过人脸比对从而识别每个人的专注度数据，从而判断某个特定人的专注度行为，分析其参数和特征；
较佳地，所述处理器还连接一摄像头，用于拍摄学习或工作内容所在的区域；例如工作工具的电脑屏幕、学习时的桌面上书等，一般该摄像头设置在被监控对象的人脸前方，优选其设置位置可调。
较佳地，所述方法还包括：导入状态监控过程数据，形成被监控人的过程专注度分布分析，具体包括：1、在网络段按照设定的阈值发布多级报警信号给上级管理员，特别是网络端的高级管理员；2、以时间值为维度进行数据关联；3、以时间为轴线，形成监控场景/区域内的过程专注度分布结果，完成被监控人工作、学习状态的监控。
本发明的智能桌基于AI识别技术实现对学习/工作中注意力进行监测，并在监测到注意力不集中时作出提示动作，以督促集中注意力，提高学习/工作效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于人脸识别技术的工作、学习状态监测方法，包括面向人脸摄像的摄像系统，连接用于视频、图像处理的处理单元、连接数据管理的存储器，其特征在于，包括以下步骤：S1：通过摄像头采集人面部特征图像或视频；S2：依据人脸识别算法，提取出视频图像中的人脸区域，提取人脸区域内的特征点/量；S3：根据提取的人脸区域的特征判断工作、学习人员是否有分心，不在学习或工作状态，即注意力是否分散；
系统还包括网络系统，连接处理单元和存储器，转存或直接在网络系统的云端存储摄像系统资料；
步骤S2中，提取工作、学习状态中的视频图像中的人脸区域包括以下步骤：S2.1：对采集的工作、学习时的脸部视频进行图像取样，取样值为2帧或若干帧图片相互比较特征量或特征点，或者由用户自定义，时间范围在N秒或N帧进行比对；或者如果涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行对比；
S2.1之后S2.2：依据人脸识别原理，对图像中的人脸图像进行特征提取，将特征集入库存取；S2.3：如涉及到多个摄像头，则将不同摄像头之间采集到的特征集进行比对，按照设定的阈值确认人员重复数量、消重、避免人员被重复统计；
所述方法还包括：建立受监控的工作、学习状态中的人的人脸图库，通过人脸比对从而识别每个人的专注度数据，从而判断某个特定人的专注度行为，分析其参数和特征；
所述处理器还连接一摄像头，用于拍摄学习或工作内容所在的区域；
所述方法还包括：导入状态监控过程数据，形成被监控人的过程专注度分布分析，具体包括：1、在网络段按照设定的阈值发布多级报警信号给上级管理员，特别是网络端的高级管理员；2、以时间值为维度进行数据关联；3、以时间为轴线，形成监控场景/区域内的过程专注度分布结果，完成被监控人工作、学习状态的监控。
2.一种具有状态监控功能的智能桌，其特征在于，包括桌体、设置在桌体上的图像采集装置和AI识别模块，所述图像采集装置用于采集使用者的人脸图像，并将采集到的所述人脸图像输入所述AI识别模块，所述AI识别模块用于识别输入的图像中人脸是否处于注意力集中状态，所述AI识别模块为由后台服务器生成并定期更新；
所述智能桌还包括通信模块和/或本地提示装置，所述AI识别模块能够将注意力集中状态识别结果通过通信模块发送至后台服务器和/或第一客户端，或者，所述本地提示装置能够根据所述AI识别模块的注意力集中状态识别结果受到触发。
3.根据权利要求2所述的智能桌，其特征在于，所述AI识别模块识别输入的图像中人脸是否处于注意力集中状态包括：利用眼球的对称性，根据图像中眼珠的球面弧度虚拟出眼球球心的位置，并结合图像中瞳孔中心的位置，虚拟出自眼球球心向瞳孔中心射出的目光射线，根据两眼目光射线汇聚的情况判断注意力是否集中，若所述目光射线没有焦点，或者所述目光射线的焦点在一定区域内停留的时间超过预设的时间范围，则判定为注意力不集中；若所述目光射线的焦点在预设的时间范围内发生移动，则判定为注意力集中。
4.根据权利要求2所述的智能桌，其特征在于，所述AI识别模块为完成训练的情绪识别神经网络模型，所述情绪识别神经网络模型的训练方法如下：
获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果；
定义损失函数，并对损失函数进行最小化操作；
所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。
5.根据权利要求4所述的智能桌，其特征在于，所述对损失函数进行最小化操作包括：
根据神经网络的所有权重和损失函数，采用反向传播法得到损失函数的梯度；
根据所述梯度，采用随机梯度下降法，更新神经网络的权重；
将更新的权重进行预设次数的迭代，完成对损失函数的最小化操作。
6.根据权利要求2所述的智能桌，其特征在于，所述本地提示装置包括控制模块与执行模块，所述控制模块与所述AI识别模块的输出端电连接，所述本地提示装置能够根据所述AI识别模块输出的注意力集中状态识别结果受到触发包括：
所述控制模块接收所述AI识别模块输出的注意力集中状态识别结果，并统计识别得到注意力集中的状态结果与注意力不集中的状态结果的数量，若注意力集中的状态结果所占比例低于预设的比例阈值，则所述控制模块触发所述执行模块发出提示信号，所述提示信号包括声、光和/或振动信号。
7.根据权利要求2所述的智能桌，其特征在于，所述智能桌还包括下载有第二客户端的终端，所述第二客户端与所述第一客户端能够通过后台服务器进行消息传输；
所述第二客户端能够接收第一客户端发送的本地提示请求，下载有所述第二客户端的终端根据所述本地提示请求触发本地提示装置发出提示信号，所述提示信号包括声、光和/或振动信号。
8.一种状态监控系统服务器，其特征在于，所述服务器接收通过无线通信方式上传的图像，所述服务器包括AI识别模块及处理器，所述AI识别模块用于识别接收的图像中人脸处于注意力集中状态或注意力不集中状态，所述处理器用于统计所述AI识别模块的识别结果，所述服务器将接收的图像和/或所述处理器的统计结果通过无线通信方式发送至相应的第一客户端。
9.一种基于情绪识别的状态监控方法，其特征在于，包括以下步骤：
获取待监控对象的视频信息，并将视频按时序提取一个或多个帧图像；
将所述帧图像顺序输入预训练的情绪识别神经网络模型，所述情绪识别神经网络模型用于识别帧图像中人脸处于注意力集中状态或注意力不集中状态；
接收所述情绪识别神经网络模型输出的对应于每个帧图像的识别结果。
10.根据权利要求9所述的状态监控方法，其特征在于，在将视频按时序提取一个或多个帧图像之后还包括：
根据人脸识别算法，提取所述帧图像中的人脸区域，生成对应的人脸区域图像。
11.根据权利要求9所述的状态监控方法，其特征在于，所述情绪识别神经网络模型的训练方法如下：
获取训练样本，所述训练样本包括若干个人脸图像样本及对应注意力集中状态的预标定结果；
定义损失函数，并对损失函数进行最小化操作；
所述情绪识别神经网络模型根据所述训练样本及完成最小化的损失函数进行自学习，直至识别结果的准确率达到预设的百分比阈值，则得到完成训练的情绪识别神经网络模型。
12.根据权利要求9所述的状态监控方法，其特征在于，所述接收所述情绪识别神经网络模型输出的对应于每个帧图像的识别结果之后还包括：统计识别得到注意力集中的状态结果所占比例；及/或
将统计结果发送至施行监控方的第一客户端；或者，
若所述注意力集中的状态结果所占比例低于预设的比例阈值，则向施行监控方的第一客户端发送提示消息，或者向被监控方的第二客户端发送提示消息；或者，
接收施行监控方的第一客户端发送的消息或请求，并将所述消息或请求转发至被监控方的第二客户端。
CN201910734611.1A 2018-08-11 2019-08-09 具有状态监控功能的智能桌、监控系统服务器及监控方法 Active CN110334697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111001635.XA CN113792625A (zh) 2018-08-11 2019-08-09 一种具有状态监控功能的智能桌、状态监控系统及服务器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018109111667 2018-08-11
CN201810911166 2018-08-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111001635.XA Division CN113792625A (zh) 2018-08-11 2019-08-09 一种具有状态监控功能的智能桌、状态监控系统及服务器

Publications (2)

Publication Number Publication Date
CN110334697A true CN110334697A (zh) 2019-10-15
CN110334697B CN110334697B (zh) 2021-08-27

Family

ID=68149255

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910734611.1A Active CN110334697B (zh) 2018-08-11 2019-08-09 具有状态监控功能的智能桌、监控系统服务器及监控方法
CN202111001635.XA Pending CN113792625A (zh) 2018-08-11 2019-08-09 一种具有状态监控功能的智能桌、状态监控系统及服务器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111001635.XA Pending CN113792625A (zh) 2018-08-11 2019-08-09 一种具有状态监控功能的智能桌、状态监控系统及服务器

Country Status (3)

Country Link
US (1) US11836631B2 (zh)
CN (2) CN110334697B (zh)
WO (1) WO2020034902A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144321A (zh) * 2019-12-28 2020-05-12 北京儒博科技有限公司 专注度检测方法、装置、设备和存储介质
CN111414892A (zh) * 2020-04-09 2020-07-14 上海盛付通电子支付服务有限公司 直播中的信息发送方法
CN111862706A (zh) * 2020-07-27 2020-10-30 联想(北京)有限公司 一种基于在线教学的信息处理方法、系统及电子设备
CN112053224A (zh) * 2020-09-02 2020-12-08 中国银行股份有限公司 业务处理监控实现方法、装置及系统
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统
CN112380987A (zh) * 2020-11-13 2021-02-19 无锡臻永科技有限公司 有效学习时长统计系统
CN112613444A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种行为检测的方法、装置、电子设备及存储介质
CN112863254A (zh) * 2020-12-29 2021-05-28 河南库课数字科技有限公司 一种幼儿学前教育同步移动教育装置及方法
CN113008299A (zh) * 2021-02-22 2021-06-22 河北地质大学 在线学考一体化智慧课桌系统及相应的监测方法
CN113076831A (zh) * 2021-03-23 2021-07-06 上海燊睿信息科技有限公司 基于ai的教学提升的技术实现方法
CN113259734A (zh) * 2021-06-04 2021-08-13 重庆晋才富熙科技有限公司 针对交互场景的智能导播方法、装置、终端和存储介质
CN113727074A (zh) * 2021-08-31 2021-11-30 维沃移动通信有限公司 监控信息提示方法、装置和电子设备
CN113923404A (zh) * 2021-09-28 2022-01-11 宁波书写芯忆科技有限公司 一种智能专注力的监测系统
CN115032905A (zh) * 2022-05-27 2022-09-09 青岛海尔科技有限公司 场景下的提示方法及装置、存储介质及电子装置
CN117279170A (zh) * 2023-10-11 2023-12-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
JP7240916B2 (ja) * 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US20210125065A1 (en) * 2019-10-25 2021-04-29 Affectiva, Inc. Deep learning in situ retraining
JP7264028B2 (ja) * 2019-12-05 2023-04-25 トヨタ自動車株式会社 情報提供システム、情報提供方法、情報端末及び情報表示方法
CN111709362B (zh) * 2020-06-16 2023-08-08 百度在线网络技术（北京）有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
CN111966316B (zh) * 2020-08-25 2023-08-25 西安万像电子科技有限公司 图像数据的显示方法及装置、图像数据显示系统
CN112230760B (zh) * 2020-09-17 2022-09-20 淮南师范学院 一种基于用户操作及生物特征相结合的分析系统和方法
CN112306832A (zh) * 2020-10-27 2021-02-02 北京字节跳动网络技术有限公司 用户状态响应方法、装置、电子设备及存储介质
CN112699774B (zh) * 2020-12-28 2024-05-24 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113139439B (zh) * 2021-04-06 2022-06-10 广州大学 一种基于人脸识别的在线学习专注度评价方法及装置
CN113824967B (zh) * 2021-11-23 2022-02-15 环球数科集团有限公司 一种基于深度学习的视频压缩方法
CN114484791A (zh) * 2022-01-04 2022-05-13 青岛海尔空调器有限总公司 用于调节环境的方法及装置、空调器、存储介质
CN114915764B (zh) * 2022-05-17 2024-04-23 润芯微科技(江苏)有限公司 一种智能ai环视监控系统及使用方法
CN115841651B (zh) * 2022-12-13 2023-08-22 广东筠诚建筑科技有限公司 基于计算机视觉与深度学习的施工人员智能监测系统
CN116052260B (zh) * 2023-03-24 2023-06-30 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种天气会商视频会议点名方法及系统
CN116682052A (zh) * 2023-04-20 2023-09-01 北京北水融智教育科技有限公司 一种基于云服务的教学服务平台

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法
CN203637678U (zh) * 2013-12-05 2014-06-11 长安大学 一种驾驶员注意力分散预警装置
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106484124A (zh) * 2016-11-14 2017-03-08 北京英贝思科技有限公司 一种目光操控方法
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统
CN107369341A (zh) * 2017-06-08 2017-11-21 深圳市科迈爱康科技有限公司 教育机器人
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
US20180144651A1 (en) * 2015-07-13 2018-05-24 Mardoche Abdelhak Teaching method using pupil's own likeness as a virtual teacher
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201741931A (zh) * 2016-05-27 2017-12-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
CN106125614A (zh) * 2016-07-27 2016-11-16 重庆工程学院 智能书桌及其控制方法
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN107145864A (zh) * 2017-05-08 2017-09-08 湖南科乐坊教育科技股份有限公司 一种专注力评估方法及系统
CN107705807B (zh) * 2017-08-24 2019-08-27 平安科技（深圳）有限公司 基于情绪识别的语音质检方法、装置、设备及存储介质
CN108041819A (zh) * 2017-12-08 2018-05-18 四川逸览天下文化传播有限公司 适于家用的儿童学习智能辅助装置
CN108304779B (zh) * 2017-12-28 2021-11-26 合肥智权信息科技有限公司 一种学生教育管理的智能化调控方法
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法
CN203637678U (zh) * 2013-12-05 2014-06-11 长安大学 一种驾驶员注意力分散预警装置
US20180144651A1 (en) * 2015-07-13 2018-05-24 Mardoche Abdelhak Teaching method using pupil's own likeness as a virtual teacher
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106484124A (zh) * 2016-11-14 2017-03-08 北京英贝思科技有限公司 一种目光操控方法
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107369341A (zh) * 2017-06-08 2017-11-21 深圳市科迈爱康科技有限公司 教育机器人
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
段巨力: "《基于机器视觉的学生上课专注度的分析评测系统》", 《中国优秀硕士学位论文全文数据库社会科学Ⅱ辑》 *
许世峰: "《实时场景中学生注意力检测》", 《中国优秀博硕士学位论文全文数据库 (硕士)信息科技辑》 *
郑怡文 等；: "《基于大数据在课堂教学中对学生精准关注的实验研究》", 《现代教育科学》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144321A (zh) * 2019-12-28 2020-05-12 北京儒博科技有限公司 专注度检测方法、装置、设备和存储介质
CN111144321B (zh) * 2019-12-28 2023-06-09 北京如布科技有限公司 专注度检测方法、装置、设备和存储介质
CN111414892A (zh) * 2020-04-09 2020-07-14 上海盛付通电子支付服务有限公司 直播中的信息发送方法
CN111414892B (zh) * 2020-04-09 2023-05-12 上海盛付通电子支付服务有限公司 直播中的信息发送方法
CN111862706A (zh) * 2020-07-27 2020-10-30 联想(北京)有限公司 一种基于在线教学的信息处理方法、系统及电子设备
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统
CN112053224A (zh) * 2020-09-02 2020-12-08 中国银行股份有限公司 业务处理监控实现方法、装置及系统
CN112053224B (zh) * 2020-09-02 2023-08-18 中国银行股份有限公司 业务处理监控实现方法、装置及系统
CN112380987A (zh) * 2020-11-13 2021-02-19 无锡臻永科技有限公司 有效学习时长统计系统
CN112380987B (zh) * 2020-11-13 2021-12-17 圣凯诺服饰有限公司 有效学习时长统计系统
CN112613444A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种行为检测的方法、装置、电子设备及存储介质
CN112863254A (zh) * 2020-12-29 2021-05-28 河南库课数字科技有限公司 一种幼儿学前教育同步移动教育装置及方法
CN113008299A (zh) * 2021-02-22 2021-06-22 河北地质大学 在线学考一体化智慧课桌系统及相应的监测方法
CN113076831A (zh) * 2021-03-23 2021-07-06 上海燊睿信息科技有限公司 基于ai的教学提升的技术实现方法
CN113259734A (zh) * 2021-06-04 2021-08-13 重庆晋才富熙科技有限公司 针对交互场景的智能导播方法、装置、终端和存储介质
CN113259734B (zh) * 2021-06-04 2023-02-03 重庆晋才富熙科技有限公司 针对交互场景的智能导播方法、装置、终端和存储介质
CN113727074A (zh) * 2021-08-31 2021-11-30 维沃移动通信有限公司 监控信息提示方法、装置和电子设备
CN113923404A (zh) * 2021-09-28 2022-01-11 宁波书写芯忆科技有限公司 一种智能专注力的监测系统
CN115032905A (zh) * 2022-05-27 2022-09-09 青岛海尔科技有限公司 场景下的提示方法及装置、存储介质及电子装置
CN117279170A (zh) * 2023-10-11 2023-12-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及系统
CN117279170B (zh) * 2023-10-11 2024-03-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及系统

Also Published As

Publication number Publication date
CN110334697B (zh) 2021-08-27
US20210326585A1 (en) 2021-10-21
US11836631B2 (en) 2023-12-05
CN113792625A (zh) 2021-12-14
WO2020034902A1 (zh) 2020-02-20

Similar Documents

Publication Publication Date Title
CN110334697A (zh) 具有状态监控功能的智能桌、监控系统服务器及监控方法
CN105022981B (zh) 一种检测人眼健康状态的方法、装置及移动终端
KR101803081B1 (ko) 매장 관리 로봇
CN101383000B (zh) 信息处理装置和信息处理方法
EP3547714A1 (en) Voice processing method with distributed microphone array
CN109359521A (zh) 基于深度学习的课堂质量双向评估系统
CN105468147A (zh) 一种预防近视的智能设备、系统及方法
JP2009258175A (ja) 講義システムおよび集計システム
CN111443609B (zh) 一种基于物联网的实验室环境自适应调节方法
CN106792177A (zh) 一种电视控制方法及系统
JP7064346B2 (ja) 撮像装置、情報端末、撮像装置の制御方法、および情報端末の制御方法
CN110502099A (zh) 可靠地检测注视与刺激之间的关联的方法
CN205121478U (zh) 一种预防近视的智能设备及系统
CN109543633A (zh) 一种人脸识别方法、装置、机器人和存储介质
CN107918726A (zh) 距离感应方法、设备及存储介质
CN111128157A (zh) 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调
CN109474785A (zh) 电子装置和电子装置的焦点追踪拍照方法
CN106341380A (zh) 一种用于对用户进行远程身份认证的方法、装置和系统
CN111352349A (zh) 对老年人居住环境进行信息采集和调节的系统及方法
CN114343574A (zh) 一种睡眠质量评估方法及客户端、服务器、存储介质
CN109934097A (zh) 一种基于人工智能的表情和心理健康管理系统
JP2020113981A (ja) 補聴器システム
CN109284740A (zh) 对鼠情进行统计的方法、装置、设备以及存储介质
CN114339149A (zh) 电子设备及学习监督方法
CN114529987A (zh) 高校用基于云数据在线教育的智能教学监测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Tu Liequn

Inventor before: Tu Liequn

Inventor before: Liu Liang

GR01 Patent grant
GR01 Patent grant