CN111436956A - 一种注意力检测方法、装置、设备及存储介质 - Google Patents
一种注意力检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111436956A CN111436956A CN201910043884.1A CN201910043884A CN111436956A CN 111436956 A CN111436956 A CN 111436956A CN 201910043884 A CN201910043884 A CN 201910043884A CN 111436956 A CN111436956 A CN 111436956A
- Authority
- CN
- China
- Prior art keywords
- attention
- user
- video frame
- value
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000012549 training Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Developmental Disabilities (AREA)
- Engineering & Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Educational Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种注意力检测方法、装置、设备及存储介质，首先通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了使用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
Description
技术领域
本公开实施例涉及智能教育技术领域，尤其涉及一种注意力检测方法、装置、设备及存储介质。
背景技术
随着社会的进步，人们对教育的重视程度也越来越高，各种具有智能学习功能的教育设备和教育机器人大量推出。
注意力是否集中是决定学习效率高低的关键性因素。儿童使用教育设备学习时，往往缺乏监督，儿童会出现注意力不集中的情况，导致学习效率下降的，目前常用的监督方式就是家长通过对儿童的行为进行观察，确定儿童是否在集中注意力学习。然而，家长通过观察确定儿童是否认真学习，具有一定的主观性。
发明内容
本公开实施例提供一种注意力检测方法、装置、设备及存储介质，实现客观的反映用户的注意力程度。
第一方面，本公开实施例提供了一种注意力检测方法，所述方法包括：
通过点读设备的摄像头采集用户的当前视频；
解码所述当前视频，得到对应的视频帧；
将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；
根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
进一步的，在将所述对应的视频帧输入预先训练的注意力检测模型之前，还包括：
获取样本图片，其中所述样本图片包括：注意力集中样本图片和注意力不集中样本图片；
利用所述样本图片进行训练，确定注意力检测模型。
进一步的，所述将所述对应的视频帧输入预先训练的注意力检测模型包括：
识别所述视频帧中是否包含用户的脸部图像和肢体图像；
若所述视频帧中包含所述用户的脸部图像和肢体图像，则将所述视频帧输入预先训练的注意力检测模型。
进一步的，所述根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中，包括：
如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中；
如果所述注意力数值大于等于注意力阈值，则确定所述用户的注意力集中。
进一步的，如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中之后，还包括：
检测所述用户的注意力不集中的累积时长；
若所述累积时长超过预设时长，则向所述用户发送提醒信息。
第二方面，本公开实施例还提供了一种注意力检测装置，所述装置包括：
采集模块，用于通过点读设备的摄像头采集用户的当前视频；
解码模块，用于解码所述当前视频，得到对应的视频帧；
输入模块，用于将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；
确定模块，用于根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
进一步的，所述装置还包括：
获取模块，用于获取样本图片，其中所述样本图片包括：注意力集中样本图片和注意力不集中样本图片；
训练模块，用于利用所述样本图片进行训练，确定注意力检测模型。
进一步的，所述输入模块包括：
识别单元，用于识别所述视频帧中是否包含用户的脸部图像和肢体图像；
输入单元，用于若所述视频帧中包含所述用户的脸部图像和肢体图像，则将所述视频帧输入预先训练的注意力检测模型。
进一步的，所述确定模块，具体用于如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中；如果所述注意力数值大于等于注意力阈值，则确定所述用户的注意力集中。
进一步的，所述装置还包括：
检测模块，用于检测所述用户的注意力不集中的累积时长；
发送模块，用于若所述累积时长超过预设时长，则向所述用户发送提醒信息。
第三方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如上述第一方面中任一所述的注意力检测方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如上述第一方面中任一所述的注意力检测方法。
本公开实施例提供了一种注意力检测方法、装置、设备及存储介质，通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
附图说明
图1是本公开实施例提供的一种注意力检测方法的流程图；
图2是本公开实施例提供的另一种注意力检测方法的流程图；
图3是本公开实施例提供用户使用点读设备的结构示意图；
图4是本公开实施例提供的一种注意力检测装置的结构框图；
图5是本公开实施例提供的一个注意力不集中的示意图；
图6是本公开实施例提供的另一个注意力不集中的示意图；
图7是本公开实施例提供的一种注意力检测装置的结构框图；
图8是本公开实施例提供的一种电子设备的结构框图。
具体实施方式
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
实施例
图1是本公开实施例提供的一种注意力检测方法的流程图，本实施例可适用于检测用户注意力的情况，该方法可以由注意力检测装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，该电子设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该电子设备需配置有摄像头，以具备拍摄功能，该电子设备可以是智能手机、平板或照相机、点读设备等。本实施例中以该电子设备是点读设备为例进行说明。
S110、通过点读设备的摄像头采集用户的当前视频。
在本实施例中，点读设备又称为智能电脑读书机、同步读书机、智能点读机等，是现代数码信息技术与最新教学需求完美结合的一种有声互动的学习产品，它能将文字化的书本教材变成能按学习需要任意发声的有声教材。点读设备一般由书写面板、点读笔和处理器构成。
目前常用的点读设备的工作原理是利用横坐标与纵坐标扫描的方法得到点读笔在书写面板上点读的位置(即x与y坐标值)，处理器接收到点读指令，并将书写面板上点读坐标转换成相应书本坐标，读出相应的语音文件，实现了点读功能。进一步的，获取点读位置的方式通常有两种，一种是采用在书写面板内放置点阵式的压力传感器获取点读笔在书写面板上点读的位置。另一种是在书本正前方的合适位置放置摄像头，实时获取点读笔和书本的视频图像，进而获取点读笔在书写面板上点读的位置。需要说明的是，本实施例中仅对点读设备的工作原理进行说明，而非限定，可以根据实际情况对点读设备的工作原理合理的进行选择或者设计。
进一步的，点读设备的摄像头是指安装在书写面板指定位置的摄像头。所述摄像头用于采集点读用户的当前视频。
进一步的，点读设备包括至少一个安装在书写面板上的摄像头。如果点读设备未安装摄像头，则在书写面板指定位置安装摄像头。如果点读设备有获取点读位置的摄像头，可以采用该摄像头采集用户的当前视频。也可以在书写面板指定位置安装摄像头采集用户的当前视频。
进一步的，可以根据实际情况设计摄像头的安装位置和数量，例如：可以在书写面板的不同位置安装多个摄像头，以采集不同角度下点读用户的当前视频。又如：可以将摄像头优选为双目摄像头，双目摄像头可以从采集人体立体视频，以使获取到的当前坐姿参数更加精确，提高检测的准确性。
进一步的，点读设备的摄像头可以是实时的采集用户的当前视频，也可以是间隔预设时间采集用户的当前视频。进一步的，间隔10秒采集一次当前视频。进一步的，间隔10秒采集一次当前视频，视频时长优选为0.5秒。即间隔10 秒采集0.5秒的当前视频。
进一步的，通过点读设备的摄像头采集用户的当前视频具体可以理解为点读设备的摄像头采集一张一张的原始图片，将原始图片进行缩放处理，得到每个原始图片的缩略图片之后，对每个缩略图片按照采集的时间顺序进行编码，得到用户的当前视频。即当前视频可以认为是由多个图像按照一定的时间顺序组成的集合。
S120、解码当前视频，得到对应的视频帧。
在本实施例中，读取摄像头采集的当前视频，并对当前视频进行解码，得到对应的视频帧。进一步的，当前视频至少包括视频、音频和/或脚本。视频可以认为是一张一张快速播放的图片，由于肉眼的视觉暂留现象，才使人感觉画面是连续的。因此，将当前视频进行解码，可以得到任一帧视频，一个视频帧包括一张图片。将视频解码之后，可以得到有多个图像组成按一定顺序排列的视频帧。
需要说明的是，视频解码技术是视频识别领域常用的一种策略，本实施例只不再对视频解码技术进行赘述，可以根据实际情况选择或者设计合理的视频解码技术。本实施例中仅对视频解码技术进行说明，而非限定。
S130、将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值。
在本实施例中，注意力检测模型可以理解为输入一系列的视频帧可以输出一个注意力数值的神经网络。
在本实施例中，将对应的视频帧输入预先训练的注意力检测模型之前，需要搭建和训练注意力检测模型。进一步的，搭建和训注意力检测模型主要包括如下步骤：获取大量的用户视频集合或者图片集合，在图像数据库中训练出图像识别网络；使用用户视频集合或者图片集合对图像识别网络进行进一步的优化，得到注意力检测模型。
进一步的，用户视频集合可以理解为通过人工筛选的方法选出的用户注意力集中和用户注意力不集中的视频集合。用户图片集合可以理解为通过人工筛选的方法选出的用户注意力集中和用户注意力不集中的图片集合。需要说明的是，如果获取到的是图片集合，则直接输入图像识别网络进行训练。如果获取到的是视频集合，则需要先对视频进行解码，得到视频帧，将视频帧输入图像识别网络进行训练。
进一步的，用户视频或者图片的类型和数量越多，注意力检测模型得到的注意力数值越准确，注意力检测结果更加有效。
根据神经网络在图像数据库中训练出图像识别网络。所述神经网络包括但不限于基于三维(three dimensions，3D)卷积网络的C3D，交互式三维 (Interactive threedimensions，I3D)卷积网络等、基于光流和空间的双流 (Two-Stream，2-Stream)方法的时域分段网络(Temporal Segment Networks， TSN)，以及基于循环神经网络(RecurrentNeural Network，RNN)的各种图像识别网络。进一步的，可以用Kinetics数据集或Youtube-8M数据集中视频进行训练，得到注意力检测模型。在本实施例中，不对注意力检测模型的训练方法进项限定，可以采用现有的任意的模型训练方法，训练得到注意力检测模型。
S140、根据注意力数值与注意力阈值，确定用户的注意力是否集中。
在本实施例中，注意力数值是指注意力检测模型的输出结果，注意力阈值可以理解为标识用户的注意力是否集中，或者集中等级的数值。
进一步的，注意力数值的数量可以根据实际情况进行设计。示例性的，注意力数值可以是两个数值，相应的，注意力阈值为注意力数值中的其中一个值。如果注意力数值与注意力阈值相匹配，则确定用户注意力集中，如果注意力数值与注意力阈值不匹配，则确定用户注意力不集中。例如：注意力阈值为1，表示用户的注意力集中。如果当前视频对应的注意力数值为1，则注意力数值与注意力阈值相匹配，表示用户正在注意力集中，在认真做作业。如果当前视频对应的注意力数值不是1，则注意力数值与注意力阈值不匹配，表示用户注意力不集中，没有认真做作业。
示例性的，注意力数值也可以是一系列的数值，例如可以是0—100的数值，此时，对应的注意力阈值可以是一个，也可以是多个。若所述注意力阈值是一个，可以选择中间数值作为注意力阈值，例如：注意力阈值优选为50。进一步的，注意力数值大于注意力阈值，则表示用户正在注意力集中，在认真做作业。注意力数值小于注意力阈值，则表示用户注意力不集中，没有认真做作业。
本公开实施例提供了一种注意力检测方法，通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
图2是本公开实施例提供的另一种注意力检测方法的流程图。本实施例是在上述实施例的基础上，对注意力检测方法作进一步地具体化。如图2所示，本实施例中的注意力检测方法具体包括如下步骤：
S210、通过点读设备的摄像头采集用户的当前视频。
在本实施例中，点读设备的摄像头可以是实时的采集用户的当前视频，也可以是间隔预设时间采集用户的当前视频。进一步的，间隔10秒采集一次当前视频。进一步的，间隔10秒采集一次当前视频，视频时长优选为0.5秒。即间隔10秒采集0.5秒的当前视频。图3是本公开实施例提供用户使用点读设备的结构示意图；如图3所示，在用户使用点读设备的过程中，点读设备的摄像头 301可以采集到用户使用点读设备学习时的视频。
S220、解码当前视频，得到对应的视频帧。
S230、识别视频帧中是否包含用户的脸部图像和肢体图像。
进一步的，在本实施例中，图4是本公开实施例提供用户使用点读设备的正面示意图，如图4所示，脸部图像包括眼睛401、嘴巴402，耳朵403等。肢体图像包括胸部404、肩部405、肘部406和手部407等。
进一步的，采用人脸检测模型和肢体检测模型检测视频帧中是否包含用户的脸部图像和肢体图像。所述人脸检测模型由大量的人脸图像训练而成，肢体检测模型由大量的人体肢体图像训练而成。需要说明的是，本实施例中仅对人脸检测模型和肢体检测模型进行说明，而非限定。
在本实施例中，人脸检测模型可以由常见的人脸检测网络来构建，例如：多任务级联卷积网络((Multi-task Cascaded Convolutional Networks,MTCNN)。进一步的，利用人脸检测模型检测出视频帧中每一帧图像中的人脸图像包括：先利用MTCNN网络中的建议网络P-Net筛选出候选人脸区域及对应的候选人脸区域边框，再利用极大值抑制算法对高度重叠的候选人脸区域边框进行合并；然后利用MTCNN算法中的完善网络R-Net对候选人脸区域进行细化，得到候选人脸图像，同时利用边界框回归算法和和非极大值抑制算法删除错误的候选人脸区域边框；利用MTCNN算法中的输出网络0-Net过滤余下的候选人脸区域边框，将人脸从候选人脸图像中检测出来。
优选的，人脸检测模型可以直接使用公开的预训练好的人脸检测模型，也可以在人脸图像集合上重新训练一个人脸检测模型，使之在识别人脸的的准备度更高。
需要说明的，本实施例中仅仅提供了一种根据人脸检测模型，识别视频帧中人脸图像的方法，本实施例中仅对识别出视频帧中的人脸图像和肢体图像的技术进行简单说明，而非限定。
进一步的，在将所述对应的视频帧输入预先训练的注意力检测模型之前，还包括：获取样本图片，其中样本图片包括：注意力集中样本图片和注意力不集中样本图片；利用所述样本图片进行训练，确定注意力检测模型。
需要说明的是，获取样本图片，利用所述样本图片进行训练，确定注意力检测模型的过程可以由点读设备出厂之前，由技术人员来执行训练过程，也可以在点读设备中设置简单的训练网络，由用户来进行训练。
在本实施例中，获取样本图片可以理解为技术人员在视频库或者图像库中获取到的大量的图片，或者由视频解码得到的视频帧。进一步的，技术人员可以对视频库或者图像库中获取到的大量的图片进行进一步的筛选，得到更多包含用户认真学习或者不认真学习的。
进一步的，样本图片包括：注意力集中样本图片和注意力不集中样本图片，如图4所示，图4中的用户眼睛直视点读设备，双手放在桌面上，是一个用户注意力集中的图片。图5是本公开实施例提供的一个注意力不集中的示意图，如图5所示，仅包含用户的半个脸部图像，是一个用户注意力不集中的图片。图6是本公开实施例提供的另一个注意力不集中的示意图，如图6所示，不包含用户的手部图像，是一个用户注意力不集中的图片。需要说明的是，本实施例中仅对注意力集中图片和注意力不集中图片进行说明，而非限定，可以根据实际情况获取更多种用户注意力集中和注意力不集中的图片。
S240、若视频帧中包含用户的脸部图像和肢体图像，则将视频帧输入预先训练的注意力检测模型，得到注意力数值。
本实施例中是根据视频帧中用户的脸部图像和肢体图像来确定用户是否在注意力集中。因此，需要先识别视频帧中是否包含用户的脸部图像和肢体图像，如果视频帧中包含用户的脸部图像和肢体图像，则表示用户正在使用点读设备，需要进一步判断用户的注意力是否集中。如果视频帧中不包含用户的脸部图像和肢体图像，则说明点读设备处于开机状态，但是用户并未使用点读设备，此时，则停止将视频帧输入到注意力检测模型中。这样，可以避免用户不使用点读设备时，点读设备检测注意力导致的电量消耗。
S250、判断注意力数值是否大于注意力阈值，若是，则执行S260，若否，则执行S270。
在本实施例中，注意力数值是指注意力检测模型的输出结果，注意力阈值可以理解为标识用户的注意力是否集中数值。注意力数值也可以是一系列的数值，例如可以是0—100的数值，此时，对应的注意力阈值可以是一个，也可以是多个。若注意力阈值是一个，可以选择中间数值作为注意力阈值，优选的，注意力阈值优选为50。
S260、确定用户的注意力集中。
在本实施例中，如果注意力数值大于注意力阈值，则表示用户正在注意力集中，在认真做作业。
S270、确定用户的注意力不集中。
如果注意力数值小于注意力阈值，则表示用户注意力不集中，没有认真做作业。
S280、检测用户的注意力不集中的累积时长。
在本实施例中，用户出现注意力不集中时，用户可能会发现之后自己进行调整。若是只要出现一次注意力不集中，便进行一次提醒，提醒用户的次数过于频繁可能会影响用户的使用体验。因此，如果用户的注意力不集中，则检测用户的注意力不集中的累积时长。
需要说明的是，若点读设备是实时采集用户的当前视频，累积时长可以通过点读设备内置的计时器统计，即用户的注意力不集中时触发计时器的开关，计时器开始计时。还可以在用户的注意力不集中时获取不良坐姿开始时间点，以及当前时间点，将当前时间点减去开始时间点，得到累积时长。
进一步的，若点读设备是间隔时长采集用户的当前视频，则可以通过点读设备内置的计数器统计注意力不集中连续出现的次数，间隔时长为注意力不集中连续出现的次数与间隔时长的乘积。示例性的，间隔时长为10秒，连续三次视频中均存在注意力不集中，则注意力不集中的累积时长为30秒。
S290、若累积时长超过预设时长，则向用户发送提醒信息。
在本实施例中，预设时长是指预先设定的时长，预设时长用于用户自身发现自己注意力不集中之后，自行进行调整。预设时长为30秒。
注意力不集中的累积时长超过30秒，则向用户发送提醒信息可以理解为，用户的注意力不集中超过30秒，则发送提醒信息，以提醒用户集中注意力学习。
进一步的，本实施例中通过点读设备的语音播放系统提醒用户，即累积时长超过预设时长，点读设备的语音播放系统播放语音，提醒用户认真学习。示例性的，可以播放“请认真学习”或者用户设置的其他语音信息。
进一步的，本实施例中还可以通过点读设备的显示屏提醒用户，即累积时长超过预设时长，点读设备显示屏显示“请认真学习”的字样，或者用户设置的其他文字，以提醒用户认真学习。
本公开实施例提供了一种注意力检测方法，通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
图7是本公开实施例提供的一种注意力检测装置的结构框图，本实施例可适用于检测用户注意力的情况，该方法可以由注意力检测装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，该电子设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该电子设备需配置有摄像头，以具备拍摄功能，该电子设备可以是智能手机、平板或照相机、点读设备等。本实施例中以该电子设备是点读设备为例进行说明。如图7所示，该装置具体包括：采集模块510、解码模块520、输入模块 530和确定模块540。其中：
采集模块510，用于通过点读设备的摄像头采集用户的当前视频；
解码模块520，用于解码所述当前视频，得到对应的视频帧；
输入模块530，用于将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；
确定模块540，用于根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
本公开实施例提供了一种注意力检测装置，通过点读设备的摄像头采集用户的当前视频，然后解码当前视频，得到对应的视频帧，然后将对应的视频帧输入预先训练的注意力检测模型，得到注意力数值，最后根据注意力数值与注意力阈值，确定用户的注意力是否集中。本实施例提供的技术方案通过摄像头采集用户的当前视频，并解码该视频得到视频帧，将视频帧输入注意力检测模型，得到注意力数值，根据注意力数值确定用户的注意力是否集中，实现了用摄像头采集的视频确定用户注意力是否集中，能够客观的反映用户的注意力程度，避免了家长通过观察确定儿童是否注意力集中具有主观性的问题。
进一步的，所述装置还包括：
获取模块，用于获取样本图片，其中所述样本图片包括：注意力集中样本图片和注意力不集中样本图片；
训练模块，用于利用所述样本图片进行训练，确定注意力检测模型。
进一步的，所述输入模块530包括：
识别单元，用于识别所述视频帧中是否包含用户的脸部图像和肢体图像；
输入单元，用于若所述视频帧中包含所述用户的脸部图像和肢体图像，则将所述视频帧输入预先训练的注意力检测模型。
进一步的，所述确定模块540，具体用于如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中；如果所述注意力数值大于等于注意力阈值，则确定所述用户的注意力集中。
进一步的，所述装置还包括：
检测模块，用于检测所述用户的注意力不集中的累积时长；
发送模块，用于若所述累积时长超过预设时长，则向所述用户发送提醒信息。
本公开实施例提供的注意力检测装置可执行本公开任意实施例所提供的注意力检测方法，具备执行方法相应的功能模块和有益效果。
图8是本公开实施例提供的一种电子设备的结构框图。参考图8，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP (便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O) 接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609 从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的拍摄方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：通过点读设备的摄像头采集用户的当前视频；解码所述当前视频，得到对应的视频帧；将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种注意力检测方法，其特征在于，包括：
通过点读设备的摄像头采集用户的当前视频；
解码所述当前视频，得到对应的视频帧；
将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；
根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
2.根据权利要求1所述的注意力检测方法，其特征在于，在将所述对应的视频帧输入预先训练的注意力检测模型之前，还包括：
获取样本图片，其中所述样本图片包括：注意力集中样本图片和注意力不集中样本图片；
利用所述样本图片进行训练，确定注意力检测模型。
3.根据权利要求1所述的注意力检测方法，其特征在于，所述将所述对应的视频帧输入预先训练的注意力检测模型包括：
识别所述视频帧中是否包含用户的脸部图像和肢体图像；
若所述视频帧中包含所述用户的脸部图像和肢体图像，则将所述视频帧输入预先训练的注意力检测模型。
4.根据权利要求1所述的注意力检测方法，其特征在于，所述根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中，包括：
如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中；
如果所述注意力数值大于等于注意力阈值，则确定所述用户的注意力集中。
5.根据权利要求4所述的注意力检测方法，其特征在于，如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中之后，还包括：
检测所述用户的注意力不集中的累积时长；
若所述累积时长超过预设时长，则向所述用户发送提醒信息。
6.一种注意力检测装置，其特征在于，包括：
采集模块，用于通过点读设备的摄像头采集用户的当前视频；
解码模块，用于解码所述当前视频，得到对应的视频帧；
输入模块，用于将所述对应的视频帧输入预先训练的注意力检测模型，得到注意力数值；
确定模块，用于根据所述注意力数值与注意力阈值，确定所述用户的注意力是否集中。
7.根据权利要求6所述的注意力检测装置，其特征在于，所述装置还包括：
获取模块，用于获取样本图片，其中所述样本图片包括：注意力集中样本图片和注意力不集中样本图片；
训练模块，用于利用所述样本图片进行训练，确定注意力检测模型。
8.根据权利要求6所述的注意力检测装置，其特征在于，所述输入模块包括：
识别单元，用于识别所述视频帧中是否包含用户的脸部图像和肢体图像；
输入单元，用于若所述视频帧中包含所述用户的脸部图像和肢体图像，则将所述视频帧输入预先训练的注意力检测模型。
9.根据权利要求6所述的注意力检测装置，其特征在于，所述确定模块，具体用于如果所述注意力数值小于注意力阈值，则确定所述用户的注意力不集中；如果所述注意力数值大于等于注意力阈值，则确定所述用户的注意力集中。
10.根据权利要求9所述的注意力检测装置，其特征在于，还包括：
检测模块，用于检测所述用户的注意力不集中的累积时长；
发送模块，用于若所述累积时长超过预设时长，则向所述用户发送提醒信息。
11.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如权利要求1-6中任一所述的注意力检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-6中任一所述的注意力检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043884.1A CN111436956A (zh) | 2019-01-17 | 2019-01-17 | 一种注意力检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043884.1A CN111436956A (zh) | 2019-01-17 | 2019-01-17 | 一种注意力检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111436956A true CN111436956A (zh) | 2020-07-24 |
Family
ID=71626975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910043884.1A Pending CN111436956A (zh) | 2019-01-17 | 2019-01-17 | 一种注意力检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111436956A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329629A (zh) * | 2020-11-05 | 2021-02-05 | 平安科技（深圳）有限公司 | 在线培训的评价方法、装置、计算机设备和存储介质 |
| CN113133583A (zh) * | 2021-04-28 | 2021-07-20 | 重庆电子工程职业学院 | 计算机软件开发人员用多功能工作台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201681500U (zh) * | 2010-02-26 | 2010-12-22 | 鑫承科技股份有限公司 | 闪卡教学装置 |
| US20110028857A1 (en) * | 2009-08-03 | 2011-02-03 | Fico Mirrors, S.A. | Method and system for determining an individual's state of attention |
| CN105893980A (zh) * | 2016-04-26 | 2016-08-24 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
| CN108509923A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 课堂注意力检测方法、装置、设备及计算机可读介质 |
| CN108961679A (zh) * | 2018-06-27 | 2018-12-07 | 广州视源电子科技股份有限公司 | 一种注意力提醒方法、装置及电子设备 |
-
2019
- 2019-01-17 CN CN201910043884.1A patent/CN111436956A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110028857A1 (en) * | 2009-08-03 | 2011-02-03 | Fico Mirrors, S.A. | Method and system for determining an individual's state of attention |
| CN201681500U (zh) * | 2010-02-26 | 2010-12-22 | 鑫承科技股份有限公司 | 闪卡教学装置 |
| CN105893980A (zh) * | 2016-04-26 | 2016-08-24 | 北京科技大学 | 一种注意力专注度评价方法及系统 |
| CN108509923A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 课堂注意力检测方法、装置、设备及计算机可读介质 |
| CN108961679A (zh) * | 2018-06-27 | 2018-12-07 | 广州视源电子科技股份有限公司 | 一种注意力提醒方法、装置及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329629A (zh) * | 2020-11-05 | 2021-02-05 | 平安科技（深圳）有限公司 | 在线培训的评价方法、装置、计算机设备和存储介质 |
| WO2022095386A1 (zh) * | 2020-11-05 | 2022-05-12 | 平安科技（深圳）有限公司 | 在线培训的评价方法、装置、计算机设备和存储介质 |
| CN112329629B (zh) * | 2020-11-05 | 2023-11-14 | 平安科技（深圳）有限公司 | 在线培训的评价方法、装置、计算机设备和存储介质 |
| CN113133583A (zh) * | 2021-04-28 | 2021-07-20 | 重庆电子工程职业学院 | 计算机软件开发人员用多功能工作台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109643158B (zh) | 使用多模态信号分析进行命令处理 | |
| WO2024000867A1 (zh) | 情绪识别方法、装置、设备及存储介质 | |
| CN109670444B (zh) | 姿态检测模型的生成、姿态检测方法、装置、设备及介质 | |
| CN108961679A (zh) | 一种注意力提醒方法、装置及电子设备 | |
| CN111079554A (zh) | 分析学生课堂表现的方法、装置、电子设备、及存储介质 | |
| CN111444748B (zh) | 一种坐姿检测方法、装置、设备及存储介质 | |
| EP3889804A1 (en) | Video quality evaluation method, apparatus and device, and storage medium | |
| CN111107278B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110916689A (zh) | 一种自闭症的认知与注意力强化智能评估训练系统及方法 | |
| CN111144344B (zh) | 人物年龄的确定方法、装置、设备及存储介质 | |
| JP2015118185A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN113703579B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| US20210287011A1 (en) | Information interaction method and apparatus, electronic device, and storage medium | |
| CN112883851A (zh) | 学习状态检测方法、装置、电子设备及存储介质 | |
| CN111436956A (zh) | 一种注意力检测方法、装置、设备及存储介质 | |
| CN112382277A (zh) | 智能设备唤醒方法、智能设备和计算机可读存储介质 | |
| CN111589138B (zh) | 动作预测方法、装置、设备及存储介质 | |
| CN110460809A (zh) | 一种婴儿哭声侦测方法、装置及智能摄像头设备 | |
| CN110491384B (zh) | 一种语音数据处理方法及装置 | |
| Salvi et al. | Smart glass using IoT and machine learning technologies to aid the blind, dumb and deaf | |
| US7984010B2 (en) | Action agenda determining apparatus | |
| CN110154048A (zh) | 机器人的控制方法、控制装置和机器人 | |
| CN113283383A (zh) | 一种直播行为识别方法、装置、设备和可读介质 | |
| CN113948076A (zh) | 语音交互方法、设备和系统 | |
| CN111654752A (zh) | 多媒体信息播放方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200724 |