CN111414838A

CN111414838A - 一种注意力检测方法、装置、系统、终端及存储介质

Info

Publication number: CN111414838A
Application number: CN202010182828.9A
Authority: CN
Inventors: 张轶君; 朱玉荣
Original assignee: Beijing Wenxiang Information Technology Co ltd
Current assignee: Beijing Wenxiang Information Technology Co ltd
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2020-07-14

Abstract

本发明公开了一种注意力检测方法、装置、系统、终端及存储介质，其中注意力检测方法，应用于终端，包括：获取图像信息和终端的标识信息；利用图像信息对图像中目标的注意力进行检测，得到瞬时注意力；对预设时间段内目标的多个瞬时注意力进行处理，得到目标的平均注意力；将平均注意力和终端的标识信息发送至预设的网络端。本发明的技术方案将平均注意力发送至网络端，而不是直接将终端获取的图像信息发送至网络端，解决了远程互动过程中参与者由于设备和网络带宽限制无法分享视频时或/和由于隐私原因不愿意分享实时视频，其他人无法获知其注意力状态的问题。

Description

一种注意力检测方法、装置、系统、终端及存储介质

技术领域

本发明涉及远程控制技术领域，具体涉及一种注意力检测方法、装置、系统、终端及存储介质。

背景技术

远程教学、远程办公、远程视频会议是网络信息化发展至今的一个显著趋势。通过网络连接，人们可以在各个地方写作办公，或是共享教学资源，极大的提高了生产效率。

然而在远程活动中，通常不会让所有参与者的视频都呈现出来。这主要有主客观两方面的原因。在客观方面，由于传输端、网络传输和显示端的设备和网络带宽等技术问题，有时，特别是参与者较多的远程活动，无法让所有参与者的视频一一呈现出来。在主观方面，参与者在某些情况下，比如在家中私密场所，他们不愿意进行视频对话。由此就带来一个问题，参加远程活动的人，特别是主持者，很难了解参与人是否关注远程活动。比如，在远程课堂中，老师无法得知参加的同学是否注意听讲；在远程会议中，发言人也无法确定所有参会人是否认真听取讲话。

发明内容

有鉴于此，本发明实施例提供了一种注意力检测方法、装置、系统、终端及存储介质，以解决远程互动过程中参与者由于设备和网络带宽限制无法分享视频时或/和由于隐私原因不愿意分享实时视频，其他人无法获知其注意力状态的问题。

根据第一方面，本发明实施例提供了一种注意力检测方法，包括：

获取图像信息和所述终端的标识信息；

利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力；

对预设时间段内所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力；

将所述平均注意力和所述终端的标识信息发送至预设的网络端。

结合第一方面，在第一方面第一实施方式中，对预设时间段内所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力，包括：

对预设时间段内所述目标的多个瞬时注意力进行滑动平均计算，得到所述目标的平均注意力。

结合第一方面，在第一方面第二实施方式中，利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力包括：

判断所述图像信息中是否包括所述目标的脸部信息；

当所述图像信息中包括所述目标的脸部信息时，基于所述目标的脸部信息得到所述目标的头部姿态信息；

根据所述目标的头部姿态信息判断所述目标的头部朝向是否偏出预设范围；

当所述目标的头部朝向没有偏出预设范围时，基于所述目标的脸部信息得到所述目标的眼部信息；

根据所述目标的眼部信息，得到所述目标的瞬时注意力。

结合第一方面第二实施方式，在第一方面第三实施方式中，根据所述目标的眼部信息，得到所述目标的瞬时注意力，包括：

根据所述目标的眼部信息判断所述目标是否闭眼；

当所述目标闭眼时，得到第一检测结果；当所述目标没有闭眼时，得到第二检测结果。

结合第一方面第二实施方式或第三实施方式，在第一方面第四实施方式中，注意力检测方法还包括：

当所述图像信息中不包括所述目标的脸部信息时，得到第三检测结果；

或/和，当所述目标的头部朝向偏出预设范围时，得到第四检测结果。

结合第一方面第二实施方式或第三实施方式，在第一方面第五实施方式中，基于所述目标的脸部信息得到所述目标的头部姿态信息包括：基于所述目标的脸部信息利用预设的深度学习头部姿态检测算法得到所述目标的头部姿态信息；或/和，基于所述目标的脸部信息得到所述目标的眼部信息包括：基于所述目标的脸部信息利用预设的多任务卷积神经网络MTCNN得到所述目标的眼部信息。

结合第一方面至第一方面第五实施方式，在第一方面第六实施方式中，在得到所述目标的平均注意力之后，还包括：

当所述平均注意力低于预设阈值时，发出提示信息。

根据第二方面，本发明实施例提供了一种注意力检测装置，包括：

获取模块，用于获取图像信息和所述终端的标识信息；

处理模块，用于利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力；对预设时间段内的所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力；

发送模块，用于将所述平均注意力和所述终端的标识信息发送至预设的网络端。

根据第三方面，本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的注意力检测方法。

根据第四方面，本发明实施例还提供了一种注意力检测系统，包括第三方面所述的终端及与第三方面所述的终端通讯连接的网络端。

根据第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的注意力检测方法。

本发明实施例具有以下优点：

本发明终端的通过获取图像信息和终端的标识信息，利用图像信息对图像中目标的注意力进行检测得到瞬时注意力；对预设时间段内的目标的多个瞬时注意力进行处理得到目标的平均注意力，并将平均注意力发送至网络端，而不是直接将终端获取的图像信息发送至网络端，解决了远程互动过程中参与者由于设备和网络带宽限制无法分享视频时或/和由于隐私原因不愿意分享实时视频，其他人无法获知其注意力状态的问题。同时，由于发送至预设的网络端的平均注意力为对多个瞬时注意力进行滑动平滑处理得到的，利用该种方法得到的平均注意力可以排除掉偶然的随机影响因素，具有很高的准确性。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明提供的一种注意力检测系统的示意图；

图2为本发明提供的一种注意力检测方法的流程示意图；

图3为本发明提供的一种注意力检测装置的结构示意图；

图4为本发明提供的一种计算机可读存储介质的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例1提供了一种注意力检测系统，下面结合附图具体说明。

参见图1，该图为本发明提供的一种注意力检测系统的示意图。该注意力检测系统，应用于注意力检测，所述检测系统包括：网络端101和终端102。所述终端102用于获取图像信息和终端102的标识信息；利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力；对预设时间段内的所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力；将所述平均注意力和所述终端102的标识信息发送至网络端101。所述网络端101，用于接收终端102发送的平均注意力和标识信息，根据平均注意力和标识信息发出提示消息。

可以理解的，所述网络端101可以是服务器，也可以是与终端102进行远程活动(例如远程教学、远程办公、远程视频会议)的另一终端；所述终端102和与终端102进行远程活动的另一终端可以是智能手机、也可以是平板电脑、还可以是终端自助机。

在一种可能的实施方式中，在进行远程活动时，远程活动参与者所用的终端102可以获取参与者的图像信息和终端102的标识信息，利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力；对预设时间段内的所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力，并将平均注意力和终端102的标识信息发送至服务器。服务器在接收到平均注意力和终端102的标识信息后，根据用户设置，将平均注意力和终端102的标识信息发送至预设的终端，可以是主持人所用的终端，也可以是活动管理者所用的终端，还可以是其他参与者所用的终端，以方便其他人掌握该参与者(终端102的用户)的注意力情况，并进行提示。

在本发明实施例中，将同一目标的多个瞬时注意力进行滑动平均计算，这是由于在图像采集的某个时刻，可能会采集到目标短时间的偶然姿态，但这并不代表其阶段性的头部姿态，所以需要排除掉这样的随机影响，本发明实施例采用将多个瞬时注意力进行滑动平均计算，可以避免随机的偶然因素的影响，提高检测结果的准确性。

作为一个另一个可能的实施方式，终端102还可以根据平均注意力发出提示消息，例如当平均注意力小于预设阈值时发出提示消息，引导参与者恢复注意力。

本实施例具有以下优点：

本发明终端的通过获取图像信息和终端的标识信息，利用图像信息对图像中目标的注意力进行检测得到瞬时注意力；对预设时间段内的目标的多个瞬时注意力进行处理得到目标的平均注意力，并将平均注意力发送至网络端，而不是直接将终端获取的图像信息发送至网络端，解决了远程互动过程中参与者由于设备和网络带宽限制无法分享视频时或/和由于隐私原因不愿意分享实时视频，其他人无法获知其注意力状态的问题，同时，同时，由于发送至预设的网络端的平均注意力为对多个瞬时注意力进行滑动平滑处理得到的，利用该种方法得到的平均注意力可以排除掉偶然的随机影响因素，具有很高的准确性。

实施例2

本发明实施例2提供了一种注意力检测方法，下面结合附图具体说明。

参见图2，该图为本发明提供的一种注意力检测方法的流程示意图。该注意力检测方法，应用于终端，具体包括以下步骤：

S201：获取图像信息和终端的标识信息。

作为一种可能的实施方式，该注意力检测方法可以应用于配有摄像头的终端，可以通过摄像头获取图像信息。

作为一种可能的实施方式，获取图像信息的方式可以利用摄像头每隔一段时间拍摄一次图像，还可以从预先录好的录像数据中随机抽出一帧图像，录像数据可以是预先保存在存储器中。

S102：利用图像信息对图像中目标的注意力进行检测，得到瞬时注意力。

作为一种可能的实施方式，利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力包括以下步骤：

步骤1：判断所述图像信息中是否包括所述目标的脸部信息。

作为具体的实施方式，可以利用深度学习算法(例如多任务卷积神经网络MTCNN)在图像中检测人脸。

步骤2：当所述图像信息中包括所述目标的脸部信息时，基于所述目标的脸部信息利用预设的深度学习头部姿态检测算法，得到所述目标的头部姿态信息；当所述图像信息中不包括所述目标的脸部信息时，得到第三检测结果。

其中，头部姿态检测同样采用了多任务卷积网络，对头部的仰角，转角和偏转角进行了训练和预测。

步骤3：根据所述目标的头部姿态信息判断所述目标的头部朝向是否偏出预设范围。

步骤4：当所述目标的头部朝向没有偏出预设范围时，基于所述目标的脸部信息利用预设的深度学习网络(例如多任务卷积神经网络MTCNN)，得到所述目标的眼部信息；当所述目标的头部朝向偏出预设范围时，得到第四检测结果。

步骤5：根据所述目标的眼部信息，得到所述目标的瞬时注意力。

作为一种可能的实施方式，根据所述目标的眼部信息，得到所述目标的瞬时注意力包括以下步骤：

步骤51：根据所述目标的眼部信息判断所述目标是否闭眼；

作为可能的实施方式，可以通过深度学习网络(例如多任务卷积神经网络MTCNN)，检测出目标眼睛的位置，并判断目标是否闭眼。

步骤52：当所述目标闭眼时，得到第一检测结果；当所述目标没有闭眼时，得到第二检测结果。

作为一种可能的实施方式，第一检测结果与第三检测结果和第四检测结果相同。

示例的，利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力可以采用如下技术方案：

(1)基于图像信息利用深度学习算法，检测到人脸位置；如果图像中没有人脸目标，则返回注意力为0(即第三检测结果)，否则进行下个步骤；

(2)在步骤(1)中检测到的人脸时，将处在图像中最中央的人脸目标作为分析目标，(本例中不考虑一个终端有多个使用人的情况，如果有则只分析最中间的使用者)，应用深度学习网络检测该目标的头部姿态。可以通过头部姿态得出目标人是否面向设备，如果头部姿态显示目标头部朝向偏出范围，则返回注意力0(即第四检测结果)，否则进行下个步骤；

(3)检测目标眼部状态，通过深度学习网络，检测出目标眼睛的位置，并判断目标是否闭眼。如果目标是闭眼状态，则返回注意力值为0(即第一检测结果)，否则返回注意力为1(即第二检测结果)。

在本发明实施例中，瞬时注意力可以为第一检测结果、第二检测结果、第三检测结果或第四检测结果中的任意一个。

S103：对预设时间段内目标的多个瞬时注意力进行处理，得到目标的平均注意力。

作为一个可能的实施方式，对预设时间段内的所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力可以采用以下方案：对预设时间段内的所述目标的多个瞬时注意力进行滑动平均计算，得到所述目标的平均注意力。

示例的，预设时间段可以为1分钟，图像信息可以3秒获取1次，则在预设时间段内可以得到20个瞬时注意力。当然预设时间段和图像信息的获取频率可以根据终端的硬件性能进行动态改变。当在对20个瞬时注意力进行滑动平均计算时，滑动平均参数可以设置为[0,1)，越接近0，平均注意力的实时性越好，波动越强烈；越接近1，平均注意力越平滑，波动少，响应慢。以滑动平均参数为0.5为例，N＝N0*0.5+N1*0.5，其中，N0表示对当前时刻的平均注意力，N1表示下一时刻的瞬时注意力，N表示下一时刻的平均注意力，具体的，可以将根据第一个图像信息得到的瞬时注意力作为滑动平均计算的初始值。

S104：将平均注意力和终端的标识信息发送至预设的网络端。

作为一种可能的实施方式，预设的网络端可以为服务器也可以为远程活动的另一终端，即与进行注意力检测方法进行远程活动的终端。为了描述更加清楚，将进行注意力检测方法的终端称为终端A，将与终端A进行远程活动的终端称为终端B。示例的，终端B在接收到平均注意力和终端A的标识信息后，可以产生提示信息(例如当平均注意力小于预设值时产生提示信息)，也可以根据用户发出的指令产生提示信息；并将提示信息根据终端A的标识信息发送至终端A，以提示恢复注意力。

本发明实施例具有以下优点：

实施例3

本发明实施例3提供了一种注意力检测方法装置，下面结合附图具体说明。

参见图3，该图为本发明提供的一种注意力检测装置的结构示意图。该注意力检测装置包括获取模块30、处理模块32和发送模块34。

具体的，获取模块30，用于获取图像信息和所述终端的标识信息；

处理模块32，用于利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力；

对预设时间段内的所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力；

发送模块34，用于将所述平均注意力和所述终端的标识信息发送至预设的网络端。

在一种可能的实施方式中，所述处理模块32用于：对预设时间段内所述目标的多个瞬时注意力进行滑动平均计算，得到所述目标的平均注意力。

在一种可能的实施方式中，所述处理模块32用于：判断所述图像信息中是否包括所述目标的脸部信息；当所述图像信息中包括所述目标的脸部信息时，基于所述目标的脸部信息得到所述目标的头部姿态信息；根据所述目标的头部姿态信息判断所述目标的头部朝向是否偏出预设范围；当所述目标的头部朝向没有偏出预设范围时，基于所述目标的脸部信息得到所述目标的眼部信息；根据所述目标的眼部信息，得到所述目标的瞬时注意力。

进一步的，在所述处理模块32中，根据所述目标的眼部信息，得到所述目标的瞬时注意力可以采用如下方案：根据所述目标的眼部信息判断所述目标是否闭眼；当所述目标闭眼时，得到第一检测结果；当所述目标没有闭眼时，得到第二检测结果。

进一步的，所述处理模块32还用于：当所述图像信息中不包括所述目标的脸部信息时，得到第三检测结果；或/和，当所述目标的头部朝向偏出预设范围时，得到第四检测结果。

在一种可能的实施方式中，在所述处理模块32中，基于所述目标的脸部信息得到所述目标的头部姿态信息包括：基于所述目标的脸部信息利用预设的深度学习头部姿态检测算法得到所述目标的头部姿态信息；或/和，基于所述目标的脸部信息得到所述目标的眼部信息包括：基于所述目标的脸部信息利用预设的多任务卷积神经网络MTCNN得到所述目标的眼部信息。

在一种可能的实施方式中，注意力检测装置还包括提示模块，提示模块用于当所述平均注意力低于预设阈值时，发出提示信息。本发明实施例具有以下优点：

实施例4

本发明实施例还提供了一种终端，该终端可以包括处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的注意力检测方法对应的程序指令/模块(例如，图3所示的获取模块30、处理模块32和发送模块34)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的注意力检测方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1-2所示实施例中的注意力检测方法。

上述终端具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。图4为一种计算机可读存储介质的结构示意图，所述的计算机程序401可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种注意力检测方法，应用于终端，其特征在于，包括：

获取图像信息和所述终端的标识信息；

2.根据权利要求1所述的注意力检测方法，其特征在于，对预设时间段内所述目标的多个瞬时注意力进行处理，得到所述目标的平均注意力，包括：

3.根据权利要求1所述的注意力检测方法，其特征在于，利用所述图像信息对图像中目标的注意力进行检测，得到瞬时注意力包括：

判断所述图像信息中是否包括所述目标的脸部信息；

根据所述目标的眼部信息，得到所述目标的瞬时注意力。

4.根据权利要求3所述的注意力检测方法，其特征在于，根据所述目标的眼部信息，得到所述目标的瞬时注意力，包括：

根据所述目标的眼部信息判断所述目标是否闭眼；

5.根据权利要求3或4所述的注意力检测方法，其特征在于，还包括：

6.根据权利要求3或4所述的注意力检测方法，其特征在于：

基于所述目标的脸部信息得到所述目标的头部姿态信息包括：

基于所述目标的脸部信息利用预设的深度学习头部姿态检测算法得到所述目标的头部姿态信息；

或/和，基于所述目标的脸部信息得到所述目标的眼部信息包括：

基于所述目标的脸部信息利用预设的多任务卷积神经网络MTCNN得到所述目标的眼部信息。

7.根据权利要求1～6任一项所述的注意力检测方法，其特征在于，在得到所述目标的平均注意力之后，还包括：

当所述平均注意力低于预设阈值时，发出提示信息。

8.一种注意力检测装置，应用于终端，其特征在于，包括：

获取模块，用于获取图像信息和所述终端的标识信息；

9.一种终端，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的注意力检测方法。

10.一种注意力检测系统，其特征在于，包括权利要求9所述的终端及与权利要求9所述的终端通讯连接的网络端。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的注意力检测方法。