CN109886246B - 一种人物注意力判断方法、装置、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及信息化教学领域，公开一种人物注意力判断方法、装置、系统、设备和存储介质。所述方法包括如下步骤：获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型；识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。本发明的人物注意力判断方法，能够客观地、实时的且准确的对目标人物的视觉注意力进行监测与分析。

Description

一种人物注意力判断方法、装置、系统、设备和存储介质

技术领域

本发明涉及信息化教学领域，特别是涉及一种人物注意力判断方法、装置、系统、设备和存储介质。

背景技术

学生教育属于学前教育，面对激烈的社会竞争环境，多数家长保持着“赢在起跑线”上的观念，使得幼儿园为迎合家长需求而注重学生的知识教育，形成幼儿教育内容超前化的现象。其中学生注意力是学生学习的基础，注意力不集中表现为好动、东张西望等，注意力不集中容易造成学习效率低，养成不良习惯。

现有技术中，针对学生注意力的训练主要采用一些辅助材料，比如划消图卡、舒尔特方格、视觉追踪图卡、找不同、走迷宫等小游戏，具有一定的效果。但是，由于这类方法仅仅应用于对孩子注意力的训练，容易忽视了学生各自本身的行为特征和习惯，无法长期跟踪每一个孩子的注意力状态，判断学生对于知识的兴趣所在以及其注意力焦点，尤其无法判断在课堂学习中学生对于所教授知识是否集中注意力。

可见，目前对于学生注意力的关注和研究很少，无法通过长期、细致的观察学生注意力的状态来研究学生的行为习惯，以便及时矫正学生注意力异常的问题。

发明内容

基于此，有必要针对上述的问题，提供一种人物注意力判断方法、装置、系统、设备和存储介质。

在其中一个实施例中，本发明提供了一种人物注意力判断方法，所述方法包括如下步骤：

获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；

识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；

根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

在其中一个实施例中，本发明提供了一种人物注意力判断装置，包括：

场景模型创建模块，用于获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；

关键点识别模块，用于识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；

人脸和视线方向确认模块，用于根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

注意力状态判断模块，用于根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

在其中一个实施例中，本发明还提供一种人物注意力判断系统，包括：

图像采集装置，用于采集场景图像；

人物注意力判断装置，用于获取所述场景图像，执行所述人物注意力判断方法，以确定目标人物的注意力状态。

在其中一个实施例中，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述所述人物注意力判断方法的步骤。

在其中一个实施例中，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述所述人物注意力判断方法的步骤。

本发明实施例中的人物注意力判断方法、装置、系统、设备和存储介质，能够客观地、实时的且准确的对目标人物的视觉注意力进行监测与分析，为发现目标人物行为异常和注意力判断提供帮助。

附图说明

图1为一个实施例中提供的人物注意力判断方法的应用环境图；

图2为一个实施例中提供的人物注意力判断方法的流程图；

图3为一个实施例中确定人体图像上的图像关键点在场景三维空间模型中的位置坐标的流程图；

图4为一个实施例中判断目标人物的注意力状态的流程图；

图5为一个实施例识别场景图像中的人体图像的流程图；

图6为一个实施例中提供的人物注意力判断装置的结构框图；

图7为一个实施例中提供的关键点识别模块的结构框图；

图8为一个实施例中提供的注意力状态判断模块的结构框图；

图9为一个实施例中提供的人物注意力判断系统的结构框图；

图10为一个实施例中提供的人物注意力判断系统的工作流程图；

图11为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx单元称为第二xx单元，且类似地，可将第二xx单元称为第一xx单元。

图1为一个实施例中提供的人物注意力判断方法的应用环境图，如图1所示，在该应用环境中，包括教室100、图像采集装置110和注意力判断设备120。

在教室100内，安装有图像采集装置110，图像采集装置110优选安装在学生面对的一面，比如教室的黑板，以便采集场景图像；也可以是可移动设置的摄像设备。图像采集装置110是具备图像采集和简单处理功能的设备，可以是摄像头、摄像机、相机、扫描仪或其他带有拍照摄像功能的设备(手机、平板电脑等)；同时考虑到大场景图像低分辨率导致图像中目标人物身份定位难的问题，直接从源头解决问题，优选采用的是高分辨率的高清摄像机来捕获目标人物图像，以便准确高效的识别目标人物的身份信息。

在本发明实施例中，仅以教室作为目标人物所在场景进行说明，目标人物即为教室内的学生，但是不限于教室这一场景。另外，还可以应用于汽车驾驶室中对驾驶员的注意力进行判断，以便分析驾驶员的驾驶状态和疲劳。还可以应用于其他的具体场景，比如工厂生厂车间、医院等场所。

注意力判断设备120，用于获取场景图像，执行本发明实施例中的人物注意力判断方法，以确定目标人物的注意力状态。注意力判断设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(Content Delivery Network，内容分发网络)等基础云计算服务的云服务器，其可以具备数据输入输出处理以及结果展示的模块。

实施例一

如图2所示，在一个实施例中，提出了一种人物注意力判断方法，本实施例主要以该方法应用于上述图1中的注意力判断设备120来举例说明，具体可以包括以下步骤：

步骤S201，获取目标人物所在场景图像，根据场景图像建立场景三维空间模型，场景三维空间模型位于相机坐标系中；

步骤S202，识别场景图像中目标人物的人体图像，确定人体图像上的图像关键点在场景三维空间模型中的位置坐标；

步骤S203，根据图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

步骤S204，根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

在本发明实施例中，图像关键点包含人体关键点、人脸关键点和眼球关键点，其中人体关键点可以是人体中的两肩端点、脖子、躯干等特征上的点，人脸关键点可以是脸部的鼻子、嘴巴、耳朵等关键部位上的点，眼球关键点可以是包括内眼角点、外眼角点和眼球瞳孔点等在内的关键点。对这些关键点的识别和采集可以实现通过机器训练的模型进行识别，在本发明实施例中，以通过调用软件OpenCV来识别上述关键点来进行说明，OpenCV是一个基于BSD(Berkly Software Distribution，BSD许可证)许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。其中，通过OpenCV人脸识别和识别图像关键点的基本的工作步骤包括获取场景图像图片，将场景图像图片转换为灰度图片；检测灰度图片中的人脸；处理灰度图片以显示人脸区域；预处理脸部图片并识别图片中眼球图像，从而识别图像关键点。

在本发明实施例中，相机坐标系的原点为相机的光心，x轴与y轴与图像的X，Y轴平行，z轴为相机光轴，与图形平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。

在本发明实施例中，人物目标是指在在应用场景中的监测对象，本发明实施例中以教室作为应用场景，其人物目标为教室内上课的学生。在本发明的其他实施例中，可以根据实际的应用场景设置人物目标，比如工厂内的工人，本发明不在进一步限制和举例。

在本发明实施例中，步骤S202即识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标，具体包括：

步骤S301，获取场景图像，场景图像包括第一场景图像和第二场景图像，第一场景图像和第二场景图像分别为从不同位置采集的场景图像；

步骤S302，分别识别第一场景图像和第二场景图像中的人体图像，确定图像关键点分别在第一场景图像和第二场景图像的像素位置坐标；

步骤S303，根据像素位置坐标计算图像关键点在场景三维空间模型的位置坐标。

在本发明实施例中，像素位置坐标是指像素点在像素坐标系中的具体坐标，像素坐标系以图像平面的左上角顶点为原点，X轴和Y轴分别平行于图像两条相互垂直的边，用(u，v)表示其坐标值，由于每幅图像的存储形式是M×N的数组，M行N列的图像中的每一个元素的数值代表的是图像点的灰度，这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。

具体的，结合上述步骤，在本发明实施例中，根据图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量，具体为：

根据人体关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系；

将人脸关键点和眼球关键点在相机坐标系的位置坐标转换为在人体三维空间坐标系的位置坐标，以确定在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

其中，人体坐标原点计算可用公式表示为：

其中，L为摄像设备的光轴间距，f为摄像设备焦距，W和H为图像的宽和高，(x₁，y₁)和(x₂，y₂)分别为人体关键点在第一场景图像和第二场景图像的像素坐标。

在建立以人体为坐标原点的人体三维空间坐标系之后，通过调用上面所述的软件OpenCV根据识别的人脸关键点和眼球关键点在场景三维空间模型的位置坐标计算转换到人体三维空间坐标系中，确定在人体三维空间坐标系中对应的人脸方向向量和眼球视线方向向量。

在本发明实施例中，步骤S204即根据人脸方向向量、眼球视线方向向量和场景三维空间模型，判断目标人物的注意力状态，具体包括：

步骤S401，根据人脸方向向量和眼球视线方向向量计算人脸方向向量和眼球视线方向向量的方向夹角，若方向夹角大于90度，则确认目标人物注意力异常；和/或

步骤S402，根据人脸方向向量、眼球视线方向向量和场景三维空间模型，计算目标人物的视线在场景三维空间模型的视线落点，若视线落点在指定区域外，则确认目标人物注意力异常。

具体的，调用软件OpenCV识别确定目标人物在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量分别记为：F＝(fx，fy，fz)和E＝(ex，ey，ez)，计算人脸方向向量和眼球视线方向向量的方向夹角可以先计算夹角的余弦值，计算夹角余弦值可用公式表示为：

其中，|F|、|E|分别表示人脸方向向量和眼球视线方向向量的模，在进一步的根据该余弦值求出对应的夹角大小，当夹角大于90度时，此时目标人物的视觉注意力异常；当夹角在0度到90度之间的时候，此时目标人物的视觉注意力正常。

另外，在本发明实施例中，将教室内的黑板作为指定区域，在世界坐标系中，将黑板从左到右，从上到下的四个角的坐标记为(B1x，B1y，B1z)，(B2x，B2y，B2z)，(B3x，B3y，B3z)，(B4x，B4y，B4z)，将黑板四个角的坐标转换到人体三维空间坐标系中，新的坐标记为(NEWB1x，NEWB1y，NEWB1z)，(NEWB2x，NEWB2y，NEWB2z)，(NEWB3x，NEWB3y，NEWB3z)，(NEWB4x，NEWB4y，NEWB4z)，其中(NEWBx，NEWBy，NEWBz)＝(Bx-X，By-Y，Bz--Z)。

在本发明实施例中，世界坐标系是指客观三维世界的绝对坐标系，也称客观坐标系，并且用它来描述安放在此三维环境中的其它任何物体的位置。进而在步骤S402中根据人脸方向向量、眼球视线方向向量和场景三维空间模型，计算目标人物的视线在场景三维空间模型的视线落点，若视线落点在指定区域外，则确认目标人物注意力异常，可以是：

在人体三维空间坐标系下，假设黑板在人体三维空间坐标系中的X轴与Z轴形成的平面上，计算眼球视线方向向量投射到黑板上的交点：(NEW_ex，ey，NEW_ez)，则只需要比较：在X轴方向NEW_B1x＜NEW_ex＜NEW_B2x时，同时满足在Z轴方向NEW_B1z＜NEW_ez＜NEW_B3z，则说明目标人物的视觉注意力在黑板上；反之说明人物目标的视觉注意力偏离了黑板，属于注意力不集中状态。在本发明的其他实施例中，还可以根据黑板(预设区域)与世界坐标系以及人体三维空间坐标系的实际对应关系进行相应的交点位置判断，本发明不在进行一一列举。

在本发明实施例中，识别场景图像中的人体图像，并确定人体图像上的图像关键点在场景三维空间模型中的位置坐标，还包括：

若无法识别所述图像关键点，则确认所述目标人物注意力异常。具体的，具体的，当无法识别人脸以及人脸关键点时，可以判断该人物目标人脸状态偏离或者离开当前场景，注意力状态判断为异常；当无法识别人物目标的视线时，可以判断人物目标的眼睛状态为闭眼状态，注意力状态判断为异常。

在本发明实施例中，识别场景图像中的人体图像，还包括：

步骤S501，识别目标人物的人脸图像，将人脸图像与预设的身份图像进行对比，以确认目标人物的身份信息。如果无法识别目标人物的身份，则重新验证或者登记；识别目标人物的身份信息之后，开始进行判断识别。

本发明实施例中的人物注意力判断方法，通过注意力判断学生的注意力状态，并将学生的身份信息和注意力行为关联起来，从而实时了解到所有学生在当前场景的注意力分布情况，能够客观地、实时的且准确的对课堂上学生的视觉注意力进行监测与分析，为发现学生行为异常、知识兴趣点挖掘和注意力判断提供帮助，提高学生的学习乐趣和教学效果。

实施例二

如图6所示，在一个实施例中，提供了一种人物注意力判断装置，该人物注意力判断装置可以集成于上述的注意力判断设备120中，具体可以包括：

场景模型创建模块601，用于获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；

关键点识别模块602，用于识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；

人脸和视线方向确认模块603，用于根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

注意力状态判断模块604，用于根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

在本发明实施例中，图像关键点包含人体关键点、人脸关键点和眼球关键点，其中人体关键点可以是人体中的两肩端点、脖子、躯干等特征上的点，人脸关键点可以是脸部的鼻子、嘴巴、耳朵等关键部位上的点，眼球关键点可以是包括内眼角点、外眼角点和眼球瞳孔点等在内的关键点。对这些关键点的识别和采集可以实现通过机器训练的模型进行识别，在本发明实施例中，以通过调用软件OpenCV来识别上述关键点来进行说明，OpenCV是一个基于BSD(Berkly Software Distribution，BSD许可证)许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。其中，通过OpenCV人脸识别和识别图像关键点的基本的工作步骤包括获取场景图像图片，将场景图像图片转换为灰度图片；检测灰度图片中的人脸；处理灰度图片以显示人脸区域；预处理脸部图片并识别图片中眼球图像，从而识别图像关键点。

在本发明实施例中，人物目标是指在在应用场景中的监测对象，本发明实施例中以教室作为应用场景，其人物目标为教室内上课的学生。在本发明的其他实施例中，可以根据实际的应用场景设置人物目标，比如工厂内的工人，本发明不在进一步限制和举例。

在本发明实施例中，关键点识别模块602包括：

图像获取单元701，用于获取场景图像，场景图像包括第一场景图像和第二场景图像，第一场景图像和第二场景图像分别为从不同位置采集的场景图像；

像素坐标确定单元702，用于分别识别第一场景图像和第二场景图像中的人体图像，确定图像关键点分别在第一场景图像和第二场景图像的像素位置坐标；

关键点位置坐标确定单元703，用于根据像素位置坐标计算图像关键点在场景三维空间模型的位置坐标。

具体的，在本发明实施例中，根据图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量，具体为：

根据人体关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系；

将人脸关键点和眼球关键点在相机坐标系的位置坐标转换为在人体三维空间坐标系的位置坐标，以确定在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

其中，人体坐标原点计算可用公式表示为：

其中，L为摄像设备的光轴间距，f为摄像设备焦距，W和H为图像的宽和高，(x₁，y₁)和(x₂，y₂)分别为人体关键点在第一场景图像和第二场景图像的像素坐标。

在建立以人体为坐标原点的人体三维空间坐标系之后，通过调用上面所述的软件OpenCV根据识别的人脸关键点和眼球关键点的位置坐标计算转换到人体三维空间坐标系中，确定在人体三维空间坐标系中对应的人脸方向向量和眼球视线方向向量。

在本发明实施例中，注意力状态判断模块604包括：

第一状态判断单元801，用于根据人脸方向向量和眼球视线方向向量计算人脸方向向量和眼球视线方向向量的方向夹角，若方向夹角大于90度，则确认目标人物注意力异常；和/或

第一状态判断单元802，用于根据人脸方向向量、眼球视线方向向量和场景三维空间模型，计算目标人物的视线在场景三维空间模型的视线落点，若视线落点在指定区域外，则确认目标人物注意力异常。

具体的，调用软件OpenCV识别确定目标人物在人体三维空间坐标系中的人脸方向向量和眼球视线方向向量分别记为：F＝(fx，fy，fz)和E＝(ex，ey，ez)，计算人脸方向向量和眼球视线方向向量的方向夹角可以先计算夹角的余弦值，计算夹角余弦值可用公式表示为：

其中，|F|、|E|分别表示人脸方向向量和眼球视线方向向量的模，在进一步的根据该余弦值求出对应的夹角大小，当夹角大于90度时，此时目标人物的视觉注意力异常；当夹角在0度到90度之间的时候，此时目标人物的视觉注意力正常。

另外，在本发明实施例中，将教室内的黑板作为指定区域，在世界坐标系中，将黑板从左到右，从上到下的四个角的坐标记为(B1x，B1y，B1z)，(B2x，B2y，B2z)，(B3x，B3y，B3z)，(B4x，B4y，B4z)，将黑板四个角的坐标转换到人体三维空间坐标系中，新的坐标记为(NEWB1x，NEWB1y，NEWB1z)，(NEWB2x，NEWB2y，NEWB2z)，(NEWB3x，NEWB3y，NEWB3z)，(NEWB4x，NEWB4y，NEWB4z)，其中(NEWBx，NEWBy，NEWBz)＝(Bx-X，By-Y，Bz--Z)，进而在步骤S402中根据人脸方向向量、眼球视线方向向量和场景三维空间模型，计算目标人物的视线在场景三维空间模型的视线落点，若视线落点在指定区域外，则确认目标人物注意力异常，可以是：

在人体三维空间坐标系下，计算眼球视线方向向量投射到黑板上的交点：(NEW_ex，ey，NEW_ez)，假设黑板在人体三维空间坐标系中的X轴与Z轴形成的平面上，则只需要比较：在X轴方向NEW_B1x＜NEW_ex＜NEW_B2x时，同时满足在Z轴方向NEW_B1z＜NEW_ez＜NEW_B3z，则说明目标人物的视觉注意力在黑板上；反之说明人物目标的视觉注意力偏离了黑板，属于注意力不集中状态。在本发明的其他实施例中，还可以根据黑板(预设区域)与世界坐标系以及人体三维空间坐标系的实际对应关系进行相应的交点位置判断，本发明不在进行一一列举。

在本发明实施例中，识别场景图像中的人体图像，并确定人体图像上的图像关键点在场景三维空间模型中的位置坐标，还包括：

若无法识别所述图像关键点，则确认所述目标人物注意力异常。具体的，当无法识别人脸以及人脸关键点时，可以判断该人物目标人脸状态偏离或者离开当前场景，注意力状态判断为异常；当无法识别人物目标的视线时，可以判断人物目标的眼睛状态为闭眼状态，注意力状态判断为异常。

在本发明实施例中，识别场景图像中的人体图像，还包括：

用于识别目标人物的人脸图像，将人脸图像与预设的身份图像进行对比，以确认目标人物的身份信息。如果无法识别目标人物的身份，则重新验证或者登记；识别目标人物的身份信息之后，开始进行判断识别。

本发明实施例中的人物注意力判断装置，通过注意力判断学生的注意力状态，并将学生的身份信息和注意力行为关联起来，从而实时了解到所有学生在当前场景的注意力分布情况，能够客观地、实时的且准确的对课堂上学生的视觉注意力进行监测与分析，为发现学生行为异常、知识兴趣点挖掘和注意力判断提供帮助，提高学生的学习乐趣和教学效果。

实施例三

如图9所示，在一个实施例中，提供了一种人物注意力判断系统，本发明实施例提供的一种人物注意力判断系统，包括：

图像采集装置901，用于采集场景图像；

人物注意力判断装置902，用于获取所述场景图像，执行所述人物注意力判断方法，以确定目标人物的注意力状态。

如图10所示，示出了在本发明实施例中的人物注意力判断系统工作的整个流程。在本发明实施例中，图像采集装置901采集场景图像之后，人物注意力判断装置902对场景图像进行识别并根据识别结果进行目标人物的注意力状态，具体步骤包括对场景图像人脸识别并进行身份验证，进而识别目标人物的眼球视线方向向量，通过计算眼球方向向量在预设区域的交点坐标位置关系，判断目标人物的注意力状态。

本发明实施例中的人物注意力判断系统，通过注意力判断学生的注意力状态，并将学生的身份信息和注意力行为关联起来，从而实时了解到所有学生在当前场景的注意力分布情况，能够客观地、实时的且准确的对课堂上学生的视觉注意力进行监测与分析，为发现学生行为异常、知识兴趣点挖掘和注意力判断提供帮助，提高学生的学习乐趣和教学效果。

实施例四

如图11所示，为本发明实施例提供的一种计算机设备的结构框图，本发明实施例提供的一种计算机设备，包括存储器1101、处理器1102、通信模块1103和用户接口1104。

存储器1101中存储有操作系统1105，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件1106，用于实现本发明实施例中的人物注意力判断方法的各个步骤。

在本发明实施例中，存储器1101可以是高速随机存取存储器，诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。

在本发明实施例中，处理器1102可通过通信模块1103接收和发送数据以实现网络通信或者本地通信。

用户接口1104可以包括一个或多个输入设备1107，比如键盘、鼠标、触屏显示器，用户接口1104还可以包括一个或者多个输出设备1108，比如显示器、扩音器等。

实施例五

另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述人物注意力判断方法的步骤。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种人物注意力判断方法，其特征在于，包括如下步骤：

获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；

识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；

根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态；

所述识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标，具体包括：

获取场景图像，所述场景图像包括第一场景图像和第二场景图像，所述第一场景图像和所述第二场景图像分别为从不同位置采集的场景图像；

分别识别所述第一场景图像和所述第二场景图像中的人体图像，确定图像关键点分别在所述第一场景图像和所述第二场景图像的像素位置坐标，所述图像关键点至少包括人体关键点、人脸关键点和眼球关键点；

根据所述像素位置坐标计算所述图像关键点在所述场景三维空间模型的位置坐标；

所述根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量，具体为：

根据所述人体关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系；

将所述人脸关键点和所述眼球关键点在所述相机坐标系的位置坐标转换为在所述人体三维空间坐标系的位置坐标，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

其中，人体坐标原点计算可用公式表示为：

其中，L为摄像设备的光轴间距，f为摄像设备焦距，W和H为图像的宽和高，(x1，y1)和(x2，y2)分别为所述人体关键点在所述第一场景图像和所述第二场景图像的像素坐标。

2.如权利要求1所述的人物注意力判断方法，其特征在于，所述根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态，具体包括：

根据所述人脸方向向量和所述眼球视线方向向量计算所述人脸方向向量和所述眼球视线方向向量的方向夹角，若所述方向夹角大于90度，则确认所述目标人物注意力异常；和/或，根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，计算所述目标人物的视线在所述场景三维空间模型的视线落点，若所述视线落点在指定区域外，则确认所述目标人物注意力异常。

3.如权利要求1或2所述的人物注意力判断方法，其特征在于，所述识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标，还包括：

若无法识别所述图像关键点，则确认所述目标人物注意力异常。

4.如权利要求1所述的人物注意力判断方法，其特征在于，所述识别所述场景图像中的人体图像，还包括：

识别所述目标人物的人脸图像，将所述人脸图像与预设的身份图像进行对比，以确认所述目标人物的身份信息。

5.一种人物注意力判断装置，其特征在于，包括：

场景模型创建模块，用于获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；

关键点识别模块，用于识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；

所述关键点识别模块具体用于：

获取场景图像，所述场景图像包括第一场景图像和第二场景图像，所述第一场景图像和所述第二场景图像分别为从不同位置采集的场景图像；

分别识别所述第一场景图像和所述第二场景图像中的人体图像，确定图像关键点分别在所述第一场景图像和所述第二场景图像的像素位置坐标，所述图像关键点至少包括人体关键点、人脸关键点和眼球关键点；

根据所述像素位置坐标计算所述图像关键点在所述场景三维空间模型的位置坐标

人脸和视线方向确认模块，用于根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

所述根据所述人体关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系；

人脸和视线方向确认模块具体用于：将所述人脸关键点和所述眼球关键点在所述相机坐标系的位置坐标转换为在所述人体三维空间坐标系的位置坐标，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；

其中，人体坐标原点计算可用公式表示为：

其中，L为摄像设备的光轴间距，f为摄像设备焦距，W和H为图像的宽和高，(x1，y1)和(x2，y2)分别为所述人体关键点在所述第一场景图像和所述第二场景图像的像素坐标；

注意力状态判断模块，用于根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

6.一种人物注意力判断系统，其特征在于，包括：

图像采集装置，用于采集场景图像；

人物注意力判断装置，用于获取所述场景图像，执行权利要求1～4任一项所述人物注意力判断方法，以确定目标人物的注意力状态。

7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述人物注意力判断方法的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述人物注意力判断方法的步骤。

Images