CN110837810A - 一种人脸注意力判断方法、装置、设备及存储介质 - Google Patents

一种人脸注意力判断方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110837810A
CN110837810A CN201911100570.7A CN201911100570A CN110837810A CN 110837810 A CN110837810 A CN 110837810A CN 201911100570 A CN201911100570 A CN 201911100570A CN 110837810 A CN110837810 A CN 110837810A
Authority
CN
China
Prior art keywords
face
attention
frame
orientation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911100570.7A
Other languages
English (en)
Inventor
汤炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rubu Technology Co.,Ltd.
Original Assignee
Beijing Rubo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rubo Technology Co Ltd filed Critical Beijing Rubo Technology Co Ltd
Priority to CN201911100570.7A priority Critical patent/CN110837810A/zh
Publication of CN110837810A publication Critical patent/CN110837810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸注意力判断方法、装置、设备及存储介质。其中，该方法包括：获取人脸图像；利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；依据所述人脸框位置、人脸朝向和人脸姿态确定人脸注意力结果。本发明实施例将确定人脸朝向和注意力结果的过程合并，通过确定人脸朝向信息得到人脸注意力专注结果，提高了注意力判断的效率，节省判断时间，使算法复杂度降低。

Description

一种人脸注意力判断方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种人脸注意力判断方法、装置、设备及存储介质。
背景技术
人脸注意力判断应用在许多方面，可以了解到线上课堂中学生的认真程度，可以监测驾驶员的驾驶状态，在远程技术、安全检查、信息安全等方面都发挥了巨大的作用。
目前人脸朝向识别方法通常利用双目摄像头或深度摄像头采集图像，在检测到人脸区域后获取含有人脸区域的深度图像信息，判定人脸具体朝向。人脸注意力判断方法通常依托统计人眼视线朝向的方式实现，利用传感器设备采集图像，检测人脸区域，提取人眼区域，利用深度学习等技术实现人眼视线检测，输出人眼视线方向，从而进行注意力的判断。
但现有技术实现过程复杂，人脸朝向和注意力判断两个任务单独处理，没有交集，如果想通过人脸朝向推断注意力则需要对每帧进行两次顺序算法处理操作，浪费时间，不利于推广和使用。
发明内容
本发明实施例提供一种人脸注意力判断方法、装置、设备及存储介质，以解决现有技术实现过程复杂、效率低的问题。
第一方面，本发明实施例提供了一种人脸注意力判断方法，包括：
获取人脸图像；
利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
可选的，所述依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果，包括：
分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；
依据各单帧人脸注意力值确定当前人脸注意力结果。
可选的，所述依据各单帧人脸注意力值确定当前人脸注意力结果，包括：
依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或
依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为所述当前人脸注意力结果。
可选的，所述方法还包括：
根据所述人脸注意力结果、所述人脸朝向与预先确定的规则确定专注状态参数。
第二方面，本发明实施例还提供了一种人脸注意力判断装置，包括：
图像获取模块，用于获取人脸图像；
图像处理模块，用于利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
人脸方向角度确定模块，用于依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
注意力确定模块，用于依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
可选的，所述注意力确定模块包括：
单帧人脸注意力值确定单元，用于分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；
人脸注意力结果确定单元，用于依据各单帧人脸注意力值确定当前人脸注意力结果。
可选的，所述人脸注意力结果确定单元，具体用于：
依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或，
依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为当前人脸注意力结果。
可选的，所述装置还包括：
专注状态确定模块，用于根据所述人脸注意力结果、所述人脸朝向与预先确定的规则确定专注状态参数。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的人脸注意力判断方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的人脸注意力判断方法。
本发明实施例提供一种人脸注意力判断方法、装置、设备及存储介质，通过将人脸朝向的确定过程和人脸注意力的确定过程合并，依据人脸朝向信息得到人脸注意力结果，节省判断时间，提高了注意力判断的效率，使算法复杂度降低，对场景要求不高，利于广泛地推广和使用。
附图说明
图1是本发明实施例一中的人脸注意力判断方法的流程示意图；
图2是本发明实施例二中的人脸注意力判断方法的流程示意图；
图3是本发明实施例三中的人脸注意力判断装置的结构框图；
图4是本发明实施例四提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种人脸注意力判断方法的的流程示意图，本实施例可适用于通过人脸朝向信息确定人脸专注度结果的情况，该方法可以由人脸注意力判断装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在计算机设备上。如图1所示，人脸注意力判断方法具体包括如下步骤：
S110、获取人脸图像。
其中，人脸图像仅由普通单目摄像头采集，无其他附加硬件设备。
S120、利用预先训练的多任务卷积神经网络对人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态。
其中，多任务卷积神经网络包括：前部主干网络结构和后部的多任务子网络结构，对人脸图像检测，将检测出来的人脸区域进行分析，去除噪声并增强有用信息，得到准确的人脸图像，利用多任务子网络得到多个输出单元的结果，包括：人脸框位置坐标、粗力度的人脸朝向方向和细力度的人脸姿态朝向角度，进而确定人脸框位置、人脸朝向和人脸姿态。示例的，人脸框位置为正对摄像头，人脸朝向为向前，人脸姿态朝向角度为0°。
S130、依据人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度。
粗力度的人脸朝向方向可以是人脸面对摄像头的前后左右方向，细力度的人脸姿态朝向角度可以是人脸面对摄像头偏转的角度，当人脸向后时，不需要检测人脸姿态朝向角度，即默认为不专注状态。示例的，粗力度的人脸朝向方向可以是人脸朝向方向为向左，细力度的人脸姿态朝向角度可以是30°，由此可知，人脸的朝向信息为向左30°。示例的，人脸朝向信息范围为[-90°,90°]，0°为人脸居中，-90°和90°为极限值。
S140、依据人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
其中，通过输出的人脸框位置、人脸朝向和人脸姿态结果的累计统计处理，可以得到最终人脸注意力的结果。可选的，分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值，依据各单帧人脸注意力值确定当前人脸注意力结果。可选的，根据人脸框位置、人脸朝向粗力度结果和人脸姿态角度细力度结果进行多项式计算，值为单帧输出，依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为所述当前人脸注意力结果。例如，人脸注意力范围为[0,1]，0为注意力0为注意力不集中且最差，1为注意力集中且最佳。示例的，当用户使用具有面部解锁功能的移动终端时，可通过判断注意力确认用户是否想解锁移动终端，提高解锁效率和用户体验感。
本实施例的技术方案，通过将人脸朝向信息的确定过程与人脸注意力结果的确定过程合并，依据人脸朝向信息判断人脸注意力结果，节省了运算过程和计算时间，提高了注意力判断的效率，使算法复杂度降低，采用普通单目摄像头降低了对硬件的要求，有利于广泛地推广和使用。
实施例二
图2为本发明实施例二提供的一种人脸注意力判断方法的的流程示意图，本实施例以上述实施例为基础进行进一步的优化，该方法可以由人脸注意力判断装置来执行。如图2所示，具体包括如下步骤：
S210、获取人脸图像。
S220、利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态，得到人脸朝向信息。
S230、分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值，依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果。
可选的，单帧人脸注意力值的计算公式为：
y＝αx1+βx2+γx3
其中，y为单帧人脸注意力值，y∈[0,1]；x1为人脸框位置的映射关系值，x1∈[0,1]；x2为人脸朝向的映射关系值，x2∈[0,1]；x3为人脸姿态的映射关系值，x3∈[0,1]；α、β、γ分别代表x1、x2、x3的加权权重，α+β+γ＝1。示例的，人脸框中心点位置在横坐标上符合正态分布，中心位置得分越低越往两边分布；人脸朝向映射关系中，正脸对应1，侧脸对应0；人脸姿态的映射关系中，俯仰角和偏航角在水平和垂直坐标上符合正太分布，正中正对镜头得分最高，左右或上下的角度值得分递减，两个角度映射取值后按各自0.5加权求和得到最终的x3。
一个周期内的人脸注意力平均值的计算公式为：
Figure BDA0002269745050000071
其中，Y为当前人脸注意力结果，n为帧数，yi为某一帧的人脸注意力值。
S240、根据人脸注意力结果、人脸朝向信息与预先确定的规则确定当前专注状态。
其中，预先确定的对应规则包括：
人脸正向对准摄像头俯仰角小于30°且当前人脸注意力值范围在0.8-1之间为高专注状态；
人脸偏侧向对准摄像头水平旋转角正负30°以内且当前人脸注意力值范围在0.45-0.8之间为中专注状态；
人脸侧向对准摄像头水平旋转角大于30°或当前人脸注意力值范围在0-0.45之间为不专注状态。
示例的，学生通过使用电脑的线上课堂进行上课，面对面部的摄像头采集学生的面部图像，确认人脸正向对准摄像头仰角25°，通过加权求和计算当前人脸注意力值为0.8，则确定学生当前处于高专注状态。
本实施例通过对人脸框位置、人脸朝向和人脸姿态进行加权求和取平均值，得到了当前人脸注意力结果，根据预先确定的规则，对专注状态进行判断，实现了将人脸朝向确定过程和人脸注意力结果确定过程结合在一起，快速得到最终的专注状态，计算效率提高，利于推广和使用。
实施例三
图3是本发明实施例三所提供的人脸注意力判断装置的结构框图，可执行本发明任意实施例所提供的人脸注意力判断方法，具备执行方法相应的功能模块和有益效果，如图3所示，该装置包括：
图像获取模块301，用于获取人脸图像。
图像处理模块302，用于利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态。
人脸方向角度确定模块303，用于依据人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度。
注意力确定模块304，用于依据人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
可选的，注意力确定模块304包括：
单帧人脸注意力值确定单元，用于分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；
人脸注意力结果确定单元，用于依据各单帧人脸注意力值确定当前人脸注意力结果。
人脸注意力结果确定单元还具体用于：
依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为当前人脸注意力结果；和/或，
依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为当前人脸注意力结果。
可选的，该装置还包括：
专注状态确定模块，用于根据人脸注意力结果、人脸朝向与预先确定的规则确定当前专注状态。
本发明实施例提供一种人脸注意力判断装置，在判断专注状态的同时得到人脸的朝向信息，使两个计算过程相结合，不需要单独计算，节省了运算时间，提高了注意力的判断效率，且对硬件的要求低，应用场景广泛，有利于推广和使用。
实施例四
图4是本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备400的框图。图4显示的计算机设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备400以通用计算设备的形式表现。计算机设备400的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备400典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备400访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。计算机设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备400也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该计算机设备400交互的设备通信，和/或与使得该计算机设备400能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，计算机设备400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与计算机设备400的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的人脸注意力判断方法，包括：
获取人脸图像；
利用预先训练的多任务卷积神经网络对人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
依据人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
依据人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的人脸注意力判断方法，包括：
获取人脸图像；
利用预先训练的多任务卷积神经网络对人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
依据人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
依据人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人脸注意力判断方法，其特征在于，包括：
获取人脸图像；
利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
2.根据权利要求1所述的方法，其特征在于，所述依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果，包括：
分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；
依据各单帧人脸注意力值确定当前人脸注意力结果。
3.根据权利要求2所述的方法，其特征在于，所述依据各单帧人脸注意力值确定当前人脸注意力结果，包括：
依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或
依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为所述当前人脸注意力结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述人脸注意力结果、所述人脸朝向与预先确定的规则确定当前专注状态。
5.一种人脸注意力判断装置，其特征在于，包括：
图像获取模块，用于获取人脸图像；
图像处理模块，用于利用预先训练的多任务卷积神经网络对所述人脸图像进行处理，确定人脸框位置、人脸朝向和人脸姿态；
人脸方向角度确定模块，用于依据所述人脸朝向和人脸姿态确定粗力度的人脸朝向方向和细力度的人脸姿态朝向角度；
注意力确定模块，用于依据所述人脸框位置、人脸朝向方向和人脸姿态朝向角度确定人脸注意力结果。
6.根据权利要求5所述的装置，其特征在于，所述注意力确定模块包括：
单帧人脸注意力值确定单元，用于分别依据每帧人脸图像的人脸框位置的坐标、人脸朝向的方向和人脸姿态的朝向角度进行加权求和确定单帧人脸注意力值；
人脸注意力结果确定单元，用于依据各单帧人脸注意力值确定当前人脸注意力结果。
7.根据权利要求6所述的装置，其特征在于，所述人脸注意力结果确定单元，具体用于：
依据各单帧人脸注意力值拟合一个周期内的人脸注意力平均值，作为所述当前人脸注意力结果；和/或，
依据最小二乘法将各单帧人脸注意力值拟合一个周期内的人脸注意力曲线，作为当前人脸注意力结果。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
专注状态确定模块，用于根据所述人脸注意力结果、所述人脸朝向与预先确定的规则确定当前专注状态。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的人脸注意力判断方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-4中任一所述的人脸注意力判断方法。
CN201911100570.7A 2019-11-12 2019-11-12 一种人脸注意力判断方法、装置、设备及存储介质 Pending CN110837810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100570.7A CN110837810A (zh) 2019-11-12 2019-11-12 一种人脸注意力判断方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100570.7A CN110837810A (zh) 2019-11-12 2019-11-12 一种人脸注意力判断方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110837810A true CN110837810A (zh) 2020-02-25

Family

ID=69574933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100570.7A Pending CN110837810A (zh) 2019-11-12 2019-11-12 一种人脸注意力判断方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110837810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN112560638A (zh) * 2020-12-11 2021-03-26 上海明略人工智能(集团)有限公司 基于人脸识别和行为检测的会场专注评估方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及系统
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN109284698A (zh) * 2018-09-03 2019-01-29 深圳市尼欧科技有限公司 一种基于图像识别技术的疲劳驾驶行为检测方法
CN109583351A (zh) * 2018-11-22 2019-04-05 广州市保伦电子有限公司 基于视频分析的课堂学生注意力获取方法、装置及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及系统
CN108509923A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 课堂注意力检测方法、装置、设备及计算机可读介质
CN109284698A (zh) * 2018-09-03 2019-01-29 深圳市尼欧科技有限公司 一种基于图像识别技术的疲劳驾驶行为检测方法
CN109583351A (zh) * 2018-11-22 2019-04-05 广州市保伦电子有限公司 基于视频分析的课堂学生注意力获取方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN112560638A (zh) * 2020-12-11 2021-03-26 上海明略人工智能(集团)有限公司 基于人脸识别和行为检测的会场专注评估方法及系统

Similar Documents

Publication Publication Date Title
CN111986159B (zh) 太阳能电池片的电极缺陷检测方法、设备及存储介质
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
CN110826521A (zh) 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN111553282A (zh) 用于检测车辆的方法和装置
CN109835260B (zh) 一种车辆信息显示方法、装置、终端和存储介质
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN110837810A (zh) 一种人脸注意力判断方法、装置、设备及存储介质
CN111144321B (zh) 专注度检测方法、装置、设备和存储介质
CN108470131B (zh) 用于生成提示信息的方法和装置
CN112446352A (zh) 行为识别方法、装置、介质及电子设备
CN112650300A (zh) 一种无人机避障方法和装置
CN111723716B (zh) 确定目标对象朝向的方法、装置、系统、介质及电子设备
CN111027506B (zh) 视线方向的确定方法、装置、电子设备及存储介质
CN110170167B (zh) 一种画面显示方法、装置、设备及介质
WO2022091577A1 (ja) 情報処理装置および情報処理方法
CN110796108A (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
CN112200804A (zh) 图像检测方法、装置、计算机可读存储介质及电子设备
CN112232175A (zh) 一种操作对象状态识别方法及装置
CN112149641A (zh) 监控驾驶状态的方法、装置、设备和存储介质
CN106547339B (zh) 计算机设备的控制方法和装置
JP4676375B2 (ja) 車両運転者の視線方向の検出方法又は同装置
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN114093007A (zh) 双目摄像头人脸图像异常监测的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210816

Address after: Room 301-112, floor 3, building 2, No. 18, YANGFANGDIAN Road, Haidian District, Beijing 100089

Applicant after: Beijing Rubu Technology Co.,Ltd.

Address before: Room 508-598, Xitian Gezhuang Town Government Office Building, No. 8 Xitong Road, Miyun District Economic Development Zone, Beijing 101500

Applicant before: BEIJING ROOBO TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225