CN111767820A - 对象被关注的识别方法、装置、设备及存储介质 - Google Patents

对象被关注的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111767820A
CN111767820A CN202010582682.7A CN202010582682A CN111767820A CN 111767820 A CN111767820 A CN 111767820A CN 202010582682 A CN202010582682 A CN 202010582682A CN 111767820 A CN111767820 A CN 111767820A
Authority
CN
China
Prior art keywords
eye
face
yaw angle
pitch angle
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010582682.7A
Other languages
English (en)
Inventor
王占亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Original Assignee
JD Digital Technology Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JD Digital Technology Holdings Co Ltd filed Critical JD Digital Technology Holdings Co Ltd
Priority to CN202010582682.7A priority Critical patent/CN111767820A/zh
Publication of CN111767820A publication Critical patent/CN111767820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种对象被关注的识别方法、装置、设备和存储介质，通过检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，综合人脸偏航角、人脸俯仰角、左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，分别判断左眼和右眼是否为有效关注，基于判断左眼和右眼是否为有效关注的结果，确定对象是否被关注，实现了结合眼部的特征判断对象是否被关注的目的，解决了仅通过人脸角度判断行人关注度过程中存在的误判或漏检的问题，从而能够更准确的确定对象是否真正被关注，有效的提高了对象被关注的识别准确性。

Description

对象被关注的识别方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种对象被关注的识别方法、装置、设备及存储介质。
背景技术
随着社会信息化的不断深化，人们在生活中随处可以看到投放各种信息(广告、通知等)的信息投放装置，例如电子广告屏，这些信息投放装置会统计行人对投放信息的关注度。对行人关注度的计算方法很多，目前大多是以人脸识别技为主。通过在广告屏一侧设置拍摄装置，比如摄像头，利用摄像头采集的图像进行人脸检测，将获得人脸角度信息与阈值比较进行判断，确定行人对广告屏的关注状态，根据行人的关注状态对投放信息是否有效进行标定。
但将人脸角度信息与设置的阈值的比较结果作为是否关注的判断依据，会对行人关注度产生误判或漏检的情况，造成行人关注度统计不准确的问题，进而影响对投放信息是否有效的标定。
发明内容
本申请提供了一种对象被关注的识别方法、装置、设备及存储介质，用以解决行人关注度统计过程中存在的误判或漏检的问题，提高对象被关注的识别准确性。
第一方面，本申请实施例提供了一种对象被关注的识别方法，包括：
获取从对象的方向拍摄得到的包含人脸的待识别图像；
检测所述待识别图像中人脸偏航角和人脸俯仰角，以及检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；
根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；
根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；
根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。
可选的，所述根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果，包括：
若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数，根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼不是有效关注，根据所述左眼置信度确定左眼投票分数，根据所述左眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼为有效关注，根据所述右眼置信度确定右眼投票分数，根据所述右眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼不是有效关注，获得所述对象没有被关注的检测结果。
可选的，所述根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述左眼投票分数大于第一预设分数，且所述右眼投票分数大于所述第一预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
所述根据所述左眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述左眼投票分数大于第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
所述根据所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述右眼投票分数大于所述第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
其中，所述第二预设分数不小于所述第一预设分数。
可选的，所述检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，包括：
检测所述待识别图像中的眼部图像；
对所述眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标、右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径；
根据所述左眼虹膜中心坐标、所述左眼眼球中心坐标和所述眼球半径，计算得到所述左眼偏航角和所述左眼俯仰角；
根据所述右眼虹膜中心坐标、所述右眼眼球中心坐标和所述眼球半径，计算得到所述右眼偏航角和所述右眼俯仰角。
可选的，所述根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果，包括：
计算所述左眼偏航角与所述人脸偏航角的和，得到第一和值，计算所述左眼俯仰角与所述人脸俯仰角的和，得到第二和值；
判断是否同时满足所述第一和值小于预设左眼偏航角上限阈值且大于预设左眼偏航角下限阈值，所述第二和值小于预设左眼俯仰角上限阈值且大于预设左眼俯仰角下限阈值，若是，获得所述第一判断结果为所述左眼为有效关注，否则，获得所述第一判断结果为所述左眼为无效关注。
可选的，所述根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果，包括：
计算所述右眼偏航角与所述人脸偏航角之和，得到第三和值，计算所述右眼俯仰角与所述人脸俯仰角之和，得到第四和值；
判断是否同时满足所述第三和值小于预设右眼偏航角上限阈值且大于预设右眼偏航角下限阈值，所述第四和值小于预设右眼俯仰角上限阈值且大于预设右眼俯仰角下限阈值，若是，获得所述第二判断结果为所述右眼为有效关注，否则，获得所述第二判断结果为所述右眼为无效关注。
可选的，所述对所述眼部图像进行视线检测，确定所述眼球半径，包括：
根据所述眼部图像进行视线检测，获得原始眼球半径；
根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径；
根据所述预估眼球半径，对所述原始眼球半径进行修正，确定所述眼球半径。
可选的，所述根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径包括：
判断所述人脸偏航角的绝对值是否小于预设小角度阈值；
若是，获取所述眼部图像的瞳距成像距离所占像素数，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将所述眼球半径成像距离所占像素数作为所述预估眼球半径；
若不是，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述拍摄参数，利用光学成像原理和成像相似原理，计算得到所述预估眼球半径。
可选的，所述在检测所述待识别图像中人脸偏航角和人脸俯仰角后，在检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角之前包括：
根据所述人脸偏航角和人脸俯仰角判断是否检测所述待识别图像中的人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。
第二方面，本申请实施例提供了一种对象被关注的识别装置，包括：
第一获取模块，用于获取从对象的方向拍摄得到的包含人脸的待识别图像；
检测模块，用于检测所述待识别图像中人脸偏航角和人脸俯仰角，以及所述待检测图中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；
第一判断模块，用于根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；
第二判断模块，用于根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；
第二获取模块，用于根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现如上述第一方面所述的对象被关注的识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的对象被关注的识别方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，综合人脸偏航角、人脸俯仰角、左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，分别判断左眼和右眼是否为有效关注，基于判断左眼和右眼是否为有效关注的结果，确定对象是否被关注，实现了结合眼部的特征判断对象是否被关注的目的，解决了仅通过人脸角度判断行人关注度过程中存在的误判或漏检的问题，从而能够更准确的确定对象是否真正被关注，有效的提高了对象被关注的识别准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请第一实施例提供的一种对象被关注的识别方法的流程示意图；
图2为本申请第三实施例提供的检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角的流程示意图；
图3为本申请第四实施例提供的确定眼球半径的流程示意图；
图4为本申请第四实施例提供的计算得到预估眼球半径的流程示意图；
图5为本申请第六实施例中提供的一种对象被关注识别的具体实施方法的流程示意图；
图6为本申请第七实施例中对象被关注的识别装置的结构示意图；
图7为本申请第八实施例中电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中提供了一种对象被关注的识别方法，用以识别对象是否被关注，该方法可以直接以软件模块的形式集成在电子设备中，该电子设备可以直接是该对象本身，也可以是与该对象建立通信连接的其他电子设备，该电子设备可以是任意一种形式的终端或者服务器。
本申请第一实施例中，参照图1所示，识别对象是否被关注的具体过程主要包括：
S101、获取从对象的方向拍摄得到的包含人脸的待识别图像。
其中，待识别图像可以是与对象处于同一位置的摄像头从任意一个方向拍摄获得。或者，待识别图像可以是与对象不在同一位置的摄像头，朝向该摄像头与该对象连线的延长线方向拍摄获得。
在本实施例中，假设对象为设置有摄像头的投放装置，即摄像头和投放装置为一体设计，通过摄像头从投放装置的方向对行人拍摄，投放装置的方向指从投放装置的正面引出的任意一个方向。
S102、检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。
在本实施例中，人脸偏航角指人脸中心相对于地面垂直方向左右偏转的角度，其中，人脸烦人偏转方向用正负数表示，向左偏转用负数表示，向右偏转用正数表示。人脸俯仰角指人脸中心相对于地面水平方向所成的夹角，人脸相对于地面水平方向向上为仰角，用正数表示，人脸相对于地面水平方向向下为俯角，用负数表示。其中人脸中心可以根据人脸检测算法确定，人脸中心位置可以用人脸下巴中心表示，也可以用鼻尖中心表示。
左眼偏航角指左眼虹膜中心视线所在的水平平面内，左眼眼球水平中心相对于左眼虹膜中心垂直线左右偏转的角度，其中左眼眼球中心向左偏转用负数表示，左眼眼球中心向右偏转用正数表示。
左眼俯仰角指左眼虹膜中心视线所在的垂直平面内，左眼眼球中心相对于左眼虹膜中心水平线所成的角。其中，左眼眼球中心在左眼虹膜中心水平线上方时所成的角为左眼仰角，用正数表示，左眼眼球中心在左眼虹膜中心水平线下方时所成的角为左眼俯角，用负数表示。
同样，右眼偏航角与左眼偏航角在本实施例中表示的含义、右眼俯仰角与左眼俯仰角在本实施例中表示的含义类似，右眼偏航角指右眼虹膜中心视线所在的水平平面内，右眼眼球水平中心相对于右眼虹膜中心垂直线左右偏转的角，其中右眼眼球中心向左偏转用负数表示，右眼眼球中心向右偏转用正数表示。
右眼俯仰角指右眼虹膜中心视线所在的垂直平面内，右眼眼球中心相对于右眼虹膜中心水平线所成的角。其中，右眼眼球中心在右眼虹膜中心水平线上方时所成的角为右眼仰角，用正数表示，右眼眼球中心在右眼虹膜中心水平线下方时所成的角为右眼俯角，用负数表示。
对待识别图像进行人脸检测时，对待识别图像的人脸、左眼和右眼等关键特征进行标注，标注点可以为多个，根据人脸的各个特征标注点确定人脸中心，根据地面垂直方向和地面水平方向确定人脸偏航角和人脸俯仰角，根据左眼的各个特征标注点确定左眼虹膜中心和左眼眼球中心，从而确定左眼偏航角和左眼俯仰角，根据右眼的各个特征标注点确定右眼虹膜中心和右眼眼球中心，从而确定右眼偏航角和右眼俯仰角。
S103、根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果。
在本实施例中，根据左眼偏航角和人脸偏航角判断左眼偏航角是否为有效关注，根据左眼俯仰角和人脸俯仰角判断左眼俯仰角是否有效关注，将左眼偏航角的判断结果与左眼俯仰角的判断结果进行综合判断，判断左眼是否为有效关注。若判断左眼偏航角和左眼俯仰角均有效，则获得第一判断结果为：左眼为有效关注，否则获得第一判断结果为：左眼为无效关注。
除采用上述实施例获得第一判断结果外，还可以采用以下实施例获得第一判断结果：将左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角与预设左眼有效关注阈值进行判断，确定左眼是否为有效关注，获得第一判断结果，具体过程包括：计算左眼偏航角与人脸偏航角的和，得到第一和值，计算左眼俯仰角与人脸俯仰角的和，得到第二和值；判断是否同时满足第一和值小于预设左眼偏航角上限阈值且大于预设左眼偏航角下限阈值，第二和值小于预设左眼俯仰角上限阈值且大于预设左眼俯仰角下限阈值，若是，获得第一判断结果为左眼为有效关注，否则，获得第一判断结果为左眼为无效关注。
用公式可以表示为：
LeftEyeLeftThreshold<FaceYawAngel+LeftEyeYawAngel<LeftEyeRightThreshold且
LeftEyeTopThreshold<FacePicthAngel+LeftEyePicthAngel<LeftEyeBottomThreshold，满足则获得第一判断结果为：左眼为有效关注，否则获得第一判断结果为：左眼为无效关注。
其中，LeftEyeLeftThreshold表示预设左眼偏航角下限阈值，LeftEyeRightThreshold表示预设左眼偏航角上限阈值，FaceYawAngel+LeftEyeYawAngel表示人脸偏航角与左眼偏航角之和，即第一和值。
LeftEyeTopThreshold表示预设左眼俯仰角下限阈值，LeftEyeBottomThreshold表示预设左眼俯仰角上限阈值，FacePicthAngel+LeftEyePicthAngel表示人脸俯仰角与左眼俯仰角之和，即第二和值。
S104、根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果。
本实施例中，根据右眼偏航角和人脸偏航角判断右眼偏航角是否为有效关注，根据右眼俯仰角和人脸俯仰角判断右眼俯仰角是否为有效关注，将右眼偏航角的判断结果与右眼俯仰角的判断结果进行综合判断，判断右眼是否为有效关注。若判断右眼偏航角和右眼俯仰角均有效，则获得第二判断结果为：右眼为有效关注，否则获得第二判断结果为：右眼为无效关注。
除采用上述获得第二判断结果的实施例外，还可以采用以下实施例获得第二判断结果：将右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角与预设右眼有效关注阈值进行判断，判断右眼是否为有效关注，获得第二判断结果。具体过程包括：计算右眼偏航角与人脸偏航角之和，得到第三和值，计算右眼俯仰角与人脸俯仰角之和，得到第四和值。判断是否同时满足第三和值小于预设右眼偏航角上限阈值且大于预设右眼偏航角下限阈值，第四和值小于预设右眼俯仰角上限阈值且大于预设右眼俯仰角下限阈值，若是，获得第二判断结果为右眼为有效关注，否则，获得第二判断结果为右眼为无效关注。
用公式可以表示为：
RightEyeLeftThreshold<FaceYawAngel+RightEyeYawAngel<RightEyeRightThreshold且
RightEyeTopThreshold<FacePicthAngel+RightEyePicthAngel<RightEyeBottomThreshold，满足则获得第二判断结果为：右眼为有效关注，否则获得第二判断结果为：右眼为无效关注。
其中，RightEyeLeftThreshold表示预设右眼偏航角下限阈值，RightEyeRightThreshold表示预设右眼偏航角上限阈值，FaceYawAngel+RightEyeYawAngel表示人脸偏航角与右眼偏航角之和，即第三和值。
RightEyeTopThreshold表示右眼俯仰角下限阈值，RightEyeBottomThreshold表示预设右眼俯仰角上限阈值，FacePicthAngel+RightEyePicthAngell表示人脸俯仰角与右眼俯仰角之和，即第四和值。
S105、根据第一判断结果和第二判断结果，获得对象是否被关注的检测结果。
在本实施例中，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，获得对象被关注的检测结果。若第一判断结果和第二判断结果中有一个为有效关注，获得对象被关注的检测结果。若第一判断结果为左眼为无效关注，第二判断结果为右眼为无效关注，获得对象没有被关注的检测结果。
本申请实施例所提供的关注识别方法，相对于现有技术中，基于人脸识别的行人关注度统计方法，可以显著提高识别准确性。
分析可知，基于人脸识别的行人关注度统计方法中，通过将识别到的人脸角度与设置的阈值角度进行比较，阈值角度的大小会对检测判断结果有很大影响，存在很多漏检和误判的现象。
其一，行人面目正视广告屏或有一定小夹角，但人眼始终没有关注广告屏时，如侧视看同旁聊天经过广告屏，图像检测出人脸，误判为关注状态。例如，将判断阈值设置25度，检测的人脸角度小于阈值25度，为关注状态，检测的人脸角度大于阈值25度，为非关注状态，会忽略大于25度但眼神侧目确实关注屏幕的状态。
其二，行人侧脸经过广告屏，人眼侧视有关注广告屏时，没有检测出人脸，误判为未关注状态。例如，将判断阈值设置为50度，将人脸角度小于50度判断为关注状态，会误判人脸角度小于50度但实际是经过屏幕并没有关注屏幕的状态。
而本申请实施例所提供的对象被关注的识别方法，在人脸角度的基础上考虑了左眼和右眼的角度，得到最终对象被关注的识别结果，避免了通过人脸角度判断行人是否在关注对象过程中存在的误判或漏检的问题，并且，基于左眼和右眼是否是有效关注，判断对象是否被关注，从而能够更准确的确定对象是否被关注，有效的提高了对象被关注的识别准确性。
本申请第二实施例中，对第一实施例中的步骤S105，提出了另一种具体实现，该具体实现中，引入了置信度的概念。
置信度表示检测的准确程度，置信度的判断可以根据待识别图像与预设图像模型进行判断得到。如检测左眼置信度，将待识别图像中左眼图像信息与预设图像模型中的左眼图像信息进行比较，从而确定左眼置信度。左眼图像信息可以包括左眼图像的角度信息和左眼图像的质量信息。待识别图像中的左眼图像的角度信息是根据视线检测算法得到的，待识别图像的左眼图像的质量信息是根据拍摄时得到的图像质量得到的。预设图像模型中的左眼图像信息是根据实验采集的大量左眼检测图像进行预存储得到的。例如左眼置信度可以为0.9，即识别得到的左眼准确度为0.9。
同样右眼置信度，将待识别图像中的右眼图像信息与预设图像模型中的右眼图像信息进行比较，确定右眼置信度，右眼图像信息可以包括右眼图像的角度信息和右眼图像的质量，例如右眼置信度可以为0.85，即识别得到的右眼准确度为0.9。图像质量越高，置信度越高。置信度的检测为人脸检测中现有算法，因此对于置信度的确定在此不进行过多赘述。
该实施例中，在获得第一判断结果和第二判断结果之后，判断对象是否被关注可有几下几种情况：
情况一，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数，根据左眼投票分数和右眼投票分数，获得对象是否被关注的检测结果。
其中，获得对象是否被关注的检测结果，至少可以采用以下两种实施方式中的一种：
方式a，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注时，对应得到左眼置信度和右眼置信度，将左眼置信度作为左眼投票分数，将右眼置信度作为右眼投票分数。例如，得到左眼置信度为0.9，右眼置信度为0.85，根据左眼置信度0.9确定左眼投票分数为0.9，根据右眼置信度确定右眼投票分数为0.85，根据左眼投票分数0.9和右眼投票分数0.85，对对象是否被关注进行判断，获得对象是否被关注的检测结果。
方式b，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，将左眼有效关注进行设定数值计数，得到左眼计数，计算左眼置信度和左眼计数的乘积，得到左眼投票分数，将右眼有效关注进行设定数值计数，得到右眼计数，计算右眼置信度和右眼计数的乘积，得到右眼投票分数，然后根据左眼投票分数和右眼投票分数获得被关注的检测结果。
例如，左眼置信度为0.9，右眼置信度为0.85，将有效关注计数的设定数值设定为1，得到左眼有效关注计数为1，左眼计数1和左眼置信度0.9相乘，得到左眼投票分数0.9。同样得到右眼有效关注计数为1，右眼计数1和右眼置信度0.85相乘，得到右眼投票分数0.85，也可以将设定数值取值为2、3或者5等，并不仅限于取值为1。
具体地，在方式a和方式b中，判断是否满足左眼投票分数大于第一预设分数，且右眼投票分数大于第一预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。
第一预设分数是根据第一判断结果和第二判断结果得到的，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，可以将第一预设分数设定为0.65。其中，第一预设分数设定为0.65为列举数值，也可以将第一预设分数设定为0.7，0.75等，在此不对第一预设分数的具体取值进行限定，可根据实际进行设定。
例如，左眼投票分数为0.9，右眼投票分数为0.85，第一预设分数设定为0.65，判断左眼投票分数0.9大于第一预设分数0.65，且右眼投票分数0.85大于第一预设分数0.65，得到对象被关注的检测结果。若在第一判断结果为左眼有效关注，第二判断结果为右眼有效结果的情况下，左眼投票分数和右眼投票分数中有任一投票分数小于第一预设分数，或左眼投票分数和右眼投票分数均小于第一预设分数，则获得对象没有被关注的检测结果。
情况二，若第一判断结果为左眼为有效关注，第二判断结果为右眼不是有效关注，根据左眼置信度确定左眼投票分数，根据左眼投票分数，获得对象是否被关注的检测结果。
其中，根据左眼置信度确定左眼投票分数的具体实施过程，可参见情况一中关于左眼投票分数的实施过程，此处不再详述。
具体地，判断是否满足左眼投票分数大于第二预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。
第二预设分数是根据第一判断结果和第二判断结果得到的，若第一判断结果和第二判断结果中有一个为有效关注，另一个为无效关注，可以将第二预设分数设定为0.8，第二预设分数在设定时不小于第一预设分数。同样，第二预设分数设定为0.8为列举数值，也可以设定为0.85、0.9等，在此不对第二预设分数的取值进行限定，可根据需要进行设定。
例如，设定第二预设分数为0.8，左眼投票分数为0.9，将左眼投票分数0.9与第二预设分数0.8进行判断，判断满足左眼投票分数0.9大于第二预设分数0.8，获得对象被关注的检测结果。若在第一判断结果为左眼有效关注的情况下，左眼投票分数小于第二预设分数，得到对象没有被关注的检测结果。
情况三，若第一判断结果为左眼不是有效关注，第二判断结果为右眼为有效关注，根据右眼置信度确定右眼投票分数，根据右眼投票分数，获得对象是否被关注的检测结果。
其中，根据右眼置信度确定右眼投票分数的具体实施过程，可参见情况一中关于右眼投票分数的实施过程，此处不再详述。
具体地，判断是否满足右眼投票分数大于第二预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。
例如，右眼投票分数为0.85时，设定第二预设分数为0.8，将右眼投票分数0.85与第二预设分数0.8进行判断，判断满足右眼投票分数大于第二预设分数，获得对象被关注的检测结果。若在第二判断结果为右眼有效关注的情况下，右眼投票分数小于第二预设分数，得到对象没有被关注的检测结果。
情况四，若第一判断结果为左眼不是有效关注，第二判断结果为右眼不是有效关注，获得对象没有被关注的检测结果。
在本实施例中，与现有技术相比，解决了由于行人经过投放装置时，因与投放装置的距离不同的，拍摄得到的眼部图像质量存在差异，而造成的识别对象被关注的准确低的问题。通过检测左右眼是否为有效关注的基础上加入了与图像质量有关的置信度的判断，在左右眼为有效关注前提下，以置信度为系数，得到投票分数，通过判断左右眼投票分数最终得到对象是否被关注的检测结果，避免了因图像不清晰置信度低，出现实际未关注而误判为关注的结果，极大的提高了对象被关注的识别准确性。
本申请第三实施例中，对第一实施例中的步骤S102，提出了一种具体实现，参照图2所示，该具体实现中，检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，包括：
S201、检测待识别图像中的眼部图像。
检测待识别图像中的眼部关键点坐标，根据眼部关键点坐标确定原始眼部图像区域，对原始眼部图像区域和眼部关键点进行放大，得到眼部图像区域。
例如，根据眼部关键点坐标计算出眼部图像区域Rectangle的原始横坐标点x、原始纵坐标点y、原始宽度width和原始高度height；然后将原始横坐标和原始纵坐标膨胀扩充指定的系数：如2倍扩充，2倍扩充后的横坐标X、纵坐标Y，和扩充后的宽度WIDTH和高度HEIGHT与原始坐标点的关系表示为：
X＝x-width/2；Y＝y-height；
WIDTH＝width×2；HEIGHT＝height×2。
检查扩充后的新坐标X、Y、WIDTH、HEIGHT是否越界并适当调整包括：基于眼部图像区域，根据眼部关键点坐标检测眼部是否超过眼部图像区域边界，若超过，对眼部图像进行调整，使眼部落在眼部图像区域内。
S202、对眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标、右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径。
眼球半径包括左眼眼球半径和右眼眼球半径。
在检测待识别图像中的眼部图像之后，对眼部图像进行视线检测之前，包括将眼部图像进行图像分割，得到左眼图像和右眼图像。对左眼图像视线检测，根据左眼虹膜关键点坐标确定左眼虹膜中心坐标，根据左眼眼球关键点坐标确定左眼眼球中心坐标和左眼眼球半径。对右眼图像进行视线检测，根据右眼虹膜关键点坐标确定得到右眼虹膜中心坐标，根据右眼眼球关键点坐标确定右眼眼球中心坐标和右眼眼球半径。
S203、根据左眼虹膜中心坐标、左眼眼球中心坐标和眼球半径，计算得到左眼偏航角和左眼俯仰角。
左眼虹膜中心坐标包括左眼虹膜中心横坐标和左眼虹膜中心纵坐标，左眼眼球中心坐标包括左眼眼球中心横坐标和左眼眼球中心纵坐标。
对此，对左眼偏航角的计算可以根据公式：
LeftEyePicthAngel＝asin((LeftEyeirisX-LefteyeballX)/eyeballradius)计算得到。
其中，LeftEyePicthAngel表示左眼偏航角，a表示系数，LeftEyeirisX表示左眼虹膜中心横坐标，LefteyeballX表示左眼眼球中心横坐标，eyeballradius表示眼球半径。
对左眼俯仰角的计算可以根据公式：
LeftEyeYawAngel＝asin((LefteyeirisY-LefteyeballY)/eyeballradius)得到。
其中，LeftEyeYawAngel表示左眼俯仰角，a表示系数，LefteyeirisY表示左眼虹膜中心纵坐标，LefteyeballY表示左眼眼球中心纵坐标，eyeballradius表示眼球半径。
S204、根据右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径，计算得到右眼偏航角和右眼俯仰角。
右眼虹膜中心坐标包括右眼虹膜中心横坐标和右眼虹膜中心纵坐标，右眼眼球中心坐标包括右眼眼球中心横坐标和右眼眼球中心纵坐标。
对此，右眼偏航角的计算可以根据公式：
RightEyePicthAngel＝asin((RighteyeirisX-RighteyeballX)/eyeballradius)得到。
其中，RightEyePicthAngel表示右眼偏航角，a表示系数，RighteyeirisX表示右眼虹膜中心横坐标，RighteyeballX表示右眼眼球中心横坐标，eyeballradius表示眼球半径。
对右眼俯仰角的计算可以根据公式：
RightEyeYawAngel＝asin((RighteyeirisY-eyeballY)/Righteyeballradius)得到。
其中，RightEyeYawAngel表示右眼俯仰角，a表示系数，RighteyeirisY表示右眼虹膜中心纵坐标，RighteyeballY表示右眼眼球中心纵坐标，eyeballradius表示眼球半径。
本申请第四实施例中，对第三实施例中的步骤S202，提出了一种具体实现，该具体实现中，在进行视线检测时，根据视线检测算法直接得到的眼球半径，因人脸偏航角的存在可能出现检测不准确，因此在根据视线检测得到的原始眼球半径的基础上，对原始眼球半径进行修正，修正了检测眼球半径的误差，使得得到的眼球半径更精确。参照图3所示，对眼部图像进行视线检测，确定眼球半径，包括：
S301、根据眼部图像进行视线检测，获得原始眼球半径，原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径。
原始眼球半径是根据视线检测算法直接获取得到的，可以根据视线检测的眼球特征点进行确定，分别得到原始左眼眼球半径和原始右眼眼球半径。
S302、根据人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径。
根据人脸偏航角、拍摄参数、预设眼球半径和预设瞳距根据光学成像原理和成像相似原理计算得到。
参照图4所示，对计算得到预估眼球半径的过程可以包括：
步骤401，判断人脸偏航角的绝对值是否小于预设小角度阈值，若判断是，执行步骤402，否则，执行步骤403。
步骤402，获取眼部图像的瞳距成像距离所占像素数，根据人脸偏航角、预设眼球半径、预设瞳距和瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将眼球半径成像距离所占像素数作为预估眼球半径。
其中，基于男女瞳距的差异，预设瞳距包括预设男性瞳距和预设女性瞳距，上述在获得原始眼球半径之后，对预估眼球半径进行计算之前包括：根据人脸检测确定性别，根据性别确定预设男女瞳距。预设男性瞳距为60毫米到73毫米之间，预设女性瞳距在53毫米到68毫米之间，预设眼球半径为12毫米。
瞳距成像距离所占像素数根据检测的眼部图像上的瞳距乘以拍摄装置的像素数得到。
可以根据简单评估，对眼球的半径进行计算，可以采用公式：
Es＝(12×Ps)/p×cos(FaceYawAngel))
其中，Es为眼球半径成像距离所占像素数，12为预设眼球半径，Ps为瞳距成像距离所占像素数，p为预设瞳距，FaceYawAngel为人脸偏航角。
步骤403，根据人脸偏航角、预设眼球半径、预设瞳距和拍摄参数，利用光学成像原理和成像相似原理，计算得到预估眼球半径。
拍摄参数包括拍摄装置镜头的焦距。预估眼球半径的计算可以根据公式：
光学成像公式：1/f＝1/U+1/V，得到：U＝fV/(V-f)。
其中，f表示拍摄装置镜头的焦距，为已知量；U表示眼瞳物距，即眼瞳到拍摄装置光心的距离，可以根据眼瞳像距与拍摄装置像素数得到；V表示眼瞳像距，即包含有眼瞳的眼部图像到拍摄装置光心的距离，眼瞳像距为检测时可以得到的已知量。
成像相似公式：S/W＝V/U，可以得到：V＝SU/W。
将公式V＝SU/W代入到公式U＝fV/(V-f)中，可以得到：U＝f+fW/S。
其中，W表示预设有效瞳距，S为眼球半径成像像高，S＝像素数量×像素大小，其中像素数量为两眼之间距离成像的像素数，像素大小为摄像头传感器固定参数，为已知量。U表示眼瞳物距，V表示眼瞳像距。
当有人脸偏航角的存在时，根据光学成像相似公式，基于人脸偏航角确定预设瞳距在光轴垂直方向的预设有效瞳距长度W，用公式表示为：
W＝pcos(FaceYawAngel)(1/2+U/(2(U+psin(FaceYawAngel))))；计算得到。
其中，p表示预设瞳距，FaceYawAngel表示人脸偏航角，U表示眼瞳物距。
由成像相似公式根据预设有效瞳距、眼瞳物距和眼瞳像距得到眼球半径成像距离所占像素数，眼球半径成像距离所占像素数即为预估眼球半径。
S303、根据预估眼球半径，对原始眼球半径进行修正，确定眼球半径。
原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径，眼球半径包括左眼眼球半径和右眼眼球半径。根据预估眼球半径，对原始左眼眼球半径进行修正，得到左眼眼球半径，对原始右眼眼球半径修正，得到右眼眼球半径。
如果计算的原始眼球半径偏离预估眼球半径上下限的15％，则将预估眼球半径确定为眼球半径进行后续计算。
本实施例与现有技术相比，解决了现有技术中，由于拍摄的包含人脸的图像质量不佳，或者行人侧脸，戴眼镜等诸多因素，造成直接输出原始眼球半径不准确，对象被识别的检测结果偏差大的问题。本实施例在人脸偏航角为小角度时，依据瞳距成像距离所占像素数与人脸偏航角的关系，根据男女瞳距的差异，计算得到预估眼球半径；当人脸偏航角大于预设小角度时，即人脸朝向与屏幕所成大角度时，采用光学成像和成像相似公式计算得到预估眼球半径，根据预估眼球半径对原始眼球半径进行修正，极大的提高了识别眼球半径的准确度，将精确的眼球半径进行后续对象被关注识别的检测中，从而提高了识别对象被关注的准确性。
在本申请第五实施例中，对第一实施例的步骤S102中，在检测待识别图像中人脸偏航角和人脸俯仰角之后，在检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角之前，根据人脸偏航角和人脸俯仰角判断是否对人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角进行检测。
根据人脸偏航角和人脸俯仰角判断是否满足关注条件，若满足，则不对待检测识别图像进行眼部检测，若不满足，则对人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角进行检测，继续执行步骤S103。
关注条件为：人脸偏航角和人脸俯仰角之和小于人脸关注阈值。
本实施例，与现有技术相比，通过以人脸检测技术和视线检测技术相结合，解决了由于行人在距离屏幕近侧目观看时，存在的人眼注视方向和人脸朝向不一致造成误判和漏判的问题。
当人脸朝向与屏幕所成小角度时，即，人脸偏航角小于人脸关注第一阈值且人脸俯仰角小于人脸关注第二阈值时，以人脸角度判定对象是否被关注；人脸朝向与屏幕朝向大角度时，即，人脸偏航角大于人脸关注第一阈值或人脸俯仰角大于人脸关注第二阈值时，综合眼部特征判断对象是否被关注，有效解决了单独依靠人脸角度检测，存在人眼注视方向和人脸朝向不一致存在误判和漏判的问题，优化了对象被关注的识别过程，通过先根据人脸角度判断对象是否被关注，判断未被关注时通过人脸角度叠加眼部角度进行检测，节省了检测时间，提高了对象被关注的识别效率。
本申请第六实施例中，提供了一种对象被关注识别的具体实施方式，参照图5所示，具体实施可参见上述第一至第五实施例部分的描述。
对象被关注识别的具体过程如下：
S501、获取包含人脸的待识别图像。
S502、检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。
S503、根据人脸偏航角和人脸俯仰角判断是否满足关注条件，若不满足，则执行S504和S506，若满足，则判断为关注。
S504、检测待识别图像中的眼部图像，得到左眼眼部图像和右眼眼部图像。
S505、对左眼眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标和左眼眼球半径；对右眼眼部图像进行视线检测，确定右眼虹膜中心坐标、右眼眼球中心坐标和右眼眼球半径。
S506、判断人脸偏航角的绝对值是否小于预设小角度，若是，则执行S507，否则，执行S508。
S507、获取眼部图像的瞳距成像距离所占像素数，根据人脸偏航角、预设眼球半径、预设瞳距和瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将眼球半径成像距离所占像素数作为预估眼球半径。
S508、根据人脸偏航角、预设眼球半径、预设瞳距和拍摄参数，利用光学成像原理和成像相似原理，计算得到预估眼球半径。
S509、根据预估眼球半径，对原始眼球半径进行修正，确定眼球半径；原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径。
S510、根据左眼虹膜中心坐标、左眼眼球中心坐标和眼球半径，计算得到左眼偏航角和左眼俯仰角；根据右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径，计算得到右眼偏航角和右眼俯仰角。
S511、根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果。
S512、若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数。
判断是否满足左眼投票分数大于第一预设分数，且右眼投票分数大于第一预设分数；
或，若第一判断结果为左眼为有效关注，判断是否满足左眼投票分数大于第二预设分数；
或，若第二判断结果为右眼为有效关注，判断是否满足右眼投票分数大于第二预设分数，若是，则判断为关注，否则，判断为未关注。
本实施例的所能达到的技术效果具体可参见上述第一至第五实施例技术效果的描述。
基于同一构思，本申请第七实施例中提供了一种对象被关注的识别装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，参照图6所示，该装置主要包括：
第一获取模块601，用于获取从对象的方向拍摄得到的包含人脸的待识别图像；
检测模块602，用于检测待识别图像中人脸偏航角和人脸俯仰角，以及待检测图中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；
第一判断模块603，用于根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；
第二判断模块604，用于根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；
第二获取模块605，用于根据第一判断结果和第二判断结果，获得对象是否被关注的检测结果。
本申请实施例通过检测模块检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，通过第一判断模块和第二判断模块综合人脸偏航角、人脸俯仰角、左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，分别判断左眼和右眼是否为有效关注，第二获取模块基于判断左眼和右眼是否为有效关注的结果，获取对象是否被关注的结果，实现了结合眼部的特征判断对象是否被关注的目的，解决了仅通过人脸角度判断行人关注度过程中存在的误判或漏检的问题，从而能够更准确的确定对象是否真正被关注，有效的提高了对象被关注的识别准确性。
基于同一构思，本申请第八实施例中还提供了一种电子设备，如图7所示，该电子设备主要包括：处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信。其中，存储器703中存储有可被至处理器701执行的程序，处理器701执行存储器703中存储的程序，实现如上述第一至第六实施例描述的对象被关注的识别方法步骤。
上述电子设备中提到的通信总线704可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口702用于上述电子设备与其他设备之间的通信。
存储器703可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器701的存储装置。
上述的处理器701可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的第九实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述一种对象被关注的识别方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种对象被关注的识别方法，其特征在于，包括：
获取从对象的方向拍摄得到的包含人脸的待识别图像；
检测所述待识别图像中人脸偏航角和人脸俯仰角，以及检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；
根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；
根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；
根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。
2.根据权利要求1所述的对象被关注的识别方法，其特征在于，所述根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果，包括：
若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数，根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼不是有效关注，根据所述左眼置信度确定左眼投票分数，根据所述左眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼为有效关注，根据所述右眼置信度确定右眼投票分数，根据所述右眼投票分数，获得所述对象是否被关注的检测结果；
若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼不是有效关注，获得所述对象没有被关注的检测结果。
3.根据权利要求2所述对象被关注的识别的方法，其特征在于，所述根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述左眼投票分数大于第一预设分数，且所述右眼投票分数大于所述第一预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
所述根据所述左眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述左眼投票分数大于第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
所述根据所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：
判断是否满足所述右眼投票分数大于所述第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；
其中，所述第二预设分数不小于所述第一预设分数。
4.根据权利要求1所述的对象被关注的识别方法，其特征在于，所述检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，包括：
检测所述待识别图像中的眼部图像；
对所述眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标、右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径；
根据所述左眼虹膜中心坐标、所述左眼眼球中心坐标和所述眼球半径，计算得到所述左眼偏航角和所述左眼俯仰角；
根据所述右眼虹膜中心坐标、所述右眼眼球中心坐标和所述眼球半径，计算得到所述右眼偏航角和所述右眼俯仰角。
5.根据权利要求1至4任一项所述的对象被关注的识别方法，其特征在于，所述根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果，包括：
计算所述左眼偏航角与所述人脸偏航角的和，得到第一和值，计算所述左眼俯仰角与所述人脸俯仰角的和，得到第二和值；
判断是否同时满足所述第一和值小于预设左眼偏航角上限阈值且大于预设左眼偏航角下限阈值，所述第二和值小于预设左眼俯仰角上限阈值且大于预设左眼俯仰角下限阈值，若是，获得所述第一判断结果为所述左眼为有效关注，否则，获得所述第一判断结果为所述左眼为无效关注。
所述根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果，包括：
计算所述右眼偏航角与所述人脸偏航角之和，得到第三和值，计算所述右眼俯仰角与所述人脸俯仰角之和，得到第四和值；
判断是否同时满足所述第三和值小于预设右眼偏航角上限阈值且大于预设右眼偏航角下限阈值，所述第四和值小于预设右眼俯仰角上限阈值且大于预设右眼俯仰角下限阈值，若是，获得所述第二判断结果为所述右眼为有效关注，否则，获得所述第二判断结果为所述右眼为无效关注。
6.根据权利要求4所述的对象被关注的识别方法，其特征在于，所述对所述眼部图像进行视线检测，确定所述眼球半径，包括：
根据所述眼部图像进行视线检测，获得原始眼球半径；
根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径；
根据所述预估眼球半径，对所述原始眼球半径进行修正，确定所述眼球半径。
7.根据权利要求6所述的对象被关注的识别方法，其特征在于，所述根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径包括：
判断所述人脸偏航角的绝对值是否小于预设小角度阈值；
若是，获取所述眼部图像的瞳距成像距离所占像素数，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将所述眼球半径成像距离所占像素数作为所述预估眼球半径；
若不是，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述拍摄参数，利用光学成像原理和成像相似原理，计算得到所述预估眼球半径。
8.根据权利要求1至4任一项所述的对象被关注的识别方法，其特征在于，在检测所述待识别图像中人脸偏航角和人脸俯仰角后，在检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角之前包括：
根据所述人脸偏航角和人脸俯仰角判断是否对所述待识别图像中的人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角进行检测。
9.一种对象被关注的识别装置，其特征在于，包括：
第一获取模块，用于获取从对象的方向拍摄得到的包含人脸的待识别图像；
检测模块，用于检测所述待识别图像中人脸偏航角和人脸俯仰角，以及所述待检测图中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；
第一判断模块，用于根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；
第二判断模块，用于根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；
第二获取模块，用于根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。
10.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-8中任一所述的对象被关注的识别方法。
11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述的对象被关注的识别方法。
CN202010582682.7A 2020-06-23 2020-06-23 对象被关注的识别方法、装置、设备及存储介质 Pending CN111767820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010582682.7A CN111767820A (zh) 2020-06-23 2020-06-23 对象被关注的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010582682.7A CN111767820A (zh) 2020-06-23 2020-06-23 对象被关注的识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767820A true CN111767820A (zh) 2020-10-13

Family

ID=72721894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010582682.7A Pending CN111767820A (zh) 2020-06-23 2020-06-23 对象被关注的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767820A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111745A (zh) * 2021-03-30 2021-07-13 四川大学 基于openpose的产品关注度的眼动识别的方法
CN113435364A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 头部转动检测方法、电子设备及存储介质
CN113470114A (zh) * 2021-08-31 2021-10-01 北京世纪好未来教育科技有限公司 视线估计方法、装置、电子设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN106709398A (zh) * 2015-07-29 2017-05-24 财团法人资讯工业策进会 凝视分析方法与装置
CN107590446A (zh) * 2017-08-28 2018-01-16 北京工业大学 智能检测人群关注度的系统及实现方法
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN108921148A (zh) * 2018-09-07 2018-11-30 北京相貌空间科技有限公司 确定正脸倾斜角度的方法及装置
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
JP2020006913A (ja) * 2018-07-12 2020-01-16 トヨタ自動車株式会社 利き目判定装置
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111178307A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 注视方向识别方法、装置及电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN106709398A (zh) * 2015-07-29 2017-05-24 财团法人资讯工业策进会 凝视分析方法与装置
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN107590446A (zh) * 2017-08-28 2018-01-16 北京工业大学 智能检测人群关注度的系统及实现方法
JP2020006913A (ja) * 2018-07-12 2020-01-16 トヨタ自動車株式会社 利き目判定装置
CN108921148A (zh) * 2018-09-07 2018-11-30 北京相貌空间科技有限公司 确定正脸倾斜角度的方法及装置
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111178307A (zh) * 2019-12-31 2020-05-19 联想(北京)有限公司 注视方向识别方法、装置及电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈浩;崔成;王昕;季铁;: "基于人脸云数据数字标牌投放效果的研究", 包装工程, no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111745A (zh) * 2021-03-30 2021-07-13 四川大学 基于openpose的产品关注度的眼动识别的方法
CN113435364A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 头部转动检测方法、电子设备及存储介质
CN113435364B (zh) * 2021-06-30 2023-09-26 平安科技（深圳）有限公司 头部转动检测方法、电子设备及存储介质
CN113470114A (zh) * 2021-08-31 2021-10-01 北京世纪好未来教育科技有限公司 视线估计方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111767820A (zh) 对象被关注的识别方法、装置、设备及存储介质
KR102320649B1 (ko) 얼굴 이미지 품질을 결정하는 방법과 장치, 전자 기기 및 컴퓨터 저장 매체
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN109389135B (zh) 一种图像筛选方法及装置
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
US9031862B2 (en) Advertisement delivery target identifying apparatus, advertisement delivery apparatus, advertisement delivery target identifying method, advertisement delivery method, program, and recording medium
CN103793719A (zh) 一种基于人眼定位的单目测距方法和系统
CN107564020B (zh) 一种图像区域确定方法及装置
CN110059666B (zh) 一种注意力检测方法及装置
CN108628442B (zh) 一种信息提示方法、装置以及电子设备
CN108986097A (zh) 一种镜头起雾状态检测方法、计算机装置及可读存储介质
CN110597387B (zh) 基于人工智能的画面显示方法和装置、计算设备、存储介质
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
US20210350705A1 (en) Deep-learning-based driving assistance system and method thereof
JP7255173B2 (ja) 人検出装置および人検出方法
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
JP6361313B2 (ja) 車両検出方法及び装置
Jung et al. Object Detection and Tracking‐Based Camera Calibration for Normalized Human Height Estimation
CN107368817B (zh) 人脸识别方法和装置
JP2015015031A (ja) 広告効果測定サーバ、広告効果測定システム、プログラム
JP2007172378A (ja) 注視対象物体特定装置
TWI704529B (zh) 用以偵測在一場景中之一預定第一線處之一物件越過事件之方法及裝置
CN109190495B (zh) 性别识别方法、装置及电子设备
CN111738241A (zh) 基于双摄像头的瞳孔检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Digital Technology Holding Co.,Ltd.

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.