CN111046744B - 一种关注区域检测方法、装置、可读存储介质及终端设备 - Google Patents

一种关注区域检测方法、装置、可读存储介质及终端设备 Download PDF

Info

Publication number
CN111046744B
CN111046744B CN201911151904.3A CN201911151904A CN111046744B CN 111046744 B CN111046744 B CN 111046744B CN 201911151904 A CN201911151904 A CN 201911151904A CN 111046744 B CN111046744 B CN 111046744B
Authority
CN
China
Prior art keywords
eye
point
coordinates
attention
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911151904.3A
Other languages
English (en)
Other versions
CN111046744A (zh
Inventor
王杉杉
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201911151904.3A priority Critical patent/CN111046744B/zh
Publication of CN111046744A publication Critical patent/CN111046744A/zh
Priority to PCT/CN2020/124098 priority patent/WO2021098454A1/zh
Application granted granted Critical
Publication of CN111046744B publication Critical patent/CN111046744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Abstract

本申请属于图像处理技术领域，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。所述方法获取待检测的目标人脸图像；计算所述目标人脸图像的头部姿态；提取所述目标人脸图像中的左眼图像和右眼图像；根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对人脸图像的图像分析处理来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。

Description

一种关注区域检测方法、装置、可读存储介质及终端设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。
背景技术
线下屏幕主要包含电视机、楼宇屏幕、影院取票机、影院LED、楼宇屏幕、超市/便利店POS机屏、出租车车载屏幕、投影机以及快递屏等。涉及到用户生活的各个方面。基于线下屏幕的线下广告方式在吸引消费者注意力方面有着天然的优势，但是线下广告的设计和内容是否更吸引消费者，广告商无法迅速知道，这导致线下广告好坏的反馈往往不如线上迅速和准确。这些造成了某些广告投放不够精准，效率不高的问题。现有技术中可以使用眼动仪设备等精密仪器来跟踪眼部运动，确定其关注区域，但其价格十分昂贵，难以进行广泛应用。
发明内容
有鉴于此，本申请实施例提供了一种关注区域检测方法、装置、计算机可读存储介质及终端设备，以解决现有的关注区域检测方法价格十分昂贵，难以进行广泛应用的问题。
本申请实施例的第一方面提供了一种关注区域检测方法，可以包括：
获取待检测的目标人脸图像；
计算所述目标人脸图像的头部姿态；
提取所述目标人脸图像中的左眼图像和右眼图像；
根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。
进一步地，所述根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域包括：
根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；
根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；
根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；
根据所述眼部关注点的坐标确定眼部关注区域。
进一步地，所述根据所述眼部关注点的坐标确定眼部关注区域包括：
根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；
根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；
若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；
将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
进一步地，所述根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换包括：
根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；
根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；
根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。
进一步地，所述根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向包括：
将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；
所述视线预测模型的处理过程包括：
分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息；
将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息；
将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向。
进一步地，在将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理之前，所述方法还可以包括：
构造训练样本集，其中，所述训练样本集中包括SN个训练样本，每个训练样本均包括预先采集的受试者的左眼图像、右眼图像和头部姿态，且每个训练样本对应的标签均为预先标定的视线关注方向，SN为正整数；
使用所述训练样本集对初始状态的视线预测模型进行训练，得到所述预训练好的视线预测模型。
进一步地，在根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域之后，所述方法还可以包括：
提取所述目标人脸图像中的人脸特征信息；
根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息；
确定与所述眼部关注区域对应的屏幕展示信息；
建立所述用户信息与所述屏幕展示信息之间的对应关系。
本申请实施例的第二方面提供了一种关注区域检测装置，可以包括：
人脸图像获取模块，用于获取待检测的目标人脸图像；
头部姿态计算模块，用于计算所述目标人脸图像的头部姿态；
眼部图像提取模块，用于提取所述目标人脸图像中的左眼图像和右眼图像；
视线关注方向确定模块，用于根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
眼部关键点检测模块，用于分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
眼部关注区域确定模块，用于根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。
进一步地，所述眼部关注区域确定模块可以包括：
中心点坐标计算子模块，用于根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；
点面距离计算子模块，用于根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；
眼部关注点坐标计算子模块，用于根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；
眼部关注区域确定子模块，用于根据所述眼部关注点的坐标确定眼部关注区域。
进一步地，所述眼部关注区域确定子模块可以包括：
坐标转换单元，用于根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；
像素位置判断单元，用于根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；
屏幕区域确定单元，用于若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；
眼部关注区域确定单元，用于将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
进一步地，所述坐标转换单元可以包括：
距离计算子单元，用于根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；
第一像素位置计算子单元，用于根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；
第二像素位置计算子单元，用于根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。
进一步地，所述视线关注方向确定模块具体用于将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；
所述视线关注方向确定模块可以包括：
特征信息提取子模块，用于分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息；
双眼特征信息确定子模块，用于将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息；
视线关注方向确定子模块，用于将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向。
进一步地，所述关注区域检测装置还可以包括：
样本集构造模块，用于构造训练样本集，其中，所述训练样本集中包括SN个训练样本，每个训练样本均包括预先采集的受试者的左眼图像、右眼图像和头部姿态，且每个训练样本对应的标签均为预先标定的视线关注方向，SN为正整数；
模型训练模块，用于使用所述训练样本集对初始状态的视线预测模型进行训练，得到所述预训练好的视线预测模型。
进一步地，所述关注区域检测装置还可以包括：
人脸特征信息提取模块，用于提取所述目标人脸图像中的人脸特征信息；
用户信息确定模块，用于根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息；
屏幕展示信息确定模块，用于确定与所述眼部关注区域对应的屏幕展示信息；
对应关系建立模块，用于建立所述用户信息与所述屏幕展示信息之间的对应关系。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种关注区域检测方法的步骤。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种关注区域检测方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述任一种关注区域检测方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例获取待检测的目标人脸图像；计算所述目标人脸图像的头部姿态；提取所述目标人脸图像中的左眼图像和右眼图像；根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对人脸图像的图像分析处理，分别得到视线关注方向、左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种关注区域检测方法的一个实施例流程图；
图2为本申请实施例中建立的3D坐标系的示意图；
图3为视线预测模型的网络结构示意图；
图4为视线关注方向的示意图；
图5为瞳孔中心点的示意图；
图6为根据视线关注方向、左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标确定眼部关注区域的示意流程图；
图7为计算眼部关注点的坐标的示意图；
图8为根据眼部关注点的坐标确定眼部关注区域的示意流程图；
图9为本申请实施例中一种关注区域检测装置的一个实施例结构图；
图10为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例中一种关注区域检测方法的一个实施例可以包括：
步骤S101、获取待检测的目标人脸图像。
在本申请实施例中，为了确定用户在屏幕上的关注区域，可以为所述屏幕配置深度相机，所述深度相机可以内置于所述屏幕中，也可以作为所述屏幕的外接设备。
在本申请实施例中，可以使用所述深度相机的相机坐标系建立如图2所示的3D坐标系，并预先标定所述屏幕的左上(即图2中的left_up)、右上(即图2中的right_up)、左下(即图2中的left_bottom)、右下(即图2中的right_bottom)这4个角点在3D坐标系中的坐标。
本申请实施例的执行主体可以为与所述屏幕通过有线方式或者无线方式连接的终端设备，包括但不限于桌上型计算机、笔记本、掌上电脑、智能手机、服务器以及其它具有数据处理功能的终端设备。特殊地，若所述屏幕为具有数据处理功能的智能屏幕，则也可以将其作为执行本申请实施例的终端设备，而无需依赖其它外部的终端设备。
在本申请实施例的一种具体实现中，可以通过所述深度相机采集所述屏幕周边的图像，并在该图像中进行人脸检测，若检测到人脸，则可截取当前的人脸图像，也即所述目标人脸图像。
步骤S102、计算所述目标人脸图像的头部姿态。
在获取到所述目标人脸图像之后，可以对其进行人脸3D关键点检测，并根据这些3D关键点来计算所述目标人脸图像的头部姿态。
在本申请实施例的一种具体实现中，可以使用迭代最近点(Iterative ClosestPoint，ICP)算法来进行头部姿态的计算。具体地，预先设置一个作为比对基准的参考点云图，在该参考点云图中包括各个作为比对基准的3D关键点，然后，将检测到的3D关键点构造为所述目标人脸图像的点云图，利用最近相邻准则判断两个点云图中的对应点，并通过最小二乘法确定两者之间的转换函数，利用这一转换函数对所述目标人脸图像的点云图进行旋转，得到所述目标人脸图像更新后的点云图，重复以上过程，直至达到预先设定的终止条件后，停止迭代。最后，将每一次迭代计算过程中旋转的角度进行叠加，所得结果即为所述目标人脸图像的头部姿态。
需要注意的是，以上头部姿态的计算过程仅为示例，在实际应用中，还可以根据具体情况选择现有技术中的任意一种头部姿态计算方法，本申请实施例对此不作具体限定。
此处将计算得到的所述头部姿态记为：headpose[theta,phi]，其中，theta表示头部的向上仰视或者向下俯视的角度，phi表示头部在水平方向的偏转角。
步骤S103、提取所述目标人脸图像中的左眼图像和右眼图像。
以左眼图像的提取过程为例，在本申请实施例的一种具体实现中，可以首先从检测到的3D关键点中筛选出左眼关键点，此处将这些左眼关键点的横坐标最小值记为left_x_min，横坐标最大值记为left_x_max，纵坐标最小值记为left_y_min，纵坐标最大值记为left_y_max，则可以将以下四个坐标点所构成的矩形区域(记为LA1)中的图像作为所述左眼图像：(left_x_min，left_y_max)，(left_x_min，left_y_min)，(left_x_max，left_y_max)，(left_x_max，left_y_min)。进一步地，考虑到直接利用最值信息截取左眼图像可能会存在边缘信息缺失的现象，因此，还可以进一步对LA1进行外扩，得到新的矩形区域LA2，并将LA2中的图像作为所述左眼图像。右眼图像的提取过程与左眼图像的提取过程类似，此处不再赘述。
需要注意的是，以上眼部图像提取过程仅为示例，在实际应用中，还可以根据具体情况选择现有技术中的任意一种眼部图像提取方法，本申请实施例对此不作具体限定。
步骤S104、根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向。
在本申请实施例中，可以将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，从而得到所述视线关注方向。
如图3所示，所述视线预测模型采用的是一种多输入的神经网络结构，所述视线预测模型首先分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息，然后将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息，最后将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向，如图4所示。
需要注意的是，在本申请实施例中，默认双眼的视线关注方向是一致的，不存在对眼的情况。
现结合图3对所述视线预测模型具体的处理过程说明如下：
对于左眼图像而言，使用ResNet18组块(即图3中的ResNet18 Block)在所述左眼图像(即图3中的Left eye)中进行特征信息提取，然后对提取出的特征信息依次进行平均池化处理(即图3中的Avg_pooling)、全连接层处理(即图3中的FC_Left)、批量归一化处理(即图3中的BN_Left)以及激活函数处理(即图3中的Relu_Left)，从而得到所述左眼特征信息。
对于右眼图像而言，使用ResNet18组块(即图3中的ResNet18 Block)在所述右眼图像(即图3中的Right eye)中进行特征信息提取，然后对提取出的特征信息依次进行平均池化处理(即图3中的Avg_pooling)、全连接层处理(即图3中的FC_Right)、批量归一化处理(即图3中的BN_Right)以及激活函数处理(即图3中的Relu_Right)，从而得到所述右眼特征信息。
在分别得到所述左眼特征信息和所述右眼特征信息之后，对所述左眼特征信息和所述右眼特征信息进行拼接处理(即图3中的EyesConcat)，将两者进行融合，然后对融合后的信息进行全连接层处理(即图3中的EyesFc1)，从而得到所述双眼特征信息。
在得到所述双眼特征信息之后，将所述双眼特征信息和所述头部姿态(即图3中的HeadPose)进行拼接处理(即图3中的HeadConcat)，将两者进行融合，然后对融合后的信息进行批量归一化处理(即图3中的BN_Head)、激活函数处理(即图3中的Relu_Head)、全连接层处理(即图3中的Fc_Head)，从而得到所述视线关注方向(即图3中的Gaze)。
此处将计算得到的所述视线关注方向记为：Gaze[gaze_theta,gaze_phi]，其中，gaze_theta表示视线的向上仰视或者向下俯视的角度，gaze_phi表示视线在水平方向的偏转角。
为了后续计算方便，可以根据下式将所述视线关注方向从角度形式转换为向量形式：
vectorx＝cos(gaze_theta)*sin(gaze_phi)
vectory＝sin(gaze_theta)
vectorz＝cos(gaze_theta)*cos(gaze_phi)
init_vector＝(vector,vectory,vectorz)
其中，init_vector为向量形式的所述视线关注方向，其在x轴、y轴、z轴上的分量分别为：vectorx、vectory和vectorz。
优选地，还可以根据下式对向量形式的所述视线关注方向进行归一化处理，得到所述视线关注方向的归一化向量：
norm＝sqrt(vectorx2+vectory2+vectorz2)
gaze_vector＝init_vector/norm
其中，norm为所述视线关注方向的模，gaze_vector为所述视线关注方向的归一化向量，其在x轴、y轴、z轴上的分量分别为：gaze_vector[x]、gaze_vector[y]和gaze_vector[z]。
通过如图3所示的处理过程，将左眼特征信息、右眼特征信息以及头部姿态这三方面的信息融合在一起进行综合考虑，以此为依据来预测视线关注方向，大大提高了最终的预测结果的准确率。
优选地，在步骤S104之前，可以预先构造训练样本集，并使用所述训练样本集对初始状态的视线预测模型进行训练，得到所述预训练好的视线预测模型。
其中，所述训练样本集中包括SN个训练样本，每个训练样本均包括预先采集的受试者的左眼图像、右眼图像和头部姿态，且每个训练样本对应的标签均为预先标定的视线关注方向，SN为正整数。
神经网络的训练过程为现有技术中较为常用的技术，具体可参照现有技术中的任意一种神经网络训练方式，本申请实施例对此不再赘述。
通过这一训练过程，预先采集了大量的实际测试得到的样本，构造出训练样本集，以这些实测数据作为依据来对视线预测模型进行训练，从而使得最终得到的视线预测模型更加符合实际情况，以此为基础检测得到的视线关注方向具有更高的准确率。
步骤S105、分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标。
在本申请实施例中，优选采用眼睛定点模型(EyeLandMarkModel，ELM)分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，从而得到所述左眼瞳孔中心点的坐标(记为left_iris_center)和所述右眼瞳孔中心点的坐标(记为right_iris_center)，如图5所示。需要注意的是，由于本申请中使用的是深度相机，因此，所得到所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标均为三维坐标，分别可以将其记为(xleft,yleft,zleft)及(xright,yright,zright)，其中，xleft,yleft,zleft分别为所述左眼瞳孔中心点在x轴、y轴、z轴上的坐标，xright,yright,zright分别为所述右眼瞳孔中心点在x轴、y轴、z轴上的坐标。
步骤S106、根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。
在本申请实施例的一种具体实现中，步骤S106具体可以包括如图6所示的过程：
步骤S1061、根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标。
具体地，可以根据下式计算所述双眼瞳孔中心点的坐标：
middle_pos＝(left_iris_center+right_iris_center)/2
其中，middle_pos即为所述双眼瞳孔中心点的坐标，且middle_pos＝(xmiddle,ymiddle,zmiddle)，xmiddle,ymiddle,zmiddle分别为所述双眼瞳孔中心点在x轴、y轴、z轴上的坐标。
步骤S1062、根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离。
此处可以将所述屏幕所在的平面的的法向量记为n＝(A,B,C)，则可以根据下式计算所述双眼瞳孔中心点与所述屏幕之间的点面距离：
iris_distance＝(A*xmiddle+B*ymiddle+C*zmiddle)/sqrt(A2+B2+C2)
其中，sqrt为求开方函数，iris_distance为所述双眼瞳孔中心点与所述屏幕之间的点面距离。
步骤S1063、根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标。
所述眼部关注点为视线在所述屏幕上的投影点。具体地，可以根据下式计算所述眼部关注点的坐标：
project_3d＝middle_pos+gaze_vector*(iris_distance/gaze_vector[z])
其中，project_3d为所述眼部关注点的坐标。
图7所示即为计算所述眼部关注点的坐标的示意图。通过这一过程，基于几何空间位置关系实现了对于所述眼部关注点的坐标的精准计算，以此为基础确定出的眼部关注区域具有更高的准确率。
步骤S1064、根据所述眼部关注点的坐标确定眼部关注区域。
在本申请实施例的一种具体实现中，步骤S1064具体可以包括如图8所示的过程：
步骤S10641、根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置。
所述基准像素点可以为图2所示的4个角点中的任意一个，此处优选将左上角点确定为所述基准像素点。
在进行坐标转换时，可以首先根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，然后根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置，并根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。
所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴(即图2中的x轴)方向上的距离；所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴(即图2中的y轴)方向上的距离。所述第一转换系数为在所述第一坐标轴方向上，每一单位长度的距离所包含的像素个数；所述第二转换系数为在所述第二坐标轴方向上，每一单位长度的距离所包含的像素个数。
具体的坐标转换公式如下所示：
project_pixel[x]＝(project_3d[x]-left_up[x])*scalex
project_pixel[y]＝(project_3d[y]-left_up[y])*scaley
其中，project_3d[x]为所述眼部关注点在所述第一坐标轴方向上的坐标，left_up[x]为所述基准像素点在所述第一坐标轴方向上的坐标，scalex为所述第一转换系数，project_pixel[x]为所述眼部关注点在所述第一坐标轴方向上的像素位置，project_3d[y]为所述眼部关注点在所述第二坐标轴方向上的坐标，left_up[y]为所述基准像素点在所述第二坐标轴方向上的坐标，scaley为所述第二转换系数，project_piyel[y]为所述眼部关注点在所述第二坐标轴方向上的像素位置。
通过以上坐标转换过程，得到了所述眼部关注点在所述屏幕中的像素位置，以此为依据可以准确地确定出眼部关注区域。
步骤S10642、根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内。
此处将所述屏幕的屏幕分辨率记为：MaxX*MaxY，若所述像素位置满足：0<project_pixel[x]<MaxX且0<project_pixel[y]<MaxY，则可以判定所述像素位置处于所述屏幕的范围内，反之，则可以判定所述像素位置不处于所述屏幕的范围内。
若所述像素位置不处于所述屏幕的范围内，则说明用户并未关注所述屏幕中的内容，此时无需进行后续处理；若所述像素位置处于所述屏幕的范围内，则继续执行后续步骤。
步骤S10643、根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域。
步骤S10644、将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
在本申请实施例中，可以预先将所述屏幕划分为KN个(KN为大于1的整数)屏幕区域，按照从上到下，从左到右的顺序依次记为：屏幕区域1、屏幕区域2、…、屏幕区域k、…、屏幕区域KN，其中，1≤k≤KN，若所述像素位置落入屏幕区域1的范围内，则可将屏幕区域1确定为所述眼部关注区域，若所述像素位置落入屏幕区域2的范围内，则可将屏幕区域2确定为所述眼部关注区域，…，若所述像素位置落入屏幕区域k的范围内，则可将屏幕区域k确定为所述眼部关注区域，…，若所述像素位置落入屏幕区域KN的范围内，则可将屏幕区域KN确定为所述眼部关注区域。
通过预先设置各个屏幕区域的范围，在计算得到所述眼部关注点在所述屏幕中的像素位置之后，仅需要判断该像素位置属于哪一个屏幕区域的范围，即可确定出对应的眼部关注区域，计算量极小，大大提升了关注区域检测的效率。
进一步地，在确定出所述眼部关注区域之后，还可以提取所述目标人脸图像中的人脸特征信息，并根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息，这些用户信息包括但不限于年龄、性别等。
在本申请实施例的一种具体应用中，划分出的各个屏幕区域可以用来分别展示不同的信息，包括但不限于广告、新闻、公告等等。在确定出所述眼部关注区域之后，即可进一步确定出与所述眼部关注区域对应的屏幕展示信息，并建立所述用户信息与所述屏幕展示信息之间的对应关系。
通过这样的方式，即可搜集到大量的统计数据，例如，每个屏幕展示信息被用户关注了多少次，每个屏幕展示信息是被什么类型(用户类型可以根据年龄、性别等进行划分)的用户关注等等，将这些统计数据作为屏幕展示信息更换、投放的依据，使得屏幕展示信息投放的精准度和效率大大提升。
综上所述，本申请实施例获取待检测的目标人脸图像；计算所述目标人脸图像的头部姿态；提取所述目标人脸图像中的左眼图像和右眼图像；根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对人脸图像的图像分析处理，分别得到视线关注方向、左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种关注区域检测方法，图9示出了本申请实施例提供的一种关注区域检测装置的一个实施例结构图。
本实施例中，一种关注区域检测装置可以包括：
人脸图像获取模块901，用于获取待检测的目标人脸图像；
头部姿态计算模块902，用于计算所述目标人脸图像的头部姿态；
眼部图像提取模块903，用于提取所述目标人脸图像中的左眼图像和右眼图像；
视线关注方向确定模块904，用于根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
眼部关键点检测模块905，用于分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
眼部关注区域确定模块906，用于根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。
进一步地，所述眼部关注区域确定模块可以包括：
中心点坐标计算子模块，用于根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；
点面距离计算子模块，用于根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；
眼部关注点坐标计算子模块，用于根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；
眼部关注区域确定子模块，用于根据所述眼部关注点的坐标确定眼部关注区域。
进一步地，所述眼部关注区域确定子模块可以包括：
坐标转换单元，用于根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；
像素位置判断单元，用于根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；
屏幕区域确定单元，用于若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；
眼部关注区域确定单元，用于将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
进一步地，所述坐标转换单元可以包括：
距离计算子单元，用于根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；
第一像素位置计算子单元，用于根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；
第二像素位置计算子单元，用于根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。
进一步地，所述视线关注方向确定模块具体用于将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；
所述视线关注方向确定模块可以包括：
特征信息提取子模块，用于分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息；
双眼特征信息确定子模块，用于将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息；
视线关注方向确定子模块，用于将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向。
进一步地，所述关注区域检测装置还可以包括：
样本集构造模块，用于构造训练样本集，其中，所述训练样本集中包括SN个训练样本，每个训练样本均包括预先采集的受试者的左眼图像、右眼图像和头部姿态，且每个训练样本对应的标签均为预先标定的视线关注方向，SN为正整数；
模型训练模块，用于使用所述训练样本集对初始状态的视线预测模型进行训练，得到所述预训练好的视线预测模型。
进一步地，所述关注区域检测装置还可以包括：
人脸特征信息提取模块，用于提取所述目标人脸图像中的人脸特征信息；
用户信息确定模块，用于根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息；
屏幕展示信息确定模块，用于确定与所述眼部关注区域对应的屏幕展示信息；
对应关系建立模块，用于建立所述用户信息与所述屏幕展示信息之间的对应关系。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图10示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图10所示，该实施例的终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102。所述处理器100执行所述计算机程序102时实现上述各个关注区域检测方法实施例中的步骤，例如图1所示的步骤S101至步骤S106。或者，所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能，例如图9所示模块901至模块906的功能。
示例性的，所述计算机程序102可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器101中，并由所述处理器100执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序102在所述终端设备10中的执行过程。
所述终端设备10可以是桌上型计算机、笔记本、掌上电脑、智能手机、服务器及智能屏幕等计算设备。本领域技术人员可以理解，图10仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备10还可以包括输入输出设备、网络接入设备、总线等。
所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器100可以是所述终端设备10的神经中枢和指挥中心，所述处理器100可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
所述存储器101可以是所述终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101也可以是所述终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述终端设备10所需的其它程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所述终端设备10还可以包括通信模块，所述通信模块可以提供应用在网络设备上的包括无线局域网(Wireless Local Area Networks，WLAN)(如Wi-Fi网络)，蓝牙，Zigbee，移动通信网络，全球导航卫星系统(Global Navigation Satellite System，GNSS)，调频(Frequency Modulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术(Infrared，IR)等通信的解决方案。所述通信模块可以是集成至少一个通信处理模块的一个或多个器件。该通信模块可以包括天线，该天线可以只有一个阵元，也可以是包括多个阵元的天线阵列。所述通信模块可以通过天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器。所述通信模块还可以从处理器接收待发送的信号，对其进行调频、放大，经天线转为电磁波辐射出去。
所述终端设备10还可以包括电源管理模块，所述电源管理模块可以接收外接电源、电池和/或充电器的输入，为所述处理器、所述存储器和所述通信模块等供电。
所述终端设备10还可以包括显示模块，所述显示模块可用于显示由用户输入的信息或提供给用户的信息。所述显示模块可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给所述处理器以确定触摸事件的类型，随后所述处理器根据触摸事件的类型在所述显示面板上提供相应的视觉输出。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在所述终端设备上运行时，使得所述终端设备可实现上述各个方法实施例中的步骤。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种关注区域检测方法，其特征在于，包括：
获取待检测的目标人脸图像；
计算所述目标人脸图像的头部姿态；
提取所述目标人脸图像中的左眼图像和右眼图像；
根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；
根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；
根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；
根据预设的基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；
根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；
根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置；
根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；
若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；
将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
2.根据权利要求1所述的关注区域检测方法，其特征在于，所述根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向包括：
将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；
所述视线预测模型的处理过程包括：
分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息；
将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息；
将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向。
3.根据权利要求1至2中任一项所述的关注区域检测方法，其特征在于，在根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域之后，还包括：
提取所述目标人脸图像中的人脸特征信息；
根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息；
确定与所述眼部关注区域对应的屏幕展示信息；
建立所述用户信息与所述屏幕展示信息之间的对应关系。
4.一种关注区域检测装置，其特征在于，包括：
人脸图像获取模块，用于获取待检测的目标人脸图像；
头部姿态计算模块，用于计算所述目标人脸图像的头部姿态；
眼部图像提取模块，用于提取所述目标人脸图像中的左眼图像和右眼图像；
视线关注方向确定模块，用于根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
眼部关键点检测模块，用于分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
眼部关注区域确定模块，用于根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；根据预设的基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置；根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；将所述像素位置所处的屏幕区域确定为所述眼部关注区域。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的关注区域检测方法的步骤。
6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的关注区域检测方法的步骤。
CN201911151904.3A 2019-11-21 2019-11-21 一种关注区域检测方法、装置、可读存储介质及终端设备 Active CN111046744B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911151904.3A CN111046744B (zh) 2019-11-21 2019-11-21 一种关注区域检测方法、装置、可读存储介质及终端设备
PCT/CN2020/124098 WO2021098454A1 (zh) 2019-11-21 2020-10-27 一种关注区域检测方法、装置、可读存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911151904.3A CN111046744B (zh) 2019-11-21 2019-11-21 一种关注区域检测方法、装置、可读存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN111046744A CN111046744A (zh) 2020-04-21
CN111046744B true CN111046744B (zh) 2023-04-18

Family

ID=70232071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911151904.3A Active CN111046744B (zh) 2019-11-21 2019-11-21 一种关注区域检测方法、装置、可读存储介质及终端设备

Country Status (2)

Country Link
CN (1) CN111046744B (zh)
WO (1) WO2021098454A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909611B (zh) * 2019-10-29 2021-03-05 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111046744B (zh) * 2019-11-21 2023-04-18 深圳云天励飞技术股份有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN111626240B (zh) * 2020-05-29 2023-04-07 歌尔科技有限公司 一种人脸图像识别方法、装置、设备及可读存储介质
CN111767820A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 对象被关注的识别方法、装置、设备及存储介质
CN111767821B (zh) * 2020-06-23 2024-04-09 京东科技控股股份有限公司 对象被关注的识别方法、装置、设备及存储介质
CN111796874A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种设备唤醒的方法、装置、计算机设备和存储介质
CN111881763A (zh) 2020-06-30 2020-11-03 北京小米移动软件有限公司 确定用户注视位置的方法、装置、存储介质和电子设备
CN112317362A (zh) * 2020-09-24 2021-02-05 赣州好朋友科技有限公司 石英伴生金矿的分选方法、装置和可读存储介质
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微系统与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112416126B (zh) * 2020-11-18 2023-07-28 青岛海尔科技有限公司 页面滚动控制方法和装置、存储介质及电子设备
CN112527103B (zh) * 2020-11-24 2022-07-22 安徽鸿程光电有限公司 显示设备的遥控方法、装置、设备及计算机可读存储介质
CN112711982A (zh) * 2020-12-04 2021-04-27 科大讯飞股份有限公司 视觉检测方法、设备、系统以及存储装置
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113115086B (zh) * 2021-04-16 2023-09-19 浙江闪链科技有限公司 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN113128417B (zh) * 2021-04-23 2023-04-07 南开大学 一种基于头部姿态的双区域眼动跟踪方法
CN113918007B (zh) * 2021-04-27 2022-07-05 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN113516074A (zh) * 2021-07-08 2021-10-19 西安邮电大学 一种基于瞳孔追踪的在线考试系统防作弊方法
CN113849142A (zh) * 2021-09-26 2021-12-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质
CN114390267A (zh) * 2022-01-11 2022-04-22 宁波视睿迪光电有限公司 立体图像数据合成方法、装置、电子设备及存储介质
CN115294320B (zh) * 2022-10-08 2022-12-20 平安银行股份有限公司 图像旋转角度的确定方法、装置、电子设备及存储介质
CN116820246A (zh) * 2023-07-06 2023-09-29 上海仙视电子科技有限公司 一种视角自适应的屏幕调节控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124899A1 (zh) * 2016-01-20 2017-07-27 努比亚技术有限公司 一种信息处理方法及装置、电子设备
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109716268A (zh) * 2016-09-22 2019-05-03 苹果公司 眼部和头部跟踪

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100343867C (zh) * 2005-06-15 2007-10-17 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN108345848A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 用户注视方向识别方法及相关产品
US10803618B2 (en) * 2018-06-28 2020-10-13 Intel Corporation Multiple subject attention tracking
CN111046744B (zh) * 2019-11-21 2023-04-18 深圳云天励飞技术股份有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124899A1 (zh) * 2016-01-20 2017-07-27 努比亚技术有限公司 一种信息处理方法及装置、电子设备
CN109716268A (zh) * 2016-09-22 2019-05-03 苹果公司 眼部和头部跟踪
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备

Also Published As

Publication number Publication date
WO2021098454A1 (zh) 2021-05-27
CN111046744A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110909611B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
US20180261005A1 (en) Method and Apparatus for Constructing Three-Dimensional Map
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN112348863A (zh) 图像对齐方法、图像对齐装置及终端设备
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN110991491A (zh) 图像标注方法、装置、设备及存储介质
CN113706440A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110647881A (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN114782296B (zh) 图像融合方法、装置及存储介质
CN111738914A (zh) 图像处理方法、装置、计算机设备及存储介质
CN109816628B (zh) 人脸评价方法及相关产品
CN111310595B (zh) 用于生成信息的方法和装置
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN112818979A (zh) 文本识别方法、装置、设备及存储介质
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113378705B (zh) 车道线检测方法、装置、设备及存储介质
CN111080630A (zh) 眼底图像检测设备、方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 1/F, 17 Building, Shenzhen Dayun Software Town, 8288 Longgang Avenue, Henggang Street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Yuntian lifeI Technology Co.,Ltd.

Address before: 518000 1/F, 17 Building, Shenzhen Dayun Software Town, 8288 Longgang Avenue, Henggang Street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN INTELLIFUSION TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant